収穫ロボット
【課題】 果菜類の果実の色や形状に限定されることなく、収穫適期の果実を収穫することができる収穫ロボットを提供すること。
【解決手段】 果実を照明する照明装置、及び平行に設置された２台のカメラを備えた撮影手段と、摘み取り装置と、移動装置と、２台のカメラによって夫々撮影されたアナログの画像情報を取得してデジタル変換する画像入力ボード、該画像入力ボードがデジタル変換した画像情報を処理する画像処理アプリケーション、並びに、該画像処理アプリケーションにて処理された画像情報に基づいて前記撮影手段、摘み取り装置及び移動装置を制御する制御手段とを備えた画像処理手段とで構成され、前記画像処理アプリケーションは、デジタル変換されたカラー画像データをＨＳＩ値に変換して二値化し、その二値化によって絞り込んだ果実の領域から特徴量を判別することを特徴とする収穫ロボットとする。
【解決手段】 果実を照明する照明装置、及び平行に設置された２台のカメラを備えた撮影手段と、摘み取り装置と、移動装置と、２台のカメラによって夫々撮影されたアナログの画像情報を取得してデジタル変換する画像入力ボード、該画像入力ボードがデジタル変換した画像情報を処理する画像処理アプリケーション、並びに、該画像処理アプリケーションにて処理された画像情報に基づいて前記撮影手段、摘み取り装置及び移動装置を制御する制御手段とを備えた画像処理手段とで構成され、前記画像処理アプリケーションは、デジタル変換されたカラー画像データをＨＳＩ値に変換して二値化し、その二値化によって絞り込んだ果実の領域から特徴量を判別することを特徴とする収穫ロボットとする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、収穫ロボットに関し、より詳しくは、収穫適期の果実を判別して収穫する収穫ロボットに関するものである。
【背景技術】
【０００２】
労働力不足の解消や農作業の援助などのため、ハウス園芸における自動化が期待されており、温度管理や水やりなどの自動化とともに、ナスやイチゴなどの果菜類の収穫ロボットの研究開発が行われている。
例えば、ナス等の長物果実の収穫適期のもののみを選択的に自動収穫するため、カメラ撮影された長物果実の画像を取り込み、撮影画像の色情報を基に画像を処理して果実を検出すると共に、果実の位置から移動位置を決定し、果実に接近させ、果実の把持及び大きさ判定を行って収穫適期の果実の果梗を切断する技術が提案されている（下記特許文献１参照）。
このような技術によれば、長物果実のナス等であれば、赤緑青色の色情報を基に果実を認識することができ、その検出した果実の果実長さを判定して収穫適期のものを選択することが可能である。
【０００３】
しかしながら、ピーマンやオクラ等の緑色の果実は、葉や茎と同じ緑色で、上記技術のような色情報を基に果実を認識することはできない。
また、ピーマン等の長物果実でない果実は、葉の形との区別もつきにくく、形状に基づいて認識することも困難である。
【０００４】
【特許文献１】特開２０００−２６２１２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、上述したような従来技術の問題点を解決すべくなされたものであって、果菜類の果実の色や形状に限定されることなく、収穫適期の果実を収穫することができる収穫ロボットを提供するものである。
【課題を解決するための手段】
【０００６】
請求項１に係る発明は、撮影手段、画像処理手段、果柄を切断して果実を取り込む摘み取り装置及び移動装置からなる果菜類の収穫ロボットであって、前記撮影手段は、果菜を照明する照明装置と、２台のカメラとを備えてなり、前記画像処理手段は、２台のカメラによって夫々撮影されたアナログの画像情報を取得してデジタル変換する画像入力ボードと、該画像入力ボードがデジタル変換した画像情報を処理する画像処理アプリケーションと、該画像処理アプリケーションにて処理された画像情報に基づいて前記撮影手段、摘み取り装置及び移動装置を制御する制御手段とを備え、前記画像処理アプリケーションは、デジタル変換されたカラー画像データをＨＳＩ値に変換して二値化し、その二値化によって絞り込んだ果実の領域から特徴量を判別することを特徴とする収穫ロボットに関する。
【０００７】
請求項２に係る発明は、前記照明装置は、その照明範囲が限定されていることを特徴とする請求項１記載の収穫ロボットに関する。
【０００８】
請求項３に係る発明は、前記照明装置は、ＬＥＤであって、前記２台のカメラのうち、一方のレンズ周囲に複数個取り付けられていることを特徴とする請求項２記載の収穫ロボットに関する。
【０００９】
請求項４に係る発明は、前記撮影手段は、２台のカメラ位置を同時に移動する移動機構を備え、前記画像処理アプリケーションは、画像情報から認識された果実の中央位置、及び、前記２台のカメラによるステレオビジョンによって果実とカメラとの距離を算出し、前記制御手段は、前記果実の中央位置が画像における基準位置（ｘ，ｙ）に揃い、かつ、前記距離が所定距離となる基準位置（ｚ）にカメラが配置されるように、前記移動機構及び移動装置を制御することを特徴とする請求項１乃至３いずれか記載の収穫ロボットに関する。
【００１０】
請求項５に係る発明は、前記摘み取り装置は、ラック駆動機構を備え、水平面において所定角度回転及び前後にスライド可能に取り付けられていることを特徴とする請求項１乃至４いずれか記載の収穫ロボットに関する。
【発明の効果】
【００１１】
請求項１に係る発明によれば、撮影手段における照明装置によって照明された果菜が２台のカメラで夫々撮影され、その撮影された各画像が画像処理手段においてＨＳＩ値に変換されて二値化されることによって、ピーマン等の葉等と色や形の区別がつきにくい果実であっても、葉等から区別して認識することができ、その二値化で絞り込んだ領域から特徴量（大きさ等）を判別して収穫適期の果実を選別することが可能である。
【００１２】
請求項２に係る発明によれば、照明装置による照明範囲を限定することによって、果実同士が隣接したり重なったりした状態であっても、１つの果実に照明が集中するので、他の果実との光度及び彩度が異なり、２台のカメラで夫々撮影された画像から、その１つの果実を確実に一致して認識することが可能となる。
【００１３】
請求項３に係る発明によれば、照明装置がＬＥＤであって、２台のカメラのうち、一方のレンズ周囲に複数個取り付けられていることによって、照明範囲が限定されるとともに、照明を均一に当てることができ、２台のカメラで夫々撮影された画像から、その１つの果実をより確実に一致して認識することが可能となる。
【００１４】
請求項４に係る発明によれば、さらに撮影手段が２台のカメラの位置を同時に移動する移動機構を備え、認識された果実の中央位置がカメラ画像の基準位置（x，ｙ）に揃うように、かつ、２台のカメラによるステレオビジョンによって算出された果実とカメラとの距離（奥行）を、所定距離（基準位置（ｚ））となるようにカメラ位置を移動することによって、摘み取り装置が果実に届く範囲に配置される。これによって、摘み取り装置は、果柄を切断して果実を収穫することができる。
【００１５】
請求項５に係る発明によれば、摘み取り装置は、ラック駆動機構を備えることによって、カメラの移動とは別に、水平面において所定角度回転及び前後にスライドして果実に接近することができ、より確実に果柄を切断することが可能である。
【発明を実施するための最良の形態】
【００１６】
以下、本発明に係る収穫ロボットの好適な実施形態について、図面を参照しつつ説明する。
図１は、本発明に係る収穫ロボットの実施形態の一例を示す概略構成図である。図２は、収穫ロボットにおける機能構成を示す構成図である。図３は、収穫ロボットにおける撮影手段及び摘み取り装置の一例を示す斜視図である。図４は、照明装置の一例を示す概略構成図である。図５は、摘み取り装置の機能構成を示す構成図である。
本発明に係る収穫ロボット１は、２台のカメラ１０を備える撮影手段２と、画像処理手段３と、移動装置４と、果柄を切断して果実を摘み取る摘み取り装置５と、摘み取った果実を収容するコンテナ６とで構成される。なお、図１においては、２台のカメラ１０が紙面垂直方向に重なっているので、１台のみが表されている。
【００１７】
画像処理手段３は、画像入力ボード２１と、画像処理アプリケーション２２と、制御手段２３とを有する。画像処理手段３は、後述する画像処理システムの主要機能を担っている。
【００１８】
撮影手段２は、２台のカメラ１０と、これらのカメラ位置を移動する移動機構２０と、撮影対象を照らす照明装置１７とからなる。カメラ１０は、カラー画像撮影用で、立体視（ステレオビジョン）によって果実の位置を検出するために、２台を平行配設する。２台のカメラ１０の周辺には、図３に示すように、電位差計１２、DCモータ１１と、その駆動によって作動するタイミングベルト１３及びスライドレール１４とで構成される移動機構２０が設けられている。２台のカメラ１０は、これらの構成によって、平行状態を保って同時に同方向へ３方向（水平、垂直、奥行）で位置決めすることができるようになっている。なお、２台のカメラは、必ずしも平行に設置する必要はなく、適度な間隔をあけてステレオビジョンを撮影することができればよい。例えば、２台のカメラを後方より前方の間隔が狭くなるように内向きに設置したりすることができる。
【００１９】
照明装置１７は、図示例では、２台のカメラ１０のうちの一方のみに、そのレンズ１８周囲に複数個取り付けられたＬＥＤ照明装置である。照明装置１７は、ＬＥＤに限定されるものではなく、蛍光灯等、果実を照らすことができるものであればよいが、ＬＥＤのように照明範囲が限定されるものが好ましい。また、レンズ周囲に１個取り付けられたもの、２台のカメラの両方のレンズ周囲に１又は複数個取り付けられたもの、カメラのレンズ周囲以外の場所に取り付けられたものも除外するものではない。
【００２０】
摘み取り装置５は、図３に示すように２台のカメラの近傍に、カメラの移動に追従して移動可能に取り付けられ、かつカメラの移動とは別に、水平方向において所定角度回転及び前後にスライド可能に取り付けられ、水平面において移動可能である。これらの移動は、ＤＣモータ１６によって駆動するラック駆動機構１５によって実現される。また、図５に示すように、果菜を果柄で切断して果実を摘み取る剪定ハサミ３１と、剪定ハサミ３１の開閉を実現する並列連結機構３２と、並列連結機構３２を駆動するDCモータ３３とで構成される。
【００２１】
移動装置４は、当該収穫ロボット１を前後左右に移動するための図示しない駆動手段と、複数の車輪とで構成されている。
【００２２】
以上のように構成される収穫ロボット１は、農作業従事者と同様に、果実を認識し、それを摘み取り、摘み取った果実をコンテナ６に入れて、果実を収穫することができる。
この果実の収穫は、画像処理システムと、カメラ位置決めシステムとによって実現することができる。画像処理システムによって果実を認識し、その果柄を切断するため、カメラ位置決めシステムによって、認識した果実に対してカメラを位置決めする。
【００２３】
図６は、画像処理システムを機能構成によって示す構成図である。図７は、画像処理システムにおけるアルゴリズムを説明するフロー図である。
画像処理システムは、カメラ１０によって撮影された茎や葉とともにある果菜の画像を、画像処理アルゴリズムによって処理し、茎や葉から識別して果実を認識する。
【００２４】
この画像処理アルゴリズムにおいては、まず、画像入力ボード２１が左右のカメラ１０からの各デジタルカラー画像を取込み（ステップ１：Ｓ１）、赤（Ｒｅｄ），緑（Ｇｒｅｅｎ），青（Ｂｌｕｅ）からなるＲＧＢ値で表される画像を、輝度、彩度、色相からなるＨＳＩ空間表色系のＨＳＩ値に変換する（ステップ２：Ｓ２）。
そして、変換された画像データ２４（輝度、彩度、色相の各値）は、画像処理アプリケーション２２によって収穫しようとする果実ごとに予め設定した閾値に基づいて、その果実の色の領域に絞り込まれる（二値化）。二値化では、まず光度画像で選別し（ステップ３：Ｓ３）、彩度の二値化で葉等の大部分が果実と区別され（ステップ４：Ｓ４）、最後に色相でノイズを取り除く（ステップ５：Ｓ５）。
【００２５】
このようにして絞り込んだ色の領域を、連続した固まりごとに一つのものとして認識させる（標識づけ）（ステップ６：Ｓ６）。
標識づけされた各領域について、特徴量（形状、大きさ等）を算出し（ステップ７：Ｓ７）、収穫しようとする果実ごとに予め設定された特徴量に合致する領域を果実として認識する（ステップ８：Ｓ８）。このとき、大きさで選別することによって、収穫適期の果実を認識することが可能である。
【００２６】
なお、この果実の認識は、左右のカメラ１０において撮影された各画像について別個に処理され、別個に認識される。従って、左右の認識が異なる場合、認識できなかったものとして処理する。このように処理するのは、認識結果の整合性をとるためだけであれば、例えば、照明装置１７が取り付けられたカメラによる認識を優先するようにすることも可能であるが、後述するカメラ位置決めシステムにおけるステレオビジョンによる処理において、左右のカメラ１０によって同時に夫々撮影されて夫々認識された１つの果実の画像が必要とされるからである。
【００２７】
従って、後述するステレオビジョンによる処理のためにも、左右のカメラ１０による果実の認識が異なることなく、１つの果実を認識することが必要である。このような認識を、本発明に係る収穫ロボットにおいては、果実に照明を当てることによって実現している。
ピーマン等のように果実の色が葉等と同じ緑色の果実については、普通に撮影された画像データについて二値化しただけでは、葉等から識別することが困難である。そこで、果実に照明装置１７のライトを当てることによって、彩度のグレー値は、果実と葉等とで明確に区別することができ、葉等とともにある画像の中から果実だけを認識することができる。
【００２８】
また、果実が複数隣接したり重なったりした状態において、１つの果実を他の果実と識別するには、果実に当てる照明範囲を限定することによって、左右のカメラで夫々撮影された画像から認識される果実を確実に一致させて１つの果実を認識することができる。
例えば、果実が２つ隣接した状態では、左カメラにＬＥＤが取り付けられていると左カメラ正面に照明範囲が限定され、そこに位置する果実に照明が集中して隣接する果実よりも明るく照らされ、光度や彩度が異なる。従って、明るく照らされた果実を認識するように、光度及び彩度の閾値を設定すれば、左右のカメラで夫々撮影された画像から、左カメラ正面に位置する１つの果実のみを確実に一致して認識することができる。
【００２９】
また、例えば、前後方向に２つの果実が一部重なっている状態では、左カメラ正面の重なった果実に照明が当てられる場合、前方の果実が明るく照らされ、後方の果実は影になって前方の果実とは光度や彩度が異なり、左右のカメラで夫々撮影された画像から確実に一致して前方の１つの果実のみを認識することができる。
なお、画像処理領域を小さく限定することによって、左右のカメラで夫々撮影された画像から認識される果実を一致させることも考えられるが、その場合、果実を見つけ出すまでに時間がかかりすぎるという問題がある。これに対し、照明範囲を限定することによって時間をかけずに１つの果実を認識することが可能である。
【００３０】
以上のように、本発明に係る収穫ロボットは、撮影手段２及び画像処理手段３によって実現される画像処理システムを備えることによって、撮影手段２における照明装置１７によって照明された果菜が２台のカメラ１０で夫々撮影され、その撮影された各画像が画像処理手段３においてＨＳＩ値に変換されて二値化されることによって、ピーマン等の葉等と色や形の区別がつきにくい果実であっても、葉等から区別して認識することができ、その二値化で絞り込んだ領域から特徴量（大きさ等）を判別して収穫適期の果実を選別することが可能である。
【００３１】
また、照明装置１７で照明範囲を限定することによって、果実同士が隣接したり重なったりした状態であっても、１つの果実に照明が集中するので、他の果実との光度及び彩度が異なり、２台のカメラで夫々撮影された画像から、その１つの果実を確実に一致して認識することが可能となる。
さらに、照明装置１７をＬＥＤとし、２台のカメラのうち、一方のレンズ周囲に複数個取り付けることによって、照明範囲が限定されるとともに、照明を均一に当てることができ、２台のカメラで夫々撮影された画像から、その１つの果実をより確実に一致して認識することが可能となる。
【００３２】
次に、カメラ位置決めシステムについて説明する。
カメラ位置決めシステムは、上述のように、画像処理システムによって認識された果実の果柄を切断するために、その果実に対してカメラの位置決めを行うシステムであり、画像処理を利用したビジュアルフィードバック制御を利用する。このように、カメラ位置決めシステムは、上述の画像処理システムを包含するシステムである。
図８は、ビジュアルフィードバック制御を利用したカメラ位置決めシステムを説明するための概念図である。図９は、図８のカメラ位置決めシステムを機能構成によって示す構成図である。図１０は、ステレオビジョンによって奥行を算出する原理を示す概念図である。図１１は、認識された果実の中央位置を画像の基準位置に合わせる様子を示す模式図である。図１２は、カメラ位置決めシステムによって果実を摘み取る動作を説明するフローチャート図である。
【００３３】
カメラ位置決めシステムでは、まず、カメラ位置を移動して果菜の影像を撮影する（ステップ１１：Ｓ１１）。このときカメラ位置は、移動装置４と撮影手段２の移動機構２０によって移動させられる。
次いで、撮影された画像が、上述の画像処理システムによって処理される（ステップ１２：Ｓ１２）。この処理によって、左右のカメラによって同時に撮影された画像について夫々果実が認識され、左右のカメラで認識された果実がなければ（ステップ１３：Ｓ１３）、再びカメラ位置を移動するところから始める（ステップ１１：Ｓ１１）。なお、Ｓ１３までは、上述の画像処理システムにおける処理である。
【００３４】
一方、左右のカメラで果実を認識すると（ステップ１３：Ｓ１３）、認識した果実の中心位置が算出され、図１１に示すように、一方のカメラ１０（例えば、左カメラ）による画像における果実の中心位置４１が、カメラ画像の基準位置（x，ｙ）４２に揃うように、カメラ位置を移動機構２０によって移動する（ステップ１４：Ｓ１４）。このとき、果実の位置は、２台のカメラ１０によって検知されており、その位置データによって各モータが制御手段２３によって制御され、カメラが移動する。
【００３５】
具体的には、図９のように、画像処理アプリケーション２２によって把握された果実の中心位置情報を、制御手段２３が取得する。制御手段２３は、取得した中心位置情報から、該中心位置４１をカメラ画像の基準位置４２に揃えるために、移動機構２０を制御する。即ち、制御手段２３は、垂直方向及び水平方向に動かすモータの増幅器に対し、ＤＳＰ回路２４を介して指示信号を送信する。これらの信号によって図３に示した移動機構２０におけるＤＣモータ１１が駆動され、タイミングベルト１３、スライドレール１４が作動して、垂直方向及び水平方向にカメラ１０が移動する。なお、２台のカメラ１０は平行に固定されているので、同時に移動することになる。
【００３６】
基準位置（x，ｙ）４２は、果実の中心位置４１がこの基準位置４２に揃うことによって、果実に対してカメラが一定の位置に配置されると同時に、摘み取り装置５が果実を摘み取り可能な範囲に配置されるように設定された位置である。
次いで、画像処理アプリケーション２２によって、ステレオビジョンによる画像処理が行われる。即ち、２台のカメラ１０によるステレオビジョンによって、カメラ１０と認識された果実との距離が測定される。例えば図１０に示すように、各カメラ１０で撮影された画像における果実の中央位置のＸ座標は異なるので、その差（ｘｌ−ｘｒ）によって、奥行ｄがｄ＝ｂｆ／（ｘｌ−ｘｒ）から算出される。なお、ｆは焦点長さ、ｂは２台のカメラの距離である。この画像処理によって、カメラから果実の奥行方向への位置を把握することができる。
【００３７】
そして、算出された奥行ｄに基づいて奥行方向の基準位置（ｚ）にカメラ位置を移動する（ステップ１５：Ｓ１５）。基準位置（x，ｙ）４２に加え、この奥行方向の基準位置（ｚ）にカメラ位置を移動することによって、摘み取り装置５の剪定ハサミ３１は果実に届く範囲に配置される。また、摘み取り装置５は、ラック駆動機構１５を備えているので、カメラの移動とは別に、水平面において所定角度回転又は前後にスライドして果実に接近することができる。
【００３８】
次いで、剪定ハサミ３１は、図５に示したＤＣモータ１８が駆動して並列連結機構３２を開くことによって、当該剪定ハサミ３１を開く（ステップ１６）。そして、剪定ハサミ３１が果柄を挟む位置まで、摘み取り装置５をスライドさせ（ステップ１７）、並列連結機構３２を閉じることによって剪定ハサミ３１を閉じ、果柄を切断する（ステップ１８）。切断された果実は、コンテナ６内に落下して収容される。
さらに、別の果実の摘み取りを続行する場合には（ステップ１９）、ステップ１１に戻り、摘み取り作業を続行しない場合には終了する。
【００３９】
なお、ステレオビジョンによる奥行の算出は、基準位置（x，ｙ）へ移動するＳ１４の前に行うようにしてもよく、上述のようにＳ１４の後に行った場合と同様に基準位置（x，ｙ，ｚ）へ移動することができる。
また、本実施形態においては、ピーマンやオクラ等の軽量な果実を摘み取る場合を想定し、摘み取り装置５には、果実を把持してコンテナ６に収容する機構を設けていないが、従来既知の把持機構を備えるようにすれば、重量のある果実に対応することが可能である。
【００４０】
このようにカメラ位置決めシステムにおいてビジュアルフィードバック制御を利用することによって、画像処理によって得た果実の中心位置をフィードバックして、認識した果実に対してカメラを一定位置に位置決めすることができる。これによって、果柄と剪定ハサミとの相対位置を制御でき、摘み取り動作のための位置決めが可能となる。
【００４１】
以上のように、本発明に係る収穫ロボットは、画像処理システムにおいて１つの果実が認識されていることを前提に、撮影手段２が２台のカメラの位置を同時に移動する移動機構を備え、認識した果実の中央位置がカメラ画像の基準位置（x，ｙ）に揃うように、かつ、２台のカメラによるステレオビジョンによって算出された果実とカメラとの距離（奥行）を、所定距離（基準位置（ｚ））となるようにカメラ位置を移動することによって、摘み取り装置５が果実に届く範囲に配置される。これによって、摘み取り装置５は、果柄を切断して果実を収穫することができる。
また、摘み取り装置５は、ラック駆動機構１５を備えることによって、カメラの移動とは別に、水平面において所定角度回転及び前後にスライドして果実に接近することができ、より確実に果柄を切断することが可能である。
【試験例】
【００４２】
（試験例１）
本発明に係る収穫ロボットにおける撮影手段及び画像処理手段の構成部分を作製し、実際に栽培されているハウス内の果菜（ピーマン）の画像データを収集し、画像処理アルゴリズムの検証試験を行った。なお、撮影手段に、移動機構は設けず、２台のカメラと照明装置で構成した。
有効画素数６４０×４８０のカラーＣＣＤカメラ（Ｌｏｇｃｏｏｌ製ＱｃａｍＰｒｏ４０００）２台を、１１０ｍｍの間隔で照明装置（蛍光灯２７Ｗ）に取り付け、画像入力ボード（Ｌｅｕｔｒｏｎ Ｖｉｓｉｏｎ製Ｐｉｃ−Ｐｏｒｔ）、画像処理アプリケーション（ＭＶＴｅｃ製ＨＡＬＣＯＮ）及び制御手段（ＤＳＰコントローラ）で構成される画像処理手段（ノート型パーソナルコンピュータ）に接続し、本試験例１における収穫ロボットとした。周囲の明るさの影響を確認するため、昼間と夜間の画像データを夫々収集し、これらの画像データにおいて認識できたピーマンの認識数を、人の目で確認したピーマンの個数と比較した。
【００４３】
図１３は、試験例１における試験結果を示す一覧表である。
認識率は、昼間４７．６％、夜間７５．５％で、画像処理アルゴリズムは有効であった。夜間に認識率が高いのは、周囲の明るさの影響を受けにくく、安定して認識できたためと考えられる。なお、ピーマンが葉に一部隠れている状態では、大きさの判定や果柄部の認識は困難であったが、ピーマン自体の存在の認識は可能であった。
【００４４】
（試験例２）
本発明に係る収穫ロボットを試作し、撮影手段及び画像処理手段の構成によって果実を認識してカメラを位置決めし、その果実を摘み取り装置によって摘み取った。
有効画素数６４０×４８０のカラーＣＣＤカメラ（Ｌｏｇｃｏｏｌ製ＱｃａｍＰｒｏ４０００）２台を、１２０ｍｍの間隔で配設し、画像処理手段を、画像入力ボード（Ｌｅｕｔｒｏｎ Ｖｉｓｉｏｎ製Ｐｉｃ−Ｐｏｒｔ）、画像処理アプリケーション（ＭＶＴｅｃ製ＨＡＬＣＯＮ）及び制御手段（ＤＳＰコントローラ）で構成した。照明装置として、蛍光灯（２７Ｗ）は２台のカメラの下方に取り付けた。撮影手段における移動機構は、図３に示すように２台のカメラが平行状態を保って同時に同方向へ３方向（水平、垂直、奥行）で位置決めすることができるように設定した。また、摘み取り装置は、図３のように、右カメラの右側上方にカメラの移動に追従し、かつカメラの移動とは別に水平方向に移動可能なように取り付けた。
【００４５】
図１４は、認識及び摘み取り目標となる果実の４種類の配置状態を示す画像である。
認識及び摘み取り目標の果実（ピーマン）は、カメラからのリアルタイムの影像を画像処理して認識した。なお、画像処理領域は小さく限定し、左右カメラで夫々撮影された画像において認識する果実を一致させるようにした。
【００４６】
図１５は、摘み取り装置による果柄の切断成功率を示す一覧表である。
図１４（ａ）のように果実が葉とともにあっても単体で存在する場合は、葉と区別して高い確率で果実の認識から摘み取りまでの動作ができることが確認できた。複数の果実が存在する場合、左右カメラで夫々撮影された画像において認識する摘み取りの目標となる果実が一致しないことがあり、認識が不安定となって摘み取り成功率が低くなった。図１４（ｃ），（ｄ）のように果実同士が接触したり、重なり合った状態では、切断成功率は低かったが、果実が２つ以上存在する場合でも図１４（ｂ）のように果実同士が隣接せずに離れている場合は、９３％と高い切断成功率であった。
【００４７】
（試験例３）
試験例２と同じ収穫ロボットを試作し、さらに照明装置として、白色のＬＥＤ（光度：５５００ｍｃｄ／２０ｍＡ，指向特性：１８度）１６個を左カメラの周囲に取り付けた。左カメラ１台による認識状況を、ＬＥＤを用いた場合と蛍光灯を用いた場合とで比較した。
認識対象の果実としてピーマンを２個用い、隣接させて設置した場合と、１個を後方に置いて前方から重なって見える場合の２つのケースで実施した。大きさによる果実の絞込みや画像領域の制限は行わず、認識したピーマンをすべてマーキングさせた。
【００４８】
図１６は、蛍光灯及びＬＥＤによって夫々認識された果実のマーキング結果を示す画像である。
隣接して果実を設置した場合、図１６（ａ），（ｂ）のように蛍光灯の照明では２つの果実を認識したが、図１６（ｃ），（ｄ）のようにＬＥＤの照明では、正面にあたる果実のみを認識した。また、重なりがあるように設置した場合、図１６（ｅ），（ｆ）のように蛍光灯の照明では２つの果実を１つと認識したが、図１６（ｇ），（ｈ）のようにＬＥＤの照明では、前方の果実のみを認識した。これらの結果から、蛍光灯を用いた照明では、広範囲の果実を認識するため、誤認や左右のカメラで認識する果実の不一致が生じる可能性が高いことが分かった。一方、ＬＥＤの場合、照明範囲が限定されるため、誤認が少なく、左右のカメラで夫々撮影された画像において認識する果実が一致する可能性が高いと考えられる。
【００４９】
（試験例４）
試験例３と同じ収穫ロボットによって、左右２台のカメラによるステレオビジョンでの認識状況を、ＬＥＤを用いた場合と蛍光灯を用いた場合とで比較した。
認識対象の果実としてピーマンを２個用い、図１４（ｂ）の状態で、カメラ位置を移動させて、認識状況を確認した。カメラは、２個のピーマンに対して正面右側方、略真正面及び正面左側方に順次移動させた。画像処理領域は制限せず、ピーマンと認識されたものの中で最も大きいものを選択してマーキングさせた。また、同じカメラ位置で、複数回、認識状況を確認した。
蛍光灯照明の場合、左右カメラで夫々撮影された画像において認識するピーマンの不一致や、同じカメラ位置で撮影された画像でも認識するピーマンの変動が見られた。一方、ＬＥＤ照明の場合、カメラ位置によって認識するピーマンを限定できることが分かった。
【産業上の利用可能性】
【００５０】
本発明は、果菜類の温度管理や水やりなどの自動化を進めているハウス園芸において好適に利用されるものである。
【図面の簡単な説明】
【００５１】
【図１】本発明に係る収穫ロボットの実施形態の一例を示す概略構成図である。
【図２】収穫ロボットにおける機能構成を示す構成図である。
【図３】収穫ロボットにおける撮影手段及び摘み取り装置の一例を示す斜視図である。
【図４】照明装置の一例を示す概略構成図である。
【図５】摘み取り装置の機能構成を示す構成図である。
【図６】画像処理システムを機能構成によって示す構成図である。
【図７】画像処理システムにおけるアルゴリズムを説明するフロー図である。
【図８】ビジュアルフィードバック制御を利用したカメラ位置決めシステムを説明するための概念図である。
【図９】図８のカメラ位置決めシステムを機能構成によって示す構成図である。
【図１０】ステレオビジョンによって奥行を算出する原理を示す概念図である。
【図１１】認識された果実の中央位置を画像の基準位置に合わせる様子を示す模式図である。
【図１２】カメラ位置決めシステムによって果実を摘み取る動作を説明するフローチャート図である。
【図１３】試験例１における試験結果を示す一覧表である。
【図１４】認識及び摘み取り目標となる果実の４種類の配置状態を示す画像である。
【図１５】摘み取り装置による果柄の切断成功率を示す一覧表である。
【図１６】蛍光灯及びＬＥＤによって夫々認識された果実のマーキング結果を示す画像である。
【符号の説明】
【００５２】
１ 収穫ロボット
２ 撮影手段
３ 画像処理手段
４ 移動装置
５ 摘み取り装置
６ コンテナ
【技術分野】
【０００１】
本発明は、収穫ロボットに関し、より詳しくは、収穫適期の果実を判別して収穫する収穫ロボットに関するものである。
【背景技術】
【０００２】
労働力不足の解消や農作業の援助などのため、ハウス園芸における自動化が期待されており、温度管理や水やりなどの自動化とともに、ナスやイチゴなどの果菜類の収穫ロボットの研究開発が行われている。
例えば、ナス等の長物果実の収穫適期のもののみを選択的に自動収穫するため、カメラ撮影された長物果実の画像を取り込み、撮影画像の色情報を基に画像を処理して果実を検出すると共に、果実の位置から移動位置を決定し、果実に接近させ、果実の把持及び大きさ判定を行って収穫適期の果実の果梗を切断する技術が提案されている（下記特許文献１参照）。
このような技術によれば、長物果実のナス等であれば、赤緑青色の色情報を基に果実を認識することができ、その検出した果実の果実長さを判定して収穫適期のものを選択することが可能である。
【０００３】
しかしながら、ピーマンやオクラ等の緑色の果実は、葉や茎と同じ緑色で、上記技術のような色情報を基に果実を認識することはできない。
また、ピーマン等の長物果実でない果実は、葉の形との区別もつきにくく、形状に基づいて認識することも困難である。
【０００４】
【特許文献１】特開２０００−２６２１２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、上述したような従来技術の問題点を解決すべくなされたものであって、果菜類の果実の色や形状に限定されることなく、収穫適期の果実を収穫することができる収穫ロボットを提供するものである。
【課題を解決するための手段】
【０００６】
請求項１に係る発明は、撮影手段、画像処理手段、果柄を切断して果実を取り込む摘み取り装置及び移動装置からなる果菜類の収穫ロボットであって、前記撮影手段は、果菜を照明する照明装置と、２台のカメラとを備えてなり、前記画像処理手段は、２台のカメラによって夫々撮影されたアナログの画像情報を取得してデジタル変換する画像入力ボードと、該画像入力ボードがデジタル変換した画像情報を処理する画像処理アプリケーションと、該画像処理アプリケーションにて処理された画像情報に基づいて前記撮影手段、摘み取り装置及び移動装置を制御する制御手段とを備え、前記画像処理アプリケーションは、デジタル変換されたカラー画像データをＨＳＩ値に変換して二値化し、その二値化によって絞り込んだ果実の領域から特徴量を判別することを特徴とする収穫ロボットに関する。
【０００７】
請求項２に係る発明は、前記照明装置は、その照明範囲が限定されていることを特徴とする請求項１記載の収穫ロボットに関する。
【０００８】
請求項３に係る発明は、前記照明装置は、ＬＥＤであって、前記２台のカメラのうち、一方のレンズ周囲に複数個取り付けられていることを特徴とする請求項２記載の収穫ロボットに関する。
【０００９】
請求項４に係る発明は、前記撮影手段は、２台のカメラ位置を同時に移動する移動機構を備え、前記画像処理アプリケーションは、画像情報から認識された果実の中央位置、及び、前記２台のカメラによるステレオビジョンによって果実とカメラとの距離を算出し、前記制御手段は、前記果実の中央位置が画像における基準位置（ｘ，ｙ）に揃い、かつ、前記距離が所定距離となる基準位置（ｚ）にカメラが配置されるように、前記移動機構及び移動装置を制御することを特徴とする請求項１乃至３いずれか記載の収穫ロボットに関する。
【００１０】
請求項５に係る発明は、前記摘み取り装置は、ラック駆動機構を備え、水平面において所定角度回転及び前後にスライド可能に取り付けられていることを特徴とする請求項１乃至４いずれか記載の収穫ロボットに関する。
【発明の効果】
【００１１】
請求項１に係る発明によれば、撮影手段における照明装置によって照明された果菜が２台のカメラで夫々撮影され、その撮影された各画像が画像処理手段においてＨＳＩ値に変換されて二値化されることによって、ピーマン等の葉等と色や形の区別がつきにくい果実であっても、葉等から区別して認識することができ、その二値化で絞り込んだ領域から特徴量（大きさ等）を判別して収穫適期の果実を選別することが可能である。
【００１２】
請求項２に係る発明によれば、照明装置による照明範囲を限定することによって、果実同士が隣接したり重なったりした状態であっても、１つの果実に照明が集中するので、他の果実との光度及び彩度が異なり、２台のカメラで夫々撮影された画像から、その１つの果実を確実に一致して認識することが可能となる。
【００１３】
請求項３に係る発明によれば、照明装置がＬＥＤであって、２台のカメラのうち、一方のレンズ周囲に複数個取り付けられていることによって、照明範囲が限定されるとともに、照明を均一に当てることができ、２台のカメラで夫々撮影された画像から、その１つの果実をより確実に一致して認識することが可能となる。
【００１４】
請求項４に係る発明によれば、さらに撮影手段が２台のカメラの位置を同時に移動する移動機構を備え、認識された果実の中央位置がカメラ画像の基準位置（x，ｙ）に揃うように、かつ、２台のカメラによるステレオビジョンによって算出された果実とカメラとの距離（奥行）を、所定距離（基準位置（ｚ））となるようにカメラ位置を移動することによって、摘み取り装置が果実に届く範囲に配置される。これによって、摘み取り装置は、果柄を切断して果実を収穫することができる。
【００１５】
請求項５に係る発明によれば、摘み取り装置は、ラック駆動機構を備えることによって、カメラの移動とは別に、水平面において所定角度回転及び前後にスライドして果実に接近することができ、より確実に果柄を切断することが可能である。
【発明を実施するための最良の形態】
【００１６】
以下、本発明に係る収穫ロボットの好適な実施形態について、図面を参照しつつ説明する。
図１は、本発明に係る収穫ロボットの実施形態の一例を示す概略構成図である。図２は、収穫ロボットにおける機能構成を示す構成図である。図３は、収穫ロボットにおける撮影手段及び摘み取り装置の一例を示す斜視図である。図４は、照明装置の一例を示す概略構成図である。図５は、摘み取り装置の機能構成を示す構成図である。
本発明に係る収穫ロボット１は、２台のカメラ１０を備える撮影手段２と、画像処理手段３と、移動装置４と、果柄を切断して果実を摘み取る摘み取り装置５と、摘み取った果実を収容するコンテナ６とで構成される。なお、図１においては、２台のカメラ１０が紙面垂直方向に重なっているので、１台のみが表されている。
【００１７】
画像処理手段３は、画像入力ボード２１と、画像処理アプリケーション２２と、制御手段２３とを有する。画像処理手段３は、後述する画像処理システムの主要機能を担っている。
【００１８】
撮影手段２は、２台のカメラ１０と、これらのカメラ位置を移動する移動機構２０と、撮影対象を照らす照明装置１７とからなる。カメラ１０は、カラー画像撮影用で、立体視（ステレオビジョン）によって果実の位置を検出するために、２台を平行配設する。２台のカメラ１０の周辺には、図３に示すように、電位差計１２、DCモータ１１と、その駆動によって作動するタイミングベルト１３及びスライドレール１４とで構成される移動機構２０が設けられている。２台のカメラ１０は、これらの構成によって、平行状態を保って同時に同方向へ３方向（水平、垂直、奥行）で位置決めすることができるようになっている。なお、２台のカメラは、必ずしも平行に設置する必要はなく、適度な間隔をあけてステレオビジョンを撮影することができればよい。例えば、２台のカメラを後方より前方の間隔が狭くなるように内向きに設置したりすることができる。
【００１９】
照明装置１７は、図示例では、２台のカメラ１０のうちの一方のみに、そのレンズ１８周囲に複数個取り付けられたＬＥＤ照明装置である。照明装置１７は、ＬＥＤに限定されるものではなく、蛍光灯等、果実を照らすことができるものであればよいが、ＬＥＤのように照明範囲が限定されるものが好ましい。また、レンズ周囲に１個取り付けられたもの、２台のカメラの両方のレンズ周囲に１又は複数個取り付けられたもの、カメラのレンズ周囲以外の場所に取り付けられたものも除外するものではない。
【００２０】
摘み取り装置５は、図３に示すように２台のカメラの近傍に、カメラの移動に追従して移動可能に取り付けられ、かつカメラの移動とは別に、水平方向において所定角度回転及び前後にスライド可能に取り付けられ、水平面において移動可能である。これらの移動は、ＤＣモータ１６によって駆動するラック駆動機構１５によって実現される。また、図５に示すように、果菜を果柄で切断して果実を摘み取る剪定ハサミ３１と、剪定ハサミ３１の開閉を実現する並列連結機構３２と、並列連結機構３２を駆動するDCモータ３３とで構成される。
【００２１】
移動装置４は、当該収穫ロボット１を前後左右に移動するための図示しない駆動手段と、複数の車輪とで構成されている。
【００２２】
以上のように構成される収穫ロボット１は、農作業従事者と同様に、果実を認識し、それを摘み取り、摘み取った果実をコンテナ６に入れて、果実を収穫することができる。
この果実の収穫は、画像処理システムと、カメラ位置決めシステムとによって実現することができる。画像処理システムによって果実を認識し、その果柄を切断するため、カメラ位置決めシステムによって、認識した果実に対してカメラを位置決めする。
【００２３】
図６は、画像処理システムを機能構成によって示す構成図である。図７は、画像処理システムにおけるアルゴリズムを説明するフロー図である。
画像処理システムは、カメラ１０によって撮影された茎や葉とともにある果菜の画像を、画像処理アルゴリズムによって処理し、茎や葉から識別して果実を認識する。
【００２４】
この画像処理アルゴリズムにおいては、まず、画像入力ボード２１が左右のカメラ１０からの各デジタルカラー画像を取込み（ステップ１：Ｓ１）、赤（Ｒｅｄ），緑（Ｇｒｅｅｎ），青（Ｂｌｕｅ）からなるＲＧＢ値で表される画像を、輝度、彩度、色相からなるＨＳＩ空間表色系のＨＳＩ値に変換する（ステップ２：Ｓ２）。
そして、変換された画像データ２４（輝度、彩度、色相の各値）は、画像処理アプリケーション２２によって収穫しようとする果実ごとに予め設定した閾値に基づいて、その果実の色の領域に絞り込まれる（二値化）。二値化では、まず光度画像で選別し（ステップ３：Ｓ３）、彩度の二値化で葉等の大部分が果実と区別され（ステップ４：Ｓ４）、最後に色相でノイズを取り除く（ステップ５：Ｓ５）。
【００２５】
このようにして絞り込んだ色の領域を、連続した固まりごとに一つのものとして認識させる（標識づけ）（ステップ６：Ｓ６）。
標識づけされた各領域について、特徴量（形状、大きさ等）を算出し（ステップ７：Ｓ７）、収穫しようとする果実ごとに予め設定された特徴量に合致する領域を果実として認識する（ステップ８：Ｓ８）。このとき、大きさで選別することによって、収穫適期の果実を認識することが可能である。
【００２６】
なお、この果実の認識は、左右のカメラ１０において撮影された各画像について別個に処理され、別個に認識される。従って、左右の認識が異なる場合、認識できなかったものとして処理する。このように処理するのは、認識結果の整合性をとるためだけであれば、例えば、照明装置１７が取り付けられたカメラによる認識を優先するようにすることも可能であるが、後述するカメラ位置決めシステムにおけるステレオビジョンによる処理において、左右のカメラ１０によって同時に夫々撮影されて夫々認識された１つの果実の画像が必要とされるからである。
【００２７】
従って、後述するステレオビジョンによる処理のためにも、左右のカメラ１０による果実の認識が異なることなく、１つの果実を認識することが必要である。このような認識を、本発明に係る収穫ロボットにおいては、果実に照明を当てることによって実現している。
ピーマン等のように果実の色が葉等と同じ緑色の果実については、普通に撮影された画像データについて二値化しただけでは、葉等から識別することが困難である。そこで、果実に照明装置１７のライトを当てることによって、彩度のグレー値は、果実と葉等とで明確に区別することができ、葉等とともにある画像の中から果実だけを認識することができる。
【００２８】
また、果実が複数隣接したり重なったりした状態において、１つの果実を他の果実と識別するには、果実に当てる照明範囲を限定することによって、左右のカメラで夫々撮影された画像から認識される果実を確実に一致させて１つの果実を認識することができる。
例えば、果実が２つ隣接した状態では、左カメラにＬＥＤが取り付けられていると左カメラ正面に照明範囲が限定され、そこに位置する果実に照明が集中して隣接する果実よりも明るく照らされ、光度や彩度が異なる。従って、明るく照らされた果実を認識するように、光度及び彩度の閾値を設定すれば、左右のカメラで夫々撮影された画像から、左カメラ正面に位置する１つの果実のみを確実に一致して認識することができる。
【００２９】
また、例えば、前後方向に２つの果実が一部重なっている状態では、左カメラ正面の重なった果実に照明が当てられる場合、前方の果実が明るく照らされ、後方の果実は影になって前方の果実とは光度や彩度が異なり、左右のカメラで夫々撮影された画像から確実に一致して前方の１つの果実のみを認識することができる。
なお、画像処理領域を小さく限定することによって、左右のカメラで夫々撮影された画像から認識される果実を一致させることも考えられるが、その場合、果実を見つけ出すまでに時間がかかりすぎるという問題がある。これに対し、照明範囲を限定することによって時間をかけずに１つの果実を認識することが可能である。
【００３０】
以上のように、本発明に係る収穫ロボットは、撮影手段２及び画像処理手段３によって実現される画像処理システムを備えることによって、撮影手段２における照明装置１７によって照明された果菜が２台のカメラ１０で夫々撮影され、その撮影された各画像が画像処理手段３においてＨＳＩ値に変換されて二値化されることによって、ピーマン等の葉等と色や形の区別がつきにくい果実であっても、葉等から区別して認識することができ、その二値化で絞り込んだ領域から特徴量（大きさ等）を判別して収穫適期の果実を選別することが可能である。
【００３１】
また、照明装置１７で照明範囲を限定することによって、果実同士が隣接したり重なったりした状態であっても、１つの果実に照明が集中するので、他の果実との光度及び彩度が異なり、２台のカメラで夫々撮影された画像から、その１つの果実を確実に一致して認識することが可能となる。
さらに、照明装置１７をＬＥＤとし、２台のカメラのうち、一方のレンズ周囲に複数個取り付けることによって、照明範囲が限定されるとともに、照明を均一に当てることができ、２台のカメラで夫々撮影された画像から、その１つの果実をより確実に一致して認識することが可能となる。
【００３２】
次に、カメラ位置決めシステムについて説明する。
カメラ位置決めシステムは、上述のように、画像処理システムによって認識された果実の果柄を切断するために、その果実に対してカメラの位置決めを行うシステムであり、画像処理を利用したビジュアルフィードバック制御を利用する。このように、カメラ位置決めシステムは、上述の画像処理システムを包含するシステムである。
図８は、ビジュアルフィードバック制御を利用したカメラ位置決めシステムを説明するための概念図である。図９は、図８のカメラ位置決めシステムを機能構成によって示す構成図である。図１０は、ステレオビジョンによって奥行を算出する原理を示す概念図である。図１１は、認識された果実の中央位置を画像の基準位置に合わせる様子を示す模式図である。図１２は、カメラ位置決めシステムによって果実を摘み取る動作を説明するフローチャート図である。
【００３３】
カメラ位置決めシステムでは、まず、カメラ位置を移動して果菜の影像を撮影する（ステップ１１：Ｓ１１）。このときカメラ位置は、移動装置４と撮影手段２の移動機構２０によって移動させられる。
次いで、撮影された画像が、上述の画像処理システムによって処理される（ステップ１２：Ｓ１２）。この処理によって、左右のカメラによって同時に撮影された画像について夫々果実が認識され、左右のカメラで認識された果実がなければ（ステップ１３：Ｓ１３）、再びカメラ位置を移動するところから始める（ステップ１１：Ｓ１１）。なお、Ｓ１３までは、上述の画像処理システムにおける処理である。
【００３４】
一方、左右のカメラで果実を認識すると（ステップ１３：Ｓ１３）、認識した果実の中心位置が算出され、図１１に示すように、一方のカメラ１０（例えば、左カメラ）による画像における果実の中心位置４１が、カメラ画像の基準位置（x，ｙ）４２に揃うように、カメラ位置を移動機構２０によって移動する（ステップ１４：Ｓ１４）。このとき、果実の位置は、２台のカメラ１０によって検知されており、その位置データによって各モータが制御手段２３によって制御され、カメラが移動する。
【００３５】
具体的には、図９のように、画像処理アプリケーション２２によって把握された果実の中心位置情報を、制御手段２３が取得する。制御手段２３は、取得した中心位置情報から、該中心位置４１をカメラ画像の基準位置４２に揃えるために、移動機構２０を制御する。即ち、制御手段２３は、垂直方向及び水平方向に動かすモータの増幅器に対し、ＤＳＰ回路２４を介して指示信号を送信する。これらの信号によって図３に示した移動機構２０におけるＤＣモータ１１が駆動され、タイミングベルト１３、スライドレール１４が作動して、垂直方向及び水平方向にカメラ１０が移動する。なお、２台のカメラ１０は平行に固定されているので、同時に移動することになる。
【００３６】
基準位置（x，ｙ）４２は、果実の中心位置４１がこの基準位置４２に揃うことによって、果実に対してカメラが一定の位置に配置されると同時に、摘み取り装置５が果実を摘み取り可能な範囲に配置されるように設定された位置である。
次いで、画像処理アプリケーション２２によって、ステレオビジョンによる画像処理が行われる。即ち、２台のカメラ１０によるステレオビジョンによって、カメラ１０と認識された果実との距離が測定される。例えば図１０に示すように、各カメラ１０で撮影された画像における果実の中央位置のＸ座標は異なるので、その差（ｘｌ−ｘｒ）によって、奥行ｄがｄ＝ｂｆ／（ｘｌ−ｘｒ）から算出される。なお、ｆは焦点長さ、ｂは２台のカメラの距離である。この画像処理によって、カメラから果実の奥行方向への位置を把握することができる。
【００３７】
そして、算出された奥行ｄに基づいて奥行方向の基準位置（ｚ）にカメラ位置を移動する（ステップ１５：Ｓ１５）。基準位置（x，ｙ）４２に加え、この奥行方向の基準位置（ｚ）にカメラ位置を移動することによって、摘み取り装置５の剪定ハサミ３１は果実に届く範囲に配置される。また、摘み取り装置５は、ラック駆動機構１５を備えているので、カメラの移動とは別に、水平面において所定角度回転又は前後にスライドして果実に接近することができる。
【００３８】
次いで、剪定ハサミ３１は、図５に示したＤＣモータ１８が駆動して並列連結機構３２を開くことによって、当該剪定ハサミ３１を開く（ステップ１６）。そして、剪定ハサミ３１が果柄を挟む位置まで、摘み取り装置５をスライドさせ（ステップ１７）、並列連結機構３２を閉じることによって剪定ハサミ３１を閉じ、果柄を切断する（ステップ１８）。切断された果実は、コンテナ６内に落下して収容される。
さらに、別の果実の摘み取りを続行する場合には（ステップ１９）、ステップ１１に戻り、摘み取り作業を続行しない場合には終了する。
【００３９】
なお、ステレオビジョンによる奥行の算出は、基準位置（x，ｙ）へ移動するＳ１４の前に行うようにしてもよく、上述のようにＳ１４の後に行った場合と同様に基準位置（x，ｙ，ｚ）へ移動することができる。
また、本実施形態においては、ピーマンやオクラ等の軽量な果実を摘み取る場合を想定し、摘み取り装置５には、果実を把持してコンテナ６に収容する機構を設けていないが、従来既知の把持機構を備えるようにすれば、重量のある果実に対応することが可能である。
【００４０】
このようにカメラ位置決めシステムにおいてビジュアルフィードバック制御を利用することによって、画像処理によって得た果実の中心位置をフィードバックして、認識した果実に対してカメラを一定位置に位置決めすることができる。これによって、果柄と剪定ハサミとの相対位置を制御でき、摘み取り動作のための位置決めが可能となる。
【００４１】
以上のように、本発明に係る収穫ロボットは、画像処理システムにおいて１つの果実が認識されていることを前提に、撮影手段２が２台のカメラの位置を同時に移動する移動機構を備え、認識した果実の中央位置がカメラ画像の基準位置（x，ｙ）に揃うように、かつ、２台のカメラによるステレオビジョンによって算出された果実とカメラとの距離（奥行）を、所定距離（基準位置（ｚ））となるようにカメラ位置を移動することによって、摘み取り装置５が果実に届く範囲に配置される。これによって、摘み取り装置５は、果柄を切断して果実を収穫することができる。
また、摘み取り装置５は、ラック駆動機構１５を備えることによって、カメラの移動とは別に、水平面において所定角度回転及び前後にスライドして果実に接近することができ、より確実に果柄を切断することが可能である。
【試験例】
【００４２】
（試験例１）
本発明に係る収穫ロボットにおける撮影手段及び画像処理手段の構成部分を作製し、実際に栽培されているハウス内の果菜（ピーマン）の画像データを収集し、画像処理アルゴリズムの検証試験を行った。なお、撮影手段に、移動機構は設けず、２台のカメラと照明装置で構成した。
有効画素数６４０×４８０のカラーＣＣＤカメラ（Ｌｏｇｃｏｏｌ製ＱｃａｍＰｒｏ４０００）２台を、１１０ｍｍの間隔で照明装置（蛍光灯２７Ｗ）に取り付け、画像入力ボード（Ｌｅｕｔｒｏｎ Ｖｉｓｉｏｎ製Ｐｉｃ−Ｐｏｒｔ）、画像処理アプリケーション（ＭＶＴｅｃ製ＨＡＬＣＯＮ）及び制御手段（ＤＳＰコントローラ）で構成される画像処理手段（ノート型パーソナルコンピュータ）に接続し、本試験例１における収穫ロボットとした。周囲の明るさの影響を確認するため、昼間と夜間の画像データを夫々収集し、これらの画像データにおいて認識できたピーマンの認識数を、人の目で確認したピーマンの個数と比較した。
【００４３】
図１３は、試験例１における試験結果を示す一覧表である。
認識率は、昼間４７．６％、夜間７５．５％で、画像処理アルゴリズムは有効であった。夜間に認識率が高いのは、周囲の明るさの影響を受けにくく、安定して認識できたためと考えられる。なお、ピーマンが葉に一部隠れている状態では、大きさの判定や果柄部の認識は困難であったが、ピーマン自体の存在の認識は可能であった。
【００４４】
（試験例２）
本発明に係る収穫ロボットを試作し、撮影手段及び画像処理手段の構成によって果実を認識してカメラを位置決めし、その果実を摘み取り装置によって摘み取った。
有効画素数６４０×４８０のカラーＣＣＤカメラ（Ｌｏｇｃｏｏｌ製ＱｃａｍＰｒｏ４０００）２台を、１２０ｍｍの間隔で配設し、画像処理手段を、画像入力ボード（Ｌｅｕｔｒｏｎ Ｖｉｓｉｏｎ製Ｐｉｃ−Ｐｏｒｔ）、画像処理アプリケーション（ＭＶＴｅｃ製ＨＡＬＣＯＮ）及び制御手段（ＤＳＰコントローラ）で構成した。照明装置として、蛍光灯（２７Ｗ）は２台のカメラの下方に取り付けた。撮影手段における移動機構は、図３に示すように２台のカメラが平行状態を保って同時に同方向へ３方向（水平、垂直、奥行）で位置決めすることができるように設定した。また、摘み取り装置は、図３のように、右カメラの右側上方にカメラの移動に追従し、かつカメラの移動とは別に水平方向に移動可能なように取り付けた。
【００４５】
図１４は、認識及び摘み取り目標となる果実の４種類の配置状態を示す画像である。
認識及び摘み取り目標の果実（ピーマン）は、カメラからのリアルタイムの影像を画像処理して認識した。なお、画像処理領域は小さく限定し、左右カメラで夫々撮影された画像において認識する果実を一致させるようにした。
【００４６】
図１５は、摘み取り装置による果柄の切断成功率を示す一覧表である。
図１４（ａ）のように果実が葉とともにあっても単体で存在する場合は、葉と区別して高い確率で果実の認識から摘み取りまでの動作ができることが確認できた。複数の果実が存在する場合、左右カメラで夫々撮影された画像において認識する摘み取りの目標となる果実が一致しないことがあり、認識が不安定となって摘み取り成功率が低くなった。図１４（ｃ），（ｄ）のように果実同士が接触したり、重なり合った状態では、切断成功率は低かったが、果実が２つ以上存在する場合でも図１４（ｂ）のように果実同士が隣接せずに離れている場合は、９３％と高い切断成功率であった。
【００４７】
（試験例３）
試験例２と同じ収穫ロボットを試作し、さらに照明装置として、白色のＬＥＤ（光度：５５００ｍｃｄ／２０ｍＡ，指向特性：１８度）１６個を左カメラの周囲に取り付けた。左カメラ１台による認識状況を、ＬＥＤを用いた場合と蛍光灯を用いた場合とで比較した。
認識対象の果実としてピーマンを２個用い、隣接させて設置した場合と、１個を後方に置いて前方から重なって見える場合の２つのケースで実施した。大きさによる果実の絞込みや画像領域の制限は行わず、認識したピーマンをすべてマーキングさせた。
【００４８】
図１６は、蛍光灯及びＬＥＤによって夫々認識された果実のマーキング結果を示す画像である。
隣接して果実を設置した場合、図１６（ａ），（ｂ）のように蛍光灯の照明では２つの果実を認識したが、図１６（ｃ），（ｄ）のようにＬＥＤの照明では、正面にあたる果実のみを認識した。また、重なりがあるように設置した場合、図１６（ｅ），（ｆ）のように蛍光灯の照明では２つの果実を１つと認識したが、図１６（ｇ），（ｈ）のようにＬＥＤの照明では、前方の果実のみを認識した。これらの結果から、蛍光灯を用いた照明では、広範囲の果実を認識するため、誤認や左右のカメラで認識する果実の不一致が生じる可能性が高いことが分かった。一方、ＬＥＤの場合、照明範囲が限定されるため、誤認が少なく、左右のカメラで夫々撮影された画像において認識する果実が一致する可能性が高いと考えられる。
【００４９】
（試験例４）
試験例３と同じ収穫ロボットによって、左右２台のカメラによるステレオビジョンでの認識状況を、ＬＥＤを用いた場合と蛍光灯を用いた場合とで比較した。
認識対象の果実としてピーマンを２個用い、図１４（ｂ）の状態で、カメラ位置を移動させて、認識状況を確認した。カメラは、２個のピーマンに対して正面右側方、略真正面及び正面左側方に順次移動させた。画像処理領域は制限せず、ピーマンと認識されたものの中で最も大きいものを選択してマーキングさせた。また、同じカメラ位置で、複数回、認識状況を確認した。
蛍光灯照明の場合、左右カメラで夫々撮影された画像において認識するピーマンの不一致や、同じカメラ位置で撮影された画像でも認識するピーマンの変動が見られた。一方、ＬＥＤ照明の場合、カメラ位置によって認識するピーマンを限定できることが分かった。
【産業上の利用可能性】
【００５０】
本発明は、果菜類の温度管理や水やりなどの自動化を進めているハウス園芸において好適に利用されるものである。
【図面の簡単な説明】
【００５１】
【図１】本発明に係る収穫ロボットの実施形態の一例を示す概略構成図である。
【図２】収穫ロボットにおける機能構成を示す構成図である。
【図３】収穫ロボットにおける撮影手段及び摘み取り装置の一例を示す斜視図である。
【図４】照明装置の一例を示す概略構成図である。
【図５】摘み取り装置の機能構成を示す構成図である。
【図６】画像処理システムを機能構成によって示す構成図である。
【図７】画像処理システムにおけるアルゴリズムを説明するフロー図である。
【図８】ビジュアルフィードバック制御を利用したカメラ位置決めシステムを説明するための概念図である。
【図９】図８のカメラ位置決めシステムを機能構成によって示す構成図である。
【図１０】ステレオビジョンによって奥行を算出する原理を示す概念図である。
【図１１】認識された果実の中央位置を画像の基準位置に合わせる様子を示す模式図である。
【図１２】カメラ位置決めシステムによって果実を摘み取る動作を説明するフローチャート図である。
【図１３】試験例１における試験結果を示す一覧表である。
【図１４】認識及び摘み取り目標となる果実の４種類の配置状態を示す画像である。
【図１５】摘み取り装置による果柄の切断成功率を示す一覧表である。
【図１６】蛍光灯及びＬＥＤによって夫々認識された果実のマーキング結果を示す画像である。
【符号の説明】
【００５２】
１ 収穫ロボット
２ 撮影手段
３ 画像処理手段
４ 移動装置
５ 摘み取り装置
６ コンテナ
【特許請求の範囲】
【請求項１】
撮影手段、画像処理手段、果柄を切断して果実を取り込む摘み取り装置及び移動装置からなる果菜類の収穫ロボットであって、
前記撮影手段は、果菜を照明する照明装置と、２台のカメラとを備えてなり、
前記画像処理手段は、２台のカメラによって夫々撮影されたアナログの画像情報を取得してデジタル変換する画像入力ボードと、該画像入力ボードがデジタル変換した画像情報を処理する画像処理アプリケーションと、該画像処理アプリケーションにて処理された画像情報に基づいて前記撮影手段、摘み取り装置及び移動装置を制御する制御手段とを備え、
前記画像処理アプリケーションは、デジタル変換されたカラー画像データをＨＳＩ値に変換して二値化し、その二値化によって絞り込んだ果実の領域から特徴量を判別することを特徴とする収穫ロボット。
【請求項２】
前記照明装置は、その照明範囲が限定されていることを特徴とする請求項１記載の収穫ロボット。
【請求項３】
前記照明装置は、ＬＥＤであって、前記２台のカメラのうち、一方のレンズ周囲に複数個取り付けられていることを特徴とする請求項２記載の収穫ロボット。
【請求項４】
前記撮影手段は、２台のカメラ位置を同時に移動する移動機構を備え、
前記画像処理アプリケーションは、画像情報から認識された果実の中央位置、及び、前記２台のカメラによるステレオビジョンによって果実とカメラとの距離を算出し、
前記制御手段は、前記果実の中央位置が画像における基準位置（ｘ，ｙ）に揃い、かつ、前記距離が所定距離となる基準位置（ｚ）にカメラが配置されるように、前記移動機構及び移動装置を制御することを特徴とする請求項１乃至３いずれか記載の収穫ロボット。
【請求項５】
前記摘み取り装置は、ラック駆動機構を備え、水平面において所定角度回転及び前後にスライド可能に取り付けられていることを特徴とする請求項１乃至４いずれか記載の収穫ロボット。
【請求項１】
撮影手段、画像処理手段、果柄を切断して果実を取り込む摘み取り装置及び移動装置からなる果菜類の収穫ロボットであって、
前記撮影手段は、果菜を照明する照明装置と、２台のカメラとを備えてなり、
前記画像処理手段は、２台のカメラによって夫々撮影されたアナログの画像情報を取得してデジタル変換する画像入力ボードと、該画像入力ボードがデジタル変換した画像情報を処理する画像処理アプリケーションと、該画像処理アプリケーションにて処理された画像情報に基づいて前記撮影手段、摘み取り装置及び移動装置を制御する制御手段とを備え、
前記画像処理アプリケーションは、デジタル変換されたカラー画像データをＨＳＩ値に変換して二値化し、その二値化によって絞り込んだ果実の領域から特徴量を判別することを特徴とする収穫ロボット。
【請求項２】
前記照明装置は、その照明範囲が限定されていることを特徴とする請求項１記載の収穫ロボット。
【請求項３】
前記照明装置は、ＬＥＤであって、前記２台のカメラのうち、一方のレンズ周囲に複数個取り付けられていることを特徴とする請求項２記載の収穫ロボット。
【請求項４】
前記撮影手段は、２台のカメラ位置を同時に移動する移動機構を備え、
前記画像処理アプリケーションは、画像情報から認識された果実の中央位置、及び、前記２台のカメラによるステレオビジョンによって果実とカメラとの距離を算出し、
前記制御手段は、前記果実の中央位置が画像における基準位置（ｘ，ｙ）に揃い、かつ、前記距離が所定距離となる基準位置（ｚ）にカメラが配置されるように、前記移動機構及び移動装置を制御することを特徴とする請求項１乃至３いずれか記載の収穫ロボット。
【請求項５】
前記摘み取り装置は、ラック駆動機構を備え、水平面において所定角度回転及び前後にスライド可能に取り付けられていることを特徴とする請求項１乃至４いずれか記載の収穫ロボット。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００８−２２７３７（Ｐ２００８−２２７３７Ａ）
【公開日】平成２０年２月７日（２００８．２．７）
【国際特許分類】
【出願番号】特願２００６−１９７０１２（Ｐ２００６−１９７０１２）
【出願日】平成１８年７月１９日（２００６．７．１９）
【出願人】（５９７１５４９６６）学校法人高知工科大学 (141)
【Ｆターム（参考）】
【公開日】平成２０年２月７日（２００８．２．７）
【国際特許分類】
【出願日】平成１８年７月１９日（２００６．７．１９）
【出願人】（５９７１５４９６６）学校法人高知工科大学 (141)
【Ｆターム（参考）】
[ Back to top ]