作業車の画像処理装置
【課題】 列状に並んだ物体を撮影して線分を設定する作業車の画像処理装置において、物体の色相に近い色相を備えた外乱の影響をできるだけ小さくする。
【解決手段】 物体の並び方向と交差する複数の分割線E1により、画像を複数の領域B1に分割する。領域B1の各々において、物体の色相を備えた画素を候補画素として抽出する。領域B1の各々において、複数の候補画素のうち、最上位から所定個数の候補画素G1,G2,G3,G4を選択する。選択された所定個数の候補画素G1,G2,G3,G4に沿って線分を設定する。
【解決手段】 物体の並び方向と交差する複数の分割線E1により、画像を複数の領域B1に分割する。領域B1の各々において、物体の色相を備えた画素を候補画素として抽出する。領域B1の各々において、複数の候補画素のうち、最上位から所定個数の候補画素G1,G2,G3,G4を選択する。選択された所定個数の候補画素G1,G2,G3,G4に沿って線分を設定する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、所定の色相を備えた物体が列状に並んだ状態において、列状に並んだ物体を撮影し、列状に並んだ物体に沿って線分を設定する作業車の画像処理装置に関する。
【背景技術】
【0002】
作業車の一例である乗用型田植機において、走行しながら植付作業を行う場合、前回の植付行程で植え付けられた苗(所定の色相を備えた物体に相当)が、機体の横側に列状に並んでいる。例えば特許文献1では、既に植え付けられた苗(特許文献1の図7のTn)を撮影し、ハフ変換等に基づいて既に植え付けられた苗に沿って線分を設定して、設定された線分に沿って機体が自動的に走行するように構成している。
【0003】
【特許文献1】特開平6−14611号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
所定の色相を備えた物体が列状に並んだ状態において、列状に並んだ物体を撮影する場合、特に自然の中に存在する物体を撮影する際には、多くの外乱も一緒に撮影されてしまう。
これにより、列状に並んだ物体が撮影されるのに加えて、物体の色相に近い色相を備えた外乱も一緒に撮影されてしまうので、ハフ変換等に基づいて線分を設定する場合、列状に並んだ物体に沿って線分が設定されるのに加えて、物体の色相に近い色相を備えた外乱に沿って線分が設定される。
【0005】
従って、前述のように列状に並んだ物体及び物体の色相に近い色相を備えた外乱により多くの線分が設定されることになる為に、線分を設定する処理を多く行う必要があり、高機能の画像処理装置を採用する必要が生じてくる。さらに、列状に並んだ物体及び物体の色相に近い色相を備えた外乱により多くの線分が設定されると、実際にどの線分に基づいて機体を走行させるのか判断が困難になることが考えられる。
本発明は、列状に並んだ物体を撮影し、列状に並んだ物体に沿って線分を設定する作業車の画像処理装置において、物体の色相に近い色相を備えた外乱の影響をできるだけ小さくすることができるように構成することを目的としている。
【課題を解決するための手段】
【0006】
[I]
(構成)
本発明の第1特徴は作業車の画像処理装置において次のように構成することにある。
所定の色相を備えた物体が列状に並んだ状態において、列状に並んだ物体を撮影する撮影手段。物体の並び方向と交差する複数の分割線により、撮影手段によって撮影された画像を複数の領域に分割する第1処理手段。領域の各々において、物体の色相を備えた画素を候補画素として抽出する第2処理手段。領域の各々において、複数の候補画素のうち、最上位から所定個数の候補画素を選択する第3処理手段。選択された所定個数の候補画素に沿って線分を設定する第4処理手段を備える。
【0007】
(作用)
列状に並んだ物体を撮影する際に、列状に並んだ物体が撮影されるのに加えて、物体の色相に近い色相を備えた外乱も一緒に撮影されてしまう場合、物体の色相に着目して候補画素を抽出すれば、一般に物体に対応する候補画素が上位になり、物体の色相に近い色相を備えた外乱に対応する候補画素が下位となる(例えば2値化処理及びフィルタリング処理を行った場合の値の大小等)。
【0008】
所定の色相を備えた物体が列状に並んだ状態において、本発明の第1特徴によると、例えば図4に示すように、物体の並び方向と交差する複数の分割線E1により、画像が複数の領域B1に分割されるのであり、領域B1の各々において、物体の色相を備えた画素を候補画素として抽出した場合、複数の候補画素のうち例えば図5に示すように、最上位から所定個数の候補画素G1,G2,G3,G4が選択されるのであり、最上位から所定個数以外の候補画素が削除(無視)される。
このように、本発明の第1特徴によると、物体の色相に近い色相を備えた外乱に対応する下位の候補画素が事前に削除(無視)されるので、この後に候補画素に沿って線分を設定する際、物体の色相に近い色相を備えた外乱に対応する下位の候補画素に沿って線分は設定されないのであり、不必要に多くの線分が設定されると言う状態を避けることができる。
【0009】
(発明の効果)
本発明の第1特徴によると、列状に並んだ物体を撮影し、列状に並んだ物体に沿って線分を設定する作業車の画像処理装置において、物体の色相に近い色相を備えた外乱に対応する下位の候補画素を事前に削除(無視)することにより、不必要に多くの線分が設定されると言う状態を避けることができ、実際にどの線分に基づいて機体を走行させるのか判断が困難になることを避けることができるようになって、画像処理機能を高めることができた。
【0010】
[II]
(構成)
本発明の第2特徴は、本発明の第1特徴の作業車の画像処理装置において次のように構成することにある。
領域の各々において、物体の色相を備えた画素が連続的に存在する部分があると、この物体の色相を備えた画素が連続的に存在する部分を削除する第5処理手段を備える。
【0011】
(作用)
本発明の第2特徴によると、本発明の第1特徴と同様に前項[I]に記載の「作用」を備えており、これに加えて以下のような「作用」を備えている。
列状に並んだ物体を撮影する際に、物体の近くに樹木や建物、屋内の家具や柱等が映るようなことがあり、このような状態になると列状に並んだ物体に対して、樹木や建物、屋内の家具や柱等は、所定の色相を備えた画素が連続的に存在するような状態となる(例えば図4のC1参照)。従って、物体の色相を備えた画素であっても、物体の色相を備えた画素が連続的に存在していれば、これは物体ではないと判断できる。
【0012】
これにより、本発明の第2特徴のように、物体の色相を備えた画素が連続的に存在する部分を削除することにより、列状に並んだ物体を撮影する際、物体の近くに樹木や建物、屋内の家具や柱等が映るようなことがあった場合、樹木や建物、屋内の家具や柱等が物体の色相を備えていても、これらを適切に削除(無視)することができる。
【0013】
(発明の効果)
本発明の第2特徴によると、本発明の第1特徴と同様に前項[I]に記載の「発明の効果」を備えており、これに加えて以下のような「発明の効果」を備えている。
本発明の第2特徴によると、樹木や建物、屋内の家具や柱等が物体の色相を備えていても、これらを適切に削除(無視)することができるようになって、画像処理機能を高めることができた。
【0014】
[III]
(構成)
本発明の第3特徴は、本発明の第1又は第2特徴の作業車の画像処理装置において次のように構成することにある。
線分のうち候補画素が設定よりも少ない線分を削除する第6処理手段を備える。
【0015】
(作用)
本発明の第3特徴によると、本発明の第1又は第2特徴と同様に前項[I][II]に記載の「作用」を備えており、これに加えて以下のような「作用」を備えている。
前項[I]に記載のように、選択された所定個数の候補画素に沿って線分を設定する場合、例えば図6に示すように、線分L1〜L4に対して交差する線分L5が設定されるようなことがある。この線分L5は物体の並び方向と交差するような状態になることが多いので、線分L1〜L4に属する候補画素G1〜G4に比べて、線分L5に属する候補画素は少ないことが多い。
これにより、本発明の第3特徴のように、候補画素が設定よりも少ない線分を削除することにより、交差するような状態の線分を適切に削除(無視)することができる。
【0016】
(発明の効果)
本発明の第3特徴によると、本発明の第1又は第2特徴と同様に前項[I][II]に記載の「発明の効果」を備えており、これに加えて以下のような「発明の効果」を備えている。
本発明の第3特徴によると、交差するような状態の線分を適切に削除(無視)することができるようになって、画像処理機能を高めることができた。
【0017】
[IV]
(構成)
本発明の第4特徴は、本発明の第1〜第3特徴の作業車の画像処理装置のうちのいずれか一つにおいて次のように構成することにある。
前の時点の画像で設定された線分と現在の画像で設定された線分とを比較することにより、現在の画像で設定された線分において、前の時点の画像で設定された線分から設定を越えて外れる線分を削除する第7処理手段を備える。
【0018】
(作用)
本発明の第4特徴によると、本発明の第1〜第3特徴のうちのいずれか一つと同様に前項[I]〜[III]に記載の「作用」を備えており、これに加えて以下のような「作用」を備えている。
列状に並んだ物体を撮影する場合、ある時点での物体の位置と次の時点での物体の位置とが、大きく変化するようなことは少ない。
【0019】
これにより、前項[I]に記載のように、選択された所定個数の候補画素に沿って線分を設定する場合、本発明の第4特徴によると、前の時点の画像で設定された線分と現在の画像で設定された線分とを比較しており、現在の画像で設定された線分において、前の時点の画像で設定された線分から設定を越えて外れる線分は、外乱による線分と判断できるのであり、外乱による線分を適切に削除(無視)することができる。
【0020】
(発明の効果)
本発明の第4特徴によると、本発明の第1〜第3特徴のうちのいずれか一つと同様に前項[I]〜[III]に記載の「発明の効果」を備えており、これに加えて以下のような「発明の効果」を備えている。
本発明の第4特徴によると、外乱による線分を適切に削除(無視)することができるようになって、画像処理機能を高めることができた。
【0021】
[V]
(構成)
本発明の第5特徴は、本発明の第1〜第4特徴の作業車の画像処理装置のうちのいずれか一つにおいて次のように構成することにある。
前の時点の画像で設定された線分が現在の画像で設定されない場合、前の時点の画像で設定された線分に基づいて、現在の画像で線分を設定する第8処理手段を備える。
【0022】
(作用)
本発明の第5特徴によると、本発明の第1〜第4特徴のうちのいずれか一つと同様に前項[I]〜[IV]に記載の「作用」を備えており、これに加えて以下のような「作用」を備えている。
列状に並んだ物体を撮影する場合、ある時点での画像において物体の色相を備えた画素が存在しても、光の反射具合の変化等により、次の時点での画像で物体の色相を備えた画素が存在しなくなるようなことがあり、このような状態になると、線分が設定されないことがある。この場合においても、前項[IV]に記載のように、ある時点での物体の位置と次の時点での物体の位置とが、大きく変化するようなことは少ない。
【0023】
これにより、本発明の第5特徴によると、前の時点の画像で設定された線分が現在の画像で設定されない場合、前の時点の画像で設定された線分に基づいて、現在の画像で線分を設定すれば、現在の画像で物体の色相を備えた画素が存在しなくなるようなことになっても、現在の画像において線分を無理なく設定することができる。
【0024】
(発明の効果)
本発明の第5特徴によると、本発明の第1〜第4特徴のうちのいずれか一つと同様に前項[I]〜[IV]に記載の「発明の効果」を備えており、これに加えて以下のような「発明の効果」を備えている。
本発明の第5特徴によると、現在の画像で物体の色相を備えた画素が存在しなくなるようなことになっても、現在の画像において線分を無理なく設定することができるようになって、画像処理機能を高めることができた。
【発明を実施するための最良の形態】
【0025】
図1及び図2に示すように、右及び左の前輪1、右及び左の後輪2を備えた機体の後部に、リンク機構3及びリンク機構3を昇降駆動する油圧シリンダ4が備えられ、リンク機構3の後部に6条植型式の苗植付装置5が支持されて、作業車の一例である乗用型の田植機が構成されている。苗植付装置5に右及び左の支持フレーム6が固定されて右及び左の横外方に延出されており、右及び左の支持フレーム6にCCD型式のカメラ7(撮影手段に相当)が固定されている。
【0026】
図1及び図2に示すように、前回の植付行程において、田面に植え付けられた苗A1,A2(物体に相当)が、機体の右又は左の横側に列状に並んでいる。田面に植え付けられた苗A1(機体の直ぐ隣の列)の上方付近に、右及び左のカメラ7が位置しており、右及び左のカメラ7が斜め前方下方に向けられている。これにより、右及び左の一方のカメラ7は、右及び左の一方の前輪1の直前から前方の所定の範囲を撮影して、田面に植え付けられた苗A1(機体の直ぐ隣の列)及び田面に植え付けられた苗A2(機体の隣の隣の列)を撮影するのであり、右及び左の他方のカメラ7は苗を撮影しない。右及び左の一方の前輪1の直前から前方の所定の範囲は、樹木の映り込みや朝日及び夕日の映り込みが少なく、右及び左の前輪1による波の影響が少ない。
【0027】
右(左)のカメラ7で撮影した画像が以下の説明のように処理されて、田面に植え付けられた苗A1(機体の直ぐ隣の列)に相当する線分L1、及び田面に植え付けられた苗A2(機体の隣の隣の列)に相当する線分L2が設定されるのであり、田面に植え付けられた苗A1(機体の直ぐ隣の列)に相当する線分L1に沿って機体が走行するように、右及び左の前輪1が自動的に操向操作される。
【0028】
次に、右(左)のカメラ7で撮影した画像の処理について順番に説明する。
図4に示すように、右(左)のカメラ7で撮影した画像において、画像の上下方向(画像の上側が機体の前側で、画像の下側が機体の後側)と交差する分割線E1により、画像が10個の領域B1に分割される(第1処理手段に相当)。この場合、分割線E1により画像を10個の領域B1に分割するのではなく、分割線E1による画像の分割数を10個から多くしたり少なくしたりすることは、任意に変更可能である。
【0029】
図3及び図4に示すように、領域B1の各々において、赤成分、緑成分及び青成分のうち、赤成分の濃度よりも緑成分の濃度が大で、青成分の濃度よりも赤成分の濃度が大である画素(図3に示す範囲D1に属する画素)が抽出され、この画素のうち彩度Sが設定値S0よりも大の画素が、田面に植え付けられた苗A1(機体の直ぐ隣の列)及び田面に植え付けられた苗A2(機体の隣の隣の列)に相当する画素と判断されて抽出される。この場合、設定値S0は大小に任意に変更可能である。
【0030】
薄い青色のフィルタ(図示せず)が右及び左のカメラ7に取り付けられており、青成分の濃度が設定だけ増加させられている(右及び左のカメラ7の前部に取り付けられる防水用の風防を、薄い青色のものに構成してもよい)。この場合、フィルタや風防の青色の濃度は任意に変更可能である。
【0031】
図4に示すように、画面の左右方向(画像の右側が機体の右側で、画像の左側が機体の左側)に沿って、抽出された画素が連続的に存在する部分C1があると、図5に示すように、抽出された画素が連続的に存在する部分C1が削除(無視)される(第5処理手段に相当)。
【0032】
領域B1の各々において、抽出された画素に基づいてフィルタリング処理が行われて、候補画素が抽出され(第2処理手段に相当)、図5に示すように、領域B1の各々において、抽出された候補画素のうち最上位から4個の候補画素G1,G2,G3,G4が選択される(最上位から4個の候補画素G1,G2,G3,G4以外の候補画素が削除される)(第3処理手段に相当)。次に図6に示すように、候補画素G1〜G4に基づいて、ハフ変換により候補画素G1〜G4に沿った線分L1,L2,L3,L4,L5が設定される(第4処理手段に相当)。この場合、最上位から4個ではなく、最上位から3個や5個のように、任意の個数の候補画素を選択するように構成することが可能である。
【0033】
図6に示すように、画像の上下方向(画像の上側が機体の前側で、画像の下側が機体の後側)と交差する分割線E2により、画像が4個の領域B21,B22,B23,B24に分割される。線分L1〜L5の各々において、領域B21で線分L1〜L5に属する候補画素G1〜G4の数N1、領域B22で線分L1〜L5に属する候補画素G1〜G4の数N2、領域B23で線分L1〜L5に属する候補画素G1〜G4の数N3、及び領域B24で線分L1〜L5に属する候補画素G1〜G4の数N4が求められる。これにより、図6から図7に示すように、線分L1〜L5の各々において、候補画素G1〜G4の数N1〜N4の合計が設定よりも少ない線分L5が削除(無視)される(第6処理手段に相当)。
【0034】
次に線分L1〜L4の各々において、評価値M1が、
M1=N4×(N1+N2+N3)
の式に基づいて求められ、図7から図8に示すように、線分L1〜L4のうち評価値M1が最上位から所定個数の線分L1,L2,L3が選択される(線分L1〜L4のうち評価値M1が最上位から所定個数以外の線分L4が削除される)。
【0035】
図9に示すように、前の時点の画像において、田面に植え付けられた苗A1(機体の直ぐ隣の列)に相当する線分L11、及び田面に植え付けられた苗A2(機体の隣の隣の列)に相当する線分L12が設定されている場合、線分L11,L12の各々において、画像の中央からの位置F11,F12及び画像に対する角度H11,H12が求められる。同様に図8に示す線分L1,L2,L3の各々において、画像の中央からの位置F1,F2,F3及び画像に対する角度H1,H2,H3が求められ、線分L1,L2,L3に属する候補画素G1,G2,G3の数(N1+N2+N3+N4)が求められる。
【0036】
これにより図8及び図9に示すように、線分L1と線分L11,L12とにおいて、
J1=位置偏差(F1−F11)×角度偏差(H1−H11)
J2=位置偏差(F1−F12)×角度偏差(H1−H12)
の式に基づいてJ1,J2が求められるのであり、線分L1の評価値M2が次の式で求められる。
M2=線分L1に属する候補画素G1の数(N1+N2+N3+N4)/(J1及びJ2のうちの小さいもの)
【0037】
同様に図8及び図9に示すように、線分L2と線分L11,L12とにおいて、
J1=位置偏差(F2−F11)×角度偏差(H2−H11)
J2=位置偏差(F2−F12)×角度偏差(H2−H12)
の式に基づいてJ1,J2が求められるのであり、線分L2の評価値M2が次の式で求められる。
M2=線分L2に属する候補画素G2の数(N1+N2+N3+N4)/(J1及びJ2のうちの小さいもの)
【0038】
同様に図8及び図9に示すように、線分L3と線分L11,L12とにおいて、
J1=位置偏差(F3−F11)×角度偏差(H3−H11)
J2=位置偏差(F3−F12)×角度偏差(H3−H12)
の式に基づいてJ1,J2が求められるのであり、線分L3の評価値M2が次の式で求められる。
M2=線分L3に属する候補画素G3の数(N1+N2+N3+N4)/(J1及びJ2のうちの小さいもの)
【0039】
以上のようにして求められた線分L1の評価値M2、線分L2の評価値M2及び線分L3の評価値M2により、線分L1と線分L11とが互いに接近し、線分L2と線分L12とが互いに接近しており、線分L3が線分L11,L12から離れたものであると判断される。これにより、線分L1が線分L11を引き続いたものであり、線分L2が線分L12を引き続いたものであると判断できるのであり、線分L3は線分L11,L12を引く続いたものではないと判断できて、線分L3が削除(無視)される(第7処理手段に相当)。
従って、図10に示すように、田面に植え付けられた苗A1(機体の直ぐ隣の列)に相当する線分L1、及び田面に植え付けられた苗A2(機体の隣の隣の列)に相当する線分L2が設定される。
【0040】
例えば図11に示すように、田面に植え付けられた苗A2(機体の隣の隣の列)に相当する線分L2が設定されて、田面に植え付けられた苗A1(機体の直ぐ隣の列)に相当する線分L1が設定されなかった場合に、図12に示すように前の時点の画像において、田面に植え付けられた苗A1(機体の直ぐ隣の列)に相当する線分L11が設定されていれば、図10に示すように、線分L11が田面に植え付けられた苗A1(機体の直ぐ隣の列)に相当する線分L1として設定される(第8処理手段に相当)。
【図面の簡単な説明】
【0041】
【図1】乗用型の田植機の全体側面図
【図2】乗用型の田植機の全体平面図
【図3】田面に植え付けられた苗(機体の直ぐ隣の列)及び田面に植え付けられた苗(機体の隣の隣の列)に相当する画素が判断されて抽出される場合の色成分及び彩度の状態を示す図
【図4】画像において、田面に植え付けられた苗(機体の直ぐ隣の列)及び田面に植え付けられた苗(機体の隣の隣の列)に相当する画素が判断されて抽出された状態を示す図
【図5】画像において、抽出された候補画素のうち最上位から4個の候補画素が選択された状態を示す図
【図6】画像において、ハフ変換により候補画素に沿った線分が設定された状態を示す図
【図7】画像において、候補画素が少ない線分が削除された状態を示す図
【図8】画像において、線分のうち評価値が最上位から所定個数の線分が選択された状態を示す図
【図9】前の時点の画像において、田面に植え付けられた苗(機体の直ぐ隣の列)に相当する線分、及び田面に植え付けられた苗(機体の隣の隣の列)に相当する線分が設定された状態を示す図
【図10】画像において、田面に植え付けられた苗(機体の直ぐ隣の列)に相当する線分、及び田面に植え付けられた苗(機体の隣の隣の列)に相当する線分が設定された状態を示す図
【図11】画像において、田面に植え付けられた苗(機体の隣の隣の列)に相当する線分が設定されて、田面に植え付けられた苗(機体の直ぐ隣の列)に相当する線分が設定されなかった状態を示す図
【図12】前の時点の画像において、田面に植え付けられた苗(機体の直ぐ隣の列)に相当する線分、及び田面に植え付けられた苗(機体の隣の隣の列)に相当する線分が設定された状態を示す図
【符号の説明】
【0042】
7 撮影手段
A1,A2 物体
B1 領域
C1 物体の色相を備えた画素が連続的に存在する部分
E1 分割線
G1,G2,G3,G4 候補画素
L1,L2,L3,L4,L5 線分
L11,L12 前の時点の画像で設定された線分
【技術分野】
【0001】
本発明は、所定の色相を備えた物体が列状に並んだ状態において、列状に並んだ物体を撮影し、列状に並んだ物体に沿って線分を設定する作業車の画像処理装置に関する。
【背景技術】
【0002】
作業車の一例である乗用型田植機において、走行しながら植付作業を行う場合、前回の植付行程で植え付けられた苗(所定の色相を備えた物体に相当)が、機体の横側に列状に並んでいる。例えば特許文献1では、既に植え付けられた苗(特許文献1の図7のTn)を撮影し、ハフ変換等に基づいて既に植え付けられた苗に沿って線分を設定して、設定された線分に沿って機体が自動的に走行するように構成している。
【0003】
【特許文献1】特開平6−14611号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
所定の色相を備えた物体が列状に並んだ状態において、列状に並んだ物体を撮影する場合、特に自然の中に存在する物体を撮影する際には、多くの外乱も一緒に撮影されてしまう。
これにより、列状に並んだ物体が撮影されるのに加えて、物体の色相に近い色相を備えた外乱も一緒に撮影されてしまうので、ハフ変換等に基づいて線分を設定する場合、列状に並んだ物体に沿って線分が設定されるのに加えて、物体の色相に近い色相を備えた外乱に沿って線分が設定される。
【0005】
従って、前述のように列状に並んだ物体及び物体の色相に近い色相を備えた外乱により多くの線分が設定されることになる為に、線分を設定する処理を多く行う必要があり、高機能の画像処理装置を採用する必要が生じてくる。さらに、列状に並んだ物体及び物体の色相に近い色相を備えた外乱により多くの線分が設定されると、実際にどの線分に基づいて機体を走行させるのか判断が困難になることが考えられる。
本発明は、列状に並んだ物体を撮影し、列状に並んだ物体に沿って線分を設定する作業車の画像処理装置において、物体の色相に近い色相を備えた外乱の影響をできるだけ小さくすることができるように構成することを目的としている。
【課題を解決するための手段】
【0006】
[I]
(構成)
本発明の第1特徴は作業車の画像処理装置において次のように構成することにある。
所定の色相を備えた物体が列状に並んだ状態において、列状に並んだ物体を撮影する撮影手段。物体の並び方向と交差する複数の分割線により、撮影手段によって撮影された画像を複数の領域に分割する第1処理手段。領域の各々において、物体の色相を備えた画素を候補画素として抽出する第2処理手段。領域の各々において、複数の候補画素のうち、最上位から所定個数の候補画素を選択する第3処理手段。選択された所定個数の候補画素に沿って線分を設定する第4処理手段を備える。
【0007】
(作用)
列状に並んだ物体を撮影する際に、列状に並んだ物体が撮影されるのに加えて、物体の色相に近い色相を備えた外乱も一緒に撮影されてしまう場合、物体の色相に着目して候補画素を抽出すれば、一般に物体に対応する候補画素が上位になり、物体の色相に近い色相を備えた外乱に対応する候補画素が下位となる(例えば2値化処理及びフィルタリング処理を行った場合の値の大小等)。
【0008】
所定の色相を備えた物体が列状に並んだ状態において、本発明の第1特徴によると、例えば図4に示すように、物体の並び方向と交差する複数の分割線E1により、画像が複数の領域B1に分割されるのであり、領域B1の各々において、物体の色相を備えた画素を候補画素として抽出した場合、複数の候補画素のうち例えば図5に示すように、最上位から所定個数の候補画素G1,G2,G3,G4が選択されるのであり、最上位から所定個数以外の候補画素が削除(無視)される。
このように、本発明の第1特徴によると、物体の色相に近い色相を備えた外乱に対応する下位の候補画素が事前に削除(無視)されるので、この後に候補画素に沿って線分を設定する際、物体の色相に近い色相を備えた外乱に対応する下位の候補画素に沿って線分は設定されないのであり、不必要に多くの線分が設定されると言う状態を避けることができる。
【0009】
(発明の効果)
本発明の第1特徴によると、列状に並んだ物体を撮影し、列状に並んだ物体に沿って線分を設定する作業車の画像処理装置において、物体の色相に近い色相を備えた外乱に対応する下位の候補画素を事前に削除(無視)することにより、不必要に多くの線分が設定されると言う状態を避けることができ、実際にどの線分に基づいて機体を走行させるのか判断が困難になることを避けることができるようになって、画像処理機能を高めることができた。
【0010】
[II]
(構成)
本発明の第2特徴は、本発明の第1特徴の作業車の画像処理装置において次のように構成することにある。
領域の各々において、物体の色相を備えた画素が連続的に存在する部分があると、この物体の色相を備えた画素が連続的に存在する部分を削除する第5処理手段を備える。
【0011】
(作用)
本発明の第2特徴によると、本発明の第1特徴と同様に前項[I]に記載の「作用」を備えており、これに加えて以下のような「作用」を備えている。
列状に並んだ物体を撮影する際に、物体の近くに樹木や建物、屋内の家具や柱等が映るようなことがあり、このような状態になると列状に並んだ物体に対して、樹木や建物、屋内の家具や柱等は、所定の色相を備えた画素が連続的に存在するような状態となる(例えば図4のC1参照)。従って、物体の色相を備えた画素であっても、物体の色相を備えた画素が連続的に存在していれば、これは物体ではないと判断できる。
【0012】
これにより、本発明の第2特徴のように、物体の色相を備えた画素が連続的に存在する部分を削除することにより、列状に並んだ物体を撮影する際、物体の近くに樹木や建物、屋内の家具や柱等が映るようなことがあった場合、樹木や建物、屋内の家具や柱等が物体の色相を備えていても、これらを適切に削除(無視)することができる。
【0013】
(発明の効果)
本発明の第2特徴によると、本発明の第1特徴と同様に前項[I]に記載の「発明の効果」を備えており、これに加えて以下のような「発明の効果」を備えている。
本発明の第2特徴によると、樹木や建物、屋内の家具や柱等が物体の色相を備えていても、これらを適切に削除(無視)することができるようになって、画像処理機能を高めることができた。
【0014】
[III]
(構成)
本発明の第3特徴は、本発明の第1又は第2特徴の作業車の画像処理装置において次のように構成することにある。
線分のうち候補画素が設定よりも少ない線分を削除する第6処理手段を備える。
【0015】
(作用)
本発明の第3特徴によると、本発明の第1又は第2特徴と同様に前項[I][II]に記載の「作用」を備えており、これに加えて以下のような「作用」を備えている。
前項[I]に記載のように、選択された所定個数の候補画素に沿って線分を設定する場合、例えば図6に示すように、線分L1〜L4に対して交差する線分L5が設定されるようなことがある。この線分L5は物体の並び方向と交差するような状態になることが多いので、線分L1〜L4に属する候補画素G1〜G4に比べて、線分L5に属する候補画素は少ないことが多い。
これにより、本発明の第3特徴のように、候補画素が設定よりも少ない線分を削除することにより、交差するような状態の線分を適切に削除(無視)することができる。
【0016】
(発明の効果)
本発明の第3特徴によると、本発明の第1又は第2特徴と同様に前項[I][II]に記載の「発明の効果」を備えており、これに加えて以下のような「発明の効果」を備えている。
本発明の第3特徴によると、交差するような状態の線分を適切に削除(無視)することができるようになって、画像処理機能を高めることができた。
【0017】
[IV]
(構成)
本発明の第4特徴は、本発明の第1〜第3特徴の作業車の画像処理装置のうちのいずれか一つにおいて次のように構成することにある。
前の時点の画像で設定された線分と現在の画像で設定された線分とを比較することにより、現在の画像で設定された線分において、前の時点の画像で設定された線分から設定を越えて外れる線分を削除する第7処理手段を備える。
【0018】
(作用)
本発明の第4特徴によると、本発明の第1〜第3特徴のうちのいずれか一つと同様に前項[I]〜[III]に記載の「作用」を備えており、これに加えて以下のような「作用」を備えている。
列状に並んだ物体を撮影する場合、ある時点での物体の位置と次の時点での物体の位置とが、大きく変化するようなことは少ない。
【0019】
これにより、前項[I]に記載のように、選択された所定個数の候補画素に沿って線分を設定する場合、本発明の第4特徴によると、前の時点の画像で設定された線分と現在の画像で設定された線分とを比較しており、現在の画像で設定された線分において、前の時点の画像で設定された線分から設定を越えて外れる線分は、外乱による線分と判断できるのであり、外乱による線分を適切に削除(無視)することができる。
【0020】
(発明の効果)
本発明の第4特徴によると、本発明の第1〜第3特徴のうちのいずれか一つと同様に前項[I]〜[III]に記載の「発明の効果」を備えており、これに加えて以下のような「発明の効果」を備えている。
本発明の第4特徴によると、外乱による線分を適切に削除(無視)することができるようになって、画像処理機能を高めることができた。
【0021】
[V]
(構成)
本発明の第5特徴は、本発明の第1〜第4特徴の作業車の画像処理装置のうちのいずれか一つにおいて次のように構成することにある。
前の時点の画像で設定された線分が現在の画像で設定されない場合、前の時点の画像で設定された線分に基づいて、現在の画像で線分を設定する第8処理手段を備える。
【0022】
(作用)
本発明の第5特徴によると、本発明の第1〜第4特徴のうちのいずれか一つと同様に前項[I]〜[IV]に記載の「作用」を備えており、これに加えて以下のような「作用」を備えている。
列状に並んだ物体を撮影する場合、ある時点での画像において物体の色相を備えた画素が存在しても、光の反射具合の変化等により、次の時点での画像で物体の色相を備えた画素が存在しなくなるようなことがあり、このような状態になると、線分が設定されないことがある。この場合においても、前項[IV]に記載のように、ある時点での物体の位置と次の時点での物体の位置とが、大きく変化するようなことは少ない。
【0023】
これにより、本発明の第5特徴によると、前の時点の画像で設定された線分が現在の画像で設定されない場合、前の時点の画像で設定された線分に基づいて、現在の画像で線分を設定すれば、現在の画像で物体の色相を備えた画素が存在しなくなるようなことになっても、現在の画像において線分を無理なく設定することができる。
【0024】
(発明の効果)
本発明の第5特徴によると、本発明の第1〜第4特徴のうちのいずれか一つと同様に前項[I]〜[IV]に記載の「発明の効果」を備えており、これに加えて以下のような「発明の効果」を備えている。
本発明の第5特徴によると、現在の画像で物体の色相を備えた画素が存在しなくなるようなことになっても、現在の画像において線分を無理なく設定することができるようになって、画像処理機能を高めることができた。
【発明を実施するための最良の形態】
【0025】
図1及び図2に示すように、右及び左の前輪1、右及び左の後輪2を備えた機体の後部に、リンク機構3及びリンク機構3を昇降駆動する油圧シリンダ4が備えられ、リンク機構3の後部に6条植型式の苗植付装置5が支持されて、作業車の一例である乗用型の田植機が構成されている。苗植付装置5に右及び左の支持フレーム6が固定されて右及び左の横外方に延出されており、右及び左の支持フレーム6にCCD型式のカメラ7(撮影手段に相当)が固定されている。
【0026】
図1及び図2に示すように、前回の植付行程において、田面に植え付けられた苗A1,A2(物体に相当)が、機体の右又は左の横側に列状に並んでいる。田面に植え付けられた苗A1(機体の直ぐ隣の列)の上方付近に、右及び左のカメラ7が位置しており、右及び左のカメラ7が斜め前方下方に向けられている。これにより、右及び左の一方のカメラ7は、右及び左の一方の前輪1の直前から前方の所定の範囲を撮影して、田面に植え付けられた苗A1(機体の直ぐ隣の列)及び田面に植え付けられた苗A2(機体の隣の隣の列)を撮影するのであり、右及び左の他方のカメラ7は苗を撮影しない。右及び左の一方の前輪1の直前から前方の所定の範囲は、樹木の映り込みや朝日及び夕日の映り込みが少なく、右及び左の前輪1による波の影響が少ない。
【0027】
右(左)のカメラ7で撮影した画像が以下の説明のように処理されて、田面に植え付けられた苗A1(機体の直ぐ隣の列)に相当する線分L1、及び田面に植え付けられた苗A2(機体の隣の隣の列)に相当する線分L2が設定されるのであり、田面に植え付けられた苗A1(機体の直ぐ隣の列)に相当する線分L1に沿って機体が走行するように、右及び左の前輪1が自動的に操向操作される。
【0028】
次に、右(左)のカメラ7で撮影した画像の処理について順番に説明する。
図4に示すように、右(左)のカメラ7で撮影した画像において、画像の上下方向(画像の上側が機体の前側で、画像の下側が機体の後側)と交差する分割線E1により、画像が10個の領域B1に分割される(第1処理手段に相当)。この場合、分割線E1により画像を10個の領域B1に分割するのではなく、分割線E1による画像の分割数を10個から多くしたり少なくしたりすることは、任意に変更可能である。
【0029】
図3及び図4に示すように、領域B1の各々において、赤成分、緑成分及び青成分のうち、赤成分の濃度よりも緑成分の濃度が大で、青成分の濃度よりも赤成分の濃度が大である画素(図3に示す範囲D1に属する画素)が抽出され、この画素のうち彩度Sが設定値S0よりも大の画素が、田面に植え付けられた苗A1(機体の直ぐ隣の列)及び田面に植え付けられた苗A2(機体の隣の隣の列)に相当する画素と判断されて抽出される。この場合、設定値S0は大小に任意に変更可能である。
【0030】
薄い青色のフィルタ(図示せず)が右及び左のカメラ7に取り付けられており、青成分の濃度が設定だけ増加させられている(右及び左のカメラ7の前部に取り付けられる防水用の風防を、薄い青色のものに構成してもよい)。この場合、フィルタや風防の青色の濃度は任意に変更可能である。
【0031】
図4に示すように、画面の左右方向(画像の右側が機体の右側で、画像の左側が機体の左側)に沿って、抽出された画素が連続的に存在する部分C1があると、図5に示すように、抽出された画素が連続的に存在する部分C1が削除(無視)される(第5処理手段に相当)。
【0032】
領域B1の各々において、抽出された画素に基づいてフィルタリング処理が行われて、候補画素が抽出され(第2処理手段に相当)、図5に示すように、領域B1の各々において、抽出された候補画素のうち最上位から4個の候補画素G1,G2,G3,G4が選択される(最上位から4個の候補画素G1,G2,G3,G4以外の候補画素が削除される)(第3処理手段に相当)。次に図6に示すように、候補画素G1〜G4に基づいて、ハフ変換により候補画素G1〜G4に沿った線分L1,L2,L3,L4,L5が設定される(第4処理手段に相当)。この場合、最上位から4個ではなく、最上位から3個や5個のように、任意の個数の候補画素を選択するように構成することが可能である。
【0033】
図6に示すように、画像の上下方向(画像の上側が機体の前側で、画像の下側が機体の後側)と交差する分割線E2により、画像が4個の領域B21,B22,B23,B24に分割される。線分L1〜L5の各々において、領域B21で線分L1〜L5に属する候補画素G1〜G4の数N1、領域B22で線分L1〜L5に属する候補画素G1〜G4の数N2、領域B23で線分L1〜L5に属する候補画素G1〜G4の数N3、及び領域B24で線分L1〜L5に属する候補画素G1〜G4の数N4が求められる。これにより、図6から図7に示すように、線分L1〜L5の各々において、候補画素G1〜G4の数N1〜N4の合計が設定よりも少ない線分L5が削除(無視)される(第6処理手段に相当)。
【0034】
次に線分L1〜L4の各々において、評価値M1が、
M1=N4×(N1+N2+N3)
の式に基づいて求められ、図7から図8に示すように、線分L1〜L4のうち評価値M1が最上位から所定個数の線分L1,L2,L3が選択される(線分L1〜L4のうち評価値M1が最上位から所定個数以外の線分L4が削除される)。
【0035】
図9に示すように、前の時点の画像において、田面に植え付けられた苗A1(機体の直ぐ隣の列)に相当する線分L11、及び田面に植え付けられた苗A2(機体の隣の隣の列)に相当する線分L12が設定されている場合、線分L11,L12の各々において、画像の中央からの位置F11,F12及び画像に対する角度H11,H12が求められる。同様に図8に示す線分L1,L2,L3の各々において、画像の中央からの位置F1,F2,F3及び画像に対する角度H1,H2,H3が求められ、線分L1,L2,L3に属する候補画素G1,G2,G3の数(N1+N2+N3+N4)が求められる。
【0036】
これにより図8及び図9に示すように、線分L1と線分L11,L12とにおいて、
J1=位置偏差(F1−F11)×角度偏差(H1−H11)
J2=位置偏差(F1−F12)×角度偏差(H1−H12)
の式に基づいてJ1,J2が求められるのであり、線分L1の評価値M2が次の式で求められる。
M2=線分L1に属する候補画素G1の数(N1+N2+N3+N4)/(J1及びJ2のうちの小さいもの)
【0037】
同様に図8及び図9に示すように、線分L2と線分L11,L12とにおいて、
J1=位置偏差(F2−F11)×角度偏差(H2−H11)
J2=位置偏差(F2−F12)×角度偏差(H2−H12)
の式に基づいてJ1,J2が求められるのであり、線分L2の評価値M2が次の式で求められる。
M2=線分L2に属する候補画素G2の数(N1+N2+N3+N4)/(J1及びJ2のうちの小さいもの)
【0038】
同様に図8及び図9に示すように、線分L3と線分L11,L12とにおいて、
J1=位置偏差(F3−F11)×角度偏差(H3−H11)
J2=位置偏差(F3−F12)×角度偏差(H3−H12)
の式に基づいてJ1,J2が求められるのであり、線分L3の評価値M2が次の式で求められる。
M2=線分L3に属する候補画素G3の数(N1+N2+N3+N4)/(J1及びJ2のうちの小さいもの)
【0039】
以上のようにして求められた線分L1の評価値M2、線分L2の評価値M2及び線分L3の評価値M2により、線分L1と線分L11とが互いに接近し、線分L2と線分L12とが互いに接近しており、線分L3が線分L11,L12から離れたものであると判断される。これにより、線分L1が線分L11を引き続いたものであり、線分L2が線分L12を引き続いたものであると判断できるのであり、線分L3は線分L11,L12を引く続いたものではないと判断できて、線分L3が削除(無視)される(第7処理手段に相当)。
従って、図10に示すように、田面に植え付けられた苗A1(機体の直ぐ隣の列)に相当する線分L1、及び田面に植え付けられた苗A2(機体の隣の隣の列)に相当する線分L2が設定される。
【0040】
例えば図11に示すように、田面に植え付けられた苗A2(機体の隣の隣の列)に相当する線分L2が設定されて、田面に植え付けられた苗A1(機体の直ぐ隣の列)に相当する線分L1が設定されなかった場合に、図12に示すように前の時点の画像において、田面に植え付けられた苗A1(機体の直ぐ隣の列)に相当する線分L11が設定されていれば、図10に示すように、線分L11が田面に植え付けられた苗A1(機体の直ぐ隣の列)に相当する線分L1として設定される(第8処理手段に相当)。
【図面の簡単な説明】
【0041】
【図1】乗用型の田植機の全体側面図
【図2】乗用型の田植機の全体平面図
【図3】田面に植え付けられた苗(機体の直ぐ隣の列)及び田面に植え付けられた苗(機体の隣の隣の列)に相当する画素が判断されて抽出される場合の色成分及び彩度の状態を示す図
【図4】画像において、田面に植え付けられた苗(機体の直ぐ隣の列)及び田面に植え付けられた苗(機体の隣の隣の列)に相当する画素が判断されて抽出された状態を示す図
【図5】画像において、抽出された候補画素のうち最上位から4個の候補画素が選択された状態を示す図
【図6】画像において、ハフ変換により候補画素に沿った線分が設定された状態を示す図
【図7】画像において、候補画素が少ない線分が削除された状態を示す図
【図8】画像において、線分のうち評価値が最上位から所定個数の線分が選択された状態を示す図
【図9】前の時点の画像において、田面に植え付けられた苗(機体の直ぐ隣の列)に相当する線分、及び田面に植え付けられた苗(機体の隣の隣の列)に相当する線分が設定された状態を示す図
【図10】画像において、田面に植え付けられた苗(機体の直ぐ隣の列)に相当する線分、及び田面に植え付けられた苗(機体の隣の隣の列)に相当する線分が設定された状態を示す図
【図11】画像において、田面に植え付けられた苗(機体の隣の隣の列)に相当する線分が設定されて、田面に植え付けられた苗(機体の直ぐ隣の列)に相当する線分が設定されなかった状態を示す図
【図12】前の時点の画像において、田面に植え付けられた苗(機体の直ぐ隣の列)に相当する線分、及び田面に植え付けられた苗(機体の隣の隣の列)に相当する線分が設定された状態を示す図
【符号の説明】
【0042】
7 撮影手段
A1,A2 物体
B1 領域
C1 物体の色相を備えた画素が連続的に存在する部分
E1 分割線
G1,G2,G3,G4 候補画素
L1,L2,L3,L4,L5 線分
L11,L12 前の時点の画像で設定された線分
【特許請求の範囲】
【請求項1】
所定の色相を備えた物体が列状に並んだ状態において、列状に並んだ物体を撮影する撮影手段と、
物体の並び方向と交差する複数の分割線により、前記撮影手段によって撮影された画像を複数の領域に分割する第1処理手段と、
前記領域の各々において、物体の色相を備えた画素を候補画素として抽出する第2処理手段と、
前記領域の各々において、複数の候補画素のうち、最上位から所定個数の候補画素を選択する第3処理手段と、
前記選択された所定個数の候補画素に沿って線分を設定する第4処理手段とを備えてある作業車の画像処理装置。
【請求項2】
前記領域の各々において、物体の色相を備えた画素が連続的に存在する部分があると、この物体の色相を備えた画素が連続的に存在する部分を削除する第5処理手段を備えてある請求項1に記載の作業車の画像処理装置。
【請求項3】
前記線分のうち候補画素が設定よりも少ない線分を削除する第6処理手段を備えてある請求項1又は2に記載の作業車の画像処理装置。
【請求項4】
前の時点の画像で設定された線分と現在の画像で設定された線分とを比較することにより、現在の画像で設定された線分において、前の時点の画像で設定された線分から設定を越えて外れる線分を削除する第7処理手段を備えてある請求項1〜3のうちのいずれか一つに記載の作業車の画像処理装置。
【請求項5】
前の時点の画像で設定された線分が現在の画像で設定されない場合、前の時点の画像で設定された線分に基づいて、現在の画像で線分を設定する第8処理手段を備えてある請求項1〜4のうちのいずれか一つに記載の作業車の画像処理装置。
【請求項1】
所定の色相を備えた物体が列状に並んだ状態において、列状に並んだ物体を撮影する撮影手段と、
物体の並び方向と交差する複数の分割線により、前記撮影手段によって撮影された画像を複数の領域に分割する第1処理手段と、
前記領域の各々において、物体の色相を備えた画素を候補画素として抽出する第2処理手段と、
前記領域の各々において、複数の候補画素のうち、最上位から所定個数の候補画素を選択する第3処理手段と、
前記選択された所定個数の候補画素に沿って線分を設定する第4処理手段とを備えてある作業車の画像処理装置。
【請求項2】
前記領域の各々において、物体の色相を備えた画素が連続的に存在する部分があると、この物体の色相を備えた画素が連続的に存在する部分を削除する第5処理手段を備えてある請求項1に記載の作業車の画像処理装置。
【請求項3】
前記線分のうち候補画素が設定よりも少ない線分を削除する第6処理手段を備えてある請求項1又は2に記載の作業車の画像処理装置。
【請求項4】
前の時点の画像で設定された線分と現在の画像で設定された線分とを比較することにより、現在の画像で設定された線分において、前の時点の画像で設定された線分から設定を越えて外れる線分を削除する第7処理手段を備えてある請求項1〜3のうちのいずれか一つに記載の作業車の画像処理装置。
【請求項5】
前の時点の画像で設定された線分が現在の画像で設定されない場合、前の時点の画像で設定された線分に基づいて、現在の画像で線分を設定する第8処理手段を備えてある請求項1〜4のうちのいずれか一つに記載の作業車の画像処理装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2006−254860(P2006−254860A)
【公開日】平成18年9月28日(2006.9.28)
【国際特許分類】
【出願番号】特願2005−79814(P2005−79814)
【出願日】平成17年3月18日(2005.3.18)
【出願人】(000001052)株式会社クボタ (4,415)
【Fターム(参考)】
【公開日】平成18年9月28日(2006.9.28)
【国際特許分類】
【出願日】平成17年3月18日(2005.3.18)
【出願人】(000001052)株式会社クボタ (4,415)
【Fターム(参考)】
[ Back to top ]