操向制御方法及び装置
【課題】
視界に入っている一行程前に移植された苗一列全てに対してただ一つの直線を定め、これに対して平行に移植機を走行させる。
【解決手段】
移植機に設けた撮像手段によって既植の苗列を撮像して苗列の画像情報を取得するステップと、該画像情報から苗列領域が抽出された２値画像を取得するステップと、該２値画像を逆透視変換して２値化された苗列領域の仮想地平面画像を取得するステップと、該仮想地平面画像において該苗列領域を直線で近似するステップと、該直線に対する移植機の位置情報に基づいて操向制御を行うステップとを有する。
視界に入っている一行程前に移植された苗一列全てに対してただ一つの直線を定め、これに対して平行に移植機を走行させる。
【解決手段】
移植機に設けた撮像手段によって既植の苗列を撮像して苗列の画像情報を取得するステップと、該画像情報から苗列領域が抽出された２値画像を取得するステップと、該２値画像を逆透視変換して２値化された苗列領域の仮想地平面画像を取得するステップと、該仮想地平面画像において該苗列領域を直線で近似するステップと、該直線に対する移植機の位置情報に基づいて操向制御を行うステップとを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、走行車両の操向制御方法及び装置に係り、好適な例では、移植機（特に、田植機）の操向制御方法及び装置に関するものである。
【背景技術】
【０００２】
田植機は、1960年代に開発され、現在90％以上の水田において田植機による移植が行われている。その初期に於いては歩行型が主であったが、現在は乗用型が主流となっている。作業効率を高めるため、条数の増加（2条から10条）、作業速度の向上、植え付け爪の駆動方法の変化（クランク式からロータリー式）などさまざまな改良が施されてきた。また、植え付け深さを一定にするため油圧による高さやローリングの制御も取り入れられてきた。
【０００３】
田植えは、決められた面積の圃場の有効利用、管理作業や、収穫の容易さという点から考えて、直線状に行うことが望ましい。通常田植えをするときには、次の行程のために、目印の線を泥の上に引きながら走行する。しかしながら、目印の線が明瞭に見えるとは限らない。また、水田の表面は平らなものの、実際に田植機が走行する耕盤は起伏が多い。さらに、泥の抵抗によりタイヤには常に予測できない力がかかっている。そのため熟練者であっても変化する状況の中で田植機を常に直進走行させることは困難な作業である。また、田植機の作業部に積載できる苗の量には限度があるため、作業者は数分に一度は停止してマット苗を補給しなければならない。これは、作業能率を下げる一つの要因となっている。近年、６ｍというこれまでの10倍の長さのマット苗を使い、補給作業回数を減らすことで圃場作業効率を高める試みが行われている。しかし、この長いマット苗を育てるために新しい育苗施設や田植機が必要となるため広く普及するには至っていない。
【０００４】
農作業車が圃場内を決められた経路に沿って自動走行する方法に関する研究はこれまでに多く行われている。ＲＴＫ-GPSを用いたもの、地磁気を用いたもの、光ファイバージャイロを用いたもの、トータルステーションを用いたもの、画像処理によるものである。これらは、単独で使われることもあるが、多くの場合、複数のセンサーを使いそれぞれの欠点を補い合っている。RTK-GPSとFOGを用いたシステムは、最も精度が高く、有望であるが、依然その価格は高い。また、事前の圃場の測量に手間がかかるという欠点がある。地磁気センサーは、方位に関してドリフト誤差がなく安価であるが、周辺環境の影響を受けやすく、誤差を防ぐことができない。トータルステーションを用いたシステムは、精度が高いものの、機械が高価なことと、やはり準備に時間がかかることから、一般的な農作業に於いては現実性に乏しい。
【０００５】
画像処理は、人間の眼にかわるものとして、期待をかけられてきた。これまではカメラ、処理装置共に高価であった。しかし、デジタルカメラ、カメラ付き携帯電話の普及によりシステムの価格は安価になりつつある。画像処理のみでは、車両の絶対位置や方位を検出することはできないが、外部指標となる圃場内の作物との距離を正確に検出することができる。これは他のセンサーには無い特徴である。そのため、画像処理は、防除や草取りなどの管理作業を行う車両に用いられる研究例が多い。管理作業では、車両は既に圃場内に存在する植物列に沿って走れれば良く、その走行軌跡は必ずしも直線である必要はない。一方移植作業に画像処理を用いると、瞬時の誤差は少ないかもしれないが、一行程ごとに誤差が増幅し、もともと直線だった経路が大きく湾曲する可能性が大いに有る。特に、水田では水面での光の反射が多く、それが誤差の要因となりうる。Chen(1997)らは、田植機の視覚部センサーとして画像処理を用いる手法を提案したが、あくまで、それは参照する苗列が直線上に並んでいるという仮定に基づいたものだった。また、実際の走行実験は行われていない。もし苗列が完全に直線上に存在するならば、画像処理によって計算された角度と距離の変化は、田植機の移動にのみよるものである。しかし実際の田植えの場合、参照される苗列は必ず湾曲している。そのためそれらの値の変化は、苗列の湾曲によるものなのか、または田植機の移動によるものなのか区別することができない。
【０００６】
既に植付け済みの苗列の画像を取得し、取得した画像に基づいて田植機の操向制御を行う技術が特許文献１，２，３に記載されている。特許文献１には、植付け苗の色に対応した領域として抽出された抽出領域を結ぶ線分を直線近似する技術手段が記載されている。特許文献２には、植付け済の苗株の列条を撮像した画像を２値化し、２値化された画像を直線近似し、直線近似により求められた線分と機体の進行方向に設定してある基準腺とのなす角度及び基準線と線分との距離成分を算出し、該角度及び距離成分を操向情報として用いて苗株の列条に倣い自動操向する技術手段が記載されている。特許文献３には、走行機体に備えたカメラの撮像範囲を複数条の苗列を含むよう設定すると共に、カメラで撮影された複数条の苗列のうち特定の苗列のみを選択してディスプレイに表示する処理手段を備え、既植苗を基準にして苗植付に適切な距離を保って走行機体が走行した際にディスプレイに表示された苗列がディスプレイの所定の表示域内に表示されるようカメラとディスプレイの表示域を設定する技術手段が記載されている。しかしながら、これらのものは、いずれも、カメラにより取得した苗列の画像に対して直接仮想直線を計算するものである。
【０００７】
従来から、画像処理によって画像中の直線を検知し、逆透視変換によって実際の位置を推定する技術は存在した。直線が存在する平面に対するカメラの位置と姿勢が既知であれば、透視変換された結果である画像中の直線の位置と方向を推定することは可能とされてきた。しかしながら、これは直線が完全に直線であるという条件においてのみ成り立つ。一方、不整地でほぼ直線上に並んでいる対象物に対して、透視変換された画像中で直線の当てはめを行うと、カメラの近傍での局所的な対象物の列形状に沿った直線が検出される。そのため、推定される直線の方向は理想的な直線の方向と外れてしまう。水稲苗の移植では、移植機は、一行程前に移植された苗列に倣って繰り返し走行するため、移植行程が進むにつれて、走行軌跡の振動が増大してしまうという問題点があった。
【０００８】
また、田植機等の移植機に限らず、移動農機において、所定のターゲットを検出して、それに基づいて車両（例えば、耕うん機、整地機、施肥機、播種機、管理作業機、収穫機、畜産機械）の操向を制御させることが有利な場合がある。さらに、移動農機以外の移動車両においても、所定のターゲットを検出して、車両の操向を制御させたい場合もある。
【特許文献１】特開昭６２−６１５０９
【特許文献２】特開平２−１３１５０２
【特許文献３】特開平９−１５４３１４
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、視界に入っている一行程前に移植された苗一列全てに対してただ一つの直線を定め、これに対して平行に移植機を走行させることを目的とする。
【００１０】
本発明の他の目的は、走行車両の操向制御において、画像処理のみを用いて元々直線でない経路に対して、初期条件としてある方角を指す直線をあてはめ、その方角に向かって直線的な経路に沿って走行車両を走行させることにある。
【００１１】
本発明のさらに他の目的は、厳密な直線ではないが、直線と見なしたいターゲット（例えば、苗列）に対して直線近似を行うことにある。
【課題を解決するための手段】
【００１２】
かかる課題を達成するために本発明が採用した第１の技術手段は、移植機に設けた撮像手段によって既植の苗列を撮像して苗列の画像情報を取得するステップと、該画像情報から苗列領域が抽出された２値画像を取得するステップと、該２値画像を逆透視変換して２値化された苗列領域の仮想地平面画像を取得するステップと、該仮想地平面画像において該苗列領域を直線で近似するステップと、該直線に対する移植機の位置情報に基づいて操向制御を行うステップとを有する移植機の操向制御方法、そして、移植機に設けた撮像手段によって撮像された既植の苗列の画像情報を入力する画像入力手段と、該画像情報から苗列領域が抽出された２値画像を取得する苗列領域抽出手段と、該２値画像を逆透視変換して２値化された苗列領域の仮想地平面画像を取得する逆透視変換手段と、該仮想地平面画像において該苗列領域を直線で近似する直線抽出手段とを有する苗列の検出装置である。
【００１３】
本発明が採用した第２の技術手段は、移植機に設けた撮像手段によって既植の苗列を撮像して苗列の画像情報を取得するステップと、該画像情報から苗列領域が抽出された２値画像を取得するステップと、該２値画像を逆透視変換して２値化された苗列領域の仮想地平面画像を取得するステップと、該仮想地平面画像において該苗列領域を直線で近似するステップとを有する苗列の検出方法、そして、移植機に設けた撮像手段によって撮像された既植の苗列の画像情報を入力する画像入力手段と、該画像情報から苗列領域が抽出された２値画像を取得する苗列領域抽出手段と、該２値画像を逆透視変換して２値化された苗列領域の仮想地平面画像を取得する逆透視変換手段と、該仮想地平面画像において該苗列領域を直線で近似する直線抽出手段とを有する苗列の検出装置である。
【００１４】
本発明が採用した第３の技術手段は、走行車両に設けた撮像手段によって走行車両の走行方向に延出するターゲットを撮像してターゲットの画像情報を取得するステップと、該画像情報からターゲット領域が抽出された２値画像を取得するステップと、該２値画像を逆透視変換してターゲット領域の仮想地平面画像を取得するステップと、該仮想地平面画像においてターゲット領域を直線で近似するステップと、該直線に対する走行車両の位置情報に基づいて操向制御を行うステップとを有する走行車両の操向制御方法、そして、走行車両に設けた撮像手段によって撮像された走行車両の走行方向に延出するターゲットの画像情報を入力する画像入力手段と、該画像情報からターゲット領域が抽出された２値画像を取得する２値画像取得手段と、該２値画像を逆透視変換してターゲット領域の仮想地平面画像を取得する手段と、該仮想地平面画像においてターゲット領域を直線で近似する手段と、該直線に対する走行車両の位置情報に基づいて操向制御を行う手段とを有する走行車両の操向制御装置である。
【００１５】
本発明が採用した第４の技術手段は、走行車両に設けた撮像手段によって走行車両の走行方向に延出するターゲットを撮像してターゲットの画像情報を取得するステップと、該画像情報からターゲット領域が抽出された２値画像を取得するステップと、該２値画像を逆透視変換して２値化されたターゲット領域の仮想地平面画像を取得するステップと、該仮想地平面画像において該ターゲット領域を直線で近似するステップとを有するターゲットの検出方法、そして、走行車両に設けた撮像手段によって撮像された走行車両の走行方向に延出するターゲットの画像情報を入力する画像入力手段と、該画像情報からターゲット領域が抽出された２値画像を取得するターゲット領域抽出手段と、該２値画像を逆透視変換して２値化されたターゲット領域の仮想地平面画像を取得する逆透視変換手段と、該仮想地平面画像において該ターゲット領域を直線で近似する直線抽出手段とを有するターゲットの検出装置である。
【００１６】
前記第３の技術手段、第４の技術手段において、一つの態様では、前記走行車両は移動農機であり、前記ターゲットは作物列であり、さらに移動農機としては移植機が、作物列としては苗列が例示される。また、走行車両が移動農機であっても、ターゲットは作物列に限定されるものではなく、例えば、畦をターゲットとして移動農機を操向させるものでもよい。さらに、走行車両は移動農機に限定されるものではなく、例えば、白線や路肩をターゲットとして走行車両を操向させるものでもよい。
【００１７】
前記技術手段において、一つの好ましい態様では、前記撮像手段はターゲット（例えば、苗列）の無限遠方まで撮像するものである。こうすることで、苗一列全てに対してただ一つの直線を定めることができ、これに対して車両を平行に走行させることができる。また、ターゲットの無限遠方まで撮像するためには、ターゲットの入力画像はいわゆる縦型画像であることが有利である。
【００１８】
前記技術手段において、ターゲットが苗列のように緑色を主色とする場合には、一つの好ましい態様では、前記二値画像を取得するステップは、苗列のＲＧＢカラー画像をL＊a＊b＊表色系に変換し、知覚色度b＊の値に閾値を設定して２値化を行うものである。
【００１９】
前記技術手段において、一つの好ましい態様では、前記仮想地平面画像において、水平方向の解像度を低く設定したものである。ターゲットの画像の横方向の解像度を低くすることで、ターゲットが多少蛇行したり曲がったりしていても、ターゲットに対して一つの直線の近似を抽出しることが容易となる。
【００２０】
前記技術手段において、前記ターゲット領域（例えば、苗列領域）の直線近似は、好ましい態様では、ハフ変換あるいは最小二乗法によって行うものである。また、一行程前に移植された苗一列に対して直線近似を行う場合に、一行程前に移植された苗列を含む既植の複数の苗列の領域に基づいて直線近似を行っても良い。
【００２１】
前記直線に対する車両（移植機）の位置情報は、一つの態様では、該直線に対する角度及び/あるいは横方向のずれ量（オフセット）である。直線に対する車両の角度は、車両の進行方向（あるいは撮像手段の撮像方向）に設定された基準線と検出された直線との角度として算出される。横方向のずれ量（オフセット）は、検出された直線と車両との距離（直線と直交する方向）として算出される。直線に対する角度と横ずれ量の情報と車両の速度がわかれば、車両の操向制御を行うことができる。
【発明の効果】
【００２２】
本発明によれば、特に移植機において、視界に入っている一行程前に移植された苗一列全てに対してただ一つの直線を定め、これに対して平行に車両を走行させることができる。これによって、前の行程において耕盤が不整であったことによる苗列の乱れを修正し、走行軌跡の振動が増加するのではなく、より減少する方向に向かうように操向制御することができる。
【００２３】
また、走行車両の操向制御において、元々直線でない経路に対して、初期条件としてある方角を指す直線をあてはめ、その方角に向かって直線的な経路に沿って走行車両を操向制御することができる。
【００２４】
また、厳密な直線ではないが、直線と見なしたいターゲット（例えば、苗列）に対して直線近似を行うことができる。
【発明を実施するための最良の形態】
【００２５】
図１の上図は田植機の平面図、下図は田植機の側面図であって、田植機は、左右一対の前輪１および後輪２によって支持された走行機体３と、走行機体３の前部に搭載された動力部４と、ステアリングホイール５と、走行機体３の後方にリンク機構を介して設けた苗供給装置６及び植付け装置７を有する四条植えの乗用田植機である。苗供給装置６のフレームには左右のサイドバンパー８の上方に位置して撮像手段９が搭載されている。走行機体３の後部には運転席１０が設けてある。苗供給装置６はフロートを含む姿勢制御機構によって田植機の走行中に水平姿勢制御・上下動位置制御されているので、撮像手段９を苗供給装置６に設けることで、撮像手段９が走行機体３の姿勢の影響を受け難いようになっている。
【００２６】
撮像手段９は、ＲＧＢカラーテレビカメラであって、カメラを前方を向けて、俯角を付けた状態で、90度回転させて水稲移植機の移植部（苗供給装置）の両側に取り付ける。カメラを９０度回転させることで、苗列の画像を縦型の画像情報として得ることができる。田植機には図示しないディスプレイが搭載されており、カメラによって撮像された画像情報はディスプレイに表示される。車両の左側に畦が有る場合、また車両の左側にターゲットとなる苗列が有る場合は、左側のカメラを用い、逆の場合は右側のカメラを用いる。カメラの左右の切り替えは手動、もしくは自動によって行う。ここでは、田植機の苗供給装置の両側に二つのカメラを前方に向けて配設したものを示したが、カメラの個数、搭載位置、撮像方向はこれには限定されない。例えば、田植機の左右のぞれぞれの側に位置して二台のカメラを、一方を前方に、他方を後方に向けて配設してもよい。
【００２７】
操向制御装置は、田植機に設けた撮像手段によって撮像された既植の苗列の画像情報を入力する画像入力手段と、該画像情報から苗列領域が抽出された２値画像を取得する苗列領域抽出手段と、該２値画像を逆透視変換して２値化された苗列領域の仮想地平面画像を取得する逆透視変換手段と、該仮想地平面画像において該苗列領域を直線で近似する直線抽出手段と、該直線に対する田植機の位置情報に基づいて操向制御を行う制御手段とから構成され、これらの手段は主としてコンピュータにより実行される。
【００２８】
図２は、田植機の操向制御装置による制御の流れを示すブロック図である。CCDカメラにより取得された画像信号は信号線を通してコンピュータを主要構成要素とする画像処理装置に入力される。詳細に説明する。カラーCCDカメラ（Watec WAT231S）は、作業機の左右に一つずつ取り付けてある。撮影対象の苗列は縦方向に並んでいるため、カメラの光軸を中心に90度回転させた。これによって縦長の画像情報を取得することができ、縦方向の解像度を高めることができる。実験では、縦方向の画角は33.4度、横方向は25.3度とした。無限遠方まで画面に入るようにカメラの俯角は15度とした。車両の左側に苗列が有るときは、左側のカメラを使い、右側に有るときは右側のカメラを使った。CCDカメラから出力された画像情報はDVレコーダー（SONY DV1000）により記録される。パーソナルコンピュータ（Pentium 4、 3.0GHz、 512MB）は、DVレコーダから、IEEE1394ケーブルを介してデジタル画像をリアルタイムで取り込む。DV画像を取り込むためにDirect X 8.0を使用した。
【００２９】
画像処理装置は、苗列領域抽出手段と逆透視変換手段と直線抽出手段とを有しており、CCDカメラから取り込んだ画像に画像処理を施すことで既植の苗列に対する田植機の位置、すなわちオフセット距離e、方位角θを計算する。苗領域抽出手段は、カメラによって撮像された既植の苗列の画像情報から苗列領域が抽出された２値画像を生成する手段である。本明細書では、好ましい態様として、苗列領域抽出手段として、苗列のＲＧＢカラー画像をL＊a＊b＊表色系に変換し、知覚色度b＊の値に閾値を設定して２値化を行う手法について後述するが、苗列領域を良好に抽出できるものであればいかなる領域抽出手段であってもよい。逆透視変換手段は、苗列領域抽出手段で生成された２値画像の各構成画素を、圃場面を構成する仮想地平面上に透視変換して苗列のマップを生成する手段である。カメラにより取得された２次元投影画像をカメラパラメータに基づいてカメラ視点座標系から実平面座標系へと変換する逆透視変換自体は公知であるので、逆透視変換についての説明は省略する。直線抽出手段は、仮想地平面画像（苗列のマップ）における苗列領域を直線で近似する手段である。直線抽出手段としては、好ましい態様として、ハフ変換による直線検出、最小２乗法による直線検出が例示されるが、他の手法を用いて直線抽出してもよい。苗列領域の直線近似する線分が得られれば、該線分に対する田植機の角度θおよびオフセットeを求めることができる。検出された直線に対しての田植機の角度とオフセットは、苗列マップに対するハフ変換や最小２乗法によって求められる。また、オフセットの求め方については、他に、速度と角度から求める方法（デッドレコニング）、マップに対するハフ変換で求めた角度を透視画像に戻して、消失点から引いた直線に対するマッチングの度合いで求める方法がある。また、本発明において、一つの好ましい態様では、直前の行程によって植設された苗列条に対して角度、オフセットを求めるものであるが、オフセットを求める際に、隣接条ではなく、一つずれた条を検出してもよい。この場合は、それまでの履歴から、一つ隣だと判断しオフセットをずらす（例えば30ｃｍ）という処理を行う。
【００３０】
そして、制御手段によって、苗列領域に近似させた直線に対する田植機の位置情報に基づいて田植機の操向制御を行う。エンジンの回転数と変速レバー位置とから田植機の速度vを計算する。エンジンプーリに光電センサーを取り付け、エンジンプーリが一回転する間のパルス出力に基づいてエンジン回転数を検出する。また、変速レバーにポテンショメータを取り付けて、変速レバー位置を検出する。パルスのカウント数及びポテンショメータの電圧は、PICボードによって測定され、エンジン回転数と変速レバー位置の情報は、ケーブルを介してコンピュータに送信される。スリップ率を一定として、コンピュータでエンジンの回転数と変速レバー位置の情報を用いて田植機の速度を計算する。
【００３１】
画像処理装置により得られた田植機の位置（角度θ及びオフセットe）と田植機の速度ｖからステアリングの切れ角を決定する。ステアリングホイールを回転させるため、ステアリング軸にモータが取り付けてある。DCサーボドライバは、コンピュータからの指令電圧に基づいてモータを駆動してステアリングの角度制御を行う。実際のステアリングの角度は、前輪中央のピットマンアームに取り付けたポテンショメータによって検出される。DAボードから、決められたステアリング角に相当する電圧をサーボドライバに出力し、ポテンショメータにより検出された実際のステアリング角の情報を制御することで決定されたステアリング角を実現する。
【００３２】
カメラから入力された画像は、圃場に移植された水稲苗列を透視変換した結果である。もし苗列が完全に直線ならば画像中で当てはめられた直線は正確にカメラと苗列の角度と距離を表す。しかし、苗列は不規則に乱れているためこの直線が誤差を含まないことは現実にはあり得ない。したがって、厳密には直線ではない苗列を、いかにして直線とみなして検出するかが問題となる。
【００３３】
画像処理装置では、苗列領域抽出手段によって、まずカメラによって取得されたＲＧＢカラー画像をL＊a＊b＊表色系に変換する。水稲苗は知覚色度b＊成分が高いので、画像を複数のバンドに分割し、それぞれのバンドの中で上から任意の割合の画素を苗の領域であると認識する。図３において、左図のような元画像が取り込まれる。元画像の色は、RGBで表されているが、これをL＊a＊b＊表色系に変換する。変換後の画像情報では、苗が存在する場所は知覚色度b＊の値が高くなる。ここで、b＊についてp-タイル法によって閾値を決定し、２値化を行う。すなわち、b＊が閾値以上であるピクセル値を１とし、それ以外のピクセル値を０とする。また、画像の上や横の隅の領域は、苗とは関係ない部分が映ることが多いため、ピクセル値を０とした。結果として、中央図のような二値画像が得られる。撮像手段によって取得されたＲＧＢカラー画像をL＊a＊b＊表色系に変換し、変換された画像情報において知覚色度閾値を設定して画像を２値化することで対象物領域を抽出する手法は、それ単独として技術思想として成立するものであり、その適用は水稲苗領域の検出に限定されるものではなく、本発明に係る操向制御に限定されるものでもない。例えば、緑色を主色とする作物列の検出であれば、水稲苗と同様に、知覚色度b＊の値に閾値を設定して２値化することで作物列領域を抽出することができる。画像に占める作物列領域のおおよその面積が既知であれば、同様に、p-タイル法によって閾値を決定することができる。また、対象物の色が緑色でなくても、対象物の色に応じて、知覚色度の閾値を適切に設定することで対象物領域を抽出することができる。また、ここで述べた画像処理手段は一つの好ましい例であって、苗列領域の２値画像を取得する手段はL＊a＊b＊表色系に変換するものに限定されず、例えば、HSV変換すると共に、各ピクセルのHSVでの値を用いて苗列領域を検出してもよい。
【００３４】
次に、逆透視変換手段によって、得られた２値画像に対して逆透視変換を行い、圃場のXY平面に画像中の苗の領域を逆投影する（図４、図５）。先ず、得られた二値画像を、仮想的に地平面に投影する。つまり、２値化の結果、苗の一部であると判断されたあるピクセルが、実空間で、どの位置に相当するかを求める。カメラの俯角、高さ、焦点距離をもとに、カメラ焦点の位置と二値画像の位置を決める。そして、図４のように二値画像を仮想地平面に投影する。二値画像上の点を、実空間上の地平面に仮想的に投影することにより、苗列のマップを作成する。これにより角度がより確実に求められる。マップの分解能を粗くすることで、苗列が多少曲がっていてもだいたい直線として認識することが出来る。得られたマップから、ハフ変換を用いて苗列の角度θを求める。
【００３５】
図５において、左の二値画像から、横方向の解像度が異なる二つの仮想地平面の画像を取得した。二つの仮想地平面画像において、左側の仮想地平面画像では、投影する際に地平面における1ピクセルの大きさを、縦方向に5cm、横方向に1cmにしてある。右側の仮想地平面画像では、1ピクセルの大きさが縦に5cm、横に5cmとなっている。つまり、左側の仮想地平面画像では、横方向に関して解像度が高いイメージになっているのに対して、右側の仮想地平面画像では、横方向の解像度が低いイメージとなっている。この仮想地平面の画像に直線抽出手段として例示するハフ変換を用いることによって近似直線を求め、苗の条（近似直線）と田植機との角度θを求める。実際に走行する際には、右側のイメージを用いた。右側のイメージでは、画像が横方向に粗くなっているため、見ている苗の条が多少蛇行したり曲がったりしていても、条の角度を検出することが出来る。
【００３６】
このように、仮想地平面画像において、水平方向の解像度を低く取り、奥行き方向の解像度を高くする。苗の形状と移植間隔からすると、１ピクセルにおいて、水平方向は１ｃｍ、奥行き方向は20ｃｍとするのが、正確な苗のマップを作るためには適切な値だと予想されるが、上述のように、１ピクセルにおいて、水平方向は5ｃｍ、奥行き方向は5ｃｍとした。まず、水平方向の解像度を低く取ることによって、苗列は多少水平方向にずれていても同一の直線上に載る。また、俯角をつけて苗列を撮影した場合、苗の高さによって苗同士が接続して見える。これによって逆透視変換したときには、苗同士の間隔は無くなる。マップに対してより正確に苗列の方向検出を行うためには奥行き方向に苗の点数が多い方が望ましい。そのため奥行き方向の解像度を高めた。
【００３７】
このマップに対してDudaとHartによる直線検出のためのハフ変換を適用する。得られたマップ上には、隣接条だけではなく、複数の条が存在する。前の行程に対して平行に走行するためには、より多くの条から得られた角度を参照することが望ましい。そこで、ハフ変換によって、単に一本の直線を検出するのではなく、最も、多くの並行した直線が存在する角度を推定した。ハフ平面上の最大値の半分以上の値を持つものを各角度ごとの二乗和を計算し、最大の合計が得られる角度を採用した。
【００３８】
次に、横ずれ量の検出について説明する。前記仮想地平面画像（マップ）では水平方向の解像度を低く取ったため、このマップからカメラと苗列の距離を直接推定することはできない。一方透視変換された画像は角度の誤差は大きいが距離の誤差は小さい。そこで、マップから推定された角度から、透視変換された画像中での平行な直線群の消失点を求め、そこから引かれる直線の中で、もっとも苗の領域を通過している直線の位置をカメラと苗列の距離とした。これを図６に基づいて説明する。苗列条と田植機の角度がわかると、苗列条が向かっていく消失点が求められる。消失点から伸びる直線はさまざまな角度のものが考えられる。その中で、二値画像における白点を最も多く通る線（図６では真ん中の直線）を最もよく苗列条を表しているものとして採用した。この直線から、横ずれの量が求められる。たとえば、この直線がより右側にあると、田植機はより左側にある、ということになる。
【００３９】
走行制御は、カメラに対する苗列の方向と距離から、ステアリングをまっすぐにして任意の距離進んだ後の予想される偏差を計算し、それに対して定数を乗じてステアリングの角度を計算することで行う。方向に対して、距離の誤差が大きいことが予想されるので、距離を定数で除した後、偏差を計算することで、より方向性を重視したなめらかな走行を行うことができる。
【００４０】
圃場内で、低速で実際に植付けを行いながら走行した。畦際の１行程目は、畦際のエッジを検出し、それに沿って走行、植付けを行った。田植機にプリズムを取り付けて、自動追尾トータルステーションを用いて、田植機の軌跡を記録した。図７、図８に実験結果を示す。図７はトータルステーションで記録した軌跡を示し、縦軸、横軸とも、単位はメートルである。横方向の目盛り線が、畦と平行な直線になっている。下側から、一行程目、二行程目、三行程目、と進んで行く。反射鏡（プリズム）は車体の右側についているため、左から右へ行く行程と、右から左へ行く行程での軌跡の間隔は違っている。各行程について、最小二乗法により、直線で近似した。その直線の、畦との角度差と、各データ点の近似直線との横ずれの量の標準偏差をまとめると、図８のようになる。角度差については、だんだんと蓄積する傾向にある。横ずれの標準偏差については、蓄積していく様子はなかった。むしろ、前の行程での小さな蛇行を無視して植えつけていくような様子が観察できた。実験結果に示すとおり、低速では、略まっすぐに植付けを行うことができた。
【００４１】
次に、いわゆるバーチャル田植機による操向シミュレーションについて説明する。3次元CGを使って、バーチャルな水田を作り、その中をバーチャル田植機が走行するプログラムを作成した。このプログラムによって、様々な苗列形状に対する各種の画像処理アルゴリズムや、制御則のテストを行うことができる。プログラムの開発には、Visual C++ 6.0と、OpenGLを用いた。プログラムの流れを図１１に示す。走行を開始する前に、まず水田に目標となる苗を配置する。苗の位置は、正弦波状に変化させて配置した。これは、前の行程で、田植機の進行方向が何らかの原因によって変化し、苗の位置がずれてしまったことを意味する。既述の通り、そもそも苗が完全な直線上に移植されることはあり得ない。前行程で植えた苗列の形状は任意に変化させることができるが、まず、最初のステップとして正弦波を用いた。図１１は、長さ100ｍの水田に、12列の苗が植えられているところを示している。苗列の間隔は横300mｍ、縦200mmである。苗の位置の変化の周期は40ｍ、振幅は10ｃｍである。苗の高さは水面から70mmである。
【００４２】
OpenGLが描いた３Dシーンを仮想カメラによってキャプチャーし、屋外の実験と同じように、2次元の投影画像に対して画像処理を行い、苗列に対するカメラの方位角θとオフセットeを計算する。カメラの方位角θとオフセットeからステアリング角度を決定する。ステアリング角度と速度から、一定時間後の位置と方向を計算し、OpenGLが画像を更新する。時間刻みは0.1秒とした。上述の田植機も0.1秒ごとに処理を行っているのでこれに倣った。実際の状況に近づけるため、個々の苗はランダムな姿勢をとっている。さらにその位置も大きな正弦波から少しだけランダムにずれている。また、ランダムな外乱をカメラの方位角に加えている。そのためもし、ステアリング角度がずっと0度でも、田植機は直進しない。このプログラムでは、仮想コントローラによる自動運転の他に、マニュアル走行を行うことも可能である。人間がなにを基準にして直線走行を行っているかを知るのに役立つと考えられる。
【００４３】
画像処理方法について説明する。RGBやHSV、L*a*b*といった色空間情報と、閾値、シャッタースピード、絞りを用いれば、キャプチャーされた画像から苗を抽出することは可能である。苗列領域の二値画像取得までの苗領域抽出手段については、既述の記載を参照することができるので、２値化が済んだ後の画像に対する処理について述べる。ここでは、ハフ変換を用いた2種類の方法について説明すると共に、両方法を比較する。
【００４４】
第１の方法は、投影画像に対してハフ変換を行う方法である。DudaとHartによるハフ変換は画像上の直線を検出する方法としてしばしば用いられる。ハフ変換では、画像中の点r(θ)=xcosθ+ysinθという曲線に変換される。もし苗列がまっすぐであれば、逆透視変換によって投影面上で得られた直線を再び三次元空間に戻すことで苗列とカメラの角度とオフセットを求めることができる。図１２に直線の検出例を示す。DudaとHartによるハフ変換では値が１の曲線を重ね合わせてそのピークを検出し直線の方程式とする。ピークの大きさはある直線上に載っている点の数を表しているため、点の空間的な分布を考慮に入れていない。つまり、10個の点が集中して直線上に分布していても、広く分布していても同じ結果が得られる。苗列を撮影すると手前の苗が大きく撮影されることと、苗の葉が直線形状をしていることから、苗列ではなく局所的な苗そのものを最も確からしい直線として検出してしまうケースが確認された。今回対象とする画像では、縦方向に長く、より多くの点がのっている直線を検出したい。そこで、曲線の値が１のものに加えて、値がｙ座標のもの、ｙ座標の二乗のものを作った。そして３つの画像から、ハフ平面の各座標における分散を求めた。そして、直線上の点数と、分散の線形和をとりそのピークから直線の方程式を求めた。
【００４５】
第２の手法は、逆透視変換画像に対してハフ変換を行う方法である。田植えをする際、作業者は圃場に対してただ一つの方位を持った直線を設定しそれに沿って走行する。それと同時に前行程で植え付けた苗との距離を時々チェックし走行経路の修正を行う。理想的な走行経路の方位は水田の垂直上方からヘリコプターなどの飛翔物体から明確に観察できるであろう。そこで、逆透視変換を投影画像に対して先に行い、苗列のマップを作る。このマップに対してハフ変換による直線検出を行えば、局所的なカーブに左右されない苗列全体の方位を検出することができる。図９は湾曲した苗列の元画像であり、図１０は図９に対して逆透視変換を行った結果得られた苗列のマップである。同様に、図１３に元の画像と、逆透視変換を行った結果を示す。元の画像中の最も右にある苗列だけを変換した。逆変換後の横軸の解像度は5ｃｍ、縦方向の解像度は20ｃｍである。図１３の右図の点群に対してハフ変換を行い直線を検出すれば、一つの行程に対して一つの方位を決定することができる。方位を求めた後は、車両の速度が既知であれば、位置を推定することができる。
【数１】
【００４６】
制御方法について説明する。阿部（2003）によると最も簡単な人の車両制御モデルは、図１４のように目標コースが直線ならば次の様に表される。
【数２】
【００４７】
バーチャル田植機による自動走行実験について述べる。テストコースは100ｍの経路の途中に３つのサイン波を入れた。サイン波の振幅は400mm、波長は10ｍである。バーチャル田植機は、この苗列に沿って走行する。ノイズは方向角に対してランダムに与えた。Lは1m、ｈは0.02とした。バーチャル田植機を走行させ、実際のオフセット、角度、推定オフセット、推定角度を記録した。
【００４８】
図１５乃至図１８に2つの画像処理による走行の結果を示す。図１５、図１７は、透視変換画像に対してハフ変換を行ったもの、図１６、図１８は逆透視変換を行った画像に対してハフ変換を行った結果である。図１５、図１７より、透視変換画像に対してハフ変換を行った後に実空間上での位置を求めようとすると、対象の苗列が直線の時は角度、オフセット共に正確な値が得られるが、局所的に苗列が湾曲していると適切な直線を検出することができず、直線走行を行うことができなかったことがわかる。これは直線走行において致命的な欠点である。一方逆透視変換を行った画像をハフ変換すると、1本の苗列全体の角度を求めることができるので、局所的な変化に左右されず、直線走行を行うことができた。しかし、逆透視変換の場合、ここでは横方向の解像度が20ｃｍなので、ハフ変換から直接オフセットを求めることができず、デッドレコニングによってオフセットを求めている。そのため、故意に与えた方角のノイズと方向角の検出誤差によって徐々にオフセットが増加する傾向が見られた。このシミュレーションでは50ｍの走行の後6mmのオフセット誤差が見られた。
【産業上の利用可能性】
【００４９】
本発明は、走行車両の操向制御に用いることができ、好適な例では、田植機の操向制御に利用可能である。
【図面の簡単な説明】
【００５０】
【図１】田植機の平面図及び側面図である。
【図２】操向制御装置による制御の流れを示すブロック図である。
【図３】左図は圃場上の既植の苗列の元画像であり、中央図は元画像をL＊a＊b＊表色系に変換すると共にb＊に閾値を設定することで得た二値画像である。
【図４】二値画像の仮想地平面への投影（逆透視変換）の説明図である。
【図５】左図は二値画像であり、中央図及び右図は二値画像を逆透視変換することで取得した仮想地平面画像である。
【図６】横ずれ量の検出を説明する図である。
【図７】実験結果を示す図である。
【図８】実験結果を示す図である。
【図９】バーチャル田植機における画像処理装置の表示画面に表示された苗列の画像である。
【図１０】図９に示す画像を逆透視変換して得られた画像である。
【図１１】バーチャル田植機における操向制御の説明図である。
【図１２】表示画面上の透視画像に対してハフ変換を適用して近似直線を取得した図である。
【図１３】左図は苗列の透視画像であり、右図は左図を逆透視変換して得られたマップである。
【図１４】走行車両の制御方法を説明する図である。
【図１５】カメラから入力された透視変換画像（２次元投影画像）に対してハフ変換を行ったものに基づく走行結果である。
【図１６】カメラから入力された透視変換画像（２次元投影画像）に対して逆透視変換を行った画像に対してハフ変換を行った基づく走行結果である。
【図１７】カメラから入力された透視変換画像（２次元投影画像）に対してハフ変換を行ったものに基づく走行結果である。
【図１８】カメラから入力された透視変換画像（２次元投影画像）に対して逆透視変換を行った画像に対してハフ変換を行った基づく走行結果である。
【符号の説明】
【００５１】
３ 走行機体
５ ステアリングホイール
６ 苗供給装置
９ 撮像手段
【技術分野】
【０００１】
本発明は、走行車両の操向制御方法及び装置に係り、好適な例では、移植機（特に、田植機）の操向制御方法及び装置に関するものである。
【背景技術】
【０００２】
田植機は、1960年代に開発され、現在90％以上の水田において田植機による移植が行われている。その初期に於いては歩行型が主であったが、現在は乗用型が主流となっている。作業効率を高めるため、条数の増加（2条から10条）、作業速度の向上、植え付け爪の駆動方法の変化（クランク式からロータリー式）などさまざまな改良が施されてきた。また、植え付け深さを一定にするため油圧による高さやローリングの制御も取り入れられてきた。
【０００３】
田植えは、決められた面積の圃場の有効利用、管理作業や、収穫の容易さという点から考えて、直線状に行うことが望ましい。通常田植えをするときには、次の行程のために、目印の線を泥の上に引きながら走行する。しかしながら、目印の線が明瞭に見えるとは限らない。また、水田の表面は平らなものの、実際に田植機が走行する耕盤は起伏が多い。さらに、泥の抵抗によりタイヤには常に予測できない力がかかっている。そのため熟練者であっても変化する状況の中で田植機を常に直進走行させることは困難な作業である。また、田植機の作業部に積載できる苗の量には限度があるため、作業者は数分に一度は停止してマット苗を補給しなければならない。これは、作業能率を下げる一つの要因となっている。近年、６ｍというこれまでの10倍の長さのマット苗を使い、補給作業回数を減らすことで圃場作業効率を高める試みが行われている。しかし、この長いマット苗を育てるために新しい育苗施設や田植機が必要となるため広く普及するには至っていない。
【０００４】
農作業車が圃場内を決められた経路に沿って自動走行する方法に関する研究はこれまでに多く行われている。ＲＴＫ-GPSを用いたもの、地磁気を用いたもの、光ファイバージャイロを用いたもの、トータルステーションを用いたもの、画像処理によるものである。これらは、単独で使われることもあるが、多くの場合、複数のセンサーを使いそれぞれの欠点を補い合っている。RTK-GPSとFOGを用いたシステムは、最も精度が高く、有望であるが、依然その価格は高い。また、事前の圃場の測量に手間がかかるという欠点がある。地磁気センサーは、方位に関してドリフト誤差がなく安価であるが、周辺環境の影響を受けやすく、誤差を防ぐことができない。トータルステーションを用いたシステムは、精度が高いものの、機械が高価なことと、やはり準備に時間がかかることから、一般的な農作業に於いては現実性に乏しい。
【０００５】
画像処理は、人間の眼にかわるものとして、期待をかけられてきた。これまではカメラ、処理装置共に高価であった。しかし、デジタルカメラ、カメラ付き携帯電話の普及によりシステムの価格は安価になりつつある。画像処理のみでは、車両の絶対位置や方位を検出することはできないが、外部指標となる圃場内の作物との距離を正確に検出することができる。これは他のセンサーには無い特徴である。そのため、画像処理は、防除や草取りなどの管理作業を行う車両に用いられる研究例が多い。管理作業では、車両は既に圃場内に存在する植物列に沿って走れれば良く、その走行軌跡は必ずしも直線である必要はない。一方移植作業に画像処理を用いると、瞬時の誤差は少ないかもしれないが、一行程ごとに誤差が増幅し、もともと直線だった経路が大きく湾曲する可能性が大いに有る。特に、水田では水面での光の反射が多く、それが誤差の要因となりうる。Chen(1997)らは、田植機の視覚部センサーとして画像処理を用いる手法を提案したが、あくまで、それは参照する苗列が直線上に並んでいるという仮定に基づいたものだった。また、実際の走行実験は行われていない。もし苗列が完全に直線上に存在するならば、画像処理によって計算された角度と距離の変化は、田植機の移動にのみよるものである。しかし実際の田植えの場合、参照される苗列は必ず湾曲している。そのためそれらの値の変化は、苗列の湾曲によるものなのか、または田植機の移動によるものなのか区別することができない。
【０００６】
既に植付け済みの苗列の画像を取得し、取得した画像に基づいて田植機の操向制御を行う技術が特許文献１，２，３に記載されている。特許文献１には、植付け苗の色に対応した領域として抽出された抽出領域を結ぶ線分を直線近似する技術手段が記載されている。特許文献２には、植付け済の苗株の列条を撮像した画像を２値化し、２値化された画像を直線近似し、直線近似により求められた線分と機体の進行方向に設定してある基準腺とのなす角度及び基準線と線分との距離成分を算出し、該角度及び距離成分を操向情報として用いて苗株の列条に倣い自動操向する技術手段が記載されている。特許文献３には、走行機体に備えたカメラの撮像範囲を複数条の苗列を含むよう設定すると共に、カメラで撮影された複数条の苗列のうち特定の苗列のみを選択してディスプレイに表示する処理手段を備え、既植苗を基準にして苗植付に適切な距離を保って走行機体が走行した際にディスプレイに表示された苗列がディスプレイの所定の表示域内に表示されるようカメラとディスプレイの表示域を設定する技術手段が記載されている。しかしながら、これらのものは、いずれも、カメラにより取得した苗列の画像に対して直接仮想直線を計算するものである。
【０００７】
従来から、画像処理によって画像中の直線を検知し、逆透視変換によって実際の位置を推定する技術は存在した。直線が存在する平面に対するカメラの位置と姿勢が既知であれば、透視変換された結果である画像中の直線の位置と方向を推定することは可能とされてきた。しかしながら、これは直線が完全に直線であるという条件においてのみ成り立つ。一方、不整地でほぼ直線上に並んでいる対象物に対して、透視変換された画像中で直線の当てはめを行うと、カメラの近傍での局所的な対象物の列形状に沿った直線が検出される。そのため、推定される直線の方向は理想的な直線の方向と外れてしまう。水稲苗の移植では、移植機は、一行程前に移植された苗列に倣って繰り返し走行するため、移植行程が進むにつれて、走行軌跡の振動が増大してしまうという問題点があった。
【０００８】
また、田植機等の移植機に限らず、移動農機において、所定のターゲットを検出して、それに基づいて車両（例えば、耕うん機、整地機、施肥機、播種機、管理作業機、収穫機、畜産機械）の操向を制御させることが有利な場合がある。さらに、移動農機以外の移動車両においても、所定のターゲットを検出して、車両の操向を制御させたい場合もある。
【特許文献１】特開昭６２−６１５０９
【特許文献２】特開平２−１３１５０２
【特許文献３】特開平９−１５４３１４
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、視界に入っている一行程前に移植された苗一列全てに対してただ一つの直線を定め、これに対して平行に移植機を走行させることを目的とする。
【００１０】
本発明の他の目的は、走行車両の操向制御において、画像処理のみを用いて元々直線でない経路に対して、初期条件としてある方角を指す直線をあてはめ、その方角に向かって直線的な経路に沿って走行車両を走行させることにある。
【００１１】
本発明のさらに他の目的は、厳密な直線ではないが、直線と見なしたいターゲット（例えば、苗列）に対して直線近似を行うことにある。
【課題を解決するための手段】
【００１２】
かかる課題を達成するために本発明が採用した第１の技術手段は、移植機に設けた撮像手段によって既植の苗列を撮像して苗列の画像情報を取得するステップと、該画像情報から苗列領域が抽出された２値画像を取得するステップと、該２値画像を逆透視変換して２値化された苗列領域の仮想地平面画像を取得するステップと、該仮想地平面画像において該苗列領域を直線で近似するステップと、該直線に対する移植機の位置情報に基づいて操向制御を行うステップとを有する移植機の操向制御方法、そして、移植機に設けた撮像手段によって撮像された既植の苗列の画像情報を入力する画像入力手段と、該画像情報から苗列領域が抽出された２値画像を取得する苗列領域抽出手段と、該２値画像を逆透視変換して２値化された苗列領域の仮想地平面画像を取得する逆透視変換手段と、該仮想地平面画像において該苗列領域を直線で近似する直線抽出手段とを有する苗列の検出装置である。
【００１３】
本発明が採用した第２の技術手段は、移植機に設けた撮像手段によって既植の苗列を撮像して苗列の画像情報を取得するステップと、該画像情報から苗列領域が抽出された２値画像を取得するステップと、該２値画像を逆透視変換して２値化された苗列領域の仮想地平面画像を取得するステップと、該仮想地平面画像において該苗列領域を直線で近似するステップとを有する苗列の検出方法、そして、移植機に設けた撮像手段によって撮像された既植の苗列の画像情報を入力する画像入力手段と、該画像情報から苗列領域が抽出された２値画像を取得する苗列領域抽出手段と、該２値画像を逆透視変換して２値化された苗列領域の仮想地平面画像を取得する逆透視変換手段と、該仮想地平面画像において該苗列領域を直線で近似する直線抽出手段とを有する苗列の検出装置である。
【００１４】
本発明が採用した第３の技術手段は、走行車両に設けた撮像手段によって走行車両の走行方向に延出するターゲットを撮像してターゲットの画像情報を取得するステップと、該画像情報からターゲット領域が抽出された２値画像を取得するステップと、該２値画像を逆透視変換してターゲット領域の仮想地平面画像を取得するステップと、該仮想地平面画像においてターゲット領域を直線で近似するステップと、該直線に対する走行車両の位置情報に基づいて操向制御を行うステップとを有する走行車両の操向制御方法、そして、走行車両に設けた撮像手段によって撮像された走行車両の走行方向に延出するターゲットの画像情報を入力する画像入力手段と、該画像情報からターゲット領域が抽出された２値画像を取得する２値画像取得手段と、該２値画像を逆透視変換してターゲット領域の仮想地平面画像を取得する手段と、該仮想地平面画像においてターゲット領域を直線で近似する手段と、該直線に対する走行車両の位置情報に基づいて操向制御を行う手段とを有する走行車両の操向制御装置である。
【００１５】
本発明が採用した第４の技術手段は、走行車両に設けた撮像手段によって走行車両の走行方向に延出するターゲットを撮像してターゲットの画像情報を取得するステップと、該画像情報からターゲット領域が抽出された２値画像を取得するステップと、該２値画像を逆透視変換して２値化されたターゲット領域の仮想地平面画像を取得するステップと、該仮想地平面画像において該ターゲット領域を直線で近似するステップとを有するターゲットの検出方法、そして、走行車両に設けた撮像手段によって撮像された走行車両の走行方向に延出するターゲットの画像情報を入力する画像入力手段と、該画像情報からターゲット領域が抽出された２値画像を取得するターゲット領域抽出手段と、該２値画像を逆透視変換して２値化されたターゲット領域の仮想地平面画像を取得する逆透視変換手段と、該仮想地平面画像において該ターゲット領域を直線で近似する直線抽出手段とを有するターゲットの検出装置である。
【００１６】
前記第３の技術手段、第４の技術手段において、一つの態様では、前記走行車両は移動農機であり、前記ターゲットは作物列であり、さらに移動農機としては移植機が、作物列としては苗列が例示される。また、走行車両が移動農機であっても、ターゲットは作物列に限定されるものではなく、例えば、畦をターゲットとして移動農機を操向させるものでもよい。さらに、走行車両は移動農機に限定されるものではなく、例えば、白線や路肩をターゲットとして走行車両を操向させるものでもよい。
【００１７】
前記技術手段において、一つの好ましい態様では、前記撮像手段はターゲット（例えば、苗列）の無限遠方まで撮像するものである。こうすることで、苗一列全てに対してただ一つの直線を定めることができ、これに対して車両を平行に走行させることができる。また、ターゲットの無限遠方まで撮像するためには、ターゲットの入力画像はいわゆる縦型画像であることが有利である。
【００１８】
前記技術手段において、ターゲットが苗列のように緑色を主色とする場合には、一つの好ましい態様では、前記二値画像を取得するステップは、苗列のＲＧＢカラー画像をL＊a＊b＊表色系に変換し、知覚色度b＊の値に閾値を設定して２値化を行うものである。
【００１９】
前記技術手段において、一つの好ましい態様では、前記仮想地平面画像において、水平方向の解像度を低く設定したものである。ターゲットの画像の横方向の解像度を低くすることで、ターゲットが多少蛇行したり曲がったりしていても、ターゲットに対して一つの直線の近似を抽出しることが容易となる。
【００２０】
前記技術手段において、前記ターゲット領域（例えば、苗列領域）の直線近似は、好ましい態様では、ハフ変換あるいは最小二乗法によって行うものである。また、一行程前に移植された苗一列に対して直線近似を行う場合に、一行程前に移植された苗列を含む既植の複数の苗列の領域に基づいて直線近似を行っても良い。
【００２１】
前記直線に対する車両（移植機）の位置情報は、一つの態様では、該直線に対する角度及び/あるいは横方向のずれ量（オフセット）である。直線に対する車両の角度は、車両の進行方向（あるいは撮像手段の撮像方向）に設定された基準線と検出された直線との角度として算出される。横方向のずれ量（オフセット）は、検出された直線と車両との距離（直線と直交する方向）として算出される。直線に対する角度と横ずれ量の情報と車両の速度がわかれば、車両の操向制御を行うことができる。
【発明の効果】
【００２２】
本発明によれば、特に移植機において、視界に入っている一行程前に移植された苗一列全てに対してただ一つの直線を定め、これに対して平行に車両を走行させることができる。これによって、前の行程において耕盤が不整であったことによる苗列の乱れを修正し、走行軌跡の振動が増加するのではなく、より減少する方向に向かうように操向制御することができる。
【００２３】
また、走行車両の操向制御において、元々直線でない経路に対して、初期条件としてある方角を指す直線をあてはめ、その方角に向かって直線的な経路に沿って走行車両を操向制御することができる。
【００２４】
また、厳密な直線ではないが、直線と見なしたいターゲット（例えば、苗列）に対して直線近似を行うことができる。
【発明を実施するための最良の形態】
【００２５】
図１の上図は田植機の平面図、下図は田植機の側面図であって、田植機は、左右一対の前輪１および後輪２によって支持された走行機体３と、走行機体３の前部に搭載された動力部４と、ステアリングホイール５と、走行機体３の後方にリンク機構を介して設けた苗供給装置６及び植付け装置７を有する四条植えの乗用田植機である。苗供給装置６のフレームには左右のサイドバンパー８の上方に位置して撮像手段９が搭載されている。走行機体３の後部には運転席１０が設けてある。苗供給装置６はフロートを含む姿勢制御機構によって田植機の走行中に水平姿勢制御・上下動位置制御されているので、撮像手段９を苗供給装置６に設けることで、撮像手段９が走行機体３の姿勢の影響を受け難いようになっている。
【００２６】
撮像手段９は、ＲＧＢカラーテレビカメラであって、カメラを前方を向けて、俯角を付けた状態で、90度回転させて水稲移植機の移植部（苗供給装置）の両側に取り付ける。カメラを９０度回転させることで、苗列の画像を縦型の画像情報として得ることができる。田植機には図示しないディスプレイが搭載されており、カメラによって撮像された画像情報はディスプレイに表示される。車両の左側に畦が有る場合、また車両の左側にターゲットとなる苗列が有る場合は、左側のカメラを用い、逆の場合は右側のカメラを用いる。カメラの左右の切り替えは手動、もしくは自動によって行う。ここでは、田植機の苗供給装置の両側に二つのカメラを前方に向けて配設したものを示したが、カメラの個数、搭載位置、撮像方向はこれには限定されない。例えば、田植機の左右のぞれぞれの側に位置して二台のカメラを、一方を前方に、他方を後方に向けて配設してもよい。
【００２７】
操向制御装置は、田植機に設けた撮像手段によって撮像された既植の苗列の画像情報を入力する画像入力手段と、該画像情報から苗列領域が抽出された２値画像を取得する苗列領域抽出手段と、該２値画像を逆透視変換して２値化された苗列領域の仮想地平面画像を取得する逆透視変換手段と、該仮想地平面画像において該苗列領域を直線で近似する直線抽出手段と、該直線に対する田植機の位置情報に基づいて操向制御を行う制御手段とから構成され、これらの手段は主としてコンピュータにより実行される。
【００２８】
図２は、田植機の操向制御装置による制御の流れを示すブロック図である。CCDカメラにより取得された画像信号は信号線を通してコンピュータを主要構成要素とする画像処理装置に入力される。詳細に説明する。カラーCCDカメラ（Watec WAT231S）は、作業機の左右に一つずつ取り付けてある。撮影対象の苗列は縦方向に並んでいるため、カメラの光軸を中心に90度回転させた。これによって縦長の画像情報を取得することができ、縦方向の解像度を高めることができる。実験では、縦方向の画角は33.4度、横方向は25.3度とした。無限遠方まで画面に入るようにカメラの俯角は15度とした。車両の左側に苗列が有るときは、左側のカメラを使い、右側に有るときは右側のカメラを使った。CCDカメラから出力された画像情報はDVレコーダー（SONY DV1000）により記録される。パーソナルコンピュータ（Pentium 4、 3.0GHz、 512MB）は、DVレコーダから、IEEE1394ケーブルを介してデジタル画像をリアルタイムで取り込む。DV画像を取り込むためにDirect X 8.0を使用した。
【００２９】
画像処理装置は、苗列領域抽出手段と逆透視変換手段と直線抽出手段とを有しており、CCDカメラから取り込んだ画像に画像処理を施すことで既植の苗列に対する田植機の位置、すなわちオフセット距離e、方位角θを計算する。苗領域抽出手段は、カメラによって撮像された既植の苗列の画像情報から苗列領域が抽出された２値画像を生成する手段である。本明細書では、好ましい態様として、苗列領域抽出手段として、苗列のＲＧＢカラー画像をL＊a＊b＊表色系に変換し、知覚色度b＊の値に閾値を設定して２値化を行う手法について後述するが、苗列領域を良好に抽出できるものであればいかなる領域抽出手段であってもよい。逆透視変換手段は、苗列領域抽出手段で生成された２値画像の各構成画素を、圃場面を構成する仮想地平面上に透視変換して苗列のマップを生成する手段である。カメラにより取得された２次元投影画像をカメラパラメータに基づいてカメラ視点座標系から実平面座標系へと変換する逆透視変換自体は公知であるので、逆透視変換についての説明は省略する。直線抽出手段は、仮想地平面画像（苗列のマップ）における苗列領域を直線で近似する手段である。直線抽出手段としては、好ましい態様として、ハフ変換による直線検出、最小２乗法による直線検出が例示されるが、他の手法を用いて直線抽出してもよい。苗列領域の直線近似する線分が得られれば、該線分に対する田植機の角度θおよびオフセットeを求めることができる。検出された直線に対しての田植機の角度とオフセットは、苗列マップに対するハフ変換や最小２乗法によって求められる。また、オフセットの求め方については、他に、速度と角度から求める方法（デッドレコニング）、マップに対するハフ変換で求めた角度を透視画像に戻して、消失点から引いた直線に対するマッチングの度合いで求める方法がある。また、本発明において、一つの好ましい態様では、直前の行程によって植設された苗列条に対して角度、オフセットを求めるものであるが、オフセットを求める際に、隣接条ではなく、一つずれた条を検出してもよい。この場合は、それまでの履歴から、一つ隣だと判断しオフセットをずらす（例えば30ｃｍ）という処理を行う。
【００３０】
そして、制御手段によって、苗列領域に近似させた直線に対する田植機の位置情報に基づいて田植機の操向制御を行う。エンジンの回転数と変速レバー位置とから田植機の速度vを計算する。エンジンプーリに光電センサーを取り付け、エンジンプーリが一回転する間のパルス出力に基づいてエンジン回転数を検出する。また、変速レバーにポテンショメータを取り付けて、変速レバー位置を検出する。パルスのカウント数及びポテンショメータの電圧は、PICボードによって測定され、エンジン回転数と変速レバー位置の情報は、ケーブルを介してコンピュータに送信される。スリップ率を一定として、コンピュータでエンジンの回転数と変速レバー位置の情報を用いて田植機の速度を計算する。
【００３１】
画像処理装置により得られた田植機の位置（角度θ及びオフセットe）と田植機の速度ｖからステアリングの切れ角を決定する。ステアリングホイールを回転させるため、ステアリング軸にモータが取り付けてある。DCサーボドライバは、コンピュータからの指令電圧に基づいてモータを駆動してステアリングの角度制御を行う。実際のステアリングの角度は、前輪中央のピットマンアームに取り付けたポテンショメータによって検出される。DAボードから、決められたステアリング角に相当する電圧をサーボドライバに出力し、ポテンショメータにより検出された実際のステアリング角の情報を制御することで決定されたステアリング角を実現する。
【００３２】
カメラから入力された画像は、圃場に移植された水稲苗列を透視変換した結果である。もし苗列が完全に直線ならば画像中で当てはめられた直線は正確にカメラと苗列の角度と距離を表す。しかし、苗列は不規則に乱れているためこの直線が誤差を含まないことは現実にはあり得ない。したがって、厳密には直線ではない苗列を、いかにして直線とみなして検出するかが問題となる。
【００３３】
画像処理装置では、苗列領域抽出手段によって、まずカメラによって取得されたＲＧＢカラー画像をL＊a＊b＊表色系に変換する。水稲苗は知覚色度b＊成分が高いので、画像を複数のバンドに分割し、それぞれのバンドの中で上から任意の割合の画素を苗の領域であると認識する。図３において、左図のような元画像が取り込まれる。元画像の色は、RGBで表されているが、これをL＊a＊b＊表色系に変換する。変換後の画像情報では、苗が存在する場所は知覚色度b＊の値が高くなる。ここで、b＊についてp-タイル法によって閾値を決定し、２値化を行う。すなわち、b＊が閾値以上であるピクセル値を１とし、それ以外のピクセル値を０とする。また、画像の上や横の隅の領域は、苗とは関係ない部分が映ることが多いため、ピクセル値を０とした。結果として、中央図のような二値画像が得られる。撮像手段によって取得されたＲＧＢカラー画像をL＊a＊b＊表色系に変換し、変換された画像情報において知覚色度閾値を設定して画像を２値化することで対象物領域を抽出する手法は、それ単独として技術思想として成立するものであり、その適用は水稲苗領域の検出に限定されるものではなく、本発明に係る操向制御に限定されるものでもない。例えば、緑色を主色とする作物列の検出であれば、水稲苗と同様に、知覚色度b＊の値に閾値を設定して２値化することで作物列領域を抽出することができる。画像に占める作物列領域のおおよその面積が既知であれば、同様に、p-タイル法によって閾値を決定することができる。また、対象物の色が緑色でなくても、対象物の色に応じて、知覚色度の閾値を適切に設定することで対象物領域を抽出することができる。また、ここで述べた画像処理手段は一つの好ましい例であって、苗列領域の２値画像を取得する手段はL＊a＊b＊表色系に変換するものに限定されず、例えば、HSV変換すると共に、各ピクセルのHSVでの値を用いて苗列領域を検出してもよい。
【００３４】
次に、逆透視変換手段によって、得られた２値画像に対して逆透視変換を行い、圃場のXY平面に画像中の苗の領域を逆投影する（図４、図５）。先ず、得られた二値画像を、仮想的に地平面に投影する。つまり、２値化の結果、苗の一部であると判断されたあるピクセルが、実空間で、どの位置に相当するかを求める。カメラの俯角、高さ、焦点距離をもとに、カメラ焦点の位置と二値画像の位置を決める。そして、図４のように二値画像を仮想地平面に投影する。二値画像上の点を、実空間上の地平面に仮想的に投影することにより、苗列のマップを作成する。これにより角度がより確実に求められる。マップの分解能を粗くすることで、苗列が多少曲がっていてもだいたい直線として認識することが出来る。得られたマップから、ハフ変換を用いて苗列の角度θを求める。
【００３５】
図５において、左の二値画像から、横方向の解像度が異なる二つの仮想地平面の画像を取得した。二つの仮想地平面画像において、左側の仮想地平面画像では、投影する際に地平面における1ピクセルの大きさを、縦方向に5cm、横方向に1cmにしてある。右側の仮想地平面画像では、1ピクセルの大きさが縦に5cm、横に5cmとなっている。つまり、左側の仮想地平面画像では、横方向に関して解像度が高いイメージになっているのに対して、右側の仮想地平面画像では、横方向の解像度が低いイメージとなっている。この仮想地平面の画像に直線抽出手段として例示するハフ変換を用いることによって近似直線を求め、苗の条（近似直線）と田植機との角度θを求める。実際に走行する際には、右側のイメージを用いた。右側のイメージでは、画像が横方向に粗くなっているため、見ている苗の条が多少蛇行したり曲がったりしていても、条の角度を検出することが出来る。
【００３６】
このように、仮想地平面画像において、水平方向の解像度を低く取り、奥行き方向の解像度を高くする。苗の形状と移植間隔からすると、１ピクセルにおいて、水平方向は１ｃｍ、奥行き方向は20ｃｍとするのが、正確な苗のマップを作るためには適切な値だと予想されるが、上述のように、１ピクセルにおいて、水平方向は5ｃｍ、奥行き方向は5ｃｍとした。まず、水平方向の解像度を低く取ることによって、苗列は多少水平方向にずれていても同一の直線上に載る。また、俯角をつけて苗列を撮影した場合、苗の高さによって苗同士が接続して見える。これによって逆透視変換したときには、苗同士の間隔は無くなる。マップに対してより正確に苗列の方向検出を行うためには奥行き方向に苗の点数が多い方が望ましい。そのため奥行き方向の解像度を高めた。
【００３７】
このマップに対してDudaとHartによる直線検出のためのハフ変換を適用する。得られたマップ上には、隣接条だけではなく、複数の条が存在する。前の行程に対して平行に走行するためには、より多くの条から得られた角度を参照することが望ましい。そこで、ハフ変換によって、単に一本の直線を検出するのではなく、最も、多くの並行した直線が存在する角度を推定した。ハフ平面上の最大値の半分以上の値を持つものを各角度ごとの二乗和を計算し、最大の合計が得られる角度を採用した。
【００３８】
次に、横ずれ量の検出について説明する。前記仮想地平面画像（マップ）では水平方向の解像度を低く取ったため、このマップからカメラと苗列の距離を直接推定することはできない。一方透視変換された画像は角度の誤差は大きいが距離の誤差は小さい。そこで、マップから推定された角度から、透視変換された画像中での平行な直線群の消失点を求め、そこから引かれる直線の中で、もっとも苗の領域を通過している直線の位置をカメラと苗列の距離とした。これを図６に基づいて説明する。苗列条と田植機の角度がわかると、苗列条が向かっていく消失点が求められる。消失点から伸びる直線はさまざまな角度のものが考えられる。その中で、二値画像における白点を最も多く通る線（図６では真ん中の直線）を最もよく苗列条を表しているものとして採用した。この直線から、横ずれの量が求められる。たとえば、この直線がより右側にあると、田植機はより左側にある、ということになる。
【００３９】
走行制御は、カメラに対する苗列の方向と距離から、ステアリングをまっすぐにして任意の距離進んだ後の予想される偏差を計算し、それに対して定数を乗じてステアリングの角度を計算することで行う。方向に対して、距離の誤差が大きいことが予想されるので、距離を定数で除した後、偏差を計算することで、より方向性を重視したなめらかな走行を行うことができる。
【００４０】
圃場内で、低速で実際に植付けを行いながら走行した。畦際の１行程目は、畦際のエッジを検出し、それに沿って走行、植付けを行った。田植機にプリズムを取り付けて、自動追尾トータルステーションを用いて、田植機の軌跡を記録した。図７、図８に実験結果を示す。図７はトータルステーションで記録した軌跡を示し、縦軸、横軸とも、単位はメートルである。横方向の目盛り線が、畦と平行な直線になっている。下側から、一行程目、二行程目、三行程目、と進んで行く。反射鏡（プリズム）は車体の右側についているため、左から右へ行く行程と、右から左へ行く行程での軌跡の間隔は違っている。各行程について、最小二乗法により、直線で近似した。その直線の、畦との角度差と、各データ点の近似直線との横ずれの量の標準偏差をまとめると、図８のようになる。角度差については、だんだんと蓄積する傾向にある。横ずれの標準偏差については、蓄積していく様子はなかった。むしろ、前の行程での小さな蛇行を無視して植えつけていくような様子が観察できた。実験結果に示すとおり、低速では、略まっすぐに植付けを行うことができた。
【００４１】
次に、いわゆるバーチャル田植機による操向シミュレーションについて説明する。3次元CGを使って、バーチャルな水田を作り、その中をバーチャル田植機が走行するプログラムを作成した。このプログラムによって、様々な苗列形状に対する各種の画像処理アルゴリズムや、制御則のテストを行うことができる。プログラムの開発には、Visual C++ 6.0と、OpenGLを用いた。プログラムの流れを図１１に示す。走行を開始する前に、まず水田に目標となる苗を配置する。苗の位置は、正弦波状に変化させて配置した。これは、前の行程で、田植機の進行方向が何らかの原因によって変化し、苗の位置がずれてしまったことを意味する。既述の通り、そもそも苗が完全な直線上に移植されることはあり得ない。前行程で植えた苗列の形状は任意に変化させることができるが、まず、最初のステップとして正弦波を用いた。図１１は、長さ100ｍの水田に、12列の苗が植えられているところを示している。苗列の間隔は横300mｍ、縦200mmである。苗の位置の変化の周期は40ｍ、振幅は10ｃｍである。苗の高さは水面から70mmである。
【００４２】
OpenGLが描いた３Dシーンを仮想カメラによってキャプチャーし、屋外の実験と同じように、2次元の投影画像に対して画像処理を行い、苗列に対するカメラの方位角θとオフセットeを計算する。カメラの方位角θとオフセットeからステアリング角度を決定する。ステアリング角度と速度から、一定時間後の位置と方向を計算し、OpenGLが画像を更新する。時間刻みは0.1秒とした。上述の田植機も0.1秒ごとに処理を行っているのでこれに倣った。実際の状況に近づけるため、個々の苗はランダムな姿勢をとっている。さらにその位置も大きな正弦波から少しだけランダムにずれている。また、ランダムな外乱をカメラの方位角に加えている。そのためもし、ステアリング角度がずっと0度でも、田植機は直進しない。このプログラムでは、仮想コントローラによる自動運転の他に、マニュアル走行を行うことも可能である。人間がなにを基準にして直線走行を行っているかを知るのに役立つと考えられる。
【００４３】
画像処理方法について説明する。RGBやHSV、L*a*b*といった色空間情報と、閾値、シャッタースピード、絞りを用いれば、キャプチャーされた画像から苗を抽出することは可能である。苗列領域の二値画像取得までの苗領域抽出手段については、既述の記載を参照することができるので、２値化が済んだ後の画像に対する処理について述べる。ここでは、ハフ変換を用いた2種類の方法について説明すると共に、両方法を比較する。
【００４４】
第１の方法は、投影画像に対してハフ変換を行う方法である。DudaとHartによるハフ変換は画像上の直線を検出する方法としてしばしば用いられる。ハフ変換では、画像中の点r(θ)=xcosθ+ysinθという曲線に変換される。もし苗列がまっすぐであれば、逆透視変換によって投影面上で得られた直線を再び三次元空間に戻すことで苗列とカメラの角度とオフセットを求めることができる。図１２に直線の検出例を示す。DudaとHartによるハフ変換では値が１の曲線を重ね合わせてそのピークを検出し直線の方程式とする。ピークの大きさはある直線上に載っている点の数を表しているため、点の空間的な分布を考慮に入れていない。つまり、10個の点が集中して直線上に分布していても、広く分布していても同じ結果が得られる。苗列を撮影すると手前の苗が大きく撮影されることと、苗の葉が直線形状をしていることから、苗列ではなく局所的な苗そのものを最も確からしい直線として検出してしまうケースが確認された。今回対象とする画像では、縦方向に長く、より多くの点がのっている直線を検出したい。そこで、曲線の値が１のものに加えて、値がｙ座標のもの、ｙ座標の二乗のものを作った。そして３つの画像から、ハフ平面の各座標における分散を求めた。そして、直線上の点数と、分散の線形和をとりそのピークから直線の方程式を求めた。
【００４５】
第２の手法は、逆透視変換画像に対してハフ変換を行う方法である。田植えをする際、作業者は圃場に対してただ一つの方位を持った直線を設定しそれに沿って走行する。それと同時に前行程で植え付けた苗との距離を時々チェックし走行経路の修正を行う。理想的な走行経路の方位は水田の垂直上方からヘリコプターなどの飛翔物体から明確に観察できるであろう。そこで、逆透視変換を投影画像に対して先に行い、苗列のマップを作る。このマップに対してハフ変換による直線検出を行えば、局所的なカーブに左右されない苗列全体の方位を検出することができる。図９は湾曲した苗列の元画像であり、図１０は図９に対して逆透視変換を行った結果得られた苗列のマップである。同様に、図１３に元の画像と、逆透視変換を行った結果を示す。元の画像中の最も右にある苗列だけを変換した。逆変換後の横軸の解像度は5ｃｍ、縦方向の解像度は20ｃｍである。図１３の右図の点群に対してハフ変換を行い直線を検出すれば、一つの行程に対して一つの方位を決定することができる。方位を求めた後は、車両の速度が既知であれば、位置を推定することができる。
【数１】
【００４６】
制御方法について説明する。阿部（2003）によると最も簡単な人の車両制御モデルは、図１４のように目標コースが直線ならば次の様に表される。
【数２】
【００４７】
バーチャル田植機による自動走行実験について述べる。テストコースは100ｍの経路の途中に３つのサイン波を入れた。サイン波の振幅は400mm、波長は10ｍである。バーチャル田植機は、この苗列に沿って走行する。ノイズは方向角に対してランダムに与えた。Lは1m、ｈは0.02とした。バーチャル田植機を走行させ、実際のオフセット、角度、推定オフセット、推定角度を記録した。
【００４８】
図１５乃至図１８に2つの画像処理による走行の結果を示す。図１５、図１７は、透視変換画像に対してハフ変換を行ったもの、図１６、図１８は逆透視変換を行った画像に対してハフ変換を行った結果である。図１５、図１７より、透視変換画像に対してハフ変換を行った後に実空間上での位置を求めようとすると、対象の苗列が直線の時は角度、オフセット共に正確な値が得られるが、局所的に苗列が湾曲していると適切な直線を検出することができず、直線走行を行うことができなかったことがわかる。これは直線走行において致命的な欠点である。一方逆透視変換を行った画像をハフ変換すると、1本の苗列全体の角度を求めることができるので、局所的な変化に左右されず、直線走行を行うことができた。しかし、逆透視変換の場合、ここでは横方向の解像度が20ｃｍなので、ハフ変換から直接オフセットを求めることができず、デッドレコニングによってオフセットを求めている。そのため、故意に与えた方角のノイズと方向角の検出誤差によって徐々にオフセットが増加する傾向が見られた。このシミュレーションでは50ｍの走行の後6mmのオフセット誤差が見られた。
【産業上の利用可能性】
【００４９】
本発明は、走行車両の操向制御に用いることができ、好適な例では、田植機の操向制御に利用可能である。
【図面の簡単な説明】
【００５０】
【図１】田植機の平面図及び側面図である。
【図２】操向制御装置による制御の流れを示すブロック図である。
【図３】左図は圃場上の既植の苗列の元画像であり、中央図は元画像をL＊a＊b＊表色系に変換すると共にb＊に閾値を設定することで得た二値画像である。
【図４】二値画像の仮想地平面への投影（逆透視変換）の説明図である。
【図５】左図は二値画像であり、中央図及び右図は二値画像を逆透視変換することで取得した仮想地平面画像である。
【図６】横ずれ量の検出を説明する図である。
【図７】実験結果を示す図である。
【図８】実験結果を示す図である。
【図９】バーチャル田植機における画像処理装置の表示画面に表示された苗列の画像である。
【図１０】図９に示す画像を逆透視変換して得られた画像である。
【図１１】バーチャル田植機における操向制御の説明図である。
【図１２】表示画面上の透視画像に対してハフ変換を適用して近似直線を取得した図である。
【図１３】左図は苗列の透視画像であり、右図は左図を逆透視変換して得られたマップである。
【図１４】走行車両の制御方法を説明する図である。
【図１５】カメラから入力された透視変換画像（２次元投影画像）に対してハフ変換を行ったものに基づく走行結果である。
【図１６】カメラから入力された透視変換画像（２次元投影画像）に対して逆透視変換を行った画像に対してハフ変換を行った基づく走行結果である。
【図１７】カメラから入力された透視変換画像（２次元投影画像）に対してハフ変換を行ったものに基づく走行結果である。
【図１８】カメラから入力された透視変換画像（２次元投影画像）に対して逆透視変換を行った画像に対してハフ変換を行った基づく走行結果である。
【符号の説明】
【００５１】
３ 走行機体
５ ステアリングホイール
６ 苗供給装置
９ 撮像手段
【特許請求の範囲】
【請求項１】
移植機に設けた撮像手段によって既植の苗列を撮像して苗列の画像情報を取得するステップと、
該画像情報から苗列領域が抽出された２値画像を取得するステップと、
該２値画像を逆透視変換して２値化された苗列領域の仮想地平面画像を取得するステップと、
該仮想地平面画像において該苗列領域を直線で近似するステップと、
該直線に対する移植機の位置情報に基づいて操向制御を行うステップと、
を有する移植機の操向制御方法。
【請求項２】
前記撮像手段は苗列の無限遠方まで撮像するものである請求項１に記載の操向制御方法。
【請求項３】
前記二値画像を取得するステップは、苗列のＲＧＢカラー画像をL＊a＊b＊表色系に変換し、知覚色度b＊の値に閾値を設定して２値化を行うものである請求項１，２いずれかに記載の操向制御方法。
【請求項４】
前記仮想地平面画像において、水平方向の解像度を低く設定した請求項１乃至３いずれかに記載の操向制御方法。
【請求項５】
前記苗列領域の直線近似は、ハフ変換あるいは最小二乗法によって行う請求項１乃至４いずれかに記載の操向制御方法。
【請求項６】
前記直線に対する移植機の位置情報は、該直線に対する角度及び/あるいは横方向のずれ量である請求項１乃至５いずれかに記載の操向制御方法。
【請求項７】
移植機に設けた撮像手段によって撮像された既植の苗列の画像情報を入力する画像入力手段と、
該画像情報から苗列領域が抽出された２値画像を取得する苗列領域抽出手段と、
該２値画像を逆透視変換して２値化された苗列領域の仮想地平面画像を取得する逆透視変換手段と、
該仮想地平面画像において該苗列領域を直線で近似する直線抽出手段と、
該直線に対する移植機の位置情報に基づいて操向制御を行う制御手段と、
を有する移植機の操向制御装置。
【請求項８】
移植機に設けた撮像手段によって既植の苗列を撮像して苗列の画像情報を取得するステップと、
該画像情報から苗列領域が抽出された２値画像を取得するステップと、
該２値画像を逆透視変換して２値化された苗列領域の仮想地平面画像を取得するステップと、
該仮想地平面画像において該苗列領域を直線で近似するステップと、
を有する苗列の検出方法。
【請求項９】
移植機に設けた撮像手段によって撮像された既植の苗列の画像情報を入力する画像入力手段と、
該画像情報から苗列領域が抽出された２値画像を取得する苗列領域抽出手段と、
該２値画像を逆透視変換して２値化された苗列領域の仮想地平面画像を取得する逆透視変換手段と、
該仮想地平面画像において該苗列領域を直線で近似する直線抽出手段と、
を有する苗列の検出装置。
【請求項１０】
走行車両に設けた撮像手段によって走行車両の走行方向に延出するターゲットを撮像してターゲットの画像情報を取得するステップと、
該画像情報からターゲット領域が抽出された２値画像を取得するステップと、
該２値画像を逆透視変換してターゲット領域の仮想地平面画像を取得するステップと、
該仮想地平面画像においてターゲット領域を直線で近似するステップと、
該直線に対する走行車両の位置情報に基づいて操向制御を行うステップと、
を有する走行車両の操向制御方法。
【請求項１１】
走行車両に設けた撮像手段によって撮像された走行車両の走行方向に延出するターゲットの画像情報を入力する画像入力手段と、
該画像情報からターゲット領域が抽出された２値画像を取得する２値画像取得手段と、
該２値画像を逆透視変換してターゲット領域の仮想地平面画像を取得する手段と、
該仮想地平面画像においてターゲット領域を直線で近似する手段と、
該直線に対する走行車両の位置情報に基づいて操向制御を行う手段と、
を有する走行車両の操向制御装置。
【請求項１２】
走行車両に設けた撮像手段によって走行車両の走行方向に延出するターゲットを撮像してターゲットの画像情報を取得するステップと、
該画像情報からターゲット領域が抽出された２値画像を取得するステップと、
該２値画像を逆透視変換して２値化されたターゲット領域の仮想地平面画像を取得するステップと、
該仮想地平面画像において該ターゲット領域を直線で近似するステップと、
を有するターゲットの検出方法。
【請求項１３】
走行車両に設けた撮像手段によって撮像された走行車両の走行方向に延出するターゲットの画像情報を入力する画像入力手段と、
該画像情報からターゲット領域が抽出された２値画像を取得するターゲット領域抽出手段と、
該２値画像を逆透視変換して２値化されたターゲット領域の仮想地平面画像を取得する逆透視変換手段と、
該仮想地平面画像において該ターゲット領域を直線で近似する直線抽出手段と、
を有するターゲットの検出装置。
【請求項１】
移植機に設けた撮像手段によって既植の苗列を撮像して苗列の画像情報を取得するステップと、
該画像情報から苗列領域が抽出された２値画像を取得するステップと、
該２値画像を逆透視変換して２値化された苗列領域の仮想地平面画像を取得するステップと、
該仮想地平面画像において該苗列領域を直線で近似するステップと、
該直線に対する移植機の位置情報に基づいて操向制御を行うステップと、
を有する移植機の操向制御方法。
【請求項２】
前記撮像手段は苗列の無限遠方まで撮像するものである請求項１に記載の操向制御方法。
【請求項３】
前記二値画像を取得するステップは、苗列のＲＧＢカラー画像をL＊a＊b＊表色系に変換し、知覚色度b＊の値に閾値を設定して２値化を行うものである請求項１，２いずれかに記載の操向制御方法。
【請求項４】
前記仮想地平面画像において、水平方向の解像度を低く設定した請求項１乃至３いずれかに記載の操向制御方法。
【請求項５】
前記苗列領域の直線近似は、ハフ変換あるいは最小二乗法によって行う請求項１乃至４いずれかに記載の操向制御方法。
【請求項６】
前記直線に対する移植機の位置情報は、該直線に対する角度及び/あるいは横方向のずれ量である請求項１乃至５いずれかに記載の操向制御方法。
【請求項７】
移植機に設けた撮像手段によって撮像された既植の苗列の画像情報を入力する画像入力手段と、
該画像情報から苗列領域が抽出された２値画像を取得する苗列領域抽出手段と、
該２値画像を逆透視変換して２値化された苗列領域の仮想地平面画像を取得する逆透視変換手段と、
該仮想地平面画像において該苗列領域を直線で近似する直線抽出手段と、
該直線に対する移植機の位置情報に基づいて操向制御を行う制御手段と、
を有する移植機の操向制御装置。
【請求項８】
移植機に設けた撮像手段によって既植の苗列を撮像して苗列の画像情報を取得するステップと、
該画像情報から苗列領域が抽出された２値画像を取得するステップと、
該２値画像を逆透視変換して２値化された苗列領域の仮想地平面画像を取得するステップと、
該仮想地平面画像において該苗列領域を直線で近似するステップと、
を有する苗列の検出方法。
【請求項９】
移植機に設けた撮像手段によって撮像された既植の苗列の画像情報を入力する画像入力手段と、
該画像情報から苗列領域が抽出された２値画像を取得する苗列領域抽出手段と、
該２値画像を逆透視変換して２値化された苗列領域の仮想地平面画像を取得する逆透視変換手段と、
該仮想地平面画像において該苗列領域を直線で近似する直線抽出手段と、
を有する苗列の検出装置。
【請求項１０】
走行車両に設けた撮像手段によって走行車両の走行方向に延出するターゲットを撮像してターゲットの画像情報を取得するステップと、
該画像情報からターゲット領域が抽出された２値画像を取得するステップと、
該２値画像を逆透視変換してターゲット領域の仮想地平面画像を取得するステップと、
該仮想地平面画像においてターゲット領域を直線で近似するステップと、
該直線に対する走行車両の位置情報に基づいて操向制御を行うステップと、
を有する走行車両の操向制御方法。
【請求項１１】
走行車両に設けた撮像手段によって撮像された走行車両の走行方向に延出するターゲットの画像情報を入力する画像入力手段と、
該画像情報からターゲット領域が抽出された２値画像を取得する２値画像取得手段と、
該２値画像を逆透視変換してターゲット領域の仮想地平面画像を取得する手段と、
該仮想地平面画像においてターゲット領域を直線で近似する手段と、
該直線に対する走行車両の位置情報に基づいて操向制御を行う手段と、
を有する走行車両の操向制御装置。
【請求項１２】
走行車両に設けた撮像手段によって走行車両の走行方向に延出するターゲットを撮像してターゲットの画像情報を取得するステップと、
該画像情報からターゲット領域が抽出された２値画像を取得するステップと、
該２値画像を逆透視変換して２値化されたターゲット領域の仮想地平面画像を取得するステップと、
該仮想地平面画像において該ターゲット領域を直線で近似するステップと、
を有するターゲットの検出方法。
【請求項１３】
走行車両に設けた撮像手段によって撮像された走行車両の走行方向に延出するターゲットの画像情報を入力する画像入力手段と、
該画像情報からターゲット領域が抽出された２値画像を取得するターゲット領域抽出手段と、
該２値画像を逆透視変換して２値化されたターゲット領域の仮想地平面画像を取得する逆透視変換手段と、
該仮想地平面画像において該ターゲット領域を直線で近似する直線抽出手段と、
を有するターゲットの検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２００６−１０１８１６（Ｐ２００６−１０１８１６Ａ）
【公開日】平成１８年４月２０日（２００６．４．２０）
【国際特許分類】
【出願番号】特願２００４−２９５５６３（Ｐ２００４−２９５５６３）
【出願日】平成１６年１０月８日（２００４．１０．８）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成１６年９月１０日 東京農工大学 笹尾彰発行の「第６３回 農業機械学会年次大会 講演要旨」に発表
【出願人】（５０４１３７９１２）国立大学法人 東京大学 (1,942)
【Ｆターム（参考）】
【公開日】平成１８年４月２０日（２００６．４．２０）
【国際特許分類】
【出願日】平成１６年１０月８日（２００４．１０．８）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成１６年９月１０日 東京農工大学 笹尾彰発行の「第６３回 農業機械学会年次大会 講演要旨」に発表
【出願人】（５０４１３７９１２）国立大学法人 東京大学 (1,942)
【Ｆターム（参考）】
[ Back to top ]