作業車両の自動走行制御装置
【課題】自動走行による作業に必要な目標の数量を低減出来、その目標の設置の手間も低減出来る作業車両の自動走行制御装置を提供すること。
【解決手段】トラクタ1に設けられたカメラ部8と、カメラ部8により撮像される予め設置された遠目標200の画像情報に基づいて、直進走行を行う遠目標制御処理と、カメラ部8により撮像される作業の痕跡の画像情報に基づいて、倣い走行を行う倣い走行制御処理とを有する、トラクタ1の走行制御を行うカメラ制御部21及び車両制御部23とを備え、カメラ制御部21及び車両制御部23は、遠目標制御処理により直進走行を行わせた後、遠目標制御処理が解除され、トラクタ1が旋回された後、倣い走行制御処理により倣い走行を行わせる、トラクタ1の自動走行制御装置である。
【解決手段】トラクタ1に設けられたカメラ部8と、カメラ部8により撮像される予め設置された遠目標200の画像情報に基づいて、直進走行を行う遠目標制御処理と、カメラ部8により撮像される作業の痕跡の画像情報に基づいて、倣い走行を行う倣い走行制御処理とを有する、トラクタ1の走行制御を行うカメラ制御部21及び車両制御部23とを備え、カメラ制御部21及び車両制御部23は、遠目標制御処理により直進走行を行わせた後、遠目標制御処理が解除され、トラクタ1が旋回された後、倣い走行制御処理により倣い走行を行わせる、トラクタ1の自動走行制御装置である。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、トラクタ等の農用の作業車両や、土木・建築分野における作業車両等の自動走行制御装置に関するものである。
【背景技術】
【0002】
近年、農業人口が減少する傾向にあり、また熟練農業者が減少し、その雇用も難しい状況にあるため、圃場Hにおける播種や畝立てなどの作業行程において、移動車両の1つである農用車両を自動的に直進走行させる技術への要求が高まってきている。
【0003】
そこで、従来、以下に示す農用車両の直進制御法が開発されている(例えば、特許文献1参照)。
【0004】
図45は、田植え用の作業車両Vが自動走行する走行工程、及び目標物としての発光装置101の設置位置を示す概略平面図であり、図46は、田植え用の作業車両Vと発光装置の関係を示す概略側面図である。
【0005】
図46に示すように、作業車両Vは、左右一対の前輪103及び後輪104を備えた車体105の後部に、苗植付装置106が、昇降自在で且つ駆動停止自在に設けられている。また、地上側に設置された発光装置101の光源102を撮像する撮像装置Sが、その光軸を車体105の前後方向に沿わせ且つ車体105の前方側を撮像する状態で作業車両Vの車体105の前部側上部で幅方向の中央位置に設置されている。
【0006】
また、図46に示す様に、発光装置101は、電球からなる光源102と、光源102の外周位置に設けられ、その光源102から発光される光を所定偏光角方向(例えば、垂直方向)に偏光させる円筒状の偏光フィルタ107とを備えている。
【0007】
以上の構成のもとで、図45に示す様に、田植え用の作業車両Vが圃場内に設定された互いに平行に並ぶ直線状の各走行行程に沿って自動走行するように誘導するために、その誘導の際の目標となる発光体としての光源102を有する発光装置101が、各走行行程の終端側に設置されている。尚、各走行行程の長さ方向に平行で且つ光源102の中心を通る直線が走行基準線Jとして設定されている。
【0008】
また、図45に示す様に、田植え用の作業車両Vは、所定範囲の圃場Hにおける植え付け作業を連続して自動的に行えるように、各走行行程の端部において180度方向転換しながら各走行行程を往復走行するので、発光装置101は隣接する走行行程では反対側の端部にそれぞれ設置されている。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開平7−170809号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかし、この様な従来の作業車両の自動走行の構成では、圃場内を往復走行する際に、各走行工程の端にそれぞれ、目標としての発光装置101を配置する必要がある。そのため、発光装置101を多数個用意し無ければならず、コスト的に負担が大きいという問題があった。また、作業を開始するにあたって、多数の発光装置101を圃場Hの対面側にそれぞれ配置しなければならず、圃場Hが広ければかなりの手間がかかるという問題もあった。
【0011】
本発明は、以上従来の作業車両のこの様な課題に鑑み、自動走行による作業に必要な目標の数量を低減出来、しかもその目標の設置の手間も低減出来る、作業車両の自動走行制御装置を提供することを目的とする。
【課題を解決するための手段】
【0012】
上記課題を解決するために、第1の本発明は、
作業車両に設けられた撮像ユニットと、
前記撮像ユニットにより撮像される予め設置された目標の画像情報に基づいて、直進走行を行う第1の走行モードと、前記撮像ユニットにより撮像される作業の痕跡の画像情報に基づいて、倣い走行を行う第2の走行モードとを有する、前記作業車両の走行制御を行う走行制御ユニットとを備え、
前記走行制御ユニットは、前記第1の走行モードにより直進走行を行わせた後、前記第1の走行モードが解除され、前記作業車両が旋回された後、前記第2の走行モードにより倣い走行を行わせる、作業車両の自動走行制御装置である。
【0013】
また、第2の本発明は、
前記撮像ユニットは、カメラと、前記カメラを移動させるカメラ移動機構とを備える、上記第1の本発明の作業車両の自動走行制御装置である。
【発明の効果】
【0014】
上記本発明の構成によれば、例えば、所定の作業の最初の工程は、作業車両の前方に予め設置された目標の画像情報に基づく直進走行(第1の走行モード)を行わせ、次の工程は、前の工程において形成された作業の痕跡の画像を撮像ユニットから取得して、その画像情報に基づき行われる倣い走行(第2の走行モード)に切り替わる。
【0015】
これにより、予め用意する目標は、従来の場合は複数個用意していたが、本願発明の場合は1個あればよく、また、その設置の手間が従来に比べて低減出来るという効果を発揮する。
【図面の簡単な説明】
【0016】
【図1】本発明の実施の形態1における乗用型トラクタ1の外観を示す側面図
【図2】(a):本実施の形態における自動走行制御装置の要部の概略構成、及び遠目標との関係を示すための模式図、(b):同装置の要部の構成を示すブロック図
【図3】(a):本実施の形態における遠目標の正面図、(b):本実施の形態における遠目標の側面図、(c):遠目標を構成する表示ユニットのブロック図
【図4】本実施の形態における車両制御部に含まれるマイクロコンピュータを中心とした各種制御信号の流れを示す概略ブロック図
【図5】本実施の形態におけるステアリング機構の概略側面図
【図6】(a):本実施の形態におけるステアリングハンドルの自動操舵用駆動装置の概略構成図、(b):図6(a)中の矢印A方向から見た概略矢視構成図
【図7】本実施の形態のトラクタの自動走行制御装置を用いた、自動走行制御システムを説明するための模式図
【図8】本実施の形態における自動走行制御システムの動作を説明するためのフローチャート
【図9】本実施の形態におけるカメラ制御部が実行する遠目標検出処理を示すフローチャート
【図10】本実施の形態におけるカメラ制御部が実行する遠目標検出処理を示すフローチャート
【図11】本実施の形態における前フレームの画像の一例を示す図
【図12】本実施の形態における現フレームの画像の一例を示す図
【図13】(a)−(c):本実施の形態における、現フレームと前フレームとの遠方目標候補の抽出処理、現フレームと前々フレームとの遠方目標候補の抽出処理及び、統合処理を説明するための概念図
【図14】本実施の形態における、抽出した遠目標の画像の状態を示す説明図
【図15】本実施の形態における、車体マーカーが撮像された画像の一例を示す図
【図16】本実施の形態の、遠距離における遠目標の画像の状態を説明する図
【図17】本実施の形態の、遠距離における遠目標を構成する発光部の拡大画像の一例を示す図
【図18】本実施の形態における車体マーカーの一例を示す概略図
【図19】本実施の形態における自動走行制御の実験結果の一例として形成された畝の位置と遠目標の位置を示す図
【図20】本発明の実施の形態2における自動走行制御システムの動作を説明するためのフローチャート
【図21】実施の形態2の変形例の自動走行制御システムの動作を説明するためのフローチャート
【図22】本発明の実施の形態3における自動走行制御システムの動作を説明するためのフローチャート
【図23】本発明の実施の形態4における、トラクタの自動走行制御装置を用いた自動走行制御システムを説明するための模式図
【図24】本実施の形態4における、車両制御部に含まれるマイクロコンピュータを中心とした各種制御信号の流れを示す概略ブロック図
【図25】本実施の形態4における、トラクタの自動走行制御装置を用いた自動走行制御システムの動作を説明するためのフローチャート
【図26】本発明の実施の形態5における、車両制御部に含まれるマイクロコンピュータを中心とした各種制御信号の流れを示す概略ブロック図
【図27】本実施の形態5における、トラクタの自動走行制御装置を用いた自動走行制御システムの動作を説明するためのフローチャート
【図28】本発明の実施の形態6における、トラクタの自動走行制御装置を用いた自動走行制御システムの動作を説明するためのフローチャート
【図29】本発明の実施の形態7における、車両制御部に含まれるマイクロコンピュータを中心とした各種制御信号の流れを示す概略ブロック図
【図30】本実施の形態7における、トラクタの自動走行制御装置を用いた自動走行制御システムの動作を説明するためのフローチャート
【図31】本発明の実施の形態8において、畦塗り作業を実施する場合の4つの遠目標の配置状況を示す模式図
【図32】本実施の形態8における、車両制御部に含まれるマイクロコンピュータを中心とした各種制御信号の流れを示す概略ブロック図
【図33】本実施の形態8における、トラクタの自動走行制御装置を用いた自動走行制御システムの動作を説明するためのフローチャート
【図34】本実施の形態8における、トラクタが畦塗り作業を開始した時点で撮像したカメラ画像を説明するための概略模式図
【図35】本発明の実施の形態9における、車両制御部に含まれるマイクロコンピュータを中心とした各種制御信号の流れを示す概略ブロック図
【図36】本実施の形態9における、トラクタの自動走行制御装置を用いた自動走行制御システムの動作を説明するためのフローチャート
【図37】本発明の実施の形態10における、自動走行制御装置の要部の構成を示すブロック図
【図38】本発明の実施の形態11における、車両制御部に含まれるマイクロコンピュータを中心とした各種制御信号の流れを示す概略ブロック図
【図39】本実施の形態11における、トラクタの自動走行制御装置を用いた自動走行制御システムの動作を説明するためのフローチャート
【図40】本発明の実施の形態12における、トラクタの自動走行制御装置を用いた自動走行制御システムを説明するための模式図
【図41】本発明の実施の形態12における、車両制御部に含まれるマイクロコンピュータを中心とした各種制御信号の流れを示す概略ブロック図
【図42】本実施の形態12における、トラクタの自動走行制御装置を用いた自動走行制御システムの動作を説明するためのフローチャート
【図43】本発明の他の実施の形態における自動走行制御システムの動作を説明するためのフローチャート
【図44】本実施の形態における遠目標の別の構成例を示す斜視図
【図45】従来の田植え用の作業車両が自動走行する走行工程、及び目標物としての発光装置の設置位置を示す概略平面図
【図46】従来の田植え用の作業車両と発光装置の関係を示す概略側面図
【発明を実施するための形態】
【0017】
(実施の形態1)
以下、図面を参照しながら、本発明の作業車両の自動走行制御装置の一実施の形態としての、乗用型トラクタの自動走行制御装置についてその構成と動作を説明する。
【0018】
本実施の形態では、まず、最初に(I)として、図1〜図8を用いて、乗用型トラクタの自動走行制御装置についてその構成と動作を説明する。
【0019】
次に、(II)として、図9〜19を用いて、遠目標制御処理を中心に画像処理の具体例を説明し、最後に、(III)として、倣い走行制御処理を具体的に説明する。
(I)以下、図1〜図8を用いて、乗用型トラクタの自動走行制御装置についてその構成と動作を説明する。
【0020】
図1は、本実施の形態の乗用型トラクタ1(以下、単にトラクタ1と呼ぶ)の外観を示す側面図である。
【0021】
また、図2(a)は、本実施の形態の自動走行制御装置の要部の概略構成、及び遠目標200との関係を示すための模式図であり、図2(b)は、同要部の構成を示すブロック図である。
【0022】
図1に示す様に、本実施の形態のトラクタ1は、トラクタ車体のボンネット2内にエンジン(図示省略)を搭載し、このエンジンの回転駆動力を変速装置(図示省略)に伝え、そこで減速された回転駆動力を前輪3と後輪4とに伝える構成としている。
【0023】
ステアリングハンドル5は、これの旋回操作によって、左右一対の前輪4を繰向操舵する構成としている。このステアリングハンドル5の前側に操作ボックス6を、後方には運転席7を配置している。尚、ステアリングハンドル5については、更に後述する。
【0024】
カメラ部8は、撮像方向がトラクタ1の進行方向に向くように、運転室9のフロントガラス10の取り付けフレームの上方に固定されたカメラ支持部材11により支持されており、且つ、トラクタ車体の左右幅方向に移動可能に取り付けられている。また、カメラ部8は、初期位置としてトラクタ車体の左右幅方向の中央位置にくる様に配置され、水平線が視野に入るように、浅い俯角で取り付けられている。
【0025】
また、カメラ支持部材11は、長尺の板状部材であり、その下面には、歯切りをしたラック(図示省略)が形成されている。一方、カメラ部8には、カメラ駆動モータが取り付けられており、そのカメラ駆動モータの回転軸には小口径の円形歯車が固定されており、カメラ支持部材11のラックと嵌合するように取り付けられている。
【0026】
また、カメラ支持部材11には、両端部と中央部にはカメラ部8の位置を検知できるカメラ位置センサ31(図4参照)がそれぞれ配置されている。
【0027】
尚、カメラ部8の左右幅方向の移動範囲は、一行程前にトラクタ1により形成された耕耘軌跡等の作業軌跡の画像がカメラ視野の中央で撮像されるように設定されている。即ち、具体的には、両端部に位置するカメラ位置センサ31は、カメラ部8が撮像する画像において、一行程前の作業軌跡の画像がカメラ視野の中央に来るように、作業者により、左右方向への位置調整ができる様にスライド可能に配置されている。この様な構成とした理由は、トラクタ1の作業内容によって、トラクタ1の車両幅方向を基準とした場合の作業軌跡の位置が異なることを考慮したものである。
【0028】
また、トラクタ1のボンネット2の先端中央には、図1及び図2に示すように、車体マーカー2aが取り付けられている。本実施の形態では、車体マーカー2aは、略三角錐形状を呈している。
【0029】
図1の構成例では、同トラクタ1の後側には、耕耘作業機Rが着脱可能に取り付けられている。耕耘作業機Rは、同トラクタ1に対して、トップリンク12やロアリンク13等の三点リンク機構を介して連結されている。尚、これらの連結を外せば、耕耘作業機Rに代えて、畦塗り機、畝立て機、あるいはロータリ作業機などを連結することが可能である。
【0030】
次に、本実施の形態のトラクタ1に搭載された自動走行制御装置20を用いた自動走行制御システムは、図2(a)に示す様に、自動走行制御装置20(図2(b)参照)と、遠目標200(図3(a)〜図3(c)参照)とから概略構成されている。
【0031】
自動走行制御装置20は、カメラ部8と、カメラ制御部21と、記憶部22と、車両制御部23と、走行制御機構24と、表示・操作部25とから概略構成されている。
【0032】
カメラ部8は、例えば、撮像素子、光学系等を有し、遠目標200や、一行程前の作業軌跡を撮影し、撮影した画像に対応したアナログの画像信号を1フレームごとに出力する。撮像素子は、例えば、CCD、CMOS等からなり、マトリックス状に所定間隔をあけて配置されている。
【0033】
カメラ制御部21は、カメラ部8の撮像に関する制御、及びカメラ部8により取得された画像データの画像処理などを行う手段である。記憶部22は画像処理に関するデータや、画像処理に必要なプログラムなどを記憶する手段である。
【0034】
車両制御部23は、トラクタ1の自動走行に関する制御を行う手段である。走行制御機構24は、自動走行時にステアリングハンドル5を自動回転させるためのモータ駆動ユニット24aと、操舵装置124と、ステアリング切れ角センサ24dとから概略構成されている。また、操舵装置124は、モータ24bと、モータ24bの回転駆動力をステアリングハンドル5側に伝達するために、電源が入って動作する電磁クラッチ24cとから概略構成されている。
【0035】
表示・操作部25は、運転席7に座った操作者が、トラクタ1の動作状態を確認したり、動作モードなどを設定・切り替えるための手段である。
【0036】
また、遠目標200は、図3(a)、図3(b)に示す様に、基板上にLEDを配置した光源を有する表示ユニット210と、表示ユニット210の背面に配置された長方形の背景板220と、表示ユニット210を地面に配置するための三脚230とから概略構成されている。
【0037】
表示ユニット210、背景板220、及び三脚230は分割可能であり、コンパクトにまとめて持ち運びが容易に出来、また、組み立て設置も簡単に行うことが出来る構成である。更に、圃場Hの条件に合わせて、三脚230による高さ調整や、背景板220を取り付けるか否かを自由に設定出来る。
【0038】
表示ユニット210は、図3(c)に示す様に、所定の周期で点滅を繰り返すLED基板を含む発光部201と、発光部201の点滅を制御する制御回路部202と、発光部201の点滅を開始させるための、点灯スイッチ203aと電池パック203bとを含む電源部203から概略構成されている。
【0039】
ここで、図3(a)は、遠目標200の正面図であり、図3(b)は、遠目標200の側面図であり、図3(c)は、表示ユニット210のブロック図である。
【0040】
本実施の形態に係るトラクタ1の自動走行制御システムでは、検出可能な遠目標200の距離は、国内の圃場の大きさを考慮して、100m以上の距離を目安とし、一方、近傍側は5m程度まで検出可能であれば実用的に十分と考えられる。
【0041】
尚、遠目標200の別の構成例については更に後述する。
【0042】
次に、図4は、車両制御部23に含まれるマイクロコンピュータ23aを中心とした各種制御信号の流れを示す概略ブロック図である。
【0043】
図4に示す様に、自動スイッチ30は、表示・操作部25(図2(a)参照)に設けられており、操作者が、運転モードを手動モードから自動モードに切り替えるためのスイッチである。モータ回転出力部32a及び、モータ回転方向切り替え出力部32bは、ステアリングハンドル5を回転させるためのモータ駆動ユニット24aへの信号を出力する手段である。
【0044】
また、電磁クラッチ出力部33は、電磁クラッチ24cをON(作動)するために電磁コイルに対して通電を行う手段である。尚、電磁クラッチ24cについては、更に後述する。
【0045】
また、自動モニタ34は、トラクタ1を自動モードで運転中において、表示・操作部25上に、その運転モードを表示するモニタ手段である。また、受信モニタ35は、表示・操作部25上に、カメラ部8からの受信信号が、自動モードにおいて、正常に自動走行制御を司る状態であることを知らせるモニタ手段である。ブザー36は、自動モードで運転中において、遠目標200が所定距離以内に近づいた場合、操作者に注意を喚起するために、警報音を鳴らすための手段である。カメラ駆動モータ出力部37は、カメラ部8(図2(b)参照)の位置を移動させるための制御信号をカメラ制御部21に出力するための手段である。
【0046】
ここで、図5、図6(a)、(b)を用いて、ステアリングハンドル5及び、電磁クラッチ24cについて、更に説明する。図5は、ステアリング機構の概略側面図である。
【0047】
図5に示す様に、ステアリングハンドル5のシャフト61の軸心周りに、シャフト61に固定された円盤状の従動スプロケット62が設けられている。一方、従動スプロケット62より小径の円盤状の駆動スプロケット66は、正逆転モータ63からの駆動力が、第1ギヤ64a、第2ギヤ64b、中間軸65、及び電磁クラッチ24cを介して、伝達されたり、又は伝達を解除されたりできる様に配置されている。具体的には、電磁クラッチ24cがON(作動)した時、即ち、電磁クラッチ24cは、電磁コイル71(図6(a)参照)に通電されると正逆転モータ63からの駆動力を駆動スプロケット66に伝達するための伝達経路を形成し、また、電磁クラッチ24cがOFFした時、即ち、電磁コイル71が非通電になると上記駆動力の伝達経路を解除する様に構成されている。駆動スプロケット66と従動スプロケット62の間にはタイミングベルト67が掛けられている。
【0048】
上記構成により、電磁クラッチ24cがONしている時は、正逆転モータ63の駆動力が駆動スプロケット66に伝達されて、その駆動力がタイミングベルト67を介して従動スプロケット62に伝達されて、ステアリングハンドル5のシャフト61が回動する。
【0049】
また、電磁クラッチ24cがOFFしている時は、正逆転モータ63が駆動中であったとしても、その駆動力の伝達経路が解除されているので、その駆動力が駆動スプロケット66に伝達されることは無い。即ち、作業者によるステアリングハンドル5の操作にそのまま起因して、ステアリングハンドル5のシャフト61が回動する。
【0050】
次に、上記の電磁クラッチ24cを中心とした本実施の形態に用いる自動操舵用駆動装置の構成と動作について、図6(a)、図6(b)を用いて更に具体的に説明する。
【0051】
図6(a)はステアリングハンドル5の自動操舵用駆動装置の概略構成図であり、図6(b)は図6(a)中の矢印A方向からの概略矢視構成図である。
【0052】
図6(a)に示す様に、ステアリングハンドル5のシャフト61の軸心周りに該シャフト61と一体的に従動スプロケット62が設けられている。また、シャフト61を支持するステアリングポスト70に対して着脱自在に運転席側に張り出すようにカバー部材70aを構成し、該カバー部材70a内には、シャフト61の軸方向に平行する方向に中間軸65を配置している。
【0053】
中間軸65と一体である駆動スプロケット66と従動スプロケット62の間にはタイミングベルト67が掛けられているので、正逆転モータ63により駆動スプロケット66が駆動されると、その駆動力が従動スプロケット62を経由してステアリングハンドル5のシャフト61が回動する。
【0054】
駆動スプロケット66より下方には電磁コイル71を有する電磁クラッチ24cが取り付けられており、該電磁クラッチ24cの近傍に正逆転モータ63及び該正逆転モータ63のモータ連動軸63aと一体の第1ギア64aが配置されている。
【0055】
図6(b)に示す様に、中間軸65に遊嵌状態にアーマチュア72とロータリング73が取り付けられ、ロータリング73側には第2ギア64bが一体的に形成され、第1ギア64aと第2ギア64bが常時噛合している。アーマチュア72は、駆動スプロケット66と縦方向ボルト等の伝達部材を介して一体的に設けられている。
【0056】
上記構成のもとで、電磁クラッチ24cがON(作動)のとき、即ち、電磁コイル71に通電すると、ロータリング73にアーマチュア72が吸引され付着する。また、正逆転モータ63の駆動で、その連動軸63aに連動した第1ギア64aが駆動し、第1ギア64aに噛合する第2ギア64bが駆動し、第2ギア64bの駆動に伴い回転するロータリング73の駆動で、上記吸着状態のアーマチュア72が駆動し、アーマチュア72と一体の駆動スプロケット66が回転する。尚、駆動スプロケット66は、アーマチュア72、ロータリング73を遊嵌支持する中間軸65に固着されている。
【0057】
一方、電磁クラッチ24cがOFF(非作動)のときは、電磁コイル71が非通電となるため、ロータリング73がアーマチュア72から離れる。これにより、正逆転モータ63が駆動中であっても、第1ギア64aから第2ギア64bを経由してロータリング73までが回転駆動力が伝達されるだけである。
【0058】
尚、カバー部材70aは、ステアリングポスト70に対して適宜の手段で着脱自在に取り付けられる側面視逆L型のモータ取り付けベースプレート74を介して着脱自在に固着されている。
【0059】
また、電磁クラッチ24cの下面を受けるためのベースプレート75を支持すべくステアリングポスト70側から延出されたベースプレートブラケット76がステアリングポスト70に取り付けられている。
【0060】
また、正逆転モータ63のフランジ56には水平方向に配置される正逆転モータ63の本体軸(図示省略)から第1ギヤ64aに変換するベベルギヤ群を収容するギア伝動部51a、51bが設けられている。
【0061】
また、上記電磁クラッチ24cのON・OFFの動作は、作業者が自動スイッチ30をON・OFFすることにより切り替えられる。この点については、図8において更に後述する。
【0062】
本実施の形態では、中間軸65と正逆転モータ63との間の動力の伝達又は非伝達用の電磁クラッチ24cと駆動スプロケット66とタイミングベルト67を、既存のステアリングハンドル部に外付け可能な構造であるため、汎用性の高い自動操舵装置を実現出来る。
【0063】
尚、本実施の形態のカメラ部8とカメラ支持部材11とは、本発明の撮像ユニットに対応し、本実施の形態のカメラ制御部21と車両制御部23とは、本発明の走行制御ユニットに対応する。また、カメラ部8に設けられたカメラ駆動モータとカメラ支持部材11とは、本発明のカメラ移動機構に対応する。また、本実施の形態の遠目標制御処理は、本発明の第1の走行モードでの制御に対応し、本実施の形態の倣い走行制御処理は、本発明の第2の走行モードでの制御に対応する。
【0064】
以上の構成のもとで、図7、図8を用いて、本実施の形態のトラクタ1の自動走行制御装置を用いたシステムの動作を説明する。尚、ここでのトラクタ1の作業は、耕耘作業であるとする。
【0065】
図7は、本実施の形態のトラクタ1の自動走行制御装置を用いた、自動走行制御システムを説明するための模式図であり、図8は、その動作を説明するためのフローチャートである。尚、図7は模式図であるため、カメラ部8及びカメラ支持部材11が、トラクタ1のボンネット2より前方に配置されているかの様に描かれているが、本実施の形態では、カメラ部8及びカメラ支持部材11は、図1で説明した通り、フロントガラス10の取り付けフレームの上方に固定されている。
【0066】
まず、作業者は、図7に示すように、カメラ部8は初期位置が、トラクタ1の車両中心線MC1(図7では、二点鎖線で表した)上に設定されているので、トラクタ1を誘導するべき軌跡(以下「誘導軌跡」という。)GL1の延長線上(図7では、破線で表した)に、発光部201の中心線がくるように、発光部201をトラクタ1に対向させて遠目標200を載置する。図7の例では、車両中心線MC1と誘導軌跡GL1とは重なる。
【0067】
また、作業者は、カメラ部8が撮像する画像において、一行程前の耕耘作業軌跡KLの画像がカメラ視野の中央に来るようにするために、両端部に位置するカメラ位置センサ31を、位置調整する。この位置は、作業の種類に応じて、カメラ支持部材11に予め印が付されているので、その印を利用して、各カメラ位置センサ31をスライドさせることにより簡単に実施できる。
【0068】
尚、カメラ部8がトラクタ1の車両中心線MC1から左又は右にオフセットして搭載されている場合には、作業者は、カメラ部8の搭載位置に起因するオフセット量と同じ量だけ、発光部201の中心線を誘導軌跡GL1に対してオフセットした位置において、発光部201をトラクタ1に対向させて遠目標200を載置する。
【0069】
次に、作業者は、遠目標200を構成する電源部203の点灯スイッチ203aをONして、発光部201の点滅動作を開始させる。今の場合、カメラ部8の撮像周期が約0.1秒であるとして、発光部201を構成するすべてのLEDを、一斉に、約0.2秒間の点灯と約0.2秒間の消灯とを繰り返すように制御回路部202を設定する。これにより、制御回路部202により制御され、発光部201を構成するすべてのLEDは、一斉に、約0.2秒間の点灯と約0.2秒間の消灯とを繰り返す。
【0070】
次に、作業者は、トラクタ1を運転して圃場Hに乗り入れ、図7に示すように、誘導軌跡GL1上に、前進方向が遠目標200に対向するように位置づけた後、表示・操作部25に設けられている自動スイッチ30をONして、自動走行制御装置20を起動する。これにより、カメラ部8が撮像周期約0.1秒で遠目標200の撮影を開始するとともに、カメラ制御部21は、各部を初期化した後、遠目標検出処理を開始する。
【0071】
次に、自動スイッチ30をONした時点からの動作を、図8を用いて更に説明する。
【0072】
ステップS801は、自動スイッチ30がONされた旨の信号を読み込むステップであり、ステップS802へ進む。
【0073】
ステップS802は、自動スイッチ30がONされたか否かを判断し、ONされたと判断すれば、ステップS803へ進む。
【0074】
ステップS803では、マイクロコンピュータ23aから所定の出力回路を介して、電磁クラッチ出力部33からの出力により、電磁クラッチ24cがON(作動)する。
【0075】
ステップS804では、遠目標200の画像を目標とした自動直進走行を実施するために、作業開始の一行程において、遠目標制御処理を行う。ステップS804の遠目標制御処理は、作業者が自動スイッチ30をOFFするまでは、継続する(ステップS805、S806参照)。
【0076】
尚、遠目標制御処理については、遠目標検出処理として更に図9、図10等を用いて後述する。
【0077】
作業者は、トラクタ1が自動直進走行により、圃場Hの一方の端H1の手前まで来ると、トラクタ1を左回りに旋回させるために、一旦、自動スイッチ30をOFFすることにより、自動走行モードから手動走行モードに切り替える。
【0078】
ステップS806で、自動スイッチ30からOFF信号が入力されたと判断すると、ステップS807へ進み、電磁クラッチ24cがOFFされて、ステアリングハンドル5は、作業者によるハンドルの手動操作を受け付ける。これにより、トラクタ1は手動走行モードによって、左回りに180度旋回する。
【0079】
ステップS808では、ステアリング切れ角センサ24dが、作業者によるステアリングハンドル5の回転角度を検知し、ステップS809では、その検知データを利用して、トラクタ1の旋回方向を判定する。ここでは、旋回方向は、左回転であると判定されて、ステップS810へ進む。
【0080】
ステップS810では、旋回方向の判定結果が左回転であれば、カメラ部8をカメラ支持部材11の左端に移動させるための指令を、また、判定結果が右回転であれば、カメラ部8をカメラ支持部材11の右端に移動させるための指令を、モータ回転方向切り替え出力部32bからカメラ部8へ出力する。
【0081】
更に、ステップS811では、モータ回転出力部32aからカメラ部8に対して回転指令を出力し、次に、ステップS813では、カメラ位置センサ31からの出力信号(ステップS812参照)を利用して、予め位置調整をした設定位置までカメラ部8が移動したか否かを判定し、未だ、設定位置に達していないと判定すれば、ステップS811に戻って、カメラ部8への回転指令を継続し、設定位置に達したと判定すれば、ステップS814へ進み、カメラ部8の移動が完了する。
【0082】
次に、ステップS815では、カメラ部8の移動が完了した後に、作業者による自動スイッチ30からの入力信号を読み込み、ステップS816では、その信号がONか否かを判定して、ONであれば、ステップS817へ進み、電磁クラッチ24cをON(作動)させて、ステップS818へ進む。
【0083】
ステップS818では、一行程前の耕耘作業軌跡KLの画像がカメラ視野の中央に来るように倣い走行制御処理を実行する。
【0084】
尚、その後の行程における、処理については、実施の形態2で説明する。
【0085】
この様に、本実施の形態では、作業開始の最初の一行程では、遠目標を画像認識することにより、自動直進走行を実行するために遠目標制御処理を実施し、その後、作業者が自動走行モードから手動走行モードに切り替えて、トラクタ1を180度旋回させて、次の工程を開始するために、再び、手動走行モードから自動走行モードに切り替えた場合は、遠目標制御処理ではなく、倣い走行制御処理を行うものである。
【0086】
これにより、自動走行による作業に必要な遠目標の数量を低減出来、しかもその遠目標の設置にかかる手間も低減出来るという効果を発揮する。
【0087】
更に、本実施の形態では、遠目標制御処理により、一行程が終了した後、倣い走行制御処理に切り替える前に、カメラ部8の位置を移動させておく構成としたことにより、カメラ部8の位置を自動で適切な位置に設定することが出来、従来の遠目標制御処理のみによる場合と、同等の画像による位置検出性能が得られる。
(II)次に、本実施の形態に係るトラクタ1の自動走行制御システムにおいて実行する画像処理について、図8のステップS804で述べた遠目標制御処理を中心に要部の構成、及び動作について更に具体的に説明する。
【0088】
上述したカメラ制御部(画像処理部)21は、中央処理装置(CPU)、デジタルシグナルプロセッサ(DSP)、シーケンサ等を有している。カメラ制御部21は、記憶部22に記憶されている遠目標検出プログラムや、一行程前の作業軌跡を検出するためのプログラム等に基づいて、遠目標検出処理や、倣い走行制御に必要な画像処理を実行することにより、カメラ部8から出力されるアナログの画像信号をデジタルの画像データにアナログ/デジタル変換処理した後、処理・演算して、得られた画像データにおける遠目標200の位置又は、一行程前の作業軌跡を検出し、遠目標200の位置情報又は、一行程前の作業軌跡の位置情報を車両制御部23に供給する。
【0089】
尚、カメラ部8は、ステレオカメラなどの複数の撮像素子を有し、それら複数の撮像素子の内の1つの撮像素子から得られる画像を処理対象とする場合も同様に本発明の一実施の形態である。
【0090】
カメラ部8から得られる画像のうち、遠目標200の検出処理が可能な範囲は、例えば、横512画素、縦400画素である。一行程前の作業軌跡を検出処理可能な範囲もこれと同様、例えば、横512画素、縦400画素である。また、カメラ部8の視野角は、例えば、横約26°程度、縦約20°程度である。
【0091】
例えば、カメラ制御部21がCPUを有している場合、記憶部22から遠目標検出プログラムが読み出されると、カメラ制御部21に読み込まれ、カメラ制御部21の動作を制御する。カメラ制御部21は、遠目標検出プログラムが起動されると、遠目標検出プログラムの制御により、上記した遠目標検出処理を実行するのである。
【0092】
記憶部22は、RAMやROM、あるいはフラッシュメモリ等の半導体メモリからなる。記憶部22には、カメラ制御部21が実行する遠目標検出プログラムや、一行程前の作業軌跡を検出するためのプログラム等、画像処理に必要なその他のプログラム、及び、カメラ制御部21から供給されるフレームごとの画像データ等が記憶される。また、記憶部22は、カメラ制御部21が遠目標検出プログラム等の画像処理に必要なプログラムを実行する際に作業用として使用される。なお、記憶部22に記憶される各種プログラムや一部のデータについては、カメラ制御部21を構成するCPU等の内部に設けられたメモリに記憶されるよう構成しても良い。
【0093】
車両制御部23は、CPU、DSP、シーケンサ等を有している。車両制御部23は、カメラ制御部21から供給される、例えば、遠目標200の位置情報に基づいて、走行制御機構24を制御して、トラクタ1を遠目標200に向けて走行制御する。なお、走行制御機構24については、公知の機構を利用しても良い。表示・操作部25は、例えば、液晶パネル、各種スイッチ、各種ボタンなどから構成され、作業者が自動走行制御装置20を起動したり、各種設定をしたりする際に用いられる。
【0094】
以上説明した自動走行制御装置20が搭載されたトラクタ1は、図1及び図2に示す圃場H内において耕耘や播種や畝立てなどの作業行程を行うものである。
【0095】
一方、上述した通り、遠目標200は、図2(a)、図7に示すように、圃場H近傍の地面上に、正面を圃場H側に向けて載置されている。具体的には、圃場Hが図7に示す矩形状を呈しており、圃場Hを構成する矩形領域の一方の辺H2側からトラクタ1が作業行程を行う場合、例えば、遠目標200は、圃場Hを構成する矩形領域の一方の端H1に接するとともに、トラクタ1が最初の作業行程を行う際の車両中心線MC1の延長線上に載置される。
【0096】
制御回路部202は、発光部201を構成するすべてのLEDを所定の周期で点滅制御する。
【0097】
尚、遠目標の発光部201には、LEDが、例えば、縦約30cm、横約10cmの範囲に、25行、8列、すなわち、200個配置されているものとする。
【0098】
この所定の周期は、カメラ部8の撮像周期と最大露光時間とを合計した時間以上であって、かつ、上記撮像周期の2倍の時間以下である範囲で予め設定した時間だけの点灯と、カメラ部8の撮像周期と最大露光時間とを合計した時間以上であって、かつ、上記撮像周期の2倍の時間以下である範囲で予め設定した時間だけの消灯とを繰り返す周期である。例えば、カメラ部8の撮像周期が約0.1秒である場合、発光部201を構成するすべてのLEDを、同時に、約0.2秒間の点灯と約0.2秒間の消灯とを繰り返すように制御回路部202を設定する。
【0099】
上記した所定の周期を定めた理由について説明する。
【0100】
本実施の形態では、コスト抑制の観点から、発光部201の点滅とカメラ部8の撮像の同期は行わず、遠目標200及び自動走行制御装置20は、それぞれ独立の動作タイミングで発光部201及びカメラ部8を制御する。上記したように、カメラ部8の撮像周期が約0.1秒である場合に、発光部201を、同時に、約0.1秒間の点灯と約0.1秒間の消灯とを繰り返すように制御回路部202が制御すると、例えば、カメラ部8の露光中に発光部201が点灯から消灯へ変化するとともに、次の0.1秒後のカメラ部8の露光中には発光部201が消灯から点灯へ変化する場合ある。このような場合には、カメラ部8から得られた画像中の発光部201に対応した部分の輝度は、どちらも中間的な明るさとなり、時間的な変化が生じない状況に陥るおそれがある。
【0101】
そこで、カメラ部8の露光中は、発光部201が連続して点灯している状態の画像か又は発光部201が連続して消灯している状態の画像のいずれかを確実に撮像できるようにするため、上記したように、発光部201を構成するすべてのLEDを、同時に、約0.2秒間の点灯と約0.2秒間の消灯とを繰り返すように制御回路部202を設定するのである。また、撮像周期の2倍より長くなると、発光部201の位置を検出できる時間間隔が無用に長くなり、システムの性能を低下させる不都合が生じる。
【0102】
次に、上述したカメラ制御部21により実行される遠目標検出処理を、図9及び図10に示すフローチャートを用いて説明する。
【0103】
ここで、発光部201を構成するすべてのLEDの点滅とカメラ部8の撮像の同期は行わず、遠目標200及び自動走行制御装置20は、それぞれ独立の動作タイミングで発光部201及びカメラ部8を制御している。
【0104】
まず、カメラ制御部21は、図9に示すステップS1の処理へ進み、カメラ部8から1フレーム分の画像信号が供給された否かを判断する。ステップS1の判断結果が「NO」の場合には、カメラ制御部21は、同判断を繰り返す。一方、カメラ部8は、圃場H近傍の地面上に正面を圃場H側に向けて載置されている遠目標200を撮像周期約0.1秒で撮影し、撮影した画像に対応した1フレーム分の画像信号をカメラ制御部21に順次供給する。
【0105】
これにより、ステップS1の判断結果が「YES」となり、カメラ制御部21は、ステップS2へ進む。ステップS2では、カメラ制御部21は、カメラ部8から供給された1フレーム分のアナログの画像信号をデジタルの画像データにアナログ/デジタル変換処理し、記憶部22に記憶した後、ステップS3へ進む。この場合、縦30cmの発光部201の画像上での大きさは、100m先で2画素弱となる。しかし、実際の画像では、カメラ部8を構成する光学系の収差などの影響により発光部201の像は膨張し、100m以上先の遠目標200を検出することが可能となる。
【0106】
ステップS3では、カメラ制御部21は、第1のウィンドウ位置の設定処理を行った後、ステップS4へ進む。以下、第1のウィンドウ位置の設定処理について説明する。まず、カメラ部8で撮影され、カメラ制御部21によりデジタル化された画像の一例を図11及び図12にそれぞれ示す。
【0107】
図11は、現在より1つ前の撮像周期の際(すなわち、約0.1秒前)に撮影されデジタル化された画像(以下「前フレームの画像」という)の一例である。図11では、略中央に遠目標200が存在し、この遠目標200を取り囲んで、検出処理を行う範囲であるウィンドウW-1が設定されている。ウィンドウW-1のサイズは、例えば、横約56画素、縦約40画素である。他の第1のウィンドウW0等のサイズも略同様である。
【0108】
これに対し、図12は、図11に示す画像の次の撮像周期の際(すなわち、約0.1秒後)に撮影されデジタル化された画像(以下「現フレームの画像」という)の一例である。
【0109】
トラクタ1は、前進走行する際に、圃場Hの表面状態等に応じて、その進行する向きや車体の傾きが変化するため、カメラ部8で撮像される画像も、前の撮像周期に撮影された画像と比べて、全体的に上下又は左右あるいはこれらの両方にずれていることが多い。図12に示す現フレームの画像における第1のウィンドウW0は、図11に示す前フレームの画像におけるウィンドウW-1と同一位置、すなわち、1フレームの画像において、基準点BPから同一の位置に設定したものである。しかし、トラクタ1が図11に示す画像を撮影した位置から移動したために、図11に示す前フレームの画像におけるウィンドウW-1内の遠目標200の相対位置と、図12に示す現フレームの画像における第1のウィンドウW0内の遠目標200の相対位置とは、異なっている。したがって、このような状態において、単純に図11に示す画像と図12に示す画像との差分を計算した場合、点滅する発光部201を正確に抽出することは困難となる。
【0110】
そこで、図12に示す現フレームの画像の中から、図11に示す前フレームの画像におけるウィンドウW-1に相当する画像部分を抽出する対応探索処理を行う。まず、図12に示す現フレームの画像において、図11に示す前フレームの画像におけるウィンドウW-1と同一の位置の周囲に、破線で示すような探索範囲SAを設定する。探索範囲SAは、例えば、撮像周期である約0.1秒間に想定されるトラクタ1の動きの速さと、カメラ制御部21の計算処理能力等が考慮されて決定され、例えば、上下、左右にそれぞれ10画素程度の範囲の探索を行う。
【0111】
この対応探索処理では、例えば、図12に示す現フレームの画像の探索範囲SA内において、前フレームの画像におけるウィンドウW-1との相関値が最大となる部分を求める手法などを用いる。この相関値としては、例えば、2フレーム分の画像の差の二乗和や絶対値和など、公知の手法により求められる値が適用可能である。カメラ制御部21は、以上説明した手法を用いて、図12に示す現フレームの画像の中から、図11に示す前フレームの画像におけるウィンドウW-1に相当する画像部分を抽出し、現フレームの画像における第1のウィンドウW0として設定し、その位置を記憶部22に記憶する。この処理を行うことにより、遠目標200を検出可能な視野範囲は、カメラ部8の画像全体に渡ってウィンドウを移動させて、広く確保することができるとともに、例えば、ウィンカーを点滅させた自動車などがカメラ部8の視野内の周辺部に入り込むような場合でも、その影響を受け難くすることができる。また、検出処理をウィンドウ内に限定することにより、処理時間の短縮にも大きく寄与することができる。
【0112】
ステップS4では、カメラ制御部21は、第2のウィンドウ位置の設定処理を行った後、ステップS5へ進む。以下、第2のウィンドウ位置の設定処理について説明する。まず、ステップS3と同様に、カメラ部8で撮影され、カメラ制御部21によりデジタル化された画像として、図示しない現在より2つ前の撮像周期の際(すなわち、約0.2秒前)に撮影されデジタル化された画像(以下「前々フレームの画像」という)がある。前々フレームの画像において、遠目標200を取り囲んで、検出処理を行う範囲であるウィンドウW-2が設定されている。ウィンドウW-2のサイズは、ウィンドウW-1のサイズと同様である。トラクタ1は、前々フレームと現フレームの撮像の約0.2秒間に前進走行し、進行する向きや車体の傾きが変化するため、カメラ部8で撮像される画像も、全体的に上下又は左右あるいはこれらの両方にずれていることが多い。
【0113】
そこで、図12に示す現フレームの画像の中から、前々フレームの画像におけるウィンドウW-2に相当する画像部分を抽出する対応探索処理を行う。まず、ステップS3と同様に、図12に示す現フレームの画像において、前々フレームの画像におけるウィンドウW-2と同一の位置の周囲に、破線で示すような探索範囲SAを設定する。探索範囲SAは、ステップS3と同様に、例えば、上下、左右にそれぞれ10画素程度の範囲の探索を行う。
【0114】
この対応探索処理では、例えば、図12に示す現フレームの画像の探索範囲SA内において、前々フレームの画像におけるウィンドウW-2との相関値が最大となる部分を求める手法などを用いる。この相関値としては、ステップS3と同様に、例えば、2フレーム分の画像の差の二乗和や絶対値和など、公知の手法により求められる値が適用可能である。カメラ制御部21は、以上説明した手法を用いて、図12に示す現フレームの画像の中から、前々フレームの画像におけるウィンドウW-2に相当する画像部分を抽出し、現フレームの画像における第2のウィンドウW02として設定し、その位置を記憶部22に記憶する。
【0115】
ステップS5では、カメラ制御部21は、第1の遠方目標部候補画素抽出処理を行った後、ステップS6へ進む。以下、第1の遠方目標部候補画素抽出処理について説明する。図13(a)の左及び中央に、現フレームの画像における第1のウィンドウW0及び前フレームの画像におけるウィンドウW-1のそれぞれの一例を示す。この第1の遠方目標部候補画素抽出処理では、現フレームの画像における第1のウィンドウW0と、前フレームの画像におけるウィンドウW-1とを比較し、式(1)及び式(2)に示す条件をいずれも満たす画素を第1の遠方目標部候補画素として二値化して抽出する。
【0116】
Tdf≦|P0(i,j)一P-1(i,j)| ・・・式(1)
Tbr≦P0(i,j)又はTbr≦P-1(i,j) ・・・式(2)
式(1)及び式(2)において、P0(i,j)は、現フレームの画像における第1のウィンドウW0内の各画素の輝度、P-1(i,j)は、前フレームの画像におけるウィンドウW-1内の各画素の輝度、Tdfは、輝度差に関する第1の閾値、Tbrは、輝度に関する第2の閾値である。例えば、画像が256階調でデジタル化されている場合では、Tdfは36程度、Tbrは160程度の値である。
【0117】
すなわち、この第1の遠方目標部候補画素抽出処理では、現フレームの画像と前フレームの画像との間において、輝度差が第1の閾値Tdf以上に大きく、かつ、いずれかの画像において第2の閾値Tbr以上に輝度が大きい画素について、遠目標200である可能性が高い候補画素、すなわち、第1の遠方目標部候補画素として、二値化して抽出するのである。
【0118】
ここで、図13(b)の左に、第1の遠方目標部候補画素の一例を示す。図13(b)の左の例は、現フレームの画像における第1のウィンドウW0及び前フレームの画像におけるウィンドウW-1では、いずれも発光部201が点灯状態であったため、発光部201の部分に輝度差がなく、第1の遠方目標部候補画素として抽出されなかったことを示している。
【0119】
一方、例えば、遠目標200の背景にある木々の枝葉が風によって揺れた場合や、ステップS3の対応探索処理において前フレームの画像におけるウィンドウW-1に相当する画像部分を抽出する際に、ウィンドウW-1の位置に誤差や残差が発生して位置ずれが生じた場合などには、第1の遠方目標部候補画素として誤抽出が発生する場合もある。図13(b)の左の例において、上部に示した白色部分は、上記した遠目標200以外のノイズ的に誤抽出された画素の例を示している。
【0120】
ステップS6では、カメラ制御部21は、第2の遠方目標部候補画素抽出処理を行った後、ステップS7へ進む。以下、第2の遠方目標部候補画素抽出処理について説明する。図13(a)の右に、前々フレームの画像におけるウィンドウW-2の一例を示す。この第2の遠方目標部候補画素抽出処理では、図示しない現フレームの画像における第2のウィンドウW02と、前々フレームの画像におけるウィンドウW-2とを比較し、式(3)及び式(4)に示す条件をいずれも満たす画素を第2の遠方目標部候補画素として二値化して抽出する。ここで、ウィンドウの位置は、遠目標200の検出処理の後に、発光部201の部分がウィンドウの中心になるように、ウィンドウの位置を再設定するので、ウィンドウW-1とウィンドウW-2は、概ね同じ位置となり、このため、現フレームの画像における第1のウィンドウW0と第2のウィンドウW02も、概ね同じ位置となる。
【0121】
Tdf≦|P0(i,j)一P-2(i,j)| ・・・式(3)
Tbr≦P0(i,j)又はTbr≦P-2(i,j) ・・・式(4)
式(3)及び式(4)において、P0(i,j)は、現フレームの画像における第2のウィンドウW02内の各画素の輝度、P-2(i,j)は、前々フレームの画像におけるウィンドウW-2内の各画素の輝度、Tdfは、輝度差に関する第1の閾値、Tbrは、輝度に関する第2の閾値である。
【0122】
この第2の遠方目標部候補画素抽出処理を行うのは以下に示す理由による。すなわち、本実施の形態では、発光部201の点灯時間及び消灯時間は、カメラ部8の撮像周期の約2倍に設定されている。したがって、現フレームの画像及び前フレームの画像は、いずれも点灯状態にある発光部201を撮影したものであったり、逆にいずれも消灯状態にある発光部201を撮影したものであったりする場合がある。このため、上記した現フレームの画像における第1のウィンドウW0及び前フレームの画像におけるウィンドウW-1との差分処理によって抽出された第1の遠方目標部候補画素では、目標とする遠目標200が抽出されない場合がある。そこで、この第2の遠方目標部候補画素抽出処理では、現フレームの画像における第2のウィンドウW02及び前々フレームの画像におけるウィンドウW-2に対して、上記した式(3)及び式(4)に示す条件を適用して差分処理を行うことにより、第2の遠方目標部候補画素を抽出するのである。
【0123】
すなわち、この第2の遠方目標部候補画素抽出処理では、現フレームの画像と前々フレームの画像との間において、輝度差が第1の閾値Tdf以上に大きく、かつ、いずれかの画像において第2の閾値Tbr以上に輝度が大きい画素について、遠目標200である可能性が高い候補画素、すなわち、第2の遠方目標部候補画素として、二値化して抽出するのである。
【0124】
ここで、図13(b)の右に、第2の遠方目標部候補画素の一例を示す。図13(b)の右の例は、現フレームの画像における第2のウィンドウW02では発光部201が点灯状態であるが、前々フレームの画像におけるウィンドウW-2では発光部201が消灯状態である。したがって、発光部201の部分に輝度差があり、第2の遠方目標部候補画素として抽出されたことを示している。なお、図13(b)の右の例において、上部に示した白色部分は、図13(b)の左の例と同様に、上記した遠目標200以外のノイズ的に誤抽出された画素の例を示している。
【0125】
ステップS7では、カメラ制御部21は、統合処理を行った後、ステップS8へ進む。以下、統合処理について説明する。この統合処理では、ステップS5の処理で得られた第1の遠方目標部候補画素と、ステップS6の処理で得られた第2の遠方目標部候補画素とについて、論理和条件に基づいて、統合化することにより、1個の画像データを生成する。ここで、図13(c)に、図13(b)の左に示す第1の遠方目標部候補画素の一例と、図13(b)の右に示す第2の遠方目標部候補画素の一例とを統合した結果の一例を示す。このように、遠方目標部候補画素を1つに統合することで、後述するステップS8以降の処理を簡素化することができる。
【0126】
ステップS8では、カメラ制御部21は、グループ化・評価処理を行った後、図10に示すステップS9へ進む。以下、グループ化・評価処理について説明する。ステップS7に示す統合処理で抽出された遠方目標部候補画素の画像データには、ノイズなどに起因する画素も含まれるので、それらの画素を除去する必要がある。抽出された遠方目標部候補画素の画像データを構成する各画素は二値化されており、これらの画素を互いに隣接する、例えば、ある画素が遠方目標部候補画素であれば、その画像上で、上下、左右の4方向に隣接する画素を調べ、それらを遠方目標部候補画素であれば、同じグループとしてグループ化して、画素グループを生成する。次に、各画素グループに対して、面積、アスペクト比、中心座標などを算出する。次に、面積が所定の閾値より小さい又はアスペクト比が所定の閾値より極端に大きい画素グループは、ノイズ等と見なして除去する。また、除去されずに残った画素グループの中であっても、不自然な突起などを含む場合は、当該突起などを除去して整形する。このように、個々の遠方目標部候補画素を画素グループにまとめることで、面積や縦横比などの新たな特徴量を抽出することが可能となり、さらに、これらの特徴量を評価して、ノイズ等との判別が可能となる効果がある。
【0127】
ステップS9では、カメラ制御部21は、時間的追跡処理を行った後、ステップS10へ進む。以下、時間的追跡処理について説明する。今回の現フレームの画像に関する処理以前に既にカメラ部8から供給され、上記したステップS1〜S8の処理が施されて抽出され、記憶部22に記憶されている画素グループを登録グループと呼ぶ。この時間的追跡処理では、現フレームの画像に関する上記ステップS1〜S8の処理により抽出された複数の画素グループと、上記記憶部に記憶され読み出された複数の登録グループとについて、それぞれの対応関係を求め、時間的な追跡処理を行う。
【0128】
この対応関係の探索では、まず、各画素グループの面積、縦横比、中心座標などのパラメータの類似度を評価し、類似度が所定の閾値以上であって、かつ、最大値をとる組み合わせを、対応する画素グループと判定する。次に、現フレームの画像に関する上記ステップS1〜S8の処理により抽出された複数の画素グループのパラメータにより、記憶部22に記憶されている登録グループのパラメータを更新する。また、現フレームの画像に関する上記ステップS1〜S8の処理により抽出された複数の画素グループのうち、登録グループとの対応関係が取れなかった画素グループは、新しい登録グループとして記憶部22に追加する。このように、時間的追跡処理を行うことにより、後述するステップ10でのパラメータ算出処理が可能となる。
【0129】
ステップS10では、カメラ制御部21は、パラメータ算出処理を行った後、ステップS11へ進む。以下、パラメータ算出処理について説明する。このパラメータ算出処理では、カメラ制御部21は、記憶部22に記憶されている各登録グループを構成する各画素について、現フレームの画像における輝度の平均値(以下「現輝度平均値」という。)と、前フレームの画像における輝度の平均値(以下「前輝度平均値」という。)とをそれぞれ計算した後、現輝度平均値から前輝度平均値を減算した値(以下「輝度差」という。)を記憶部22に記憶する。上記輝度差が正の値である場合には、発光部201は明るくなった、すなわち“点灯”であると認定できる一方、上記輝度差が負の値である場合には、発光部201は暗くなった、すなわち“消灯”であると認定できる。
【0130】
そして、上記輝度差の値を、例えば、過去5回から10回の点滅サイクル分、すなわち、例えば、発光部201の点滅サイクルが約0.4秒である場合、2秒〜4秒間分を記憶部22に記憶する。次に、カメラ制御部21は、記憶部22に記憶されている各フレームの画像ごとの上記輝度差の値から、“明るくなる”と“暗くなる”の時間間隔を解析し、周期的に点滅しているか否かについて認定するとともに、その点滅周期について算出する。
【0131】
次に、カメラ制御部21は、各登録グループについて、設定されたウィンドウW上における中心座標の値を、例えば、過去10回から20回分の処理について記憶部22に記憶するとともに、その間の中心座標のばらつき度合いとして、標準偏差(分散)の値を計算した後、記憶部22に記憶する。
【0132】
ステップS11では、カメラ制御部21は、遠方目標部判定処理を行った後、ステップS12へ進む。以下、遠方目標部判定処理について説明する。上記したステップS7に示す統合処理で抽出された遠方目標部候補画素の画像データには、図13(c)に示すように、遠目標200の画素の他にノイズ的な画素も含まれるため、抽出された登録グループの中には、ノイズ的な要因による登録グループも存在する。
【0133】
まず、遠目標200の背景にある木々の枝葉などが風に揺れること等によって発生する画像の時間的な明暗変化は、周期的となる場合がある。しかし、このような周期的な明暗変化を示す画素は、固定された遠目標200と比較して、検出される位置のばらつき度合いが大きくなる傾向があり、上記した中心座標の標準偏差の値が大きくなる傾向を示すので、上記標準偏差が所定の閾値を超える場合は、この指標によって登録グループから判別・除外される。
【0134】
次に、トラクタ1は、前進走行する際に、圃場Hの表面状態等に応じて、その進行する向きや車体の傾きが変化するため、カメラ部8で撮像される画像も、前の撮像周期に撮影された画像と比べて、全体的に上下又は左右あるいはこれらの両方にずれていることが多い。したがって、上記したように、ステップS3及び4において、第1及び第2のウィンドウ位置設定処理を行うが、この際のウィンドウ設定位置の誤差や残差に起因して、抽出された登録グループの中には、ノイズ的な要因による登録グループも存在する。しかし、このような要因によるノイズ的な画素は、周期的な明暗変化とはなり難い傾向にある。このため、検出された点滅周期の値が、遠目標200を構成する発光部201の点滅周期と大きく異なる場合、又は、その周期性の強さが所定の閾値以下の場合は、この周期性の指標によって登録グループから判別・除外される。
【0135】
さらに、残った登録グループについて、中心座標の標準偏差の値、点滅周期と周期性の強さの値、さらに、各登録グループの面積、縦横比、検出された回数などを、遠目標200らしさの評価として評点化して積算し、その値が所定の閾値以上であって、かつ、最大となった登録グループを、遠目標200であると判定する。
【0136】
ステップS12では、カメラ制御部21は、制御データ出力処理を行った後、ステップS13へ進む。以下、制御データ出力処理について説明する。この制御データ出力処理では、カメラ制御部21は、ステップS11の処理で遠目標200であると判定された登録グループについては、図14に示すような画像全体における左右方向の中心座標iclと、予め計測されているトラクタ1の正面方向の画像全体における座標値ivとを比較し、式(5)に基づいて、トラクタ1と遠目標200の方向とのずれ角度θ1を算出した後、車両制御部23に供給する。
【0137】
θ1=tan-1((icl−iv)×PWH) ・・・式(5)
式(5)において、iclは、遠目標200の登録グループの中心点の画像上のi座標、ivは、トラクタ1の正面方向のi座標、PWHは1画素当りの視野角である。なお、ivの値が予め計測して入力して車両制御部23を構成する記憶部に記憶されていること、または、トラクタ1に対してカメラ部8が正確に正面を向いて設置されていることのいずれかが前提である。
【0138】
これにより、車両制御部23は、トラクタ1と遠目標200の方向とのずれ角度θ1と、トラクタ1の速度に基づいて、誘導軌跡GL1に対するトラクタ1のオフセット量(横方向のずれ量)を求める。これら算出したずれ角度θ1とオフセット量から自動走行制御に必要な操舵角を決めることにより、トラクタ1を遠目標200の方向に向けて直進走行させる。
【0139】
ステップS13では、カメラ制御部21は、遠方目標部接近検出処理を行った後、ステップS14へ進む。以下、遠方目標部接近検出処理について説明する。本実施の形態では、カメラ制御部21は、遠方目標部検出処理に先立って、ステレオ画像処理等を行って距離画像を生成しても良い。この場合、検出された遠目標200を構成する発光部201の部分の距離画像データを抽出し、トラクタ1から遠目標200までの距離を算出する。あるいは、遠目標200と判定された画像グループの大きさが閾値以上となったことにより、遠目標200までの距離が接近したと判定する方法も可能である。そして、トラクタ1が予め設定した距離まで接近した場合には、カメラ制御部21は、その旨をトラクタ1側に送信し、トラクタ1において警報を鳴らすなどして運転者に注意喚起を行っても良い。なお、この遠方目標部接近検出処理は、任意に行う。
【0140】
ステップS14では、カメラ制御部21は、登録グループの重複評価・統合処理を行った後、ステップS15へ進む。以下、登録グループの重複評価・統合処理について説明する。上記したステップS9に示す時間的追跡処理において、検出対象の遠目標200の画像に基づいて生成された本来の画素グループに外乱などが加わってパラメータが変動した場合、当該画素グループが、これまで追跡され、記憶部22に登録されている登録グループとは異なる別の画素グループであると判断されてしまう場合がある。この結果、当該遠目標200が新しい画素グループであるとして記憶部22に登録され、遠目標200の登録グループが記憶部22に重複して存在する事態が発生する場合がある。
【0141】
このような事態が発生した場合、次フレーム以降についての上記ステップS9に示す時間的追跡処理において、遠目標200の画像に基づいて生成されたある1個の画素グループを、複数の異なる登録グループがいずれも自己に対応する画素グループと判定することになり、正しい時間的追跡処理が行われない事態が発生するおそれがある。
【0142】
そこで、この登録グループの重複評価・統合処理では、カメラ制御部21は、既に記憶部22に登録されている複数の登録グループについて、各パラメータを相互に比較する。そして、類似性が高く、同一の対象物を追跡していると判断される複数の登録グループが存在する場合には、そのような複数の登録グループを1個の登録グループに統合する処理を定期的に実行する。
【0143】
ステップS15では、カメラ制御部21は、現フレームのウィンドウ内画像更新処理を行った後、ステップS16へ進む。以下、現フレームのウィンドウ内画像更新処理について説明する。現フレームのウィンドウ内画像更新処理では、カメラ制御部21は、検出された遠目標200の登録グループの画像上の中心座標が、第1及び第2のウィンドウW0及びW02の中心になるように、第1及び第2のウィンドウW0及びW02の位置を再設定し、現フレームでの第1のウィンドウW0として記憶部22に再度記憶する。上記第1及び第2のウィンドウW0及びW02は、例えば、横56画素、縦40画素として設定する。
【0144】
ステップS16では、カメラ制御部21は、ウィンドウ対応露光時間制御処理を行った後、現フレームに関する一連の処理を終了し、次フレームの撮像や画像処理を実行するために、図9に示すステップS1へ戻る。以下、ウィンドウ対応露光時間制御処理について説明する。このウィンドウ対応露光時間制御処理では、設定されているウィンドウWを対象とし、当該ウィンドウWの範囲内の輝度分布が遠目標200の検出に最適化されるように、カメラ部8の露光時間等の制御を行う。
【0145】
すなわち、例えば、画像全体を対象としてカメラ部8の露光時間を制御した場合には、画像全体の中で遠目標200とその周辺が明るく、輝度が比較的高い場合は、遠目標200を含む領域の輝度が飽和してしまい、当該領域に設置されている遠目標200を検出することはできない。一方、設定されているウィンドウWを対象とし、当該ウィンドウWの範囲内の輝度分布が遠目標200の検出に最適化されるように、カメラ部8の露光時間の制御を行った場合には、画像全体に比して明るい領域に遠目標200が設定されていても、当該遠目標200を検出することができるのである。露光時間等の撮像の感度制御は、例えば、ウィンドウ内の全画素の輝度をヒストグラム化し、暗い部分と明るい部分の面積が等しくなるように制御を行う。
【0146】
このように、本発明の実施の形態によれば、比較的安価で発光効率が高く、輪郭形状及び発光部全体の大きさを任意に構成し易いLEDを多数配置した発光部201を備えた遠目標200を設置し、発光部201の点滅を撮像するカメラ部8の調節・設定に特徴を持たせ、さらにカメラ制御部21における画像処理に特徴的な差分処理や判断処理を持たせている。
【0147】
したがって、本発明の実施の形態によれば、天候や時間による太陽光の方向などの屋外環境の変化へ対応することができるとともに、各種の反射光や木漏れ日などのノイズへも対応することができる。また、100m以上の距離範囲で安定的に目標を認識することができるとともに、装置の小型化・低コスト化などを図ることができる。
【0148】
また、本発明の実施の形態によれば、カメラ部8と発光部201点滅の同期化を省略しているため、カメラ部8の撮像中に発光部201が点灯から消灯又は、消灯から点灯となり、撮像される発光部201の画像は、点灯と消灯の中間的な輝度になる状態が発生し得る。発光部201の点灯と消灯の時間が、カメラ部8の撮像周期と同じと仮定すると、カメラ部8で撮像される画像は、連続して点灯から消灯又は、消灯から点灯の状態となり、発光部201の画像は中間的な輝度の状態が続いて、輝度の時間的な変化が小さくなり、点滅する発光部201の検出が困難になる状況となる。
【0149】
そこで、本発明の実施の形態によれば、発光部201は、カメラ部8の撮像周期と最大露光時間を合計した時間以上であって、かつ、撮像周期の2倍の時間以下である範囲の時間の点灯と、この範囲の時間の消灯とを繰り返すように設定している。これにより、あるフレームではカメラ部8の撮像中に発光部201が点灯から消灯又は、消灯から点灯となっても、次のフレームでは確実に露光時間中はずっと点灯又は、ずっと消灯の状態となり、発光部201の画像の輝度の変化を最大化し、発光部201の検出性能を向上させることができる。
【0150】
この点、発光部201の点灯時間又は消灯時間を長くすれば、容易にカメラ部8の画像はずっと点灯又はずっと消灯の状態となるが、本発明の実施の形態では、点灯から消灯又は、消灯から点灯の変化によって発光部201を検出するので、発光部201を検出できる機会が減少し、システム本来の機能を低下させることとなる。
【0151】
本発明の実施の形態における、「カメラ部8の撮像周期と最大露光時間を合計した時間以上であって、かつ、撮像周期の2倍の時間以下である範囲の時間」は、確実に露光時間中はずっと点灯又は、ずっと消灯の状態が得られ、かつ、最少の時間であり、システム本来の機能を最大化する設定である。また、多くの場合にカメラ部8の最大露光時間は、撮像周期とほぼ一致するので、発光部201は撮像周期の2倍以下の点灯時間と、同様に撮像周期の2倍以下の消灯時間を繰り返す設定となる。
【0152】
また、本発明の実施の形態によれば、カメラ制御部21は、前フレームの画像全体の中において、遠目標200の位置検出を行う範囲として設定されたウィンドウWに相当する画像部分を、現フレームの画像全体の中から探索し、探索された画像部分を現フレームの画像における第1のウィンドウとして設定し、前々フレームの画像全体の中に設定されたウィンドウに相当する画像部分を、現フレームの画像全体の中から探索し、探索された画像部分を現フレームの画像における第2のウィンドウとして設定している。そして、第1及び第2のウィンドウに基づいて、第1及び第2の遠方目標部候補画素を抽出している。したがって、移動速度が速く、フレーム毎に撮像される画像が上下、左右に大きく変化するような状況においても、相当する画像が探索されるので、本システムを適用することができる。
【0153】
また、本発明の実施の形態によれば、カメラ部8で撮像した現フレームの画像と前フレームの画像において、対応する画素の輝度差の絶対値が第1の閾値以上であって、かつ、いずれかの画素の輝度が第2の閾値以上である場合に、その画素を遠目標200の候補画素として抽出している。したがって、点滅する発光部201に対し、画像上での輝度の特徴を的確に検出することができる。
【0154】
また、本発明の実施の形態によれば、カメラ部8で撮像した現フレームの画像と前フレームの画像との差分処理に加え、現フレームの画像と前々フレームの画像との差分処理も行っている。上記したように、発光部201をカメラ部8の撮像周期及び最大露光時間の合計時間以上の点灯と、この合計時間以上の消灯とを繰り返すように設定した場合、現フレームでは発光部201の点灯又は消灯の画像が得られても、前フレームも同じく点灯又は、消灯の画像であったり、逆に、点灯から消灯又は、消灯から点灯の状態の画像となる場合がある。しかし、前々フレームは確実に現フレームとは逆の消灯又は点灯の画像となり、発光部201の検出が可能となる。
【0155】
また、本発明の実施の形態によれば、画像部分の輝度の変化量を、過去の数秒間に渡って記憶し、この変化量を解析して点滅の周期性とその時間間隔を検出し、周期性が高く、かつ時間間隔が設定した遠目標200の点灯、消灯の時間間隔と一致する場合に、その画素グループが検出対象の遠目標200の可能性が高いと判断している。したがって、ノイズ的な要因によって誤抽出した画素グループを取り除くことができる。
【0156】
また、本発明の実施の形態によれば、抽出された画素グループのウィンドウにおける位置を過去の数秒間に渡って記憶し、この位置の上下・左右方向の座標値の時間的な変化量の標準偏差を算出し、標準偏差が小さい場合には、遠目標200の可能性が高いと判断している。したがって、この場合も、ノイズ的な要因によって誤抽出した画素グループを取り除くことができる。
【0157】
また、本発明の実施の形態によれば、カメラ部8は、トラクタ1の前方正面の方向と精確に平行に調整されているか又は、カメラ部8の画像において、トラクタ1の前方正面の方向の位置が精確に検出されている必要がある。このように構成することにより、カメラ部8は、図15に示すように、トラクタ1のボンネット2などに設置される車体マーカー2aが写るようにカメラ部8を設置し、予め用意された、図18に示すような形状パターン180を使って、パターンマッチングの手法により、カメラ部8の画像からその位置を検出し、トラクタ1の前方正面の方向の位置を自動的に検出することができる。
【0158】
また、本発明の実施の形態によれば、カメラ部8の露光時間、絞り、画像信号のアンプゲインなどの感度調節は、カメラ部8の画像中に部分的に設定されているウィンドウW内の画像の輝度分布に基づいて設定されている。カメラ部8による撮像は、背景となる部分の明るさに対し、発光部201の点滅による明暗変化が最大となるように、カメラ部8の感度調節を行うことが重要である。一般のカメラのように画像全体で感度調節すると、遠方にあって小さい発光部201の画像では、その部分が最適化されない場合がある。そこで、発光部201の検出処理を行う範囲であるウィンドウW内の画像に対して、感度調節を行うことにより、発光部201の検出性能が向上する。
【0159】
ここで、実験結果の一例を示す。移動車両としてトラクタ1を用いるとともに、このトラクタ1に自動走行制御装置20を搭載し、日中の屋外にて遠方に設置された点滅する遠目標200を検出し、トラクタ1を遠目標200に向かって走行制御した。
トラクタ1の前部にカメラ部8を搭載するとともに、トラクタ1の後側には畝立機を装着し、遠目標200に向う自動走行制御を行った。この時の遠目標200の位置及び形成された畝の位置の計測結果を図17に示す。
【0160】
ここで、畝の位置は実験者が目測で畝のほぼ中央に反射プリズムを合わせながら持って歩き、その時の反射プリズムの位置を自動追尾型レーザー式測位装置で計測したものである。遠目標200の位置も反射プリズムと自動追尾型レーザー式測位装置による同様の計測である。
【0161】
計測の精度は、自動追尾型レーザー式測位装置の単体としては±1cm程度であるが、畝の位置については、目測によるばらつきや歩行に伴う反射プリズムの揺れなどの要因が加わる。図19に示す畝の位置の横方向の細かい変動は、主に歩行に伴う揺れによるもので、実際の畝は、もっと滑らかである。
【0162】
図19において、遠目標200に対して畝はほぼ±30mm以内の偏位で形成されており、良好な遠目標200に向かう直進誘導が行われたことが分かる。この±30mmの偏位には、畝位置計測時の実験者の歩行に伴う反射プリズムの揺れなどを含むものであり、直進誘導の精度は実用的に十分なものと考えられる。
【0163】
トラクタは、装着する作業機や圃場の状態などによって直進性が変化するので、直線的な作業を行うには、運転者は熟練と頻繁な操舵修正が必要であるが、本システムにより未熟練者でも高い精度の作業を可能とし、同時に自動化による運転者の負担軽減を実現することができる。また、目標とする位置に遠目標200を載置するという、簡便で直観的に分り易い操作方法であるといえる。
【0164】
遠目標200を検出するためには、遠目標200の背景となる部分の明るさに対して、遠目標200の明るさが十分にある必要がある。背景の明るさはその種類や日照条件などで変化する一方、遠目標200の明るさは距離の二乗に反比例して暗くなる。このため、遠目標200を検出可能な距離を一概に特定することはできない。本システムは、曇天の目中にて400m以上遠方の遠目標200を検出して誘導走行することにも成功している。
(III)次に、ステップS818(図8参照)で述べた倣い走行制御処理について更に説明する。
【0165】
本実施の形態1では、最初の一行程が終わって、次の行程を実施する場合、カメラ部8を、トラクタ1の旋回方向に応じて、トラクタ1の右端又は左端であって、車両中心線MC1と平行な線上に移動させることにより、カメラ部8が撮像する画像において、一行程前の耕耘作業軌跡KLの画像がカメラ視野の中央で撮像出来る様に構成されている。これにより、トラクタ1が倣い走行モードで自動走行する際に、カメラ部8により実際に撮像される一行程前の耕耘作業軌跡KLの画像データから、その軌跡の位置情報を得て、その軌跡に倣って平行に走行する様に自動制御する。
【0166】
例えば、図7に示す様に圃場Hの一方の辺H2が直線の場合、軌跡の画像を2値化し、その2値化された画像を直線近似し、その直線近似により得られた線分を倣い基準線として、カメラ画像(フレーム)の中央位置における縦の仮想線とのなす角度φ等を算出して、車両制御部23に供給する。車両制御部23は、算出されたなす角度φ等の情報に基づいて、上述した遠目標制御処理の場合と同様に、倣い走行制御に必要な操舵角を算出して走行制御機構24を制御する。これにより、トラクタ1を一行程前の耕耘作業軌跡KLに沿って自動走行させることが出来る。
(実施の形態2)
次に、本発明の作業車両の自動走行制御装置の一実施の形態としての、トラクタの自動走行制御装置についてその構成と動作を説明する。
【0167】
上記実施の形態1では、自動走行制御システムにおけるステップS818の後の処理について特に言及しなかったが、本実施の形態では、ステップS818の後の処理について図20を参照しながら説明する。
【0168】
尚、本実施の形態は、カメラ部8の位置が固定された構成である点を除いて、上記実施の形態1の構成と基本的に同じである。カメラ部8の位置が固定された構成における画像処理については、図43を用いて後述する。
【0169】
図20は、本実施の形態における自動走行制御システムの動作を説明するためのフローチャートである。図20において、図8と基本的に同じステップには同じ符号を付してその説明を省略する。尚、本実施の形態の自動走行制御システムでは、上記の通り、カメラ部8の位置が固定された構成であるので、図8に示したステップS801〜S818の内、ステップS808〜S814を除いてある。
【0170】
図20に示す様に、遠目標制御処理により最初の一行程が終わり(ステップS801〜S804)、トラクタ1を旋回させるために、作業者が自動走行モードから手動走行モードに切り替えて、トラクタ1を旋回させた後、再び、自動走行モードに切り替えたことにより(ステップS805〜S807、S815〜S817)、ステップS818で、上述した倣い走行制御処理が行われる。
【0171】
ステップS201は、自動スイッチ30がONされた旨の信号を読み込むステップであり、ステップS202へ進み、自動スイッチ30がONされたか否かを判断し、ONされたと判断すれば、ステップS203へ進む。
【0172】
ステップS203では、倣い走行制御処理が中断されて、ステップS204へ進み、自動走行モードから手動走行モードに切り替わり、ステップS815に戻る。
【0173】
これにより、作業者はステアリングハンドル5を回転させてトラクタ1を旋回させ、旋回が完了した後、再び、自動スイッチ30をONすると、ステップS817を経て、倣い走行制御処理を実行する(ステップS818)。
【0174】
以下、その後の行程においても、上記と同様に倣い走行制御処理を実行する。
【0175】
以上のように、本実施の形態によれば、一旦、倣い走行制御処理に移行した後は、手動走行モードに切り替わったときは、倣い走行制御処理を中断し、その後、手動走行モードから自動走行モードに切り替えられたときは、倣い走行制御処理を開始する。
【0176】
これにより、確実に倣い走行制御処理を繰り返すことが出来き、誤動作を防止出来る。
【0177】
次に、上記構成とは別の構成例について説明する。即ち、図20では、カメラ部8の位置が固定されている場合について説明したが、これに限らず例えば、実施の形態1で述べた様に、カメラ部8の位置が移動する構成としても良い。具体的には、図21に示す様に、ステップS808〜S814(図8参照)の処理を含む「カメラ移動処理」を実行するためのステップS215をステップS815の直前に配置した。この場合、上述したステップS204の処理が完了した後は、上記の追加された「カメラ移動処理」のステップS215の前に戻る。これにより、倣い走行制御処理に移行する度に、カメラ部8を、一行程前の作業軌跡を画像認識するためにより適切な位置に自動的に移動できるので、画像検出性能が向上する。また、上記構成により、作業者が自動モードを解除した後、ステアリング切れ角を検出して、旋回方向を判定し、その判定結果に応じてカメラ部8を移動させるので、誤動作がなくなる。
(実施の形態3)
次に、本発明の作業車両の自動走行制御装置の一実施の形態としての、トラクタの自動走行制御装置についてその構成と動作を説明する。
【0178】
本実施の形態は、最初の一行程が完了した後、それ以降の作業工程においては、一旦、遠目標検出を行って、その結果に応じて遠目標制御処理を実行するか倣い走行制御処理を実行するかを判定するステップを含む点を除いて、上記実施の形態1の構成と基本的に同じであるので、相違点を中心に説明する。
【0179】
図22は、本実施の形態における自動走行制御システムの動作を説明するためのフローチャートである。図22において、図8と基本的に同じステップには同じ符号を付してその説明を省略し、ステップS801〜S814は同じであるので図示も省略した。
【0180】
まず最初に、遠目標制御処理により最初の一行程が終わり(ステップS801〜S804)、トラクタ1を旋回させるために、作業者が自動走行モードから手動走行モードに切り替えて、トラクタ1を旋回させた後(ステップS805〜S814)、再び、作業者が自動走行モードに切り替えたことにより(ステップS815)、ステップS816で、自動スイッチ30がONされたと判定して、ステップS301へ進む。
【0181】
ステップS301では、カメラ部8の位置が中央であるか否かを判定し、中央位置になければ、ステップS302へ進んで、カメラ部8を中央位置に移動させてステップS303へ進む。中央位置にあれば、ステップS302を経由せずにステップS303へ進む。
【0182】
ステップS303では、中央位置にあるカメラ部8により得られた画像データに基づいて、遠目標の有無を検出し、その検出結果をステップS304に送り、遠目標が検出されたと判定した場合は、ステップS305へ進み、検出されないと判定した場合は、ステップS309へ進む。
【0183】
ステップS305では、電磁クラッチ出力部33からの出力により、電磁クラッチ24cがON(作動)し、ステアリングハンドル5が手動モードから自動モードに切り替わり、ステップS306へ進み、ステップS804と同様の遠目標制御処理を実行する。
【0184】
ステップS306の処理は、上記と同様に、自動スイッチ30がOFFされるまで繰り返され、OFFされたと判定されると(ステップS307、S308)、上記ステップS807と同様の処理を実行するステップS309を経由して、ステップS815へ戻る。
【0185】
一方、ステップS310では、ステップS303において遠目標が検出されないと判定されたため、倣い走行制御を実行するための前準備として、トラクタ1の旋回方向の判定結果に基づいて、カメラ部8の位置を移動させた後、ステップS311へ進む。尚、ステップS310は、図8にて説明したステップS808〜ステップS814の処理を含むものである。
【0186】
ステップS311では、電磁クラッチ出力部33からの出力により、電磁クラッチ24cがON(作動)し、ステアリングハンドル5が手動モードから自動モードに切り替わり、ステップS312へ進み、ステップS818と同様の倣い走行制御処理を実行する。ステップS312の処理は、上記と同様に、自動スイッチ30がOFFされるまで繰り返され、OFFされたと判定されると(ステップS313、S314)、ステップS309へ進み、その後、ステップS815へ戻る。
【0187】
これにより、作業者がトラクタ1を手動モードで旋回させた後、自動スイッチ30をONして、自動モードに切り替えられた場合、遠目標200の有無の検出結果に応じて、遠目標制御処理を実行するか、又は、倣い走行制御処理を実行するかが、自動的に決定される。
【0188】
よって、作業内容や作業条件などに応じて、遠目標200を最初の一行程に対応した位置(図7参照)の他に、所望の位置に配置することが可能であり、自動走行制御の適用範囲が広がる。
(実施の形態4)
次に、本発明の作業車両の自動走行制御装置の一実施の形態としての、トラクタの自動走行制御装置についてその構成と動作を説明する。
【0189】
上記実施の形態では、遠目標制御処理において、トラクタ1が誘導軌跡GL1(図7参照)の線上を走行する様に制御する構成について説明した。これに対して、本実施の形態4では、圃場Hの一方の辺H2が、直線ではなく、例えば一部において距離dの出っ張り部HHがあるような場合に(図23参照)、一時的に遠目標200の位置を補正して新たな目標を設定することにより(以下、これを単に、「新目標設定処理」とも呼ぶ)、その出っ張り部HHを避けて走行することが出来る自動走行制御を実行する場合について説明する。ここで、図23は、本実施の形態のトラクタ1の自動走行制御装置を用いた、自動走行制御システムを説明するための模式図である。
【0190】
本実施の形態4と上記実施の形態との上記相違点を中心に説明する。尚、上記実施の形態と同様の構成については同じ符号を付し、その説明を省略する。
【0191】
図24は、車両制御部23に含まれるマイクロコンピュータ23aを中心とした各種制御信号の流れを示す概略ブロック図である。図24において、図4との相違点は、横方向設定入力240と、それに付随する入力回路240a、及びA/D変換回路240bが追加された点である。
【0192】
図24に示す横方向設定入力240は、新たな目標を設定するための横方向への補正量の入力である。この横方向設定入力240は、表示・操作部25に設けられたスライド式の手動入力スイッチ(図示省略)からの補正量の入力として実現しても良いし、カメラ部8による撮像データをカメラ制御部21が画像処理した結果得られた補正量の入力として実現しても良いが、本実施の形態では、後者の画像処理に基づく場合について説明する。
【0193】
また、本実施の形態4では、新目標設定処理を実行するか否かを設定出来る新目標設定処理スイッチ(図示省略)が、表示・操作部25に設けられている点が、上記実施の形態と相違する。
【0194】
図25は、本実施の形態のトラクタの自動走行制御装置を用いた自動走行制御システムの動作を説明するためのフローチャートである。図8と同じ処理のステップには同じ符号を付して、その説明を省略する。
【0195】
図25に示すステップS251〜ステップS257は、図8のステップS804の遠目標制御処理に対応するステップである。
【0196】
以下、図25を用いて、本実施の形態の自動走行制御システムの動作の要部である新目標設定処理を説明する。尚、ここでは、作業者により新目標設定スイッチがONされているものとして説明する。
【0197】
ステップS251では、トラクタ1の走行と共にカメラ部8で撮像された画像データがカメラ制御部21に送られることにより、カメラ制御部21が目標データを所定の周期で受信する。トラクタ1が一行程の作業を開始した時点で撮像した画像データには、その撮像時点におけるトラクタ1の車両中央のカメラ位置から見える、少なくとも遠目標200と圃場Hの右側のラインである一辺H2と出っ張り部HHの画像が含まれている。しかし、トラクタ1が出っ張り部HHを通過した後は、カメラ部8により撮像された画像データには、出っ張り部HHの画像は含まれていないので、目標データは、遠目標200だけである。
【0198】
ステップS252では、カメラ制御部21において、目標データを受信する度に画像処理が行われて、その画像処理の結果から、横方向設定入力である補正量として距離dを算出してメモリなどに読み込み、ステップS253へ進む。
【0199】
尚、上述した通り、トラクタ1が出っ張り部HHを通過した後は、カメラ部8により撮像された画像データには、出っ張り部HHの画像は含まれていないので、目標データは遠目標200だけである。従って、その場合は、横方向設定入力である補正量の算出処理を実行しないで補正量をゼロに設定する構成としても良いし、或いは、算出処理を実行して補正量として距離dがゼロであるとの結果を得る構成としても良い。また、トラクタ1が出っ張り部HHに対応する区間HHL(図23参照)を走行中は、遠目標200の位置を補正する前に取得された画像データから算出された距離dがメモリに保持される様に構成されている。
【0200】
ステップS253では、所定のタイミングで、メモリに更新・保持されている補正量を読み出して、それまで目標位置としていた遠目標200の位置を距離dだけ補正した新たな目標を設定してステップS254へ進む。
【0201】
これを図23で説明すると、遠目標200の位置に誘導する誘導軌跡GL1は、HHの区間HHLにおいて、図中の左方向へ距離dだけ補正された新たな誘導軌跡GL2となる。ここで、所定のタイミングとは、トラクタ1が自動走行により、スタート位置から出っ張り部HHの直前まで走行したことを、カメラ部8からの画像データにより検出して、出っ張り部HHを回避するためにステアリングハンドル5を回転させるのに適した時期をいう。
【0202】
尚、ステップS253では、上記時期が来るまでは、距離dを加味した目標位置の補正は行わないで、遠目標200の位置を目標として維持し、ステップS254へ進む。
【0203】
ステップS254では、ステップS253で設定された目標(新たな目標又は、遠目標200)を目指して自動走行制御するために必要となる操舵角を求めて、モータ回転出力部32a、及びモータ回転方向切替出力部32bへ指令を出す。
【0204】
ステップS255では、自動走行制御下におけるステアリングハンドル5の回転角度を検知し、指令通りの操舵角になるまでモータ回転出力部32aからの出力を維持させる。
【0205】
ステップS256では、カメラ部8から得られた最新の画像データから、トラクタ1のその時点での位置と、ステップS253で設定された目標の位置とを比較して、一致していないと判定すれば、ステップS251へ戻り、一致していると判定すれば、ステップS257へ進み、正逆転モータ63の回転が停止される。
【0206】
尚、ステップS805〜S807では、作業者が自動スイッチ30をOFFしたか否かを検知して、ONのままであれば、ステップS251へ戻り、遠目標走行制御を繰り返し、OFFを検知すれば、ステップS807へ進み、以降、図8と同様に、ステップS808〜S818において、倣い走行制御処理を実行する。
【0207】
本実施の形態によれば、圃場Hの一方の辺が、直線ではなく、例えば一部において出っ張り部があるような場合において、それを避けて無理のない自動走行制御を実行出来る。
(実施の形態5)
次に、本発明の作業車両の自動走行制御装置の一実施の形態としての、トラクタの自動走行制御装置についてその構成と動作を説明する。
【0208】
上記実施の形態4では、作業の種類に関わらず、一時的に遠目標200の位置を補正して「新たな目標」を設定することにより、出っ張り部HHを避けて走行することが出来る自動走行制御を実行する場合について説明したが、本実施の形態5では、作業設定スイッチを設け、所定の種類の作業を対象として、遠目標200の位置補正を実行する場合について説明する。本実施の形態5では、所定の種類の作業として、畦塗り作業、耕耘作業、ロータリー作業、鋤作業の4種類の作業が設定されている。
【0209】
以下、上記実施の形態4との相違点を中心に、図26、27を用いて説明する。
【0210】
図26は、車両制御部23に含まれるマイクロコンピュータ23aを中心とした各種制御信号の流れを示す概略ブロック図である。図26において、図24との相違点は、作業設定スイッチ260からの入力信号を受け付ける入力回路260aが追加された点である。
【0211】
作業設定スイッチ260は、表示・操作部25に設けられており、畦塗り作業、耕耘作業、ロータリー作業、鋤作業、畝立て作業などの中から、作業者が、作業モードを設定出来るスイッチである。
【0212】
図27は、本実施の形態のトラクタの自動走行制御装置を用いた自動走行制御システムの動作を説明するためのフローチャートである。図25と同じ処理のステップには同じ符号を付して、その説明を省略する。
【0213】
以下、図27を用いて、本実施の形態の自動走行制御システムの動作の要部を説明する。尚、ここでは、上記実施の形態4と同様に、作業者により新目標設定処理スイッチがONされているものとして説明する。
【0214】
ステップS801〜S803での処理は、既に説明した通りである。
【0215】
ステップS251では、図25で説明したのと同様、カメラ部8で撮像された画像データがカメラ制御部21に送られることにより、カメラ制御部21が目標データを受信する。
【0216】
ステップS271では、作業者が作業設定スイッチ260を用いて予め設定した作業モードが読み込まれて、ステップS272へ進む。
【0217】
ステップS272では、読み込まれた作業モードが、畦塗り等の所定の作業に該当すると判定した場合は、ステップS252へ進み、該当しないと判定した場合は、ステップS253aへ進む。
【0218】
ステップS252での処理は、既に説明した通りである。
【0219】
ステップS253aでは、ステップS252で算出された補正量を用いる場合は、上述したステップS253と同じ処理を実行するが、ステップS272でNOの判定があった場合は、補正量はゼロとして目標を設定する。
【0220】
尚、ステップS254〜S807での処理は、既に説明した通りである。但し、ステップS256aでは、カメラ部8から得られた最新の画像データから、トラクタ1のその時点での位置と、ステップS253aで設定された目標の位置とを比較する点を除いて、ステップS256の処理と同じである。
【0221】
また、ステップS807以降は、基本的には、図8のステップS807〜S818と同じであるが、本実施の形態のステップS272(図27参照)で、畦塗り作業であると判定されている場合は、倣い走行制御処理は行わないので、作業設定スイッチ260から畦塗り作業以外の作業モードが設定されるまでは、図8のステップS807〜S814まで処理した後、図27のステップS801へ戻る。
【0222】
本実施の形態によれば、圃場Hの一方の辺が、直線ではなく、例えば一部において出っ張り部があるような場合において、畦塗りなどの所定の作業に設定されている場合に限り、その出っ張り部を避けて無理のない自動走行制御を実行出来る。
【0223】
従って、畝立て作業の様に、「新目標設定処理」を実行する必要の無い、通常の直進制御時に、作業者が誤って新目標設定処理スイッチをONしていたとしても、その様な誤操作により、直進走行が妨げられることを防止出来る。
(実施の形態6)
次に、本発明の作業車両の自動走行制御装置の一実施の形態としての、トラクタの自動走行制御装置についてその構成と動作を説明する。
【0224】
上記実施の形態5では、所定の作業において、圃場Hの一方の辺の出っ張り部HHを避けて無理のない自動走行制御を行うことが出来る場合について説明した。これに対して、本実施の形態6では、作業設定スイッチ260により畦塗り作業が設定されており、畦塗り対象となる圃場Hの一方の辺Hの一部に出っ張り部HHがある場合において、その出っ張り部HHの出っ張りの程度が予め設定されている変化レベルdLより大きい場合は、遠目標の位置の補正を複数回に分けて、一定時間が経過する毎に実行する場合について説明する。尚、ここで、トラクタ1は等速で走行するものとする。
【0225】
以下、上記実施の形態5との相違点を中心に、図28を用いて説明する。
【0226】
図28は、本実施の形態のトラクタの自動走行制御装置を用いた自動走行制御システムの動作を説明するためのフローチャートである。図27と同じ処理のステップには同じ符号を付して、その説明を省略する。
【0227】
以下、図28を用いて、本実施の形態の自動走行制御システムの動作の要部を説明する。尚、ここでは、上記実施の形態5と同様に、作業者により新目標設定処理スイッチがONされているものとして説明する。
【0228】
ステップS801〜S803での処理、及びステップS251、S271での処理は、上記実施の形態で既に説明した通りである。
【0229】
ステップS272aでは、読み込まれた作業モードが、畦塗り作業であると判定した場合に限り、ステップS252へ進み、該当しないと判定した場合は、ステップS286へ進む。
【0230】
ステップS252での処理は、上記実施の形態5で既に説明した通りである。
【0231】
ステップS281では、ステップS252で算出され、メモリに保持されている補正量としての距離dが、予め設定されている変化レベルdLを超えていると判定された場合は、ステップS282へ進み、超えていないと判定された場合は、ステップS283へ進む。
【0232】
ステップ282では、ステップS252でメモリに保持された補正量としての距離dを、一回の変更量(補正量)として許容されている距離d1(ここで、d1<d)を用いて更新するために、遠目標200の位置を補正するための目標変更量としてメモリにセットして、ステップS283へ進む。
【0233】
ステップS283では、所定のタイミングで、メモリに更新・保持されている補正量を読み出して、それまで目標位置としていた遠目標200の位置を補正した新たな目標を設定してステップS284へ進む。
【0234】
ここでメモリから読み出される補正量は、ステップS281で変化量大と判定された場合は、距離d1であり、変化量大と判定されなかった場合は距離dである。またここで、所定のタイミングとは、トラクタ1が自動走行により、スタート位置から出っ張り部HHの直前まで走行したことを、カメラ部8からの画像データにより検出して、出っ張り部HHにおいて、畦形状を適切な形状に成形するためにステアリングハンドル5を回転させるのに適した時期Tsをいう。
【0235】
ステップS284では、上記所定のタイミングとしての時期Tsからタイマーがカウントを開始し、一定時間tc経過したか否かを判定し、経過していないと判定された場合はステップS254へ進み、ステップS255を経て、ステップS256bでNOと判定されてステップS251へ戻る。上述した様に、トラクタ1が区間HHL(図23参照)を走行中は、メモリに距離d(dL<d)が保持される様に構成されているので、ステップS281では前回と同様、YESと判定され、また、ステップS282では前回と同様、目標変更量として距離d1がセットされて、ステップS283では前回と同じ処理がされて、ステップS284に進む。そして、ステップS284で、一定時間が経過していると判定されれば、ステップS284のタイマーを一旦リセットした上で、カウントを開始して、ステップS285へ進む。
【0236】
ステップS285では、1)距離d−d1≧dLの場合は、二回目の目標変更量として更に距離d1を加算して、新たな目標の位置として、遠目標200の位置に対して、d1の2倍の距離だけ左方向へ移動した位置を設定し、2)距離d−d1<dLの場合は、新たな目標の位置として、遠目標200の位置に対して、距離dだけ左方向へ移動した位置を設定して、ステップS254へ進む。
【0237】
ステップS256bでは、カメラ部8から得られた最新の画像データから、トラクタ1のその時点での位置と、遠目標200の位置を左方向へ距離d移動させた目標位置とを比較する点を除いて、ステップS256の処理と同じである。
【0238】
ステップS286では、トラクタ1の走行と共にカメラ部8で撮像された画像データを画像処理して得られた遠目標200の位置を目標として設定し、ステップS254へ進む。
【0239】
尚、ステップS805〜S807では、作業者が自動スイッチ30をOFFしたか否かを検知して、ONのままであれば、ステップS251へ戻り、遠目標走行制御を繰り返し、OFFを検知すれば、ステップS807へ進み、以降、上記実施の形態5と同様に処理される。即ち、ステップS807以降は、基本的には、図8のステップS807〜S818と同じであるが、本実施の形態のステップS272a(図28参照)で、畦塗り作業であると判定されている場合は、倣い走行制御処理は行わないので、作業設定スイッチ260から畦塗り作業以外の作業モードが設定されるまでは、図8のステップS807〜S814まで処理した後、図28のステップS801へ戻る。
【0240】
本実施の形態6によれば、圃場Hの一方の辺の出っ張り部HHの出っ張りの程度が予め設定されている変化レベルdLより大きい場合、一定時間における遠目標の位置の補正量を制限出来るので、畦の形状を適切な形状とすることが可能となる。
【0241】
尚、畦塗り作業は、ロータリ作業等に比べて超低速での走行となり、状況によっても変わるが、約10cm/秒の速度で作業走行する。この場合、上述した予め設定されている変化レベルdLの一例としては30cmであり、1回の変更量として許容されている距離d1の一例としては5〜10cmであり、一定時間tcの一例としては0.1〜0.3秒である。
(実施の形態7)
次に、本発明の作業車両の自動走行制御装置の一実施の形態としての、トラクタの自動走行制御装置についてその構成と動作を説明する。
【0242】
上記実施の形態6では、圃場Hの一方の辺の出っ張り部HHの出っ張りの程度が予め設定されている変化レベルdLより大きい場合、一定時間における遠目標の位置の補正量を制限する場合について説明した。これに対して、本実施の形態7では、一定時間に代えて、一定距離走行時における遠目標の位置の補正量を制限する場合について説明する。
【0243】
以下、上記実施の形態6との相違点を中心に、図29、30を用いて説明する。
【0244】
図29は、車両制御部23に含まれるマイクロコンピュータ23aを中心とした各種制御信号の流れを示す概略ブロック図である。図29において、図28との相違点は、トラクタ1の走行速度を検知するための車速センサ290を備えた点である。
【0245】
図30は、本実施の形態のトラクタの自動走行制御装置を用いた自動走行制御システムの動作を説明するためのフローチャートである。図28と同じ処理のステップには同じ符号を付して、その説明を省略する。
【0246】
以下、図30を用いて、本実施の形態の自動走行制御システムの動作の要部を説明する。尚、ここでは、上記実施の形態6と同様に、作業者により新目標設定処理スイッチがONされているものとして説明する。
【0247】
ステップS801〜S803での処理、及びステップS251、S271、S272a、S252、S281〜S283での処理は、上記実施の形態で既に説明した通りである。
【0248】
ステップS301〜S303では、上記実施の形態6のステップS284での処理と対比させて説明すると、上記ステップS283における所定のタイミングとしての時期Tsを基準時として、車速センサ290の検知データを読み込み(ステップS301)、それを基に上記基準時からの走行距離を計算し(ステップS302)、予め定めた一定距離Lcを走行したか否かを判定し(ステップS303)、走行していないと判定された場合はステップS254へ進み、ステップS255を経て、ステップS256bでNOと判定されてステップS251へ戻る。上述した様に、トラクタ1が区間HHL(図23参照)を走行中は、メモリに距離d(dL<d)が保持される様に構成されているので、ステップS281では前回と同様、YESと判定され、また、ステップS282では前回と同様、目標変更量として距離d1がセットされて、ステップS283では前回と同じ処理がされて、ステップS301に進む。そして、ステップS301で、一定距離Lcを走行していると判定されれば、ステップS285へ進む。
【0249】
ステップS285以降のステップは、上記実施の形態6と同様である。
【0250】
本実施の形態7によれば、圃場Hの一方の辺の出っ張り部HHの出っ張りの程度が予め設定されている変化レベルdLより大きい場合、一定距離走行時における遠目標の位置の補正量を制限出来るので、畦の形状を適切な形状とすることが可能となる。
(実施の形態8)
次に、本発明の作業車両の自動走行制御装置の一実施の形態としての、トラクタの自動走行制御装置についてその構成と動作を説明する。
【0251】
上記実施の形態4では、トラクタ1が実行する作業モードに関わらず、遠目標制御処理において遠目標の位置を補正することが出来る構成について説明した。これに対して、本実施の形態8では、畦塗り作業モードが選択されている場合に限り、遠目標制御処理において遠目標の位置を補正するために、畦ラインの判定を行う場合について説明する。
【0252】
図31は、本実施の形態8において、畦塗り作業を実施する場合の、4つの遠目標200〜200cの配置状況を示す模式図である。
【0253】
本実施の形態8では、図31に示すように、畦塗り作業の場合、矩形状の圃場Hの四隅付近にそれぞれ遠目標200〜200cを配置し、作業者が、圃場Hの四隅において、手動モードでステアリングハンドル5を回転操作する場合を除き、各辺では、それぞれの遠目標を目指して自動モードで以下に説明する遠目標制御処理を実行する。
【0254】
以下、上記実施の形態4との相違点を中心に、図32、図33を用いて説明する。
【0255】
図32は、車両制御部23に含まれるマイクロコンピュータ23aを中心とした各種制御信号の流れを示す概略ブロック図である。図32において、図24との相違点は、横方向設定入力240に代えて、作業モード切替スイッチ(図示省略)からの作業モード切替入力310とそれに付随した入力回路310aが追加された点である。
【0256】
作業モード切替スイッチは、表示・操作部25に設けられており、畦塗り作業、耕耘作業、ロータリー作業、鋤作業、畝立て作業などの中から、作業者が、作業モードを設定出来るスイッチである。尚、ここでは、上記実施の形態4の場合と異なり、新目標設定処理スイッチは設けられていない。
【0257】
図33は、本実施の形態のトラクタの自動走行制御装置を用いた自動走行制御システムの動作を説明するためのフローチャートである。図25と同じ処理のステップには同じ符号を付して、その説明を省略する。
【0258】
以下、図33を用いて、本実施の形態の自動走行制御システムの動作の要部を説明する。
【0259】
ステップS801〜S803での処理は、実施の形態4で既に説明した通りである。
【0260】
ステップS321では、作業者が作業モード切替スイッチを用いて設定した作業モードを識別する入力信号を読み込み、ステップS322へ進む。
【0261】
ステップS322では、作業モードが畦塗りであるか否かを判定し、畦塗りであれば、ステップS323へ進み、畦塗りでなければ、ステップS326へ進む。
【0262】
ステップS323では、トラクタ1が畦塗り作業を開始した時点で撮像した画像データがカメラ制御部21に送られ画像処理されて記憶部22に保持されているので、その画像処理結果から遠目標200の位置を判定し、ステップS324へ進む。尚、トラクタ1が畦塗り作業を開始した時点で撮像された画像データには、その撮像時点におけるトラクタ1の車両中央のカメラ位置から見える、少なくとも遠目標200と圃場Hの右側の畦ラインALである一辺H2と出っ張り部HHの画像が含まれている。
【0263】
ステップS324では、上記画像処理結果から畦ラインALの位置を判定し、ステップS325へ進む。
【0264】
ステップS325では、ステップS323で畦塗り作業であると判定された場合には、ステップS323での遠目標判定結果と、ステップS324での畦ライン判定結果とに基づいて、遠目標200の位置の補正量としての移動距離と移動方向を算出し、メモリに保持して、ステップS253bへ進む。
【0265】
即ち、図34に示す様に畦ラインALに出っ張り部HHが含まれている場合であって、その出っ張り部HHの画像処理で算出した距離dが所定値(例えば、10cm)より大きい場合は、遠目標200の位置を、カメラ画面330において左方向に距離dだけ補正した位置を新たな目標の位置として、メモリに保持する。図34は、トラクタ1が畦塗り作業を開始した時点(図31のトラクタ1の位置)で撮像したカメラ画像を説明するための概略模式図である。
【0266】
ステップS253bでは、所定のタイミングで、メモリに保持されている補正量を読み出して、それまで目標位置としていた遠目標200の位置を、左方向へ距離dだけ補正した新たな目標を設定してステップS254へ進む。
【0267】
ここで、所定のタイミングとは、トラクタ1が自動走行により、スタート位置から出っ張り部HHの直前まで走行したことを、カメラ部8からの画像データにより検出して、出っ張り部HHを回避し、且つ、畦塗り作業を実行するためにステアリングハンドル5を回転させるのに適した時期をいう。
【0268】
尚、ステップS253bでは、上記時期が来るまでは、距離dを加味した目標位置の補正は行わないで、遠目標200の位置を目標として維持し、ステップS254aへ進む。
【0269】
ステップS326では、トラクタ1が畦塗り作業を開始した時点で撮像した画像データ(図34参照)がカメラ制御部21に送られ記憶部22に保持されているので、その画像処理結果から遠目標200の位置を判定し、ステップS325へ進む。
【0270】
ステップS254aでは、ステップS253bで設定された目標(新たな目標又は、遠目標200)を目指して自動走行制御するために必要となる操舵角を求めて、又は、後述するステップS256cから戻ってきた場合は、ステップS256cで求めた操舵角を用いて、モータ回転出力部32a、及びモータ回転方向切替出力部32bへ指令を出す。
【0271】
ステップS255での処理は、実施の形態4で既に説明した通りである。
【0272】
ステップS256cでは、トラクタ1は上記操舵角で既に走行しているので、カメラ部8で最新の画像データを取得してからトラクタ1の最新の位置データを取得して、ステップS253bで設定された目標(新たな目標又は、遠目標200)の位置データと比較して、一致していないと判定すれば、ステップS253bで設定された目標(新たな目標又は、遠目標200)を目指して自動走行制御するために必要となる最新の操舵角を求めて、ステップS254aへ戻り、一致していると判定すれば、ステップS257へ進み、正逆転モータ63の回転が停止される。
【0273】
ステップS805〜S807での処理は、ステップS806でNOと判定された場合にステップS321へ戻る点を除いては、実施の形態4で既に説明した通りである。
【0274】
尚、ステップS807以降は、基本的には、図8のステップS807〜S818と同じであるが、本実施の形態のステップS322(図33参照)で、畦塗り作業であると判定されている場合は、倣い走行制御処理は行わないので、作業モード切替スイッチ(図示省略)から畦塗り作業以外の作業モードが設定されるまでは、図8のステップS807〜S814まで処理した後、図33のステップS801へ戻る。
【0275】
本実施の形態によれば、作業モード切替スイッチで畦塗り作業モードが設定されている場合は、圃場Hが矩形であるとしてその四隅にそれぞれ配置した遠目標を基準とした遠目標制御処理が行われるが、その場合、畦形状の出っ張りの程度を検出して、その検出結果に応じて、遠目標の位置を補正することが出来るので、畦形状に沿った適切な畦塗り作業が可能となる。
(実施の形態9)
次に、本発明の作業車両の自動走行制御装置の一実施の形態としての、トラクタの自動走行制御装置についてその構成と動作を説明する。
【0276】
上記実施の形態では、遠目標制御処理と倣い走行制御処理を組み合わせた構成や、倣い走行制御処理においてカメラ部8が移動する構成や、遠目標制御処理において遠目標の位置を補正することが出来る構成等について説明した。
【0277】
これに対して、本実施の形態9では、自動スイッチ30の切り替えに伴って動作する電磁クラッチのOFF制御の工夫について説明する。
【0278】
従って、本実施の形態9の説明は、従来の遠目標制御処理にも適用出来るし、上記実施の形態で述べた本願発明に係る作業車両の自動走行制御装置の何れにも適用出来るが、ここでは、例えば、上記実施の形態4で述べた本願発明に係る作業車両の自動走行制御装置に適用した場合について説明する。
【0279】
図35は、車両制御部23に含まれるマイクロコンピュータ23aを中心とした各種制御信号の流れを示す概略ブロック図である。図35において、実施の形態4で述べた図24との主な相違点は、カメラ位置センサ31とカメラ駆動モータ出力部37が設けられていない点、並びに、横方向設定入力240、入力回路240a、A/D変換回路240b、及び新目標設定処理スイッチ(図示省略)が設けられていない点である。従って、カメラ部8は固定配置されており、例えば、車両幅方向の中央に一つ固定、若しくは、車両幅方向の左右の何れか一方に固定、又は両方にそれぞれ一つずつ固定されている構成等何れの位置に固定されていても良い。尚、カメラ部8は、移動可能に構成されていても良いが、この点については、上記実施の形態で述べた通りであるので、ここではその説明は省略する。
【0280】
図36は、本実施の形態のトラクタの自動走行制御装置を用いた自動走行制御システムの動作を説明するためのフローチャートである。図25に示すステップと同じ処理のステップには同じ符号を付して、その説明を省略する。
【0281】
以下、図36を用いて、本実施の形態の自動走行制御システムの動作の要部である電磁クラッチの制御について説明する。
【0282】
ステップS801〜S803での処理は、図25と同じである。
【0283】
ステップS361では、表示・操作部25に設けられた自動モニタ34において、トラクタ1が自動モードで走行制御中であることを表示させるための指令を出す。これにより、自動モニタ34の表示が点灯するので、作業者は自動モードに切り替わったことを確認出来る。
【0284】
ステップS362aでは、カメラ部8により所定の周期で撮像された画像データが、カメラ処理部21に送られ画像処理される。画像処理結果には、遠目標200の位置情報等が含まれている。
【0285】
ステップS362bでは、画像処理結果から、上記実施の形態1で述べた様に、トラクタ1と遠目標200の方向とのずれ角度θ1を算出し、ずれ角度θ1と、トラクタ1の速度に基づいて、トラクタ1のオフセット量を求める。これら算出したずれ角度θ1とオフセット量から自動走行制御に必要な操舵角を決める。
【0286】
ステップS362cでは、トラクタ1のステアリングハンドル5を自動モードで回転させるためのモータ24bの回転方向を判定し、ステップS362bで決定した操舵角の方向に対応しているか否かを判定して、ステップS362dへ進む。
【0287】
ステップS362dでは、ステップS362cからの判定結果が、現状のモータ24bの回転方向が、ステップS362bで決定した操舵角の方向に対応していない旨を示している場合は、モータ回転方向切替出力部32bに対して、モータ24bの回転方向を切り替えさせるための指令を出力する。
【0288】
ステップS362eでは、モータ回転出力部32aに対して、操舵角に応じてモータ24bを回転させるための指令を出力する。
【0289】
ステップS362fでは、自動走行制御下におけるステアリングハンドル5の回転角度を検知し、ステップS363へ進む。
【0290】
ステップS363では、ステップS362fで検知された回転角度が、指令通りの規定角度と一致するか否かを判定し、一致している場合は、ステップS257へ進み、一致していない場合は、ステップS365へ進む。
【0291】
ステップS257では、正逆転モータ63の回転が停止され、ステップS805〜S807では、作業者が自動スイッチ30をOFFしたか否かを検知して、1)ONのままであれば、ステップS362aへ戻り、遠目標走行制御を繰り返し、2)OFFを検知すれば、ステップS807へ進み、電磁クラッチ出力部33に対して、電磁クラッチ24cをOFFさせるための指令を出す。
【0292】
ステップS364では、表示・操作部25に設けられた自動モニタ34において、トラクタ1が自動モードから手動モードに切り替わったことを表示させるための指令を出す。これにより、自動モニタ34の表示が消灯するので、作業者は自動モードから手動モードに切り替わったことを確認出来る。
【0293】
一方、ステップS365では、作業者が自動スイッチ30をOFFしたか否かを検知して、1)ONのままであれば、ステップS362aへ戻り、遠目標走行制御を繰り返し、2)OFFを検知すれば、ステップS368へ進み、モータ回転出力部32aに対して、モータ24bの回転を停止させるための指令を出して、ステップS369へ進む。
【0294】
ステップS367では、モータ24bが回転中であるか否かを判定し、回転中であればステップS368へ進み、停止していれば、ステップS807へ進む。
【0295】
ステップS369では、モータ24bの回転が完全に停止してから、ステップS807へ進む様にするために、予め定められた時間が経過するまで待機し、所定時間が経過すれば、ステップS807へ進む。
【0296】
本実施の形態によれば、モータ24bが完全に停止してから、電磁クラッチ24cの電源をOFFするので、確実に電磁クラッチ24cを切り離した後、手動モードに切り替えることが可能となる。
(実施の形態10)
次に、本発明の作業車両の自動走行制御装置の一実施の形態としての、トラクタの自動走行制御装置についてその構成と動作を説明する。
【0297】
上記実施の形態9では、自動スイッチ30の切り替えに伴って動作する電磁クラッチ24cのOFF制御において、モータ24bが完全に停止してから、電磁クラッチ24cの電源をOFFする場合について説明した。これに対して、本実施の形態10では、電磁クラッチ24cを強制的に切り離すことが出来る場合について説明する。
【0298】
従って、本実施の形態10の説明は、従来の遠目標制御処理にも適用出来るし、上記実施の形態で述べた本願発明に係る作業車両の自動走行制御装置の何れにも適用出来るが、ここでは、例えば、上記実施の形態4で述べた本願発明に係る作業車両の自動走行制御装置に適用した場合について説明する。
【0299】
図37は、本実施の形態10の自動走行制御装置の要部の構成を示すブロック図である。
【0300】
尚、本実施の形態10における、車両制御部23に含まれるマイクロコンピュータ23aを中心とした各種制御信号の流れを示す概略ブロック図は、上記実施の形態4で述べた図24と同じであり、また、本実施の形態10のトラクタの自動走行制御装置を用いた自動走行制御システムの動作を説明するためのフローチャートも、以下に説明する電磁クラッチ24bの強制的OFF動作が可能な点を除いて図25と同じである。
【0301】
図37に示す様に、走行制御機構24’には、車両制御部23と、電磁クラッチ24cの間に、電磁クラッチ出力部33と、電磁クラッチ24cに設けられた電磁コイル71(図6(a)参照)を通電するための電源部371と、電源スイッチ372とを備えている。電源スイッチ372は、電磁クラッチ出力部33から出される電源部371への電源OFFの指令の有無に関わらず、強制的に電源部371からの電磁クラッチ24cへの電源の供給を遮断出来るスイッチであり、作業者が手動でON/OFFする構成である。
【0302】
よって、本実施の形態10によれば、例えば、電磁クラッチ出力部33に異常があり、電源部371への電源OFF指令が出力されなかった場合でも、作業者が電源スイッチ372をOFFすることにより、強制的に電源部371からの電源供給が停止し、電磁クラッチ24cを切ることが出来る。従って、異常時においても、自動モードから手動モードに確実に切り替えることが可能となる。
【0303】
尚、上記の構成とは別の構成例として、例えば、電源部371からの電源供給により通電中の電磁コイル71によって、ロータリング28に吸着状態にあるアーマチュア29(図6参照)を、強制的に引き離すための電源を電磁コイルに供給できる電源部(図示省略)を、上記電源部371とは別に設ける構成としても良い。この場合でも、上記と同様の効果を発揮する。
(実施の形態11)
次に、本発明の作業車両の自動走行制御装置の一実施の形態としての、トラクタの自動走行制御装置についてその構成と動作を説明する。
【0304】
上記実施の形態では、表示・操作部25(図2(a)参照)に設けられた自動スイッチ30を利用して、自動モードと手動モードの切り替えを行う場合について説明した。これに対して、本実施の形態11では、自動スイッチ30に代えて、ステアリングハンドル5にステアリングタッチセンサ381を設けた場合について説明する。
【0305】
従って、本実施の形態11の説明は、従来の遠目標制御処理にも適用出来るし、上記実施の形態で述べた本願発明に係る作業車両の自動走行制御装置の何れにも適用出来るが、ここでは、例えば、上記実施の形態4で述べた本願発明に係る作業車両の自動走行制御装置に適用した場合について説明する。
【0306】
図38は、車両制御部23に含まれるマイクロコンピュータ23aを中心とした各種制御信号の流れを示す概略ブロック図である。図38において、上記実施の形態4で述べた図24との主な相違点は、自動スイッチ30に代えて、ステアリングハンドル5の握り部にステアリングタッチセンサ381を設けた点である。
【0307】
ステアリングタッチセンサ381は、作業者がステアリングハンドル5に手を触れたか否かを検知するセンサである。
【0308】
図39は、本実施の形態のトラクタの自動走行制御装置を用いた自動走行制御システムの動作を説明するためのフローチャートである。図25に示すステップと同じ処理のステップには同じ符号を付して、その説明を省略する。
【0309】
以下、図39を用いて、本実施の形態の自動走行制御システムの動作の要部である電磁クラッチの制御について説明する。
【0310】
ステップS391〜S393では、手動モード中に作業者がステアリングハンドル5から手を離して(ステップS392)、一定時間が経過した場合は(ステップS393)、自動モードへの切り替えの意思表示であると判断できるので、ステップS803へ進み、手動モードから自動モードに切り替わる。
【0311】
ステップS803、ステップS251〜S257は、図25と同じであるので説明を省略する。
【0312】
ステップS394〜S395では、自動モードで、例えば遠目標走行制御処理が実行されている際に、作業者がステアリングハンドル5に手を触れた場合、手動モードへの切り替えの意志表示と判断できるので、ステップS807へ進み、自動モードから手動モードに切り替わる。また、ステップS395で、ステアリングハンドル5へのタッチが検出されなければ、ステップS251へ戻り、自動モードによる走行制御を続行する。
【0313】
本実施の形態11によれば、モード切り替えの時に、自動スイッチ30を操作する必要が無く、操作性に優れたトラクタを提供することが出来る。
(実施の形態12)
次に、本発明の作業車両の自動走行制御装置の一実施の形態としての、トラクタの自動走行制御装置についてその構成と動作を説明する。
【0314】
上記実施の形態では、遠目標制御処理に用いる遠目標200の所定周期の点滅は、作業者が遠目標200に設けられた点灯スイッチ203aをONすることにより開始する場合について説明した。これに対して、本実施の形態12では、ステアリング操作を自動モードに切り替えたことにより、又は、手動モードに切り替えたことにより、無線を用いて、遠目標の発光部の動作を自動的に開始させ、又は、停止させる場合について説明する。
【0315】
従って、本実施の形態12の説明は、従来の遠目標制御処理にも適用出来るし、上記実施の形態で述べた本願発明に係る作業車両の自動走行制御装置の何れにも適用出来るが、ここでは、例えば、上記実施の形態3で述べた本願発明に係る作業車両の自動走行制御装置に適用した場合について説明する。
【0316】
図40は、本実施の形態のトラクタ1の自動走行制御装置を用いた、自動走行制御システムを説明するための模式図である。図40に示す様に、本実施の形態では、第1遠目標241と、第2遠目標242が、圃場Hの対向する辺に配置されているとする。また、これら第1遠目標241及び第2遠目標242と、上記実施の形態で述べた遠目標200との主な相違点は、トラクタ1から送信される信号を受信して、点灯動作を開始するための遠目標受信回路241a、242aがそれぞれに内蔵されている点である。
【0317】
図41は、車両制御部23に含まれるマイクロコンピュータ23aを中心とした各種制御信号の流れを示す概略ブロック図である。図41において、上記実施の形態3の車両制御部に含まれるマイクロコンピュータを中心とした各種制御信号の流れを示す概略ブロック図(図4参照)との主な相違点は、第1遠目標点灯出力部411a、第2遠目標点灯出力部412、及び、ON/OFF指令送信回路413等を備えた点である。尚、遠目標点灯出力部は遠目標毎に設けないで、一つにまとめても良い。
【0318】
ON/OFF指令送信回路413は、第1遠目標点灯出力部411からの信号を得て、或いは、第2遠目標点灯出力部412からの信号を得て、トラクタ1の前方にある第1遠目標241、或いは、第2遠目標242に向けて、送信用アンテナ(図示省略)からON/OFF指令を送信する回路である。送信用アンテナは、前方に対して強い指向性を有したアンテナであるので、第1遠目標241に向けてON/OFF指令を送信しても、第2遠目標242の点灯スイッチはON/OFFしない構成である。
【0319】
尚、ON/OFF指令送信回路413は、遠目標毎に送信周波数を変える構成としても良い。この場合、誤点灯を確実に防止出来る。
【0320】
図42は、本実施の形態の自動走行制御システムの動作を説明するためのフローチャートであり、上記実施の形態3の図22と同じステップには同じ符号を付し、その説明を省略する。
【0321】
以下、図42を用いて、本実施の形態の動作を説明する。
【0322】
ステップ815〜ステップS302での処理は、図22と同じである。即ち、作業者が自動スイッチ30をONしたことを検知して(ステップS816)、カメラ位置が中央位置に無ければ中央位置に移動させて(ステップS302)、ステップS421へ進む。
【0323】
ステップS421では、電磁クラッチ24cがONされて、ステップS422へ進み、自動モニタ34がONされて、自動モードに切り替わったことが表示されて、ステップS423に進む。
【0324】
ステップS423では、第1遠目標241が設置されているか否かは、トラクタ1側ではまだ認識出来ていないが、自動スイッチ30がONされているので、第1遠目標点灯出力部411からのON指令をON/OFF指令送信回路413からトラクタ1の前方に向けて送信して、ステップS303へ進む。本実施の形態では、図40に示す様に、第1遠目標241が設置されているので、このON指令を受信して、第1遠目標241の点灯スイッチがONされる。
【0325】
ステップS303〜S305での処理は、図22と同じである。本実施の形態では、第1遠目標241の点灯スイッチがONされたので、その存在を検出して(ステップS303、S304)、電磁クラッチ24cをONして(ステップS305)、ステップS306aへ進む。
【0326】
ステップS306a〜S306bでの処理は、図22のステップS306での処理と同じであり、ステップS307〜S309での処理も、図22のステップS307〜S309と同じである。
【0327】
一方、ステップS310〜S314での処理は、図22のステップS310〜S314と同じである。
【0328】
ステップS424では、自動モニタ34がOFFされて、自動モードから手動モードに切り替えられたことを表示する。
【0329】
ステップS425では、ステップS308で自動スイッチ30がOFFされたことを検知しているので、ON/OFF指令送信回路413からOFF指令が送信されて、第1遠目標241の点灯スイッチがOFFされる。
【0330】
その後、作業者が手動モードでトラクタ1を旋回させて、ステップS815へ戻り、ステップS816でONと判定された後は、上記と同様の処理を実行するが、ステップS423では、第2遠目標242の点灯スイッチをONし、また、ステップS425ではOFFすることになる。
【0331】
尚、第2遠目標242を用いた遠目標制御処理が完了した後は、図40に示す様に遠目標が設置されていないので(ステップS304)、ステップS310へ進み、倣い走行制御処理が実行される(ステップS312)。
【0332】
本実施の形態によれば、遠目標制御処理を開始する前に、遠目標の点灯スイッチをONし、処理が終了すればOFFできるので、操作性が向上すると共に遠目標の電池パック203bの電源の節約が可能となる。
【0333】
次に、遠目標の電源の節約を目的とした別の構成例を説明する。
【0334】
即ち、上記構成では、トラクタ1側のON/OFF指令送信回路413からの指令により、遠目標の点灯スイッチをONすることもOFFすることも出来る構成であったが、これに限らず例えば、遠目標側にタイマ(図示省略)を設けておいて、ON/OFF指令送信回路413からON指令を受信して点灯スイッチがONすると同時にタイマが起動して、所定時間経過後に点灯スイッチをOFFさせる構成としても良い。ここで、所定時間とは、例えば、図40の圃場Hの一行程分の距離と、次の行程に入るまでの旋回距離とを合計した距離を走行するに要する程度の時間であり、圃場Hの広さに応じて、タイマ側で、所定時間を設定できる構成になっている。
【0335】
また、タイマの起動を作業者が行う構成としても良い。
【0336】
これにより、遠目標の点灯スイッチをより簡単な構成で自動的にOFFさせることが出来、電源の節約が可能となる。
【0337】
尚、上記実施の形態では、倣い走行制御処理において、トラクタ1の旋回方向に応じて、カメラ部8を車両本体の左右両端の何れかに移動させる場合について説明したが、これに限らず例えば、カメラ部8をトラクタ1の車両本体中央に固定した構成でも良い。この場合のフローチャートを図43に示す。同図において、図8と同じステップには同じ符号を付した。また、この構成の場合、倣い基準線として、例えば、フレームの中央位置における縦の仮想線と所定の傾き角度をなす複数種類の線分情報を、作業の種類に対応して異なる軌跡の位置情報として、予め記憶部22に格納しておくか、或いは、各作業を実施する毎に、作業者が手動制御によってトラクタ1を一行程前の作業軌跡に平行になるように位置決めしてから、倣い自動走行モードに切り替えることにより、その時点で撮像された軌跡の画像データを基にして、倣い基準線の線分情報を算出し格納する。これによって、作業者が、耕耘作業や畝立て作業などの中から、実施しようとする作業情報を表示・操作部25から入力することで、予め格納されている線分情報の中から対応するものが倣い基準線として抽出されて、或いは、各作業を実施する毎に算出される倣い基準線として、カメラ制御部21に送られる。図43に示すステップS818’では、カメラ制御部21において、上記倣い基準線と仮想線とのなす角度φ等を算出した後は、図8のステップS818と概ね同じ処理となる。ここで、最初に設定された倣い基準線としての線分情報は、トラクタ1が倣い走行制御を開始した後は、所定の時間間隔で撮像されるカメラ画像データに基づいて更新されるか、或いは、トラクタ1の速度に基づいて移動距離を求め、トラクタ1の位置に対応する様に自動的に更新される。これは、トラクタ1の移動に伴い、画像全体における倣い基準線の位置や長さが変化することに対応するためである。
【0338】
これにより、最初の一行程の遠目標認識による自動直進走行から、それ以降の行程の作業軌跡を検出して、それに倣って自動走行する倣い走行制御へと移行させることが出来る。
【0339】
また、上記実施の形態では、トラクタ1の旋回方向に応じて、カメラ部8を車両本体の左右両端の何れかに移動させる場合について説明したが、これに限らず例えば、カメラ部8をトラクタ1の車両本体両端にそれぞれ固定したカメラ構成であっても良い。この場合、例えば、車両本体の両端の何れのカメラの画像データを使用するかを旋回方向に応じて自動的に切り替えるか、又は、作業者が手動でスイッチを切り替える。
【0340】
また、上記実施の形態4では、最初の一行程において目標位置の補正を行う遠目標制御処理を実行した後、倣い走行制御処理を実行する場合について説明したが、これに限らず例えば、それ以降の行程においても遠目標制御処理を行う構成でも良い。この場合、それ以降の行程における遠目標制御処理として、目標位置の補正を行わせても良いし、行わせなくても良い。また、この場合、以降の行程において、最初の行程での出っ張り部HHを回避する動きを継続して行わせるべく、目標位置の補正を行う遠目標制御処理を実行するか、又は、倣い走行制御処理を実行し、最後の行程だけ、目標位置の補正を行わせない様にするために、目標位置の補正を行わない遠目標制御処理を実行する構成としても良い。これにより、最後の行程において、圃場Hの一辺H2に対向する一辺側は出っ張り部が無く、直線である場合の作業に適している。
【0341】
更に、また、二番目以降の行程において、倣い走行制御処理を行う場合、最初の一行程の次の行程においては、出っ張り部HHに対応する部分の作業軌跡は同様に出っ張っているので、上記と同様の倣い走行制御処理を実行すると、その出っ張り部の軌跡の通りに走行するので、その出っ張り部の軌跡を走行する直前で、作業者が自動スイッチ30をOFFして、自動モードから手動モードに切り替えて、自らのハンドル操作により、直進走行を行い、その出っ張り部の軌跡を通過した後は、再び、自動スイッチ30をONして、手動モードから自動モードに変更することにより、二番目の行程以降において、出っ張り部の無いまっすぐな作業軌跡を残すことが出来る。
【0342】
また、上記実施の形態では、一時的に遠目標200の位置を補正して新たな目標を設定するために、カメラ部8による撮像データをカメラ制御部21が画像処理した結果得られた補正量を利用する場合について説明したが、これに限らず例えば、表示・操作部25に設けられたスライド式の手動入力スイッチから、作業者が補正量を入力する構成としても良い。この場合、作業者が、圃場Hの出っ張り部HHの出っ張りの距離を目測して、出っ張り部HHが近づいた時に手動入力スイッチのスライドレバーを対応する数値レベルにセットすることにより、自動的にその出っ張り部HHを回避する様に、一時的に遠目標200の位置を補正して新たな目標を設定する。これにより、上記と同様の効果を発揮する。
【0343】
また、上記実施の形態では、遠目標の発光部が点滅する場合について説明したがこれに限らず、例えば、点灯させたままの構成でも良い。
【0344】
また、上記実施の形態では、発光部の点滅とカメラ部の撮像の同期をとらない構成について説明したが、これに限らず例えば、双方の同期をとる構成でも良い。
【0345】
また、上記実施の形態では、図3(a)、図3(b)に示す様に、高さ調節が可能でかつ3つに分割可能である遠目標200を用いる場合について説明したが、これに限らず例えば、別の構成例として、図43に示すような構成でもよい。図43に示す遠目標200aの構成例の場合、発光部201、制御回路部202及び電源部203が筐体224に収容されている。筐体224は、例えば、馬鈴薯等の収穫物を収容する合成樹脂製の筐体を流用することができる。筐体224の寸法は、例えば、縦約55cm、横約40cmである。筐体224の背面には、制御回路部202及び電源部203が固着されている。制御回路部202及び電源部203の前面には、筐体224の背面と略同一面積を有し、矩形状を呈している仕切板225が設けられている。この仕切板225の略中央には、発光部201が取り付けられている。発光部201は、複数の発光ダイオード(LED)がマトリックス状に所定間隔をあけて配置されて構成されている。LEDとしては、例えば、車両のウインカーに用いられる高輝度でオレンジ色の光を発光するものが好ましい。
【0346】
また、発光部201の縦幅と横幅の比は、例えば、2:1〜4:1の範囲が好ましい。
【0347】
また、発光部201の輪郭形状は、例えば、略矩形状、略楕円状又は略円形状とする。発光部201の輪郭形状を略矩形状とした場合、LEDを、例えば、縦約30cm、横約10cmの範囲に、25行、8列、すなわち、200個配置する。
【0348】
また、本発明の実施の形態によれば、遠目標200を構成する発光部201は、輪郭の形状は、長方形状、楕円形状又は円形状のいずれかであって、輪郭の縦横比が2分の1から4分の1の間である。通常、発光部201の発光部分は面積が大きく、カメラ部8の方向に投射する光量が多いほど、遠方からの検出が有利となる。しかし、発光部201の位置は画像上の発光部201の中心座標によって算出するので、近距離では発光部201の画像が大きくなり、特に横幅が広くなると、検出される位置の精度が低下する傾向となる。そこで、本発明の実施の形態のように、発光部201の発光部分を、縦方向に長く、横方向に狭くすると、面積の拡大と精度の確保の両立が可能となる。一方、発光部201の発光部分が縦方向に長くなり過ぎると、画像上の発光部201の形状が、ノイズ的な要因で誤抽出される画素グループと類似してくるので、輪郭の縦横比は、2分の1から4分の1の間であることが最適である。
【0349】
また、本発明の実施の形態によれば、遠目標200は、黒色などの暗い色で塗装され、かつ、発光部201の発光部分の横幅以上の幅の余白部分を、発光部201の周囲に有する仕切板225を、発光部201の背後に有している。カメラ部8は、上記したように、撮像素子が格子状に配置された構造となっている。図16は遠目標200の一例であるが、検出限界付近の遠い距離では、遠目標200を撮像した画像は小さくなり、1個の撮像素子の大きさは図16に示す1個の格子ほどになり、撮像素子の出力は、1個の格子の中に存在する複数の物体の平均的な明るさとなり、図17のようなモザイク画像の状態になる。
【0350】
発光部201の周囲に背景板がなく、発光部201の背後に明るい物体があると、1個の撮像素子に発光部201と明るい背景の両方が同時に入る状態となり、発光部201が消灯してもその画素は明るい背景の光を受けて輝度が高いままの状態となり、輝度の変化が減少して発光部201の検出が困難となる。そこで、仕切板225を設けると、背後の物体による発光部201の画像への影響を低減することができ、特に、遠方の距離において検出性能が向上する。
【0351】
発光部201の画像は、消灯時には暗い必要があるので、仕切板225は黒色などの光の反射が少ない色であることが望ましい。また、実際のカメラ部8では、レンズの収差などの影響で、ある物体からの光は、その位置の撮像素子のみでなく、周囲の撮像素子にも影響が拡散する。よって、仕切板225の大きさは、最低限、発光部201の発光部分の横幅以上の幅を、発光部201の周囲に有することが望ましい。さらに、筐体224に蓋を取り付け、蓋の裏も黒く塗装し、発光部201使用時には蓋を展開して、仕切板225の拡張として利用しても良い。
【0352】
また、本発明の実施の形態によれば、遠目標200は、その発光部201を直方体の容器状の筐体224の底部又は底部の付近に設けた仕切板225に設置する構造である。遠目標200は、図5に示すように、発光部201の発光体をほぼ垂直に立てて使用する場合が多いと考えられる。直方体の筐体224を用いることにより、遠目標200は、図5に示すように、平坦な場所に置くだけで安定な設置が可能となり、取扱が簡便となる。また、筐体224はそのまま収納用の容器を兼ねることもできる。
【0353】
また、発光部201に直射日光が当たると、太陽光の反射で発光部201の部分が輝き、発光部201が消灯状態でも画像が明るいままとなる。直方体状の筐体224の奥まった所に発光部201を設置することにより、上方と左右にも日除けが付く構造となる。
【0354】
また、上述の実施の形態では、本発明を農用トラクタに適用する例を示したが、これに限定されず、農用トラクタ以外の各種農用車両による作業に適用可能であり、特に、最初の作業行程を高精度に直線的に遠目標による自動走行を行い、以降の行程で遠目標を必要としない倣い走行を行う場合、低速で長時間にわたる直進運転、直線的に畦塗りを行いたい場合や、遠目標に向かう過程で一部に出っ張り部がある場合などに有効である。
【0355】
また、本発明は、農業分野だけでなく、土木や建設分野での作業車両の自動走行制御にも利用可能である。
【0356】
また、上述の実施の形態では、遠目標200をトラクタ1が直進走行すべき走路前方の延長線上に設置するとともに、この遠目標200を撮像するために、カメラ部8をトラクタ1のフロントガラス10の中央上方であって、トラクタ1の前方正面に向けて車両中心線MC上に搭載する例を示したが、これに限定されない。例えば、遠目標200をトラクタ1が直進走行すべき走路後方の延長線上に設置するとともに、この遠目標200を撮像するために、カメラ部8をトラクタ1の室内又はルーフ上等であって、トラクタ1の後方正面に向けて車両中心線MC上に搭載しても良い。
【0357】
以上、本発明の実施の形態について図面を参照して詳述してきたが、具体的な構成はこの実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても本発明に含まれる。
【産業上の利用可能性】
【0358】
本発明にかかる作業車両の自動走行制御装置は、自動走行による作業に必要な目標の数量を低減出来、しかもその目標の設置にかかる手間も低減出来るという効果を有し、トラクタ等の農用の作業車両や、土木・建築分野における作業車両等の自動走行制御装置等として有用である。
【符号の説明】
【0359】
1 乗用型トラクタ(トラクタ)
2 ボンネット
3 前輪
4 後輪
5 ステアリングハンドル
6 操作ボックス
7 運転席
8 カメラ部
9 運転室
10 フロントガラス
11 カメラ支持部材
12 トップリンク
13 ロアリンク
【技術分野】
【0001】
本発明は、トラクタ等の農用の作業車両や、土木・建築分野における作業車両等の自動走行制御装置に関するものである。
【背景技術】
【0002】
近年、農業人口が減少する傾向にあり、また熟練農業者が減少し、その雇用も難しい状況にあるため、圃場Hにおける播種や畝立てなどの作業行程において、移動車両の1つである農用車両を自動的に直進走行させる技術への要求が高まってきている。
【0003】
そこで、従来、以下に示す農用車両の直進制御法が開発されている(例えば、特許文献1参照)。
【0004】
図45は、田植え用の作業車両Vが自動走行する走行工程、及び目標物としての発光装置101の設置位置を示す概略平面図であり、図46は、田植え用の作業車両Vと発光装置の関係を示す概略側面図である。
【0005】
図46に示すように、作業車両Vは、左右一対の前輪103及び後輪104を備えた車体105の後部に、苗植付装置106が、昇降自在で且つ駆動停止自在に設けられている。また、地上側に設置された発光装置101の光源102を撮像する撮像装置Sが、その光軸を車体105の前後方向に沿わせ且つ車体105の前方側を撮像する状態で作業車両Vの車体105の前部側上部で幅方向の中央位置に設置されている。
【0006】
また、図46に示す様に、発光装置101は、電球からなる光源102と、光源102の外周位置に設けられ、その光源102から発光される光を所定偏光角方向(例えば、垂直方向)に偏光させる円筒状の偏光フィルタ107とを備えている。
【0007】
以上の構成のもとで、図45に示す様に、田植え用の作業車両Vが圃場内に設定された互いに平行に並ぶ直線状の各走行行程に沿って自動走行するように誘導するために、その誘導の際の目標となる発光体としての光源102を有する発光装置101が、各走行行程の終端側に設置されている。尚、各走行行程の長さ方向に平行で且つ光源102の中心を通る直線が走行基準線Jとして設定されている。
【0008】
また、図45に示す様に、田植え用の作業車両Vは、所定範囲の圃場Hにおける植え付け作業を連続して自動的に行えるように、各走行行程の端部において180度方向転換しながら各走行行程を往復走行するので、発光装置101は隣接する走行行程では反対側の端部にそれぞれ設置されている。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開平7−170809号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかし、この様な従来の作業車両の自動走行の構成では、圃場内を往復走行する際に、各走行工程の端にそれぞれ、目標としての発光装置101を配置する必要がある。そのため、発光装置101を多数個用意し無ければならず、コスト的に負担が大きいという問題があった。また、作業を開始するにあたって、多数の発光装置101を圃場Hの対面側にそれぞれ配置しなければならず、圃場Hが広ければかなりの手間がかかるという問題もあった。
【0011】
本発明は、以上従来の作業車両のこの様な課題に鑑み、自動走行による作業に必要な目標の数量を低減出来、しかもその目標の設置の手間も低減出来る、作業車両の自動走行制御装置を提供することを目的とする。
【課題を解決するための手段】
【0012】
上記課題を解決するために、第1の本発明は、
作業車両に設けられた撮像ユニットと、
前記撮像ユニットにより撮像される予め設置された目標の画像情報に基づいて、直進走行を行う第1の走行モードと、前記撮像ユニットにより撮像される作業の痕跡の画像情報に基づいて、倣い走行を行う第2の走行モードとを有する、前記作業車両の走行制御を行う走行制御ユニットとを備え、
前記走行制御ユニットは、前記第1の走行モードにより直進走行を行わせた後、前記第1の走行モードが解除され、前記作業車両が旋回された後、前記第2の走行モードにより倣い走行を行わせる、作業車両の自動走行制御装置である。
【0013】
また、第2の本発明は、
前記撮像ユニットは、カメラと、前記カメラを移動させるカメラ移動機構とを備える、上記第1の本発明の作業車両の自動走行制御装置である。
【発明の効果】
【0014】
上記本発明の構成によれば、例えば、所定の作業の最初の工程は、作業車両の前方に予め設置された目標の画像情報に基づく直進走行(第1の走行モード)を行わせ、次の工程は、前の工程において形成された作業の痕跡の画像を撮像ユニットから取得して、その画像情報に基づき行われる倣い走行(第2の走行モード)に切り替わる。
【0015】
これにより、予め用意する目標は、従来の場合は複数個用意していたが、本願発明の場合は1個あればよく、また、その設置の手間が従来に比べて低減出来るという効果を発揮する。
【図面の簡単な説明】
【0016】
【図1】本発明の実施の形態1における乗用型トラクタ1の外観を示す側面図
【図2】(a):本実施の形態における自動走行制御装置の要部の概略構成、及び遠目標との関係を示すための模式図、(b):同装置の要部の構成を示すブロック図
【図3】(a):本実施の形態における遠目標の正面図、(b):本実施の形態における遠目標の側面図、(c):遠目標を構成する表示ユニットのブロック図
【図4】本実施の形態における車両制御部に含まれるマイクロコンピュータを中心とした各種制御信号の流れを示す概略ブロック図
【図5】本実施の形態におけるステアリング機構の概略側面図
【図6】(a):本実施の形態におけるステアリングハンドルの自動操舵用駆動装置の概略構成図、(b):図6(a)中の矢印A方向から見た概略矢視構成図
【図7】本実施の形態のトラクタの自動走行制御装置を用いた、自動走行制御システムを説明するための模式図
【図8】本実施の形態における自動走行制御システムの動作を説明するためのフローチャート
【図9】本実施の形態におけるカメラ制御部が実行する遠目標検出処理を示すフローチャート
【図10】本実施の形態におけるカメラ制御部が実行する遠目標検出処理を示すフローチャート
【図11】本実施の形態における前フレームの画像の一例を示す図
【図12】本実施の形態における現フレームの画像の一例を示す図
【図13】(a)−(c):本実施の形態における、現フレームと前フレームとの遠方目標候補の抽出処理、現フレームと前々フレームとの遠方目標候補の抽出処理及び、統合処理を説明するための概念図
【図14】本実施の形態における、抽出した遠目標の画像の状態を示す説明図
【図15】本実施の形態における、車体マーカーが撮像された画像の一例を示す図
【図16】本実施の形態の、遠距離における遠目標の画像の状態を説明する図
【図17】本実施の形態の、遠距離における遠目標を構成する発光部の拡大画像の一例を示す図
【図18】本実施の形態における車体マーカーの一例を示す概略図
【図19】本実施の形態における自動走行制御の実験結果の一例として形成された畝の位置と遠目標の位置を示す図
【図20】本発明の実施の形態2における自動走行制御システムの動作を説明するためのフローチャート
【図21】実施の形態2の変形例の自動走行制御システムの動作を説明するためのフローチャート
【図22】本発明の実施の形態3における自動走行制御システムの動作を説明するためのフローチャート
【図23】本発明の実施の形態4における、トラクタの自動走行制御装置を用いた自動走行制御システムを説明するための模式図
【図24】本実施の形態4における、車両制御部に含まれるマイクロコンピュータを中心とした各種制御信号の流れを示す概略ブロック図
【図25】本実施の形態4における、トラクタの自動走行制御装置を用いた自動走行制御システムの動作を説明するためのフローチャート
【図26】本発明の実施の形態5における、車両制御部に含まれるマイクロコンピュータを中心とした各種制御信号の流れを示す概略ブロック図
【図27】本実施の形態5における、トラクタの自動走行制御装置を用いた自動走行制御システムの動作を説明するためのフローチャート
【図28】本発明の実施の形態6における、トラクタの自動走行制御装置を用いた自動走行制御システムの動作を説明するためのフローチャート
【図29】本発明の実施の形態7における、車両制御部に含まれるマイクロコンピュータを中心とした各種制御信号の流れを示す概略ブロック図
【図30】本実施の形態7における、トラクタの自動走行制御装置を用いた自動走行制御システムの動作を説明するためのフローチャート
【図31】本発明の実施の形態8において、畦塗り作業を実施する場合の4つの遠目標の配置状況を示す模式図
【図32】本実施の形態8における、車両制御部に含まれるマイクロコンピュータを中心とした各種制御信号の流れを示す概略ブロック図
【図33】本実施の形態8における、トラクタの自動走行制御装置を用いた自動走行制御システムの動作を説明するためのフローチャート
【図34】本実施の形態8における、トラクタが畦塗り作業を開始した時点で撮像したカメラ画像を説明するための概略模式図
【図35】本発明の実施の形態9における、車両制御部に含まれるマイクロコンピュータを中心とした各種制御信号の流れを示す概略ブロック図
【図36】本実施の形態9における、トラクタの自動走行制御装置を用いた自動走行制御システムの動作を説明するためのフローチャート
【図37】本発明の実施の形態10における、自動走行制御装置の要部の構成を示すブロック図
【図38】本発明の実施の形態11における、車両制御部に含まれるマイクロコンピュータを中心とした各種制御信号の流れを示す概略ブロック図
【図39】本実施の形態11における、トラクタの自動走行制御装置を用いた自動走行制御システムの動作を説明するためのフローチャート
【図40】本発明の実施の形態12における、トラクタの自動走行制御装置を用いた自動走行制御システムを説明するための模式図
【図41】本発明の実施の形態12における、車両制御部に含まれるマイクロコンピュータを中心とした各種制御信号の流れを示す概略ブロック図
【図42】本実施の形態12における、トラクタの自動走行制御装置を用いた自動走行制御システムの動作を説明するためのフローチャート
【図43】本発明の他の実施の形態における自動走行制御システムの動作を説明するためのフローチャート
【図44】本実施の形態における遠目標の別の構成例を示す斜視図
【図45】従来の田植え用の作業車両が自動走行する走行工程、及び目標物としての発光装置の設置位置を示す概略平面図
【図46】従来の田植え用の作業車両と発光装置の関係を示す概略側面図
【発明を実施するための形態】
【0017】
(実施の形態1)
以下、図面を参照しながら、本発明の作業車両の自動走行制御装置の一実施の形態としての、乗用型トラクタの自動走行制御装置についてその構成と動作を説明する。
【0018】
本実施の形態では、まず、最初に(I)として、図1〜図8を用いて、乗用型トラクタの自動走行制御装置についてその構成と動作を説明する。
【0019】
次に、(II)として、図9〜19を用いて、遠目標制御処理を中心に画像処理の具体例を説明し、最後に、(III)として、倣い走行制御処理を具体的に説明する。
(I)以下、図1〜図8を用いて、乗用型トラクタの自動走行制御装置についてその構成と動作を説明する。
【0020】
図1は、本実施の形態の乗用型トラクタ1(以下、単にトラクタ1と呼ぶ)の外観を示す側面図である。
【0021】
また、図2(a)は、本実施の形態の自動走行制御装置の要部の概略構成、及び遠目標200との関係を示すための模式図であり、図2(b)は、同要部の構成を示すブロック図である。
【0022】
図1に示す様に、本実施の形態のトラクタ1は、トラクタ車体のボンネット2内にエンジン(図示省略)を搭載し、このエンジンの回転駆動力を変速装置(図示省略)に伝え、そこで減速された回転駆動力を前輪3と後輪4とに伝える構成としている。
【0023】
ステアリングハンドル5は、これの旋回操作によって、左右一対の前輪4を繰向操舵する構成としている。このステアリングハンドル5の前側に操作ボックス6を、後方には運転席7を配置している。尚、ステアリングハンドル5については、更に後述する。
【0024】
カメラ部8は、撮像方向がトラクタ1の進行方向に向くように、運転室9のフロントガラス10の取り付けフレームの上方に固定されたカメラ支持部材11により支持されており、且つ、トラクタ車体の左右幅方向に移動可能に取り付けられている。また、カメラ部8は、初期位置としてトラクタ車体の左右幅方向の中央位置にくる様に配置され、水平線が視野に入るように、浅い俯角で取り付けられている。
【0025】
また、カメラ支持部材11は、長尺の板状部材であり、その下面には、歯切りをしたラック(図示省略)が形成されている。一方、カメラ部8には、カメラ駆動モータが取り付けられており、そのカメラ駆動モータの回転軸には小口径の円形歯車が固定されており、カメラ支持部材11のラックと嵌合するように取り付けられている。
【0026】
また、カメラ支持部材11には、両端部と中央部にはカメラ部8の位置を検知できるカメラ位置センサ31(図4参照)がそれぞれ配置されている。
【0027】
尚、カメラ部8の左右幅方向の移動範囲は、一行程前にトラクタ1により形成された耕耘軌跡等の作業軌跡の画像がカメラ視野の中央で撮像されるように設定されている。即ち、具体的には、両端部に位置するカメラ位置センサ31は、カメラ部8が撮像する画像において、一行程前の作業軌跡の画像がカメラ視野の中央に来るように、作業者により、左右方向への位置調整ができる様にスライド可能に配置されている。この様な構成とした理由は、トラクタ1の作業内容によって、トラクタ1の車両幅方向を基準とした場合の作業軌跡の位置が異なることを考慮したものである。
【0028】
また、トラクタ1のボンネット2の先端中央には、図1及び図2に示すように、車体マーカー2aが取り付けられている。本実施の形態では、車体マーカー2aは、略三角錐形状を呈している。
【0029】
図1の構成例では、同トラクタ1の後側には、耕耘作業機Rが着脱可能に取り付けられている。耕耘作業機Rは、同トラクタ1に対して、トップリンク12やロアリンク13等の三点リンク機構を介して連結されている。尚、これらの連結を外せば、耕耘作業機Rに代えて、畦塗り機、畝立て機、あるいはロータリ作業機などを連結することが可能である。
【0030】
次に、本実施の形態のトラクタ1に搭載された自動走行制御装置20を用いた自動走行制御システムは、図2(a)に示す様に、自動走行制御装置20(図2(b)参照)と、遠目標200(図3(a)〜図3(c)参照)とから概略構成されている。
【0031】
自動走行制御装置20は、カメラ部8と、カメラ制御部21と、記憶部22と、車両制御部23と、走行制御機構24と、表示・操作部25とから概略構成されている。
【0032】
カメラ部8は、例えば、撮像素子、光学系等を有し、遠目標200や、一行程前の作業軌跡を撮影し、撮影した画像に対応したアナログの画像信号を1フレームごとに出力する。撮像素子は、例えば、CCD、CMOS等からなり、マトリックス状に所定間隔をあけて配置されている。
【0033】
カメラ制御部21は、カメラ部8の撮像に関する制御、及びカメラ部8により取得された画像データの画像処理などを行う手段である。記憶部22は画像処理に関するデータや、画像処理に必要なプログラムなどを記憶する手段である。
【0034】
車両制御部23は、トラクタ1の自動走行に関する制御を行う手段である。走行制御機構24は、自動走行時にステアリングハンドル5を自動回転させるためのモータ駆動ユニット24aと、操舵装置124と、ステアリング切れ角センサ24dとから概略構成されている。また、操舵装置124は、モータ24bと、モータ24bの回転駆動力をステアリングハンドル5側に伝達するために、電源が入って動作する電磁クラッチ24cとから概略構成されている。
【0035】
表示・操作部25は、運転席7に座った操作者が、トラクタ1の動作状態を確認したり、動作モードなどを設定・切り替えるための手段である。
【0036】
また、遠目標200は、図3(a)、図3(b)に示す様に、基板上にLEDを配置した光源を有する表示ユニット210と、表示ユニット210の背面に配置された長方形の背景板220と、表示ユニット210を地面に配置するための三脚230とから概略構成されている。
【0037】
表示ユニット210、背景板220、及び三脚230は分割可能であり、コンパクトにまとめて持ち運びが容易に出来、また、組み立て設置も簡単に行うことが出来る構成である。更に、圃場Hの条件に合わせて、三脚230による高さ調整や、背景板220を取り付けるか否かを自由に設定出来る。
【0038】
表示ユニット210は、図3(c)に示す様に、所定の周期で点滅を繰り返すLED基板を含む発光部201と、発光部201の点滅を制御する制御回路部202と、発光部201の点滅を開始させるための、点灯スイッチ203aと電池パック203bとを含む電源部203から概略構成されている。
【0039】
ここで、図3(a)は、遠目標200の正面図であり、図3(b)は、遠目標200の側面図であり、図3(c)は、表示ユニット210のブロック図である。
【0040】
本実施の形態に係るトラクタ1の自動走行制御システムでは、検出可能な遠目標200の距離は、国内の圃場の大きさを考慮して、100m以上の距離を目安とし、一方、近傍側は5m程度まで検出可能であれば実用的に十分と考えられる。
【0041】
尚、遠目標200の別の構成例については更に後述する。
【0042】
次に、図4は、車両制御部23に含まれるマイクロコンピュータ23aを中心とした各種制御信号の流れを示す概略ブロック図である。
【0043】
図4に示す様に、自動スイッチ30は、表示・操作部25(図2(a)参照)に設けられており、操作者が、運転モードを手動モードから自動モードに切り替えるためのスイッチである。モータ回転出力部32a及び、モータ回転方向切り替え出力部32bは、ステアリングハンドル5を回転させるためのモータ駆動ユニット24aへの信号を出力する手段である。
【0044】
また、電磁クラッチ出力部33は、電磁クラッチ24cをON(作動)するために電磁コイルに対して通電を行う手段である。尚、電磁クラッチ24cについては、更に後述する。
【0045】
また、自動モニタ34は、トラクタ1を自動モードで運転中において、表示・操作部25上に、その運転モードを表示するモニタ手段である。また、受信モニタ35は、表示・操作部25上に、カメラ部8からの受信信号が、自動モードにおいて、正常に自動走行制御を司る状態であることを知らせるモニタ手段である。ブザー36は、自動モードで運転中において、遠目標200が所定距離以内に近づいた場合、操作者に注意を喚起するために、警報音を鳴らすための手段である。カメラ駆動モータ出力部37は、カメラ部8(図2(b)参照)の位置を移動させるための制御信号をカメラ制御部21に出力するための手段である。
【0046】
ここで、図5、図6(a)、(b)を用いて、ステアリングハンドル5及び、電磁クラッチ24cについて、更に説明する。図5は、ステアリング機構の概略側面図である。
【0047】
図5に示す様に、ステアリングハンドル5のシャフト61の軸心周りに、シャフト61に固定された円盤状の従動スプロケット62が設けられている。一方、従動スプロケット62より小径の円盤状の駆動スプロケット66は、正逆転モータ63からの駆動力が、第1ギヤ64a、第2ギヤ64b、中間軸65、及び電磁クラッチ24cを介して、伝達されたり、又は伝達を解除されたりできる様に配置されている。具体的には、電磁クラッチ24cがON(作動)した時、即ち、電磁クラッチ24cは、電磁コイル71(図6(a)参照)に通電されると正逆転モータ63からの駆動力を駆動スプロケット66に伝達するための伝達経路を形成し、また、電磁クラッチ24cがOFFした時、即ち、電磁コイル71が非通電になると上記駆動力の伝達経路を解除する様に構成されている。駆動スプロケット66と従動スプロケット62の間にはタイミングベルト67が掛けられている。
【0048】
上記構成により、電磁クラッチ24cがONしている時は、正逆転モータ63の駆動力が駆動スプロケット66に伝達されて、その駆動力がタイミングベルト67を介して従動スプロケット62に伝達されて、ステアリングハンドル5のシャフト61が回動する。
【0049】
また、電磁クラッチ24cがOFFしている時は、正逆転モータ63が駆動中であったとしても、その駆動力の伝達経路が解除されているので、その駆動力が駆動スプロケット66に伝達されることは無い。即ち、作業者によるステアリングハンドル5の操作にそのまま起因して、ステアリングハンドル5のシャフト61が回動する。
【0050】
次に、上記の電磁クラッチ24cを中心とした本実施の形態に用いる自動操舵用駆動装置の構成と動作について、図6(a)、図6(b)を用いて更に具体的に説明する。
【0051】
図6(a)はステアリングハンドル5の自動操舵用駆動装置の概略構成図であり、図6(b)は図6(a)中の矢印A方向からの概略矢視構成図である。
【0052】
図6(a)に示す様に、ステアリングハンドル5のシャフト61の軸心周りに該シャフト61と一体的に従動スプロケット62が設けられている。また、シャフト61を支持するステアリングポスト70に対して着脱自在に運転席側に張り出すようにカバー部材70aを構成し、該カバー部材70a内には、シャフト61の軸方向に平行する方向に中間軸65を配置している。
【0053】
中間軸65と一体である駆動スプロケット66と従動スプロケット62の間にはタイミングベルト67が掛けられているので、正逆転モータ63により駆動スプロケット66が駆動されると、その駆動力が従動スプロケット62を経由してステアリングハンドル5のシャフト61が回動する。
【0054】
駆動スプロケット66より下方には電磁コイル71を有する電磁クラッチ24cが取り付けられており、該電磁クラッチ24cの近傍に正逆転モータ63及び該正逆転モータ63のモータ連動軸63aと一体の第1ギア64aが配置されている。
【0055】
図6(b)に示す様に、中間軸65に遊嵌状態にアーマチュア72とロータリング73が取り付けられ、ロータリング73側には第2ギア64bが一体的に形成され、第1ギア64aと第2ギア64bが常時噛合している。アーマチュア72は、駆動スプロケット66と縦方向ボルト等の伝達部材を介して一体的に設けられている。
【0056】
上記構成のもとで、電磁クラッチ24cがON(作動)のとき、即ち、電磁コイル71に通電すると、ロータリング73にアーマチュア72が吸引され付着する。また、正逆転モータ63の駆動で、その連動軸63aに連動した第1ギア64aが駆動し、第1ギア64aに噛合する第2ギア64bが駆動し、第2ギア64bの駆動に伴い回転するロータリング73の駆動で、上記吸着状態のアーマチュア72が駆動し、アーマチュア72と一体の駆動スプロケット66が回転する。尚、駆動スプロケット66は、アーマチュア72、ロータリング73を遊嵌支持する中間軸65に固着されている。
【0057】
一方、電磁クラッチ24cがOFF(非作動)のときは、電磁コイル71が非通電となるため、ロータリング73がアーマチュア72から離れる。これにより、正逆転モータ63が駆動中であっても、第1ギア64aから第2ギア64bを経由してロータリング73までが回転駆動力が伝達されるだけである。
【0058】
尚、カバー部材70aは、ステアリングポスト70に対して適宜の手段で着脱自在に取り付けられる側面視逆L型のモータ取り付けベースプレート74を介して着脱自在に固着されている。
【0059】
また、電磁クラッチ24cの下面を受けるためのベースプレート75を支持すべくステアリングポスト70側から延出されたベースプレートブラケット76がステアリングポスト70に取り付けられている。
【0060】
また、正逆転モータ63のフランジ56には水平方向に配置される正逆転モータ63の本体軸(図示省略)から第1ギヤ64aに変換するベベルギヤ群を収容するギア伝動部51a、51bが設けられている。
【0061】
また、上記電磁クラッチ24cのON・OFFの動作は、作業者が自動スイッチ30をON・OFFすることにより切り替えられる。この点については、図8において更に後述する。
【0062】
本実施の形態では、中間軸65と正逆転モータ63との間の動力の伝達又は非伝達用の電磁クラッチ24cと駆動スプロケット66とタイミングベルト67を、既存のステアリングハンドル部に外付け可能な構造であるため、汎用性の高い自動操舵装置を実現出来る。
【0063】
尚、本実施の形態のカメラ部8とカメラ支持部材11とは、本発明の撮像ユニットに対応し、本実施の形態のカメラ制御部21と車両制御部23とは、本発明の走行制御ユニットに対応する。また、カメラ部8に設けられたカメラ駆動モータとカメラ支持部材11とは、本発明のカメラ移動機構に対応する。また、本実施の形態の遠目標制御処理は、本発明の第1の走行モードでの制御に対応し、本実施の形態の倣い走行制御処理は、本発明の第2の走行モードでの制御に対応する。
【0064】
以上の構成のもとで、図7、図8を用いて、本実施の形態のトラクタ1の自動走行制御装置を用いたシステムの動作を説明する。尚、ここでのトラクタ1の作業は、耕耘作業であるとする。
【0065】
図7は、本実施の形態のトラクタ1の自動走行制御装置を用いた、自動走行制御システムを説明するための模式図であり、図8は、その動作を説明するためのフローチャートである。尚、図7は模式図であるため、カメラ部8及びカメラ支持部材11が、トラクタ1のボンネット2より前方に配置されているかの様に描かれているが、本実施の形態では、カメラ部8及びカメラ支持部材11は、図1で説明した通り、フロントガラス10の取り付けフレームの上方に固定されている。
【0066】
まず、作業者は、図7に示すように、カメラ部8は初期位置が、トラクタ1の車両中心線MC1(図7では、二点鎖線で表した)上に設定されているので、トラクタ1を誘導するべき軌跡(以下「誘導軌跡」という。)GL1の延長線上(図7では、破線で表した)に、発光部201の中心線がくるように、発光部201をトラクタ1に対向させて遠目標200を載置する。図7の例では、車両中心線MC1と誘導軌跡GL1とは重なる。
【0067】
また、作業者は、カメラ部8が撮像する画像において、一行程前の耕耘作業軌跡KLの画像がカメラ視野の中央に来るようにするために、両端部に位置するカメラ位置センサ31を、位置調整する。この位置は、作業の種類に応じて、カメラ支持部材11に予め印が付されているので、その印を利用して、各カメラ位置センサ31をスライドさせることにより簡単に実施できる。
【0068】
尚、カメラ部8がトラクタ1の車両中心線MC1から左又は右にオフセットして搭載されている場合には、作業者は、カメラ部8の搭載位置に起因するオフセット量と同じ量だけ、発光部201の中心線を誘導軌跡GL1に対してオフセットした位置において、発光部201をトラクタ1に対向させて遠目標200を載置する。
【0069】
次に、作業者は、遠目標200を構成する電源部203の点灯スイッチ203aをONして、発光部201の点滅動作を開始させる。今の場合、カメラ部8の撮像周期が約0.1秒であるとして、発光部201を構成するすべてのLEDを、一斉に、約0.2秒間の点灯と約0.2秒間の消灯とを繰り返すように制御回路部202を設定する。これにより、制御回路部202により制御され、発光部201を構成するすべてのLEDは、一斉に、約0.2秒間の点灯と約0.2秒間の消灯とを繰り返す。
【0070】
次に、作業者は、トラクタ1を運転して圃場Hに乗り入れ、図7に示すように、誘導軌跡GL1上に、前進方向が遠目標200に対向するように位置づけた後、表示・操作部25に設けられている自動スイッチ30をONして、自動走行制御装置20を起動する。これにより、カメラ部8が撮像周期約0.1秒で遠目標200の撮影を開始するとともに、カメラ制御部21は、各部を初期化した後、遠目標検出処理を開始する。
【0071】
次に、自動スイッチ30をONした時点からの動作を、図8を用いて更に説明する。
【0072】
ステップS801は、自動スイッチ30がONされた旨の信号を読み込むステップであり、ステップS802へ進む。
【0073】
ステップS802は、自動スイッチ30がONされたか否かを判断し、ONされたと判断すれば、ステップS803へ進む。
【0074】
ステップS803では、マイクロコンピュータ23aから所定の出力回路を介して、電磁クラッチ出力部33からの出力により、電磁クラッチ24cがON(作動)する。
【0075】
ステップS804では、遠目標200の画像を目標とした自動直進走行を実施するために、作業開始の一行程において、遠目標制御処理を行う。ステップS804の遠目標制御処理は、作業者が自動スイッチ30をOFFするまでは、継続する(ステップS805、S806参照)。
【0076】
尚、遠目標制御処理については、遠目標検出処理として更に図9、図10等を用いて後述する。
【0077】
作業者は、トラクタ1が自動直進走行により、圃場Hの一方の端H1の手前まで来ると、トラクタ1を左回りに旋回させるために、一旦、自動スイッチ30をOFFすることにより、自動走行モードから手動走行モードに切り替える。
【0078】
ステップS806で、自動スイッチ30からOFF信号が入力されたと判断すると、ステップS807へ進み、電磁クラッチ24cがOFFされて、ステアリングハンドル5は、作業者によるハンドルの手動操作を受け付ける。これにより、トラクタ1は手動走行モードによって、左回りに180度旋回する。
【0079】
ステップS808では、ステアリング切れ角センサ24dが、作業者によるステアリングハンドル5の回転角度を検知し、ステップS809では、その検知データを利用して、トラクタ1の旋回方向を判定する。ここでは、旋回方向は、左回転であると判定されて、ステップS810へ進む。
【0080】
ステップS810では、旋回方向の判定結果が左回転であれば、カメラ部8をカメラ支持部材11の左端に移動させるための指令を、また、判定結果が右回転であれば、カメラ部8をカメラ支持部材11の右端に移動させるための指令を、モータ回転方向切り替え出力部32bからカメラ部8へ出力する。
【0081】
更に、ステップS811では、モータ回転出力部32aからカメラ部8に対して回転指令を出力し、次に、ステップS813では、カメラ位置センサ31からの出力信号(ステップS812参照)を利用して、予め位置調整をした設定位置までカメラ部8が移動したか否かを判定し、未だ、設定位置に達していないと判定すれば、ステップS811に戻って、カメラ部8への回転指令を継続し、設定位置に達したと判定すれば、ステップS814へ進み、カメラ部8の移動が完了する。
【0082】
次に、ステップS815では、カメラ部8の移動が完了した後に、作業者による自動スイッチ30からの入力信号を読み込み、ステップS816では、その信号がONか否かを判定して、ONであれば、ステップS817へ進み、電磁クラッチ24cをON(作動)させて、ステップS818へ進む。
【0083】
ステップS818では、一行程前の耕耘作業軌跡KLの画像がカメラ視野の中央に来るように倣い走行制御処理を実行する。
【0084】
尚、その後の行程における、処理については、実施の形態2で説明する。
【0085】
この様に、本実施の形態では、作業開始の最初の一行程では、遠目標を画像認識することにより、自動直進走行を実行するために遠目標制御処理を実施し、その後、作業者が自動走行モードから手動走行モードに切り替えて、トラクタ1を180度旋回させて、次の工程を開始するために、再び、手動走行モードから自動走行モードに切り替えた場合は、遠目標制御処理ではなく、倣い走行制御処理を行うものである。
【0086】
これにより、自動走行による作業に必要な遠目標の数量を低減出来、しかもその遠目標の設置にかかる手間も低減出来るという効果を発揮する。
【0087】
更に、本実施の形態では、遠目標制御処理により、一行程が終了した後、倣い走行制御処理に切り替える前に、カメラ部8の位置を移動させておく構成としたことにより、カメラ部8の位置を自動で適切な位置に設定することが出来、従来の遠目標制御処理のみによる場合と、同等の画像による位置検出性能が得られる。
(II)次に、本実施の形態に係るトラクタ1の自動走行制御システムにおいて実行する画像処理について、図8のステップS804で述べた遠目標制御処理を中心に要部の構成、及び動作について更に具体的に説明する。
【0088】
上述したカメラ制御部(画像処理部)21は、中央処理装置(CPU)、デジタルシグナルプロセッサ(DSP)、シーケンサ等を有している。カメラ制御部21は、記憶部22に記憶されている遠目標検出プログラムや、一行程前の作業軌跡を検出するためのプログラム等に基づいて、遠目標検出処理や、倣い走行制御に必要な画像処理を実行することにより、カメラ部8から出力されるアナログの画像信号をデジタルの画像データにアナログ/デジタル変換処理した後、処理・演算して、得られた画像データにおける遠目標200の位置又は、一行程前の作業軌跡を検出し、遠目標200の位置情報又は、一行程前の作業軌跡の位置情報を車両制御部23に供給する。
【0089】
尚、カメラ部8は、ステレオカメラなどの複数の撮像素子を有し、それら複数の撮像素子の内の1つの撮像素子から得られる画像を処理対象とする場合も同様に本発明の一実施の形態である。
【0090】
カメラ部8から得られる画像のうち、遠目標200の検出処理が可能な範囲は、例えば、横512画素、縦400画素である。一行程前の作業軌跡を検出処理可能な範囲もこれと同様、例えば、横512画素、縦400画素である。また、カメラ部8の視野角は、例えば、横約26°程度、縦約20°程度である。
【0091】
例えば、カメラ制御部21がCPUを有している場合、記憶部22から遠目標検出プログラムが読み出されると、カメラ制御部21に読み込まれ、カメラ制御部21の動作を制御する。カメラ制御部21は、遠目標検出プログラムが起動されると、遠目標検出プログラムの制御により、上記した遠目標検出処理を実行するのである。
【0092】
記憶部22は、RAMやROM、あるいはフラッシュメモリ等の半導体メモリからなる。記憶部22には、カメラ制御部21が実行する遠目標検出プログラムや、一行程前の作業軌跡を検出するためのプログラム等、画像処理に必要なその他のプログラム、及び、カメラ制御部21から供給されるフレームごとの画像データ等が記憶される。また、記憶部22は、カメラ制御部21が遠目標検出プログラム等の画像処理に必要なプログラムを実行する際に作業用として使用される。なお、記憶部22に記憶される各種プログラムや一部のデータについては、カメラ制御部21を構成するCPU等の内部に設けられたメモリに記憶されるよう構成しても良い。
【0093】
車両制御部23は、CPU、DSP、シーケンサ等を有している。車両制御部23は、カメラ制御部21から供給される、例えば、遠目標200の位置情報に基づいて、走行制御機構24を制御して、トラクタ1を遠目標200に向けて走行制御する。なお、走行制御機構24については、公知の機構を利用しても良い。表示・操作部25は、例えば、液晶パネル、各種スイッチ、各種ボタンなどから構成され、作業者が自動走行制御装置20を起動したり、各種設定をしたりする際に用いられる。
【0094】
以上説明した自動走行制御装置20が搭載されたトラクタ1は、図1及び図2に示す圃場H内において耕耘や播種や畝立てなどの作業行程を行うものである。
【0095】
一方、上述した通り、遠目標200は、図2(a)、図7に示すように、圃場H近傍の地面上に、正面を圃場H側に向けて載置されている。具体的には、圃場Hが図7に示す矩形状を呈しており、圃場Hを構成する矩形領域の一方の辺H2側からトラクタ1が作業行程を行う場合、例えば、遠目標200は、圃場Hを構成する矩形領域の一方の端H1に接するとともに、トラクタ1が最初の作業行程を行う際の車両中心線MC1の延長線上に載置される。
【0096】
制御回路部202は、発光部201を構成するすべてのLEDを所定の周期で点滅制御する。
【0097】
尚、遠目標の発光部201には、LEDが、例えば、縦約30cm、横約10cmの範囲に、25行、8列、すなわち、200個配置されているものとする。
【0098】
この所定の周期は、カメラ部8の撮像周期と最大露光時間とを合計した時間以上であって、かつ、上記撮像周期の2倍の時間以下である範囲で予め設定した時間だけの点灯と、カメラ部8の撮像周期と最大露光時間とを合計した時間以上であって、かつ、上記撮像周期の2倍の時間以下である範囲で予め設定した時間だけの消灯とを繰り返す周期である。例えば、カメラ部8の撮像周期が約0.1秒である場合、発光部201を構成するすべてのLEDを、同時に、約0.2秒間の点灯と約0.2秒間の消灯とを繰り返すように制御回路部202を設定する。
【0099】
上記した所定の周期を定めた理由について説明する。
【0100】
本実施の形態では、コスト抑制の観点から、発光部201の点滅とカメラ部8の撮像の同期は行わず、遠目標200及び自動走行制御装置20は、それぞれ独立の動作タイミングで発光部201及びカメラ部8を制御する。上記したように、カメラ部8の撮像周期が約0.1秒である場合に、発光部201を、同時に、約0.1秒間の点灯と約0.1秒間の消灯とを繰り返すように制御回路部202が制御すると、例えば、カメラ部8の露光中に発光部201が点灯から消灯へ変化するとともに、次の0.1秒後のカメラ部8の露光中には発光部201が消灯から点灯へ変化する場合ある。このような場合には、カメラ部8から得られた画像中の発光部201に対応した部分の輝度は、どちらも中間的な明るさとなり、時間的な変化が生じない状況に陥るおそれがある。
【0101】
そこで、カメラ部8の露光中は、発光部201が連続して点灯している状態の画像か又は発光部201が連続して消灯している状態の画像のいずれかを確実に撮像できるようにするため、上記したように、発光部201を構成するすべてのLEDを、同時に、約0.2秒間の点灯と約0.2秒間の消灯とを繰り返すように制御回路部202を設定するのである。また、撮像周期の2倍より長くなると、発光部201の位置を検出できる時間間隔が無用に長くなり、システムの性能を低下させる不都合が生じる。
【0102】
次に、上述したカメラ制御部21により実行される遠目標検出処理を、図9及び図10に示すフローチャートを用いて説明する。
【0103】
ここで、発光部201を構成するすべてのLEDの点滅とカメラ部8の撮像の同期は行わず、遠目標200及び自動走行制御装置20は、それぞれ独立の動作タイミングで発光部201及びカメラ部8を制御している。
【0104】
まず、カメラ制御部21は、図9に示すステップS1の処理へ進み、カメラ部8から1フレーム分の画像信号が供給された否かを判断する。ステップS1の判断結果が「NO」の場合には、カメラ制御部21は、同判断を繰り返す。一方、カメラ部8は、圃場H近傍の地面上に正面を圃場H側に向けて載置されている遠目標200を撮像周期約0.1秒で撮影し、撮影した画像に対応した1フレーム分の画像信号をカメラ制御部21に順次供給する。
【0105】
これにより、ステップS1の判断結果が「YES」となり、カメラ制御部21は、ステップS2へ進む。ステップS2では、カメラ制御部21は、カメラ部8から供給された1フレーム分のアナログの画像信号をデジタルの画像データにアナログ/デジタル変換処理し、記憶部22に記憶した後、ステップS3へ進む。この場合、縦30cmの発光部201の画像上での大きさは、100m先で2画素弱となる。しかし、実際の画像では、カメラ部8を構成する光学系の収差などの影響により発光部201の像は膨張し、100m以上先の遠目標200を検出することが可能となる。
【0106】
ステップS3では、カメラ制御部21は、第1のウィンドウ位置の設定処理を行った後、ステップS4へ進む。以下、第1のウィンドウ位置の設定処理について説明する。まず、カメラ部8で撮影され、カメラ制御部21によりデジタル化された画像の一例を図11及び図12にそれぞれ示す。
【0107】
図11は、現在より1つ前の撮像周期の際(すなわち、約0.1秒前)に撮影されデジタル化された画像(以下「前フレームの画像」という)の一例である。図11では、略中央に遠目標200が存在し、この遠目標200を取り囲んで、検出処理を行う範囲であるウィンドウW-1が設定されている。ウィンドウW-1のサイズは、例えば、横約56画素、縦約40画素である。他の第1のウィンドウW0等のサイズも略同様である。
【0108】
これに対し、図12は、図11に示す画像の次の撮像周期の際(すなわち、約0.1秒後)に撮影されデジタル化された画像(以下「現フレームの画像」という)の一例である。
【0109】
トラクタ1は、前進走行する際に、圃場Hの表面状態等に応じて、その進行する向きや車体の傾きが変化するため、カメラ部8で撮像される画像も、前の撮像周期に撮影された画像と比べて、全体的に上下又は左右あるいはこれらの両方にずれていることが多い。図12に示す現フレームの画像における第1のウィンドウW0は、図11に示す前フレームの画像におけるウィンドウW-1と同一位置、すなわち、1フレームの画像において、基準点BPから同一の位置に設定したものである。しかし、トラクタ1が図11に示す画像を撮影した位置から移動したために、図11に示す前フレームの画像におけるウィンドウW-1内の遠目標200の相対位置と、図12に示す現フレームの画像における第1のウィンドウW0内の遠目標200の相対位置とは、異なっている。したがって、このような状態において、単純に図11に示す画像と図12に示す画像との差分を計算した場合、点滅する発光部201を正確に抽出することは困難となる。
【0110】
そこで、図12に示す現フレームの画像の中から、図11に示す前フレームの画像におけるウィンドウW-1に相当する画像部分を抽出する対応探索処理を行う。まず、図12に示す現フレームの画像において、図11に示す前フレームの画像におけるウィンドウW-1と同一の位置の周囲に、破線で示すような探索範囲SAを設定する。探索範囲SAは、例えば、撮像周期である約0.1秒間に想定されるトラクタ1の動きの速さと、カメラ制御部21の計算処理能力等が考慮されて決定され、例えば、上下、左右にそれぞれ10画素程度の範囲の探索を行う。
【0111】
この対応探索処理では、例えば、図12に示す現フレームの画像の探索範囲SA内において、前フレームの画像におけるウィンドウW-1との相関値が最大となる部分を求める手法などを用いる。この相関値としては、例えば、2フレーム分の画像の差の二乗和や絶対値和など、公知の手法により求められる値が適用可能である。カメラ制御部21は、以上説明した手法を用いて、図12に示す現フレームの画像の中から、図11に示す前フレームの画像におけるウィンドウW-1に相当する画像部分を抽出し、現フレームの画像における第1のウィンドウW0として設定し、その位置を記憶部22に記憶する。この処理を行うことにより、遠目標200を検出可能な視野範囲は、カメラ部8の画像全体に渡ってウィンドウを移動させて、広く確保することができるとともに、例えば、ウィンカーを点滅させた自動車などがカメラ部8の視野内の周辺部に入り込むような場合でも、その影響を受け難くすることができる。また、検出処理をウィンドウ内に限定することにより、処理時間の短縮にも大きく寄与することができる。
【0112】
ステップS4では、カメラ制御部21は、第2のウィンドウ位置の設定処理を行った後、ステップS5へ進む。以下、第2のウィンドウ位置の設定処理について説明する。まず、ステップS3と同様に、カメラ部8で撮影され、カメラ制御部21によりデジタル化された画像として、図示しない現在より2つ前の撮像周期の際(すなわち、約0.2秒前)に撮影されデジタル化された画像(以下「前々フレームの画像」という)がある。前々フレームの画像において、遠目標200を取り囲んで、検出処理を行う範囲であるウィンドウW-2が設定されている。ウィンドウW-2のサイズは、ウィンドウW-1のサイズと同様である。トラクタ1は、前々フレームと現フレームの撮像の約0.2秒間に前進走行し、進行する向きや車体の傾きが変化するため、カメラ部8で撮像される画像も、全体的に上下又は左右あるいはこれらの両方にずれていることが多い。
【0113】
そこで、図12に示す現フレームの画像の中から、前々フレームの画像におけるウィンドウW-2に相当する画像部分を抽出する対応探索処理を行う。まず、ステップS3と同様に、図12に示す現フレームの画像において、前々フレームの画像におけるウィンドウW-2と同一の位置の周囲に、破線で示すような探索範囲SAを設定する。探索範囲SAは、ステップS3と同様に、例えば、上下、左右にそれぞれ10画素程度の範囲の探索を行う。
【0114】
この対応探索処理では、例えば、図12に示す現フレームの画像の探索範囲SA内において、前々フレームの画像におけるウィンドウW-2との相関値が最大となる部分を求める手法などを用いる。この相関値としては、ステップS3と同様に、例えば、2フレーム分の画像の差の二乗和や絶対値和など、公知の手法により求められる値が適用可能である。カメラ制御部21は、以上説明した手法を用いて、図12に示す現フレームの画像の中から、前々フレームの画像におけるウィンドウW-2に相当する画像部分を抽出し、現フレームの画像における第2のウィンドウW02として設定し、その位置を記憶部22に記憶する。
【0115】
ステップS5では、カメラ制御部21は、第1の遠方目標部候補画素抽出処理を行った後、ステップS6へ進む。以下、第1の遠方目標部候補画素抽出処理について説明する。図13(a)の左及び中央に、現フレームの画像における第1のウィンドウW0及び前フレームの画像におけるウィンドウW-1のそれぞれの一例を示す。この第1の遠方目標部候補画素抽出処理では、現フレームの画像における第1のウィンドウW0と、前フレームの画像におけるウィンドウW-1とを比較し、式(1)及び式(2)に示す条件をいずれも満たす画素を第1の遠方目標部候補画素として二値化して抽出する。
【0116】
Tdf≦|P0(i,j)一P-1(i,j)| ・・・式(1)
Tbr≦P0(i,j)又はTbr≦P-1(i,j) ・・・式(2)
式(1)及び式(2)において、P0(i,j)は、現フレームの画像における第1のウィンドウW0内の各画素の輝度、P-1(i,j)は、前フレームの画像におけるウィンドウW-1内の各画素の輝度、Tdfは、輝度差に関する第1の閾値、Tbrは、輝度に関する第2の閾値である。例えば、画像が256階調でデジタル化されている場合では、Tdfは36程度、Tbrは160程度の値である。
【0117】
すなわち、この第1の遠方目標部候補画素抽出処理では、現フレームの画像と前フレームの画像との間において、輝度差が第1の閾値Tdf以上に大きく、かつ、いずれかの画像において第2の閾値Tbr以上に輝度が大きい画素について、遠目標200である可能性が高い候補画素、すなわち、第1の遠方目標部候補画素として、二値化して抽出するのである。
【0118】
ここで、図13(b)の左に、第1の遠方目標部候補画素の一例を示す。図13(b)の左の例は、現フレームの画像における第1のウィンドウW0及び前フレームの画像におけるウィンドウW-1では、いずれも発光部201が点灯状態であったため、発光部201の部分に輝度差がなく、第1の遠方目標部候補画素として抽出されなかったことを示している。
【0119】
一方、例えば、遠目標200の背景にある木々の枝葉が風によって揺れた場合や、ステップS3の対応探索処理において前フレームの画像におけるウィンドウW-1に相当する画像部分を抽出する際に、ウィンドウW-1の位置に誤差や残差が発生して位置ずれが生じた場合などには、第1の遠方目標部候補画素として誤抽出が発生する場合もある。図13(b)の左の例において、上部に示した白色部分は、上記した遠目標200以外のノイズ的に誤抽出された画素の例を示している。
【0120】
ステップS6では、カメラ制御部21は、第2の遠方目標部候補画素抽出処理を行った後、ステップS7へ進む。以下、第2の遠方目標部候補画素抽出処理について説明する。図13(a)の右に、前々フレームの画像におけるウィンドウW-2の一例を示す。この第2の遠方目標部候補画素抽出処理では、図示しない現フレームの画像における第2のウィンドウW02と、前々フレームの画像におけるウィンドウW-2とを比較し、式(3)及び式(4)に示す条件をいずれも満たす画素を第2の遠方目標部候補画素として二値化して抽出する。ここで、ウィンドウの位置は、遠目標200の検出処理の後に、発光部201の部分がウィンドウの中心になるように、ウィンドウの位置を再設定するので、ウィンドウW-1とウィンドウW-2は、概ね同じ位置となり、このため、現フレームの画像における第1のウィンドウW0と第2のウィンドウW02も、概ね同じ位置となる。
【0121】
Tdf≦|P0(i,j)一P-2(i,j)| ・・・式(3)
Tbr≦P0(i,j)又はTbr≦P-2(i,j) ・・・式(4)
式(3)及び式(4)において、P0(i,j)は、現フレームの画像における第2のウィンドウW02内の各画素の輝度、P-2(i,j)は、前々フレームの画像におけるウィンドウW-2内の各画素の輝度、Tdfは、輝度差に関する第1の閾値、Tbrは、輝度に関する第2の閾値である。
【0122】
この第2の遠方目標部候補画素抽出処理を行うのは以下に示す理由による。すなわち、本実施の形態では、発光部201の点灯時間及び消灯時間は、カメラ部8の撮像周期の約2倍に設定されている。したがって、現フレームの画像及び前フレームの画像は、いずれも点灯状態にある発光部201を撮影したものであったり、逆にいずれも消灯状態にある発光部201を撮影したものであったりする場合がある。このため、上記した現フレームの画像における第1のウィンドウW0及び前フレームの画像におけるウィンドウW-1との差分処理によって抽出された第1の遠方目標部候補画素では、目標とする遠目標200が抽出されない場合がある。そこで、この第2の遠方目標部候補画素抽出処理では、現フレームの画像における第2のウィンドウW02及び前々フレームの画像におけるウィンドウW-2に対して、上記した式(3)及び式(4)に示す条件を適用して差分処理を行うことにより、第2の遠方目標部候補画素を抽出するのである。
【0123】
すなわち、この第2の遠方目標部候補画素抽出処理では、現フレームの画像と前々フレームの画像との間において、輝度差が第1の閾値Tdf以上に大きく、かつ、いずれかの画像において第2の閾値Tbr以上に輝度が大きい画素について、遠目標200である可能性が高い候補画素、すなわち、第2の遠方目標部候補画素として、二値化して抽出するのである。
【0124】
ここで、図13(b)の右に、第2の遠方目標部候補画素の一例を示す。図13(b)の右の例は、現フレームの画像における第2のウィンドウW02では発光部201が点灯状態であるが、前々フレームの画像におけるウィンドウW-2では発光部201が消灯状態である。したがって、発光部201の部分に輝度差があり、第2の遠方目標部候補画素として抽出されたことを示している。なお、図13(b)の右の例において、上部に示した白色部分は、図13(b)の左の例と同様に、上記した遠目標200以外のノイズ的に誤抽出された画素の例を示している。
【0125】
ステップS7では、カメラ制御部21は、統合処理を行った後、ステップS8へ進む。以下、統合処理について説明する。この統合処理では、ステップS5の処理で得られた第1の遠方目標部候補画素と、ステップS6の処理で得られた第2の遠方目標部候補画素とについて、論理和条件に基づいて、統合化することにより、1個の画像データを生成する。ここで、図13(c)に、図13(b)の左に示す第1の遠方目標部候補画素の一例と、図13(b)の右に示す第2の遠方目標部候補画素の一例とを統合した結果の一例を示す。このように、遠方目標部候補画素を1つに統合することで、後述するステップS8以降の処理を簡素化することができる。
【0126】
ステップS8では、カメラ制御部21は、グループ化・評価処理を行った後、図10に示すステップS9へ進む。以下、グループ化・評価処理について説明する。ステップS7に示す統合処理で抽出された遠方目標部候補画素の画像データには、ノイズなどに起因する画素も含まれるので、それらの画素を除去する必要がある。抽出された遠方目標部候補画素の画像データを構成する各画素は二値化されており、これらの画素を互いに隣接する、例えば、ある画素が遠方目標部候補画素であれば、その画像上で、上下、左右の4方向に隣接する画素を調べ、それらを遠方目標部候補画素であれば、同じグループとしてグループ化して、画素グループを生成する。次に、各画素グループに対して、面積、アスペクト比、中心座標などを算出する。次に、面積が所定の閾値より小さい又はアスペクト比が所定の閾値より極端に大きい画素グループは、ノイズ等と見なして除去する。また、除去されずに残った画素グループの中であっても、不自然な突起などを含む場合は、当該突起などを除去して整形する。このように、個々の遠方目標部候補画素を画素グループにまとめることで、面積や縦横比などの新たな特徴量を抽出することが可能となり、さらに、これらの特徴量を評価して、ノイズ等との判別が可能となる効果がある。
【0127】
ステップS9では、カメラ制御部21は、時間的追跡処理を行った後、ステップS10へ進む。以下、時間的追跡処理について説明する。今回の現フレームの画像に関する処理以前に既にカメラ部8から供給され、上記したステップS1〜S8の処理が施されて抽出され、記憶部22に記憶されている画素グループを登録グループと呼ぶ。この時間的追跡処理では、現フレームの画像に関する上記ステップS1〜S8の処理により抽出された複数の画素グループと、上記記憶部に記憶され読み出された複数の登録グループとについて、それぞれの対応関係を求め、時間的な追跡処理を行う。
【0128】
この対応関係の探索では、まず、各画素グループの面積、縦横比、中心座標などのパラメータの類似度を評価し、類似度が所定の閾値以上であって、かつ、最大値をとる組み合わせを、対応する画素グループと判定する。次に、現フレームの画像に関する上記ステップS1〜S8の処理により抽出された複数の画素グループのパラメータにより、記憶部22に記憶されている登録グループのパラメータを更新する。また、現フレームの画像に関する上記ステップS1〜S8の処理により抽出された複数の画素グループのうち、登録グループとの対応関係が取れなかった画素グループは、新しい登録グループとして記憶部22に追加する。このように、時間的追跡処理を行うことにより、後述するステップ10でのパラメータ算出処理が可能となる。
【0129】
ステップS10では、カメラ制御部21は、パラメータ算出処理を行った後、ステップS11へ進む。以下、パラメータ算出処理について説明する。このパラメータ算出処理では、カメラ制御部21は、記憶部22に記憶されている各登録グループを構成する各画素について、現フレームの画像における輝度の平均値(以下「現輝度平均値」という。)と、前フレームの画像における輝度の平均値(以下「前輝度平均値」という。)とをそれぞれ計算した後、現輝度平均値から前輝度平均値を減算した値(以下「輝度差」という。)を記憶部22に記憶する。上記輝度差が正の値である場合には、発光部201は明るくなった、すなわち“点灯”であると認定できる一方、上記輝度差が負の値である場合には、発光部201は暗くなった、すなわち“消灯”であると認定できる。
【0130】
そして、上記輝度差の値を、例えば、過去5回から10回の点滅サイクル分、すなわち、例えば、発光部201の点滅サイクルが約0.4秒である場合、2秒〜4秒間分を記憶部22に記憶する。次に、カメラ制御部21は、記憶部22に記憶されている各フレームの画像ごとの上記輝度差の値から、“明るくなる”と“暗くなる”の時間間隔を解析し、周期的に点滅しているか否かについて認定するとともに、その点滅周期について算出する。
【0131】
次に、カメラ制御部21は、各登録グループについて、設定されたウィンドウW上における中心座標の値を、例えば、過去10回から20回分の処理について記憶部22に記憶するとともに、その間の中心座標のばらつき度合いとして、標準偏差(分散)の値を計算した後、記憶部22に記憶する。
【0132】
ステップS11では、カメラ制御部21は、遠方目標部判定処理を行った後、ステップS12へ進む。以下、遠方目標部判定処理について説明する。上記したステップS7に示す統合処理で抽出された遠方目標部候補画素の画像データには、図13(c)に示すように、遠目標200の画素の他にノイズ的な画素も含まれるため、抽出された登録グループの中には、ノイズ的な要因による登録グループも存在する。
【0133】
まず、遠目標200の背景にある木々の枝葉などが風に揺れること等によって発生する画像の時間的な明暗変化は、周期的となる場合がある。しかし、このような周期的な明暗変化を示す画素は、固定された遠目標200と比較して、検出される位置のばらつき度合いが大きくなる傾向があり、上記した中心座標の標準偏差の値が大きくなる傾向を示すので、上記標準偏差が所定の閾値を超える場合は、この指標によって登録グループから判別・除外される。
【0134】
次に、トラクタ1は、前進走行する際に、圃場Hの表面状態等に応じて、その進行する向きや車体の傾きが変化するため、カメラ部8で撮像される画像も、前の撮像周期に撮影された画像と比べて、全体的に上下又は左右あるいはこれらの両方にずれていることが多い。したがって、上記したように、ステップS3及び4において、第1及び第2のウィンドウ位置設定処理を行うが、この際のウィンドウ設定位置の誤差や残差に起因して、抽出された登録グループの中には、ノイズ的な要因による登録グループも存在する。しかし、このような要因によるノイズ的な画素は、周期的な明暗変化とはなり難い傾向にある。このため、検出された点滅周期の値が、遠目標200を構成する発光部201の点滅周期と大きく異なる場合、又は、その周期性の強さが所定の閾値以下の場合は、この周期性の指標によって登録グループから判別・除外される。
【0135】
さらに、残った登録グループについて、中心座標の標準偏差の値、点滅周期と周期性の強さの値、さらに、各登録グループの面積、縦横比、検出された回数などを、遠目標200らしさの評価として評点化して積算し、その値が所定の閾値以上であって、かつ、最大となった登録グループを、遠目標200であると判定する。
【0136】
ステップS12では、カメラ制御部21は、制御データ出力処理を行った後、ステップS13へ進む。以下、制御データ出力処理について説明する。この制御データ出力処理では、カメラ制御部21は、ステップS11の処理で遠目標200であると判定された登録グループについては、図14に示すような画像全体における左右方向の中心座標iclと、予め計測されているトラクタ1の正面方向の画像全体における座標値ivとを比較し、式(5)に基づいて、トラクタ1と遠目標200の方向とのずれ角度θ1を算出した後、車両制御部23に供給する。
【0137】
θ1=tan-1((icl−iv)×PWH) ・・・式(5)
式(5)において、iclは、遠目標200の登録グループの中心点の画像上のi座標、ivは、トラクタ1の正面方向のi座標、PWHは1画素当りの視野角である。なお、ivの値が予め計測して入力して車両制御部23を構成する記憶部に記憶されていること、または、トラクタ1に対してカメラ部8が正確に正面を向いて設置されていることのいずれかが前提である。
【0138】
これにより、車両制御部23は、トラクタ1と遠目標200の方向とのずれ角度θ1と、トラクタ1の速度に基づいて、誘導軌跡GL1に対するトラクタ1のオフセット量(横方向のずれ量)を求める。これら算出したずれ角度θ1とオフセット量から自動走行制御に必要な操舵角を決めることにより、トラクタ1を遠目標200の方向に向けて直進走行させる。
【0139】
ステップS13では、カメラ制御部21は、遠方目標部接近検出処理を行った後、ステップS14へ進む。以下、遠方目標部接近検出処理について説明する。本実施の形態では、カメラ制御部21は、遠方目標部検出処理に先立って、ステレオ画像処理等を行って距離画像を生成しても良い。この場合、検出された遠目標200を構成する発光部201の部分の距離画像データを抽出し、トラクタ1から遠目標200までの距離を算出する。あるいは、遠目標200と判定された画像グループの大きさが閾値以上となったことにより、遠目標200までの距離が接近したと判定する方法も可能である。そして、トラクタ1が予め設定した距離まで接近した場合には、カメラ制御部21は、その旨をトラクタ1側に送信し、トラクタ1において警報を鳴らすなどして運転者に注意喚起を行っても良い。なお、この遠方目標部接近検出処理は、任意に行う。
【0140】
ステップS14では、カメラ制御部21は、登録グループの重複評価・統合処理を行った後、ステップS15へ進む。以下、登録グループの重複評価・統合処理について説明する。上記したステップS9に示す時間的追跡処理において、検出対象の遠目標200の画像に基づいて生成された本来の画素グループに外乱などが加わってパラメータが変動した場合、当該画素グループが、これまで追跡され、記憶部22に登録されている登録グループとは異なる別の画素グループであると判断されてしまう場合がある。この結果、当該遠目標200が新しい画素グループであるとして記憶部22に登録され、遠目標200の登録グループが記憶部22に重複して存在する事態が発生する場合がある。
【0141】
このような事態が発生した場合、次フレーム以降についての上記ステップS9に示す時間的追跡処理において、遠目標200の画像に基づいて生成されたある1個の画素グループを、複数の異なる登録グループがいずれも自己に対応する画素グループと判定することになり、正しい時間的追跡処理が行われない事態が発生するおそれがある。
【0142】
そこで、この登録グループの重複評価・統合処理では、カメラ制御部21は、既に記憶部22に登録されている複数の登録グループについて、各パラメータを相互に比較する。そして、類似性が高く、同一の対象物を追跡していると判断される複数の登録グループが存在する場合には、そのような複数の登録グループを1個の登録グループに統合する処理を定期的に実行する。
【0143】
ステップS15では、カメラ制御部21は、現フレームのウィンドウ内画像更新処理を行った後、ステップS16へ進む。以下、現フレームのウィンドウ内画像更新処理について説明する。現フレームのウィンドウ内画像更新処理では、カメラ制御部21は、検出された遠目標200の登録グループの画像上の中心座標が、第1及び第2のウィンドウW0及びW02の中心になるように、第1及び第2のウィンドウW0及びW02の位置を再設定し、現フレームでの第1のウィンドウW0として記憶部22に再度記憶する。上記第1及び第2のウィンドウW0及びW02は、例えば、横56画素、縦40画素として設定する。
【0144】
ステップS16では、カメラ制御部21は、ウィンドウ対応露光時間制御処理を行った後、現フレームに関する一連の処理を終了し、次フレームの撮像や画像処理を実行するために、図9に示すステップS1へ戻る。以下、ウィンドウ対応露光時間制御処理について説明する。このウィンドウ対応露光時間制御処理では、設定されているウィンドウWを対象とし、当該ウィンドウWの範囲内の輝度分布が遠目標200の検出に最適化されるように、カメラ部8の露光時間等の制御を行う。
【0145】
すなわち、例えば、画像全体を対象としてカメラ部8の露光時間を制御した場合には、画像全体の中で遠目標200とその周辺が明るく、輝度が比較的高い場合は、遠目標200を含む領域の輝度が飽和してしまい、当該領域に設置されている遠目標200を検出することはできない。一方、設定されているウィンドウWを対象とし、当該ウィンドウWの範囲内の輝度分布が遠目標200の検出に最適化されるように、カメラ部8の露光時間の制御を行った場合には、画像全体に比して明るい領域に遠目標200が設定されていても、当該遠目標200を検出することができるのである。露光時間等の撮像の感度制御は、例えば、ウィンドウ内の全画素の輝度をヒストグラム化し、暗い部分と明るい部分の面積が等しくなるように制御を行う。
【0146】
このように、本発明の実施の形態によれば、比較的安価で発光効率が高く、輪郭形状及び発光部全体の大きさを任意に構成し易いLEDを多数配置した発光部201を備えた遠目標200を設置し、発光部201の点滅を撮像するカメラ部8の調節・設定に特徴を持たせ、さらにカメラ制御部21における画像処理に特徴的な差分処理や判断処理を持たせている。
【0147】
したがって、本発明の実施の形態によれば、天候や時間による太陽光の方向などの屋外環境の変化へ対応することができるとともに、各種の反射光や木漏れ日などのノイズへも対応することができる。また、100m以上の距離範囲で安定的に目標を認識することができるとともに、装置の小型化・低コスト化などを図ることができる。
【0148】
また、本発明の実施の形態によれば、カメラ部8と発光部201点滅の同期化を省略しているため、カメラ部8の撮像中に発光部201が点灯から消灯又は、消灯から点灯となり、撮像される発光部201の画像は、点灯と消灯の中間的な輝度になる状態が発生し得る。発光部201の点灯と消灯の時間が、カメラ部8の撮像周期と同じと仮定すると、カメラ部8で撮像される画像は、連続して点灯から消灯又は、消灯から点灯の状態となり、発光部201の画像は中間的な輝度の状態が続いて、輝度の時間的な変化が小さくなり、点滅する発光部201の検出が困難になる状況となる。
【0149】
そこで、本発明の実施の形態によれば、発光部201は、カメラ部8の撮像周期と最大露光時間を合計した時間以上であって、かつ、撮像周期の2倍の時間以下である範囲の時間の点灯と、この範囲の時間の消灯とを繰り返すように設定している。これにより、あるフレームではカメラ部8の撮像中に発光部201が点灯から消灯又は、消灯から点灯となっても、次のフレームでは確実に露光時間中はずっと点灯又は、ずっと消灯の状態となり、発光部201の画像の輝度の変化を最大化し、発光部201の検出性能を向上させることができる。
【0150】
この点、発光部201の点灯時間又は消灯時間を長くすれば、容易にカメラ部8の画像はずっと点灯又はずっと消灯の状態となるが、本発明の実施の形態では、点灯から消灯又は、消灯から点灯の変化によって発光部201を検出するので、発光部201を検出できる機会が減少し、システム本来の機能を低下させることとなる。
【0151】
本発明の実施の形態における、「カメラ部8の撮像周期と最大露光時間を合計した時間以上であって、かつ、撮像周期の2倍の時間以下である範囲の時間」は、確実に露光時間中はずっと点灯又は、ずっと消灯の状態が得られ、かつ、最少の時間であり、システム本来の機能を最大化する設定である。また、多くの場合にカメラ部8の最大露光時間は、撮像周期とほぼ一致するので、発光部201は撮像周期の2倍以下の点灯時間と、同様に撮像周期の2倍以下の消灯時間を繰り返す設定となる。
【0152】
また、本発明の実施の形態によれば、カメラ制御部21は、前フレームの画像全体の中において、遠目標200の位置検出を行う範囲として設定されたウィンドウWに相当する画像部分を、現フレームの画像全体の中から探索し、探索された画像部分を現フレームの画像における第1のウィンドウとして設定し、前々フレームの画像全体の中に設定されたウィンドウに相当する画像部分を、現フレームの画像全体の中から探索し、探索された画像部分を現フレームの画像における第2のウィンドウとして設定している。そして、第1及び第2のウィンドウに基づいて、第1及び第2の遠方目標部候補画素を抽出している。したがって、移動速度が速く、フレーム毎に撮像される画像が上下、左右に大きく変化するような状況においても、相当する画像が探索されるので、本システムを適用することができる。
【0153】
また、本発明の実施の形態によれば、カメラ部8で撮像した現フレームの画像と前フレームの画像において、対応する画素の輝度差の絶対値が第1の閾値以上であって、かつ、いずれかの画素の輝度が第2の閾値以上である場合に、その画素を遠目標200の候補画素として抽出している。したがって、点滅する発光部201に対し、画像上での輝度の特徴を的確に検出することができる。
【0154】
また、本発明の実施の形態によれば、カメラ部8で撮像した現フレームの画像と前フレームの画像との差分処理に加え、現フレームの画像と前々フレームの画像との差分処理も行っている。上記したように、発光部201をカメラ部8の撮像周期及び最大露光時間の合計時間以上の点灯と、この合計時間以上の消灯とを繰り返すように設定した場合、現フレームでは発光部201の点灯又は消灯の画像が得られても、前フレームも同じく点灯又は、消灯の画像であったり、逆に、点灯から消灯又は、消灯から点灯の状態の画像となる場合がある。しかし、前々フレームは確実に現フレームとは逆の消灯又は点灯の画像となり、発光部201の検出が可能となる。
【0155】
また、本発明の実施の形態によれば、画像部分の輝度の変化量を、過去の数秒間に渡って記憶し、この変化量を解析して点滅の周期性とその時間間隔を検出し、周期性が高く、かつ時間間隔が設定した遠目標200の点灯、消灯の時間間隔と一致する場合に、その画素グループが検出対象の遠目標200の可能性が高いと判断している。したがって、ノイズ的な要因によって誤抽出した画素グループを取り除くことができる。
【0156】
また、本発明の実施の形態によれば、抽出された画素グループのウィンドウにおける位置を過去の数秒間に渡って記憶し、この位置の上下・左右方向の座標値の時間的な変化量の標準偏差を算出し、標準偏差が小さい場合には、遠目標200の可能性が高いと判断している。したがって、この場合も、ノイズ的な要因によって誤抽出した画素グループを取り除くことができる。
【0157】
また、本発明の実施の形態によれば、カメラ部8は、トラクタ1の前方正面の方向と精確に平行に調整されているか又は、カメラ部8の画像において、トラクタ1の前方正面の方向の位置が精確に検出されている必要がある。このように構成することにより、カメラ部8は、図15に示すように、トラクタ1のボンネット2などに設置される車体マーカー2aが写るようにカメラ部8を設置し、予め用意された、図18に示すような形状パターン180を使って、パターンマッチングの手法により、カメラ部8の画像からその位置を検出し、トラクタ1の前方正面の方向の位置を自動的に検出することができる。
【0158】
また、本発明の実施の形態によれば、カメラ部8の露光時間、絞り、画像信号のアンプゲインなどの感度調節は、カメラ部8の画像中に部分的に設定されているウィンドウW内の画像の輝度分布に基づいて設定されている。カメラ部8による撮像は、背景となる部分の明るさに対し、発光部201の点滅による明暗変化が最大となるように、カメラ部8の感度調節を行うことが重要である。一般のカメラのように画像全体で感度調節すると、遠方にあって小さい発光部201の画像では、その部分が最適化されない場合がある。そこで、発光部201の検出処理を行う範囲であるウィンドウW内の画像に対して、感度調節を行うことにより、発光部201の検出性能が向上する。
【0159】
ここで、実験結果の一例を示す。移動車両としてトラクタ1を用いるとともに、このトラクタ1に自動走行制御装置20を搭載し、日中の屋外にて遠方に設置された点滅する遠目標200を検出し、トラクタ1を遠目標200に向かって走行制御した。
トラクタ1の前部にカメラ部8を搭載するとともに、トラクタ1の後側には畝立機を装着し、遠目標200に向う自動走行制御を行った。この時の遠目標200の位置及び形成された畝の位置の計測結果を図17に示す。
【0160】
ここで、畝の位置は実験者が目測で畝のほぼ中央に反射プリズムを合わせながら持って歩き、その時の反射プリズムの位置を自動追尾型レーザー式測位装置で計測したものである。遠目標200の位置も反射プリズムと自動追尾型レーザー式測位装置による同様の計測である。
【0161】
計測の精度は、自動追尾型レーザー式測位装置の単体としては±1cm程度であるが、畝の位置については、目測によるばらつきや歩行に伴う反射プリズムの揺れなどの要因が加わる。図19に示す畝の位置の横方向の細かい変動は、主に歩行に伴う揺れによるもので、実際の畝は、もっと滑らかである。
【0162】
図19において、遠目標200に対して畝はほぼ±30mm以内の偏位で形成されており、良好な遠目標200に向かう直進誘導が行われたことが分かる。この±30mmの偏位には、畝位置計測時の実験者の歩行に伴う反射プリズムの揺れなどを含むものであり、直進誘導の精度は実用的に十分なものと考えられる。
【0163】
トラクタは、装着する作業機や圃場の状態などによって直進性が変化するので、直線的な作業を行うには、運転者は熟練と頻繁な操舵修正が必要であるが、本システムにより未熟練者でも高い精度の作業を可能とし、同時に自動化による運転者の負担軽減を実現することができる。また、目標とする位置に遠目標200を載置するという、簡便で直観的に分り易い操作方法であるといえる。
【0164】
遠目標200を検出するためには、遠目標200の背景となる部分の明るさに対して、遠目標200の明るさが十分にある必要がある。背景の明るさはその種類や日照条件などで変化する一方、遠目標200の明るさは距離の二乗に反比例して暗くなる。このため、遠目標200を検出可能な距離を一概に特定することはできない。本システムは、曇天の目中にて400m以上遠方の遠目標200を検出して誘導走行することにも成功している。
(III)次に、ステップS818(図8参照)で述べた倣い走行制御処理について更に説明する。
【0165】
本実施の形態1では、最初の一行程が終わって、次の行程を実施する場合、カメラ部8を、トラクタ1の旋回方向に応じて、トラクタ1の右端又は左端であって、車両中心線MC1と平行な線上に移動させることにより、カメラ部8が撮像する画像において、一行程前の耕耘作業軌跡KLの画像がカメラ視野の中央で撮像出来る様に構成されている。これにより、トラクタ1が倣い走行モードで自動走行する際に、カメラ部8により実際に撮像される一行程前の耕耘作業軌跡KLの画像データから、その軌跡の位置情報を得て、その軌跡に倣って平行に走行する様に自動制御する。
【0166】
例えば、図7に示す様に圃場Hの一方の辺H2が直線の場合、軌跡の画像を2値化し、その2値化された画像を直線近似し、その直線近似により得られた線分を倣い基準線として、カメラ画像(フレーム)の中央位置における縦の仮想線とのなす角度φ等を算出して、車両制御部23に供給する。車両制御部23は、算出されたなす角度φ等の情報に基づいて、上述した遠目標制御処理の場合と同様に、倣い走行制御に必要な操舵角を算出して走行制御機構24を制御する。これにより、トラクタ1を一行程前の耕耘作業軌跡KLに沿って自動走行させることが出来る。
(実施の形態2)
次に、本発明の作業車両の自動走行制御装置の一実施の形態としての、トラクタの自動走行制御装置についてその構成と動作を説明する。
【0167】
上記実施の形態1では、自動走行制御システムにおけるステップS818の後の処理について特に言及しなかったが、本実施の形態では、ステップS818の後の処理について図20を参照しながら説明する。
【0168】
尚、本実施の形態は、カメラ部8の位置が固定された構成である点を除いて、上記実施の形態1の構成と基本的に同じである。カメラ部8の位置が固定された構成における画像処理については、図43を用いて後述する。
【0169】
図20は、本実施の形態における自動走行制御システムの動作を説明するためのフローチャートである。図20において、図8と基本的に同じステップには同じ符号を付してその説明を省略する。尚、本実施の形態の自動走行制御システムでは、上記の通り、カメラ部8の位置が固定された構成であるので、図8に示したステップS801〜S818の内、ステップS808〜S814を除いてある。
【0170】
図20に示す様に、遠目標制御処理により最初の一行程が終わり(ステップS801〜S804)、トラクタ1を旋回させるために、作業者が自動走行モードから手動走行モードに切り替えて、トラクタ1を旋回させた後、再び、自動走行モードに切り替えたことにより(ステップS805〜S807、S815〜S817)、ステップS818で、上述した倣い走行制御処理が行われる。
【0171】
ステップS201は、自動スイッチ30がONされた旨の信号を読み込むステップであり、ステップS202へ進み、自動スイッチ30がONされたか否かを判断し、ONされたと判断すれば、ステップS203へ進む。
【0172】
ステップS203では、倣い走行制御処理が中断されて、ステップS204へ進み、自動走行モードから手動走行モードに切り替わり、ステップS815に戻る。
【0173】
これにより、作業者はステアリングハンドル5を回転させてトラクタ1を旋回させ、旋回が完了した後、再び、自動スイッチ30をONすると、ステップS817を経て、倣い走行制御処理を実行する(ステップS818)。
【0174】
以下、その後の行程においても、上記と同様に倣い走行制御処理を実行する。
【0175】
以上のように、本実施の形態によれば、一旦、倣い走行制御処理に移行した後は、手動走行モードに切り替わったときは、倣い走行制御処理を中断し、その後、手動走行モードから自動走行モードに切り替えられたときは、倣い走行制御処理を開始する。
【0176】
これにより、確実に倣い走行制御処理を繰り返すことが出来き、誤動作を防止出来る。
【0177】
次に、上記構成とは別の構成例について説明する。即ち、図20では、カメラ部8の位置が固定されている場合について説明したが、これに限らず例えば、実施の形態1で述べた様に、カメラ部8の位置が移動する構成としても良い。具体的には、図21に示す様に、ステップS808〜S814(図8参照)の処理を含む「カメラ移動処理」を実行するためのステップS215をステップS815の直前に配置した。この場合、上述したステップS204の処理が完了した後は、上記の追加された「カメラ移動処理」のステップS215の前に戻る。これにより、倣い走行制御処理に移行する度に、カメラ部8を、一行程前の作業軌跡を画像認識するためにより適切な位置に自動的に移動できるので、画像検出性能が向上する。また、上記構成により、作業者が自動モードを解除した後、ステアリング切れ角を検出して、旋回方向を判定し、その判定結果に応じてカメラ部8を移動させるので、誤動作がなくなる。
(実施の形態3)
次に、本発明の作業車両の自動走行制御装置の一実施の形態としての、トラクタの自動走行制御装置についてその構成と動作を説明する。
【0178】
本実施の形態は、最初の一行程が完了した後、それ以降の作業工程においては、一旦、遠目標検出を行って、その結果に応じて遠目標制御処理を実行するか倣い走行制御処理を実行するかを判定するステップを含む点を除いて、上記実施の形態1の構成と基本的に同じであるので、相違点を中心に説明する。
【0179】
図22は、本実施の形態における自動走行制御システムの動作を説明するためのフローチャートである。図22において、図8と基本的に同じステップには同じ符号を付してその説明を省略し、ステップS801〜S814は同じであるので図示も省略した。
【0180】
まず最初に、遠目標制御処理により最初の一行程が終わり(ステップS801〜S804)、トラクタ1を旋回させるために、作業者が自動走行モードから手動走行モードに切り替えて、トラクタ1を旋回させた後(ステップS805〜S814)、再び、作業者が自動走行モードに切り替えたことにより(ステップS815)、ステップS816で、自動スイッチ30がONされたと判定して、ステップS301へ進む。
【0181】
ステップS301では、カメラ部8の位置が中央であるか否かを判定し、中央位置になければ、ステップS302へ進んで、カメラ部8を中央位置に移動させてステップS303へ進む。中央位置にあれば、ステップS302を経由せずにステップS303へ進む。
【0182】
ステップS303では、中央位置にあるカメラ部8により得られた画像データに基づいて、遠目標の有無を検出し、その検出結果をステップS304に送り、遠目標が検出されたと判定した場合は、ステップS305へ進み、検出されないと判定した場合は、ステップS309へ進む。
【0183】
ステップS305では、電磁クラッチ出力部33からの出力により、電磁クラッチ24cがON(作動)し、ステアリングハンドル5が手動モードから自動モードに切り替わり、ステップS306へ進み、ステップS804と同様の遠目標制御処理を実行する。
【0184】
ステップS306の処理は、上記と同様に、自動スイッチ30がOFFされるまで繰り返され、OFFされたと判定されると(ステップS307、S308)、上記ステップS807と同様の処理を実行するステップS309を経由して、ステップS815へ戻る。
【0185】
一方、ステップS310では、ステップS303において遠目標が検出されないと判定されたため、倣い走行制御を実行するための前準備として、トラクタ1の旋回方向の判定結果に基づいて、カメラ部8の位置を移動させた後、ステップS311へ進む。尚、ステップS310は、図8にて説明したステップS808〜ステップS814の処理を含むものである。
【0186】
ステップS311では、電磁クラッチ出力部33からの出力により、電磁クラッチ24cがON(作動)し、ステアリングハンドル5が手動モードから自動モードに切り替わり、ステップS312へ進み、ステップS818と同様の倣い走行制御処理を実行する。ステップS312の処理は、上記と同様に、自動スイッチ30がOFFされるまで繰り返され、OFFされたと判定されると(ステップS313、S314)、ステップS309へ進み、その後、ステップS815へ戻る。
【0187】
これにより、作業者がトラクタ1を手動モードで旋回させた後、自動スイッチ30をONして、自動モードに切り替えられた場合、遠目標200の有無の検出結果に応じて、遠目標制御処理を実行するか、又は、倣い走行制御処理を実行するかが、自動的に決定される。
【0188】
よって、作業内容や作業条件などに応じて、遠目標200を最初の一行程に対応した位置(図7参照)の他に、所望の位置に配置することが可能であり、自動走行制御の適用範囲が広がる。
(実施の形態4)
次に、本発明の作業車両の自動走行制御装置の一実施の形態としての、トラクタの自動走行制御装置についてその構成と動作を説明する。
【0189】
上記実施の形態では、遠目標制御処理において、トラクタ1が誘導軌跡GL1(図7参照)の線上を走行する様に制御する構成について説明した。これに対して、本実施の形態4では、圃場Hの一方の辺H2が、直線ではなく、例えば一部において距離dの出っ張り部HHがあるような場合に(図23参照)、一時的に遠目標200の位置を補正して新たな目標を設定することにより(以下、これを単に、「新目標設定処理」とも呼ぶ)、その出っ張り部HHを避けて走行することが出来る自動走行制御を実行する場合について説明する。ここで、図23は、本実施の形態のトラクタ1の自動走行制御装置を用いた、自動走行制御システムを説明するための模式図である。
【0190】
本実施の形態4と上記実施の形態との上記相違点を中心に説明する。尚、上記実施の形態と同様の構成については同じ符号を付し、その説明を省略する。
【0191】
図24は、車両制御部23に含まれるマイクロコンピュータ23aを中心とした各種制御信号の流れを示す概略ブロック図である。図24において、図4との相違点は、横方向設定入力240と、それに付随する入力回路240a、及びA/D変換回路240bが追加された点である。
【0192】
図24に示す横方向設定入力240は、新たな目標を設定するための横方向への補正量の入力である。この横方向設定入力240は、表示・操作部25に設けられたスライド式の手動入力スイッチ(図示省略)からの補正量の入力として実現しても良いし、カメラ部8による撮像データをカメラ制御部21が画像処理した結果得られた補正量の入力として実現しても良いが、本実施の形態では、後者の画像処理に基づく場合について説明する。
【0193】
また、本実施の形態4では、新目標設定処理を実行するか否かを設定出来る新目標設定処理スイッチ(図示省略)が、表示・操作部25に設けられている点が、上記実施の形態と相違する。
【0194】
図25は、本実施の形態のトラクタの自動走行制御装置を用いた自動走行制御システムの動作を説明するためのフローチャートである。図8と同じ処理のステップには同じ符号を付して、その説明を省略する。
【0195】
図25に示すステップS251〜ステップS257は、図8のステップS804の遠目標制御処理に対応するステップである。
【0196】
以下、図25を用いて、本実施の形態の自動走行制御システムの動作の要部である新目標設定処理を説明する。尚、ここでは、作業者により新目標設定スイッチがONされているものとして説明する。
【0197】
ステップS251では、トラクタ1の走行と共にカメラ部8で撮像された画像データがカメラ制御部21に送られることにより、カメラ制御部21が目標データを所定の周期で受信する。トラクタ1が一行程の作業を開始した時点で撮像した画像データには、その撮像時点におけるトラクタ1の車両中央のカメラ位置から見える、少なくとも遠目標200と圃場Hの右側のラインである一辺H2と出っ張り部HHの画像が含まれている。しかし、トラクタ1が出っ張り部HHを通過した後は、カメラ部8により撮像された画像データには、出っ張り部HHの画像は含まれていないので、目標データは、遠目標200だけである。
【0198】
ステップS252では、カメラ制御部21において、目標データを受信する度に画像処理が行われて、その画像処理の結果から、横方向設定入力である補正量として距離dを算出してメモリなどに読み込み、ステップS253へ進む。
【0199】
尚、上述した通り、トラクタ1が出っ張り部HHを通過した後は、カメラ部8により撮像された画像データには、出っ張り部HHの画像は含まれていないので、目標データは遠目標200だけである。従って、その場合は、横方向設定入力である補正量の算出処理を実行しないで補正量をゼロに設定する構成としても良いし、或いは、算出処理を実行して補正量として距離dがゼロであるとの結果を得る構成としても良い。また、トラクタ1が出っ張り部HHに対応する区間HHL(図23参照)を走行中は、遠目標200の位置を補正する前に取得された画像データから算出された距離dがメモリに保持される様に構成されている。
【0200】
ステップS253では、所定のタイミングで、メモリに更新・保持されている補正量を読み出して、それまで目標位置としていた遠目標200の位置を距離dだけ補正した新たな目標を設定してステップS254へ進む。
【0201】
これを図23で説明すると、遠目標200の位置に誘導する誘導軌跡GL1は、HHの区間HHLにおいて、図中の左方向へ距離dだけ補正された新たな誘導軌跡GL2となる。ここで、所定のタイミングとは、トラクタ1が自動走行により、スタート位置から出っ張り部HHの直前まで走行したことを、カメラ部8からの画像データにより検出して、出っ張り部HHを回避するためにステアリングハンドル5を回転させるのに適した時期をいう。
【0202】
尚、ステップS253では、上記時期が来るまでは、距離dを加味した目標位置の補正は行わないで、遠目標200の位置を目標として維持し、ステップS254へ進む。
【0203】
ステップS254では、ステップS253で設定された目標(新たな目標又は、遠目標200)を目指して自動走行制御するために必要となる操舵角を求めて、モータ回転出力部32a、及びモータ回転方向切替出力部32bへ指令を出す。
【0204】
ステップS255では、自動走行制御下におけるステアリングハンドル5の回転角度を検知し、指令通りの操舵角になるまでモータ回転出力部32aからの出力を維持させる。
【0205】
ステップS256では、カメラ部8から得られた最新の画像データから、トラクタ1のその時点での位置と、ステップS253で設定された目標の位置とを比較して、一致していないと判定すれば、ステップS251へ戻り、一致していると判定すれば、ステップS257へ進み、正逆転モータ63の回転が停止される。
【0206】
尚、ステップS805〜S807では、作業者が自動スイッチ30をOFFしたか否かを検知して、ONのままであれば、ステップS251へ戻り、遠目標走行制御を繰り返し、OFFを検知すれば、ステップS807へ進み、以降、図8と同様に、ステップS808〜S818において、倣い走行制御処理を実行する。
【0207】
本実施の形態によれば、圃場Hの一方の辺が、直線ではなく、例えば一部において出っ張り部があるような場合において、それを避けて無理のない自動走行制御を実行出来る。
(実施の形態5)
次に、本発明の作業車両の自動走行制御装置の一実施の形態としての、トラクタの自動走行制御装置についてその構成と動作を説明する。
【0208】
上記実施の形態4では、作業の種類に関わらず、一時的に遠目標200の位置を補正して「新たな目標」を設定することにより、出っ張り部HHを避けて走行することが出来る自動走行制御を実行する場合について説明したが、本実施の形態5では、作業設定スイッチを設け、所定の種類の作業を対象として、遠目標200の位置補正を実行する場合について説明する。本実施の形態5では、所定の種類の作業として、畦塗り作業、耕耘作業、ロータリー作業、鋤作業の4種類の作業が設定されている。
【0209】
以下、上記実施の形態4との相違点を中心に、図26、27を用いて説明する。
【0210】
図26は、車両制御部23に含まれるマイクロコンピュータ23aを中心とした各種制御信号の流れを示す概略ブロック図である。図26において、図24との相違点は、作業設定スイッチ260からの入力信号を受け付ける入力回路260aが追加された点である。
【0211】
作業設定スイッチ260は、表示・操作部25に設けられており、畦塗り作業、耕耘作業、ロータリー作業、鋤作業、畝立て作業などの中から、作業者が、作業モードを設定出来るスイッチである。
【0212】
図27は、本実施の形態のトラクタの自動走行制御装置を用いた自動走行制御システムの動作を説明するためのフローチャートである。図25と同じ処理のステップには同じ符号を付して、その説明を省略する。
【0213】
以下、図27を用いて、本実施の形態の自動走行制御システムの動作の要部を説明する。尚、ここでは、上記実施の形態4と同様に、作業者により新目標設定処理スイッチがONされているものとして説明する。
【0214】
ステップS801〜S803での処理は、既に説明した通りである。
【0215】
ステップS251では、図25で説明したのと同様、カメラ部8で撮像された画像データがカメラ制御部21に送られることにより、カメラ制御部21が目標データを受信する。
【0216】
ステップS271では、作業者が作業設定スイッチ260を用いて予め設定した作業モードが読み込まれて、ステップS272へ進む。
【0217】
ステップS272では、読み込まれた作業モードが、畦塗り等の所定の作業に該当すると判定した場合は、ステップS252へ進み、該当しないと判定した場合は、ステップS253aへ進む。
【0218】
ステップS252での処理は、既に説明した通りである。
【0219】
ステップS253aでは、ステップS252で算出された補正量を用いる場合は、上述したステップS253と同じ処理を実行するが、ステップS272でNOの判定があった場合は、補正量はゼロとして目標を設定する。
【0220】
尚、ステップS254〜S807での処理は、既に説明した通りである。但し、ステップS256aでは、カメラ部8から得られた最新の画像データから、トラクタ1のその時点での位置と、ステップS253aで設定された目標の位置とを比較する点を除いて、ステップS256の処理と同じである。
【0221】
また、ステップS807以降は、基本的には、図8のステップS807〜S818と同じであるが、本実施の形態のステップS272(図27参照)で、畦塗り作業であると判定されている場合は、倣い走行制御処理は行わないので、作業設定スイッチ260から畦塗り作業以外の作業モードが設定されるまでは、図8のステップS807〜S814まで処理した後、図27のステップS801へ戻る。
【0222】
本実施の形態によれば、圃場Hの一方の辺が、直線ではなく、例えば一部において出っ張り部があるような場合において、畦塗りなどの所定の作業に設定されている場合に限り、その出っ張り部を避けて無理のない自動走行制御を実行出来る。
【0223】
従って、畝立て作業の様に、「新目標設定処理」を実行する必要の無い、通常の直進制御時に、作業者が誤って新目標設定処理スイッチをONしていたとしても、その様な誤操作により、直進走行が妨げられることを防止出来る。
(実施の形態6)
次に、本発明の作業車両の自動走行制御装置の一実施の形態としての、トラクタの自動走行制御装置についてその構成と動作を説明する。
【0224】
上記実施の形態5では、所定の作業において、圃場Hの一方の辺の出っ張り部HHを避けて無理のない自動走行制御を行うことが出来る場合について説明した。これに対して、本実施の形態6では、作業設定スイッチ260により畦塗り作業が設定されており、畦塗り対象となる圃場Hの一方の辺Hの一部に出っ張り部HHがある場合において、その出っ張り部HHの出っ張りの程度が予め設定されている変化レベルdLより大きい場合は、遠目標の位置の補正を複数回に分けて、一定時間が経過する毎に実行する場合について説明する。尚、ここで、トラクタ1は等速で走行するものとする。
【0225】
以下、上記実施の形態5との相違点を中心に、図28を用いて説明する。
【0226】
図28は、本実施の形態のトラクタの自動走行制御装置を用いた自動走行制御システムの動作を説明するためのフローチャートである。図27と同じ処理のステップには同じ符号を付して、その説明を省略する。
【0227】
以下、図28を用いて、本実施の形態の自動走行制御システムの動作の要部を説明する。尚、ここでは、上記実施の形態5と同様に、作業者により新目標設定処理スイッチがONされているものとして説明する。
【0228】
ステップS801〜S803での処理、及びステップS251、S271での処理は、上記実施の形態で既に説明した通りである。
【0229】
ステップS272aでは、読み込まれた作業モードが、畦塗り作業であると判定した場合に限り、ステップS252へ進み、該当しないと判定した場合は、ステップS286へ進む。
【0230】
ステップS252での処理は、上記実施の形態5で既に説明した通りである。
【0231】
ステップS281では、ステップS252で算出され、メモリに保持されている補正量としての距離dが、予め設定されている変化レベルdLを超えていると判定された場合は、ステップS282へ進み、超えていないと判定された場合は、ステップS283へ進む。
【0232】
ステップ282では、ステップS252でメモリに保持された補正量としての距離dを、一回の変更量(補正量)として許容されている距離d1(ここで、d1<d)を用いて更新するために、遠目標200の位置を補正するための目標変更量としてメモリにセットして、ステップS283へ進む。
【0233】
ステップS283では、所定のタイミングで、メモリに更新・保持されている補正量を読み出して、それまで目標位置としていた遠目標200の位置を補正した新たな目標を設定してステップS284へ進む。
【0234】
ここでメモリから読み出される補正量は、ステップS281で変化量大と判定された場合は、距離d1であり、変化量大と判定されなかった場合は距離dである。またここで、所定のタイミングとは、トラクタ1が自動走行により、スタート位置から出っ張り部HHの直前まで走行したことを、カメラ部8からの画像データにより検出して、出っ張り部HHにおいて、畦形状を適切な形状に成形するためにステアリングハンドル5を回転させるのに適した時期Tsをいう。
【0235】
ステップS284では、上記所定のタイミングとしての時期Tsからタイマーがカウントを開始し、一定時間tc経過したか否かを判定し、経過していないと判定された場合はステップS254へ進み、ステップS255を経て、ステップS256bでNOと判定されてステップS251へ戻る。上述した様に、トラクタ1が区間HHL(図23参照)を走行中は、メモリに距離d(dL<d)が保持される様に構成されているので、ステップS281では前回と同様、YESと判定され、また、ステップS282では前回と同様、目標変更量として距離d1がセットされて、ステップS283では前回と同じ処理がされて、ステップS284に進む。そして、ステップS284で、一定時間が経過していると判定されれば、ステップS284のタイマーを一旦リセットした上で、カウントを開始して、ステップS285へ進む。
【0236】
ステップS285では、1)距離d−d1≧dLの場合は、二回目の目標変更量として更に距離d1を加算して、新たな目標の位置として、遠目標200の位置に対して、d1の2倍の距離だけ左方向へ移動した位置を設定し、2)距離d−d1<dLの場合は、新たな目標の位置として、遠目標200の位置に対して、距離dだけ左方向へ移動した位置を設定して、ステップS254へ進む。
【0237】
ステップS256bでは、カメラ部8から得られた最新の画像データから、トラクタ1のその時点での位置と、遠目標200の位置を左方向へ距離d移動させた目標位置とを比較する点を除いて、ステップS256の処理と同じである。
【0238】
ステップS286では、トラクタ1の走行と共にカメラ部8で撮像された画像データを画像処理して得られた遠目標200の位置を目標として設定し、ステップS254へ進む。
【0239】
尚、ステップS805〜S807では、作業者が自動スイッチ30をOFFしたか否かを検知して、ONのままであれば、ステップS251へ戻り、遠目標走行制御を繰り返し、OFFを検知すれば、ステップS807へ進み、以降、上記実施の形態5と同様に処理される。即ち、ステップS807以降は、基本的には、図8のステップS807〜S818と同じであるが、本実施の形態のステップS272a(図28参照)で、畦塗り作業であると判定されている場合は、倣い走行制御処理は行わないので、作業設定スイッチ260から畦塗り作業以外の作業モードが設定されるまでは、図8のステップS807〜S814まで処理した後、図28のステップS801へ戻る。
【0240】
本実施の形態6によれば、圃場Hの一方の辺の出っ張り部HHの出っ張りの程度が予め設定されている変化レベルdLより大きい場合、一定時間における遠目標の位置の補正量を制限出来るので、畦の形状を適切な形状とすることが可能となる。
【0241】
尚、畦塗り作業は、ロータリ作業等に比べて超低速での走行となり、状況によっても変わるが、約10cm/秒の速度で作業走行する。この場合、上述した予め設定されている変化レベルdLの一例としては30cmであり、1回の変更量として許容されている距離d1の一例としては5〜10cmであり、一定時間tcの一例としては0.1〜0.3秒である。
(実施の形態7)
次に、本発明の作業車両の自動走行制御装置の一実施の形態としての、トラクタの自動走行制御装置についてその構成と動作を説明する。
【0242】
上記実施の形態6では、圃場Hの一方の辺の出っ張り部HHの出っ張りの程度が予め設定されている変化レベルdLより大きい場合、一定時間における遠目標の位置の補正量を制限する場合について説明した。これに対して、本実施の形態7では、一定時間に代えて、一定距離走行時における遠目標の位置の補正量を制限する場合について説明する。
【0243】
以下、上記実施の形態6との相違点を中心に、図29、30を用いて説明する。
【0244】
図29は、車両制御部23に含まれるマイクロコンピュータ23aを中心とした各種制御信号の流れを示す概略ブロック図である。図29において、図28との相違点は、トラクタ1の走行速度を検知するための車速センサ290を備えた点である。
【0245】
図30は、本実施の形態のトラクタの自動走行制御装置を用いた自動走行制御システムの動作を説明するためのフローチャートである。図28と同じ処理のステップには同じ符号を付して、その説明を省略する。
【0246】
以下、図30を用いて、本実施の形態の自動走行制御システムの動作の要部を説明する。尚、ここでは、上記実施の形態6と同様に、作業者により新目標設定処理スイッチがONされているものとして説明する。
【0247】
ステップS801〜S803での処理、及びステップS251、S271、S272a、S252、S281〜S283での処理は、上記実施の形態で既に説明した通りである。
【0248】
ステップS301〜S303では、上記実施の形態6のステップS284での処理と対比させて説明すると、上記ステップS283における所定のタイミングとしての時期Tsを基準時として、車速センサ290の検知データを読み込み(ステップS301)、それを基に上記基準時からの走行距離を計算し(ステップS302)、予め定めた一定距離Lcを走行したか否かを判定し(ステップS303)、走行していないと判定された場合はステップS254へ進み、ステップS255を経て、ステップS256bでNOと判定されてステップS251へ戻る。上述した様に、トラクタ1が区間HHL(図23参照)を走行中は、メモリに距離d(dL<d)が保持される様に構成されているので、ステップS281では前回と同様、YESと判定され、また、ステップS282では前回と同様、目標変更量として距離d1がセットされて、ステップS283では前回と同じ処理がされて、ステップS301に進む。そして、ステップS301で、一定距離Lcを走行していると判定されれば、ステップS285へ進む。
【0249】
ステップS285以降のステップは、上記実施の形態6と同様である。
【0250】
本実施の形態7によれば、圃場Hの一方の辺の出っ張り部HHの出っ張りの程度が予め設定されている変化レベルdLより大きい場合、一定距離走行時における遠目標の位置の補正量を制限出来るので、畦の形状を適切な形状とすることが可能となる。
(実施の形態8)
次に、本発明の作業車両の自動走行制御装置の一実施の形態としての、トラクタの自動走行制御装置についてその構成と動作を説明する。
【0251】
上記実施の形態4では、トラクタ1が実行する作業モードに関わらず、遠目標制御処理において遠目標の位置を補正することが出来る構成について説明した。これに対して、本実施の形態8では、畦塗り作業モードが選択されている場合に限り、遠目標制御処理において遠目標の位置を補正するために、畦ラインの判定を行う場合について説明する。
【0252】
図31は、本実施の形態8において、畦塗り作業を実施する場合の、4つの遠目標200〜200cの配置状況を示す模式図である。
【0253】
本実施の形態8では、図31に示すように、畦塗り作業の場合、矩形状の圃場Hの四隅付近にそれぞれ遠目標200〜200cを配置し、作業者が、圃場Hの四隅において、手動モードでステアリングハンドル5を回転操作する場合を除き、各辺では、それぞれの遠目標を目指して自動モードで以下に説明する遠目標制御処理を実行する。
【0254】
以下、上記実施の形態4との相違点を中心に、図32、図33を用いて説明する。
【0255】
図32は、車両制御部23に含まれるマイクロコンピュータ23aを中心とした各種制御信号の流れを示す概略ブロック図である。図32において、図24との相違点は、横方向設定入力240に代えて、作業モード切替スイッチ(図示省略)からの作業モード切替入力310とそれに付随した入力回路310aが追加された点である。
【0256】
作業モード切替スイッチは、表示・操作部25に設けられており、畦塗り作業、耕耘作業、ロータリー作業、鋤作業、畝立て作業などの中から、作業者が、作業モードを設定出来るスイッチである。尚、ここでは、上記実施の形態4の場合と異なり、新目標設定処理スイッチは設けられていない。
【0257】
図33は、本実施の形態のトラクタの自動走行制御装置を用いた自動走行制御システムの動作を説明するためのフローチャートである。図25と同じ処理のステップには同じ符号を付して、その説明を省略する。
【0258】
以下、図33を用いて、本実施の形態の自動走行制御システムの動作の要部を説明する。
【0259】
ステップS801〜S803での処理は、実施の形態4で既に説明した通りである。
【0260】
ステップS321では、作業者が作業モード切替スイッチを用いて設定した作業モードを識別する入力信号を読み込み、ステップS322へ進む。
【0261】
ステップS322では、作業モードが畦塗りであるか否かを判定し、畦塗りであれば、ステップS323へ進み、畦塗りでなければ、ステップS326へ進む。
【0262】
ステップS323では、トラクタ1が畦塗り作業を開始した時点で撮像した画像データがカメラ制御部21に送られ画像処理されて記憶部22に保持されているので、その画像処理結果から遠目標200の位置を判定し、ステップS324へ進む。尚、トラクタ1が畦塗り作業を開始した時点で撮像された画像データには、その撮像時点におけるトラクタ1の車両中央のカメラ位置から見える、少なくとも遠目標200と圃場Hの右側の畦ラインALである一辺H2と出っ張り部HHの画像が含まれている。
【0263】
ステップS324では、上記画像処理結果から畦ラインALの位置を判定し、ステップS325へ進む。
【0264】
ステップS325では、ステップS323で畦塗り作業であると判定された場合には、ステップS323での遠目標判定結果と、ステップS324での畦ライン判定結果とに基づいて、遠目標200の位置の補正量としての移動距離と移動方向を算出し、メモリに保持して、ステップS253bへ進む。
【0265】
即ち、図34に示す様に畦ラインALに出っ張り部HHが含まれている場合であって、その出っ張り部HHの画像処理で算出した距離dが所定値(例えば、10cm)より大きい場合は、遠目標200の位置を、カメラ画面330において左方向に距離dだけ補正した位置を新たな目標の位置として、メモリに保持する。図34は、トラクタ1が畦塗り作業を開始した時点(図31のトラクタ1の位置)で撮像したカメラ画像を説明するための概略模式図である。
【0266】
ステップS253bでは、所定のタイミングで、メモリに保持されている補正量を読み出して、それまで目標位置としていた遠目標200の位置を、左方向へ距離dだけ補正した新たな目標を設定してステップS254へ進む。
【0267】
ここで、所定のタイミングとは、トラクタ1が自動走行により、スタート位置から出っ張り部HHの直前まで走行したことを、カメラ部8からの画像データにより検出して、出っ張り部HHを回避し、且つ、畦塗り作業を実行するためにステアリングハンドル5を回転させるのに適した時期をいう。
【0268】
尚、ステップS253bでは、上記時期が来るまでは、距離dを加味した目標位置の補正は行わないで、遠目標200の位置を目標として維持し、ステップS254aへ進む。
【0269】
ステップS326では、トラクタ1が畦塗り作業を開始した時点で撮像した画像データ(図34参照)がカメラ制御部21に送られ記憶部22に保持されているので、その画像処理結果から遠目標200の位置を判定し、ステップS325へ進む。
【0270】
ステップS254aでは、ステップS253bで設定された目標(新たな目標又は、遠目標200)を目指して自動走行制御するために必要となる操舵角を求めて、又は、後述するステップS256cから戻ってきた場合は、ステップS256cで求めた操舵角を用いて、モータ回転出力部32a、及びモータ回転方向切替出力部32bへ指令を出す。
【0271】
ステップS255での処理は、実施の形態4で既に説明した通りである。
【0272】
ステップS256cでは、トラクタ1は上記操舵角で既に走行しているので、カメラ部8で最新の画像データを取得してからトラクタ1の最新の位置データを取得して、ステップS253bで設定された目標(新たな目標又は、遠目標200)の位置データと比較して、一致していないと判定すれば、ステップS253bで設定された目標(新たな目標又は、遠目標200)を目指して自動走行制御するために必要となる最新の操舵角を求めて、ステップS254aへ戻り、一致していると判定すれば、ステップS257へ進み、正逆転モータ63の回転が停止される。
【0273】
ステップS805〜S807での処理は、ステップS806でNOと判定された場合にステップS321へ戻る点を除いては、実施の形態4で既に説明した通りである。
【0274】
尚、ステップS807以降は、基本的には、図8のステップS807〜S818と同じであるが、本実施の形態のステップS322(図33参照)で、畦塗り作業であると判定されている場合は、倣い走行制御処理は行わないので、作業モード切替スイッチ(図示省略)から畦塗り作業以外の作業モードが設定されるまでは、図8のステップS807〜S814まで処理した後、図33のステップS801へ戻る。
【0275】
本実施の形態によれば、作業モード切替スイッチで畦塗り作業モードが設定されている場合は、圃場Hが矩形であるとしてその四隅にそれぞれ配置した遠目標を基準とした遠目標制御処理が行われるが、その場合、畦形状の出っ張りの程度を検出して、その検出結果に応じて、遠目標の位置を補正することが出来るので、畦形状に沿った適切な畦塗り作業が可能となる。
(実施の形態9)
次に、本発明の作業車両の自動走行制御装置の一実施の形態としての、トラクタの自動走行制御装置についてその構成と動作を説明する。
【0276】
上記実施の形態では、遠目標制御処理と倣い走行制御処理を組み合わせた構成や、倣い走行制御処理においてカメラ部8が移動する構成や、遠目標制御処理において遠目標の位置を補正することが出来る構成等について説明した。
【0277】
これに対して、本実施の形態9では、自動スイッチ30の切り替えに伴って動作する電磁クラッチのOFF制御の工夫について説明する。
【0278】
従って、本実施の形態9の説明は、従来の遠目標制御処理にも適用出来るし、上記実施の形態で述べた本願発明に係る作業車両の自動走行制御装置の何れにも適用出来るが、ここでは、例えば、上記実施の形態4で述べた本願発明に係る作業車両の自動走行制御装置に適用した場合について説明する。
【0279】
図35は、車両制御部23に含まれるマイクロコンピュータ23aを中心とした各種制御信号の流れを示す概略ブロック図である。図35において、実施の形態4で述べた図24との主な相違点は、カメラ位置センサ31とカメラ駆動モータ出力部37が設けられていない点、並びに、横方向設定入力240、入力回路240a、A/D変換回路240b、及び新目標設定処理スイッチ(図示省略)が設けられていない点である。従って、カメラ部8は固定配置されており、例えば、車両幅方向の中央に一つ固定、若しくは、車両幅方向の左右の何れか一方に固定、又は両方にそれぞれ一つずつ固定されている構成等何れの位置に固定されていても良い。尚、カメラ部8は、移動可能に構成されていても良いが、この点については、上記実施の形態で述べた通りであるので、ここではその説明は省略する。
【0280】
図36は、本実施の形態のトラクタの自動走行制御装置を用いた自動走行制御システムの動作を説明するためのフローチャートである。図25に示すステップと同じ処理のステップには同じ符号を付して、その説明を省略する。
【0281】
以下、図36を用いて、本実施の形態の自動走行制御システムの動作の要部である電磁クラッチの制御について説明する。
【0282】
ステップS801〜S803での処理は、図25と同じである。
【0283】
ステップS361では、表示・操作部25に設けられた自動モニタ34において、トラクタ1が自動モードで走行制御中であることを表示させるための指令を出す。これにより、自動モニタ34の表示が点灯するので、作業者は自動モードに切り替わったことを確認出来る。
【0284】
ステップS362aでは、カメラ部8により所定の周期で撮像された画像データが、カメラ処理部21に送られ画像処理される。画像処理結果には、遠目標200の位置情報等が含まれている。
【0285】
ステップS362bでは、画像処理結果から、上記実施の形態1で述べた様に、トラクタ1と遠目標200の方向とのずれ角度θ1を算出し、ずれ角度θ1と、トラクタ1の速度に基づいて、トラクタ1のオフセット量を求める。これら算出したずれ角度θ1とオフセット量から自動走行制御に必要な操舵角を決める。
【0286】
ステップS362cでは、トラクタ1のステアリングハンドル5を自動モードで回転させるためのモータ24bの回転方向を判定し、ステップS362bで決定した操舵角の方向に対応しているか否かを判定して、ステップS362dへ進む。
【0287】
ステップS362dでは、ステップS362cからの判定結果が、現状のモータ24bの回転方向が、ステップS362bで決定した操舵角の方向に対応していない旨を示している場合は、モータ回転方向切替出力部32bに対して、モータ24bの回転方向を切り替えさせるための指令を出力する。
【0288】
ステップS362eでは、モータ回転出力部32aに対して、操舵角に応じてモータ24bを回転させるための指令を出力する。
【0289】
ステップS362fでは、自動走行制御下におけるステアリングハンドル5の回転角度を検知し、ステップS363へ進む。
【0290】
ステップS363では、ステップS362fで検知された回転角度が、指令通りの規定角度と一致するか否かを判定し、一致している場合は、ステップS257へ進み、一致していない場合は、ステップS365へ進む。
【0291】
ステップS257では、正逆転モータ63の回転が停止され、ステップS805〜S807では、作業者が自動スイッチ30をOFFしたか否かを検知して、1)ONのままであれば、ステップS362aへ戻り、遠目標走行制御を繰り返し、2)OFFを検知すれば、ステップS807へ進み、電磁クラッチ出力部33に対して、電磁クラッチ24cをOFFさせるための指令を出す。
【0292】
ステップS364では、表示・操作部25に設けられた自動モニタ34において、トラクタ1が自動モードから手動モードに切り替わったことを表示させるための指令を出す。これにより、自動モニタ34の表示が消灯するので、作業者は自動モードから手動モードに切り替わったことを確認出来る。
【0293】
一方、ステップS365では、作業者が自動スイッチ30をOFFしたか否かを検知して、1)ONのままであれば、ステップS362aへ戻り、遠目標走行制御を繰り返し、2)OFFを検知すれば、ステップS368へ進み、モータ回転出力部32aに対して、モータ24bの回転を停止させるための指令を出して、ステップS369へ進む。
【0294】
ステップS367では、モータ24bが回転中であるか否かを判定し、回転中であればステップS368へ進み、停止していれば、ステップS807へ進む。
【0295】
ステップS369では、モータ24bの回転が完全に停止してから、ステップS807へ進む様にするために、予め定められた時間が経過するまで待機し、所定時間が経過すれば、ステップS807へ進む。
【0296】
本実施の形態によれば、モータ24bが完全に停止してから、電磁クラッチ24cの電源をOFFするので、確実に電磁クラッチ24cを切り離した後、手動モードに切り替えることが可能となる。
(実施の形態10)
次に、本発明の作業車両の自動走行制御装置の一実施の形態としての、トラクタの自動走行制御装置についてその構成と動作を説明する。
【0297】
上記実施の形態9では、自動スイッチ30の切り替えに伴って動作する電磁クラッチ24cのOFF制御において、モータ24bが完全に停止してから、電磁クラッチ24cの電源をOFFする場合について説明した。これに対して、本実施の形態10では、電磁クラッチ24cを強制的に切り離すことが出来る場合について説明する。
【0298】
従って、本実施の形態10の説明は、従来の遠目標制御処理にも適用出来るし、上記実施の形態で述べた本願発明に係る作業車両の自動走行制御装置の何れにも適用出来るが、ここでは、例えば、上記実施の形態4で述べた本願発明に係る作業車両の自動走行制御装置に適用した場合について説明する。
【0299】
図37は、本実施の形態10の自動走行制御装置の要部の構成を示すブロック図である。
【0300】
尚、本実施の形態10における、車両制御部23に含まれるマイクロコンピュータ23aを中心とした各種制御信号の流れを示す概略ブロック図は、上記実施の形態4で述べた図24と同じであり、また、本実施の形態10のトラクタの自動走行制御装置を用いた自動走行制御システムの動作を説明するためのフローチャートも、以下に説明する電磁クラッチ24bの強制的OFF動作が可能な点を除いて図25と同じである。
【0301】
図37に示す様に、走行制御機構24’には、車両制御部23と、電磁クラッチ24cの間に、電磁クラッチ出力部33と、電磁クラッチ24cに設けられた電磁コイル71(図6(a)参照)を通電するための電源部371と、電源スイッチ372とを備えている。電源スイッチ372は、電磁クラッチ出力部33から出される電源部371への電源OFFの指令の有無に関わらず、強制的に電源部371からの電磁クラッチ24cへの電源の供給を遮断出来るスイッチであり、作業者が手動でON/OFFする構成である。
【0302】
よって、本実施の形態10によれば、例えば、電磁クラッチ出力部33に異常があり、電源部371への電源OFF指令が出力されなかった場合でも、作業者が電源スイッチ372をOFFすることにより、強制的に電源部371からの電源供給が停止し、電磁クラッチ24cを切ることが出来る。従って、異常時においても、自動モードから手動モードに確実に切り替えることが可能となる。
【0303】
尚、上記の構成とは別の構成例として、例えば、電源部371からの電源供給により通電中の電磁コイル71によって、ロータリング28に吸着状態にあるアーマチュア29(図6参照)を、強制的に引き離すための電源を電磁コイルに供給できる電源部(図示省略)を、上記電源部371とは別に設ける構成としても良い。この場合でも、上記と同様の効果を発揮する。
(実施の形態11)
次に、本発明の作業車両の自動走行制御装置の一実施の形態としての、トラクタの自動走行制御装置についてその構成と動作を説明する。
【0304】
上記実施の形態では、表示・操作部25(図2(a)参照)に設けられた自動スイッチ30を利用して、自動モードと手動モードの切り替えを行う場合について説明した。これに対して、本実施の形態11では、自動スイッチ30に代えて、ステアリングハンドル5にステアリングタッチセンサ381を設けた場合について説明する。
【0305】
従って、本実施の形態11の説明は、従来の遠目標制御処理にも適用出来るし、上記実施の形態で述べた本願発明に係る作業車両の自動走行制御装置の何れにも適用出来るが、ここでは、例えば、上記実施の形態4で述べた本願発明に係る作業車両の自動走行制御装置に適用した場合について説明する。
【0306】
図38は、車両制御部23に含まれるマイクロコンピュータ23aを中心とした各種制御信号の流れを示す概略ブロック図である。図38において、上記実施の形態4で述べた図24との主な相違点は、自動スイッチ30に代えて、ステアリングハンドル5の握り部にステアリングタッチセンサ381を設けた点である。
【0307】
ステアリングタッチセンサ381は、作業者がステアリングハンドル5に手を触れたか否かを検知するセンサである。
【0308】
図39は、本実施の形態のトラクタの自動走行制御装置を用いた自動走行制御システムの動作を説明するためのフローチャートである。図25に示すステップと同じ処理のステップには同じ符号を付して、その説明を省略する。
【0309】
以下、図39を用いて、本実施の形態の自動走行制御システムの動作の要部である電磁クラッチの制御について説明する。
【0310】
ステップS391〜S393では、手動モード中に作業者がステアリングハンドル5から手を離して(ステップS392)、一定時間が経過した場合は(ステップS393)、自動モードへの切り替えの意思表示であると判断できるので、ステップS803へ進み、手動モードから自動モードに切り替わる。
【0311】
ステップS803、ステップS251〜S257は、図25と同じであるので説明を省略する。
【0312】
ステップS394〜S395では、自動モードで、例えば遠目標走行制御処理が実行されている際に、作業者がステアリングハンドル5に手を触れた場合、手動モードへの切り替えの意志表示と判断できるので、ステップS807へ進み、自動モードから手動モードに切り替わる。また、ステップS395で、ステアリングハンドル5へのタッチが検出されなければ、ステップS251へ戻り、自動モードによる走行制御を続行する。
【0313】
本実施の形態11によれば、モード切り替えの時に、自動スイッチ30を操作する必要が無く、操作性に優れたトラクタを提供することが出来る。
(実施の形態12)
次に、本発明の作業車両の自動走行制御装置の一実施の形態としての、トラクタの自動走行制御装置についてその構成と動作を説明する。
【0314】
上記実施の形態では、遠目標制御処理に用いる遠目標200の所定周期の点滅は、作業者が遠目標200に設けられた点灯スイッチ203aをONすることにより開始する場合について説明した。これに対して、本実施の形態12では、ステアリング操作を自動モードに切り替えたことにより、又は、手動モードに切り替えたことにより、無線を用いて、遠目標の発光部の動作を自動的に開始させ、又は、停止させる場合について説明する。
【0315】
従って、本実施の形態12の説明は、従来の遠目標制御処理にも適用出来るし、上記実施の形態で述べた本願発明に係る作業車両の自動走行制御装置の何れにも適用出来るが、ここでは、例えば、上記実施の形態3で述べた本願発明に係る作業車両の自動走行制御装置に適用した場合について説明する。
【0316】
図40は、本実施の形態のトラクタ1の自動走行制御装置を用いた、自動走行制御システムを説明するための模式図である。図40に示す様に、本実施の形態では、第1遠目標241と、第2遠目標242が、圃場Hの対向する辺に配置されているとする。また、これら第1遠目標241及び第2遠目標242と、上記実施の形態で述べた遠目標200との主な相違点は、トラクタ1から送信される信号を受信して、点灯動作を開始するための遠目標受信回路241a、242aがそれぞれに内蔵されている点である。
【0317】
図41は、車両制御部23に含まれるマイクロコンピュータ23aを中心とした各種制御信号の流れを示す概略ブロック図である。図41において、上記実施の形態3の車両制御部に含まれるマイクロコンピュータを中心とした各種制御信号の流れを示す概略ブロック図(図4参照)との主な相違点は、第1遠目標点灯出力部411a、第2遠目標点灯出力部412、及び、ON/OFF指令送信回路413等を備えた点である。尚、遠目標点灯出力部は遠目標毎に設けないで、一つにまとめても良い。
【0318】
ON/OFF指令送信回路413は、第1遠目標点灯出力部411からの信号を得て、或いは、第2遠目標点灯出力部412からの信号を得て、トラクタ1の前方にある第1遠目標241、或いは、第2遠目標242に向けて、送信用アンテナ(図示省略)からON/OFF指令を送信する回路である。送信用アンテナは、前方に対して強い指向性を有したアンテナであるので、第1遠目標241に向けてON/OFF指令を送信しても、第2遠目標242の点灯スイッチはON/OFFしない構成である。
【0319】
尚、ON/OFF指令送信回路413は、遠目標毎に送信周波数を変える構成としても良い。この場合、誤点灯を確実に防止出来る。
【0320】
図42は、本実施の形態の自動走行制御システムの動作を説明するためのフローチャートであり、上記実施の形態3の図22と同じステップには同じ符号を付し、その説明を省略する。
【0321】
以下、図42を用いて、本実施の形態の動作を説明する。
【0322】
ステップ815〜ステップS302での処理は、図22と同じである。即ち、作業者が自動スイッチ30をONしたことを検知して(ステップS816)、カメラ位置が中央位置に無ければ中央位置に移動させて(ステップS302)、ステップS421へ進む。
【0323】
ステップS421では、電磁クラッチ24cがONされて、ステップS422へ進み、自動モニタ34がONされて、自動モードに切り替わったことが表示されて、ステップS423に進む。
【0324】
ステップS423では、第1遠目標241が設置されているか否かは、トラクタ1側ではまだ認識出来ていないが、自動スイッチ30がONされているので、第1遠目標点灯出力部411からのON指令をON/OFF指令送信回路413からトラクタ1の前方に向けて送信して、ステップS303へ進む。本実施の形態では、図40に示す様に、第1遠目標241が設置されているので、このON指令を受信して、第1遠目標241の点灯スイッチがONされる。
【0325】
ステップS303〜S305での処理は、図22と同じである。本実施の形態では、第1遠目標241の点灯スイッチがONされたので、その存在を検出して(ステップS303、S304)、電磁クラッチ24cをONして(ステップS305)、ステップS306aへ進む。
【0326】
ステップS306a〜S306bでの処理は、図22のステップS306での処理と同じであり、ステップS307〜S309での処理も、図22のステップS307〜S309と同じである。
【0327】
一方、ステップS310〜S314での処理は、図22のステップS310〜S314と同じである。
【0328】
ステップS424では、自動モニタ34がOFFされて、自動モードから手動モードに切り替えられたことを表示する。
【0329】
ステップS425では、ステップS308で自動スイッチ30がOFFされたことを検知しているので、ON/OFF指令送信回路413からOFF指令が送信されて、第1遠目標241の点灯スイッチがOFFされる。
【0330】
その後、作業者が手動モードでトラクタ1を旋回させて、ステップS815へ戻り、ステップS816でONと判定された後は、上記と同様の処理を実行するが、ステップS423では、第2遠目標242の点灯スイッチをONし、また、ステップS425ではOFFすることになる。
【0331】
尚、第2遠目標242を用いた遠目標制御処理が完了した後は、図40に示す様に遠目標が設置されていないので(ステップS304)、ステップS310へ進み、倣い走行制御処理が実行される(ステップS312)。
【0332】
本実施の形態によれば、遠目標制御処理を開始する前に、遠目標の点灯スイッチをONし、処理が終了すればOFFできるので、操作性が向上すると共に遠目標の電池パック203bの電源の節約が可能となる。
【0333】
次に、遠目標の電源の節約を目的とした別の構成例を説明する。
【0334】
即ち、上記構成では、トラクタ1側のON/OFF指令送信回路413からの指令により、遠目標の点灯スイッチをONすることもOFFすることも出来る構成であったが、これに限らず例えば、遠目標側にタイマ(図示省略)を設けておいて、ON/OFF指令送信回路413からON指令を受信して点灯スイッチがONすると同時にタイマが起動して、所定時間経過後に点灯スイッチをOFFさせる構成としても良い。ここで、所定時間とは、例えば、図40の圃場Hの一行程分の距離と、次の行程に入るまでの旋回距離とを合計した距離を走行するに要する程度の時間であり、圃場Hの広さに応じて、タイマ側で、所定時間を設定できる構成になっている。
【0335】
また、タイマの起動を作業者が行う構成としても良い。
【0336】
これにより、遠目標の点灯スイッチをより簡単な構成で自動的にOFFさせることが出来、電源の節約が可能となる。
【0337】
尚、上記実施の形態では、倣い走行制御処理において、トラクタ1の旋回方向に応じて、カメラ部8を車両本体の左右両端の何れかに移動させる場合について説明したが、これに限らず例えば、カメラ部8をトラクタ1の車両本体中央に固定した構成でも良い。この場合のフローチャートを図43に示す。同図において、図8と同じステップには同じ符号を付した。また、この構成の場合、倣い基準線として、例えば、フレームの中央位置における縦の仮想線と所定の傾き角度をなす複数種類の線分情報を、作業の種類に対応して異なる軌跡の位置情報として、予め記憶部22に格納しておくか、或いは、各作業を実施する毎に、作業者が手動制御によってトラクタ1を一行程前の作業軌跡に平行になるように位置決めしてから、倣い自動走行モードに切り替えることにより、その時点で撮像された軌跡の画像データを基にして、倣い基準線の線分情報を算出し格納する。これによって、作業者が、耕耘作業や畝立て作業などの中から、実施しようとする作業情報を表示・操作部25から入力することで、予め格納されている線分情報の中から対応するものが倣い基準線として抽出されて、或いは、各作業を実施する毎に算出される倣い基準線として、カメラ制御部21に送られる。図43に示すステップS818’では、カメラ制御部21において、上記倣い基準線と仮想線とのなす角度φ等を算出した後は、図8のステップS818と概ね同じ処理となる。ここで、最初に設定された倣い基準線としての線分情報は、トラクタ1が倣い走行制御を開始した後は、所定の時間間隔で撮像されるカメラ画像データに基づいて更新されるか、或いは、トラクタ1の速度に基づいて移動距離を求め、トラクタ1の位置に対応する様に自動的に更新される。これは、トラクタ1の移動に伴い、画像全体における倣い基準線の位置や長さが変化することに対応するためである。
【0338】
これにより、最初の一行程の遠目標認識による自動直進走行から、それ以降の行程の作業軌跡を検出して、それに倣って自動走行する倣い走行制御へと移行させることが出来る。
【0339】
また、上記実施の形態では、トラクタ1の旋回方向に応じて、カメラ部8を車両本体の左右両端の何れかに移動させる場合について説明したが、これに限らず例えば、カメラ部8をトラクタ1の車両本体両端にそれぞれ固定したカメラ構成であっても良い。この場合、例えば、車両本体の両端の何れのカメラの画像データを使用するかを旋回方向に応じて自動的に切り替えるか、又は、作業者が手動でスイッチを切り替える。
【0340】
また、上記実施の形態4では、最初の一行程において目標位置の補正を行う遠目標制御処理を実行した後、倣い走行制御処理を実行する場合について説明したが、これに限らず例えば、それ以降の行程においても遠目標制御処理を行う構成でも良い。この場合、それ以降の行程における遠目標制御処理として、目標位置の補正を行わせても良いし、行わせなくても良い。また、この場合、以降の行程において、最初の行程での出っ張り部HHを回避する動きを継続して行わせるべく、目標位置の補正を行う遠目標制御処理を実行するか、又は、倣い走行制御処理を実行し、最後の行程だけ、目標位置の補正を行わせない様にするために、目標位置の補正を行わない遠目標制御処理を実行する構成としても良い。これにより、最後の行程において、圃場Hの一辺H2に対向する一辺側は出っ張り部が無く、直線である場合の作業に適している。
【0341】
更に、また、二番目以降の行程において、倣い走行制御処理を行う場合、最初の一行程の次の行程においては、出っ張り部HHに対応する部分の作業軌跡は同様に出っ張っているので、上記と同様の倣い走行制御処理を実行すると、その出っ張り部の軌跡の通りに走行するので、その出っ張り部の軌跡を走行する直前で、作業者が自動スイッチ30をOFFして、自動モードから手動モードに切り替えて、自らのハンドル操作により、直進走行を行い、その出っ張り部の軌跡を通過した後は、再び、自動スイッチ30をONして、手動モードから自動モードに変更することにより、二番目の行程以降において、出っ張り部の無いまっすぐな作業軌跡を残すことが出来る。
【0342】
また、上記実施の形態では、一時的に遠目標200の位置を補正して新たな目標を設定するために、カメラ部8による撮像データをカメラ制御部21が画像処理した結果得られた補正量を利用する場合について説明したが、これに限らず例えば、表示・操作部25に設けられたスライド式の手動入力スイッチから、作業者が補正量を入力する構成としても良い。この場合、作業者が、圃場Hの出っ張り部HHの出っ張りの距離を目測して、出っ張り部HHが近づいた時に手動入力スイッチのスライドレバーを対応する数値レベルにセットすることにより、自動的にその出っ張り部HHを回避する様に、一時的に遠目標200の位置を補正して新たな目標を設定する。これにより、上記と同様の効果を発揮する。
【0343】
また、上記実施の形態では、遠目標の発光部が点滅する場合について説明したがこれに限らず、例えば、点灯させたままの構成でも良い。
【0344】
また、上記実施の形態では、発光部の点滅とカメラ部の撮像の同期をとらない構成について説明したが、これに限らず例えば、双方の同期をとる構成でも良い。
【0345】
また、上記実施の形態では、図3(a)、図3(b)に示す様に、高さ調節が可能でかつ3つに分割可能である遠目標200を用いる場合について説明したが、これに限らず例えば、別の構成例として、図43に示すような構成でもよい。図43に示す遠目標200aの構成例の場合、発光部201、制御回路部202及び電源部203が筐体224に収容されている。筐体224は、例えば、馬鈴薯等の収穫物を収容する合成樹脂製の筐体を流用することができる。筐体224の寸法は、例えば、縦約55cm、横約40cmである。筐体224の背面には、制御回路部202及び電源部203が固着されている。制御回路部202及び電源部203の前面には、筐体224の背面と略同一面積を有し、矩形状を呈している仕切板225が設けられている。この仕切板225の略中央には、発光部201が取り付けられている。発光部201は、複数の発光ダイオード(LED)がマトリックス状に所定間隔をあけて配置されて構成されている。LEDとしては、例えば、車両のウインカーに用いられる高輝度でオレンジ色の光を発光するものが好ましい。
【0346】
また、発光部201の縦幅と横幅の比は、例えば、2:1〜4:1の範囲が好ましい。
【0347】
また、発光部201の輪郭形状は、例えば、略矩形状、略楕円状又は略円形状とする。発光部201の輪郭形状を略矩形状とした場合、LEDを、例えば、縦約30cm、横約10cmの範囲に、25行、8列、すなわち、200個配置する。
【0348】
また、本発明の実施の形態によれば、遠目標200を構成する発光部201は、輪郭の形状は、長方形状、楕円形状又は円形状のいずれかであって、輪郭の縦横比が2分の1から4分の1の間である。通常、発光部201の発光部分は面積が大きく、カメラ部8の方向に投射する光量が多いほど、遠方からの検出が有利となる。しかし、発光部201の位置は画像上の発光部201の中心座標によって算出するので、近距離では発光部201の画像が大きくなり、特に横幅が広くなると、検出される位置の精度が低下する傾向となる。そこで、本発明の実施の形態のように、発光部201の発光部分を、縦方向に長く、横方向に狭くすると、面積の拡大と精度の確保の両立が可能となる。一方、発光部201の発光部分が縦方向に長くなり過ぎると、画像上の発光部201の形状が、ノイズ的な要因で誤抽出される画素グループと類似してくるので、輪郭の縦横比は、2分の1から4分の1の間であることが最適である。
【0349】
また、本発明の実施の形態によれば、遠目標200は、黒色などの暗い色で塗装され、かつ、発光部201の発光部分の横幅以上の幅の余白部分を、発光部201の周囲に有する仕切板225を、発光部201の背後に有している。カメラ部8は、上記したように、撮像素子が格子状に配置された構造となっている。図16は遠目標200の一例であるが、検出限界付近の遠い距離では、遠目標200を撮像した画像は小さくなり、1個の撮像素子の大きさは図16に示す1個の格子ほどになり、撮像素子の出力は、1個の格子の中に存在する複数の物体の平均的な明るさとなり、図17のようなモザイク画像の状態になる。
【0350】
発光部201の周囲に背景板がなく、発光部201の背後に明るい物体があると、1個の撮像素子に発光部201と明るい背景の両方が同時に入る状態となり、発光部201が消灯してもその画素は明るい背景の光を受けて輝度が高いままの状態となり、輝度の変化が減少して発光部201の検出が困難となる。そこで、仕切板225を設けると、背後の物体による発光部201の画像への影響を低減することができ、特に、遠方の距離において検出性能が向上する。
【0351】
発光部201の画像は、消灯時には暗い必要があるので、仕切板225は黒色などの光の反射が少ない色であることが望ましい。また、実際のカメラ部8では、レンズの収差などの影響で、ある物体からの光は、その位置の撮像素子のみでなく、周囲の撮像素子にも影響が拡散する。よって、仕切板225の大きさは、最低限、発光部201の発光部分の横幅以上の幅を、発光部201の周囲に有することが望ましい。さらに、筐体224に蓋を取り付け、蓋の裏も黒く塗装し、発光部201使用時には蓋を展開して、仕切板225の拡張として利用しても良い。
【0352】
また、本発明の実施の形態によれば、遠目標200は、その発光部201を直方体の容器状の筐体224の底部又は底部の付近に設けた仕切板225に設置する構造である。遠目標200は、図5に示すように、発光部201の発光体をほぼ垂直に立てて使用する場合が多いと考えられる。直方体の筐体224を用いることにより、遠目標200は、図5に示すように、平坦な場所に置くだけで安定な設置が可能となり、取扱が簡便となる。また、筐体224はそのまま収納用の容器を兼ねることもできる。
【0353】
また、発光部201に直射日光が当たると、太陽光の反射で発光部201の部分が輝き、発光部201が消灯状態でも画像が明るいままとなる。直方体状の筐体224の奥まった所に発光部201を設置することにより、上方と左右にも日除けが付く構造となる。
【0354】
また、上述の実施の形態では、本発明を農用トラクタに適用する例を示したが、これに限定されず、農用トラクタ以外の各種農用車両による作業に適用可能であり、特に、最初の作業行程を高精度に直線的に遠目標による自動走行を行い、以降の行程で遠目標を必要としない倣い走行を行う場合、低速で長時間にわたる直進運転、直線的に畦塗りを行いたい場合や、遠目標に向かう過程で一部に出っ張り部がある場合などに有効である。
【0355】
また、本発明は、農業分野だけでなく、土木や建設分野での作業車両の自動走行制御にも利用可能である。
【0356】
また、上述の実施の形態では、遠目標200をトラクタ1が直進走行すべき走路前方の延長線上に設置するとともに、この遠目標200を撮像するために、カメラ部8をトラクタ1のフロントガラス10の中央上方であって、トラクタ1の前方正面に向けて車両中心線MC上に搭載する例を示したが、これに限定されない。例えば、遠目標200をトラクタ1が直進走行すべき走路後方の延長線上に設置するとともに、この遠目標200を撮像するために、カメラ部8をトラクタ1の室内又はルーフ上等であって、トラクタ1の後方正面に向けて車両中心線MC上に搭載しても良い。
【0357】
以上、本発明の実施の形態について図面を参照して詳述してきたが、具体的な構成はこの実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても本発明に含まれる。
【産業上の利用可能性】
【0358】
本発明にかかる作業車両の自動走行制御装置は、自動走行による作業に必要な目標の数量を低減出来、しかもその目標の設置にかかる手間も低減出来るという効果を有し、トラクタ等の農用の作業車両や、土木・建築分野における作業車両等の自動走行制御装置等として有用である。
【符号の説明】
【0359】
1 乗用型トラクタ(トラクタ)
2 ボンネット
3 前輪
4 後輪
5 ステアリングハンドル
6 操作ボックス
7 運転席
8 カメラ部
9 運転室
10 フロントガラス
11 カメラ支持部材
12 トップリンク
13 ロアリンク
【特許請求の範囲】
【請求項1】
作業車両に設けられた撮像ユニットと、
前記撮像ユニットにより撮像される予め設置された目標の画像情報に基づいて、直進走行を行う第1の走行モードと、前記撮像ユニットにより撮像される作業の痕跡の画像情報に基づいて、倣い走行を行う第2の走行モードとを有する、前記作業車両の走行制御を行う走行制御ユニットとを備え、
前記走行制御ユニットは、前記第1の走行モードにより直進走行を行わせた後、前記第1の走行モードが解除され、前記作業車両が旋回された後、前記第2の走行モードにより倣い走行を行わせる、作業車両の自動走行制御装置。
【請求項2】
前記撮像ユニットは、カメラと、前記カメラを移動させるカメラ移動機構とを備える、請求項1に記載の作業車両の自動走行制御装置。
【請求項1】
作業車両に設けられた撮像ユニットと、
前記撮像ユニットにより撮像される予め設置された目標の画像情報に基づいて、直進走行を行う第1の走行モードと、前記撮像ユニットにより撮像される作業の痕跡の画像情報に基づいて、倣い走行を行う第2の走行モードとを有する、前記作業車両の走行制御を行う走行制御ユニットとを備え、
前記走行制御ユニットは、前記第1の走行モードにより直進走行を行わせた後、前記第1の走行モードが解除され、前記作業車両が旋回された後、前記第2の走行モードにより倣い走行を行わせる、作業車両の自動走行制御装置。
【請求項2】
前記撮像ユニットは、カメラと、前記カメラを移動させるカメラ移動機構とを備える、請求項1に記載の作業車両の自動走行制御装置。
【図1】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図18】
【図19】
【図20】
【図21】
【図22】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図32】
【図33】
【図35】
【図36】
【図37】
【図38】
【図39】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】
【図2】
【図3】
【図17】
【図23】
【図31】
【図34】
【図40】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図18】
【図19】
【図20】
【図21】
【図22】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図32】
【図33】
【図35】
【図36】
【図37】
【図38】
【図39】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】
【図2】
【図3】
【図17】
【図23】
【図31】
【図34】
【図40】
【公開番号】特開2012−23997(P2012−23997A)
【公開日】平成24年2月9日(2012.2.9)
【国際特許分類】
【出願番号】特願2010−164343(P2010−164343)
【出願日】平成22年7月21日(2010.7.21)
【出願人】(501203344)独立行政法人農業・食品産業技術総合研究機構 (827)
【出願人】(000000125)井関農機株式会社 (3,813)
【Fターム(参考)】
【公開日】平成24年2月9日(2012.2.9)
【国際特許分類】
【出願日】平成22年7月21日(2010.7.21)
【出願人】(501203344)独立行政法人農業・食品産業技術総合研究機構 (827)
【出願人】(000000125)井関農機株式会社 (3,813)
【Fターム(参考)】
[ Back to top ]