説明

走行制御装置

【課題】車両が目標ランプに向かって自動的に走行するように制御する走行制御装置を提供する。
【解決手段】走行制御装置において、カメラは、車両走行の目標となる方向に位置する目標ランプを撮像する。画像処理部32は、カメラにより撮像した撮像画像を処理する。走行制御部36は、撮像画像に含まれる目標部画像の位置と車両の初期位置との関係で定まる目標走行ラインを走行するように車両の走行を制御する。ヨー角検出部42は、撮像画像から目標部に対する車両のヨー角を検出する。横偏差算出部50は、撮像画像から目標走行ラインからの横偏差を算出する。走行制御部36は、ヨー角および横偏差にもとづいて車両の走行を制御する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、目標に向かうように車両の走行を制御する走行制御装置に関する。
【背景技術】
【0002】
農用車両による播種、移植、畝立て、畦塗りおよび資材散布などの作業では、その作業の精度や能率向上のためや、それ以降の管理や収穫などの作業のために、各行程を直進かつ平行に行うことが重要である。特に、最初の行程は次の行程以降の基準となることから、できるだけ、真っ直ぐな行程であることが望ましい。これらの作業は長時間にわたることが多く、やり直すことができない作業もあるため、作業者への肉体的、精神的な負担が大きく、熟練を必要とする。そのため、農用車両を自動的に直進する技術へのニーズが多い。
【0003】
車両の自動走行を制御する技術として、以下に示すような技術がある。たとえば、特許文献1には、農用車両の直進制御法が提案されている。この農用車両の直進制御法は、最初に設定された方位を目標方位とし、地磁気方位センサから得られた農用車両の走行方位と、目標方位とにもとづき自動走行する。
【0004】
また、特許文献2には、車両のヨー方向の角速度にもとづいて車両の回転方向とは逆のヨーモーメントが生じるように、左右の制御ブレーキを制動して車両の姿勢を制御する車両姿勢制御装置が開示されている。
【0005】
また、特許文献3には、位置調整、旋回調整が可能なレーザ発光機を車両に備え、目標地点に置かれたプリズムによって、反射されたレーザ光をもとに作業車を誘導する装置が開示されている。
【0006】
また、特許文献4には、点灯する発光体を備えた田植機と、発光体の位置判別装置を備えた本体側車両において、田植機と本体側車両とを遠近方向に相対移動操作する移動制御装置が開示されている。
【0007】
また、特許文献5には、点滅信号を発信する誘導灯が作業機の前後に複数配置され、誘導灯により作業機の往復作業およびレーン変更を誘導する自動運行装置が開示されている。
【0008】
また、特許文献6には、目標とする走行経路に沿ってレーザ投光機から投射されるレーザ光線を、作業車の前後に設置した2組の受光センサで検出して、レーザ光線に対する作業車の方位ずれと車幅方向の位置ずれを検出し、方位ずれと位置ずれの情報にもとづいて作業車を走行経路に沿って自動走行するように制御する作業車誘導装置が開示されている。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開2000−14209号公報
【特許文献2】特開2005−262908号公報
【特許文献3】特開平1−10308号公報
【特許文献4】特開平10−243710号公報
【特許文献5】特開平3−2428号公報
【特許文献6】特開平6−168024号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
ところで、特許文献6に記載されたような作業車誘導装置を用いて、車両を自動的に走行させる場合、複数のレーザ投光機の設置や、作業車に設けられた受光センサの位置調整が煩瑣である。
【0011】
本発明はこうした状況に鑑みてなされたものであり、その目的は、車両が目標に向かうように走行させる制御を簡易にすることができる走行制御装置を提供することにある。
【課題を解決するための手段】
【0012】
上記課題を解決するために、本発明のある態様の走行制御装置は、車両走行の目標となる方向に位置する目標部を撮像する撮像部と、撮像部により撮像した撮像画像を処理する画像処理部と、撮像画像に含まれる目標部画像の位置と車両の初期位置との関係で定まる目標走行ラインを走行するように車両の走行を制御する走行制御部と、を備える。画像処理部は、撮像画像から目標部に対する車両のヨー角を検出するヨー角検出部と、撮像画像から目標走行ラインからの横偏差を算出する横偏差算出部と、を備える。走行制御部は、ヨー角および横偏差にもとづいて車両の走行を制御する。
【0013】
この態様によると、画像処理によってヨー角および横偏差を算出することができ、ヨー角と横偏差とにもとづいて走行制御を行うことで、車両を精度良く目標走行ラインに沿って走行させることができる。
【発明の効果】
【0014】
本発明によれば、車両が目標に向かうように走行させる制御を簡易にすることができる。
【図面の簡単な説明】
【0015】
【図1】実施形態に係る走行制御装置の側面図である。
【図2】本発明の実施の形態に係る走行制御装置の上面図である。
【図3】実施形態に係るECUの機能構成を示す図である。
【図4】実施形態に係る横滑り走行を実行している車両を示す図である。
【図5】実施形態に係る画像処理部の機能構成を示す図である。
【図6】目標部画像の大きさと実距離との関係を示す図である。
【図7】にじみ幅と実距離との関係を示す図である。
【図8】撮像画像上の位置座標とにじみの関係性を示す図である。
【図9】発光部の指向性を示す模式図である。
【図10】にじみ幅の算出結果を示す図である。
【図11】にじみ補正をしていない実距離の算出結果を示す図である。
【図12】実施形態に係る距離算出部がにじみ補正をした実距離の算出結果を示す図である。
【図13】仮想2次元空間における目標部画像とウィンドウと消失点の初期状態の位置を示す図である。
【図14】車両が実空間で右に変位した場合の仮想2次元空間における目標部画像とウィンドウと消失点の位置を示す図である。
【図15】平面での走行制御の実験結果を示す図である。
【図16】斜面での走行制御の実験結果を示す図である。
【図17】実施形態に係る走行制御のフローチャートを示す図である。
【発明を実施するための形態】
【0016】
作業車両は、通常の一般車両と比べて、牽引力および旋回力に優れる一方、直進性能が低い場合がある。また、運転者は、作業車両の後部に備えられる作業機の作業状態を確認するため、後方に振り返りつつ、直進運転をすることを強いられる。農場によっては500m以上の長さがあり、この距離を直進させるのは運転者の負担が大きい。そこで、実施形態の走行制御装置は、目標地点に設置された目標ランプをカメラで撮像し、目標ランプに向かって車両を自動的に走行させることで、運転者の負担を軽減させる。
【0017】
一般道路には車線が描かれているが、農場には基準とする走行ラインが描かれていない。実施形態の走行制御装置は、目標ランプと車両の初期位置を結ぶ直線を走行ラインとして定める。そして、走行制御装置は、目標ランプに対するヨー角と、目標とする走行ラインに対する横偏差とにもとづいて目標ラインを走行するように車両の走行を制御する。これにより、走行制御における直進性能が高まる。
【0018】
以下、図面を参照しながら実施形態について説明する。なお、明細書中の「左」または「右」の記載は、車両後部から車両進行方向を向いた場合の方向を意味する。図面の説明において同一の要素には同一の符号を付し、重複する説明を適宜省略する。
【0019】
図1は、実施形態に係る走行制御装置20の側面図である。図2は、実施形態に係る走行制御装置20の上面図である。車両1は、車両客室3、左前輪8aと右前輪8b(以下、総称する場合は「前輪8」という)、および、左後輪10aと右後輪10b(以下、総称する場合は「後輪10」という)を有し、走行制御装置20は、車両1に搭載され、左ブレーキ機構6aと右ブレーキ機構(不図示)(以下、総称する場合は「ブレーキ機構6」という)、カメラ11、ECU(Electronic control unit)12、操舵駆動機構14およびステアリング機構15を備える。
【0020】
車両1は、農用トラクタや土木用作業車両などの作業車両であってよく、車両1の後方には作業機16が取り付けられる。作業機16は、たとえば、圃場4において播種や畝立てなどの作業をする。
【0021】
ステアリング機構15は、ステアリングホイール(不図示)、ステアリングシャフト(不図示)、およびステアリングシャフトの動きを前輪の動きに変換するギヤ装置(不図示)と、を有する。ステアリング機構15は、ハンドルとしてのステアリングホイールの回動を前輪8の転舵運動に変換する。ステアリングホイールは、車両客室3内に設けられ、運転者によって回動操作される。ステアリングシャフトは、ステアリングホイールとともに回転するように一端がステアリングホイールに連結されており、ステアリングホイールの回転をギヤ装置に伝達する回転軸として機能する。
【0022】
操舵駆動機構14は、舵角センサ(不図示)およびモータ(不図示)を備える。操舵駆動機構14は、モータを駆動し、ステアリング機構15に転舵力を与える。舵角センサは、ステアリングシャフトに設けられ、ステアリングホイールの操舵角および操舵方向を検出する。操舵駆動機構14はECU12に接続されている。舵角センサの検出値は、ECU12に出力される。なお、操舵駆動機構14は、液圧式であってよく、液圧ポンプを駆動して、ステアリング機構15に転舵力を与えてよい。
【0023】
ブレーキ機構6は、運転者のブレーキペダル(不図示)の操作量に応じて後輪10に制動力を与える。ブレーキペダルは、左後輪用ブレーキペダルと右後輪用ブレーキペダルを有する。運転者が各ブレーキペダルを操作することで、左後輪10aと右後輪10bに対して個別に制動力を与えることができる。たとえば、車両1を右方向に旋回するとき、運転者が、右後輪用ブレーキペダルを踏み込んで右後輪10bに制動力を与えることで、右後輪10bを軸として車両1を小回りさせることができる。ブレーキ機構6は、ECU12に接続され、ECU12により後輪10に与える制動力を制御される。なお、車両1の前輪8に、ブレーキ機構は無くてよい。
【0024】
目標ランプ2は、発光部21および筐体24を備える。発光部21は、発光ダイオード(LED)であってよく、所定の大きさを有し、目標部として機能する。発光部21は、所定の制御周期で点滅してよい。なお、目標部は、ECU12が既知の大きさで、カメラ11によって認識可能な部材であってよい。
【0025】
車両客室3の上部には、カメラ11が配置される。カメラ11は、撮像部として機能し、目標ランプ2を撮像する。カメラ11は、点灯している発光部21と、消灯している発光部21を交互に撮像してよい。カメラ11は、撮像した画像をECU12に出力する。
【0026】
図2に示す目標走行ライン26は、撮像画像に含まれる目標ランプ2の位置と車両1の初期位置との関係で定まる。図2では目標ランプ2が車両走行の目標とする方向の位置に配置されている。車両1の初期位置とは、運転者がECU12に接続された自動走行開始スイッチ(不図示)をオンしたときの車両1の位置をいい、走行制御装置20による走行制御を開始する位置をいう。
【0027】
運転者が自動走行開始スイッチをオンすると、ECU12は、カメラ11から出力された目標ランプ2が撮像された画像から目標ランプ2の位置を算出し、車両1の初期位置と目標ランプ2の位置とを結ぶラインを目標走行ライン26として定める。なお、運転者による自動走行開始スイッチのオン/オフにより、走行制御装置20による走行制御が実行/停止される。
【0028】
ECU12は、撮像された撮像画像を処理する画像処理手段として機能し、車両1の走行を制御する走行制御手段として機能する。ECU12は、各種演算処理を実行するCPU、各種制御プログラムを格納するROM、データ格納やプログラム実行のためのワークエリアとして利用されるRAM、エンジン停止時にも記憶内容を保持できるバックアップRAM等の不揮発性メモリ、入出力インターフェース、各種センサ等から入力されたアナログ信号をデジタル信号に変換して取り込むためのA/Dコンバータ、計時用のタイマ等を備えるものである。なお、画像処理手段と走行制御手段は、それぞれ画像処理装置と走行制御装置とする、別のユニットであってよい。
【0029】
図3は、実施形態に係るECU12の機能構成を示す。ECU12は、画像取得部30、画像処理部32、記憶部34および走行制御部36を備える。画像取得部30は、カメラ11が目標ランプ2を所定の撮像周期で撮像した撮像画像を取得する。
【0030】
画像処理部32は、画像取得部30から受け取った撮像画像を処理する。画像処理部32は、撮像画像からヨー角および横偏差を検出し、走行制御部36に供給する。記憶部34には、横偏差および撮像画像の情報が記憶される。
【0031】
走行制御部36は、操舵駆動機構14を介して操舵を制御する操舵制御部と、ブレーキ機構6を介して制動力を制御するブレーキ制御部とを備える。ブレーキ制御部は、左右の後輪10に設けられたブレーキ機構6の制動力を独立に制御する。操舵制御部は、操舵駆動機構14を駆動し、前輪8の操舵を制御する。
【0032】
走行制御部36は、画像処理部32から受け取ったヨー角と横偏差に応じて目標走行ライン26を走行するように車両1の走行を制御する。たとえば、走行制御部36は、ヨー角がゼロであり車両1の進行方向が目標ランプ2に真っ直ぐ向いている場合であっても、横偏差にもとづいて横偏差を小さくするように前輪8を操舵する。これにより、走行制御部36は、車両1が目標走行ライン26に近づくように走行を制御することができる。
【0033】
なお、車両1の左右への横偏差がそれぞれプラスとマイナスで算出される場合に、横偏差がゼロである位置が目標走行ライン26上の位置となる。
【0034】
走行制御部36は、ブレーキ制御部により左右の後輪10のうち目標走行ライン26に近い後輪10に制動力を与え、操舵制御部により目標走行ライン26に向かう方向と逆向きに前輪を操舵させて、横滑り走行を制御する。ここで、横滑り走行について具体的に図4を参照して説明する。
【0035】
図4は、実施形態に係る横滑り走行を実行している車両1を示す。図4に示す車両1の位置は、目標走行ライン26から右にずれている。このとき、ブレーキ制御部は進行中の車両1の左後輪10aに制動力を与え、操舵制御部は前輪8を進行方向とは逆向きに操舵する。これにより、車両1に横滑りが発生し、車両1が横滑りしながら進行する。横滑り走行において、車両1がヨー角の変化を最小限にとどめつつ走行するため、作業機16のぶれを小さくすることができる。
【0036】
図5は、実施形態に係る画像処理部32の機能構成を示す。画像処理部32は、目標ランプ検出部40、ヨー角検出部42、距離算出部44、特徴設定部46、特徴追跡処理部48、および横偏差算出部50を備える。
【0037】
目標ランプ検出部40は、画像取得部30から受け取った撮像画像から画像上の発光部21(以下、「目標部画像」という)を検出する。具体的には、目標ランプ検出部40は、所定の輝度閾値以上の輝度を示す画素の集合を目標部画像として検出する。また、目標ランプ検出部40は、点滅する発光部21を撮像した撮像画像を受け取り、点灯した発光部21の撮像画像と消灯した発光部21の撮像画像の輝度を比較し、所定の輝度差以上の画素の集合を目標部画像として検出してよい。さらに、目標ランプ検出部40は、所定の輝度差以上の画素の集合が所定の面積および所定のアスペクト比を満たせば、目標部画像であると判定してよい。また、目標ランプ検出部40は、点滅する発光部21の撮像画像を受け取り、検出した目標部画像が、発光部21の点滅の周期に応じた輝度の時間的変化を満たすかどうか判定し、目標部画像の検出が妥当であるかどうか判定してよい。
【0038】
目標ランプ検出部40は、撮像画像と、検出した目標部画像の位置情報および大きさを記憶部34に記憶させる。目標ランプ検出部40は、目標部画像の大きさを距離算出部44に供給し、目標部画像の位置情報をヨー角検出部42および横偏差算出部50に供給する。なお、位置情報は、撮像画像の画素を単位とする仮想2次元空間の座標であってよく、撮像画像上の所定の位置を基準とした座標であってよい。
【0039】
ヨー角検出部42は、目標ランプ検出部40から目標部画像の位置情報を受け取り、車両1の向きと目標部画像の位置から目標ランプ2に対する車両1のヨー角を算出する。ヨー角は、車両1の向きと、目標ランプ2と車両1の位置とを結ぶラインと、にもとづく鋭角である。たとえば、車両1が目標ランプ2に対して真っ直ぐ向いていれば、ヨー角をゼロとしてよい。
【0040】
車両1の向きは、あらかじめ設定されたカメラ11の撮像方向であってよく、たとえば撮像画像の中心位置を通る縦方向のベクトルであってよい。なお、カメラ11は、車両1のエンジンフードに設置される所定のマーカーを撮像し、ヨー角検出部42は、撮像画像の所定の位置がマーカーからずれていれば、マーカーを基準に撮像方向の位置ずれを補正してよい。これにより、カメラ11の撮像方向がずれた場合でも、あらかじめ設定されたカメラ11の撮像方向と同じように、車両1の向きを検出することができる。
【0041】
距離算出部44は、目標部画像の大きさLiと、実空間上の発光部21の大きさLgとにもとづいて目標ランプ2と車両1との実空間上の実距離Zgを算出する。以下に実距離Zgを算出する計算式(1)を示す。
Zg=Lg/(Li×PWV) ・・・ (1)
PWV:カメラ11の1画素当たりの縦方向の視野角
なお、LgおよびPWVは、あらかじめ記憶された既知の値である。
【0042】
距離算出部44は、目標部画像に生じた輝度のにじみを補正して、目標部画像の大きさを算出してよい。これは、露光時間や量子化誤差などにより撮像された発光部21が画像上でにじみ、目標部画像の大きさが実際より大きく算出されることを抑え、より正確な目標部画像の大きさを算出するためである。
【0043】
図6は、目標部画像の大きさLiと実距離Zgとの関係を示す。図6の縦軸は、目標部画像の大きさLi[画素](Image length[pix])を示し、横軸は、実距離Zg[メートル](Measured distance[m])を示す。なお、図6に示す6種類の点は、カメラ11の露光時間を示し、図7、10〜12も同様である。カメラ11のレンズの絞りは固定している。図6に示す曲線は、計算上の正確な目標部画像の大きさLicである。そして、目標部画像の大きさLiから正確な目標部画像の大きさLicを減算したにじみ幅Njを図7に示す。
【0044】
図7は、にじみ幅Njと実距離Zgとの関係を示す。図7の縦軸は、にじみ幅Nj[画素](Spreading width[pix])を示し、横軸は、実距離Zg[メートル](Measured distance[m])を示す。図7では、カメラ11の露光時間の増加に応じて、にじみ幅Njが大きくなっている。また、実距離Zgが30mに増加するまで、にじみ幅Njが増加し、実距離Zgが30mより増加すると、にじみ幅Njが減少している。
【0045】
図8は、撮像画像上の位置座標と輝度との関係を示す。図8の縦軸は、輝度を示し、横軸は、撮像画像上の位置座標を示す。まず、輝度Bgrは、発光部21の背景画像の輝度である。この輝度Bgrに発光部21の輝度Aprが加算されている。すなわち、図8のハッチング箇所が正確な目標部画像であり、大きさはLicである。にじみとなる箇所は、正確な目標部画像の周囲に発生し、にじみの輝度は、正確な目標部画像から離れるに従って、小さくなっている。たとえば、目標ランプ検出部40によって輝度が輝度閾値Trl以上であれば目標部画像として検出される場合、撮像画像から輝度閾値Trl以上の画素の領域の大きさLiが目標部画像の大きさとして算出される。
【0046】
にじみ幅Njは、発光部21の輝度Aprと輝度閾値Trlとの輝度差Dprによって算出される。その計算式を以下に示す。
Nj=k1×(Apr−Trl)+k2 ・・・ (2)
Apr=k3×(Ape+Bpe)0.5 ・・・ (3)
Bpe=(Bgr/k3)2 ・・・ (4)
Ape=k4×Pl×Tc/Zgi ・・・ (5)
k1,k2,k3,k4:定数
Ape:発光部21から入射する光量
Bpe:背景から入射する光量
Pl:発光部21から投射される光の強さ
Tc:カメラ11の露光時間
Zgi:仮の実距離
なお、k1〜k4の定数は、カメラ11や発光部21などの性能に依存する。輝度閾値Trlは、目標ランプ検出部40から取得される。
【0047】
にじみ幅Njを算出する式(2)で用いる輝度Aprは、式(3)〜(5)によって算出される。式(3)により、発光部21からカメラ11に入射する光量Apeと、発光部21の背景から入射する光量Bpeとにもとづいて、輝度Aprが算出される。式(3)では、光量の0.5乗が、輝度と比例する関係性をもつように設定した。これにより、測定したデータから輝度Aprを精度良く算出することができる。
【0048】
式(4)は、発光部21の背景から入射する光量Bpeを算出する式であり、式(3)における光量Apeがゼロのときの逆算式である。式(4)では式(3)の関係を用いて、背景画像の輝度Bgrから、発光部21の背景から入射する光量Bpeを算出する。背景画像の輝度Bgrは、発光部21が消灯した時の撮像画像における目標部画像とその周りの領域の輝度の平均値であってよい。
【0049】
式(5)は、発光部21からカメラ11に入射する光量Apeを算出する式である。まず、光量Apeは、発光部21からカメラ11の方向に投射される光の強さPlに比例する。ここで、図9を参照して、発光部21から投射される光の強さPlの算出方法を説明する。
【0050】
図9は、発光部21の指向性を示す模式図である。図9の斜線領域は、LEDの指向特性(Directivity of the LED)を示す。発光部21は、図9の斜線領域に示すように、前方に集中した光の強さを投射する指向性を有する。発光部21に対するカメラ11の位置によって角度Agが変化し、光の強さPlが変化する。図7において、実距離Zgが30mより小さくなると、にじみ幅Njが減少したという結果は、実距離Zgに応じた角度Agの変化により光の強さPlが減少したためである。光の強さPlは、カメラ11の発光部21に対する高さdHと実距離Zgまたは仮の実距離Zgiに応じた角度Agにもとづいて算出される。
【0051】
次に、式(5)の光量Apeは仮の実距離Zgiに反比例する。仮の実距離Zgiは、繰り返し算出される実距離Zgを外挿法により算出してよい。また、仮の実距離Zgiの初期の値は、式(1)により算出された値であってよい。ここで、カメラ11に入射する光量Apeと実距離Zgとの関係を説明する。一般理論では、発光部21が点光源であれば、光量Apeは、実距離Zgの2乗に反比例し、発光部21が無限の面積を持つ光源であれば、光量Apeは、実距離Zgによらず一定となる。実施形態の発光部21は、たとえば横0.1m×縦0.3mの有限の面積に点光源を等間隔で配置した構造であるため、一般理論の中間をとって、距離が光量に反比例すると定めた。これにより、発光部21から入射する光量を精度良く算出することができる。
【0052】
次に、式(5)の光量Apeは、カメラ11の露光時間Tcに比例する。露光時間Tcは、カメラ11から受け取ってもよく、あらかじめ記憶されていてよい。
【0053】
以上の式(2)〜(5)により、距離算出部44は、にじみ幅Njを算出する。距離算出部44は、以下の式(6)を用いて、目標ランプ検出部40により検出された目標部画像の大きさLiに、にじみ補正をして実距離Zgを算出する。
Zg=Lg/((Li−Nj)×PWV) ・・・ (6)
【0054】
図10は、にじみ幅Njの算出結果を示す。図10の縦軸は、にじみ幅Njの算出結果[画素](Calculated spreading width[pix])を示し、横軸は、測定したにじみ幅[画素](Measured spreading width[pix])を示す。カメラ11のレンズの絞りは固定している。
【0055】
図11は、距離算出部44がにじみ補正をしていない実距離Zgの算出結果を示す。また、図12は、実施形態に係る距離算出部44がにじみ補正をした実距離Zgの算出結果を示す。図11および図12の縦軸は実距離Zgの算出結果[メートル](Calculated distance[m])を示し、横軸は測定した実距離[メートル](Measured distance[m])を示す。カメラ11のレンズの絞りは固定している。
【0056】
図11は、式(1)を用いた実距離Zgの算出結果であり、図12は、式(6)を用いた実距離Zgの算出結果である。図11のにじみ補正をしていない算出結果は、距離が長くなるにつれて、算出した距離と正確な距離との誤差が大きくなっている。一方、図12の目標部画像の大きさに、にじみ補正をした算出結果は、図11に示す結果と比較して、距離が長くなっても、算出した実距離と正確な実距離との誤差が小さく収まっている。すなわち、距離算出部44は、にじみ補正をすることで、カメラ11の画像から目標ランプ2と車両1の距離を精度良く算出することができる。
【0057】
図5に戻る。特徴設定部46および特徴追跡処理部48は、特徴画像を検出する特徴検出手段として機能する。特徴設定部46は、撮像画像から特徴的な部分画像を検出し、それを特徴画像として設定する。特徴画像とは、所定の傾き以上の輝度勾配がある領域、または、所定の傾き以上の輝度勾配が分布している領域であってよく、大きさが定められたウィンドウ内の撮像画像であってよい。
【0058】
また、特徴設定部46は、特徴追跡処理部48が設定された特徴画像を追跡できなくなった場合に、新たに特徴画像を設定する。特徴画像として検出した領域は、車両1が進行すれば、大きくなり、変形する。とくに特徴画像が地面であれば、車両1が進行するとともに特徴画像の縦方向の大きさが大きく変形する。そこで、特徴画像の形状は縦方向に短い長方形に定められてよい。特徴設定部46は、設定した特徴画像をテンプレートとして、画素値情報および位置情報を記憶部34に記憶させる。なお、特徴画像のテンプレートは複数設定されてよい。
【0059】
特徴追跡処理部48は、新たな撮像画像が撮像される度に、設定された特徴画像のテンプレートと同じような輝度勾配等をもつ領域があるかどうか追跡する。特徴追跡処理部48は、テンプレートの位置座標の周囲の位置座標の領域を探索する。特徴追跡処理部48は、テンプレートと新たな撮像画像上のウィンドウで取り出した領域との画素値が所定レベル以上に一致していれば、新たな撮像画像上のウィンドウがテンプレートと実空間上の同じ領域であると判定する。たとえば、特徴追跡処理部48は、正規化相関法などの手法を用いて、新たな撮像画像上のウィンドウがテンプレートと実空間上の同じ領域であるかどうか判定する。
【0060】
特徴追跡処理部48は、テンプレートと実空間上の同じ領域であると判定すれば、その新たな撮像画像上のウィンドウの位置情報を横偏差算出部50に供給する。特徴追跡処理部48は、テンプレートと実空間上で同じ領域である新たな撮像画像上の領域がなければ、特徴設定部46に新たな特徴画像を設定するよう指令信号を供給する。
【0061】
特徴画像のテンプレートは、同じ領域であると判定されるたびに、撮像画像毎のテンプレートの変位量に応じて補間されて記憶部34に記憶される。これは、車両1が進行するにつれて、新たな撮像画像上のテンプレートと同じ領域が拡大していくからである。ここで、振動が多い作業車両に搭載されたカメラ11の撮像画像であれば、演算周期ごとにテンプレートの画像を新たな撮像画像から抽出して更新する処理を行うと、テンプレートの画像の抽出時の誤差が蓄積されるおそれがある。そこで、特徴追跡処理部48は、特徴設定部46により設定されたときのテンプレートの初期の位置座標に対する、テンプレートと同じ領域であると判定された新たな撮像画像上のウィンドウの位置座標にもとづいてテンプレートを補間して、記憶部34に記憶させてよい。
【0062】
横偏差算出部50は、撮像画像から目標走行ライン26からの横偏差を算出する。横偏差は、初期値ゼロから横偏差算出部50により横偏差が算出される毎に、加算されて蓄積されてよい。横偏差算出部50は、カメラ11により新たに撮像された現撮像画像から検出された目標部画像および特徴画像に対する、仮想2次元空間上の新たな消失点の位置を定め、新たな消失点と目標部画像と特徴画像との位置関係から横偏差を算出する。
【0063】
横偏差算出部50は、実空間上の距離に応じて、仮想2次元空間における新たな消失点の縦方向の位置を定める。また、横偏差算出部50は、過去に検出された目標部画像および特徴画像に対して定められた過去の消失点の縦方向の位置を定める第1基準ラインから所与の間隔離れた第2基準ラインと、過去の消失点および目標部画像を結ぶ第1直線の第1交点と、第2基準ラインと、過去の消失点および特徴画像を結ぶ第2直線の第2交点との間隔にもとづいて、仮想2次元空間における目標部画像に対する新たな消失点の横方向の位置を定める。
【0064】
ここで、図13を参照する。図13は、仮想2次元空間における目標部画像とウィンドウと消失点の初期状態の位置を示す。この仮想2次元空間では、縦方向をjとして、横方向をiとしている。仮想2次元空間での長さの単位は、撮像画像の画素であってよい。初期状態とは、車両1が初期位置にあるときをいう。
【0065】
図13に示す特徴画像のウィンドウW0の位置は、その下端の中央とし、目標部画像の位置L0は、目標部画像の下端の中央とする。横偏差算出部50は、下記の計算式(7)により実距離Zgに応じた間隔djvlを算出し、目標部画像の位置L0から縦方向jの上方の間隔djvlの位置に消失点があると推定する。
djvl=CAH/(Zg×PWV) ・・・ (7)
CAH:地面からカメラ11までの高さ
なお、カメラ11の高さCAHと、視野角PWVはあらかじめ記憶された値である。
【0066】
図13に示すように、目標部画像が初期状態であれば、消失点V0は、目標部画像の真上に位置する。仮想2次元空間に第1基準ラインSl1と第2基準ラインSl2を定める。第1基準ラインSl1および第2基準ラインSl2は平行であり、両基準ラインの仮想2次元空間の所与の間隔をdjuとする。
【0067】
車両1が目標ランプ2に向かって横移動せず真っ直ぐ進行すれば、目標部画像およびウィンドウはカメラ11に近づくため、目標部画像の位置L0およびウィンドウの位置W0は、位置L1および位置W1に変化する。L0およびW0を進行前の過去の位置とし、L1およびW1を進行後の現在の位置とする。位置W0と位置W1のウィンドウは、同じ領域であると判定されたウィンドウである。
【0068】
車両1が目標ランプ2に向かって直進したため、L1は、L0からV0とL0を結ぶ第1直線V0L0上の下方に変位している。ウィンドウの位置W1は、V0とW0を結ぶ第2直線V0W0上を変位する。第1直線V0L0と第2基準ラインSl2との第1交点をA0とし、第2直線V0W0と第2基準ラインSl2との第2交点をB0とする。A0とB0の仮想2次元空間上の間隔をdxとする。
【0069】
進行前と進行後において、車両1が直進していれば、消失点V0は変位しない。このとき、進行前後において両基準ラインの所与の間隔djuが同一であれば、第1交点A0と第2交点B0の間隔dxは一定である。なお、実空間上では、第1直線V0L0と第2直線V0W0とは平行である。第1直線V0L0と第2直線V0W0との実空間上の平行距離をDXとする。
【0070】
図14は、車両1が実空間で右に変位した場合の仮想2次元空間における目標部画像とウィンドウと消失点の位置を示す。この仮想2次元空間では、縦方向をjとして、横方向をiとしている。目標部画像の位置をL2とし、ウィンドウの位置をW2とし、消失点の位置をV2とする。図14に示すL2とW2は、図13に示すL1とW1と時間は同じで、図13の状態から、車両1が実空間上で右方向に平行に変位した状態である。したがって、L2およびW2は、図13のL1およびW1のそれぞれの位置から左方向に平行に変位している。
【0071】
第1基準ラインSl1に対して垂直で消失点V2を通る第3直線と、第2基準ラインSl2との第3交点をC2とする。第1交点A2と第3交点C2の実空間上の距離が横偏差として算出される。なお、ここで算出された横偏差が、いままで蓄積されてきた横偏差に加算されて、新たな横偏差として算出されてよい。横偏差算出部50は、実距離Zgにもとずいて、目標部画像に対する消失点の縦方向jの間隔djvlを算出し、第1基準ラインSl1上に消失点V2があることを定める。これにより、目標部画像に対する消失点の縦方向の位置を簡易に定めることができる。
【0072】
そして、横偏差算出部50は、第1基準ラインSl1から第2基準ラインSl2を導く。具体的には、横偏差算出部50は、第1基準ラインSl1から所与の間隔dju離れて、平行な線を第2基準ラインSl2とする。この第1基準ラインSl1と第2基準ラインSl2の所与の間隔djuは、同じ領域であるウィンドウにおいて過去の横偏差の算出で用いられた所与の間隔と同じ値である。
【0073】
V2とL2を結ぶ第1直線V2L2と第2基準ラインSl2との第1交点をA2とし、V2とW2を結ぶ第2直線V2W2と第2基準ラインSl2との第2交点をB2とする。ここで、V2が消失点であるため、A2とB2の仮想2次元空間上の間隔は、A0とB0の仮想2次元空間上の間隔と等しく、dxである。車両1が横方向に変位したとしても、仮想2次元空間上の消失点から所与の間隔djuに離れた第2基準ラインSl2上の第1交点A2と第2交点B2の間隔dxは一定である。つまり、実距離に応じて新たに算出された間隔djvlにより消失点V2の縦方向jの位置が定まり、同じ領域であるウィンドウにおいて過去の横偏差の算出で用いられた所与の間隔djuと第1交点A2と第2交点B2の間隔dxにより、消失点V2の横方向iの位置が定まっている。これにより、簡易な方法で、撮像画像から消失点を定めることができる。
【0074】
実空間上では、車両1が横方向に変位したとしても、直線V2L2と直線V2W2の位置関係は変化せず、実空間上の第1直線V2L2と、実空間上の第2直線V2W2とは平行であるため、第1交点A2と第2交点B2の間隔dxの実空間上の平行距離は、図13の平行距離と同じくDXである。
【0075】
横偏差算出部50は、下記の計算式(8)により実空間上の平行距離DXを算出する。
DX=CAH×(dilw×PWH)/((djvl+djlw)×PWV)・・・(8)
dilw:目標部画像の位置とウィンドウの位置との横方向iの間隔
PWH:カメラ11の1画素当たりの横方向の視野角
djlw:目標部画像の位置とウィンドウの位置との縦方向jの間隔
PWHはあらかじめ記憶された値であり、間隔dilwおよび間隔djlwは画像の位置座標から算出される。平行距離DXは、目標部画像とウィンドウの相対的な位置関係(間隔dilwおよび間隔djlw)と、計算式(7)により算出した、目標部画像と消失点の縦方向jの位置関係にもとづいて算出される。
【0076】
次に、横偏差算出部50は、下記の計算式(9)により実空間上の距離B2C2を算出し、距離B2C2から平行距離DXを減算することで、横偏差DRを算出する。ここで、L2の横軸iに平行な直線と第2直線V2W2の第4交点をEとする。
diew=dilw−(dx×djvl/dju) ・・・(9)
B2C2=CAH×(diew×PWH)/(djlw×PWV)・・・(10)
diew:第4交点Eの位置とウィンドウの位置との横方向iの間隔
式(9)において、(dx×djvl/dju)は、第4交点Eの位置と目標部画像の位置との横方向iの間隔である。
【0077】
以上のように、横偏差算出部50は、新たに撮像された現撮像画像の目標部画像およびウィンドウに対する消失点を、実距離に応じた間隔djvl、同じ領域であるウィンドウにおいて過去の横偏差の算出で用いられた基準ラインの所与の間隔djuおよび第1交点A2と第2交点B2の間隔dxを用いて定める。そして、横偏差算出部50は、間隔dilwおよび間隔djlwという現撮像画像の目標部画像およびウィンドウの相対的な位置関係を用いて横偏差を算出する。目標部画像およびウィンドウの相対的な位置関係により横偏差を算出することで、ピッチングやヨーイングによる影響を抑制することができ、精度良く横偏差を算出することができる。
【0078】
横偏差算出部50は、複数のウィンドウにより複数の横偏差を算出し、複数の横偏差を平均化してよい。これにより、1つのウィンドウにより横偏差を算出する場合より、精度良く横偏差を算出することができる。
【0079】
複数のウィンドウが設定されて、複数のウィンドウにより複数の横偏差が算出されている場合、横偏差算出部50は、新たに設定されたウィンドウの最初の横偏差の算出において、他のウィンドウで定められた消失点の位置を用いてよい。
【0080】
図15は、平面での走行制御の実験結果を示す。本図の縦軸に走行距離[メートル]を示し、横軸に横偏差[メートル]を示す。走行結果Aは、操舵制御をせずに、車両が走行した実験結果である。走行結果Bは、横偏差を用いず、ヨー角を用いて走行制御を実行し、車両が走行した実験結果である。走行結果Cは、実施形態に係る走行制御装置20が、横偏差およびヨー角にもとづいて走行制御を実行し、車両1が走行した実験結果である。
【0081】
図15および図16に示す下端の横偏差が0である位置が車両1の初期位置である。各実験結果の車両は、ともに作業車両である。また、各走行結果の車両の走行速度は0.5m/sである。横偏差が0であるラインが目標走行ライン26である。
【0082】
走行結果Aは、作業車両が直進性能が低いことを示す。走行結果Bでは横偏差が10cm程度であるが、走行結果Cでは横偏差が±2cm以内に収まっている。走行制御装置20による走行結果Cは、ヨー角に加えて横偏差を走行制御に用いることで、ヨー角のみで走行制御を実行した走行結果Bより、精度良く目標走行ラインに沿って走行していることがわかる。これは、ヨー角のみで走行制御した場合、横偏差が生じていたとしても、車両が目標ランプ2に真っ直ぐ向いていれば、修正することなく進行するためである。
【0083】
図16は、斜面での走行制御の実験結果を示す。本図の縦軸に走行距離[メートル]を示し、横軸に横偏差[メートル]を示す。走行結果Dは、横偏差を用いず、ヨー角を用いて走行制御を実行し、車両が走行した実験結果である。走行結果Eは、実施形態に係る走行制御装置20が、横偏差およびヨー角にもとづいて走行制御を実行し、車両1が走行した実験結果である。斜面は草地であり、斜面の角度は5度で、図16の右方向に下り坂となる状態である。
【0084】
走行結果Dでは、走行中に40cm程度の横偏差が生じている。これは、斜面により車両に右方向の横滑りが発生したためである。ヨー角による制御では、横滑りが発生したとしても、車両が目標ランプ2を向いていれば、それ以上の修正が実行されないためである。一方、走行結果Eでは、横偏差が±10cm以内に収まっている。作業車両は斜面を通る場合も多く、走行中に横滑りが生じても高い精度で直進性を維持することができる。
【0085】
図17は、実施形態に係る走行制御のフローチャートを示す。本図に示す走行制御は、所定の制御周期で実行されてよい。まず、ECU12は、走行開始スイッチがONされているかどうか判定する(S10)。ECU12は、走行開始スイッチがONされていなければ(S10のN)、走行制御を終了する。
【0086】
走行開始スイッチがONされていれば(S10のY)、目標ランプ検出部40は、撮像画像から目標部画像を検出する(S12)。次に、ヨー角検出部42は、目標ランプ検出部40により検出された目標部画像の位置情報にもとづいて、撮像画像から目標ランプ2に対する車両1のヨー角を検出する(S14)。
【0087】
距離算出部44は、目標部画像の大きさと、実空間上の発光部21の大きさとにもとづいて目標ランプ2と車両との実空間上の距離を算出する(S16)。なお、距離算出部44は、目標部画像に生じた輝度のにじみを補正して、目標部画像の大きさを算出してよい。
【0088】
特徴設定部46は、撮像画像から輝度勾配および輝度勾配の分布により特徴画像を検出し、設定する。特徴追跡処理部48は、テンプレートと実空間上で同じ領域が新たな撮像画像からなくなるまで、記憶された特徴画像のテンプレートと同じ領域を新たな撮像画像毎に追跡する(S18)。
【0089】
横偏差算出部50は、撮像部により新たに撮像された現撮像画像から検出された目標部画像と特徴画像に対する、仮想2次元空間上の新たな消失点の位置を定める(S20)。横偏差算出部50は、現撮像画像の消失点と目標部画像と特徴画像との位置関係から横偏差を算出する(S22)。
【0090】
走行制御部36は、目標走行ライン26を走行するように、ヨー角および横偏差にもとづいて車両1の走行を制御する(S24)。
【0091】
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素の組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【0092】
たとえば、目標ランプ2は、車両の後方に位置し、走行制御部36は、その目標ランプ2に向かうよう車両の後方への走行を制御してよい。このとき、車両の後方にマーカーが取り付けられ、カメラ11の撮像方向を後方に変えた場合に、後方のマーカーが撮像されるようにしてもよい。これにより、後方への走行制御において、カメラ11の撮像方向を後方に向けても、画像処理部で撮像方向の調整をすることができる。また、走行制御部36は、カメラ11により撮像された車両後方に位置する目標ランプ2と、車両の初期位置との関係で定めた目標走行ラインを走行するように車両の前方への走行を制御してもよい。
【0093】
また、車両1の位置が初期位置にある場合、検出されたヨー角によって、車両1の向きが目標ランプ2に真っ直ぐ向いているかどうかを判定してよい。車両1の向きが目標ランプ2に真っ直ぐ向いてなければ、走行制御部36は、後輪10の一方に制動力を与え、車両1の向きが目標ランプ2に真っ直ぐ向くように車両1を旋回させてよい。
【0094】
また、走行制御装置20は、初期に定めた目標走行ライン26から所定間隔離れた位置を保って車両1が走行するように制御してよい。たとえば、走行制御装置20は、横偏差の初期値を所定間隔ずらすことで、目標走行ラインを所定間隔ずらして設定し、この目標走行ラインを走行するように車両走行を制御してもよい。
【0095】
また、走行制御装置20は、作業工程の2行程目以降は、1行程目でできた畝などの作業跡を撮像画像から検出し、1行程目を基準に、作業跡に対して一定間隔を保って走行制御をしてよい。これにより、2行程目以降では、目標ランプ2が不要となる。
【符号の説明】
【0096】
1 車両、 2 目標ランプ、 3 車両客室、 4 圃場、 6 ブレーキ機構、 8 前輪、 10 後輪、 11 カメラ、 12 ECU、 14 操舵駆動機構、 15 ステアリング機構、 16 作業機、 20 走行制御装置、 21 発光部、 24 筐体、 26 目標走行ライン、 30 画像取得部、 32 画像処理部、 34 記憶部、 36 走行制御部、 40 目標ランプ検出部、 42 ヨー角検出部、 44 距離算出部、 46 特徴設定部、 48 特徴追跡処理部、 50 横偏差算出部。

【特許請求の範囲】
【請求項1】
車両走行の目標となる方向に位置する目標部を撮像する撮像部と、
前記撮像部により撮像した撮像画像を処理する画像処理部と、
前記撮像画像に含まれる目標部画像の位置と車両の初期位置との関係で定まる目標走行ラインを走行するように車両の走行を制御する走行制御部と、を備え、
前記画像処理部は、
前記撮像画像から前記目標部に対する車両のヨー角を検出するヨー角検出部と、
前記撮像画像から目標走行ラインからの横偏差を算出する横偏差算出部と、を備え、
前記走行制御部は、前記ヨー角および前記横偏差にもとづいて車両の走行を制御することを特徴とする走行制御装置。
【請求項2】
前記画像処理部は、
前記撮像画像から前記目標部画像を検出する目標検出部と、
前記撮像画像から特徴画像を検出する特徴検出部と、をさらに備え、
前記横偏差算出部は、前記撮像部により撮像された現撮像画像から検出された前記目標部画像と前記特徴画像に対する、仮想2次元空間上の消失点の位置を定め、前記消失点と前記目標部画像と前記特徴画像との位置関係から前記横偏差を算出することを特徴とする請求項1に記載の走行制御装置。
【請求項3】
前記目標部画像の大きさと、実空間上の前記目標部の大きさとにもとづいて前記目標部と前記車両との実空間上の距離を算出する距離算出部をさらに備え、
前記横偏差算出部は、前記実空間上の距離に応じて、前記仮想2次元空間における前記目標部画像に対する前記消失点の縦方向の位置を定めることを特徴とする請求項2に記載の走行制御装置。
【請求項4】
前記横偏差算出部は、過去に検出された前記目標部画像および前記特徴画像に対して定められた過去の消失点の縦方向の位置を定める第1基準ラインから所与の間隔離れた第2基準ラインと、前記過去の消失点および前記目標部画像を結ぶ第1直線の第1交点と、前記第2基準ラインと、前記過去の消失点および前記特徴画像を結ぶ第2直線の第2交点との間隔にもとづいて、前記現撮像画像から検出された前記目標部画像と前記特徴画像に対する、前記仮想2次元空間上の前記消失点の横方向の位置を定めることを特徴とする請求項3に記載の走行制御装置。
【請求項5】
前記距離算出部は、前記目標部画像に生じた輝度のにじみを補正して、前記目標部画像の大きさを算出することを特徴とする請求項3または4に記載の走行制御装置。
【請求項6】
前記目標部は、発光部材を含み、
前記距離算出部は、前記目標部画像に生じた輝度のにじみを、前記撮像部が前記撮像画像を撮像した露光時間と、前記目標部から発光される光の強さと、前記目標部の背景の輝度とにもとづいて補正することを特徴とする請求項5に記載の走行制御装置。
【請求項7】
前記走行制御部は、
左右の後輪に設けられたブレーキ機構の制動力を独立に制御するブレーキ制御部と、
前輪用駆動機構を駆動し、前輪の操舵を制御する操舵制御部と、を備え、
前記ブレーキ制御部によって左右のうち前記目標走行ラインに近い側の後輪に制動力を与え、前記操舵制御部によって前記後輪の制動力が与えられていない側の向きに前輪を操舵することを特徴とする請求項1〜6のいずれかに記載の走行制御装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate


【公開番号】特開2010−200674(P2010−200674A)
【公開日】平成22年9月16日(2010.9.16)
【国際特許分類】
【出願番号】特願2009−49844(P2009−49844)
【出願日】平成21年3月3日(2009.3.3)
【出願人】(501203344)独立行政法人農業・食品産業技術総合研究機構 (827)
【出願人】(000000125)井関農機株式会社 (3,813)
【Fターム(参考)】