移動車両の直進誘導システム
【課題】運転者の負担を軽減し、熟練者でなくても高能率・高精度な作業ができる移動車両の直進誘導システムを提供する。
【解決手段】この移動車両の直進誘導システムは、移動車両搭載部１、移動車両が直進走行すべき走路前方の延長線上に設置される遠方目標部２を備える。移動車両搭載部１はカメラ部１１、カメラ部１１からの画像を処理し走行情報を出力する画像処理部１２、走行情報に基づき移動車両を制御する車両制御部１４，操向制御機構１５を有する。遠方目標部２はカメラ部１１の撮像周期と最大露光時間の合計時間以上で撮像周期の２倍以下の時間の点灯と消灯とを繰り返す。画像処理部１２は現フレームと前フレーム及び、現フレームと前々フレームにおいて第１，第２の遠方目標部候補画素を抽出し、第１，第２の遠方目標部候補画素を統合し、統合した遠方目標部候補画素に対し遠方目標部２の位置検出を行い、検出結果に基づき走行情報を生成する。
【解決手段】この移動車両の直進誘導システムは、移動車両搭載部１、移動車両が直進走行すべき走路前方の延長線上に設置される遠方目標部２を備える。移動車両搭載部１はカメラ部１１、カメラ部１１からの画像を処理し走行情報を出力する画像処理部１２、走行情報に基づき移動車両を制御する車両制御部１４，操向制御機構１５を有する。遠方目標部２はカメラ部１１の撮像周期と最大露光時間の合計時間以上で撮像周期の２倍以下の時間の点灯と消灯とを繰り返す。画像処理部１２は現フレームと前フレーム及び、現フレームと前々フレームにおいて第１，第２の遠方目標部候補画素を抽出し、第１，第２の遠方目標部候補画素を統合し、統合した遠方目標部候補画素に対し遠方目標部２の位置検出を行い、検出結果に基づき走行情報を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、トラクタや田植機などの農用車両又は、土木・建築分野における作業車両等の移動車両を目標に向かって誘導しつつ直進走行させるための移動車両の直進誘導システムに関する。
【背景技術】
【０００２】
近年、農業人口が減少する傾向にあり、また熟練農業者が減少し、その雇用も難しい状況にあるため、圃場における播種や畝立てなどの作業行程において、移動車両の１つである農用車両を自動的に直進走行させる技術への要求が高まってきている。
【０００３】
そこで、従来、例えば、以下に示す農用車両の直進制御法が開発されている。この農用車両の直進制御法では、農用車両は、地磁気方位センサ及び計測・制御手段を有している。また、この農用車両の直進制御法では、上記農用車両を用いて手動運転によりティーチング走行を行って、地磁気方位センサから時々刻々取得される農用車両の走行方位から往／復２方向の目標方位を取得した後、地磁気方位センサから時々刻々取得される農用車両の走行方位と上記ティーチング走行時に得られた目標方位との比較に基づき農用車両を自動走行させている（例えば、特許文献１参照。）。以下、この技術を第１の従来例と呼ぶ。
【０００４】
また、従来、以下に示す作業車の誘導装置が開発されている。この作業車の誘導装置では、互いに平行する複数個の作業行程それぞれにおいて誘導用ビーム光を投射させるために、作業行程の長さ方向に向けて誘導用ビーム光を投射するビーム光投射手段が移動車上部に装備されている。この移動車には、さらに、上記ビーム光投射手段を移動車に対して前後方向及び横幅方向に位置調節する位置調節手段と、ビーム光投射手段を移動車に対して縦軸芯周りで旋回調節する旋回調節手段とがそれぞれ設けられている（例えば、特許文献２参照。）。以下、この技術を第２の従来例と呼ぶ。
【０００５】
さらに、従来、以下に示す発光体の位置検出装置が開発されている。この発光体の位置検出装置では、外周位置に第１の偏光フィルタを設けた発光体を走行行程の端部に設置し、上記発光体を田植え機などの作業車両に搭載された、上記第１の偏光フィルタと同じ偏光方向の第２の偏光フィルタを設けた第１のイメージセンサと、上記第１の偏光フィルタとは偏光方向の異なる第３の偏光フィルタを設けた第２のイメージセンサとで撮像している。そして、２台のイメージセンサが撮像した撮像情報の差の情報に基づいて、上記発光体の撮像画面内での位置検出を行い、上記発光体に向かって作業車両を操向制御している（例えば、特許文献３参照。）。以下、この技術を第３の従来例と呼ぶ。
【０００６】
また、従来、移動車両にテレビカメラを搭載し、遠方の樹木等の自然物や煙突等の建造物、あるいは予め設置した目標ポール等を目標として上記テレビカメラによって撮影し、得られた画像に基づいて、移動車両を目標に向かって自動直進制御する技術が提案されている（例えば、非特許文献１及び２参照。）。以下、この技術を第４の従来例と呼ぶ。
【０００７】
一方、土木・建築分野においても、従来、以下に示す建設機械の自動運行装置が開発されている。この建設機械の自動運行装置は、点滅信号を発信する誘導灯を備えた誘導指示装置と、道路を舗装する際に用いられる締固め機械等の作業機とから構成されている。この作業機には、上記点滅信号を取り込むＣＣＤカメラと、このＣＣＤカメラからの画像データを処理する画像処理装置と、この画像処理装置の出力に基づいて作業機を誘導して走行制御する制御装置とが搭載されている（例えば、特許文献４参照。）。以下、この技術を第５の従来例と呼ぶ。
【０００８】
【特許文献１】特開２０００−１４２０９号公報
【特許文献２】特開昭６４−１０３０８号公報
【特許文献３】特開平７−１７０８０９号公報
【特許文献４】特開平３−２４２８号公報
【非特許文献１】山崎哲他、「農業用機械の自律直進走行のための画像解析」、第６１回農業機械学会年次大会講演要旨、農業機械学会、２００２年９月１７−１９日、ｐ．３１３−３１４
【非特許文献２】山崎哲他、「農業用機械の自律直進走行のための画像解析（第２報）」、第６２回農業機械学会年次大会講演要旨、農業機械学会、２００３年４月２−４日、ｐ．１５５−１５６
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ところで、農用車両が、例えば、圃場における播種や移植、畝立てなどの作業行程を直線的に精確に行うことは重要である。特に、最初の作業行程は、当該作業跡が次行程（２行程目）以降の基準となるとともに、次に行うべき他の作業（次作業）、例えば、作物の生育管理作業や収穫作業の基準にもなる重要なものである。したがって、最初の作業行程では、農用車両を可能な限り直進走行させて作業することが重要である。そこで、このように重要な作業は、通常、農家の主人や熟練者などの作業責任者が行っている。しかし、このように熟練を要し、責任が大きい作業は、上記作業責任者にとっても負担が大きく、殊に作業すべき圃場の面積が広大な場合には、最初の作業行程を行う距離も長いため、一層負担が大きい。さらに、上記したように、農業人口が年々減少しており、上記した最初の作業行程を行うことができる人材も恒常的に不足している。
【００１０】
ところが、上記した第１の従来例では、目標方向の取得のために、最初の作業行程は、手動運転によりティーチング走行を行う必要があり、上記問題を解決することができない。また、上記した第１の従来例では、何らかの理由により、地磁気方位センサから取得される農用車両の走行方位にノイズが混入した場合には、農用車両の直進走行が乱れるおそれがあるなどの問題があった。
【００１１】
また、上記した第２の従来例では、誘導用ビーム光を投射するビーム光投射手段が高価であるとともに、このビーム光投射手段の設置や調整に時間と手間がかかるなどの問題があり、いまだ実用化に至っていない。
【００１２】
さらに、上記した第３の従来例では、発光体の外周位置に第１の偏光フィルタを設けているので、発光体から投射される光の光量が２分の１以下に減少することになる。したがって、発光体と作業車両との距離が長い場合には、発光体から投射される光の光量が不足して、２台のイメージセンサが撮像した撮像情報から発光体を検出することが困難となる。つまり、上記した第３の従来例では、発光体と作業車両との距離に実用上の制限があるなどの問題があった。また、上記した第３の従来例では、２台のイメージセンサを作業車両に搭載する必要があるため、発光体の位置検出装置の構成が複雑化するとともに、価格も高価になるという問題もあった。
【００１３】
また、上記した第４の従来例では、圃場周辺において、全体の風景の中で目標とするのに適した目立った自然物や建造物が常に存在するとは限らない。したがって、目立った自然物や建造物が存在しない圃場周辺では、テレビカメラによって撮影した画像から目標とすべきものを検出できない場合が多いため、上記画像に基づいて移動車両の自動直進を安定的に制御できないことが多いという問題があった。また、上記した第４の従来例では、予め設置した目標ポールと移動車両との距離が長くなると、テレビカメラによって撮影した画像上では、周囲の背景や他の物体との区別が困難となる場合がある。つまり、上記した第４の従来例では、目標ポールと移動車両との距離に実用上の制限があるなどの問題があった。
【００１４】
さらに、上記した第５の従来例では、ＣＣＤカメラからの画像データ内に、目標とする誘導灯の他に、例えば、太陽光を反射する家屋の明るい部分（例えば、窓や屋根等）などが背後にある場合には、誘導灯の領域と上記家屋の明るい部分の領域が同時に抽出され、誘導灯の位置検出が困難になるという問題があった。
【００１５】
本発明は、上述した事情に鑑みてなされたものであり、上述のような問題を解決することを課題の一例とするものであって、これらの課題を解決することができる移動車両の直進誘導システムを提供することを目的とする。
【課題を解決するための手段】
【００１６】
上記課題を解決するために、請求項１記載の発明に係る移動車両の直進誘導システムは、移動車両に搭載される移動車両搭載部と、前記移動車両が直進走行すべき走路前方の延長線上に設置される遠方目標部とを備え、前記移動車両搭載部は、前記遠方目標部を撮像するカメラ部と、前記カメラ部から得られる画像を処理して前記直進走行のための走行情報を出力する画像処理部と、前記走行情報に基づいて前記移動車両を制御する操向制御部とを有し、前記遠方目標部は、前記カメラ部の撮像周期と最大露光時間を合計した時間以上であって、かつ、前記撮像周期の２倍の時間以下である範囲の時間の点灯と、前記範囲の時間の消灯とを繰り返し、前記画像処理部は、撮像された現フレームの前記画像と、１つ前の前記撮像周期に撮像された前フレームの前記画像において、対応する画素の輝度差の絶対値が第１の閾値以上であって、かつ、いずれか一方の画素の輝度が第２の閾値以上である場合に、当該画素を第１の遠方目標部候補画素として抽出するとともに、前記現フレームの前記画像と、２つ前の前記撮像周期に撮像された前々フレームの前記画像において、対応する画素の輝度差の絶対値が前記第１の閾値以上であって、かつ、いずれか一方の画素の輝度が前記第２の閾値以上である場合に、当該画素を第２の遠方目標部候補画素として抽出し、前記第１及び第２の遠方目標部候補画素を統合し、統合した遠方目標部候補画素に対して前記遠方目標部の位置検出を行い、検出結果に基づいて前記走行情報を生成することを特徴としている。
【００１７】
また、請求項２に記載の発明は、請求項１に記載の移動車両の直進誘導システムに係り、前記画像処理部は、前記前フレームの前記画像全体の中において、前記遠方目標部の位置検出を行う範囲として設定されたウィンドウに相当する画像部分を、前記現フレームの前記画像全体の中から探索し、探索された画像部分を前記現フレームの前記画像における第１のウィンドウとして設定し、前記前々フレームの前記画像全体の中に設定されたウィンドウに相当する画像部分を、前記現フレームの前記画像全体の中から探索し、探索された画像部分を前記現フレームの前記画像における第２のウィンドウとして設定し、前記第１及び第２のウィンドウに基づいて、前記第１及び第２の遠方目標部候補画素を抽出することを特徴としている。
【００１８】
また、請求項３に記載の発明は、請求項１又は２に記載の移動車両の直進誘導システムに係り、前記画像処理部は、統合された前記遠方目標部候補画素をグループ化処理して抽出された複数の画素グループを構成する各画素について、前記現フレームの前記画像における輝度と、前記前フレームの前記画像における輝度との差の過去の数秒間分と、前記現フレームの前記画像における輝度と、前記前々フレームの前記画像における輝度との差の過去の数秒間分に基づいて前記画素の点滅の周期性及び点滅の時間間隔を検出し、検出結果に基づいて、当該遠方目標部候補画素を前記遠方目標部と判定することを特徴としている。
【００１９】
また、請求項４に記載の発明は、請求項２又は３に記載の移動車両の直進誘導システムに係り、前記画像処理部は、各前記複数の画素グループに関する前記ウィンドウ上における位置の値の過去数秒間分について、上下方向と左右方向の座標値の時間的な変化量における標準偏差を算出し、前記標準偏差が予め設定した閾値より小さい場合には、当該画素グループを前記遠方目標部と判定することを特徴としている。
【００２０】
また、請求項５に記載の発明は、請求項１乃至４のいずれかに記載の移動車両の直進誘導システムに係り、前記遠方目標部は、発光部分の輪郭の形状が、長方形状、楕円形状又は円形状のいずれかであって、前記輪郭の縦横比が２分の１から４分の１の間であることを特徴としている。
【００２１】
また、請求項６に記載の発明は、請求項２乃至５のいずれかに記載の移動車両の直進誘導システムに係り、前記カメラ部の露光時間、絞り、前記画像信号のアンプゲインの感度調節は、前記カメラ部の画像中に部分的に設定されている前記ウィンドウ内の画像の輝度分布に基づいて設定されることを特徴としている。
【００２２】
また、請求項７に記載の発明は、請求項１乃至６のいずれかに記載の移動車両の直進誘導システムに係り、前記移動車両には、前記カメラ部が前記遠方目標部とともに撮像可能な車体マーカーを取り付け、前記画像処理部は、前記画像の中から前記車体マーカーの位置を検出し、前記車体マーカーの画像上の位置に基づいて、前記移動車両に対する前記カメラ部の方向を検出することを特徴としている。
【００２３】
また、請求項８に記載の発明は、請求項１乃至７のいずれかに記載の移動車両の直進誘導システムに係り、前記遠方目標部は、前記移動車両が直進走行すべき走路後方の延長線上に設置され、前記カメラ部は、前記遠方目標部を撮像するように前記移動車両に搭載されていることを特徴としている。
【発明の効果】
【００２４】
本発明によれば、運転者の負担が軽減されるとともに、熟練者でなくても高能率・高精度な作業をすることができる。したがって、本発明によれば、天候や時間による太陽光の方向などの屋外環境の変化へ対応することができるとともに、各種の反射光や木漏れ日などのノイズへも対応することができる。また、１００ｍ以上の距離範囲で安定的に目標を認識することができるとともに、装置の小型化・低コスト化などを図ることができる。
【発明を実施するための最良の形態】
【００２５】
図１は、本発明の実施の形態に係る移動車両の直進誘導システムの概略構成を示す側面図、図２は、図１に示す移動車両の直進誘導システムの概略構成を示す平面図である。また、図３は、図１に示す移動車両の直進誘導システムの概略構成を示すブロック図である。
【００２６】
本実施の形態に係る移動車両の直進誘導システムは、移動車両搭載部１と、遠方目標部２とから概略構成されている。移動車両搭載部１は、カメラ部１１と、画像処理部１２と、記憶部１３と、車両制御部１４と、操向制御機構１５と、表示・操作部１６とから概略構成されている。移動車両搭載部１は、図１及び図２の例では、農用トラクタからなる移動車両３に搭載されている。カメラ部１１は、撮像方向が移動車両３の進行方向に向くように、移動車両３の室内、ルーフ上又はフロント部に設置されている。また、図２の例では、カメラ部１１は、移動車両３の室内又はルーフ上であって、移動車両３の前方正面に向けて車両中心線ＭＣ上に搭載されている。また、カメラ部１１は、水平線が視野に入るように、浅い俯角で取り付けられている。
【００２７】
本実施の形態に係る移動車両の直進誘導システムでは、検出可能な遠方目標部２の距離は、国内の圃場の大きさを考慮して、１００ｍ以上の距離を目安とし、一方、近傍側は５ｍ程度まで検出可能であれば実用的に十分と考えられる。
【００２８】
カメラ部１１は、例えば、撮像素子、光学系等を有し、遠方目標部２を撮影し、撮影した画像に対応したアナログの画像信号を１フレームごとに出力する。撮像素子は、例えば、ＣＣＤ、ＣＭＯＳ等からなり、マトリックス状に所定間隔をあけて配置されている。画像処理部１２は、中央処理装置（ＣＰＵ）、デジタルシグナルプロセッサ（ＤＳＰ）、シーケンサ等を有している。画像処理部１２は、記憶部１３に記憶されている遠方目標検出プログラム等に基づいて、遠方目標検出処理を実行することにより、カメラ部１１から出力されるアナログの画像信号をデジタルの画像データにアナログ／デジタル変換処理した後、処理・演算して、得られた画像データにおける遠方目標部２の位置を検出し、遠方目標部２の位置情報を車両制御部１４に供給する。また、カメラ部１１は、ステレオカメラなどの複数の撮像素子を有し、それら複数の撮像素子の内の１つの撮像素子から得られる画像を処理対象とする場合も同様に本発明の一実施の形態である。
【００２９】
カメラ部１１から得られる画像のうち、遠方目標部２の検出処理が可能な範囲は、例えば、横５１２画素、縦４００画素である。また、カメラ部１１の視野角は、例えば、横約２６°程度、縦約２０°程度である。
【００３０】
例えば、画像処理部１２がＣＰＵを有している場合、記憶部１３から遠方目標検出プログラムが読み出されると、画像処理部１２に読み込まれ、画像処理部１２の動作を制御する。画像処理部１２は、遠方目標検出プログラムが起動されると、遠方目標検出プログラムの制御により、上記した遠方目標検出処理を実行するのである。
【００３１】
記憶部１３は、ＲＡＭやＲＯＭ、あるいはフラッシュメモリ等の半導体メモリからなる。記憶部１３には、画像処理部１２が実行する遠方目標検出プログラムその他のプログラムや、画像処理部１２から供給されるフレームごとの画像データ等が記憶される。また、記憶部１３は、画像処理部１２が遠方目標検出プログラムを実行する際に作業用として使用される。なお、記憶部１３に記憶される各種プログラムや一部のデータについては、画像処理部１２を構成するＣＰＵ等の内部に設けられたメモリに記憶されるよう構成しても良い。
【００３２】
車両制御部１４は、ＣＰＵ、ＤＳＰ、シーケンサ等を有している。車両制御部１４は、画像処理部１４から供給される遠方目標部２の位置情報に基づいて、操向制御機構１５を制御して、移動車両３を遠方目標部２に向けて操向制御する。なお、操向制御機構１５の詳細については、例えば、特開２００３−１１８６１５号公報を参照されたい。表示・操作部１６は、例えば、液晶パネル、各種スイッチ、各種ボタンなどから構成され、作業者が移動車両搭載部１を起動したり、各種設定をしたりする際に用いられる。
【００３３】
以上説明した移動車両搭載部１が搭載された移動車両３は、図１及び図２に示す圃場４内において播種や畝立てなどの作業行程を行うものである。なお、移動車両３のフロント上部略中央には、図１及び図４に示すように、車体マーカー５が取り付けられている。図４の例では、車体マーカー５は、略三角錐形状を呈している。
【００３４】
一方、遠方目標部２は、図１及び図２に示すように、圃場４近傍の地面上に、正面を圃場４側に向けて載置されている。具体的には、圃場４が図２に示す矩形状を呈しており、圃場４を構成する矩形領域の一方の長辺４ａ側から移動車両３が作業行程を行う場合、例えば、遠方目標部２は、圃場４を構成する矩形領域の一方の短辺４ｂに接するとともに、移動車両３が最初の作業行程を行う際の車両中心線ＭＣ１の延長線上に載置される。
【００３５】
遠方目標部２は、図１及び図５に示すように、発光部２１、制御部２２及び電源２３が筐体２４に収容されている。筐体２４は、例えば、馬鈴薯等の収穫物を収容する合成樹脂製の筐体を流用することができる。筐体２４の寸法は、例えば、縦約５５ｃｍ、横約４０ｃｍである。筐体２４の背面には、制御部２２及び電源２３が固着されている。制御部２２及び２３の前面には、筐体２４の背面と略同一面積を有し、矩形状を呈している仕切板２５が設けられている。この仕切板２５の略中央には、発光部２１が取り付けられている。発光部２１は、複数の発光ダイオード（ＬＥＤ）がマトリックス状に所定間隔をあけて配置されて構成されている。ＬＥＤとしては、例えば、車両のウインカーに用いられる高輝度でオレンジ色の光を発光するものが好ましい。
【００３６】
また、発光部２１の縦幅と横幅の比は、例えば、２：１〜４：１の範囲が好ましい。また、発光部２１の輪郭形状は、例えば、略矩形状、略楕円状又は略円形状とする。発光部２１の輪郭形状を略矩形状とした場合、ＬＥＤを、例えば、縦約３０ｃｍ、横約１０ｃｍの範囲に、２５行、８列、すなわち、２００個配置する。制御部２２は、発光部２１を構成するすべてのＬＥＤを所定の周期で点滅制御する。
【００３７】
この所定の周期は、カメラ部１１の撮像周期と最大露光時間とを合計した時間以上であって、かつ、上記撮像周期の２倍の時間以下である範囲で予め設定した時間だけの点灯と、カメラ部１１の撮像周期と最大露光時間とを合計した時間以上であって、かつ、上記撮像周期の２倍の時間以下である範囲で予め設定した時間だけの消灯とを繰り返す周期である。例えば、カメラ部１１の撮像周期が約０．１秒である場合、発光部２１を構成するすべてのＬＥＤを、同時に、約０．２秒間の点灯と約０．２秒間の消灯とを繰り返すように制御部２２を設定する。
【００３８】
上記した所定の周期を定めた理由について説明する。本実施の形態では、コスト抑制の観点から、発光部２１の点滅とカメラ部１１の撮像の同期は行わず、遠方目標部２及び移動車両搭載部１は、それぞれ独立の動作タイミングで発光部２１及びカメラ部１１を制御する。上記したように、カメラ部１１の撮像周期が約０．１秒である場合に、発光部２１を、同時に、約０．１秒間の点灯と約０．１秒間の消灯とを繰り返すように制御部２２が制御すると、例えば、カメラ部１１の露光中に発光部２１が点灯から消灯へ変化するとともに、次の０．１秒後のカメラ部１１の露光中には発光部２１が消灯から点灯へ変化する場合ある。このような場合には、カメラ部１１から得られた画像中の発光部２１に対応した部分の輝度は、どちらも中間的な明るさとなり、時間的な変化が生じない状況に陥るおそれがある。
【００３９】
そこで、カメラ部１１の露光中は、発光部２１が連続して点灯している状態の画像か又は発光部２１が連続して消灯している状態の画像のいずれかを確実に撮像できるようにするため、上記したように、発光部２１を構成するすべてのＬＥＤを、同時に、約０．２秒間の点灯と約０．２秒間の消灯とを繰り返すように制御部２２を設定するのである。また、撮像周期の２倍より長くなると、発光部２１の位置を検出できる時間間隔が無用に長くなり、システムの性能を低下させる不都合が生じる。
【００４０】
次に、上記構成を有する移動車両の直進誘導システムの動作について説明する。まず、作業者は、図２に示すように、カメラ部１１が移動車両３の車両中心線ＭＣ１上に搭載されている場合には、移動車両３を誘導するべき軌跡（以下「誘導軌跡」という。）ＧＬ１の延長線上に、発光部２１の中心線がくるように、発光部２１を移動車両３に対向させて遠方目標部２を載置する。図２の例では、車両中心線ＭＣ１と誘導軌跡ＧＬ１とは重なる。
【００４１】
一方、カメラ部１１が移動車両３の車両中心線ＭＣ１から左又は右にオフセットして搭載されている場合には、作業者は、カメラ部１１の搭載位置に起因するオフセット量と同じ量だけ、発光部２１の中心線を誘導軌跡ＧＬ１に対してオフセットした位置において、発光部２１を移動車両３に対向させて遠方目標部２を載置する。
【００４２】
次に、作業者は、遠方目標部２を構成する電源２３の電源スイッチを投入して、発光部２１の点滅動作を開始させる。今の場合、カメラ部１１の撮像周期が約０．１秒であるとして、発光部２１を構成するすべてのＬＥＤを、一斉に、約０．２秒間の点灯と約０．２秒間の消灯とを繰り返すように制御部２２を設定する。これにより、制御部２２により制御され、発光部２１を構成するすべてのＬＥＤは、一斉に、約０．２秒間の点灯と約０．２秒間の消灯とを繰り返す。
【００４３】
次に、作業者は、移動車両３を運転して圃場４に乗り入れ、図２に示すように、誘導軌跡ＧＬ１上に、前進方向が遠方目標部２に対向するように位置づけた後、移動車両搭載部１を起動する。これにより、カメラ部１１が撮像周期約０．１秒で遠方目的部２の撮影を開始するとともに、移動車両搭載部１の画像処理部１２は、各部を初期化した後、図６及び図７にフローチャートで示す遠方目標検出処理を実行する。ここで、発光部２１を構成するすべてのＬＥＤの点滅とカメラ部１１の撮像の同期は行わず、遠方目標部２及び移動車両搭載部１は、それぞれ独立の動作タイミングで発光部２１及びカメラ部１１を制御している。
【００４４】
まず、画像処理部１２は、図６に示すステップＳ１の処理へ進み、カメラ部１１から１フレーム分の画像信号が供給された否かを判断する。ステップＳ１の判断結果が「ＮＯ」の場合には、画像処理部１２は、同判断を繰り返す。一方、カメラ部１１は、圃場４近傍の地面上に正面を圃場４側に向けて載置されている遠方目標部２を撮像周期約０．１秒で撮影し、撮影した画像に対応した１フレーム分の画像信号を画像処理部１２に順次供給する。
【００４５】
これにより、ステップＳ１の判断結果が「ＹＥＳ」となり、画像処理部１２は、ステップＳ２へ進む。ステップＳ２では、画像処理部１２は、カメラ部１１から供給された１フレーム分のアナログの画像信号をデジタルの画像データにアナログ／デジタル変換処理し、記憶部１３に記憶した後、ステップＳ３へ進む。この場合、縦３０ｃｍの発光部２１の画像上での大きさは、１００ｍ先で２画素弱となる。しかし、実際の画像では、カメラ部１１を構成する光学系の収差などの影響により発光部２１の像は膨張し、１００ｍ以上先の遠方目標部２を検出することが可能となる。
【００４６】
ステップＳ３では、画像処理部１２は、第１のウィンドウ位置の設定処理を行った後、ステップＳ４へ進む。以下、第１のウィンドウ位置の設定処理について説明する。まず、カメラ部１１で撮影され、画像処理部１２によりデジタル化された画像の一例を図８及び図９にそれぞれ示す。図８は、現在より１つ前の撮像周期の際（すなわち、約０．１秒前）に撮影されデジタル化された画像（以下「前フレームの画像」という）の一例である。図８では、略中央に遠方目標部２が存在し、この遠方目標部２を取り囲んで、検出処理を行う範囲であるウィンドウＷ-1が設定されている。ウィンドウＷ-1のサイズは、例えば、横約５６画素、縦約４０画素である。他の第１のウィンドウＷ0等のサイズも略同様である。これに対し、図９は、図８に示す画像の次の撮像周期の際（すなわち、約０．１秒後）に撮影されデジタル化された画像（以下「現フレームの画像」という）の一例である。
【００４７】
移動車両３は、前進走行する際に、圃場４の表面状態等に応じて、その進行する向きや車体の傾きが変化するため、カメラ部１１で撮像される画像も、前の撮像周期に撮影された画像と比べて、全体的に上下又は左右あるいはこれらの両方にずれていることが多い。図９に示す現フレームの画像における第１のウィンドウＷ0は、図８に示す前フレームの画像におけるウィンドウＷ-1と同一位置、すなわち、１フレームの画像において、基準点ＢＰから同一の位置に設定したものである。しかし、移動車両３が図８に示す画像を撮影した位置から移動したために、図８に示す前フレームの画像におけるウィンドウＷ-1内の遠方目標部２の相対位置と、図９に示す現フレームの画像における第１のウィンドウＷ0内の遠方目標部２の相対位置とは、異なっている。したがって、このような状態において、単純に図８に示す画像と図９に示す画像との差分を計算した場合、点滅する発光部２１を正確に抽出することは困難となる。
【００４８】
そこで、図９に示す現フレームの画像の中から、図８に示す前フレームの画像におけるウィンドウＷ-1に相当する画像部分を抽出する対応探索処理を行う。まず、図９に示す現フレームの画像において、図８に示す前フレームの画像におけるウィンドウＷ-1と同一の位置の周囲に、破線で示すような探索範囲ＳＡを設定する。探索範囲ＳＡは、例えば、撮像周期である約０．１秒間に想定される移動車両３の動きの速さと、画像処理部１２の計算処理能力等が考慮されて決定され、例えば、上下、左右にそれぞれ１０画素程度の範囲の探索を行う。
【００４９】
この対応探索処理では、例えば、図９に示す現フレームの画像の探索範囲ＳＡ内において、前フレームの画像におけるウィンドウＷ-1との相関値が最大となる部分を求める手法などを用いる。この相関値としては、例えば、２フレーム分の画像の差の二乗和や絶対値和など、公知の手法により求められる値が適用可能である。画像処理部１２は、以上説明した手法を用いて、図９に示す現フレームの画像の中から、図８に示す前フレームの画像におけるウィンドウＷ-1に相当する画像部分を抽出し、現フレームの画像における第１のウィンドウＷ0として設定し、その位置を記憶部１３に記憶する。この処理を行うことにより、遠方目標部２を検出可能な視野範囲は、カメラ部１１の画像全体に渡ってウィンドウを移動させて、広く確保することができるとともに、例えば、ウィンカーを点滅させた自動車などがカメラ部１１の視野内の周辺部に入り込むような場合でも、その影響を受け難くすることができる。また、検出処理をウィンドウ内に限定することにより、処理時間の短縮にも大きく寄与することができる。
【００５０】
ステップＳ４では、画像処理部１２は、第２のウィンドウ位置の設定処理を行った後、ステップＳ５へ進む。以下、第２のウィンドウ位置の設定処理について説明する。まず、ステップＳ３と同様に、カメラ部１１で撮影され、画像処理部１２によりデジタル化された画像として、図示しない現在より２つ前の撮像周期の際（すなわち、約０．２秒前）に撮影されデジタル化された画像（以下「前々フレームの画像」という）がある。前々フレームの画像において、遠方目標部２を取り囲んで、検出処理を行う範囲であるウィンドウＷ-2が設定されている。ウィンドウＷ-2のサイズは、ウィンドウＷ-1のサイズと同様である。移動車両３は、前々フレームと現フレームの撮像の約０．２秒間に前進走行し、進行する向きや車体の傾きが変化するため、カメラ部１１で撮像される画像も、全体的に上下又は左右あるいはこれらの両方にずれていることが多い。
【００５１】
そこで、図９に示す現フレームの画像の中から、前々フレームの画像におけるウィンドウＷ-2に相当する画像部分を抽出する対応探索処理を行う。まず、ステップＳ３と同様に、図９に示す現フレームの画像において、前々フレームの画像におけるウィンドウＷ-2と同一の位置の周囲に、破線で示すような探索範囲ＳＡを設定する。探索範囲ＳＡは、ステップＳ３と同様に、例えば、上下、左右にそれぞれ１０画素程度の範囲の探索を行う。
【００５２】
この対応探索処理では、例えば、図９に示す現フレームの画像の探索範囲ＳＡ内において、前々フレームの画像におけるウィンドウＷ-2との相関値が最大となる部分を求める手法などを用いる。この相関値としては、ステップＳ３と同様に、例えば、２フレーム分の画像の差の二乗和や絶対値和など、公知の手法により求められる値が適用可能である。画像処理部１２は、以上説明した手法を用いて、図９に示す現フレームの画像の中から、前々フレームの画像におけるウィンドウＷ-2に相当する画像部分を抽出し、現フレームの画像における第２のウィンドウＷ02として設定し、その位置を記憶部１３に記憶する。
【００５３】
ステップＳ５では、画像処理部１２は、第１の遠方目標部候補画素抽出処理を行った後、ステップＳ６へ進む。以下、第１の遠方目標部候補画素抽出処理について説明する。図１０（ａ）の左及び中央に、現フレームの画像における第１のウィンドウＷ0及び前フレームの画像におけるウィンドウＷ-1のそれぞれの一例を示す。この第１の遠方目標部候補画素抽出処理では、現フレームの画像における第１のウィンドウＷ0と、前フレームの画像におけるウィンドウＷ-1とを比較し、式（１）及び式（２）に示す条件をいずれも満たす画素を第１の遠方目標部候補画素として二値化して抽出する。
【００５４】
Ｔｄｆ≦｜Ｐ0（ｉ，ｊ）一Ｐ-1（ｉ，ｊ）｜ …（１）
Ｔｂｒ≦Ｐ0（ｉ，ｊ）又はＴｂｒ≦Ｐ-1（ｉ，ｊ） …（２）
式（１）及び式（２）において、Ｐ0（ｉ，ｊ）は、現フレームの画像における第１のウィンドウＷ0内の各画素の輝度、Ｐ-1（ｉ，ｊ）は、前フレームの画像におけるウィンドウＷ-1内の各画素の輝度、Ｔｄｆは、輝度差に関する第１の閾値、Ｔｂｒは、輝度に関する第２の閾値である。例えば、画像が２５６階調でデジタル化されている場合では、Ｔｄｆは３６程度、Ｔｂｒは１６０程度の値である。
【００５５】
すなわち、この第１の遠方目標部候補画素抽出処理では、現フレームの画像と前フレームの画像との間において、輝度差が第１の閾値Ｔｄｆ以上に大きく、かつ、いずれかの画像において第２の閾値Ｔｂｒ以上に輝度が大きい画素について、遠方目標部２である可能性が高い候補画素、すなわち、第１の遠方目標部候補画素として、二値化して抽出するのである。
【００５６】
ここで、図１０（ｂ）の左に、第１の遠方目標部候補画素の一例を示す。図１０（ｂ）の左の例は、現フレームの画像における第１のウィンドウＷ0及び前フレームの画像におけるウィンドウＷ-1では、いずれも発光部２１が点灯状態であったため、発光部２１の部分に輝度差がなく、第１の遠方目標部候補画素として抽出されなかったことを示している。
【００５７】
一方、例えば、遠方目標部２の背景にある木々の枝葉が風によって揺れた場合や、ステップＳ３の対応探索処理において前フレームの画像におけるウィンドウＷ-1に相当する画像部分を抽出する際に、ウィンドウＷ-1の位置に誤差や残差が発生して位置ずれが生じた場合などには、第１の遠方目標部候補画素として誤抽出が発生する場合もある。図１０（ｂ）の左の例において、上部に示した白色部分は、上記した遠方目標部２以外のノイズ的に誤抽出された画素の例を示している。
【００５８】
ステップＳ６では、画像処理部１２は、第２の遠方目標部候補画素抽出処理を行った後、ステップＳ７へ進む。以下、第２の遠方目標部候補画素抽出処理について説明する。図１０（ａ）の右に、前々フレームの画像におけるウィンドウＷ-2の一例を示す。この第２の遠方目標部候補画素抽出処理では、図示しない現フレームの画像における第２のウィンドウＷ02と、前々フレームの画像におけるウィンドウＷ-2とを比較し、式（３）及び式（４）に示す条件をいずれも満たす画素を第２の遠方目標部候補画素として二値化して抽出する。ここで、ウィンドウの位置は、遠方目標部２の検出処理の後に、発光部２１の部分がウィンドウの中心になるように、ウィンドウの位置を再設定するので、ウィンドウＷ-1とウィンドウＷ-2は、概ね同じ位置となり、このため、現フレームの画像における第１のウィンドウＷ0と第２のウィンドウＷ02も、概ね同じ位置となる。
【００５９】
Ｔｄｆ≦｜Ｐ0（ｉ，ｊ）一Ｐ-2（ｉ，ｊ）｜ …（３）
Ｔｂｒ≦Ｐ0（ｉ，ｊ）又はＴｂｒ≦Ｐ-2（ｉ，ｊ） …（４）
式（３）及び式（４）において、Ｐ0（ｉ，ｊ）は、現フレームの画像における第２のウィンドウＷ02内の各画素の輝度、Ｐ-2（ｉ，ｊ）は、前々フレームの画像におけるウィンドウＷ-2内の各画素の輝度、Ｔｄｆは、輝度差に関する第１の閾値、Ｔｂｒは、輝度に関する第２の閾値である。
【００６０】
この第２の遠方目標部候補画素抽出処理を行うのは以下に示す理由による。すなわち、本実施の形態では、発光部２１の点灯時間及び消灯時間は、カメラ部１１の撮像周期の約２倍に設定されている。したがって、現フレームの画像及び前フレームの画像は、いずれも点灯状態にある発光部２１を撮影したものであったり、逆にいずれも消灯状態にある発光部２１を撮影したものであったりする場合がある。このため、上記した現フレームの画像における第１のウィンドウＷ0及び前フレームの画像におけるウィンドウＷ-1との差分処理によって抽出された第１の遠方目標部候補画素では、目標とする遠方目標部２が抽出されない場合がある。そこで、この第２の遠方目標部候補画素抽出処理では、現フレームの画像における第２のウィンドウＷ02及び前々フレームの画像におけるウィンドウＷ-2に対して、上記した式（３）及び式（４）に示す条件を適用して差分処理を行うことにより、第２の遠方目標部候補画素を抽出するのである。
【００６１】
すなわち、この第２の遠方目標部候補画素抽出処理では、現フレームの画像と前々フレームの画像との間において、輝度差が第１の閾値Ｔｄｆ以上に大きく、かつ、いずれかの画像において第２の閾値Ｔｂｒ以上に輝度が大きい画素について、遠方目標部２である可能性が高い候補画素、すなわち、第２の遠方目標部候補画素として、二値化して抽出するのである。
【００６２】
ここで、図１０（ｂ）の右に、第２の遠方目標部候補画素の一例を示す。図１０（ｂ）の右の例は、現フレームの画像における第２のウィンドウＷ02では発光部２１が点灯状態であるが、前々フレームの画像におけるウィンドウＷ-2では発光部２１が消灯状態である。したがって、発光部２１の部分に輝度差があり、第２の遠方目標部候補画素として抽出されたことを示している。なお、図１０（ｂ）の右の例において、上部に示した白色部分は、図１０（ｂ）の左の例と同様に、上記した遠方目標部２以外のノイズ的に誤抽出された画素の例を示している。
【００６３】
ステップＳ７では、画像処理部１２は、統合処理を行った後、ステップＳ８へ進む。以下、統合処理について説明する。この統合処理では、ステップＳ５の処理で得られた第１の遠方目標部候補画素と、ステップＳ６の処理で得られた第２の遠方目標部候補画素とについて、論理和条件に基づいて、統合化することにより、１個の画像データを生成する。ここで、図１０（ｃ）に、図１０（ｂ）の左に示す第１の遠方目標部候補画素の一例と、図１０（ｂ）の右に示す第２の遠方目標部候補画素の一例とを統合した結果の一例を示す。このように、遠方目標部候補画素を１つに統合することで、後述するステップＳ８以降の処理を簡素化することができる。
【００６４】
ステップＳ８では、画像処理部１２は、グループ化・評価処理を行った後、図７に示すステップＳ９へ進む。以下、グループ化・評価処理について説明する。ステップＳ７に示す統合処理で抽出された遠方目標部候補画素の画像データには、ノイズなどに起因する画素も含まれるので、それらの画素を除去する必要がある。抽出された遠方目標部候補画素の画像データを構成する各画素は二値化されており、これらの画素を互いに隣接する、例えば、ある画素が遠方目標部候補画素であれば、その画像上で、上下、左右の４方向に隣接する画素を調べ、それらを遠方目標部候補画素であれば、同じグループとしてグループ化して、画素グループを生成する。次に、各画素グループに対して、面積、アスペクト比、中心座標などを算出する。次に、面積が所定の閾値より小さい又はアスペクト比が所定の閾値より極端に大きい画素グループは、ノイズ等と見なして除去する。また、除去されずに残った画素グループの中であっても、不自然な突起などを含む場合は、当該突起などを除去して整形する。このように、個々の遠方目標部候補画素を画素グループにまとめることで、面積や縦横比などの新たな特徴量を抽出することが可能となり、さらに、これらの特徴量を評価して、ノイズ等との判別が可能となる効果がある。
【００６５】
ステップＳ９では、画像処理部１２は、時間的追跡処理を行った後、ステップＳ１０へ進む。以下、時間的追跡処理について説明する。今回の現フレームの画像に関する処理以前に既にカメラ部１１から供給され、上記したステップＳ１〜Ｓ８の処理が施されて抽出され、記憶部１３に記憶されている画素グループを登録グループと呼ぶ。この時間的追跡処理では、現フレームの画像に関する上記ステップＳ１〜Ｓ８の処理により抽出された複数の画素グループと、上記記憶部に記憶され読み出された複数の登録グループとについて、それぞれの対応関係を求め、時間的な追跡処理を行う。
【００６６】
この対応関係の探索では、まず、各画素グループの面積、縦横比、中心座標などのパラメータの類似度を評価し、類似度が所定の閾値以上であって、かつ、最大値をとる組み合わせを、対応する画素グループと判定する。次に、現フレームの画像に関する上記ステップＳ１〜Ｓ８の処理により抽出された複数の画素グループのパラメータにより、記憶部１３に記憶されている登録グループのパラメータを更新する。また、現フレームの画像に関する上記ステップＳ１〜Ｓ８の処理により抽出された複数の画素グループのうち、登録グループとの対応関係が取れなかった画素グループは、新しい登録グループとして記憶部１３に追加する。このように、時間的追跡処理を行うことにより、後述するステップ１０でのパラメータ算出処理が可能となる。
【００６７】
ステップＳ１０では、画像処理部１２は、パラメータ算出処理を行った後、ステップＳ１１へ進む。以下、パラメータ算出処理について説明する。このパラメータ算出処理では、画像処理部１２は、記憶部１３に記憶されている各登録グループを構成する各画素について、現フレームの画像における輝度の平均値（以下「現輝度平均値」という。）と、前フレームの画像における輝度の平均値（以下「前輝度平均値」という。）とをそれぞれ計算した後、現輝度平均値から前輝度平均値を減算した値（以下「輝度差」という。）を記憶部１３に記憶する。上記輝度差が正の値である場合には、発光部２１は明るくなった、すなわち“点灯”であると認定できる一方、上記輝度差が負の値である場合には、発光部２１は暗くなった、すなわち“消灯”であると認定できる。
【００６８】
そして、上記輝度差の値を、例えば、過去５回から１０回の点滅サイクル分、すなわち、例えば、発光部２１の点滅サイクルが約０．４秒である場合、２秒〜４秒間分を記憶部１３に記憶する。次に、画像処理部１２は、記憶部１３に記憶されている各フレームの画像ごとの上記輝度差の値から、“明るくなる”と“暗くなる”の時間間隔を解析し、周期的に点滅しているか否かについて認定するとともに、その点滅周期について算出する。
【００６９】
次に、画像処理部１２は、各登録グループについて、設定されたウィンドウＷ上における中心座標の値を、例えば、過去１０回から２０回分の処理について記憶部１３に記憶するとともに、その間の中心座標のばらつき度合いとして、標準偏差（分散）の値を計算した後、記憶部１３に記憶する。
【００７０】
ステップＳ１１では、画像処理部１２は、遠方目標部判定処理を行った後、ステップＳ１２へ進む。以下、遠方目標部判定処理について説明する。上記したステップＳ７に示す統合処理で抽出された遠方目標部候補画素の画像データには、図１０（ｃ）に示すように、遠方目標部２の画素の他にノイズ的な画素も含まれるため、抽出された登録グループの中には、ノイズ的な要因による登録グループも存在する。
【００７１】
まず、遠方目標部２の背景にある木々の枝葉などが風に揺れること等によって発生する画像の時間的な明暗変化は、周期的となる場合がある。しかし、このような周期的な明暗変化を示す画素は、固定された遠方目標部２と比較して、検出される位置のばらつき度合いが大きくなる傾向があり、上記した中心座標の標準偏差の値が大きくなる傾向を示すので、上記標準偏差が所定の閾値を超える場合は、この指標によって登録グループから判別・除外される。
【００７２】
次に、移動車両３は、前進走行する際に、圃場４の表面状態等に応じて、その進行する向きや車体の傾きが変化するため、カメラ部１１で撮像される画像も、前の撮像周期に撮影された画像と比べて、全体的に上下又は左右あるいはこれらの両方にずれていることが多い。したがって、上記したように、ステップＳ３及び４において、第１及び第２のウィンドウ位置設定処理を行うが、この際のウィンドウ設定位置の誤差や残差に起因して、抽出された登録グループの中には、ノイズ的な要因による登録グループも存在する。しかし、このような要因によるノイズ的な画素は、周期的な明暗変化とはなり難い傾向にある。このため、検出された点滅周期の値が、遠方目標部２を構成する発光部２１の点滅周期と大きく異なる場合、又は、その周期性の強さが所定の閾値以下の場合は、この周期性の指標によって登録グループから判別・除外される。
【００７３】
さらに、残った登録グループについて、中心座標の標準偏差の値、点滅周期と周期性の強さの値、さらに、各登録グループの面積、縦横比、検出された回数などを、遠方目標部２らしさの評価として評点化して積算し、その値が所定の閾値以上であって、かつ、最大となった登録グループを、遠方目標部２であると判定する。
【００７４】
ステップＳ１２では、画像処理部１２は、制御データ出力処理を行った後、ステップＳ１３へ進む。以下、制御データ出力処理について説明する。この制御データ出力処理では、画像処理部１２は、ステップＳ１１の処理で遠方目標部２であると判定された登録グループについては、図１１に示すような画像全体における左右方向の中心座標ｉｃｌと、予め計測されている移動車両３の正面方向の画像全体における座標値ｉｖとを比較し、式（５）に基づいて、移動車両３と遠方目標部２の方向とのずれ角度θ１を算出した後、車両制御部１４に供給する。
【００７５】
θ１＝ｔａｎ-1（（ｉｃｌ−ｉｖ）×ＰＷＨ） …（５）
式（５）において、ｉｃｌは、遠方目標部２の登録グループの中心点の画像上のｉ座標、ｉｖは、移動車両３の正面方向のｉ座標、ＰＷＨは１画素当りの視野角である。なお、ｉｖの値が予め計測して入力して車両制御部１４を構成する記憶部に記憶されていること、または、移動車両３に対してカメラ部１１が正確に正面を向いて設置されていることのいずれかが前提である。
【００７６】
これにより、車両制御部１４は、移動車両３と遠方目標部２の方向とのずれ角度θ１に基づいて、操向制御機構１５を制御することにより、移動車両３を遠方目標部２の方向に向かって直進走行させる。
【００７７】
ステップＳ１３では、画像処理部１２は、遠方目標部接近検出処理を行った後、ステップＳ１４へ進む。以下、遠方目標部接近検出処理について説明する。本実施の形態では、画像処理部１２は、遠方目標部検出処理に先立って、ステレオ画像処理等を行って距離画像を生成しても良い。この場合、検出された遠方目標部２を構成する発光部２１の部分の距離画像データを抽出し、移動車両３から遠方目標部２までの距離を算出する。あるいは、遠方目標部２と判定された画像グループの大きさが閾値以上となったことにより、遠方目標部２までの距離が接近したと判定する方法も可能である。そして、移動車両３が予め設定した距離まで接近した場合には、画像処理部１２は、その旨を移動車両３側に送信し、移動車両３において警報を鳴らすなどして運転者に注意喚起を行っても良い。なお、この遠方目標部接近検出処理は、任意に行う。
【００７８】
ステップＳ１４では、画像処理部１２は、登録グループの重複評価・統合処理を行った後、ステップＳ１５へ進む。以下、登録グループの重複評価・統合処理について説明する。上記したステップＳ１０に示す時間的追跡処理において、検出対象の遠方目標部２の画像に基づいて生成された本来の画素グループに外乱などが加わってパラメータが変動した場合、当該画素グループが、これまで追跡され、記憶部１３に登録されている登録グループとは異なる別の画素グループであると判断されてしまう場合がある。この結果、当該遠方目標部２が新しい画素グループであるとして記憶部１３に登録され、遠方目標部２の登録グループが記憶部１３に重複して存在する事態が発生する場合がある。
【００７９】
このような事態が発生した場合、次フレーム以降についての上記ステップＳ９に示す時間的追跡処理において、遠方目標部２の画像に基づいて生成されたある１個の画素グループを、複数の異なる登録グループがいずれも自己に対応する画素グループと判定することになり、正しい時間的追跡処理が行われない事態が発生するおそれがある。
【００８０】
そこで、この登録グループの重複評価・統合処理では、画像処理部１２は、既に記憶部１３に登録されている複数の登録グループについて、各パラメータを相互に比較する。そして、類似性が高く、同一の対象物を追跡していると判断される複数の登録グループが存在する場合には、そのような複数の登録グループを１個の登録グループに統合する処理を定期的に実行する。
【００８１】
ステップＳ１５では、画像処理部１２は、現フレームのウィンドウ内画像更新処理を行った後、ステップＳ１６へ進む。以下、現フレームのウィンドウ内画像更新処理について説明する。現フレームのウィンドウ内画像更新処理では、画像処理部１２は、検出された遠方目標部２の登録グループの画像上の中心座標が、第１及び第２のウィンドウＷ0及びＷ02の中心になるように、第１及び第２のウィンドウＷ0及びＷ02の位置を再設定し、現フレームでの第１のウィンドウＷ0として記憶部１３に再度記憶する。上記第１及び第２のウィンドウＷ0及びＷ02は、例えば、横５６画素、縦４０画素として設定する。
【００８２】
ステップＳ１６では、画像処理部１２は、ウィンドウ対応露光時間制御処理を行った後、現フレームに関する一連の処理を終了し、次フレームの撮像や画像処理を実行するために、図６に示すステップＳ１へ戻る。以下、ウィンドウ対応露光時間制御処理について説明する。このウィンドウ対応露光時間制御処理では、設定されているウィンドウＷを対象とし、当該ウィンドウＷの範囲内の輝度分布が遠方目標部２の検出に最適化されるように、カメラ部１１の露光時間等の制御を行う。
【００８３】
すなわち、例えば、画像全体を対象としてカメラ部１１の露光時間を制御した場合には、画像全体の中で遠方目標部２とその周辺が明るく、輝度が比較的高い場合は、遠方目標部２を含む領域の輝度が飽和してしまい、当該領域に設置されている遠方目標部２を検出することはできない。一方、設定されているウィンドウＷを対象とし、当該ウィンドウＷの範囲内の輝度分布が遠方目標部２の検出に最適化されるように、カメラ部１１の露光時間の制御を行った場合には、画像全体に比して明るい領域に遠方目標部２が設定されていても、当該遠方目標部２を検出することができるのである。露光時間等の撮像の感度制御は、例えば、ウィンドウ内の全画素の輝度をヒストグラム化し、暗い部分と明るい部分の面積が等しくなるように制御を行う。
【００８４】
このように、本発明の実施の形態によれば、比較的安価で発光効率が高く、輪郭形状及び発光部全体の大きさを任意に構成し易いＬＥＤを多数配置した発光部２１を備えた遠方目標部２を設置し、発光部２１の点滅を撮像するカメラ部１１の調節・設定に特徴を持たせ、さらに画像処理部１２における画像処理に特徴的な差分処理や判断処理を持たせている。
【００８５】
したがって、本発明の実施の形態によれば、天候や時間による太陽光の方向などの屋外環境の変化へ対応することができるとともに、各種の反射光や木漏れ日などのノイズへも対応することができる。また、１００ｍ以上の距離範囲で安定的に目標を認識することができるとともに、装置の小型化・低コスト化などを図ることができる。
【００８６】
また、本発明の実施の形態によれば、カメラ部１１と発光部２１点滅の同期化を省略しているため、カメラ部１１の撮像中に発光部２１が点灯から消灯又は、消灯から点灯となり、撮像される発光部２１の画像は、点灯と消灯の中間的な輝度になる状態が発生し得る。発光部２１の点灯と消灯の時間が、カメラ部１１の撮像周期と同じと仮定すると、カメラ部１１で撮像される画像は、連続して点灯から消灯又は、消灯から点灯の状態となり、発光部２１の画像は中間的な輝度の状態が続いて、輝度の時間的な変化が小さくなり、点滅する発光部２１の検出が困難になる状況となる。
【００８７】
そこで、本発明の実施の形態によれば、発光部２１は、カメラ部１１の撮像周期と最大露光時間を合計した時間以上であって、かつ、撮像周期の２倍の時間以下である範囲の時間の点灯と、この範囲の時間の消灯とを繰り返すように設定している。これにより、あるフレームではカメラ部１１の撮像中に発光部２１が点灯から消灯又は、消灯から点灯となっても、次のフレームでは確実に露光時間中はずっと点灯又は、ずっと消灯の状態となり、発光部２１の画像の輝度の変化を最大化し、発光部２１の検出性能を向上させることができる。
【００８８】
この点、発光部２１の点灯時間又は消灯時間を長くすれば、容易にカメラ部１１の画像はずっと点灯又はずっと消灯の状態となるが、本発明の実施の形態では、点灯から消灯又は、消灯から点灯の変化によって発光部２１を検出するので、発光部２１を検出できる機会が減少し、システム本来の機能を低下させることとなる。
【００８９】
本発明の実施の形態における、「カメラ部１１の撮像周期と最大露光時間を合計した時間以上であって、かつ、撮像周期の２倍の時間以下である範囲の時間」は、確実に露光時間中はずっと点灯又は、ずっと消灯の状態が得られ、かつ、最少の時間であり、システム本来の機能を最大化する設定である。また、多くの場合にカメラ部１１の最大露光時間は、撮像周期とほぼ一致するので、発光部２１は撮像周期の２倍以下の点灯時間と、同様に撮像周期の２倍以下の消灯時間を繰り返す設定となる。
【００９０】
また、本発明の実施の形態によれば、画像処理部１２は、前フレームの画像全体の中において、遠方目標部２の位置検出を行う範囲として設定されたウィンドウＷに相当する画像部分を、現フレームの画像全体の中から探索し、探索された画像部分を現フレームの画像における第１のウィンドウとして設定し、前々フレームの画像全体の中に設定されたウィンドウに相当する画像部分を、現フレームの画像全体の中から探索し、探索された画像部分を現フレームの画像における第２のウィンドウとして設定している。そして、第１及び第２のウィンドウに基づいて、第１及び第２の遠方目標部候補画素を抽出している。したがって、移動速度が速く、フレーム毎に撮像される画像が上下、左右に大きく変化するような状況においても、相当する画像が探索されるので、本システムを適用することができる。
【００９１】
また、本発明の実施の形態によれば、カメラ部１１で撮像した現フレームの画像と前フレームの画像において、対応する画素の輝度差の絶対値が第１の閾値以上であって、かつ、いずれかの画素の輝度が第２の閾値以上である場合に、その画素を遠方目標部２の候補画素として抽出している。したがって、点滅する発光部２１に対し、画像上での輝度の特徴を的確に検出することができる。
【００９２】
また、本発明の実施の形態によれば、カメラ部１１で撮像した現フレームの画像と前フレームの画像との差分処理に加え、現フレームの画像と前々フレームの画像との差分処理も行っている。上記したように、発光部２１をカメラ部１１の撮像周期及び最大露光時間の合計時間以上の点灯と、この合計時間以上の消灯とを繰り返すように設定した場合、現フレームでは発光部２１の点灯又は消灯の画像が得られても、前フレームも同じく点灯又は、消灯の画像であったり、逆に、点灯から消灯又は、消灯から点灯の状態の画像となる場合がある。しかし、前々フレームは確実に現フレームとは逆の消灯又は点灯の画像となり、発光部２１の検出が可能となる。
【００９３】
また、本発明の実施の形態によれば、画像部分の輝度の変化量を、過去の数秒間に渡って記憶し、この変化量を解析して点滅の周期性とその時間間隔を検出し、周期性が高く、かつ時間間隔が設定した遠方目標部２の点灯、消灯の時間間隔と一致する場合に、その画素グループが検出対象の遠方目標部２の可能性が高いと判断している。したがって、ノイズ的な要因によって誤抽出した画素グループを取り除くことができる。
【００９４】
また、本発明の実施の形態によれば、抽出された画素グループのウィンドウにおける位置を過去の数秒間に渡って記憶し、この位置の上下・左右方向の座標値の時間的な変化量の標準偏差を算出し、標準偏差が小さい場合には、遠方目標部２の可能性が高いと判断している。したがって、この場合も、ノイズ的な要因によって誤抽出した画素グループを取り除くことができる。
【００９５】
また、本発明の実施の形態によれば、カメラ部１１は、移動車両３の前方正面の方向と精確に平行に調整されているか又は、カメラ部１１の画像において、移動車両３の前方正面の方向の位置が精確に検出されている必要がある。このように構成することにより、カメラ部１１は、図１２に示すように、移動車両３のエンジンフードなどに設置される車体マーカー５が写るようにカメラ部１１を設置し、予め用意された、図４に示すような形状パターンを使って、パターンマッチングの手法により、カメラ部１１の画像からその位置を検出し、移動車両３の前方正面の方向の位置を自動的に検出することができる。
【００９６】
また、本発明の実施の形態によれば、遠方目標部２を構成する発光部２１は、輪郭の形状は、長方形状、楕円形状又は円形状のいずれかであって、輪郭の縦横比が２分の１から４分の１の間である。通常、発光部２１の発光部分は面積が大きく、カメラ部１１の方向に投射する光量が多いほど、遠方からの検出が有利となる。しかし、発光部２１の位置は画像上の発光部２１の中心座標によって算出するので、近距離では発光部２１の画像が大きくなり、特に横幅が広くなると、検出される位置の精度が低下する傾向となる。そこで、本発明の実施の形態のように、発光部２１の発光部分を、縦方向に長く、横方向に狭くすると、面積の拡大と精度の確保の両立が可能となる。一方、発光部２１の発光部分が縦方向に長くなり過ぎると、画像上の発光部２１の形状が、ノイズ的な要因で誤抽出される画素グループと類似してくるので、輪郭の縦横比は、２分の１から４分の１の間であることが最適である。
【００９７】
また、本発明の実施の形態によれば、遠方目標部２は、黒色などの暗い色で塗装され、かつ、発光部２１の発光部分の横幅以上の幅の余白部分を、発光部２１の周囲に有する仕切板２５を、発光部２１の背後に有している。カメラ部１１は、上記したように、撮像素子が格子状に配置された構造となっている。図１３は遠方目標部２の一例であるが、検出限界付近の遠い距離では、遠方目標部２を撮像した画像は小さくなり、１個の撮像素子の大きさは図１３に示す１個の格子ほどになり、撮像素子の出力は、１個の格子の中に存在する複数の物体の平均的な明るさとなり、図１４のようなモザイク画像の状態になる。
【００９８】
発光部２１の周囲に背景板がなく、発光部２１の背後に明るい物体があると、１個の撮像素子に発光部２１と明るい背景の両方が同時に入る状態となり、発光部２１が消灯してもその画素は明るい背景の光を受けて輝度が高いままの状態となり、輝度の変化が減少して発光部２１の検出が困難となる。そこで、仕切板２５を設けると、背後の物体による発光部２１の画像への影響を低減することができ、特に、遠方の距離において検出性能が向上する。
【００９９】
発光部２１の画像は、消灯時には暗い必要があるので、仕切板２５は黒色などの光の反射が少ない色であることが望ましい。また、実際のカメラ部１１では、レンズの収差などの影響で、ある物体からの光は、その位置の撮像素子のみでなく、周囲の撮像素子にも影響が拡散する。よって、仕切板２５の大きさは、最低限、発光部２１の発光部分の横幅以上の幅を、発光部２１の周囲に有することが望ましい。さらに、筐体２４に蓋を取り付け、蓋の裏も黒く塗装し、発光部２１使用時には蓋を展開して、仕切板２５の拡張として利用しても良い。
【０１００】
また、本発明の実施の形態によれば、遠方目標部２は、その発光部２１を直方体の容器状の筐体２４の底部又は底部の付近に設けた仕切板２５に設置する構造である。遠方目標部２は、図５に示すように、発光部２１の発光体をほぼ垂直に立てて使用する場合が多いと考えられる。直方体の筐体２４を用いることにより、遠方目標部２は、図５に示すように、平坦な場所に置くだけで安定な設置が可能となり、取扱が簡便となる。また、筐体２４はそのまま収納用の容器を兼ねることもできる。
【０１０１】
また、発光部２１に直射日光が当たると、太陽光の反射で発光部２１の部分が輝き、発光部２１が消灯状態でも画像が明るいままとなる。直方体状の筐体２４の奥まった所に発光部２１を設置することにより、上方と左右にも日除けが付く構造となる。
【０１０２】
また、本発明の実施の形態によれば、カメラ部１１の露光時間、絞り、画像信号のアンプゲインなどの感度調節は、カメラ部１１の画像中に部分的に設定されているウィンドウＷ内の画像の輝度分布に基づいて設定されている。カメラ部１１による撮像は、背景となる部分の明るさに対し、発光部２１の点滅による明暗変化が最大となるように、カメラ部１１の感度調節を行うことが重要である。一般のカメラのように画像全体で感度調節すると、遠方にあって小さい発光部２１の画像では、その部分が最適化されない場合がある。そこで、発光部２１の検出処理を行う範囲であるウィンドウＷ内の画像に対して、感度調節を行うことにより、発光部２１の検出性能が向上する。
【０１０３】
ここで、実験結果の一例を示す。移動車両３としてトラクタを用いるとともに、このトラクタに車両搭載部１を搭載し、日中の屋外にて遠方に設置された点滅する遠方目標部２を検出し、移動車両３を遠方目標部２に向かって走行制御した。図１５に示す例では、トラクタの前部にカメラ部１１を搭載するとともに、畝立機を装着し、遠方目標部２に向う走行制御を行って形成した畝の状態を図１６に、また、この時の遠方目標部２の位置及び形成された畝の位置の計測結果を図１７に示す。
【０１０４】
ここで、畝の位置は実験者が目測で畝のほぼ中央に反射プリズムを合わせながら持って歩き、その時の反射プリズムの位置を自動追尾型レーザー式測位装置で計測したものである。遠方目標部２の位置も反射プリズムと自動追尾型レーザー式測位装置による同様の計測である。
【０１０５】
計測の精度は、自動追尾型レーザー式測位装置の単体としては±１ｃｍ程度であるが、畝の位置については、目測によるばらつきや歩行に伴う反射プリズムの揺れなどの要因が加わる。図１７に示す畝の位置の横方向の細かい変動は、主に歩行に伴う揺れによるもので、実際の畝は、図１６のように滑らかである。
【０１０６】
図１７において、遠方目標部２に対して畝はほぼ±３０ｍｍ以内の偏位で形成されており、良好な遠方目標部２に向かう直進誘導が行われたことが分かる。この±３０ｍｍの偏位には、畝位置計測時の実験者の歩行に伴う反射プリズムの揺れなどを含むものであり、直進誘導の精度は実用的に十分なものと考えられる。
【０１０７】
トラクタは、装着する作業機や圃場の状態などによって直進性が変化するので、直線的な作業を行うには、運転者は熟練と頻繁な操舵修正が必要であるが、本システムにより未熟練者でも高い精度の作業を可能とし、同時に自動化による運転者の負担軽減を実現することができる。また、目標とする位置に遠方目標部２を載置するという、簡便で直観的に分り易い操作方法であるといえる。
【０１０８】
遠方目標部２を検出するためには、遠方目標部２の背景となる部分の明るさに対して、遠方目標部２の明るさが十分にある必要がある。背景の明るさはその種類や日照条件などで変化する一方、遠方目標部２の明るさは距離の二乗に反比例して暗くなる。このため、遠方目標部２を検出可能な距離を一概に特定することはできない。本システムは、曇天の目中にて４００ｍ以上遠方の遠方目標部２を検出して誘導走行することにも成功している。
【０１０９】
以上、本発明の実施の形態について図面を参照して詳述してきたが、具体的な構成はこの実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても本発明に含まれる。
例えば、上述の実施の形態では、本発明を農用トラクタに適用する例を示したが、これに限定されず、農用トラクタ以外の各種農用車両による作業に適用可能であり、特に、最初の作業行程を高精度に直線的に行う場合、低速で長時間にわたる直進運転、直線的に畦塗りを行いたい場合などに有効である。また、本発明は、農業分野だけでなく、土木や建設分野での作業車両の直進誘導にも利用可能である。
【０１１０】
また、上述の実施の形態では、遠方目標部２を移動車両３が直進走行すべき走路前方の延長線上に設置するとともに、この遠方目標部２を撮像するために、カメラ部１１を移動車両３の室内であって、移動車両３の前方正面に向けて車両中心線ＭＣ上に搭載する例を示したが、これに限定されない。例えば、遠方目標部２を移動車両３が直進走行すべき走路後方の延長線上に設置するとともに、この遠方目標部２を撮像するために、カメラ部１１を移動車両３の室内又はルーフ上等であって、移動車両３の後方正面に向けて車両中心線ＭＣ上に搭載しても良い。
【図面の簡単な説明】
【０１１１】
【図１】本発明の実施の形態に係る移動車両の直進誘導システムの概略構成を示す側面図である。
【図２】図１に示す移動車両の直進誘導システムの概略構成を示す平面図である。
【図３】図１に示す移動車両の直進誘導システムの構成を示すブロック図である。
【図４】車体マーカーの一例を示す概略図である。
【図５】図１に示す移動車両の直進誘導システムを構成する遠方目標部の概略構成を示す斜視図である。
【図６】画像処理部が実行する遠方目標部検出処理を示すフローチャートである。
【図７】画像処理部が実行する遠方目標部検出処理を示すフローチャートである。
【図８】前フレームの画像の一例を示す図である。
【図９】現フレームの画像の一例を示す図である。
【図１０】現フレームと前フレームとの遠方目標候補の抽出処理、現フレームと前々フレームとの遠方目標候補の抽出処理及び、統合処理を説明するための概念図である。
【図１１】抽出した遠方目標部の画像の状態を示す説明図である。
【図１２】車体マーカーが撮像された画像の一例を示す図である。
【図１３】遠距離における遠方目標部の画像の状態を説明図である。
【図１４】遠距離における遠方目標部を構成する発光部の拡大画像の一例を示す図である。
【図１５】走行制御の実験における車両搭載部が搭載されたトラクタと遠方目標部とを撮影した写真の一例を示す図である。
【図１６】図１５に示すトラクタを本システムで走行制御実験することにより形成された畝及び遠方目標部を撮影した写真の一例を示す図である。
【図１７】図１５に示す走行制御の実験結果の一例である形成された畝の位置と遠方目標部の位置を示す図である。
【符号の説明】
【０１１２】
１…移動車両搭載部、２…遠方目標部、３…移動車両、４…圃場、４ａ…長辺、４ｂ…短辺、５…車体マーカー、１１…カメラ部、１２…画像処理部、１３…記憶部、１４…車両制御部、１５…操向制御機構、１６…表示・操作部、２１…発光部、２２…制御部、２３…電源、２４…筐体、２５…仕切板、ＳＡ…探索範囲、Ｗ0…現フレームの画像における第１のウィンドウ、Ｗ02…現フレームの画像における第２のウィンドウ、Ｗ-1…前フレームの画像におけるウィンドウ、Ｗ-2…前々フレームの画像におけるウィンドウ
【技術分野】
【０００１】
本発明は、トラクタや田植機などの農用車両又は、土木・建築分野における作業車両等の移動車両を目標に向かって誘導しつつ直進走行させるための移動車両の直進誘導システムに関する。
【背景技術】
【０００２】
近年、農業人口が減少する傾向にあり、また熟練農業者が減少し、その雇用も難しい状況にあるため、圃場における播種や畝立てなどの作業行程において、移動車両の１つである農用車両を自動的に直進走行させる技術への要求が高まってきている。
【０００３】
そこで、従来、例えば、以下に示す農用車両の直進制御法が開発されている。この農用車両の直進制御法では、農用車両は、地磁気方位センサ及び計測・制御手段を有している。また、この農用車両の直進制御法では、上記農用車両を用いて手動運転によりティーチング走行を行って、地磁気方位センサから時々刻々取得される農用車両の走行方位から往／復２方向の目標方位を取得した後、地磁気方位センサから時々刻々取得される農用車両の走行方位と上記ティーチング走行時に得られた目標方位との比較に基づき農用車両を自動走行させている（例えば、特許文献１参照。）。以下、この技術を第１の従来例と呼ぶ。
【０００４】
また、従来、以下に示す作業車の誘導装置が開発されている。この作業車の誘導装置では、互いに平行する複数個の作業行程それぞれにおいて誘導用ビーム光を投射させるために、作業行程の長さ方向に向けて誘導用ビーム光を投射するビーム光投射手段が移動車上部に装備されている。この移動車には、さらに、上記ビーム光投射手段を移動車に対して前後方向及び横幅方向に位置調節する位置調節手段と、ビーム光投射手段を移動車に対して縦軸芯周りで旋回調節する旋回調節手段とがそれぞれ設けられている（例えば、特許文献２参照。）。以下、この技術を第２の従来例と呼ぶ。
【０００５】
さらに、従来、以下に示す発光体の位置検出装置が開発されている。この発光体の位置検出装置では、外周位置に第１の偏光フィルタを設けた発光体を走行行程の端部に設置し、上記発光体を田植え機などの作業車両に搭載された、上記第１の偏光フィルタと同じ偏光方向の第２の偏光フィルタを設けた第１のイメージセンサと、上記第１の偏光フィルタとは偏光方向の異なる第３の偏光フィルタを設けた第２のイメージセンサとで撮像している。そして、２台のイメージセンサが撮像した撮像情報の差の情報に基づいて、上記発光体の撮像画面内での位置検出を行い、上記発光体に向かって作業車両を操向制御している（例えば、特許文献３参照。）。以下、この技術を第３の従来例と呼ぶ。
【０００６】
また、従来、移動車両にテレビカメラを搭載し、遠方の樹木等の自然物や煙突等の建造物、あるいは予め設置した目標ポール等を目標として上記テレビカメラによって撮影し、得られた画像に基づいて、移動車両を目標に向かって自動直進制御する技術が提案されている（例えば、非特許文献１及び２参照。）。以下、この技術を第４の従来例と呼ぶ。
【０００７】
一方、土木・建築分野においても、従来、以下に示す建設機械の自動運行装置が開発されている。この建設機械の自動運行装置は、点滅信号を発信する誘導灯を備えた誘導指示装置と、道路を舗装する際に用いられる締固め機械等の作業機とから構成されている。この作業機には、上記点滅信号を取り込むＣＣＤカメラと、このＣＣＤカメラからの画像データを処理する画像処理装置と、この画像処理装置の出力に基づいて作業機を誘導して走行制御する制御装置とが搭載されている（例えば、特許文献４参照。）。以下、この技術を第５の従来例と呼ぶ。
【０００８】
【特許文献１】特開２０００−１４２０９号公報
【特許文献２】特開昭６４−１０３０８号公報
【特許文献３】特開平７−１７０８０９号公報
【特許文献４】特開平３−２４２８号公報
【非特許文献１】山崎哲他、「農業用機械の自律直進走行のための画像解析」、第６１回農業機械学会年次大会講演要旨、農業機械学会、２００２年９月１７−１９日、ｐ．３１３−３１４
【非特許文献２】山崎哲他、「農業用機械の自律直進走行のための画像解析（第２報）」、第６２回農業機械学会年次大会講演要旨、農業機械学会、２００３年４月２−４日、ｐ．１５５−１５６
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ところで、農用車両が、例えば、圃場における播種や移植、畝立てなどの作業行程を直線的に精確に行うことは重要である。特に、最初の作業行程は、当該作業跡が次行程（２行程目）以降の基準となるとともに、次に行うべき他の作業（次作業）、例えば、作物の生育管理作業や収穫作業の基準にもなる重要なものである。したがって、最初の作業行程では、農用車両を可能な限り直進走行させて作業することが重要である。そこで、このように重要な作業は、通常、農家の主人や熟練者などの作業責任者が行っている。しかし、このように熟練を要し、責任が大きい作業は、上記作業責任者にとっても負担が大きく、殊に作業すべき圃場の面積が広大な場合には、最初の作業行程を行う距離も長いため、一層負担が大きい。さらに、上記したように、農業人口が年々減少しており、上記した最初の作業行程を行うことができる人材も恒常的に不足している。
【００１０】
ところが、上記した第１の従来例では、目標方向の取得のために、最初の作業行程は、手動運転によりティーチング走行を行う必要があり、上記問題を解決することができない。また、上記した第１の従来例では、何らかの理由により、地磁気方位センサから取得される農用車両の走行方位にノイズが混入した場合には、農用車両の直進走行が乱れるおそれがあるなどの問題があった。
【００１１】
また、上記した第２の従来例では、誘導用ビーム光を投射するビーム光投射手段が高価であるとともに、このビーム光投射手段の設置や調整に時間と手間がかかるなどの問題があり、いまだ実用化に至っていない。
【００１２】
さらに、上記した第３の従来例では、発光体の外周位置に第１の偏光フィルタを設けているので、発光体から投射される光の光量が２分の１以下に減少することになる。したがって、発光体と作業車両との距離が長い場合には、発光体から投射される光の光量が不足して、２台のイメージセンサが撮像した撮像情報から発光体を検出することが困難となる。つまり、上記した第３の従来例では、発光体と作業車両との距離に実用上の制限があるなどの問題があった。また、上記した第３の従来例では、２台のイメージセンサを作業車両に搭載する必要があるため、発光体の位置検出装置の構成が複雑化するとともに、価格も高価になるという問題もあった。
【００１３】
また、上記した第４の従来例では、圃場周辺において、全体の風景の中で目標とするのに適した目立った自然物や建造物が常に存在するとは限らない。したがって、目立った自然物や建造物が存在しない圃場周辺では、テレビカメラによって撮影した画像から目標とすべきものを検出できない場合が多いため、上記画像に基づいて移動車両の自動直進を安定的に制御できないことが多いという問題があった。また、上記した第４の従来例では、予め設置した目標ポールと移動車両との距離が長くなると、テレビカメラによって撮影した画像上では、周囲の背景や他の物体との区別が困難となる場合がある。つまり、上記した第４の従来例では、目標ポールと移動車両との距離に実用上の制限があるなどの問題があった。
【００１４】
さらに、上記した第５の従来例では、ＣＣＤカメラからの画像データ内に、目標とする誘導灯の他に、例えば、太陽光を反射する家屋の明るい部分（例えば、窓や屋根等）などが背後にある場合には、誘導灯の領域と上記家屋の明るい部分の領域が同時に抽出され、誘導灯の位置検出が困難になるという問題があった。
【００１５】
本発明は、上述した事情に鑑みてなされたものであり、上述のような問題を解決することを課題の一例とするものであって、これらの課題を解決することができる移動車両の直進誘導システムを提供することを目的とする。
【課題を解決するための手段】
【００１６】
上記課題を解決するために、請求項１記載の発明に係る移動車両の直進誘導システムは、移動車両に搭載される移動車両搭載部と、前記移動車両が直進走行すべき走路前方の延長線上に設置される遠方目標部とを備え、前記移動車両搭載部は、前記遠方目標部を撮像するカメラ部と、前記カメラ部から得られる画像を処理して前記直進走行のための走行情報を出力する画像処理部と、前記走行情報に基づいて前記移動車両を制御する操向制御部とを有し、前記遠方目標部は、前記カメラ部の撮像周期と最大露光時間を合計した時間以上であって、かつ、前記撮像周期の２倍の時間以下である範囲の時間の点灯と、前記範囲の時間の消灯とを繰り返し、前記画像処理部は、撮像された現フレームの前記画像と、１つ前の前記撮像周期に撮像された前フレームの前記画像において、対応する画素の輝度差の絶対値が第１の閾値以上であって、かつ、いずれか一方の画素の輝度が第２の閾値以上である場合に、当該画素を第１の遠方目標部候補画素として抽出するとともに、前記現フレームの前記画像と、２つ前の前記撮像周期に撮像された前々フレームの前記画像において、対応する画素の輝度差の絶対値が前記第１の閾値以上であって、かつ、いずれか一方の画素の輝度が前記第２の閾値以上である場合に、当該画素を第２の遠方目標部候補画素として抽出し、前記第１及び第２の遠方目標部候補画素を統合し、統合した遠方目標部候補画素に対して前記遠方目標部の位置検出を行い、検出結果に基づいて前記走行情報を生成することを特徴としている。
【００１７】
また、請求項２に記載の発明は、請求項１に記載の移動車両の直進誘導システムに係り、前記画像処理部は、前記前フレームの前記画像全体の中において、前記遠方目標部の位置検出を行う範囲として設定されたウィンドウに相当する画像部分を、前記現フレームの前記画像全体の中から探索し、探索された画像部分を前記現フレームの前記画像における第１のウィンドウとして設定し、前記前々フレームの前記画像全体の中に設定されたウィンドウに相当する画像部分を、前記現フレームの前記画像全体の中から探索し、探索された画像部分を前記現フレームの前記画像における第２のウィンドウとして設定し、前記第１及び第２のウィンドウに基づいて、前記第１及び第２の遠方目標部候補画素を抽出することを特徴としている。
【００１８】
また、請求項３に記載の発明は、請求項１又は２に記載の移動車両の直進誘導システムに係り、前記画像処理部は、統合された前記遠方目標部候補画素をグループ化処理して抽出された複数の画素グループを構成する各画素について、前記現フレームの前記画像における輝度と、前記前フレームの前記画像における輝度との差の過去の数秒間分と、前記現フレームの前記画像における輝度と、前記前々フレームの前記画像における輝度との差の過去の数秒間分に基づいて前記画素の点滅の周期性及び点滅の時間間隔を検出し、検出結果に基づいて、当該遠方目標部候補画素を前記遠方目標部と判定することを特徴としている。
【００１９】
また、請求項４に記載の発明は、請求項２又は３に記載の移動車両の直進誘導システムに係り、前記画像処理部は、各前記複数の画素グループに関する前記ウィンドウ上における位置の値の過去数秒間分について、上下方向と左右方向の座標値の時間的な変化量における標準偏差を算出し、前記標準偏差が予め設定した閾値より小さい場合には、当該画素グループを前記遠方目標部と判定することを特徴としている。
【００２０】
また、請求項５に記載の発明は、請求項１乃至４のいずれかに記載の移動車両の直進誘導システムに係り、前記遠方目標部は、発光部分の輪郭の形状が、長方形状、楕円形状又は円形状のいずれかであって、前記輪郭の縦横比が２分の１から４分の１の間であることを特徴としている。
【００２１】
また、請求項６に記載の発明は、請求項２乃至５のいずれかに記載の移動車両の直進誘導システムに係り、前記カメラ部の露光時間、絞り、前記画像信号のアンプゲインの感度調節は、前記カメラ部の画像中に部分的に設定されている前記ウィンドウ内の画像の輝度分布に基づいて設定されることを特徴としている。
【００２２】
また、請求項７に記載の発明は、請求項１乃至６のいずれかに記載の移動車両の直進誘導システムに係り、前記移動車両には、前記カメラ部が前記遠方目標部とともに撮像可能な車体マーカーを取り付け、前記画像処理部は、前記画像の中から前記車体マーカーの位置を検出し、前記車体マーカーの画像上の位置に基づいて、前記移動車両に対する前記カメラ部の方向を検出することを特徴としている。
【００２３】
また、請求項８に記載の発明は、請求項１乃至７のいずれかに記載の移動車両の直進誘導システムに係り、前記遠方目標部は、前記移動車両が直進走行すべき走路後方の延長線上に設置され、前記カメラ部は、前記遠方目標部を撮像するように前記移動車両に搭載されていることを特徴としている。
【発明の効果】
【００２４】
本発明によれば、運転者の負担が軽減されるとともに、熟練者でなくても高能率・高精度な作業をすることができる。したがって、本発明によれば、天候や時間による太陽光の方向などの屋外環境の変化へ対応することができるとともに、各種の反射光や木漏れ日などのノイズへも対応することができる。また、１００ｍ以上の距離範囲で安定的に目標を認識することができるとともに、装置の小型化・低コスト化などを図ることができる。
【発明を実施するための最良の形態】
【００２５】
図１は、本発明の実施の形態に係る移動車両の直進誘導システムの概略構成を示す側面図、図２は、図１に示す移動車両の直進誘導システムの概略構成を示す平面図である。また、図３は、図１に示す移動車両の直進誘導システムの概略構成を示すブロック図である。
【００２６】
本実施の形態に係る移動車両の直進誘導システムは、移動車両搭載部１と、遠方目標部２とから概略構成されている。移動車両搭載部１は、カメラ部１１と、画像処理部１２と、記憶部１３と、車両制御部１４と、操向制御機構１５と、表示・操作部１６とから概略構成されている。移動車両搭載部１は、図１及び図２の例では、農用トラクタからなる移動車両３に搭載されている。カメラ部１１は、撮像方向が移動車両３の進行方向に向くように、移動車両３の室内、ルーフ上又はフロント部に設置されている。また、図２の例では、カメラ部１１は、移動車両３の室内又はルーフ上であって、移動車両３の前方正面に向けて車両中心線ＭＣ上に搭載されている。また、カメラ部１１は、水平線が視野に入るように、浅い俯角で取り付けられている。
【００２７】
本実施の形態に係る移動車両の直進誘導システムでは、検出可能な遠方目標部２の距離は、国内の圃場の大きさを考慮して、１００ｍ以上の距離を目安とし、一方、近傍側は５ｍ程度まで検出可能であれば実用的に十分と考えられる。
【００２８】
カメラ部１１は、例えば、撮像素子、光学系等を有し、遠方目標部２を撮影し、撮影した画像に対応したアナログの画像信号を１フレームごとに出力する。撮像素子は、例えば、ＣＣＤ、ＣＭＯＳ等からなり、マトリックス状に所定間隔をあけて配置されている。画像処理部１２は、中央処理装置（ＣＰＵ）、デジタルシグナルプロセッサ（ＤＳＰ）、シーケンサ等を有している。画像処理部１２は、記憶部１３に記憶されている遠方目標検出プログラム等に基づいて、遠方目標検出処理を実行することにより、カメラ部１１から出力されるアナログの画像信号をデジタルの画像データにアナログ／デジタル変換処理した後、処理・演算して、得られた画像データにおける遠方目標部２の位置を検出し、遠方目標部２の位置情報を車両制御部１４に供給する。また、カメラ部１１は、ステレオカメラなどの複数の撮像素子を有し、それら複数の撮像素子の内の１つの撮像素子から得られる画像を処理対象とする場合も同様に本発明の一実施の形態である。
【００２９】
カメラ部１１から得られる画像のうち、遠方目標部２の検出処理が可能な範囲は、例えば、横５１２画素、縦４００画素である。また、カメラ部１１の視野角は、例えば、横約２６°程度、縦約２０°程度である。
【００３０】
例えば、画像処理部１２がＣＰＵを有している場合、記憶部１３から遠方目標検出プログラムが読み出されると、画像処理部１２に読み込まれ、画像処理部１２の動作を制御する。画像処理部１２は、遠方目標検出プログラムが起動されると、遠方目標検出プログラムの制御により、上記した遠方目標検出処理を実行するのである。
【００３１】
記憶部１３は、ＲＡＭやＲＯＭ、あるいはフラッシュメモリ等の半導体メモリからなる。記憶部１３には、画像処理部１２が実行する遠方目標検出プログラムその他のプログラムや、画像処理部１２から供給されるフレームごとの画像データ等が記憶される。また、記憶部１３は、画像処理部１２が遠方目標検出プログラムを実行する際に作業用として使用される。なお、記憶部１３に記憶される各種プログラムや一部のデータについては、画像処理部１２を構成するＣＰＵ等の内部に設けられたメモリに記憶されるよう構成しても良い。
【００３２】
車両制御部１４は、ＣＰＵ、ＤＳＰ、シーケンサ等を有している。車両制御部１４は、画像処理部１４から供給される遠方目標部２の位置情報に基づいて、操向制御機構１５を制御して、移動車両３を遠方目標部２に向けて操向制御する。なお、操向制御機構１５の詳細については、例えば、特開２００３−１１８６１５号公報を参照されたい。表示・操作部１６は、例えば、液晶パネル、各種スイッチ、各種ボタンなどから構成され、作業者が移動車両搭載部１を起動したり、各種設定をしたりする際に用いられる。
【００３３】
以上説明した移動車両搭載部１が搭載された移動車両３は、図１及び図２に示す圃場４内において播種や畝立てなどの作業行程を行うものである。なお、移動車両３のフロント上部略中央には、図１及び図４に示すように、車体マーカー５が取り付けられている。図４の例では、車体マーカー５は、略三角錐形状を呈している。
【００３４】
一方、遠方目標部２は、図１及び図２に示すように、圃場４近傍の地面上に、正面を圃場４側に向けて載置されている。具体的には、圃場４が図２に示す矩形状を呈しており、圃場４を構成する矩形領域の一方の長辺４ａ側から移動車両３が作業行程を行う場合、例えば、遠方目標部２は、圃場４を構成する矩形領域の一方の短辺４ｂに接するとともに、移動車両３が最初の作業行程を行う際の車両中心線ＭＣ１の延長線上に載置される。
【００３５】
遠方目標部２は、図１及び図５に示すように、発光部２１、制御部２２及び電源２３が筐体２４に収容されている。筐体２４は、例えば、馬鈴薯等の収穫物を収容する合成樹脂製の筐体を流用することができる。筐体２４の寸法は、例えば、縦約５５ｃｍ、横約４０ｃｍである。筐体２４の背面には、制御部２２及び電源２３が固着されている。制御部２２及び２３の前面には、筐体２４の背面と略同一面積を有し、矩形状を呈している仕切板２５が設けられている。この仕切板２５の略中央には、発光部２１が取り付けられている。発光部２１は、複数の発光ダイオード（ＬＥＤ）がマトリックス状に所定間隔をあけて配置されて構成されている。ＬＥＤとしては、例えば、車両のウインカーに用いられる高輝度でオレンジ色の光を発光するものが好ましい。
【００３６】
また、発光部２１の縦幅と横幅の比は、例えば、２：１〜４：１の範囲が好ましい。また、発光部２１の輪郭形状は、例えば、略矩形状、略楕円状又は略円形状とする。発光部２１の輪郭形状を略矩形状とした場合、ＬＥＤを、例えば、縦約３０ｃｍ、横約１０ｃｍの範囲に、２５行、８列、すなわち、２００個配置する。制御部２２は、発光部２１を構成するすべてのＬＥＤを所定の周期で点滅制御する。
【００３７】
この所定の周期は、カメラ部１１の撮像周期と最大露光時間とを合計した時間以上であって、かつ、上記撮像周期の２倍の時間以下である範囲で予め設定した時間だけの点灯と、カメラ部１１の撮像周期と最大露光時間とを合計した時間以上であって、かつ、上記撮像周期の２倍の時間以下である範囲で予め設定した時間だけの消灯とを繰り返す周期である。例えば、カメラ部１１の撮像周期が約０．１秒である場合、発光部２１を構成するすべてのＬＥＤを、同時に、約０．２秒間の点灯と約０．２秒間の消灯とを繰り返すように制御部２２を設定する。
【００３８】
上記した所定の周期を定めた理由について説明する。本実施の形態では、コスト抑制の観点から、発光部２１の点滅とカメラ部１１の撮像の同期は行わず、遠方目標部２及び移動車両搭載部１は、それぞれ独立の動作タイミングで発光部２１及びカメラ部１１を制御する。上記したように、カメラ部１１の撮像周期が約０．１秒である場合に、発光部２１を、同時に、約０．１秒間の点灯と約０．１秒間の消灯とを繰り返すように制御部２２が制御すると、例えば、カメラ部１１の露光中に発光部２１が点灯から消灯へ変化するとともに、次の０．１秒後のカメラ部１１の露光中には発光部２１が消灯から点灯へ変化する場合ある。このような場合には、カメラ部１１から得られた画像中の発光部２１に対応した部分の輝度は、どちらも中間的な明るさとなり、時間的な変化が生じない状況に陥るおそれがある。
【００３９】
そこで、カメラ部１１の露光中は、発光部２１が連続して点灯している状態の画像か又は発光部２１が連続して消灯している状態の画像のいずれかを確実に撮像できるようにするため、上記したように、発光部２１を構成するすべてのＬＥＤを、同時に、約０．２秒間の点灯と約０．２秒間の消灯とを繰り返すように制御部２２を設定するのである。また、撮像周期の２倍より長くなると、発光部２１の位置を検出できる時間間隔が無用に長くなり、システムの性能を低下させる不都合が生じる。
【００４０】
次に、上記構成を有する移動車両の直進誘導システムの動作について説明する。まず、作業者は、図２に示すように、カメラ部１１が移動車両３の車両中心線ＭＣ１上に搭載されている場合には、移動車両３を誘導するべき軌跡（以下「誘導軌跡」という。）ＧＬ１の延長線上に、発光部２１の中心線がくるように、発光部２１を移動車両３に対向させて遠方目標部２を載置する。図２の例では、車両中心線ＭＣ１と誘導軌跡ＧＬ１とは重なる。
【００４１】
一方、カメラ部１１が移動車両３の車両中心線ＭＣ１から左又は右にオフセットして搭載されている場合には、作業者は、カメラ部１１の搭載位置に起因するオフセット量と同じ量だけ、発光部２１の中心線を誘導軌跡ＧＬ１に対してオフセットした位置において、発光部２１を移動車両３に対向させて遠方目標部２を載置する。
【００４２】
次に、作業者は、遠方目標部２を構成する電源２３の電源スイッチを投入して、発光部２１の点滅動作を開始させる。今の場合、カメラ部１１の撮像周期が約０．１秒であるとして、発光部２１を構成するすべてのＬＥＤを、一斉に、約０．２秒間の点灯と約０．２秒間の消灯とを繰り返すように制御部２２を設定する。これにより、制御部２２により制御され、発光部２１を構成するすべてのＬＥＤは、一斉に、約０．２秒間の点灯と約０．２秒間の消灯とを繰り返す。
【００４３】
次に、作業者は、移動車両３を運転して圃場４に乗り入れ、図２に示すように、誘導軌跡ＧＬ１上に、前進方向が遠方目標部２に対向するように位置づけた後、移動車両搭載部１を起動する。これにより、カメラ部１１が撮像周期約０．１秒で遠方目的部２の撮影を開始するとともに、移動車両搭載部１の画像処理部１２は、各部を初期化した後、図６及び図７にフローチャートで示す遠方目標検出処理を実行する。ここで、発光部２１を構成するすべてのＬＥＤの点滅とカメラ部１１の撮像の同期は行わず、遠方目標部２及び移動車両搭載部１は、それぞれ独立の動作タイミングで発光部２１及びカメラ部１１を制御している。
【００４４】
まず、画像処理部１２は、図６に示すステップＳ１の処理へ進み、カメラ部１１から１フレーム分の画像信号が供給された否かを判断する。ステップＳ１の判断結果が「ＮＯ」の場合には、画像処理部１２は、同判断を繰り返す。一方、カメラ部１１は、圃場４近傍の地面上に正面を圃場４側に向けて載置されている遠方目標部２を撮像周期約０．１秒で撮影し、撮影した画像に対応した１フレーム分の画像信号を画像処理部１２に順次供給する。
【００４５】
これにより、ステップＳ１の判断結果が「ＹＥＳ」となり、画像処理部１２は、ステップＳ２へ進む。ステップＳ２では、画像処理部１２は、カメラ部１１から供給された１フレーム分のアナログの画像信号をデジタルの画像データにアナログ／デジタル変換処理し、記憶部１３に記憶した後、ステップＳ３へ進む。この場合、縦３０ｃｍの発光部２１の画像上での大きさは、１００ｍ先で２画素弱となる。しかし、実際の画像では、カメラ部１１を構成する光学系の収差などの影響により発光部２１の像は膨張し、１００ｍ以上先の遠方目標部２を検出することが可能となる。
【００４６】
ステップＳ３では、画像処理部１２は、第１のウィンドウ位置の設定処理を行った後、ステップＳ４へ進む。以下、第１のウィンドウ位置の設定処理について説明する。まず、カメラ部１１で撮影され、画像処理部１２によりデジタル化された画像の一例を図８及び図９にそれぞれ示す。図８は、現在より１つ前の撮像周期の際（すなわち、約０．１秒前）に撮影されデジタル化された画像（以下「前フレームの画像」という）の一例である。図８では、略中央に遠方目標部２が存在し、この遠方目標部２を取り囲んで、検出処理を行う範囲であるウィンドウＷ-1が設定されている。ウィンドウＷ-1のサイズは、例えば、横約５６画素、縦約４０画素である。他の第１のウィンドウＷ0等のサイズも略同様である。これに対し、図９は、図８に示す画像の次の撮像周期の際（すなわち、約０．１秒後）に撮影されデジタル化された画像（以下「現フレームの画像」という）の一例である。
【００４７】
移動車両３は、前進走行する際に、圃場４の表面状態等に応じて、その進行する向きや車体の傾きが変化するため、カメラ部１１で撮像される画像も、前の撮像周期に撮影された画像と比べて、全体的に上下又は左右あるいはこれらの両方にずれていることが多い。図９に示す現フレームの画像における第１のウィンドウＷ0は、図８に示す前フレームの画像におけるウィンドウＷ-1と同一位置、すなわち、１フレームの画像において、基準点ＢＰから同一の位置に設定したものである。しかし、移動車両３が図８に示す画像を撮影した位置から移動したために、図８に示す前フレームの画像におけるウィンドウＷ-1内の遠方目標部２の相対位置と、図９に示す現フレームの画像における第１のウィンドウＷ0内の遠方目標部２の相対位置とは、異なっている。したがって、このような状態において、単純に図８に示す画像と図９に示す画像との差分を計算した場合、点滅する発光部２１を正確に抽出することは困難となる。
【００４８】
そこで、図９に示す現フレームの画像の中から、図８に示す前フレームの画像におけるウィンドウＷ-1に相当する画像部分を抽出する対応探索処理を行う。まず、図９に示す現フレームの画像において、図８に示す前フレームの画像におけるウィンドウＷ-1と同一の位置の周囲に、破線で示すような探索範囲ＳＡを設定する。探索範囲ＳＡは、例えば、撮像周期である約０．１秒間に想定される移動車両３の動きの速さと、画像処理部１２の計算処理能力等が考慮されて決定され、例えば、上下、左右にそれぞれ１０画素程度の範囲の探索を行う。
【００４９】
この対応探索処理では、例えば、図９に示す現フレームの画像の探索範囲ＳＡ内において、前フレームの画像におけるウィンドウＷ-1との相関値が最大となる部分を求める手法などを用いる。この相関値としては、例えば、２フレーム分の画像の差の二乗和や絶対値和など、公知の手法により求められる値が適用可能である。画像処理部１２は、以上説明した手法を用いて、図９に示す現フレームの画像の中から、図８に示す前フレームの画像におけるウィンドウＷ-1に相当する画像部分を抽出し、現フレームの画像における第１のウィンドウＷ0として設定し、その位置を記憶部１３に記憶する。この処理を行うことにより、遠方目標部２を検出可能な視野範囲は、カメラ部１１の画像全体に渡ってウィンドウを移動させて、広く確保することができるとともに、例えば、ウィンカーを点滅させた自動車などがカメラ部１１の視野内の周辺部に入り込むような場合でも、その影響を受け難くすることができる。また、検出処理をウィンドウ内に限定することにより、処理時間の短縮にも大きく寄与することができる。
【００５０】
ステップＳ４では、画像処理部１２は、第２のウィンドウ位置の設定処理を行った後、ステップＳ５へ進む。以下、第２のウィンドウ位置の設定処理について説明する。まず、ステップＳ３と同様に、カメラ部１１で撮影され、画像処理部１２によりデジタル化された画像として、図示しない現在より２つ前の撮像周期の際（すなわち、約０．２秒前）に撮影されデジタル化された画像（以下「前々フレームの画像」という）がある。前々フレームの画像において、遠方目標部２を取り囲んで、検出処理を行う範囲であるウィンドウＷ-2が設定されている。ウィンドウＷ-2のサイズは、ウィンドウＷ-1のサイズと同様である。移動車両３は、前々フレームと現フレームの撮像の約０．２秒間に前進走行し、進行する向きや車体の傾きが変化するため、カメラ部１１で撮像される画像も、全体的に上下又は左右あるいはこれらの両方にずれていることが多い。
【００５１】
そこで、図９に示す現フレームの画像の中から、前々フレームの画像におけるウィンドウＷ-2に相当する画像部分を抽出する対応探索処理を行う。まず、ステップＳ３と同様に、図９に示す現フレームの画像において、前々フレームの画像におけるウィンドウＷ-2と同一の位置の周囲に、破線で示すような探索範囲ＳＡを設定する。探索範囲ＳＡは、ステップＳ３と同様に、例えば、上下、左右にそれぞれ１０画素程度の範囲の探索を行う。
【００５２】
この対応探索処理では、例えば、図９に示す現フレームの画像の探索範囲ＳＡ内において、前々フレームの画像におけるウィンドウＷ-2との相関値が最大となる部分を求める手法などを用いる。この相関値としては、ステップＳ３と同様に、例えば、２フレーム分の画像の差の二乗和や絶対値和など、公知の手法により求められる値が適用可能である。画像処理部１２は、以上説明した手法を用いて、図９に示す現フレームの画像の中から、前々フレームの画像におけるウィンドウＷ-2に相当する画像部分を抽出し、現フレームの画像における第２のウィンドウＷ02として設定し、その位置を記憶部１３に記憶する。
【００５３】
ステップＳ５では、画像処理部１２は、第１の遠方目標部候補画素抽出処理を行った後、ステップＳ６へ進む。以下、第１の遠方目標部候補画素抽出処理について説明する。図１０（ａ）の左及び中央に、現フレームの画像における第１のウィンドウＷ0及び前フレームの画像におけるウィンドウＷ-1のそれぞれの一例を示す。この第１の遠方目標部候補画素抽出処理では、現フレームの画像における第１のウィンドウＷ0と、前フレームの画像におけるウィンドウＷ-1とを比較し、式（１）及び式（２）に示す条件をいずれも満たす画素を第１の遠方目標部候補画素として二値化して抽出する。
【００５４】
Ｔｄｆ≦｜Ｐ0（ｉ，ｊ）一Ｐ-1（ｉ，ｊ）｜ …（１）
Ｔｂｒ≦Ｐ0（ｉ，ｊ）又はＴｂｒ≦Ｐ-1（ｉ，ｊ） …（２）
式（１）及び式（２）において、Ｐ0（ｉ，ｊ）は、現フレームの画像における第１のウィンドウＷ0内の各画素の輝度、Ｐ-1（ｉ，ｊ）は、前フレームの画像におけるウィンドウＷ-1内の各画素の輝度、Ｔｄｆは、輝度差に関する第１の閾値、Ｔｂｒは、輝度に関する第２の閾値である。例えば、画像が２５６階調でデジタル化されている場合では、Ｔｄｆは３６程度、Ｔｂｒは１６０程度の値である。
【００５５】
すなわち、この第１の遠方目標部候補画素抽出処理では、現フレームの画像と前フレームの画像との間において、輝度差が第１の閾値Ｔｄｆ以上に大きく、かつ、いずれかの画像において第２の閾値Ｔｂｒ以上に輝度が大きい画素について、遠方目標部２である可能性が高い候補画素、すなわち、第１の遠方目標部候補画素として、二値化して抽出するのである。
【００５６】
ここで、図１０（ｂ）の左に、第１の遠方目標部候補画素の一例を示す。図１０（ｂ）の左の例は、現フレームの画像における第１のウィンドウＷ0及び前フレームの画像におけるウィンドウＷ-1では、いずれも発光部２１が点灯状態であったため、発光部２１の部分に輝度差がなく、第１の遠方目標部候補画素として抽出されなかったことを示している。
【００５７】
一方、例えば、遠方目標部２の背景にある木々の枝葉が風によって揺れた場合や、ステップＳ３の対応探索処理において前フレームの画像におけるウィンドウＷ-1に相当する画像部分を抽出する際に、ウィンドウＷ-1の位置に誤差や残差が発生して位置ずれが生じた場合などには、第１の遠方目標部候補画素として誤抽出が発生する場合もある。図１０（ｂ）の左の例において、上部に示した白色部分は、上記した遠方目標部２以外のノイズ的に誤抽出された画素の例を示している。
【００５８】
ステップＳ６では、画像処理部１２は、第２の遠方目標部候補画素抽出処理を行った後、ステップＳ７へ進む。以下、第２の遠方目標部候補画素抽出処理について説明する。図１０（ａ）の右に、前々フレームの画像におけるウィンドウＷ-2の一例を示す。この第２の遠方目標部候補画素抽出処理では、図示しない現フレームの画像における第２のウィンドウＷ02と、前々フレームの画像におけるウィンドウＷ-2とを比較し、式（３）及び式（４）に示す条件をいずれも満たす画素を第２の遠方目標部候補画素として二値化して抽出する。ここで、ウィンドウの位置は、遠方目標部２の検出処理の後に、発光部２１の部分がウィンドウの中心になるように、ウィンドウの位置を再設定するので、ウィンドウＷ-1とウィンドウＷ-2は、概ね同じ位置となり、このため、現フレームの画像における第１のウィンドウＷ0と第２のウィンドウＷ02も、概ね同じ位置となる。
【００５９】
Ｔｄｆ≦｜Ｐ0（ｉ，ｊ）一Ｐ-2（ｉ，ｊ）｜ …（３）
Ｔｂｒ≦Ｐ0（ｉ，ｊ）又はＴｂｒ≦Ｐ-2（ｉ，ｊ） …（４）
式（３）及び式（４）において、Ｐ0（ｉ，ｊ）は、現フレームの画像における第２のウィンドウＷ02内の各画素の輝度、Ｐ-2（ｉ，ｊ）は、前々フレームの画像におけるウィンドウＷ-2内の各画素の輝度、Ｔｄｆは、輝度差に関する第１の閾値、Ｔｂｒは、輝度に関する第２の閾値である。
【００６０】
この第２の遠方目標部候補画素抽出処理を行うのは以下に示す理由による。すなわち、本実施の形態では、発光部２１の点灯時間及び消灯時間は、カメラ部１１の撮像周期の約２倍に設定されている。したがって、現フレームの画像及び前フレームの画像は、いずれも点灯状態にある発光部２１を撮影したものであったり、逆にいずれも消灯状態にある発光部２１を撮影したものであったりする場合がある。このため、上記した現フレームの画像における第１のウィンドウＷ0及び前フレームの画像におけるウィンドウＷ-1との差分処理によって抽出された第１の遠方目標部候補画素では、目標とする遠方目標部２が抽出されない場合がある。そこで、この第２の遠方目標部候補画素抽出処理では、現フレームの画像における第２のウィンドウＷ02及び前々フレームの画像におけるウィンドウＷ-2に対して、上記した式（３）及び式（４）に示す条件を適用して差分処理を行うことにより、第２の遠方目標部候補画素を抽出するのである。
【００６１】
すなわち、この第２の遠方目標部候補画素抽出処理では、現フレームの画像と前々フレームの画像との間において、輝度差が第１の閾値Ｔｄｆ以上に大きく、かつ、いずれかの画像において第２の閾値Ｔｂｒ以上に輝度が大きい画素について、遠方目標部２である可能性が高い候補画素、すなわち、第２の遠方目標部候補画素として、二値化して抽出するのである。
【００６２】
ここで、図１０（ｂ）の右に、第２の遠方目標部候補画素の一例を示す。図１０（ｂ）の右の例は、現フレームの画像における第２のウィンドウＷ02では発光部２１が点灯状態であるが、前々フレームの画像におけるウィンドウＷ-2では発光部２１が消灯状態である。したがって、発光部２１の部分に輝度差があり、第２の遠方目標部候補画素として抽出されたことを示している。なお、図１０（ｂ）の右の例において、上部に示した白色部分は、図１０（ｂ）の左の例と同様に、上記した遠方目標部２以外のノイズ的に誤抽出された画素の例を示している。
【００６３】
ステップＳ７では、画像処理部１２は、統合処理を行った後、ステップＳ８へ進む。以下、統合処理について説明する。この統合処理では、ステップＳ５の処理で得られた第１の遠方目標部候補画素と、ステップＳ６の処理で得られた第２の遠方目標部候補画素とについて、論理和条件に基づいて、統合化することにより、１個の画像データを生成する。ここで、図１０（ｃ）に、図１０（ｂ）の左に示す第１の遠方目標部候補画素の一例と、図１０（ｂ）の右に示す第２の遠方目標部候補画素の一例とを統合した結果の一例を示す。このように、遠方目標部候補画素を１つに統合することで、後述するステップＳ８以降の処理を簡素化することができる。
【００６４】
ステップＳ８では、画像処理部１２は、グループ化・評価処理を行った後、図７に示すステップＳ９へ進む。以下、グループ化・評価処理について説明する。ステップＳ７に示す統合処理で抽出された遠方目標部候補画素の画像データには、ノイズなどに起因する画素も含まれるので、それらの画素を除去する必要がある。抽出された遠方目標部候補画素の画像データを構成する各画素は二値化されており、これらの画素を互いに隣接する、例えば、ある画素が遠方目標部候補画素であれば、その画像上で、上下、左右の４方向に隣接する画素を調べ、それらを遠方目標部候補画素であれば、同じグループとしてグループ化して、画素グループを生成する。次に、各画素グループに対して、面積、アスペクト比、中心座標などを算出する。次に、面積が所定の閾値より小さい又はアスペクト比が所定の閾値より極端に大きい画素グループは、ノイズ等と見なして除去する。また、除去されずに残った画素グループの中であっても、不自然な突起などを含む場合は、当該突起などを除去して整形する。このように、個々の遠方目標部候補画素を画素グループにまとめることで、面積や縦横比などの新たな特徴量を抽出することが可能となり、さらに、これらの特徴量を評価して、ノイズ等との判別が可能となる効果がある。
【００６５】
ステップＳ９では、画像処理部１２は、時間的追跡処理を行った後、ステップＳ１０へ進む。以下、時間的追跡処理について説明する。今回の現フレームの画像に関する処理以前に既にカメラ部１１から供給され、上記したステップＳ１〜Ｓ８の処理が施されて抽出され、記憶部１３に記憶されている画素グループを登録グループと呼ぶ。この時間的追跡処理では、現フレームの画像に関する上記ステップＳ１〜Ｓ８の処理により抽出された複数の画素グループと、上記記憶部に記憶され読み出された複数の登録グループとについて、それぞれの対応関係を求め、時間的な追跡処理を行う。
【００６６】
この対応関係の探索では、まず、各画素グループの面積、縦横比、中心座標などのパラメータの類似度を評価し、類似度が所定の閾値以上であって、かつ、最大値をとる組み合わせを、対応する画素グループと判定する。次に、現フレームの画像に関する上記ステップＳ１〜Ｓ８の処理により抽出された複数の画素グループのパラメータにより、記憶部１３に記憶されている登録グループのパラメータを更新する。また、現フレームの画像に関する上記ステップＳ１〜Ｓ８の処理により抽出された複数の画素グループのうち、登録グループとの対応関係が取れなかった画素グループは、新しい登録グループとして記憶部１３に追加する。このように、時間的追跡処理を行うことにより、後述するステップ１０でのパラメータ算出処理が可能となる。
【００６７】
ステップＳ１０では、画像処理部１２は、パラメータ算出処理を行った後、ステップＳ１１へ進む。以下、パラメータ算出処理について説明する。このパラメータ算出処理では、画像処理部１２は、記憶部１３に記憶されている各登録グループを構成する各画素について、現フレームの画像における輝度の平均値（以下「現輝度平均値」という。）と、前フレームの画像における輝度の平均値（以下「前輝度平均値」という。）とをそれぞれ計算した後、現輝度平均値から前輝度平均値を減算した値（以下「輝度差」という。）を記憶部１３に記憶する。上記輝度差が正の値である場合には、発光部２１は明るくなった、すなわち“点灯”であると認定できる一方、上記輝度差が負の値である場合には、発光部２１は暗くなった、すなわち“消灯”であると認定できる。
【００６８】
そして、上記輝度差の値を、例えば、過去５回から１０回の点滅サイクル分、すなわち、例えば、発光部２１の点滅サイクルが約０．４秒である場合、２秒〜４秒間分を記憶部１３に記憶する。次に、画像処理部１２は、記憶部１３に記憶されている各フレームの画像ごとの上記輝度差の値から、“明るくなる”と“暗くなる”の時間間隔を解析し、周期的に点滅しているか否かについて認定するとともに、その点滅周期について算出する。
【００６９】
次に、画像処理部１２は、各登録グループについて、設定されたウィンドウＷ上における中心座標の値を、例えば、過去１０回から２０回分の処理について記憶部１３に記憶するとともに、その間の中心座標のばらつき度合いとして、標準偏差（分散）の値を計算した後、記憶部１３に記憶する。
【００７０】
ステップＳ１１では、画像処理部１２は、遠方目標部判定処理を行った後、ステップＳ１２へ進む。以下、遠方目標部判定処理について説明する。上記したステップＳ７に示す統合処理で抽出された遠方目標部候補画素の画像データには、図１０（ｃ）に示すように、遠方目標部２の画素の他にノイズ的な画素も含まれるため、抽出された登録グループの中には、ノイズ的な要因による登録グループも存在する。
【００７１】
まず、遠方目標部２の背景にある木々の枝葉などが風に揺れること等によって発生する画像の時間的な明暗変化は、周期的となる場合がある。しかし、このような周期的な明暗変化を示す画素は、固定された遠方目標部２と比較して、検出される位置のばらつき度合いが大きくなる傾向があり、上記した中心座標の標準偏差の値が大きくなる傾向を示すので、上記標準偏差が所定の閾値を超える場合は、この指標によって登録グループから判別・除外される。
【００７２】
次に、移動車両３は、前進走行する際に、圃場４の表面状態等に応じて、その進行する向きや車体の傾きが変化するため、カメラ部１１で撮像される画像も、前の撮像周期に撮影された画像と比べて、全体的に上下又は左右あるいはこれらの両方にずれていることが多い。したがって、上記したように、ステップＳ３及び４において、第１及び第２のウィンドウ位置設定処理を行うが、この際のウィンドウ設定位置の誤差や残差に起因して、抽出された登録グループの中には、ノイズ的な要因による登録グループも存在する。しかし、このような要因によるノイズ的な画素は、周期的な明暗変化とはなり難い傾向にある。このため、検出された点滅周期の値が、遠方目標部２を構成する発光部２１の点滅周期と大きく異なる場合、又は、その周期性の強さが所定の閾値以下の場合は、この周期性の指標によって登録グループから判別・除外される。
【００７３】
さらに、残った登録グループについて、中心座標の標準偏差の値、点滅周期と周期性の強さの値、さらに、各登録グループの面積、縦横比、検出された回数などを、遠方目標部２らしさの評価として評点化して積算し、その値が所定の閾値以上であって、かつ、最大となった登録グループを、遠方目標部２であると判定する。
【００７４】
ステップＳ１２では、画像処理部１２は、制御データ出力処理を行った後、ステップＳ１３へ進む。以下、制御データ出力処理について説明する。この制御データ出力処理では、画像処理部１２は、ステップＳ１１の処理で遠方目標部２であると判定された登録グループについては、図１１に示すような画像全体における左右方向の中心座標ｉｃｌと、予め計測されている移動車両３の正面方向の画像全体における座標値ｉｖとを比較し、式（５）に基づいて、移動車両３と遠方目標部２の方向とのずれ角度θ１を算出した後、車両制御部１４に供給する。
【００７５】
θ１＝ｔａｎ-1（（ｉｃｌ−ｉｖ）×ＰＷＨ） …（５）
式（５）において、ｉｃｌは、遠方目標部２の登録グループの中心点の画像上のｉ座標、ｉｖは、移動車両３の正面方向のｉ座標、ＰＷＨは１画素当りの視野角である。なお、ｉｖの値が予め計測して入力して車両制御部１４を構成する記憶部に記憶されていること、または、移動車両３に対してカメラ部１１が正確に正面を向いて設置されていることのいずれかが前提である。
【００７６】
これにより、車両制御部１４は、移動車両３と遠方目標部２の方向とのずれ角度θ１に基づいて、操向制御機構１５を制御することにより、移動車両３を遠方目標部２の方向に向かって直進走行させる。
【００７７】
ステップＳ１３では、画像処理部１２は、遠方目標部接近検出処理を行った後、ステップＳ１４へ進む。以下、遠方目標部接近検出処理について説明する。本実施の形態では、画像処理部１２は、遠方目標部検出処理に先立って、ステレオ画像処理等を行って距離画像を生成しても良い。この場合、検出された遠方目標部２を構成する発光部２１の部分の距離画像データを抽出し、移動車両３から遠方目標部２までの距離を算出する。あるいは、遠方目標部２と判定された画像グループの大きさが閾値以上となったことにより、遠方目標部２までの距離が接近したと判定する方法も可能である。そして、移動車両３が予め設定した距離まで接近した場合には、画像処理部１２は、その旨を移動車両３側に送信し、移動車両３において警報を鳴らすなどして運転者に注意喚起を行っても良い。なお、この遠方目標部接近検出処理は、任意に行う。
【００７８】
ステップＳ１４では、画像処理部１２は、登録グループの重複評価・統合処理を行った後、ステップＳ１５へ進む。以下、登録グループの重複評価・統合処理について説明する。上記したステップＳ１０に示す時間的追跡処理において、検出対象の遠方目標部２の画像に基づいて生成された本来の画素グループに外乱などが加わってパラメータが変動した場合、当該画素グループが、これまで追跡され、記憶部１３に登録されている登録グループとは異なる別の画素グループであると判断されてしまう場合がある。この結果、当該遠方目標部２が新しい画素グループであるとして記憶部１３に登録され、遠方目標部２の登録グループが記憶部１３に重複して存在する事態が発生する場合がある。
【００７９】
このような事態が発生した場合、次フレーム以降についての上記ステップＳ９に示す時間的追跡処理において、遠方目標部２の画像に基づいて生成されたある１個の画素グループを、複数の異なる登録グループがいずれも自己に対応する画素グループと判定することになり、正しい時間的追跡処理が行われない事態が発生するおそれがある。
【００８０】
そこで、この登録グループの重複評価・統合処理では、画像処理部１２は、既に記憶部１３に登録されている複数の登録グループについて、各パラメータを相互に比較する。そして、類似性が高く、同一の対象物を追跡していると判断される複数の登録グループが存在する場合には、そのような複数の登録グループを１個の登録グループに統合する処理を定期的に実行する。
【００８１】
ステップＳ１５では、画像処理部１２は、現フレームのウィンドウ内画像更新処理を行った後、ステップＳ１６へ進む。以下、現フレームのウィンドウ内画像更新処理について説明する。現フレームのウィンドウ内画像更新処理では、画像処理部１２は、検出された遠方目標部２の登録グループの画像上の中心座標が、第１及び第２のウィンドウＷ0及びＷ02の中心になるように、第１及び第２のウィンドウＷ0及びＷ02の位置を再設定し、現フレームでの第１のウィンドウＷ0として記憶部１３に再度記憶する。上記第１及び第２のウィンドウＷ0及びＷ02は、例えば、横５６画素、縦４０画素として設定する。
【００８２】
ステップＳ１６では、画像処理部１２は、ウィンドウ対応露光時間制御処理を行った後、現フレームに関する一連の処理を終了し、次フレームの撮像や画像処理を実行するために、図６に示すステップＳ１へ戻る。以下、ウィンドウ対応露光時間制御処理について説明する。このウィンドウ対応露光時間制御処理では、設定されているウィンドウＷを対象とし、当該ウィンドウＷの範囲内の輝度分布が遠方目標部２の検出に最適化されるように、カメラ部１１の露光時間等の制御を行う。
【００８３】
すなわち、例えば、画像全体を対象としてカメラ部１１の露光時間を制御した場合には、画像全体の中で遠方目標部２とその周辺が明るく、輝度が比較的高い場合は、遠方目標部２を含む領域の輝度が飽和してしまい、当該領域に設置されている遠方目標部２を検出することはできない。一方、設定されているウィンドウＷを対象とし、当該ウィンドウＷの範囲内の輝度分布が遠方目標部２の検出に最適化されるように、カメラ部１１の露光時間の制御を行った場合には、画像全体に比して明るい領域に遠方目標部２が設定されていても、当該遠方目標部２を検出することができるのである。露光時間等の撮像の感度制御は、例えば、ウィンドウ内の全画素の輝度をヒストグラム化し、暗い部分と明るい部分の面積が等しくなるように制御を行う。
【００８４】
このように、本発明の実施の形態によれば、比較的安価で発光効率が高く、輪郭形状及び発光部全体の大きさを任意に構成し易いＬＥＤを多数配置した発光部２１を備えた遠方目標部２を設置し、発光部２１の点滅を撮像するカメラ部１１の調節・設定に特徴を持たせ、さらに画像処理部１２における画像処理に特徴的な差分処理や判断処理を持たせている。
【００８５】
したがって、本発明の実施の形態によれば、天候や時間による太陽光の方向などの屋外環境の変化へ対応することができるとともに、各種の反射光や木漏れ日などのノイズへも対応することができる。また、１００ｍ以上の距離範囲で安定的に目標を認識することができるとともに、装置の小型化・低コスト化などを図ることができる。
【００８６】
また、本発明の実施の形態によれば、カメラ部１１と発光部２１点滅の同期化を省略しているため、カメラ部１１の撮像中に発光部２１が点灯から消灯又は、消灯から点灯となり、撮像される発光部２１の画像は、点灯と消灯の中間的な輝度になる状態が発生し得る。発光部２１の点灯と消灯の時間が、カメラ部１１の撮像周期と同じと仮定すると、カメラ部１１で撮像される画像は、連続して点灯から消灯又は、消灯から点灯の状態となり、発光部２１の画像は中間的な輝度の状態が続いて、輝度の時間的な変化が小さくなり、点滅する発光部２１の検出が困難になる状況となる。
【００８７】
そこで、本発明の実施の形態によれば、発光部２１は、カメラ部１１の撮像周期と最大露光時間を合計した時間以上であって、かつ、撮像周期の２倍の時間以下である範囲の時間の点灯と、この範囲の時間の消灯とを繰り返すように設定している。これにより、あるフレームではカメラ部１１の撮像中に発光部２１が点灯から消灯又は、消灯から点灯となっても、次のフレームでは確実に露光時間中はずっと点灯又は、ずっと消灯の状態となり、発光部２１の画像の輝度の変化を最大化し、発光部２１の検出性能を向上させることができる。
【００８８】
この点、発光部２１の点灯時間又は消灯時間を長くすれば、容易にカメラ部１１の画像はずっと点灯又はずっと消灯の状態となるが、本発明の実施の形態では、点灯から消灯又は、消灯から点灯の変化によって発光部２１を検出するので、発光部２１を検出できる機会が減少し、システム本来の機能を低下させることとなる。
【００８９】
本発明の実施の形態における、「カメラ部１１の撮像周期と最大露光時間を合計した時間以上であって、かつ、撮像周期の２倍の時間以下である範囲の時間」は、確実に露光時間中はずっと点灯又は、ずっと消灯の状態が得られ、かつ、最少の時間であり、システム本来の機能を最大化する設定である。また、多くの場合にカメラ部１１の最大露光時間は、撮像周期とほぼ一致するので、発光部２１は撮像周期の２倍以下の点灯時間と、同様に撮像周期の２倍以下の消灯時間を繰り返す設定となる。
【００９０】
また、本発明の実施の形態によれば、画像処理部１２は、前フレームの画像全体の中において、遠方目標部２の位置検出を行う範囲として設定されたウィンドウＷに相当する画像部分を、現フレームの画像全体の中から探索し、探索された画像部分を現フレームの画像における第１のウィンドウとして設定し、前々フレームの画像全体の中に設定されたウィンドウに相当する画像部分を、現フレームの画像全体の中から探索し、探索された画像部分を現フレームの画像における第２のウィンドウとして設定している。そして、第１及び第２のウィンドウに基づいて、第１及び第２の遠方目標部候補画素を抽出している。したがって、移動速度が速く、フレーム毎に撮像される画像が上下、左右に大きく変化するような状況においても、相当する画像が探索されるので、本システムを適用することができる。
【００９１】
また、本発明の実施の形態によれば、カメラ部１１で撮像した現フレームの画像と前フレームの画像において、対応する画素の輝度差の絶対値が第１の閾値以上であって、かつ、いずれかの画素の輝度が第２の閾値以上である場合に、その画素を遠方目標部２の候補画素として抽出している。したがって、点滅する発光部２１に対し、画像上での輝度の特徴を的確に検出することができる。
【００９２】
また、本発明の実施の形態によれば、カメラ部１１で撮像した現フレームの画像と前フレームの画像との差分処理に加え、現フレームの画像と前々フレームの画像との差分処理も行っている。上記したように、発光部２１をカメラ部１１の撮像周期及び最大露光時間の合計時間以上の点灯と、この合計時間以上の消灯とを繰り返すように設定した場合、現フレームでは発光部２１の点灯又は消灯の画像が得られても、前フレームも同じく点灯又は、消灯の画像であったり、逆に、点灯から消灯又は、消灯から点灯の状態の画像となる場合がある。しかし、前々フレームは確実に現フレームとは逆の消灯又は点灯の画像となり、発光部２１の検出が可能となる。
【００９３】
また、本発明の実施の形態によれば、画像部分の輝度の変化量を、過去の数秒間に渡って記憶し、この変化量を解析して点滅の周期性とその時間間隔を検出し、周期性が高く、かつ時間間隔が設定した遠方目標部２の点灯、消灯の時間間隔と一致する場合に、その画素グループが検出対象の遠方目標部２の可能性が高いと判断している。したがって、ノイズ的な要因によって誤抽出した画素グループを取り除くことができる。
【００９４】
また、本発明の実施の形態によれば、抽出された画素グループのウィンドウにおける位置を過去の数秒間に渡って記憶し、この位置の上下・左右方向の座標値の時間的な変化量の標準偏差を算出し、標準偏差が小さい場合には、遠方目標部２の可能性が高いと判断している。したがって、この場合も、ノイズ的な要因によって誤抽出した画素グループを取り除くことができる。
【００９５】
また、本発明の実施の形態によれば、カメラ部１１は、移動車両３の前方正面の方向と精確に平行に調整されているか又は、カメラ部１１の画像において、移動車両３の前方正面の方向の位置が精確に検出されている必要がある。このように構成することにより、カメラ部１１は、図１２に示すように、移動車両３のエンジンフードなどに設置される車体マーカー５が写るようにカメラ部１１を設置し、予め用意された、図４に示すような形状パターンを使って、パターンマッチングの手法により、カメラ部１１の画像からその位置を検出し、移動車両３の前方正面の方向の位置を自動的に検出することができる。
【００９６】
また、本発明の実施の形態によれば、遠方目標部２を構成する発光部２１は、輪郭の形状は、長方形状、楕円形状又は円形状のいずれかであって、輪郭の縦横比が２分の１から４分の１の間である。通常、発光部２１の発光部分は面積が大きく、カメラ部１１の方向に投射する光量が多いほど、遠方からの検出が有利となる。しかし、発光部２１の位置は画像上の発光部２１の中心座標によって算出するので、近距離では発光部２１の画像が大きくなり、特に横幅が広くなると、検出される位置の精度が低下する傾向となる。そこで、本発明の実施の形態のように、発光部２１の発光部分を、縦方向に長く、横方向に狭くすると、面積の拡大と精度の確保の両立が可能となる。一方、発光部２１の発光部分が縦方向に長くなり過ぎると、画像上の発光部２１の形状が、ノイズ的な要因で誤抽出される画素グループと類似してくるので、輪郭の縦横比は、２分の１から４分の１の間であることが最適である。
【００９７】
また、本発明の実施の形態によれば、遠方目標部２は、黒色などの暗い色で塗装され、かつ、発光部２１の発光部分の横幅以上の幅の余白部分を、発光部２１の周囲に有する仕切板２５を、発光部２１の背後に有している。カメラ部１１は、上記したように、撮像素子が格子状に配置された構造となっている。図１３は遠方目標部２の一例であるが、検出限界付近の遠い距離では、遠方目標部２を撮像した画像は小さくなり、１個の撮像素子の大きさは図１３に示す１個の格子ほどになり、撮像素子の出力は、１個の格子の中に存在する複数の物体の平均的な明るさとなり、図１４のようなモザイク画像の状態になる。
【００９８】
発光部２１の周囲に背景板がなく、発光部２１の背後に明るい物体があると、１個の撮像素子に発光部２１と明るい背景の両方が同時に入る状態となり、発光部２１が消灯してもその画素は明るい背景の光を受けて輝度が高いままの状態となり、輝度の変化が減少して発光部２１の検出が困難となる。そこで、仕切板２５を設けると、背後の物体による発光部２１の画像への影響を低減することができ、特に、遠方の距離において検出性能が向上する。
【００９９】
発光部２１の画像は、消灯時には暗い必要があるので、仕切板２５は黒色などの光の反射が少ない色であることが望ましい。また、実際のカメラ部１１では、レンズの収差などの影響で、ある物体からの光は、その位置の撮像素子のみでなく、周囲の撮像素子にも影響が拡散する。よって、仕切板２５の大きさは、最低限、発光部２１の発光部分の横幅以上の幅を、発光部２１の周囲に有することが望ましい。さらに、筐体２４に蓋を取り付け、蓋の裏も黒く塗装し、発光部２１使用時には蓋を展開して、仕切板２５の拡張として利用しても良い。
【０１００】
また、本発明の実施の形態によれば、遠方目標部２は、その発光部２１を直方体の容器状の筐体２４の底部又は底部の付近に設けた仕切板２５に設置する構造である。遠方目標部２は、図５に示すように、発光部２１の発光体をほぼ垂直に立てて使用する場合が多いと考えられる。直方体の筐体２４を用いることにより、遠方目標部２は、図５に示すように、平坦な場所に置くだけで安定な設置が可能となり、取扱が簡便となる。また、筐体２４はそのまま収納用の容器を兼ねることもできる。
【０１０１】
また、発光部２１に直射日光が当たると、太陽光の反射で発光部２１の部分が輝き、発光部２１が消灯状態でも画像が明るいままとなる。直方体状の筐体２４の奥まった所に発光部２１を設置することにより、上方と左右にも日除けが付く構造となる。
【０１０２】
また、本発明の実施の形態によれば、カメラ部１１の露光時間、絞り、画像信号のアンプゲインなどの感度調節は、カメラ部１１の画像中に部分的に設定されているウィンドウＷ内の画像の輝度分布に基づいて設定されている。カメラ部１１による撮像は、背景となる部分の明るさに対し、発光部２１の点滅による明暗変化が最大となるように、カメラ部１１の感度調節を行うことが重要である。一般のカメラのように画像全体で感度調節すると、遠方にあって小さい発光部２１の画像では、その部分が最適化されない場合がある。そこで、発光部２１の検出処理を行う範囲であるウィンドウＷ内の画像に対して、感度調節を行うことにより、発光部２１の検出性能が向上する。
【０１０３】
ここで、実験結果の一例を示す。移動車両３としてトラクタを用いるとともに、このトラクタに車両搭載部１を搭載し、日中の屋外にて遠方に設置された点滅する遠方目標部２を検出し、移動車両３を遠方目標部２に向かって走行制御した。図１５に示す例では、トラクタの前部にカメラ部１１を搭載するとともに、畝立機を装着し、遠方目標部２に向う走行制御を行って形成した畝の状態を図１６に、また、この時の遠方目標部２の位置及び形成された畝の位置の計測結果を図１７に示す。
【０１０４】
ここで、畝の位置は実験者が目測で畝のほぼ中央に反射プリズムを合わせながら持って歩き、その時の反射プリズムの位置を自動追尾型レーザー式測位装置で計測したものである。遠方目標部２の位置も反射プリズムと自動追尾型レーザー式測位装置による同様の計測である。
【０１０５】
計測の精度は、自動追尾型レーザー式測位装置の単体としては±１ｃｍ程度であるが、畝の位置については、目測によるばらつきや歩行に伴う反射プリズムの揺れなどの要因が加わる。図１７に示す畝の位置の横方向の細かい変動は、主に歩行に伴う揺れによるもので、実際の畝は、図１６のように滑らかである。
【０１０６】
図１７において、遠方目標部２に対して畝はほぼ±３０ｍｍ以内の偏位で形成されており、良好な遠方目標部２に向かう直進誘導が行われたことが分かる。この±３０ｍｍの偏位には、畝位置計測時の実験者の歩行に伴う反射プリズムの揺れなどを含むものであり、直進誘導の精度は実用的に十分なものと考えられる。
【０１０７】
トラクタは、装着する作業機や圃場の状態などによって直進性が変化するので、直線的な作業を行うには、運転者は熟練と頻繁な操舵修正が必要であるが、本システムにより未熟練者でも高い精度の作業を可能とし、同時に自動化による運転者の負担軽減を実現することができる。また、目標とする位置に遠方目標部２を載置するという、簡便で直観的に分り易い操作方法であるといえる。
【０１０８】
遠方目標部２を検出するためには、遠方目標部２の背景となる部分の明るさに対して、遠方目標部２の明るさが十分にある必要がある。背景の明るさはその種類や日照条件などで変化する一方、遠方目標部２の明るさは距離の二乗に反比例して暗くなる。このため、遠方目標部２を検出可能な距離を一概に特定することはできない。本システムは、曇天の目中にて４００ｍ以上遠方の遠方目標部２を検出して誘導走行することにも成功している。
【０１０９】
以上、本発明の実施の形態について図面を参照して詳述してきたが、具体的な構成はこの実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても本発明に含まれる。
例えば、上述の実施の形態では、本発明を農用トラクタに適用する例を示したが、これに限定されず、農用トラクタ以外の各種農用車両による作業に適用可能であり、特に、最初の作業行程を高精度に直線的に行う場合、低速で長時間にわたる直進運転、直線的に畦塗りを行いたい場合などに有効である。また、本発明は、農業分野だけでなく、土木や建設分野での作業車両の直進誘導にも利用可能である。
【０１１０】
また、上述の実施の形態では、遠方目標部２を移動車両３が直進走行すべき走路前方の延長線上に設置するとともに、この遠方目標部２を撮像するために、カメラ部１１を移動車両３の室内であって、移動車両３の前方正面に向けて車両中心線ＭＣ上に搭載する例を示したが、これに限定されない。例えば、遠方目標部２を移動車両３が直進走行すべき走路後方の延長線上に設置するとともに、この遠方目標部２を撮像するために、カメラ部１１を移動車両３の室内又はルーフ上等であって、移動車両３の後方正面に向けて車両中心線ＭＣ上に搭載しても良い。
【図面の簡単な説明】
【０１１１】
【図１】本発明の実施の形態に係る移動車両の直進誘導システムの概略構成を示す側面図である。
【図２】図１に示す移動車両の直進誘導システムの概略構成を示す平面図である。
【図３】図１に示す移動車両の直進誘導システムの構成を示すブロック図である。
【図４】車体マーカーの一例を示す概略図である。
【図５】図１に示す移動車両の直進誘導システムを構成する遠方目標部の概略構成を示す斜視図である。
【図６】画像処理部が実行する遠方目標部検出処理を示すフローチャートである。
【図７】画像処理部が実行する遠方目標部検出処理を示すフローチャートである。
【図８】前フレームの画像の一例を示す図である。
【図９】現フレームの画像の一例を示す図である。
【図１０】現フレームと前フレームとの遠方目標候補の抽出処理、現フレームと前々フレームとの遠方目標候補の抽出処理及び、統合処理を説明するための概念図である。
【図１１】抽出した遠方目標部の画像の状態を示す説明図である。
【図１２】車体マーカーが撮像された画像の一例を示す図である。
【図１３】遠距離における遠方目標部の画像の状態を説明図である。
【図１４】遠距離における遠方目標部を構成する発光部の拡大画像の一例を示す図である。
【図１５】走行制御の実験における車両搭載部が搭載されたトラクタと遠方目標部とを撮影した写真の一例を示す図である。
【図１６】図１５に示すトラクタを本システムで走行制御実験することにより形成された畝及び遠方目標部を撮影した写真の一例を示す図である。
【図１７】図１５に示す走行制御の実験結果の一例である形成された畝の位置と遠方目標部の位置を示す図である。
【符号の説明】
【０１１２】
１…移動車両搭載部、２…遠方目標部、３…移動車両、４…圃場、４ａ…長辺、４ｂ…短辺、５…車体マーカー、１１…カメラ部、１２…画像処理部、１３…記憶部、１４…車両制御部、１５…操向制御機構、１６…表示・操作部、２１…発光部、２２…制御部、２３…電源、２４…筐体、２５…仕切板、ＳＡ…探索範囲、Ｗ0…現フレームの画像における第１のウィンドウ、Ｗ02…現フレームの画像における第２のウィンドウ、Ｗ-1…前フレームの画像におけるウィンドウ、Ｗ-2…前々フレームの画像におけるウィンドウ
【特許請求の範囲】
【請求項１】
移動車両に搭載される移動車両搭載部と、前記移動車両が直進走行すべき走路前方の延長線上に設置される遠方目標部とを備え、
前記移動車両搭載部は、前記遠方目標部を撮像するカメラ部と、前記カメラ部から得られる画像を処理して前記直進走行のための走行情報を出力する画像処理部と、前記走行情報に基づいて前記移動車両を制御する操向制御部とを有し、
前記遠方目標部は、前記カメラ部の撮像周期と最大露光時間を合計した時間以上であって、かつ、前記撮像周期の２倍の時間以下である範囲の時間の点灯と、前記範囲の時間の消灯とを繰り返し、
前記画像処理部は、撮像された現フレームの前記画像と、１つ前の前記撮像周期に撮像された前フレームの前記画像において、対応する画素の輝度差の絶対値が第１の閾値以上であって、かつ、いずれか一方の画素の輝度が第２の閾値以上である場合に、当該画素を第１の遠方目標部候補画素として抽出するとともに、前記現フレームの前記画像と、２つ前の前記撮像周期に撮像された前々フレームの前記画像において、対応する画素の輝度差の絶対値が前記第１の閾値以上であって、かつ、いずれか一方の画素の輝度が前記第２の閾値以上である場合に、当該画素を第２の遠方目標部候補画素として抽出し、前記第１及び第２の遠方目標部候補画素を統合し、統合した遠方目標部候補画素に対して前記遠方目標部の位置検出を行い、検出結果に基づいて前記走行情報を生成する
ことを特徴とする移動車両の直進誘導システム。
【請求項２】
前記画像処理部は、前記前フレームの前記画像全体の中において、前記遠方目標部の位置検出を行う範囲として設定されたウィンドウに相当する画像部分を、前記現フレームの前記画像全体の中から探索し、探索された画像部分を前記現フレームの前記画像における第１のウィンドウとして設定し、前記前々フレームの前記画像全体の中に設定されたウィンドウに相当する画像部分を、前記現フレームの前記画像全体の中から探索し、探索された画像部分を前記現フレームの前記画像における第２のウィンドウとして設定し、前記第１及び第２のウィンドウに基づいて、前記第１及び第２の遠方目標部候補画素を抽出する
ことを特徴とする請求項１に記載の移動車両の直進誘導システム。
【請求項３】
前記画像処理部は、統合された前記遠方目標部候補画素をグループ化処理して抽出された複数の画素グループを構成する各画素について、前記現フレームの前記画像における輝度と、前記前フレームの前記画像における輝度との差の過去の数秒間分と、前記現フレームの前記画像における輝度と、前記前々フレームの前記画像における輝度との差の過去の数秒間分に基づいて前記画素の点滅の周期性及び点滅の時間間隔を検出し、検出結果に基づいて、当該遠方目標部候補画素を前記遠方目標部と判定する
ことを特徴とする請求項１又は２に記載の移動車両の直進誘導システム。
【請求項４】
前記画像処理部は、各前記複数の画素グループに関する前記ウィンドウ上における位置の値の過去数秒間分について、上下方向と左右方向の座標値の時間的な変化量における標準偏差を算出し、前記標準偏差が予め設定した閾値より小さい場合には、当該画素グループを前記遠方目標部と判定する
ことを特徴とする請求項２又は３に記載の移動車両の直進誘導システム。
【請求項５】
前記遠方目標部は、発光部分の輪郭の形状が、長方形状、楕円形状又は円形状のいずれかであって、前記輪郭の縦横比が２分の１から４分の１の間である
ことを特徴とする請求項１乃至４のいずれかに記載の移動車両の直進誘導システム。
【請求項６】
前記カメラ部の露光時間、絞り、前記画像信号のアンプゲインの感度調節は、前記カメラ部の画像中に部分的に設定されている前記ウィンドウ内の画像の輝度分布に基づいて設定される
ことを特徴とする請求項２乃至５のいずれかに記載の移動車両の直進誘導システム。
【請求項７】
前記移動車両には、前記カメラ部が前記遠方目標部とともに撮像可能な車体マーカーを取り付け、
前記画像処理部は、前記画像の中から前記車体マーカーの位置を検出し、前記車体マーカーの画像上の位置に基づいて、前記移動車両に対する前記カメラ部の方向を検出する
ことを特徴とする請求項１乃至６のいずれかに記載の移動車両の直進誘導システム。
【請求項８】
前記遠方目標部は、前記移動車両が直進走行すべき走路後方の延長線上に設置され、
前記カメラ部は、前記遠方目標部を撮像するように前記移動車両に搭載されている
ことを特徴とする請求項１乃至７のいずれかに記載の移動車両の直進誘導システム。
【請求項１】
移動車両に搭載される移動車両搭載部と、前記移動車両が直進走行すべき走路前方の延長線上に設置される遠方目標部とを備え、
前記移動車両搭載部は、前記遠方目標部を撮像するカメラ部と、前記カメラ部から得られる画像を処理して前記直進走行のための走行情報を出力する画像処理部と、前記走行情報に基づいて前記移動車両を制御する操向制御部とを有し、
前記遠方目標部は、前記カメラ部の撮像周期と最大露光時間を合計した時間以上であって、かつ、前記撮像周期の２倍の時間以下である範囲の時間の点灯と、前記範囲の時間の消灯とを繰り返し、
前記画像処理部は、撮像された現フレームの前記画像と、１つ前の前記撮像周期に撮像された前フレームの前記画像において、対応する画素の輝度差の絶対値が第１の閾値以上であって、かつ、いずれか一方の画素の輝度が第２の閾値以上である場合に、当該画素を第１の遠方目標部候補画素として抽出するとともに、前記現フレームの前記画像と、２つ前の前記撮像周期に撮像された前々フレームの前記画像において、対応する画素の輝度差の絶対値が前記第１の閾値以上であって、かつ、いずれか一方の画素の輝度が前記第２の閾値以上である場合に、当該画素を第２の遠方目標部候補画素として抽出し、前記第１及び第２の遠方目標部候補画素を統合し、統合した遠方目標部候補画素に対して前記遠方目標部の位置検出を行い、検出結果に基づいて前記走行情報を生成する
ことを特徴とする移動車両の直進誘導システム。
【請求項２】
前記画像処理部は、前記前フレームの前記画像全体の中において、前記遠方目標部の位置検出を行う範囲として設定されたウィンドウに相当する画像部分を、前記現フレームの前記画像全体の中から探索し、探索された画像部分を前記現フレームの前記画像における第１のウィンドウとして設定し、前記前々フレームの前記画像全体の中に設定されたウィンドウに相当する画像部分を、前記現フレームの前記画像全体の中から探索し、探索された画像部分を前記現フレームの前記画像における第２のウィンドウとして設定し、前記第１及び第２のウィンドウに基づいて、前記第１及び第２の遠方目標部候補画素を抽出する
ことを特徴とする請求項１に記載の移動車両の直進誘導システム。
【請求項３】
前記画像処理部は、統合された前記遠方目標部候補画素をグループ化処理して抽出された複数の画素グループを構成する各画素について、前記現フレームの前記画像における輝度と、前記前フレームの前記画像における輝度との差の過去の数秒間分と、前記現フレームの前記画像における輝度と、前記前々フレームの前記画像における輝度との差の過去の数秒間分に基づいて前記画素の点滅の周期性及び点滅の時間間隔を検出し、検出結果に基づいて、当該遠方目標部候補画素を前記遠方目標部と判定する
ことを特徴とする請求項１又は２に記載の移動車両の直進誘導システム。
【請求項４】
前記画像処理部は、各前記複数の画素グループに関する前記ウィンドウ上における位置の値の過去数秒間分について、上下方向と左右方向の座標値の時間的な変化量における標準偏差を算出し、前記標準偏差が予め設定した閾値より小さい場合には、当該画素グループを前記遠方目標部と判定する
ことを特徴とする請求項２又は３に記載の移動車両の直進誘導システム。
【請求項５】
前記遠方目標部は、発光部分の輪郭の形状が、長方形状、楕円形状又は円形状のいずれかであって、前記輪郭の縦横比が２分の１から４分の１の間である
ことを特徴とする請求項１乃至４のいずれかに記載の移動車両の直進誘導システム。
【請求項６】
前記カメラ部の露光時間、絞り、前記画像信号のアンプゲインの感度調節は、前記カメラ部の画像中に部分的に設定されている前記ウィンドウ内の画像の輝度分布に基づいて設定される
ことを特徴とする請求項２乃至５のいずれかに記載の移動車両の直進誘導システム。
【請求項７】
前記移動車両には、前記カメラ部が前記遠方目標部とともに撮像可能な車体マーカーを取り付け、
前記画像処理部は、前記画像の中から前記車体マーカーの位置を検出し、前記車体マーカーの画像上の位置に基づいて、前記移動車両に対する前記カメラ部の方向を検出する
ことを特徴とする請求項１乃至６のいずれかに記載の移動車両の直進誘導システム。
【請求項８】
前記遠方目標部は、前記移動車両が直進走行すべき走路後方の延長線上に設置され、
前記カメラ部は、前記遠方目標部を撮像するように前記移動車両に搭載されている
ことを特徴とする請求項１乃至７のいずれかに記載の移動車両の直進誘導システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１７】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１７】
【図１５】
【図１６】
【公開番号】特開２００９−１５３４３２（Ｐ２００９−１５３４３２Ａ）
【公開日】平成２１年７月１６日（２００９．７．１６）
【国際特許分類】
【出願番号】特願２００７−３３４３９８（Ｐ２００７−３３４３９８）
【出願日】平成１９年１２月２６日（２００７．１２．２６）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 研究集会名 ＶｉＥＷ２００７ ビジョン技術の実利用ワークショップ 主催者名 精密工学会 開催日 平成１９年１２月６・７日
【出願人】（５０１２０３３４４）独立行政法人農業・食品産業技術総合研究機構 (827)
【出願人】（００００００１２５）井関農機株式会社 (3,813)
【Ｆターム（参考）】
【公開日】平成２１年７月１６日（２００９．７．１６）
【国際特許分類】
【出願日】平成１９年１２月２６日（２００７．１２．２６）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 研究集会名 ＶｉＥＷ２００７ ビジョン技術の実利用ワークショップ 主催者名 精密工学会 開催日 平成１９年１２月６・７日
【出願人】（５０１２０３３４４）独立行政法人農業・食品産業技術総合研究機構 (827)
【出願人】（００００００１２５）井関農機株式会社 (3,813)
【Ｆターム（参考）】
[ Back to top ]