説明

速度センサーおよび速度センサープログラム

【課題】 圃場における農耕用トラクタ等の対地面実速度をタイヤのスリップ等の影響を受けずに安価で精度よく測定する速度センサーおよび速度センサープログラムを提供する。
【解決手段】 参照画像を取得するとともに、所定の時間経過後に照合対象となる照合対象画像を取得し、参照画像内からテンプレート画像を切り出してこれを構成する画素の最大明度勾配方向を符号として取得するとともに、照合対象画像内から所定範囲の探索領域を選択して当該探索領域を構成する画素の最大明度勾配方向を符号として取得し、テンプレート画像の最大勾配方向の符号と探索領域の最大勾配方向の符号とを比較した残差絶対値の総和を用いて照合した結果、探索領域内からテンプレート画像の各方向符号との誤差が最小誤差となる同一類似画像を特定し、テンプレート画像および同一類似画像を比較して移動画素数を算出し、この移動画素数に基づいて移動体の実速度を算出する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、速度センサーおよび速度センサープログラムに係り、特に、圃場においてトラクターの速度に連動して農薬散布や肥料散布をする場合に好適な速度センサーおよび速度センサープログラムに関するものである。
【背景技術】
【0002】
従来より、トラクターの速度に連動して作業を行う肥料散布機等においては、近接センサによってトラクターの速度を検出する方法が知られている(特許文献1)。この方法は、接地しているタイヤのタイヤホイルに磁石等の被検出体を設けるとともに、トラクター本体側に磁気センサ等の近接センサを取り付けている。そして、この近接センサで被検出体を検出することによりタイヤホイルの回転量を取得し、この回転量から算出された移動距離に基づいてトラクターの速度を導出するようになっている。
【0003】
また、上記した近接センサ以外にも、非接触型センサによる方式として、レーダーや超音波等の反射によるドップラ効果を利用して速度を検出する方法が知られている(特許文献2)。この方法では、レーザー光、マイクロ波、超音波等を発信する発信手段と、この発信手段から発信されて地面で反射された反射波を受信する受信手段をトラクター本体に取り付けている。そして、発信波に対する受信波の周波数の変化に基づいて、速度を測定するようになっている。さらに、近年、GPS(Global Positioning System)信号を用いて速度を検出する方法が知られている。
【0004】
【特許文献1】実開平2−120121号公報
【特許文献2】特開2001−306107号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に記載された発明を含め、近接センサを使用する方法では、接地面に対するタイヤのスリップやタイヤへの荷重状況による有効径の変化等が、算出される移動距離に大きく影響するため、実際の移動速度を高精度に導出することはできないという問題がある。特に農作業用のトラクターにおいては舗装された地面ではないため影響が大きい。また、各作業機ごとにタイヤの大きさや利用条件等が異なるため、様々な条件に合わせて近接センサを取り付けなければならないという煩わしさもある。
【0006】
なお、本件出願人は、実際に圃場においてどの程度のスリップが生じるものか確認するため、ビートハーベスタを使用し、走行速度や機体重量を変化させたときのタイヤの地面に対するスリップ率を測定したところ、平均約10%の割合でタイヤがスリップしている事実がある。したがって、作業機が農薬散布用機械(スプレーヤ)の場合、速度に連動させて農薬を散布するため、速度が10%ずれると農薬の散布量が均一でなくなってしまう。上述の実験のように、実際の農薬散布用機械の速度に対して速度センサーの数字が10%多く算出される場合、農薬が過剰に散布されてしまうため農作物に障害が生じるおそれがある。また、肥料を散布する肥料散布作業機においても速度データに連動して散布量を制御する場合には同様な問題が生じる。あるいは自走式の収穫機で速度データを使い、収穫機の堀取コンベアの回転速度を制御しようとする場合、予定する速度データが得られないと、収穫物を損傷してしまうという問題もある。
【0007】
なお、上記スリップ率(%)は、以下の定義により求めた。
スリップ率=100*(本来進むべき距離−実際に進んだ距離)/(本来進むべき距離)
本来進むべき距離:タイヤの円周に回転数を乗じた値
実際に進んだ距離:実際に作業機が圃場を進んだ距離
【0008】
また、特許文献2に記載された発明を含め、レーダーや超音波等を使用する方法では、装置にかかるコストが極めて高くなって実用化が難しいし、超音波等を使用するにあたって電波法に基づく許可が必要となるため手続が煩雑である。特に、超音波に関しては雑信号等の外乱の影響を受け易く、圃場のような環境では十分な検出精度を得ることができないという問題がある。また、GPS信号を利用する方法では、圃場の周囲に存在する防風林等の障害物によりGPS信号が遮断されると、速度が検出できなくなるおそれがあるし、この方法でも装置にかかるコストが高いという問題がある。
【0009】
本発明は、このような問題点を解決するためになされたものであって、圃場における農耕用トラクタ等の対地面実速度をタイヤのスリップ等の影響を受けずに安価で精度よく測定する速度センサーおよび速度センサープログラムを提供することを目的としている。
【課題を解決するための手段】
【0010】
本発明に係る速度センサーの特徴は、移動体から地面を撮影する撮影手段と、この撮影手段によって撮影された撮影画像を記憶する記憶手段と、この記憶手段から1枚の静止画像を取得して所定のテンプレート画像を切り出すとともに所定の時間経過後の静止画像を取得して前記テンプレート画像と照合して移動画素数を求めることにより前記移動体の速度を算出する演算処理手段とを有する速度センサーであって、前記演算処理手段は、速度算出の基準となる参照画像を取得するとともに、所定の時間経過後に照合対象となる照合対象画像を取得する静止画像取得部と、前記参照画像内からテンプレート画像を切り出してこれを構成する画素の最大明度勾配方向を符号として取得するとともに、前記照合対象画像内から所定範囲の探索領域を選択して当該探索領域を構成する画素の最大明度勾配方向を符号として取得する方向符号化処理部と、前記テンプレート画像の最大勾配方向の符号と前記探索領域の最大勾配方向の符号とを比較した残差絶対値の総和を用いて照合する方向符号照合部と、前記照合の結果、前記探索領域内から前記テンプレート画像の各方向符号との誤差が最小誤差となる同一類似画像を特定する同一類似画像特定部と、前記テンプレート画像および前記同一類似画像を比較して移動画素数を算出する移動画素数算出部と、算出した移動画素数に基づいて前記移動体の実速度を算出する実速度算出部とを有する点にある。
【0011】
また、本発明において、前記方向符号化処理部ないし前記移動画素数算出部は、1枚の参照画像から複数枚のテンプレート画像を切り出して方向符号化処理を実行し、それぞれのテンプレート画像と同一又は類似する同一類似画像を求めて移動画素数を算出するとともに、さらに、演算処理手段は、それら複数枚のテンプレート画像における移動画素数の差を求めて、その差が所定の閾値以下にあるか否かを判別する移動画素数差判別部と、移動画素数差がいずれも閾値以下にない場合に、テンプレート画像と同一類似画像との方向符号に基づく類似度が所定の閾値以下にあるか否かを判別する類似度判別部とを有しており、これら判別部の判別結果に基づき、前記移動画素数算出部が、前記移動画素数差の判別の結果、前記移動画素数差が所定の閾値以下にあるテンプレート画像が存在する場合、それらの移動画素数から平均移動画素数を算出し、一方、前記移動画素数差がいずれも所定の閾値以下にないが、類似度の判別の結果、前記類似度が所定の閾値以下にあるテンプレート画像およびこれの同一類似画像が存在する場合、これにより移動画素数を算出することが好ましい。このような構成によれば誤差の小さい移動画素数に基づく実速度の算出が可能となり、精度向上が図られる。
【0012】
さらに、本発明において、前記方向符号照合部は、各画素間の方向符号を比較して残差絶対値の総和を求める際、前の残差絶対値の総和との比較を行い、その総和以上に大きくなった場合、その時点で計算処理を止め、探索領域内の次の画像との照合処理に移行することが好ましい。このような構成によれば、照合処理の負担が軽減されて速度算出処理が高速化する。
【0013】
また、本発明において、演算処理手段は、参照画像を取得後に照合対象画像を取得するまでの時間間隔を移動体の速度に応じて任意に設定可能な速度域設定部を有することが好ましい。このような構成によれば、現実の速度に応じて画像の取得時間間隔が定められるため、テンプレート画像と近似する同一類似画像が照合対象画像からフレームアウトしてしまうような問題を防ぐことができ、確実に実速度を算出し得る。
【0014】
また、本発明に係る速度センサープログラムの特徴は、撮影手段により移動体から撮影された地面の撮影画像を記憶する記憶手段と、この記憶手段から1枚の静止画像を取得して所定のテンプレート画像を切り出すとともに所定の時間経過後の静止画像を取得して前記テンプレート画像と照合して移動画素数を求めることにより前記移動体の速度を算出する演算処理手段と、算出された速度を表示する表示手段としてコンピュータを実行させる速度センサープログラムであって、前記演算処理手段が前記記憶手段から速度算出の基準となる参照画像を取得する参照画像取得ステップと、前記参照画像内からテンプレート画像を切り出してこれを構成する画素の最大明度勾配方向を符号として取得するテンプレート画像方向符号化ステップと、前記参照画像取得後に所定の時間間隔をおいて照合対象画像を取得する照合対象画像取得ステップと、前記照合対象画像内から所定範囲の探索領域を選択して当該探索領域を構成する画素の最大明度勾配方向を符号として取得する探索領域方向符号化ステップと、前記テンプレート画像の最大勾配方向の符号と前記探索領域の最大勾配方向の符号とを比較した残差絶対値の総和を用いて照合する方向符号照合ステップと、この照合の結果、前記探索領域内から前記テンプレート画像の各方向符号との誤差が最小誤差となる同一類似画像を特定する同一類似画像特定ステップと、前記テンプレート画像および前記同一類似画像を比較して移動画素数を算出する移動画素数算出ステップと、この算出した移動画素数に基づいて前記移動体の実速度を算出する実速度算出ステップとをコンピュータに実行させる点にある。
【0015】
また、本発明において、前記テンプレート画像方向符号化ステップないし前記移動画素数算出ステップでは、1枚の参照画像から複数枚のテンプレート画像を切り出して方向符号化処理を実行し、それぞれのテンプレート画像と同一又は類似する同一類似画像を求めて移動画素数を算出するとともに、さらに、それら複数枚のテンプレート画像における移動画素数の差を求めて、その差が所定の閾値以下にあるか否かを判別する移動画素数差判別ステップと、この移動画素数差の判別の結果、前記移動画素数差が所定の閾値以下にあるテンプレート画像が存在する場合、それらの移動画素数から平均移動画素数を算出する平均移動画素数算出ステップと、前記移動画素数差の判別の結果、移動画素数差がいずれも閾値以下にない場合、前記テンプレート画像と前記同一類似画像との方向符号に基づく類似度が所定の閾値以下にあるか否かを判別する類似度判別ステップと、この類似度の判別の結果、前記類似度が所定の閾値以下にあるテンプレート画像およびこれの同一類似画像が存在する場合、これにより移動画素数を算出する類似度基準移動画素数算出ステップとをコンピュータに実行させることが好ましい。
【0016】
さらに、本発明において、前記方向符号照合ステップでは、各画素間の方向符号を比較して残差絶対値の総和を求める際、前の残差絶対値の総和との比較を行い、その総和以上に大きくなった場合、その時点で計算処理を止め、探索領域内の次の画像との照合処理に移行することが好ましい。
【0017】
また、本発明において、速度域設定部によって移動体の速度域が変更された場合、参照画像の取得から照合対象画像の取得までの時間間隔を速度域に応じて設定する速度域設定ステップを実行させることが好ましい。
【発明の効果】
【0018】
本発明によれば、圃場における農耕用トラクタ等の対地面実速度をタイヤのスリップの影響を受けずに計測でき、農耕用トラクタの速度に連動して農薬散布や肥料散布、農産物の収穫など行う場合に精度よく作業を行うことができる。
【発明を実施するための最良の形態】
【0019】
以下、本発明に係る速度センサーおよび速度センサープログラムの実施形態について図面を用いて説明する。
【0020】
図1は本実施形態における速度センサー1の構成を示す構成ブロック図であり、図2は本実施形態の速度計測原理を示す図である。本実施形態の速度センサー1は、トラクター等の移動体に搭載されるものであり、主として、移動体から地面を撮影するCCDカメラ等から構成される撮影手段2と、地面の撮影領域を照らす発光ダイオード等から構成される照明手段3と、前記撮影手段2によって撮影された撮影画像や速度センサープログラムをはじめ各種の情報を記憶するRAM(Random Access Memory)やROM(Read Only Memory)等から構成される記憶手段4と、移動体の速度を算出する演算処理手段5と、速度を表示する液晶ディスプレイ等から構成される速度表示手段6と、各種の設定を入力するための入力手段7とを有している。
【0021】
そして、図2に示すように、本実施形態における速度計測原理は、圃場での実際の移動距離をカメラ等の撮影手段2で撮影した画像内での移動画素数として検出し、この移動距離と移動時間の関係から速度を導出するようになっている。ここでカメラレンズの圃場からの高さH、カメラの焦点距離fを用いると、移動体の実速度Vは、V=(H/f)V´の関係になる。ここで相対速度V´は移動画素数と時間によって求められる値であるので、実速度VはHとfの比によって決定されることがわかる。
【0022】
つぎに本実施形態を構成する各構成手段について説明する。
撮影手段2は、できる限り一定の高さから地面を撮影できるように移動体に固定されており、動画を撮影して順次記録する。撮影した動画は記憶手段4へと送信するようにしてもよいし、CCDカメラに内蔵されている図示しない記憶部に記憶した後、必要な静止画像についてのみ取得して記憶手段4へ送信するようにしてもよい。また、撮影手段2の近傍には照明手段3が配置されており、撮影領域を的確に照らせるようになっている。このような照明手段3によって撮影領域を照らすことにより天候や陰による明度変化が抑制されるため、静止画像内の明度差をより正確に取得することができる。
【0023】
演算処理手段5は、CPU(Central Processing Unit)等から構成されており、記憶手段4に格納されている速度センサープログラムに基づいて各構成部を制御するとともに、各種のデータや設定情報を取得して適宜必要な処理を実行するようになっている。前記演算処理手段5の主な処理について説明すると、記憶手段4に記憶されている撮影画像から見本となる1枚の参照画像を取得し、所定の位置からテンプレート画像を切り出すとともに、所定の時間経過後にもう1枚の静止画像として照合対象画像を取得し、前記テンプレート画像と照合対象画像とを照合して前記テンプレート画像にできる限り相似な画像を取得し、所定時間における前記テンプレート画像の移動画素数を求め、この移動画素数に基づいて移動体の実速度を算出するようになっている。
【0024】
つぎに、前述のような処理を行う演算処理手段5の構成について説明する。演算処理手段5は、主として、速度域設定部51と、静止画像取得部52と、方向符号化処理部53と、方向符号照合部54と、同一類似画像特定部55と、移動画素数算出部56と、移動画素数差判別部57と、類似度判別部58と、実速度算出部59とから構成されている。
【0025】
速度域設定部51は、移動体の速度に応じた処理を選択的に実行させる処理部である。例えば速度の大きさに応じて「低速・中速・高速」の速度域が選択できるようになっており、各速度域では画像取得の時間間隔が変更される。これは、移動体の速度に比べて画像取得時間間隔が長すぎると、テンプレート画像が照合対象画像からフレームアウトしてしまい移動画素数が求められなくなるし、逆に、速度に比べて画像取得時間間隔が短すぎても画像が同一になって移動画素数が求められなくなる。従って、このような事態を防止するため、作業内容を考慮してユーザが速度に応じて任意に設定できる手段が設けられている。この速度域設定部51の速度域を変更させるための操作ボタンが入力手段7に設けられている。なお、本実施形態では低速・中速・高速の3レンジを例示しているが、2レンジであってもよい。また、速度域設定部51が移動体の速度の変化を認識して自動的に速度域を変更し得るようにしてもよい。
【0026】
静止画像取得部52は、記憶手段4に記憶された動画から所定の時間間隔で参照画像と照合対象画像とを取得するようになっている。画像を取得する時間間隔は、速度域設定部51において設定される速度域に応じて決定され、移動速度が速ければフレームアウトを防ぐために短く、遅ければ長くされ、ある程度の移動画素数が取得されるように定められている。
【0027】
方向符号化処理部53は、参照画像内から照合の基本となるテンプレート画像を切り出してこれを構成する全画素の最大明度勾配方向を符号として取得するようになっている。また、照合対象画像内から所定範囲の探索領域を選択してこの探索領域を構成する全画素の最大明度勾配方向を符号として取得するようになっている。このように画素の明度自体ではなく画素近傍における明度変化が最大となる勾配方向を量子化した値(整数値)を符号として取得する。この符号を方向符号と呼ぶ。
【0028】
参照画像の画素(x,y)での明度をI(x,y)とし、水平方向勾配を∇I=∂I/∂x、垂直方向勾配を∇I=∂I/∂yとすると、明度の勾配方向θxyは次式(1)で表される。
θxy=tan−1(∇I/∇I) ・・・式(1)
本実施形態では、Sobel演算子を用いて対象画素の8近傍の画素に対して演算を行い方向勾配を求める。方向符号Cxyは前記勾配方向θxyを量子化幅Δθで量子化した値であり、次式(2)で表される。

ここでΓは低コントラストな画像を排除するための閾値である。水平方向勾配、垂直方向勾配の絶対値の和が閾値Γより大きい場合には0〜N−1に符号化され、小さい場合にはNに符号化される。閾値Γを導入した目的は画素近傍のコントラストの低い画素を排除し、安定して勾配方向を求めるためである。但し、あまり閾値Γの値を大きくすると方向符号の情報が抑制される。Cxyは量子化幅をΔθ=π/8とすると図3に示すような0〜15の値をとる。
【0029】
上述した方向符号の分布は画像毎の固有性が高いため画像を表現する特徴量となる。また、明度の勾配方向は明度変化の影響が小さいことから、明度変化に対してロバスト(不変)な特徴量である。したがって、実際の圃場のように明度変化、遮蔽、ノイズ等の不良条件が多数存在する地面の画像対に対して類似度を求めるには好適な比較値といえる。
【0030】
なお、方向符号化処理部53は、参照画像の予め定められた位置から複数枚のテンプレート画像、本実施形態では3枚のテンプレート画像が抜き取られるようになっている。これにより誤差が生じるのを防止し移動画素数の算出精度を高めている。
【0031】
つぎに方向符号照合部54は、図4に示すように、テンプレート画像を探索領域内において水平方向や垂直方向に順次移動させながらそれぞれの画像と照合するようになっている。つまり、テンプレート画像の最大勾配方向の符号と、照合対象画像内から選択した探索領域の最大勾配方向の符号とを比較した残差絶対値の総和を用い、これを全画素数で割った平均残差絶対値を求め、これが最小となるところを照合位置として検出するようになっている。そして、図4に示すように、画像サイズがM×Mの参照画像をIf、対象画像をIg、照合画素ごとの符号同士を(CIf,CIg)、残差絶対値をd、平均残差絶対値をDとすると、次式(3)で表される。

【0032】
また、方向符号照合部54は、方向符号照合処理の計算を高速化するために最小値を検索する処理において、前の残差値との比較を行い、大きくなった時点で計算を終了し、次の照合計算に進むという打ち切り処理を導入している。これにより類似度が低い画像同士の場合、大幅に計算回数が削減される。
【0033】
つぎに、同一類似画像特定部55は、方向符号照合部54による照合の結果、探索領域内からテンプレート画像の方向符号とを比較した残差絶対値が最小誤差となる画像を最も近似する同一類似画像として特定するようになっている。
【0034】
移動画素数算出部56は、同一類似画像特定部55によって特定された同一類似画像の位置と、初期のテンプレート画像の位置との画素数の差を移動画素数として算出するものである。また、後述する移動画素数差判別部57によって移動画素数差が判別された結果、移動画素数差が所定の閾値以下にあるテンプレート画像が存在する場合、それらの移動画素数から平均移動画素数を算出するようになっている。さらに、前記移動画素数差がいずれも所定の閾値以下にはないが、後述する類似度判別部58によって類似度が判別された結果、当該類似度が所定の閾値以下にあるテンプレート画像およびこれの同一類似画像が存在する場合、これらの移動画素数を速度算出に使用する移動画素数として特定するようになっている。
【0035】
移動画素数差判別部57は、より正確な移動画素数を求めるためのものであり、複数枚のテンプレート画像間の移動画素数の差を求めて、その差が所定の閾値以下にあるか否かを判別するようになっている。本実施形態では、3枚のテンプレート画像の移動画素数が求められているため、移動画素数差判別部57でも3枚の差が閾値以下にあるか否かが判別される。この判別の方法について説明する。3つのテンプレート画像のうち2番目のテンプレート画像は参照画像の中央位置から切り取られている。このため撮影レンズの中心に対応する画像であることから最も歪みが小さく信頼度の高い画像と考えられる。そこで移動画素数の差を比較する際もその2番目のテンプレート画像を中心に他の1番目のテンプレート画像との差、3番目のテンプレート画像との差をそれぞれ比較するようになっており、1番目と3番目のテンプレート画像の差は閾値判別されず効率化が図られている。
【0036】
類似度判別部58は、3枚のテンプレート画像における移動画素数の差がいずれも閾値以下ではない場合に、前記テンプレート画像と同一類似画像との方向符号を比較した類似度が所定の閾値以下にあるか否かを判別するようになっている。この類似度の判別は3枚全てのテンプレート画像について比較し、最も類似度の高いテンプレート画像を判別するようにしてもよいし、類似度が閾値以下にあるテンプレート画像を取得した段階で特定してもよいし、中心となる2番目のテンプレート画像のみを比較判別するようにしてもよい。
【0037】
ここで、移動画素数差判別部57による3枚のテンプレート画像に対する移動画素数差の判別方法と、平均画素数の算出方法について図5を参照しながら説明する。ケース1は、3枚のテンプレート画像の移動画素数差がいずれも閾値以下にある場合である。この場合、移動画素数算出部56は3つの移動画素数を平均した平均移動画素数を算出する。また、ケース2およびケース3は、2枚のテンプレート画像の差が閾値以下にある場合である。この場合、閾値以下にある2つの移動画素数の平均値、具体的には2番目のテンプレート画像の移動画素数を2倍して閾値以下にある移動画素数差を加減し、2分の1にした値を移動画素数として算出する。一方、ケース4は、いずれの移動画素数差についても閾値以下にない場合である。この場合、テンプレート画像と同一類似画像との類似度が閾値以下にある画像対を求めて当該移動画素数を速度算出の基礎とする。仮にいずれの類似度も閾値以下にない場合にはこの移動画素数に基づく速度算出は行わない。
【0038】
つづいて実速度算出部59は、前述した移動画素数算出部56によって算出された移動画素数に基づいて移動体の実速度Vを算出するものである。具体的には図2で示したような速度計測原理に基づき、カメラレンズの圃場からの高さH、カメラの焦点距離f、取得フレーム間隔t、移動画素数m、受光素子の大きさLとすると、以下の式(4)によって算出される。

【0039】
本実施形態の各構成は以上のような構成を有している。ここで画像の取得と照合について検討すると、1枚の参照画像からテンプレート画像を取り出し、次に取得した照合対象画像で照合を行い、同時にテンプレート画像の取り出しを行うことを繰り返す処理では、照合時間の関係からフレーム取得間隔が可変になってしまい、移動画素数が照合ごとに変化してしまう。これを避けるために、テンプレート画像を取り出す参照画像と、照合する対象画像をある間隔tだけ空けて取得し、その後、照合時間T1の間に照合を行うように処理時間T2を設定している。これにより、移動画素数を大きく変化させないようにし、照合範囲の限定や方向符号化範囲の限定などの処理が有効になるといえる。このような処理の時間経過の状況を図6に示す。
【0040】
つぎに、本実施形態における速度センサー1の作用および速度センサープログラムの動作について図7のフローチャートを参照しつつ説明する。
【0041】
まず、本実施形態の速度センサー1を動作させる場合、入力手段7の電源スイッチをオンにして速度センサー1を起動させる(スタート)。この電源スイッチに撮影手段2のスイッチを連動させてもよいし、別途撮影開始スイッチを設けてもよい。つづいて入力手段7を操作して作業内容に応じた速度域を選択すると、速度域設定部51によって選択された速度域が設定される(ステップS1)。これにより、静止画像取得部52が撮影手段2によって撮影された動画から参照画像たる静止画像を取得し、記憶手段4内の所定のメモリー部に記憶する(ステップS2)。つづいて方向符号化処理部53が参照画像から3枚のテンプレート画像を取得する(ステップS3)。このとき2枚目のテンプレート画像は参照画像の中央位置から取得するため歪みがなく最も精度の信頼性が高い。そして、方向符号化処理部53が3枚のテンプレート画像について各画素の最大明度勾配方向を求め、これを方向符号として取得する(ステップS4)。
【0042】
つぎに、所定の時間経過後に、静止画像取得部52が動画から照合対象画像たる静止画像を取り出し、記憶手段4内の所定メモリー部に記憶する(ステップS5)。その照合対象画像に対し、方向符号化処理部53が所定範囲の探索領域を設定して最大明度勾配方向を求め、方向符号として取得する(ステップS6)。
【0043】
つづいて、方向符号照合部54が、テンプレート画像の方向符号と探索領域内の方向符号とを照合する(ステップS7)。この照合では、図4に示すように、テンプレート画像を探索領域内の水平方向と垂直方向に順次移動するようにして照合を進める。そして、この方向符号の照合では、各画素同士の方向符号を比較して残差絶対値を求め、その総和を取得して全画素数で割った平均残差絶対値を取得する。この平均残差絶対値が最も小さな画像を同一類似画像として特定する(ステップS8)。このような照合・特定にあたり、計算の効率化・高速化を目的として、照合の際、すでに取得した残差値との比較を行い、残差絶対値の加算値が前の残差絶対値の加算値よりも大きくなった時点でそれ以上の加算処理を打ち切り、次の照合計算へ進む。
【0044】
このような処理によってテンプレート画像に最も近似する同一類似画像を取得すると、前記テンプレート画像から同一類似画像へ移動した画素数の差を算出して移動画素数を求める(ステップS9)。これにより1枚目の移動画素数が求められる。つづいてステップS10により、すべてのテンプレート画像について移動画素数の算出が終了したか否かが判断され、他のテンプレート画像が残っている場合(NOの場合)には、ステップS7へと戻り、次のテンプレート画像について照合処理が繰り返される。
【0045】
一方、すべてのテンプレート画像の移動画素数が算出された場合(YESの場合)、ステップ11に進行する。ステップ11では、3枚のテンプレート画像の移動画素数について、それぞれの差が算出される。具体的には1枚目のテンプレート画像の移動画素数をd1、2枚目のテンプレート画像の移動画素数をd2、3枚目のテンプレート画像の移動画素数をd3とすると、移動画素数の差を(d2−d1)および(d2−d3)として求める。そして、その移動画素数差に応じて最終的に実速度の算出に適用されるか否かが決まる。
【0046】
まず、移動画素数差判別部57によって3枚のテンプレート画像の移動画素数差が所定の閾値以下であるか否かが判断される(ステップS12)。YESの場合、つまり3枚の移動画素数差が閾値以下である場合、ステップ13に進行して移動画素数算出部56によって3枚のテンプレート画像の移動画素数の平均値が求められる。そして、この平均移動画素数に基づいて実速度算出部59が速度を算出し(ステップ18)、速度表示手段6によって速度表示がなされる(ステップS19)。一方、ステップS12の判断がNOの場合、つまり3枚の移動画素数差が閾値以下ではない場合、ステップS14に進行する。
【0047】
ステップS14では、2枚のテンプレート画像の移動画素数の差が閾値以下であるか否かが判断される。そして、YESの場合、つまり(d2−d1)または(d2−d3)のいずれかが閾値以下である場合には、ステップS15に進行し、当該閾値以下である2つのテンプレート画像の移動画素数から平均移動画素数を求める。そして、この平均移動画素数に基づいて実速度算出部59が速度を算出し(ステップ18)、速度表示手段6によって速度表示がなされる(ステップS19)。一方、ステップS14の判断がNOの場合、つまり2枚の移動画素数差が閾値以下ではない場合、ステップS16に進行する。
【0048】
ステップS16では、それぞれのテンプレート画像とこれに近似する各同一類似画像との間における類似度について、所定の閾値以下であるか否かが判断される。YESの場合、つまり平均残差絶対値に基づく類似度が所定の閾値以下である場合、ステップS17に進行し、当該テンプレート画像の移動画素数を速度算出の基礎に決定する。そして、この移動画素数に基づいて実速度算出部59が速度を算出し(ステップS18)、速度表示手段6に速度表示を行う(ステップS19)。一方、NOの場合、つまり、いずれのテンプレート画像についても類似度が閾値以下の同一類似画像が存在しない場合、ステップS2に戻り、再度、参照画像の取得から始める。
【0049】
以上のような処理によって速度センサー1の速度が算出されるところ、この速度センサー1に図示しない農薬散布装置や肥料散布装置、農作物堀取装置等が連結されるため、各農耕作業が移動体の速度に連動して精度よく進めることができる。
【0050】
以上のような本実施形態によれば、圃場における農耕用トラクタ等の対地面実速度をタイヤのスリップの影響を受けずに計測でき、農耕用トラクタの速度に連動して農薬散布や肥料散布、農産物の収穫など行う場合に精度よく作業を行うことができる。
【0051】
また、画像処理に基づく方向符号照合法を応用して移動体の速度を算出するため、コストを抑えつつ、圃場のように明度変化や遮蔽等の条件変動が激しい下であっても一定の精度を保持して速度を算出することができる。
【0052】
さらに、実際の方向符号照合処理において、平均残差絶対値の最小値を検索する際、前の残差値との比較を行って大きくなった時点で計算を止め、次の照合計算を行うようになっているため、処理負担を軽減し、高速処理が可能となる。
【0053】
なお、本発明に係る速度センサー1および速度センサープログラムは、前述した実施形態に限定されるものではなく、適宜変更することができる。
【図面の簡単な説明】
【0054】
【図1】本発明に係る速度センサーの実施形態を示す構成ブロック図である。
【図2】本実施形態の速度計測原理を示す模式図である。
【図3】本実施形態における方向符号化処理を説明する模式図である。
【図4】本実施形態における方向符号照合処理を説明する模式図である。
【図5】本実施形態における3枚のテンプレート画像の移動画素数差の判別処理を説明する模式図である。
【図6】本実施形態における静止画像の取得時間間隔を説明する模式図である。
【図7】本実施形態におけるプログラムの処理フローを示すフローチャート図である。
【符号の説明】
【0055】
1 速度センサー
2 撮影手段
3 照明手段
4 記憶手段
5 演算処理手段
6 速度表示手段
7 入力手段
51 速度域設定部
52 静止画像取得部
53 方向符号化処理部
54 方向符号照合部
55 同一類似画像特定部
56 移動画素数算出部
57 移動画素数差判別部
58 類似度判別部
59 実速度算出部

【特許請求の範囲】
【請求項1】
移動体から地面を撮影する撮影手段と、この撮影手段によって撮影された撮影画像を記憶する記憶手段と、この記憶手段から1枚の静止画像を取得して所定のテンプレート画像を切り出すとともに所定の時間経過後の静止画像を取得して前記テンプレート画像と照合して移動画素数を求めることにより前記移動体の速度を算出する演算処理手段とを有する速度センサーであって、
前記演算処理手段は、
速度算出の基準となる参照画像を取得するとともに、所定の時間経過後に照合対象となる照合対象画像を取得する静止画像取得部と、
前記参照画像内からテンプレート画像を切り出してこれを構成する画素の最大明度勾配方向を符号として取得するとともに、前記照合対象画像内から所定範囲の探索領域を選択して当該探索領域を構成する画素の最大明度勾配方向を符号として取得する方向符号化処理部と、
前記テンプレート画像の最大勾配方向の符号と前記探索領域の最大勾配方向の符号とを比較した残差絶対値の総和を用いて照合する方向符号照合部と、
前記照合の結果、前記探索領域内から前記テンプレート画像の各方向符号との誤差が最小誤差となる同一類似画像を特定する同一類似画像特定部と、
前記テンプレート画像および前記同一類似画像を比較して移動画素数を算出する移動画素数算出部と、
算出した移動画素数に基づいて前記移動体の実速度を算出する実速度算出部と
を有することを特徴とする速度センサー。
【請求項2】
請求項1において、前記方向符号化処理部ないし前記移動画素数算出部は、1枚の参照画像から複数枚のテンプレート画像を切り出して方向符号化処理を実行し、それぞれのテンプレート画像と同一又は類似する同一類似画像を求めて移動画素数を算出するとともに、
さらに、演算処理手段は、それら複数枚のテンプレート画像における移動画素数の差を求めて、その差が所定の閾値以下にあるか否かを判別する移動画素数差判別部と、
移動画素数差がいずれも閾値以下にない場合に、テンプレート画像と同一類似画像との方向符号に基づく類似度が所定の閾値以下にあるか否かを判別する類似度判別部と
を有しており、
これら判別部の判別結果に基づき、前記移動画素数算出部が、前記移動画素数差の判別の結果、前記移動画素数差が所定の閾値以下にあるテンプレート画像が存在する場合、それらの移動画素数から平均移動画素数を算出し、一方、前記移動画素数差がいずれも所定の閾値以下にないが、類似度の判別の結果、前記類似度が所定の閾値以下にあるテンプレート画像およびこれの同一類似画像が存在する場合、これにより移動画素数を算出することを特徴とする速度センサー。
【請求項3】
請求項1または請求項2において、前記方向符号照合部は、各画素間の方向符号を比較して残差絶対値の総和を求める際、前の残差絶対値の総和との比較を行い、その総和以上に大きくなった場合、その時点で計算処理を止め、探索領域内の次の画像との照合処理に移行することを特徴とする速度センサー。
【請求項4】
請求項1から請求項3のいずれかにおいて、演算処理手段は、参照画像を取得後に照合対象画像を取得するまでの時間間隔を移動体の速度に応じて任意に設定可能な速度域設定部を有することを特徴とする速度センサー。
【請求項5】
撮影手段により移動体から撮影された地面の撮影画像を記憶する記憶手段と、この記憶手段から1枚の静止画像を取得して所定のテンプレート画像を切り出すとともに所定の時間経過後の静止画像を取得して前記テンプレート画像と照合して移動画素数を求めることにより前記移動体の速度を算出する演算処理手段と、算出された速度を表示する表示手段としてコンピュータを実行させる速度センサープログラムであって、
前記演算処理手段が前記記憶手段から速度算出の基準となる参照画像を取得する参照画像取得ステップと、
前記参照画像内からテンプレート画像を切り出してこれを構成する画素の最大明度勾配方向を符号として取得するテンプレート画像方向符号化ステップと、
前記参照画像取得後に所定の時間間隔をおいて照合対象画像を取得する照合対象画像取得ステップと、
前記照合対象画像内から所定範囲の探索領域を選択して当該探索領域を構成する画素の最大明度勾配方向を符号として取得する探索領域方向符号化ステップと、
前記テンプレート画像の最大勾配方向の符号と前記探索領域の最大勾配方向の符号とを比較した残差絶対値の総和を用いて照合する方向符号照合ステップと、
この照合の結果、前記探索領域内から前記テンプレート画像の各方向符号との誤差が最小誤差となる同一類似画像を特定する同一類似画像特定ステップと、
前記テンプレート画像および前記同一類似画像を比較して移動画素数を算出する移動画素数算出ステップと、
この算出した移動画素数に基づいて前記移動体の実速度を算出する実速度算出ステップと
をコンピュータに実行させることを特徴とする速度センサープログラム。
【請求項6】
請求項5において、前記テンプレート画像方向符号化ステップないし前記移動画素数算出ステップでは、1枚の参照画像から複数枚のテンプレート画像を切り出して方向符号化処理を実行し、それぞれのテンプレート画像と同一又は類似する同一類似画像を求めて移動画素数を算出するとともに、
さらに、それら複数枚のテンプレート画像における移動画素数の差を求めて、その差が所定の閾値以下にあるか否かを判別する移動画素数差判別ステップと、
この移動画素数差の判別の結果、前記移動画素数差が所定の閾値以下にあるテンプレート画像が存在する場合、それらの移動画素数から平均移動画素数を算出する平均移動画素数算出ステップと、
前記移動画素数差の判別の結果、移動画素数差がいずれも閾値以下にない場合、前記テンプレート画像と前記同一類似画像との方向符号に基づく類似度が所定の閾値以下にあるか否かを判別する類似度判別ステップと、
この類似度の判別の結果、前記類似度が所定の閾値以下にあるテンプレート画像およびこれの同一類似画像が存在する場合、これにより移動画素数を算出する類似度基準移動画素数算出ステップと
をコンピュータに実行させることを特徴とする速度センサープログラム。
【請求項7】
請求項5または請求項6において、前記方向符号照合ステップでは、各画素間の方向符号を比較して残差絶対値の総和を求める際、前の残差絶対値の総和との比較を行い、その総和以上に大きくなった場合、その時点で計算処理を止め、探索領域内の次の画像との照合処理に移行することを特徴とする速度センサープログラム。
【請求項8】
請求項5から請求項7のいずれかにおいて、速度域設定部によって移動体の速度域が変更された場合、参照画像の取得から照合対象画像の取得までの時間間隔を速度域に応じて設定する速度域設定ステップを実行させることを特徴とする速度センサープログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2006−221461(P2006−221461A)
【公開日】平成18年8月24日(2006.8.24)
【国際特許分類】
【出願番号】特願2005−34908(P2005−34908)
【出願日】平成17年2月10日(2005.2.10)
【出願人】(000222978)東洋農機株式会社 (27)
【Fターム(参考)】