植生検出装置および方法
【課題】移動体搭載に適し、かつ近距離の観測対象に関して必要十分な植生検出を可能とする。
【解決手段】(1)第１の波長帯域のみを透過させる第１の光学フィルタを有する第１の撮像部と、(2)第２の波長帯域のみを透過させる第２の光学フィルタを有する第２の撮像部と、(3)撮像された画像を画像中の水平線で切り分け、水平線より下の画像は全て地面の平面上にあると仮定して、第１の射影変換を行い、第１の撮像部によって取得された観測データと第２の撮像部によって取得された観測データとを対応付ける対応付け部と、(4)対応付けられた観測データに関して、第１の撮像部によって取得された観測データに基づいて算出される反射率と、第２の撮像部によって取得された観測データに基づいて算出される反射率との比を算出する反射率比算出部と、(5)前記反射率比を所定の閾値と比較することによって、観測対象物が植物か否かを判別する判別部と、を具備する。
【解決手段】(1)第１の波長帯域のみを透過させる第１の光学フィルタを有する第１の撮像部と、(2)第２の波長帯域のみを透過させる第２の光学フィルタを有する第２の撮像部と、(3)撮像された画像を画像中の水平線で切り分け、水平線より下の画像は全て地面の平面上にあると仮定して、第１の射影変換を行い、第１の撮像部によって取得された観測データと第２の撮像部によって取得された観測データとを対応付ける対応付け部と、(4)対応付けられた観測データに関して、第１の撮像部によって取得された観測データに基づいて算出される反射率と、第２の撮像部によって取得された観測データに基づいて算出される反射率との比を算出する反射率比算出部と、(5)前記反射率比を所定の閾値と比較することによって、観測対象物が植物か否かを判別する判別部と、を具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、植生検出装置および方法に関し、特に軽量化が求められる移動体搭載用の植生検出装置および方法に関する。
【背景技術】
【０００２】
従来は、路外・不整地での車両の自動操縦を実現する場合、地面や地上に存在する岩や起伏などの構造物・樹木の立体形状を３次元スキャンや２次元スキャンのレーザーレンジファインダにより計測し、起伏の無い、平坦部分を通過するような軌道を計画して、その軌道に沿うように車体やロボットを操縦していた。運転支援においては、安全性向上のため、同様の立体形状から障害物を割り出し、危険距離まで接近した場合、回避や停止するよう制御する。
【０００３】
ところが草地については、薄らと茂っていても、植物の反射率は地面の数倍であり草の部分が検出されやすく、草が櫛状に生えていると、その前面で反射したデータと、茂みの奥まで入って反射したデータが隣り合うために、距離変化が非常に大きい段差にも見え、通行不可能と解釈してしまう場合が多い。車輪径が７０ｃｍの車両としても、３０ｃｍの急な段差は走行不能と判断せざるを得ないが、３０ｃｍぐらいの草むらはよく見かけることができる。野外で走行する移動体の自動操縦、または操縦支援には草を見分け、別の処理（完全に通行不能にするのではなく、マニュアルのみ通行可能にする、低速でアプローチするなど）を行う必要がある。
【０００４】
このため地面に生えている植物に関して判別を行う必要があった。このような移動体に搭載して使える植生検出装置は存在していなかった。
多少関連する植生検出装置として、衛星写真のように違う波長を観測するカメラを並べて植物を見つけ出す技術は存在する（例えば、特許文献１参照）。
【特許文献１】特開２００７−１８３８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところが、特許文献１に記載の技術は人工衛星から無限遠に近い地表を観察対象としており、近距離の物体を観察対象とした場合の図４及び図５に示すような視差が発生する状態については考慮されていなかった。
【０００６】
図４及び図５に示すような近距離の観察対象の方角が変わる現象は視差と呼ばれているが、この視差を解消する方法として、図１２に示すようなダイクロイックミラーを用いて入射光を複数の受光素子に分配する方法が有効である。
図１２に示すように、レンズ１３１を通過した光は、特定の周波数を反射するダイクロイックミラー（又はハーフミラー）１３２によって、近赤外の所定の波長帯の光のみを透過するフィルタ１３３へ進む光と、水が吸収する波長の光を透過するフィルタ１３６へ進む光とに分けられる。フィルタ１３３へ進んだ光は、レンズ１３４を経て、ＣＣＤ受光素子１３５に到達する。一方、フィルタ１３６へ進んだ光は、レンズ１３７を経て、ＣＣＤ受光素子１３８に到達する。
ただし、この方法を用いると装置が重くなったり、大きくなったりするといった問題などが起き易くなってしまう。
【課題を解決するための手段】
【０００７】
本発明は上述した問題点を解決するために創案されたものである。すなわち、安価・軽量・小型化を可能とし、移動体搭載に適し、かつ近距離の観測対象に関して必要十分な植生検出を可能とする技術を提供する。
【０００８】
本発明の第１の特徴は、植生検出装置であって、（１）第１の波長帯域のみを透過させる第１の光学フィルタを有する第１の撮像部と、（２）第２の波長帯域のみを透過させる第２の光学フィルタを有する第２の撮像部と、（３）撮像された画像を画像中の水平線で切り分け、水平線より下の画像は全て地面の平面上にあると仮定して、第１の射影変換を行い、第１の撮像部によって取得された観測データと第２の撮像部によって取得された観測データとを対応付ける対応付け部と、（４）対応付けられた観測データに関して、第１の撮像部によって取得された観測データに基づいて算出される反射率と、第２の撮像部によって取得された観測データに基づいて算出される反射率との比を算出する反射率比算出部と、（５）前記反射率比を所定の閾値と比較することによって、観測対象物が植物か否かを判別する判別部と、を具備することにある。
【０００９】
本発明の第２の特徴は、対応付け部は、さらに、水平線より上の画像は全て無限遠の平面上にあると仮定して、第２の射影変換を行い、第１の撮像部によって取得された観測データと第２の撮像部によって取得された観測データとを対応付けることにある。
【００１０】
本発明の第３の特徴は、第１の射影変換を、射影変換行列H=A2(R+tnt/d)A1-1を用いて行い、
対応する観測点について第１の撮像部の画像上の位置と第２の撮像部の画像上の位置をP2=HP1と変換することにある。
【数３】
x1,y1:第１の撮像部での座標、x2,y2:第２の撮像部での座標
fx,fy:力メラのx軸、y軸の焦点距離[画素]、cx,cy:力メラの焦点中心座標[画素]
Rは第１の撮像部から第２の撮像部への座標変換回転行列
tは第１の撮像部から第２の撮像部への力メラ座標軸中心の位置変換ベクトル
nは撮像部座標系での地面の法線ベクトル
dは地面からの撮像部の高さ
【００１１】
本発明の第４の特徴は、第２の射影変換を、射影変換行列H=A2RA1-1を用いて行い、 対応する観測点について第１の撮像部の画像上の位置と第２の撮像部の画像上の位置をP2=HP1と変換することにある。
【００１２】
本発明の第５の特徴は、植生検出方法であって、（１）第１の波長帯域のみを透過させる第１の光学フィルタを用いて撮像する第１の撮像ステップと、（２）第２の波長帯域のみを透過させる第２の光学フィルタを用いて撮像する第２の撮像ステップと、（３）撮像された画像を画像中の水平線で切り分ける切り分け、水平線より下の画像は全て地面の平面上にあると仮定して、第１の射影変換を行い、第１の撮像部によって取得された観測データと第２の撮像部によって取得された観測データとを対応付ける第１の対応付けステップと、（４）対応付けられた観測データに関して、第１の撮像ステップによって取得された観測データに基づいて算出される反射率と、第２の撮像ステップによって取得された観測データに基づいて算出される反射率との比を算出する反射率比算出ステップと、（５）前記反射率比を所定の閾値と比較することによって、観測対象物が植物か否かを判別する判別ステップと、を含むことにある。
本発明の第６の特徴は、前記対応付けステップは、さらに、水平線より上の画像は全て無限遠の平面上にあると仮定して、第２の射影変換を行い、第１の撮像ステップによって取得された観測データと第２の撮像ステップによって取得された観測データとを対応付けることにある。
本発明の第７の特徴は、前記第１の射影変換を、射影変換行列H=A2(R+tnt/d)A1-1を用いて行い、対応する観測点について第１の撮像ステップによって取得された画像上の位置と第２の撮像ステップによって取得された画像上の位置をP2=HP1と変換することにある。
本発明の第８の特徴は、前記第２の射影変換を、射影変換行列H=A2RA1-1を用いて行い、対応する観測点について第１の撮像ステップによって取得された画像上の位置と第２の撮像ステップによって取得された画像上の位置をP2=HP1と変換することにある。
【発明の効果】
【００１３】
２台の撮像部を、近接、平行に設置するだけで、ミラーを含む大規模な光学系が不要になり、軽量化となる。また、従来方法では観察対象側のレンズは両方の波長に対応して設計する必要があり、複雑化による、重量増加や光量減少などの問題が発生するが、この点を解消することができる。
【００１４】
受光波長が異なる２台の撮像部の画像を単純に重ね合わせると図４及び図５に示すようになってしまう。特に、図６に示すような、地面上にあるはずの木漏れ日の日陰と日当たりとの境界付近（一方の撮像部によると日蔭となるが、他方の撮像部によると日当たりとなる個所）において、測定によって得られる反射率比が、本来の反射率比に比べて異常に高くなり、誤計測が発生する。
【発明を実施するための最良の形態】
【００１５】
以下本発明の好ましい実施形態について、図面を参照して説明する。なお、各図において、共通する部分には同一の符号を付し、重複した説明を省略する。
【００１６】
［撮像部］
図１は、本発明の植生検出装置の全体構成図である。同図に示すように、本発明の 植生検出装置１０は、植物の葉で吸収されない波長（波長８００〜１３００ｎｍのうち、幅５０ｎｍ以上の帯域）の画像を撮影するカメラ１１（第１の撮像部）と、葉で吸収される波長（クロロフィル吸収波長帯６００〜７００ｎｍのうち、幅５０ｎｍ以上の帯域）の画像を撮影するカメラ１２（第２の撮像部）とを具備する。
【００１７】
図２に示すように、カメラ１１はフィルタ１１１、レンズ１１２、受光素子１１３を具備し、カメラ１２はフィルタ１２１、レンズ１２２、受光素子１２３を具備する。カメラ１１とカメラ１２とはほぼ同じ方向に向けられて治具１２０上に固定されているので、両カメラの相対的な位置関係はしっかりと固定されている。
【００１８】
［光量比］
図１中の対応付け部１４により、別のカメラ画像での位置を座標変換で求める事で２つのカメラで同じ場所を撮影した画素同士を対応付ける。この対応する各周波数帯での輝度値（もしくは、その２つの輝度の比率）を利用して後段の反射率比算出部１５が反射率比の計算を行う。
【００１９】
[対応付け位置の算出方法]
対応付け部１４では以下のようにして、対となっているカメラの画像上で同じものを見ているはずの対応位置を算出する。
図７にはカメラ間の座標変換のために仮定している位置関係を示す。対応する点を結びつける際、図７に示すように、水平線より下の画像は全て地面の平面上にあると仮定し、水平線より上の画像は全て無限遠の平面上にあると仮定して、近似で対応付けを行う。
このように仮定することによって、以下のように射影変換・座標変換を簡単に計算できる。図８を用いて変換方法を説明する。図３に、植生検出処理の流れを示す。
（１）まず、図８に示すように、まず対応付けを行う画像を画像中の水平線できりわける（図３、ステップＳ１１）。
水平線は車体にジャイロを搭載して現在の傾きを計測し、その傾きから画像上の水平線の位置を推測する方法や、各車輪の車体からの上下方向の伸びを推定し、車輪の位置から地面と車体が成す角度を求め画像上の水平線の位置を推定する方法がある。これらの水平線推定方法により決定された画像上の水平線位置を用いて処理を進める。
（２）次に、水平より上の画像は全て無限遠の平面上にあると仮定して、画像中の位置変換を行い対応付けを行う（図３、ステップＳ１２）。
具体的には、射影変換行列H=A2RA1-1を用いた射影変換によって対応付けられる。
（３）次に、水平より下の画像は全て地面の平面上にあると仮定して、画像中の位置変換を行い対応付けを行う（図３、ステップＳ１３）。
具体的には、射影変換行列H=A2(R+tnt/d)A1-1を用いた射影変換によって対応付けられる。
車体と地面の関係、力メラと車体の関係から、力メラに対する地面の姿勢は求まっているものとする。
動揺が発生している場合には、車輪のサスペンションの伸びなどから車体と地面の関係を逐次求めるほうが良いが、動揺が小さいうちは、固定でも、また、別の手段で求めても良い。
対応する点の別力メラの画像上の位置をP2=HP1と変換できる。
【数４】
x1,y1:第１の撮像部（カメラ１１）での座標
x2,y2:第２の撮像部（カメラ１２）での座標
fx,fy:力メラのx軸、y軸の焦点距離[画素]、cx,cy:力メラの焦点中心座標[画素]
Rは第１の撮像部（カメラ１１）から第２の撮像部（カメラ１２）への座標変換回転行列
tは第１の撮像部（カメラ１１）から第２の撮像部（カメラ１２）への力メラ座標軸中心の位置変換ベクトル
nは撮像部座標系での地面の法線ベクトル
dは地面からの撮像部の高さ
【００２０】
反射率比算出部１５は、対応する観測点についてカメラ１１を用いて得られた反射率とカメラ１２を用いて得られた反射率との比を算出する（図３、ステップＳ１４）。
そして、判定部１６は、反射率比と閾値とを比較し、観測対象物が植物か否かを判定する（図３、ステップＳ１５）。
【００２１】
以上の対応付け位置の算出方法を用いることで次の効果が得られる。 前記のごとく、２台の力メラを、近接、平行に設置するだけで、ミラーを含む大規模な光学系が不要になり、軽量化となる。また、従来方法では観察対象側のレンズは両方の波長に対応して設計する必要があり、複雑化による、重量増加や光量減少などの問題が発生するが、この点を解消することができる。
【００２２】
[反射率比算出部の計算方法]
反射率比算出部１５では以下のようにして反射率比を求める。
重ね合わせる画像同士を以下のように単位時間あたりの受光光量Ｉ＝Ｖ／（Ｅ・Ｋ）で正規化した値を求め、その２つの値から得られる商により、反射率比RefRateを求める（Ｖ：画素値、Ｅ：露光時間、Ｋ：撮影ゲイン）。カメラ内での効率Ｑは以下に示すRefBase（反射率比を求めるための外部要因を総合した係数）に吸収してある。
【数５】
【数６】
RefBaseはキャリブレーション時に以下のように決定する。既知反射率を観測した際の画素値をＶInitA, ＶInitB とする。
【数７】
Ｖtf：カメラｆ、時刻ｔの個々の画素の画素値
t=initはキャリブレーション時,A=近赤外用カメラ,B=６００〜７００ｎｍ（クロロフィル吸収帯）用カメラをあらわす。
Ｅtf：カメラｆ、時刻ｔの露光時間
Ｋtf：カメラｆ、時刻ｔのゲイン
Ｒf：周波数帯域ｆでのキャリブレーション被写体の反射率（既知）。
【００２３】
光源が同じときには、カメラの撮影条件が異なっても正しい反射率比を計算しつづけることができる。
光源の分光の光量の比率が変化する場合には、画像の端にキャリブレーション用の被写体を常時撮影できるようにしておいて、キャリブレーションを常時行っても良い。キャリブレーション用の被写体とは、たとえば全ての可視から短波長赤外までで反射率の変化が５％以内となる標準反射板などである。
以上の計算についての詳細な導出は、［反射率比に関する導出］以降に記述する。
【００２４】
以上の反射率比の計算方法を用いることで次のような効果が得られる。
標準反射板のデータを常に用いる必要が無くなり（標準反射板のデータを時々用いれば良くなり）、別の光源の（色の異なる）光が標準反射板に差し込んでも、その時のRefBaseは採用せず、信頼性の高いときのRefBase及びそれらを積算してノイズを取り除いたRefBaseを用いることで、より正確性が高い計測が可能になる。
【００２５】
標準反射板を常に見る必要が無いので、時々一瞬、標準反射板を見るようにしても良い。これにより、通常は広い視界を持ち、行動が一時停止した際などに再キャリブレーションするという使い方も可能になる。この場合、視野が有効に活用できるという利点がある。
【００２６】
反射率比そのものに基づいて植生判定を行うのではなく、反射率比を１対１で変換する関数を用いて、判りやすくしても良い。この関数の１つの例として、F(RefRate) = (RefRate-1)/(RefRate+1)があり、
NDVI=(Ra-Rb)/(Ra+Rb)=F(RefRate)に相当する。
【００２７】
[反射率比算出部のバリエーション]
反射率比の推定方法には以下のような補正を行うバリエーションが考えられる。
日付、時刻をパラメータとして又は太陽の傾きをパラメータとしてRefBaseを補正する補正係数Mod(t)を予め求めておき、
補正後のRefBase＝補正前のRefBase×Mod(t)
によって補正後のRefBaseを算出する。
【００２８】
この補正値を使う方法を用いると、補正用の標準反射板を常に視界内にとどめる必要が無く、視野を有効活用できるという利点が得られる。
【００２９】
[判定部の判定方法]
判定部１６では以下のようにして判定を行う。
屋外に一般的に存在する材質の近赤外（800〜1000nmで計測）、および、可視光赤(600〜700nmで計測)の反射率を表１に示す。
この表１が示すように植物の葉は非常に大きい反射率比を持っている。このため、反射率比の閾値（表からは２．０付近が望ましいと読み取れる）で判定を行い、画像中でそれより大きい値を示す場所を植生、それより小さい値を示す場所を非植生と判定する。
この後、必要に応じて、ノイズ除去を実施する。これには、例えば、１画素（ないし数画素）の孤立した場所を周囲の判定と同じものとして塗りつぶす処理などがある。
【００３０】
【表１】
【００３１】
［重ね合わせ誤差に関する見積もり］
前述の近似による座標変換における対応付けによって、車両が行動するために植物かどうかを知るべき範囲において、正しい判別が行えることを以下に示す。
【００３２】
運用環境の例として、以下に示す。
レンズは、視野を広く取るため焦点距離８mm、受光素子８．８mm×６．６mmとする。カメラは、ＶＧＡサイズの画素を持つものとする。
【００３３】
一般に出回っているカメラの形状を調べ、大半で使えるようにサイズを設計した結果、２台のカメラはいずれも横幅３５mm〜６０mm、レンズ直径２５mm〜５２mmぐらいで考えるものとする。これにより、２台のカメラ間の距離（中心間の距離）は調整しろを含め７５mmとする。
カメラの設置位置は、遠くまで見通すため車両の上に設置するため、地上高さ２ｍで、向きは水平とする。
このとき地面が見える位置は約５ｍ前方となる。
カメラと対象物との距離が短い程、視差の影響を受ける。このため、重ね合わせ誤差は５ｍの位置が最大となる。
観測対象エリアは地上４００mmまでとする。なぜなら、車の車輪径が７００mm前後であり、その半径までが行動の判定に重要であり、そこまでが植物で構成されているかを知ることが重要である。
【００３４】
図９に誤差検証のための想定視野を示し、図１０に誤差検証のための想定配置を示す。図１０において、Hreal＝2000mm, Lreal=5000mm, Hofs=400mmとする。Hreal＝2000mm, Lreal=5000mm, Hofs=400mmよりLofs=1250mmとなる。
Lreal=5000mmにおける実際に発生している視差は9.6画素、計算上の位置であるLreal=6250mmにより補正で修正される視差は7.8画素となり、補正後の位置誤差は２画素未満となる。
【００３５】
この近似の誤差によって発生する誤認識画素は、横方向に１画素程度の幅を持つ、断続領域となる。このような領域は、途中の処理で行うノイズ除去（一般的には検出前に行う画素値の移動平均、及び、検出後に行われることが多い孤立点群除去（たとえば、収縮フィルタ後に膨張フィルタ処理を実施））によって除去されてしまう。つまり、この近似により発生する誤差は、ノイズ・誤差除去で補正される範囲内であり、車両が行動に必要な範囲の情報は正常に入手できることがわかる。
【００３６】
なお、平射影による近似を行わず、カメラの向きを平行に設置して撮影した（もしくは、平行撮影となるように補正した）画像を重ね合わせるだけでは、図４及び図５に示すように、Lreal=5000mmにおける補正視差は9.6画素がそのまま、ずれ量となり９画素という大きな誤検出の帯が画像に発生し、大きな問題となる。
ここで、平射影とは、前記のように、（１）対応付けを行う画像を画像中の水平線で切り分け、（２）水平より上の画像は無限遠にあると仮定し、（３）水平より下の画像はすべて地面の平面上にあると仮定して行う位置変換を言う。
【００３７】
［反射率比に関する導出］
図１１を用いて反射率比の導出を説明する。反射率比算出のための計算式は後述のとおりであり、観測した画素値からリアルタイムに求めることができる。
【００３８】
各カメラ上の位置X,Yで得られる単位時間光量：IA(XA,YA), IB(XB,YB)
各カメラ上の位置X,Yの画素値：VA(XA,YA), VB(XB,YB)
各カメラの露光時間：EA,EB
各カメラのゲイン設定：KA,KB
観測対象の座標(x,y,z)
光源の各波長での光量:LA,LB
観測対象の各帯域での反射率RA(x,y,z),RB(x,y,z)
観測対象の入射角（ψ）、観測角（λ）依存の反射率D(ψ、λ)
光源から観測対象までの経路上でのロス（光源から観測対象への向きに光量分布を含む：
PA(x,y,z),PB(x,y,z)
観測対象から受光面までの経路上でのロス：WA(x,y,z),WB(x,y,z)
（大気中・近距離なので、レンズのF値から求まる値となる）
受光面での変換効率：QA,QB
（受光面積と変換効率の積となる。）
【００３９】
【数８】
【００４０】
【数９】
既知の反射特性RrefAを観測したときのパラメータをIAのようにアンダーバー付きで書くと以下のようになる。
IA (XA,YA)/IA＝
{LA・PA(x,y,z)・RA(x,y,z)・D(ψ、λ)・WA(x,y,z)・QA}/
{LA・PA(x,y,z)・RrefA・RA(x,y,z)・WA(x,y,z)・QA}
Q,Wが固定でLの変動が少ないと考えると以下のようになる。
IA (XA,YA)/IA＝RA(x,y,z)・{PA(x,y,z)・D(ψ、λ)/PA(x,y,z)・RrefA}・・・（C）
IB (XB,YB)/IB＝RB(x,y,z)・{PB(x,y,z)・D(ψ、λ)/PB(x,y,z)・RrefB}・・・（D）
（C）÷（D）より
【００４１】
【数１０】
照明利用時には光源からの観察対象の方向に依存し［数１１］の条件となるため、
【００４２】
【数１１】
これを［数１０］に代入することにより、式（Ｆ）が得られる。
【００４３】
太陽などが光源の場合には大気の影響を受けるため、［数１１］で仮定した条件は用いることができない。ここでは、経路の状態が大きく変化するまで、つまり太陽光の散乱が増減する原因となる太陽の傾きの大きな変化が無い間は［数１３］で示す条件となる。さらに、（Ｃ）÷（Ｄ）である（Ｅ）に、先の［数１３］を代入することにより（Ｆ）が得られる。このように、照明利用時、キャリブレーション後に位置があまり変わっていない太陽光源について、ともに（Ｆ）の結果となる。
【００４４】
【数１２】
【００４５】
【数１３】
【００４６】
【数１４】
キャリブレーション時の条件の値をinitを添え字としてあらわし、ＲｅｆＢａｓｅを
【数１５】
のように定義し、この時のIをV,E,Kで表した式を代入すると
【００４７】
【数１６】
となる。
このＲｅｆＢａｓｅの定義（Ｇ）で（Ｆ）式の右辺の一部を置き換えると、反射率非は
【００４８】
【数１７】
と求まる。
一方、反射率比RefRateは[数１７]のＩA,ＩBをＩ＝Ｖ／（Ｅ×Ｋ）で置き換え
【００４９】
【数１８】
として求める。
【００５０】
［環境変化への対応］
太陽の角度（時刻・季節）と雲量（その季節・時刻本来の明るさと照度計によって計測した照度により推測）から各周波数の透過率のテーブル（もしくは、近似式）をつくっておき、キャリブレーション時と現在の角度・雲量を以下の式
【００５１】
【数１９】
（H）を(E)にあてはめ補正後RefBase＝補正前RefBase×Mod(t)となる補正後の値で計算する。
【００５２】
Pa/Pb, Pa/Pbは、植生有無判定時およびリファレンス計測時の時刻および天候によって決定される。特に、波長が長いほど大気の散乱は少なく、また太陽の傾きが水平に近いほど散乱の影響が大きくなるため、夕方など太陽が水平に近づくほど、波長が短い光の減衰率が大きくなる。このため、太陽の角度を時刻から計算し、太陽の角度とMod(t)のテーブルを作っておいても良い。また、日付・時刻からMod(t)をテーブル引きする方法でも良い。中途半端な時間については最も近い時刻を選ぶ、または前後の時刻の値の加重平均などで求めても良い。
【００５３】
実際には、指標に関するパラメータは以下のように変化している。このような太陽の角度とPa/Pbのテーブルを用いると良い。
【００５４】
【表２】
【００５５】
［変形例］
クロロフィルだけでなく、水（吸収波長1400-1500nm, 1850-2050nm）、カロティン（400-500nm）、又はセルロース（2100nm周辺）の吸収帯を利用して植生を検出することもできる。
【００５６】
なお、本発明は、上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲で種々に変更することができることは勿論である。
【図面の簡単な説明】
【００５７】
【図１】本発明の実施形態に係る植生検出装置の全体構成図である。
【図２】本発明の実施形態で使用可能な撮像部の構成例を示す図である。
【図３】本発明の実施形態に係る植生検出処理の流れを示す図である。
【図４】図３に示す撮像部を用いた単純重ね合わせ撮影を説明するための図である。
【図５】単純重ね合わせ撮影結果を説明するための図である。
【図６】日陰と日当たりとの境界付近において、反射率比が異常に高くなることを説明するための図である。
【図７】本発明の実施形態におけるカメラ間の座標変換のための位置仮定を説明するための図である。
【図８】本発明の実施形態における座標変換方法を説明するための図である。
【図９】本発明の実施形態における誤差検証のための想定視野を示す図である。
【図１０】本発明の実施形態における誤差検証のための想定配置を示す図である。
【図１１】本発明の実施形態における反射率比の導出の全体像を示す図である。
【図１２】ダイクロイックミラーを用いて入射光を複数の受光素子に分配する方法を説明するための図である。
【符号の説明】
【００５８】
１０ 植生検出装置
１１ 第１の撮像部
１２ 第２の撮像部
１４ 対応付け部
１５ 反射率比算出部
１６ 判定部
１７ 記憶部
【技術分野】
【０００１】
本発明は、植生検出装置および方法に関し、特に軽量化が求められる移動体搭載用の植生検出装置および方法に関する。
【背景技術】
【０００２】
従来は、路外・不整地での車両の自動操縦を実現する場合、地面や地上に存在する岩や起伏などの構造物・樹木の立体形状を３次元スキャンや２次元スキャンのレーザーレンジファインダにより計測し、起伏の無い、平坦部分を通過するような軌道を計画して、その軌道に沿うように車体やロボットを操縦していた。運転支援においては、安全性向上のため、同様の立体形状から障害物を割り出し、危険距離まで接近した場合、回避や停止するよう制御する。
【０００３】
ところが草地については、薄らと茂っていても、植物の反射率は地面の数倍であり草の部分が検出されやすく、草が櫛状に生えていると、その前面で反射したデータと、茂みの奥まで入って反射したデータが隣り合うために、距離変化が非常に大きい段差にも見え、通行不可能と解釈してしまう場合が多い。車輪径が７０ｃｍの車両としても、３０ｃｍの急な段差は走行不能と判断せざるを得ないが、３０ｃｍぐらいの草むらはよく見かけることができる。野外で走行する移動体の自動操縦、または操縦支援には草を見分け、別の処理（完全に通行不能にするのではなく、マニュアルのみ通行可能にする、低速でアプローチするなど）を行う必要がある。
【０００４】
このため地面に生えている植物に関して判別を行う必要があった。このような移動体に搭載して使える植生検出装置は存在していなかった。
多少関連する植生検出装置として、衛星写真のように違う波長を観測するカメラを並べて植物を見つけ出す技術は存在する（例えば、特許文献１参照）。
【特許文献１】特開２００７−１８３８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところが、特許文献１に記載の技術は人工衛星から無限遠に近い地表を観察対象としており、近距離の物体を観察対象とした場合の図４及び図５に示すような視差が発生する状態については考慮されていなかった。
【０００６】
図４及び図５に示すような近距離の観察対象の方角が変わる現象は視差と呼ばれているが、この視差を解消する方法として、図１２に示すようなダイクロイックミラーを用いて入射光を複数の受光素子に分配する方法が有効である。
図１２に示すように、レンズ１３１を通過した光は、特定の周波数を反射するダイクロイックミラー（又はハーフミラー）１３２によって、近赤外の所定の波長帯の光のみを透過するフィルタ１３３へ進む光と、水が吸収する波長の光を透過するフィルタ１３６へ進む光とに分けられる。フィルタ１３３へ進んだ光は、レンズ１３４を経て、ＣＣＤ受光素子１３５に到達する。一方、フィルタ１３６へ進んだ光は、レンズ１３７を経て、ＣＣＤ受光素子１３８に到達する。
ただし、この方法を用いると装置が重くなったり、大きくなったりするといった問題などが起き易くなってしまう。
【課題を解決するための手段】
【０００７】
本発明は上述した問題点を解決するために創案されたものである。すなわち、安価・軽量・小型化を可能とし、移動体搭載に適し、かつ近距離の観測対象に関して必要十分な植生検出を可能とする技術を提供する。
【０００８】
本発明の第１の特徴は、植生検出装置であって、（１）第１の波長帯域のみを透過させる第１の光学フィルタを有する第１の撮像部と、（２）第２の波長帯域のみを透過させる第２の光学フィルタを有する第２の撮像部と、（３）撮像された画像を画像中の水平線で切り分け、水平線より下の画像は全て地面の平面上にあると仮定して、第１の射影変換を行い、第１の撮像部によって取得された観測データと第２の撮像部によって取得された観測データとを対応付ける対応付け部と、（４）対応付けられた観測データに関して、第１の撮像部によって取得された観測データに基づいて算出される反射率と、第２の撮像部によって取得された観測データに基づいて算出される反射率との比を算出する反射率比算出部と、（５）前記反射率比を所定の閾値と比較することによって、観測対象物が植物か否かを判別する判別部と、を具備することにある。
【０００９】
本発明の第２の特徴は、対応付け部は、さらに、水平線より上の画像は全て無限遠の平面上にあると仮定して、第２の射影変換を行い、第１の撮像部によって取得された観測データと第２の撮像部によって取得された観測データとを対応付けることにある。
【００１０】
本発明の第３の特徴は、第１の射影変換を、射影変換行列H=A2(R+tnt/d)A1-1を用いて行い、
対応する観測点について第１の撮像部の画像上の位置と第２の撮像部の画像上の位置をP2=HP1と変換することにある。
【数３】
x1,y1:第１の撮像部での座標、x2,y2:第２の撮像部での座標
fx,fy:力メラのx軸、y軸の焦点距離[画素]、cx,cy:力メラの焦点中心座標[画素]
Rは第１の撮像部から第２の撮像部への座標変換回転行列
tは第１の撮像部から第２の撮像部への力メラ座標軸中心の位置変換ベクトル
nは撮像部座標系での地面の法線ベクトル
dは地面からの撮像部の高さ
【００１１】
本発明の第４の特徴は、第２の射影変換を、射影変換行列H=A2RA1-1を用いて行い、 対応する観測点について第１の撮像部の画像上の位置と第２の撮像部の画像上の位置をP2=HP1と変換することにある。
【００１２】
本発明の第５の特徴は、植生検出方法であって、（１）第１の波長帯域のみを透過させる第１の光学フィルタを用いて撮像する第１の撮像ステップと、（２）第２の波長帯域のみを透過させる第２の光学フィルタを用いて撮像する第２の撮像ステップと、（３）撮像された画像を画像中の水平線で切り分ける切り分け、水平線より下の画像は全て地面の平面上にあると仮定して、第１の射影変換を行い、第１の撮像部によって取得された観測データと第２の撮像部によって取得された観測データとを対応付ける第１の対応付けステップと、（４）対応付けられた観測データに関して、第１の撮像ステップによって取得された観測データに基づいて算出される反射率と、第２の撮像ステップによって取得された観測データに基づいて算出される反射率との比を算出する反射率比算出ステップと、（５）前記反射率比を所定の閾値と比較することによって、観測対象物が植物か否かを判別する判別ステップと、を含むことにある。
本発明の第６の特徴は、前記対応付けステップは、さらに、水平線より上の画像は全て無限遠の平面上にあると仮定して、第２の射影変換を行い、第１の撮像ステップによって取得された観測データと第２の撮像ステップによって取得された観測データとを対応付けることにある。
本発明の第７の特徴は、前記第１の射影変換を、射影変換行列H=A2(R+tnt/d)A1-1を用いて行い、対応する観測点について第１の撮像ステップによって取得された画像上の位置と第２の撮像ステップによって取得された画像上の位置をP2=HP1と変換することにある。
本発明の第８の特徴は、前記第２の射影変換を、射影変換行列H=A2RA1-1を用いて行い、対応する観測点について第１の撮像ステップによって取得された画像上の位置と第２の撮像ステップによって取得された画像上の位置をP2=HP1と変換することにある。
【発明の効果】
【００１３】
２台の撮像部を、近接、平行に設置するだけで、ミラーを含む大規模な光学系が不要になり、軽量化となる。また、従来方法では観察対象側のレンズは両方の波長に対応して設計する必要があり、複雑化による、重量増加や光量減少などの問題が発生するが、この点を解消することができる。
【００１４】
受光波長が異なる２台の撮像部の画像を単純に重ね合わせると図４及び図５に示すようになってしまう。特に、図６に示すような、地面上にあるはずの木漏れ日の日陰と日当たりとの境界付近（一方の撮像部によると日蔭となるが、他方の撮像部によると日当たりとなる個所）において、測定によって得られる反射率比が、本来の反射率比に比べて異常に高くなり、誤計測が発生する。
【発明を実施するための最良の形態】
【００１５】
以下本発明の好ましい実施形態について、図面を参照して説明する。なお、各図において、共通する部分には同一の符号を付し、重複した説明を省略する。
【００１６】
［撮像部］
図１は、本発明の植生検出装置の全体構成図である。同図に示すように、本発明の 植生検出装置１０は、植物の葉で吸収されない波長（波長８００〜１３００ｎｍのうち、幅５０ｎｍ以上の帯域）の画像を撮影するカメラ１１（第１の撮像部）と、葉で吸収される波長（クロロフィル吸収波長帯６００〜７００ｎｍのうち、幅５０ｎｍ以上の帯域）の画像を撮影するカメラ１２（第２の撮像部）とを具備する。
【００１７】
図２に示すように、カメラ１１はフィルタ１１１、レンズ１１２、受光素子１１３を具備し、カメラ１２はフィルタ１２１、レンズ１２２、受光素子１２３を具備する。カメラ１１とカメラ１２とはほぼ同じ方向に向けられて治具１２０上に固定されているので、両カメラの相対的な位置関係はしっかりと固定されている。
【００１８】
［光量比］
図１中の対応付け部１４により、別のカメラ画像での位置を座標変換で求める事で２つのカメラで同じ場所を撮影した画素同士を対応付ける。この対応する各周波数帯での輝度値（もしくは、その２つの輝度の比率）を利用して後段の反射率比算出部１５が反射率比の計算を行う。
【００１９】
[対応付け位置の算出方法]
対応付け部１４では以下のようにして、対となっているカメラの画像上で同じものを見ているはずの対応位置を算出する。
図７にはカメラ間の座標変換のために仮定している位置関係を示す。対応する点を結びつける際、図７に示すように、水平線より下の画像は全て地面の平面上にあると仮定し、水平線より上の画像は全て無限遠の平面上にあると仮定して、近似で対応付けを行う。
このように仮定することによって、以下のように射影変換・座標変換を簡単に計算できる。図８を用いて変換方法を説明する。図３に、植生検出処理の流れを示す。
（１）まず、図８に示すように、まず対応付けを行う画像を画像中の水平線できりわける（図３、ステップＳ１１）。
水平線は車体にジャイロを搭載して現在の傾きを計測し、その傾きから画像上の水平線の位置を推測する方法や、各車輪の車体からの上下方向の伸びを推定し、車輪の位置から地面と車体が成す角度を求め画像上の水平線の位置を推定する方法がある。これらの水平線推定方法により決定された画像上の水平線位置を用いて処理を進める。
（２）次に、水平より上の画像は全て無限遠の平面上にあると仮定して、画像中の位置変換を行い対応付けを行う（図３、ステップＳ１２）。
具体的には、射影変換行列H=A2RA1-1を用いた射影変換によって対応付けられる。
（３）次に、水平より下の画像は全て地面の平面上にあると仮定して、画像中の位置変換を行い対応付けを行う（図３、ステップＳ１３）。
具体的には、射影変換行列H=A2(R+tnt/d)A1-1を用いた射影変換によって対応付けられる。
車体と地面の関係、力メラと車体の関係から、力メラに対する地面の姿勢は求まっているものとする。
動揺が発生している場合には、車輪のサスペンションの伸びなどから車体と地面の関係を逐次求めるほうが良いが、動揺が小さいうちは、固定でも、また、別の手段で求めても良い。
対応する点の別力メラの画像上の位置をP2=HP1と変換できる。
【数４】
x1,y1:第１の撮像部（カメラ１１）での座標
x2,y2:第２の撮像部（カメラ１２）での座標
fx,fy:力メラのx軸、y軸の焦点距離[画素]、cx,cy:力メラの焦点中心座標[画素]
Rは第１の撮像部（カメラ１１）から第２の撮像部（カメラ１２）への座標変換回転行列
tは第１の撮像部（カメラ１１）から第２の撮像部（カメラ１２）への力メラ座標軸中心の位置変換ベクトル
nは撮像部座標系での地面の法線ベクトル
dは地面からの撮像部の高さ
【００２０】
反射率比算出部１５は、対応する観測点についてカメラ１１を用いて得られた反射率とカメラ１２を用いて得られた反射率との比を算出する（図３、ステップＳ１４）。
そして、判定部１６は、反射率比と閾値とを比較し、観測対象物が植物か否かを判定する（図３、ステップＳ１５）。
【００２１】
以上の対応付け位置の算出方法を用いることで次の効果が得られる。 前記のごとく、２台の力メラを、近接、平行に設置するだけで、ミラーを含む大規模な光学系が不要になり、軽量化となる。また、従来方法では観察対象側のレンズは両方の波長に対応して設計する必要があり、複雑化による、重量増加や光量減少などの問題が発生するが、この点を解消することができる。
【００２２】
[反射率比算出部の計算方法]
反射率比算出部１５では以下のようにして反射率比を求める。
重ね合わせる画像同士を以下のように単位時間あたりの受光光量Ｉ＝Ｖ／（Ｅ・Ｋ）で正規化した値を求め、その２つの値から得られる商により、反射率比RefRateを求める（Ｖ：画素値、Ｅ：露光時間、Ｋ：撮影ゲイン）。カメラ内での効率Ｑは以下に示すRefBase（反射率比を求めるための外部要因を総合した係数）に吸収してある。
【数５】
【数６】
RefBaseはキャリブレーション時に以下のように決定する。既知反射率を観測した際の画素値をＶInitA, ＶInitB とする。
【数７】
Ｖtf：カメラｆ、時刻ｔの個々の画素の画素値
t=initはキャリブレーション時,A=近赤外用カメラ,B=６００〜７００ｎｍ（クロロフィル吸収帯）用カメラをあらわす。
Ｅtf：カメラｆ、時刻ｔの露光時間
Ｋtf：カメラｆ、時刻ｔのゲイン
Ｒf：周波数帯域ｆでのキャリブレーション被写体の反射率（既知）。
【００２３】
光源が同じときには、カメラの撮影条件が異なっても正しい反射率比を計算しつづけることができる。
光源の分光の光量の比率が変化する場合には、画像の端にキャリブレーション用の被写体を常時撮影できるようにしておいて、キャリブレーションを常時行っても良い。キャリブレーション用の被写体とは、たとえば全ての可視から短波長赤外までで反射率の変化が５％以内となる標準反射板などである。
以上の計算についての詳細な導出は、［反射率比に関する導出］以降に記述する。
【００２４】
以上の反射率比の計算方法を用いることで次のような効果が得られる。
標準反射板のデータを常に用いる必要が無くなり（標準反射板のデータを時々用いれば良くなり）、別の光源の（色の異なる）光が標準反射板に差し込んでも、その時のRefBaseは採用せず、信頼性の高いときのRefBase及びそれらを積算してノイズを取り除いたRefBaseを用いることで、より正確性が高い計測が可能になる。
【００２５】
標準反射板を常に見る必要が無いので、時々一瞬、標準反射板を見るようにしても良い。これにより、通常は広い視界を持ち、行動が一時停止した際などに再キャリブレーションするという使い方も可能になる。この場合、視野が有効に活用できるという利点がある。
【００２６】
反射率比そのものに基づいて植生判定を行うのではなく、反射率比を１対１で変換する関数を用いて、判りやすくしても良い。この関数の１つの例として、F(RefRate) = (RefRate-1)/(RefRate+1)があり、
NDVI=(Ra-Rb)/(Ra+Rb)=F(RefRate)に相当する。
【００２７】
[反射率比算出部のバリエーション]
反射率比の推定方法には以下のような補正を行うバリエーションが考えられる。
日付、時刻をパラメータとして又は太陽の傾きをパラメータとしてRefBaseを補正する補正係数Mod(t)を予め求めておき、
補正後のRefBase＝補正前のRefBase×Mod(t)
によって補正後のRefBaseを算出する。
【００２８】
この補正値を使う方法を用いると、補正用の標準反射板を常に視界内にとどめる必要が無く、視野を有効活用できるという利点が得られる。
【００２９】
[判定部の判定方法]
判定部１６では以下のようにして判定を行う。
屋外に一般的に存在する材質の近赤外（800〜1000nmで計測）、および、可視光赤(600〜700nmで計測)の反射率を表１に示す。
この表１が示すように植物の葉は非常に大きい反射率比を持っている。このため、反射率比の閾値（表からは２．０付近が望ましいと読み取れる）で判定を行い、画像中でそれより大きい値を示す場所を植生、それより小さい値を示す場所を非植生と判定する。
この後、必要に応じて、ノイズ除去を実施する。これには、例えば、１画素（ないし数画素）の孤立した場所を周囲の判定と同じものとして塗りつぶす処理などがある。
【００３０】
【表１】
【００３１】
［重ね合わせ誤差に関する見積もり］
前述の近似による座標変換における対応付けによって、車両が行動するために植物かどうかを知るべき範囲において、正しい判別が行えることを以下に示す。
【００３２】
運用環境の例として、以下に示す。
レンズは、視野を広く取るため焦点距離８mm、受光素子８．８mm×６．６mmとする。カメラは、ＶＧＡサイズの画素を持つものとする。
【００３３】
一般に出回っているカメラの形状を調べ、大半で使えるようにサイズを設計した結果、２台のカメラはいずれも横幅３５mm〜６０mm、レンズ直径２５mm〜５２mmぐらいで考えるものとする。これにより、２台のカメラ間の距離（中心間の距離）は調整しろを含め７５mmとする。
カメラの設置位置は、遠くまで見通すため車両の上に設置するため、地上高さ２ｍで、向きは水平とする。
このとき地面が見える位置は約５ｍ前方となる。
カメラと対象物との距離が短い程、視差の影響を受ける。このため、重ね合わせ誤差は５ｍの位置が最大となる。
観測対象エリアは地上４００mmまでとする。なぜなら、車の車輪径が７００mm前後であり、その半径までが行動の判定に重要であり、そこまでが植物で構成されているかを知ることが重要である。
【００３４】
図９に誤差検証のための想定視野を示し、図１０に誤差検証のための想定配置を示す。図１０において、Hreal＝2000mm, Lreal=5000mm, Hofs=400mmとする。Hreal＝2000mm, Lreal=5000mm, Hofs=400mmよりLofs=1250mmとなる。
Lreal=5000mmにおける実際に発生している視差は9.6画素、計算上の位置であるLreal=6250mmにより補正で修正される視差は7.8画素となり、補正後の位置誤差は２画素未満となる。
【００３５】
この近似の誤差によって発生する誤認識画素は、横方向に１画素程度の幅を持つ、断続領域となる。このような領域は、途中の処理で行うノイズ除去（一般的には検出前に行う画素値の移動平均、及び、検出後に行われることが多い孤立点群除去（たとえば、収縮フィルタ後に膨張フィルタ処理を実施））によって除去されてしまう。つまり、この近似により発生する誤差は、ノイズ・誤差除去で補正される範囲内であり、車両が行動に必要な範囲の情報は正常に入手できることがわかる。
【００３６】
なお、平射影による近似を行わず、カメラの向きを平行に設置して撮影した（もしくは、平行撮影となるように補正した）画像を重ね合わせるだけでは、図４及び図５に示すように、Lreal=5000mmにおける補正視差は9.6画素がそのまま、ずれ量となり９画素という大きな誤検出の帯が画像に発生し、大きな問題となる。
ここで、平射影とは、前記のように、（１）対応付けを行う画像を画像中の水平線で切り分け、（２）水平より上の画像は無限遠にあると仮定し、（３）水平より下の画像はすべて地面の平面上にあると仮定して行う位置変換を言う。
【００３７】
［反射率比に関する導出］
図１１を用いて反射率比の導出を説明する。反射率比算出のための計算式は後述のとおりであり、観測した画素値からリアルタイムに求めることができる。
【００３８】
各カメラ上の位置X,Yで得られる単位時間光量：IA(XA,YA), IB(XB,YB)
各カメラ上の位置X,Yの画素値：VA(XA,YA), VB(XB,YB)
各カメラの露光時間：EA,EB
各カメラのゲイン設定：KA,KB
観測対象の座標(x,y,z)
光源の各波長での光量:LA,LB
観測対象の各帯域での反射率RA(x,y,z),RB(x,y,z)
観測対象の入射角（ψ）、観測角（λ）依存の反射率D(ψ、λ)
光源から観測対象までの経路上でのロス（光源から観測対象への向きに光量分布を含む：
PA(x,y,z),PB(x,y,z)
観測対象から受光面までの経路上でのロス：WA(x,y,z),WB(x,y,z)
（大気中・近距離なので、レンズのF値から求まる値となる）
受光面での変換効率：QA,QB
（受光面積と変換効率の積となる。）
【００３９】
【数８】
【００４０】
【数９】
既知の反射特性RrefAを観測したときのパラメータをIAのようにアンダーバー付きで書くと以下のようになる。
IA (XA,YA)/IA＝
{LA・PA(x,y,z)・RA(x,y,z)・D(ψ、λ)・WA(x,y,z)・QA}/
{LA・PA(x,y,z)・RrefA・RA(x,y,z)・WA(x,y,z)・QA}
Q,Wが固定でLの変動が少ないと考えると以下のようになる。
IA (XA,YA)/IA＝RA(x,y,z)・{PA(x,y,z)・D(ψ、λ)/PA(x,y,z)・RrefA}・・・（C）
IB (XB,YB)/IB＝RB(x,y,z)・{PB(x,y,z)・D(ψ、λ)/PB(x,y,z)・RrefB}・・・（D）
（C）÷（D）より
【００４１】
【数１０】
照明利用時には光源からの観察対象の方向に依存し［数１１］の条件となるため、
【００４２】
【数１１】
これを［数１０］に代入することにより、式（Ｆ）が得られる。
【００４３】
太陽などが光源の場合には大気の影響を受けるため、［数１１］で仮定した条件は用いることができない。ここでは、経路の状態が大きく変化するまで、つまり太陽光の散乱が増減する原因となる太陽の傾きの大きな変化が無い間は［数１３］で示す条件となる。さらに、（Ｃ）÷（Ｄ）である（Ｅ）に、先の［数１３］を代入することにより（Ｆ）が得られる。このように、照明利用時、キャリブレーション後に位置があまり変わっていない太陽光源について、ともに（Ｆ）の結果となる。
【００４４】
【数１２】
【００４５】
【数１３】
【００４６】
【数１４】
キャリブレーション時の条件の値をinitを添え字としてあらわし、ＲｅｆＢａｓｅを
【数１５】
のように定義し、この時のIをV,E,Kで表した式を代入すると
【００４７】
【数１６】
となる。
このＲｅｆＢａｓｅの定義（Ｇ）で（Ｆ）式の右辺の一部を置き換えると、反射率非は
【００４８】
【数１７】
と求まる。
一方、反射率比RefRateは[数１７]のＩA,ＩBをＩ＝Ｖ／（Ｅ×Ｋ）で置き換え
【００４９】
【数１８】
として求める。
【００５０】
［環境変化への対応］
太陽の角度（時刻・季節）と雲量（その季節・時刻本来の明るさと照度計によって計測した照度により推測）から各周波数の透過率のテーブル（もしくは、近似式）をつくっておき、キャリブレーション時と現在の角度・雲量を以下の式
【００５１】
【数１９】
（H）を(E)にあてはめ補正後RefBase＝補正前RefBase×Mod(t)となる補正後の値で計算する。
【００５２】
Pa/Pb, Pa/Pbは、植生有無判定時およびリファレンス計測時の時刻および天候によって決定される。特に、波長が長いほど大気の散乱は少なく、また太陽の傾きが水平に近いほど散乱の影響が大きくなるため、夕方など太陽が水平に近づくほど、波長が短い光の減衰率が大きくなる。このため、太陽の角度を時刻から計算し、太陽の角度とMod(t)のテーブルを作っておいても良い。また、日付・時刻からMod(t)をテーブル引きする方法でも良い。中途半端な時間については最も近い時刻を選ぶ、または前後の時刻の値の加重平均などで求めても良い。
【００５３】
実際には、指標に関するパラメータは以下のように変化している。このような太陽の角度とPa/Pbのテーブルを用いると良い。
【００５４】
【表２】
【００５５】
［変形例］
クロロフィルだけでなく、水（吸収波長1400-1500nm, 1850-2050nm）、カロティン（400-500nm）、又はセルロース（2100nm周辺）の吸収帯を利用して植生を検出することもできる。
【００５６】
なお、本発明は、上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲で種々に変更することができることは勿論である。
【図面の簡単な説明】
【００５７】
【図１】本発明の実施形態に係る植生検出装置の全体構成図である。
【図２】本発明の実施形態で使用可能な撮像部の構成例を示す図である。
【図３】本発明の実施形態に係る植生検出処理の流れを示す図である。
【図４】図３に示す撮像部を用いた単純重ね合わせ撮影を説明するための図である。
【図５】単純重ね合わせ撮影結果を説明するための図である。
【図６】日陰と日当たりとの境界付近において、反射率比が異常に高くなることを説明するための図である。
【図７】本発明の実施形態におけるカメラ間の座標変換のための位置仮定を説明するための図である。
【図８】本発明の実施形態における座標変換方法を説明するための図である。
【図９】本発明の実施形態における誤差検証のための想定視野を示す図である。
【図１０】本発明の実施形態における誤差検証のための想定配置を示す図である。
【図１１】本発明の実施形態における反射率比の導出の全体像を示す図である。
【図１２】ダイクロイックミラーを用いて入射光を複数の受光素子に分配する方法を説明するための図である。
【符号の説明】
【００５８】
１０ 植生検出装置
１１ 第１の撮像部
１２ 第２の撮像部
１４ 対応付け部
１５ 反射率比算出部
１６ 判定部
１７ 記憶部
【特許請求の範囲】
【請求項１】
第１の波長帯域のみを透過させる第１の光学フィルタを有する第１の撮像部と、
第２の波長帯域のみを透過させる第２の光学フィルタを有する第２の撮像部と、
撮像された画像を画像中の水平線で切り分け、水平線より下の画像は全て地面の平面上にあると仮定して、第１の射影変換を行い、第１の撮像部によって取得された観測データと第２の撮像部によって取得された観測データとを対応付ける対応付け部と、
対応付けられた観測データに関して、第１の撮像部によって取得された観測データに基づいて算出される反射率と、第２の撮像部によって取得された観測データに基づいて算出される反射率との比を算出する反射率比算出部と、
前記反射率比を所定の閾値と比較することによって、観測対象物が植物か否かを判別する判別部と、
を具備することを特徴とする植生検出装置。
【請求項２】
前記対応付け部は、さらに、水平線より上の画像は全て無限遠の平面上にあると仮定して、第２の射影変換を行い、第１の撮像部によって取得された観測データと第２の撮像部によって取得された観測データとを対応付けることを特徴とする請求項１記載の植生検出装置。
【請求項３】
前記第１の射影変換を、射影変換行列H=A2(R+tnt/d)A1-1を用いて行い、
対応する観測点について第１の撮像部の画像上の位置と第２の撮像部の画像上の位置をP2=HP1と変換することを特徴とする請求項１又は２記載の植生検出装置。
【数１】
x1,y1:第１の撮像部での座標、x2,y2:第２の撮像部での座標
fx,fy:力メラのx軸、y軸の焦点距離[画素]、cx,cy:力メラの焦点中心座標[画素]
Rは第１の撮像部から第２の撮像部への座標変換回転行列
tは第１の撮像部から第２の撮像部への力メラ座標軸中心の位置変換ベクトル
nは撮像部座標系での地面の法線ベクトル
dは地面からの撮像部の高さ
【請求項４】
前記第２の射影変換を、射影変換行列H=A2RA1-1を用いて行い、
対応する観測点について第１の撮像部の画像上の位置と第２の撮像部の画像上の位置をP2=HP1と変換することを特徴とする請求項１又は２記載の植生検出装置。
【請求項５】
第１の波長帯域のみを透過させる第１の光学フィルタを用いて撮像する第１の撮像ステップと、
第２の波長帯域のみを透過させる第２の光学フィルタを用いて撮像する第２の撮像ステップと、
撮像された画像を画像中の水平線で切り分ける切り分けステップと、
水平線より下の画像は全て地面の平面上にあると仮定して、第１の射影変換を行い、第１の撮像部によって取得された観測データと第２の撮像部によって取得された観測データとを対応付ける第１の対応付けステップと、
対応付けられた観測データに関して、第１の撮像ステップによって取得された観測データに基づいて算出される反射率と、第２の撮像ステップによって取得された観測データに基づいて算出される反射率との比を算出する反射率比算出ステップと、
前記反射率比を所定の閾値と比較することによって、観測対象物が植物か否かを判別する判別ステップと、
を含むことを特徴とする植生検出方法。
【請求項６】
前記対応付けステップは、さらに、水平線より上の画像は全て無限遠の平面上にあると仮定して、第２の射影変換を行い、第１の撮像ステップによって取得された観測データと第２の撮像ステップによって取得された観測データとを対応付けることを特徴とする請求項５記載の植生検出方法。
【請求項７】
前記第１の射影変換を、射影変換行列H=A2(R+tnt/d)A1-1を用いて行い、
対応する観測点について第１の撮像ステップによって取得された画像上の位置と第２の撮像ステップによって取得された画像上の位置をP2=HP1と変換することを特徴とする請求項５又は６記載の植生検出方法。
【数２】
x1,y1:第１の撮像部での座標、x2,y2:第２の撮像部での座標
fx,fy:力メラのx軸、y軸の焦点距離[画素]、cx,cy:力メラの焦点中心座標[画素]
Rは第１の撮像部から第２の撮像部への座標変換回転行列
tは第１の撮像部から第２の撮像部への力メラ座標軸中心の位置変換ベクトル
nは撮像部座標系での地面の法線ベクトル
dは地面からの撮像部の高さ
【請求項８】
前記第２の射影変換を、射影変換行列H=A2RA1-1を用いて行い、
対応する観測点について第１の撮像ステップによって取得された画像上の位置と第２の撮像ステップによって取得された画像上の位置をP2=HP1と変換することを特徴とする請求項５又は６記載の植生検出方法。
【請求項１】
第１の波長帯域のみを透過させる第１の光学フィルタを有する第１の撮像部と、
第２の波長帯域のみを透過させる第２の光学フィルタを有する第２の撮像部と、
撮像された画像を画像中の水平線で切り分け、水平線より下の画像は全て地面の平面上にあると仮定して、第１の射影変換を行い、第１の撮像部によって取得された観測データと第２の撮像部によって取得された観測データとを対応付ける対応付け部と、
対応付けられた観測データに関して、第１の撮像部によって取得された観測データに基づいて算出される反射率と、第２の撮像部によって取得された観測データに基づいて算出される反射率との比を算出する反射率比算出部と、
前記反射率比を所定の閾値と比較することによって、観測対象物が植物か否かを判別する判別部と、
を具備することを特徴とする植生検出装置。
【請求項２】
前記対応付け部は、さらに、水平線より上の画像は全て無限遠の平面上にあると仮定して、第２の射影変換を行い、第１の撮像部によって取得された観測データと第２の撮像部によって取得された観測データとを対応付けることを特徴とする請求項１記載の植生検出装置。
【請求項３】
前記第１の射影変換を、射影変換行列H=A2(R+tnt/d)A1-1を用いて行い、
対応する観測点について第１の撮像部の画像上の位置と第２の撮像部の画像上の位置をP2=HP1と変換することを特徴とする請求項１又は２記載の植生検出装置。
【数１】
x1,y1:第１の撮像部での座標、x2,y2:第２の撮像部での座標
fx,fy:力メラのx軸、y軸の焦点距離[画素]、cx,cy:力メラの焦点中心座標[画素]
Rは第１の撮像部から第２の撮像部への座標変換回転行列
tは第１の撮像部から第２の撮像部への力メラ座標軸中心の位置変換ベクトル
nは撮像部座標系での地面の法線ベクトル
dは地面からの撮像部の高さ
【請求項４】
前記第２の射影変換を、射影変換行列H=A2RA1-1を用いて行い、
対応する観測点について第１の撮像部の画像上の位置と第２の撮像部の画像上の位置をP2=HP1と変換することを特徴とする請求項１又は２記載の植生検出装置。
【請求項５】
第１の波長帯域のみを透過させる第１の光学フィルタを用いて撮像する第１の撮像ステップと、
第２の波長帯域のみを透過させる第２の光学フィルタを用いて撮像する第２の撮像ステップと、
撮像された画像を画像中の水平線で切り分ける切り分けステップと、
水平線より下の画像は全て地面の平面上にあると仮定して、第１の射影変換を行い、第１の撮像部によって取得された観測データと第２の撮像部によって取得された観測データとを対応付ける第１の対応付けステップと、
対応付けられた観測データに関して、第１の撮像ステップによって取得された観測データに基づいて算出される反射率と、第２の撮像ステップによって取得された観測データに基づいて算出される反射率との比を算出する反射率比算出ステップと、
前記反射率比を所定の閾値と比較することによって、観測対象物が植物か否かを判別する判別ステップと、
を含むことを特徴とする植生検出方法。
【請求項６】
前記対応付けステップは、さらに、水平線より上の画像は全て無限遠の平面上にあると仮定して、第２の射影変換を行い、第１の撮像ステップによって取得された観測データと第２の撮像ステップによって取得された観測データとを対応付けることを特徴とする請求項５記載の植生検出方法。
【請求項７】
前記第１の射影変換を、射影変換行列H=A2(R+tnt/d)A1-1を用いて行い、
対応する観測点について第１の撮像ステップによって取得された画像上の位置と第２の撮像ステップによって取得された画像上の位置をP2=HP1と変換することを特徴とする請求項５又は６記載の植生検出方法。
【数２】
x1,y1:第１の撮像部での座標、x2,y2:第２の撮像部での座標
fx,fy:力メラのx軸、y軸の焦点距離[画素]、cx,cy:力メラの焦点中心座標[画素]
Rは第１の撮像部から第２の撮像部への座標変換回転行列
tは第１の撮像部から第２の撮像部への力メラ座標軸中心の位置変換ベクトル
nは撮像部座標系での地面の法線ベクトル
dは地面からの撮像部の高さ
【請求項８】
前記第２の射影変換を、射影変換行列H=A2RA1-1を用いて行い、
対応する観測点について第１の撮像ステップによって取得された画像上の位置と第２の撮像ステップによって取得された画像上の位置をP2=HP1と変換することを特徴とする請求項５又は６記載の植生検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−４４６２３（Ｐ２０１０−４４６２３Ａ）
【公開日】平成２２年２月２５日（２０１０．２．２５）
【国際特許分類】
【出願番号】特願２００８−２０８７１７（Ｐ２００８−２０８７１７）
【出願日】平成２０年８月１３日（２００８．８．１３）
【出願人】（０００００００９９）株式会社ＩＨＩ (5,014)
【出願人】（５００３０２５５２）株式会社ＩＨＩエアロスペース (298)
【Ｆターム（参考）】
【公開日】平成２２年２月２５日（２０１０．２．２５）
【国際特許分類】
【出願日】平成２０年８月１３日（２００８．８．１３）
【出願人】（０００００００９９）株式会社ＩＨＩ (5,014)
【出願人】（５００３０２５５２）株式会社ＩＨＩエアロスペース (298)
【Ｆターム（参考）】
[ Back to top ]