植生検出装置および方法
【課題】植生の分布を検出可能な装置及び方法を提供する。
【解決手段】第１の撮像部１１は、第２の撮像部１２、反射率比算出部１３、判定部１４及び記憶部１５を具備する。第１の撮像部１１は、近赤外の任意の帯域を撮像する。第２の撮像部１２は、短波赤外内にある水の吸収波長を撮像する。反射率比算出部１３は、近赤外帯域における反射率と、水の吸収波長帯域における反射率との比を算出する。判定部１４は、反射率比算出部１３によって算出された反射率比と記憶部１５に記憶されている閾値とを比較し、観測対象物が植物か否かを判定する。
【解決手段】第１の撮像部１１は、第２の撮像部１２、反射率比算出部１３、判定部１４及び記憶部１５を具備する。第１の撮像部１１は、近赤外の任意の帯域を撮像する。第２の撮像部１２は、短波赤外内にある水の吸収波長を撮像する。反射率比算出部１３は、近赤外帯域における反射率と、水の吸収波長帯域における反射率との比を算出する。判定部１４は、反射率比算出部１３によって算出された反射率比と記憶部１５に記憶されている閾値とを比較し、観測対象物が植物か否かを判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、植生の分布を検出する装置および方法に関する。
【背景技術】
【０００２】
従来は、可視光を用いて、色彩を駆使して、緑の部分の細かい色合いを区別して植物とそれ以外を識別していた（例えば、特許文献１参照）。
【０００３】
また、人工衛星からのリモートセンシングでよく用いられている近赤外(800〜1200nm)、赤色（600〜700nm）の２色の反射率を用いた指標NDVI(Normalized
Differenced Vegetation Index)を用いて、植物とそれ以外を判別していた（例えば、特許文献２参照）。
【特許文献１】特開２００２−１１７４０２号公報
【特許文献２】特開２００７−１８３８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１等に記載の方法では、木漏れ日のような画像中に明るいところと暗い所が存在する場合に、暗い影の部分の低い輝度値を持つ画素は階調差がつきにくいため、カメラからの出力値（RGB空間上で）の値が似たような値をとるような部分となる。一方、可視光での各色での明るさ（反射率）については赤、青と緑の比やもしくはそれを写像した色彩の値の比としては大きな差が無い（低木：赤色の反射率１８％対緑色の反射率１２％程度）。このため、このような木漏れ日の影の部分でノイズの影響による誤認識が発生しやすくなっている。
【０００５】
野外に存在する大きな構造物の材質としては、「砂」、「土」、「岩」、「コンクリート」、「アスファルト」、「プラスチック」が考えられるが、その内、「青色の付いたプラスチック」については、［表１］に示す反射率（日照下）から明らかなように、特許文献２等に記載の方法では植物と誤検出してしまう。航空写真や衛星写真ではこのようなものを判別する必要が無かったため、問題にはならなかった。なお、［表１］中のNIRは近赤外（800〜1000nmで計測）を、VISRは可視光赤色(600〜700nmで計測)を意味する。
【０００６】
【表１】
【０００７】
さらに、特許文献１、２に記載の方法では、夜間作業に対応することを考えると、サーチライトのような強力な可視光の光源を用いた投光が必要となり、周囲の作業者を強い光で幻惑したり、警備中に自分の位置を遠くまで暴露して、不審者等に裏をかかれたりする原因となる。
【課題を解決するための手段】
【０００８】
本発明は上述した問題点を解決するために創案されたものである。すなわち、木漏れ日のような画像中に明るいところと暗い所が存在する場合であっても、誤認識が発生しないようにする。また、「青色の付いたプラスチック」であっても、植物と誤検出しないようにする。さらに、サーチライトのような強力な可視光の光源を用いた投光を不要とする。
【０００９】
本発明の第１の特徴は、植生検出装置であって、（１）第１の波長帯域のみを透過させる第１の光学フィルタを有する第１の撮像部と、（２）第２の波長帯域のみを透過させる第２の光学フィルタを有する第２の撮像部と、（３）第１の撮像部によって取得された観測データに基づいて算出される反射率と、第２の撮像部によって取得された観測データに基づいて算出される反射率との比を算出する反射率比算出部と、（４）前記反射率比を所定の閾値と比較することによって、観測対象物が植物か否かを判別する判別部と、を具備することにある。
【００１０】
本発明の第２の特徴は、前記第１の波長帯域が赤外波長(800nm以上)域の水による吸収帯であって一連の連続する波長域であり、前記第２の波長帯域が前記赤外波長域の前記第１の波長帯域以外の部分であって一連の連続する波長域である。
【００１１】
本発明の第３の特徴は、（１）前記第１の波長帯域は下端が800nm以上、上端が1300nm以下であって透過幅が100nm以上の帯域であり、（２）前記第２の波長帯域は下端が1350nm以上、上端が1550nm以下又は下端が1850nm以上、上端が2150nm以下であって透過幅が50nm以上の帯域である。
【００１２】
本発明の第４の特徴は、植生検出方法であって、（１）第１の波長帯域のみを透過させる第１の光学フィルタを有する第１の撮像部によって取得された観測データに基づいて算出される反射率と、第２の波長帯域のみを透過させる第２の光学フィルタを有する第２の撮像部によって取得された観測データに基づいて算出される反射率とに基づいて反射率比を算出するステップと、（２）前記反射率比を所定の閾値と比較することによって、観測対象物が植物か否かを判別する判別するステップとを含むことにある。
本発明の第５の特徴は、前記第４の特徴において、前記第１の波長帯域が赤外波長(800nm以上)域の水による吸収帯であって一連の連続する波長域であり、前記第２の波長帯域が前記赤外波長域の前記第１の波長帯域以外の部分であって一連の連続する波長域であることにある。
【発明の効果】
【００１３】
本発明の植生検出装置によれば、（１）木漏れ日のような画像中に明るいところと暗い所が存在する場合であっても、誤認識が発生しないようにする、（２）「青色の付いたプラスチック」であっても、植物と誤検出しないようにする、（３）サーチライトのような強力な可視光の光源を用いた投光を不要とする、ことが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下本発明の好ましい実施形態について、図面を参照して説明する。なお、各図において、共通する部分には同一の符号を付し、重複した説明を省略する。
【００１５】
図１は、本発明の実施形態における植生検出装置の全体構成図である。同図に示すように、植生検出装置１０は、第１の撮像部１１、第２の撮像部１２、反射率比算出部１３、判定部１４及び記憶部１５を具備する。
第１の撮像部１１は、近赤外（Near-visible
Infra Red、以下適宜「NIR」と記載する。）800nm〜1300nmの任意の帯域を撮像する。
第２の撮像部１２は、短波赤外(Short Wave Infra
Red、以下適宜「SWIR」と記載する。)内にある水の吸収波長（1450nm±50 nm、もしくは、1940nm±100nm）を撮像する。第１の撮像部１１、第２の撮像部１２から撮影時の露光時間、ゲインも同時に取得することができる。
反射率比算出部１３は、後述する方法で、近赤外帯域における反射率と、水の吸収波長帯域における反射率との比（反射率比）を算出する。
判定部１４は、反射率比算出部１３によって算出された反射率比と記憶部１５に記憶されている閾値とを比較し、観測対象物が植物か否かを判定する。
【００１６】
図４は、本発明の実施形態における全体的な処理の流れを示す図である。同図に示すように、（１）第１の撮像部によって取得された第１の波長帯域に関する観測データに基づいて算出される反射率と、第２の撮像部によって取得された第２の波長帯域に関する観測データに基づいて算出される反射率との比（反射率比）を算出し（ステップＳ１１）、（２）前記反射率比と所定の閾値とを比較することによって、前記観測対象物が植物か否かを判別する（ステップＳ１２）。
【００１７】
［撮像部］
図２は、本発明の実施形態で使用可能な複板カメラの一例を示す。図３は、本発明の実施形態で使用可能な複数カメラの一例を示す。
図２に示すように、単一のカメラ内にハーフミラー等を備え、そのハーフミラー等で分光して撮影するとしても良い。
また図３に示すように複数のカメラが同じ方向で別の周波数帯の画像を撮影するとしても良い
【００１８】
図２に示すように、複板カメラ１１０はレンズ１１１、ハーフミラー１１２、水吸収波長帯透過フィルタ１１３、レンズ１１４、ＩｎＳｂ半導体受光素子１１５、近赤外透過フィルタ１１６、レンズ１１７、及びＣＣＤ（charge-coupled device）受光素子１１８を具備する。ハーフミラー（もしくは、ダイクロイックミラー）１１２は、特定の周波数を反射する。近赤外透過フィルタ１１６、レンズ１１７、及びＣＣＤ（charge-coupled device）受光素子１１８は第１の撮像部に相当し、水吸収波長帯透過フィルタ１１３、レンズ１１４、及びＩｎＳｂ半導体受光素子１１５は第２の撮像部に相当する。
【００１９】
図３に示すように、第１の近赤外用カメラ１３０、水吸収帯（短波長赤外）用カメラ１４０及び第２の近赤外用カメラ１５０は治具１２０の上に固定される。近赤外用カメラ１３０は、近赤外透過フィルタ１３１、レンズ１３２及びＣＣＤ受光素子１３３を具備する。水吸収帯（短波長赤外）用カメラ１４０は、水吸収波長帯透過フィルタ１４１、レンズ１４２及びＩｎＳｂ半導体受光素子１４３を具備する。近赤外用カメラ１５０は、近赤外透過フィルタ１５１、レンズ１５２及びＣＣＤ受光素子１５３を具備する。
第１の近赤外用カメラ１３０及び第２の近赤外用カメラ１５０は、第１の撮像部に相当し、水吸収帯（短波長赤外）用カメラ１４０は、第２の撮像部に相当する。
【００２０】
近赤外透過フィルタ１１６、１３１及び１５１は、近赤外の所定の波長帯の光のみを透過する。水吸収波長帯透過フィルタ１１３及び１４１は、水が吸収する波長の光を透過する。
【００２１】
近赤外透過フィルタ１１６、１３１及び１５１としては、例えば波長８００nm以上の光のみを透過するロングパスフィルタを使用する。近赤外透過フィルタとしては、波長８００nm以上の光のみを透過するロングパスフィルタ（ＣＣＤカメラの受光波長の上限が
９００nmから１１００nmぐらいにあるため、透過領域の上限をフィルタで制限しない場
合）、又は波長８００nm以上を透過し、かつ透過周波数幅１００nm以上のバンドパスフィルタが望ましい。透過周波数幅が狭いと受光エネルギーが小さくＳ／Ｎ比が悪くなるため、波長８００nm以上を透過し、かつ透過周波数幅ができるだけ広いフィルタが望ましい。
【００２２】
水吸収波長帯透過フィルタ１１３及び１４１としては、例えば透過中心波長１４５０nm、透過周波数幅８０nmのバンドパスフィルタを使用する。植物の観測結果により、水の吸収の中心波長が１４５０nmであり、１４００から１５００nmまでは吸収の影響が大きいことが判明し、１３５０nm以下、１５５０nm以上では吸収の影響が殆ど無いことが判明したため、水吸収波長帯透過フィルタとしては、透過周波数の下端が１３５０nmより大、透過周波数の上端が１５５０nmより小で、透過周波数幅が５０nm以上のバンドパスフィルタを用いることが望ましい。
図７に、広葉樹の各波長における反射率を示す。広葉樹の各波長における反射率が図７に示すようになったため、図中の縦線で区切る範囲（四角で囲った範囲）に吸収率が高い部分（右側の２つ）と吸収率が低い部分（左側の１つ）を比較することが特徴を見つけ出すことに有効であると判断し、その範囲を利用する形で望ましい範囲を設計した。
反射率の比が大きくなるように２つの波長を選択することで、各波長での明るさの違いが大きいところを植物として検出できるようになる。
このため反射率の比が大きく異なるように２つの撮影波長を選択する。ただし、反射率が高い、低いと言う、２つのピークだけを撮影すれば良いというわけでない。ピークだけのように撮影する波長の幅が小さいと受光するエネルギーが小さくなり、S/Nが悪くなる。このため、受光する帯域幅を広く取りつつ、また、撮影する反射率の比が十分大きい（ないし十分小さい）周波数を選択すると図７中の選択部分のようになり、この範囲の中からカメラの特性やフィルタの特性を勘案して（フィルタの材質によって実現可能になるような）受光帯域を決定することになる。
両端は以下の選択基準で決定した。（１）反射率が変化している境界を両端とする。（２）変化の前後（図中の左右）における高いピークと低いピークの平均より内側での計測点を両端の限界値とする。
【００２３】
［ゲイン調節］
撮影時に各カメラが適切な明るさで撮影できるよう、ゲインを調節する。カメラに内蔵されることが多いオート・ゲイン・コントロールを有効にする、もしくは、観察対象の物体のほとんど（光源のようにスポット的な小さく輝いている部分を除いた部分）が撮影レンジに一致するように露光時間を調節する仕組みを用いても良い。
【００２４】
［座標変換］
レンズごとに視野が異なるため、同一観測点の計測値が重なるように座標変換を行う。
【００２５】
［座標変換―複板カメラを使用した場合］
図３に示す複板カメラを使用した場合には、レンズ１１４を含む光路（レンズ１１１と
レンズ１１４のレンズ群）とレンズ１１７を含む光路（レンズ１１１とレンズ１１７のレ
ンズ群）の焦点距離が異なり、ＩｎＳｂ半導体受光素子１１５上での画素間隔とＣＣＤ受光素子１１８上での画素間隔が異なるため、数１での座標変換を行い、同じ位置の画素同士の重ね合わせを行う。
【数１】
x NIR,y NIR：ＣＣＤ受光素子上での座標、
xSWIR,ySWIR：ＩｎＳｂ半導体受光素子上での座標SWIR
fx NIR,fy NIR：ＣＣＤ受光素子側レンズのx軸、y軸の焦点距離
fxSWIR,fySWIR：ＩｎＳｂ半導体受光素子側レンズのx軸、y軸の焦点距離
cx NIR,ｃy NIR：ＣＣＤ受光素子上での光軸中心座標値
cxSWIR,ｃySWIR：ＩｎＳｂ半導体受光素子上での光軸中心座標値
R:ＣＣＤ受光素子の座標からＩｎＳｂ半導体受光素子の座標への回転行列。各受光面が光軸に対して正確に垂直に設置されていれば数２に示す単位行列となる。
【数２】
【００２６】
［座標変換―複数のカメラを使用した場合］
図３に示した複数のカメラを使用する場合には、以下のようにして別の周波数間で対応するカメラ上の位置を求め、データの対応付けを行う。
図５は、複数カメラを使用した場合の処理の流れを示す。同図に示すように、ステップＳ２１（ステレオ計算）では、近赤外用カメラ１３０の各画素と目標との距離ｄを求める。Ｓ２２（三次元座標復元）では、近赤外用カメラ１３０の各画素の近赤外カメラ１３０座標における三次元位置を求める。Ｓ２３（水吸収帯カメラの座標へ変換）では、水吸収帯カメラ１４０の座標へ変換する。Ｓ２４（水吸収帯カメラ上の画素位置へ変換）では、水吸収帯カメラ１４０上の画素位置へ変換する。Ｓ２５では、対応する画素の値を読み出す。
【００２７】
［Ｓ２１：ステレオ計算］
図６は、複数カメラ間の座標変換を説明するための図である。同図に示すように、ＲNIRは、ＮＩＲカメラ１３０座標系から、ＮＩＲカメラ１５０座標系への座標の回転を表す。ＴNIRはＮＩＲカメラ１３０の座標中心から、ＮＩＲカメラ１５０の座標中心への移動を表す。
両方のカメラ上に対応する点（ＸNIR1,ＹNIR1）、（ＸNIR2,ＹNIR2）を発見できた場合、ＲNIRおよびＴNIRをあらかじめ正確に測っておくことによって[図６]のようなθ1、θ２、｜ＴNIR｜を求めることが可能であり、さらに、一辺とそれを挟む二つの角度から三角測量と同様の手段で目標までの距離を求めることができる。
θ1、θ２、｜ＴNIR｜の導出については、下記（１）〜（３）のようにして求めることができる。
（１）ＮＩＲカメラ１５０から見たＮＩＲカメラ１５０座標系での目標の方向を示すベクトルＰ2-2はカメラ１５０受光面上の位置に相当し[数４]のようになる。Ｐ2-2からθ2は、cos（θ２）＝（−ＴNIR）・Ｐ2-2／（|−ＴNIR|・|Ｐ2-2|）として求まる。
（２）ＮＩＲカメラ１３０から見たＮＩＲカメラ１５０座標系での目標の方向を示すベクトルＰ1-2は、ＮＩＲカメラ１３０受光面の方向を[数３]に示すようにＮＩＲカメラ１５０座標系に変換することで求まる。Ｐ1-2からθ1は、cos（θ1）＝ＴNIR・Ｐ1-2／(|ＴNIR|・|Ｐ1-2|）として求まる。
【数３】
ここで、Ａ1,Ａ2はレンズ・焦点パラメータであり、Ｐ1-1はＮＩＲカメラ１３０での観測位置であって［数４］で示される
（３）ＮＩＲカメラ１５０とＮＩＲカメラ１３０の視点間の距離｜ＴNIR｜はＴNIRの絶対値としてもとまる。
【数４】
ここで、Ａ1,Ａ2はレンズ・焦点パラメータであり、パラメータ行列内の各項の値の意味は[数１]と同じである。fx,fy,cx,cyがパラメータとなる[数５]の３×３行列に添え字がついている。
【数５】
ただし、添え字が対応するカメラが異なっている。
１はＮＩＲカメラ１３０に、２はＮＩＲカメラ１５０に対応する。
【００２８】
対応点は、２つの画像間でブロックマッチングによって求めても良いし、オプティカルフローによって求めても良い。また回転行列Ｒおよび、Ｔの要素を再配置したＴｘから[数６]によりＦ行列を求め、そのＦ行列によって[数７]を満たす条件に拘束された直線「エピポーラ線」上で探索して一致する画素をみつける方法を用いても良い。
【数６】
【数７】
【００２９】
［Ｓ２２：三次元座標復元］
距離ｄが求まった場合には、ＰNIR=Ｐ1・ｄとして３次元上の位置（ＮＩＲ１３０カメラ座標系）となる。
【００３０】
ここではステレオカメラにより距離を計測したが、位置関係が明らかな３Ｄのレーザレンジファインダを用いて距離を計測しても良く、距離を計測する手段は多種の手法で代替可能である。また、だいたいの3次元形状が地図やルールによって決まっている場合（殆ど起伏がないなど）その地図やルールに基づいて３Ｄ上の位置をきめて、対応点変換を行っても良い。
【００３１】
［Ｓ２３：水吸収帯カメラの座標へ変換］
ＳＷＩＲ（短波赤外）座標系へは、ＮＩＲ１３０カメラの座標中心からＳＷＩＲカメラ１４０の座標中心までの移動ベクトルＴSWIR、および、ＳＷＩＲカメラ座標系への回転成分をあらわす回転行列ＲSWIRを用いて、ＰSWIR＝ＲSWIRＰNIR＋ＴSWIRとして求める。
【００３２】
［Ｓ２４：水吸収帯カメラ上の画素位置へ変換］
n・（ＸSWIR,ＹSWIR,１)t=ＡSWIRＰSWIRとしてＳＷＩＲカメラ１４０で観測したときの座標ＰSWIRを求める。
[数８]にAswirを示す。Aswirはカメラパラメータをあらわす３×３行列であり［数１］のAswirと、各項の値の意味は同じである。焦点距離、光軸中心を示すfx,
fy, cx, cyがパラメータとなる。
【数８】
添え字SWIRはInSb半導体のSWIR帯用カメラをあらわす。
【００３３】
［Ｓ２５：対応する画素の値を読み出す］
この座標は整数であるとは限らないのでその周辺の画素からバイリニア補完で中間の画素の値を推定する。以上により対応する画素の値が求まる。
【００３４】
［反射率比］
複板カメラを使用する場合又は複数のカメラを使用する場合のいずれであっても、対応する点が見つかった後に、以下の方法により反射率比を求める。
重ね合わせる画像同士を以下のように単位時間あたりの受光光量Ｉ＝Ｖ／（Ｅ・Ｋ）で正規化した値を求め、その２つの値の商により、反射率比を求める。カメラ内での効率Qは以下に示すRefBase（反射率比を求めるための外部要因を総合した係数）に吸収してある。反射率比RefRateは、[数９]［数１０］により求まる。（ただし、Ｖ：画素値、Ｅ：露光時間、Ｋ：撮影ゲイン）
【数９】
【数１０】
RefBaseはキャリブレーション時に［数１１］のように決定する。撮影する２波長のそれぞれにおいて反射率が既知の物体（リファレンス用の板など）を観測した際の画素値をＶInitSWIR, ＶInitNIR とする。
【数１１】
Ｖtf：カメラｆ、時刻ｔの個々の画素の画素値
t=initはキャリブレーション時,NIR=近赤外,SWIR=短波長赤外線の水の吸収帯域をあらわす。
Ｅtf：カメラｆ、時刻ｔの露光時間
Ｋtf：カメラｆ、時刻ｔのゲイン
Ｒf：周波数帯域ｆでのキャリブレーション被写体の反射率（既知）。
【００３５】
光源が同じときには、カメラの撮影条件が異なっても正しい反射率比を計算しつづけることができる。
光源の分光の光量の比率が変化する場合には、画像の端にキャリブレーション用の被写体を常時撮影できるようにしておいて、キャリブレーションを常時行っても良い。キャリブレーション用の被写体とは、たとえば全ての可視から短波長赤外までで反射率の変化が５％以内となる標準反射板などである。
【００３６】
反射率比を所定の閾値と比較し、閾値以上の画素を植物の葉として、植生検出を行う。反射率比の閾値は晴れの場合には2.0〜3.0の間の値を用い、雨天の場合には2.5〜4.0の間の値を用いるよう状況に切り分けて設定するか、共通で2.5〜3.0の間の値を設定するとよい。
実験により得られた、SWIRの反射率と、NIRでの反射率の比について着目する。その結果の表２、表３から読み取ると、雨天の場合、植物の葉の部分の反射率比は４．０以上をとり、またそれ以外の部分の反射率比は２．５以下となっている。また、晴天の場合には植物の葉の部分の反射率比は３．０以上をとり、またそれ以外の部分の反射率比は２．０以下の値となっていることが読み取れる。
晴天・雨天共に同じ計算方法で判別する場合、２．５から３．０の間の値、たとえば中間値の２．７5を決め、反射率比が２．７以上と２．７未満の領域に切り分ければ、ノイズ部分を除き、前者が緑葉部分、後者がそれ以外と簡単に判断することができる。この場合、ノイズによる許容誤差量は０．２５/２．７５（約９．１％）となる。
一方、降雨センサーなどで天気（降雨の有無）が判別できる場合には、晴れの場合に閾値を２．０と３．０の中間の値、たとえば中間値の２．５と決め、反射率比が２．５以上の領域と２．５以下の領域で切り分ければ、ノイズ部分を除き、前者が緑葉部分、後者がそれ以外と簡単に判断することができ、かつ、ノイズによる許容誤差量は０．５/２．５（約２０％）となる。また、雨天場合には閾値を２．５と４．０の間の値、たとえば中間値の３．２５ときめ、反射率比が３．２５以上の領域と３．２５以下の領域で切り分ければ、ノイズ部分を除き、前者が緑葉部分、後者がそれ以外と簡単に判断することができ、かつ、ノイズによる許容誤差量は０．７５/３．２５（約２３％）となり、より安定度が増した判定装置とすることができる。
【００３７】
図８を用いて反射率比の計算について説明する。計算式は以下のようになっており、観測した画素値からリアルタイムに求めることができる。
各カメラ上の位置X,Yで得られる単位時間光量：INIR(XNIR,YNIR), ISWIR(XSWIR,YSWIR)
各カメラ上の位置X,Yの画素値：VNIR(XNIR,YNIR), VSWIR(XSWIR,YSWIR)
各カメラの露光時間：ENIR,ESWIR
各カメラのゲイン設定：KNIR,KSWIR
観測対象の座標(x,y,z)
光源の各波長での光量:LNIR,LSWIR
観測対象の各帯域での反射率RNIR(x,y,z),RSWIR(x,y,z)
観測対象の入射角（ψ）、観測角又は放射角（λ）依存の反射率D(ψ、λ)
光源から観測対象までの経路上でのロス（光源から観測対象への向きに光量分布を含む：
PNIR(x,y,z),PSWIR(x,y,z)
観測対象から受光面までの経路上でのロス：WNIR(x,y,z),WSWIR(x,y,z)
（大気中・近距離なので、レンズのF値となる）
受光面での変換効率：QNIR,QSWIR（受光面積と変換効率の積となる。）
INIR(XNIR,YNIR)=VNIR(XNIR,YNIR)/（ENIR・KNIR）
ISWIR(XSWIR,YSWIR)=VSWIR(XSWIR,YSWIR)/（ESWIR・KSWIR）
INIR(XNIR,YNIR)=LNIR・PNIR(x,y,z)・RNIR(x,y,z)・D(ψ、λ)・WNIR(x,y,z)・QNIR ・・・（A）
ISWIR(XSWIR,YNIR)=LSWIR・PSWIR(x,y,z)・RSWIR(x,y,z)・D(ψ、λ)・WSWIR(x,y,z)・QSWIR ・・・（B）
【００３８】
既知の反射特性RrefNIRを観測したときのパラメータをINIRのようにアンダーバー付きで書くと以下のようになる。
RrefNIR、RrefSWIRはそれぞれ、キャリブレーション用の既知の反射特性の物体のNIR帯での反射率とSWIR帯での反射率である。
INIR (XNIR,YNIR)/INIR＝
{LNIR・PNIR(x,y,z)・RNIR(x,y,z)・D(ψ、λ)・WNIR(x,y,z)・QNIR}/
{LNIR・PNIR(x,y,z)・RrefNIR・RNIR(x,y,z)・WNIR(x,y,z)・QNIR}
Q,Wが固定でLの変動が少ないと考えると以下のようになる。
INIR(XNIR,YNIR)/INIR＝RNIR(x,y,z)・{PNIR(x,y,z)・D(ψ,λ)/PNIR(x,y,z)・RrefNIR｝・・・（C）
ISWIR(XSWIR,YSWIR)/ISWIR＝RSWIR(x,y,z)・{PSWIR(x,y,z)・D(ψ,λ)/PSWIR(x,y,z)・RrefNIR｝・・・（D）
（C）÷（D）により
【００３９】
【数１２】
【００４０】
照明利用時には反射率が光源からの観察対象の方向に依存し、反射後の経路による減衰は無視できることから、入射光が反射して受光するまでの経路で光量変化は観察対象の角度に依存し、光の波長には依存しないため、［数１３］が成り立つ。
【数１３】
この[数１３]を[数１２]に代入することで[数１６]が得られる。
【００４１】
一方、太陽などが光源の場合には大気の影響を受けるため、[数１３]で仮定した条件は用いることができない。ここでは、経路の状態が大きく変化するまで、つまり太陽光の散乱が増減する原因となる太陽の傾きの大きな変化が無い間は[数１５]で示す条件がなりたつ。さらに、（Ｃ）÷（Ｄ）である[数１４]に、条件[数１５]を代入することにより[数１６]が得られる。
【００４２】
【数１４】
【００４３】
【数１５】
このように、照明利用時、キャリブレーション後に位置があまり変わっていない太陽光源について、ともに[数１６]の結果となる。
【００４４】
【数１６】
キャリブレーション時の条件の値をinitを添え字として表し、その時のIをV,E,Kで表した式を代入すると
【００４５】
【数１７】
とBで定義した環境条件係数を用いて［数１６］は
【００４６】
【数１８】
ともとまる。よって、反射率比RefRateは［数１９］として求める。
【００４７】
【数１９】
【００４８】
反射率比そのものに基づいて植生判定を行うのではなく、反射率比を１対１で変換する関数を用いて、判りやすくしても良い。このような関数の１つの例として、正のパラメータを０から１の間の値に変換する関数があり[数２０]に示す。
【数２０】
【００４９】
（２）反射率比については［表２］、［表３］のようにそれぞれの材質により、植物の葉が持つ値とそれ以外が持つ値について明確な差があるため、この性質を利用して識別を行う。
【表２】
【００５０】
【表３】
【００５１】
近赤外と水吸収帯の反射率比を用いることは、多種多様な組み合わせについて、実験の結果、求まった組み合わせであり、自明の組み合わせではない。候補としては最低でも以下の案が考えられ、それ以外にも細胞を構成する素材（たんぱく質、糖質）について、いくらでも調査の対象（候補）が広がってしまう。
【００５２】
（A）組織の粗さによって赤外線と紫外線の間での反射率比は変化するため、植物の細胞の密度や粗さが植物以外の物質・密度と異なることで反射率が変化する。その変化量を検出に使う案が考えられる。
砂、土では反射率比の差が見られたが、プラスチック（色とは無関係）において反射率比による判別ができないものが存在した。プラスチックの劣化防止のため紫外線吸着材が混入されているものがあるためである。
【００５３】
（B）青色(400nm〜500nm)、赤色の吸収をクロロフィルとカロチンの両方の吸収の影響を利用して植物の検出する案が考えられる。
誤検出となる色は異なるが、特許文献２に記載の技術と同様に、色素で着色したプラスチックに関して誤検出となる。
【００５４】
（C）水吸収帯の短波長赤外線を利用した吸収と近赤外の高い反射率を用いる案が考えられる。
水に濡れた土との区別ができない可能性が高いと考えられたが、実際には吸収率の大きな差があることが実験により確認されたため、本発明に結びついた。仮説の１つとして砂の場合は光が砂面で反射するため、砂面をコートしている水分しか影響しないが、植物の場合は細胞中で何度も乱反射するため、葉以上の光の経路が発生して、大きな吸収に結びついた可能性がある。実験の値においても、数mmのオーダー水を通過する場合と同等の減衰量が観測されており、この仮説の根拠となっている。
【００５５】
［変形例］
水の吸収波長は1940nmを中心とする吸収バンドもあり、そのバンドを使用することも有効である。
図７に示した広葉樹の吸収データから1900nm〜2１00nmまでは吸収の影響が大きいことが判明し、1850以下,2150nm以上では吸収の影響が小さいことが判明した。このため、1940nmを中心とする吸収バンドを使用する場合は、透過幅が50nm以上で透過幅の下端が1850nmより大、透過幅の上端が2150nm未満のバンドパスフィルタが望ましい。
【００５６】
なお、本発明は、上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲で種々に変更することができることは勿論である。
【図面の簡単な説明】
【００５７】
【図１】本発明の実施形態における植生検出装置の全体構成図である。
【図２】本発明の実施形態で使用可能な複板カメラの一例を示す図である。
【図３】本発明の実施形態で使用可能な複数カメラの一例を示す図である。
【図４】本発明の実施形態における全体的な処理の流れを示す図である。
【図５】本発明の実施形態で複数カメラを使用した場合の処理の流れを示す図である。
【図６】本発明の実施形態で複数カメラを使用した場合のカメラ間の座標変換を説明するための図である。
【図７】広葉樹の各波長における反射率を示す図である。
【図８】実際の反射率と反射率比との関係を示す図である。
【符号の説明】
【００５８】
１０ 植生検出装置
１１ 第１の撮像部
１２ 第２の撮像部
１３ 反射率比算出部
１４ 判定部
１５ 記憶部
【技術分野】
【０００１】
本発明は、植生の分布を検出する装置および方法に関する。
【背景技術】
【０００２】
従来は、可視光を用いて、色彩を駆使して、緑の部分の細かい色合いを区別して植物とそれ以外を識別していた（例えば、特許文献１参照）。
【０００３】
また、人工衛星からのリモートセンシングでよく用いられている近赤外(800〜1200nm)、赤色（600〜700nm）の２色の反射率を用いた指標NDVI(Normalized
Differenced Vegetation Index)を用いて、植物とそれ以外を判別していた（例えば、特許文献２参照）。
【特許文献１】特開２００２−１１７４０２号公報
【特許文献２】特開２００７−１８３８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１等に記載の方法では、木漏れ日のような画像中に明るいところと暗い所が存在する場合に、暗い影の部分の低い輝度値を持つ画素は階調差がつきにくいため、カメラからの出力値（RGB空間上で）の値が似たような値をとるような部分となる。一方、可視光での各色での明るさ（反射率）については赤、青と緑の比やもしくはそれを写像した色彩の値の比としては大きな差が無い（低木：赤色の反射率１８％対緑色の反射率１２％程度）。このため、このような木漏れ日の影の部分でノイズの影響による誤認識が発生しやすくなっている。
【０００５】
野外に存在する大きな構造物の材質としては、「砂」、「土」、「岩」、「コンクリート」、「アスファルト」、「プラスチック」が考えられるが、その内、「青色の付いたプラスチック」については、［表１］に示す反射率（日照下）から明らかなように、特許文献２等に記載の方法では植物と誤検出してしまう。航空写真や衛星写真ではこのようなものを判別する必要が無かったため、問題にはならなかった。なお、［表１］中のNIRは近赤外（800〜1000nmで計測）を、VISRは可視光赤色(600〜700nmで計測)を意味する。
【０００６】
【表１】
【０００７】
さらに、特許文献１、２に記載の方法では、夜間作業に対応することを考えると、サーチライトのような強力な可視光の光源を用いた投光が必要となり、周囲の作業者を強い光で幻惑したり、警備中に自分の位置を遠くまで暴露して、不審者等に裏をかかれたりする原因となる。
【課題を解決するための手段】
【０００８】
本発明は上述した問題点を解決するために創案されたものである。すなわち、木漏れ日のような画像中に明るいところと暗い所が存在する場合であっても、誤認識が発生しないようにする。また、「青色の付いたプラスチック」であっても、植物と誤検出しないようにする。さらに、サーチライトのような強力な可視光の光源を用いた投光を不要とする。
【０００９】
本発明の第１の特徴は、植生検出装置であって、（１）第１の波長帯域のみを透過させる第１の光学フィルタを有する第１の撮像部と、（２）第２の波長帯域のみを透過させる第２の光学フィルタを有する第２の撮像部と、（３）第１の撮像部によって取得された観測データに基づいて算出される反射率と、第２の撮像部によって取得された観測データに基づいて算出される反射率との比を算出する反射率比算出部と、（４）前記反射率比を所定の閾値と比較することによって、観測対象物が植物か否かを判別する判別部と、を具備することにある。
【００１０】
本発明の第２の特徴は、前記第１の波長帯域が赤外波長(800nm以上)域の水による吸収帯であって一連の連続する波長域であり、前記第２の波長帯域が前記赤外波長域の前記第１の波長帯域以外の部分であって一連の連続する波長域である。
【００１１】
本発明の第３の特徴は、（１）前記第１の波長帯域は下端が800nm以上、上端が1300nm以下であって透過幅が100nm以上の帯域であり、（２）前記第２の波長帯域は下端が1350nm以上、上端が1550nm以下又は下端が1850nm以上、上端が2150nm以下であって透過幅が50nm以上の帯域である。
【００１２】
本発明の第４の特徴は、植生検出方法であって、（１）第１の波長帯域のみを透過させる第１の光学フィルタを有する第１の撮像部によって取得された観測データに基づいて算出される反射率と、第２の波長帯域のみを透過させる第２の光学フィルタを有する第２の撮像部によって取得された観測データに基づいて算出される反射率とに基づいて反射率比を算出するステップと、（２）前記反射率比を所定の閾値と比較することによって、観測対象物が植物か否かを判別する判別するステップとを含むことにある。
本発明の第５の特徴は、前記第４の特徴において、前記第１の波長帯域が赤外波長(800nm以上)域の水による吸収帯であって一連の連続する波長域であり、前記第２の波長帯域が前記赤外波長域の前記第１の波長帯域以外の部分であって一連の連続する波長域であることにある。
【発明の効果】
【００１３】
本発明の植生検出装置によれば、（１）木漏れ日のような画像中に明るいところと暗い所が存在する場合であっても、誤認識が発生しないようにする、（２）「青色の付いたプラスチック」であっても、植物と誤検出しないようにする、（３）サーチライトのような強力な可視光の光源を用いた投光を不要とする、ことが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下本発明の好ましい実施形態について、図面を参照して説明する。なお、各図において、共通する部分には同一の符号を付し、重複した説明を省略する。
【００１５】
図１は、本発明の実施形態における植生検出装置の全体構成図である。同図に示すように、植生検出装置１０は、第１の撮像部１１、第２の撮像部１２、反射率比算出部１３、判定部１４及び記憶部１５を具備する。
第１の撮像部１１は、近赤外（Near-visible
Infra Red、以下適宜「NIR」と記載する。）800nm〜1300nmの任意の帯域を撮像する。
第２の撮像部１２は、短波赤外(Short Wave Infra
Red、以下適宜「SWIR」と記載する。)内にある水の吸収波長（1450nm±50 nm、もしくは、1940nm±100nm）を撮像する。第１の撮像部１１、第２の撮像部１２から撮影時の露光時間、ゲインも同時に取得することができる。
反射率比算出部１３は、後述する方法で、近赤外帯域における反射率と、水の吸収波長帯域における反射率との比（反射率比）を算出する。
判定部１４は、反射率比算出部１３によって算出された反射率比と記憶部１５に記憶されている閾値とを比較し、観測対象物が植物か否かを判定する。
【００１６】
図４は、本発明の実施形態における全体的な処理の流れを示す図である。同図に示すように、（１）第１の撮像部によって取得された第１の波長帯域に関する観測データに基づいて算出される反射率と、第２の撮像部によって取得された第２の波長帯域に関する観測データに基づいて算出される反射率との比（反射率比）を算出し（ステップＳ１１）、（２）前記反射率比と所定の閾値とを比較することによって、前記観測対象物が植物か否かを判別する（ステップＳ１２）。
【００１７】
［撮像部］
図２は、本発明の実施形態で使用可能な複板カメラの一例を示す。図３は、本発明の実施形態で使用可能な複数カメラの一例を示す。
図２に示すように、単一のカメラ内にハーフミラー等を備え、そのハーフミラー等で分光して撮影するとしても良い。
また図３に示すように複数のカメラが同じ方向で別の周波数帯の画像を撮影するとしても良い
【００１８】
図２に示すように、複板カメラ１１０はレンズ１１１、ハーフミラー１１２、水吸収波長帯透過フィルタ１１３、レンズ１１４、ＩｎＳｂ半導体受光素子１１５、近赤外透過フィルタ１１６、レンズ１１７、及びＣＣＤ（charge-coupled device）受光素子１１８を具備する。ハーフミラー（もしくは、ダイクロイックミラー）１１２は、特定の周波数を反射する。近赤外透過フィルタ１１６、レンズ１１７、及びＣＣＤ（charge-coupled device）受光素子１１８は第１の撮像部に相当し、水吸収波長帯透過フィルタ１１３、レンズ１１４、及びＩｎＳｂ半導体受光素子１１５は第２の撮像部に相当する。
【００１９】
図３に示すように、第１の近赤外用カメラ１３０、水吸収帯（短波長赤外）用カメラ１４０及び第２の近赤外用カメラ１５０は治具１２０の上に固定される。近赤外用カメラ１３０は、近赤外透過フィルタ１３１、レンズ１３２及びＣＣＤ受光素子１３３を具備する。水吸収帯（短波長赤外）用カメラ１４０は、水吸収波長帯透過フィルタ１４１、レンズ１４２及びＩｎＳｂ半導体受光素子１４３を具備する。近赤外用カメラ１５０は、近赤外透過フィルタ１５１、レンズ１５２及びＣＣＤ受光素子１５３を具備する。
第１の近赤外用カメラ１３０及び第２の近赤外用カメラ１５０は、第１の撮像部に相当し、水吸収帯（短波長赤外）用カメラ１４０は、第２の撮像部に相当する。
【００２０】
近赤外透過フィルタ１１６、１３１及び１５１は、近赤外の所定の波長帯の光のみを透過する。水吸収波長帯透過フィルタ１１３及び１４１は、水が吸収する波長の光を透過する。
【００２１】
近赤外透過フィルタ１１６、１３１及び１５１としては、例えば波長８００nm以上の光のみを透過するロングパスフィルタを使用する。近赤外透過フィルタとしては、波長８００nm以上の光のみを透過するロングパスフィルタ（ＣＣＤカメラの受光波長の上限が
９００nmから１１００nmぐらいにあるため、透過領域の上限をフィルタで制限しない場
合）、又は波長８００nm以上を透過し、かつ透過周波数幅１００nm以上のバンドパスフィルタが望ましい。透過周波数幅が狭いと受光エネルギーが小さくＳ／Ｎ比が悪くなるため、波長８００nm以上を透過し、かつ透過周波数幅ができるだけ広いフィルタが望ましい。
【００２２】
水吸収波長帯透過フィルタ１１３及び１４１としては、例えば透過中心波長１４５０nm、透過周波数幅８０nmのバンドパスフィルタを使用する。植物の観測結果により、水の吸収の中心波長が１４５０nmであり、１４００から１５００nmまでは吸収の影響が大きいことが判明し、１３５０nm以下、１５５０nm以上では吸収の影響が殆ど無いことが判明したため、水吸収波長帯透過フィルタとしては、透過周波数の下端が１３５０nmより大、透過周波数の上端が１５５０nmより小で、透過周波数幅が５０nm以上のバンドパスフィルタを用いることが望ましい。
図７に、広葉樹の各波長における反射率を示す。広葉樹の各波長における反射率が図７に示すようになったため、図中の縦線で区切る範囲（四角で囲った範囲）に吸収率が高い部分（右側の２つ）と吸収率が低い部分（左側の１つ）を比較することが特徴を見つけ出すことに有効であると判断し、その範囲を利用する形で望ましい範囲を設計した。
反射率の比が大きくなるように２つの波長を選択することで、各波長での明るさの違いが大きいところを植物として検出できるようになる。
このため反射率の比が大きく異なるように２つの撮影波長を選択する。ただし、反射率が高い、低いと言う、２つのピークだけを撮影すれば良いというわけでない。ピークだけのように撮影する波長の幅が小さいと受光するエネルギーが小さくなり、S/Nが悪くなる。このため、受光する帯域幅を広く取りつつ、また、撮影する反射率の比が十分大きい（ないし十分小さい）周波数を選択すると図７中の選択部分のようになり、この範囲の中からカメラの特性やフィルタの特性を勘案して（フィルタの材質によって実現可能になるような）受光帯域を決定することになる。
両端は以下の選択基準で決定した。（１）反射率が変化している境界を両端とする。（２）変化の前後（図中の左右）における高いピークと低いピークの平均より内側での計測点を両端の限界値とする。
【００２３】
［ゲイン調節］
撮影時に各カメラが適切な明るさで撮影できるよう、ゲインを調節する。カメラに内蔵されることが多いオート・ゲイン・コントロールを有効にする、もしくは、観察対象の物体のほとんど（光源のようにスポット的な小さく輝いている部分を除いた部分）が撮影レンジに一致するように露光時間を調節する仕組みを用いても良い。
【００２４】
［座標変換］
レンズごとに視野が異なるため、同一観測点の計測値が重なるように座標変換を行う。
【００２５】
［座標変換―複板カメラを使用した場合］
図３に示す複板カメラを使用した場合には、レンズ１１４を含む光路（レンズ１１１と
レンズ１１４のレンズ群）とレンズ１１７を含む光路（レンズ１１１とレンズ１１７のレ
ンズ群）の焦点距離が異なり、ＩｎＳｂ半導体受光素子１１５上での画素間隔とＣＣＤ受光素子１１８上での画素間隔が異なるため、数１での座標変換を行い、同じ位置の画素同士の重ね合わせを行う。
【数１】
x NIR,y NIR：ＣＣＤ受光素子上での座標、
xSWIR,ySWIR：ＩｎＳｂ半導体受光素子上での座標SWIR
fx NIR,fy NIR：ＣＣＤ受光素子側レンズのx軸、y軸の焦点距離
fxSWIR,fySWIR：ＩｎＳｂ半導体受光素子側レンズのx軸、y軸の焦点距離
cx NIR,ｃy NIR：ＣＣＤ受光素子上での光軸中心座標値
cxSWIR,ｃySWIR：ＩｎＳｂ半導体受光素子上での光軸中心座標値
R:ＣＣＤ受光素子の座標からＩｎＳｂ半導体受光素子の座標への回転行列。各受光面が光軸に対して正確に垂直に設置されていれば数２に示す単位行列となる。
【数２】
【００２６】
［座標変換―複数のカメラを使用した場合］
図３に示した複数のカメラを使用する場合には、以下のようにして別の周波数間で対応するカメラ上の位置を求め、データの対応付けを行う。
図５は、複数カメラを使用した場合の処理の流れを示す。同図に示すように、ステップＳ２１（ステレオ計算）では、近赤外用カメラ１３０の各画素と目標との距離ｄを求める。Ｓ２２（三次元座標復元）では、近赤外用カメラ１３０の各画素の近赤外カメラ１３０座標における三次元位置を求める。Ｓ２３（水吸収帯カメラの座標へ変換）では、水吸収帯カメラ１４０の座標へ変換する。Ｓ２４（水吸収帯カメラ上の画素位置へ変換）では、水吸収帯カメラ１４０上の画素位置へ変換する。Ｓ２５では、対応する画素の値を読み出す。
【００２７】
［Ｓ２１：ステレオ計算］
図６は、複数カメラ間の座標変換を説明するための図である。同図に示すように、ＲNIRは、ＮＩＲカメラ１３０座標系から、ＮＩＲカメラ１５０座標系への座標の回転を表す。ＴNIRはＮＩＲカメラ１３０の座標中心から、ＮＩＲカメラ１５０の座標中心への移動を表す。
両方のカメラ上に対応する点（ＸNIR1,ＹNIR1）、（ＸNIR2,ＹNIR2）を発見できた場合、ＲNIRおよびＴNIRをあらかじめ正確に測っておくことによって[図６]のようなθ1、θ２、｜ＴNIR｜を求めることが可能であり、さらに、一辺とそれを挟む二つの角度から三角測量と同様の手段で目標までの距離を求めることができる。
θ1、θ２、｜ＴNIR｜の導出については、下記（１）〜（３）のようにして求めることができる。
（１）ＮＩＲカメラ１５０から見たＮＩＲカメラ１５０座標系での目標の方向を示すベクトルＰ2-2はカメラ１５０受光面上の位置に相当し[数４]のようになる。Ｐ2-2からθ2は、cos（θ２）＝（−ＴNIR）・Ｐ2-2／（|−ＴNIR|・|Ｐ2-2|）として求まる。
（２）ＮＩＲカメラ１３０から見たＮＩＲカメラ１５０座標系での目標の方向を示すベクトルＰ1-2は、ＮＩＲカメラ１３０受光面の方向を[数３]に示すようにＮＩＲカメラ１５０座標系に変換することで求まる。Ｐ1-2からθ1は、cos（θ1）＝ＴNIR・Ｐ1-2／(|ＴNIR|・|Ｐ1-2|）として求まる。
【数３】
ここで、Ａ1,Ａ2はレンズ・焦点パラメータであり、Ｐ1-1はＮＩＲカメラ１３０での観測位置であって［数４］で示される
（３）ＮＩＲカメラ１５０とＮＩＲカメラ１３０の視点間の距離｜ＴNIR｜はＴNIRの絶対値としてもとまる。
【数４】
ここで、Ａ1,Ａ2はレンズ・焦点パラメータであり、パラメータ行列内の各項の値の意味は[数１]と同じである。fx,fy,cx,cyがパラメータとなる[数５]の３×３行列に添え字がついている。
【数５】
ただし、添え字が対応するカメラが異なっている。
１はＮＩＲカメラ１３０に、２はＮＩＲカメラ１５０に対応する。
【００２８】
対応点は、２つの画像間でブロックマッチングによって求めても良いし、オプティカルフローによって求めても良い。また回転行列Ｒおよび、Ｔの要素を再配置したＴｘから[数６]によりＦ行列を求め、そのＦ行列によって[数７]を満たす条件に拘束された直線「エピポーラ線」上で探索して一致する画素をみつける方法を用いても良い。
【数６】
【数７】
【００２９】
［Ｓ２２：三次元座標復元］
距離ｄが求まった場合には、ＰNIR=Ｐ1・ｄとして３次元上の位置（ＮＩＲ１３０カメラ座標系）となる。
【００３０】
ここではステレオカメラにより距離を計測したが、位置関係が明らかな３Ｄのレーザレンジファインダを用いて距離を計測しても良く、距離を計測する手段は多種の手法で代替可能である。また、だいたいの3次元形状が地図やルールによって決まっている場合（殆ど起伏がないなど）その地図やルールに基づいて３Ｄ上の位置をきめて、対応点変換を行っても良い。
【００３１】
［Ｓ２３：水吸収帯カメラの座標へ変換］
ＳＷＩＲ（短波赤外）座標系へは、ＮＩＲ１３０カメラの座標中心からＳＷＩＲカメラ１４０の座標中心までの移動ベクトルＴSWIR、および、ＳＷＩＲカメラ座標系への回転成分をあらわす回転行列ＲSWIRを用いて、ＰSWIR＝ＲSWIRＰNIR＋ＴSWIRとして求める。
【００３２】
［Ｓ２４：水吸収帯カメラ上の画素位置へ変換］
n・（ＸSWIR,ＹSWIR,１)t=ＡSWIRＰSWIRとしてＳＷＩＲカメラ１４０で観測したときの座標ＰSWIRを求める。
[数８]にAswirを示す。Aswirはカメラパラメータをあらわす３×３行列であり［数１］のAswirと、各項の値の意味は同じである。焦点距離、光軸中心を示すfx,
fy, cx, cyがパラメータとなる。
【数８】
添え字SWIRはInSb半導体のSWIR帯用カメラをあらわす。
【００３３】
［Ｓ２５：対応する画素の値を読み出す］
この座標は整数であるとは限らないのでその周辺の画素からバイリニア補完で中間の画素の値を推定する。以上により対応する画素の値が求まる。
【００３４】
［反射率比］
複板カメラを使用する場合又は複数のカメラを使用する場合のいずれであっても、対応する点が見つかった後に、以下の方法により反射率比を求める。
重ね合わせる画像同士を以下のように単位時間あたりの受光光量Ｉ＝Ｖ／（Ｅ・Ｋ）で正規化した値を求め、その２つの値の商により、反射率比を求める。カメラ内での効率Qは以下に示すRefBase（反射率比を求めるための外部要因を総合した係数）に吸収してある。反射率比RefRateは、[数９]［数１０］により求まる。（ただし、Ｖ：画素値、Ｅ：露光時間、Ｋ：撮影ゲイン）
【数９】
【数１０】
RefBaseはキャリブレーション時に［数１１］のように決定する。撮影する２波長のそれぞれにおいて反射率が既知の物体（リファレンス用の板など）を観測した際の画素値をＶInitSWIR, ＶInitNIR とする。
【数１１】
Ｖtf：カメラｆ、時刻ｔの個々の画素の画素値
t=initはキャリブレーション時,NIR=近赤外,SWIR=短波長赤外線の水の吸収帯域をあらわす。
Ｅtf：カメラｆ、時刻ｔの露光時間
Ｋtf：カメラｆ、時刻ｔのゲイン
Ｒf：周波数帯域ｆでのキャリブレーション被写体の反射率（既知）。
【００３５】
光源が同じときには、カメラの撮影条件が異なっても正しい反射率比を計算しつづけることができる。
光源の分光の光量の比率が変化する場合には、画像の端にキャリブレーション用の被写体を常時撮影できるようにしておいて、キャリブレーションを常時行っても良い。キャリブレーション用の被写体とは、たとえば全ての可視から短波長赤外までで反射率の変化が５％以内となる標準反射板などである。
【００３６】
反射率比を所定の閾値と比較し、閾値以上の画素を植物の葉として、植生検出を行う。反射率比の閾値は晴れの場合には2.0〜3.0の間の値を用い、雨天の場合には2.5〜4.0の間の値を用いるよう状況に切り分けて設定するか、共通で2.5〜3.0の間の値を設定するとよい。
実験により得られた、SWIRの反射率と、NIRでの反射率の比について着目する。その結果の表２、表３から読み取ると、雨天の場合、植物の葉の部分の反射率比は４．０以上をとり、またそれ以外の部分の反射率比は２．５以下となっている。また、晴天の場合には植物の葉の部分の反射率比は３．０以上をとり、またそれ以外の部分の反射率比は２．０以下の値となっていることが読み取れる。
晴天・雨天共に同じ計算方法で判別する場合、２．５から３．０の間の値、たとえば中間値の２．７5を決め、反射率比が２．７以上と２．７未満の領域に切り分ければ、ノイズ部分を除き、前者が緑葉部分、後者がそれ以外と簡単に判断することができる。この場合、ノイズによる許容誤差量は０．２５/２．７５（約９．１％）となる。
一方、降雨センサーなどで天気（降雨の有無）が判別できる場合には、晴れの場合に閾値を２．０と３．０の中間の値、たとえば中間値の２．５と決め、反射率比が２．５以上の領域と２．５以下の領域で切り分ければ、ノイズ部分を除き、前者が緑葉部分、後者がそれ以外と簡単に判断することができ、かつ、ノイズによる許容誤差量は０．５/２．５（約２０％）となる。また、雨天場合には閾値を２．５と４．０の間の値、たとえば中間値の３．２５ときめ、反射率比が３．２５以上の領域と３．２５以下の領域で切り分ければ、ノイズ部分を除き、前者が緑葉部分、後者がそれ以外と簡単に判断することができ、かつ、ノイズによる許容誤差量は０．７５/３．２５（約２３％）となり、より安定度が増した判定装置とすることができる。
【００３７】
図８を用いて反射率比の計算について説明する。計算式は以下のようになっており、観測した画素値からリアルタイムに求めることができる。
各カメラ上の位置X,Yで得られる単位時間光量：INIR(XNIR,YNIR), ISWIR(XSWIR,YSWIR)
各カメラ上の位置X,Yの画素値：VNIR(XNIR,YNIR), VSWIR(XSWIR,YSWIR)
各カメラの露光時間：ENIR,ESWIR
各カメラのゲイン設定：KNIR,KSWIR
観測対象の座標(x,y,z)
光源の各波長での光量:LNIR,LSWIR
観測対象の各帯域での反射率RNIR(x,y,z),RSWIR(x,y,z)
観測対象の入射角（ψ）、観測角又は放射角（λ）依存の反射率D(ψ、λ)
光源から観測対象までの経路上でのロス（光源から観測対象への向きに光量分布を含む：
PNIR(x,y,z),PSWIR(x,y,z)
観測対象から受光面までの経路上でのロス：WNIR(x,y,z),WSWIR(x,y,z)
（大気中・近距離なので、レンズのF値となる）
受光面での変換効率：QNIR,QSWIR（受光面積と変換効率の積となる。）
INIR(XNIR,YNIR)=VNIR(XNIR,YNIR)/（ENIR・KNIR）
ISWIR(XSWIR,YSWIR)=VSWIR(XSWIR,YSWIR)/（ESWIR・KSWIR）
INIR(XNIR,YNIR)=LNIR・PNIR(x,y,z)・RNIR(x,y,z)・D(ψ、λ)・WNIR(x,y,z)・QNIR ・・・（A）
ISWIR(XSWIR,YNIR)=LSWIR・PSWIR(x,y,z)・RSWIR(x,y,z)・D(ψ、λ)・WSWIR(x,y,z)・QSWIR ・・・（B）
【００３８】
既知の反射特性RrefNIRを観測したときのパラメータをINIRのようにアンダーバー付きで書くと以下のようになる。
RrefNIR、RrefSWIRはそれぞれ、キャリブレーション用の既知の反射特性の物体のNIR帯での反射率とSWIR帯での反射率である。
INIR (XNIR,YNIR)/INIR＝
{LNIR・PNIR(x,y,z)・RNIR(x,y,z)・D(ψ、λ)・WNIR(x,y,z)・QNIR}/
{LNIR・PNIR(x,y,z)・RrefNIR・RNIR(x,y,z)・WNIR(x,y,z)・QNIR}
Q,Wが固定でLの変動が少ないと考えると以下のようになる。
INIR(XNIR,YNIR)/INIR＝RNIR(x,y,z)・{PNIR(x,y,z)・D(ψ,λ)/PNIR(x,y,z)・RrefNIR｝・・・（C）
ISWIR(XSWIR,YSWIR)/ISWIR＝RSWIR(x,y,z)・{PSWIR(x,y,z)・D(ψ,λ)/PSWIR(x,y,z)・RrefNIR｝・・・（D）
（C）÷（D）により
【００３９】
【数１２】
【００４０】
照明利用時には反射率が光源からの観察対象の方向に依存し、反射後の経路による減衰は無視できることから、入射光が反射して受光するまでの経路で光量変化は観察対象の角度に依存し、光の波長には依存しないため、［数１３］が成り立つ。
【数１３】
この[数１３]を[数１２]に代入することで[数１６]が得られる。
【００４１】
一方、太陽などが光源の場合には大気の影響を受けるため、[数１３]で仮定した条件は用いることができない。ここでは、経路の状態が大きく変化するまで、つまり太陽光の散乱が増減する原因となる太陽の傾きの大きな変化が無い間は[数１５]で示す条件がなりたつ。さらに、（Ｃ）÷（Ｄ）である[数１４]に、条件[数１５]を代入することにより[数１６]が得られる。
【００４２】
【数１４】
【００４３】
【数１５】
このように、照明利用時、キャリブレーション後に位置があまり変わっていない太陽光源について、ともに[数１６]の結果となる。
【００４４】
【数１６】
キャリブレーション時の条件の値をinitを添え字として表し、その時のIをV,E,Kで表した式を代入すると
【００４５】
【数１７】
とBで定義した環境条件係数を用いて［数１６］は
【００４６】
【数１８】
ともとまる。よって、反射率比RefRateは［数１９］として求める。
【００４７】
【数１９】
【００４８】
反射率比そのものに基づいて植生判定を行うのではなく、反射率比を１対１で変換する関数を用いて、判りやすくしても良い。このような関数の１つの例として、正のパラメータを０から１の間の値に変換する関数があり[数２０]に示す。
【数２０】
【００４９】
（２）反射率比については［表２］、［表３］のようにそれぞれの材質により、植物の葉が持つ値とそれ以外が持つ値について明確な差があるため、この性質を利用して識別を行う。
【表２】
【００５０】
【表３】
【００５１】
近赤外と水吸収帯の反射率比を用いることは、多種多様な組み合わせについて、実験の結果、求まった組み合わせであり、自明の組み合わせではない。候補としては最低でも以下の案が考えられ、それ以外にも細胞を構成する素材（たんぱく質、糖質）について、いくらでも調査の対象（候補）が広がってしまう。
【００５２】
（A）組織の粗さによって赤外線と紫外線の間での反射率比は変化するため、植物の細胞の密度や粗さが植物以外の物質・密度と異なることで反射率が変化する。その変化量を検出に使う案が考えられる。
砂、土では反射率比の差が見られたが、プラスチック（色とは無関係）において反射率比による判別ができないものが存在した。プラスチックの劣化防止のため紫外線吸着材が混入されているものがあるためである。
【００５３】
（B）青色(400nm〜500nm)、赤色の吸収をクロロフィルとカロチンの両方の吸収の影響を利用して植物の検出する案が考えられる。
誤検出となる色は異なるが、特許文献２に記載の技術と同様に、色素で着色したプラスチックに関して誤検出となる。
【００５４】
（C）水吸収帯の短波長赤外線を利用した吸収と近赤外の高い反射率を用いる案が考えられる。
水に濡れた土との区別ができない可能性が高いと考えられたが、実際には吸収率の大きな差があることが実験により確認されたため、本発明に結びついた。仮説の１つとして砂の場合は光が砂面で反射するため、砂面をコートしている水分しか影響しないが、植物の場合は細胞中で何度も乱反射するため、葉以上の光の経路が発生して、大きな吸収に結びついた可能性がある。実験の値においても、数mmのオーダー水を通過する場合と同等の減衰量が観測されており、この仮説の根拠となっている。
【００５５】
［変形例］
水の吸収波長は1940nmを中心とする吸収バンドもあり、そのバンドを使用することも有効である。
図７に示した広葉樹の吸収データから1900nm〜2１00nmまでは吸収の影響が大きいことが判明し、1850以下,2150nm以上では吸収の影響が小さいことが判明した。このため、1940nmを中心とする吸収バンドを使用する場合は、透過幅が50nm以上で透過幅の下端が1850nmより大、透過幅の上端が2150nm未満のバンドパスフィルタが望ましい。
【００５６】
なお、本発明は、上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲で種々に変更することができることは勿論である。
【図面の簡単な説明】
【００５７】
【図１】本発明の実施形態における植生検出装置の全体構成図である。
【図２】本発明の実施形態で使用可能な複板カメラの一例を示す図である。
【図３】本発明の実施形態で使用可能な複数カメラの一例を示す図である。
【図４】本発明の実施形態における全体的な処理の流れを示す図である。
【図５】本発明の実施形態で複数カメラを使用した場合の処理の流れを示す図である。
【図６】本発明の実施形態で複数カメラを使用した場合のカメラ間の座標変換を説明するための図である。
【図７】広葉樹の各波長における反射率を示す図である。
【図８】実際の反射率と反射率比との関係を示す図である。
【符号の説明】
【００５８】
１０ 植生検出装置
１１ 第１の撮像部
１２ 第２の撮像部
１３ 反射率比算出部
１４ 判定部
１５ 記憶部
【特許請求の範囲】
【請求項１】
第１の波長帯域のみを透過させる第１の光学フィルタを有する第１の撮像部と、
第２の波長帯域のみを透過させる第２の光学フィルタを有する第２の撮像部と、
第１の撮像部によって取得された観測データに基づいて算出される反射率と、第２の撮像部によって取得された観測データに基づいて算出される反射率との比を算出する反射率比算出部と、
前記反射率比を所定の閾値と比較することによって、観測対象物が植物か否かを判別する判別部と、
を具備することを特徴とする植生検出装置。
【請求項２】
前記第１の波長帯域が赤外波長(800nm以上)域の水による吸収帯であって一連の連続する波長域であり、前記第２の波長帯域が前記赤外波長域の前記第１の波長帯域以外の部分であって一連の連続する波長域であることを特徴とする請求項１に記載の植生検出装置。
【請求項３】
前記第１の波長帯域は下端が800nm以上、上端が1300nm以下であって透過幅が100nm以上の帯域であり、前記第２の波長帯域は下端が1350nm以上、上端が1550nm以下又は下端が1850nm以上、上端が2150nm以下であって透過幅が50nm以上の帯域であることを特徴とする請求項１に記載の植生検出装置。
【請求項４】
第１の波長帯域のみを透過させる第１の光学フィルタを有する第１の撮像部によって取得された観測データに基づいて算出される反射率と、第２の波長帯域のみを透過させる第２の光学フィルタを有する第２の撮像部によって取得された観測データに基づいて算出される反射率とに基づいて反射率比を算出するステップと、
前記反射率比を所定の閾値と比較することによって、観測対象物が植物か否かを判別する判別するステップと、
を含むことを特徴とする植生検出方法。
【請求項５】
前記第１の波長帯域が赤外波長(800nm以上)域の水による吸収帯であって一連の連続する波長域であり、前記第２の波長帯域が前記赤外波長域の前記第１の波長帯域以外の部分であって一連の連続する波長域であることを特徴とする請求項４に記載の植生検出方法。
【請求項１】
第１の波長帯域のみを透過させる第１の光学フィルタを有する第１の撮像部と、
第２の波長帯域のみを透過させる第２の光学フィルタを有する第２の撮像部と、
第１の撮像部によって取得された観測データに基づいて算出される反射率と、第２の撮像部によって取得された観測データに基づいて算出される反射率との比を算出する反射率比算出部と、
前記反射率比を所定の閾値と比較することによって、観測対象物が植物か否かを判別する判別部と、
を具備することを特徴とする植生検出装置。
【請求項２】
前記第１の波長帯域が赤外波長(800nm以上)域の水による吸収帯であって一連の連続する波長域であり、前記第２の波長帯域が前記赤外波長域の前記第１の波長帯域以外の部分であって一連の連続する波長域であることを特徴とする請求項１に記載の植生検出装置。
【請求項３】
前記第１の波長帯域は下端が800nm以上、上端が1300nm以下であって透過幅が100nm以上の帯域であり、前記第２の波長帯域は下端が1350nm以上、上端が1550nm以下又は下端が1850nm以上、上端が2150nm以下であって透過幅が50nm以上の帯域であることを特徴とする請求項１に記載の植生検出装置。
【請求項４】
第１の波長帯域のみを透過させる第１の光学フィルタを有する第１の撮像部によって取得された観測データに基づいて算出される反射率と、第２の波長帯域のみを透過させる第２の光学フィルタを有する第２の撮像部によって取得された観測データに基づいて算出される反射率とに基づいて反射率比を算出するステップと、
前記反射率比を所定の閾値と比較することによって、観測対象物が植物か否かを判別する判別するステップと、
を含むことを特徴とする植生検出方法。
【請求項５】
前記第１の波長帯域が赤外波長(800nm以上)域の水による吸収帯であって一連の連続する波長域であり、前記第２の波長帯域が前記赤外波長域の前記第１の波長帯域以外の部分であって一連の連続する波長域であることを特徴とする請求項４に記載の植生検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００９−２８１９３１（Ｐ２００９−２８１９３１Ａ）
【公開日】平成２１年１２月３日（２００９．１２．３）
【国際特許分類】
【出願番号】特願２００８−１３５７１３（Ｐ２００８−１３５７１３）
【出願日】平成２０年５月２３日（２００８．５．２３）
【出願人】（０００００００９９）株式会社ＩＨＩ (5,014)
【出願人】（５００３０２５５２）株式会社ＩＨＩエアロスペース (298)
【Ｆターム（参考）】
【公開日】平成２１年１２月３日（２００９．１２．３）
【国際特許分類】
【出願日】平成２０年５月２３日（２００８．５．２３）
【出願人】（０００００００９９）株式会社ＩＨＩ (5,014)
【出願人】（５００３０２５５２）株式会社ＩＨＩエアロスペース (298)
【Ｆターム（参考）】
[ Back to top ]