説明

植物の葉片の成長を測定するための方法およびそれに適した装置

本発明は、葉片の成長を測定するための方法および装置に関する。この方法は、a)撮影システムを較正するステップと、b)1枚の葉片の少なくとも2枚の画像を撮像するステップと、c)画像データを処理するステップであって、i)しきい値セグメント化によって葉片をセグメント化することと、ii)複数回の形態学的侵食を行うことと、iii)保管容器の縁部を除去するためにエッジ補正することとを含むステップと、d)3D再構成:ステレオアルゴリズムによって視差マップを生成し、事前に特定された較正パラメータに基づいて、視差マップから3D表面モデルを計算するステップと、e)事前に取得された表面モデルを平滑化するステップと、f)面積値の時系列から成長率を算出するステップとによって特徴付けられる。この装置は、少なくとも1台のカメラと、照明ユニットと、カメラおよび(赤外線)照明用のX/Y平面でのスライドテーブルと、葉片用の保管容器と、電子的解析および制御ユニットとを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、葉片の成長を測定するための方法およびそれに適した装置に関する。
【背景技術】
【0002】
植物の成長は、重要な栽培特性の1つであり、代謝過程および成長に対する作用物質の影響の研究において非常に興味深いものである。
【0003】
植物をそのまま(ganz)使用する場合には、広い面積が必要となる。さらに、葉をそのまま測定するのに適しているのは、特定の成長形態(とりわけロゼット植物;非特許文献1)のみである。植物が年を取るにつれて日陰となる部分が増加するため、そのような方法は、非常に若い段階の植物に使用が限定される。
【0004】
従来技術によれば、植物そのままではなく、打ち抜かれた葉片も使用されている。打ち抜かれた葉片は、適切な栄養液中でさらに数日間成長する(非特許文献2)。それにより、場所を取らずに、多くの植物の成長の測定を高いスループットで行うことができる。さらに、葉片は、作用物質を容易に使用できるようにする。
【0005】
葉の成長を光学的に測定するための従来の方法は、通常、植物をそのまま使用する。個々の植物の表面の光学的決定は、2次元で、すなわち投影された葉片を測定することによって(非特許文献3;非特許文献1)、または3次元で、すなわちレーザスキャンまたはステレオカメラによって得られる表面モデルによって(非特許文献4)行われる。さらに、固定台の上に載せた葉片の面積を測定するための市販のシステムが存在する(例えば、LemnaTec GmbH)。そのようなシステムは、例えば、草食動物による食い荒らし被害、または細菌病によって引き起こされる被害の定量化に使用される。
【0006】
固定台は成長を大きく妨げるので、成長実験のためには、葉片が溶液中で自由に浮動しなければならない。実験が進むうちに流体水位が低下すると、投影面積が減少し、実際の面積増加分がそこに重なる。したがって、2Dでの従来の光学的測定法は、実際の成長率を求めることができない。高い成長率の葉片の場合、流体水位の低下は、実際の成長率の過小評価をもたらすだけであるが、(水位低下によって見掛け上は負の成長が測定されるようなオーダーの値を有する)低い成長率の葉片では、有意な測定を全く行うことができない。多くの植物が、1日の間に顕著な成長過程を示すので、実際の成長率の測定が非常に重要である。
【0007】
葉片が斜めに置かれているとき、または湾曲しているとき(これは例えば植物ホルモンの作用下で生じる)、投影面積がより小さくなる。したがって、非ステレオ法を用いた成長の測定も可能でない。
【先行技術文献】
【非特許文献】
【0008】
【非特許文献1】Walter A., Scharr H., Gilmer F., Zierer R., Nagel K. A., Ernst M., Wiese A., Virnich O., Christ M. M., Uhlig B., Juenger S. & Schurr U. (2007) Dynamics of seedling growth acclimation towards altered light conditions can be quantified via GROWSCREEN: a setup and procedure designed for rapid optical phenotyping of different plant species. New Phytol. 174, 447−455.
【非特許文献2】Walter A. (2000) Raeumliche und zeitliche Wachstumsmuster in Wurzeln und Blaettern dikotyler Pflanzen. Dissertation, Univ. Heidelberg.
【非特許文献3】Granier C, Aguirrezabal L., Chenu K., Cookson S. J., Dauzat M., Hamard P., Thioux J., Rolland G., Bouchier−Combaud S., Lebaudy A., Muller B., Simonneau T. & Tardieu F. (2006) PHENOPSIS, an automated platform for reproducible phenotyping of plant responses to soil water deficit in Arabidopsis thaliana permitted the identification of an accession with low sensitivity to soil water deficit. New Phytol. 169, 623−635.
【非特許文献4】Kaminuma E., Heida N., Tsumoto Y., Yamamoto N., Goto N., Okamoto N., Konagaya A., Matsui M., and Toyoda T. (2004) Automatic quantification of morphological traits via three−dimensional measurement of Arabidopsis. Plant J. 38, 358−65.
【非特許文献5】Bouguet 2005
【非特許文献6】Faugeras et al. 1996
【非特許文献7】Scharr et al., 2007
【非特許文献8】Scharr H. (2004). Optimal filters for extended optical flow. In International Workshop on Complex Motion (IWCM) 14−29.
【非特許文献9】Jaehne B. (2002) Digital Image Processing (3rd ed.): Concepts, algorithms, and scientific applications. Springer−Verlag, London, UK
【非特許文献10】Biskup B., Scharr H., Schurr U. & Rascher U. (2007) A Stereo imaging System for measuring structural parameters of plant canopies. Plant, Cell and Environ. 30, 1299−1308.
【非特許文献11】Knutson & Westin, 1993
【非特許文献12】Jenness JS (2004) Calculating landscape surface area from digital elevation modeis. Wildlife Society Bulletin 32, 829−839
【非特許文献13】Russ J. C. (2002) The image processing handbook. CRC Press, Inc., Boca Raton, FL
【非特許文献14】Ellis CA. (1999) Workflow technology. In: Beaudouin−Lafon, M. (Ed.), Computer Supported Co−operative Work Trends in Software 7, 29−54. John Wiley & Sons Ltd., Chichester, UK
【非特許文献15】Zhang Z. (1999) Flexible camera calibration by viewing a plane from unknown orientations. In: Int. J. Comput. Vision 666−673.
【非特許文献16】Zhang Z. (2000) A flexible new technique for camera calibration. IEEE T. Pattern Anal. 22: 1330−1334.
【非特許文献17】Dijkstra E.W. (1959) A note on two problems in connexion with graphs. Numer. Math. 1: 269−271
【非特許文献18】Faugeras O., Hotz B., Mathieu H., Vieville T., Zhang Z., Fua P., Theron E., Moll L., Berry G., Vuillemin J., Bertin P., Proy C. (1993) Real time correlation−based Stereo: algorithm implementations and applications. Technical Report 2013, INRIA Sophia Antipolis
【非特許文献19】Hartley and Zisserman, 2004
【非特許文献20】Trucco and Verri, 1998
【非特許文献21】Klette R., Zamperoni P., (1995) Handbuch der Operatoren fuer die Bildverarbeitung. Braunschweig−Vieweg, 2.Aufl.
【非特許文献22】Walter A, Schurr U (1999) The modular character of growth in Nicotiana tabacum plants under steady−state nutrition. J. Exp. Bot. 50: 1 169−1177
【非特許文献23】Van Rossum, 2006
【発明の概要】
【発明が解決しようとする課題】
【0009】
したがって、本発明の課題は、成長(すなわち葉片の面積成長)を正確に測定し、1日の間の成長のダイナミクスを解明することができるようにする方法を提供することである。さらに、本発明の目的は、多様な植物種の標準化された成長測定を行うことができるようにすることである。
【課題を解決するための手段】
【0010】
この課題は、本発明によれば、請求項1の前提部を基に、請求項1の特徴部に記載の特徴によって解決される。さらに、この課題は、本発明によれば、請求項7の前提部を基に、請求項7の特徴部に記載の特徴によって解決される。
【0011】
本発明による方法および装置を用いて、高いスループットで、例えば約500枚の葉片という標本量で成長測定を行うことができ、その際、成長および約1〜1.5時間の間隔での1日の間の成長のダイナミクスを把握または解明することができることが示された。本発明による方法および装置は、時間に関して高い分解能での葉片成長の分析を可能にする。本方法および装置は、調節および較正後、さらに手を加える必要はなく、人手をかけずに自動で2〜5日から約2週間にわたって動作させることができる。
【0012】
本発明による方法および装置により、葉片に基づいて、植物の(光学的検出に関する)実際の成長率を実現することができる。これは、これまで、従来技術で知られている光学的測定法では可能でなかった。
【0013】
本発明の方法は、葉片の成長を測定するための方法であって、以下の方法ステップを特徴とする方法に関する。
【0014】
1.撮影システムの較正:
カメラの較正は、例えば非特許文献5に従って標準的な方法で行うことができる。しかし、従来技術により知られている別の方法も可能である。カメラ位置の相対位置が事前に与えられているので、別途のステレオ較正は必要ない。後の3D再構成のために、較正パラメータが分かっている必要がある。このステップで決定されるパラメータは、焦点距離、中心点(=光軸と像面の交点)、半径方向および接線方向歪みである。
【0015】
2.撮像:
選択するステレオ法に応じて、1枚の葉片につき、a)相関ベースの方法(非特許文献6)では2枚の画像を撮影することができ、b)微分フィルタによってオプティカルフローを求める方法(非特許文献7)では3つ以上の画像を撮影することができる。本方法において画像数をより多くすると、系統的誤差を大幅に減少させることができるようになる(非特許文献8)。上記のカメラを第3のスライドテーブルによって摺動させることによって、十分に小さいステレオ基線が実現される。第3のスライドテーブルの代わりに、2台のカメラを使用することもできる。カメラとしては、例えば産業用カメラまたはステレオカメラを使用することができる。
【0016】
3.画像データの処理:
画像データを解析するために、栄養液中で自由に浮動する葉片と背景とを区別しなければならず、または葉片の画像データをセグメント化しなければならない。赤外線フィルタを使用するので、セグメント化のためにグレースケール画像しか使用することができない。
【0017】
まず、a)しきい値セグメント化(例えば、非特許文献9)を行う。従来技術で知られているしきい値セグメント化のための別の方法も適している。この場合、画素が順次に選択されて、背景か葉片かに従って選別される。
【0018】
その後、はじめに、b)複数回の形態学的侵食ステップによって縁部領域(例えば容器の壁、流体表面での反射)を除去し、次いで、残っている物体を(画素単位で)最小限の大きさで選択することによって、葉片と考えられる部分を識別する。
【0019】
次いで、c)葉片が入っている容器の縁部を除外するエッジ補正を行う。(図9参照)。
【0020】
4.3D再構成:
ステレオアルゴリズム(例えば、非特許文献10)によって、視差マップを作成する。
【0021】
ステレオカメラ、ステレオビジョン、深さ画像解析に関連して視差があり、あるいはまた2つの異なる像面上での投影図中で同一の物体が占める位置のオフセットのずれがある。その際、像面に属する焦点は、基線長(Basis)bによって空間的に互いに分離される。次いで、2つのレンズの焦点距離fを用いて、以下の関係が得られる:r=bf/D。ここで、Dは視差を表す。したがって、ステレオ画像における視差の測定により、物体に対する距離rを算出することができる。
【0022】
視差画像の後処理
外れ値、すなわち周辺の点から大きくかけ離れた個々の3D点を、メジアンフィルタ(例えば、非特許文献9)によって除去する。例えばコントラストが低すぎるために視差評価が可能でない領域は、正規化された畳み込み(非特許文献11)によって閉じる。次いで、事前に決定された較正パラメータに基づいて、視差マップから3D表面モデルを計算する(例えば、非特許文献12)。
【0023】
5.表面の平滑化および測定:
雑音による面積測定の過大評価を妨げるために、前に得られた表面モデルを、Z画像のガウスフィルタ処理によって平滑化する(例えば、非特許文献9)。
【0024】
6.成長率:
相対成長率を、面積値の時系列から求める。測定した成長率は、さらなる解析のためにデータバンク内に用意しておく。
【0025】
本発明の核心は、正確な面積測定を可能にする葉片の3D表面モデルが得られるステレオ撮像の使用である。
【0026】
葉片を、例えば水平な面上でマイクロタイタープレートまたはペトリ皿に載せる。少なくとも1台のカメラと、LEDアレイと、スライドテーブルとからなる撮影システムによって、葉片の光学的検出を行う。X−Y−スライドテーブルによって、カメラシステムをそれぞれの葉片の上に位置決めすることができる。カメラシステムは、例えば、撮影対象の植物を均質に照明する複数の赤外LED照明群からなる。照明の位置は静止したままであり、一方、様々なカメラの位置は3基のスライドテーブルによって移動される。植物への生理学的な作用を避けるために、撮像用の照明が赤外範囲内で行われることが好ましい。それに対応して、外部照明に依存せずにできるだけ一定の照明強度を保証するために、カメラに赤外線フィルタが装備される。光合成で利用できる波長を放出する蛍光灯または別の光源によって、規定の明暗周期で光合成活性照明を行うことができる。規定の温度および湿度を保証するために、この方法は人工気候室内で実施することができる。
【0027】
本発明による方法は、例えば約500枚の葉片の同時測定を可能にする。様々な作用物質を用いた実験から、除草剤作用の下で成長率がより低い場合に、本発明による方法によって正確な(すなわち投影効果によって歪曲されていない)成長率が求められることが示されている。それに対して、投影面積を使用する場合には、除草剤作用の下では、見掛け上は負の成長率が生じた。
【0028】
例えば、ベルトコンベアによって、周期的に測定されるマイクロタイタープレートの数を増加させることができる。
【0029】
例えば、マイクロタイタープレート用の保管装置およびロボットアームによって、周期的に測定されるマイクロタイタープレートの数を増加させることができる。
【0030】
本発明による装置は、大型で高価な人工気候室ではなく、例えば空調管理された筐体内に置くことができる。それにより、本発明による方法および装置は、例えば空調管理されていない実験室で、ほぼ自立式に使用可能である。
【0031】
さらに、本発明は、上述した方法に適した装置に関する。
【0032】
この装置は、赤外線フィルタを有する少なくとも1台のカメラと、赤外線照明と、カメラおよび赤外線照明用のX/Y平面内でのスライドテーブルと、葉片用の保管容器と、電子解析および制御ユニットとを備える。
【0033】
有利な発展形態は、従属請求項に記載される。
【0034】
図面は、本発明による方法および装置の例示的実施形態、ならびに成長測定の結果を示す。
【図面の簡単な説明】
【0035】
【図1】撮影システムを備える概略構造を示す図である。X、Y、およびX2=スライドテーブル;Xスライドテーブルは構造に取り付けられている。矢印=スライドテーブルの移動方向;L=赤外線ランプ;C=カメラ。
【図2】葉片が入っているマイクロタイタープレートの上に配置された、4つのLEDアレイによって取り囲まれたカメラを示す図である。
【図3】赤外線照明で撮影された395枚の個別画像からなる概要画像を示す図である。
【図4】溶液上で浮動するタバコ(Nicotiana Tabacum)の葉片を示す図である。表面がわずかに湾曲している。
【図5】(子葉を含めて、植物の根元から数えた)葉番号を付した葉と、中央脈に沿った穿孔位置を示す図である(B:付け根;M:中央;T:先端)。
【図6】複数の個別画像からまとめられた概要画像の一部と、そこに重ねて記された個々の葉片に関する情報(植物識別番号、処理、葉番号、穿孔位置)を示す図である。
【図7】様々な流体液位での一定の大きさの葉片の面積測定を示す図である。x:流体液位(mm)、y:(水位0mmでの面積に対する)相対面積。水位は、0mm(マイクロタイタープレートの凹部の底部)〜10mmの間で変化する。A(白四角)およびA3D(黒丸)に関する平均値±標準誤差;n=24
【図8】葉片を入れたマイクロタイタープレートを示す図である。左半分:栄養液を用いた処理。右半分:除草剤グリホサートを用いた処理(実験の開始から72時間後に画像を撮影)。
【図9】グレースケール画像のしきい値セグメント化によって生成されるバイナリマスクMを示す図である。(白:前景、黒:背景;灰色:葉片。
【数1】

の計算によって認識される)。最終的なセグメント化マスクMは、認識された葉片の重心を中心としてrの円内にあり、Mにおいて値1を有していたMからの画素を含む。
【図10】重心からの距離の増加に伴う面積成長を示す図である。x:
【数2】

(画素)、y:r(画素)。×印:測定された増大;点線:rの増加に伴う黒丸の理論上の増大2πr。
【図11】背景(植物でない部分)が黒く表された、後処理された視差画像を示す図である。スカラ:視差範囲[610:620]画素。
【図12】再構成された葉片の3D図である。
【図13】本発明による方法の分散図である。ギガビットネットワークが、MASTER(撮像、データバンクシステム、およびワークフローエンジンを備える)、CLIENTコンピュータ、データサーバ、バックアップシステム、およびLinuxクラスターを接続する。長方形のボックス:スクリーニングプログラム。
【図14】UML(統一モデリング言語(Unified Modeling Language))標記での、主要なワークフローステップのアクティビティ図である。ワークフロー規則は、データバンクテーブルに規則を記憶されている。2種類の異なるワークフロー規則がある。(1)ジョブのステップと状態の特定の組合せに関して発動される状態ベースの規則と、(2)新規のジョブを生成しなければならないかどうか決定するためにプログラムコードが実行されるコードベースの規則(例えば、撮像工程の終了後の概要画像の生成)である。
【図15】スケーラビリティ、すなわち入力量が増加したときのリソース要件、ここでは特に時間要件に関するプログラムの挙動を示す図である。x:使用されるCPUの数;y:%実行速度(順次処理に対して正規化)。白四角:EMPTYジョブ;白丸:CPU_BOUNDジョブ;黒四角:IO_BOUNDジョブ;黒丸:MIXEDジョブ。誤差バーが、標準誤差(n=3)を示す。
【発明を実施するための形態】
【0036】
以下、本発明による方法および本発明による装置を詳細に説明する例示的実施形態を提示する。
【0037】
・例示的実施形態
・本発明による方法の精度
投影される葉面積A(投影葉面積)を求める精度のテストとして、タバコ(Nicotiana tabacum)の葉片24枚に穿孔し、すぐにフラットベッドスキャナ(Epson Perfection 2480 Photo,Epson(日本国長野県諏訪市))を用いて、400dpiの解像度で白い背景の前でスキャンした。スキャナによって生成されたRGB画像を、HSV(色相、彩度、明度値)色空間に変換した。次いで、チャネルH、S、Vでのしきい値(最小/最大)を使用することによって、葉標本を葉と背景にセグメント化した。この方法は、フルカラー情報を利用できるので、葉緑素の識別に最適である(非特許文献13;非特許文献1;非特許文献10)。このようにして求められたAのばらつき係数(CV)は3.8%であり、すなわち、コルク穿孔器によって穿孔された葉片の面積は3.8%のばらつきがあった。それに対し、本発明による方法によって測定された24枚の葉片の面積AのCVは3.2%であり、CV A3D(本発明による3次元測定法によって再構成された葉面積の面積値)は3.8%であった。一般に、CV(A3D)はCV(AP)よりも大きい値を取るはずである。なぜなら、コルク穿孔器が、葉片をほぼ完全な円形の周縁で抜き取るが、表面は、隆起していたり波打っていたりする可能性があるからである。この精度決定から、本発明による方法により、色情報がないにも関わらず、従来の画像処理法よりも良くはないにせよ同等に良好なセグメント化結果を得られることが分かった。
【0038】
面積決定の精度に対するカメラと対象物の離隔距離の影響を調べるために、様々な流体液位で浮動する葉片の画像を撮影した(図7)。投影された葉面積Aは、明らかに離隔距離に依存していた。すなわち、カメラ距離を10mm縮めると、葉面積は14%増大した。逆に、A3Dはほぼ一定であり、最大のばらつきが2%であった。これは、測定期間が非常に長く、蒸発により流体水位が著しく低下するときに正確な成長測定を行うために、ここで提示する本発明による3D再構成法が必要であることを明らかに示す。
【0039】
成長分析
成長測定の事例研究のために、計458枚のタバコ(Nicotiana tabacum)の葉片を使用した。可能な最速の撮像では、各葉片を1.5時間で一回撮影した(1枚の葉片につき1対の画像)。これは、カメラの位置決めを含めて、1枚の葉片につき11.8秒の平均撮影時間に相当する。72時間後にこの実験を終了した。合計で約22000枚の画像を撮影した。
【0040】
画像処理システム
ハードウェア構造(図1および図2)は、2DスクリーニングシステムGROWSCREEN(非特許文献1)の設計に基づく。本発明によるシステムは、58cm×58cmの矩形の測定領域を検出する。Point Grey Scorpion SCOR−20SOMカメラ(Point Grey Research,Vancouver,BC,カナダ)を用いて画像を撮影し(2メガ画素;最大解像度1600×1200画素)、FireWire400ケーブルによって制御計算機に伝送する(IEEE 1394a;最大転送率:400Mビット)。赤外線(IR)フィルタ(Model 27 093;Schneider−Kreuznach,Bad−Kreuznach,Germany;800nmよりも長い波長で透過性)を有するC−Mount−Objektiv(15mm;Rodenstock,Muenchen,Germany)によって画像を撮影する。カメラは、垂直下方向に向ける。撮像用の照明として、それぞれ18個のLED(λmax=800nm;Conrad Electornic,Hirschau,Germany)を有する4つのIR−LEDアレイを使用する。IR照明は、生理学的に活性でなく、かつより高いコントラストで植物標本が見えるようにするという追加の利点を有する。
【0041】
照明強度の温度依存ドリフトを防ぐために、実験全体を通じてLED照明を点けておく。使用したLEDアレイは、20分超経過してからようやく、安定強度の1%に近づいた。画像雑音を減少させるために、1つの撮影位置につき5枚の画像を撮影し、その平均値を取る。画像は、1280×960画素の解像度で撮影し、TIFF形式で、損失のないPackBits圧縮で記憶した。
【0042】
2基の高精度スライドテーブル(「X」および「Y」;Pico−Maxi,Type FMD−LPT80.550.1205−SM,Laser 2000 GmbH,Muenchen,Germany;マイクロステップモータ:MDrive 23 Plus;Intelligent Motion Systems,Marlborough,USA)によって、カメラとIR照明ユニットを水平面内で移動させる。第3のスライドテーブル(「X2」)が、1対または1列のステレオ画像の撮影時にカメラをX方向に摺動させるように働き、一方、IR照明ユニットの位置は変化しない。これは、照明が一定であることがステレオ撮影の前提条件であるので必須である。撮影および位置決めシステム全体が、X−95プロファイル要素(Linos Photonics,Goettingen,Germany)からなる安定な骨組みに取り付けられる。
【0043】
調べる葉片は、24個の凹部を有するマイクロタイタープレートに保管する(図8;Nunc,Roskilde,デンマーク)。凹部は、均等に配列され、それぞれ体積が2.5mlである。実験期間にわたって、プレートの蓋を外して、妨げのないガス交換を可能にし、曇りを防止する。リフトテーブル(Swiss BOY 110,Rudolf Grauer AG,Degersheim,スイス)の上に検査対象物を載せ、このリフトテーブルによって撮像に適した距離を調節することができる。水準器によって、位置決めシステムも検査対象物も水平向きであることが保証される。コントラストを向上させる(ひいては、それによりセグメント化を容易にする)ために、台を黒色のプラスチックで覆う。
【0044】
コンピュータシステム
図13は、本発明による方法のハードウェアコンポーネントと個別の計算機システム上で実行されるソフトウェアコンポーネントとを示す概略図である。撮像は、パーソナルコンピュータ(PC)上で行われる(「MASTER」と表されている;Intel(登録商標)Pentium(登録商標)4 DualCore,2 GB DDR400 RAM(Intel,Santa Clara,USA),SuSE Linux 10.2;SuSE,2006)。このPC上で、マルチユーザデータバンクが実行される(下記参照)。スクリーニングシステムは、自動画像解析のために、複数のさらなるPC(クラスターノード;1 GB DDR 400 RAM,SuSE Linux 10.2 (Novell,Provo,USA))を利用できる。大量のデータを処理するために、使用するすべての計算機がギガビットネットワークを介して接続される。
【0045】
データ管理
得られたデータは、MySQLデータバンク(MySQL AB,Uppsala,Sweden)およびデータサーバ上で管理する。スクリーニングシステムの基本データおよび動的データをデータバンクに記憶し、ネットワークを介して呼び出すことができる。データバンクは、コアアプリケーションとクラスターノードの間の通信の主インターフェースを構成する。
【0046】
画像データおよび他の大容量データがデータサーバ上に保存される。このサーバには、MASTERおよびすべてのノードが、CIFS(共通インターネットファイルシステム(Common internet file system))を介してアクセスできる。このサーバ上のデータは、そのパス名に基づいて参照される。データバンクは、大容量データに関して、メタ情報(データタイプ、作成日、作成者)を記憶する。
【0047】
並列化およびワークフロー概念
撮影された画像の処理を、ワークフローパラダイム(非特許文献14)に従って実施した。ここで、タスク全体を、一連の別個のワークフローステップに分ける。このようにすると、1.)処理ステップを別のワークフローで再利用することができ、2.)解析を容易に並列化することができ、3.)例えば構成パラメータの変更に従って、個別のステップを簡単に再び行うことができる。図14は、葉片の3D面積を計算する個別のステップを示す。
【0048】
1.)撮影システムの較正
a)カメラ較正
実験を行う前に、確立されている方法によってカメラを較正した(非特許文献15;非特許文献16)。様々な向きから、少なくとも30枚の市松模様の画像を撮影した。J.Y.Bouguet(Intel,Santa Clara,CA,USA)のカメラ較正ツールボックスのOpenCV実装によって、カメラの内因性パラメータ(焦点距離、中心点、半径方向および接線方向歪み)を評価した。
【0049】
b)ステレオ較正
ステレオシステムのパラメータ(左のカメラシステムに対する右のカメラシステムの回転および並進)を以下のように決定した。ステレオ基線は、使用される高精度スライドテーブルにより既知である。しかし、カメラのCCDセンサは、取付けにより、摺動方向に対してわずかに回転していることがあるので、修正が必要なことがある。回転している場合、これは摺動距離に線形に依存する。これは、ステレオ対応付け試行の質を低下させることがある。なぜなら、使用されるアルゴリズムは、(X方向での)カメラセンサの列に沿ったカメラ摺動を行うことに基づいており、したがって対応付け試行も1列でしか予想することができないからである。したがって、修正のために、パノラマステッチソフトウェアHuginを用いて少なくとも40点の対応付けを求め、その後、回転を評価する。次いで、画像列と摺動方向が再び一致するように右の画像を回転させる。このプロセスは、カメラの取付け後に1回だけ実施すればよい。あるいは、例えば上記のJ.Y.Bouguet(Intel,Santa Clara,CA,USA)によるカメラ較正ツールボックスを用いてステレオ較正を行うこともできる。
【0050】
2.)撮像
位置決め時間を最短にするために、(Dijkstraのアルゴリズムに従って;非特許文献17)最適な順序で、予め定義された撮像位置(図3)を取る。各撮影位置で、基線長(カメラ中心間の距離)b=20mmで2枚の画像を撮影する。それによって得られるより大きな視差が、より良い深さ解像度を可能にするので、bをできるだけ大きく選択することが望ましい。他方で、bは、視野および葉片の大きさによって制限される。基線長b=20mmが選択される場合、実験期間にわたって左右の画像内で葉片を見ることができることが保証された。
【0051】
3.)葉片のセグメント化/認識
撮像時に白色光ではなく赤外線照明を使用するという生物学的な必要性が、セグメント化を難しくする。カラー画像は、簡単に、かつ正確にセグメント化することができる(非特許文献13;非特許文献1)。それに対し、IR照明の下では、限定されたスペクトルにより、グレー値画像しか撮影することができない。暗い背景の使用は有利であるが、グレー値だけに基づいてマイクロタイタープレートの凹部壁と葉片を区別することはできない。したがって、以下のセグメント化プロセスを使用した。
【0052】
・撮影された画像Iacq内の強度のばらつき(不均質な照明による)を、基準背景画像によって較正する(非特許文献9)。
【0053】
・しきい値セグメント化:最小および最大しきい値を使用することによって、撮影された画像のバイナリマスク(M)を生成する。これらの値は、葉片の照明強度および輝度に応じて、生成されたマスクを段階的に変化させて、視覚的に認識できる葉片の境界と比較することによって求める。
【0054】
・形態学的侵食:マスクの縁部を形態学的に侵食する(非特許文献9)。それにより、物体輪郭の不整をなくす。次いで、残った画素から、葉片と考えられる部分それぞれの重心Cを計算する。
【0055】
・エッジ補正:葉片の縁部を認識するために、cからの距離rの増加に伴う画素数(画素面積)の増加
【数3】

を使用する。
【数4】

が葉片の理論上の増大2πrの0.6倍未満に低下するときの半径rmaxを、セグメント化の縁部基準として使用する(図9および図10)。このようにして、最終的なセグメント化マスクMが得られる。1対の画像の両画像からの葉片と考えられる部分を、実際の予想される視差に基づいて一致させる。
【0056】
所定の位置で事前に葉片が検出されなかった場合、一意の識別子、すなわち植物識別番号を有する新たな葉片をデータバンクに登録する。
【0057】
投影された葉面積Aは、所定の位置での1対の画像のうち第1の画像のMにおける非ゼロ画素の和として計算される。
【0058】
データ量を減少させるために、さらなる処理ステップに関して、葉片がある画像部分のみを使用する。
【0059】
4.)ステレオ対応付け試行および3D再構成
前の処理ステップからの葉片の1対の画像を使用して、2カメラステレオによって深さマップを計算する。
【0060】
・画像を調整する、すなわち真直ぐにする。その際、ずれ(視差)がx方向のみで生じるように画像の向きを真直ぐにするか、または修正する。それにより、カメラセンサのスキャンラインがカメラの移動方向と一致する(「ステレオ較正」参照)。
【0061】
・相関ベースのステレオアルゴリズム(非特許文献18;非特許文献10)が、調整された1対の画像に対して使用される。アルゴリズムは、画像内の各画像点ごとに、別の画像内での対応する点のずれを求めることを試行する(=対応付け試行)。例えば非特許文献18からの相関関数cを使用して、矩形の画像範囲を比較する。使用するステレオ幾何形状および事前に実施された調整に基づいて、水平方向での摺動のみを行うことができるようになる。したがって、対応付け試行は、2D問題ではなく1D問題のみを提示する(非特許文献19;非特許文献20)。対応付け試行の結果が、視差画像Dである。
【0062】
・後処理:Dでの外れ値をメジアンフィルタ(半径:25画素)によって取り除く(非特許文献21)。外れ値とは、暗に、周辺に比べて非常に小さいか、または非常に大きい画素である。周辺にあるすべての画素をそれらの値に従ってソートし、リストの中央の値を取る。そのようにして順序付けを行う。
【0063】
処理ステップの最後に面積値を計算すべきであるので、再構成された葉片において、存在することがあり得る穴は閉じなければならない。これは、正規化された畳み込みにより、視差評価が可能でなかった点の補間によって行う(非特許文献11)。後処理により、平滑化された視差画像Dgegが得られる。
【0064】
・ステレオシステムの内因性および外因性パラメータに基づいて、Dgeg内のすべての点の3D位置を三角測量で測定する。このようにして、ユークリッド座標系X、Y、およびZが定められた座標格子Wが得られる。
【0065】
5.)表面モデルの平滑化
再較正された3D点群の深さZを、円板状のメジアンフィルタ(非特許文献9)(半径:15画素)によって平滑化し、表面の小さい起伏を取り除く。
【0066】
・3Dモデルから副標本を抽出し(unterabgetastet)(X方向とY方向で各7点)、葉片の3D面積A3Dを、表面上の個々の点の既知の隣接関係に基づいて求める。
【数5】

ここで、
h=画像の高さ
w=画像の幅
Δ=三角形面積
W=座標格子
xy=格子位置
三角形面積AΔは3つのベクトルによって定義される。
【0067】
6.)成長率の算出

【数6】

の指数的な成長率を仮定すると、葉組織の相対成長率(relative growth rates;RGR)は、
【数7】

によって定義され、ここで、A(t)およびA(t)は、それぞれ2つの連続する時点tおよびtに関する投影されたか、または3D葉面積であり、d−1=1日当たりである(例えば、非特許文献22参照)
【0068】
ソフトウェアアーキテクチャ
本発明による方法は、主にオープンソースソフトウェアを使用する。クライアントソフトウェア(プログラムCLIENT)は、C++/Qt(Trolltech,Oslo,Norwegen)で実装される。CLIENTプログラムの主なタスクは、1.)新規の測定キャンペーンをパラメータ化すること(測定時間間隔など);2.)カメラおよびスライドテーブルを調節すること;3.)作業範囲全体の概要画像を生成し、それを用いて、次いで撮影すべき葉片を選択することができること;4.)実行されているシステムを監視すること(解析やシステム負荷などの状態)。プログラムCLIENTは、LinuxおよびWin32オペレーティングシステム上で実行される。
【0069】
性能特性
分散システムの性能特性を測定するために、様々な人工的な解析ジョブの平均実行時間を分析した(表1)。様々な数のクラスターノードで測定を繰り返して、スケーラビリティを求めた。性能テスト用の分散システムは、MySQLデータバンクおよび撮影ソフトウェアを備える64ビット2.6GHz DualCoreコンピュータと、解析用の5台の32ビットIntel(登録商標)Pentium(登録商標)4 DualCoreコンピュータ(クラスターノード)とからなる。最大構成では、各クラスターノードで、並列して2つのコンシューマプロセスを行った。
【0070】
【表1】

【0071】
図15は、様々な人工的なジョブを実行する際のスケーラビリティを示す。EMPTYとCPU_BOUNDジョブは、類似した特性を有する。それらは、1〜10台の範囲の使用されるCPUにわたってほぼ線形にスケールする。IO_BOUNDジョブは、それらに比べてスケーリングが良好でない。使用されるCPUが10台の場合に、使用されるCPUが1台の場合に比べてスループットが200%しか上昇しない。典型的な解析ジョブは、むしろCPU_BOUNDジョブのように機能する。なぜなら、データサーバからの、およびデータサーバへのデータトラフィックのみが別のノードの実行速度に影響を及ぼし、ローカルデータトラフィックは影響を及ぼさないからである。
【0072】
サーバプログラム
サーバプログラムは、プログラミング言語Python(非特許文献23)で実装されている。性能が重視される部分は、C++で実装されている。CおよびC++ライブラリ用のPython接続は、SWIG Wrapper Generatorによって生成した。
【0073】
プログラムWORKFLOWは、タイムアウトに達しているジョブ、または実行したところエラーが返された(状態ERRORの)ジョブについて、データバンクテーブルjobを定期的に検査し、それらのジョブを新たに実行させる。さらに、ワークフロー規則を使用し、それにより、場合によっては新規のジョブを生成する。
【0074】
プログラムCONSUMERは、各クラスターノード上で実行され、そこで、状態NEWでジョブを実行する。マルチコアマシン上で、CONSUMERを、存在するプロセッサコア1つにつき一回開始させる。
【0075】
プログラムWATCHDOGは、データバンクおよびデータシステムの問題(機能不良、メモリ領域の不足)を定期的に検査し、場合によっては、電子メールを介してシステム管理者に通知する。

【特許請求の範囲】
【請求項1】
葉片の成長を測定するための方法であって、
a)撮影システムを較正するステップと、
b)1枚の葉片の少なくとも2枚の画像を撮像するステップと、
c)画像データを処理するステップであって、
i)しきい値セグメント化によって前記葉片をセグメント化することと、
ii)形態学的侵食を行うことと、
iii)保管容器の縁部を除去するためにエッジ補正することとを含むステップと、
d)3D再構成:ステレオアルゴリズムによって視差画像Dを生成し、事前に決定された較正パラメータに基づいて、視差マップから3D表面モデルを計算するステップと、
e)事前に取得された表面モデルを平滑化するステップと、
f)面積値の時系列から成長率を算出するステップと
を含む方法。
【請求項2】
撮影システムの較正時に、少なくとも30枚の市松模様の画像が様々な向きから撮影され、カメラパラメータ、すなわち焦点距離、光軸と像面の交点、ならびに半径方向および接線方向歪みが決定されることを特徴とする請求項1に記載の方法。
【請求項3】
各撮影位置での撮像時に、2枚の画像が撮影され、基線長bが、左右の画像内で前記葉片を見ることができるような大きさに選択されることを特徴とする請求項1または2に記載の方法。
【請求項4】
しきい値セグメント化時に、最小および最大しきい値の使用によってバイナリマスク(M)が生成され、前記最小および最大しきい値が、生成されるバイナリマスクを段階的に変化させて、視覚的に認識できる葉片の境界と比較することによって決定されることを特徴とする請求項1〜3のいずれか一項に記載の方法。
【請求項5】
エッジ補正時に、葉片の縁部を認識するために、葉片の重心Cからの距離rの増加に伴う画素数または画素面積の増加
【数1】

が使用されることを特徴とする請求項1〜4のいずれか一項に記載の方法。
【請求項6】
ある画像での各画像点に関するステレオアルゴリズムによる視差画像Dの生成時に、別の画像内での対応する点のずれが求められることを特徴とする請求項1〜5のいずれか一項に記載の方法。
【請求項7】
少なくとも1台のカメラと、照明ユニットと、カメラおよび照明ユニット用のX/Y平面でのスライドテーブルと、葉片用の保管容器と、電子的解析および制御ユニットとを備える葉片の成長を測定するための装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate


【公表番号】特表2012−510276(P2012−510276A)
【公表日】平成24年5月10日(2012.5.10)
【国際特許分類】
【出願番号】特願2011−538827(P2011−538827)
【出願日】平成21年11月11日(2009.11.11)
【国際出願番号】PCT/DE2009/001601
【国際公開番号】WO2010/063252
【国際公開日】平成22年6月10日(2010.6.10)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Linux
【出願人】(390035448)フォルシュングスツェントルム・ユーリッヒ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング (100)
【Fターム(参考)】