表示制御装置、表示制御システム、表示制御方法及びプログラム
【課題】植物の育成状況を管理しやすくすることができる。
【解決手段】表示制御装置（７０）は、表示対象の植物を識別する識別情報に関連付けられて記憶領域に記憶されている該植物の育成に関する情報から生成された表示情報を、該表示対象の画像に関連付けて表示させる表示制御部（７３）を備える。
【解決手段】表示制御装置（７０）は、表示対象の植物を識別する識別情報に関連付けられて記憶領域に記憶されている該植物の育成に関する情報から生成された表示情報を、該表示対象の画像に関連付けて表示させる表示制御部（７３）を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御装置、表示制御システム、表示制御方法及びプログラムに関する。
【背景技術】
【０００２】
植物栽培プラント（植物工場）における植物栽培システムは、栽培作業による負荷を低減し、植物の供給を安定化することができるものとして注目されている（例えば、特許文献１、非特許文献１参照）。
この特許文献１の技術には、定点に配置されたカメラにより得られた植物の画像に基づいた情報と、標準的な植物の特徴を示す情報（標準データ）との類似性を判定することが示されている。
また、非特許文献１の技術には、定点に配置されたカメラにより得られた植物の画像から、その植物の像が画面を占有する比率を検出することが示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】実開平５−１７５０５号公報
【非特許文献】
【０００４】
【非特許文献１】仁科 弘重、「地域拠点型”知的太陽光植物工場”の進展」、日本学術会議、公開シンポジウム「知能的太陽光植物工場」、2009年7月3日。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、植物の栽培においては、栽培する生産者の経験と勘に依存した栽培方法が主流であった。
また、特許文献１の技術によれば、定点に配置されたカメラにより得られた植物の画像と標準データとの類似性を判定し、その判定結果を表示することが示されているに留まる。また、非特許文献１によれば、定点に配置されたカメラにより得られた植物の像が画面を占有する比率を検出することが示されているに留まる。
要するに、植物の栽培においては、生産者の経験と勘に依存した栽培方法や、これまでに開示されている技術による栽培方法からは、植物の育成状況を管理することが困難であるという問題がある。
本発明は、このような事情に鑑みてなされたもので、植物の育成状況を管理しやすくすることができる成長度合検出装置、植物栽培システム、植物栽培プラント、成長度合検出方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は、表示対象の植物を識別する識別情報に関連付けられて記憶領域に記憶されている該植物の育成に関する情報から生成された表示情報を、該表示対象の画像に関連付けて表示させる表示制御部を備えることを特徴とする表示制御装置である。
【０００７】
また、本発明は、表示対象の植物を識別する識別情報に関連付けられて記憶領域に記憶されている該植物の育成に関する情報から生成された表示情報を、該表示対象の画像に関連付けて表示させる表示制御部を備えることを特徴とする表示制御システムである。
【０００８】
また、本発明は、表示制御部が、表示対象の植物を識別する識別情報に関連付けられて記憶領域に記憶されている該植物の育成に関する情報から生成された表示情報を、該表示対象の画像に関連付けて表示させる過程を含むことを特徴とする表示制御方法である
【０００９】
また、本発明は、表示制御装置が備えるコンピュータを、表示対象の植物を識別する識別情報に関連付けられて記憶領域に記憶されている該植物の育成に関する情報から生成された表示情報を、該表示対象の画像に関連付けて表示させる表示制御部として機能させるためのプログラムである。
【発明の効果】
【００１０】
以上説明したように、本発明によれば、植物の育成状況を管理しやすくすることが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の本実施形態による植物栽培プラントの構成を示すブロック図である。
【図２】本実施形態における移動型検出装置４０を示す図である。
【図３】本実施形態における植物栽培システムの構成を示すブロック図である。
【図４】本実施形態における植物の収穫時期の制御を示す図である。
【図５】本実施形態における花と実の位置関係を示す図である。
【図６】本実施形態における実の成熟度の検出を説明する図である。
【図７】本実施形態における葉の状態を示す図である。
【図８】本実施形態における成長度合検出装置７０を示す図である。
【図９】本実施形態における成長度合検出装置７０を示すブロック図である。
【図１０】成長に応じて変化する植物の様子を示す図である。
【図１１】図１０に示した検出対象の特徴点の配置を示す図である。
【図１２】図１０に示した条件により、特徴点を一致させて撮影する処理を示す図である。
【図１３】図１０に示した検出対象の特徴点の配置を示し、成長により１つの特徴点が検出できなくなった場合の処理を示す図である。
【図１４】図１３に示した条件により、異なる特徴点に基づいて特徴点の移動範囲を推定する場合の処理を示す図である。
【図１５】図１０に示した検出対象の特徴点の配置と特徴量の一例を示す図である。
【図１６】第１の検出方法による成長度合いの検出について示す図である。
【図１７】第２の検出方法による成長度合いの検出について示す図である。
【図１８】第３の検出方法による成長度合いの検出について示す図である。
【図１９】色の変化に基づいて成長度合いを検出する場合の処理を示す図である。
【図２０】時間の経過に応じた個々の実の色相の変化を示す図である。
【図２１】生成された合成画像を示す図である。
【図２２】本実施形態における成長度合検出装置７０を含む情報提供システムを示すブロック図である。
【図２３】参照する位置を選択する際に表示する画面の例を示す図である。
【図２４】通路に沿っている植物の状態を表示する画面の例（その１）を示す図である。
【図２５】通路に面している植物の状態を表示する画面の例（その２）を示す図である。
【図２６】通路に面している植物の状態を表示する画面の例（その３）を示す図である。
【図２７】選択した実についての評価情報を表示する画面の例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の一実施形態について、図面を参照して説明する。
図１は、本実施形態による植物栽培プラントの概要を示す図である。図１（ａ）は、その断面図を示し、図１（ｂ）は、その平面図を示す。
本発明の植物栽培プラント４は、植物栽培システム１（図３）を備え、植物の栽培を行う設備である。
図１に示すように、植物栽培プラント４は、植物栽培用の植生床６と、植生床６を外気空間７と隔てるために囲うプラント囲い８と、植生床６で植生される植物９に光を照射するランプ１０とを備える。植物栽培プラント雰囲気調整装置２はプラント囲い８の内側空間１３の雰囲気を調整するものである。植生床６は、図示の例では土の床であるが、不図示の液肥循環装置を備える水耕栽培用の水耕床であってもよい。
【００１３】
プラント囲い８は、植生床６の周辺を外気空間７と隔てて、栽培される植物に適した雰囲気に保つためのものである。ランプ１０は、図示の例ではプラント囲い８の内部に設置される。
【００１４】
さらに、植物栽培プラント４はプラント囲い８の内部に、所定条件に調整された空気を供給するための空調機１２を備える。通常、空調機１２は内側空間１３から吸入口１６を通じて空気を取り込んで、調整し、排出口１８から内側空間１３に戻す。
【００１５】
植物栽培プラント雰囲気調整装置２においては、ランプ１０がランプ囲い２０で囲われている。ランプ囲い２０の壁の少なくとも一部は透明である。ランプ囲い２０には、ランプ囲い２０の内側と、内側空間１３及び外気空間７とを選択的に導通する一の管路２２が接続されている。また、ランプ囲い２０には、ランプ囲い２０の内側と、内側空間１３及び外気空間７とを選択的に導通するほかの管路２４が接続されている。即ち、一の管路２２は二股管２６の根元で分岐し、二股管２６の一方が内側空間１３に通じ、他方が外気空間７に通じている。他の管路２４は二股管２８の根元で分岐し、二股管２８の一方が内側空間１３に通じ、他方が外気空間７に通じている。二股管２６、２８の根元には２方切り替え弁部３０、３２がそれぞれ設けられている。
【００１６】
外気空間７の温度が内側空間１３の設定温度より高いときには、一の管路２２、他の管路２４とも、外気空間７に通ずるように２方切り替え弁部３０、３２で設定する。外気空間７の温度が内側空間１３の設定温度より低いときには、一の管路２２、他の管路２４とも、内側空間１３に通ずるように２方切り替え弁部３０、３２で設定する。
【００１７】
この選択的な設定により、外気空間７の温度が内側空間１３の設定温度より高いときには、空気が外気空間７から取り込まれ、空気が一の管路２２、ランプ囲い２０、他の管路２４をこの順に経由して矢印Ａの方向に進行して再び外気空間７に放出されるので、ランプ１０がこの空気で冷却される。また、ランプ１０の熱で暖められた空気が内側空間１３に流入することがない。従って、ランプ１０の熱による空調機１２の冷房負荷の増大を防ぎ、空調負荷が軽減される。
【００１８】
また、選択的な設定により、外気空間７の温度が内側空間１３の設定温度より低いときには、空気が内側空間１３から取り込まれ、空気が一の管路２２、ランプ囲い２０、他の管路２４をこの順に経由して矢印Ｂの方向に進行して再び内側空間１３に放出されるので、ランプ１０がこの空気で冷却されるとともにランプ１０の熱で暖められた空気が内側空間１３に還流する。従って、ランプ１０の熱により空調機１２の暖房負荷を軽減することができる。
なお、一の管路２２には、空気を矢印Ａ或いは矢印Ｂの方向に送風するためのファンのような送風手段３６が備えられている。
また、図１（ｂ）に示すように、プラント囲い８の内側空間１３は、移動型隔壁３８によって分割され、内側空間１３−１と１３−２とに分かれている。内側空間１３−１と１３−２のそれぞれが、異なる環境条件に設定することができる。
植物９が栽培されている植生床６の間の通路では、移動型検出装置４０が自走して植物９の状態を検出する。
【００１９】
［植物の栽培状況の管理］
最初に、植物栽培プラント４において、移動型検出装置４０が移動しながら、植物の状態を検出する場合を例示する。
【００２０】
図２を参照し、植物栽培プラント４における植物の状態を検出する移動型検出装置４０を示す。
図２は、本実施形態における移動型検出装置４０を示す図である。
移動型検出装置４０は、移動型車両本体４１を台車とする。移動型車両本体４１は、移動手段とする車輪４１Ｗを備え、駆動部（不図示）から供給される動力により移動する。移動型車両本体４１の上面には、鉛直軸を中心として回転自在に支持されるブラケット４２Ｂが設けられる。そのブラケット４２Ｂには、アーム部４２が設けられ、ブラケット４２Ｂは、アーム部４２を前後方向に転動自在に支持している。また、図２に示すように、移動型検出装置４０が、連続して接続される複数のアーム部４２（４２−１、４２−２、４２−３、４２−４）を備え、アーム部４２の移動型車両本体４１と反対側の先端には、撮像部３００が設けられている。
【００２１】
移動型検出装置４０は、アーム部４２、撮像部３００、移動型検出装置４０の制御部（不図示）を機能させ、自走可能とする電源部（不図示）を備えている。
移動型検出装置４０の制御部は、移動型車両本体４１の移動制御、アーム部４２を要求に応じて駆動して、撮像部３００の位置及び方向を定める駆動制御、撮像部３００を機能させる撮像制御、撮像した画像情報に基づいて検出処理、処理結果などを通信する通信制御などを行う。
移動型検出装置４０は、植物栽培プラント４（図１）において栽培される植物９（図１）の状態を移動しながら検出する。
また、移動型検出装置４０は、移動型車両本体４１の代わりに固定的に設けられた台座であってもよい。
【００２２】
ここで、図３を参照し、植物、すなわち農作物の栽培を制御する植物栽培システムの概要について説明する。
図３は、本実施形態における植物栽培システムの構成を示すブロック図である。
植物栽培システム１は、栽培する植物を収穫して出荷されるまでの工程において、育成環境などの環境条件について制御を施すことにより収穫時期を制御して、収穫予定時期の収穫量を高めることができる。
収穫予定時期の収穫量を高めるには、発芽から収穫までの各工程で、植物の成長を管理する直接的な制御と、間接的な制御とがある。
直接的な制御とは、間引き、剪定などにより植物自体を加工することなどが含まれる。
また、間接的な制御とは、各種環境条件の設定を行うことなどが含まれる。
植物栽培システム１は、植物と、その植物を栽培する環境を制御対象として、その植物の育成状況、収穫時期などを最適化して、収穫予定時期の収穫量を増加するように制御する。
【００２３】
本実施形態に示す植物栽培システム１では、植物の栽培環境を制御対象として、モデル化することにより、それぞれの栽培工程の制御を容易化する。
その制御にあたり、植物自体を直接的な方法だけで完全に制御しきれないこと、屋内環境であったとしても、バラツキがなくなるように環境の均一性を確保することが困難であることなどが、制御を困難とする要因となる。また、成長度合いが植物の個体差に依存することや、同一の個体内であっても、実の収穫時期にバラツクが生じることにより、制御を困難とする要因となっている。
本実施形態では、その制御対象をモデル化し、制御を困難とする要因を外乱として捉え、育成状況に応じて、そのモデルを最適化することにより、収穫予定時期の収穫量を確保する制御を容易にする。
このような植物栽培システムの構成例について説明する。
【００２４】
この図３に示される植物栽培システム１は、例えば、制御対象部１００、判定部２００、撮像部３００、撮像位置移動部４００、制御部５００、及び、成長度合検出装置７０（表示制御装置）を備える。
【００２５】
制御対象部１００は、管理対象である植物９と、植物９の育成環境を制御する環境駆動部１２０を備える。
植物９は、発芽後の葉、茎、花・実、及び根の状態によって育成状況を判定できる。その育成状況は、基準時（発芽時など）からの経過時間に関係付けて判定することができる。
例えば、葉の状態による判定では、葉の枚数、１枚の葉の大きさ、生い茂った葉の投影面積、しおれ具合（角度、縦横比）などがあげられる。茎の状態による判定では、背丈、枝の張り具合、太さなどがあげられる。花・実の状態による判定では、数、密度、配置、実の成熟度などがあげられる。根の状態による判定では、長さ、広がり具合などがあげられる。
【００２６】
環境駆動部１２０は、制御部５００から供給される環境制御量に応じて、植物が栽培される育成環境を制御する。
環境駆動部１２０は、光制御部１２１、空調設備１２２、二酸化炭素処理部１２３及び水調整設備１２４を備える。
【００２７】
光制御部１２１（光制御手段）は、発光部又は遮光部を含み、植物９に与える光の光量又は波長を制御する。一般的な植物９は、適正な光の強度及び照射時間に依存する光の量により光合成を行う。そのような植物９では、その光合成に基づいて、植物９の成長が促進される。また、光制御部１２１は、植物９の好日性を利用して、光の照射方向を制御して、植物９の成長する方向を制御する。また、光制御部１２１は、太陽などの自然光と異なり、特定の波長を制限して与えることにより、特定の成長を促進させる。例えば、発光波長を制限できる発光部としては、発光ダイオード、高圧ネオンランプなどがある。遮光部によって波長を制限する場合には、波長選択性のフィルターを用いる。
【００２８】
空調設備１２２は、植物９が置かれている周囲温度、湿度、及び、風量を制御する。
十分な容量の空気を、適正な周囲温度、湿度、及び、風量に制御して与えることにより、植物９の成長にダメージを与えることなく成長を促進させることができる。
二酸化炭素処理部１２３は、空調設備１２２によって管理されている空気中の二酸化炭素濃度を制御する。適正量の二酸化炭素濃度を維持することにより、光合成を促進させることができる。二酸化炭素処理部１２３は、単に二酸化炭素を発生させるのではなく、他の設備が発生した二酸化炭素を再利用してもよい。
【００２９】
水調整設備１２４は、植物９に給水する水量、水温、及び、養分濃度のうちから、少なくとも１つを制御する。特に水耕栽培である場合、水温及び養分濃度は大事な管理項目である。
このように、植物栽培システム１では、環境駆動部１２０を備えることにより、屋外環境の変化を遮蔽して、人工環境の元で栽培環境を構築する形態と、屋外環境の変化も利用しつつ、適切な環境を補助的に構築する管理支援型の栽培環境とする形態のいずれにも適用可能である。いずれの形態を採用するかは、栽培する植物の種別、栽培時期、成長過程、施設が置かれた環境などの条件により適宜選択される。
例えば、発芽から所定の期間は、人工光を連続照射することにより、成長が促進される植物があることが知られている。また、照射する波長を選択することにより、成長量を制御して目的の成長を促進させることを可能とする。
【００３０】
判定部２００は、撮像部３００によって撮像された画像情報と、植物９の育成モデルとに基づいて、植物９の育成状況を判定する。
判定部２００は、検出部２１０、育成モデル部２２０、状況記憶部２３０、及び、育成状況判定部２４０を備える。
検出部２１０は、撮像された植物９の画像情報から、該植物９の育成状況を検出し、該画像情報と該育成状況を状況記憶部２３０に記憶させる。
また、検出部２１０は、撮像された植物９の画像情報と、その画像を撮像した位置情報から、その画像情報に含まれる植物９の特徴点の位置を検出し、検出した位置情報と撮像した時間情報とを、状況記憶部２３０に記憶される画像情報に対応させて記憶する。
育成モデル部２２０は、複数の育成モデルを備える。育成モデル部２２０に設定される複数の育成モデルは、例えば、基準時（発芽時など）からの経過時間と植物９の育成状況とを関連付ける、経過時間による育成状況モデル２２１（第１育成モデル）、花が成実したときの実の位置を推定した、花の位置に対する実の配置モデル２２２（第２育成モデル）、及び、大きさ、形又は色を基準とするパターンを用いて、検出する対象の特徴を抽出し、収穫時期を判定する収穫時期判定モデル２２３（第３育成モデル）を含む。
【００３１】
状況記憶部２３０は、植物９の画像情報、育成状況、画像情報に含まれる植物９の特徴点の位置情報、及び、撮像した時間情報を対応させて記憶する。
育成状況判定部２４０は、記憶された画像情報と育成状況との少なくとも一方を用いて、植物９の育成モデルに基づいて育成状況を判定する。
育成状況判定部２４０は、育成モデル部２２０に含まれる、経過時間による育成状況モデル２２１（第１育成モデル）、花の位置に対する実の配置モデル２２２（第２育成モデル）、及び、収穫時期判定モデル２２３（第３育成モデル）の少なくとも一つを基準として、植物９の育成状況を判定する。
【００３２】
撮像部３００は、植物９（と該植物９の周囲の状況）を撮像し、画像情報を生成する。撮像部３００は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどを搭載した撮像装置、及び、撮像用の補助光の発光装置を備える。
撮像部３００は、撮像位置移動部４００に含まれる移動型検出装置４０(図２)が備えるアーム部４２の先端部に搭載される。アーム部４２の先端部の動きに応じて、撮像位置が変更され、被写体である植物９との相対位置が変化する。また、アーム部４２の先端部に設けられた旋回台に撮像部３００が搭載され、旋回台の制御により任意の方向に旋回可能となる。これらの制御を組み合わせることにより、撮像部３００は、任意の位置、任意の方向から植物９を撮像することが可能となる。
【００３３】
撮像位置移動部４００（撮像位置移動手段）は、指示された位置まで撮像部３００が撮像する位置を移動させて、植物９を指示された方向から撮像可能とする。
撮像位置移動部４００（撮像位置移動手段）は、撮像する位置を移動させる移動型検出装置４０(図２)を備え、移動型検出装置４０(図２)には（多関節型の）アーム部４２（ロボットアーム）が設けられる。
そのアーム部４２の先端には、撮像部３００に被写体からの光を導く光学系が設けられており、撮像位置移動部４００は、その光学系の光軸を指示された方向に転回させる。
【００３４】
成長度合検出装置７０は、制御部５００に対して各種情報の提供を要求する。成長度合検出装置７０は、その要求に応じて制御部５００から取得した各種情報に基づいて、対象となる植物９の成長度合いを検出する。成長度合検出装置７０は、植物栽培プラント４内を移動するユーザーによって携帯され、植物栽培プラント４内の植物９の成長度合いを検出する。
【００３５】
制御部５００（制御部）は、撮像位置移動部４００（撮像位置移動手段）によって移動した位置から撮像された植物９の画像情報に基づいて、植物９の育成モデルを基準として育成状況を判定した結果に従って、植物９の育成環境を制御する。
制御部５００は、育成モデル生成部５１０、環境制御部５２０、位置制御部５３０、生産計画設計部５４０、収穫計画設計部５５０、剪定計画設計部５７０、及び通信処理部５９０を備える。
育成モデル生成部５１０は、育成モデルを画像情報に基づいて生成し、育成モデル部２２０に保持される育成モデルを更新する。
育成モデル生成部５１０は、画像情報から生成された育成状況によって第１育成モデルを決定する第１モデル生成部、画像情報から開花時の花の位置を検出し第２育成モデルを生成する第２モデル生成部、画像情報から収穫時期を判定する第３育成モデルを生成する第３モデル生成部を備える。
また、育成モデル生成部５１０は、育成モデルを生成する際に、成長度合検出装置７０が検出した個々の植物９の育成状況についての情報又は画像情報に基づいて、育成モデルを生成してもよい。
【００３６】
環境制御部５２０は、判定された育成状況に応じて育成環境を制御する環境制御量を生成する。例えば、環境制御部５２０は、判定された育成状況に応じて植物９に与える光を制御する場合には、光制御部１２１によって、植物９に与える光の光量又は波長を制御する。環境制御部５２０は、判定された育成状況に応じて植物９に与える二酸化炭素濃度を制御する場合には、二酸化炭素処理部１２３によって、植物９が置かれている二酸化炭素濃度を制御する。環境制御部５２０は、判定された育成状況に応じて植物９に与える空気を制御する場合には、空調設備１２２によって、植物９に供給する空気の温度、湿度、及び、風量の少なくともいずれか１つを制御する。環境制御部５２０は、判定された育成状況に応じて植物９に与える水を制御する場合には、水調整設備１２４によって、植物９に給水する水量、水温、及び、養分濃度の少なくともいずれか１つを制御する。
位置制御部５３０は、撮像位置移動部４００を制御して、植物９を撮像する位置及び方向を指示する。位置制御部５３０は、撮像部３００の位置、撮像方向を変更して目的に応じた画像情報を撮像するために撮像位置移動部４００を制御する。
【００３７】
生産計画設計部５４０は、撮像された画像情報に基づいて生産計画を設計する。
収穫計画設計部５５０は、第３育成モデルに基づいて、収穫計画を設計する。
配置計画設計部５６０は、対象となる植物９の第１育成モデルに応じて、対象となる植物９の周囲に位置するほかの植物９との位置関係により、植物栽培プラント４内の植物９の配置計画を設計する。
剪定計画設計部５７０（第１剪定計画設計部）は、第１育成モデルに応じて、植物９を剪定する剪定計画を設計する。また、剪定計画設計部５７０（第２剪定計画設計部）は、第２育成モデルに応じて、植物９の花（実）を剪定する剪定計画を設計する。
通信処理部５９０は、成長度合検出装置７０との通信処理をする。通信処理部５９０は、成長度合検出装置７０からの制御部５００に対する要求及び各種情報を受付け、また、その要求に応じた各種情報を成長度合検出装置７０に対して送信する。
通信処理部５９０は、成長度合検出装置７０が検出した個々の植物９の育成状況についての情報又は画像情報を受け付ける。
また、通信処理部５９０が送信する各種情報は、例えば、植物９の配置情報、第１育成モデルなどである。
【００３８】
（植物の収穫時期の制御）
図４を参照し、本実施形態における植物の収穫時期の制御について説明する。
図４は、本実施形態における植物の収穫時期の制御を示す図である。
この図４に示されるグラフは、横軸を発芽からの経過日数（時間）、縦軸が植物の成長度合いを示し、いわゆる成長曲線の形状を有する。このグラフが示すように、成長度合いは経過日数に応じた関数として定義することができ、特定の環境条件下における傾向を、過去のデータに基づいて生成された育成モデルを植物９の育成状況管理の基準とする。
【００３９】
グラフＳ４ａは、植物９の育成状況管理の基準とする成長曲線を示す育成モデルである。このグラフＳ４ａに基づいて、収穫時期を設定することができる。
グラフＳ４ｂは、植物の育成状況管理を行わずに、グラフＳ４ａに示した育成モデルより遅れて成長する過程を示す。このグラフＳ４ｂに示すように育成すると収穫時期が、計画より遅れてしまうことになる。そこで、本植物栽培システム１では、育成の過程で検出された育成状況の遅れを、周囲の環境を制御することにより、育成状況を促進させるように制御する。
育成状況を促進する場合には、制御対象である植物９の種別、及び、対策を実施する時期に応じて処理内容が選択される。例えば、対策の内訳として、光照射量を増加させたり、周囲温度、水温を高めたり、必要な養分量を増加させたりするなどの方法があげられる。
【００４０】
一方、育成状況を遅らせる場合にも、制御対象である植物９の種別、及び、対策を実施する時期に応じて処理内容が選択される。例えば、対策の内訳として、光照射量を減少させたり、周囲温度、水温を低下させたり、必要な養分量を減少させたりするなどの方法があげられる。
【００４１】
また、検出部２１０による育成状況の検出は、各個体の状況を検出し、それぞれ検出された結果に基づいて総合的に判定することも可能である。その総合的な判定では、それぞれ検出された検出結果を平均化したり、バラツキを検出したりするなど、各種統計処理の手法を適用できる。
例えば、全体を複数の区画に分割し、その区画に含まれる植物９から検出された結果を区画ごとにまとめて判定することも可能である。このように区画を分割することにより、配置された位置によるバラツキを検出することができる。
【００４２】
また、異なる種類の植物を区画ごとに配置して、それぞれに適した環境を設定することも可能である。
植物９の育成状況の検出には、１つの判定基準によって検出してもよく、或いは、複数の判定基準によって検出した複数の変数に基づいて判定してもよい。
【００４３】
（植物の育成状況の判定）
図５から７を参照し、本実施形態における植物の育成状況の判定について説明する。
判定部２００によって行われる植物９の育成状況の判定では、検出対象に応じて複数の判定方法を選択することができる。
検出対象を、葉、茎、花・実、根のそれぞれを選択することができる。
検出部２１０は、以下に示す判定項目に応じて、選択された検出対象の状態を検出する。
育成状況判定部２４０は、検出された検出対象の状態について、記憶された画像情報と育成状況との少なくとも一方を用いて、植物９の育成モデルに基づいて育成状況を判定する。育成状況判定部２４０は、判定の基準とする育成モデルを、育成モデル部２２０に備えられている複数の育成モデルの中から判定項目に応じて選択する。
【００４４】
判定部２００における葉の状態による判定では、葉の枚数、１枚の葉の大きさ、生い茂った葉の投影面積、しおれ具合（角度、一枚の葉の縦横比）などが判定項目としてあげられる。
葉の枚数は、予め定められた範囲に内に存在する枚数、或いは、茎（特定された枝）に着いた葉の枚数を計数することにより検出する。
１枚の葉の大きさは、特定された葉の大きさ、予め定められた範囲に内に存在する葉の大きさの平均、或いは、茎（特定された枝）に着いた葉の大きさの平均を算出することにより検出する。葉の大きさは、長手方向（縦）の長さ、長手方向と直交する方向（横）の長さ、面積とすることができる。
生い茂った葉の投影面積は、植物９の側面から鉛直面に投影された面積を検出する。
葉のしおれ具合は、水分不足などのストレスを容易に検出できる。しおれた状態では、葉先が下を向くことから、水平面と葉の表面とがなす角度から検出することができる。或いは、一枚の葉の縦横比を算出してもよい。しおれたことにより葉の張りがなくなり、見かけ上の横幅が狭くなる。そのため、しおれ具合により、一枚の葉の縦横比が変化する。
【００４５】
判定部２００における茎の状態による判定では、背丈、枝の張り具合、太さなどが判定項目としてあげられる。
背丈は、茎（或いは先端の葉）の先の高さを検出する。撮像部３００の高さを茎の高さと一致させることにより、撮像部３００の高さから検出できる。
枝の張り具合は、枝分かれしている分岐数、或いは、枝の長さを検出する。
茎の太さは、基準の高さの茎の太さを検出する。
【００４６】
判定部２００における花・実の状態による判定では、数、密度、配置、実の成熟度などが判定項目としてあげられる。
図５は、花と実の位置関係を示す図である。
図５（ａ）、（ｃ）に開花期の状態を示し、図５（ｂ）、（ｄ）に成実期の状態を示す。
実の位置は、花の位置に依存することから、花の数及び位置を特定することにより、実の数と位置を特定することができる。開花期に示す花ｆ１とｆ２は、成実期には実Ｆ１とＦ２として変化する。
花（実）の数は、予め定められた範囲に内に存在する数量、或いは、茎（特定された枝）に着いた花（実）の数量を計数することにより検出する。
花（実）の密度は、検出した花（実）の数量を単位容量で除算することにより算出できる。或いは、簡易的には、撮像された画像の所定の範囲に存在する花（実）の数量を計数する。
花（実）の配置は、３次元計測の手法を用いることにより検出する。また、検出された花の位置から、成実期の実の位置を推定することができる。実の大きさ、重量を仮定して、その実がぶら下がる枝の強度と長さを演算条件とすることより、花の３次元位置に基づいて、実の推定位置を算出することができる。
この算出された推定位置から、隣接する実との干渉を推定することができる。つまり、実の大きさより、相対距離が近い場合には、干渉が生じると推定することができる。
【００４７】
実の成熟度は、実の色の変化に基づいて検出できる場合がある。
図６は、実の成熟度の検出を説明する図である。
図６（ａ）に示されるように、熟した実Ｆ３の色と熟しきらない実Ｆ４の色とが異なる場合に適用できる。熟しきらない実Ｆ４の色Ｃ１に対し、熟した実Ｆ３の色Ｃ２への色の変化を検出することにより、成熟度を検出できる。
図６（ｂ）に示されるように、実の一部（例えば、下側）の色Ｃ２が変色し、その変色した範囲（Ｚ２）を検出することにより成熟度を検出できる。
実の成熟度は、成熟度が高くなるにつれ、光の透過量が高く変化する場合がある。実に対して所定の光量の光（測定補助光）を照射して、その透過光の量を検出する。例えば、実の下部（又は側面）に接近した位置から測定補助光を照射して、撮像部３００は、透過された光を検出する。その際、撮像部３００の画角に、補助光源からの直接光が入らないように位置関係を調整する。
【００４８】
判定部２００における根の状態による判定では、長さ、広がり具合などが判定項目としてあげられる。水耕栽培であれば、根の長さを検出できる場合がある。根の長さは、株の位置からの長さを検出する。根の広がり具合は、株の位置から根が広がった面積を検出する。根の長さも広がり具合も、いずれも水中であることから直接的に検出しにくいが、補助光を照射して、根による影を間接的に検出することができる。
【００４９】
上記に示した、検出部２１０は、植物９を検出する直接的な検出方法のほかに、直接検出された結果に基づいた３次元モデルを作成することにより、直接検出できない情報を間接的に検出してもよい。
図７は、葉の状態を示す図である。
図７（ａ）に、４枚の葉の着いた茎を俯瞰した画像として示す。
植物９の側面から撮像した画像情報では、この図に示されるような画像情報を取得できるが、平面的な状態を検出するのは困難である。そこで、４枚の葉を３次元情報として抽出する。
図７（ｂ）に、図７（ａ）に示した４枚の葉を３次元情報とした結果に基づいて、水平面に投射した結果を示す。このような次数変換の方法を採ることにより、植物９の上部からの撮像が困難な場合でも、任意の高さの範囲に含まれる葉の平面投射図を作成することができる。破線の円は、葉の先端の近傍を通過する円を示す。
【００５０】
図７（ｃ）に、図７（ａ）に示した４枚の葉が、しおれた状態を示す。それぞれの葉の先端が地面に向かって垂れ下がった状態を示す。この状態の４枚の葉を３次元情報として抽出する。
図７（ｄ）に、図７（ｂ）と同様に図７（ｃ）に示した４枚の葉を３次元情報とした結果に基づいて、水平面に投射した結果を示す。４枚の葉がしおれた状態となったことにより、葉の先端の近傍を通過する円は、図７（ｂ）に示した葉の先端の近傍を通過する円より小さな円となる。
このように投射された葉のイメージが示す葉の先端の近傍を通過する円の直径により、葉の成長度合い、しおれ具合などの検出を行うことができる。
また、茎の先端に花が咲く「菊」のような植物の花の状態を検出することに応用できる。
【００５１】
（育成モデルの生成）
次に、制御部５００において育成モデル生成部５１０が生成する育成モデルについて説明する。
前述の「（植物の育成状況の判定）」において、判定項目に応じて目的にあった検出条件による植物９の育成状況の検出について示した。検出された育成状況を判定するための基準（判定項目）として用いる育成モデルの生成について示す。
最初に、基準時（発芽時など）からの経過時間に応じて、植物９の育成状況を判定するために、基準時（発芽時など）からの経過時間と植物９の育成状況とを関連付ける経過時間による育成状況モデル（第１育成モデル）が必要とされる。
この第１育成モデルには、各種項目を選択することができる。例えば、葉の状態による判定では、葉の枚数、１枚の葉の大きさ、生い茂った葉の投影面積、しおれ具合（角度、縦横比）などがあげられる。茎の状態による判定では、背丈、枝の張り具合、太さなどがあげられる。花・実の状態による判定では、数、密度、配置、実の成熟度などがあげられる。根の状態による判定では、長さ、広がり具合などがあげられる。
選択された項目において、例えば、基準時（発芽時など）からの経過時間に応じた成長曲線に基づいた数値を基準値とすることにより、モデル化することができる。
この第１育成モデルは、個体の成長の基準とするだけでなく、隣接する個体との干渉を判定する場合にも用いることができる。
【００５２】
また、花が成実したときの実の位置を推定した、花の位置に対する実の配置モデル（第２育成モデル）が必要とされる。
この第２育成モデルには、花・実の状態による判定では、数、密度、配置などがあげられる。
選択された項目において、花の位置に対する実の配置を推定した位置、特徴点に対する位置、実の大きさを基準値とすることにより、モデル化することができる。
この第２育成モデルは、個々の実の成長の基準とするだけでなく、隣接する実のそれぞれの大きさと隔離距離により、隣接する実の干渉を判定する場合にも用いることができる。
【００５３】
また、大きさ、形又は色を基準とするパターンを用いて、検出する対象の特徴を抽出して収穫時期を判定する収穫時期判定モデル（第３育成モデル）が必要となる。
【００５４】
つまり、育成モデル生成部５１０は、判定項目として選択された項目に対応する数値をモデル化することにより基準値を生成し、育成モデル部２２０の初期値とする。
育成モデル生成部５１０は、育成モデルの生成を画像情報に基づいて生成して、更新する。生成した育成モデルと、実際の状態との乖離が大きい場合には、無理な制御量を与えることとなる場合がある。その場合には、育成モデル生成部５１０は、予め定めた閾値を基準に、判定し育成モデルを補正して、育成モデル部に保持された値を更新する。なお、育成モデルの更新は、段階的に定めた成長課程によって更新周期を変更してもよい。
【００５５】
判定部２００では、検出部２１０によって検出された値と、育成モデル部２２０に保持された各育成モデルの値とに基づいて育成状況判定部２４０によって判定（演算）することにより、検出された値と、育成モデル部２２０に保持された各育成モデルの値との差を算定し、育成状況を判定する。
【００５６】
なお、育成モデル生成部５１０は、育成モデルの値を、過去に検出された検出値、過去に設定されたモデルの値などを統計処理して算定してもよい。
【００５７】
（周囲環境の制御）
環境制御部５２０は、判定された育成状況に応じて育成環境を制御する環境制御量を生成する。例えば、環境制御部５２０は、判定された育成状況に応じて植物９に与える光を制御する場合には、光制御部１２１によって、植物９に与える光の光量又は波長を制御する。環境制御部５２０は、判定された育成状況に応じて植物９に与える二酸化炭素濃度を制御する場合には、二酸化炭素処理部１２３によって、植物９が置かれている二酸化炭素濃度を制御する。環境制御部５２０は、判定された育成状況に応じて植物９に与える空気を制御する場合には、空調設備１２２によって、植物９に供給する空気の温度、湿度、及び、風量の少なくともいずれか１つを制御する。環境制御部５２０は、判定された育成状況に応じて植物９に与える水を制御する場合には、水調整設備１２４によって、植物９に給水する水量、水温、及び、養分濃度の少なくとも１つを制御する。
例えば、育成状況を促進させるためには、環境制御部５２０は、光制御部１２１によって、植物９に与える光の照度を高め、照射時間を長くして、光量が増加するように制御する。また、空調設備１２２によって、植物９の周囲温度を高めることにより、育成状況を促進させることができる。このような条件の制御では、植物の種類、育成過程などによって異なり、それぞれに適する制御内容が定められる。
周囲環境の制御は、栽培時には、環境制御部５２０により比較的短い周期で繰り返し行われ、異常値の検出を早く行うことにより、植物９へのダメージを低減し、適切な環境で栽培できるようにする。
【００５８】
（撮像位置の制御）
位置制御部５３０は、撮像位置移動部４００を制御して、植物９を撮像する位置及び方向を指示する。位置制御部５３０は、撮像部３００の位置、撮像方向を変更して目的に応じた画像情報を撮像するために撮像位置移動部４００を制御する。
撮像位置移動部４００は、多間接型のアーム部４２を備える移動型検出装置４０を備えていることから、撮像部３００の位置を柔軟に設定することができる。
植物９の実が、葉や他の実の影になるような位置であっても、それらに影響されない位置に撮像部３００を移動させることができる。これにより、撮影対象の植物９の実が葉や他の実の影に隠れていたとしても、それらに妨げられることなく、撮影対象の植物９の実を撮像部３００で確実に撮像することができる。
なお、撮像部３００は、アーム部４０の先端部に配置するものとしたが、アーム部４０の先端に近いアームや、同アームに設けられた雲台に設けられていてもよい。また、アーム部４０の先端としたが、アーム部４０に内蔵されていてもよい。
【００５９】
（生産計画の設計）
生産計画設計部５４０は、撮像された画像情報に基づいて生産計画を設計する。画像情報に基づいた生産計画を設計することにより、収穫するか否かの判定に限らず、植物栽培システム１の設備を有効に利用して、効率よく植物９を栽培することが可能となる。また、この生産計画は、目的の時期の出荷量を調整することにも利用できる。
【００６０】
（収穫計画の設計）
収穫計画設計部５５０は、第３育成モデルに基づいて、収穫計画を設計する。
第３育成モデルに基づいて設計することにより、収穫可能か否かの判定の精度を高めることができる。この判定を行うことにより、例えば、それぞれの実の収穫時期を適正化させることができ、品質を揃えることが可能となる。
収穫計画を作成するための画像情報は、各植物９に対して他の処理を行うために接近した際に、所得することもできる。或いは、過去に設計した収穫計画によって、収穫順序が策定されていれば、その収穫順に応じて検出頻度を制御することも可能である。すなわち、収穫計画により収穫時期が遅くなると判定された実に対する検出頻度を粗くして、収穫時期が近い実に対する検出頻度を高めることができるので、検出効率を高めることができる。
また、収穫時期を繰り上げ、或いは延期させる判定条件として用いることもできる。これにより、必要な出荷量に応じた量を収穫することができる。
【００６１】
（配置計画の設計）
配置計画設計部５６０は、第１育成モデルに応じて、周囲に位置する植物９の配置計画を設計する。第１育成モデルに基づいて設計することにより、成長後の植物９の個体の大きさを算定することができる。
この配置計画を策定することにより、成長過程で隣接する植物、或いは、施設との干渉を未然に防いで、効率よく植物を配置することができる。この配置計画は、いわゆる、間引きを行う場合や、互いの異なる種類の植物同士の相性が合わない場合の適切な配置等の判定基準となる。
【００６２】
（剪定計画の設計）
剪定計画設計部５７０は、第１育成モデルに応じて、植物９を剪定する剪定計画を設計する。
これにより、隣接する植物９、或いは、自らの枝に干渉する場合を推定することができ、剪定する枝とその位置を適正に選定することができる。
また、剪定計画設計部５７０は、第２育成モデルに応じて、植物９の花（実）を剪定する剪定計画を設計する。
これにより、植物９に成実する位置を算定することにより、自らの枝や実に干渉する場合を推定することができ、剪定する枝や実を選定し、剪定する位置を適正に選定することができる。
【００６３】
（植物栽培システムの制御）
本実施形態に示した植物栽培システム１では、撮像部３００は、植物９を撮像し、画像情報を生成する。
撮像位置移動部４００（撮像位置移動手段）は、撮像部３００が撮像する位置を移動させる（多関節型の）アーム部４２(ロボットアーム)を備えることにより、自由な位置と方向から植物９の状況を測定することができ、その測定された画像情報に基づいて、環境条件を制御することにより、収穫時期を制御することが可能となる。
【００６４】
このような、植物栽培システム１によって大規模化が容易に行えるようになる。
また、植物栽培システム１において、植物９の育成状況（成長度合い）を正確に判定することにより、生産性を高め、品質向上に寄与することができる。
【００６５】
［成長度合検出装置]
続いて、図８を参照し、植物栽培システム１における植物の成長度合いを検出する成長度合検出装置について示す。
以下の説明において、植物の成長度合いは、成長過程における成長の進み具合を示す指標とする。成長度合検出装置の検出対象である植物９（図１）の成長過程において、該植物９の成長度合いを検出するために、植物９の成長に応じた分類をする複数の段階を設けておく。
この図に示す成長度合検出装置７０は、ユーザーが携帯して利用する携帯型の端末装置として、成長度合検出装置を構成した場合を例にして説明する。
図８は、本実施形態における成長度合検出装置７０を示す図である。
この図に示される成長度合検出装置７０は、タブレット型の装置として構成されたものである。
成長度合検出装置７０は、被写体を撮像する撮像部７１と、撮像した画像を表示する表示部７４とを備え、一体化された筐体内に構成されている。成長度合検出装置７０は、被写体に向けられた撮像部７１が撮影した画像を表示部７４に表示する。また、成長度合検出装置７０は、植物９の画像情報を取得して、取得した画像情報に基づいて、植物９の成長に応じて設けた段階に従って植物９の成長度合いを検出する。
【００６６】
図９は、本実施形態における成長度合検出装置７０を示すブロック図である。
図１から図３、図８と同じ構成には、同じ符号を附す。
【００６７】
成長度合検出装置７０は、撮像部７１、育成状況検出部７２、表示制御処理部７３、表示部７４、操作入力検出部７５、加速度検出部７６、及び、制御部７９を備える。
撮像部７１は、カメラ部７１１、撮像処理部７１２、記憶部７１３、及び、撮像位置取得部７１４を備える。
カメラ部７１１は、検出対象である植物を主たる被写体として、その被写体を撮像して得られる画像から画像信号に変換する。
【００６８】
撮像処理部７１２は、カメラ部７１１を制御して撮像させる。
また、撮像処理部７１２は、カメラ部７１１によって変換された画像信号に基づいた画像情報を得る。撮像処理部７１２は、撮像された被写体の位置を特定する被写体位置情報を、その画像情報に対応させて得る。撮像処理部７１２は、検出対象範囲設定部７２３によって設定された検出対象範囲に対応する識別情報を、その画像情報の被写体位置情報とする。或いは、撮像処理部７１２は、撮像された画像情報から抽出した特徴点に応じた位置情報を生成し、生成した位置情報を被写体位置情報としてもよい。
また、撮像処理部７１２は、撮像位置検出部７１４によって得られた撮像位置情報と、撮像処理部７１２によって得られた被写体位置情報と撮像時刻情報とを、撮像された画像情報に対応させて記憶部７１３に記憶させる。
【００６９】
撮像位置検出部７１４は、カメラ部７１１によって撮像された画像信号によって示される画像情報から、撮像する位置を特定する撮像位置情報を得る。撮像位置情報を得るための基準点を植物９の周辺に予め設けておき、撮像位置検出部７１４は、撮像された画像に含まれる基準点に基づいて撮像位置情報を算出する。或いは、撮像位置検出部７１４は、ＧＰＳシステムによる位置情報を取得して、取得した位置情報を撮像位置情報としてもよい。
【００７０】
記憶部７１３は、撮像位置検出部７１４によって得られた撮像位置情報と、撮像処理部７１２によって得られた被写体位置情報と撮像時刻情報とを、カメラ部７１１によって撮像された画像情報に対応させて記憶する。記憶部７１３が記憶する各種情報は、最新の情報として記憶される。なお、被写体位置情報は、対応する植物９の識別情報としてもよい。
【００７１】
さらに、撮像部７１は、撮像処理部７１２によって、カメラ部７１１によって得られた画像情報に基づいて、撮像した撮像位置を中心とするパノラマ画像や３次元合成画像を合成してもよい。パノラマ画像や３次元合成画像を合成する場合、撮像処理部７１２は、合成されたパノラマ画像や３次元合成画像による画像情報を、撮像時刻情報と、撮像位置情報と、被写体位置情報と、撮像された画像情報とを対応させて記憶部７１３に記憶させてもよい。このように、植物栽培プラント４内を撮像して得た画像情報から、パノラマ画像や３次元合成画像を合成することにより、それぞれ撮像した撮像位置に応じたパノラマ画像や３次元合成画像の画像情報（３次元合成画像情報）を得ることができる。
また、撮像部７１は、撮像部７１に作用する手ブレを補正する手ブレ補正機能を有していることが望ましい。
【００７２】
育成状況検出部７２は、成長の段階に合わせてそれぞれ設定された検出対象範囲に含まれる該植物９の状態から、植物９の成長度合いを検出する。
育成状況検出部７２は、撮像部７１によって撮像された植物９の画像情報に基づいて植物９の成長度合いを検出して、植物９の育成状況（成長度合い）を示す情報とする。
育成状況検出部７２は、成長度合検出部７２１、成長段階判定部７２２、検出対象範囲設定部７２３、情報取得部７２５、及び、過去情報記憶部７２６を備える。
【００７３】
情報取得部７２５は、予め定められた所定の時間間隔により撮像された植物９の画像情報を撮像部７１から取得する。
例えば、情報取得部７２５は、カメラ部７１１によって撮像された植物９の画像に基づいた画像情報と、その画像が撮像された時刻を示す撮像時刻情報と、撮像した位置を特定する撮像位置情報と、撮像された被写体の位置を特定する被写体位置情報とを、カメラ部７１１を備える撮像部７１から取得する。情報取得部７２５は、取得した画像情報と、撮像時刻情報と、撮像位置情報と、被写体位置情報と、を対応させて、過去情報記憶部７２６に格納する。
情報取得部７２５が取得する画像情報は、カメラ部７１１によって撮像された画像情報、或いは、撮像部７１の記憶部７１３に記憶されている画像情報のいずれかである。また、撮像部７１の記憶部７１３に記憶されている画像情報は、撮像部７１によって撮像された画像情報に基づいて合成されたパノラマ画像や３次元画像を示す３次元合成画像情報による画像情報を含むものであってもよい。
過去情報記憶部７２６は、情報取得部７２５が取得した画像情報と、撮像時刻情報と、撮像位置情報と、被写体位置情報とを対応させて格納する。また、過去情報記憶部７２６は、情報取得部７２５が取得した合成されたパノラマ画像や３次元画像を示す３次元合成画像情報による画像情報を合わせて格納するものであってもよい。
【００７４】
成長度合検出部７２１は、予め定められた所定の時間間隔により撮像された植物９の画像情報に基づいて、該植物９の成長度合いを検出する。
まず、成長度合検出部７２１は、被写体位置情報と撮像時刻情報とに基づいて、定められた特定の検出対象範囲における、過去情報記憶部７２６に格納された画像情報を参照し、予め定められた所定の時間間隔により取得されていた植物９の画像情報を得る。成長度合検出部７２１は、この所定の時間間隔により撮像された植物９の画像情報から、その画像情報によって示される検出対象の差分情報を得る。成長度合検出部７２１は、この検出対象の差分情報に基づいて、植物９の成長を検出する。この検出対象の差分情報には、枝の長さ、茎の太さ、根の長さ、実の大きさなどの長さに関する差分情報、葉、茎、実などの色相に関する差分情報などがある。
また、成長度合検出部７２１は、所定の期間に達すると期待される成長量に対して、実際の成長量がどの程度まで達しているかを検出し、その程度を成長度合いとして示す。例えば、成長度合検出部７２１は、所定の期間に達すると期待される成長量に対する、実際の成長量の比を成長度合いとしてもよい。
植物９の成長において、植物９における特定の部位ごとに成長度合いが異なることにより、部位ごとの成長が一様に進むものではない。このように、植物９においては、部位が適宜選択されて、成長度合検出部７２１は、その部位の成長度合いを検出することにより、その時々に適した成長度合いをそれぞれ検出することができる。
【００７５】
定められた特定の検出対象範囲ごとに、成長の段階に応じて予め定められる所定の時間間隔により、該植物９の成長度合いを検出する。
例えば、所定の時間間隔を隔てて撮像された２つの画像に基づいて、該植物９の成長度合いを検出する。
植物９の成長過程を複数の段階に分けた場合、それぞれの段階、及び、それぞれの部位において、植物９の成長度合いの変化量が異なる。そこで、成長過程のそれぞれの段階及びそれぞれの部位に応じて、植物９の成長度合いを検出するのに必要とされる時間間隔を定める。これにより、成長度合検出部７２１は、必要以上に検出を行うことなく、検出回数を低減することができ、必要な情報を効率よく収集することができる。
成長度合いの変化量が大きな段階では、成長度合いを検出可能とする程度に時間間隔を比較的短く定め、成長度合いの変化量が小さな段階では、時間間隔を比較的長く定める。このように時間間隔を成長の段階に応じて定めて、検出回数を低減させた場合であっても、成長度合いを検出できる。
【００７６】
成長段階判定部７２２は、成長度合検出部７２１によって検出されたそれぞれの部位の差分情報から算出される成長度合いに基づいて、植物９の成長の段階を判定する。
【００７７】
検出対象範囲設定部７２３は、判定された成長の段階に応じて植物９の検出対象範囲を設定する。例えば、検出対象範囲設定部７２３は、植物９の実を収穫する収穫段階の場合、植物９の中で実が熟しやすい部分が含まれる範囲を検出対象範囲として設定してもよい。
ところで、植物９によって、実の熟しやすさが部分ごとに異なることが知られている。葡萄の場合、枝の先端に近い房のほうが早く熟す傾向がある。また、同じ房であれば、房の上部、すなわち枝に近い部分のほうが早く熟す傾向がある。そこで、検出対象範囲設定部７２３は、検出対象範囲ごとに、優先的に選択されるべき検出対象範囲を設定するための重み付けを設定する。この重み付けにおいては、熟しやすい部分が含まれる範囲を検出対象範囲として優先的に設定するように設定する。検出対象範囲設定部７２３は、この重み付けに従って検出対象範囲を設定することにより、熟した実を効率よく検出することができる。
【００７８】
また、検出対象範囲設定部７２３は、検出対象範囲を収穫する実に対応させて、或いは、同じ時期に収穫可能な実を含むように、それぞれの検出対象範囲を定める。
さらに、検出対象範囲設定部７２３は、実を識別する識別情報を参照して、収穫した実の識別情報を取得して、実を収穫した後に残った実の中から（すなわち、未収穫の実の中から）、熟しやすい部分が含まれる範囲を優先して検出対象範囲として設定するような重み付けを定義する。これにより、段階的に実を収穫する場合であっても、熟した実を効率よく検出することができる。
【００７９】
或いは、検出対象範囲設定部７２３は、植物９の実を収穫する収穫段階の場合、実の中で熟しやすい部分が含まれる範囲を検出対象範囲として設定してもよい。
植物９の同じ実の中においても、熟しやすさが異なることが知られている。りんごの場合、枝に着いた状態で上側半分のほうが下側半分より早く熟す傾向がある。そこで、検出対象範囲設定部７２３は、検出対象範囲ごとに、優先的に選択されるべき検出対象範囲を設定するための重み付けを設定する。この重み付けにおいては、植物９の実の中で熟しやすい部分が含まれる範囲を検出対象範囲として優先的に設定するように設定する。検出対象範囲設定部７２３は、この重み付けに従って検出対象範囲を設定することにより、実の熟し加減を効率よく検出することができる。或いは、植物９の実の中で熟しやすい部分が含まれる範囲を、その実の検出対象範囲として固定的に設定してもよい。
【００８０】
検出対象範囲設定部７２３は、成長の段階に応じて定められる検出対象範囲の候補の中から、所望の検出対象範囲を選択する。
例えば、発芽時、開花時、受粉時、成熟期（収穫時）のように成長の段階を定めた場合、それぞれの成長の段階に応じて、検出対象範囲の候補の中から、所望の検出対象範囲を選択する。検出対象範囲の候補としては、前述の「（植物の育成状況の判定）」において示した検出対象を撮像できるように設定した範囲を検出対象範囲の候補とすることができる。
具体的な例を示すとすれば、発芽時から開花時までの段階では、葉又は茎に対して検出対象範囲を設定し、開花時から受粉時までの段階では、花に対して検出対象範囲を設定し、受粉時から収穫時までの段階では、実に対して検出対象範囲を設定する。検出対象範囲の設定は、対象とする植物の種類などに応じて所望の検出対象範囲を定める。
【００８１】
表示制御処理部７３は、撮像部７１において撮像された画像情報と、過去情報記憶部７２６に記憶されている画像情報とに基づいて、表示部７４に表示させる画像を生成する。
表示制御処理部７３は、表示制御部７３１と、表示情報生成部７３２とを備える。
表示制御部７３１は、表示対象の植物を識別する識別情報に対応付けて過去情報記憶部７２６に記憶されている該植物の育成に関する情報から生成された表示情報を、該表示対象の画像に対応させて表示させる。
表示制御部７３１は、第１の時間間隔で撮像された画像の画像情報であって、撮像された順に基づいた時系列情報に対応させて過去情報記憶部７２６に記憶されている表示対象の画像の画像情報を、時系列情報に応じて第２の時間間隔に従って、過去情報記憶部７２６から読み出して表示させる。これにより、表示制御部７３１は、いわゆる録画装置における早送り再生と同様な表示を行わせることができる。
また、表示制御部７３１は、時系列情報に応じて過去情報記憶部７２６から順次読み出して表示させる表示対象の画像に、当該表示対象の画像に対応する表示情報を対応させて表示させる。表示対象の画像に対応する表示情報が時間の経過に応じて変化する場合であっても、表示制御部７３１は、順次読み出して表示させる表示対象の画像に対応させて表示させることができる。
表示制御部７３１は、時刻情報を、時刻情報に対応付けられている画像情報の画像に対応させて表示させてもよい。
【００８２】
表示情報生成部７３２は、表示対象の植物を識別する識別情報に基づいて表示対象の植物に関連付けられる表示情報として、表示対象の植物に関する表示情報を生成する。
また、表示情報生成部７３２は、植物の成長の段階を推定した推定情報に基づいた表示情報を生成する。
【００８３】
このように構成した表示制御処理部７３において、表示制御部７３１は、撮像部７１が新たに撮像して過去情報記憶部７２６に記憶させる植物９の画像情報に基づいた第１の像の位置と、過去に撮像された画像情報である過去情報記憶部７２６に記憶されていた画像情報に基づいた第２の像の位置とを判別させる画像を生成する。
表示制御部７３１は、第１の像と第２の像とに基づいた画像である合成画像を生成し、表示部７４に表示させる。
【００８４】
また、表示制御処理部７３において、表示情報生成部７３２は、加速度検出部７６によって検出された加速度に応じて、生成する表示情報や、表示情報を表示する領域の大きさを変更する。或いは、表示情報生成部７３２は、加速度検出部７６によって検出された加速度の大きさに応じて、表示情報の表示を中断させてもよい。
なお、表示制御処理部７３による詳細の処理については、後述とする。
【００８５】
表示部７４は、表示制御処理部７３によって生成された画像を表示する。
操作入力検出部７５は、ユーザーの操作を検出することにより、成長度合検出装置７０を機能させる操作情報を取得して、その操作情報を制御部７９に通知する。操作入力検出部７５は、表示部７４の表示面上に設けられたタッチパネルとして構成してもよい。
加速度検出部７６は、成長度合検出装置７０の位置の変位又は角度の変位を加速度として検出する加速度センサを備える。例えば、加速度検出部７６を６軸加速度センサとすることにより、加速度検出部７６が検出した加速度などに基づいて、成長度合検出装置７０の傾きや動きを検出するための情報を得ることができる。要するに、加速度検出部７６は、成長度合検出装置７０が備える撮像部７１や表示部７４の位置の変位又は角度の変位を加速度として検出する。
【００８６】
制御部７９は、操作入力検出部７５によって検出された条件に基づいて成長度合検出装置７０を構成する各部を制御する。
制御部７９は、検出された加速度を撮像部７１、育成状況検出部７２及び表示制御処理部７３に供給する。制御部７９は、加速度検出部７６によって検出された加速度に基づいて、成長度合検出装置７０の位置の変位又は角度の変位とその変化量を算出し、成長度合検出装置７０の傾きや動きを検出する。制御部７９は、成長度合検出装置７０の傾きや動きの情報から、撮像方向を算定して、撮像部７１と育成状況検出部７２とに供給する。
【００８７】
続いて、成長度合検出装置７０による検出対象の成長度合いを検出する処理について順に説明する。
（植物の成長度合いを検出するための位置の検出方法について）
図を参照し、本実施形態における検出対象である植物の成長度合いの検出について説明する。
図１０は、成長に応じて変化する植物の様子を示す図である。
検出対象が、植物９の場合には、成長の過程に応じて検出対象の成長方向が変化する。
例えば、図に示すように、植物が成長すると枝が伸び、実が成熟してくると実の重さにより枝がしなり、応力に応じて柔軟に変化する。たとえ、植物９の所定の部分を特徴点として定義したとしても、特徴点の位置は、植物９の成長に応じて変化して、特定の位置に定まることはない。
さらに、葉が生い茂って、過去に選定していた目印の位置（特徴点）が隠れてしまう場合も生じる。
このように、植物９において成長を検出するには、目印として選定した位置（特徴点の位置）が成長の過程に応じて変化するため、長期的に変化する植物の成長を検出することが困難となる要因となっている。
【００８８】
一般的な位置の検出方法として、景色や建物などのように、位置と形状が変化しない検出対象を撮像された画像情報から、その検出対象の位置を検出する検出方法がある。そのような検出対象は、検出対象内の特徴点の相対的な位置関係は変化しない。それゆえ、検出対象の特徴点の相対的な位置関係が変化しないことを条件とした検出方法を利用して、撮像した位置を検出したり、２つの画像の撮像位置の差を検出し、得られた画像を補正したりすることができる。
ただし、一般的な位置の検出方法においては、検出対象の特徴点の相対的な位置関係が変化しないことを条件としているため、植物９の長期的な成長の変化を検出する際に適用することが困難である。
このように、検出対象内の特徴点の相対的な位置関係が変化しないことを条件とする検出方法をそのまま適用しても、長期的に特徴点の位置が変化する植物の成長を検出することができない。
植物９の特徴点の位置を長期的に検出を続けるには、成長によって変化する植物９の成長に応じた位置の検出方法が必要とされる。
【００８９】
（本実施形態における植物の成長の検出方法の原理）
そこで、本実施形態における成長度合検出装置７０は、検出対象内の特徴点の相対位置が変化することを前提に、植物の成長を検出するものとする。
成長度合検出装置７０による植物の成長を検出する処理においては、撮像位置を検出する処理と、植物の成長の変化を検出する処理とをそれぞれ実施する。
まず、成長度合検出装置７０により撮像位置を検出する処理について示す。撮像位置を検出する処理の場合、例えば、植物９の周囲に、３点の基準点を設けておき、成長度合検出装置７０は、その基準点の位置を検出する。このような基準点は、植物９の成長に応じて位置が変化しないため、前述の「検出対象内の特徴点の相対的な位置関係が変化しないことを条件とする検出方法」などを適用することができる。このように、植物の成長の変化を検出する前に、予め撮像位置を検出しておくことにより、植物の成長の変化の検出精度を高めることができる。或いは、画像情報から検出する撮像位置情報に加え、ＧＰＳ（Global Positioning System）などから得られる位置情報を含めて、総合的に撮像位置を検出することとしてもよい。
【００９０】
次に、成長度合検出装置７０により植物の成長の変化を検出する処理について示す。
植物９が成長するため検出対象が異なる位置に移動する場合がある。成長度合検出装置７０による植物の成長の変化を検出する処理において、撮像部７１の位置を固定して植物９を撮像することができたとしても、植物９が成長して検出対象が異なる位置に移動することから、撮像可能な領域からはみ出す場合が生じうる。それゆえ、検出対象が撮像可能な領域からはみ出さないように、撮影することが必要とされる。
また、得られた画像から、成長度合いを判定するために、成長度合検出装置７０は、成長する前に撮影した画像と、成長した後に撮影した画像とを比較する。２つの画像を比較するために、成長した後の画像についても、成長する前に撮影した画像と同じような画像になるように撮影することが望ましい。そのように検出対象を撮影するには、その成長に応じて異なる位置に移動する検出対象を撮影できるように検出対象範囲を設定する。
この検出対象範囲は、植物の成長を推定し、撮影対象を含む画像を撮影できるように設定される領域を示すものである。
【００９１】
また、撮像部７１を移動させているため、前述したように撮像部７１の位置の検出が行われた後、所定の撮像方向を撮像できるように撮像方向を調整したり、撮像方向に応じた画像情報を補正したりすることが必要になる。
そこで、成長度合検出装置７０は、成長度合検出装置７０から検出対象（植物９）への方向が所定の範囲に収まるように、撮影に適する方向をユーザーに対して表示する。例えば、成長度合検出装置７０は、過去に撮影した像と、今回撮影する像とを同じ画面に重畳して表示して、画面内の適する位置に検出対象が収まるように撮影位置を選択させるようにする。
【００９２】
撮像方向の調整を行うために、まず、成長度合検出装置７０は、検出対象に定めた特徴点の位置を検出する。
検出対象に定める特徴点として、枝の分岐点、葉・花・実が枝に着いている位置、枝・葉の先端の位置から選択した位置を定める。
【００９３】
図１１から図１５を参照し、成長度合検出装置７０による、検出対象に定めた特徴点の位置の検出について説明する。
図１１は、図１０に示した検出対象の特徴点の配置を示す図である。
この図に示される特徴点に基づいて、植物の成長を検出する処理の原理について順に説明する。
以下の説明では、枝の分岐点を特徴点とした場合を例にして説明する。
成長度合検出装置７０は、植物９の成長を長期的に検出するために、その時々の画像を取得して比較する。その変化を検出するために、その植物９の特徴点（例えば、Ｎ２（ｋ）、Ｎ３（ｋ）、Ｎ４１（ｋ）、Ｎ４２（ｋ））の位置を、その時々において検出することにより成長度合いを検出する。
この図に示される特徴点は、（Ｎ２（ｋ）、Ｎ３（ｋ）、Ｎ４１（ｋ）、Ｎ４２（ｋ））の各点として植物９の枝の分岐点に定められている。
【００９４】
そこで、本実施形態では、次に示す検出方法により植物９の成長過程に応じた撮影を可能とする。
３箇所以上の特徴点に基づいてカメラ部７１１の位置を検出する。
まず、説明を簡単にするため、３つの特徴点（Ｎ３（ｋ）、Ｎ４１（ｋ）、Ｎ４２（ｋ））を１つの画像として撮像できるようにカメラ部７１１を配置して、初期状態のカメラ部７１１の画角と撮影方向を定める。
【００９５】
その３つの特徴点のうち１点（例えば、Ｎ３（ｋ））を代表点として定め、その代表点を基準とする相対位置により他の２点（Ｎ４１（ｋ）、Ｎ４２（ｋ））の位置を示す。
基準座標系における代表点の位置、及び、代表点を基準にしたほかの２点の相対位置が、植物９の成長により異なる位置（Ｎ３（ｋ＋１）、Ｎ４１（ｋ＋１）、Ｎ４２（ｋ＋１））に移動する。
例えば、この図に示されるように、枝に沿って２つの特徴点（Ｎ３（ｋ）とＮ４１（ｋ））が定義されている場合には、植物の成長が進むにつれ、２つの特徴点（Ｎ３（ｋ＋１）とＮ４１（ｋ＋１））の間隔が広がる。
また、実の位置に特徴点を定義した場合には、実が大きくなるにつれ、実の重量の影響により、実の位置に定義された特徴点の位置が下がる。また、その実が着いた枝に定義された特徴点（Ｎ４１（ｋ＋１））の位置も下がる。このように特徴点の位置が移動しても、成長に応じて移動する特徴点の位置を推定することにより、画像からはみ出すことなく撮影することができる。
【００９６】
以上に示した、特徴点を検出する成長度合検出装置７０による処理の具体的な例を説明する。
一般的な植物は、ツリー構造として定義することができる。
例えば、植物９の株の位置を基準点として、特徴点の位置を定義する。基準点から、それぞれの特徴点までは、分岐した枝（茎）を順にたどることにより到達する。そこで、枝（茎）の分岐点をノード、ノード間の枝（茎）をブランチとしたツリー構造として定義する。
このように、植物９を、ツリー構造として定義することにより、その特徴点がノードとして定義され、相互の特徴点の位置関係が明確になり、特徴点を容易に検出することができる。各ブランチの長さとして示されるノード間の間隔は、植物の成長に応じて広がる。
また、各ブランチをそれぞれベクトルとして定義して、基準点から代表点までの各ベクトルを積算することにより、代表点の位置を得る。同様に、代表点を基準に、他の２点についてもベクトルとして定義して、他の２点のそれぞれの位置を得る。
【００９７】
それぞれのベクトルは、成長に応じて変化するが、枝が欠損する場合や新芽が生じる場合などを除けば、ツリー構造のトポロジーが変化することはない。それゆえ、各ベクトルの変化量を推定して、積算することにより、成長により移動する代表点の位置を推定することができる。また、同様に、代表点を基準に、他の２点についてもベクトルの変化を推定して、他の２点のそれぞれの位置を推定することができる。
上記の各ベクトルの変化は、前述の第１育成モデルに基づいて定義される演算式（式（１））に従って算出することができる。
【００９８】
↑ｘｎ（ｋ＋１）＝ｇ（↑ｘｎ（ｋ）、ｋ）＝↑ｘｎ（ｋ）＋↑Δｘｎ（ｋ） ・・・（１）
【００９９】
上記式（１）において、「↑ｘｎ（・）」は、「ベクトルｘｎ」を示し、添え字ｎによって示されるブランチに対応するベクトルを示す。なお、添え字ｎは、ベクトルを一意に識別するための識別子を示し、ｋは、検出時刻を示す変数を示す。
また、「↑Δｘｎ（・）」は、「ベクトルΔｘｎ」を示し、「ベクトルｘｎ」に対応して定められ、「ベクトルｘｎ」の変化量を示すベクトルである。
このように「ベクトルΔｘｎ」をベクトルとして定義することにより、大きさの変化に限らず、変化の方向を定義することができる。この「ベクトルΔｘｎ」を前述の第１育成モデルに基づいて定義することにより、モデル化することができる。
【０１００】
上記のようにそれぞれ推定された特徴点の移動先の位置に応じて、成長度合検出装置７０は、検出対象範囲を設定することにより、成長に応じた位置の移動に適応させた撮影が可能となる。
【０１０１】
図を参照し、特徴点を一致させて撮影する処理について説明する。
図１２は、図１０に示した条件により、特徴点を一致させて撮影する処理を示す図である。
植物９の成長度合いを検出する際に、検出対象範囲設定部７２３は、撮像部７１により撮影すべき領域を検出対象範囲として推定する。
ここで、図に示されるように代表とする特徴点（Ｎ３（ｋ））を基準点として、表示させておき、その基準点であるＮ３（ｋ）に、そのＮ３（ｋ）が移動したＮ３（ｋ＋１）の移動先を重ねるように検出対象範囲を表示する。ユーザーは、これから撮影する画像における特徴点Ｎ３（ｋ＋１）を、表示された検出対象範囲に示されるＮ３（ｋ＋１）に一致するように撮像方向を定める。
このように、ユーザーは、その基準点であるＮ３（ｋ）に、これから撮影する画像における特徴点Ｎ３（ｋ＋１）を一致させるように検出対象範囲の位置を設定する。
これにより、撮像部７１により撮影が行われる際に、検出対象範囲設定部７２３によって、特徴点が移動する位置を推定し、推定された位置を画像に表示することにより、同様の距離、方向からの撮影が容易に行えるようになる。
【０１０２】
また、基準とする特徴点を変更する場合であっても、過去に検出した時点から、次に検出する時点までの期間と、その植物９の成長度合いとに応じて、前述の成長モデルを参照することにより、成長度合検出装置７０は、その時点の特徴点が移動する範囲を推定することができる。
このように、特徴点の位置が移動する場合であっても、成長度合検出装置７０は、成長モデルに基づいて特徴点が移動する範囲を推定し、推定された特徴点が移動する範囲を基準に撮像範囲を定めることにより、検出対象を継続的に検出することが容易となる。
【０１０３】
また、上記の説明では、３点の特徴点がいずれも継続的に検出可能である場合を例として示したが、３点のうちいずれかの点（ノード）が検出できない状況になった場合にも、ツリー構造における各ノードの位置情報を備えていることにより、検出できない状況になったノードの位置を推定することができる。
図１３は、図１０に示した検出対象の特徴点の配置を示し、成長により１つの特徴点が検出できなくなった場合の処理を示す図である。
この図に示されるように、成長度合検出装置７０は、成長によりＮ３（ｋ＋１）の特徴点が検出できなくなった場合は、検出された特徴点（ノードＮ３（ｋ＋１））を基準にして、ノード（Ｎ４１（ｋ＋１）とＮ４２（ｋ＋１））の移動可能性を推定することができなくなる。
【０１０４】
そこで、成長度合検出装置７０は、異なる特徴点に基づいて特徴点の移動範囲を推定する。
図１４は、図１３に示した条件により、異なる特徴点に基づいて特徴点の移動範囲を推定する場合の処理を示す図である。
成長度合検出装置７０は、成長前に検出されていた特徴点（ノードＮ３（ｋ））を基準に、検出対象範囲から離れる方向に順に検出可能なノード（例えば、ノードＮ２（ｋ））を選択する。新たに選択した（ノードＮ２（ｋ））の位置情報に基づいて、検出できない状況になった（ノードＮ３（ｋ＋１））の位置を推定する。この推定処理においては、（ノードＮ２（ｋ））と（ノードＮ３（ｋ））間の間隔の変化量に基づいてノード（Ｎ３（ｋ＋１））の位置を推定し、推定ノード（Ｎ３’（ｋ＋１））とする。推定ノード（Ｎ３’（ｋ＋１））の位置は、前述の演算式（式（１））と同様の演算により算出することができる。（ノードＮ３（ｋ））から推定ノード（Ｎ３’（ｋ＋１））に変化する変化量をΔＮ３’（ｋ）として定義する。
【０１０５】
そして、成長度合検出装置７０は、推定ノード（Ｎ３’（ｋ＋１））を基準にして、ノード（Ｎ４１（ｋ＋１）とＮ４２（ｋ＋１））の移動範囲を推定する。ノード（Ｎ４１（ｋ＋１））の移動範囲を示すノード（Ｎ４１’（ｋ＋１）は、ノード（Ｎ３（ｋ））とノード（Ｎ４１（ｋ））との位置関係に基づいて成長量と方向を推定し、上記で定義した（ノードＮ３（ｋ））から推定ノード（Ｎ３’（ｋ＋１））に変化する変化量ΔＮ３（ｋ＋１）を合成することにより推定することができる。
このように、成長度合検出装置７０は、３点以上の特徴点（ノード）を検出対象範囲に含めることにより、特定の特徴点（ノード）が検出できなくなったとしても、長期にわたって特徴点（ノード）の位置を推定できることから、成長度合いを継続して検出することが可能となる。
このようにして、特徴点として選定していた各点の移動範囲を含むように検出対象範囲を設定する。
【０１０６】
また、上記説明において、３点の特徴点を示して説明したが、１点の特徴点と、その特徴点を中心とする球（円）を定義して、その球（円）の半径を特徴量とすることができる。
図１５は、図１０に示した検出対象の特徴点の配置と特徴量の一例を示す図である。
この図に示されるように、果実のように球体の検出対象の場合、その特徴点を中心とする球（円）を定義して、その球（円）の半径を特徴量とすることにより、成長による変化の範囲を定めやすくなる。
成長度合検出装置７０は、３点以上の特徴点を含み、球体として定義された検出対象の成長による変化を含む範囲を検出対象範囲として設定することにより、成長による変化があった場合であっても、検出対象を含むように検出対象範囲を設定することができる。
【０１０７】
（検出対象範囲の対象箇所の選定）
上記の説明では、枝の分岐点を特徴点として検出対象範囲を設定する場合を例示したが、成長度合検出装置７０は、前述の「（植物の育成状況の判定）」において判定対象として示した各項目と、そのほかに以下に示す対象項目の中から検出対象範囲の対象箇所を選定することができる。
植物９を拡大して撮像した画像に基づいて判定する対象項目を示す。
植物９を拡大して撮像した葉脈の状態、又は、茎に生じた産毛及び根に生じた根毛の状態を検出できるように植物９の検出対象範囲の対象箇所が定められる。
【０１０８】
例えば、植物９を栽培する際に供給される養分などのバランスが崩れると、葉の状態が変化することが知られている。植物９の状態が悪化すると、葉の色が変色したり、変形したりする。たとえ、葉が変形したとしても、葉脈の構成は変化せず、葉脈が示す形状が変化するだけである。そこで、成長度合検出装置７０は、葉脈の状態を検出できるように検出対象範囲を定めて、その変化を検出する。これにより、成長度合検出装置７０は、葉脈の構成から葉の形状を検出することができ、たとえ葉の一部が欠けることがあったとしても、葉の一部の葉脈の状態から葉の成長度合いを検出することが可能となる。
【０１０９】
また、例えば、トマトを栽培する際に、水分補給を制限することにより糖度を高めることできることが知られている。水分補給を制限した場合、茎の部分に産毛が成長する。成長度合検出装置７０は、この茎の部分の産毛を検出できるように検出対象範囲を定めて、茎の部分の産毛の変化を検出する。これにより、水分補給を制限した結果、糖度を高められる状態に成長しているか否かを判定することができ、この段階の成長度合いを検出することが可能となる。
【０１１０】
また、成長度合検出装置７０は、根に生じた根毛についても、植物９の状態を検出する検出対象範囲として選定することにより、水耕栽培における初期の段階から植物９の状態を検出することが可能となる。
【０１１１】
（土壌部を検出対象範囲とする場合の状態検出）
成長度合検出装置７０は、前述の「（検出対象範囲の対象箇所の選定）」において選定対象とした植物を直接検出する各項目のほかに、植物９が栽培されている土壌を含むように検出対象範囲の対象箇所を選定する。
植物９の検出対象範囲に含まれる該植物９が栽培されている土壌を含むように植物９の検出対象範囲を定めることにより、間接的に植物９の状態を検出することができる。特に、発芽前から発芽後の状態を推定する場合に有効な情報を得ることができる。
例えば、前述のトマトの例のように、水分補給を制限する処理を行う場合にも適用できる。植物９の種類により、発芽後に与える水分量を制御することにより、糖度を高めるなどの制御を行う場合がある。このような場合には、成長度合検出装置７０は、植物９が栽培されている土壌を含むように植物９の検出対象範囲が定めることにより、状態を間接的に検出することが可能となる。
具体的な検出方法は、例えば、成長度合検出装置７０は、撮像された画像に基づいた画像信号において土壌部の輝度の変化量と空間周波数とに基づいて、予め定められる関係式に従って土壌部の乾燥状態を検出する。
土壌部の水分量が多く、べたつくような状態の場合には、土壌部の光の反射係数が低くなりことから、画像信号における輝度の変化が少なくなり、また空間周波数が低くなる。一方、土壌部の水分量が少なく乾燥している状態の場合には、土が固まるようになり、光の反射係数が高くなる部分が生じることから、画像信号における輝度がばらついて、変化量が多くなり、また空間周波数が広範囲に分布するようになる。
このように、成長度合検出装置７０は、画像信号における輝度の変化量と、空間周波数の分布とに基づいて、土壌の乾燥状態を検出することができる。
成長度合検出装置７０は、土壌の乾燥状態と、その乾燥状態における植物９の成長度合いとの関係について予め定めておくことにより、成長度合検出部７２１は、土壌の乾燥状態から植物９の成長度合いを得ることができる。
【０１１２】
（成長度合いの検出）
図１６から図１８を参照し、成長度合いの検出について説明する。
成長段階判定部７２２による成長度合いの検出において、以下に示す検出方法の中から目的に適した検出方法を選択することができる。
成長段階判定部７２２による成長度合いの第１の検出方法は、植物９の検出対象範囲の画像に占める植物９の検出対象の割合に基づいて、植物９の成長度合いを検出する方法である。
また、成長段階判定部７２２による成長度合いの第２の検出方法は、植物９の検出対象範囲の画像において特徴色が占める割合により、植物９の成長度合いを検出する方法である。
また、成長段階判定部７２２による成長度合いの第３の検出方法は、植物９の検出対象範囲の画像が示す色情報が、予め登録されている色空間の領域内に含まれるか否かの判定結果により、植物９の成長度合いを検出する方法である。
【０１１３】
以下、上記の第１から第３の検出方法について、具体的な表示例を示して順に説明する。
まず、第１の検出方法では、植物９の検出対象範囲の画像に占める植物９の検出対象の割合に基づいて、植物９の成長度合いを検出する。
この第１の検出方法では、検出対象範囲を基準にした検出対象の相対的な大きさの変化を検出することができる。検出対象との距離を一定に保ち、同じ画角で撮影した画像によって示される検出対象範囲は一定の大きさを維持することができる。その画像に占める植物９の検出対象の割合から、植物９の成長度合いを検出することができる。
【０１１４】
図１６は、第１の検出方法による成長度合いの検出について示す図である。
この図には、画像表示領域Ｐ１５１、操作入力検出領域Ｐ１５６、Ｐ１５７、Ｐ１５８、Ｐ１５９が示されている。
画像表示領域Ｐ１５１には、前述の図１０に示した検出対象がモデル化されて表示されている。
その検出対象を撮影する場合に個々に表示される検出対象範囲が、まとめてＰ１５４ａ、Ｐ１５４ｂ、Ｐ１５４ｃ、Ｐ１５４ｄとして示されている。実際の表示においては、目的に応じたいずれかの検出対象範囲が選択されて表示される。
Ｐ１５４ａとして示される検出対象範囲は、時刻ｋにおいて選択された３つの特徴点と、それらの特徴点から関連付けられる検出対象の花を含む範囲を示すものである。
Ｐ１５４ｂとして示される検出対象範囲は、時刻ｋにおいて選択された３つの特徴点と、それらの特徴点から関連付けられる検出対象の実を含む範囲を示すものである。
【０１１５】
Ｐ１５４ｃとして示される検出対象範囲は、時刻（ｋ＋１）における推定範囲を示す。検出対象範囲Ｐ１５４ｃは、選択された３つの特徴点が成長により移動すると推定される範囲と、それらの特徴点に関連付けられる検出対象の実が成長した場合の大きさを含む範囲とを合わせた範囲とを合わせた範囲を示すものである。
検出対象範囲Ｐ１５４ｃは、育成状況検出部７２により時刻ｋの段階で設定され、時刻ｋの段階で、時刻（ｋ＋１）までの間に成長して変化する範囲を推定したものである。この検出対象範囲Ｐ１５４ｃを基準に、育成状況検出部７２は、成長の進み具合を判定することにより、植物９の成長度合いを検出する。
また、Ｐ１５４ｄとして示される検出対象範囲は、時刻（ｋ＋１）における推定範囲を示す。検出対象範囲Ｐ１５４ｄには、選択された３つの特徴点に関連付けられる検出対象の実が成長した場合の大きさを含む範囲を示すものである。検出対象範囲Ｐ１５４ｄにおいては、その範囲内に実が含まれるように設定される。育成状況検出部７２は、一定の大きさを維持された検出対象範囲Ｐ１５４ｄに占める植物９の検出対象の割合から、植物９の成長度合いを検出する。
このように、検出対象範囲は、成長の段階に応じて設けられており、育成状況検出部７２により検出対象の条件に応じて選択される。
【０１１６】
なお、図に示される操作画面のうち、操作入力検出領域Ｐ１５６は、検出対象範囲Ｐ１５４ｃを表示させるか否かを切り替える操作を検出する領域を示す。操作入力検出部７５は、操作入力検出領域Ｐ１５６においてユーザーの操作を検出することにより、検出対象範囲Ｐ１５４ｃの表示を選択する制御信号を制御部７９に供給する。
操作入力検出領域Ｐ１５７は、説明表示を表示させるか否かを切り替える操作を検出する領域を示す。操作入力検出部７５は、操作入力検出領域Ｐ１５７においてユーザーの操作を検出することにより、説明表示を表示させるか否かを切り替える制御信号を制御部７９に供給する。
操作入力検出領域Ｐ１５８は、選択した実の収穫を指示する操作を検出する領域を示す。操作入力検出部７５は、操作入力検出領域Ｐ１５８においてユーザーの操作を検出することにより、選択した実の収穫を指示する制御信号を制御部７９に供給する。
操作入力検出領域Ｐ１５９は、画像表示領域Ｐ１５１の表示が選択される前の表示に戻す操作を検出する領域を示す。操作入力検出部７５は、操作入力検出領域Ｐ１５９においてユーザーの操作を検出することにより、画像表示領域Ｐ１５１の表示が選択される前の表示に戻す制御信号を制御部７９に供給する。
【０１１７】
なお、上記では、検出対象範囲の大きさを一定にする場合を示したが、成長度合検出装置７０は、植物９の成長に応じて検出対象範囲を広くすることも可能である。仮に植物９の成長に応じて検出対象範囲を広くした場合であっても、成長度合検出装置７０は、その範囲に含まれる検出対象（例えば実）の大きさの変化率が、検出対象範囲の大きさの変化率より大きくなるようであれば、相対的に植物９の成長度合いを検出することができる。
【０１１８】
次に、第２の検出方法について説明する。
この第２の検出方法では、植物９の検出対象範囲の画像において特徴色が占める割合により、植物９の成長度合いを検出する。
この第２の検出方法によれば、実の周囲にある葉や、実にかけた袋の影になって、その実の一部が隠れてしまい、その実の全体を撮像することができない場合が生じても、植物９の成長度合いを検出することができる。植物９の成長度合いの検出の際、その検出対象範囲の画像において、撮影された実の一部の画像の色が変化したことにより特徴色が占める割合が変化する。成長度合検出装置７０においては、その検出対象範囲の画像において、特徴色が占める割合が変化することを検出し、植物９の成長度合いを検出する。例えば、特徴色が占める割合を予め定めた閾値に基づいて判定し、その判定結果により植物９の成長度合いを検出する。
【０１１９】
図１７は、第２の検出方法による成長度合いの検出について示す図である。
この図には、画像表示領域Ｐ１６１、操作入力検出領域Ｐ１６６、Ｐ１６７、Ｐ１６８、Ｐ１６９が示されている。
画像表示領域Ｐ１６１には、前述の図１０に示した検出対象の一部が表示されている。また、その検出対象を撮影する場合に表示される検出対象範囲Ｐ１５４ｄとＰ１５４ｅが示されている。
Ｐ１５４ｅとして示される検出対象範囲は、時刻（ｋ＋１）の検出対象範囲Ｐ１５４ｄとして推定された範囲の一部を選択している。
検出対象範囲Ｐ１５４ｅは、実にかけた袋の影とならずに実の色の変化を検出できる部分として選択された範囲を示す。このように選択された検出対象範囲Ｐ１５４ｅにおいて、実の特徴色が占める割合が変化することを検出し、植物９の成長度合いを検出する。
なお、図に示される操作画面のうち、操作入力検出領域Ｐ１６６は、検出対象範囲Ｐ１５４ｅの画像に基づいて判定された結果に応じて、選択された実が「食べごろ」であるか否かを示す情報表示Ｐ１６３を表示させるか否かを切り替える操作を検出する領域を示す。操作入力検出部７５は、操作入力検出領域Ｐ１６６においてユーザーの操作を検出することにより、検出対象範囲Ｐ１５４ｅの画像に基づいて判定された結果に応じて、選択された実が「食べごろ」であるか否かを示す情報表示Ｐ１６３を表示させるか否かを制御する制御信号を制御部７９に供給する。
操作入力検出領域Ｐ１６７、Ｐ１６８、Ｐ１６９は、前述の操作入力検出領域Ｐ１５７、Ｐ１５８、Ｐ１５９とそれぞれ同じである。
【０１２０】
次に、第３の検出方法について説明する。
この第３の検出方法では、植物９の検出対象範囲の画像が示す色情報が、予め登録されている色空間の領域内に含まれるか否かを判定した結果により、植物９の成長度合いを検出する。
この第３の検出方法によれば、色の変化に基づいて検出を行う。植物９の状態により、その植物９の葉の色が変化する場合がある。
例えば、基準とする葉や実の色を定めておき、成長度合検出装置７０は、その定められた色との違いから色の変化を検出することができる。
基準とする色からの変化の検出は、予め登録されている色空間の領域内に含まれているか否かを判定することにより実行される。或いは、基準とする色からの変化の検出は、変化する範囲の色空間を複数の領域に分割し、分割された領域ごとの面積比に基づいて、いずれの色空間の領域に含まれるかを判定することにより実行される。
【０１２１】
図１８は、第３の検出方法による成長度合いの検出について示す図である。
この図には、画像表示領域Ｐ１７１、操作入力検出領域Ｐ１７６、Ｐ１７７、Ｐ１７８、Ｐ１７９が示されている。
画像表示領域Ｐ１７１には、前述の図１０に示した検出対象がモデル化されて表示されている。
その検出対象を撮影する場合に表示される検出対象範囲Ｐ１７３とＰ１７４が示されている。Ｐ１７３として示される検出対象範囲は、実（房）Ｐ１７２を検出する領域として選択された範囲を示す。Ｐ１７４として示される検出対象範囲は、検出対象範囲Ｐ１７３として選定された範囲の一部であり、実Ｐ１７２において、熟しやすい部分として設定された範囲を示す。
成長度合検出装置７０は、検出対象範囲Ｐ１７４において、実の熟しやすい部分が成熟してきたことを検出し、植物９の成長度合いを検出する。
なお、図に示される操作画面のうち、操作入力検出領域Ｐ１７６は、検出対象範囲Ｐ１７４の画像に基づいて判定された結果に応じて、選択された実が「食べごろ」であるか否かを示す情報表示Ｐ１７３を表示させるか否かを切り替える操作を検出する領域を示す。操作入力検出部７５は、操作入力検出領域Ｐ１５６においてユーザーの操作を検出することにより、検出対象範囲Ｐ１７４の画像に基づいて判定された結果に応じて、選択された実が「食べごろ」であるか否かを示す情報表示Ｐ１７３を表示させるか否かを制御する制御信号を制御部７９に供給する。
操作入力検出領域Ｐ１７７、Ｐ１７８、Ｐ１７９は、前述の操作入力検出領域Ｐ１５７、Ｐ１５８、Ｐ１５９とそれぞれ同じである。
【０１２２】
図１９から図２０を参照し具体的な判定について、葡萄の収穫を例にして説明する。
図１９は、色の変化に基づいて成長度合いを検出する場合の処理を示す図である。
図１９（ａ）は、色空間を示す図である。
この図において、緑色から紫色に変化するまでに経由する色空間を複数の領域に分割した範囲を領域ＲＧ〜ＲＰとして示す。
この色空間において分割された領域にそれぞれ対応する代表色を定め、色空間の位置情報に基づいた射影関数により、分割された領域のそれぞれの範囲から定められた代表色を示す値（点Ｐ１からＰｎを参照）に射影する。
図１９（ｂ）は、実の成長と色の変化の関係を示す図である。
この図に示されるグラフは、縦軸が緑から紫までの色相を示し、横軸が個々の実の大きさを示す。以下の説明においては、個々の実の大きさも合わせて検出する場合の例である。
未成熟の段階では、個々の実の大きさも小さく緑色をしている。
成長が進むにつれ、個々の実が徐々に大きくなる。途中で、個々の実の大きさの変化量が少なくなる段階から、個々の実の色が紫色に変化する。ただし、同じ房に着いた実であっても、個々の実の色が、それぞれ変化する時期に個体差がある。このことから、検出対象範囲設定部７２３は、代表する検出対象範囲を定める場合には、個体差の少ない成熟しやすい部分を選択し、検出対象範囲として設定する。
【０１２３】
続いて、同じ房に着いた個々の実において、時間の経過に応じた色相の変化から成長度合いを検出する手順について説明する。
図２０は、時間の経過に応じた個々の実の色相の変化を示す図である。
この図に示されるグラフは、縦軸が緑から紫までの色相を示し、横軸が時間の経過を示す。丸の大きさは、当該色相に分類された実の数を示している。
【０１２４】
上記のように色空間を分割したことにより、成長度合検出部７２１は、色相の変化を段階付けて検出できる。
時刻ｔ０の段階では、未成熟の段階にあり、全ての実が緑色を示している。丸の大きさは、当該色相に分類された実の色相の数を示している。
時刻ｔ１から時刻ｔｎに進むにつれ、緑色から紫色までのそれぞれの色相に分類される度数の分布が、緑色側が少なくなり、紫色側が多くなる。
例えば、熟した実を個々に収穫する場合には、成長度合検出部７２１は、上記の分類において、紫色の領域を識別する閾値を設定し、紫色の領域に分類された実を選択することができることから、収穫することが可能になる。
また、例えば、房を単位として熟した段階で収穫する場合には、成長度合検出部７２１は、上記の分類において、紫色の領域を識別する閾値を設定し、紫色の領域に分類された実の度数分布が所定の比率に達した房を選択することができることから、収穫することが可能になる。例えば、この図に示される場合であれば、Ｐ３とＰ４で示される代表色を示す実の比率を判定基準にすれば、時刻ｔ４として示される段階を判定することができる。
【０１２５】
さらに、成長段階判定部７２２による成長度合いの検出方法として、上記の第１から第３の検出方法において示した条件と異なる条件の元で検出する方法がある。
概ね１日を周期として生体が変化することが知られており、その周期的な変化が「概日性リズム」と呼ばれている。
植物９に対して１日を周期に変化する照明１０（図１）の光を照射することにより、照明１０の光を変化させた周期に「概日性リズム」を同期させることができる。
植物９において、植物栽培プラント４に照明の光の変化に同期した「概日性リズム」を生じさせるように制御して、育成状況検出部７２は、その「概日性リズム」における変化量を、植物９を撮像した画像から検出する。要するに、育成状況検出部７２は、「概日性リズム」における変化量が大きく現れる部位を含むように、植物９の検出対象範囲を定め、植物９の「概日性リズム」における変化量を検出する。
例えば、ひまわりの花は、向日性を有していることから、自然光の環境で栽培すると、花の向きが周期的に変化する。ただし、種が成熟するにつれ、花の向きの変化量が低減する。このように、「概日性リズム」における変化量が成長に応じて変化することを利用することにより、植物９の成長度合いを検出することができる。
なお、ひまわりの花を例にした説明では、自然光により「概日性リズム」が制御されるものとして説明したが、人工光（照明１０の光）の照射方向を制御するようにしてもよい。また、光の照射方向の制御に限らず、温度、水温など他の環境条件を制御して、植物９の「概日性リズム」を制御してもよい。
【０１２６】
（検出対象範囲の変更）
成長段階判定部７２２は、植物９の検出対象範囲の画像に複数の検出対象が検出される場合、検出された検出対象の像の大きさの分布に応じて検出対象範囲を変更する。例えば、検出対象である実が、所定の範囲内に複数集まって結実するものがある。
撮像位置から検出対象までの距離や、撮像方向が適切でないために、所望の大きさで検出することができない検出対象まで含んでしまう場合がある。例えば、葡萄であれば、近くの房を検出する際に、その背景に位置する遠方の房までが、同じ検出対象範囲の中に入ってしまう場合のことである。
このような場合、検出対象範囲設定部７２３は、検出対象の像の大きさが所望の分布になるように検出対象範囲を変更する。例えば、検出対象範囲設定部７２３は、撮像位置や撮像方向を変更することにより、検出対象までの距離や撮像方向を変えた撮像範囲の画像から、新たな検出対象範囲を設定することができる。
或いは、検出対象の背景画像に他の検出対象が一緒に写っている場合がある。そのような場合には、撮像部７１は、検出対象に対する撮像位置を変更せず、検出対象との距離や角度を同じ状態にしたまま、撮像部７１の光学系を制御して被写界深度を調節して、不要な対象の画像を光学的に除去することができる。例えば、被写界深度を浅くなるようにして、所望の検出対象に焦点が合うようにして、検出対象の背景画像として一緒に写っていたほかの検出対象の像をぼかすようにする。このように設定することにより、検出対象範囲設定部７２３は、所望の検出対象を含む検出対象範囲とすることができる。
【０１２７】
成長段階判定部７２２は、植物９の検出対象範囲の画像に複数の検出対象が検出される場合、検出された検出対象の数に応じて検出対象範囲を変更する。
特定の検出対象を撮像した場合、同一の画像に特定の検出対象以外の検出対象の候補が、同一の画像に含まれる場合がある。このような場合、検出対象範囲設定部７２３は、特定の検出対象以外の検出対象の候補が含まれないように、撮像された画像の領域を分割して、分割した画像の領域ごとに検出処理をする。これにより、検出対象範囲設定部７２３は、分割した画像の領域に特定の検出対象を収めることができる。
【０１２８】
（合成画像の生成方法）
表示制御部７３１は、比較する２つの画像のうちから少なくともいずれか一方の像を透過させるようにした透過画像を生成し、透過させていない他方の像に重畳させた合成画像を生成する。
図２１は、生成された合成画像を示す図である。
例えば、図２１に示されるように、過去に撮像された画像を透過させずにそのままの画像（図中では実線で示す）にして、今回撮影しようとする画像を透過する透過画像（図中では点線で示す）にする。
そこで、透過させていない画像（過去の画像）に、透過させるようにした透過画像（今回撮影しようとする画像）を重畳させた合成画像を生成する。
【０１２９】
また、図２１には、透過させていない他方の像（過去の画像）における検出対象範囲（点線）と、透過させるようにした透過画像（今回撮影しようとする画像）における検出対象範囲（実線）と、成長範囲を推定した検出対象範囲（２点鎖線）がそれぞれ示されている。
また、図２１には、２つの画像の位置を重ね合わせる際に、一致させる特徴点を示す表示が示されている。この一致させる特徴点を示す表示に従って、ユーザーは、撮像方向を調整し、２つの画像が重なるようにする。
これにより、過去に撮像した画像と、今回撮像する画像とを容易に比較することが可能となる。
さらに、過去に撮像した画像と、今回撮像する画像とに基づいて検出された成長度合いの表示と、成長の過程における段階の表示とが、画面中にそれぞれ示されている。
これにより、今回撮像する画像とに基づいて検出された成長度合いと、成長の過程における段階とを、画像の表示に対応させながら確認することが可能となる。
【０１３０】
なお、図２１には、透過させていない他方の像（過去の画像）における検出対象範囲（点線）に対応させて、過去に撮像した日時が示されており、透過させるようにした透過画像（今回撮影しようとする画像）における検出対象範囲（実線）に対応させて、現在の画像として撮像される日時がそれぞれ示されている。日時をそれぞれ表示することにより、比較する２つの画像を撮像した期間を、容易に得ることができるようになる。
【０１３１】
或いは、そのような合成画像を生成するために、表示制御部７３１は、第１の像と第２の像のうちから少なくともいずれか一方の像の輪郭を抽出した輪郭画像を生成し、他方の像に重畳させた合成画像を生成する。
これにより、過去に撮像した画像と、今回撮像する画像とを容易に比較することが可能となる。
【０１３２】
（成長度合検出処理の手順）
続いて、本実施形態における成長度合検出処理の手順の一例を示す。
【０１３３】
＜手順０：初期化情報の設定処理＞
成長度合検出処理に先立ち、植物栽培システム１において次の初期化処理が行われる。
以下の説明においては、予め育成モデル生成部５１０において生成された第１育成モデルが育成モデル部２２０に格納されているものとする。
検出対照とする植物９における特徴点が定められており、定められた特徴点の当初の位置の位置情報が取得されているものとする。
なお、以下に示す手順の説明においては、成長度合検出装置７０は、同じ位置から撮影する場合を示すものであり、撮影する位置に関する情報についての説明を省略する。
【０１３４】
＜手順１：基準画像情報の取得処理＞
この初期化情報に基づいて、成長度合検出装置７０の撮像部７１は、植物栽培プラント４内の植物９の状態を示す画像情報を検出する。成長度合検出部７２１は、カメラ部７１１によって撮像された植物９の画像に基づいた画像情報と、その画像情報が撮像された時刻を示す撮像時刻情報と被写体位置情報とを、カメラ部７１１を備える撮像部７１から取得する。成長度合検出部７２１は、取得した画像情報と撮像時刻情報と被写体位置情報とを対応させて、過去情報記憶部７２６に格納する。
【０１３５】
＜手順２：検出画像の取得処理＞
ここで、成長度合検出部７２１は、過去情報記憶部７２６に格納された画像情報と撮像時刻情報と被写体位置情報とを参照し、予め定められた所定の時間間隔により取得されていた植物９の画像情報を得る。
表示制御処理部７３は、例えば、図２１に示されるような検出対象範囲を表示部７４に表示させるために生成する。
検出対象範囲は、植物９が成長して植物９の検出対象が移動した場合であっても、植物９の検出対象の撮影を容易にして、過去の画像と比較できるようにするために、植物９が成長することを条件に含めて予測したものである。
表示制御処理部７３は、撮像部７１において撮像された画像情報と、過去情報記憶部７２６に記憶されている画像情報と、生成された検出対象範囲とを合成して、表示部７４に表示させる。また、表示制御処理部７３は、２つの画像の比較を容易にするために、撮影時に一致させる特徴点の位置を表示させる。
このように合成して生成された合成画像の表示に従って撮影方向が定められる。
また、表示制御処理部７３は、過去情報記憶部７２６に記憶されている画像情報が撮影された時刻と、現在の時刻を表示部７４に表示させる。
上記に従って撮影方向が定められた後、撮像部７１によって撮像された画像から、検出対象の像が検出対象範囲に含まれる画像が取得される。
撮像部７１によって取得された画像情報と撮像時刻情報と被写体位置情報とを、成長度合検出部７２１は、過去情報記憶部７２６に格納する。
【０１３６】
＜手順３：各部の成長度合いの検出処理＞
成長度合検出部７２１は、撮像部７１において撮像された画像情報と、所定の時間間隔により撮像された植物９の画像情報とから、その画像情報によって示される検出対象の差分情報を得る。この差分情報が、前回検出された時からの成長量を示す。成長度合検出部７２１は、例えば、この検出対象の部位の差分情報から算出される成長量と、この検出対象の部位において予想されていた成長量との比に基づいて、この検出対象の部位の成長度合いを検出する。
表示制御処理部７３は、検出された部位の成長度合いを表示部７４に表示させる。
成長度合検出部７２１は、上記と同様な処理をそれぞれの部位において行うことにより、植物９におけるそれぞれの部位の成長度合いをそれぞれ検出する。
【０１３７】
＜手順４：植物の成長度合いの判定処理＞
成長段階判定部７２２は、成長度合検出部７２１によって検出されたそれぞれの部位の差分情報から算出される成長度合いに基づいて、植物９の全体、又は、植物９の一部である検出対象の成長度合いを判定する。成長段階判定部７２２は、検出対象の成長度合いに基づいて、成長の段階を判定する。
表示制御処理部７３は、判定された成長の段階を表示部７４に表示させる。
【０１３８】
＜手順５：検出対象範囲の再設定処理＞
手順４による植物９の成長度合いの判定結果に応じて、検出対象範囲設定部７２３は、成長状態に適した植物９の検出対象範囲を改めて設定する。
また、検出対象範囲設定部７２３は、手順４によって判定された成長度合いに基づいて判定された成長の段階に応じて植物９の検出対象範囲を設定してもよい。
このように、改めて設定された植物９の検出対象範囲に基づいて、次の撮影の撮影範囲が定められる。
【０１３９】
以上に示した手順により、本実施形態に示した成長度合検出装置７０は、植物９の成長度合いを検出することが可能であり、植物の育成状況を容易に管理することが可能となる。
【０１４０】
［成長度合検出装置による状況表示］
続いて、図を参照し、異なる実施態様について説明する。
図２２は、本実施形態における成長度合検出装置７０を状況表示端末とする情報提供システムを示すブロック図である。
図１から図３、図９と同じ構成には、同じ符号を附す。
【０１４１】
この図に示される情報提供システムは、図９に示した構成に加え、情報提供装置８００及び端末装置９０を備える。
この図に示される情報提供システムにおいては、制御部５００、情報提供装置８００、成長度合検出装置７０、及び、端末装置９０は、通信ネットワーク９００にそれぞれ接続されており、通信ネットワーク９００を介して相互に通信を行う。
通信ネットワーク９００は、有線回線と無線回線のいずれか、又は、それぞれを組み合わせて構成してもよい。
情報提供装置８００は、制御部５００及び成長度合検出装置７０から、植物栽培プラント４において栽培されている植物９の情報を得て、その情報に基づいて生成した提供情報を成長度合検出装置７０に提供する。また、情報提供装置８００は、端末装置９０から評価者による評価情報を収集し、評価者による評価情報を成長度合検出装置７０に提供する。
【０１４２】
情報提供装置８００は、データベース部８１０、提供情報生成部８２０、情報提供処理部８３０、情報収集処理部８４０、及び、通信処理部８９０を備える。
データベース部８１０は、個々の植物９（農作物）についての、育成過程の画像情報及び育成履歴情報、提供するために生成した提供情報、評価者から収集された評価情報を記憶する。
提供情報生成部８２０は、記憶部２３０に記憶されている各種情報、成長度合検出装置７０によって検出された画像情報、又は、成長度合いに基づいて、成長度合検出装置７０及び端末装置９０を介して提供する情報として各種表示画面を生成する。提供情報生成部８２０が生成する各種画面は、後述する。
なお、提供情報生成部８２０は、それぞれ収集された画像情報と、その画像を撮像した撮像位置情報とに基づいて、３次元空間を示す合成画像を生成する。
また、提供情報生成部８２０は、生成した３次元空間を示す合成画像から植物栽培プラント４内の通路の任意の地点における全周囲の状態を表示する全周囲画像を生成する。
【０１４３】
情報提供処理部８３０は、提供情報生成部８２０によって生成された情報（表示画面）を、成長度合検出装置７０及び端末装置９０からの要求に応じて、それぞれの装置に提供する。
情報収集処理部８４０は、評価者により入力された植物９に対する評価情報を端末装置９０から収集し、収集した情報をデータベース部８１０に記憶させる。
通信処理部８９０は、制御部５００との間の通信処理を行い、判定部２００の記憶部２３０に記憶されている育成過程の画像情報及び育成履歴情報などの各種情報を、制御部５００を介して収集し、データベース部８１０に記憶させる。
通信処理部８９０は、データベース部８１０に記憶されている個々の農作物の情報と、評価者から収集した評価情報を、育成モデル設計時の条件として反映させる。
通信処理部８９０は、成長度合検出装置７０との間の通信処理を行い、過去情報記憶部７２６に記憶されている育成過程の画像情報、及び育成履歴情報などの各種情報を収集し、データベース部８１０に記憶させる。
通信処理部８９０は、成長度合検出装置７０との間の通信処理を行い、成長度合検出装置７０に格納される、画像情報と、撮像時刻情報と、撮像位置情報と、被写体位置情報とを収集し、データベース部８１０に記憶させる。
【０１４４】
通信処理部８９０は、データベース部８１０に記憶されている個々の農作物の情報と、評価者から収集した評価情報を、成長度合検出装置７０及び端末装置９０からの要求に応じてそれぞれの装置に送信する。
【０１４５】
成長度合検出装置７０は、検出した植物９の情報を情報提供装置８００に供給する。成長度合検出装置７０は、情報提供装置８００から提供される情報を表示する。
端末装置９０は、情報提供装置８００から提供される情報を表示する。端末装置９０は、表示された情報に基づいた評価者による評価情報を得て、情報提供装置８００に供給する。
【０１４６】
続いて、図２３から図２６を参照し、成長度合検出装置７０において情報を表示させる情報提供処理について説明する。
以下に示す表示画面は、情報提供装置８００において生成され、成長度合検出装置７０において表示されるものである。
情報提供装置８００は、植物栽培プラント４の配置を示すレイアウト情報と、植物９の位置を識別するために付与された位置情報と、それぞれの位置に配置された植物９の育成情報とに基づいて、成長度合検出装置７０に表示させる表示画面を生成する。ここでは、情報提供装置８００と成長度合検出装置７０との間の通信が行われ、情報提供装置８００によって生成された表示画面を、成長度合検出装置７０において表示する場合を想定して説明する。
また、成長度合検出装置７０は、ユーザーによる操作入力を検出する。検出された操作入力に基づいた操作入力情報を、成長度合検出装置７０の制御部７９は、情報提供装置８００に送信する。操作入力情報をを受信した情報提供装置８００は、受信した操作入力情報に従って、成長度合検出装置７０において表示する表示画面を生成する。情報提供装置８００は、生成した表示画面の情報を成長度合検出装置７０に送信する。
【０１４７】
図２３は、植物栽培プラントにおいて、参照する位置を選択する際に表示する画面の例を示す図である。
成長度合検出装置７０のユーザーは、この画面を参照することにより、実際に植物栽培プラント４内を移動することなく、それぞれの位置の状況を得ることができる。
この図には、画像表示領域Ｐ１０１、操作入力検出領域Ｐ１０６、Ｐ１０７、Ｐ１０８、Ｐ１０９が示されている。図１と同じ構成には、同じ符号を附す。
画像表示領域Ｐ１０１には、３つの床６が並べて配置された状態を示す平面図が示されている。３つの床６は、それぞれ通路を挟んで、画面右手方向に沿って設けられている。それぞれの床６には、通路に面して位置を特定する「ＡからＦ」の行として定義されている。また、床６の長手方向、すなわち行方向に１から３０まで、順に番号が付与されている。
このように、行と列としての番号が通路から植物９を参照できる位置（識別位置）に対応するように付与されていることにより、識別位置に応じて植物９を識別することができる。例えば、この識別位置を、行と列としての番号を組み合わせて、「識別位置Ｂ２７」のように示す。「識別位置Ｂ２７」は、Ｂ行の２７列を示す。
【０１４８】
さらに、画像表示領域Ｐ１０１には、状況表示Ｐ１０２、案内表示Ｐ１０３、現在状況表示Ｐ１０４が示されている。
状況表示Ｐ１０２は、それぞれの識別位置における集中度合い（人数／単位面積）を表示する。例えば、「識別位置Ｅ２７」付近の状況として、「このＥ２７付近は、少し込み合っています。」という状況表示が示されている。
この集中度合いは、例えば、実際に通路で作業するユーザーの人数、ロボット（移動型検出装置４０など）の台数に基づいて算出される。
或いは、植物栽培プラント４に対応する仮想的な作業空間を定義しておき、通信回線を経由して接続される端末装置等から仮想的な作業空間に参加することにより、仮想的な作業空間において作業をする場合の集中度合いに基づいて算出してもよい。ただし、仮想的な作業空間の場合、実際の通路で作業する場合と異なり、仮想的な作業空間の集中度合いを目視で確認することができない。そこで、成長度合検出装置７０は、このような仮想的な作業空間における集中度合いを表示するようにしたので、ユーザーは、集中している場所を確認することができるようになる。その結果、ユーザーは、集中している場所を避けて、すいている場所を選ぶことが可能となる。
案内表示Ｐ１０３は、ユーザーに対する案内を表示する。例えば、「識別位置Ｂ２７」付近の状況として、「このＢ２７付近の木には熟した実が多く着いています。」という案内が示されている。
現在状況表示Ｐ１０４は、植物９に現在残されている収穫対象の状況を表示する。例えば、「識別位置Ｄ２」付近の状況として、「このＤ２付近の木には、熟した実が少なくなっています。」という案内が示されている。
【０１４９】
また、操作入力検出領域Ｐ１０６は、検状況表示Ｐ１０２を表示させるか否かを切り替える操作を検出する領域を示す。操作入力検出部７５は、操作入力検出領域Ｐ１０６においてユーザーの操作を検出することにより、状況表示Ｐ１０２を表示させるか否かを切り替える制御信号を制御部７９に供給して、表示する画面を更新させる。
操作入力検出領域Ｐ１０７は、案内表示Ｐ１０３を表示させるか否かを切り替える操作を検出する領域を示す。操作入力検出部７５は、操作入力検出領域Ｐ１０７においてユーザーの操作を検出することにより、案内表示Ｐ１０３を表示させるか否かを切り替える制御信号を制御部７９に供給して、表示する画面を更新させる。
【０１５０】
操作入力検出領域Ｐ１０８は、現在状況表示Ｐ１０４を表示させるか否かを切り替える操作を検出する領域を示す。操作入力検出部７５は、操作入力検出領域Ｐ１０８においてユーザーの操作を検出することにより、現在状況表示Ｐ１０４を表示させるか否かを切り替える制御信号を制御部７９に供給して、表示する画面を更新させる。
操作入力検出領域Ｐ１０９は、先に表示されていた画面の表示に戻るように表示する画面を切り替える操作を検出する領域を示す。操作入力検出部７５は、操作入力検出領域Ｐ１０９においてユーザーの操作を検出することにより、先に表示されていた画面の表示に戻る制御信号を制御部７９に供給して、表示する画面を更新させる。
制御部７９により、操作入力検出部７５からの制御信号がそれぞれ検出されると、成長度合検出装置７０は、検出した制御信号を情報提供装置８００に送信する。
【０１５１】
また、この画面の表示の次に、例えば「識別位置Ｂ２７」付近の情報を表示させるために、画像表示領域Ｐ１０１におけるＢ行とＣ行に挟まれる通路（以下、「通路ＢＣ」という。」の「識別位置Ｂ２７」付近を触れる操作がユーザーによって行われる。「識別位置Ｂ２７」付近を触れる操作を操作入力検出部７５が検出した場合、成長度合検出装置７０は、操作入力検出部７５によって「識別位置Ｂ２７」付近を触れる操作が検出されたことを示す制御信号を情報提供装置８００に送信する。制御信号を受信した情報提供装置８００は、受信した制御信号に基づいて成長度合検出装置７０に表示する画面の表示を次に示す画面の表示に遷移させる。
【０１５２】
図２４は、通路に沿っている植物の状態を表示する画面の例を示す図である。
この図には、画像表示領域Ｐ１１１、操作入力検出領域Ｐ１１６、Ｐ１１７、Ｐ１１８、Ｐ１１９が示されている。図１、図２３と同じ構成には、同じ符号を附す。
画像表示領域Ｐ１１１には、通路に面して並べて配置された床６の植物９の状態が表示されている状態が示されている。この図に示される通路は、例えば、通路ＢＣの２６列から２９列までの範囲（「識別位置Ｂ２６からＢ２９まで、及び、識別位置Ｃ２６からＣ２９まで」）が示されている。画像表示領域Ｐ１１１の左半分には、手前から順に通路の左側にある床６におけるＢ行２６列から２９列まで（「識別位置Ｂ２６からＢ２９まで」）の状態が示されている。画像表示領域Ｐ１１１の右半分には、手前から順に通路の右側にある床６におけるＣ行２６列から２９列まで（「識別位置Ｃ２６からＣ２９まで」）の状態が示されている。
それぞれの床６には、栽培されている植物９がそれぞれ配置されており、植物９の育成状態が表示されており、視覚的に確認することができる。
【０１５３】
さらに、画像表示領域Ｐ１１１には、位置表示領域Ｐ１１２、方向表示領域Ｐ１１３が表示されている。
位置表示領域Ｐ１１２は、床６にそれぞれ配置された植物９を識別する識別情報を表示する領域を示し、ラベル「Ｂ２６」から順にラベル「Ｂ２９」まで、及びラベル「Ｃ２６」から順にラベル「Ｃ２９」までを示している。例えば、ラベル「Ｂ２６」は、「識別位置Ｂ２６」にある植物９を示す表示である。
方向表示領域Ｐ１１３は、表示する位置を前後左右に変更する操作を行う領域を示し、ユーザーの操作を検出し、操作によって指定された方向に移動した画像に更新する制御信号を生成する。
操作入力検出領域Ｐ１１６、Ｐ１１７、Ｐ１１８、Ｐ１１９は、図２３における操作入力検出領域Ｐ１０６、Ｐ１０７、Ｐ１０８、Ｐ１０９と同様である。
制御部７９により操作入力検出部７５からの指示情報が検出されると、成長度合検出装置７０は、検出された指示情報に応じたそれぞれの制御信号を情報提供装置８００に送信する。
このような画面の表示の状態で、ユーザーの操作によって、方向表示領域Ｐ１１３において「左向き」の方向変換を操作が行われたことを操作入力検出部７５が検出した場合、成長度合検出装置７０は、操作入力検出部７５によって「左向き」の方向変換の操作が検出されたことを示す制御信号を情報提供装置８００に送信する。制御信号を受信した情報提供装置８００は、受信した制御信号に基づいて成長度合検出装置７０に表示する画面の表示を次に示す画面の表示に遷移させる。
【０１５４】
図２５は、通路に面している植物の状態を表示する画面の例を示す図である。
成長度合検出装置７０のユーザーは、この画面を参照することにより、実際に植物栽培プラント４内を移動することなく、指定された位置の状況を得ることができる。
この図には、画像表示領域Ｐ１２１、操作入力検出領域Ｐ１２６、Ｐ１２７、Ｐ１２８、Ｐ１２９が示されている。図１、図２３、図２４と同じ構成には、同じ符号を附す。
画像表示領域Ｐ１２１には、位置表示領域Ｐ１２２、検出対象識別表示領域Ｐ１２３が表示されている。
位置表示領域Ｐ１２２は、それぞれ配置された植物９の位置を示す識別情報を表示する領域を示し、ラベル「Ｂ２６」から順にラベル「Ｂ２８」までを示している。
検出対象識別表示領域Ｐ１２３は、位置表示領域Ｐ１２２においてラベル「Ｂ２７」によって示される「識別位置Ｂ２７」の植物９の実を識別する識別情報を表示する領域を示し、それぞれの実に対応させてラベル「Ｂ２７０１」からラベル「Ｂ２７０８」までを示している。ここで、表示されず欠番となっている番号のラベル「Ｂ２７０５」とラベル「Ｂ２７０８」は、葉に隠れて表示されていない実に附されたラベルである。
【０１５５】
操作入力検出領域Ｐ１２６は、状況表示Ｐ１３３（図２６）を表示させるか否かを切り替える操作を検出する領域を示す。操作入力検出部７５は、操作入力検出領域Ｐ１２６においてユーザーの操作を検出することにより、状況表示Ｐ１３３（図２６）を表示させるか否かを切り替える制御信号を制御部７９に供給して、表示する画面を更新させる。
操作入力検出領域Ｐ１２７は、説明表示Ｐ１３４（図２６）を表示させるか否かを切り替える操作を検出する領域を示す。操作入力検出部７５は、操作入力検出領域Ｐ１２７においてユーザーの操作を検出することにより、説明表示Ｐ１３４（図２６）を表示させるか否かを切り替える制御信号を制御部７９に供給して、表示する画面を更新させる。
操作入力検出領域Ｐ１２８は、選択された実を収穫することを指示する操作を検出する領域を示す。操作入力検出部７５は、操作入力検出領域Ｐ１２８においてユーザーの操作を検出することにより、選択された実を収穫することを指示する制御信号を制御部７９に供給して、表示する画面を更新させる。
操作入力検出領域Ｐ１２９は、図２３における操作入力検出領域Ｐ１０９と同様である。
制御部７９により操作入力検出部７５からの指示情報が検出されると、成長度合検出装置７０は、検出した指示情報に応じたそれぞれの制御信号を情報提供装置８００に送信する。
このような画面の表示の状態で、ラベル「Ｂ２７」によって示される植物９を選択した後に、操作入力検出領域Ｐ１２７の操作が行われる。操作入力検出領域Ｐ１２７の操作を操作入力検出部７５が検出した場合、成長度合検出装置７０は、操作入力検出部７５によって操作入力検出領域Ｐ１２７の操作が検出されたことを示す制御信号を情報提供装置８００に送信する。制御信号を受信した情報提供装置８００は、受信した制御信号に基づいて成長度合検出装置７０に表示する画面の表示を次に示す画面の表示に遷移させる。
【０１５６】
図２６は、通路に面している植物の状態を表示する画面の例を示す図である。
成長度合検出装置７０のユーザーは、この画面を参照することにより、実際に植物栽培プラント４内を移動することなく、指定された位置の状況についての詳細な情報を得ることができる。
この図には、画像表示領域Ｐ１３１、操作入力検出領域Ｐ１２６、Ｐ１２７、Ｐ１２８、Ｐ１２９が示されている。図１、図２３、図２４、図２５と同じ構成には、同じ符号を附す。
【０１５７】
画像表示領域Ｐ１３１には、位置表示領域Ｐ１２２、検出対象識別表示領域Ｐ１２３のほか、全対象表示領域Ｐ１３２、状況表示領域Ｐ１３３、説明表示領域Ｐ１３４が表示されている。
全対象表示領域Ｐ１３２は、位置表示領域Ｐ１２２においてラベル「Ｂ２７」として示される植物９の実において、前述の図２５において表示されていなかった実、すなわち、葉に隠れて表示されていなかった実を表示する領域を示す。全対象表示領域Ｐ１３２には、例えば、ラベル「Ｂ２７０５」として示される識別情報に対応する実の位置が示されている。
状況表示領域Ｐ１３３は、収穫に適した時期、すなわち「食べごろ」の時期にある実を表示する領域を示し、収穫に適した時期にあると選択された実が下向きの矢印にて示されている。
説明表示領域１３４は、全対象表示領域Ｐ１３２に示された、「葉に隠れている実」についての説明を表示する領域を示す。
【０１５８】
このような画面の表示の状態で、ラベル「Ｂ２７０５」とラベル「Ｂ２７０８」によって示される実を選択した後に、操作入力検出領域Ｐ１２７の操作が行われる。操作入力検出領域Ｐ１２７の操作を操作入力検出部７５が検出した場合、成長度合検出装置７０は、操作入力検出部７５によって操作入力検出領域Ｐ１２７の操作が検出されたことを示す制御信号を情報提供装置８００に送信する。制御信号を受信した情報提供装置８００は、受信した制御信号に基づいて成長度合検出装置７０に表示する画面の表示を次に示す画面の表示に遷移させる。
【０１５９】
なお、この図に示される位置表示領域Ｐ１２２、検出対象識別表示領域Ｐ１２３のほか、全対象表示領域Ｐ１３２、状況表示領域Ｐ１３３、説明表示領域Ｐ１３４などは、加速度検出部７６によって検出された加速度に応じて、表示情報の内容や、表示情報を表示する領域の大きさを変更したり、表示を中断したりしてもよい。成長度合検出装置７０の移動方向が定まらなかったり、単位時間当たりの移動量が大きかったりする場合には、文字による情報の表示を少なくした場合のほうが、表示される画像を認識しやすくなる。それゆえ、成長度合検出装置７０に作用する加速度に応じて、表示する情報を制限することにより、表示される画像を認識しやすくなる。
【０１６０】
図２７は、選択した実についての評価情報を表示する画面の例を示す図である。
成長度合検出装置７０のユーザーは、この画面を参照することにより、指定された位置の植物９について、第三者によって評価された情報（評価情報）を端末装置９０から得ることができる。また、その評価された情報が登録された時刻情報が、その評価された情報に対応させて記憶されている。
この図には、画像表示領域Ｐ１４１、操作入力検出領域Ｐ１２６、Ｐ１２７、Ｐ１２８、Ｐ１２９が示されている。図１、図２３、図２４、図２５、図２６と同じ構成には、同じ符号を附す。
画像表示領域Ｐ１４１には、対称植物表示領域Ｐ１４２、選択対象画像表示領域Ｐ１４３ａ、Ｐ１４３ｂ、評価表示領域Ｐ１４４ａ、Ｐ１４４ｂ、育成情報表示領域Ｐ１４５が示されている。
対称植物表示領域Ｐ１４２は、図２６において選択された植物９の状態を画像によって表示する領域を示す。
選択対象画像表示領域Ｐ１４３ａとＰ１４３ｂは、図２６において選択された実を画像によって表示する領域を示す。例えば、選択対象画像表示領域Ｐ１４３ａには、ラベル「Ｂ２７０５」として識別される実（＊印）と、選択対象画像表示領域Ｐ１４３ｂには、ラベル「Ｂ２７０８」として識別される実（◇印）とが示されている。
【０１６１】
評価表示領域Ｐ１４４ａとＰ１４４ｂは、図２６において選択された実についての評価情報を表示する領域を示す。例えば、評価表示領域Ｐ１４４ａには、選択対象画像表示領域Ｐ１４３ａにラベル「Ｂ２７０５」として識別される実（＊印）についての評価情報が示されている。また、評価表示Ｐ１４４ａには、選択対象画像表示領域Ｐ１４３ｂにラベル「Ｂ２７０８」として識別される実（◇印）についての評価情報が示されている。
評価表示領域Ｐ１４４ａとＰ１４４ｂとに示される評価情報は、例えば、第三者である有識者からの情報として掲載されており、その評価情報は、端末装置９０を介して、情報提供装置８００に登録されたものである。この評価情報により、ユーザーは、第三者である有識者の知見を獲得することができる。
【０１６２】
育成情報表示領域Ｐ１４５は、植物９の育成情報に基づいて、２つの個体差を示す除法を表示する領域を示す。例えば、ラベル「Ｂ２７０５」として識別される実（＊印）と、選択対象画像表示領域Ｐ１４３ｂには、ラベル「Ｂ２７０８」として識別される実（◇印）の２つについて、甘さと大きさの情報が比較されている。この図に示された場合においては、ラベル「Ｂ２７０５」として識別される実（＊印）のほうが、ラベル「Ｂ２７０８」として識別される実（◇印）に比べて、糖度が低いが、大きいということが示されている。さらに、成長曲線によって示されるグラフは、縦軸が成長度合いを示し横軸が日数を示す。点線で囲まれた範囲にあれば、収穫可能な時期にあり、ラベル「Ｂ２７０８」として識別される実（◇印）のほうが、成熟が進んだ状態にあることが示される。
【０１６３】
以上に示したように、情報提供装置８００は、成長度合検出装置７０から受信した制御情報に従って生成した画面の情報を成長度合検出装置７０に送信する。成長度合検出装置７０は、情報提供装置８００から送信される画面の情報を成長度合検出装置７０において表示させる。
【０１６４】
（植物栽培プラント４における状態検出）
植物栽培プラント４において栽培されている植物９の状態を適切に管理するために、定期的に植物栽培プラント４全体の情報収集を行うことが望ましい。ただし、この情報収集を行うには、労力が掛かることから、本実施形態においては、機械的に情報収集を行うこともできる。以下、その一態様について示す。
例えば、全周囲カメラを搭載した移動型検出装置４０（図２）が、植物栽培プラント４内を巡回する。移動型検出装置４０は、植物栽培プラント４内を巡回して、植物栽培プラント４の通路を移動しながら、周囲の画像を動画像又は連続静止画像として収集する。
移動型検出装置４０が収集した植物栽培プラント４内の画像情報を、成長度合検出装置７０、又は、情報提供装置８００に供給する。
成長度合検出装置７０、又は、情報提供装置８００は、移動型検出装置４０が収集した植物栽培プラント４内の画像情報から、その画像に含まれる複数フレームの画像情報に基づいて、３次元空間に検出対象のモデルを生成する。成長度合検出装置７０、又は、情報提供装置８００は、３次元空間に検出対象のモデルに基づいて合成画像を生成する。
このように画像情報をまとめて収集することにより、個々の検出対象を個別に撮影してまわる作業を省力化することができる。
また、収集する画像情報が全周囲方向の画像情報として得られるので、撮像時に一方向に移動する場合、進行方向に向かって確認できる画像だけではなく、進行方向と逆の方向に向かって確認した場合の画像も、まとめて収集することができる。
【０１６５】
以上の実施形態に示した成長度合検出装置７０（表示制御装置）は、植物９の成長過程において、植物９の成長に応じた分類をする複数の段階が設けられており、育成状況検出部７２によって、成長の段階に合わせてそれぞれ設定された検出対象範囲に含まれる植物９の状態から、植物９の成長度合いを検出し、植物９の育成状況を管理しやすくすることができる
また、成長度合検出装置７０（表示制御装置）は、表示制御部７３により表示対象の植物９を識別する識別情報に関連付けられて記憶領域に記憶されている植物９の育成に関する情報から生成された表示情報を、表示対象の画像に関連付けて表示させる。これにより、成長度合検出装置７０（表示制御装置）は、複数の植物９の中から選択された特定の植物９の情報として、検出した成長度合いの情報を表示し、植物９の育成状況を管理しやすくすることができる
さらに、成長度合検出装置７０（表示制御装置）は、画面の表示に従って簡易に操作することができ、ユーザーが操作方法を習得する負担を軽減させることができる。成長度合検出装置７０の操作が簡易であることから、植物栽培の経験の浅い人から経験者に到るまで、植物栽培の経験度に関係することなく成長度合検出装置７０を利用することができる。それゆえ、経験と勘に依存した栽培方法を採用している経験者が成長度合検出装置７０を利用した場合には、判定の結果を安定させることができ、植物９の育成状況を管理しやすくすることができる。
【０１６６】
また、植物を栽培したことがある経験者の人数は、農業人口の減少に伴い、年々減少する傾向にある。一方で、植物栽培プラント４の普及が望まれており、植物栽培プラント４がいろいろな場所に導入されるようになると思われる。このような状況から、植物栽培プラント４の施設数が急に増加する場合には、植物を栽培したことがある経験者が、植物栽培プラントを管理することにならないことも生じうる。そこで、植物栽培の経験の浅い人であっても、成長度合検出装置７０によって植物９の育成状況を検出することができ、その検出結果を容易に確認することが可能となる。要するに、成長度合検出装置７０により、植物９の育成状況を管理しやすくすることができる。
【０１６７】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の変更等も含まれる。
例えば、成長度合検出装置７０（表示制御装置）は、携帯型の端末装置として説明したが、据え置き型の装置であってもよい。
また、成長度合検出装置７０（表示制御装置）は、一体型として構成するものとして示したが、各構成を分離して構成してもよい。
また、図３に示される植物栽培システム１において、成長度合検出装置７０（表示制御装置）の構成の一部又は全部を制御部５００に追加することにより、撮像部３００から得られる画像情報に基づいて、構成を追加した制御部５００によって、成長度合検出装置７０（表示制御装置）として示した処理を行ってもよい。
【０１６８】
また、成長度合いを検出する２つの画像の位置の調整をユーザーが行うものとして説明したが、成長度合検出装置７０（表示制御装置）が、２つの画像の特徴点を抽出し、抽出した特徴点に基づいたパターンマッチング処理や被写体追尾処理などの画像処理の手法を適用することにより、２つの画像を比較することができる。
また、成長度合検出装置７０（表示制御装置）は、植物９の成長を撮像された像の大きさにより成長度合いを検出するものとして説明したが、大きさの違いを、撮像部７１の撮像倍率から判定してもよい。
【０１６９】
また、成長度合検出装置７０（表示制御装置）は、特徴点を識別する際に、その特徴点の近傍に、その特徴点を識別する識別情報を掲示しておき、その識別情報に基づいて特徴点を識別してもよい。その識別情報は、文字情報、バーコード情報、パターン情報などから適宜選択することができる。さらに、ＲＦＩＤ（Radio Frequency IDentification）やＩＣタグを設けておくことにより、その特徴点を容易に識別できるようになる。
また、前述の実施形態に示した成長度合検出装置７０（表示制御装置）における表示画面は、端末装置９０においても、成長度合検出装置７０と同様に表示することができる。さらに、端末装置９０は、情報提供装置８００が生成した画面を表示して、第三者からの情報を受け付けて、情報提供装置８００に登録する。
【０１７０】
なお、上述の植物栽培システム１、移動型検出装置４０、成長度合検出装置７０、情報提供装置８００、端末装置９０は、内部にコンピュータシステムを有している。そして、各機能部の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。
【０１７１】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【符号の説明】
【０１７２】
１…植物栽培システム、
９…植物、
１００…制御対象部、
２００…判定部、
３００…撮像部、
４００…撮像位置移動部、
５００…制御部、
７０…成長度合検出装置（表示制御装置）、
７２…成長度合検出部、
７３…表示制御部
【技術分野】
【０００１】
本発明は、表示制御装置、表示制御システム、表示制御方法及びプログラムに関する。
【背景技術】
【０００２】
植物栽培プラント（植物工場）における植物栽培システムは、栽培作業による負荷を低減し、植物の供給を安定化することができるものとして注目されている（例えば、特許文献１、非特許文献１参照）。
この特許文献１の技術には、定点に配置されたカメラにより得られた植物の画像に基づいた情報と、標準的な植物の特徴を示す情報（標準データ）との類似性を判定することが示されている。
また、非特許文献１の技術には、定点に配置されたカメラにより得られた植物の画像から、その植物の像が画面を占有する比率を検出することが示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】実開平５−１７５０５号公報
【非特許文献】
【０００４】
【非特許文献１】仁科 弘重、「地域拠点型”知的太陽光植物工場”の進展」、日本学術会議、公開シンポジウム「知能的太陽光植物工場」、2009年7月3日。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、植物の栽培においては、栽培する生産者の経験と勘に依存した栽培方法が主流であった。
また、特許文献１の技術によれば、定点に配置されたカメラにより得られた植物の画像と標準データとの類似性を判定し、その判定結果を表示することが示されているに留まる。また、非特許文献１によれば、定点に配置されたカメラにより得られた植物の像が画面を占有する比率を検出することが示されているに留まる。
要するに、植物の栽培においては、生産者の経験と勘に依存した栽培方法や、これまでに開示されている技術による栽培方法からは、植物の育成状況を管理することが困難であるという問題がある。
本発明は、このような事情に鑑みてなされたもので、植物の育成状況を管理しやすくすることができる成長度合検出装置、植物栽培システム、植物栽培プラント、成長度合検出方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は、表示対象の植物を識別する識別情報に関連付けられて記憶領域に記憶されている該植物の育成に関する情報から生成された表示情報を、該表示対象の画像に関連付けて表示させる表示制御部を備えることを特徴とする表示制御装置である。
【０００７】
また、本発明は、表示対象の植物を識別する識別情報に関連付けられて記憶領域に記憶されている該植物の育成に関する情報から生成された表示情報を、該表示対象の画像に関連付けて表示させる表示制御部を備えることを特徴とする表示制御システムである。
【０００８】
また、本発明は、表示制御部が、表示対象の植物を識別する識別情報に関連付けられて記憶領域に記憶されている該植物の育成に関する情報から生成された表示情報を、該表示対象の画像に関連付けて表示させる過程を含むことを特徴とする表示制御方法である
【０００９】
また、本発明は、表示制御装置が備えるコンピュータを、表示対象の植物を識別する識別情報に関連付けられて記憶領域に記憶されている該植物の育成に関する情報から生成された表示情報を、該表示対象の画像に関連付けて表示させる表示制御部として機能させるためのプログラムである。
【発明の効果】
【００１０】
以上説明したように、本発明によれば、植物の育成状況を管理しやすくすることが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の本実施形態による植物栽培プラントの構成を示すブロック図である。
【図２】本実施形態における移動型検出装置４０を示す図である。
【図３】本実施形態における植物栽培システムの構成を示すブロック図である。
【図４】本実施形態における植物の収穫時期の制御を示す図である。
【図５】本実施形態における花と実の位置関係を示す図である。
【図６】本実施形態における実の成熟度の検出を説明する図である。
【図７】本実施形態における葉の状態を示す図である。
【図８】本実施形態における成長度合検出装置７０を示す図である。
【図９】本実施形態における成長度合検出装置７０を示すブロック図である。
【図１０】成長に応じて変化する植物の様子を示す図である。
【図１１】図１０に示した検出対象の特徴点の配置を示す図である。
【図１２】図１０に示した条件により、特徴点を一致させて撮影する処理を示す図である。
【図１３】図１０に示した検出対象の特徴点の配置を示し、成長により１つの特徴点が検出できなくなった場合の処理を示す図である。
【図１４】図１３に示した条件により、異なる特徴点に基づいて特徴点の移動範囲を推定する場合の処理を示す図である。
【図１５】図１０に示した検出対象の特徴点の配置と特徴量の一例を示す図である。
【図１６】第１の検出方法による成長度合いの検出について示す図である。
【図１７】第２の検出方法による成長度合いの検出について示す図である。
【図１８】第３の検出方法による成長度合いの検出について示す図である。
【図１９】色の変化に基づいて成長度合いを検出する場合の処理を示す図である。
【図２０】時間の経過に応じた個々の実の色相の変化を示す図である。
【図２１】生成された合成画像を示す図である。
【図２２】本実施形態における成長度合検出装置７０を含む情報提供システムを示すブロック図である。
【図２３】参照する位置を選択する際に表示する画面の例を示す図である。
【図２４】通路に沿っている植物の状態を表示する画面の例（その１）を示す図である。
【図２５】通路に面している植物の状態を表示する画面の例（その２）を示す図である。
【図２６】通路に面している植物の状態を表示する画面の例（その３）を示す図である。
【図２７】選択した実についての評価情報を表示する画面の例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の一実施形態について、図面を参照して説明する。
図１は、本実施形態による植物栽培プラントの概要を示す図である。図１（ａ）は、その断面図を示し、図１（ｂ）は、その平面図を示す。
本発明の植物栽培プラント４は、植物栽培システム１（図３）を備え、植物の栽培を行う設備である。
図１に示すように、植物栽培プラント４は、植物栽培用の植生床６と、植生床６を外気空間７と隔てるために囲うプラント囲い８と、植生床６で植生される植物９に光を照射するランプ１０とを備える。植物栽培プラント雰囲気調整装置２はプラント囲い８の内側空間１３の雰囲気を調整するものである。植生床６は、図示の例では土の床であるが、不図示の液肥循環装置を備える水耕栽培用の水耕床であってもよい。
【００１３】
プラント囲い８は、植生床６の周辺を外気空間７と隔てて、栽培される植物に適した雰囲気に保つためのものである。ランプ１０は、図示の例ではプラント囲い８の内部に設置される。
【００１４】
さらに、植物栽培プラント４はプラント囲い８の内部に、所定条件に調整された空気を供給するための空調機１２を備える。通常、空調機１２は内側空間１３から吸入口１６を通じて空気を取り込んで、調整し、排出口１８から内側空間１３に戻す。
【００１５】
植物栽培プラント雰囲気調整装置２においては、ランプ１０がランプ囲い２０で囲われている。ランプ囲い２０の壁の少なくとも一部は透明である。ランプ囲い２０には、ランプ囲い２０の内側と、内側空間１３及び外気空間７とを選択的に導通する一の管路２２が接続されている。また、ランプ囲い２０には、ランプ囲い２０の内側と、内側空間１３及び外気空間７とを選択的に導通するほかの管路２４が接続されている。即ち、一の管路２２は二股管２６の根元で分岐し、二股管２６の一方が内側空間１３に通じ、他方が外気空間７に通じている。他の管路２４は二股管２８の根元で分岐し、二股管２８の一方が内側空間１３に通じ、他方が外気空間７に通じている。二股管２６、２８の根元には２方切り替え弁部３０、３２がそれぞれ設けられている。
【００１６】
外気空間７の温度が内側空間１３の設定温度より高いときには、一の管路２２、他の管路２４とも、外気空間７に通ずるように２方切り替え弁部３０、３２で設定する。外気空間７の温度が内側空間１３の設定温度より低いときには、一の管路２２、他の管路２４とも、内側空間１３に通ずるように２方切り替え弁部３０、３２で設定する。
【００１７】
この選択的な設定により、外気空間７の温度が内側空間１３の設定温度より高いときには、空気が外気空間７から取り込まれ、空気が一の管路２２、ランプ囲い２０、他の管路２４をこの順に経由して矢印Ａの方向に進行して再び外気空間７に放出されるので、ランプ１０がこの空気で冷却される。また、ランプ１０の熱で暖められた空気が内側空間１３に流入することがない。従って、ランプ１０の熱による空調機１２の冷房負荷の増大を防ぎ、空調負荷が軽減される。
【００１８】
また、選択的な設定により、外気空間７の温度が内側空間１３の設定温度より低いときには、空気が内側空間１３から取り込まれ、空気が一の管路２２、ランプ囲い２０、他の管路２４をこの順に経由して矢印Ｂの方向に進行して再び内側空間１３に放出されるので、ランプ１０がこの空気で冷却されるとともにランプ１０の熱で暖められた空気が内側空間１３に還流する。従って、ランプ１０の熱により空調機１２の暖房負荷を軽減することができる。
なお、一の管路２２には、空気を矢印Ａ或いは矢印Ｂの方向に送風するためのファンのような送風手段３６が備えられている。
また、図１（ｂ）に示すように、プラント囲い８の内側空間１３は、移動型隔壁３８によって分割され、内側空間１３−１と１３−２とに分かれている。内側空間１３−１と１３−２のそれぞれが、異なる環境条件に設定することができる。
植物９が栽培されている植生床６の間の通路では、移動型検出装置４０が自走して植物９の状態を検出する。
【００１９】
［植物の栽培状況の管理］
最初に、植物栽培プラント４において、移動型検出装置４０が移動しながら、植物の状態を検出する場合を例示する。
【００２０】
図２を参照し、植物栽培プラント４における植物の状態を検出する移動型検出装置４０を示す。
図２は、本実施形態における移動型検出装置４０を示す図である。
移動型検出装置４０は、移動型車両本体４１を台車とする。移動型車両本体４１は、移動手段とする車輪４１Ｗを備え、駆動部（不図示）から供給される動力により移動する。移動型車両本体４１の上面には、鉛直軸を中心として回転自在に支持されるブラケット４２Ｂが設けられる。そのブラケット４２Ｂには、アーム部４２が設けられ、ブラケット４２Ｂは、アーム部４２を前後方向に転動自在に支持している。また、図２に示すように、移動型検出装置４０が、連続して接続される複数のアーム部４２（４２−１、４２−２、４２−３、４２−４）を備え、アーム部４２の移動型車両本体４１と反対側の先端には、撮像部３００が設けられている。
【００２１】
移動型検出装置４０は、アーム部４２、撮像部３００、移動型検出装置４０の制御部（不図示）を機能させ、自走可能とする電源部（不図示）を備えている。
移動型検出装置４０の制御部は、移動型車両本体４１の移動制御、アーム部４２を要求に応じて駆動して、撮像部３００の位置及び方向を定める駆動制御、撮像部３００を機能させる撮像制御、撮像した画像情報に基づいて検出処理、処理結果などを通信する通信制御などを行う。
移動型検出装置４０は、植物栽培プラント４（図１）において栽培される植物９（図１）の状態を移動しながら検出する。
また、移動型検出装置４０は、移動型車両本体４１の代わりに固定的に設けられた台座であってもよい。
【００２２】
ここで、図３を参照し、植物、すなわち農作物の栽培を制御する植物栽培システムの概要について説明する。
図３は、本実施形態における植物栽培システムの構成を示すブロック図である。
植物栽培システム１は、栽培する植物を収穫して出荷されるまでの工程において、育成環境などの環境条件について制御を施すことにより収穫時期を制御して、収穫予定時期の収穫量を高めることができる。
収穫予定時期の収穫量を高めるには、発芽から収穫までの各工程で、植物の成長を管理する直接的な制御と、間接的な制御とがある。
直接的な制御とは、間引き、剪定などにより植物自体を加工することなどが含まれる。
また、間接的な制御とは、各種環境条件の設定を行うことなどが含まれる。
植物栽培システム１は、植物と、その植物を栽培する環境を制御対象として、その植物の育成状況、収穫時期などを最適化して、収穫予定時期の収穫量を増加するように制御する。
【００２３】
本実施形態に示す植物栽培システム１では、植物の栽培環境を制御対象として、モデル化することにより、それぞれの栽培工程の制御を容易化する。
その制御にあたり、植物自体を直接的な方法だけで完全に制御しきれないこと、屋内環境であったとしても、バラツキがなくなるように環境の均一性を確保することが困難であることなどが、制御を困難とする要因となる。また、成長度合いが植物の個体差に依存することや、同一の個体内であっても、実の収穫時期にバラツクが生じることにより、制御を困難とする要因となっている。
本実施形態では、その制御対象をモデル化し、制御を困難とする要因を外乱として捉え、育成状況に応じて、そのモデルを最適化することにより、収穫予定時期の収穫量を確保する制御を容易にする。
このような植物栽培システムの構成例について説明する。
【００２４】
この図３に示される植物栽培システム１は、例えば、制御対象部１００、判定部２００、撮像部３００、撮像位置移動部４００、制御部５００、及び、成長度合検出装置７０（表示制御装置）を備える。
【００２５】
制御対象部１００は、管理対象である植物９と、植物９の育成環境を制御する環境駆動部１２０を備える。
植物９は、発芽後の葉、茎、花・実、及び根の状態によって育成状況を判定できる。その育成状況は、基準時（発芽時など）からの経過時間に関係付けて判定することができる。
例えば、葉の状態による判定では、葉の枚数、１枚の葉の大きさ、生い茂った葉の投影面積、しおれ具合（角度、縦横比）などがあげられる。茎の状態による判定では、背丈、枝の張り具合、太さなどがあげられる。花・実の状態による判定では、数、密度、配置、実の成熟度などがあげられる。根の状態による判定では、長さ、広がり具合などがあげられる。
【００２６】
環境駆動部１２０は、制御部５００から供給される環境制御量に応じて、植物が栽培される育成環境を制御する。
環境駆動部１２０は、光制御部１２１、空調設備１２２、二酸化炭素処理部１２３及び水調整設備１２４を備える。
【００２７】
光制御部１２１（光制御手段）は、発光部又は遮光部を含み、植物９に与える光の光量又は波長を制御する。一般的な植物９は、適正な光の強度及び照射時間に依存する光の量により光合成を行う。そのような植物９では、その光合成に基づいて、植物９の成長が促進される。また、光制御部１２１は、植物９の好日性を利用して、光の照射方向を制御して、植物９の成長する方向を制御する。また、光制御部１２１は、太陽などの自然光と異なり、特定の波長を制限して与えることにより、特定の成長を促進させる。例えば、発光波長を制限できる発光部としては、発光ダイオード、高圧ネオンランプなどがある。遮光部によって波長を制限する場合には、波長選択性のフィルターを用いる。
【００２８】
空調設備１２２は、植物９が置かれている周囲温度、湿度、及び、風量を制御する。
十分な容量の空気を、適正な周囲温度、湿度、及び、風量に制御して与えることにより、植物９の成長にダメージを与えることなく成長を促進させることができる。
二酸化炭素処理部１２３は、空調設備１２２によって管理されている空気中の二酸化炭素濃度を制御する。適正量の二酸化炭素濃度を維持することにより、光合成を促進させることができる。二酸化炭素処理部１２３は、単に二酸化炭素を発生させるのではなく、他の設備が発生した二酸化炭素を再利用してもよい。
【００２９】
水調整設備１２４は、植物９に給水する水量、水温、及び、養分濃度のうちから、少なくとも１つを制御する。特に水耕栽培である場合、水温及び養分濃度は大事な管理項目である。
このように、植物栽培システム１では、環境駆動部１２０を備えることにより、屋外環境の変化を遮蔽して、人工環境の元で栽培環境を構築する形態と、屋外環境の変化も利用しつつ、適切な環境を補助的に構築する管理支援型の栽培環境とする形態のいずれにも適用可能である。いずれの形態を採用するかは、栽培する植物の種別、栽培時期、成長過程、施設が置かれた環境などの条件により適宜選択される。
例えば、発芽から所定の期間は、人工光を連続照射することにより、成長が促進される植物があることが知られている。また、照射する波長を選択することにより、成長量を制御して目的の成長を促進させることを可能とする。
【００３０】
判定部２００は、撮像部３００によって撮像された画像情報と、植物９の育成モデルとに基づいて、植物９の育成状況を判定する。
判定部２００は、検出部２１０、育成モデル部２２０、状況記憶部２３０、及び、育成状況判定部２４０を備える。
検出部２１０は、撮像された植物９の画像情報から、該植物９の育成状況を検出し、該画像情報と該育成状況を状況記憶部２３０に記憶させる。
また、検出部２１０は、撮像された植物９の画像情報と、その画像を撮像した位置情報から、その画像情報に含まれる植物９の特徴点の位置を検出し、検出した位置情報と撮像した時間情報とを、状況記憶部２３０に記憶される画像情報に対応させて記憶する。
育成モデル部２２０は、複数の育成モデルを備える。育成モデル部２２０に設定される複数の育成モデルは、例えば、基準時（発芽時など）からの経過時間と植物９の育成状況とを関連付ける、経過時間による育成状況モデル２２１（第１育成モデル）、花が成実したときの実の位置を推定した、花の位置に対する実の配置モデル２２２（第２育成モデル）、及び、大きさ、形又は色を基準とするパターンを用いて、検出する対象の特徴を抽出し、収穫時期を判定する収穫時期判定モデル２２３（第３育成モデル）を含む。
【００３１】
状況記憶部２３０は、植物９の画像情報、育成状況、画像情報に含まれる植物９の特徴点の位置情報、及び、撮像した時間情報を対応させて記憶する。
育成状況判定部２４０は、記憶された画像情報と育成状況との少なくとも一方を用いて、植物９の育成モデルに基づいて育成状況を判定する。
育成状況判定部２４０は、育成モデル部２２０に含まれる、経過時間による育成状況モデル２２１（第１育成モデル）、花の位置に対する実の配置モデル２２２（第２育成モデル）、及び、収穫時期判定モデル２２３（第３育成モデル）の少なくとも一つを基準として、植物９の育成状況を判定する。
【００３２】
撮像部３００は、植物９（と該植物９の周囲の状況）を撮像し、画像情報を生成する。撮像部３００は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどを搭載した撮像装置、及び、撮像用の補助光の発光装置を備える。
撮像部３００は、撮像位置移動部４００に含まれる移動型検出装置４０(図２)が備えるアーム部４２の先端部に搭載される。アーム部４２の先端部の動きに応じて、撮像位置が変更され、被写体である植物９との相対位置が変化する。また、アーム部４２の先端部に設けられた旋回台に撮像部３００が搭載され、旋回台の制御により任意の方向に旋回可能となる。これらの制御を組み合わせることにより、撮像部３００は、任意の位置、任意の方向から植物９を撮像することが可能となる。
【００３３】
撮像位置移動部４００（撮像位置移動手段）は、指示された位置まで撮像部３００が撮像する位置を移動させて、植物９を指示された方向から撮像可能とする。
撮像位置移動部４００（撮像位置移動手段）は、撮像する位置を移動させる移動型検出装置４０(図２)を備え、移動型検出装置４０(図２)には（多関節型の）アーム部４２（ロボットアーム）が設けられる。
そのアーム部４２の先端には、撮像部３００に被写体からの光を導く光学系が設けられており、撮像位置移動部４００は、その光学系の光軸を指示された方向に転回させる。
【００３４】
成長度合検出装置７０は、制御部５００に対して各種情報の提供を要求する。成長度合検出装置７０は、その要求に応じて制御部５００から取得した各種情報に基づいて、対象となる植物９の成長度合いを検出する。成長度合検出装置７０は、植物栽培プラント４内を移動するユーザーによって携帯され、植物栽培プラント４内の植物９の成長度合いを検出する。
【００３５】
制御部５００（制御部）は、撮像位置移動部４００（撮像位置移動手段）によって移動した位置から撮像された植物９の画像情報に基づいて、植物９の育成モデルを基準として育成状況を判定した結果に従って、植物９の育成環境を制御する。
制御部５００は、育成モデル生成部５１０、環境制御部５２０、位置制御部５３０、生産計画設計部５４０、収穫計画設計部５５０、剪定計画設計部５７０、及び通信処理部５９０を備える。
育成モデル生成部５１０は、育成モデルを画像情報に基づいて生成し、育成モデル部２２０に保持される育成モデルを更新する。
育成モデル生成部５１０は、画像情報から生成された育成状況によって第１育成モデルを決定する第１モデル生成部、画像情報から開花時の花の位置を検出し第２育成モデルを生成する第２モデル生成部、画像情報から収穫時期を判定する第３育成モデルを生成する第３モデル生成部を備える。
また、育成モデル生成部５１０は、育成モデルを生成する際に、成長度合検出装置７０が検出した個々の植物９の育成状況についての情報又は画像情報に基づいて、育成モデルを生成してもよい。
【００３６】
環境制御部５２０は、判定された育成状況に応じて育成環境を制御する環境制御量を生成する。例えば、環境制御部５２０は、判定された育成状況に応じて植物９に与える光を制御する場合には、光制御部１２１によって、植物９に与える光の光量又は波長を制御する。環境制御部５２０は、判定された育成状況に応じて植物９に与える二酸化炭素濃度を制御する場合には、二酸化炭素処理部１２３によって、植物９が置かれている二酸化炭素濃度を制御する。環境制御部５２０は、判定された育成状況に応じて植物９に与える空気を制御する場合には、空調設備１２２によって、植物９に供給する空気の温度、湿度、及び、風量の少なくともいずれか１つを制御する。環境制御部５２０は、判定された育成状況に応じて植物９に与える水を制御する場合には、水調整設備１２４によって、植物９に給水する水量、水温、及び、養分濃度の少なくともいずれか１つを制御する。
位置制御部５３０は、撮像位置移動部４００を制御して、植物９を撮像する位置及び方向を指示する。位置制御部５３０は、撮像部３００の位置、撮像方向を変更して目的に応じた画像情報を撮像するために撮像位置移動部４００を制御する。
【００３７】
生産計画設計部５４０は、撮像された画像情報に基づいて生産計画を設計する。
収穫計画設計部５５０は、第３育成モデルに基づいて、収穫計画を設計する。
配置計画設計部５６０は、対象となる植物９の第１育成モデルに応じて、対象となる植物９の周囲に位置するほかの植物９との位置関係により、植物栽培プラント４内の植物９の配置計画を設計する。
剪定計画設計部５７０（第１剪定計画設計部）は、第１育成モデルに応じて、植物９を剪定する剪定計画を設計する。また、剪定計画設計部５７０（第２剪定計画設計部）は、第２育成モデルに応じて、植物９の花（実）を剪定する剪定計画を設計する。
通信処理部５９０は、成長度合検出装置７０との通信処理をする。通信処理部５９０は、成長度合検出装置７０からの制御部５００に対する要求及び各種情報を受付け、また、その要求に応じた各種情報を成長度合検出装置７０に対して送信する。
通信処理部５９０は、成長度合検出装置７０が検出した個々の植物９の育成状況についての情報又は画像情報を受け付ける。
また、通信処理部５９０が送信する各種情報は、例えば、植物９の配置情報、第１育成モデルなどである。
【００３８】
（植物の収穫時期の制御）
図４を参照し、本実施形態における植物の収穫時期の制御について説明する。
図４は、本実施形態における植物の収穫時期の制御を示す図である。
この図４に示されるグラフは、横軸を発芽からの経過日数（時間）、縦軸が植物の成長度合いを示し、いわゆる成長曲線の形状を有する。このグラフが示すように、成長度合いは経過日数に応じた関数として定義することができ、特定の環境条件下における傾向を、過去のデータに基づいて生成された育成モデルを植物９の育成状況管理の基準とする。
【００３９】
グラフＳ４ａは、植物９の育成状況管理の基準とする成長曲線を示す育成モデルである。このグラフＳ４ａに基づいて、収穫時期を設定することができる。
グラフＳ４ｂは、植物の育成状況管理を行わずに、グラフＳ４ａに示した育成モデルより遅れて成長する過程を示す。このグラフＳ４ｂに示すように育成すると収穫時期が、計画より遅れてしまうことになる。そこで、本植物栽培システム１では、育成の過程で検出された育成状況の遅れを、周囲の環境を制御することにより、育成状況を促進させるように制御する。
育成状況を促進する場合には、制御対象である植物９の種別、及び、対策を実施する時期に応じて処理内容が選択される。例えば、対策の内訳として、光照射量を増加させたり、周囲温度、水温を高めたり、必要な養分量を増加させたりするなどの方法があげられる。
【００４０】
一方、育成状況を遅らせる場合にも、制御対象である植物９の種別、及び、対策を実施する時期に応じて処理内容が選択される。例えば、対策の内訳として、光照射量を減少させたり、周囲温度、水温を低下させたり、必要な養分量を減少させたりするなどの方法があげられる。
【００４１】
また、検出部２１０による育成状況の検出は、各個体の状況を検出し、それぞれ検出された結果に基づいて総合的に判定することも可能である。その総合的な判定では、それぞれ検出された検出結果を平均化したり、バラツキを検出したりするなど、各種統計処理の手法を適用できる。
例えば、全体を複数の区画に分割し、その区画に含まれる植物９から検出された結果を区画ごとにまとめて判定することも可能である。このように区画を分割することにより、配置された位置によるバラツキを検出することができる。
【００４２】
また、異なる種類の植物を区画ごとに配置して、それぞれに適した環境を設定することも可能である。
植物９の育成状況の検出には、１つの判定基準によって検出してもよく、或いは、複数の判定基準によって検出した複数の変数に基づいて判定してもよい。
【００４３】
（植物の育成状況の判定）
図５から７を参照し、本実施形態における植物の育成状況の判定について説明する。
判定部２００によって行われる植物９の育成状況の判定では、検出対象に応じて複数の判定方法を選択することができる。
検出対象を、葉、茎、花・実、根のそれぞれを選択することができる。
検出部２１０は、以下に示す判定項目に応じて、選択された検出対象の状態を検出する。
育成状況判定部２４０は、検出された検出対象の状態について、記憶された画像情報と育成状況との少なくとも一方を用いて、植物９の育成モデルに基づいて育成状況を判定する。育成状況判定部２４０は、判定の基準とする育成モデルを、育成モデル部２２０に備えられている複数の育成モデルの中から判定項目に応じて選択する。
【００４４】
判定部２００における葉の状態による判定では、葉の枚数、１枚の葉の大きさ、生い茂った葉の投影面積、しおれ具合（角度、一枚の葉の縦横比）などが判定項目としてあげられる。
葉の枚数は、予め定められた範囲に内に存在する枚数、或いは、茎（特定された枝）に着いた葉の枚数を計数することにより検出する。
１枚の葉の大きさは、特定された葉の大きさ、予め定められた範囲に内に存在する葉の大きさの平均、或いは、茎（特定された枝）に着いた葉の大きさの平均を算出することにより検出する。葉の大きさは、長手方向（縦）の長さ、長手方向と直交する方向（横）の長さ、面積とすることができる。
生い茂った葉の投影面積は、植物９の側面から鉛直面に投影された面積を検出する。
葉のしおれ具合は、水分不足などのストレスを容易に検出できる。しおれた状態では、葉先が下を向くことから、水平面と葉の表面とがなす角度から検出することができる。或いは、一枚の葉の縦横比を算出してもよい。しおれたことにより葉の張りがなくなり、見かけ上の横幅が狭くなる。そのため、しおれ具合により、一枚の葉の縦横比が変化する。
【００４５】
判定部２００における茎の状態による判定では、背丈、枝の張り具合、太さなどが判定項目としてあげられる。
背丈は、茎（或いは先端の葉）の先の高さを検出する。撮像部３００の高さを茎の高さと一致させることにより、撮像部３００の高さから検出できる。
枝の張り具合は、枝分かれしている分岐数、或いは、枝の長さを検出する。
茎の太さは、基準の高さの茎の太さを検出する。
【００４６】
判定部２００における花・実の状態による判定では、数、密度、配置、実の成熟度などが判定項目としてあげられる。
図５は、花と実の位置関係を示す図である。
図５（ａ）、（ｃ）に開花期の状態を示し、図５（ｂ）、（ｄ）に成実期の状態を示す。
実の位置は、花の位置に依存することから、花の数及び位置を特定することにより、実の数と位置を特定することができる。開花期に示す花ｆ１とｆ２は、成実期には実Ｆ１とＦ２として変化する。
花（実）の数は、予め定められた範囲に内に存在する数量、或いは、茎（特定された枝）に着いた花（実）の数量を計数することにより検出する。
花（実）の密度は、検出した花（実）の数量を単位容量で除算することにより算出できる。或いは、簡易的には、撮像された画像の所定の範囲に存在する花（実）の数量を計数する。
花（実）の配置は、３次元計測の手法を用いることにより検出する。また、検出された花の位置から、成実期の実の位置を推定することができる。実の大きさ、重量を仮定して、その実がぶら下がる枝の強度と長さを演算条件とすることより、花の３次元位置に基づいて、実の推定位置を算出することができる。
この算出された推定位置から、隣接する実との干渉を推定することができる。つまり、実の大きさより、相対距離が近い場合には、干渉が生じると推定することができる。
【００４７】
実の成熟度は、実の色の変化に基づいて検出できる場合がある。
図６は、実の成熟度の検出を説明する図である。
図６（ａ）に示されるように、熟した実Ｆ３の色と熟しきらない実Ｆ４の色とが異なる場合に適用できる。熟しきらない実Ｆ４の色Ｃ１に対し、熟した実Ｆ３の色Ｃ２への色の変化を検出することにより、成熟度を検出できる。
図６（ｂ）に示されるように、実の一部（例えば、下側）の色Ｃ２が変色し、その変色した範囲（Ｚ２）を検出することにより成熟度を検出できる。
実の成熟度は、成熟度が高くなるにつれ、光の透過量が高く変化する場合がある。実に対して所定の光量の光（測定補助光）を照射して、その透過光の量を検出する。例えば、実の下部（又は側面）に接近した位置から測定補助光を照射して、撮像部３００は、透過された光を検出する。その際、撮像部３００の画角に、補助光源からの直接光が入らないように位置関係を調整する。
【００４８】
判定部２００における根の状態による判定では、長さ、広がり具合などが判定項目としてあげられる。水耕栽培であれば、根の長さを検出できる場合がある。根の長さは、株の位置からの長さを検出する。根の広がり具合は、株の位置から根が広がった面積を検出する。根の長さも広がり具合も、いずれも水中であることから直接的に検出しにくいが、補助光を照射して、根による影を間接的に検出することができる。
【００４９】
上記に示した、検出部２１０は、植物９を検出する直接的な検出方法のほかに、直接検出された結果に基づいた３次元モデルを作成することにより、直接検出できない情報を間接的に検出してもよい。
図７は、葉の状態を示す図である。
図７（ａ）に、４枚の葉の着いた茎を俯瞰した画像として示す。
植物９の側面から撮像した画像情報では、この図に示されるような画像情報を取得できるが、平面的な状態を検出するのは困難である。そこで、４枚の葉を３次元情報として抽出する。
図７（ｂ）に、図７（ａ）に示した４枚の葉を３次元情報とした結果に基づいて、水平面に投射した結果を示す。このような次数変換の方法を採ることにより、植物９の上部からの撮像が困難な場合でも、任意の高さの範囲に含まれる葉の平面投射図を作成することができる。破線の円は、葉の先端の近傍を通過する円を示す。
【００５０】
図７（ｃ）に、図７（ａ）に示した４枚の葉が、しおれた状態を示す。それぞれの葉の先端が地面に向かって垂れ下がった状態を示す。この状態の４枚の葉を３次元情報として抽出する。
図７（ｄ）に、図７（ｂ）と同様に図７（ｃ）に示した４枚の葉を３次元情報とした結果に基づいて、水平面に投射した結果を示す。４枚の葉がしおれた状態となったことにより、葉の先端の近傍を通過する円は、図７（ｂ）に示した葉の先端の近傍を通過する円より小さな円となる。
このように投射された葉のイメージが示す葉の先端の近傍を通過する円の直径により、葉の成長度合い、しおれ具合などの検出を行うことができる。
また、茎の先端に花が咲く「菊」のような植物の花の状態を検出することに応用できる。
【００５１】
（育成モデルの生成）
次に、制御部５００において育成モデル生成部５１０が生成する育成モデルについて説明する。
前述の「（植物の育成状況の判定）」において、判定項目に応じて目的にあった検出条件による植物９の育成状況の検出について示した。検出された育成状況を判定するための基準（判定項目）として用いる育成モデルの生成について示す。
最初に、基準時（発芽時など）からの経過時間に応じて、植物９の育成状況を判定するために、基準時（発芽時など）からの経過時間と植物９の育成状況とを関連付ける経過時間による育成状況モデル（第１育成モデル）が必要とされる。
この第１育成モデルには、各種項目を選択することができる。例えば、葉の状態による判定では、葉の枚数、１枚の葉の大きさ、生い茂った葉の投影面積、しおれ具合（角度、縦横比）などがあげられる。茎の状態による判定では、背丈、枝の張り具合、太さなどがあげられる。花・実の状態による判定では、数、密度、配置、実の成熟度などがあげられる。根の状態による判定では、長さ、広がり具合などがあげられる。
選択された項目において、例えば、基準時（発芽時など）からの経過時間に応じた成長曲線に基づいた数値を基準値とすることにより、モデル化することができる。
この第１育成モデルは、個体の成長の基準とするだけでなく、隣接する個体との干渉を判定する場合にも用いることができる。
【００５２】
また、花が成実したときの実の位置を推定した、花の位置に対する実の配置モデル（第２育成モデル）が必要とされる。
この第２育成モデルには、花・実の状態による判定では、数、密度、配置などがあげられる。
選択された項目において、花の位置に対する実の配置を推定した位置、特徴点に対する位置、実の大きさを基準値とすることにより、モデル化することができる。
この第２育成モデルは、個々の実の成長の基準とするだけでなく、隣接する実のそれぞれの大きさと隔離距離により、隣接する実の干渉を判定する場合にも用いることができる。
【００５３】
また、大きさ、形又は色を基準とするパターンを用いて、検出する対象の特徴を抽出して収穫時期を判定する収穫時期判定モデル（第３育成モデル）が必要となる。
【００５４】
つまり、育成モデル生成部５１０は、判定項目として選択された項目に対応する数値をモデル化することにより基準値を生成し、育成モデル部２２０の初期値とする。
育成モデル生成部５１０は、育成モデルの生成を画像情報に基づいて生成して、更新する。生成した育成モデルと、実際の状態との乖離が大きい場合には、無理な制御量を与えることとなる場合がある。その場合には、育成モデル生成部５１０は、予め定めた閾値を基準に、判定し育成モデルを補正して、育成モデル部に保持された値を更新する。なお、育成モデルの更新は、段階的に定めた成長課程によって更新周期を変更してもよい。
【００５５】
判定部２００では、検出部２１０によって検出された値と、育成モデル部２２０に保持された各育成モデルの値とに基づいて育成状況判定部２４０によって判定（演算）することにより、検出された値と、育成モデル部２２０に保持された各育成モデルの値との差を算定し、育成状況を判定する。
【００５６】
なお、育成モデル生成部５１０は、育成モデルの値を、過去に検出された検出値、過去に設定されたモデルの値などを統計処理して算定してもよい。
【００５７】
（周囲環境の制御）
環境制御部５２０は、判定された育成状況に応じて育成環境を制御する環境制御量を生成する。例えば、環境制御部５２０は、判定された育成状況に応じて植物９に与える光を制御する場合には、光制御部１２１によって、植物９に与える光の光量又は波長を制御する。環境制御部５２０は、判定された育成状況に応じて植物９に与える二酸化炭素濃度を制御する場合には、二酸化炭素処理部１２３によって、植物９が置かれている二酸化炭素濃度を制御する。環境制御部５２０は、判定された育成状況に応じて植物９に与える空気を制御する場合には、空調設備１２２によって、植物９に供給する空気の温度、湿度、及び、風量の少なくともいずれか１つを制御する。環境制御部５２０は、判定された育成状況に応じて植物９に与える水を制御する場合には、水調整設備１２４によって、植物９に給水する水量、水温、及び、養分濃度の少なくとも１つを制御する。
例えば、育成状況を促進させるためには、環境制御部５２０は、光制御部１２１によって、植物９に与える光の照度を高め、照射時間を長くして、光量が増加するように制御する。また、空調設備１２２によって、植物９の周囲温度を高めることにより、育成状況を促進させることができる。このような条件の制御では、植物の種類、育成過程などによって異なり、それぞれに適する制御内容が定められる。
周囲環境の制御は、栽培時には、環境制御部５２０により比較的短い周期で繰り返し行われ、異常値の検出を早く行うことにより、植物９へのダメージを低減し、適切な環境で栽培できるようにする。
【００５８】
（撮像位置の制御）
位置制御部５３０は、撮像位置移動部４００を制御して、植物９を撮像する位置及び方向を指示する。位置制御部５３０は、撮像部３００の位置、撮像方向を変更して目的に応じた画像情報を撮像するために撮像位置移動部４００を制御する。
撮像位置移動部４００は、多間接型のアーム部４２を備える移動型検出装置４０を備えていることから、撮像部３００の位置を柔軟に設定することができる。
植物９の実が、葉や他の実の影になるような位置であっても、それらに影響されない位置に撮像部３００を移動させることができる。これにより、撮影対象の植物９の実が葉や他の実の影に隠れていたとしても、それらに妨げられることなく、撮影対象の植物９の実を撮像部３００で確実に撮像することができる。
なお、撮像部３００は、アーム部４０の先端部に配置するものとしたが、アーム部４０の先端に近いアームや、同アームに設けられた雲台に設けられていてもよい。また、アーム部４０の先端としたが、アーム部４０に内蔵されていてもよい。
【００５９】
（生産計画の設計）
生産計画設計部５４０は、撮像された画像情報に基づいて生産計画を設計する。画像情報に基づいた生産計画を設計することにより、収穫するか否かの判定に限らず、植物栽培システム１の設備を有効に利用して、効率よく植物９を栽培することが可能となる。また、この生産計画は、目的の時期の出荷量を調整することにも利用できる。
【００６０】
（収穫計画の設計）
収穫計画設計部５５０は、第３育成モデルに基づいて、収穫計画を設計する。
第３育成モデルに基づいて設計することにより、収穫可能か否かの判定の精度を高めることができる。この判定を行うことにより、例えば、それぞれの実の収穫時期を適正化させることができ、品質を揃えることが可能となる。
収穫計画を作成するための画像情報は、各植物９に対して他の処理を行うために接近した際に、所得することもできる。或いは、過去に設計した収穫計画によって、収穫順序が策定されていれば、その収穫順に応じて検出頻度を制御することも可能である。すなわち、収穫計画により収穫時期が遅くなると判定された実に対する検出頻度を粗くして、収穫時期が近い実に対する検出頻度を高めることができるので、検出効率を高めることができる。
また、収穫時期を繰り上げ、或いは延期させる判定条件として用いることもできる。これにより、必要な出荷量に応じた量を収穫することができる。
【００６１】
（配置計画の設計）
配置計画設計部５６０は、第１育成モデルに応じて、周囲に位置する植物９の配置計画を設計する。第１育成モデルに基づいて設計することにより、成長後の植物９の個体の大きさを算定することができる。
この配置計画を策定することにより、成長過程で隣接する植物、或いは、施設との干渉を未然に防いで、効率よく植物を配置することができる。この配置計画は、いわゆる、間引きを行う場合や、互いの異なる種類の植物同士の相性が合わない場合の適切な配置等の判定基準となる。
【００６２】
（剪定計画の設計）
剪定計画設計部５７０は、第１育成モデルに応じて、植物９を剪定する剪定計画を設計する。
これにより、隣接する植物９、或いは、自らの枝に干渉する場合を推定することができ、剪定する枝とその位置を適正に選定することができる。
また、剪定計画設計部５７０は、第２育成モデルに応じて、植物９の花（実）を剪定する剪定計画を設計する。
これにより、植物９に成実する位置を算定することにより、自らの枝や実に干渉する場合を推定することができ、剪定する枝や実を選定し、剪定する位置を適正に選定することができる。
【００６３】
（植物栽培システムの制御）
本実施形態に示した植物栽培システム１では、撮像部３００は、植物９を撮像し、画像情報を生成する。
撮像位置移動部４００（撮像位置移動手段）は、撮像部３００が撮像する位置を移動させる（多関節型の）アーム部４２(ロボットアーム)を備えることにより、自由な位置と方向から植物９の状況を測定することができ、その測定された画像情報に基づいて、環境条件を制御することにより、収穫時期を制御することが可能となる。
【００６４】
このような、植物栽培システム１によって大規模化が容易に行えるようになる。
また、植物栽培システム１において、植物９の育成状況（成長度合い）を正確に判定することにより、生産性を高め、品質向上に寄与することができる。
【００６５】
［成長度合検出装置]
続いて、図８を参照し、植物栽培システム１における植物の成長度合いを検出する成長度合検出装置について示す。
以下の説明において、植物の成長度合いは、成長過程における成長の進み具合を示す指標とする。成長度合検出装置の検出対象である植物９（図１）の成長過程において、該植物９の成長度合いを検出するために、植物９の成長に応じた分類をする複数の段階を設けておく。
この図に示す成長度合検出装置７０は、ユーザーが携帯して利用する携帯型の端末装置として、成長度合検出装置を構成した場合を例にして説明する。
図８は、本実施形態における成長度合検出装置７０を示す図である。
この図に示される成長度合検出装置７０は、タブレット型の装置として構成されたものである。
成長度合検出装置７０は、被写体を撮像する撮像部７１と、撮像した画像を表示する表示部７４とを備え、一体化された筐体内に構成されている。成長度合検出装置７０は、被写体に向けられた撮像部７１が撮影した画像を表示部７４に表示する。また、成長度合検出装置７０は、植物９の画像情報を取得して、取得した画像情報に基づいて、植物９の成長に応じて設けた段階に従って植物９の成長度合いを検出する。
【００６６】
図９は、本実施形態における成長度合検出装置７０を示すブロック図である。
図１から図３、図８と同じ構成には、同じ符号を附す。
【００６７】
成長度合検出装置７０は、撮像部７１、育成状況検出部７２、表示制御処理部７３、表示部７４、操作入力検出部７５、加速度検出部７６、及び、制御部７９を備える。
撮像部７１は、カメラ部７１１、撮像処理部７１２、記憶部７１３、及び、撮像位置取得部７１４を備える。
カメラ部７１１は、検出対象である植物を主たる被写体として、その被写体を撮像して得られる画像から画像信号に変換する。
【００６８】
撮像処理部７１２は、カメラ部７１１を制御して撮像させる。
また、撮像処理部７１２は、カメラ部７１１によって変換された画像信号に基づいた画像情報を得る。撮像処理部７１２は、撮像された被写体の位置を特定する被写体位置情報を、その画像情報に対応させて得る。撮像処理部７１２は、検出対象範囲設定部７２３によって設定された検出対象範囲に対応する識別情報を、その画像情報の被写体位置情報とする。或いは、撮像処理部７１２は、撮像された画像情報から抽出した特徴点に応じた位置情報を生成し、生成した位置情報を被写体位置情報としてもよい。
また、撮像処理部７１２は、撮像位置検出部７１４によって得られた撮像位置情報と、撮像処理部７１２によって得られた被写体位置情報と撮像時刻情報とを、撮像された画像情報に対応させて記憶部７１３に記憶させる。
【００６９】
撮像位置検出部７１４は、カメラ部７１１によって撮像された画像信号によって示される画像情報から、撮像する位置を特定する撮像位置情報を得る。撮像位置情報を得るための基準点を植物９の周辺に予め設けておき、撮像位置検出部７１４は、撮像された画像に含まれる基準点に基づいて撮像位置情報を算出する。或いは、撮像位置検出部７１４は、ＧＰＳシステムによる位置情報を取得して、取得した位置情報を撮像位置情報としてもよい。
【００７０】
記憶部７１３は、撮像位置検出部７１４によって得られた撮像位置情報と、撮像処理部７１２によって得られた被写体位置情報と撮像時刻情報とを、カメラ部７１１によって撮像された画像情報に対応させて記憶する。記憶部７１３が記憶する各種情報は、最新の情報として記憶される。なお、被写体位置情報は、対応する植物９の識別情報としてもよい。
【００７１】
さらに、撮像部７１は、撮像処理部７１２によって、カメラ部７１１によって得られた画像情報に基づいて、撮像した撮像位置を中心とするパノラマ画像や３次元合成画像を合成してもよい。パノラマ画像や３次元合成画像を合成する場合、撮像処理部７１２は、合成されたパノラマ画像や３次元合成画像による画像情報を、撮像時刻情報と、撮像位置情報と、被写体位置情報と、撮像された画像情報とを対応させて記憶部７１３に記憶させてもよい。このように、植物栽培プラント４内を撮像して得た画像情報から、パノラマ画像や３次元合成画像を合成することにより、それぞれ撮像した撮像位置に応じたパノラマ画像や３次元合成画像の画像情報（３次元合成画像情報）を得ることができる。
また、撮像部７１は、撮像部７１に作用する手ブレを補正する手ブレ補正機能を有していることが望ましい。
【００７２】
育成状況検出部７２は、成長の段階に合わせてそれぞれ設定された検出対象範囲に含まれる該植物９の状態から、植物９の成長度合いを検出する。
育成状況検出部７２は、撮像部７１によって撮像された植物９の画像情報に基づいて植物９の成長度合いを検出して、植物９の育成状況（成長度合い）を示す情報とする。
育成状況検出部７２は、成長度合検出部７２１、成長段階判定部７２２、検出対象範囲設定部７２３、情報取得部７２５、及び、過去情報記憶部７２６を備える。
【００７３】
情報取得部７２５は、予め定められた所定の時間間隔により撮像された植物９の画像情報を撮像部７１から取得する。
例えば、情報取得部７２５は、カメラ部７１１によって撮像された植物９の画像に基づいた画像情報と、その画像が撮像された時刻を示す撮像時刻情報と、撮像した位置を特定する撮像位置情報と、撮像された被写体の位置を特定する被写体位置情報とを、カメラ部７１１を備える撮像部７１から取得する。情報取得部７２５は、取得した画像情報と、撮像時刻情報と、撮像位置情報と、被写体位置情報と、を対応させて、過去情報記憶部７２６に格納する。
情報取得部７２５が取得する画像情報は、カメラ部７１１によって撮像された画像情報、或いは、撮像部７１の記憶部７１３に記憶されている画像情報のいずれかである。また、撮像部７１の記憶部７１３に記憶されている画像情報は、撮像部７１によって撮像された画像情報に基づいて合成されたパノラマ画像や３次元画像を示す３次元合成画像情報による画像情報を含むものであってもよい。
過去情報記憶部７２６は、情報取得部７２５が取得した画像情報と、撮像時刻情報と、撮像位置情報と、被写体位置情報とを対応させて格納する。また、過去情報記憶部７２６は、情報取得部７２５が取得した合成されたパノラマ画像や３次元画像を示す３次元合成画像情報による画像情報を合わせて格納するものであってもよい。
【００７４】
成長度合検出部７２１は、予め定められた所定の時間間隔により撮像された植物９の画像情報に基づいて、該植物９の成長度合いを検出する。
まず、成長度合検出部７２１は、被写体位置情報と撮像時刻情報とに基づいて、定められた特定の検出対象範囲における、過去情報記憶部７２６に格納された画像情報を参照し、予め定められた所定の時間間隔により取得されていた植物９の画像情報を得る。成長度合検出部７２１は、この所定の時間間隔により撮像された植物９の画像情報から、その画像情報によって示される検出対象の差分情報を得る。成長度合検出部７２１は、この検出対象の差分情報に基づいて、植物９の成長を検出する。この検出対象の差分情報には、枝の長さ、茎の太さ、根の長さ、実の大きさなどの長さに関する差分情報、葉、茎、実などの色相に関する差分情報などがある。
また、成長度合検出部７２１は、所定の期間に達すると期待される成長量に対して、実際の成長量がどの程度まで達しているかを検出し、その程度を成長度合いとして示す。例えば、成長度合検出部７２１は、所定の期間に達すると期待される成長量に対する、実際の成長量の比を成長度合いとしてもよい。
植物９の成長において、植物９における特定の部位ごとに成長度合いが異なることにより、部位ごとの成長が一様に進むものではない。このように、植物９においては、部位が適宜選択されて、成長度合検出部７２１は、その部位の成長度合いを検出することにより、その時々に適した成長度合いをそれぞれ検出することができる。
【００７５】
定められた特定の検出対象範囲ごとに、成長の段階に応じて予め定められる所定の時間間隔により、該植物９の成長度合いを検出する。
例えば、所定の時間間隔を隔てて撮像された２つの画像に基づいて、該植物９の成長度合いを検出する。
植物９の成長過程を複数の段階に分けた場合、それぞれの段階、及び、それぞれの部位において、植物９の成長度合いの変化量が異なる。そこで、成長過程のそれぞれの段階及びそれぞれの部位に応じて、植物９の成長度合いを検出するのに必要とされる時間間隔を定める。これにより、成長度合検出部７２１は、必要以上に検出を行うことなく、検出回数を低減することができ、必要な情報を効率よく収集することができる。
成長度合いの変化量が大きな段階では、成長度合いを検出可能とする程度に時間間隔を比較的短く定め、成長度合いの変化量が小さな段階では、時間間隔を比較的長く定める。このように時間間隔を成長の段階に応じて定めて、検出回数を低減させた場合であっても、成長度合いを検出できる。
【００７６】
成長段階判定部７２２は、成長度合検出部７２１によって検出されたそれぞれの部位の差分情報から算出される成長度合いに基づいて、植物９の成長の段階を判定する。
【００７７】
検出対象範囲設定部７２３は、判定された成長の段階に応じて植物９の検出対象範囲を設定する。例えば、検出対象範囲設定部７２３は、植物９の実を収穫する収穫段階の場合、植物９の中で実が熟しやすい部分が含まれる範囲を検出対象範囲として設定してもよい。
ところで、植物９によって、実の熟しやすさが部分ごとに異なることが知られている。葡萄の場合、枝の先端に近い房のほうが早く熟す傾向がある。また、同じ房であれば、房の上部、すなわち枝に近い部分のほうが早く熟す傾向がある。そこで、検出対象範囲設定部７２３は、検出対象範囲ごとに、優先的に選択されるべき検出対象範囲を設定するための重み付けを設定する。この重み付けにおいては、熟しやすい部分が含まれる範囲を検出対象範囲として優先的に設定するように設定する。検出対象範囲設定部７２３は、この重み付けに従って検出対象範囲を設定することにより、熟した実を効率よく検出することができる。
【００７８】
また、検出対象範囲設定部７２３は、検出対象範囲を収穫する実に対応させて、或いは、同じ時期に収穫可能な実を含むように、それぞれの検出対象範囲を定める。
さらに、検出対象範囲設定部７２３は、実を識別する識別情報を参照して、収穫した実の識別情報を取得して、実を収穫した後に残った実の中から（すなわち、未収穫の実の中から）、熟しやすい部分が含まれる範囲を優先して検出対象範囲として設定するような重み付けを定義する。これにより、段階的に実を収穫する場合であっても、熟した実を効率よく検出することができる。
【００７９】
或いは、検出対象範囲設定部７２３は、植物９の実を収穫する収穫段階の場合、実の中で熟しやすい部分が含まれる範囲を検出対象範囲として設定してもよい。
植物９の同じ実の中においても、熟しやすさが異なることが知られている。りんごの場合、枝に着いた状態で上側半分のほうが下側半分より早く熟す傾向がある。そこで、検出対象範囲設定部７２３は、検出対象範囲ごとに、優先的に選択されるべき検出対象範囲を設定するための重み付けを設定する。この重み付けにおいては、植物９の実の中で熟しやすい部分が含まれる範囲を検出対象範囲として優先的に設定するように設定する。検出対象範囲設定部７２３は、この重み付けに従って検出対象範囲を設定することにより、実の熟し加減を効率よく検出することができる。或いは、植物９の実の中で熟しやすい部分が含まれる範囲を、その実の検出対象範囲として固定的に設定してもよい。
【００８０】
検出対象範囲設定部７２３は、成長の段階に応じて定められる検出対象範囲の候補の中から、所望の検出対象範囲を選択する。
例えば、発芽時、開花時、受粉時、成熟期（収穫時）のように成長の段階を定めた場合、それぞれの成長の段階に応じて、検出対象範囲の候補の中から、所望の検出対象範囲を選択する。検出対象範囲の候補としては、前述の「（植物の育成状況の判定）」において示した検出対象を撮像できるように設定した範囲を検出対象範囲の候補とすることができる。
具体的な例を示すとすれば、発芽時から開花時までの段階では、葉又は茎に対して検出対象範囲を設定し、開花時から受粉時までの段階では、花に対して検出対象範囲を設定し、受粉時から収穫時までの段階では、実に対して検出対象範囲を設定する。検出対象範囲の設定は、対象とする植物の種類などに応じて所望の検出対象範囲を定める。
【００８１】
表示制御処理部７３は、撮像部７１において撮像された画像情報と、過去情報記憶部７２６に記憶されている画像情報とに基づいて、表示部７４に表示させる画像を生成する。
表示制御処理部７３は、表示制御部７３１と、表示情報生成部７３２とを備える。
表示制御部７３１は、表示対象の植物を識別する識別情報に対応付けて過去情報記憶部７２６に記憶されている該植物の育成に関する情報から生成された表示情報を、該表示対象の画像に対応させて表示させる。
表示制御部７３１は、第１の時間間隔で撮像された画像の画像情報であって、撮像された順に基づいた時系列情報に対応させて過去情報記憶部７２６に記憶されている表示対象の画像の画像情報を、時系列情報に応じて第２の時間間隔に従って、過去情報記憶部７２６から読み出して表示させる。これにより、表示制御部７３１は、いわゆる録画装置における早送り再生と同様な表示を行わせることができる。
また、表示制御部７３１は、時系列情報に応じて過去情報記憶部７２６から順次読み出して表示させる表示対象の画像に、当該表示対象の画像に対応する表示情報を対応させて表示させる。表示対象の画像に対応する表示情報が時間の経過に応じて変化する場合であっても、表示制御部７３１は、順次読み出して表示させる表示対象の画像に対応させて表示させることができる。
表示制御部７３１は、時刻情報を、時刻情報に対応付けられている画像情報の画像に対応させて表示させてもよい。
【００８２】
表示情報生成部７３２は、表示対象の植物を識別する識別情報に基づいて表示対象の植物に関連付けられる表示情報として、表示対象の植物に関する表示情報を生成する。
また、表示情報生成部７３２は、植物の成長の段階を推定した推定情報に基づいた表示情報を生成する。
【００８３】
このように構成した表示制御処理部７３において、表示制御部７３１は、撮像部７１が新たに撮像して過去情報記憶部７２６に記憶させる植物９の画像情報に基づいた第１の像の位置と、過去に撮像された画像情報である過去情報記憶部７２６に記憶されていた画像情報に基づいた第２の像の位置とを判別させる画像を生成する。
表示制御部７３１は、第１の像と第２の像とに基づいた画像である合成画像を生成し、表示部７４に表示させる。
【００８４】
また、表示制御処理部７３において、表示情報生成部７３２は、加速度検出部７６によって検出された加速度に応じて、生成する表示情報や、表示情報を表示する領域の大きさを変更する。或いは、表示情報生成部７３２は、加速度検出部７６によって検出された加速度の大きさに応じて、表示情報の表示を中断させてもよい。
なお、表示制御処理部７３による詳細の処理については、後述とする。
【００８５】
表示部７４は、表示制御処理部７３によって生成された画像を表示する。
操作入力検出部７５は、ユーザーの操作を検出することにより、成長度合検出装置７０を機能させる操作情報を取得して、その操作情報を制御部７９に通知する。操作入力検出部７５は、表示部７４の表示面上に設けられたタッチパネルとして構成してもよい。
加速度検出部７６は、成長度合検出装置７０の位置の変位又は角度の変位を加速度として検出する加速度センサを備える。例えば、加速度検出部７６を６軸加速度センサとすることにより、加速度検出部７６が検出した加速度などに基づいて、成長度合検出装置７０の傾きや動きを検出するための情報を得ることができる。要するに、加速度検出部７６は、成長度合検出装置７０が備える撮像部７１や表示部７４の位置の変位又は角度の変位を加速度として検出する。
【００８６】
制御部７９は、操作入力検出部７５によって検出された条件に基づいて成長度合検出装置７０を構成する各部を制御する。
制御部７９は、検出された加速度を撮像部７１、育成状況検出部７２及び表示制御処理部７３に供給する。制御部７９は、加速度検出部７６によって検出された加速度に基づいて、成長度合検出装置７０の位置の変位又は角度の変位とその変化量を算出し、成長度合検出装置７０の傾きや動きを検出する。制御部７９は、成長度合検出装置７０の傾きや動きの情報から、撮像方向を算定して、撮像部７１と育成状況検出部７２とに供給する。
【００８７】
続いて、成長度合検出装置７０による検出対象の成長度合いを検出する処理について順に説明する。
（植物の成長度合いを検出するための位置の検出方法について）
図を参照し、本実施形態における検出対象である植物の成長度合いの検出について説明する。
図１０は、成長に応じて変化する植物の様子を示す図である。
検出対象が、植物９の場合には、成長の過程に応じて検出対象の成長方向が変化する。
例えば、図に示すように、植物が成長すると枝が伸び、実が成熟してくると実の重さにより枝がしなり、応力に応じて柔軟に変化する。たとえ、植物９の所定の部分を特徴点として定義したとしても、特徴点の位置は、植物９の成長に応じて変化して、特定の位置に定まることはない。
さらに、葉が生い茂って、過去に選定していた目印の位置（特徴点）が隠れてしまう場合も生じる。
このように、植物９において成長を検出するには、目印として選定した位置（特徴点の位置）が成長の過程に応じて変化するため、長期的に変化する植物の成長を検出することが困難となる要因となっている。
【００８８】
一般的な位置の検出方法として、景色や建物などのように、位置と形状が変化しない検出対象を撮像された画像情報から、その検出対象の位置を検出する検出方法がある。そのような検出対象は、検出対象内の特徴点の相対的な位置関係は変化しない。それゆえ、検出対象の特徴点の相対的な位置関係が変化しないことを条件とした検出方法を利用して、撮像した位置を検出したり、２つの画像の撮像位置の差を検出し、得られた画像を補正したりすることができる。
ただし、一般的な位置の検出方法においては、検出対象の特徴点の相対的な位置関係が変化しないことを条件としているため、植物９の長期的な成長の変化を検出する際に適用することが困難である。
このように、検出対象内の特徴点の相対的な位置関係が変化しないことを条件とする検出方法をそのまま適用しても、長期的に特徴点の位置が変化する植物の成長を検出することができない。
植物９の特徴点の位置を長期的に検出を続けるには、成長によって変化する植物９の成長に応じた位置の検出方法が必要とされる。
【００８９】
（本実施形態における植物の成長の検出方法の原理）
そこで、本実施形態における成長度合検出装置７０は、検出対象内の特徴点の相対位置が変化することを前提に、植物の成長を検出するものとする。
成長度合検出装置７０による植物の成長を検出する処理においては、撮像位置を検出する処理と、植物の成長の変化を検出する処理とをそれぞれ実施する。
まず、成長度合検出装置７０により撮像位置を検出する処理について示す。撮像位置を検出する処理の場合、例えば、植物９の周囲に、３点の基準点を設けておき、成長度合検出装置７０は、その基準点の位置を検出する。このような基準点は、植物９の成長に応じて位置が変化しないため、前述の「検出対象内の特徴点の相対的な位置関係が変化しないことを条件とする検出方法」などを適用することができる。このように、植物の成長の変化を検出する前に、予め撮像位置を検出しておくことにより、植物の成長の変化の検出精度を高めることができる。或いは、画像情報から検出する撮像位置情報に加え、ＧＰＳ（Global Positioning System）などから得られる位置情報を含めて、総合的に撮像位置を検出することとしてもよい。
【００９０】
次に、成長度合検出装置７０により植物の成長の変化を検出する処理について示す。
植物９が成長するため検出対象が異なる位置に移動する場合がある。成長度合検出装置７０による植物の成長の変化を検出する処理において、撮像部７１の位置を固定して植物９を撮像することができたとしても、植物９が成長して検出対象が異なる位置に移動することから、撮像可能な領域からはみ出す場合が生じうる。それゆえ、検出対象が撮像可能な領域からはみ出さないように、撮影することが必要とされる。
また、得られた画像から、成長度合いを判定するために、成長度合検出装置７０は、成長する前に撮影した画像と、成長した後に撮影した画像とを比較する。２つの画像を比較するために、成長した後の画像についても、成長する前に撮影した画像と同じような画像になるように撮影することが望ましい。そのように検出対象を撮影するには、その成長に応じて異なる位置に移動する検出対象を撮影できるように検出対象範囲を設定する。
この検出対象範囲は、植物の成長を推定し、撮影対象を含む画像を撮影できるように設定される領域を示すものである。
【００９１】
また、撮像部７１を移動させているため、前述したように撮像部７１の位置の検出が行われた後、所定の撮像方向を撮像できるように撮像方向を調整したり、撮像方向に応じた画像情報を補正したりすることが必要になる。
そこで、成長度合検出装置７０は、成長度合検出装置７０から検出対象（植物９）への方向が所定の範囲に収まるように、撮影に適する方向をユーザーに対して表示する。例えば、成長度合検出装置７０は、過去に撮影した像と、今回撮影する像とを同じ画面に重畳して表示して、画面内の適する位置に検出対象が収まるように撮影位置を選択させるようにする。
【００９２】
撮像方向の調整を行うために、まず、成長度合検出装置７０は、検出対象に定めた特徴点の位置を検出する。
検出対象に定める特徴点として、枝の分岐点、葉・花・実が枝に着いている位置、枝・葉の先端の位置から選択した位置を定める。
【００９３】
図１１から図１５を参照し、成長度合検出装置７０による、検出対象に定めた特徴点の位置の検出について説明する。
図１１は、図１０に示した検出対象の特徴点の配置を示す図である。
この図に示される特徴点に基づいて、植物の成長を検出する処理の原理について順に説明する。
以下の説明では、枝の分岐点を特徴点とした場合を例にして説明する。
成長度合検出装置７０は、植物９の成長を長期的に検出するために、その時々の画像を取得して比較する。その変化を検出するために、その植物９の特徴点（例えば、Ｎ２（ｋ）、Ｎ３（ｋ）、Ｎ４１（ｋ）、Ｎ４２（ｋ））の位置を、その時々において検出することにより成長度合いを検出する。
この図に示される特徴点は、（Ｎ２（ｋ）、Ｎ３（ｋ）、Ｎ４１（ｋ）、Ｎ４２（ｋ））の各点として植物９の枝の分岐点に定められている。
【００９４】
そこで、本実施形態では、次に示す検出方法により植物９の成長過程に応じた撮影を可能とする。
３箇所以上の特徴点に基づいてカメラ部７１１の位置を検出する。
まず、説明を簡単にするため、３つの特徴点（Ｎ３（ｋ）、Ｎ４１（ｋ）、Ｎ４２（ｋ））を１つの画像として撮像できるようにカメラ部７１１を配置して、初期状態のカメラ部７１１の画角と撮影方向を定める。
【００９５】
その３つの特徴点のうち１点（例えば、Ｎ３（ｋ））を代表点として定め、その代表点を基準とする相対位置により他の２点（Ｎ４１（ｋ）、Ｎ４２（ｋ））の位置を示す。
基準座標系における代表点の位置、及び、代表点を基準にしたほかの２点の相対位置が、植物９の成長により異なる位置（Ｎ３（ｋ＋１）、Ｎ４１（ｋ＋１）、Ｎ４２（ｋ＋１））に移動する。
例えば、この図に示されるように、枝に沿って２つの特徴点（Ｎ３（ｋ）とＮ４１（ｋ））が定義されている場合には、植物の成長が進むにつれ、２つの特徴点（Ｎ３（ｋ＋１）とＮ４１（ｋ＋１））の間隔が広がる。
また、実の位置に特徴点を定義した場合には、実が大きくなるにつれ、実の重量の影響により、実の位置に定義された特徴点の位置が下がる。また、その実が着いた枝に定義された特徴点（Ｎ４１（ｋ＋１））の位置も下がる。このように特徴点の位置が移動しても、成長に応じて移動する特徴点の位置を推定することにより、画像からはみ出すことなく撮影することができる。
【００９６】
以上に示した、特徴点を検出する成長度合検出装置７０による処理の具体的な例を説明する。
一般的な植物は、ツリー構造として定義することができる。
例えば、植物９の株の位置を基準点として、特徴点の位置を定義する。基準点から、それぞれの特徴点までは、分岐した枝（茎）を順にたどることにより到達する。そこで、枝（茎）の分岐点をノード、ノード間の枝（茎）をブランチとしたツリー構造として定義する。
このように、植物９を、ツリー構造として定義することにより、その特徴点がノードとして定義され、相互の特徴点の位置関係が明確になり、特徴点を容易に検出することができる。各ブランチの長さとして示されるノード間の間隔は、植物の成長に応じて広がる。
また、各ブランチをそれぞれベクトルとして定義して、基準点から代表点までの各ベクトルを積算することにより、代表点の位置を得る。同様に、代表点を基準に、他の２点についてもベクトルとして定義して、他の２点のそれぞれの位置を得る。
【００９７】
それぞれのベクトルは、成長に応じて変化するが、枝が欠損する場合や新芽が生じる場合などを除けば、ツリー構造のトポロジーが変化することはない。それゆえ、各ベクトルの変化量を推定して、積算することにより、成長により移動する代表点の位置を推定することができる。また、同様に、代表点を基準に、他の２点についてもベクトルの変化を推定して、他の２点のそれぞれの位置を推定することができる。
上記の各ベクトルの変化は、前述の第１育成モデルに基づいて定義される演算式（式（１））に従って算出することができる。
【００９８】
↑ｘｎ（ｋ＋１）＝ｇ（↑ｘｎ（ｋ）、ｋ）＝↑ｘｎ（ｋ）＋↑Δｘｎ（ｋ） ・・・（１）
【００９９】
上記式（１）において、「↑ｘｎ（・）」は、「ベクトルｘｎ」を示し、添え字ｎによって示されるブランチに対応するベクトルを示す。なお、添え字ｎは、ベクトルを一意に識別するための識別子を示し、ｋは、検出時刻を示す変数を示す。
また、「↑Δｘｎ（・）」は、「ベクトルΔｘｎ」を示し、「ベクトルｘｎ」に対応して定められ、「ベクトルｘｎ」の変化量を示すベクトルである。
このように「ベクトルΔｘｎ」をベクトルとして定義することにより、大きさの変化に限らず、変化の方向を定義することができる。この「ベクトルΔｘｎ」を前述の第１育成モデルに基づいて定義することにより、モデル化することができる。
【０１００】
上記のようにそれぞれ推定された特徴点の移動先の位置に応じて、成長度合検出装置７０は、検出対象範囲を設定することにより、成長に応じた位置の移動に適応させた撮影が可能となる。
【０１０１】
図を参照し、特徴点を一致させて撮影する処理について説明する。
図１２は、図１０に示した条件により、特徴点を一致させて撮影する処理を示す図である。
植物９の成長度合いを検出する際に、検出対象範囲設定部７２３は、撮像部７１により撮影すべき領域を検出対象範囲として推定する。
ここで、図に示されるように代表とする特徴点（Ｎ３（ｋ））を基準点として、表示させておき、その基準点であるＮ３（ｋ）に、そのＮ３（ｋ）が移動したＮ３（ｋ＋１）の移動先を重ねるように検出対象範囲を表示する。ユーザーは、これから撮影する画像における特徴点Ｎ３（ｋ＋１）を、表示された検出対象範囲に示されるＮ３（ｋ＋１）に一致するように撮像方向を定める。
このように、ユーザーは、その基準点であるＮ３（ｋ）に、これから撮影する画像における特徴点Ｎ３（ｋ＋１）を一致させるように検出対象範囲の位置を設定する。
これにより、撮像部７１により撮影が行われる際に、検出対象範囲設定部７２３によって、特徴点が移動する位置を推定し、推定された位置を画像に表示することにより、同様の距離、方向からの撮影が容易に行えるようになる。
【０１０２】
また、基準とする特徴点を変更する場合であっても、過去に検出した時点から、次に検出する時点までの期間と、その植物９の成長度合いとに応じて、前述の成長モデルを参照することにより、成長度合検出装置７０は、その時点の特徴点が移動する範囲を推定することができる。
このように、特徴点の位置が移動する場合であっても、成長度合検出装置７０は、成長モデルに基づいて特徴点が移動する範囲を推定し、推定された特徴点が移動する範囲を基準に撮像範囲を定めることにより、検出対象を継続的に検出することが容易となる。
【０１０３】
また、上記の説明では、３点の特徴点がいずれも継続的に検出可能である場合を例として示したが、３点のうちいずれかの点（ノード）が検出できない状況になった場合にも、ツリー構造における各ノードの位置情報を備えていることにより、検出できない状況になったノードの位置を推定することができる。
図１３は、図１０に示した検出対象の特徴点の配置を示し、成長により１つの特徴点が検出できなくなった場合の処理を示す図である。
この図に示されるように、成長度合検出装置７０は、成長によりＮ３（ｋ＋１）の特徴点が検出できなくなった場合は、検出された特徴点（ノードＮ３（ｋ＋１））を基準にして、ノード（Ｎ４１（ｋ＋１）とＮ４２（ｋ＋１））の移動可能性を推定することができなくなる。
【０１０４】
そこで、成長度合検出装置７０は、異なる特徴点に基づいて特徴点の移動範囲を推定する。
図１４は、図１３に示した条件により、異なる特徴点に基づいて特徴点の移動範囲を推定する場合の処理を示す図である。
成長度合検出装置７０は、成長前に検出されていた特徴点（ノードＮ３（ｋ））を基準に、検出対象範囲から離れる方向に順に検出可能なノード（例えば、ノードＮ２（ｋ））を選択する。新たに選択した（ノードＮ２（ｋ））の位置情報に基づいて、検出できない状況になった（ノードＮ３（ｋ＋１））の位置を推定する。この推定処理においては、（ノードＮ２（ｋ））と（ノードＮ３（ｋ））間の間隔の変化量に基づいてノード（Ｎ３（ｋ＋１））の位置を推定し、推定ノード（Ｎ３’（ｋ＋１））とする。推定ノード（Ｎ３’（ｋ＋１））の位置は、前述の演算式（式（１））と同様の演算により算出することができる。（ノードＮ３（ｋ））から推定ノード（Ｎ３’（ｋ＋１））に変化する変化量をΔＮ３’（ｋ）として定義する。
【０１０５】
そして、成長度合検出装置７０は、推定ノード（Ｎ３’（ｋ＋１））を基準にして、ノード（Ｎ４１（ｋ＋１）とＮ４２（ｋ＋１））の移動範囲を推定する。ノード（Ｎ４１（ｋ＋１））の移動範囲を示すノード（Ｎ４１’（ｋ＋１）は、ノード（Ｎ３（ｋ））とノード（Ｎ４１（ｋ））との位置関係に基づいて成長量と方向を推定し、上記で定義した（ノードＮ３（ｋ））から推定ノード（Ｎ３’（ｋ＋１））に変化する変化量ΔＮ３（ｋ＋１）を合成することにより推定することができる。
このように、成長度合検出装置７０は、３点以上の特徴点（ノード）を検出対象範囲に含めることにより、特定の特徴点（ノード）が検出できなくなったとしても、長期にわたって特徴点（ノード）の位置を推定できることから、成長度合いを継続して検出することが可能となる。
このようにして、特徴点として選定していた各点の移動範囲を含むように検出対象範囲を設定する。
【０１０６】
また、上記説明において、３点の特徴点を示して説明したが、１点の特徴点と、その特徴点を中心とする球（円）を定義して、その球（円）の半径を特徴量とすることができる。
図１５は、図１０に示した検出対象の特徴点の配置と特徴量の一例を示す図である。
この図に示されるように、果実のように球体の検出対象の場合、その特徴点を中心とする球（円）を定義して、その球（円）の半径を特徴量とすることにより、成長による変化の範囲を定めやすくなる。
成長度合検出装置７０は、３点以上の特徴点を含み、球体として定義された検出対象の成長による変化を含む範囲を検出対象範囲として設定することにより、成長による変化があった場合であっても、検出対象を含むように検出対象範囲を設定することができる。
【０１０７】
（検出対象範囲の対象箇所の選定）
上記の説明では、枝の分岐点を特徴点として検出対象範囲を設定する場合を例示したが、成長度合検出装置７０は、前述の「（植物の育成状況の判定）」において判定対象として示した各項目と、そのほかに以下に示す対象項目の中から検出対象範囲の対象箇所を選定することができる。
植物９を拡大して撮像した画像に基づいて判定する対象項目を示す。
植物９を拡大して撮像した葉脈の状態、又は、茎に生じた産毛及び根に生じた根毛の状態を検出できるように植物９の検出対象範囲の対象箇所が定められる。
【０１０８】
例えば、植物９を栽培する際に供給される養分などのバランスが崩れると、葉の状態が変化することが知られている。植物９の状態が悪化すると、葉の色が変色したり、変形したりする。たとえ、葉が変形したとしても、葉脈の構成は変化せず、葉脈が示す形状が変化するだけである。そこで、成長度合検出装置７０は、葉脈の状態を検出できるように検出対象範囲を定めて、その変化を検出する。これにより、成長度合検出装置７０は、葉脈の構成から葉の形状を検出することができ、たとえ葉の一部が欠けることがあったとしても、葉の一部の葉脈の状態から葉の成長度合いを検出することが可能となる。
【０１０９】
また、例えば、トマトを栽培する際に、水分補給を制限することにより糖度を高めることできることが知られている。水分補給を制限した場合、茎の部分に産毛が成長する。成長度合検出装置７０は、この茎の部分の産毛を検出できるように検出対象範囲を定めて、茎の部分の産毛の変化を検出する。これにより、水分補給を制限した結果、糖度を高められる状態に成長しているか否かを判定することができ、この段階の成長度合いを検出することが可能となる。
【０１１０】
また、成長度合検出装置７０は、根に生じた根毛についても、植物９の状態を検出する検出対象範囲として選定することにより、水耕栽培における初期の段階から植物９の状態を検出することが可能となる。
【０１１１】
（土壌部を検出対象範囲とする場合の状態検出）
成長度合検出装置７０は、前述の「（検出対象範囲の対象箇所の選定）」において選定対象とした植物を直接検出する各項目のほかに、植物９が栽培されている土壌を含むように検出対象範囲の対象箇所を選定する。
植物９の検出対象範囲に含まれる該植物９が栽培されている土壌を含むように植物９の検出対象範囲を定めることにより、間接的に植物９の状態を検出することができる。特に、発芽前から発芽後の状態を推定する場合に有効な情報を得ることができる。
例えば、前述のトマトの例のように、水分補給を制限する処理を行う場合にも適用できる。植物９の種類により、発芽後に与える水分量を制御することにより、糖度を高めるなどの制御を行う場合がある。このような場合には、成長度合検出装置７０は、植物９が栽培されている土壌を含むように植物９の検出対象範囲が定めることにより、状態を間接的に検出することが可能となる。
具体的な検出方法は、例えば、成長度合検出装置７０は、撮像された画像に基づいた画像信号において土壌部の輝度の変化量と空間周波数とに基づいて、予め定められる関係式に従って土壌部の乾燥状態を検出する。
土壌部の水分量が多く、べたつくような状態の場合には、土壌部の光の反射係数が低くなりことから、画像信号における輝度の変化が少なくなり、また空間周波数が低くなる。一方、土壌部の水分量が少なく乾燥している状態の場合には、土が固まるようになり、光の反射係数が高くなる部分が生じることから、画像信号における輝度がばらついて、変化量が多くなり、また空間周波数が広範囲に分布するようになる。
このように、成長度合検出装置７０は、画像信号における輝度の変化量と、空間周波数の分布とに基づいて、土壌の乾燥状態を検出することができる。
成長度合検出装置７０は、土壌の乾燥状態と、その乾燥状態における植物９の成長度合いとの関係について予め定めておくことにより、成長度合検出部７２１は、土壌の乾燥状態から植物９の成長度合いを得ることができる。
【０１１２】
（成長度合いの検出）
図１６から図１８を参照し、成長度合いの検出について説明する。
成長段階判定部７２２による成長度合いの検出において、以下に示す検出方法の中から目的に適した検出方法を選択することができる。
成長段階判定部７２２による成長度合いの第１の検出方法は、植物９の検出対象範囲の画像に占める植物９の検出対象の割合に基づいて、植物９の成長度合いを検出する方法である。
また、成長段階判定部７２２による成長度合いの第２の検出方法は、植物９の検出対象範囲の画像において特徴色が占める割合により、植物９の成長度合いを検出する方法である。
また、成長段階判定部７２２による成長度合いの第３の検出方法は、植物９の検出対象範囲の画像が示す色情報が、予め登録されている色空間の領域内に含まれるか否かの判定結果により、植物９の成長度合いを検出する方法である。
【０１１３】
以下、上記の第１から第３の検出方法について、具体的な表示例を示して順に説明する。
まず、第１の検出方法では、植物９の検出対象範囲の画像に占める植物９の検出対象の割合に基づいて、植物９の成長度合いを検出する。
この第１の検出方法では、検出対象範囲を基準にした検出対象の相対的な大きさの変化を検出することができる。検出対象との距離を一定に保ち、同じ画角で撮影した画像によって示される検出対象範囲は一定の大きさを維持することができる。その画像に占める植物９の検出対象の割合から、植物９の成長度合いを検出することができる。
【０１１４】
図１６は、第１の検出方法による成長度合いの検出について示す図である。
この図には、画像表示領域Ｐ１５１、操作入力検出領域Ｐ１５６、Ｐ１５７、Ｐ１５８、Ｐ１５９が示されている。
画像表示領域Ｐ１５１には、前述の図１０に示した検出対象がモデル化されて表示されている。
その検出対象を撮影する場合に個々に表示される検出対象範囲が、まとめてＰ１５４ａ、Ｐ１５４ｂ、Ｐ１５４ｃ、Ｐ１５４ｄとして示されている。実際の表示においては、目的に応じたいずれかの検出対象範囲が選択されて表示される。
Ｐ１５４ａとして示される検出対象範囲は、時刻ｋにおいて選択された３つの特徴点と、それらの特徴点から関連付けられる検出対象の花を含む範囲を示すものである。
Ｐ１５４ｂとして示される検出対象範囲は、時刻ｋにおいて選択された３つの特徴点と、それらの特徴点から関連付けられる検出対象の実を含む範囲を示すものである。
【０１１５】
Ｐ１５４ｃとして示される検出対象範囲は、時刻（ｋ＋１）における推定範囲を示す。検出対象範囲Ｐ１５４ｃは、選択された３つの特徴点が成長により移動すると推定される範囲と、それらの特徴点に関連付けられる検出対象の実が成長した場合の大きさを含む範囲とを合わせた範囲とを合わせた範囲を示すものである。
検出対象範囲Ｐ１５４ｃは、育成状況検出部７２により時刻ｋの段階で設定され、時刻ｋの段階で、時刻（ｋ＋１）までの間に成長して変化する範囲を推定したものである。この検出対象範囲Ｐ１５４ｃを基準に、育成状況検出部７２は、成長の進み具合を判定することにより、植物９の成長度合いを検出する。
また、Ｐ１５４ｄとして示される検出対象範囲は、時刻（ｋ＋１）における推定範囲を示す。検出対象範囲Ｐ１５４ｄには、選択された３つの特徴点に関連付けられる検出対象の実が成長した場合の大きさを含む範囲を示すものである。検出対象範囲Ｐ１５４ｄにおいては、その範囲内に実が含まれるように設定される。育成状況検出部７２は、一定の大きさを維持された検出対象範囲Ｐ１５４ｄに占める植物９の検出対象の割合から、植物９の成長度合いを検出する。
このように、検出対象範囲は、成長の段階に応じて設けられており、育成状況検出部７２により検出対象の条件に応じて選択される。
【０１１６】
なお、図に示される操作画面のうち、操作入力検出領域Ｐ１５６は、検出対象範囲Ｐ１５４ｃを表示させるか否かを切り替える操作を検出する領域を示す。操作入力検出部７５は、操作入力検出領域Ｐ１５６においてユーザーの操作を検出することにより、検出対象範囲Ｐ１５４ｃの表示を選択する制御信号を制御部７９に供給する。
操作入力検出領域Ｐ１５７は、説明表示を表示させるか否かを切り替える操作を検出する領域を示す。操作入力検出部７５は、操作入力検出領域Ｐ１５７においてユーザーの操作を検出することにより、説明表示を表示させるか否かを切り替える制御信号を制御部７９に供給する。
操作入力検出領域Ｐ１５８は、選択した実の収穫を指示する操作を検出する領域を示す。操作入力検出部７５は、操作入力検出領域Ｐ１５８においてユーザーの操作を検出することにより、選択した実の収穫を指示する制御信号を制御部７９に供給する。
操作入力検出領域Ｐ１５９は、画像表示領域Ｐ１５１の表示が選択される前の表示に戻す操作を検出する領域を示す。操作入力検出部７５は、操作入力検出領域Ｐ１５９においてユーザーの操作を検出することにより、画像表示領域Ｐ１５１の表示が選択される前の表示に戻す制御信号を制御部７９に供給する。
【０１１７】
なお、上記では、検出対象範囲の大きさを一定にする場合を示したが、成長度合検出装置７０は、植物９の成長に応じて検出対象範囲を広くすることも可能である。仮に植物９の成長に応じて検出対象範囲を広くした場合であっても、成長度合検出装置７０は、その範囲に含まれる検出対象（例えば実）の大きさの変化率が、検出対象範囲の大きさの変化率より大きくなるようであれば、相対的に植物９の成長度合いを検出することができる。
【０１１８】
次に、第２の検出方法について説明する。
この第２の検出方法では、植物９の検出対象範囲の画像において特徴色が占める割合により、植物９の成長度合いを検出する。
この第２の検出方法によれば、実の周囲にある葉や、実にかけた袋の影になって、その実の一部が隠れてしまい、その実の全体を撮像することができない場合が生じても、植物９の成長度合いを検出することができる。植物９の成長度合いの検出の際、その検出対象範囲の画像において、撮影された実の一部の画像の色が変化したことにより特徴色が占める割合が変化する。成長度合検出装置７０においては、その検出対象範囲の画像において、特徴色が占める割合が変化することを検出し、植物９の成長度合いを検出する。例えば、特徴色が占める割合を予め定めた閾値に基づいて判定し、その判定結果により植物９の成長度合いを検出する。
【０１１９】
図１７は、第２の検出方法による成長度合いの検出について示す図である。
この図には、画像表示領域Ｐ１６１、操作入力検出領域Ｐ１６６、Ｐ１６７、Ｐ１６８、Ｐ１６９が示されている。
画像表示領域Ｐ１６１には、前述の図１０に示した検出対象の一部が表示されている。また、その検出対象を撮影する場合に表示される検出対象範囲Ｐ１５４ｄとＰ１５４ｅが示されている。
Ｐ１５４ｅとして示される検出対象範囲は、時刻（ｋ＋１）の検出対象範囲Ｐ１５４ｄとして推定された範囲の一部を選択している。
検出対象範囲Ｐ１５４ｅは、実にかけた袋の影とならずに実の色の変化を検出できる部分として選択された範囲を示す。このように選択された検出対象範囲Ｐ１５４ｅにおいて、実の特徴色が占める割合が変化することを検出し、植物９の成長度合いを検出する。
なお、図に示される操作画面のうち、操作入力検出領域Ｐ１６６は、検出対象範囲Ｐ１５４ｅの画像に基づいて判定された結果に応じて、選択された実が「食べごろ」であるか否かを示す情報表示Ｐ１６３を表示させるか否かを切り替える操作を検出する領域を示す。操作入力検出部７５は、操作入力検出領域Ｐ１６６においてユーザーの操作を検出することにより、検出対象範囲Ｐ１５４ｅの画像に基づいて判定された結果に応じて、選択された実が「食べごろ」であるか否かを示す情報表示Ｐ１６３を表示させるか否かを制御する制御信号を制御部７９に供給する。
操作入力検出領域Ｐ１６７、Ｐ１６８、Ｐ１６９は、前述の操作入力検出領域Ｐ１５７、Ｐ１５８、Ｐ１５９とそれぞれ同じである。
【０１２０】
次に、第３の検出方法について説明する。
この第３の検出方法では、植物９の検出対象範囲の画像が示す色情報が、予め登録されている色空間の領域内に含まれるか否かを判定した結果により、植物９の成長度合いを検出する。
この第３の検出方法によれば、色の変化に基づいて検出を行う。植物９の状態により、その植物９の葉の色が変化する場合がある。
例えば、基準とする葉や実の色を定めておき、成長度合検出装置７０は、その定められた色との違いから色の変化を検出することができる。
基準とする色からの変化の検出は、予め登録されている色空間の領域内に含まれているか否かを判定することにより実行される。或いは、基準とする色からの変化の検出は、変化する範囲の色空間を複数の領域に分割し、分割された領域ごとの面積比に基づいて、いずれの色空間の領域に含まれるかを判定することにより実行される。
【０１２１】
図１８は、第３の検出方法による成長度合いの検出について示す図である。
この図には、画像表示領域Ｐ１７１、操作入力検出領域Ｐ１７６、Ｐ１７７、Ｐ１７８、Ｐ１７９が示されている。
画像表示領域Ｐ１７１には、前述の図１０に示した検出対象がモデル化されて表示されている。
その検出対象を撮影する場合に表示される検出対象範囲Ｐ１７３とＰ１７４が示されている。Ｐ１７３として示される検出対象範囲は、実（房）Ｐ１７２を検出する領域として選択された範囲を示す。Ｐ１７４として示される検出対象範囲は、検出対象範囲Ｐ１７３として選定された範囲の一部であり、実Ｐ１７２において、熟しやすい部分として設定された範囲を示す。
成長度合検出装置７０は、検出対象範囲Ｐ１７４において、実の熟しやすい部分が成熟してきたことを検出し、植物９の成長度合いを検出する。
なお、図に示される操作画面のうち、操作入力検出領域Ｐ１７６は、検出対象範囲Ｐ１７４の画像に基づいて判定された結果に応じて、選択された実が「食べごろ」であるか否かを示す情報表示Ｐ１７３を表示させるか否かを切り替える操作を検出する領域を示す。操作入力検出部７５は、操作入力検出領域Ｐ１５６においてユーザーの操作を検出することにより、検出対象範囲Ｐ１７４の画像に基づいて判定された結果に応じて、選択された実が「食べごろ」であるか否かを示す情報表示Ｐ１７３を表示させるか否かを制御する制御信号を制御部７９に供給する。
操作入力検出領域Ｐ１７７、Ｐ１７８、Ｐ１７９は、前述の操作入力検出領域Ｐ１５７、Ｐ１５８、Ｐ１５９とそれぞれ同じである。
【０１２２】
図１９から図２０を参照し具体的な判定について、葡萄の収穫を例にして説明する。
図１９は、色の変化に基づいて成長度合いを検出する場合の処理を示す図である。
図１９（ａ）は、色空間を示す図である。
この図において、緑色から紫色に変化するまでに経由する色空間を複数の領域に分割した範囲を領域ＲＧ〜ＲＰとして示す。
この色空間において分割された領域にそれぞれ対応する代表色を定め、色空間の位置情報に基づいた射影関数により、分割された領域のそれぞれの範囲から定められた代表色を示す値（点Ｐ１からＰｎを参照）に射影する。
図１９（ｂ）は、実の成長と色の変化の関係を示す図である。
この図に示されるグラフは、縦軸が緑から紫までの色相を示し、横軸が個々の実の大きさを示す。以下の説明においては、個々の実の大きさも合わせて検出する場合の例である。
未成熟の段階では、個々の実の大きさも小さく緑色をしている。
成長が進むにつれ、個々の実が徐々に大きくなる。途中で、個々の実の大きさの変化量が少なくなる段階から、個々の実の色が紫色に変化する。ただし、同じ房に着いた実であっても、個々の実の色が、それぞれ変化する時期に個体差がある。このことから、検出対象範囲設定部７２３は、代表する検出対象範囲を定める場合には、個体差の少ない成熟しやすい部分を選択し、検出対象範囲として設定する。
【０１２３】
続いて、同じ房に着いた個々の実において、時間の経過に応じた色相の変化から成長度合いを検出する手順について説明する。
図２０は、時間の経過に応じた個々の実の色相の変化を示す図である。
この図に示されるグラフは、縦軸が緑から紫までの色相を示し、横軸が時間の経過を示す。丸の大きさは、当該色相に分類された実の数を示している。
【０１２４】
上記のように色空間を分割したことにより、成長度合検出部７２１は、色相の変化を段階付けて検出できる。
時刻ｔ０の段階では、未成熟の段階にあり、全ての実が緑色を示している。丸の大きさは、当該色相に分類された実の色相の数を示している。
時刻ｔ１から時刻ｔｎに進むにつれ、緑色から紫色までのそれぞれの色相に分類される度数の分布が、緑色側が少なくなり、紫色側が多くなる。
例えば、熟した実を個々に収穫する場合には、成長度合検出部７２１は、上記の分類において、紫色の領域を識別する閾値を設定し、紫色の領域に分類された実を選択することができることから、収穫することが可能になる。
また、例えば、房を単位として熟した段階で収穫する場合には、成長度合検出部７２１は、上記の分類において、紫色の領域を識別する閾値を設定し、紫色の領域に分類された実の度数分布が所定の比率に達した房を選択することができることから、収穫することが可能になる。例えば、この図に示される場合であれば、Ｐ３とＰ４で示される代表色を示す実の比率を判定基準にすれば、時刻ｔ４として示される段階を判定することができる。
【０１２５】
さらに、成長段階判定部７２２による成長度合いの検出方法として、上記の第１から第３の検出方法において示した条件と異なる条件の元で検出する方法がある。
概ね１日を周期として生体が変化することが知られており、その周期的な変化が「概日性リズム」と呼ばれている。
植物９に対して１日を周期に変化する照明１０（図１）の光を照射することにより、照明１０の光を変化させた周期に「概日性リズム」を同期させることができる。
植物９において、植物栽培プラント４に照明の光の変化に同期した「概日性リズム」を生じさせるように制御して、育成状況検出部７２は、その「概日性リズム」における変化量を、植物９を撮像した画像から検出する。要するに、育成状況検出部７２は、「概日性リズム」における変化量が大きく現れる部位を含むように、植物９の検出対象範囲を定め、植物９の「概日性リズム」における変化量を検出する。
例えば、ひまわりの花は、向日性を有していることから、自然光の環境で栽培すると、花の向きが周期的に変化する。ただし、種が成熟するにつれ、花の向きの変化量が低減する。このように、「概日性リズム」における変化量が成長に応じて変化することを利用することにより、植物９の成長度合いを検出することができる。
なお、ひまわりの花を例にした説明では、自然光により「概日性リズム」が制御されるものとして説明したが、人工光（照明１０の光）の照射方向を制御するようにしてもよい。また、光の照射方向の制御に限らず、温度、水温など他の環境条件を制御して、植物９の「概日性リズム」を制御してもよい。
【０１２６】
（検出対象範囲の変更）
成長段階判定部７２２は、植物９の検出対象範囲の画像に複数の検出対象が検出される場合、検出された検出対象の像の大きさの分布に応じて検出対象範囲を変更する。例えば、検出対象である実が、所定の範囲内に複数集まって結実するものがある。
撮像位置から検出対象までの距離や、撮像方向が適切でないために、所望の大きさで検出することができない検出対象まで含んでしまう場合がある。例えば、葡萄であれば、近くの房を検出する際に、その背景に位置する遠方の房までが、同じ検出対象範囲の中に入ってしまう場合のことである。
このような場合、検出対象範囲設定部７２３は、検出対象の像の大きさが所望の分布になるように検出対象範囲を変更する。例えば、検出対象範囲設定部７２３は、撮像位置や撮像方向を変更することにより、検出対象までの距離や撮像方向を変えた撮像範囲の画像から、新たな検出対象範囲を設定することができる。
或いは、検出対象の背景画像に他の検出対象が一緒に写っている場合がある。そのような場合には、撮像部７１は、検出対象に対する撮像位置を変更せず、検出対象との距離や角度を同じ状態にしたまま、撮像部７１の光学系を制御して被写界深度を調節して、不要な対象の画像を光学的に除去することができる。例えば、被写界深度を浅くなるようにして、所望の検出対象に焦点が合うようにして、検出対象の背景画像として一緒に写っていたほかの検出対象の像をぼかすようにする。このように設定することにより、検出対象範囲設定部７２３は、所望の検出対象を含む検出対象範囲とすることができる。
【０１２７】
成長段階判定部７２２は、植物９の検出対象範囲の画像に複数の検出対象が検出される場合、検出された検出対象の数に応じて検出対象範囲を変更する。
特定の検出対象を撮像した場合、同一の画像に特定の検出対象以外の検出対象の候補が、同一の画像に含まれる場合がある。このような場合、検出対象範囲設定部７２３は、特定の検出対象以外の検出対象の候補が含まれないように、撮像された画像の領域を分割して、分割した画像の領域ごとに検出処理をする。これにより、検出対象範囲設定部７２３は、分割した画像の領域に特定の検出対象を収めることができる。
【０１２８】
（合成画像の生成方法）
表示制御部７３１は、比較する２つの画像のうちから少なくともいずれか一方の像を透過させるようにした透過画像を生成し、透過させていない他方の像に重畳させた合成画像を生成する。
図２１は、生成された合成画像を示す図である。
例えば、図２１に示されるように、過去に撮像された画像を透過させずにそのままの画像（図中では実線で示す）にして、今回撮影しようとする画像を透過する透過画像（図中では点線で示す）にする。
そこで、透過させていない画像（過去の画像）に、透過させるようにした透過画像（今回撮影しようとする画像）を重畳させた合成画像を生成する。
【０１２９】
また、図２１には、透過させていない他方の像（過去の画像）における検出対象範囲（点線）と、透過させるようにした透過画像（今回撮影しようとする画像）における検出対象範囲（実線）と、成長範囲を推定した検出対象範囲（２点鎖線）がそれぞれ示されている。
また、図２１には、２つの画像の位置を重ね合わせる際に、一致させる特徴点を示す表示が示されている。この一致させる特徴点を示す表示に従って、ユーザーは、撮像方向を調整し、２つの画像が重なるようにする。
これにより、過去に撮像した画像と、今回撮像する画像とを容易に比較することが可能となる。
さらに、過去に撮像した画像と、今回撮像する画像とに基づいて検出された成長度合いの表示と、成長の過程における段階の表示とが、画面中にそれぞれ示されている。
これにより、今回撮像する画像とに基づいて検出された成長度合いと、成長の過程における段階とを、画像の表示に対応させながら確認することが可能となる。
【０１３０】
なお、図２１には、透過させていない他方の像（過去の画像）における検出対象範囲（点線）に対応させて、過去に撮像した日時が示されており、透過させるようにした透過画像（今回撮影しようとする画像）における検出対象範囲（実線）に対応させて、現在の画像として撮像される日時がそれぞれ示されている。日時をそれぞれ表示することにより、比較する２つの画像を撮像した期間を、容易に得ることができるようになる。
【０１３１】
或いは、そのような合成画像を生成するために、表示制御部７３１は、第１の像と第２の像のうちから少なくともいずれか一方の像の輪郭を抽出した輪郭画像を生成し、他方の像に重畳させた合成画像を生成する。
これにより、過去に撮像した画像と、今回撮像する画像とを容易に比較することが可能となる。
【０１３２】
（成長度合検出処理の手順）
続いて、本実施形態における成長度合検出処理の手順の一例を示す。
【０１３３】
＜手順０：初期化情報の設定処理＞
成長度合検出処理に先立ち、植物栽培システム１において次の初期化処理が行われる。
以下の説明においては、予め育成モデル生成部５１０において生成された第１育成モデルが育成モデル部２２０に格納されているものとする。
検出対照とする植物９における特徴点が定められており、定められた特徴点の当初の位置の位置情報が取得されているものとする。
なお、以下に示す手順の説明においては、成長度合検出装置７０は、同じ位置から撮影する場合を示すものであり、撮影する位置に関する情報についての説明を省略する。
【０１３４】
＜手順１：基準画像情報の取得処理＞
この初期化情報に基づいて、成長度合検出装置７０の撮像部７１は、植物栽培プラント４内の植物９の状態を示す画像情報を検出する。成長度合検出部７２１は、カメラ部７１１によって撮像された植物９の画像に基づいた画像情報と、その画像情報が撮像された時刻を示す撮像時刻情報と被写体位置情報とを、カメラ部７１１を備える撮像部７１から取得する。成長度合検出部７２１は、取得した画像情報と撮像時刻情報と被写体位置情報とを対応させて、過去情報記憶部７２６に格納する。
【０１３５】
＜手順２：検出画像の取得処理＞
ここで、成長度合検出部７２１は、過去情報記憶部７２６に格納された画像情報と撮像時刻情報と被写体位置情報とを参照し、予め定められた所定の時間間隔により取得されていた植物９の画像情報を得る。
表示制御処理部７３は、例えば、図２１に示されるような検出対象範囲を表示部７４に表示させるために生成する。
検出対象範囲は、植物９が成長して植物９の検出対象が移動した場合であっても、植物９の検出対象の撮影を容易にして、過去の画像と比較できるようにするために、植物９が成長することを条件に含めて予測したものである。
表示制御処理部７３は、撮像部７１において撮像された画像情報と、過去情報記憶部７２６に記憶されている画像情報と、生成された検出対象範囲とを合成して、表示部７４に表示させる。また、表示制御処理部７３は、２つの画像の比較を容易にするために、撮影時に一致させる特徴点の位置を表示させる。
このように合成して生成された合成画像の表示に従って撮影方向が定められる。
また、表示制御処理部７３は、過去情報記憶部７２６に記憶されている画像情報が撮影された時刻と、現在の時刻を表示部７４に表示させる。
上記に従って撮影方向が定められた後、撮像部７１によって撮像された画像から、検出対象の像が検出対象範囲に含まれる画像が取得される。
撮像部７１によって取得された画像情報と撮像時刻情報と被写体位置情報とを、成長度合検出部７２１は、過去情報記憶部７２６に格納する。
【０１３６】
＜手順３：各部の成長度合いの検出処理＞
成長度合検出部７２１は、撮像部７１において撮像された画像情報と、所定の時間間隔により撮像された植物９の画像情報とから、その画像情報によって示される検出対象の差分情報を得る。この差分情報が、前回検出された時からの成長量を示す。成長度合検出部７２１は、例えば、この検出対象の部位の差分情報から算出される成長量と、この検出対象の部位において予想されていた成長量との比に基づいて、この検出対象の部位の成長度合いを検出する。
表示制御処理部７３は、検出された部位の成長度合いを表示部７４に表示させる。
成長度合検出部７２１は、上記と同様な処理をそれぞれの部位において行うことにより、植物９におけるそれぞれの部位の成長度合いをそれぞれ検出する。
【０１３７】
＜手順４：植物の成長度合いの判定処理＞
成長段階判定部７２２は、成長度合検出部７２１によって検出されたそれぞれの部位の差分情報から算出される成長度合いに基づいて、植物９の全体、又は、植物９の一部である検出対象の成長度合いを判定する。成長段階判定部７２２は、検出対象の成長度合いに基づいて、成長の段階を判定する。
表示制御処理部７３は、判定された成長の段階を表示部７４に表示させる。
【０１３８】
＜手順５：検出対象範囲の再設定処理＞
手順４による植物９の成長度合いの判定結果に応じて、検出対象範囲設定部７２３は、成長状態に適した植物９の検出対象範囲を改めて設定する。
また、検出対象範囲設定部７２３は、手順４によって判定された成長度合いに基づいて判定された成長の段階に応じて植物９の検出対象範囲を設定してもよい。
このように、改めて設定された植物９の検出対象範囲に基づいて、次の撮影の撮影範囲が定められる。
【０１３９】
以上に示した手順により、本実施形態に示した成長度合検出装置７０は、植物９の成長度合いを検出することが可能であり、植物の育成状況を容易に管理することが可能となる。
【０１４０】
［成長度合検出装置による状況表示］
続いて、図を参照し、異なる実施態様について説明する。
図２２は、本実施形態における成長度合検出装置７０を状況表示端末とする情報提供システムを示すブロック図である。
図１から図３、図９と同じ構成には、同じ符号を附す。
【０１４１】
この図に示される情報提供システムは、図９に示した構成に加え、情報提供装置８００及び端末装置９０を備える。
この図に示される情報提供システムにおいては、制御部５００、情報提供装置８００、成長度合検出装置７０、及び、端末装置９０は、通信ネットワーク９００にそれぞれ接続されており、通信ネットワーク９００を介して相互に通信を行う。
通信ネットワーク９００は、有線回線と無線回線のいずれか、又は、それぞれを組み合わせて構成してもよい。
情報提供装置８００は、制御部５００及び成長度合検出装置７０から、植物栽培プラント４において栽培されている植物９の情報を得て、その情報に基づいて生成した提供情報を成長度合検出装置７０に提供する。また、情報提供装置８００は、端末装置９０から評価者による評価情報を収集し、評価者による評価情報を成長度合検出装置７０に提供する。
【０１４２】
情報提供装置８００は、データベース部８１０、提供情報生成部８２０、情報提供処理部８３０、情報収集処理部８４０、及び、通信処理部８９０を備える。
データベース部８１０は、個々の植物９（農作物）についての、育成過程の画像情報及び育成履歴情報、提供するために生成した提供情報、評価者から収集された評価情報を記憶する。
提供情報生成部８２０は、記憶部２３０に記憶されている各種情報、成長度合検出装置７０によって検出された画像情報、又は、成長度合いに基づいて、成長度合検出装置７０及び端末装置９０を介して提供する情報として各種表示画面を生成する。提供情報生成部８２０が生成する各種画面は、後述する。
なお、提供情報生成部８２０は、それぞれ収集された画像情報と、その画像を撮像した撮像位置情報とに基づいて、３次元空間を示す合成画像を生成する。
また、提供情報生成部８２０は、生成した３次元空間を示す合成画像から植物栽培プラント４内の通路の任意の地点における全周囲の状態を表示する全周囲画像を生成する。
【０１４３】
情報提供処理部８３０は、提供情報生成部８２０によって生成された情報（表示画面）を、成長度合検出装置７０及び端末装置９０からの要求に応じて、それぞれの装置に提供する。
情報収集処理部８４０は、評価者により入力された植物９に対する評価情報を端末装置９０から収集し、収集した情報をデータベース部８１０に記憶させる。
通信処理部８９０は、制御部５００との間の通信処理を行い、判定部２００の記憶部２３０に記憶されている育成過程の画像情報及び育成履歴情報などの各種情報を、制御部５００を介して収集し、データベース部８１０に記憶させる。
通信処理部８９０は、データベース部８１０に記憶されている個々の農作物の情報と、評価者から収集した評価情報を、育成モデル設計時の条件として反映させる。
通信処理部８９０は、成長度合検出装置７０との間の通信処理を行い、過去情報記憶部７２６に記憶されている育成過程の画像情報、及び育成履歴情報などの各種情報を収集し、データベース部８１０に記憶させる。
通信処理部８９０は、成長度合検出装置７０との間の通信処理を行い、成長度合検出装置７０に格納される、画像情報と、撮像時刻情報と、撮像位置情報と、被写体位置情報とを収集し、データベース部８１０に記憶させる。
【０１４４】
通信処理部８９０は、データベース部８１０に記憶されている個々の農作物の情報と、評価者から収集した評価情報を、成長度合検出装置７０及び端末装置９０からの要求に応じてそれぞれの装置に送信する。
【０１４５】
成長度合検出装置７０は、検出した植物９の情報を情報提供装置８００に供給する。成長度合検出装置７０は、情報提供装置８００から提供される情報を表示する。
端末装置９０は、情報提供装置８００から提供される情報を表示する。端末装置９０は、表示された情報に基づいた評価者による評価情報を得て、情報提供装置８００に供給する。
【０１４６】
続いて、図２３から図２６を参照し、成長度合検出装置７０において情報を表示させる情報提供処理について説明する。
以下に示す表示画面は、情報提供装置８００において生成され、成長度合検出装置７０において表示されるものである。
情報提供装置８００は、植物栽培プラント４の配置を示すレイアウト情報と、植物９の位置を識別するために付与された位置情報と、それぞれの位置に配置された植物９の育成情報とに基づいて、成長度合検出装置７０に表示させる表示画面を生成する。ここでは、情報提供装置８００と成長度合検出装置７０との間の通信が行われ、情報提供装置８００によって生成された表示画面を、成長度合検出装置７０において表示する場合を想定して説明する。
また、成長度合検出装置７０は、ユーザーによる操作入力を検出する。検出された操作入力に基づいた操作入力情報を、成長度合検出装置７０の制御部７９は、情報提供装置８００に送信する。操作入力情報をを受信した情報提供装置８００は、受信した操作入力情報に従って、成長度合検出装置７０において表示する表示画面を生成する。情報提供装置８００は、生成した表示画面の情報を成長度合検出装置７０に送信する。
【０１４７】
図２３は、植物栽培プラントにおいて、参照する位置を選択する際に表示する画面の例を示す図である。
成長度合検出装置７０のユーザーは、この画面を参照することにより、実際に植物栽培プラント４内を移動することなく、それぞれの位置の状況を得ることができる。
この図には、画像表示領域Ｐ１０１、操作入力検出領域Ｐ１０６、Ｐ１０７、Ｐ１０８、Ｐ１０９が示されている。図１と同じ構成には、同じ符号を附す。
画像表示領域Ｐ１０１には、３つの床６が並べて配置された状態を示す平面図が示されている。３つの床６は、それぞれ通路を挟んで、画面右手方向に沿って設けられている。それぞれの床６には、通路に面して位置を特定する「ＡからＦ」の行として定義されている。また、床６の長手方向、すなわち行方向に１から３０まで、順に番号が付与されている。
このように、行と列としての番号が通路から植物９を参照できる位置（識別位置）に対応するように付与されていることにより、識別位置に応じて植物９を識別することができる。例えば、この識別位置を、行と列としての番号を組み合わせて、「識別位置Ｂ２７」のように示す。「識別位置Ｂ２７」は、Ｂ行の２７列を示す。
【０１４８】
さらに、画像表示領域Ｐ１０１には、状況表示Ｐ１０２、案内表示Ｐ１０３、現在状況表示Ｐ１０４が示されている。
状況表示Ｐ１０２は、それぞれの識別位置における集中度合い（人数／単位面積）を表示する。例えば、「識別位置Ｅ２７」付近の状況として、「このＥ２７付近は、少し込み合っています。」という状況表示が示されている。
この集中度合いは、例えば、実際に通路で作業するユーザーの人数、ロボット（移動型検出装置４０など）の台数に基づいて算出される。
或いは、植物栽培プラント４に対応する仮想的な作業空間を定義しておき、通信回線を経由して接続される端末装置等から仮想的な作業空間に参加することにより、仮想的な作業空間において作業をする場合の集中度合いに基づいて算出してもよい。ただし、仮想的な作業空間の場合、実際の通路で作業する場合と異なり、仮想的な作業空間の集中度合いを目視で確認することができない。そこで、成長度合検出装置７０は、このような仮想的な作業空間における集中度合いを表示するようにしたので、ユーザーは、集中している場所を確認することができるようになる。その結果、ユーザーは、集中している場所を避けて、すいている場所を選ぶことが可能となる。
案内表示Ｐ１０３は、ユーザーに対する案内を表示する。例えば、「識別位置Ｂ２７」付近の状況として、「このＢ２７付近の木には熟した実が多く着いています。」という案内が示されている。
現在状況表示Ｐ１０４は、植物９に現在残されている収穫対象の状況を表示する。例えば、「識別位置Ｄ２」付近の状況として、「このＤ２付近の木には、熟した実が少なくなっています。」という案内が示されている。
【０１４９】
また、操作入力検出領域Ｐ１０６は、検状況表示Ｐ１０２を表示させるか否かを切り替える操作を検出する領域を示す。操作入力検出部７５は、操作入力検出領域Ｐ１０６においてユーザーの操作を検出することにより、状況表示Ｐ１０２を表示させるか否かを切り替える制御信号を制御部７９に供給して、表示する画面を更新させる。
操作入力検出領域Ｐ１０７は、案内表示Ｐ１０３を表示させるか否かを切り替える操作を検出する領域を示す。操作入力検出部７５は、操作入力検出領域Ｐ１０７においてユーザーの操作を検出することにより、案内表示Ｐ１０３を表示させるか否かを切り替える制御信号を制御部７９に供給して、表示する画面を更新させる。
【０１５０】
操作入力検出領域Ｐ１０８は、現在状況表示Ｐ１０４を表示させるか否かを切り替える操作を検出する領域を示す。操作入力検出部７５は、操作入力検出領域Ｐ１０８においてユーザーの操作を検出することにより、現在状況表示Ｐ１０４を表示させるか否かを切り替える制御信号を制御部７９に供給して、表示する画面を更新させる。
操作入力検出領域Ｐ１０９は、先に表示されていた画面の表示に戻るように表示する画面を切り替える操作を検出する領域を示す。操作入力検出部７５は、操作入力検出領域Ｐ１０９においてユーザーの操作を検出することにより、先に表示されていた画面の表示に戻る制御信号を制御部７９に供給して、表示する画面を更新させる。
制御部７９により、操作入力検出部７５からの制御信号がそれぞれ検出されると、成長度合検出装置７０は、検出した制御信号を情報提供装置８００に送信する。
【０１５１】
また、この画面の表示の次に、例えば「識別位置Ｂ２７」付近の情報を表示させるために、画像表示領域Ｐ１０１におけるＢ行とＣ行に挟まれる通路（以下、「通路ＢＣ」という。」の「識別位置Ｂ２７」付近を触れる操作がユーザーによって行われる。「識別位置Ｂ２７」付近を触れる操作を操作入力検出部７５が検出した場合、成長度合検出装置７０は、操作入力検出部７５によって「識別位置Ｂ２７」付近を触れる操作が検出されたことを示す制御信号を情報提供装置８００に送信する。制御信号を受信した情報提供装置８００は、受信した制御信号に基づいて成長度合検出装置７０に表示する画面の表示を次に示す画面の表示に遷移させる。
【０１５２】
図２４は、通路に沿っている植物の状態を表示する画面の例を示す図である。
この図には、画像表示領域Ｐ１１１、操作入力検出領域Ｐ１１６、Ｐ１１７、Ｐ１１８、Ｐ１１９が示されている。図１、図２３と同じ構成には、同じ符号を附す。
画像表示領域Ｐ１１１には、通路に面して並べて配置された床６の植物９の状態が表示されている状態が示されている。この図に示される通路は、例えば、通路ＢＣの２６列から２９列までの範囲（「識別位置Ｂ２６からＢ２９まで、及び、識別位置Ｃ２６からＣ２９まで」）が示されている。画像表示領域Ｐ１１１の左半分には、手前から順に通路の左側にある床６におけるＢ行２６列から２９列まで（「識別位置Ｂ２６からＢ２９まで」）の状態が示されている。画像表示領域Ｐ１１１の右半分には、手前から順に通路の右側にある床６におけるＣ行２６列から２９列まで（「識別位置Ｃ２６からＣ２９まで」）の状態が示されている。
それぞれの床６には、栽培されている植物９がそれぞれ配置されており、植物９の育成状態が表示されており、視覚的に確認することができる。
【０１５３】
さらに、画像表示領域Ｐ１１１には、位置表示領域Ｐ１１２、方向表示領域Ｐ１１３が表示されている。
位置表示領域Ｐ１１２は、床６にそれぞれ配置された植物９を識別する識別情報を表示する領域を示し、ラベル「Ｂ２６」から順にラベル「Ｂ２９」まで、及びラベル「Ｃ２６」から順にラベル「Ｃ２９」までを示している。例えば、ラベル「Ｂ２６」は、「識別位置Ｂ２６」にある植物９を示す表示である。
方向表示領域Ｐ１１３は、表示する位置を前後左右に変更する操作を行う領域を示し、ユーザーの操作を検出し、操作によって指定された方向に移動した画像に更新する制御信号を生成する。
操作入力検出領域Ｐ１１６、Ｐ１１７、Ｐ１１８、Ｐ１１９は、図２３における操作入力検出領域Ｐ１０６、Ｐ１０７、Ｐ１０８、Ｐ１０９と同様である。
制御部７９により操作入力検出部７５からの指示情報が検出されると、成長度合検出装置７０は、検出された指示情報に応じたそれぞれの制御信号を情報提供装置８００に送信する。
このような画面の表示の状態で、ユーザーの操作によって、方向表示領域Ｐ１１３において「左向き」の方向変換を操作が行われたことを操作入力検出部７５が検出した場合、成長度合検出装置７０は、操作入力検出部７５によって「左向き」の方向変換の操作が検出されたことを示す制御信号を情報提供装置８００に送信する。制御信号を受信した情報提供装置８００は、受信した制御信号に基づいて成長度合検出装置７０に表示する画面の表示を次に示す画面の表示に遷移させる。
【０１５４】
図２５は、通路に面している植物の状態を表示する画面の例を示す図である。
成長度合検出装置７０のユーザーは、この画面を参照することにより、実際に植物栽培プラント４内を移動することなく、指定された位置の状況を得ることができる。
この図には、画像表示領域Ｐ１２１、操作入力検出領域Ｐ１２６、Ｐ１２７、Ｐ１２８、Ｐ１２９が示されている。図１、図２３、図２４と同じ構成には、同じ符号を附す。
画像表示領域Ｐ１２１には、位置表示領域Ｐ１２２、検出対象識別表示領域Ｐ１２３が表示されている。
位置表示領域Ｐ１２２は、それぞれ配置された植物９の位置を示す識別情報を表示する領域を示し、ラベル「Ｂ２６」から順にラベル「Ｂ２８」までを示している。
検出対象識別表示領域Ｐ１２３は、位置表示領域Ｐ１２２においてラベル「Ｂ２７」によって示される「識別位置Ｂ２７」の植物９の実を識別する識別情報を表示する領域を示し、それぞれの実に対応させてラベル「Ｂ２７０１」からラベル「Ｂ２７０８」までを示している。ここで、表示されず欠番となっている番号のラベル「Ｂ２７０５」とラベル「Ｂ２７０８」は、葉に隠れて表示されていない実に附されたラベルである。
【０１５５】
操作入力検出領域Ｐ１２６は、状況表示Ｐ１３３（図２６）を表示させるか否かを切り替える操作を検出する領域を示す。操作入力検出部７５は、操作入力検出領域Ｐ１２６においてユーザーの操作を検出することにより、状況表示Ｐ１３３（図２６）を表示させるか否かを切り替える制御信号を制御部７９に供給して、表示する画面を更新させる。
操作入力検出領域Ｐ１２７は、説明表示Ｐ１３４（図２６）を表示させるか否かを切り替える操作を検出する領域を示す。操作入力検出部７５は、操作入力検出領域Ｐ１２７においてユーザーの操作を検出することにより、説明表示Ｐ１３４（図２６）を表示させるか否かを切り替える制御信号を制御部７９に供給して、表示する画面を更新させる。
操作入力検出領域Ｐ１２８は、選択された実を収穫することを指示する操作を検出する領域を示す。操作入力検出部７５は、操作入力検出領域Ｐ１２８においてユーザーの操作を検出することにより、選択された実を収穫することを指示する制御信号を制御部７９に供給して、表示する画面を更新させる。
操作入力検出領域Ｐ１２９は、図２３における操作入力検出領域Ｐ１０９と同様である。
制御部７９により操作入力検出部７５からの指示情報が検出されると、成長度合検出装置７０は、検出した指示情報に応じたそれぞれの制御信号を情報提供装置８００に送信する。
このような画面の表示の状態で、ラベル「Ｂ２７」によって示される植物９を選択した後に、操作入力検出領域Ｐ１２７の操作が行われる。操作入力検出領域Ｐ１２７の操作を操作入力検出部７５が検出した場合、成長度合検出装置７０は、操作入力検出部７５によって操作入力検出領域Ｐ１２７の操作が検出されたことを示す制御信号を情報提供装置８００に送信する。制御信号を受信した情報提供装置８００は、受信した制御信号に基づいて成長度合検出装置７０に表示する画面の表示を次に示す画面の表示に遷移させる。
【０１５６】
図２６は、通路に面している植物の状態を表示する画面の例を示す図である。
成長度合検出装置７０のユーザーは、この画面を参照することにより、実際に植物栽培プラント４内を移動することなく、指定された位置の状況についての詳細な情報を得ることができる。
この図には、画像表示領域Ｐ１３１、操作入力検出領域Ｐ１２６、Ｐ１２７、Ｐ１２８、Ｐ１２９が示されている。図１、図２３、図２４、図２５と同じ構成には、同じ符号を附す。
【０１５７】
画像表示領域Ｐ１３１には、位置表示領域Ｐ１２２、検出対象識別表示領域Ｐ１２３のほか、全対象表示領域Ｐ１３２、状況表示領域Ｐ１３３、説明表示領域Ｐ１３４が表示されている。
全対象表示領域Ｐ１３２は、位置表示領域Ｐ１２２においてラベル「Ｂ２７」として示される植物９の実において、前述の図２５において表示されていなかった実、すなわち、葉に隠れて表示されていなかった実を表示する領域を示す。全対象表示領域Ｐ１３２には、例えば、ラベル「Ｂ２７０５」として示される識別情報に対応する実の位置が示されている。
状況表示領域Ｐ１３３は、収穫に適した時期、すなわち「食べごろ」の時期にある実を表示する領域を示し、収穫に適した時期にあると選択された実が下向きの矢印にて示されている。
説明表示領域１３４は、全対象表示領域Ｐ１３２に示された、「葉に隠れている実」についての説明を表示する領域を示す。
【０１５８】
このような画面の表示の状態で、ラベル「Ｂ２７０５」とラベル「Ｂ２７０８」によって示される実を選択した後に、操作入力検出領域Ｐ１２７の操作が行われる。操作入力検出領域Ｐ１２７の操作を操作入力検出部７５が検出した場合、成長度合検出装置７０は、操作入力検出部７５によって操作入力検出領域Ｐ１２７の操作が検出されたことを示す制御信号を情報提供装置８００に送信する。制御信号を受信した情報提供装置８００は、受信した制御信号に基づいて成長度合検出装置７０に表示する画面の表示を次に示す画面の表示に遷移させる。
【０１５９】
なお、この図に示される位置表示領域Ｐ１２２、検出対象識別表示領域Ｐ１２３のほか、全対象表示領域Ｐ１３２、状況表示領域Ｐ１３３、説明表示領域Ｐ１３４などは、加速度検出部７６によって検出された加速度に応じて、表示情報の内容や、表示情報を表示する領域の大きさを変更したり、表示を中断したりしてもよい。成長度合検出装置７０の移動方向が定まらなかったり、単位時間当たりの移動量が大きかったりする場合には、文字による情報の表示を少なくした場合のほうが、表示される画像を認識しやすくなる。それゆえ、成長度合検出装置７０に作用する加速度に応じて、表示する情報を制限することにより、表示される画像を認識しやすくなる。
【０１６０】
図２７は、選択した実についての評価情報を表示する画面の例を示す図である。
成長度合検出装置７０のユーザーは、この画面を参照することにより、指定された位置の植物９について、第三者によって評価された情報（評価情報）を端末装置９０から得ることができる。また、その評価された情報が登録された時刻情報が、その評価された情報に対応させて記憶されている。
この図には、画像表示領域Ｐ１４１、操作入力検出領域Ｐ１２６、Ｐ１２７、Ｐ１２８、Ｐ１２９が示されている。図１、図２３、図２４、図２５、図２６と同じ構成には、同じ符号を附す。
画像表示領域Ｐ１４１には、対称植物表示領域Ｐ１４２、選択対象画像表示領域Ｐ１４３ａ、Ｐ１４３ｂ、評価表示領域Ｐ１４４ａ、Ｐ１４４ｂ、育成情報表示領域Ｐ１４５が示されている。
対称植物表示領域Ｐ１４２は、図２６において選択された植物９の状態を画像によって表示する領域を示す。
選択対象画像表示領域Ｐ１４３ａとＰ１４３ｂは、図２６において選択された実を画像によって表示する領域を示す。例えば、選択対象画像表示領域Ｐ１４３ａには、ラベル「Ｂ２７０５」として識別される実（＊印）と、選択対象画像表示領域Ｐ１４３ｂには、ラベル「Ｂ２７０８」として識別される実（◇印）とが示されている。
【０１６１】
評価表示領域Ｐ１４４ａとＰ１４４ｂは、図２６において選択された実についての評価情報を表示する領域を示す。例えば、評価表示領域Ｐ１４４ａには、選択対象画像表示領域Ｐ１４３ａにラベル「Ｂ２７０５」として識別される実（＊印）についての評価情報が示されている。また、評価表示Ｐ１４４ａには、選択対象画像表示領域Ｐ１４３ｂにラベル「Ｂ２７０８」として識別される実（◇印）についての評価情報が示されている。
評価表示領域Ｐ１４４ａとＰ１４４ｂとに示される評価情報は、例えば、第三者である有識者からの情報として掲載されており、その評価情報は、端末装置９０を介して、情報提供装置８００に登録されたものである。この評価情報により、ユーザーは、第三者である有識者の知見を獲得することができる。
【０１６２】
育成情報表示領域Ｐ１４５は、植物９の育成情報に基づいて、２つの個体差を示す除法を表示する領域を示す。例えば、ラベル「Ｂ２７０５」として識別される実（＊印）と、選択対象画像表示領域Ｐ１４３ｂには、ラベル「Ｂ２７０８」として識別される実（◇印）の２つについて、甘さと大きさの情報が比較されている。この図に示された場合においては、ラベル「Ｂ２７０５」として識別される実（＊印）のほうが、ラベル「Ｂ２７０８」として識別される実（◇印）に比べて、糖度が低いが、大きいということが示されている。さらに、成長曲線によって示されるグラフは、縦軸が成長度合いを示し横軸が日数を示す。点線で囲まれた範囲にあれば、収穫可能な時期にあり、ラベル「Ｂ２７０８」として識別される実（◇印）のほうが、成熟が進んだ状態にあることが示される。
【０１６３】
以上に示したように、情報提供装置８００は、成長度合検出装置７０から受信した制御情報に従って生成した画面の情報を成長度合検出装置７０に送信する。成長度合検出装置７０は、情報提供装置８００から送信される画面の情報を成長度合検出装置７０において表示させる。
【０１６４】
（植物栽培プラント４における状態検出）
植物栽培プラント４において栽培されている植物９の状態を適切に管理するために、定期的に植物栽培プラント４全体の情報収集を行うことが望ましい。ただし、この情報収集を行うには、労力が掛かることから、本実施形態においては、機械的に情報収集を行うこともできる。以下、その一態様について示す。
例えば、全周囲カメラを搭載した移動型検出装置４０（図２）が、植物栽培プラント４内を巡回する。移動型検出装置４０は、植物栽培プラント４内を巡回して、植物栽培プラント４の通路を移動しながら、周囲の画像を動画像又は連続静止画像として収集する。
移動型検出装置４０が収集した植物栽培プラント４内の画像情報を、成長度合検出装置７０、又は、情報提供装置８００に供給する。
成長度合検出装置７０、又は、情報提供装置８００は、移動型検出装置４０が収集した植物栽培プラント４内の画像情報から、その画像に含まれる複数フレームの画像情報に基づいて、３次元空間に検出対象のモデルを生成する。成長度合検出装置７０、又は、情報提供装置８００は、３次元空間に検出対象のモデルに基づいて合成画像を生成する。
このように画像情報をまとめて収集することにより、個々の検出対象を個別に撮影してまわる作業を省力化することができる。
また、収集する画像情報が全周囲方向の画像情報として得られるので、撮像時に一方向に移動する場合、進行方向に向かって確認できる画像だけではなく、進行方向と逆の方向に向かって確認した場合の画像も、まとめて収集することができる。
【０１６５】
以上の実施形態に示した成長度合検出装置７０（表示制御装置）は、植物９の成長過程において、植物９の成長に応じた分類をする複数の段階が設けられており、育成状況検出部７２によって、成長の段階に合わせてそれぞれ設定された検出対象範囲に含まれる植物９の状態から、植物９の成長度合いを検出し、植物９の育成状況を管理しやすくすることができる
また、成長度合検出装置７０（表示制御装置）は、表示制御部７３により表示対象の植物９を識別する識別情報に関連付けられて記憶領域に記憶されている植物９の育成に関する情報から生成された表示情報を、表示対象の画像に関連付けて表示させる。これにより、成長度合検出装置７０（表示制御装置）は、複数の植物９の中から選択された特定の植物９の情報として、検出した成長度合いの情報を表示し、植物９の育成状況を管理しやすくすることができる
さらに、成長度合検出装置７０（表示制御装置）は、画面の表示に従って簡易に操作することができ、ユーザーが操作方法を習得する負担を軽減させることができる。成長度合検出装置７０の操作が簡易であることから、植物栽培の経験の浅い人から経験者に到るまで、植物栽培の経験度に関係することなく成長度合検出装置７０を利用することができる。それゆえ、経験と勘に依存した栽培方法を採用している経験者が成長度合検出装置７０を利用した場合には、判定の結果を安定させることができ、植物９の育成状況を管理しやすくすることができる。
【０１６６】
また、植物を栽培したことがある経験者の人数は、農業人口の減少に伴い、年々減少する傾向にある。一方で、植物栽培プラント４の普及が望まれており、植物栽培プラント４がいろいろな場所に導入されるようになると思われる。このような状況から、植物栽培プラント４の施設数が急に増加する場合には、植物を栽培したことがある経験者が、植物栽培プラントを管理することにならないことも生じうる。そこで、植物栽培の経験の浅い人であっても、成長度合検出装置７０によって植物９の育成状況を検出することができ、その検出結果を容易に確認することが可能となる。要するに、成長度合検出装置７０により、植物９の育成状況を管理しやすくすることができる。
【０１６７】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の変更等も含まれる。
例えば、成長度合検出装置７０（表示制御装置）は、携帯型の端末装置として説明したが、据え置き型の装置であってもよい。
また、成長度合検出装置７０（表示制御装置）は、一体型として構成するものとして示したが、各構成を分離して構成してもよい。
また、図３に示される植物栽培システム１において、成長度合検出装置７０（表示制御装置）の構成の一部又は全部を制御部５００に追加することにより、撮像部３００から得られる画像情報に基づいて、構成を追加した制御部５００によって、成長度合検出装置７０（表示制御装置）として示した処理を行ってもよい。
【０１６８】
また、成長度合いを検出する２つの画像の位置の調整をユーザーが行うものとして説明したが、成長度合検出装置７０（表示制御装置）が、２つの画像の特徴点を抽出し、抽出した特徴点に基づいたパターンマッチング処理や被写体追尾処理などの画像処理の手法を適用することにより、２つの画像を比較することができる。
また、成長度合検出装置７０（表示制御装置）は、植物９の成長を撮像された像の大きさにより成長度合いを検出するものとして説明したが、大きさの違いを、撮像部７１の撮像倍率から判定してもよい。
【０１６９】
また、成長度合検出装置７０（表示制御装置）は、特徴点を識別する際に、その特徴点の近傍に、その特徴点を識別する識別情報を掲示しておき、その識別情報に基づいて特徴点を識別してもよい。その識別情報は、文字情報、バーコード情報、パターン情報などから適宜選択することができる。さらに、ＲＦＩＤ（Radio Frequency IDentification）やＩＣタグを設けておくことにより、その特徴点を容易に識別できるようになる。
また、前述の実施形態に示した成長度合検出装置７０（表示制御装置）における表示画面は、端末装置９０においても、成長度合検出装置７０と同様に表示することができる。さらに、端末装置９０は、情報提供装置８００が生成した画面を表示して、第三者からの情報を受け付けて、情報提供装置８００に登録する。
【０１７０】
なお、上述の植物栽培システム１、移動型検出装置４０、成長度合検出装置７０、情報提供装置８００、端末装置９０は、内部にコンピュータシステムを有している。そして、各機能部の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。
【０１７１】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【符号の説明】
【０１７２】
１…植物栽培システム、
９…植物、
１００…制御対象部、
２００…判定部、
３００…撮像部、
４００…撮像位置移動部、
５００…制御部、
７０…成長度合検出装置（表示制御装置）、
７２…成長度合検出部、
７３…表示制御部
【特許請求の範囲】
【請求項１】
表示対象の植物を識別する識別情報に関連付けられて記憶領域に記憶されている該植物の育成に関する情報から生成された表示情報を、該表示対象の画像に関連付けて表示させる表示制御部
を備えることを特徴とする表示制御装置。
【請求項２】
前記表示制御部は、
第１の時間間隔で撮像された画像の画像情報であって、前記撮像された順に基づいた時系列情報に関連付けて画像記憶領域に記憶されている前記表示対象の画像の画像情報を、前記画像記憶領域から前記時系列情報に応じて第２の時間間隔に従って読み出して表示させる
ことを特徴とする請求項１に記載の表示制御装置。
【請求項３】
前記表示制御部は、
前記画像記憶領域から前記時系列情報に応じて順次読み出して表示させる前記表示対象の画像に、当該表示対象の画像に対応する前記表示情報を関連付けて表示させる
ことを特徴とする請求項２に記載の表示制御装置。
【請求項４】
前記識別情報に基づいて前記表示対象の植物に関連付けられる前記表示対象の植物に関する前記表示情報を生成する表示情報生成部
を備え、
前記表示制御部は、
生成された前記表示情報を前記表示対象の画像に関連付けて表示させる
ことを特徴とする請求項１から請求項３のいずれか１項に記載の表示制御装置。
【請求項５】
前記表示情報生成部は、
前記植物の成長の段階を推定した推定情報に基づいた前記表示情報を生成する
ことを特徴とする請求項４に記載の表示制御装置。
【請求項６】
前記撮像された時刻を示す時刻情報と、前記撮像された画像の前記画像情報とが対応付けられて前記画像記憶領域に記憶されており、
前記表示制御部は、
前記時刻情報を、前記時刻情報に対応付けられている前記画像情報の画像に関連付けて表示させる
ことを特徴とする請求項４又は請求項５に記載の表示制御装置。
【請求項７】
前記表示情報を表示する表示部と、
前記表示部に作用する加速度を検出する加速度センサーと、
を備え、
前記表示情報生成部は、
前記検出された加速度に応じて、前記生成する表示情報を変更する
ことを特徴とする請求項４から請求項６のいづれか１項に記載の表示制御装置。
【請求項８】
前記表示情報生成部は、
前記検出された加速度の大きさに応じて、前記表示情報を表示する領域の大きさを変更する
ことを特徴とする請求項７に記載の表示制御装置。
【請求項９】
前記表示情報生成部は、
前記検出された加速度の大きさに応じて、前記表示情報の表示を中断させる
ことを特徴とする請求項７又は請求項８に記載の表示制御装置。
【請求項１０】
表示対象の植物を識別する識別情報に関連付けられて記憶領域に記憶されている該植物の育成に関する情報から生成された表示情報を、該表示対象の画像に関連付けて表示させる表示制御部
を備えることを特徴とする表示制御システム。
【請求項１１】
表示制御部が、表示対象の植物を識別する識別情報に関連付けられて記憶領域に記憶されている該植物の育成に関する情報から生成された表示情報を、該表示対象の画像に関連付けて表示させる過程
を含むことを特徴とする表示制御方法。
【請求項１２】
表示制御装置が備えるコンピュータを、
表示対象の植物を識別する識別情報に関連付けられて記憶領域に記憶されている該植物の育成に関する情報から生成された表示情報を、該表示対象の画像に関連付けて表示させる表示制御部
として機能させるためのプログラム。
【請求項１】
表示対象の植物を識別する識別情報に関連付けられて記憶領域に記憶されている該植物の育成に関する情報から生成された表示情報を、該表示対象の画像に関連付けて表示させる表示制御部
を備えることを特徴とする表示制御装置。
【請求項２】
前記表示制御部は、
第１の時間間隔で撮像された画像の画像情報であって、前記撮像された順に基づいた時系列情報に関連付けて画像記憶領域に記憶されている前記表示対象の画像の画像情報を、前記画像記憶領域から前記時系列情報に応じて第２の時間間隔に従って読み出して表示させる
ことを特徴とする請求項１に記載の表示制御装置。
【請求項３】
前記表示制御部は、
前記画像記憶領域から前記時系列情報に応じて順次読み出して表示させる前記表示対象の画像に、当該表示対象の画像に対応する前記表示情報を関連付けて表示させる
ことを特徴とする請求項２に記載の表示制御装置。
【請求項４】
前記識別情報に基づいて前記表示対象の植物に関連付けられる前記表示対象の植物に関する前記表示情報を生成する表示情報生成部
を備え、
前記表示制御部は、
生成された前記表示情報を前記表示対象の画像に関連付けて表示させる
ことを特徴とする請求項１から請求項３のいずれか１項に記載の表示制御装置。
【請求項５】
前記表示情報生成部は、
前記植物の成長の段階を推定した推定情報に基づいた前記表示情報を生成する
ことを特徴とする請求項４に記載の表示制御装置。
【請求項６】
前記撮像された時刻を示す時刻情報と、前記撮像された画像の前記画像情報とが対応付けられて前記画像記憶領域に記憶されており、
前記表示制御部は、
前記時刻情報を、前記時刻情報に対応付けられている前記画像情報の画像に関連付けて表示させる
ことを特徴とする請求項４又は請求項５に記載の表示制御装置。
【請求項７】
前記表示情報を表示する表示部と、
前記表示部に作用する加速度を検出する加速度センサーと、
を備え、
前記表示情報生成部は、
前記検出された加速度に応じて、前記生成する表示情報を変更する
ことを特徴とする請求項４から請求項６のいづれか１項に記載の表示制御装置。
【請求項８】
前記表示情報生成部は、
前記検出された加速度の大きさに応じて、前記表示情報を表示する領域の大きさを変更する
ことを特徴とする請求項７に記載の表示制御装置。
【請求項９】
前記表示情報生成部は、
前記検出された加速度の大きさに応じて、前記表示情報の表示を中断させる
ことを特徴とする請求項７又は請求項８に記載の表示制御装置。
【請求項１０】
表示対象の植物を識別する識別情報に関連付けられて記憶領域に記憶されている該植物の育成に関する情報から生成された表示情報を、該表示対象の画像に関連付けて表示させる表示制御部
を備えることを特徴とする表示制御システム。
【請求項１１】
表示制御部が、表示対象の植物を識別する識別情報に関連付けられて記憶領域に記憶されている該植物の育成に関する情報から生成された表示情報を、該表示対象の画像に関連付けて表示させる過程
を含むことを特徴とする表示制御方法。
【請求項１２】
表示制御装置が備えるコンピュータを、
表示対象の植物を識別する識別情報に関連付けられて記憶領域に記憶されている該植物の育成に関する情報から生成された表示情報を、該表示対象の画像に関連付けて表示させる表示制御部
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【公開番号】特開２０１３−５７２４（Ｐ２０１３−５７２４Ａ）
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願番号】特願２０１１−１３８２９６（Ｐ２０１１−１３８２９６）
【出願日】平成２３年６月２２日（２０１１．６．２２）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願日】平成２３年６月２２日（２０１１．６．２２）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]