観察システム及び観察プログラム
【課題】試料を培養中の容器全体を観察して発現した試料塊を特定でき、さらにこの特定した試料塊を拡大して詳細を観察することが可能な観察システムを提供する。
【解決手段】試料と溶液とが入った容器全体を撮像することで試料の画像を撮像する全体撮像処理と、全体撮像処理で撮像した画像から複数の試料が寄り集まった試料塊を識別する試料塊識別処理と、試料塊識別処理で識別した試料塊の中心の座標を検出する座標検出処理と、座標検出処理で検出した座標を中心として拡大して試料塊の画像を撮像する拡大撮像処理と、を実行させ、試料塊識別処理は、識別した試料塊の形状が所定の形状であるか否か判定し、座標検出処理は、試料塊識別処理において所定の形状であると判定されたことを条件としてその試料塊の中心の座標を検出する。
【解決手段】試料と溶液とが入った容器全体を撮像することで試料の画像を撮像する全体撮像処理と、全体撮像処理で撮像した画像から複数の試料が寄り集まった試料塊を識別する試料塊識別処理と、試料塊識別処理で識別した試料塊の中心の座標を検出する座標検出処理と、座標検出処理で検出した座標を中心として拡大して試料塊の画像を撮像する拡大撮像処理と、を実行させ、試料塊識別処理は、識別した試料塊の形状が所定の形状であるか否か判定し、座標検出処理は、試料塊識別処理において所定の形状であると判定されたことを条件としてその試料塊の中心の座標を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、細胞などの試料を観察するための観察システム及び観察プログラムに関する。
【背景技術】
【０００２】
細胞を培養するにあたって、複数の細胞が寄り集まった細胞塊の発現と同時に観察を開始して逐次時系列に観察できれば、例えば再生医療の支援として有望な技術と言える。このような細胞の観察は従来、細胞の培養中、培養容器への培養液の補給、交換が必要になったとき顕微鏡などを用いて行い、必要に応じて画像を撮像するようにしている。
【０００３】
しかしながら、顕微鏡を用いた細胞の観察は多くの手間を要する。例えば、容器内で発現した細胞塊を特定するためにはまず目視や顕微鏡などで容器全体を観察する必要があり、さらに対物レンズを切り替えるなどして拡大して個々の細胞塊の成育状態を観察しなければならない。拡大観察では視野が狭く、目標の細胞塊を探索するのが困難であり、さらにその細胞塊を視野に合わせるのも困難である。また、細胞を観察する場合、細胞塊の発現のときから成育完了まで、長期間の変化を一定期間ごとに観察するタイムラプス観察を行うことが望まれている。細胞の播種直後は細胞塊を目視や低倍率の顕微鏡などでは観察できないため、数日後に再探索して観察位置を再設定しなければならない。
【０００４】
また、従来の通常１日〜３日程度で１回の培養容器への培養液の補給、交換の際に行われる観察では細胞塊の発現のときからの観察が困難であり、この発現のときから細胞塊を観察可能な技術への要望が強い。さらに、容器全体を観察するときと容器内の一部を拡大して観察するときとの各々における細胞の撮像時に、照明やレンズ駆動系等の発熱による細胞の成育への影響が問題となっている。
【０００５】
このような細胞の観察に関して、容器全体を観察するときと容器内の一部を拡大して観察するときとの切り替えの手間を解消した装置が提案され、その一例を特許文献１に見ることができる。特許文献１に記載された観察装置は被観察物を撮像する倍率の異なる少なくとも２つの撮像光学系を備え、高倍率の撮像光学系で撮像した画像特徴量が同時に撮像した低倍率の撮像光学系における画像特徴量とが略等しくなるように低倍率画像の基準値を算出している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−１９８７０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載された観察装置は高倍率の撮像光学系と低倍率の撮像光学系とが共通の光源を用いて撮像しているので、容器内の細胞の詳細を観察することができない。なぜなら、高倍率の撮像光学系では微小な領域のほぼ透明な細胞を観察することに適した位相差光学系に用いられる点光源とリングスリットなどの照明が必要であり、低倍率の撮像光学系では比較的広視野を観察することに適した平面光源などの照明が必要であり、異なる照明が必要となるためである。すなわち、容器内の細胞の分布は観察できても、容器内で発現した細胞塊の特定に失敗したり、目標の細胞塊を誤って識別したりすることが懸念される。また、細胞塊の発現のときから成育完了まで継続して観察を行うことについても考慮されていない。
【０００８】
本発明は上記の点に鑑みなされたものであり、容器内の細胞等の試料を観察するにあたって、容器全体を観察して発現した試料塊を特定でき、さらにこの特定した試料塊を拡大して詳細を観察することが可能な観察装置を提供することを目的とする。また、このような特定した試料塊の発現のときから成育完了まで継続して観察を行うことが可能な観察プログラム及び観察システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の課題を解決するため、本発明の観察プログラムは、試料と溶液とが入った容器全体を撮像することで試料の画像を撮像する全体撮像処理と、全体撮像処理で撮像した画像から複数の試料が寄り集まった試料塊を識別する試料塊識別処理と、試料塊識別処理で識別した試料塊の中心の座標を検出する座標検出処理と、座標検出処理で検出した座標を中心として拡大して試料塊の画像を撮像する拡大撮像処理と、を実行させ、試料塊識別処理は、識別した試料塊の形状が所定の形状であるか否か判定し、座標検出処理は、試料塊識別処理において所定の形状であると判定されたことを条件としてその試料塊の中心の座標を検出するものである。
【００１０】
なお、以下の説明で用いる「所定サイズ」は試料塊の予め設定したサイズであり、拡大観察の対象とすべきであると判断することができる程度のサイズであって、例えば画像上の画素数で定義して構わない。例えば、試料塊の所定サイズとしての画素数の具体例は全体観察を５００万画素のカメラで行って４０ｍｍ×４０ｍｍの視野を撮像した場合、１０００ピクセル程度が設定した所定サイズとして適当である。後述する実施形態では「所定サイズ」を画素数にして「１０００ピクセル」と設定しているが、このようなサイズに限定されるわけではない。
【００１１】
また、以下の説明で用いる「試料塊の識別に関する所定期間」は拡大観察対象試料塊の識別を実行するタイミングについての予め設定した期間であり、試料塊の発現のときを見極められる程度の期間であって、例えば数時間から数日程度の期間とすることが可能であるが必要に応じて適切に設定できる。したがって、後述する実施形態では「試料塊の識別に関する所定期間」を「１日」と設定しているが、このような期間に限定されるわけではない。なお、他の手段において用いられる「所定期間」という語がすべて拡大観察対象試料塊の識別を実行するタイミングについての期間を示すわけではなく、時間的に同じ期間を表すわけでもない。
【００１２】
また、以下の説明で用いる「所定日数」は拡大観察対象試料塊の識別を終了するタイミングについての予め設定した日数であり、例えば５日、７日、１０日などといった日数に任意に設定して構わない。後述する実施形態では「所定日数」を「５日」と設定しているが、このような日数に限定されるわけではない。
【００１３】
また、以下の説明で用いる「拡大画像の撮像に関する所定期間」は拡大した試料塊の撮像を実行するタイミングについての予め設定した期間であり、試料塊の成育過程を見極められる程度の期間であって、例えば数時間から数日程度の期間とすることが可能であるが必要に応じて適切に設定できる。したがって、後述する実施形態では「拡大画像の撮像に関する所定期間」を「１日」と設定しているが、このような期間に限定されるわけではない。なお、他の手段において用いられる「所定期間」という語がすべて拡大した試料塊の撮像を実行するタイミングについての期間を示すわけではなく、時間的に同じ期間を表すわけでもない。
【００１４】
また、以下の説明で用いる「所定期限」は試料の観察を終了するタイミングについての予め設定した期限であり、例えば試料の観察開始から１０日、２０日、３０日などといった期限に任意に設定して構わない。後述する実施形態では「所定期限」を「１０日」と設定しているが、このような期限に限定されるわけではない。
【００１５】
また、以下の説明で用いる「所定形状」は試料塊の予め設定した形状であり、観察するに好適に成育し続ける可能性が高いと判断することができる程度の形状であってできるだけ円形に近いものが良く、例えば楕円形度などの数値で任意に設定して構わない。後述する実施形態では「所定形状」を「楕円形度にして１．１以下」と設定しているが、このような形状に限定されるわけではない。
【発明の効果】
【００１６】
本発明の構成によれば、容器内で培養中の試料を観察するにあたって、容器全体を観察して発現した試料塊を特定でき、さらにこの特定した試料塊を拡大して詳細を観察することが可能な観察システムを提供することができる。また、このような特定した試料塊の発現のときから成育完了まで継続して観察を行うことが可能になる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施形態に係る観察システムの構成図である。
【図２】図１に示す観察システムの観察装置の垂直断面側面図である。
【図３】図１に示す観察システムの観察装置の垂直断面正面図である。
【図４】図２と同様の観察装置の垂直断面側面図にして、容器を全体観察部に対応する箇所に移動させた状態を示すものである。
【図５】図１に示す観察システムのコンピュータの構成を示すブロック図である。
【図６】図１の観察システムの操作に係るフローを示す説明図である。
【図７】図１の観察システムにおける観察処理に係る動作を示すフローチャートである。
【図８】本発明の第２の実施形態に係る観察プログラムにおける観察処理に係る動作を示すフローチャートである。
【図９】本発明の第３の実施形態に係る観察プログラムにおける観察処理に係る動作を示すフローチャートである。
【図１０】図９に示す観察処理に係る動作を示すフローチャートの続きである。
【図１１】本発明の第４の実施形態に係る観察装置の垂直断面側面図である。
【図１２】本発明の第５の実施形態に係る観察装置システムの構成図である。
【図１３】本発明の第６の実施形態に係る観察装置システムの構成図である。
【図１４】図１３に示すアイソレータの部分断面側面図である。
【図１５】本発明の第７の実施形態に係る観察装置システムの構成図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態を図１〜図１５に基づき説明する。なおここでは、例えば細胞、細菌、微生物などの試料のうち細胞を試料とし、例えば培養液を溶液として説明する。また、複数の細胞が寄り集まった細胞塊を試料塊として説明する。
【００１９】
（第１の実施形態）
最初に、本発明の第１の実施形態に係る観察システムについて、図１〜図５を用いてその構造を説明する。図１は観察システムの構成図、図２は観察システムの観察装置の垂直断面側面図、図３は観察装置の垂直断面正面図、図４は観察装置の垂直断面側面図にして、容器を全体観察部に対応する箇所に移動させた状態を示すもの、図５は観察システムのコンピュータの構成を示すブロック図である。なお、以下の説明において、図２及び図３のｘ軸方向を左右方向、ｙ軸方向を前後方向（＋ｙ方向を前方、−ｙ方向を後方）、ｚ軸方向を上下方向とする。
【００２０】
観察システムＳは、図１に示すように観察装置１、制御装置１００、及びコンピュータ２００を備えている。
【００２１】
観察装置１は細胞などの試料を観察するための装置であって、制御装置１００が接続されている。制御装置１００は観察装置１を制御するための装置であって、観察装置１を駆動するための図示しないドライバやコントローラなどを内蔵している。そして、制御装置１００はコンピュータ２００に接続されている。コンピュータ２００は、例えば所謂パーソナルコンピュータであって、細胞などの試料を観察するための図示しない観察プログラムなどを実行する。すなわち、コンピュータ２００は制御装置１００に指令を送って観察装置１を制御したり、観察時に撮像した画像の取得、保存などを実行したりすることが可能になっている。
【００２２】
観察装置１は、図１〜図４に示すようにその筐体である本体２に全体観察部１０、拡大観察部２０、搬送部３０、及び駆動部４０を備えている。
【００２３】
観察装置１はその正面中央部に配置された細胞と細胞の培養液とが入った容器Ｃ内の細胞の全体観察部１０及び拡大観察部２０を用いた観察が可能である。駆動部４０によって容器Ｃを把持する搬送部３０を前後、左右の所望の方向、位置に移動させることができる。本体２は床面に対して４箇所に設けられた脚部３よって支持されている。なお、容器Ｃは容器外部からの汚染や他の容器との間での汚染などを防止するために蓋が設けられている。
【００２４】
全体観察部１０は本体２の密閉された筐体内部の前側の部分に設けられ、全体観察光学系であるレンズ１１と、撮像部であるＣＭＯＳカメラ１２と、全体観察照明であるリング照明１３とを備えている。
【００２５】
レンズ１１は容器Ｃを把持する搬送部３０の移動空間の上方に配置され、下方に向かって容器Ｃ内を観察可能にして設けられている。ＣＭＯＳカメラ１２はレンズ１１の鉛直上方に設けられ、その撮像素子面が下方のレンズ１１の方を向くように配置されている。
【００２６】
リング照明１３は斜め上方を向く形で取り付けられた複数のＬＥＤがリング状に配列された構造をなし、搬送部３０の移動空間の下方に配置されている。なお、リング照明１３と搬送部３０の容器Ｃとの間には所定距離離れた空隙Ｄを有している（図４参照）。これにより、リング照明１３と容器Ｃとの間に空気が流通する空間が生じるので、リング照明１３が発する熱が容器Ｃに伝わり難くなる。したがって、リング照明１３の発熱による影響が細胞の成育に及ぶのを抑制できる。そして、リング照明１３は斜め上方であってリングの中心に向かって光を照射し、リング照明１３の上方に位置する搬送部３０の観察対象である容器Ｃ内の細胞を照らす。なお、ＣＭＯＳカメラ１２及びレンズ１１は互いの光軸が一致するように各々配置され、その光軸がリング照明１３の中心を通過するようにリング照明１３が配置されている。
【００２７】
このような構成により、全体観察部１０はリング照明１３を用いて容器Ｃに光を照射することによりレンズ１１を経て得られる像がＣＭＯＳカメラ１２の撮像素子面で結像し、容器Ｃ全体を撮像することで容器Ｃ内の細胞の画像を撮像する。そして、撮像した画像が記憶されるので、容器Ｃ内の複数の細胞が寄り集まった細胞塊の識別や特定が容易になる。
【００２８】
また、全体観察部１０が容器Ｃの下方から斜め上方に容器Ｃに対して光を照射するので、容器Ｃの底面のうち、細胞の存在する箇所を通過する光は細胞によって散乱し、散乱した光の一部がカメラに入射して細胞が白く映り、細胞のない箇所を通過する光は散乱せず、光がカメラに入射せず黒く映る。このようにして、容器Ｃの内底面近傍で発現、成育する細胞を特定するのに適正な光を照射することができる。そして、細胞の外形状を白い塊として認識できるコントラストが得られる。なお、下方から光を照射することにより、容器Ｃの蓋による反射光で細胞が白つぶれして観察できなくなることを防ぐ効果が得られる。
【００２９】
拡大観察部２０は所謂位相差顕微鏡であって本体２の密閉された筐体内部の全体観察部１０より後方の箇所に設けられ、対物レンズ２１、反射ミラー２２、ズームレンズ２３といった拡大観察光学系と、撮像部であるＣＣＤカメラ２４と、拡大観察照明である位相差照明部２５とを備えている。
【００３０】
対物レンズ２１は搬送部３０の移動空間のすぐ下方に配置され、上方に向かって容器Ｃ内を観察可能にして設けられている。なお、容器Ｃの底面に最も接近するレンズ部である対物レンズ２１の周辺には下部本体２内で発生する熱が容器Ｃに影響を及ぼすのを防止するためのカバー部材である対物レンズカバー２６が設けられている。また、対物レンズカバー２６の上部先端であって対物レンズ２１と容器Ｃとの間の箇所には窓部２７が設けられている。
【００３１】
ここで、熱は密閉された筐体内のモータやカメラ、照明から発生して充満し、対物レンズ２１付近にも滞留して上方へ発散しようとする。少ない面積の対物レンズカバー２６ではなく、拡大観察光学系全部を覆うカバーとした場合、拡大観察光学系と容器Ｃ底面との接近は筐体内の熱が伝達し易くなり、培養液温度が上昇し易くなってしまう。
【００３２】
これに対して、対物レンズカバー２６は容器Ｃ底面に接近している箇所の面積をできるだけ少なくすることで、容器Ｃ底面と対物レンズカバー２６との隙間がほとんどなく、空気が流通しないことに起因する熱影響を抑制している。同時に、対物レンズカバー２６は対物レンズ２１周辺のみを覆うことで対物レンズカバー２６の表面積を増大することができるので、空気が流通し易い対物レンズカバー２６の横方向へも熱発散することができ、容器Ｃへの熱伝達を抑制することが可能である。
【００３３】
このようにして、拡大観察光学系と容器Ｃとの間に、対物レンズ２１周辺のみを覆う、窓部２７を備えた対物レンズカバー２６を構成することにより、拡大観察光学系が発する熱が容器Ｃに伝わり難くなる。したがって、レンズ駆動系の発熱による影響が細胞の成育に及ぶのを抑制できる。
【００３４】
反射ミラー２２は対物レンズ２１の下方に配置され、後方に向かって略水平に光を反射するよう傾斜させて設けられている。反射ミラー２２は対物レンズ２１から得られた像を後方のズームレンズ２３に導く。ズームレンズ２３は反射ミラー２２の後方に前後方向に延びる形で配置され、対物レンズ２１から得られた像を拡大する。ＣＣＤカメラ２４はズームレンズ２３のさらに後方に設けられ、その撮像素子面が前方のズームレンズ２３の方を向くように配置されている。
【００３５】
位相差照明部２５は本体２の上部に設けられ、ＬＥＤ２５ａと、反射ミラー２５ｂとを備えている。ＬＥＤ２５ａは位相差照明部２５の下方に位置する搬送部３０の観察対象である容器Ｃ内の細胞を照らす光を照射する。反射ミラー２５ｂは対物レンズ２１の鉛直上方に配置され、ＬＥＤ２５ａが照射した光が容器Ｃを経て対物レンズ２１に到達するよう光を反射させる。
【００３６】
このような構成により、拡大観察部２０は位相差照明部２５を用いて容器Ｃに光を照射することにより対物レンズ２１、反射ミラー２２、及びズームレンズ２３を経て得られる像がＣＣＤカメラ２４の撮像素子面で結像し、容器Ｃ内の一部の領域を拡大して容器Ｃ内の細胞を画像として撮像する。そして、撮像した画像が記憶されるので、容器Ｃ内の細胞塊の識別や特定、詳細な観察が容易になる。
【００３７】
また、拡大観察部２０は細胞を拡大して観察するための複数のレンズとそのズーム機構とを有する比較的重量が重い拡大観察光学系が下方に配置されるので、装置の重量バランスが適正になって安定した拡大観察が可能になる。そして、容器Ｃの内底面近傍で発現、成育する細胞に対して容器Ｃの下方から対物レンズ２１を接近させることができるので、焦点距離を短くして比較的大きな拡大率で観察することが可能である。さらに、拡大観察部２０は容器Ｃの下方から観察するので、容器Ｃの蓋の汚れの影響を受けることなく観察することが可能である。
【００３８】
搬送部３０は本体２の正面中央部であって、下方の全体観察部１０のリング照明１３や拡大観察部２０の拡大観察光学系と、上方の全体観察部１０の全体観察光学系や拡大観察部２０の位相差照明部２５とに挟まれた形で設けられている。搬送部３０はホルダ３１を備え、このホルダ３１が観察対象である細胞と細胞の培養液とが入った容器Ｃを把持している。ホルダ３１は全体観察部１０と拡大観察部２０とに対して位置決めがなされ、容器Ｃはホルダ３１に対して位置決めがなされている。これにより、容器Ｃとホルダ３１とを一緒に取り外して培養液を交換したり、試薬を投入したりしても、全体観察部１０と拡大観察部２０とにおいて同一箇所の観察が容易である。
【００３９】
駆動部４０は搬送部３０の後方及び側方に設けられ、ｘ軸駆動機構４１、ｘ軸モータ４２、ｙ軸駆動機構４３、ｙ軸モータ４４、ｚ軸モータ４５、及びズームモータ４６を備えている。なお、図２及び図３に示すように観察装置１に対して左右方向をｘ軸と、前後方向をｙ軸と、上下方向をｚ軸として説明する。
【００４０】
ｘ軸駆動機構４１は搬送部３０のすぐ後方に配置されるとともに搬送部３０を直接支持している。ｘ軸駆動機構４１は図示しないベルト、プーリ、スライドガイド部材、シャフト等を備えてｘ軸モータ４２によって駆動され、搬送部３０を左右方向に移動させる。ｙ軸駆動機構４３は搬送部３０及び本体２の側面の箇所に配置され、ｘ軸駆動機構４１を支持している。ｙ軸駆動機構４３は図示しないベルト、プーリ、スライドガイド部材等を備えてｙ軸モータ４４によって駆動され、ｘ軸駆動機構４１とともに搬送部３０を前後方向に移動させる（図４参照）。
【００４１】
このような駆動機構を動作させることにより、搬送部３０は全体観察部１０から拡大観察部２０まで、またはその逆方向に容器Ｃを搬送する。容器Ｃが移動されるので、全体観察部１０と拡大観察部２０とが離れた箇所に配置されていても容器Ｃ全体を観察して発現した細胞塊を特定でき、さらにこの特定した細胞塊を拡大して詳細を観察することが可能になる。
【００４２】
また、搬送部３０は上記のように全体観察部１０と拡大観察部２０の光軸方向と垂直をなす方向に容器Ｃを搬送するものであって、搬送方向の少なくとも一方向、すなわち前後方向を共通にしていることにより全体観察部１０における観察視野内の座標を拡大観察部２０における観察視野内の座標に一致させる。これにより、全体観察部１０と拡大観察部２０との互いの観察視野内における座標が一致するので、全体観察部１０で容器Ｃ全体を観察して特定した細胞塊を拡大観察部２０で容易に識別できる。したがって、目標の細胞塊を誤って識別することが防止され、高精度な観察が実現できる。
【００４３】
ｚ軸モータ４５及びズームモータ４６は搬送部３０後方の本体２内に配置されている。ｚ軸モータ４５は拡大観察光学系及びＣＣＤカメラ２４を上下方向に移動させるためのモータである。ズームモータ４６はズームレンズ２３の拡大倍率の変更させるためのモータであり、撮像する画像の倍率変更が可能である。
【００４４】
コンピュータ２００は、図５に示すように演算部２０１を少なくとも備えている。なお、記憶部２１０、計時部２０２、入力部２０３、及び出力部２０４を備えてもよい。
【００４５】
演算部２０１は一般的なマイコンやその他の電子部品によって構成され、このマイコン内部や記憶部２１０等に記憶、入力された観察プログラム２２０やその他のデータ等に基づいて観察装置１に係る一連の観察動作を制御する。なお、全体観察部１０または拡大観察部２０によって撮像された画像の処理を行う画像処理部を別途設けても良い。
【００４６】
演算部２０１で実行される観察プログラム２２０は、図５に機能ブロック図でハードウェア的に示したように細胞塊識別部２２１、細胞塊ソート部２２２、座標検出部２２３、座標変換部２２４、細胞塊抽出部２２５、形状識別部２２６、及び形状判定部２２７を備えている。なお、観察プログラム２２０はこれら各々の処理ブロックのほか、観察装置１の全体観察部１０に指令を送り容器Ｃ全体を撮像することで細胞の画像を撮像させる全体撮像処理と、拡大観察部２０に指令を送り容器Ｃ内を拡大して細胞の画像を撮像させる拡大撮像処理とを実行する。
【００４７】
細胞塊識別部２２１はまずカラー画像の場合はグレー画像に変換した上で、全体撮像処理で撮像した画像の細胞塊でない部分と細胞塊の部分とを所定の閾値を用いて区別する。これにより、細胞塊でない部分が黒に細胞塊の部分が白に二値化される。そして、細胞、すなわち白色の画素数を算出する。この白色の画素数を算出する方式としては、例えば白色の画素の連結領域を算出するラベリング方式や任意位置の予め定めた小領域内の白色の画素数ができるだけ多くなるように領域を算出する小領域方式などが掲げられる。
【００４８】
ラベリング方式は単一の白色画素領域の大きさや白色画素領域の密集度合いによって細胞塊を識別する方式であり、小領域方式は白色画素領域の数や多さ、密集度合いによって細胞塊を識別する方式である。この他に、細胞塊の単離度合い（個々の細胞塊同士が所定の距離を保って存在している度合い）によって識別しても良い。なお、ここではラベリング方式を採用することとする。
【００４９】
ラベリング処理は二値化処理された画像に関して、隣接する白色画素（または黒色画素）に同じ番号（ラベル）を割り振ることにより複数の画素をグループ化する処理のことである。ラベリング処理における隣接の判定では４連結（４近傍）と８連結（８近傍）とを用いる。４連結では注目画素の上下左右に連続していれば隣接と判定し、８連結ではさらに斜め４方向の連続も加味して隣接を判定する。このようにして、細胞塊識別部２２１は全体撮像処理で撮像した画像から二値化した白色画素の塊、すなわち細胞塊を識別する。
【００５０】
そして、細胞塊識別部２２１は識別した細胞塊のうち所定サイズ以上の細胞塊を拡大観察対象細胞塊として認識する。「所定サイズ」は細胞塊の予め設定したサイズであり、拡大観察の対象とすべきであると判断することができる程度のサイズである。ここでは、所定サイズを例えば画素数にして１０００ピクセルと設定し、記憶部２１０などに記憶している。これにより、画素数にして１０００ピクセル以上の細胞塊が拡大観察対象細胞塊として認識されるので、細胞塊の発現のときを見極めることができる。したがって、細胞塊の発現のときから成育完了まで継続して観察を行うことが可能になる。
【００５１】
細胞塊ソート部２２２は細胞塊識別部２２１で識別された細胞塊、すなわち白色の画素の塊のうち、画素数の多いものから順にソートを実行する。そして、例えば画素数の多いものから順に予め定められた個数の細胞塊が観察対象などとして選択される。
【００５２】
座標検出部２２３は細胞塊識別部２２１で識別され、細胞塊ソート部２２２でソートされた細胞塊、すなわち白色画素の塊の中心座標を検出する。
【００５３】
座標変換部２２４はまず全体撮像処理で撮像した画像上の画素による座標を算出する。そして、画像中心を原点とする実寸に変換する。ここで、画像の歪曲収差などの各種収差を補正しても良い。さらに、座標変換部２２４はこの実寸で表された画像上位置に整合するように、実寸を観察装置１の駆動部４０のｘ軸モータ４２及びｙ軸モータ４４のモータパルス数に変換する。このようにして、座標変換部２２４は拡大撮像処理で撮像する画像上の座標が全体撮像処理で撮像した画像上の座標に一致する共通の座標系を形成する。
【００５４】
細胞塊抽出部２２５は拡大撮像処理で撮像された画像から座標検出部２２３が検出した座標の細胞塊を抽出する。
【００５５】
形状識別部２２６はまず拡大撮像処理で撮像した画像に対して予め準備したパッチ画像とのマッチングを行う。マッチング結果としては、拡大撮像処理で撮像した画像とパッチ画像との、濃淡で表現された距離画像が得られる。そして、形状識別部２２６はその距離画像を所定の閾値を用いて二値化処理を実行する。マッチングの手法としては、例えばテンプレートマッチングやヒストグラムマッチングなどが挙げられ、判定対象の画像、すなわち拡大撮像処理で撮像した画像をパッチ画像によりラスタスキャンして双方の距離を算出する。パッチ画像を多数準備する場合はマッチング結果の距離画像を積算する。なお、拡大撮像処理で撮像した画像内に複数個の細胞塊が存在する場合でも、形状識別部２２６は各々の細胞塊を別個のものとして識別できる。
【００５６】
続いて、形状識別部２２６は二値化処理された画像において、例えばエッジ抽出フィルタによる輪郭抽出と８連結探索による輪郭追跡を実行して輪郭を検出する。輪郭抽出の際のエッジ抽出フィルタとしては、例えば微分フィルタやプリューウィットフィルタ、ソーベルフィルタ、Ｃａｎｎｙ Ｅｄｇｅ Ｄｅｔｅｃｔｏｒなどを用いることができる。輪郭追跡では輪郭の追跡開始点から一方向に順次輪郭点を追跡していくことで輪郭線を抽出でき、４連結探索を用いることもできる。
【００５７】
そして、形状識別部２２６は輪郭検出結果から円や楕円、矩形などの所定形状を検出する。輪郭やエッジから円を検出する手法としてはハフ変換などを用いることができる。輪郭やエッジから楕円を検出する手法としては一般化ハフ変換や最小二乗推定によって輪郭の点列に楕円をフィットさせる手法などを用いることができる。輪郭やエッジから矩形を検出する手法としては輪郭の点列を全て包含するように矩形をフィットさせる手法などを用いることができる。このようにして、形状識別部２２６は拡大撮像処理で撮像した画像から細胞塊の輪郭抽出し、形状を識別する。
【００５８】
形状判定部２２７は形状識別部２２６で識別された細胞塊の形状が所定形状であるか否かを判定する。「所定形状」は細胞塊の予め設定した形状であり、観察するに好適に成育し続ける可能性が高いと判断することができる程度の形状であってできるだけ円形に近いものが良い。
【００５９】
細胞塊の所定形状の判定条件としては形状のほか、例えば大きさや凹凸度合いといった条件を加味しても良い。形状の判定条件としては、例えば輪郭を囲む楕円の楕円形度、輪郭を囲む円の真円度などが挙げられる。大きさの判定条件としては、例えば白色画素塊の大きさ、白色画素塊の輪郭の長さ、白色画素塊の輪郭内部の面積、楕円の長軸長さ、楕円の短軸長さ、楕円の円周の長さ、円の直径、円周の長さ、輪郭を囲む矩形の長さ、輪郭を囲む矩形の面積などが挙げられる。凹凸度合い判定条件としては、例えば輪郭の面積と周囲長との比、輪郭の面積と輪郭を囲む矩形の面積との比、輪郭の長さと輪郭を囲む矩形の長さとの比、輪郭のコーナー数、輪郭の面積と輪郭を囲む円或いは楕円の面積との比、輪郭の長さと輪郭を囲む円の円周或いは楕円の円周の長さとの比、輪郭を囲む矩形の面積と輪郭を囲む円或いは楕円の面積との比、輪郭を囲む矩形の長さと輪郭を囲む円或いは楕円の長さとの比などが挙げられる。輪郭のコーナー数で判定する際のコーナー検出手法としては、例えばハリスのコーナー検出やＳＵＳＡＮオペレータなどを用いることができる。
【００６０】
ここでは、細胞塊の所定形状の判定条件を例えば楕円形度にして１．１以下と設定し、記憶部２１０などに記憶している。なお、楕円形度は楕円の短軸長さに対する長軸長さの比である。これにより、できるだけ円形に近い細胞塊が識別されるので、観察を続けるのに適正な形状の細胞塊を自動的に選別することができる。したがって、成育過程で歪な形状に成育した細胞塊の観察順位を低くしたり、観察を中止したりすることができ、適正な形状の細胞塊の観察をより一層効率良く進めることが可能になる。
【００６１】
また、形状判定を閾値（例えば楕円形度１．１）によって明示的に行う方法だけでなく、判定結果の優劣に基づいて細胞塊画像をソートしてモニタ２０４ａに表示（楕円形度なら、楕円形度が小さい順に表示）し、どの細胞塊までを好適と判定するかをユーザに委ねるような方法でも良い。
【００６２】
記憶部２１０は細胞の観察や観察システムＳの動作に関する様々なデータを記憶するためのものであって、例えば観察タイミング保持部２１１、観察位置保持部２１２、位置更新可否保持部２１３、閾値保持部２１４、形状保持部２１５、及び観察画像保持部２１６を備えている。
【００６３】
観察タイミング保持部２１１は観察に係る期間や日数、期限などといった日時に関する様々なデータを保持する。例えば、拡大観察対象細胞塊の識別を実行するタイミングについて設定した細胞塊の識別に関する所定期間である「所定識別期間」、拡大観察対象細胞塊の識別を終了するタイミングについて設定した所定日数である「所定識別日数」、拡大した細胞塊の撮像を実行するタイミングについて設定した拡大画像の撮像に関する所定期間である「所定撮像期間」、細胞の観察を終了するタイミングについての予め設定した所定期限である「所定観察期限」などといったデータである。これらのデータは観察プログラム２２０において適宜判定条件として使用され、計時部２０２で計測される日時と比較される。
【００６４】
観察位置保持部２１２は全体観察によって得られた細胞塊の観察位置（座標）や、手動で設定した観察位置（座標）といったデータを保持する。
【００６５】
位置更新可否保持部２１３は観察タイミング保持部２１１に記憶された所定識別期間に応じて、前回の全体観察時に得て観察位置保持部２１２に記憶された細胞塊の観察位置を更新するか否かのフラグを保持する。
【００６６】
閾値保持部２１４は観察に係る閾値に関する様々なデータを保持する。例えば、二値化処理の際に白色画素か黒色画素かを判定するための閾値、ラベリングされた白色画素塊を細胞塊として抽出するか否かを判定するための画素数についての閾値などといったデータである。
【００６７】
また、閾値保持部２１４は形状識別処理実行の際、好適に成育し得る細胞塊を識別するための閾値を保持する。例えば、白色画素塊の大きさで判定するための画素数の閾値、白色画素塊の輪郭の長さで判定するための輪郭の長さの閾値、白色画素塊の輪郭内部の面積で判定するための面積の閾値、輪郭を囲む円の真円度で判定するための真円度の閾値、輪郭を囲む楕円の楕円形度で判定するための楕円長軸と楕円短軸の比の閾値、円の直径で判定するための直径の閾値、円周の長さで判定するための円周の閾値、楕円の長軸長さで判定するための長軸の閾値、楕円の短軸長さで判定するための短軸の閾値、楕円の円周の長さで判定するための楕円円周の閾値、輪郭を囲む矩形の長さで判定するための矩形の長さの閾値、輪郭を囲む矩形の面積で判定するための矩形の面積の閾値、輪郭の面積と周囲長との比で判定するための輪郭の面積と周囲長との比の閾値、輪郭の面積と輪郭を囲む矩形の面積との比で判定するための面積比の閾値、輪郭の長さと輪郭を囲む矩形の長さとの比で判定するための長さ比の閾値、輪郭のコーナー数で判定するためのコーナー数の閾値、輪郭の面積と輪郭を囲む円或いは楕円の面積との比で判定するための面積比の閾値、輪郭の長さと輪郭を囲む円或いは楕円の長さとの比で判定するための長さ比の閾値、輪郭を囲む矩形の面積と輪郭を囲む円或いは楕円の面積との比で判定するための面積比の閾値、輪郭を囲む矩形の長さと輪郭を囲む円或いは楕円の長さとの比で判定するための長さ比の閾値などといったデータである。
【００６８】
形状保持部２１５は形状識別処理の全ての方法について、細胞塊の形状識別処理結果を保持する。
【００６９】
観察画像保持部２１６は拡大観察画像、全体観察画像を保持する。
【００７０】
なお、観察タイミング保持部２１１や閾値保持部２１４は観察プログラム２２０に関する諸設定をユーザが適宜変更できる設定部としても機能する。観察タイミング保持部２１１を用いて設定可能な事項としては、例えば全体観察部１０や拡大観察部２０において画像を撮像するタイミングや、観察に係る期間や日数、期限などといった設定事項である。閾値保持部２１４を用いて設定可能な事項としては、例えば拡大観察対象細胞塊の判定基準である細胞塊の所定サイズ、細胞塊が観察を続けるのに適正な形状であるか否かの判定基準である細胞塊の所定形状などといった設定事項である。
【００７１】
計時部２０２は細胞の観察開始からの日時や観察システムＳの動作制御に関する時間を計測するためのものであって、各種時間を把握できる。
【００７２】
入力部２０３は、例えばキーボード２０３ａやマウス２０３ｂなどのポインティングデバイスで構成されている。ユーザはキーボード２０３ａを用いて文字や数値などの入力を行う。また、ユーザはマウス２０３ｂを用いて出力部２０４のモニタ２０４ａの画面上でカーソルを任意の方向に移動させ、メニューやその他選択肢の選択を行う。演算部２０１は入力部２０３から得られる情報に基づき演算部２０１や記憶部２１０に記憶、入力されたプログラム、データ、ファイルに対して各種処理を実行したり、出力部２０４に対して出力処理を実行したりする。
【００７３】
出力部２０４は、例えば液晶ディスプレイ、ＣＲＴ等のモニタ２０４ａやスピーカ２０４ｂで構成されている。演算部２０１は実行されるプログラムの処理に基づいてモニタ２０４ａにウィンドウやアイコン、メニューなどを表示させたり、スピーカ２０４ｂから発音させたりする。また、演算部２０１は入力部２０３からの情報に基づいてモニタ２０４ａにユーザが入力した文字や数値などを表示させ、ユーザが移動させるカーソルを表示させる。
【００７４】
続いて、容器Ｃ内の細胞の観察に係るユーザによる観察システムＳの操作について、図６に示すフローに沿って説明する。図６は観察システムＳの操作に係るフローを示す説明図である。
【００７５】
ユーザは最初に観察装置１、制御装置１００、及びコンピュータ２００の電源をオンにして観察システムＳを起動させる（図６のステップ＃１０１）。そして、ユーザは搬送部３０のホルダ３１に細胞と細胞の培養液とが入った容器Ｃをセットする（ステップ＃１０２）。続いて、ユーザはコンピュータ２００において観察プログラム２２０を起動させると（ステップ＃１０３）、モニタ２０４ａ上に操作画面が表示される。
【００７６】
観察プログラム２２０はプログラムの起動と連動して自動的に、搬送部３０の原点復帰動作を実行するようになっている（ステップ＃１０４）。そして、観察プログラム２２０はカメラによる撮像を開始し（ステップ＃１０５）、モニタ２０４ａにカメラからのリアルタイム画像を表示させる。
【００７７】
続いて、ユーザはモード設定操作を実行する（ステップ＃１０６）。このモード設定操作では通常タイムラプス探索操作（ステップ＃１０７）と、全体観察操作（ステップ＃１０８）とが選択できる。タイムラプス観察とは所定期間ごとに予め設定された位置を観察する手法である。
【００７８】
通常タイムラプス探索操作（ステップ＃１０７）ではユーザがモニタ２０４ａ上やキーボード２０３ａの矢印キーで容器Ｃを移動させながら容器Ｃ内を観察し、目標の細胞を確認する。そして、キャプチャ画像の取得や表示、保存、さらに座標設定、座標保存などを実行する。
【００７９】
全体観察操作（ステップ＃１０８）ではユーザが全体観察における所定識別期間や所定識別日数の設定を行う。画像の取得や表示、保存、さらに観察位置表示などは設定に基づき自動的に実行される。
【００８０】
次に、目的別操作（ステップ＃１０９）では終了（ステップ＃１１０）、目視継続（ステップ＃１１１）、及びタイムラプス（ステップ＃１１２）の操作が選択できる。
【００８１】
終了（ステップ＃１１０）を選択すると、カメラによる撮像が停止され、設定が保存される。目視継続（ステップ＃１１１）を選択すると、カメラによって撮像された画像の手動によるキャプチャ保存が可能である。
【００８２】
タイムラプス（ステップ＃１１２）を選択すると、さらにタイムラプス観察開始、タイムラプス一時停止、及びタイムラプス再開の操作が可能である。タイムラプスを一時停止させた場合、容器Ｃの取り出しや培養液の交換といった作業が可能である（ステップ＃１１３）。
【００８３】
このような観察プログラム２２０を用いてタイムラプス観察を実行すると、全体撮像処理で撮像した画像から発現した細胞塊を識別してその位置を特定し、さらに拡大撮像処理で撮像した画像から細胞塊の形状識別して観察を続けるのに適正な形状の細胞塊を選別するといった一連の処理を自動的に行うことが可能である。
【００８４】
続いて、観察システムＳにおける観察処理に係る動作について、図７に示すフローに沿って説明する。図７は観察システムＳにおける観察処理に係る動作を示すフローチャートである。
【００８５】
観察プログラム２２０を実行させると（図７のスタート）、観察プログラム２２０はまず所定識別期間に合致しているか否かを判定する（ステップ＃２０１）。なおこれに関して、観察プログラム２２０は計時部２０２に対して播種後、例えば細胞の観察開始からの日時と、拡大観察部２０を用いた前回の拡大観察対象細胞塊の識別からの期間とを予め計測させている。そして、所定識別期間は拡大観察対象細胞塊の識別を実行するタイミングについての予め設定した期間であり、例えば１日と設定され記憶部２１０の観察タイミング保持部２１１に記憶されている。所定識別期間は適宜設定することが可能である。
【００８６】
ステップ＃２０１において所定識別期間に合致していない場合（ステップ＃２０１のＮｏ）、観察プログラム２２０は拡大観察部２０に拡大画像を撮像させ（ステップ＃２０２）、観察処理に係る動作についての一連のフローを終了する（図７のエンド）。
【００８７】
一方、ステップ＃２０１において所定識別期間に合致している場合（ステップ＃２０１のＹｅｓ）、観察プログラム２２０は観察装置１の全体観察部１０に指令を送り容器Ｃ全体を撮像することで細胞の画像を撮像させる（ステップ＃２０３）。次に、観察プログラム２２０は撮像された全体画像の細胞塊でない部分と細胞塊の部分とを所定の閾値を用いて区別する二値化処理を実行する（ステップ＃２０４）。これにより、細胞塊でない部分が黒に細胞塊の部分が白に二値化される。
【００８８】
さらに、観察プログラム２２０は収縮膨張処理を実行する（ステップ＃２０５）。収縮膨張処理とは黒色画素に接する白色画素を剥ぎ取る処理である収縮処理、それとは逆に黒色画素に接する白色画素を加える処理である膨張処理からなる。収縮処理では微小な白色画素の塊を黒色画素に反転し、膨張処理では白色画素領域内に存在する微小な黒色画素の塊を白色画素に反転できるため、ノイズを除去する効果がある。
【００８９】
そして、観察プログラム２２０はラベリング処理を実行し（ステップ＃２０６）、任意位置の予め定めた小領域ごとに白色の画素数を算出し、白色画素の塊、すなわち細胞塊を識別する。さらに、観察プログラム２２０は識別された細胞塊、すなわち白色画素の塊のうち、画素数の多いものから順にソートを実行する（ステップ＃２０７）。
【００９０】
次に、観察プログラム２２０は最大の白色画素の塊（細胞塊）のサイズが閾値、すなわち所定サイズ以上か否かを判定する（ステップ＃２０８）。この閾値としての所定サイズは、例えば画素数にして１０００ピクセルと設定し、記憶部２１０の閾値保持部２１４に記憶している。最大の細胞塊が所定サイズ未満である場合（ステップ＃２０８のＮｏ）、観察プログラム２２０は全体観察部１０が撮像した全体画像の任意の座標を検出して拡大観察位置としてセットし（ステップ＃２０９）、拡大観察部２０に拡大画像を撮像させる（ステップ＃２０２）。そして、観察プログラム２２０は観察処理に係る動作についての一連のフローを終了する（図７のエンド）。
【００９１】
一方、ステップ＃２０８において最大の細胞塊が所定サイズ以上である場合（ステップ＃２０８のＹｅｓ）、観察プログラム２２０は再度選択した細胞塊が所定サイズ以上であるか否かを判定する（ステップ＃２１０）。細胞塊が所定サイズ以上である場合（ステップ＃２１０のＹｅｓ）、観察プログラム２２０は白色画素の塊（細胞塊）を拡大観察対象細胞塊として認識してその中心座標を検出する（ステップ＃２１１）。さらに、観察プログラム２２０はその中心座標を拡大画像観察用に座標変換する（ステップ＃２１２）。
【００９２】
次に、観察プログラム２２０は座標変換した細胞塊の中心座標を拡大観察位置としてセットし（ステップ＃２１３）、拡大観察部２０に拡大画像を撮像させる（ステップ＃２１４）。そして、観察プログラム２２０は次の白色画素の塊（細胞塊）を拡大観察対象細胞塊であるか否かの判定対象として選択し（ステップ＃２１５）、ステップ＃２１０に戻って選択した細胞塊が所定サイズ以上であるか否かを判定する。
【００９３】
ステップ＃２０６で識別された細胞塊が所定サイズ未満となるまで（ステップ＃２１０のＮｏ）、ステップ＃２１０〜ステップ＃２１５までのフローが繰り返され、拡大観察対象として認識された細胞塊の拡大観察位置のセットが続けられる。ステップ＃２０６で識別された細胞塊が所定サイズ未満となると（ステップ＃２１０のＮｏ）、観察プログラム２２０は観察処理に係る動作についての一連のフローを終了する（図７のエンド）。
【００９４】
そして、タイムラプス観察では拡大観察対象となる細胞塊の位置をユーザが手動で設定するか、全体観察結果から細胞塊の位置設定（位置特定）を行う。位置が特定された細胞塊に対して、観察プログラム２２０は所定撮像期間ごとに拡大観察部２０に指令を送り容器Ｃ内を拡大してその細胞の画像を撮像させ、所定観察期限に到達したことを条件として撮像を中止する。
【００９５】
なお、所定観察期限は細胞の観察を終了するタイミングについての予め設定した期限であり、例えば１０日と設定され観察タイミング保持部２１１に記憶されている。所定観察期限は適宜設定することが可能である。
【００９６】
このようにして、容器Ｃ全体を撮像した画像から細胞塊が識別されてその座標が検出され、検出された座標を中心に拡大することでその細胞塊の詳細を観察することが可能になる。また、所定撮像期間ごとに拡大された細胞の画像が撮像され、観察期限に到達したことでその撮像が終了されるので、細胞塊の発現のときから成育完了まで継続してタイムラプス観察を行うことが可能になる。
【００９７】
本発明の実施形態の構成によれば、容器Ｃ内で培養中の細胞を観察するにあたって、容器Ｃ全体を観察して発現した細胞塊を特定でき、さらにこの特定した細胞塊を拡大して詳細を観察することが可能な観察装置１を提供することができる。また、このような特定した細胞塊の発現のときから成育完了まで継続して観察を行うことが可能な観察プログラム２２０、観察方法及び観察システムＳを提供することができる。
【００９８】
（第２の実施形態）
次に、本発明の第２の実施形態に係る観察プログラムについて、その観察処理に係る動作を図８に示すフローに沿って説明する。図８は観察プログラムにおける観察処理に係る動作を示すフローチャートである。なお、この実施形態の基本的な構成は図１〜図７を用いて説明した前記第１の実施形態と同じであるので、第１の実施形態と共通する構成要素については図面の記載及びその説明を省略するものとする。
【００９９】
第２の実施形態に係る観察プログラム２２０を実行させると（図８のスタート）、観察プログラム２２０はまず所定識別期間に合致しているか否かを判定する（ステップ＃３０１）。所定識別期間に合致している場合（ステップ＃３０１のＹｅｓ）、観察プログラム２２０は観察装置１の全体観察部１０に指令を送り容器Ｃ全体を撮像することで細胞の画像を撮像させる（ステップ＃３０３）。
【０１００】
次に、観察プログラム２２０は容器Ｃに細胞を播種後、所定識別日数が経過したか否かを判定する（ステップ＃３０４）。なおこれに関して、観察プログラム２２０は計時部２０２に対して播種後、例えば細胞の観察開始からの日時を予め計測させている。そして、所定識別日数は拡大観察対象細胞塊の識別を終了するタイミングについての予め設定した日数であり、例えば５日と設定され記憶部２１０の観察タイミング保持部２１１に記憶されている。
【０１０１】
ステップ＃３０４において播種後、例えば細胞の観察開始からの日時が所定識別日数である５日を経過している場合（ステップ＃３０４のＹｅｓ）、観察プログラム２２０は拡大観察部２０に拡大画像を撮像させ（ステップ＃３０２）、観察処理に係る動作についての一連のフローを終了する（図８のエンド）。すなわち、観察開始から５日を経過すると、拡大観察対象となる細胞塊の識別を中止してその位置情報を更新しない。
【０１０２】
ステップ＃３０４において播種後、例えば細胞の観察開始からの日時が所定識別日数である５日を経過していない場合（ステップ＃３０４のＮｏ）、観察プログラム２２０は撮像された全体画像の細胞塊でない部分と細胞塊の部分とを所定の閾値を用いて区別する二値化処理を実行する（ステップ＃３０５）。以下、ステップ＃３０５〜ステップ＃３１６の動作フローは第１の実施形態のステップ＃２０４〜ステップ＃２１５の動作フローと同じであるので、説明を省略する。
【０１０３】
そして、タイムラプス観察では所定識別期間ごとに拡大観察対象細胞塊を認識できるまで上記の拡大観察対象細胞塊の識別を繰り返し、且つ所定識別日数（５日）を経過したことを条件として拡大観察対象細胞塊の識別を中止する。所定識別期間は計時部２０２で計測される拡大観察対象細胞塊の識別を実行するタイミングについての予め設定した期間であり、例えば１日と設定され記憶部２１０の観察タイミング保持部２１１に記憶されている。所定識別期間及び所定識別日数は適宜設定することが可能である。
【０１０４】
このようにして、拡大観察対象細胞塊を認識する、すなわち細胞塊の発現のときを見極められるまで所定識別期間（１日）ごとに拡大観察対象細胞塊の識別を繰り返すので、自動的に細胞塊の発現のときを見極められる。そして、細胞の観察開始から所定識別日数（５日）経過後は拡大観察対象細胞塊の識別が中止されるので、全体観察で特定した細胞塊の拡大観察のみが実行されて成育完了まで観察を効率良く進めることができる。
【０１０５】
なお、拡大観察対象細胞塊の識別を継続するか否かの判定はステップ＃３０４のように日数に基づき自動的に実行させる方法のほか、ユーザが自由に設定できるようなウィンドウやユーザインターフェースを設け、拡大観察対象細胞塊の識別を継続するか否かの判定をユーザに委ねる方法にしても良い。
【０１０６】
（第３の実施形態）
次に、本発明の第３の実施形態に係る観察プログラムについて、その観察処理に係る動作を図９及び図１０に示すフローに沿って説明する。図９は観察プログラムにおける観察処理に係る動作を示すフローチャート、図１０は図９に示す観察処理に係る動作を示すフローチャートの続きである。なお、この実施形態の基本的な構成は前記第１及び第２の実施形態と同じであるので、これらの実施形態と共通する構成要素については図面の記載及びその説明を省略するものとする。
【０１０７】
第３の実施形態において、図９の動作フローのステップ＃４０１〜ステップ＃４１０及び図１０の動作フローのステップ＃４１１〜ステップ＃４１３は図７及び図８の動作フローと同じであるので、説明を省略する。
【０１０８】
観察プログラム２２０は図１０のステップ＃４１３で拡大観察用に座標変換した細胞塊の中心座標を拡大観察位置として仮セットする（ステップ＃４１４）。そして、観察プログラム２２０は拡大観察部２０に指令を送り容器Ｃ内の拡大観察位置に関して拡大して細胞の画像を撮像させる（ステップ＃４１５）。
【０１０９】
続いて、観察プログラム２２０は拡大撮像処理で撮像された画像から細胞塊の輪郭を抽出し（ステップ＃４１６）、形状を識別する（ステップ＃４１７）。そして、観察プログラム２２０は識別された細胞塊の形状が所定形状、すなわち楕円形度の閾値以下であるか否かを判定する（ステップ＃４１８）。この所定形状を示す楕円形度の閾値としては、例えば１．１と設定され記憶部２１０の閾値保持部２１４に記憶されている。細胞塊の所定形状を示す楕円形度の閾値は適宜設定することが可能である。また、楕円形度に代わる細胞塊の所定形状の判定条件、例えば真円度を設定することも可能である。
【０１１０】
ステップ＃４１８において細胞塊の楕円形度が閾値以下である場合（ステップ＃４１８のＹｅｓ）、観察プログラム２２０は細胞塊の中心座標を拡大観察位置として正式にセットする（ステップ＃４１９）。一方、細胞塊の楕円形度が閾値を超えている場合（ステップ＃４１８のＮｏ）、観察プログラム２２０は仮セットした拡大観察位置を消去する（ステップ＃４２０）。そして、観察プログラム２２０は次の白色画素の塊（細胞塊）を拡大観察対象細胞塊であるか否かの判定対象として選択し（ステップ＃４２１）、ステップ＃４１１に戻って選択した細胞塊が所定サイズ以上であるか否かを判定する。
【０１１１】
このようにして、所定形状の細胞塊が識別されるので、観察を続けるのに適正な形状の細胞塊を自動的に選別することができる。その結果、成育過程で歪な形状に成育した細胞塊の観察を中止することができ、適正な形状の細胞塊の観察をより一層効率良く進めることが可能になる。
【０１１２】
なお、ステップ＃４１８の細胞塊の形状判定は閾値（例えば楕円形度１．１）によって明示的に行う方法だけでなく、判定結果の優劣に基づいて細胞塊画像をソートしてモニタ２０４ａに表示（楕円形度なら、楕円形度が小さい順に表示）し、どの細胞塊までを好適と判定するかをユーザに委ねるような方法でも良い。
【０１１３】
（第４の実施形態）
次に、本発明の第４の実施形態に係る観察装置について、図１１を用いてその構成を説明する。図１１は観察装置の垂直断面側面図である。なお、この実施形態の基本的な構成は図１〜図７を用いて説明した前記第１の実施形態と同じであるので、第１の実施形態と共通する構成要素には前と同じ符号を付し、図面の記載及びその説明を省略するものとする。
【０１１４】
第４の実施形態に係る観察装置１は、図１１に示すように全体観察部１０がレンズ１１、反射ミラー１４といった全体観察光学系と、撮像部であるＣＭＯＳカメラ１２と、全体観察照明であるリング照明１３と、環状窓部１５とを備えている。
【０１１５】
反射ミラー１４は容器Ｃを把持する搬送部３０の移動空間の上方に配置され、容器Ｃに対して照射された光が前方に向かって略水平に反射するよう傾斜させて設けられている。反射ミラー１４は容器Ｃに対して照射された光を前方のレンズ１１に導く。ＣＭＯＳカメラ１２はレンズ１１のさらに前方に設けられ、その撮像素子面が後方のレンズ１１の方を向くように配置されている。
【０１１６】
リング照明１３は搬送部３０の移動空間の下方に配置され、且つ拡大観察部２０の対物レンズ２１部分がリング照明１３の内側を貫通するように配置されている。そして、リング照明１３は斜め上方であってリングの中心に向かって光を照射し、リング照明１３の上方に位置する搬送部３０の観察対象である容器Ｃ内の細胞を照らす。このため、リング照明１３の上方の本体２筐体に環状窓部１５が設けられている。環状窓部１５は対物レンズカバー２６をぐるりと取り囲むように配置されている。これにより、リング照明１３の光が環状窓部１５を透過して容器Ｃに到達する。
【０１１７】
そして、リング照明１３の中心から容器Ｃを経て反射ミラー１４に到達するその光軸が、拡大観察部２０の位相差照明部２５の反射ミラー２５ｂから容器Ｃを経て対物レンズ２１に到達する光軸とがともに一致し、さらに軸線が一致するように全体観察部１０が構成、配置されている。なお、反射ミラー１４はハーフミラーであって、リング照明１３からの光を反射してレンズ１１、ＣＭＯＳカメラ１２に到達させ、位相差照明部２５からの光を透過して対物レンズ２１などに到達させる。
【０１１８】
これにより、全体観察部１０と拡大観察部２０との互いの観察視野内における座標を容易に一致させることができる。また、全体観察の後、容器Ｃを比較的狭い範囲で移動させるだけで拡大観察位置に到達させることができるので、観察作業の時間短縮を図りながらより高精度な観察が可能である。
【０１１９】
（第５の実施形態）
次に、本発明の第５の実施形態に係る観察装置システムについて、図１２を用いてその構成を説明する。図１２は観察装置システムの構成図である。なお、この実施形態の基本的な構成は図１〜図７を用いて説明した前記第１の実施形態と同じであるので、第１の実施形態と共通する構成要素には前と同じ符号を付し、図面の記載及びその説明を省略するものとする。
【０１２０】
第５の実施形態に係る観察システムＳの観察装置１は、図１２に示すようにインキュベータ３００の内部に収容されている。インキュベータ３００は細胞を培養または保存するための保存庫の一例であって、生物学的及び／または物理学的に密閉された保存空間Ｅを形成している。観察装置１はインキュベータ３００の内部に設けられた棚３０１上に設置されて使用される。
【０１２１】
ここで、インキュベータ３００の内部は、例えば室温３７°Ｃ、湿度１００％といった庫内環境に保たれていることが多い。このような環境ではその湿気に起因した光学系の曇りによる画質劣化、駆動機構やカメラ、照明等における電装部短絡などといった不具合が発生する可能性が高い。このため、インキュベータ３００の内部に配置する場合は特に、観察装置１に密閉された筐体（本体２）が必要となる。
【０１２２】
観察装置１の密閉された筐体内部では、駆動機構やカメラ、照明等から発生した熱が充満し、対物レンズ２１付近にも滞留してさらに上方へ発散しようとする。これに対して、対物レンズカバー２６の窓部２７は照明の光量を減衰させずに面積を最小にできる範囲である１ｍｍ〜１０ｍｍ程度であって、対物レンズカバー２６も窓部２７に合わせて容器Ｃ底面に接近している箇所の面積をできるだけ少なくしたことで、容器Ｃ底面と対物レンズカバー２６との隙間がほとんどなく、空気が流通しないことに起因する熱影響を抑制している。同時に、対物レンズカバー２６は対物レンズ２１周辺のみを覆うことで対物レンズカバー２６の表面積を増大することができるので、空気が流通し易い対物レンズカバー２６の横方向へも熱発散することができ、容器Ｃへの熱伝達を抑制することが可能である。
【０１２３】
このような作用も含めて、観察装置１をインキュベータ３００内部に設置した構成であっても、容器Ｃ内で培養中の細胞を観察するにあたって、容器Ｃ全体を観察して発現した細胞塊を特定でき、さらにこの特定した細胞塊を拡大して詳細を観察することが可能な観察装置１を提供することができる。また、このような特定した細胞塊の発現のときから成育完了まで継続して観察を行うことが可能な観察システムＳを提供することができる。
【０１２４】
（第６の実施形態）
次に、本発明の第６の実施形態に係る観察装置システムについて、図１３及び図１４を用いてその構成を説明する。図１３は観察装置システムの構成図、図１４は図１３に示すアイソレータの部分断面側面図である。なお、この実施形態の基本的な構成は図１〜図７を用いて説明した前記第１の実施形態と同じであるので、第１の実施形態と共通する構成要素には前と同じ符号を付し、図面の記載及びその説明を省略するものとする。
【０１２５】
第６の実施形態に係る観察システムＳの観察装置１は、図１３及び図１４に示すようにアイソレータ４００の内部に収容されている。
【０１２６】
アイソレータ４００は本体４０１の略中央部にケース４０２を備えている。ケース４０２は細胞の培養や処置、観察に係る作業を実施するための生物学的及び／または物理学的に密閉された作業空間Ｆを形成している。ケース４０２の正面側には正面扉４０３が開閉可能に設けられている。正面扉４０３は外から作業空間Ｆ内を見るためのガラスなどで構成された窓部４０４を備えている。
【０１２７】
正面扉４０３の窓部４０４には作業空間Ｆで作業を行うためのグローブ４０５が備えられている。グローブ４０５はケース４０２の窓部４０４から作業空間Ｆに向かって延びる形で設けられている。窓部４０４に対するグローブ４０５の取り付け箇所には開口部４０６が設けられている。作業者は開口部４０６からグローブ４０５に手を挿入して装着し、窓部４０４から密閉されたケース４０２内の作業空間Ｆを見ながら作業空間Ｆ内で作業を行う。グローブ４０５は横方向に２個並べて設けられている。なお、グローブ４０５やその開口部４０６は２個の場合だけでなく、３個や４個或いはそれ以上の個数の場合もある。
【０１２８】
アイソレータ４００はそのほか、ケース４０２の上部に気体調整部４０７を、ケース４０２を正面から見た右側に本体操作部４０８を、左側にインキュベータ４０９を備えている。
【０１２９】
このように観察装置１をアイソレータ４００内部に設置した構成であっても、容器Ｃ内で培養中の細胞を観察するにあたって、容器Ｃ全体を観察して発現した細胞塊を特定でき、さらにこの特定した細胞塊を拡大して詳細を観察することが可能な観察装置１を提供することができる。また、このような特定した細胞塊の発現のときから成育完了まで継続して観察を行うことが可能な観察システムＳを提供することができる。なお、観察装置１はインキュベータ４０９の内部に設置しても良い。
【０１３０】
（第７の実施形態）
次に、本発明の第７の実施形態に係る観察装置システムについて、図１５を用いてその構成を説明する。図１５は観察装置システムの構成図である。なお、この実施形態の基本的な構成は図１〜図７を用いて説明した前記第１の実施形態と同じであるので、第１の実施形態と共通する構成要素には前と同じ符号を付し、図面の記載及びその説明を省略するものとする。
【０１３１】
第７の実施形態に係る観察システムＳには、図１５に示すように全体観察部１０、拡大観察部２０、及び搬送部３０が備えられ、これら各々が独立して設けられている。そして、全体観察部１０、拡大観察部２０、及び搬送部３０に対しては、各々を個別に制御する制御装置５０１〜５０３と、それらに個別に指令を送るコンピュータ６０１〜６０３とが備えられている。３台のコンピュータ６０１〜６０３間には互いに通信ができるようにネットワークケーブルが接続され、全体観察と拡大観察と容器Ｃの搬送とを連携して実行できるようになっている。
【０１３２】
なお、３台のコンピュータの連携を統合して行う別のコンピュータがある構成としても良い。また、コンピュータを１台とし、この１台のコンピュータから制御装置５０１〜５０３に指令を送る構成としても良い。さらに、コンピュータ、制御装置を１台とし、この１台のコンピュータ、制御装置から全体観察部、拡大観察部、搬送部を制御する構成としても良い。
【０１３３】
また、図１５に示す搬送部３０は回転移動して全体観察部１０と拡大観察部２０との間で容器Ｃを搬送するようにしているが、第１の実施形態同様、水平移動して容器Ｃを搬送するようにしても良い。容器Ｃは全体観察部１０と拡大観察部２０とに共通の載置トレー３２に載置されている。載置トレー３２は全体観察部１０と拡大観察部２０とに対して位置決めがなされ、容器Ｃは載置トレー３２に対して位置決めがなされている。
【０１３４】
このように全体観察部１０、拡大観察部２０、及び搬送部３０を各々独立させて個別に制御する構成であっても、容器Ｃ内で培養中の細胞を観察するにあたって、容器Ｃ全体を観察して発現した細胞塊を特定でき、さらにこの特定した細胞塊を拡大して詳細を観察することが可能な観察システムＳを提供することができる。また、このような特定した細胞塊の発現のときから成育完了まで継続して観察を行うことが可能な観察システムＳを提供することができる。
【０１３５】
なお、インキュベータやアイソレータなどの狭い作業空間内では全体観察部、拡大観察部、搬送部を機構的に別体とすることで各部の柔軟な配置構成が可能となり、作業空間を有効に使用できる。
【０１３６】
以上、本発明の実施形態につき説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実施することができる。
【０１３７】
例えば、上記実施形態では培養容器１枚を観察するという内容で説明したが、培養容器複数枚を載置できるトレーを用いて複数枚を同時に観察しても良い。
【０１３８】
また、上記実施形態では全体観察部１０の撮像部にＣＭＯＳカメラ１２を、拡大観察部２０の撮像部にＣＣＤカメラ２４を用いることとしたが、カメラの種類としてはＣＭＯＳカメラ、ＣＣＤカメラいずれを用いても良い。
【産業上の利用可能性】
【０１３９】
本発明は、細胞などの試料を観察するための観察装置、観察プログラム、観察方法及び観察システムにおいて利用可能である。
【符号の説明】
【０１４０】
Ｓ 観察システム
１ 観察装置
２ 本体（筐体）
１０ 全体観察部
１１ レンズ（全体観察光学系）
１２ ＣＭＯＳカメラ（撮像部）
１３ リング照明（全体観察照明）
２０ 拡大観察部
２１ 対物レンズ（拡大観察光学系、レンズ部）
２２ 反射ミラー（拡大観察光学系）
２３ ズームレンズ（拡大観察光学系）
２４ ＣＣＤカメラ（撮像部）
２５ 位相差照明部（拡大観察照明）
２６ 対物レンズカバー（カバー部材）
２７ 窓部
３０ 搬送部
１００ 制御装置
２００ コンピュータ
２０１ 演算部
２０２ 計時部
２１０ 記憶部
２１１ 観察タイミング保持部（設定部）
２１４ 閾値保持部（設定部）
２２０ 観察プログラム
Ｃ 容器
Ｄ 空隙
【技術分野】
【０００１】
本発明は、細胞などの試料を観察するための観察システム及び観察プログラムに関する。
【背景技術】
【０００２】
細胞を培養するにあたって、複数の細胞が寄り集まった細胞塊の発現と同時に観察を開始して逐次時系列に観察できれば、例えば再生医療の支援として有望な技術と言える。このような細胞の観察は従来、細胞の培養中、培養容器への培養液の補給、交換が必要になったとき顕微鏡などを用いて行い、必要に応じて画像を撮像するようにしている。
【０００３】
しかしながら、顕微鏡を用いた細胞の観察は多くの手間を要する。例えば、容器内で発現した細胞塊を特定するためにはまず目視や顕微鏡などで容器全体を観察する必要があり、さらに対物レンズを切り替えるなどして拡大して個々の細胞塊の成育状態を観察しなければならない。拡大観察では視野が狭く、目標の細胞塊を探索するのが困難であり、さらにその細胞塊を視野に合わせるのも困難である。また、細胞を観察する場合、細胞塊の発現のときから成育完了まで、長期間の変化を一定期間ごとに観察するタイムラプス観察を行うことが望まれている。細胞の播種直後は細胞塊を目視や低倍率の顕微鏡などでは観察できないため、数日後に再探索して観察位置を再設定しなければならない。
【０００４】
また、従来の通常１日〜３日程度で１回の培養容器への培養液の補給、交換の際に行われる観察では細胞塊の発現のときからの観察が困難であり、この発現のときから細胞塊を観察可能な技術への要望が強い。さらに、容器全体を観察するときと容器内の一部を拡大して観察するときとの各々における細胞の撮像時に、照明やレンズ駆動系等の発熱による細胞の成育への影響が問題となっている。
【０００５】
このような細胞の観察に関して、容器全体を観察するときと容器内の一部を拡大して観察するときとの切り替えの手間を解消した装置が提案され、その一例を特許文献１に見ることができる。特許文献１に記載された観察装置は被観察物を撮像する倍率の異なる少なくとも２つの撮像光学系を備え、高倍率の撮像光学系で撮像した画像特徴量が同時に撮像した低倍率の撮像光学系における画像特徴量とが略等しくなるように低倍率画像の基準値を算出している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−１９８７０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載された観察装置は高倍率の撮像光学系と低倍率の撮像光学系とが共通の光源を用いて撮像しているので、容器内の細胞の詳細を観察することができない。なぜなら、高倍率の撮像光学系では微小な領域のほぼ透明な細胞を観察することに適した位相差光学系に用いられる点光源とリングスリットなどの照明が必要であり、低倍率の撮像光学系では比較的広視野を観察することに適した平面光源などの照明が必要であり、異なる照明が必要となるためである。すなわち、容器内の細胞の分布は観察できても、容器内で発現した細胞塊の特定に失敗したり、目標の細胞塊を誤って識別したりすることが懸念される。また、細胞塊の発現のときから成育完了まで継続して観察を行うことについても考慮されていない。
【０００８】
本発明は上記の点に鑑みなされたものであり、容器内の細胞等の試料を観察するにあたって、容器全体を観察して発現した試料塊を特定でき、さらにこの特定した試料塊を拡大して詳細を観察することが可能な観察装置を提供することを目的とする。また、このような特定した試料塊の発現のときから成育完了まで継続して観察を行うことが可能な観察プログラム及び観察システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の課題を解決するため、本発明の観察プログラムは、試料と溶液とが入った容器全体を撮像することで試料の画像を撮像する全体撮像処理と、全体撮像処理で撮像した画像から複数の試料が寄り集まった試料塊を識別する試料塊識別処理と、試料塊識別処理で識別した試料塊の中心の座標を検出する座標検出処理と、座標検出処理で検出した座標を中心として拡大して試料塊の画像を撮像する拡大撮像処理と、を実行させ、試料塊識別処理は、識別した試料塊の形状が所定の形状であるか否か判定し、座標検出処理は、試料塊識別処理において所定の形状であると判定されたことを条件としてその試料塊の中心の座標を検出するものである。
【００１０】
なお、以下の説明で用いる「所定サイズ」は試料塊の予め設定したサイズであり、拡大観察の対象とすべきであると判断することができる程度のサイズであって、例えば画像上の画素数で定義して構わない。例えば、試料塊の所定サイズとしての画素数の具体例は全体観察を５００万画素のカメラで行って４０ｍｍ×４０ｍｍの視野を撮像した場合、１０００ピクセル程度が設定した所定サイズとして適当である。後述する実施形態では「所定サイズ」を画素数にして「１０００ピクセル」と設定しているが、このようなサイズに限定されるわけではない。
【００１１】
また、以下の説明で用いる「試料塊の識別に関する所定期間」は拡大観察対象試料塊の識別を実行するタイミングについての予め設定した期間であり、試料塊の発現のときを見極められる程度の期間であって、例えば数時間から数日程度の期間とすることが可能であるが必要に応じて適切に設定できる。したがって、後述する実施形態では「試料塊の識別に関する所定期間」を「１日」と設定しているが、このような期間に限定されるわけではない。なお、他の手段において用いられる「所定期間」という語がすべて拡大観察対象試料塊の識別を実行するタイミングについての期間を示すわけではなく、時間的に同じ期間を表すわけでもない。
【００１２】
また、以下の説明で用いる「所定日数」は拡大観察対象試料塊の識別を終了するタイミングについての予め設定した日数であり、例えば５日、７日、１０日などといった日数に任意に設定して構わない。後述する実施形態では「所定日数」を「５日」と設定しているが、このような日数に限定されるわけではない。
【００１３】
また、以下の説明で用いる「拡大画像の撮像に関する所定期間」は拡大した試料塊の撮像を実行するタイミングについての予め設定した期間であり、試料塊の成育過程を見極められる程度の期間であって、例えば数時間から数日程度の期間とすることが可能であるが必要に応じて適切に設定できる。したがって、後述する実施形態では「拡大画像の撮像に関する所定期間」を「１日」と設定しているが、このような期間に限定されるわけではない。なお、他の手段において用いられる「所定期間」という語がすべて拡大した試料塊の撮像を実行するタイミングについての期間を示すわけではなく、時間的に同じ期間を表すわけでもない。
【００１４】
また、以下の説明で用いる「所定期限」は試料の観察を終了するタイミングについての予め設定した期限であり、例えば試料の観察開始から１０日、２０日、３０日などといった期限に任意に設定して構わない。後述する実施形態では「所定期限」を「１０日」と設定しているが、このような期限に限定されるわけではない。
【００１５】
また、以下の説明で用いる「所定形状」は試料塊の予め設定した形状であり、観察するに好適に成育し続ける可能性が高いと判断することができる程度の形状であってできるだけ円形に近いものが良く、例えば楕円形度などの数値で任意に設定して構わない。後述する実施形態では「所定形状」を「楕円形度にして１．１以下」と設定しているが、このような形状に限定されるわけではない。
【発明の効果】
【００１６】
本発明の構成によれば、容器内で培養中の試料を観察するにあたって、容器全体を観察して発現した試料塊を特定でき、さらにこの特定した試料塊を拡大して詳細を観察することが可能な観察システムを提供することができる。また、このような特定した試料塊の発現のときから成育完了まで継続して観察を行うことが可能になる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施形態に係る観察システムの構成図である。
【図２】図１に示す観察システムの観察装置の垂直断面側面図である。
【図３】図１に示す観察システムの観察装置の垂直断面正面図である。
【図４】図２と同様の観察装置の垂直断面側面図にして、容器を全体観察部に対応する箇所に移動させた状態を示すものである。
【図５】図１に示す観察システムのコンピュータの構成を示すブロック図である。
【図６】図１の観察システムの操作に係るフローを示す説明図である。
【図７】図１の観察システムにおける観察処理に係る動作を示すフローチャートである。
【図８】本発明の第２の実施形態に係る観察プログラムにおける観察処理に係る動作を示すフローチャートである。
【図９】本発明の第３の実施形態に係る観察プログラムにおける観察処理に係る動作を示すフローチャートである。
【図１０】図９に示す観察処理に係る動作を示すフローチャートの続きである。
【図１１】本発明の第４の実施形態に係る観察装置の垂直断面側面図である。
【図１２】本発明の第５の実施形態に係る観察装置システムの構成図である。
【図１３】本発明の第６の実施形態に係る観察装置システムの構成図である。
【図１４】図１３に示すアイソレータの部分断面側面図である。
【図１５】本発明の第７の実施形態に係る観察装置システムの構成図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態を図１〜図１５に基づき説明する。なおここでは、例えば細胞、細菌、微生物などの試料のうち細胞を試料とし、例えば培養液を溶液として説明する。また、複数の細胞が寄り集まった細胞塊を試料塊として説明する。
【００１９】
（第１の実施形態）
最初に、本発明の第１の実施形態に係る観察システムについて、図１〜図５を用いてその構造を説明する。図１は観察システムの構成図、図２は観察システムの観察装置の垂直断面側面図、図３は観察装置の垂直断面正面図、図４は観察装置の垂直断面側面図にして、容器を全体観察部に対応する箇所に移動させた状態を示すもの、図５は観察システムのコンピュータの構成を示すブロック図である。なお、以下の説明において、図２及び図３のｘ軸方向を左右方向、ｙ軸方向を前後方向（＋ｙ方向を前方、−ｙ方向を後方）、ｚ軸方向を上下方向とする。
【００２０】
観察システムＳは、図１に示すように観察装置１、制御装置１００、及びコンピュータ２００を備えている。
【００２１】
観察装置１は細胞などの試料を観察するための装置であって、制御装置１００が接続されている。制御装置１００は観察装置１を制御するための装置であって、観察装置１を駆動するための図示しないドライバやコントローラなどを内蔵している。そして、制御装置１００はコンピュータ２００に接続されている。コンピュータ２００は、例えば所謂パーソナルコンピュータであって、細胞などの試料を観察するための図示しない観察プログラムなどを実行する。すなわち、コンピュータ２００は制御装置１００に指令を送って観察装置１を制御したり、観察時に撮像した画像の取得、保存などを実行したりすることが可能になっている。
【００２２】
観察装置１は、図１〜図４に示すようにその筐体である本体２に全体観察部１０、拡大観察部２０、搬送部３０、及び駆動部４０を備えている。
【００２３】
観察装置１はその正面中央部に配置された細胞と細胞の培養液とが入った容器Ｃ内の細胞の全体観察部１０及び拡大観察部２０を用いた観察が可能である。駆動部４０によって容器Ｃを把持する搬送部３０を前後、左右の所望の方向、位置に移動させることができる。本体２は床面に対して４箇所に設けられた脚部３よって支持されている。なお、容器Ｃは容器外部からの汚染や他の容器との間での汚染などを防止するために蓋が設けられている。
【００２４】
全体観察部１０は本体２の密閉された筐体内部の前側の部分に設けられ、全体観察光学系であるレンズ１１と、撮像部であるＣＭＯＳカメラ１２と、全体観察照明であるリング照明１３とを備えている。
【００２５】
レンズ１１は容器Ｃを把持する搬送部３０の移動空間の上方に配置され、下方に向かって容器Ｃ内を観察可能にして設けられている。ＣＭＯＳカメラ１２はレンズ１１の鉛直上方に設けられ、その撮像素子面が下方のレンズ１１の方を向くように配置されている。
【００２６】
リング照明１３は斜め上方を向く形で取り付けられた複数のＬＥＤがリング状に配列された構造をなし、搬送部３０の移動空間の下方に配置されている。なお、リング照明１３と搬送部３０の容器Ｃとの間には所定距離離れた空隙Ｄを有している（図４参照）。これにより、リング照明１３と容器Ｃとの間に空気が流通する空間が生じるので、リング照明１３が発する熱が容器Ｃに伝わり難くなる。したがって、リング照明１３の発熱による影響が細胞の成育に及ぶのを抑制できる。そして、リング照明１３は斜め上方であってリングの中心に向かって光を照射し、リング照明１３の上方に位置する搬送部３０の観察対象である容器Ｃ内の細胞を照らす。なお、ＣＭＯＳカメラ１２及びレンズ１１は互いの光軸が一致するように各々配置され、その光軸がリング照明１３の中心を通過するようにリング照明１３が配置されている。
【００２７】
このような構成により、全体観察部１０はリング照明１３を用いて容器Ｃに光を照射することによりレンズ１１を経て得られる像がＣＭＯＳカメラ１２の撮像素子面で結像し、容器Ｃ全体を撮像することで容器Ｃ内の細胞の画像を撮像する。そして、撮像した画像が記憶されるので、容器Ｃ内の複数の細胞が寄り集まった細胞塊の識別や特定が容易になる。
【００２８】
また、全体観察部１０が容器Ｃの下方から斜め上方に容器Ｃに対して光を照射するので、容器Ｃの底面のうち、細胞の存在する箇所を通過する光は細胞によって散乱し、散乱した光の一部がカメラに入射して細胞が白く映り、細胞のない箇所を通過する光は散乱せず、光がカメラに入射せず黒く映る。このようにして、容器Ｃの内底面近傍で発現、成育する細胞を特定するのに適正な光を照射することができる。そして、細胞の外形状を白い塊として認識できるコントラストが得られる。なお、下方から光を照射することにより、容器Ｃの蓋による反射光で細胞が白つぶれして観察できなくなることを防ぐ効果が得られる。
【００２９】
拡大観察部２０は所謂位相差顕微鏡であって本体２の密閉された筐体内部の全体観察部１０より後方の箇所に設けられ、対物レンズ２１、反射ミラー２２、ズームレンズ２３といった拡大観察光学系と、撮像部であるＣＣＤカメラ２４と、拡大観察照明である位相差照明部２５とを備えている。
【００３０】
対物レンズ２１は搬送部３０の移動空間のすぐ下方に配置され、上方に向かって容器Ｃ内を観察可能にして設けられている。なお、容器Ｃの底面に最も接近するレンズ部である対物レンズ２１の周辺には下部本体２内で発生する熱が容器Ｃに影響を及ぼすのを防止するためのカバー部材である対物レンズカバー２６が設けられている。また、対物レンズカバー２６の上部先端であって対物レンズ２１と容器Ｃとの間の箇所には窓部２７が設けられている。
【００３１】
ここで、熱は密閉された筐体内のモータやカメラ、照明から発生して充満し、対物レンズ２１付近にも滞留して上方へ発散しようとする。少ない面積の対物レンズカバー２６ではなく、拡大観察光学系全部を覆うカバーとした場合、拡大観察光学系と容器Ｃ底面との接近は筐体内の熱が伝達し易くなり、培養液温度が上昇し易くなってしまう。
【００３２】
これに対して、対物レンズカバー２６は容器Ｃ底面に接近している箇所の面積をできるだけ少なくすることで、容器Ｃ底面と対物レンズカバー２６との隙間がほとんどなく、空気が流通しないことに起因する熱影響を抑制している。同時に、対物レンズカバー２６は対物レンズ２１周辺のみを覆うことで対物レンズカバー２６の表面積を増大することができるので、空気が流通し易い対物レンズカバー２６の横方向へも熱発散することができ、容器Ｃへの熱伝達を抑制することが可能である。
【００３３】
このようにして、拡大観察光学系と容器Ｃとの間に、対物レンズ２１周辺のみを覆う、窓部２７を備えた対物レンズカバー２６を構成することにより、拡大観察光学系が発する熱が容器Ｃに伝わり難くなる。したがって、レンズ駆動系の発熱による影響が細胞の成育に及ぶのを抑制できる。
【００３４】
反射ミラー２２は対物レンズ２１の下方に配置され、後方に向かって略水平に光を反射するよう傾斜させて設けられている。反射ミラー２２は対物レンズ２１から得られた像を後方のズームレンズ２３に導く。ズームレンズ２３は反射ミラー２２の後方に前後方向に延びる形で配置され、対物レンズ２１から得られた像を拡大する。ＣＣＤカメラ２４はズームレンズ２３のさらに後方に設けられ、その撮像素子面が前方のズームレンズ２３の方を向くように配置されている。
【００３５】
位相差照明部２５は本体２の上部に設けられ、ＬＥＤ２５ａと、反射ミラー２５ｂとを備えている。ＬＥＤ２５ａは位相差照明部２５の下方に位置する搬送部３０の観察対象である容器Ｃ内の細胞を照らす光を照射する。反射ミラー２５ｂは対物レンズ２１の鉛直上方に配置され、ＬＥＤ２５ａが照射した光が容器Ｃを経て対物レンズ２１に到達するよう光を反射させる。
【００３６】
このような構成により、拡大観察部２０は位相差照明部２５を用いて容器Ｃに光を照射することにより対物レンズ２１、反射ミラー２２、及びズームレンズ２３を経て得られる像がＣＣＤカメラ２４の撮像素子面で結像し、容器Ｃ内の一部の領域を拡大して容器Ｃ内の細胞を画像として撮像する。そして、撮像した画像が記憶されるので、容器Ｃ内の細胞塊の識別や特定、詳細な観察が容易になる。
【００３７】
また、拡大観察部２０は細胞を拡大して観察するための複数のレンズとそのズーム機構とを有する比較的重量が重い拡大観察光学系が下方に配置されるので、装置の重量バランスが適正になって安定した拡大観察が可能になる。そして、容器Ｃの内底面近傍で発現、成育する細胞に対して容器Ｃの下方から対物レンズ２１を接近させることができるので、焦点距離を短くして比較的大きな拡大率で観察することが可能である。さらに、拡大観察部２０は容器Ｃの下方から観察するので、容器Ｃの蓋の汚れの影響を受けることなく観察することが可能である。
【００３８】
搬送部３０は本体２の正面中央部であって、下方の全体観察部１０のリング照明１３や拡大観察部２０の拡大観察光学系と、上方の全体観察部１０の全体観察光学系や拡大観察部２０の位相差照明部２５とに挟まれた形で設けられている。搬送部３０はホルダ３１を備え、このホルダ３１が観察対象である細胞と細胞の培養液とが入った容器Ｃを把持している。ホルダ３１は全体観察部１０と拡大観察部２０とに対して位置決めがなされ、容器Ｃはホルダ３１に対して位置決めがなされている。これにより、容器Ｃとホルダ３１とを一緒に取り外して培養液を交換したり、試薬を投入したりしても、全体観察部１０と拡大観察部２０とにおいて同一箇所の観察が容易である。
【００３９】
駆動部４０は搬送部３０の後方及び側方に設けられ、ｘ軸駆動機構４１、ｘ軸モータ４２、ｙ軸駆動機構４３、ｙ軸モータ４４、ｚ軸モータ４５、及びズームモータ４６を備えている。なお、図２及び図３に示すように観察装置１に対して左右方向をｘ軸と、前後方向をｙ軸と、上下方向をｚ軸として説明する。
【００４０】
ｘ軸駆動機構４１は搬送部３０のすぐ後方に配置されるとともに搬送部３０を直接支持している。ｘ軸駆動機構４１は図示しないベルト、プーリ、スライドガイド部材、シャフト等を備えてｘ軸モータ４２によって駆動され、搬送部３０を左右方向に移動させる。ｙ軸駆動機構４３は搬送部３０及び本体２の側面の箇所に配置され、ｘ軸駆動機構４１を支持している。ｙ軸駆動機構４３は図示しないベルト、プーリ、スライドガイド部材等を備えてｙ軸モータ４４によって駆動され、ｘ軸駆動機構４１とともに搬送部３０を前後方向に移動させる（図４参照）。
【００４１】
このような駆動機構を動作させることにより、搬送部３０は全体観察部１０から拡大観察部２０まで、またはその逆方向に容器Ｃを搬送する。容器Ｃが移動されるので、全体観察部１０と拡大観察部２０とが離れた箇所に配置されていても容器Ｃ全体を観察して発現した細胞塊を特定でき、さらにこの特定した細胞塊を拡大して詳細を観察することが可能になる。
【００４２】
また、搬送部３０は上記のように全体観察部１０と拡大観察部２０の光軸方向と垂直をなす方向に容器Ｃを搬送するものであって、搬送方向の少なくとも一方向、すなわち前後方向を共通にしていることにより全体観察部１０における観察視野内の座標を拡大観察部２０における観察視野内の座標に一致させる。これにより、全体観察部１０と拡大観察部２０との互いの観察視野内における座標が一致するので、全体観察部１０で容器Ｃ全体を観察して特定した細胞塊を拡大観察部２０で容易に識別できる。したがって、目標の細胞塊を誤って識別することが防止され、高精度な観察が実現できる。
【００４３】
ｚ軸モータ４５及びズームモータ４６は搬送部３０後方の本体２内に配置されている。ｚ軸モータ４５は拡大観察光学系及びＣＣＤカメラ２４を上下方向に移動させるためのモータである。ズームモータ４６はズームレンズ２３の拡大倍率の変更させるためのモータであり、撮像する画像の倍率変更が可能である。
【００４４】
コンピュータ２００は、図５に示すように演算部２０１を少なくとも備えている。なお、記憶部２１０、計時部２０２、入力部２０３、及び出力部２０４を備えてもよい。
【００４５】
演算部２０１は一般的なマイコンやその他の電子部品によって構成され、このマイコン内部や記憶部２１０等に記憶、入力された観察プログラム２２０やその他のデータ等に基づいて観察装置１に係る一連の観察動作を制御する。なお、全体観察部１０または拡大観察部２０によって撮像された画像の処理を行う画像処理部を別途設けても良い。
【００４６】
演算部２０１で実行される観察プログラム２２０は、図５に機能ブロック図でハードウェア的に示したように細胞塊識別部２２１、細胞塊ソート部２２２、座標検出部２２３、座標変換部２２４、細胞塊抽出部２２５、形状識別部２２６、及び形状判定部２２７を備えている。なお、観察プログラム２２０はこれら各々の処理ブロックのほか、観察装置１の全体観察部１０に指令を送り容器Ｃ全体を撮像することで細胞の画像を撮像させる全体撮像処理と、拡大観察部２０に指令を送り容器Ｃ内を拡大して細胞の画像を撮像させる拡大撮像処理とを実行する。
【００４７】
細胞塊識別部２２１はまずカラー画像の場合はグレー画像に変換した上で、全体撮像処理で撮像した画像の細胞塊でない部分と細胞塊の部分とを所定の閾値を用いて区別する。これにより、細胞塊でない部分が黒に細胞塊の部分が白に二値化される。そして、細胞、すなわち白色の画素数を算出する。この白色の画素数を算出する方式としては、例えば白色の画素の連結領域を算出するラベリング方式や任意位置の予め定めた小領域内の白色の画素数ができるだけ多くなるように領域を算出する小領域方式などが掲げられる。
【００４８】
ラベリング方式は単一の白色画素領域の大きさや白色画素領域の密集度合いによって細胞塊を識別する方式であり、小領域方式は白色画素領域の数や多さ、密集度合いによって細胞塊を識別する方式である。この他に、細胞塊の単離度合い（個々の細胞塊同士が所定の距離を保って存在している度合い）によって識別しても良い。なお、ここではラベリング方式を採用することとする。
【００４９】
ラベリング処理は二値化処理された画像に関して、隣接する白色画素（または黒色画素）に同じ番号（ラベル）を割り振ることにより複数の画素をグループ化する処理のことである。ラベリング処理における隣接の判定では４連結（４近傍）と８連結（８近傍）とを用いる。４連結では注目画素の上下左右に連続していれば隣接と判定し、８連結ではさらに斜め４方向の連続も加味して隣接を判定する。このようにして、細胞塊識別部２２１は全体撮像処理で撮像した画像から二値化した白色画素の塊、すなわち細胞塊を識別する。
【００５０】
そして、細胞塊識別部２２１は識別した細胞塊のうち所定サイズ以上の細胞塊を拡大観察対象細胞塊として認識する。「所定サイズ」は細胞塊の予め設定したサイズであり、拡大観察の対象とすべきであると判断することができる程度のサイズである。ここでは、所定サイズを例えば画素数にして１０００ピクセルと設定し、記憶部２１０などに記憶している。これにより、画素数にして１０００ピクセル以上の細胞塊が拡大観察対象細胞塊として認識されるので、細胞塊の発現のときを見極めることができる。したがって、細胞塊の発現のときから成育完了まで継続して観察を行うことが可能になる。
【００５１】
細胞塊ソート部２２２は細胞塊識別部２２１で識別された細胞塊、すなわち白色の画素の塊のうち、画素数の多いものから順にソートを実行する。そして、例えば画素数の多いものから順に予め定められた個数の細胞塊が観察対象などとして選択される。
【００５２】
座標検出部２２３は細胞塊識別部２２１で識別され、細胞塊ソート部２２２でソートされた細胞塊、すなわち白色画素の塊の中心座標を検出する。
【００５３】
座標変換部２２４はまず全体撮像処理で撮像した画像上の画素による座標を算出する。そして、画像中心を原点とする実寸に変換する。ここで、画像の歪曲収差などの各種収差を補正しても良い。さらに、座標変換部２２４はこの実寸で表された画像上位置に整合するように、実寸を観察装置１の駆動部４０のｘ軸モータ４２及びｙ軸モータ４４のモータパルス数に変換する。このようにして、座標変換部２２４は拡大撮像処理で撮像する画像上の座標が全体撮像処理で撮像した画像上の座標に一致する共通の座標系を形成する。
【００５４】
細胞塊抽出部２２５は拡大撮像処理で撮像された画像から座標検出部２２３が検出した座標の細胞塊を抽出する。
【００５５】
形状識別部２２６はまず拡大撮像処理で撮像した画像に対して予め準備したパッチ画像とのマッチングを行う。マッチング結果としては、拡大撮像処理で撮像した画像とパッチ画像との、濃淡で表現された距離画像が得られる。そして、形状識別部２２６はその距離画像を所定の閾値を用いて二値化処理を実行する。マッチングの手法としては、例えばテンプレートマッチングやヒストグラムマッチングなどが挙げられ、判定対象の画像、すなわち拡大撮像処理で撮像した画像をパッチ画像によりラスタスキャンして双方の距離を算出する。パッチ画像を多数準備する場合はマッチング結果の距離画像を積算する。なお、拡大撮像処理で撮像した画像内に複数個の細胞塊が存在する場合でも、形状識別部２２６は各々の細胞塊を別個のものとして識別できる。
【００５６】
続いて、形状識別部２２６は二値化処理された画像において、例えばエッジ抽出フィルタによる輪郭抽出と８連結探索による輪郭追跡を実行して輪郭を検出する。輪郭抽出の際のエッジ抽出フィルタとしては、例えば微分フィルタやプリューウィットフィルタ、ソーベルフィルタ、Ｃａｎｎｙ Ｅｄｇｅ Ｄｅｔｅｃｔｏｒなどを用いることができる。輪郭追跡では輪郭の追跡開始点から一方向に順次輪郭点を追跡していくことで輪郭線を抽出でき、４連結探索を用いることもできる。
【００５７】
そして、形状識別部２２６は輪郭検出結果から円や楕円、矩形などの所定形状を検出する。輪郭やエッジから円を検出する手法としてはハフ変換などを用いることができる。輪郭やエッジから楕円を検出する手法としては一般化ハフ変換や最小二乗推定によって輪郭の点列に楕円をフィットさせる手法などを用いることができる。輪郭やエッジから矩形を検出する手法としては輪郭の点列を全て包含するように矩形をフィットさせる手法などを用いることができる。このようにして、形状識別部２２６は拡大撮像処理で撮像した画像から細胞塊の輪郭抽出し、形状を識別する。
【００５８】
形状判定部２２７は形状識別部２２６で識別された細胞塊の形状が所定形状であるか否かを判定する。「所定形状」は細胞塊の予め設定した形状であり、観察するに好適に成育し続ける可能性が高いと判断することができる程度の形状であってできるだけ円形に近いものが良い。
【００５９】
細胞塊の所定形状の判定条件としては形状のほか、例えば大きさや凹凸度合いといった条件を加味しても良い。形状の判定条件としては、例えば輪郭を囲む楕円の楕円形度、輪郭を囲む円の真円度などが挙げられる。大きさの判定条件としては、例えば白色画素塊の大きさ、白色画素塊の輪郭の長さ、白色画素塊の輪郭内部の面積、楕円の長軸長さ、楕円の短軸長さ、楕円の円周の長さ、円の直径、円周の長さ、輪郭を囲む矩形の長さ、輪郭を囲む矩形の面積などが挙げられる。凹凸度合い判定条件としては、例えば輪郭の面積と周囲長との比、輪郭の面積と輪郭を囲む矩形の面積との比、輪郭の長さと輪郭を囲む矩形の長さとの比、輪郭のコーナー数、輪郭の面積と輪郭を囲む円或いは楕円の面積との比、輪郭の長さと輪郭を囲む円の円周或いは楕円の円周の長さとの比、輪郭を囲む矩形の面積と輪郭を囲む円或いは楕円の面積との比、輪郭を囲む矩形の長さと輪郭を囲む円或いは楕円の長さとの比などが挙げられる。輪郭のコーナー数で判定する際のコーナー検出手法としては、例えばハリスのコーナー検出やＳＵＳＡＮオペレータなどを用いることができる。
【００６０】
ここでは、細胞塊の所定形状の判定条件を例えば楕円形度にして１．１以下と設定し、記憶部２１０などに記憶している。なお、楕円形度は楕円の短軸長さに対する長軸長さの比である。これにより、できるだけ円形に近い細胞塊が識別されるので、観察を続けるのに適正な形状の細胞塊を自動的に選別することができる。したがって、成育過程で歪な形状に成育した細胞塊の観察順位を低くしたり、観察を中止したりすることができ、適正な形状の細胞塊の観察をより一層効率良く進めることが可能になる。
【００６１】
また、形状判定を閾値（例えば楕円形度１．１）によって明示的に行う方法だけでなく、判定結果の優劣に基づいて細胞塊画像をソートしてモニタ２０４ａに表示（楕円形度なら、楕円形度が小さい順に表示）し、どの細胞塊までを好適と判定するかをユーザに委ねるような方法でも良い。
【００６２】
記憶部２１０は細胞の観察や観察システムＳの動作に関する様々なデータを記憶するためのものであって、例えば観察タイミング保持部２１１、観察位置保持部２１２、位置更新可否保持部２１３、閾値保持部２１４、形状保持部２１５、及び観察画像保持部２１６を備えている。
【００６３】
観察タイミング保持部２１１は観察に係る期間や日数、期限などといった日時に関する様々なデータを保持する。例えば、拡大観察対象細胞塊の識別を実行するタイミングについて設定した細胞塊の識別に関する所定期間である「所定識別期間」、拡大観察対象細胞塊の識別を終了するタイミングについて設定した所定日数である「所定識別日数」、拡大した細胞塊の撮像を実行するタイミングについて設定した拡大画像の撮像に関する所定期間である「所定撮像期間」、細胞の観察を終了するタイミングについての予め設定した所定期限である「所定観察期限」などといったデータである。これらのデータは観察プログラム２２０において適宜判定条件として使用され、計時部２０２で計測される日時と比較される。
【００６４】
観察位置保持部２１２は全体観察によって得られた細胞塊の観察位置（座標）や、手動で設定した観察位置（座標）といったデータを保持する。
【００６５】
位置更新可否保持部２１３は観察タイミング保持部２１１に記憶された所定識別期間に応じて、前回の全体観察時に得て観察位置保持部２１２に記憶された細胞塊の観察位置を更新するか否かのフラグを保持する。
【００６６】
閾値保持部２１４は観察に係る閾値に関する様々なデータを保持する。例えば、二値化処理の際に白色画素か黒色画素かを判定するための閾値、ラベリングされた白色画素塊を細胞塊として抽出するか否かを判定するための画素数についての閾値などといったデータである。
【００６７】
また、閾値保持部２１４は形状識別処理実行の際、好適に成育し得る細胞塊を識別するための閾値を保持する。例えば、白色画素塊の大きさで判定するための画素数の閾値、白色画素塊の輪郭の長さで判定するための輪郭の長さの閾値、白色画素塊の輪郭内部の面積で判定するための面積の閾値、輪郭を囲む円の真円度で判定するための真円度の閾値、輪郭を囲む楕円の楕円形度で判定するための楕円長軸と楕円短軸の比の閾値、円の直径で判定するための直径の閾値、円周の長さで判定するための円周の閾値、楕円の長軸長さで判定するための長軸の閾値、楕円の短軸長さで判定するための短軸の閾値、楕円の円周の長さで判定するための楕円円周の閾値、輪郭を囲む矩形の長さで判定するための矩形の長さの閾値、輪郭を囲む矩形の面積で判定するための矩形の面積の閾値、輪郭の面積と周囲長との比で判定するための輪郭の面積と周囲長との比の閾値、輪郭の面積と輪郭を囲む矩形の面積との比で判定するための面積比の閾値、輪郭の長さと輪郭を囲む矩形の長さとの比で判定するための長さ比の閾値、輪郭のコーナー数で判定するためのコーナー数の閾値、輪郭の面積と輪郭を囲む円或いは楕円の面積との比で判定するための面積比の閾値、輪郭の長さと輪郭を囲む円或いは楕円の長さとの比で判定するための長さ比の閾値、輪郭を囲む矩形の面積と輪郭を囲む円或いは楕円の面積との比で判定するための面積比の閾値、輪郭を囲む矩形の長さと輪郭を囲む円或いは楕円の長さとの比で判定するための長さ比の閾値などといったデータである。
【００６８】
形状保持部２１５は形状識別処理の全ての方法について、細胞塊の形状識別処理結果を保持する。
【００６９】
観察画像保持部２１６は拡大観察画像、全体観察画像を保持する。
【００７０】
なお、観察タイミング保持部２１１や閾値保持部２１４は観察プログラム２２０に関する諸設定をユーザが適宜変更できる設定部としても機能する。観察タイミング保持部２１１を用いて設定可能な事項としては、例えば全体観察部１０や拡大観察部２０において画像を撮像するタイミングや、観察に係る期間や日数、期限などといった設定事項である。閾値保持部２１４を用いて設定可能な事項としては、例えば拡大観察対象細胞塊の判定基準である細胞塊の所定サイズ、細胞塊が観察を続けるのに適正な形状であるか否かの判定基準である細胞塊の所定形状などといった設定事項である。
【００７１】
計時部２０２は細胞の観察開始からの日時や観察システムＳの動作制御に関する時間を計測するためのものであって、各種時間を把握できる。
【００７２】
入力部２０３は、例えばキーボード２０３ａやマウス２０３ｂなどのポインティングデバイスで構成されている。ユーザはキーボード２０３ａを用いて文字や数値などの入力を行う。また、ユーザはマウス２０３ｂを用いて出力部２０４のモニタ２０４ａの画面上でカーソルを任意の方向に移動させ、メニューやその他選択肢の選択を行う。演算部２０１は入力部２０３から得られる情報に基づき演算部２０１や記憶部２１０に記憶、入力されたプログラム、データ、ファイルに対して各種処理を実行したり、出力部２０４に対して出力処理を実行したりする。
【００７３】
出力部２０４は、例えば液晶ディスプレイ、ＣＲＴ等のモニタ２０４ａやスピーカ２０４ｂで構成されている。演算部２０１は実行されるプログラムの処理に基づいてモニタ２０４ａにウィンドウやアイコン、メニューなどを表示させたり、スピーカ２０４ｂから発音させたりする。また、演算部２０１は入力部２０３からの情報に基づいてモニタ２０４ａにユーザが入力した文字や数値などを表示させ、ユーザが移動させるカーソルを表示させる。
【００７４】
続いて、容器Ｃ内の細胞の観察に係るユーザによる観察システムＳの操作について、図６に示すフローに沿って説明する。図６は観察システムＳの操作に係るフローを示す説明図である。
【００７５】
ユーザは最初に観察装置１、制御装置１００、及びコンピュータ２００の電源をオンにして観察システムＳを起動させる（図６のステップ＃１０１）。そして、ユーザは搬送部３０のホルダ３１に細胞と細胞の培養液とが入った容器Ｃをセットする（ステップ＃１０２）。続いて、ユーザはコンピュータ２００において観察プログラム２２０を起動させると（ステップ＃１０３）、モニタ２０４ａ上に操作画面が表示される。
【００７６】
観察プログラム２２０はプログラムの起動と連動して自動的に、搬送部３０の原点復帰動作を実行するようになっている（ステップ＃１０４）。そして、観察プログラム２２０はカメラによる撮像を開始し（ステップ＃１０５）、モニタ２０４ａにカメラからのリアルタイム画像を表示させる。
【００７７】
続いて、ユーザはモード設定操作を実行する（ステップ＃１０６）。このモード設定操作では通常タイムラプス探索操作（ステップ＃１０７）と、全体観察操作（ステップ＃１０８）とが選択できる。タイムラプス観察とは所定期間ごとに予め設定された位置を観察する手法である。
【００７８】
通常タイムラプス探索操作（ステップ＃１０７）ではユーザがモニタ２０４ａ上やキーボード２０３ａの矢印キーで容器Ｃを移動させながら容器Ｃ内を観察し、目標の細胞を確認する。そして、キャプチャ画像の取得や表示、保存、さらに座標設定、座標保存などを実行する。
【００７９】
全体観察操作（ステップ＃１０８）ではユーザが全体観察における所定識別期間や所定識別日数の設定を行う。画像の取得や表示、保存、さらに観察位置表示などは設定に基づき自動的に実行される。
【００８０】
次に、目的別操作（ステップ＃１０９）では終了（ステップ＃１１０）、目視継続（ステップ＃１１１）、及びタイムラプス（ステップ＃１１２）の操作が選択できる。
【００８１】
終了（ステップ＃１１０）を選択すると、カメラによる撮像が停止され、設定が保存される。目視継続（ステップ＃１１１）を選択すると、カメラによって撮像された画像の手動によるキャプチャ保存が可能である。
【００８２】
タイムラプス（ステップ＃１１２）を選択すると、さらにタイムラプス観察開始、タイムラプス一時停止、及びタイムラプス再開の操作が可能である。タイムラプスを一時停止させた場合、容器Ｃの取り出しや培養液の交換といった作業が可能である（ステップ＃１１３）。
【００８３】
このような観察プログラム２２０を用いてタイムラプス観察を実行すると、全体撮像処理で撮像した画像から発現した細胞塊を識別してその位置を特定し、さらに拡大撮像処理で撮像した画像から細胞塊の形状識別して観察を続けるのに適正な形状の細胞塊を選別するといった一連の処理を自動的に行うことが可能である。
【００８４】
続いて、観察システムＳにおける観察処理に係る動作について、図７に示すフローに沿って説明する。図７は観察システムＳにおける観察処理に係る動作を示すフローチャートである。
【００８５】
観察プログラム２２０を実行させると（図７のスタート）、観察プログラム２２０はまず所定識別期間に合致しているか否かを判定する（ステップ＃２０１）。なおこれに関して、観察プログラム２２０は計時部２０２に対して播種後、例えば細胞の観察開始からの日時と、拡大観察部２０を用いた前回の拡大観察対象細胞塊の識別からの期間とを予め計測させている。そして、所定識別期間は拡大観察対象細胞塊の識別を実行するタイミングについての予め設定した期間であり、例えば１日と設定され記憶部２１０の観察タイミング保持部２１１に記憶されている。所定識別期間は適宜設定することが可能である。
【００８６】
ステップ＃２０１において所定識別期間に合致していない場合（ステップ＃２０１のＮｏ）、観察プログラム２２０は拡大観察部２０に拡大画像を撮像させ（ステップ＃２０２）、観察処理に係る動作についての一連のフローを終了する（図７のエンド）。
【００８７】
一方、ステップ＃２０１において所定識別期間に合致している場合（ステップ＃２０１のＹｅｓ）、観察プログラム２２０は観察装置１の全体観察部１０に指令を送り容器Ｃ全体を撮像することで細胞の画像を撮像させる（ステップ＃２０３）。次に、観察プログラム２２０は撮像された全体画像の細胞塊でない部分と細胞塊の部分とを所定の閾値を用いて区別する二値化処理を実行する（ステップ＃２０４）。これにより、細胞塊でない部分が黒に細胞塊の部分が白に二値化される。
【００８８】
さらに、観察プログラム２２０は収縮膨張処理を実行する（ステップ＃２０５）。収縮膨張処理とは黒色画素に接する白色画素を剥ぎ取る処理である収縮処理、それとは逆に黒色画素に接する白色画素を加える処理である膨張処理からなる。収縮処理では微小な白色画素の塊を黒色画素に反転し、膨張処理では白色画素領域内に存在する微小な黒色画素の塊を白色画素に反転できるため、ノイズを除去する効果がある。
【００８９】
そして、観察プログラム２２０はラベリング処理を実行し（ステップ＃２０６）、任意位置の予め定めた小領域ごとに白色の画素数を算出し、白色画素の塊、すなわち細胞塊を識別する。さらに、観察プログラム２２０は識別された細胞塊、すなわち白色画素の塊のうち、画素数の多いものから順にソートを実行する（ステップ＃２０７）。
【００９０】
次に、観察プログラム２２０は最大の白色画素の塊（細胞塊）のサイズが閾値、すなわち所定サイズ以上か否かを判定する（ステップ＃２０８）。この閾値としての所定サイズは、例えば画素数にして１０００ピクセルと設定し、記憶部２１０の閾値保持部２１４に記憶している。最大の細胞塊が所定サイズ未満である場合（ステップ＃２０８のＮｏ）、観察プログラム２２０は全体観察部１０が撮像した全体画像の任意の座標を検出して拡大観察位置としてセットし（ステップ＃２０９）、拡大観察部２０に拡大画像を撮像させる（ステップ＃２０２）。そして、観察プログラム２２０は観察処理に係る動作についての一連のフローを終了する（図７のエンド）。
【００９１】
一方、ステップ＃２０８において最大の細胞塊が所定サイズ以上である場合（ステップ＃２０８のＹｅｓ）、観察プログラム２２０は再度選択した細胞塊が所定サイズ以上であるか否かを判定する（ステップ＃２１０）。細胞塊が所定サイズ以上である場合（ステップ＃２１０のＹｅｓ）、観察プログラム２２０は白色画素の塊（細胞塊）を拡大観察対象細胞塊として認識してその中心座標を検出する（ステップ＃２１１）。さらに、観察プログラム２２０はその中心座標を拡大画像観察用に座標変換する（ステップ＃２１２）。
【００９２】
次に、観察プログラム２２０は座標変換した細胞塊の中心座標を拡大観察位置としてセットし（ステップ＃２１３）、拡大観察部２０に拡大画像を撮像させる（ステップ＃２１４）。そして、観察プログラム２２０は次の白色画素の塊（細胞塊）を拡大観察対象細胞塊であるか否かの判定対象として選択し（ステップ＃２１５）、ステップ＃２１０に戻って選択した細胞塊が所定サイズ以上であるか否かを判定する。
【００９３】
ステップ＃２０６で識別された細胞塊が所定サイズ未満となるまで（ステップ＃２１０のＮｏ）、ステップ＃２１０〜ステップ＃２１５までのフローが繰り返され、拡大観察対象として認識された細胞塊の拡大観察位置のセットが続けられる。ステップ＃２０６で識別された細胞塊が所定サイズ未満となると（ステップ＃２１０のＮｏ）、観察プログラム２２０は観察処理に係る動作についての一連のフローを終了する（図７のエンド）。
【００９４】
そして、タイムラプス観察では拡大観察対象となる細胞塊の位置をユーザが手動で設定するか、全体観察結果から細胞塊の位置設定（位置特定）を行う。位置が特定された細胞塊に対して、観察プログラム２２０は所定撮像期間ごとに拡大観察部２０に指令を送り容器Ｃ内を拡大してその細胞の画像を撮像させ、所定観察期限に到達したことを条件として撮像を中止する。
【００９５】
なお、所定観察期限は細胞の観察を終了するタイミングについての予め設定した期限であり、例えば１０日と設定され観察タイミング保持部２１１に記憶されている。所定観察期限は適宜設定することが可能である。
【００９６】
このようにして、容器Ｃ全体を撮像した画像から細胞塊が識別されてその座標が検出され、検出された座標を中心に拡大することでその細胞塊の詳細を観察することが可能になる。また、所定撮像期間ごとに拡大された細胞の画像が撮像され、観察期限に到達したことでその撮像が終了されるので、細胞塊の発現のときから成育完了まで継続してタイムラプス観察を行うことが可能になる。
【００９７】
本発明の実施形態の構成によれば、容器Ｃ内で培養中の細胞を観察するにあたって、容器Ｃ全体を観察して発現した細胞塊を特定でき、さらにこの特定した細胞塊を拡大して詳細を観察することが可能な観察装置１を提供することができる。また、このような特定した細胞塊の発現のときから成育完了まで継続して観察を行うことが可能な観察プログラム２２０、観察方法及び観察システムＳを提供することができる。
【００９８】
（第２の実施形態）
次に、本発明の第２の実施形態に係る観察プログラムについて、その観察処理に係る動作を図８に示すフローに沿って説明する。図８は観察プログラムにおける観察処理に係る動作を示すフローチャートである。なお、この実施形態の基本的な構成は図１〜図７を用いて説明した前記第１の実施形態と同じであるので、第１の実施形態と共通する構成要素については図面の記載及びその説明を省略するものとする。
【００９９】
第２の実施形態に係る観察プログラム２２０を実行させると（図８のスタート）、観察プログラム２２０はまず所定識別期間に合致しているか否かを判定する（ステップ＃３０１）。所定識別期間に合致している場合（ステップ＃３０１のＹｅｓ）、観察プログラム２２０は観察装置１の全体観察部１０に指令を送り容器Ｃ全体を撮像することで細胞の画像を撮像させる（ステップ＃３０３）。
【０１００】
次に、観察プログラム２２０は容器Ｃに細胞を播種後、所定識別日数が経過したか否かを判定する（ステップ＃３０４）。なおこれに関して、観察プログラム２２０は計時部２０２に対して播種後、例えば細胞の観察開始からの日時を予め計測させている。そして、所定識別日数は拡大観察対象細胞塊の識別を終了するタイミングについての予め設定した日数であり、例えば５日と設定され記憶部２１０の観察タイミング保持部２１１に記憶されている。
【０１０１】
ステップ＃３０４において播種後、例えば細胞の観察開始からの日時が所定識別日数である５日を経過している場合（ステップ＃３０４のＹｅｓ）、観察プログラム２２０は拡大観察部２０に拡大画像を撮像させ（ステップ＃３０２）、観察処理に係る動作についての一連のフローを終了する（図８のエンド）。すなわち、観察開始から５日を経過すると、拡大観察対象となる細胞塊の識別を中止してその位置情報を更新しない。
【０１０２】
ステップ＃３０４において播種後、例えば細胞の観察開始からの日時が所定識別日数である５日を経過していない場合（ステップ＃３０４のＮｏ）、観察プログラム２２０は撮像された全体画像の細胞塊でない部分と細胞塊の部分とを所定の閾値を用いて区別する二値化処理を実行する（ステップ＃３０５）。以下、ステップ＃３０５〜ステップ＃３１６の動作フローは第１の実施形態のステップ＃２０４〜ステップ＃２１５の動作フローと同じであるので、説明を省略する。
【０１０３】
そして、タイムラプス観察では所定識別期間ごとに拡大観察対象細胞塊を認識できるまで上記の拡大観察対象細胞塊の識別を繰り返し、且つ所定識別日数（５日）を経過したことを条件として拡大観察対象細胞塊の識別を中止する。所定識別期間は計時部２０２で計測される拡大観察対象細胞塊の識別を実行するタイミングについての予め設定した期間であり、例えば１日と設定され記憶部２１０の観察タイミング保持部２１１に記憶されている。所定識別期間及び所定識別日数は適宜設定することが可能である。
【０１０４】
このようにして、拡大観察対象細胞塊を認識する、すなわち細胞塊の発現のときを見極められるまで所定識別期間（１日）ごとに拡大観察対象細胞塊の識別を繰り返すので、自動的に細胞塊の発現のときを見極められる。そして、細胞の観察開始から所定識別日数（５日）経過後は拡大観察対象細胞塊の識別が中止されるので、全体観察で特定した細胞塊の拡大観察のみが実行されて成育完了まで観察を効率良く進めることができる。
【０１０５】
なお、拡大観察対象細胞塊の識別を継続するか否かの判定はステップ＃３０４のように日数に基づき自動的に実行させる方法のほか、ユーザが自由に設定できるようなウィンドウやユーザインターフェースを設け、拡大観察対象細胞塊の識別を継続するか否かの判定をユーザに委ねる方法にしても良い。
【０１０６】
（第３の実施形態）
次に、本発明の第３の実施形態に係る観察プログラムについて、その観察処理に係る動作を図９及び図１０に示すフローに沿って説明する。図９は観察プログラムにおける観察処理に係る動作を示すフローチャート、図１０は図９に示す観察処理に係る動作を示すフローチャートの続きである。なお、この実施形態の基本的な構成は前記第１及び第２の実施形態と同じであるので、これらの実施形態と共通する構成要素については図面の記載及びその説明を省略するものとする。
【０１０７】
第３の実施形態において、図９の動作フローのステップ＃４０１〜ステップ＃４１０及び図１０の動作フローのステップ＃４１１〜ステップ＃４１３は図７及び図８の動作フローと同じであるので、説明を省略する。
【０１０８】
観察プログラム２２０は図１０のステップ＃４１３で拡大観察用に座標変換した細胞塊の中心座標を拡大観察位置として仮セットする（ステップ＃４１４）。そして、観察プログラム２２０は拡大観察部２０に指令を送り容器Ｃ内の拡大観察位置に関して拡大して細胞の画像を撮像させる（ステップ＃４１５）。
【０１０９】
続いて、観察プログラム２２０は拡大撮像処理で撮像された画像から細胞塊の輪郭を抽出し（ステップ＃４１６）、形状を識別する（ステップ＃４１７）。そして、観察プログラム２２０は識別された細胞塊の形状が所定形状、すなわち楕円形度の閾値以下であるか否かを判定する（ステップ＃４１８）。この所定形状を示す楕円形度の閾値としては、例えば１．１と設定され記憶部２１０の閾値保持部２１４に記憶されている。細胞塊の所定形状を示す楕円形度の閾値は適宜設定することが可能である。また、楕円形度に代わる細胞塊の所定形状の判定条件、例えば真円度を設定することも可能である。
【０１１０】
ステップ＃４１８において細胞塊の楕円形度が閾値以下である場合（ステップ＃４１８のＹｅｓ）、観察プログラム２２０は細胞塊の中心座標を拡大観察位置として正式にセットする（ステップ＃４１９）。一方、細胞塊の楕円形度が閾値を超えている場合（ステップ＃４１８のＮｏ）、観察プログラム２２０は仮セットした拡大観察位置を消去する（ステップ＃４２０）。そして、観察プログラム２２０は次の白色画素の塊（細胞塊）を拡大観察対象細胞塊であるか否かの判定対象として選択し（ステップ＃４２１）、ステップ＃４１１に戻って選択した細胞塊が所定サイズ以上であるか否かを判定する。
【０１１１】
このようにして、所定形状の細胞塊が識別されるので、観察を続けるのに適正な形状の細胞塊を自動的に選別することができる。その結果、成育過程で歪な形状に成育した細胞塊の観察を中止することができ、適正な形状の細胞塊の観察をより一層効率良く進めることが可能になる。
【０１１２】
なお、ステップ＃４１８の細胞塊の形状判定は閾値（例えば楕円形度１．１）によって明示的に行う方法だけでなく、判定結果の優劣に基づいて細胞塊画像をソートしてモニタ２０４ａに表示（楕円形度なら、楕円形度が小さい順に表示）し、どの細胞塊までを好適と判定するかをユーザに委ねるような方法でも良い。
【０１１３】
（第４の実施形態）
次に、本発明の第４の実施形態に係る観察装置について、図１１を用いてその構成を説明する。図１１は観察装置の垂直断面側面図である。なお、この実施形態の基本的な構成は図１〜図７を用いて説明した前記第１の実施形態と同じであるので、第１の実施形態と共通する構成要素には前と同じ符号を付し、図面の記載及びその説明を省略するものとする。
【０１１４】
第４の実施形態に係る観察装置１は、図１１に示すように全体観察部１０がレンズ１１、反射ミラー１４といった全体観察光学系と、撮像部であるＣＭＯＳカメラ１２と、全体観察照明であるリング照明１３と、環状窓部１５とを備えている。
【０１１５】
反射ミラー１４は容器Ｃを把持する搬送部３０の移動空間の上方に配置され、容器Ｃに対して照射された光が前方に向かって略水平に反射するよう傾斜させて設けられている。反射ミラー１４は容器Ｃに対して照射された光を前方のレンズ１１に導く。ＣＭＯＳカメラ１２はレンズ１１のさらに前方に設けられ、その撮像素子面が後方のレンズ１１の方を向くように配置されている。
【０１１６】
リング照明１３は搬送部３０の移動空間の下方に配置され、且つ拡大観察部２０の対物レンズ２１部分がリング照明１３の内側を貫通するように配置されている。そして、リング照明１３は斜め上方であってリングの中心に向かって光を照射し、リング照明１３の上方に位置する搬送部３０の観察対象である容器Ｃ内の細胞を照らす。このため、リング照明１３の上方の本体２筐体に環状窓部１５が設けられている。環状窓部１５は対物レンズカバー２６をぐるりと取り囲むように配置されている。これにより、リング照明１３の光が環状窓部１５を透過して容器Ｃに到達する。
【０１１７】
そして、リング照明１３の中心から容器Ｃを経て反射ミラー１４に到達するその光軸が、拡大観察部２０の位相差照明部２５の反射ミラー２５ｂから容器Ｃを経て対物レンズ２１に到達する光軸とがともに一致し、さらに軸線が一致するように全体観察部１０が構成、配置されている。なお、反射ミラー１４はハーフミラーであって、リング照明１３からの光を反射してレンズ１１、ＣＭＯＳカメラ１２に到達させ、位相差照明部２５からの光を透過して対物レンズ２１などに到達させる。
【０１１８】
これにより、全体観察部１０と拡大観察部２０との互いの観察視野内における座標を容易に一致させることができる。また、全体観察の後、容器Ｃを比較的狭い範囲で移動させるだけで拡大観察位置に到達させることができるので、観察作業の時間短縮を図りながらより高精度な観察が可能である。
【０１１９】
（第５の実施形態）
次に、本発明の第５の実施形態に係る観察装置システムについて、図１２を用いてその構成を説明する。図１２は観察装置システムの構成図である。なお、この実施形態の基本的な構成は図１〜図７を用いて説明した前記第１の実施形態と同じであるので、第１の実施形態と共通する構成要素には前と同じ符号を付し、図面の記載及びその説明を省略するものとする。
【０１２０】
第５の実施形態に係る観察システムＳの観察装置１は、図１２に示すようにインキュベータ３００の内部に収容されている。インキュベータ３００は細胞を培養または保存するための保存庫の一例であって、生物学的及び／または物理学的に密閉された保存空間Ｅを形成している。観察装置１はインキュベータ３００の内部に設けられた棚３０１上に設置されて使用される。
【０１２１】
ここで、インキュベータ３００の内部は、例えば室温３７°Ｃ、湿度１００％といった庫内環境に保たれていることが多い。このような環境ではその湿気に起因した光学系の曇りによる画質劣化、駆動機構やカメラ、照明等における電装部短絡などといった不具合が発生する可能性が高い。このため、インキュベータ３００の内部に配置する場合は特に、観察装置１に密閉された筐体（本体２）が必要となる。
【０１２２】
観察装置１の密閉された筐体内部では、駆動機構やカメラ、照明等から発生した熱が充満し、対物レンズ２１付近にも滞留してさらに上方へ発散しようとする。これに対して、対物レンズカバー２６の窓部２７は照明の光量を減衰させずに面積を最小にできる範囲である１ｍｍ〜１０ｍｍ程度であって、対物レンズカバー２６も窓部２７に合わせて容器Ｃ底面に接近している箇所の面積をできるだけ少なくしたことで、容器Ｃ底面と対物レンズカバー２６との隙間がほとんどなく、空気が流通しないことに起因する熱影響を抑制している。同時に、対物レンズカバー２６は対物レンズ２１周辺のみを覆うことで対物レンズカバー２６の表面積を増大することができるので、空気が流通し易い対物レンズカバー２６の横方向へも熱発散することができ、容器Ｃへの熱伝達を抑制することが可能である。
【０１２３】
このような作用も含めて、観察装置１をインキュベータ３００内部に設置した構成であっても、容器Ｃ内で培養中の細胞を観察するにあたって、容器Ｃ全体を観察して発現した細胞塊を特定でき、さらにこの特定した細胞塊を拡大して詳細を観察することが可能な観察装置１を提供することができる。また、このような特定した細胞塊の発現のときから成育完了まで継続して観察を行うことが可能な観察システムＳを提供することができる。
【０１２４】
（第６の実施形態）
次に、本発明の第６の実施形態に係る観察装置システムについて、図１３及び図１４を用いてその構成を説明する。図１３は観察装置システムの構成図、図１４は図１３に示すアイソレータの部分断面側面図である。なお、この実施形態の基本的な構成は図１〜図７を用いて説明した前記第１の実施形態と同じであるので、第１の実施形態と共通する構成要素には前と同じ符号を付し、図面の記載及びその説明を省略するものとする。
【０１２５】
第６の実施形態に係る観察システムＳの観察装置１は、図１３及び図１４に示すようにアイソレータ４００の内部に収容されている。
【０１２６】
アイソレータ４００は本体４０１の略中央部にケース４０２を備えている。ケース４０２は細胞の培養や処置、観察に係る作業を実施するための生物学的及び／または物理学的に密閉された作業空間Ｆを形成している。ケース４０２の正面側には正面扉４０３が開閉可能に設けられている。正面扉４０３は外から作業空間Ｆ内を見るためのガラスなどで構成された窓部４０４を備えている。
【０１２７】
正面扉４０３の窓部４０４には作業空間Ｆで作業を行うためのグローブ４０５が備えられている。グローブ４０５はケース４０２の窓部４０４から作業空間Ｆに向かって延びる形で設けられている。窓部４０４に対するグローブ４０５の取り付け箇所には開口部４０６が設けられている。作業者は開口部４０６からグローブ４０５に手を挿入して装着し、窓部４０４から密閉されたケース４０２内の作業空間Ｆを見ながら作業空間Ｆ内で作業を行う。グローブ４０５は横方向に２個並べて設けられている。なお、グローブ４０５やその開口部４０６は２個の場合だけでなく、３個や４個或いはそれ以上の個数の場合もある。
【０１２８】
アイソレータ４００はそのほか、ケース４０２の上部に気体調整部４０７を、ケース４０２を正面から見た右側に本体操作部４０８を、左側にインキュベータ４０９を備えている。
【０１２９】
このように観察装置１をアイソレータ４００内部に設置した構成であっても、容器Ｃ内で培養中の細胞を観察するにあたって、容器Ｃ全体を観察して発現した細胞塊を特定でき、さらにこの特定した細胞塊を拡大して詳細を観察することが可能な観察装置１を提供することができる。また、このような特定した細胞塊の発現のときから成育完了まで継続して観察を行うことが可能な観察システムＳを提供することができる。なお、観察装置１はインキュベータ４０９の内部に設置しても良い。
【０１３０】
（第７の実施形態）
次に、本発明の第７の実施形態に係る観察装置システムについて、図１５を用いてその構成を説明する。図１５は観察装置システムの構成図である。なお、この実施形態の基本的な構成は図１〜図７を用いて説明した前記第１の実施形態と同じであるので、第１の実施形態と共通する構成要素には前と同じ符号を付し、図面の記載及びその説明を省略するものとする。
【０１３１】
第７の実施形態に係る観察システムＳには、図１５に示すように全体観察部１０、拡大観察部２０、及び搬送部３０が備えられ、これら各々が独立して設けられている。そして、全体観察部１０、拡大観察部２０、及び搬送部３０に対しては、各々を個別に制御する制御装置５０１〜５０３と、それらに個別に指令を送るコンピュータ６０１〜６０３とが備えられている。３台のコンピュータ６０１〜６０３間には互いに通信ができるようにネットワークケーブルが接続され、全体観察と拡大観察と容器Ｃの搬送とを連携して実行できるようになっている。
【０１３２】
なお、３台のコンピュータの連携を統合して行う別のコンピュータがある構成としても良い。また、コンピュータを１台とし、この１台のコンピュータから制御装置５０１〜５０３に指令を送る構成としても良い。さらに、コンピュータ、制御装置を１台とし、この１台のコンピュータ、制御装置から全体観察部、拡大観察部、搬送部を制御する構成としても良い。
【０１３３】
また、図１５に示す搬送部３０は回転移動して全体観察部１０と拡大観察部２０との間で容器Ｃを搬送するようにしているが、第１の実施形態同様、水平移動して容器Ｃを搬送するようにしても良い。容器Ｃは全体観察部１０と拡大観察部２０とに共通の載置トレー３２に載置されている。載置トレー３２は全体観察部１０と拡大観察部２０とに対して位置決めがなされ、容器Ｃは載置トレー３２に対して位置決めがなされている。
【０１３４】
このように全体観察部１０、拡大観察部２０、及び搬送部３０を各々独立させて個別に制御する構成であっても、容器Ｃ内で培養中の細胞を観察するにあたって、容器Ｃ全体を観察して発現した細胞塊を特定でき、さらにこの特定した細胞塊を拡大して詳細を観察することが可能な観察システムＳを提供することができる。また、このような特定した細胞塊の発現のときから成育完了まで継続して観察を行うことが可能な観察システムＳを提供することができる。
【０１３５】
なお、インキュベータやアイソレータなどの狭い作業空間内では全体観察部、拡大観察部、搬送部を機構的に別体とすることで各部の柔軟な配置構成が可能となり、作業空間を有効に使用できる。
【０１３６】
以上、本発明の実施形態につき説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実施することができる。
【０１３７】
例えば、上記実施形態では培養容器１枚を観察するという内容で説明したが、培養容器複数枚を載置できるトレーを用いて複数枚を同時に観察しても良い。
【０１３８】
また、上記実施形態では全体観察部１０の撮像部にＣＭＯＳカメラ１２を、拡大観察部２０の撮像部にＣＣＤカメラ２４を用いることとしたが、カメラの種類としてはＣＭＯＳカメラ、ＣＣＤカメラいずれを用いても良い。
【産業上の利用可能性】
【０１３９】
本発明は、細胞などの試料を観察するための観察装置、観察プログラム、観察方法及び観察システムにおいて利用可能である。
【符号の説明】
【０１４０】
Ｓ 観察システム
１ 観察装置
２ 本体（筐体）
１０ 全体観察部
１１ レンズ（全体観察光学系）
１２ ＣＭＯＳカメラ（撮像部）
１３ リング照明（全体観察照明）
２０ 拡大観察部
２１ 対物レンズ（拡大観察光学系、レンズ部）
２２ 反射ミラー（拡大観察光学系）
２３ ズームレンズ（拡大観察光学系）
２４ ＣＣＤカメラ（撮像部）
２５ 位相差照明部（拡大観察照明）
２６ 対物レンズカバー（カバー部材）
２７ 窓部
３０ 搬送部
１００ 制御装置
２００ コンピュータ
２０１ 演算部
２０２ 計時部
２１０ 記憶部
２１１ 観察タイミング保持部（設定部）
２１４ 閾値保持部（設定部）
２２０ 観察プログラム
Ｃ 容器
Ｄ 空隙
【特許請求の範囲】
【請求項１】
コンピュータに、
試料と溶液とが入った容器全体を撮像することで前記試料の画像を撮像する全体撮像処理と、
前記全体撮像処理で撮像した前記画像から複数の前記試料が寄り集まった試料塊を識別する試料塊識別処理と、
前記試料塊識別処理で識別した前記試料塊の中心の座標を検出する座標検出処理と、
前記座標検出処理で検出した前記座標を中心として拡大して前記試料塊の画像を撮像する拡大撮像処理と、を実行させ、
前記試料塊識別処理は、識別した前記試料塊の形状が所定の形状であるか否か判定し、
前記座標検出処理は、前記試料塊識別処理において所定の形状であると判定されたことを条件としてその試料塊の中心の座標を検出することを特徴とする観察プログラム。
【請求項２】
前記試料塊識別処理は、識別した前記試料塊の形状が所定の真円度であるとき、又は識別した前記試料塊の輪郭を囲む楕円の楕円長軸と楕円短軸の比が所定の閾値以下であるとき所定の形状であると判定し、
前記座標検出処理は、前記試料塊識別処理において所定の形状であると判定されたことを条件としてその試料塊の中心の座標を検出することを特徴とする請求項１に記載の観察プログラム。
【請求項３】
前記座標検出処理は、前記試料塊識別処理において所定の形状であると判定されなかったことを条件として任意の座標を検出することを特徴とする請求項２に記載の観察プログラム。
【請求項４】
前記試料の観察開始からの日時を計測する計時処理を実行するとともに、
前記試料塊識別処理は、前記計時処理で計時した試料塊の識別に関する所定期間ごとに前記所定の形状の試料塊が判定できるまで前記識別を繰り返し、且つ所定日数を経過したことを条件として前記識別を中止することを特徴とする請求項２または３に記載の観察プログラム。
【請求項５】
試料と溶液とが入った容器内の前記試料に光を照射する照明及び前記試料を観察するために光を導く光学系を有し、前記容器全体を撮像することで前記試料の画像を撮像する全体観察部と、
前記試料の観察開始からの日時を計測する計時部と、
前記計時部で計時した複数の前記試料が寄り集まった試料塊の識別に関する所定期間ごとに前記全体観察部で撮像した前記画像から所定形状の試料塊を認識できるまで前記試料塊の識別を繰り返し、認識できた所定形状の前記試料塊の中心の座標を検出するものであって、所定形状の前記試料塊を認識できなかったことを条件として任意の座標を検出する演算部と、
前記容器内の前記試料に光を照射する照明及び前記試料を観察するために光を導く光学系を有し、前記演算部で検出した前記座標を中心として拡大して前記試料塊の画像を撮像する拡大観察部と、
前記演算部において所定形状の前記試料塊を認識するための前記試料塊の識別の繰り返し期限、前記拡大観察部において前記画像を撮像するタイミング、及び前記試料の観察期限を設定する設定部と、を備えることを特徴とする観察システム。
【請求項１】
コンピュータに、
試料と溶液とが入った容器全体を撮像することで前記試料の画像を撮像する全体撮像処理と、
前記全体撮像処理で撮像した前記画像から複数の前記試料が寄り集まった試料塊を識別する試料塊識別処理と、
前記試料塊識別処理で識別した前記試料塊の中心の座標を検出する座標検出処理と、
前記座標検出処理で検出した前記座標を中心として拡大して前記試料塊の画像を撮像する拡大撮像処理と、を実行させ、
前記試料塊識別処理は、識別した前記試料塊の形状が所定の形状であるか否か判定し、
前記座標検出処理は、前記試料塊識別処理において所定の形状であると判定されたことを条件としてその試料塊の中心の座標を検出することを特徴とする観察プログラム。
【請求項２】
前記試料塊識別処理は、識別した前記試料塊の形状が所定の真円度であるとき、又は識別した前記試料塊の輪郭を囲む楕円の楕円長軸と楕円短軸の比が所定の閾値以下であるとき所定の形状であると判定し、
前記座標検出処理は、前記試料塊識別処理において所定の形状であると判定されたことを条件としてその試料塊の中心の座標を検出することを特徴とする請求項１に記載の観察プログラム。
【請求項３】
前記座標検出処理は、前記試料塊識別処理において所定の形状であると判定されなかったことを条件として任意の座標を検出することを特徴とする請求項２に記載の観察プログラム。
【請求項４】
前記試料の観察開始からの日時を計測する計時処理を実行するとともに、
前記試料塊識別処理は、前記計時処理で計時した試料塊の識別に関する所定期間ごとに前記所定の形状の試料塊が判定できるまで前記識別を繰り返し、且つ所定日数を経過したことを条件として前記識別を中止することを特徴とする請求項２または３に記載の観察プログラム。
【請求項５】
試料と溶液とが入った容器内の前記試料に光を照射する照明及び前記試料を観察するために光を導く光学系を有し、前記容器全体を撮像することで前記試料の画像を撮像する全体観察部と、
前記試料の観察開始からの日時を計測する計時部と、
前記計時部で計時した複数の前記試料が寄り集まった試料塊の識別に関する所定期間ごとに前記全体観察部で撮像した前記画像から所定形状の試料塊を認識できるまで前記試料塊の識別を繰り返し、認識できた所定形状の前記試料塊の中心の座標を検出するものであって、所定形状の前記試料塊を認識できなかったことを条件として任意の座標を検出する演算部と、
前記容器内の前記試料に光を照射する照明及び前記試料を観察するために光を導く光学系を有し、前記演算部で検出した前記座標を中心として拡大して前記試料塊の画像を撮像する拡大観察部と、
前記演算部において所定形状の前記試料塊を認識するための前記試料塊の識別の繰り返し期限、前記拡大観察部において前記画像を撮像するタイミング、及び前記試料の観察期限を設定する設定部と、を備えることを特徴とする観察システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−４８１９３（Ｐ２０１２−４８１９３Ａ）
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願番号】特願２０１１−７４４９０（Ｐ２０１１−７４４９０）
【出願日】平成２３年３月３０日（２０１１．３．３０）
【分割の表示】特願２０１０−１９２４８５（Ｐ２０１０−１９２４８５）の分割
【原出願日】平成２２年８月３０日（２０１０．８．３０）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願日】平成２３年３月３０日（２０１１．３．３０）
【分割の表示】特願２０１０−１９２４８５（Ｐ２０１０−１９２４８５）の分割
【原出願日】平成２２年８月３０日（２０１０．８．３０）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]