細胞画像撮像装置、細胞画像撮像方法、細胞画像撮像プログラム、及び細胞観察装置
【課題】蛍光タンパクを導入した生細胞のように制約の多い細胞の撮像に関して、複数の生細胞を長期培養しながら、照明光による細胞へのダメージを最小限に抑え、複数の時刻の複数の視野で露出適正な細胞画像の撮像を可能にする。
【解決手段】露出検出設定部３０９によって視野毎に過去に撮像した撮像済みの細胞画像の輝度値に基づいて次回撮像時の露出条件を設定し、次回撮像時には各視野毎に設定されたそれぞれの露出条件に従い撮像部２０１で細胞を撮像するようにすることで、複数の視野に跨る多数の細胞を視野毎に適正な露出で撮像することができ、このためにも、露出計測のため専用の余分な照明光の照射を要せず、本来の細胞撮像のための照射で済み、細胞に与えるダメージを最小限に抑えることができるようにした。
【解決手段】露出検出設定部３０９によって視野毎に過去に撮像した撮像済みの細胞画像の輝度値に基づいて次回撮像時の露出条件を設定し、次回撮像時には各視野毎に設定されたそれぞれの露出条件に従い撮像部２０１で細胞を撮像するようにすることで、複数の視野に跨る多数の細胞を視野毎に適正な露出で撮像することができ、このためにも、露出計測のため専用の余分な照明光の照射を要せず、本来の細胞撮像のための照射で済み、細胞に与えるダメージを最小限に抑えることができるようにした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生細胞を長期培養しながら露出適正な細胞画像を取得する細胞画像撮像装置、細胞画像撮像方法、細胞画像撮像プログラム、及び細胞観察装置に関するものである。
【背景技術】
【０００２】
従来、顕微鏡による撮像条件下で露出適正な画像を取得するために、様々な試みが提案されている。最も簡単な構成として、輝度検出センサを用いて照明光量を検出し、検出された照明光量情報を用いて露出条件に補正をかけるものが挙げられる。例えば、特許文献１は、光路を切り替えながら照明光量を輝度検出センサによって検出し、シャッター速度が最適になるように制御する構成を開示している。
【０００３】
また、特許文献２は、実際に撮像した画像の輝度情報から最適な露出条件を求めて露出制御を行い、撮像した画像を露出条件に応じて補正する構成を開示している。
【０００４】
特許文献３は、蛍光観察時特有の問題として、プレパラートの褪色に露出補正で対応するため、少なくとも２回の光量測定と、さらに少なくとも２回の露出を行って適正な光量を得る手法を開示している。
【０００５】
さらに、特許文献４は、光源であるストロボの発光量と定常光を別センサでモニタリングし、光量の累積が所定レベルに達した際にストロボ光源をオフすることで露出を適正に保つ構成を開示している。
【０００６】
【特許文献１】特開平５−３４１１９４号公報
【特許文献２】特開２００３−１６３８３３号公報
【特許文献３】特開平６−１１０１０４号公報
【特許文献４】特許第３３７２３３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
一般に、蛍光タンパクを導入した生細胞を蛍光撮像する場合、蛍光タンパクの発現状態や細胞の活性状態に応じて蛍光画像の輝度は刻々と変化する。培養初期では低かった細胞の輝度が、蛍光タンパクの発現に伴って高輝度になる場合や、逆に蛍光タンパクの発現量が減少し輝度が低下する場合、更には輝度の上昇と低下が繰り返される場合等、撮像対象によって変化のパターンは様々である。そこで、生細胞の撮像時の露出は、観察の進行に応じて調整されることが望ましい。
【０００８】
ここで、観察開始前に露出調整を行い、観察中は固定的な露出条件を用いることも可能であるが、最初の露出条件の設定が著しく困難になる上に、輝度の変化が想定とは異なる振る舞いを呈示した場合、露出オーバーによる輝度飽和や露出不足による黒潰れのために、有効な画像情報が得られなくなる可能性が高い。細胞の長期培養観察実験では１回の実験期間が長いため、途中での撮像失敗によるやり直しは時間的損失が大きく、可能な限り避ける必要がある。また、一般的な撮像対象物の場合であれば、対象物に対して光を十分照射し得るフィードバック制御が可能であり、制約の少ないものであるが、生細胞の撮像時は、照明光の照射が細胞にダメージを与え、活性を低下させる原因となるので、過剰な照明光の照射を避けるために、撮像回数は必要最小限に抑える必要がある。
【０００９】
この点、照明光量の測定によって露出制御を行う特許文献１のものは、観察対象の状態が一定であることを前提とし、常に一定量の照明光を照射することを目的としている。ところが、蛍光タンパクを導入した生細胞は、上述したように蛍光タンパクの発現に応じて刻々と輝度を変化させるため、一定の照明光量を照射しても露出が最適になる保証はない。
【００１０】
また、生細胞の長期培養観察では、ある視野の撮影は１枚／数分、例えば１枚／１５分となるため、数分で１周するような複数の視野を複数の観測ポイントとして設定し、これらの複数の視野を切り替えながら各視野を数分間隔で撮像するのが一般的である。このために、細胞を培養するスライドガラス（試料）をステージ搬送機構によって撮像素子との相対位置が変化するように移動させることで、複数の時点の複数の視野で生細胞を撮像するようにしている。この点、特許文献２のものは、フレームレート程度の短時間の閉ループで撮像と露出制御を行うことを前提とした構成であり、このような短時間の閉ループで露出制御を行う構成では、このような多視野の切り替えに対応できない。また、連続的に照明光の照射と撮像を反復させるため、細胞に照明光によるダメージを与え、活性を低下させることになる。
【００１１】
また、特許文献３のものは、プレパラートの褪色に関する物理モデルを用いているが、蛍光タンパクを導入した生細胞の輝度変化は、このような物理モデルで表すことは極めて困難である。
【００１２】
さらに、特許文献４のものは、ストロボ発光のわずかな期間中に光量のモニタリング、累積演算、及び光源へのフィードバックを行うことが必要となる。この場合、通常の高解像度の撮像素子を光量のモニタリングにも利用することは速度面から難しく、特許文献４中にも記載の通り、撮像素子とは別の光センサを必要とする。このような構成は、装置構成を複雑化させる上に、光路分割を行えば、光量の損失も発生してしまう。また、試料（細胞）に照射する照明光量を変化させると、細胞の活性に影響を及ぼしてしまい好ましくないが、特許文献４のものはストロボ光源をオフするタイミングを制御するため、試料に対する照射光量（照射条件）が変動してしまう。
【００１３】
本発明は、上記に鑑みてなされたものであって、蛍光タンパクを導入した生細胞のように制約の多い細胞の撮像に関して、複数の生細胞を長期培養しながら、照明光による細胞へのダメージを最小限に抑え、複数の時刻の複数の視野で露出適正な細胞画像の撮像が可能な細胞画像撮像装置、細胞画像撮像方法、細胞画像撮像プログラム、及び細胞観察装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上述した課題を解決し、目的を達成するために、請求項１に係る細胞画像撮像装置は、視野毎に設定された露出条件に従い複数の時点の複数の視野で細胞を撮像する撮像手段と、視野毎に該視野の撮像済みの細胞画像の輝度値に基づいて次回撮像時の前記露出条件を設定する露出条件設定手段と、を備えたことを特徴とする。
【００１５】
請求項２に係る細胞画像撮像装置は、上記発明において、前記露出条件設定手段は、視野毎に該視野の撮像済みの細胞画像の輝度値に基づいて次回撮像時の細胞の輝度値を予測する予測手段を含み、該予測手段で予測された輝度値に基づいて該視野の次回撮像時の前記露出条件を設定することを特徴とする。
【００１６】
請求項３に係る細胞画像撮像装置は、上記発明において、前記予測手段は、撮像済みの細胞画像の画像データを記録装置に記録した後で輝度値の予測を行うことを特徴とする。
【００１７】
請求項４に係る細胞画像撮像装置は、上記発明において、前記予測手段は、次回撮像時の細胞の最大輝度値を予測することを特徴とする。
【００１８】
請求項５に係る細胞画像撮像装置は、上記発明において、前記予測手段は、多項式近似により輝度値の予測を行うことを特徴とする。
【００１９】
請求項６に係る細胞画像撮像装置は、上記発明において、前記予測手段は、過去に撮像された細胞画像の輝度値に対して次回撮影時の細胞画像の輝度値の予測値を参照表としてあらかじめ記憶しておき、該参照表を参照して輝度値の予測を行うことを特徴とする。
【００２０】
請求項７に係る細胞画像撮像装置は、上記発明において、前記露出条件設定手段は、撮像時の前記細胞に対する照射条件が一定となるように前記露出条件の設定を行うことを特徴とする。
【００２１】
請求項８に係る細胞画像撮像装置は、上記発明において、前記露出条件設定手段は、露出時間の設定により前記露出条件の設定を行うことを特徴とする。
【００２２】
請求項９に係る細胞画像撮像装置は、上記発明において、前記露出条件設定手段は、露出時間を前記予測手段で予測した輝度値の大きさに反比例させることにより前記露出条件の設定を行うことを特徴とする。
【００２３】
請求項１０に係る細胞画像撮像装置は、上記発明において、前記露出条件設定手段は、撮像対象となる細胞を培養するための試料と当該撮像手段の撮像素子との間の光路上に設けた減光機構による減光の程度を設定することで前記露出条件の設定を行うことを特徴とする。
【００２４】
請求項１１に係る細胞画像撮像装置は、上記発明において、前記減光機構は、ニュートラルデンシティフィルタであることを特徴とする。
【００２５】
請求項１２に係る細胞画像撮像装置は、上記発明において、前記露出条件設定手段は、前記ニュートラルデンシティフィルタの透過率を最大輝度値に反比例させることにより前記露出条件の設定を行うことを特徴とする。
【００２６】
請求項１３に係る細胞画像撮像装置は、上記発明において、撮像した細胞画像の画像データに撮像時の前記露出条件を付加して記録する記録手段をさらに備えたことを特徴とする。
【００２７】
請求項１４に係る細胞画像撮像装置は、上記発明において、細胞を培養する培養手段をさらに備え、前記撮像手段は、前記培養手段に収納されている培養中の細胞を撮像することを特徴とする。
【００２８】
請求項１５に係る細胞観察装置は、請求項１〜１４のいずれか一つに記載の細胞画像撮像装置と、該細胞画像撮像装置で撮像した細胞画像の画像データの輝度を撮像時の前記露出条件に応じて正規化する輝度補正手段と、正規化された前記細胞画像の画像データから細胞を認識する細胞認識手段と、該細胞認識手段で認識した細胞の特徴を示す細胞パラメータを正規化された前記細胞画像の画像データに基づき計測する細胞パラメータ計測手段と、異なる時点で撮像された視野毎のそれぞれの正規化された細胞画像の画像データから認識された細胞同士の対応付けを前記細胞パラメータに基づいて行う細胞追跡手段と、を備えたことを特徴とする。
【００２９】
請求項１６に係る細胞画像撮像プログラムは、細胞画像撮像装置で細胞の撮像を行う細胞画像撮像プログラムであって、前記細胞画像撮像装置に、視野毎に設定された露出条件に従い複数の時点の複数の視野で細胞を撮像する撮像ステップと、視野毎に該視野の撮像済みの細胞画像の輝度値に基づいて次回撮像時の前記露出条件を設定する露出条件設定ステップと、を実行させることを特徴とする。
【００３０】
請求項１７に係る細胞画像撮像プログラムは、上記発明において、前記露出条件設定ステップは、視野毎に該視野の撮像済みの細胞画像の輝度値に基づいて次回撮像時の細胞の輝度値を予測する予測ステップを含み、該予測ステップで予測された輝度値に基づいて該視野の次回撮像時の前記露出条件を設定することを特徴とする。
【００３１】
請求項１８に係る細胞画像撮像方法は、細胞を培養する培養手段と、該培養手段に収容されている細胞を撮像する撮像手段とを用いる細胞画像撮像方法であって、前記培養手段で細胞を培養しながら、培養中の細胞を前記撮像手段によって複数の時点の複数の視野で視野毎に設定された露出条件に従い撮像して細胞画像を取得する培養細胞撮像工程と、視野毎に該視野の撮像済みの細胞画像の輝度値に基づいて次回撮像時の前記露出条件を設定する露出条件設定工程と、を備えたことを特徴とする。
【００３２】
請求項１９に係る細胞画像撮像方法は、上記発明において、前記露出条件設定工程は、視野毎に該視野の撮像済みの細胞画像の輝度値に基づいて次回撮像時の細胞の輝度値を予測する予測工程を含み、該予測工程で予測された輝度値に基づいて該視野の次回撮像時の前記露出条件を設定することを特徴とする。
【発明の効果】
【００３３】
本発明に係る細胞画像撮像装置、細胞画像撮像方法、細胞画像撮像プログラム、及び細胞観察装置によれば、視野毎に過去に撮像した撮像済みの細胞画像の輝度値に基づいて次回撮像時の露出条件を設定し、次回撮像時には各視野毎に設定されたそれぞれの露出条件に従い細胞を撮像するようにしたので、複数の視野に跨る多数の細胞を視野毎に適正な露出で撮像することができ、このためにも、露出計測のため専用の余分な照明光の照射を要せず、本来の細胞撮像のための照射で済み、細胞に与えるダメージを最小限に抑えることができ、複数の生細胞を長期培養しながら視野毎に撮像するのに好適な機器を提供することができるという効果を奏する。
【発明を実施するための最良の形態】
【００３４】
以下に添付図面を参照して、本発明に係る好適な実施の形態について詳述する。本発明の実施の形態に係る細胞画像撮像装置を含む細胞観察装置は、蛍光タンパクを導入した複数の生細胞を長期培養し、複数の時刻の複数の視野で露出を補正しながら細胞の画像を撮像し、個々の細胞の領域を認識し、経時的な位置変化を追尾しつつ、個々の細胞の特徴を示す細胞パラメータを独立に計測する。
【００３５】
図１は、本実施の形態に係る細胞観察装置の構成例を示す概略ブロック図である。本実施の形態に係る細胞観察装置は、概略的には、細胞を培養する培養部１０１と、この培養部１０１に収容されている細胞を撮像する撮像部２０１と、細胞観察装置の全体の処理及び動作を制御する制御部３０１と、撮像部２０１で撮像した画像のデータや処理後のデータなどの各種データを集中して一時的或いは永続的に記録する記録部３０２と、各種情報の入力を受ける入力部３０３と、画像情報等の各種情報を表示して操作者に提示する表示部３０４とを備える他、前処理部３０５、細胞認識部３０６、パラメータ計測部３０７、細胞追跡部３０８、露出検出設定部３０９、撮像回数計数部３１０、占有面積算出部３１１、合焦検出部３１２、及び輝度補正部３１３を備える。
【００３６】
これらの各部３０２〜３１３は、制御部３０１に接続され、制御部３０１により制御される。なお、図１では、制御部３０１から培養部１０１や撮像部２０１に対する制御接続は特に図示していない。また、制御部３０１、前処理部３０５、細胞認識部３０６、パラメータ計測部３０７、細胞追跡部３０８、露出検出設定部３０９、撮像回数計数部３１０、占有面積算出部３１１、合焦検出部３１２、及び輝度補正部３１３によって行われる各処理は、細胞観察装置に搭載されたＣＰＵがＲＯＭ等のメモリに記憶された処理プログラムに基づいて、適宜ＲＡＭ等の記憶装置に必要なデータを書き込みながら行われる。
【００３７】
まず、培養部１０１について説明する。スライドガラス１０２は、局在化せずに発現する蛍光タンパクをあらかじめ導入した複数の生細胞Ｃを保持し、培養部１０１内に設置されている。この培養部１０１は、例えば特開２００４−１１３１７５号公報によって開示された培養容器と同様の構成である。この場合、蛍光タンパクは局在化しないものであれば何でも良く、一般的なクラゲ由来の蛍光タンパク等が利用可能で、一例としてＢＤバイオサイエンス・クロンテック社のｐＥＧＦＰ−Ｎ１を使用することができる。
【００３８】
図２は、培養部１０１の構成例を示す水平断面図であり、図３は、培養部１０１の構成例を示す縦断正面図である。培養手段としての培養部１０１は、図２及び図３に示すように、スライドガラス１０２を内部に収容可能な表裏貫通孔１０３を有する熱伝導に優れた材質、例えば、ステンレス製又はアルミニウム製の筐体１０４と、その筐体１０４の表裏貫通孔１０３を塞ぐ光学的に平滑な２枚のガラス板で形成された観察窓１０５と、筐体１０４内部に培養液Ａを供給する培養液供給パイプ１０６と、筐体１０４内部から不要となった培養液Ａを排出する培養液排出パイプ１０７と、筐体１０４への培養液Ａの出入口に設けられた２つの整流板１０８とを備えている。
【００３９】
生細胞Ｃを健全に育成するためには、スライドガラス１０２上の全域に渡って常に新鮮な培養液Ａが供給されることが望ましい。しかし、培養液Ａの流れが急激な場合、スライドガラス１０２上に着床した生細胞Ｃが剥離する可能性がある。このため、本実施の形態は、各パイプ１０６，１０７付近に整流板１０８を設置し、培養液Ａの流れを均一に分散、回収できるようにしている。
【００４０】
図４は、整流板１０８の構成例を示す斜視図である。整流板１０８は、図４に示すように、厚さ方向に複数の貫通孔１０８ａを形成した多孔性の部材である。入口側の整流板１０８は、培養液供給パイプ１０６から流入する培養液Ａを複数の貫通孔１０８ａに分散させて流通させ、出口側の整流板１０８は、培養液排出パイプ１０７を経て一気に流出しようとする培養液Ａを複数の貫通孔１０８ａに分散させて流通させる。これにより、集中的な流れを分散流に変換し、生細胞Ｃが配置されているスライドガラス１０２近傍において、一定の流速及び流量で培養液Ａを流動させることができる。
【００４１】
培養部１０１には、温度制御ユニット１０９が取り付けられ、培養部１０１の周囲に温水Ｗを流通させる温水流路１１０を形成する。温水流路１１０に温水Ｗを循環させることにより、筐体１０４を介して温水の熱を培養液Ａに伝達させる。この時、図示しない温度センサからの温度情報が制御部３０１に所定時間間隔毎に伝達され、制御部３０１は培養部１０１内の温度が３７±０．５℃の範囲に維持されるように温水Ｗの温度と流量を制御する。
【００４２】
また、図示しないｐＨセンサによって培養液ＡのｐＨ情報が制御部３０１に所定時間間隔毎に伝達され、制御部３０１は培養液のｐＨが所定の範囲に維持されるように培養液Ａ内のＣＯ2濃度を制御する。
【００４３】
未使用の培養液は、図示しない培養液保存部に保存されており、経時的な劣化を抑えるため、図示しない保冷機構で約４℃に保冷される。保冷された培養液は、図示しない培養液加温機構によって約３７℃に加温された後、培養液供給パイプ１０６を通じて筐体１０４内に供給される。
【００４４】
培養液排出パイプ１０７を通じて排出された培養液は、図示しない廃液保存部に保存される。排出された培養液の一部を新鮮な培養液と混合して筐体１０４内に供給する構成としても良く、この場合、培養液の交換に伴う細胞への衝撃を和らげ、より長期の培養に適した構成となる。
【００４５】
図５は、培養部１０１側と撮像部２０１側との境界部分の断熱構成例を示す断面図である。培養部１０１の発する熱は、断熱手段としての断熱部１１１を設けることで、撮像部２０１側には伝達しないようにする。培養部１０１と撮像部２０１との断熱を行う断熱部１１１の設置個所は、種々考えられるが、本実施の形態では、培養部１０１の筐体１０４と撮像部２０１を構成する撮像素子との間に断熱部１１１を設置している。断熱部１１１は、断熱性が高く伸縮性のある部材、例えばゴム、シリコン、ポリウレタン等を使用したシート状であって、対物レンズ２０２と概略同じ直径の貫通孔１１２が設けられている。培養部１０１と対物レンズ２０２とは貫通孔１１２を通して光学的に接続されており、自由に光線をやり取りできる。一方、培養部１０１の発する熱は断熱部１１１によってそのほとんどが遮られる。一般に、光学系は２５℃前後での使用を前提として調整されており、培養部１０１からの熱で加熱されると想定した性能を発揮できない。特に、撮像部２０１の備えるＣＣＤ等の固体撮像素子は、高温になる程ノイズが増加してＳ／Ｎが劣化するため、微弱な蛍光を捉えるためにはできるだけ低温（ただし、結露させない）に保つ必要がある。
【００４６】
培養手段としては、培養部１０１のように培養液の交換を行うことができるものを用いるとより好ましいが、一般的なウェルプレートを用いて細胞を観察することも可能である。ただし、一般的なウェルプレートを用いた場合には、環境状態を維持したまま培養液を交換することができないため、培養部１０１を用いる場合に比べて、細胞の代謝に伴う培養液の劣化の影響で培養期間は短期に制限されてしまう。
【００４７】
以上の構成により、培養部１０１内部の温度と培養液ＡのｐＨはほぼ一定に保たれている。測定試料となる生細胞の一例として、ヒーラ細胞を用いる。ヒーラ細胞は、子宮頸癌由来であり、創薬毒性試験等で広く用いられている。導入する蛍光タンパクの種類は、アッセイの内容に応じて変更しても良い。
【００４８】
次に、撮像部２０１について説明する。撮像部２０１は、励起光照明部２０３と、ダイクロイックミラー２０４と、対物光学系と２０５と、結像光学系２０６と、蛍光撮像部２０７と、赤外光照明部２０８と、ダイクロイックミラー２０９と、結像光学系２１０と、赤外光撮像部２１１とを有して構成されている。すなわち、本実施の形態の撮像部２０１は、蛍光撮像系と赤外光撮像系とを有する構成とされている。
【００４９】
まず、励起光照明部２０３から放射された光は、ダイクロイックミラー２０４によって反射され、対物レンズ２０２を含む対物光学系２０５と観察窓１０５を経てスライドガラス１０２に照射される。照射された光を励起光として、スライドガラス１０２上の生細胞Ｃに導入された蛍光タンパクから蛍光が発せられ、励起光の反射光と蛍光は共に観察窓１０５から射出される。射出された光は、再度対物光学系２０５を通過し、ダイクロイックミラー２０４に到達するが、蛍光のみが透過し、励起光の反射光は遮断される。ダイクロイックミラー２０４を透過した蛍光は、結像光学系２０６によって細胞光撮像手段としての蛍光撮像部２０７が備えるＣＣＤやＣＭＯＳ等の固体撮像素子上に拡大投影されて結像する。
【００５０】
結像した測定試料の蛍光像を蛍光撮像部２０７が備える固体撮像素子によって画像データに変換し、制御部３０１による制御の下に記録部３０２において一時的或いは永続的に記録する。図６は、蛍光撮像された培養中の細胞画像の一例を示す説明図である。
【００５１】
また、赤外光照明部２０８から放射された光は、一方の観察窓１０５を経てスライドガラス１０２に照射され、その透過光が他方の観察窓１０５から射出される。射出された光は、対物光学系２０５を通過し、ダイクロイックミラー２０９に到達するが、赤外光は全て反射される。反射された赤外光は、結像光学系２１０によって赤外光撮像手段としての赤外光撮像部２１１が備えるＣＣＤやＣＭＯＳ等の固体撮像素子上に拡大投影されて結像する。結像した測定試料の赤外光像を赤外光撮像部２１１が備えるＣＣＤやＣＭＯＳ等の固体撮像素子によって画像データに変換し、制御部３０１による制御の下に、記録部３０２において一時的或いは永続的に記録する。
【００５２】
一般に、蛍光タンパクは全ての細胞に均等に導入できる訳ではなく、また導入できた場合でも直ちに発現するとは限らないため、細胞の全体像を経時的に安定して観察する手段が必要であり、本実施の形態では赤外光像がこれに当たる。赤外光像を表示する場合、初期状態では蛍光タンパクが殆ど或いは全く発現していない測定試料であっても、細胞像を視認しながら観察範囲の確認や調整を行える。
【００５３】
赤外光は、可視光と比較して生細胞に対する光毒性が低いため、可視光を用いて撮像した場合と比較して、より長期間細胞の活性を維持することができる。また、蛍光撮像用の励起光として可視光全域を使用できるようになるため、利用可能な蛍光タンパクの制約が緩和される。
【００５４】
このように、本実施の形態の撮像部２０１によれば、蛍光撮像部２０７や赤外光撮像部２１１を用いてスライドガラス１０２上の生細胞Ｃを撮像することで、生細胞Ｃを撮像した画像の画像データである細胞画像データを取得することが可能である。本実施の形態では、制御部３０１の制御により、あらかじめ設定した時間間隔で自動的に蛍光撮像部２０７によって撮像を行う。そして、細胞の様子を観察したいときに、必要に応じて、ユーザが所望の時期に赤外光撮像部２１１を用いた生細胞Ｃの観察を行うことができる。なお、赤外光撮像部２１１による撮像は、ユーザが所望の時期に行うばかりではなく、制御部３０１の制御によって、蛍光撮像部２０７による撮像と同期したタイミングで行えば、赤外光像と蛍光像との対応付けが容易になるだけでなく、両画像に含まれる生細胞Ｃ同士の対応付けも容易になる。その結果、生細胞Ｃを長期に培養しながら観察する場合に、細胞の活性低下を抑えながら、効率よく生細胞Ｃの観察を行うことが可能となる。蛍光像や赤外光像を撮像した時間を、表示部３０４に表示する機能を付加してもよい。
【００５５】
本実施の形態の構成は、蛍光撮像部２０７と赤外光撮像部２１１とを備えるため、蛍光像の撮像と赤外光像の撮像とを並行して行うことができ、両者を切り替えながら撮像する場合と比較して、撮像に要する時間が大幅に短縮され、切り替え用の駆動部も不要である。
【００５６】
赤外光照明部２０８にリング絞りを加え、ダイクロイックミラー２０９から結像光学系２１０に至る光路に位相板を挿入すれば、透過観察に代えて位相差観察を行うことができる。位相差観察は、透過観察と比較して、よりコントラストの高い画像が得られる。
【００５７】
赤外光照明部２０８にポラライザとＤＩＣ（Differential Interference Contrast）素子を挿入し、ダイクロイックミラー２０９から結像光学系２１０に至る光路にＤＩＣスライダとアナライザを挿入すれば、透過観察に代えて微分干渉観察を行うことができる。微分干渉観察は、透過観察と比較して、よりコントラストの高い画像が得られる。
【００５８】
ステージ搬送機構１１３によって、スライドガラス１０２と、蛍光撮像部２０７や赤外光撮像部２１１が備える固体撮像素子との相対位置を変化させながら、各視野（撮像範囲）について必要な回数だけ撮像と記録を反復し、画像データを取得する。複数の視野を切り替えながら撮像する場合は、各視野でのステージ位置を記録しておき、各視野の２回目以降の撮像に先立って、ステージ搬送機構１１３によりステージ位置を再現する。図７は、複数の視野（視野１〜Ｎ）による撮像の様子を示す説明図である。各視野の位置は任意であり、また、特に格子状に限定されるものではない。また、視野同士に重なりがあってもよい。図８は、各視野１〜Ｎの撮像タイミング例を示す説明図である。各視野１〜Ｎは、撮像間隔が概略一定（例えば、１５分間隔）となるように所定の順番で撮像を行う。各視野１〜Ｎを撮像する際には、露出検出設定部３０９によって設定された露出条件に従う。露出検出設定部１３１の処理内容については後述する。
【００５９】
視野毎による各画像の撮像後、合焦検出部３１２により画像データ撮像時の焦点合わせが適正であったか否かを検出する。撮像時の焦点合わせが不適正だった場合、直ちに或いは他の任意の観察部位の撮像が完了した時点で、合焦不適正部位の撮像をやり直す。この際、焦点合わせの条件を変更しても良い。
【００６０】
また、培養部１０１内は培養液Ａが循環しているが、撮像を行うタイミングに合わせて一時的に循環を停止させても良い。これにより、培養液の流通に由来する撮像時の背景の揺らぎを回避することができる。
【００６１】
さらに、所定の視野における撮像回数を撮像時点認識手段としての撮像回数計数部３１０により計数し、所定の視野の所定回数（フレーム）の撮像後、報知手段としての表示部３０４に画像を表示し、その内容について操作者に確認を求めるようにしてもよい。内容に問題が無いと操作者が判断した場合は処理を継続し、問題ありと判断した場合は、撮像条件の再設定について操作者からの指示を受け付ける。或いは、単に処理を中止してもよい。一定時間経っても操作者からの応答が無い場合は、既定の指示に従い、処理の継続或いは中止を選択する。
【００６２】
なお、本実施の形態では、蛍光撮像部２０７（又は、赤外光撮像部２１１）による撮像回数を計数し、所定回数の撮像後に操作者に画像の確認を求めるようにしたが、撮像回数を基準にするだけではなく、撮像時点認識手段として、観察開始から所定時間の経過を計測する手段（例えば、細胞画像データを撮像した時刻の情報も取得して、その時刻があらかじめ定めた時刻を超えた場合に、所定時点の細胞画像データを取得したことを認識する）を設けることで、画像の確認を行うようにしてもよい。
【００６３】
培養期間が長期となると、培養中の細胞に関して、想定した範囲を逸脱した増殖、死滅、画像輝度値の過大等が起こる可能性があり、或る時点で細胞観察にとって適切な画像を取得できなくなる場合も予想される。そこで、上述のように、所定の時点が経過したことを操作者に認識させたり、処理を中止したりすることで、操作者はそれまでに取得した画像や、その時点の画像を確認して、その後の細胞観察を適切に行うことが可能となる。
【００６４】
ついで、撮像した画像のうち、蛍光撮像部２０７で取得した画像データの処理手順について説明する。図９は、制御部３０１による制御の下に、撮像部２０１等により実行される画像データ処理例を示す概略フローチャートである。
【００６５】
まず、撮像部２０１による細胞画像の撮像（ステップＳ１）中に、視野毎の撮像動作と並行して、露出条件設定手段としての露出検出設定部３０９で視野毎に撮像済みの細胞画像の輝度値に基づいて次回撮像時の露出条件を変更設定する（ステップＳ２）。これにより、ステップＳ１で各視野を撮像する際には、ステップＳ２で設定された露出条件に従うように露出条件を変更する。そして、撮像された細胞画像データの各種処理に先立ち、輝度補正手段としての輝度補正部３１３で輝度補正を行うことで細胞画像データを正規化する（ステップＳ３）。
【００６６】
ついで、前処理部３０５で前処理を行い（ステップＳ４）、細胞認識手段としての細胞認識部３０６で細胞を認識する（ステップＳ５）。ついで、認識した細胞の特徴を示す細胞パラメータを細胞パラメータ計測手段としてのパラメータ計測部３０７で正規化された細胞画像データに基づき計測する（ステップＳ６）。さらに、細胞追跡手段としての細胞追跡部３０８で、異なる時点で撮像された画像の細胞画像データから認識された異なる時点の細胞同士の同一性を細胞パラメータに基づいて判別する（ステップＳ７）。或いは、さらに追跡結果を修正する（ステップＳ８）。そして、得られた追跡結果を表示部３０４に表示させ（ステップＳ９）、観察が終了するまで（ステップＳ１０：Ｙｅｓ）、上述の処理ステップを同様に繰り返す。
【００６７】
なお、ステップＳ１〜Ｓ３（又は、ステップＳ１〜Ｓ４）の処理を、複数の時期においてあらかじめ行っておいて、各時期に取得した画像データに対するステップＳ４以降（又は、ステップＳ５以降）の処理を後にまとめて行うようにしてもよい。このように、複数の時期において撮像した画像データをあらかじめ取得しておいて、後にまとめて画像データの処理を行うようにする場合、撮像と画像データの処理とを並行して行う場合と比較し、装置構成が単純化され、安価な計算機を用いて応答性と安定性を向上させることができる。
【００６８】
各処理ステップの内容を個別に説明する。まず、露出検出設定部３０９の処理について説明する。時刻ｔjにおいて撮像が完了した視野を選び、その視野の細胞画像から画像内での最大輝度値を求める。同様に、同じ視野において過去の時刻ｔj-1，ｔj-2，ｔj-3に撮像された細胞画像からそれぞれの画像内での最大輝度値を求める。求められたこれらの最大輝度値を用いた多項式近似により、次回撮像時に相当する時刻ｔj+1において撮像されるその視野の細胞画像での最大輝度値を予測する。図１０は、細胞画像の輝度値の経時的な変化の様子の一例を示す特性図である。過去の時刻ｔj-3〜ｔjに撮像されたそれぞれの最大輝度値に基づく多項式近似により、次回撮像時に相当する時刻ｔj+1において撮像されるその視野の細胞画像での最大輝度値を予測すると、図１０中に破線で示すようになることを示している。ここで、時刻ｔj-xは注目視野のｘ周回前の撮像時刻、時刻ｔj+xは注目視野のｘ周回後の撮像時刻を表している。
【００６９】
ここで、多項式近似について補足する。時刻ｔjにおける最大輝度値をＩjなどと表すものとすると、３次の多項式近似により、時刻ｔj+1での最大輝度値Ｉj+1は、式(１)のように予測できる。ただし、Ｉjなどの最大輝度値は、実測値をそれぞれの露出条件で正規化した値である。
【００７０】
【数１】
【００７１】
なお、ここでは一例として、３次の多項式近似の例を示しているが、他の次数による多項式近似であってもよく、非線形な近似を行ってもよい。観察の進行に応じて多項式近似の次数を動的に変化させるようにしてもよい。また、最小二乗推定による近似を行ってもよい。また、過去に撮像された細胞画像の輝度値に対して、次回撮影時の細胞画像の輝度値の予測値を参照表としてあらかじめ記憶しておいて、参照表を参照して、次回撮影時の輝度値を予測することもできる。例えば、時刻ｔj以前の最大輝度値と時刻ｔj+1の最大輝度値の予測値の対応関係をあらかじめ参照表として用意しておき、参照表を参照して、時刻ｔj+1における最大輝度値の予測値を求めるようにすることもできる。
【００７２】
ここで、次回撮像時の最大輝度値の予測値Ｉj+1が、所定の下限値ＩJLより小さいか、又は所定の上限値ＩJUより大きい場合には、現状の露出条件のままでは、次回撮像時に得られる細胞画像の露出は不適正なものになると予想され、露出条件の設定（変更）が必要となる。
【００７３】
露出条件は、照射光量、減光機構（例えばＮＤ（Neutral Density）フィルタ（ニュートラルデンシティフィルタ）の挿抜）、絞り、露出時間の設定により行うことができる。ただし、このうち、試料（スライドガラス１０２）に照射される照射光量の設定を変化させると、培養中の細胞の活性に影響を及ぼすことを考慮する必要がある。また、絞りの設定を変更すると、撮像時の被写界深度に影響を及ぼし、輝度の線形性が失われ、露出条件変更前後の観測データの正規化や補正が困難になることを考慮する必要がある。すなわち、観測データの時間的整合性を保証するのが難しくなる。したがって、生細胞の長期培養観測では、試料（スライドガラス１０２）〜撮像素子間の光路上へのＮＤフィルタの挿抜、あるいは露出時間の変更によって露出条件の設定を行うと、より好ましい。
【００７４】
ここで、露出条件の設定（変更）の手順として、例えば、露出時間を設定する場合の処理手順について説明する。この方式の場合、次回撮像時の最適露出時間Ｔj+1を、式(２)に従い算出する。
【００７５】
［数２］
Ｔj+1＝αj・（ＩJU／ＩJ+1）・Ｔj （Ｉj+1＞ＩJU）
Ｔj+1＝Ｔj （ＩJL≦Ｉj+1≦ＩJU）
Ｔj+1＝βj・（ＩJL／ＩJ+1）・Ｔj （Ｉj+1＜ＩJL）
…………………………………………………………（２）
【００７６】
ここで、Ｔjは現在の露出時間、αj，βjは所定の係数を表す。露出時間を実際に設定するためには、カメラのシャッター速度を変更すればよい。例えば、撮像素子での電荷蓄積時間を設定（変更）したり、メカシャッター等の機構を用いて露出時間を設定（変更）したりすればよい。
【００７７】
視野毎にこのような処理を行い、最適露出時間Ｔj+1を算出して、露出条件として設定する。次回撮像時には、照射条件は常に一定とし、この最適露出時間Ｔj+1に対応したシャッター速度を用いて撮像を行う。式(２)に示すように、露出時間は、Ｉj+1が大きくなるにつれ短くなるように設定される。これにより、培養中の生細胞に与えるダメージを最小限に抑えつつ、輝度飽和や黒潰れのない適正露出の細胞画像を撮像することができる。なお、撮像した細胞画像の画像データを記録部３０２に記録する際には、その撮像時の露出条件も併せて記録する。
【００７８】
上述したような露出検出設定処理は、複数の視野１〜Ｎに関して、視野毎に任意の撮像と撮像との間の時点で行う。ここで、観測開始直後は最大輝度値の予測を行うために十分な観測データがまだ得られていないため、操作者の設定した初期露出条件をそのまま使用し、途中から最大輝度値の予測とこの予測に伴う露出条件の設定（変更）を行うように切り替える。
【００７９】
また、露出条件の設定（変更）の手順として、例えば、ＮＤフィルタの挿抜による場合の処理手順について説明する。この方式の場合、次回撮像時のＮＤフィルタの最適透過率Ｔ´j+1を、式(３)に従い算出する。
【００８０】
［数３］
Ｔ´j+1＝α´j・（ＩJU／ＩJ+1）・Ｔ´j （Ｉj+1＞ＩJU）
Ｔ´j+1＝Ｔ´j （ＩJL≦Ｉj+1≦ＩJU）
Ｔ´j+1＝β´j・（ＩJL／ＩJ+1）・Ｔ´j （Ｉj+1＜ＩJL）
…………………………………………………………（３）
【００８１】
ここで、Ｔ´jは現在のＮＤフィルタの透過率、α´j，β´jは所定の係数を表す。本実施の形態では、図１中に破線で示すように、式(３)によって求められた最適透過率のＮＤフィルタ２１２を、試料（すなわちスライドガラス１０２）と蛍光撮像部２０７の撮像素子との間の光路上に設ける。
【００８２】
視野毎にこのような処理を行い、最適透過率Ｔ´j+1を算出して露出条件として設定する。次回撮像時には、照射条件は常に一定とし、この最適透過率Ｔ´j+1のＮＤフィルタ２１２を用いて撮像を行う。ＮＤフィルタ２１２は、あらかじめ複数種類用意しておき、ターレットによって切り替えてもよく、あるいは、液晶を用いて透過率を連続的に変化させてもよい。式(３)に示すように、ＮＤフィルタの最適透過率は、Ｉj+1が大きくなるほど小さくなるように設定される。これにより、培養中の生細胞に与えるダメージを最小限に抑えつつ、輝度飽和や黒潰れのない適正露出の細胞画像を撮像することができる。なお、撮像した細胞画像の画像データを記録部３０２に記録する際には、その撮像時の露出条件も併せて記録する。
【００８３】
なお、露出条件の変更は、露出時間の変更、ＮＤフィルタの挿抜のいずれでも行ってもよく、両方を用いるようにしてよい。また、露出検出設定部３１３による上述の処理は、蛍光画像と赤外光画像のいずれに対して行ってもよい。
【００８４】
図１１は、このような露出検出設定処理が並行して行われる撮像部２０１による撮像処理例を示す概略フローチャートである。最初に、視野に関する変数ｎを１に設定するとともに、撮像タイミング用時刻に関する変数ｊを０に初期化する（ステップＳ１０１）。次いで、注目視野ｎに関する露出条件を読出す（ステップＳ１０２）。ここに、輝度値の予測に伴う露出条件の設定が行われるまでは、操作者等により設定された初期露出条件が読出され、その後、露出条件の変更設定がなされた場合には変更設定された露出条件が読出される。そして、当該注目視野ｎの撮像タイミングｔjになるまで待機し（ステップＳ１０３：Ｎｏ）、撮像タイミングになったら（ステップＳ１０３：Ｙｅｓ）、設定された露出条件に従い必要に応じて露出条件を変更して当該視野ｎの細胞を撮像する（ステップＳ１０４）。撮像後には、撮像した細胞画像の画像データをその時の露出条件とともに記録部３０２に記録する（ステップＳ１０５）。その後、ｎを＋１インクリメントして注目視野ｎを次に移す（ステップＳ１０６）。この際、ｎが総視野数Ｎに達し（ステップＳ１０７：Ｙｅｓ）、撮像が終了でなければ（ステップＳ１０８：Ｎｏ）、ｎを１として注目視野を最初の視野に戻すとともに、撮像タイミング用時刻に関する変数ｊを＋１インクリメントして（ステップＳ１０９）、ステップＳ１０２から同様の処理を繰り返す。
【００８５】
図１２は、撮像処理に並行して実行される露出検出設定部３０９による露出検出設定処理例を示す概略フローチャートである。まず、露出検出設定処理の対象となる注目視野に関する変数ｎを１に設定する（ステップＳ２０１）。次いで、撮像部２０１による撮像の進み具合として時刻ｔjが所定の閾値ｔTに達するまで待機する（ステップＳ２０２）。この処理は、前述したように観測開始直後は輝度最大値の予測を行うために十分な観測データが得られていないため、閾値ｔTで規定される撮像回数が済むまでは当該露出検出設定処理も待機し、初期露出条件を利用させるための処理である。本実施の形態の場合、閾値ｔTは、図１０等に示したように、例えば４回分相当に設定される。
【００８６】
閾値ｔTに達した場合（ステップＳ２０２：Ｙｅｓ）、注目視野ｎに関する露出検出タイミングに達したか（ステップＳ２０３）、時刻ｔjの画像が撮像済みであるか（ステップＳ２０４）を判定する。検出タイミングは、視野ｎ毎に任意の撮像と撮像との間の時点である。画像が撮像済みであるかは、その細胞画像の画像データが記録部３０２に記録された状態を意味する。該画像データを次の最大輝度値の予測処理に利用するが、該画像データは本来の画像データでもあるため、その記憶処理が済むまで待機する。検出タイミングに達し（ステップＳ２０３：Ｙｅｓ）、画像が撮像済みであれば（ステップＳ２０４：Ｙｅｓ）、該注目視野ｎの時刻ｔj〜ｔj-3のそれぞれの細胞画像の最大輝度値を求め、多項式近似により、次回撮像時である時刻ｔj+1での該注目視野ｎの細胞の最大輝度値Ｉj+1を予測する（ステップＳ２０５）。
【００８７】
そして、予測された最大輝度値Ｉj+1が所定の下限値ＩJL〜上限値ＩJUの範囲内に収まる場合には（ステップＳ２０６：Ｙｅｓ）、露出条件の変更設定は行わないが、予測された最大輝度値Ｉj+1が所定の下限値ＩJL〜上限値ＩJUの範囲内に収まらない場合には（ステップＳ２０６：Ｎｏ）、該注目視野ｎの時刻ｔj+1での撮像用の露出条件を変更設定する（ステップＳ２０７）。その後、ｎを＋１インクリメントして注目視野ｎを次に移す（ステップＳ２０８）。この際、ｎが総視野数Ｎに達し（ステップＳ２０９：Ｙｅｓ）、検出設定処理が終了でなければ（ステップＳ２１０：Ｎｏ）、ｎを１として注目視野を最初の視野に戻して（ステップＳ２１１）、ステップＳ２０２から同様の処理を繰り返す。
【００８８】
次に、輝度補正部３１３による処理について説明する。上述のように撮像された細胞画像の画像データに対して、輝度補正部３１３は、その輝度を正規化する。すなわち、細胞画像の画像データとともに記録した露出条件に応じて、各画素データに係数を乗ずる。この係数は、露出時間が短いほど大きく、露出時間が長いほど小さくなるように決定する。
【００８９】
その後、正規化された細胞画像の画像データを用いて、前処理部３０５以降で以下のように処理する。まず、ステップＳ４では、前処理部３０5は、画像データにエッジ保存型のローパスフィルタを適用する。エッジ保存型のローパスフィルタは、エッジ部における空間周波数高周波成分の劣化を抑えつつ、エッジ部以外に平滑化の効果をもたらすものであり、細胞の輪郭情報を保存したままノイズ除去ができる点で、本手法に好適である。
【００９０】
このような要件を満たすフィルタとして、バイラテラルフィルタ（Tomasi & Manduchi,"Bilateral Filtering for Gray and Color Images", Proceedings of the 1998 IEEE International Conference on Computer Vision, Bombay, India参照)が知られており、本手法でもこれを使用する。
【００９１】
次に、エッジ保存型ローパスフィルタ適用後の画像データに、さらにエッジ強調のための先鋭化フィルタを適用する。先鋭化フィルタは、注目画素とその近傍の８画素に例えば図１３に示すような重み付けを行って総和を求めるフィルタであり、これを画素毎に反復実行することで、先鋭化処理が実現できる。
【００９２】
ステップＳ５では、前処理後の画像データを、細胞認識部３０６において以下のような手順で分析し、個々の細胞の占める領域を認識する。この手順に従えば、細胞が互いに隣接せずに散在する場合だけでなく、細胞が互いに隣接し、密集している場合にも個々の細胞の占める領域を認識できる。また、細胞領域のエッジが明瞭でない場合にも適用することができる。
【００９３】
まず、画像を高輝度画素の集中する領域毎に領域分割する。一般に、蛍光画像において、細胞は高輝度画素の塊の様相を呈するため、高輝度画素の集中する領域（塊）毎に領域分割することは、画像を細胞毎の領域に分割することに相当する。
【００９４】
このような要件を満たす処理として、分水嶺領域分割が知られている。本実施の形態１の細胞認識の処理手順として、この分水嶺領域分割方式を使用する(Vincent & Soille , "Watersheds in Digital Spaces: An Efficient Algorithm Based on Immersion Simulations", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.13, NO.6, JUNE 1991参照)。原論文における分水嶺領域分割は、画像を低輝度画素の集中する領域に分割するものであるが、ここでは輝度を反転して考え、高輝度領域の分割に適用する。得られた領域分割結果における個々の領域が細胞領域となる。
【００９５】
ここで、隣接する細胞領域の特性に応じて複数の細胞領域を統合し新たな１つの細胞領域とするような、統合処理を行っても良い。分水嶺領域分割処理の結果は、一般に、小領域に分割され易い傾向があるため、統合処理を行うことで認識結果の品質を高めることができる。
【００９６】
領域統合の第１の手法を、図１４を参照して説明する。図１４は、領域統合の第１の手法例を示す概略フローチャートである。まず、各細胞領域において輝度が最大となる点、すなわち輝度の頂点を求める（ステップＳ５１１）。次に、隣接する任意の２つの細胞領域を選択し（ステップＳ５１２）、それらの頂点間を結ぶ線分に沿った道のり距離ＤUWを求める（ステップＳ５１３）。道のり距離ＤUWの計算には式(４)を用いる。
【００９７】
【数４】
【００９８】
ここで、Ｉ(Ｐ)は、エッジ保存型ローパスフィルタ適用後の画像における画素Ｐの輝度値、／Ｉ(ＰS)は、エッジ保存型ローパスフィルタ適用後の画像における２つの頂点の輝度値の平均、Σは、頂点間を結ぶ線分の全画素について総和を求めることを表す。
【００９９】
ステップＳ５１３で、隣接する細胞領域の全ての組み合わせについて頂点間の道のり距離ＤUWを求めた後、ステップＳ５１４で、この道のり距離ＤUWと所定の閾値ＶUWとの比較を行う。比較の結果、所定の閾値ＶUW以下である場合には（ステップＳ５１４：Ｙｅｓ）、細胞領域同士を１つの領域に統合する（ステップＳ５１５）。このような処理を全組み合わせについて完了するまで（ステップＳ５１６：Ｙｅｓ）、同様に繰り返す。
【０１００】
領域統合の第２の手法を、図１５を参照して説明する。図１５は、領域統合の第２の手法例を示す概略フローチャートである。まず、エッジ保存型ローパスフィルタの出力結果にエッジ抽出フィルタ、例えばSobelフィルタを適用してエッジ画像を得る（ステップＳ５２１）。任意の隣接する細胞領域間の境界を考えて、隣接する任意の２つの細胞領域を選択し（ステップＳ５２２）、式(５)で定義されるエッジ強度ＤUEを求める（ステップＳ５２３）。
【０１０１】
【数５】
【０１０２】
ここで、Ｅ(Ｐ)は、エッジ画像における画素Ｐの輝度値、Σは、細胞領域間の境界に含まれる全画素について総和を求めることを表す。
【０１０３】
ステップＳ５２３で、隣接する細胞領域の全ての組み合わせについてエッジ強度ＤUEを求めた後、ステップＳ５２４で、このエッジ強度ＤUEと所定の閾値ＶUEとの比較を行う。比較の結果、所定の閾値ＶUE以下である場合には（ステップＳ５２４：Ｙｅｓ）、細胞領域同士を１つの領域に統合する（ステップＳ５２５）。このような処理を全組み合わせについて完了するまで（ステップＳ５２６：Ｙｅｓ）、同様に繰り返す。
【０１０４】
これらの第１，第２の領域統合の手法は、それぞれ別個に使用しても良いし、任意の順番で連続して用いても良い。さらに、輝度情報を用いて各細胞領域の妥当性を検証しても良い。そのためには、分割された細胞領域毎に輝度値が最大となる画素を求め、その輝度値が所定の閾値Ｖtminより小さい場合、その領域は細胞領域ではないと判定し、所属する画素も含めて以降の処理の対象から除外する。これにより、蛍光タンパクの導入又は発現が不十分な細胞、及び細胞ではない背景領域を除外することができる。
【０１０５】
さらに、細胞領域内の各画素の輝度を所定の閾値Ｖpminと比較し、閾値Ｖpminより輝度の小さい画素を細胞領域から除外しても良い。こうして除外された画素は、以降の処理には使用しない。これにより、細胞領域の中でもＳ／Ｎの低い低輝度部位を除外することができ、細胞領域の境界形状をより正確に認識することが可能となる。得られた細胞領域、及び各細胞領域に属する画素の集合を記録部３０２に記録する。
【０１０６】
なお、赤外光撮像部２１１が撮像した赤外光画像を用いて細胞領域を認識することも可能である。赤外光画像が位相差画像である場合、細胞の存在する領域の輝度値は、背景とは異なる輝度値として観察される。したがって、画像内の各画素について代表的な背景の輝度値ＰBGとの差を求め、差が所定の閾値ＶPGより大きな画素のみを抽出し、一般的なラベリング処理を行って隣接する画素を統合すれば、細胞領域を認識することができる。
【０１０７】
図９の処理に戻り、ステップＳ６では、パラメータ計測部３０７において、細胞認識部３０６で認識した細胞領域毎に細胞パラメータを計測し、その計測結果を記録部３０２に記録する。図１６は、記録部３０２に記録された細胞パラメータの計測結果例を示す説明図である。ただし、Ｍは認識された細胞領域の数である。本実施の形態では、細胞パラメータは、例えば、重心位置、面積、円形度、輝度の総和、平均輝度、輝度の標準偏差を測定項目対象としており、画像データ及び細胞領域と関連付けて記録部３０２に記録する。アッセイの内容に応じて、周囲長、フェレ径、長さ、幅、最大輝度等の一般的な測定項目を追加しても良い。
【０１０８】
ここで、本実施の形態は、画像内の全ての細胞の面積の総和、すなわち画像内で細胞領域の占める度合いを示す細胞占有値に相当する面積を占有面積算出手段としての占有面積算出部３１１で算出し、画像内で細胞領域の占める面積が、画像の面積に対して所定の割合を超えた場合、制御部３０１にその事象を通知する。この場合、制御部３０１はあらかじめ指定された設定に従い、報知手段としての表示部３０４を通じて操作者にさらに報知しても良いし、培養部１０１の制御状態を変更しても良い。或いは単に通知を無視しても構わない。この機能は、培養が長期になると、細胞の増殖等によって培地の空きスペースが減少することがあるので、細胞培養の過程において培地の空きスペースが不足してきていることを通知する場合に有効である。
【０１０９】
占有面積計算部３１１は、細胞画像内で細胞領域の占める面積を細胞占有値として求めるものである。細胞画像は、蛍光画像或いは赤外光画像のいずれであっても構わない。蛍光画像を対象とする場合、パラメータ計測部３０７により細胞領域の面積が計測されているので、画像内の全ての細胞領域の面積を合計すれば、画像内で細胞領域の占める面積を求めることができる。赤外光画像を対象とする場合、細胞の存在する領域の輝度値は、背景とは異なる輝度値として観察される。したがって、まず画像内の各画素について代表的な背景の輝度値ＰBGとの差を求め、差が所定の閾値ＶPGより大きな画素のみを抽出する。さらに、画像内で抽出された画素の数を計数すれば、画像内で細胞領域の占める面積が得られる。
【０１１０】
以上の手順により、複数の細胞画像を含む単一の細胞画像に関して、個々の細胞の領域を求めた上で細胞パラメータを計測することができる。所定の時間間隔Δｔ毎に細胞画像の撮像とパラメータ計測とを反復して行うことで、細胞パラメータを時間経過に伴って蓄積することができる。
【０１１１】
ここで、このままの処理では、異なる時刻に計測された細胞パラメータ同士が関連付けられておらず、経時的に計測した状態とは言えない。そこで、異なる時刻に撮影された細胞画像間において、細胞領域の対応付けを行い、その結果を用いて細胞パラメータ同士の関連付けを行う必要がある。
【０１１２】
細胞領域の対応付けは、細胞追跡部３０８において、ステップＳ７，Ｓ８の処理として以下のように実行される。ここで、時刻ｔ1において認識された細胞領域をＲt1,m、時刻ｔ2において認識された細胞領域をＲt2,nと表すものとする。ただし、時刻ｔ2は時刻ｔ1より時系列的に後の時刻である。ｍ，ｎは同一画像内で重複の無い細胞領域の識別番号で、１≦ｍ≦Ｍ，１≦ｎ≦Ｎであり、ＭとＮはそれぞれ時刻ｔ1，ｔ2で認識された細胞領域の数を表す。
【０１１３】
まず、２つの細胞領域Ｒt1,mとＲt2,nの関連性に関する評価関数を式(６)で定義する。式(６)で計算される評価値Ｊ1が小さい程、２つの領域は関連性が高く、同一の細胞を示している可能性が高いと言える
【０１１４】
［数６］
Ｊ1＝Ｊ1(Ｒt1,m，Ｒt2,n)＝ｋdδd＋ｋaδa＋ｋcδc ……(６)
δd：重心間の距離
δa：面積の差
δc：円形度の差
ｋd，ｋa，ｋc：所定の重み付け係数
【０１１５】
図１７は、ｍとｎの可能な組み合わせについて評価値を計算した結果を示す説明図である。ただし、図１７では記述の簡便のため、Ｊ1(Ｒt1,m，Ｒt2,n)をＪm,nと簡略表記している。
【０１１６】
ここで、時刻ｔ1の領域Ｒt1,mに対応する時刻ｔ2の領域Ｒt2,n^を式(７)に従って決定する。すなわち、Ｒt2,n^とは、領域Ｒt1,mとの間の評価値Ｊ1を最小化するような時刻ｔ2の領域である。
【０１１７】
【数７】
【０１１８】
評価値Ｊ1が最小となるｎ＾が複数存在する場合、それらに対して式(８)に示す第２の評価関数を適用し、評価値Ｊ2が、より小さくなる組み合わせを決定する。第２の評価値Ｊ2が最小となる組み合わせも複数あった場合、操作者へのメッセージを表示部３０４に表示し、操作者が正しいと判断する組み合わせを入力部３０３より入力させ、入力結果に基づいて対応付けを行う。
【０１１９】
[数８]
Ｊ2＝Ｊ2(Ｒt1,m，Ｒt2,n)＝ｋsδs＋ｋmδm＋ｋvδv ……(８)
δs：輝度の総和の差
δm：平均輝度の差
δv：輝度の標準偏差の差
ｋs，ｋm，ｋv：所定の重み付け係数
【０１２０】
ただし、評価値Ｊ1，Ｊ2の両方を求めず、どちらか一方のみを用いることで処理を高速化しても良い。また、操作者へのメッセージ表示、及び操作者からの入力ステップを省略し、評価値Ｊ1又はＪ2を最小化する複数の対応関係を全て記録するようにしても良い。
【０１２１】
時刻ｔ1の領域Ｒt1,mと時刻ｔ2の領域Ｒt2,n^は、同一の細胞を異なる時刻に認識した結果と考えられるから、両者の計測済みの細胞パラメータも同一の細胞に対する異なる時刻での計測値とみなせる。そこで、細胞パラメータの値を、細胞画像、細胞領域、細胞領域の対応付け情報、時刻情報と関連付け、併せて記録手段としての記録部３０２に記録することで、経時的なパラメータ計測が完了する。
【０１２２】
経時的に、蛍光タンパクが新たに発現し蛍光を発するようになった場合、観察画面外にあった細胞が観察画面内へと移動した場合、重なり合っていた複数の細胞が分かれた場合、又は細胞が分裂した場合は、細胞認識部３０６において認識される細胞領域の数が増加するため、時刻ｔ2の細胞領域に対応する時刻ｔ1の細胞領域が存在しない場合や、時刻ｔ2の複数の細胞が時刻ｔ1の１つの細胞に対応する場合が発生する。
【０１２３】
また、経時的に、蛍光タンパクの蛍光強度が低下した場合、観察画面内にあった細胞が観察画面外へと移動した場合、複数の細胞が重なり合った場合、又は細胞が死滅した場合は、細胞認識部３０６において認識される細胞領域の数が減少するため、時刻ｔ1の細胞領域に対応する時刻ｔ2の細胞領域が存在しない場合や、時刻ｔ1の複数の細胞が時刻ｔ2の１つの細胞に対応する場合が発生する。
【０１２４】
対応する細胞領域が無い場合は、対応領域が無いことを意味するフラグを記録する。１つの細胞領域に複数の細胞領域が対応する場合は、全ての対応関係を記録する。表示部３０４を通じて操作者にメッセージを表示し、操作者からの入力を元に対応関係を修正しても良い。複数の細胞領域の対応を記録する際のデータ表現は、各時刻を高さに、各細胞領域を節点に対応させた木構造を用いる。表現の自由度がより高いグラフ構造を用いても良い。
【０１２５】
なお、細胞領域の対応付けに関しては、以下のような改良を加えた変形例であってもよい。第１の変形例は、最小の評価値Ｊが所定の閾値Ｖjmaxより大きい場合、その対応付けは無効とみなす。この場合、領域Ｒt1,mに対応する時刻ｔ2の領域は発見できなかったとし、領域Ｒt1,mに対する経時的パラメータ計測は時刻ｔ1までで打ち切る。この変形例は、ノイズの影響を低減させるために有効である。
【０１２６】
第２の変形例は、領域Ｒt1,mと対応する領域Ｒt2,n^の重心間距離を求め、重心間距離が所定の閾値Ｖdmaxより大きかった場合、その対応付けは無効とみなす。この場合、領域Ｒt1,mに対応する時刻ｔ2の領域は発見できなかったとし、領域Ｒt1,mに対する経時的パラメータ計測は時刻ｔ１までで打ち切る。この変形例は、細胞領域対応付け処理の誤りを低減させるために有効である。以上の手順により、細胞のパラメータを経時的に計測することができる。
【０１２７】
最後に、図９の処理に戻り、ステップＳ９の処理として、細胞パラメータ表示手段としての表示部３０４にて、認識した細胞領域と計測した細胞パラメータを表示する。図１８は、処理結果の表示の一例を示す説明図である。表示部３０４が備える表示画面３１４は、２つの表示領域３１４ａ，３１４ｂを有し、表示領域３１４ａには、処理対象時点において認識された個々の細胞領域が表示される。ここで、細胞領域にはラベリング処理を適用し、領域毎に識別可能な色、輝度、線種、パターンを与え、例えばラベル画像ａ〜ｅとして表示する。ラベル画像と同じ表示範囲の赤外光画像或いは蛍光画像を連動して表示させても良いし、ラベル画像、赤外光画像、蛍光画像のうち複数を重ね合わせて表示しても良い。或いは、スーパーインポーズ表示を行っても良い。計測した細胞パラメータは、表示領域３１４ｂにおいて、時間を横軸、パラメータ値を縦軸とした折れ線チャートとして表示する。さらに、操作者による入力部３０３中のマウス操作等に応じて両者の表示内容を同期して強調表示すれば、表示内容の視認性が向上する。図１９は、例えばラベル画像ｃを強調表示の指示対象として選択指定した場合に対応する細胞パラメータの折れ線チャートも強調表示される一例を示す説明図である。この場合、操作者が片方を選択強調した場合、対応する他方も同期して強調表示する。
【０１２８】
本実施の形態では、生細胞Ｃに蛍光タンパクを導入し観察しているが、蛍光タンパクに代えて発光遺伝子、例えばルシフェラーゼ遺伝子を導入すれば、蛍光画像に代えて発光画像が撮像できる。この場合、励起光照明部２０３及びダイクロイックミラー２０４は不要であり、構成を簡略化できる。発光画像は、細胞光撮像手段としての蛍光撮像部２０７によって撮像される。発光画像に対しては、蛍光画像と同じ手順で処理を行えば良い。このように、例えば細胞が自発光する場合や蛍光を発する場合など、細胞が赤外光以外の光を発する場合でも細胞画像データを取得して細胞観察を行うことができる。
【０１２９】
また、本実施の形態では、細胞内に局在せずに発現する蛍光タンパクを使用しているが、細胞核、細胞質、核膜、細胞膜、或いはオルガネラに局在して発現する蛍光タンパクであっても構わない。
【０１３０】
なお、パラメータ計測部３０７において計測する細胞パラメータは、本実施の形態に例示したものに限定されず、さらに、面積、周囲長、外接矩形位置、Ｘ方向フェレ径、Ｙ方向フェレ径、最小フェレ径、最大フェレ径、平均フェレ径、凸周囲長、円形度（真円度）、孔の数、ラフネス（凸周囲長と周囲長の比）、オイラー数、長さ、幅、扁平度、輝度の総和、最小輝度、最大輝度、平均輝度、輝度の標準偏差、輝度の分散、エントロピー、重心位置、２次モーメント、主軸方向、のいずれか或いは複数であっても良い。
【０１３１】
さらに、パラメータ計測部３０７は、任意の複数の細胞からなるグループに対して、細胞数、最小細胞間距離、最大細胞間距離、平均細胞間距離、細胞間距離の標準偏差、細胞間距離の分散、並びに個々の細胞に対して計測した各パラメータの最小値、最大値、平均値、標準偏差、分差、総和、中間値、のいずれか或いは複数を求めても良い。
【０１３２】
以上、本実施の形態によれば、蛍光タンパクを導入した複数の生細胞を長期間培養しながら、複数の時刻の複数の視野で露出を補正して露出適正で細胞画像を撮像し、個々の細胞領域を認識し、経時的な位置変化を追尾しつつ、個々の細胞パラメータを経時的に計測する装置を実現できる。
【０１３３】
本発明は、上述した実施の形態に限らず、本発明の趣旨を逸脱しない範囲であれば、種々の変形が可能である。例えば、前述の露出検出設定部３０９、輝度補正部３１３等の各部による処理手順は、あらかじめ用意された細胞観察プログラムを制御部３０１などのマイクロコンピュータで実行することにより実現するようにしてもよい。この細胞観察プログラムは、インターネットなどのネットワークを介して配布することもできる。また、この細胞観察プログラムは、ハードディスク、ＦＤ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのマイクロコンピュータで読み取り可能な記録媒体に記録され、マイクロコンピュータによって記録媒体から読み出されることにより実行することもできる。
【図面の簡単な説明】
【０１３４】
【図１】本発明の実施の形態に係る細胞画像撮像装置を含む細胞観察装置の構成例を示す概略ブロック図である。
【図２】培養部の構成例を示す水平断面図である。
【図３】培養部の構成例を示す縦断正面図である。
【図４】整流板の構成例を示す斜視図である。
【図５】培養部側と撮像部側との境界部分の断熱構成例を示す断面図である。
【図６】蛍光撮像された培養中の細胞画像の一例を示す説明図である。
【図７】複数の視野（視野１〜Ｎ）による撮像の様子を示す説明図である。
【図８】各視野１〜Ｎの撮像タイミング例を示す説明図である。
【図９】画像データ処理例を示す概略フローチャートである。
【図１０】細胞画像の輝度値の経時的な変化の様子の一例を示す特性図である。
【図１１】撮像部による撮像処理例を示す概略フローチャートである。
【図１２】露出検出設定部による露出検出設定処理例を示す概略フローチャートである。
【図１３】先鋭化フィルタによる重み付け例を示す図である。
【図１４】領域統合の第１の手法例を示す概略フローチャートである。
【図１５】領域統合の第２の手法例を示す概略フローチャートである。
【図１６】記録部に記録された細胞パラメータの計測結果例を示す説明図である。
【図１７】ｍとｎの可能な組み合わせについて評価値を計算した結果を示す説明図である。
【図１８】処理結果の表示の一例を示す説明図である。
【図１９】強調表示の一例を示す説明図である。
【符号の説明】
【０１３５】
２０１ 撮像部
２１２ ＮＤフィルタ
３０２ 記録部
３０６ 細胞認識部
３０７ パラメータ計測部
３０８ 細胞追跡部
３１３ 露出検出設定部
３１４ 輝度補正部
【技術分野】
【０００１】
本発明は、生細胞を長期培養しながら露出適正な細胞画像を取得する細胞画像撮像装置、細胞画像撮像方法、細胞画像撮像プログラム、及び細胞観察装置に関するものである。
【背景技術】
【０００２】
従来、顕微鏡による撮像条件下で露出適正な画像を取得するために、様々な試みが提案されている。最も簡単な構成として、輝度検出センサを用いて照明光量を検出し、検出された照明光量情報を用いて露出条件に補正をかけるものが挙げられる。例えば、特許文献１は、光路を切り替えながら照明光量を輝度検出センサによって検出し、シャッター速度が最適になるように制御する構成を開示している。
【０００３】
また、特許文献２は、実際に撮像した画像の輝度情報から最適な露出条件を求めて露出制御を行い、撮像した画像を露出条件に応じて補正する構成を開示している。
【０００４】
特許文献３は、蛍光観察時特有の問題として、プレパラートの褪色に露出補正で対応するため、少なくとも２回の光量測定と、さらに少なくとも２回の露出を行って適正な光量を得る手法を開示している。
【０００５】
さらに、特許文献４は、光源であるストロボの発光量と定常光を別センサでモニタリングし、光量の累積が所定レベルに達した際にストロボ光源をオフすることで露出を適正に保つ構成を開示している。
【０００６】
【特許文献１】特開平５−３４１１９４号公報
【特許文献２】特開２００３−１６３８３３号公報
【特許文献３】特開平６−１１０１０４号公報
【特許文献４】特許第３３７２３３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
一般に、蛍光タンパクを導入した生細胞を蛍光撮像する場合、蛍光タンパクの発現状態や細胞の活性状態に応じて蛍光画像の輝度は刻々と変化する。培養初期では低かった細胞の輝度が、蛍光タンパクの発現に伴って高輝度になる場合や、逆に蛍光タンパクの発現量が減少し輝度が低下する場合、更には輝度の上昇と低下が繰り返される場合等、撮像対象によって変化のパターンは様々である。そこで、生細胞の撮像時の露出は、観察の進行に応じて調整されることが望ましい。
【０００８】
ここで、観察開始前に露出調整を行い、観察中は固定的な露出条件を用いることも可能であるが、最初の露出条件の設定が著しく困難になる上に、輝度の変化が想定とは異なる振る舞いを呈示した場合、露出オーバーによる輝度飽和や露出不足による黒潰れのために、有効な画像情報が得られなくなる可能性が高い。細胞の長期培養観察実験では１回の実験期間が長いため、途中での撮像失敗によるやり直しは時間的損失が大きく、可能な限り避ける必要がある。また、一般的な撮像対象物の場合であれば、対象物に対して光を十分照射し得るフィードバック制御が可能であり、制約の少ないものであるが、生細胞の撮像時は、照明光の照射が細胞にダメージを与え、活性を低下させる原因となるので、過剰な照明光の照射を避けるために、撮像回数は必要最小限に抑える必要がある。
【０００９】
この点、照明光量の測定によって露出制御を行う特許文献１のものは、観察対象の状態が一定であることを前提とし、常に一定量の照明光を照射することを目的としている。ところが、蛍光タンパクを導入した生細胞は、上述したように蛍光タンパクの発現に応じて刻々と輝度を変化させるため、一定の照明光量を照射しても露出が最適になる保証はない。
【００１０】
また、生細胞の長期培養観察では、ある視野の撮影は１枚／数分、例えば１枚／１５分となるため、数分で１周するような複数の視野を複数の観測ポイントとして設定し、これらの複数の視野を切り替えながら各視野を数分間隔で撮像するのが一般的である。このために、細胞を培養するスライドガラス（試料）をステージ搬送機構によって撮像素子との相対位置が変化するように移動させることで、複数の時点の複数の視野で生細胞を撮像するようにしている。この点、特許文献２のものは、フレームレート程度の短時間の閉ループで撮像と露出制御を行うことを前提とした構成であり、このような短時間の閉ループで露出制御を行う構成では、このような多視野の切り替えに対応できない。また、連続的に照明光の照射と撮像を反復させるため、細胞に照明光によるダメージを与え、活性を低下させることになる。
【００１１】
また、特許文献３のものは、プレパラートの褪色に関する物理モデルを用いているが、蛍光タンパクを導入した生細胞の輝度変化は、このような物理モデルで表すことは極めて困難である。
【００１２】
さらに、特許文献４のものは、ストロボ発光のわずかな期間中に光量のモニタリング、累積演算、及び光源へのフィードバックを行うことが必要となる。この場合、通常の高解像度の撮像素子を光量のモニタリングにも利用することは速度面から難しく、特許文献４中にも記載の通り、撮像素子とは別の光センサを必要とする。このような構成は、装置構成を複雑化させる上に、光路分割を行えば、光量の損失も発生してしまう。また、試料（細胞）に照射する照明光量を変化させると、細胞の活性に影響を及ぼしてしまい好ましくないが、特許文献４のものはストロボ光源をオフするタイミングを制御するため、試料に対する照射光量（照射条件）が変動してしまう。
【００１３】
本発明は、上記に鑑みてなされたものであって、蛍光タンパクを導入した生細胞のように制約の多い細胞の撮像に関して、複数の生細胞を長期培養しながら、照明光による細胞へのダメージを最小限に抑え、複数の時刻の複数の視野で露出適正な細胞画像の撮像が可能な細胞画像撮像装置、細胞画像撮像方法、細胞画像撮像プログラム、及び細胞観察装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上述した課題を解決し、目的を達成するために、請求項１に係る細胞画像撮像装置は、視野毎に設定された露出条件に従い複数の時点の複数の視野で細胞を撮像する撮像手段と、視野毎に該視野の撮像済みの細胞画像の輝度値に基づいて次回撮像時の前記露出条件を設定する露出条件設定手段と、を備えたことを特徴とする。
【００１５】
請求項２に係る細胞画像撮像装置は、上記発明において、前記露出条件設定手段は、視野毎に該視野の撮像済みの細胞画像の輝度値に基づいて次回撮像時の細胞の輝度値を予測する予測手段を含み、該予測手段で予測された輝度値に基づいて該視野の次回撮像時の前記露出条件を設定することを特徴とする。
【００１６】
請求項３に係る細胞画像撮像装置は、上記発明において、前記予測手段は、撮像済みの細胞画像の画像データを記録装置に記録した後で輝度値の予測を行うことを特徴とする。
【００１７】
請求項４に係る細胞画像撮像装置は、上記発明において、前記予測手段は、次回撮像時の細胞の最大輝度値を予測することを特徴とする。
【００１８】
請求項５に係る細胞画像撮像装置は、上記発明において、前記予測手段は、多項式近似により輝度値の予測を行うことを特徴とする。
【００１９】
請求項６に係る細胞画像撮像装置は、上記発明において、前記予測手段は、過去に撮像された細胞画像の輝度値に対して次回撮影時の細胞画像の輝度値の予測値を参照表としてあらかじめ記憶しておき、該参照表を参照して輝度値の予測を行うことを特徴とする。
【００２０】
請求項７に係る細胞画像撮像装置は、上記発明において、前記露出条件設定手段は、撮像時の前記細胞に対する照射条件が一定となるように前記露出条件の設定を行うことを特徴とする。
【００２１】
請求項８に係る細胞画像撮像装置は、上記発明において、前記露出条件設定手段は、露出時間の設定により前記露出条件の設定を行うことを特徴とする。
【００２２】
請求項９に係る細胞画像撮像装置は、上記発明において、前記露出条件設定手段は、露出時間を前記予測手段で予測した輝度値の大きさに反比例させることにより前記露出条件の設定を行うことを特徴とする。
【００２３】
請求項１０に係る細胞画像撮像装置は、上記発明において、前記露出条件設定手段は、撮像対象となる細胞を培養するための試料と当該撮像手段の撮像素子との間の光路上に設けた減光機構による減光の程度を設定することで前記露出条件の設定を行うことを特徴とする。
【００２４】
請求項１１に係る細胞画像撮像装置は、上記発明において、前記減光機構は、ニュートラルデンシティフィルタであることを特徴とする。
【００２５】
請求項１２に係る細胞画像撮像装置は、上記発明において、前記露出条件設定手段は、前記ニュートラルデンシティフィルタの透過率を最大輝度値に反比例させることにより前記露出条件の設定を行うことを特徴とする。
【００２６】
請求項１３に係る細胞画像撮像装置は、上記発明において、撮像した細胞画像の画像データに撮像時の前記露出条件を付加して記録する記録手段をさらに備えたことを特徴とする。
【００２７】
請求項１４に係る細胞画像撮像装置は、上記発明において、細胞を培養する培養手段をさらに備え、前記撮像手段は、前記培養手段に収納されている培養中の細胞を撮像することを特徴とする。
【００２８】
請求項１５に係る細胞観察装置は、請求項１〜１４のいずれか一つに記載の細胞画像撮像装置と、該細胞画像撮像装置で撮像した細胞画像の画像データの輝度を撮像時の前記露出条件に応じて正規化する輝度補正手段と、正規化された前記細胞画像の画像データから細胞を認識する細胞認識手段と、該細胞認識手段で認識した細胞の特徴を示す細胞パラメータを正規化された前記細胞画像の画像データに基づき計測する細胞パラメータ計測手段と、異なる時点で撮像された視野毎のそれぞれの正規化された細胞画像の画像データから認識された細胞同士の対応付けを前記細胞パラメータに基づいて行う細胞追跡手段と、を備えたことを特徴とする。
【００２９】
請求項１６に係る細胞画像撮像プログラムは、細胞画像撮像装置で細胞の撮像を行う細胞画像撮像プログラムであって、前記細胞画像撮像装置に、視野毎に設定された露出条件に従い複数の時点の複数の視野で細胞を撮像する撮像ステップと、視野毎に該視野の撮像済みの細胞画像の輝度値に基づいて次回撮像時の前記露出条件を設定する露出条件設定ステップと、を実行させることを特徴とする。
【００３０】
請求項１７に係る細胞画像撮像プログラムは、上記発明において、前記露出条件設定ステップは、視野毎に該視野の撮像済みの細胞画像の輝度値に基づいて次回撮像時の細胞の輝度値を予測する予測ステップを含み、該予測ステップで予測された輝度値に基づいて該視野の次回撮像時の前記露出条件を設定することを特徴とする。
【００３１】
請求項１８に係る細胞画像撮像方法は、細胞を培養する培養手段と、該培養手段に収容されている細胞を撮像する撮像手段とを用いる細胞画像撮像方法であって、前記培養手段で細胞を培養しながら、培養中の細胞を前記撮像手段によって複数の時点の複数の視野で視野毎に設定された露出条件に従い撮像して細胞画像を取得する培養細胞撮像工程と、視野毎に該視野の撮像済みの細胞画像の輝度値に基づいて次回撮像時の前記露出条件を設定する露出条件設定工程と、を備えたことを特徴とする。
【００３２】
請求項１９に係る細胞画像撮像方法は、上記発明において、前記露出条件設定工程は、視野毎に該視野の撮像済みの細胞画像の輝度値に基づいて次回撮像時の細胞の輝度値を予測する予測工程を含み、該予測工程で予測された輝度値に基づいて該視野の次回撮像時の前記露出条件を設定することを特徴とする。
【発明の効果】
【００３３】
本発明に係る細胞画像撮像装置、細胞画像撮像方法、細胞画像撮像プログラム、及び細胞観察装置によれば、視野毎に過去に撮像した撮像済みの細胞画像の輝度値に基づいて次回撮像時の露出条件を設定し、次回撮像時には各視野毎に設定されたそれぞれの露出条件に従い細胞を撮像するようにしたので、複数の視野に跨る多数の細胞を視野毎に適正な露出で撮像することができ、このためにも、露出計測のため専用の余分な照明光の照射を要せず、本来の細胞撮像のための照射で済み、細胞に与えるダメージを最小限に抑えることができ、複数の生細胞を長期培養しながら視野毎に撮像するのに好適な機器を提供することができるという効果を奏する。
【発明を実施するための最良の形態】
【００３４】
以下に添付図面を参照して、本発明に係る好適な実施の形態について詳述する。本発明の実施の形態に係る細胞画像撮像装置を含む細胞観察装置は、蛍光タンパクを導入した複数の生細胞を長期培養し、複数の時刻の複数の視野で露出を補正しながら細胞の画像を撮像し、個々の細胞の領域を認識し、経時的な位置変化を追尾しつつ、個々の細胞の特徴を示す細胞パラメータを独立に計測する。
【００３５】
図１は、本実施の形態に係る細胞観察装置の構成例を示す概略ブロック図である。本実施の形態に係る細胞観察装置は、概略的には、細胞を培養する培養部１０１と、この培養部１０１に収容されている細胞を撮像する撮像部２０１と、細胞観察装置の全体の処理及び動作を制御する制御部３０１と、撮像部２０１で撮像した画像のデータや処理後のデータなどの各種データを集中して一時的或いは永続的に記録する記録部３０２と、各種情報の入力を受ける入力部３０３と、画像情報等の各種情報を表示して操作者に提示する表示部３０４とを備える他、前処理部３０５、細胞認識部３０６、パラメータ計測部３０７、細胞追跡部３０８、露出検出設定部３０９、撮像回数計数部３１０、占有面積算出部３１１、合焦検出部３１２、及び輝度補正部３１３を備える。
【００３６】
これらの各部３０２〜３１３は、制御部３０１に接続され、制御部３０１により制御される。なお、図１では、制御部３０１から培養部１０１や撮像部２０１に対する制御接続は特に図示していない。また、制御部３０１、前処理部３０５、細胞認識部３０６、パラメータ計測部３０７、細胞追跡部３０８、露出検出設定部３０９、撮像回数計数部３１０、占有面積算出部３１１、合焦検出部３１２、及び輝度補正部３１３によって行われる各処理は、細胞観察装置に搭載されたＣＰＵがＲＯＭ等のメモリに記憶された処理プログラムに基づいて、適宜ＲＡＭ等の記憶装置に必要なデータを書き込みながら行われる。
【００３７】
まず、培養部１０１について説明する。スライドガラス１０２は、局在化せずに発現する蛍光タンパクをあらかじめ導入した複数の生細胞Ｃを保持し、培養部１０１内に設置されている。この培養部１０１は、例えば特開２００４−１１３１７５号公報によって開示された培養容器と同様の構成である。この場合、蛍光タンパクは局在化しないものであれば何でも良く、一般的なクラゲ由来の蛍光タンパク等が利用可能で、一例としてＢＤバイオサイエンス・クロンテック社のｐＥＧＦＰ−Ｎ１を使用することができる。
【００３８】
図２は、培養部１０１の構成例を示す水平断面図であり、図３は、培養部１０１の構成例を示す縦断正面図である。培養手段としての培養部１０１は、図２及び図３に示すように、スライドガラス１０２を内部に収容可能な表裏貫通孔１０３を有する熱伝導に優れた材質、例えば、ステンレス製又はアルミニウム製の筐体１０４と、その筐体１０４の表裏貫通孔１０３を塞ぐ光学的に平滑な２枚のガラス板で形成された観察窓１０５と、筐体１０４内部に培養液Ａを供給する培養液供給パイプ１０６と、筐体１０４内部から不要となった培養液Ａを排出する培養液排出パイプ１０７と、筐体１０４への培養液Ａの出入口に設けられた２つの整流板１０８とを備えている。
【００３９】
生細胞Ｃを健全に育成するためには、スライドガラス１０２上の全域に渡って常に新鮮な培養液Ａが供給されることが望ましい。しかし、培養液Ａの流れが急激な場合、スライドガラス１０２上に着床した生細胞Ｃが剥離する可能性がある。このため、本実施の形態は、各パイプ１０６，１０７付近に整流板１０８を設置し、培養液Ａの流れを均一に分散、回収できるようにしている。
【００４０】
図４は、整流板１０８の構成例を示す斜視図である。整流板１０８は、図４に示すように、厚さ方向に複数の貫通孔１０８ａを形成した多孔性の部材である。入口側の整流板１０８は、培養液供給パイプ１０６から流入する培養液Ａを複数の貫通孔１０８ａに分散させて流通させ、出口側の整流板１０８は、培養液排出パイプ１０７を経て一気に流出しようとする培養液Ａを複数の貫通孔１０８ａに分散させて流通させる。これにより、集中的な流れを分散流に変換し、生細胞Ｃが配置されているスライドガラス１０２近傍において、一定の流速及び流量で培養液Ａを流動させることができる。
【００４１】
培養部１０１には、温度制御ユニット１０９が取り付けられ、培養部１０１の周囲に温水Ｗを流通させる温水流路１１０を形成する。温水流路１１０に温水Ｗを循環させることにより、筐体１０４を介して温水の熱を培養液Ａに伝達させる。この時、図示しない温度センサからの温度情報が制御部３０１に所定時間間隔毎に伝達され、制御部３０１は培養部１０１内の温度が３７±０．５℃の範囲に維持されるように温水Ｗの温度と流量を制御する。
【００４２】
また、図示しないｐＨセンサによって培養液ＡのｐＨ情報が制御部３０１に所定時間間隔毎に伝達され、制御部３０１は培養液のｐＨが所定の範囲に維持されるように培養液Ａ内のＣＯ2濃度を制御する。
【００４３】
未使用の培養液は、図示しない培養液保存部に保存されており、経時的な劣化を抑えるため、図示しない保冷機構で約４℃に保冷される。保冷された培養液は、図示しない培養液加温機構によって約３７℃に加温された後、培養液供給パイプ１０６を通じて筐体１０４内に供給される。
【００４４】
培養液排出パイプ１０７を通じて排出された培養液は、図示しない廃液保存部に保存される。排出された培養液の一部を新鮮な培養液と混合して筐体１０４内に供給する構成としても良く、この場合、培養液の交換に伴う細胞への衝撃を和らげ、より長期の培養に適した構成となる。
【００４５】
図５は、培養部１０１側と撮像部２０１側との境界部分の断熱構成例を示す断面図である。培養部１０１の発する熱は、断熱手段としての断熱部１１１を設けることで、撮像部２０１側には伝達しないようにする。培養部１０１と撮像部２０１との断熱を行う断熱部１１１の設置個所は、種々考えられるが、本実施の形態では、培養部１０１の筐体１０４と撮像部２０１を構成する撮像素子との間に断熱部１１１を設置している。断熱部１１１は、断熱性が高く伸縮性のある部材、例えばゴム、シリコン、ポリウレタン等を使用したシート状であって、対物レンズ２０２と概略同じ直径の貫通孔１１２が設けられている。培養部１０１と対物レンズ２０２とは貫通孔１１２を通して光学的に接続されており、自由に光線をやり取りできる。一方、培養部１０１の発する熱は断熱部１１１によってそのほとんどが遮られる。一般に、光学系は２５℃前後での使用を前提として調整されており、培養部１０１からの熱で加熱されると想定した性能を発揮できない。特に、撮像部２０１の備えるＣＣＤ等の固体撮像素子は、高温になる程ノイズが増加してＳ／Ｎが劣化するため、微弱な蛍光を捉えるためにはできるだけ低温（ただし、結露させない）に保つ必要がある。
【００４６】
培養手段としては、培養部１０１のように培養液の交換を行うことができるものを用いるとより好ましいが、一般的なウェルプレートを用いて細胞を観察することも可能である。ただし、一般的なウェルプレートを用いた場合には、環境状態を維持したまま培養液を交換することができないため、培養部１０１を用いる場合に比べて、細胞の代謝に伴う培養液の劣化の影響で培養期間は短期に制限されてしまう。
【００４７】
以上の構成により、培養部１０１内部の温度と培養液ＡのｐＨはほぼ一定に保たれている。測定試料となる生細胞の一例として、ヒーラ細胞を用いる。ヒーラ細胞は、子宮頸癌由来であり、創薬毒性試験等で広く用いられている。導入する蛍光タンパクの種類は、アッセイの内容に応じて変更しても良い。
【００４８】
次に、撮像部２０１について説明する。撮像部２０１は、励起光照明部２０３と、ダイクロイックミラー２０４と、対物光学系と２０５と、結像光学系２０６と、蛍光撮像部２０７と、赤外光照明部２０８と、ダイクロイックミラー２０９と、結像光学系２１０と、赤外光撮像部２１１とを有して構成されている。すなわち、本実施の形態の撮像部２０１は、蛍光撮像系と赤外光撮像系とを有する構成とされている。
【００４９】
まず、励起光照明部２０３から放射された光は、ダイクロイックミラー２０４によって反射され、対物レンズ２０２を含む対物光学系２０５と観察窓１０５を経てスライドガラス１０２に照射される。照射された光を励起光として、スライドガラス１０２上の生細胞Ｃに導入された蛍光タンパクから蛍光が発せられ、励起光の反射光と蛍光は共に観察窓１０５から射出される。射出された光は、再度対物光学系２０５を通過し、ダイクロイックミラー２０４に到達するが、蛍光のみが透過し、励起光の反射光は遮断される。ダイクロイックミラー２０４を透過した蛍光は、結像光学系２０６によって細胞光撮像手段としての蛍光撮像部２０７が備えるＣＣＤやＣＭＯＳ等の固体撮像素子上に拡大投影されて結像する。
【００５０】
結像した測定試料の蛍光像を蛍光撮像部２０７が備える固体撮像素子によって画像データに変換し、制御部３０１による制御の下に記録部３０２において一時的或いは永続的に記録する。図６は、蛍光撮像された培養中の細胞画像の一例を示す説明図である。
【００５１】
また、赤外光照明部２０８から放射された光は、一方の観察窓１０５を経てスライドガラス１０２に照射され、その透過光が他方の観察窓１０５から射出される。射出された光は、対物光学系２０５を通過し、ダイクロイックミラー２０９に到達するが、赤外光は全て反射される。反射された赤外光は、結像光学系２１０によって赤外光撮像手段としての赤外光撮像部２１１が備えるＣＣＤやＣＭＯＳ等の固体撮像素子上に拡大投影されて結像する。結像した測定試料の赤外光像を赤外光撮像部２１１が備えるＣＣＤやＣＭＯＳ等の固体撮像素子によって画像データに変換し、制御部３０１による制御の下に、記録部３０２において一時的或いは永続的に記録する。
【００５２】
一般に、蛍光タンパクは全ての細胞に均等に導入できる訳ではなく、また導入できた場合でも直ちに発現するとは限らないため、細胞の全体像を経時的に安定して観察する手段が必要であり、本実施の形態では赤外光像がこれに当たる。赤外光像を表示する場合、初期状態では蛍光タンパクが殆ど或いは全く発現していない測定試料であっても、細胞像を視認しながら観察範囲の確認や調整を行える。
【００５３】
赤外光は、可視光と比較して生細胞に対する光毒性が低いため、可視光を用いて撮像した場合と比較して、より長期間細胞の活性を維持することができる。また、蛍光撮像用の励起光として可視光全域を使用できるようになるため、利用可能な蛍光タンパクの制約が緩和される。
【００５４】
このように、本実施の形態の撮像部２０１によれば、蛍光撮像部２０７や赤外光撮像部２１１を用いてスライドガラス１０２上の生細胞Ｃを撮像することで、生細胞Ｃを撮像した画像の画像データである細胞画像データを取得することが可能である。本実施の形態では、制御部３０１の制御により、あらかじめ設定した時間間隔で自動的に蛍光撮像部２０７によって撮像を行う。そして、細胞の様子を観察したいときに、必要に応じて、ユーザが所望の時期に赤外光撮像部２１１を用いた生細胞Ｃの観察を行うことができる。なお、赤外光撮像部２１１による撮像は、ユーザが所望の時期に行うばかりではなく、制御部３０１の制御によって、蛍光撮像部２０７による撮像と同期したタイミングで行えば、赤外光像と蛍光像との対応付けが容易になるだけでなく、両画像に含まれる生細胞Ｃ同士の対応付けも容易になる。その結果、生細胞Ｃを長期に培養しながら観察する場合に、細胞の活性低下を抑えながら、効率よく生細胞Ｃの観察を行うことが可能となる。蛍光像や赤外光像を撮像した時間を、表示部３０４に表示する機能を付加してもよい。
【００５５】
本実施の形態の構成は、蛍光撮像部２０７と赤外光撮像部２１１とを備えるため、蛍光像の撮像と赤外光像の撮像とを並行して行うことができ、両者を切り替えながら撮像する場合と比較して、撮像に要する時間が大幅に短縮され、切り替え用の駆動部も不要である。
【００５６】
赤外光照明部２０８にリング絞りを加え、ダイクロイックミラー２０９から結像光学系２１０に至る光路に位相板を挿入すれば、透過観察に代えて位相差観察を行うことができる。位相差観察は、透過観察と比較して、よりコントラストの高い画像が得られる。
【００５７】
赤外光照明部２０８にポラライザとＤＩＣ（Differential Interference Contrast）素子を挿入し、ダイクロイックミラー２０９から結像光学系２１０に至る光路にＤＩＣスライダとアナライザを挿入すれば、透過観察に代えて微分干渉観察を行うことができる。微分干渉観察は、透過観察と比較して、よりコントラストの高い画像が得られる。
【００５８】
ステージ搬送機構１１３によって、スライドガラス１０２と、蛍光撮像部２０７や赤外光撮像部２１１が備える固体撮像素子との相対位置を変化させながら、各視野（撮像範囲）について必要な回数だけ撮像と記録を反復し、画像データを取得する。複数の視野を切り替えながら撮像する場合は、各視野でのステージ位置を記録しておき、各視野の２回目以降の撮像に先立って、ステージ搬送機構１１３によりステージ位置を再現する。図７は、複数の視野（視野１〜Ｎ）による撮像の様子を示す説明図である。各視野の位置は任意であり、また、特に格子状に限定されるものではない。また、視野同士に重なりがあってもよい。図８は、各視野１〜Ｎの撮像タイミング例を示す説明図である。各視野１〜Ｎは、撮像間隔が概略一定（例えば、１５分間隔）となるように所定の順番で撮像を行う。各視野１〜Ｎを撮像する際には、露出検出設定部３０９によって設定された露出条件に従う。露出検出設定部１３１の処理内容については後述する。
【００５９】
視野毎による各画像の撮像後、合焦検出部３１２により画像データ撮像時の焦点合わせが適正であったか否かを検出する。撮像時の焦点合わせが不適正だった場合、直ちに或いは他の任意の観察部位の撮像が完了した時点で、合焦不適正部位の撮像をやり直す。この際、焦点合わせの条件を変更しても良い。
【００６０】
また、培養部１０１内は培養液Ａが循環しているが、撮像を行うタイミングに合わせて一時的に循環を停止させても良い。これにより、培養液の流通に由来する撮像時の背景の揺らぎを回避することができる。
【００６１】
さらに、所定の視野における撮像回数を撮像時点認識手段としての撮像回数計数部３１０により計数し、所定の視野の所定回数（フレーム）の撮像後、報知手段としての表示部３０４に画像を表示し、その内容について操作者に確認を求めるようにしてもよい。内容に問題が無いと操作者が判断した場合は処理を継続し、問題ありと判断した場合は、撮像条件の再設定について操作者からの指示を受け付ける。或いは、単に処理を中止してもよい。一定時間経っても操作者からの応答が無い場合は、既定の指示に従い、処理の継続或いは中止を選択する。
【００６２】
なお、本実施の形態では、蛍光撮像部２０７（又は、赤外光撮像部２１１）による撮像回数を計数し、所定回数の撮像後に操作者に画像の確認を求めるようにしたが、撮像回数を基準にするだけではなく、撮像時点認識手段として、観察開始から所定時間の経過を計測する手段（例えば、細胞画像データを撮像した時刻の情報も取得して、その時刻があらかじめ定めた時刻を超えた場合に、所定時点の細胞画像データを取得したことを認識する）を設けることで、画像の確認を行うようにしてもよい。
【００６３】
培養期間が長期となると、培養中の細胞に関して、想定した範囲を逸脱した増殖、死滅、画像輝度値の過大等が起こる可能性があり、或る時点で細胞観察にとって適切な画像を取得できなくなる場合も予想される。そこで、上述のように、所定の時点が経過したことを操作者に認識させたり、処理を中止したりすることで、操作者はそれまでに取得した画像や、その時点の画像を確認して、その後の細胞観察を適切に行うことが可能となる。
【００６４】
ついで、撮像した画像のうち、蛍光撮像部２０７で取得した画像データの処理手順について説明する。図９は、制御部３０１による制御の下に、撮像部２０１等により実行される画像データ処理例を示す概略フローチャートである。
【００６５】
まず、撮像部２０１による細胞画像の撮像（ステップＳ１）中に、視野毎の撮像動作と並行して、露出条件設定手段としての露出検出設定部３０９で視野毎に撮像済みの細胞画像の輝度値に基づいて次回撮像時の露出条件を変更設定する（ステップＳ２）。これにより、ステップＳ１で各視野を撮像する際には、ステップＳ２で設定された露出条件に従うように露出条件を変更する。そして、撮像された細胞画像データの各種処理に先立ち、輝度補正手段としての輝度補正部３１３で輝度補正を行うことで細胞画像データを正規化する（ステップＳ３）。
【００６６】
ついで、前処理部３０５で前処理を行い（ステップＳ４）、細胞認識手段としての細胞認識部３０６で細胞を認識する（ステップＳ５）。ついで、認識した細胞の特徴を示す細胞パラメータを細胞パラメータ計測手段としてのパラメータ計測部３０７で正規化された細胞画像データに基づき計測する（ステップＳ６）。さらに、細胞追跡手段としての細胞追跡部３０８で、異なる時点で撮像された画像の細胞画像データから認識された異なる時点の細胞同士の同一性を細胞パラメータに基づいて判別する（ステップＳ７）。或いは、さらに追跡結果を修正する（ステップＳ８）。そして、得られた追跡結果を表示部３０４に表示させ（ステップＳ９）、観察が終了するまで（ステップＳ１０：Ｙｅｓ）、上述の処理ステップを同様に繰り返す。
【００６７】
なお、ステップＳ１〜Ｓ３（又は、ステップＳ１〜Ｓ４）の処理を、複数の時期においてあらかじめ行っておいて、各時期に取得した画像データに対するステップＳ４以降（又は、ステップＳ５以降）の処理を後にまとめて行うようにしてもよい。このように、複数の時期において撮像した画像データをあらかじめ取得しておいて、後にまとめて画像データの処理を行うようにする場合、撮像と画像データの処理とを並行して行う場合と比較し、装置構成が単純化され、安価な計算機を用いて応答性と安定性を向上させることができる。
【００６８】
各処理ステップの内容を個別に説明する。まず、露出検出設定部３０９の処理について説明する。時刻ｔjにおいて撮像が完了した視野を選び、その視野の細胞画像から画像内での最大輝度値を求める。同様に、同じ視野において過去の時刻ｔj-1，ｔj-2，ｔj-3に撮像された細胞画像からそれぞれの画像内での最大輝度値を求める。求められたこれらの最大輝度値を用いた多項式近似により、次回撮像時に相当する時刻ｔj+1において撮像されるその視野の細胞画像での最大輝度値を予測する。図１０は、細胞画像の輝度値の経時的な変化の様子の一例を示す特性図である。過去の時刻ｔj-3〜ｔjに撮像されたそれぞれの最大輝度値に基づく多項式近似により、次回撮像時に相当する時刻ｔj+1において撮像されるその視野の細胞画像での最大輝度値を予測すると、図１０中に破線で示すようになることを示している。ここで、時刻ｔj-xは注目視野のｘ周回前の撮像時刻、時刻ｔj+xは注目視野のｘ周回後の撮像時刻を表している。
【００６９】
ここで、多項式近似について補足する。時刻ｔjにおける最大輝度値をＩjなどと表すものとすると、３次の多項式近似により、時刻ｔj+1での最大輝度値Ｉj+1は、式(１)のように予測できる。ただし、Ｉjなどの最大輝度値は、実測値をそれぞれの露出条件で正規化した値である。
【００７０】
【数１】
【００７１】
なお、ここでは一例として、３次の多項式近似の例を示しているが、他の次数による多項式近似であってもよく、非線形な近似を行ってもよい。観察の進行に応じて多項式近似の次数を動的に変化させるようにしてもよい。また、最小二乗推定による近似を行ってもよい。また、過去に撮像された細胞画像の輝度値に対して、次回撮影時の細胞画像の輝度値の予測値を参照表としてあらかじめ記憶しておいて、参照表を参照して、次回撮影時の輝度値を予測することもできる。例えば、時刻ｔj以前の最大輝度値と時刻ｔj+1の最大輝度値の予測値の対応関係をあらかじめ参照表として用意しておき、参照表を参照して、時刻ｔj+1における最大輝度値の予測値を求めるようにすることもできる。
【００７２】
ここで、次回撮像時の最大輝度値の予測値Ｉj+1が、所定の下限値ＩJLより小さいか、又は所定の上限値ＩJUより大きい場合には、現状の露出条件のままでは、次回撮像時に得られる細胞画像の露出は不適正なものになると予想され、露出条件の設定（変更）が必要となる。
【００７３】
露出条件は、照射光量、減光機構（例えばＮＤ（Neutral Density）フィルタ（ニュートラルデンシティフィルタ）の挿抜）、絞り、露出時間の設定により行うことができる。ただし、このうち、試料（スライドガラス１０２）に照射される照射光量の設定を変化させると、培養中の細胞の活性に影響を及ぼすことを考慮する必要がある。また、絞りの設定を変更すると、撮像時の被写界深度に影響を及ぼし、輝度の線形性が失われ、露出条件変更前後の観測データの正規化や補正が困難になることを考慮する必要がある。すなわち、観測データの時間的整合性を保証するのが難しくなる。したがって、生細胞の長期培養観測では、試料（スライドガラス１０２）〜撮像素子間の光路上へのＮＤフィルタの挿抜、あるいは露出時間の変更によって露出条件の設定を行うと、より好ましい。
【００７４】
ここで、露出条件の設定（変更）の手順として、例えば、露出時間を設定する場合の処理手順について説明する。この方式の場合、次回撮像時の最適露出時間Ｔj+1を、式(２)に従い算出する。
【００７５】
［数２］
Ｔj+1＝αj・（ＩJU／ＩJ+1）・Ｔj （Ｉj+1＞ＩJU）
Ｔj+1＝Ｔj （ＩJL≦Ｉj+1≦ＩJU）
Ｔj+1＝βj・（ＩJL／ＩJ+1）・Ｔj （Ｉj+1＜ＩJL）
…………………………………………………………（２）
【００７６】
ここで、Ｔjは現在の露出時間、αj，βjは所定の係数を表す。露出時間を実際に設定するためには、カメラのシャッター速度を変更すればよい。例えば、撮像素子での電荷蓄積時間を設定（変更）したり、メカシャッター等の機構を用いて露出時間を設定（変更）したりすればよい。
【００７７】
視野毎にこのような処理を行い、最適露出時間Ｔj+1を算出して、露出条件として設定する。次回撮像時には、照射条件は常に一定とし、この最適露出時間Ｔj+1に対応したシャッター速度を用いて撮像を行う。式(２)に示すように、露出時間は、Ｉj+1が大きくなるにつれ短くなるように設定される。これにより、培養中の生細胞に与えるダメージを最小限に抑えつつ、輝度飽和や黒潰れのない適正露出の細胞画像を撮像することができる。なお、撮像した細胞画像の画像データを記録部３０２に記録する際には、その撮像時の露出条件も併せて記録する。
【００７８】
上述したような露出検出設定処理は、複数の視野１〜Ｎに関して、視野毎に任意の撮像と撮像との間の時点で行う。ここで、観測開始直後は最大輝度値の予測を行うために十分な観測データがまだ得られていないため、操作者の設定した初期露出条件をそのまま使用し、途中から最大輝度値の予測とこの予測に伴う露出条件の設定（変更）を行うように切り替える。
【００７９】
また、露出条件の設定（変更）の手順として、例えば、ＮＤフィルタの挿抜による場合の処理手順について説明する。この方式の場合、次回撮像時のＮＤフィルタの最適透過率Ｔ´j+1を、式(３)に従い算出する。
【００８０】
［数３］
Ｔ´j+1＝α´j・（ＩJU／ＩJ+1）・Ｔ´j （Ｉj+1＞ＩJU）
Ｔ´j+1＝Ｔ´j （ＩJL≦Ｉj+1≦ＩJU）
Ｔ´j+1＝β´j・（ＩJL／ＩJ+1）・Ｔ´j （Ｉj+1＜ＩJL）
…………………………………………………………（３）
【００８１】
ここで、Ｔ´jは現在のＮＤフィルタの透過率、α´j，β´jは所定の係数を表す。本実施の形態では、図１中に破線で示すように、式(３)によって求められた最適透過率のＮＤフィルタ２１２を、試料（すなわちスライドガラス１０２）と蛍光撮像部２０７の撮像素子との間の光路上に設ける。
【００８２】
視野毎にこのような処理を行い、最適透過率Ｔ´j+1を算出して露出条件として設定する。次回撮像時には、照射条件は常に一定とし、この最適透過率Ｔ´j+1のＮＤフィルタ２１２を用いて撮像を行う。ＮＤフィルタ２１２は、あらかじめ複数種類用意しておき、ターレットによって切り替えてもよく、あるいは、液晶を用いて透過率を連続的に変化させてもよい。式(３)に示すように、ＮＤフィルタの最適透過率は、Ｉj+1が大きくなるほど小さくなるように設定される。これにより、培養中の生細胞に与えるダメージを最小限に抑えつつ、輝度飽和や黒潰れのない適正露出の細胞画像を撮像することができる。なお、撮像した細胞画像の画像データを記録部３０２に記録する際には、その撮像時の露出条件も併せて記録する。
【００８３】
なお、露出条件の変更は、露出時間の変更、ＮＤフィルタの挿抜のいずれでも行ってもよく、両方を用いるようにしてよい。また、露出検出設定部３１３による上述の処理は、蛍光画像と赤外光画像のいずれに対して行ってもよい。
【００８４】
図１１は、このような露出検出設定処理が並行して行われる撮像部２０１による撮像処理例を示す概略フローチャートである。最初に、視野に関する変数ｎを１に設定するとともに、撮像タイミング用時刻に関する変数ｊを０に初期化する（ステップＳ１０１）。次いで、注目視野ｎに関する露出条件を読出す（ステップＳ１０２）。ここに、輝度値の予測に伴う露出条件の設定が行われるまでは、操作者等により設定された初期露出条件が読出され、その後、露出条件の変更設定がなされた場合には変更設定された露出条件が読出される。そして、当該注目視野ｎの撮像タイミングｔjになるまで待機し（ステップＳ１０３：Ｎｏ）、撮像タイミングになったら（ステップＳ１０３：Ｙｅｓ）、設定された露出条件に従い必要に応じて露出条件を変更して当該視野ｎの細胞を撮像する（ステップＳ１０４）。撮像後には、撮像した細胞画像の画像データをその時の露出条件とともに記録部３０２に記録する（ステップＳ１０５）。その後、ｎを＋１インクリメントして注目視野ｎを次に移す（ステップＳ１０６）。この際、ｎが総視野数Ｎに達し（ステップＳ１０７：Ｙｅｓ）、撮像が終了でなければ（ステップＳ１０８：Ｎｏ）、ｎを１として注目視野を最初の視野に戻すとともに、撮像タイミング用時刻に関する変数ｊを＋１インクリメントして（ステップＳ１０９）、ステップＳ１０２から同様の処理を繰り返す。
【００８５】
図１２は、撮像処理に並行して実行される露出検出設定部３０９による露出検出設定処理例を示す概略フローチャートである。まず、露出検出設定処理の対象となる注目視野に関する変数ｎを１に設定する（ステップＳ２０１）。次いで、撮像部２０１による撮像の進み具合として時刻ｔjが所定の閾値ｔTに達するまで待機する（ステップＳ２０２）。この処理は、前述したように観測開始直後は輝度最大値の予測を行うために十分な観測データが得られていないため、閾値ｔTで規定される撮像回数が済むまでは当該露出検出設定処理も待機し、初期露出条件を利用させるための処理である。本実施の形態の場合、閾値ｔTは、図１０等に示したように、例えば４回分相当に設定される。
【００８６】
閾値ｔTに達した場合（ステップＳ２０２：Ｙｅｓ）、注目視野ｎに関する露出検出タイミングに達したか（ステップＳ２０３）、時刻ｔjの画像が撮像済みであるか（ステップＳ２０４）を判定する。検出タイミングは、視野ｎ毎に任意の撮像と撮像との間の時点である。画像が撮像済みであるかは、その細胞画像の画像データが記録部３０２に記録された状態を意味する。該画像データを次の最大輝度値の予測処理に利用するが、該画像データは本来の画像データでもあるため、その記憶処理が済むまで待機する。検出タイミングに達し（ステップＳ２０３：Ｙｅｓ）、画像が撮像済みであれば（ステップＳ２０４：Ｙｅｓ）、該注目視野ｎの時刻ｔj〜ｔj-3のそれぞれの細胞画像の最大輝度値を求め、多項式近似により、次回撮像時である時刻ｔj+1での該注目視野ｎの細胞の最大輝度値Ｉj+1を予測する（ステップＳ２０５）。
【００８７】
そして、予測された最大輝度値Ｉj+1が所定の下限値ＩJL〜上限値ＩJUの範囲内に収まる場合には（ステップＳ２０６：Ｙｅｓ）、露出条件の変更設定は行わないが、予測された最大輝度値Ｉj+1が所定の下限値ＩJL〜上限値ＩJUの範囲内に収まらない場合には（ステップＳ２０６：Ｎｏ）、該注目視野ｎの時刻ｔj+1での撮像用の露出条件を変更設定する（ステップＳ２０７）。その後、ｎを＋１インクリメントして注目視野ｎを次に移す（ステップＳ２０８）。この際、ｎが総視野数Ｎに達し（ステップＳ２０９：Ｙｅｓ）、検出設定処理が終了でなければ（ステップＳ２１０：Ｎｏ）、ｎを１として注目視野を最初の視野に戻して（ステップＳ２１１）、ステップＳ２０２から同様の処理を繰り返す。
【００８８】
次に、輝度補正部３１３による処理について説明する。上述のように撮像された細胞画像の画像データに対して、輝度補正部３１３は、その輝度を正規化する。すなわち、細胞画像の画像データとともに記録した露出条件に応じて、各画素データに係数を乗ずる。この係数は、露出時間が短いほど大きく、露出時間が長いほど小さくなるように決定する。
【００８９】
その後、正規化された細胞画像の画像データを用いて、前処理部３０５以降で以下のように処理する。まず、ステップＳ４では、前処理部３０5は、画像データにエッジ保存型のローパスフィルタを適用する。エッジ保存型のローパスフィルタは、エッジ部における空間周波数高周波成分の劣化を抑えつつ、エッジ部以外に平滑化の効果をもたらすものであり、細胞の輪郭情報を保存したままノイズ除去ができる点で、本手法に好適である。
【００９０】
このような要件を満たすフィルタとして、バイラテラルフィルタ（Tomasi & Manduchi,"Bilateral Filtering for Gray and Color Images", Proceedings of the 1998 IEEE International Conference on Computer Vision, Bombay, India参照)が知られており、本手法でもこれを使用する。
【００９１】
次に、エッジ保存型ローパスフィルタ適用後の画像データに、さらにエッジ強調のための先鋭化フィルタを適用する。先鋭化フィルタは、注目画素とその近傍の８画素に例えば図１３に示すような重み付けを行って総和を求めるフィルタであり、これを画素毎に反復実行することで、先鋭化処理が実現できる。
【００９２】
ステップＳ５では、前処理後の画像データを、細胞認識部３０６において以下のような手順で分析し、個々の細胞の占める領域を認識する。この手順に従えば、細胞が互いに隣接せずに散在する場合だけでなく、細胞が互いに隣接し、密集している場合にも個々の細胞の占める領域を認識できる。また、細胞領域のエッジが明瞭でない場合にも適用することができる。
【００９３】
まず、画像を高輝度画素の集中する領域毎に領域分割する。一般に、蛍光画像において、細胞は高輝度画素の塊の様相を呈するため、高輝度画素の集中する領域（塊）毎に領域分割することは、画像を細胞毎の領域に分割することに相当する。
【００９４】
このような要件を満たす処理として、分水嶺領域分割が知られている。本実施の形態１の細胞認識の処理手順として、この分水嶺領域分割方式を使用する(Vincent & Soille , "Watersheds in Digital Spaces: An Efficient Algorithm Based on Immersion Simulations", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.13, NO.6, JUNE 1991参照)。原論文における分水嶺領域分割は、画像を低輝度画素の集中する領域に分割するものであるが、ここでは輝度を反転して考え、高輝度領域の分割に適用する。得られた領域分割結果における個々の領域が細胞領域となる。
【００９５】
ここで、隣接する細胞領域の特性に応じて複数の細胞領域を統合し新たな１つの細胞領域とするような、統合処理を行っても良い。分水嶺領域分割処理の結果は、一般に、小領域に分割され易い傾向があるため、統合処理を行うことで認識結果の品質を高めることができる。
【００９６】
領域統合の第１の手法を、図１４を参照して説明する。図１４は、領域統合の第１の手法例を示す概略フローチャートである。まず、各細胞領域において輝度が最大となる点、すなわち輝度の頂点を求める（ステップＳ５１１）。次に、隣接する任意の２つの細胞領域を選択し（ステップＳ５１２）、それらの頂点間を結ぶ線分に沿った道のり距離ＤUWを求める（ステップＳ５１３）。道のり距離ＤUWの計算には式(４)を用いる。
【００９７】
【数４】
【００９８】
ここで、Ｉ(Ｐ)は、エッジ保存型ローパスフィルタ適用後の画像における画素Ｐの輝度値、／Ｉ(ＰS)は、エッジ保存型ローパスフィルタ適用後の画像における２つの頂点の輝度値の平均、Σは、頂点間を結ぶ線分の全画素について総和を求めることを表す。
【００９９】
ステップＳ５１３で、隣接する細胞領域の全ての組み合わせについて頂点間の道のり距離ＤUWを求めた後、ステップＳ５１４で、この道のり距離ＤUWと所定の閾値ＶUWとの比較を行う。比較の結果、所定の閾値ＶUW以下である場合には（ステップＳ５１４：Ｙｅｓ）、細胞領域同士を１つの領域に統合する（ステップＳ５１５）。このような処理を全組み合わせについて完了するまで（ステップＳ５１６：Ｙｅｓ）、同様に繰り返す。
【０１００】
領域統合の第２の手法を、図１５を参照して説明する。図１５は、領域統合の第２の手法例を示す概略フローチャートである。まず、エッジ保存型ローパスフィルタの出力結果にエッジ抽出フィルタ、例えばSobelフィルタを適用してエッジ画像を得る（ステップＳ５２１）。任意の隣接する細胞領域間の境界を考えて、隣接する任意の２つの細胞領域を選択し（ステップＳ５２２）、式(５)で定義されるエッジ強度ＤUEを求める（ステップＳ５２３）。
【０１０１】
【数５】
【０１０２】
ここで、Ｅ(Ｐ)は、エッジ画像における画素Ｐの輝度値、Σは、細胞領域間の境界に含まれる全画素について総和を求めることを表す。
【０１０３】
ステップＳ５２３で、隣接する細胞領域の全ての組み合わせについてエッジ強度ＤUEを求めた後、ステップＳ５２４で、このエッジ強度ＤUEと所定の閾値ＶUEとの比較を行う。比較の結果、所定の閾値ＶUE以下である場合には（ステップＳ５２４：Ｙｅｓ）、細胞領域同士を１つの領域に統合する（ステップＳ５２５）。このような処理を全組み合わせについて完了するまで（ステップＳ５２６：Ｙｅｓ）、同様に繰り返す。
【０１０４】
これらの第１，第２の領域統合の手法は、それぞれ別個に使用しても良いし、任意の順番で連続して用いても良い。さらに、輝度情報を用いて各細胞領域の妥当性を検証しても良い。そのためには、分割された細胞領域毎に輝度値が最大となる画素を求め、その輝度値が所定の閾値Ｖtminより小さい場合、その領域は細胞領域ではないと判定し、所属する画素も含めて以降の処理の対象から除外する。これにより、蛍光タンパクの導入又は発現が不十分な細胞、及び細胞ではない背景領域を除外することができる。
【０１０５】
さらに、細胞領域内の各画素の輝度を所定の閾値Ｖpminと比較し、閾値Ｖpminより輝度の小さい画素を細胞領域から除外しても良い。こうして除外された画素は、以降の処理には使用しない。これにより、細胞領域の中でもＳ／Ｎの低い低輝度部位を除外することができ、細胞領域の境界形状をより正確に認識することが可能となる。得られた細胞領域、及び各細胞領域に属する画素の集合を記録部３０２に記録する。
【０１０６】
なお、赤外光撮像部２１１が撮像した赤外光画像を用いて細胞領域を認識することも可能である。赤外光画像が位相差画像である場合、細胞の存在する領域の輝度値は、背景とは異なる輝度値として観察される。したがって、画像内の各画素について代表的な背景の輝度値ＰBGとの差を求め、差が所定の閾値ＶPGより大きな画素のみを抽出し、一般的なラベリング処理を行って隣接する画素を統合すれば、細胞領域を認識することができる。
【０１０７】
図９の処理に戻り、ステップＳ６では、パラメータ計測部３０７において、細胞認識部３０６で認識した細胞領域毎に細胞パラメータを計測し、その計測結果を記録部３０２に記録する。図１６は、記録部３０２に記録された細胞パラメータの計測結果例を示す説明図である。ただし、Ｍは認識された細胞領域の数である。本実施の形態では、細胞パラメータは、例えば、重心位置、面積、円形度、輝度の総和、平均輝度、輝度の標準偏差を測定項目対象としており、画像データ及び細胞領域と関連付けて記録部３０２に記録する。アッセイの内容に応じて、周囲長、フェレ径、長さ、幅、最大輝度等の一般的な測定項目を追加しても良い。
【０１０８】
ここで、本実施の形態は、画像内の全ての細胞の面積の総和、すなわち画像内で細胞領域の占める度合いを示す細胞占有値に相当する面積を占有面積算出手段としての占有面積算出部３１１で算出し、画像内で細胞領域の占める面積が、画像の面積に対して所定の割合を超えた場合、制御部３０１にその事象を通知する。この場合、制御部３０１はあらかじめ指定された設定に従い、報知手段としての表示部３０４を通じて操作者にさらに報知しても良いし、培養部１０１の制御状態を変更しても良い。或いは単に通知を無視しても構わない。この機能は、培養が長期になると、細胞の増殖等によって培地の空きスペースが減少することがあるので、細胞培養の過程において培地の空きスペースが不足してきていることを通知する場合に有効である。
【０１０９】
占有面積計算部３１１は、細胞画像内で細胞領域の占める面積を細胞占有値として求めるものである。細胞画像は、蛍光画像或いは赤外光画像のいずれであっても構わない。蛍光画像を対象とする場合、パラメータ計測部３０７により細胞領域の面積が計測されているので、画像内の全ての細胞領域の面積を合計すれば、画像内で細胞領域の占める面積を求めることができる。赤外光画像を対象とする場合、細胞の存在する領域の輝度値は、背景とは異なる輝度値として観察される。したがって、まず画像内の各画素について代表的な背景の輝度値ＰBGとの差を求め、差が所定の閾値ＶPGより大きな画素のみを抽出する。さらに、画像内で抽出された画素の数を計数すれば、画像内で細胞領域の占める面積が得られる。
【０１１０】
以上の手順により、複数の細胞画像を含む単一の細胞画像に関して、個々の細胞の領域を求めた上で細胞パラメータを計測することができる。所定の時間間隔Δｔ毎に細胞画像の撮像とパラメータ計測とを反復して行うことで、細胞パラメータを時間経過に伴って蓄積することができる。
【０１１１】
ここで、このままの処理では、異なる時刻に計測された細胞パラメータ同士が関連付けられておらず、経時的に計測した状態とは言えない。そこで、異なる時刻に撮影された細胞画像間において、細胞領域の対応付けを行い、その結果を用いて細胞パラメータ同士の関連付けを行う必要がある。
【０１１２】
細胞領域の対応付けは、細胞追跡部３０８において、ステップＳ７，Ｓ８の処理として以下のように実行される。ここで、時刻ｔ1において認識された細胞領域をＲt1,m、時刻ｔ2において認識された細胞領域をＲt2,nと表すものとする。ただし、時刻ｔ2は時刻ｔ1より時系列的に後の時刻である。ｍ，ｎは同一画像内で重複の無い細胞領域の識別番号で、１≦ｍ≦Ｍ，１≦ｎ≦Ｎであり、ＭとＮはそれぞれ時刻ｔ1，ｔ2で認識された細胞領域の数を表す。
【０１１３】
まず、２つの細胞領域Ｒt1,mとＲt2,nの関連性に関する評価関数を式(６)で定義する。式(６)で計算される評価値Ｊ1が小さい程、２つの領域は関連性が高く、同一の細胞を示している可能性が高いと言える
【０１１４】
［数６］
Ｊ1＝Ｊ1(Ｒt1,m，Ｒt2,n)＝ｋdδd＋ｋaδa＋ｋcδc ……(６)
δd：重心間の距離
δa：面積の差
δc：円形度の差
ｋd，ｋa，ｋc：所定の重み付け係数
【０１１５】
図１７は、ｍとｎの可能な組み合わせについて評価値を計算した結果を示す説明図である。ただし、図１７では記述の簡便のため、Ｊ1(Ｒt1,m，Ｒt2,n)をＪm,nと簡略表記している。
【０１１６】
ここで、時刻ｔ1の領域Ｒt1,mに対応する時刻ｔ2の領域Ｒt2,n^を式(７)に従って決定する。すなわち、Ｒt2,n^とは、領域Ｒt1,mとの間の評価値Ｊ1を最小化するような時刻ｔ2の領域である。
【０１１７】
【数７】
【０１１８】
評価値Ｊ1が最小となるｎ＾が複数存在する場合、それらに対して式(８)に示す第２の評価関数を適用し、評価値Ｊ2が、より小さくなる組み合わせを決定する。第２の評価値Ｊ2が最小となる組み合わせも複数あった場合、操作者へのメッセージを表示部３０４に表示し、操作者が正しいと判断する組み合わせを入力部３０３より入力させ、入力結果に基づいて対応付けを行う。
【０１１９】
[数８]
Ｊ2＝Ｊ2(Ｒt1,m，Ｒt2,n)＝ｋsδs＋ｋmδm＋ｋvδv ……(８)
δs：輝度の総和の差
δm：平均輝度の差
δv：輝度の標準偏差の差
ｋs，ｋm，ｋv：所定の重み付け係数
【０１２０】
ただし、評価値Ｊ1，Ｊ2の両方を求めず、どちらか一方のみを用いることで処理を高速化しても良い。また、操作者へのメッセージ表示、及び操作者からの入力ステップを省略し、評価値Ｊ1又はＪ2を最小化する複数の対応関係を全て記録するようにしても良い。
【０１２１】
時刻ｔ1の領域Ｒt1,mと時刻ｔ2の領域Ｒt2,n^は、同一の細胞を異なる時刻に認識した結果と考えられるから、両者の計測済みの細胞パラメータも同一の細胞に対する異なる時刻での計測値とみなせる。そこで、細胞パラメータの値を、細胞画像、細胞領域、細胞領域の対応付け情報、時刻情報と関連付け、併せて記録手段としての記録部３０２に記録することで、経時的なパラメータ計測が完了する。
【０１２２】
経時的に、蛍光タンパクが新たに発現し蛍光を発するようになった場合、観察画面外にあった細胞が観察画面内へと移動した場合、重なり合っていた複数の細胞が分かれた場合、又は細胞が分裂した場合は、細胞認識部３０６において認識される細胞領域の数が増加するため、時刻ｔ2の細胞領域に対応する時刻ｔ1の細胞領域が存在しない場合や、時刻ｔ2の複数の細胞が時刻ｔ1の１つの細胞に対応する場合が発生する。
【０１２３】
また、経時的に、蛍光タンパクの蛍光強度が低下した場合、観察画面内にあった細胞が観察画面外へと移動した場合、複数の細胞が重なり合った場合、又は細胞が死滅した場合は、細胞認識部３０６において認識される細胞領域の数が減少するため、時刻ｔ1の細胞領域に対応する時刻ｔ2の細胞領域が存在しない場合や、時刻ｔ1の複数の細胞が時刻ｔ2の１つの細胞に対応する場合が発生する。
【０１２４】
対応する細胞領域が無い場合は、対応領域が無いことを意味するフラグを記録する。１つの細胞領域に複数の細胞領域が対応する場合は、全ての対応関係を記録する。表示部３０４を通じて操作者にメッセージを表示し、操作者からの入力を元に対応関係を修正しても良い。複数の細胞領域の対応を記録する際のデータ表現は、各時刻を高さに、各細胞領域を節点に対応させた木構造を用いる。表現の自由度がより高いグラフ構造を用いても良い。
【０１２５】
なお、細胞領域の対応付けに関しては、以下のような改良を加えた変形例であってもよい。第１の変形例は、最小の評価値Ｊが所定の閾値Ｖjmaxより大きい場合、その対応付けは無効とみなす。この場合、領域Ｒt1,mに対応する時刻ｔ2の領域は発見できなかったとし、領域Ｒt1,mに対する経時的パラメータ計測は時刻ｔ1までで打ち切る。この変形例は、ノイズの影響を低減させるために有効である。
【０１２６】
第２の変形例は、領域Ｒt1,mと対応する領域Ｒt2,n^の重心間距離を求め、重心間距離が所定の閾値Ｖdmaxより大きかった場合、その対応付けは無効とみなす。この場合、領域Ｒt1,mに対応する時刻ｔ2の領域は発見できなかったとし、領域Ｒt1,mに対する経時的パラメータ計測は時刻ｔ１までで打ち切る。この変形例は、細胞領域対応付け処理の誤りを低減させるために有効である。以上の手順により、細胞のパラメータを経時的に計測することができる。
【０１２７】
最後に、図９の処理に戻り、ステップＳ９の処理として、細胞パラメータ表示手段としての表示部３０４にて、認識した細胞領域と計測した細胞パラメータを表示する。図１８は、処理結果の表示の一例を示す説明図である。表示部３０４が備える表示画面３１４は、２つの表示領域３１４ａ，３１４ｂを有し、表示領域３１４ａには、処理対象時点において認識された個々の細胞領域が表示される。ここで、細胞領域にはラベリング処理を適用し、領域毎に識別可能な色、輝度、線種、パターンを与え、例えばラベル画像ａ〜ｅとして表示する。ラベル画像と同じ表示範囲の赤外光画像或いは蛍光画像を連動して表示させても良いし、ラベル画像、赤外光画像、蛍光画像のうち複数を重ね合わせて表示しても良い。或いは、スーパーインポーズ表示を行っても良い。計測した細胞パラメータは、表示領域３１４ｂにおいて、時間を横軸、パラメータ値を縦軸とした折れ線チャートとして表示する。さらに、操作者による入力部３０３中のマウス操作等に応じて両者の表示内容を同期して強調表示すれば、表示内容の視認性が向上する。図１９は、例えばラベル画像ｃを強調表示の指示対象として選択指定した場合に対応する細胞パラメータの折れ線チャートも強調表示される一例を示す説明図である。この場合、操作者が片方を選択強調した場合、対応する他方も同期して強調表示する。
【０１２８】
本実施の形態では、生細胞Ｃに蛍光タンパクを導入し観察しているが、蛍光タンパクに代えて発光遺伝子、例えばルシフェラーゼ遺伝子を導入すれば、蛍光画像に代えて発光画像が撮像できる。この場合、励起光照明部２０３及びダイクロイックミラー２０４は不要であり、構成を簡略化できる。発光画像は、細胞光撮像手段としての蛍光撮像部２０７によって撮像される。発光画像に対しては、蛍光画像と同じ手順で処理を行えば良い。このように、例えば細胞が自発光する場合や蛍光を発する場合など、細胞が赤外光以外の光を発する場合でも細胞画像データを取得して細胞観察を行うことができる。
【０１２９】
また、本実施の形態では、細胞内に局在せずに発現する蛍光タンパクを使用しているが、細胞核、細胞質、核膜、細胞膜、或いはオルガネラに局在して発現する蛍光タンパクであっても構わない。
【０１３０】
なお、パラメータ計測部３０７において計測する細胞パラメータは、本実施の形態に例示したものに限定されず、さらに、面積、周囲長、外接矩形位置、Ｘ方向フェレ径、Ｙ方向フェレ径、最小フェレ径、最大フェレ径、平均フェレ径、凸周囲長、円形度（真円度）、孔の数、ラフネス（凸周囲長と周囲長の比）、オイラー数、長さ、幅、扁平度、輝度の総和、最小輝度、最大輝度、平均輝度、輝度の標準偏差、輝度の分散、エントロピー、重心位置、２次モーメント、主軸方向、のいずれか或いは複数であっても良い。
【０１３１】
さらに、パラメータ計測部３０７は、任意の複数の細胞からなるグループに対して、細胞数、最小細胞間距離、最大細胞間距離、平均細胞間距離、細胞間距離の標準偏差、細胞間距離の分散、並びに個々の細胞に対して計測した各パラメータの最小値、最大値、平均値、標準偏差、分差、総和、中間値、のいずれか或いは複数を求めても良い。
【０１３２】
以上、本実施の形態によれば、蛍光タンパクを導入した複数の生細胞を長期間培養しながら、複数の時刻の複数の視野で露出を補正して露出適正で細胞画像を撮像し、個々の細胞領域を認識し、経時的な位置変化を追尾しつつ、個々の細胞パラメータを経時的に計測する装置を実現できる。
【０１３３】
本発明は、上述した実施の形態に限らず、本発明の趣旨を逸脱しない範囲であれば、種々の変形が可能である。例えば、前述の露出検出設定部３０９、輝度補正部３１３等の各部による処理手順は、あらかじめ用意された細胞観察プログラムを制御部３０１などのマイクロコンピュータで実行することにより実現するようにしてもよい。この細胞観察プログラムは、インターネットなどのネットワークを介して配布することもできる。また、この細胞観察プログラムは、ハードディスク、ＦＤ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのマイクロコンピュータで読み取り可能な記録媒体に記録され、マイクロコンピュータによって記録媒体から読み出されることにより実行することもできる。
【図面の簡単な説明】
【０１３４】
【図１】本発明の実施の形態に係る細胞画像撮像装置を含む細胞観察装置の構成例を示す概略ブロック図である。
【図２】培養部の構成例を示す水平断面図である。
【図３】培養部の構成例を示す縦断正面図である。
【図４】整流板の構成例を示す斜視図である。
【図５】培養部側と撮像部側との境界部分の断熱構成例を示す断面図である。
【図６】蛍光撮像された培養中の細胞画像の一例を示す説明図である。
【図７】複数の視野（視野１〜Ｎ）による撮像の様子を示す説明図である。
【図８】各視野１〜Ｎの撮像タイミング例を示す説明図である。
【図９】画像データ処理例を示す概略フローチャートである。
【図１０】細胞画像の輝度値の経時的な変化の様子の一例を示す特性図である。
【図１１】撮像部による撮像処理例を示す概略フローチャートである。
【図１２】露出検出設定部による露出検出設定処理例を示す概略フローチャートである。
【図１３】先鋭化フィルタによる重み付け例を示す図である。
【図１４】領域統合の第１の手法例を示す概略フローチャートである。
【図１５】領域統合の第２の手法例を示す概略フローチャートである。
【図１６】記録部に記録された細胞パラメータの計測結果例を示す説明図である。
【図１７】ｍとｎの可能な組み合わせについて評価値を計算した結果を示す説明図である。
【図１８】処理結果の表示の一例を示す説明図である。
【図１９】強調表示の一例を示す説明図である。
【符号の説明】
【０１３５】
２０１ 撮像部
２１２ ＮＤフィルタ
３０２ 記録部
３０６ 細胞認識部
３０７ パラメータ計測部
３０８ 細胞追跡部
３１３ 露出検出設定部
３１４ 輝度補正部
【特許請求の範囲】
【請求項１】
視野毎に設定された露出条件に従い複数の時点の複数の視野で細胞を撮像する撮像手段と、
視野毎に該視野の撮像済みの細胞画像の輝度値に基づいて次回撮像時の前記露出条件を設定する露出条件設定手段と、
を備えたことを特徴とする細胞画像撮像装置。
【請求項２】
前記露出条件設定手段は、視野毎に該視野の撮像済みの細胞画像の輝度値に基づいて次回撮像時の細胞の輝度値を予測する予測手段を含み、該予測手段で予測された輝度値に基づいて該視野の次回撮像時の前記露出条件を設定することを特徴とする請求項１に記載の細胞画像撮像装置。
【請求項３】
前記予測手段は、撮像済みの細胞画像の画像データを記録装置に記録した後で輝度値の予測を行うことを特徴とする請求項２に記載の細胞画像撮像装置。
【請求項４】
前記予測手段は、次回撮像時の細胞の最大輝度値を予測することを特徴とする請求項２又は３に記載の細胞画像撮像装置。
【請求項５】
前記予測手段は、多項式近似により輝度値の予測を行うことを特徴とする請求項２〜４のいずれか一つに記載の細胞画像撮像装置。
【請求項６】
前記予測手段は、過去に撮像された細胞画像の輝度値に対して次回撮影時の細胞画像の輝度値の予測値を参照表としてあらかじめ記憶しておき、該参照表を参照して輝度値の予測を行うことを特徴とする請求項２〜４のいずれか一つに記載の細胞画像撮像装置。
【請求項７】
前記露出条件設定手段は、撮像時の前記細胞に対する照射条件が一定となるように前記露出条件の設定を行うことを特徴とする請求項１〜６のいずれか一つに記載の細胞画像撮像装置。
【請求項８】
前記露出条件設定手段は、露出時間の設定により前記露出条件の設定を行うことを特徴とする請求項１〜７のいずれか一つに記載の細胞画像撮像装置。
【請求項９】
前記露出条件設定手段は、露出時間を前記予測手段で予測した輝度値の大きさに反比例させることにより前記露出条件の設定を行うことを特徴とする請求項８に記載の細胞画像撮像装置。
【請求項１０】
前記露出条件設定手段は、撮像対象となる細胞を培養するための試料と当該撮像手段の撮像素子との間の光路上に設けた減光機構による減光の程度を設定することで前記露出条件の設定を行うことを特徴とする請求項１〜９のいずれか一つに記載の細胞画像撮像装置。
【請求項１１】
前記減光機構は、ニュートラルデンシティフィルタであることを特徴とする請求項１０に記載の細胞画像撮像装置。
【請求項１２】
前記露出条件設定手段は、前記ニュートラルデンシティフィルタの透過率を最大輝度値に反比例させることにより前記露出条件の設定を行うことを特徴とする請求項１１に記載の細胞画像撮像装置。
【請求項１３】
撮像した細胞画像の画像データに撮像時の前記露出条件を付加して記録する記録手段をさらに備えたことを特徴とする請求項１〜１２のいずれか一つに記載の細胞画像撮像装置。
【請求項１４】
細胞を培養する培養手段をさらに備え、
前記撮像手段は、前記培養手段に収納されている培養中の細胞を撮像することを特徴とする請求項１〜１３のいずれか一つに記載の細胞画像撮像装置。
【請求項１５】
請求項１〜１４のいずれか一つに記載の細胞画像撮像装置と、
該細胞画像撮像装置で撮像した細胞画像の画像データの輝度を撮像時の前記露出条件に応じて正規化する輝度補正手段と、
正規化された前記細胞画像の画像データから細胞を認識する細胞認識手段と、
該細胞認識手段で認識した細胞の特徴を示す細胞パラメータを正規化された前記細胞画像の画像データに基づき計測する細胞パラメータ計測手段と、
異なる時点で撮像された視野毎のそれぞれの正規化された細胞画像の画像データから認識された細胞同士の対応付けを前記細胞パラメータに基づいて行う細胞追跡手段と、
を備えたことを特徴とする細胞観察装置。
【請求項１６】
細胞画像撮像装置で細胞の撮像を行う細胞画像撮像プログラムであって、
前記細胞画像撮像装置に、
視野毎に設定された露出条件に従い複数の時点の複数の視野で細胞を撮像する撮像ステップと、
視野毎に該視野の撮像済みの細胞画像の輝度値に基づいて次回撮像時の前記露出条件を設定する露出条件設定ステップと、
を実行させることを特徴とする細胞画像撮像プログラム。
【請求項１７】
前記露出条件設定ステップは、視野毎に該視野の撮像済みの細胞画像の輝度値に基づいて次回撮像時の細胞の輝度値を予測する予測ステップを含み、該予測ステップで予測された輝度値に基づいて該視野の次回撮像時の前記露出条件を設定することを特徴とする請求項１６に記載の細胞画像撮像プログラム。
【請求項１８】
細胞を培養する培養手段と、該培養手段に収容されている細胞を撮像する撮像手段とを用いる細胞画像撮像方法であって、
前記培養手段で細胞を培養しながら、培養中の細胞を前記撮像手段によって複数の時点の複数の視野で視野毎に設定された露出条件に従い撮像して細胞画像を取得する培養細胞撮像工程と、
視野毎に該視野の撮像済みの細胞画像の輝度値に基づいて次回撮像時の前記露出条件を設定する露出条件設定工程と、
を備えたことを特徴とする細胞画像撮像方法。
【請求項１９】
前記露出条件設定工程は、視野毎に該視野の撮像済みの細胞画像の輝度値に基づいて次回撮像時の細胞の輝度値を予測する予測工程を含み、該予測工程で予測された輝度値に基づいて該視野の次回撮像時の前記露出条件を設定することを特徴とする請求項１８に記載の細胞画像撮像方法。
【請求項１】
視野毎に設定された露出条件に従い複数の時点の複数の視野で細胞を撮像する撮像手段と、
視野毎に該視野の撮像済みの細胞画像の輝度値に基づいて次回撮像時の前記露出条件を設定する露出条件設定手段と、
を備えたことを特徴とする細胞画像撮像装置。
【請求項２】
前記露出条件設定手段は、視野毎に該視野の撮像済みの細胞画像の輝度値に基づいて次回撮像時の細胞の輝度値を予測する予測手段を含み、該予測手段で予測された輝度値に基づいて該視野の次回撮像時の前記露出条件を設定することを特徴とする請求項１に記載の細胞画像撮像装置。
【請求項３】
前記予測手段は、撮像済みの細胞画像の画像データを記録装置に記録した後で輝度値の予測を行うことを特徴とする請求項２に記載の細胞画像撮像装置。
【請求項４】
前記予測手段は、次回撮像時の細胞の最大輝度値を予測することを特徴とする請求項２又は３に記載の細胞画像撮像装置。
【請求項５】
前記予測手段は、多項式近似により輝度値の予測を行うことを特徴とする請求項２〜４のいずれか一つに記載の細胞画像撮像装置。
【請求項６】
前記予測手段は、過去に撮像された細胞画像の輝度値に対して次回撮影時の細胞画像の輝度値の予測値を参照表としてあらかじめ記憶しておき、該参照表を参照して輝度値の予測を行うことを特徴とする請求項２〜４のいずれか一つに記載の細胞画像撮像装置。
【請求項７】
前記露出条件設定手段は、撮像時の前記細胞に対する照射条件が一定となるように前記露出条件の設定を行うことを特徴とする請求項１〜６のいずれか一つに記載の細胞画像撮像装置。
【請求項８】
前記露出条件設定手段は、露出時間の設定により前記露出条件の設定を行うことを特徴とする請求項１〜７のいずれか一つに記載の細胞画像撮像装置。
【請求項９】
前記露出条件設定手段は、露出時間を前記予測手段で予測した輝度値の大きさに反比例させることにより前記露出条件の設定を行うことを特徴とする請求項８に記載の細胞画像撮像装置。
【請求項１０】
前記露出条件設定手段は、撮像対象となる細胞を培養するための試料と当該撮像手段の撮像素子との間の光路上に設けた減光機構による減光の程度を設定することで前記露出条件の設定を行うことを特徴とする請求項１〜９のいずれか一つに記載の細胞画像撮像装置。
【請求項１１】
前記減光機構は、ニュートラルデンシティフィルタであることを特徴とする請求項１０に記載の細胞画像撮像装置。
【請求項１２】
前記露出条件設定手段は、前記ニュートラルデンシティフィルタの透過率を最大輝度値に反比例させることにより前記露出条件の設定を行うことを特徴とする請求項１１に記載の細胞画像撮像装置。
【請求項１３】
撮像した細胞画像の画像データに撮像時の前記露出条件を付加して記録する記録手段をさらに備えたことを特徴とする請求項１〜１２のいずれか一つに記載の細胞画像撮像装置。
【請求項１４】
細胞を培養する培養手段をさらに備え、
前記撮像手段は、前記培養手段に収納されている培養中の細胞を撮像することを特徴とする請求項１〜１３のいずれか一つに記載の細胞画像撮像装置。
【請求項１５】
請求項１〜１４のいずれか一つに記載の細胞画像撮像装置と、
該細胞画像撮像装置で撮像した細胞画像の画像データの輝度を撮像時の前記露出条件に応じて正規化する輝度補正手段と、
正規化された前記細胞画像の画像データから細胞を認識する細胞認識手段と、
該細胞認識手段で認識した細胞の特徴を示す細胞パラメータを正規化された前記細胞画像の画像データに基づき計測する細胞パラメータ計測手段と、
異なる時点で撮像された視野毎のそれぞれの正規化された細胞画像の画像データから認識された細胞同士の対応付けを前記細胞パラメータに基づいて行う細胞追跡手段と、
を備えたことを特徴とする細胞観察装置。
【請求項１６】
細胞画像撮像装置で細胞の撮像を行う細胞画像撮像プログラムであって、
前記細胞画像撮像装置に、
視野毎に設定された露出条件に従い複数の時点の複数の視野で細胞を撮像する撮像ステップと、
視野毎に該視野の撮像済みの細胞画像の輝度値に基づいて次回撮像時の前記露出条件を設定する露出条件設定ステップと、
を実行させることを特徴とする細胞画像撮像プログラム。
【請求項１７】
前記露出条件設定ステップは、視野毎に該視野の撮像済みの細胞画像の輝度値に基づいて次回撮像時の細胞の輝度値を予測する予測ステップを含み、該予測ステップで予測された輝度値に基づいて該視野の次回撮像時の前記露出条件を設定することを特徴とする請求項１６に記載の細胞画像撮像プログラム。
【請求項１８】
細胞を培養する培養手段と、該培養手段に収容されている細胞を撮像する撮像手段とを用いる細胞画像撮像方法であって、
前記培養手段で細胞を培養しながら、培養中の細胞を前記撮像手段によって複数の時点の複数の視野で視野毎に設定された露出条件に従い撮像して細胞画像を取得する培養細胞撮像工程と、
視野毎に該視野の撮像済みの細胞画像の輝度値に基づいて次回撮像時の前記露出条件を設定する露出条件設定工程と、
を備えたことを特徴とする細胞画像撮像方法。
【請求項１９】
前記露出条件設定工程は、視野毎に該視野の撮像済みの細胞画像の輝度値に基づいて次回撮像時の細胞の輝度値を予測する予測工程を含み、該予測工程で予測された輝度値に基づいて該視野の次回撮像時の前記露出条件を設定することを特徴とする請求項１８に記載の細胞画像撮像方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２００６−３１７４０６（Ｐ２００６−３１７４０６Ａ）
【公開日】平成１８年１１月２４日（２００６．１１．２４）
【国際特許分類】
【出願番号】特願２００５−１４２９６３（Ｐ２００５−１４２９６３）
【出願日】平成１７年５月１６日（２００５．５．１６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成１８年１１月２４日（２００６．１１．２４）
【国際特許分類】
【出願日】平成１７年５月１６日（２００５．５．１６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]