細胞の追跡処理方法
【課題】簡易かつ高精度な細胞の追跡を実現する。
【解決手段】視野範囲に複数の細胞を含む観察画像を時間間隔をあけて複数枚取得する画像取得工程S1と、画像取得工程S1により取得された観察画像における各細胞の所定の輝度を解析する特徴量解析工程S2と、特徴量解析工程S2により解析された輝度とその輝度を分類する所定の閾値とに基づいて、観察画像ごとに細胞をグループ分けするグルーピング工程S3と、グルーピング工程S3により分けられたグループごとに、取得時間が前後する観察画像間の形態的特徴がほぼ一致する細胞どうしを対応づける対応づけ工程S4とを含む細胞の追跡処理方法を提供する。
【解決手段】視野範囲に複数の細胞を含む観察画像を時間間隔をあけて複数枚取得する画像取得工程S1と、画像取得工程S1により取得された観察画像における各細胞の所定の輝度を解析する特徴量解析工程S2と、特徴量解析工程S2により解析された輝度とその輝度を分類する所定の閾値とに基づいて、観察画像ごとに細胞をグループ分けするグルーピング工程S3と、グルーピング工程S3により分けられたグループごとに、取得時間が前後する観察画像間の形態的特徴がほぼ一致する細胞どうしを対応づける対応づけ工程S4とを含む細胞の追跡処理方法を提供する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、細胞の追跡処理方法に関するものである。
【背景技術】
【0002】
従来、生体組織に含まれる細胞の形態(形状や輝度等)の時系列変化や細胞の運動特性等を観察するために、特定の細胞を追跡処理する方法が知られている(例えば、特許文献1参照。)。特許文献1に記載の細胞の追跡処理方法は、時間間隔をあけて細胞を撮影して得られた画像を画像処理して細胞の輪郭を抽出し、取得時間が異なる画像間の細胞どうしをマッチングして移動量や回転角を求めることにより、各細胞を追跡することとしている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007−222073号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載の細胞の追跡処理方法においては、細胞の形状が変化しない場合や細胞どうしの輝度が均一の場合は各細胞を追跡することがでるが、細胞の形状が変化する場合は変化の前後で細胞の同一性を特定することができなかったり、細胞どうしの輝度が不均一の場合は細胞の輝度に応じて検出されるものと検出されないものがあったりし、細胞を精度よく追跡できないという不都合がある。
【0005】
本発明は上述した事情に鑑みてなされたものであって、簡易かつ高精度な細胞の追跡を実現することができる細胞の追跡処理方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、視野範囲に複数の細胞を含む観察画像を時間間隔をあけて複数枚取得する画像取得工程と、該画像取得工程により取得された前記観察画像における各細胞の所定の特徴量を解析する特徴量解析工程と、該特徴量解析工程により解析された特徴量と該特徴量を分類する所定の閾値とに基づいて、前記観察画像ごとに前記細胞をグループ分けするグルーピング工程と、該グルーピング工程により分けられたグループごとに、取得時間が前後する前記観察画像間の形態的特徴がほぼ一致する前記細胞どうしを対応づける対応づけ工程とを含む細胞の追跡処理方法を提供する。
【0007】
本発明によれば、グルーピング工程により、時間間隔をあけて取得した観察画像ごとに所定の特徴量と所定の閾値に基づいて細胞を複数のグループに分けることで、対応づけ工程において、各観察画像における形態的特徴が略一致する細胞どうしをグループ単位で対応づけることができる。これにより、観察画像内に特徴量が異なる複数の細胞が混在する場合であっても、追跡対象の細胞を絞り込み易くすることができる。したがって、所望の細胞の時系列変化を簡易かつ精度よく追跡することができる。形態的特徴としては、細胞の輝度、細胞の大きさ、細胞の形状または細胞の波長等が挙げられる。
【0008】
上記発明においては、前記特徴量が、前記細胞の輝度、前記細胞の大きさ、前記細胞の形状および前記細胞の波長の少なくとも1つを含むこととしてもよい。
このように構成することで、細胞の特性に応じて効率的に細胞をグループ分けし、対応づける細胞を絞り込み易くすることができる。例えば、時間が経過しても変化し難い特徴量に基づいて細胞をグループ分けすることで、所定時間経過後の同一の細胞どうしの対応づけを容易にすることができる。
【0009】
また、上記発明においては、前記グルーピング工程が、前記細胞の部分的な領域内における特徴量に着目して前記細胞をグループ分けすることとしてもよい。
このように構成することで、細胞が特徴量の異なる複数の領域を有する場合であっても、所定の領域の特徴量に限定して各観察画像間の細胞どうしを対応づけることができる。例えば、細胞が形状や輝度等の変化が少ない本体部分と変化が多い突起部分とを有する場合に、本体部分に限定した特徴量に基づいて細胞どうしを精度よく対応づけることができる。また、例えば、神経細胞のように、細胞どうしが部分的に複雑に絡まり合う領域を有する場合に、絡まり合っていない領域に限定した特徴量に基づいて各細胞どうしを個々に対応づけることができる。
【0010】
また、上記発明においては、追跡対象の前記細胞を含む関心領域を前記観察画像上に定義する領域定義工程と、前記対応づけ工程により対応づけられた前記細胞の移動量を算出する移動量算出工程と、該移動量算出工程により算出された前記細胞の移動量に基づいて、前記領域定義工程により定義された前記関心領域を前記観察画像ごとに前記細胞と共に移動させる移動工程とを含むこととしてもよい。
このように構成することで、関心領域により、追跡対象の細胞と他の細胞との区別を容易にすることができる。この場合において、観察画像ごとに細胞と共に関心領域を移動させることで、視野範囲や細胞を載置するステージを移動させなくても、各観察画像における追跡対象の細胞を容易に把握して追跡することができる。
【0011】
また、上記発明においては、前記対応づけ工程により対応づけられた前記細胞の移動量を算出する移動量算出工程と、移動量算出工程により算出された前記細胞の移動量に基づいて、前記視野範囲または前記細胞が載置されるステージを前記観察画像ごとに前記細胞の移動方向とは逆方向に移動させる移動工程とを含むこととしてもよい。
このように構成することで、各観察画像において、追跡対象の細胞を視野範囲の所望の位置に配置したまま追跡することができる。
【発明の効果】
【0012】
本発明によれば、簡易かつ高精度な細胞の追跡を実現することができるという効果を奏する。
【図面の簡単な説明】
【0013】
【図1】本発明の一実施形態に係る細胞の追跡処理方法のフローチャートである。
【図2】観察画像上の細胞を示す図である。
【図3】明のグループの細胞と暗のグループの細胞とを示す図である。
【図4】時刻Tの観察画像上に明のグループの細胞のみを抽出した様子を示す図である。
【図5】時刻T+1の観察画像上に明のグループの細胞のみを抽出した様子を示す図である。
【図6】明のグループについて、観察画像間で同1つの細胞どうしを対応づけた様子を示す図である。
【図7】本発明の一実施形態に係る細胞の追跡処理方法の別のフローチャートである。
【図8】別の観察画像上の細胞を示す図である。
【図9】図8の細胞抽出後の観察画像を示す図である。
【図10】図9の観察画像上の細胞について輪郭抽出を行った状態を示す図である。
【図11】(a)は観察画像上の細胞を示し、(b)は(a)の細胞を点線の枠で囲った様子を示し、(c)は点線の枠の形状の候補の1つを示し、(d)は点線の枠の形状の候補の他の1つを示し、(e)は点線の枠の形状の候補の他の1つを示し、(f)は点線の枠の形状の候補の他の1つを示し、(g)は点線の枠の形状の候補の他の1つを示す図である。
【図12】本発明の一実施形態の変形例に係る細胞の追跡処理方法のフローチャートである。
【図13】(a)は観察画像上の細胞を示し、(b)は二値化処理して表示した細胞を示し、(c)は(b)の細胞の本体部分のみを抽出した様子を示し、(d)は(b)の細胞の突起部分のみを抽出した様子を示す図である。
【発明を実施するための形態】
【0014】
以下、本発明の一実施形態に係る細胞の追跡処理方法について、図面を参照して説明する。
本実施形態に係る細胞の追跡処理方法は、図1のフローチャートに示されるように、複数の細胞の観察画像を時間間隔をあけて複数枚取得する画像取得工程S1と、画像取得工程S1により取得された観察画像における各細胞の所定の特徴量を解析する特徴量解析工程S2と、特徴量解析工程S2により解析された特徴量に基づいて、観察画像ごとに細胞をグループ分けするグルーピング工程S3と、グルーピング工程S3により分けられたグループごとに各観察画像における同一の細胞を対応づける対応づけ工程S4と、対応づけ工程S4により対応づけられた細胞の移動量を算出する移動量算出工程S5と、移動量算出工程S5により算出された細胞の移動量に基づいて、細胞が載置されているステージを移動させる移動工程S6とを含んでいる。
【0015】
画像取得工程S1においては、同一の複数の細胞が視野範囲に含まれるように観察画像を取得するようになっている。画像取得工程S1により取得された観察画像では、輝度解析により細胞検出用の所定の閾値以上の輝度を有する領域を細胞とみなすようになっている。細胞抽出用の閾値は、例えば、観察画像上のすべての細胞の輝度値よりも低い値に設定する。
【0016】
特徴量解析工程S2においては、観察画像ごとに各細胞の輝度、大きさ、形状または細胞の波長等の特徴量をそれぞれ解析し、解析した特徴量を各細胞に関連づけて記憶しておくようになっている。特徴量としては、細胞ごとにその特性が異なり、かつ、時間が経過しても変化し難いものが好ましい。特徴量として、例えば、細胞の輝度を用いる場合は、観察画像上の細胞を検出する際に得られた値を利用することができる。
【0017】
グルーピング工程S3においては、各細胞に関連づけた輝度(特徴量)と、輝度の予め設定されているグループ分け用の輝度の所定の閾値とに基づいて、観察画像上の各細胞を複数のグループに分けるようになっている。細胞のグループ分けは、全ての観察画像において同一の閾値を用いて同一のグループ数に分けるようになっている。観察画像上の細胞の数に応じて、例えば、1つの閾値により2つのグループに分けることとしてもよいし、複数の閾値により3つ以上のグループに分けることとしてもよい。
【0018】
対応づけ工程S4においては、観察画像上のいずれか1つのグループ内の細胞のみを抽出するようになっている。また、抽出したグループ内において、取得時間が異なる観察画像間で形態的特徴がほぼ一致する細胞どうしを対応づけるようになっている。形態的特徴としては、例えば、細胞の輝度、細胞の大きさ、細胞の形状または細胞の波長等が挙げられ、特徴量解析工程S2において解析して細胞に関連づけた特徴量を用いることができる。同一グループ内の細胞どうしの形態的特徴が異なる場合は、グループ分け用の特徴量と同じものを対応づけの形態的特徴として用いることとしてもよい。
【0019】
移動量算出工程S5においては、例えば、対応づけた細胞の観察画像ごとの重心の座標を検出し、検出した座標の差分により細胞の移動量を算出するようになっている。
移動工程S6においては、観察画像ごとに細胞の移動方向とは逆方向に、細胞の移動量と同じ量だけステージを移動させるようになっている。ステージは、例えば、視野範囲のほぼ中央に追跡対象の細胞が配置されるように設定されている。
【0020】
以下、このように構成された細胞の追跡処理方法の作用について説明する。
本実施形態に係る細胞の追跡処理方法により細胞を追跡処理するには、まず、視野範囲に複数の細胞を含む時刻Tにおける観察画像を取得する(ステップS1)。
【0021】
時刻Tの観察画像を取得したら、輝度解析により、細胞抽出用の輝度の閾値を用いて観察画像上の細胞を検出する。時刻Tの観察画像上においては、例えば、図2に示すように、互いに輝度が異なる4つの細胞C(以下、それぞれの細胞を符合C1,C2,C3,C4で示す。)が検出されたものとする。続いて、観察画像上の各細胞Cの大きさ、形状、波長等の特徴量を解析し、細胞C1,C2,C3,C4ごとに輝度を含むこれらの特徴量を関連づけて記憶する(ステップS2)。
【0022】
次に、各細胞Cに関連づけた輝度(特徴量)とグループ分け用の輝度の閾値とに基づいて、図3に示すように、4つの細胞C1,C2,C3,C4を閾値以上の輝度を有する明のグループ(例えば、細胞C1,C3)と、その閾値よりも小さい輝度を有する暗のグループ(例えば、細胞C2,C4)とに分類する(ステップS3)。
同様にして、時刻T+1についてもステップS1〜S3を繰り返す。
【0023】
続いて、二値化処理により、図4に示すように、時刻Tの観察画像において明グループの細胞C1,C3のみを抽出するとともに、図5に示すように、時刻T+1の観察画像においても明グループの細胞C1,C3のみを抽出する。そして、時刻Tの観察画像と時刻T+1の観察画像とを対比させ、図6に示すように、これらの観察画像間で、予め関連づけておいた輝度(形態的特徴)がほぼ一致する細胞C1どうしおよび細胞C3どうしをそれぞれ対応づける(ステップS4)。これにより、時刻Tの観察画像上の細胞C1、C3が時刻T+1の観察画像上で何処に移動したかを容易に把握することができる。
【0024】
次に、追跡対象の細胞C1の重心の観察画像ごとの座標を検出し、細胞C1の移動量を算出する(ステップS5)。細胞C1の移動量を算出したら、時刻T+1の観察画像において、時刻Tの観察画像からの細胞C1の移動方向とは逆方向に細胞C1の移動量と同じ量だけステージを移動させる(ステップS6)。これにより、時刻T+1の観察画像においても、視野範囲のほぼ中央に細胞C1を配置したまま、細胞C1の動きを追跡することができる。
【0025】
以上、本実施形態に係る細胞の追跡処理方法によれば、グルーピング工程S3により、時間間隔をあけて取得した観察画像ごとに、細胞Cの輝度(特徴量)とグループ分け用の閾値とに基づいて4つの細胞C1,C2,C3,C4を2つのグループに分けることで、対応づけ工程S4において、各観察画像における輝度(形態的特徴)が略一致する細胞C1をグループ単位で対応づけることができる。これにより、観察画像内に輝度(特徴量)が異なる複数の細胞C1,C2,C3,C4が混在する場合であっても、追跡対象の細胞C1を絞り込み易くすることができる。したがって、細胞C1の時系列変化を簡易かつ精度よく追跡することができる。
【0026】
本実施形態においては、対応づけ工程S4において、明のグループの細胞C1どうしおよび細胞C3どうしをそれぞれ対応づけることとしたが、同様な方法で、暗のグループの細胞C2どうしおよび細胞C4どうしをそれぞれ対応づけることとしてもよい。また、本実施形態においては、細胞Cの特徴量として、細胞Cの輝度、大きさ、形状、および、波長を例示して説明したが、追跡対象の細胞C1を他の細胞C3,C4と対比して特徴づけられるものであればよい。また、グループ分け用の特徴量として、細胞Cの輝度を用いることとしたが、輝度、大きさ、形状、および、波長の少なくとも1つを含むこととすればよい。
【0027】
また、本実施形態においては、同一のグループに分類された細胞C1,C3が互いに異なる輝度(形態的特徴)を有することを前提として、グループ分け用の特徴量および対応づけの形態的特徴のどちらも細胞Cの輝度を用いることとしたが、例えば、同一グループ内で細胞C1,C3どうしの輝度(形態的特徴)がほぼ同じ場合は、対応づけの形態的特徴として、細胞Cの大きさ、形状または波長等を用いることとすればよい。
【0028】
また、本実施形態においては、観察画像を二値化処理することとしたが、いずれか1つのグループの細胞C1,C3を他のグループの細胞C2,C4と識別することができればよく、例えば、画像上の細胞C1、C3と細胞C2、C4とを異なる色で表示したり、画像上の細胞C1、C4あるいは細胞C2、C4にマークを付したりすることとしてもよい。
【0029】
また、本実施形態においては、ステージを移動させて細胞C1を追跡することとしたが、これに代えて、例えば、細胞C1を含む観察画像の視野範囲を移動させることとしてもよい。また、ステージや視野範囲を移動させるのではなく、例えば、図7のフローチャートに示されるように、追跡対象の細胞C1を含む領域(以下、「関心領域」という。図示略。)を観察画像上に定義する領域定義工程S4−2を含むこととし、移動工程S6´が、移動量算出工程S5により算出された細胞C1の移動量に基づいて、観察画像上に定義した関心領域を観察画像ごとに細胞C1と共に移動させることとしてもよい。関心領域は、例えば、観察画像上で他の領域と区別できるように色分けしたり境界線を用いたりして表示することとすればよい。
【0030】
このようにすることで、観察画像上の関心領域により、追跡対象の細胞C1を他の細胞C2、C3,C4と区別することができる。また、観察画像ごとに細胞C1の移動に合わせて関心領域を移動させることで、視野範囲や細胞Cを載置するステージを移動させなくても、各観察画像上における追跡対象の細胞C1を容易に把握して追跡することができる。
【0031】
また、本実施形態においては、図8に示すような細胞Cの抽出前の観察画像と比較して、図9に示すように、対応づけ工程S4において抽出した観察画像上の細胞Cの詳細な形状が損なわれる場合は、図10に示すように、移動量算出工程S5後に細胞Cの輪郭抽出を行うこととしてもよい。輪郭抽出方法としては、例えば、Snake法を用いることができる。
【0032】
この場合、例えば、対応づけ工程S4により観察画像上で抽出された図11(a)に示すような形状の細胞Cに対して、図11(b)に示すようにその周囲を点線の枠fで囲い、点線の枠fを拡大したり縮小したりしながら図11(c)〜図11(g)に示すような候補を探し、点線の枠fにより定義される値を計算することとすればよい。そして、例えば図11(f)に示す候補の点線の枠fに決定し、点線の枠f内で閉曲線となるもの、すなわち、細胞Cの輪郭線となるものを見つけることとすればよい。本実施形態においては、細胞Cの外観がある程度分かっているので、Snake法を用いても複雑な計算を要することなく細胞Cの輪郭を検出することができる。このようにすることで、追跡対象の細胞Cの形態(例えば、面積、周辺長、体積等。)を解析したり、細胞Cの大きさや輝度の変化等を解析したりすることができる。
【0033】
本実施形態は、以下のように変形することができる。
本実施形態においては、細胞C全体の特徴量に着目して細胞Cをグループ分けすることとしたが、例えば、細胞の部分的な領域内における特徴量に着目して細胞をグループ分けすることとしてもよい。この場合、図12のフローチャートに示されるように、画像取得工程S1により取得された観察画像において、画像上の細胞のいずれかの部分的な領域を特定し(ステップS1−2)、特定した領域に限定して特徴量を解析し(ステップS2)、特定した領域どうしをグループ分け(ステップS3)および対応づけ(ステップS4)することとすればよい。
【0034】
具体的には、本変形例に係る細胞の追跡処理方法により細胞を追跡処理するには、細胞の時刻Tにおける観察画像を取得した後(ステップS1)、輝度解析により、図13(a)に示すような形状や輝度等の変化が少ない本体部分P1と変化が多い突起部分P2とを有する細胞Cを検出する。そして、細胞検出用の閾値により、図13(b)に示すように、観察画像を二値化処理して細胞Cの本体部分P1と突起部分P2とを表示する。
【0035】
続いて、細胞Cの抽出する領域を本体部分P1に特定する(ステップS1−2)。そして、本体部分P1の特徴量を解析し(ステップS2)、図13(c)に示す本体部分P1の輝度、大きさ、形状等(特徴量)を細胞Cに関連づけて記憶しておく。抽出しなかった図13(d)に示す突起部分P2についても、その形状等(特徴量)を細胞Cに関連づけて記憶しておくこととしてもよい。
【0036】
次に、それぞれの観察画像上の複数の細胞Cについて、本体部分P1の形状(特徴量)とグループ分け用の形状の閾値とに基づいてグループ分けする(ステップS3)。時刻T+1についてもステップS1〜S3を繰り返す。そして、時刻Tと時刻T+1の観察画像において1つのグループの細胞Cの本体部分P1のみを抽出し、これらの観察画像間で、予め関連づけておいた輝度、大きさ、および、形状(形態的特徴)がほぼ一致する本体部分P1どうしを対応づける(ステップS4)。これにより、時刻Tの観察画像上における細胞Cが時刻T+1の観察画像上で何処に移動したかを容易に把握することができる。以下、ステップS5により細胞Cの本体部分P1の移動量を算出し、ステップS6によりステージを移動させることとすればよい。
【0037】
本変形例によれば、細胞Cが特徴量の異なる本体部分P1と突起部分P2を有しても、本体部分P1の特徴量に限定して各観察画像間の細胞Cどうしを精度よく対応づけることができる。また、細胞Cの突起部分P2が他の細胞Cの突起部分P2に複雑に絡まり合っていても、本体部分P1の特徴量に基づいて細胞Cだけを個々に対応づけて追跡することができる。本変形例は、神経細胞のような複雑な形状を有する細胞の追跡に有効である。
【0038】
本変形例においては、対応づけた本体部分P1について輪郭抽出するとともに、突起部分P2についても輪郭抽出し、追跡後の観察画像上で本体部分P1と突起部分P2とを合成し、本体部分P1に突起部分P2を戻すこととしてもよい。このようにすることで、所定時間経過後の観察画像上でも、追跡した細胞Cについて本体部分P1に突起部分P2を含めた形状で詳細に解析等することができる。
【符号の説明】
【0039】
S1 画像取得工程
S2 特徴量解析工程
S3 グルーピング工程
S4 対応づけ工程
S4−2 領域定義工程
S5 移動量算出工程
S6,S6´ 移動工程
【技術分野】
【0001】
本発明は、細胞の追跡処理方法に関するものである。
【背景技術】
【0002】
従来、生体組織に含まれる細胞の形態(形状や輝度等)の時系列変化や細胞の運動特性等を観察するために、特定の細胞を追跡処理する方法が知られている(例えば、特許文献1参照。)。特許文献1に記載の細胞の追跡処理方法は、時間間隔をあけて細胞を撮影して得られた画像を画像処理して細胞の輪郭を抽出し、取得時間が異なる画像間の細胞どうしをマッチングして移動量や回転角を求めることにより、各細胞を追跡することとしている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007−222073号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載の細胞の追跡処理方法においては、細胞の形状が変化しない場合や細胞どうしの輝度が均一の場合は各細胞を追跡することがでるが、細胞の形状が変化する場合は変化の前後で細胞の同一性を特定することができなかったり、細胞どうしの輝度が不均一の場合は細胞の輝度に応じて検出されるものと検出されないものがあったりし、細胞を精度よく追跡できないという不都合がある。
【0005】
本発明は上述した事情に鑑みてなされたものであって、簡易かつ高精度な細胞の追跡を実現することができる細胞の追跡処理方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、視野範囲に複数の細胞を含む観察画像を時間間隔をあけて複数枚取得する画像取得工程と、該画像取得工程により取得された前記観察画像における各細胞の所定の特徴量を解析する特徴量解析工程と、該特徴量解析工程により解析された特徴量と該特徴量を分類する所定の閾値とに基づいて、前記観察画像ごとに前記細胞をグループ分けするグルーピング工程と、該グルーピング工程により分けられたグループごとに、取得時間が前後する前記観察画像間の形態的特徴がほぼ一致する前記細胞どうしを対応づける対応づけ工程とを含む細胞の追跡処理方法を提供する。
【0007】
本発明によれば、グルーピング工程により、時間間隔をあけて取得した観察画像ごとに所定の特徴量と所定の閾値に基づいて細胞を複数のグループに分けることで、対応づけ工程において、各観察画像における形態的特徴が略一致する細胞どうしをグループ単位で対応づけることができる。これにより、観察画像内に特徴量が異なる複数の細胞が混在する場合であっても、追跡対象の細胞を絞り込み易くすることができる。したがって、所望の細胞の時系列変化を簡易かつ精度よく追跡することができる。形態的特徴としては、細胞の輝度、細胞の大きさ、細胞の形状または細胞の波長等が挙げられる。
【0008】
上記発明においては、前記特徴量が、前記細胞の輝度、前記細胞の大きさ、前記細胞の形状および前記細胞の波長の少なくとも1つを含むこととしてもよい。
このように構成することで、細胞の特性に応じて効率的に細胞をグループ分けし、対応づける細胞を絞り込み易くすることができる。例えば、時間が経過しても変化し難い特徴量に基づいて細胞をグループ分けすることで、所定時間経過後の同一の細胞どうしの対応づけを容易にすることができる。
【0009】
また、上記発明においては、前記グルーピング工程が、前記細胞の部分的な領域内における特徴量に着目して前記細胞をグループ分けすることとしてもよい。
このように構成することで、細胞が特徴量の異なる複数の領域を有する場合であっても、所定の領域の特徴量に限定して各観察画像間の細胞どうしを対応づけることができる。例えば、細胞が形状や輝度等の変化が少ない本体部分と変化が多い突起部分とを有する場合に、本体部分に限定した特徴量に基づいて細胞どうしを精度よく対応づけることができる。また、例えば、神経細胞のように、細胞どうしが部分的に複雑に絡まり合う領域を有する場合に、絡まり合っていない領域に限定した特徴量に基づいて各細胞どうしを個々に対応づけることができる。
【0010】
また、上記発明においては、追跡対象の前記細胞を含む関心領域を前記観察画像上に定義する領域定義工程と、前記対応づけ工程により対応づけられた前記細胞の移動量を算出する移動量算出工程と、該移動量算出工程により算出された前記細胞の移動量に基づいて、前記領域定義工程により定義された前記関心領域を前記観察画像ごとに前記細胞と共に移動させる移動工程とを含むこととしてもよい。
このように構成することで、関心領域により、追跡対象の細胞と他の細胞との区別を容易にすることができる。この場合において、観察画像ごとに細胞と共に関心領域を移動させることで、視野範囲や細胞を載置するステージを移動させなくても、各観察画像における追跡対象の細胞を容易に把握して追跡することができる。
【0011】
また、上記発明においては、前記対応づけ工程により対応づけられた前記細胞の移動量を算出する移動量算出工程と、移動量算出工程により算出された前記細胞の移動量に基づいて、前記視野範囲または前記細胞が載置されるステージを前記観察画像ごとに前記細胞の移動方向とは逆方向に移動させる移動工程とを含むこととしてもよい。
このように構成することで、各観察画像において、追跡対象の細胞を視野範囲の所望の位置に配置したまま追跡することができる。
【発明の効果】
【0012】
本発明によれば、簡易かつ高精度な細胞の追跡を実現することができるという効果を奏する。
【図面の簡単な説明】
【0013】
【図1】本発明の一実施形態に係る細胞の追跡処理方法のフローチャートである。
【図2】観察画像上の細胞を示す図である。
【図3】明のグループの細胞と暗のグループの細胞とを示す図である。
【図4】時刻Tの観察画像上に明のグループの細胞のみを抽出した様子を示す図である。
【図5】時刻T+1の観察画像上に明のグループの細胞のみを抽出した様子を示す図である。
【図6】明のグループについて、観察画像間で同1つの細胞どうしを対応づけた様子を示す図である。
【図7】本発明の一実施形態に係る細胞の追跡処理方法の別のフローチャートである。
【図8】別の観察画像上の細胞を示す図である。
【図9】図8の細胞抽出後の観察画像を示す図である。
【図10】図9の観察画像上の細胞について輪郭抽出を行った状態を示す図である。
【図11】(a)は観察画像上の細胞を示し、(b)は(a)の細胞を点線の枠で囲った様子を示し、(c)は点線の枠の形状の候補の1つを示し、(d)は点線の枠の形状の候補の他の1つを示し、(e)は点線の枠の形状の候補の他の1つを示し、(f)は点線の枠の形状の候補の他の1つを示し、(g)は点線の枠の形状の候補の他の1つを示す図である。
【図12】本発明の一実施形態の変形例に係る細胞の追跡処理方法のフローチャートである。
【図13】(a)は観察画像上の細胞を示し、(b)は二値化処理して表示した細胞を示し、(c)は(b)の細胞の本体部分のみを抽出した様子を示し、(d)は(b)の細胞の突起部分のみを抽出した様子を示す図である。
【発明を実施するための形態】
【0014】
以下、本発明の一実施形態に係る細胞の追跡処理方法について、図面を参照して説明する。
本実施形態に係る細胞の追跡処理方法は、図1のフローチャートに示されるように、複数の細胞の観察画像を時間間隔をあけて複数枚取得する画像取得工程S1と、画像取得工程S1により取得された観察画像における各細胞の所定の特徴量を解析する特徴量解析工程S2と、特徴量解析工程S2により解析された特徴量に基づいて、観察画像ごとに細胞をグループ分けするグルーピング工程S3と、グルーピング工程S3により分けられたグループごとに各観察画像における同一の細胞を対応づける対応づけ工程S4と、対応づけ工程S4により対応づけられた細胞の移動量を算出する移動量算出工程S5と、移動量算出工程S5により算出された細胞の移動量に基づいて、細胞が載置されているステージを移動させる移動工程S6とを含んでいる。
【0015】
画像取得工程S1においては、同一の複数の細胞が視野範囲に含まれるように観察画像を取得するようになっている。画像取得工程S1により取得された観察画像では、輝度解析により細胞検出用の所定の閾値以上の輝度を有する領域を細胞とみなすようになっている。細胞抽出用の閾値は、例えば、観察画像上のすべての細胞の輝度値よりも低い値に設定する。
【0016】
特徴量解析工程S2においては、観察画像ごとに各細胞の輝度、大きさ、形状または細胞の波長等の特徴量をそれぞれ解析し、解析した特徴量を各細胞に関連づけて記憶しておくようになっている。特徴量としては、細胞ごとにその特性が異なり、かつ、時間が経過しても変化し難いものが好ましい。特徴量として、例えば、細胞の輝度を用いる場合は、観察画像上の細胞を検出する際に得られた値を利用することができる。
【0017】
グルーピング工程S3においては、各細胞に関連づけた輝度(特徴量)と、輝度の予め設定されているグループ分け用の輝度の所定の閾値とに基づいて、観察画像上の各細胞を複数のグループに分けるようになっている。細胞のグループ分けは、全ての観察画像において同一の閾値を用いて同一のグループ数に分けるようになっている。観察画像上の細胞の数に応じて、例えば、1つの閾値により2つのグループに分けることとしてもよいし、複数の閾値により3つ以上のグループに分けることとしてもよい。
【0018】
対応づけ工程S4においては、観察画像上のいずれか1つのグループ内の細胞のみを抽出するようになっている。また、抽出したグループ内において、取得時間が異なる観察画像間で形態的特徴がほぼ一致する細胞どうしを対応づけるようになっている。形態的特徴としては、例えば、細胞の輝度、細胞の大きさ、細胞の形状または細胞の波長等が挙げられ、特徴量解析工程S2において解析して細胞に関連づけた特徴量を用いることができる。同一グループ内の細胞どうしの形態的特徴が異なる場合は、グループ分け用の特徴量と同じものを対応づけの形態的特徴として用いることとしてもよい。
【0019】
移動量算出工程S5においては、例えば、対応づけた細胞の観察画像ごとの重心の座標を検出し、検出した座標の差分により細胞の移動量を算出するようになっている。
移動工程S6においては、観察画像ごとに細胞の移動方向とは逆方向に、細胞の移動量と同じ量だけステージを移動させるようになっている。ステージは、例えば、視野範囲のほぼ中央に追跡対象の細胞が配置されるように設定されている。
【0020】
以下、このように構成された細胞の追跡処理方法の作用について説明する。
本実施形態に係る細胞の追跡処理方法により細胞を追跡処理するには、まず、視野範囲に複数の細胞を含む時刻Tにおける観察画像を取得する(ステップS1)。
【0021】
時刻Tの観察画像を取得したら、輝度解析により、細胞抽出用の輝度の閾値を用いて観察画像上の細胞を検出する。時刻Tの観察画像上においては、例えば、図2に示すように、互いに輝度が異なる4つの細胞C(以下、それぞれの細胞を符合C1,C2,C3,C4で示す。)が検出されたものとする。続いて、観察画像上の各細胞Cの大きさ、形状、波長等の特徴量を解析し、細胞C1,C2,C3,C4ごとに輝度を含むこれらの特徴量を関連づけて記憶する(ステップS2)。
【0022】
次に、各細胞Cに関連づけた輝度(特徴量)とグループ分け用の輝度の閾値とに基づいて、図3に示すように、4つの細胞C1,C2,C3,C4を閾値以上の輝度を有する明のグループ(例えば、細胞C1,C3)と、その閾値よりも小さい輝度を有する暗のグループ(例えば、細胞C2,C4)とに分類する(ステップS3)。
同様にして、時刻T+1についてもステップS1〜S3を繰り返す。
【0023】
続いて、二値化処理により、図4に示すように、時刻Tの観察画像において明グループの細胞C1,C3のみを抽出するとともに、図5に示すように、時刻T+1の観察画像においても明グループの細胞C1,C3のみを抽出する。そして、時刻Tの観察画像と時刻T+1の観察画像とを対比させ、図6に示すように、これらの観察画像間で、予め関連づけておいた輝度(形態的特徴)がほぼ一致する細胞C1どうしおよび細胞C3どうしをそれぞれ対応づける(ステップS4)。これにより、時刻Tの観察画像上の細胞C1、C3が時刻T+1の観察画像上で何処に移動したかを容易に把握することができる。
【0024】
次に、追跡対象の細胞C1の重心の観察画像ごとの座標を検出し、細胞C1の移動量を算出する(ステップS5)。細胞C1の移動量を算出したら、時刻T+1の観察画像において、時刻Tの観察画像からの細胞C1の移動方向とは逆方向に細胞C1の移動量と同じ量だけステージを移動させる(ステップS6)。これにより、時刻T+1の観察画像においても、視野範囲のほぼ中央に細胞C1を配置したまま、細胞C1の動きを追跡することができる。
【0025】
以上、本実施形態に係る細胞の追跡処理方法によれば、グルーピング工程S3により、時間間隔をあけて取得した観察画像ごとに、細胞Cの輝度(特徴量)とグループ分け用の閾値とに基づいて4つの細胞C1,C2,C3,C4を2つのグループに分けることで、対応づけ工程S4において、各観察画像における輝度(形態的特徴)が略一致する細胞C1をグループ単位で対応づけることができる。これにより、観察画像内に輝度(特徴量)が異なる複数の細胞C1,C2,C3,C4が混在する場合であっても、追跡対象の細胞C1を絞り込み易くすることができる。したがって、細胞C1の時系列変化を簡易かつ精度よく追跡することができる。
【0026】
本実施形態においては、対応づけ工程S4において、明のグループの細胞C1どうしおよび細胞C3どうしをそれぞれ対応づけることとしたが、同様な方法で、暗のグループの細胞C2どうしおよび細胞C4どうしをそれぞれ対応づけることとしてもよい。また、本実施形態においては、細胞Cの特徴量として、細胞Cの輝度、大きさ、形状、および、波長を例示して説明したが、追跡対象の細胞C1を他の細胞C3,C4と対比して特徴づけられるものであればよい。また、グループ分け用の特徴量として、細胞Cの輝度を用いることとしたが、輝度、大きさ、形状、および、波長の少なくとも1つを含むこととすればよい。
【0027】
また、本実施形態においては、同一のグループに分類された細胞C1,C3が互いに異なる輝度(形態的特徴)を有することを前提として、グループ分け用の特徴量および対応づけの形態的特徴のどちらも細胞Cの輝度を用いることとしたが、例えば、同一グループ内で細胞C1,C3どうしの輝度(形態的特徴)がほぼ同じ場合は、対応づけの形態的特徴として、細胞Cの大きさ、形状または波長等を用いることとすればよい。
【0028】
また、本実施形態においては、観察画像を二値化処理することとしたが、いずれか1つのグループの細胞C1,C3を他のグループの細胞C2,C4と識別することができればよく、例えば、画像上の細胞C1、C3と細胞C2、C4とを異なる色で表示したり、画像上の細胞C1、C4あるいは細胞C2、C4にマークを付したりすることとしてもよい。
【0029】
また、本実施形態においては、ステージを移動させて細胞C1を追跡することとしたが、これに代えて、例えば、細胞C1を含む観察画像の視野範囲を移動させることとしてもよい。また、ステージや視野範囲を移動させるのではなく、例えば、図7のフローチャートに示されるように、追跡対象の細胞C1を含む領域(以下、「関心領域」という。図示略。)を観察画像上に定義する領域定義工程S4−2を含むこととし、移動工程S6´が、移動量算出工程S5により算出された細胞C1の移動量に基づいて、観察画像上に定義した関心領域を観察画像ごとに細胞C1と共に移動させることとしてもよい。関心領域は、例えば、観察画像上で他の領域と区別できるように色分けしたり境界線を用いたりして表示することとすればよい。
【0030】
このようにすることで、観察画像上の関心領域により、追跡対象の細胞C1を他の細胞C2、C3,C4と区別することができる。また、観察画像ごとに細胞C1の移動に合わせて関心領域を移動させることで、視野範囲や細胞Cを載置するステージを移動させなくても、各観察画像上における追跡対象の細胞C1を容易に把握して追跡することができる。
【0031】
また、本実施形態においては、図8に示すような細胞Cの抽出前の観察画像と比較して、図9に示すように、対応づけ工程S4において抽出した観察画像上の細胞Cの詳細な形状が損なわれる場合は、図10に示すように、移動量算出工程S5後に細胞Cの輪郭抽出を行うこととしてもよい。輪郭抽出方法としては、例えば、Snake法を用いることができる。
【0032】
この場合、例えば、対応づけ工程S4により観察画像上で抽出された図11(a)に示すような形状の細胞Cに対して、図11(b)に示すようにその周囲を点線の枠fで囲い、点線の枠fを拡大したり縮小したりしながら図11(c)〜図11(g)に示すような候補を探し、点線の枠fにより定義される値を計算することとすればよい。そして、例えば図11(f)に示す候補の点線の枠fに決定し、点線の枠f内で閉曲線となるもの、すなわち、細胞Cの輪郭線となるものを見つけることとすればよい。本実施形態においては、細胞Cの外観がある程度分かっているので、Snake法を用いても複雑な計算を要することなく細胞Cの輪郭を検出することができる。このようにすることで、追跡対象の細胞Cの形態(例えば、面積、周辺長、体積等。)を解析したり、細胞Cの大きさや輝度の変化等を解析したりすることができる。
【0033】
本実施形態は、以下のように変形することができる。
本実施形態においては、細胞C全体の特徴量に着目して細胞Cをグループ分けすることとしたが、例えば、細胞の部分的な領域内における特徴量に着目して細胞をグループ分けすることとしてもよい。この場合、図12のフローチャートに示されるように、画像取得工程S1により取得された観察画像において、画像上の細胞のいずれかの部分的な領域を特定し(ステップS1−2)、特定した領域に限定して特徴量を解析し(ステップS2)、特定した領域どうしをグループ分け(ステップS3)および対応づけ(ステップS4)することとすればよい。
【0034】
具体的には、本変形例に係る細胞の追跡処理方法により細胞を追跡処理するには、細胞の時刻Tにおける観察画像を取得した後(ステップS1)、輝度解析により、図13(a)に示すような形状や輝度等の変化が少ない本体部分P1と変化が多い突起部分P2とを有する細胞Cを検出する。そして、細胞検出用の閾値により、図13(b)に示すように、観察画像を二値化処理して細胞Cの本体部分P1と突起部分P2とを表示する。
【0035】
続いて、細胞Cの抽出する領域を本体部分P1に特定する(ステップS1−2)。そして、本体部分P1の特徴量を解析し(ステップS2)、図13(c)に示す本体部分P1の輝度、大きさ、形状等(特徴量)を細胞Cに関連づけて記憶しておく。抽出しなかった図13(d)に示す突起部分P2についても、その形状等(特徴量)を細胞Cに関連づけて記憶しておくこととしてもよい。
【0036】
次に、それぞれの観察画像上の複数の細胞Cについて、本体部分P1の形状(特徴量)とグループ分け用の形状の閾値とに基づいてグループ分けする(ステップS3)。時刻T+1についてもステップS1〜S3を繰り返す。そして、時刻Tと時刻T+1の観察画像において1つのグループの細胞Cの本体部分P1のみを抽出し、これらの観察画像間で、予め関連づけておいた輝度、大きさ、および、形状(形態的特徴)がほぼ一致する本体部分P1どうしを対応づける(ステップS4)。これにより、時刻Tの観察画像上における細胞Cが時刻T+1の観察画像上で何処に移動したかを容易に把握することができる。以下、ステップS5により細胞Cの本体部分P1の移動量を算出し、ステップS6によりステージを移動させることとすればよい。
【0037】
本変形例によれば、細胞Cが特徴量の異なる本体部分P1と突起部分P2を有しても、本体部分P1の特徴量に限定して各観察画像間の細胞Cどうしを精度よく対応づけることができる。また、細胞Cの突起部分P2が他の細胞Cの突起部分P2に複雑に絡まり合っていても、本体部分P1の特徴量に基づいて細胞Cだけを個々に対応づけて追跡することができる。本変形例は、神経細胞のような複雑な形状を有する細胞の追跡に有効である。
【0038】
本変形例においては、対応づけた本体部分P1について輪郭抽出するとともに、突起部分P2についても輪郭抽出し、追跡後の観察画像上で本体部分P1と突起部分P2とを合成し、本体部分P1に突起部分P2を戻すこととしてもよい。このようにすることで、所定時間経過後の観察画像上でも、追跡した細胞Cについて本体部分P1に突起部分P2を含めた形状で詳細に解析等することができる。
【符号の説明】
【0039】
S1 画像取得工程
S2 特徴量解析工程
S3 グルーピング工程
S4 対応づけ工程
S4−2 領域定義工程
S5 移動量算出工程
S6,S6´ 移動工程
【特許請求の範囲】
【請求項1】
視野範囲に複数の細胞を含む観察画像を時間間隔をあけて複数枚取得する画像取得工程と、
該画像取得工程により取得された前記観察画像における各細胞の所定の特徴量を解析する特徴量解析工程と、
該特徴量解析工程により解析された特徴量と該特徴量を分類する所定の閾値とに基づいて、前記観察画像ごとに前記細胞をグループ分けするグルーピング工程と、
該グルーピング工程により分けられたグループごとに、取得時間が前後する前記観察画像間の形態的特徴がほぼ一致する前記細胞どうしを対応づける対応づけ工程とを含む細胞の追跡処理方法。
【請求項2】
前記特徴量が、前記細胞の輝度、前記細胞の大きさ、前記細胞の形状および前記細胞の波長の少なくとも1つを含む請求項1に記載の細胞の追跡処理方法。
【請求項3】
前記グルーピング工程が、前記細胞の部分的な領域内における特徴量に着目して前記細胞をグループ分けする請求項1または請求項2に記載の細胞の追跡処理方法。
【請求項4】
追跡対象の前記細胞を含む関心領域を前記観察画像上に定義する領域定義工程と、
前記対応づけ工程により対応づけられた前記細胞の移動量を算出する移動量算出工程と、
該移動量算出工程により算出された前記細胞の移動量に基づいて、前記領域定義工程により定義された前記関心領域を前記観察画像ごとに前記細胞と共に移動させる移動工程とを含む請求項1から請求項3のいずれかに記載の細胞の追跡処理方法。
【請求項5】
前記対応づけ工程により対応づけられた前記細胞の移動量を算出する移動量算出工程と、
移動量算出工程により算出された前記細胞の移動量に基づいて、前記視野範囲または前記細胞が載置されるステージを前記観察画像ごとに前記細胞の移動方向とは逆方向に移動させる移動工程とを含む請求項1から請求項3のいずれかに記載の細胞の追跡処理方法。
【請求項1】
視野範囲に複数の細胞を含む観察画像を時間間隔をあけて複数枚取得する画像取得工程と、
該画像取得工程により取得された前記観察画像における各細胞の所定の特徴量を解析する特徴量解析工程と、
該特徴量解析工程により解析された特徴量と該特徴量を分類する所定の閾値とに基づいて、前記観察画像ごとに前記細胞をグループ分けするグルーピング工程と、
該グルーピング工程により分けられたグループごとに、取得時間が前後する前記観察画像間の形態的特徴がほぼ一致する前記細胞どうしを対応づける対応づけ工程とを含む細胞の追跡処理方法。
【請求項2】
前記特徴量が、前記細胞の輝度、前記細胞の大きさ、前記細胞の形状および前記細胞の波長の少なくとも1つを含む請求項1に記載の細胞の追跡処理方法。
【請求項3】
前記グルーピング工程が、前記細胞の部分的な領域内における特徴量に着目して前記細胞をグループ分けする請求項1または請求項2に記載の細胞の追跡処理方法。
【請求項4】
追跡対象の前記細胞を含む関心領域を前記観察画像上に定義する領域定義工程と、
前記対応づけ工程により対応づけられた前記細胞の移動量を算出する移動量算出工程と、
該移動量算出工程により算出された前記細胞の移動量に基づいて、前記領域定義工程により定義された前記関心領域を前記観察画像ごとに前記細胞と共に移動させる移動工程とを含む請求項1から請求項3のいずれかに記載の細胞の追跡処理方法。
【請求項5】
前記対応づけ工程により対応づけられた前記細胞の移動量を算出する移動量算出工程と、
移動量算出工程により算出された前記細胞の移動量に基づいて、前記視野範囲または前記細胞が載置されるステージを前記観察画像ごとに前記細胞の移動方向とは逆方向に移動させる移動工程とを含む請求項1から請求項3のいずれかに記載の細胞の追跡処理方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2012−200156(P2012−200156A)
【公開日】平成24年10月22日(2012.10.22)
【国際特許分類】
【出願番号】特願2011−64989(P2011−64989)
【出願日】平成23年3月23日(2011.3.23)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
【公開日】平成24年10月22日(2012.10.22)
【国際特許分類】
【出願日】平成23年3月23日(2011.3.23)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
[ Back to top ]