細胞の状態判別手法及び細胞観察の画像処理装置
【課題】細胞観察における細胞の活性度を判断可能な手段を提供する。
【解決手段】撮像装置により所定時間ごとに観察細胞が撮影された第１，第２画像を順次取得し、これらの画像に含まれる観察細胞の画像平面上の回転角度姿勢を揃えたうえで、第１画像と第２画像の細胞内部のテクスチャ特徴量の相関値または差分を順次算出する。そして、算出された相関値または差分の時系列変化を導出し、その変化状態に基づいて観察細胞の活性度を判別する。
【解決手段】撮像装置により所定時間ごとに観察細胞が撮影された第１，第２画像を順次取得し、これらの画像に含まれる観察細胞の画像平面上の回転角度姿勢を揃えたうえで、第１画像と第２画像の細胞内部のテクスチャ特徴量の相関値または差分を順次算出する。そして、算出された相関値または差分の時系列変化を導出し、その変化状態に基づいて観察細胞の活性度を判別する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、細胞観察において取得された画像から細胞の活性度を判別する細胞状態判別手法に関するものである。
【背景技術】
【０００２】
細胞を観察する装置の一例として培養顕微鏡があげられる。培養顕微鏡は、細胞の培養に好適な環境を形成する培養装置と、培養容器内の細胞を顕微観察する顕微観察系とを備え、生きた細胞を培養しながら、その細胞の変化や分裂などを観察できるように構成される（例えば特許文献１を参照）。このような培養顕微鏡を用いた従来の細胞観察手法では、観察対象である細胞の生死判別や活性度などの判断は、試薬による判定や、テンプレート・マッチング、あるいは目視観察によって行われていた。
【特許文献１】特開２００４−２２９６１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記のような従来の手法では、培養容器に試薬を投与することによって細胞の培養状態に影響を及ぼすという問題や、細胞の変形・変化に対してテンプレートを用いる判定では膨大なテンプレートを要して処理負担が過大になるという問題、目視観察による判断では的確な判断が困難であるという問題があった。
【０００４】
本発明は、このような課題に鑑みてなされたものであり、撮像装置により撮影された観察画像から細胞の活性を的確に判断可能な手段を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明を例示する第１の態様に従えば、撮像装置により所定時間を隔てて観察細胞が撮影された第１画像及び第２画像を順次取得し、第１画像における観察細胞と第２画像における観察細胞との画像平面上の回転角度姿勢を揃え、回転角度姿勢が揃えられた第１画像における観察細胞内部のテクスチャ特徴量と第２画像における観察細胞内部のテクスチャ特徴量との相関値または差分を順次算出して、算出された相関値または差分の時系列変化に基づいて観察細胞の活性度を判別することを特徴とする細胞の状態判別手法が提供される。
【０００６】
本発明を例示する第２の態様に従えば、細胞を撮影する撮像装置と、撮像装置により撮影された画像を取得して画像を解析する画像解析部と、画像解析部による解析結果を出力する出力部とを備え、画像解析部は、撮像装置により所定時間を隔てて観察細胞が撮影された第１画像及び第２画像を順次取得し、第１画像における観察細胞と第２画像における観察細胞との画像平面上の回転角度姿勢を揃え、回転角度姿勢が揃えられた第１画像における観察細胞内部のテクスチャ特徴量と第２画像における観察細胞内部のテクスチャ特徴量との相関値または差分を順次算出して、算出された相関値または差分の時系列の変化状態を導出し、出力部が、画像解析部により導出された相関値または差分の時系列の変化状態を出力するように構成したことを特徴とする細胞観察の画像処理装置が提供される。
【０００７】
なお、上記細胞観察の画像処理装置において、画像解析部は、相関値または差分の時系列の変化状態に基づいて観察細胞の活性度を判別し、出力部が、画像解析部により判別された観察細胞の活性度を出力するように構成することが好ましい。
【発明の効果】
【０００８】
上記のような細胞の状態判別手法、及び細胞観察の画像処理装置によれば、所定時間を隔てた観察細胞同士のテクスチャ特徴の相関または差分の時系列変化により観察細胞の活性度が判別される。従って、撮像装置により撮影され取得された観察画像から細胞の活性を的確に判断可能な手段を提供することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明を実施するための形態について、図面を参照しながら説明する。本発明の細胞観察の画像処理装置を適用したシステムの一例として、培養観察システムの概要構成図及びブロック図を、それぞれ図２及び図３に示す。
【００１０】
この培養観察システムＢＳは、大別的には、筐体１の上部に設けられた培養室２と、複数の培養容器１０を収容保持する棚状のストッカー３と、培養容器１０内の試料を観察する観察ユニット５と、培養容器１０をストッカー３と観察ユニット５との間で搬送する搬送ユニット４と、システムの作動を制御する制御ユニット６と、画像表示装置を備えた操作盤７などから構成される。
【００１１】
培養室２は、培養環境を形成する部屋でありサンプル投入後は密閉状態に保持される。培養室２に付随して、温度調整装置２１、加湿器２２、ＣＯ2ガスやＮ2ガス等のガスを供給するガス供給装置２３、循環ファン２４、培養室２の温度や湿度等を検出する環境センサ２５などが設けられている。ストッカー３は、前後及び上下方向にそれぞれ複数に仕切られた棚状に形成され各棚に固有の番地が設定されている。培養容器１０は、培養する細胞の種別や目的に応じて適宜選択され、例えばディッシュタイプの培養容器に細胞試料が液体培地とともに注入保持される。各培養容器１０にはコード番号が付与され、ストッカー３の指定番地に対応づけて収容される。搬送ユニット４は、培養室２の内部に上下に移動可能に設けられたＺステージ４１、前後に移動可能に取り付けられたＹステージ４２、左右に移動可能に取り付けられたＸステージ４３などからなり、Ｘステージ４３の先端側に培養容器１０を持ちあげ支持する支持アーム４５が設けられている。
【００１２】
観察ユニット５は、試料台１５の下側から培養容器１０全体をバックライト照明する第１照明部５１、試料台１５の上方から顕微観察系５の光軸に沿って培養容器中の試料を照明する第２照明部５２、及び試料台１５の下方から顕微観察系５の光軸に沿って培養容器中の試料を照明する第３照明部５３と、試料のマクロ観察を行うマクロ観察系５４、試料のミクロ観察を行う顕微観察系５５、及び画像処理装置１００などから構成される。培養容器１０が載置される試料台１５には、顕微観察系５５の観察領域に透明な窓部１６が設けられている。
【００１３】
マクロ観察系５４は、観察光学系５４ａと観察光学系により結像された試料の像を撮影するＣＣＤカメラ等の撮像装置５４ｃとを有し、第１照明部５１の上方に位置して培養室２内に設けられている。マクロ観察系５４は、第１照明部５１によりバックライト照明された培養容器１０の上方からの全体観察画像（マクロ像）を撮影する。
【００１４】
顕微観察系５５は、対物レンズや中間変倍レンズ、蛍光フィルタ等からなる観察光学系５５ａと、観察光学系５５ａにより結像された試料の像を撮影する冷却ＣＣＤカメラ等の撮像装置５５ｃとを有し、下部フレーム１ｂの内部に配設されている。対物レンズ及び中間変倍レンズは、それぞれ複数設けられるとともに、詳細図示を省略するレボルバやスライダなどの変位機構を用いて複数倍率に設定可能に構成される。顕微観察系５５は、第２照明部５２により照明されて細胞を透過した透過光、若しくは第３照明部５３により照明されて細胞により反射された反射光、または第３照明部５３により照明されて細胞が発する蛍光を顕微鏡観察した顕微観察像（ミクロ像）を撮影する。
【００１５】
画像処理装置１００は、マクロ観察系の撮像装置５４ｃ及び顕微観察系の撮像装置５５ｃから入力された信号を処理して全体観察画像や顕微観察画像の画像データを生成する。また、画像処理装置１００は、これらの観察画像の画像データに画像解析を施し、タイムラプス画像の生成や、細胞の活性度の解析、移動方向予測、細胞の運動状態の解析等を行う。なお、画像処理装置１００については、後に詳述する。
【００１６】
制御ユニット６は、ＣＰＵ６１と、培養観察システムＢＳの作動を制御する制御プログラムや制御データ等が設定記憶されたＲＯＭ６２と、画像データ等を一時記憶するＲＡＭ６３などを有し、これらがデータバスにより接続されて構成される。制御ユニット６の入出力ポートには、培養室２における温度調整装置２１、加湿器２２、ガス供給装置２３等、搬送装置４におけるＸ，Ｙ，Ｚステージ４３，４２，４１、観察ユニット５における第１〜第３照明部５１，５２，５３、マクロ観察系５４及び顕微観察系５５、操作盤７における操作パネル７１や表示パネル７２などが接続されている。ＣＰＵ６１には上記各部から検出信号が入力され、制御プログラムに従って上記各部を制御する。
【００１７】
操作盤７には、キーボードやスイッチ、光ディスクの読み書き装置などの入出力機器が設けられた操作パネル７１、操作画面や画像データ等を表示する表示パネル７２が設けられており、表示パネル７２を参照しながら操作パネル７１で観察プログラムの設定や条件選択、動作指令等を入力することにより、ＣＰＵ６１を介して培養観察システムＢＳの各部の作動が制御される。ＣＰＵ６１は、有線または無線の通信規格に準拠して構成された通信部６５を介して、外部接続されるコンピュータ等との間でデータの送受信が可能になっている。ＲＡＭ６３には、培養室２の環境条件や、観察スケジュール、観察ユニット５における観察種別や観察位置、観察倍率等が記録される。また、ＲＡＭ６３には、観察ユニット５により撮影された画像データを記録する画像データ記憶領域が設けられ、培養容器１０のコード番号や撮影日時等を含むインデックス・データと画像データとが対応付けて記録される。
【００１８】
このように概要構成される培養観察システムＢＳでは、操作盤７において設定された観察プログラムの設定条件に従い、ＣＰＵ６１がＲＯＭ６２に記憶された制御プログラムに基づいて各部の作動を制御するとともに、培養容器１０内の試料の撮影を自動的に実行する。すなわち、観察プログラムがスタートされると、ＣＰＵ６１はＲＡＭ６３に記憶された環境条件値を読み込み、培養環境が環境条件値と一致するように温度調整装置２１、加湿器２２等の作動を制御する。また、ＣＰＵ６１は、ＲＡＭ６３に記憶された観察条件を読み込み、観察スケジュールに基づいてＸ，Ｙ，Ｚステージ４３，４２，４１を作動させてストッカー３から観察対象の培養容器１０を試料台１５に搬送し、観察ユニット５による観察を開始させる。例えば、観察プログラムにおいて設定された観察が培養容器１０内の細胞のミクロ観察である場合には、該当する培養容器１０を顕微観察系５５の光軸上に位置決めし、第２照明部５２または第３照明部５３の光源を点灯させて、顕微観察像を撮像装置５５ｃに撮影させる。
【００１９】
ＣＰＵ６１は、上記のような観察を、観察プログラムに基づく観察スケジュールで全体観察像や顕微観察像の撮影を順次実行する。なお、本実施形態においては、観察像の撮影間隔は一定であってもよいし、異なっていてもよい。撮影された全体観察像や顕微観察像の画像データは、撮影日時等のインデックス・データとともにＲＡＭ６３の画像データ記憶領域に順次記録される。ＲＡＭ６３に記録された画像データは、操作パネル７１から入力される画像表示指令に応じてＲＡＭ６３から読み出され、指定時刻の全体観察画像や顕微観察画像（単体画像）、あるいは後述する細胞活性グラフなどが表示パネル７２に表示される。
【００２０】
以上のように構成される培養観察システムＢＳにおいて、画像処理装置１００は、観察対象の細胞（観察細胞）の活性度を判断可能に表示する機能を有しており、細胞の培養解析などに利用される。以下、観察細胞の活性度を判断する手法について、基本的な概念から説明する。
【００２１】
（最外輪郭の抽出）
具体的な活性度導出処理に先立ち、時刻ｔに撮影された画像(説明の便宜上、第１画像という)、及び第１画像よりも所定時間前の時刻ｔ−１に撮影された画像(同様に、第２画像という)について、画像内に含まれる細胞Ｏの最外輪郭を抽出する。図４は、最外輪郭抽出処理の様子を示す模式図であり、撮像装置５５ｃ（５４ｃ）により取得された画像(ａ)に対し、(ｂ)に示すように細胞の最も外側の輪郭を抽出する。最外輪郭抽出処理には、例えば、分散フィルタを施したのち二値化させる手法や、動的輪郭方（SnakesやLevel Set法など）などが挙げられる。上記所定時間は、観察視野内の細胞の運動状況に応じて設定され、細胞の運動が比較的活発な場合には１０分〜１時間程度、生細胞の運動が比較的低調な場合には３０分〜２時間程度の時間が設定される。
【００２２】
最外輪郭が抽出されセグメント化された各細胞Ｏに対してラベリングを施し、第１画像に含まれる細胞Ｏ1,Ｏ2,Ｏ3…Ｏnと、第２画像に含まれる細胞Ｏ1´,Ｏ2´,Ｏ3´…Ｏn´の対応をとる。例えば、図５に第１画像における各細胞を実線で示し、第２画像における各細胞を点線で示すように、ラベリングを施した各細胞について最近傍にあたるラベル同士を同じ細胞であるとして対応をとり、Ｏ1とＯ1´、Ｏ2とＯ2´、Ｏ3とＯ3´…ＯnとＯn´のように対応づける。
【００２３】
（回転角度姿勢の調整）
次に、対応づけられた各細胞について、第１画像の細胞の像(第１像という)と、第２画像の細胞の像(第２像という)の、画像平面上における回転角度姿勢（細胞の方位角方向）を揃える。その具体的手法として、対応づけられた各細胞、例えば、Ｏ1とＯ1´について、図心（重心）を通る軸廻りの断面二次モーメント（慣性モーメント）を算出し、第１像の断面二次モーメントＩ1と第２像の断面二次モーメントＩ2との相関値が最大となる角度位置で第１像と第２像の細胞の回転角度姿勢を揃える手法を提案する。細胞の輪郭形状が円形に近い場合には、第１像または第２像を一定角度ずつ回転させながら二つの像の相関を計算し、相関値が最大となる角度で揃えられる。
【００２４】
なお、第１像の断面二次モーメントＩ1と第２像の断面二次モーメントＩ2との差分が最小となる角度で回転角度姿勢を揃えるように構成してもよく、第１像または第２像を図心を通る軸廻りに一定角度ずつ回転させながら差分を計算し、第１像と第２像との差分が最小となる角度で揃えるように構成してもよい。また、細胞Ｏを楕円近似し、近似された楕円モデルの長軸方向を揃えるように構成してもよい。
【００２５】
（生細胞の判別）
ここで、相関計算の対象となる観察細胞が生細胞の場合には、図６に例示するように、時間の経過とともに形状だけでなく内部構造もＯx→Ｏx´のように変化する。そのため、第１像と第２像の相関値はさほど大きな値にはならない。一方、観察細胞がゴミや細胞の屍骸などの場合には、図７に例示するように、時間が経過してもＯy→Ｏy´のように外形及び内部構造がほとんど変化しない。そのため回転角度姿勢を揃えた第１像と第２像の相関値は大きく、１に近い値となる。
【００２６】
従って、対応づけられた細胞の回転角度姿勢を揃えて相関値を計算し、算出された相関値が所定値以下であるか否かを判断することにより、観察細胞が生細胞であるか、ゴミや細胞の屍骸、気泡などの異物であるかを判別することができる。上記所定値は、細胞の種別や活動状況、観察を行う時間間隔等に応じて設定され、例えば0.5〜0.8程度の範囲で選択設定することができる。
【００２７】
（生細胞の活性度の導出及び判断手法）
次に、回転角度姿勢が揃えられた観察細胞の第１像及び第２像について、細胞内部構造のテクスチャ特徴量を算出する。ここで、細胞内部のテクスチャ特徴は、すでに公知の種々の指標を用いることができ、例えば以下のようなものがあげられる。すなわち、(1)輝度値の分散、(2)微分の総和、(3)上下、左右、回転対称性（相関値）、(4)方向成分（ガボールフィルタなど）、(5)テクスチャ解析などである。
【００２８】
(1)輝度値の分散
細胞内（最外輪郭内部）の輝度値のばらつきをみることで、値が大きければばらつきがあることから細胞内の組織の強度を知ることができる。例えば細胞内の顆粒の増減や、核の数や大きさ、密度によるムラといった組織の総和として概算ができる。
【００２９】
(2)微分の総和
細胞内の輝度の空間方向に対する微分（縦、横、斜め方向の輝度値の差分、Sobel Filterなども含む）により、細胞内組織のエッジ強度を算出でき、総和によって細胞内の顆粒の増減や核の数や大きさを知ることができる。分散と異なり、密度によるムラに影響しづらく、光学的なムラを除外できる。
【００３０】
(3)対称性
細胞内の組織の空間的な移動や偏り度合いを知ることができる。例えば細胞内の核が端に寄っており、時間とともに核が移動した場合に、対称性相関値の値が下がることになる。核の移動だけでなく輝度ムラ（組織の密度）の変化なども含まれる。細胞の形状によって上下、左右、回転の各対称性相関値を算出する。
【００３１】
(4)方向成分
線分などを抽出する代表的なフィルタであるガボールフィルタなど、縦と横で抽出する空間周波数（バンドパスの帯域）の異なるフィルタを用いて細胞内の線分を抽出し、その総和を特徴量とする。ガボールフィルタは縦方向、横方向、斜め方向など方位に応じてフィルタを用意し、各方向に対する感度を特徴量とする。微分はハイパスフィルタであるのに対して、ガボールフィルタはバンドパスフィルタであり、組織の太さがある構造を抽出する。
【００３２】
(5)テクスチャ解析
一般的なテクスチャ解析とは、輝度ヒストグラムや空間的な同時生起行列、フーリエ変換（空間周波数のスペクトル強度）など、前記までのシンプルな特徴量と違い、より詳細なテクスチャパターンを解析するものであり、これらの行列や分布をそのまま扱った多次元特徴量である。これらの相関値を算出することによって、より詳細な情報をとらえることができる。
【００３３】
こうして算出した第１像のテクスチャ特徴量と第２像のテクスチャ特徴量との差分や相関値、あるいは第１像と第２像との差分や相関値を算出し、その時系列変化を導出する。具体的には、上記第２画像と第１画像を、順次、時刻ｔとｔ＋１、ｔ＋１とｔ＋２、ｔ＋２とｔ＋３、…、ｔ＋ｍとｔ＋ｎの各画像に適用して、各画像間における第１像のテクスチャ特徴量と第２像のテクスチャ特徴量との相関値または差分を算出し、若しくは第１像と第２像との相関値または差分を算出して、その時系列変化を導出する。
【００３４】
縦軸に第１像のテクスチャ特徴量と第２像のテクスチャ特徴量との差分をとり、横軸に時間をとった場合の上記差分の時系列変化の様子をグラフ化して図１に例示する。図８に示すような正常な生細胞では、第１，第２像間で内部構造の移動や変形等によりテクスチャ特徴量が変化する。そのためテクスチャ特徴量の差分は、図１中に実線で示すように、ある一定の大きさを有した状態で滑らかに変動する。
【００３５】
一方、図９に示すように観察細胞の活動が徐々に低下し死細胞に至るような場合には、第１，第２像間で内部構造の移動や変形等が時間の経過とともに減少する。そのため、図１中に下降する点線で示すように、テクスチャ特徴量の差分が徐々に低下し死細胞に至るとほぼゼロの状態で変化しなくなる。また、細胞が分裂期に入った場合や、異常な活動をした場合には、第１，第２像間で内部構造の移動や変化が大きくなり、図１中に上昇する点線または正弦波状の一点鎖線で示すように、テクスチャ特徴量の差分が上昇し、または大きく波打つように変動する。
【００３６】
従って、第１像のテクスチャ特徴量と第２像のテクスチャ特徴量との差分の時系列変化を観察することにより、これまで的確な判断が困難であった観察細胞の活性度を、的確かつ定量的に判断することができる。
【００３７】
以上は、第１像のテクスチャ特徴量と第２像のテクスチャ特徴量との差分をとった場合について説明したが、第１像のテクスチャ特徴量と第２像のテクスチャ特徴量との相関値をとった場合にも時系列変化を観察することにより同様に判断でき、第１像と第２像との差分または相関値をとった場合についても、時系列変化を観察することにより同様に判断できる。図１０は、縦軸に第１像と第２像との相関値をとり、横軸に時間をとった場合の上記相関値の時系列変化の様子をグラフ化して示したものである。
【００３８】
既述したように、細胞が生細胞である場合には、細胞の活動により、第１，第２像間で内部構造の移動や変形が生じる。このため、図８に示したような正常な生細胞では、第１，第２像間でテクスチャ特徴が変化し、第１像と第２像との相関値は図１０中に実線で示すように、ある一定の大きさを有した状態で滑らかに変動する。
【００３９】
一方、観察細胞の活動が徐々に低下し死細胞に至るような場合（図９）には、第１，第２像間で内部構造の移動や変形等が減少するため、図１０中に上昇する点線で示すように、第１像と第２像との相関値が徐々に上昇し死細胞に至るとほぼ１の状態で変化しなくなる。また、細胞が分裂期に入った場合や、異常な活動をした場合には、第１，第２像間で内部構造の移動や変化が大きくなり、図１０中に下降する点線または正弦波状の一点鎖線で示すように、第１像と第２像との相関値が低下し、または大きく波打つように変動する。
【００４０】
従って、第１像と第２像との相関値（あるいは第１像のテクスチャ特徴量と第２像のテクスチャ特徴量との相関値）の時系列変化を観察することによっても、前述したテクスチャ特徴量の差分の時系列変化と同様に観察細胞の生死判別や活性度を的確かつ定量的に判断することができる。これにより、これまで的確な判断が困難であった観察細胞の活性度を、的確かつ定量的に判断することができる。
【００４１】
（アプリケーション）
以上、生細胞の活性度の導出及び判断手法について説明したが、以降では培養観察システムＢＳの画像処理装置１００において実行される画像解析の具体的なアプリケーションについて、図１１を併せて参照しながら説明する。ここで、図１１は生細胞判別の画像処理を実行する画像処理装置１００の概要構成を示すブロック図である。なお、上記判断手法により求められる図１あるいは図１０に示した時系列の変化グラフを、本明細書において「細胞活性グラフ」といい、符号Ｇａで示す。
【００４２】
画像処理装置１００は、撮像装置５５ｃ（５４ｃ）により所定時間を隔てて撮影された画像を順次記憶する画像記憶部１１０と、画像記憶部１１０に記憶された画像を取得して画像を解析する画像解析部１２０と、画像解析部１２０による解析結果を出力する出力部１３０とを備え、画像解析部１２０により導出された相関値または差分の時系列の変化状態や細胞の活性度を、表示パネル７２に出力して表示させるように構成される。なお、画像処理装置１００は、ＲＯＭ６２に予め設定記憶された画像処理プログラムＧＰがＣＰＵ６１に読み込まれ、ＣＰＵ６１により画像処理プログラムＧＰに基づく処理が順次実行されることによって構成される。
【００４３】
画像解析部１２０による処理は、既に画像記憶部１１０（ＲＡＭ６３の画像記憶領域）に保存されている複数の画像データを読み出して実行可能であるほか、現に観察中の細胞の画像を撮像装置から取得して実行することも可能である。本実施例では、細胞の顕微観察を実行している過程で観察画像に含まれる細胞の活性度を表示し判別する場合について説明する。
【００４４】
培養観察システムＢＳにおいて観察プログラムがスタートすると、当該プログラムにおいて予め設定された所定時間ごとに指定された培養容器内の細胞観察が行われる。ＣＰＵ６１は、搬送ユニット４のＸ，Ｙ，Ｚステージ４３，４２，４１を作動させてストッカー３から観察対象の培養容器１０を観察ユニット５に搬送して試料台１５に載置させ、顕微観察系５５による観察像を撮像装置５５ｃにより撮影させる。
【００４５】
撮像装置５５ｃにより撮影された観察画像は、種々のインデックス・データとともに画像記憶部１１０に保存される。画像処理装置１００は、観察画像の取得と画像記憶部１１０への保存を観察プログラムにおいて設定された所定時間ごとに繰り返す。
【００４６】
画像解析部１２０は、撮像装置５５ｃから取得された時刻ｔの観察画像（第１画像）と、所定時間前の時刻ｔ−１に撮像装置５５ｃにより撮影され画像記憶部１１０に保存された観察画像（第２画像）に対し、図４に示したように最外輪郭抽出処理を実行するとともにラベリングを施し、図５に示したように第１画像における各細胞Ｏ1,Ｏ2,Ｏ3…Ｏnと、第２画像における各細胞Ｏ1´,Ｏ2´,Ｏ3´…Ｏn´との対応を、最近傍対応で対応づける。そして、対応づけられた細胞同士について、第１画像の細胞の像すなわち第１像と、第２画像の細胞の像すなわち第２像の回転角度姿勢を揃える。
【００４７】
例えば、細胞の第１像Ｏnと第２像Ｏn´について楕円近似を行って楕円の長軸方向を算出し、第１像と第２像の楕円中心及び長軸方向を揃える。この際、楕円の長軸方向は図心（楕円中心）を中心として左右２方向あり、細胞の頭と足が反対方向を向いている場合がある。そこで、図心を中心として０度方向と１８０度方向の二通りについて相関値を算出し、相関値が大きい方の角度に回転角度姿勢を揃える。なお、回転角度姿勢を揃えた状態の第１像と第２像の相関値が１に近い値の場合には、その細胞は死細胞やゴミ、気泡などである可能性が高い。従って、上記相関値を識別情報とすることにより、生細胞と死細胞とを早期に判別することができ、このような死細胞を以降の処理から除外することにより、処理負担を低減することができる。
【００４８】
次に、画像解析部１２０は、回転角度姿勢が揃えられた第１像の細胞内部のテクスチャ特徴量と第２像の細胞内部のテクスチャ特徴量との相関値または差分、あるいは第１像と第２像の相関値または差分を算出する。例えば、操作パネル７１において観察細胞として細胞Ｏ3が選択され、細胞活性の判断指標としてテクスチャ特徴量の差分が選択された場合（あるいは初期設定されている場合）に、画像解析部１２０は、細胞Ｏ3について、回転角度姿勢が揃えられた第１像の細胞内部のテクスチャ特徴量と、第２像の細胞内部のテクスチャ特徴量との差分Ｄtを算出し、当該差分Ｄtを時刻ｔにおける細胞Ｏ3の活性データとしてＲＡＭ６３に記録する。また、縦軸にテクスチャ特徴量の差分、横軸に時間をとったグラフ枠を作成し、このグラフ枠の時刻ｔの位置に差分Ｄtをプロットして細胞活性グラフを作成する。出力部１３０は、画像解析部１２０により作成された細胞活性グラフを出力し、表示パネル７２に表示させる。
【００４９】
画像解析部１２０は、以降、撮像装置５５ｃにより観察画像が撮影されるごとに上記処理を順次繰り返す。すなわち、撮像装置５５ｃから取得した時刻ｔ＋１の第１画像と、画像記憶部１１０に保存された時刻ｔの第２画像とから、観察細胞Ｏ3の時刻ｔ＋１におけるテクスチャ特徴量の差分Ｄt+1を算出し、細胞活性グラフの時刻ｔ＋１の位置に差分Ｄt+1をプロットする。出力部１３０は、画像解析部１２０においてデータが更新されるごとに更新された細胞活性グラフを出力し、表示パネル７２に表示させる。
【００５０】
これにより、表示パネル７２には、観察データ数が増加するに従って図１に示したような連続的な細胞活性グラフＧａが表示されるようになり、細胞観察プログラムの開始以降、現在に至るまでの観察細胞Ｏ3のテクスチャ特徴量の差分の時系列の変化状態を知得することができる。
【００５１】
従って、この細胞活性グラフＧａを見ることにより、判断手法において既述したように観察細胞の活性度を判断することができる。例えば、表示パネル７２に表示された細胞活性グラフＧａが図１中の実線のような特性の場合には、観察細胞Ｏ3の活動が安定していると判断できる。一方、図１中の下降する点線のような特性の場合には、観察細胞Ｏ3の活性が低下し細胞死に至る状態と判断され、図１中の上昇する点線または大きく波打つ一点鎖線のような場合には、観察細胞Ｏ3が分裂期に入るなど活性が高まった状態であると判断できる。
【００５２】
なお、図１に示す細胞活性グラフＧａにおいて、テクスチャ特徴量の差分が所定以下に低下した場合や低下率が所定以上の場合に、画像解析部１２０が、細胞活性が低下していると判断して活性低下情報を出力し、例えば表示パネル７２に表示された細胞活性グラフＧａに「細胞活性低下」の文字や図形を点灯または点滅表示し、あるいはグラフの線を赤色で点滅表示させるように構成することができる。テクスチャ特徴量の差分が所定以上に上昇した場合や上昇率が所定以上の場合も同様であり、細胞活性グラフＧａに「細胞活性上昇」の文字や図形を点灯または点滅表示し、あるいはグラフの線を青色で点滅表示させるように構成することができる。このような構成によれば、細胞の活性度が上がっているのか下がっているのかを読み違えることなく直ちに且つ正確に認識することができる。
【００５３】
以上は、細胞活性の判断指標としてテクスチャ特徴量の差分が選択された場合（あるいは初期設定されている場合）について説明したが、第１像と第２像との差分が選択された場合についても同様である。また細胞活性の判断指標としてテクスチャ特徴量の相関値または第１像と第２像との相関値が選択された場合（あるいは初期設定されている場合）についても同様に適用することができ、相関値の時系列変化を表示することによって観察細胞の生死判別や活性度を判断することができる。なお、図１と図１０とを対比して明らかなように、細胞活性の判断指標として相関値を採用した場合には、相関値が増加傾向の場合に細胞活性が低下状態にあり、相関値が低下傾向の場合に細胞活性が上昇状態になる。すなわち、グラフ上に表示される相関値の変化と細胞の活性状態とが逆の関係で表示され、直感的に受けるイメージと異なったものになる。この点、画像解析部１２０が、細胞の活性状態を判断して細胞活性グラフＧａに「細胞活性低下」、「細胞活性上昇」の文字や図形等を点灯または点滅表示し、あるいはグラフを色分け表示するような構成によれば、直感から生じる誤認識を防止し細胞の状態を正確に認識させることができる。
【００５４】
また、操作パネル７１において特定の細胞Ｏ3が選択された場合について説明したが、選択操作を伴うことなく、画像解析部１２０が観察視野内に含まれるすべての細胞について上記処理を実行し、出力部１３０から各細胞Ｏ1,Ｏ2,Ｏ3…Ｏnの個々の細胞活性グラフやこれらを重ねて表示するグラフ、あるいは視野内の細胞の全部または一部の平均値のグラフ、活性度判定結果等を出力するように構成してもよい。なお、出力部１３０から出力される上記のような細胞活性判別データを、通信部６５を介して外部接続されるコンピュータ等に送信し、同様の画像を表示させたり、細胞の運動解析や細胞トラッキング等を実行するための基礎データとして用いたりするように構成することができる。これにより、観察者は、表示パネル７２に表示された細胞活性グラフや外部接続されたコンピュータ等の表示装置に表示された細胞活性グラフＧａを参照することにより、観察中の（または既に観察画像が取得されＲＡＭ６３に記憶されている）画像に含まれる細胞の活性度を判断することができる。
【００５５】
従って、以上説明したような細胞の状態判別手法、画像処理装置によれば観察細胞同士のテクスチャ特徴量の相関値または差分、若しくは第１像と第２像との相関値または差分の時系列変化により細胞の活性度を定量的に判断することができ、撮像装置により撮影され取得された観察画像だけから細胞の活性を的確に判断することができる。
【図面の簡単な説明】
【００５６】
【図１】縦軸に第１像のテクスチャ特徴量と第２像のテクスチャ特徴量との差分をとり、横軸に時間をとった場合の上記差分の時系列変化の様子を示す細胞活性グラフである。
【図２】本発明の適用例として示す培養観察システムの概要構成図である。
【図３】上記培養観察システムのブロック図である。
【図４】細胞の輪郭抽出を行う輪郭抽出処理の状況を例示する模式図である。
【図５】時刻ｔ-１の画像に含まれる細胞と時刻ｔの画像に含まれる細胞との対応付けを説明するための説明図である。
【図６】時刻ｔ-１から時刻ｔでの正常な生細胞の変化を例示する模式図である。
【図７】時刻ｔ-１から時刻ｔでの生細胞から死細胞への変化を例示する模式図である。
【図８】時間経過に伴う正常な生細胞の変化を例示する模式図である。
【図９】時間経過に伴う生細胞から死細胞への変化を例示する模式図である。
【図１０】縦軸に第１像と第２像との相関値をとり、横軸に時間をとった場合の上記相関値の時系列変化の様子を示す細胞活性グラフである。
【図１１】画像処理装置の概要構成を示すブロック図である。
【符号の説明】
【００５７】
ＢＳ 培養観察システム
Ｏ（Ｏ1,Ｏ2,Ｏ3…，Ｏ1´,Ｏ2´,Ｏ3´…） 観察細胞
５ 観察ユニット ６ 制御ユニット
５４ マクロ観察系 ５４ｃ 撮像装置
５５ 顕微観察系 ５５ｃ 撮像装置
６１ ＣＰＵ ６２ ＲＯＭ
６３ ＲＡＭ １００ 画像処理装置
１２０ 画像解析部 １３０ 出力部
【技術分野】
【０００１】
本発明は、細胞観察において取得された画像から細胞の活性度を判別する細胞状態判別手法に関するものである。
【背景技術】
【０００２】
細胞を観察する装置の一例として培養顕微鏡があげられる。培養顕微鏡は、細胞の培養に好適な環境を形成する培養装置と、培養容器内の細胞を顕微観察する顕微観察系とを備え、生きた細胞を培養しながら、その細胞の変化や分裂などを観察できるように構成される（例えば特許文献１を参照）。このような培養顕微鏡を用いた従来の細胞観察手法では、観察対象である細胞の生死判別や活性度などの判断は、試薬による判定や、テンプレート・マッチング、あるいは目視観察によって行われていた。
【特許文献１】特開２００４−２２９６１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記のような従来の手法では、培養容器に試薬を投与することによって細胞の培養状態に影響を及ぼすという問題や、細胞の変形・変化に対してテンプレートを用いる判定では膨大なテンプレートを要して処理負担が過大になるという問題、目視観察による判断では的確な判断が困難であるという問題があった。
【０００４】
本発明は、このような課題に鑑みてなされたものであり、撮像装置により撮影された観察画像から細胞の活性を的確に判断可能な手段を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明を例示する第１の態様に従えば、撮像装置により所定時間を隔てて観察細胞が撮影された第１画像及び第２画像を順次取得し、第１画像における観察細胞と第２画像における観察細胞との画像平面上の回転角度姿勢を揃え、回転角度姿勢が揃えられた第１画像における観察細胞内部のテクスチャ特徴量と第２画像における観察細胞内部のテクスチャ特徴量との相関値または差分を順次算出して、算出された相関値または差分の時系列変化に基づいて観察細胞の活性度を判別することを特徴とする細胞の状態判別手法が提供される。
【０００６】
本発明を例示する第２の態様に従えば、細胞を撮影する撮像装置と、撮像装置により撮影された画像を取得して画像を解析する画像解析部と、画像解析部による解析結果を出力する出力部とを備え、画像解析部は、撮像装置により所定時間を隔てて観察細胞が撮影された第１画像及び第２画像を順次取得し、第１画像における観察細胞と第２画像における観察細胞との画像平面上の回転角度姿勢を揃え、回転角度姿勢が揃えられた第１画像における観察細胞内部のテクスチャ特徴量と第２画像における観察細胞内部のテクスチャ特徴量との相関値または差分を順次算出して、算出された相関値または差分の時系列の変化状態を導出し、出力部が、画像解析部により導出された相関値または差分の時系列の変化状態を出力するように構成したことを特徴とする細胞観察の画像処理装置が提供される。
【０００７】
なお、上記細胞観察の画像処理装置において、画像解析部は、相関値または差分の時系列の変化状態に基づいて観察細胞の活性度を判別し、出力部が、画像解析部により判別された観察細胞の活性度を出力するように構成することが好ましい。
【発明の効果】
【０００８】
上記のような細胞の状態判別手法、及び細胞観察の画像処理装置によれば、所定時間を隔てた観察細胞同士のテクスチャ特徴の相関または差分の時系列変化により観察細胞の活性度が判別される。従って、撮像装置により撮影され取得された観察画像から細胞の活性を的確に判断可能な手段を提供することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明を実施するための形態について、図面を参照しながら説明する。本発明の細胞観察の画像処理装置を適用したシステムの一例として、培養観察システムの概要構成図及びブロック図を、それぞれ図２及び図３に示す。
【００１０】
この培養観察システムＢＳは、大別的には、筐体１の上部に設けられた培養室２と、複数の培養容器１０を収容保持する棚状のストッカー３と、培養容器１０内の試料を観察する観察ユニット５と、培養容器１０をストッカー３と観察ユニット５との間で搬送する搬送ユニット４と、システムの作動を制御する制御ユニット６と、画像表示装置を備えた操作盤７などから構成される。
【００１１】
培養室２は、培養環境を形成する部屋でありサンプル投入後は密閉状態に保持される。培養室２に付随して、温度調整装置２１、加湿器２２、ＣＯ2ガスやＮ2ガス等のガスを供給するガス供給装置２３、循環ファン２４、培養室２の温度や湿度等を検出する環境センサ２５などが設けられている。ストッカー３は、前後及び上下方向にそれぞれ複数に仕切られた棚状に形成され各棚に固有の番地が設定されている。培養容器１０は、培養する細胞の種別や目的に応じて適宜選択され、例えばディッシュタイプの培養容器に細胞試料が液体培地とともに注入保持される。各培養容器１０にはコード番号が付与され、ストッカー３の指定番地に対応づけて収容される。搬送ユニット４は、培養室２の内部に上下に移動可能に設けられたＺステージ４１、前後に移動可能に取り付けられたＹステージ４２、左右に移動可能に取り付けられたＸステージ４３などからなり、Ｘステージ４３の先端側に培養容器１０を持ちあげ支持する支持アーム４５が設けられている。
【００１２】
観察ユニット５は、試料台１５の下側から培養容器１０全体をバックライト照明する第１照明部５１、試料台１５の上方から顕微観察系５の光軸に沿って培養容器中の試料を照明する第２照明部５２、及び試料台１５の下方から顕微観察系５の光軸に沿って培養容器中の試料を照明する第３照明部５３と、試料のマクロ観察を行うマクロ観察系５４、試料のミクロ観察を行う顕微観察系５５、及び画像処理装置１００などから構成される。培養容器１０が載置される試料台１５には、顕微観察系５５の観察領域に透明な窓部１６が設けられている。
【００１３】
マクロ観察系５４は、観察光学系５４ａと観察光学系により結像された試料の像を撮影するＣＣＤカメラ等の撮像装置５４ｃとを有し、第１照明部５１の上方に位置して培養室２内に設けられている。マクロ観察系５４は、第１照明部５１によりバックライト照明された培養容器１０の上方からの全体観察画像（マクロ像）を撮影する。
【００１４】
顕微観察系５５は、対物レンズや中間変倍レンズ、蛍光フィルタ等からなる観察光学系５５ａと、観察光学系５５ａにより結像された試料の像を撮影する冷却ＣＣＤカメラ等の撮像装置５５ｃとを有し、下部フレーム１ｂの内部に配設されている。対物レンズ及び中間変倍レンズは、それぞれ複数設けられるとともに、詳細図示を省略するレボルバやスライダなどの変位機構を用いて複数倍率に設定可能に構成される。顕微観察系５５は、第２照明部５２により照明されて細胞を透過した透過光、若しくは第３照明部５３により照明されて細胞により反射された反射光、または第３照明部５３により照明されて細胞が発する蛍光を顕微鏡観察した顕微観察像（ミクロ像）を撮影する。
【００１５】
画像処理装置１００は、マクロ観察系の撮像装置５４ｃ及び顕微観察系の撮像装置５５ｃから入力された信号を処理して全体観察画像や顕微観察画像の画像データを生成する。また、画像処理装置１００は、これらの観察画像の画像データに画像解析を施し、タイムラプス画像の生成や、細胞の活性度の解析、移動方向予測、細胞の運動状態の解析等を行う。なお、画像処理装置１００については、後に詳述する。
【００１６】
制御ユニット６は、ＣＰＵ６１と、培養観察システムＢＳの作動を制御する制御プログラムや制御データ等が設定記憶されたＲＯＭ６２と、画像データ等を一時記憶するＲＡＭ６３などを有し、これらがデータバスにより接続されて構成される。制御ユニット６の入出力ポートには、培養室２における温度調整装置２１、加湿器２２、ガス供給装置２３等、搬送装置４におけるＸ，Ｙ，Ｚステージ４３，４２，４１、観察ユニット５における第１〜第３照明部５１，５２，５３、マクロ観察系５４及び顕微観察系５５、操作盤７における操作パネル７１や表示パネル７２などが接続されている。ＣＰＵ６１には上記各部から検出信号が入力され、制御プログラムに従って上記各部を制御する。
【００１７】
操作盤７には、キーボードやスイッチ、光ディスクの読み書き装置などの入出力機器が設けられた操作パネル７１、操作画面や画像データ等を表示する表示パネル７２が設けられており、表示パネル７２を参照しながら操作パネル７１で観察プログラムの設定や条件選択、動作指令等を入力することにより、ＣＰＵ６１を介して培養観察システムＢＳの各部の作動が制御される。ＣＰＵ６１は、有線または無線の通信規格に準拠して構成された通信部６５を介して、外部接続されるコンピュータ等との間でデータの送受信が可能になっている。ＲＡＭ６３には、培養室２の環境条件や、観察スケジュール、観察ユニット５における観察種別や観察位置、観察倍率等が記録される。また、ＲＡＭ６３には、観察ユニット５により撮影された画像データを記録する画像データ記憶領域が設けられ、培養容器１０のコード番号や撮影日時等を含むインデックス・データと画像データとが対応付けて記録される。
【００１８】
このように概要構成される培養観察システムＢＳでは、操作盤７において設定された観察プログラムの設定条件に従い、ＣＰＵ６１がＲＯＭ６２に記憶された制御プログラムに基づいて各部の作動を制御するとともに、培養容器１０内の試料の撮影を自動的に実行する。すなわち、観察プログラムがスタートされると、ＣＰＵ６１はＲＡＭ６３に記憶された環境条件値を読み込み、培養環境が環境条件値と一致するように温度調整装置２１、加湿器２２等の作動を制御する。また、ＣＰＵ６１は、ＲＡＭ６３に記憶された観察条件を読み込み、観察スケジュールに基づいてＸ，Ｙ，Ｚステージ４３，４２，４１を作動させてストッカー３から観察対象の培養容器１０を試料台１５に搬送し、観察ユニット５による観察を開始させる。例えば、観察プログラムにおいて設定された観察が培養容器１０内の細胞のミクロ観察である場合には、該当する培養容器１０を顕微観察系５５の光軸上に位置決めし、第２照明部５２または第３照明部５３の光源を点灯させて、顕微観察像を撮像装置５５ｃに撮影させる。
【００１９】
ＣＰＵ６１は、上記のような観察を、観察プログラムに基づく観察スケジュールで全体観察像や顕微観察像の撮影を順次実行する。なお、本実施形態においては、観察像の撮影間隔は一定であってもよいし、異なっていてもよい。撮影された全体観察像や顕微観察像の画像データは、撮影日時等のインデックス・データとともにＲＡＭ６３の画像データ記憶領域に順次記録される。ＲＡＭ６３に記録された画像データは、操作パネル７１から入力される画像表示指令に応じてＲＡＭ６３から読み出され、指定時刻の全体観察画像や顕微観察画像（単体画像）、あるいは後述する細胞活性グラフなどが表示パネル７２に表示される。
【００２０】
以上のように構成される培養観察システムＢＳにおいて、画像処理装置１００は、観察対象の細胞（観察細胞）の活性度を判断可能に表示する機能を有しており、細胞の培養解析などに利用される。以下、観察細胞の活性度を判断する手法について、基本的な概念から説明する。
【００２１】
（最外輪郭の抽出）
具体的な活性度導出処理に先立ち、時刻ｔに撮影された画像(説明の便宜上、第１画像という)、及び第１画像よりも所定時間前の時刻ｔ−１に撮影された画像(同様に、第２画像という)について、画像内に含まれる細胞Ｏの最外輪郭を抽出する。図４は、最外輪郭抽出処理の様子を示す模式図であり、撮像装置５５ｃ（５４ｃ）により取得された画像(ａ)に対し、(ｂ)に示すように細胞の最も外側の輪郭を抽出する。最外輪郭抽出処理には、例えば、分散フィルタを施したのち二値化させる手法や、動的輪郭方（SnakesやLevel Set法など）などが挙げられる。上記所定時間は、観察視野内の細胞の運動状況に応じて設定され、細胞の運動が比較的活発な場合には１０分〜１時間程度、生細胞の運動が比較的低調な場合には３０分〜２時間程度の時間が設定される。
【００２２】
最外輪郭が抽出されセグメント化された各細胞Ｏに対してラベリングを施し、第１画像に含まれる細胞Ｏ1,Ｏ2,Ｏ3…Ｏnと、第２画像に含まれる細胞Ｏ1´,Ｏ2´,Ｏ3´…Ｏn´の対応をとる。例えば、図５に第１画像における各細胞を実線で示し、第２画像における各細胞を点線で示すように、ラベリングを施した各細胞について最近傍にあたるラベル同士を同じ細胞であるとして対応をとり、Ｏ1とＯ1´、Ｏ2とＯ2´、Ｏ3とＯ3´…ＯnとＯn´のように対応づける。
【００２３】
（回転角度姿勢の調整）
次に、対応づけられた各細胞について、第１画像の細胞の像(第１像という)と、第２画像の細胞の像(第２像という)の、画像平面上における回転角度姿勢（細胞の方位角方向）を揃える。その具体的手法として、対応づけられた各細胞、例えば、Ｏ1とＯ1´について、図心（重心）を通る軸廻りの断面二次モーメント（慣性モーメント）を算出し、第１像の断面二次モーメントＩ1と第２像の断面二次モーメントＩ2との相関値が最大となる角度位置で第１像と第２像の細胞の回転角度姿勢を揃える手法を提案する。細胞の輪郭形状が円形に近い場合には、第１像または第２像を一定角度ずつ回転させながら二つの像の相関を計算し、相関値が最大となる角度で揃えられる。
【００２４】
なお、第１像の断面二次モーメントＩ1と第２像の断面二次モーメントＩ2との差分が最小となる角度で回転角度姿勢を揃えるように構成してもよく、第１像または第２像を図心を通る軸廻りに一定角度ずつ回転させながら差分を計算し、第１像と第２像との差分が最小となる角度で揃えるように構成してもよい。また、細胞Ｏを楕円近似し、近似された楕円モデルの長軸方向を揃えるように構成してもよい。
【００２５】
（生細胞の判別）
ここで、相関計算の対象となる観察細胞が生細胞の場合には、図６に例示するように、時間の経過とともに形状だけでなく内部構造もＯx→Ｏx´のように変化する。そのため、第１像と第２像の相関値はさほど大きな値にはならない。一方、観察細胞がゴミや細胞の屍骸などの場合には、図７に例示するように、時間が経過してもＯy→Ｏy´のように外形及び内部構造がほとんど変化しない。そのため回転角度姿勢を揃えた第１像と第２像の相関値は大きく、１に近い値となる。
【００２６】
従って、対応づけられた細胞の回転角度姿勢を揃えて相関値を計算し、算出された相関値が所定値以下であるか否かを判断することにより、観察細胞が生細胞であるか、ゴミや細胞の屍骸、気泡などの異物であるかを判別することができる。上記所定値は、細胞の種別や活動状況、観察を行う時間間隔等に応じて設定され、例えば0.5〜0.8程度の範囲で選択設定することができる。
【００２７】
（生細胞の活性度の導出及び判断手法）
次に、回転角度姿勢が揃えられた観察細胞の第１像及び第２像について、細胞内部構造のテクスチャ特徴量を算出する。ここで、細胞内部のテクスチャ特徴は、すでに公知の種々の指標を用いることができ、例えば以下のようなものがあげられる。すなわち、(1)輝度値の分散、(2)微分の総和、(3)上下、左右、回転対称性（相関値）、(4)方向成分（ガボールフィルタなど）、(5)テクスチャ解析などである。
【００２８】
(1)輝度値の分散
細胞内（最外輪郭内部）の輝度値のばらつきをみることで、値が大きければばらつきがあることから細胞内の組織の強度を知ることができる。例えば細胞内の顆粒の増減や、核の数や大きさ、密度によるムラといった組織の総和として概算ができる。
【００２９】
(2)微分の総和
細胞内の輝度の空間方向に対する微分（縦、横、斜め方向の輝度値の差分、Sobel Filterなども含む）により、細胞内組織のエッジ強度を算出でき、総和によって細胞内の顆粒の増減や核の数や大きさを知ることができる。分散と異なり、密度によるムラに影響しづらく、光学的なムラを除外できる。
【００３０】
(3)対称性
細胞内の組織の空間的な移動や偏り度合いを知ることができる。例えば細胞内の核が端に寄っており、時間とともに核が移動した場合に、対称性相関値の値が下がることになる。核の移動だけでなく輝度ムラ（組織の密度）の変化なども含まれる。細胞の形状によって上下、左右、回転の各対称性相関値を算出する。
【００３１】
(4)方向成分
線分などを抽出する代表的なフィルタであるガボールフィルタなど、縦と横で抽出する空間周波数（バンドパスの帯域）の異なるフィルタを用いて細胞内の線分を抽出し、その総和を特徴量とする。ガボールフィルタは縦方向、横方向、斜め方向など方位に応じてフィルタを用意し、各方向に対する感度を特徴量とする。微分はハイパスフィルタであるのに対して、ガボールフィルタはバンドパスフィルタであり、組織の太さがある構造を抽出する。
【００３２】
(5)テクスチャ解析
一般的なテクスチャ解析とは、輝度ヒストグラムや空間的な同時生起行列、フーリエ変換（空間周波数のスペクトル強度）など、前記までのシンプルな特徴量と違い、より詳細なテクスチャパターンを解析するものであり、これらの行列や分布をそのまま扱った多次元特徴量である。これらの相関値を算出することによって、より詳細な情報をとらえることができる。
【００３３】
こうして算出した第１像のテクスチャ特徴量と第２像のテクスチャ特徴量との差分や相関値、あるいは第１像と第２像との差分や相関値を算出し、その時系列変化を導出する。具体的には、上記第２画像と第１画像を、順次、時刻ｔとｔ＋１、ｔ＋１とｔ＋２、ｔ＋２とｔ＋３、…、ｔ＋ｍとｔ＋ｎの各画像に適用して、各画像間における第１像のテクスチャ特徴量と第２像のテクスチャ特徴量との相関値または差分を算出し、若しくは第１像と第２像との相関値または差分を算出して、その時系列変化を導出する。
【００３４】
縦軸に第１像のテクスチャ特徴量と第２像のテクスチャ特徴量との差分をとり、横軸に時間をとった場合の上記差分の時系列変化の様子をグラフ化して図１に例示する。図８に示すような正常な生細胞では、第１，第２像間で内部構造の移動や変形等によりテクスチャ特徴量が変化する。そのためテクスチャ特徴量の差分は、図１中に実線で示すように、ある一定の大きさを有した状態で滑らかに変動する。
【００３５】
一方、図９に示すように観察細胞の活動が徐々に低下し死細胞に至るような場合には、第１，第２像間で内部構造の移動や変形等が時間の経過とともに減少する。そのため、図１中に下降する点線で示すように、テクスチャ特徴量の差分が徐々に低下し死細胞に至るとほぼゼロの状態で変化しなくなる。また、細胞が分裂期に入った場合や、異常な活動をした場合には、第１，第２像間で内部構造の移動や変化が大きくなり、図１中に上昇する点線または正弦波状の一点鎖線で示すように、テクスチャ特徴量の差分が上昇し、または大きく波打つように変動する。
【００３６】
従って、第１像のテクスチャ特徴量と第２像のテクスチャ特徴量との差分の時系列変化を観察することにより、これまで的確な判断が困難であった観察細胞の活性度を、的確かつ定量的に判断することができる。
【００３７】
以上は、第１像のテクスチャ特徴量と第２像のテクスチャ特徴量との差分をとった場合について説明したが、第１像のテクスチャ特徴量と第２像のテクスチャ特徴量との相関値をとった場合にも時系列変化を観察することにより同様に判断でき、第１像と第２像との差分または相関値をとった場合についても、時系列変化を観察することにより同様に判断できる。図１０は、縦軸に第１像と第２像との相関値をとり、横軸に時間をとった場合の上記相関値の時系列変化の様子をグラフ化して示したものである。
【００３８】
既述したように、細胞が生細胞である場合には、細胞の活動により、第１，第２像間で内部構造の移動や変形が生じる。このため、図８に示したような正常な生細胞では、第１，第２像間でテクスチャ特徴が変化し、第１像と第２像との相関値は図１０中に実線で示すように、ある一定の大きさを有した状態で滑らかに変動する。
【００３９】
一方、観察細胞の活動が徐々に低下し死細胞に至るような場合（図９）には、第１，第２像間で内部構造の移動や変形等が減少するため、図１０中に上昇する点線で示すように、第１像と第２像との相関値が徐々に上昇し死細胞に至るとほぼ１の状態で変化しなくなる。また、細胞が分裂期に入った場合や、異常な活動をした場合には、第１，第２像間で内部構造の移動や変化が大きくなり、図１０中に下降する点線または正弦波状の一点鎖線で示すように、第１像と第２像との相関値が低下し、または大きく波打つように変動する。
【００４０】
従って、第１像と第２像との相関値（あるいは第１像のテクスチャ特徴量と第２像のテクスチャ特徴量との相関値）の時系列変化を観察することによっても、前述したテクスチャ特徴量の差分の時系列変化と同様に観察細胞の生死判別や活性度を的確かつ定量的に判断することができる。これにより、これまで的確な判断が困難であった観察細胞の活性度を、的確かつ定量的に判断することができる。
【００４１】
（アプリケーション）
以上、生細胞の活性度の導出及び判断手法について説明したが、以降では培養観察システムＢＳの画像処理装置１００において実行される画像解析の具体的なアプリケーションについて、図１１を併せて参照しながら説明する。ここで、図１１は生細胞判別の画像処理を実行する画像処理装置１００の概要構成を示すブロック図である。なお、上記判断手法により求められる図１あるいは図１０に示した時系列の変化グラフを、本明細書において「細胞活性グラフ」といい、符号Ｇａで示す。
【００４２】
画像処理装置１００は、撮像装置５５ｃ（５４ｃ）により所定時間を隔てて撮影された画像を順次記憶する画像記憶部１１０と、画像記憶部１１０に記憶された画像を取得して画像を解析する画像解析部１２０と、画像解析部１２０による解析結果を出力する出力部１３０とを備え、画像解析部１２０により導出された相関値または差分の時系列の変化状態や細胞の活性度を、表示パネル７２に出力して表示させるように構成される。なお、画像処理装置１００は、ＲＯＭ６２に予め設定記憶された画像処理プログラムＧＰがＣＰＵ６１に読み込まれ、ＣＰＵ６１により画像処理プログラムＧＰに基づく処理が順次実行されることによって構成される。
【００４３】
画像解析部１２０による処理は、既に画像記憶部１１０（ＲＡＭ６３の画像記憶領域）に保存されている複数の画像データを読み出して実行可能であるほか、現に観察中の細胞の画像を撮像装置から取得して実行することも可能である。本実施例では、細胞の顕微観察を実行している過程で観察画像に含まれる細胞の活性度を表示し判別する場合について説明する。
【００４４】
培養観察システムＢＳにおいて観察プログラムがスタートすると、当該プログラムにおいて予め設定された所定時間ごとに指定された培養容器内の細胞観察が行われる。ＣＰＵ６１は、搬送ユニット４のＸ，Ｙ，Ｚステージ４３，４２，４１を作動させてストッカー３から観察対象の培養容器１０を観察ユニット５に搬送して試料台１５に載置させ、顕微観察系５５による観察像を撮像装置５５ｃにより撮影させる。
【００４５】
撮像装置５５ｃにより撮影された観察画像は、種々のインデックス・データとともに画像記憶部１１０に保存される。画像処理装置１００は、観察画像の取得と画像記憶部１１０への保存を観察プログラムにおいて設定された所定時間ごとに繰り返す。
【００４６】
画像解析部１２０は、撮像装置５５ｃから取得された時刻ｔの観察画像（第１画像）と、所定時間前の時刻ｔ−１に撮像装置５５ｃにより撮影され画像記憶部１１０に保存された観察画像（第２画像）に対し、図４に示したように最外輪郭抽出処理を実行するとともにラベリングを施し、図５に示したように第１画像における各細胞Ｏ1,Ｏ2,Ｏ3…Ｏnと、第２画像における各細胞Ｏ1´,Ｏ2´,Ｏ3´…Ｏn´との対応を、最近傍対応で対応づける。そして、対応づけられた細胞同士について、第１画像の細胞の像すなわち第１像と、第２画像の細胞の像すなわち第２像の回転角度姿勢を揃える。
【００４７】
例えば、細胞の第１像Ｏnと第２像Ｏn´について楕円近似を行って楕円の長軸方向を算出し、第１像と第２像の楕円中心及び長軸方向を揃える。この際、楕円の長軸方向は図心（楕円中心）を中心として左右２方向あり、細胞の頭と足が反対方向を向いている場合がある。そこで、図心を中心として０度方向と１８０度方向の二通りについて相関値を算出し、相関値が大きい方の角度に回転角度姿勢を揃える。なお、回転角度姿勢を揃えた状態の第１像と第２像の相関値が１に近い値の場合には、その細胞は死細胞やゴミ、気泡などである可能性が高い。従って、上記相関値を識別情報とすることにより、生細胞と死細胞とを早期に判別することができ、このような死細胞を以降の処理から除外することにより、処理負担を低減することができる。
【００４８】
次に、画像解析部１２０は、回転角度姿勢が揃えられた第１像の細胞内部のテクスチャ特徴量と第２像の細胞内部のテクスチャ特徴量との相関値または差分、あるいは第１像と第２像の相関値または差分を算出する。例えば、操作パネル７１において観察細胞として細胞Ｏ3が選択され、細胞活性の判断指標としてテクスチャ特徴量の差分が選択された場合（あるいは初期設定されている場合）に、画像解析部１２０は、細胞Ｏ3について、回転角度姿勢が揃えられた第１像の細胞内部のテクスチャ特徴量と、第２像の細胞内部のテクスチャ特徴量との差分Ｄtを算出し、当該差分Ｄtを時刻ｔにおける細胞Ｏ3の活性データとしてＲＡＭ６３に記録する。また、縦軸にテクスチャ特徴量の差分、横軸に時間をとったグラフ枠を作成し、このグラフ枠の時刻ｔの位置に差分Ｄtをプロットして細胞活性グラフを作成する。出力部１３０は、画像解析部１２０により作成された細胞活性グラフを出力し、表示パネル７２に表示させる。
【００４９】
画像解析部１２０は、以降、撮像装置５５ｃにより観察画像が撮影されるごとに上記処理を順次繰り返す。すなわち、撮像装置５５ｃから取得した時刻ｔ＋１の第１画像と、画像記憶部１１０に保存された時刻ｔの第２画像とから、観察細胞Ｏ3の時刻ｔ＋１におけるテクスチャ特徴量の差分Ｄt+1を算出し、細胞活性グラフの時刻ｔ＋１の位置に差分Ｄt+1をプロットする。出力部１３０は、画像解析部１２０においてデータが更新されるごとに更新された細胞活性グラフを出力し、表示パネル７２に表示させる。
【００５０】
これにより、表示パネル７２には、観察データ数が増加するに従って図１に示したような連続的な細胞活性グラフＧａが表示されるようになり、細胞観察プログラムの開始以降、現在に至るまでの観察細胞Ｏ3のテクスチャ特徴量の差分の時系列の変化状態を知得することができる。
【００５１】
従って、この細胞活性グラフＧａを見ることにより、判断手法において既述したように観察細胞の活性度を判断することができる。例えば、表示パネル７２に表示された細胞活性グラフＧａが図１中の実線のような特性の場合には、観察細胞Ｏ3の活動が安定していると判断できる。一方、図１中の下降する点線のような特性の場合には、観察細胞Ｏ3の活性が低下し細胞死に至る状態と判断され、図１中の上昇する点線または大きく波打つ一点鎖線のような場合には、観察細胞Ｏ3が分裂期に入るなど活性が高まった状態であると判断できる。
【００５２】
なお、図１に示す細胞活性グラフＧａにおいて、テクスチャ特徴量の差分が所定以下に低下した場合や低下率が所定以上の場合に、画像解析部１２０が、細胞活性が低下していると判断して活性低下情報を出力し、例えば表示パネル７２に表示された細胞活性グラフＧａに「細胞活性低下」の文字や図形を点灯または点滅表示し、あるいはグラフの線を赤色で点滅表示させるように構成することができる。テクスチャ特徴量の差分が所定以上に上昇した場合や上昇率が所定以上の場合も同様であり、細胞活性グラフＧａに「細胞活性上昇」の文字や図形を点灯または点滅表示し、あるいはグラフの線を青色で点滅表示させるように構成することができる。このような構成によれば、細胞の活性度が上がっているのか下がっているのかを読み違えることなく直ちに且つ正確に認識することができる。
【００５３】
以上は、細胞活性の判断指標としてテクスチャ特徴量の差分が選択された場合（あるいは初期設定されている場合）について説明したが、第１像と第２像との差分が選択された場合についても同様である。また細胞活性の判断指標としてテクスチャ特徴量の相関値または第１像と第２像との相関値が選択された場合（あるいは初期設定されている場合）についても同様に適用することができ、相関値の時系列変化を表示することによって観察細胞の生死判別や活性度を判断することができる。なお、図１と図１０とを対比して明らかなように、細胞活性の判断指標として相関値を採用した場合には、相関値が増加傾向の場合に細胞活性が低下状態にあり、相関値が低下傾向の場合に細胞活性が上昇状態になる。すなわち、グラフ上に表示される相関値の変化と細胞の活性状態とが逆の関係で表示され、直感的に受けるイメージと異なったものになる。この点、画像解析部１２０が、細胞の活性状態を判断して細胞活性グラフＧａに「細胞活性低下」、「細胞活性上昇」の文字や図形等を点灯または点滅表示し、あるいはグラフを色分け表示するような構成によれば、直感から生じる誤認識を防止し細胞の状態を正確に認識させることができる。
【００５４】
また、操作パネル７１において特定の細胞Ｏ3が選択された場合について説明したが、選択操作を伴うことなく、画像解析部１２０が観察視野内に含まれるすべての細胞について上記処理を実行し、出力部１３０から各細胞Ｏ1,Ｏ2,Ｏ3…Ｏnの個々の細胞活性グラフやこれらを重ねて表示するグラフ、あるいは視野内の細胞の全部または一部の平均値のグラフ、活性度判定結果等を出力するように構成してもよい。なお、出力部１３０から出力される上記のような細胞活性判別データを、通信部６５を介して外部接続されるコンピュータ等に送信し、同様の画像を表示させたり、細胞の運動解析や細胞トラッキング等を実行するための基礎データとして用いたりするように構成することができる。これにより、観察者は、表示パネル７２に表示された細胞活性グラフや外部接続されたコンピュータ等の表示装置に表示された細胞活性グラフＧａを参照することにより、観察中の（または既に観察画像が取得されＲＡＭ６３に記憶されている）画像に含まれる細胞の活性度を判断することができる。
【００５５】
従って、以上説明したような細胞の状態判別手法、画像処理装置によれば観察細胞同士のテクスチャ特徴量の相関値または差分、若しくは第１像と第２像との相関値または差分の時系列変化により細胞の活性度を定量的に判断することができ、撮像装置により撮影され取得された観察画像だけから細胞の活性を的確に判断することができる。
【図面の簡単な説明】
【００５６】
【図１】縦軸に第１像のテクスチャ特徴量と第２像のテクスチャ特徴量との差分をとり、横軸に時間をとった場合の上記差分の時系列変化の様子を示す細胞活性グラフである。
【図２】本発明の適用例として示す培養観察システムの概要構成図である。
【図３】上記培養観察システムのブロック図である。
【図４】細胞の輪郭抽出を行う輪郭抽出処理の状況を例示する模式図である。
【図５】時刻ｔ-１の画像に含まれる細胞と時刻ｔの画像に含まれる細胞との対応付けを説明するための説明図である。
【図６】時刻ｔ-１から時刻ｔでの正常な生細胞の変化を例示する模式図である。
【図７】時刻ｔ-１から時刻ｔでの生細胞から死細胞への変化を例示する模式図である。
【図８】時間経過に伴う正常な生細胞の変化を例示する模式図である。
【図９】時間経過に伴う生細胞から死細胞への変化を例示する模式図である。
【図１０】縦軸に第１像と第２像との相関値をとり、横軸に時間をとった場合の上記相関値の時系列変化の様子を示す細胞活性グラフである。
【図１１】画像処理装置の概要構成を示すブロック図である。
【符号の説明】
【００５７】
ＢＳ 培養観察システム
Ｏ（Ｏ1,Ｏ2,Ｏ3…，Ｏ1´,Ｏ2´,Ｏ3´…） 観察細胞
５ 観察ユニット ６ 制御ユニット
５４ マクロ観察系 ５４ｃ 撮像装置
５５ 顕微観察系 ５５ｃ 撮像装置
６１ ＣＰＵ ６２ ＲＯＭ
６３ ＲＡＭ １００ 画像処理装置
１２０ 画像解析部 １３０ 出力部
【特許請求の範囲】
【請求項１】
撮像装置により所定時間を隔てて観察細胞が撮影された第１画像及び第２画像を順次取得し、
前記第１画像における前記観察細胞と前記第２画像における前記観察細胞との画像平面上の回転角度姿勢を揃え、
回転角度姿勢が揃えられた前記第１画像における前記観察細胞内部のテクスチャ特徴量と前記第２画像における前記観察細胞内部のテクスチャ特徴量との相関値または差分を順次算出して、
算出された前記相関値または前記差分の時系列変化に基づいて前記観察細胞の活性度を判別することを特徴とする細胞の状態判別手法。
【請求項２】
前記観察細胞の活性度は、前記差分が減少傾向の場合に前記観察細胞の活性が低下していると判断し、前記差分が増加傾向の場合に前記観察細胞の活性が上昇していると判断することを特徴とする請求項１に記載の細胞の状態判別手法。
【請求項３】
前記観察細胞の活性度は、前記相関値が増加傾向の場合に前記観察細胞の活性が低下していると判断し、前記相関値が減少傾向の場合に前記観察細胞の活性が上昇していると判断することを特徴とする請求項１に記載の細胞の状態判別手法。
【請求項４】
細胞を撮影する撮像装置と、前記撮像装置により撮影された画像を取得して前記画像を解析する画像解析部と、前記画像解析部による解析結果を出力する出力部とを備え、
前記画像解析部は、
前記撮像装置により所定時間を隔てて観察細胞が撮影された第１画像及び第２画像を順次取得し、前記第１画像における前記観察細胞と前記第２画像における前記観察細胞との画像平面上の回転角度姿勢を揃え、回転角度姿勢が揃えられた前記第１画像における前記観察細胞内部のテクスチャ特徴量と前記第２画像における前記観察細胞内部のテクスチャ特徴量との相関値または差分を順次算出して、算出された前記相関値または前記差分の時系列の変化状態を導出し、
前記出力部が、前記画像解析部により導出された前記相関値または前記差分の時系列の変化状態を出力するように構成したことを特徴とする細胞観察の画像処理装置。
【請求項５】
前記画像解析部は、前記相関値または前記差分の時系列の変化状態に基づいて前記観察細胞の活性度を判別し、
前記出力部が、前記画像解析部により判別された前記観察細胞の活性度を出力するように構成したことを特徴とする請求項４に記載の細胞観察の画像処理装置。
【請求項６】
前記画像解析部は、前記差分が減少傾向の場合に前記観察細胞の活性が低下していると判断し、前記差分が増加傾向の場合に前記観察細胞の活性が上昇していると判断することを特徴とする請求項５に記載の細胞観察の画像処理装置。
【請求項７】
前記画像解析部は、前記相関値が増加傾向の場合に前記観察細胞の活性が低下していると判断し、前記相関値が減少傾向の場合に前記観察細胞の活性が上昇していると判断することを特徴とする請求項５に記載の細胞観察の画像処理装置。
【請求項１】
撮像装置により所定時間を隔てて観察細胞が撮影された第１画像及び第２画像を順次取得し、
前記第１画像における前記観察細胞と前記第２画像における前記観察細胞との画像平面上の回転角度姿勢を揃え、
回転角度姿勢が揃えられた前記第１画像における前記観察細胞内部のテクスチャ特徴量と前記第２画像における前記観察細胞内部のテクスチャ特徴量との相関値または差分を順次算出して、
算出された前記相関値または前記差分の時系列変化に基づいて前記観察細胞の活性度を判別することを特徴とする細胞の状態判別手法。
【請求項２】
前記観察細胞の活性度は、前記差分が減少傾向の場合に前記観察細胞の活性が低下していると判断し、前記差分が増加傾向の場合に前記観察細胞の活性が上昇していると判断することを特徴とする請求項１に記載の細胞の状態判別手法。
【請求項３】
前記観察細胞の活性度は、前記相関値が増加傾向の場合に前記観察細胞の活性が低下していると判断し、前記相関値が減少傾向の場合に前記観察細胞の活性が上昇していると判断することを特徴とする請求項１に記載の細胞の状態判別手法。
【請求項４】
細胞を撮影する撮像装置と、前記撮像装置により撮影された画像を取得して前記画像を解析する画像解析部と、前記画像解析部による解析結果を出力する出力部とを備え、
前記画像解析部は、
前記撮像装置により所定時間を隔てて観察細胞が撮影された第１画像及び第２画像を順次取得し、前記第１画像における前記観察細胞と前記第２画像における前記観察細胞との画像平面上の回転角度姿勢を揃え、回転角度姿勢が揃えられた前記第１画像における前記観察細胞内部のテクスチャ特徴量と前記第２画像における前記観察細胞内部のテクスチャ特徴量との相関値または差分を順次算出して、算出された前記相関値または前記差分の時系列の変化状態を導出し、
前記出力部が、前記画像解析部により導出された前記相関値または前記差分の時系列の変化状態を出力するように構成したことを特徴とする細胞観察の画像処理装置。
【請求項５】
前記画像解析部は、前記相関値または前記差分の時系列の変化状態に基づいて前記観察細胞の活性度を判別し、
前記出力部が、前記画像解析部により判別された前記観察細胞の活性度を出力するように構成したことを特徴とする請求項４に記載の細胞観察の画像処理装置。
【請求項６】
前記画像解析部は、前記差分が減少傾向の場合に前記観察細胞の活性が低下していると判断し、前記差分が増加傾向の場合に前記観察細胞の活性が上昇していると判断することを特徴とする請求項５に記載の細胞観察の画像処理装置。
【請求項７】
前記画像解析部は、前記相関値が増加傾向の場合に前記観察細胞の活性が低下していると判断し、前記相関値が減少傾向の場合に前記観察細胞の活性が上昇していると判断することを特徴とする請求項５に記載の細胞観察の画像処理装置。
【図１】
【図２】
【図３】
【図５】
【図１０】
【図１１】
【図４】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図５】
【図１０】
【図１１】
【図４】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−２２３１８（Ｐ２０１０−２２３１８Ａ）
【公開日】平成２２年２月４日（２０１０．２．４）
【国際特許分類】
【出願番号】特願２００８−１８９９９５（Ｐ２００８−１８９９９５）
【出願日】平成２０年７月２３日（２００８．７．２３）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２２年２月４日（２０１０．２．４）
【国際特許分類】
【出願日】平成２０年７月２３日（２００８．７．２３）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]