細胞観察の画像解析方法、画像処理プログラム及び画像処理装置
【課題】細胞の運動状態を定量的に把握可能な手段を提供する。
【解決手段】細胞観察の画像処理プログラムは、撮像装置により撮影され観察領域内に複数の細胞を含む第１画像及び第１画像よりも所定時間前に撮像装置により撮影された前記観察領域の第２画像を取得するステップ（Ｓ４０，Ｓ４５）と、第１画像に含まれる複数の細胞から一の細胞を注目細胞として選択するステップ（Ｓ３０）と、注目細胞の周辺に位置する細胞を周辺細胞として指定するステップ（Ｓ３５）と、第１画像及び第２画像における注目細胞と周辺細胞の相対移動量に基づいて注目細胞に対する周辺細胞の速度の統計量を算出するステップ（Ｓ５０）と、算出された各周辺細胞の速度の統計量を外部に出力するステップ（Ｓ５５）とを備えて構成される。
【解決手段】細胞観察の画像処理プログラムは、撮像装置により撮影され観察領域内に複数の細胞を含む第１画像及び第１画像よりも所定時間前に撮像装置により撮影された前記観察領域の第２画像を取得するステップ（Ｓ４０，Ｓ４５）と、第１画像に含まれる複数の細胞から一の細胞を注目細胞として選択するステップ（Ｓ３０）と、注目細胞の周辺に位置する細胞を周辺細胞として指定するステップ（Ｓ３５）と、第１画像及び第２画像における注目細胞と周辺細胞の相対移動量に基づいて注目細胞に対する周辺細胞の速度の統計量を算出するステップ（Ｓ５０）と、算出された各周辺細胞の速度の統計量を外部に出力するステップ（Ｓ５５）とを備えて構成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定時間ごとに細胞観察を行って取得した画像から細胞の運動状態を解析する細胞観察の画像処理手段に関するものである。
【背景技術】
【０００２】
細胞運動の基本的な情報として細胞分裂がある。一般的に細胞分裂と足場の形成には関連があるとされており、単一で存在する細胞よりも寄り集まった細胞集団の方が正常な増殖速度を維持できる。一方、細胞によってはＰＤＧＦ（血小板由来増殖因子）のような成長因子を分泌し他集団の増殖を制御することもある（例えば、非特許文献１を参照）。この様に細胞増殖は社会的相互作用によって制御されている。
【０００３】
従来では、上記のような細胞の増殖や抑制などの状況を、一定時間毎に顕微観察を行って顕微観察像を撮影し、撮影された多数の顕微観察画像を観察して判定していた。例えば、細胞観察する上で細胞同士が接着し合いコロニー化する状況を、細胞の挙動による単独からコロニーへの変化として二値の観察を行っていた。
【非特許文献１】ブルース・アルバート（Bruce Albert）他著、中村桂子監訳、松原謙一監訳、「細胞の分子生物学（Molecular biology of the Cell：米国）」、第２版、東京ニュートンプレス、１９９３年１１月、ｐ．748〜749，ｐ．1188〜1189
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記のように、従来の観察手法で把握される細胞の挙動は二値の変化にとどまり、細胞が集合しコロニー化するときの時系列変化や、細胞の増殖が抑制されて縮退してゆくときの時系列変化、細胞が離散してゆくときの時系列変化等について、「変化の定量化」が必要となった場合の解析手法が未解決であった。
【０００５】
また、一定時間ごとの顕微観察による判定では、撮影された膨大な顕微観察画像に基づいて判定する必要があった。そのため、多数のパラメータを僅かずつ変化させ、組み合わせごとに細胞の挙動を観察する創薬のような技術分野において、挙動解析に多大な時間を要しており、研究者の健康衛生を確保する上でも課題として指摘されていた。さらに、薬剤の作用には、特定の細胞の細胞死を引き起こすものと増殖を阻害するものがある。これまで、細胞増殖を阻害する薬剤の評価は、一般的には細胞分裂アッセイ試薬を用いて行われており、単一種を培養する環境下でないと他種細胞の分裂を含んだ値しか出せなかった。しかし、実際には他種細胞との社会的作用により制御されている細胞もあり、これらの細胞についての評価が正確性の面で課題とされていた。
【０００６】
本発明は、上記課題に鑑みてなされたものであり、細胞の運動状態を定量的に把握する手段を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明を例示する第１の態様に従えば、撮像装置により撮影され観察領域内に複数の細胞を含む第１画像及び第１画像よりも所定時間前に撮像装置により撮影された前記観察領域の第２画像を取得し、第１画像に含まれる複数の細胞から一の細胞を選択して注目細胞とし、注目細胞の周辺に位置する細胞を周辺細胞として、第１画像及び第２画像における注目細胞に対する各周辺細胞の相対移動量に基づいて注目細胞に対する周辺細胞の速度の統計量（例えば、実施形態における引力斥力速度、引力斥力量）を算出して、注目細胞に関する各周辺細胞の相互作用の状態を判断可能に構成したことを特徴とする細胞観察の画像解析方法が提供される。
【０００８】
本発明を例示する第２の態様に従えば、撮像装置により撮影され観察領域内に複数の細胞を含む第１画像及び第１画像よりも所定時間前に撮像装置により撮影された前記観察領域の第２画像を取得するステップと、第１画像に含まれる複数の細胞から一の細胞を注目細胞として選択するステップと、注目細胞の周辺に位置する細胞を周辺細胞として指定するステップと、第１画像及び第２画像における注目細胞と周辺細胞の相対移動量に基づいて注目細胞に対する周辺細胞の速度の統計量（例えば、実施形態における引力斥力速度、引力斥力量）を算出するステップと、算出された各周辺細胞の速度の統計量を外部に出力するステップとを備え、注目細胞に関する各周辺細胞の相互作用の状態を判断可能に構成したことを特徴とする細胞観察の画像処理プログラムが提供される。
【０００９】
本発明を例示する第３の態様に従えば、細胞を撮影する撮像装置と、撮像装置により撮影された第１画像及び第１画像よりも所定時間前に撮像装置により撮影された第２画像を記憶する画像記憶部と、第１画像及び第２画像に基づいて観察領域内に位置する複数の細胞間の相互作用の状態を解析する画像解析部と、画像解析部による解析データを出力する出力部とを備え、画像解析部において、第１画像の観察視野内に含まれる複数の細胞から選択された一の注目細胞及び注目細胞の周辺に位置する周辺細胞について、第１画像及び第２画像における注目細胞と周辺細胞の相対移動量に基づいて注目細胞に対する周辺細胞の速度の統計量（例えば、実施形態における引力斥力速度、引力斥力量）を算出して、画像解析部において算出された速度の統計量を、出力部から出力させるように構成したことを特徴とする細胞観察の画像処理装置が提供される。
【発明の効果】
【００１０】
上記のような細胞観察の画像解析方法、画像処理プログラム、画像処理装置によれば、細胞の運動状態を定量的に把握する手段を提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態の具体的な説明に先立って、本実施形態を構成する基本原理について説明する。本実施形態は、社会的相互作用の一つである細胞間の引力・斥力を定量化することにより細胞状態を推定する新たな特徴量を提示するものである。
【００１２】
図２は、一つの細胞（注目細胞）Ciと、その周辺の他の細胞（周辺細胞）Cjをモデル化して示す運動解析モデルの概念図である。細胞の時系列画像に対して、ある時刻ｔの画像における注目細胞Ciと周辺細胞Cjの面積および位置（細胞の領域に対する重心や細胞の核の位置）と、その前の時刻ｔ−１の画像における同様の細胞の面積および位置を画像計測によって検出する。そして、注目細胞Ciについて、時刻ｔ−１における両細胞間の距離dj、互いの細胞を結ぶ線分Ｌを基準として注目細胞側から移動方向を見たときの角度θj、及び時刻ｔ−１から時刻ｔでの周辺細胞の移動量（注目細胞Ciに対する周辺細胞Cjの相対移動量）vjを算出する。このとき、注目細胞Ciの持つ周辺細胞Cjへの引力斥力速度Vijは、移動量vjを使って、
【数１】
となる。ただし、距離djが離れている場合については信頼性を考慮して重みづけをすることを考え、その重み関数をW(dj)とおくと、距離の重み関数を考慮した引力斥力速度は
【数２】
となる。周辺細胞がM個であれば引力斥力速度の総和（以下、「引力斥力量」という）Viは
【数３】
と表される。この引力斥力量Viを、注目細胞Ciにおけるi=1,...,Nとして画像内のすべての細胞について総和した統計量（特許請求の範囲における総合速度統計量、以下、「総引力斥力量」という）
【数４】
と計算する。
【００１３】
引力斥力速度は、正負の符号が角度θjによって変化し、引力と斥力とで符号が反転する。従って、細胞同士に引力が大きく生じている場合は総引力斥力量Vallが正の大きい値を、斥力が大きく生じている場合は総引力斥力量Vallが負の大きい値となって示される。従って、細胞の観察過程において時刻ｔ−１と時刻ｔの画像を解析して観察領域内の細胞の総引力斥力量を算出することにより、細胞の運動状態を定量的に把握することが可能となる。なお、距離djに応じた重み付けW(dj)については、例えば１／djなどの重み付けの他、二次の重み付けまたはガウシアンなど様々な重み付けが考えられる。これらは細胞同士の挙動を観察した上で決定することが望ましい。
【００１４】
以上では画像全体の細胞の引力、斥力を見てきたが、細胞個々の平均的な値
【数５】
や、最大値、最小値、さらにはヒストグラムなども、細胞の運動状態を定量的に表すわかりやすい指標となる。従って、このような基本原理に基づいて時系列画像を解析することにより、細胞観察する過程において、細胞同士に引力または斥力が働いていることの時系列変化を観察することが可能となる。
【００１５】
次に、本発明を実施するための形態について、図面を参照しながら説明する。本実施形態の細胞観察の画像処理装置を適用したシステムの一例として、培養観察システムの概要構成図及びブロック図を、それぞれ図３及び図４に示す。
【００１６】
この培養観察システムＢＳは、大別的には、筐体１の上部に設けられた培養室２と、複数の培養容器１０を収容保持する棚状のストッカー３と、培養容器１０内の試料を観察する観察ユニット５と、培養容器１０をストッカー３と観察ユニット５との間で搬送する搬送ユニット４と、システムの作動を制御する制御ユニット６と、画像表示装置を備えた操作盤７などから構成される。
【００１７】
培養室２は、培養する細胞の種別や目的等に応じた培養環境を形成し及び維持する部屋であり、環境変化やコンタミネーションを防止するためサンプル投入後は密閉状態に保持される。培養室２に付随して、培養室内の温度を昇温・降温させる温度調整装置２１、湿度を調整する加湿器２２、ＣＯ2ガスやＮ2ガス等のガスを供給するガス供給装置２３、培養室２全体の環境を均一化させるための循環ファン２４、培養室２の温度や湿度等を検出する環境センサ２５などが設けられている。各機器の作動は制御ユニット６により制御され、培養室２の温度や湿度、二酸化炭素濃度等により規定される培養環境が、操作盤７において設定された培養条件に合致した状態に維持される。
【００１８】
ストッカー３は、図３における紙面直行の前後方向、及び上下方向にそれぞれ複数に仕切られた棚状に形成されている。各棚にはそれぞれ固有の番地が設定されており、例えば前後方向をＡ〜Ｃ列、上下方向を１〜７段とした場合に、Ａ列５段の棚がＡ−５のように設定される。
【００１９】
培養容器１０は、フラスコやディッシュ、ウェルプレートなどの種類、丸型や角型などの形態、及びサイズがあり、培養する細胞の種別や目的に応じて適宜なものを選択し使用することができる。本実施形態ではディッシュを用いた構成を例示している。細胞などの試料は、フェノールレッドなどのｐＨ指示薬が入った液体培地とともに培養容器１０に注入される。培養容器１０にはコード番号が付与され、ストッカー３の指定番地に対応づけて収容される。なお、培養容器１０には、容器の種類や形態等に応じて形成された搬送用の容器ホルダが装着された状態で各棚に収容保持される。
【００２０】
搬送ユニット４は、培養室２の内部に上下方向に移動可能に設けられてＺ軸駆動機構により昇降されるＺステージ４１、Ｚステージ４１に前後方向に移動可能に取り付けられてＹ軸駆動機構により前後移動されるＹステージ４２、Ｙステージ４２に左右方向に移動可能に取り付けられてＸ軸駆動機構により左右移動されるＸステージ４３などからなり、Ｙステージに対して左右移動されるＸステージ４３の先端側に、培養容器１０を持ちあげ支持する支持アーム４５が設けられている。搬送ユニット４は、支持アーム４５がストッカー３の全棚と観察ユニット５の試料台１５との間を移動可能な移動範囲を有して構成される。Ｘ軸駆動機構、Ｙ軸駆動機構、Ｚ軸駆動機構は、例えばボールネジとエンコーダ付きのサーボモータにより構成され、その作動が制御ユニット６により制御される。
【００２１】
観察ユニット５は、第１照明部５１、第２照明部５２及び第３照明部５３と、試料のマクロ観察を行うマクロ観察系５４、試料のミクロ観察を行う顕微観察系５５、及び画像処理装置１００などから構成される。試料台１５は透光性を有する材質で構成されるとともに、顕微観察系５５の観察領域に透明な窓部１６が設けられている。
【００２２】
第１照明部５１は、下部フレーム１ｂ側に設けられた面発光の光源からなり、試料台１５の下側から培養容器１０全体をバックライト照明する。第２照明部５２は、ＬＥＤ等の光源と、位相リングやコンデンサレンズ等からなる照明光学系とを有して培養室２に設けられており、試料台１５の上方から顕微観察系５の光軸に沿って培養容器中の試料を照明する。第３照明部５３は、それぞれ落射照明観察や蛍光観察に好適な波長の光を出射する複数のＬＥＤや水銀ランプ等の光源と、各光源から出射された光を顕微観察系５５の光軸に重畳させるビームスプリッタや蛍光フィルタ等からなる照明光学系とを有して、培養室２の下側に位置する下部フレーム１ｂ内に配設されており、試料台１５の下方から顕微観察系５の光軸に沿って培養容器中の試料を照明する。
【００２３】
マクロ観察系５４は、観察光学系５４ａと観察光学系により結像された試料の像を撮影するＣＣＤカメラ等の撮像装置５４ｃとを有し、第１照明部５１の上方に位置して培養室２内に設けられている。マクロ観察系５４は、第１照明部５１によりバックライト照明された培養容器１０の上方からの全体観察画像（マクロ像）を撮影する。
【００２４】
顕微観察系５５は、対物レンズや中間変倍レンズ、蛍光フィルタ等からなる観察光学系５５ａと、観察光学系５５ａにより結像された試料の像を撮影する冷却ＣＣＤカメラ等の撮像装置５５ｃとを有し、下部フレーム１ｂの内部に配設されている。対物レンズ及び中間変倍レンズは、それぞれ複数設けられるとともに、詳細図示を省略するレボルバやスライダなどの変位機構を用いて複数倍率に設定可能に構成されており、初期選択のレンズ設定に応じて、例えば２倍〜８０倍等の範囲で変倍可能になっている。顕微観察系５５は、第２照明部５２により照明されて細胞を透過した透過光、若しくは第３照明部５３により照明されて細胞により反射された反射光、または第３照明部５３により照明されて細胞が発する蛍光、を顕微鏡観察した顕微観察像（ミクロ像）を撮影する。
【００２５】
画像処理装置１００は、マクロ観察系の撮像装置５４ｃ及び顕微観察系の撮像装置５５ｃから入力された信号をＡ／Ｄ変換するとともに、各種の画像処理を施して全体観察画像または顕微観察画像の画像データを生成する。また、画像処理装置１００は、これらの観察画像の画像データに画像解析を施し、タイムラプス画像の生成や細胞の移動量算出、細胞の運動状態の解析等を行う。画像処理装置１００は、具体的には、次述する制御装置６のＲＯＭに記憶された画像処理プログラムが実行されることにより構築される。なお、画像処理装置１００については、後に詳述する。
【００２６】
制御ユニット６は、ＣＰＵ６１と、培養観察システムＢＳの作動を制御する制御プログラムや各部を制御するためのデータが設定記憶されたＲＯＭ６２と、画像データ等を一時記憶するＲＡＭ６３などを有し、これらがデータバスにより接続されて構成される。制御ユニット６の入出力ポートには、培養室２における温度調整装置２１、加湿器２２、ガス供給装置２３、循環ファン２４及び環境センサ２５、搬送装置４におけるＸ，Ｙ，Ｚステージ４３，４２，４１の各軸の駆動機構、観察ユニット５における第１，第２，第３照明部５１，５２，５３、マクロ観察系５４及び顕微観察系５５、操作盤７における操作パネル７１や表示パネル７２などが接続されている。ＣＰＵ６１には上記各部から検出信号が入力され、ＲＯＭ６２に予め設定された制御プログラムに従って上記各部を制御する。
【００２７】
操作盤７には、キーボードやシートスイッチ、磁気記録媒体や光ディスク等から情報を読み込み及び書き込みするリード／ライト装置などの入出力機器が設けられた操作パネル７１と、種々の操作画面や画像データ等を表示する表示パネル７２とが設けられており、表示パネル７２を参照しながら操作パネル７１で観察プログラム（動作条件）の設定や条件選択、動作指令等を入力することで、ＣＰＵ６１を介して培養観察システムＢＳの各部を動作させる。すなわち、ＣＰＵ６１は操作パネル７１からの入力に応じて培養室２の環境調整、培養室２内での培養容器１０の搬送、観察ユニット５による試料の観察、取得された画像データの解析及び表示パネル７２への表示などを実行する。表示パネル７２には、作動指令や条件選択等の入力画面のほか、培養室２の環境条件の各数値や、解析された画像データ、異常発生時の警告などが表示される。また、ＣＰＵ６１は有線または無線の通信規格に準拠して構成された通信部６５を介して、外部接続されるコンピュータ等との間でデータの送受信が可能になっている。
【００２８】
ＲＡＭ６３には、操作パネル７１において設定された観察プログラムの動作条件、例えば培養室２の温度や湿度等の環境条件や、培養容器１０ごとの観察スケジュール、観察ユニット５における観察種別や観察位置、観察倍率等の観察条件などが記録される。また、培養室２に収容された各培養容器１０のコード番号、各コード番号の培養容器１０が収容されたストッカー３の収納番地などの培養容器１０の管理データや、画像解析に用いる各種データが記録される。ＲＡＭ６３には、観察ユニット５により撮影された画像データを記録する画像データ記憶領域（後述する画像記憶部１１０）が設けられ、各画像データには培養容器１０のコード番号と撮影日時等を含むインデックス・データとが対応付けて記録される。
【００２９】
このように概要構成される培養観察システムＢＳでは、操作盤７において設定された観察プログラムの設定条件に従い、ＣＰＵ６１がＲＯＭ６２に記憶された制御プログラムに基づいて各部の作動を制御するとともに、培養容器１０内の試料の撮影を自動的に実行する。すなわち、操作パネル７１に対するパネル操作（または通信部６５を介したリモート操作）によって観察プログラムがスタートされると、ＣＰＵ６１が、ＲＡＭ６３に記憶された環境条件の各条件値を読み込むとともに、環境センサ２５から入力される培養室２の環境状態を検出し、条件値と実測値との差異に応じて温度調整装置２１、加湿器２２、ガス供給装置２３、循環ファン２４等を作動させて、培養室２の温度や湿度、二酸化炭素濃度などの培養環境についてフィードバック制御が行われる。
【００３０】
また、ＣＰＵ６１は、ＲＡＭ６３に記憶された観察条件を読み込み、観察スケジュールに基づいて搬送ユニット４のＸ，Ｙ，Ｚステージ４３，４２，４１の各軸の駆動機構を作動させてストッカー３から観察対象の培養容器１０を観察ユニット５の試料台１５に搬送して、観察ユニット５による観察を開始させる。例えば、観察プログラムにおいて設定された観察がマクロ観察である場合には、搬送ユニット４によりストッカー３から搬送してきた培養容器１０をマクロ観察系５４の光軸上に位置決めして試料台１５に載置し、第１照明部５１の光源を点灯させて、バックライト照明された培養容器１０の上方から撮像装置５４ｃにより全体観察像を撮影する。撮像装置５４ｃから制御装置６に入力された信号は、画像処理装置１００により処理されて全体観察画像が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３に記録される。
【００３１】
また、観察プログラムにおいて設定された観察が、培養容器１０内の特定位置の試料のミクロ観察である場合には、搬送ユニット４により搬送してきた培養容器１０の特定位置を顕微観察系５５の光軸上に位置決めして試料台１５に載置し、第２照明部５２または第３照明部５３の光源を点灯させて、透過照明、落射照明、蛍光による顕微観察像を撮像装置５５ｃに撮影させる。撮像装置５５ｃにより撮影されて制御装置６に入力された信号は、画像処理装置１００により処理されて顕微観察画像が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３に記録される。
【００３２】
ＣＰＵ６１は、上記のような観察を、ストッカー３に収容された複数の培養容器の試料について、観察プログラムに基づいた３０分〜２時間程度の時間間隔の観察スケジュールで全体観察像や顕微観察像の撮影を順次実行する。なお、本実施形態では、撮影の時間間隔は一定であってもよいし、異なっていてもよい。撮影された全体観察像や顕微観察像の画像データは、培養容器１０のコード番号とともにＲＡＭ６３の画像データ記憶領域（画像記憶部１１０）に記録される。ＲＡＭ６３に記録された画像データは、操作パネル７１から入力される画像表示指令に応じてＲＡＭ６３から読み出され、指定時刻の全体観察画像や顕微観察画像（単体画像）、あるいは指定時間領域の全体観察像や顕微観察像のタイムラプス画像が操作盤７の表示パネル７２に表示される。
【００３３】
さて、以上のように構成される培養観察システムＢＳにおいて、画像処理装置１００は、上記したタイムラプス画像の生成などの基本機能に加えて、観察領域内の細胞の運動状態を解析する画像解析機能を備えている。以降、画像処理装置１００が実行する画像解析の具体的な内容を説明するにあたり、まず２つの時系列画像から細胞の運動状態を定量的に算出する手法について説明する。
【００３４】
（前処理）
図５は、ある時刻ｔに撮影された細胞の顕微観察画像を模式的に示した図である。まず、この画像について、細胞個々の領域を抽出しセグメンテーションする。たとえば輝度値による２値化、分散値による２値化、SnakesやLevel Set法などといった動的輪郭抽出手法といった方法が上げられる。これにより図６に示すようにセグメント化された細胞領域に対して、ラベリングを施し、各細胞ラベルに対して周辺細胞のラベルを計測する手法をとる。
【００３５】
次に、図７に示すように、時刻tに撮影された画像の細胞（実線で示す細胞）と、所定時間前に撮影された時刻t−1の画像における細胞（点線で示す細胞）の対応付け、すなわち細胞トラッキングを行う。ここでは、時刻tと時刻t−1での細胞領域ラベルに対して互いに最も近傍かつ形状が似ているものを選択する。これにより各細胞の時刻ｔ−１からｔへの移動ベクトルを算出する。
【００３６】
（引力、斥力の計算）
前処理で得られた各細胞の移動ベクトルに対し、注目細胞Ciと周辺細胞の一つCjに対して引力または斥力による速度の統計量を算出する。速度の統計量として、注目細胞Ciに対する周辺細胞Cjの引力斥力速度や引力斥力量が代表例として挙げられる。図２に示したように、注目細胞Ciに対してその周辺細胞の一つCjの時刻ｔ−１からｔでの特徴が
細胞面積sj・・・周辺細胞Cjの輪郭内部面積
移動量vj・・・・注目細胞Ciに対する周辺細胞Cjの相対移動量
距離dj・・・・・注目細胞Ciと周辺細胞Cjの距離
角度θj・・・・細胞を結ぶ線分Ｌを基準として移動方向を見たときの角度
であるとする。まず、細胞が何らかのイオン物質を出し合い、その濃度によって引力または斥力が効いてくるのであれば、細胞間の距離djに反比例するようなエネルギーが考えられ、この場合重み関数W(dj)は、
【数６】
面積に関係してくるならば、
【数７】
となる。または、重みを付ける範囲をある一定の範囲内として決めることができるならば、
【数８】
ここで、Dは細胞のインタラクション（相互作用）の範囲：ユーザー指定
といったことも考えられる。
さらに確率的に考えるならば、確率密度関数として正規分布
【数９】
σは標準偏差
といった定義も考えられる。
このとき、注目細胞Ciが一つの周辺細胞Cjに及ぼす引力斥力速度Vijは、
【数１０】
となる。
これをすべての周辺細胞（M個）に適用すると、注目細胞Ciのもつ引力斥力量Viは、
【数１１】
となる。これを画像内のすべての細胞について、注目細胞Ciにおけるi=1〜Nとして注目細胞を置き換えて総和した総引力斥力量
【数１２】
を算出する。前述したように、細胞同士に引力が大きく生じている場合には総引力斥力量Vallが正の大きい値を、斥力が大きく生じている場合には総引力斥力量Vallが負の大きい値となる。従って、細胞の観察過程において時刻ｔ−１と時刻ｔの２つの画像を解析して観察領域内の細胞の総引力斥力量Vallを算出することにより、細胞の運動状態を、引力であるか斥力であるかの別を含めて定量的に把握することが可能となる。
【００３７】
さらに、図８(１)→(２)のような状態変化を生じる時系列データについて、所定時間ごとに算出された総引力斥力量の値を時系列に並べて表示し、例えば、図９に示すように横軸を時間軸としたグラフ上にプロットすることにより、引力の変化状況を可視化した変化グラフが得られる。これは、はじめ離散していた細胞が互いに固まりとなり、コロニーへと変貌を遂げる定量性を表すこととなり、細胞群の変化状況を定量的にかつ容易に把握することができる。
また、細胞個々の平均的な値や、最大値、最小値、
【数１３】
さらにヒストグラムなどの統計量の時系列変化も、細胞の運動状態を表す指標として興味深いものとなる。また、正の値（引力）のみ、または負の値（斥力）のみを取り扱い、引力と斥力と別々に観察することも考えられる。
【００３８】
このような速度の統計量を画像解析により求めて細胞同士のインタラクション観察を行う上で、その観察アプリケーションとして、以下のような例が挙げられる。
【００３９】
（Ａ：計測細胞の指定）
観察者が計測対象となる細胞を１つまたは複数指定し、指定した計測細胞に対する引力・斥力の速度総和計算をする。例えば、図１０(１)(２)に例示するように、画像に含まれる多数の細胞の中から特定の細胞を計測細胞Csとして指定し、引力・斥力の有効な距離（範囲）を設定して、その指定した計測細胞Csに対する引力・斥力の速度総和を計算する。また、この計測対象となる１つの細胞Csへの周辺細胞のもつ引力斥力速度を、図１１に示すようにそれぞれ表示させる。これにより、その計測対象細胞Csへの個々の運動状態や最も引力または斥力が働いている細胞等を知ることができる。
【００４０】
（Ｂ：速度の統計量計算および時系列変化）
図１２に示すように、Ａで指定した計測細胞Csを順次他の細胞に置き換えてそれぞれ各細胞の引力斥力速度を求め、求めた引力斥力速度の総和を各細胞に対して計算して各細胞について引力斥力量を表示すると、その最大値から視野内において最も影響を及ぼしている細胞を知ることができる。また、細胞個々の速度総和の統計量として、その平均値や最大値、最小値、総引力斥力量、分散を表示することにより全体の状況を知ることができる。さらに、これらの時系列データを時間軸に沿ってグラフ表示させることにより時間領域での変化を容易に把握することができる。またＡで指定した計測細胞Cs自身の速度、大きさ（面積）、形状（円形度や複雑度などを含む）などの時系列変化量についても表示させることができ、これにより細胞の運動状態を詳細に把握することができる。
【００４１】
次に、画像処理装置１００において実行される画像解析の具体的なアプリケーションについて生細胞の顕微観察画像（位相差画像）を解析する場合を例として説明する。図１３に、画像処理装置１００において細胞の運動状態の画像解析を行う画像解析部分の概要構成をブロック図として示す。
【００４２】
画像処理装置１００は、撮像装置（５４ｃ，５５ｃ）により撮影された第１画像、及び第１画像よりも所定時間前の時刻ｔ−１に撮影された第２画像を記憶する画像記憶部１１０と、第１画像及び第２画像に基づいて観察領域内に位置する複数の細胞間に作用する相互作用の状態（引力または斥力の作用状態）を解析する画像解析部１２０と、画像解析部１２０による解析データを出力する出力部１３０とを備え、画像解析部１２０において第１画像及び第２画像における注目細胞と周辺細胞の相対位置と相対移動量に基づいて各細胞の引力斥力速度を算出するとともに、これを総和して注目細胞の引力斥力量を算出し、さらに注目細胞を順次置き換えて求めた引力斥力量を総和して細胞全体の総引力斥力量を算出して、出力部１３０から出力して、例えば表示パネル７２に表示させるように構成される。
【００４３】
なお、画像処理装置１００は、ＲＯＭ６２に予め設定記憶された画像処理プログラムがＣＰＵ６１に読み込まれ、画像処理プログラムに基づく処理がＣＰＵ６１により実行されることによって構成される。
【００４４】
本実施形態の画像解析の処理は、既に観察プログラムに基づいて所定時間ごとに撮影されて画像記憶部１１０に保存された時系列画像について実行可能であるのみならず、観察時点での細胞の運動状態を解析してリアルタイムでモニタリングすることが可能である。そこで、本実施例ではこのリアルタイムでの画像解析処理について、図１に示す画像処理プログラムＧＰのフローチャート、および図１４に示す表示パネル７２に表示される培養細胞運動解析インターフェースの表示画像を参照しながら説明する。
【００４５】
このインターフェースでは、表示パネル７２に「ディッシュ選択」枠７２１が表示されてストッカー３に格納された培養容器のコード番号が表示され、ステップＳ１０において、観察対象の培養容器１０の選択が行われる。図１４では、操作パネル７１に設けられたカーソルによりコード番号Cell-0002の培養細胞ディッシュ（培養容器）が選択された状態を示す。
【００４６】
ステップＳ１０において観察対象が選択されると、ＣＰＵ６１は、搬送ユニット４の各軸の駆動機構を作動させ、ストッカー３から観察対象の培養容器１０を観察ユニット５に搬送する。そして、マクロ観察系５４による全体観察像または顕微観察系５５による顕微観察像を撮像装置（５４ｃ，５５ｃ）に撮影させ、その画像を「観察位置」枠７２２に表示させる。
【００４７】
ステップＳ２０では、どの領域を観察領域にするか観察位置の設定が行われる。図１４では、観察者が操作パネル７１に設けられたマウス等を利用して中央右よりの網掛け領域を指定した状態を示す。このとき、設定された観察領域の画像は、画像解析部１２０においてすぐにセグメンテーション処理が施され、位相差画像に細胞輪郭を重ね合わせた画像または細胞輪郭による模式図（セグメンテーション画像）が「観察画像」枠７２３に表示される。このとき、表示パネル７２に、「計測細胞の指定」７２４ａ及び「周辺細胞の指定」７２４ｂを含む「運動解析オプション」枠７２４が表示される。
【００４８】
ステップＳ３０では、観察者が「観察画像」枠７２３に表示された模式図上でマウスにより引力斥力速度を知りたい計測対象の細胞を選択し、「計測細胞の指定」７２４ａの決定ボタンを押して計測細胞Csを確定する。次にステップＳ３５において周辺細胞Cjを手動で指定するか計測細胞Csからの距離（半径）で指定するかを「周辺細胞の指定」７２４ｂに設けられた選択ボタンにより選択する。手動を選択した場合には、周辺細胞Cjをマウスにより個々に選択して決定ボタンを押すことで確定し、半径指定を選択した場合にはその半径値を数値（単位はピクセルやμｍなど）またはマウスで入力する。
【００４９】
これを初期設定とし、観察プログラムに設定された所定時間ごとの観察スケジュールで観察画像の取り込み（ステップＳ４０）、観察画像の保存（ステップＳ４５）が実行されタイムラプス観察が行われる。ステップＳ３０及びステップＳ３５で指定された観察領域内の計測細胞Cs及び周辺細胞Cjは、観察スケジュールに設定された所定時間ごとに画像解析部１２０において細胞画像のセグメンテーションとトラッキングが行われ、ステップＳ５０において各細胞の引力斥力速度が計算される。
【００５０】
各細胞の引力斥力速度計算（ステップＳ５０）の内容については、既に詳述したとおり、これをフローチャートに簡潔にまとめたのが図１中の右列のフロー（ステップＳ５１〜ステップＳ５５）である。すなわち、画像解析部１２０における各細胞の引力斥力速度計算は、時刻ｔの観察画像（第１画像）と所定時間前の時刻ｔ−１の観察画像（第２画像）について、図６に示した細胞の最外殻輪郭抽出処理（セグメンテーション処理：ステップＳ５１）、これらの２つの画像間において図７に示した計測細胞Cs及び周辺細胞Cjの対応付け（ステップＳ５２）、この対応付けにより求められる計測細胞Csに対する周辺細胞Cjの移動ベクトルの算出（ステップＳ５３）、図２の移動モデルで説明した手法により上記移動ベクトルに基づいて求められる計測細胞Csに対する各周辺細胞Cjの引力斥力速度の算出（ステップＳ５４）が行われ、各細胞の引力斥力速度の計算、すなわち、M個の周辺細胞について注目細胞Ciに関する引力斥力量Viが計算されるとともに、注目細胞を置き換えた場合の各細胞の引力斥力量が算出されて、これらの計算結果が出力部１３０から出力される（ステップＳ５５）。
【００５１】
そして、ステップＳ６０において、図１１に示したように各周辺細胞Cjの引力斥力速度や、図１２に示したような各細胞の引力斥力量が各観察ごとに「観察画像」枠７２３の表示画面にリアルタイムで表示され、算出された各細胞の引力斥力速度の値がＲＡＭ６３に蓄積される。また、ステップＳ７０において、計測細胞Csを注目細胞Ciとし、Ciにおけるi=1〜Nとして注目細胞を置き換えて観察領域に含まれる全細胞の引力斥力量の総和（総引力斥力量）Vallの計算が実行され、これらの計算結果がＲＡＭ６３に蓄積される。インターフェースでは、図１１に示す各周辺細胞の引力斥力速度の表示、あるいは図１２に示す引力斥力量の表示などを、「観察画像」枠７２３に設けた選択ボタンにより選択し表示させることができるようになっている。
【００５２】
タイムラプス観察の実行中には、これが「時系列変化グラフ」枠７２５にグラフとしてリアルタイム表示される。このグラフには、図１２を参照して先に説明したように、各細胞の引力斥力量の最大値や最小値、総引力斥力量、平均、分散などの時間軸上での変化が表示される他に、計測細胞Csの面積、形状変化（円形度や複雑度など）の経時変化が表示可能になっており、時系列変化グラフの表示項目の選択によって切り替え表示させることができる。さらに、出力部１３０には出力端子が設けられて通信部６５に接続されており、通信部６５を介して外部接続されるコンピュータ等に計算結果をエクスポートできるようになっている。
【００５３】
従って、このような画像解析手段（画像解析方法、画像処理プログラム、画像処理装置）によれば、タイムラプス観察の実行中に、観察対象の細胞の時々刻々の運動状態が具体的な数値やグラフでリアルタイム表示され、細胞の運動状態を迅速かつ定量的に把握することができる。
【００５４】
なお、上記実施例では、タイムラプス観察を開始する際に計測細胞Cs及び周辺細胞Cjを指定して、タイムラプス観察の継続中に画像解析を並行して実行し、解析結果をリアルタイム表示する構成を例示したが、本発明の画像解析は、一定時間のタイムラプス観察の実行（実行中）、またはタイムラプス観察を終了して、画像記憶部１１０に保存された時系列画像について実施することも可能である。そこで、以下に、このような場合の画像解析の流れについて、図１４及び図１を併せて参照しながら簡潔に説明する。
【００５５】
まず、ステップＳ１０において「ディッシュ選択」枠７２１に表示された培養容器のリストから観察対象のコード番号の培養容器（例えば前述したコード番号Cell-0002の培養細胞ディッシュ）を選択する。ここで選択された観察対象の時系列画像は既に画像記憶部１１０に保存されている（すなわち図１に示した画像処理プログラムにおけるステップＳ４０及びステップＳ４５は、ステップＳ１０より以前に実行されている）。そこで、ステップＳ１０で観察対象が選択されると、選択された培養容器の時刻ｔにおける観察画像（全体観察画像または顕微観察像）が画像記憶部１１０から読み出されて「観察位置」枠７２２に表示される。なお、観察期間中のどの時刻の画像を読み出すかを選択することができ、例えば観察開始時（第２番目のデータ）を選択し、あるいは観察期間の中間時や終了時を選択することができる。
【００５６】
ステップＳ２０では、「観察位置」枠に表示された画像から、どの領域を観察するか観察領域の設定を行う。設定された観察領域の画像は画像解析部１２０においてすぐにセグメンテーション処理が施され、位相差画像に細胞輪郭を重ね合わせた画像または細胞輪郭による模式図が「観察画像」枠に表示される。セグメンテーション処理は、時刻ｔとその所定時間前の時刻ｔ−１の２枚に対して行われ、模式図の表示は時刻ｔのみ、もしくは両者を時系列表示できるものとする。
【００５７】
次いで、ステップＳ３０において「観察画像」枠７２３に表示された模式図上で計測対象の細胞を選択し「計測細胞の指定」７２４ａの決定ボタンを押して計測細胞Csを確定する。また、ステップＳ３５において周辺細胞Cjを手動または計測細胞Csからの距離（半径）で指定し、決定ボタンを押して確定する。これらの選択設定は前述同様である。
【００５８】
ステップＳ３０及びステップＳ３５において計測細胞Cs及び周辺細胞Cjの設定が確定すると、画像解析部１２０は、まず、最初に画像記憶部１１０から読み出した時刻ｔと時刻ｔ−１の画像についてステップＳ５０の各細胞の引力斥力速度及び引力斥力量、ステップＳ７０の全細胞の総引力斥力量の計算を実行してＲＡＭ６３に記録する。また、既に所定の観察スケジュールで撮影され画像記憶部１１０に保存された観察画像（ステップＳ４０、ステップＳ４５）について時刻ｔを順次移動して読み出し、読み出された各画像からステップＳ２０において設定された観察領域の画像を切り出して、セグメンテーションとトラッキングを行い、ステップＳ５０及びステップＳ７０の計算を順次実行してＲＡＭ６３に記録する。
【００５９】
そして、「観察画像」枠７２３に設けられた選択ボタンの選択に応じて、図１１に示した周辺細胞の引力斥力速度、あるいは図１２に示した全細胞の引力斥力量や総引力斥力量が表示される。なおこれらの表示は、任意に選択した特定時刻の計算結果を表示させることができる。また、タイムラプス観察の実行中の場合には「時系列変化グラフ」枠７２５に現時点までの引力斥力量（最大値や最小値、平均値等）の変化がグラフとして表示され、観察終了後の場合には観察開始から終了に至る引力斥力量の変化が表示される。
【００６０】
以上説明したように、本発明の画像処理プログラムＧＰ、この画像処理プログラムが実行されることより構成される画像解析方法及び画像処理装置１００によれば、所定時間をおいて撮影された細胞観察像から、撮影時における細胞全体の総引力斥力量が算出される。このため、細胞全体の運動状態を迅速かつ定量的に把握する手段を提供することができる。
【００６１】
前述したように、細胞増殖には社会的相互作用が重要である。本発明では、細胞間の相互作用、すなわち引力・斥力の作用状態を算出することにより、他細胞を引き付け足場を形成する過程や、他種の細胞への侵襲過程を定量的に評価することができる。つまり、他細胞から隔離して正常な増殖を抑制する試薬のスクリーニングや、他細胞への侵襲抑制試薬のスクリーニングに使用可能である。
【図面の簡単な説明】
【００６２】
【図１】本発明の実施例として示す画像処理プログラムのフローチャートである。
【図２】注目細胞と周辺細胞をモデル化して示す運動解析モデルの概念図である。
【図３】本発明の適用例として示す培養観察システムの概要構成図である。
【図４】上記培養観察システムのブロック図である。
【図５】時刻ｔに撮影された細胞の顕微観察画像を模式的に示した模式図である。
【図６】図５に示した時刻ｔの顕微観察画像をセグメント化した状態の模式図である。
【図７】時刻tに撮影された画像の細胞（実線で示す細胞）と、時刻t−1に撮影された画像の細胞（点線で示す細胞）との対応付けを説明するための説明図である。
【図８】細胞群の時系列変化の状態を例示する模式図であり、(１)はじめ離散していた細胞が、(２)のようにコロニーへと変化して行く状態を示す模式図である。
【図９】細胞群がコロニー化して行く場合に、所定時間ごとに算出された総引力斥力量の値を横軸を時間軸としたグラフ上にプロットしたときの総引力斥力量の変化グラフである。
【図１０】計測対象となる計測細胞の指定について説明するための模式図である。
【図１１】計測細胞に対する周辺細胞の引力斥力速度を表示する画面の構成例である。
【図１２】引力斥力量を表示した画面の構成例である。
【図１３】画像処理装置の概要構成を示すブロック図である。
【図１４】画像解析プログラムを実行した場合に表示パネルに表示される培養細胞運動解析インターフェースの表示画像の構成例である。
【符号の説明】
【００６３】
ＢＳ 培養観察システム
ＧＰ 画像処理プログラム
Ci 注目細胞 Cj 周辺細胞
Cs 計測細胞（注目細胞）
５４ マクロ観察系 ５４ｃ 撮像装置
５５ 顕微観察系 ５５ｃ 撮像装置
１００ 画像処理装置 １１０ 画像記憶部
１２０ 画像解析部 １３０ 出力部
【技術分野】
【０００１】
本発明は、所定時間ごとに細胞観察を行って取得した画像から細胞の運動状態を解析する細胞観察の画像処理手段に関するものである。
【背景技術】
【０００２】
細胞運動の基本的な情報として細胞分裂がある。一般的に細胞分裂と足場の形成には関連があるとされており、単一で存在する細胞よりも寄り集まった細胞集団の方が正常な増殖速度を維持できる。一方、細胞によってはＰＤＧＦ（血小板由来増殖因子）のような成長因子を分泌し他集団の増殖を制御することもある（例えば、非特許文献１を参照）。この様に細胞増殖は社会的相互作用によって制御されている。
【０００３】
従来では、上記のような細胞の増殖や抑制などの状況を、一定時間毎に顕微観察を行って顕微観察像を撮影し、撮影された多数の顕微観察画像を観察して判定していた。例えば、細胞観察する上で細胞同士が接着し合いコロニー化する状況を、細胞の挙動による単独からコロニーへの変化として二値の観察を行っていた。
【非特許文献１】ブルース・アルバート（Bruce Albert）他著、中村桂子監訳、松原謙一監訳、「細胞の分子生物学（Molecular biology of the Cell：米国）」、第２版、東京ニュートンプレス、１９９３年１１月、ｐ．748〜749，ｐ．1188〜1189
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記のように、従来の観察手法で把握される細胞の挙動は二値の変化にとどまり、細胞が集合しコロニー化するときの時系列変化や、細胞の増殖が抑制されて縮退してゆくときの時系列変化、細胞が離散してゆくときの時系列変化等について、「変化の定量化」が必要となった場合の解析手法が未解決であった。
【０００５】
また、一定時間ごとの顕微観察による判定では、撮影された膨大な顕微観察画像に基づいて判定する必要があった。そのため、多数のパラメータを僅かずつ変化させ、組み合わせごとに細胞の挙動を観察する創薬のような技術分野において、挙動解析に多大な時間を要しており、研究者の健康衛生を確保する上でも課題として指摘されていた。さらに、薬剤の作用には、特定の細胞の細胞死を引き起こすものと増殖を阻害するものがある。これまで、細胞増殖を阻害する薬剤の評価は、一般的には細胞分裂アッセイ試薬を用いて行われており、単一種を培養する環境下でないと他種細胞の分裂を含んだ値しか出せなかった。しかし、実際には他種細胞との社会的作用により制御されている細胞もあり、これらの細胞についての評価が正確性の面で課題とされていた。
【０００６】
本発明は、上記課題に鑑みてなされたものであり、細胞の運動状態を定量的に把握する手段を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明を例示する第１の態様に従えば、撮像装置により撮影され観察領域内に複数の細胞を含む第１画像及び第１画像よりも所定時間前に撮像装置により撮影された前記観察領域の第２画像を取得し、第１画像に含まれる複数の細胞から一の細胞を選択して注目細胞とし、注目細胞の周辺に位置する細胞を周辺細胞として、第１画像及び第２画像における注目細胞に対する各周辺細胞の相対移動量に基づいて注目細胞に対する周辺細胞の速度の統計量（例えば、実施形態における引力斥力速度、引力斥力量）を算出して、注目細胞に関する各周辺細胞の相互作用の状態を判断可能に構成したことを特徴とする細胞観察の画像解析方法が提供される。
【０００８】
本発明を例示する第２の態様に従えば、撮像装置により撮影され観察領域内に複数の細胞を含む第１画像及び第１画像よりも所定時間前に撮像装置により撮影された前記観察領域の第２画像を取得するステップと、第１画像に含まれる複数の細胞から一の細胞を注目細胞として選択するステップと、注目細胞の周辺に位置する細胞を周辺細胞として指定するステップと、第１画像及び第２画像における注目細胞と周辺細胞の相対移動量に基づいて注目細胞に対する周辺細胞の速度の統計量（例えば、実施形態における引力斥力速度、引力斥力量）を算出するステップと、算出された各周辺細胞の速度の統計量を外部に出力するステップとを備え、注目細胞に関する各周辺細胞の相互作用の状態を判断可能に構成したことを特徴とする細胞観察の画像処理プログラムが提供される。
【０００９】
本発明を例示する第３の態様に従えば、細胞を撮影する撮像装置と、撮像装置により撮影された第１画像及び第１画像よりも所定時間前に撮像装置により撮影された第２画像を記憶する画像記憶部と、第１画像及び第２画像に基づいて観察領域内に位置する複数の細胞間の相互作用の状態を解析する画像解析部と、画像解析部による解析データを出力する出力部とを備え、画像解析部において、第１画像の観察視野内に含まれる複数の細胞から選択された一の注目細胞及び注目細胞の周辺に位置する周辺細胞について、第１画像及び第２画像における注目細胞と周辺細胞の相対移動量に基づいて注目細胞に対する周辺細胞の速度の統計量（例えば、実施形態における引力斥力速度、引力斥力量）を算出して、画像解析部において算出された速度の統計量を、出力部から出力させるように構成したことを特徴とする細胞観察の画像処理装置が提供される。
【発明の効果】
【００１０】
上記のような細胞観察の画像解析方法、画像処理プログラム、画像処理装置によれば、細胞の運動状態を定量的に把握する手段を提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態の具体的な説明に先立って、本実施形態を構成する基本原理について説明する。本実施形態は、社会的相互作用の一つである細胞間の引力・斥力を定量化することにより細胞状態を推定する新たな特徴量を提示するものである。
【００１２】
図２は、一つの細胞（注目細胞）Ciと、その周辺の他の細胞（周辺細胞）Cjをモデル化して示す運動解析モデルの概念図である。細胞の時系列画像に対して、ある時刻ｔの画像における注目細胞Ciと周辺細胞Cjの面積および位置（細胞の領域に対する重心や細胞の核の位置）と、その前の時刻ｔ−１の画像における同様の細胞の面積および位置を画像計測によって検出する。そして、注目細胞Ciについて、時刻ｔ−１における両細胞間の距離dj、互いの細胞を結ぶ線分Ｌを基準として注目細胞側から移動方向を見たときの角度θj、及び時刻ｔ−１から時刻ｔでの周辺細胞の移動量（注目細胞Ciに対する周辺細胞Cjの相対移動量）vjを算出する。このとき、注目細胞Ciの持つ周辺細胞Cjへの引力斥力速度Vijは、移動量vjを使って、
【数１】
となる。ただし、距離djが離れている場合については信頼性を考慮して重みづけをすることを考え、その重み関数をW(dj)とおくと、距離の重み関数を考慮した引力斥力速度は
【数２】
となる。周辺細胞がM個であれば引力斥力速度の総和（以下、「引力斥力量」という）Viは
【数３】
と表される。この引力斥力量Viを、注目細胞Ciにおけるi=1,...,Nとして画像内のすべての細胞について総和した統計量（特許請求の範囲における総合速度統計量、以下、「総引力斥力量」という）
【数４】
と計算する。
【００１３】
引力斥力速度は、正負の符号が角度θjによって変化し、引力と斥力とで符号が反転する。従って、細胞同士に引力が大きく生じている場合は総引力斥力量Vallが正の大きい値を、斥力が大きく生じている場合は総引力斥力量Vallが負の大きい値となって示される。従って、細胞の観察過程において時刻ｔ−１と時刻ｔの画像を解析して観察領域内の細胞の総引力斥力量を算出することにより、細胞の運動状態を定量的に把握することが可能となる。なお、距離djに応じた重み付けW(dj)については、例えば１／djなどの重み付けの他、二次の重み付けまたはガウシアンなど様々な重み付けが考えられる。これらは細胞同士の挙動を観察した上で決定することが望ましい。
【００１４】
以上では画像全体の細胞の引力、斥力を見てきたが、細胞個々の平均的な値
【数５】
や、最大値、最小値、さらにはヒストグラムなども、細胞の運動状態を定量的に表すわかりやすい指標となる。従って、このような基本原理に基づいて時系列画像を解析することにより、細胞観察する過程において、細胞同士に引力または斥力が働いていることの時系列変化を観察することが可能となる。
【００１５】
次に、本発明を実施するための形態について、図面を参照しながら説明する。本実施形態の細胞観察の画像処理装置を適用したシステムの一例として、培養観察システムの概要構成図及びブロック図を、それぞれ図３及び図４に示す。
【００１６】
この培養観察システムＢＳは、大別的には、筐体１の上部に設けられた培養室２と、複数の培養容器１０を収容保持する棚状のストッカー３と、培養容器１０内の試料を観察する観察ユニット５と、培養容器１０をストッカー３と観察ユニット５との間で搬送する搬送ユニット４と、システムの作動を制御する制御ユニット６と、画像表示装置を備えた操作盤７などから構成される。
【００１７】
培養室２は、培養する細胞の種別や目的等に応じた培養環境を形成し及び維持する部屋であり、環境変化やコンタミネーションを防止するためサンプル投入後は密閉状態に保持される。培養室２に付随して、培養室内の温度を昇温・降温させる温度調整装置２１、湿度を調整する加湿器２２、ＣＯ2ガスやＮ2ガス等のガスを供給するガス供給装置２３、培養室２全体の環境を均一化させるための循環ファン２４、培養室２の温度や湿度等を検出する環境センサ２５などが設けられている。各機器の作動は制御ユニット６により制御され、培養室２の温度や湿度、二酸化炭素濃度等により規定される培養環境が、操作盤７において設定された培養条件に合致した状態に維持される。
【００１８】
ストッカー３は、図３における紙面直行の前後方向、及び上下方向にそれぞれ複数に仕切られた棚状に形成されている。各棚にはそれぞれ固有の番地が設定されており、例えば前後方向をＡ〜Ｃ列、上下方向を１〜７段とした場合に、Ａ列５段の棚がＡ−５のように設定される。
【００１９】
培養容器１０は、フラスコやディッシュ、ウェルプレートなどの種類、丸型や角型などの形態、及びサイズがあり、培養する細胞の種別や目的に応じて適宜なものを選択し使用することができる。本実施形態ではディッシュを用いた構成を例示している。細胞などの試料は、フェノールレッドなどのｐＨ指示薬が入った液体培地とともに培養容器１０に注入される。培養容器１０にはコード番号が付与され、ストッカー３の指定番地に対応づけて収容される。なお、培養容器１０には、容器の種類や形態等に応じて形成された搬送用の容器ホルダが装着された状態で各棚に収容保持される。
【００２０】
搬送ユニット４は、培養室２の内部に上下方向に移動可能に設けられてＺ軸駆動機構により昇降されるＺステージ４１、Ｚステージ４１に前後方向に移動可能に取り付けられてＹ軸駆動機構により前後移動されるＹステージ４２、Ｙステージ４２に左右方向に移動可能に取り付けられてＸ軸駆動機構により左右移動されるＸステージ４３などからなり、Ｙステージに対して左右移動されるＸステージ４３の先端側に、培養容器１０を持ちあげ支持する支持アーム４５が設けられている。搬送ユニット４は、支持アーム４５がストッカー３の全棚と観察ユニット５の試料台１５との間を移動可能な移動範囲を有して構成される。Ｘ軸駆動機構、Ｙ軸駆動機構、Ｚ軸駆動機構は、例えばボールネジとエンコーダ付きのサーボモータにより構成され、その作動が制御ユニット６により制御される。
【００２１】
観察ユニット５は、第１照明部５１、第２照明部５２及び第３照明部５３と、試料のマクロ観察を行うマクロ観察系５４、試料のミクロ観察を行う顕微観察系５５、及び画像処理装置１００などから構成される。試料台１５は透光性を有する材質で構成されるとともに、顕微観察系５５の観察領域に透明な窓部１６が設けられている。
【００２２】
第１照明部５１は、下部フレーム１ｂ側に設けられた面発光の光源からなり、試料台１５の下側から培養容器１０全体をバックライト照明する。第２照明部５２は、ＬＥＤ等の光源と、位相リングやコンデンサレンズ等からなる照明光学系とを有して培養室２に設けられており、試料台１５の上方から顕微観察系５の光軸に沿って培養容器中の試料を照明する。第３照明部５３は、それぞれ落射照明観察や蛍光観察に好適な波長の光を出射する複数のＬＥＤや水銀ランプ等の光源と、各光源から出射された光を顕微観察系５５の光軸に重畳させるビームスプリッタや蛍光フィルタ等からなる照明光学系とを有して、培養室２の下側に位置する下部フレーム１ｂ内に配設されており、試料台１５の下方から顕微観察系５の光軸に沿って培養容器中の試料を照明する。
【００２３】
マクロ観察系５４は、観察光学系５４ａと観察光学系により結像された試料の像を撮影するＣＣＤカメラ等の撮像装置５４ｃとを有し、第１照明部５１の上方に位置して培養室２内に設けられている。マクロ観察系５４は、第１照明部５１によりバックライト照明された培養容器１０の上方からの全体観察画像（マクロ像）を撮影する。
【００２４】
顕微観察系５５は、対物レンズや中間変倍レンズ、蛍光フィルタ等からなる観察光学系５５ａと、観察光学系５５ａにより結像された試料の像を撮影する冷却ＣＣＤカメラ等の撮像装置５５ｃとを有し、下部フレーム１ｂの内部に配設されている。対物レンズ及び中間変倍レンズは、それぞれ複数設けられるとともに、詳細図示を省略するレボルバやスライダなどの変位機構を用いて複数倍率に設定可能に構成されており、初期選択のレンズ設定に応じて、例えば２倍〜８０倍等の範囲で変倍可能になっている。顕微観察系５５は、第２照明部５２により照明されて細胞を透過した透過光、若しくは第３照明部５３により照明されて細胞により反射された反射光、または第３照明部５３により照明されて細胞が発する蛍光、を顕微鏡観察した顕微観察像（ミクロ像）を撮影する。
【００２５】
画像処理装置１００は、マクロ観察系の撮像装置５４ｃ及び顕微観察系の撮像装置５５ｃから入力された信号をＡ／Ｄ変換するとともに、各種の画像処理を施して全体観察画像または顕微観察画像の画像データを生成する。また、画像処理装置１００は、これらの観察画像の画像データに画像解析を施し、タイムラプス画像の生成や細胞の移動量算出、細胞の運動状態の解析等を行う。画像処理装置１００は、具体的には、次述する制御装置６のＲＯＭに記憶された画像処理プログラムが実行されることにより構築される。なお、画像処理装置１００については、後に詳述する。
【００２６】
制御ユニット６は、ＣＰＵ６１と、培養観察システムＢＳの作動を制御する制御プログラムや各部を制御するためのデータが設定記憶されたＲＯＭ６２と、画像データ等を一時記憶するＲＡＭ６３などを有し、これらがデータバスにより接続されて構成される。制御ユニット６の入出力ポートには、培養室２における温度調整装置２１、加湿器２２、ガス供給装置２３、循環ファン２４及び環境センサ２５、搬送装置４におけるＸ，Ｙ，Ｚステージ４３，４２，４１の各軸の駆動機構、観察ユニット５における第１，第２，第３照明部５１，５２，５３、マクロ観察系５４及び顕微観察系５５、操作盤７における操作パネル７１や表示パネル７２などが接続されている。ＣＰＵ６１には上記各部から検出信号が入力され、ＲＯＭ６２に予め設定された制御プログラムに従って上記各部を制御する。
【００２７】
操作盤７には、キーボードやシートスイッチ、磁気記録媒体や光ディスク等から情報を読み込み及び書き込みするリード／ライト装置などの入出力機器が設けられた操作パネル７１と、種々の操作画面や画像データ等を表示する表示パネル７２とが設けられており、表示パネル７２を参照しながら操作パネル７１で観察プログラム（動作条件）の設定や条件選択、動作指令等を入力することで、ＣＰＵ６１を介して培養観察システムＢＳの各部を動作させる。すなわち、ＣＰＵ６１は操作パネル７１からの入力に応じて培養室２の環境調整、培養室２内での培養容器１０の搬送、観察ユニット５による試料の観察、取得された画像データの解析及び表示パネル７２への表示などを実行する。表示パネル７２には、作動指令や条件選択等の入力画面のほか、培養室２の環境条件の各数値や、解析された画像データ、異常発生時の警告などが表示される。また、ＣＰＵ６１は有線または無線の通信規格に準拠して構成された通信部６５を介して、外部接続されるコンピュータ等との間でデータの送受信が可能になっている。
【００２８】
ＲＡＭ６３には、操作パネル７１において設定された観察プログラムの動作条件、例えば培養室２の温度や湿度等の環境条件や、培養容器１０ごとの観察スケジュール、観察ユニット５における観察種別や観察位置、観察倍率等の観察条件などが記録される。また、培養室２に収容された各培養容器１０のコード番号、各コード番号の培養容器１０が収容されたストッカー３の収納番地などの培養容器１０の管理データや、画像解析に用いる各種データが記録される。ＲＡＭ６３には、観察ユニット５により撮影された画像データを記録する画像データ記憶領域（後述する画像記憶部１１０）が設けられ、各画像データには培養容器１０のコード番号と撮影日時等を含むインデックス・データとが対応付けて記録される。
【００２９】
このように概要構成される培養観察システムＢＳでは、操作盤７において設定された観察プログラムの設定条件に従い、ＣＰＵ６１がＲＯＭ６２に記憶された制御プログラムに基づいて各部の作動を制御するとともに、培養容器１０内の試料の撮影を自動的に実行する。すなわち、操作パネル７１に対するパネル操作（または通信部６５を介したリモート操作）によって観察プログラムがスタートされると、ＣＰＵ６１が、ＲＡＭ６３に記憶された環境条件の各条件値を読み込むとともに、環境センサ２５から入力される培養室２の環境状態を検出し、条件値と実測値との差異に応じて温度調整装置２１、加湿器２２、ガス供給装置２３、循環ファン２４等を作動させて、培養室２の温度や湿度、二酸化炭素濃度などの培養環境についてフィードバック制御が行われる。
【００３０】
また、ＣＰＵ６１は、ＲＡＭ６３に記憶された観察条件を読み込み、観察スケジュールに基づいて搬送ユニット４のＸ，Ｙ，Ｚステージ４３，４２，４１の各軸の駆動機構を作動させてストッカー３から観察対象の培養容器１０を観察ユニット５の試料台１５に搬送して、観察ユニット５による観察を開始させる。例えば、観察プログラムにおいて設定された観察がマクロ観察である場合には、搬送ユニット４によりストッカー３から搬送してきた培養容器１０をマクロ観察系５４の光軸上に位置決めして試料台１５に載置し、第１照明部５１の光源を点灯させて、バックライト照明された培養容器１０の上方から撮像装置５４ｃにより全体観察像を撮影する。撮像装置５４ｃから制御装置６に入力された信号は、画像処理装置１００により処理されて全体観察画像が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３に記録される。
【００３１】
また、観察プログラムにおいて設定された観察が、培養容器１０内の特定位置の試料のミクロ観察である場合には、搬送ユニット４により搬送してきた培養容器１０の特定位置を顕微観察系５５の光軸上に位置決めして試料台１５に載置し、第２照明部５２または第３照明部５３の光源を点灯させて、透過照明、落射照明、蛍光による顕微観察像を撮像装置５５ｃに撮影させる。撮像装置５５ｃにより撮影されて制御装置６に入力された信号は、画像処理装置１００により処理されて顕微観察画像が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３に記録される。
【００３２】
ＣＰＵ６１は、上記のような観察を、ストッカー３に収容された複数の培養容器の試料について、観察プログラムに基づいた３０分〜２時間程度の時間間隔の観察スケジュールで全体観察像や顕微観察像の撮影を順次実行する。なお、本実施形態では、撮影の時間間隔は一定であってもよいし、異なっていてもよい。撮影された全体観察像や顕微観察像の画像データは、培養容器１０のコード番号とともにＲＡＭ６３の画像データ記憶領域（画像記憶部１１０）に記録される。ＲＡＭ６３に記録された画像データは、操作パネル７１から入力される画像表示指令に応じてＲＡＭ６３から読み出され、指定時刻の全体観察画像や顕微観察画像（単体画像）、あるいは指定時間領域の全体観察像や顕微観察像のタイムラプス画像が操作盤７の表示パネル７２に表示される。
【００３３】
さて、以上のように構成される培養観察システムＢＳにおいて、画像処理装置１００は、上記したタイムラプス画像の生成などの基本機能に加えて、観察領域内の細胞の運動状態を解析する画像解析機能を備えている。以降、画像処理装置１００が実行する画像解析の具体的な内容を説明するにあたり、まず２つの時系列画像から細胞の運動状態を定量的に算出する手法について説明する。
【００３４】
（前処理）
図５は、ある時刻ｔに撮影された細胞の顕微観察画像を模式的に示した図である。まず、この画像について、細胞個々の領域を抽出しセグメンテーションする。たとえば輝度値による２値化、分散値による２値化、SnakesやLevel Set法などといった動的輪郭抽出手法といった方法が上げられる。これにより図６に示すようにセグメント化された細胞領域に対して、ラベリングを施し、各細胞ラベルに対して周辺細胞のラベルを計測する手法をとる。
【００３５】
次に、図７に示すように、時刻tに撮影された画像の細胞（実線で示す細胞）と、所定時間前に撮影された時刻t−1の画像における細胞（点線で示す細胞）の対応付け、すなわち細胞トラッキングを行う。ここでは、時刻tと時刻t−1での細胞領域ラベルに対して互いに最も近傍かつ形状が似ているものを選択する。これにより各細胞の時刻ｔ−１からｔへの移動ベクトルを算出する。
【００３６】
（引力、斥力の計算）
前処理で得られた各細胞の移動ベクトルに対し、注目細胞Ciと周辺細胞の一つCjに対して引力または斥力による速度の統計量を算出する。速度の統計量として、注目細胞Ciに対する周辺細胞Cjの引力斥力速度や引力斥力量が代表例として挙げられる。図２に示したように、注目細胞Ciに対してその周辺細胞の一つCjの時刻ｔ−１からｔでの特徴が
細胞面積sj・・・周辺細胞Cjの輪郭内部面積
移動量vj・・・・注目細胞Ciに対する周辺細胞Cjの相対移動量
距離dj・・・・・注目細胞Ciと周辺細胞Cjの距離
角度θj・・・・細胞を結ぶ線分Ｌを基準として移動方向を見たときの角度
であるとする。まず、細胞が何らかのイオン物質を出し合い、その濃度によって引力または斥力が効いてくるのであれば、細胞間の距離djに反比例するようなエネルギーが考えられ、この場合重み関数W(dj)は、
【数６】
面積に関係してくるならば、
【数７】
となる。または、重みを付ける範囲をある一定の範囲内として決めることができるならば、
【数８】
ここで、Dは細胞のインタラクション（相互作用）の範囲：ユーザー指定
といったことも考えられる。
さらに確率的に考えるならば、確率密度関数として正規分布
【数９】
σは標準偏差
といった定義も考えられる。
このとき、注目細胞Ciが一つの周辺細胞Cjに及ぼす引力斥力速度Vijは、
【数１０】
となる。
これをすべての周辺細胞（M個）に適用すると、注目細胞Ciのもつ引力斥力量Viは、
【数１１】
となる。これを画像内のすべての細胞について、注目細胞Ciにおけるi=1〜Nとして注目細胞を置き換えて総和した総引力斥力量
【数１２】
を算出する。前述したように、細胞同士に引力が大きく生じている場合には総引力斥力量Vallが正の大きい値を、斥力が大きく生じている場合には総引力斥力量Vallが負の大きい値となる。従って、細胞の観察過程において時刻ｔ−１と時刻ｔの２つの画像を解析して観察領域内の細胞の総引力斥力量Vallを算出することにより、細胞の運動状態を、引力であるか斥力であるかの別を含めて定量的に把握することが可能となる。
【００３７】
さらに、図８(１)→(２)のような状態変化を生じる時系列データについて、所定時間ごとに算出された総引力斥力量の値を時系列に並べて表示し、例えば、図９に示すように横軸を時間軸としたグラフ上にプロットすることにより、引力の変化状況を可視化した変化グラフが得られる。これは、はじめ離散していた細胞が互いに固まりとなり、コロニーへと変貌を遂げる定量性を表すこととなり、細胞群の変化状況を定量的にかつ容易に把握することができる。
また、細胞個々の平均的な値や、最大値、最小値、
【数１３】
さらにヒストグラムなどの統計量の時系列変化も、細胞の運動状態を表す指標として興味深いものとなる。また、正の値（引力）のみ、または負の値（斥力）のみを取り扱い、引力と斥力と別々に観察することも考えられる。
【００３８】
このような速度の統計量を画像解析により求めて細胞同士のインタラクション観察を行う上で、その観察アプリケーションとして、以下のような例が挙げられる。
【００３９】
（Ａ：計測細胞の指定）
観察者が計測対象となる細胞を１つまたは複数指定し、指定した計測細胞に対する引力・斥力の速度総和計算をする。例えば、図１０(１)(２)に例示するように、画像に含まれる多数の細胞の中から特定の細胞を計測細胞Csとして指定し、引力・斥力の有効な距離（範囲）を設定して、その指定した計測細胞Csに対する引力・斥力の速度総和を計算する。また、この計測対象となる１つの細胞Csへの周辺細胞のもつ引力斥力速度を、図１１に示すようにそれぞれ表示させる。これにより、その計測対象細胞Csへの個々の運動状態や最も引力または斥力が働いている細胞等を知ることができる。
【００４０】
（Ｂ：速度の統計量計算および時系列変化）
図１２に示すように、Ａで指定した計測細胞Csを順次他の細胞に置き換えてそれぞれ各細胞の引力斥力速度を求め、求めた引力斥力速度の総和を各細胞に対して計算して各細胞について引力斥力量を表示すると、その最大値から視野内において最も影響を及ぼしている細胞を知ることができる。また、細胞個々の速度総和の統計量として、その平均値や最大値、最小値、総引力斥力量、分散を表示することにより全体の状況を知ることができる。さらに、これらの時系列データを時間軸に沿ってグラフ表示させることにより時間領域での変化を容易に把握することができる。またＡで指定した計測細胞Cs自身の速度、大きさ（面積）、形状（円形度や複雑度などを含む）などの時系列変化量についても表示させることができ、これにより細胞の運動状態を詳細に把握することができる。
【００４１】
次に、画像処理装置１００において実行される画像解析の具体的なアプリケーションについて生細胞の顕微観察画像（位相差画像）を解析する場合を例として説明する。図１３に、画像処理装置１００において細胞の運動状態の画像解析を行う画像解析部分の概要構成をブロック図として示す。
【００４２】
画像処理装置１００は、撮像装置（５４ｃ，５５ｃ）により撮影された第１画像、及び第１画像よりも所定時間前の時刻ｔ−１に撮影された第２画像を記憶する画像記憶部１１０と、第１画像及び第２画像に基づいて観察領域内に位置する複数の細胞間に作用する相互作用の状態（引力または斥力の作用状態）を解析する画像解析部１２０と、画像解析部１２０による解析データを出力する出力部１３０とを備え、画像解析部１２０において第１画像及び第２画像における注目細胞と周辺細胞の相対位置と相対移動量に基づいて各細胞の引力斥力速度を算出するとともに、これを総和して注目細胞の引力斥力量を算出し、さらに注目細胞を順次置き換えて求めた引力斥力量を総和して細胞全体の総引力斥力量を算出して、出力部１３０から出力して、例えば表示パネル７２に表示させるように構成される。
【００４３】
なお、画像処理装置１００は、ＲＯＭ６２に予め設定記憶された画像処理プログラムがＣＰＵ６１に読み込まれ、画像処理プログラムに基づく処理がＣＰＵ６１により実行されることによって構成される。
【００４４】
本実施形態の画像解析の処理は、既に観察プログラムに基づいて所定時間ごとに撮影されて画像記憶部１１０に保存された時系列画像について実行可能であるのみならず、観察時点での細胞の運動状態を解析してリアルタイムでモニタリングすることが可能である。そこで、本実施例ではこのリアルタイムでの画像解析処理について、図１に示す画像処理プログラムＧＰのフローチャート、および図１４に示す表示パネル７２に表示される培養細胞運動解析インターフェースの表示画像を参照しながら説明する。
【００４５】
このインターフェースでは、表示パネル７２に「ディッシュ選択」枠７２１が表示されてストッカー３に格納された培養容器のコード番号が表示され、ステップＳ１０において、観察対象の培養容器１０の選択が行われる。図１４では、操作パネル７１に設けられたカーソルによりコード番号Cell-0002の培養細胞ディッシュ（培養容器）が選択された状態を示す。
【００４６】
ステップＳ１０において観察対象が選択されると、ＣＰＵ６１は、搬送ユニット４の各軸の駆動機構を作動させ、ストッカー３から観察対象の培養容器１０を観察ユニット５に搬送する。そして、マクロ観察系５４による全体観察像または顕微観察系５５による顕微観察像を撮像装置（５４ｃ，５５ｃ）に撮影させ、その画像を「観察位置」枠７２２に表示させる。
【００４７】
ステップＳ２０では、どの領域を観察領域にするか観察位置の設定が行われる。図１４では、観察者が操作パネル７１に設けられたマウス等を利用して中央右よりの網掛け領域を指定した状態を示す。このとき、設定された観察領域の画像は、画像解析部１２０においてすぐにセグメンテーション処理が施され、位相差画像に細胞輪郭を重ね合わせた画像または細胞輪郭による模式図（セグメンテーション画像）が「観察画像」枠７２３に表示される。このとき、表示パネル７２に、「計測細胞の指定」７２４ａ及び「周辺細胞の指定」７２４ｂを含む「運動解析オプション」枠７２４が表示される。
【００４８】
ステップＳ３０では、観察者が「観察画像」枠７２３に表示された模式図上でマウスにより引力斥力速度を知りたい計測対象の細胞を選択し、「計測細胞の指定」７２４ａの決定ボタンを押して計測細胞Csを確定する。次にステップＳ３５において周辺細胞Cjを手動で指定するか計測細胞Csからの距離（半径）で指定するかを「周辺細胞の指定」７２４ｂに設けられた選択ボタンにより選択する。手動を選択した場合には、周辺細胞Cjをマウスにより個々に選択して決定ボタンを押すことで確定し、半径指定を選択した場合にはその半径値を数値（単位はピクセルやμｍなど）またはマウスで入力する。
【００４９】
これを初期設定とし、観察プログラムに設定された所定時間ごとの観察スケジュールで観察画像の取り込み（ステップＳ４０）、観察画像の保存（ステップＳ４５）が実行されタイムラプス観察が行われる。ステップＳ３０及びステップＳ３５で指定された観察領域内の計測細胞Cs及び周辺細胞Cjは、観察スケジュールに設定された所定時間ごとに画像解析部１２０において細胞画像のセグメンテーションとトラッキングが行われ、ステップＳ５０において各細胞の引力斥力速度が計算される。
【００５０】
各細胞の引力斥力速度計算（ステップＳ５０）の内容については、既に詳述したとおり、これをフローチャートに簡潔にまとめたのが図１中の右列のフロー（ステップＳ５１〜ステップＳ５５）である。すなわち、画像解析部１２０における各細胞の引力斥力速度計算は、時刻ｔの観察画像（第１画像）と所定時間前の時刻ｔ−１の観察画像（第２画像）について、図６に示した細胞の最外殻輪郭抽出処理（セグメンテーション処理：ステップＳ５１）、これらの２つの画像間において図７に示した計測細胞Cs及び周辺細胞Cjの対応付け（ステップＳ５２）、この対応付けにより求められる計測細胞Csに対する周辺細胞Cjの移動ベクトルの算出（ステップＳ５３）、図２の移動モデルで説明した手法により上記移動ベクトルに基づいて求められる計測細胞Csに対する各周辺細胞Cjの引力斥力速度の算出（ステップＳ５４）が行われ、各細胞の引力斥力速度の計算、すなわち、M個の周辺細胞について注目細胞Ciに関する引力斥力量Viが計算されるとともに、注目細胞を置き換えた場合の各細胞の引力斥力量が算出されて、これらの計算結果が出力部１３０から出力される（ステップＳ５５）。
【００５１】
そして、ステップＳ６０において、図１１に示したように各周辺細胞Cjの引力斥力速度や、図１２に示したような各細胞の引力斥力量が各観察ごとに「観察画像」枠７２３の表示画面にリアルタイムで表示され、算出された各細胞の引力斥力速度の値がＲＡＭ６３に蓄積される。また、ステップＳ７０において、計測細胞Csを注目細胞Ciとし、Ciにおけるi=1〜Nとして注目細胞を置き換えて観察領域に含まれる全細胞の引力斥力量の総和（総引力斥力量）Vallの計算が実行され、これらの計算結果がＲＡＭ６３に蓄積される。インターフェースでは、図１１に示す各周辺細胞の引力斥力速度の表示、あるいは図１２に示す引力斥力量の表示などを、「観察画像」枠７２３に設けた選択ボタンにより選択し表示させることができるようになっている。
【００５２】
タイムラプス観察の実行中には、これが「時系列変化グラフ」枠７２５にグラフとしてリアルタイム表示される。このグラフには、図１２を参照して先に説明したように、各細胞の引力斥力量の最大値や最小値、総引力斥力量、平均、分散などの時間軸上での変化が表示される他に、計測細胞Csの面積、形状変化（円形度や複雑度など）の経時変化が表示可能になっており、時系列変化グラフの表示項目の選択によって切り替え表示させることができる。さらに、出力部１３０には出力端子が設けられて通信部６５に接続されており、通信部６５を介して外部接続されるコンピュータ等に計算結果をエクスポートできるようになっている。
【００５３】
従って、このような画像解析手段（画像解析方法、画像処理プログラム、画像処理装置）によれば、タイムラプス観察の実行中に、観察対象の細胞の時々刻々の運動状態が具体的な数値やグラフでリアルタイム表示され、細胞の運動状態を迅速かつ定量的に把握することができる。
【００５４】
なお、上記実施例では、タイムラプス観察を開始する際に計測細胞Cs及び周辺細胞Cjを指定して、タイムラプス観察の継続中に画像解析を並行して実行し、解析結果をリアルタイム表示する構成を例示したが、本発明の画像解析は、一定時間のタイムラプス観察の実行（実行中）、またはタイムラプス観察を終了して、画像記憶部１１０に保存された時系列画像について実施することも可能である。そこで、以下に、このような場合の画像解析の流れについて、図１４及び図１を併せて参照しながら簡潔に説明する。
【００５５】
まず、ステップＳ１０において「ディッシュ選択」枠７２１に表示された培養容器のリストから観察対象のコード番号の培養容器（例えば前述したコード番号Cell-0002の培養細胞ディッシュ）を選択する。ここで選択された観察対象の時系列画像は既に画像記憶部１１０に保存されている（すなわち図１に示した画像処理プログラムにおけるステップＳ４０及びステップＳ４５は、ステップＳ１０より以前に実行されている）。そこで、ステップＳ１０で観察対象が選択されると、選択された培養容器の時刻ｔにおける観察画像（全体観察画像または顕微観察像）が画像記憶部１１０から読み出されて「観察位置」枠７２２に表示される。なお、観察期間中のどの時刻の画像を読み出すかを選択することができ、例えば観察開始時（第２番目のデータ）を選択し、あるいは観察期間の中間時や終了時を選択することができる。
【００５６】
ステップＳ２０では、「観察位置」枠に表示された画像から、どの領域を観察するか観察領域の設定を行う。設定された観察領域の画像は画像解析部１２０においてすぐにセグメンテーション処理が施され、位相差画像に細胞輪郭を重ね合わせた画像または細胞輪郭による模式図が「観察画像」枠に表示される。セグメンテーション処理は、時刻ｔとその所定時間前の時刻ｔ−１の２枚に対して行われ、模式図の表示は時刻ｔのみ、もしくは両者を時系列表示できるものとする。
【００５７】
次いで、ステップＳ３０において「観察画像」枠７２３に表示された模式図上で計測対象の細胞を選択し「計測細胞の指定」７２４ａの決定ボタンを押して計測細胞Csを確定する。また、ステップＳ３５において周辺細胞Cjを手動または計測細胞Csからの距離（半径）で指定し、決定ボタンを押して確定する。これらの選択設定は前述同様である。
【００５８】
ステップＳ３０及びステップＳ３５において計測細胞Cs及び周辺細胞Cjの設定が確定すると、画像解析部１２０は、まず、最初に画像記憶部１１０から読み出した時刻ｔと時刻ｔ−１の画像についてステップＳ５０の各細胞の引力斥力速度及び引力斥力量、ステップＳ７０の全細胞の総引力斥力量の計算を実行してＲＡＭ６３に記録する。また、既に所定の観察スケジュールで撮影され画像記憶部１１０に保存された観察画像（ステップＳ４０、ステップＳ４５）について時刻ｔを順次移動して読み出し、読み出された各画像からステップＳ２０において設定された観察領域の画像を切り出して、セグメンテーションとトラッキングを行い、ステップＳ５０及びステップＳ７０の計算を順次実行してＲＡＭ６３に記録する。
【００５９】
そして、「観察画像」枠７２３に設けられた選択ボタンの選択に応じて、図１１に示した周辺細胞の引力斥力速度、あるいは図１２に示した全細胞の引力斥力量や総引力斥力量が表示される。なおこれらの表示は、任意に選択した特定時刻の計算結果を表示させることができる。また、タイムラプス観察の実行中の場合には「時系列変化グラフ」枠７２５に現時点までの引力斥力量（最大値や最小値、平均値等）の変化がグラフとして表示され、観察終了後の場合には観察開始から終了に至る引力斥力量の変化が表示される。
【００６０】
以上説明したように、本発明の画像処理プログラムＧＰ、この画像処理プログラムが実行されることより構成される画像解析方法及び画像処理装置１００によれば、所定時間をおいて撮影された細胞観察像から、撮影時における細胞全体の総引力斥力量が算出される。このため、細胞全体の運動状態を迅速かつ定量的に把握する手段を提供することができる。
【００６１】
前述したように、細胞増殖には社会的相互作用が重要である。本発明では、細胞間の相互作用、すなわち引力・斥力の作用状態を算出することにより、他細胞を引き付け足場を形成する過程や、他種の細胞への侵襲過程を定量的に評価することができる。つまり、他細胞から隔離して正常な増殖を抑制する試薬のスクリーニングや、他細胞への侵襲抑制試薬のスクリーニングに使用可能である。
【図面の簡単な説明】
【００６２】
【図１】本発明の実施例として示す画像処理プログラムのフローチャートである。
【図２】注目細胞と周辺細胞をモデル化して示す運動解析モデルの概念図である。
【図３】本発明の適用例として示す培養観察システムの概要構成図である。
【図４】上記培養観察システムのブロック図である。
【図５】時刻ｔに撮影された細胞の顕微観察画像を模式的に示した模式図である。
【図６】図５に示した時刻ｔの顕微観察画像をセグメント化した状態の模式図である。
【図７】時刻tに撮影された画像の細胞（実線で示す細胞）と、時刻t−1に撮影された画像の細胞（点線で示す細胞）との対応付けを説明するための説明図である。
【図８】細胞群の時系列変化の状態を例示する模式図であり、(１)はじめ離散していた細胞が、(２)のようにコロニーへと変化して行く状態を示す模式図である。
【図９】細胞群がコロニー化して行く場合に、所定時間ごとに算出された総引力斥力量の値を横軸を時間軸としたグラフ上にプロットしたときの総引力斥力量の変化グラフである。
【図１０】計測対象となる計測細胞の指定について説明するための模式図である。
【図１１】計測細胞に対する周辺細胞の引力斥力速度を表示する画面の構成例である。
【図１２】引力斥力量を表示した画面の構成例である。
【図１３】画像処理装置の概要構成を示すブロック図である。
【図１４】画像解析プログラムを実行した場合に表示パネルに表示される培養細胞運動解析インターフェースの表示画像の構成例である。
【符号の説明】
【００６３】
ＢＳ 培養観察システム
ＧＰ 画像処理プログラム
Ci 注目細胞 Cj 周辺細胞
Cs 計測細胞（注目細胞）
５４ マクロ観察系 ５４ｃ 撮像装置
５５ 顕微観察系 ５５ｃ 撮像装置
１００ 画像処理装置 １１０ 画像記憶部
１２０ 画像解析部 １３０ 出力部
【特許請求の範囲】
【請求項１】
撮像装置により撮影され観察領域内に複数の細胞を含む第１画像、及び前記第１画像よりも所定時間前に前記撮像装置により撮影された前記観察領域の第２画像を取得し、
前記第１画像に含まれる複数の細胞から一の細胞を選択して注目細胞とし、
前記注目細胞の周辺に位置する細胞を周辺細胞とし、
前記第１画像及び前記第２画像における前記注目細胞と前記周辺細胞の相対移動量に基づいて前記注目細胞に対する各前記周辺細胞の速度の統計量を算出して、
前記注目細胞に関する各前記周辺細胞の相互作用の状態を判断可能に構成したことを特徴とする細胞観察の画像解析方法。
【請求項２】
前記選択した一の注目細胞を前記観察領域内に位置する他の細胞に順次置き換えて求めた前記速度の統計量を総和して前記観察領域内の細胞全体の総合速度統計量を算出し、
前記総合速度統計量により前記観察領域内の細胞間の相互作用の状態を判断可能に構成したことを特徴とする請求項１に記載の細胞観察の画像解析方法。
【請求項３】
前記速度の統計量に、前記注目細胞と前記周辺細胞との距離に応じた重みを付けるように構成したことを特徴とする請求項１または請求項２に記載の細胞観察の画像解析方法。
【請求項４】
前記相互作用の状態が、引力または斥力の作用状態であることを特徴とする請求項１から請求項３のいずれか一項に記載の細胞観察の画像解析方法。
【請求項５】
撮像装置により撮影され観察領域内に複数の細胞を含む第１画像、及び前記第１画像よりも所定時間前に前記撮像装置により撮影された前記観察領域の第２画像を取得するステップと、
前記第１画像に含まれる複数の細胞から一の細胞を注目細胞として選択するステップと、
前記注目細胞の周辺に位置する細胞を周辺細胞として指定するステップと、
前記第１画像及び前記第２画像における前記注目細胞と前記周辺細胞の相対移動量に基づいて前記注目細胞に対する各前記周辺細胞の速度の統計量を算出するステップと、
算出された各前記周辺細胞の前記速度の統計量を外部に出力するステップとを備え、
前記注目細胞に関する各前記周辺細胞の相互作用の状態を判断可能に構成したことを特徴とする細胞観察の画像処理プログラム。
【請求項６】
前記選択した一の注目細胞を前記観察領域内に位置する他の細胞に順次置き換えて求めた前記速度の統計量を総和して前記観察領域内の細胞全体の総合速度統計量を算出するステップと、
算出された前記総合速度統計量を外部に出力するステップとを備え、
前記総合速度統計量により前記観察領域内の細胞間の相互作用の状態を判断可能に構成したことを特徴とする請求項５に記載の細胞観察の画像処理プログラム。
【請求項７】
前記速度の統計量に、前記注目細胞と前記周辺細胞との距離に応じた重みを付けるように構成したことを特徴とする請求項５または請求項６に記載の細胞観察の画像処理プログラム。
【請求項８】
前記相互作用の状態が、引力または斥力の作用状態であることを特徴とする請求項５から請求項７のいずれか一項に記載の細胞観察の画像処理プログラム。
【請求項９】
前記撮像装置により前記所定時間ごとに撮影された３以上の画像について、撮影された画像を順次前記第１画像として前記所定時間ごとの前記総合速度統計量を算出して時系列に並べて画像表示装置に表示させるステップを備え、
前記総合速度統計量の時間的な変化を把握可能に構成したことを特徴とする請求項６から請求項８のいずれか一項に記載の細胞観察の画像処理プログラム。
【請求項１０】
細胞を撮影する撮像装置と、
前記撮像装置により撮影された第１画像、及び前記第１画像よりも所定時間前に前記撮像装置により撮影された第２画像を記憶する画像記憶部と、
前記第１画像及び前記第２画像に基づいて観察領域内に位置する複数の前記細胞間の相互作用の状態を解析する画像解析部と、
前記画像解析部による解析データを出力する出力部とを備え、
前記画像解析部において、前記第１画像の前記観察領域に含まれる複数の細胞から選択された一の注目細胞及び前記注目細胞の周辺に位置する周辺細胞について、前記第１画像及び前記第２画像における前記注目細胞と前記周辺細胞の相対移動量に基づいて前記注目細胞に対する各前記周辺細胞の速度の統計量を算出して、
前記画像解析部において算出された前記速度の統計量を、前記出力部から出力させるように構成したことを特徴とする細胞観察の画像処理装置。
【請求項１１】
前記選択された一の注目細胞を前記観察領域内に位置する他の細胞に順次置き換えて求めた前記速度の統計量を総和して前記観察領域内細胞全体の総合速度統計量を算出して、
前記画像解析部において算出された前記総合速度統計量を、前記出力部から出力させるように構成したことを特徴とする請求項１０に記載の細胞観察の画像処理装置。
【請求項１２】
前記速度の統計量に、前記注目細胞と前記周辺細胞との距離に応じた重みを付けるように構成したことを特徴とする請求項１０または請求項１１に記載の細胞観察の画像処理装置。
【請求項１３】
前記相互作用の状態が、引力または斥力の作用状態であることを特徴とする請求項１０から請求項１２のいずれか一項に記載の細胞観察の画像処理装置。
【請求項１４】
画像を表示する画像表示装置を備え、
前記画像解析部において、前記撮像装置により前記所定時間ごとに撮影された３以上の画像について、撮影された画像を順次前記第１画像として前記所定時間ごとの前記総合速度統計量を算出し、
前記所定時間ごとの前記総合速度統計量を前記出力部から前記画像表示装置に出力して画像表示装置に時系列に並べて表示させ、総合速度統計量の時間的な変化を視覚的に把握可能に構成したことを特徴とする請求項１１から請求項１３のいずれか一項に記載の細胞観察の画像処理装置。
【請求項１】
撮像装置により撮影され観察領域内に複数の細胞を含む第１画像、及び前記第１画像よりも所定時間前に前記撮像装置により撮影された前記観察領域の第２画像を取得し、
前記第１画像に含まれる複数の細胞から一の細胞を選択して注目細胞とし、
前記注目細胞の周辺に位置する細胞を周辺細胞とし、
前記第１画像及び前記第２画像における前記注目細胞と前記周辺細胞の相対移動量に基づいて前記注目細胞に対する各前記周辺細胞の速度の統計量を算出して、
前記注目細胞に関する各前記周辺細胞の相互作用の状態を判断可能に構成したことを特徴とする細胞観察の画像解析方法。
【請求項２】
前記選択した一の注目細胞を前記観察領域内に位置する他の細胞に順次置き換えて求めた前記速度の統計量を総和して前記観察領域内の細胞全体の総合速度統計量を算出し、
前記総合速度統計量により前記観察領域内の細胞間の相互作用の状態を判断可能に構成したことを特徴とする請求項１に記載の細胞観察の画像解析方法。
【請求項３】
前記速度の統計量に、前記注目細胞と前記周辺細胞との距離に応じた重みを付けるように構成したことを特徴とする請求項１または請求項２に記載の細胞観察の画像解析方法。
【請求項４】
前記相互作用の状態が、引力または斥力の作用状態であることを特徴とする請求項１から請求項３のいずれか一項に記載の細胞観察の画像解析方法。
【請求項５】
撮像装置により撮影され観察領域内に複数の細胞を含む第１画像、及び前記第１画像よりも所定時間前に前記撮像装置により撮影された前記観察領域の第２画像を取得するステップと、
前記第１画像に含まれる複数の細胞から一の細胞を注目細胞として選択するステップと、
前記注目細胞の周辺に位置する細胞を周辺細胞として指定するステップと、
前記第１画像及び前記第２画像における前記注目細胞と前記周辺細胞の相対移動量に基づいて前記注目細胞に対する各前記周辺細胞の速度の統計量を算出するステップと、
算出された各前記周辺細胞の前記速度の統計量を外部に出力するステップとを備え、
前記注目細胞に関する各前記周辺細胞の相互作用の状態を判断可能に構成したことを特徴とする細胞観察の画像処理プログラム。
【請求項６】
前記選択した一の注目細胞を前記観察領域内に位置する他の細胞に順次置き換えて求めた前記速度の統計量を総和して前記観察領域内の細胞全体の総合速度統計量を算出するステップと、
算出された前記総合速度統計量を外部に出力するステップとを備え、
前記総合速度統計量により前記観察領域内の細胞間の相互作用の状態を判断可能に構成したことを特徴とする請求項５に記載の細胞観察の画像処理プログラム。
【請求項７】
前記速度の統計量に、前記注目細胞と前記周辺細胞との距離に応じた重みを付けるように構成したことを特徴とする請求項５または請求項６に記載の細胞観察の画像処理プログラム。
【請求項８】
前記相互作用の状態が、引力または斥力の作用状態であることを特徴とする請求項５から請求項７のいずれか一項に記載の細胞観察の画像処理プログラム。
【請求項９】
前記撮像装置により前記所定時間ごとに撮影された３以上の画像について、撮影された画像を順次前記第１画像として前記所定時間ごとの前記総合速度統計量を算出して時系列に並べて画像表示装置に表示させるステップを備え、
前記総合速度統計量の時間的な変化を把握可能に構成したことを特徴とする請求項６から請求項８のいずれか一項に記載の細胞観察の画像処理プログラム。
【請求項１０】
細胞を撮影する撮像装置と、
前記撮像装置により撮影された第１画像、及び前記第１画像よりも所定時間前に前記撮像装置により撮影された第２画像を記憶する画像記憶部と、
前記第１画像及び前記第２画像に基づいて観察領域内に位置する複数の前記細胞間の相互作用の状態を解析する画像解析部と、
前記画像解析部による解析データを出力する出力部とを備え、
前記画像解析部において、前記第１画像の前記観察領域に含まれる複数の細胞から選択された一の注目細胞及び前記注目細胞の周辺に位置する周辺細胞について、前記第１画像及び前記第２画像における前記注目細胞と前記周辺細胞の相対移動量に基づいて前記注目細胞に対する各前記周辺細胞の速度の統計量を算出して、
前記画像解析部において算出された前記速度の統計量を、前記出力部から出力させるように構成したことを特徴とする細胞観察の画像処理装置。
【請求項１１】
前記選択された一の注目細胞を前記観察領域内に位置する他の細胞に順次置き換えて求めた前記速度の統計量を総和して前記観察領域内細胞全体の総合速度統計量を算出して、
前記画像解析部において算出された前記総合速度統計量を、前記出力部から出力させるように構成したことを特徴とする請求項１０に記載の細胞観察の画像処理装置。
【請求項１２】
前記速度の統計量に、前記注目細胞と前記周辺細胞との距離に応じた重みを付けるように構成したことを特徴とする請求項１０または請求項１１に記載の細胞観察の画像処理装置。
【請求項１３】
前記相互作用の状態が、引力または斥力の作用状態であることを特徴とする請求項１０から請求項１２のいずれか一項に記載の細胞観察の画像処理装置。
【請求項１４】
画像を表示する画像表示装置を備え、
前記画像解析部において、前記撮像装置により前記所定時間ごとに撮影された３以上の画像について、撮影された画像を順次前記第１画像として前記所定時間ごとの前記総合速度統計量を算出し、
前記所定時間ごとの前記総合速度統計量を前記出力部から前記画像表示装置に出力して画像表示装置に時系列に並べて表示させ、総合速度統計量の時間的な変化を視覚的に把握可能に構成したことを特徴とする請求項１１から請求項１３のいずれか一項に記載の細胞観察の画像処理装置。
【図１】
【図３】
【図４】
【図９】
【図１２】
【図１３】
【図２】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１４】
【図３】
【図４】
【図９】
【図１２】
【図１３】
【図２】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１４】
【公開番号】特開２００９−２２９２７６（Ｐ２００９−２２９２７６Ａ）
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願番号】特願２００８−７５６７０（Ｐ２００８−７５６７０）
【出願日】平成２０年３月２４日（２００８．３．２４）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願日】平成２０年３月２４日（２００８．３．２４）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]