細胞観察画像の画像解析方法、画像処理プログラム及び画像処理装置
【課題】細胞の外形や内部構造等の情報から細胞の移動形態を分類する手段を提供する
【解決手段】撮像装置により撮影された観察画像から観察細胞Ｃの輪郭を抽出し、観察細胞の形状特徴に基づいて観察細胞Ｃの細胞変形方向ＶPを算出するとともに、所定時間の経過後に撮影された観察画像から観察細胞Ｃの細胞移動方向ＶRを算出し、細胞変形方向ＶPと細胞移動方向ＶRとに基づいて観察細胞Ｃの移動形態を分類する。
【解決手段】撮像装置により撮影された観察画像から観察細胞Ｃの輪郭を抽出し、観察細胞の形状特徴に基づいて観察細胞Ｃの細胞変形方向ＶPを算出するとともに、所定時間の経過後に撮影された観察画像から観察細胞Ｃの細胞移動方向ＶRを算出し、細胞変形方向ＶPと細胞移動方向ＶRとに基づいて観察細胞Ｃの移動形態を分類する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、細胞の時系列観察装置において細胞の分類またはトラッキングに利用される細胞観察の画像処理手段に関するものである。
【背景技術】
【０００２】
細胞の外形や内部構造などの形態情報は、これらの形態情報を個別に抽出し、その特徴に基づき細胞を分類する細胞分類に利用されている（例えば、特許文献1を参照）。
【特許文献１】特開２００７−３０３８８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、これら個別の形態情報は、対象細胞が赤血球なのか白血球なのかなど、細胞の種別を分類する細胞分類学としては有用ではあるものの、細胞の動的挙動解析に直接利用できるものではなかった。例えば、細胞が形状や内部構造の変化を伴って移動する場合の移動形態は大きく分けて二通りあると考えられている。すなわち、細胞の一部（足）を伸ばして足がかりを作りその方向に体を移動させるものと、細胞形状を歪ませあるいは内部構造を移動させて外形の接着部位（足）を引きずるように移動するものが存在する。従来の細胞分類手法では、仮に足を形態情報として抽出できたとても、その細胞がどちらの移動形態の細胞なのか判断することができなかった。
【０００４】
また、細胞を観察する上で重要な画像処理アルゴリズムである細胞トラッキングでは、細胞の全方位について計算を行った場合の計算量の多さ（処理負担）や、観察細胞の誤認識を避けるために移動予測を必要とする。この際、一般的に時系列予測だけでは困難な場合が多く、細胞の種類や移動特性を人間が手動で入力するなどの方法が採られていた。そのため、運動解析に至る操作が煩雑であるとともに、入力を誤った場合の修正処理に多大な処理負担を要するという課題があった。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、細胞の外形や内部構造などの情報から、あらかじめ細胞の移動形態を分類する手段を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明を例示する第１の態様に従えば、撮像装置により観察細胞が撮影された観察画像を取得し、取得した観察画像から観察細胞の輪郭を抽出し、輪郭が抽出された観察細胞の形状特徴に基づいて観察細胞の細胞変形方向を算出するとともに、観察画像と所定時間を隔てて撮像装置により撮影された第２観察画像とから観察細胞の細胞移動方向を算出し、算出された細胞変形方向と細胞移動方向とに基づいて観察細胞の移動形態を分類することを特徴とする細胞観察画像の画像解析方法が提供される。
【０００７】
本発明を例示する第２の態様に従えば、撮像装置により観察細胞が撮影された観察画像を取得し、取得した観察画像から観察細胞の輪郭を抽出し、輪郭が抽出された観察細胞の内部構造の偏りに基づいて観察細胞の細胞変形方向を算出するとともに、観察画像と所定時間を隔てて撮像装置により撮影された第２観察画像とから観察細胞の細胞移動方向を算出し、算出された細胞変形方向と細胞移動方向とに基づいて観察細胞の移動形態を分類することを特徴とする細胞観察画像の画像解析方法が提供される。
【０００８】
本発明を例示する第３の態様に従えば、撮像装置により観察細胞が撮影された観察画像を取得するステップと、取得された観察画像から観察細胞の輪郭を抽出するステップと、輪郭が抽出された観察細胞の形状特徴に基づいて観察細胞の細胞変形方向を算出するステップと、観察画像と所定時間を隔てて撮像装置により撮影された第２観察画像とから観察細胞の細胞移動方向を算出するステップと、算出された細胞変形方向と細胞移動方向とに基づいて観察細胞の移動形態を分類するステップと、分類された観察細胞の種別を外部に出力するステップとを備えてなることを特徴とする細胞観察画像の画像処理プログラムが提供される。
【０００９】
本発明を例示する第４の態様に従えば、撮像装置により観察細胞が撮影された観察画像を取得するステップと、取得した観察画像から観察細胞の輪郭を抽出するステップと、輪郭が抽出された観察細胞の内部構造の偏りに基づいて観察細胞の細胞変形方向を算出するステップと、観察画像と所定時間を隔てて撮像装置により撮影された第２観察画像とから観察細胞の細胞移動方向を算出するステップと、算出された細胞変形方向と細胞移動方向とに基づいて観察細胞の移動形態を分類するするステップと、分類された観察細胞の種別を外部に出力するステップとを備えてなることを特徴とする細胞観察画像の画像処理プログラムが提供される。
【００１０】
本発明を例示する第５の態様に従えば、細胞を撮影する撮像装置と、撮像装置により観察細胞が撮影された観察画像を取得して観察画像を解析する画像解析部と、画像解析部により解析された解析結果を出力する出力部とを備え、画像解析部が、観察画像から観察細胞の輪郭を抽出し、輪郭が抽出された観察細胞の形状特徴に基づいて観察細胞の細胞変形方向を算出するとともに、観察画像と所定時間を隔てて撮像装置により撮影された第２観察画像とから観察細胞の細胞移動方向を算出し、算出された細胞変形方向と細胞移動方向とに基づいて観察細胞の移動形態を分類するように構成したことを特徴とする細胞観察の画像処理装置が提供される。
【００１１】
本発明を例示する第６の態様に従えば、細胞を撮影する撮像装置と、撮像装置により観察細胞が撮影された観察画像を取得して観察画像を解析する画像解析部と、画像解析部により解析された解析結果を出力する出力部とを備え、画像解析部が、観察画像から観察細胞の輪郭を抽出し、輪郭が抽出された観察細胞の内部構造の偏りに基づいて観察細胞の細胞変形方向を算出するとともに、観察画像と所定時間を隔てて撮像装置により撮影された第２観察画像とから観察細胞の細胞移動方向を算出し、算出された細胞変形方向と細胞移動方向とに基づいて観察細胞の移動形態を分類するように構成したことを特徴とする細胞観察の画像処理装置が提供される。
【発明の効果】
【００１２】
上記のような細胞観察画像の画像解析方法、画像処理プログラム、画像処理装置によれば、撮像装置により撮影された細胞の外形や内部構造などの情報から、細胞運動解析に直接利用することのできる情報を取り出し、あらかじめ細胞の移動形態を分類することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明を実施するための形態について、図面を参照しながら説明する。本発明の細胞観察の画像処理装置を適用したシステムの一例として、培養観察システムの概要構成図及びブロック図を、それぞれ図２及び図３に示す。
【００１４】
この培養観察システムＢＳは、大別的には、筐体１の上部に設けられた培養室２と、複数の培養容器１０を収容保持する棚状のストッカー３と、培養容器１０内の試料を観察する観察ユニット５と、培養容器１０をストッカー３と観察ユニット５との間で搬送する搬送ユニット４と、システムの作動を制御する制御ユニット６と、画像表示装置を備えた操作盤７などから構成される。
【００１５】
培養室２は、培養する細胞の種別や観察目的等に応じた培養環境を形成する部屋でありサンプル投入後は密閉状態に保持される。培養室２に付随して、温度調整装置２１、加湿器２２、ＣＯ2ガスやＮ2ガス等のガスを供給するガス供給装置２３、循環ファン２４、培養室２の温度や湿度等を検出する環境センサ２５などが設けられている。各機器の作動は制御ユニット６により制御され、培養室２の培養環境が、操作盤７において設定された培養条件に合致した状態に維持される。
【００１６】
ストッカー３は、前後方向及び上下方向にそれぞれ複数に仕切られた棚状に形成され、各棚に固有の番地が設定されている。培養容器１０は、培養する細胞の種別や目的に応じて適宜選択して使用できるが、図２ではディッシュを用いた例を示しており、細胞試料は液体培地とともに培養容器１０に注入される。培養容器１０にはコード番号が付与され、ストッカー３の指定番地に対応づけて収容される。
【００１７】
搬送ユニット４は、培養室２の内部に上下方向に移動可能に設けられたＺステージ４１、Ｚステージ４１に前後方向に移動可能に取り付けられたＹステージ４２、Ｙステージ４２に左右方向に移動可能に取り付けられたＸステージ４３などからなり、Ｘステージ４３の先端側に、培養容器１０を持ちあげ支持する支持アーム４５が設けられている。搬送ユニット４の作動は制御ユニット６により制御され、Ｘ，Ｙ，Ｚステージ４３，４２，４１を作動させて、培養容器１０をストッカー３と観察ユニット５との間で搬送可能になっている。
【００１８】
観察ユニット５は、試料台１５の下側から培養容器１０全体をバックライト照明する第１照明部５１、試料台１５の上方から顕微観察系５の光軸に沿って培養容器中の試料を照明する第２照明部５２、及び試料台１５の下方から顕微観察系５の光軸に沿って培養容器中の試料を照明する第３照明部５３と、試料のマクロ観察を行うマクロ観察系５４、試料のミクロ観察を行う顕微観察系５５、及び画像処理装置１００などから構成される。培養容器１０が載置される試料台１５は、透光性材料で構成され、顕微観察系５５の観察領域に透明な窓部１６が設けられている。
【００１９】
マクロ観察系５４は、観察光学系５４ａと観察光学系により結像された試料の像を撮影するＣＣＤカメラ等の撮像装置５４ｃとを有し、第１照明部５１の上方に位置して培養室２内に設けられている。マクロ観察系５４は、第１照明部５１によりバックライト照明された培養容器１０の上方からの全体観察画像（マクロ像）を撮影する。
【００２０】
顕微観察系５５は、対物レンズや中間変倍レンズ、蛍光フィルタ等からなる観察光学系５５ａと、観察光学系５５ａにより結像された試料の像を撮影する冷却ＣＣＤカメラ等の撮像装置５５ｃとを有し、下部フレーム１ｂの内部に配設されている。対物レンズ及び中間変倍レンズは、それぞれ複数設けられるとともに、詳細図示を省略するレボルバやスライダなどの変位機構を用いて複数倍率に設定可能に構成される。顕微観察系５５は、第２照明部５２により照明されて細胞を透過した透過光、若しくは第３照明部５３により照明されて細胞により反射された反射光、または第３照明部５３により照明されて細胞が発する蛍光を顕微鏡観察した顕微観察像（ミクロ像）を撮影する。
【００２１】
画像処理装置１００は、マクロ観察系の撮像装置５４ｃ及び顕微観察系の撮像装置５５ｃから入力された信号をＡ／Ｄ変換するとともに、各種の画像処理を施して全体観察画像または顕微観察画像の画像データを生成する。また、画像処理装置１００は、これらの観察画像の画像データに画像解析を施し、タイムラプス画像の生成や細胞の移動形態分類、移動方向予測、細胞の運動状態の解析等を行う。画像処理装置１００は、具体的には、次述する制御ユニット６のＲＯＭ６２に記憶された画像処理プログラムを実行することにより構築される。なお、画像処理装置１００については、後に詳述する。
【００２２】
制御ユニット６は、ＣＰＵ６１と、培養観察システムＢＳの作動を制御する制御プログラムや各部を制御するためのデータ等が設定記憶されたＲＯＭ６２と、画像データ等を一時記憶するＲＡＭ６３などを有し、これらがデータバスにより接続されて構成される。制御ユニット６の入出力ポートには、培養室２における温度調整装置２１、加湿器２２、ガス供給装置２３、循環ファン２４及び環境センサ２５、搬送装置４におけるＸ，Ｙ，Ｚステージ４３，４２，４１の各軸の駆動機構、観察ユニット５における第１，第２，第３照明部５１，５２，５３、マクロ観察系５４及び顕微観察系５５、操作盤７における操作パネル７１や表示パネル７２などが接続されている。ＣＰＵ６１には上記各部から検出信号が入力され、ＲＯＭ６２に予め設定された制御プログラムに従って上記各部を制御する。
【００２３】
操作盤７には、キーボードやスイッチ、光ディスクの読み書き装置などの入出力機器が設けられた操作パネル７１、操作画面や画像データ等を表示する表示パネル７２が設けられており、表示パネル７２を参照しながら操作パネル７１で観察プログラムの設定や条件選択、動作指令等を入力することにより、ＣＰＵ６１を介して培養観察システムＢＳの各部の作動が制御される。ＣＰＵ６１は、有線または無線の通信規格に準拠して構成された通信部６５を介して、外部接続されるコンピュータ等との間でデータの送受信が可能になっている。ＲＡＭ６３には、観察プログラムの動作条件、例えば培養室２の環境条件や、培養容器１０ごとの観察スケジュール、観察ユニット５における観察種別や観察位置、観察倍率等の観察条件などが記録される。また、培養室２に収容された各培養容器１０のコード番号とストッカー３の収納番地などの培養容器１０の管理データや、画像解析に用いる各種データが記録される。ＲＡＭ６３には、観察ユニット５により撮影された画像データを記録する画像データ記憶領域が設けられ、各画像データには培養容器１０のコード番号と撮影日時等を含むインデックス・データとが対応付けて記録される。
【００２４】
このように概要構成される培養観察システムＢＳでは、操作盤７において設定された観察プログラムの設定条件に従い、ＣＰＵ６１がＲＯＭ６２に記憶された制御プログラムに基づいて各部の作動を制御するとともに、培養容器１０内の試料の撮影を自動的に実行する。すなわち、観察プログラムがスタートされると、ＣＰＵ６１はＲＡＭ６３に記憶された環境条件値を読み込み、環境センサ２５により検出される培養室２の温度や湿度、二酸化炭素濃度などの培養環境が条件値と一致するように温度調整装置２１、加湿器２２、ガス供給装置２３等の作動を制御する。
【００２５】
また、ＣＰＵ６１は、ＲＡＭ６３に記憶された観察条件を読み込み、観察スケジュールに基づいて搬送ユニット４のＸ，Ｙ，Ｚステージ４３，４２，４１を作動させてストッカー３から観察対象の培養容器１０を試料台１５に搬送し、観察ユニット５による観察を開始させる。例えば、観察プログラムにおいて設定された観察がマクロ観察である場合には、培養容器１０をマクロ観察系５４の光軸上に位置決めして試料台１５に載置し、第１照明部５１の光源を点灯させて、培養容器１０の上方から撮像装置５４ｃにより全体観察像を撮影させる。撮像装置５４ｃから制御ユニット６に入力された信号は、画像処理装置１００により処理されて全体観察画像が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３に記録される。観察プログラムにおいて設定された観察が培養容器１０内の特定位置の試料のミクロ観察である場合には、培養容器１０を顕微観察系５５の光軸上に位置決めして試料台１５に載置し、第２照明部５２または第３照明部５３の光源を点灯させて、特定位置の顕微観察像を撮像装置５５ｃに撮影させる。撮像装置５５ｃから制御ユニット６に入力された信号は、画像処理装置１００により処理されて顕微観察画像が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３に記録される。
【００２６】
ＣＰＵ６１は、上記のような観察を、ストッカー３に収容された複数の培養容器の試料について、観察プログラムに基づいた５分〜２時間程度の時間間隔の観察スケジュールで全体観察像や顕微観察像の撮影を順次実行する。なお、本実施形態では、撮影の時間間隔は一定であってもよいし、異なっていてもよい。撮影された全体観察像や顕微観察像の画像データは、培養容器１０のコード番号とともにＲＡＭ６３の画像データ記憶領域に記録される。ＲＡＭ６３に記録された画像データは、操作パネル７１から入力される画像表示指令に応じてＲＡＭ６３から読み出され、指定時刻の全体観察画像や顕微観察画像（単体画像）、あるいは指定時間領域の全体観察像や顕微観察像のタイムラプス画像が表示パネル７２に表示される。
【００２７】
［細胞移動形態の分類手法］
以上のように構成される培養観察システムＢＳにおいて、画像処理装置１００は、細胞の移動形態（移動特性）を分類する機能を有しており、細胞の分類やトラッキングなどに補助的に利用される。細胞の移動形態の分類は、細胞の形状または内部構造から推定される細胞変形方向と、実際の細胞の移動を検出した細胞移動方向の二つの情報を使って行われる。
【００２８】
本明細書においては、細胞変形方向を算出する手法として、観察対象の細胞が撮影された画像から、細胞の形状特徴に基づいて細胞変形方向を算出する手法と、細胞の内部構造の偏りに基づいて細胞変形方向を算出する手法とを提示する。以下、Ｉ：形状特徴に基づく細胞変形方向、II：内部構造の偏りに基づく細胞変形方向について、基本的な概念から説明する。
【００２９】
（最外輪郭の抽出）
細胞変形方向の算出に先立って、細胞の最外輪郭抽出処理を行う。図４は、この最外輪郭抽出処理の状況を例示する模式図であり、撮像装置５５ｃ（５４ｃ）により取得された画像(ａ)を画像処理し、(ｂ)に示すように細胞の最も外側の輪郭を抽出する。この最外輪郭抽出処理には、例えば、動的輪郭方（SnakesやLevel Set法など）や分散フィルタなどを利用する。なお、本明細書においては、移動形態の分類を行う観察対象の細胞を「観察細胞」と表記する。
【００３０】
（Ｉ：形状特徴に基づく細胞変形方向の算出）
細胞の形状特徴に基づく細胞変形方向の算出は、前処理により最外輪郭が抽出された観察細胞に、細胞の輪郭形状をモデル化した細胞モデルを適応させ、適応した細胞モデルを利用して導出する。細胞モデルを利用した細胞変形方向の具体的算出手法として、(１)観察細胞に適応した細胞モデルの重心位置と輪郭が抽出された観察細胞の重心位置のずれに基づく算出手法、(２)観察細胞に適応した細胞モデルの輪郭形状と観察細胞の輪郭形状の差異に基づく算出手法を提案する。
【００３１】
まず、観察細胞への細胞モデルの適応は、例えば、図５，図６に楕円形状の細胞モデルＭｃを適応した事例を示すように、前処理で抽出された観察細胞Ｃの最外輪郭に対して楕円モデルへの近似を行う。ここでいう楕円近似は、最小二乗法やモーメント計算による方法が例として挙げられる。または観察細胞Ｃの輪郭内部を埋めたものと最も相関の高い楕円モデルを推定してもよい。この細胞モデルＭｃを利用して観察細胞穂変形方向を推定する。
【００３２】
(１)細胞モデルの重心位置と観察細胞の重心位置のずれに基づく細胞変形方向の算出手法は、図５に示すように、観察細胞Ｃに対して細胞モデルＭｃを適用するとともに、観察細胞Ｃの輪郭形状からその重心位置Ｇを図形処理して求め、細胞モデルＭｃの重心位置と観察細胞Ｃの重心位置のずれから細胞変形方向を導出する。例えば、図５のように、観察細胞の輪郭形状の重心Ｇが、楕円近似した細胞モデルＭｃの重心すなわち楕円中心Ｏから長軸の右側に偏っている場合、楕円中心Ｏから重心Ｇの偏心方向を細胞変形方向（細胞の予測移動方向）として算出する。
【００３３】
(２)細胞モデルの輪郭形状と観察細胞の輪郭形状の差異に基づく細胞変形方向の算出手法は、楕円形状の細胞モデルＭｃに対して細胞輪郭が複雑な場合を考える。この場合、細胞モデルＭｃからはみ出した細胞輪郭の位置及び大きさから、突出量が最も大きい箇所の存在する方位が観察細胞Ｃの移動する方向であると推定し、これを細胞変形方向とする。例えば、図６に示すように、細胞モデルＭｃの中心からはみ出し最大部分の領域の方位が求められ、この方位が細胞変形方向と算出される。
【００３４】
これらの算出手法は、細胞が移動する際に体の一部（足）を伸ばして足がかりを作る特徴や、細胞形状を歪ませて接着面が残る特徴を利用したものである。このようにして得られた細胞変形方向をベクトル化させ、「細胞変形方向」ＶP1とする（ＶP1は単位ベクトル）。なお、細胞モデルＭｃの構成例として楕円形状を例示したが、観察対象となる細胞の形態的な特徴に応じて適宜な形状を用いることができ、例えば、三角形や矩形、星形、弓形などが例示される。
【００３５】
（II：内部構造の偏りに基づく細胞変形方向の算出）
細胞の内部構造の偏りに基づく細胞変形方向の算出は、前処理により最外輪郭が抽出された観察細胞の輪郭形状に対する細胞密度の分布を算出し、算出された細胞密度分布に基づいて観察細胞の細胞変形方向を算出する。
【００３６】
細胞密度は、もっとも簡単な計測手法として、顕微観察画像における細胞輪郭内側の輝度値の分散で表現することができる。細胞は移動する際に内部を移動する方向へと組織を移動させる（またはその逆に移動させる）傾向がある。そこで、細胞輪郭内における細胞密度を輝度値の分散から求め、図７に示すように、細胞輪郭内において分散の小さい領域から分散の大きい領域に向かう方向を計算し、これを観察細胞Ｃの「細胞変形方向」ＶP2とする（ＶP2は単位ベクトル）。
【００３７】
（細胞移動方向の検出）
次に、観察細胞Ｃの移動に対して十分微小な時間を隔てた時刻t+1，t+2，t+3・・・（またはt-1，t-2，t-3・・・）の細胞観察画像（第２観察画像）を取得し、時刻tの観察細胞Ｃに最も近い位置の細胞を対応する観察細胞として順次検出する。また、時刻tの観察細胞Ｃの位置と各時刻における観察細胞の位置とから移動量および移動方向を算出し、算出された観察細胞の実移動方向を各時刻における観察細胞の「細胞移動方向」ＶRとする（ＶRは単位ベクトル）。なお、各時刻における移動量及び移動方向から観察細胞Ｃの平均移動方向を算出し、これを観察細胞の細胞移動方向ＶRとしてもよい。
【００３８】
ここで、時刻tの細胞に対応する時刻t+1の細胞の検出には、時刻の刻み幅が観察細胞Ｃの移動に対して十分短く、細胞の変形も少ないことから、時刻tの観察細胞Ｃをテンプレートとし、その近傍における時刻t+1の画像に対してマッチング（相関や差分など）をとる（テンプレートマッチング）。これを時刻t+1の画像に対する時刻t+2の細胞の検出と繰り返し、短時間あたりの細胞の移動方向を決定する。
【００３９】
（細胞移動形態の分類）
次に、上記のようにして求めた観察細胞Ｃの細胞変形方向（ＶP1，ＶP2）と、細胞移動方向（ＶR）との内積をとり、
Ｐ1＝ＶP1・ＶR
Ｐ2＝ＶP2・ＶR
を算出する。そして、この内積の算出結果により、観察細胞Ｃの移動形態を次のように分類する。図１(ａ)(ｂ)に、細胞変形方向ＶP（ＶP1，ＶP2）及び細胞移動方向ＶRと、細胞の移動形態の関係を模式的に表す説明図を示す。
【００４０】
Ｐ1が１に近い場合、またはＰ2が−１に近い場合。
この場合には、図１(ａ)に示すように、観察細胞Ｃは、体の一部（足）を伸ばして足がかりを作り、その方向に体を移動させるタイプであると判断される。
【００４１】
Ｐ1が−１に近い場合、またはＰ2が１に近い場合。
この場合には、図１(ｂ)に示すように、観察細胞Ｃは、細胞の形状を歪ませあるいは内部構造を移動方向に移動させて、外形の接着部位（足）を引きずるように移動するタイプであると判断される。
【００４２】
従って、以上のような解析手法を用いることにより、撮像装置により撮影された観察細胞Ｃの外形や内部構造などの情報から、観察細胞Ｃの移動形態を容易に分類することができる。
【００４３】
［アプリケーション］
次に、培養観察システムＢＳの画像処理装置１００において実行される画像解析の具体的なアプリケーションについて、図８〜図１２の各図を併せて参照しながら説明する。ここで、図８は移動予測の画像処理を実行する画像処理装置１００の概要構成を示すブロック図、図９は移動予測の画像処理プログラムＧＰにおけるメインフローを示すフローチャート、図１０〜図１２はメインフローにおいて選択される予測アルゴリズムＡ，Ｂ，Ｃに対応したフローチャートである。
【００４４】
画像処理装置１００は、撮像装置５５ｃ（５４ｃ）により観察細胞Ｃが撮影された観察画像を取得して観察画像を解析する画像解析部１２０と、画像解析部１２０により解析された解析結果を出力する出力部１３０とを備え、画像解析部１２０により導出された観察細胞Ｃの移動形態を、例えば表示パネル７２に出力して表示させるように構成される。画像処理装置１００は、ＲＯＭ６２に予め設定記憶された画像処理プログラムＧＰがＣＰＵ６１に読み込まれ、ＣＰＵ６１によって画像処理プログラムＧＰに基づく処理が順次実行されることによって構成される。
【００４５】
ここで、画像解析部１２０は、画像解析プログラムＧＰのメインフローにおいてＡまたはＢのアルゴリズムが選択された場合に、取得した時刻tの観察画像から観察細胞Ｃの輪郭を抽出し、輪郭が抽出された観察細胞Ｃの形状特徴に基づいて細胞変形方向ＶP1及び観察細胞Ｃの細胞移動方向ＶRを算出し、これら細胞変形方向ＶP1及び細胞移動方向ＶRに基づいて観察細胞Ｃの移動形態を分類する。一方、画像解析プログラムＧＰのメインフローにおいてＣのアルゴリズムが選択された場合には、画像解析部１２０は、取得した観察画像から観察細胞Ｃの輪郭を抽出し、輪郭が抽出された観察細胞Ｃの輪郭形状に対する内部構造の偏りに基づいて細胞変形方向ＶP2及び観察細胞Ｃの細胞移動方向ＶRを算出し、これら細胞変形方向ＶP2及び細胞移動方向ＶRに基づいて観察細胞Ｃの移動形態を分類する。そして、分類された観察細胞Ｃの移動形態に基づき、さらに進んで観察細胞Ｃの予測移動方向を導出する。
【００４６】
上記のような画像解析部１２０による画像解析処理は、これから観察を始める細胞の画像を画像装置により取得して実行可能であるほか、既にＲＡＭ６３に保存されている画像データを読み出して実行することも可能である。そこで、本実施例では、現時点である時刻tに取得された観察画像を基準とし、この時刻tの観察画像と、微小時間前の時刻t-1に取得され、既にＲＡＭ６３に保存されている第２観察画像とから、観察細胞Ｃの移動形態の分類及び移動予測を行う場合について、図１３に示す表示パネル７２への移動予測インターフェースの表示画像構成例を参照しながら説明する。
【００４７】
このインターフェースでは、操作パネル７１において「細胞の移動予測」が選択され、実行されると、まず、表示パネル７２に「ディッシュ選択」枠７２１が表示されてストッカー３に格納された培養容器１０のコード番号一覧表が表示され、観察対象の培養容器１０の選択が行われる。図１３では、操作パネル７１に設けられたカーソルによってコード番号Cell-0002の培養細胞ディッシュ（培養容器）が選択された状態を示す。
【００４８】
培養容器が選択されると、ＣＰＵ６１は、搬送ユニット４のＸ，Ｙ，Ｚ各ステージを作動させてストッカー３から観察対象の培養容器１０を観察ユニット５に搬送する。そして、顕微観察系５５による顕微観察像を撮像装置５５ｃにより撮影させ、その画像を「観察位置」枠７２２に表示させる。
【００４９】
次に、観察対象とする細胞（観察細胞）が含まれる観察画像を取得するため、観察画像の領域設定が行われる。図１３では、観察者が操作パネル７１に付帯して設けられたマウスを利用して中央右よりの網掛け領域を指定した状態を示す。これにより、観察者が指定した領域の画像が観察画像として画像解析部１２０に取得される（ステップＳ１）。
【００５０】
取得された観察画像は、画像解析部１２０により瞬時に細胞の最外輪郭抽出処理（セグメンテーション）が施され（ステップＳ２）、表示パネル７２の「観察画像」枠７２３に、最外輪郭が抽出された細胞の画像が表示される。そこで、図１３に示すように、観察画像において、移動方向予測を行う観察細胞（注目細胞）をマウス等を用いて指定する（ステップＳ３）。このとき、観察画像枠７２３の下側に「移動予測オプション」枠７２４が形成され、その枠内に「移動予測手法」枠７２５が形成されてどの予測アルゴリズムを適用して移動予測を行うか、移動予測手法の選択ボタン７２５ａ，７２５ｂ，７２５ｃが表示される。
【００５１】
図示する実施例では、予測アルゴリズムとして、
Ａ：最外輪郭偏心方向による予測・・・すなわち、Ｉ：形状特徴に基づく細胞変形方向の算出(１)で説明した、細胞モデルＭｃの重心位置Ｏと観察細胞Ｃの重心位置Ｇのずれに基づいて細胞の移動形態を分類し、移動方向を予測する手法。
Ｂ：楕円はみ出し方向による予測・・・すなわち、Ｉ：形状特徴に基づく細胞変形方向の算出(２)で説明した、細胞モデルＭｃの輪郭形状と観察細胞Ｃの輪郭形状の差異に基づいて細胞の移動形態を分類し、移動方向を予測する手法。
Ｃ：細胞組織密度方向による予測・・・すなわち、II：内部構造の特徴に基づく細胞変形方向の算出で説明した、観察細胞Ｃの内部構造の特徴に基づいて細胞の移動形態を分類し、移動方向を予測する手法。
の３種類の中から予測手法を選択設定可能に構成しており、Ａ：最外輪郭偏心方向による予測手法の選択ボタン７２５ａ、Ｂ：楕円はみ出し方向による予測手法の選択ボタン７２５ｂ、Ｃ：細胞組織密度方向による予測手法の選択ボタン７２５ｃがメイン画面に表示されるように構成している。
【００５２】
ステップＳ４では、観察者が選択ボタン７２５ａ，７２５ｂ，７２５ｃのいずれかを選択することにより予測アルゴリズムＡ，Ｂ，Ｃの選択が行われ、この選択に応じて、ステップＳ５で、Ｓ５Ａ：最外輪郭偏心方向による予測アルゴリズムのフロー、Ｓ５Ｂ：楕円はみ出し方向による予測アルゴリズムのフロー、Ｓ５Ｃ：細胞組織密度方向による予測アルゴリズムのフローのいずれかに分岐する。
【００５３】
（Ｓ５Ａ：最外輪郭偏心方向による予測アルゴリズムのフロー）
最外輪郭偏心方向による予測アルゴリズムは、図１０に示すように、まず、ステップＳ１１において、観察細胞の最外輪郭に対して細胞モデルＭｃの近似処理が実行され、例えば図５に点線で示したように、観察細胞Ｃに楕円形状の細胞モデル（楕円モデル）Ｍｃが適応される。次いで、ステップＳ１２において、細胞モデルＭｃの重心位置（楕円中心）Ｏと、観察細胞Ｃの輪郭形状における重心位置Ｇとが算出される。ステップＳ１３では、細胞モデルＭｃの重心位置Ｏから輪郭形状の重心位置Ｇに向かう方向が算出され、細胞変形方向ＶP1が算出されて、ステップＳ１５に進む。
【００５４】
上記ステップＳ１１〜Ｓ１３による細胞変形方向ＶP1の算出と並行して（または別途独立して）、ステップＳ５１において既にＲＡＭ６３に記憶されていた時刻t-1の観察画像が取得され、ステップＳ５２において時刻tの観察細胞Ｃに最も近い位置の細胞を対応する観察細胞として検出する。次いで、ステップＳ５３において時刻tの観察細胞Ｃの位置と時刻t-1における観察細胞Ｃの位置とから、当該観察細胞Ｃの実際の移動方向、すなわち細胞移動方向ＶRを算出してステップＳ１５に進む。なお、前述したように複数の時刻（t，t-1，t-2，t-3・・・）間の移動量及び移動方向から平均移動方向を算出し、これを細胞移動方向ＶRとしてもよく、時刻tから微小時間経過後のt+1の画像を新たに取得して細胞移動方向ＶRを算出してもよい。
【００５５】
ステップＳ１５では、ステップＳ１３で得られた細胞変形方向ＶP1と、ステップＳ５３で得られた細胞移動方向ＶRとから内積Ｐ1＝ＶP1・ＶRが算出される。そして、ステップＳ１６において、Ｐ1に基づいて観察細胞Ｃの移動形態が分類される。すなわち、算出されたＰ1が１に近い場合には、観察細胞Ｃは、図１(ａ)に示すように移動方向に体を伸ばす細胞輪郭（足）移動型、Ｐ1が−１に近い場合には、観察細胞Ｃは、図１(ｂ)に示すように接着部を引きずるように移動する細胞内部移動型であると判断され、観察細胞の移動形態（細胞移動モデル）が決定される。
【００５６】
そして、ステップＳ１６で決定された移動形態に基づき、ステップＳ１８において、細胞モデルＭｃの中心Ｏから細胞輪郭の重心Ｇに向かう方向（Ｐ1が１に近い場合）または逆方向（Ｐ1が−１に近い場合）が観察細胞Ｃの移動予測方向と決定され、メインフローに戻ってステップＳ６に進む。
【００５７】
ステップＳ６では、表示画面に「細胞移動モデル」枠７２６、及び「注目細胞のトラッキング」枠７２７が形成される。「細胞移動モデル」枠７２６の枠内には、ステップＳ１６において決定された観察細胞Ｃの移動形態（細胞内部移動型７２６ａ、または細胞輪郭（足）移動型７２６ｂ）がドットの点灯や点滅表示により示される。「注目細胞のトラッキング」枠７２７の枠内には、ステップＳ３において指定された観察細胞Ｃのクローズアップ表示と、ステップＳ１８において決定された観察細胞Ｃの予測移動方向がベクトル表示により表示される。なお、観察画像内に位置する全細胞について移動予測を実行する場合には、「観察画像」枠７２３の下側に形成された「全細胞移動予測ベクトル表示」の選択ボタンをオンに設定することによって、図示するように観察画像中の各細胞に移動ベクトルが重ねて表示される。
【００５８】
（Ｓ５Ｂ：楕円はみ出し方向による予測アルゴリズムのフロー）
楕円はみ出し方向による予測アルゴリズムは、図１１に示すように、ステップＳ２１において、観察細胞の最外輪郭に対して細胞モデルＭｃの近似処理が実行され、例えば図６に点線で示したように、観察細胞Ｃに楕円形状の細胞モデル（楕円モデル）Ｍｃが適応される。次いで、ステップＳ２２において、細胞モデルＭｃからはみ出した観察細胞Ｃの領域の位置と大きさが算出される。続くステップＳ２３では、細胞モデルＭｃの中心から突出量が最大の領域の方位が求められ、この方位が細胞変形方向ＶP1と算出されて、ステップＳ２５に進む。
【００５９】
ステップＳ２１〜Ｓ２３による細胞変形方向ＶP1の算出と並行して（または独立して）、ステップＳ５１においてＲＡＭ６３に記憶されていた時刻t-1の観察画像が取得され、ステップＳ５２において時刻tの観察細胞Ｃに最も近い位置の細胞を対応する観察細胞として検出し、ステップＳ５３において時刻tの観察細胞Ｃの位置と時刻t-1における観察細胞Ｃの位置とから細胞移動方向ＶRを算出して、ステップＳ２５に進む。
【００６０】
ステップＳ２５では、ステップＳ２３で得られた細胞変形方向ＶP1と、ステップＳ５３で得られた細胞移動方向ＶRとから内積Ｐ1＝ＶP1・ＶRが算出される。そして、ステップＳ２６において、算出されたＰ1に基づいて観察細胞Ｃの移動形態を分類する。すなわち、算出されたＰ1が１に近い場合には、観察細胞Ｃは、図１(ａ)に示すように移動方向に体の一部（足）を伸ばして足がかりを作る細胞輪郭（足）移動型、Ｐ1が−１に近い場合には、観察細胞Ｃは、図１(ｂ)に示すように体を歪ませて接着部を引きずるように移動する細胞内部移動型であると判断され、細胞の移動形態（細胞移動モデル）が決定される。
【００６１】
そして、ステップＳ２６で決定された移動形態に基づき、ステップＳ２８において、細胞モデルＭｃの中心から突出量が最大の領域に向かう方向（Ｐ1が１に近い場合）または逆方向（Ｐ1が−１に近い場合）が、観察細胞Ｃの移動予測方向と決定され、メインフローに戻ってステップＳ６に進む。
【００６２】
以降の処理は、前述した最外輪郭偏心方向による予測アルゴリズムの場合と同様である。すなわち、ステップＳ６において、表示画面に「細胞移動モデル」枠７２６、及び「注目細胞のトラッキング」枠７２７が形成され、「細胞移動モデル」枠７２６の枠内に観察細胞Ｃの移動形態（細胞内部移動型７２６ａ、または細胞輪郭（足）移動型７２６ｂ）、「注目細胞のトラッキング」枠７２７の枠内に、観察細胞Ｃのクローズアップ表示と予測移動方向とが表示される。
【００６３】
（Ｓ５Ｃ：細胞組織密度方向による予測アルゴリズムのフロー）
細胞組織密度方向による予測アルゴリズムは、図１２に示すように、まず、ステップＳ３１において、観察細胞輪郭内の輝度値の分散を算出することにより細胞内部の密度分布を算出する。次いで、ステップＳ３２において輝度値の分散が小さい領域から大きい領域に向かう方向を算出し、観察細胞Ｃの細胞変形方向ＶP2を求める。これにより図７に示したように、輪郭形状が複雑な細胞であっても、細胞内部の構造特徴により細胞密度の低い領域から高い領域に向かう細胞変形方向ＶP2を求められ、ステップＳ３５に進む。
【００６４】
ステップＳ３１，Ｓ３２による細胞変形方向ＶP2の算出と並行して、前述同様のステップＳ５１〜ステップＳ５３が実行され、この処理により細胞移動方向ＶRが算出されてステップＳ３５に進む。
【００６５】
ステップＳ３５では、ステップＳ３２で得られた細胞変形方向ＶP2と、ステップＳ５３で得られた細胞移動方向ＶRとから内積Ｐ2＝ＶP2・ＶRが算出される。そして、ステップＳ３６において、算出されたＰ2に基づいて観察細胞Ｃの移動形態を分類する。すなわち、算出されたＰ2が−１に近い場合には、観察細胞Ｃは、図１(ｂ)に示すように細胞の内部構造を体の内部で移動させ、当該内部構造の移動方向に移動してゆく細胞内部移動型であると判断され、Ｐ2が１に近い場合には、観察細胞Ｃは、図１(ａ)に示すように移動方向に体の一部を伸ばす細胞輪郭（足）移動型であると判断され、細胞の移動形態（細胞移動モデル）が決定される。
【００６６】
そして、ステップＳ３６で決定された移動形態に基づき、ステップＳ３８において、細胞密度が小さい領域から大きい領域に向かう方向（Ｐ2が−１に近い場合）または逆方向（Ｐ2が１に近い場合）が、観察細胞Ｃの移動予測方向と決定され、メインフローに戻ってステップＳ６に進む。
【００６７】
以降の処理は、既述した最外輪郭偏心方向による予測アルゴリズムの場合と同様であり、ステップＳ６において、表示画面に「細胞移動モデル」枠７２６及び「注目細胞のトラッキング」枠７２７が形成され、「細胞移動モデル」枠の枠内に観察細胞Ｃの移動形態（細胞内部移動型７２６ａ、または細胞輪郭（足）移動型７２６ｂ）、「注目細胞のトラッキング」枠の枠内に、観察細胞Ｃのクローズアップ表示及び予測移動方向が表示される。
【００６８】
このようなアプリケーションによれば、観察対象に応じて好適な予測アルゴリズムを選択することができ、いずれの予測アルゴリズムを適用した場合にも、「細胞移動モデル」枠７２６の表示を見ることにより、観察細胞Ｃの移動形態を直ちに理解することができ、「注目細胞のトラッキング」枠７２７を見ることにより、観察対象の細胞の移動方向を詳細に把握することができる。
【００６９】
そして、以上説明したように、本発明の画像処理プログラムＧＰ、この画像処理プログラムが実行されることより構成される画像解析方法及び画像処理装置１００によれば、撮像装置により撮影された少数の観察画像から細胞の移動形態を分類することができ、細胞の分類及び移動予測を簡明な構成で、高速に処理可能な手段を提供することができる。
【図面の簡単な説明】
【００７０】
【図１】細胞変形方向と細胞移動方向とにより分類される細胞の移動形態を説明するための説明図である。
【図２】本発明の適用例として示す培養観察システムの概要構成図である。
【図３】上記培養観察システムのブロック図である。
【図４】細胞の輪郭抽出を行う輪郭抽出処理の状況を例示する模式図である。
【図５】細胞モデルの重心と観察細胞の重心のずれから移動方向を導出する移動予測手法の概念図である。
【図６】細胞モデルからはみ出した観察細胞の位置から移動方向を導出する移動予測手法の概念図である。
【図７】観察細胞の密度分布から移動方向を導出する移動予測手法の概念図である。
【図８】画像処理装置の概要構成を示すブロック図である。
【図９】画像処理プログラムにおけるメインフローを示すフローチャートである。
【図１０】メインフローにおいて選択される予測アルゴリズムＡに対応したフローチャートである。
【図１１】メインフローにおいて選択される予測アルゴリズムＢに対応したフローチャートである。
【図１２】メインフローにおいて選択される予測アルゴリズムＣに対応したフローチャートである。
【図１３】画像処理プログラムを実行した場合に表示パネルに表示される細胞移動トラッキング・インターフェースの表示画像の構成例である。
【符号の説明】
【００７１】
ＢＳ 培養観察システム ＧＰ 画像処理プログラム
Ｃ 観察細胞 Ｍｃ 細胞モデル
ＶP（ＶP1，ＶP2） 細胞変形方向 ＶR 細胞移動方向
５ 観察ユニット ６ 制御ユニット
５４ マクロ観察系 ５４ｃ 撮像装置
５５ 顕微観察系 ５５ｃ 撮像装置
６１ ＣＰＵ ６２ ＲＯＭ
６３ ＲＡＭ １００ 画像処理装置
１２０ 画像解析部 １３０ 出力部
【技術分野】
【０００１】
本発明は、細胞の時系列観察装置において細胞の分類またはトラッキングに利用される細胞観察の画像処理手段に関するものである。
【背景技術】
【０００２】
細胞の外形や内部構造などの形態情報は、これらの形態情報を個別に抽出し、その特徴に基づき細胞を分類する細胞分類に利用されている（例えば、特許文献1を参照）。
【特許文献１】特開２００７−３０３８８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、これら個別の形態情報は、対象細胞が赤血球なのか白血球なのかなど、細胞の種別を分類する細胞分類学としては有用ではあるものの、細胞の動的挙動解析に直接利用できるものではなかった。例えば、細胞が形状や内部構造の変化を伴って移動する場合の移動形態は大きく分けて二通りあると考えられている。すなわち、細胞の一部（足）を伸ばして足がかりを作りその方向に体を移動させるものと、細胞形状を歪ませあるいは内部構造を移動させて外形の接着部位（足）を引きずるように移動するものが存在する。従来の細胞分類手法では、仮に足を形態情報として抽出できたとても、その細胞がどちらの移動形態の細胞なのか判断することができなかった。
【０００４】
また、細胞を観察する上で重要な画像処理アルゴリズムである細胞トラッキングでは、細胞の全方位について計算を行った場合の計算量の多さ（処理負担）や、観察細胞の誤認識を避けるために移動予測を必要とする。この際、一般的に時系列予測だけでは困難な場合が多く、細胞の種類や移動特性を人間が手動で入力するなどの方法が採られていた。そのため、運動解析に至る操作が煩雑であるとともに、入力を誤った場合の修正処理に多大な処理負担を要するという課題があった。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、細胞の外形や内部構造などの情報から、あらかじめ細胞の移動形態を分類する手段を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明を例示する第１の態様に従えば、撮像装置により観察細胞が撮影された観察画像を取得し、取得した観察画像から観察細胞の輪郭を抽出し、輪郭が抽出された観察細胞の形状特徴に基づいて観察細胞の細胞変形方向を算出するとともに、観察画像と所定時間を隔てて撮像装置により撮影された第２観察画像とから観察細胞の細胞移動方向を算出し、算出された細胞変形方向と細胞移動方向とに基づいて観察細胞の移動形態を分類することを特徴とする細胞観察画像の画像解析方法が提供される。
【０００７】
本発明を例示する第２の態様に従えば、撮像装置により観察細胞が撮影された観察画像を取得し、取得した観察画像から観察細胞の輪郭を抽出し、輪郭が抽出された観察細胞の内部構造の偏りに基づいて観察細胞の細胞変形方向を算出するとともに、観察画像と所定時間を隔てて撮像装置により撮影された第２観察画像とから観察細胞の細胞移動方向を算出し、算出された細胞変形方向と細胞移動方向とに基づいて観察細胞の移動形態を分類することを特徴とする細胞観察画像の画像解析方法が提供される。
【０００８】
本発明を例示する第３の態様に従えば、撮像装置により観察細胞が撮影された観察画像を取得するステップと、取得された観察画像から観察細胞の輪郭を抽出するステップと、輪郭が抽出された観察細胞の形状特徴に基づいて観察細胞の細胞変形方向を算出するステップと、観察画像と所定時間を隔てて撮像装置により撮影された第２観察画像とから観察細胞の細胞移動方向を算出するステップと、算出された細胞変形方向と細胞移動方向とに基づいて観察細胞の移動形態を分類するステップと、分類された観察細胞の種別を外部に出力するステップとを備えてなることを特徴とする細胞観察画像の画像処理プログラムが提供される。
【０００９】
本発明を例示する第４の態様に従えば、撮像装置により観察細胞が撮影された観察画像を取得するステップと、取得した観察画像から観察細胞の輪郭を抽出するステップと、輪郭が抽出された観察細胞の内部構造の偏りに基づいて観察細胞の細胞変形方向を算出するステップと、観察画像と所定時間を隔てて撮像装置により撮影された第２観察画像とから観察細胞の細胞移動方向を算出するステップと、算出された細胞変形方向と細胞移動方向とに基づいて観察細胞の移動形態を分類するするステップと、分類された観察細胞の種別を外部に出力するステップとを備えてなることを特徴とする細胞観察画像の画像処理プログラムが提供される。
【００１０】
本発明を例示する第５の態様に従えば、細胞を撮影する撮像装置と、撮像装置により観察細胞が撮影された観察画像を取得して観察画像を解析する画像解析部と、画像解析部により解析された解析結果を出力する出力部とを備え、画像解析部が、観察画像から観察細胞の輪郭を抽出し、輪郭が抽出された観察細胞の形状特徴に基づいて観察細胞の細胞変形方向を算出するとともに、観察画像と所定時間を隔てて撮像装置により撮影された第２観察画像とから観察細胞の細胞移動方向を算出し、算出された細胞変形方向と細胞移動方向とに基づいて観察細胞の移動形態を分類するように構成したことを特徴とする細胞観察の画像処理装置が提供される。
【００１１】
本発明を例示する第６の態様に従えば、細胞を撮影する撮像装置と、撮像装置により観察細胞が撮影された観察画像を取得して観察画像を解析する画像解析部と、画像解析部により解析された解析結果を出力する出力部とを備え、画像解析部が、観察画像から観察細胞の輪郭を抽出し、輪郭が抽出された観察細胞の内部構造の偏りに基づいて観察細胞の細胞変形方向を算出するとともに、観察画像と所定時間を隔てて撮像装置により撮影された第２観察画像とから観察細胞の細胞移動方向を算出し、算出された細胞変形方向と細胞移動方向とに基づいて観察細胞の移動形態を分類するように構成したことを特徴とする細胞観察の画像処理装置が提供される。
【発明の効果】
【００１２】
上記のような細胞観察画像の画像解析方法、画像処理プログラム、画像処理装置によれば、撮像装置により撮影された細胞の外形や内部構造などの情報から、細胞運動解析に直接利用することのできる情報を取り出し、あらかじめ細胞の移動形態を分類することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明を実施するための形態について、図面を参照しながら説明する。本発明の細胞観察の画像処理装置を適用したシステムの一例として、培養観察システムの概要構成図及びブロック図を、それぞれ図２及び図３に示す。
【００１４】
この培養観察システムＢＳは、大別的には、筐体１の上部に設けられた培養室２と、複数の培養容器１０を収容保持する棚状のストッカー３と、培養容器１０内の試料を観察する観察ユニット５と、培養容器１０をストッカー３と観察ユニット５との間で搬送する搬送ユニット４と、システムの作動を制御する制御ユニット６と、画像表示装置を備えた操作盤７などから構成される。
【００１５】
培養室２は、培養する細胞の種別や観察目的等に応じた培養環境を形成する部屋でありサンプル投入後は密閉状態に保持される。培養室２に付随して、温度調整装置２１、加湿器２２、ＣＯ2ガスやＮ2ガス等のガスを供給するガス供給装置２３、循環ファン２４、培養室２の温度や湿度等を検出する環境センサ２５などが設けられている。各機器の作動は制御ユニット６により制御され、培養室２の培養環境が、操作盤７において設定された培養条件に合致した状態に維持される。
【００１６】
ストッカー３は、前後方向及び上下方向にそれぞれ複数に仕切られた棚状に形成され、各棚に固有の番地が設定されている。培養容器１０は、培養する細胞の種別や目的に応じて適宜選択して使用できるが、図２ではディッシュを用いた例を示しており、細胞試料は液体培地とともに培養容器１０に注入される。培養容器１０にはコード番号が付与され、ストッカー３の指定番地に対応づけて収容される。
【００１７】
搬送ユニット４は、培養室２の内部に上下方向に移動可能に設けられたＺステージ４１、Ｚステージ４１に前後方向に移動可能に取り付けられたＹステージ４２、Ｙステージ４２に左右方向に移動可能に取り付けられたＸステージ４３などからなり、Ｘステージ４３の先端側に、培養容器１０を持ちあげ支持する支持アーム４５が設けられている。搬送ユニット４の作動は制御ユニット６により制御され、Ｘ，Ｙ，Ｚステージ４３，４２，４１を作動させて、培養容器１０をストッカー３と観察ユニット５との間で搬送可能になっている。
【００１８】
観察ユニット５は、試料台１５の下側から培養容器１０全体をバックライト照明する第１照明部５１、試料台１５の上方から顕微観察系５の光軸に沿って培養容器中の試料を照明する第２照明部５２、及び試料台１５の下方から顕微観察系５の光軸に沿って培養容器中の試料を照明する第３照明部５３と、試料のマクロ観察を行うマクロ観察系５４、試料のミクロ観察を行う顕微観察系５５、及び画像処理装置１００などから構成される。培養容器１０が載置される試料台１５は、透光性材料で構成され、顕微観察系５５の観察領域に透明な窓部１６が設けられている。
【００１９】
マクロ観察系５４は、観察光学系５４ａと観察光学系により結像された試料の像を撮影するＣＣＤカメラ等の撮像装置５４ｃとを有し、第１照明部５１の上方に位置して培養室２内に設けられている。マクロ観察系５４は、第１照明部５１によりバックライト照明された培養容器１０の上方からの全体観察画像（マクロ像）を撮影する。
【００２０】
顕微観察系５５は、対物レンズや中間変倍レンズ、蛍光フィルタ等からなる観察光学系５５ａと、観察光学系５５ａにより結像された試料の像を撮影する冷却ＣＣＤカメラ等の撮像装置５５ｃとを有し、下部フレーム１ｂの内部に配設されている。対物レンズ及び中間変倍レンズは、それぞれ複数設けられるとともに、詳細図示を省略するレボルバやスライダなどの変位機構を用いて複数倍率に設定可能に構成される。顕微観察系５５は、第２照明部５２により照明されて細胞を透過した透過光、若しくは第３照明部５３により照明されて細胞により反射された反射光、または第３照明部５３により照明されて細胞が発する蛍光を顕微鏡観察した顕微観察像（ミクロ像）を撮影する。
【００２１】
画像処理装置１００は、マクロ観察系の撮像装置５４ｃ及び顕微観察系の撮像装置５５ｃから入力された信号をＡ／Ｄ変換するとともに、各種の画像処理を施して全体観察画像または顕微観察画像の画像データを生成する。また、画像処理装置１００は、これらの観察画像の画像データに画像解析を施し、タイムラプス画像の生成や細胞の移動形態分類、移動方向予測、細胞の運動状態の解析等を行う。画像処理装置１００は、具体的には、次述する制御ユニット６のＲＯＭ６２に記憶された画像処理プログラムを実行することにより構築される。なお、画像処理装置１００については、後に詳述する。
【００２２】
制御ユニット６は、ＣＰＵ６１と、培養観察システムＢＳの作動を制御する制御プログラムや各部を制御するためのデータ等が設定記憶されたＲＯＭ６２と、画像データ等を一時記憶するＲＡＭ６３などを有し、これらがデータバスにより接続されて構成される。制御ユニット６の入出力ポートには、培養室２における温度調整装置２１、加湿器２２、ガス供給装置２３、循環ファン２４及び環境センサ２５、搬送装置４におけるＸ，Ｙ，Ｚステージ４３，４２，４１の各軸の駆動機構、観察ユニット５における第１，第２，第３照明部５１，５２，５３、マクロ観察系５４及び顕微観察系５５、操作盤７における操作パネル７１や表示パネル７２などが接続されている。ＣＰＵ６１には上記各部から検出信号が入力され、ＲＯＭ６２に予め設定された制御プログラムに従って上記各部を制御する。
【００２３】
操作盤７には、キーボードやスイッチ、光ディスクの読み書き装置などの入出力機器が設けられた操作パネル７１、操作画面や画像データ等を表示する表示パネル７２が設けられており、表示パネル７２を参照しながら操作パネル７１で観察プログラムの設定や条件選択、動作指令等を入力することにより、ＣＰＵ６１を介して培養観察システムＢＳの各部の作動が制御される。ＣＰＵ６１は、有線または無線の通信規格に準拠して構成された通信部６５を介して、外部接続されるコンピュータ等との間でデータの送受信が可能になっている。ＲＡＭ６３には、観察プログラムの動作条件、例えば培養室２の環境条件や、培養容器１０ごとの観察スケジュール、観察ユニット５における観察種別や観察位置、観察倍率等の観察条件などが記録される。また、培養室２に収容された各培養容器１０のコード番号とストッカー３の収納番地などの培養容器１０の管理データや、画像解析に用いる各種データが記録される。ＲＡＭ６３には、観察ユニット５により撮影された画像データを記録する画像データ記憶領域が設けられ、各画像データには培養容器１０のコード番号と撮影日時等を含むインデックス・データとが対応付けて記録される。
【００２４】
このように概要構成される培養観察システムＢＳでは、操作盤７において設定された観察プログラムの設定条件に従い、ＣＰＵ６１がＲＯＭ６２に記憶された制御プログラムに基づいて各部の作動を制御するとともに、培養容器１０内の試料の撮影を自動的に実行する。すなわち、観察プログラムがスタートされると、ＣＰＵ６１はＲＡＭ６３に記憶された環境条件値を読み込み、環境センサ２５により検出される培養室２の温度や湿度、二酸化炭素濃度などの培養環境が条件値と一致するように温度調整装置２１、加湿器２２、ガス供給装置２３等の作動を制御する。
【００２５】
また、ＣＰＵ６１は、ＲＡＭ６３に記憶された観察条件を読み込み、観察スケジュールに基づいて搬送ユニット４のＸ，Ｙ，Ｚステージ４３，４２，４１を作動させてストッカー３から観察対象の培養容器１０を試料台１５に搬送し、観察ユニット５による観察を開始させる。例えば、観察プログラムにおいて設定された観察がマクロ観察である場合には、培養容器１０をマクロ観察系５４の光軸上に位置決めして試料台１５に載置し、第１照明部５１の光源を点灯させて、培養容器１０の上方から撮像装置５４ｃにより全体観察像を撮影させる。撮像装置５４ｃから制御ユニット６に入力された信号は、画像処理装置１００により処理されて全体観察画像が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３に記録される。観察プログラムにおいて設定された観察が培養容器１０内の特定位置の試料のミクロ観察である場合には、培養容器１０を顕微観察系５５の光軸上に位置決めして試料台１５に載置し、第２照明部５２または第３照明部５３の光源を点灯させて、特定位置の顕微観察像を撮像装置５５ｃに撮影させる。撮像装置５５ｃから制御ユニット６に入力された信号は、画像処理装置１００により処理されて顕微観察画像が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３に記録される。
【００２６】
ＣＰＵ６１は、上記のような観察を、ストッカー３に収容された複数の培養容器の試料について、観察プログラムに基づいた５分〜２時間程度の時間間隔の観察スケジュールで全体観察像や顕微観察像の撮影を順次実行する。なお、本実施形態では、撮影の時間間隔は一定であってもよいし、異なっていてもよい。撮影された全体観察像や顕微観察像の画像データは、培養容器１０のコード番号とともにＲＡＭ６３の画像データ記憶領域に記録される。ＲＡＭ６３に記録された画像データは、操作パネル７１から入力される画像表示指令に応じてＲＡＭ６３から読み出され、指定時刻の全体観察画像や顕微観察画像（単体画像）、あるいは指定時間領域の全体観察像や顕微観察像のタイムラプス画像が表示パネル７２に表示される。
【００２７】
［細胞移動形態の分類手法］
以上のように構成される培養観察システムＢＳにおいて、画像処理装置１００は、細胞の移動形態（移動特性）を分類する機能を有しており、細胞の分類やトラッキングなどに補助的に利用される。細胞の移動形態の分類は、細胞の形状または内部構造から推定される細胞変形方向と、実際の細胞の移動を検出した細胞移動方向の二つの情報を使って行われる。
【００２８】
本明細書においては、細胞変形方向を算出する手法として、観察対象の細胞が撮影された画像から、細胞の形状特徴に基づいて細胞変形方向を算出する手法と、細胞の内部構造の偏りに基づいて細胞変形方向を算出する手法とを提示する。以下、Ｉ：形状特徴に基づく細胞変形方向、II：内部構造の偏りに基づく細胞変形方向について、基本的な概念から説明する。
【００２９】
（最外輪郭の抽出）
細胞変形方向の算出に先立って、細胞の最外輪郭抽出処理を行う。図４は、この最外輪郭抽出処理の状況を例示する模式図であり、撮像装置５５ｃ（５４ｃ）により取得された画像(ａ)を画像処理し、(ｂ)に示すように細胞の最も外側の輪郭を抽出する。この最外輪郭抽出処理には、例えば、動的輪郭方（SnakesやLevel Set法など）や分散フィルタなどを利用する。なお、本明細書においては、移動形態の分類を行う観察対象の細胞を「観察細胞」と表記する。
【００３０】
（Ｉ：形状特徴に基づく細胞変形方向の算出）
細胞の形状特徴に基づく細胞変形方向の算出は、前処理により最外輪郭が抽出された観察細胞に、細胞の輪郭形状をモデル化した細胞モデルを適応させ、適応した細胞モデルを利用して導出する。細胞モデルを利用した細胞変形方向の具体的算出手法として、(１)観察細胞に適応した細胞モデルの重心位置と輪郭が抽出された観察細胞の重心位置のずれに基づく算出手法、(２)観察細胞に適応した細胞モデルの輪郭形状と観察細胞の輪郭形状の差異に基づく算出手法を提案する。
【００３１】
まず、観察細胞への細胞モデルの適応は、例えば、図５，図６に楕円形状の細胞モデルＭｃを適応した事例を示すように、前処理で抽出された観察細胞Ｃの最外輪郭に対して楕円モデルへの近似を行う。ここでいう楕円近似は、最小二乗法やモーメント計算による方法が例として挙げられる。または観察細胞Ｃの輪郭内部を埋めたものと最も相関の高い楕円モデルを推定してもよい。この細胞モデルＭｃを利用して観察細胞穂変形方向を推定する。
【００３２】
(１)細胞モデルの重心位置と観察細胞の重心位置のずれに基づく細胞変形方向の算出手法は、図５に示すように、観察細胞Ｃに対して細胞モデルＭｃを適用するとともに、観察細胞Ｃの輪郭形状からその重心位置Ｇを図形処理して求め、細胞モデルＭｃの重心位置と観察細胞Ｃの重心位置のずれから細胞変形方向を導出する。例えば、図５のように、観察細胞の輪郭形状の重心Ｇが、楕円近似した細胞モデルＭｃの重心すなわち楕円中心Ｏから長軸の右側に偏っている場合、楕円中心Ｏから重心Ｇの偏心方向を細胞変形方向（細胞の予測移動方向）として算出する。
【００３３】
(２)細胞モデルの輪郭形状と観察細胞の輪郭形状の差異に基づく細胞変形方向の算出手法は、楕円形状の細胞モデルＭｃに対して細胞輪郭が複雑な場合を考える。この場合、細胞モデルＭｃからはみ出した細胞輪郭の位置及び大きさから、突出量が最も大きい箇所の存在する方位が観察細胞Ｃの移動する方向であると推定し、これを細胞変形方向とする。例えば、図６に示すように、細胞モデルＭｃの中心からはみ出し最大部分の領域の方位が求められ、この方位が細胞変形方向と算出される。
【００３４】
これらの算出手法は、細胞が移動する際に体の一部（足）を伸ばして足がかりを作る特徴や、細胞形状を歪ませて接着面が残る特徴を利用したものである。このようにして得られた細胞変形方向をベクトル化させ、「細胞変形方向」ＶP1とする（ＶP1は単位ベクトル）。なお、細胞モデルＭｃの構成例として楕円形状を例示したが、観察対象となる細胞の形態的な特徴に応じて適宜な形状を用いることができ、例えば、三角形や矩形、星形、弓形などが例示される。
【００３５】
（II：内部構造の偏りに基づく細胞変形方向の算出）
細胞の内部構造の偏りに基づく細胞変形方向の算出は、前処理により最外輪郭が抽出された観察細胞の輪郭形状に対する細胞密度の分布を算出し、算出された細胞密度分布に基づいて観察細胞の細胞変形方向を算出する。
【００３６】
細胞密度は、もっとも簡単な計測手法として、顕微観察画像における細胞輪郭内側の輝度値の分散で表現することができる。細胞は移動する際に内部を移動する方向へと組織を移動させる（またはその逆に移動させる）傾向がある。そこで、細胞輪郭内における細胞密度を輝度値の分散から求め、図７に示すように、細胞輪郭内において分散の小さい領域から分散の大きい領域に向かう方向を計算し、これを観察細胞Ｃの「細胞変形方向」ＶP2とする（ＶP2は単位ベクトル）。
【００３７】
（細胞移動方向の検出）
次に、観察細胞Ｃの移動に対して十分微小な時間を隔てた時刻t+1，t+2，t+3・・・（またはt-1，t-2，t-3・・・）の細胞観察画像（第２観察画像）を取得し、時刻tの観察細胞Ｃに最も近い位置の細胞を対応する観察細胞として順次検出する。また、時刻tの観察細胞Ｃの位置と各時刻における観察細胞の位置とから移動量および移動方向を算出し、算出された観察細胞の実移動方向を各時刻における観察細胞の「細胞移動方向」ＶRとする（ＶRは単位ベクトル）。なお、各時刻における移動量及び移動方向から観察細胞Ｃの平均移動方向を算出し、これを観察細胞の細胞移動方向ＶRとしてもよい。
【００３８】
ここで、時刻tの細胞に対応する時刻t+1の細胞の検出には、時刻の刻み幅が観察細胞Ｃの移動に対して十分短く、細胞の変形も少ないことから、時刻tの観察細胞Ｃをテンプレートとし、その近傍における時刻t+1の画像に対してマッチング（相関や差分など）をとる（テンプレートマッチング）。これを時刻t+1の画像に対する時刻t+2の細胞の検出と繰り返し、短時間あたりの細胞の移動方向を決定する。
【００３９】
（細胞移動形態の分類）
次に、上記のようにして求めた観察細胞Ｃの細胞変形方向（ＶP1，ＶP2）と、細胞移動方向（ＶR）との内積をとり、
Ｐ1＝ＶP1・ＶR
Ｐ2＝ＶP2・ＶR
を算出する。そして、この内積の算出結果により、観察細胞Ｃの移動形態を次のように分類する。図１(ａ)(ｂ)に、細胞変形方向ＶP（ＶP1，ＶP2）及び細胞移動方向ＶRと、細胞の移動形態の関係を模式的に表す説明図を示す。
【００４０】
Ｐ1が１に近い場合、またはＰ2が−１に近い場合。
この場合には、図１(ａ)に示すように、観察細胞Ｃは、体の一部（足）を伸ばして足がかりを作り、その方向に体を移動させるタイプであると判断される。
【００４１】
Ｐ1が−１に近い場合、またはＰ2が１に近い場合。
この場合には、図１(ｂ)に示すように、観察細胞Ｃは、細胞の形状を歪ませあるいは内部構造を移動方向に移動させて、外形の接着部位（足）を引きずるように移動するタイプであると判断される。
【００４２】
従って、以上のような解析手法を用いることにより、撮像装置により撮影された観察細胞Ｃの外形や内部構造などの情報から、観察細胞Ｃの移動形態を容易に分類することができる。
【００４３】
［アプリケーション］
次に、培養観察システムＢＳの画像処理装置１００において実行される画像解析の具体的なアプリケーションについて、図８〜図１２の各図を併せて参照しながら説明する。ここで、図８は移動予測の画像処理を実行する画像処理装置１００の概要構成を示すブロック図、図９は移動予測の画像処理プログラムＧＰにおけるメインフローを示すフローチャート、図１０〜図１２はメインフローにおいて選択される予測アルゴリズムＡ，Ｂ，Ｃに対応したフローチャートである。
【００４４】
画像処理装置１００は、撮像装置５５ｃ（５４ｃ）により観察細胞Ｃが撮影された観察画像を取得して観察画像を解析する画像解析部１２０と、画像解析部１２０により解析された解析結果を出力する出力部１３０とを備え、画像解析部１２０により導出された観察細胞Ｃの移動形態を、例えば表示パネル７２に出力して表示させるように構成される。画像処理装置１００は、ＲＯＭ６２に予め設定記憶された画像処理プログラムＧＰがＣＰＵ６１に読み込まれ、ＣＰＵ６１によって画像処理プログラムＧＰに基づく処理が順次実行されることによって構成される。
【００４５】
ここで、画像解析部１２０は、画像解析プログラムＧＰのメインフローにおいてＡまたはＢのアルゴリズムが選択された場合に、取得した時刻tの観察画像から観察細胞Ｃの輪郭を抽出し、輪郭が抽出された観察細胞Ｃの形状特徴に基づいて細胞変形方向ＶP1及び観察細胞Ｃの細胞移動方向ＶRを算出し、これら細胞変形方向ＶP1及び細胞移動方向ＶRに基づいて観察細胞Ｃの移動形態を分類する。一方、画像解析プログラムＧＰのメインフローにおいてＣのアルゴリズムが選択された場合には、画像解析部１２０は、取得した観察画像から観察細胞Ｃの輪郭を抽出し、輪郭が抽出された観察細胞Ｃの輪郭形状に対する内部構造の偏りに基づいて細胞変形方向ＶP2及び観察細胞Ｃの細胞移動方向ＶRを算出し、これら細胞変形方向ＶP2及び細胞移動方向ＶRに基づいて観察細胞Ｃの移動形態を分類する。そして、分類された観察細胞Ｃの移動形態に基づき、さらに進んで観察細胞Ｃの予測移動方向を導出する。
【００４６】
上記のような画像解析部１２０による画像解析処理は、これから観察を始める細胞の画像を画像装置により取得して実行可能であるほか、既にＲＡＭ６３に保存されている画像データを読み出して実行することも可能である。そこで、本実施例では、現時点である時刻tに取得された観察画像を基準とし、この時刻tの観察画像と、微小時間前の時刻t-1に取得され、既にＲＡＭ６３に保存されている第２観察画像とから、観察細胞Ｃの移動形態の分類及び移動予測を行う場合について、図１３に示す表示パネル７２への移動予測インターフェースの表示画像構成例を参照しながら説明する。
【００４７】
このインターフェースでは、操作パネル７１において「細胞の移動予測」が選択され、実行されると、まず、表示パネル７２に「ディッシュ選択」枠７２１が表示されてストッカー３に格納された培養容器１０のコード番号一覧表が表示され、観察対象の培養容器１０の選択が行われる。図１３では、操作パネル７１に設けられたカーソルによってコード番号Cell-0002の培養細胞ディッシュ（培養容器）が選択された状態を示す。
【００４８】
培養容器が選択されると、ＣＰＵ６１は、搬送ユニット４のＸ，Ｙ，Ｚ各ステージを作動させてストッカー３から観察対象の培養容器１０を観察ユニット５に搬送する。そして、顕微観察系５５による顕微観察像を撮像装置５５ｃにより撮影させ、その画像を「観察位置」枠７２２に表示させる。
【００４９】
次に、観察対象とする細胞（観察細胞）が含まれる観察画像を取得するため、観察画像の領域設定が行われる。図１３では、観察者が操作パネル７１に付帯して設けられたマウスを利用して中央右よりの網掛け領域を指定した状態を示す。これにより、観察者が指定した領域の画像が観察画像として画像解析部１２０に取得される（ステップＳ１）。
【００５０】
取得された観察画像は、画像解析部１２０により瞬時に細胞の最外輪郭抽出処理（セグメンテーション）が施され（ステップＳ２）、表示パネル７２の「観察画像」枠７２３に、最外輪郭が抽出された細胞の画像が表示される。そこで、図１３に示すように、観察画像において、移動方向予測を行う観察細胞（注目細胞）をマウス等を用いて指定する（ステップＳ３）。このとき、観察画像枠７２３の下側に「移動予測オプション」枠７２４が形成され、その枠内に「移動予測手法」枠７２５が形成されてどの予測アルゴリズムを適用して移動予測を行うか、移動予測手法の選択ボタン７２５ａ，７２５ｂ，７２５ｃが表示される。
【００５１】
図示する実施例では、予測アルゴリズムとして、
Ａ：最外輪郭偏心方向による予測・・・すなわち、Ｉ：形状特徴に基づく細胞変形方向の算出(１)で説明した、細胞モデルＭｃの重心位置Ｏと観察細胞Ｃの重心位置Ｇのずれに基づいて細胞の移動形態を分類し、移動方向を予測する手法。
Ｂ：楕円はみ出し方向による予測・・・すなわち、Ｉ：形状特徴に基づく細胞変形方向の算出(２)で説明した、細胞モデルＭｃの輪郭形状と観察細胞Ｃの輪郭形状の差異に基づいて細胞の移動形態を分類し、移動方向を予測する手法。
Ｃ：細胞組織密度方向による予測・・・すなわち、II：内部構造の特徴に基づく細胞変形方向の算出で説明した、観察細胞Ｃの内部構造の特徴に基づいて細胞の移動形態を分類し、移動方向を予測する手法。
の３種類の中から予測手法を選択設定可能に構成しており、Ａ：最外輪郭偏心方向による予測手法の選択ボタン７２５ａ、Ｂ：楕円はみ出し方向による予測手法の選択ボタン７２５ｂ、Ｃ：細胞組織密度方向による予測手法の選択ボタン７２５ｃがメイン画面に表示されるように構成している。
【００５２】
ステップＳ４では、観察者が選択ボタン７２５ａ，７２５ｂ，７２５ｃのいずれかを選択することにより予測アルゴリズムＡ，Ｂ，Ｃの選択が行われ、この選択に応じて、ステップＳ５で、Ｓ５Ａ：最外輪郭偏心方向による予測アルゴリズムのフロー、Ｓ５Ｂ：楕円はみ出し方向による予測アルゴリズムのフロー、Ｓ５Ｃ：細胞組織密度方向による予測アルゴリズムのフローのいずれかに分岐する。
【００５３】
（Ｓ５Ａ：最外輪郭偏心方向による予測アルゴリズムのフロー）
最外輪郭偏心方向による予測アルゴリズムは、図１０に示すように、まず、ステップＳ１１において、観察細胞の最外輪郭に対して細胞モデルＭｃの近似処理が実行され、例えば図５に点線で示したように、観察細胞Ｃに楕円形状の細胞モデル（楕円モデル）Ｍｃが適応される。次いで、ステップＳ１２において、細胞モデルＭｃの重心位置（楕円中心）Ｏと、観察細胞Ｃの輪郭形状における重心位置Ｇとが算出される。ステップＳ１３では、細胞モデルＭｃの重心位置Ｏから輪郭形状の重心位置Ｇに向かう方向が算出され、細胞変形方向ＶP1が算出されて、ステップＳ１５に進む。
【００５４】
上記ステップＳ１１〜Ｓ１３による細胞変形方向ＶP1の算出と並行して（または別途独立して）、ステップＳ５１において既にＲＡＭ６３に記憶されていた時刻t-1の観察画像が取得され、ステップＳ５２において時刻tの観察細胞Ｃに最も近い位置の細胞を対応する観察細胞として検出する。次いで、ステップＳ５３において時刻tの観察細胞Ｃの位置と時刻t-1における観察細胞Ｃの位置とから、当該観察細胞Ｃの実際の移動方向、すなわち細胞移動方向ＶRを算出してステップＳ１５に進む。なお、前述したように複数の時刻（t，t-1，t-2，t-3・・・）間の移動量及び移動方向から平均移動方向を算出し、これを細胞移動方向ＶRとしてもよく、時刻tから微小時間経過後のt+1の画像を新たに取得して細胞移動方向ＶRを算出してもよい。
【００５５】
ステップＳ１５では、ステップＳ１３で得られた細胞変形方向ＶP1と、ステップＳ５３で得られた細胞移動方向ＶRとから内積Ｐ1＝ＶP1・ＶRが算出される。そして、ステップＳ１６において、Ｐ1に基づいて観察細胞Ｃの移動形態が分類される。すなわち、算出されたＰ1が１に近い場合には、観察細胞Ｃは、図１(ａ)に示すように移動方向に体を伸ばす細胞輪郭（足）移動型、Ｐ1が−１に近い場合には、観察細胞Ｃは、図１(ｂ)に示すように接着部を引きずるように移動する細胞内部移動型であると判断され、観察細胞の移動形態（細胞移動モデル）が決定される。
【００５６】
そして、ステップＳ１６で決定された移動形態に基づき、ステップＳ１８において、細胞モデルＭｃの中心Ｏから細胞輪郭の重心Ｇに向かう方向（Ｐ1が１に近い場合）または逆方向（Ｐ1が−１に近い場合）が観察細胞Ｃの移動予測方向と決定され、メインフローに戻ってステップＳ６に進む。
【００５７】
ステップＳ６では、表示画面に「細胞移動モデル」枠７２６、及び「注目細胞のトラッキング」枠７２７が形成される。「細胞移動モデル」枠７２６の枠内には、ステップＳ１６において決定された観察細胞Ｃの移動形態（細胞内部移動型７２６ａ、または細胞輪郭（足）移動型７２６ｂ）がドットの点灯や点滅表示により示される。「注目細胞のトラッキング」枠７２７の枠内には、ステップＳ３において指定された観察細胞Ｃのクローズアップ表示と、ステップＳ１８において決定された観察細胞Ｃの予測移動方向がベクトル表示により表示される。なお、観察画像内に位置する全細胞について移動予測を実行する場合には、「観察画像」枠７２３の下側に形成された「全細胞移動予測ベクトル表示」の選択ボタンをオンに設定することによって、図示するように観察画像中の各細胞に移動ベクトルが重ねて表示される。
【００５８】
（Ｓ５Ｂ：楕円はみ出し方向による予測アルゴリズムのフロー）
楕円はみ出し方向による予測アルゴリズムは、図１１に示すように、ステップＳ２１において、観察細胞の最外輪郭に対して細胞モデルＭｃの近似処理が実行され、例えば図６に点線で示したように、観察細胞Ｃに楕円形状の細胞モデル（楕円モデル）Ｍｃが適応される。次いで、ステップＳ２２において、細胞モデルＭｃからはみ出した観察細胞Ｃの領域の位置と大きさが算出される。続くステップＳ２３では、細胞モデルＭｃの中心から突出量が最大の領域の方位が求められ、この方位が細胞変形方向ＶP1と算出されて、ステップＳ２５に進む。
【００５９】
ステップＳ２１〜Ｓ２３による細胞変形方向ＶP1の算出と並行して（または独立して）、ステップＳ５１においてＲＡＭ６３に記憶されていた時刻t-1の観察画像が取得され、ステップＳ５２において時刻tの観察細胞Ｃに最も近い位置の細胞を対応する観察細胞として検出し、ステップＳ５３において時刻tの観察細胞Ｃの位置と時刻t-1における観察細胞Ｃの位置とから細胞移動方向ＶRを算出して、ステップＳ２５に進む。
【００６０】
ステップＳ２５では、ステップＳ２３で得られた細胞変形方向ＶP1と、ステップＳ５３で得られた細胞移動方向ＶRとから内積Ｐ1＝ＶP1・ＶRが算出される。そして、ステップＳ２６において、算出されたＰ1に基づいて観察細胞Ｃの移動形態を分類する。すなわち、算出されたＰ1が１に近い場合には、観察細胞Ｃは、図１(ａ)に示すように移動方向に体の一部（足）を伸ばして足がかりを作る細胞輪郭（足）移動型、Ｐ1が−１に近い場合には、観察細胞Ｃは、図１(ｂ)に示すように体を歪ませて接着部を引きずるように移動する細胞内部移動型であると判断され、細胞の移動形態（細胞移動モデル）が決定される。
【００６１】
そして、ステップＳ２６で決定された移動形態に基づき、ステップＳ２８において、細胞モデルＭｃの中心から突出量が最大の領域に向かう方向（Ｐ1が１に近い場合）または逆方向（Ｐ1が−１に近い場合）が、観察細胞Ｃの移動予測方向と決定され、メインフローに戻ってステップＳ６に進む。
【００６２】
以降の処理は、前述した最外輪郭偏心方向による予測アルゴリズムの場合と同様である。すなわち、ステップＳ６において、表示画面に「細胞移動モデル」枠７２６、及び「注目細胞のトラッキング」枠７２７が形成され、「細胞移動モデル」枠７２６の枠内に観察細胞Ｃの移動形態（細胞内部移動型７２６ａ、または細胞輪郭（足）移動型７２６ｂ）、「注目細胞のトラッキング」枠７２７の枠内に、観察細胞Ｃのクローズアップ表示と予測移動方向とが表示される。
【００６３】
（Ｓ５Ｃ：細胞組織密度方向による予測アルゴリズムのフロー）
細胞組織密度方向による予測アルゴリズムは、図１２に示すように、まず、ステップＳ３１において、観察細胞輪郭内の輝度値の分散を算出することにより細胞内部の密度分布を算出する。次いで、ステップＳ３２において輝度値の分散が小さい領域から大きい領域に向かう方向を算出し、観察細胞Ｃの細胞変形方向ＶP2を求める。これにより図７に示したように、輪郭形状が複雑な細胞であっても、細胞内部の構造特徴により細胞密度の低い領域から高い領域に向かう細胞変形方向ＶP2を求められ、ステップＳ３５に進む。
【００６４】
ステップＳ３１，Ｓ３２による細胞変形方向ＶP2の算出と並行して、前述同様のステップＳ５１〜ステップＳ５３が実行され、この処理により細胞移動方向ＶRが算出されてステップＳ３５に進む。
【００６５】
ステップＳ３５では、ステップＳ３２で得られた細胞変形方向ＶP2と、ステップＳ５３で得られた細胞移動方向ＶRとから内積Ｐ2＝ＶP2・ＶRが算出される。そして、ステップＳ３６において、算出されたＰ2に基づいて観察細胞Ｃの移動形態を分類する。すなわち、算出されたＰ2が−１に近い場合には、観察細胞Ｃは、図１(ｂ)に示すように細胞の内部構造を体の内部で移動させ、当該内部構造の移動方向に移動してゆく細胞内部移動型であると判断され、Ｐ2が１に近い場合には、観察細胞Ｃは、図１(ａ)に示すように移動方向に体の一部を伸ばす細胞輪郭（足）移動型であると判断され、細胞の移動形態（細胞移動モデル）が決定される。
【００６６】
そして、ステップＳ３６で決定された移動形態に基づき、ステップＳ３８において、細胞密度が小さい領域から大きい領域に向かう方向（Ｐ2が−１に近い場合）または逆方向（Ｐ2が１に近い場合）が、観察細胞Ｃの移動予測方向と決定され、メインフローに戻ってステップＳ６に進む。
【００６７】
以降の処理は、既述した最外輪郭偏心方向による予測アルゴリズムの場合と同様であり、ステップＳ６において、表示画面に「細胞移動モデル」枠７２６及び「注目細胞のトラッキング」枠７２７が形成され、「細胞移動モデル」枠の枠内に観察細胞Ｃの移動形態（細胞内部移動型７２６ａ、または細胞輪郭（足）移動型７２６ｂ）、「注目細胞のトラッキング」枠の枠内に、観察細胞Ｃのクローズアップ表示及び予測移動方向が表示される。
【００６８】
このようなアプリケーションによれば、観察対象に応じて好適な予測アルゴリズムを選択することができ、いずれの予測アルゴリズムを適用した場合にも、「細胞移動モデル」枠７２６の表示を見ることにより、観察細胞Ｃの移動形態を直ちに理解することができ、「注目細胞のトラッキング」枠７２７を見ることにより、観察対象の細胞の移動方向を詳細に把握することができる。
【００６９】
そして、以上説明したように、本発明の画像処理プログラムＧＰ、この画像処理プログラムが実行されることより構成される画像解析方法及び画像処理装置１００によれば、撮像装置により撮影された少数の観察画像から細胞の移動形態を分類することができ、細胞の分類及び移動予測を簡明な構成で、高速に処理可能な手段を提供することができる。
【図面の簡単な説明】
【００７０】
【図１】細胞変形方向と細胞移動方向とにより分類される細胞の移動形態を説明するための説明図である。
【図２】本発明の適用例として示す培養観察システムの概要構成図である。
【図３】上記培養観察システムのブロック図である。
【図４】細胞の輪郭抽出を行う輪郭抽出処理の状況を例示する模式図である。
【図５】細胞モデルの重心と観察細胞の重心のずれから移動方向を導出する移動予測手法の概念図である。
【図６】細胞モデルからはみ出した観察細胞の位置から移動方向を導出する移動予測手法の概念図である。
【図７】観察細胞の密度分布から移動方向を導出する移動予測手法の概念図である。
【図８】画像処理装置の概要構成を示すブロック図である。
【図９】画像処理プログラムにおけるメインフローを示すフローチャートである。
【図１０】メインフローにおいて選択される予測アルゴリズムＡに対応したフローチャートである。
【図１１】メインフローにおいて選択される予測アルゴリズムＢに対応したフローチャートである。
【図１２】メインフローにおいて選択される予測アルゴリズムＣに対応したフローチャートである。
【図１３】画像処理プログラムを実行した場合に表示パネルに表示される細胞移動トラッキング・インターフェースの表示画像の構成例である。
【符号の説明】
【００７１】
ＢＳ 培養観察システム ＧＰ 画像処理プログラム
Ｃ 観察細胞 Ｍｃ 細胞モデル
ＶP（ＶP1，ＶP2） 細胞変形方向 ＶR 細胞移動方向
５ 観察ユニット ６ 制御ユニット
５４ マクロ観察系 ５４ｃ 撮像装置
５５ 顕微観察系 ５５ｃ 撮像装置
６１ ＣＰＵ ６２ ＲＯＭ
６３ ＲＡＭ １００ 画像処理装置
１２０ 画像解析部 １３０ 出力部
【特許請求の範囲】
【請求項１】
撮像装置により観察細胞が撮影された観察画像を取得し、
取得した前記観察画像から前記観察細胞の輪郭を抽出し、
輪郭が抽出された前記観察細胞の形状特徴に基づいて前記観察細胞の細胞変形方向を算出するとともに、
前記観察画像と所定時間を隔てて前記撮像装置により撮影された第２観察画像とから前記観察細胞の細胞移動方向を算出し、
算出された前記細胞変形方向と前記細胞移動方向とに基づいて前記観察細胞の移動形態を分類することを特徴とする細胞観察画像の画像解析方法。
【請求項２】
前記形状特徴は、前記観察細胞の輪郭を近似した細胞モデルの重心位置と、前記観察細胞の輪郭形状の重心位置とのずれに関する特徴量であることを特徴とする請求項１に記載の細胞観察画像の画像解析方法。
【請求項３】
前記形状特徴は、前記観察細胞の輪郭を近似した細胞モデルの形状と、前記観察細胞の輪郭形状との差異に関する特徴量であることを特徴とする請求項１に記載の細胞観察画像の画像解析方法。
【請求項４】
撮像装置により観察細胞が撮影された観察画像を取得し、
取得した前記観察画像から前記観察細胞の輪郭を抽出し、
輪郭が抽出された前記観察細胞の内部構造の偏りに基づいて前記観察細胞の細胞変形方向を算出するとともに、
前記観察画像と所定時間を隔てて前記撮像装置により撮影された第２観察画像とから前記観察細胞の細胞移動方向を算出し、
算出された前記細胞変形方向と前記細胞移動方向とに基づいて前記観察細胞の移動形態を分類することを特徴とする細胞観察画像の画像解析方法。
【請求項５】
前記内部構造の偏りが、前記観察細胞の細胞密度であることを特徴とする請求項４に記載の細胞観察画像の画像解析方法。
【請求項６】
撮像装置により観察細胞が撮影された観察画像を取得するステップと、
取得された前記観察画像から前記観察細胞の輪郭を抽出するステップと、
輪郭が抽出された前記観察細胞の形状特徴に基づいて前記観察細胞の細胞変形方向を算出するステップと、
前記観察画像と所定時間を隔てて前記撮像装置により撮影された第２観察画像とから前記観察細胞の細胞移動方向を算出するステップと、
算出された前記細胞変形方向と前記細胞移動方向とに基づいて前記観察細胞の移動形態を分類するステップと、
分類された前記観察細胞の種別を外部に出力するステップと
を備えてなることを特徴とする細胞観察画像の画像処理プログラム。
【請求項７】
前記形状特徴は、前記観察細胞の輪郭を近似した細胞モデルの重心位置と、前記観察細胞の輪郭形状の重心位置とのずれに関する特徴量であることを特徴とする請求項６に記載の細胞観察画像の画像処理プログラム。
【請求項８】
前記形状特徴は、前記観察細胞の輪郭を近似した細胞モデルの形状と、前記観察細胞の輪郭形状との差異に関する特徴量であることを特徴とする請求項６に記載の細胞観察画像の画像処理プログラム。
【請求項９】
撮像装置により観察細胞が撮影された観察画像を取得するステップと、
取得した前記観察画像から前記観察細胞の輪郭を抽出するステップと、
輪郭が抽出された前記観察細胞の内部構造の偏りに基づいて前記観察細胞の細胞変形方向を算出するステップと、
前記観察画像と所定時間を隔てて前記撮像装置により撮影された第２観察画像とから前記観察細胞の細胞移動方向を算出するステップと、
算出された前記細胞変形方向と前記細胞移動方向とに基づいて前記観察細胞の移動形態を分類するするステップと、
分類された前記観察細胞の種別を外部に出力するステップと
を備えてなることを特徴とする細胞観察画像の画像処理プログラム。
【請求項１０】
前記内部構造の偏りが、前記観察細胞の細胞密度であることを特徴とする請求項９に記載の細胞観察画像の画像処理プログラム。
【請求項１１】
細胞を撮影する撮像装置と、前記撮像装置により観察細胞が撮影された観察画像を取得して前記観察画像を解析する画像解析部と、前記画像解析部により解析された解析結果を出力する出力部とを備え、
前記画像解析部が、前記観察画像から前記観察細胞の輪郭を抽出し、輪郭が抽出された前記観察細胞の形状特徴に基づいて前記観察細胞の細胞変形方向を算出するとともに、前記観察画像と所定時間を隔てて前記撮像装置により撮影された第２観察画像とから前記観察細胞の細胞移動方向を算出し、算出された前記細胞変形方向と前記細胞移動方向とに基づいて前記観察細胞の移動形態を分類するように構成したことを特徴とする細胞観察の画像処理装置。
【請求項１２】
前記形状特徴は、前記観察細胞の輪郭を近似した細胞モデルの重心位置と、前記観察細胞の輪郭形状の重心位置とのずれに関する特徴量であることを特徴とする請求項１１に記載の細胞観察画像の画像処理装置。
【請求項１３】
前記形状特徴は、前記観察細胞の輪郭を近似した細胞モデルの形状と、前記観察細胞の輪郭形状との差異に関する特徴量であることを特徴とする請求項１１に記載の細胞観察画像の画像処理装置。
【請求項１４】
細胞を撮影する撮像装置と、前記撮像装置により観察細胞が撮影された観察画像を取得して前記観察画像を解析する画像解析部と、前記画像解析部により解析された解析結果を出力する出力部とを備え、
前記画像解析部が、前記観察画像から前記観察細胞の輪郭を抽出し、輪郭が抽出された前記観察細胞の内部構造の偏りに基づいて前記観察細胞の細胞変形方向を算出するとともに、前記観察画像と所定時間を隔てて前記撮像装置により撮影された第２観察画像とから前記観察細胞の細胞移動方向を算出し、算出された前記細胞変形方向と前記細胞移動方向とに基づいて前記観察細胞の移動形態を分類するように構成したことを特徴とする細胞観察の画像処理装置。
【請求項１５】
前記内部構造の偏りが、前記観察細胞の細胞密度であることを特徴とする請求項１４に記載の細胞観察画像の画像処理装置。
【請求項１】
撮像装置により観察細胞が撮影された観察画像を取得し、
取得した前記観察画像から前記観察細胞の輪郭を抽出し、
輪郭が抽出された前記観察細胞の形状特徴に基づいて前記観察細胞の細胞変形方向を算出するとともに、
前記観察画像と所定時間を隔てて前記撮像装置により撮影された第２観察画像とから前記観察細胞の細胞移動方向を算出し、
算出された前記細胞変形方向と前記細胞移動方向とに基づいて前記観察細胞の移動形態を分類することを特徴とする細胞観察画像の画像解析方法。
【請求項２】
前記形状特徴は、前記観察細胞の輪郭を近似した細胞モデルの重心位置と、前記観察細胞の輪郭形状の重心位置とのずれに関する特徴量であることを特徴とする請求項１に記載の細胞観察画像の画像解析方法。
【請求項３】
前記形状特徴は、前記観察細胞の輪郭を近似した細胞モデルの形状と、前記観察細胞の輪郭形状との差異に関する特徴量であることを特徴とする請求項１に記載の細胞観察画像の画像解析方法。
【請求項４】
撮像装置により観察細胞が撮影された観察画像を取得し、
取得した前記観察画像から前記観察細胞の輪郭を抽出し、
輪郭が抽出された前記観察細胞の内部構造の偏りに基づいて前記観察細胞の細胞変形方向を算出するとともに、
前記観察画像と所定時間を隔てて前記撮像装置により撮影された第２観察画像とから前記観察細胞の細胞移動方向を算出し、
算出された前記細胞変形方向と前記細胞移動方向とに基づいて前記観察細胞の移動形態を分類することを特徴とする細胞観察画像の画像解析方法。
【請求項５】
前記内部構造の偏りが、前記観察細胞の細胞密度であることを特徴とする請求項４に記載の細胞観察画像の画像解析方法。
【請求項６】
撮像装置により観察細胞が撮影された観察画像を取得するステップと、
取得された前記観察画像から前記観察細胞の輪郭を抽出するステップと、
輪郭が抽出された前記観察細胞の形状特徴に基づいて前記観察細胞の細胞変形方向を算出するステップと、
前記観察画像と所定時間を隔てて前記撮像装置により撮影された第２観察画像とから前記観察細胞の細胞移動方向を算出するステップと、
算出された前記細胞変形方向と前記細胞移動方向とに基づいて前記観察細胞の移動形態を分類するステップと、
分類された前記観察細胞の種別を外部に出力するステップと
を備えてなることを特徴とする細胞観察画像の画像処理プログラム。
【請求項７】
前記形状特徴は、前記観察細胞の輪郭を近似した細胞モデルの重心位置と、前記観察細胞の輪郭形状の重心位置とのずれに関する特徴量であることを特徴とする請求項６に記載の細胞観察画像の画像処理プログラム。
【請求項８】
前記形状特徴は、前記観察細胞の輪郭を近似した細胞モデルの形状と、前記観察細胞の輪郭形状との差異に関する特徴量であることを特徴とする請求項６に記載の細胞観察画像の画像処理プログラム。
【請求項９】
撮像装置により観察細胞が撮影された観察画像を取得するステップと、
取得した前記観察画像から前記観察細胞の輪郭を抽出するステップと、
輪郭が抽出された前記観察細胞の内部構造の偏りに基づいて前記観察細胞の細胞変形方向を算出するステップと、
前記観察画像と所定時間を隔てて前記撮像装置により撮影された第２観察画像とから前記観察細胞の細胞移動方向を算出するステップと、
算出された前記細胞変形方向と前記細胞移動方向とに基づいて前記観察細胞の移動形態を分類するするステップと、
分類された前記観察細胞の種別を外部に出力するステップと
を備えてなることを特徴とする細胞観察画像の画像処理プログラム。
【請求項１０】
前記内部構造の偏りが、前記観察細胞の細胞密度であることを特徴とする請求項９に記載の細胞観察画像の画像処理プログラム。
【請求項１１】
細胞を撮影する撮像装置と、前記撮像装置により観察細胞が撮影された観察画像を取得して前記観察画像を解析する画像解析部と、前記画像解析部により解析された解析結果を出力する出力部とを備え、
前記画像解析部が、前記観察画像から前記観察細胞の輪郭を抽出し、輪郭が抽出された前記観察細胞の形状特徴に基づいて前記観察細胞の細胞変形方向を算出するとともに、前記観察画像と所定時間を隔てて前記撮像装置により撮影された第２観察画像とから前記観察細胞の細胞移動方向を算出し、算出された前記細胞変形方向と前記細胞移動方向とに基づいて前記観察細胞の移動形態を分類するように構成したことを特徴とする細胞観察の画像処理装置。
【請求項１２】
前記形状特徴は、前記観察細胞の輪郭を近似した細胞モデルの重心位置と、前記観察細胞の輪郭形状の重心位置とのずれに関する特徴量であることを特徴とする請求項１１に記載の細胞観察画像の画像処理装置。
【請求項１３】
前記形状特徴は、前記観察細胞の輪郭を近似した細胞モデルの形状と、前記観察細胞の輪郭形状との差異に関する特徴量であることを特徴とする請求項１１に記載の細胞観察画像の画像処理装置。
【請求項１４】
細胞を撮影する撮像装置と、前記撮像装置により観察細胞が撮影された観察画像を取得して前記観察画像を解析する画像解析部と、前記画像解析部により解析された解析結果を出力する出力部とを備え、
前記画像解析部が、前記観察画像から前記観察細胞の輪郭を抽出し、輪郭が抽出された前記観察細胞の内部構造の偏りに基づいて前記観察細胞の細胞変形方向を算出するとともに、前記観察画像と所定時間を隔てて前記撮像装置により撮影された第２観察画像とから前記観察細胞の細胞移動方向を算出し、算出された前記細胞変形方向と前記細胞移動方向とに基づいて前記観察細胞の移動形態を分類するように構成したことを特徴とする細胞観察の画像処理装置。
【請求項１５】
前記内部構造の偏りが、前記観察細胞の細胞密度であることを特徴とする請求項１４に記載の細胞観察画像の画像処理装置。
【図２】
【図３】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１】
【図４】
【図５】
【図６】
【図７】
【図１３】
【図３】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１】
【図４】
【図５】
【図６】
【図７】
【図１３】
【公開番号】特開２０１０−２６３９２（Ｐ２０１０−２６３９２Ａ）
【公開日】平成２２年２月４日（２０１０．２．４）
【国際特許分類】
【出願番号】特願２００８−１８９９９４（Ｐ２００８−１８９９９４）
【出願日】平成２０年７月２３日（２００８．７．２３）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２２年２月４日（２０１０．２．４）
【国際特許分類】
【出願日】平成２０年７月２３日（２００８．７．２３）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]