説明

画像処理装置および方法、並びにプログラム

【課題】試料の形態変化を定量的に観察できるようにする。
【解決手段】検出部52は、時間の経過とともに形態が変化する試料18の観察画像から、試料18としての破骨前駆細胞の領域を検出する。重畳部53は、時刻の異なる観察画像上の破骨前駆細胞の領域を重ね合わせ、演算部54は、重ね合わされた破骨前駆細胞の領域の面積に基づいて破骨前駆細胞の形態変化の度合いを算出し、形態変化の度合いに基づいて破骨前駆細胞が分化したかを判定する。加工部55は、分化したかの判定結果に基づいて、観察画像上の分化した破骨前駆細胞(成熟破骨細胞)と、分化していない破骨前駆細胞とを異なる表示形式で表示させる。本発明は、共焦点顕微鏡を用いた観察システムに適用することができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、試料の形態変化を定量的に観察できるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【0002】
従来、共焦点顕微鏡などにより、時間の経過とともに形態が変化していく試料を観察することがある(例えば、特許文献1参照)。例えば、時間とともに形態が変化する試料として、破骨前駆細胞が知られている。成熟破骨細胞は骨を吸収する細胞であり、破骨前駆細胞と呼ばれる状態から分化して、成熟破骨細胞へと変化する。
【0003】
このような試料の観察時に、各時刻における試料の画像を撮像すれば、得られた画像を見ることで、ユーザは、試料の形態変化の過程を確認することができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2004−251630号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上述した技術では、観察対象となる試料の形態変化の過程を確認することはできるが、試料の形態変化を定量的に観察することはできなかった。
【0006】
本発明は、このような状況に鑑みてなされたものであり、試料の形態変化を定量的に観察することができるようにするものである。
【課題を解決するための手段】
【0007】
本発明のプログラムにより実行される処理は、時間の経過とともに形態が変化する観察対象の観察画像から、前記観察対象の領域を検出する検出ステップと、所定の時刻の前記観察画像上の前記観察対象の領域と、前記所定の時刻より前の時刻の他の観察画像上の前記観察対象の領域とに共通する領域を特定する共通領域特定ステップと、前記共通領域特定ステップの処理により特定された前記観察対象の共通領域の面積、前記所定の時刻の前記観察画像上の前記観察対象の領域の面積、および前記他の観察画像上の前記観察対象の領域の面積の少なくとも一つを用いて、前記観察対象の形態変化の度合いを算出する演算ステップとを含むことを特徴とする。
【発明の効果】
【0008】
本発明によれば、試料の形態変化を定量的に観察することができる。
【図面の簡単な説明】
【0009】
【図1】本発明を適用した観察システムの一実施の形態の構成例を示す図である。
【図2】画像加工処理を説明するフローチャートである。
【図3】形態変化の度合いの算出について説明する図である。
【図4】加工後の観察画像の一例を示す図である。
【図5】各時刻の分化した破骨前駆細胞(成熟破骨細胞)の数と、未分化の破骨前駆細胞の数のデータの一例を示す図である。
【図6】各時刻の形態変化の度合いの値を示すデータの一例を示す図である。
【図7】各時刻の形態変化の度合いの値を示すデータの他の例を示す図である。
【発明を実施するための形態】
【0010】
以下、図面を参照して、本発明を適用した実施の形態について説明する。
【0011】
〈第1の実施の形態〉
[観察システムの構成例]
図1は、本発明を適用した観察システムの一実施の形態の構成例を示す図である。
【0012】
この観察システムは、光源11、ビームエキスパンダ12、スキャンヘッド13、顕微鏡14、制御部15、コンピュータ16、および表示部17から構成され、観察対象の試料18を観察するものである。なお、試料18は、時間の経過とともに形態(形状)が変化するものであれば、どのようなものであってもよいが、以下では、特に試料18が破骨前駆細胞(および破骨前駆細胞から分化した成熟破骨細胞)であるものとして説明を続ける。
【0013】
観察システムでは、光を走査させるスキャンヘッド13が顕微鏡14に取り付けられており、スキャンヘッド13および顕微鏡14が2光子顕微鏡付き共焦点顕微鏡(以下、単に共焦点顕微鏡という)として機能する。すなわち、この共焦点顕微鏡により、通常の1光子励起による共焦点観察と、2光子励起法による観察とが実現される。
【0014】
光源11は、観察対象の試料18に照射する照明光(励起光)を射出する。例えば、試料18が2光子励起法により観察される場合には、光源11として、短パルスレーザ光源などが用いられる。
【0015】
光源11から射出された照明光は、ビームエキスパンダ12によりビーム径が拡大するように整形されて平行光線とされ、スキャンヘッド13に入射する。
【0016】
このようにして、空間伝播によりスキャンヘッド13に導かれた照明光は、スキャンヘッド13に設けられたダイクロイックミラー31、走査ユニット32、およびリレーレンズ33を介して顕微鏡14に入射する。そして、顕微鏡14に入射した照明光は、顕微鏡14内のダイクロイックミラー34および対物レンズ35を介してステージ36上に載置された試料18に照射される。
【0017】
このとき、走査ユニット32は、ダイクロイックミラー31から入射した照明光を、図中、左右方向および奥行き方向に偏向させることにより、試料18上で照明光を走査させる。試料18に照明光が照射されると、試料18からは観察光となる蛍光が発生し、この蛍光は対物レンズ35を介してダイクロイックミラー34に入射する。
【0018】
2光子励起法の場合、集光点のごく近傍からしか蛍光が発生せず、それ自体で高い空間分解能を有するため、ピンホールは不要である。そのため、蛍光をより高い効率で検出するために、試料になるべく近い位置に検出器を置く構成が可能となる。
【0019】
そのような構成の場合は、ダイクロイックミラー34は、必要に応じて対物レンズ35からの蛍光を反射して、集光レンズ37に入射させる。つまり、ダイクロイックミラー34は、物理的に移動するようになされており、2光子励起法により試料18から発生した蛍光をそのまま観察するときには、照明光の光路上、つまり被検光路上に配置され、通常の1光子励起法による蛍光を共焦点方式により観察するときには、被検光路上には配置されない。
【0020】
ダイクロイックミラー34が被検光路上に配置されている場合、ダイクロイックミラー34は、リレーレンズ33からの照明光を透過させるとともに、試料18からの蛍光を反射して、集光レンズ37に入射させる。
【0021】
集光レンズ37に入射した蛍光は、集光レンズ37により集光されて光電検出素子38に受光され、光電変換される。そして光電変換により得られた電気信号は、光電検出素子38から制御部15を介してコンピュータ16に供給される。
【0022】
一方、ダイクロイックミラー34が被検光路上に配置されない場合、リレーレンズ33からの照明光は、対物レンズ35を介して試料18に照射される。そして、試料18からの蛍光は、照明光の光路を逆方向に通ってダイクロイックミラー31に入射する。すなわち、試料18から対物レンズ35に入射した蛍光は、リレーレンズ33および走査ユニット32を介してダイクロイックミラー31に入射する。
【0023】
ダイクロイックミラー31は、走査ユニット32からの蛍光を反射して集光レンズ39に入射させる。このダイクロイックミラー31は、照明光の波長の光を透過させて、蛍光の波長の光を反射する。
【0024】
ダイクロイックミラー31から集光レンズ39に入射した蛍光は、集光レンズ39により集光され、共焦点絞り40に設けられたピンホールを通って、光電検出素子41に受光される。そして、光電検出素子41が受光した蛍光を光電変換することにより得られた電気信号は、光電検出素子41から制御部15を介してコンピュータ16に供給される。
【0025】
このように、1光子励起法による共焦点観察の場合は、蛍光は対物レンズ35から光電検出素子41までの経路をとる。また、2光子励起法による観察の場合もピンホールを開放にすることで、この経路による検出が可能である。
【0026】
コンピュータ16は、制御部15を介して光電検出素子38または光電検出素子41から供給された電気信号に基づいて、試料18の観察画像の画像信号を生成するとともに、観察画像を適宜加工して、その加工結果を表示部17に表示させる。
【0027】
すなわち、コンピュータ16の生成部51は、制御部15から供給された電気信号に基づいて観察画像を生成し、検出部52および加工部55に供給する。検出部52は、生成部51から供給された観察画像から試料18としての破骨前駆細胞を検出し、その検出結果を重畳部53に供給する。
【0028】
また、重畳部53は、検出部52からの検出結果に基づいて、異なる時刻に撮像された観察画像上の破骨前駆細胞を重ね合わせ、演算部54は、重畳部53により重ね合わされた観察画像上の破骨前駆細胞の各領域の面積に基づいて、破骨前駆細胞の形態変化の度合いを算出する。加工部55は、演算部54による演算結果に基づいて、生成部51からの観察画像を加工して表示部17に表示させる。
【0029】
[観察システムの動作の説明]
次に、図1の観察システムの動作について説明する。
【0030】
例えば、2光子励起法での試料18の観察が指示されると、光源11は、照明光を射出し、この照明光は、ビームエキスパンダ12、およびダイクロイックミラー31乃至対物レンズ35を通って試料18に照射される。このとき、走査ユニット32は、照明光を偏向させることで、試料18上で照明光を走査させる。
【0031】
すると、試料18からは蛍光が発せられ、この蛍光は対物レンズ35を介してダイクロイックミラー34に入射し、さらにダイクロイックミラー34で反射された後、集光レンズ37により集光されて光電検出素子38に受光される。光電検出素子38は、受光した蛍光を光電変換し、その結果得られた電気信号を、制御部15を介して生成部51に供給する。
【0032】
生成部51は、光電検出素子38から供給された電気信号に基づいて、試料18の観察画像を生成する。これにより生成部51では、連続する各時刻の観察画像からなる画像群が得られる。生成部51は、生成した観察画像を検出部52および加工部55に供給する。
【0033】
なお、生成部51で生成される観察画像群は、複数の静止画像からなる画像群であってもよいし、動画像であってもよい。以下においては、各時刻の観察画像のうち、n番目に撮像された観察画像をフレームnの観察画像とも称することとする。
【0034】
また、1光子励起法による共焦点観察の場合には、ダイクロイックミラー34は被検光路上に配置されず、試料18からの蛍光は、対物レンズ35、リレーレンズ33乃至ダイクロイックミラー31、集光レンズ39、および共焦点絞り40を介して光電検出素子41に受光される。そして、光電検出素子41において、受光された蛍光に対する光電変換が行なわれ、その結果得られた電気信号に基づいて、生成部51により各時刻の観察画像が生成される。
【0035】
このようにして各時刻の観察画像が生成されると、コンピュータ16は、画像加工処理を行って、観察画像を加工し、その加工結果を表示部17に表示させる。以下、図2のフローチャートを参照して、コンピュータ16による画像加工処理について説明する。
【0036】
ステップS11において、検出部52は、生成部51から供給された観察画像から、観察対象である破骨前駆細胞を検出する。
【0037】
例えば、検出部52は、観察画像の各画素について、画素の輝度値が所定の閾値以上であるか否かを判定し、観察画像上の輝度値が閾値以上である画素からなる領域を、破骨前駆細胞の領域であるとする。また、例えばパターンマッチングなどにより、観察画像から破骨前駆細胞が検出されるようにしてもよい。
【0038】
ステップS12において、検出部52は、破骨前駆細胞の検出結果に基づいて、観察画像上における破骨前駆細胞の領域を示すマスク画像を生成し、重畳部53に供給する。すなわち、検出部52は、観察画像の各画素について、破骨前駆細胞の領域を構成する画素の画素値を1とし、破骨前駆細胞の領域を構成しない画素の画素値を0とすることでマスク画像を生成する。したがって、マスク画像上において、画素値が1である画素からなる領域が破骨前駆細胞の領域であり、画素値が0である画素からなる領域は破骨前駆細胞のない領域となる。
【0039】
また、検出部52は、マスク画像上の各破骨前駆細胞に対して、それらの破骨前駆細胞を特定するIDを付与する。このとき、互いに異なるマスク画像上の同一の破骨前駆細胞に対しては、同じIDが付与される。
【0040】
ステップS13において、重畳部53は、検出部52から供給されたマスク画像上の同じ破骨前駆細胞を重ね合わせ、その結果を演算部54に供給する。ここで、破骨前駆細胞の特定は、各破骨前駆細胞に対して付与されたIDにより行なわれる。
【0041】
例えば、重畳部53は、連続する複数フレームのマスク画像のなかから、いくつかのフレームのマスク画像を処理対象フレームのマスク画像として選択する。具体的には、10フレームなど、所定の間隔で並ぶフレームが処理対象フレームとして選択される。
【0042】
処理対象フレームを選択すると、重畳部53は、各処理対象フレームのマスク画像上の破骨前駆細胞について、その破骨前駆細胞の領域の重心位置を求める。そして、重畳部53は、時間方向に互いに隣接する2つの処理対象フレームについて、マスク画像上の同じ破骨前駆細胞の重心が重なるように、それらのマスク画像上の破骨前駆細胞を重ね合わせる。
【0043】
これにより、例えば図3に示すように、(t−1)番目の処理対象フレーム(t−1)の破骨前駆細胞の領域R(t−1)と、t番目の処理対象フレームtの破骨前駆細胞の領域R(t)とが重ね合わせられる。
【0044】
図3の例では、領域R(t−1)の重心と領域R(t)の重心とが、矢印Gに示す位置となるように、それらの領域が重ね合わせられている。この場合、領域R(t−1)と領域R(t)からなる領域RHに対して、領域R(t−1)と領域R(t)が重なっている部分の領域RCが大きいほど、破骨前駆細胞の形態の変化が小さいということができる。
【0045】
つまり、異なる時刻の破骨前駆細胞の領域R(t−1)と領域R(t)を重ね合わせた場合に、それらの領域の共通する領域RCが小さいほど、処理対象フレーム(t−1)から処理対象フレームtの期間に、破骨前駆細胞がより大きく形態変化しているということができる。
【0046】
なお、破骨前駆細胞の重ね合わせの方法は、重心を重ね合わせる方法に限らず、どのような方法とされてもよい。
【0047】
例えば、破骨前駆細胞の領域R(t−1)に外接する円の中心と、破骨前駆細胞の領域R(t)に外接する円の中心とが重なるように、領域R(t−1)と領域R(t)が重ね合わせられてもよい。また、破骨前駆細胞の領域に外接する矩形の中心同士が重なるように、それらの領域が重ね合わせられてもよいし、破骨前駆細胞の領域に外接する多角形の重心同士が重なるように重ね合わせが行なわれてもよい。
【0048】
図2のフローチャートの説明に戻り、互いに隣接する処理対象フレームの各破骨前駆細胞の領域の重ね合わせが行なわれると、処理はステップS13からステップS14へと進む。
【0049】
ステップS14において、演算部54は、重畳部53から供給されたマスク画像上の破骨前駆細胞の重ね合わせの結果に基づいて、処理対象フレームごとに、観察対象である各破骨前駆細胞の形態変化の度合いFを算出する。
【0050】
例えば、図3に示した処理対象フレームtのマスク画像上の領域R(t)にある破骨前駆細胞について、形態変化の度合いFを算出する場合、演算部54は、領域RCの面積を領域RHの面積で除算して得られる値を、形態変化の度合いFの値とする。
【0051】
この場合、形態変化の度合いFは、0<F≦1の範囲の値となる。ここで、破骨前駆細胞の形態変化が大きいほど、全体の領域RHに対する共通の領域RCの割合は小さくなるので、形態変化の度合いFは小さくなる。逆に、破骨前駆細胞の形態変化が小さければ、共通の領域RCは大きくなるので、形態変化の度合いFは大きくなる。
【0052】
このように、時間的に前後する処理対象フレームにおける破骨前駆細胞の共通する領域RCの面積を、重ね合わせられた破骨前駆細胞の全体の領域RHの面積で除算すれば、破骨前駆細胞全体に対する形態変化した領域の割合を知ることができる。このようにして求めた形態変化の度合いFを用いれば、破骨前駆細胞の形態変化を定量的に観察することができる。
【0053】
ステップS15において、演算部54は、処理対象フレームごとに、各破骨前駆細胞の形態変化の度合いFに対する閾値処理を行い、その閾値処理の結果を加工部55に供給する。具体的には、演算部54は、所定の処理対象フレームtの破骨前駆細胞の形態変化の度合いFの値が、所定の閾値th以上である場合、その処理対象フレームtにおいて、観察対象の破骨前駆細胞が分化したと判定する。
【0054】
例えば、破骨前駆細胞が分化する場合、分化の過程において破骨前駆細胞は時間とともに大きく形態(形状)が変化するが、分化が終了し、破骨前駆細胞が成熟破骨細胞となると、成熟破骨細胞は殆ど形態変化しなくなる。
【0055】
そこで、演算部54は、注目している破骨前駆細胞の形態変化の度合いFが、所定の閾値th未満である期間は、破骨前駆細胞が分化していない(分化し終わっていない)未分化の期間であるとする。また、演算部54は、破骨前駆細胞の形態変化の度合いFが閾値th以上である期間は、破骨前駆細胞が分化した期間(分化が終わった期間)であるとする。
【0056】
このように、演算部54は、破骨前駆細胞ごとに、その破骨前駆細胞について求めた形態変化の度合いFに基づいて、各時刻において破骨前駆細胞が分化したか否かを判定することで、破骨前駆細胞が分化した時刻を特定する。
【0057】
なお、時系列に並ぶ複数の処理対象フレームのうち、形態変化の度合いFが閾値th未満となる最後の処理対象フレームが検出され、検出された処理対象フレームより前の期間が、破骨前駆細胞が分化していない状態、つまり未分化の状態の期間とされてもよい。
【0058】
また、以上においては、閾値処理により、破骨前駆細胞が分化したか否かを判定する場合について説明したが、形態変化の度合いFと複数の閾値のそれぞれとを比較して、破骨前駆細胞が分化の過程のうちのどの段階の状態にあるかを判定するようにしてもよい。つまり、分化の過程を複数の段階に分け、破骨前駆細胞がそれらの段階のうちのどの段階の状態にあるかを、判定するようにしてもよい。
【0059】
ステップS16において、加工部55は、演算部54からの閾値処理の結果に基づいて、生成部51から供給された観察画像を加工し、その結果得られた観察画像を表示部17に供給して表示させる。このとき、加工部55は、必要に応じて演算部54を介して重畳部53からマスク画像を取得し、マスク画像により各破骨前駆細胞の領域を特定する。
【0060】
例えば、加工部55は、閾値処理の結果に基づいて、各フレームの観察画像上の破骨前駆細胞が、分化前の状態(未分化の状態)であるか、分化した状態であるかを特定する。そして、加工部55は、観察画像上の各破骨前駆細胞が、未分化の状態であるか、または分化した状態であるかによって異なる表示形式で表示されるように、各フレームの観察画像に対して画像処理を施す。
【0061】
これにより、例えば図4に示す観察画像が得られる。図4では、観察画像上の領域Q11乃至領域Q13が試料18としての破骨前駆細胞の領域となっている。
【0062】
ここで、領域Q11に表示される破骨前駆細胞が分化した状態、つまり成熟破骨細胞の状態であり、領域Q12および領域Q13に表示される破骨前駆細胞が未分化の状態、つまり破骨前駆細胞の状態であるとする。そのような場合、領域Q11に赤い枠が表示され、領域Q12および領域Q13に青い枠が表示される。
【0063】
このように、分化した破骨前駆細胞(成熟破骨細胞)と、未分化の破骨前駆細胞とを異なる表示形式で表示することにより、ユーザは、観察画像上の各状態の破骨前駆細胞の領域を迅速に把握し、破骨前駆細胞の形態変化を定量的に観察することができる。
【0064】
なお、破骨前駆細胞の領域に異なる色の枠が表示される場合について説明したが、領域Q11と、領域Q12および領域Q13とが異なる色で表示されてもよいし、領域Q11と、領域Q12および領域Q13との何れかの領域に、点滅する枠が表示されてもよい。
【0065】
図2のフローチャートの説明に戻り、加工された観察画像が表示部17に供給されて表示されると、画像加工処理は終了する。
【0066】
以上のようにして、コンピュータ16は、観察画像から破骨前駆細胞の領域を検出して、各時刻における破骨前駆細胞の形態変化の度合いを求め、得られた形態変化の度合いを用いて観察画像を加工する。このように、各時刻における破骨前駆細胞の形態変化の度合いを求めることで、破骨前駆細胞の形態変化を定量的に観察することができるようになる。さらに、形態変化の度合いに基づいて加工された観察画像を表示させれば、破骨前駆細胞が分化したか否かを簡単に視認することができるようになる。
【0067】
なお、本実施形態では、共通の領域RCを特定するために、例えば図3に示すように、(t−1)番目の処理対象フレーム(t−1)の破骨前駆細胞の領域R(t−1)と、t番目の処理対象フレームtの破骨前駆細胞の領域R(t)とをコンピュータ16内の重畳部53において重ね合わせしているが、これに限られず、コンピュータ16において、破骨前駆細胞の領域R(t−1)を構成する画素の番地と、破骨前駆細胞の領域R(t)を構成する画素の番地から共通の画素番地を抽出し、共通の領域RCを特定してもよい。
【0068】
〈形態変化の度合いの変形例〉
なお、以上においては、形態変化の度合いFとして、共通部分の領域RCと、破骨前駆細胞を重ね合わせた全体の領域RHの比を求めると説明したが、形態変化の度合いFは、破骨前駆細胞全体の領域と共通部分との関係を示す値であれば、どのようなものであってもよい。
【0069】
例えば、図3の破骨前駆細胞の全体の領域RHの面積から共通部分の領域RCの面積を減算して得られる値(破骨前駆細胞の領域R(t−1)と領域R(t)との共通しない部分の領域の面積)を、破骨前駆細胞の領域R(t)の面積で除算して得られる値が、形態変化の度合いFとされるようにしてもよい。
【0070】
また、破骨前駆細胞の全体の領域RHの面積から共通部分の領域RCの面積を減算して得られる値(破骨前駆細胞の領域R(t−1)と領域R(t)との共通しない部分の領域の面積)を、共通部分の領域RCの面積で除算して得られる値が、形態変化の度合いFとされるようにしてもよい。
【0071】
さらに、共通部分の領域RCの面積に2を乗算して得られる値を、破骨前駆細胞の領域R(t−1)の面積と領域R(t)の面積の和で除算して得られる値が、形態変化の度合いFとされるようにしてもよい。
【0072】
また、例えば破骨前駆細胞の全体の領域RHの面積から、共通部分の領域RCの面積を減算して得られる値が、形態変化の度合いFとされてもよい。
【0073】
さらに、処理対象フレームtの破骨前駆細胞の領域R(t)の面積から、共通部分の領域RCの面積を減算して得られた値を、領域R(t)の面積で除算して得られる値が、形態変化の度合いFとされるようにしてもよい。
【0074】
〈表示部への出力の変形例〉
また、以上においては、破骨前駆細胞の形態変化を定量的に観察する例として、破骨前駆細胞の分化時刻を特定し、観察画像において、分化した破骨前駆細胞(成熟破骨細胞)と未分化の破骨前駆細胞とを異なる表示形式で表示する場合について説明したが、その他、破骨前駆細胞の分化数などを表示してもよい。
【0075】
例えば、観察対象の破骨前駆細胞の形態変化を定量的に観察する他の例として、図5に示すように、各時刻の観察画像における分化した破骨前駆細胞(成熟破骨細胞)の数と、分化していない破骨前駆細胞の数とを示すデータが生成されてもよい。なお、図中、横軸は時刻を示しており、縦軸は観察画像における破骨前駆細胞の数を示している。
【0076】
図5の例では、折れ線C11は観察画像上の分化した破骨前駆細胞(成熟破骨細胞)の数を示しており、折れ線C12は観察画像上の分化していない破骨前駆細胞の数を示している。これらの折れ線で示されるように、分化した破骨前駆細胞(成熟破骨細胞)の数は時間とともに増加していき、逆に、分化していない破骨前駆細胞の数は時間とともに減少している。
【0077】
各時刻における分化した破骨前駆細胞(成熟破骨細胞)の数と未分化の破骨前駆細胞の数とを示すグラフが生成される場合、加工部55は、演算部54からの閾値処理の結果に基づいて、観察画像上に分化した破骨前駆細胞(成熟破骨細胞)と未分化の破骨前駆細胞が、それぞれいくつあるかを求める。そして、加工部55は、各時刻の観察画像における分化した破骨前駆細胞(成熟破骨細胞)と未分化の破骨前駆細胞の数に基づいて、図5に示すグラフを生成し、表示部17に供給する。
【0078】
これにより、表示部17には、図5に示すグラフが表示される。このようなグラフが表示される場合においても、ユーザは破骨前駆細胞の形態変化を定量的に観察することが可能となる。なお、各時刻における分化細胞数と未分化細胞数とを示すデータは、図5に示したグラフに限らず、各時刻の分化細胞数と未分化細胞数を示す表などとされてもよい。
【0079】
また、破骨前駆細胞の形態変化を定量的に観察する他の例として、例えば図6に示すように、破骨前駆細胞の各時刻の形態変化の度合いFの値を示すデータが生成されてもよい。なお、図中、横軸は時刻を示しており、縦軸は形態変化の度合いFを示している。
【0080】
図6の例では、折れ線C21は観察画像上の1つの破骨前駆細胞の各時刻における形態変化の度合いFの値を示している。折れ線C21で示されるように、この破骨前駆細胞の形態変化の度合いFは、時刻「9」以降において急激に大きくなり、時刻「15」以降は殆ど変化しなくなっている。したがって、この破骨前駆細胞は、時刻「15」付近では分化し終わった状態となり、成熟破骨細胞となっていることが分かる。
【0081】
各時刻における破骨前駆細胞の形態変化の度合いFを示すグラフが生成される場合、加工部55は、演算部54から各時刻の観察画像について、観察画像上の各破骨前駆細胞の形態変化の度合いFを取得する。そして、加工部55は、破骨前駆細胞ごとに、破骨前駆細胞の各時刻における形態変化の度合いFの値に基づいて、図6に示すグラフを生成し、表示部17に供給する。つまり、図6に示されるグラフが破骨前駆細胞ごとに生成されることになる。
【0082】
これにより、表示部17には、図6に示すグラフが表示される。このようなグラフが表示される場合においても、ユーザは破骨前駆細胞の形態変化を定量的に観察することが可能となる。特に、この場合、ユーザは、破骨前駆細胞が分化する速度(分化する様子)を視覚的に把握することができる。
【0083】
さらに、例えば図3の破骨前駆細胞の領域R(t−1)と領域R(t)との共通しない部分の領域の面積を、破骨前駆細胞の領域R(t)の面積で除算して得られる値が、形態変化の度合いFとされる場合、図7に示すグラフが加工部55により生成され、表示部17に表示される。なお、図中、横軸は時刻を示しており、縦軸は形態変化の度合いFを示している。
【0084】
図7の例では、折れ線C31は観察画像上の1つの破骨前駆細胞の各時刻における形態変化の度合いFの値を示している。折れ線C31で示されるように、この破骨前駆細胞の形態変化の度合いFは、時刻「10」までは急激に小さくなり、時刻「10」以降は殆ど変化しなくなっている。
【0085】
この例では、形態変化の度合いFは、上述したように領域R(t−1)と領域R(t)の共通しない部分の領域の面積と、領域R(t)の面積の比により求められる。また、破骨前駆細胞の形態変化が小さければ、共通の領域RCは大きくなるので、領域R(t−1)と領域R(t)の共通しない部分の領域の面積は小さくなる。したがって、破骨前駆細胞の形態変化が小さいほど、形態変化の度合いFの値も小さくなる。
【0086】
折れ線C31によれば、時刻「10」では形態変化の度合いFは小さい値となり、かつ時刻「10」以降は殆ど形態変化の度合いFが変化しないので、この破骨前駆細胞は、時刻「10」付近では分化し終わった状態となり、成熟破骨細胞となっていることが分かる。
【0087】
なお、各時刻における形態変化の度合いFの値を示すデータは、図6や図7に示したグラフに限らず、各時刻の形態変化の度合いFの値を示す表などとされてもよい。
【0088】
また、本実施形態では、破骨前駆細胞について求めた形態変化の度合いFに基づいて、破骨前駆細胞が分化したか否かを判定する例を説明したが、これに限られず、細胞の形態変化の度合いFに基づいて、細胞が活性したか否か等を判定するようにしてもよい。
【0089】
さらに、試料18の観察時には、複数の試料18に異なる薬剤が添加され、試料18ごとに異なる観察条件の試料が用意される。そして、試料18が蛍光観察され、薬剤効果の判定が行なわれる。
【0090】
多くの試料18では、各時刻における破骨前駆細胞の形態変化の度合いFを示すグラフから、破骨前駆細胞から成熟破骨細胞へ適切な分化が行なわれたと判定される。ところが、ある試料18で、各時刻における破骨前駆細胞の形態変化の度合いFを示すグラフから、破骨前駆細胞から成熟破骨細胞へ適切な分化が行なわれていないと判定された場合、ある試料18における観察条件では、薬剤効果があることが分かる。この場合、例えば加工部55は、その観察条件において、薬剤効果があると判定する。
【0091】
なお、ユーザによる指定等により各時刻における破骨前駆細胞の形態変化の度合いFを示すグラフのリファレンズを設定し、リファレンズとの差が所定以上である場合に、薬剤効果があると判定されるようにしてもよい。この場合、定量的に試料ごとの薬剤効果の有無を判定することができるようになる。
【0092】
破骨前駆細胞を培養している場合は、本実施形態で説明した、破骨前駆細胞について求めた形態変化の度合いFに基づいて破骨前駆細胞の温度,培地等の培養条件を決定してもよい。図1に示す観察システムを用いて、破骨前駆細胞の培養条件を決定する場合は、コンピュータ16内に演算部54で算出された破骨前駆細胞の形態変化の度合いFに基づいて温度,培地等の破骨前駆細胞の培養条件を決定する決定部を設けることにより実現する。
【0093】
また、本実施形態では、破骨前駆細胞を例に説明したが、これに限らず、他の細胞にも応用可能である。
【0094】
また、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、例えばコンピュータ16により記録媒体から読み出されて記録される。そして、コンピュータ16に記録されたプログラムが、コンピュータ16により実行され、図2の画像加工処理等が行われる。
【0095】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【0096】
13 スキャンヘッド, 14 顕微鏡, 16 コンピュータ, 18 試料, 51 生成部, 52 検出部, 53 重畳部, 54 演算部, 55 加工部

【特許請求の範囲】
【請求項1】
時間の経過とともに形態が変化する観察対象の観察画像から、前記観察対象の領域を検出する検出ステップと、
所定の時刻の前記観察画像上の前記観察対象の領域と、前記所定の時刻より前の時刻の他の観察画像上の前記観察対象の領域とに共通する領域を特定する共通領域特定ステップと、
前記共通領域特定ステップの処理により特定された前記観察対象の共通領域の面積、前記所定の時刻の前記観察画像上の前記観察対象の領域の面積、および前記他の観察画像上の前記観察対象の領域の面積の少なくとも一つを用いて、前記観察対象の形態変化の度合いを算出する演算ステップと
を含むことを特徴とする処理をコンピュータに実行させるプログラム。
【請求項2】
前記演算ステップにおいて、前記観察対象の共通領域の面積を、前記所定の時刻の前記観察画像上の前記観察対象の領域から前記観察対象の共通領域を除いた領域と前記他の観察画像上の前記観察対象の領域とからなる領域の面積で除算することにより、前記形態変化の度合いを算出する
ことを特徴とする請求項1に記載のプログラム。
【請求項3】
前記演算ステップにおいて、前記所定の時刻の前記観察画像上の前記観察対象の領域と前記他の観察画像上の前記観察対象の領域との共通しない領域の面積を、前記所定の時刻の前記観察画像上の前記観察対象の領域の面積で除算することにより、前記形態変化の度合いを算出する
ことを特徴とする請求項1に記載のプログラム。
【請求項4】
前記演算ステップにおいて、前記所定の時刻の前記観察画像上の前記観察対象の領域と前記他の観察画像上の前記観察対象の領域との共通しない領域の面積を、前記観察対象の共通領域の面積で除算することにより、前記形態変化の度合いを算出する
ことを特徴とする請求項1に記載のプログラム。
【請求項5】
前記共通領域特定ステップにおいて、前記所定の時刻の前記観察画像上の前記観察対象の領域と、前記所定の時刻より前の時刻の前記他の観察画像上の前記観察対象の領域とを重ね合わせることで、前記観察対象の共通領域を特定する
ことを特徴とする請求項1乃至請求項4の何れか一項に記載のプログラム。
【請求項6】
前記共通領域特定ステップにおいて、前記観察画像上の前記観察対象の領域の重心と、前記他の観察画像上の前記観察対象の領域の重心とが重なるように、前記観察対象の領域を重ね合わせる
ことを特徴とする請求項5に記載のプログラム。
【請求項7】
前記共通領域特定ステップにおいて、前記観察画像上の前記観察対象の領域に外接する図形の中心と、前記他の観察画像上の前記観察対象の領域に外接する図形の中心とが重なるように、前記観察対象の領域を重ね合わせる
ことを特徴とする請求項5に記載のプログラム。
【請求項8】
前記演算ステップにおいて、前記形態変化の度合いに基づいて、前記観察対象が形態変化したか否かを判定し、
前記演算ステップにおける判定結果に基づいて、前記観察画像上において形態変化した前記観察対象と、形態変化していない前記観察対象とが異なる表示形式で表示されるように、前記観察画像を加工する加工処理ステップをさらにコンピュータに実行させる
ことを特徴とする請求項1乃至請求項7の何れか一項に記載のプログラム。
【請求項9】
前記演算ステップにおいて、異なる時刻の複数の前記観察画像について、前記形態変化の度合いに基づいて、前記観察画像上の前記観察対象が形態変化したか否かを判定し、
前記演算ステップにおける判定結果に基づいて、各時刻における前記観察画像上の形態変化した前記観察対象の数と、形態変化していない前記観察対象の数とを示すデータを生成する加工処理ステップをさらにコンピュータに実行させる
ことを特徴とする請求項1乃至請求項7の何れか一項に記載のプログラム。
【請求項10】
各時刻における前記観察画像上の前記観察対象の前記形態変化の度合いを示すデータを生成する加工処理ステップをさらにコンピュータに実行させる
ことを特徴とする請求項1乃至請求項7の何れか一項に記載のプログラム。
【請求項11】
前記加工処理ステップにおいて、異なる薬剤が添加された観察条件で観察された前記観察対象について、前記観察条件ごとに前記形態変化の度合いを示すデータを生成し、前記形態変化の度合いを示すデータに基づいて、異なる前記観察条件で添加された薬剤の効果を判定する
ことを特徴とする請求項10に記載のプログラム。
【請求項12】
前記観察対象が細胞であり、該細胞の前記形態変化の度合いに基づいて、前記細胞の培養条件を決定する培養条件決定ステップをさらにコンピュータに実行させる
ことを特徴とする請求項1乃至請求項11の何れか一項に記載のプログラム。
【請求項13】
時間の経過とともに形態が変化する観察対象の観察画像から、前記観察対象の領域を検出する検出手段と、
所定の時刻の前記観察画像上の前記観察対象の領域と、前記所定の時刻より前の時刻の他の観察画像上の前記観察対象の領域とに共通する領域を特定する共通領域特定手段と、
前記共通領域特定手段により特定された前記観察対象の共通領域の面積、前記所定の時刻の前記観察画像上の前記観察対象の領域の面積、および前記他の観察画像上の前記観察対象の領域の面積の少なくとも一つを用いて、前記観察対象の形態変化の度合いを算出する演算手段と
を備えることを特徴とする画像処理装置。
【請求項14】
前記演算手段は、前記観察対象の共通領域の面積を、前記所定の時刻の前記観察画像上の前記観察対象の領域から前記観察対象の共通領域を除いた領域と前記他の観察画像上の前記観察対象の領域とからなる領域の面積で除算することにより、前記形態変化の度合いを算出する
ことを特徴とする請求項13に記載の画像処理装置。
【請求項15】
前記演算手段は、前記所定の時刻の前記観察画像上の前記観察対象の領域と前記他の観察画像上の前記観察対象の領域との共通しない領域の面積を、前記所定の時刻の前記観察画像上の前記観察対象の領域の面積で除算することにより、前記形態変化の度合いを算出する
ことを特徴とする請求項13に記載の画像処理装置。
【請求項16】
前記演算手段は、前記所定の時刻の前記観察画像上の前記観察対象の領域と前記他の観察画像上の前記観察対象の領域との共通しない領域の面積を、前記観察対象の共通領域の面積で除算することにより、前記形態変化の度合いを算出する
ことを特徴とする請求項13に記載の画像処理装置。
【請求項17】
前記共通領域特定手段は、前記所定の時刻の前記観察画像上の前記観察対象の領域と、前記所定の時刻より前の時刻の前記他の観察画像上の前記観察対象の領域とを重ね合わせることで、前記観察対象の共通領域を特定する
ことを特徴とする請求項13乃至請求項16の何れか一項に記載の画像処理装置。
【請求項18】
前記共通領域特定手段は、前記観察画像上の前記観察対象の領域の重心と、前記他の観察画像上の前記観察対象の領域の重心とが重なるように、前記観察対象の領域を重ね合わせる
ことを特徴とする請求項17に記載の画像処理装置。
【請求項19】
前記共通領域特定手段は、前記観察画像上の前記観察対象の領域に外接する図形の中心と、前記他の観察画像上の前記観察対象の領域に外接する図形の中心とが重なるように、前記観察対象の領域を重ね合わせる
ことを特徴とする請求項17に記載の画像処理装置。
【請求項20】
前記演算手段は、前記形態変化の度合いに基づいて、前記観察対象が形態変化したか否かを判定し、
前記演算手段による判定結果に基づいて、前記観察画像上において形態変化した前記観察対象と、形態変化していない前記観察対象とが異なる表示形式で表示されるように、前記観察画像を加工する加工手段をさらに備える
ことを特徴とする請求項13乃至請求項19の何れか一項に記載の画像処理装置。
【請求項21】
前記演算手段は、異なる時刻の複数の前記観察画像について、前記形態変化の度合いに基づいて、前記観察画像上の前記観察対象が形態変化したか否かを判定し、
前記演算手段による判定結果に基づいて、各時刻における前記観察画像上の形態変化した前記観察対象の数と、形態変化していない前記観察対象の数とを示すデータを生成する加工手段をさらに備える
ことを特徴とする請求項13乃至請求項19の何れか一項に記載の画像処理装置。
【請求項22】
各時刻における前記観察画像上の前記観察対象の前記形態変化の度合いを示すデータを生成する加工手段をさらに備える
ことを特徴とする請求項13乃至請求項19の何れか一項に記載の画像処理装置。
【請求項23】
前記加工手段は、異なる薬剤が添加された観察条件で観察された前記観察対象について、前記観察条件ごとに前記形態変化の度合いを示すデータを生成し、前記形態変化の度合いを示すデータに基づいて、異なる前記観察条件で添加された薬剤の効果を判定する
ことを特徴とする請求項22に記載の画像処理装置。
【請求項24】
前記観察対象が細胞であり、該細胞の前記形態変化の度合いに基づいて、前記細胞の培養条件を決定する培養条件決定手段をさらに備える
ことを特徴とする請求項13乃至請求項23の何れか一項に記載の画像処理装置。
【請求項25】
時間の経過とともに形態が変化する観察対象の観察画像から、前記観察対象の領域を検出する検出ステップと、
所定の時刻の前記観察画像上の前記観察対象の領域と、前記所定の時刻より前の時刻の他の観察画像上の前記観察対象の領域とに共通する領域を特定する共通領域特定ステップと、
前記共通領域特定ステップの処理により特定された前記観察対象の共通領域の面積、前記所定の時刻の前記観察画像上の前記観察対象の領域の面積、および前記他の観察画像上の前記観察対象の領域の面積の少なくとも一つを用いて、前記観察対象の形態変化の度合いを算出する演算ステップと
を含むことを特徴とする画像処理方法。
【請求項26】
前記演算ステップにおいて、前記観察対象の共通領域の面積を、前記所定の時刻の前記観察画像上の前記観察対象の領域から前記観察対象の共通領域を除いた領域と前記他の観察画像上の前記観察対象の領域とからなる領域の面積で除算することにより、前記形態変化の度合いを算出する
ことを特徴とする請求項25に記載の画像処理方法。
【請求項27】
前記演算ステップにおいて、前記所定の時刻の前記観察画像上の前記観察対象の領域と前記他の観察画像上の前記観察対象の領域との共通しない領域の面積を、前記所定の時刻の前記観察画像上の前記観察対象の領域の面積で除算することにより、前記形態変化の度合いを算出する
ことを特徴とする請求項25に記載の画像処理方法。
【請求項28】
前記演算ステップにおいて、前記所定の時刻の前記観察画像上の前記観察対象の領域と前記他の観察画像上の前記観察対象の領域との共通しない領域の面積を、前記観察対象の共通領域の面積で除算することにより、前記形態変化の度合いを算出する
ことを特徴とする請求項25に記載の画像処理方法。
【請求項29】
前記共通領域特定ステップにおいて、前記所定の時刻の前記観察画像上の前記観察対象の領域と、前記所定の時刻より前の時刻の前記他の観察画像上の前記観察対象の領域とを重ね合わせることで、前記観察対象の共通領域を特定する
ことを特徴とする請求項25乃至請求項28の何れか一項に記載の画像処理方法。
【請求項30】
前記共通領域特定ステップにおいて、前記観察画像上の前記観察対象の領域の重心と、前記他の観察画像上の前記観察対象の領域の重心とが重なるように、前記観察対象の領域を重ね合わせる
ことを特徴とする請求項29に記載の画像処理方法。
【請求項31】
前記共通領域特定ステップにおいて、前記観察画像上の前記観察対象の領域に外接する図形の中心と、前記他の観察画像上の前記観察対象の領域に外接する図形の中心とが重なるように、前記観察対象の領域を重ね合わせる
ことを特徴とする請求項29に記載の画像処理方法。
【請求項32】
前記演算ステップにおいて、前記形態変化の度合いに基づいて、前記観察対象が形態変化したか否かを判定し、
前記演算ステップにおける判定結果に基づいて、前記観察画像上において形態変化した前記観察対象と、形態変化していない前記観察対象とが異なる表示形式で表示されるように、前記観察画像を加工する加工処理ステップをさらに含む
ことを特徴とする請求項25乃至請求項31の何れか一項に記載の画像処理方法。
【請求項33】
前記演算ステップにおいて、異なる時刻の複数の前記観察画像について、前記形態変化の度合いに基づいて、前記観察画像上の前記観察対象が形態変化したか否かを判定し、
前記演算ステップにおける判定結果に基づいて、各時刻における前記観察画像上の形態変化した前記観察対象の数と、形態変化していない前記観察対象の数とを示すデータを生成する加工処理ステップをさらに含む
ことを特徴とする請求項25乃至請求項31の何れか一項に記載の画像処理方法。
【請求項34】
各時刻における前記観察画像上の前記観察対象の前記形態変化の度合いを示すデータを生成する加工処理ステップをさらに含む
ことを特徴とする請求項25乃至請求項31の何れか一項に記載の画像処理方法。
【請求項35】
前記加工処理ステップにおいて、異なる薬剤が添加された観察条件で観察された前記観察対象について、前記観察条件ごとに前記形態変化の度合いを示すデータを生成し、前記形態変化の度合いを示すデータに基づいて、異なる前記観察条件で添加された薬剤の効果を判定する
ことを特徴とする請求項34に記載の画像処理方法。
【請求項36】
前記観察対象が細胞であり、請求項25乃至請求項35の何れか一項に記載の画像処理方法により算出された前記形態変化の度合いに基づいて、前記細胞の培養条件を決定する
ことを特徴とする細胞の育成方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2013−85546(P2013−85546A)
【公開日】平成25年5月13日(2013.5.13)
【国際特許分類】
【出願番号】特願2011−232479(P2011−232479)
【出願日】平成23年10月24日(2011.10.24)
【出願人】(000004112)株式会社ニコン (12,601)
【出願人】(504176911)国立大学法人大阪大学 (1,536)
【Fターム(参考)】