画像処理プログラム、画像処理装置、計測解析装置及び画像処理方法
【課題】 関心領域(ROI)の設定に際し、各領域の割合が所望の値となるような関心領域(ROI)を容易に、精度良く設定する。
【解決手段】 生体の挙動を測定して解析する装置に搭載されて前記生体の測定対象領域を選定する操作を支援する画像処理装置のプログラムであって、取得した生体画像の一部に所定形状の測定対象領域を設定するために、前記所定形状と同一の形状の領域を前記選定する操作に応じて前記生体画像上を移動させるステップと、前記生体画像の各画素に対応付けられた当該生体の生体構造あるいは生物学的状態を区分する値に基づいて、前記領域に含まれる画素の前記区分の割合を算出するステップと、算出した前記区分の割合を含む情報を前記領域における指標として提示するステップとを前記画像処理装置に実行させるためのプログラムである。
【解決手段】 生体の挙動を測定して解析する装置に搭載されて前記生体の測定対象領域を選定する操作を支援する画像処理装置のプログラムであって、取得した生体画像の一部に所定形状の測定対象領域を設定するために、前記所定形状と同一の形状の領域を前記選定する操作に応じて前記生体画像上を移動させるステップと、前記生体画像の各画素に対応付けられた当該生体の生体構造あるいは生物学的状態を区分する値に基づいて、前記領域に含まれる画素の前記区分の割合を算出するステップと、算出した前記区分の割合を含む情報を前記領域における指標として提示するステップとを前記画像処理装置に実行させるためのプログラムである。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、生体画像を処理する技術に関する。
【背景技術】
【0002】
現在、色々な大きさ(スケール)で、様々な手法により、生物由来の試料や生体の画像を取得することが可能である。例えば、人体のX線写真では、数十センチメートルの範囲で、ミリメートルかそれより小さいサイズの対象を識別することが可能である。また、細胞や生体組織の顕微鏡画像からは、ミリメートルの範囲からマイクロメートルのサイズの対象を識別することが可能である。これらの画像は、医療診断や医科学・生物学の研究のために必要不可欠な情報を使用者に提供している。以下、これらの画像を総称して生体画像と呼称する。
【0003】
従来、生体画像を取得する際に、生体に撮影手法に応じた処理を施すことによって、生体中の特定の部位を識別する方法が考案され、実用化されている。例えば、X線写真では造影剤を使用して、血管や消化管を識別することが可能である。また、MRIでは、組織ごとの緩和時間の違いを利用した様々な画像化法が用いられている。光学顕微鏡では、組織切片を様々な染色法によって染色することによって、特定の組織・細胞・オルガネラを強調することができる。例えばヘマトキシリン・エオシン染色では、細胞核・骨組織などがヘマトキシリンの青紫色に染まり、細胞質・赤血球・内分泌顆粒などがエオシンの赤色に染まるので、この性質を利用して組織の識別や状態の判定が可能である。
【0004】
また、多様な合成蛍光色素分子やGFPをはじめとする蛍光タンパク質が開発されたことにより、生体中の特定の領域や分子を修飾することが可能となった。レーザー光源やLED光源の開発が進んだことにより、多種類の波長の光で蛍光分子を励起することが容易となり、同一の試料を多数の蛍光分子で同時に修飾して、複数の領域や分子の分布画像を撮影することも良く行われている。
【0005】
近年の、電荷結合素子(CCD)などの画像取得電子デバイスの発達と、コンピュータの高性能化によって、これらの生体画像は電子的に取得され、電子データとして蓄積される。画像データが電子化されたことにより、これらの画像データをコンピュータによって定量的に解析することが容易となった。
【0006】
定量的な解析を行う場合、画像の中から解析を行いたい一部分を選び出し、その範囲内で数値的な処理を行うことが良く行われている。その画像中の一部分は関心領域あるいはROI(Region of Interest)と呼称されている。ROIの形は正方形や円形であることが多いが、長方形・楕円・多角形など任意の形状であっても良い。また、一枚の画像全体の中に、多数のROIがあっても良い。その場合、ROI間で、ROIの大きさや形状は同じであっても異なっていても良い。
【0007】
ところで、画像の解析をしようとする使用者は、画像の特徴を判別し、解析の目的に合った場所にROIを設定しなければならない。
通常、同一の領域内に完全に内包されているようにROIを設定する場合が多い。例えば、細胞の画像で、核の中に内包されるようにROIを設定する場合や、細胞質の中に内包されるようにROIを設定する場合である。
しかし、解析の手法や目的によっては複数の領域を跨ぐROIを設定する場合がある。例えば、二種類の細胞A,Bが混在している組織の生体画像において、細胞Aに発現しているタンパク質の量と細胞A,Bの混在の割合との相関を解析する場合である。
【0008】
ところで、複数の領域を跨いでROIを設定する必要がある解析方法として、ラスター画像相関分光法(RICS:Raster-scan Image Correlation Spectroscopy)が知られている。RICSは、レーザースキャン顕微鏡において、画像中の各画素が取得される時間に差異があることを利用し、二点の蛍光強度の時間空間相関を測定する手法である。RICSを用いることで蛍光修飾された分子の拡散係数を測定することができる。RICSでは、ROIの大きさによって測定の精度が大きく変わるため、測定したい構造体が小さい場合であっても、その構造体にあわせて小さい範囲のROIを選択することができない。そのため、測定したい構造体よりも大きいROIを用いて、標的となる構造体を含むROIと含まないROIで解析結果を比較するという方法が採られている。
【先行技術文献】
【非特許文献】
【0009】
【非特許文献1】MA.Digman et.al., “Measuring Fast Dynamics in Solutions and Cells with a Laser Scanning Microscope.”, Biophysical Journal Vol. 89, 1317−1327, 2005.
【非特許文献2】Gielen, E. et al. (2009), “Measuring diffusion of lipid-like probes in artificial and natural membranes by raster image correlation spectroscopy (RICS): use of a commercial laser-scanning microscope with analog detection”, Langmuir, 25, 5209-18.
【発明の概要】
【発明が解決しようとする課題】
【0010】
上述のように、画像中の複数の領域を跨いでROIを設定すると、ROI中に含まれる各領域の割合によって解析結果が異なることになる。そのため複数のROIからの結果を比較する場合、使用者はROIに含まれる各領域の割合を意識してROIの場所を設定する必要がある。
【0011】
そのため、使用者は目視によって各領域が所望の割合になるように、ROIの位置を設定していた。しかしながら、目視によってROIの位置を設定するのでは、使用者ごとの判断基準が異なり、また、領域の形状が必ずしも同じであるとは限らないことから、解析結果の客観性・再現性が損なわれてしまうことになる。
【0012】
従って、関心領域(ROI)の設定に際し、各領域の割合が所望の値となるような関心領域(ROI)を容易に、精度良く設定することのできる技術のニーズがある。
【課題を解決するための手段】
【0013】
上記課題を解決するための本発明は、生体の挙動を測定して解析する装置に搭載されて前記生体の測定対象領域を選定する操作を支援する画像処理装置のプログラムにおいて、取得した生体画像の一部に所定形状の測定対象領域を設定するために、前記所定形状と同一の形状の領域を前記選定する操作に応じて前記生体画像上を移動させるステップと、前記生体画像の各画素に対応付けられた当該生体の生体構造あるいは生物学的状態を区分する値に基づいて、前記領域に含まれる画素の前記区分の割合を算出するステップと、算出した前記区分の割合を含む情報を前記領域における指標として提示するステップとを前記画像処理装置に実行させるためのプログラムである。
【0014】
また本発明は、生体の挙動を測定して解析する装置に搭載されて前記生体の測定対象領域を選定する操作を支援する画像処理装置において、取得した生体画像の一部に所定形状の測定対象領域を設定するために、前記所定形状と同一の形状の領域を前記選定する操作に応じて前記生体画像上を移動させる手段と、前記生体画像の各画素に対応付けられた当該生体の生体構造あるいは生物学的状態を区分する値に基づいて、前記領域に含まれる画素の前記区分の割合を算出する手段と、算出した前記区分の割合を含む情報を前記領域における指標として提示する手段とを備えた画像処理装置である。
【0015】
また本発明は、上記記載の発明である画像処理装置を備えた生体の挙動を測定して解析する装置である。
【0016】
また本発明は、生体の挙動を測定して解析する装置に搭載されて前記生体の測定対象領域を選定する操作を支援する画像処理装置の画像処理方法において、取得した生体画像の一部に所定形状の測定対象領域を設定するために、前記所定形状と同一の形状の領域を前記選定する操作に応じて前記生体画像上を移動させるステップと、前記生体画像の各画素に対応付けられた当該生体の生体構造あるいは生物学的状態を区分する値に基づいて、前記領域に含まれる画素の前記区分の割合を算出するステップと、算出した前記区分の割合を含む情報を前記領域における指標として提示するステップとを備えた画像処理方法である。
【発明の効果】
【0017】
この発明によれば、関心領域(ROI)の設定に際し、各領域の割合が所望の値となるような関心領域(ROI)を容易に、精度良く設定することができる。
【図面の簡単な説明】
【0018】
【図1】第1の実施の形態の画像処理方法が適用されるレーザ顕微鏡システムの構成を示す図。
【図2】第1の実施の形態の画像処理装置の動作手順を示すフローチャート。
【図3】第1の実施の形態の画像処理方法によって表示装置に表示される処理画面を示す図。
【図4】第1の実施の形態のROIの移動に伴う、ROI中の各領域の割合が変化する状態を示す図。
【図5】第1の実施の形態のROIを設定する実施例を示す図。
【図6】第2の実施の形態の領域の割合についての条件を指定する方法を説明するための図。
【図7】第2の実施の形態の領域分類画像上で指定された条件を満たすROIの集合を重ねて表した図。
【図8】第2の実施の形態の領域分類画像上で指定された条件を満たすROIの領域を明暗で表した図。
【図9】第2の実施の形態の領域分類画像上で指定された条件を満たす領域内にROIが収まったことを表す図。
【図10】第2の実施の形態の使用者のROI設定を補助する他の方法を示す図。
【図11】第3の実施の形態の異なる細胞A,Bに対して、ROIを移動し拡散係数を求めた結果を示した図。
【図12】第3の実施の形態の細胞A,Bに対して、ROI中の細胞質の割合に対する拡散係数の値をプロットして示す図。
【発明を実施するための形態】
【0019】
〔第1の実施の形態〕
図1は、第1の実施の形態の画像処理方法が適用されるレーザ顕微鏡システムの構成を示す図である。
レーザ顕微鏡システムは、顕微鏡本体1、レーザコンバイナー2、スキャンユニット3、ディテクタユニット4、コントロールユニット5、表示装置6及び記憶装置7を備えている。
【0020】
レーザコンバイナー2に設けられた1つのレーザ光源から出射したレーザ光は、ダイクロイックミラー(不図示)で反射された後スキャンユニット3に入射する。このスキャンユニット3によって、光軸はX軸、Y軸方向に偏向走査され、顕微鏡本体1の対物レンズ(不図示)に入る。これによって視野内の焦点面上にある蛍光標識されたサンプル試料の任意の位置に、測定領域(焦点領域)を位置することができる。
【0021】
焦点領域内の蛍光分子から発した蛍光は同じ対物レンズで補足され、逆の光路を通りダイクロイックミラーに導かれる。ダイクロイックミラーでは、励起光と比べ波長の長い蛍光を透過するように設計されており、蛍光はディテクタユニット4に到達する。ディテクタユニット4としては光電子増倍管が好適である。
【0022】
ディテクタユニット4で光電変換された蛍光の強度信号は、コントロールユニット5に入力される。コントロールユニット5では、解析ソフトウェアによってRICS解析が行われる。コントロールユニット5は、ディテクタユニット4からの蛍光強度信号と、スキャンユニット3からの走査位置情報とを対応づけてRICS解析を行う。RICS解析した結果は、適宜、表示装置6に表示され、また記憶装置7に記憶される。
【0023】
図1の右側には、本レーザ顕微鏡システムで得られる情報を模式的に示している。
サンプル8aにレーザ光を繰り返して走査照射して複数枚の蛍光画像8bを得る。このそれぞれの蛍光画像8bに基づいて蛍光強度に関するデータ8cを求めて、解析ソフトウェアに入力する。解析ソフトウェアは、それぞれのデータ8cに基づいてRICS解析を実行する。即ち、空間相関計算を行って空間相関関数図8dを求め、その結果と基準となる空間相関関数図との間でフィッティング解析を行う。
【0024】
なお、使用者は、表示装置6に表示された生体画像に対して、コントロールユニット5を介してROIを設定することができる。表示装置6には、生体画像と設定されたROIを表す領域とが合成して表示される。
【0025】
図2は、第1の実施の形態の画像処理装置の動作手順を示すフローチャートである。
図2のステップS01において、コントロールユニット5は、生体の蛍光顕微鏡画像11を表示装置6に表示する。
【0026】
図3は、第1の実施の形態の画像処理方法によって表示装置6に表示される処理画面10を示す図である。
処理画面10は、3つの表示領域を備えている。左上の第1のブロックには、蛍光顕微鏡画像11が表示される。右上の第2のブロックには、領域分類画像12が表示される。右下の第3のブロックには、領域割合図15が表示される。領域分類画像12及び領域割合図15の詳細については後述する。
【0027】
蛍光顕微鏡画像11には複数の領域を含んでいる。各領域は、撮影手法や染色手法に応じて、形体やコントラスト・色彩の違いとして区別することができる。ただし、蛍光顕微鏡画像11のどの部分がどの領域に帰属するかを決定する際には、ROIの位置を選定するのに必要な情報が得られれば十分である。従って、全ての領域を区別する必要は無く、生物学的な定義と厳密に対応して区別する必要は無い。例えば、細胞の画像において核と細胞質の割合に着目する場合は、細胞質に含まれる様々な細胞内小器官をそれぞれ区別する必要は無く、すべて細胞質という領域として良い。第1の実施の形態では、細胞外・細胞質・核の三種類の領域から構成されているとして説明する。
【0028】
なお、複数の領域の例としては、上述の培養細胞の画像であれば、培養液に点在する細胞の中に、核・細胞質・細胞内小器官などの領域がある。生物個体の一部の画像であれば、各臓器や血管系が異なる領域として区別される。また、各臓器を構成する個別の組織を別の領域とすることができる。
【0029】
ステップS02において、コントロールユニット5は、蛍光顕微鏡画像11に含まれる複数の領域を同定する。すなわち、上述のように蛍光顕微鏡画像11を細胞外・細胞質・核の三種類の領域に同定する。領域の同定は、コントロールユニット5を介して、使用者が画像情報と既知の知見に基づいて手動で同定しても良く、コントロールユニット5が公知の画像解析ソフトウェアの支援により自動的・半自動的に行っても良い。
【0030】
ステップS03において、コントロールユニット5は、同定した複数の領域を区分して表した領域分類画像12を処理画面10に表示する。
【0031】
ステップS04において、コントロールユニット5は、領域分類画像12から各画素の種別情報を取得する。種別情報とは、各画素が上述のいずれの領域に属するかを示す情報である。
【0032】
種別情報は、例えば、整数値で表しても良い。その場合、種別情報Iは、画素の座標(x,y)に対して整数値を返す関数と定義することができる。あるいは、画素(x,y)の値を実数の行列C(x,y)として表したときに、画素(x,y)に対応する種別情報を整数の行列I(x,y)として表しても良い。このように表すことで、数学的な取扱いが容易となる。
【0033】
例えば、細胞の画像において、細胞外・細胞質・核の三種類の領域を、細胞外に対して0、細胞質に対して1、核に対して2という種別情報を割り当てる。座標(10,20)に位置する画素が細胞質領域に含まれることは、式(1)で表される。
I(10,20)=1 ・・・式(1)
このI(x,y)のデータは、記憶装置7に保存しておき、解析時に読み出すようにすることができる。その際、I(x,y)のデータは、独立したファイルとして保存しても良いし、複数の画像データを格納することができるファイル形式であれば、元の画像データに対応させて、同一ファイルに保存することもできる。
【0034】
ステップS05において、コントロールユニット5は、ROIを設定する使用者の操作をサポートする。
【0035】
使用者は、図3の領域分類画像12上でROIを設定する操作を実行する。但し、使用者は、蛍光顕微鏡画像11上でROIを設定する操作を実行しても良い。一方の画像上でROIを設定する操作を行なった場合、他方の画像上の対応する位置にもROIが表示される。その際、一方の画像上でROI操作しているときに、他方の画像に操作中のROIを表示するかどうかは、使用者が選択することができる。
【0036】
使用者は、処理画面上で不図示のメニューバーから、ROI設定モードを選択する。ROIを示す枠13は、領域分類画像12、蛍光顕微鏡画像11のいずれかの画像上にマウスカーソル14を移動させ、最初にマウスのボタンを押下げることによって現出する。ROIの大きさが解析手法の設定によってあらかじめ決定している場合は、その場に仮のROIが設定される。ROIの大きさが任意である場合は、その場でROIの形状(正方形、長方形、丸、楕円など)及びサイズを選択するモードに移行する。
【0037】
例えば、使用者が長方形のROIを希望する場合は、以下のようにその大きさが決定される。マウスのボタンが初めて押下げられた位置を始点とし、そのボタンを押下げたままマウスを移動するに従いROIの枠の大きさが変化し、ボタンを放した位置を終点とする長方形がROIとして設定される。
【0038】
ステップS06において、コントロールユニット5は、ROI中の各領域の割合を計算して表示する。
【0039】
ROI中で、種別情報インデックスがiである領域(以下、領域iと記述する)に属する画素の数S(i)は、I(x,y)=iである画素の数である。すなわち、S(i)は、式(2)で表される。
【数1】
【0040】
領域iのROI中の占有率R(i)は、ROI中の全画素数Nを用いて、式(3)で表すことができる。
【数2】
【0041】
使用者の関心がROI中の領域iの割合だけの場合は、R(i)をROIの特徴を表す値として使用者に提示することができる。また、使用者の関心が要素i,j,k,...にある時は、<R(i),R(j),R(k),...>の値の組を使用者に提示することができる。図3の領域割合図15には、ROI中の細胞外、細胞質、核のそれぞれの領域の割合が表示される。なお、領域割合図15に表示したい領域は、使用者が不図示の設定画面より指定することができる。
【0042】
ステップS07において、コントロールユニット5は、ROIの移動に合せてROIの表示と各領域の割合の表示とを更新する。
【0043】
使用者がROIの枠上でマウスのボタンを押下げ、そのボタンを押下げたままマウスを移動(マウスのドラッグ)することによってROIを移動することができる。マウスをドラッグすると、マウスカーソル14の動きに追随してROIの枠13が移動する。ROIの枠13の移動にともなって、ROI中の各領域の割合が変化する。
【0044】
図4は、第1の実施の形態のROIの移動に伴う、ROI中の各領域の割合が変化する状態を示す図である。
【0045】
図4に示すように、使用者がROIを移動するとリアルタイムでそのROIの位置での各領域の割合が表示されるので、使用者は移動中のROIの状況を容易に把握することができる。ROIが、画像上の位置、および各領域の割合の情報から望ましい位置にあると使用者が判断した場合、使用者はその位置でROIの移動を停止してROIを確定する。
【0046】
次に、領域割合図15に領域iの割合をリアルタイムで表示する方法について説明する。なお、以下では、特に区別の必要があるとき以外は、領域割合図15に表示される領域iの割合を、<R(i)>と表す。
【0047】
<R(i)>の計算は、式(2)、式(3)に示すように簡便であるため、現在一般的に用いられている計算機を用いて高速に計算することができる。従って使用者が、画像中に任意の形状・大きさのROIを設定すれば、ROIの移動に合せてリアルタイムで計算し表示することが可能である。
【0048】
また、使用者がROIの形状・大きさを指定した際、画像中ですべての可能なROIの位置に対して<R(i)>を計算しておくことも容易に可能である。すなわち、ROIの形状、大きさに対応して定義される代表座標(x,y)と、計算したRi(x,y),Rj(x,y),Rk(x,y),...とを対応付けてメモリに保存する。使用者がROIを移動する操作を行っているときに、ROIの代表座標(x,y)に対応する<R(i)>をメモリから抽出することで、使用者に対してリアルタイムで<R(i)>を提示することができる。
【0049】
図5は、第1の実施の形態のROIを設定する実施例を示す図である。
【0050】
蛍光顕微鏡画像11では、蛍光分子は、細胞内の細胞質に存在するため、輝度の高いところが細胞質であり、細胞質に囲まれた領域が核であると容易に判別することができる。領域分類画像12は、この輝度の違いに基づき、使用者が手動で分類を行って作成した図である。なお、領域分類画像12と共に分類の凡例が示されている。
【0051】
この領域分類画像上に複数のROIを設定した。単一の領域に内包されるROIは、領域分類画像12によらずとも、蛍光顕微鏡画像11を見ながらでも容易に行うことができる。そのようにして、核のみを含むROIとして図中B,Gを、細胞質のみを含むROIとして図中D,Fを設定することができる。
【0052】
細胞質を50%含むROI(図中A,E)の設定は、マウスによってROIの枠を、細胞の縁付近で移動し、画面に表示される細胞質の占有率R(i=1)の値が0.5(50%)になった位置でROIを確定する事によって行なうことができる。
【0053】
核を30%含むROI(図中C,H,I)の設定は、マウスによってROIの枠を、核の縁付近で移動し、画面に表示される核の占有率R(i=2)の値が0.3(30%)になった位置でROIを確定する事によって行なうことができる。図中IのROIは、核・細胞質・細胞外すべての領域を含み、<R(0),R(1),R(2)>=<0.1,0.6,0.3>である。R(2)にのみ注目すれば図中CやHと同様の領域と見なすこともできるし、核と細胞質のみを含むROIを選択したければ、R(0)=0となるように注意してROIの場所を選択することができる。
【0054】
従来は、使用者が目視によって、おおよその見当でROIを確定していたのに対して、本実施の形態では、R(i)の値を見ながらROIを確定できるので、容易に再現性の高い設定を行うことができる。
【0055】
〔第2の実施の形態〕
第2の実施の形態では、使用者がROI操作を行なう際の補助機能が強化されている。第1の実施の形態と同一の部位には同一の符号を付してその詳細の説明は省略する。
【0056】
使用者のROI操作において、使用者の定めた<R(i)>の条件を満たすROIを容易に選択できるように補助することが可能である。条件はR(i),R(j),R(k),...全てついて与えることもできるし、一部についてのみ与えることもできる。<R(i)>が満たすべき条件としては、R(i)の値を目標の範囲内とする条件や、複数の領域の占有率を用いて演算した結果を目標の範囲内とする条件などが可能である。例えば、二つの領域の占有率の比が目標の範囲内となる様な条件の与え方をすることもできる。
【0057】
図6は、第2の実施の形態の領域の割合についての条件を指定する方法を説明するための図である。
【0058】
図6では、領域R1〜R3のそれぞれについての割合の条件を指定するための、名称を記入する欄20と目標範囲を記入する欄21が設けられている。また、それぞれの割合を用いて演算した結果を条件とするために、演算式を記入する欄22が設けられている。図6に示した内容では、それぞれの領域は、「細胞外」、「細胞質」、「核」と名称がつけられて、その目標とする範囲が指定されている。また、「比率」の名称で、細胞外/細胞質の演算が指定され、その演算結果の目標とする範囲が指定されている。なお、予め表示する項目名が定まっている場合は、名称を記入する欄20はなくても良い。
【0059】
図7は、第2の実施の形態の領域分類画像12上で指定された条件を満たすROIの集合を重ねて表した図である。
使用者が核を含まず(0%)、細胞質の割合が50%(49.5%以上、50.5%未満)と条件を設定すると、画像の中でその条件に適合するROIの集合が決定する。
【0060】
ROIのサイズが、解析手法の要請によって予め決定している場合、あらかじめ領域分類画像12に基づいて、すべての可能なROIの位置での占有率を計算しておくことが可能である。その情報を元にして図7に示すROIの集合を取得することができる。
【0061】
図7で示されるROIの集合は、S1、S3、S4で示されるようにROIがある範囲に連続して存在している部分集合や、S2で示されるようにほとんど同一の位置の近傍に存在しているような部分集合などから構成される。
【0062】
図8は、第2の実施の形態の領域分類画像12上で指定された条件を満たすROIの領域を明暗で表した図である。
図8の領域25は、指定された条件を満たすROIの集合を包絡する領域である。領域25は、地の部分よりも明るい階調で表示されている。使用者は、その領域にROIの枠が収まるようにROIを設定することによって、適切なROIを選択することができる。
【0063】
図9は、第2の実施の形態の領域分類画像12上で指定された条件を満たす領域内にROIが収まったことを表す図である。
図9に示すように、条件を満たす領域25の内にROIが収まったことを枠の太さや色を変えることによって使用者に明示的に示し、使用者の操作を補助することができる。条件を満たす領域25の内にROIが収まっていない場合、枠F1、枠F3で示すようにROIの枠は細く表示される。条件を満たす領域25の内にROIが収まっている場合、枠F2で示すようにROIの枠は太く表示される。
【0064】
このように、使用者はあらかじめ許容されるROIの位置を知ることができるので、無駄な試行錯誤を行うことなく、より高度な画像状態の判断に集中して作業を行うことができる。
【0065】
図10は、第2の実施の形態の使用者のROI設定を補助する他の方法を示す図である。この他の方法では、マウスカーソルで示された位置に最も近い領域25内のROIを表示する。表示されるROIの重心位置とマウスカーソルで示された位置との距離が一番近くなるようなROIが選択される。
【0066】
図10に示す例では、マウスカーソルが1aの位置のとき、ROIとして1bが選ばれ、マウスカーソルが2aに対してROI2bが選ばれ、マウスカーソルが3aに対してROI3bが選ばれる。
【0067】
図10に示す方式では、使用者は必ず領域25内のROIを選択することができる。しかし、領域25の形状が複雑な場合、選択されたROIが不適切であると使用者が感じることがある。その場合には、この機能を無効にすることもできる。
【0068】
第2の実施の形態では、指定された条件を満たすROIの集合を包絡する領域25を明示したが、領域25の存在を明示しなくとも良い。使用者が画像上でROIの形状・大きさや位置を変えて移動している状態で、<R(i)>が与えられた条件を満たした場合に、画面表示や音によるシグナルによって、条件を満たす位置にROIがあることを使用者に伝達しても良い。伝達方式としては、例えばROI形状・位置を示す枠や<R(i)>を表示する文字を太く表示したり注意を引くような色に変更したりする方法がある。
【0069】
〔第3の実施の形態〕
第3の実施の形態では、第1及び第2の実施の形態で説明した機能を用いてRICS解析を実施した事例を説明する。第1及び第2の実施の形態と同一の部位には同一の符号を付してその詳細の説明は省略する。
【0070】
第1及び第2の実施の形態で説明したように、<R(i)>はROIが画像に対してどういう意味があるのかを簡単に示すことができる指標である。従って、あるROIに対する解析値Fが得られたとき、その解析値は、<R(i)>と組にして処理されるのが望ましい場合がある。例えば同一の<R(i)>を持つROIの解析値を統計処理したり、<R(i)>と解析値Fとの回帰分析をしたりする場合である。そのために、解析値Fを表示、保存する際に、<R(i)>を同時に表示、保存する。
【0071】
以下に、蛍光標識したタンパク質の拡散係数をRICSによって導出する際に、ROI中の細胞質の占有率を用いて細胞膜の解析を行なった結果を説明する。
【0072】
細胞膜での拡散係数と細胞質での拡散係数は異なるため、ROI中を占める細胞質と細胞膜の割合の比によって測定値は異なる。細胞膜の厚さは10nm程度で、光学顕微鏡の分解能よりもはるかに薄いため、細胞膜の領域を画面上で同定するのは困難である。そのため、ROI中の細胞質の割合によって測定値がどのように変化するかを解析することによって、細胞膜での拡散係数を推定する解析を行った。
【0073】
図11は、第3の実施の形態の異なる細胞A,Bに対して、ROIを移動し拡散係数を求めた結果を示した図である。
拡散係数はD1で表されている。なお、G1は分子数を表す指標である。図11では、細胞質の割合が10%、50%、80%、100%について、異なる細胞A,Bの測定結果を対応させて表示している。細胞質の占有率という共通の指標があるため、異なる細胞間でも、同じ細胞質占有率を示すROIでの拡散係数を比較することができる。
【0074】
図12は、細胞A,Bに対して、ROI中の細胞質の割合に対する拡散係数の値をプロットして示す図である。
図12に示すように、異なる細胞A,B間でも、細胞質の割合を指標とするで、拡散係数を比較することが可能となる。この結果から、細胞質の割合と拡散係数との関係を回帰分析によって求め、細胞質の割合が0における拡散係数を推定することが出来る。即ち、細胞膜での拡散係数を、細胞質の割合が0における拡散係数として求めることができる。
【0075】
本実施の形態で開示したROI選択を補助する手法を用いれば、細胞質の割合が同じROIを多数選択することができるため、それらのROIそれぞれについて得られた拡散係数について平均値を算出するなどの処理が可能である。従って、各ROIで拡散係数を求めた結果をディスク上に記録する際に、そのROI中での細胞質の割合を同時に記録しておき、後の操作で統計的な解析を行う際に、その記録を呼び出して細胞質の割合の情報を解析に利用することができる。
【0076】
なお、上述の各実施の形態で説明した機能は、ハードウェアを用いて構成するに留まらず、ソフトウェアを用いて各機能を記載したプログラムをコンピュータに読み込ませて実現することもできる。また、各機能は、適宜ソフトウェア、ハードウェアのいずれかを選択して構成するものであっても良い。
【0077】
尚、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。
上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【0078】
1…顕微鏡本体、2…レーザコンバイナー、2b…ROI、3…スキャンユニット、3b…ROI、4…ディテクタユニット、5…コントロールユニット、6…表示装置、7…記憶装置、8a…サンプル、8b…蛍光画像、8c…データ、10…処理画面、11…蛍光顕微鏡画像、12…領域分類画像、13…枠、14…マウスカーソル、25…領域。
【技術分野】
【0001】
本発明は、生体画像を処理する技術に関する。
【背景技術】
【0002】
現在、色々な大きさ(スケール)で、様々な手法により、生物由来の試料や生体の画像を取得することが可能である。例えば、人体のX線写真では、数十センチメートルの範囲で、ミリメートルかそれより小さいサイズの対象を識別することが可能である。また、細胞や生体組織の顕微鏡画像からは、ミリメートルの範囲からマイクロメートルのサイズの対象を識別することが可能である。これらの画像は、医療診断や医科学・生物学の研究のために必要不可欠な情報を使用者に提供している。以下、これらの画像を総称して生体画像と呼称する。
【0003】
従来、生体画像を取得する際に、生体に撮影手法に応じた処理を施すことによって、生体中の特定の部位を識別する方法が考案され、実用化されている。例えば、X線写真では造影剤を使用して、血管や消化管を識別することが可能である。また、MRIでは、組織ごとの緩和時間の違いを利用した様々な画像化法が用いられている。光学顕微鏡では、組織切片を様々な染色法によって染色することによって、特定の組織・細胞・オルガネラを強調することができる。例えばヘマトキシリン・エオシン染色では、細胞核・骨組織などがヘマトキシリンの青紫色に染まり、細胞質・赤血球・内分泌顆粒などがエオシンの赤色に染まるので、この性質を利用して組織の識別や状態の判定が可能である。
【0004】
また、多様な合成蛍光色素分子やGFPをはじめとする蛍光タンパク質が開発されたことにより、生体中の特定の領域や分子を修飾することが可能となった。レーザー光源やLED光源の開発が進んだことにより、多種類の波長の光で蛍光分子を励起することが容易となり、同一の試料を多数の蛍光分子で同時に修飾して、複数の領域や分子の分布画像を撮影することも良く行われている。
【0005】
近年の、電荷結合素子(CCD)などの画像取得電子デバイスの発達と、コンピュータの高性能化によって、これらの生体画像は電子的に取得され、電子データとして蓄積される。画像データが電子化されたことにより、これらの画像データをコンピュータによって定量的に解析することが容易となった。
【0006】
定量的な解析を行う場合、画像の中から解析を行いたい一部分を選び出し、その範囲内で数値的な処理を行うことが良く行われている。その画像中の一部分は関心領域あるいはROI(Region of Interest)と呼称されている。ROIの形は正方形や円形であることが多いが、長方形・楕円・多角形など任意の形状であっても良い。また、一枚の画像全体の中に、多数のROIがあっても良い。その場合、ROI間で、ROIの大きさや形状は同じであっても異なっていても良い。
【0007】
ところで、画像の解析をしようとする使用者は、画像の特徴を判別し、解析の目的に合った場所にROIを設定しなければならない。
通常、同一の領域内に完全に内包されているようにROIを設定する場合が多い。例えば、細胞の画像で、核の中に内包されるようにROIを設定する場合や、細胞質の中に内包されるようにROIを設定する場合である。
しかし、解析の手法や目的によっては複数の領域を跨ぐROIを設定する場合がある。例えば、二種類の細胞A,Bが混在している組織の生体画像において、細胞Aに発現しているタンパク質の量と細胞A,Bの混在の割合との相関を解析する場合である。
【0008】
ところで、複数の領域を跨いでROIを設定する必要がある解析方法として、ラスター画像相関分光法(RICS:Raster-scan Image Correlation Spectroscopy)が知られている。RICSは、レーザースキャン顕微鏡において、画像中の各画素が取得される時間に差異があることを利用し、二点の蛍光強度の時間空間相関を測定する手法である。RICSを用いることで蛍光修飾された分子の拡散係数を測定することができる。RICSでは、ROIの大きさによって測定の精度が大きく変わるため、測定したい構造体が小さい場合であっても、その構造体にあわせて小さい範囲のROIを選択することができない。そのため、測定したい構造体よりも大きいROIを用いて、標的となる構造体を含むROIと含まないROIで解析結果を比較するという方法が採られている。
【先行技術文献】
【非特許文献】
【0009】
【非特許文献1】MA.Digman et.al., “Measuring Fast Dynamics in Solutions and Cells with a Laser Scanning Microscope.”, Biophysical Journal Vol. 89, 1317−1327, 2005.
【非特許文献2】Gielen, E. et al. (2009), “Measuring diffusion of lipid-like probes in artificial and natural membranes by raster image correlation spectroscopy (RICS): use of a commercial laser-scanning microscope with analog detection”, Langmuir, 25, 5209-18.
【発明の概要】
【発明が解決しようとする課題】
【0010】
上述のように、画像中の複数の領域を跨いでROIを設定すると、ROI中に含まれる各領域の割合によって解析結果が異なることになる。そのため複数のROIからの結果を比較する場合、使用者はROIに含まれる各領域の割合を意識してROIの場所を設定する必要がある。
【0011】
そのため、使用者は目視によって各領域が所望の割合になるように、ROIの位置を設定していた。しかしながら、目視によってROIの位置を設定するのでは、使用者ごとの判断基準が異なり、また、領域の形状が必ずしも同じであるとは限らないことから、解析結果の客観性・再現性が損なわれてしまうことになる。
【0012】
従って、関心領域(ROI)の設定に際し、各領域の割合が所望の値となるような関心領域(ROI)を容易に、精度良く設定することのできる技術のニーズがある。
【課題を解決するための手段】
【0013】
上記課題を解決するための本発明は、生体の挙動を測定して解析する装置に搭載されて前記生体の測定対象領域を選定する操作を支援する画像処理装置のプログラムにおいて、取得した生体画像の一部に所定形状の測定対象領域を設定するために、前記所定形状と同一の形状の領域を前記選定する操作に応じて前記生体画像上を移動させるステップと、前記生体画像の各画素に対応付けられた当該生体の生体構造あるいは生物学的状態を区分する値に基づいて、前記領域に含まれる画素の前記区分の割合を算出するステップと、算出した前記区分の割合を含む情報を前記領域における指標として提示するステップとを前記画像処理装置に実行させるためのプログラムである。
【0014】
また本発明は、生体の挙動を測定して解析する装置に搭載されて前記生体の測定対象領域を選定する操作を支援する画像処理装置において、取得した生体画像の一部に所定形状の測定対象領域を設定するために、前記所定形状と同一の形状の領域を前記選定する操作に応じて前記生体画像上を移動させる手段と、前記生体画像の各画素に対応付けられた当該生体の生体構造あるいは生物学的状態を区分する値に基づいて、前記領域に含まれる画素の前記区分の割合を算出する手段と、算出した前記区分の割合を含む情報を前記領域における指標として提示する手段とを備えた画像処理装置である。
【0015】
また本発明は、上記記載の発明である画像処理装置を備えた生体の挙動を測定して解析する装置である。
【0016】
また本発明は、生体の挙動を測定して解析する装置に搭載されて前記生体の測定対象領域を選定する操作を支援する画像処理装置の画像処理方法において、取得した生体画像の一部に所定形状の測定対象領域を設定するために、前記所定形状と同一の形状の領域を前記選定する操作に応じて前記生体画像上を移動させるステップと、前記生体画像の各画素に対応付けられた当該生体の生体構造あるいは生物学的状態を区分する値に基づいて、前記領域に含まれる画素の前記区分の割合を算出するステップと、算出した前記区分の割合を含む情報を前記領域における指標として提示するステップとを備えた画像処理方法である。
【発明の効果】
【0017】
この発明によれば、関心領域(ROI)の設定に際し、各領域の割合が所望の値となるような関心領域(ROI)を容易に、精度良く設定することができる。
【図面の簡単な説明】
【0018】
【図1】第1の実施の形態の画像処理方法が適用されるレーザ顕微鏡システムの構成を示す図。
【図2】第1の実施の形態の画像処理装置の動作手順を示すフローチャート。
【図3】第1の実施の形態の画像処理方法によって表示装置に表示される処理画面を示す図。
【図4】第1の実施の形態のROIの移動に伴う、ROI中の各領域の割合が変化する状態を示す図。
【図5】第1の実施の形態のROIを設定する実施例を示す図。
【図6】第2の実施の形態の領域の割合についての条件を指定する方法を説明するための図。
【図7】第2の実施の形態の領域分類画像上で指定された条件を満たすROIの集合を重ねて表した図。
【図8】第2の実施の形態の領域分類画像上で指定された条件を満たすROIの領域を明暗で表した図。
【図9】第2の実施の形態の領域分類画像上で指定された条件を満たす領域内にROIが収まったことを表す図。
【図10】第2の実施の形態の使用者のROI設定を補助する他の方法を示す図。
【図11】第3の実施の形態の異なる細胞A,Bに対して、ROIを移動し拡散係数を求めた結果を示した図。
【図12】第3の実施の形態の細胞A,Bに対して、ROI中の細胞質の割合に対する拡散係数の値をプロットして示す図。
【発明を実施するための形態】
【0019】
〔第1の実施の形態〕
図1は、第1の実施の形態の画像処理方法が適用されるレーザ顕微鏡システムの構成を示す図である。
レーザ顕微鏡システムは、顕微鏡本体1、レーザコンバイナー2、スキャンユニット3、ディテクタユニット4、コントロールユニット5、表示装置6及び記憶装置7を備えている。
【0020】
レーザコンバイナー2に設けられた1つのレーザ光源から出射したレーザ光は、ダイクロイックミラー(不図示)で反射された後スキャンユニット3に入射する。このスキャンユニット3によって、光軸はX軸、Y軸方向に偏向走査され、顕微鏡本体1の対物レンズ(不図示)に入る。これによって視野内の焦点面上にある蛍光標識されたサンプル試料の任意の位置に、測定領域(焦点領域)を位置することができる。
【0021】
焦点領域内の蛍光分子から発した蛍光は同じ対物レンズで補足され、逆の光路を通りダイクロイックミラーに導かれる。ダイクロイックミラーでは、励起光と比べ波長の長い蛍光を透過するように設計されており、蛍光はディテクタユニット4に到達する。ディテクタユニット4としては光電子増倍管が好適である。
【0022】
ディテクタユニット4で光電変換された蛍光の強度信号は、コントロールユニット5に入力される。コントロールユニット5では、解析ソフトウェアによってRICS解析が行われる。コントロールユニット5は、ディテクタユニット4からの蛍光強度信号と、スキャンユニット3からの走査位置情報とを対応づけてRICS解析を行う。RICS解析した結果は、適宜、表示装置6に表示され、また記憶装置7に記憶される。
【0023】
図1の右側には、本レーザ顕微鏡システムで得られる情報を模式的に示している。
サンプル8aにレーザ光を繰り返して走査照射して複数枚の蛍光画像8bを得る。このそれぞれの蛍光画像8bに基づいて蛍光強度に関するデータ8cを求めて、解析ソフトウェアに入力する。解析ソフトウェアは、それぞれのデータ8cに基づいてRICS解析を実行する。即ち、空間相関計算を行って空間相関関数図8dを求め、その結果と基準となる空間相関関数図との間でフィッティング解析を行う。
【0024】
なお、使用者は、表示装置6に表示された生体画像に対して、コントロールユニット5を介してROIを設定することができる。表示装置6には、生体画像と設定されたROIを表す領域とが合成して表示される。
【0025】
図2は、第1の実施の形態の画像処理装置の動作手順を示すフローチャートである。
図2のステップS01において、コントロールユニット5は、生体の蛍光顕微鏡画像11を表示装置6に表示する。
【0026】
図3は、第1の実施の形態の画像処理方法によって表示装置6に表示される処理画面10を示す図である。
処理画面10は、3つの表示領域を備えている。左上の第1のブロックには、蛍光顕微鏡画像11が表示される。右上の第2のブロックには、領域分類画像12が表示される。右下の第3のブロックには、領域割合図15が表示される。領域分類画像12及び領域割合図15の詳細については後述する。
【0027】
蛍光顕微鏡画像11には複数の領域を含んでいる。各領域は、撮影手法や染色手法に応じて、形体やコントラスト・色彩の違いとして区別することができる。ただし、蛍光顕微鏡画像11のどの部分がどの領域に帰属するかを決定する際には、ROIの位置を選定するのに必要な情報が得られれば十分である。従って、全ての領域を区別する必要は無く、生物学的な定義と厳密に対応して区別する必要は無い。例えば、細胞の画像において核と細胞質の割合に着目する場合は、細胞質に含まれる様々な細胞内小器官をそれぞれ区別する必要は無く、すべて細胞質という領域として良い。第1の実施の形態では、細胞外・細胞質・核の三種類の領域から構成されているとして説明する。
【0028】
なお、複数の領域の例としては、上述の培養細胞の画像であれば、培養液に点在する細胞の中に、核・細胞質・細胞内小器官などの領域がある。生物個体の一部の画像であれば、各臓器や血管系が異なる領域として区別される。また、各臓器を構成する個別の組織を別の領域とすることができる。
【0029】
ステップS02において、コントロールユニット5は、蛍光顕微鏡画像11に含まれる複数の領域を同定する。すなわち、上述のように蛍光顕微鏡画像11を細胞外・細胞質・核の三種類の領域に同定する。領域の同定は、コントロールユニット5を介して、使用者が画像情報と既知の知見に基づいて手動で同定しても良く、コントロールユニット5が公知の画像解析ソフトウェアの支援により自動的・半自動的に行っても良い。
【0030】
ステップS03において、コントロールユニット5は、同定した複数の領域を区分して表した領域分類画像12を処理画面10に表示する。
【0031】
ステップS04において、コントロールユニット5は、領域分類画像12から各画素の種別情報を取得する。種別情報とは、各画素が上述のいずれの領域に属するかを示す情報である。
【0032】
種別情報は、例えば、整数値で表しても良い。その場合、種別情報Iは、画素の座標(x,y)に対して整数値を返す関数と定義することができる。あるいは、画素(x,y)の値を実数の行列C(x,y)として表したときに、画素(x,y)に対応する種別情報を整数の行列I(x,y)として表しても良い。このように表すことで、数学的な取扱いが容易となる。
【0033】
例えば、細胞の画像において、細胞外・細胞質・核の三種類の領域を、細胞外に対して0、細胞質に対して1、核に対して2という種別情報を割り当てる。座標(10,20)に位置する画素が細胞質領域に含まれることは、式(1)で表される。
I(10,20)=1 ・・・式(1)
このI(x,y)のデータは、記憶装置7に保存しておき、解析時に読み出すようにすることができる。その際、I(x,y)のデータは、独立したファイルとして保存しても良いし、複数の画像データを格納することができるファイル形式であれば、元の画像データに対応させて、同一ファイルに保存することもできる。
【0034】
ステップS05において、コントロールユニット5は、ROIを設定する使用者の操作をサポートする。
【0035】
使用者は、図3の領域分類画像12上でROIを設定する操作を実行する。但し、使用者は、蛍光顕微鏡画像11上でROIを設定する操作を実行しても良い。一方の画像上でROIを設定する操作を行なった場合、他方の画像上の対応する位置にもROIが表示される。その際、一方の画像上でROI操作しているときに、他方の画像に操作中のROIを表示するかどうかは、使用者が選択することができる。
【0036】
使用者は、処理画面上で不図示のメニューバーから、ROI設定モードを選択する。ROIを示す枠13は、領域分類画像12、蛍光顕微鏡画像11のいずれかの画像上にマウスカーソル14を移動させ、最初にマウスのボタンを押下げることによって現出する。ROIの大きさが解析手法の設定によってあらかじめ決定している場合は、その場に仮のROIが設定される。ROIの大きさが任意である場合は、その場でROIの形状(正方形、長方形、丸、楕円など)及びサイズを選択するモードに移行する。
【0037】
例えば、使用者が長方形のROIを希望する場合は、以下のようにその大きさが決定される。マウスのボタンが初めて押下げられた位置を始点とし、そのボタンを押下げたままマウスを移動するに従いROIの枠の大きさが変化し、ボタンを放した位置を終点とする長方形がROIとして設定される。
【0038】
ステップS06において、コントロールユニット5は、ROI中の各領域の割合を計算して表示する。
【0039】
ROI中で、種別情報インデックスがiである領域(以下、領域iと記述する)に属する画素の数S(i)は、I(x,y)=iである画素の数である。すなわち、S(i)は、式(2)で表される。
【数1】
【0040】
領域iのROI中の占有率R(i)は、ROI中の全画素数Nを用いて、式(3)で表すことができる。
【数2】
【0041】
使用者の関心がROI中の領域iの割合だけの場合は、R(i)をROIの特徴を表す値として使用者に提示することができる。また、使用者の関心が要素i,j,k,...にある時は、<R(i),R(j),R(k),...>の値の組を使用者に提示することができる。図3の領域割合図15には、ROI中の細胞外、細胞質、核のそれぞれの領域の割合が表示される。なお、領域割合図15に表示したい領域は、使用者が不図示の設定画面より指定することができる。
【0042】
ステップS07において、コントロールユニット5は、ROIの移動に合せてROIの表示と各領域の割合の表示とを更新する。
【0043】
使用者がROIの枠上でマウスのボタンを押下げ、そのボタンを押下げたままマウスを移動(マウスのドラッグ)することによってROIを移動することができる。マウスをドラッグすると、マウスカーソル14の動きに追随してROIの枠13が移動する。ROIの枠13の移動にともなって、ROI中の各領域の割合が変化する。
【0044】
図4は、第1の実施の形態のROIの移動に伴う、ROI中の各領域の割合が変化する状態を示す図である。
【0045】
図4に示すように、使用者がROIを移動するとリアルタイムでそのROIの位置での各領域の割合が表示されるので、使用者は移動中のROIの状況を容易に把握することができる。ROIが、画像上の位置、および各領域の割合の情報から望ましい位置にあると使用者が判断した場合、使用者はその位置でROIの移動を停止してROIを確定する。
【0046】
次に、領域割合図15に領域iの割合をリアルタイムで表示する方法について説明する。なお、以下では、特に区別の必要があるとき以外は、領域割合図15に表示される領域iの割合を、<R(i)>と表す。
【0047】
<R(i)>の計算は、式(2)、式(3)に示すように簡便であるため、現在一般的に用いられている計算機を用いて高速に計算することができる。従って使用者が、画像中に任意の形状・大きさのROIを設定すれば、ROIの移動に合せてリアルタイムで計算し表示することが可能である。
【0048】
また、使用者がROIの形状・大きさを指定した際、画像中ですべての可能なROIの位置に対して<R(i)>を計算しておくことも容易に可能である。すなわち、ROIの形状、大きさに対応して定義される代表座標(x,y)と、計算したRi(x,y),Rj(x,y),Rk(x,y),...とを対応付けてメモリに保存する。使用者がROIを移動する操作を行っているときに、ROIの代表座標(x,y)に対応する<R(i)>をメモリから抽出することで、使用者に対してリアルタイムで<R(i)>を提示することができる。
【0049】
図5は、第1の実施の形態のROIを設定する実施例を示す図である。
【0050】
蛍光顕微鏡画像11では、蛍光分子は、細胞内の細胞質に存在するため、輝度の高いところが細胞質であり、細胞質に囲まれた領域が核であると容易に判別することができる。領域分類画像12は、この輝度の違いに基づき、使用者が手動で分類を行って作成した図である。なお、領域分類画像12と共に分類の凡例が示されている。
【0051】
この領域分類画像上に複数のROIを設定した。単一の領域に内包されるROIは、領域分類画像12によらずとも、蛍光顕微鏡画像11を見ながらでも容易に行うことができる。そのようにして、核のみを含むROIとして図中B,Gを、細胞質のみを含むROIとして図中D,Fを設定することができる。
【0052】
細胞質を50%含むROI(図中A,E)の設定は、マウスによってROIの枠を、細胞の縁付近で移動し、画面に表示される細胞質の占有率R(i=1)の値が0.5(50%)になった位置でROIを確定する事によって行なうことができる。
【0053】
核を30%含むROI(図中C,H,I)の設定は、マウスによってROIの枠を、核の縁付近で移動し、画面に表示される核の占有率R(i=2)の値が0.3(30%)になった位置でROIを確定する事によって行なうことができる。図中IのROIは、核・細胞質・細胞外すべての領域を含み、<R(0),R(1),R(2)>=<0.1,0.6,0.3>である。R(2)にのみ注目すれば図中CやHと同様の領域と見なすこともできるし、核と細胞質のみを含むROIを選択したければ、R(0)=0となるように注意してROIの場所を選択することができる。
【0054】
従来は、使用者が目視によって、おおよその見当でROIを確定していたのに対して、本実施の形態では、R(i)の値を見ながらROIを確定できるので、容易に再現性の高い設定を行うことができる。
【0055】
〔第2の実施の形態〕
第2の実施の形態では、使用者がROI操作を行なう際の補助機能が強化されている。第1の実施の形態と同一の部位には同一の符号を付してその詳細の説明は省略する。
【0056】
使用者のROI操作において、使用者の定めた<R(i)>の条件を満たすROIを容易に選択できるように補助することが可能である。条件はR(i),R(j),R(k),...全てついて与えることもできるし、一部についてのみ与えることもできる。<R(i)>が満たすべき条件としては、R(i)の値を目標の範囲内とする条件や、複数の領域の占有率を用いて演算した結果を目標の範囲内とする条件などが可能である。例えば、二つの領域の占有率の比が目標の範囲内となる様な条件の与え方をすることもできる。
【0057】
図6は、第2の実施の形態の領域の割合についての条件を指定する方法を説明するための図である。
【0058】
図6では、領域R1〜R3のそれぞれについての割合の条件を指定するための、名称を記入する欄20と目標範囲を記入する欄21が設けられている。また、それぞれの割合を用いて演算した結果を条件とするために、演算式を記入する欄22が設けられている。図6に示した内容では、それぞれの領域は、「細胞外」、「細胞質」、「核」と名称がつけられて、その目標とする範囲が指定されている。また、「比率」の名称で、細胞外/細胞質の演算が指定され、その演算結果の目標とする範囲が指定されている。なお、予め表示する項目名が定まっている場合は、名称を記入する欄20はなくても良い。
【0059】
図7は、第2の実施の形態の領域分類画像12上で指定された条件を満たすROIの集合を重ねて表した図である。
使用者が核を含まず(0%)、細胞質の割合が50%(49.5%以上、50.5%未満)と条件を設定すると、画像の中でその条件に適合するROIの集合が決定する。
【0060】
ROIのサイズが、解析手法の要請によって予め決定している場合、あらかじめ領域分類画像12に基づいて、すべての可能なROIの位置での占有率を計算しておくことが可能である。その情報を元にして図7に示すROIの集合を取得することができる。
【0061】
図7で示されるROIの集合は、S1、S3、S4で示されるようにROIがある範囲に連続して存在している部分集合や、S2で示されるようにほとんど同一の位置の近傍に存在しているような部分集合などから構成される。
【0062】
図8は、第2の実施の形態の領域分類画像12上で指定された条件を満たすROIの領域を明暗で表した図である。
図8の領域25は、指定された条件を満たすROIの集合を包絡する領域である。領域25は、地の部分よりも明るい階調で表示されている。使用者は、その領域にROIの枠が収まるようにROIを設定することによって、適切なROIを選択することができる。
【0063】
図9は、第2の実施の形態の領域分類画像12上で指定された条件を満たす領域内にROIが収まったことを表す図である。
図9に示すように、条件を満たす領域25の内にROIが収まったことを枠の太さや色を変えることによって使用者に明示的に示し、使用者の操作を補助することができる。条件を満たす領域25の内にROIが収まっていない場合、枠F1、枠F3で示すようにROIの枠は細く表示される。条件を満たす領域25の内にROIが収まっている場合、枠F2で示すようにROIの枠は太く表示される。
【0064】
このように、使用者はあらかじめ許容されるROIの位置を知ることができるので、無駄な試行錯誤を行うことなく、より高度な画像状態の判断に集中して作業を行うことができる。
【0065】
図10は、第2の実施の形態の使用者のROI設定を補助する他の方法を示す図である。この他の方法では、マウスカーソルで示された位置に最も近い領域25内のROIを表示する。表示されるROIの重心位置とマウスカーソルで示された位置との距離が一番近くなるようなROIが選択される。
【0066】
図10に示す例では、マウスカーソルが1aの位置のとき、ROIとして1bが選ばれ、マウスカーソルが2aに対してROI2bが選ばれ、マウスカーソルが3aに対してROI3bが選ばれる。
【0067】
図10に示す方式では、使用者は必ず領域25内のROIを選択することができる。しかし、領域25の形状が複雑な場合、選択されたROIが不適切であると使用者が感じることがある。その場合には、この機能を無効にすることもできる。
【0068】
第2の実施の形態では、指定された条件を満たすROIの集合を包絡する領域25を明示したが、領域25の存在を明示しなくとも良い。使用者が画像上でROIの形状・大きさや位置を変えて移動している状態で、<R(i)>が与えられた条件を満たした場合に、画面表示や音によるシグナルによって、条件を満たす位置にROIがあることを使用者に伝達しても良い。伝達方式としては、例えばROI形状・位置を示す枠や<R(i)>を表示する文字を太く表示したり注意を引くような色に変更したりする方法がある。
【0069】
〔第3の実施の形態〕
第3の実施の形態では、第1及び第2の実施の形態で説明した機能を用いてRICS解析を実施した事例を説明する。第1及び第2の実施の形態と同一の部位には同一の符号を付してその詳細の説明は省略する。
【0070】
第1及び第2の実施の形態で説明したように、<R(i)>はROIが画像に対してどういう意味があるのかを簡単に示すことができる指標である。従って、あるROIに対する解析値Fが得られたとき、その解析値は、<R(i)>と組にして処理されるのが望ましい場合がある。例えば同一の<R(i)>を持つROIの解析値を統計処理したり、<R(i)>と解析値Fとの回帰分析をしたりする場合である。そのために、解析値Fを表示、保存する際に、<R(i)>を同時に表示、保存する。
【0071】
以下に、蛍光標識したタンパク質の拡散係数をRICSによって導出する際に、ROI中の細胞質の占有率を用いて細胞膜の解析を行なった結果を説明する。
【0072】
細胞膜での拡散係数と細胞質での拡散係数は異なるため、ROI中を占める細胞質と細胞膜の割合の比によって測定値は異なる。細胞膜の厚さは10nm程度で、光学顕微鏡の分解能よりもはるかに薄いため、細胞膜の領域を画面上で同定するのは困難である。そのため、ROI中の細胞質の割合によって測定値がどのように変化するかを解析することによって、細胞膜での拡散係数を推定する解析を行った。
【0073】
図11は、第3の実施の形態の異なる細胞A,Bに対して、ROIを移動し拡散係数を求めた結果を示した図である。
拡散係数はD1で表されている。なお、G1は分子数を表す指標である。図11では、細胞質の割合が10%、50%、80%、100%について、異なる細胞A,Bの測定結果を対応させて表示している。細胞質の占有率という共通の指標があるため、異なる細胞間でも、同じ細胞質占有率を示すROIでの拡散係数を比較することができる。
【0074】
図12は、細胞A,Bに対して、ROI中の細胞質の割合に対する拡散係数の値をプロットして示す図である。
図12に示すように、異なる細胞A,B間でも、細胞質の割合を指標とするで、拡散係数を比較することが可能となる。この結果から、細胞質の割合と拡散係数との関係を回帰分析によって求め、細胞質の割合が0における拡散係数を推定することが出来る。即ち、細胞膜での拡散係数を、細胞質の割合が0における拡散係数として求めることができる。
【0075】
本実施の形態で開示したROI選択を補助する手法を用いれば、細胞質の割合が同じROIを多数選択することができるため、それらのROIそれぞれについて得られた拡散係数について平均値を算出するなどの処理が可能である。従って、各ROIで拡散係数を求めた結果をディスク上に記録する際に、そのROI中での細胞質の割合を同時に記録しておき、後の操作で統計的な解析を行う際に、その記録を呼び出して細胞質の割合の情報を解析に利用することができる。
【0076】
なお、上述の各実施の形態で説明した機能は、ハードウェアを用いて構成するに留まらず、ソフトウェアを用いて各機能を記載したプログラムをコンピュータに読み込ませて実現することもできる。また、各機能は、適宜ソフトウェア、ハードウェアのいずれかを選択して構成するものであっても良い。
【0077】
尚、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。
上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【0078】
1…顕微鏡本体、2…レーザコンバイナー、2b…ROI、3…スキャンユニット、3b…ROI、4…ディテクタユニット、5…コントロールユニット、6…表示装置、7…記憶装置、8a…サンプル、8b…蛍光画像、8c…データ、10…処理画面、11…蛍光顕微鏡画像、12…領域分類画像、13…枠、14…マウスカーソル、25…領域。
【特許請求の範囲】
【請求項1】
生体の挙動を測定して解析する装置に搭載されて前記生体の測定対象領域を選定する操作を支援する画像処理装置のプログラムにおいて、
取得した生体画像の一部に所定形状の測定対象領域を設定するために、前記所定形状と同一の形状の領域を前記選定する操作に応じて前記生体画像上を移動させるステップと、
前記生体画像の各画素に対応付けられた当該生体の生体構造あるいは生物学的状態を区分する値に基づいて、前記領域に含まれる画素の前記区分の割合を算出するステップと、
算出した前記区分の割合を含む情報を前記領域における指標として提示するステップと
を前記画像処理装置に実行させるためのプログラム。
【請求項2】
前記区分の割合を含む情報が充足する条件を取得するステップと、
前記領域が前記区分の割合を含む情報が前記条件を充足する位置にあることを出力するステップと
を更に前記画像処理装置に実行させるための請求項1に記載のプログラム。
【請求項3】
前記区分の割合を含む情報が前記条件を充足する前記領域の位置の集合を前記生体画像について取得するステップと、
取得した前記領域の位置の集合を包絡する領域を前記生体画像上に合成して表示するステップと
を更に前記画像処理装置に実行させるための請求項2に記載のプログラム。
【請求項4】
前記区分の割合を含む情報には、前記区分の割合を組み合わせて演算した値が含まれることを特徴とする請求項3に記載のプログラム。
【請求項5】
前記測定対象領域内の前記区分の割合を含む情報と、前記測定対象領域での前記解析結果とを関連付けて記憶するステップを更に前記画像処理装置に実行させるための請求項1に記載のプログラム。
【請求項6】
生体の挙動を測定して解析する装置に搭載されて前記生体の測定対象領域を選定する操作を支援する画像処理装置において、
取得した生体画像の一部に所定形状の測定対象領域を設定するために、前記所定形状と同一の形状の領域を前記選定する操作に応じて前記生体画像上を移動させる手段と、
前記生体画像の各画素に対応付けられた当該生体の生体構造あるいは生物学的状態を区分する値に基づいて、前記領域に含まれる画素の前記区分の割合を算出する手段と、
算出した前記区分の割合を含む情報を前記領域における指標として提示する手段と
を備えたことを特徴とする画像処理装置。
【請求項7】
前記区分の割合を含む情報が充足する条件を取得する手段と、
前記領域が前記区分の割合を含む情報が前記条件を充足する位置にあることを出力する手段と
を備えたことを特徴とする請求項6に記載の画像処理装置。
【請求項8】
前記区分の割合を含む情報が前記条件を充足する前記領域の位置の集合を前記生体画像について取得する手段と、
取得した前記領域の位置の集合を包絡する領域を前記生体画像上に合成して表示する手段と
を備えたことを特徴とする請求項7に記載の画像処理装置。
【請求項9】
生体の挙動を測定して解析する装置において、
請求項6乃至8の内の1項に記載の画像処理装置を搭載することを特徴とする装置。
【請求項10】
生体の挙動を測定して解析する装置に搭載されて前記生体の測定対象領域を選定する操作を支援する画像処理装置の画像処理方法において、
取得した生体画像の一部に所定形状の測定対象領域を設定するために、前記所定形状と同一の形状の領域を前記選定する操作に応じて前記生体画像上を移動させるステップと、
前記生体画像の各画素に対応付けられた当該生体の生体構造あるいは生物学的状態を区分する値に基づいて、前記領域に含まれる画素の前記区分の割合を算出するステップと、
算出した前記区分の割合を含む情報を前記領域における指標として提示するステップと
を備えたことを特徴とする画像処理方法。
【請求項1】
生体の挙動を測定して解析する装置に搭載されて前記生体の測定対象領域を選定する操作を支援する画像処理装置のプログラムにおいて、
取得した生体画像の一部に所定形状の測定対象領域を設定するために、前記所定形状と同一の形状の領域を前記選定する操作に応じて前記生体画像上を移動させるステップと、
前記生体画像の各画素に対応付けられた当該生体の生体構造あるいは生物学的状態を区分する値に基づいて、前記領域に含まれる画素の前記区分の割合を算出するステップと、
算出した前記区分の割合を含む情報を前記領域における指標として提示するステップと
を前記画像処理装置に実行させるためのプログラム。
【請求項2】
前記区分の割合を含む情報が充足する条件を取得するステップと、
前記領域が前記区分の割合を含む情報が前記条件を充足する位置にあることを出力するステップと
を更に前記画像処理装置に実行させるための請求項1に記載のプログラム。
【請求項3】
前記区分の割合を含む情報が前記条件を充足する前記領域の位置の集合を前記生体画像について取得するステップと、
取得した前記領域の位置の集合を包絡する領域を前記生体画像上に合成して表示するステップと
を更に前記画像処理装置に実行させるための請求項2に記載のプログラム。
【請求項4】
前記区分の割合を含む情報には、前記区分の割合を組み合わせて演算した値が含まれることを特徴とする請求項3に記載のプログラム。
【請求項5】
前記測定対象領域内の前記区分の割合を含む情報と、前記測定対象領域での前記解析結果とを関連付けて記憶するステップを更に前記画像処理装置に実行させるための請求項1に記載のプログラム。
【請求項6】
生体の挙動を測定して解析する装置に搭載されて前記生体の測定対象領域を選定する操作を支援する画像処理装置において、
取得した生体画像の一部に所定形状の測定対象領域を設定するために、前記所定形状と同一の形状の領域を前記選定する操作に応じて前記生体画像上を移動させる手段と、
前記生体画像の各画素に対応付けられた当該生体の生体構造あるいは生物学的状態を区分する値に基づいて、前記領域に含まれる画素の前記区分の割合を算出する手段と、
算出した前記区分の割合を含む情報を前記領域における指標として提示する手段と
を備えたことを特徴とする画像処理装置。
【請求項7】
前記区分の割合を含む情報が充足する条件を取得する手段と、
前記領域が前記区分の割合を含む情報が前記条件を充足する位置にあることを出力する手段と
を備えたことを特徴とする請求項6に記載の画像処理装置。
【請求項8】
前記区分の割合を含む情報が前記条件を充足する前記領域の位置の集合を前記生体画像について取得する手段と、
取得した前記領域の位置の集合を包絡する領域を前記生体画像上に合成して表示する手段と
を備えたことを特徴とする請求項7に記載の画像処理装置。
【請求項9】
生体の挙動を測定して解析する装置において、
請求項6乃至8の内の1項に記載の画像処理装置を搭載することを特徴とする装置。
【請求項10】
生体の挙動を測定して解析する装置に搭載されて前記生体の測定対象領域を選定する操作を支援する画像処理装置の画像処理方法において、
取得した生体画像の一部に所定形状の測定対象領域を設定するために、前記所定形状と同一の形状の領域を前記選定する操作に応じて前記生体画像上を移動させるステップと、
前記生体画像の各画素に対応付けられた当該生体の生体構造あるいは生物学的状態を区分する値に基づいて、前記領域に含まれる画素の前記区分の割合を算出するステップと、
算出した前記区分の割合を含む情報を前記領域における指標として提示するステップと
を備えたことを特徴とする画像処理方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2012−198139(P2012−198139A)
【公開日】平成24年10月18日(2012.10.18)
【国際特許分類】
【出願番号】特願2011−63142(P2011−63142)
【出願日】平成23年3月22日(2011.3.22)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
【公開日】平成24年10月18日(2012.10.18)
【国際特許分類】
【出願日】平成23年3月22日(2011.3.22)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
[ Back to top ]