細胞解析装置、及び細胞解析方法
【課題】観察試料作製時の細胞の破壊を抑制しつつ、様々の環境(病態)条件での細胞内状況(全生体物質で現される電顕像)を得るとともに、同視野での特定の物質の位置情報を相関させる技術を提供する。
【解決手段】細胞の解析装置であって、前記細胞の細胞構造に関する情報を有する第一画像と、前記第一画像を含み、かつ、前記細胞内に関する情報であって、前記細胞の細胞構造と関連付けられた物質に関する情報を有する第二画像と、を格納する記憶部と、前記第一画像から前記細胞構造を抽出し、前記第二画像から前記物質と関連付けられた細胞構造を抽出し、抽出した夫々の細胞構造を照合して、前記第二画像が前記第一画像のどの位置に対応するかを特定する位置特定部と、前記位置特定部による特定結果に基づいて、前記第二画像を前記第一画像の特定された位置に重ねる結合部と、を備える。
【解決手段】細胞の解析装置であって、前記細胞の細胞構造に関する情報を有する第一画像と、前記第一画像を含み、かつ、前記細胞内に関する情報であって、前記細胞の細胞構造と関連付けられた物質に関する情報を有する第二画像と、を格納する記憶部と、前記第一画像から前記細胞構造を抽出し、前記第二画像から前記物質と関連付けられた細胞構造を抽出し、抽出した夫々の細胞構造を照合して、前記第二画像が前記第一画像のどの位置に対応するかを特定する位置特定部と、前記位置特定部による特定結果に基づいて、前記第二画像を前記第一画像の特定された位置に重ねる結合部と、を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、細胞解析装置、及び細胞解析方法に関する。
【背景技術】
【0002】
医学を進歩させるために日々行われている研究の一つとして、細胞内における特定蛋白質を観察する研究がある。この研究のメリットとして、病気になったとき異常が起きている細胞内で特定蛋白質がどのように局在するかを観察可能である点、異なる種類の蛋白質同士が隣接している際にお互いにどのような影響を与えるのか観察可能である点が挙げられる。上記研究を進めることで、細胞の状態がより細部まで把握可能となり、人体に現れる様々な症状の解明が期待できる。細胞内の特定蛋白質を観察する方法として、抗体に蛍光色素を標識し、蛍光顕微鏡で観察する蛍光抗体染色法等が知られている(例えば、特許文献1を参照。)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第2005/035751号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【0004】
細胞内での特定蛋白質を観察する研究が行われている。この研究のメリットとして、病気の際の、細胞内での特定蛋白質の局在状況の観察が可能となる点が挙げられる。従って、上記研究は、細胞の状態がより細部まで把握可能となり、人体に現れる様々な症状の解明につながるものとして医学的に期待されている。
【0005】
従来の観察方法として、抗体に蛍光色素を標識し、蛍光顕微鏡で観察する蛍光抗体染色法が知られている。近年の顕微鏡の性能が向上したことにより、細胞内微細構造における標識蛋白質のおおまかな位置まで推測できるようになってきている。しかしながら、蛍光顕微鏡で観察する方法では、細胞内での標識蛋白質の正確な位置を得ることはできない。
【0006】
一方、電子顕微鏡を用いての蛋白質の位置解析法は、金コロイド2次抗体を用いた免疫電顕法として確立されている。しかし、この方法では、観察試料調製過程での細胞膜の著しい破壊などが伴い、微細構造の保持が失われた観察像となることが懸念されている。
【0007】
蛍光顕微鏡で得られる画像(光顕像)と電子顕微鏡で得られる画像(電顕像)を重ね合わせることができれば、物質の細胞内での位置情報などが得られ研究や診断などに有用と考えられる。しかしながら、両画像は極端に観察可能倍率と画像分解度が違う(光顕像の約数%の視野が電顕像の1画像に相当する)為、両画像の同視野の特定は目視での試行錯誤になるとともに、回転角度の算出も目算での繰り返しのあてはめ作業となり、光顕像と電顕像を正確に重ね合わせる工程は非常に面倒で困難な作業であった。
上記した背景に鑑み、重ね合わせの工程の問題を解消することで、本発明では、観察試料調製時の細胞破壊を抑制しつつ、様々の環境(病態)条件での細胞内状況(全生体物質で現される電顕像)を得るとともに、同視野での特定の物質の位置情報を相関させる細胞解析方法の提供を課題とする。
【課題を解決するための手段】
【0008】
本発明では、上述した課題を解決するため、同視野の異なる情報を含む画像の重ね合わせ工程を自動化する画像解析プログラムの開発に着手した。全ての生体物質で現される細胞構造に関する情報を有する第一画像(例えば、電子顕微鏡画像)と、第一画像を含み、かつ、前記細胞の細胞構造と関連付けられた特定の物質に関する情報を有する第二画像(例えば、光学顕微鏡画像)とを重ねることとした。二つの像を重ねて観察することで、細胞内の物質のより正確な位置を得ることができる。また、金コロイド2次抗体を用いた免疫電顕法のように細胞膜を傷つけることなく解析を行うことができる。
【0009】
より詳細には、本発明は、細胞内における物質の位置を特定する解析装置であって、前記細胞内に含まれる複数の物質の情報及び該細胞の細胞構造に関する情報を有する第一画像と、前記第一画像を含み、かつ、前記細胞内に含まれる物質のうちの物質に関する情報であって、前記細胞の細胞構造と関連付けられた物質に関する情報を有する第二画像と、を格納する記憶部と、前記第一画像と前記第二画像の双方から、前記第二画像に含まれる物質と関連する細胞構造を抽出し、抽出した夫々の細胞構造を照合して、前記第二画像が前記第一画像のどの位置に対応するかを特定する位置特定部と、前記位置特定部による特定結果に基づいて、前記第二画像を前記第一画像の特定された位置に重ねる結合部と、を備える。
【0010】
本発明では、異なる性質の画像を重ねることで、細胞を傷つけることなく、細胞内における物質の位置をより正確に得ることができる。異なる性質の画像のうちの一つは、細胞の細胞構造に関する情報を有する第一画像である。第一画像は、細胞内に含まれる複数の物質の情報及び細胞構造に関する情報を含む、細胞の全ての情報を含むものであることが好ましい。一方、第一画像と性質の異なる画像とは、第一画像を含み、かつ、前記細胞の細胞構造と関連付けられた物質に関する情報を有する画像である。第一画像を含むとは、第二画像が第一画像よりも広範囲を写しており、第一画像が第二画像に含まれていることを意味する。このように互いに性質の異なる画像を重ねることで、細胞構造に関する情報を有する第一画像上で、物質の動向を観察することが可能となる。その結果、物質の正確な位置を得ることが可能となる。
【0011】
性質の異なる画像を重ねるに際しては、第二画像が第一画像のどの位置に対応しているかを特定する必要がある。第二画像が第一画像のどの位置に対応しているかを特定する場合、第一画像に対する第二画像の位置だけでなく、第一画像に対する第二画像の角度も特定しなければならない。このような特定は、人間が経験に基づいて行うこともできるが、経験が前提となる上、経験を有する者でも特定が困難な場合もある。本発明では、位置特定部が、性質の異なる画像に共通する情報としての細胞構造を照合することで、第二画像が前記第一画像のどの位置に対応するかを特定する。すなわち、第一画像と第二画像は、異なる性質の画像であるものの、細胞構造に関する情報(例えば、細胞膜の形状)を共通の情報として有している。そこで、特定部は、共通する情報としての細胞構造を照らし合わせることで、第二画像が前記第一画像のどの位置に対応するかを特定する。第二画像に含まれる物質は細胞構造と関連付けられているので、結合部が、第一画像と第二画像とを重ねると、第一画像上で、物質の位置を特定することが可能となる。
「細胞構造と関連付けられている」とは、物質が細胞膜や細胞壁など、細胞の輪郭を示す部位に局在し、これを画像化することにより細胞構造の情報が得られることをいう。
【0012】
ここで、本発明において、前記記憶部は、電子顕微鏡画像としての前記第一画像と、標識される前記物質を写す標識画像としての前記第二画像と、を格納するようにしてもよい。電子顕微鏡画像には、細胞内外の全ての物質情報が含まれる。一方、標識画像では、例えば、蛍光抗体染色により特定の物質を映し出すことができる。従って、このような画像を重ねることで、電子顕微鏡画像上で標識される物質(染色された物質)の動向を確認することが可能となる。
【0013】
また、本発明において、前記第二画像は、前記物質の情報として、特定の蛋白質の情報を有してもよい。本発明によれば、細胞内における特定の蛋白質の位置をより正確に特定することが可能となる。
【0014】
また、本発明において、前記位置特定部は、前記物質としての蛋白質に関連する細胞構造として、該蛋白質に隣接する細胞膜の形状に関する情報を取得し、抽出した夫々の細胞膜の形状を照合して、前記第二画像が前記第一画像のどの位置に対応するかを特定するようにしてもよい。蛋白質、特にタリンは、細胞膜に隣接するように存在するといった特徴を有する。換言すると、蛋白質が存在する位置は、細胞膜の形状と密接に関連している。そこで、このような関連性を利用することで、細胞膜の形状から二つの画像(第一画像、第二画像)の照合が可能となる。
【0015】
前記位置特定部は、第二画像における黒色の画素のうち第一画像における黒色の画素と重なった割合と、第二画像における白色の画素のうち第一画像における白色の画素と重なった割合と、第二画像における黒色の画素のうち第一画像における白色の画素と重なった割合と、第二画像における白色の画素のうち第一画像における黒色の画素と重なった割合と、に基づいて算出される指標を用いて、第一画像と第二画像とが一致するか否かを判断し、前記第二画像が前記第一画像のどの位置に対応するかを特定するようにしてもよい。このような指標を用いることで、第一画像と第二画像を照合する際の正確性をより向上することができる。
【0016】
ここで、本発明において、前記記憶部は、前記第二画像と同じ試料から得られることで前記第二画像に関連付けられた第三画像であって、前記物質とは異なる特定物質を写す第三画像を更に格納し、前記位置特定部は、前記第三画像に関連付けられている第二画像より抽出される細胞構造と、前記第一画像から抽出される細胞構造とを照合して、前記第三画像が前記第一画像のどの位置に対応するかを特定し、前記結合部は、前記位置特定部による特定結果に基づいて、前記第三画像を前記第一画像の特定された位置に更に重ねるようにしてもよい。
特定物質としては、細胞内での局在が不明なタンパク質などが例示される。
【0017】
本発明では、第二画像とは異なる第三画像を更に重ねることができる。この第三画像は、第二画像と同じ試料から得られることで第二画像に関連付けられている。従って、第三画像は、第二画像と異なり細胞構造に関する情報を有していないが、第二画像に関連付けられているので、第二画像に含まれる細胞構造に関する情報から、第一画像との照合が可能となる。従って、本発明によれば、細胞構造と関連付けられていない物質であっても、第二画像と同じ試料から得られる画像であれば、特定の物質を第一画像上で確認することが可能となる。すなわち、特定物質の細胞内での位置が特定できる。物質と特定物質は、例えば、別々の蛍光物質で標識された抗体を用いて染色し、照射するレーザーの波長を変更するなどして異なる色で表示されるようにすればよい。
【0018】
ここで、本発明は、上述した解析装置と同等の機能及び作用効果を有する解析方法としてもよい。具体的には、本発明は、細胞を解析する解析方法であって、コンピュータが、記憶装置に、前記細胞の細胞構造に関する情報を有する第一画像と、前記第一画像を含み、かつ、前記細胞に含まれる物質に関する情報であって、前記細胞の細胞構造と関連付けられた物質に関する情報を有する第二画像と、を格納する記憶ステップと、前記第一画像から前記細胞構造を抽出し、前記第二画像から前記物質と関連付けられた細胞構造を抽出し、抽出した夫々の細胞構造を照合して、前記第二画像が前記第一画像のどの位置に対応するかを特定する位置特定ステップと、前記位置特定ステップによる特定結果に基づいて、前記第二画像を前記第一画像の特定された位置に重ねる結合ステップと、を実行する。
【0019】
また、本発明は、上記解析方法を実現させるプログラムであってもよい。更に、本発明は、そのようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この場合、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。なお、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、又は化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。
【発明の効果】
【0020】
本発明によれば、観察試料調製時の細胞の破壊を抑制しつつ、様々の環境(病態)条件での細胞内状況(全生体物質で現される電顕像)を得るとともに、同視野での特定の物質の位置情報を相関させる技術を提供することができる。
【図面の簡単な説明】
【0021】
【図1】実施形態に係る解析装置の概略構成を示す。
【図2】実施形態に係る解析装置の機能ブロック図を示す。
【図3】電子顕微鏡画像の一例を示す。
【図4】共焦点レーザー顕微鏡画像の一例を示す。
【図5】切り出された共焦点レーザー顕微鏡画像の一例を示す。
【図6】切り出された共焦点レーザー顕微鏡画像と電子顕微鏡画像とを重ねた画像の一例を示す。
【図7】実施形態に係る解析処理フローを示す。
【図8】図3に示す電子顕微鏡画像に対して膨張処理を行ったトレース線画像の一例を示す。
【図9】2値化が施された共焦点レーザー顕微鏡画像(閾値32)を示す。
【図10】2値化が施された共焦点レーザー顕微鏡画像(閾値40)を示す。
【図11】誤検出の例を示す。
【図12】2値化が施された共焦点レーザー顕微鏡画像であって、高指標領域を有する共焦点レーザー顕微鏡画像の一例を示す。
【図13】細胞膜をトレースした画像の一例を示す。
【図14】指標を得るために比較する領域を示す画像の一例を示す。
【図15A】重ねた画像の一例を示す。
【図15B】黒色の画素同士が重なった箇所を示す画像の一例を示す。
【図15C】白色の画素同士が重なった箇所を示す画像の一例を示す。
【図15D】図13の画像における黒色の画素と図12の画像における白色の画素が重なった箇所を示す画像の一例を示す。
【図15E】図13の画像における白色の画素と図12の画像における黒色の画素が重なった箇所を示す画像の一例を示す。
【図16】タリンとは異なる蛋白質を写す、切り出された特定共焦点レーザー顕微鏡画像の一例を示す。
【図17】切り出された特定共焦点レーザー顕微鏡画像と電子顕微鏡画像とを重ねた画像の一例を示す。
【図18】切り出された共焦点レーザー顕微鏡画像と、切り出された特定共焦点レーザー顕微鏡画像と、電子顕微鏡画像とを重ねた画像の一例を示す。
【図19】変形例に係る解析処理フローを示す。
【図20】特定(探索)範囲を示す画像の一例を示す。
【図21】探索結果の一例を示す。
【図22】探索した画像の一例を示す。
【図23】入力画像と出力画像の関係を示す。
【図24】出力画像への指標の埋め込み(1)を示す。
【図25】結果画像への指標の埋め込み(2)を示す。
【図26】結果画像への指標の埋め込み(3)を示す。
【図27】元になる画像の一例を示す。
【図28】変換後の出力画像の一例を示す。
【図29】倍率5倍の画像の結果(1)を示す。
【図30】倍率5倍の画像の結果(2)を示す。
【図31】倍率10倍の画像の結果を示す。
【図32】倍率20倍の画像の結果を示す。
【発明を実施するための形態】
【0022】
次に、本発明に係る解析装置の実施形態について図面に基づいて説明する。以下の説明では、細胞内における蛋白質を観察する場合を例に説明する。
【0023】
<構成>
図1は、実施形態に係る解析装置100の概略構成を示す。図2は、解析装置100の機能ブロック図を示す。解析装置100は、制御部10を格納する筐体1、ディスプレイ等の表示装置2、ポインティングデバイスやキーボード等の入力装置3、外部機器と接続可能なインターフェース4備える。
【0024】
表示装置2は、例えば、液晶表示装置、プラズマディスプレイパネル、CRT(Cathode Ray Tube)、エレクトロルミネッセンスパネル等である。なお、図示されていないが、表示装置2には、画像データを格納するRAM、およびRAMのデータに基づき表示装置2を駆動する駆動回路が含まれる。但し、画像データを格納するRAM、表示装置2を駆動する駆動回路等は、画像処理基板として、表示装置2とは独立に設けてもよい。
【0025】
入力装置3は、コンピュータの入力装置であり、例えば、キーボード、ポインティングデバイス等が含まれる。ポインティングデバイスの種類には特に限定はなく、マウス、トラックボール、ダイヤル式操作装置、スティック形式でディスプレイ上のポインタを移動する装置、静電容量によってユーザ(以下、解析者ともいう。)の指の操作を検出するデバイス、タッチパネル、ジョイスティック等、ユーザのニーズ等に応じて、適切なものを使用すればよい。
【0026】
キーボードは、ユーザの入力操作に応じて、入力されたキーに対応する電気信号をキーボードの不図示のキーボードコントローラに送信する。キーボードコントローラは、その電気信号に対応する符号をCPU11に送信する。CPU11のデバイスドライバは、OSが内蔵するフォントデータ(輪郭線を描くためのいくつかの点の座標とそれを結ぶ曲線の方程式)に基づき、その符号に対応するフォントの輪郭線を形成し(True Fontと呼ぶ)表示装置2に表示する。また、CPU11は、ユーザの入力操作に応じて、文字入力先を示す文字カーソルを画面上に表示し、画面上を移動させる。
【0027】
ポインティングデバイスは、ユーザ操作を検知して、操作信号を不図示のポインティングデバイス制御装置(例えば、不図示のマウスコントローラ、又は、インターフェース4等)に送信する。操作信号を受けたポインティングデバイス制御装置は、操作の方向および操作量を生成するための情報をCPU11に送信する。CPU11のデバイスドライバは、ポインティングデバイス制御装置からの操作信号に基づき、表示装置2上の画面にポインタを表示し、画面上を移動させる。
【0028】
インターフェース4は、USB等のシリアルインターフェース、あるいは、PCI(Peripheral Component Interconnect)、ISA(Industry Standard Architecture )、EISA(Extended ISA)、ATA(AT Attachment)、IDE(Integrated Drive Electronics)、IEEE1394、SCSI(Small Computer System Interface)等のパラレルインターフェースのいずれでもよい。
【0029】
制御部10は、CPU(中央演算処理装置)11、メモリ12、位置特定部13、結合部14、出力部15、記憶部16を備える。CPU11は、バス17を介して上述した記憶部16等の各ハードウェアと接続されている。CPU11は、記憶部16等のハードウェアを制御すると共に、例えばメモリ12に格納された制御プログラムに従って、所定の処理を実行する。
【0030】
メモリ12は、揮発性のRAM(Random Access Memory)と、不揮発性のROM(Read Only Memory)を含む。ROMには、フラッシュメモリ、EPROM(Erasable Programmable Read−Only Memory)、EEPROM(Electrically Erasable Programmable Read−Only Memory)のような書き換え可能な半導体メモリを含む。
【0031】
記憶部16は、ハードディスクドライブ(以下、HDDとする。)や書き換え可能な半導体メモリによって構成することができる。記憶部16は、本発明の第一画像に相当する電子顕微鏡画像、本発明の第二画像に相当する標識画像等を記憶する。
【0032】
ここで、図3は、電子顕微鏡画像の一例を示す。図3の電子顕微鏡画像は、細胞の情報全てを含んでいる。すなわち、電子顕微鏡画像は、特定の蛋白質のみを写し出すことができないことから、細胞に含まれる数種類の蛋白質、細胞膜、細胞壁といった細胞を構成する全ての情報を有する。一方、図4は、共焦点レーザー顕微鏡画像の一例を示す。図4に示す共焦点レーザー顕微鏡画像は、特定の蛋白質(本実施形態では、タリン。)のみを写している。すなわち、共焦点レーザー顕微鏡画像は、観察したい蛋白質に特別な処理(例えば、蛍光抗体染色や蛍光標識)を施すことでその蛋白質のみを写し出すことが可能である。また、図4に示す共焦点レーザー顕微鏡画像は、電子顕微鏡画像より広範囲を写している。つまり、図3の電子顕微鏡画像は、共焦点レーザー顕微鏡画像に含まれている。
【0033】
位置特定部13は、電子顕微鏡画像と共焦点レーザー顕微鏡画像の双方から、共焦点レーザー顕微鏡画像に含まれるタリンと関連する細胞膜の形状を切り出し、切り出した夫々の細胞膜の形状を照合して、共焦点レーザー顕微鏡画像が電子顕微鏡画像のどの位置に対応するかを特定する。図5は、切り出された共焦点レーザー顕微鏡画像の一例である。位置特定部13は、このように切り出された共焦点レーザー顕微鏡画像と電子顕微鏡画像とを照合し、共焦点レーザー顕微鏡画像が電子顕微鏡画像のどの位置に対応するかを特定する。
【0034】
結合部14は、位置特定部13による特定結果に基づいて、共焦点レーザー顕微鏡画像を電子顕微鏡画像に重ねる。図6は、切り出された共焦点レーザー顕微鏡画像と電子顕微鏡画像とを重ねた画像の一例を示す。図6に示すように、細胞内の全てを写す電子顕微鏡画像上でタリンの位置を特定することが可能となる。記憶部16には、上記切り出された画像や重ねた画像も記憶される。なお、位置特定部13や結合部14による処理を含む、解析装置100による解析処理の詳細については、後述する。
【0035】
出力部15は、記憶部16が記憶する各種画像を出力する。具体的には、出力部15は、電子顕微鏡画像、共焦点レーザー顕微鏡画像、位置特定部13による特定結果、結合部14によって重ね合わされた画像等を表示装置2に表示させる。なお、出力部15は、各種画像を、インターフェース4を介して解析装置100の外部に出力することもできる。
【0036】
<解析処理>
図7は、実施形態に係る解析処理フローを示す。以下では、制御部10の内部構成をCPU11で実行されるプログラムで実現する場合を例に説明する。しかし、このような構成に代えて、制御部10の内部構成のいずれか1以上をCPU11とは異なるプロセッサ、ハードウェア回路等によって実現してもよい。すなわち、CPU11の処理能力と、処理量によっては、図2のそれぞれの構成要素を異なるプロセッサ、あるいは、デジタル回路で構成してもよい。CPU11以外のプロセッサあるいはデジタル回路を含む場合であっても、それらの処理手順は、図7に示したもの同様である。すなわち、本実施形態に係る解析装置100は、CPU11のプログラムとして、あるいは、専用プロセッサによって、さらには、専用のデジタル回路によって実現できる。
【0037】
ステップS01では、位置特定部13は、記憶部16にアクセスし、電子顕微鏡画像及び共焦点レーザー顕微鏡画像を取得する。解析対象とする画像の選択は、解析者が、表示装置2を参照しながら入力装置3を介して行うことができる。画像が取得されるとステップS02へ進む。
【0038】
ステップS02では、位置特定部13は、電子顕微鏡画像から細胞膜の形状を抽出する。細胞膜の形状の抽出は、解析者が、表示装置2を参照しながら、入力装置3を介して細胞膜をトレースすることで行うことができる。位置特定部13は、解析者の意思が反映された操作装置3からの信号を受信することで、細胞膜の形状(以下、トレース線ともいう。)を抽出する。なお、位置特定部13は、細胞膜の境界における輝度の差異を判断して、細胞膜の形状を自動的に判断して抽出してもよい。なお、電子顕微鏡画像は、例えば細胞壁上や、細胞上といった細胞膜以外のところにノイズのような模様を有する。これらの模様も細胞内の物質であるが、自動で抽出する場合には、これらの模様も抽出され、細胞膜の形状だけを正確に抽出できない場合がある。したがって、解析者が、細胞膜をトレースしそのトレースした線のみの画像を作成することで、正確な細胞膜の形状の抽出を実現できる。
【0039】
なお、電子顕微鏡画像は、撮影時の細胞の状態によっては共焦点レーザー顕微鏡画像のタリンと正確に一致しないことも想定される。そこで、多少の誤差にも対応できるよう抽出したトレース線に、トレース線を太くする膨張処理を施してもよい。図8は、図3に示す電子顕微鏡画像に対して膨張処理を行ったトレース線画像の一例を示す。
【0040】
ここで、膨張処理について更に詳細に説明する。膨張処理とは、細胞膜に対応するトレース線などを1画素分大きくする処理である。出力画像をgとし、出力画像の注目画素をgyとした場合、この操作は数1に示す式で定義できる。ここで1−画素とは画素値0であり、0−画素とは画素値255である。また、4−近傍とは表1のX0を注目画素としたときのX1、X3、X5、X7のことであり、8−近傍とはX1〜X8全てのことである。
【0041】
【数1】
【0042】
【表1】
【0043】
電子顕微鏡画像から細胞膜の形状が抽出されるとステップS03へ進む。
【0044】
ステップS03では、位置特定部13は、共焦点レーザー顕微鏡画像から細胞膜の形状を抽出する。共焦点レーザー顕微鏡画像では、タリンが色づけされて表示されている(図4参照)。従って、共焦点レーザー顕微鏡画像からの細胞膜の形状の抽出は、共焦点レーザー顕微鏡画像の色づけされているところを抜き出せばよい。この処理は、2値化を施すことで自動的に抽出可能である。すなわち、原画像をf、その注目画素をf(i,j)、結果の画像をft、その注目画素をft(i,j)とし、基準となる値(閾値)をtとしたとき、2値化は数2で示す式で行われる。なお、1−画素、0−画素については、上述した膨張処理と同様である。
【0045】
【数2】
【0046】
ここで、図9は、2値化が施された共焦点レーザー顕微鏡画像(閾値32)を示す。また、図10は、2値化が施された共焦点レーザー顕微鏡画像(閾値40)を示す。タリンは、もともとそれぞれが離れて分布しており、閾値tを高くしすぎると、図10のように細胞膜として取り出した箇所が途切れ途切れになることがある。従って、閾値は、例えば32程度とすることが好ましい。共焦点レーザー顕微鏡画像からの細胞膜の形状が抽出されると、ステップS04へ進む。
【0047】
ステップS04では、位置特定部13は、抽出した夫々の細胞膜の形状を照合して、共焦点レーザー顕微鏡画像が電子顕微鏡画像のどの位置に対応するかを特定する。より詳細には、位置特定部13は、上記位置の特定に関する処理を、テンプレートマッチングという処理方法で行う。テンプレートマッチングとは、入力画像とテンプレート画像とを重ねテンプレート画像を移動させながら比較・照合し両者が一致するか判定する探索方法である。本実施形態では、テンプレート画像として、ステップ02を実行することで得られたトレース線画像(図8参照)を用い、入力画像として、ステップS03を実行することで得られた、2値化が施された共焦点レーザー顕微鏡画像(図9参照)を用いる。
【0048】
本実施形態では、テンプレート画像と入力画像が一致したかどうか判断する場合、指標を用いる。指標(score)には、テンプレート画像と入力画像の画素の一致した割合、一致しなかった割合を使用する。指標は、数3に示す式によって表すことができる。
【0049】
【数3】
【0050】
ここで、テンプレート画像と入力画像の重なり合っている箇所が類似している場合、テンプレート画像の黒色の画素のうち入力画像の黒色の画素と重なった割合、及びテンプレート画像の白色の画素のうち入力画像の白色の画素と重なった割合が高くなり、その結果、指標が高くなる。逆にテンプレート画像と入力画像の重なり合っている箇所が類似していない場合、テンプレート画像の黒色の画素のうち入力画像の白色の画素と重なった割合、テンプレート画像の白色の画素のうち入力画像の黒色の画素と重なった割合が高くなるので指標が低くなる。
【0051】
なお、上記指標は、本来形状を比べるだけなら黒色の画素のみが重なり合っている割合を指標にすることで、テンプレート画像と入力画像が一致したかどうかの判断が可能である。但し、例えば、違う色の画素が重なりあった割合を引き、白を判定に加えることで、黒色の領域に重なることがあっても誤って指標が高くなることを抑制することができる。例えば、図11のよう◎の位置を特定(探索)しようとする場合、○なら黒色の画素のみの計算でも指標は高くならない。しかし、●のような場合、黒色の画素が一応重なりあっているため、テンプレート画像とは違うのに指標が高く出ることが想定される。しかしながら、ここで色が一致していない割合を引くことで、例えば●のときに指標が高くなることを抑制することができる。
【0052】
ここで、上述した指標を用いた処理について具体的に例を挙げて説明する。以下、位置特定部13が、図12の画像上で図13の画像の位置を特定(探索)する場合について説明する。図12の四角Xで囲まれている領域は、図13の画像を重ねると一番高い指標が得られる領域である。なお、図13における領域aは、画像を回転させたときに生じる余白であり、領域aが、重なるところは指標の計算とは関係しない。すなわち、指標は、図14における領域a1の範囲での画素を参照することで得られる。
【0053】
(bbの算出)
ここで、図15Aは、図12に示す画像に図13に示す画像を重ねることで得られる画像を示す。黒い領域bは、2値化タリン画像(図12に示す入力画像)、薄いグレーの領域cは、細胞膜をトレースした画像(図13に示すテンプレート画像)である。指標を得るために必要な割合として、まずbbの値(テンプレート画像のうち入力画像の黒と重なった割合)が求められる。具体的には、図13の画像(テンプレート画像)の黒色の画素のうち、図12の画像(入力画像)の黒色の画素と重なる部分が求められる。この重なる部分は、図12の画像と図13の画像とを比較・照合することで得られる。図15Bは、比較・照合結果であり、重なる部分は、図15Bにおいて、領域dで示されている。図15Bに示す画像から、領域dは、図13の黒色の画素に対して76%を占める。従って、bb=76となる。
【0054】
(wwの算出)
次に、指標を得るために必要な割合として、ww(テンプレート画像の白のうち入力画像の白と重なった割合)の値が求められる。この重なる部分は、図12の画像と図13の画像とを比較・照合することで得られる。図15Cは、図13の画像(テンプレート画像)における白色の画素と図12の画像(入力画像)における白色の画素とが重なっている箇所を示す。白色の画素同士が重なった部分は、図15Cにおいて領域eで示す。図15Cにおいて、領域eは、図13の白色の画素に対して60%を占める。従って、ww=60となる。
【0055】
(wbの算出)
次に、指標を得るために必要な割合として、wb(テンプレート画像の黒のうち入力画像の白と重なった割合)の値が求められる。図15Dは、図13の画像(テンプレート画像)における黒色の画素と図12の画像(入力画像)における白色の画素が重なっている箇所を示す。図13の画像における黒色の画素と図12の画像における白色の画素とが重なっている部分は、図15Dにおいて領域fで示す。図15Dにおいて、領域fは、図13の黒色の画素に対して24%を占める。従って、wb=24となる。
【0056】
次に、指標を得るために必要な割合として、bw(テンプレート画像の白のうち入力画像の黒と重なった割合)の値が求められる。図15Eは、図13の画像(テンプレート画像)における白色の画素と図12の画像(入力画像)における黒色の画素とが重なっている箇所を示す。図13の画像における白色の画素と図12の画像における黒色の画素とが重なっている部分は、図15Eにおいて、領域gで示す。図15Eにおいて、領域gは、図13の白色の画素に対して40%を占める。従って、bw=40となる。
【0057】
以上の結果から、指標(score)=bb−wb+ww−bw=76−24+60−40=72となる。すなわち、本実施形態での指標は、72となる。なお、細胞膜をトレースした画像(テンプレート画像)と2値化タリン画像(入力画像)の重なり合っている箇所が類似している場合、bb、wwの値が高くなり、その結果、指標も高くなる。一方、細胞膜をトレースした画像とタリン画像の重なり合っている箇所が類似していない場合、wb、bwの値が高くなるので指標が低くなる。従って、指標によって、細胞膜をトレースした画像とタリン画像の重なり合っている箇所がどの程度類似しているかを判断することが可能となる。
【0058】
なお、指標は、−200≦score≦200の値をとることが好ましい。従って、上記のように指標が72の場合、全体では凡そ70%が一致することになる。また、例えば指標が8である場合には、凡そ50%が一致したことになる。
【0059】
なお、以上の方法で位置を特定するに際しては、テンプレート画像として扱う電子顕微鏡画像の細胞膜がどの角度で入力画像上に写っているかを特定し、更に、入力画像上でのテンプレート画像の縮尺に誤差があることを考慮する必要がある。そこで、本実施形態では、図13の画像(テンプレート画像)を0°〜359°の範囲で回転させ、更に、図13の画像の縮尺率に幅を持たせ図13の画像の大きさを変化させるといった処理が実行される。縮尺率の幅については、画像の横の長さの縮尺率をX、画像の縦の長さの縮尺率をYとするとき、0.07≦X≦0.11、0.06≦Y≦0.10の範囲をとることが好ましい。
【0060】
抽出した夫々の細胞膜の形状を照合して、共焦点レーザー顕微鏡画像が電子顕微鏡画像のどの位置に対応するかが特定されると、ステップS05へ進む。
【0061】
ステップS05では、結合部14が、位置特定部13による特定結果に基づいて、共焦点レーザー顕微鏡画像を電子顕微鏡画像に重ねる。続いて、ステップS06では、出力部15は、重ねた画像(図6参照。)を表示装置2に出力する。以上説明した解析処理を行うことで、細胞内の全てを写す電子顕微鏡画像上でタリンの位置だけを特定することが可能となる。
【0062】
<変形例>
変形例に係る解析装置100は、タリンとは異なる蛋白質を写す特定共焦点レーザー顕微鏡画像(蛍光抗体染色:本発明の第三画像に相当する)を電子顕微鏡画像に重ねる。その結果、変形例に係る解析装置100によれば、電子顕微鏡画像上でタリン以外の蛋白質の位置を特定することが可能となる。変形例に係る解析装置100も、その基本的な構成は、先に説明した解析装置100と同じであるのでその説明は、割愛する。
【0063】
相違点について説明すると、変形例に係る解析装置100の記憶部16は、タリンとは異なる蛋白質を写す特定共焦点レーザー顕微鏡画像を更に格納する。この特定共焦点レーザー顕微鏡画像は、共焦点レーザー顕微鏡画像と同じ試料から得られるものであるが、蛍光物質の種類を変え、照射するレーザーの波長を変更することで、タリンとは異なる蛋白質を写す。図16は、タリンとは異なる蛋白質を写す、切り出された特定共焦点レーザー顕微鏡画像の一例を示す。図16における斜線で囲まれた領域は、タリンとは異なる蛋白質を示す。タリンと異なる蛋白質は、位置の確認が求められ、かつ、所定の波長のレーザーを照射することでタリンとは異なる色で表示できるものであればよく、特に限定されない。なお、共焦点レーザー顕微鏡画像と同じ試料から得られるものであれば、タリンとは異なる蛋白質に代えて他の物質を映すようにしてもよい。
【0064】
一方、図17は、切り出された特定共焦点レーザー顕微鏡画像と電子顕微鏡画像とを重ねた画像の一例を示す。図17によれば、タリンと異なる蛋白質が、細胞の内部に存在していることが確認できる。また、図18は、切り出された共焦点レーザー顕微鏡画像と、切り出された特定共焦点レーザー顕微鏡画像と、電子顕微鏡画像とを重ねた画像の一例を示す。図18によれば、タリン及びタリン以外の蛋白質の位置を、電子顕微鏡画像上で確認することができる。
【0065】
ここで、変形例に係る解析装置100で行われる解析処理について説明する。図19は、変形例に係る解析処理フローを示す。図19の処理フローは、電子顕微鏡画像上に、共焦点レーザー顕微鏡画像及び特定共焦点レーザー顕微鏡画像を重ねる場合の処理を示す。なお、図7に示す処理フローと同じ処理については、同様のステップ番号を付すことで詳細な説明は割愛する。
【0066】
ステップS01−1では、位置特定部13は、記憶部16にアクセスし、電子顕微鏡画像、共焦点レーザー顕微鏡画像、及び特定共焦点レーザー顕微鏡画像を取得する。次に、ステップS02では、位置特定部13は、電子顕微鏡画像から細胞膜の形状を抽出する。次に、ステップS03では、位置特定部13は、共焦点レーザー顕微鏡画像から細胞膜の形状を抽出する。次に、ステップS04では、位置特定部13は、位置特定部13は、抽出した夫々の細胞膜の形状を照合して、共焦点レーザー顕微鏡画像が電子顕微鏡画像のどの位置に対応するかを特定する。位置が特定されると、ステップS05−1へ進む。
【0067】
ステップS05−1では、結合部14が、位置特定部13による特定結果に基づいて、共焦点レーザー顕微鏡画像及び特定共焦点レーザー顕微鏡画像を電子顕微鏡画像に重ねる。特定共焦点レーザー顕微鏡画像と共焦点レーザー顕微鏡画像は、同一試料から得られるものであり、照射されるレーザーの波長が異なるだけで、画像の解像度や撮像範囲は同じである。換言すると、特定共焦点レーザー顕微鏡画像と共焦点レーザー顕微鏡画像とは、予め重ねられた状態にある。従って、ステップS04において、共焦点レーザー顕微鏡画像が電子顕微鏡画像のどの位置に対応するかが特定されると、特定共焦点レーザー顕微鏡画像が電子顕微鏡画像のどの位置に対応するかの特定も可能となる。従って、ステップS05−1では、結合部14は、位置特定部13による特定結果に基づいて、共焦点レーザー顕微鏡画像及び特定共焦点レーザー顕微鏡画像を電子顕微鏡画像に重ねることができる。
【0068】
変形例として、3枚の画像を重ねる場合を説明したが、電子顕微鏡画像に特定共焦点レーザー顕微鏡画像のみを重ねるようにしてもよい(図17を参照。)。この場合、例えば、共焦点レーザー顕微鏡画像が有する細胞膜の形状に関する情報を特定共焦点レーザー顕微鏡画像にコピーし、特定共焦点レーザー顕微鏡画像が、細胞膜の形状に関する情報を有するようにすればよい。これにより、電子顕微鏡画像の細胞膜の形状と特定共焦点レーザー顕微鏡画像の細胞膜の形状とを照合することが可能となる。その結果、特定共焦点レーザー顕微鏡画像が電子顕微鏡画像のどの位置に対応するかを特定することが可能となる。なお、特定共焦点レーザー顕微鏡画像の枚数を2枚、3枚と増やしてもよい。その結果、電子顕微鏡画像上で複数の特定の蛋白質の位置等を確認することが可能となる。
【0069】
ステップS06では、出力部15は、電子顕微鏡画像上に、共焦点レーザー顕微鏡画像及び特定共焦点レーザー顕微鏡画像を重ねた画像(図18参照。)を表示装置2に出力する。以上説明した解析処理を行うことで、細胞内の全てを写す電子顕微鏡画像上でタリンの位置だけでなく、タリンと異なる蛋白質の位置を特定することが可能となる(図18を参照。)。
【0070】
<試験>
次に、上述した解析装置により実際に行った電子顕微鏡画像の細胞の位置を特定する試験について説明する。
【0071】
<試験条件>
本試験では、電子顕微鏡画像として、複数の倍率のものを用意した。具体的には、電子顕微鏡画像は、5倍のものが2枚、10倍のものが1枚、20倍のものが1枚である。電子顕微鏡画像の細胞膜をトレースする処理にはWindows(登録商標)付属のグラフィックソフトPaint(登録商標)を使用した。処理内容の設定としては、膨張処理は、倍率によりその回数を変化させ、倍率5倍のものには20回、倍率10倍のものには40回、倍率20倍のものには80回とした。また、倍率による画像の大きさの変化については、テンプレート画像を倍率に応じて小さくするのではなく、入力画像の方を大きくすることとした。
【0072】
また、本試験では、共焦点レーザー顕微鏡画像として、閾値32で2値化したものを入力画像として使用した。また、特定(探索)の範囲は、図20に示す範囲とした。この範囲は広く1枚の画像に収まりきらないので2枚の画像にわけ、その2枚を探索した。
【0073】
<出力画像について>
今回の試験では結果を判断するための出力画像として図21のような画像を作成した。この画像は、テンプレート画像と入力画像の重なった箇所の指標の高さに応じて色を変化させて表示しているものである。図21に示す画像は、図22のテンプレート画像で実際にマッチングした結果である。そして、図21の画像では、指標の高い領域が、領域hで示されている。
【0074】
なお、図21の画像の例は、特定が効果的に行われた例で、指標が高い領域が、一箇所しか特定されていない。また、特定された指標が高い領域以外の指標は低くなっており、指標が高い領域と指標が低い領域との差が顕著である。しかし、指標の高い領域が複数特定されることも想定される。このような場合には、解析装置による判断に加えて、二次的に試験者の判断を用いるようにすればよい。
【0075】
次に出力画像の作成方法について説明する。説明するに当たり入力画像をf、入力画像の画素値をf(i,j)、出力画像をg、出力画像の画素値をg(i,j)、得られた指標をsとする。また、テンプレート画像の左上の点の座標を(a,b)、右下の点の座標を(c,d)とする。これらを図23に示す。
【0076】
まず、出力画像として入力画像と同じサイズの画像を用意し、全ての画素値を0としておく。次に入力画像fのa≦i≦c、b≦j≦dの範囲、つまりテンプレート画像と重なっている箇所での指標sを得る。そして、得られた指標sを、数4で示す式を用いて、出力画像に反映させる。
【0077】
【数4】
【0078】
上記の処理について、以下、具体的に例を示して説明する。まず、図24のような状態を考える。テンプレート画像が図24の位置での指標は51である。その指標を得た範囲と同じ範囲の出力画像の画素値を、指標51と比較し大きい方を画素値とする。その結果、出力画像は、図24に示す状態になる。
【0079】
次に図24の状態からテンプレート画像を移動させた状態を考える。ここでは指標が63だったとする。このとき、出力画像は、図25に示す状態となる。
【0080】
次に列を移動させた状態を考える。このとき指標は60だったとする。このとき対応する画素値は0、51、63の3種類の値を持っている。今度の指標は60なので画素値63以外のものについて画素値の書き換えを行う。すると、出力画像は、図27に示す状態になる。
【0081】
このように、本試験では、画素を含んで得られる指標の最大値を各画素値に書き込む処理を行った。そして、得られた画像に対して画素値の変換を行った。変換は、以下の数5に示す式で行った。式中のmaxは、この画像中の画素値の最大値、minは、この画像中の画素値の最小値を表す。
【0082】
【数5】
【0083】
この変換を行うと画素値は、0≦g(i,j)≦255の範囲をとるようになり、指標が高いものほど画素値が0に近く(画像上の色が黒に)、低いものほど画素値が255に近く(画像上の色が白に)なる。
【0084】
その後、変換を行った画像と図27の画像とを比較し、図27の画像の黒い領域のみを、変換を行った出力画像から取り出す。このときそれ以外の領域は全て画素値を255とする。その画像を図28に示す。図28の画像は本手法、出力画像の項で用いた図12の画像を探索した結果である。さらに図28の画素値255以外の画素値をHSV色空間のH、またS、Vをそれぞれがとり得る最大値に設定したものをRGB色空間に変換し表示すると、図21のようになる。
【0085】
<結果>
以下の図29、図30、図31、図32にそれぞれの電子顕微鏡画像で探索した結果、もとの電子顕微鏡画像、テンプレート画像として使用した細胞膜のトレース画像、共焦点レーザー顕微鏡画像の該当箇所を拡大した画像を示す。出力画像1あるいは出力画像2上の四角で囲まれた箇所が該当している箇所である。また、共焦点レーザー顕微鏡画像は、いずれもタリンを写している。
【0086】
結果を見るとどの倍率のものも比較的指標の高いところに位置していることが確認された。特に図29の倍率5倍(1)のものはよく探索できている。なお、図31、図32の高倍率のものは、指標が全体的に高くなっていることから、二次的に試験者の判断を加えた方がより好ましいと考えられる。なお、マッチングの精度を向上させるため、膨張処理の回数を更に増減させてもよい。また、入力画像上での途切れている線をつなぐことでも精度の向上が期待できる。
【0087】
<効果>
以上説明したように、実施形態に係る解析装置によれば、電子顕微鏡画像と、共焦点レーザー顕微鏡画像とを重ねることで、細胞を傷つけることなく、細胞内におけるタリンの位置をより正確に得ることができる。すなわち、電子顕微鏡画像上で、細胞内におけるタリンの位置をより正確に得ることができる。その結果、細胞の状態をより細部まで把握可能となり人体に表れる様々な症状の解明に寄与することができる。
【符号の説明】
【0088】
1・・・筐体
2・・・表示装置
3・・・入力装置
4・・・インターフェース
10・・・制御部
11・・・CPU
12・・・メモリ
13・・・位置特定部
14・・・結合部
15・・・出力部
16・・・記憶部
100・・・解析装置
【技術分野】
【0001】
本発明は、細胞解析装置、及び細胞解析方法に関する。
【背景技術】
【0002】
医学を進歩させるために日々行われている研究の一つとして、細胞内における特定蛋白質を観察する研究がある。この研究のメリットとして、病気になったとき異常が起きている細胞内で特定蛋白質がどのように局在するかを観察可能である点、異なる種類の蛋白質同士が隣接している際にお互いにどのような影響を与えるのか観察可能である点が挙げられる。上記研究を進めることで、細胞の状態がより細部まで把握可能となり、人体に現れる様々な症状の解明が期待できる。細胞内の特定蛋白質を観察する方法として、抗体に蛍光色素を標識し、蛍光顕微鏡で観察する蛍光抗体染色法等が知られている(例えば、特許文献1を参照。)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第2005/035751号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【0004】
細胞内での特定蛋白質を観察する研究が行われている。この研究のメリットとして、病気の際の、細胞内での特定蛋白質の局在状況の観察が可能となる点が挙げられる。従って、上記研究は、細胞の状態がより細部まで把握可能となり、人体に現れる様々な症状の解明につながるものとして医学的に期待されている。
【0005】
従来の観察方法として、抗体に蛍光色素を標識し、蛍光顕微鏡で観察する蛍光抗体染色法が知られている。近年の顕微鏡の性能が向上したことにより、細胞内微細構造における標識蛋白質のおおまかな位置まで推測できるようになってきている。しかしながら、蛍光顕微鏡で観察する方法では、細胞内での標識蛋白質の正確な位置を得ることはできない。
【0006】
一方、電子顕微鏡を用いての蛋白質の位置解析法は、金コロイド2次抗体を用いた免疫電顕法として確立されている。しかし、この方法では、観察試料調製過程での細胞膜の著しい破壊などが伴い、微細構造の保持が失われた観察像となることが懸念されている。
【0007】
蛍光顕微鏡で得られる画像(光顕像)と電子顕微鏡で得られる画像(電顕像)を重ね合わせることができれば、物質の細胞内での位置情報などが得られ研究や診断などに有用と考えられる。しかしながら、両画像は極端に観察可能倍率と画像分解度が違う(光顕像の約数%の視野が電顕像の1画像に相当する)為、両画像の同視野の特定は目視での試行錯誤になるとともに、回転角度の算出も目算での繰り返しのあてはめ作業となり、光顕像と電顕像を正確に重ね合わせる工程は非常に面倒で困難な作業であった。
上記した背景に鑑み、重ね合わせの工程の問題を解消することで、本発明では、観察試料調製時の細胞破壊を抑制しつつ、様々の環境(病態)条件での細胞内状況(全生体物質で現される電顕像)を得るとともに、同視野での特定の物質の位置情報を相関させる細胞解析方法の提供を課題とする。
【課題を解決するための手段】
【0008】
本発明では、上述した課題を解決するため、同視野の異なる情報を含む画像の重ね合わせ工程を自動化する画像解析プログラムの開発に着手した。全ての生体物質で現される細胞構造に関する情報を有する第一画像(例えば、電子顕微鏡画像)と、第一画像を含み、かつ、前記細胞の細胞構造と関連付けられた特定の物質に関する情報を有する第二画像(例えば、光学顕微鏡画像)とを重ねることとした。二つの像を重ねて観察することで、細胞内の物質のより正確な位置を得ることができる。また、金コロイド2次抗体を用いた免疫電顕法のように細胞膜を傷つけることなく解析を行うことができる。
【0009】
より詳細には、本発明は、細胞内における物質の位置を特定する解析装置であって、前記細胞内に含まれる複数の物質の情報及び該細胞の細胞構造に関する情報を有する第一画像と、前記第一画像を含み、かつ、前記細胞内に含まれる物質のうちの物質に関する情報であって、前記細胞の細胞構造と関連付けられた物質に関する情報を有する第二画像と、を格納する記憶部と、前記第一画像と前記第二画像の双方から、前記第二画像に含まれる物質と関連する細胞構造を抽出し、抽出した夫々の細胞構造を照合して、前記第二画像が前記第一画像のどの位置に対応するかを特定する位置特定部と、前記位置特定部による特定結果に基づいて、前記第二画像を前記第一画像の特定された位置に重ねる結合部と、を備える。
【0010】
本発明では、異なる性質の画像を重ねることで、細胞を傷つけることなく、細胞内における物質の位置をより正確に得ることができる。異なる性質の画像のうちの一つは、細胞の細胞構造に関する情報を有する第一画像である。第一画像は、細胞内に含まれる複数の物質の情報及び細胞構造に関する情報を含む、細胞の全ての情報を含むものであることが好ましい。一方、第一画像と性質の異なる画像とは、第一画像を含み、かつ、前記細胞の細胞構造と関連付けられた物質に関する情報を有する画像である。第一画像を含むとは、第二画像が第一画像よりも広範囲を写しており、第一画像が第二画像に含まれていることを意味する。このように互いに性質の異なる画像を重ねることで、細胞構造に関する情報を有する第一画像上で、物質の動向を観察することが可能となる。その結果、物質の正確な位置を得ることが可能となる。
【0011】
性質の異なる画像を重ねるに際しては、第二画像が第一画像のどの位置に対応しているかを特定する必要がある。第二画像が第一画像のどの位置に対応しているかを特定する場合、第一画像に対する第二画像の位置だけでなく、第一画像に対する第二画像の角度も特定しなければならない。このような特定は、人間が経験に基づいて行うこともできるが、経験が前提となる上、経験を有する者でも特定が困難な場合もある。本発明では、位置特定部が、性質の異なる画像に共通する情報としての細胞構造を照合することで、第二画像が前記第一画像のどの位置に対応するかを特定する。すなわち、第一画像と第二画像は、異なる性質の画像であるものの、細胞構造に関する情報(例えば、細胞膜の形状)を共通の情報として有している。そこで、特定部は、共通する情報としての細胞構造を照らし合わせることで、第二画像が前記第一画像のどの位置に対応するかを特定する。第二画像に含まれる物質は細胞構造と関連付けられているので、結合部が、第一画像と第二画像とを重ねると、第一画像上で、物質の位置を特定することが可能となる。
「細胞構造と関連付けられている」とは、物質が細胞膜や細胞壁など、細胞の輪郭を示す部位に局在し、これを画像化することにより細胞構造の情報が得られることをいう。
【0012】
ここで、本発明において、前記記憶部は、電子顕微鏡画像としての前記第一画像と、標識される前記物質を写す標識画像としての前記第二画像と、を格納するようにしてもよい。電子顕微鏡画像には、細胞内外の全ての物質情報が含まれる。一方、標識画像では、例えば、蛍光抗体染色により特定の物質を映し出すことができる。従って、このような画像を重ねることで、電子顕微鏡画像上で標識される物質(染色された物質)の動向を確認することが可能となる。
【0013】
また、本発明において、前記第二画像は、前記物質の情報として、特定の蛋白質の情報を有してもよい。本発明によれば、細胞内における特定の蛋白質の位置をより正確に特定することが可能となる。
【0014】
また、本発明において、前記位置特定部は、前記物質としての蛋白質に関連する細胞構造として、該蛋白質に隣接する細胞膜の形状に関する情報を取得し、抽出した夫々の細胞膜の形状を照合して、前記第二画像が前記第一画像のどの位置に対応するかを特定するようにしてもよい。蛋白質、特にタリンは、細胞膜に隣接するように存在するといった特徴を有する。換言すると、蛋白質が存在する位置は、細胞膜の形状と密接に関連している。そこで、このような関連性を利用することで、細胞膜の形状から二つの画像(第一画像、第二画像)の照合が可能となる。
【0015】
前記位置特定部は、第二画像における黒色の画素のうち第一画像における黒色の画素と重なった割合と、第二画像における白色の画素のうち第一画像における白色の画素と重なった割合と、第二画像における黒色の画素のうち第一画像における白色の画素と重なった割合と、第二画像における白色の画素のうち第一画像における黒色の画素と重なった割合と、に基づいて算出される指標を用いて、第一画像と第二画像とが一致するか否かを判断し、前記第二画像が前記第一画像のどの位置に対応するかを特定するようにしてもよい。このような指標を用いることで、第一画像と第二画像を照合する際の正確性をより向上することができる。
【0016】
ここで、本発明において、前記記憶部は、前記第二画像と同じ試料から得られることで前記第二画像に関連付けられた第三画像であって、前記物質とは異なる特定物質を写す第三画像を更に格納し、前記位置特定部は、前記第三画像に関連付けられている第二画像より抽出される細胞構造と、前記第一画像から抽出される細胞構造とを照合して、前記第三画像が前記第一画像のどの位置に対応するかを特定し、前記結合部は、前記位置特定部による特定結果に基づいて、前記第三画像を前記第一画像の特定された位置に更に重ねるようにしてもよい。
特定物質としては、細胞内での局在が不明なタンパク質などが例示される。
【0017】
本発明では、第二画像とは異なる第三画像を更に重ねることができる。この第三画像は、第二画像と同じ試料から得られることで第二画像に関連付けられている。従って、第三画像は、第二画像と異なり細胞構造に関する情報を有していないが、第二画像に関連付けられているので、第二画像に含まれる細胞構造に関する情報から、第一画像との照合が可能となる。従って、本発明によれば、細胞構造と関連付けられていない物質であっても、第二画像と同じ試料から得られる画像であれば、特定の物質を第一画像上で確認することが可能となる。すなわち、特定物質の細胞内での位置が特定できる。物質と特定物質は、例えば、別々の蛍光物質で標識された抗体を用いて染色し、照射するレーザーの波長を変更するなどして異なる色で表示されるようにすればよい。
【0018】
ここで、本発明は、上述した解析装置と同等の機能及び作用効果を有する解析方法としてもよい。具体的には、本発明は、細胞を解析する解析方法であって、コンピュータが、記憶装置に、前記細胞の細胞構造に関する情報を有する第一画像と、前記第一画像を含み、かつ、前記細胞に含まれる物質に関する情報であって、前記細胞の細胞構造と関連付けられた物質に関する情報を有する第二画像と、を格納する記憶ステップと、前記第一画像から前記細胞構造を抽出し、前記第二画像から前記物質と関連付けられた細胞構造を抽出し、抽出した夫々の細胞構造を照合して、前記第二画像が前記第一画像のどの位置に対応するかを特定する位置特定ステップと、前記位置特定ステップによる特定結果に基づいて、前記第二画像を前記第一画像の特定された位置に重ねる結合ステップと、を実行する。
【0019】
また、本発明は、上記解析方法を実現させるプログラムであってもよい。更に、本発明は、そのようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この場合、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。なお、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、又は化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。
【発明の効果】
【0020】
本発明によれば、観察試料調製時の細胞の破壊を抑制しつつ、様々の環境(病態)条件での細胞内状況(全生体物質で現される電顕像)を得るとともに、同視野での特定の物質の位置情報を相関させる技術を提供することができる。
【図面の簡単な説明】
【0021】
【図1】実施形態に係る解析装置の概略構成を示す。
【図2】実施形態に係る解析装置の機能ブロック図を示す。
【図3】電子顕微鏡画像の一例を示す。
【図4】共焦点レーザー顕微鏡画像の一例を示す。
【図5】切り出された共焦点レーザー顕微鏡画像の一例を示す。
【図6】切り出された共焦点レーザー顕微鏡画像と電子顕微鏡画像とを重ねた画像の一例を示す。
【図7】実施形態に係る解析処理フローを示す。
【図8】図3に示す電子顕微鏡画像に対して膨張処理を行ったトレース線画像の一例を示す。
【図9】2値化が施された共焦点レーザー顕微鏡画像(閾値32)を示す。
【図10】2値化が施された共焦点レーザー顕微鏡画像(閾値40)を示す。
【図11】誤検出の例を示す。
【図12】2値化が施された共焦点レーザー顕微鏡画像であって、高指標領域を有する共焦点レーザー顕微鏡画像の一例を示す。
【図13】細胞膜をトレースした画像の一例を示す。
【図14】指標を得るために比較する領域を示す画像の一例を示す。
【図15A】重ねた画像の一例を示す。
【図15B】黒色の画素同士が重なった箇所を示す画像の一例を示す。
【図15C】白色の画素同士が重なった箇所を示す画像の一例を示す。
【図15D】図13の画像における黒色の画素と図12の画像における白色の画素が重なった箇所を示す画像の一例を示す。
【図15E】図13の画像における白色の画素と図12の画像における黒色の画素が重なった箇所を示す画像の一例を示す。
【図16】タリンとは異なる蛋白質を写す、切り出された特定共焦点レーザー顕微鏡画像の一例を示す。
【図17】切り出された特定共焦点レーザー顕微鏡画像と電子顕微鏡画像とを重ねた画像の一例を示す。
【図18】切り出された共焦点レーザー顕微鏡画像と、切り出された特定共焦点レーザー顕微鏡画像と、電子顕微鏡画像とを重ねた画像の一例を示す。
【図19】変形例に係る解析処理フローを示す。
【図20】特定(探索)範囲を示す画像の一例を示す。
【図21】探索結果の一例を示す。
【図22】探索した画像の一例を示す。
【図23】入力画像と出力画像の関係を示す。
【図24】出力画像への指標の埋め込み(1)を示す。
【図25】結果画像への指標の埋め込み(2)を示す。
【図26】結果画像への指標の埋め込み(3)を示す。
【図27】元になる画像の一例を示す。
【図28】変換後の出力画像の一例を示す。
【図29】倍率5倍の画像の結果(1)を示す。
【図30】倍率5倍の画像の結果(2)を示す。
【図31】倍率10倍の画像の結果を示す。
【図32】倍率20倍の画像の結果を示す。
【発明を実施するための形態】
【0022】
次に、本発明に係る解析装置の実施形態について図面に基づいて説明する。以下の説明では、細胞内における蛋白質を観察する場合を例に説明する。
【0023】
<構成>
図1は、実施形態に係る解析装置100の概略構成を示す。図2は、解析装置100の機能ブロック図を示す。解析装置100は、制御部10を格納する筐体1、ディスプレイ等の表示装置2、ポインティングデバイスやキーボード等の入力装置3、外部機器と接続可能なインターフェース4備える。
【0024】
表示装置2は、例えば、液晶表示装置、プラズマディスプレイパネル、CRT(Cathode Ray Tube)、エレクトロルミネッセンスパネル等である。なお、図示されていないが、表示装置2には、画像データを格納するRAM、およびRAMのデータに基づき表示装置2を駆動する駆動回路が含まれる。但し、画像データを格納するRAM、表示装置2を駆動する駆動回路等は、画像処理基板として、表示装置2とは独立に設けてもよい。
【0025】
入力装置3は、コンピュータの入力装置であり、例えば、キーボード、ポインティングデバイス等が含まれる。ポインティングデバイスの種類には特に限定はなく、マウス、トラックボール、ダイヤル式操作装置、スティック形式でディスプレイ上のポインタを移動する装置、静電容量によってユーザ(以下、解析者ともいう。)の指の操作を検出するデバイス、タッチパネル、ジョイスティック等、ユーザのニーズ等に応じて、適切なものを使用すればよい。
【0026】
キーボードは、ユーザの入力操作に応じて、入力されたキーに対応する電気信号をキーボードの不図示のキーボードコントローラに送信する。キーボードコントローラは、その電気信号に対応する符号をCPU11に送信する。CPU11のデバイスドライバは、OSが内蔵するフォントデータ(輪郭線を描くためのいくつかの点の座標とそれを結ぶ曲線の方程式)に基づき、その符号に対応するフォントの輪郭線を形成し(True Fontと呼ぶ)表示装置2に表示する。また、CPU11は、ユーザの入力操作に応じて、文字入力先を示す文字カーソルを画面上に表示し、画面上を移動させる。
【0027】
ポインティングデバイスは、ユーザ操作を検知して、操作信号を不図示のポインティングデバイス制御装置(例えば、不図示のマウスコントローラ、又は、インターフェース4等)に送信する。操作信号を受けたポインティングデバイス制御装置は、操作の方向および操作量を生成するための情報をCPU11に送信する。CPU11のデバイスドライバは、ポインティングデバイス制御装置からの操作信号に基づき、表示装置2上の画面にポインタを表示し、画面上を移動させる。
【0028】
インターフェース4は、USB等のシリアルインターフェース、あるいは、PCI(Peripheral Component Interconnect)、ISA(Industry Standard Architecture )、EISA(Extended ISA)、ATA(AT Attachment)、IDE(Integrated Drive Electronics)、IEEE1394、SCSI(Small Computer System Interface)等のパラレルインターフェースのいずれでもよい。
【0029】
制御部10は、CPU(中央演算処理装置)11、メモリ12、位置特定部13、結合部14、出力部15、記憶部16を備える。CPU11は、バス17を介して上述した記憶部16等の各ハードウェアと接続されている。CPU11は、記憶部16等のハードウェアを制御すると共に、例えばメモリ12に格納された制御プログラムに従って、所定の処理を実行する。
【0030】
メモリ12は、揮発性のRAM(Random Access Memory)と、不揮発性のROM(Read Only Memory)を含む。ROMには、フラッシュメモリ、EPROM(Erasable Programmable Read−Only Memory)、EEPROM(Electrically Erasable Programmable Read−Only Memory)のような書き換え可能な半導体メモリを含む。
【0031】
記憶部16は、ハードディスクドライブ(以下、HDDとする。)や書き換え可能な半導体メモリによって構成することができる。記憶部16は、本発明の第一画像に相当する電子顕微鏡画像、本発明の第二画像に相当する標識画像等を記憶する。
【0032】
ここで、図3は、電子顕微鏡画像の一例を示す。図3の電子顕微鏡画像は、細胞の情報全てを含んでいる。すなわち、電子顕微鏡画像は、特定の蛋白質のみを写し出すことができないことから、細胞に含まれる数種類の蛋白質、細胞膜、細胞壁といった細胞を構成する全ての情報を有する。一方、図4は、共焦点レーザー顕微鏡画像の一例を示す。図4に示す共焦点レーザー顕微鏡画像は、特定の蛋白質(本実施形態では、タリン。)のみを写している。すなわち、共焦点レーザー顕微鏡画像は、観察したい蛋白質に特別な処理(例えば、蛍光抗体染色や蛍光標識)を施すことでその蛋白質のみを写し出すことが可能である。また、図4に示す共焦点レーザー顕微鏡画像は、電子顕微鏡画像より広範囲を写している。つまり、図3の電子顕微鏡画像は、共焦点レーザー顕微鏡画像に含まれている。
【0033】
位置特定部13は、電子顕微鏡画像と共焦点レーザー顕微鏡画像の双方から、共焦点レーザー顕微鏡画像に含まれるタリンと関連する細胞膜の形状を切り出し、切り出した夫々の細胞膜の形状を照合して、共焦点レーザー顕微鏡画像が電子顕微鏡画像のどの位置に対応するかを特定する。図5は、切り出された共焦点レーザー顕微鏡画像の一例である。位置特定部13は、このように切り出された共焦点レーザー顕微鏡画像と電子顕微鏡画像とを照合し、共焦点レーザー顕微鏡画像が電子顕微鏡画像のどの位置に対応するかを特定する。
【0034】
結合部14は、位置特定部13による特定結果に基づいて、共焦点レーザー顕微鏡画像を電子顕微鏡画像に重ねる。図6は、切り出された共焦点レーザー顕微鏡画像と電子顕微鏡画像とを重ねた画像の一例を示す。図6に示すように、細胞内の全てを写す電子顕微鏡画像上でタリンの位置を特定することが可能となる。記憶部16には、上記切り出された画像や重ねた画像も記憶される。なお、位置特定部13や結合部14による処理を含む、解析装置100による解析処理の詳細については、後述する。
【0035】
出力部15は、記憶部16が記憶する各種画像を出力する。具体的には、出力部15は、電子顕微鏡画像、共焦点レーザー顕微鏡画像、位置特定部13による特定結果、結合部14によって重ね合わされた画像等を表示装置2に表示させる。なお、出力部15は、各種画像を、インターフェース4を介して解析装置100の外部に出力することもできる。
【0036】
<解析処理>
図7は、実施形態に係る解析処理フローを示す。以下では、制御部10の内部構成をCPU11で実行されるプログラムで実現する場合を例に説明する。しかし、このような構成に代えて、制御部10の内部構成のいずれか1以上をCPU11とは異なるプロセッサ、ハードウェア回路等によって実現してもよい。すなわち、CPU11の処理能力と、処理量によっては、図2のそれぞれの構成要素を異なるプロセッサ、あるいは、デジタル回路で構成してもよい。CPU11以外のプロセッサあるいはデジタル回路を含む場合であっても、それらの処理手順は、図7に示したもの同様である。すなわち、本実施形態に係る解析装置100は、CPU11のプログラムとして、あるいは、専用プロセッサによって、さらには、専用のデジタル回路によって実現できる。
【0037】
ステップS01では、位置特定部13は、記憶部16にアクセスし、電子顕微鏡画像及び共焦点レーザー顕微鏡画像を取得する。解析対象とする画像の選択は、解析者が、表示装置2を参照しながら入力装置3を介して行うことができる。画像が取得されるとステップS02へ進む。
【0038】
ステップS02では、位置特定部13は、電子顕微鏡画像から細胞膜の形状を抽出する。細胞膜の形状の抽出は、解析者が、表示装置2を参照しながら、入力装置3を介して細胞膜をトレースすることで行うことができる。位置特定部13は、解析者の意思が反映された操作装置3からの信号を受信することで、細胞膜の形状(以下、トレース線ともいう。)を抽出する。なお、位置特定部13は、細胞膜の境界における輝度の差異を判断して、細胞膜の形状を自動的に判断して抽出してもよい。なお、電子顕微鏡画像は、例えば細胞壁上や、細胞上といった細胞膜以外のところにノイズのような模様を有する。これらの模様も細胞内の物質であるが、自動で抽出する場合には、これらの模様も抽出され、細胞膜の形状だけを正確に抽出できない場合がある。したがって、解析者が、細胞膜をトレースしそのトレースした線のみの画像を作成することで、正確な細胞膜の形状の抽出を実現できる。
【0039】
なお、電子顕微鏡画像は、撮影時の細胞の状態によっては共焦点レーザー顕微鏡画像のタリンと正確に一致しないことも想定される。そこで、多少の誤差にも対応できるよう抽出したトレース線に、トレース線を太くする膨張処理を施してもよい。図8は、図3に示す電子顕微鏡画像に対して膨張処理を行ったトレース線画像の一例を示す。
【0040】
ここで、膨張処理について更に詳細に説明する。膨張処理とは、細胞膜に対応するトレース線などを1画素分大きくする処理である。出力画像をgとし、出力画像の注目画素をgyとした場合、この操作は数1に示す式で定義できる。ここで1−画素とは画素値0であり、0−画素とは画素値255である。また、4−近傍とは表1のX0を注目画素としたときのX1、X3、X5、X7のことであり、8−近傍とはX1〜X8全てのことである。
【0041】
【数1】
【0042】
【表1】
【0043】
電子顕微鏡画像から細胞膜の形状が抽出されるとステップS03へ進む。
【0044】
ステップS03では、位置特定部13は、共焦点レーザー顕微鏡画像から細胞膜の形状を抽出する。共焦点レーザー顕微鏡画像では、タリンが色づけされて表示されている(図4参照)。従って、共焦点レーザー顕微鏡画像からの細胞膜の形状の抽出は、共焦点レーザー顕微鏡画像の色づけされているところを抜き出せばよい。この処理は、2値化を施すことで自動的に抽出可能である。すなわち、原画像をf、その注目画素をf(i,j)、結果の画像をft、その注目画素をft(i,j)とし、基準となる値(閾値)をtとしたとき、2値化は数2で示す式で行われる。なお、1−画素、0−画素については、上述した膨張処理と同様である。
【0045】
【数2】
【0046】
ここで、図9は、2値化が施された共焦点レーザー顕微鏡画像(閾値32)を示す。また、図10は、2値化が施された共焦点レーザー顕微鏡画像(閾値40)を示す。タリンは、もともとそれぞれが離れて分布しており、閾値tを高くしすぎると、図10のように細胞膜として取り出した箇所が途切れ途切れになることがある。従って、閾値は、例えば32程度とすることが好ましい。共焦点レーザー顕微鏡画像からの細胞膜の形状が抽出されると、ステップS04へ進む。
【0047】
ステップS04では、位置特定部13は、抽出した夫々の細胞膜の形状を照合して、共焦点レーザー顕微鏡画像が電子顕微鏡画像のどの位置に対応するかを特定する。より詳細には、位置特定部13は、上記位置の特定に関する処理を、テンプレートマッチングという処理方法で行う。テンプレートマッチングとは、入力画像とテンプレート画像とを重ねテンプレート画像を移動させながら比較・照合し両者が一致するか判定する探索方法である。本実施形態では、テンプレート画像として、ステップ02を実行することで得られたトレース線画像(図8参照)を用い、入力画像として、ステップS03を実行することで得られた、2値化が施された共焦点レーザー顕微鏡画像(図9参照)を用いる。
【0048】
本実施形態では、テンプレート画像と入力画像が一致したかどうか判断する場合、指標を用いる。指標(score)には、テンプレート画像と入力画像の画素の一致した割合、一致しなかった割合を使用する。指標は、数3に示す式によって表すことができる。
【0049】
【数3】
【0050】
ここで、テンプレート画像と入力画像の重なり合っている箇所が類似している場合、テンプレート画像の黒色の画素のうち入力画像の黒色の画素と重なった割合、及びテンプレート画像の白色の画素のうち入力画像の白色の画素と重なった割合が高くなり、その結果、指標が高くなる。逆にテンプレート画像と入力画像の重なり合っている箇所が類似していない場合、テンプレート画像の黒色の画素のうち入力画像の白色の画素と重なった割合、テンプレート画像の白色の画素のうち入力画像の黒色の画素と重なった割合が高くなるので指標が低くなる。
【0051】
なお、上記指標は、本来形状を比べるだけなら黒色の画素のみが重なり合っている割合を指標にすることで、テンプレート画像と入力画像が一致したかどうかの判断が可能である。但し、例えば、違う色の画素が重なりあった割合を引き、白を判定に加えることで、黒色の領域に重なることがあっても誤って指標が高くなることを抑制することができる。例えば、図11のよう◎の位置を特定(探索)しようとする場合、○なら黒色の画素のみの計算でも指標は高くならない。しかし、●のような場合、黒色の画素が一応重なりあっているため、テンプレート画像とは違うのに指標が高く出ることが想定される。しかしながら、ここで色が一致していない割合を引くことで、例えば●のときに指標が高くなることを抑制することができる。
【0052】
ここで、上述した指標を用いた処理について具体的に例を挙げて説明する。以下、位置特定部13が、図12の画像上で図13の画像の位置を特定(探索)する場合について説明する。図12の四角Xで囲まれている領域は、図13の画像を重ねると一番高い指標が得られる領域である。なお、図13における領域aは、画像を回転させたときに生じる余白であり、領域aが、重なるところは指標の計算とは関係しない。すなわち、指標は、図14における領域a1の範囲での画素を参照することで得られる。
【0053】
(bbの算出)
ここで、図15Aは、図12に示す画像に図13に示す画像を重ねることで得られる画像を示す。黒い領域bは、2値化タリン画像(図12に示す入力画像)、薄いグレーの領域cは、細胞膜をトレースした画像(図13に示すテンプレート画像)である。指標を得るために必要な割合として、まずbbの値(テンプレート画像のうち入力画像の黒と重なった割合)が求められる。具体的には、図13の画像(テンプレート画像)の黒色の画素のうち、図12の画像(入力画像)の黒色の画素と重なる部分が求められる。この重なる部分は、図12の画像と図13の画像とを比較・照合することで得られる。図15Bは、比較・照合結果であり、重なる部分は、図15Bにおいて、領域dで示されている。図15Bに示す画像から、領域dは、図13の黒色の画素に対して76%を占める。従って、bb=76となる。
【0054】
(wwの算出)
次に、指標を得るために必要な割合として、ww(テンプレート画像の白のうち入力画像の白と重なった割合)の値が求められる。この重なる部分は、図12の画像と図13の画像とを比較・照合することで得られる。図15Cは、図13の画像(テンプレート画像)における白色の画素と図12の画像(入力画像)における白色の画素とが重なっている箇所を示す。白色の画素同士が重なった部分は、図15Cにおいて領域eで示す。図15Cにおいて、領域eは、図13の白色の画素に対して60%を占める。従って、ww=60となる。
【0055】
(wbの算出)
次に、指標を得るために必要な割合として、wb(テンプレート画像の黒のうち入力画像の白と重なった割合)の値が求められる。図15Dは、図13の画像(テンプレート画像)における黒色の画素と図12の画像(入力画像)における白色の画素が重なっている箇所を示す。図13の画像における黒色の画素と図12の画像における白色の画素とが重なっている部分は、図15Dにおいて領域fで示す。図15Dにおいて、領域fは、図13の黒色の画素に対して24%を占める。従って、wb=24となる。
【0056】
次に、指標を得るために必要な割合として、bw(テンプレート画像の白のうち入力画像の黒と重なった割合)の値が求められる。図15Eは、図13の画像(テンプレート画像)における白色の画素と図12の画像(入力画像)における黒色の画素とが重なっている箇所を示す。図13の画像における白色の画素と図12の画像における黒色の画素とが重なっている部分は、図15Eにおいて、領域gで示す。図15Eにおいて、領域gは、図13の白色の画素に対して40%を占める。従って、bw=40となる。
【0057】
以上の結果から、指標(score)=bb−wb+ww−bw=76−24+60−40=72となる。すなわち、本実施形態での指標は、72となる。なお、細胞膜をトレースした画像(テンプレート画像)と2値化タリン画像(入力画像)の重なり合っている箇所が類似している場合、bb、wwの値が高くなり、その結果、指標も高くなる。一方、細胞膜をトレースした画像とタリン画像の重なり合っている箇所が類似していない場合、wb、bwの値が高くなるので指標が低くなる。従って、指標によって、細胞膜をトレースした画像とタリン画像の重なり合っている箇所がどの程度類似しているかを判断することが可能となる。
【0058】
なお、指標は、−200≦score≦200の値をとることが好ましい。従って、上記のように指標が72の場合、全体では凡そ70%が一致することになる。また、例えば指標が8である場合には、凡そ50%が一致したことになる。
【0059】
なお、以上の方法で位置を特定するに際しては、テンプレート画像として扱う電子顕微鏡画像の細胞膜がどの角度で入力画像上に写っているかを特定し、更に、入力画像上でのテンプレート画像の縮尺に誤差があることを考慮する必要がある。そこで、本実施形態では、図13の画像(テンプレート画像)を0°〜359°の範囲で回転させ、更に、図13の画像の縮尺率に幅を持たせ図13の画像の大きさを変化させるといった処理が実行される。縮尺率の幅については、画像の横の長さの縮尺率をX、画像の縦の長さの縮尺率をYとするとき、0.07≦X≦0.11、0.06≦Y≦0.10の範囲をとることが好ましい。
【0060】
抽出した夫々の細胞膜の形状を照合して、共焦点レーザー顕微鏡画像が電子顕微鏡画像のどの位置に対応するかが特定されると、ステップS05へ進む。
【0061】
ステップS05では、結合部14が、位置特定部13による特定結果に基づいて、共焦点レーザー顕微鏡画像を電子顕微鏡画像に重ねる。続いて、ステップS06では、出力部15は、重ねた画像(図6参照。)を表示装置2に出力する。以上説明した解析処理を行うことで、細胞内の全てを写す電子顕微鏡画像上でタリンの位置だけを特定することが可能となる。
【0062】
<変形例>
変形例に係る解析装置100は、タリンとは異なる蛋白質を写す特定共焦点レーザー顕微鏡画像(蛍光抗体染色:本発明の第三画像に相当する)を電子顕微鏡画像に重ねる。その結果、変形例に係る解析装置100によれば、電子顕微鏡画像上でタリン以外の蛋白質の位置を特定することが可能となる。変形例に係る解析装置100も、その基本的な構成は、先に説明した解析装置100と同じであるのでその説明は、割愛する。
【0063】
相違点について説明すると、変形例に係る解析装置100の記憶部16は、タリンとは異なる蛋白質を写す特定共焦点レーザー顕微鏡画像を更に格納する。この特定共焦点レーザー顕微鏡画像は、共焦点レーザー顕微鏡画像と同じ試料から得られるものであるが、蛍光物質の種類を変え、照射するレーザーの波長を変更することで、タリンとは異なる蛋白質を写す。図16は、タリンとは異なる蛋白質を写す、切り出された特定共焦点レーザー顕微鏡画像の一例を示す。図16における斜線で囲まれた領域は、タリンとは異なる蛋白質を示す。タリンと異なる蛋白質は、位置の確認が求められ、かつ、所定の波長のレーザーを照射することでタリンとは異なる色で表示できるものであればよく、特に限定されない。なお、共焦点レーザー顕微鏡画像と同じ試料から得られるものであれば、タリンとは異なる蛋白質に代えて他の物質を映すようにしてもよい。
【0064】
一方、図17は、切り出された特定共焦点レーザー顕微鏡画像と電子顕微鏡画像とを重ねた画像の一例を示す。図17によれば、タリンと異なる蛋白質が、細胞の内部に存在していることが確認できる。また、図18は、切り出された共焦点レーザー顕微鏡画像と、切り出された特定共焦点レーザー顕微鏡画像と、電子顕微鏡画像とを重ねた画像の一例を示す。図18によれば、タリン及びタリン以外の蛋白質の位置を、電子顕微鏡画像上で確認することができる。
【0065】
ここで、変形例に係る解析装置100で行われる解析処理について説明する。図19は、変形例に係る解析処理フローを示す。図19の処理フローは、電子顕微鏡画像上に、共焦点レーザー顕微鏡画像及び特定共焦点レーザー顕微鏡画像を重ねる場合の処理を示す。なお、図7に示す処理フローと同じ処理については、同様のステップ番号を付すことで詳細な説明は割愛する。
【0066】
ステップS01−1では、位置特定部13は、記憶部16にアクセスし、電子顕微鏡画像、共焦点レーザー顕微鏡画像、及び特定共焦点レーザー顕微鏡画像を取得する。次に、ステップS02では、位置特定部13は、電子顕微鏡画像から細胞膜の形状を抽出する。次に、ステップS03では、位置特定部13は、共焦点レーザー顕微鏡画像から細胞膜の形状を抽出する。次に、ステップS04では、位置特定部13は、位置特定部13は、抽出した夫々の細胞膜の形状を照合して、共焦点レーザー顕微鏡画像が電子顕微鏡画像のどの位置に対応するかを特定する。位置が特定されると、ステップS05−1へ進む。
【0067】
ステップS05−1では、結合部14が、位置特定部13による特定結果に基づいて、共焦点レーザー顕微鏡画像及び特定共焦点レーザー顕微鏡画像を電子顕微鏡画像に重ねる。特定共焦点レーザー顕微鏡画像と共焦点レーザー顕微鏡画像は、同一試料から得られるものであり、照射されるレーザーの波長が異なるだけで、画像の解像度や撮像範囲は同じである。換言すると、特定共焦点レーザー顕微鏡画像と共焦点レーザー顕微鏡画像とは、予め重ねられた状態にある。従って、ステップS04において、共焦点レーザー顕微鏡画像が電子顕微鏡画像のどの位置に対応するかが特定されると、特定共焦点レーザー顕微鏡画像が電子顕微鏡画像のどの位置に対応するかの特定も可能となる。従って、ステップS05−1では、結合部14は、位置特定部13による特定結果に基づいて、共焦点レーザー顕微鏡画像及び特定共焦点レーザー顕微鏡画像を電子顕微鏡画像に重ねることができる。
【0068】
変形例として、3枚の画像を重ねる場合を説明したが、電子顕微鏡画像に特定共焦点レーザー顕微鏡画像のみを重ねるようにしてもよい(図17を参照。)。この場合、例えば、共焦点レーザー顕微鏡画像が有する細胞膜の形状に関する情報を特定共焦点レーザー顕微鏡画像にコピーし、特定共焦点レーザー顕微鏡画像が、細胞膜の形状に関する情報を有するようにすればよい。これにより、電子顕微鏡画像の細胞膜の形状と特定共焦点レーザー顕微鏡画像の細胞膜の形状とを照合することが可能となる。その結果、特定共焦点レーザー顕微鏡画像が電子顕微鏡画像のどの位置に対応するかを特定することが可能となる。なお、特定共焦点レーザー顕微鏡画像の枚数を2枚、3枚と増やしてもよい。その結果、電子顕微鏡画像上で複数の特定の蛋白質の位置等を確認することが可能となる。
【0069】
ステップS06では、出力部15は、電子顕微鏡画像上に、共焦点レーザー顕微鏡画像及び特定共焦点レーザー顕微鏡画像を重ねた画像(図18参照。)を表示装置2に出力する。以上説明した解析処理を行うことで、細胞内の全てを写す電子顕微鏡画像上でタリンの位置だけでなく、タリンと異なる蛋白質の位置を特定することが可能となる(図18を参照。)。
【0070】
<試験>
次に、上述した解析装置により実際に行った電子顕微鏡画像の細胞の位置を特定する試験について説明する。
【0071】
<試験条件>
本試験では、電子顕微鏡画像として、複数の倍率のものを用意した。具体的には、電子顕微鏡画像は、5倍のものが2枚、10倍のものが1枚、20倍のものが1枚である。電子顕微鏡画像の細胞膜をトレースする処理にはWindows(登録商標)付属のグラフィックソフトPaint(登録商標)を使用した。処理内容の設定としては、膨張処理は、倍率によりその回数を変化させ、倍率5倍のものには20回、倍率10倍のものには40回、倍率20倍のものには80回とした。また、倍率による画像の大きさの変化については、テンプレート画像を倍率に応じて小さくするのではなく、入力画像の方を大きくすることとした。
【0072】
また、本試験では、共焦点レーザー顕微鏡画像として、閾値32で2値化したものを入力画像として使用した。また、特定(探索)の範囲は、図20に示す範囲とした。この範囲は広く1枚の画像に収まりきらないので2枚の画像にわけ、その2枚を探索した。
【0073】
<出力画像について>
今回の試験では結果を判断するための出力画像として図21のような画像を作成した。この画像は、テンプレート画像と入力画像の重なった箇所の指標の高さに応じて色を変化させて表示しているものである。図21に示す画像は、図22のテンプレート画像で実際にマッチングした結果である。そして、図21の画像では、指標の高い領域が、領域hで示されている。
【0074】
なお、図21の画像の例は、特定が効果的に行われた例で、指標が高い領域が、一箇所しか特定されていない。また、特定された指標が高い領域以外の指標は低くなっており、指標が高い領域と指標が低い領域との差が顕著である。しかし、指標の高い領域が複数特定されることも想定される。このような場合には、解析装置による判断に加えて、二次的に試験者の判断を用いるようにすればよい。
【0075】
次に出力画像の作成方法について説明する。説明するに当たり入力画像をf、入力画像の画素値をf(i,j)、出力画像をg、出力画像の画素値をg(i,j)、得られた指標をsとする。また、テンプレート画像の左上の点の座標を(a,b)、右下の点の座標を(c,d)とする。これらを図23に示す。
【0076】
まず、出力画像として入力画像と同じサイズの画像を用意し、全ての画素値を0としておく。次に入力画像fのa≦i≦c、b≦j≦dの範囲、つまりテンプレート画像と重なっている箇所での指標sを得る。そして、得られた指標sを、数4で示す式を用いて、出力画像に反映させる。
【0077】
【数4】
【0078】
上記の処理について、以下、具体的に例を示して説明する。まず、図24のような状態を考える。テンプレート画像が図24の位置での指標は51である。その指標を得た範囲と同じ範囲の出力画像の画素値を、指標51と比較し大きい方を画素値とする。その結果、出力画像は、図24に示す状態になる。
【0079】
次に図24の状態からテンプレート画像を移動させた状態を考える。ここでは指標が63だったとする。このとき、出力画像は、図25に示す状態となる。
【0080】
次に列を移動させた状態を考える。このとき指標は60だったとする。このとき対応する画素値は0、51、63の3種類の値を持っている。今度の指標は60なので画素値63以外のものについて画素値の書き換えを行う。すると、出力画像は、図27に示す状態になる。
【0081】
このように、本試験では、画素を含んで得られる指標の最大値を各画素値に書き込む処理を行った。そして、得られた画像に対して画素値の変換を行った。変換は、以下の数5に示す式で行った。式中のmaxは、この画像中の画素値の最大値、minは、この画像中の画素値の最小値を表す。
【0082】
【数5】
【0083】
この変換を行うと画素値は、0≦g(i,j)≦255の範囲をとるようになり、指標が高いものほど画素値が0に近く(画像上の色が黒に)、低いものほど画素値が255に近く(画像上の色が白に)なる。
【0084】
その後、変換を行った画像と図27の画像とを比較し、図27の画像の黒い領域のみを、変換を行った出力画像から取り出す。このときそれ以外の領域は全て画素値を255とする。その画像を図28に示す。図28の画像は本手法、出力画像の項で用いた図12の画像を探索した結果である。さらに図28の画素値255以外の画素値をHSV色空間のH、またS、Vをそれぞれがとり得る最大値に設定したものをRGB色空間に変換し表示すると、図21のようになる。
【0085】
<結果>
以下の図29、図30、図31、図32にそれぞれの電子顕微鏡画像で探索した結果、もとの電子顕微鏡画像、テンプレート画像として使用した細胞膜のトレース画像、共焦点レーザー顕微鏡画像の該当箇所を拡大した画像を示す。出力画像1あるいは出力画像2上の四角で囲まれた箇所が該当している箇所である。また、共焦点レーザー顕微鏡画像は、いずれもタリンを写している。
【0086】
結果を見るとどの倍率のものも比較的指標の高いところに位置していることが確認された。特に図29の倍率5倍(1)のものはよく探索できている。なお、図31、図32の高倍率のものは、指標が全体的に高くなっていることから、二次的に試験者の判断を加えた方がより好ましいと考えられる。なお、マッチングの精度を向上させるため、膨張処理の回数を更に増減させてもよい。また、入力画像上での途切れている線をつなぐことでも精度の向上が期待できる。
【0087】
<効果>
以上説明したように、実施形態に係る解析装置によれば、電子顕微鏡画像と、共焦点レーザー顕微鏡画像とを重ねることで、細胞を傷つけることなく、細胞内におけるタリンの位置をより正確に得ることができる。すなわち、電子顕微鏡画像上で、細胞内におけるタリンの位置をより正確に得ることができる。その結果、細胞の状態をより細部まで把握可能となり人体に表れる様々な症状の解明に寄与することができる。
【符号の説明】
【0088】
1・・・筐体
2・・・表示装置
3・・・入力装置
4・・・インターフェース
10・・・制御部
11・・・CPU
12・・・メモリ
13・・・位置特定部
14・・・結合部
15・・・出力部
16・・・記憶部
100・・・解析装置
【特許請求の範囲】
【請求項1】
細胞の解析装置であって、
前記細胞の細胞構造に関する情報を有する第一画像と、前記第一画像を含み、かつ、前記細胞に含まれる物質に関する情報であって、前記細胞の細胞構造と関連付けられた物質に関する情報を有する第二画像と、を格納する記憶部と、
前記第一画像から前記細胞構造を抽出し、前記第二画像から前記物質と関連付けられた細胞構造を抽出し、抽出した夫々の細胞構造を照合して、前記第二画像が前記第一画像のどの位置に対応するかを特定する位置特定部と、
前記位置特定部による特定結果に基づいて、前記第二画像を前記第一画像の特定された位置に重ねる結合部と、を備える解析装置。
【請求項2】
前記記憶部は、電子顕微鏡画像としての前記第一画像と、標識される前記物質を写す標識画像としての前記第二画像と、を格納する請求項1に記載の解析装置。
【請求項3】
前記第二画像は、前記物質の情報として、蛋白質の情報を有する、請求項1又は2に記載の解析装置。
【請求項4】
前記位置特定部は、前記物質としての蛋白質に関連する細胞構造として、該蛋白質に隣接する細胞膜の形状に関する情報を取得し、抽出した夫々の細胞膜の形状を照合して、前記第二画像が前記第一画像のどの位置に対応するかを特定する請求項3に記載の解析装置。
【請求項5】
前記位置特定部は、第二画像における黒色の画素のうち第一画像における黒色の画素と重なった割合と、第二画像における白色の画素のうち第一画像における白色の画素と重なった割合と、第二画像における黒色の画素のうち第一画像における白色の画素と重なった割合と、第二画像における白色の画素のうち第一画像における黒色の画素と重なった割合と、に基づいて算出される指標を用いて、第一画像と第二画像とが一致するか否かを判断し、前記第二画像が前記第一画像のどの位置に対応するかを特定する、請求項1から4の何れか一に記載の解析装置。
【請求項6】
前記記憶部は、前記第二画像と同じ試料から得られることで前記第二画像に関連付けられた第三画像であって、前記物質とは異なる特定物質を写す第三画像を更に格納し、
前記位置特定部は、前記第三画像に関連付けられている第二画像より抽出される細胞構造と、前記第一画像から抽出される細胞構造とを照合して、前記第三画像が前記第一画像のどの位置に対応するかを特定し、
前記結合部は、前記位置特定部による特定結果に基づいて、前記第三画像を前記第一画像の特定された位置に更に重ねる請求項1から5の何れか一に記載の解析装置。
【請求項7】
細胞を解析する解析方法であって、
コンピュータが、
記憶装置に、前記細胞の細胞構造に関する情報を有する第一画像と、前記第一画像を含み、かつ、前記細胞に含まれる物質に関する情報であって、前記細胞の細胞構造と関連付けられた物質に関する情報を有する第二画像と、を格納する記憶ステップと、
前記第一画像から前記細胞構造を抽出し、前記第二画像から前記物質と関連付けられた細胞構造を抽出し、抽出した夫々の細胞構造を照合して、前記第二画像が前記第一画像のどの位置に対応するかを特定する位置特定ステップと、
前記位置特定ステップによる特定結果に基づいて、前記第二画像を前記第一画像の特定された位置に重ねる結合ステップと、を実行する解析方法。
【請求項1】
細胞の解析装置であって、
前記細胞の細胞構造に関する情報を有する第一画像と、前記第一画像を含み、かつ、前記細胞に含まれる物質に関する情報であって、前記細胞の細胞構造と関連付けられた物質に関する情報を有する第二画像と、を格納する記憶部と、
前記第一画像から前記細胞構造を抽出し、前記第二画像から前記物質と関連付けられた細胞構造を抽出し、抽出した夫々の細胞構造を照合して、前記第二画像が前記第一画像のどの位置に対応するかを特定する位置特定部と、
前記位置特定部による特定結果に基づいて、前記第二画像を前記第一画像の特定された位置に重ねる結合部と、を備える解析装置。
【請求項2】
前記記憶部は、電子顕微鏡画像としての前記第一画像と、標識される前記物質を写す標識画像としての前記第二画像と、を格納する請求項1に記載の解析装置。
【請求項3】
前記第二画像は、前記物質の情報として、蛋白質の情報を有する、請求項1又は2に記載の解析装置。
【請求項4】
前記位置特定部は、前記物質としての蛋白質に関連する細胞構造として、該蛋白質に隣接する細胞膜の形状に関する情報を取得し、抽出した夫々の細胞膜の形状を照合して、前記第二画像が前記第一画像のどの位置に対応するかを特定する請求項3に記載の解析装置。
【請求項5】
前記位置特定部は、第二画像における黒色の画素のうち第一画像における黒色の画素と重なった割合と、第二画像における白色の画素のうち第一画像における白色の画素と重なった割合と、第二画像における黒色の画素のうち第一画像における白色の画素と重なった割合と、第二画像における白色の画素のうち第一画像における黒色の画素と重なった割合と、に基づいて算出される指標を用いて、第一画像と第二画像とが一致するか否かを判断し、前記第二画像が前記第一画像のどの位置に対応するかを特定する、請求項1から4の何れか一に記載の解析装置。
【請求項6】
前記記憶部は、前記第二画像と同じ試料から得られることで前記第二画像に関連付けられた第三画像であって、前記物質とは異なる特定物質を写す第三画像を更に格納し、
前記位置特定部は、前記第三画像に関連付けられている第二画像より抽出される細胞構造と、前記第一画像から抽出される細胞構造とを照合して、前記第三画像が前記第一画像のどの位置に対応するかを特定し、
前記結合部は、前記位置特定部による特定結果に基づいて、前記第三画像を前記第一画像の特定された位置に更に重ねる請求項1から5の何れか一に記載の解析装置。
【請求項7】
細胞を解析する解析方法であって、
コンピュータが、
記憶装置に、前記細胞の細胞構造に関する情報を有する第一画像と、前記第一画像を含み、かつ、前記細胞に含まれる物質に関する情報であって、前記細胞の細胞構造と関連付けられた物質に関する情報を有する第二画像と、を格納する記憶ステップと、
前記第一画像から前記細胞構造を抽出し、前記第二画像から前記物質と関連付けられた細胞構造を抽出し、抽出した夫々の細胞構造を照合して、前記第二画像が前記第一画像のどの位置に対応するかを特定する位置特定ステップと、
前記位置特定ステップによる特定結果に基づいて、前記第二画像を前記第一画像の特定された位置に重ねる結合ステップと、を実行する解析方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15A】
【図15B】
【図15C】
【図15D】
【図15E】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15A】
【図15B】
【図15C】
【図15D】
【図15E】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【公開番号】特開2010−281800(P2010−281800A)
【公開日】平成22年12月16日(2010.12.16)
【国際特許分類】
【出願番号】特願2009−137656(P2009−137656)
【出願日】平成21年6月8日(2009.6.8)
【出願人】(504145364)国立大学法人群馬大学 (352)
【Fターム(参考)】
【公開日】平成22年12月16日(2010.12.16)
【国際特許分類】
【出願日】平成21年6月8日(2009.6.8)
【出願人】(504145364)国立大学法人群馬大学 (352)
【Fターム(参考)】
[ Back to top ]