画像取得装置、画像取得方法及びプログラム
【課題】取得した画像に基づいて効率的に当該画像を評価できる画像取得装置、画像取得方法及びプログラムを提供する。
【解決手段】複数枚の画像を取得する画像取得方法において、観測された画像の像の一部の領域を所定の大きさに拡大した新たな観測像を生成し、新たな観測像について一部の領域の指定と拡大とを繰り返す毎に、拡大された像の画像を拡大画像として取得し、最後に拡大された状態で、時系列で複数の画像を観測画像として取得し、複数枚の観測画像を取得した後に、拡大像生成手段が繰り返した拡大を逆に辿った順序で縮小される像の画像を縮小画像として取得し、拡大画像及び縮小画像には指定された一部の領域が他の領域と区別して表される画像取得方法である。
【解決手段】複数枚の画像を取得する画像取得方法において、観測された画像の像の一部の領域を所定の大きさに拡大した新たな観測像を生成し、新たな観測像について一部の領域の指定と拡大とを繰り返す毎に、拡大された像の画像を拡大画像として取得し、最後に拡大された状態で、時系列で複数の画像を観測画像として取得し、複数枚の観測画像を取得した後に、拡大像生成手段が繰り返した拡大を逆に辿った順序で縮小される像の画像を縮小画像として取得し、拡大画像及び縮小画像には指定された一部の領域が他の領域と区別して表される画像取得方法である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数枚の画像を取得する技術に関する。
【背景技術】
【０００２】
ＲＩＣＳ（Raster-scan Image Correlation Spectroscopy）は顕微鏡画像などのスキャンイメージをもとに画像ピクセル毎のシグナル強度を空間相関演算して分子の拡散速度及び濃度を計算する手法である。
【０００３】
非特許文献１は、ＲＩＣＳの開発者であるＧｒａｔｔｏｎらがＲＩＣＳの原理の説明を中心とし、細胞での計測についても述べたもので、ＧＦＰ発現細胞に対してＧＦＰ−Ｐａｘｉｌｌｉｎの細胞内局在と拡散をＲＩＣＳにて計測した例を挙げている。Ｐａｘｉｌｌｉｎとは細胞膜内側においてアクチンやインテグリンなどの細胞膜蛋白質と相互作用して細胞外マトリックスとの接着などに関連する蛋白質である。この論文中では、局在したＰａｘｉｌｌｉｎ−ＧＦＰのＲＩＣＳ計測結果を示し、ＧＦＰ単独に比べて１０倍近く遅い拡散速度が得られたことから、ＲＩＣＳ計測の実用性をアピールしている。
【０００４】
非特許文献２は、ＲＩＣＳについてその画像取得条件及び相関関数演算の条件設定などについて詳細に調べたものである。解析に用いる画像について、Ｓ／Ｎを上げるためにはある程度の複数枚画像が必要であることを示唆している。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】MA.Digman et.al., “Measuring Fast Dynamics in Solutions and Cells with a Laser Scanning Microscope.”, Biophysical Journal Vol. 89, 1317-1327, 2005.
【非特許文献２】CM. Brown et al. “Raster image correlation spectroscopy (RICS) for measuring fast protein dynamics and concentrations with a commercial laser scanning confocal microscope.” J Microsc. 229, 78-91. 2008.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、ＲＩＣＳ計測では、細胞の画像を複数枚取得し、取得した画像に基づいて解析演算を実施するが、この解析結果を評価する際には、取得した画像に撮影された細胞のみでなく、撮影領域の外にある細胞の状態にも基づいて比較検討することが必要である。
しかしながら、解析結果を評価しようとしても、これら一連の情報は取得されていないため、関連する情報を再度確認あるいは測定することが必要となり効率的な判断が阻害されている状況も生じていた。
【０００７】
本願発明は係る事情に鑑みてなされたものであって、取得した画像に基づいて効率的に当該画像を評価できる画像取得装置、画像取得方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するための本発明は、複数枚の画像を取得する画像取得装置において、観測された画像の像の一部の領域を所定の大きさに拡大した新たな観測像を生成する拡大像生成手段と、前記新たな観測像について前記一部の領域の指定と拡大とを繰り返す毎に、拡大された像の画像を拡大画像として取得する拡大画像取得手段と、最後に拡大された状態で、時系列で複数の画像を観測画像として取得する観測画像取得手段と、複数枚の前記観測画像を取得した後に、前記拡大像生成手段が繰り返した拡大を逆に辿った順序で縮小される像の画像を縮小画像として取得する縮小画像取得手段とを有し、前記拡大画像及び縮小画像には指定された前記一部の領域が他の領域と区別して表されている画像取得装置である。
【０００９】
また本発明は、複数枚の画像を取得する画像取得方法において、観測された画像の像の一部の領域を所定の大きさに拡大した新たな観測像を生成し、前記新たな観測像について前記一部の領域の指定と拡大とを繰り返す毎に、拡大された像の画像を拡大画像として取得し、最後に拡大された状態で、時系列で複数の画像を観測画像として取得し、複数枚の前記観測画像を取得した後に、前記拡大像生成手段が繰り返した拡大を逆に辿った順序で縮小される像の画像を縮小画像として取得し、前記拡大画像及び縮小画像には指定された前記一部の領域が他の領域と区別して表されている画像取得方法である。
【００１０】
また本発明は、複数枚の画像を取得する画像取得プログラムにおいて、コンピュータに、観測された画像の像の一部の領域を所定の大きさに拡大した新たな観測像を生成する手順、前記新たな観測像について前記一部の領域の指定と拡大とを繰り返す毎に、拡大された像の画像を拡大画像として取得する手順、最後に拡大された状態で、時系列で複数の画像を観測画像として取得する手順、複数枚の前記観測画像を取得した後に、前記拡大像生成手段が繰り返した拡大を逆に辿った順序で縮小される像の画像を縮小画像として取得する手順、をコンピュータに実行させ、前記拡大画像及び縮小画像には指定された前記一部の領域が他の領域と区別して表されているプログラムである。
【発明の効果】
【００１１】
この発明によれば、取得した画像に基づいて効率的に当該画像を評価できる画像取得装置、画像取得方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施の形態の画像解析方法が適用されるレーザ顕微鏡システムの構成を示す図。
【図２】精度の良い測定に関連する諸量を示す模式図。
【図３】フレームの取得動作を説明する図。
【図４】空間相関演算の内容を説明するための図。
【図５】２Ｄ相関関数図を示す図。
【図６】フィッティング方法を説明するための図。
【図７】複数の画像を取得する概略のフローチャートを示す図。
【図８】取得される画像を示す図。
【図９】解析状況を示す画面とともに表示される拡大操作時の取得画像、縮小時の取得画像を示す図。
【図１０】取得画像及び取得画像を対照させて表示する図。
【発明を実施するための形態】
【００１３】
図１は、本実施の形態の画像解析方法が適用されるレーザ顕微鏡システムの構成を示す図である。
レーザ顕微鏡システムは、顕微鏡本体１、レーザコンバイナー２、スキャンユニット３、ディテクタユニット４、コントロールユニット５、表示装置６及び記憶装置７を備えている。
【００１４】
レーザコンバイナー２に設けられた１つのレーザ光源から出射したレーザ光は、ダイクロイックミラー（不図示）で反射された後スキャンユニット３に入射する。このスキャンユニット３によって、光軸はＸ軸、Ｙ軸方向に偏向走査され、顕微鏡本体１の対物レンズ（不図示）に入る。これによって視野内の焦点面上にある蛍光標識されたサンプル試料の任意の位置に、測定領域（焦点領域）を位置することができる。
【００１５】
焦点領域内の蛍光分子から発した蛍光は同じ対物レンズで補足され、逆の光路を通りダイクロイックミラーに導かれる。ダイクロイックミラーでは、励起光と比べ波長の長い蛍光を透過するように設計されており、蛍光はディテクタユニット４に到達する。ディテクタユニット４としてはＡＰＤ（アバランシェフォトダイオード）、あるいは光電子増倍管などが好適である。
【００１６】
ディテクタユニット４で光電変換された蛍光の強度信号は、コントロールユニット５に入力される。コントロールユニット５では、解析ソフトウエアによってＲＩＣＳ解析が行われる。コントロールユニット５は、ディテクタユニット４からの蛍光強度信号と、スキャンユニット３からの走査位置情報とを対応づけてＲＩＣＳ解析を行う。ＲＩＣＳ解析した結果は、適宜、表示装置６に表示され、また記憶装置７に記憶される。
【００１７】
なお、本レーザ顕微鏡システムでは、複数のレーザ光源を用いて波長の異なる複数の蛍光像を得ることができるが、以下の説明では１つのレーザ光源により得られた蛍光像を用いて解析する態様について説明する。
【００１８】
図１の右側には、本レーザ顕微鏡システムで得られる情報を模式的に示している。
サンプル８ａにレーザ光を繰り返して走査照射して複数枚の蛍光画像８ｂを得る。このそれぞれの蛍光画像８ｂに基づいて蛍光強度に関するデータ８ｃを求めて、解析ソフトウエアに入力する。解析ソフトウエアは、それぞれのデータ８ｃに基づいてＲＩＣＳ解析を実行する。即ち、空間相関計算を行って空間相関関数図８ｄを求め、その結果と基準となる空間相関関数図との間でフィッティング解析を行う。
【００１９】
続いて、ＲＩＣＳ解析の内容について詳細に説明する。
＊ステップ１：ターゲット（蛍光）分子がピクセル毎に検出できるようにレーザ光をスキャンする。
図２は、精度の良い測定に関連する諸量を示す模式図である。
図２には、ターゲット１０の移動する速度（軌跡）と、ターゲット１０に照射されたレーザスポット１１の大きさと、検出素子のピクセル位置（１，２,・・・）とが表されている。
【００２０】
図２によれば、ターゲットの動く速さ、スキャンスピード及びピクセルサイズ（１ピクセル当りの実サイズ）との間には密接な関係があることがわかる。従って、ターゲットの分子数、拡散速度などをＲＩＣＳ解析によって求める際には、図２に示す諸量が適正な値となるように設定されることが重要である。
【００２１】
＊ステップ２：設定したフレーム内でレーザをスキャンする。このスキャンを複数回実行して複数のフレームを取得する。
図３は、フレームの取得動作を説明する図である。
１つのフレーム１２のサイズ（縦長さ×横長さ）はステップ１において解析者が設定する。レーザ光は、このフレーム領域内をスキャンユニット３によって走査される。例えば、フレーム領域の左上の位置から右方向にレーザ光を１ライン走査し、続いて１段下のラインを左から右方向に走査する。この動作を一番下のラインまで繰り返して１フレーム走査を完了する。
このフレーム走査を同様にして複数回繰り返して実行して、複数のフレーム画像を取得する。
【００２２】
ここで、１ピクセルを走査する時間はμｓｅｃのオーダであり、１ラインを走査する時間はｍｓｅｃのオーダであり、１フレームを走査する時間はｓｅｃのオーダである。１フレーム走査時間を例えば１秒とし、１００枚のフレームを取得する場合は、計測時間は約１００秒となる。
【００２３】
原理的に、空間相関演算を行うためには、１枚のフレーム画面で十分である。しかし本実施の形態では、取得フレーム数を増やすことによって空間相関演算に関する平均計算を行っている。フレーム数を増やして相関関数の平均値を計算することによって遅い動きの分子情報を除去することが可能である。
【００２４】
＊ステップ３：空間相関演算を実行する。
空間相関演算は、以下の相関関数式に従って実行する。
【数１】
【００２５】
図４は、空間相関演算の内容を説明するための図である。
２枚の同一フレーム１２を、Ｘ軸方向にξ、Ｙ軸方向にψだけずらして重ね合わせる。そして、重なり合った位置の蛍光強度値を乗算した値をフレーム全体にわたって加算する。加算結果を正規化した値を点（ξ、ψ）における空間相関値とする。このξ、ψを２次元平面上で変化させて、２次元の空間相関値を取得する。
【００２６】
次に、他のフレームについてもそれぞれ２次元の空間相関値を演算する。そして、このようにして取得した複数の空間相関値をそれぞれの点について平均処理して、２Ｄ相関関数図（空間相関関数図）を得る。
【００２７】
図５は、２Ｄ相関関数図を示す図である。
上述の式からわかるように、図５の中心に位置する原点（０，０）において、相関関数値は最大値（＝１）をとる。
【００２８】
＊ステップ４：相関関数演算の結果得られる２Ｄ相関関数図を用いてフィッティング演算を行う。
このようにして得られた２Ｄ相関関数図に基いて高さ方向（Ｚ軸方向）に蛍光強度値をプロットすると、原点を中心とした山形の形状が得られる。この測定した形状を、複数の基準パターンの形状と比較して、良くフィットする基準パターンを特定する。
【００２９】
図６は、フィッティング方法を説明するための図である。
図の下側には、演算によって得られた相関関数値を３次元で表している。図の上側には、ある基準パターンとの差を３次元で表している。この差が最も小さいと評価される基準パターンを特定する。そして、特定された基準パターンに対応する分子数と拡散速度とをサンプルの平均分子数と平均拡散速度として得ることができる。
【００３０】
ところで、ＲＩＣＳ計測におけるＬＳＭ（Laser Scanning Microscope）画像取得では適切な解析を行うために、ピクセルサイズを本システムの解像度であるＰＳＦ（Point Spread Function）の１／３−１／５程度に小さくしなければならない。即ち、ズームを上げて（拡大して）画像を撮影することになる。この結果、画面上には細胞の一部しか表示されず、領域外の細胞についての情報が欠落する。
【００３１】
このような制約のもとでは、ＲＯＩ（Region of interest）を選択しても、全体細胞のどの部分を選択したのかが不明となる。また、レーザが照射されていない周辺の正常細胞との比較が難しいため、選択したＲＯＩでレーザ照射による蛍光ブリーチングが発生したかどうかの判断が難しい。
従って、解析結果を評価しようとした際、取得した画像に基づいて効率的に評価が行えるように予め複数の画像を取得することが望まれる。
【００３２】
続いて、本発明における画像取得方法について説明する。
なお、使用した解析サンプルは溶液内あるいは細胞内で観察される蛍光（蛋白質）標識蛋白質であり、その分子の動き情報及びそれから導かれるサイズ情報をＲＩＣＳなどの手法によって計測した。
【００３３】
標識には蛍光分子（ローダミン、cy3,cy5, Alexa- , Atto- など）あるいは蛍光蛋白質（EGFP, mDsRed, mRFP, mCherry, YFPなど）を用いた。また、目的によっては２色の蛍光を同時に観察することによって両者で標識した２つ以上の蛋白質同士の相互作用についても計測した。
【００３４】
図７は、複数の画像を取得する概略のフローチャートを示す図である。図８は、取得される画像を示す図である。
以下、図７，８を参照しつつ処理手順を説明する。
【００３５】
ステップＳ０１において、解析者は顕微鏡で観察することにより、測定したい細胞を広域像から選択する。コントロールユニット５は、この広域像の画像を取得画像ａとして保存する。図８の取得画像ａでは、四角の領域（ＲＯＩ）が解析者より指定されたことが表されている。
【００３６】
ステップＳ０２において、解析者の拡大操作に基づいてコントロールユニット５は指定された領域の画像を拡大して表示装置６に表示する。ステップＳ０３において、コントロールユニット５は、この拡大された画像を取得画像ｂとして保存する。図８の取得画像ｂでは、拡大された細胞が表されている。
【００３７】
ステップＳ０４において、解析者はこの倍率の画像が適正かどうかを判断する。
ステップＳ０４でＮｏの場合、即ち、倍率が適正でないと判断した場合は、ステップＳ０１に戻って上述のステップを繰り返して実行する。
【００３８】
ステップＳ０４でＹｅｓの場合、即ち、倍率が適正であると判断した場合は、ステップＳ０５において、解析者はレーザ光を照射する領域（ＲＯＩ）を設定し、さらに取得するフレーム枚数を設定する。
そして、解析開始をシステムに入力すると、ステップＳ０６において、フレーム取得処理が実行される。即ち、スキャンユニット３によってレーザ光がこの領域（ＲＯＩ）内を走査し、サンプル試料の蛍光像を撮影したフレームが設定された枚数取得される。取得された複数のフレームはそれぞれ取得画像ｃとして保存される。
【００３９】
続いて、ステップＳ０７において、コントロールユニット５は、自動的に上述の拡大ステップ（ステップＳ１〜Ｓ４）を逆に実行する。即ち、画像を順次縮小した複数枚の画像を取得画像ｂ’、ａ’として保存する。図８には、取得画像ａ，ｂに対応して取得画像ａ’、ｂ’が表されている。
なお、取得画像ａ，ｂ、ａ’、ｂ’には、解析者が設定した領域（ＲＯＩ）が表示されている。
【００４０】
ステップＳ０８において、コントロールユニット５は、拡大操作時の取得画像ａ，ｂ、測定時の取得画像ｃ、縮小時の取得画像ａ’，ｂ’を１つのファイルにまとめるなど関連付けて記憶装置７に記憶する。
【００４１】
ステップＳ０９において、コントロールユニット５は、記憶装置７に記憶されているファイルの内測定時の取得画像ｃに対してＲＩＣＳ解析を実行する。
そしてステップＳ１０において、コントロールユニット５は、図９に示すように、ＲＩＣＳ解析状況を示す画面とともに拡大操作時の取得画像ａ，ｂ、縮小時の取得画像ａ’，ｂ’を表示装置６に表示する。
【００４２】
なお、ＲＩＣＳ解析に選択した取得画像ｃ以外の取得画像ａ，ｂ，ａ’，ｂ’については、必要に応じて取り出して表示することが可能である。
図１０は、取得画像ａ，ａ’及び取得画像ｂ、ｂ’を対照させて表示した図である。
【００４３】
このように図９、１０を参照することによって、観測対象の細胞がＲＩＣＳ解析のために長時間のレーザ照射によるブリーチングを生じているか否かを判断することができる。
例えば、取得画像ａと取得画像ａ’とを比較して、ＲＯＩ内の細胞像に色彩などの変化が見られるかどうか、またＲＯＩ内の細胞像とＲＯＩ外の細胞像との間で色彩などの変化が見られるかどうかでブリーチングの有無を判断することができる。
【００４４】
また、観測対象の細胞が測定中に形態を変化させているか否かを判断することができる。
例えば、取得画像ｂのＲＯＩ内外の画像と、取得画像ｂ’ のＲＯＩ内外の画像とを比較して、細胞の存在する位置、大きさ、範囲などが変化しているか否かで形態変化の有無を判断することができる。
【００４５】
以上説明した実施の形態によれば、ＲＩＣＳ解析のために長時間のレーザ照射によるブリーチングや形態変化などを細胞外領域の画像と合わせて評価することができ、効率的に解析結果を判断することが可能となる。
【００４６】
なお、本発明は、上記顕微鏡で観測した画像に限定して適用されるものではなく、例えば内視鏡で観測した画像についても適用することができ、一般に観測対象を拡大した像を取得する装置において適用することができる。
【００４７】
尚、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。
また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００４８】
１…顕微鏡本体、２…レーザコンバイナー、３…スキャンユニット、４…ディテクタユニット、５…コントロールユニット、６…表示装置、７…記憶装置、８ａ…サンプル、８ｂ…蛍光画像、ａ，ｂ，ｃ，ａ’，ｂ’…取得画像。
【技術分野】
【０００１】
本発明は、複数枚の画像を取得する技術に関する。
【背景技術】
【０００２】
ＲＩＣＳ（Raster-scan Image Correlation Spectroscopy）は顕微鏡画像などのスキャンイメージをもとに画像ピクセル毎のシグナル強度を空間相関演算して分子の拡散速度及び濃度を計算する手法である。
【０００３】
非特許文献１は、ＲＩＣＳの開発者であるＧｒａｔｔｏｎらがＲＩＣＳの原理の説明を中心とし、細胞での計測についても述べたもので、ＧＦＰ発現細胞に対してＧＦＰ−Ｐａｘｉｌｌｉｎの細胞内局在と拡散をＲＩＣＳにて計測した例を挙げている。Ｐａｘｉｌｌｉｎとは細胞膜内側においてアクチンやインテグリンなどの細胞膜蛋白質と相互作用して細胞外マトリックスとの接着などに関連する蛋白質である。この論文中では、局在したＰａｘｉｌｌｉｎ−ＧＦＰのＲＩＣＳ計測結果を示し、ＧＦＰ単独に比べて１０倍近く遅い拡散速度が得られたことから、ＲＩＣＳ計測の実用性をアピールしている。
【０００４】
非特許文献２は、ＲＩＣＳについてその画像取得条件及び相関関数演算の条件設定などについて詳細に調べたものである。解析に用いる画像について、Ｓ／Ｎを上げるためにはある程度の複数枚画像が必要であることを示唆している。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】MA.Digman et.al., “Measuring Fast Dynamics in Solutions and Cells with a Laser Scanning Microscope.”, Biophysical Journal Vol. 89, 1317-1327, 2005.
【非特許文献２】CM. Brown et al. “Raster image correlation spectroscopy (RICS) for measuring fast protein dynamics and concentrations with a commercial laser scanning confocal microscope.” J Microsc. 229, 78-91. 2008.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、ＲＩＣＳ計測では、細胞の画像を複数枚取得し、取得した画像に基づいて解析演算を実施するが、この解析結果を評価する際には、取得した画像に撮影された細胞のみでなく、撮影領域の外にある細胞の状態にも基づいて比較検討することが必要である。
しかしながら、解析結果を評価しようとしても、これら一連の情報は取得されていないため、関連する情報を再度確認あるいは測定することが必要となり効率的な判断が阻害されている状況も生じていた。
【０００７】
本願発明は係る事情に鑑みてなされたものであって、取得した画像に基づいて効率的に当該画像を評価できる画像取得装置、画像取得方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するための本発明は、複数枚の画像を取得する画像取得装置において、観測された画像の像の一部の領域を所定の大きさに拡大した新たな観測像を生成する拡大像生成手段と、前記新たな観測像について前記一部の領域の指定と拡大とを繰り返す毎に、拡大された像の画像を拡大画像として取得する拡大画像取得手段と、最後に拡大された状態で、時系列で複数の画像を観測画像として取得する観測画像取得手段と、複数枚の前記観測画像を取得した後に、前記拡大像生成手段が繰り返した拡大を逆に辿った順序で縮小される像の画像を縮小画像として取得する縮小画像取得手段とを有し、前記拡大画像及び縮小画像には指定された前記一部の領域が他の領域と区別して表されている画像取得装置である。
【０００９】
また本発明は、複数枚の画像を取得する画像取得方法において、観測された画像の像の一部の領域を所定の大きさに拡大した新たな観測像を生成し、前記新たな観測像について前記一部の領域の指定と拡大とを繰り返す毎に、拡大された像の画像を拡大画像として取得し、最後に拡大された状態で、時系列で複数の画像を観測画像として取得し、複数枚の前記観測画像を取得した後に、前記拡大像生成手段が繰り返した拡大を逆に辿った順序で縮小される像の画像を縮小画像として取得し、前記拡大画像及び縮小画像には指定された前記一部の領域が他の領域と区別して表されている画像取得方法である。
【００１０】
また本発明は、複数枚の画像を取得する画像取得プログラムにおいて、コンピュータに、観測された画像の像の一部の領域を所定の大きさに拡大した新たな観測像を生成する手順、前記新たな観測像について前記一部の領域の指定と拡大とを繰り返す毎に、拡大された像の画像を拡大画像として取得する手順、最後に拡大された状態で、時系列で複数の画像を観測画像として取得する手順、複数枚の前記観測画像を取得した後に、前記拡大像生成手段が繰り返した拡大を逆に辿った順序で縮小される像の画像を縮小画像として取得する手順、をコンピュータに実行させ、前記拡大画像及び縮小画像には指定された前記一部の領域が他の領域と区別して表されているプログラムである。
【発明の効果】
【００１１】
この発明によれば、取得した画像に基づいて効率的に当該画像を評価できる画像取得装置、画像取得方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施の形態の画像解析方法が適用されるレーザ顕微鏡システムの構成を示す図。
【図２】精度の良い測定に関連する諸量を示す模式図。
【図３】フレームの取得動作を説明する図。
【図４】空間相関演算の内容を説明するための図。
【図５】２Ｄ相関関数図を示す図。
【図６】フィッティング方法を説明するための図。
【図７】複数の画像を取得する概略のフローチャートを示す図。
【図８】取得される画像を示す図。
【図９】解析状況を示す画面とともに表示される拡大操作時の取得画像、縮小時の取得画像を示す図。
【図１０】取得画像及び取得画像を対照させて表示する図。
【発明を実施するための形態】
【００１３】
図１は、本実施の形態の画像解析方法が適用されるレーザ顕微鏡システムの構成を示す図である。
レーザ顕微鏡システムは、顕微鏡本体１、レーザコンバイナー２、スキャンユニット３、ディテクタユニット４、コントロールユニット５、表示装置６及び記憶装置７を備えている。
【００１４】
レーザコンバイナー２に設けられた１つのレーザ光源から出射したレーザ光は、ダイクロイックミラー（不図示）で反射された後スキャンユニット３に入射する。このスキャンユニット３によって、光軸はＸ軸、Ｙ軸方向に偏向走査され、顕微鏡本体１の対物レンズ（不図示）に入る。これによって視野内の焦点面上にある蛍光標識されたサンプル試料の任意の位置に、測定領域（焦点領域）を位置することができる。
【００１５】
焦点領域内の蛍光分子から発した蛍光は同じ対物レンズで補足され、逆の光路を通りダイクロイックミラーに導かれる。ダイクロイックミラーでは、励起光と比べ波長の長い蛍光を透過するように設計されており、蛍光はディテクタユニット４に到達する。ディテクタユニット４としてはＡＰＤ（アバランシェフォトダイオード）、あるいは光電子増倍管などが好適である。
【００１６】
ディテクタユニット４で光電変換された蛍光の強度信号は、コントロールユニット５に入力される。コントロールユニット５では、解析ソフトウエアによってＲＩＣＳ解析が行われる。コントロールユニット５は、ディテクタユニット４からの蛍光強度信号と、スキャンユニット３からの走査位置情報とを対応づけてＲＩＣＳ解析を行う。ＲＩＣＳ解析した結果は、適宜、表示装置６に表示され、また記憶装置７に記憶される。
【００１７】
なお、本レーザ顕微鏡システムでは、複数のレーザ光源を用いて波長の異なる複数の蛍光像を得ることができるが、以下の説明では１つのレーザ光源により得られた蛍光像を用いて解析する態様について説明する。
【００１８】
図１の右側には、本レーザ顕微鏡システムで得られる情報を模式的に示している。
サンプル８ａにレーザ光を繰り返して走査照射して複数枚の蛍光画像８ｂを得る。このそれぞれの蛍光画像８ｂに基づいて蛍光強度に関するデータ８ｃを求めて、解析ソフトウエアに入力する。解析ソフトウエアは、それぞれのデータ８ｃに基づいてＲＩＣＳ解析を実行する。即ち、空間相関計算を行って空間相関関数図８ｄを求め、その結果と基準となる空間相関関数図との間でフィッティング解析を行う。
【００１９】
続いて、ＲＩＣＳ解析の内容について詳細に説明する。
＊ステップ１：ターゲット（蛍光）分子がピクセル毎に検出できるようにレーザ光をスキャンする。
図２は、精度の良い測定に関連する諸量を示す模式図である。
図２には、ターゲット１０の移動する速度（軌跡）と、ターゲット１０に照射されたレーザスポット１１の大きさと、検出素子のピクセル位置（１，２,・・・）とが表されている。
【００２０】
図２によれば、ターゲットの動く速さ、スキャンスピード及びピクセルサイズ（１ピクセル当りの実サイズ）との間には密接な関係があることがわかる。従って、ターゲットの分子数、拡散速度などをＲＩＣＳ解析によって求める際には、図２に示す諸量が適正な値となるように設定されることが重要である。
【００２１】
＊ステップ２：設定したフレーム内でレーザをスキャンする。このスキャンを複数回実行して複数のフレームを取得する。
図３は、フレームの取得動作を説明する図である。
１つのフレーム１２のサイズ（縦長さ×横長さ）はステップ１において解析者が設定する。レーザ光は、このフレーム領域内をスキャンユニット３によって走査される。例えば、フレーム領域の左上の位置から右方向にレーザ光を１ライン走査し、続いて１段下のラインを左から右方向に走査する。この動作を一番下のラインまで繰り返して１フレーム走査を完了する。
このフレーム走査を同様にして複数回繰り返して実行して、複数のフレーム画像を取得する。
【００２２】
ここで、１ピクセルを走査する時間はμｓｅｃのオーダであり、１ラインを走査する時間はｍｓｅｃのオーダであり、１フレームを走査する時間はｓｅｃのオーダである。１フレーム走査時間を例えば１秒とし、１００枚のフレームを取得する場合は、計測時間は約１００秒となる。
【００２３】
原理的に、空間相関演算を行うためには、１枚のフレーム画面で十分である。しかし本実施の形態では、取得フレーム数を増やすことによって空間相関演算に関する平均計算を行っている。フレーム数を増やして相関関数の平均値を計算することによって遅い動きの分子情報を除去することが可能である。
【００２４】
＊ステップ３：空間相関演算を実行する。
空間相関演算は、以下の相関関数式に従って実行する。
【数１】
【００２５】
図４は、空間相関演算の内容を説明するための図である。
２枚の同一フレーム１２を、Ｘ軸方向にξ、Ｙ軸方向にψだけずらして重ね合わせる。そして、重なり合った位置の蛍光強度値を乗算した値をフレーム全体にわたって加算する。加算結果を正規化した値を点（ξ、ψ）における空間相関値とする。このξ、ψを２次元平面上で変化させて、２次元の空間相関値を取得する。
【００２６】
次に、他のフレームについてもそれぞれ２次元の空間相関値を演算する。そして、このようにして取得した複数の空間相関値をそれぞれの点について平均処理して、２Ｄ相関関数図（空間相関関数図）を得る。
【００２７】
図５は、２Ｄ相関関数図を示す図である。
上述の式からわかるように、図５の中心に位置する原点（０，０）において、相関関数値は最大値（＝１）をとる。
【００２８】
＊ステップ４：相関関数演算の結果得られる２Ｄ相関関数図を用いてフィッティング演算を行う。
このようにして得られた２Ｄ相関関数図に基いて高さ方向（Ｚ軸方向）に蛍光強度値をプロットすると、原点を中心とした山形の形状が得られる。この測定した形状を、複数の基準パターンの形状と比較して、良くフィットする基準パターンを特定する。
【００２９】
図６は、フィッティング方法を説明するための図である。
図の下側には、演算によって得られた相関関数値を３次元で表している。図の上側には、ある基準パターンとの差を３次元で表している。この差が最も小さいと評価される基準パターンを特定する。そして、特定された基準パターンに対応する分子数と拡散速度とをサンプルの平均分子数と平均拡散速度として得ることができる。
【００３０】
ところで、ＲＩＣＳ計測におけるＬＳＭ（Laser Scanning Microscope）画像取得では適切な解析を行うために、ピクセルサイズを本システムの解像度であるＰＳＦ（Point Spread Function）の１／３−１／５程度に小さくしなければならない。即ち、ズームを上げて（拡大して）画像を撮影することになる。この結果、画面上には細胞の一部しか表示されず、領域外の細胞についての情報が欠落する。
【００３１】
このような制約のもとでは、ＲＯＩ（Region of interest）を選択しても、全体細胞のどの部分を選択したのかが不明となる。また、レーザが照射されていない周辺の正常細胞との比較が難しいため、選択したＲＯＩでレーザ照射による蛍光ブリーチングが発生したかどうかの判断が難しい。
従って、解析結果を評価しようとした際、取得した画像に基づいて効率的に評価が行えるように予め複数の画像を取得することが望まれる。
【００３２】
続いて、本発明における画像取得方法について説明する。
なお、使用した解析サンプルは溶液内あるいは細胞内で観察される蛍光（蛋白質）標識蛋白質であり、その分子の動き情報及びそれから導かれるサイズ情報をＲＩＣＳなどの手法によって計測した。
【００３３】
標識には蛍光分子（ローダミン、cy3,cy5, Alexa- , Atto- など）あるいは蛍光蛋白質（EGFP, mDsRed, mRFP, mCherry, YFPなど）を用いた。また、目的によっては２色の蛍光を同時に観察することによって両者で標識した２つ以上の蛋白質同士の相互作用についても計測した。
【００３４】
図７は、複数の画像を取得する概略のフローチャートを示す図である。図８は、取得される画像を示す図である。
以下、図７，８を参照しつつ処理手順を説明する。
【００３５】
ステップＳ０１において、解析者は顕微鏡で観察することにより、測定したい細胞を広域像から選択する。コントロールユニット５は、この広域像の画像を取得画像ａとして保存する。図８の取得画像ａでは、四角の領域（ＲＯＩ）が解析者より指定されたことが表されている。
【００３６】
ステップＳ０２において、解析者の拡大操作に基づいてコントロールユニット５は指定された領域の画像を拡大して表示装置６に表示する。ステップＳ０３において、コントロールユニット５は、この拡大された画像を取得画像ｂとして保存する。図８の取得画像ｂでは、拡大された細胞が表されている。
【００３７】
ステップＳ０４において、解析者はこの倍率の画像が適正かどうかを判断する。
ステップＳ０４でＮｏの場合、即ち、倍率が適正でないと判断した場合は、ステップＳ０１に戻って上述のステップを繰り返して実行する。
【００３８】
ステップＳ０４でＹｅｓの場合、即ち、倍率が適正であると判断した場合は、ステップＳ０５において、解析者はレーザ光を照射する領域（ＲＯＩ）を設定し、さらに取得するフレーム枚数を設定する。
そして、解析開始をシステムに入力すると、ステップＳ０６において、フレーム取得処理が実行される。即ち、スキャンユニット３によってレーザ光がこの領域（ＲＯＩ）内を走査し、サンプル試料の蛍光像を撮影したフレームが設定された枚数取得される。取得された複数のフレームはそれぞれ取得画像ｃとして保存される。
【００３９】
続いて、ステップＳ０７において、コントロールユニット５は、自動的に上述の拡大ステップ（ステップＳ１〜Ｓ４）を逆に実行する。即ち、画像を順次縮小した複数枚の画像を取得画像ｂ’、ａ’として保存する。図８には、取得画像ａ，ｂに対応して取得画像ａ’、ｂ’が表されている。
なお、取得画像ａ，ｂ、ａ’、ｂ’には、解析者が設定した領域（ＲＯＩ）が表示されている。
【００４０】
ステップＳ０８において、コントロールユニット５は、拡大操作時の取得画像ａ，ｂ、測定時の取得画像ｃ、縮小時の取得画像ａ’，ｂ’を１つのファイルにまとめるなど関連付けて記憶装置７に記憶する。
【００４１】
ステップＳ０９において、コントロールユニット５は、記憶装置７に記憶されているファイルの内測定時の取得画像ｃに対してＲＩＣＳ解析を実行する。
そしてステップＳ１０において、コントロールユニット５は、図９に示すように、ＲＩＣＳ解析状況を示す画面とともに拡大操作時の取得画像ａ，ｂ、縮小時の取得画像ａ’，ｂ’を表示装置６に表示する。
【００４２】
なお、ＲＩＣＳ解析に選択した取得画像ｃ以外の取得画像ａ，ｂ，ａ’，ｂ’については、必要に応じて取り出して表示することが可能である。
図１０は、取得画像ａ，ａ’及び取得画像ｂ、ｂ’を対照させて表示した図である。
【００４３】
このように図９、１０を参照することによって、観測対象の細胞がＲＩＣＳ解析のために長時間のレーザ照射によるブリーチングを生じているか否かを判断することができる。
例えば、取得画像ａと取得画像ａ’とを比較して、ＲＯＩ内の細胞像に色彩などの変化が見られるかどうか、またＲＯＩ内の細胞像とＲＯＩ外の細胞像との間で色彩などの変化が見られるかどうかでブリーチングの有無を判断することができる。
【００４４】
また、観測対象の細胞が測定中に形態を変化させているか否かを判断することができる。
例えば、取得画像ｂのＲＯＩ内外の画像と、取得画像ｂ’ のＲＯＩ内外の画像とを比較して、細胞の存在する位置、大きさ、範囲などが変化しているか否かで形態変化の有無を判断することができる。
【００４５】
以上説明した実施の形態によれば、ＲＩＣＳ解析のために長時間のレーザ照射によるブリーチングや形態変化などを細胞外領域の画像と合わせて評価することができ、効率的に解析結果を判断することが可能となる。
【００４６】
なお、本発明は、上記顕微鏡で観測した画像に限定して適用されるものではなく、例えば内視鏡で観測した画像についても適用することができ、一般に観測対象を拡大した像を取得する装置において適用することができる。
【００４７】
尚、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。
また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００４８】
１…顕微鏡本体、２…レーザコンバイナー、３…スキャンユニット、４…ディテクタユニット、５…コントロールユニット、６…表示装置、７…記憶装置、８ａ…サンプル、８ｂ…蛍光画像、ａ，ｂ，ｃ，ａ’，ｂ’…取得画像。
【特許請求の範囲】
【請求項１】
複数枚の画像を取得する画像取得装置において、
観測された画像の像の一部の領域を所定の大きさに拡大した新たな観測像を生成する拡大像生成手段と、
前記新たな観測像について前記一部の領域の指定と拡大とを繰り返す毎に、拡大された像の画像を拡大画像として取得する拡大画像取得手段と、
最後に拡大された状態で、時系列で複数の画像を観測画像として取得する観測画像取得手段と、
複数枚の前記観測画像を取得した後に、前記拡大像生成手段が繰り返した拡大を逆に辿った順序で縮小される像の画像を縮小画像として取得する縮小画像取得手段とを有し、
前記拡大画像及び縮小画像には指定された前記一部の領域が他の領域と区別して表されていることを特徴とする画像取得装置。
【請求項２】
前記拡大画像と前記観測画像と前記縮小画像とを関連付けて保存する画像記憶手段を更に有することを特徴とする請求項１に記載の画像取得装置。
【請求項３】
前記拡大画像と前記縮小画像とを対応付けて表示する表示手段を更に有することを特徴とする請求項２に記載の画像取得装置。
【請求項４】
前記観測画像を用いて解析演算を実行する解析手段を更に有することを特徴とする請求項１に記載の画像取得装置。
【請求項５】
前記複数枚の時系列で取得された観測画像は、同一の測定視野に対して光学的に走査して得られる時系列の画像であることを特徴とする請求項４に記載の画像解析装置。
【請求項６】
前記解析演算は、空間相関演算を含むＲＩＣＳ解析であることを特徴とする請求項５に記載の画像解析装置。
【請求項７】
複数枚の画像を取得する画像取得方法において、
観測された画像の像の一部の領域を所定の大きさに拡大した新たな観測像を生成し、
前記新たな観測像について前記一部の領域の指定と拡大とを繰り返す毎に、拡大された像の画像を拡大画像として取得し、
最後に拡大された状態で、時系列で複数の画像を観測画像として取得し、
複数枚の前記観測画像を取得した後に、前記拡大像生成手段が繰り返した拡大を逆に辿った順序で縮小される像の画像を縮小画像として取得し、
前記拡大画像及び縮小画像には指定された前記一部の領域が他の領域と区別して表されていることを特徴とする画像取得方法。
【請求項８】
複数枚の画像を取得する画像取得プログラムにおいて、
コンピュータに、
観測された画像の像の一部の領域を所定の大きさに拡大した新たな観測像を生成する手順、
前記新たな観測像について前記一部の領域の指定と拡大とを繰り返す毎に、拡大された像の画像を拡大画像として取得する手順、
最後に拡大された状態で、時系列で複数の画像を観測画像として取得する手順、
複数枚の前記観測画像を取得した後に、前記拡大像生成手段が繰り返した拡大を逆に辿った順序で縮小される像の画像を縮小画像として取得する手順、
をコンピュータに実行させ、
前記拡大画像及び縮小画像には指定された前記一部の領域が他の領域と区別して表されていることを特徴とするプログラム。
【請求項１】
複数枚の画像を取得する画像取得装置において、
観測された画像の像の一部の領域を所定の大きさに拡大した新たな観測像を生成する拡大像生成手段と、
前記新たな観測像について前記一部の領域の指定と拡大とを繰り返す毎に、拡大された像の画像を拡大画像として取得する拡大画像取得手段と、
最後に拡大された状態で、時系列で複数の画像を観測画像として取得する観測画像取得手段と、
複数枚の前記観測画像を取得した後に、前記拡大像生成手段が繰り返した拡大を逆に辿った順序で縮小される像の画像を縮小画像として取得する縮小画像取得手段とを有し、
前記拡大画像及び縮小画像には指定された前記一部の領域が他の領域と区別して表されていることを特徴とする画像取得装置。
【請求項２】
前記拡大画像と前記観測画像と前記縮小画像とを関連付けて保存する画像記憶手段を更に有することを特徴とする請求項１に記載の画像取得装置。
【請求項３】
前記拡大画像と前記縮小画像とを対応付けて表示する表示手段を更に有することを特徴とする請求項２に記載の画像取得装置。
【請求項４】
前記観測画像を用いて解析演算を実行する解析手段を更に有することを特徴とする請求項１に記載の画像取得装置。
【請求項５】
前記複数枚の時系列で取得された観測画像は、同一の測定視野に対して光学的に走査して得られる時系列の画像であることを特徴とする請求項４に記載の画像解析装置。
【請求項６】
前記解析演算は、空間相関演算を含むＲＩＣＳ解析であることを特徴とする請求項５に記載の画像解析装置。
【請求項７】
複数枚の画像を取得する画像取得方法において、
観測された画像の像の一部の領域を所定の大きさに拡大した新たな観測像を生成し、
前記新たな観測像について前記一部の領域の指定と拡大とを繰り返す毎に、拡大された像の画像を拡大画像として取得し、
最後に拡大された状態で、時系列で複数の画像を観測画像として取得し、
複数枚の前記観測画像を取得した後に、前記拡大像生成手段が繰り返した拡大を逆に辿った順序で縮小される像の画像を縮小画像として取得し、
前記拡大画像及び縮小画像には指定された前記一部の領域が他の領域と区別して表されていることを特徴とする画像取得方法。
【請求項８】
複数枚の画像を取得する画像取得プログラムにおいて、
コンピュータに、
観測された画像の像の一部の領域を所定の大きさに拡大した新たな観測像を生成する手順、
前記新たな観測像について前記一部の領域の指定と拡大とを繰り返す毎に、拡大された像の画像を拡大画像として取得する手順、
最後に拡大された状態で、時系列で複数の画像を観測画像として取得する手順、
複数枚の前記観測画像を取得した後に、前記拡大像生成手段が繰り返した拡大を逆に辿った順序で縮小される像の画像を縮小画像として取得する手順、
をコンピュータに実行させ、
前記拡大画像及び縮小画像には指定された前記一部の領域が他の領域と区別して表されていることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−２１７７６１（Ｐ２０１０−２１７７６１Ａ）
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願番号】特願２００９−６６７１６（Ｐ２００９−６６７１６）
【出願日】平成２１年３月１８日（２００９．３．１８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願日】平成２１年３月１８日（２００９．３．１８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]