画像解析装置、画像解析方法及びプログラム
【課題】 複数枚の画像から特定の画像を効率的に抽出することのできる画像解析装置、画像解析方法及びプログラムを提供する。
【解決手段】 複数枚の時系列の画像を取得して解析演算を行う画像解析方法において、複数枚の画像を時系列順に調べて最初に第１の条件を充足する第１の画像を検出し、第１の画像に続く画像を時系列順に調べて最初に第１の条件を充足しない第２の画像を検出し、第１の画像から第２の画像までの一連の画像を抽出し、複数枚の画像から一連の画像を除去した新たな複数枚の画像を用いて解析演算を実行し、第１の条件は、画像中に第１の輝度値以上の領域が存在している画像解析方法である。
【解決手段】 複数枚の時系列の画像を取得して解析演算を行う画像解析方法において、複数枚の画像を時系列順に調べて最初に第１の条件を充足する第１の画像を検出し、第１の画像に続く画像を時系列順に調べて最初に第１の条件を充足しない第２の画像を検出し、第１の画像から第２の画像までの一連の画像を抽出し、複数枚の画像から一連の画像を除去した新たな複数枚の画像を用いて解析演算を実行し、第１の条件は、画像中に第１の輝度値以上の領域が存在している画像解析方法である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数枚の画像から特定の画像を抽出するための画像解析技術に関する。
【背景技術】
【０００２】
ＲＩＣＳ（Raster-scan Image Correlation Spectroscopy）は顕微鏡画像などのスキャンイメージをもとに画像ピクセル毎のシグナル強度を空間相関演算して分子の拡散速度及び濃度を計算する手法である。
【０００３】
非特許文献１は、ＲＩＣＳの開発者であるＧｒａｔｔｏｎらがＲＩＣＳの原理の説明を中心とし、細胞での計測についても述べたもので、ＧＦＰ発現細胞に対してＧＦＰ−Ｐａｘｉｌｌｉｎの細胞内局在と拡散をＲＩＣＳにて計測した例を挙げている。Ｐａｘｉｌｌｉｎとは細胞膜内側においてアクチンやインテグリンなどの細胞膜蛋白質と相互作用して細胞外マトリックスとの接着などに関連する蛋白質である。この論文中では、局在したＰａｘｉｌｌｉｎ−ＧＦＰのＲＩＣＳ計測結果を示し、ＧＦＰ単独に比べて１０倍近く遅い拡散速度が得られたことから、ＲＩＣＳ計測の実用性をアピールしている。
【０００４】
非特許文献２は、ＲＩＣＳについてその画像取得条件及び相関関数演算の条件設定などについて詳細に調べたものである。解析に用いる画像について、Ｓ／Ｎを上げるためにはある程度の複数枚画像が必要であることを示唆している。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】MA.Digman et.al., “Measuring Fast Dynamics in Solutions and Cells with a Laser Scanning Microscope.”, Biophysical Journal Vol. 89, 1317-1327, 2005.
【非特許文献２】CM. Brown et al. “Raster image correlation spectroscopy (RICS) for measuring fast protein dynamics and concentrations with a commercial laser scanning confocal microscope.” J Microsc. 229, 78-91. 2008.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、対象物（例えば分子など）の動きを統計的に計測する場合、サイズや拡散速度が均一もしくは生理的な分子間相互作用などによって分子サイズが大きくなりその結果で拡散が遅くなるようなターゲット分子の挙動を調べる。この際、測定中に予期しない異常分子（凝集物など）が高輝度をもってＲＯＩ（Region of interest）内に流入することにより、最終的な結果の信頼性が低下することが危惧される。
【０００７】
ＲＩＣＳ計測では複数枚の画像フレームを取得して演算を行うことから、画像取得時に観察領域内を通過する高輝度蛍光分子（凝集分子など）は画像フレーム毎除去することが可能である。しかし、約１００枚の連続フレーム画像からこの問題となるフレームを除くには一枚一枚詳細に確認しなくてはならず、煩雑で手間がかかる作業となっていた。
【０００８】
本願発明は係る事情に鑑みてなされたものであって、複数枚の画像から特定の画像を効率的に抽出することのできる画像解析装置、画像解析方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するための本発明は、複数枚の時系列の画像を取得して解析演算を行う画像解析装置において、前記複数枚の画像を時系列順に調べて最初に第１の条件を充足する第１の画像を検出する第１の画像検出手段と、前記第１の画像に続く画像を時系列順に調べて最初に前記第１の条件を充足しない第２の画像を検出する第２の画像検出手段と、前記第１の画像から前記第２の画像までの一連の画像を抽出する第１の画像抽出手段と、前記複数枚の画像から前記一連の画像を除去した新たな複数枚の画像を用いて解析演算を実行する解析手段とを有し、前記第１の条件は、前記画像中に第１の輝度値以上の領域が存在している画像解析装置である。
【００１０】
また本発明は、複数枚の時系列の画像を取得して解析演算を行う画像解析方法において、前記複数枚の画像を時系列順に調べて最初に第１の条件を充足する第１の画像を検出し、前記第１の画像に続く画像を時系列順に調べて最初に前記第１の条件を充足しない第２の画像を検出し、前記第１の画像から前記第２の画像までの一連の画像を抽出し、前記複数枚の画像から前記一連の画像を除去した新たな複数枚の画像を用いて解析演算を実行し、前記第１の条件は、前記画像中に第１の輝度値以上の領域が存在している画像解析方法である。
【００１１】
また本発明は、複数枚の時系列の画像を取得して解析演算を行う画像解析プログラムにおいて、前記複数枚の画像を時系列順に調べて最初に第１の条件を充足する第１の画像を検出する手順、前記第１の画像に続く画像を時系列順に調べて最初に前記第１の条件を充足しない第２の画像を検出する手順、前記第１の画像から前記第２の画像までの一連の画像を抽出する手順、前記複数枚の画像から前記一連の画像を除去した新たな複数枚の画像を用いて解析演算を実行する手順をコンピュータに実行させ、前記第１の条件は、前記画像中に第１の輝度値以上の領域が存在しているプログラムである。
【発明の効果】
【００１２】
この発明によれば、複数枚の画像から特定の画像を効率的に抽出することのできる画像解析装置、画像解析方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本実施の形態の画像解析方法が適用されるレーザ顕微鏡システムの構成を示す図。
【図２】精度の良い測定に関連する諸量を示す模式図。
【図３】フレームの取得動作を説明する図。
【図４】空間相関演算の内容を説明するための図。
【図５】２Ｄ相関関数図を示す図。
【図６】フィッティング方法を説明するための図。
【図７】高輝度分子を含むフレームを抽出する概略の処理手順を示す図。
【図８】高輝度分子を含むフレームを抽出する概略の処理手順を示す図。
【図９】高輝度分子を含むフレームを抽出する処理を模式的に示す図。
【発明を実施するための形態】
【００１４】
図１は、本実施の形態の画像解析方法が適用されるレーザ顕微鏡システムの構成を示す図である。
レーザ顕微鏡システムは、顕微鏡本体１、レーザコンバイナー２、スキャンユニット３、ディテクタユニット４、コントロールユニット５、表示装置６及び記憶装置７を備えている。
【００１５】
レーザコンバイナー２に設けられた１つのレーザ光源から出射したレーザ光は、ダイクロイックミラー（不図示）で反射された後スキャンユニット３に入射する。このスキャンユニット３によって、光軸はＸ軸、Ｙ軸方向に偏向走査され、顕微鏡本体１の対物レンズ（不図示）に入る。これによって視野内の焦点面上にある蛍光標識されたサンプル試料の任意の位置に、測定領域（焦点領域）を位置することができる。
【００１６】
焦点領域内の蛍光分子から発した蛍光は同じ対物レンズで補足され、逆の光路を通りダイクロイックミラーに導かれる。ダイクロイックミラーでは、励起光と比べ波長の長い蛍光を透過するように設計されており、蛍光はディテクタユニット４に到達する。ディテクタユニット４としてはＡＰＤ（アバランシェフォトダイオード）、あるいは光電子増倍管などが好適である。
【００１７】
ディテクタユニット４で光電変換された蛍光の強度信号は、コントロールユニット５に入力される。コントロールユニット５では、解析ソフトウエアによってＲＩＣＳ解析が行われる。コントロールユニット５は、ディテクタユニット４からの蛍光強度信号と、スキャンユニット３からの走査位置情報とを対応づけてＲＩＣＳ解析を行う。ＲＩＣＳ解析した結果は、適宜、表示装置６に表示され、また記憶装置７に記憶される。
【００１８】
なお、本レーザ顕微鏡システムでは、複数のレーザ光源を用いて波長の異なる複数の蛍光像を得ることができるが、以下の説明では１つのレーザ光源により得られた蛍光像を用いて解析する態様について説明する。
【００１９】
図１の右側には、本レーザ顕微鏡システムで得られる情報を模式的に示している。
サンプル８ａにレーザ光を繰り返して走査照射して複数枚の蛍光画像８ｂを得る。このそれぞれの蛍光画像８ｂに基づいて蛍光強度に関するデータ８ｃを求めて、解析ソフトウエアに入力する。解析ソフトウエアは、それぞれのデータ８ｃに基づいてＲＩＣＳ解析を実行する。即ち、空間相関計算を行って空間相関関数図８ｄを求め、その結果と基準となる空間相関関数図との間でフィッティング解析を行う。
【００２０】
続いて、ＲＩＣＳ解析の内容について詳細に説明する。
＊ステップ１：ターゲット（蛍光）分子がピクセル毎に検出できるようにレーザ光をスキャンする。
図２は、精度の良い測定に関連する諸量を示す模式図である。
図２には、ターゲット１０の移動する速度（軌跡）と、ターゲット１０に照射されたレーザスポット１１の大きさと、検出素子のピクセル位置（１，２,・・・）とが表されている。
【００２１】
図２によれば、ターゲットの動く速さ、スキャンスピード及びピクセルサイズ（１ピクセル当りの実サイズ）との間には密接な関係があることがわかる。従って、ターゲットの分子数、拡散速度などをＲＩＣＳ解析によって求める際には、図２に示す諸量が適正な値となるように設定されることが重要である。
【００２２】
＊ステップ２：設定したフレーム内でレーザをスキャンする。このスキャンを複数回実行して複数のフレームを取得する。
図３は、フレームの取得動作を説明する図である。
１つのフレーム１２のサイズ（縦長さ×横長さ）はステップ１において解析者が設定する。レーザ光は、このフレーム領域内をスキャンユニット３によって走査される。例えば、フレーム領域の左上の位置から右方向にレーザ光を１ライン走査し、続いて１段下のラインを左から右方向に走査する。この動作を一番下のラインまで繰り返して１フレーム走査を完了する。
このフレーム走査を同様にして複数回繰り返して実行して、複数のフレーム画像を取得する。
【００２３】
ここで、１ピクセルを走査する時間はμｓｅｃのオーダであり、１ラインを走査する時間はｍｓｅｃのオーダであり、１フレームを走査する時間はｓｅｃのオーダである。１フレーム走査時間を例えば１秒とし、１００枚のフレームを取得する場合は、計測時間は約１００秒となる。
【００２４】
原理的に、空間相関演算を行うためには、１枚のフレーム画面で十分である。しかし本実施の形態では、取得フレーム数を増やすことによって空間相関演算に関する平均計算を行っている。フレーム数を増やして相関関数の平均値を計算することによって遅い動きの分子情報を除去することが可能である。
【００２５】
＊ステップ３：空間相関演算を実行する。
空間相関演算は、以下の相関関数式に従って実行する。
【数１】
【００２６】
図４は、空間相関演算の内容を説明するための図である。
２枚の同一フレーム１２を、Ｘ軸方向にξ、Ｙ軸方向にψだけずらして重ね合わせる。そして、重なり合った位置の蛍光強度値を乗算した値をフレーム全体にわたって加算する。加算結果を正規化した値を点（ξ、ψ）における空間相関値とする。このξ、ψを２次元平面上で変化させて、２次元の空間相関値を取得する。
【００２７】
次に、他のフレームについてもそれぞれ２次元の空間相関値を演算する。そして、このようにして取得した複数の空間相関値をそれぞれの点について平均処理して、２Ｄ相関関数図（空間相関関数図）を得る。
【００２８】
図５は、２Ｄ相関関数図を示す図である。
上述の式からわかるように、図５の中心に位置する原点（０，０）において、相関関数値は最大値（＝１）をとる。
【００２９】
＊ステップ４：相関関数演算の結果得られる２Ｄ相関関数図を用いてフィッティング演算を行う。
このようにして得られた２Ｄ相関関数図に基いて高さ方向（Ｚ軸方向）に蛍光強度値をプロットすると、原点を中心とした山形の形状が得られる。この測定した形状を、複数の基準パターンの形状と比較して、良くフィットする基準パターンを特定する。
【００３０】
図６は、フィッティング方法を説明するための図である。
図の下側には、演算によって得られた相関関数値を３次元で表している。図の上側には、ある基準パターンとの差を３次元で表している。この差が最も小さいと評価される基準パターンを特定する。そして、特定された基準パターンに対応する分子数と拡散速度とをサンプルの平均分子数と平均拡散速度として得ることができる。
【００３１】
ところで、上述のＲＩＣＳ演算においては、測定中における外乱要因の影響を受けないように、外乱要因の存在するフレームを除外する処理が求められる。
即ち、上述のように、測定中に予期しない分子（凝集物など）が高輝度をもってＲＯＩ（Region of interest）内に流入することにより、最終的な結果の信頼性が低下することが危惧される。従って、このような高輝度分子を含むフレームを効率良く抽出できることが望まれる。
【００３２】
ここで、本願発明における基本的な考え方について、発明者の行ったＲＩＣＳ解析例をもとに説明する。
使用した解析サンプルは溶液内あるいは細胞内で観察される蛍光（蛋白質）標識蛋白質であり、その分子の動き情報及びそれから導かれるサイズ情報をＲＩＣＳなどの手法によって計測した。
【００３３】
標識には蛍光分子（ローダミン、cy3,cy5, Alexa- , Atto- など）あるいは蛍光蛋白質（EGFP, mDsRed, mRFP, mCherry, YFPなど）を用いた。また、目的によっては２色の蛍光を同時に観察することによって両者で標識した２つ以上の蛋白質同士の相互作用についても計測した。
【００３４】
この一連の計測において、以下に述べる態様で上述の分子が観測された。
ケース１：細胞内蛋白質凝集の除去
EGFP単独発現細胞において、通常であればEGFPは他の分子、細胞器官との相互作用は無いとされるが、EGFP自体がある環境（細胞内pH、温度など）によって凝集してしまうことがある。またその際、他の分子を取り込んで巨大凝集体を形成することもある。
【００３５】
このような理由で、連続して画像フレームを取得すると凝集した高輝度巨大分子が検出されるケースがある。EGFPあるいはEGFP融合蛋白質の細胞内動態を計測したい場合、これらの高輝度分子を除外して相関演算を行う必要がある。
【００３６】
ケース２：細胞内凝集蛋白質の検出
PolyQ凝集（グルタミン酸の連続結合蛋白）は神経細胞死をもたらし、ハンチントン病の原因とされる。細胞内でのPolyQ蛋白質がモノマーからポリマー、そして大きな凝集に至る経過を観察、計測することはその凝集メカニズム及び疾病原因を探る上で重要である。
【００３７】
PolyQに例えばEGFPなどの蛍光蛋白質を融合させて細胞内で発現し、PolyQ-EGFPが成長する段階でサイズが大きくなり蛍光強度も増加する。モノマーの状態ではPolyQ-EGFPは細胞内を自由に拡散するが、凝集が大きくなるにつれて大きな高輝度分子に変化し、それによって分子拡散速度も遅延する。
【００３８】
この反応をRICSなどの画像計測法で観察した場合、複数枚の画像を取得すると、凝集蛋白質として高輝度分子がフレーム内に流入することによって、その存在及び大きさを見積もることが可能となる。
【００３９】
この結果から次のことが導かれる。
（１）ＲＩＣＳ解析において観測される高輝度の分子については、外乱要因として除外すべきものであるが、その高輝度の分子自体の挙動は別途解析の対象となり得るものも含まれている。
（２）ＲＩＣＳ解析において観測される高輝度の分子には、最初から輝度が高い状態のものと、次第に凝縮して輝度とサイズを増加させる状態のものが存在する。
【００４０】
以上の検討結果に基づく本実施の形態の画像解析方法を説明する。
図７、図８は、高輝度分子を含むフレームを抽出する概略の処理手順を示す図である。
【００４１】
ステップＳ０１において、解析者は顕微鏡で観察することにより、サンプルの拡大倍率と観察視野中の撮影する領域とを決定する。ステップＳ０２において、レーザ光を照射する領域（ＲＯＩ）を設定する。さらにステップＳ０３において、取得するフレーム枚数を設定する。
【００４２】
そして、解析開始をシステムに入力すると、ステップＳ０４において、フレーム取得処理が実行される。即ち、スキャンユニット３によってレーザ光がこの領域（ＲＯＩ）内を走査し、サンプル試料の蛍光像を表すフレームが設定された枚数取得される。取得されたフレームは１つのファイルにまとめられて記憶装置７に記憶される。
【００４３】
続いて高輝度分子を含むフレームを抽出処理を実行する。
ステップＳ０９において、各パラメータ変数の初期化を実行する。即ち、ページｉ＝１、第１スタートページＳＰ１＝第１ラストページＬＰ１＝第２スタートページＳＰ２＝第２ラストページＬＰ２＝０と設定する。
【００４４】
ステップＳ１０において、記憶装置７にあるファイルからｉ番目のページのフレームを取り出す。ステップＳ１１において、そのフレーム中に所定値（Ｆ１）以上の蛍光強度をもつ領域が存在するかどうかを調べる。
ステップＳ１１においてＹｅｓの場合、即ち、フレーム中に所定値（Ｆ１）以上の蛍光強度をもつ領域が存在する場合、ステップＳ１２において、第１スタートページＳＰ１に１以上の値が設定されているかどうかを調べる。
【００４５】
ステップＳ１２においてＮｏの場合、即ち、第１スタートページＳＰ１が初期値（＝０）の場合は、このｉ番目のフレームで初めて所定値（Ｆ１）以上の蛍光強度をもつ領域を検知したため、ステップＳ１３において、第１スタートページＳＰ１＝ｉと設定する。そしてステップＳ２１の処理を実行する。
ステップＳ１２においてＹｅｓの場合、即ち、第１スタートページＳＰ１に１以上の値が設定されている場合は、所定値（Ｆ１）以上の蛍光強度をもつ領域は既に他のフレームにおいて検出されているため、特別の処理を行わない。そしてステップＳ２１の処理を実行する。
【００４６】
ステップＳ１１においてＮｏの場合、即ち、フレーム中に所定値（Ｆ１）以上の蛍光強度をもつ領域が存在しない場合、ステップＳ１４において、第１スタートページＳＰ１に１以上の値が設定されているかどうかを調べる。
【００４７】
ステップＳ１４においてＮｏの場合、即ち、第１スタートページＳＰ１は初期値（＝０）の場合は、所定値（Ｆ１）以上の蛍光強度をもつ領域はまだ検知されていないため、特別の処理を行わない。そしてステップＳ２１の処理を実行する。
ステップＳ１４においてＹｅｓの場合、即ち、第１スタートページＳＰ１に１以上の値が設定されている場合は、所定値（Ｆ１）以上の蛍光強度をもつ領域は既に他のフレームにおいて検出されているため、このｉ番目のフレームで所定値（Ｆ１）以上の蛍光強度をもつ領域がなくなった（フレーム外に流出した）ことを検知した。そこで、ステップＳ１５において、第１ラストページＬＰ１＝ｉと設定する。そしてステップＳ３１の処理を実行する。
【００４８】
図８のステップＳ２１において、そのフレーム中に所定値Ｆ２（＜Ｆ１）以上の蛍光強度をもち、かつその領域の面積がＳ以上の領域が存在するかどうかを調べる。
ステップＳ２１においてＹｅｓの場合、即ち、フレーム中に所定値Ｆ２（＜Ｆ１）以上の蛍光強度をもち、かつその領域の面積がＳ以上の領域が存在する場合、ステップＳ２２において、第２スタートページＳＰ２に１以上の値が設定されているかどうかを調べる。
【００４９】
ステップＳ２２においてＮｏの場合、即ち、第２スタートページＳＰ２が初期値（＝０）の場合は、このｉ番目のフレームで初めて所定値Ｆ２（＜Ｆ１）以上の蛍光強度をもち、かつその領域の面積がＳ以上の領域を検知したため、ステップＳ２３において、第２スタートページＳＰ２＝ｉと設定する。そしてステップＳ２６の処理を実行する。
ステップＳ２２においてＹｅｓの場合、即ち、第２スタートページＳＰ２に１以上の値が設定されている場合は、所定値Ｆ２（＜Ｆ１）以上の蛍光強度をもち、かつその領域の面積がＳ以上の領域は既に他のフレームにおいて検出されているため、特別の処理を行わない。そしてステップＳ２６の処理を実行する。
【００５０】
ステップＳ２６では、ページｉを１カウントアップする。ステップＳ２７において、全フレームについて処理したかどうかを調べる。ステップＳ２７でＮｏの場合、即ち、全フレームについて処理がされていない場合、ステップＳ１０に戻って上述の処理を繰り返す。ステップＳ２７でＹｅｓの場合、即ち、全フレームについて処理を終わった場合、ステップＳ３１の処理を実行する。
【００５１】
ステップＳ２１においてＮｏの場合、即ち、フレーム中に所定値Ｆ２（＜Ｆ１）以上の蛍光強度をもち、かつその領域の面積がＳ以上の領域が存在しない場合、ステップＳ２４において、第２スタートページＳＰ２に１以上の値が設定されているかどうかを調べる。
【００５２】
ステップＳ２４においてＮｏの場合、即ち、第２スタートページＳＰ２が初期値（＝０）の場合は、所定値Ｆ２（＜Ｆ１）以上の蛍光強度をもち、かつその領域の面積がＳ以上の領域はまだ検知されていないため、特別の処理を行わない。そしてステップＳ２６の処理を実行する。
【００５３】
ステップＳ２６では、ページｉを１カウントアップする。ステップＳ２７において、全フレームについて処理したかどうかを調べる。ステップＳ２７でＮｏの場合、即ち、全フレームについて処理がされていない場合、ステップＳ１０に戻って上述の処理を繰り返す。ステップＳ２７でＹｅｓの場合、即ち、全フレームについて処理を終わった場合、ステップＳ３１の処理を実行する。
【００５４】
ステップＳ２４においてＹｅｓの場合、即ち、第２スタートページＳＰ２に１以上の値が設定されている場合は、所定値Ｆ２（＜Ｆ１）以上の蛍光強度をもち、かつその領域の面積がＳ以上の領域は既に他のフレームにおいて検出されているため、このｉ番目のフレームで当該領域がなくなった（フレーム外に流出した）ことを検知したと考えられる。そこでステップＳ２５において、第２ラストページＬＰ２＝ｉと設定する。そしてステップＳ３１の処理を実行する。
【００５５】
次に抽出した結果に基づいてフレーム除外処理を実行する。
ステップＳ３１において、ＳＰ１あるいはＳＰ２に１以上の値が設定されているかどうかを調べる。ステップＳ３１でＹｅｓの場合、即ち、ＳＰ１あるいはＳＰ２に１以上の値が設定されている場合は、ステップＳ３２において、記録されているファイルからページＳＰ１〜ＬＰ１、あるいはページＳＰ２〜ＬＰ２を除いた新たなファイルを生成して記憶装置７に記憶する。
なお、ＳＰ１又はＳＰ２に１以上の値が設定されているが、対応するＬＰ１又はＬＰ２が０の場合は、ＬＰ１又はＬＰ２にはファイルの最終ページを設定する。
【００５６】
ステップＳ３３において、ページＳＰ１〜ＬＰ１、あるいはページＳＰ２〜ＬＰ２に対応するフレームを別のファイルとして生成して記憶装置７に記憶する。そして、ステップＳ４０において、記憶装置７から処理後の新たなファイルを読み出してＲＩＣＳ解析を実行する。
【００５７】
ステップＳ３１でＮｏの場合、即ち、ＳＰ１及びＳＰ２が初期値の状態（＝０）のときは、高輝度分子は存在していないため、ステップＳ３４において、フレームについての処理を行わない。そして、ステップＳ４０において、記憶装置７から処理後の新たなファイルを読み出してＲＩＣＳ解析を実行する。
【００５８】
図９は、高輝度分子を含むフレームを抽出する処理を模式的に示す図である。
１ファイル中にフレームが全部でｎ枚存在していた場合、ｉ番目のフレームに高輝度の分子が観測され、ｏ番目のフレームに高輝度の分子が観測されなかったときは、元のフレームからｉ番目〜ｏ番目のフレームが除去されるとともに、ｉ番目〜ｏ番目のフレームで別のファイルが構成される。
【００５９】
なお、除去するフレームを確定する際は、上述のように全自動で処理しても良く、あるいは抽出したｉ番目〜ｏ番目のフレームを含む複数のフレームを表示装置６に表示し、それに基づいて解析者が選択したフレームを除去するように構成しても良い。
【００６０】
以上説明した実施の形態によれば、種々の効果を奏することができる。
【００６１】
（１）高輝度分子の存在を判断する条件として、異なる２つの基準を設けている。
１つの基準は、高輝度（Ｆ１以上）の領域が存在した場合であり、これは最初から輝度の高い高輝度巨大分子がフレーム内に流入してきたことを検知する条件である。この場合の輝度値は、例えば、通常の（高輝度分子でないサンプルの）蛍光強度の約１００倍以上 と設定することができる。
【００６２】
他の基準は、高輝度Ｆ２（＜Ｆ１）の面積がＳ以上の領域が存在した場合であり、これは分子が成長する段階でサイズが大きくなり蛍光強度も増加していることを検知する条件である。この場合の輝度値は、例えば、通常の（高輝度分子でないサンプルの）蛍光強度の 約５０倍以上 と設定することができる。またサイズは例えば、ピクセル数で１０個以上 と設定することができる。
上述の１００倍、５０倍、１０個の各値は発明者が実機において観測した結果に基づいて抽出した値である。従って、この値に従って処理することで、どのようなタイプの高輝度分子が存在するかを自動で判定することができる。
【００６３】
（２）検出結果を有効に利用することができる。
検出した高輝度分子が存在するフレームを、元のファイルから除去するだけでなく、別のファイルとして作成する。この結果、新たに作成されたファイルを高輝度分子解析用に利用することができる。
なお、上述の処理フローでは、検出基準によらず全て抽出して保存しているが、高輝度Ｆ２（＜Ｆ１）の面積がＳ以上の領域が存在した場合にのみ、高輝度分子解析用に保存しても良い。
【００６４】
（３）効率的に処理することができる。
【００６５】
上述の処理方法によれば、フレーム中の輝度値とサイズのみを調べることで高輝度分子の有無を簡便にかつ効率的に判断することができる。
【００６６】
尚、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。
また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００６７】
１…顕微鏡本体、２…レーザコンバイナー、３…スキャンユニット、４…ディテクタユニット、５…コントロールユニット、６…表示装置、７…記憶装置、８ａ…サンプル、８ｂ…蛍光画像、１２…フレーム。
【技術分野】
【０００１】
本発明は、複数枚の画像から特定の画像を抽出するための画像解析技術に関する。
【背景技術】
【０００２】
ＲＩＣＳ（Raster-scan Image Correlation Spectroscopy）は顕微鏡画像などのスキャンイメージをもとに画像ピクセル毎のシグナル強度を空間相関演算して分子の拡散速度及び濃度を計算する手法である。
【０００３】
非特許文献１は、ＲＩＣＳの開発者であるＧｒａｔｔｏｎらがＲＩＣＳの原理の説明を中心とし、細胞での計測についても述べたもので、ＧＦＰ発現細胞に対してＧＦＰ−Ｐａｘｉｌｌｉｎの細胞内局在と拡散をＲＩＣＳにて計測した例を挙げている。Ｐａｘｉｌｌｉｎとは細胞膜内側においてアクチンやインテグリンなどの細胞膜蛋白質と相互作用して細胞外マトリックスとの接着などに関連する蛋白質である。この論文中では、局在したＰａｘｉｌｌｉｎ−ＧＦＰのＲＩＣＳ計測結果を示し、ＧＦＰ単独に比べて１０倍近く遅い拡散速度が得られたことから、ＲＩＣＳ計測の実用性をアピールしている。
【０００４】
非特許文献２は、ＲＩＣＳについてその画像取得条件及び相関関数演算の条件設定などについて詳細に調べたものである。解析に用いる画像について、Ｓ／Ｎを上げるためにはある程度の複数枚画像が必要であることを示唆している。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】MA.Digman et.al., “Measuring Fast Dynamics in Solutions and Cells with a Laser Scanning Microscope.”, Biophysical Journal Vol. 89, 1317-1327, 2005.
【非特許文献２】CM. Brown et al. “Raster image correlation spectroscopy (RICS) for measuring fast protein dynamics and concentrations with a commercial laser scanning confocal microscope.” J Microsc. 229, 78-91. 2008.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、対象物（例えば分子など）の動きを統計的に計測する場合、サイズや拡散速度が均一もしくは生理的な分子間相互作用などによって分子サイズが大きくなりその結果で拡散が遅くなるようなターゲット分子の挙動を調べる。この際、測定中に予期しない異常分子（凝集物など）が高輝度をもってＲＯＩ（Region of interest）内に流入することにより、最終的な結果の信頼性が低下することが危惧される。
【０００７】
ＲＩＣＳ計測では複数枚の画像フレームを取得して演算を行うことから、画像取得時に観察領域内を通過する高輝度蛍光分子（凝集分子など）は画像フレーム毎除去することが可能である。しかし、約１００枚の連続フレーム画像からこの問題となるフレームを除くには一枚一枚詳細に確認しなくてはならず、煩雑で手間がかかる作業となっていた。
【０００８】
本願発明は係る事情に鑑みてなされたものであって、複数枚の画像から特定の画像を効率的に抽出することのできる画像解析装置、画像解析方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するための本発明は、複数枚の時系列の画像を取得して解析演算を行う画像解析装置において、前記複数枚の画像を時系列順に調べて最初に第１の条件を充足する第１の画像を検出する第１の画像検出手段と、前記第１の画像に続く画像を時系列順に調べて最初に前記第１の条件を充足しない第２の画像を検出する第２の画像検出手段と、前記第１の画像から前記第２の画像までの一連の画像を抽出する第１の画像抽出手段と、前記複数枚の画像から前記一連の画像を除去した新たな複数枚の画像を用いて解析演算を実行する解析手段とを有し、前記第１の条件は、前記画像中に第１の輝度値以上の領域が存在している画像解析装置である。
【００１０】
また本発明は、複数枚の時系列の画像を取得して解析演算を行う画像解析方法において、前記複数枚の画像を時系列順に調べて最初に第１の条件を充足する第１の画像を検出し、前記第１の画像に続く画像を時系列順に調べて最初に前記第１の条件を充足しない第２の画像を検出し、前記第１の画像から前記第２の画像までの一連の画像を抽出し、前記複数枚の画像から前記一連の画像を除去した新たな複数枚の画像を用いて解析演算を実行し、前記第１の条件は、前記画像中に第１の輝度値以上の領域が存在している画像解析方法である。
【００１１】
また本発明は、複数枚の時系列の画像を取得して解析演算を行う画像解析プログラムにおいて、前記複数枚の画像を時系列順に調べて最初に第１の条件を充足する第１の画像を検出する手順、前記第１の画像に続く画像を時系列順に調べて最初に前記第１の条件を充足しない第２の画像を検出する手順、前記第１の画像から前記第２の画像までの一連の画像を抽出する手順、前記複数枚の画像から前記一連の画像を除去した新たな複数枚の画像を用いて解析演算を実行する手順をコンピュータに実行させ、前記第１の条件は、前記画像中に第１の輝度値以上の領域が存在しているプログラムである。
【発明の効果】
【００１２】
この発明によれば、複数枚の画像から特定の画像を効率的に抽出することのできる画像解析装置、画像解析方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本実施の形態の画像解析方法が適用されるレーザ顕微鏡システムの構成を示す図。
【図２】精度の良い測定に関連する諸量を示す模式図。
【図３】フレームの取得動作を説明する図。
【図４】空間相関演算の内容を説明するための図。
【図５】２Ｄ相関関数図を示す図。
【図６】フィッティング方法を説明するための図。
【図７】高輝度分子を含むフレームを抽出する概略の処理手順を示す図。
【図８】高輝度分子を含むフレームを抽出する概略の処理手順を示す図。
【図９】高輝度分子を含むフレームを抽出する処理を模式的に示す図。
【発明を実施するための形態】
【００１４】
図１は、本実施の形態の画像解析方法が適用されるレーザ顕微鏡システムの構成を示す図である。
レーザ顕微鏡システムは、顕微鏡本体１、レーザコンバイナー２、スキャンユニット３、ディテクタユニット４、コントロールユニット５、表示装置６及び記憶装置７を備えている。
【００１５】
レーザコンバイナー２に設けられた１つのレーザ光源から出射したレーザ光は、ダイクロイックミラー（不図示）で反射された後スキャンユニット３に入射する。このスキャンユニット３によって、光軸はＸ軸、Ｙ軸方向に偏向走査され、顕微鏡本体１の対物レンズ（不図示）に入る。これによって視野内の焦点面上にある蛍光標識されたサンプル試料の任意の位置に、測定領域（焦点領域）を位置することができる。
【００１６】
焦点領域内の蛍光分子から発した蛍光は同じ対物レンズで補足され、逆の光路を通りダイクロイックミラーに導かれる。ダイクロイックミラーでは、励起光と比べ波長の長い蛍光を透過するように設計されており、蛍光はディテクタユニット４に到達する。ディテクタユニット４としてはＡＰＤ（アバランシェフォトダイオード）、あるいは光電子増倍管などが好適である。
【００１７】
ディテクタユニット４で光電変換された蛍光の強度信号は、コントロールユニット５に入力される。コントロールユニット５では、解析ソフトウエアによってＲＩＣＳ解析が行われる。コントロールユニット５は、ディテクタユニット４からの蛍光強度信号と、スキャンユニット３からの走査位置情報とを対応づけてＲＩＣＳ解析を行う。ＲＩＣＳ解析した結果は、適宜、表示装置６に表示され、また記憶装置７に記憶される。
【００１８】
なお、本レーザ顕微鏡システムでは、複数のレーザ光源を用いて波長の異なる複数の蛍光像を得ることができるが、以下の説明では１つのレーザ光源により得られた蛍光像を用いて解析する態様について説明する。
【００１９】
図１の右側には、本レーザ顕微鏡システムで得られる情報を模式的に示している。
サンプル８ａにレーザ光を繰り返して走査照射して複数枚の蛍光画像８ｂを得る。このそれぞれの蛍光画像８ｂに基づいて蛍光強度に関するデータ８ｃを求めて、解析ソフトウエアに入力する。解析ソフトウエアは、それぞれのデータ８ｃに基づいてＲＩＣＳ解析を実行する。即ち、空間相関計算を行って空間相関関数図８ｄを求め、その結果と基準となる空間相関関数図との間でフィッティング解析を行う。
【００２０】
続いて、ＲＩＣＳ解析の内容について詳細に説明する。
＊ステップ１：ターゲット（蛍光）分子がピクセル毎に検出できるようにレーザ光をスキャンする。
図２は、精度の良い測定に関連する諸量を示す模式図である。
図２には、ターゲット１０の移動する速度（軌跡）と、ターゲット１０に照射されたレーザスポット１１の大きさと、検出素子のピクセル位置（１，２,・・・）とが表されている。
【００２１】
図２によれば、ターゲットの動く速さ、スキャンスピード及びピクセルサイズ（１ピクセル当りの実サイズ）との間には密接な関係があることがわかる。従って、ターゲットの分子数、拡散速度などをＲＩＣＳ解析によって求める際には、図２に示す諸量が適正な値となるように設定されることが重要である。
【００２２】
＊ステップ２：設定したフレーム内でレーザをスキャンする。このスキャンを複数回実行して複数のフレームを取得する。
図３は、フレームの取得動作を説明する図である。
１つのフレーム１２のサイズ（縦長さ×横長さ）はステップ１において解析者が設定する。レーザ光は、このフレーム領域内をスキャンユニット３によって走査される。例えば、フレーム領域の左上の位置から右方向にレーザ光を１ライン走査し、続いて１段下のラインを左から右方向に走査する。この動作を一番下のラインまで繰り返して１フレーム走査を完了する。
このフレーム走査を同様にして複数回繰り返して実行して、複数のフレーム画像を取得する。
【００２３】
ここで、１ピクセルを走査する時間はμｓｅｃのオーダであり、１ラインを走査する時間はｍｓｅｃのオーダであり、１フレームを走査する時間はｓｅｃのオーダである。１フレーム走査時間を例えば１秒とし、１００枚のフレームを取得する場合は、計測時間は約１００秒となる。
【００２４】
原理的に、空間相関演算を行うためには、１枚のフレーム画面で十分である。しかし本実施の形態では、取得フレーム数を増やすことによって空間相関演算に関する平均計算を行っている。フレーム数を増やして相関関数の平均値を計算することによって遅い動きの分子情報を除去することが可能である。
【００２５】
＊ステップ３：空間相関演算を実行する。
空間相関演算は、以下の相関関数式に従って実行する。
【数１】
【００２６】
図４は、空間相関演算の内容を説明するための図である。
２枚の同一フレーム１２を、Ｘ軸方向にξ、Ｙ軸方向にψだけずらして重ね合わせる。そして、重なり合った位置の蛍光強度値を乗算した値をフレーム全体にわたって加算する。加算結果を正規化した値を点（ξ、ψ）における空間相関値とする。このξ、ψを２次元平面上で変化させて、２次元の空間相関値を取得する。
【００２７】
次に、他のフレームについてもそれぞれ２次元の空間相関値を演算する。そして、このようにして取得した複数の空間相関値をそれぞれの点について平均処理して、２Ｄ相関関数図（空間相関関数図）を得る。
【００２８】
図５は、２Ｄ相関関数図を示す図である。
上述の式からわかるように、図５の中心に位置する原点（０，０）において、相関関数値は最大値（＝１）をとる。
【００２９】
＊ステップ４：相関関数演算の結果得られる２Ｄ相関関数図を用いてフィッティング演算を行う。
このようにして得られた２Ｄ相関関数図に基いて高さ方向（Ｚ軸方向）に蛍光強度値をプロットすると、原点を中心とした山形の形状が得られる。この測定した形状を、複数の基準パターンの形状と比較して、良くフィットする基準パターンを特定する。
【００３０】
図６は、フィッティング方法を説明するための図である。
図の下側には、演算によって得られた相関関数値を３次元で表している。図の上側には、ある基準パターンとの差を３次元で表している。この差が最も小さいと評価される基準パターンを特定する。そして、特定された基準パターンに対応する分子数と拡散速度とをサンプルの平均分子数と平均拡散速度として得ることができる。
【００３１】
ところで、上述のＲＩＣＳ演算においては、測定中における外乱要因の影響を受けないように、外乱要因の存在するフレームを除外する処理が求められる。
即ち、上述のように、測定中に予期しない分子（凝集物など）が高輝度をもってＲＯＩ（Region of interest）内に流入することにより、最終的な結果の信頼性が低下することが危惧される。従って、このような高輝度分子を含むフレームを効率良く抽出できることが望まれる。
【００３２】
ここで、本願発明における基本的な考え方について、発明者の行ったＲＩＣＳ解析例をもとに説明する。
使用した解析サンプルは溶液内あるいは細胞内で観察される蛍光（蛋白質）標識蛋白質であり、その分子の動き情報及びそれから導かれるサイズ情報をＲＩＣＳなどの手法によって計測した。
【００３３】
標識には蛍光分子（ローダミン、cy3,cy5, Alexa- , Atto- など）あるいは蛍光蛋白質（EGFP, mDsRed, mRFP, mCherry, YFPなど）を用いた。また、目的によっては２色の蛍光を同時に観察することによって両者で標識した２つ以上の蛋白質同士の相互作用についても計測した。
【００３４】
この一連の計測において、以下に述べる態様で上述の分子が観測された。
ケース１：細胞内蛋白質凝集の除去
EGFP単独発現細胞において、通常であればEGFPは他の分子、細胞器官との相互作用は無いとされるが、EGFP自体がある環境（細胞内pH、温度など）によって凝集してしまうことがある。またその際、他の分子を取り込んで巨大凝集体を形成することもある。
【００３５】
このような理由で、連続して画像フレームを取得すると凝集した高輝度巨大分子が検出されるケースがある。EGFPあるいはEGFP融合蛋白質の細胞内動態を計測したい場合、これらの高輝度分子を除外して相関演算を行う必要がある。
【００３６】
ケース２：細胞内凝集蛋白質の検出
PolyQ凝集（グルタミン酸の連続結合蛋白）は神経細胞死をもたらし、ハンチントン病の原因とされる。細胞内でのPolyQ蛋白質がモノマーからポリマー、そして大きな凝集に至る経過を観察、計測することはその凝集メカニズム及び疾病原因を探る上で重要である。
【００３７】
PolyQに例えばEGFPなどの蛍光蛋白質を融合させて細胞内で発現し、PolyQ-EGFPが成長する段階でサイズが大きくなり蛍光強度も増加する。モノマーの状態ではPolyQ-EGFPは細胞内を自由に拡散するが、凝集が大きくなるにつれて大きな高輝度分子に変化し、それによって分子拡散速度も遅延する。
【００３８】
この反応をRICSなどの画像計測法で観察した場合、複数枚の画像を取得すると、凝集蛋白質として高輝度分子がフレーム内に流入することによって、その存在及び大きさを見積もることが可能となる。
【００３９】
この結果から次のことが導かれる。
（１）ＲＩＣＳ解析において観測される高輝度の分子については、外乱要因として除外すべきものであるが、その高輝度の分子自体の挙動は別途解析の対象となり得るものも含まれている。
（２）ＲＩＣＳ解析において観測される高輝度の分子には、最初から輝度が高い状態のものと、次第に凝縮して輝度とサイズを増加させる状態のものが存在する。
【００４０】
以上の検討結果に基づく本実施の形態の画像解析方法を説明する。
図７、図８は、高輝度分子を含むフレームを抽出する概略の処理手順を示す図である。
【００４１】
ステップＳ０１において、解析者は顕微鏡で観察することにより、サンプルの拡大倍率と観察視野中の撮影する領域とを決定する。ステップＳ０２において、レーザ光を照射する領域（ＲＯＩ）を設定する。さらにステップＳ０３において、取得するフレーム枚数を設定する。
【００４２】
そして、解析開始をシステムに入力すると、ステップＳ０４において、フレーム取得処理が実行される。即ち、スキャンユニット３によってレーザ光がこの領域（ＲＯＩ）内を走査し、サンプル試料の蛍光像を表すフレームが設定された枚数取得される。取得されたフレームは１つのファイルにまとめられて記憶装置７に記憶される。
【００４３】
続いて高輝度分子を含むフレームを抽出処理を実行する。
ステップＳ０９において、各パラメータ変数の初期化を実行する。即ち、ページｉ＝１、第１スタートページＳＰ１＝第１ラストページＬＰ１＝第２スタートページＳＰ２＝第２ラストページＬＰ２＝０と設定する。
【００４４】
ステップＳ１０において、記憶装置７にあるファイルからｉ番目のページのフレームを取り出す。ステップＳ１１において、そのフレーム中に所定値（Ｆ１）以上の蛍光強度をもつ領域が存在するかどうかを調べる。
ステップＳ１１においてＹｅｓの場合、即ち、フレーム中に所定値（Ｆ１）以上の蛍光強度をもつ領域が存在する場合、ステップＳ１２において、第１スタートページＳＰ１に１以上の値が設定されているかどうかを調べる。
【００４５】
ステップＳ１２においてＮｏの場合、即ち、第１スタートページＳＰ１が初期値（＝０）の場合は、このｉ番目のフレームで初めて所定値（Ｆ１）以上の蛍光強度をもつ領域を検知したため、ステップＳ１３において、第１スタートページＳＰ１＝ｉと設定する。そしてステップＳ２１の処理を実行する。
ステップＳ１２においてＹｅｓの場合、即ち、第１スタートページＳＰ１に１以上の値が設定されている場合は、所定値（Ｆ１）以上の蛍光強度をもつ領域は既に他のフレームにおいて検出されているため、特別の処理を行わない。そしてステップＳ２１の処理を実行する。
【００４６】
ステップＳ１１においてＮｏの場合、即ち、フレーム中に所定値（Ｆ１）以上の蛍光強度をもつ領域が存在しない場合、ステップＳ１４において、第１スタートページＳＰ１に１以上の値が設定されているかどうかを調べる。
【００４７】
ステップＳ１４においてＮｏの場合、即ち、第１スタートページＳＰ１は初期値（＝０）の場合は、所定値（Ｆ１）以上の蛍光強度をもつ領域はまだ検知されていないため、特別の処理を行わない。そしてステップＳ２１の処理を実行する。
ステップＳ１４においてＹｅｓの場合、即ち、第１スタートページＳＰ１に１以上の値が設定されている場合は、所定値（Ｆ１）以上の蛍光強度をもつ領域は既に他のフレームにおいて検出されているため、このｉ番目のフレームで所定値（Ｆ１）以上の蛍光強度をもつ領域がなくなった（フレーム外に流出した）ことを検知した。そこで、ステップＳ１５において、第１ラストページＬＰ１＝ｉと設定する。そしてステップＳ３１の処理を実行する。
【００４８】
図８のステップＳ２１において、そのフレーム中に所定値Ｆ２（＜Ｆ１）以上の蛍光強度をもち、かつその領域の面積がＳ以上の領域が存在するかどうかを調べる。
ステップＳ２１においてＹｅｓの場合、即ち、フレーム中に所定値Ｆ２（＜Ｆ１）以上の蛍光強度をもち、かつその領域の面積がＳ以上の領域が存在する場合、ステップＳ２２において、第２スタートページＳＰ２に１以上の値が設定されているかどうかを調べる。
【００４９】
ステップＳ２２においてＮｏの場合、即ち、第２スタートページＳＰ２が初期値（＝０）の場合は、このｉ番目のフレームで初めて所定値Ｆ２（＜Ｆ１）以上の蛍光強度をもち、かつその領域の面積がＳ以上の領域を検知したため、ステップＳ２３において、第２スタートページＳＰ２＝ｉと設定する。そしてステップＳ２６の処理を実行する。
ステップＳ２２においてＹｅｓの場合、即ち、第２スタートページＳＰ２に１以上の値が設定されている場合は、所定値Ｆ２（＜Ｆ１）以上の蛍光強度をもち、かつその領域の面積がＳ以上の領域は既に他のフレームにおいて検出されているため、特別の処理を行わない。そしてステップＳ２６の処理を実行する。
【００５０】
ステップＳ２６では、ページｉを１カウントアップする。ステップＳ２７において、全フレームについて処理したかどうかを調べる。ステップＳ２７でＮｏの場合、即ち、全フレームについて処理がされていない場合、ステップＳ１０に戻って上述の処理を繰り返す。ステップＳ２７でＹｅｓの場合、即ち、全フレームについて処理を終わった場合、ステップＳ３１の処理を実行する。
【００５１】
ステップＳ２１においてＮｏの場合、即ち、フレーム中に所定値Ｆ２（＜Ｆ１）以上の蛍光強度をもち、かつその領域の面積がＳ以上の領域が存在しない場合、ステップＳ２４において、第２スタートページＳＰ２に１以上の値が設定されているかどうかを調べる。
【００５２】
ステップＳ２４においてＮｏの場合、即ち、第２スタートページＳＰ２が初期値（＝０）の場合は、所定値Ｆ２（＜Ｆ１）以上の蛍光強度をもち、かつその領域の面積がＳ以上の領域はまだ検知されていないため、特別の処理を行わない。そしてステップＳ２６の処理を実行する。
【００５３】
ステップＳ２６では、ページｉを１カウントアップする。ステップＳ２７において、全フレームについて処理したかどうかを調べる。ステップＳ２７でＮｏの場合、即ち、全フレームについて処理がされていない場合、ステップＳ１０に戻って上述の処理を繰り返す。ステップＳ２７でＹｅｓの場合、即ち、全フレームについて処理を終わった場合、ステップＳ３１の処理を実行する。
【００５４】
ステップＳ２４においてＹｅｓの場合、即ち、第２スタートページＳＰ２に１以上の値が設定されている場合は、所定値Ｆ２（＜Ｆ１）以上の蛍光強度をもち、かつその領域の面積がＳ以上の領域は既に他のフレームにおいて検出されているため、このｉ番目のフレームで当該領域がなくなった（フレーム外に流出した）ことを検知したと考えられる。そこでステップＳ２５において、第２ラストページＬＰ２＝ｉと設定する。そしてステップＳ３１の処理を実行する。
【００５５】
次に抽出した結果に基づいてフレーム除外処理を実行する。
ステップＳ３１において、ＳＰ１あるいはＳＰ２に１以上の値が設定されているかどうかを調べる。ステップＳ３１でＹｅｓの場合、即ち、ＳＰ１あるいはＳＰ２に１以上の値が設定されている場合は、ステップＳ３２において、記録されているファイルからページＳＰ１〜ＬＰ１、あるいはページＳＰ２〜ＬＰ２を除いた新たなファイルを生成して記憶装置７に記憶する。
なお、ＳＰ１又はＳＰ２に１以上の値が設定されているが、対応するＬＰ１又はＬＰ２が０の場合は、ＬＰ１又はＬＰ２にはファイルの最終ページを設定する。
【００５６】
ステップＳ３３において、ページＳＰ１〜ＬＰ１、あるいはページＳＰ２〜ＬＰ２に対応するフレームを別のファイルとして生成して記憶装置７に記憶する。そして、ステップＳ４０において、記憶装置７から処理後の新たなファイルを読み出してＲＩＣＳ解析を実行する。
【００５７】
ステップＳ３１でＮｏの場合、即ち、ＳＰ１及びＳＰ２が初期値の状態（＝０）のときは、高輝度分子は存在していないため、ステップＳ３４において、フレームについての処理を行わない。そして、ステップＳ４０において、記憶装置７から処理後の新たなファイルを読み出してＲＩＣＳ解析を実行する。
【００５８】
図９は、高輝度分子を含むフレームを抽出する処理を模式的に示す図である。
１ファイル中にフレームが全部でｎ枚存在していた場合、ｉ番目のフレームに高輝度の分子が観測され、ｏ番目のフレームに高輝度の分子が観測されなかったときは、元のフレームからｉ番目〜ｏ番目のフレームが除去されるとともに、ｉ番目〜ｏ番目のフレームで別のファイルが構成される。
【００５９】
なお、除去するフレームを確定する際は、上述のように全自動で処理しても良く、あるいは抽出したｉ番目〜ｏ番目のフレームを含む複数のフレームを表示装置６に表示し、それに基づいて解析者が選択したフレームを除去するように構成しても良い。
【００６０】
以上説明した実施の形態によれば、種々の効果を奏することができる。
【００６１】
（１）高輝度分子の存在を判断する条件として、異なる２つの基準を設けている。
１つの基準は、高輝度（Ｆ１以上）の領域が存在した場合であり、これは最初から輝度の高い高輝度巨大分子がフレーム内に流入してきたことを検知する条件である。この場合の輝度値は、例えば、通常の（高輝度分子でないサンプルの）蛍光強度の約１００倍以上 と設定することができる。
【００６２】
他の基準は、高輝度Ｆ２（＜Ｆ１）の面積がＳ以上の領域が存在した場合であり、これは分子が成長する段階でサイズが大きくなり蛍光強度も増加していることを検知する条件である。この場合の輝度値は、例えば、通常の（高輝度分子でないサンプルの）蛍光強度の 約５０倍以上 と設定することができる。またサイズは例えば、ピクセル数で１０個以上 と設定することができる。
上述の１００倍、５０倍、１０個の各値は発明者が実機において観測した結果に基づいて抽出した値である。従って、この値に従って処理することで、どのようなタイプの高輝度分子が存在するかを自動で判定することができる。
【００６３】
（２）検出結果を有効に利用することができる。
検出した高輝度分子が存在するフレームを、元のファイルから除去するだけでなく、別のファイルとして作成する。この結果、新たに作成されたファイルを高輝度分子解析用に利用することができる。
なお、上述の処理フローでは、検出基準によらず全て抽出して保存しているが、高輝度Ｆ２（＜Ｆ１）の面積がＳ以上の領域が存在した場合にのみ、高輝度分子解析用に保存しても良い。
【００６４】
（３）効率的に処理することができる。
【００６５】
上述の処理方法によれば、フレーム中の輝度値とサイズのみを調べることで高輝度分子の有無を簡便にかつ効率的に判断することができる。
【００６６】
尚、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。
また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００６７】
１…顕微鏡本体、２…レーザコンバイナー、３…スキャンユニット、４…ディテクタユニット、５…コントロールユニット、６…表示装置、７…記憶装置、８ａ…サンプル、８ｂ…蛍光画像、１２…フレーム。
【特許請求の範囲】
【請求項１】
複数枚の時系列の画像を取得して解析演算を行う画像解析装置において、
前記複数枚の画像を時系列順に調べて最初に第１の条件を充足する第１の画像を検出する第１の画像検出手段と、
前記第１の画像に続く画像を時系列順に調べて最初に前記第１の条件を充足しない第２の画像を検出する第２の画像検出手段と、
前記第１の画像から前記第２の画像までの一連の画像を抽出する第１の画像抽出手段と、
前記複数枚の画像から前記一連の画像を除去した新たな複数枚の画像を用いて解析演算を実行する解析手段とを有し、
前記第１の条件は、前記画像中に第１の輝度値以上の領域が存在していることを特徴とする画像解析装置。
【請求項２】
前記複数枚の画像を時系列順に調べて最初に第２の条件を充足する第３の画像を検出する第３の画像検出手段と、
前記第３の画像に続く画像を時系列順に調べて最初に前記第２の条件を充足しない第４の画像を検出する第４の画像検出手段と、
前記第３の画像から前記第４の画像までの一連の画像を抽出する第２の画像抽出手段とを更に有し、
前記解析手段は、前記複数枚の画像から前記一連の画像を除去した新たな複数枚の画像を用いて解析演算を実行し、
前記第２の条件は、前記画像中に第１の輝度値よりも小さい第２の輝度値以上の領域が存在して、当該領域の面積が所定値以上であることを特徴とする請求項１に記載の画像解析装置。
【請求項３】
抽出した前記一連の画像を別の複数枚の時系列の画像として保存する別画像保存手段を更に有することを特徴とする請求項１または２に記載の画像解析装置。
【請求項４】
前記複数枚の時系列の画像は、同一の測定視野に対して光学的に走査して得られる時系列の画像であることを特徴とする請求項３に記載の画像解析装置。
【請求項５】
前記解析演算は、空間相関演算を含むＲＩＣＳ解析であることを特徴とする請求項４に記載の画像解析装置。
【請求項６】
複数枚の時系列の画像を取得して解析演算を行う画像解析方法において、
前記複数枚の画像を時系列順に調べて最初に第１の条件を充足する第１の画像を検出し、
前記第１の画像に続く画像を時系列順に調べて最初に前記第１の条件を充足しない第２の画像を検出し、
前記第１の画像から前記第２の画像までの一連の画像を抽出し、
前記複数枚の画像から前記一連の画像を除去した新たな複数枚の画像を用いて解析演算を実行し、
前記第１の条件は、前記画像中に第１の輝度値以上の領域が存在していることを特徴とする画像解析方法。
【請求項７】
前記複数枚の画像を時系列順に調べて最初に第２の条件を充足する第３の画像を検出し、
前記第３の画像に続く画像を時系列順に調べて最初に前記第２の条件を充足しない第４の画像を検出し、
前記第３の画像から前記第４の画像までの一連の画像を抽出し、
前記複数枚の画像から前記一連の画像を除去した新たな複数枚の画像を用いて解析演算を実行し、
前記第２の条件は、前記画像中に第１の輝度値よりも小さい第２の輝度値以上の領域が存在して、当該領域の面積が所定値以上であることを特徴とする請求項７に記載の画像解析方法。
【請求項８】
複数枚の時系列の画像を取得して解析演算を行う画像解析プログラムにおいて、
前記複数枚の画像を時系列順に調べて最初に第１の条件を充足する第１の画像を検出する手順、
前記第１の画像に続く画像を時系列順に調べて最初に前記第１の条件を充足しない第２の画像を検出する手順、
前記第１の画像から前記第２の画像までの一連の画像を抽出する手順、
前記複数枚の画像から前記一連の画像を除去した新たな複数枚の画像を用いて解析演算を実行する手順
をコンピュータに実行させ、
前記第１の条件は、前記画像中に第１の輝度値以上の領域が存在していることを特徴とするプログラム。
【請求項９】
前記複数枚の画像を時系列順に調べて最初に第２の条件を充足する第３の画像を検出する手順、
前記第３の画像に続く画像を時系列順に調べて最初に前記第２の条件を充足しない第４の画像を検出する手順、
前記第３の画像から前記第４の画像までの一連の画像を抽出する手順、
前記複数枚の画像から前記一連の画像を除去した新たな複数枚の画像を用いて解析演算を実行する手順、
を更にコンピュータに実行させ、
前記第２の条件は、前記画像中に第１の輝度値よりも小さい第２の輝度値以上の領域が存在して、当該領域の面積が所定値以上であることを特徴とする請求項８に記載のプログラム。
【請求項１】
複数枚の時系列の画像を取得して解析演算を行う画像解析装置において、
前記複数枚の画像を時系列順に調べて最初に第１の条件を充足する第１の画像を検出する第１の画像検出手段と、
前記第１の画像に続く画像を時系列順に調べて最初に前記第１の条件を充足しない第２の画像を検出する第２の画像検出手段と、
前記第１の画像から前記第２の画像までの一連の画像を抽出する第１の画像抽出手段と、
前記複数枚の画像から前記一連の画像を除去した新たな複数枚の画像を用いて解析演算を実行する解析手段とを有し、
前記第１の条件は、前記画像中に第１の輝度値以上の領域が存在していることを特徴とする画像解析装置。
【請求項２】
前記複数枚の画像を時系列順に調べて最初に第２の条件を充足する第３の画像を検出する第３の画像検出手段と、
前記第３の画像に続く画像を時系列順に調べて最初に前記第２の条件を充足しない第４の画像を検出する第４の画像検出手段と、
前記第３の画像から前記第４の画像までの一連の画像を抽出する第２の画像抽出手段とを更に有し、
前記解析手段は、前記複数枚の画像から前記一連の画像を除去した新たな複数枚の画像を用いて解析演算を実行し、
前記第２の条件は、前記画像中に第１の輝度値よりも小さい第２の輝度値以上の領域が存在して、当該領域の面積が所定値以上であることを特徴とする請求項１に記載の画像解析装置。
【請求項３】
抽出した前記一連の画像を別の複数枚の時系列の画像として保存する別画像保存手段を更に有することを特徴とする請求項１または２に記載の画像解析装置。
【請求項４】
前記複数枚の時系列の画像は、同一の測定視野に対して光学的に走査して得られる時系列の画像であることを特徴とする請求項３に記載の画像解析装置。
【請求項５】
前記解析演算は、空間相関演算を含むＲＩＣＳ解析であることを特徴とする請求項４に記載の画像解析装置。
【請求項６】
複数枚の時系列の画像を取得して解析演算を行う画像解析方法において、
前記複数枚の画像を時系列順に調べて最初に第１の条件を充足する第１の画像を検出し、
前記第１の画像に続く画像を時系列順に調べて最初に前記第１の条件を充足しない第２の画像を検出し、
前記第１の画像から前記第２の画像までの一連の画像を抽出し、
前記複数枚の画像から前記一連の画像を除去した新たな複数枚の画像を用いて解析演算を実行し、
前記第１の条件は、前記画像中に第１の輝度値以上の領域が存在していることを特徴とする画像解析方法。
【請求項７】
前記複数枚の画像を時系列順に調べて最初に第２の条件を充足する第３の画像を検出し、
前記第３の画像に続く画像を時系列順に調べて最初に前記第２の条件を充足しない第４の画像を検出し、
前記第３の画像から前記第４の画像までの一連の画像を抽出し、
前記複数枚の画像から前記一連の画像を除去した新たな複数枚の画像を用いて解析演算を実行し、
前記第２の条件は、前記画像中に第１の輝度値よりも小さい第２の輝度値以上の領域が存在して、当該領域の面積が所定値以上であることを特徴とする請求項７に記載の画像解析方法。
【請求項８】
複数枚の時系列の画像を取得して解析演算を行う画像解析プログラムにおいて、
前記複数枚の画像を時系列順に調べて最初に第１の条件を充足する第１の画像を検出する手順、
前記第１の画像に続く画像を時系列順に調べて最初に前記第１の条件を充足しない第２の画像を検出する手順、
前記第１の画像から前記第２の画像までの一連の画像を抽出する手順、
前記複数枚の画像から前記一連の画像を除去した新たな複数枚の画像を用いて解析演算を実行する手順
をコンピュータに実行させ、
前記第１の条件は、前記画像中に第１の輝度値以上の領域が存在していることを特徴とするプログラム。
【請求項９】
前記複数枚の画像を時系列順に調べて最初に第２の条件を充足する第３の画像を検出する手順、
前記第３の画像に続く画像を時系列順に調べて最初に前記第２の条件を充足しない第４の画像を検出する手順、
前記第３の画像から前記第４の画像までの一連の画像を抽出する手順、
前記複数枚の画像から前記一連の画像を除去した新たな複数枚の画像を用いて解析演算を実行する手順、
を更にコンピュータに実行させ、
前記第２の条件は、前記画像中に第１の輝度値よりも小さい第２の輝度値以上の領域が存在して、当該領域の面積が所定値以上であることを特徴とする請求項８に記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−２１７１０４（Ｐ２０１０−２１７１０４Ａ）
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願番号】特願２００９−６６７１５（Ｐ２００９−６６７１５）
【出願日】平成２１年３月１８日（２００９．３．１８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願日】平成２１年３月１８日（２００９．３．１８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]