画像生成装置、顕微鏡装置
【課題】標本の低倍画像と低倍画像より高倍の蛍光画像とから位置決め精度が高く、広い範囲の高精細な蛍光タイリング画像を生成することができる画像生成装置と、これを有する顕微鏡装置を提供すること。
【解決手段】顕微鏡１の結像位置に配設された撮像装置１４からの画像を処理してタイリング画像を生成する画像生成装置４０であって、前記撮像装置を介して取得した、標本２の複数の高倍の蛍光画像を二値化した複数の二値化蛍光画像と前記標本全体にわたる低倍画像を二値化した二値化標本画像を、同倍率にリサイズして前記二値化標本画像を基準として前記二値化蛍光画像をそれぞれタイリングした一つの蛍光画像を生成する画像生成手段４１を有することを特徴とする画像生成装置。
【解決手段】顕微鏡１の結像位置に配設された撮像装置１４からの画像を処理してタイリング画像を生成する画像生成装置４０であって、前記撮像装置を介して取得した、標本２の複数の高倍の蛍光画像を二値化した複数の二値化蛍光画像と前記標本全体にわたる低倍画像を二値化した二値化標本画像を、同倍率にリサイズして前記二値化標本画像を基準として前記二値化蛍光画像をそれぞれタイリングした一つの蛍光画像を生成する画像生成手段４１を有することを特徴とする画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高精細な蛍光タイリング画像を生成する画像生成装置と、これを有する顕微鏡装置に関する。
【背景技術】
【０００２】
従来、細胞の蛍光観察において、標本に対して視野が狭い高倍では、標本全体を表す蛍光画像のつなぎ合わせた画像を生成（所謂タイリング処理）するために、隣り合う蛍光画像に対してシームレスになるようにある程度ののりしろを用意し、画像のマッチングを行う必要がある。ここでマッチングとは予め標本全体を碁盤の目のように矩形で区切り、各々の位置までステージを動かして画像を取得する際にその碁盤の目よりも大きめの視野で撮影し、隣り合う画像との重なり（以後、のりしろという）を画像そのものの相関や差分を使って位置決めすることを表している。このようなマッチングは、ステージの位置決め誤差を吸収することを目的として用いられている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−０６５６６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のマッチングに必要なのりしろには、必ずなんらかの像（例えば、細胞など）が含まれていなければならないこと、およびのりしろは最終的な標本全体における画像を生成するには余分な情報として扱われるといった無駄が存在する。また全体的にタイリングを行う場合には、のりしろに対するマッチング度合いが上下左右で必ずしも同じにはならず、バランス調整の問題も生じてくる。さらに、蛍光画像では、のりしろとなる部分は光が無く真っ暗の画像であり、マッチングの基準となる像がないための蛍光画像のタイリングを行うことが非常に難しいという問題がある。
【０００５】
本発明は、上記課題に鑑みて行われたものであり、標本の低倍画像と低倍画像より高倍の蛍光画像とから位置決め精度が高く、広い範囲の高精細な蛍光タイリング画像を生成することができる画像生成装置と、これを有する顕微鏡装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明は、顕微鏡の結像位置に配設された撮像装置からの画像を処理してタイリング画像を生成する画像生成装置であって、前記撮像装置を介して取得した、標本の複数の高倍の蛍光画像を二値化した複数の二値化蛍光画像と前記標本全体にわたる低倍画像を二値化した二値化標本画像を、同倍率にリサイズして前記二値化標本画像を基準として前記二値化蛍光画像をそれぞれタイリングした一つの蛍光画像を生成する画像生成手段を有することを特徴とする画像生成装置を提供する。
【０００７】
また、本願発明は、細胞を培養するウェルの底部全面の細胞画像を取得する低倍画像取装置と、前記低倍画像取得装置より倍率の高い蛍光画像を取得する蛍光画像取得装置と、前記細胞画像から前記細胞を抽出した第１の細胞画像と、前記蛍光画像から前記細胞を抽出した第２の細胞画像とを用いて、前記第２の細胞画像の前記第１の細胞画像に対するテンプレートマッチングを行い、前記蛍光画像の前記細胞画像に対する位置を決定する画像生成装置と、を有することを特徴とする顕微鏡装置を提供する。
【発明の効果】
【０００８】
本発明によれば、標本の低倍画像と低倍画像より高倍の蛍光画像とから位置決め精度が高く、広い範囲の高精細な蛍光タイリング画像を生成することができる画像生成装置と、これを有する顕微鏡装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態に係る顕微鏡装置の概略構成図。
【図２】タイリング画像を生成するフローチャート。
【図３】（ａ）は低倍画像取得装置により取得された画像、（ｂ）は（ａ）に示す画像を二値化処理した画像。
【図４】（ａ）は蛍光画像取得装置より取得された蛍光画像、（ｂ）は（ａ）に示す蛍光画像を二値化処理した蛍光画像。
【図５】（ａ）は、図４（ｂ）に示す二値化蛍光画像を用いて図３（ｂ）に示す二値化画像にテンプレートマッチングを行って得られた蛍光タイリング画像を示し、（ｂ）はタイリング画像の一例を示す。
【発明を実施するための形態】
【００１０】
以下、本願の一実施形態にかかる画像生成装置を有する顕微鏡装置について図面を参照しつつ説明する。なお、以下の実施の形態は、発明の理解を容易にするためのものに過ぎず、本願発明の技術的思想を逸脱しない範囲において当業者により実施可能な付加・置換等を施すことを排除することは意図していない。
【００１１】
図１に示すように、本実施形態にかかる画像生成装置４０を有する顕微鏡装置１は、ウェルプレート１０を載置するためのステージ３、ステージ３の上方に配置された低倍用照明光学系４、ステージ３の下方に配置された低倍結像光学系５、低倍結像光学系５と交換可能に配設された励起光学系２４を含む蛍光結像光学系２０、低倍結像光学系５または蛍光結像光学系２０の結像位置に配置され、光軸に挿入された結像光学系の像を撮像するカメラ１４、および取得した画像を処理して後述するタイリング画像を生成する画像生成装置４０を有している。なお、ステージ３、低倍用照明光学系４、低倍結像光学系５、および蛍光結像光学系２０は、下方に不図示のベース部を備えた不図示の顕微鏡支柱に対して、不図示の支持部材を介して上下方向の位置を変更可能に支持されている。
【００１２】
本実施形態において、ウェルプレート１０の各ウェル１０ａ中には、図３に示すように細胞等の位相物体である試料２が不図示の培養液と共に注入されている。
【００１３】
低倍結像光学系５は、図１に示すように、低倍用照明光学系４で照明された任意のウェル１０ａ内の試料（細胞）２を観察するために配置されている。また、低倍結像光学系５は、ステージ３側から順に、高開口数の低倍対物レンズ１２と鏡筒部１３とから構成され、カメラ１４の光軸に励起光学系２４を含む蛍光結像光学系２０と選択的に挿脱可能に構成されている。
【００１４】
低倍用対物レンズ１２は、ウェル１０ａの底面から射出された光を略漏れなく集光するための高い開口数（ＮＡ）を有する対物レンズであり、本実施形態においてはΦ６．４ｍｍ程度の実視野を実現するために、倍率が１．２５倍、開口数が０．２５以上のものが用いられている。
【００１５】
蛍光結像光学系２０は、低倍から高倍までの複数の対物レンズ２１を光軸に交換可能にする為のレボルバ２３と、励起光学系２４に結合される鏡筒部２５と、試料２に励起光を照射するための励起光源２２とから構成されている。励起光学系２４と鏡筒部２５との結合部には、蛍光観察時に使用されるダイクロイックミラー２６と、エミッションフィルタ２７を含むフィルタキューブ２８が光軸に挿脱可能に配置されている。
【００１６】
光軸に選択的に挿入された低倍結像光学系５の結像位置、または蛍光光学系２０の結像位置に配置されたカメラ１４には、２／３インチＣＣＤカメラが用いられる。また、カメラ１４には、画像生成装置４０が接続されている。
【００１７】
画像生成装置４０は、カメラ１４で取得した画像処理手段である例えばパーソナルコンピュータ（以後、単にＰＣと記す）４１とモニタ４２とキーボードやマウスなどの入出力デバイス４３とから構成されている。また、ＰＣ４１は、取得した画像を保存するメモリ４４を内蔵し、画像処理および画像生成に必要なハードやソフトが搭載されている。なお、メモリ４４は、外付けハードディスクのような外部保存装置を使用することも可能である。
【００１８】
低倍用照明光学系４は、ウェル１０ａ内の試料２を透過照明するためのものであり、ステージ３側から順に、不図示の、コンデンサレンズ、開口絞り、可動絞り、コレクタレンズ、および光源を有する。なお、低倍用照明光学系４は、低倍結像光学系５が光軸に挿入された時のみならず、蛍光結像光学系２０を光軸に挿入した時の透過照明用としても使用可能である。
【００１９】
不図示の可動絞りは、ウェル１０ａの底面を略均一に照明するための低ＮＡの照明光を生成するための絞り部材である。不図示の可動絞りには、照明光学系４から射出される照明光のＮＡ（以下、「照明ＮＡ」という。）が０．１以下となるように、絞り径や光軸上の位置等が予め設計された絞り部材が用いられている。なお、可動絞りは、照明光がウェル１０ａの壁面で反射または透過することを防止するために、照明光の光束がウェル１０ａの内径よりも小さくなるように照明光の照射領域を絞る役割も果たしている。
【００２０】
また、可動絞りには、可動絞りを光軸方向および光軸に垂直な方向へ移動させるための不図示の移動機構と、絞り径を変更するための不図示の絞り径調整機構が備えられている。これにより、前記移動機構によって可動絞りを光軸方向へ移動させることで、試料２への照明光の主光線の角度を変更することができる。また、前記絞り径調整機構によって可動絞りの絞り径を変更し、照明光の実効的なＮＡを変更することができる。さらには、前記移動機構によって可動絞りを光軸に垂直な方向へ移動させることで、照明光学系４から射出される照明光の試料２に対する照射位置を光軸に垂直な方向へ変更することができる。
【００２１】
不図示のコンデンサレンズには、コンデンサレンズを光軸方向へ移動させるための不図示の移動機構が備えられている。これにより、当該移動機構によってコンデンサレンズを光軸方向へ移動させることで、照明光の集光位置を光軸方向へ変更することができ、これによって視野内のシェーディングなどを除去することができる。
【００２２】
不図示の光源には、位相物体の観察に好適なコヒーレント性の高い赤色ＬＥＤ（発光ダイオード）が用いられている。これにより、照明の均一性と長寿命性を確保することができる。また、培養液内のフェノールレッド等の栄養素が培養液の劣化に伴って変色し、これが可視域の光を吸収してしまうため、培養状態によって観察像の明るさが変化してしまうという影響を解消することができる。
【００２３】
本実施形態にかかる顕微鏡装置１において、低倍用照明光学系４の光源から発せられた照明光は、コレクタレンズを経た後、可動絞りを通過する。可動絞りは、光軸上の位置によって、主光線の方向を変えることができ、開口の大きさや開口部の位置を光軸から離れた位置に変化させることにより、照明光の実効的なＮＡを変えることができる。そして照明光は、開口絞りを通過し、コンデンサレンズで集光されることにより、必要な照明光の実効的なＮＡや主光線の方向を形成することとなる。このようにして形成された照明光は、ステージ３上の９６ウェルプレート１０における任意のウェル１０ａ内の試料２に培養液を介して照射される。このように、照明光学系４は、試料２に対して一点に集光する光束の収束角とその主光線の方向が制御された照明を実現することができる。
【００２４】
ここで、当該ウェル１０ａ内の培養液の液面は、表面張力によりウェル１０ａの壁面近傍が凹面となってレンズ効果（メニスカス効果）が生じる。本顕微鏡装置１では、低倍対物レンズ１２の開口数を十分に大きくし、低倍結像光学系５を構成する低倍対物レンズ１２の開口数よりも小さい実効的なＮＡを持つ照明光を培養液の凹面に照射することで、培養液の凹面によって照明光の方向が低倍対物レンズ１２の外側に向かって屈折しても、培養液の液面によるレンズ効果の影響を受けにくくしている。また、このときに、照明光の主光線の方向を培養液の液面により屈折される方向を考慮して、屈折される方向とは逆方向に光軸に対して主光線の方向を向けることで、屈折した照明光がウェル１０ａの壁面で反射又は透過することを防止することができ、即ち照明光束がウェル１０ａ内のみを進行することととなり、これによってウェル１０ａのウェルの底面をムラなく略均一に照明することができる。
【００２５】
そして、結像光学系５を構成する低倍対物レンズ１２の開口数よりも小さいＮＡの照明光で照明された試料２からの光は、結像光学系５の低倍対物レンズ１２に入射する。ここで、低倍対物レンズ１２は上述のように高開口数の対物レンズであるため、ウェル１０ａの底面から射出された光（前述の屈折した照明光で照明された試料２からの光を含む）を略漏れなく集光することができる。このようにして低倍対物レンズ１２によって集光された光は、不図示の結像レンズを介して、カメラ１４の撮像面上に試料２の像を形成する。なお、詳細には、上述のような主光線の方向と照明光の実効的なＮＡを持つ照明光によってウェル１０ａの壁面での反射光、即ちノイズ光の発生を抑えながらウェル１０ａの底面を略均一に照明することで、試料２の背景（バックグラウンド）からの光（直接光）のＮＡが小さくなるため、直接光と試料２で回折された回折光とが干渉してコントラストの良好な試料２の観察像が形成されることとなる。このようにして形成された試料２の像は、カメラ１４で撮影されてモニタ４２に表示され、使用者に観察されることとなる。
ここで、再生医療の研究等において培養した細胞の高精細な蛍光画像を視野の全域を観察することが求められている。本願の画像生成装置４０では、後述するように低倍で取得した細胞画像を基準にして高倍の蛍光画像をタイリングした蛍光タイリング画像を生成する。このため、本願では、低倍細胞画像取得時に培養液のレンズ効果の影響を考慮しながら視野の全域で観察を行うために、低倍対物レンズ１２に０．２５相当の開口数と１．２５倍程度の倍率となるようにしている。
【００２６】
また、本実施形態にかかる顕微鏡装置１は、上述のように照明光の実効的なＮＡが０．１以下、対物レンズ１２の倍率が１．２５倍で開口数が０．２５以上であり、これによって視野の全域（Φ６．４ｍｍ程度の実視野）で観察を行うことができる。また、上述のように９６ウェルプレート１０におけるウェル１０ａの内径はΦ６．４ｍｍ程度であるため、本実施形態にかかる顕微鏡装置１は、２／３インチＣＣＤカメラであるカメラ１４によって、９６ウェルプレート１０のウェル１０ａの底面全域を１枚の画像として一度に撮影することができる。培養液の凹面によるレンズ効果の影響を解消した試料２の低倍画像を取得することができる。
【００２７】
また、上述のように培養液のレンズ効果の大きさは、培養容器の種類、培養液の組成、培養容器の材質、及び培養液の量等によって様々に変化する。特に、培養容器の種類によって培養液の凹面の直径は異なり、これによって凹面の曲率半径は大きく変化し、レンズ効果も大きく変化することとなる。
【００２８】
そこで、本実施形態にかかる顕微鏡装置１は、培養液のレンズ効果の変化に応じて、上述のように可動絞りを光軸方向に移動させたり、可動絞りの絞り径を変更させたりすることで、照明光の実効的なＮＡや照明光の主光線の方向を変更することができる。これにより、培養液のレンズ効果が変化した場合でも、これに対応した低ＮＡの照明光によって培養容器の底面を略均一に照明することができ、レンズ効果の影響を解消した試料２の低倍画像を取得することができる。
【００２９】
図３（ａ）は、カメラ１４で取得したウェル１０ａの底面全域にわたる試料（細胞）２の画像３０をモニタ４２に表示した一例である。ここで取得した画像３０は、ＰＣ４１のメモリに、ウェル１０ａの情報と共に保存される。
【００３０】
次に、高倍の対物レンズ２１を用いて、試料２からの蛍光像を取得する場合について説明する。
【００３１】
使用者は、低倍結像光学系５に変えて蛍光光学系２０をカメラ１４の光軸に挿入すると共に、取得する蛍光像に対応するダイクロイックミラー２６とエミッションフィルタ２７を内蔵するフィルタキューブ２８を励起光学系２４に配置する。
【００３２】
励起光源２２からの励起光は、フィルタキューブ２８内のダイクロイックミラー２６で対物レンズ２１側に反射されて対物レンズ２１を介してウェル１０ａ内の試料２に照射される。
【００３３】
試料２は、前もって所定の蛍光を発する物質が導入されており、照射された励起光により所定波長の蛍光を発する。試料２で発光した蛍光は、対物レンズ２１で集光されてダイクロイックミラー２６に向かって鏡筒２５を進行して、ダイクロイックミラー２６を透過し、さらにエミッションフィルタ２７を透過して不図示の結像レンズでカメラ１４の撮像面に結像する。カメラ１４の撮像面に結像した試料２の蛍光像は、カメラ１４で撮像されてＰＣ４１内のメモリ４４にウェル１０ａの情報と共に保存されると共に、モニタ４２に表示される。
【００３４】
図４（ａ）に示す蛍光像３５は、このようにして取得された円形視野の蛍光像を所定サイズ（一辺がＡ）の正方形にリサイズした画像の一例である。
【００３５】
ＰＣ４１は、一辺Ａの正方形でウェル１０ａの底面全域の高倍の蛍光画像３５をそれぞれ取得して、各蛍光像３５を取得時ステージ３のＸＹ座標と共にメモリ４４に保存する。
【００３６】
このようにして、画像生成装置４０は、低倍結像光学系５で取得したウェル１０ａの底面全域の画像３０（図３（ａ）参照）と蛍光結像光学系２０で取得した複数の蛍光像３５（図４（ａ）参照）をメモリ４４にそれぞれの情報付きで保存する。
【００３７】
続いて、低倍率で取得した画像３０と高倍率で取得した複数の蛍光画像３５を用いて、高倍の蛍光画像３５の蛍光タイリング画像１３５（図５参照）を生成する手順について図２に示すフローチャートを参照しつつ説明する。
【００３８】
（ステップＳ１）
画像生成装置４０のＰＣ４１は、メモリ４４から低倍で取得した画像３０（図３（ａ）参照）を読み出す。
【００３９】
（ステップＳ２）
ＰＣ４１は、画像３０の輝度ムラを補正して補正画像を生成する。輝度ムラ補正には、ウェルプレート１０の各ウェル１０ａに細胞を培養する培養液のみを注入した状態で各ウェル１０ａの底面全域の補正用画像を取得してメモリ４４に保存しておく。ＰＣ４１は、取得した細胞の画像３０と画像３０に対応する補正用画像との差分処理を行い、細胞の画像３０の輝度ムラを補正した補正画像を生成する。なお、輝度ムラ補正は、上記差分処理に限らず、細胞の画像３０に対して十分広い帯域を有するローパスフィルタ（例えば、ガウシアンフィルタ等）をかけ、画像３０との差分を取ることでも可能である。
【００４０】
（ステップＳ３）
ＰＣ４１は、輝度ムラ補正した補正用画像を二値化処理して、二値化細胞画像３０ａを生成する（図３（ｂ）参照）。これにより、細胞２は、細胞内構造が均一化され、二値化された細胞像２ａとなる。詳しくは、細胞を抽出にあたって、ステップＳ２における輝度ムラ補正画像に対して、明らかに背景となる領域の輝度をサンプリングし、そのノイズ成分、すなわち背景輝度の平均値μ１、標準偏差σ１を計算する。この背景部分のノイズ成分ではない輝度値が細胞であるとし、輝度ムラ補正画像を（μ１ーｍ１×σ１）を閾値として二値化する。ここで、ｍ１は適当な倍率である。輝度ムラ補正画像における細胞像は暗いため輝度値が小さい。そこで、閾値（μ１ーｍ１×σ１）を超えた輝度値を持つ画素を輝度値＝０（背景）、閾値を下回る輝度値を持つ画を輝度値＝１（細胞）とする処理を行い、二値化細胞画像３０ａを生成し、メモリ４４に保存する。二値化細胞画像３０ａは、細胞２が明るく、背景が暗い画像となる。
【００４１】
（ステップＳ４）
次に蛍光画像３５の処理を行う。ＰＣ４１は、メモリ４４に保存されている高倍で取得した蛍光画像３５（図４（ａ）参照）を読み出す。
【００４２】
（ステップＳ５）
ＰＣ４１は、メモリ４４から読み出した蛍光画像３５の輝度ムラ補正を行い輝度ムラ補正蛍光画像を生成する。輝度ムラ補正の方法は、ステップＳ２と同様の方法を使用する。ＰＣ４１は、輝度ムラ補正蛍光画像を用いて、背景部分のノイズ成分すなわち背景輝度の平均値μ２と、標準偏差σ２を計算する。
【００４３】
（ステップＳ６）
ＰＣ４１は、ステップＳ３と同様の処理により輝度ムラ補正蛍光画像を二値処理して、二値化蛍光画像３５ａ（図４（ｂ）参照）を生成し、メモリ４４に保存する。このとき、蛍光画像３５の細胞部分が明るいとして、ステップＳ５で得られた輝度ムラ補正蛍光画像を（μ２＋ｍ２×σ２）を閾値として二値化する。ここで、ｍ２は適当な倍率である。輝度ムラ蛍光補正画像における細胞像は明るいため輝度値が大きい。そこで、閾値（μ２＋ｍ２×σ２）を超えた輝度値を持つ画素を輝度値＝１（細胞）、閾値を下回る輝度値を持つ画を輝度値＝０（背景）とする処理を行い、二値化蛍光画像３５ａを生成し、メモリ４４に保存する。ＰＣ４１は、ステップＳ４からステップＳ６までの処理をウェル１０ａで取得した複数の高倍の蛍光画像３５の全てにわたって行う。この結果、メモリ４４には、ウェル１０ａ底面全域を二値化した低倍の二値化細胞画像３０ａと複数の高倍の蛍光画像３５それぞれを二値化した複数の二値化蛍光画像３５ａが保存される。
【００４４】
（ステップＳ７、Ｓ８）
ＰＣ４１は、ステップＳ１からステップＳ６で形成した二値化細胞画像３０ａと複数の二値化蛍光画像３５ａそれぞれの像倍率を同じにするため、それぞれの倍率差に基き二値化細胞画像３０ａと複数の二値化蛍光画像３５ａをそれぞれリサイズする。これにより、それぞれの二値化画像における細胞２ａは、ほぼ同じサイズにリサイズされる。図５（ａ）は、このようにして得られた同倍率にリサイズされた二値化細胞画像１３０ａを、図５（ｂ）は、同倍にリサイズされた二値化蛍光画像１３５ａ（テンプレート画像）をそれぞれ示している。
【００４５】
（ステップＳ９、Ｓ１０）
ＰＣ４１は、リサイズした二値化蛍光画像１３５ａをテンプレートとして、リサイズした二値化細胞画像１３０ａに対してテンプレートマッチング処理を実行する。二値化細胞画像マッチング評価値には、マッチングに使用する画像が両者とも二値化画像であることから両画像の差分値を使用する。そして、この差分値が最も小さい時にテンプレート画像の位置とし、タイリング位置決定する。
【００４６】
（ステップＳ１１）
このようなテンプレートマッチング処理を取得した全ての高倍蛍光画像３５に対して行うことでウェル１０ａの底面全域にわたる高倍蛍光画像を配置した蛍光タイリング画像を生成することができる。なお、このテンプレートマッチング処理は、そのまま行うとＰＣ４１における計算に時間がかかるため、メモリ４４に保存されている蛍光画像３５を取得した時のステージ３のＸＹ座標を使って、低倍細胞画像３０のおおよその位置を求め、この求められた位置を基準として所定のサーチ範囲を決めておくことによりテンプレートマッチング処理時間を短縮することができる。
【００４７】
このように、本実施形態にかかる画像生成装置では、従来のようなのりしろ部分に存在するパターン画像のマッチング度を評価してタイリングするのではなく（蛍光画像ではのりしろ部分は真っ暗でマッチング度を評価するパターン画像が存在しない）、低倍で取得した標本の全体画像の二値化画像を基準として、高倍で取得した蛍光画像の細胞の発光パタンのマッチング度を評価することで、高倍で取得した蛍光画像のタイリングを行うことができる。また、従来のようにのりしろ部分を使用しないため、高倍の蛍光画像の取得時にのりしろ部分を考慮する必要が無く、のりしろ部分で発生するタイリング誤差を小さく抑えることができる。
【００４８】
なお、上記説明において、ウェル底面全域の低倍画像は、明視野透過像の画像を使用して高倍の蛍光画像をテンプレートマッチング処理する場合について述べたが、低倍画像に代わってウェル底面全域の低倍蛍光画像を使用することも可能である。この場合、図１において、低倍用照明光学系４と低倍結像光学系５は、必要なく蛍光結像光学系２０で低倍の蛍光画像と高倍の蛍光画像を取得する構成にすれば良い。また、ステップＳ３の二値化処理において、ステップＳ６と同様に輝度ムラ補正画像を（μ１＋ｍ１×σ１）を閾値として二値化する。低倍蛍光画像では、輝度ムラ補正画像における細胞像は明るいため輝度値が大きい。そこで、閾値（μ１＋ｍ１×σ１）を超えた輝度値を持つ画素を輝度値＝１（細胞）、閾値を下回る輝度値を持つ画素を輝度値＝０（背景）とする処理を行うように変更する。そして、その他の処理は、上述と同様の処理を行うことで同様の作用、効果を奏することができる。
【００４９】
以上述べたように、本実施形態にかかる画像生成装置は、低倍細胞画像を基準として高倍の蛍光画像をテンプレートすることで高倍の蛍光画像を高い位置精度でテンプレートマッチングすることができる。この結果、ウェルの底面全域にわたり高い位置精度で配置した高倍蛍光画像を得ることができる。
【符号の説明】
【００５０】
１ 顕微鏡装置
２ 試料（細胞）
３ ステージ
４ 低倍用照明光学系
５ 低倍結像光学系
１０ ウェルプレート
１２ 低倍対物レンズ
１３、２５ 鏡筒部
１４ カメラ
２０ 蛍光結像光学系
２１ 対物レンズ
２２ 励起光源
２３ レボルバ
２４ 励起光学系
２６ ダイクロイックミラー
２７ エミッションフィルタ
２８ フィルタキューブ
３０ 低倍細胞画像
３０ａ 二値化細胞画像
３５ 高倍蛍光画像
３５ａ 二値化蛍光画像
４０ 画像生成装置
４１ ＰＣ
４２ モニタ
４３ 入力装置
４４ メモリ
１３０ａ 蛍光タイリング画像
１３５ａ テンプレート
【技術分野】
【０００１】
本発明は、高精細な蛍光タイリング画像を生成する画像生成装置と、これを有する顕微鏡装置に関する。
【背景技術】
【０００２】
従来、細胞の蛍光観察において、標本に対して視野が狭い高倍では、標本全体を表す蛍光画像のつなぎ合わせた画像を生成（所謂タイリング処理）するために、隣り合う蛍光画像に対してシームレスになるようにある程度ののりしろを用意し、画像のマッチングを行う必要がある。ここでマッチングとは予め標本全体を碁盤の目のように矩形で区切り、各々の位置までステージを動かして画像を取得する際にその碁盤の目よりも大きめの視野で撮影し、隣り合う画像との重なり（以後、のりしろという）を画像そのものの相関や差分を使って位置決めすることを表している。このようなマッチングは、ステージの位置決め誤差を吸収することを目的として用いられている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−０６５６６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のマッチングに必要なのりしろには、必ずなんらかの像（例えば、細胞など）が含まれていなければならないこと、およびのりしろは最終的な標本全体における画像を生成するには余分な情報として扱われるといった無駄が存在する。また全体的にタイリングを行う場合には、のりしろに対するマッチング度合いが上下左右で必ずしも同じにはならず、バランス調整の問題も生じてくる。さらに、蛍光画像では、のりしろとなる部分は光が無く真っ暗の画像であり、マッチングの基準となる像がないための蛍光画像のタイリングを行うことが非常に難しいという問題がある。
【０００５】
本発明は、上記課題に鑑みて行われたものであり、標本の低倍画像と低倍画像より高倍の蛍光画像とから位置決め精度が高く、広い範囲の高精細な蛍光タイリング画像を生成することができる画像生成装置と、これを有する顕微鏡装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明は、顕微鏡の結像位置に配設された撮像装置からの画像を処理してタイリング画像を生成する画像生成装置であって、前記撮像装置を介して取得した、標本の複数の高倍の蛍光画像を二値化した複数の二値化蛍光画像と前記標本全体にわたる低倍画像を二値化した二値化標本画像を、同倍率にリサイズして前記二値化標本画像を基準として前記二値化蛍光画像をそれぞれタイリングした一つの蛍光画像を生成する画像生成手段を有することを特徴とする画像生成装置を提供する。
【０００７】
また、本願発明は、細胞を培養するウェルの底部全面の細胞画像を取得する低倍画像取装置と、前記低倍画像取得装置より倍率の高い蛍光画像を取得する蛍光画像取得装置と、前記細胞画像から前記細胞を抽出した第１の細胞画像と、前記蛍光画像から前記細胞を抽出した第２の細胞画像とを用いて、前記第２の細胞画像の前記第１の細胞画像に対するテンプレートマッチングを行い、前記蛍光画像の前記細胞画像に対する位置を決定する画像生成装置と、を有することを特徴とする顕微鏡装置を提供する。
【発明の効果】
【０００８】
本発明によれば、標本の低倍画像と低倍画像より高倍の蛍光画像とから位置決め精度が高く、広い範囲の高精細な蛍光タイリング画像を生成することができる画像生成装置と、これを有する顕微鏡装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態に係る顕微鏡装置の概略構成図。
【図２】タイリング画像を生成するフローチャート。
【図３】（ａ）は低倍画像取得装置により取得された画像、（ｂ）は（ａ）に示す画像を二値化処理した画像。
【図４】（ａ）は蛍光画像取得装置より取得された蛍光画像、（ｂ）は（ａ）に示す蛍光画像を二値化処理した蛍光画像。
【図５】（ａ）は、図４（ｂ）に示す二値化蛍光画像を用いて図３（ｂ）に示す二値化画像にテンプレートマッチングを行って得られた蛍光タイリング画像を示し、（ｂ）はタイリング画像の一例を示す。
【発明を実施するための形態】
【００１０】
以下、本願の一実施形態にかかる画像生成装置を有する顕微鏡装置について図面を参照しつつ説明する。なお、以下の実施の形態は、発明の理解を容易にするためのものに過ぎず、本願発明の技術的思想を逸脱しない範囲において当業者により実施可能な付加・置換等を施すことを排除することは意図していない。
【００１１】
図１に示すように、本実施形態にかかる画像生成装置４０を有する顕微鏡装置１は、ウェルプレート１０を載置するためのステージ３、ステージ３の上方に配置された低倍用照明光学系４、ステージ３の下方に配置された低倍結像光学系５、低倍結像光学系５と交換可能に配設された励起光学系２４を含む蛍光結像光学系２０、低倍結像光学系５または蛍光結像光学系２０の結像位置に配置され、光軸に挿入された結像光学系の像を撮像するカメラ１４、および取得した画像を処理して後述するタイリング画像を生成する画像生成装置４０を有している。なお、ステージ３、低倍用照明光学系４、低倍結像光学系５、および蛍光結像光学系２０は、下方に不図示のベース部を備えた不図示の顕微鏡支柱に対して、不図示の支持部材を介して上下方向の位置を変更可能に支持されている。
【００１２】
本実施形態において、ウェルプレート１０の各ウェル１０ａ中には、図３に示すように細胞等の位相物体である試料２が不図示の培養液と共に注入されている。
【００１３】
低倍結像光学系５は、図１に示すように、低倍用照明光学系４で照明された任意のウェル１０ａ内の試料（細胞）２を観察するために配置されている。また、低倍結像光学系５は、ステージ３側から順に、高開口数の低倍対物レンズ１２と鏡筒部１３とから構成され、カメラ１４の光軸に励起光学系２４を含む蛍光結像光学系２０と選択的に挿脱可能に構成されている。
【００１４】
低倍用対物レンズ１２は、ウェル１０ａの底面から射出された光を略漏れなく集光するための高い開口数（ＮＡ）を有する対物レンズであり、本実施形態においてはΦ６．４ｍｍ程度の実視野を実現するために、倍率が１．２５倍、開口数が０．２５以上のものが用いられている。
【００１５】
蛍光結像光学系２０は、低倍から高倍までの複数の対物レンズ２１を光軸に交換可能にする為のレボルバ２３と、励起光学系２４に結合される鏡筒部２５と、試料２に励起光を照射するための励起光源２２とから構成されている。励起光学系２４と鏡筒部２５との結合部には、蛍光観察時に使用されるダイクロイックミラー２６と、エミッションフィルタ２７を含むフィルタキューブ２８が光軸に挿脱可能に配置されている。
【００１６】
光軸に選択的に挿入された低倍結像光学系５の結像位置、または蛍光光学系２０の結像位置に配置されたカメラ１４には、２／３インチＣＣＤカメラが用いられる。また、カメラ１４には、画像生成装置４０が接続されている。
【００１７】
画像生成装置４０は、カメラ１４で取得した画像処理手段である例えばパーソナルコンピュータ（以後、単にＰＣと記す）４１とモニタ４２とキーボードやマウスなどの入出力デバイス４３とから構成されている。また、ＰＣ４１は、取得した画像を保存するメモリ４４を内蔵し、画像処理および画像生成に必要なハードやソフトが搭載されている。なお、メモリ４４は、外付けハードディスクのような外部保存装置を使用することも可能である。
【００１８】
低倍用照明光学系４は、ウェル１０ａ内の試料２を透過照明するためのものであり、ステージ３側から順に、不図示の、コンデンサレンズ、開口絞り、可動絞り、コレクタレンズ、および光源を有する。なお、低倍用照明光学系４は、低倍結像光学系５が光軸に挿入された時のみならず、蛍光結像光学系２０を光軸に挿入した時の透過照明用としても使用可能である。
【００１９】
不図示の可動絞りは、ウェル１０ａの底面を略均一に照明するための低ＮＡの照明光を生成するための絞り部材である。不図示の可動絞りには、照明光学系４から射出される照明光のＮＡ（以下、「照明ＮＡ」という。）が０．１以下となるように、絞り径や光軸上の位置等が予め設計された絞り部材が用いられている。なお、可動絞りは、照明光がウェル１０ａの壁面で反射または透過することを防止するために、照明光の光束がウェル１０ａの内径よりも小さくなるように照明光の照射領域を絞る役割も果たしている。
【００２０】
また、可動絞りには、可動絞りを光軸方向および光軸に垂直な方向へ移動させるための不図示の移動機構と、絞り径を変更するための不図示の絞り径調整機構が備えられている。これにより、前記移動機構によって可動絞りを光軸方向へ移動させることで、試料２への照明光の主光線の角度を変更することができる。また、前記絞り径調整機構によって可動絞りの絞り径を変更し、照明光の実効的なＮＡを変更することができる。さらには、前記移動機構によって可動絞りを光軸に垂直な方向へ移動させることで、照明光学系４から射出される照明光の試料２に対する照射位置を光軸に垂直な方向へ変更することができる。
【００２１】
不図示のコンデンサレンズには、コンデンサレンズを光軸方向へ移動させるための不図示の移動機構が備えられている。これにより、当該移動機構によってコンデンサレンズを光軸方向へ移動させることで、照明光の集光位置を光軸方向へ変更することができ、これによって視野内のシェーディングなどを除去することができる。
【００２２】
不図示の光源には、位相物体の観察に好適なコヒーレント性の高い赤色ＬＥＤ（発光ダイオード）が用いられている。これにより、照明の均一性と長寿命性を確保することができる。また、培養液内のフェノールレッド等の栄養素が培養液の劣化に伴って変色し、これが可視域の光を吸収してしまうため、培養状態によって観察像の明るさが変化してしまうという影響を解消することができる。
【００２３】
本実施形態にかかる顕微鏡装置１において、低倍用照明光学系４の光源から発せられた照明光は、コレクタレンズを経た後、可動絞りを通過する。可動絞りは、光軸上の位置によって、主光線の方向を変えることができ、開口の大きさや開口部の位置を光軸から離れた位置に変化させることにより、照明光の実効的なＮＡを変えることができる。そして照明光は、開口絞りを通過し、コンデンサレンズで集光されることにより、必要な照明光の実効的なＮＡや主光線の方向を形成することとなる。このようにして形成された照明光は、ステージ３上の９６ウェルプレート１０における任意のウェル１０ａ内の試料２に培養液を介して照射される。このように、照明光学系４は、試料２に対して一点に集光する光束の収束角とその主光線の方向が制御された照明を実現することができる。
【００２４】
ここで、当該ウェル１０ａ内の培養液の液面は、表面張力によりウェル１０ａの壁面近傍が凹面となってレンズ効果（メニスカス効果）が生じる。本顕微鏡装置１では、低倍対物レンズ１２の開口数を十分に大きくし、低倍結像光学系５を構成する低倍対物レンズ１２の開口数よりも小さい実効的なＮＡを持つ照明光を培養液の凹面に照射することで、培養液の凹面によって照明光の方向が低倍対物レンズ１２の外側に向かって屈折しても、培養液の液面によるレンズ効果の影響を受けにくくしている。また、このときに、照明光の主光線の方向を培養液の液面により屈折される方向を考慮して、屈折される方向とは逆方向に光軸に対して主光線の方向を向けることで、屈折した照明光がウェル１０ａの壁面で反射又は透過することを防止することができ、即ち照明光束がウェル１０ａ内のみを進行することととなり、これによってウェル１０ａのウェルの底面をムラなく略均一に照明することができる。
【００２５】
そして、結像光学系５を構成する低倍対物レンズ１２の開口数よりも小さいＮＡの照明光で照明された試料２からの光は、結像光学系５の低倍対物レンズ１２に入射する。ここで、低倍対物レンズ１２は上述のように高開口数の対物レンズであるため、ウェル１０ａの底面から射出された光（前述の屈折した照明光で照明された試料２からの光を含む）を略漏れなく集光することができる。このようにして低倍対物レンズ１２によって集光された光は、不図示の結像レンズを介して、カメラ１４の撮像面上に試料２の像を形成する。なお、詳細には、上述のような主光線の方向と照明光の実効的なＮＡを持つ照明光によってウェル１０ａの壁面での反射光、即ちノイズ光の発生を抑えながらウェル１０ａの底面を略均一に照明することで、試料２の背景（バックグラウンド）からの光（直接光）のＮＡが小さくなるため、直接光と試料２で回折された回折光とが干渉してコントラストの良好な試料２の観察像が形成されることとなる。このようにして形成された試料２の像は、カメラ１４で撮影されてモニタ４２に表示され、使用者に観察されることとなる。
ここで、再生医療の研究等において培養した細胞の高精細な蛍光画像を視野の全域を観察することが求められている。本願の画像生成装置４０では、後述するように低倍で取得した細胞画像を基準にして高倍の蛍光画像をタイリングした蛍光タイリング画像を生成する。このため、本願では、低倍細胞画像取得時に培養液のレンズ効果の影響を考慮しながら視野の全域で観察を行うために、低倍対物レンズ１２に０．２５相当の開口数と１．２５倍程度の倍率となるようにしている。
【００２６】
また、本実施形態にかかる顕微鏡装置１は、上述のように照明光の実効的なＮＡが０．１以下、対物レンズ１２の倍率が１．２５倍で開口数が０．２５以上であり、これによって視野の全域（Φ６．４ｍｍ程度の実視野）で観察を行うことができる。また、上述のように９６ウェルプレート１０におけるウェル１０ａの内径はΦ６．４ｍｍ程度であるため、本実施形態にかかる顕微鏡装置１は、２／３インチＣＣＤカメラであるカメラ１４によって、９６ウェルプレート１０のウェル１０ａの底面全域を１枚の画像として一度に撮影することができる。培養液の凹面によるレンズ効果の影響を解消した試料２の低倍画像を取得することができる。
【００２７】
また、上述のように培養液のレンズ効果の大きさは、培養容器の種類、培養液の組成、培養容器の材質、及び培養液の量等によって様々に変化する。特に、培養容器の種類によって培養液の凹面の直径は異なり、これによって凹面の曲率半径は大きく変化し、レンズ効果も大きく変化することとなる。
【００２８】
そこで、本実施形態にかかる顕微鏡装置１は、培養液のレンズ効果の変化に応じて、上述のように可動絞りを光軸方向に移動させたり、可動絞りの絞り径を変更させたりすることで、照明光の実効的なＮＡや照明光の主光線の方向を変更することができる。これにより、培養液のレンズ効果が変化した場合でも、これに対応した低ＮＡの照明光によって培養容器の底面を略均一に照明することができ、レンズ効果の影響を解消した試料２の低倍画像を取得することができる。
【００２９】
図３（ａ）は、カメラ１４で取得したウェル１０ａの底面全域にわたる試料（細胞）２の画像３０をモニタ４２に表示した一例である。ここで取得した画像３０は、ＰＣ４１のメモリに、ウェル１０ａの情報と共に保存される。
【００３０】
次に、高倍の対物レンズ２１を用いて、試料２からの蛍光像を取得する場合について説明する。
【００３１】
使用者は、低倍結像光学系５に変えて蛍光光学系２０をカメラ１４の光軸に挿入すると共に、取得する蛍光像に対応するダイクロイックミラー２６とエミッションフィルタ２７を内蔵するフィルタキューブ２８を励起光学系２４に配置する。
【００３２】
励起光源２２からの励起光は、フィルタキューブ２８内のダイクロイックミラー２６で対物レンズ２１側に反射されて対物レンズ２１を介してウェル１０ａ内の試料２に照射される。
【００３３】
試料２は、前もって所定の蛍光を発する物質が導入されており、照射された励起光により所定波長の蛍光を発する。試料２で発光した蛍光は、対物レンズ２１で集光されてダイクロイックミラー２６に向かって鏡筒２５を進行して、ダイクロイックミラー２６を透過し、さらにエミッションフィルタ２７を透過して不図示の結像レンズでカメラ１４の撮像面に結像する。カメラ１４の撮像面に結像した試料２の蛍光像は、カメラ１４で撮像されてＰＣ４１内のメモリ４４にウェル１０ａの情報と共に保存されると共に、モニタ４２に表示される。
【００３４】
図４（ａ）に示す蛍光像３５は、このようにして取得された円形視野の蛍光像を所定サイズ（一辺がＡ）の正方形にリサイズした画像の一例である。
【００３５】
ＰＣ４１は、一辺Ａの正方形でウェル１０ａの底面全域の高倍の蛍光画像３５をそれぞれ取得して、各蛍光像３５を取得時ステージ３のＸＹ座標と共にメモリ４４に保存する。
【００３６】
このようにして、画像生成装置４０は、低倍結像光学系５で取得したウェル１０ａの底面全域の画像３０（図３（ａ）参照）と蛍光結像光学系２０で取得した複数の蛍光像３５（図４（ａ）参照）をメモリ４４にそれぞれの情報付きで保存する。
【００３７】
続いて、低倍率で取得した画像３０と高倍率で取得した複数の蛍光画像３５を用いて、高倍の蛍光画像３５の蛍光タイリング画像１３５（図５参照）を生成する手順について図２に示すフローチャートを参照しつつ説明する。
【００３８】
（ステップＳ１）
画像生成装置４０のＰＣ４１は、メモリ４４から低倍で取得した画像３０（図３（ａ）参照）を読み出す。
【００３９】
（ステップＳ２）
ＰＣ４１は、画像３０の輝度ムラを補正して補正画像を生成する。輝度ムラ補正には、ウェルプレート１０の各ウェル１０ａに細胞を培養する培養液のみを注入した状態で各ウェル１０ａの底面全域の補正用画像を取得してメモリ４４に保存しておく。ＰＣ４１は、取得した細胞の画像３０と画像３０に対応する補正用画像との差分処理を行い、細胞の画像３０の輝度ムラを補正した補正画像を生成する。なお、輝度ムラ補正は、上記差分処理に限らず、細胞の画像３０に対して十分広い帯域を有するローパスフィルタ（例えば、ガウシアンフィルタ等）をかけ、画像３０との差分を取ることでも可能である。
【００４０】
（ステップＳ３）
ＰＣ４１は、輝度ムラ補正した補正用画像を二値化処理して、二値化細胞画像３０ａを生成する（図３（ｂ）参照）。これにより、細胞２は、細胞内構造が均一化され、二値化された細胞像２ａとなる。詳しくは、細胞を抽出にあたって、ステップＳ２における輝度ムラ補正画像に対して、明らかに背景となる領域の輝度をサンプリングし、そのノイズ成分、すなわち背景輝度の平均値μ１、標準偏差σ１を計算する。この背景部分のノイズ成分ではない輝度値が細胞であるとし、輝度ムラ補正画像を（μ１ーｍ１×σ１）を閾値として二値化する。ここで、ｍ１は適当な倍率である。輝度ムラ補正画像における細胞像は暗いため輝度値が小さい。そこで、閾値（μ１ーｍ１×σ１）を超えた輝度値を持つ画素を輝度値＝０（背景）、閾値を下回る輝度値を持つ画を輝度値＝１（細胞）とする処理を行い、二値化細胞画像３０ａを生成し、メモリ４４に保存する。二値化細胞画像３０ａは、細胞２が明るく、背景が暗い画像となる。
【００４１】
（ステップＳ４）
次に蛍光画像３５の処理を行う。ＰＣ４１は、メモリ４４に保存されている高倍で取得した蛍光画像３５（図４（ａ）参照）を読み出す。
【００４２】
（ステップＳ５）
ＰＣ４１は、メモリ４４から読み出した蛍光画像３５の輝度ムラ補正を行い輝度ムラ補正蛍光画像を生成する。輝度ムラ補正の方法は、ステップＳ２と同様の方法を使用する。ＰＣ４１は、輝度ムラ補正蛍光画像を用いて、背景部分のノイズ成分すなわち背景輝度の平均値μ２と、標準偏差σ２を計算する。
【００４３】
（ステップＳ６）
ＰＣ４１は、ステップＳ３と同様の処理により輝度ムラ補正蛍光画像を二値処理して、二値化蛍光画像３５ａ（図４（ｂ）参照）を生成し、メモリ４４に保存する。このとき、蛍光画像３５の細胞部分が明るいとして、ステップＳ５で得られた輝度ムラ補正蛍光画像を（μ２＋ｍ２×σ２）を閾値として二値化する。ここで、ｍ２は適当な倍率である。輝度ムラ蛍光補正画像における細胞像は明るいため輝度値が大きい。そこで、閾値（μ２＋ｍ２×σ２）を超えた輝度値を持つ画素を輝度値＝１（細胞）、閾値を下回る輝度値を持つ画を輝度値＝０（背景）とする処理を行い、二値化蛍光画像３５ａを生成し、メモリ４４に保存する。ＰＣ４１は、ステップＳ４からステップＳ６までの処理をウェル１０ａで取得した複数の高倍の蛍光画像３５の全てにわたって行う。この結果、メモリ４４には、ウェル１０ａ底面全域を二値化した低倍の二値化細胞画像３０ａと複数の高倍の蛍光画像３５それぞれを二値化した複数の二値化蛍光画像３５ａが保存される。
【００４４】
（ステップＳ７、Ｓ８）
ＰＣ４１は、ステップＳ１からステップＳ６で形成した二値化細胞画像３０ａと複数の二値化蛍光画像３５ａそれぞれの像倍率を同じにするため、それぞれの倍率差に基き二値化細胞画像３０ａと複数の二値化蛍光画像３５ａをそれぞれリサイズする。これにより、それぞれの二値化画像における細胞２ａは、ほぼ同じサイズにリサイズされる。図５（ａ）は、このようにして得られた同倍率にリサイズされた二値化細胞画像１３０ａを、図５（ｂ）は、同倍にリサイズされた二値化蛍光画像１３５ａ（テンプレート画像）をそれぞれ示している。
【００４５】
（ステップＳ９、Ｓ１０）
ＰＣ４１は、リサイズした二値化蛍光画像１３５ａをテンプレートとして、リサイズした二値化細胞画像１３０ａに対してテンプレートマッチング処理を実行する。二値化細胞画像マッチング評価値には、マッチングに使用する画像が両者とも二値化画像であることから両画像の差分値を使用する。そして、この差分値が最も小さい時にテンプレート画像の位置とし、タイリング位置決定する。
【００４６】
（ステップＳ１１）
このようなテンプレートマッチング処理を取得した全ての高倍蛍光画像３５に対して行うことでウェル１０ａの底面全域にわたる高倍蛍光画像を配置した蛍光タイリング画像を生成することができる。なお、このテンプレートマッチング処理は、そのまま行うとＰＣ４１における計算に時間がかかるため、メモリ４４に保存されている蛍光画像３５を取得した時のステージ３のＸＹ座標を使って、低倍細胞画像３０のおおよその位置を求め、この求められた位置を基準として所定のサーチ範囲を決めておくことによりテンプレートマッチング処理時間を短縮することができる。
【００４７】
このように、本実施形態にかかる画像生成装置では、従来のようなのりしろ部分に存在するパターン画像のマッチング度を評価してタイリングするのではなく（蛍光画像ではのりしろ部分は真っ暗でマッチング度を評価するパターン画像が存在しない）、低倍で取得した標本の全体画像の二値化画像を基準として、高倍で取得した蛍光画像の細胞の発光パタンのマッチング度を評価することで、高倍で取得した蛍光画像のタイリングを行うことができる。また、従来のようにのりしろ部分を使用しないため、高倍の蛍光画像の取得時にのりしろ部分を考慮する必要が無く、のりしろ部分で発生するタイリング誤差を小さく抑えることができる。
【００４８】
なお、上記説明において、ウェル底面全域の低倍画像は、明視野透過像の画像を使用して高倍の蛍光画像をテンプレートマッチング処理する場合について述べたが、低倍画像に代わってウェル底面全域の低倍蛍光画像を使用することも可能である。この場合、図１において、低倍用照明光学系４と低倍結像光学系５は、必要なく蛍光結像光学系２０で低倍の蛍光画像と高倍の蛍光画像を取得する構成にすれば良い。また、ステップＳ３の二値化処理において、ステップＳ６と同様に輝度ムラ補正画像を（μ１＋ｍ１×σ１）を閾値として二値化する。低倍蛍光画像では、輝度ムラ補正画像における細胞像は明るいため輝度値が大きい。そこで、閾値（μ１＋ｍ１×σ１）を超えた輝度値を持つ画素を輝度値＝１（細胞）、閾値を下回る輝度値を持つ画素を輝度値＝０（背景）とする処理を行うように変更する。そして、その他の処理は、上述と同様の処理を行うことで同様の作用、効果を奏することができる。
【００４９】
以上述べたように、本実施形態にかかる画像生成装置は、低倍細胞画像を基準として高倍の蛍光画像をテンプレートすることで高倍の蛍光画像を高い位置精度でテンプレートマッチングすることができる。この結果、ウェルの底面全域にわたり高い位置精度で配置した高倍蛍光画像を得ることができる。
【符号の説明】
【００５０】
１ 顕微鏡装置
２ 試料（細胞）
３ ステージ
４ 低倍用照明光学系
５ 低倍結像光学系
１０ ウェルプレート
１２ 低倍対物レンズ
１３、２５ 鏡筒部
１４ カメラ
２０ 蛍光結像光学系
２１ 対物レンズ
２２ 励起光源
２３ レボルバ
２４ 励起光学系
２６ ダイクロイックミラー
２７ エミッションフィルタ
２８ フィルタキューブ
３０ 低倍細胞画像
３０ａ 二値化細胞画像
３５ 高倍蛍光画像
３５ａ 二値化蛍光画像
４０ 画像生成装置
４１ ＰＣ
４２ モニタ
４３ 入力装置
４４ メモリ
１３０ａ 蛍光タイリング画像
１３５ａ テンプレート
【特許請求の範囲】
【請求項１】
顕微鏡の結像位置に配設された撮像装置からの画像を処理してタイリング画像を生成する画像生成装置であって、
前記撮像装置を介して取得した、標本の複数の高倍の蛍光画像を二値化した複数の二値化蛍光画像と前記標本全体にわたる低倍画像を二値化した二値化標本画像を、同倍率にリサイズして前記二値化標本画像を基準として前記二値化蛍光画像をそれぞれタイリングした一つの蛍光画像を生成する画像生成手段を有することを特徴とする画像生成装置。
【請求項２】
前記低倍画像と複数の前記高倍蛍光画像は、取得時の位置座標値をそれぞれ有し、
前記画像生成手段は、前記位置座標を参考にして予備タイリング後、前記二値化標本画像と前記二値化蛍光画像との差分値が最小となる位置にそれぞれの前記二値化蛍光画像をタイリングすることを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記低倍画像、前記蛍光画像、および前記タイリング画像を保存する保存手段を有することを特徴とする請求項１または２に記載の画像生成装置。
【請求項４】
前記低倍画像は、低倍の蛍光画像であることを特徴とする請求項１から３のいずれか一項に記載の画像生成装置。
【請求項５】
細胞を培養するウェルの底部全面の細胞画像を取得する低倍画像取装置と、
前記低倍画像取得装置より倍率の高い蛍光画像を取得する蛍光画像取得装置と、
前記細胞画像から前記細胞を抽出した第１の細胞画像と、前記蛍光画像から前記細胞を抽出した第２の細胞画像とを用いて、前記第２の細胞画像の前記第１の細胞画像に対するテンプレートマッチングを行い、前記蛍光画像の前記細胞画像に対する位置を決定する画像生成装置と、を有することを特徴とする顕微鏡装置。
【請求項６】
前記低倍画像取得装置は、前記細胞を培養するウェルの培養液表面の変形によるメニスカス効果を抑制して前記ウェルの底部全面の前記細胞画像を取得することを特徴とする請求項５に記載の顕微鏡装置。
【請求項７】
前記低倍画像取得装置は、照明光学系と、結像光学系とを有し、
前記照明光学系の照明光の実効的なＮＡは、前記結像光学系の対物レンズの開口数より小さいことを特徴とする請求項５または６に記載の顕微鏡装置。
【請求項１】
顕微鏡の結像位置に配設された撮像装置からの画像を処理してタイリング画像を生成する画像生成装置であって、
前記撮像装置を介して取得した、標本の複数の高倍の蛍光画像を二値化した複数の二値化蛍光画像と前記標本全体にわたる低倍画像を二値化した二値化標本画像を、同倍率にリサイズして前記二値化標本画像を基準として前記二値化蛍光画像をそれぞれタイリングした一つの蛍光画像を生成する画像生成手段を有することを特徴とする画像生成装置。
【請求項２】
前記低倍画像と複数の前記高倍蛍光画像は、取得時の位置座標値をそれぞれ有し、
前記画像生成手段は、前記位置座標を参考にして予備タイリング後、前記二値化標本画像と前記二値化蛍光画像との差分値が最小となる位置にそれぞれの前記二値化蛍光画像をタイリングすることを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記低倍画像、前記蛍光画像、および前記タイリング画像を保存する保存手段を有することを特徴とする請求項１または２に記載の画像生成装置。
【請求項４】
前記低倍画像は、低倍の蛍光画像であることを特徴とする請求項１から３のいずれか一項に記載の画像生成装置。
【請求項５】
細胞を培養するウェルの底部全面の細胞画像を取得する低倍画像取装置と、
前記低倍画像取得装置より倍率の高い蛍光画像を取得する蛍光画像取得装置と、
前記細胞画像から前記細胞を抽出した第１の細胞画像と、前記蛍光画像から前記細胞を抽出した第２の細胞画像とを用いて、前記第２の細胞画像の前記第１の細胞画像に対するテンプレートマッチングを行い、前記蛍光画像の前記細胞画像に対する位置を決定する画像生成装置と、を有することを特徴とする顕微鏡装置。
【請求項６】
前記低倍画像取得装置は、前記細胞を培養するウェルの培養液表面の変形によるメニスカス効果を抑制して前記ウェルの底部全面の前記細胞画像を取得することを特徴とする請求項５に記載の顕微鏡装置。
【請求項７】
前記低倍画像取得装置は、照明光学系と、結像光学系とを有し、
前記照明光学系の照明光の実効的なＮＡは、前記結像光学系の対物レンズの開口数より小さいことを特徴とする請求項５または６に記載の顕微鏡装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−１７３７２５（Ｐ２０１２−１７３７２５Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３８８５５（Ｐ２０１１−３８８５５）
【出願日】平成２３年２月２４日（２０１１．２．２４）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月２４日（２０１１．２．２４）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]