顕微鏡システム、観察画像の表示方法、プログラム
【課題】 生体試料の微弱光画像をライブ画像中で視認することができる顕微鏡システム等を提供する。
【解決手段】 顕微鏡システム１１は、生体試料１２の微弱光画像を取得可能な第１の顕微鏡１３と、第１の顕微鏡１３に接続されるとともに、微弱光画像を記憶する第１の制御装置１４と、生体試料１２の明視野のライブ画像２２を取得可能な第２の顕微鏡１５と、第２の顕微鏡１５に接続されるとともに、微弱光画像を明視野のライブ画像２２と同等の倍率になるように縮小して、明視野のライブ画像２２の一部に重ね合わせて表示できる表示部を有した第２の制御装置１６と、を具備する。
【解決手段】 顕微鏡システム１１は、生体試料１２の微弱光画像を取得可能な第１の顕微鏡１３と、第１の顕微鏡１３に接続されるとともに、微弱光画像を記憶する第１の制御装置１４と、生体試料１２の明視野のライブ画像２２を取得可能な第２の顕微鏡１５と、第２の顕微鏡１５に接続されるとともに、微弱光画像を明視野のライブ画像２２と同等の倍率になるように縮小して、明視野のライブ画像２２の一部に重ね合わせて表示できる表示部を有した第２の制御装置１６と、を具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、微弱光を発生する生体試料に関する観察等を行う顕微鏡とこれを制御する制御装置とを有した顕微鏡システム、画像取得手段とこれを制御する制御手段とを有した観察画像の表示方法、およびプログラムに関する。
【背景技術】
【０００２】
微弱光である生物発光等の自己発光を発生する生体試料の発光画像や蛍光画像を撮影可能な発光顕微鏡が開示されている。この発光顕微鏡は、微弱光を撮像するための遮光状態を得るための暗箱を有しており、発光する性質が付与された生体試料をこの暗箱内に保持して、この生体試料の暗視野における発光画像を取得することができる。生体試料から出る光は極めて微弱であるため、鮮明な発光画像を取得するためには、発光画像の撮影には３０分程度の露光時間を要する（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１０８１５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、近年ＥＳ細胞やｉＰＳ細胞の分化プロセスのような長期間の観察等を必要とする研究が盛んであるが、それらをさらに詳細に検討するには、分化マーカーや未分化マーカーと呼ばれる各種レポーター遺伝子を発現している細胞のコロニーをピックアップしてセレクションする必要がある。分化マーカーや未分化マーカーの発現を検出する方法は、マーカーの種類に応じて種々の方法をとることができる。
【０００５】
例えば、レポーター遺伝子としてＧＦＰ等の蛍光を発するタンパク質を利用する場合には、ＥＳ細胞やｉＰＳ細胞に励起光を照射して蛍光画像を取得する必要がある。しかしながら、励起光は、コロニー化した細胞群を充分に励起するためにエネルギーレベルの高い光が必要であることから、ＥＳ細胞やｉＰＳ細胞に励起光を長時間照射したまま、ピックアップ作業を行うことは好ましくない。したがって、過去に取得した蛍光画像をもとに目的のコロニーをピックアップすることになる。
【０００６】
一方、レポーター遺伝子として自己発光性のタンパク質を利用する場合には、個々の細胞から発生される遺伝子発現由来の発光は極めて微弱であるため、上記発光顕微鏡のように微弱光の撮像が可能な検出手段を必要とし、さらに、明視野で観察できる実体顕微鏡または正立／倒立顕微鏡といった、計２種類の顕微鏡を用いる必要がある。これは、発光顕微鏡下では、暗箱が作業の邪魔になるため、ピックアップ作業を行うことが困難だからである。よって、レポーター遺伝子として自己発光性のタンパク質を利用する場合には、発光顕微鏡において発光画像を取得しておき、シャーレ内において分化マーカーまたは未分化マーカーを発現しているコロニーの位置を確認する。その画像をもとに実体顕微鏡または正立／倒立顕微鏡下で目的のコロニーをピックアップする。しかしながら、このような従来のやり方では、分化マーカーまたは未分化マーカーを発現しているコロニーと、実際にピックアップを行なったコロニーとが正確に対応しているとは言い切れず、改良の余地があった。
【０００７】
本発明の目的は、生体試料の微弱光画像をライブ画像中で視認することができる顕微鏡システム等を提供することにある。
【課題を解決するための手段】
【０００８】
前記目的を達成するため、本発明の一つの形態に係る顕微鏡システムは、生体試料の微弱光画像を取得可能な第１の顕微鏡と、前記第１の顕微鏡に接続されるとともに、前記微弱光画像を記憶する第１の制御装置と、前記生体試料の明視野のライブ画像を前記微弱光画像と異なる倍率で取得可能な第２の顕微鏡と、前記第２の顕微鏡に接続されるとともに、前記微弱光画像を前記明視野のライブ画像と同等の倍率になるようにして、前記明視野のライブ画像の一部に重ね合わせて表示できる表示部を有した第２の制御装置と、を具備する。
【０００９】
前記目的を達成するため、本発明の一つの形態に係る観察画像の表示方法は、予め第１の画像取得手段で生体試料の微弱光画像を取得し、第２の画像取得手段で生体試料の明視野のライブ画像を前記微弱光画像と異なる倍率で取得し、制御手段によって前記微弱光画像を前記ライブ画像と同等の倍率になるようにするとともに、前記ライブ画像の一部に重ね合わせて表示手段上に表示する。
【００１０】
前記目的を達成するため、本発明の一つの形態に係るプログラムは、生体試料の微弱光画像を取得する第１の画像取得手段、前記生体試料の明視野のライブ画像を取得する第２の画像取得手段、これらを制御する制御手段、前記制御手段に設けられた表示手段、を具備した観察画像の表示システムに、前記第１の画像取得手段により前記生体試料の微弱光画像を取得する機能と、前記第２の画像取得手段により生体試料の明視野のライブ画像を前記微弱光画像と異なる倍率で取得する機能と、前記制御手段によって前記微弱光画像を前記ライブ画像と同等の倍率になるようにするとともに、前記ライブ画像の一部に重ね合わせて前記表示手段上に表示する機能と、を実現させる。
【００１１】
前記目的を達成するため、本発明の他の形態に係るプログラムは、生体試料の微弱光画像を取得する第１の画像取得手段、前記生体試料の明視野のライブ画像を取得する第２の画像取得手段、これらを制御する制御手段、前記制御手段に設けられた表示手段および表示切替手段、を具備した観察画像の表示システムに、前記第１の画像取得手段により前記生体試料の微弱光画像を高倍率で取得する機能と、前記第２の画像取得手段により生体試料の明視野のライブ画像を低倍率で取得する機能と、前記制御手段によって前記微弱光画像を前記ライブ画像と同等の倍率になるように縮小するとともに、前記ライブ画像の一部に重ね合わせて前記表示手段上に表示する機能と、表示切替手段により前記ライブ画像に重ねて表示された前記微弱光画像の表示、非表示を切り換える機能と、を実現させる。
【００１２】
前記目的を達成するため、本発明の他の形態に係るプログラムは、生体試料の微弱光画像を取得する第１の画像取得手段、前記生体試料の明視野のライブ画像を取得する第２の画像取得手段、これらを制御する制御手段、前記制御手段に設けられた表示手段および非表示手段、を具備した観察画像の表示システムに、前記第１の画像取得手段により前記生体試料の微弱光画像を高倍率で取得する機能と、前記第２の画像取得手段により生体試料の明視野のライブ画像を低倍率で取得する機能と、前記制御手段によって前記微弱光画像を前記ライブ画像と同等の倍率になるように縮小するとともに、前記ライブ画像の一部に重ね合わせて前記表示手段上に表示する機能と、一定時間内に前記ライブ画像の一部の領域の画素値に変化があった場合に、前記非表示手段により前記ライブ画像の一部の領域に対応する前記微弱光画像の一部の領域の画素値をゼロにする機能と、を実現させる。
【発明の効果】
【００１３】
上記の構成によれば、生体試料の微弱光画像をライブ画像中で視認することができる顕微鏡システム等を提供できる。
【図面の簡単な説明】
【００１４】
【図１】第１の実施形態にかかる顕微鏡システムを示した斜視図。
【図２】図１に示す顕微鏡システムの第１の顕微鏡を模式的に示したブロック図。
【図３】図１に示す顕微鏡システムの第２の顕微鏡を模式的に示したブロック図。
【図４】第１の実施形態の顕微鏡システムを用いたピックアップ作業の流れを示したフローチャート。
【図５】図１に示す顕微鏡システムで得られたライブ画像と発光画像とを第２の表示部の画面上で重ね合わせた状態を示した図。
【図６】第２の実施形態にかかる顕微鏡システムの第２の顕微鏡を模式的に示したブロック図。
【図７】第２の実施形態に係る顕微鏡システムで得られたライブ画像の表示箇所に隣接した箇所に、ライブ画像と発光画像とを重ね合わせ表示したものを拡大した拡大画像を第２の表示部の画面上に表示した状態を示した図。
【図８】第２の実施形態にかかる顕微鏡システムで得られたライブ画像の表示箇所に隣接した箇所に、ライブ画像中の指定箇所を拡大した拡大画像を第２の表示部の画面上に表示した状態を示した図。
【図９】第３の実施形態にかかる顕微鏡システムで得られたライブ画像を移動させる前の状態を示した図。
【図１０】第３の実施形態にかかる顕微鏡システムで得られたライブ画像を移動させた後の状態を示した図。
【図１１】第４の実施形態にかかる顕微鏡システムに用いられる生体試料であって、シャーレの底部に基準位置となるマーカーが付されたものを示した上面図。
【発明を実施するための形態】
【００１５】
以下、図１から図５を参照して、顕微鏡システムの第１の実施形態について説明する。この顕微鏡システム１１は、例えば、分化マーカーとしてルシフェラーゼの発光ベクターやＧＦＰ等の蛍光タンパクや蛍光色素を導入したＥＳ細胞やｉＰＳ細胞などの生体試料をシャーレ等の収容部内で培養しながら経時的に微弱光画像を取得し、数日経過後に、この発光画像およびライブ画像に基づいて生体試料中の培養細胞のコロニーをピックアップする作業等に用いられる。
【００１６】
図１に示すように、顕微鏡システム１１は、主として生体試料１２の微弱光画像２１を取得する第１の顕微鏡１３（第１の画像取得手段）と、第１の顕微鏡１３を制御するとともに、第１の顕微鏡１３で取得した微弱光画像２１を記憶する第１の制御装置１４（制御手段）と、主として生体試料１２のライブ画像２２を取得する第２の顕微鏡１５（第２の画像取得手段）と、第２の顕微鏡１５を制御するとともに微弱光画像２１と第２の顕微鏡１５で取得したライブ画像２２とを重ね合わせ表示する第２の制御装置１６（制御手段）と、を備えている。
【００１７】
図１、図２に示すように、第１の顕微鏡１３は、いわゆる発光顕微鏡と呼ばれるものであり、主として細胞等の生体試料から発せられる微弱光である発光に基づいて発光画像２１を取得するために利用でき、例えば発光を十分な時間（１分以上）露光する撮像素子（ＣＣＤ、ＣＭＯＳ等）や高ＮＡの結像光学系（対物レンズ、結像レンズ等）を具備している。なお、本発明にいう微弱光画像は、タンパク質等の自己発光性によって得られる発光画像と、励起光を照射して得られる蛍光画像とを含んだ概念である。
【００１８】
また、第１の顕微鏡１３は、光源２３を利用して生体試料１２の明視野画像を取得することもできる。ここで、発光画像２１とともに取得される明視野画像は、主に発光画像２１を取得した撮像期間の前後に取得され、発光画像２１に対応する生体試料全体の観察像を提供する。発光画像２１は、生体試料の活性を時系列に評価するために所望の時間ごとに複数枚取得するのが好ましく、その都度、明視野画像も取得するのがさらに好ましい。
【００１９】
第１の顕微鏡１３は、本体２４と、本体２４の一部に設けられた暗箱２５と、暗箱２５の上部を覆う蓋２６と、暗箱２５内に設けられたインキュベータ２７および第１のステージ２８と、を有している。また、第１の顕微鏡１３は、インキュベータ２７および第１のステージ２８には、図示しない観察用の孔が設けられている。
【００２０】
第１の顕微鏡１３は、暗箱２５の下部に、さらに、第１のステージ２８の下方に設けられた対物光学系３２と、対物光学系３２を通る不要な光を遮断する第１のフィルタ３３と、対物光学系３２および第１のフィルタ３３の下方に設けられて対物光学系３２を通った光を検出できる第１のＣＣＤカメラ３４と、を有している。なお、単色の発光観察のみを行なう場合には、第１のフィルタ３３を省略することもできる。また、対物光学系には図示しないズーム機構を備えていてもよい。
【００２１】
第１の顕微鏡１３は、明視野画像や蛍光画像を取得する際に利用される光源２３と、光源２３からの光を調整するための第２のフィルタ３５と、を有している。光源２３は、明視野画像を取得する際に利用される白色光を照射可能なランプやＬＥＤ等を有している。第１の顕微鏡１３は、蛍光観察時に利用する励起光を照射可能な蛍光ユニットをさらに備えていても良い。発光画像、明視野画像および蛍光画像を取得する顕微鏡には、例えばオリンパス株式会社製の発光イメージングシステムＬＵＭＩＮＯＶＩＥＷ ＬＶ２００（ＬＵＭＩＮＯＶＩＥＷ：商標登録）が挙げられるが、これに限定されるものではない。
【００２２】
図１に示すように、第１の制御装置１４は、一般的なパーソナルコンピュータ（ＰＣ）等のコンピュータである。第１の制御装置１４は、液晶ディスプレイ等で構成される第１の表示部３６と、入力手段としてのキーボード３７およびマウス３８など、を有している。第１の制御装置１４は、第１のＣＣＤカメラ３４の撮影条件の制御、取得像の画像化と第１の表示部３６への表示、および光源２３の光量を制御することができる。また、第１の制御装置１４は、第１の顕微鏡１３で取得した発光画像２１、蛍光画像および明視野画像の記憶のほか、これら発光画像２１、蛍光画像および明視野画像の画像処理や画像解析も可能である。第１の制御装置１４は、これら画像解析の結果データを観察条件とともに記憶しておくこともできる。第１の制御装置１４は、第１のフィルタ３３、第２のフィルタ３５の切り替えの制御も行うことができる。さらに第１の制御装置１４は、対物光学系３２のズーム制御を行うことができる。
【００２３】
第１の顕微鏡１３および第１の制御装置１４で発光観察をする場合、生体試料１２から発せられた光は、対物光学系３２に進み、第１のフィルタ３３で不要な光が遮断されて第１のＣＣＤカメラ３４で検出される。第１のＣＣＤカメラ３４で検出された光は、第１の制御装置１４に送られて画像化される。
【００２４】
明視野画像を取得する場合は、第２のフィルタ３５で白色の照明光が照射されるようにして標本１２を照明し、透過した光が、対物光学系３２を進み、第１のフィルタ３３は光が遮断されないようにして、光がそのまま進み、ＣＣＤカメラ３４で検出される。ＣＣＤカメラ３４で検出された光は、第１の制御装置１４に送られて画像化される。
【００２５】
蛍光画像を取得する場合は、光源２３から射出された光は、第２のフィルタ３５で蛍光タンパク等を励起する波長の光のみを透過され、標本１２に照射される。標本１２で発せられた光は、対物光学系３２を進み、第１のフィルタ３３で不要な光が遮断されて、ＣＣＤカメラ３４で検出される。ＣＣＤカメラ３４で検出された光は、第１の制御装置１４に送られて画像化される。
【００２６】
第２の顕微鏡１５は、明視野で生体試料１２のライブ画像２２を取得して、生体試料１２中の培養細胞のコロニー４１をピックアップする作業に用いられるいわゆる正立型顕微鏡である。第２の顕微鏡１５は、生体試料に細菌などが進入することがない、例えばクリーンベンチの内部に設置されている。図３に示すように、第２の顕微鏡１５は、第２の本体４０と、第２の本体４０上部に設けられた接眼ユニット４２と、接眼ユニット４２の上部に設けられた第２のＣＣＤカメラ４３と、レボルバ４４を介して第２の本体４０に対して回転可能に固定された複数の対物レンズ４５と、接眼ユニット４２と対物レンズ４５との間に設けられたキューブユニット４６と、を有している。
【００２７】
接眼ユニット４２は、図示しない結像レンズ、および接眼レンズで構成されている。接眼ユニット４２は、光路分岐をするためのフィルタやミラーを内蔵しており、接眼レンズでの観察光路と、第２のＣＣＤカメラ４３での観察光路とを分岐している。
【００２８】
対物レンズ４５は、互いに倍率の異なるものが着脱自在にレボルバ４４に取り付けられている。キューブユニット４６は、図示しない複数のミラー、ハーフミラー、フィルタ等を保持しており、照明ユニット４７で照明する照明光路と、接眼ユニット４２および第２のＣＣＤカメラ４３での観察光路とを分岐している。
【００２９】
第２の顕微鏡１５は、さらに、第２の本体４０下部に設けられた第２のステージ３１と、第２のステージ３１上に載置される標本（生体試料１２）と、第２の本体４０に設けられる制御ユニット５１と、標本（生体試料１２）に投光するための照明ユニット４７と、を有している。制御ユニット５１は、第２の顕微鏡１５の各部の駆動制御を行なう駆動制御回路を備えている。第２のステージ３１は、Ｘ軸方向およびＹ軸方向（水平方向）のほか、Ｚ軸方向（鉛直方向）にも、例えば手動で移動できる。本実施形態のレボルバ４４は、電動のもので構成されている。照明ユニット４７は、図示しない複数の光源、コレクタレンズ、リレーレンズ、開口絞りユニット、視野絞りユニット等により構成されている。
【００３０】
照明ユニット４７からの光は、キューブユニット４６を介して対物レンズ４５を通して生体試料１２に投光される。
【００３１】
生体試料１２の接眼ユニット４２による観察は、生体試料１２から発せられる蛍光や反射光等の光が、対物レンズ４５、キューブユニット４６を通過して接眼ユニット４２に伝わり、接眼ユニット４２に設けられた結像レンズに集光される。この光は、所定の結像面上に結像されて、接眼レンズを介して目視で観察することができる。
【００３２】
第２のＣＣＤカメラ４３による観察は、接眼ユニット４２内のミラー等により第２のＣＣＤカメラ４３方向に分岐された光が、第２のＣＣＤカメラ４３のＣＣＤ面に結像され、生体試料１２の観察像は第２のＣＣＤカメラ４３に接続している第２の制御装置１６の第２の表示部４８へ表示することが可能となる。
【００３３】
図１に示すように、第２の制御装置１６は、一般的なパーソナルコンピュータ（ＰＣ）等のコンピュータで構成される。第２の制御装置１６は、液晶ディスプレイ等で構成される第２の表示部４８（表示手段）と、入力手段としてのキーボード４９およびマウス５０など、を有している。第２の制御装置１６は、第２のＣＣＤカメラ４３の撮影条件の制御、取得像の画像化と第２の表示部４８への表示、および照明ユニット４７の光量を制御することができる。また、第２の制御装置１６は、第２の顕微鏡１５で取得したライブ画像２２の記憶のほか、発光画像２１およびライブ画像２２の画像処理や画像解析も可能である。第２の制御装置１６は、これら画像解析の結果データを観察条件とともに記憶しておくこともできる。図３に示すように、第２の制御装置１６は、複数のキューブの制御や、レボルバ４４の回転の制御を行うことができる。
【００３４】
このように構成された第１の顕微鏡１３、第１の制御装置１４、第２の顕微鏡１５、および第２の制御装置１６を用いた発光観察および生体試料１２中の培養細胞のコロニー４１のピックアップ作業について、図４を参照しながら説明する。
【００３５】
まず、数日間発光観察をするときの手順は次の通りである。
【００３６】
生体試料１２を第１の顕微鏡１３に設置した後、生体試料１２の種類や培養の条件に応じて、観察条件を設定する。生体試料１２からの発光量は極めて少ないため、露出時間を十分に確保して鮮明な画像を取得（撮影）する。第１の制御装置１４から第１のＣＣＤカメラ３４を操作して画像を取得し、第１の制御装置１４に内蔵される記憶装置にこの画像を保存する。発光画像２１の取得は、例えば、１日に数回から数十回の程度で行なわれる（Ｓ１１）。発光画像２１は、微弱な自己発光を発生する細胞等を個々に識別できるような十分な高倍率（例えば４０〜１５０倍）の総合倍率を得るための対物レンズ（例えば２０倍対物レンズ）を用いて、高倍率で取得する。ここで対物レンズの倍率等の光学条件は、顕微鏡１３の他の結像光学系（結像レンズ、リレーレンズ等）に応じて決定される。このとき発光画像２１や蛍光画像を取得する際に、併せて生体試料１２の明視野画像を撮影し、明視野画像を一緒に保存しておいてもよい。
【００３７】
続いて、数日間観察を続けた後、生体試料１２の培養細胞中にコロニー４１が形成されたところで、コロニー４１をピックアップする作業の手順は次の通りである。
【００３８】
細胞（生体試料１２）を培養していたシャーレを、第１の顕微鏡１３から第２の顕微鏡１５に移動する。このとき、過去に第１の顕微鏡１３で取得した各種の画像を、第２の顕微鏡１５に接続されている第２の制御装置１６にコピーしておく（Ｓ１２）。
【００３９】
そして、接眼ユニット４２から目視で明視野観察を行なう（Ｓ１３）。続いて、個々の細胞の全体を観察視野にするために十分な低倍率（例えば０．５〜３０倍）総合倍率を得るための対物レンズ（例えば１０倍の対物レンズ４５）などを用いて、第２のステージ３１を移動して生体試料１２に焦点を合わせて低倍率の像を得る。
【００４０】
この状態で、第２のＣＣＤカメラ４３での観察に切り替えて、明視野像のリアルタイム表示（プレビュー表示、ライブ表示）を開始して、低倍率のライブ画像２２の取得を開始する。
【００４１】
続いて、重ね合わせ表示を表示する設定にして（Ｓ１４）、ユーザがライブ画像２２に含まれているコロニー４１と同じコロニー４１を含んだ過去の発光画像２１の表示を指示すると、第２の制御装置１６が発光画像２１を読み出す（Ｓ１５）。第２の制御装置１６では、発光画像２１がライブ画像２２の一部に重ねて表示され（Ｓ１６）、この発光画像２１は、表示位置をマウス５０等を介して手動で変更できるように第２の表示部４８に表示される。この時、例えば、明視野のライブ画像２２は例えば１０倍対物レンズ４５を用いて取得されており、それ以前に予め撮影された発光画像２１は、２０倍対物レンズを用いて撮影されている。このため、発光画像２１は、表示されているライブ画像２２の倍率に合わせて縮小して表示される。なお、明視野のライブ画像２２の倍率を変更した場合は、それに合わせて発光画像２１の縮小率も適宜に変更してライブ画像２２に重ね合わせて表示される。
【００４２】
第１の実施形態では、発光画像２１内のコロニー像がライブ画像２２中の対応するコロニー像と重なるように、ユーザがマウス５０等を利用してマニュアルで発光画像２１を移動させ、微調整しつつ発光画像２１を配置する（Ｓ１７）。
【００４３】
こうして図５に示すように明視野のライブ画像２２に発光画像２１が重ね合わせて表示される。このとき、明視野のライブ画像２２に対応する発光画像２１がライブ画像上の別々の領域に対応して複数ある場合（例えば、複数の細胞またはコロニーのそれぞれに対応する選択された複数の部分的な発光画像領域）には、図５のように複数の発光画像２１をライブ画像上の対応する領域に一致させて同時に重ね合わせて表示してもよい。また、ライブ画像を連続的に表示している間に、時系列な発光画像２１を動画表示するようにしてもよい。時系列な発光画像も同時に表示することにより、個々の細胞、細胞内部位、コロニーごとに遺伝子発現等の活性を確認できるようにしてもよい。
【００４４】
このようにすると、分化しているコロニー４１が非常にわかりやすくなり、どのコロニー４１をピックアップすればよいかがユーザにはっきりと認識される。これによって、所望のコロニー４１をピペット・チップなどで効率よくピックアップできる（Ｓ１８）。
【００４５】
必要なピックアップ作業が完了したら（Ｓ１９）、重ね合わせ表示を解除し（Ｓ２０）、リアルタイム表示を終了する（Ｓ２１）。
【００４６】
上述した各種制御や表示方法は、第１の制御装置１４および第２の制御装置１６にインストールされたソフトウェア（コンピュータプログラム）により実現可能である。その処理プログラムはＣＤ―ＲＯＭ等記録媒体や第１の制御装置１４および第２の制御装置１６に内蔵されるハードディスク等の記憶装置に記録されている。第１の制御装置１４および第２の制御装置１６は、必要に応じてメモリ上に前記処理プログラムを読み出し、ＣＰＵにより実行し第１の制御装置１４および第２の制御装置１６の各部、およびこれらに接続された第１の顕微鏡１３、第２の顕微鏡１５を制御する。
【００４７】
なお、記録装置は通信回線を介して第１の制御装置１４および第２の制御装置１６と接続されたプログラムサーバ等のコンピュータであってもよい。この場合には、制御プログラムを表現するデータ信号で搬送波を変調して得られる伝送信号を、プログラムサーバから通信回線を通じて第１の制御装置１４および第２の制御装置１６へ伝送するとともに、第１の制御装置１４および第２の制御装置１６で受信した伝送信号を復調して処理プログラムを再生し、この処理プログラムをＣＰＵで実行する。
【００４８】
第１の実施形態によれば、ユーザが手動で効率よく発光画像２１をライブ画像２２に重ね合わせることができ、分化しているコロニー４１を効率よく認識して、ピックアップ作業を円滑化することができる。
【００４９】
続いて、図６等を参照して、顕微鏡システムの第２の実施形態について説明する。第２の実施形態の顕微鏡システム１１は、第２の制御装置が画像認識部５２、表示切替手段５３、および非表示手段５４を有している点、および第２の表示部４８における表示手法が異なる点で第１の実施形態のものと異なっているが、他の部分は第１の実施形態と共通している。このため、主として異なる部分について説明し、共通する部分については共通の符号を付して説明を省略する。第２の実施形態の顕微鏡システム１１は、図１に示すものと同様の外観を有する。
【００５０】
第２の制御装置１６は、一般的なパーソナルコンピュータ（ＰＣ）等のコンピュータで構成される。図１、図６に示すように、第２の制御装置１６は、液晶ディスプレイ等で構成される第２の表示部４８と、内蔵するハードディスク等の記憶装置にインストールされたソフトウェアである画像認識部５２、表示切替手段５３、および非表示手段５４と、入力手段としてのキーボード４９およびマウス５０など、を有している。
【００５１】
画像認識部５２は、過去に第１の顕微鏡１３で発光画像２１とともに取得した明視野画像と、第２の顕微鏡１５で取得される明視野のライブ画像２２との間で画像認識を行なうソフトウェアであり、発光画像２１がライブ画像２２中のどの位置に重なるかについて自動的に判断する。
【００５２】
画像認識部５２は、例えば、次に示すような手順で画像認識を行なう。
【００５３】
第１の顕微鏡１３を用いて発光画像２１を取得する時に、併せて明視野画像も同時に取得する。このときの経時観察では、通常、発光画像２１と明視野画像は、毎回同じ観察条件で画像を取得する。そして、第２の顕微鏡１５下でピックアップ作業を行うときに、ピックアップ作業時に表示される明視野のライブ画像２２に対して、ユーザがコロニー４１を指定する。コロニー４１の指定は、様々な方法を用いることができ、例えば、マウス５０等で操作されるポインタを用いてライブ画像２２中のコロニー４１を自由曲線領域などで囲んだりして指定できる。また、該当のコロニー４１をマウス５０でクリックして、クリックした点を中心としたある一定の輝度値を越えた領域を発光領域として認識して、対象コロニー４１を指定してもよい。
【００５４】
対象コロニー４１が指示されたところで、画像認識部５２は、発光画像２１とともに保存された複数の明視野画像の中から、対象コロニー４１と一致または最も近いコロニー４１を持つ明視野画像を探す。
【００５５】
具体的には、対象コロニー４１を囲む方形領域を明視野のライブ画像２２から切り出して、発光画像２１の倍率と同じ倍率まで拡大する。このとき方形領域を予め発光画像２１の倍率と同じ倍率になるようにしておいてもよい。画像認識部５２は、ライブ画像２２の方形領域と、発光画像２１と同時に取得した明視野画像と、の間で位置をずらしながら画素値を比較し、画素値の差が最も小さい位置を探しだす。このとき画素値の差は、第２の制御装置１６に内蔵されたメモリ等の記憶装置に順次記録しておく。複数の明視野画像に対してそれぞれサーチを行なって、その中から画素値の差が最も小さい位置を含んだ明視野画像を探し出す。
【００５６】
続いて、その明視野画像と同時に取得している発光画像２１を読み出す。明視野画像がライブ画像２２とぴったりと重なる位置に、発光画像２１を表示してライブ画像２２と発光画像２１との重ね合わせ表示を行なう。
【００５７】
上記した、第１の顕微鏡１３（第１の画像取得手段）により生体試料１２の発光画像２１を高倍率で取得する機能と、第２の顕微鏡１５（第２の画像取得手段）により生体試料１２の明視野のライブ画像２２を低倍率で取得する機能と、第２の制御装置１６（第２の制御手段）によって発光画像２１をライブ画像２２と同等の倍率になるように縮小し、ライブ画像２２の一部に重ね合わせて第２の表示部４８（表示手段）上に表示する機能と、第１の顕微鏡１３（第１の画像取得手段）により発光画像２１とともに生体試料１２の明視野画像を高倍率で取得する機能と、画像認識部５２によってライブ画像２２の一部領域と、明視野画像とが合致するか否かを判断し、これらが合致した位置で発光画像２１をライブ画像２２に重ね合わせて表示する機能と、は第１の制御装置１４および第２の制御装置１６にインストールされたソフトウェア（コンピュータプログラム）により実現されている。
【００５８】
なお、発光画像２１の表示位置はそれぞれ微調整できるようにしておき、少し位置がずれている場合はユーザが位置を補正することができる。ユーザが表示位置を微調整できる設定には様々の方法があり、例えば、発光画像２１を選択すると自動的に微調整可能としたり、第２の表示部４８の画面上に設けた微調整ボタンを押して微調整可能としたりしてもよい。また、微調整が終わったところで、発光画像２１の選択を非選択状態にしたり、第２の表示部４８の画面上に設けた位置確定ボタンを押して表示位置を確定させてもよい。これによって発光画像２１の表示位置を変更できない状態になる。
【００５９】
また、本実施形態では、画素値の差を利用して発光画像２１の重ね合わせ位置を検索しているが、この限りではなく、一般的な各種の画像認識方法を用いてもよい。さらに、本実施形態では、発光画像２１を取得するのと同時に明視野画像を取得してこれを画像認識部５２で利用しているが、発光画像２１を用いて画像認識を充分できる場合には、発光画像２１を直接画像認識に利用してもよい。
【００６０】
また、発光画像２１を探す際に、複数の発光画像２１の中から対象コロニー４１を含む画像を探すには第２の制御装置１６の仕様によっては時間がかかる場合がある。このため、予めどの発光画像２１に対象コロニー４１が含まれているかわかる場合には、その発光画像２１を指定して、その画像の中から対象コロニーの位置を画像認識で探し、ライブ画像２２に発光画像２１を重ね合わせて表示してもよい。
【００６１】
さらに、本実施形態では、明視野のライブ画像２２中のコロニー４１を指定して、これに合致する発光画像２１を読み出すようにしているが、これとは逆のやり方でもよい。すなわち、ユーザは、重ね合わせ表示を行ないたい発光画像２１を予め指定する。画像認識部５２は、発光画像２１と同時に取得した明視野画像の画素値と、ライブ画像２２の画素値とを比較し、画素値の差が最も小さい位置を探しだす。重ね合わせが可能な領域がライブ画像中に存在している場合には、その該当する領域に重ねて発光画像２１を表示する。
【００６２】
続いて、表示切替手段５３を用いた発光画像２１の表示切替について説明する。表示切替手段５３は様々な態様が考えられるが、本実施形態では、ライブ画像２２および発光画像２１に画像処理を加えるソフトウェア（プログラム）の一部として構成されている。表示切替手段５３を作動させるためのスイッチとして、第２の表示部４８上にアイコン（ボタン）が設けられており、発光画像２１の表示・非表示を切り換えることができる。すなわち、本実施形態では、表示切替手段５３を作動するためのボタンを押下した状態で、発光画像２１がライブ画像２２に重ね合わせて表示され、表示切替手段５３のボタンを押下していない状態では、発光画像２１を非表示とする。
【００６３】
この表示切替手段５３は、例えば次のように使用することができる。表示切替手段５３のボタンを押下状態にして、発光画像２１とライブ画像２２とを重ね合わせ表示した状態で、生体試料１２中のどのコロニー４１をピックアップすればよいか目星をつける。そして、今度は、表示切替手段５３のボタンを非押下状態にして発光画像２１を非表示にする。これによって、明視野のライブ画像２２のみを第２の表示部４８に表示する。これによって、発光画像２１がかえって作業の邪魔になることがなく、ピックアップ作業を効率的に行うことができる。
【００６４】
このように、表示切替手段５３によりライブ画像２２に重ねて表示された発光画像２１の表示、非表示を切り換える機能は、第２の制御装置１６にインストールされたソフトウェア（コンピュータプログラム）により実現されている。
【００６５】
つづいて、非表示手段５４について説明する。本実施形態において、非表示手段５４は、ライブ画像２２および発光画像２１に画像処理を加えるソフトウェア（プログラム）の一部として構成されている。非表示手段５４は、一定の時間間隔でライブ画像２２を取得しておき、１つのライブ画像２２の輝度値（画素値）と、一定時間経過後のライブ画像２２の輝度値（画素値）とを比較する。そして、非表示手段５４は、輝度値（画素値）が大きく減少した領域について、コロニー４１がなくなってピックアップ作業が終了したと判断する。非表示手段５４は、この領域に対応する発光画像２１の一部の領域について画素値をすべてゼロにして、この一部の領域の重ね合わせ表示を解除する。
【００６６】
このように、一定時間内にライブ画像２２の一部の領域の画素値に変化があった場合に、非表示手段５４によりライブ画像２２の一部の領域に対応する発光画像２１の一部の領域の画素値をゼロにする機能は、第２の制御装置１６にインストールされたソフトウェア（コンピュータプログラム）により実現されている。
【００６７】
なお、本実施形態では、輝度値（画素値）の変化に基づいて、自動的に非表示手段５４を作動させるようにしているがこれに限定されるものではない。非表示手段５４は、次に述べるように、ピックアップ作業の終了後に、手動で作動させるようにしてもよい。
【００６８】
すなわち、ユーザは、発光画像２１上で、該当するコロニー４１を第２の制御装置１６のマウス３８等を用いて自由曲線領域で囲むことで非表示にするコロニー４１を指定できる。また、ユーザは、同様に、該当箇所をマウス３８でクリックしてその点を中心とした一定の輝度値を越える領域をコロニー４１として認識して、非表示にするコロニー４１を指示することもできる。そして、指示部分の作業が終わったことを示す操作（例えば、第２の表示部４８上に設けられたピックアップ済みボタン等を押すなど）をすると、発光画像２１の該当領域の画素値をすべてゼロにして、指示された一部の領域の重ね合わせ表示を解除する。
【００６９】
また、第２の実施形態では、図７に示すように、第２の表示部４８のうち、ライブ画像２２の表示箇所に隣接した箇所に、ライブ画像２２と発光画像２１とを重ね合わせ表示したものを拡大した拡大画像５５を表示するようにしている。この拡大画像５５は、重ね合わせ表示をしている箇所を、例えば、発光画像２１を取得した際の倍率で表示している。また、明視野のライブ画像２２中に複数の発光画像２１が含まれる場合には、そのうちの一つを選択して拡大画像５５として表示することができる。
【００７０】
図７に示す場合では、ライブ画像２２中の左下の発光画像２１を選択した場合には、発光画像２１を取得した際の解像度で発光画像２１を表示する。また、発光画像２１の倍率と同じ倍率にライブ画像２２を拡大して、発光画像２１に重ね合わせてライブ画像２２を表示して、拡大画像５５を表示する。また、図８に示すように、拡大画像５５の対象領域を指定する場合には、発光画像２１の有無にかかわらず指定された領域を拡大画像５５としてライブ画像２２の表示箇所に隣接して表示することもできる。
【００７１】
このような、第２の制御装置１６（第２の制御手段）により第２の表示部４８のうち、ライブ画像２２が表示される箇所に隣接した位置に、ライブ画像２２およびライブ画像２２に重ねられた発光画像２１を拡大した拡大画像５５を表示する機能は、第２の制御装置１６にインストールされたソフトウェア（コンピュータプログラム）により実現されている。
【００７２】
第２の実施形態の顕微鏡システム１１によれば、画像認識部５２によってライブ画像２２と発光画像２１とが合致する位置を自動で簡単に認識できるため、ユーザの負担を軽減して、ピックアップ作業を円滑に行うことができる。
【００７３】
また、第２の表示部４８のうち、ライブ画像２２が表示される箇所に隣接した位置に、ライブ画像２２およびライブ画像２２に重ねられた発光画像２１を拡大した拡大画像５５を表示することができるため、発光画像２１を縮小して表示することで見にくくなってしまう際に、重ね合わせ部分を見易くすることができる。
【００７４】
さらに、表示切替手段５３、非表示手段５４を有しているため、ピックアップ作業時に発光画像２１がかえって邪魔になる場合等に、発光画像２１を表示しないようにすることができ、ピックアップ作業時に第２の表示部４８の表示を柔軟に切り換えることができる。
【００７５】
続いて、図９、図１０等を参照して、顕微鏡システムの第３の実施形態について説明する。第３の実施形態の顕微鏡システム１１は、第１の顕微鏡の第１のステージ２８と第２の顕微鏡の第２のステージ３１とがそれぞれ電動ステージで構成される点、および発光画像２１の重ね合わせ表示に発光画像２１の絶対位置情報を用いる点、で第１の実施形態および第２の実施形態のものと異なっているが、他の部分は第１の実施形態および第２の実施形態と共通している。このため、主として異なる部分について説明し、共通する部分については共通の符号を付して説明を省略する。第３の実施形態の顕微鏡システム１１は、図１に示すものと同様の外観を有する。
【００７６】
第２の実施形態では、画像認識部５２は、発光画像２１と一緒に取得した明視野画像を利用して発光画像２１の位置合わせに利用しているが、第３の実施形態では、発光画像２１とともに発光画像２１の絶対位置情報を利用して発光画像２１の位置合わせを行なう。
【００７７】
本実施形態では、第１の顕微鏡の第１のステージ２８と、第２の顕微鏡の第２のステージ３１とは、それぞれ電動ステージで構成される。第１の顕微鏡の第１のステージ２８は、第１の制御装置１４からの制御で光軸に垂直な平面方向（Ｘ軸方向、Ｙ軸方向）と、光軸に沿った方向（Ｚ軸方向）とにそれぞれ移動することができる。同様に、第２の顕微鏡の第２のステージ３１は、第２の制御装置１６からの制御で光軸に垂直な平面方向（Ｘ軸方向、Ｙ軸方向）と、光軸に沿った方向（Ｚ軸方向）とにそれぞれ移動することができる。
【００７８】
第１の制御装置１４は、発光画像２１を取得する際に、発光画像２１取得時の第１のステージ２８の位置を発光画像２１と関連付けて記憶する。より具体的には、第１の制御装置１４は、発光画像２１を撮影した際の、第１のステージ２８の少なくともＸ座標、Ｙ座標を記憶し、より好ましくはＸ座標、Ｙ座標、Ｚ座標のすべてを記憶する。
【００７９】
本実施形態の発光画像２１とライブ画像２２の重ね合わせ表示の方法について説明する。
【００８０】
第１の実施形態と同様に第１の顕微鏡１３を用いて数日間の観察を続ける。このとき発光画像２１を保存する際に、発光画像２１に関連付けて第１のステージ２８の絶対位置情報も記録する。このとき発光画像２１の他に明視野画像や蛍光画像も保存しておいてもよい。複数個所で発光画像２１を取得する場合には、各発光画像２１に関連付けて第１のステージ２８の位置情報をそれぞれ記憶する。
【００８１】
続いて数日後にピックアップ作業をする際には、まず初めに複数の発光画像２１と、それと関連付けて保存された絶対位置情報と、を第１の制御装置１４から第２の制御装置１６にコピーする。
【００８２】
第２の顕微鏡１５で、生体試料１２を第２のステージ３１の同じ位置に設置後、第２のＣＣＤカメラ４３でのリアルタイム表示（ライブ表示）を開始した後、発光画像２１の重ね合わせ表示を行なう設定にする。第２のステージ３１の絶対位置情報に従って自動的に発光画像２１が読み出される。明視野像のライブ画像２２上に発光画像２１を縮小して表示され、重ね合わせ表示がなされる。１つのライブ画像２２中に複数の発光画像２１が含まれる場合は、すべての発光画像２１を第２のステージ３１の絶対位置情報に従って表示する。
【００８３】
このとき、第１の顕微鏡１３と第２の顕微鏡１５でステージの型式が同一である場合には、ステージの位置座標は同じであるため、発光画像２１の表示位置は第１の顕微鏡１３で記録した位置情報をそのまま使用する。ステージの型式が違う場合には、座標が一致していないため、ステージ間の位置情報の変換を行った後に、発光画像２１を明視野のライブ画像２２中に重ね合わせて表示する。
【００８４】
また、重ね合わせ後の発光画像２１の表示位置をユーザが微調整できるのは第１、第２の実施形態と同様である。また、ライブ画像２２の表示箇所に隣接した箇所に、ライブ画像２２と発光画像２１とを重ね合わせ表示したものを拡大した拡大画像５５を表示することは第２の実施形態と同様である。また、表示切替手段５３、非表示手段５４を備えていることも、第２の実施形態と同様である。
【００８５】
続いて、第２のステージ３１を動かしてピックアップ対象を探す。第２のステージ３１の位置を操作して生体試料１２を移動させると、第２のステージ３１の位置に合わせてライブ画像２２も更新される。その際、例えば、図９に示す位置から図１０に示す位置にライブ画像２２が移動されると、これに重ね合わされた発光画像２１も一緒に移動する。このとき、第２の制御装置１６は、第２のステージ３１の位置情報を常に取得しておき、移動後の位置情報に合わせて、発光画像２１の表示位置を更新する。さらに、移動後のライブ画像２２内に、過去に撮影した別の発光画像２１が含まれる場合は、自動的に対応する発光画像２１が読み出されてライブ画像２２中に重ねて表示される。逆に移動後のライブ画像２２内から発光画像２１が含まれなくなった場合は、その発光画像２１は表示しない。なお、移動前後で発光画像２１の一部のみがライブ画像２２内に含まれるときは、発光画像２１の一部のみをライブ画像２２に重ね合わせて表示する。
【００８６】
このように、第１の制御装置１４（第１の制御手段）により発光画像２１とともに発光画像２１を取得した位置を記憶させる機能と、第２の制御装置１６（第２の制御手段）により発光画像２１を取得した位置に基づいて発光画像２１をライブ画像２２の一部に重ね合わせて表示する機能と、第２の制御装置１６（第２の制御手段）により第２の表示部４８に表示されたライブ画像２２を移動させる際に、ライブ画像２２に重ね合わされた発光画像２１も一緒に移動させる機能と、は第１の制御装置１４および第２の制御装置１６にインストールされたソフトウェア（コンピュータプログラム）により実現されている。
【００８７】
なお、本実施形態では、第１のステージ２８および第２のステージ３１を電動のものとしているが、電動のステージでなく、手動のステージであっても、第１のステージ２８および第２のステージ３１の位置を把握する手段、例えば位置センサを付加することによって同様のことを実現できる。
【００８８】
続いて、図１１等を参照して、顕微鏡システムの第４の実施形態について説明する。第４の実施形態の顕微鏡システム１１は、発光画像２１の相対位置情報を用いて重ね合わせ表示をする点、で第１から第３の実施形態のものと異なっているが、他の部分は第１から第３の実施形態と共通している。このため、主として異なる部分について説明し、共通する部分については共通の符号を付して説明を省略する。第４の実施形態の顕微鏡システム１１は、図１に示すものと同様の外観を有する。
【００８９】
本実施形態では、図１１に示すように、生体試料１２に観察位置の基準となる基準位置としては、例えば、シャーレ６１の底やまたは縁の部分にマーク６２を付けておく。他にも基準位置を決める方法は、様々なやり方があり、細胞に影響がない蛍光を発する蛍光ビーズを生体試料中に埋め込んでおいてもよい。
【００９０】
第１の顕微鏡１３で発光画像２１を取得するときに、まず基準位置を記録する。これは基準位置を含む明視野画像を取得して第１の制御装置１４に記憶してもよいし、基準位置の座標のみを別で第１の制御装置１４に記憶しておいてもよい。続いて通常通り生体試料１２の発光画像２１を取得する。発光画像２１と関連付けて記憶される位置情報は、基準位置を基準にした相対的なもの（相対位置情報）である。
【００９１】
数日後、コロニー４１をピックアップする際は、まず初めに複数の発光画像２１と、これに関連付けて記憶された相対位置情報と、を第１の制御装置１４から第２の制御装置１６にコピーする。さらに、第１の制御装置１４に記憶された基準位置の情報もコピーする。
【００９２】
続いて、第２の顕微鏡１５で、生体試料１２を第２のステージ３１の同じ位置に設置した後、第２のＣＣＤカメラ４３でのライブ画像２２の取得（リアルタイム表示）を開始した後、まず第１の顕微鏡１３で取得した基準位置を読み出す。次に、発光画像２１の重ね合わせ表示を実行する設定にすると、第２の制御装置１６は、現在のステージ位置から、現在の第２の表示部４８に表示されているライブ画像２２の基準位置に対する相対位置を算出する。第２の制御装置１６は、計算された相対位置情報が含まれる発光画像２１を自動的に読み出して、ライブ画像２２中に発光画像２１を重ねて表示する。
【００９３】
なお、第１の顕微鏡１３で取得した基準位置を含んだ明視野画像と、基準位置を含んだライブ画像２２との位置合わせは、第１の実施形態で説明したようにユーザが手動で行なうようにしてもよい。
【００９４】
また、重ね合わせ後の発光画像２１の表示位置をユーザが微調整できるのは第１、第２の実施形態と同様である。また、第４の実施形態でも第２の実施形態と同様に、第２の表示部４８のうち、ライブ画像２２の表示箇所に隣接した箇所に、ライブ画像２２と発光画像２１とを重ね合わせ表示したものを拡大した拡大画像５５が表示される。また、表示切替手段５３、非表示手段５４を備えていることも、第２の実施形態と同様である。
【００９５】
以上、第４の実施形態のように、相対位置情報を用いて発光画像２１をライブ画像２２に重ね合わせ表示しても構わない。
【００９６】
第１から第４の実施形態に記載した顕微鏡システム１１は、発明の要旨を逸脱しない範囲で種々変形して実施することができる。例えば、第１から第３の実施形態では、第２の制御装置１６の第２の表示部４８に発光画像２１およびライブ画像２２を表示するようにしているが、接眼ユニット４２の位置にＥＶＦ（Electrical View Finder）を設けて、接眼ユニット４２上で明視野像に対して発光画像２１を重ねて表示してもよい。また、第１から第３の実施形態に記載した顕微鏡システム１１では、第１の顕微鏡１３と第２の顕微鏡１５とが物理的に離れた箇所に設置されることを想定して、第１の制御装置１４と第２の制御装置１６とを別々に構成しているが、これに限定されるものではない。第１の制御装置１４と第２の制御装置１６とを１つの制御手段（コンピュータ）によって実現してももちろん良い。また、同様に、第１の表示部３６と第２の表示部４８を何れか１つの表示部だけで表示するようにしたり、相互に表示させるようにしてもよい。さらに、第１の顕微鏡１３と第２の顕微鏡１５を具備する顕微鏡システムとして、両方の顕微鏡に必要な光学系の少なくとも一部を共通化して一体化した顕微鏡光学系でもって実現するようにしてもよい。
【００９７】
また、第１から第３の実施形態では、第１の顕微鏡１３は、発光顕微鏡で構成されているが、蛍光顕微鏡であってもよい。また、第２の顕微鏡１５は、正立型顕微鏡で構成されているが、倒立型顕微鏡や蛍光顕微鏡など各種の顕微鏡であってもよい。また、上述した例ではピックアップ作業に関する説明を行ったが、容器等において所望の細胞や細胞内部位を分離する等の他の作業を含む各種細胞操作にも適用できる。また、第1の顕微鏡１３には、生体試料としての細胞や組織等を生きた状態に保つためのインキュベータ２７を設けており胚、微生物、バクテリア等の培養可能な微小生物にも適用できる構成を有しているが、かかるインキュベータを第２の顕微鏡１５に設けてもよい。また、小動物（マウス、ウサギ等）のような生物個体を第１の顕微鏡１３および第２の顕微鏡１５で観察する場合には、インキュベータ２７は不要である。
【符号の説明】
【００９８】
１１…顕微鏡システム、１２…生体試料、１３…第１の顕微鏡、１４…第１の制御装置、１５…第２の顕微鏡、１６…第２の制御装置、２１…発光画像、２２…ライブ画像、４８…第２の表示部、５２…画像認識部、５３…表示切替手段、５４…非表示手段、５５…拡大画像
【技術分野】
【０００１】
本発明は、微弱光を発生する生体試料に関する観察等を行う顕微鏡とこれを制御する制御装置とを有した顕微鏡システム、画像取得手段とこれを制御する制御手段とを有した観察画像の表示方法、およびプログラムに関する。
【背景技術】
【０００２】
微弱光である生物発光等の自己発光を発生する生体試料の発光画像や蛍光画像を撮影可能な発光顕微鏡が開示されている。この発光顕微鏡は、微弱光を撮像するための遮光状態を得るための暗箱を有しており、発光する性質が付与された生体試料をこの暗箱内に保持して、この生体試料の暗視野における発光画像を取得することができる。生体試料から出る光は極めて微弱であるため、鮮明な発光画像を取得するためには、発光画像の撮影には３０分程度の露光時間を要する（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１０８１５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、近年ＥＳ細胞やｉＰＳ細胞の分化プロセスのような長期間の観察等を必要とする研究が盛んであるが、それらをさらに詳細に検討するには、分化マーカーや未分化マーカーと呼ばれる各種レポーター遺伝子を発現している細胞のコロニーをピックアップしてセレクションする必要がある。分化マーカーや未分化マーカーの発現を検出する方法は、マーカーの種類に応じて種々の方法をとることができる。
【０００５】
例えば、レポーター遺伝子としてＧＦＰ等の蛍光を発するタンパク質を利用する場合には、ＥＳ細胞やｉＰＳ細胞に励起光を照射して蛍光画像を取得する必要がある。しかしながら、励起光は、コロニー化した細胞群を充分に励起するためにエネルギーレベルの高い光が必要であることから、ＥＳ細胞やｉＰＳ細胞に励起光を長時間照射したまま、ピックアップ作業を行うことは好ましくない。したがって、過去に取得した蛍光画像をもとに目的のコロニーをピックアップすることになる。
【０００６】
一方、レポーター遺伝子として自己発光性のタンパク質を利用する場合には、個々の細胞から発生される遺伝子発現由来の発光は極めて微弱であるため、上記発光顕微鏡のように微弱光の撮像が可能な検出手段を必要とし、さらに、明視野で観察できる実体顕微鏡または正立／倒立顕微鏡といった、計２種類の顕微鏡を用いる必要がある。これは、発光顕微鏡下では、暗箱が作業の邪魔になるため、ピックアップ作業を行うことが困難だからである。よって、レポーター遺伝子として自己発光性のタンパク質を利用する場合には、発光顕微鏡において発光画像を取得しておき、シャーレ内において分化マーカーまたは未分化マーカーを発現しているコロニーの位置を確認する。その画像をもとに実体顕微鏡または正立／倒立顕微鏡下で目的のコロニーをピックアップする。しかしながら、このような従来のやり方では、分化マーカーまたは未分化マーカーを発現しているコロニーと、実際にピックアップを行なったコロニーとが正確に対応しているとは言い切れず、改良の余地があった。
【０００７】
本発明の目的は、生体試料の微弱光画像をライブ画像中で視認することができる顕微鏡システム等を提供することにある。
【課題を解決するための手段】
【０００８】
前記目的を達成するため、本発明の一つの形態に係る顕微鏡システムは、生体試料の微弱光画像を取得可能な第１の顕微鏡と、前記第１の顕微鏡に接続されるとともに、前記微弱光画像を記憶する第１の制御装置と、前記生体試料の明視野のライブ画像を前記微弱光画像と異なる倍率で取得可能な第２の顕微鏡と、前記第２の顕微鏡に接続されるとともに、前記微弱光画像を前記明視野のライブ画像と同等の倍率になるようにして、前記明視野のライブ画像の一部に重ね合わせて表示できる表示部を有した第２の制御装置と、を具備する。
【０００９】
前記目的を達成するため、本発明の一つの形態に係る観察画像の表示方法は、予め第１の画像取得手段で生体試料の微弱光画像を取得し、第２の画像取得手段で生体試料の明視野のライブ画像を前記微弱光画像と異なる倍率で取得し、制御手段によって前記微弱光画像を前記ライブ画像と同等の倍率になるようにするとともに、前記ライブ画像の一部に重ね合わせて表示手段上に表示する。
【００１０】
前記目的を達成するため、本発明の一つの形態に係るプログラムは、生体試料の微弱光画像を取得する第１の画像取得手段、前記生体試料の明視野のライブ画像を取得する第２の画像取得手段、これらを制御する制御手段、前記制御手段に設けられた表示手段、を具備した観察画像の表示システムに、前記第１の画像取得手段により前記生体試料の微弱光画像を取得する機能と、前記第２の画像取得手段により生体試料の明視野のライブ画像を前記微弱光画像と異なる倍率で取得する機能と、前記制御手段によって前記微弱光画像を前記ライブ画像と同等の倍率になるようにするとともに、前記ライブ画像の一部に重ね合わせて前記表示手段上に表示する機能と、を実現させる。
【００１１】
前記目的を達成するため、本発明の他の形態に係るプログラムは、生体試料の微弱光画像を取得する第１の画像取得手段、前記生体試料の明視野のライブ画像を取得する第２の画像取得手段、これらを制御する制御手段、前記制御手段に設けられた表示手段および表示切替手段、を具備した観察画像の表示システムに、前記第１の画像取得手段により前記生体試料の微弱光画像を高倍率で取得する機能と、前記第２の画像取得手段により生体試料の明視野のライブ画像を低倍率で取得する機能と、前記制御手段によって前記微弱光画像を前記ライブ画像と同等の倍率になるように縮小するとともに、前記ライブ画像の一部に重ね合わせて前記表示手段上に表示する機能と、表示切替手段により前記ライブ画像に重ねて表示された前記微弱光画像の表示、非表示を切り換える機能と、を実現させる。
【００１２】
前記目的を達成するため、本発明の他の形態に係るプログラムは、生体試料の微弱光画像を取得する第１の画像取得手段、前記生体試料の明視野のライブ画像を取得する第２の画像取得手段、これらを制御する制御手段、前記制御手段に設けられた表示手段および非表示手段、を具備した観察画像の表示システムに、前記第１の画像取得手段により前記生体試料の微弱光画像を高倍率で取得する機能と、前記第２の画像取得手段により生体試料の明視野のライブ画像を低倍率で取得する機能と、前記制御手段によって前記微弱光画像を前記ライブ画像と同等の倍率になるように縮小するとともに、前記ライブ画像の一部に重ね合わせて前記表示手段上に表示する機能と、一定時間内に前記ライブ画像の一部の領域の画素値に変化があった場合に、前記非表示手段により前記ライブ画像の一部の領域に対応する前記微弱光画像の一部の領域の画素値をゼロにする機能と、を実現させる。
【発明の効果】
【００１３】
上記の構成によれば、生体試料の微弱光画像をライブ画像中で視認することができる顕微鏡システム等を提供できる。
【図面の簡単な説明】
【００１４】
【図１】第１の実施形態にかかる顕微鏡システムを示した斜視図。
【図２】図１に示す顕微鏡システムの第１の顕微鏡を模式的に示したブロック図。
【図３】図１に示す顕微鏡システムの第２の顕微鏡を模式的に示したブロック図。
【図４】第１の実施形態の顕微鏡システムを用いたピックアップ作業の流れを示したフローチャート。
【図５】図１に示す顕微鏡システムで得られたライブ画像と発光画像とを第２の表示部の画面上で重ね合わせた状態を示した図。
【図６】第２の実施形態にかかる顕微鏡システムの第２の顕微鏡を模式的に示したブロック図。
【図７】第２の実施形態に係る顕微鏡システムで得られたライブ画像の表示箇所に隣接した箇所に、ライブ画像と発光画像とを重ね合わせ表示したものを拡大した拡大画像を第２の表示部の画面上に表示した状態を示した図。
【図８】第２の実施形態にかかる顕微鏡システムで得られたライブ画像の表示箇所に隣接した箇所に、ライブ画像中の指定箇所を拡大した拡大画像を第２の表示部の画面上に表示した状態を示した図。
【図９】第３の実施形態にかかる顕微鏡システムで得られたライブ画像を移動させる前の状態を示した図。
【図１０】第３の実施形態にかかる顕微鏡システムで得られたライブ画像を移動させた後の状態を示した図。
【図１１】第４の実施形態にかかる顕微鏡システムに用いられる生体試料であって、シャーレの底部に基準位置となるマーカーが付されたものを示した上面図。
【発明を実施するための形態】
【００１５】
以下、図１から図５を参照して、顕微鏡システムの第１の実施形態について説明する。この顕微鏡システム１１は、例えば、分化マーカーとしてルシフェラーゼの発光ベクターやＧＦＰ等の蛍光タンパクや蛍光色素を導入したＥＳ細胞やｉＰＳ細胞などの生体試料をシャーレ等の収容部内で培養しながら経時的に微弱光画像を取得し、数日経過後に、この発光画像およびライブ画像に基づいて生体試料中の培養細胞のコロニーをピックアップする作業等に用いられる。
【００１６】
図１に示すように、顕微鏡システム１１は、主として生体試料１２の微弱光画像２１を取得する第１の顕微鏡１３（第１の画像取得手段）と、第１の顕微鏡１３を制御するとともに、第１の顕微鏡１３で取得した微弱光画像２１を記憶する第１の制御装置１４（制御手段）と、主として生体試料１２のライブ画像２２を取得する第２の顕微鏡１５（第２の画像取得手段）と、第２の顕微鏡１５を制御するとともに微弱光画像２１と第２の顕微鏡１５で取得したライブ画像２２とを重ね合わせ表示する第２の制御装置１６（制御手段）と、を備えている。
【００１７】
図１、図２に示すように、第１の顕微鏡１３は、いわゆる発光顕微鏡と呼ばれるものであり、主として細胞等の生体試料から発せられる微弱光である発光に基づいて発光画像２１を取得するために利用でき、例えば発光を十分な時間（１分以上）露光する撮像素子（ＣＣＤ、ＣＭＯＳ等）や高ＮＡの結像光学系（対物レンズ、結像レンズ等）を具備している。なお、本発明にいう微弱光画像は、タンパク質等の自己発光性によって得られる発光画像と、励起光を照射して得られる蛍光画像とを含んだ概念である。
【００１８】
また、第１の顕微鏡１３は、光源２３を利用して生体試料１２の明視野画像を取得することもできる。ここで、発光画像２１とともに取得される明視野画像は、主に発光画像２１を取得した撮像期間の前後に取得され、発光画像２１に対応する生体試料全体の観察像を提供する。発光画像２１は、生体試料の活性を時系列に評価するために所望の時間ごとに複数枚取得するのが好ましく、その都度、明視野画像も取得するのがさらに好ましい。
【００１９】
第１の顕微鏡１３は、本体２４と、本体２４の一部に設けられた暗箱２５と、暗箱２５の上部を覆う蓋２６と、暗箱２５内に設けられたインキュベータ２７および第１のステージ２８と、を有している。また、第１の顕微鏡１３は、インキュベータ２７および第１のステージ２８には、図示しない観察用の孔が設けられている。
【００２０】
第１の顕微鏡１３は、暗箱２５の下部に、さらに、第１のステージ２８の下方に設けられた対物光学系３２と、対物光学系３２を通る不要な光を遮断する第１のフィルタ３３と、対物光学系３２および第１のフィルタ３３の下方に設けられて対物光学系３２を通った光を検出できる第１のＣＣＤカメラ３４と、を有している。なお、単色の発光観察のみを行なう場合には、第１のフィルタ３３を省略することもできる。また、対物光学系には図示しないズーム機構を備えていてもよい。
【００２１】
第１の顕微鏡１３は、明視野画像や蛍光画像を取得する際に利用される光源２３と、光源２３からの光を調整するための第２のフィルタ３５と、を有している。光源２３は、明視野画像を取得する際に利用される白色光を照射可能なランプやＬＥＤ等を有している。第１の顕微鏡１３は、蛍光観察時に利用する励起光を照射可能な蛍光ユニットをさらに備えていても良い。発光画像、明視野画像および蛍光画像を取得する顕微鏡には、例えばオリンパス株式会社製の発光イメージングシステムＬＵＭＩＮＯＶＩＥＷ ＬＶ２００（ＬＵＭＩＮＯＶＩＥＷ：商標登録）が挙げられるが、これに限定されるものではない。
【００２２】
図１に示すように、第１の制御装置１４は、一般的なパーソナルコンピュータ（ＰＣ）等のコンピュータである。第１の制御装置１４は、液晶ディスプレイ等で構成される第１の表示部３６と、入力手段としてのキーボード３７およびマウス３８など、を有している。第１の制御装置１４は、第１のＣＣＤカメラ３４の撮影条件の制御、取得像の画像化と第１の表示部３６への表示、および光源２３の光量を制御することができる。また、第１の制御装置１４は、第１の顕微鏡１３で取得した発光画像２１、蛍光画像および明視野画像の記憶のほか、これら発光画像２１、蛍光画像および明視野画像の画像処理や画像解析も可能である。第１の制御装置１４は、これら画像解析の結果データを観察条件とともに記憶しておくこともできる。第１の制御装置１４は、第１のフィルタ３３、第２のフィルタ３５の切り替えの制御も行うことができる。さらに第１の制御装置１４は、対物光学系３２のズーム制御を行うことができる。
【００２３】
第１の顕微鏡１３および第１の制御装置１４で発光観察をする場合、生体試料１２から発せられた光は、対物光学系３２に進み、第１のフィルタ３３で不要な光が遮断されて第１のＣＣＤカメラ３４で検出される。第１のＣＣＤカメラ３４で検出された光は、第１の制御装置１４に送られて画像化される。
【００２４】
明視野画像を取得する場合は、第２のフィルタ３５で白色の照明光が照射されるようにして標本１２を照明し、透過した光が、対物光学系３２を進み、第１のフィルタ３３は光が遮断されないようにして、光がそのまま進み、ＣＣＤカメラ３４で検出される。ＣＣＤカメラ３４で検出された光は、第１の制御装置１４に送られて画像化される。
【００２５】
蛍光画像を取得する場合は、光源２３から射出された光は、第２のフィルタ３５で蛍光タンパク等を励起する波長の光のみを透過され、標本１２に照射される。標本１２で発せられた光は、対物光学系３２を進み、第１のフィルタ３３で不要な光が遮断されて、ＣＣＤカメラ３４で検出される。ＣＣＤカメラ３４で検出された光は、第１の制御装置１４に送られて画像化される。
【００２６】
第２の顕微鏡１５は、明視野で生体試料１２のライブ画像２２を取得して、生体試料１２中の培養細胞のコロニー４１をピックアップする作業に用いられるいわゆる正立型顕微鏡である。第２の顕微鏡１５は、生体試料に細菌などが進入することがない、例えばクリーンベンチの内部に設置されている。図３に示すように、第２の顕微鏡１５は、第２の本体４０と、第２の本体４０上部に設けられた接眼ユニット４２と、接眼ユニット４２の上部に設けられた第２のＣＣＤカメラ４３と、レボルバ４４を介して第２の本体４０に対して回転可能に固定された複数の対物レンズ４５と、接眼ユニット４２と対物レンズ４５との間に設けられたキューブユニット４６と、を有している。
【００２７】
接眼ユニット４２は、図示しない結像レンズ、および接眼レンズで構成されている。接眼ユニット４２は、光路分岐をするためのフィルタやミラーを内蔵しており、接眼レンズでの観察光路と、第２のＣＣＤカメラ４３での観察光路とを分岐している。
【００２８】
対物レンズ４５は、互いに倍率の異なるものが着脱自在にレボルバ４４に取り付けられている。キューブユニット４６は、図示しない複数のミラー、ハーフミラー、フィルタ等を保持しており、照明ユニット４７で照明する照明光路と、接眼ユニット４２および第２のＣＣＤカメラ４３での観察光路とを分岐している。
【００２９】
第２の顕微鏡１５は、さらに、第２の本体４０下部に設けられた第２のステージ３１と、第２のステージ３１上に載置される標本（生体試料１２）と、第２の本体４０に設けられる制御ユニット５１と、標本（生体試料１２）に投光するための照明ユニット４７と、を有している。制御ユニット５１は、第２の顕微鏡１５の各部の駆動制御を行なう駆動制御回路を備えている。第２のステージ３１は、Ｘ軸方向およびＹ軸方向（水平方向）のほか、Ｚ軸方向（鉛直方向）にも、例えば手動で移動できる。本実施形態のレボルバ４４は、電動のもので構成されている。照明ユニット４７は、図示しない複数の光源、コレクタレンズ、リレーレンズ、開口絞りユニット、視野絞りユニット等により構成されている。
【００３０】
照明ユニット４７からの光は、キューブユニット４６を介して対物レンズ４５を通して生体試料１２に投光される。
【００３１】
生体試料１２の接眼ユニット４２による観察は、生体試料１２から発せられる蛍光や反射光等の光が、対物レンズ４５、キューブユニット４６を通過して接眼ユニット４２に伝わり、接眼ユニット４２に設けられた結像レンズに集光される。この光は、所定の結像面上に結像されて、接眼レンズを介して目視で観察することができる。
【００３２】
第２のＣＣＤカメラ４３による観察は、接眼ユニット４２内のミラー等により第２のＣＣＤカメラ４３方向に分岐された光が、第２のＣＣＤカメラ４３のＣＣＤ面に結像され、生体試料１２の観察像は第２のＣＣＤカメラ４３に接続している第２の制御装置１６の第２の表示部４８へ表示することが可能となる。
【００３３】
図１に示すように、第２の制御装置１６は、一般的なパーソナルコンピュータ（ＰＣ）等のコンピュータで構成される。第２の制御装置１６は、液晶ディスプレイ等で構成される第２の表示部４８（表示手段）と、入力手段としてのキーボード４９およびマウス５０など、を有している。第２の制御装置１６は、第２のＣＣＤカメラ４３の撮影条件の制御、取得像の画像化と第２の表示部４８への表示、および照明ユニット４７の光量を制御することができる。また、第２の制御装置１６は、第２の顕微鏡１５で取得したライブ画像２２の記憶のほか、発光画像２１およびライブ画像２２の画像処理や画像解析も可能である。第２の制御装置１６は、これら画像解析の結果データを観察条件とともに記憶しておくこともできる。図３に示すように、第２の制御装置１６は、複数のキューブの制御や、レボルバ４４の回転の制御を行うことができる。
【００３４】
このように構成された第１の顕微鏡１３、第１の制御装置１４、第２の顕微鏡１５、および第２の制御装置１６を用いた発光観察および生体試料１２中の培養細胞のコロニー４１のピックアップ作業について、図４を参照しながら説明する。
【００３５】
まず、数日間発光観察をするときの手順は次の通りである。
【００３６】
生体試料１２を第１の顕微鏡１３に設置した後、生体試料１２の種類や培養の条件に応じて、観察条件を設定する。生体試料１２からの発光量は極めて少ないため、露出時間を十分に確保して鮮明な画像を取得（撮影）する。第１の制御装置１４から第１のＣＣＤカメラ３４を操作して画像を取得し、第１の制御装置１４に内蔵される記憶装置にこの画像を保存する。発光画像２１の取得は、例えば、１日に数回から数十回の程度で行なわれる（Ｓ１１）。発光画像２１は、微弱な自己発光を発生する細胞等を個々に識別できるような十分な高倍率（例えば４０〜１５０倍）の総合倍率を得るための対物レンズ（例えば２０倍対物レンズ）を用いて、高倍率で取得する。ここで対物レンズの倍率等の光学条件は、顕微鏡１３の他の結像光学系（結像レンズ、リレーレンズ等）に応じて決定される。このとき発光画像２１や蛍光画像を取得する際に、併せて生体試料１２の明視野画像を撮影し、明視野画像を一緒に保存しておいてもよい。
【００３７】
続いて、数日間観察を続けた後、生体試料１２の培養細胞中にコロニー４１が形成されたところで、コロニー４１をピックアップする作業の手順は次の通りである。
【００３８】
細胞（生体試料１２）を培養していたシャーレを、第１の顕微鏡１３から第２の顕微鏡１５に移動する。このとき、過去に第１の顕微鏡１３で取得した各種の画像を、第２の顕微鏡１５に接続されている第２の制御装置１６にコピーしておく（Ｓ１２）。
【００３９】
そして、接眼ユニット４２から目視で明視野観察を行なう（Ｓ１３）。続いて、個々の細胞の全体を観察視野にするために十分な低倍率（例えば０．５〜３０倍）総合倍率を得るための対物レンズ（例えば１０倍の対物レンズ４５）などを用いて、第２のステージ３１を移動して生体試料１２に焦点を合わせて低倍率の像を得る。
【００４０】
この状態で、第２のＣＣＤカメラ４３での観察に切り替えて、明視野像のリアルタイム表示（プレビュー表示、ライブ表示）を開始して、低倍率のライブ画像２２の取得を開始する。
【００４１】
続いて、重ね合わせ表示を表示する設定にして（Ｓ１４）、ユーザがライブ画像２２に含まれているコロニー４１と同じコロニー４１を含んだ過去の発光画像２１の表示を指示すると、第２の制御装置１６が発光画像２１を読み出す（Ｓ１５）。第２の制御装置１６では、発光画像２１がライブ画像２２の一部に重ねて表示され（Ｓ１６）、この発光画像２１は、表示位置をマウス５０等を介して手動で変更できるように第２の表示部４８に表示される。この時、例えば、明視野のライブ画像２２は例えば１０倍対物レンズ４５を用いて取得されており、それ以前に予め撮影された発光画像２１は、２０倍対物レンズを用いて撮影されている。このため、発光画像２１は、表示されているライブ画像２２の倍率に合わせて縮小して表示される。なお、明視野のライブ画像２２の倍率を変更した場合は、それに合わせて発光画像２１の縮小率も適宜に変更してライブ画像２２に重ね合わせて表示される。
【００４２】
第１の実施形態では、発光画像２１内のコロニー像がライブ画像２２中の対応するコロニー像と重なるように、ユーザがマウス５０等を利用してマニュアルで発光画像２１を移動させ、微調整しつつ発光画像２１を配置する（Ｓ１７）。
【００４３】
こうして図５に示すように明視野のライブ画像２２に発光画像２１が重ね合わせて表示される。このとき、明視野のライブ画像２２に対応する発光画像２１がライブ画像上の別々の領域に対応して複数ある場合（例えば、複数の細胞またはコロニーのそれぞれに対応する選択された複数の部分的な発光画像領域）には、図５のように複数の発光画像２１をライブ画像上の対応する領域に一致させて同時に重ね合わせて表示してもよい。また、ライブ画像を連続的に表示している間に、時系列な発光画像２１を動画表示するようにしてもよい。時系列な発光画像も同時に表示することにより、個々の細胞、細胞内部位、コロニーごとに遺伝子発現等の活性を確認できるようにしてもよい。
【００４４】
このようにすると、分化しているコロニー４１が非常にわかりやすくなり、どのコロニー４１をピックアップすればよいかがユーザにはっきりと認識される。これによって、所望のコロニー４１をピペット・チップなどで効率よくピックアップできる（Ｓ１８）。
【００４５】
必要なピックアップ作業が完了したら（Ｓ１９）、重ね合わせ表示を解除し（Ｓ２０）、リアルタイム表示を終了する（Ｓ２１）。
【００４６】
上述した各種制御や表示方法は、第１の制御装置１４および第２の制御装置１６にインストールされたソフトウェア（コンピュータプログラム）により実現可能である。その処理プログラムはＣＤ―ＲＯＭ等記録媒体や第１の制御装置１４および第２の制御装置１６に内蔵されるハードディスク等の記憶装置に記録されている。第１の制御装置１４および第２の制御装置１６は、必要に応じてメモリ上に前記処理プログラムを読み出し、ＣＰＵにより実行し第１の制御装置１４および第２の制御装置１６の各部、およびこれらに接続された第１の顕微鏡１３、第２の顕微鏡１５を制御する。
【００４７】
なお、記録装置は通信回線を介して第１の制御装置１４および第２の制御装置１６と接続されたプログラムサーバ等のコンピュータであってもよい。この場合には、制御プログラムを表現するデータ信号で搬送波を変調して得られる伝送信号を、プログラムサーバから通信回線を通じて第１の制御装置１４および第２の制御装置１６へ伝送するとともに、第１の制御装置１４および第２の制御装置１６で受信した伝送信号を復調して処理プログラムを再生し、この処理プログラムをＣＰＵで実行する。
【００４８】
第１の実施形態によれば、ユーザが手動で効率よく発光画像２１をライブ画像２２に重ね合わせることができ、分化しているコロニー４１を効率よく認識して、ピックアップ作業を円滑化することができる。
【００４９】
続いて、図６等を参照して、顕微鏡システムの第２の実施形態について説明する。第２の実施形態の顕微鏡システム１１は、第２の制御装置が画像認識部５２、表示切替手段５３、および非表示手段５４を有している点、および第２の表示部４８における表示手法が異なる点で第１の実施形態のものと異なっているが、他の部分は第１の実施形態と共通している。このため、主として異なる部分について説明し、共通する部分については共通の符号を付して説明を省略する。第２の実施形態の顕微鏡システム１１は、図１に示すものと同様の外観を有する。
【００５０】
第２の制御装置１６は、一般的なパーソナルコンピュータ（ＰＣ）等のコンピュータで構成される。図１、図６に示すように、第２の制御装置１６は、液晶ディスプレイ等で構成される第２の表示部４８と、内蔵するハードディスク等の記憶装置にインストールされたソフトウェアである画像認識部５２、表示切替手段５３、および非表示手段５４と、入力手段としてのキーボード４９およびマウス５０など、を有している。
【００５１】
画像認識部５２は、過去に第１の顕微鏡１３で発光画像２１とともに取得した明視野画像と、第２の顕微鏡１５で取得される明視野のライブ画像２２との間で画像認識を行なうソフトウェアであり、発光画像２１がライブ画像２２中のどの位置に重なるかについて自動的に判断する。
【００５２】
画像認識部５２は、例えば、次に示すような手順で画像認識を行なう。
【００５３】
第１の顕微鏡１３を用いて発光画像２１を取得する時に、併せて明視野画像も同時に取得する。このときの経時観察では、通常、発光画像２１と明視野画像は、毎回同じ観察条件で画像を取得する。そして、第２の顕微鏡１５下でピックアップ作業を行うときに、ピックアップ作業時に表示される明視野のライブ画像２２に対して、ユーザがコロニー４１を指定する。コロニー４１の指定は、様々な方法を用いることができ、例えば、マウス５０等で操作されるポインタを用いてライブ画像２２中のコロニー４１を自由曲線領域などで囲んだりして指定できる。また、該当のコロニー４１をマウス５０でクリックして、クリックした点を中心としたある一定の輝度値を越えた領域を発光領域として認識して、対象コロニー４１を指定してもよい。
【００５４】
対象コロニー４１が指示されたところで、画像認識部５２は、発光画像２１とともに保存された複数の明視野画像の中から、対象コロニー４１と一致または最も近いコロニー４１を持つ明視野画像を探す。
【００５５】
具体的には、対象コロニー４１を囲む方形領域を明視野のライブ画像２２から切り出して、発光画像２１の倍率と同じ倍率まで拡大する。このとき方形領域を予め発光画像２１の倍率と同じ倍率になるようにしておいてもよい。画像認識部５２は、ライブ画像２２の方形領域と、発光画像２１と同時に取得した明視野画像と、の間で位置をずらしながら画素値を比較し、画素値の差が最も小さい位置を探しだす。このとき画素値の差は、第２の制御装置１６に内蔵されたメモリ等の記憶装置に順次記録しておく。複数の明視野画像に対してそれぞれサーチを行なって、その中から画素値の差が最も小さい位置を含んだ明視野画像を探し出す。
【００５６】
続いて、その明視野画像と同時に取得している発光画像２１を読み出す。明視野画像がライブ画像２２とぴったりと重なる位置に、発光画像２１を表示してライブ画像２２と発光画像２１との重ね合わせ表示を行なう。
【００５７】
上記した、第１の顕微鏡１３（第１の画像取得手段）により生体試料１２の発光画像２１を高倍率で取得する機能と、第２の顕微鏡１５（第２の画像取得手段）により生体試料１２の明視野のライブ画像２２を低倍率で取得する機能と、第２の制御装置１６（第２の制御手段）によって発光画像２１をライブ画像２２と同等の倍率になるように縮小し、ライブ画像２２の一部に重ね合わせて第２の表示部４８（表示手段）上に表示する機能と、第１の顕微鏡１３（第１の画像取得手段）により発光画像２１とともに生体試料１２の明視野画像を高倍率で取得する機能と、画像認識部５２によってライブ画像２２の一部領域と、明視野画像とが合致するか否かを判断し、これらが合致した位置で発光画像２１をライブ画像２２に重ね合わせて表示する機能と、は第１の制御装置１４および第２の制御装置１６にインストールされたソフトウェア（コンピュータプログラム）により実現されている。
【００５８】
なお、発光画像２１の表示位置はそれぞれ微調整できるようにしておき、少し位置がずれている場合はユーザが位置を補正することができる。ユーザが表示位置を微調整できる設定には様々の方法があり、例えば、発光画像２１を選択すると自動的に微調整可能としたり、第２の表示部４８の画面上に設けた微調整ボタンを押して微調整可能としたりしてもよい。また、微調整が終わったところで、発光画像２１の選択を非選択状態にしたり、第２の表示部４８の画面上に設けた位置確定ボタンを押して表示位置を確定させてもよい。これによって発光画像２１の表示位置を変更できない状態になる。
【００５９】
また、本実施形態では、画素値の差を利用して発光画像２１の重ね合わせ位置を検索しているが、この限りではなく、一般的な各種の画像認識方法を用いてもよい。さらに、本実施形態では、発光画像２１を取得するのと同時に明視野画像を取得してこれを画像認識部５２で利用しているが、発光画像２１を用いて画像認識を充分できる場合には、発光画像２１を直接画像認識に利用してもよい。
【００６０】
また、発光画像２１を探す際に、複数の発光画像２１の中から対象コロニー４１を含む画像を探すには第２の制御装置１６の仕様によっては時間がかかる場合がある。このため、予めどの発光画像２１に対象コロニー４１が含まれているかわかる場合には、その発光画像２１を指定して、その画像の中から対象コロニーの位置を画像認識で探し、ライブ画像２２に発光画像２１を重ね合わせて表示してもよい。
【００６１】
さらに、本実施形態では、明視野のライブ画像２２中のコロニー４１を指定して、これに合致する発光画像２１を読み出すようにしているが、これとは逆のやり方でもよい。すなわち、ユーザは、重ね合わせ表示を行ないたい発光画像２１を予め指定する。画像認識部５２は、発光画像２１と同時に取得した明視野画像の画素値と、ライブ画像２２の画素値とを比較し、画素値の差が最も小さい位置を探しだす。重ね合わせが可能な領域がライブ画像中に存在している場合には、その該当する領域に重ねて発光画像２１を表示する。
【００６２】
続いて、表示切替手段５３を用いた発光画像２１の表示切替について説明する。表示切替手段５３は様々な態様が考えられるが、本実施形態では、ライブ画像２２および発光画像２１に画像処理を加えるソフトウェア（プログラム）の一部として構成されている。表示切替手段５３を作動させるためのスイッチとして、第２の表示部４８上にアイコン（ボタン）が設けられており、発光画像２１の表示・非表示を切り換えることができる。すなわち、本実施形態では、表示切替手段５３を作動するためのボタンを押下した状態で、発光画像２１がライブ画像２２に重ね合わせて表示され、表示切替手段５３のボタンを押下していない状態では、発光画像２１を非表示とする。
【００６３】
この表示切替手段５３は、例えば次のように使用することができる。表示切替手段５３のボタンを押下状態にして、発光画像２１とライブ画像２２とを重ね合わせ表示した状態で、生体試料１２中のどのコロニー４１をピックアップすればよいか目星をつける。そして、今度は、表示切替手段５３のボタンを非押下状態にして発光画像２１を非表示にする。これによって、明視野のライブ画像２２のみを第２の表示部４８に表示する。これによって、発光画像２１がかえって作業の邪魔になることがなく、ピックアップ作業を効率的に行うことができる。
【００６４】
このように、表示切替手段５３によりライブ画像２２に重ねて表示された発光画像２１の表示、非表示を切り換える機能は、第２の制御装置１６にインストールされたソフトウェア（コンピュータプログラム）により実現されている。
【００６５】
つづいて、非表示手段５４について説明する。本実施形態において、非表示手段５４は、ライブ画像２２および発光画像２１に画像処理を加えるソフトウェア（プログラム）の一部として構成されている。非表示手段５４は、一定の時間間隔でライブ画像２２を取得しておき、１つのライブ画像２２の輝度値（画素値）と、一定時間経過後のライブ画像２２の輝度値（画素値）とを比較する。そして、非表示手段５４は、輝度値（画素値）が大きく減少した領域について、コロニー４１がなくなってピックアップ作業が終了したと判断する。非表示手段５４は、この領域に対応する発光画像２１の一部の領域について画素値をすべてゼロにして、この一部の領域の重ね合わせ表示を解除する。
【００６６】
このように、一定時間内にライブ画像２２の一部の領域の画素値に変化があった場合に、非表示手段５４によりライブ画像２２の一部の領域に対応する発光画像２１の一部の領域の画素値をゼロにする機能は、第２の制御装置１６にインストールされたソフトウェア（コンピュータプログラム）により実現されている。
【００６７】
なお、本実施形態では、輝度値（画素値）の変化に基づいて、自動的に非表示手段５４を作動させるようにしているがこれに限定されるものではない。非表示手段５４は、次に述べるように、ピックアップ作業の終了後に、手動で作動させるようにしてもよい。
【００６８】
すなわち、ユーザは、発光画像２１上で、該当するコロニー４１を第２の制御装置１６のマウス３８等を用いて自由曲線領域で囲むことで非表示にするコロニー４１を指定できる。また、ユーザは、同様に、該当箇所をマウス３８でクリックしてその点を中心とした一定の輝度値を越える領域をコロニー４１として認識して、非表示にするコロニー４１を指示することもできる。そして、指示部分の作業が終わったことを示す操作（例えば、第２の表示部４８上に設けられたピックアップ済みボタン等を押すなど）をすると、発光画像２１の該当領域の画素値をすべてゼロにして、指示された一部の領域の重ね合わせ表示を解除する。
【００６９】
また、第２の実施形態では、図７に示すように、第２の表示部４８のうち、ライブ画像２２の表示箇所に隣接した箇所に、ライブ画像２２と発光画像２１とを重ね合わせ表示したものを拡大した拡大画像５５を表示するようにしている。この拡大画像５５は、重ね合わせ表示をしている箇所を、例えば、発光画像２１を取得した際の倍率で表示している。また、明視野のライブ画像２２中に複数の発光画像２１が含まれる場合には、そのうちの一つを選択して拡大画像５５として表示することができる。
【００７０】
図７に示す場合では、ライブ画像２２中の左下の発光画像２１を選択した場合には、発光画像２１を取得した際の解像度で発光画像２１を表示する。また、発光画像２１の倍率と同じ倍率にライブ画像２２を拡大して、発光画像２１に重ね合わせてライブ画像２２を表示して、拡大画像５５を表示する。また、図８に示すように、拡大画像５５の対象領域を指定する場合には、発光画像２１の有無にかかわらず指定された領域を拡大画像５５としてライブ画像２２の表示箇所に隣接して表示することもできる。
【００７１】
このような、第２の制御装置１６（第２の制御手段）により第２の表示部４８のうち、ライブ画像２２が表示される箇所に隣接した位置に、ライブ画像２２およびライブ画像２２に重ねられた発光画像２１を拡大した拡大画像５５を表示する機能は、第２の制御装置１６にインストールされたソフトウェア（コンピュータプログラム）により実現されている。
【００７２】
第２の実施形態の顕微鏡システム１１によれば、画像認識部５２によってライブ画像２２と発光画像２１とが合致する位置を自動で簡単に認識できるため、ユーザの負担を軽減して、ピックアップ作業を円滑に行うことができる。
【００７３】
また、第２の表示部４８のうち、ライブ画像２２が表示される箇所に隣接した位置に、ライブ画像２２およびライブ画像２２に重ねられた発光画像２１を拡大した拡大画像５５を表示することができるため、発光画像２１を縮小して表示することで見にくくなってしまう際に、重ね合わせ部分を見易くすることができる。
【００７４】
さらに、表示切替手段５３、非表示手段５４を有しているため、ピックアップ作業時に発光画像２１がかえって邪魔になる場合等に、発光画像２１を表示しないようにすることができ、ピックアップ作業時に第２の表示部４８の表示を柔軟に切り換えることができる。
【００７５】
続いて、図９、図１０等を参照して、顕微鏡システムの第３の実施形態について説明する。第３の実施形態の顕微鏡システム１１は、第１の顕微鏡の第１のステージ２８と第２の顕微鏡の第２のステージ３１とがそれぞれ電動ステージで構成される点、および発光画像２１の重ね合わせ表示に発光画像２１の絶対位置情報を用いる点、で第１の実施形態および第２の実施形態のものと異なっているが、他の部分は第１の実施形態および第２の実施形態と共通している。このため、主として異なる部分について説明し、共通する部分については共通の符号を付して説明を省略する。第３の実施形態の顕微鏡システム１１は、図１に示すものと同様の外観を有する。
【００７６】
第２の実施形態では、画像認識部５２は、発光画像２１と一緒に取得した明視野画像を利用して発光画像２１の位置合わせに利用しているが、第３の実施形態では、発光画像２１とともに発光画像２１の絶対位置情報を利用して発光画像２１の位置合わせを行なう。
【００７７】
本実施形態では、第１の顕微鏡の第１のステージ２８と、第２の顕微鏡の第２のステージ３１とは、それぞれ電動ステージで構成される。第１の顕微鏡の第１のステージ２８は、第１の制御装置１４からの制御で光軸に垂直な平面方向（Ｘ軸方向、Ｙ軸方向）と、光軸に沿った方向（Ｚ軸方向）とにそれぞれ移動することができる。同様に、第２の顕微鏡の第２のステージ３１は、第２の制御装置１６からの制御で光軸に垂直な平面方向（Ｘ軸方向、Ｙ軸方向）と、光軸に沿った方向（Ｚ軸方向）とにそれぞれ移動することができる。
【００７８】
第１の制御装置１４は、発光画像２１を取得する際に、発光画像２１取得時の第１のステージ２８の位置を発光画像２１と関連付けて記憶する。より具体的には、第１の制御装置１４は、発光画像２１を撮影した際の、第１のステージ２８の少なくともＸ座標、Ｙ座標を記憶し、より好ましくはＸ座標、Ｙ座標、Ｚ座標のすべてを記憶する。
【００７９】
本実施形態の発光画像２１とライブ画像２２の重ね合わせ表示の方法について説明する。
【００８０】
第１の実施形態と同様に第１の顕微鏡１３を用いて数日間の観察を続ける。このとき発光画像２１を保存する際に、発光画像２１に関連付けて第１のステージ２８の絶対位置情報も記録する。このとき発光画像２１の他に明視野画像や蛍光画像も保存しておいてもよい。複数個所で発光画像２１を取得する場合には、各発光画像２１に関連付けて第１のステージ２８の位置情報をそれぞれ記憶する。
【００８１】
続いて数日後にピックアップ作業をする際には、まず初めに複数の発光画像２１と、それと関連付けて保存された絶対位置情報と、を第１の制御装置１４から第２の制御装置１６にコピーする。
【００８２】
第２の顕微鏡１５で、生体試料１２を第２のステージ３１の同じ位置に設置後、第２のＣＣＤカメラ４３でのリアルタイム表示（ライブ表示）を開始した後、発光画像２１の重ね合わせ表示を行なう設定にする。第２のステージ３１の絶対位置情報に従って自動的に発光画像２１が読み出される。明視野像のライブ画像２２上に発光画像２１を縮小して表示され、重ね合わせ表示がなされる。１つのライブ画像２２中に複数の発光画像２１が含まれる場合は、すべての発光画像２１を第２のステージ３１の絶対位置情報に従って表示する。
【００８３】
このとき、第１の顕微鏡１３と第２の顕微鏡１５でステージの型式が同一である場合には、ステージの位置座標は同じであるため、発光画像２１の表示位置は第１の顕微鏡１３で記録した位置情報をそのまま使用する。ステージの型式が違う場合には、座標が一致していないため、ステージ間の位置情報の変換を行った後に、発光画像２１を明視野のライブ画像２２中に重ね合わせて表示する。
【００８４】
また、重ね合わせ後の発光画像２１の表示位置をユーザが微調整できるのは第１、第２の実施形態と同様である。また、ライブ画像２２の表示箇所に隣接した箇所に、ライブ画像２２と発光画像２１とを重ね合わせ表示したものを拡大した拡大画像５５を表示することは第２の実施形態と同様である。また、表示切替手段５３、非表示手段５４を備えていることも、第２の実施形態と同様である。
【００８５】
続いて、第２のステージ３１を動かしてピックアップ対象を探す。第２のステージ３１の位置を操作して生体試料１２を移動させると、第２のステージ３１の位置に合わせてライブ画像２２も更新される。その際、例えば、図９に示す位置から図１０に示す位置にライブ画像２２が移動されると、これに重ね合わされた発光画像２１も一緒に移動する。このとき、第２の制御装置１６は、第２のステージ３１の位置情報を常に取得しておき、移動後の位置情報に合わせて、発光画像２１の表示位置を更新する。さらに、移動後のライブ画像２２内に、過去に撮影した別の発光画像２１が含まれる場合は、自動的に対応する発光画像２１が読み出されてライブ画像２２中に重ねて表示される。逆に移動後のライブ画像２２内から発光画像２１が含まれなくなった場合は、その発光画像２１は表示しない。なお、移動前後で発光画像２１の一部のみがライブ画像２２内に含まれるときは、発光画像２１の一部のみをライブ画像２２に重ね合わせて表示する。
【００８６】
このように、第１の制御装置１４（第１の制御手段）により発光画像２１とともに発光画像２１を取得した位置を記憶させる機能と、第２の制御装置１６（第２の制御手段）により発光画像２１を取得した位置に基づいて発光画像２１をライブ画像２２の一部に重ね合わせて表示する機能と、第２の制御装置１６（第２の制御手段）により第２の表示部４８に表示されたライブ画像２２を移動させる際に、ライブ画像２２に重ね合わされた発光画像２１も一緒に移動させる機能と、は第１の制御装置１４および第２の制御装置１６にインストールされたソフトウェア（コンピュータプログラム）により実現されている。
【００８７】
なお、本実施形態では、第１のステージ２８および第２のステージ３１を電動のものとしているが、電動のステージでなく、手動のステージであっても、第１のステージ２８および第２のステージ３１の位置を把握する手段、例えば位置センサを付加することによって同様のことを実現できる。
【００８８】
続いて、図１１等を参照して、顕微鏡システムの第４の実施形態について説明する。第４の実施形態の顕微鏡システム１１は、発光画像２１の相対位置情報を用いて重ね合わせ表示をする点、で第１から第３の実施形態のものと異なっているが、他の部分は第１から第３の実施形態と共通している。このため、主として異なる部分について説明し、共通する部分については共通の符号を付して説明を省略する。第４の実施形態の顕微鏡システム１１は、図１に示すものと同様の外観を有する。
【００８９】
本実施形態では、図１１に示すように、生体試料１２に観察位置の基準となる基準位置としては、例えば、シャーレ６１の底やまたは縁の部分にマーク６２を付けておく。他にも基準位置を決める方法は、様々なやり方があり、細胞に影響がない蛍光を発する蛍光ビーズを生体試料中に埋め込んでおいてもよい。
【００９０】
第１の顕微鏡１３で発光画像２１を取得するときに、まず基準位置を記録する。これは基準位置を含む明視野画像を取得して第１の制御装置１４に記憶してもよいし、基準位置の座標のみを別で第１の制御装置１４に記憶しておいてもよい。続いて通常通り生体試料１２の発光画像２１を取得する。発光画像２１と関連付けて記憶される位置情報は、基準位置を基準にした相対的なもの（相対位置情報）である。
【００９１】
数日後、コロニー４１をピックアップする際は、まず初めに複数の発光画像２１と、これに関連付けて記憶された相対位置情報と、を第１の制御装置１４から第２の制御装置１６にコピーする。さらに、第１の制御装置１４に記憶された基準位置の情報もコピーする。
【００９２】
続いて、第２の顕微鏡１５で、生体試料１２を第２のステージ３１の同じ位置に設置した後、第２のＣＣＤカメラ４３でのライブ画像２２の取得（リアルタイム表示）を開始した後、まず第１の顕微鏡１３で取得した基準位置を読み出す。次に、発光画像２１の重ね合わせ表示を実行する設定にすると、第２の制御装置１６は、現在のステージ位置から、現在の第２の表示部４８に表示されているライブ画像２２の基準位置に対する相対位置を算出する。第２の制御装置１６は、計算された相対位置情報が含まれる発光画像２１を自動的に読み出して、ライブ画像２２中に発光画像２１を重ねて表示する。
【００９３】
なお、第１の顕微鏡１３で取得した基準位置を含んだ明視野画像と、基準位置を含んだライブ画像２２との位置合わせは、第１の実施形態で説明したようにユーザが手動で行なうようにしてもよい。
【００９４】
また、重ね合わせ後の発光画像２１の表示位置をユーザが微調整できるのは第１、第２の実施形態と同様である。また、第４の実施形態でも第２の実施形態と同様に、第２の表示部４８のうち、ライブ画像２２の表示箇所に隣接した箇所に、ライブ画像２２と発光画像２１とを重ね合わせ表示したものを拡大した拡大画像５５が表示される。また、表示切替手段５３、非表示手段５４を備えていることも、第２の実施形態と同様である。
【００９５】
以上、第４の実施形態のように、相対位置情報を用いて発光画像２１をライブ画像２２に重ね合わせ表示しても構わない。
【００９６】
第１から第４の実施形態に記載した顕微鏡システム１１は、発明の要旨を逸脱しない範囲で種々変形して実施することができる。例えば、第１から第３の実施形態では、第２の制御装置１６の第２の表示部４８に発光画像２１およびライブ画像２２を表示するようにしているが、接眼ユニット４２の位置にＥＶＦ（Electrical View Finder）を設けて、接眼ユニット４２上で明視野像に対して発光画像２１を重ねて表示してもよい。また、第１から第３の実施形態に記載した顕微鏡システム１１では、第１の顕微鏡１３と第２の顕微鏡１５とが物理的に離れた箇所に設置されることを想定して、第１の制御装置１４と第２の制御装置１６とを別々に構成しているが、これに限定されるものではない。第１の制御装置１４と第２の制御装置１６とを１つの制御手段（コンピュータ）によって実現してももちろん良い。また、同様に、第１の表示部３６と第２の表示部４８を何れか１つの表示部だけで表示するようにしたり、相互に表示させるようにしてもよい。さらに、第１の顕微鏡１３と第２の顕微鏡１５を具備する顕微鏡システムとして、両方の顕微鏡に必要な光学系の少なくとも一部を共通化して一体化した顕微鏡光学系でもって実現するようにしてもよい。
【００９７】
また、第１から第３の実施形態では、第１の顕微鏡１３は、発光顕微鏡で構成されているが、蛍光顕微鏡であってもよい。また、第２の顕微鏡１５は、正立型顕微鏡で構成されているが、倒立型顕微鏡や蛍光顕微鏡など各種の顕微鏡であってもよい。また、上述した例ではピックアップ作業に関する説明を行ったが、容器等において所望の細胞や細胞内部位を分離する等の他の作業を含む各種細胞操作にも適用できる。また、第1の顕微鏡１３には、生体試料としての細胞や組織等を生きた状態に保つためのインキュベータ２７を設けており胚、微生物、バクテリア等の培養可能な微小生物にも適用できる構成を有しているが、かかるインキュベータを第２の顕微鏡１５に設けてもよい。また、小動物（マウス、ウサギ等）のような生物個体を第１の顕微鏡１３および第２の顕微鏡１５で観察する場合には、インキュベータ２７は不要である。
【符号の説明】
【００９８】
１１…顕微鏡システム、１２…生体試料、１３…第１の顕微鏡、１４…第１の制御装置、１５…第２の顕微鏡、１６…第２の制御装置、２１…発光画像、２２…ライブ画像、４８…第２の表示部、５２…画像認識部、５３…表示切替手段、５４…非表示手段、５５…拡大画像
【特許請求の範囲】
【請求項１】
生体試料の微弱光画像を取得可能な第１の顕微鏡と、
前記第１の顕微鏡に接続されるとともに、前記微弱光画像を記憶する第１の制御装置と、
前記生体試料の明視野のライブ画像を前記微弱光画像と異なる倍率で取得可能な第２の顕微鏡と、
前記第２の顕微鏡に接続されるとともに、前記微弱光画像を前記明視野のライブ画像と同等の倍率になるようにして、前記明視野のライブ画像の一部に重ね合わせて表示できる表示部を有した第２の制御装置と、
を具備することを特徴とする顕微鏡システム。
【請求項２】
前記第１の顕微鏡は、前記微弱光画像とともに前記生体試料の明視野画像を高倍率で取得可能であり、
前記第２の制御装置は、前記ライブ画像の一部領域と、前記明視野画像とが合致するか否かを判断できる画像認識部を有するとともに、これらが合致した位置で前記微弱光画像を前記ライブ画像に重ね合わせて表示することを特徴とする請求項１に記載の顕微鏡システム。
【請求項３】
前記第１の制御装置は、前記微弱光画像の絶対位置情報を前記微弱光画像とともに記憶し、
前記第２の制御装置は、前記絶対位置情報に基づいて前記微弱光画像を前記ライブ画像の一部に重ね合わせて表示することを特徴とする請求項１に記載の顕微鏡システム。
【請求項４】
前記第２の制御装置は、前記表示部に表示された前記ライブ画像を移動させる際に、前記ライブ画像に重ね合わされた前記微弱光画像も一緒に移動させることを特徴とする請求項３に記載の顕微鏡システム。
【請求項５】
前記生体試料には、前記微弱光画像と前記ライブ画像との重ね合わせ表示に利用される基準点が設けられており、
前記第１の制御装置は、前記基準点に対する前記微弱光画像の相対位置情報を前記微弱光画像とともに記憶し、
前記第２の制御装置は、前記相対位置情報に基づいて前記微弱光画像を前記ライブ画像の一部に重ね合わせて表示することを特徴とする請求項１に記載の顕微鏡システム。
【請求項６】
前記第２の制御装置は、前記表示部のうち、前記ライブ画像が表示される箇所に隣接した位置に、前記ライブ画像および前記ライブ画像に重ねられた前記微弱光画像を拡大した拡大画像を表示することを特徴とする請求項１ないし請求項５のいずれか１項に記載の顕微鏡システム。
【請求項７】
前記第２の制御装置は、表示切替手段を有し、この表示切替手段は、前記ライブ画像に重ねて表示された前記微弱光画像の表示、非表示を切り換えることができることを特徴とする請求項１ないし請求項５のいずれか１項に記載の顕微鏡システム。
【請求項８】
前記第２の制御装置は、前記微弱光画像を非表示にする非表示手段を有し、
前記非表示手段は、一定時間内に前記ライブ画像の一部の領域の画素値が変化した場合に、前記ライブ画像の一部の領域に対応する前記微弱光画像の一部の領域の画素値をゼロにすることを特徴とする請求項１ないし請求項５のいずれか１項に記載の顕微鏡システム。
【請求項９】
予め第１の画像取得手段で生体試料の微弱光画像を取得し、
第２の画像取得手段で生体試料の明視野のライブ画像を前記微弱光画像と異なる倍率で取得し、
制御手段によって前記微弱光画像を前記ライブ画像と同等の倍率になるようにするとともに、前記ライブ画像の一部に重ね合わせて表示手段上に表示することを特徴とする観察画像の表示方法。
【請求項１０】
前記第１の画像取得手段は、前記微弱光画像とともに前記生体試料の明視野画像を高倍率で取得し、
画像認識手段によって前記ライブ画像の一部領域と、前記明視野画像とが合致するか否かを判断し、これらが合致した位置で前記微弱光画像を前記ライブ画像に重ね合わせて表示することを特徴とする請求項９に記載の観察画像の表示方法。
【請求項１１】
前記制御手段は、前記微弱光画像とともに前記微弱光画像を取得した位置を記憶するとともに、前記微弱光画像を取得した位置に基づいて前記微弱光画像を前記ライブ画像の一部に重ね合わせて表示することを特徴とする請求項９に記載の観察画像の表示方法。
【請求項１２】
前記制御手段は、前記表示手段に表示された前記ライブ画像を移動させる際に、前記ライブ画像に重ね合わされた前記微弱光画像も一緒に移動させることを特徴とする請求項１１に記載の観察画像の表示方法。
【請求項１３】
前記制御手段は、前記表示手段のうち、前記ライブ画像が表示される箇所に隣接した位置に、前記ライブ画像および前記ライブ画像に重ねられた前記微弱光画像を拡大した拡大画像を表示することを特徴とする請求項９ないし請求項１２のいずれか１項に記載の観察画像の表示方法。
【請求項１４】
前記制御手段は、表示切替手段を有し、この表示切替手段は、前記ライブ画像に重ねて表示された前記微弱光画像の表示、非表示を切り換えることができることを特徴とする請求項９ないし請求項１３のいずれか１項に記載の観察画像の表示方法。
【請求項１５】
前記制御手段は、前記微弱光画像を非表示にする非表示手段を有し、
前記非表示手段は、一定時間内に前記ライブ画像の一部の領域の画素値に変化があった場合に、前記ライブ画像の一部の領域に対応する前記微弱光画像の一部の領域の画素値をゼロにすることを特徴とする請求項９ないし請求項１４のいずれか１項に記載の観察画像の表示方法。
【請求項１６】
生体試料の微弱光画像を取得する第１の画像取得手段、前記生体試料の明視野のライブ画像を取得する第２の画像取得手段、これらを制御する制御手段、前記制御手段に設けられた表示手段、を具備した観察画像の表示システムに、
前記第１の画像取得手段により前記生体試料の微弱光画像を取得する機能と、
前記第２の画像取得手段により生体試料の明視野のライブ画像を前記微弱光画像と異なる倍率で取得する機能と、
前記制御手段によって前記微弱光画像を前記ライブ画像と同等の倍率になるようにするとともに、前記ライブ画像の一部に重ね合わせて前記表示手段上に表示する機能と、
を実現させることを特徴とするプログラム。
【請求項１７】
前記第１の画像取得手段により前記微弱光画像とともに前記生体試料の明視野画像を高倍率で取得する機能と、
前記制御手段に設けられた画像認識手段によって前記ライブ画像の一部領域と、前記明視野画像とが合致するか否かを判断し、これらが合致した位置で前記微弱光画像を前記ライブ画像に重ね合わせて表示する機能と、
を実現させることを特徴とする請求項１６に記載のプログラム。
【請求項１８】
前記制御手段により前記微弱光画像とともに前記微弱光画像を取得した位置を記憶させる機能と、
前記制御手段により前記微弱光画像を取得した位置に基づいて前記微弱光画像を前記ライブ画像の一部に重ね合わせて表示する機能と、
を実現させることを特徴とする請求項１６に記載のプログラム。
【請求項１９】
前記制御手段により前記表示手段に表示された前記ライブ画像を移動させる際に、前記ライブ画像に重ね合わされた前記微弱光画像も一緒に移動させる機能を実現させることを特徴とする請求項１８に記載のプログラム。
【請求項２０】
前記制御手段により前記表示手段のうち、前記ライブ画像が表示される箇所に隣接した位置に、前記ライブ画像および前記ライブ画像に重ねられた前記微弱光画像を拡大した拡大画像を表示する機能を実現させることを特徴とする請求項１６ないし請求項１９のいずれか１項に記載のプログラム。
【請求項２１】
生体試料の微弱光画像を取得する第１の画像取得手段、前記生体試料の明視野のライブ画像を取得する第２の画像取得手段、これらを制御する制御手段、前記制御手段に設けられた表示手段および表示切替手段、を具備した観察画像の表示システムに、
前記第１の画像取得手段により前記生体試料の微弱光画像を高倍率で取得する機能と、
前記第２の画像取得手段により生体試料の明視野のライブ画像を低倍率で取得する機能と、
前記制御手段によって前記微弱光画像を前記ライブ画像と同等の倍率になるように縮小するとともに、前記ライブ画像の一部に重ね合わせて前記表示手段上に表示する機能と、
表示切替手段により前記ライブ画像に重ねて表示された前記微弱光画像の表示、非表示を切り換える機能と、
を実現させることを特徴とするプログラム。
【請求項２２】
生体試料の微弱光画像を取得する第１の画像取得手段、前記生体試料の明視野のライブ画像を取得する第２の画像取得手段、これらを制御する制御手段、前記制御手段に設けられた表示手段および非表示手段、を具備した観察画像の表示システムに、
前記第１の画像取得手段により前記生体試料の微弱光画像を高倍率で取得する機能と、
前記第２の画像取得手段により生体試料の明視野のライブ画像を低倍率で取得する機能と、
前記制御手段によって前記微弱光画像を前記ライブ画像と同等の倍率になるように縮小するとともに、前記ライブ画像の一部に重ね合わせて前記表示手段上に表示する機能と、
一定時間内に前記ライブ画像の一部の領域の画素値に変化があった場合に、前記非表示手段により前記ライブ画像の一部の領域に対応する前記微弱光画像の一部の領域の画素値をゼロにする機能と、
を実現させることを特徴とするプログラム。
【請求項１】
生体試料の微弱光画像を取得可能な第１の顕微鏡と、
前記第１の顕微鏡に接続されるとともに、前記微弱光画像を記憶する第１の制御装置と、
前記生体試料の明視野のライブ画像を前記微弱光画像と異なる倍率で取得可能な第２の顕微鏡と、
前記第２の顕微鏡に接続されるとともに、前記微弱光画像を前記明視野のライブ画像と同等の倍率になるようにして、前記明視野のライブ画像の一部に重ね合わせて表示できる表示部を有した第２の制御装置と、
を具備することを特徴とする顕微鏡システム。
【請求項２】
前記第１の顕微鏡は、前記微弱光画像とともに前記生体試料の明視野画像を高倍率で取得可能であり、
前記第２の制御装置は、前記ライブ画像の一部領域と、前記明視野画像とが合致するか否かを判断できる画像認識部を有するとともに、これらが合致した位置で前記微弱光画像を前記ライブ画像に重ね合わせて表示することを特徴とする請求項１に記載の顕微鏡システム。
【請求項３】
前記第１の制御装置は、前記微弱光画像の絶対位置情報を前記微弱光画像とともに記憶し、
前記第２の制御装置は、前記絶対位置情報に基づいて前記微弱光画像を前記ライブ画像の一部に重ね合わせて表示することを特徴とする請求項１に記載の顕微鏡システム。
【請求項４】
前記第２の制御装置は、前記表示部に表示された前記ライブ画像を移動させる際に、前記ライブ画像に重ね合わされた前記微弱光画像も一緒に移動させることを特徴とする請求項３に記載の顕微鏡システム。
【請求項５】
前記生体試料には、前記微弱光画像と前記ライブ画像との重ね合わせ表示に利用される基準点が設けられており、
前記第１の制御装置は、前記基準点に対する前記微弱光画像の相対位置情報を前記微弱光画像とともに記憶し、
前記第２の制御装置は、前記相対位置情報に基づいて前記微弱光画像を前記ライブ画像の一部に重ね合わせて表示することを特徴とする請求項１に記載の顕微鏡システム。
【請求項６】
前記第２の制御装置は、前記表示部のうち、前記ライブ画像が表示される箇所に隣接した位置に、前記ライブ画像および前記ライブ画像に重ねられた前記微弱光画像を拡大した拡大画像を表示することを特徴とする請求項１ないし請求項５のいずれか１項に記載の顕微鏡システム。
【請求項７】
前記第２の制御装置は、表示切替手段を有し、この表示切替手段は、前記ライブ画像に重ねて表示された前記微弱光画像の表示、非表示を切り換えることができることを特徴とする請求項１ないし請求項５のいずれか１項に記載の顕微鏡システム。
【請求項８】
前記第２の制御装置は、前記微弱光画像を非表示にする非表示手段を有し、
前記非表示手段は、一定時間内に前記ライブ画像の一部の領域の画素値が変化した場合に、前記ライブ画像の一部の領域に対応する前記微弱光画像の一部の領域の画素値をゼロにすることを特徴とする請求項１ないし請求項５のいずれか１項に記載の顕微鏡システム。
【請求項９】
予め第１の画像取得手段で生体試料の微弱光画像を取得し、
第２の画像取得手段で生体試料の明視野のライブ画像を前記微弱光画像と異なる倍率で取得し、
制御手段によって前記微弱光画像を前記ライブ画像と同等の倍率になるようにするとともに、前記ライブ画像の一部に重ね合わせて表示手段上に表示することを特徴とする観察画像の表示方法。
【請求項１０】
前記第１の画像取得手段は、前記微弱光画像とともに前記生体試料の明視野画像を高倍率で取得し、
画像認識手段によって前記ライブ画像の一部領域と、前記明視野画像とが合致するか否かを判断し、これらが合致した位置で前記微弱光画像を前記ライブ画像に重ね合わせて表示することを特徴とする請求項９に記載の観察画像の表示方法。
【請求項１１】
前記制御手段は、前記微弱光画像とともに前記微弱光画像を取得した位置を記憶するとともに、前記微弱光画像を取得した位置に基づいて前記微弱光画像を前記ライブ画像の一部に重ね合わせて表示することを特徴とする請求項９に記載の観察画像の表示方法。
【請求項１２】
前記制御手段は、前記表示手段に表示された前記ライブ画像を移動させる際に、前記ライブ画像に重ね合わされた前記微弱光画像も一緒に移動させることを特徴とする請求項１１に記載の観察画像の表示方法。
【請求項１３】
前記制御手段は、前記表示手段のうち、前記ライブ画像が表示される箇所に隣接した位置に、前記ライブ画像および前記ライブ画像に重ねられた前記微弱光画像を拡大した拡大画像を表示することを特徴とする請求項９ないし請求項１２のいずれか１項に記載の観察画像の表示方法。
【請求項１４】
前記制御手段は、表示切替手段を有し、この表示切替手段は、前記ライブ画像に重ねて表示された前記微弱光画像の表示、非表示を切り換えることができることを特徴とする請求項９ないし請求項１３のいずれか１項に記載の観察画像の表示方法。
【請求項１５】
前記制御手段は、前記微弱光画像を非表示にする非表示手段を有し、
前記非表示手段は、一定時間内に前記ライブ画像の一部の領域の画素値に変化があった場合に、前記ライブ画像の一部の領域に対応する前記微弱光画像の一部の領域の画素値をゼロにすることを特徴とする請求項９ないし請求項１４のいずれか１項に記載の観察画像の表示方法。
【請求項１６】
生体試料の微弱光画像を取得する第１の画像取得手段、前記生体試料の明視野のライブ画像を取得する第２の画像取得手段、これらを制御する制御手段、前記制御手段に設けられた表示手段、を具備した観察画像の表示システムに、
前記第１の画像取得手段により前記生体試料の微弱光画像を取得する機能と、
前記第２の画像取得手段により生体試料の明視野のライブ画像を前記微弱光画像と異なる倍率で取得する機能と、
前記制御手段によって前記微弱光画像を前記ライブ画像と同等の倍率になるようにするとともに、前記ライブ画像の一部に重ね合わせて前記表示手段上に表示する機能と、
を実現させることを特徴とするプログラム。
【請求項１７】
前記第１の画像取得手段により前記微弱光画像とともに前記生体試料の明視野画像を高倍率で取得する機能と、
前記制御手段に設けられた画像認識手段によって前記ライブ画像の一部領域と、前記明視野画像とが合致するか否かを判断し、これらが合致した位置で前記微弱光画像を前記ライブ画像に重ね合わせて表示する機能と、
を実現させることを特徴とする請求項１６に記載のプログラム。
【請求項１８】
前記制御手段により前記微弱光画像とともに前記微弱光画像を取得した位置を記憶させる機能と、
前記制御手段により前記微弱光画像を取得した位置に基づいて前記微弱光画像を前記ライブ画像の一部に重ね合わせて表示する機能と、
を実現させることを特徴とする請求項１６に記載のプログラム。
【請求項１９】
前記制御手段により前記表示手段に表示された前記ライブ画像を移動させる際に、前記ライブ画像に重ね合わされた前記微弱光画像も一緒に移動させる機能を実現させることを特徴とする請求項１８に記載のプログラム。
【請求項２０】
前記制御手段により前記表示手段のうち、前記ライブ画像が表示される箇所に隣接した位置に、前記ライブ画像および前記ライブ画像に重ねられた前記微弱光画像を拡大した拡大画像を表示する機能を実現させることを特徴とする請求項１６ないし請求項１９のいずれか１項に記載のプログラム。
【請求項２１】
生体試料の微弱光画像を取得する第１の画像取得手段、前記生体試料の明視野のライブ画像を取得する第２の画像取得手段、これらを制御する制御手段、前記制御手段に設けられた表示手段および表示切替手段、を具備した観察画像の表示システムに、
前記第１の画像取得手段により前記生体試料の微弱光画像を高倍率で取得する機能と、
前記第２の画像取得手段により生体試料の明視野のライブ画像を低倍率で取得する機能と、
前記制御手段によって前記微弱光画像を前記ライブ画像と同等の倍率になるように縮小するとともに、前記ライブ画像の一部に重ね合わせて前記表示手段上に表示する機能と、
表示切替手段により前記ライブ画像に重ねて表示された前記微弱光画像の表示、非表示を切り換える機能と、
を実現させることを特徴とするプログラム。
【請求項２２】
生体試料の微弱光画像を取得する第１の画像取得手段、前記生体試料の明視野のライブ画像を取得する第２の画像取得手段、これらを制御する制御手段、前記制御手段に設けられた表示手段および非表示手段、を具備した観察画像の表示システムに、
前記第１の画像取得手段により前記生体試料の微弱光画像を高倍率で取得する機能と、
前記第２の画像取得手段により生体試料の明視野のライブ画像を低倍率で取得する機能と、
前記制御手段によって前記微弱光画像を前記ライブ画像と同等の倍率になるように縮小するとともに、前記ライブ画像の一部に重ね合わせて前記表示手段上に表示する機能と、
一定時間内に前記ライブ画像の一部の領域の画素値に変化があった場合に、前記非表示手段により前記ライブ画像の一部の領域に対応する前記微弱光画像の一部の領域の画素値をゼロにする機能と、
を実現させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−１９６８６７（Ｐ２０１１−１９６８６７Ａ）
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願番号】特願２０１０−６５０２１（Ｐ２０１０−６５０２１）
【出願日】平成２２年３月１９日（２０１０．３．１９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願日】平成２２年３月１９日（２０１０．３．１９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]