顕微鏡検査システム及び蛍光を可視化するための記録方法
【課題】発生している蛍光をより見やすく表示することが可能な、顕微鏡システムおよび蛍光を可視化するための記録方法を提供すること。
【解決手段】イメージセンサ及びイメージセンサに関係する回路は、一連の蛍光画像を記録するために用いられる。前記イメージセンサは、入射された放射によって生じる電荷を蓄積するための複数の画素を有し、前記回路は、画素に蓄積された電荷を二進数に変換する。回路の利得は調整可能である。利得は、記録工程の開始時において、適切な最大値に設定される。記録工程において、記録された画像の１つ以上の輝度値が、適切に選択された最大輝度値を超えることが決定された場合には、利得は減少される。記録開始時に利得を最大値に設定することにより、弱い蛍光によっても重要な画像信号が確実に得られる。
【解決手段】イメージセンサ及びイメージセンサに関係する回路は、一連の蛍光画像を記録するために用いられる。前記イメージセンサは、入射された放射によって生じる電荷を蓄積するための複数の画素を有し、前記回路は、画素に蓄積された電荷を二進数に変換する。回路の利得は調整可能である。利得は、記録工程の開始時において、適切な最大値に設定される。記録工程において、記録された画像の１つ以上の輝度値が、適切に選択された最大輝度値を超えることが決定された場合には、利得は減少される。記録開始時に利得を最大値に設定することにより、弱い蛍光によっても重要な画像信号が確実に得られる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顕微鏡検査システム及び蛍光を可視化するための記録方法に関する。
【背景技術】
【０００２】
蛍光マーカーは、特定の組織の特徴、組織の種類、組織の構造及び組織の機能を可視化する等、様々な目的のために、医療及び生物学における応用に用いられている。ここで、蛍光マーカー又はそのような蛍光マーカーの原型となる物は、検査又は治療がなされている組織標本もしくは患者にアプライされる。蛍光マーカーは、組織標本又は患者の特定の組織の種類又は組織の構造内に蓄積され、その組織の構造及び組織の種類は、蛍光を励起するための光を組織標本に照射し、対応する蛍光を観察することにより、観察者によって知覚され、その位置が特定され得る。時として強度が低く、観測者の目に見える蛍光を得るために、様々な光学器具が用いられる。従来の顕微鏡検査システム及び記録方法は、特許文献１により既知であり、これらの全開示を参照により本明細書に援用する。この従来の顕微鏡検査システムを用いれば、蛍光マーカー又はその原型となる物を標本にアプライし、その後、対応する蛍光を観察して対応する画像を記録し、これらの画像をアーカイブしてフィルムとして再生することが可能である。
【特許文献１】米国特許出願公開第２００４／０１０９２３１号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００３】
この従来のシステムにおいては、輝度やコントラストが低いなど、記録された画像の質が低かったり、記録された画像において重要度の高い蛍光が見られなかったりすることがある。その場合、より高い濃度の蛍光マーカーを用いたり、所望の結果を得るために他のパラメータを変更して、検出工程を繰り返す必要がある。
【０００４】
本発明は、上記課題を考慮してなされたものである。
【０００５】
本発明の実施の形態は、発生している蛍光をより見やすく表示することが可能な、顕微鏡検査システム及び蛍光を可視化するための記録方法を提供する。
【課題を解決するための手段】
【０００６】
本発明の実施の形態は、イメージセンサと、前記イメージセンサに接続された回路とを用いている。前記イメージセンサは、入射された放射によって生じる電荷を蓄積するための複数の画素を備え、前記回路は、調整可能な利得を用いて、前記画素に蓄積された電荷を二進数に変換する。記録シーケンスが開始されるとき、利得は適切な最大値に設定される。記録シーケンスの間、記録された画像の１つ以上の強度値が、適切に選択された輝度値を超えることが決定された場合には、利得は減少するであろう。
【０００７】
記録開始時に利得を最大値に設定することにより、弱い蛍光によっても重要な画像信号が得られることが確実となる。蛍光マーカー又はその原型となる物をアプライした後、蛍光画像の画像輝度は連続的に増加するであろう。その場合、初めに利得が高い値に設定されていたため、幾つかの輝度値が、最大輝度値を超える、もしくは、さらに大きな輝度値や桁外れな値を取る可能性がある。これを避けるため、画像が適切なコントラストを有し、画像内において、最大値を超える輝度値又はオーバーフロー値を取る領域が、小さいままであるように、利得の値を連続的に減少させる。検出可能な蛍光強度が低い、蛍光の開始時において、すでに高いコントラストを有する画像を記録し、かつ、蛍光強度が連続的に増加するときにも、十分な画像を記録し続けることが可能である。
【０００８】
本発明の一実施の形態は、カメラシステムを用いて一連の蛍光画像を記録する方法であって、前記カメラシステムが、入射された放射によって生じる電荷を蓄積するための複数の画素を有するイメージセンサと、画素の群に蓄積された電荷量を二進数に変換するための回路であって、それぞれの二進数が、電荷量の範囲内の電荷量を表わすように、前記変換の利得が調整可能であり、電荷量の範囲内の電荷が、少なくとも１つの利得に応じた電荷量の限界もしくはそれ未満である回路とを備え、前記電荷量の限界が、少ない第１の電荷量となるように、少なくとも１つの利得を設定する工程を含み、さらに、前記イメージセンサによって検出された画像を表わす二進数を前記回路から受け取る工程と、前記検出された画像を表わす少なくとも１つの二進数が、最大値よりも大きい電荷量を表わす場合において、前記電荷量の限界が、前記少なくとも１つの利得の先の調整における限度よりも大きくなるように、前記少なくとも１つの利得を再度調整する工程とを繰り返し行う蛍光画像の記録方法を提供する。
【０００９】
一般的に、二進数は、イメージセンサのそれぞれの画素に関連する、検出強度値を表わす。このような二進数から生じた表示画像において、高い放射量（radiation dose）を受けるイメージセンサの画素領域に対応するこれらの領域は明るく見え、一方、低い放射量を受けるイメージセンサの画素領域は、前記対応する画像において、暗い領域に見える。しかし、二進数が、異なる符号化スキームによって、画素内に発生した電荷量を表わすことも可能である。例えば、高い放射量を受ける画素領域が、表示画像の対応する領域において、暗い領域に見え、一方、明るく見える表示画像の領域が、低い放射量を受けるイメージセンサの画素領域に対応するように、二進数が反転した輝度を表わすことも可能である。
【００１０】
前記回路は、電荷量の範囲がそれぞれの二進数と関連するように、画素の群に蓄積された電荷量を複数の二進数に変換する。この場合、互いに異なる二進数に対応する電荷量の範囲は、殆ど重ならない。電荷量の範囲内の電荷量は、電荷量の限界未満である。画素の群に蓄積され、電荷量の限界よりも大きい電荷量は、オーバーフローを表わす特定の二進数に変換することが可能である。例えば、電荷量は、０から２５４の８ビットの二進数に変換することが可能であり、二進数２５５は、電荷量の限界、もしくは、電荷量の限界よりも大きいオーバーフローを表わすことができる。
【００１１】
電荷量の限界は、調整可能な利得によって決定される。
【００１２】
イメージセンサは、画素に蓄積された電荷が行方向に移動するＣＣＤセンサであって、それぞれの列の電荷量が順次電圧に変換され、前記電圧が増幅され、前記増幅された電圧が、アナログ・デジタル変換器（ＡＤＣ）を用いて二進数に変換されるＣＣＤセンサであることが可能である。前記電圧の増幅は、調整可能な利得を有する電圧増幅器によって行われる。同様に、アナログ・デジタル変換器の利得も調整可能である。
【００１３】
イメージセンサは、それぞれの画素に蓄積された電荷量の変換が、前記画素の位置において行われるＣＭＯＳセンサであって、前記画素に対応する電圧値が、前記画素の行と列とをアドレス指定することによって読み出され得るＣＭＯＳセンサからなっていてもよい。ここで、電荷量の変換の利得を電圧に調整することも可能であり、前記電圧の増幅の利得及び増幅された電圧の変換の利得を二進数に変換することも可能である。
【００１４】
本発明の一実施の形態によれば、イメージセンサによって検出された画像を表わす、受け取られた二進数は、記録媒体に記録され得る。
【００１５】
本発明の例示的な一実施の形態によれば、記録媒体における記録は、開始時間よりも前に検出された複数の画像が記録されないように、開始時間後にのみ行われる。
【００１６】
他の一実施の形態によれば、検出された全ての画像を記録媒体に記録し、マーカーを記録媒体に付加的に保存することが可能であり、前記マーカーは、開始時間近くに記録された記録画像を示す。
【００１７】
前記開始時間は、複数の方法により決定される。
【００１８】
一実施の形態によれば、前記開始時間は、検出された画像のコントラストに基づいて決定される。記録の開始において、まだ蛍光マーカーが決められた標本に蓄積されていないとき、記録された蛍光画像のコントラストは、小さいかもしくは存在しないであろう。標本内の蛍光マーカーの蓄積が増加するにしたがって、前記画像のコントラストは、増加し、低い方の閾値を超えるであろう。その場合、低い方の閾値を超える時間を開始時間とすることができる。
【００１９】
蓄積された電荷量が二進数に変換される画素の群は、１つの単一画素からなっていてもよい。その一方で、前記画素の群は、複数の画素からなることも可能である。
【００２０】
一実施の形態によれば、イメージセンサは、例えば、４つの隣り合う画素の蓄積された電荷を、前記センサを読み出す際に集約するＣＣＤセンサからなっていてもよい。この場合、前記集約された電荷が前記二進数に変換される。
【００２１】
さらなる一実施の形態によれば、１つ以上の画素の電荷量を表わす複数の二進数が平均化されてもよい。これにより、このように前記変換の中間結果を表わす複数の二進数が集約され、最終的な二進数となる。その結果、イメージセンサの画素解像度との比較において、解像度が減少してはいるが、画像ノイズが軽減された、表示可能な画像が、データの減少によって実現される。
【００２２】
前記蛍光マーカーは、いかなる適切な蛍光マーカーもしくはその原型となる物であってもよい。例えば、励起波長が約７００ｎｍから約８００ｎｍの範囲にあり、蛍光波長が約８００ｎｍから約９００ｎｍの範囲にあるインドシアニングリーン（ＩＣＧ）が挙げられる。さらに、蛍光マーカーの原型となる物として、励起波長が約４００ｎｍから約４３０ｎｍの範囲にあり、蛍光波長が約６３０ｎｍから約７２０ｎｍの範囲にある蛍光マーカーとなる５−アミノレブリン酸（５−ＡＬＡ）も挙げられる。
【発明を実施するための最良の形態】
【００２３】
以下に述べる例示的な実施の形態において、同様の機能及び構造を有する構成要素については、可能な限り同様の参照符号を付している。従って、或る特定の実施の形態における個々の構成要件の特徴を理解するにあたり、他の実施の形態や課題を解決するための手段における記載を参照されたい。
【００２４】
図１は、光軸７を有する対物レンズ５を含む顕微鏡検査光学系３を備えた顕微鏡検査システム１を概略的に示している。検査される物体９は、対物レンズ５の物体平面内に配置される。物体９から発せられる光は、対物レンズ５によって平行ビーム１１となるように変形され、その中に２つのズーム系１２、１３が光軸７から或る距離を置いて配置される。ズーム系１２、１３は、平行ビーム１１の部分ビーム１４、１５を用い、当該部分ビーム１４、１５を、顕微鏡検査システム１の筒の本体の偏向プリズム（図１においては図示せず）を通して、接眼レンズ１６、１７に供給する。ユーザは、左目１８と右目１９でそれぞれ接眼レンズ１６、１７を覗き込むと、画像として物体９の拡大された表示を知覚するであろう。ユーザが両目１８、１９で物体９の立体画像を知覚するように、左目１８で知覚される画像は、光軸７に対して角度(で物体を見たときの画像に対応し、右目１９で知覚される画像は、光軸７に対して角度−(で物体９を見たときの画像に対応している。
【００２５】
ビーム２３として光の一部を分枝するために、半透明ミラー２１が部分ビーム１５内に配置されている。ビーム２３は、さらなるビームスプリッタ２５によって分割され、ビーム２７、２９となる。ビーム２７は、カメラ３２が光軸７に対して観測角−(で物体９の画像を検出するように、カメラアダプタ光学素子３１を通してカメラ３２の光検出素子に供給される。カメラ３２によって検出された画像は、画像データとして、データライン３３を通ってコントローラ３５に伝送される。
【００２６】
ビーム３９は、半透明ミラー３７によって部分ビーム１４から分枝される。ビーム３９は、カメラ４３が光軸７に対して観測角(で物体９の画像を検出するように、カメラアダプタ光学素子４１を通して、さらなるカメラ４３の光検出素子に供給される。カメラ４３によって検出された画像は、画像データとして、データライン４５を通ってコントローラ３５に供給される。頭部装着型ディスプレイ４９に一体化され、かつ、図１において参照符号５１、５２として概略的に示されるディスプレイが、ユーザの左目及び右目で知覚されたであろうそれぞれの画像を供給するように、コントローラ３５は、カメラ３２、４３によって画像データとして検出された画像を、ライン４７を通して、顕微鏡検査システム１のユーザの頭部に着けて持ち運ばれる頭部装着型ディスプレイ４９に伝送する。
【００２７】
従って、ユーザは、接眼レンズ１６、１７を直接覗き込む位置にいない場合においても、頭部装着型ディスプレイ４９を用いて、物体９の可視光画像の表示を観察することにより、物体９の立体表示を知覚するであろう。
【００２８】
ビーム２９は、カメラ５５が物体の赤外線画像を検出できるように、カメラアダプタ光学素子５３を通して、カメラ５５の光検出素子に供給される。フィルタ５７が、ビーム２９内に配置される。フィルタ５７の透過特性は、特定の用途において用いられる蛍光マーカーの蛍光波長に合わせられる。示された例において、蛍光マーカーは、約８３５ｎｍの蛍光発光を有するＩＣＧである。フィルタ５７の透過特性は、８１０ｎｍよりも大きい波長を有する光のみが透過され、８１０ｎｍ未満の波長の光は透過されないように設計されている。従って、カメラ５５は、以下にさらに示されるように、顕微鏡検査システム１の照射系６３によって物体の蛍光が励起された場合に、物体９の蛍光物質の分布を表わす物体９の画像を検出する。
【００２９】
カメラ５５によって検出された画像は、データライン６５を通ってコントローラ３５に伝送される。コントローラ３５は、画像データとして、カメラ５５によって検出された画像を、データライン６７を通してＬＣＤディスプレイ６９に伝送する。ＬＣＤディスプレイ６９は、画像データを、平行光学系７０及び半透明ミラー６８によって部分ビーム１５と重ね合わせられた画像として表示する。ＬＣＤディスプレイ６９の画像は、物体９の直接的な光学像と重ね合わせられた形で、ユーザの目１９によって知覚されるであろう。ＬＣＤディスプレイ６９は、カメラ５５によって検出された赤外線光強度の分布を、緑色などの可視色で表示する。赤外線画像を表示するためには、緑色を用いるのが好ましい。何故なら、物体９を形成する人体組織には、通常、比較的少量ではあるが緑色が含まれるからである。
【００３０】
カメラ５５によって検出され、かつ、カメラ３２によって検出された可視光画像と重ね合わせられた赤外線光画像が、ディスプレイ５１に表示されるように、コントローラ３５は、頭部装着型ディスプレイ４９のディスプレイ５１に伝送された画像データのデータ処理を行う。従って、頭部に頭部装着型ディスプレイ４９を装着しているユーザも、物体の可視光画像と赤外線光画像とが重ね合わせられた表示を、その右目で知覚するであろう。
【００３１】
参照簡便と明瞭性のために図１には図示していないが、さらなるビームが、左目１８に供給される部分ビーム１４から分枝されていてもよい。このようなさらなるビームは、部分ビーム１５、ＬＣＤディスプレイ６９、平行光学系７０及び半透明ミラー６８について上述したように、可視光の部分ビーム１４と重ね合わせられた画像を生じさせるために、さらなる赤外線カメラに供給されてもよい。そして、ユーザは、物体９の立体的な赤外線光画像を知覚するであろう。このような付加的なカメラによって生じた画像データは、頭部装着型ディスプレイ４９が物体９内の蛍光物質の分布を表わす立体表示も供給するように、頭部装着型ディスプレイ４９のディスプレイ５２にも供給される。
【００３２】
１つもしくは複数のレンズ７５を通り、光源から放射された光を光ファイバーバンドル７７内に結合させるための、光ファイバーバンドル７７の入射端７６に向けられた平行光ビーム７４を発生させるために、照射系６３は、光源としてのハロゲンランプ７１と、リフレクタ７２と、コリメータ７３とを備えている。前記光は、光ファイバーバンドル７７によって対物レンズ５の近くまで運ばれ、光ファイバーバンドル７７の出射端７８から出射する。物体９に向けられる照射光ビーム８１を形成するために、出射している光を整形するための平行光学系７９が設けられている。本実施の形態は、光源としてハロゲンランプを使用するものに限定されるものではない。キセノンランプなどの他の光源を使用してもよい。
【００３３】
照射系６３は、互いに隣接して配置された２つのフィルタ８４、８５を有するフィルタプレート８３をさらに備えている。フィルタ８４がフィルタプレート８３の第１の位置においてビーム７４内に配置され、かつ、フィルタ８５がフィルタプレート８３の第２の位置においてビーム７４内に配置されるように、コントローラ３５によって制御されるアクチュエータ８７が、図１における両矢印８８によって示される方向にフィルタプレート８３を移動させるために設けられている。
【００３４】
フィルタ８４の透過特性は、フィルタ８４が可視光及び約８００ｎｍを上限値とする波長の光をほぼ完全に透過させ、その上限値を超える波長の光を殆ど透過させないように設計されている。フィルタ８４は、検査されている物体９の領域における蛍光物質の蛍光を観察する用途のために、ビーム７４内に位置している。接眼レンズ１６、１７を覗き込み、カメラ３２、４３によって検出された画像を観察することにより、物体９の可視光画像を知覚するために、照射光ビーム８１がカメラ５５によって検出された蛍光を励起し、かつ、可視光を物体９の領域に照射するように、上限値である８００ｎｍは、ＩＣＧの励起波長よりも大きい波長となっている。しかし、上限値８００ｎｍが蛍光マーカーの発光波長である８３５ｎｍよりも小さいのは、カメラ５５によって検出される蛍光の波長を有する光が、蛍光マーカーの蛍光のみから生じるように、蛍光の波長を有する光を物体９に照射しないようにするためである。
【００３５】
蛍光を観察することが望ましくない場合には、コントローラ３５は、アクチュエータ８７を駆動して、フィルタ８５がビーム７４内に配置されるようにフィルタプレート８３を移動させる。フィルタ８５の透過特性は、フィルタ８５が約７１０ｎｍである上限値以下の波長の可視光を殆ど透過させ、その上限値を超える波長の光を殆ど透過させないように設計されている。フィルタ８５は、照明光ビーム８１からの放熱を取り除くための熱保護フィルタとして用いられている。さもなければ、物体９を不必要に加熱してしまうことになるからである。ＩＣＧの励起スペクトルも７１０ｎｍ未満の波長まで増加したとしても、フランク（flank）９３は、ＩＣＧの最大励起波長５９よりもはるかに小さい。しかし、フィルタ８５がビーム７４内に配置された場合には、物質の蛍光は殆ど励起されない。
【００３６】
図２は、カメラ５５及びコントローラ３５の機能を図示している。カメラ５５は、ＣＣＤカメラであり、行及び列に配置された複数の画素１０３を有するイメージセンサ１０１を備えている。読み出し回路１０２は、イメージセンサ１０１を制御し、イメージセンサ１０１の信号から画像を生成するために用いられている。読み出し回路１０２は、カメラ５５に配置されるであろう構成要素と、コントローラ３５に配置されるであろう構成要素とを備えている。
【００３７】
露光中、画素に電荷が蓄積される。それぞれの露光の終了時に、図２の矢印１０７によって示されるように、それぞれの画素に蓄積された電荷が、列ごとにレジスタ１０５に移動させられる。一列の電荷がレジスタ１０５に移動するや否や、図２の矢印１１１によって示されるように、それぞれの電荷が、電荷・電圧変換ユニット１０９へ連続的に移動させられる。電荷・電圧変換ユニット１０９は、それぞれの電荷を、可変利得を有する増幅器１１３によって増幅された対応する電圧に変換し、前記電圧は、可変利得を有するアナログ・デジタル変換器１１５に供給される。アナログ・デジタル変換器１１５は、前記電圧を二進数（binary values）に変換する。示された例においては、０から２５４の輝度値が生じるように、前記二進数は８ビットを有している。二進数２５５は、画素内に蓄積された電荷がオーバーフローしている状態、つまり、電荷が電荷量の限界よりも大きい状態を表わしている。電荷量の限界は、増幅器１１３の利得の設定及びアナログ・デジタル変換器１１５の利得によって規定される。利得を組み合わせることにより、画素の電荷量の二進数への変換のスケールファクターが与えられる。変換の利得の合計は、画素に蓄積された電子の量を二進数（binary number）で割った値、つまり、画素の輝度値として規定され得る。
【００３８】
示された例において、前記二進数は、データライン６５を介してコントローラ３５に供給され、コントローラ３５は、例えば、中間画像データメモリ１１９に前記二進数を保存するためのフレームグラバー１１７を備えている。そして、それぞれのデータ値が、中間画像データメモリ１１９の４つの対応する画像輝度値を平均することによって得られる画像輝度値を表わす画像データで、画像データメモリ１２１を満たすことにより、画像のデータ量を減らすために、コントローラ３５のプロセッサが第１の画像処理を行う。他の例では、画像データメモリ１２１において１つのデータ値を得るために、９、１６又はそれ以上の中間画像データメモリ１１９の画像輝度値を平均することにより、データがより大幅に減少してもよい。データの減少により、細かい点や画像ノイズが次の計算に影響を与えないようにもなる。
【００３９】
画像データメモリ１２１からの画像データは、ハードディスク１２３などの記憶媒体に、次々と、つまり画像ごとに書き込まれる。コントローラ３５のプロセッサ上で動くソフトウェアの一部として実装されていてもよい画像分析モジュール１２５は、画像データメモリ１２１に保存された輝度値の輝度分析を行う。輝度値のうちの１つが、示された例において２５０以下から選択される最大値を超えた場合には、さらに輝度の高い次の画像が、画像の２進法表示（binary representation）の有効なダイナミックレンジを超える可能性があることを示唆する。その場合、画像分析モジュール１２５は、制御ライン６６を通して、増幅器１１３及びアナログ・デジタル変換器１１５の１つ又は両方の利得の設定を減少させるであろう。例えば、前記利得は、現在の利得の９５％の値に設定される。
【００４０】
処理の開始時には、利得は所定の最大値に設定されているため、画像内の弱い蛍光が、確実に二進符号化（binary coding）の有効なダイナミックレンジをすでに最大限利用していることになる。そして、その後は、蛍光画像の強度を増加させながら前記利得を減少させているため、幾つかの、又はそれ以上の画素におけるオーバーフローは、可能な限り避けられるであろう。
【００４１】
ここで、一般的に、蛍光放射は、簡単には検出されない低い強度を有することも想定される。このため、処理の開始時において、検出される蛍光強度の減少は可能な限り避けられる。光学系内に最終的に存在する開口は、可能な限り取り除かれるか又は開かれる。さらに、カメラ５５の露光時間は、所定の値、特に、カメラにとって有効な最大値に調整される。
【００４２】
一連の蛍光画像の記録方法の一実施の形態を、図３を参照しながら説明する。図３に示された処理手順は、例えば、図１に示されたボタン９７を押すことによって開始され得る。その後、ステップ２０１において、コントローラ３５がフィルタプレート８３をビーム経路内へ動かす。ステップ２０３において、増幅器１１３及びアナログ・デジタル変換器１１５の利得が、それぞれの最大値に設定される。ステップ２０５においてイメージカウンタｎが０に設定され、ステップ２０７において、１つの画像の二進数又は輝度値が、ライン６５を通してカメラから供給され、画像データメモリ１２１に保存される。
【００４３】
その後、ステップ２０９においてイメージカウンタを増加させ、次の画像をステップ２１１においてカメラから受け取り、ステップ２１１において、ハードディスク１２３に保存され、ＬＣＤディスプレイ６９及びディスプレイ５１、５２に表示される。ステップ２１３においては、画像内に蛍光が検出可能であるか否かが決定される。これは、現在記録されている画像のコントラストと、先に記録された画像のコントラストとを比較することによって行われる。コントラストの増加が検出された場合には、蛍光の開始が想定される。コントラストの増加が検出されない場合には、ステップ２０９から処理が続けられ、画像が繰り返し記録される。
【００４４】
画像におけるコントラストは、この画像における最大輝度値から最小輝度値を減算することによって決定され得る。最大輝度値と最小輝度値との差が、コントラストを表わしている。
【００４５】
ステップ２１３において所定の閾値よりも大きいコントラストの変化が検出された場合には、蛍光が開始されることになり、イメージカウンタｎの現在の値がｎｓｔａｒｔとして保存されるステップ２１５において、処理が続けられる。
【００４６】
その後、ステップ２１７においてイメージカウンタｎを増加させ、ステップ２１９において、次の画像を受け取り、表示及び記録をする。ステップ２２１において、処理を終了させるべきか否かが決定される。３００秒などの最大継続時間が超過したか否かを決定することがそのような終了に含まれる。もしくは、ボタン９７などのユーザインターフェース素子の状態が決定され、これにより、ユーザにさらなる画像の記録を終了させる。
【００４７】
さらに、ステップ２２１において画像分析を行うことにより、記録の終了を決定することも可能である。前記画像分析は、例えば、蛍光が退色するか否かを決定し、それは、画像の最大輝度値が、適切に設定された閾値よりも小さいか否かを決定することによって行うことができる。
【００４８】
一連の画像における蛍光強度の増加のみを記録したい場合には、蛍光の終了は、次の画像の輝度を比較することによって決定されてもよい。輝度の増加がこれ以上決定されないのであれば、コントローラ３５は、ステップ２２１においてさらなる画像の記録を終了させてもよいし、ステップ２２７において処理を継続させてもよい。
【００４９】
処理が終了しない場合には、ステップ２２３において、画像の輝度値が閾値より大きいか否かが決定される。図２を参照して上述したように、８ビットで表わされる最も大きい数が２５５であることを考慮し、閾値として２５０が選択される。ステップ２２３における決定により、最大輝度に達していないと結論づけられた場合には、ステップ２１７において、さらなる画像の記録、表示及び保存のための処理が続けられる。最大輝度に達した場合には、ステップ２２５の処理が続けられ、増幅器１１３の利得及び／又はアナログ・デジタル変換器１１５の利得が例えば５％低減される。その後、必要であれば、さらなる画像を記録、表示及び保存し、利得をさらに減少させるために、ステップ２１７の処理が続けられる。
【００５０】
ステップ２２１において記録が終了する場合には、ステップ２２７において処理が続けられ、イメージカウンタｎの現在の値がｎｅｎｄとして保存される。その後、蛍光フィルタ８３がビーム経路から取り外され、ステップ２２９において熱保護フィルタ８５がビーム経路に挿入される。その後、ステップ２３１において、増幅器１１３の利得とアナログ・デジタル変換器１１５の利得とが、カメラの通常動作のモードで用いられるような正常値に設定される。
【００５１】
蛍光画像を再生するための処理手順を、図４に示すフローチャートを参照しながら説明する。
【００５２】
再生開始後、記憶媒体１２３に保存された画像は、ＬＣＤディスプレイ６９及び頭部装着型ディスプレイ４９、又は、コントローラ３５に接続されたモニタ５０上に表示される。このために、ステップ２５１において、記録の開始及び終了を表わす値ｎｓｔａｒｔ及びｎｅｎｄが、メモリから取り出される。その後、ステップ２５３において、イメージカウンタｎが開始値ｎｓｔａｒｔに設定される。イメージカウンタｎに対応する画像Ｂ（ｎ）が、ステップ２５５において記憶媒体１２３から取り出され、ステップ２５７において各種ディスプレイに表示される。イメージカウンタは、ステップ２５９において増加される。イメージカウンタが、ステップ２６１の決定において値ｎｅｎｄに達しなかった場合には、記憶媒体からさらに画像を取り出し、これらの画像を表示するために、ステップ２５５において処理が続けられる。全ての画像が表示されたことがステップ２６１において決定された場合には、ユーザが処理を終了したか否かがステップ２６３において決定される。そうでなかった場合には、一連の画像を再度再生するために、ステップ２５３の処理が続けられる。
【００５３】
上述したように、最大画像強度が閾値を超えるとすぐに、利得を減少させることが可能である。その一方で、画像内の最大輝度値がさらなる閾値を下回るとすぐに、利得を再度増加させることも可能である。これにより、蛍光が減少するときにも、有効なダイナミックレンジを用いて画像を記録し続けることが可能となる。
【００５４】
いかなるデータ形式を用いても、画像を記憶媒体に保存することができる。特に、圧縮データ形式で画像を保存することが可能であり、この場合には、保存されるデータの量を減らすために、いかなる適切なデータ圧縮方式をも用いることができる。例えば、ビデオ画像を圧縮するためには、画像の一部だけが完全な画像として保存され、残りの画像が、保存されたデータから再計算されることが可能なように、他の値、予測値及び動画ベクトルとして保存されるＭＰＥＧ方式が用いられる。画像データの圧縮により、画質のある一定の低下が生じるかもしれないが、このような画質の低下は、例示された顕微鏡検査システムの性能や実施方法の著しい劣化につながらないことは明らかである。
【００５５】
さらに、画像の検出時における利得、もしくは、増幅器１１３及び／又はアナログ・デジタル変換器１１５の利得を表わす値を、画像データと共に記憶媒体に保存することも可能である。そして、再生時において、画像を記録するために用いられる利得を計算することも可能である。例えば、比較的高い利得で記録された画像は、比較的低い利得で記録された画像に比べて輝度が低い。また、ユーザは、時間と共に増加する蛍光強度をより良く知覚することができる。特に、ユーザは、２つの再生モードを切り替えることができる。第１の再生モードにおいては、画像を記録する際の利得を計算しながら画像が再生され、一方、第２の再生モードにおいては、このような適応（adaptation）はなされず、ほぼ記録された通りに画像が再生される。
【００５６】
実施の形態によれば、イメージセンサ及びイメージセンサに関係する回路は、一連の蛍光画像を記録するために用いられる。イメージセンサは、入射された放射によって生じた電荷を蓄積するための複数の画素を有し、前記回路は、画素に蓄積された電荷を二進数に変換する。回路の利得は調整可能である。利得は、記録工程の開始時において、適切な最大値に設定される。記録工程において、記録された画像の１つ以上の輝度値が、適切に選択された最大輝度値を超えることが決定された場合には、利得は減少される。
【００５７】
本発明についてその例示的な実施の形態を参照して説明してきたが、多くの代替、修正及び変形が当業者にとって自明であることは明らかである。従って、本明細書において述べた本発明の例示的な実施の形態は、説明のためのものであり、いかなる点においても本発明を限定するものではない。特許請求の範囲によって定められる本発明の精神及び範囲から逸脱することなく、様々な変更を加えることができる。
【図面の簡単な説明】
【００５８】
【図１】図１は、本発明の一実施の形態による顕微鏡検査システムにおけるビーム経路を示す概略図である。
【図２】図２は、図１に示す顕微鏡検査システムにおいて用いることが可能なイメージセンサ及び対応する回路構成を示す機能図である。
【図３】図３は、本発明の一実施の形態による画像記録方法を示すフローチャートである。
【図４】図４は、画像表示方法を示すフローチャートである。
【技術分野】
【０００１】
本発明は、顕微鏡検査システム及び蛍光を可視化するための記録方法に関する。
【背景技術】
【０００２】
蛍光マーカーは、特定の組織の特徴、組織の種類、組織の構造及び組織の機能を可視化する等、様々な目的のために、医療及び生物学における応用に用いられている。ここで、蛍光マーカー又はそのような蛍光マーカーの原型となる物は、検査又は治療がなされている組織標本もしくは患者にアプライされる。蛍光マーカーは、組織標本又は患者の特定の組織の種類又は組織の構造内に蓄積され、その組織の構造及び組織の種類は、蛍光を励起するための光を組織標本に照射し、対応する蛍光を観察することにより、観察者によって知覚され、その位置が特定され得る。時として強度が低く、観測者の目に見える蛍光を得るために、様々な光学器具が用いられる。従来の顕微鏡検査システム及び記録方法は、特許文献１により既知であり、これらの全開示を参照により本明細書に援用する。この従来の顕微鏡検査システムを用いれば、蛍光マーカー又はその原型となる物を標本にアプライし、その後、対応する蛍光を観察して対応する画像を記録し、これらの画像をアーカイブしてフィルムとして再生することが可能である。
【特許文献１】米国特許出願公開第２００４／０１０９２３１号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００３】
この従来のシステムにおいては、輝度やコントラストが低いなど、記録された画像の質が低かったり、記録された画像において重要度の高い蛍光が見られなかったりすることがある。その場合、より高い濃度の蛍光マーカーを用いたり、所望の結果を得るために他のパラメータを変更して、検出工程を繰り返す必要がある。
【０００４】
本発明は、上記課題を考慮してなされたものである。
【０００５】
本発明の実施の形態は、発生している蛍光をより見やすく表示することが可能な、顕微鏡検査システム及び蛍光を可視化するための記録方法を提供する。
【課題を解決するための手段】
【０００６】
本発明の実施の形態は、イメージセンサと、前記イメージセンサに接続された回路とを用いている。前記イメージセンサは、入射された放射によって生じる電荷を蓄積するための複数の画素を備え、前記回路は、調整可能な利得を用いて、前記画素に蓄積された電荷を二進数に変換する。記録シーケンスが開始されるとき、利得は適切な最大値に設定される。記録シーケンスの間、記録された画像の１つ以上の強度値が、適切に選択された輝度値を超えることが決定された場合には、利得は減少するであろう。
【０００７】
記録開始時に利得を最大値に設定することにより、弱い蛍光によっても重要な画像信号が得られることが確実となる。蛍光マーカー又はその原型となる物をアプライした後、蛍光画像の画像輝度は連続的に増加するであろう。その場合、初めに利得が高い値に設定されていたため、幾つかの輝度値が、最大輝度値を超える、もしくは、さらに大きな輝度値や桁外れな値を取る可能性がある。これを避けるため、画像が適切なコントラストを有し、画像内において、最大値を超える輝度値又はオーバーフロー値を取る領域が、小さいままであるように、利得の値を連続的に減少させる。検出可能な蛍光強度が低い、蛍光の開始時において、すでに高いコントラストを有する画像を記録し、かつ、蛍光強度が連続的に増加するときにも、十分な画像を記録し続けることが可能である。
【０００８】
本発明の一実施の形態は、カメラシステムを用いて一連の蛍光画像を記録する方法であって、前記カメラシステムが、入射された放射によって生じる電荷を蓄積するための複数の画素を有するイメージセンサと、画素の群に蓄積された電荷量を二進数に変換するための回路であって、それぞれの二進数が、電荷量の範囲内の電荷量を表わすように、前記変換の利得が調整可能であり、電荷量の範囲内の電荷が、少なくとも１つの利得に応じた電荷量の限界もしくはそれ未満である回路とを備え、前記電荷量の限界が、少ない第１の電荷量となるように、少なくとも１つの利得を設定する工程を含み、さらに、前記イメージセンサによって検出された画像を表わす二進数を前記回路から受け取る工程と、前記検出された画像を表わす少なくとも１つの二進数が、最大値よりも大きい電荷量を表わす場合において、前記電荷量の限界が、前記少なくとも１つの利得の先の調整における限度よりも大きくなるように、前記少なくとも１つの利得を再度調整する工程とを繰り返し行う蛍光画像の記録方法を提供する。
【０００９】
一般的に、二進数は、イメージセンサのそれぞれの画素に関連する、検出強度値を表わす。このような二進数から生じた表示画像において、高い放射量（radiation dose）を受けるイメージセンサの画素領域に対応するこれらの領域は明るく見え、一方、低い放射量を受けるイメージセンサの画素領域は、前記対応する画像において、暗い領域に見える。しかし、二進数が、異なる符号化スキームによって、画素内に発生した電荷量を表わすことも可能である。例えば、高い放射量を受ける画素領域が、表示画像の対応する領域において、暗い領域に見え、一方、明るく見える表示画像の領域が、低い放射量を受けるイメージセンサの画素領域に対応するように、二進数が反転した輝度を表わすことも可能である。
【００１０】
前記回路は、電荷量の範囲がそれぞれの二進数と関連するように、画素の群に蓄積された電荷量を複数の二進数に変換する。この場合、互いに異なる二進数に対応する電荷量の範囲は、殆ど重ならない。電荷量の範囲内の電荷量は、電荷量の限界未満である。画素の群に蓄積され、電荷量の限界よりも大きい電荷量は、オーバーフローを表わす特定の二進数に変換することが可能である。例えば、電荷量は、０から２５４の８ビットの二進数に変換することが可能であり、二進数２５５は、電荷量の限界、もしくは、電荷量の限界よりも大きいオーバーフローを表わすことができる。
【００１１】
電荷量の限界は、調整可能な利得によって決定される。
【００１２】
イメージセンサは、画素に蓄積された電荷が行方向に移動するＣＣＤセンサであって、それぞれの列の電荷量が順次電圧に変換され、前記電圧が増幅され、前記増幅された電圧が、アナログ・デジタル変換器（ＡＤＣ）を用いて二進数に変換されるＣＣＤセンサであることが可能である。前記電圧の増幅は、調整可能な利得を有する電圧増幅器によって行われる。同様に、アナログ・デジタル変換器の利得も調整可能である。
【００１３】
イメージセンサは、それぞれの画素に蓄積された電荷量の変換が、前記画素の位置において行われるＣＭＯＳセンサであって、前記画素に対応する電圧値が、前記画素の行と列とをアドレス指定することによって読み出され得るＣＭＯＳセンサからなっていてもよい。ここで、電荷量の変換の利得を電圧に調整することも可能であり、前記電圧の増幅の利得及び増幅された電圧の変換の利得を二進数に変換することも可能である。
【００１４】
本発明の一実施の形態によれば、イメージセンサによって検出された画像を表わす、受け取られた二進数は、記録媒体に記録され得る。
【００１５】
本発明の例示的な一実施の形態によれば、記録媒体における記録は、開始時間よりも前に検出された複数の画像が記録されないように、開始時間後にのみ行われる。
【００１６】
他の一実施の形態によれば、検出された全ての画像を記録媒体に記録し、マーカーを記録媒体に付加的に保存することが可能であり、前記マーカーは、開始時間近くに記録された記録画像を示す。
【００１７】
前記開始時間は、複数の方法により決定される。
【００１８】
一実施の形態によれば、前記開始時間は、検出された画像のコントラストに基づいて決定される。記録の開始において、まだ蛍光マーカーが決められた標本に蓄積されていないとき、記録された蛍光画像のコントラストは、小さいかもしくは存在しないであろう。標本内の蛍光マーカーの蓄積が増加するにしたがって、前記画像のコントラストは、増加し、低い方の閾値を超えるであろう。その場合、低い方の閾値を超える時間を開始時間とすることができる。
【００１９】
蓄積された電荷量が二進数に変換される画素の群は、１つの単一画素からなっていてもよい。その一方で、前記画素の群は、複数の画素からなることも可能である。
【００２０】
一実施の形態によれば、イメージセンサは、例えば、４つの隣り合う画素の蓄積された電荷を、前記センサを読み出す際に集約するＣＣＤセンサからなっていてもよい。この場合、前記集約された電荷が前記二進数に変換される。
【００２１】
さらなる一実施の形態によれば、１つ以上の画素の電荷量を表わす複数の二進数が平均化されてもよい。これにより、このように前記変換の中間結果を表わす複数の二進数が集約され、最終的な二進数となる。その結果、イメージセンサの画素解像度との比較において、解像度が減少してはいるが、画像ノイズが軽減された、表示可能な画像が、データの減少によって実現される。
【００２２】
前記蛍光マーカーは、いかなる適切な蛍光マーカーもしくはその原型となる物であってもよい。例えば、励起波長が約７００ｎｍから約８００ｎｍの範囲にあり、蛍光波長が約８００ｎｍから約９００ｎｍの範囲にあるインドシアニングリーン（ＩＣＧ）が挙げられる。さらに、蛍光マーカーの原型となる物として、励起波長が約４００ｎｍから約４３０ｎｍの範囲にあり、蛍光波長が約６３０ｎｍから約７２０ｎｍの範囲にある蛍光マーカーとなる５−アミノレブリン酸（５−ＡＬＡ）も挙げられる。
【発明を実施するための最良の形態】
【００２３】
以下に述べる例示的な実施の形態において、同様の機能及び構造を有する構成要素については、可能な限り同様の参照符号を付している。従って、或る特定の実施の形態における個々の構成要件の特徴を理解するにあたり、他の実施の形態や課題を解決するための手段における記載を参照されたい。
【００２４】
図１は、光軸７を有する対物レンズ５を含む顕微鏡検査光学系３を備えた顕微鏡検査システム１を概略的に示している。検査される物体９は、対物レンズ５の物体平面内に配置される。物体９から発せられる光は、対物レンズ５によって平行ビーム１１となるように変形され、その中に２つのズーム系１２、１３が光軸７から或る距離を置いて配置される。ズーム系１２、１３は、平行ビーム１１の部分ビーム１４、１５を用い、当該部分ビーム１４、１５を、顕微鏡検査システム１の筒の本体の偏向プリズム（図１においては図示せず）を通して、接眼レンズ１６、１７に供給する。ユーザは、左目１８と右目１９でそれぞれ接眼レンズ１６、１７を覗き込むと、画像として物体９の拡大された表示を知覚するであろう。ユーザが両目１８、１９で物体９の立体画像を知覚するように、左目１８で知覚される画像は、光軸７に対して角度(で物体を見たときの画像に対応し、右目１９で知覚される画像は、光軸７に対して角度−(で物体９を見たときの画像に対応している。
【００２５】
ビーム２３として光の一部を分枝するために、半透明ミラー２１が部分ビーム１５内に配置されている。ビーム２３は、さらなるビームスプリッタ２５によって分割され、ビーム２７、２９となる。ビーム２７は、カメラ３２が光軸７に対して観測角−(で物体９の画像を検出するように、カメラアダプタ光学素子３１を通してカメラ３２の光検出素子に供給される。カメラ３２によって検出された画像は、画像データとして、データライン３３を通ってコントローラ３５に伝送される。
【００２６】
ビーム３９は、半透明ミラー３７によって部分ビーム１４から分枝される。ビーム３９は、カメラ４３が光軸７に対して観測角(で物体９の画像を検出するように、カメラアダプタ光学素子４１を通して、さらなるカメラ４３の光検出素子に供給される。カメラ４３によって検出された画像は、画像データとして、データライン４５を通ってコントローラ３５に供給される。頭部装着型ディスプレイ４９に一体化され、かつ、図１において参照符号５１、５２として概略的に示されるディスプレイが、ユーザの左目及び右目で知覚されたであろうそれぞれの画像を供給するように、コントローラ３５は、カメラ３２、４３によって画像データとして検出された画像を、ライン４７を通して、顕微鏡検査システム１のユーザの頭部に着けて持ち運ばれる頭部装着型ディスプレイ４９に伝送する。
【００２７】
従って、ユーザは、接眼レンズ１６、１７を直接覗き込む位置にいない場合においても、頭部装着型ディスプレイ４９を用いて、物体９の可視光画像の表示を観察することにより、物体９の立体表示を知覚するであろう。
【００２８】
ビーム２９は、カメラ５５が物体の赤外線画像を検出できるように、カメラアダプタ光学素子５３を通して、カメラ５５の光検出素子に供給される。フィルタ５７が、ビーム２９内に配置される。フィルタ５７の透過特性は、特定の用途において用いられる蛍光マーカーの蛍光波長に合わせられる。示された例において、蛍光マーカーは、約８３５ｎｍの蛍光発光を有するＩＣＧである。フィルタ５７の透過特性は、８１０ｎｍよりも大きい波長を有する光のみが透過され、８１０ｎｍ未満の波長の光は透過されないように設計されている。従って、カメラ５５は、以下にさらに示されるように、顕微鏡検査システム１の照射系６３によって物体の蛍光が励起された場合に、物体９の蛍光物質の分布を表わす物体９の画像を検出する。
【００２９】
カメラ５５によって検出された画像は、データライン６５を通ってコントローラ３５に伝送される。コントローラ３５は、画像データとして、カメラ５５によって検出された画像を、データライン６７を通してＬＣＤディスプレイ６９に伝送する。ＬＣＤディスプレイ６９は、画像データを、平行光学系７０及び半透明ミラー６８によって部分ビーム１５と重ね合わせられた画像として表示する。ＬＣＤディスプレイ６９の画像は、物体９の直接的な光学像と重ね合わせられた形で、ユーザの目１９によって知覚されるであろう。ＬＣＤディスプレイ６９は、カメラ５５によって検出された赤外線光強度の分布を、緑色などの可視色で表示する。赤外線画像を表示するためには、緑色を用いるのが好ましい。何故なら、物体９を形成する人体組織には、通常、比較的少量ではあるが緑色が含まれるからである。
【００３０】
カメラ５５によって検出され、かつ、カメラ３２によって検出された可視光画像と重ね合わせられた赤外線光画像が、ディスプレイ５１に表示されるように、コントローラ３５は、頭部装着型ディスプレイ４９のディスプレイ５１に伝送された画像データのデータ処理を行う。従って、頭部に頭部装着型ディスプレイ４９を装着しているユーザも、物体の可視光画像と赤外線光画像とが重ね合わせられた表示を、その右目で知覚するであろう。
【００３１】
参照簡便と明瞭性のために図１には図示していないが、さらなるビームが、左目１８に供給される部分ビーム１４から分枝されていてもよい。このようなさらなるビームは、部分ビーム１５、ＬＣＤディスプレイ６９、平行光学系７０及び半透明ミラー６８について上述したように、可視光の部分ビーム１４と重ね合わせられた画像を生じさせるために、さらなる赤外線カメラに供給されてもよい。そして、ユーザは、物体９の立体的な赤外線光画像を知覚するであろう。このような付加的なカメラによって生じた画像データは、頭部装着型ディスプレイ４９が物体９内の蛍光物質の分布を表わす立体表示も供給するように、頭部装着型ディスプレイ４９のディスプレイ５２にも供給される。
【００３２】
１つもしくは複数のレンズ７５を通り、光源から放射された光を光ファイバーバンドル７７内に結合させるための、光ファイバーバンドル７７の入射端７６に向けられた平行光ビーム７４を発生させるために、照射系６３は、光源としてのハロゲンランプ７１と、リフレクタ７２と、コリメータ７３とを備えている。前記光は、光ファイバーバンドル７７によって対物レンズ５の近くまで運ばれ、光ファイバーバンドル７７の出射端７８から出射する。物体９に向けられる照射光ビーム８１を形成するために、出射している光を整形するための平行光学系７９が設けられている。本実施の形態は、光源としてハロゲンランプを使用するものに限定されるものではない。キセノンランプなどの他の光源を使用してもよい。
【００３３】
照射系６３は、互いに隣接して配置された２つのフィルタ８４、８５を有するフィルタプレート８３をさらに備えている。フィルタ８４がフィルタプレート８３の第１の位置においてビーム７４内に配置され、かつ、フィルタ８５がフィルタプレート８３の第２の位置においてビーム７４内に配置されるように、コントローラ３５によって制御されるアクチュエータ８７が、図１における両矢印８８によって示される方向にフィルタプレート８３を移動させるために設けられている。
【００３４】
フィルタ８４の透過特性は、フィルタ８４が可視光及び約８００ｎｍを上限値とする波長の光をほぼ完全に透過させ、その上限値を超える波長の光を殆ど透過させないように設計されている。フィルタ８４は、検査されている物体９の領域における蛍光物質の蛍光を観察する用途のために、ビーム７４内に位置している。接眼レンズ１６、１７を覗き込み、カメラ３２、４３によって検出された画像を観察することにより、物体９の可視光画像を知覚するために、照射光ビーム８１がカメラ５５によって検出された蛍光を励起し、かつ、可視光を物体９の領域に照射するように、上限値である８００ｎｍは、ＩＣＧの励起波長よりも大きい波長となっている。しかし、上限値８００ｎｍが蛍光マーカーの発光波長である８３５ｎｍよりも小さいのは、カメラ５５によって検出される蛍光の波長を有する光が、蛍光マーカーの蛍光のみから生じるように、蛍光の波長を有する光を物体９に照射しないようにするためである。
【００３５】
蛍光を観察することが望ましくない場合には、コントローラ３５は、アクチュエータ８７を駆動して、フィルタ８５がビーム７４内に配置されるようにフィルタプレート８３を移動させる。フィルタ８５の透過特性は、フィルタ８５が約７１０ｎｍである上限値以下の波長の可視光を殆ど透過させ、その上限値を超える波長の光を殆ど透過させないように設計されている。フィルタ８５は、照明光ビーム８１からの放熱を取り除くための熱保護フィルタとして用いられている。さもなければ、物体９を不必要に加熱してしまうことになるからである。ＩＣＧの励起スペクトルも７１０ｎｍ未満の波長まで増加したとしても、フランク（flank）９３は、ＩＣＧの最大励起波長５９よりもはるかに小さい。しかし、フィルタ８５がビーム７４内に配置された場合には、物質の蛍光は殆ど励起されない。
【００３６】
図２は、カメラ５５及びコントローラ３５の機能を図示している。カメラ５５は、ＣＣＤカメラであり、行及び列に配置された複数の画素１０３を有するイメージセンサ１０１を備えている。読み出し回路１０２は、イメージセンサ１０１を制御し、イメージセンサ１０１の信号から画像を生成するために用いられている。読み出し回路１０２は、カメラ５５に配置されるであろう構成要素と、コントローラ３５に配置されるであろう構成要素とを備えている。
【００３７】
露光中、画素に電荷が蓄積される。それぞれの露光の終了時に、図２の矢印１０７によって示されるように、それぞれの画素に蓄積された電荷が、列ごとにレジスタ１０５に移動させられる。一列の電荷がレジスタ１０５に移動するや否や、図２の矢印１１１によって示されるように、それぞれの電荷が、電荷・電圧変換ユニット１０９へ連続的に移動させられる。電荷・電圧変換ユニット１０９は、それぞれの電荷を、可変利得を有する増幅器１１３によって増幅された対応する電圧に変換し、前記電圧は、可変利得を有するアナログ・デジタル変換器１１５に供給される。アナログ・デジタル変換器１１５は、前記電圧を二進数（binary values）に変換する。示された例においては、０から２５４の輝度値が生じるように、前記二進数は８ビットを有している。二進数２５５は、画素内に蓄積された電荷がオーバーフローしている状態、つまり、電荷が電荷量の限界よりも大きい状態を表わしている。電荷量の限界は、増幅器１１３の利得の設定及びアナログ・デジタル変換器１１５の利得によって規定される。利得を組み合わせることにより、画素の電荷量の二進数への変換のスケールファクターが与えられる。変換の利得の合計は、画素に蓄積された電子の量を二進数（binary number）で割った値、つまり、画素の輝度値として規定され得る。
【００３８】
示された例において、前記二進数は、データライン６５を介してコントローラ３５に供給され、コントローラ３５は、例えば、中間画像データメモリ１１９に前記二進数を保存するためのフレームグラバー１１７を備えている。そして、それぞれのデータ値が、中間画像データメモリ１１９の４つの対応する画像輝度値を平均することによって得られる画像輝度値を表わす画像データで、画像データメモリ１２１を満たすことにより、画像のデータ量を減らすために、コントローラ３５のプロセッサが第１の画像処理を行う。他の例では、画像データメモリ１２１において１つのデータ値を得るために、９、１６又はそれ以上の中間画像データメモリ１１９の画像輝度値を平均することにより、データがより大幅に減少してもよい。データの減少により、細かい点や画像ノイズが次の計算に影響を与えないようにもなる。
【００３９】
画像データメモリ１２１からの画像データは、ハードディスク１２３などの記憶媒体に、次々と、つまり画像ごとに書き込まれる。コントローラ３５のプロセッサ上で動くソフトウェアの一部として実装されていてもよい画像分析モジュール１２５は、画像データメモリ１２１に保存された輝度値の輝度分析を行う。輝度値のうちの１つが、示された例において２５０以下から選択される最大値を超えた場合には、さらに輝度の高い次の画像が、画像の２進法表示（binary representation）の有効なダイナミックレンジを超える可能性があることを示唆する。その場合、画像分析モジュール１２５は、制御ライン６６を通して、増幅器１１３及びアナログ・デジタル変換器１１５の１つ又は両方の利得の設定を減少させるであろう。例えば、前記利得は、現在の利得の９５％の値に設定される。
【００４０】
処理の開始時には、利得は所定の最大値に設定されているため、画像内の弱い蛍光が、確実に二進符号化（binary coding）の有効なダイナミックレンジをすでに最大限利用していることになる。そして、その後は、蛍光画像の強度を増加させながら前記利得を減少させているため、幾つかの、又はそれ以上の画素におけるオーバーフローは、可能な限り避けられるであろう。
【００４１】
ここで、一般的に、蛍光放射は、簡単には検出されない低い強度を有することも想定される。このため、処理の開始時において、検出される蛍光強度の減少は可能な限り避けられる。光学系内に最終的に存在する開口は、可能な限り取り除かれるか又は開かれる。さらに、カメラ５５の露光時間は、所定の値、特に、カメラにとって有効な最大値に調整される。
【００４２】
一連の蛍光画像の記録方法の一実施の形態を、図３を参照しながら説明する。図３に示された処理手順は、例えば、図１に示されたボタン９７を押すことによって開始され得る。その後、ステップ２０１において、コントローラ３５がフィルタプレート８３をビーム経路内へ動かす。ステップ２０３において、増幅器１１３及びアナログ・デジタル変換器１１５の利得が、それぞれの最大値に設定される。ステップ２０５においてイメージカウンタｎが０に設定され、ステップ２０７において、１つの画像の二進数又は輝度値が、ライン６５を通してカメラから供給され、画像データメモリ１２１に保存される。
【００４３】
その後、ステップ２０９においてイメージカウンタを増加させ、次の画像をステップ２１１においてカメラから受け取り、ステップ２１１において、ハードディスク１２３に保存され、ＬＣＤディスプレイ６９及びディスプレイ５１、５２に表示される。ステップ２１３においては、画像内に蛍光が検出可能であるか否かが決定される。これは、現在記録されている画像のコントラストと、先に記録された画像のコントラストとを比較することによって行われる。コントラストの増加が検出された場合には、蛍光の開始が想定される。コントラストの増加が検出されない場合には、ステップ２０９から処理が続けられ、画像が繰り返し記録される。
【００４４】
画像におけるコントラストは、この画像における最大輝度値から最小輝度値を減算することによって決定され得る。最大輝度値と最小輝度値との差が、コントラストを表わしている。
【００４５】
ステップ２１３において所定の閾値よりも大きいコントラストの変化が検出された場合には、蛍光が開始されることになり、イメージカウンタｎの現在の値がｎｓｔａｒｔとして保存されるステップ２１５において、処理が続けられる。
【００４６】
その後、ステップ２１７においてイメージカウンタｎを増加させ、ステップ２１９において、次の画像を受け取り、表示及び記録をする。ステップ２２１において、処理を終了させるべきか否かが決定される。３００秒などの最大継続時間が超過したか否かを決定することがそのような終了に含まれる。もしくは、ボタン９７などのユーザインターフェース素子の状態が決定され、これにより、ユーザにさらなる画像の記録を終了させる。
【００４７】
さらに、ステップ２２１において画像分析を行うことにより、記録の終了を決定することも可能である。前記画像分析は、例えば、蛍光が退色するか否かを決定し、それは、画像の最大輝度値が、適切に設定された閾値よりも小さいか否かを決定することによって行うことができる。
【００４８】
一連の画像における蛍光強度の増加のみを記録したい場合には、蛍光の終了は、次の画像の輝度を比較することによって決定されてもよい。輝度の増加がこれ以上決定されないのであれば、コントローラ３５は、ステップ２２１においてさらなる画像の記録を終了させてもよいし、ステップ２２７において処理を継続させてもよい。
【００４９】
処理が終了しない場合には、ステップ２２３において、画像の輝度値が閾値より大きいか否かが決定される。図２を参照して上述したように、８ビットで表わされる最も大きい数が２５５であることを考慮し、閾値として２５０が選択される。ステップ２２３における決定により、最大輝度に達していないと結論づけられた場合には、ステップ２１７において、さらなる画像の記録、表示及び保存のための処理が続けられる。最大輝度に達した場合には、ステップ２２５の処理が続けられ、増幅器１１３の利得及び／又はアナログ・デジタル変換器１１５の利得が例えば５％低減される。その後、必要であれば、さらなる画像を記録、表示及び保存し、利得をさらに減少させるために、ステップ２１７の処理が続けられる。
【００５０】
ステップ２２１において記録が終了する場合には、ステップ２２７において処理が続けられ、イメージカウンタｎの現在の値がｎｅｎｄとして保存される。その後、蛍光フィルタ８３がビーム経路から取り外され、ステップ２２９において熱保護フィルタ８５がビーム経路に挿入される。その後、ステップ２３１において、増幅器１１３の利得とアナログ・デジタル変換器１１５の利得とが、カメラの通常動作のモードで用いられるような正常値に設定される。
【００５１】
蛍光画像を再生するための処理手順を、図４に示すフローチャートを参照しながら説明する。
【００５２】
再生開始後、記憶媒体１２３に保存された画像は、ＬＣＤディスプレイ６９及び頭部装着型ディスプレイ４９、又は、コントローラ３５に接続されたモニタ５０上に表示される。このために、ステップ２５１において、記録の開始及び終了を表わす値ｎｓｔａｒｔ及びｎｅｎｄが、メモリから取り出される。その後、ステップ２５３において、イメージカウンタｎが開始値ｎｓｔａｒｔに設定される。イメージカウンタｎに対応する画像Ｂ（ｎ）が、ステップ２５５において記憶媒体１２３から取り出され、ステップ２５７において各種ディスプレイに表示される。イメージカウンタは、ステップ２５９において増加される。イメージカウンタが、ステップ２６１の決定において値ｎｅｎｄに達しなかった場合には、記憶媒体からさらに画像を取り出し、これらの画像を表示するために、ステップ２５５において処理が続けられる。全ての画像が表示されたことがステップ２６１において決定された場合には、ユーザが処理を終了したか否かがステップ２６３において決定される。そうでなかった場合には、一連の画像を再度再生するために、ステップ２５３の処理が続けられる。
【００５３】
上述したように、最大画像強度が閾値を超えるとすぐに、利得を減少させることが可能である。その一方で、画像内の最大輝度値がさらなる閾値を下回るとすぐに、利得を再度増加させることも可能である。これにより、蛍光が減少するときにも、有効なダイナミックレンジを用いて画像を記録し続けることが可能となる。
【００５４】
いかなるデータ形式を用いても、画像を記憶媒体に保存することができる。特に、圧縮データ形式で画像を保存することが可能であり、この場合には、保存されるデータの量を減らすために、いかなる適切なデータ圧縮方式をも用いることができる。例えば、ビデオ画像を圧縮するためには、画像の一部だけが完全な画像として保存され、残りの画像が、保存されたデータから再計算されることが可能なように、他の値、予測値及び動画ベクトルとして保存されるＭＰＥＧ方式が用いられる。画像データの圧縮により、画質のある一定の低下が生じるかもしれないが、このような画質の低下は、例示された顕微鏡検査システムの性能や実施方法の著しい劣化につながらないことは明らかである。
【００５５】
さらに、画像の検出時における利得、もしくは、増幅器１１３及び／又はアナログ・デジタル変換器１１５の利得を表わす値を、画像データと共に記憶媒体に保存することも可能である。そして、再生時において、画像を記録するために用いられる利得を計算することも可能である。例えば、比較的高い利得で記録された画像は、比較的低い利得で記録された画像に比べて輝度が低い。また、ユーザは、時間と共に増加する蛍光強度をより良く知覚することができる。特に、ユーザは、２つの再生モードを切り替えることができる。第１の再生モードにおいては、画像を記録する際の利得を計算しながら画像が再生され、一方、第２の再生モードにおいては、このような適応（adaptation）はなされず、ほぼ記録された通りに画像が再生される。
【００５６】
実施の形態によれば、イメージセンサ及びイメージセンサに関係する回路は、一連の蛍光画像を記録するために用いられる。イメージセンサは、入射された放射によって生じた電荷を蓄積するための複数の画素を有し、前記回路は、画素に蓄積された電荷を二進数に変換する。回路の利得は調整可能である。利得は、記録工程の開始時において、適切な最大値に設定される。記録工程において、記録された画像の１つ以上の輝度値が、適切に選択された最大輝度値を超えることが決定された場合には、利得は減少される。
【００５７】
本発明についてその例示的な実施の形態を参照して説明してきたが、多くの代替、修正及び変形が当業者にとって自明であることは明らかである。従って、本明細書において述べた本発明の例示的な実施の形態は、説明のためのものであり、いかなる点においても本発明を限定するものではない。特許請求の範囲によって定められる本発明の精神及び範囲から逸脱することなく、様々な変更を加えることができる。
【図面の簡単な説明】
【００５８】
【図１】図１は、本発明の一実施の形態による顕微鏡検査システムにおけるビーム経路を示す概略図である。
【図２】図２は、図１に示す顕微鏡検査システムにおいて用いることが可能なイメージセンサ及び対応する回路構成を示す機能図である。
【図３】図３は、本発明の一実施の形態による画像記録方法を示すフローチャートである。
【図４】図４は、画像表示方法を示すフローチャートである。
【特許請求の範囲】
【請求項１】
蛍光を可視化する顕微鏡検査システムであって、
入射された放射によって生じる電荷を蓄積するための複数の画素を有するイメージセンサと、
前記イメージセンサの前記画素上に物体領域を結像するための第１のビーム経路を有する顕微鏡検査光学系と、
画素の群に蓄積された電荷量を二進数に変換するための回路であって、それぞれの二進数が、少なくとも１つの利得に応じた電荷量の限界未満である電荷量の範囲内にある電荷量を表わすように、前記変換の前記少なくとも１つの利得が調整可能である回路と、
前記電荷量の限界が、少ない第１の電荷量となるように、少なくとも１つの利得を調整する工程を含み、さらに、前記イメージセンサによって検出された画像を表わす二進数を前記回路から繰り返し受け取る工程と、前記検出された画像を表わす少なくとも１つの前記二進数が、最大値よりも大きい電荷量を表わす場合において、前記電荷量の限界が、前記少なくとも１つの利得の先の調整における限界よりも大きくなるように、少なくとも１つの前記利得を調整する工程とを繰り返し行うよう構成されたコントローラとを備えたことを特徴とする顕微鏡検査システム。
【請求項２】
記録媒体をさらに備え、前記コントローラが、さらに、前記イメージセンサによって検出された前記画像を表わす前記二進数を前記記録媒体に保存するように構成された、請求項１に記載の顕微鏡検査システム。
【請求項３】
前記コントローラが、さらに、開始時間後においてのみ、前記二進数を前記記録媒体に保存するように構成された、請求項２に記載の顕微鏡検査システム。
【請求項４】
前記二進数によって表わされた前記画像を表示するためのディスプレイをさらに備えた、請求項１に記載の顕微鏡検査システム。
【請求項５】
前記顕微鏡検査光学系が、前記物体領域をユーザの目に表示するための、少なくとも１つの接眼レンズを含む第２のビーム経路を備えた、請求項１に記載の顕微鏡検査システム。
【請求項６】
前記イメージセンサが、ＣＣＤセンサ及びＣＭＯＳセンサのうちの１つを備えた、請求項１に記載の顕微鏡検査システム。
【請求項７】
前記回路がアナログ増幅器を備え、前記少なくとも１つの利得が、前記アナログ増幅器の利得である、請求項１に記載の顕微鏡検査システム。
【請求項８】
前記回路がアナログ・デジタル変換器を備え、前記少なくとも１つの利得が、前記アナログ・デジタル変換器の利得である、請求項１に記載の顕微鏡検査システム。
【請求項９】
カメラシステムを用いて一連の蛍光画像を記録する方法であって、
前記カメラシステムが、
入射された放射によって生じる電荷を蓄積するための複数の画素を有するイメージセンサと、
画素の群に蓄積された電荷量を二進数に変換するための回路であって、それぞれの二進数が、少なくとも１つの利得に応じた電荷量の限界未満である電荷量の範囲内にある電荷量を表わすように、前記変換の前記少なくとも１つの利得が調整可能である回路とを備え、
前記電荷量の限界が、少ない第１の電荷量となるように、少なくとも１つの利得を調整する工程を含み、
前記イメージセンサによって検出された画像を表わす二進数を前記回路から受け取る工程と、前記検出された画像を表わす少なくとも１つの前記二進数が、最大値よりも大きい電荷量を表わす場合において、前記電荷量の限界が、前記少なくとも１つの利得の先の調整における限界よりも大きくなるように、前記少なくとも１つの利得を再度調整する工程とを繰り返し行うことを特徴とする記録方法。
【請求項１０】
前記イメージセンサによって検出された前記画像を表わす前記二進数を受け取る工程が、前記二進数を前記記録媒体に保存する工程を含む、請求項９に記載の記録方法。
【請求項１１】
開始時間後においてのみ、前記二進数を前記記録媒体に保存する、請求項１０に記載の記録方法。
【請求項１２】
前記記録媒体から前記二進数を受け取る工程と、前記二進数によって表わされる前記画像を表示する工程とをさらに含む、請求項１０に記載の記録方法。
【請求項１３】
前記二進数を前記記録媒体に保存する工程が、前記開始時間を表わす第１のマーカーを保存する工程を含み、前記表示工程が、前記開始時間後に保存された画像に対してのみ行われる、請求項１１に記載の記録方法。
【請求項１４】
前記二進数によって表わされる前記画像のコントラストに応じて前記開始時間を決定する工程をさらに含む、請求項１１に記載の記録方法。
【請求項１５】
前記画素の群が１つの単一画素からなる、請求項９に記載の記録方法。
【請求項１６】
蛍光マーカー又は蛍光マーカーの原型となる物を物体にアプライする工程をさらに含み、前記イメージセンサに入射する放射が、前記物体から発せられる蛍光放射を含む、請求項９に記載の記録方法。
【請求項１７】
前記物体が、生物の外側にある生体外標本である、請求項１６に記載の記録方法。
【請求項１８】
前記物体が、動物又は人体の一部である、請求項１６に記載の記録方法。
【請求項１９】
前記コントローラが、請求項９に記載の記録方法を行うように構成された、請求項１に記載の顕微鏡検査システム。
【請求項１】
蛍光を可視化する顕微鏡検査システムであって、
入射された放射によって生じる電荷を蓄積するための複数の画素を有するイメージセンサと、
前記イメージセンサの前記画素上に物体領域を結像するための第１のビーム経路を有する顕微鏡検査光学系と、
画素の群に蓄積された電荷量を二進数に変換するための回路であって、それぞれの二進数が、少なくとも１つの利得に応じた電荷量の限界未満である電荷量の範囲内にある電荷量を表わすように、前記変換の前記少なくとも１つの利得が調整可能である回路と、
前記電荷量の限界が、少ない第１の電荷量となるように、少なくとも１つの利得を調整する工程を含み、さらに、前記イメージセンサによって検出された画像を表わす二進数を前記回路から繰り返し受け取る工程と、前記検出された画像を表わす少なくとも１つの前記二進数が、最大値よりも大きい電荷量を表わす場合において、前記電荷量の限界が、前記少なくとも１つの利得の先の調整における限界よりも大きくなるように、少なくとも１つの前記利得を調整する工程とを繰り返し行うよう構成されたコントローラとを備えたことを特徴とする顕微鏡検査システム。
【請求項２】
記録媒体をさらに備え、前記コントローラが、さらに、前記イメージセンサによって検出された前記画像を表わす前記二進数を前記記録媒体に保存するように構成された、請求項１に記載の顕微鏡検査システム。
【請求項３】
前記コントローラが、さらに、開始時間後においてのみ、前記二進数を前記記録媒体に保存するように構成された、請求項２に記載の顕微鏡検査システム。
【請求項４】
前記二進数によって表わされた前記画像を表示するためのディスプレイをさらに備えた、請求項１に記載の顕微鏡検査システム。
【請求項５】
前記顕微鏡検査光学系が、前記物体領域をユーザの目に表示するための、少なくとも１つの接眼レンズを含む第２のビーム経路を備えた、請求項１に記載の顕微鏡検査システム。
【請求項６】
前記イメージセンサが、ＣＣＤセンサ及びＣＭＯＳセンサのうちの１つを備えた、請求項１に記載の顕微鏡検査システム。
【請求項７】
前記回路がアナログ増幅器を備え、前記少なくとも１つの利得が、前記アナログ増幅器の利得である、請求項１に記載の顕微鏡検査システム。
【請求項８】
前記回路がアナログ・デジタル変換器を備え、前記少なくとも１つの利得が、前記アナログ・デジタル変換器の利得である、請求項１に記載の顕微鏡検査システム。
【請求項９】
カメラシステムを用いて一連の蛍光画像を記録する方法であって、
前記カメラシステムが、
入射された放射によって生じる電荷を蓄積するための複数の画素を有するイメージセンサと、
画素の群に蓄積された電荷量を二進数に変換するための回路であって、それぞれの二進数が、少なくとも１つの利得に応じた電荷量の限界未満である電荷量の範囲内にある電荷量を表わすように、前記変換の前記少なくとも１つの利得が調整可能である回路とを備え、
前記電荷量の限界が、少ない第１の電荷量となるように、少なくとも１つの利得を調整する工程を含み、
前記イメージセンサによって検出された画像を表わす二進数を前記回路から受け取る工程と、前記検出された画像を表わす少なくとも１つの前記二進数が、最大値よりも大きい電荷量を表わす場合において、前記電荷量の限界が、前記少なくとも１つの利得の先の調整における限界よりも大きくなるように、前記少なくとも１つの利得を再度調整する工程とを繰り返し行うことを特徴とする記録方法。
【請求項１０】
前記イメージセンサによって検出された前記画像を表わす前記二進数を受け取る工程が、前記二進数を前記記録媒体に保存する工程を含む、請求項９に記載の記録方法。
【請求項１１】
開始時間後においてのみ、前記二進数を前記記録媒体に保存する、請求項１０に記載の記録方法。
【請求項１２】
前記記録媒体から前記二進数を受け取る工程と、前記二進数によって表わされる前記画像を表示する工程とをさらに含む、請求項１０に記載の記録方法。
【請求項１３】
前記二進数を前記記録媒体に保存する工程が、前記開始時間を表わす第１のマーカーを保存する工程を含み、前記表示工程が、前記開始時間後に保存された画像に対してのみ行われる、請求項１１に記載の記録方法。
【請求項１４】
前記二進数によって表わされる前記画像のコントラストに応じて前記開始時間を決定する工程をさらに含む、請求項１１に記載の記録方法。
【請求項１５】
前記画素の群が１つの単一画素からなる、請求項９に記載の記録方法。
【請求項１６】
蛍光マーカー又は蛍光マーカーの原型となる物を物体にアプライする工程をさらに含み、前記イメージセンサに入射する放射が、前記物体から発せられる蛍光放射を含む、請求項９に記載の記録方法。
【請求項１７】
前記物体が、生物の外側にある生体外標本である、請求項１６に記載の記録方法。
【請求項１８】
前記物体が、動物又は人体の一部である、請求項１６に記載の記録方法。
【請求項１９】
前記コントローラが、請求項９に記載の記録方法を行うように構成された、請求項１に記載の顕微鏡検査システム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００７−１２２０４８（Ｐ２００７−１２２０４８Ａ）
【公開日】平成１９年５月１７日（２００７．５．１７）
【国際特許分類】
【外国語出願】
【出願番号】特願２００６−２７４８４６（Ｐ２００６−２７４８４６）
【出願日】平成１８年１０月６日（２００６．１０．６）
【出願人】（５０５３９８０００）カール ツァイス サージカル ゲーエムベーハー (25)
【Ｆターム（参考）】
【公開日】平成１９年５月１７日（２００７．５．１７）
【国際特許分類】
【出願番号】特願２００６−２７４８４６（Ｐ２００６−２７４８４６）
【出願日】平成１８年１０月６日（２００６．１０．６）
【出願人】（５０５３９８０００）カール ツァイス サージカル ゲーエムベーハー (25)
【Ｆターム（参考）】
[ Back to top ]