説明

撮像装置

【課題】保護部材の厚さにばらつきが存在する場合であっても、保護部材に起因する光学的な収差が適切に補正された高品質な画像を高速に取得することが可能な技術を提供する。
【解決手段】撮像装置が、結像光学系および撮像部を有する撮像ユニットと、前記撮像ユニットで試料を撮像する前に、光学的な収差又は該収差の要因となる物理量を前記試料上の複数の領域ごとに計測する計測部と、前記収差を補正するために前記結像光学系の光路中に挿入される光学素子であって、補正量の異なる複数の光学素子と、前記計測部の計測結果に基づいて前記複数の光学素子の中から光学素子を選択し、前記撮像部で前記試料を撮像する際に前記結像光学系の光路中に前記選択された光学素子を挿入する制御部と、を備える。前記結像光学系は、前記複数の領域の像を前記撮像部に同時に形成できるように構成されている。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、試料を撮像しデジタル画像を取得する撮像装置に関する。
【背景技術】
【0002】
近年、病理診断の分野において、人体の組織片等の顕微鏡像を撮像し、デジタル画像データによる蓄積、観察を可能にする撮像装置が注目を集めている。この種の撮像装置では、一般に、観察対象となる試料を透光性の保護部材(カバーグラス)で覆い固定したもの(スライドまたはプレパラートと呼ばれる)が被写体として用いられる。このような被写体を撮像する場合、試料と結像光学系とのあいだに保護部材が介在するために、その保護部材に起因する光学的な収差によって観察像が劣化する(コントラストの低下、ぼけ)ことが知られている。また、収差の原因はスライド上の保護部材にとどまらず、結像光学系が温度などの環境要因に依存して収差を変化させることも挙げられる。
【0003】
保護部材に起因する収差の影響を抑制する技術として、特許文献1(特開2011−095685号公報)には、プレスキャンで取得したフォーカス情報及び標本の構造情報に基づき球面収差補正用のレンズを移動し、球面収差を補正した上で取得した部分画像群を画像処理により合成するための構成が開示されている。また、特許文献2(特開2008−276070号公報)には、検出された試料保護部材の光学的な厚さから収差補正量を決定し、補正環機構を駆動させることで収差が補正された画像を取得するための構成が開示されている。
また、特許文献3(特開平5−196873号公報)には、ユーザが必要に応じて収差補正レンズを取り付け可能な構造をもつ対物レンズが開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2011−095685号公報
【特許文献2】特開2008−276070号公報
【特許文献3】特開平5−196873号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
一般に、試料の保護部材の厚さには予測できないばらつきが存在する。また、結像光学系の収差が温度などの環境要因に依存して変化する場合がある。そのため、スライドごとに、あるいは同じスライドであってもその面内位置によって、画質を劣化させる光学的な収差が変化する可能性がある。一方で、病院などでは前記の撮像装置を用いて大量の試料を観察し病理診断を行う必要があり、試料の画像データの取得にかかる時間の短縮は重要な課題である。しかしながら、前述した特許文献1〜3の装置では、撮像領域内の位置によって補正量が異なる場合に各位置に対して収差が補正された画像の取得を行うには非効率的である。なぜなら、撮像領域内の小領域の画像を1枚ずつ独立に収差補正を行い取得し、その後得られた画像群を合成することが不可避であり、位置によって補正量が異なる場合に処理時間の増大が避けられない。ここには、位置によって異なる収差を補正しつつ、複数の小領域を同時に撮像することによる高速化について考慮の余地がある。一方で、もし撮像領域を小領域に分割せずに1回で撮像すれば、位置によって収差補正の精度(すなわち画像の品質)がばらついてしまうことは避けられない。
【0006】
本発明は、このような従来技術の課題に鑑みてなされたものであり、保護部材の厚さ等の収差要因にばらつきが存在する場合であっても、光学的な収差が適切に補正された高品
質な画像を高速に取得することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の第一態様は、試料を撮像しデジタル画像を取得する撮像装置において、結像光学系および撮像部を有する撮像ユニットと、前記撮像ユニットで試料を撮像する前に、光学的な収差又は該収差の要因となる物理量を前記試料上の複数の領域ごとに計測する計測部と、前記収差を補正するために前記結像光学系の光路中に挿入される光学素子であって、補正量の異なる複数の光学素子と、前記計測部の計測結果に基づいて前記複数の光学素子の中から光学素子を選択し、前記撮像部で前記試料を撮像する際に前記結像光学系の光路中に前記選択された光学素子を挿入する制御部と、を備え、前記結像光学系は、前記複数の領域の像を前記撮像部に同時に形成できるように構成されている撮像装置を提供する。
【発明の効果】
【0008】
本発明によれば、保護部材の厚さ等の収差要因にばらつきが存在する場合であっても、各々の位置における光学的な収差が適切に補正された高品質な画像を高速に取得することができる。
【図面の簡単な説明】
【0009】
【図1】撮像システムの構成を示す図。
【図2】第1実施形態の処理手順を示すフローチャート。
【図3】計測データと光学素子の対応関係の一例を示す図。
【図4】瞳フィルタが与える位相分布の一例を示す図。
【図5】カバーグラスの厚さ誤差に対するコントラストの計算値の一例を示す図。
【図6】第2実施形態の処理手順を示すフローチャート。
【図7】第2実施形態の画像合成方法の一例を示す図。
【図8】第3実施形態の撮像システムの構成を示す図。
【発明を実施するための形態】
【0010】
本発明は、試料を撮像しデジタル画像を取得する撮像装置に関するものであり、特に、試料を覆う保護部材に起因する収差の補正を精度良くかつ自動で行う構成に関する。より詳しくは、本発明に係る撮像装置は、試料を撮像する前に計測部で保護部材の厚さを実際に計測し、その計測結果に基づいて、結像光学系の光路中に挿入(装着)する光学素子を自動で切り替える、という点に一つの特徴を有している。
【0011】
本発明は、撮像装置として具現化することもできるし、撮像装置とコンピュータ(さらには表示装置)を組み合わせた撮像システムとして具現化することもできる。このような撮像装置または撮像システムは、バーチャルスライド作成システムやデジタル顕微鏡などに好適に利用が可能であり、例えば病理診断等の用途に非常に有用である。
以下、添付図面を参照して、本発明の一実施形態を説明する。
【0012】
(システム構成)
図1は、本発明の実施形態に係る撮像システムの概略構成を示している。図1に示すように、本実施形態の撮像システムは、撮像装置10とコンピュータ(PC)20から構成され、PC20には表示装置21および入力装置22が接続されている。ただし図1のシステム構成は一例にすぎず、撮像装置10とPC20を一体構成にしてもよいし、また表示装置21や入力装置22を撮像装置10あるいはPC20に一体構成にしてもよい。
図1に示すように、撮像装置10は、計測ユニット100、撮像ユニット300、搬送部201、駆動部202、制御部203、画像処理部401などを備えている。
【0013】
計測ユニット100は、スライド103の保護部材の厚さを計測するための計測手段であり、計測用照明部101、計測用ステージ102、計測部104からなる。計測用照明部101は、計測用ステージ102上に設置されているスライド103に光源からの光を導く照明光学系を有する。計測用ステージ102はスライド103を保持し、計測部104に対するスライド103の位置を調整する保持手段である。なお、計測ユニット100の計測対象は保護部材の厚さに限定される必要はなく、例えば撮像ユニット300が有する収差やその変動要因である温度であってもよい。一般に、光学装置は環境温度に依存して収差が変動することが知られており、例えば特開2006−221150には熱ドリフト、すなわち温度変化に伴う焦点位置変位を補正する手段を有する光学顕微鏡装置が開示されている。
【0014】
本実施形態で用いるスライド103は、観察対象となる試料(生体の組織片など)をスライドグラス上に載置し、これを透光性の保護部材(カバーグラスなど)で覆って固定したものである。保護部材の厚さには、一般に、数μmから十数μmの程度のばらつきがある。
【0015】
計測部104は、計測用照明部101から発せられ、保護部材の上面と下面でそれぞれ反射した光を受光することにより、保護部材の上面と下面それぞれの距離を計測し、上面と下面の距離の差から保護部材の厚さを求める。計測部104の計測データは制御部203へと伝送される。保護部材の厚さばらつきを必要な精度で計測可能であれば、計測部104の具体的構成はどのようなものでもよい。例えば特開平6−011341号公報に開示があるような三角測量法を応用した光学式距離測定方法、特開2005−98833号公報に開示があるような共焦点光学系を用いてグラス境界面で反射するレーザ光の距離の差を測定する方法がある。
【0016】
搬送部201は、計測用ステージ102上のスライド103を撮像用ステージ302上へと搬送する搬送手段である。搬送部201の具体的な機構については、例えば計測用ステージ102自体が移動して撮像用ステージ302として機能する機構でもよいし、ハンド装置によりスライドを把持または吸着してステージ上に移動する機構でもよい。なお、複数のスライドの撮像を連続的に行う場合は、不図示のストッカに収容されているスライドが搬送部201によって1枚ずつ計測用ステージ102、撮像用ステージ302へと順に搬送される。
【0017】
制御部203は、計測ユニット100、搬送部201、駆動部202、撮像ユニット300、画像処理部401など、撮像装置10を構成する各ブロックを制御する回路である。また制御部203は、計測ユニット100から得られた計測データに基づいて、保護部材の厚みに応じた収差補正が行われるように駆動部202や撮像ユニット300を制御する機能も有する。制御部203の具体的な機能および動作については後ほど詳しく説明する。なお図1では、制御部203と画像処理部401とを別のブロックで示しているが、これらは別々の処理回路で構成することもできるし、一つの処理回路で構成することもできる。また、制御部203や画像処理部401の機能をPC20が担う構成でもよいし、逆にPC20の機能を制御部203や画像処理部401が担う構成でもよい。
【0018】
駆動部202は、制御部203から伝送された信号に基づき、予め複数用意されている光学素子304の中から1つを取り出し、撮像ユニット300の結像光学系306の所定の位置へ挿入する機構である。本実施形態では、収差補正量の異なる複数の光学素子304を円周上に配列したターレットにより駆動部202が構成されている。回転ターレットを用いることで光学素子304の交換を高速に行うことができ、大量の試料を観察する場合に大幅な時間短縮の効果が得られる。ただし駆動部202の構成はこれに限らず、例えばハンド装置のような機構で光学素子304を入れ替えるようにしてもよい。
【0019】
図1において、撮像ユニット300は、撮像用照明部301、撮像用ステージ302、撮像部305、結像光学系306から構成される。また結像光学系306には、必要に応じて、収差補正用の光学素子304が挿入される。
撮像用照明部301は、撮像用ステージ302上に設置されているスライド303に光源からの光を導く照明光学系を有する。光源には、例えばハロゲンランプやキセノンランプ、LED(Light Emitting Diode)を用いることができる。
【0020】
撮像用ステージ302は、スライド303を保持し、撮像部305あるいは結像光学系306に対するスライド303の相対位置を調整する保持手段である。前述のとおり、搬送部201によって、計測用ステージ102の上から撮像用ステージ302の上へとスライドの移動が行われる。なお、ある時刻に計測用ステージ102上と撮像用ステージ302上に異なるスライドが同時に設置され、保持部材の厚さ計測と撮像とが並列に行われてもよい。
【0021】
光学素子304は、結像光学系306の光路中に挿入(装着)されることにより、スライド303の透明な保護部材に起因する光学的収差を補正する補正光学素子である。光学素子304は瞳面近傍またはその共役な位置に挿入される瞳フィルタであるとよい。また光学素子304は、透過率および位相の分布が回転対称な形状を有しているとよい。回転対称であることにより光学素子の製造が容易になり、透過率および位相変調量の精度を良好にすることができる。
【0022】
光学素子304が透過光に与える位相変化φは、式(1)で表すことができる。なお、Cは照明光の波長と保護部材の屈折率および厚さから決定される定数であり、NAは結像光学系306の試料側の開口数である。rは光学素子304上の極座標の動径成分を表し、光軸が通る点と評価する点の距離を瞳の半径で除した値である。
【数1】

【0023】
または、位相変化φを式(2)で表すことができる。式(2)は式(1)の近似式である。なおC1、C2は照明光の波長と保護部材の屈折率および厚さから決定される定数であり、rは光学素子304上の極座標の動径成分を表し、光軸が通る点と評価する点の距離を瞳の半径で除した値である。
【数2】

【0024】
撮像部305は、結像光学系306を介して受光した光を光電変換し、画像データを生成、出力する。この画像データは画像処理部401に伝送される。撮像部305は例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)といった撮像素子により、受光した光学像を電気信号に変換する。
【0025】
画像処理部401は、例えばガンマ補正、ノイズ除去、圧縮等の画像処理を画像データ
に施す。また、一つのスライド303を複数の区画に分けて撮像した場合には、各区画の画像を合成する(つなぎ合わせる)処理を行う。画像処理部401はPC20内部にあってもよいし、撮像装置10内部にあってもよいし、PC20や撮像装置10から独立した専用の装置であってもよい。
【0026】
PC20は、画像処理部401から伝送された画像データを蓄積する。この画像データはPC20内部の記憶装置に蓄積してもよいし、外部のストレージ(不図示)に蓄積してもよい。なお本実施形態では制御部203が計測データに基づく光学素子304の切り替え制御を行うが、この制御をPC20が担うこともできる。その場合、計測部104の計測データはPC20に伝送、蓄積され、PC20が計測データに基づき適切な光学素子304を決定し、光学素子304を切り替えるための指示信号を制御部203に伝送する。またPC20は、入力装置22からの信号に基づき制御部203に光学素子304の選択に関する指示信号を伝送することもできる。
【0027】
(第1実施形態)
次に、図1の撮像システムにおける画像取得方法の第1実施形態について説明する。以下では、試料上の撮像領域を分割して得られる部分領域を小領域と呼ぶこととし、小領域は互いに重複してもよいし排他的な関係でもよい。この小領域の位置や大きさといった情報は、撮像前にユーザが指定してもよいし、制御部203がデータベースとして予め保持していてもよい。第1実施形態は、一つのスライドに対し一種類の光学素子304で収差補正を行う構成である。すなわち、計測ユニット100で計測したスライド上の複数の小領域の計測データに対応する光学素子304が一種類だけである場合に、本実施形態の方法が適用できる。
【0028】
図2は、第1実施形態の処理手順を示すフローチャートである。このフローチャートに沿って撮像システムの動作を説明する。
まず、制御部203が搬送部201を制御し、計測用ステージ102上にスライド103を設置する(S201)。なお、計測用ステージ102への設置については、自動でなく、ユーザ自身が行ってもよい。
【0029】
その後、計測用照明部101が計測用ステージ102上に設置されたスライド103を照明する。計測部104は、スライド103の所定の計測位置からの反射光を受光することにより保護部材の厚さを計測し、計測データを制御部203に伝送する(S202)。計測位置の情報については、ユーザが入力装置22から入力するか、予めPC20、制御部203、または計測部104に設定されているものとする。
ここで、計測ユニット100は、制御部203の指示に基づき、計測用ステージ102を移動させつつ複数回の計測を行うなどの方法により、スライド103上の複数の位置の計測を行う。また、各小領域内に複数の計測位置が含まれる場合には、制御部203内の演算部(不図示)は複数の計測位置で得られた計測データから代表値を算出し、各小領域の保護部材の厚さとして出力する。代表値としては、例えば、平均値、中央値、最大値などを用いることができる。
【0030】
制御部203は、S202で得られた小領域ごとに計測値(保護部材の厚さ)と所定の規格値とを比較する(S203)。計測値が規格値を外れた小領域が存在する場合には、制御部203は、このスライド103の撮像をキャンセルするため、搬送部201へ指示を伝送しスライド103を計測用ステージ102から搬出するとともに、エラー情報をPC20に伝送する。PC20はエラー情報をスライドの識別情報とともに格納し、エラー情報を表示装置21に出力する(S204)。
【0031】
一方、全ての小領域の計測値が規格値以内に収まっている場合には、制御部203は、
計測値(保護部材の厚さ)に基づき、複数の光学素子304のなかから適切な収差補正量の光学素子304を選択する(S205)。保護部材の厚さと光学素子との対応は、PC20によって指示された、または予め記憶された判定基準に従って、判断される。
図3は、判定基準の一例を示している。この判定基準の例では、保護部材の厚さの誤差t(=計測値−保護部材の標準の厚さ)と、光学素子の番号とが対応付けられている。図3において、Nは任意の自然数である。保護部材の厚さの誤差が−t未満またはt以上であれば、そのスライドの撮像は行われない。誤差が−t以上かつ−t未満であれば光学素子1、−t〜−tであれば光学素子2、t〜tであれば光学素子3、t〜tであれば光学素子4が用いられる。誤差が−t〜tの場合は光学素子は挿入されない。全ての小領域で同一の光学素子304が選択された場合には、以下の処理を実行する。なお、小領域ごとに選択された光学素子が異なる場合には、第2実施形態で説明する処理を行う。
【0032】
次に、制御部203は、搬送部201を制御してスライド103を計測用ステージ102から撮像用ステージ302へと搬送する(S206)。また制御部203は、駆動部202を制御してターレットを回転させ、S205で選択した光学素子304を結像光学系306に挿入する(S207)。ここでS206とS207の処理は並列に実行されることが好ましい。
【0033】
その後、撮像用照明部301が撮像用ステージ302上に設置されたスライド303を照明し、結像光学系306により拡大された試料の光学像を撮像部305が撮像する(S208)。撮像部305は画像データを画像処理部401へ伝送する。画像処理部401は必要な画像処理を画像データに施した後、その画像データをPC20へ伝送する(S209)。PC20は画像データを記憶装置に格納し、ユーザからの指示に応じて表示装置21に画像データを表示する(S210)。
【0034】
以上述べた本実施形態の構成によれば、保護部材の厚さの計測値に応じて適切な収差補正量の光学素子が用いられるため、たとえスライド間で保護部材の厚さにばらつきが存在する場合であっても、保護部材に起因する光学的な収差が適切に補正される。その結果、ボケが少なく良好なコントラストをもつ高品質な画像を取得することができる。
また、結像光学系306そのものは駆動する必要がなく、単に、結像光学系306に挿入する光学素子304を入れ替える機構だけでよいため、高精度の補正が要求される場合にも装置の大型化を避けることができるとともに、装置のコストを抑えることができる。また、保護部材の厚さ計測、適切な光学素子の選択および入れ替えなどの処理がすべて自動で行われ、ユーザの判断が不要であるため、大量のスライドの撮像をバッチ処理することが容易となる。しかも、必要な事前処理は保護部材の厚さを複数点で計測するだけで済むので、スループットの低下を招くこともない。
【0035】
(具体例)
次に、上記第1実施形態の一具体例を説明する。
撮像用照明部301の照明光の波長を550nm、結像光学系306の試料側の開口数を0.7、カバーグラスの屈折率を1.5としたときのバーチャートのコントラストのシミュレーション結果を図5に示す。ここで用いたバーチャートは、幅が0.5μm、ピッチが1.0μmで、バーの内側の透過率が0、バーの外側の透過率が1である。カバーグラスに起因する球面収差はラジアン単位で式(1)に従う。
【0036】
ここで、結像光学系306はカバーグラスの厚さ誤差が0μm、すなわち想定どおりの厚さの場合に収差がなくなるよう設計されているとする。式(1)のCは式(3)で表すことができる。式(3)では、カバーグラスの厚さ誤差をt、屈折率をn、照明光波長をλとしている。コントラストの定義は式(4)で表される。ImaxとIminはそれぞ
れバーチャートの部分の像強度の最大値と最小値を表す。
【数3】


【数4】

【0037】
本例において、球面収差を補正する光学素子304は、式(1)に−1を掛けた式で表される表面形状をもった位相板(瞳フィルタ)で実現する。図5によれば、コントラストが0.80、0.85、0.90になるカバーグラス厚さ誤差はそれぞれ9.7μm、7.6μm、4.7μmである。例えば図3において、N=3、t=9.7μm、t=7.6μm、t=4.7μmに設定することで、瞳フィルタ1〜4を選択するための判断基準が作成できる。
【0038】
そしてt〜tで区切られる各区間の中心値から瞳フィルタ1〜4の表面形状を決定する。つまり、式(3)に、t=−8.7μm(=(−t−t)/2)、λ=550nm、n=1.5を代入して係数Cを求め、この係数CとNA=0.7を式(1)に代入して符号を反転して得られる位相分布−φ(r)をもつ位相板が、瞳フィルタ1となる。図4に、瞳フィルタ1が与えるべき位相分布をラジアン単位で示す。同様にして、t=−6.2μmの場合の位相板を瞳フィルタ2、t=+6.2μmの場合の位相板を瞳フィルタ3、t=+8.7μmの場合の位相板を瞳フィルタ4とする。これらの瞳フィルタ1〜4はターレット上に設置される。
【0039】
カバーグラス厚さ誤差の絶対値が9.7μm以上であれば撮像は行わない。厚さ誤差が−9.7〜−7.6μmであれば瞳フィルタ1を、−7.6〜−4.7μmであれば瞳フィルタ2を、4.7〜7.6μmであれば瞳フィルタ3を、7.6〜9.7μmであれば瞳フィルタ4を用いる。−4.7〜4.7μmであれば瞳フィルタを使用せず撮像を行う。これにより、カバーグラス厚さ誤差に起因する球面収差が近似的に相殺された状態で撮像を行うことができる。例えば計測データが+8.7μmであった場合には瞳フィルタ4が撮像光学系の瞳面近傍またはその共役な位置に挿入され、その結果バーチャートのコントラストは瞳フィルタを配置しない場合の0.83から球面収差が取り除かれた0.93に向上する。
【0040】
(第2実施形態)
次に、図1の撮像システムにおける画像取得方法の第2実施形態について説明する。
上記第1実施形態は、複数点の計測結果に対応する光学素子304がすべての小領域で同一の場合であった。しかしながら、保護部材によっては、厚さが一様でなく、無視できない厚さばらつきを含む物もある。そのような保護部材で覆われた試料を第1実施形態の方法で撮像した場合、収差補正が正しく効いている領域とそうでない領域(過補正または補正不足の領域)が混在した画像が得られ、好ましくない。そこで第2実施形態では、最適な光学素子304が小領域ごとに異なる場合の処理について説明する。
【0041】
図6および図7を用いて、第2実施形態の処理手順を説明する。図6は、第2実施形態の画像取得処理のフローチャートであり、図7は、第2実施形態の画像取得処理(画像合
成処理)を説明するための図である。なお、以下の説明において、第1実施形態の処理手順と同じ内容については適宜説明を省略するものとする。
【0042】
まず、搬送部201によって、計測用ステージ102上にスライド103が設置される(S501)。その後、計測部104が、スライド103の保護部材の厚さを計測し、計測データを制御部203に伝送する(S502)。本実施形態では、図7(A)に示すように、スライド103上の撮像領域を9個の小領域1〜9に分け、それぞれの小領域について保護部材の厚さが計測される。なお図7(A)の例では、小領域内の一点(図中の+で示す位置)を計測位置としたが、計測誤差を低減するために小領域ごとに複数点の計測を行い代表値(平均値、中央値、最大値など)を計算してもよい。
【0043】
制御部203は、S502で得られた各小領域の計測値(保護部材の厚さ)を所定の規格値と比較し(S503)、いずれかの計測値が規格値を外れていた場合は、第1実施形態と同様に、このスライドの撮像をキャンセルする処理を行う(S504)。
【0044】
一方、すべての計測値が規格値以内に収まっている場合には、制御部203は、各計測値(保護部材の厚さ)に基づいて、小領域ごとに、適切な光学素子304を決定する(S505)。光学素子の選択には、第1実施形態と同様の判定基準が用いられる。図7(B)の例では、小領域1、3、4、5、9に対し光学素子1が選択され、小領域2、6、7、8に対し光学素子2が選択されている。この場合には、後の処理(S509)で光学素子1を用いて撮像領域全体を1回撮像し、光学素子2を用いて撮像領域全体を1回撮像することになる。制御部203内の演算部(不図示)は、小領域の番号と適用する光学素子の番号とを対応付けたテーブル(収差補正情報と呼ぶ)を生成し、画像処理部401に伝送する(S506)。
【0045】
制御部203は、搬送部201を制御してスライド103を計測用ステージ102から撮像用ステージ302へと搬送するとともに(S507)、1回目の撮像で用いる光学素子を結像光学系306に挿入する(S508)。1回目の撮像の際は、S507とS508の処理は並列に実行されることが好ましい。
【0046】
そして、撮像部305により試料の撮像領域全体の撮像が行われ、画像データが画像処理部401へ伝送される(S509)。その後、制御部203は、S505で選択された全ての光学素子が用いられたか否かを確認し、撮像に用いられていない光学素子がある場合は(S510)、結像光学系306内の光学素子を入れ替え(S508)、再び試料の撮像を行う(S509)。このように光学素子を替えながら同一の試料を複数回撮像することにより、収差補正量の異なる複数の画像データが取得される。図7(C)は、光学素子1を用いて撮像された画像データ1と、光学素子2を用いて撮像された画像データ2を模式的に示している。2つの画像の画角は同じであるが、収差補正量の違いにより被写体像のコントラストに違いがある。
【0047】
その後、画像処理部401は、収差補正情報を参照して、収差補正量の異なる複数の画像データを合成することによって、小領域ごとに適切な収差補正が施された合成画像データを生成する(S511)。なお、S511では、第1実施形態と同様、ガンマ補正、ノイズ除去、圧縮等の必要な画像処理も行われる。
【0048】
画像合成の具体的な方法はどのようなものでもよいが、例えば、S509で取得した複数枚の撮像領域全体の画像から部分画像を抽出してつなぎ合わせるという方法が、処理が簡単であるという点で好ましい。この方法を、図7(C)、図7(D)を用いて説明する。画像処理部401は、図7(C)で模式的に示された撮像領域全体の画像データ1、2を小領域ごとの部分画像に分割する。そして画像処理部401は、S506において生成
された収差補正情報で示された対応関係に従って、小領域ごとに画像データ1、2のいずれの部分画像を用いるかを選択する。そして、小領域ごとに選択された部分画像をつなぎ合わせて(タイリングして)1つの合成画像を生成する。図7(D)は、図7(B)の収差補正情報と図7(C)の画像データに基づいて生成された合成画像を模式的に示している。小領域1、3、4、5、9では光学素子1を用いて撮像された画像データ1の部分画像が用いられ、小領域2、6、7、8では光学素子2を用いて撮像された画像データ2の部分画像が用いられていることがわかる。
【0049】
画像処理部401によって生成された合成画像データは、PC20に伝送される。PC20は、合成画像データを記憶装置に格納し、ユーザからの指示に応じて表示装置21に表示する(S512)。
【0050】
以上述べた本実施形態の構成によれば、第1実施形態と同様、保護部材に起因する光学的な収差を適切に且つ自動で補正することができ、ボケが少なく良好なコントラストをもつ高品質な画像を取得することができる。また、結像光学系306に挿入する光学素子304を入れ替える機構だけでよいため、装置の大型化やコストの増大を抑えることができる。
加えて本実施形態では、小領域ごとの保護部材の厚さに応じて収差補正量を変えられるようにしたので、保護部材の厚さが不均一であったとしても、撮像領域の全体にわたって適切な収差補正がされた高品質な画像を取得することができる。
本実施形態では、一つの試料に対し複数回の撮像が行われるため、第1実施形態に比べれば撮像処理に要する時間が長くなる。しかし、S505の説明で述べたように、保護部材の計測結果に基づいて使用する光学素子を選択したので、撮像回数はこの選択された光学素子の数を超えることはない。なお、撮像処理時間が問題にならないのであれば、全ての種類の光学素子を用いて撮像を行い、画像合成時に必要な画像データだけを利用しても構わない。
【0051】
(第3実施形態)
次に、図8(A)に模式的に示した撮像ユニットを有する撮像システムを用いた画像取得方法を、第3実施形態として説明する。ここで、図8(A)の撮像ユニット300は図1における撮像ユニット300の代替である。また、スライド303と第1結像点と撮像部305とは、互いに光学的に共役な関係にある。なお、第1結像点以外にさらに別の中間の結像点があってもよい。図8(A)の光学系は、第1結像系307によって試料全体の拡大像(中間像)を第1結像点を含む平面上またはその近傍に形成し、前記拡大像の一部分である小領域の拡大像を、複数の第2結像系309を介して対応する複数の撮像部305上に形成する。類似した装置構成は、例えば特許第4333785号公報に見られる。特許第4333785号公報では、高解像度および高精細の画像を取得する目的で、第1の結像系によって結像された映像を複数の第2の結像系を介して撮像素子に再結像させるが、収差の補正に関しては一切考慮されていない。本実施形態では、第2実施形態と同様に撮像領域を9個の小領域に分割する。初めに、第2結像系309の視野が円形であり、なおかつこれらの視野に重複がないために、隣接する矩形領域を同時に撮像できない場合を例にとって説明する。この場合には、例えば図8(B)に示すように、第2結像系309の円形の視野領域内に撮像素子を配置すれば、隣接しない4つの小領域を同時に撮像することができる。なお、図8(A)は断面図であるため、見かけ上2つの第2結像系309しか図示されていないが、実際には前述のとおり4つの第2結像系309および対応する撮像部305が配置されている。また、第2結像系309および撮像部305の配置または分割数はこのように限定される必要はなく、任意の配置または分割数に対しても本発明の方法が適用できることは言うまでもない。
【0052】
図6および図7を用いて、第3実施形態の処理手順を説明する。図6は、第3実施形態
の画像取得処理を説明するフローチャートである。なお、以下の説明において、第2実施形態と同じ処理については説明を省略する。
【0053】
本実施形態では、第2実施形態と同一の方法によって保護部材の厚さが計測される。なお、計測対象は保護部材の厚さに限定される必要はなく、複数の第2結像系309が有する収差、または温度等の環境要因の物理量を計測してもよい。収差を直接計測する手段としては、シャックハルトマンセンサが一般的に用いられ、例えば特開2006−32692号公報に開示されている。なお、収差を直接計測した場合には、光学素子308または310によって補正可能な収差成分を抽出する必要がある。例えば、光学素子が非点収差を補正するように設計されている場合には、計測された波面収差をZernike多項式で展開することで取得されるZernike係数の第5項を算出して以降の処理に用いてもよい。一方で収差の代わりに環境または装置自体の温度を計測して用いる場合には、例えば温度センサを第1結像系307、複数の第2結像系309の各々、スライド303近傍などに設置して計測値を収集する。なお、前記物理量の時間的な変化を撮像処理とは独立に継続的に計測してもよく、結像性能に影響を及ぼす水準の変化が計測された場合には、それに伴い発生する収差を補正できる光学素子に交換する。
【0054】
計測ユニット100から出力されたすべての計測値が補正可能な規格値以内に収まっている場合には、制御部203は各計測値に基づいて、小領域ごとに適切な光学素子308または310を選択する(S505)。光学素子の選択には、第1実施形態と同様の判定基準が用いられる。温度等の環境要因の物理量を計測した場合には、計測値と収差の補正に最適な光学素子の対応関係を表すテーブルを記憶するデータベース(記憶部)を制御部203が参照し、小領域または第2結像系309ごとに光学素子310を選択する。
【0055】
第2実施形態と同様に、各小領域に対し図7(B)に示すように光学素子1または2が選択された場合を例にとると、各小領域を結像する第2結像系309に、対応する光学素子1または2を挿入した状態での撮像が必要である。このため制御部203は、複数の第2結像系309の各々に前記の選択に従い光学素子1または2を挿入する(S508)。このとき、同時に必要に応じて光学素子308を第1結像系307に挿入してもよい。例えば、計測値が全体的に正の方向に大きい場合には、全小領域の平均値または最小値などの代表値に対応する負の補正量を有する光学素子308を第1結像系307に挿入した上で、小領域ごとの微小補正に光学素子310を用いる。これにより、光学素子308を用いない場合よりも補正可能な収差の範囲を広げることが可能になり、図6のステップS503において撮像がキャンセルされる確率が低減されるため、実用上好ましい。
【0056】
次に、撮像部305によりスライド303の撮像が行われ、画像データが画像処理部401へ伝送される(S509)。その後、制御部203は、全ての小領域が撮像されたか否かを確認する(S510)。撮像されていない小領域がある場合は、撮像用ステージ302を移動する等の方法で第2結像系309の視野とスライド303の相対位置を変え、なおかつ必要に応じて光学素子を交換した上で当該小領域の撮像を行う(S509)。なお図8(C)に表すように、複数の第2結像系の視野が互いに重なりを有する等の理由により、隣接した小領域の画像を同時に取得できる場合には、全撮像領域を撮影するための撮像回数を1回で済ませることも可能である。そのような場合には、例えば9分割された小領域を前提とするならば、対応した9個の第2結像系309と9個の撮像部305から撮像ユニット300が構成される。
その後、画像処理部401は、取得した全ての小領域の画像データから合成画像データを生成する(S511)。
【0057】
以上述べた本実施形態の構成によれば、小領域ごとの保護部材の厚さに応じて小領域ごとに収差補正量を変えられるようにしたので、例えば保護部材の厚さが不均一であったと
しても、撮像領域の全体で適切な収差補正がされた高品質な画像を取得することができる。さらには、光学素子310に加え光学素子308を併用することにより、補正できる収差の範囲を拡大することを可能にしている。また、光学素子308を変えて撮像領域の全体を複数回撮像し、その後小領域ごとに最適な部分画像を選択し合成する方法と本実施形態の方法を比べると、次の2つの点で本実施形態の方が有利である。第1に、本実施形態では画像データの一部を捨てることがなく、取得する画像データが最小限で済むために、データ保持と伝送に係るコストが抑えられる点である。第2に、本実施形態では撮像回数が使用する光学素子の数ではなく1回に撮像できる小領域の比率によって決定され、収差のばらつきが大きく使用する光学素子の種類が多い場合には処理効率を比較的高くできる点である。さらに、図8(C)のように1回に撮像できる小領域の比率が100%の場合には撮像回数は1回で済むので、可能な最大の処理効率を実現できる。
【0058】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。例えば、上記実施形態では、試料の透過光を撮像する透過型の撮像ユニットを用いたが、試料の反射光を撮像する反射型の撮像ユニットを用いた撮像装置にも本発明を適用することができる。また上記実施形態では4種類の光学素子304を用いたが、用意する光学素子の数や、それぞれの光学素子の特性などは、保護部材のばらつきの大きさなどに応じて任意に設定することができる。また上記第2および第3実施形態では、3×3の9個の小領域に分割したが、分割数や各小領域のサイズなどは任意に設定することができる。
【符号の説明】
【0059】
10:撮像装置、100:計測ユニット、104:計測部、203:制御部、300:撮像ユニット、304:光学素子、305:撮像部、306:結像光学系、401:画像処理部

【特許請求の範囲】
【請求項1】
試料を撮像しデジタル画像を取得する撮像装置において、
結像光学系および撮像部を有する撮像ユニットと、
前記撮像ユニットで試料を撮像する前に、光学的な収差又は該収差の要因となる物理量を前記試料上の複数の領域ごとに計測する計測部と、
前記収差を補正するために前記結像光学系の光路中に挿入される光学素子であって、補正量の異なる複数の光学素子と、
前記計測部の計測結果に基づいて前記複数の光学素子の中から光学素子を選択し、前記撮像部で前記試料を撮像する際に前記結像光学系の光路中に前記選択された光学素子を挿入する制御部と、を備え、
前記結像光学系は、前記複数の領域の像を前記撮像部に同時に形成できるように構成されている
ことを特徴とする撮像装置。
【請求項2】
前記制御部は、前記収差を前記複数の領域ごとに補正するために、該複数の領域ごとに補正量を求める
ことを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記制御部は、前記複数の領域の位置と前記補正量とを対応付けたテーブルを作成することを特徴とする請求項2に記載の撮像装置。
【請求項4】
前記結像光学系に挿入する光学素子を替えながら、前記撮像部により前記試料を複数回撮像することで、収差の補正量が異なる複数の画像データを取得し、
前記複数の領域での計測結果に基づいて、各領域の前記収差又は前記物理量に応じた補正量となるように前記複数の画像データを合成する画像処理部を備える
ことを特徴とする請求項1〜3のいずれか1項に記載の撮像装置。
【請求項5】
前記結像光学系は、
前記試料の中間像を形成する第1結像系と、
前記複数の領域に対応して配置されており、前記中間像の像を前記撮像部に形成する複数の第2結像系と、を有し、
前記制御部は、前記撮像部で前記試料を撮像する際に前記複数の第2結像系の少なくとも1つの光路中に前記選択された光学素子を挿入する
ことを特徴とする請求項1〜4のいずれか1項に記載の撮像装置。
【請求項6】
前記制御部は、前記撮像部で前記試料を撮像する際に前記第1結像系の光路中に前記選択された光学素子を挿入する
ことを特徴とする請求項5に記載の撮像装置。
【請求項7】
前記結像光学系は、前記複数の領域に対応して配置されている複数の光学系を有し、
前記制御部は、前記撮像部で前記試料を撮像する際に前記複数の光学系の少なくとも1つの光路中に前記選択された光学素子を挿入する
ことを特徴とする請求項1〜4のいずれか1項に記載の撮像装置。
【請求項8】
前記制御部は、前記計測部が計測した収差をZernike多項式で展開することで取得されるZernike係数に基づいて、前記複数の光学素子の中から光学素子を選択する
ことを特徴とする請求項1〜7のいずれか1項に記載の撮像装置。
【請求項9】
前記物理量と前記補正量とを対応付けたテーブルが格納されている記憶部を有する
ことを特徴とする請求項1〜8のいずれか1項に記載の撮像装置。
【請求項10】
前記複数の光学素子が、回転ターレットに設けられている
ことを特徴とする請求項1〜9のいずれか1項に記載の撮像装置。
【請求項11】
前記光学素子が、前記結像光学系の瞳面近傍またはその共役な位置に挿入される
ことを特徴とする請求項1〜10のいずれか1項に記載の撮像装置。
【請求項12】
前記光学素子の位相変化φが、下記式で表されることを特徴とする請求項1〜11のいずれか1項に記載の撮像装置。
【数1】


ここで、Cは、前記撮像ユニットの照明光の波長と前記試料を覆う保護部材の屈折率および厚さから決定される定数であり、NAは前記結像光学系の試料側の開口数であり、rは前記光学素子の極座標の動径成分を表し、光軸が通る点と評価する点の距離を瞳の半径で除した値である。
【請求項13】
前記光学素子の位相変化φが、下記式で表されることを特徴とする請求項1〜11のいずれか1項に記載の撮像装置。
【数2】


ここで、C1、C2は、前記撮像ユニットの照明光の波長と前記試料を覆う保護部材の屈折率および厚さから決定される定数であり、rは前記光学素子の極座標の動径成分を表し、光軸が通る点と評価する点の距離を瞳の半径で除した値である。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2013−29806(P2013−29806A)
【公開日】平成25年2月7日(2013.2.7)
【国際特許分類】
【出願番号】特願2012−108654(P2012−108654)
【出願日】平成24年5月10日(2012.5.10)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】