撮像装置およびその制御方法
【課題】表面形状の計測処理を効率的に行い、撮像装置のスループットを向上させる技術を提供する。
【解決手段】撮像装置が、被写体を保持する保持手段と、前記被写体の表面形状を計測する表面形状計測手段と、前記表面形状計測手段により計測された表面形状に合わせて撮像面を調整して、前記被写体の撮像を行う撮像手段と、前記被写体の全体領域のなかから撮像すべき対象物が存在する存在領域を特定する特定手段とを備える。前記表面形状計測手段は、前記特定手段により特定された存在領域の表面形状のみを計測する。
【解決手段】撮像装置が、被写体を保持する保持手段と、前記被写体の表面形状を計測する表面形状計測手段と、前記表面形状計測手段により計測された表面形状に合わせて撮像面を調整して、前記被写体の撮像を行う撮像手段と、前記被写体の全体領域のなかから撮像すべき対象物が存在する存在領域を特定する特定手段とを備える。前記表面形状計測手段は、前記特定手段により特定された存在領域の表面形状のみを計測する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
病理学の分野等で、プレパラートの像を撮像してデジタル画像（バーチャルスライド画像）を取得する撮像装置と、そのデジタル画像を処理・解析して表示装置に表示する画像処理装置とから構成される撮像システムが注目されている。
この種のシステムではプレパラートを高解像度で高速に撮像することが求められている。そこで、高解像度のデジタル画像を効率良く取得するために、プレパラートをマクロ撮像することでプレパラート上の試料（検体、生体サンプル）の存在する領域を予め計測し、その領域のみで高解像度の撮像を行う撮像装置が提案されている（特許文献１）。また、プリビューカメラと高倍率の撮像手段を有し、プリビュー画像から標本が存在する画素を探索するルーチンを有する撮像装置が提案されている（特許文献２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３１０２３１号公報
【特許文献２】特表２００９−５２８５８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記のような高倍率の撮像装置においては、結像光学系（対物レンズ）の被写界深度は極めて浅い。一方、スライドグラスとカバーグラスの間に試料を密封するためにスライドグラスとカバーグラスを接着すると、カバーグラスおよび試料が変形して試料の表面がうねってしまう場合がある。試料の表面がうねっていると、試料の一部が被写界深度内に入りきらなくなり、ボケの少ない良好な画像を取得できない。そのため、高倍率撮像の前に、カバーグラス表面の表面形状（うねり）を計測して、表面形状に応じて撮像素子の位置および姿勢を調整することが望ましい。
【０００５】
この際、カバーグラス全域の表面形状計測を一度で行おうとすると、表面形状計測手段が大型化してしまう。表面形状計測手段を大型化させないためには、表面形状の計測領域を狭くせざるを得ない。その場合、試料が存在する領域のカバーグラスの表面形状を効率良く計測しなければ、撮像装置の処理速度（スループット）を低下させてしまう。
【０００６】
本発明は上記実情に鑑みてなされたものであって、表面形状の計測処理を効率的に行い、撮像装置のスループットを向上させる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１態様は、被写体を保持する保持手段と、前記被写体の表面形状を計測する表面形状計測手段と、前記表面形状計測手段により計測された表面形状に合わせて撮像面を調整して、前記被写体の撮像を行う撮像手段と、を備えた撮像装置であって、前記被写体の全体領域のなかから撮像すべき対象物が存在する存在領域を特定する特定手段を有しており、前記表面形状計測手段は、前記特定手段により特定された存在領域の表面形状のみを計測する撮像装置を提供する。
【０００８】
本発明の第２態様は、被写体を保持する保持手段と、前記被写体の表面形状を計測する表面形状計測手段と、前記表面形状計測手段により計測された表面形状に合わせて撮像面
を調整して、前記被写体の撮像を行う撮像手段と、を備えた撮像装置の制御方法であって、前記被写体の全体領域のなかから撮像すべき対象物が存在する存在領域を特定する特定工程と、前記特定工程において特定された存在領域の表面形状のみを前記表面形状計測手段により計測する計測工程と、を含む撮像装置の制御方法を提供する。
【発明の効果】
【０００９】
本発明によれば、表面形状の計測処理を効率的に行い、撮像装置のスループットを向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】実施例１の撮像装置を示す図。
【図２】被検物（プレパラート）３０を示す図。
【図３】結像光学系４０を示す図。
【図４】撮像部５０を示す図。
【図５】表面形状計測装置２を示す図。
【図６】被検物３０の試料３０２の存在領域Ｅを説明する図。
【図７】実施例１の動作フローチャート。
【図８】実施例１のタイムチャート。
【図９】実施例２の撮像装置を示す図。
【図１０】実施例２の動作フローチャート。
【図１１】実施例２のタイムチャート。
【図１２】回転テーブルによる搬送方法を示す図。
【発明を実施するための形態】
【００１１】
［実施例１］
（撮像装置の構成）
図１は、本発明の実施例１に係る撮像装置１００を示す図である。図１に基づいて、撮像装置１００の構成について説明する。この撮像装置１００は、被写体である被検物３０の光学像を高倍率で撮像し、高精細のデジタル画像を取得するための装置である。撮像装置１００で取得されたデジタル画像は、不図示の画像処理装置（コンピュータ）へ伝送し、或いは、表示装置へ表示し、或いは、記憶装置に格納される。上記の撮像装置と画像処理装置（さらには表示装置や記憶装置）を合わせて、撮像システムを構成することができる。なお、撮像装置の構成はこの例に限らず、たとえば、画像処理装置、記憶装置、表示装置などの機能の全部或いは一部を撮像装置に搭載してもよい。
【００１２】
撮像装置１００は、顕微鏡１と、表面形状計測装置２と、広範囲撮影装置３と、搬入搬出装置２００と、制御部４からなる。
【００１３】
まず、顕微鏡１について説明する。
顕微鏡１は、被写体である被検物（プレパラート）３０を照明する照明部１０と、被検物３０の像を結像する結像光学系４０と、被検物３０の像を撮像する撮像部５０とを有する。撮像部５０は、複数の撮像素子とそれらを保持する撮像ステージ６０から構成される。被検物ステージ２０は、被検物３０を保持し移動する保持手段である。
【００１４】
被検物ステージ２０は、被検物３０を保持する保持部（不図示）と、保持部をＸ方向・Ｙ方向に移動するＸＹステージ２３と、保持部をＺ方向に移動するＺステージ２４を含む。ここで、Ｚ方向は、結像光学系４０の光軸方向に相当し、Ｘ方向・Ｙ方向は、光軸に垂直な方向に相当する。保持部としては、板バネ、真空吸着、静電吸着などが考えられる。保持部に板バネを用いる場合は、被検物３０の非撮像領域をＺ方向から押さえる、或いは被検物３０の側面をＸ方向・Ｙ方向から押さえる方法が考えられる。保持部に真空吸着、
静電吸着を用いる場合は、被検物３０の非撮像領域を被検物３０の裏面から吸着する方法が考えられる。ＸＹステージ２３およびＺステージ２４には、照明部１０からの光を通過させるための開口が設けられている。
【００１５】
実施例１の被検物ステージ２０は、被検物３０を保持したまま、広範囲撮影装置３と、表面形状計測装置２と、顕微鏡１とのあいだを往来可能に構成されている。これにより、実施例１の被検物ステージ２０は、被検物３０の保持状態を一定に保つことができる。よって、実施例１は、広範囲撮影装置３、表面形状計測装置２、顕微鏡１において高精度な保持再現性を要求される場合に適している。
【００１６】
図２（ａ）は、被検物３０をＺ方向からみた図であり、図２（ｂ）は、被検物３０をＸ方向からみた図である。被検物３０の一例であるプレパラートは、図２（ａ）、（ｂ）に示したように、カバーグラス３０１と試料３０２とスライドグラス３０３を含む。スライドグラス３０３上に配置された試料３０２（組織切片等の生体サンプルなど）は、カバーグラス３０１および接着剤（不図示）で密封されている。スライドグラス３０３上には、例えばスライドグラスの識別番号およびカバーグラスの厚さなど被検物３０（試料３０２）を管理するのに必要な情報が記録されたラベル３３３が貼付されていてもよい。ラベル３３３の例としては、１次元バーコード、２次元バーコード（マトリックスコード、スタックコード）、手書きメモなどがある。なお、本実施例では、画像取得の対象となる被検物３０としてプレパラートを例示したが、それ以外の物を被検物としても良い。
【００１７】
図３は、結像光学系４０のレンズ構成を示す模式図である。結像光学系４０は、被検物３０の像を所定の倍率で拡大しつつ撮像部５０の撮像面上に結像するための光学系である。具体的には、図３に示したように、結像光学系４０は、複数のレンズおよびミラーを含み、物体面Ａ上の物体の像を像面Ｂ上に結像する。本実施例において、結像光学系４０は被検物３０と撮像部５０の撮像面とが光学的に共役となるように配置されている。物体面Ａが被検物３０上の合焦面に相当し、像面Ｂが撮像部５０の撮像面に相当する。図３の光学配置図は、画角１０ｍｍ×１０ｍｍ以上で、物体面側の開口数ＮＡが０．７以上となる結像光学系を、レンズおよびミラーを用いて構成した例を示している。
【００１８】
図４（ａ）は、撮像部５０の上面図である。撮像部５０は、図４（ａ）に示したように、結像光学系４０の視野Ｆ内に２次元的に配列している（タイリングされている）複数の撮像素子５０１からなる撮像素子群５５５を含み、一度に複数の画像を撮像する構成となっている。撮像素子５０１としては、ＣＣＤやＣＭＯＳ等を用いることができる。撮像部５０に搭載される撮像素子５０１の数は、結像光学系４０の視野Ｆの面積に応じて適宜決定される。撮像素子５０１の配置も、結像光学系４０の視野Ｆの形状や撮像素子５０１の形状・構成などによって適宜決定される。本実施例では、説明を分かり易くするために、撮像素子群５５５としてＸＹ平面上に５×４個のＣＭＯＳが並んでいるものを用いる。
【００１９】
一般的な撮像部５０では、撮像素子５０１の受光領域（図４（ａ）の灰色部分）の周囲に基板等の不感領域（図４（ａ）の白色部分）が存在するため、撮像素子５０１どうしを隙間なく隣接して配置することは不可能である。そのため、撮像部５０での１回の撮影で得られる画像は、撮像素子５０１どうしの隙間に対応する部分が抜け落ちたものとなってしまう。そこで本実施例の撮像装置１００では、この撮像素子５０１どうしの隙間を埋めるため、被検物ステージ２０を移動して被検物３０と撮像素子群５５５との相対位置を変更しながら撮像を複数回行うことで、抜けのない試料３０２の画像を取得する。この動作を高速に行うことにより、撮像に要する時間を短縮しつつ、広い領域の撮像を行うことができる。
【００２０】
図４（ｂ）は、撮像部５０をＸ方向からみた図である。図示のように、撮像部５０は、
複数の駆動部を含む駆動機構５０６を有しており、撮像素子５０１の位置および姿勢を個別に制御することができる。各撮像素子５０１の位置および姿勢制御は、後述する表面形状計測装置２にて得られる表面形状情報９１を用いて行われる。
【００２１】
次に、表面形状計測装置２について説明する。表面形状計測装置２は、被検物３０の表面形状（高さ分布）を計測する手段である。被検物３０のカバーグラス３０１がうねっていた場合、試料３０２に対する合焦面もうねった曲面になる。このような場合に、撮像素子群５５５の撮像面を同一平面上に並べた状態で試料３０２の像を撮像すると、一部の撮像面が、合焦面（合焦位置）から離れてしまい、結像光学系４０の焦点深度内に収まらなくなる。その結果、その一部の撮像面上に投影される試料３０２の像がボケてしまい、ボケた部分が存在するデジタル画像を撮像装置１００で取得してしまう。そこで、本実施例の撮像装置１００では、被検物３０の表面形状を表面形状計測装置２で計測し、その計測情報を基にして制御部４が各駆動機構５０６の駆動量を演算する。制御部４は、撮像素子群５５５のうち合焦面と撮像面が離れている撮像素子５０１を合焦面に近づけるように駆動量を演算し、指令値５２を駆動機構５０６に送る。
【００２２】
表面形状計測装置２は、図１に示したように、被検物３０を照明する照明部７０と、被検物３０の表面形状を計測する計測部９０を有する。図５に示したように、計測部９０は、変倍光学系９０１と、入射光の波面を測定する波面センサ９０２を有する。変倍光学系９０１は、被検物３０と波面センサ９０２とが光学的に共役になり、結像倍率が可変となるように構成されている。本実施例では、波面センサ９０２としてシャックハルトマン波面センサを用いているが、シャックハルトマン波面センサの代わりに干渉計（例えば、シアリング干渉計など）を用いて反射光の波面を検出してもよい。
【００２３】
波面センサ９０２の計測領域は、カバーグラス３０１の表面全体の形状（高さ分布）を一度に検出できることが望ましいが、計測領域が広くなると計測装置２が大型化してしまう。一方、波面センサ９０２の計測領域が狭いと計測装置２を小型化できるが、カバーグラス３０１の試料３０２が存在する領域全体を計測するのに、被検物ステージ２０を移動させて複数回計測する必要がある。実施例１では、計測装置２を必要以上に大型化することなく、更に、効率良く被検体の表面形状計測を行うために、表面形状計測装置２の計測領域の画角を顕微鏡１の撮像領域の画角と等しくしている。なお、計測領域と撮像領域の画角は同じにする必要はなく、それぞれ任意のサイズに設定することができる。
【００２４】
次に、広範囲撮影装置３について説明する。広範囲撮影装置３は、被写体である被検物３０の全体領域のなかから試料３０２（撮像すべき対象物）が存在する領域を特定するために用いられる画像を取得するための手段である。広範囲撮影装置３は、図１に示すように、広範囲撮影カメラ８０を有する。広範囲撮影カメラ８０は、顕微鏡１の撮像部５０よりも低解像でよいが、少なくとも被検物３０のカバーグラスの全域を撮影可能な画角を有している必要がある。広範囲撮影カメラ８０により、表面形状計測装置２での計測や、顕微鏡１での撮像に先立って、被検物３０の試料３０２が存在する領域を事前に把握することができるようになる。広範囲撮影カメラ８０で撮影された被検物の全体領域の画像は、広範囲撮影情報８１として制御部４に伝送される。
【００２５】
図６は被検物３０の存在領域Ｅを説明する図である。図６に示したように、存在領域Ｅを矩形で定義する場合には、広範囲撮影カメラ８０の広範囲撮影情報８１を基にして、座標値Ｘ１、Ｘ２、Ｙ１、Ｙ２の値を制御部４で求めて、試料３０２の存在領域Ｅを決定することができる。なお図６の破線で区切られた各矩形領域が一つの計測領域（或いは撮像領域）を表している。
【００２６】
制御部４は、被検物３０の試料３０２が存在する存在領域Ｅのみを表面形状計測装置２
で計測するように、表面形状計測装置２には計測指令９２を送り、被検物ステージ２０には駆動指令２２を送る。更に、制御部４は、被検物３０の試料３０２が存在する存在領域Ｅのみを顕微鏡１で撮像するように、撮像部５０に撮像指令５２を送り、被検物ステージ２０に駆動指令２２を送る。これにより、試料３０２の存在領域Ｅ以外の領域に対する表面形状計測や撮像を省略することができ、処理時間の短縮を図ることができる。図６の例では、カバーグラス３０１の全体の表面形状を計測するには、１０×２５＝２５０回の計測が必要になる。これに対し、存在領域Ｅだけであれば、８×８＝６４回の計測で済むため、表面形状の計測時間が単純計算で約１／４に短縮される。
【００２７】
また、撮像装置１００は、広範囲撮影カメラ８０の広範囲撮影情報８１を用いて、被検物３０のエラー検出を行うことも可能である。被検物３０のエラーとしては、カバーグラス３０１がずれてスライドグラス３０３からはみ出した状態、試料の形状や染色の異常などが考えられる。この種のエラー検出は、たとえば二値化、特徴量抽出、輪郭検出などの公知の画像解析処理を利用して行うことが可能である。エラーが検出された被検物３０は、表面形状計測装置２に送られる前に、搬入搬出装置２００により回収される。
また、広範囲撮影カメラ８０の撮像領域を広げて、ラベル３３３の領域まで撮像できるようにして、広範囲撮影カメラ８０の広範囲撮影情報８１を用いてラベル３３３の読み取りを行っても良い。
【００２８】
搬入搬出装置２００は、ストッカー２０１に格納された被検物３０を搬送手段（不図示）により被検物ステージ２０に搭載する。搬送手段の具体的な機構としては、ハンド装置などが考えられる。搬入搬出装置２００の内部に被検物３０のラベル読み取り装置（不図示）を搭載して、ラベル３３３の読み取りを行っても良い。
【００２９】
顕微鏡１での撮像が完了した後、制御部４は、撮像部５０からの撮像情報５１を基にして得られた被検物３０の顕微鏡撮像画像を、不図示の画像処理装置、記憶装置、或いは表示装置に伝送する。顕微鏡１で取得された画像データに対し、現像、ガンマ変換、色変換、合成などの処理が必要な場合、これらの処理は画像処理装置において行ってもよいし、撮像装置１００内に設けられた不図示の演算回路において行うこともできる。
【００３０】
（撮像装置の動作）
次に、実施例１の撮像装置１００の動作を図７のフローチャートに基づいて説明する。
まず、制御部４からの搬送指令に基づき、搬入搬出装置２００が被検物３０をストッカー２０１から取り出し、広範囲撮影装置３の位置にある被検物ステージ２０上に搭載する（Ｓ１０）。制御部４からの撮影指令８２に基づき、広範囲撮影カメラ８０が被検物３０の広範囲撮影（全体撮影）を行う。そして制御部４は、画像解析により広範囲撮影情報８１から試料３０２が存在する部分を検出し、存在領域Ｅを特定する（Ｓ２０）。被検物（プレパラート）３０の試料３０２の部分とそれ以外の背景部分とは、輝度および色が有意に異なっているのが通常である。したがって、二値化、特徴量抽出、輪郭検出などの公知の画像解析処理を用いて試料３０２の部分を検出することができる。
【００３１】
次に、制御部４からの搬送指令に基づき、被検物３０を保持した被検物ステージ２０は、表面形状計測装置２の計測位置に移動する（Ｓ３０）。制御部４からの計測指令９２に従って、表面形状計測装置２が被検物３０の表面形状を計測する（Ｓ４０）。このとき、表面形状計測装置２は、Ｓ２０で特定された試料３０２の存在領域Ｅのみを計測する。１回の表面形状計測で存在領域Ｅの全体を計測できない場合は、被検物ステージ２０を次の計測位置に移動して（Ｓ５０）、表面形状の計測を再度行う（Ｓ４０）。存在領域Ｅの全体の表面形状の計測が完了するまで、Ｓ４０、Ｓ５０を繰り返す。
【００３２】
存在領域Ｅの表面形状の計測が完了したら、制御部４からの搬送指令に基づき、被検物
ステージ２０が顕微鏡１の撮像位置に移動する（Ｓ６０）。制御部４は、Ｓ４０で取得した被検物３０の表面形状情報９１と結像光学系４０の倍率とに基づいて、試料３０２の合焦曲面を演算する。制御部４は、各撮像素子５０１の駆動機構５０６に指令値５２を送り、演算された合焦曲面に撮像面が沿うように、各撮像素子５０１の姿勢を制御する（Ｓ７０）。
【００３３】
その後、顕微鏡１で撮像を行いデジタル画像を取得する（Ｓ８０）。１回の撮像で、存在領域Ｅの全体を撮像できない場合は、被検物ステージ２０を次の撮像位置に移動して（Ｓ９０）、撮像素子５０１の撮像面を調整し（Ｓ７０）、撮像を再度行う（Ｓ８０）。存在領域Ｅの全体の撮像が完了するまで、Ｓ７０、Ｓ８０、Ｓ９０を繰り返す。存在領域Ｅの撮像が完了したら、制御部４からの搬送指令に基づき、被検物ステージ２０を広範囲撮影装置３の位置に移動し（Ｓ１００）、被検物３０をストッカー２０１に回収する（Ｓ１１０）。
【００３４】
以上のように、実施例１の構成によれば、広範囲撮影カメラ８０により、表面形状計測装置２での計測や、顕微鏡１での撮像に先立って、被検物３０の試料３０２が存在する領域Ｅを事前に把握することができるようになる。これにより、試料３０２が存在しない領域に対する表面形状の計測や撮像を省くことができるため、表面形状計測ならびに撮像の処理時間を短縮できる。その結果、撮像装置１００の全体の処理能力（スループット）を向上することができる。
【００３５】
図８（Ａ）は、実施例１の撮像装置の各動作の処理時間を時間軸上で表したものである。また比較のため、表面形状計測装置２でカバーグラス全域の表面形状を計測した場合の処理時間を図８（Ｂ）に示す。図８（Ａ）、図８（Ｂ）では、それぞれの動作に必要な処理時間を下記のように表している。
【００３６】
Ｔ１０：被検物３０の搬入時間
Ｔ２０：広範囲撮影および存在領域Ｅの演算時間
Ｔ３０Ｓ：被検物ステージ２０の広範囲撮影位置から表面形状計測位置までの移動時間
Ｔ４０：表面形状計測時間
Ｔ６０：被検物ステージ２０の表面形状計測位置から顕微鏡撮像位置までの移動時間、もしくは、被検物ステージ２０の顕微鏡撮像位置から表面形状計測位置までの移動時間
Ｔ８０：顕微鏡撮像時間（撮像素子５０１同士の隙間を埋めるため、被検物ステージ２０の微小移動時間を含む）
Ｔ１００：被検物ステージ２０の顕微鏡撮像位置から広範囲撮影位置までの移動時間
Ｔ１１０：被検物３０の搬出時間
【００３７】
実施例１において、一つの被検物３０の画像取得に要する処理時間ＴＳは、下記式のように表される。
ＴＳ＝Ｔ１０＋Ｔ２０＋Ｔ３０Ｓ＋Ｔ４０＋Ｔ６０＋Ｔ８０＋Ｔ１００＋Ｔ１１０
【００３８】
実施例１では、表面形状の計測範囲を試料の存在領域Ｅに限定したことにより、表面形状計測時間Ｔ４０が大幅に短縮され、処理時間ＴＳが従来（図８（Ｂ））に比べて短くなっていることがわかる。
【００３９】
［実施例２］
実施例１は、被検物３０の保持状態を一定に保つことができるので、広範囲撮影装置３、表面形状計測装置２、および顕微鏡１において高精度な保持再現性を要求される場合に適している。しかしながら、一つの被検物に対する処理をすべて終えた後（つまり被検物をストッカーに戻した後）でなければ、次の被検物に対する処理を開始することができな
いため、多数の被検物を連続処理する際の総処理時間が長くなってしまう。
【００４０】
そこで実施例２では、画像取得に関する動作の一部を並列処理することにより、撮像装置のスループットを更に向上させる構成を採用する。並列処理を行うためには、画像取得に関する動作の中で、被検物ステージ２０とは別に、被検物３０を保持する部材を設け、この部材と被検物ステージ２０とのあいだで被検物３０の受け渡しができれば良い。これにより、被検物３０の受け渡し前後の動作を並列に処理できるようになる。
【００４１】
表面形状計測装置２と顕微鏡１の間で被検物３０の受け渡しを行うと、表面形状計測装置２と顕微鏡１とのあいだで、被検物３０の保持状態（ステージ上の位置や姿勢、被検物３０に生じる応力など）が変わってしまう。そうすると、表面形状計測位置にあるときと顕微鏡１の撮像位置にあるときとで、カバーグラス３０１の表面形状（うねり）が変化する。そのため、表面形状計測装置２で計測した表面形状に応じて顕微鏡１の撮像素子群５５５の位置や姿勢を調整したとしても、その撮像面を正しい合焦面に近づけることができなくなる。このような理由により、表面形状計測装置２と顕微鏡１とのあいだで被検物３０の受け渡しを行うことは望ましくない。
【００４２】
そこで、実施例２の撮像装置では、広範囲撮影装置３と表面形状計測装置２の間で被検物３０の受け渡しを行う。その理由は、広範囲撮影装置３では、被検物３０の試料３０２が存在する存在領域Ｅを大まかに（１００μｍ程度の精度で）把握できれば良いので、広範囲撮影装置３と表面形状計測装置２の間で被検物３０の保持状態が完全に同じである必要はないからである。一方、表面形状計測装置２と顕微鏡１との間は、被検物３０の保持状態が同じである（許容誤差は０．１μｍ程度）必要があるので、被検物３０を保持した被検物ステージ２０が、被検物３０の保持状態を変えることなく往復運動するようになっている。以上により実施例２は、広範囲撮影装置３と表面形状計測装置２の間で被検物３０の受け渡しを行うことにより、図７のＳ１０、Ｓ２０およびＳ１１０の動作と、Ｓ４０〜Ｓ９０の動作を並列処理できるようになり、処理速度を向上した撮像装置を実現している。
【００４３】
よって、実施例２は、広範囲撮影装置３と表面形状計測装置２における被検物３０の保持状態を完全に一致させる必要が無い場合において、処理速度を向上した撮像装置を実現するのに適している。
【００４４】
実施例２の撮像装置１０１の構成を図９に示す。実施例１との違いは、搬入搬出装置２００から搬入された被検物３０が、広範囲撮影装置３の広範囲撮影台８３に置かれ、その後、交換ハンド４００によって、広範囲撮影台８３から被検物ステージ２０に受け渡される点である。被検物ステージ２０は、搭載した被検物３０の保持状態を変えることなく、表面形状計測装置２と顕微鏡１の間を往復運動できるようになっている。
【００４５】
次に、実施例２の撮像装置１０１の動作を図１０のフローチャートに基づいて説明する。
まず、制御部４からの搬送指令に基づき、搬入搬出装置２００が被検物３０ｂをストッカー２０１から取り出し、広範囲撮影台８３に搭載する（Ｕ１０）。実施例１と同様、広範囲撮影カメラ８０が被検物３０ｂを撮影し、制御部４が広範囲撮影情報８１から試料３０２の存在領域Ｅを計算する（Ｕ２０）。
【００４６】
交換ハンド４００は、広範囲撮影が終わった被検物３０ｂを被検物ステージ２０上に移動させると同時に、顕微鏡１での撮像が完了して、表面形状計測装置２の位置にある被検物３０ａを広範囲撮影台８３上に移動する（Ｕ３０）。つまり、交換ハンド４００によって、広範囲撮影台８３上の被検物と被検物ステージ２０上の被検物とを入れ替えるのであ
る。
【００４７】
その後、被検物３０ａは、搬入搬出装置２００によりストッカー２０１に回収され（Ｕ１１０ａ）、被検物３０ｂは、表面形状計測装置２により、表面形状を計測される（Ｕ４０）。ここでも実施例１と同様、Ｕ２０で決定された試料の存在領域Ｅについてのみ、表面形状の計測が行われ、存在領域Ｅ以外の領域については計測が省かれる（Ｕ４０，Ｕ５０）。
【００４８】
存在領域Ｅの表面形状の計測が完了したら、制御部４からの搬送指令に基づき、被検物ステージ２０が顕微鏡１の位置に移動する（Ｕ６０）。そして、実施例１と同様、被検物３０ｂの表面形状に応じて各撮像素子５０１の姿勢を制御した後、顕微鏡１で撮像を行い、デジタル画像を取得する（Ｕ７０，Ｕ８０，Ｕ９０）。
【００４９】
存在領域Ｅの撮像が完了したら、制御部４からの搬送指令に基づき、被検物ステージ２０が表面形状計測装置２の位置に移動する（Ｕ１００）。前述したように、顕微鏡撮像が終わった被検物３０ｂは、交換ハンド４００によって、新たに搬入されてきた被検物と交換され、広範囲撮影台８３上に搭載される（Ｕ３０）。最後に、被検物３０ｂは搬入搬出装置２００によりストッカー２０１に回収される（Ｕ１１０ｂ）。
【００５０】
実施例２の撮像装置の各動作の処理時間を時間軸上で表すと、図１１のようになる。ここでは、それぞれの動作に必要な処理時間を下記のように表している。
Ｔ１０：被検物３０の搬入時間
Ｔ２０：広範囲撮影および存在領域Ｅの演算時間
Ｔ３０Ｕ：交換ハンド４００による広範囲撮影位置と表面形状計測位置のあいだの移動時間
Ｔ４０：表面形状計測時間
Ｔ６０：被検物ステージ２０の表面形状計測位置から顕微鏡撮像位置までの移動時間、もしくは、被検物ステージ２０の顕微鏡撮像位置から表面形状計測位置までの移動時間
Ｔ８０：顕微鏡撮像時間（撮像素子５０１同士の隙間を埋めるため、被検物ステージ２０の微小移動時間を含む）
Ｔ１１０：被検物３０の搬出時間
【００５１】
図１１に示すように、実施例２では、先に撮像された被検物が搬出されるよりも前に、次の被検物の搬入を開始し、広範囲撮影などの処理を行うことができる。ここで、被検物ステージ２０上の被検物３０に対し計測処理や撮像処理が行われているあいだに、次の被検物３０の搬入を開始し、広範囲撮影や存在領域特定などの処理が行われるようにすれば、処理時間の短縮を図ることができる。最も時間のロスが少ないのは、先に撮像された被検物がステージ移動により表面形状計測位置に戻る（Ｕ１００）タイミングと、次の被検物の広範囲撮影（Ｕ２０）が終了するタイミングとが合う場合である。制御部４は、このようなタイミングとなるように、次の被検物の搬入動作を開始するとよい。なお、搬入時間Ｔ１０、広範囲撮影の時間Ｔ２０、交換ハンドによる移動時間Ｔ３０Ｕ、ステージ移動時間Ｔ６０は予め知ることができ、表面形状計測時間Ｔ４０、顕微鏡撮像時間Ｔ８０は、存在領域Ｅの大きさ（計測／撮像回数）に基づき計算可能である。
【００５２】
上記のように最も時間のロスを少なくした場合、一つの被検物３０の画像取得に要する処理時間ＴＵは、下記式のように表される。
ＴＵ＝Ｔ４０＋Ｔ６０×２＋Ｔ８０＋Ｔ３０Ｕ
【００５３】
実施例２では、実施例１に比べて被検物一つあたりの処理時間がＴＳ−ＴＵだけ短縮されている。
ＴＳ−ＴＵ＝Ｔ１０＋Ｔ２０＋Ｔ１１０＋（Ｔ３０Ｓ−Ｔ３０Ｕ＋Ｔ１００−Ｔ６０）
【００５４】
Ｔ３０Ｓ−Ｔ３０Ｕ＋Ｔ１００−Ｔ６０≧０とすると、実施例２は、実施例１に比べて、少なくともＴ１０＋Ｔ２０＋Ｔ１１０、すなわち、搬入時間、広範囲撮影および存在領域Ｅの演算時間および搬出時間だけ短縮できていることが分かる。
【００５５】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。
たとえば、実施例２では表面形状計測装置２と顕微鏡１との間を、図９に示すような直動ステージを往復運動させて被検物３０を搬送したが、図１２に示すような回転テーブル２９を用いて被検物３０を搬送しても良い。また、被検物３０の位置決めの精度が確保できる場合には、表面形状計測装置２と顕微鏡１とのあいだで被検物３０の受け渡しを行っても構わない。
また上記実施例ではカメラで撮影した画像を用いて試料の存在範囲を特定したが、カメラ以外のセンサを用いて試料の存在範囲を検出する構成も好ましい。
【符号の説明】
【００５６】
１：顕微鏡、２：表面形状計測装置、３：広範囲撮影装置、４：制御部、５０：撮像部、１００，１０１：撮像装置
【技術分野】
【０００１】
本発明は、撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
病理学の分野等で、プレパラートの像を撮像してデジタル画像（バーチャルスライド画像）を取得する撮像装置と、そのデジタル画像を処理・解析して表示装置に表示する画像処理装置とから構成される撮像システムが注目されている。
この種のシステムではプレパラートを高解像度で高速に撮像することが求められている。そこで、高解像度のデジタル画像を効率良く取得するために、プレパラートをマクロ撮像することでプレパラート上の試料（検体、生体サンプル）の存在する領域を予め計測し、その領域のみで高解像度の撮像を行う撮像装置が提案されている（特許文献１）。また、プリビューカメラと高倍率の撮像手段を有し、プリビュー画像から標本が存在する画素を探索するルーチンを有する撮像装置が提案されている（特許文献２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３１０２３１号公報
【特許文献２】特表２００９−５２８５８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記のような高倍率の撮像装置においては、結像光学系（対物レンズ）の被写界深度は極めて浅い。一方、スライドグラスとカバーグラスの間に試料を密封するためにスライドグラスとカバーグラスを接着すると、カバーグラスおよび試料が変形して試料の表面がうねってしまう場合がある。試料の表面がうねっていると、試料の一部が被写界深度内に入りきらなくなり、ボケの少ない良好な画像を取得できない。そのため、高倍率撮像の前に、カバーグラス表面の表面形状（うねり）を計測して、表面形状に応じて撮像素子の位置および姿勢を調整することが望ましい。
【０００５】
この際、カバーグラス全域の表面形状計測を一度で行おうとすると、表面形状計測手段が大型化してしまう。表面形状計測手段を大型化させないためには、表面形状の計測領域を狭くせざるを得ない。その場合、試料が存在する領域のカバーグラスの表面形状を効率良く計測しなければ、撮像装置の処理速度（スループット）を低下させてしまう。
【０００６】
本発明は上記実情に鑑みてなされたものであって、表面形状の計測処理を効率的に行い、撮像装置のスループットを向上させる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１態様は、被写体を保持する保持手段と、前記被写体の表面形状を計測する表面形状計測手段と、前記表面形状計測手段により計測された表面形状に合わせて撮像面を調整して、前記被写体の撮像を行う撮像手段と、を備えた撮像装置であって、前記被写体の全体領域のなかから撮像すべき対象物が存在する存在領域を特定する特定手段を有しており、前記表面形状計測手段は、前記特定手段により特定された存在領域の表面形状のみを計測する撮像装置を提供する。
【０００８】
本発明の第２態様は、被写体を保持する保持手段と、前記被写体の表面形状を計測する表面形状計測手段と、前記表面形状計測手段により計測された表面形状に合わせて撮像面
を調整して、前記被写体の撮像を行う撮像手段と、を備えた撮像装置の制御方法であって、前記被写体の全体領域のなかから撮像すべき対象物が存在する存在領域を特定する特定工程と、前記特定工程において特定された存在領域の表面形状のみを前記表面形状計測手段により計測する計測工程と、を含む撮像装置の制御方法を提供する。
【発明の効果】
【０００９】
本発明によれば、表面形状の計測処理を効率的に行い、撮像装置のスループットを向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】実施例１の撮像装置を示す図。
【図２】被検物（プレパラート）３０を示す図。
【図３】結像光学系４０を示す図。
【図４】撮像部５０を示す図。
【図５】表面形状計測装置２を示す図。
【図６】被検物３０の試料３０２の存在領域Ｅを説明する図。
【図７】実施例１の動作フローチャート。
【図８】実施例１のタイムチャート。
【図９】実施例２の撮像装置を示す図。
【図１０】実施例２の動作フローチャート。
【図１１】実施例２のタイムチャート。
【図１２】回転テーブルによる搬送方法を示す図。
【発明を実施するための形態】
【００１１】
［実施例１］
（撮像装置の構成）
図１は、本発明の実施例１に係る撮像装置１００を示す図である。図１に基づいて、撮像装置１００の構成について説明する。この撮像装置１００は、被写体である被検物３０の光学像を高倍率で撮像し、高精細のデジタル画像を取得するための装置である。撮像装置１００で取得されたデジタル画像は、不図示の画像処理装置（コンピュータ）へ伝送し、或いは、表示装置へ表示し、或いは、記憶装置に格納される。上記の撮像装置と画像処理装置（さらには表示装置や記憶装置）を合わせて、撮像システムを構成することができる。なお、撮像装置の構成はこの例に限らず、たとえば、画像処理装置、記憶装置、表示装置などの機能の全部或いは一部を撮像装置に搭載してもよい。
【００１２】
撮像装置１００は、顕微鏡１と、表面形状計測装置２と、広範囲撮影装置３と、搬入搬出装置２００と、制御部４からなる。
【００１３】
まず、顕微鏡１について説明する。
顕微鏡１は、被写体である被検物（プレパラート）３０を照明する照明部１０と、被検物３０の像を結像する結像光学系４０と、被検物３０の像を撮像する撮像部５０とを有する。撮像部５０は、複数の撮像素子とそれらを保持する撮像ステージ６０から構成される。被検物ステージ２０は、被検物３０を保持し移動する保持手段である。
【００１４】
被検物ステージ２０は、被検物３０を保持する保持部（不図示）と、保持部をＸ方向・Ｙ方向に移動するＸＹステージ２３と、保持部をＺ方向に移動するＺステージ２４を含む。ここで、Ｚ方向は、結像光学系４０の光軸方向に相当し、Ｘ方向・Ｙ方向は、光軸に垂直な方向に相当する。保持部としては、板バネ、真空吸着、静電吸着などが考えられる。保持部に板バネを用いる場合は、被検物３０の非撮像領域をＺ方向から押さえる、或いは被検物３０の側面をＸ方向・Ｙ方向から押さえる方法が考えられる。保持部に真空吸着、
静電吸着を用いる場合は、被検物３０の非撮像領域を被検物３０の裏面から吸着する方法が考えられる。ＸＹステージ２３およびＺステージ２４には、照明部１０からの光を通過させるための開口が設けられている。
【００１５】
実施例１の被検物ステージ２０は、被検物３０を保持したまま、広範囲撮影装置３と、表面形状計測装置２と、顕微鏡１とのあいだを往来可能に構成されている。これにより、実施例１の被検物ステージ２０は、被検物３０の保持状態を一定に保つことができる。よって、実施例１は、広範囲撮影装置３、表面形状計測装置２、顕微鏡１において高精度な保持再現性を要求される場合に適している。
【００１６】
図２（ａ）は、被検物３０をＺ方向からみた図であり、図２（ｂ）は、被検物３０をＸ方向からみた図である。被検物３０の一例であるプレパラートは、図２（ａ）、（ｂ）に示したように、カバーグラス３０１と試料３０２とスライドグラス３０３を含む。スライドグラス３０３上に配置された試料３０２（組織切片等の生体サンプルなど）は、カバーグラス３０１および接着剤（不図示）で密封されている。スライドグラス３０３上には、例えばスライドグラスの識別番号およびカバーグラスの厚さなど被検物３０（試料３０２）を管理するのに必要な情報が記録されたラベル３３３が貼付されていてもよい。ラベル３３３の例としては、１次元バーコード、２次元バーコード（マトリックスコード、スタックコード）、手書きメモなどがある。なお、本実施例では、画像取得の対象となる被検物３０としてプレパラートを例示したが、それ以外の物を被検物としても良い。
【００１７】
図３は、結像光学系４０のレンズ構成を示す模式図である。結像光学系４０は、被検物３０の像を所定の倍率で拡大しつつ撮像部５０の撮像面上に結像するための光学系である。具体的には、図３に示したように、結像光学系４０は、複数のレンズおよびミラーを含み、物体面Ａ上の物体の像を像面Ｂ上に結像する。本実施例において、結像光学系４０は被検物３０と撮像部５０の撮像面とが光学的に共役となるように配置されている。物体面Ａが被検物３０上の合焦面に相当し、像面Ｂが撮像部５０の撮像面に相当する。図３の光学配置図は、画角１０ｍｍ×１０ｍｍ以上で、物体面側の開口数ＮＡが０．７以上となる結像光学系を、レンズおよびミラーを用いて構成した例を示している。
【００１８】
図４（ａ）は、撮像部５０の上面図である。撮像部５０は、図４（ａ）に示したように、結像光学系４０の視野Ｆ内に２次元的に配列している（タイリングされている）複数の撮像素子５０１からなる撮像素子群５５５を含み、一度に複数の画像を撮像する構成となっている。撮像素子５０１としては、ＣＣＤやＣＭＯＳ等を用いることができる。撮像部５０に搭載される撮像素子５０１の数は、結像光学系４０の視野Ｆの面積に応じて適宜決定される。撮像素子５０１の配置も、結像光学系４０の視野Ｆの形状や撮像素子５０１の形状・構成などによって適宜決定される。本実施例では、説明を分かり易くするために、撮像素子群５５５としてＸＹ平面上に５×４個のＣＭＯＳが並んでいるものを用いる。
【００１９】
一般的な撮像部５０では、撮像素子５０１の受光領域（図４（ａ）の灰色部分）の周囲に基板等の不感領域（図４（ａ）の白色部分）が存在するため、撮像素子５０１どうしを隙間なく隣接して配置することは不可能である。そのため、撮像部５０での１回の撮影で得られる画像は、撮像素子５０１どうしの隙間に対応する部分が抜け落ちたものとなってしまう。そこで本実施例の撮像装置１００では、この撮像素子５０１どうしの隙間を埋めるため、被検物ステージ２０を移動して被検物３０と撮像素子群５５５との相対位置を変更しながら撮像を複数回行うことで、抜けのない試料３０２の画像を取得する。この動作を高速に行うことにより、撮像に要する時間を短縮しつつ、広い領域の撮像を行うことができる。
【００２０】
図４（ｂ）は、撮像部５０をＸ方向からみた図である。図示のように、撮像部５０は、
複数の駆動部を含む駆動機構５０６を有しており、撮像素子５０１の位置および姿勢を個別に制御することができる。各撮像素子５０１の位置および姿勢制御は、後述する表面形状計測装置２にて得られる表面形状情報９１を用いて行われる。
【００２１】
次に、表面形状計測装置２について説明する。表面形状計測装置２は、被検物３０の表面形状（高さ分布）を計測する手段である。被検物３０のカバーグラス３０１がうねっていた場合、試料３０２に対する合焦面もうねった曲面になる。このような場合に、撮像素子群５５５の撮像面を同一平面上に並べた状態で試料３０２の像を撮像すると、一部の撮像面が、合焦面（合焦位置）から離れてしまい、結像光学系４０の焦点深度内に収まらなくなる。その結果、その一部の撮像面上に投影される試料３０２の像がボケてしまい、ボケた部分が存在するデジタル画像を撮像装置１００で取得してしまう。そこで、本実施例の撮像装置１００では、被検物３０の表面形状を表面形状計測装置２で計測し、その計測情報を基にして制御部４が各駆動機構５０６の駆動量を演算する。制御部４は、撮像素子群５５５のうち合焦面と撮像面が離れている撮像素子５０１を合焦面に近づけるように駆動量を演算し、指令値５２を駆動機構５０６に送る。
【００２２】
表面形状計測装置２は、図１に示したように、被検物３０を照明する照明部７０と、被検物３０の表面形状を計測する計測部９０を有する。図５に示したように、計測部９０は、変倍光学系９０１と、入射光の波面を測定する波面センサ９０２を有する。変倍光学系９０１は、被検物３０と波面センサ９０２とが光学的に共役になり、結像倍率が可変となるように構成されている。本実施例では、波面センサ９０２としてシャックハルトマン波面センサを用いているが、シャックハルトマン波面センサの代わりに干渉計（例えば、シアリング干渉計など）を用いて反射光の波面を検出してもよい。
【００２３】
波面センサ９０２の計測領域は、カバーグラス３０１の表面全体の形状（高さ分布）を一度に検出できることが望ましいが、計測領域が広くなると計測装置２が大型化してしまう。一方、波面センサ９０２の計測領域が狭いと計測装置２を小型化できるが、カバーグラス３０１の試料３０２が存在する領域全体を計測するのに、被検物ステージ２０を移動させて複数回計測する必要がある。実施例１では、計測装置２を必要以上に大型化することなく、更に、効率良く被検体の表面形状計測を行うために、表面形状計測装置２の計測領域の画角を顕微鏡１の撮像領域の画角と等しくしている。なお、計測領域と撮像領域の画角は同じにする必要はなく、それぞれ任意のサイズに設定することができる。
【００２４】
次に、広範囲撮影装置３について説明する。広範囲撮影装置３は、被写体である被検物３０の全体領域のなかから試料３０２（撮像すべき対象物）が存在する領域を特定するために用いられる画像を取得するための手段である。広範囲撮影装置３は、図１に示すように、広範囲撮影カメラ８０を有する。広範囲撮影カメラ８０は、顕微鏡１の撮像部５０よりも低解像でよいが、少なくとも被検物３０のカバーグラスの全域を撮影可能な画角を有している必要がある。広範囲撮影カメラ８０により、表面形状計測装置２での計測や、顕微鏡１での撮像に先立って、被検物３０の試料３０２が存在する領域を事前に把握することができるようになる。広範囲撮影カメラ８０で撮影された被検物の全体領域の画像は、広範囲撮影情報８１として制御部４に伝送される。
【００２５】
図６は被検物３０の存在領域Ｅを説明する図である。図６に示したように、存在領域Ｅを矩形で定義する場合には、広範囲撮影カメラ８０の広範囲撮影情報８１を基にして、座標値Ｘ１、Ｘ２、Ｙ１、Ｙ２の値を制御部４で求めて、試料３０２の存在領域Ｅを決定することができる。なお図６の破線で区切られた各矩形領域が一つの計測領域（或いは撮像領域）を表している。
【００２６】
制御部４は、被検物３０の試料３０２が存在する存在領域Ｅのみを表面形状計測装置２
で計測するように、表面形状計測装置２には計測指令９２を送り、被検物ステージ２０には駆動指令２２を送る。更に、制御部４は、被検物３０の試料３０２が存在する存在領域Ｅのみを顕微鏡１で撮像するように、撮像部５０に撮像指令５２を送り、被検物ステージ２０に駆動指令２２を送る。これにより、試料３０２の存在領域Ｅ以外の領域に対する表面形状計測や撮像を省略することができ、処理時間の短縮を図ることができる。図６の例では、カバーグラス３０１の全体の表面形状を計測するには、１０×２５＝２５０回の計測が必要になる。これに対し、存在領域Ｅだけであれば、８×８＝６４回の計測で済むため、表面形状の計測時間が単純計算で約１／４に短縮される。
【００２７】
また、撮像装置１００は、広範囲撮影カメラ８０の広範囲撮影情報８１を用いて、被検物３０のエラー検出を行うことも可能である。被検物３０のエラーとしては、カバーグラス３０１がずれてスライドグラス３０３からはみ出した状態、試料の形状や染色の異常などが考えられる。この種のエラー検出は、たとえば二値化、特徴量抽出、輪郭検出などの公知の画像解析処理を利用して行うことが可能である。エラーが検出された被検物３０は、表面形状計測装置２に送られる前に、搬入搬出装置２００により回収される。
また、広範囲撮影カメラ８０の撮像領域を広げて、ラベル３３３の領域まで撮像できるようにして、広範囲撮影カメラ８０の広範囲撮影情報８１を用いてラベル３３３の読み取りを行っても良い。
【００２８】
搬入搬出装置２００は、ストッカー２０１に格納された被検物３０を搬送手段（不図示）により被検物ステージ２０に搭載する。搬送手段の具体的な機構としては、ハンド装置などが考えられる。搬入搬出装置２００の内部に被検物３０のラベル読み取り装置（不図示）を搭載して、ラベル３３３の読み取りを行っても良い。
【００２９】
顕微鏡１での撮像が完了した後、制御部４は、撮像部５０からの撮像情報５１を基にして得られた被検物３０の顕微鏡撮像画像を、不図示の画像処理装置、記憶装置、或いは表示装置に伝送する。顕微鏡１で取得された画像データに対し、現像、ガンマ変換、色変換、合成などの処理が必要な場合、これらの処理は画像処理装置において行ってもよいし、撮像装置１００内に設けられた不図示の演算回路において行うこともできる。
【００３０】
（撮像装置の動作）
次に、実施例１の撮像装置１００の動作を図７のフローチャートに基づいて説明する。
まず、制御部４からの搬送指令に基づき、搬入搬出装置２００が被検物３０をストッカー２０１から取り出し、広範囲撮影装置３の位置にある被検物ステージ２０上に搭載する（Ｓ１０）。制御部４からの撮影指令８２に基づき、広範囲撮影カメラ８０が被検物３０の広範囲撮影（全体撮影）を行う。そして制御部４は、画像解析により広範囲撮影情報８１から試料３０２が存在する部分を検出し、存在領域Ｅを特定する（Ｓ２０）。被検物（プレパラート）３０の試料３０２の部分とそれ以外の背景部分とは、輝度および色が有意に異なっているのが通常である。したがって、二値化、特徴量抽出、輪郭検出などの公知の画像解析処理を用いて試料３０２の部分を検出することができる。
【００３１】
次に、制御部４からの搬送指令に基づき、被検物３０を保持した被検物ステージ２０は、表面形状計測装置２の計測位置に移動する（Ｓ３０）。制御部４からの計測指令９２に従って、表面形状計測装置２が被検物３０の表面形状を計測する（Ｓ４０）。このとき、表面形状計測装置２は、Ｓ２０で特定された試料３０２の存在領域Ｅのみを計測する。１回の表面形状計測で存在領域Ｅの全体を計測できない場合は、被検物ステージ２０を次の計測位置に移動して（Ｓ５０）、表面形状の計測を再度行う（Ｓ４０）。存在領域Ｅの全体の表面形状の計測が完了するまで、Ｓ４０、Ｓ５０を繰り返す。
【００３２】
存在領域Ｅの表面形状の計測が完了したら、制御部４からの搬送指令に基づき、被検物
ステージ２０が顕微鏡１の撮像位置に移動する（Ｓ６０）。制御部４は、Ｓ４０で取得した被検物３０の表面形状情報９１と結像光学系４０の倍率とに基づいて、試料３０２の合焦曲面を演算する。制御部４は、各撮像素子５０１の駆動機構５０６に指令値５２を送り、演算された合焦曲面に撮像面が沿うように、各撮像素子５０１の姿勢を制御する（Ｓ７０）。
【００３３】
その後、顕微鏡１で撮像を行いデジタル画像を取得する（Ｓ８０）。１回の撮像で、存在領域Ｅの全体を撮像できない場合は、被検物ステージ２０を次の撮像位置に移動して（Ｓ９０）、撮像素子５０１の撮像面を調整し（Ｓ７０）、撮像を再度行う（Ｓ８０）。存在領域Ｅの全体の撮像が完了するまで、Ｓ７０、Ｓ８０、Ｓ９０を繰り返す。存在領域Ｅの撮像が完了したら、制御部４からの搬送指令に基づき、被検物ステージ２０を広範囲撮影装置３の位置に移動し（Ｓ１００）、被検物３０をストッカー２０１に回収する（Ｓ１１０）。
【００３４】
以上のように、実施例１の構成によれば、広範囲撮影カメラ８０により、表面形状計測装置２での計測や、顕微鏡１での撮像に先立って、被検物３０の試料３０２が存在する領域Ｅを事前に把握することができるようになる。これにより、試料３０２が存在しない領域に対する表面形状の計測や撮像を省くことができるため、表面形状計測ならびに撮像の処理時間を短縮できる。その結果、撮像装置１００の全体の処理能力（スループット）を向上することができる。
【００３５】
図８（Ａ）は、実施例１の撮像装置の各動作の処理時間を時間軸上で表したものである。また比較のため、表面形状計測装置２でカバーグラス全域の表面形状を計測した場合の処理時間を図８（Ｂ）に示す。図８（Ａ）、図８（Ｂ）では、それぞれの動作に必要な処理時間を下記のように表している。
【００３６】
Ｔ１０：被検物３０の搬入時間
Ｔ２０：広範囲撮影および存在領域Ｅの演算時間
Ｔ３０Ｓ：被検物ステージ２０の広範囲撮影位置から表面形状計測位置までの移動時間
Ｔ４０：表面形状計測時間
Ｔ６０：被検物ステージ２０の表面形状計測位置から顕微鏡撮像位置までの移動時間、もしくは、被検物ステージ２０の顕微鏡撮像位置から表面形状計測位置までの移動時間
Ｔ８０：顕微鏡撮像時間（撮像素子５０１同士の隙間を埋めるため、被検物ステージ２０の微小移動時間を含む）
Ｔ１００：被検物ステージ２０の顕微鏡撮像位置から広範囲撮影位置までの移動時間
Ｔ１１０：被検物３０の搬出時間
【００３７】
実施例１において、一つの被検物３０の画像取得に要する処理時間ＴＳは、下記式のように表される。
ＴＳ＝Ｔ１０＋Ｔ２０＋Ｔ３０Ｓ＋Ｔ４０＋Ｔ６０＋Ｔ８０＋Ｔ１００＋Ｔ１１０
【００３８】
実施例１では、表面形状の計測範囲を試料の存在領域Ｅに限定したことにより、表面形状計測時間Ｔ４０が大幅に短縮され、処理時間ＴＳが従来（図８（Ｂ））に比べて短くなっていることがわかる。
【００３９】
［実施例２］
実施例１は、被検物３０の保持状態を一定に保つことができるので、広範囲撮影装置３、表面形状計測装置２、および顕微鏡１において高精度な保持再現性を要求される場合に適している。しかしながら、一つの被検物に対する処理をすべて終えた後（つまり被検物をストッカーに戻した後）でなければ、次の被検物に対する処理を開始することができな
いため、多数の被検物を連続処理する際の総処理時間が長くなってしまう。
【００４０】
そこで実施例２では、画像取得に関する動作の一部を並列処理することにより、撮像装置のスループットを更に向上させる構成を採用する。並列処理を行うためには、画像取得に関する動作の中で、被検物ステージ２０とは別に、被検物３０を保持する部材を設け、この部材と被検物ステージ２０とのあいだで被検物３０の受け渡しができれば良い。これにより、被検物３０の受け渡し前後の動作を並列に処理できるようになる。
【００４１】
表面形状計測装置２と顕微鏡１の間で被検物３０の受け渡しを行うと、表面形状計測装置２と顕微鏡１とのあいだで、被検物３０の保持状態（ステージ上の位置や姿勢、被検物３０に生じる応力など）が変わってしまう。そうすると、表面形状計測位置にあるときと顕微鏡１の撮像位置にあるときとで、カバーグラス３０１の表面形状（うねり）が変化する。そのため、表面形状計測装置２で計測した表面形状に応じて顕微鏡１の撮像素子群５５５の位置や姿勢を調整したとしても、その撮像面を正しい合焦面に近づけることができなくなる。このような理由により、表面形状計測装置２と顕微鏡１とのあいだで被検物３０の受け渡しを行うことは望ましくない。
【００４２】
そこで、実施例２の撮像装置では、広範囲撮影装置３と表面形状計測装置２の間で被検物３０の受け渡しを行う。その理由は、広範囲撮影装置３では、被検物３０の試料３０２が存在する存在領域Ｅを大まかに（１００μｍ程度の精度で）把握できれば良いので、広範囲撮影装置３と表面形状計測装置２の間で被検物３０の保持状態が完全に同じである必要はないからである。一方、表面形状計測装置２と顕微鏡１との間は、被検物３０の保持状態が同じである（許容誤差は０．１μｍ程度）必要があるので、被検物３０を保持した被検物ステージ２０が、被検物３０の保持状態を変えることなく往復運動するようになっている。以上により実施例２は、広範囲撮影装置３と表面形状計測装置２の間で被検物３０の受け渡しを行うことにより、図７のＳ１０、Ｓ２０およびＳ１１０の動作と、Ｓ４０〜Ｓ９０の動作を並列処理できるようになり、処理速度を向上した撮像装置を実現している。
【００４３】
よって、実施例２は、広範囲撮影装置３と表面形状計測装置２における被検物３０の保持状態を完全に一致させる必要が無い場合において、処理速度を向上した撮像装置を実現するのに適している。
【００４４】
実施例２の撮像装置１０１の構成を図９に示す。実施例１との違いは、搬入搬出装置２００から搬入された被検物３０が、広範囲撮影装置３の広範囲撮影台８３に置かれ、その後、交換ハンド４００によって、広範囲撮影台８３から被検物ステージ２０に受け渡される点である。被検物ステージ２０は、搭載した被検物３０の保持状態を変えることなく、表面形状計測装置２と顕微鏡１の間を往復運動できるようになっている。
【００４５】
次に、実施例２の撮像装置１０１の動作を図１０のフローチャートに基づいて説明する。
まず、制御部４からの搬送指令に基づき、搬入搬出装置２００が被検物３０ｂをストッカー２０１から取り出し、広範囲撮影台８３に搭載する（Ｕ１０）。実施例１と同様、広範囲撮影カメラ８０が被検物３０ｂを撮影し、制御部４が広範囲撮影情報８１から試料３０２の存在領域Ｅを計算する（Ｕ２０）。
【００４６】
交換ハンド４００は、広範囲撮影が終わった被検物３０ｂを被検物ステージ２０上に移動させると同時に、顕微鏡１での撮像が完了して、表面形状計測装置２の位置にある被検物３０ａを広範囲撮影台８３上に移動する（Ｕ３０）。つまり、交換ハンド４００によって、広範囲撮影台８３上の被検物と被検物ステージ２０上の被検物とを入れ替えるのであ
る。
【００４７】
その後、被検物３０ａは、搬入搬出装置２００によりストッカー２０１に回収され（Ｕ１１０ａ）、被検物３０ｂは、表面形状計測装置２により、表面形状を計測される（Ｕ４０）。ここでも実施例１と同様、Ｕ２０で決定された試料の存在領域Ｅについてのみ、表面形状の計測が行われ、存在領域Ｅ以外の領域については計測が省かれる（Ｕ４０，Ｕ５０）。
【００４８】
存在領域Ｅの表面形状の計測が完了したら、制御部４からの搬送指令に基づき、被検物ステージ２０が顕微鏡１の位置に移動する（Ｕ６０）。そして、実施例１と同様、被検物３０ｂの表面形状に応じて各撮像素子５０１の姿勢を制御した後、顕微鏡１で撮像を行い、デジタル画像を取得する（Ｕ７０，Ｕ８０，Ｕ９０）。
【００４９】
存在領域Ｅの撮像が完了したら、制御部４からの搬送指令に基づき、被検物ステージ２０が表面形状計測装置２の位置に移動する（Ｕ１００）。前述したように、顕微鏡撮像が終わった被検物３０ｂは、交換ハンド４００によって、新たに搬入されてきた被検物と交換され、広範囲撮影台８３上に搭載される（Ｕ３０）。最後に、被検物３０ｂは搬入搬出装置２００によりストッカー２０１に回収される（Ｕ１１０ｂ）。
【００５０】
実施例２の撮像装置の各動作の処理時間を時間軸上で表すと、図１１のようになる。ここでは、それぞれの動作に必要な処理時間を下記のように表している。
Ｔ１０：被検物３０の搬入時間
Ｔ２０：広範囲撮影および存在領域Ｅの演算時間
Ｔ３０Ｕ：交換ハンド４００による広範囲撮影位置と表面形状計測位置のあいだの移動時間
Ｔ４０：表面形状計測時間
Ｔ６０：被検物ステージ２０の表面形状計測位置から顕微鏡撮像位置までの移動時間、もしくは、被検物ステージ２０の顕微鏡撮像位置から表面形状計測位置までの移動時間
Ｔ８０：顕微鏡撮像時間（撮像素子５０１同士の隙間を埋めるため、被検物ステージ２０の微小移動時間を含む）
Ｔ１１０：被検物３０の搬出時間
【００５１】
図１１に示すように、実施例２では、先に撮像された被検物が搬出されるよりも前に、次の被検物の搬入を開始し、広範囲撮影などの処理を行うことができる。ここで、被検物ステージ２０上の被検物３０に対し計測処理や撮像処理が行われているあいだに、次の被検物３０の搬入を開始し、広範囲撮影や存在領域特定などの処理が行われるようにすれば、処理時間の短縮を図ることができる。最も時間のロスが少ないのは、先に撮像された被検物がステージ移動により表面形状計測位置に戻る（Ｕ１００）タイミングと、次の被検物の広範囲撮影（Ｕ２０）が終了するタイミングとが合う場合である。制御部４は、このようなタイミングとなるように、次の被検物の搬入動作を開始するとよい。なお、搬入時間Ｔ１０、広範囲撮影の時間Ｔ２０、交換ハンドによる移動時間Ｔ３０Ｕ、ステージ移動時間Ｔ６０は予め知ることができ、表面形状計測時間Ｔ４０、顕微鏡撮像時間Ｔ８０は、存在領域Ｅの大きさ（計測／撮像回数）に基づき計算可能である。
【００５２】
上記のように最も時間のロスを少なくした場合、一つの被検物３０の画像取得に要する処理時間ＴＵは、下記式のように表される。
ＴＵ＝Ｔ４０＋Ｔ６０×２＋Ｔ８０＋Ｔ３０Ｕ
【００５３】
実施例２では、実施例１に比べて被検物一つあたりの処理時間がＴＳ−ＴＵだけ短縮されている。
ＴＳ−ＴＵ＝Ｔ１０＋Ｔ２０＋Ｔ１１０＋（Ｔ３０Ｓ−Ｔ３０Ｕ＋Ｔ１００−Ｔ６０）
【００５４】
Ｔ３０Ｓ−Ｔ３０Ｕ＋Ｔ１００−Ｔ６０≧０とすると、実施例２は、実施例１に比べて、少なくともＴ１０＋Ｔ２０＋Ｔ１１０、すなわち、搬入時間、広範囲撮影および存在領域Ｅの演算時間および搬出時間だけ短縮できていることが分かる。
【００５５】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。
たとえば、実施例２では表面形状計測装置２と顕微鏡１との間を、図９に示すような直動ステージを往復運動させて被検物３０を搬送したが、図１２に示すような回転テーブル２９を用いて被検物３０を搬送しても良い。また、被検物３０の位置決めの精度が確保できる場合には、表面形状計測装置２と顕微鏡１とのあいだで被検物３０の受け渡しを行っても構わない。
また上記実施例ではカメラで撮影した画像を用いて試料の存在範囲を特定したが、カメラ以外のセンサを用いて試料の存在範囲を検出する構成も好ましい。
【符号の説明】
【００５６】
１：顕微鏡、２：表面形状計測装置、３：広範囲撮影装置、４：制御部、５０：撮像部、１００，１０１：撮像装置
【特許請求の範囲】
【請求項１】
被写体を保持する保持手段と、
前記被写体の表面形状を計測する表面形状計測手段と、
前記表面形状計測手段により計測された表面形状に合わせて撮像面を調整して、前記被写体の撮像を行う撮像手段と、を備えた撮像装置であって、
前記被写体の全体領域のなかから撮像すべき対象物が存在する存在領域を特定する特定手段を有しており、
前記表面形状計測手段は、前記特定手段により特定された存在領域の表面形状のみを計測する
ことを特徴とする撮像装置。
【請求項２】
前記撮像手段は、前記特定手段により特定された存在領域のみを撮像する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記特定手段は、前記被写体の全体領域を撮影する広範囲撮影手段と、前記広範囲撮影手段で撮影された前記被写体の全体領域の画像を解析することにより前記撮像すべき対象物を検出する手段と、を有する
ことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記保持手段は、前記被写体を保持したまま前記表面形状計測手段の計測位置と前記撮像手段の撮像位置のあいだを移動するステージを有する
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記保持手段は、前記被写体を保持したまま、前記広範囲撮影手段の撮影位置、前記表面形状計測手段の計測位置、および、前記撮像手段の撮像位置のあいだを移動するステージを有する
ことを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記保持手段は、前記被写体を保持したまま前記表面形状計測手段の計測位置と前記撮像手段の撮像位置のあいだを移動するステージと、前記ステージに保持されている被写体と前記広範囲撮影手段の撮影位置にある被写体とを交換する交換手段と、を有する
ことを特徴とする請求項３に記載の撮像装置。
【請求項７】
前記ステージに保持されている被写体に対し前記表面形状計測手段による計測処理および前記撮像手段による撮像処理が行われているあいだに、前記特定手段は、前記広範囲撮影手段の撮影位置にある被写体に対し存在領域を特定する処理を行う
ことを特徴とする請求項６に記載の撮像装置。
【請求項８】
複数の被写体を格納するストッカーと、前記ストッカーから被写体を搬送する搬送手段と、をさらに有し、
前記ステージに保持されている被写体に対し前記表面形状計測手段による計測処理および前記撮像手段による撮像処理が行われているあいだに、前記搬送手段は、次の被写体を前記ストッカーから前記広範囲撮影手段の撮影位置へ搬送する
ことを特徴とする請求項６または７に記載の撮像装置。
【請求項９】
前記広範囲撮影手段で撮影された前記被写体の全体領域の画像を解析することにより、前記被写体のエラー検出を行う手段をさらに有する
ことを特徴とする請求項３〜８のいずれか１項に記載の撮像装置。
【請求項１０】
被写体を保持する保持手段と、前記被写体の表面形状を計測する表面形状計測手段と、前記表面形状計測手段により計測された表面形状に合わせて撮像面を調整して、前記被写体の撮像を行う撮像手段と、を備えた撮像装置の制御方法であって、
前記被写体の全体領域のなかから撮像すべき対象物が存在する存在領域を特定する特定工程と、
前記特定工程において特定された存在領域の表面形状のみを前記表面形状計測手段により計測する計測工程と、を含む
ことを特徴とする撮像装置の制御方法。
【請求項１】
被写体を保持する保持手段と、
前記被写体の表面形状を計測する表面形状計測手段と、
前記表面形状計測手段により計測された表面形状に合わせて撮像面を調整して、前記被写体の撮像を行う撮像手段と、を備えた撮像装置であって、
前記被写体の全体領域のなかから撮像すべき対象物が存在する存在領域を特定する特定手段を有しており、
前記表面形状計測手段は、前記特定手段により特定された存在領域の表面形状のみを計測する
ことを特徴とする撮像装置。
【請求項２】
前記撮像手段は、前記特定手段により特定された存在領域のみを撮像する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記特定手段は、前記被写体の全体領域を撮影する広範囲撮影手段と、前記広範囲撮影手段で撮影された前記被写体の全体領域の画像を解析することにより前記撮像すべき対象物を検出する手段と、を有する
ことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記保持手段は、前記被写体を保持したまま前記表面形状計測手段の計測位置と前記撮像手段の撮像位置のあいだを移動するステージを有する
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記保持手段は、前記被写体を保持したまま、前記広範囲撮影手段の撮影位置、前記表面形状計測手段の計測位置、および、前記撮像手段の撮像位置のあいだを移動するステージを有する
ことを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記保持手段は、前記被写体を保持したまま前記表面形状計測手段の計測位置と前記撮像手段の撮像位置のあいだを移動するステージと、前記ステージに保持されている被写体と前記広範囲撮影手段の撮影位置にある被写体とを交換する交換手段と、を有する
ことを特徴とする請求項３に記載の撮像装置。
【請求項７】
前記ステージに保持されている被写体に対し前記表面形状計測手段による計測処理および前記撮像手段による撮像処理が行われているあいだに、前記特定手段は、前記広範囲撮影手段の撮影位置にある被写体に対し存在領域を特定する処理を行う
ことを特徴とする請求項６に記載の撮像装置。
【請求項８】
複数の被写体を格納するストッカーと、前記ストッカーから被写体を搬送する搬送手段と、をさらに有し、
前記ステージに保持されている被写体に対し前記表面形状計測手段による計測処理および前記撮像手段による撮像処理が行われているあいだに、前記搬送手段は、次の被写体を前記ストッカーから前記広範囲撮影手段の撮影位置へ搬送する
ことを特徴とする請求項６または７に記載の撮像装置。
【請求項９】
前記広範囲撮影手段で撮影された前記被写体の全体領域の画像を解析することにより、前記被写体のエラー検出を行う手段をさらに有する
ことを特徴とする請求項３〜８のいずれか１項に記載の撮像装置。
【請求項１０】
被写体を保持する保持手段と、前記被写体の表面形状を計測する表面形状計測手段と、前記表面形状計測手段により計測された表面形状に合わせて撮像面を調整して、前記被写体の撮像を行う撮像手段と、を備えた撮像装置の制御方法であって、
前記被写体の全体領域のなかから撮像すべき対象物が存在する存在領域を特定する特定工程と、
前記特定工程において特定された存在領域の表面形状のみを前記表面形状計測手段により計測する計測工程と、を含む
ことを特徴とする撮像装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−３２１８（Ｐ２０１３−３２１８Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３１５９４（Ｐ２０１１−１３１５９４）
【出願日】平成２３年６月１３日（２０１１．６．１３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１３日（２０１１．６．１３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]