画像取得装置、画像取得方法、およびコンピュータプログラム
【課題】ユーザにとっての利便性の向上および効率の向上を図る。Ｚスタックの画像の枚数を低減しつつ、観察対象の撮像漏れのないＺスタックを得る。
【解決手段】この画像取得装置は、撮像対象の部位を拡大する対物レンズを含む光学系と、前記光学系により拡大される前記部位を結像する全画素同時露光が可能な撮像素子と、前記撮像対象の部位の厚さ方向に前記対物レンズの焦点を移動させる移動制御部と、前記焦点を移動させることが可能な方向の位置によって区分される範囲毎に、当該範囲を網羅する平均画像が得られるように撮像素子を複数の位置で多重露光させる多重露光処理部とを具備する。
【解決手段】この画像取得装置は、撮像対象の部位を拡大する対物レンズを含む光学系と、前記光学系により拡大される前記部位を結像する全画素同時露光が可能な撮像素子と、前記撮像対象の部位の厚さ方向に前記対物レンズの焦点を移動させる移動制御部と、前記焦点を移動させることが可能な方向の位置によって区分される範囲毎に、当該範囲を網羅する平均画像が得られるように撮像素子を複数の位置で多重露光させる多重露光処理部とを具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、顕微鏡を用いて画像を取得する画像取得装置、画像取得方法、およびコンピュータプログラムに関する。
【背景技術】
【０００２】
病理診断では、組織切片等の生体サンプルを所定の倍率で拡大した高精細な生体サンプル画像が用いられる。そこで、生体サンプルが存在する領域を複数の小領域に分割し、該小領域を所定の倍率で拡大して撮像することにより分割画像を取得し、複数の分割画像を結合して高精細な生体サンプル画像を生成する顕微鏡装置が提案されている。
【０００３】
また、生体サンプルの同じ領域を数μｍの間隔で複数の焦点位置において撮像してそれぞれを可視化することも行われている。これらの焦点位置が異なる条件で撮像された複数の顕微鏡画像のセットは「Ｚスタック」と呼ばれる（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００８−５００６４３号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば、厚さが１０μｍの生体サンプルを１μｍの間隔の焦点位置でそれぞれ撮像すると１０回の撮像が必要となる。すなわち１つの小領域に対して１０枚の画像が得られることになる。また、焦点深度が１μｍの光学系を採用した場合、１μｍ程度の間隔では観察対象物の見逃しが生じるおそれがあるという理由から、０．５μｍあるいはそれ以下の間隔が妥当であるという意見が多い。しかしながら、焦点位置の間隔を狭めるに従い、１つのＺスタックを構成する画像データの総容量が増大する。まして１つの生体サンプル分のデータとなると膨大な総容量となる。これは、顕微鏡装置で撮像された画像データを蓄積する装置内のＨＤＤなどのストレージの交換周期を早めて保守管理の煩雑さを招くとともに、顕微鏡装置から画像データ蓄積装置へのデータ伝送や現像処理などをボトルネックとした撮像スピードの低下を招くことになる。
【０００６】
本技術は、このような課題を解決して、ユーザにとっての利便性の向上および効率の向上を図ることのできる画像取得装置、画像取得方法、およびコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本技術に係る画像取得装置は、撮像対象の部位を拡大する対物レンズを含む光学系と、前記光学系により拡大される前記部位を結像する全画素同時露光が可能な撮像素子と、前記撮像対象の部位の厚さ方向に前記対物レンズの焦点を移動させる移動制御部と、前記焦点を移動させることが可能な方向の位置によって区分される範囲毎に、当該範囲を網羅する平均画像が得られるように撮像素子を複数の位置で多重露光させる多重露光処理部とを具備する。
【０００８】
前記範囲の長さは、前記光学系の焦点深度に前記露光の多重数を乗じた値以下である。
【０００９】
前記多重露光処理部は、前記対物レンズの焦点位置を移動させながら前記撮像素子を多重露光させるものであってよい。
【００１０】
前記多重露光処理部は、前記複数の位置に跨って前記撮像素子を連続的に露光させるものであってよい。
【００１１】
前記範囲毎の前記連続的に露光させる位置が、それぞれの前記範囲間で連続するものであってよい。
【００１２】
本技術の別の観点に基づく画像取得方法は、移動制御部が、観察対象の部位の厚さ方向に対物レンズの焦点を移動させ、多重露光処理部が、前記焦点を移動させることが可能な方向の位置によって区分される範囲毎に、当該範囲を網羅する平均画像が得られるように撮像素子を複数の位置で多重露光させるというものである。
【００１３】
本技術の別の観点に基づくコンピュータプログラムは、撮像対象の部位を拡大する対物レンズを含む光学系と、前記光学系により拡大される前記部位を結像する全画素同時露光が可能な撮像素子とを具備する顕微鏡を制御するコンピュータを動作させるプログラムであって、前記撮像対象の部位の厚さ方向に前記対物レンズの焦点を移動させる移動制御部と、前記焦点を移動させることが可能な方向の位置によって区分される範囲毎に、当該範囲を網羅する平均画像が得られるように撮像素子を複数の位置で多重露光させる多重露光処理部として前記コンピュータを動作させるプログラムである。
【発明の効果】
【００１４】
以上のように、本技術によれば、ユーザにとっての利便性の向上および効率の向上を図ることができる。
【図面の簡単な説明】
【００１５】
【図１】典型的なＺスタック撮像方法を示す図である。
【図２】本技術の撮影方法を示す図である。
【図３】本技術に係る第１の実施形態の画像取得装置の構成を示すブロック図である。
【図４】図３の画像取得装置におけるデータ処理部のハードウェアの構成を示すブロック図である。
【図５】図４のデータ処理部の機能的な構成を示すブロック図である。
【図６】図３の画像取得装置による撮像対象の領域を示す図である。
【図７】図３の画像取得装置によるＺスタックの撮像時の各部の動作のタイミングチャートである。
【図８】本実施形態の画像取得装置により取得されたＺスタックと典型的なＺスタックとを比較して示す図である。
【図９】Ｚスタックの固定焦点画像および平均画像と図６の撮像対象領域との関係を示す図である。
【図１０】平均画像と固定焦点画像とを比較して示すための図である。
【図１１】５４０ｎｍ緑色のイメージの一般的なデフォーカス特性を示すグラフである。
【図１２】４μｍの範囲の平均画像のデフォーカス特性を示すグラフである。
【図１３】Ｚスタックの撮像時の動作の変形例１を示すタイミングチャートである。
【図１４】Ｚスタックの撮像時の動作の変形例２を示すタイミングチャートである。
【図１５】Ｚスタックの撮像時の動作の変形例３を示すタイミングチャートである。
【図１６】Ｚスタックの撮像時の動作の変形例４を示すタイミングチャートである。
【発明を実施するための形態】
【００１６】
以下、本技術に係る実施形態を図面を参照しながら説明する。
＜第１の実施形態＞
［１．本実施形態の画像取得装置の概要］
図１は、典型的なＺスタック撮像方法を示す図である。
例えば細胞スメアスライドなど、厚さのある生体サンプルの検査においては、細胞１内に存在するかもしれない細菌２などの観察対象を逃さず見つけ出すことができるように、複数の焦点位置（Ｚ１，Ｚ２，・・・Ｚｎ）で画像を撮像することが行われる。このような複数の焦点位置で撮像された複数の画像は「Ｚスタック」と呼ばれる。
【００１７】
一方、顕微鏡の光学系には開口数のできるだけ高い（例えばＮＡ＝０．６〜０．８）対物レンズが使用される。この程度の開口数を有する対物レンズを用いた光学系の焦点深度は約１μｍである。この場合、Ｚスタックの間隔を１μｍにすることによって、理論的には生体サンプル全体を三次元的に無駄なく網羅したＺスタックを得ることができる。しかし、より漏れの少ない観察のためには、より小さい間隔、例えば０．５μｍといった間隔の画像が望まれている。
【００１８】
しかし、Ｚスタックの間隔を小さくすればするほどＺスタックの画像枚数が増えて全体のデータサイズが膨大化する。Ｚスタック単位のデータサイズが大きくなると、画像の取得に要する時間が長くかかるとともに、画像を蓄積するストレージやその交換等の保守管理に要するコストの増大を招く。
【００１９】
本実施形態の画像取得装置は、例えば図２に示すように、焦点を移動させることが可能な方向の位置によって区分される範囲毎に、当該範囲を網羅する平均画像が得られるように撮像素子を複数の位置で多重露光させるものである。ここで、範囲の長さは、対物レンズを用いた光学系の焦点深度に露光多重数を乗じた長さ、またはその長さ以下とする。
より具体的には、本実施形態の画像取得装置は、例えば、対物レンズを用いた光学系の焦点深度などを基準に予め決められた複数の焦点位置（Ｚ１，Ｚ２，・・・Ｚｎ）のなかの連続する複数の焦点位置で撮像素子を多重露光させたり、連続する複数の焦点位置間に跨って撮像素子を連続的に露光させたりすることで上記の平均画像を取得する。これによって、Ｚスタックの画像の枚数を低減しつつ、観察対象の撮像漏れのないＺスタックを得ることができる。
以下に、本実施形態の画像取得装置の詳細を説明する。
なお、本実施形態は、連続する２つの焦点位置で撮像素子を多重露光させることによって上記の平均画像を取得する画像取得装置である。
【００２０】
［２．画像取得装置の構成］
図３は本実施形態の画像取得装置１００の構成を示す図である。
【００２１】
画像取得装置１００は顕微鏡１０と、データ処理部２０とを有する。
顕微鏡１０は、ステージ１１、光学系１２、光源ユニット１３、撮像素子１４、光源駆動部１５、ステージ駆動部１６、およびカメラ制御部１７を有する。
【００２２】
ステージ１１は、撮像対象である例えば組織切片、細胞又は染色体等の生体サンプルＳＰＬを配置可能な面を有する。ステージ１１は、その面に対して平行方向（ｘｙ軸）及び直交方向（ｚ軸方向）に移動自在に構成される。
なお、生体サンプルＳＰＬは、この実施形態ではスライドガラスＳＧに対して所定の固定手法により固定され、必要に応じて染色が施される。この染色には、ＨＥ（Hematoxylin-Eosin）染色、ギムザ染色又はパパニコロウ染色等に代表される一般染色のみならず、ＦＩＳＨ(Fluorescence In-Situ Hybridization)や酵素抗体法等の蛍光染色が含まれる。
【００２３】
ステージ１１の一方の面側には光学系１２が配され、ステージ１１の他方の面側には光源ユニット１３が配される。
【００２４】
光源ユニット１３は、光源駆動部１５による制御の下で光を出射し、該光をステージ１１に穿設される開口から、該ステージ１１の一方の面に配される生体サンプルＳＰＬに対して照射する。光源ユニット１３は、白色光を出力する白色ＬＥＤ（Light Emitting Diode）などを光源１３Ａとして有する。光源ユニット１３は、光源１３Ａから出射された光を略平行光に変換して生体サンプルＳＰＬに対する照明光とする集光レンズ１３Ｂを有する。
【００２５】
光学系１２は、照明光により得られる生体サンプルＳＰＬにおける一部の像を、対物レンズ１２Ａ及び結像レンズ１２Ｂによって所定の倍率に拡大する。対物レンズ１２Ａ及び結像レンズ１２Ｂにより拡大された像は撮像素子１４の撮像面に結像される。撮像素子１４としては、全画素に対応する全受光部での同時露光が可能な撮像素子、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサ、およびＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどが用いられる。
【００２６】
光源駆動部１５は、データ処理部２０からのストロボ発光命令Ｓ１をもとに光源ユニット１３内の光源１３Ａに一定の駆動電流を供給して光源１３Ａを発光させるドライブ回路を少なくとも有する。
【００２７】
ステージ駆動部１６は、データ処理部２０からのステージ制御信号Ｓ２をもとにステージ１１を駆動するためのｘｙｚの３軸方向それぞれのステージ駆動電流を供給してステージ１１を３軸方向に移動させる。
【００２８】
カメラ制御部１７は、データ処理部２０からの露光制御信号Ｓ３をもとに撮像素子１４の制御を行う。カメラ制御部１７は、撮像素子１４から読み出された各画素に対応する信号（ＲＡＷデータ）をＡ／Ｄ（Analog to Digital）変換してデータ処理部２０に供給する。
【００２９】
データ処理部２０は、顕微鏡１０のカメラ制御部１７より供給されるＲＡＷデータの現像処理、現像データのスティッチング処理などを行って生体サンプル画像を生成し、これをＪＰＥＧ（Joint Photographic Experts Group）など所定の圧縮形式のデータに符号化して保存する。また、データ処理部２０は、所定のプログラムに基づいて光源駆動部１５、ステージ駆動部１６及び露光制御部１７をそれぞれ制御するための演算処理を実行する。
【００３０】
［３．データ処理部の構成］
次に、データ処理部２０の構成について説明する。
図４はデータ処理部２０のハードウェアの構成を示すブロック図である。
データ処理部２０は、演算制御を行うＣＰＵ(Central Processing Unit)２１、ＲＯＭ(Read Only Memory)２２、ＣＰＵ２１のワークメモリとなるＲＡＭ(Random Access Memory)２３、ユーザの操作に応じた命令を入力する操作入力部２４、インターフェイス部２５、表示部２６、記憶部２７及びこれらを互いに接続するバス２８を備える。
【００３１】
ＲＯＭ２２には、各種の処理を実行するためのプログラムが格納される。インターフェイス部２５には、顕微鏡１０が接続される。
【００３２】
表示部２６には、液晶ディスプレイ、ＥＬ（Electro Luminescence）ディスプレイ又はプラズマディスプレイ等が適用される。記憶部２７には、ＨＤＤ（Hard Disk Drive）に代表される磁気ディスクもしくは半導体メモリ又は光ディスク等が適用される。
【００３３】
ＣＰＵ２１は、ＲＯＭ２２に格納される複数のプログラムのうち、操作入力部２４から与えられる命令に対応するプログラムをＲＡＭ２３に展開し、該展開したプログラムにしたがって、表示部２６及び記憶部２７を適宜制御する。またＣＰＵ２１は、ＲＡＭ２３に展開されたプログラムに従って、インターフェイス部２５を介して顕微鏡１０の各部を適宜制御する。
【００３４】
［４．生体サンプル画像の取得処理］
次に、本実施形態の画像取得装置１００における生体サンプル画像の取得処理について説明する。
【００３５】
ＣＰＵ２１は、生体サンプルＳＰＬの画像の取得命令を操作入力部２４から受けた場合、該取得命令に対応するプログラムをＲＡＭ２３に展開する。
【００３６】
ＣＰＵ２１は、生体サンプルＳＰＬの画像の取得命令に対応するプログラムに従って、図５に示すように、ステージ制御部３１（移動制御部）、露光制御部３２（多重露光処理部）、ストロボ制御部３３（多重露光処理部）、画像取得部３４、現像処理部３５、画像圧縮部３６及びデータ記録部３７として機能する。
【００３７】
ステージ制御部３１は、例えば図６に示すように、生体サンプルＳＰＬの撮像対象とすべき領域（以下、これをサンプル領域とも呼ぶ）ＰＲを対物レンズ１２Ａ及び結像レンズ１２Ｂの拡大倍率に合わせて複数の小領域ＡＲに割り当てる。
【００３８】
ステージ制御部３１は、複数の小領域ＡＲのうち、撮像素子１４によって撮像される領域が例えば左上の小領域ＡＲとなるように、ステージ１１を移動させる。
【００３９】
この後、図６に示したように、当該左上の小領域ＡＲについて、複数の焦点位置（Ｚ１，Ｚ２，・・・Ｚｎ）での複数の画像をＺスタックとして取得するための処理が次のように実行される。なお、複数の焦点位置（Ｚ１，Ｚ２，・・・Ｚｎ）は、対物レンズを用いた光学系の焦点深度を基準に決められている。本実施形態では、焦点位置の間隔を対物レンズ１２Ａを含む光学系１２の焦点深度と同一としたものである。但し、本技術は、焦点位置の間隔は光学系の焦点深度以下であればよい。
【００４０】
図７はＺスタックの撮像時の画像取得装置１００の各部の動作のタイミングチャートである。上から順に、光照射、撮像素子１４の露光、ステージ１１のｚ軸方向の移動それぞれのオン／オフのタイミングを示す。
【００４１】
・最初の２つの焦点位置Ｚ１、Ｚ２での多重露光
まず、ステージ制御部３１は、最初の焦点位置Ｚ１に焦点が結ばれるようにステージ１１のｚ軸方向の位置を設定する。
露光制御部３２は、顕微鏡１０内の撮像素子１４を画像の取り込み状態である露光可能状態にするようにカメラ制御部１７に露光制御信号Ｓ３を供給する。カメラ制御部１７は露光制御信号Ｓ３を受けると、光源ユニット１３からの光照射に先立ち、撮像素子１４を露光可能な状態にする（Ｔ１）。
【００４２】
撮像素子１４が露光可能な状態になった後、データ処理部２０内のストロボ制御部３３は、光源ユニット１３から一定光量の光を出射させるように光源駆動部１５にストロボ発光命令Ｓ１を供給する。これにより焦点位置Ｚ１での撮像素子１４の全画素同時露光（初回の露光）が行われる（Ｔ２）。
【００４３】
ここで典型的には、撮像素子１４の画素毎の値がカメラ制御部１７によって取り込まれてデータ処理部２０に伝送されるが、本実施形態では、露光制御部３２は撮像素子１４の露光可能状態を継続させる。
【００４４】
撮像素子１４の初回の露光後、データ処理部２０のステージ制御部３１は、焦点位置をＺ２に移動させるようにステージ制御信号Ｓ２をステージ駆動部１６に供給する（Ｔ３）。焦点位置Ｚ２への移動が完了したところでステージ制御部３１はステージ１１を停止させる（Ｔ４）。
【００４５】
この後、ストロボ制御部３３は、再度光源ユニット１３から光を出射させるように光源駆動部１５にストロボ発光命令Ｓ１を供給する。これにより焦点位置Ｚ２での撮像素子１４の露光（２回目の露光）が行われる（Ｔ５）。
【００４６】
ここで、撮像素子１４の全画素の受光部には、既に焦点位置Ｚ１での露光によって電荷が蓄積された状態にある。したがって、今回の焦点位置Ｚ２での露光によって、撮像素子１４の全画素の受光部には、２つの焦点位置Ｚ１、Ｚ２それぞれにおける光電変換により得られた電荷が画素毎に足し合わされた状態で蓄積される。すなわち、撮像素子１４は２つの焦点位置Ｚ１、Ｚ２で二重露光されることで、２つの焦点位置Ｚ１、Ｚ２の画像が１つの平均画像として合成されることになる。
【００４７】
撮像素子１４の２回目の露光（焦点位置Ｚ２での露光）が終了した後、露光制御部３２は、撮像素子１４から全画素のデータを取り込むようにカメラ制御部１７に制御信号Ｓ３を供給する。カメラ制御部１７は、当該制御信号Ｓ３に従って、撮像素子１４の全画素の受光部にそれぞれ蓄積された電荷に対応する電圧信号をＴ６からＴ７の期間に取り込み、Ａ／Ｄ変換など、必要な信号処理を施して生成された全画素のデータをデータ処理部２０の露光制御部３２に画像ＲＡＷデータとして伝送する。以上で、２つの焦点位置Ｚ１、Ｚ２での多重露光による平均画像の撮像が完了する。
【００４８】
・次の２つの焦点位置Ｚ３、Ｚ４での多重露光
続いて、次の２つの焦点位置Ｚ３、Ｚ４についての多重露光による撮像が同様に行われる。すなわち、前の２つの焦点位置Ｚ１、Ｚ２で多重露光がされた撮像素子１４からの画像の取り込みが完了したところで、露光制御部３２は再度、カメラ制御部１７に露光制御信号Ｓ３を供給して撮像素子１４を再び露光可能状態にする（Ｔ８）。
【００４９】
ステージ制御部３１は、撮像素子１４の２回目の露光（焦点位置Ｚ２での露光）が終了したところで（Ｔ６）、次の焦点位置Ｚ３への移動を行うようにステージ制御信号Ｓ２をステージ駆動部１６に供給する。次の焦点位置Ｚ３への移動が完了したところで、ステージ制御部３１はステージ１１を停止させる（Ｔ９）。
【００５０】
撮像素子１４が露光可能状態であり、次の焦点位置Ｚ３への移動が完了したところで、ストロボ制御部３３は再度、光源ユニット１３から光を出射させるように、光源駆動部１５にストロボ発光命令Ｓ１を供給する。これにより次の焦点位置Ｚ３での撮像素子１４の初回の露光が行われる（Ｔ１０）。
【００５１】
露光制御部３２は、光源ユニット１３から生体サンプルＳＰＬへの光照射が終了後も撮像素子１４の露光可能状態を継続させる。光源ユニット１３からの光の出射が終了すると、データ処理部２０のステージ制御部３１は、次の焦点位置Ｚ４に移動させるようにステージ制御信号Ｓ２をステージ駆動部１６に供給する。次の焦点位置Ｚ４への移動が完了したところで、ステージ制御部３１はステージ１１を停止させる（Ｔ１１）。
【００５２】
この後、ストロボ制御部３３は、再度光源ユニット１３から光を出射させるように、光源駆動部１５にストロボ発光命令Ｓ１を供給する。これにより次の焦点位置Ｚ４での撮像素子１４の２回目の露光が行われる（Ｔ１２）。撮像素子１４の２回目の露光（焦点位置Ｚ４での露光）が終了した後、露光制御部３２は、撮像素子１４から全画素のデータを取り込むようにカメラ制御部１７に制御信号Ｓ３を供給する。カメラ制御部１７は、当該制御信号Ｓ３に従って、撮像素子１４の全画素の受光部にそれぞれ蓄積された電荷に対応する電圧信号をＴ１３からＴ１４の期間に取り込み、Ａ／Ｄ変換など、必要な信号処理を施して生成された全画素のデジタルデータをデータ処理部２０の露光制御部３２に画像ＲＡＷデータとして伝送する。以上で、次の２つの焦点位置Ｚ３、Ｚ４での二重露光による平均画像の取得が完了する。
以降に続く焦点位置においても、二重露光による平均画像の取得が同様に繰り返される。
【００５３】
以上のようにして撮像された複数の平均画像で構成されるＺスタックは、焦点位置毎に撮像素子を１回だけ露光する典型的な方法により得たＺスタックと比較して、画像の枚数が大幅に少なくて済む。また、個々の画像は２つの焦点位置での撮像素子１４の二重露光による平均画像であることから、対物レンズを用いた光学系の焦点深度が２つの焦点位置の間隔以上であれば、観察対象の撮像漏れのないＺスタックを得ることができる。
【００５４】
図８は本実施形態の画像取得装置１００により取得された平均画像と典型的なＺスタックにおける固定焦点画像とを比較して示す図である。
典型的なＺスタックにおけるそれぞれの固定焦点画像は、撮像間隔を０．５μｍとして、それぞれの焦点位置Ｚ１，Ｚ２，・・・，Ｚ１０，・・・（図１参照）で撮像して得られた画像である。なお、これらの固定焦点画像は、図９に示すように、撮像素子１４により撮像された画像（図６の小領域ＡＲ）の中のさらに一部分ＢＲである。
【００５５】
一方、平均画像Ｚ１−Ｚ２は２つの焦点位置Ｚ１、Ｚ２での二重露光により得られた画像である。平均画像Ｚ３−Ｚ４は２つの焦点位置Ｚ３、Ｚ４での二重露光により得られた画像である。平均画像Ｚ５−Ｚ６は２つの焦点位置Ｚ５、Ｚ６での二重露光により得られた画像である。平均画像Ｚ７−Ｚ８は２つの焦点位置Ｚ７、Ｚ８での二重露光により得られた画像である。平均画像Ｚ９−Ｚ１０は２つの焦点位置Ｚ９、Ｚ１０での二重露光により得られた画像である。
【００５６】
これらの平均画像と固定焦点画像とを見比べて分かるように、平均画像の画質は二重露光による分、対応する固定焦点画像と比較してやや劣るものの、生体サンプルの観察上問題の無い程度であると言える。
【００５７】
平均画像は、連続する２つの焦点位置Ｚ３、Ｚ４での二重露光により得られた画像のみならず、３つ以上の焦点位置での多重露光により得られた画像であってもよい。図８において、平均画像Ｚ１−Ｚ４は４つの焦点位置Ｚ１、Ｚ２、Ｚ３、Ｚ４での多重露光により得られた画像である。平均画像Ｚ５−Ｚ８は４つの焦点位置Ｚ５、Ｚ６、Ｚ７、Ｚ８での多重露光により得られた画像である。平均画像Ｚ９−Ｚ１２は４つの焦点位置Ｚ９、Ｚ１０、Ｚ１１、Ｚ１２での多重露光により得られた画像である。
このように、連続する４つの焦点位置での多重露光により得られた平均画像についても、生体サンプルの観察上問題無い程度の画質が得られることが確認された。参考のため、図１０に連続する４つの焦点位置での多重露光により得られた平均画像と、その４つの焦点位置での固定焦点画像とを対比して示す。
【００５８】
次に、本実施形態の画像取得装置１００によって得られる平均画像の画質が生体サンプルの観察用途において十分なものであることの理由を説明する。
図１１は微細な発光点から発せられる５４０ｎｍ（緑色）の光をＮＡ０．８の対物レンズにて観察した際に得られる輝点イメージのデフォーカス特性を示すグラフである。
このグラフにおいて、縦軸は情報を計算した各ピクセルの輝度を示すカウント値（intensity count）、横軸はイメージャ上のピクセル（pixels）、グラフ中の複数の線はデフォーカス量毎の光軸のずれ量とカウント値との相関をそれぞれ示す。なお、カウント値（intensity count）は輝度（コントラスト）の指標値である。このように、５４０ｎｍ緑色のイメージのデフォーカス特性においては、デフォーカス量が２μｍを越えるあたりから急激に輝度（コントラスト）が低下することが分かる。
【００５９】
図１２は４μｍの範囲の平均画像のデフォーカス特性を示すグラフである。点線で示す線は固定焦点画像のデフォーカス特性であり、その他の複数の実線はそれぞれ４μｍの範囲の平均画像のデフォーカス特性である。すなわち、平均画像Ａは合焦位置からこの合焦位置より下に４μｍまでの範囲の平均画像、平均画像Ｂは合焦位置からこの合焦位置より上に４μｍまでの範囲の平均画像、平均画像Ｃは合焦位置より下に３μｍの位置から合焦位置より下に３μｍまでの範囲の平均画像、平均画像Ｄは合焦位置より下に１μｍの位置から合焦位置より上に３μｍまでの範囲の平均画像、平均画像Ｅは合焦位置より上に２μｍの位置から合焦位置より下に２μｍまでの範囲の平均画像Ｅである。平均画像Ａと平均画像Ｂのデフォーカス特性はほぼ同じであるため、これらは１つの実線で示した。同様に平均画像Ｃと平均画像Ｄのデフォーカス特性はほぼ同じであるため、これらも１つの実線で示した。
【００６０】
図１１と図１２を比較すると、４μｍの範囲の平均画像の輝度（コントラスト）は、デフォーカス量が１μｍのときと同程度であり、生体サンプルの観察用途において十分なものと言える。
【００６１】
以上のように、本実施形態の画像取得装置１００によれば、実用上十分な画質を確保しつつ、より少ない枚数の画像で、観察対象の撮像漏れのないＺスタックを得ることができる。これにより、撮像された画像データを蓄積する装置内のＨＤＤなどのストレージの交換周期を引き延ばすことができ、保守管理の煩雑さを軽減できる。加えて、画像取得速度の向上を図れる。
【００６２】
＜変形例１＞
次に、上記の実施形態の変形例を説明する。
図１３はＺスタックの撮像時の動作の変形例１を示すタイミングチャートである。
この変形例１の画像取得装置は、上記の実施形態の画像取得装置１００によるＺスタック撮像動作において、ステージ１１を連続して移動させる、つまり焦点位置を連続的に移動させるようにしたものである。ステージ１１の移動速度は少なくとも露光中は一定であることが望ましい。
【００６３】
この方式によれば、ステージ１１を静定させるために必要な時間を排除できることによって、Ｚスタック撮像の全体的な時間の短縮を図れる。なお、本変形例１の画像取得装置の動作は、ステージ１１を停止させないこと以外は上記の実施形態の画像取得装置１００と基本的には同様である。この変形例１によっても、上記の実施形態の効果を同様に得ることができる。
【００６４】
＜変形例２＞
図１４はＺスタックの撮像時の動作の変形例２を示すタイミングチャートである。
変形例２の画像取得装置は、ステージ１１を連続して移動させるとともに、連続する複数の焦点位置に跨って撮像素子１４を連続的に露光させるように光照射タイミングが設定されたものである。本変形例２の画像取得装置のその他の動作は、変形例１の画像取得装置と基本的には同様である。この変形例２によっても、上記の実施形態の効果を同様に得ることができる。また、連続する複数の焦点位置に跨って撮像素子１４を連続的に露光させることによって、上記の変形例１に比較して、観察対象の撮像漏れによる見逃しが生じる危険をよりいっそう低減することができる。
【００６５】
＜変形例３＞
図１５はＺスタックの撮像時の動作の変形例３を示すタイミングチャートである。
変形例３の画像取得装置は、連続する複数の焦点位置に跨って撮像素子１４を連続的に露光させる間、光源ユニット１３の光照射のオンとオフを焦点位置の間隔よりも短い一定の周期で繰り返し切り替えるようにしたものである。この変形例３によっても、上記の実施形態の画像処理装置１００および変形例２の画像処理装置の効果を同様に得ることができる。また、本変形例３によれば、光照射のオンデューティ比の選択により露光時間を調整することが可能である。
【００６６】
＜変形例４＞
図１６はＺスタックの撮像時の動作の変形例４を示すタイミングチャートである。
本変形例４の画像取得装置は、光源ユニット１３からの光照射タイミングとステージ１１の移動タイミングとを同期させるとともに、Ｚスタックの間隔毎にステージ１１の移動と停止を切り替えることによって、連続的に露光される位置が範囲（図２参照）間で連続するようにしたものである。
【００６７】
すなわち、ステージ制御部３１は１回の露光時間に焦点位置をＺ１からＺ２まで移動させるようにステージ１１を制御する。ステージ制御部３１は１回の露光が完了したところでステージ１１を停止させ、次の露光時間に焦点位置をＺ２からＺ３まで移動させるようにステージ１１を制御する。本変形例４によれば、ｚ軸方向の全ての範囲を網羅した撮像を行うことができるので、観察対象の撮像漏れによる見逃しが生じる危険を、上記の実施形態および変形例に比較して、より確実に低減することができる。
【００６８】
以上、透過照明画像の撮像を行う画像取得装置について、説明してきたが、本技術は、暗視野光源を用いて蛍光画像を撮像する装置に対しても同様に適用できることは言うまでもない。
【００６９】
なお、本技術は以下のような構成も採ることができる。
（１） 撮像対象の部位を拡大する対物レンズを含む光学系と、
前記光学系により拡大される前記部位を結像する全画素同時露光が可能な撮像素子と、
前記撮像対象の部位の厚さ方向に前記対物レンズの焦点を移動させる移動制御部と、
前記焦点を移動させることが可能な方向の位置によって区分される範囲毎に、当該範囲を網羅する平均画像が得られるように撮像素子を複数の位置で多重露光させる多重露光処理部と
を具備する画像取得装置。
（２）前記（１）に記載の画像取得装置であって、
前記範囲の長さは、前記光学系の焦点深度に前記露光の多重数を乗じた値以下である
画像取得装置。
（３）前記（１）から（２）のうちいずれか１つに記載の画像取得装置であって、
前記多重露光処理部は、前記対物レンズの焦点位置を移動させながら前記撮像素子を多重露光させる
画像取得装置。
（４）前記（１）から（２）のうちいずれか１つに記載の画像取得装置であって、
前記多重露光処理部は、前記複数の位置に跨って前記撮像素子を連続的に露光させる
画像取得装置。
（５）前記（４）に記載の画像取得装置であって、
前記範囲毎の前記連続的に露光させる位置が、それぞれの前記範囲間で連続する
画像取得装置。
【符号の説明】
【００７０】
ＳＰＬ…生体サンプル
１０…顕微鏡
２０…データ処理部
１１…ステージ
１２…光学系
１２Ａ…対物レンズ
１２Ｂ…結像レンズ
１３…光源ユニット
１３Ａ…光源
１３Ｂ…集光レンズ
１４…撮像素子
１５…光源駆動部
１６…ステージ駆動部
１７…カメラ制御部
２１…ＣＰＵ
２２…ＲＯＭ
２３…ＲＡＭ
２４…操作入力部
３１…ステージ制御部
３２…露光制御部
３３…ストロボ制御部
３４…画像取得部
１００…画像取得装置
【技術分野】
【０００１】
本技術は、顕微鏡を用いて画像を取得する画像取得装置、画像取得方法、およびコンピュータプログラムに関する。
【背景技術】
【０００２】
病理診断では、組織切片等の生体サンプルを所定の倍率で拡大した高精細な生体サンプル画像が用いられる。そこで、生体サンプルが存在する領域を複数の小領域に分割し、該小領域を所定の倍率で拡大して撮像することにより分割画像を取得し、複数の分割画像を結合して高精細な生体サンプル画像を生成する顕微鏡装置が提案されている。
【０００３】
また、生体サンプルの同じ領域を数μｍの間隔で複数の焦点位置において撮像してそれぞれを可視化することも行われている。これらの焦点位置が異なる条件で撮像された複数の顕微鏡画像のセットは「Ｚスタック」と呼ばれる（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００８−５００６４３号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば、厚さが１０μｍの生体サンプルを１μｍの間隔の焦点位置でそれぞれ撮像すると１０回の撮像が必要となる。すなわち１つの小領域に対して１０枚の画像が得られることになる。また、焦点深度が１μｍの光学系を採用した場合、１μｍ程度の間隔では観察対象物の見逃しが生じるおそれがあるという理由から、０．５μｍあるいはそれ以下の間隔が妥当であるという意見が多い。しかしながら、焦点位置の間隔を狭めるに従い、１つのＺスタックを構成する画像データの総容量が増大する。まして１つの生体サンプル分のデータとなると膨大な総容量となる。これは、顕微鏡装置で撮像された画像データを蓄積する装置内のＨＤＤなどのストレージの交換周期を早めて保守管理の煩雑さを招くとともに、顕微鏡装置から画像データ蓄積装置へのデータ伝送や現像処理などをボトルネックとした撮像スピードの低下を招くことになる。
【０００６】
本技術は、このような課題を解決して、ユーザにとっての利便性の向上および効率の向上を図ることのできる画像取得装置、画像取得方法、およびコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本技術に係る画像取得装置は、撮像対象の部位を拡大する対物レンズを含む光学系と、前記光学系により拡大される前記部位を結像する全画素同時露光が可能な撮像素子と、前記撮像対象の部位の厚さ方向に前記対物レンズの焦点を移動させる移動制御部と、前記焦点を移動させることが可能な方向の位置によって区分される範囲毎に、当該範囲を網羅する平均画像が得られるように撮像素子を複数の位置で多重露光させる多重露光処理部とを具備する。
【０００８】
前記範囲の長さは、前記光学系の焦点深度に前記露光の多重数を乗じた値以下である。
【０００９】
前記多重露光処理部は、前記対物レンズの焦点位置を移動させながら前記撮像素子を多重露光させるものであってよい。
【００１０】
前記多重露光処理部は、前記複数の位置に跨って前記撮像素子を連続的に露光させるものであってよい。
【００１１】
前記範囲毎の前記連続的に露光させる位置が、それぞれの前記範囲間で連続するものであってよい。
【００１２】
本技術の別の観点に基づく画像取得方法は、移動制御部が、観察対象の部位の厚さ方向に対物レンズの焦点を移動させ、多重露光処理部が、前記焦点を移動させることが可能な方向の位置によって区分される範囲毎に、当該範囲を網羅する平均画像が得られるように撮像素子を複数の位置で多重露光させるというものである。
【００１３】
本技術の別の観点に基づくコンピュータプログラムは、撮像対象の部位を拡大する対物レンズを含む光学系と、前記光学系により拡大される前記部位を結像する全画素同時露光が可能な撮像素子とを具備する顕微鏡を制御するコンピュータを動作させるプログラムであって、前記撮像対象の部位の厚さ方向に前記対物レンズの焦点を移動させる移動制御部と、前記焦点を移動させることが可能な方向の位置によって区分される範囲毎に、当該範囲を網羅する平均画像が得られるように撮像素子を複数の位置で多重露光させる多重露光処理部として前記コンピュータを動作させるプログラムである。
【発明の効果】
【００１４】
以上のように、本技術によれば、ユーザにとっての利便性の向上および効率の向上を図ることができる。
【図面の簡単な説明】
【００１５】
【図１】典型的なＺスタック撮像方法を示す図である。
【図２】本技術の撮影方法を示す図である。
【図３】本技術に係る第１の実施形態の画像取得装置の構成を示すブロック図である。
【図４】図３の画像取得装置におけるデータ処理部のハードウェアの構成を示すブロック図である。
【図５】図４のデータ処理部の機能的な構成を示すブロック図である。
【図６】図３の画像取得装置による撮像対象の領域を示す図である。
【図７】図３の画像取得装置によるＺスタックの撮像時の各部の動作のタイミングチャートである。
【図８】本実施形態の画像取得装置により取得されたＺスタックと典型的なＺスタックとを比較して示す図である。
【図９】Ｚスタックの固定焦点画像および平均画像と図６の撮像対象領域との関係を示す図である。
【図１０】平均画像と固定焦点画像とを比較して示すための図である。
【図１１】５４０ｎｍ緑色のイメージの一般的なデフォーカス特性を示すグラフである。
【図１２】４μｍの範囲の平均画像のデフォーカス特性を示すグラフである。
【図１３】Ｚスタックの撮像時の動作の変形例１を示すタイミングチャートである。
【図１４】Ｚスタックの撮像時の動作の変形例２を示すタイミングチャートである。
【図１５】Ｚスタックの撮像時の動作の変形例３を示すタイミングチャートである。
【図１６】Ｚスタックの撮像時の動作の変形例４を示すタイミングチャートである。
【発明を実施するための形態】
【００１６】
以下、本技術に係る実施形態を図面を参照しながら説明する。
＜第１の実施形態＞
［１．本実施形態の画像取得装置の概要］
図１は、典型的なＺスタック撮像方法を示す図である。
例えば細胞スメアスライドなど、厚さのある生体サンプルの検査においては、細胞１内に存在するかもしれない細菌２などの観察対象を逃さず見つけ出すことができるように、複数の焦点位置（Ｚ１，Ｚ２，・・・Ｚｎ）で画像を撮像することが行われる。このような複数の焦点位置で撮像された複数の画像は「Ｚスタック」と呼ばれる。
【００１７】
一方、顕微鏡の光学系には開口数のできるだけ高い（例えばＮＡ＝０．６〜０．８）対物レンズが使用される。この程度の開口数を有する対物レンズを用いた光学系の焦点深度は約１μｍである。この場合、Ｚスタックの間隔を１μｍにすることによって、理論的には生体サンプル全体を三次元的に無駄なく網羅したＺスタックを得ることができる。しかし、より漏れの少ない観察のためには、より小さい間隔、例えば０．５μｍといった間隔の画像が望まれている。
【００１８】
しかし、Ｚスタックの間隔を小さくすればするほどＺスタックの画像枚数が増えて全体のデータサイズが膨大化する。Ｚスタック単位のデータサイズが大きくなると、画像の取得に要する時間が長くかかるとともに、画像を蓄積するストレージやその交換等の保守管理に要するコストの増大を招く。
【００１９】
本実施形態の画像取得装置は、例えば図２に示すように、焦点を移動させることが可能な方向の位置によって区分される範囲毎に、当該範囲を網羅する平均画像が得られるように撮像素子を複数の位置で多重露光させるものである。ここで、範囲の長さは、対物レンズを用いた光学系の焦点深度に露光多重数を乗じた長さ、またはその長さ以下とする。
より具体的には、本実施形態の画像取得装置は、例えば、対物レンズを用いた光学系の焦点深度などを基準に予め決められた複数の焦点位置（Ｚ１，Ｚ２，・・・Ｚｎ）のなかの連続する複数の焦点位置で撮像素子を多重露光させたり、連続する複数の焦点位置間に跨って撮像素子を連続的に露光させたりすることで上記の平均画像を取得する。これによって、Ｚスタックの画像の枚数を低減しつつ、観察対象の撮像漏れのないＺスタックを得ることができる。
以下に、本実施形態の画像取得装置の詳細を説明する。
なお、本実施形態は、連続する２つの焦点位置で撮像素子を多重露光させることによって上記の平均画像を取得する画像取得装置である。
【００２０】
［２．画像取得装置の構成］
図３は本実施形態の画像取得装置１００の構成を示す図である。
【００２１】
画像取得装置１００は顕微鏡１０と、データ処理部２０とを有する。
顕微鏡１０は、ステージ１１、光学系１２、光源ユニット１３、撮像素子１４、光源駆動部１５、ステージ駆動部１６、およびカメラ制御部１７を有する。
【００２２】
ステージ１１は、撮像対象である例えば組織切片、細胞又は染色体等の生体サンプルＳＰＬを配置可能な面を有する。ステージ１１は、その面に対して平行方向（ｘｙ軸）及び直交方向（ｚ軸方向）に移動自在に構成される。
なお、生体サンプルＳＰＬは、この実施形態ではスライドガラスＳＧに対して所定の固定手法により固定され、必要に応じて染色が施される。この染色には、ＨＥ（Hematoxylin-Eosin）染色、ギムザ染色又はパパニコロウ染色等に代表される一般染色のみならず、ＦＩＳＨ(Fluorescence In-Situ Hybridization)や酵素抗体法等の蛍光染色が含まれる。
【００２３】
ステージ１１の一方の面側には光学系１２が配され、ステージ１１の他方の面側には光源ユニット１３が配される。
【００２４】
光源ユニット１３は、光源駆動部１５による制御の下で光を出射し、該光をステージ１１に穿設される開口から、該ステージ１１の一方の面に配される生体サンプルＳＰＬに対して照射する。光源ユニット１３は、白色光を出力する白色ＬＥＤ（Light Emitting Diode）などを光源１３Ａとして有する。光源ユニット１３は、光源１３Ａから出射された光を略平行光に変換して生体サンプルＳＰＬに対する照明光とする集光レンズ１３Ｂを有する。
【００２５】
光学系１２は、照明光により得られる生体サンプルＳＰＬにおける一部の像を、対物レンズ１２Ａ及び結像レンズ１２Ｂによって所定の倍率に拡大する。対物レンズ１２Ａ及び結像レンズ１２Ｂにより拡大された像は撮像素子１４の撮像面に結像される。撮像素子１４としては、全画素に対応する全受光部での同時露光が可能な撮像素子、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサ、およびＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどが用いられる。
【００２６】
光源駆動部１５は、データ処理部２０からのストロボ発光命令Ｓ１をもとに光源ユニット１３内の光源１３Ａに一定の駆動電流を供給して光源１３Ａを発光させるドライブ回路を少なくとも有する。
【００２７】
ステージ駆動部１６は、データ処理部２０からのステージ制御信号Ｓ２をもとにステージ１１を駆動するためのｘｙｚの３軸方向それぞれのステージ駆動電流を供給してステージ１１を３軸方向に移動させる。
【００２８】
カメラ制御部１７は、データ処理部２０からの露光制御信号Ｓ３をもとに撮像素子１４の制御を行う。カメラ制御部１７は、撮像素子１４から読み出された各画素に対応する信号（ＲＡＷデータ）をＡ／Ｄ（Analog to Digital）変換してデータ処理部２０に供給する。
【００２９】
データ処理部２０は、顕微鏡１０のカメラ制御部１７より供給されるＲＡＷデータの現像処理、現像データのスティッチング処理などを行って生体サンプル画像を生成し、これをＪＰＥＧ（Joint Photographic Experts Group）など所定の圧縮形式のデータに符号化して保存する。また、データ処理部２０は、所定のプログラムに基づいて光源駆動部１５、ステージ駆動部１６及び露光制御部１７をそれぞれ制御するための演算処理を実行する。
【００３０】
［３．データ処理部の構成］
次に、データ処理部２０の構成について説明する。
図４はデータ処理部２０のハードウェアの構成を示すブロック図である。
データ処理部２０は、演算制御を行うＣＰＵ(Central Processing Unit)２１、ＲＯＭ(Read Only Memory)２２、ＣＰＵ２１のワークメモリとなるＲＡＭ(Random Access Memory)２３、ユーザの操作に応じた命令を入力する操作入力部２４、インターフェイス部２５、表示部２６、記憶部２７及びこれらを互いに接続するバス２８を備える。
【００３１】
ＲＯＭ２２には、各種の処理を実行するためのプログラムが格納される。インターフェイス部２５には、顕微鏡１０が接続される。
【００３２】
表示部２６には、液晶ディスプレイ、ＥＬ（Electro Luminescence）ディスプレイ又はプラズマディスプレイ等が適用される。記憶部２７には、ＨＤＤ（Hard Disk Drive）に代表される磁気ディスクもしくは半導体メモリ又は光ディスク等が適用される。
【００３３】
ＣＰＵ２１は、ＲＯＭ２２に格納される複数のプログラムのうち、操作入力部２４から与えられる命令に対応するプログラムをＲＡＭ２３に展開し、該展開したプログラムにしたがって、表示部２６及び記憶部２７を適宜制御する。またＣＰＵ２１は、ＲＡＭ２３に展開されたプログラムに従って、インターフェイス部２５を介して顕微鏡１０の各部を適宜制御する。
【００３４】
［４．生体サンプル画像の取得処理］
次に、本実施形態の画像取得装置１００における生体サンプル画像の取得処理について説明する。
【００３５】
ＣＰＵ２１は、生体サンプルＳＰＬの画像の取得命令を操作入力部２４から受けた場合、該取得命令に対応するプログラムをＲＡＭ２３に展開する。
【００３６】
ＣＰＵ２１は、生体サンプルＳＰＬの画像の取得命令に対応するプログラムに従って、図５に示すように、ステージ制御部３１（移動制御部）、露光制御部３２（多重露光処理部）、ストロボ制御部３３（多重露光処理部）、画像取得部３４、現像処理部３５、画像圧縮部３６及びデータ記録部３７として機能する。
【００３７】
ステージ制御部３１は、例えば図６に示すように、生体サンプルＳＰＬの撮像対象とすべき領域（以下、これをサンプル領域とも呼ぶ）ＰＲを対物レンズ１２Ａ及び結像レンズ１２Ｂの拡大倍率に合わせて複数の小領域ＡＲに割り当てる。
【００３８】
ステージ制御部３１は、複数の小領域ＡＲのうち、撮像素子１４によって撮像される領域が例えば左上の小領域ＡＲとなるように、ステージ１１を移動させる。
【００３９】
この後、図６に示したように、当該左上の小領域ＡＲについて、複数の焦点位置（Ｚ１，Ｚ２，・・・Ｚｎ）での複数の画像をＺスタックとして取得するための処理が次のように実行される。なお、複数の焦点位置（Ｚ１，Ｚ２，・・・Ｚｎ）は、対物レンズを用いた光学系の焦点深度を基準に決められている。本実施形態では、焦点位置の間隔を対物レンズ１２Ａを含む光学系１２の焦点深度と同一としたものである。但し、本技術は、焦点位置の間隔は光学系の焦点深度以下であればよい。
【００４０】
図７はＺスタックの撮像時の画像取得装置１００の各部の動作のタイミングチャートである。上から順に、光照射、撮像素子１４の露光、ステージ１１のｚ軸方向の移動それぞれのオン／オフのタイミングを示す。
【００４１】
・最初の２つの焦点位置Ｚ１、Ｚ２での多重露光
まず、ステージ制御部３１は、最初の焦点位置Ｚ１に焦点が結ばれるようにステージ１１のｚ軸方向の位置を設定する。
露光制御部３２は、顕微鏡１０内の撮像素子１４を画像の取り込み状態である露光可能状態にするようにカメラ制御部１７に露光制御信号Ｓ３を供給する。カメラ制御部１７は露光制御信号Ｓ３を受けると、光源ユニット１３からの光照射に先立ち、撮像素子１４を露光可能な状態にする（Ｔ１）。
【００４２】
撮像素子１４が露光可能な状態になった後、データ処理部２０内のストロボ制御部３３は、光源ユニット１３から一定光量の光を出射させるように光源駆動部１５にストロボ発光命令Ｓ１を供給する。これにより焦点位置Ｚ１での撮像素子１４の全画素同時露光（初回の露光）が行われる（Ｔ２）。
【００４３】
ここで典型的には、撮像素子１４の画素毎の値がカメラ制御部１７によって取り込まれてデータ処理部２０に伝送されるが、本実施形態では、露光制御部３２は撮像素子１４の露光可能状態を継続させる。
【００４４】
撮像素子１４の初回の露光後、データ処理部２０のステージ制御部３１は、焦点位置をＺ２に移動させるようにステージ制御信号Ｓ２をステージ駆動部１６に供給する（Ｔ３）。焦点位置Ｚ２への移動が完了したところでステージ制御部３１はステージ１１を停止させる（Ｔ４）。
【００４５】
この後、ストロボ制御部３３は、再度光源ユニット１３から光を出射させるように光源駆動部１５にストロボ発光命令Ｓ１を供給する。これにより焦点位置Ｚ２での撮像素子１４の露光（２回目の露光）が行われる（Ｔ５）。
【００４６】
ここで、撮像素子１４の全画素の受光部には、既に焦点位置Ｚ１での露光によって電荷が蓄積された状態にある。したがって、今回の焦点位置Ｚ２での露光によって、撮像素子１４の全画素の受光部には、２つの焦点位置Ｚ１、Ｚ２それぞれにおける光電変換により得られた電荷が画素毎に足し合わされた状態で蓄積される。すなわち、撮像素子１４は２つの焦点位置Ｚ１、Ｚ２で二重露光されることで、２つの焦点位置Ｚ１、Ｚ２の画像が１つの平均画像として合成されることになる。
【００４７】
撮像素子１４の２回目の露光（焦点位置Ｚ２での露光）が終了した後、露光制御部３２は、撮像素子１４から全画素のデータを取り込むようにカメラ制御部１７に制御信号Ｓ３を供給する。カメラ制御部１７は、当該制御信号Ｓ３に従って、撮像素子１４の全画素の受光部にそれぞれ蓄積された電荷に対応する電圧信号をＴ６からＴ７の期間に取り込み、Ａ／Ｄ変換など、必要な信号処理を施して生成された全画素のデータをデータ処理部２０の露光制御部３２に画像ＲＡＷデータとして伝送する。以上で、２つの焦点位置Ｚ１、Ｚ２での多重露光による平均画像の撮像が完了する。
【００４８】
・次の２つの焦点位置Ｚ３、Ｚ４での多重露光
続いて、次の２つの焦点位置Ｚ３、Ｚ４についての多重露光による撮像が同様に行われる。すなわち、前の２つの焦点位置Ｚ１、Ｚ２で多重露光がされた撮像素子１４からの画像の取り込みが完了したところで、露光制御部３２は再度、カメラ制御部１７に露光制御信号Ｓ３を供給して撮像素子１４を再び露光可能状態にする（Ｔ８）。
【００４９】
ステージ制御部３１は、撮像素子１４の２回目の露光（焦点位置Ｚ２での露光）が終了したところで（Ｔ６）、次の焦点位置Ｚ３への移動を行うようにステージ制御信号Ｓ２をステージ駆動部１６に供給する。次の焦点位置Ｚ３への移動が完了したところで、ステージ制御部３１はステージ１１を停止させる（Ｔ９）。
【００５０】
撮像素子１４が露光可能状態であり、次の焦点位置Ｚ３への移動が完了したところで、ストロボ制御部３３は再度、光源ユニット１３から光を出射させるように、光源駆動部１５にストロボ発光命令Ｓ１を供給する。これにより次の焦点位置Ｚ３での撮像素子１４の初回の露光が行われる（Ｔ１０）。
【００５１】
露光制御部３２は、光源ユニット１３から生体サンプルＳＰＬへの光照射が終了後も撮像素子１４の露光可能状態を継続させる。光源ユニット１３からの光の出射が終了すると、データ処理部２０のステージ制御部３１は、次の焦点位置Ｚ４に移動させるようにステージ制御信号Ｓ２をステージ駆動部１６に供給する。次の焦点位置Ｚ４への移動が完了したところで、ステージ制御部３１はステージ１１を停止させる（Ｔ１１）。
【００５２】
この後、ストロボ制御部３３は、再度光源ユニット１３から光を出射させるように、光源駆動部１５にストロボ発光命令Ｓ１を供給する。これにより次の焦点位置Ｚ４での撮像素子１４の２回目の露光が行われる（Ｔ１２）。撮像素子１４の２回目の露光（焦点位置Ｚ４での露光）が終了した後、露光制御部３２は、撮像素子１４から全画素のデータを取り込むようにカメラ制御部１７に制御信号Ｓ３を供給する。カメラ制御部１７は、当該制御信号Ｓ３に従って、撮像素子１４の全画素の受光部にそれぞれ蓄積された電荷に対応する電圧信号をＴ１３からＴ１４の期間に取り込み、Ａ／Ｄ変換など、必要な信号処理を施して生成された全画素のデジタルデータをデータ処理部２０の露光制御部３２に画像ＲＡＷデータとして伝送する。以上で、次の２つの焦点位置Ｚ３、Ｚ４での二重露光による平均画像の取得が完了する。
以降に続く焦点位置においても、二重露光による平均画像の取得が同様に繰り返される。
【００５３】
以上のようにして撮像された複数の平均画像で構成されるＺスタックは、焦点位置毎に撮像素子を１回だけ露光する典型的な方法により得たＺスタックと比較して、画像の枚数が大幅に少なくて済む。また、個々の画像は２つの焦点位置での撮像素子１４の二重露光による平均画像であることから、対物レンズを用いた光学系の焦点深度が２つの焦点位置の間隔以上であれば、観察対象の撮像漏れのないＺスタックを得ることができる。
【００５４】
図８は本実施形態の画像取得装置１００により取得された平均画像と典型的なＺスタックにおける固定焦点画像とを比較して示す図である。
典型的なＺスタックにおけるそれぞれの固定焦点画像は、撮像間隔を０．５μｍとして、それぞれの焦点位置Ｚ１，Ｚ２，・・・，Ｚ１０，・・・（図１参照）で撮像して得られた画像である。なお、これらの固定焦点画像は、図９に示すように、撮像素子１４により撮像された画像（図６の小領域ＡＲ）の中のさらに一部分ＢＲである。
【００５５】
一方、平均画像Ｚ１−Ｚ２は２つの焦点位置Ｚ１、Ｚ２での二重露光により得られた画像である。平均画像Ｚ３−Ｚ４は２つの焦点位置Ｚ３、Ｚ４での二重露光により得られた画像である。平均画像Ｚ５−Ｚ６は２つの焦点位置Ｚ５、Ｚ６での二重露光により得られた画像である。平均画像Ｚ７−Ｚ８は２つの焦点位置Ｚ７、Ｚ８での二重露光により得られた画像である。平均画像Ｚ９−Ｚ１０は２つの焦点位置Ｚ９、Ｚ１０での二重露光により得られた画像である。
【００５６】
これらの平均画像と固定焦点画像とを見比べて分かるように、平均画像の画質は二重露光による分、対応する固定焦点画像と比較してやや劣るものの、生体サンプルの観察上問題の無い程度であると言える。
【００５７】
平均画像は、連続する２つの焦点位置Ｚ３、Ｚ４での二重露光により得られた画像のみならず、３つ以上の焦点位置での多重露光により得られた画像であってもよい。図８において、平均画像Ｚ１−Ｚ４は４つの焦点位置Ｚ１、Ｚ２、Ｚ３、Ｚ４での多重露光により得られた画像である。平均画像Ｚ５−Ｚ８は４つの焦点位置Ｚ５、Ｚ６、Ｚ７、Ｚ８での多重露光により得られた画像である。平均画像Ｚ９−Ｚ１２は４つの焦点位置Ｚ９、Ｚ１０、Ｚ１１、Ｚ１２での多重露光により得られた画像である。
このように、連続する４つの焦点位置での多重露光により得られた平均画像についても、生体サンプルの観察上問題無い程度の画質が得られることが確認された。参考のため、図１０に連続する４つの焦点位置での多重露光により得られた平均画像と、その４つの焦点位置での固定焦点画像とを対比して示す。
【００５８】
次に、本実施形態の画像取得装置１００によって得られる平均画像の画質が生体サンプルの観察用途において十分なものであることの理由を説明する。
図１１は微細な発光点から発せられる５４０ｎｍ（緑色）の光をＮＡ０．８の対物レンズにて観察した際に得られる輝点イメージのデフォーカス特性を示すグラフである。
このグラフにおいて、縦軸は情報を計算した各ピクセルの輝度を示すカウント値（intensity count）、横軸はイメージャ上のピクセル（pixels）、グラフ中の複数の線はデフォーカス量毎の光軸のずれ量とカウント値との相関をそれぞれ示す。なお、カウント値（intensity count）は輝度（コントラスト）の指標値である。このように、５４０ｎｍ緑色のイメージのデフォーカス特性においては、デフォーカス量が２μｍを越えるあたりから急激に輝度（コントラスト）が低下することが分かる。
【００５９】
図１２は４μｍの範囲の平均画像のデフォーカス特性を示すグラフである。点線で示す線は固定焦点画像のデフォーカス特性であり、その他の複数の実線はそれぞれ４μｍの範囲の平均画像のデフォーカス特性である。すなわち、平均画像Ａは合焦位置からこの合焦位置より下に４μｍまでの範囲の平均画像、平均画像Ｂは合焦位置からこの合焦位置より上に４μｍまでの範囲の平均画像、平均画像Ｃは合焦位置より下に３μｍの位置から合焦位置より下に３μｍまでの範囲の平均画像、平均画像Ｄは合焦位置より下に１μｍの位置から合焦位置より上に３μｍまでの範囲の平均画像、平均画像Ｅは合焦位置より上に２μｍの位置から合焦位置より下に２μｍまでの範囲の平均画像Ｅである。平均画像Ａと平均画像Ｂのデフォーカス特性はほぼ同じであるため、これらは１つの実線で示した。同様に平均画像Ｃと平均画像Ｄのデフォーカス特性はほぼ同じであるため、これらも１つの実線で示した。
【００６０】
図１１と図１２を比較すると、４μｍの範囲の平均画像の輝度（コントラスト）は、デフォーカス量が１μｍのときと同程度であり、生体サンプルの観察用途において十分なものと言える。
【００６１】
以上のように、本実施形態の画像取得装置１００によれば、実用上十分な画質を確保しつつ、より少ない枚数の画像で、観察対象の撮像漏れのないＺスタックを得ることができる。これにより、撮像された画像データを蓄積する装置内のＨＤＤなどのストレージの交換周期を引き延ばすことができ、保守管理の煩雑さを軽減できる。加えて、画像取得速度の向上を図れる。
【００６２】
＜変形例１＞
次に、上記の実施形態の変形例を説明する。
図１３はＺスタックの撮像時の動作の変形例１を示すタイミングチャートである。
この変形例１の画像取得装置は、上記の実施形態の画像取得装置１００によるＺスタック撮像動作において、ステージ１１を連続して移動させる、つまり焦点位置を連続的に移動させるようにしたものである。ステージ１１の移動速度は少なくとも露光中は一定であることが望ましい。
【００６３】
この方式によれば、ステージ１１を静定させるために必要な時間を排除できることによって、Ｚスタック撮像の全体的な時間の短縮を図れる。なお、本変形例１の画像取得装置の動作は、ステージ１１を停止させないこと以外は上記の実施形態の画像取得装置１００と基本的には同様である。この変形例１によっても、上記の実施形態の効果を同様に得ることができる。
【００６４】
＜変形例２＞
図１４はＺスタックの撮像時の動作の変形例２を示すタイミングチャートである。
変形例２の画像取得装置は、ステージ１１を連続して移動させるとともに、連続する複数の焦点位置に跨って撮像素子１４を連続的に露光させるように光照射タイミングが設定されたものである。本変形例２の画像取得装置のその他の動作は、変形例１の画像取得装置と基本的には同様である。この変形例２によっても、上記の実施形態の効果を同様に得ることができる。また、連続する複数の焦点位置に跨って撮像素子１４を連続的に露光させることによって、上記の変形例１に比較して、観察対象の撮像漏れによる見逃しが生じる危険をよりいっそう低減することができる。
【００６５】
＜変形例３＞
図１５はＺスタックの撮像時の動作の変形例３を示すタイミングチャートである。
変形例３の画像取得装置は、連続する複数の焦点位置に跨って撮像素子１４を連続的に露光させる間、光源ユニット１３の光照射のオンとオフを焦点位置の間隔よりも短い一定の周期で繰り返し切り替えるようにしたものである。この変形例３によっても、上記の実施形態の画像処理装置１００および変形例２の画像処理装置の効果を同様に得ることができる。また、本変形例３によれば、光照射のオンデューティ比の選択により露光時間を調整することが可能である。
【００６６】
＜変形例４＞
図１６はＺスタックの撮像時の動作の変形例４を示すタイミングチャートである。
本変形例４の画像取得装置は、光源ユニット１３からの光照射タイミングとステージ１１の移動タイミングとを同期させるとともに、Ｚスタックの間隔毎にステージ１１の移動と停止を切り替えることによって、連続的に露光される位置が範囲（図２参照）間で連続するようにしたものである。
【００６７】
すなわち、ステージ制御部３１は１回の露光時間に焦点位置をＺ１からＺ２まで移動させるようにステージ１１を制御する。ステージ制御部３１は１回の露光が完了したところでステージ１１を停止させ、次の露光時間に焦点位置をＺ２からＺ３まで移動させるようにステージ１１を制御する。本変形例４によれば、ｚ軸方向の全ての範囲を網羅した撮像を行うことができるので、観察対象の撮像漏れによる見逃しが生じる危険を、上記の実施形態および変形例に比較して、より確実に低減することができる。
【００６８】
以上、透過照明画像の撮像を行う画像取得装置について、説明してきたが、本技術は、暗視野光源を用いて蛍光画像を撮像する装置に対しても同様に適用できることは言うまでもない。
【００６９】
なお、本技術は以下のような構成も採ることができる。
（１） 撮像対象の部位を拡大する対物レンズを含む光学系と、
前記光学系により拡大される前記部位を結像する全画素同時露光が可能な撮像素子と、
前記撮像対象の部位の厚さ方向に前記対物レンズの焦点を移動させる移動制御部と、
前記焦点を移動させることが可能な方向の位置によって区分される範囲毎に、当該範囲を網羅する平均画像が得られるように撮像素子を複数の位置で多重露光させる多重露光処理部と
を具備する画像取得装置。
（２）前記（１）に記載の画像取得装置であって、
前記範囲の長さは、前記光学系の焦点深度に前記露光の多重数を乗じた値以下である
画像取得装置。
（３）前記（１）から（２）のうちいずれか１つに記載の画像取得装置であって、
前記多重露光処理部は、前記対物レンズの焦点位置を移動させながら前記撮像素子を多重露光させる
画像取得装置。
（４）前記（１）から（２）のうちいずれか１つに記載の画像取得装置であって、
前記多重露光処理部は、前記複数の位置に跨って前記撮像素子を連続的に露光させる
画像取得装置。
（５）前記（４）に記載の画像取得装置であって、
前記範囲毎の前記連続的に露光させる位置が、それぞれの前記範囲間で連続する
画像取得装置。
【符号の説明】
【００７０】
ＳＰＬ…生体サンプル
１０…顕微鏡
２０…データ処理部
１１…ステージ
１２…光学系
１２Ａ…対物レンズ
１２Ｂ…結像レンズ
１３…光源ユニット
１３Ａ…光源
１３Ｂ…集光レンズ
１４…撮像素子
１５…光源駆動部
１６…ステージ駆動部
１７…カメラ制御部
２１…ＣＰＵ
２２…ＲＯＭ
２３…ＲＡＭ
２４…操作入力部
３１…ステージ制御部
３２…露光制御部
３３…ストロボ制御部
３４…画像取得部
１００…画像取得装置
【特許請求の範囲】
【請求項１】
撮像対象の部位を拡大する対物レンズを含む光学系と、
前記光学系により拡大される前記部位を結像する全画素同時露光が可能な撮像素子と、
前記撮像対象の部位の厚さ方向に前記対物レンズの焦点を移動させる移動制御部と、
前記焦点を移動させることが可能な方向の位置によって区分される範囲毎に、当該範囲を網羅する平均画像が得られるように撮像素子を複数の位置で多重露光させる多重露光処理部と
を具備する画像取得装置。
【請求項２】
請求項１に記載の画像取得装置であって、
前記範囲の長さは、前記光学系の焦点深度に前記露光の多重数を乗じた値以下である
画像取得装置。
【請求項３】
請求項２に記載の画像取得装置であって、
前記多重露光処理部は、前記対物レンズの焦点位置を移動させながら前記撮像素子を多重露光させる
画像取得装置。
【請求項４】
請求項１に記載の画像取得装置であって、
前記多重露光処理部は、前記複数の位置に跨って前記撮像素子を連続的に露光させる
画像取得装置。
【請求項５】
請求項４に記載の画像取得装置であって、
前記範囲毎の前記連続的に露光させる位置が、それぞれの前記範囲間で連続する
画像取得装置。
【請求項６】
移動制御部が、観察対象の部位の厚さ方向に対物レンズの焦点を移動させ、
多重露光処理部が、前記焦点を移動させることが可能な方向の位置によって区分される範囲毎に、当該範囲を網羅する平均画像が得られるように撮像素子を複数の位置で多重露光させる
画像取得方法。
【請求項７】
撮像対象の部位を拡大する対物レンズを含む光学系と、
前記光学系により拡大される前記部位を結像する全画素同時露光が可能な撮像素子とを具備する顕微鏡を制御するコンピュータを動作させるプログラムであって、
前記撮像対象の部位の厚さ方向に前記対物レンズの焦点を移動させる移動制御部と、
前記焦点を移動させることが可能な方向の位置によって区分される範囲毎に、当該範囲を網羅する平均画像が得られるように撮像素子を複数の位置で多重露光させる多重露光処理部として前記コンピュータを動作させるプログラム。
【請求項１】
撮像対象の部位を拡大する対物レンズを含む光学系と、
前記光学系により拡大される前記部位を結像する全画素同時露光が可能な撮像素子と、
前記撮像対象の部位の厚さ方向に前記対物レンズの焦点を移動させる移動制御部と、
前記焦点を移動させることが可能な方向の位置によって区分される範囲毎に、当該範囲を網羅する平均画像が得られるように撮像素子を複数の位置で多重露光させる多重露光処理部と
を具備する画像取得装置。
【請求項２】
請求項１に記載の画像取得装置であって、
前記範囲の長さは、前記光学系の焦点深度に前記露光の多重数を乗じた値以下である
画像取得装置。
【請求項３】
請求項２に記載の画像取得装置であって、
前記多重露光処理部は、前記対物レンズの焦点位置を移動させながら前記撮像素子を多重露光させる
画像取得装置。
【請求項４】
請求項１に記載の画像取得装置であって、
前記多重露光処理部は、前記複数の位置に跨って前記撮像素子を連続的に露光させる
画像取得装置。
【請求項５】
請求項４に記載の画像取得装置であって、
前記範囲毎の前記連続的に露光させる位置が、それぞれの前記範囲間で連続する
画像取得装置。
【請求項６】
移動制御部が、観察対象の部位の厚さ方向に対物レンズの焦点を移動させ、
多重露光処理部が、前記焦点を移動させることが可能な方向の位置によって区分される範囲毎に、当該範囲を網羅する平均画像が得られるように撮像素子を複数の位置で多重露光させる
画像取得方法。
【請求項７】
撮像対象の部位を拡大する対物レンズを含む光学系と、
前記光学系により拡大される前記部位を結像する全画素同時露光が可能な撮像素子とを具備する顕微鏡を制御するコンピュータを動作させるプログラムであって、
前記撮像対象の部位の厚さ方向に前記対物レンズの焦点を移動させる移動制御部と、
前記焦点を移動させることが可能な方向の位置によって区分される範囲毎に、当該範囲を網羅する平均画像が得られるように撮像素子を複数の位置で多重露光させる多重露光処理部として前記コンピュータを動作させるプログラム。
【図３】
【図４】
【図５】
【図６】
【図７】
【図１３】
【図１４】
【図１５】
【図１６】
【図１】
【図２】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図４】
【図５】
【図６】
【図７】
【図１３】
【図１４】
【図１５】
【図１６】
【図１】
【図２】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−８０１４４（Ｐ２０１３−８０１４４Ａ）
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願番号】特願２０１１−２２０７７３（Ｐ２０１１−２２０７７３）
【出願日】平成２３年１０月５日（２０１１．１０．５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願日】平成２３年１０月５日（２０１１．１０．５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]