顕微鏡装置
【課題】スペクトル情報をより短時間に取得することができる。
【解決手段】ステージ１０２は試料を保持する。第１の撮像部１０８は撮像素子を備え、入射した光に応じて試料１０１の部分画像を撮像する。カラーセンサ１１１は、入射した光のスペクトル情報を取得する。ハーフミラー１０７は、試料１０１からの光を、第１の撮像部１０８とカラーセンサ１１１とに入射する。ステージ駆動部１０３は、ステージ１０２を三次元方向に移動させる。撮像制御部１１２は、第１の撮像部１０８が撮像した他の部分画像と重なる部分であるのりしろ部が存在するように、試料１０１を撮像素子の撮像面と平行な方向に移動させるようにステージ駆動部１０３を制御し、試料１０１の移動中にもスペクトル情報を取得するようにカラーセンサ１１１を制御し、試料１０１の移動後に部分画像を撮像するように第１の撮像部１０８を制御する。
【解決手段】ステージ１０２は試料を保持する。第１の撮像部１０８は撮像素子を備え、入射した光に応じて試料１０１の部分画像を撮像する。カラーセンサ１１１は、入射した光のスペクトル情報を取得する。ハーフミラー１０７は、試料１０１からの光を、第１の撮像部１０８とカラーセンサ１１１とに入射する。ステージ駆動部１０３は、ステージ１０２を三次元方向に移動させる。撮像制御部１１２は、第１の撮像部１０８が撮像した他の部分画像と重なる部分であるのりしろ部が存在するように、試料１０１を撮像素子の撮像面と平行な方向に移動させるようにステージ駆動部１０３を制御し、試料１０１の移動中にもスペクトル情報を取得するようにカラーセンサ１１１を制御し、試料１０１の移動後に部分画像を撮像するように第１の撮像部１０８を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顕微鏡装置に関する。
【背景技術】
【０００２】
病理標本のスライド画像をデジタル撮像するバーチャルスライド装置が知られている（例えば、特許文献１参照）。
【０００３】
図７は、従来知られているバーチャルスライド装置の構成を示した概略図である。図示する例では、バーチャルスライド装置１０００は、試料１００１が載置されるステージ１００２と、ステージ１００２を水平方向と光軸方向とに駆動するステージ駆動部１００３を備えている。また、顕微鏡装置１０００は、試料１００１を照明する光源１００４と、試料１００１に対向するように複数のレンズで構成された対物レンズ１００５と、試料１００１の像を撮像する撮像部１００６とを備えている。また顕微鏡装置１０００は、複数の画像を貼り合わせて一枚の画像を生成する際に、隣接する画像を特定する情報と、隣接する画像と重ね合わせる領域を特定する情報とを含む、貼り合わせ情報を生成する貼り合わせ情報生成部１００７と、複数の画像と貼り合わせ情報とを１つのファイルに格納する画像ファイル生成部１００８と、ステージ駆動部１００３と撮像部１００６との制御を行う撮像制御部１００９とを備えている。
【０００４】
次に、バーチャルスライド装置１０００による試料１００１の撮像方法について説明する。光源１００４の光が、ステージ１００２の上に載置された試料１００１の所定領域と対物レンズ１００５とを透過して、撮像部１００６に入射する。撮像部１００６は、入射した光を光電変換し、試料１００１の所定領域の高倍率の画像を撮像する。続いて、撮像部１００６が所定領域に隣接する領域の高倍率の画像を撮像でき、かつ、隣接する所定領域の画像と重なる領域であるのりしろ部を持つように、ステージ駆動部１００３はステージ１００２（試料１００１）を水平方向に移動させる。なお、撮像制御部１００９が、撮像部１００６とステージ駆動部１００３との制御を行う。撮像制御部１００９の制御により撮像部１００６とステージ駆動部１００３とが上記の処理を繰り返し行うことで、撮像部１００６は、試料１００１の所定領域毎に、のりしろ部を有する高倍率画像を撮像する。
【０００５】
撮像部１００６が、試料１００１の全ての所定領域の高倍率画像を撮像した後、貼り合わせ情報生成部１００７は、隣接する高倍率画像と、各高倍率画像ののりしろ部とを認識し、認識した結果に基づいて貼り合わせ情報を生成する。続いて、画像ファイル生成部１００８は、貼り合わせ情報生成部１００７が生成した貼り合わせ情報と、撮像部１００６が撮像した複数の高倍率画像とを１つのファイルに格納する。図示せぬ再生部は、貼り合わせ情報に基づいて、１つのファイルに格納された複数の高倍率画像を貼り合わせ、試料１００１全体を示す１枚の高倍率画像を生成し、液晶ディスプレイなどに表示する。上述した処理を行うことで、バーチャルスライド装置１０００は、試料１００１全体の高倍率画像を生成することができる。
【０００６】
また、ＲＧＢカメラに装着した小型分光計によって被写体のスペクトルを多点で計測し、その情報を用いてＲＧＢ画像からの色再現性を向上させる方法が知られている（例えば、非特許文献１参照）。従来知られている色再現性を向上させる方法を、従来知られているバーチャルスライド装置１０００に適用すれば、色の再現性を良くしつつ試料１００１全体の高倍率画像を生成することができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−２９２９９９号公報
【非特許文献】
【０００８】
【非特許文献１】家富邦彦、村上百合、山口雅浩、大山永昭、「多点計測スペクトル情報を利用したカラー画像の色推定手法の実験的評価」、第５４回応用物理学関係連合講演会 講演予稿集、ｐ．１０７１
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、従来知られている被写体のスペクトルを取得（計測）する方法では、一枚のＲＧＢ画像に対して複数点のスペクトル情報を取得する必要があるため、スペクトル情報の取得に時間が掛かるという問題がある。また、バーチャルスライド装置１０００は、複数枚の部分画像を撮像し、部分画像をつなぎ合わせて一枚の全体画像を生成するため、部分画像毎に複数点のスペクトル情報を取得する方法を用いた場合には、全体画像のスペクトル情報の取得に時間が掛かるという問題がある。
【００１０】
本発明は上記の問題を解決するためになされたものであり、スペクトル情報をより短時間に取得することができる顕微鏡装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、試料を保持するステージと、撮像素子を備え、入射した光に応じて前記試料の部分画像を撮像する撮像部と、入射した光のスペクトル情報を取得するカラーセンサと、前記試料からの光を、前記撮像部と前記カラーセンサとに入射する光学系と、前記ステージを三次元方向に移動させる搬送部と、前記撮像部が撮像した他の部分画像と重なる部分であるのりしろ部が存在するように、前記試料を前記撮像素子の撮像面と平行な方向に移動させるように前記搬送部を制御し、前記試料の移動中にも前記スペクトル情報を取得するように前記カラーセンサを制御し、前記試料の移動後に前記部分画像を撮像するように前記撮像部を制御する撮像制御部と、を備えることを特徴とする顕微鏡装置である。
【００１２】
また、本発明は、前記撮像部が前記部分画像を撮像する領域である各部分画像領域内でのスペクトル変化量が所定の値以上であるか否かを判定する領域判定部を備え、前記撮像制御部は、前記試料の移動中にも前記スペクトル情報を取得する際には、前記スペクトル変化量が所定の値以上の前記部分画像領域のみで前記スペクトル情報を取得するように前記カラーセンサを制御することを特徴とする顕微鏡装置である。
【００１３】
また、本発明は、前記試料の全体画像を撮像する全体画像撮像部を備え、前記領域判定部は、前記全体画像撮像部が撮像した前記全体画像を用いて、各部分画像領域内でのスペクトル変化量が所定の値以上であるか否かを判定することを特徴とする顕微鏡装置である。
【００１４】
また、本発明の顕微鏡装置において、前記撮像制御部は、前記撮像部が部分領域を撮像する際にも前記スペクトル情報を取得するように前記カラーセンサを制御することを特徴とする。
【００１５】
また、本発明の顕微鏡装置において、前記撮像制御部は、前記スペクトル変化量が所定の値以上の部分画像領域を撮像する際にも前記スペクトル情報を取得するように前記カラーセンサを制御することを特徴とする。
【００１６】
また、本発明は、前記部分画像を貼り合わせて１枚の全体画像を生成し、前記スペクトル変化量が所定の値以上の前記部分画像領域で取得した前記スペクトル情報のみを用いて、生成した前記全体画像の色補正を行う全体画像生成部を備えることを特徴とする顕微鏡装置である。
【発明の効果】
【００１７】
本発明によれば、撮像部は撮像素子を備え、入射した光に応じて試料の部分画像を撮像する。また、カラーセンサは、入射した光のスペクトル情報を取得する。また、搬送部は、試料を保持するステージを三次元方向に移動させる。また、撮像制御部は、撮像部が撮像した他の部分画像と重なる部分であるのりしろ部が存在するように、試料を撮像素子の撮像面と平行な方向に移動させるように搬送部を制御し、試料の移動中にもスペクトル情報を取得するようにカラーセンサを制御し、試料の移動後に部分画像を撮像するように撮像部を制御する。これにより、ステージの移動中にもスペクトル情報を取得することができるため、スペクトル情報をより短時間に取得することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施形態における顕微鏡装置の構成を示した概略図である。
【図２】本発明の第１の実施形態において、第１の撮像部が部分画像を撮像する部分画像領域と、第２の撮像部が全体画像を撮像する全体画像領域とを示した概略図である。
【図３】本発明の第１の実施形態において、スペクトル変化量が大きい部分画像領域と、スペクトル変化量が小さい部分画像領域と、カラーセンサがスペクトル情報を取得する領域と、カラーセンサがスペクトル情報を取得するタイミングとを示した概略図である。
【図４】本発明の第１の実施形態における顕微鏡装置の動作手順を示したフローチャートである。
【図５】本発明の第２の実施形態において、スペクトル変化量が大きい部分画像領域と、スペクトル変化量が小さい部分画像領域と、カラーセンサがスペクトル情報を取得する領域と、カラーセンサがスペクトル情報を取得するタイミングとを示した概略図である。
【図６】本発明の第２の実施形態における顕微鏡装置の動作手順を示したフローチャートである。
【図７】従来知られているバーチャルスライド装置の構成を示した概略図である。
【発明を実施するための形態】
【００１９】
（第１の実施形態）
以下、本発明の第１の実施形態について図面を参照して説明する。図１は、本実施形態における顕微鏡装置１の構成を示した概略図である。図示する例では、顕微鏡装置１は、ステージ１０２と、ステージ駆動部１０３（搬送部）と、光源１０４と、第１の対物レンズ１０５と、第２の対物レンズ１０６と、ハーフミラー１０７（光学系）と、撮像素子を備えた第１の撮像部１０８（撮像部）と、撮像素子を備えた第２の撮像部１０９（全体画像撮像部）と、視野領域変更部１１０と、カラーセンサ１１１と、撮像制御部１１２と、全体画像生成部１１３と、領域判定部１１４とを備える。
【００２０】
ステージ１０２は、スライドガラス上にサンプル（被写体、撮像対象物）を載置した試料１０１を載置するための台である。ステージ駆動部１０３は、撮像制御部１１２の制御に基づいて、ステージ１０２を、第１の撮像部１０８が備える撮像素子および第２の撮像部１０９が備える撮像素子の撮像面と水平な方向及び垂直な方向（三次元方向）に駆動させる。光源１０４は、試料１０１を照射する光を発生する。
【００２１】
第１の対物レンズ１０５は、試料１０１の部分画像を拡大して撮像するために用いる対物レンズであり、第２の対物レンズ１０６よりも拡大率が高い対物レンズである。第２の対物レンズ１０６は、試料１０１の全体画像を撮像するために用いる対物レンズであり、第１の対物レンズ１０５よりも拡大率が低い対物レンズである。また、一時点において、第１の対物レンズ１０５と第２の対物レンズ１０６とのどちらか一方を、試料１０１に対向するように配置することができる構成となっている。試料１０１に対向するように配置された場合、第１の対物レンズ１０５および第２の対物レンズ１０６は、試料１０１の所定領域からの光束を集光させ、集光させた光をハーフミラー１０７に対して照射する。ハーフミラー１０７は、第１の対物レンズ１０５または第２の対物レンズ１０６からの光の一部を視野領域変更部１１０の方向に反射し、一部を透過する。
【００２２】
第１の撮像部１０８は、第２の撮像部１０９が備える撮像素子よりも画素数の多い撮像素子を備えており、受光した光の強度に応じた電気信号に光電変換することで高解像度の画像を撮像する。第２の撮像部１０９は、第１の撮像部１０８が備える撮像素子よりも画素数の少ない撮像素子を備えており、受光した光の強度に応じた電気信号に光電変換することで低解像度の画像を撮像する。また、一時点において、第１の撮像部１０８と第２の撮像部１０９とのどちらか一方を、ハーフミラー１０７が透過した光を受光する位置に配置することができる構成となっている。本実施形態では、第１の対物レンズ１０５が試料１０１に対向するように配置された場合、第１の撮像部１０８は、ハーフミラー１０７が透過した光を受光する位置に配置される。また、第２の対物レンズ１０６が試料１０１に対向するように配置された場合、第２の撮像部１０９は、ハーフミラー１０７が透過した光を受光する位置に配置される。これにより、第１の撮像部１０８は、試料１０１の部分画像を高解像度で撮像することができ、第２の撮像部１０９は、試料１０２の全体画像を低解像度で撮像することができる。
【００２３】
視野領域変更部１１０は、ハーフミラー１０７とカラーセンサ１１１との間に配置されており、ハーフミラー１０７からの光のうち、一部の領域の光を遮り、一部の領域の光を透過する。視野領域変更部１１０を透過した光は、カラーセンサ１１１に入射する。また、視野領域変更部１１０は、ハーフミラー１０７からの光のうち、光を遮る領域を変更することができる。すなわち、視野領域変更部１１０は、カラーセンサ１１１の視野範囲を変更することができる。
【００２４】
カラーセンサ１１１は、試料１０１からの光のうち、視野領域変更部１１０を透過した光のスペクトル情報を検出する。撮像制御部１１２は、ステージ駆動部１０３と、第１の対物レンズ１０５と、第２の対物レンズ１０６と、第１の撮像部１０８と、第２の撮像部１０９と、カラーセンサ１１１との制御を行い、試料１０１の画像およびスペクトル情報を取得する。
【００２５】
全体画像生成部１１３は、第１の撮像部１０８が撮像した複数枚の部分画像それぞれに対して隣接する部分画像を認識し、さらに、隣接する部分画像同士ののりしろ部を認識し、認識した結果に基づいて全ての部分画像を貼り合わせて一枚の全体画像を生成する。また、全体画像生成部１１３は、カラーセンサ１１１が取得したスペクトル情報に基づいて、生成した全体画像の色補正を行う。なお、全体画像生成部１１３は、カラーセンサ１１１が取得したスペクトル情報に基づいて部分画像それぞれの色補正を行った後、色補正後の部分画像を貼り合わせて全体画像を生成するようにしてもよい。領域判定部１１４は、スペクトルの変化量が大きい領域と、スペクトルの変化量が小さい領域とを判定する。
【００２６】
次に、第１の撮像部１０８が部分画像を撮像する部分画像領域と、第２の撮像部１０９が全体画像を撮像する全体画像領域とについて説明する。図２は、本実施形態において、第１の撮像部１０８が部分画像を撮像する部分画像領域と、第２の撮像部１０９が全体画像を撮像する全体画像領域とを示した概略図である。図示する例では、第１の撮像部１０８が撮像する部分画像領域２０１〜２１５と、第２の撮像部１０９が撮像する全体画像領域３０１とが示されている。この場合、第１の撮像部１０８は、１５回の撮像を行うことで、試料１０１の全ての部分画像領域２０１〜２１５を撮像することができる。また、第２の撮像部１０９は１回の撮像で試料１０１の全体画像領域３０１を撮像することができる。また、部分画像領域２０１〜２１５を合わせると、全体画像領域３０１となる。
【００２７】
なお、図２に示す例ではのりしろ部が示されていないが、第１の撮像部１０８が撮像する部分画像にはのりしろ部が含まれる。例えば、第１の撮像部１０８が部分画像領域２０１の部分画像を撮像する場合、図示する部分画像領域２０１の周囲の領域の画像を含む部分画像を撮像する。他の部分画像領域２０２〜２１５を撮像する場合も同様に、第１の撮像部１０８は、部分画像領域２０２〜２１５の周囲の領域の画像を含む部分画像を撮像する。
【００２８】
次に、本実施形態におけるカラーセンサ１１１がスペクトル情報を取得する領域について説明する。１つの部分画像領域の中でスペクトルの変化量が小さい場合には、部分画像領域のいずれの領域のスペクトル情報もほぼ同じであると考えられる。また、１つの部分画像領域の中でスペクトルの変化量が大きい場合には、部分画像領域中の領域によって、スペクトル情報が大きく異なると考えられる。従って、１つの部分画像領域の中でスペクトルの変化量が小さい部分画像領域（スペクトル変化量が小さい部分画像領域）では、カラーセンサ１１１は、部分画像領域内の１つの領域のスペクトル情報を取得する。また、１つの部分画像領域の中でスペクトルの変化量が大きい部分画像領域（スペクトル変化量が大きい部分画像領域）では、カラーセンサ１１１は、部分画像領域内の複数の領域のスペクトル情報を取得する。
【００２９】
次に、スペクトル変化量が大きい部分画像領域と、スペクトル変化量が小さい部分画像領域の判定方法について説明する。本実施形態では、領域判定部１１４は、第２の撮像部１０９が撮像した１枚の全体画像の画素値を用いて部分画像領域毎に画素値の分散値を算出し、算出した分散値に基づいて、スペクトル変化量が大きい部分画像領域と、スペクトル変化量が小さい部分画像領域とを判定する。例えば、赤色を検出するＲ画素の画素値の分散値と、緑色を検出するＧ画素の画素値の分散値と、青色を検出するＢ画素の画素値の分散値とをそれぞれ算出する。そして、算出したＲ画素の画素値の分散値と、Ｇ画素の画素値の分散値と、Ｂ画素の画素値の分散値とのうち、いずれか１つ以上の分散値が予め定められた閾値以上の場合、スペクトル変化量が大きい部分画像領域であると判定する。また、算出したＲ画素の画素値の分散値と、Ｇ画素の画素値の分散値と、Ｂ画素の画素値の分散値とのうち、全ての分散値が予め定められた閾値未満の場合、スペクトル変化量が小さい部分画像領域であると判定する。
【００３０】
また、カラーセンサ１１１は、部分画像領域内の複数の領域のスペクトル情報を取得する場合、ステージ１０２が移動している間にスペクトル情報を取得することで、スペクトル情報の取得時間を短縮する。図３は、本実施形態において、スペクトル変化量が大きい部分画像領域と、スペクトル変化量が小さい部分画像領域と、カラーセンサ１１１がスペクトル情報を取得する領域と、カラーセンサ１１１がスペクトル情報を取得するタイミングとを示した概略図である。
【００３１】
図示する例では、図２に示した部分画像領域のうち、部分画像領域２０１〜２０５を示している。また、部分画像領域２０１，２０３，２０４は、スペクトル変化量が大きい部分画像領域である。部分画像領域２０２，２０５は、スペクトル変化量が小さい部分画像領域である。また、部分画像領域２０１，２０３，２０４内には、ステージ１０２の移動中にカラーセンサ１１１がスペクトル情報を取得する領域３１０がそれぞれ４つ含まれており、ステージ１０２の停止中（部分画像撮像中）にカラーセンサ１１１がスペクトル情報を取得する領域３１１がそれぞれ１つ含まれている。また、部分画像領域２０２，２０５内には、ステージ１０２の停止中（部分画像撮像中）にカラーセンサ１１１がスペクトル情報を取得する領域３１１がそれぞれ１つ含まれている。
【００３２】
このように、本実施形態のカラーセンサ１１１は、スペクトル変化量が小さい部分画像領域では部分画像領域内の１つの領域のスペクトル情報を取得し、スペクトル変化量が大きい部分画像領域では、部分画像領域内の複数の領域のスペクトル情報を取得する。また、カラーセンサ１１１は、部分画像領域内の複数の領域のスペクトル情報を取得する場合、ステージ１０２が移動している間にもスペクトル情報を取得する。従って、カラーセンサ１１１が複数の領域のスペクトル情報を取得する場合においても、スペクトル情報の取得時間を短縮することができる。
【００３３】
次に、顕微鏡装置１による試料１０１の撮像手順について説明する。図４は、本実施形態における顕微鏡装置１の動作手順を示したフローチャートである。
（ステップＳ１０１）撮像制御部１１２は、第２の対物レンズ１０６を試料１０１に対向する位置に配置し、第２の撮像部１０９をハーフミラー１０７が透過した光を受光する位置に配置し、第２の対物レンズ１０６と第２の撮像部１０９とを用いて、試料１０１の全体画像を撮像する。その後、ステップＳ１０２の処理に進む。
（ステップＳ１０２）領域判定部１１４は、ステップＳ１０１の処理で第２の撮像部１０９が撮像した試料１０１の全体画像を用いて、スペクトル変化量が大きい部分画像領域と、スペクトル変化量が小さい部分画像領域とを判定する。その後、ステップＳ１０３の処理に進む。
【００３４】
（ステップＳ１０３）撮像制御部１１２は、第１の対物レンズ１０５を試料１０１に対向する位置に配置し、第１の撮像部１０８をハーフミラー１０７が透過した光を受光する位置に配置する。その後、ステップＳ１０４の処理に進む。
（ステップＳ１０４）撮像制御部１１２は、第１の撮像部１０８が試料１０１の全ての部分画像領域の部分画像を撮像したか否かを判定する。第１の撮像部１０８は試料１０１の全ての部分画像領域の部分画像を撮像したと撮像制御部１１２が判定した場合にはステップＳ１０７の処理に進み、それ以外の場合にはステップＳ１０５の処理に進む。
【００３５】
（ステップＳ１０５）撮像制御部１１２は、第１の撮像部１０８が、まだ撮像していない部分画像領域の部分画像を撮像できるように、ステージ駆動部１０３を制御してステージ１０２（試料１０１）を水平方向に移動させる。また、撮像制御部１１２は、ステージ１０２の移動中にスペクトル変化量が大きい部分画像領域が第１の対物レンズ１０５の光軸上を通過する場合、カラーセンサ１１１にスペクトル情報を取得させる。カラーセンサ１１１は、撮像制御部１１２の制御に基づいてスペクトル情報を取得し、取得したスペクトル情報を全体画像生成部１１３に対して出力する。なお、このときにカラーセンサ１１１がスペクトル情報を取得する領域は、例えば、図３に示した領域３１０である。全体画像生成部１１４は、カラーセンサ１１１が出力するスペクトル情報を記憶する。その後、ステップＳ１０６の処理に進む。
【００３６】
（ステップＳ１０６）撮像制御部１１２は、第１の撮像部１０８に部分画像領域の部分画像を撮像させ、カラーセンサ１１１にスペクトル情報を取得させる。第１の撮像部１０８は部分画像を撮像し、撮像した部分画像を全体画像生成部１１３に対して出力する。また、カラーセンサ１１１は、スペクトル情報を取得し、取得したスペクトル情報を全体画像生成部１１３に対して出力する。なお、このときにカラーセンサ１１１がスペクトル情報を取得する領域は、例えば、図３に示した領域３１１である。全体画像生成部１１３は、第１の撮像部１０９が出力する部分画像と、カラーセンサ１１１が出力するスペクトル情報とを記憶する。その後、ステップＳ１０４の処理に戻る。
【００３７】
（ステップＳ１０７）全体画像生成部１１３は、ステップＳ１０６の処理で記憶した部分画像を貼り合わせて一枚の全体画像を生成する。また、全体画像生成部１１３は、ステップＳ１０５およびステップＳ１０６の処理で記憶したスペクトル情報を用いて、生成した全体画像の色補正を行う。その後、処理を終了する。例えば、全体画像生成部１１３は、ステップＳ１０５およびステップＳ１０６の処理で記憶したスペクトル情報の平均値を算出し、算出した平均値を用いて全体画像の色補正を行う。なお、全体画像生成部１１３は、各部分画像領域で取得したスペクトル情報を用いて部分画像それぞれの色補正を行った後、色補正後の部分画像を貼り合わせて全体画像を生成するようにしてもよい。
【００３８】
上述した通り、本実施形態によれば、部分画像を撮像する前に、試料１０１の位置合わせのために試料１０１を載置したステージ１０２を移動させるが、カラーセンサ１１１は、ステージ１０２が移動している間にも多領域のスペクトル情報を取得する。従って、多領域のスペクトル情報を取得する場合においても、スペクトル情報をより短時間に取得することができる。
【００３９】
また、１つの部分画像領域の中でスペクトルの変化量が小さい場合には、部分画像領域のいずれの領域のスペクトル情報もほぼ同じであると考えられる。また、１つの部分画像領域の中でスペクトルの変化量が大きい場合には、部分画像領域中の領域によって、スペクトル情報が大きく異なると考えられる。そのため、本実施形態によれば、スペクトル変化量が小さい部分画像領域では、部分画像領域内の１つの領域のスペクトル情報を取得する。また、スペクトル変化量が大きい部分画像領域では、部分画像領域内の複数の領域のスペクトル情報を取得する。従って、スペクトル情報を取得する領域数を削減しつつ、より正確なスペクトル情報を取得することができる。
【００４０】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態における顕微鏡装置１の構成と第１の実施形態における顕微鏡装置１の構成とは同様の構成である。本実施形態と第１の実施形態とで異なる点は、本実施形態では、スペクトル変化量が大きい部分画像領域のみでスペクトル情報を取得し、スペクトル変化量が大きい部分画像領域で取得したスペクトル情報を用いて、部分画像を貼り合わせて生成した全体画像の色補正を行う点である。
【００４１】
次に、本実施形態におけるカラーセンサ１１１がスペクトル情報を取得する領域について説明する。一般的に、試料１０１を撮像した画像には撮像対象物と背景とが含まれている。また、撮像対象物と背景との色が異なる場合、画像中に撮像対象物が含まれていると画像内のスペクトル変化量が大きくなる。そのため、スペクトル変化量が大きい部分画像領域には撮像対象物が含まれている可能性が高い。そこで、本実施形態では、スペクトル変化量が大きい部分画像領域のみでスペクトル情報を取得し、取得したスペクトル情報を用いて、部分画像を貼り合わせて生成した全体画像の色補正を行うことで、より撮像対象物に適した色補正を行うことができる。さらに、スペクトル変化量が大きい部分画像領域のみでスペクトル情報を取得し、スペクトル変化量が小さい部分画像領域ではスペクトル情報を取得しないため、スペクトル情報を取得するために必要な時間をより削減することができる。
【００４２】
次に、スペクトル情報を取得する領域およびタイミングについて説明する。図５は、本実施形態において、スペクトル変化量が大きい部分画像領域と、スペクトル変化量が小さい部分画像領域と、カラーセンサ１１１がスペクトル情報を取得する領域と、カラーセンサ１１１がスペクトル情報を取得するタイミングとを示した概略図である。
【００４３】
図示する例では、第１の実施形態における図２に示した部分画像領域のうち、部分画像領域２０１〜２０５を示している。また、部分画像領域２０１，２０３，２０４は、スペクトル変化量が大きい部分画像領域である。部分画像領域２０２，２０５は、スペクトル変化量が小さい部分画像領域である。また、部分画像領域２０１，２０３，２０４内には、カラーセンサ１１１が、ステージ１０２の移動中にスペクトル情報を取得する領域３１０がそれぞれ４つ含まれており、ステージ１０２の停止中（部分画像撮像中）にスペクトル情報を取得する領域３１１がそれぞれ１つ含まれている。なお、スペクトル変化量が小さい部分画像領域ではスペクトル情報を取得しないため、部分画像領域２０２，２０５内には、スペクトル情報を取得する領域は含まれていない。
【００４４】
このように、本実施形態のカラーセンサ１１１は、スペクトル変化量が小さい部分画像領域ではスペクトル情報を取得せず、スペクトル変化量が大きい部分画像領域では、部分画像領域内の複数の領域のスペクトル情報を取得する。従って、スペクトル情報を取得するために必要な時間をより削減することができる。また、カラーセンサ１１１は、部分画像領域内の複数の領域のスペクトル情報を取得する場合、ステージ１０２が移動している間にもスペクトル情報を取得する。従って、カラーセンサ１１１が複数の領域のスペクトル情報を取得する場合においても、スペクトル情報の取得時間を短縮することができる。
【００４５】
次に、顕微鏡装置１による試料１０１の撮像手順について説明する。図６は、本実施形態における顕微鏡装置１の動作手順を示したフローチャートである。ステップＳ２０１〜ステップＳ２０４の処理は、第１の実施形態におけるステップＳ１０１〜ステップＳ１０４の処理と同様の処理である。
【００４６】
（ステップＳ２０５）撮像制御部１１２は、第１の撮像部１０８が、まだ撮像していない部分画像領域の部分画像を撮像できるように、ステージ駆動部１０３を制御してステージ１０２（試料１０１）を水平方向に移動させる。また、撮像制御部１１２は、ステージ１０２の移動中にスペクトル変化量の大きい部分画像領域が第１の対物レンズ１０５の光軸上を通過する場合、カラーセンサ１１１にスペクトル情報を取得させる。カラーセンサ１１１は、撮像制御部１１２の制御に基づいてスペクトル情報を取得し、取得したスペクトル情報を全体画像生成部１１３に対して出力する。なお、このときにカラーセンサ１１１がスペクトル情報を取得する領域は、例えば、図５に示した領域３１０である。全体画像生成部１１４は、カラーセンサ１１１が出力するスペクトル情報を記憶する。その後、ステップＳ２０６の処理に進む。
【００４７】
（ステップＳ２０６）撮像制御部１１２は、第２の撮像部１０９に部分画像領域の部分画像を撮像させる。このとき、部分画像を撮像する部分画像領域がスペクトル変化量の大きな部分画像領域である場合、撮像制御部１１２は、カラーセンサ１１１にスペクトル情報を取得させる。第２の撮像部１０９は部分画像を撮像し、撮像した部分画像を全体画像生成部１１３に対して出力する。また、カラーセンサ１１１は、第２の撮像部１０９が部分画像を撮像する部分画像領域がスペクトル変化量の大きな部分画像領域である場合、スペクトル情報を取得し、取得したスペクトル情報を全体画像生成部１１３に対して出力する。なお、このときにカラーセンサ１１１がスペクトル情報を取得する領域は、例えば、図５に示した領域３１１である。全体画像生成部１１３は、第２の撮像部１０９が出力する部分画像を記憶し、カラーセンサ１１１が出力するスペクトル情報を記憶する。その後、ステップＳ２０４の処理に戻る。
【００４８】
（ステップＳ２０７）全体画像生成部１１３は、ステップＳ２０６の処理で記憶した部分画像を貼り合わせて一枚の全体画像を生成する。また、全体画像生成部１１３は、ステップＳ２０５およびステップＳ２０６の処理で記憶したスペクトル情報を用いて、生成した全体画像の色補正を行う。その後、処理を終了する。例えば、全体画像生成部１１３は、ステップＳ２０５およびステップＳ２０６の処理で記憶したスペクトル情報の平均値を算出し、算出した平均値を用いて、生成した全体画像の色補正を行う。
【００４９】
上述した通り、一般的に、試料１０１を撮像した画像には撮像対象物と背景とが含まれている。また、撮像対象物と背景との色が異なる場合、画像中に撮像対象物が含まれていると画像内のスペクトル変化量が大きくなる。そのため、スペクトル変化量が大きい部分画像領域には撮像対象物が含まれている可能性が高い。そこで、本実施形態では、スペクトル変化量が大きい部分画像領域のみでスペクトル情報を取得し、取得したスペクトル情報を用いて、部分画像を貼り合わせて生成した全体画像の色補正を行う。従って、より正確に撮像対象物のスペクトル情報を取得することができる。さらに、スペクトル変化量が大きい部分画像領域のみでスペクトル情報を取得し、スペクトル変化量が小さい部分画像領域ではスペクトル情報を取得しないため、スペクトル情報を取得するために必要な時間をより削減することができる。
【００５０】
以上、この発明の第１の実施形態と第２の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【００５１】
例えば、上述した第１の実施形態および第２の実施形態では、第１の撮像部１０８と第２の撮像部１０９とを別々に備え、第１の撮像部１０８が部分画像を撮像し、第２の撮像部１０９が全体画像を撮像しているがこれに限らない。例えば、第１の撮像部１０８が、全体画像と部分画像の両方を撮像するようにしてもよい。
【００５２】
また、上述した第１の実施形態および第２の実施形態では、ステージ１０２の移動中に取得するスペクトル情報として、４つの領域のスペクトル情報を取得しているがこれに限らない。例えば、４つの領域のスペクトル情報を取得する代わりに、１つ以上の領域のスペクトル情報を取得するようにしてもよい。
【符号の説明】
【００５３】
１・・・顕微鏡装置、１０１・・・試料、１０２・・・ステージ、１０３・・・ステージ駆動部、１０４・・・光源、１０５・・・第１の対物レンズ、１０６・・・第２の対物レンズ、１０７・・・ハーフミラー、１０８・・・第１の撮像部、１０９・・・第２の撮像部、１１０・・・視野領域変更部、１１１・・・カラーセンサ、１１２・・・撮像制御部、１１３・・・全体画像生成部、１１４・・・領域判定部
【技術分野】
【０００１】
本発明は、顕微鏡装置に関する。
【背景技術】
【０００２】
病理標本のスライド画像をデジタル撮像するバーチャルスライド装置が知られている（例えば、特許文献１参照）。
【０００３】
図７は、従来知られているバーチャルスライド装置の構成を示した概略図である。図示する例では、バーチャルスライド装置１０００は、試料１００１が載置されるステージ１００２と、ステージ１００２を水平方向と光軸方向とに駆動するステージ駆動部１００３を備えている。また、顕微鏡装置１０００は、試料１００１を照明する光源１００４と、試料１００１に対向するように複数のレンズで構成された対物レンズ１００５と、試料１００１の像を撮像する撮像部１００６とを備えている。また顕微鏡装置１０００は、複数の画像を貼り合わせて一枚の画像を生成する際に、隣接する画像を特定する情報と、隣接する画像と重ね合わせる領域を特定する情報とを含む、貼り合わせ情報を生成する貼り合わせ情報生成部１００７と、複数の画像と貼り合わせ情報とを１つのファイルに格納する画像ファイル生成部１００８と、ステージ駆動部１００３と撮像部１００６との制御を行う撮像制御部１００９とを備えている。
【０００４】
次に、バーチャルスライド装置１０００による試料１００１の撮像方法について説明する。光源１００４の光が、ステージ１００２の上に載置された試料１００１の所定領域と対物レンズ１００５とを透過して、撮像部１００６に入射する。撮像部１００６は、入射した光を光電変換し、試料１００１の所定領域の高倍率の画像を撮像する。続いて、撮像部１００６が所定領域に隣接する領域の高倍率の画像を撮像でき、かつ、隣接する所定領域の画像と重なる領域であるのりしろ部を持つように、ステージ駆動部１００３はステージ１００２（試料１００１）を水平方向に移動させる。なお、撮像制御部１００９が、撮像部１００６とステージ駆動部１００３との制御を行う。撮像制御部１００９の制御により撮像部１００６とステージ駆動部１００３とが上記の処理を繰り返し行うことで、撮像部１００６は、試料１００１の所定領域毎に、のりしろ部を有する高倍率画像を撮像する。
【０００５】
撮像部１００６が、試料１００１の全ての所定領域の高倍率画像を撮像した後、貼り合わせ情報生成部１００７は、隣接する高倍率画像と、各高倍率画像ののりしろ部とを認識し、認識した結果に基づいて貼り合わせ情報を生成する。続いて、画像ファイル生成部１００８は、貼り合わせ情報生成部１００７が生成した貼り合わせ情報と、撮像部１００６が撮像した複数の高倍率画像とを１つのファイルに格納する。図示せぬ再生部は、貼り合わせ情報に基づいて、１つのファイルに格納された複数の高倍率画像を貼り合わせ、試料１００１全体を示す１枚の高倍率画像を生成し、液晶ディスプレイなどに表示する。上述した処理を行うことで、バーチャルスライド装置１０００は、試料１００１全体の高倍率画像を生成することができる。
【０００６】
また、ＲＧＢカメラに装着した小型分光計によって被写体のスペクトルを多点で計測し、その情報を用いてＲＧＢ画像からの色再現性を向上させる方法が知られている（例えば、非特許文献１参照）。従来知られている色再現性を向上させる方法を、従来知られているバーチャルスライド装置１０００に適用すれば、色の再現性を良くしつつ試料１００１全体の高倍率画像を生成することができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−２９２９９９号公報
【非特許文献】
【０００８】
【非特許文献１】家富邦彦、村上百合、山口雅浩、大山永昭、「多点計測スペクトル情報を利用したカラー画像の色推定手法の実験的評価」、第５４回応用物理学関係連合講演会 講演予稿集、ｐ．１０７１
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、従来知られている被写体のスペクトルを取得（計測）する方法では、一枚のＲＧＢ画像に対して複数点のスペクトル情報を取得する必要があるため、スペクトル情報の取得に時間が掛かるという問題がある。また、バーチャルスライド装置１０００は、複数枚の部分画像を撮像し、部分画像をつなぎ合わせて一枚の全体画像を生成するため、部分画像毎に複数点のスペクトル情報を取得する方法を用いた場合には、全体画像のスペクトル情報の取得に時間が掛かるという問題がある。
【００１０】
本発明は上記の問題を解決するためになされたものであり、スペクトル情報をより短時間に取得することができる顕微鏡装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、試料を保持するステージと、撮像素子を備え、入射した光に応じて前記試料の部分画像を撮像する撮像部と、入射した光のスペクトル情報を取得するカラーセンサと、前記試料からの光を、前記撮像部と前記カラーセンサとに入射する光学系と、前記ステージを三次元方向に移動させる搬送部と、前記撮像部が撮像した他の部分画像と重なる部分であるのりしろ部が存在するように、前記試料を前記撮像素子の撮像面と平行な方向に移動させるように前記搬送部を制御し、前記試料の移動中にも前記スペクトル情報を取得するように前記カラーセンサを制御し、前記試料の移動後に前記部分画像を撮像するように前記撮像部を制御する撮像制御部と、を備えることを特徴とする顕微鏡装置である。
【００１２】
また、本発明は、前記撮像部が前記部分画像を撮像する領域である各部分画像領域内でのスペクトル変化量が所定の値以上であるか否かを判定する領域判定部を備え、前記撮像制御部は、前記試料の移動中にも前記スペクトル情報を取得する際には、前記スペクトル変化量が所定の値以上の前記部分画像領域のみで前記スペクトル情報を取得するように前記カラーセンサを制御することを特徴とする顕微鏡装置である。
【００１３】
また、本発明は、前記試料の全体画像を撮像する全体画像撮像部を備え、前記領域判定部は、前記全体画像撮像部が撮像した前記全体画像を用いて、各部分画像領域内でのスペクトル変化量が所定の値以上であるか否かを判定することを特徴とする顕微鏡装置である。
【００１４】
また、本発明の顕微鏡装置において、前記撮像制御部は、前記撮像部が部分領域を撮像する際にも前記スペクトル情報を取得するように前記カラーセンサを制御することを特徴とする。
【００１５】
また、本発明の顕微鏡装置において、前記撮像制御部は、前記スペクトル変化量が所定の値以上の部分画像領域を撮像する際にも前記スペクトル情報を取得するように前記カラーセンサを制御することを特徴とする。
【００１６】
また、本発明は、前記部分画像を貼り合わせて１枚の全体画像を生成し、前記スペクトル変化量が所定の値以上の前記部分画像領域で取得した前記スペクトル情報のみを用いて、生成した前記全体画像の色補正を行う全体画像生成部を備えることを特徴とする顕微鏡装置である。
【発明の効果】
【００１７】
本発明によれば、撮像部は撮像素子を備え、入射した光に応じて試料の部分画像を撮像する。また、カラーセンサは、入射した光のスペクトル情報を取得する。また、搬送部は、試料を保持するステージを三次元方向に移動させる。また、撮像制御部は、撮像部が撮像した他の部分画像と重なる部分であるのりしろ部が存在するように、試料を撮像素子の撮像面と平行な方向に移動させるように搬送部を制御し、試料の移動中にもスペクトル情報を取得するようにカラーセンサを制御し、試料の移動後に部分画像を撮像するように撮像部を制御する。これにより、ステージの移動中にもスペクトル情報を取得することができるため、スペクトル情報をより短時間に取得することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施形態における顕微鏡装置の構成を示した概略図である。
【図２】本発明の第１の実施形態において、第１の撮像部が部分画像を撮像する部分画像領域と、第２の撮像部が全体画像を撮像する全体画像領域とを示した概略図である。
【図３】本発明の第１の実施形態において、スペクトル変化量が大きい部分画像領域と、スペクトル変化量が小さい部分画像領域と、カラーセンサがスペクトル情報を取得する領域と、カラーセンサがスペクトル情報を取得するタイミングとを示した概略図である。
【図４】本発明の第１の実施形態における顕微鏡装置の動作手順を示したフローチャートである。
【図５】本発明の第２の実施形態において、スペクトル変化量が大きい部分画像領域と、スペクトル変化量が小さい部分画像領域と、カラーセンサがスペクトル情報を取得する領域と、カラーセンサがスペクトル情報を取得するタイミングとを示した概略図である。
【図６】本発明の第２の実施形態における顕微鏡装置の動作手順を示したフローチャートである。
【図７】従来知られているバーチャルスライド装置の構成を示した概略図である。
【発明を実施するための形態】
【００１９】
（第１の実施形態）
以下、本発明の第１の実施形態について図面を参照して説明する。図１は、本実施形態における顕微鏡装置１の構成を示した概略図である。図示する例では、顕微鏡装置１は、ステージ１０２と、ステージ駆動部１０３（搬送部）と、光源１０４と、第１の対物レンズ１０５と、第２の対物レンズ１０６と、ハーフミラー１０７（光学系）と、撮像素子を備えた第１の撮像部１０８（撮像部）と、撮像素子を備えた第２の撮像部１０９（全体画像撮像部）と、視野領域変更部１１０と、カラーセンサ１１１と、撮像制御部１１２と、全体画像生成部１１３と、領域判定部１１４とを備える。
【００２０】
ステージ１０２は、スライドガラス上にサンプル（被写体、撮像対象物）を載置した試料１０１を載置するための台である。ステージ駆動部１０３は、撮像制御部１１２の制御に基づいて、ステージ１０２を、第１の撮像部１０８が備える撮像素子および第２の撮像部１０９が備える撮像素子の撮像面と水平な方向及び垂直な方向（三次元方向）に駆動させる。光源１０４は、試料１０１を照射する光を発生する。
【００２１】
第１の対物レンズ１０５は、試料１０１の部分画像を拡大して撮像するために用いる対物レンズであり、第２の対物レンズ１０６よりも拡大率が高い対物レンズである。第２の対物レンズ１０６は、試料１０１の全体画像を撮像するために用いる対物レンズであり、第１の対物レンズ１０５よりも拡大率が低い対物レンズである。また、一時点において、第１の対物レンズ１０５と第２の対物レンズ１０６とのどちらか一方を、試料１０１に対向するように配置することができる構成となっている。試料１０１に対向するように配置された場合、第１の対物レンズ１０５および第２の対物レンズ１０６は、試料１０１の所定領域からの光束を集光させ、集光させた光をハーフミラー１０７に対して照射する。ハーフミラー１０７は、第１の対物レンズ１０５または第２の対物レンズ１０６からの光の一部を視野領域変更部１１０の方向に反射し、一部を透過する。
【００２２】
第１の撮像部１０８は、第２の撮像部１０９が備える撮像素子よりも画素数の多い撮像素子を備えており、受光した光の強度に応じた電気信号に光電変換することで高解像度の画像を撮像する。第２の撮像部１０９は、第１の撮像部１０８が備える撮像素子よりも画素数の少ない撮像素子を備えており、受光した光の強度に応じた電気信号に光電変換することで低解像度の画像を撮像する。また、一時点において、第１の撮像部１０８と第２の撮像部１０９とのどちらか一方を、ハーフミラー１０７が透過した光を受光する位置に配置することができる構成となっている。本実施形態では、第１の対物レンズ１０５が試料１０１に対向するように配置された場合、第１の撮像部１０８は、ハーフミラー１０７が透過した光を受光する位置に配置される。また、第２の対物レンズ１０６が試料１０１に対向するように配置された場合、第２の撮像部１０９は、ハーフミラー１０７が透過した光を受光する位置に配置される。これにより、第１の撮像部１０８は、試料１０１の部分画像を高解像度で撮像することができ、第２の撮像部１０９は、試料１０２の全体画像を低解像度で撮像することができる。
【００２３】
視野領域変更部１１０は、ハーフミラー１０７とカラーセンサ１１１との間に配置されており、ハーフミラー１０７からの光のうち、一部の領域の光を遮り、一部の領域の光を透過する。視野領域変更部１１０を透過した光は、カラーセンサ１１１に入射する。また、視野領域変更部１１０は、ハーフミラー１０７からの光のうち、光を遮る領域を変更することができる。すなわち、視野領域変更部１１０は、カラーセンサ１１１の視野範囲を変更することができる。
【００２４】
カラーセンサ１１１は、試料１０１からの光のうち、視野領域変更部１１０を透過した光のスペクトル情報を検出する。撮像制御部１１２は、ステージ駆動部１０３と、第１の対物レンズ１０５と、第２の対物レンズ１０６と、第１の撮像部１０８と、第２の撮像部１０９と、カラーセンサ１１１との制御を行い、試料１０１の画像およびスペクトル情報を取得する。
【００２５】
全体画像生成部１１３は、第１の撮像部１０８が撮像した複数枚の部分画像それぞれに対して隣接する部分画像を認識し、さらに、隣接する部分画像同士ののりしろ部を認識し、認識した結果に基づいて全ての部分画像を貼り合わせて一枚の全体画像を生成する。また、全体画像生成部１１３は、カラーセンサ１１１が取得したスペクトル情報に基づいて、生成した全体画像の色補正を行う。なお、全体画像生成部１１３は、カラーセンサ１１１が取得したスペクトル情報に基づいて部分画像それぞれの色補正を行った後、色補正後の部分画像を貼り合わせて全体画像を生成するようにしてもよい。領域判定部１１４は、スペクトルの変化量が大きい領域と、スペクトルの変化量が小さい領域とを判定する。
【００２６】
次に、第１の撮像部１０８が部分画像を撮像する部分画像領域と、第２の撮像部１０９が全体画像を撮像する全体画像領域とについて説明する。図２は、本実施形態において、第１の撮像部１０８が部分画像を撮像する部分画像領域と、第２の撮像部１０９が全体画像を撮像する全体画像領域とを示した概略図である。図示する例では、第１の撮像部１０８が撮像する部分画像領域２０１〜２１５と、第２の撮像部１０９が撮像する全体画像領域３０１とが示されている。この場合、第１の撮像部１０８は、１５回の撮像を行うことで、試料１０１の全ての部分画像領域２０１〜２１５を撮像することができる。また、第２の撮像部１０９は１回の撮像で試料１０１の全体画像領域３０１を撮像することができる。また、部分画像領域２０１〜２１５を合わせると、全体画像領域３０１となる。
【００２７】
なお、図２に示す例ではのりしろ部が示されていないが、第１の撮像部１０８が撮像する部分画像にはのりしろ部が含まれる。例えば、第１の撮像部１０８が部分画像領域２０１の部分画像を撮像する場合、図示する部分画像領域２０１の周囲の領域の画像を含む部分画像を撮像する。他の部分画像領域２０２〜２１５を撮像する場合も同様に、第１の撮像部１０８は、部分画像領域２０２〜２１５の周囲の領域の画像を含む部分画像を撮像する。
【００２８】
次に、本実施形態におけるカラーセンサ１１１がスペクトル情報を取得する領域について説明する。１つの部分画像領域の中でスペクトルの変化量が小さい場合には、部分画像領域のいずれの領域のスペクトル情報もほぼ同じであると考えられる。また、１つの部分画像領域の中でスペクトルの変化量が大きい場合には、部分画像領域中の領域によって、スペクトル情報が大きく異なると考えられる。従って、１つの部分画像領域の中でスペクトルの変化量が小さい部分画像領域（スペクトル変化量が小さい部分画像領域）では、カラーセンサ１１１は、部分画像領域内の１つの領域のスペクトル情報を取得する。また、１つの部分画像領域の中でスペクトルの変化量が大きい部分画像領域（スペクトル変化量が大きい部分画像領域）では、カラーセンサ１１１は、部分画像領域内の複数の領域のスペクトル情報を取得する。
【００２９】
次に、スペクトル変化量が大きい部分画像領域と、スペクトル変化量が小さい部分画像領域の判定方法について説明する。本実施形態では、領域判定部１１４は、第２の撮像部１０９が撮像した１枚の全体画像の画素値を用いて部分画像領域毎に画素値の分散値を算出し、算出した分散値に基づいて、スペクトル変化量が大きい部分画像領域と、スペクトル変化量が小さい部分画像領域とを判定する。例えば、赤色を検出するＲ画素の画素値の分散値と、緑色を検出するＧ画素の画素値の分散値と、青色を検出するＢ画素の画素値の分散値とをそれぞれ算出する。そして、算出したＲ画素の画素値の分散値と、Ｇ画素の画素値の分散値と、Ｂ画素の画素値の分散値とのうち、いずれか１つ以上の分散値が予め定められた閾値以上の場合、スペクトル変化量が大きい部分画像領域であると判定する。また、算出したＲ画素の画素値の分散値と、Ｇ画素の画素値の分散値と、Ｂ画素の画素値の分散値とのうち、全ての分散値が予め定められた閾値未満の場合、スペクトル変化量が小さい部分画像領域であると判定する。
【００３０】
また、カラーセンサ１１１は、部分画像領域内の複数の領域のスペクトル情報を取得する場合、ステージ１０２が移動している間にスペクトル情報を取得することで、スペクトル情報の取得時間を短縮する。図３は、本実施形態において、スペクトル変化量が大きい部分画像領域と、スペクトル変化量が小さい部分画像領域と、カラーセンサ１１１がスペクトル情報を取得する領域と、カラーセンサ１１１がスペクトル情報を取得するタイミングとを示した概略図である。
【００３１】
図示する例では、図２に示した部分画像領域のうち、部分画像領域２０１〜２０５を示している。また、部分画像領域２０１，２０３，２０４は、スペクトル変化量が大きい部分画像領域である。部分画像領域２０２，２０５は、スペクトル変化量が小さい部分画像領域である。また、部分画像領域２０１，２０３，２０４内には、ステージ１０２の移動中にカラーセンサ１１１がスペクトル情報を取得する領域３１０がそれぞれ４つ含まれており、ステージ１０２の停止中（部分画像撮像中）にカラーセンサ１１１がスペクトル情報を取得する領域３１１がそれぞれ１つ含まれている。また、部分画像領域２０２，２０５内には、ステージ１０２の停止中（部分画像撮像中）にカラーセンサ１１１がスペクトル情報を取得する領域３１１がそれぞれ１つ含まれている。
【００３２】
このように、本実施形態のカラーセンサ１１１は、スペクトル変化量が小さい部分画像領域では部分画像領域内の１つの領域のスペクトル情報を取得し、スペクトル変化量が大きい部分画像領域では、部分画像領域内の複数の領域のスペクトル情報を取得する。また、カラーセンサ１１１は、部分画像領域内の複数の領域のスペクトル情報を取得する場合、ステージ１０２が移動している間にもスペクトル情報を取得する。従って、カラーセンサ１１１が複数の領域のスペクトル情報を取得する場合においても、スペクトル情報の取得時間を短縮することができる。
【００３３】
次に、顕微鏡装置１による試料１０１の撮像手順について説明する。図４は、本実施形態における顕微鏡装置１の動作手順を示したフローチャートである。
（ステップＳ１０１）撮像制御部１１２は、第２の対物レンズ１０６を試料１０１に対向する位置に配置し、第２の撮像部１０９をハーフミラー１０７が透過した光を受光する位置に配置し、第２の対物レンズ１０６と第２の撮像部１０９とを用いて、試料１０１の全体画像を撮像する。その後、ステップＳ１０２の処理に進む。
（ステップＳ１０２）領域判定部１１４は、ステップＳ１０１の処理で第２の撮像部１０９が撮像した試料１０１の全体画像を用いて、スペクトル変化量が大きい部分画像領域と、スペクトル変化量が小さい部分画像領域とを判定する。その後、ステップＳ１０３の処理に進む。
【００３４】
（ステップＳ１０３）撮像制御部１１２は、第１の対物レンズ１０５を試料１０１に対向する位置に配置し、第１の撮像部１０８をハーフミラー１０７が透過した光を受光する位置に配置する。その後、ステップＳ１０４の処理に進む。
（ステップＳ１０４）撮像制御部１１２は、第１の撮像部１０８が試料１０１の全ての部分画像領域の部分画像を撮像したか否かを判定する。第１の撮像部１０８は試料１０１の全ての部分画像領域の部分画像を撮像したと撮像制御部１１２が判定した場合にはステップＳ１０７の処理に進み、それ以外の場合にはステップＳ１０５の処理に進む。
【００３５】
（ステップＳ１０５）撮像制御部１１２は、第１の撮像部１０８が、まだ撮像していない部分画像領域の部分画像を撮像できるように、ステージ駆動部１０３を制御してステージ１０２（試料１０１）を水平方向に移動させる。また、撮像制御部１１２は、ステージ１０２の移動中にスペクトル変化量が大きい部分画像領域が第１の対物レンズ１０５の光軸上を通過する場合、カラーセンサ１１１にスペクトル情報を取得させる。カラーセンサ１１１は、撮像制御部１１２の制御に基づいてスペクトル情報を取得し、取得したスペクトル情報を全体画像生成部１１３に対して出力する。なお、このときにカラーセンサ１１１がスペクトル情報を取得する領域は、例えば、図３に示した領域３１０である。全体画像生成部１１４は、カラーセンサ１１１が出力するスペクトル情報を記憶する。その後、ステップＳ１０６の処理に進む。
【００３６】
（ステップＳ１０６）撮像制御部１１２は、第１の撮像部１０８に部分画像領域の部分画像を撮像させ、カラーセンサ１１１にスペクトル情報を取得させる。第１の撮像部１０８は部分画像を撮像し、撮像した部分画像を全体画像生成部１１３に対して出力する。また、カラーセンサ１１１は、スペクトル情報を取得し、取得したスペクトル情報を全体画像生成部１１３に対して出力する。なお、このときにカラーセンサ１１１がスペクトル情報を取得する領域は、例えば、図３に示した領域３１１である。全体画像生成部１１３は、第１の撮像部１０９が出力する部分画像と、カラーセンサ１１１が出力するスペクトル情報とを記憶する。その後、ステップＳ１０４の処理に戻る。
【００３７】
（ステップＳ１０７）全体画像生成部１１３は、ステップＳ１０６の処理で記憶した部分画像を貼り合わせて一枚の全体画像を生成する。また、全体画像生成部１１３は、ステップＳ１０５およびステップＳ１０６の処理で記憶したスペクトル情報を用いて、生成した全体画像の色補正を行う。その後、処理を終了する。例えば、全体画像生成部１１３は、ステップＳ１０５およびステップＳ１０６の処理で記憶したスペクトル情報の平均値を算出し、算出した平均値を用いて全体画像の色補正を行う。なお、全体画像生成部１１３は、各部分画像領域で取得したスペクトル情報を用いて部分画像それぞれの色補正を行った後、色補正後の部分画像を貼り合わせて全体画像を生成するようにしてもよい。
【００３８】
上述した通り、本実施形態によれば、部分画像を撮像する前に、試料１０１の位置合わせのために試料１０１を載置したステージ１０２を移動させるが、カラーセンサ１１１は、ステージ１０２が移動している間にも多領域のスペクトル情報を取得する。従って、多領域のスペクトル情報を取得する場合においても、スペクトル情報をより短時間に取得することができる。
【００３９】
また、１つの部分画像領域の中でスペクトルの変化量が小さい場合には、部分画像領域のいずれの領域のスペクトル情報もほぼ同じであると考えられる。また、１つの部分画像領域の中でスペクトルの変化量が大きい場合には、部分画像領域中の領域によって、スペクトル情報が大きく異なると考えられる。そのため、本実施形態によれば、スペクトル変化量が小さい部分画像領域では、部分画像領域内の１つの領域のスペクトル情報を取得する。また、スペクトル変化量が大きい部分画像領域では、部分画像領域内の複数の領域のスペクトル情報を取得する。従って、スペクトル情報を取得する領域数を削減しつつ、より正確なスペクトル情報を取得することができる。
【００４０】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態における顕微鏡装置１の構成と第１の実施形態における顕微鏡装置１の構成とは同様の構成である。本実施形態と第１の実施形態とで異なる点は、本実施形態では、スペクトル変化量が大きい部分画像領域のみでスペクトル情報を取得し、スペクトル変化量が大きい部分画像領域で取得したスペクトル情報を用いて、部分画像を貼り合わせて生成した全体画像の色補正を行う点である。
【００４１】
次に、本実施形態におけるカラーセンサ１１１がスペクトル情報を取得する領域について説明する。一般的に、試料１０１を撮像した画像には撮像対象物と背景とが含まれている。また、撮像対象物と背景との色が異なる場合、画像中に撮像対象物が含まれていると画像内のスペクトル変化量が大きくなる。そのため、スペクトル変化量が大きい部分画像領域には撮像対象物が含まれている可能性が高い。そこで、本実施形態では、スペクトル変化量が大きい部分画像領域のみでスペクトル情報を取得し、取得したスペクトル情報を用いて、部分画像を貼り合わせて生成した全体画像の色補正を行うことで、より撮像対象物に適した色補正を行うことができる。さらに、スペクトル変化量が大きい部分画像領域のみでスペクトル情報を取得し、スペクトル変化量が小さい部分画像領域ではスペクトル情報を取得しないため、スペクトル情報を取得するために必要な時間をより削減することができる。
【００４２】
次に、スペクトル情報を取得する領域およびタイミングについて説明する。図５は、本実施形態において、スペクトル変化量が大きい部分画像領域と、スペクトル変化量が小さい部分画像領域と、カラーセンサ１１１がスペクトル情報を取得する領域と、カラーセンサ１１１がスペクトル情報を取得するタイミングとを示した概略図である。
【００４３】
図示する例では、第１の実施形態における図２に示した部分画像領域のうち、部分画像領域２０１〜２０５を示している。また、部分画像領域２０１，２０３，２０４は、スペクトル変化量が大きい部分画像領域である。部分画像領域２０２，２０５は、スペクトル変化量が小さい部分画像領域である。また、部分画像領域２０１，２０３，２０４内には、カラーセンサ１１１が、ステージ１０２の移動中にスペクトル情報を取得する領域３１０がそれぞれ４つ含まれており、ステージ１０２の停止中（部分画像撮像中）にスペクトル情報を取得する領域３１１がそれぞれ１つ含まれている。なお、スペクトル変化量が小さい部分画像領域ではスペクトル情報を取得しないため、部分画像領域２０２，２０５内には、スペクトル情報を取得する領域は含まれていない。
【００４４】
このように、本実施形態のカラーセンサ１１１は、スペクトル変化量が小さい部分画像領域ではスペクトル情報を取得せず、スペクトル変化量が大きい部分画像領域では、部分画像領域内の複数の領域のスペクトル情報を取得する。従って、スペクトル情報を取得するために必要な時間をより削減することができる。また、カラーセンサ１１１は、部分画像領域内の複数の領域のスペクトル情報を取得する場合、ステージ１０２が移動している間にもスペクトル情報を取得する。従って、カラーセンサ１１１が複数の領域のスペクトル情報を取得する場合においても、スペクトル情報の取得時間を短縮することができる。
【００４５】
次に、顕微鏡装置１による試料１０１の撮像手順について説明する。図６は、本実施形態における顕微鏡装置１の動作手順を示したフローチャートである。ステップＳ２０１〜ステップＳ２０４の処理は、第１の実施形態におけるステップＳ１０１〜ステップＳ１０４の処理と同様の処理である。
【００４６】
（ステップＳ２０５）撮像制御部１１２は、第１の撮像部１０８が、まだ撮像していない部分画像領域の部分画像を撮像できるように、ステージ駆動部１０３を制御してステージ１０２（試料１０１）を水平方向に移動させる。また、撮像制御部１１２は、ステージ１０２の移動中にスペクトル変化量の大きい部分画像領域が第１の対物レンズ１０５の光軸上を通過する場合、カラーセンサ１１１にスペクトル情報を取得させる。カラーセンサ１１１は、撮像制御部１１２の制御に基づいてスペクトル情報を取得し、取得したスペクトル情報を全体画像生成部１１３に対して出力する。なお、このときにカラーセンサ１１１がスペクトル情報を取得する領域は、例えば、図５に示した領域３１０である。全体画像生成部１１４は、カラーセンサ１１１が出力するスペクトル情報を記憶する。その後、ステップＳ２０６の処理に進む。
【００４７】
（ステップＳ２０６）撮像制御部１１２は、第２の撮像部１０９に部分画像領域の部分画像を撮像させる。このとき、部分画像を撮像する部分画像領域がスペクトル変化量の大きな部分画像領域である場合、撮像制御部１１２は、カラーセンサ１１１にスペクトル情報を取得させる。第２の撮像部１０９は部分画像を撮像し、撮像した部分画像を全体画像生成部１１３に対して出力する。また、カラーセンサ１１１は、第２の撮像部１０９が部分画像を撮像する部分画像領域がスペクトル変化量の大きな部分画像領域である場合、スペクトル情報を取得し、取得したスペクトル情報を全体画像生成部１１３に対して出力する。なお、このときにカラーセンサ１１１がスペクトル情報を取得する領域は、例えば、図５に示した領域３１１である。全体画像生成部１１３は、第２の撮像部１０９が出力する部分画像を記憶し、カラーセンサ１１１が出力するスペクトル情報を記憶する。その後、ステップＳ２０４の処理に戻る。
【００４８】
（ステップＳ２０７）全体画像生成部１１３は、ステップＳ２０６の処理で記憶した部分画像を貼り合わせて一枚の全体画像を生成する。また、全体画像生成部１１３は、ステップＳ２０５およびステップＳ２０６の処理で記憶したスペクトル情報を用いて、生成した全体画像の色補正を行う。その後、処理を終了する。例えば、全体画像生成部１１３は、ステップＳ２０５およびステップＳ２０６の処理で記憶したスペクトル情報の平均値を算出し、算出した平均値を用いて、生成した全体画像の色補正を行う。
【００４９】
上述した通り、一般的に、試料１０１を撮像した画像には撮像対象物と背景とが含まれている。また、撮像対象物と背景との色が異なる場合、画像中に撮像対象物が含まれていると画像内のスペクトル変化量が大きくなる。そのため、スペクトル変化量が大きい部分画像領域には撮像対象物が含まれている可能性が高い。そこで、本実施形態では、スペクトル変化量が大きい部分画像領域のみでスペクトル情報を取得し、取得したスペクトル情報を用いて、部分画像を貼り合わせて生成した全体画像の色補正を行う。従って、より正確に撮像対象物のスペクトル情報を取得することができる。さらに、スペクトル変化量が大きい部分画像領域のみでスペクトル情報を取得し、スペクトル変化量が小さい部分画像領域ではスペクトル情報を取得しないため、スペクトル情報を取得するために必要な時間をより削減することができる。
【００５０】
以上、この発明の第１の実施形態と第２の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【００５１】
例えば、上述した第１の実施形態および第２の実施形態では、第１の撮像部１０８と第２の撮像部１０９とを別々に備え、第１の撮像部１０８が部分画像を撮像し、第２の撮像部１０９が全体画像を撮像しているがこれに限らない。例えば、第１の撮像部１０８が、全体画像と部分画像の両方を撮像するようにしてもよい。
【００５２】
また、上述した第１の実施形態および第２の実施形態では、ステージ１０２の移動中に取得するスペクトル情報として、４つの領域のスペクトル情報を取得しているがこれに限らない。例えば、４つの領域のスペクトル情報を取得する代わりに、１つ以上の領域のスペクトル情報を取得するようにしてもよい。
【符号の説明】
【００５３】
１・・・顕微鏡装置、１０１・・・試料、１０２・・・ステージ、１０３・・・ステージ駆動部、１０４・・・光源、１０５・・・第１の対物レンズ、１０６・・・第２の対物レンズ、１０７・・・ハーフミラー、１０８・・・第１の撮像部、１０９・・・第２の撮像部、１１０・・・視野領域変更部、１１１・・・カラーセンサ、１１２・・・撮像制御部、１１３・・・全体画像生成部、１１４・・・領域判定部
【特許請求の範囲】
【請求項１】
試料を保持するステージと、
撮像素子を備え、入射した光に応じて前記試料の部分画像を撮像する撮像部と、
入射した光のスペクトル情報を取得するカラーセンサと、
前記試料からの光を、前記撮像部と前記カラーセンサとに入射する光学系と、
前記ステージを三次元方向に移動させる搬送部と、
前記撮像部が撮像した他の部分画像と重なる部分であるのりしろ部が存在するように、前記試料を前記撮像素子の撮像面と平行な方向に移動させるように前記搬送部を制御し、前記試料の移動中にも前記スペクトル情報を取得するように前記カラーセンサを制御し、前記試料の移動後に前記部分画像を撮像するように前記撮像部を制御する撮像制御部と、
を備えることを特徴とする顕微鏡装置。
【請求項２】
前記撮像部が前記部分画像を撮像する領域である各部分画像領域内でのスペクトル変化量が所定の値以上であるか否かを判定する領域判定部
を備え、
前記撮像制御部は、前記試料の移動中にも前記スペクトル情報を取得する際には、前記スペクトル変化量が所定の値以上の前記部分画像領域のみで前記スペクトル情報を取得するように前記カラーセンサを制御する
ことを特徴とする請求項１に記載の顕微鏡装置。
【請求項３】
前記試料の全体画像を撮像する全体画像撮像部
を備え、
前記領域判定部は、前記全体画像撮像部が撮像した前記全体画像を用いて、各部分画像領域内でのスペクトル変化量が所定の値以上であるか否かを判定する
ことを特徴とする請求項２に記載の顕微鏡装置。
【請求項４】
前記撮像制御部は、前記撮像部が部分領域を撮像する際にも前記スペクトル情報を取得するように前記カラーセンサを制御する
ことを特徴とする請求項１に記載の顕微鏡装置。
【請求項５】
前記撮像制御部は、前記スペクトル変化量が所定の値以上の部分画像領域を撮像する際にも前記スペクトル情報を取得するように前記カラーセンサを制御する
ことを特徴とする請求項２に記載の顕微鏡装置。
【請求項６】
前記部分画像を貼り合わせて１枚の全体画像を生成し、前記スペクトル変化量が所定の値以上の前記部分画像領域で取得した前記スペクトル情報のみを用いて、生成した前記全体画像の色補正を行う全体画像生成部
を備えることを特徴とする請求項５に記載の顕微鏡装置。
【請求項１】
試料を保持するステージと、
撮像素子を備え、入射した光に応じて前記試料の部分画像を撮像する撮像部と、
入射した光のスペクトル情報を取得するカラーセンサと、
前記試料からの光を、前記撮像部と前記カラーセンサとに入射する光学系と、
前記ステージを三次元方向に移動させる搬送部と、
前記撮像部が撮像した他の部分画像と重なる部分であるのりしろ部が存在するように、前記試料を前記撮像素子の撮像面と平行な方向に移動させるように前記搬送部を制御し、前記試料の移動中にも前記スペクトル情報を取得するように前記カラーセンサを制御し、前記試料の移動後に前記部分画像を撮像するように前記撮像部を制御する撮像制御部と、
を備えることを特徴とする顕微鏡装置。
【請求項２】
前記撮像部が前記部分画像を撮像する領域である各部分画像領域内でのスペクトル変化量が所定の値以上であるか否かを判定する領域判定部
を備え、
前記撮像制御部は、前記試料の移動中にも前記スペクトル情報を取得する際には、前記スペクトル変化量が所定の値以上の前記部分画像領域のみで前記スペクトル情報を取得するように前記カラーセンサを制御する
ことを特徴とする請求項１に記載の顕微鏡装置。
【請求項３】
前記試料の全体画像を撮像する全体画像撮像部
を備え、
前記領域判定部は、前記全体画像撮像部が撮像した前記全体画像を用いて、各部分画像領域内でのスペクトル変化量が所定の値以上であるか否かを判定する
ことを特徴とする請求項２に記載の顕微鏡装置。
【請求項４】
前記撮像制御部は、前記撮像部が部分領域を撮像する際にも前記スペクトル情報を取得するように前記カラーセンサを制御する
ことを特徴とする請求項１に記載の顕微鏡装置。
【請求項５】
前記撮像制御部は、前記スペクトル変化量が所定の値以上の部分画像領域を撮像する際にも前記スペクトル情報を取得するように前記カラーセンサを制御する
ことを特徴とする請求項２に記載の顕微鏡装置。
【請求項６】
前記部分画像を貼り合わせて１枚の全体画像を生成し、前記スペクトル変化量が所定の値以上の前記部分画像領域で取得した前記スペクトル情報のみを用いて、生成した前記全体画像の色補正を行う全体画像生成部
を備えることを特徴とする請求項５に記載の顕微鏡装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１８５４４２（Ｐ２０１２−１８５４４２Ａ）
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願番号】特願２０１１−５０１３８（Ｐ２０１１−５０１３８）
【出願日】平成２３年３月８日（２０１１．３．８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願日】平成２３年３月８日（２０１１．３．８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]