画像処理装置、蛍光顕微鏡装置および画像処理プログラム
【課題】コントラストが良好でありながら輝度むらのない３次元画像を生成する。
【解決手段】標本からの蛍光を標本の異なる深さ位置で撮像した蛍光画像であり、各深さ位置において異なる露光量で複数ずつ撮像された蛍光画像を深さ位置毎に合成することにより合成画像を生成する画像合成部７３と、該画像合成部７３によって生成された各合成画像から代表輝度を算出し、算出された代表輝度を深さ方向に平滑化することにより、各合成画像について平滑化輝度を算出する平滑化輝度計算部７４と、該平滑化輝度計算部７４によって算出された平滑化輝度と代表輝度との差分に基づいて各合成画像の輝度を補正することにより補正画像を生成する輝度補正部７５と、該輝度補正部７５によって生成された複数の補正画像から標本の３次元画像を生成する３次元画像生成部７６とを備える画像処理装置７００を提供する。
【解決手段】標本からの蛍光を標本の異なる深さ位置で撮像した蛍光画像であり、各深さ位置において異なる露光量で複数ずつ撮像された蛍光画像を深さ位置毎に合成することにより合成画像を生成する画像合成部７３と、該画像合成部７３によって生成された各合成画像から代表輝度を算出し、算出された代表輝度を深さ方向に平滑化することにより、各合成画像について平滑化輝度を算出する平滑化輝度計算部７４と、該平滑化輝度計算部７４によって算出された平滑化輝度と代表輝度との差分に基づいて各合成画像の輝度を補正することにより補正画像を生成する輝度補正部７５と、該輝度補正部７５によって生成された複数の補正画像から標本の３次元画像を生成する３次元画像生成部７６とを備える画像処理装置７００を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、蛍光顕微鏡装置および画像処理プログラムに関するものである。
【背景技術】
【０００２】
従来、複数のスライス画像から３次元画像を生成する共焦点顕微鏡装置において、カメラからの出力信号のレベルを自動ゲイン制御（ＡＧＣ）回路によって所定の範囲に調節してからＡＤ変換することにより、スライス画像のダイナミックレンジを拡大する技術が知られている（例えば、特許文献１参照。）。このような技術によれば、コントラストが良好なスライス画像を得ることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−１８３８０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の場合、スライス画像毎にＡＧＣ回路による信号の増幅率が異なる。例えば、蛍光が強く発光する領域を含むスライス画像は低い増幅率で処理され、全体的に暗いスライス画像は高い増幅率で処理される。したがって、実際には同一の明るさを有する領域がスライス画像毎に異なる輝度値で表現される。このようなスライス画像から生成された３次元画像には、スライス画像間の輝度値のばらつきに応じて縞状の輝度むらが発生してしまうという問題がある。
【０００５】
本発明は、上述した事情に鑑みてなされたものであって、コントラストが良好でありながら輝度むらのない３次元画像を生成することができる画像処理装置、蛍光顕微鏡装置および画像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明は以下の部を提供する。
本発明は、標本からの蛍光を前記標本の異なる深さ位置で撮像した蛍光画像であり、各深さ位置において異なる露光量で複数ずつ撮像された蛍光画像を前記深さ位置毎に合成することにより合成画像を生成する画像合成部と、該画像合成部によって生成された各合成画像から代表輝度を算出し、算出された代表輝度を前記深さ方向に平滑化することにより、各合成画像について平滑化輝度を算出する平滑化輝度計算部と、該平滑化輝度計算部によって算出された平滑化輝度と前記代表輝度との差分に基づいて各前記合成画像の輝度を補正することにより補正画像を生成する輝度補正部と、該輝度補正部によって生成された複数の補正画像から前記標本の３次元画像を生成する３次元画像生成部とを備える画像処理装置を提供する。
【０００７】
本発明によれば、画像合成部が同一の深さ位置における露光量の異なる複数の蛍光画像を合成することによりダイナミックレジが元の蛍光画像に対して拡大された合成画像を生成し、合成画像に対して輝度補正部が輝度の補正を施すことにより補正画像し、３次元画像生成部が補正画像から標本の３次元画像を生成する。
【０００８】
この場合に、各合成画像は、元となっている複数の蛍光画像内の蛍光の強度に応じて異なるダイナミックレンジを有している。平滑化輝度計算部は、このようにダイナミックレンジが異なる合成画像の代表輝度を標本の深さ方向に平滑化し、輝度補正部は、個々の合成画像の平滑化輝度と代表輝度との差分に基づいて合成画像の輝度を補正することにより輝度が標本の深さ方向に滑らかに変化する補正画像を生成する。これにより、補正画像からコントラストが良好でありながら縞状の輝度むらがない３次元画像を生成することができる。
【０００９】
また、本発明は、標本に励起光を照射する光源と、前記励起光の照射によって前記標本から発生した蛍光を集光する対物光学系と、該対物光学系によって集光された蛍光を撮像する撮像部と、前記対物光学系の焦点位置を前記対物光学系の光軸方向に移動させることにより前記標本を複数の焦点位置で前記撮像部に撮像させる焦点位置制御部と、各焦点位置において前記蛍光の露光量が異なる複数の蛍光画像を前記撮像部に取得させる露光量制御部と、前記焦点位置制御部および前記露光量制御部による制御に従って前記撮像部が取得した各焦点位置における複数の蛍光画像を合成して合成画像を生成する画像合成部と、該画像合成部によって生成された各合成画像から代表輝度を算出し、算出された代表輝度を前記光軸方向に平滑化することにより、各合成画像について平滑化輝度を算出する平滑化輝度計算部と、該平滑化輝度計算部によって算出された平滑化輝度と前記代表輝度との差分に基づいて各前記合成画像の輝度を補正することにより補正画像を生成する輝度補正部と、該輝度補正部によって生成された複数の補正画像から前記標本の３次元画像を生成する３次元画像生成部とを備える蛍光顕微鏡装置を提供する。
【００１０】
本発明によれば、光源からの励起光の照射により標本から発生した蛍光が撮像部によって撮像される。このときに、撮像部は、焦点位置制御部による制御に基づいて複数の焦点位置で蛍光画像を取得し、さらに露光量制御部による制御に基づいて各焦点位置において露光量の異なる複数の蛍光画像を取得する。画像合成部は、各焦点位置における複数の蛍光画像を合成することによりダイナミックレンジが拡大された合成画像を生成する。
【００１１】
合成画像は、平滑化輝度計算部によって算出された平滑化輝度に基づいて、輝度が標本の深さ方向に滑らかに変化するように輝度補正部によって補正された後に、補正画像として３次元画像生成部による３次元画像の生成に用いられる。これにより、コントラストが良好でありながら縞状の輝度むらがない３次元画像を生成することができる。
【００１２】
上記発明においては、前記露光量制御部が、前記光源による前記励起光の強度ならびに前記撮像部による蛍光の検出感度および露光時間のうち少なくとも１つを調節することにより前記蛍光の露光量を制御することとしてもよい。
このようにすることで、撮像部によって撮像される蛍光の露光量を簡便に制御することができる。
【００１３】
また、上記発明においては、前記標本と前記対物光学系との前記光軸に交差する方向の相対位置を移動させることにより、各焦点位置において前記交差する方向に隣接する複数の位置でそれぞれ露光量の異なる複数の前記蛍光画像を前記撮像部に取得させる撮像位置制御部を備え、前記露光量制御部が、前記交差する方向の位置毎に前記撮像部による前記蛍光の露光条件を設定する請こととしてもよい。
【００１４】
このようにすることで、光軸に交差する同一の平面において複数の位置で蛍光を撮像することにより、より大きな範囲の３次元画像を作成する場合に、同一平面を構成する複数の合成画像間においても輝度のばらつきを抑えることができる。
【００１５】
また、本発明は、標本からの蛍光を前記標本の異なる深さ位置で撮像した蛍光画像であり、各深さ位置において異なる露光量で複数ずつ撮像された蛍光画像を取得する工程と、取得された各前記深さ位置における複数の蛍光画像を合成することにより合成画像を生成する工程と、生成された各合成画像から代表輝度を算出し、算出された代表輝度を前記深さ方向に平滑化することにより、各合成画像について平滑化輝度を算出する工程と、算出された平滑化輝度と前記代表輝度との差分に基づいて各前記合成画像の輝度を補正することにより補正画像を生成する工程と、生成された複数の補正画像から前記標本の３次元画像を生成する工程とをコンピュータに実行させるための画像処理プログラムを提供する。
【発明の効果】
【００１６】
本発明によれば、コントラストが良好でありながら輝度むらのない３次元画像を生成することができるという効果を奏する。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態に係る画像処理装置および蛍光顕微鏡装置の全体構成図である。
【図２】（ａ）画像合成部によって生成される合成画像および（ｂ）輝度補正部によって生成される補正画像を模式的に示す図である。
【図３】（ａ）合成画像の平均輝度、（ｂ）平均輝度を平滑化した平滑化輝度、および（ｃ）平均輝度と平滑化輝度との差分のＺ方向の変動を示すグラフである。
【図４】図１の蛍光顕微鏡装置の動作を示すフローチャートである。
【図５】図１の蛍光顕微鏡装置の変形例の動作を示すフローチャートである。
【図６】落射型蛍光顕微鏡をベースに構成された図１の蛍光顕微鏡装置の変形例を示す全体構成図である。
【図７】光源としてＬＥＤを備えた図６の蛍光顕微鏡装置の変形例を示す全体構成図である。
【図８】単体で構成された画像処理装置の全体構成を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下に、本発明の一実施形態に係る蛍光顕微鏡装置１について図面を参照して説明する。
本実施形態に係る蛍光顕微鏡装置１は、レーザ走査型顕微鏡をベースとしたものであり、図１に示されるように、レーザ光を照射するレーザ光源（光源）２と、標本Ａを載置するステージ３と、レーザ光源２からのレーザ光を標本Ａに照射する照射光学系４と、標本Ａからの蛍光を検出する検出光学系５と、該検出光学系５によって検出される蛍光の位置および露光量を制御する制御ユニット（焦点位置制御部、露光量制御部）６と、検出光学系５によって検出された蛍光を画像化する画像処理ユニット７と、画像処理ユニット７により生成された画像を表示する画像表示部８とを主な構成要素として備えている。
【００１９】
標本Ａは、例えば細胞群であり、その内の観察対象とする細胞に特異的に付着または発現する蛍光物質が投与されている。
レーザ光源２は、標本Ａ中の蛍光物質を励起する励起波長を有するレーザ光（励起光）を出射する。レーザ光の出力強度は後述するように制御ユニット６により制御される。
ステージ３は、制御ユニット６からの制御信号に従って後述する対物レンズ４６の光軸方向（Ｚ方向）および該光軸に交差する２軸方向（ＸＹ方向）に移動可能に設けられている。
【００２０】
照射光学系４は、レーザ光源２からのレーザ光を標本Ａに照射する光学系であり、ダイクロイックミラー４１と、走査光学ユニット４２と、リレーレンズ４３と、ミラー４４と、結像レンズ４５と、対物レンズ（対物光学系）４６とを備えている。
【００２１】
対物レンズ４６は、ステージ３に対向して配置され、レーザ光源２から発せられたレーザ光をステージ３上の標本Ａに照射するとともに、レーザ光によって励起された蛍光を含む標本Ａから光を集光する。
ダイクロイックミラー４１は、レーザ光源２からのレーザ光を透過する一方、対物レンズ４６により集光された標本Ａからの蛍光を後述する光検出器５４に向けて反射する。
【００２２】
走査光学ユニット４２は、一対のガルバノミラー４２ａ，４２ｂを有しており、これらガルバノミラー４２ａ，４２ｂの揺動角度を変化させ、ラスタスキャン方式で駆動されるようになっている。これにより、走査光学ユニット４２は、レーザ光源２からのレーザ光を標本Ａ上において対物レンズ４６の光軸に直交する２軸方向（ＸＹ方向）に走査するようになっている。
【００２３】
検出光学系５は、標本Ａからの蛍光を検出する光学系であり、測光フィルタユニット５１と、レンズ５２と、ピンホール５３と、光検出器（撮像部）５４とを備えている。
測光フィルタユニット５１は、ダイクロイックミラー４１により反射された標本Ａからの光のうち蛍光を透過させ、蛍光以外の光（例えばレーザ光源２からのレーザ光）を遮断する。
レンズ５２は、測光フィルタユニット５１を透過してきた標本Ａからの蛍光をピンホール５３に集光する。
【００２４】
ピンホール５３は、標本Ａにおけるレーザ光の焦点位置から発生した蛍光のみを通過させるようになっている。すなわち、対物レンズ４６により集光された蛍光は、ピンホール５３を通過することによりレーザ光の焦点位置（測定点）からＺ方向にずれた位置からの光がカットされる。これにより、Ｚ方向に焦点位置と同一な面からの蛍光だけが光検出器５４に入射させられることとなる。
【００２５】
光検出器５４は、例えば光電子増倍管（Ｐｈｏｔｏｍｕｌｔｉｐｌｉｅｒ Ｔｕｂｅ）である。光検出器５４は、検出した標本Ａからの蛍光を光電変換し、得られた電気信号を画像処理ユニット７の画像生成部７１（後述）に出力する。
【００２６】
制御ユニット６は、レーザ光源２、ステージ３、走査光学ユニット４２、光検出器５４を同期して作動させる。具体的には、制御ユニット６は、ステージ３を所定の距離間隔でＺ方向に移動させることにより光検出器５４によって検出される蛍光の焦点位置をＺ方向に移動させる。さらに、制御ユニット６は、各焦点位置において、光検出器５４による検出感度及び露光時間並びにレーザ光源２によるレーザ光の出力強度のうち少なくとも１つを段階的に増減させることにより、光検出器５４によって検出される蛍光の露光量を段階的に変化させる。これにより、後述する画像生成部７１において、蛍光の露光量が異なる複数の蛍光画像が複数の焦点位置において生成されることとなる。
【００２７】
画像処理ユニット７は、画像生成部７１と、メモリ７２と、画像合成部７３と、平滑化輝度計算部７４と、輝度補正部７５と、３次元画像生成部７６と、ノイズ除去部７７とを備えている。
【００２８】
画像生成部７１は、光検出器５４により検出された標本Ａからの蛍光の強度と、走査光学ユニット４２による標本ＡにおけるＸＹ方向の走査位置とを対応付けて標本Ａの蛍光画像を生成する。このときに、画像生成部７１は、制御ユニット６による露光量の制御に基づき、複数の焦点位置における、蛍光の露光量が異なる複数の蛍光画像を生成する。画像生成部７１は、生成した蛍光画像に該蛍光画像が取得されたときのステージ３のＺ方向の位置を対応付けてメモリ７２に記憶する。
【００２９】
画像合成部７３は、Ｚ方向の位置が同一であり露光量が異なる複数の蛍光画像を合成することにより合成画像を生成する。具体的には、受光量が多い蛍光画像において、観察対象である細胞の低輝度領域は鮮明に表示されるが、細胞の高輝度領域については輝度が飽和する。一方、受光量が少ない蛍光画像において、細胞の低輝度領域はノイズに埋もれてしまい不鮮明になるが、細胞の高輝度領域は鮮明に表示される。画像合成部７３は、このように各蛍光画像において適切な露光量で撮像された領域を合成することにより、元の蛍光画像が有するダイナミックレンジよりも見かけ上広いダイナミックレンジを有する合成画像を生成する。画像合成部７３は、生成した複数の合成画像をメモリ７２に記憶する。
【００３０】
ここで、蛍光画像に対して拡大された各合成画像のダイナミックレンジの幅は、元となっている複数の蛍光画像が有する輝度分布の範囲によって異なる。そのため、図２（ａ）に示されるように、実際には同一の明るさを有する領域が合成画像Ｇ１〜Ｇ４毎に異なる輝度で表現されることとなる。
【００３１】
平滑化輝度計算部７４は、メモリ７２に記憶された複数の合成画像を取得し、各合成画像について代表輝度を算出する。代表輝度としては、各合成画像の平均輝度が好ましい。以下、代表輝度として各合成画像の平均輝度を用いる場合について説明するが、平均輝度に代えて、例えば各合成画像の最大輝度等を用いてもよい。
【００３２】
平滑化輝度計算部７４により算出された平均輝度は、図３（ａ）に示されるように、上述したように合成画像のダイナミックレンジの幅のばらつきが要因でＺ方向に不連続に変化する。次に、平滑化輝度計算部７４は、図３（ｂ）に示されるように、平均輝度の比較的大きな変動を残しつつ比較的細かい変動を除去するように、平均輝度をＺ方向に平滑化し、個々の合成画像について平滑化輝度を計算する。平滑化輝度計算部７４は、算出した各合成画像の平滑化輝度を輝度補正部７５に出力する。なお、図３（ａ），（ｂ）において、横軸は合成画像のＺ方向の位置、縦軸は平均輝度を表している。
【００３３】
平滑化処理には、例えば、移動平均フィルタが用いられる。移動平均フィルタは、注目する合成画像を中心とするＺ方向に連続する所定の数の合成画像の平均輝度の平均を算出し、算出された平均輝度の平均を注目する合成画像の輝度とするものである。
【００３４】
輝度補正部７５は、各合成画像について、平滑化輝度計算部７４によって算出された平滑化輝度と平均輝度との差分を算出し、算出した差分に基づいて合成画像の輝度を補正することにより補正画像を生成する。具体的には、輝度補正部７５は、算出した差分の平滑化輝度に対する比率を算出し、算出した比率の分だけ合成画像の輝度を増大させるまたは減少させることにより補正画像を生成する。例えば、平均輝度が平滑化輝度よりも大きく、その差分が平滑化輝度の２０％であった場合には、合成画像の輝度を２割減少させることにより補正画像を生成する。輝度補正部７５は、生成した補正画像をメモリ７２に記憶する。
【００３５】
平均輝度と平滑化輝度との差分は、図３（ｃ）に示されるように、合成画像の平均輝度の比較的小さな変動と相関している。つまり、差分が大きい合成画像Ｇ１〜Ｇ４は、Ｚ方向に隣接する合成画像に対して明るさが比較的大きく異なり、この明るさの差が３次元画像において縞状の輝度むらを形成する。そこで、平均輝度と平滑化輝度との差分を用いて、合成画像の平均輝度が平滑化輝度となるように補正することにより、図２（ｂ）に示されるように、明るさがＺ方向に滑らかに変動する補正画像Ｇ１’〜Ｇ４’が得られる。
【００３６】
３次元画像生成部７６は、メモリ７２に記憶された補正画像を取得し、取得した補正画像から３次元画像を生成する。このときに、３次元画像の合成に先立ち、個々の補正画像にはノイズ除去部７７によってノイズ除去フィルタが適用される。３次元画像生成部７６は、ノイズ除去された補正画像から生成した３次元画像を画像表示部８に出力する。
【００３７】
ここで、ノイズ除去フィルタとしては、バイラテラルフィルタ等が用いられる。バイラテラルフィルタは、近傍画素との輝度の差が小さい画素にはより大きな重みを付し、近傍画素との輝度の差が大きい画素にはより小さな重みを付して像をぼかす画像処理フィルタである。このようなバイラテラルフィルタによれば、微小な輝度の変動であるノイズを効果的に除去しつつ、観察対象である蛍光領域の輪郭を鮮明に残すことができる。
【００３８】
次に、このように構成された蛍光顕微鏡装置１の作用について図４のフローチャートを参照して説明する。
蛍光顕微鏡装置１は、まず、合成画像の生成に必要な複数の蛍光画像を複数の焦点位置において取得する。具体的には、レーザ光源２から射出されたレーザ光を走査光学ユニット４２により標本Ａ上において２次元的に走査しながら照射する。標本Ａではレーザ光の焦点位置において蛍光物質が励起されて蛍光が発生し、該蛍光は対物レンズ４６により集光された後、走査光学ユニット４２を通過し、ダイクロイックミラー４１により反射され、測定フィルタユニット５１、レンズ５２およびピンホール５３を介して光検出器５４により検出される。
【００３９】
光検出器５４によって検出された蛍光は光電変換された後に画像処理ユニット７の画像生成部７１に入力される。画像生成部７１は、光検出器５４から入力された蛍光の強度情報と、制御ユニット６から入力された走査光学ユニット４２によるレーザ光の走査位置とから標本Ａの２次元の蛍光画像を生成する（ステップＳ２）。
【００４０】
このときに、蛍光顕微鏡装置１は、制御ユニット６によってレーザ光の出力強度、光検出器５４の露光時間・検出感度のうち少なくとも１つの露光条件を変化させながら（ステップＳ１）蛍光画像の取得を規定回数行う（ステップＳ３のいいえ）。これにより、同一の焦点位置において露光量の異なる規定数の蛍光画像が取得され、続いてこれらの蛍光画像から画像合成部７３により合成画像が生成されメモリ７２に記憶される（ステップＳ４）。
【００４１】
蛍光顕微鏡装置１は、規定数の蛍光画像の取得と合成画像の生成が完了した後（ステップＳ３のはい）、制御ユニット６によってステージ３をＺ方向に所定の距離だけ移動させ（ステップＳ６）、異なる焦点位置においてステップＳ１〜Ｓ４を繰り返す。予め設定された全ての焦点位置における蛍光画像の取得が完了した後（ステップＳ５のはい）、平滑化輝度計算部７４は合成画像をメモリ７２から読み出し、各合成画像の平滑化輝度を算出する（ステップＳ７）。
【００４２】
続いて、輝度補正部７５は、各合成画像の平均輝度と平滑化輝度との差分を算出し（ステップＳ８）、該差分に基づいて合成画像の輝度を補正することにより補正画像を生成する（ステップＳ９）。輝度補正部７５によって生成された補正画像がメモリ７２に記憶された後、３次元画像生成部７６はメモリ７２から補正画像を取得し、該補正画像にノイズ除去部７７によってノイズ除去処理が施された後に（ステップＳ１０）これらの補正画像から３次元画像を生成して画像表示部８に出力する（ステップＳ１１）。
【００４３】
このように、本実施形態に係る蛍光顕微鏡装置１によれば、３次元画像を構成する補正画像は、該補正画像が積層される方向であるＺ方向に輝度の変化が平滑化されている。したがって、縞状の輝度むらがない３次元画像を生成することができるという利点がある。
【００４４】
さらに、画像合成部７３によって合成画像を生成する際に全ての合成画像のダイナミックレンジの幅を揃えることによっても輝度むらのない３次元画像を得ることができる。しかし、その場合には個々の合成画像においてはコントラストが最適化されなくなり、ダイナミックレンジを拡大することの利点が十分に活かされないこととなる。これに対して本実施形態によれば、平均輝度の比較的な大きな変動を保存しつつ比較的小さな変動を除去するように平均輝度を平滑化することにより、個々の合成画像のコントラストを最適に近い状態に維持したまま３次元画像において目立つ輝度むらを効果的に除去することができるという利点がある。
【００４５】
なお、本実施形態においては、ステージ３と対物レンズ４６との相対位置をＺ軸方向にのみ移動させることとしたが、これに代えて、ＸＹ方向にも移動させることとしてもよい。この場合、ステージ３は、ＸＹＺ方向の３軸方向に移動可能に構成され、制御ユニット（撮像位置制御部）６はステージ３のＸＹ方向の移動も制御する。
このように構成された本実施形態の変形例に係る蛍光顕微鏡装置の作用について図５のフローチャートを参照して説明する。
【００４６】
本変形例に係る蛍光顕微鏡装置は、ステップＳ１〜Ｓ６までは上述した蛍光顕微鏡装置１と同様に作動する。１つのＸＹ位置において全ての焦点位置の蛍光画像の取得が完了した後、制御ユニット６は、ステージ３をＸＹ方向に所定の距離だけ移動させてステップＳ１〜Ｓ６を繰り返す。以降、制御ユニット６は、ステージ３のＸＹ方向の移動とステップＳ１〜Ｓ６の動作とを繰り返し、設定された全てのＸＹ位置において蛍光画像の取得が完了した後、ステップＳ７に移行する。ステップＳ７以降の蛍光顕微鏡装置の動作は上述した蛍光顕微鏡装置１と同様である。本変形例においては、３次元画像を生成するステップＳ１１において、ＸＹ位置の異なる全ての合成画像から３次元画像を生成する。
このように、本変形例によれば、Ｚ方向のみならずＸＹ方向にも撮像範囲を拡大し、より広範囲における標本Ａの３次元画像を得ることができる。
【００４７】
本変形例においては、制御ユニット６が、ＸＹ位置毎に蛍光画像の露光条件を設定することが好ましい。
ＸＹ位置によって標本Ａの分布や蛍光強度が相違するため、全てのＸＹ位置において同一の露光条件で蛍光画像を取得した場合には合成画像の輝度のばらつきがＸＹ方向にも生じることとなる。そこで、各ＸＹ位置において蛍光が略同等の明るさで撮像されるようにレーザ光源２の出力等を調節することにより、ＸＹ方向においても輝度のばらつきが少ない３次元画像を得ることができる。
【００４８】
また、本実施形態においては、レーザ走査型顕微鏡の構成を例示したが、他の種類の顕微鏡にも適用することができる。
本実施形態の変形例に係る蛍光顕微鏡装置１０１は、図６に示されるように、落射型または透過型の蛍光顕微鏡（図示する例では落射型）であり、レーザ光源２に代えて水銀ランプのような白色ランプ（光源）２１を備えている。
【００４９】
この構成において、照射光学系４０１は、回転ＮＤフィルタ４７を備え、走査光学ユニット９は省略される。検出光学系５０１は、光検出器５４に代えてＣＣＤのような撮像素子５５を備え、ミラー４４に代えて白色ランプ２２からの光を対物レンズ４６の光軸に沿って反射し標本Ａからの蛍光を透過するダイクロイックミラー５６を備え、該ダイクロイックミラー５６と撮像素子５５との間に蛍光を結像する結像レンズ５７を備える。
【００５０】
回転ＮＤフィルタ４７は、複数の減光フィルタ（図示略）と、該減光フィルタを回転させる回転機構（図示略）とを有している。制御ユニット６０１により指定された減光フィルタを白色ランプ２１の射出光軸上に配置するように回転機構が制御されることにより、標本Ａに照射されるレーザ光の強度が調節されて蛍光の露光量が調節される。
【００５１】
このような本変形例に係る蛍光顕微鏡装置１０１によれば、上述した蛍光顕微鏡装置１と同様に、Ｚ方向の輝度むらが除去され、さらに蛍光のコントラストが良好な３次元画像を生成することができる。
本変形例においては、図７に示されるように、白色ランプ２１に代えてＬＥＤ（光源）２２が備えられていてもよい。このように構成された蛍光顕微鏡装置１０２においては、制御ユニット６０２がＬＥＤ２２の出力を制御することにより蛍光画像の露光量を制御可能であるので、回転ＮＤフィルタ４７は省略されていてもよい。
【００５２】
また、本実施形態においては、蛍光顕微鏡装置１の一部として構成された画像処理ユニット７について説明したが、画像処理ユニット７は画像処理装置として単体で構成されることもできる。この場合、画像処理装置７００は、図８に示されるように、他の蛍光顕微鏡装置よって複数の焦点位置において異なる露光量で複数ずつ取得された蛍光画像が、各蛍光画像の焦点位置を示す情報と共に画像入力部７８に入力されると、これらの蛍光画像は焦点位置を示す情報と対応付けてメモリ７２１に記憶する。メモリ７２１に記憶された蛍光画像は上述した画像処理ユニット７と同様に画像合成部７３によって読み出され、合成画像が生成される。
【００５３】
また、本実施形態においては、画像処理方法をハードウェアによって実現する構成について説明したが、コンピュータにより実行可能な画像処理プログラムによって実現することとしてもよい。この場合、コンピュータは、ＣＰＵ、ＲＡＭ等の主記憶装置、およびコンピュータ読み取り可能な記録媒体を備え、該記録媒体に上述した処理のうち少なくともステップＳ４，Ｓ７〜Ｓ９，Ｓ１１に相当する処理を実現させるための画像処理プログラムが記録される。そして、ＣＰＵが記憶媒体に記録されている画像処理プログラムを読み出して、画像の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。
【符号の説明】
【００５４】
１，１０１，１０２ 蛍光顕微鏡装置
２ レーザ光源（光源）
６，６０１ 制御ユニット（焦点位置制御部、露光量制御部、撮像位置制御部）
８ 画像表示部
２１ 白色ランプ（光源）
２２ ＬＥＤ（光源）
４６ 対物レンズ（対物光学系）
５４ 光検出器（撮像部）
７３ 画像合成部
７４ 平滑化輝度計算部
７５ 輝度補正部
７６ ３次元画像生成部
７００ 画像処理装置
Ａ 標本
Ｇ１〜Ｇ４ 合成画像
Ｇ１’〜Ｇ４’ 補正画像
【技術分野】
【０００１】
本発明は、画像処理装置、蛍光顕微鏡装置および画像処理プログラムに関するものである。
【背景技術】
【０００２】
従来、複数のスライス画像から３次元画像を生成する共焦点顕微鏡装置において、カメラからの出力信号のレベルを自動ゲイン制御（ＡＧＣ）回路によって所定の範囲に調節してからＡＤ変換することにより、スライス画像のダイナミックレンジを拡大する技術が知られている（例えば、特許文献１参照。）。このような技術によれば、コントラストが良好なスライス画像を得ることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−１８３８０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の場合、スライス画像毎にＡＧＣ回路による信号の増幅率が異なる。例えば、蛍光が強く発光する領域を含むスライス画像は低い増幅率で処理され、全体的に暗いスライス画像は高い増幅率で処理される。したがって、実際には同一の明るさを有する領域がスライス画像毎に異なる輝度値で表現される。このようなスライス画像から生成された３次元画像には、スライス画像間の輝度値のばらつきに応じて縞状の輝度むらが発生してしまうという問題がある。
【０００５】
本発明は、上述した事情に鑑みてなされたものであって、コントラストが良好でありながら輝度むらのない３次元画像を生成することができる画像処理装置、蛍光顕微鏡装置および画像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明は以下の部を提供する。
本発明は、標本からの蛍光を前記標本の異なる深さ位置で撮像した蛍光画像であり、各深さ位置において異なる露光量で複数ずつ撮像された蛍光画像を前記深さ位置毎に合成することにより合成画像を生成する画像合成部と、該画像合成部によって生成された各合成画像から代表輝度を算出し、算出された代表輝度を前記深さ方向に平滑化することにより、各合成画像について平滑化輝度を算出する平滑化輝度計算部と、該平滑化輝度計算部によって算出された平滑化輝度と前記代表輝度との差分に基づいて各前記合成画像の輝度を補正することにより補正画像を生成する輝度補正部と、該輝度補正部によって生成された複数の補正画像から前記標本の３次元画像を生成する３次元画像生成部とを備える画像処理装置を提供する。
【０００７】
本発明によれば、画像合成部が同一の深さ位置における露光量の異なる複数の蛍光画像を合成することによりダイナミックレジが元の蛍光画像に対して拡大された合成画像を生成し、合成画像に対して輝度補正部が輝度の補正を施すことにより補正画像し、３次元画像生成部が補正画像から標本の３次元画像を生成する。
【０００８】
この場合に、各合成画像は、元となっている複数の蛍光画像内の蛍光の強度に応じて異なるダイナミックレンジを有している。平滑化輝度計算部は、このようにダイナミックレンジが異なる合成画像の代表輝度を標本の深さ方向に平滑化し、輝度補正部は、個々の合成画像の平滑化輝度と代表輝度との差分に基づいて合成画像の輝度を補正することにより輝度が標本の深さ方向に滑らかに変化する補正画像を生成する。これにより、補正画像からコントラストが良好でありながら縞状の輝度むらがない３次元画像を生成することができる。
【０００９】
また、本発明は、標本に励起光を照射する光源と、前記励起光の照射によって前記標本から発生した蛍光を集光する対物光学系と、該対物光学系によって集光された蛍光を撮像する撮像部と、前記対物光学系の焦点位置を前記対物光学系の光軸方向に移動させることにより前記標本を複数の焦点位置で前記撮像部に撮像させる焦点位置制御部と、各焦点位置において前記蛍光の露光量が異なる複数の蛍光画像を前記撮像部に取得させる露光量制御部と、前記焦点位置制御部および前記露光量制御部による制御に従って前記撮像部が取得した各焦点位置における複数の蛍光画像を合成して合成画像を生成する画像合成部と、該画像合成部によって生成された各合成画像から代表輝度を算出し、算出された代表輝度を前記光軸方向に平滑化することにより、各合成画像について平滑化輝度を算出する平滑化輝度計算部と、該平滑化輝度計算部によって算出された平滑化輝度と前記代表輝度との差分に基づいて各前記合成画像の輝度を補正することにより補正画像を生成する輝度補正部と、該輝度補正部によって生成された複数の補正画像から前記標本の３次元画像を生成する３次元画像生成部とを備える蛍光顕微鏡装置を提供する。
【００１０】
本発明によれば、光源からの励起光の照射により標本から発生した蛍光が撮像部によって撮像される。このときに、撮像部は、焦点位置制御部による制御に基づいて複数の焦点位置で蛍光画像を取得し、さらに露光量制御部による制御に基づいて各焦点位置において露光量の異なる複数の蛍光画像を取得する。画像合成部は、各焦点位置における複数の蛍光画像を合成することによりダイナミックレンジが拡大された合成画像を生成する。
【００１１】
合成画像は、平滑化輝度計算部によって算出された平滑化輝度に基づいて、輝度が標本の深さ方向に滑らかに変化するように輝度補正部によって補正された後に、補正画像として３次元画像生成部による３次元画像の生成に用いられる。これにより、コントラストが良好でありながら縞状の輝度むらがない３次元画像を生成することができる。
【００１２】
上記発明においては、前記露光量制御部が、前記光源による前記励起光の強度ならびに前記撮像部による蛍光の検出感度および露光時間のうち少なくとも１つを調節することにより前記蛍光の露光量を制御することとしてもよい。
このようにすることで、撮像部によって撮像される蛍光の露光量を簡便に制御することができる。
【００１３】
また、上記発明においては、前記標本と前記対物光学系との前記光軸に交差する方向の相対位置を移動させることにより、各焦点位置において前記交差する方向に隣接する複数の位置でそれぞれ露光量の異なる複数の前記蛍光画像を前記撮像部に取得させる撮像位置制御部を備え、前記露光量制御部が、前記交差する方向の位置毎に前記撮像部による前記蛍光の露光条件を設定する請こととしてもよい。
【００１４】
このようにすることで、光軸に交差する同一の平面において複数の位置で蛍光を撮像することにより、より大きな範囲の３次元画像を作成する場合に、同一平面を構成する複数の合成画像間においても輝度のばらつきを抑えることができる。
【００１５】
また、本発明は、標本からの蛍光を前記標本の異なる深さ位置で撮像した蛍光画像であり、各深さ位置において異なる露光量で複数ずつ撮像された蛍光画像を取得する工程と、取得された各前記深さ位置における複数の蛍光画像を合成することにより合成画像を生成する工程と、生成された各合成画像から代表輝度を算出し、算出された代表輝度を前記深さ方向に平滑化することにより、各合成画像について平滑化輝度を算出する工程と、算出された平滑化輝度と前記代表輝度との差分に基づいて各前記合成画像の輝度を補正することにより補正画像を生成する工程と、生成された複数の補正画像から前記標本の３次元画像を生成する工程とをコンピュータに実行させるための画像処理プログラムを提供する。
【発明の効果】
【００１６】
本発明によれば、コントラストが良好でありながら輝度むらのない３次元画像を生成することができるという効果を奏する。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態に係る画像処理装置および蛍光顕微鏡装置の全体構成図である。
【図２】（ａ）画像合成部によって生成される合成画像および（ｂ）輝度補正部によって生成される補正画像を模式的に示す図である。
【図３】（ａ）合成画像の平均輝度、（ｂ）平均輝度を平滑化した平滑化輝度、および（ｃ）平均輝度と平滑化輝度との差分のＺ方向の変動を示すグラフである。
【図４】図１の蛍光顕微鏡装置の動作を示すフローチャートである。
【図５】図１の蛍光顕微鏡装置の変形例の動作を示すフローチャートである。
【図６】落射型蛍光顕微鏡をベースに構成された図１の蛍光顕微鏡装置の変形例を示す全体構成図である。
【図７】光源としてＬＥＤを備えた図６の蛍光顕微鏡装置の変形例を示す全体構成図である。
【図８】単体で構成された画像処理装置の全体構成を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下に、本発明の一実施形態に係る蛍光顕微鏡装置１について図面を参照して説明する。
本実施形態に係る蛍光顕微鏡装置１は、レーザ走査型顕微鏡をベースとしたものであり、図１に示されるように、レーザ光を照射するレーザ光源（光源）２と、標本Ａを載置するステージ３と、レーザ光源２からのレーザ光を標本Ａに照射する照射光学系４と、標本Ａからの蛍光を検出する検出光学系５と、該検出光学系５によって検出される蛍光の位置および露光量を制御する制御ユニット（焦点位置制御部、露光量制御部）６と、検出光学系５によって検出された蛍光を画像化する画像処理ユニット７と、画像処理ユニット７により生成された画像を表示する画像表示部８とを主な構成要素として備えている。
【００１９】
標本Ａは、例えば細胞群であり、その内の観察対象とする細胞に特異的に付着または発現する蛍光物質が投与されている。
レーザ光源２は、標本Ａ中の蛍光物質を励起する励起波長を有するレーザ光（励起光）を出射する。レーザ光の出力強度は後述するように制御ユニット６により制御される。
ステージ３は、制御ユニット６からの制御信号に従って後述する対物レンズ４６の光軸方向（Ｚ方向）および該光軸に交差する２軸方向（ＸＹ方向）に移動可能に設けられている。
【００２０】
照射光学系４は、レーザ光源２からのレーザ光を標本Ａに照射する光学系であり、ダイクロイックミラー４１と、走査光学ユニット４２と、リレーレンズ４３と、ミラー４４と、結像レンズ４５と、対物レンズ（対物光学系）４６とを備えている。
【００２１】
対物レンズ４６は、ステージ３に対向して配置され、レーザ光源２から発せられたレーザ光をステージ３上の標本Ａに照射するとともに、レーザ光によって励起された蛍光を含む標本Ａから光を集光する。
ダイクロイックミラー４１は、レーザ光源２からのレーザ光を透過する一方、対物レンズ４６により集光された標本Ａからの蛍光を後述する光検出器５４に向けて反射する。
【００２２】
走査光学ユニット４２は、一対のガルバノミラー４２ａ，４２ｂを有しており、これらガルバノミラー４２ａ，４２ｂの揺動角度を変化させ、ラスタスキャン方式で駆動されるようになっている。これにより、走査光学ユニット４２は、レーザ光源２からのレーザ光を標本Ａ上において対物レンズ４６の光軸に直交する２軸方向（ＸＹ方向）に走査するようになっている。
【００２３】
検出光学系５は、標本Ａからの蛍光を検出する光学系であり、測光フィルタユニット５１と、レンズ５２と、ピンホール５３と、光検出器（撮像部）５４とを備えている。
測光フィルタユニット５１は、ダイクロイックミラー４１により反射された標本Ａからの光のうち蛍光を透過させ、蛍光以外の光（例えばレーザ光源２からのレーザ光）を遮断する。
レンズ５２は、測光フィルタユニット５１を透過してきた標本Ａからの蛍光をピンホール５３に集光する。
【００２４】
ピンホール５３は、標本Ａにおけるレーザ光の焦点位置から発生した蛍光のみを通過させるようになっている。すなわち、対物レンズ４６により集光された蛍光は、ピンホール５３を通過することによりレーザ光の焦点位置（測定点）からＺ方向にずれた位置からの光がカットされる。これにより、Ｚ方向に焦点位置と同一な面からの蛍光だけが光検出器５４に入射させられることとなる。
【００２５】
光検出器５４は、例えば光電子増倍管（Ｐｈｏｔｏｍｕｌｔｉｐｌｉｅｒ Ｔｕｂｅ）である。光検出器５４は、検出した標本Ａからの蛍光を光電変換し、得られた電気信号を画像処理ユニット７の画像生成部７１（後述）に出力する。
【００２６】
制御ユニット６は、レーザ光源２、ステージ３、走査光学ユニット４２、光検出器５４を同期して作動させる。具体的には、制御ユニット６は、ステージ３を所定の距離間隔でＺ方向に移動させることにより光検出器５４によって検出される蛍光の焦点位置をＺ方向に移動させる。さらに、制御ユニット６は、各焦点位置において、光検出器５４による検出感度及び露光時間並びにレーザ光源２によるレーザ光の出力強度のうち少なくとも１つを段階的に増減させることにより、光検出器５４によって検出される蛍光の露光量を段階的に変化させる。これにより、後述する画像生成部７１において、蛍光の露光量が異なる複数の蛍光画像が複数の焦点位置において生成されることとなる。
【００２７】
画像処理ユニット７は、画像生成部７１と、メモリ７２と、画像合成部７３と、平滑化輝度計算部７４と、輝度補正部７５と、３次元画像生成部７６と、ノイズ除去部７７とを備えている。
【００２８】
画像生成部７１は、光検出器５４により検出された標本Ａからの蛍光の強度と、走査光学ユニット４２による標本ＡにおけるＸＹ方向の走査位置とを対応付けて標本Ａの蛍光画像を生成する。このときに、画像生成部７１は、制御ユニット６による露光量の制御に基づき、複数の焦点位置における、蛍光の露光量が異なる複数の蛍光画像を生成する。画像生成部７１は、生成した蛍光画像に該蛍光画像が取得されたときのステージ３のＺ方向の位置を対応付けてメモリ７２に記憶する。
【００２９】
画像合成部７３は、Ｚ方向の位置が同一であり露光量が異なる複数の蛍光画像を合成することにより合成画像を生成する。具体的には、受光量が多い蛍光画像において、観察対象である細胞の低輝度領域は鮮明に表示されるが、細胞の高輝度領域については輝度が飽和する。一方、受光量が少ない蛍光画像において、細胞の低輝度領域はノイズに埋もれてしまい不鮮明になるが、細胞の高輝度領域は鮮明に表示される。画像合成部７３は、このように各蛍光画像において適切な露光量で撮像された領域を合成することにより、元の蛍光画像が有するダイナミックレンジよりも見かけ上広いダイナミックレンジを有する合成画像を生成する。画像合成部７３は、生成した複数の合成画像をメモリ７２に記憶する。
【００３０】
ここで、蛍光画像に対して拡大された各合成画像のダイナミックレンジの幅は、元となっている複数の蛍光画像が有する輝度分布の範囲によって異なる。そのため、図２（ａ）に示されるように、実際には同一の明るさを有する領域が合成画像Ｇ１〜Ｇ４毎に異なる輝度で表現されることとなる。
【００３１】
平滑化輝度計算部７４は、メモリ７２に記憶された複数の合成画像を取得し、各合成画像について代表輝度を算出する。代表輝度としては、各合成画像の平均輝度が好ましい。以下、代表輝度として各合成画像の平均輝度を用いる場合について説明するが、平均輝度に代えて、例えば各合成画像の最大輝度等を用いてもよい。
【００３２】
平滑化輝度計算部７４により算出された平均輝度は、図３（ａ）に示されるように、上述したように合成画像のダイナミックレンジの幅のばらつきが要因でＺ方向に不連続に変化する。次に、平滑化輝度計算部７４は、図３（ｂ）に示されるように、平均輝度の比較的大きな変動を残しつつ比較的細かい変動を除去するように、平均輝度をＺ方向に平滑化し、個々の合成画像について平滑化輝度を計算する。平滑化輝度計算部７４は、算出した各合成画像の平滑化輝度を輝度補正部７５に出力する。なお、図３（ａ），（ｂ）において、横軸は合成画像のＺ方向の位置、縦軸は平均輝度を表している。
【００３３】
平滑化処理には、例えば、移動平均フィルタが用いられる。移動平均フィルタは、注目する合成画像を中心とするＺ方向に連続する所定の数の合成画像の平均輝度の平均を算出し、算出された平均輝度の平均を注目する合成画像の輝度とするものである。
【００３４】
輝度補正部７５は、各合成画像について、平滑化輝度計算部７４によって算出された平滑化輝度と平均輝度との差分を算出し、算出した差分に基づいて合成画像の輝度を補正することにより補正画像を生成する。具体的には、輝度補正部７５は、算出した差分の平滑化輝度に対する比率を算出し、算出した比率の分だけ合成画像の輝度を増大させるまたは減少させることにより補正画像を生成する。例えば、平均輝度が平滑化輝度よりも大きく、その差分が平滑化輝度の２０％であった場合には、合成画像の輝度を２割減少させることにより補正画像を生成する。輝度補正部７５は、生成した補正画像をメモリ７２に記憶する。
【００３５】
平均輝度と平滑化輝度との差分は、図３（ｃ）に示されるように、合成画像の平均輝度の比較的小さな変動と相関している。つまり、差分が大きい合成画像Ｇ１〜Ｇ４は、Ｚ方向に隣接する合成画像に対して明るさが比較的大きく異なり、この明るさの差が３次元画像において縞状の輝度むらを形成する。そこで、平均輝度と平滑化輝度との差分を用いて、合成画像の平均輝度が平滑化輝度となるように補正することにより、図２（ｂ）に示されるように、明るさがＺ方向に滑らかに変動する補正画像Ｇ１’〜Ｇ４’が得られる。
【００３６】
３次元画像生成部７６は、メモリ７２に記憶された補正画像を取得し、取得した補正画像から３次元画像を生成する。このときに、３次元画像の合成に先立ち、個々の補正画像にはノイズ除去部７７によってノイズ除去フィルタが適用される。３次元画像生成部７６は、ノイズ除去された補正画像から生成した３次元画像を画像表示部８に出力する。
【００３７】
ここで、ノイズ除去フィルタとしては、バイラテラルフィルタ等が用いられる。バイラテラルフィルタは、近傍画素との輝度の差が小さい画素にはより大きな重みを付し、近傍画素との輝度の差が大きい画素にはより小さな重みを付して像をぼかす画像処理フィルタである。このようなバイラテラルフィルタによれば、微小な輝度の変動であるノイズを効果的に除去しつつ、観察対象である蛍光領域の輪郭を鮮明に残すことができる。
【００３８】
次に、このように構成された蛍光顕微鏡装置１の作用について図４のフローチャートを参照して説明する。
蛍光顕微鏡装置１は、まず、合成画像の生成に必要な複数の蛍光画像を複数の焦点位置において取得する。具体的には、レーザ光源２から射出されたレーザ光を走査光学ユニット４２により標本Ａ上において２次元的に走査しながら照射する。標本Ａではレーザ光の焦点位置において蛍光物質が励起されて蛍光が発生し、該蛍光は対物レンズ４６により集光された後、走査光学ユニット４２を通過し、ダイクロイックミラー４１により反射され、測定フィルタユニット５１、レンズ５２およびピンホール５３を介して光検出器５４により検出される。
【００３９】
光検出器５４によって検出された蛍光は光電変換された後に画像処理ユニット７の画像生成部７１に入力される。画像生成部７１は、光検出器５４から入力された蛍光の強度情報と、制御ユニット６から入力された走査光学ユニット４２によるレーザ光の走査位置とから標本Ａの２次元の蛍光画像を生成する（ステップＳ２）。
【００４０】
このときに、蛍光顕微鏡装置１は、制御ユニット６によってレーザ光の出力強度、光検出器５４の露光時間・検出感度のうち少なくとも１つの露光条件を変化させながら（ステップＳ１）蛍光画像の取得を規定回数行う（ステップＳ３のいいえ）。これにより、同一の焦点位置において露光量の異なる規定数の蛍光画像が取得され、続いてこれらの蛍光画像から画像合成部７３により合成画像が生成されメモリ７２に記憶される（ステップＳ４）。
【００４１】
蛍光顕微鏡装置１は、規定数の蛍光画像の取得と合成画像の生成が完了した後（ステップＳ３のはい）、制御ユニット６によってステージ３をＺ方向に所定の距離だけ移動させ（ステップＳ６）、異なる焦点位置においてステップＳ１〜Ｓ４を繰り返す。予め設定された全ての焦点位置における蛍光画像の取得が完了した後（ステップＳ５のはい）、平滑化輝度計算部７４は合成画像をメモリ７２から読み出し、各合成画像の平滑化輝度を算出する（ステップＳ７）。
【００４２】
続いて、輝度補正部７５は、各合成画像の平均輝度と平滑化輝度との差分を算出し（ステップＳ８）、該差分に基づいて合成画像の輝度を補正することにより補正画像を生成する（ステップＳ９）。輝度補正部７５によって生成された補正画像がメモリ７２に記憶された後、３次元画像生成部７６はメモリ７２から補正画像を取得し、該補正画像にノイズ除去部７７によってノイズ除去処理が施された後に（ステップＳ１０）これらの補正画像から３次元画像を生成して画像表示部８に出力する（ステップＳ１１）。
【００４３】
このように、本実施形態に係る蛍光顕微鏡装置１によれば、３次元画像を構成する補正画像は、該補正画像が積層される方向であるＺ方向に輝度の変化が平滑化されている。したがって、縞状の輝度むらがない３次元画像を生成することができるという利点がある。
【００４４】
さらに、画像合成部７３によって合成画像を生成する際に全ての合成画像のダイナミックレンジの幅を揃えることによっても輝度むらのない３次元画像を得ることができる。しかし、その場合には個々の合成画像においてはコントラストが最適化されなくなり、ダイナミックレンジを拡大することの利点が十分に活かされないこととなる。これに対して本実施形態によれば、平均輝度の比較的な大きな変動を保存しつつ比較的小さな変動を除去するように平均輝度を平滑化することにより、個々の合成画像のコントラストを最適に近い状態に維持したまま３次元画像において目立つ輝度むらを効果的に除去することができるという利点がある。
【００４５】
なお、本実施形態においては、ステージ３と対物レンズ４６との相対位置をＺ軸方向にのみ移動させることとしたが、これに代えて、ＸＹ方向にも移動させることとしてもよい。この場合、ステージ３は、ＸＹＺ方向の３軸方向に移動可能に構成され、制御ユニット（撮像位置制御部）６はステージ３のＸＹ方向の移動も制御する。
このように構成された本実施形態の変形例に係る蛍光顕微鏡装置の作用について図５のフローチャートを参照して説明する。
【００４６】
本変形例に係る蛍光顕微鏡装置は、ステップＳ１〜Ｓ６までは上述した蛍光顕微鏡装置１と同様に作動する。１つのＸＹ位置において全ての焦点位置の蛍光画像の取得が完了した後、制御ユニット６は、ステージ３をＸＹ方向に所定の距離だけ移動させてステップＳ１〜Ｓ６を繰り返す。以降、制御ユニット６は、ステージ３のＸＹ方向の移動とステップＳ１〜Ｓ６の動作とを繰り返し、設定された全てのＸＹ位置において蛍光画像の取得が完了した後、ステップＳ７に移行する。ステップＳ７以降の蛍光顕微鏡装置の動作は上述した蛍光顕微鏡装置１と同様である。本変形例においては、３次元画像を生成するステップＳ１１において、ＸＹ位置の異なる全ての合成画像から３次元画像を生成する。
このように、本変形例によれば、Ｚ方向のみならずＸＹ方向にも撮像範囲を拡大し、より広範囲における標本Ａの３次元画像を得ることができる。
【００４７】
本変形例においては、制御ユニット６が、ＸＹ位置毎に蛍光画像の露光条件を設定することが好ましい。
ＸＹ位置によって標本Ａの分布や蛍光強度が相違するため、全てのＸＹ位置において同一の露光条件で蛍光画像を取得した場合には合成画像の輝度のばらつきがＸＹ方向にも生じることとなる。そこで、各ＸＹ位置において蛍光が略同等の明るさで撮像されるようにレーザ光源２の出力等を調節することにより、ＸＹ方向においても輝度のばらつきが少ない３次元画像を得ることができる。
【００４８】
また、本実施形態においては、レーザ走査型顕微鏡の構成を例示したが、他の種類の顕微鏡にも適用することができる。
本実施形態の変形例に係る蛍光顕微鏡装置１０１は、図６に示されるように、落射型または透過型の蛍光顕微鏡（図示する例では落射型）であり、レーザ光源２に代えて水銀ランプのような白色ランプ（光源）２１を備えている。
【００４９】
この構成において、照射光学系４０１は、回転ＮＤフィルタ４７を備え、走査光学ユニット９は省略される。検出光学系５０１は、光検出器５４に代えてＣＣＤのような撮像素子５５を備え、ミラー４４に代えて白色ランプ２２からの光を対物レンズ４６の光軸に沿って反射し標本Ａからの蛍光を透過するダイクロイックミラー５６を備え、該ダイクロイックミラー５６と撮像素子５５との間に蛍光を結像する結像レンズ５７を備える。
【００５０】
回転ＮＤフィルタ４７は、複数の減光フィルタ（図示略）と、該減光フィルタを回転させる回転機構（図示略）とを有している。制御ユニット６０１により指定された減光フィルタを白色ランプ２１の射出光軸上に配置するように回転機構が制御されることにより、標本Ａに照射されるレーザ光の強度が調節されて蛍光の露光量が調節される。
【００５１】
このような本変形例に係る蛍光顕微鏡装置１０１によれば、上述した蛍光顕微鏡装置１と同様に、Ｚ方向の輝度むらが除去され、さらに蛍光のコントラストが良好な３次元画像を生成することができる。
本変形例においては、図７に示されるように、白色ランプ２１に代えてＬＥＤ（光源）２２が備えられていてもよい。このように構成された蛍光顕微鏡装置１０２においては、制御ユニット６０２がＬＥＤ２２の出力を制御することにより蛍光画像の露光量を制御可能であるので、回転ＮＤフィルタ４７は省略されていてもよい。
【００５２】
また、本実施形態においては、蛍光顕微鏡装置１の一部として構成された画像処理ユニット７について説明したが、画像処理ユニット７は画像処理装置として単体で構成されることもできる。この場合、画像処理装置７００は、図８に示されるように、他の蛍光顕微鏡装置よって複数の焦点位置において異なる露光量で複数ずつ取得された蛍光画像が、各蛍光画像の焦点位置を示す情報と共に画像入力部７８に入力されると、これらの蛍光画像は焦点位置を示す情報と対応付けてメモリ７２１に記憶する。メモリ７２１に記憶された蛍光画像は上述した画像処理ユニット７と同様に画像合成部７３によって読み出され、合成画像が生成される。
【００５３】
また、本実施形態においては、画像処理方法をハードウェアによって実現する構成について説明したが、コンピュータにより実行可能な画像処理プログラムによって実現することとしてもよい。この場合、コンピュータは、ＣＰＵ、ＲＡＭ等の主記憶装置、およびコンピュータ読み取り可能な記録媒体を備え、該記録媒体に上述した処理のうち少なくともステップＳ４，Ｓ７〜Ｓ９，Ｓ１１に相当する処理を実現させるための画像処理プログラムが記録される。そして、ＣＰＵが記憶媒体に記録されている画像処理プログラムを読み出して、画像の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。
【符号の説明】
【００５４】
１，１０１，１０２ 蛍光顕微鏡装置
２ レーザ光源（光源）
６，６０１ 制御ユニット（焦点位置制御部、露光量制御部、撮像位置制御部）
８ 画像表示部
２１ 白色ランプ（光源）
２２ ＬＥＤ（光源）
４６ 対物レンズ（対物光学系）
５４ 光検出器（撮像部）
７３ 画像合成部
７４ 平滑化輝度計算部
７５ 輝度補正部
７６ ３次元画像生成部
７００ 画像処理装置
Ａ 標本
Ｇ１〜Ｇ４ 合成画像
Ｇ１’〜Ｇ４’ 補正画像
【特許請求の範囲】
【請求項１】
標本からの蛍光を前記標本の異なる深さ位置で撮像した蛍光画像であり、各深さ位置において異なる露光量で複数ずつ撮像された蛍光画像を各前記深さ位置毎に合成することにより合成画像を生成する画像合成部と、
該画像合成部によって生成された各合成画像から代表輝度を算出し、算出された代表輝度を前記深さ方向に平滑化することにより、各合成画像について平滑化輝度を算出する平滑化輝度計算部と、
該平滑化輝度計算部によって算出された平滑化輝度と前記代表輝度との差分に基づいて各前記合成画像の輝度を補正することにより補正画像を生成する輝度補正部と、
該輝度補正部によって生成された複数の補正画像から前記標本の３次元画像を生成する３次元画像生成部とを備える画像処理装置。
【請求項２】
標本に励起光を照射する光源と、
前記励起光の照射によって前記標本から発生した蛍光を集光する対物光学系と、
該対物光学系によって集光された蛍光を撮像する撮像部と、
前記対物光学系の焦点位置を前記対物光学系の光軸方向に移動させることにより前記標本を複数の焦点位置で前記撮像部に撮像させる焦点位置制御部と、
各焦点位置において前記蛍光を異なる露光量で複数回前記撮像部に撮像させる露光量制御部と、
前記焦点位置制御部および前記露光量制御部による制御に従って前記撮像部が取得した各焦点位置における複数の蛍光画像を合成することにより合成画像を生成する画像合成部と、
該画像合成部によって生成された各合成画像から代表輝度を算出し、算出された代表輝度を前記光軸方向に平滑化することにより、各合成画像について平滑化輝度を算出する平滑化輝度計算部と、
該平滑化輝度計算部によって算出された平滑化輝度と前記代表輝度との差分に基づいて各前記合成画像の輝度を補正することにより補正画像を生成する輝度補正部と、
該輝度補正部によって生成された複数の補正画像から前記標本の３次元画像を生成する３次元画像生成部とを備える蛍光顕微鏡装置。
【請求項３】
前記露光量制御部が、前記光源による前記励起光の強度ならびに前記撮像部による蛍光の検出感度および露光時間のうち少なくとも１つを調節することにより前記蛍光の露光量を制御する請求項２に記載の蛍光顕微鏡装置。
【請求項４】
前記標本と前記対物光学系との前記光軸に交差する方向の相対位置を移動させることにより、各焦点位置において前記交差する方向に隣接する複数の位置でそれぞれ露光量の異なる複数の前記蛍光画像を前記撮像部に取得させる撮像位置制御部を備え、
前記露光量制御部が、前記交差する方向の位置毎に前記撮像部による前記蛍光の露光条件を設定する請求項２または請求項３に記載の蛍光顕微鏡装置。
【請求項５】
標本からの蛍光を前記標本の異なる深さ位置で撮像した蛍光画像であり、各深さ位置において異なる露光量で複数ずつ撮像された蛍光画像を各前記深さ位置毎に合成することにより合成画像を生成する工程と、
生成された各合成画像から平均輝度を算出し、算出された平均輝度を前記深さ方向に平滑化することにより、各合成画像について平滑化輝度を算出する工程と、
算出された平滑化輝度と前記平均輝度との差分に基づいて各前記合成画像の輝度を補正することにより補正画像を生成する工程と、
生成された複数の補正画像から前記標本の３次元画像を生成する工程とをコンピュータに実行させるための画像処理プログラム。
【請求項１】
標本からの蛍光を前記標本の異なる深さ位置で撮像した蛍光画像であり、各深さ位置において異なる露光量で複数ずつ撮像された蛍光画像を各前記深さ位置毎に合成することにより合成画像を生成する画像合成部と、
該画像合成部によって生成された各合成画像から代表輝度を算出し、算出された代表輝度を前記深さ方向に平滑化することにより、各合成画像について平滑化輝度を算出する平滑化輝度計算部と、
該平滑化輝度計算部によって算出された平滑化輝度と前記代表輝度との差分に基づいて各前記合成画像の輝度を補正することにより補正画像を生成する輝度補正部と、
該輝度補正部によって生成された複数の補正画像から前記標本の３次元画像を生成する３次元画像生成部とを備える画像処理装置。
【請求項２】
標本に励起光を照射する光源と、
前記励起光の照射によって前記標本から発生した蛍光を集光する対物光学系と、
該対物光学系によって集光された蛍光を撮像する撮像部と、
前記対物光学系の焦点位置を前記対物光学系の光軸方向に移動させることにより前記標本を複数の焦点位置で前記撮像部に撮像させる焦点位置制御部と、
各焦点位置において前記蛍光を異なる露光量で複数回前記撮像部に撮像させる露光量制御部と、
前記焦点位置制御部および前記露光量制御部による制御に従って前記撮像部が取得した各焦点位置における複数の蛍光画像を合成することにより合成画像を生成する画像合成部と、
該画像合成部によって生成された各合成画像から代表輝度を算出し、算出された代表輝度を前記光軸方向に平滑化することにより、各合成画像について平滑化輝度を算出する平滑化輝度計算部と、
該平滑化輝度計算部によって算出された平滑化輝度と前記代表輝度との差分に基づいて各前記合成画像の輝度を補正することにより補正画像を生成する輝度補正部と、
該輝度補正部によって生成された複数の補正画像から前記標本の３次元画像を生成する３次元画像生成部とを備える蛍光顕微鏡装置。
【請求項３】
前記露光量制御部が、前記光源による前記励起光の強度ならびに前記撮像部による蛍光の検出感度および露光時間のうち少なくとも１つを調節することにより前記蛍光の露光量を制御する請求項２に記載の蛍光顕微鏡装置。
【請求項４】
前記標本と前記対物光学系との前記光軸に交差する方向の相対位置を移動させることにより、各焦点位置において前記交差する方向に隣接する複数の位置でそれぞれ露光量の異なる複数の前記蛍光画像を前記撮像部に取得させる撮像位置制御部を備え、
前記露光量制御部が、前記交差する方向の位置毎に前記撮像部による前記蛍光の露光条件を設定する請求項２または請求項３に記載の蛍光顕微鏡装置。
【請求項５】
標本からの蛍光を前記標本の異なる深さ位置で撮像した蛍光画像であり、各深さ位置において異なる露光量で複数ずつ撮像された蛍光画像を各前記深さ位置毎に合成することにより合成画像を生成する工程と、
生成された各合成画像から平均輝度を算出し、算出された平均輝度を前記深さ方向に平滑化することにより、各合成画像について平滑化輝度を算出する工程と、
算出された平滑化輝度と前記平均輝度との差分に基づいて各前記合成画像の輝度を補正することにより補正画像を生成する工程と、
生成された複数の補正画像から前記標本の３次元画像を生成する工程とをコンピュータに実行させるための画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−６５２６６（Ｐ２０１３−６５２６６Ａ）
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願番号】特願２０１１−２０４９０３（Ｐ２０１１−２０４９０３）
【出願日】平成２３年９月２０日（２０１１．９．２０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願日】平成２３年９月２０日（２０１１．９．２０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]