観察装置及び画像補正プログラム
【課題】 観察画像の取得時に発生する照明ムラを特定することで、観察画像に発生する照明ムラを適切に取り除く。
【解決手段】 観察対象を照明する照明光を発光する光源と、照明光により照明される観察対象を撮像する撮像素子と、照明光の光軸と直交する面上で光源及び観察対象の相対位置を変更する移動機構と、光源及び観察対象の相対位置を複数回変更したときに、撮像素子の撮像により得られる複数の画像の背景領域に基づいて、照明光の照明ムラを特定する照明ムラ特定部と、を備えたことを特徴とする。
【解決手段】 観察対象を照明する照明光を発光する光源と、照明光により照明される観察対象を撮像する撮像素子と、照明光の光軸と直交する面上で光源及び観察対象の相対位置を変更する移動機構と、光源及び観察対象の相対位置を複数回変更したときに、撮像素子の撮像により得られる複数の画像の背景領域に基づいて、照明光の照明ムラを特定する照明ムラ特定部と、を備えたことを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、観察対象に対して照明光を照明しながら、観察対象の観察画像を取得する観察装置及び画像補正プログラムに関する。
【背景技術】
【０００２】
顕微鏡装置などの観察装置を用いた細胞観察の分野では、細胞などの観察対象を撮像し、画像解析することが一般的に行われている。この細胞観察においては、観察対象に対して均一な照明分布となる照明光を用いることが望ましいが、実際には観察環境や光源の特性等により不均一の光量分布となる照明光が用いられている。このため、撮像により得られる画像（以下、観察画像）は、照明光の照明ムラが生じた画像となる。この観察画像に生じた照明ムラを除去するために、得られた観察画像に対してシェーディング補正処理などの画像処理を施す、又は、観察対象を観察装置に設置しない状態での画像（以下、非観察画像）を事前に取得しておき、観察画像から非観察画像を減算する画像補正などが行われている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１５１１６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述したシェーディング補正処理は、画像に含まれる低周波数成分の領域の輝度を高くする補正である。例えば観察対象となる細胞が占有する領域が大きく、該領域が高周波成分から低周波数成分に跨っている観察画像に対してシェーディング補正処理を施した場合、には、シェーディング補正処理後に実行される細胞領域の抽出処理では、細胞の領域を正確に抽出することができないという問題がある。また、非観察画像を事前に取得する場合には、非観察画像の取得時と、観察画像の取得時との照明ムラが変化してしまう場合には対応することができないという欠点がある。
【０００５】
そこで、本発明は、観察画像の取得時に発生する照明ムラを特定することで、観察画像に発生する照明ムラを適切に取り除くことができるようにした観察装置及び画像補正プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明の観察装置は、観察対象を照明する照明光を発光する光源と、前記照明光により照明される前記観察対象を撮像する撮像素子と、前記照明光の光軸と直交する面上で前記光源及び前記観察対象の相対位置を変更する移動機構と、前記光源及び前記観察対象の相対位置を複数回変更したときに、前記撮像素子の撮像により得られる複数の画像の背景領域に基づいて、前記照明光の照明ムラを特定する照明ムラ特定部と、を備えたことを特徴とする。
【０００７】
また、前記撮像素子は、前記移動機構による前記光源及び前記観察対象の相対位置の変更前に前記撮像を実行することが可能であり、前記複数の画像は、前記移動機構により前記光源及び前記観察対象の相対位置を複数回変更する前に前記撮像素子の撮像により得られた画像を含むことが好ましい。
【０００８】
また、前記複数の画像のいずれか１つの画像を用いて、該複数の画像のそれぞれから抽出する前記背景領域の位置を設定する領域設定部を、備え、前記照明ムラ特定部は、前記領域設定部により設定された前記位置に基づいて、前記複数の画像のそれぞれから前記背景領域を抽出することが好ましい。
【０００９】
また、前記移動機構は、前記光源及び前記観察対象の相対位置を、前記背景領域の幅方向、又は高さ方向の少なくともいずれか１方向に変更することが好ましい。
【００１０】
なお、前記照明ムラ特定部により抽出される前記背景領域に含まれる画素の画素値は、前記観察対象に照射される前記照明光のうち、前記撮像素子の撮像範囲を照明する前記照明光の輝度値からなることが好ましい。
【００１１】
また、前記照明ムラ特定部は、前記複数の画像のそれぞれから抽出された前記背景領域に含まれる画素の画素値を用いた最小二乗法により、前記照明光の照明ムラを特定することが好ましい。
【００１２】
また、前記撮像素子は、前記複数の画像の他に、観察用画像を撮像することが可能であり、前記観察用画像と前記照明光の照明ムラとを用いて、前記観察用画像を補正する画像補正部とを備えていることが好ましい。
【００１３】
また、本発明の画像補正プログラムは、観察対象を照明する照明光を発光させる発光工程と、前記照明光の照明範囲及び前記観察対象の相対位置を、該照明光の光軸と直交する面上で変更する移動工程と、前記移動工程により前記照明光の照明範囲及び前記観察対象の相対位置を複数回変更させたときに、前記観察対象を撮像する撮像工程と、前記撮像工程により得られる複数の画像の背景領域に基づいて、前記照明光の照明ムラを特定する照明ムラ特定工程と、をコンピュータに実行させることが可能なものである。
【発明の効果】
【００１４】
本発明によれば、観察画像の取得時に発生する照明ムラを特定することで、観察画像に発生する照明ムラを適切に取り除くことができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の観察装置の構成の一例を示す図である。
【図２】撮像範囲及び撮像範囲から設定される背景領域の一例を示す図である。
【図３】光源を移動させる前の照明光の照明範囲、撮像範囲及び背景領域を示す図である。
【図４】光源移動機構により光源を−Ｘ方向に移動させたときの照明光の照明範囲、撮像範囲及び背景領域を示す図である。
【図５】照明光の照明範囲と、光源を−Ｘ方向に５回、−Ｙ方向に５回、計２５回移動させたときに得られる撮像範囲における照明分布の位置とを示す図である。
【図６】観察装置により被検物を観察するときに得られる観察画像データに対して画像補正を実行する際の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の観察装置の構成を図１に示す。図１に示すように、観察装置１０は、観察ユニット１１及びコンピュータ（ＰＣ）１２などから構成され、これらが例えば接続ケーブルなどの有線により電気的に接続される。これにより、観察ユニット１１から各種画像データをコンピュータ１２に向けて出力することができる他、コンピュータ１２から観察ユニット１１に向けて、動作信号を出力することができる。なお、本実施形態では、観察ユニット１１及びコンピュータ１２から観察装置１０を構成しているが、これに限定される必要はなく、本発明の観察ユニット１１を観察装置とし、該観察装置とコンピュータとを有線等により接続した観察システムであってもよい。なお、図１においては、観察ユニット１１は要部のみを記載している。
【００１７】
この観察装置１０は、観察対象となる被検物３５の画像観察の際に、照明光の照明ムラを特定するための画像（以下、参照画像）を、光源２１及び被検物３５の相対位置を変更する前と、光源２１及び被検物３５の相対位置を複数回変更した後のそれぞれで取得する。以下では、光源２１を移動させることで、光源２１及び被検物３５の相対位置を変更する場合について説明する。また、観察装置１０は、これら参照画像を取得した後、光源２１及び被検物３５の相対位置を初期の状態に戻して、被検物３５を観察するための画像（以下、観察画像）を取得する。
【００１８】
観察ユニット１１は、光源２１からの照明光を用いて、図示を省略したステージに載置される被検物３５を、その下方から照明し、被検物３５を透過する光を撮像素子２７にて受光することで、被検物の観察画像を取得する、所謂透過型の観察ユニットから構成される。ここで、被検物としては、プレパラート、培養される細胞が内包されるシャーレ、フラスコ、ペトリディッシュ或いはウェルプレートなどの培養容器が挙げられる。なお、図１においては、プレパラートを被検物とした場合について記載している。
【００１９】
この観察ユニット１１は、光源２１、光源移動機構２２、集光光学系２３、対物光学系２４、レンズ駆動機構２５、結像光学系２６、撮像素子２７、Ａ／Ｄ変換器２８、バッファメモリ２９、コントローラ３０及びインターフェイス（Ｉ／Ｆ）３１などを備えている。
【００２０】
光源２１は、例えばランプ、ＬＥＤ、レーザ光発振器などが用いられる。この光源２１は、図示を省略したステージ上に載置される被検物３５に向けて照明光を発光する。この照明光は、その光軸ＬがＺ方向に平行となる光である。光源移動機構２２は、光源２１を、光軸Ｌに直交する平面、言い換えればＸＹ平面上で移動させる。なお、光源移動機構２２による光源２１の移動方法や、光源２１の移動量については、後述する。
【００２１】
集光光学系２３は、光源２１からの照明光を平行光に変換する。この平行光に変換された照明光は、ステージの下方から被検物３５を照明する。被検物３５の下方から被検物３５を照明する照明光の一部は被検物３５を透過し、対物光学系２４に入射する。対物光学系２４を出射した照明光は、結像光学系２６に入射する。結像光学系２６は、対物光学系２４から出射する照明光を撮像素子２７の撮像面に結像する。なお、レンズ駆動機構２５は、焦点調整時に対物光学系２４を光軸Ｌに沿って移動させる。
【００２２】
撮像素子２７は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサが用いられる。この撮像素子２７は、結像光学系２６により結像された照明光を受光することで、被検物３５の光学像を取得する。この撮像素子２７における撮像範囲が、被検物３５の観察時の観察視野範囲となる。この撮像素子２７により得られる光学像に基づく画像信号は、Ａ／Ｄ変換器２８に出力する。
【００２３】
Ａ／Ｄ変換器２８は、撮像素子２７から出力されるアナログの画像信号をデジタルの画像信号に変換する。このＡ／Ｄ変換部２０によりデジタルの画像信号に変換された画像信号は、バッファメモリ２９に書き込まれる。
【００２４】
コントローラ３０は、光源２１の点灯／消灯制御、光源移動機構２２やレンズ駆動機構２５の駆動制御、さらには撮像素子２７における撮像制御を実行する。インターフェイス３１は、コンピュータ１２のインターフェイス５０と接続ケーブルなどの有線により電気的に接続される。
【００２５】
コンピュータ１２は、観察ユニット１１による各種動作を実行させるために設けられる。このコンピュータ１２は、ＣＰＵ４１、メモリ４２、バッファメモリ４３、画像メモリ４４、画像処理回路４５、画像補正回路４６、表示装置４７、表示制御回路４８、操作部４９及びインターフェイス（Ｉ／Ｆ）５０等から構成される。なお、ＣＰＵ４１、メモリ４２、バッファメモリ４３、画像メモリ４４、画像処理回路４５、画像補正回路４６、表示制御回路４８及びインターフェイス５０は、バス５１を介して電気的に接続される。
【００２６】
ＣＰＵ４１は、メモリ４２に記憶された制御プログラムに基づいてコンピュータ１２の各部を制御する。また、ＣＰＵ４１は、メモリ４２に記憶された動作プログラムに基づく動作信号を観察ユニット１１に出力する。ここでは、詳細を省略するが、ＣＰＵ４１は、メモリ４２に記憶された背景領域の位置データと、画像メモリ４４に記憶された参照画像データとを用いて、被検物３５を照明する照明光の輝度分布の状態を示す照明分布データを生成する。なお、背景領域を設定する手順や、照明分布データを生成する手順については、後述する。
【００２７】
メモリ４２は、上述した制御プログラムや動作プログラムなどが記憶される他、後述する背景領域の位置データが記憶される。バッファメモリ４３は、観察ユニット１１から出力された観察画像データ、照明分布データ、画像補正（シェーディング補正）が施された観察画像データの他、画像処理後の画像データが記憶される。なお、画像処理後の画像データとしては、例えば観察が開始された直後に得られる参照画像データや、画像補正済みの観察画像データに対して画像処理を施した後の画像データが挙げられる。画像メモリ４４は、観察ユニット１１から出力される参照画像データが複数記憶される。なお、画像メモリ４４に記憶される参照画像データには、光源２１の位置データが付帯される。
【００２８】
画像処理回路４５は、観察を開始した直後に取得される参照画像データや観察画像データに対して、ホワイトバランス処理、色補間処理、階調変換処理などの画像処理を施す。なお、これら画像処理の各処理の内容は周知であることから、ここでは、詳細を省略する。この画像処理回路４５により画像処理が施された画像データは、バッファメモリ４３に記憶される。
【００２９】
画像補正回路４６は、バッファメモリ４３に一時記憶された観察画像データを、照明分布データを用いて補正する。なお、この補正としては、観察画像データの各画素の画素値（輝度値）から、照明分布データの各画素の画素値（輝度値）を減算する処理である。なお、この画像補正が施された観察画像データは、再度バッファメモリ４３に記憶される。
【００３０】
表示装置４７は、例えばＬＣＤパネルや有機ＥＬパネルなどから構成される。この表示装置４７は、観察を開始した直後に取得される参照画像、観察画像、設定用画像などを表示する。この表示装置４７における表示制御は、表示制御回路４８により実行される。
【００３１】
操作部４９は、例えばキーボードやマウスなどから構成される。これらキーボードやマウスを操作したときに、これら操作に基づく操作信号がＣＰＵ４１に入力される。なお、操作部４９は、例えば表示装置４７に表示される参照画像に対して、背景領域を指定する際に操作される。インターフェイス５０は、観察ユニット１１のインターフェイス３１と接続ケーブルなどの有線により電気的に接続される。
【００３２】
次に、背景領域の設定について説明する。例えば、観察を開始した直後に実行される撮像素子２７における撮像により参照画像が取得されると、該参照画像が表示装置４７に表示される。ユーザは、操作部４９を操作して背景領域を指定する。操作部４９がマウスであれば、マウスを操作して、表示装置４７に表示されるマウスポインタを参照画像上に移動させた後、マウスをドラック操作して背景領域を指定する。なお、図２においては、参照画像５５に対して、枠５６で囲まれる領域５７がマウスのドラック操作により指定された領域となる。
【００３３】
この操作を受けて、ＣＰＵ４１は、マウスのドラック操作に伴う矩形の領域５７を背景領域として設定し、設定した背景領域の位置データをメモリ４２に記憶する。この背景領域の位置データは、マウスのドラック操作の開始点に対応する参照画像の画素の位置データと、マウスのドラック操作の終了点に対応する参照画像の画素の位置データとからなる。なお、背景領域５７を設定する方法として、ユーザによるマウスのドラック操作を挙げているが、これに限定される必要はなく、参照画像５５から自動的に背景領域５７を設定することも可能である。
【００３４】
次に、光源２１を移動させるときの移動量の設定について説明する。上述したように、表示装置４７に表示される参照画像に対して、操作部４９を操作することで背景領域が設定される。この背景領域の設定により、メモリ４２には背景領域の位置データが記憶される。ＣＰＵ４１は、メモリ４２に記憶される背景領域の位置データを読み出す。ＣＰＵ４１は、読み出した背景領域の位置データから、背景領域におけるＸ方向及びＹ方向の各方向における画素数を求める。そして、ＣＰＵ４１は、求めた背景領域におけるＸ方向及びＹ方向における画素数に基づいて、光源２１のＸ方向への移動量と、Ｙ方向への移動量とを決定する。
【００３５】
また、ＣＰＵ４１は、光源２１をＸ方向に移動させる回数（Ｘ方向への移動回数）と、Ｙ方向への移動回数とを決定する。例えば撮像素子２７の有効画素領域におけるＸ方向及びＹ方向の各方向における画素数は予め設定されていることから、ＣＰＵ４１は、背景領域におけるＸ方向及びＹ方向の各方向における画素数と、撮像素子２７の有効画素領域におけるＸ方向及びＹ方向の各方向における画素数とから、光源２１のＸ方向への移動回数と、Ｙ方向への移動回数とを求める。そして、ＣＰＵ４１は、光源２１のＸ方向への移動量、光源２１のＹ方向への移動量、光源２１のＸ方向への移動回数及びＹ方向への移動回数をコントローラ３０に出力する。コントローラ３０は、コンピュータ１２からの駆動信号を受けて、これらデータを参照しながら、光源２１の移動制御を実行する。なお、光源２１の移動制御としては、例えば、−Ｘ方向に光源２１を移動させる動作を複数回行い、光源２１をＸ方向の初期位置に戻した後、−Ｙ方向に光源２１を移動させて、再度−Ｘ方向に光源２１を移動させる動作を複数回行う制御や、−Ｘ方向に光源２１を移動させる動作を複数回行った後、Ｙ方向に光源２１を移動させ、Ｘ方向に光源２１を移動させる動作を複数回行う制御などが挙げられる。この光源２１の移動制御に併せて、コントローラ３０は、撮像素子２１を制御し、撮像素子２１における撮像処理を実行させる。
【００３６】
最後に、照明分布データを生成する手順について説明する。ＣＰＵ４１は、メモリ４２に記憶された背景領域の位置データを読み出す。そして、ＣＰＵ４１は、画像メモリ４４に記憶される参照画像データを読み出して、背景領域の位置データに対応する画素の画素値を各参照画像データから抽出する。次に、ＣＰＵ４１は、参照画像データの背景領域を、参照画像データに付帯される光源の位置データと、光源２１のＸ方向への移動量及びＹ方向への移動量とを参照し、配列する。
【００３７】
図３は、光源２１を移動させる前に実行される撮像素子２７における撮像範囲と、照明光の照明範囲とを示す。図３では、照明光の照明範囲６０に対して、撮像素子２７における撮像範囲を枠６１で示している。また、枠６２に囲まれる領域６３が背景領域である。
【００３８】
図３に示す状態を初期状態として、光源２１を−Ｘ方向に移動させると、照明光の照明範囲６０も−Ｘ方向に移動する。この光源２１の−Ｘ方向への移動に対して、被検物３５や撮像素子２７は固定である。図４は、光源２１を−Ｘ方向へ移動させた場合の照明光の照明範囲と、撮像素子２７における撮像範囲及び背景領域との位置関係を示す。なお、図４においては、一点鎖線で囲まれる範囲６１が光源２１を移動させる前の撮像素子２７の撮像範囲、実線で囲まれる範囲６１’が光源２１を−Ｘ方向へ移動させたときの撮像素子２７の撮像範囲である。また、点線で囲まれる領域６３が光源２１を移動させる前の背景領域であり、実線で囲まれる領域６３’が光源２１を−Ｘ方向へ移動させたときの背景領域である。ここで、光源２１の移動に伴って移動する照明範囲６０を基準に考慮すると、光源２１の−Ｘ方向への移動時には、撮像素子２１の撮像範囲６１や背景領域６３はＸ方向に移動していることになる。
【００３９】
なお、光源２１をX方向又はY方向に移動させたときに撮像素子２７により得られる参照画像データは各画素の画素値が輝度値からなる画像データである。このため、光源２１を−Ｘ方向又は−Ｙ方向に、それぞれ複数回移動したときに得られる複数の参照画像データから抽出した背景領域を配列すると、光源２１を固定したときの撮像素子２７の撮像範囲における照明光の照明分布となる。図５においては、枠６５で示される範囲が撮像素子２７の撮像範囲であり、撮像範囲６５に含まれる複数の領域６３が、各参照画像データから抽出される背景領域である。ＣＰＵ４１は、各参照画像データから抽出される背景領域をそれぞれ配列したときの各背景領域内の画素の画素値を１つの画像データとしてまとめることで、照明分布データを生成する。なお、図５においては、光源２１を−Ｘ方向に５回、−Ｙ方向に５回、計２５回、光源２１を移動させた場合を例としている。
【００４０】
次に、観察装置１０により被検物を観察するときに得られる観察画像データに対して画像補正を実行する際の処理の流れを図６のフローチャートに基づいて説明する。
【００４１】
ステップＳ１０１は、参照画像データを取得する処理である。ＣＰＵ４１は、コントローラ３０に向けて、参照画像データを取得するための撮像信号を出力する。これを受けて、コントローラ３０は、撮像素子２７における撮像処理を実行する。これにより、光源２１が初期の位置にあるときの参照画像データが取得される。なお、この参照画像データは、コントローラ３０により、観察ユニット１１からコンピュータ１２に向けて出力される。参照画像データがコンピュータ１２に出力されると、ＣＰＵ４１は、参照画像データを画像メモリ４４に記憶する。この際、ＣＰＵ４１は、光源２１の位置データを参照画像データに付帯する。画像メモリ４４に記憶された参照画像データは、画像処理回路４５により読み出され、画像処理が実行される。画像処理回路４５により画像処理が施された参照画像データは、バッファメモリ４３に一時記憶される。
【００４２】
ステップＳ１０２は、背景領域を設定する処理である。上述したように、ステップＳ１０１の処理により参照画像データが取得されると、得られた参照画像データがコンピュータ１２に出力される。ステップＳ１０２の処理が実行されると、表示制御回路４８は、バッファメモリ４３に一時記憶された画像処理済みの参照画像データを読み出し、表示装置４７に、読み出した参照画像データに基づく参照画像を表示する。参照画像の表示を受けて、ユーザは操作部４９を操作し、参照画像から背景領域を指定する。この操作部４９の操作に基づいて背景領域が指定されると、ＣＰＵ４１は、操作部４９の操作に基づく位置データ（背景領域の位置データ）をメモリ４２に記憶する。これにより、参照画像における背景領域が設定される。
【００４３】
ステップＳ１０３は、光源の移動量及び移動回数を算出する処理である。ステップＳ１０２の処理を実行することで、参照画像における背景領域が設定される。ＣＰＵ４１は、メモリ４２から設定された背景領域の位置データを読み出し、背景領域におけるＸ方向及びＹ方向の各方向における画素数を求める。この背景領域におけるＸ方向及びＹ方向における画素数に基づいて、ＣＰＵ４１は、光源２１のＸ方向への移動量と、Ｙ方向への移動量とを決定する。また、ＣＰＵ４１は、撮像素子２７における撮像範囲におけるＸ方向及びＹ方向の各方向における画素数と、背景領域におけるＸ方向及びＹ方向における画素数とを用いて、光源２１のＸ方向への移動回数と、Ｙ方向への移動回数とを求める。ＣＰＵ４１は、算出された光源の移動量及び移動回数を観察ユニット１１のコントローラ３０に出力する。
【００４４】
ステップＳ１０４は、光源を移動させる処理である。ＣＰＵ４１は、コントローラ３０に向けて駆動信号を出力する。これを受けて、コントローラ３０は、ステップＳ１０３により算出された光源２１の移動量及び移動回数を参照する。そして、コントローラ３０は、光源移動機構２２を駆動させて、ステップＳ１０３にて決定された移動量分、光源２１を移動させる。
【００４５】
ステップＳ１０５は、参照画像データを取得する処理である。ステップＳ１０４の処理が実行されると、光源２１が移動している。コントローラ３０は、撮像素子２７における撮像処理を実行する。これにより、光源２１が初期の位置の位置から所定量移動したときの参照画像データが取得される。コントローラ３０は、取得された参照画像データを、コンピュータ１２に向けて出力する。参照画像データがコンピュータ１２に出力されると、ＣＰＵ４１は、参照画像データを画像メモリ４４に記憶する。この際、ＣＰＵ４１は、光源２１の位置データを参照画像データに付帯する。
【００４６】
ステップＳ１０６は、光源の移動が終了したか否かを判定する処理である。ステップＳ１０３の処理を実行することで、ＣＰＵ４１は、光源２１をＸ方向に移動させる回数と、Ｙ方向に移動させる回数とを算出している。ＣＰＵ４１は、これら回数とから、光源２１の移動回数を算出する。そして、ＣＰＵ４１は、画像メモリ４４に記憶される参照画像データの数をカウントすることで、光源２１の移動が終了したか否かを判定する。画像メモリ４４に記憶される参照画像データの数が、算出された光源２１の移動回数に到達している場合には、ＣＰＵ４１はステップＳ１０６の判定処理をＹｅｓとする。この場合、ステップＳ１０７に進む。なお、このステップＳ１０６の判定処理がＹｅｓとなる場合には、ＣＰＵ４１は、コントローラ３０に向けて、光源２１を初期の位置（ステップＳ１０１における光源２１の位置）に移動させる動作信号を出力する。これを受けて、コントローラ３０は、光源移動機構２２を駆動させて、光源２１を初期の位置に移動させる。
【００４７】
一方、画像メモリ４４に記憶される参照画像データの数が、算出された光源２１の移動回数に到達していない場合には、ＣＰＵ４１はステップＳ１０６の判定処理をＮｏとする。この場合、ステップＳ１０４に戻る。つまり、算出された光源２１の移動回数に到達するまで、光源２１を移動させながら、参照画像データを取得する処理が繰り返し実行される。
【００４８】
ステップＳ１０７は、照明ムラを特定する処理である。ステップＳ１０４及びステップＳ１０５の処理が複数回実行されることで、複数の参照画像データが画像メモリ４４に記憶される。ＣＰＵ４１は、メモリから、背景領域の位置データを読み出す。そして、ＣＰＵ４１は、背景領域の位置データに基づいて、各参照画像データの背景領域に含まれる画素の画素値を抽出する。なお、参照画像データには、光源２１の位置データが付帯されていることから、ＣＰＵ４１は、該光源２１の位置データを参照して、抽出した各参照画像データの背景領域に含まれる画素の画素値を、バッファメモリ４３に配列する。
【００４９】
上述したように、背景領域は、観察対象を含まない領域であることから、この背景領域に含まれる各画素の画素値は、照明光の輝度値を示している。このため、各参照画像データから抽出される背景領域を配列することで、撮像素子２７の撮像範囲を照明する照明光の照明分布（輝度分布）が得られることになる。抽出した各参照画像データの背景領域に含まれる画素の画素値をバッファメモリ４３に配列した後、ＣＰＵ４１は、これら配列される各画素の画素値を１つの画像データとしてまとめる。これにより、照明分布データが生成される。つまり、この照明分布データを生成することで、撮像素子２７の撮像範囲における照明光の照明ムラが特定される。なお、照明分布データは、バッファメモリ４３に記憶される。
【００５０】
ステップＳ１０８は、観察画像データを取得する処理である。このステップＳ１０８の処理が実行されることで、撮像素子２７による撮像が実行され、観察画像データが取得される。なお、この観察画像データは、コントローラ３０からコンピュータ１２に向けて出力される。ＣＰＵ４１は、この観察画像データをバッファメモリ４３に記憶する。
【００５１】
ステップＳ１０９は、観察画像データを補正する処理である。画像補正回路４６は、バッファメモリ４３に記憶される観察画像データ及び照明分布データをそれぞれ読み出す。画像補正回路４６は、照明分布データを用いて観察画像データを補正する。なお、観察画像データの補正としては、観察画像データの各画素の画素値から、照明分布データの各画素の画素値をそれぞれ減算すればよい。これにより、観察画像データに対する補正（シェーディング補正）が実行される。なお、補正済みの観察画像データは、バッファメモリ４３に記憶される。このステップＳ１０９の処理が実行されることで、照明ムラが除去された観察画像データが取得される。
【００５２】
ステップＳ１１０は、画像処理である。画像処理回路４５は、バッファメモリ４３に記憶された補正済みの観察画像データに対して、画像処理を実行する。この画像処理が施された観察画像データは、バッファメモリ４３に書き込まれる。
【００５３】
ステップＳ１１１は、画像を表示する処理である。表示制御回路４８は、バッファメモリ４３に記憶された画像処理済みの観察画像データを読み出し、該観察画像データに基づく観察画像を表示する。なお、表示される観察画像に対して、ユーザは、操作部４９による各種操作を行うことができる。例えば操作部４９の操作が表示装置４７に表示される観察画像を、そのまま記憶する旨の操作であれば、ＣＰＵ４１は、画像処理済みの観察画像データを、ハードディスクドライブやメモリカードなどの図示を省略した記憶媒体に記憶する。また、操作部４９の操作が、表示装置４７に表示される観察画像に対して、細胞の領域を抽出する処理を行う旨の操作であれば、ＣＰＵ４１は、画像処理回路４５に、表示された観察画像の基になる観察画像データに対して例えばハイパスフィルタを用いて、細胞の領域を抽出する処理を実行させればよい。
【００５４】
このように、被検物を観察する直前に複数の参照画像に含まれる背景領域から照明光の照明分布を示すデータを取得することで、細胞観察時における照明光の照明ムラを容易に特定することができる。また、観察視野範囲、言い換えれば撮像範囲に対して被検物が占める領域が大きい場合であっても、撮像範囲に背景領域が含まれているのであれば、背景領域を利用した照明光の照明分布を示すデータを取得することができるので、観察画像データに対して適切なシェーディング補正を行うことができる。
【００５５】
本実施形態では、得られる複数の参照画像データから抽出される各背景領域を配列したときに、配列した全背景領域の大きさが撮像範囲の大きさと一致する場合について説明している。しかしながら、実際には、配列した全背景領域の大きさと撮像範囲とが一致しない場合もある。このように、配列される背景領域全体と撮像範囲とが一致しない場合には、予め、配列される背景領域全体の領域が撮像範囲よりも大きくなるように、参照画像データを取得しておき、各参照画像データから抽出される背景領域を配列したときに、撮像範囲に含まれる画素の画素値を照明分布データとしてまとめることも可能である。
【００５６】
また、この他に、複数回の撮像により得られる複数の参照画像データから抽出される背景領域を配列したときに、配列される背景領域の大きさが、撮像範囲よりも小さくなる場合もある。例えば、照明光の照明分布が球面近似できることを考慮すると、撮像範囲に含まれる画素のうち、背景領域が配置されない箇所に該当する画素の画像値を、複数の背景領域に含まれる画素の画素値を用いた最小二乗法により求めるができる。
【００５７】
本実施形態では、設定された背景領域の幅と同一の長さを光源２１のＸ方向の移動量とし、背景領域の高さと同一の長さを光源２１のＹ方向の移動量としているが、これに限定される必要はなく、背景領域の幅の所定倍の長さを光源２１のＸ方向の移動量、背景領域の高さの所定倍の長さを光源２１のＹ方向の移動量としてもよい。この場合、各参照画像データから得られる背景領域を配列すると、各背景領域が間引いて配列される。この場合も、照明光の照明分布が球面近似できることを考慮すると、配列される各背景領域に含まれる画素の画素値を用いた最小二乗法により、撮像範囲のうち、背景領域が配置されていない領域に含まれる画素の画素値を求めることができる。
【００５８】
本実施形態では、得られる参照画像データを全て取得した後に各参照画像データから背景領域を抽出しているが、これに限定される必要はなく、各参照画像データが取得された直後に背景領域を抽出し、背景領域に基づく画像データをコンピュータ１２に記憶させることも可能である。
【００５９】
本実施形態では、光源２１及び被検物３５の相対位置を変更する例として、光源２１を移動させる場合について説明しているが、これに限定される必要はなく、被検物３５のみを移動させる、或いは、被検物３５及び撮像素子２７を移動させることで、光源２１と被検物３５との相対位置を変更することも可能である。
【００６０】
本実施形態では、観察装置１０を例に取り上げたが、観察ユニット１１を駆動制御するコンピュータ１２が実行する画像補正プログラムの形態であってもよい。この場合、図６に示すフローチャートに示す処理の流れをコンピュータ１２にて実行できるような画像補正プログラムであればよい。なお、この画像補正プログラムは、メモリカード、光学ディスクや磁気ディスクなどの、コンピュータが読み取り可能な記憶媒体に記憶されていることが好ましい。
【符号の説明】
【００６１】
１０…観察装置、１１…観察ユニット、１２…コンピュータ、２１…光源、２２…光源移動機構、２７…撮像素子、４１…ＣＰＵ、４２…メモリ、４４…画像メモリ、４５…画像処理回路、４６…画像補正回路、４７…表示装置、４９…操作部
【技術分野】
【０００１】
本発明は、観察対象に対して照明光を照明しながら、観察対象の観察画像を取得する観察装置及び画像補正プログラムに関する。
【背景技術】
【０００２】
顕微鏡装置などの観察装置を用いた細胞観察の分野では、細胞などの観察対象を撮像し、画像解析することが一般的に行われている。この細胞観察においては、観察対象に対して均一な照明分布となる照明光を用いることが望ましいが、実際には観察環境や光源の特性等により不均一の光量分布となる照明光が用いられている。このため、撮像により得られる画像（以下、観察画像）は、照明光の照明ムラが生じた画像となる。この観察画像に生じた照明ムラを除去するために、得られた観察画像に対してシェーディング補正処理などの画像処理を施す、又は、観察対象を観察装置に設置しない状態での画像（以下、非観察画像）を事前に取得しておき、観察画像から非観察画像を減算する画像補正などが行われている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１５１１６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述したシェーディング補正処理は、画像に含まれる低周波数成分の領域の輝度を高くする補正である。例えば観察対象となる細胞が占有する領域が大きく、該領域が高周波成分から低周波数成分に跨っている観察画像に対してシェーディング補正処理を施した場合、には、シェーディング補正処理後に実行される細胞領域の抽出処理では、細胞の領域を正確に抽出することができないという問題がある。また、非観察画像を事前に取得する場合には、非観察画像の取得時と、観察画像の取得時との照明ムラが変化してしまう場合には対応することができないという欠点がある。
【０００５】
そこで、本発明は、観察画像の取得時に発生する照明ムラを特定することで、観察画像に発生する照明ムラを適切に取り除くことができるようにした観察装置及び画像補正プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明の観察装置は、観察対象を照明する照明光を発光する光源と、前記照明光により照明される前記観察対象を撮像する撮像素子と、前記照明光の光軸と直交する面上で前記光源及び前記観察対象の相対位置を変更する移動機構と、前記光源及び前記観察対象の相対位置を複数回変更したときに、前記撮像素子の撮像により得られる複数の画像の背景領域に基づいて、前記照明光の照明ムラを特定する照明ムラ特定部と、を備えたことを特徴とする。
【０００７】
また、前記撮像素子は、前記移動機構による前記光源及び前記観察対象の相対位置の変更前に前記撮像を実行することが可能であり、前記複数の画像は、前記移動機構により前記光源及び前記観察対象の相対位置を複数回変更する前に前記撮像素子の撮像により得られた画像を含むことが好ましい。
【０００８】
また、前記複数の画像のいずれか１つの画像を用いて、該複数の画像のそれぞれから抽出する前記背景領域の位置を設定する領域設定部を、備え、前記照明ムラ特定部は、前記領域設定部により設定された前記位置に基づいて、前記複数の画像のそれぞれから前記背景領域を抽出することが好ましい。
【０００９】
また、前記移動機構は、前記光源及び前記観察対象の相対位置を、前記背景領域の幅方向、又は高さ方向の少なくともいずれか１方向に変更することが好ましい。
【００１０】
なお、前記照明ムラ特定部により抽出される前記背景領域に含まれる画素の画素値は、前記観察対象に照射される前記照明光のうち、前記撮像素子の撮像範囲を照明する前記照明光の輝度値からなることが好ましい。
【００１１】
また、前記照明ムラ特定部は、前記複数の画像のそれぞれから抽出された前記背景領域に含まれる画素の画素値を用いた最小二乗法により、前記照明光の照明ムラを特定することが好ましい。
【００１２】
また、前記撮像素子は、前記複数の画像の他に、観察用画像を撮像することが可能であり、前記観察用画像と前記照明光の照明ムラとを用いて、前記観察用画像を補正する画像補正部とを備えていることが好ましい。
【００１３】
また、本発明の画像補正プログラムは、観察対象を照明する照明光を発光させる発光工程と、前記照明光の照明範囲及び前記観察対象の相対位置を、該照明光の光軸と直交する面上で変更する移動工程と、前記移動工程により前記照明光の照明範囲及び前記観察対象の相対位置を複数回変更させたときに、前記観察対象を撮像する撮像工程と、前記撮像工程により得られる複数の画像の背景領域に基づいて、前記照明光の照明ムラを特定する照明ムラ特定工程と、をコンピュータに実行させることが可能なものである。
【発明の効果】
【００１４】
本発明によれば、観察画像の取得時に発生する照明ムラを特定することで、観察画像に発生する照明ムラを適切に取り除くことができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の観察装置の構成の一例を示す図である。
【図２】撮像範囲及び撮像範囲から設定される背景領域の一例を示す図である。
【図３】光源を移動させる前の照明光の照明範囲、撮像範囲及び背景領域を示す図である。
【図４】光源移動機構により光源を−Ｘ方向に移動させたときの照明光の照明範囲、撮像範囲及び背景領域を示す図である。
【図５】照明光の照明範囲と、光源を−Ｘ方向に５回、−Ｙ方向に５回、計２５回移動させたときに得られる撮像範囲における照明分布の位置とを示す図である。
【図６】観察装置により被検物を観察するときに得られる観察画像データに対して画像補正を実行する際の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の観察装置の構成を図１に示す。図１に示すように、観察装置１０は、観察ユニット１１及びコンピュータ（ＰＣ）１２などから構成され、これらが例えば接続ケーブルなどの有線により電気的に接続される。これにより、観察ユニット１１から各種画像データをコンピュータ１２に向けて出力することができる他、コンピュータ１２から観察ユニット１１に向けて、動作信号を出力することができる。なお、本実施形態では、観察ユニット１１及びコンピュータ１２から観察装置１０を構成しているが、これに限定される必要はなく、本発明の観察ユニット１１を観察装置とし、該観察装置とコンピュータとを有線等により接続した観察システムであってもよい。なお、図１においては、観察ユニット１１は要部のみを記載している。
【００１７】
この観察装置１０は、観察対象となる被検物３５の画像観察の際に、照明光の照明ムラを特定するための画像（以下、参照画像）を、光源２１及び被検物３５の相対位置を変更する前と、光源２１及び被検物３５の相対位置を複数回変更した後のそれぞれで取得する。以下では、光源２１を移動させることで、光源２１及び被検物３５の相対位置を変更する場合について説明する。また、観察装置１０は、これら参照画像を取得した後、光源２１及び被検物３５の相対位置を初期の状態に戻して、被検物３５を観察するための画像（以下、観察画像）を取得する。
【００１８】
観察ユニット１１は、光源２１からの照明光を用いて、図示を省略したステージに載置される被検物３５を、その下方から照明し、被検物３５を透過する光を撮像素子２７にて受光することで、被検物の観察画像を取得する、所謂透過型の観察ユニットから構成される。ここで、被検物としては、プレパラート、培養される細胞が内包されるシャーレ、フラスコ、ペトリディッシュ或いはウェルプレートなどの培養容器が挙げられる。なお、図１においては、プレパラートを被検物とした場合について記載している。
【００１９】
この観察ユニット１１は、光源２１、光源移動機構２２、集光光学系２３、対物光学系２４、レンズ駆動機構２５、結像光学系２６、撮像素子２７、Ａ／Ｄ変換器２８、バッファメモリ２９、コントローラ３０及びインターフェイス（Ｉ／Ｆ）３１などを備えている。
【００２０】
光源２１は、例えばランプ、ＬＥＤ、レーザ光発振器などが用いられる。この光源２１は、図示を省略したステージ上に載置される被検物３５に向けて照明光を発光する。この照明光は、その光軸ＬがＺ方向に平行となる光である。光源移動機構２２は、光源２１を、光軸Ｌに直交する平面、言い換えればＸＹ平面上で移動させる。なお、光源移動機構２２による光源２１の移動方法や、光源２１の移動量については、後述する。
【００２１】
集光光学系２３は、光源２１からの照明光を平行光に変換する。この平行光に変換された照明光は、ステージの下方から被検物３５を照明する。被検物３５の下方から被検物３５を照明する照明光の一部は被検物３５を透過し、対物光学系２４に入射する。対物光学系２４を出射した照明光は、結像光学系２６に入射する。結像光学系２６は、対物光学系２４から出射する照明光を撮像素子２７の撮像面に結像する。なお、レンズ駆動機構２５は、焦点調整時に対物光学系２４を光軸Ｌに沿って移動させる。
【００２２】
撮像素子２７は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサが用いられる。この撮像素子２７は、結像光学系２６により結像された照明光を受光することで、被検物３５の光学像を取得する。この撮像素子２７における撮像範囲が、被検物３５の観察時の観察視野範囲となる。この撮像素子２７により得られる光学像に基づく画像信号は、Ａ／Ｄ変換器２８に出力する。
【００２３】
Ａ／Ｄ変換器２８は、撮像素子２７から出力されるアナログの画像信号をデジタルの画像信号に変換する。このＡ／Ｄ変換部２０によりデジタルの画像信号に変換された画像信号は、バッファメモリ２９に書き込まれる。
【００２４】
コントローラ３０は、光源２１の点灯／消灯制御、光源移動機構２２やレンズ駆動機構２５の駆動制御、さらには撮像素子２７における撮像制御を実行する。インターフェイス３１は、コンピュータ１２のインターフェイス５０と接続ケーブルなどの有線により電気的に接続される。
【００２５】
コンピュータ１２は、観察ユニット１１による各種動作を実行させるために設けられる。このコンピュータ１２は、ＣＰＵ４１、メモリ４２、バッファメモリ４３、画像メモリ４４、画像処理回路４５、画像補正回路４６、表示装置４７、表示制御回路４８、操作部４９及びインターフェイス（Ｉ／Ｆ）５０等から構成される。なお、ＣＰＵ４１、メモリ４２、バッファメモリ４３、画像メモリ４４、画像処理回路４５、画像補正回路４６、表示制御回路４８及びインターフェイス５０は、バス５１を介して電気的に接続される。
【００２６】
ＣＰＵ４１は、メモリ４２に記憶された制御プログラムに基づいてコンピュータ１２の各部を制御する。また、ＣＰＵ４１は、メモリ４２に記憶された動作プログラムに基づく動作信号を観察ユニット１１に出力する。ここでは、詳細を省略するが、ＣＰＵ４１は、メモリ４２に記憶された背景領域の位置データと、画像メモリ４４に記憶された参照画像データとを用いて、被検物３５を照明する照明光の輝度分布の状態を示す照明分布データを生成する。なお、背景領域を設定する手順や、照明分布データを生成する手順については、後述する。
【００２７】
メモリ４２は、上述した制御プログラムや動作プログラムなどが記憶される他、後述する背景領域の位置データが記憶される。バッファメモリ４３は、観察ユニット１１から出力された観察画像データ、照明分布データ、画像補正（シェーディング補正）が施された観察画像データの他、画像処理後の画像データが記憶される。なお、画像処理後の画像データとしては、例えば観察が開始された直後に得られる参照画像データや、画像補正済みの観察画像データに対して画像処理を施した後の画像データが挙げられる。画像メモリ４４は、観察ユニット１１から出力される参照画像データが複数記憶される。なお、画像メモリ４４に記憶される参照画像データには、光源２１の位置データが付帯される。
【００２８】
画像処理回路４５は、観察を開始した直後に取得される参照画像データや観察画像データに対して、ホワイトバランス処理、色補間処理、階調変換処理などの画像処理を施す。なお、これら画像処理の各処理の内容は周知であることから、ここでは、詳細を省略する。この画像処理回路４５により画像処理が施された画像データは、バッファメモリ４３に記憶される。
【００２９】
画像補正回路４６は、バッファメモリ４３に一時記憶された観察画像データを、照明分布データを用いて補正する。なお、この補正としては、観察画像データの各画素の画素値（輝度値）から、照明分布データの各画素の画素値（輝度値）を減算する処理である。なお、この画像補正が施された観察画像データは、再度バッファメモリ４３に記憶される。
【００３０】
表示装置４７は、例えばＬＣＤパネルや有機ＥＬパネルなどから構成される。この表示装置４７は、観察を開始した直後に取得される参照画像、観察画像、設定用画像などを表示する。この表示装置４７における表示制御は、表示制御回路４８により実行される。
【００３１】
操作部４９は、例えばキーボードやマウスなどから構成される。これらキーボードやマウスを操作したときに、これら操作に基づく操作信号がＣＰＵ４１に入力される。なお、操作部４９は、例えば表示装置４７に表示される参照画像に対して、背景領域を指定する際に操作される。インターフェイス５０は、観察ユニット１１のインターフェイス３１と接続ケーブルなどの有線により電気的に接続される。
【００３２】
次に、背景領域の設定について説明する。例えば、観察を開始した直後に実行される撮像素子２７における撮像により参照画像が取得されると、該参照画像が表示装置４７に表示される。ユーザは、操作部４９を操作して背景領域を指定する。操作部４９がマウスであれば、マウスを操作して、表示装置４７に表示されるマウスポインタを参照画像上に移動させた後、マウスをドラック操作して背景領域を指定する。なお、図２においては、参照画像５５に対して、枠５６で囲まれる領域５７がマウスのドラック操作により指定された領域となる。
【００３３】
この操作を受けて、ＣＰＵ４１は、マウスのドラック操作に伴う矩形の領域５７を背景領域として設定し、設定した背景領域の位置データをメモリ４２に記憶する。この背景領域の位置データは、マウスのドラック操作の開始点に対応する参照画像の画素の位置データと、マウスのドラック操作の終了点に対応する参照画像の画素の位置データとからなる。なお、背景領域５７を設定する方法として、ユーザによるマウスのドラック操作を挙げているが、これに限定される必要はなく、参照画像５５から自動的に背景領域５７を設定することも可能である。
【００３４】
次に、光源２１を移動させるときの移動量の設定について説明する。上述したように、表示装置４７に表示される参照画像に対して、操作部４９を操作することで背景領域が設定される。この背景領域の設定により、メモリ４２には背景領域の位置データが記憶される。ＣＰＵ４１は、メモリ４２に記憶される背景領域の位置データを読み出す。ＣＰＵ４１は、読み出した背景領域の位置データから、背景領域におけるＸ方向及びＹ方向の各方向における画素数を求める。そして、ＣＰＵ４１は、求めた背景領域におけるＸ方向及びＹ方向における画素数に基づいて、光源２１のＸ方向への移動量と、Ｙ方向への移動量とを決定する。
【００３５】
また、ＣＰＵ４１は、光源２１をＸ方向に移動させる回数（Ｘ方向への移動回数）と、Ｙ方向への移動回数とを決定する。例えば撮像素子２７の有効画素領域におけるＸ方向及びＹ方向の各方向における画素数は予め設定されていることから、ＣＰＵ４１は、背景領域におけるＸ方向及びＹ方向の各方向における画素数と、撮像素子２７の有効画素領域におけるＸ方向及びＹ方向の各方向における画素数とから、光源２１のＸ方向への移動回数と、Ｙ方向への移動回数とを求める。そして、ＣＰＵ４１は、光源２１のＸ方向への移動量、光源２１のＹ方向への移動量、光源２１のＸ方向への移動回数及びＹ方向への移動回数をコントローラ３０に出力する。コントローラ３０は、コンピュータ１２からの駆動信号を受けて、これらデータを参照しながら、光源２１の移動制御を実行する。なお、光源２１の移動制御としては、例えば、−Ｘ方向に光源２１を移動させる動作を複数回行い、光源２１をＸ方向の初期位置に戻した後、−Ｙ方向に光源２１を移動させて、再度−Ｘ方向に光源２１を移動させる動作を複数回行う制御や、−Ｘ方向に光源２１を移動させる動作を複数回行った後、Ｙ方向に光源２１を移動させ、Ｘ方向に光源２１を移動させる動作を複数回行う制御などが挙げられる。この光源２１の移動制御に併せて、コントローラ３０は、撮像素子２１を制御し、撮像素子２１における撮像処理を実行させる。
【００３６】
最後に、照明分布データを生成する手順について説明する。ＣＰＵ４１は、メモリ４２に記憶された背景領域の位置データを読み出す。そして、ＣＰＵ４１は、画像メモリ４４に記憶される参照画像データを読み出して、背景領域の位置データに対応する画素の画素値を各参照画像データから抽出する。次に、ＣＰＵ４１は、参照画像データの背景領域を、参照画像データに付帯される光源の位置データと、光源２１のＸ方向への移動量及びＹ方向への移動量とを参照し、配列する。
【００３７】
図３は、光源２１を移動させる前に実行される撮像素子２７における撮像範囲と、照明光の照明範囲とを示す。図３では、照明光の照明範囲６０に対して、撮像素子２７における撮像範囲を枠６１で示している。また、枠６２に囲まれる領域６３が背景領域である。
【００３８】
図３に示す状態を初期状態として、光源２１を−Ｘ方向に移動させると、照明光の照明範囲６０も−Ｘ方向に移動する。この光源２１の−Ｘ方向への移動に対して、被検物３５や撮像素子２７は固定である。図４は、光源２１を−Ｘ方向へ移動させた場合の照明光の照明範囲と、撮像素子２７における撮像範囲及び背景領域との位置関係を示す。なお、図４においては、一点鎖線で囲まれる範囲６１が光源２１を移動させる前の撮像素子２７の撮像範囲、実線で囲まれる範囲６１’が光源２１を−Ｘ方向へ移動させたときの撮像素子２７の撮像範囲である。また、点線で囲まれる領域６３が光源２１を移動させる前の背景領域であり、実線で囲まれる領域６３’が光源２１を−Ｘ方向へ移動させたときの背景領域である。ここで、光源２１の移動に伴って移動する照明範囲６０を基準に考慮すると、光源２１の−Ｘ方向への移動時には、撮像素子２１の撮像範囲６１や背景領域６３はＸ方向に移動していることになる。
【００３９】
なお、光源２１をX方向又はY方向に移動させたときに撮像素子２７により得られる参照画像データは各画素の画素値が輝度値からなる画像データである。このため、光源２１を−Ｘ方向又は−Ｙ方向に、それぞれ複数回移動したときに得られる複数の参照画像データから抽出した背景領域を配列すると、光源２１を固定したときの撮像素子２７の撮像範囲における照明光の照明分布となる。図５においては、枠６５で示される範囲が撮像素子２７の撮像範囲であり、撮像範囲６５に含まれる複数の領域６３が、各参照画像データから抽出される背景領域である。ＣＰＵ４１は、各参照画像データから抽出される背景領域をそれぞれ配列したときの各背景領域内の画素の画素値を１つの画像データとしてまとめることで、照明分布データを生成する。なお、図５においては、光源２１を−Ｘ方向に５回、−Ｙ方向に５回、計２５回、光源２１を移動させた場合を例としている。
【００４０】
次に、観察装置１０により被検物を観察するときに得られる観察画像データに対して画像補正を実行する際の処理の流れを図６のフローチャートに基づいて説明する。
【００４１】
ステップＳ１０１は、参照画像データを取得する処理である。ＣＰＵ４１は、コントローラ３０に向けて、参照画像データを取得するための撮像信号を出力する。これを受けて、コントローラ３０は、撮像素子２７における撮像処理を実行する。これにより、光源２１が初期の位置にあるときの参照画像データが取得される。なお、この参照画像データは、コントローラ３０により、観察ユニット１１からコンピュータ１２に向けて出力される。参照画像データがコンピュータ１２に出力されると、ＣＰＵ４１は、参照画像データを画像メモリ４４に記憶する。この際、ＣＰＵ４１は、光源２１の位置データを参照画像データに付帯する。画像メモリ４４に記憶された参照画像データは、画像処理回路４５により読み出され、画像処理が実行される。画像処理回路４５により画像処理が施された参照画像データは、バッファメモリ４３に一時記憶される。
【００４２】
ステップＳ１０２は、背景領域を設定する処理である。上述したように、ステップＳ１０１の処理により参照画像データが取得されると、得られた参照画像データがコンピュータ１２に出力される。ステップＳ１０２の処理が実行されると、表示制御回路４８は、バッファメモリ４３に一時記憶された画像処理済みの参照画像データを読み出し、表示装置４７に、読み出した参照画像データに基づく参照画像を表示する。参照画像の表示を受けて、ユーザは操作部４９を操作し、参照画像から背景領域を指定する。この操作部４９の操作に基づいて背景領域が指定されると、ＣＰＵ４１は、操作部４９の操作に基づく位置データ（背景領域の位置データ）をメモリ４２に記憶する。これにより、参照画像における背景領域が設定される。
【００４３】
ステップＳ１０３は、光源の移動量及び移動回数を算出する処理である。ステップＳ１０２の処理を実行することで、参照画像における背景領域が設定される。ＣＰＵ４１は、メモリ４２から設定された背景領域の位置データを読み出し、背景領域におけるＸ方向及びＹ方向の各方向における画素数を求める。この背景領域におけるＸ方向及びＹ方向における画素数に基づいて、ＣＰＵ４１は、光源２１のＸ方向への移動量と、Ｙ方向への移動量とを決定する。また、ＣＰＵ４１は、撮像素子２７における撮像範囲におけるＸ方向及びＹ方向の各方向における画素数と、背景領域におけるＸ方向及びＹ方向における画素数とを用いて、光源２１のＸ方向への移動回数と、Ｙ方向への移動回数とを求める。ＣＰＵ４１は、算出された光源の移動量及び移動回数を観察ユニット１１のコントローラ３０に出力する。
【００４４】
ステップＳ１０４は、光源を移動させる処理である。ＣＰＵ４１は、コントローラ３０に向けて駆動信号を出力する。これを受けて、コントローラ３０は、ステップＳ１０３により算出された光源２１の移動量及び移動回数を参照する。そして、コントローラ３０は、光源移動機構２２を駆動させて、ステップＳ１０３にて決定された移動量分、光源２１を移動させる。
【００４５】
ステップＳ１０５は、参照画像データを取得する処理である。ステップＳ１０４の処理が実行されると、光源２１が移動している。コントローラ３０は、撮像素子２７における撮像処理を実行する。これにより、光源２１が初期の位置の位置から所定量移動したときの参照画像データが取得される。コントローラ３０は、取得された参照画像データを、コンピュータ１２に向けて出力する。参照画像データがコンピュータ１２に出力されると、ＣＰＵ４１は、参照画像データを画像メモリ４４に記憶する。この際、ＣＰＵ４１は、光源２１の位置データを参照画像データに付帯する。
【００４６】
ステップＳ１０６は、光源の移動が終了したか否かを判定する処理である。ステップＳ１０３の処理を実行することで、ＣＰＵ４１は、光源２１をＸ方向に移動させる回数と、Ｙ方向に移動させる回数とを算出している。ＣＰＵ４１は、これら回数とから、光源２１の移動回数を算出する。そして、ＣＰＵ４１は、画像メモリ４４に記憶される参照画像データの数をカウントすることで、光源２１の移動が終了したか否かを判定する。画像メモリ４４に記憶される参照画像データの数が、算出された光源２１の移動回数に到達している場合には、ＣＰＵ４１はステップＳ１０６の判定処理をＹｅｓとする。この場合、ステップＳ１０７に進む。なお、このステップＳ１０６の判定処理がＹｅｓとなる場合には、ＣＰＵ４１は、コントローラ３０に向けて、光源２１を初期の位置（ステップＳ１０１における光源２１の位置）に移動させる動作信号を出力する。これを受けて、コントローラ３０は、光源移動機構２２を駆動させて、光源２１を初期の位置に移動させる。
【００４７】
一方、画像メモリ４４に記憶される参照画像データの数が、算出された光源２１の移動回数に到達していない場合には、ＣＰＵ４１はステップＳ１０６の判定処理をＮｏとする。この場合、ステップＳ１０４に戻る。つまり、算出された光源２１の移動回数に到達するまで、光源２１を移動させながら、参照画像データを取得する処理が繰り返し実行される。
【００４８】
ステップＳ１０７は、照明ムラを特定する処理である。ステップＳ１０４及びステップＳ１０５の処理が複数回実行されることで、複数の参照画像データが画像メモリ４４に記憶される。ＣＰＵ４１は、メモリから、背景領域の位置データを読み出す。そして、ＣＰＵ４１は、背景領域の位置データに基づいて、各参照画像データの背景領域に含まれる画素の画素値を抽出する。なお、参照画像データには、光源２１の位置データが付帯されていることから、ＣＰＵ４１は、該光源２１の位置データを参照して、抽出した各参照画像データの背景領域に含まれる画素の画素値を、バッファメモリ４３に配列する。
【００４９】
上述したように、背景領域は、観察対象を含まない領域であることから、この背景領域に含まれる各画素の画素値は、照明光の輝度値を示している。このため、各参照画像データから抽出される背景領域を配列することで、撮像素子２７の撮像範囲を照明する照明光の照明分布（輝度分布）が得られることになる。抽出した各参照画像データの背景領域に含まれる画素の画素値をバッファメモリ４３に配列した後、ＣＰＵ４１は、これら配列される各画素の画素値を１つの画像データとしてまとめる。これにより、照明分布データが生成される。つまり、この照明分布データを生成することで、撮像素子２７の撮像範囲における照明光の照明ムラが特定される。なお、照明分布データは、バッファメモリ４３に記憶される。
【００５０】
ステップＳ１０８は、観察画像データを取得する処理である。このステップＳ１０８の処理が実行されることで、撮像素子２７による撮像が実行され、観察画像データが取得される。なお、この観察画像データは、コントローラ３０からコンピュータ１２に向けて出力される。ＣＰＵ４１は、この観察画像データをバッファメモリ４３に記憶する。
【００５１】
ステップＳ１０９は、観察画像データを補正する処理である。画像補正回路４６は、バッファメモリ４３に記憶される観察画像データ及び照明分布データをそれぞれ読み出す。画像補正回路４６は、照明分布データを用いて観察画像データを補正する。なお、観察画像データの補正としては、観察画像データの各画素の画素値から、照明分布データの各画素の画素値をそれぞれ減算すればよい。これにより、観察画像データに対する補正（シェーディング補正）が実行される。なお、補正済みの観察画像データは、バッファメモリ４３に記憶される。このステップＳ１０９の処理が実行されることで、照明ムラが除去された観察画像データが取得される。
【００５２】
ステップＳ１１０は、画像処理である。画像処理回路４５は、バッファメモリ４３に記憶された補正済みの観察画像データに対して、画像処理を実行する。この画像処理が施された観察画像データは、バッファメモリ４３に書き込まれる。
【００５３】
ステップＳ１１１は、画像を表示する処理である。表示制御回路４８は、バッファメモリ４３に記憶された画像処理済みの観察画像データを読み出し、該観察画像データに基づく観察画像を表示する。なお、表示される観察画像に対して、ユーザは、操作部４９による各種操作を行うことができる。例えば操作部４９の操作が表示装置４７に表示される観察画像を、そのまま記憶する旨の操作であれば、ＣＰＵ４１は、画像処理済みの観察画像データを、ハードディスクドライブやメモリカードなどの図示を省略した記憶媒体に記憶する。また、操作部４９の操作が、表示装置４７に表示される観察画像に対して、細胞の領域を抽出する処理を行う旨の操作であれば、ＣＰＵ４１は、画像処理回路４５に、表示された観察画像の基になる観察画像データに対して例えばハイパスフィルタを用いて、細胞の領域を抽出する処理を実行させればよい。
【００５４】
このように、被検物を観察する直前に複数の参照画像に含まれる背景領域から照明光の照明分布を示すデータを取得することで、細胞観察時における照明光の照明ムラを容易に特定することができる。また、観察視野範囲、言い換えれば撮像範囲に対して被検物が占める領域が大きい場合であっても、撮像範囲に背景領域が含まれているのであれば、背景領域を利用した照明光の照明分布を示すデータを取得することができるので、観察画像データに対して適切なシェーディング補正を行うことができる。
【００５５】
本実施形態では、得られる複数の参照画像データから抽出される各背景領域を配列したときに、配列した全背景領域の大きさが撮像範囲の大きさと一致する場合について説明している。しかしながら、実際には、配列した全背景領域の大きさと撮像範囲とが一致しない場合もある。このように、配列される背景領域全体と撮像範囲とが一致しない場合には、予め、配列される背景領域全体の領域が撮像範囲よりも大きくなるように、参照画像データを取得しておき、各参照画像データから抽出される背景領域を配列したときに、撮像範囲に含まれる画素の画素値を照明分布データとしてまとめることも可能である。
【００５６】
また、この他に、複数回の撮像により得られる複数の参照画像データから抽出される背景領域を配列したときに、配列される背景領域の大きさが、撮像範囲よりも小さくなる場合もある。例えば、照明光の照明分布が球面近似できることを考慮すると、撮像範囲に含まれる画素のうち、背景領域が配置されない箇所に該当する画素の画像値を、複数の背景領域に含まれる画素の画素値を用いた最小二乗法により求めるができる。
【００５７】
本実施形態では、設定された背景領域の幅と同一の長さを光源２１のＸ方向の移動量とし、背景領域の高さと同一の長さを光源２１のＹ方向の移動量としているが、これに限定される必要はなく、背景領域の幅の所定倍の長さを光源２１のＸ方向の移動量、背景領域の高さの所定倍の長さを光源２１のＹ方向の移動量としてもよい。この場合、各参照画像データから得られる背景領域を配列すると、各背景領域が間引いて配列される。この場合も、照明光の照明分布が球面近似できることを考慮すると、配列される各背景領域に含まれる画素の画素値を用いた最小二乗法により、撮像範囲のうち、背景領域が配置されていない領域に含まれる画素の画素値を求めることができる。
【００５８】
本実施形態では、得られる参照画像データを全て取得した後に各参照画像データから背景領域を抽出しているが、これに限定される必要はなく、各参照画像データが取得された直後に背景領域を抽出し、背景領域に基づく画像データをコンピュータ１２に記憶させることも可能である。
【００５９】
本実施形態では、光源２１及び被検物３５の相対位置を変更する例として、光源２１を移動させる場合について説明しているが、これに限定される必要はなく、被検物３５のみを移動させる、或いは、被検物３５及び撮像素子２７を移動させることで、光源２１と被検物３５との相対位置を変更することも可能である。
【００６０】
本実施形態では、観察装置１０を例に取り上げたが、観察ユニット１１を駆動制御するコンピュータ１２が実行する画像補正プログラムの形態であってもよい。この場合、図６に示すフローチャートに示す処理の流れをコンピュータ１２にて実行できるような画像補正プログラムであればよい。なお、この画像補正プログラムは、メモリカード、光学ディスクや磁気ディスクなどの、コンピュータが読み取り可能な記憶媒体に記憶されていることが好ましい。
【符号の説明】
【００６１】
１０…観察装置、１１…観察ユニット、１２…コンピュータ、２１…光源、２２…光源移動機構、２７…撮像素子、４１…ＣＰＵ、４２…メモリ、４４…画像メモリ、４５…画像処理回路、４６…画像補正回路、４７…表示装置、４９…操作部
【特許請求の範囲】
【請求項１】
観察対象を照明する照明光を発光する光源と、
前記照明光により照明される前記観察対象を撮像する撮像素子と、
前記照明光の光軸と直交する面上で前記光源及び前記観察対象の相対位置を変更する移動機構と、
前記光源及び前記観察対象の相対位置を複数回変更したときに、前記撮像素子の撮像により得られる複数の画像の背景領域に基づいて、前記照明光の照明ムラを特定する照明ムラ特定部と、
を備えたことを特徴とする観察装置。
【請求項２】
請求項１に記載の観察装置において、
前記撮像素子は、前記移動機構による前記光源及び前記観察対象の相対位置の変更前に前記撮像を実行することが可能であり、
前記複数の画像は、前記移動機構により前記光源及び前記観察対象の相対位置を複数回変更する前に前記撮像素子の撮像により得られた画像を含むことを特徴とする観察装置。
【請求項３】
請求項１又は請求項２に記載の観察装置において、
前記複数の画像のいずれか１つの画像を用いて、該複数の画像のそれぞれから抽出する前記背景領域の位置を設定する領域設定部を、備え、
前記照明ムラ特定部は、前記領域設定部により設定された前記位置に基づいて、前記複数の画像のそれぞれから前記背景領域を抽出することを特徴とする観察装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の観察装置において、
前記移動機構は、前記光源及び前記観察対象の相対位置を、前記背景領域の幅方向、又は高さ方向の少なくともいずれか１方向に変更することを特徴とする観察装置。
【請求項５】
請求項１から請求項４のいずれか１項に記載の観察装置において、
前記照明ムラ特定部により抽出される前記背景領域に含まれる画素の画素値は、前記観察対象に照射される前記照明光のうち、前記撮像素子の撮像範囲を照明する前記照明光の輝度値からなることを特徴とする観察装置。
【請求項６】
請求項５に記載の観察装置において、
前記照明ムラ特定部は、前記複数の画像のそれぞれから抽出された前記背景領域に含まれる画素の画素値を用いた最小二乗法により、前記照明光の照明ムラを特定することを特徴とする観察装置。
【請求項７】
請求項１から請求項６のいずれか１項に記載の観察装置において、
前記撮像素子は、前記複数の画像の他に、観察用画像を撮像することが可能であり、
前記観察用画像と前記照明光の照明ムラとを用いて、前記観察用画像を補正する画像補正部とを備えていることを特徴とする観察装置。
【請求項８】
観察対象を照明する照明光を発光させる発光工程と、
前記照明光の照明範囲及び前記観察対象の相対位置を、該照明光の光軸と直交する面上で変更する移動工程と、
前記移動工程により前記照明光の照明範囲及び前記観察対象の相対位置を複数回変更させたときに、前記観察対象を撮像する撮像工程と、
前記撮像工程により得られる複数の画像の背景領域に基づいて、前記照明光の照明ムラを特定する照明ムラ特定工程と、
をコンピュータに実行させることが可能な画像補正プログラム。
【請求項１】
観察対象を照明する照明光を発光する光源と、
前記照明光により照明される前記観察対象を撮像する撮像素子と、
前記照明光の光軸と直交する面上で前記光源及び前記観察対象の相対位置を変更する移動機構と、
前記光源及び前記観察対象の相対位置を複数回変更したときに、前記撮像素子の撮像により得られる複数の画像の背景領域に基づいて、前記照明光の照明ムラを特定する照明ムラ特定部と、
を備えたことを特徴とする観察装置。
【請求項２】
請求項１に記載の観察装置において、
前記撮像素子は、前記移動機構による前記光源及び前記観察対象の相対位置の変更前に前記撮像を実行することが可能であり、
前記複数の画像は、前記移動機構により前記光源及び前記観察対象の相対位置を複数回変更する前に前記撮像素子の撮像により得られた画像を含むことを特徴とする観察装置。
【請求項３】
請求項１又は請求項２に記載の観察装置において、
前記複数の画像のいずれか１つの画像を用いて、該複数の画像のそれぞれから抽出する前記背景領域の位置を設定する領域設定部を、備え、
前記照明ムラ特定部は、前記領域設定部により設定された前記位置に基づいて、前記複数の画像のそれぞれから前記背景領域を抽出することを特徴とする観察装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の観察装置において、
前記移動機構は、前記光源及び前記観察対象の相対位置を、前記背景領域の幅方向、又は高さ方向の少なくともいずれか１方向に変更することを特徴とする観察装置。
【請求項５】
請求項１から請求項４のいずれか１項に記載の観察装置において、
前記照明ムラ特定部により抽出される前記背景領域に含まれる画素の画素値は、前記観察対象に照射される前記照明光のうち、前記撮像素子の撮像範囲を照明する前記照明光の輝度値からなることを特徴とする観察装置。
【請求項６】
請求項５に記載の観察装置において、
前記照明ムラ特定部は、前記複数の画像のそれぞれから抽出された前記背景領域に含まれる画素の画素値を用いた最小二乗法により、前記照明光の照明ムラを特定することを特徴とする観察装置。
【請求項７】
請求項１から請求項６のいずれか１項に記載の観察装置において、
前記撮像素子は、前記複数の画像の他に、観察用画像を撮像することが可能であり、
前記観察用画像と前記照明光の照明ムラとを用いて、前記観察用画像を補正する画像補正部とを備えていることを特徴とする観察装置。
【請求項８】
観察対象を照明する照明光を発光させる発光工程と、
前記照明光の照明範囲及び前記観察対象の相対位置を、該照明光の光軸と直交する面上で変更する移動工程と、
前記移動工程により前記照明光の照明範囲及び前記観察対象の相対位置を複数回変更させたときに、前記観察対象を撮像する撮像工程と、
前記撮像工程により得られる複数の画像の背景領域に基づいて、前記照明光の照明ムラを特定する照明ムラ特定工程と、
をコンピュータに実行させることが可能な画像補正プログラム。
【図１】
【図２】
【図６】
【図３】
【図４】
【図５】
【図２】
【図６】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−１６３７９５（Ｐ２０１２−１６３７９５Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１１−２４５９８（Ｐ２０１１−２４５９８）
【出願日】平成２３年２月８日（２０１１．２．８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願日】平成２３年２月８日（２０１１．２．８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]