撮像システム
【課題】撮像素子の試料に対する相対移動の影響を低減化した画像を得る。
【解決手段】顕微鏡用撮像装置１００は撮像素子１０７、ドライバ１０８、画像処理部１１０を有する。撮像素子１０７は撮像画像を撮像する。ドライバ１０８は第１の撮像モードでは第１の撮像を撮像素子１０７に実行させる。ドライバ１０８は第２の撮像モードでは第２の撮像を撮像素子１０７に実行させる。画像処理部１１０は第１の撮像により得られた撮像画像によって相対振動の位相を検出する。相対振動は試料に対する撮像素子の相対的な振動である。画像処理部１１０は検出された位相に基づいて第２の撮像の実行時期を決定する。画像処理部１１０は第２の撮像により撮像素子に生成される画像信号に基づいて観察画像を作成する。
【解決手段】顕微鏡用撮像装置１００は撮像素子１０７、ドライバ１０８、画像処理部１１０を有する。撮像素子１０７は撮像画像を撮像する。ドライバ１０８は第１の撮像モードでは第１の撮像を撮像素子１０７に実行させる。ドライバ１０８は第２の撮像モードでは第２の撮像を撮像素子１０７に実行させる。画像処理部１１０は第１の撮像により得られた撮像画像によって相対振動の位相を検出する。相対振動は試料に対する撮像素子の相対的な振動である。画像処理部１１０は検出された位相に基づいて第２の撮像の実行時期を決定する。画像処理部１１０は第２の撮像により撮像素子に生成される画像信号に基づいて観察画像を作成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像システムに関し、特に、顕微鏡のように、試料に対して固定された位置から試料を観察する観察装置に装着して、試料の画像を撮像する撮像システムに関する。
【背景技術】
【０００２】
光学顕微鏡の結像位置に撮像素子を配置した顕微鏡用電子撮像装置が知られている。顕微鏡用電子撮像装置を用いることにより、対象標本の拡大化画像をモニタに表示して複数の観察者が観察することが可能であり、また、拡大化画像を電子データとして記憶することにより後にモニタに表示して観察することも可能である。
【０００３】
光学顕微鏡の光学系の周波数特性は優れているので、撮像素子の画素を微細化することにより観察する画像の鮮鋭度を向上させることが可能である。しかし、画素の微細化が進むと露光中の試料に対する撮像素子の相対移動の影響が大きくなるので、鮮鋭度の向上効果が打消され得る。それゆえ、鮮鋭度の向上効果を維持するためには、相対移動の影響を低減化することが必要である。
【０００４】
光学顕微鏡では、光学系は鏡筒を介して鏡柱に支持される。鏡柱は、光学系を正確な位置に強固に支持するために、硬性部材により形成される。しかし、固有振動数に応じた微小な振動は発生し得る。
【０００５】
このような微小な振動を抑制するには、鏡柱や鏡台などの機械的強度を高めることが考えられる。しかし、機械的強度を高めることにより、光学顕微鏡の大型化や製造コストが増加していた。
【０００６】
一方、相対移動の影響を低減化するために、撮像素子を変位させながら複数の画像を撮像する電子撮像装置において、撮像素子の変位動作中の露光を停止させることが提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−０１５３４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１の記載においては撮像素子を変位させる変位手段が設けられており、意図的に撮像素子が変位させられる。それゆえ、変位動作中の露光を停止する制御は容易である。一方、固定した撮像素子の微小振動の影響の低減化に適用することは出来ない。
【０００９】
従って、上記のような問題点に鑑みてなされた本発明では、試料及び光学系の一方が支持される観察装置の光学系によって結像される画像において撮像素子の試料に対する相対移動の影響を低減化させる撮像システムの提供を目的とする。
【課題を解決するための手段】
【００１０】
上述した諸課題を解決すべく、本発明による撮像システムは、
試料に対して位置が固定された光学系によって結像される試料の画像を撮像画像として撮像する撮像素子と、
第１の撮像モードでは試料に対する撮像素子の相対的な振動である相対振動の位相を検出するための第１の撮像を撮像素子に実行させ、第１の撮像モードと異なる第２の撮像モードでは試料の観察に用いるための第２の撮像を撮像素子に実行させる撮像素子駆動部と、
第１の撮像により得られた撮像画像によって位相を検出し、検出された位相に基づいて第２の撮像モードにおける第２の撮像の実行時期を決定し、第２の撮像により撮像素子により生成される画像信号に基づいて試料の観察に用いるための観察画像を作成する画像処理部とを備える
ことを特徴とするものである。
【発明の効果】
【００１１】
上記のように構成された本発明に係る撮像システムによれば、第１の撮像により得られた撮像画像により位相が検出され、検出した位相に基づいて最適な時期を第２の撮像の実行時期に定めるので、撮像素子の試料に対する相対移動の影響を低減化させた画像を得ることが可能である。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る撮像システムを適用した顕微鏡用撮像装置を含む顕微鏡システムの概略構成を示す構成図である。
【図２】顕微鏡用撮像装置の内部構成を概略的に示すブロック図である。
【図３】対物レンズの光軸の振動による軌跡を示す図である。
【図４】第１の撮像モード及び第２の撮像モードにおける撮像素子の露光制御とＬＥＤの発光制御を示すタイミングチャートである。
【図５】第１の撮像モード及び第２の撮像モードにおいて撮像に用いる読出し領域を説明するための撮像素子の受光面の平面図である。
【図６】第１の実施形態の画像処理部の内部構成を概略的に示すブロック図である。
【図７】行エッジフィルタと列エッジフィルタを示す図である。
【図８】時間に対するエッジ数の変化の関係を、時間に対する光学顕微鏡固有の振動速度の関係とともに示すグラフである。
【図９】各フレームの第１モード画像信号の生成時期における行方向のエッジ数と列方向のエッジ数の分布図である。
【図１０】時間に対する行方向及び列方向のエッジ数の変化曲線を示すグラフである。
【図１１】位相が互いに１８０度異なる行画像の座標変換を説明するための図である。
【図１２】正及び負の行画像と、正及び負の列画像とに基づいて設定される観察可能領域を説明するための図である。
【図１３】第１の実施形態においてプロセッサにより実行される観察制御を説明するためのフローチャートである。
【図１４】第２の実施形態の画像処理部の内部構成を概略的に示すブロック図である。
【図１５】第２の実施形態においてプロセッサにより実行される観察制御を説明するためのフローチャートである。
【図１６】変形例における行エッジフィルタと列エッジフィルタを示す図である。
【図１７】第１の撮像モードにおいて定められる読出し領域の変形例を説明するための撮像素子の受光面の平面図である。
【発明を実施するための形態】
【００１３】
以下、本発明を適用した撮像システムを適用した顕微鏡用撮像装置の実施形態について、図面を参照して説明する。
【００１４】
図１は、本発明の第１の実施形態に係る撮像システムを適用した顕微鏡用撮像装置を含む顕微鏡システムの概略構成を示す構成図である。
【００１５】
顕微鏡システム１は、顕微鏡用撮像装置１００（撮像システム）、光学顕微鏡２００（観察機器）、及びモニタ２によって構成される。
【００１６】
顕微鏡用撮像装置１００は、撮像ユニット１０１、光源ユニット１０２、及びプロセッサ１０３を含んで構成される。撮像ユニット１０１及び光源ユニット１０２は、後に説明するように光学顕微鏡２００に着脱自在に結合される。
【００１７】
光源ユニット１０２により光学顕微鏡２００の対象標本Ｓ（試料）に照明光が照射される。対象標本Ｓの拡大画像は光学顕微鏡２００によって目視観察可能である。また、撮像ユニット１０１は対象標本Ｓを撮像可能である。撮像した画像はプロセッサ１０３に送信され、所定の画像処理が施される。画像処理の施された画像がモニタ２に表示される。
【００１８】
次に、光学顕微鏡２００の構成について、説明する。光学顕微鏡２００は、ステージ２０１、顕微鏡本体２０２、及び鏡筒２０３（支持体）を含んで構成される。ステージ２０１には、対象標本Ｓ（試料）を載置可能である。顕微鏡本体２０２は側面視略コの字状に形成され、ステージ２０１を支持するとともにレボルバ２０４を介して対物レンズ２０５を保持する。鏡筒２０３は顕微鏡本体２０２の上部に載置される。
【００１９】
レボルバ２０４は顕微鏡本体２０２に対して回動自在に保持され、対物レンズ２０５を対象標本Ｓの上方に配置する。対物レンズ２０５は、レボルバ２０４に対して倍率（観察倍率）の異なる他の対物レンズ２０５とともに交換自在に装着される。レボルバ２０４の回転に応じて観察光の光路上に挿入されることにより、対象標本Ｓの観察に用いる対物レンズ２０５が択一的に切り換えられる。
【００２０】
顕微鏡本体２０２の底部後方に、光源ユニット１０２を着脱自在に結合可能である。顕微鏡本体２０２は、照明光学系２０６を内接している。照明光学系２０６は、コレクタレンズ２０７及び折曲げミラー２０８を含んで構成される。
【００２１】
コレクタレンズ２０７により光源ユニット１０２から射出された照明光が集光される。折り曲げミラー２０８は、照明光の光路を対物レンズ２０５の光軸に沿って偏向させる。光源ユニット１０２から射出された照明光は、照明光学系２０６によって対象標本Ｓに照射され、その透過光が観察光として対物レンズ２０５に入射する。
【００２２】
鏡筒２０３には、対象標本Ｓの標本像を目視観察するための双眼部２０９が取付けられる。また、鏡筒２０３には、撮像ユニット１０１を着脱自在に結合可能である。また、鏡筒２０３は、ビームスプリッタ２１０を内接する。ビームスプリッタ２１０により、観察光の光路が切換えられ、観察光は双眼部２０９または撮像ユニット１０１へ導かれる。
【００２３】
対象標本Ｓの標本像はビームスプリッタ２１０によって双眼部２０９内に導入され、検鏡者に目視観察される。あるいは、標本像はビームスプリッタ２１０によって撮像ユニット１０１に導入され、撮像ユニット１０１により撮像される。
【００２４】
次に、顕微鏡用撮像装置１００の構成について、図２を用いて説明する。前述のように、顕微鏡用撮像装置１００は、撮像ユニット１０１、光源ユニット１０２、及びプロセッサ１０３を含んで構成される。
【００２５】
前述のように、鏡筒２０３は微小に振動する。そこで、後に詳細に説明するように、顕微鏡用撮像装置１００では、微小な振動の観察画像への影響、すなわち、微小振動によるブレを低減化させた画像である観察画像が作成される。
【００２６】
対物レンズ２０５は光学顕微鏡２００の固有振動数に応じた振動により、図３における光軸の変位の軌跡に示すように、行方向（第１の方向）及び列方向（第２の方向）に実質的に固有振動数で振動する。後述するように対物レンズ２０５は撮像ユニット１０１に設けられる撮像素子（図１〜図３に図示せず）に結合される。撮像素子は対物レンズ２０５の光軸と一体的に円状または楕円状に変位する。顕微鏡用撮像装置１００では、２方向の振動における時間と位相の関係を検出し、それぞれの振動の速度が低いときに撮像を行うことにより、特定の方向へのブレの影響の低い画像を撮像可能である。
【００２７】
顕微鏡用撮像装置１００には、振動の位相と時間との関係を検出するための第１の撮像モードと、特定の方向へのブレの影響の低い画像を撮像及び撮像した画像に基づく対象標本Ｓの観察のために観察画像を作成するための第２の撮像モードとが、設けられる。
【００２８】
顕微鏡用撮像装置１００を用いた対象標本Ｓの観察を開始すると、最初に第１の撮像モードにより顕微鏡用撮像装置１００の各部位は制御され、振動の位相と時間との関係が検出される。位相と時間との関係の検出後、第２の撮像モードにより顕微鏡用撮像装置１００の各部位は制御され、対象標本Ｓの観察が可能となる。
【００２９】
光源ユニット１０２には、ＬＥＤ１０４（光源）、ドライバ１０５（光源制御部）が設けられる（図２参照）。ＬＥＤ１０４はドライバ１０５により発光動作が制御される。例えば、ＬＥＤ０１４からの出射光の光量や、発光と消灯の切替がドライバ１０５により制御される。なお、ドライバ１０５は、プロセッサ１０３に設けられるタイミングコントローラ１０６から送信されるクロック信号などに基づいて、ＬＥＤ１０４を制御する。
【００３０】
図４（ａ）に示すように、第１の撮像モードにおいては、撮像ユニット１０１に設けられる撮像素子１０７の露光期間内で、露光期間ｐ１より短い時間ｐ２にＬＥＤ１０４に照明光を出射させる。また、第１の撮像モードにおいては、第２の撮像モードに比べて出射光量が高くなるように、ＬＥＤ１０４は駆動される。
【００３１】
第１の撮像モードでは、ブレの少ない方向と大きな方向とを明確に判別するために、ブレの少ない方向に関しては鮮明な画像が撮影されることが求められる。それゆえ、照明光の出射期間を露光期間より短くすることにより、少なくとも一方向には鮮明な画像が撮像され得る。また、出射時間の短期化による光量不足は、出射光量を高くすることにより補償される。
【００３２】
一方、第２の撮像モードにおいては、図４（ｂ）に示すように、撮像素子１０７の露光期間ｐ３と合致するように、ＬＥＤ１０４に照明光を出射させる（符号“ｐ４”参照）。第２の撮像モードで撮像された画像は観察画像の作成に用いられるので、露光期間中に十分な光量の光によって対象標本Ｓを照明することが求められる。それゆえ、第２の撮像モードにおいては、露光期間中と合致する期間に、ＬＥＤ１０４から照明光が出射される。
【００３３】
撮像ユニット１０１には、ＣＭＯＳ撮像素子１０７、ドライバ１０８（撮像素子駆動部）、及び処理回路１０９が設けられる（図２参照）。撮像ユニット１０１を鏡筒２０３に結合させると、対象標本の標本像はＣＭＯＳ撮像素子１０７の受光面に結像する。ドライバ１０８の制御によりＣＭＯＳ撮像素子１０７は対象標本Ｓの光学像に応じた画像信号を生成する。
【００３４】
なお、ドライバ１０８は、タイミングコントローラ１０６から送信されるクロック信号などに基づいて、ＣＭＯＳ撮像素子１０７の撮像動作を制御する。画像信号は処理回路１０９に送信され、ＣＤＳ／ＳＨ処理やＡ／Ｄ変換処理が施される。Ａ／Ｄ変換処理が施された画像信号は、プロセッサ１０３に送信される。
【００３５】
なお、撮像素子１０７の受光面には、行列状に複数の画素（図示せず）が配置される。画素毎に受光量に応じた電気信号である画素信号が生成される。同じフレームの複数の画素信号により1フレームの画像信号が構成される。
【００３６】
なお、後述するように、第１の撮像モードでは撮像時期毎の位相を検出するために、所定の周期で、複数のフレームの画像が撮像される（図４（ａ）参照）。なお、光学顕微鏡１０７の固有振動数が予め測定されており、固有振動数に相当する周期よりも短い周期が、所定の周期に定められる。
【００３７】
また、第１の撮像モードでは、受光可能な画像全体を撮像する必要は無いので、図５に示すように、撮像素子１０７の受光面ＲＳの中央近傍の一部の領域（符号“ＣＡ”参照）が読出し領域に定められ、読出し領域に結像される画像の画像信号が第１モード画像信号として生成される。
【００３８】
一方、第２の撮像モードでは、後述するように、第１の撮像モードにおいて検出された時間と位相との関係に基づいて定められる撮像時期に、画像が撮像される。なお、第１の撮像モードと異なり、観察画像を作成するために撮像される画像なので、撮像素子１０７の受光面ＲＳ全体が読出し領域に定められ、読出し領域に結像される画像の画像信号が第２モード画像信号として生成される。
【００３９】
プロセッサ１０３には、タイミングコントローラ１０６、画像処理部１１０、及びシステムコントローラ１１１などが設けられる（図２参照）。
【００４０】
前述のように、タイミングコントローラ１０６は、ドライバ１０５及びドライバ１０８にクロック信号などの時間の基準信号、及び動作のタイミングの制御に必要な信号を送信する。また、タイミングコントローラ１０６は、画像処理部１１０にも、クロック信号などの時間の基準信号及び動作のタイミングの制御に必要な信号を送信する。
【００４１】
撮像ユニット１０１から送信される第１モード画像信号及び第２モード画像信号は画像処理部１１０に入力される。画像処理部１１０は、第１モード画像信号により、第２の撮像モードにおける画像の撮像時期を決定する。また、画像処理部１１０は、第２モード画像信号により観察画像信号を生成する。観察画像処理の施された画像信号はモニタ２に送信される。
【００４２】
なお、画像処理部１１０は、後述するように、処理ごとに特化した専用のプロセッサ（例えばＤＳＰ（デジタルシグナルプロセッサ））によって構成されるが、ＣＰＵ（中央処理装置）等の任意の好適なプロセッサ上で実行されるソフトウェアとして構成することもできる。
【００４３】
タイミングコントローラ１０６及び画像処理部１１０における様々な動作は、システムコントローラ１１１によって制御される。また、システムコントローラ１１１は顕微鏡用撮像装置１００の各部位の制御を行う。システムコントローラ１１１には、キーボード１１２やマウス（図示せず）などの入力部が接続される。使用者によるコマンド操作が入力部に入力されると、入力されたコマンドに応じてシステムコントローラ１１１は各部位を制御する。
【００４４】
次に、画像処理部１１０によって実行される画像処理について、図６を用いて画像処理部１１０の構成とともに説明する。図６は、画像処理部１１０の内部構成を概略的に示すブロック図である。画像処理部１１０は、前段信号処理部１１３、行エッジフィルタ１１４、列エッジフィルタ１１５、判別部１１６、ＳＤＲＡＭ１１７、位相検出部１１８、時期決定部１１９、合成部１２０、及び後段信号処理部１２１を含んで構成される。
【００４５】
処理回路１０９から送信される第１モード画像信号及び第２モード画像信号は前段信号処理部１１３に入力される。前段信号処理部１１３では、補間処理などの所定の前段信号処理が画像信号に施される。
【００４６】
前段信号処理部１１３において前段信号処理の施された第１モード画像信号は、行エッジフィルタ１１４及び列エッジフィルタ１１５に送信される。
【００４７】
行エッジフィルタ１１４は図７（ａ）に示すフィルタと２値化回路（図示せず）とを有しており、フィルタ後の画素値が閾値を越えるときに１が出力され、閾値以下であるときに０が出力される（エッジ変数）。したがって、行エッジフィルタ１１４の出力が１である画素は、行方向にエッジを有した画素とみなせる。
【００４８】
一方、列エッジフィルタ１１５は図７（ｂ）に示すフィルタと２値化回路（図示せず）とを有しており、フィルタ後の画素値が閾値を越えるときに１が出力され、閾値以下であるときに０が出力される（エッジ変数）。したがって、列エッジフィルタ１１５の出力が１である画素は、列方向にエッジを有した画素とみなせる。
【００４９】
行エッジフィルタ１１４及び列エッジフィルタ１１５の出力は、判別部１１６に入力される（図６参照）。判別部１１６では、行エッジフィルタ１１４の出力が１である画素数及び列エッジフィルタ１１５の出力が１である画素数が、それぞれ行方向のエッジ数（第１の判別数）及び列方向のエッジ数（第２の判別数）としてカウントされる。
【００５０】
１フレームの第１モード画像信号を構成する全画素に対する行エッジフィルタ１１４と列エッジフィルタ１１５の出力に基づくカウントが終了すると、行方向及び列方向のエッジ数が第１モード画像信号の生成時期と組合わされて、ＳＤＲＡＭ１１７に格納される。
【００５１】
第１撮像モードでは、例えば２０回の撮像が実行され、２０フレームの第１モード画像信号が生成される。生成された第１モード画像信号は、フレーム毎に行方向及び列方向のエッジ数がカウントされ、ＳＤＲＡＭ１１７に格納される。２０フレームの第１モード画像信号に対するエッジ数が格納されると、位相検出部１１８により行方向及び列方向別の振動の位相と時間との関係が検出される。
【００５２】
図３における対物レンズ２０５の円運動において、行方向の振動速度（第１の方向の速度）が大きくなるほど行方向のブレが大きくなるので、行方向のエッジ数は減少する。一方、列方向の振動速度（第２の方向の速度）が大きくなるほど列方向のブレが大きくなるので、列方向のエッジ数は減少する。また、行方向及び列方向の振動速度の絶対値が同じ時には、それぞれ行方向及び列方向のエッジ数は同じになると考えられる。
【００５３】
それゆえ、時間に対する特定の方向のエッジ数の変化は、山型の波を光学顕微鏡２００の固有の振動周期の１／２の周期で繰返す波形である。なお、図８に示すように、時間に対するエッジ数の変化は光学顕微鏡２００に固有な振動の振動速度の変化に対して、位相が９０度異なっている。
【００５４】
したがって、光学顕微鏡２００に固有な振動の振動速度の時間に対する変化に基づいて、時間に対するエッジ数の変化が算出され、ＥＥＰＲＯＭ（図示せず）に予め記憶される。なお、ＥＥＰＲＯＭには時間に対するエッジ数の変化曲線が記憶されるが、現在時間における振動と位相は一致していない。
【００５５】
位相検出部１０８では、第１〜第２０フレームの第１モード画像信号の生成時期に対する行方向及び列方向のエッジ数の分布が、図９に示す分布図に描かれる。また、図８に示すエッジ数の時間変化曲線がＥＥＰＲＯＭから読出される。
【００５６】
位相検出部１０８では、行方向のエッジ数が図８の時間に対するエッジ数の変化の曲線上に重なるように、エッジ数の変化曲線の位相が合わせられる。また、同様に、列方向のエッジ数が図８の時間に対するエッジ数の変化の曲線上に重なるように、変化曲線の位相が合わせられる。
【００５７】
位相を合わせることにより、図１０に示すように、行方向のエッジ数の変化曲線（符号“ＣＲ”参照）と列方向のエッジ数の変化曲線（符号“ＣＣ”参照）とが描かれる。エッジ数の変化曲線を描くことにより、現在を含む各時期の行方向及び列方向の振動の位相が求められる。
【００５８】
行方向及び列方向のエッジ数の変化曲線は、時期決定部１１９に送信される。時期決定部１１９では、受信したエッジ数の変化曲線に基づいて、第２の撮像モードにおける撮像実行の時期が決定される。
【００５９】
第２の撮像モードにおける撮像実行の時期は、図１０のエッジ数の変化曲線におけるエッジ数が極大となる時期に定められる。なお、行方向のエッジ数は図３における行方向の両端部ＲＥ付近においてエッジ数が極大になる。また、列方向のエッジ数は図３における列方向の両端部ＣＥ付近においてエッジ数が極大になる。したがって、図３における円運動の行方向及び列方向の端部において撮像が実行される。決定した撮像時期はシステムコントローラ１１１に伝達される。
【００６０】
第２の撮像モードにおける撮像実行の時期が定められると、第１の撮像モードを終了して、第２の撮像モードに切替えられる。第２の撮像モードでは、前述のように定められた時期に撮像動作が実行され、第２モード画像信号が生成される。前述のように、振動の行方向の両端部及び列方向の両端部において第２モード画像信号が生成される。なお、行方向の両端部で生成された第２モード画像信号は行画像信号に定められ、列方向の両端部で生成された第２モード画像信号は列画像信号に定められる。
【００６１】
前述のように、第２モード画像信号は前段信号処理部１１３に入力され（図６参照）、所定の前段信号処理が施される。前段信号処理の施された第２モード画像信号は、行エッジフィルタ１１４、列エッジフィルタ１１５、及び判別部１１６に送信される。
【００６２】
行エッジフィルタ１１４及び列エッジフィルタ１１５によって、各画素における行方向及び列方向のエッジの有無が検出され、判別部１１６に送信される。判別部１１６には、前述のように第２モード画像信号も入力される。以下に説明するように、判別部１１６では後の画像合成に用いる混合比率が、行方向及び列方向のエッジの有無と、第２モード画像信号に基づいて算出される。
【００６３】
判別部１１６では、振動の位相が１８０度異なる行画像信号に対してパターンマッチングが行われる。通常、位相が１８０度異なる２つの行画像において、同じ光学像が行方向にずれて表示される。パターンマッチングにより同じであると判別された光学像の２つの行画像における座標が、判別部１１６によって別々に検出される。さらに、２つの行画像それぞれにおいて検出された座標の大小を比較することにより、何れの行画像が対象標本Ｓから正及び負の行方向に変位しているかが判別される。また、座標の差に基づいて、それぞれの行画像の振動中心からの変位量Δｘが算出される。
【００６４】
次に、判別部１１６では、行画像信号に画像変換が施される。１８０度位相が異なる行画像は、光学像に対して撮像位置が異なっている。すなわち、それぞれの画像座標系で表される同じ光学像の座標は異なっている。それゆえ、画像変換により、２つの行画像の画像座標系が、振動中心を原点とする座標系に変換される。
【００６５】
例えば、正の行方向にずれた画像（図１１（ａ）参照）の画像座標は、正の行方向に変位量Δｘ変位させるように座標変換が行われる（図１１（ｃ）実線参照）。正の行方向への座標変換により正の行画像が作成される。
【００６６】
同様に、負の行方向にずれた画像（図１１（ｂ）参照）の画像座標は、負の行方向に変位量−Δｘ変位させるように座標変換が行われる（図１１（ｃ）点線参照）。負の行方向への座標変換により負の行画像が作成される。
【００６７】
同様に、判別部１１６では振動の位相が１８０度異なる列画像信号に対してパターンマッチングを行い、両画像の列方向に沿った変位方向及び変位量が判別される。また、判別結果に基づいて、両列画像信号に相当する２つの列画像の座標変換が行われる。座標変換により、正の列画像及び負の列画像が作成される。
【００６８】
正及び負の行画像と、正及び負の列画像を作成すると、判別部１１６は、次に説明するように、観察可能領域を設定する。図１２に示すように、正の行画像ＰＲＩ（実線参照）、負の行画像ＮＲＩ（点線参照）、正の列画像ＰＣＩ（２点差線参照）、及び負の列画像ＮＣＩ（破線参照）が重複する領域（斜線部位参照）が観察可能領域ＯＡに設定される。なお、観察可能領域とは、観察画像が形成される領域である。
【００６９】
４画像それぞれの観察画像領域ＯＡが、ｎ行ｎ列の画素によって構成される小領域（図示せず）に分割される。判別部１１６では、小領域内に含まれる画素の行方向のエッジ数と列方向のエッジ数とが、別々に且つ正の行画像ＰＲＩ、負の行画像ＮＲＩ、正の列画像ＰＣＩ、及び負の列画像ＮＲＩ毎にカウントされる。
【００７０】
同じ小領域に対して４画像別々に算出された行方向のエッジ数が合計され、行合計エッジ数Ｅｒが小領域毎に算出される。また、同じ小領域に対して、４画像別々に算出された列方向のエッジ数が合計され、列合計エッジ数Ｅｃが小領域毎に算出される。
【００７１】
算出された小領域毎の行合計エッジ数Ｅｒ及び列合計エッジ数Ｅｃが、正の行画像ＰＲＩ、負の行画像ＮＲＩ、正の列画像ＰＣＩ、及び負の列画ＮＣＩ像とともに、判別部１１６から合成部１２０に伝達される。合成部１２０では、行合計エッジ数Ｅｒ、列合計エッジ数Ｅｃ、正の行画像ＰＲＩ、負の行画像ＮＲＩ、正の列画像ＰＣＩ、及び負の列画像ＮＣＩに基づいて、観察可能領域ＯＡに対応する観察画像が合成される。
【００７２】
観察画像は、観察画像を構成する画素を作成することにより合成される。観察画像を構成する画素の画素信号である観察画素信号は、行画像ＰＲＩ、ＮＲＩ及び列画像ＰＣＩ、ＮＣＩにおける同一の画素に対応する画素信号を加重平均することにより生成される。加重平均に用いる重み付け係数は、行合計エッジ数Ｅｒ及び列合計エッジ数Ｅｃに基づいて算出される。以下に画素信号の加重平均について説明する。
【００７３】
観察画像を構成する各画素に対応する小領域の行合計エッジ数Ｅｒ及び列合計エッジ数Ｅｃが、当該観察画素信号の算出に用いられる。正の行画像ＰＲＩ、負の行画像ＮＲＩ、正の列画像ＰＣＩ、及び負の列画像ＮＣＩにおいて対応する画素の画素信号を、それぞれＰＳｐｒ、ＰＳｎｒ、ＰＳｐｃ、ＰＳｎｃとすると、観察画素信号は、（（Ｅｒ／２×（Ｅｒ＋Ｅｃ））×（ＰＳｐｒ＋ＰＳｎｒ）＋（Ｅｃ／２×（Ｅｒ＋Ｅｃ））×（ＰＳｐｃ＋ＰＳｎｃ））を算出することにより、生成される。
【００７４】
全観察画素信号を生成すると、全観察画素信号は観察画像信号として、後段信号処理部１２１に送信される。後段信号処理部１２１では、観察画像信号に対して輪郭強調処理やホワイトバランス処理等の所定の後段信号処理が施される。後段信号処理の施された観察画像信号はモニタ２に送信される。モニタ２には、受信した観察画像信号に相当する観察画像が表示される。
【００７５】
対象標本Ｓの観察時に、プロセッサ１０３により実行される観察制御について、図１３のフローチャートを用いて説明する。なお、観察制御は、撮像ユニット１０１を鏡筒２０３に結合して、入力部に対象標本観察の操作指令が入力されるときに開始する。また、観察を終了する操作指令が入力されるとき、または顕微鏡用撮像装置１００の電源がＯＦＦになるときに、観察制御は終了する。
【００７６】
ステップＳ１０１において、プロセッサ１０３は第１の撮像モードに応じて定められたＬＥＤ１０４の発光量、ＬＥＤ１０４の発光時期、撮像素子１０７の露光時期、撮像素子１０７の読出し領域でＬＥＤ１０４の発光及び撮像素子１０７による撮像を実行させる。第１の撮像モードによるＬＥＤ１０４及び撮像素子１０７の制御を始めると、ステップＳ１０２に進む。
【００７７】
ステップＳ１０２では、プロセッサ１０３はステップＳ１０１における撮像により得られる第１モード画像信号における行方向及び列方向のエッジの有無を検出する。エッジの有無は第１モード画像信号を構成する全画素信号に対して行われ、行方向のエッジ数と列方向のエッジ数とをカウントする。全画素のエッジの有無を検出し、エッジ数のカウントを終えると、ステップＳ１０３に進む。
【００７８】
ステップＳ１０３では、プロセッサ１０３は行方向のエッジ数及び列方向のエッジ数を、当該第１モード画像信号の生成時期とともにＳＤＲＡＭ１１７に記憶させる。ＳＤＲＡＭ１１７に記憶すると、ステップＳ１０４に進む。
【００７９】
ステップＳ１０４では、プロセッサ１０３は２０フレームの第１モード画像信号に対応するエッジ数が記憶されているか否かを判別する。２０フレームの第１モード画像信号に対応するエッジ数が格納されていないときには、ステップＳ１０２に戻り、次のフレームの第１モード画像信号に対してエッジの検出（Ｓ１０２）及びＳＤＲＡＭ１１７への記憶（Ｓ１０３）を繰返す。ステップＳ１０４において、２０フレームの第１モード画像信号に対応するエッジ数が格納されているときには、ステップＳ１０５に進む。
【００８０】
ステップＳ１０５では、プロセッサ１０３はＳＤＲＡＭ１１７に記憶された時間とエッジ数の関係及びＥＥＰＲＯＭに格納された時間に対するエッジ数の変化曲線とに基づいて、現在時間に対するエッジ数の変化の関係を検出する。変化関係を検出すると、ステップＳ１０６に進む。
【００８１】
ステップＳ１０６では、プロセッサ１０３はステップＳ１０５において検出した時間とエッジ数の変化の関係に基づいて、第２の撮像モードにおける撮像実行時期を決定する。撮像実行時期を決定すると、ステップＳ１０７に進む。
【００８２】
ステップＳ１０７では、プロセッサ１０３は第２の撮像モードに応じて定められたＬＥＤ１０４の発光量、ＬＥＤ１０４の発光時期、撮像素子１０７の露光時期、撮像素子１０７の読出し領域で、ＬＥＤ１０４の発光及び撮像素子１０７による撮像を実行させる。第２の撮像モードによるＬＥＤ１０４及び撮像素子１０７の制御を始めると、ステップＳ１０８に進む。
【００８３】
ステップＳ１０８では、プロセッサ１０３は連続する４フレームの撮像を終了しているか否かを判別する。４フレームの撮像を終了していないときには、終了するまでステップＳ１０８を繰返す。４フレームの撮像を終了しているときには、ステップＳ１０９に進む。
【００８４】
ステップＳ１０９では、プロセッサ１０３は４フレームの第２モード画像信号それぞれにおける行方向及び列方向のエッジの有無を検出する。エッジの有無は第２モード画像信号を構成する全画素信号に対して行われる。全画素の行方向及び列方向のエッジの有無を検出すると、ステップＳ１１０に進む。
【００８５】
ステップＳ１１０では、プロセッサ１０３は、４フレームの第２モード画像信号に対してパターンマッチングを利用して、それぞれの第２モード画像信号の生成位置が振動中心から正の行方向、負の行方向、正の列方向、及び負の列方向の何れの方向にずれた位置であるかを判別する。生成位置を判別すると、ステップＳ１１１に進む。
【００８６】
ステップＳ１１１では、プロセッサ１０３は４フレームの第２モード画像信号に座標変換を施すことにより正の行画像ＰＲＩ、負の行画像ＮＲＩ、正の列画像ＰＣＩ、及び負の列画ＮＣＩ像を作成する。座標変換を実行すると、ステップＳ１１２に進む。
【００８７】
ステップＳ１１２では、プロセッサ１０３は小領域に含められる全画素の行方向及び列方向のエッジ数をカウントして行合計エッジ数Ｅｒ及び列合計エッジ数Ｅｃを算出する。行合計エッジ数Ｅｒ及び列合計エッジ数Ｅｃを、全小領域に対して算出すると、ステップＳ１１３に進む。
【００８８】
ステップＳ１１３では、プロセッサ１０３はステップＳ１１１で作成した正の行画像ＰＲＩ、負の行画像ＮＲＩ、正の列画像ＰＣＩ、及び負の列画像ＮＣＩと、ステップＳ１１２で算出した行合計エッジ数Ｅｒ及び列合計エッジ数Ｅｃとに基づいて観察画像を作成する。観察画像を作成すると、観察画像信号をモニタ２に送信して、表示させる。１フレームの観察画像を作成すると、ステップ１０８に戻る。
【００８９】
以上のような構成の第１の実施形態の撮像システムによれば、第１の撮像モードにおいて撮像した画像に基づいて対象標本に対する撮像素子１０７の相対振動の位相を検出可能である。さらに、検出した位相に基づいて、行方向に沿った振動速度の絶対値が最小となる時期及び列方向に沿った振動速度の絶対値が最小となる時期が判明する。また、第２の撮像モードにおいては、いずれかの方向の振動速度の絶対値が最小となる時期に画像が撮像され、撮像した画像に基づいて観察画像が作成される。このような構成により、観察画像における振動によるブレの影響を低減化可能である。
【００９０】
また、第１の実施形態によれば、第１の撮像モードにおいて撮像素子１０７の対象標本Ｓに対する相対速度に応じて撮像した画像に含まれるエッジ数が減少することを利用し、撮像した画像全体の行方向及び列方向のエッジ数を検出することにより、現在時間と位相との関係を、速度センサなどを用いることなく検出可能である。
【００９１】
また、第１の実施形態によれば、第２の撮像モードにおいて行合計エッジ数と列合計エッジ数の比較によって行方向及び列方向の何れの方向が鮮明に表示すべき方向であるかを判別可能である。鮮明に表示すべき方向を判別することにより、鮮明な観察画像を作成するために行方向に鮮明な画像及び列方向に鮮明な画像をより適切に用いることが可能になる。
【００９２】
また、第１の実施形態によれば、第２の撮像モードにおいて、行合計エッジ数と列合計エッジ数とに応じて、行画像と列画像との画素信号に乗じられる重み付けが変えられる。重み付けを変えた加重平均値を算出することにより、行方向または列方向のいずれかのエッジが多い標本試料だけでなく、両方向のエッジが同じ位である標本資料や、両方向のエッジの一方がやや多い標本試料などに対して鮮明な観察画像を作成可能である。
【００９３】
また、第１の実施形態によれば、行合計エッジ数の算出に行画像及び列画像における行方向のエッジ数が平均化され、列合計エッジ数の算出に行画像及び列画像における列方向のエッジ数が平均化されるので、実際の対象標本Ｓのエッジをより正確に検出可能である。実際の対象標本Ｓにおいて行方向及び列方向のエッジの数が同じであった場合でも、例えば行画像においては列方向のブレが大きいので列方向のエッジ数が行方向のエッジ数より少なく検出される可能性が大きい。それゆえ、前述のように、行画像と列画像において検出されるエッジ数を平均化することにより、エッジをより正確に検出可能である。
【００９４】
また、第１の実施形態によれば、行画像信号及び列画像信号に座標変換が施されるので、実際の対象標本Ｓのエッジをより正確に検出可能で、またより鮮明な観察画像を作成可能となる。座標変換前の正の行画像、負の行画像、正の列画像、及び負の列画像においては、同じ光学像が振動により異なる位置に形成される。それゆえ、座標変換をしなければ、エッジの検出精度が低下し、また観察画像にもボケが発生し得る。しかし、前述のように座標変換を施すことにより、検出精度の低下やボケの発生を抑制することが可能である。
【００９５】
次に本発明の第２の実施形態に係る撮像システムについて説明する。第２の実施形態では、エッジの検出方法が第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第２の実施形態について説明する。なお、第１の実施形態と同じ機能および構成を有する部位には同じ符号を付す。
【００９６】
第２の実施形態において、光学顕微鏡２００及びモニタ２の構成及び機能は第１の実施形態と同じである。また、第２の実施形態において、画像処理部以外の顕微鏡用撮像装置の各部位の構成及び機能は第１の実施形態と同じである。
【００９７】
図１４に示すように、画像処理部１１００は、前段信号処理部１１３、行エッジフィルタ１１４０、列エッジフィルタ１１５０、判別部１１６０、ＳＤＲＡＭ１１７、位相検出部１１８、時期決定部１１９、合成部１２００、及び後段信号処理部１２１を含んで構成される。
【００９８】
前段信号処理部１１３、時期決定部１１９、後段信号処理部１２１の構成及び機能は第１の実施形態と同じである。したがって、第１モード画像信号は前段信号処理部１１３において第１モード画像信号に前段信号処理が施され、行エッジフィルタ１１４０及び列エッジフィルタ１１５０に送信される。
【００９９】
第１の実施形態と異なり、行エッジフィルタ１１４０は図７（ａ）に示すフィルタのみを有しており、２値化回路は設けられない。したがって、注目画素の画素信号の強度と注目画素に行方向に隣接する画素の画素信号の強度の差分がエッジ量として出力される。したがって、エッジ量が大きくなる程、より鮮明なエッジが受光されていると考えられる。
【０１００】
また、第１の実施形態と異なり、列エッジフィルタ１１５０は図７（ｂ）に示すフィルタのみを有しており、２値化回路は設けられない。したがって、注目画素の画素信号の強度と注目画素に列方向に隣接する画素の画素信号の強度の差分がエッジ量（エッジ変数）として出力される。
【０１０１】
第１の実施形態と同様に、行エッジフィルタ１１４０及び列エッジフィルタ１１５０の出力は、判別部１１６０に出力される（図１４参照）。判別部１１６０では、行エッジフィルタ１１４０から出力される各画素の行方向のエッジ量と、列エッジフィルタ１１５０から出力される各画素の列方向のエッジ量とが別々に合計され、画像行エッジ量（第１の判別数）と画像列エッジ量（第２の判別数）とが算出される。算出された画像行エッジ量と画像列エッジ量とは第１モード画像信号の生成時期と組合されて、ＳＤＲＡＭ１１７に格納される。
【０１０２】
第１の実施形態と同様に、第１撮像モードでは、例えば２０回の撮像が実行され、２０フレームの第１モード画像信号が生成される。生成された第１モード画像信号毎に画像行エッジ量及び画像列エッジ量が算出され、ＳＤＲＡＭ１１７に格納される。２０フレームの第１モード画像信号に対する画像行エッジ量及び画像列エッジ量が格納されると、第１の実施形態と同様に、位相検出部１１８が動作する。
【０１０３】
第１の実施形態におけるエッジ数の変化と同様に、行方向の振動速度が大きくなるほど、画像行エッジ量は減少する。一方、列方向の振動速度が大きくなるほど、画像列エッジ量は減少する。
【０１０４】
また、第１の実施形態と同様に、光学顕微鏡２００に固有な振動の振動速度の時間に対する変化に基づいて、時間に対する画像行エッジ量及び画像列エッジ量の変化が算出され、ＥＥＰＲＯＭに予め記憶される。
【０１０５】
位相検出部１１８では、第１〜第２０のフレームの第１モード画像信号の生成時期に対する画像行エッジ量及び画像列エッジ量の分布が、第１の実施形態と同様に描かれる。また、画像行エッジ量及び画像列エッジ量の時間変化曲線がＥＥＰＲＯＭから読出される。
【０１０６】
位相検出部１１８では、画像行エッジ量が時間に対する画像行エッジ量の変化の曲線上に重なるように、変化曲線の位相が合わせられる。また、同様に、画像列エッジ量が時間に対する画像列エッジ量の変化の曲線上に重なるように、変化曲線の位相が合わせられる。
【０１０７】
位相を合わせることにより、第１の実施形態と同様に、画像行エッジ量の変化曲線と画像列エッジ量の変化曲線とが描かれる。画像行エッジ量及び画像列エッジ量の変化曲線を描くことにより、現在を含む各時期の行方向及び列方向の振動の位相が求められる。
【０１０８】
画像行エッジ量及び画像列エッジ量の変化曲線は、時期決定部１１９に送信される。時期決定部１１９では、受信した画像行エッジ量及び画像列エッジ量の変化曲線に基づいて、第２の撮像モードにおける撮像実行の時期が決定される。第２の撮像モードにおける撮像実行の時期は、画像行エッジ量及び画像列エッジ量がそれぞれ極大となる時期に定められる。決定した撮像時期はシステムコントローラ１１１に伝達される。
【０１０９】
第２の撮像モードにおける撮像実行の時期が定められると、第１の撮像モードを終了して、第２の撮像モードに切替えられる。第２の撮像モードでは、第１の実施形態と同様に、行方向の両端部及び列方向の両端部で撮像が実行され、第２モード画像信号が生成される。第１の実施形態と同様に、行方向の両端部及び列方向の両端部で生成された第２モード画像信号は行画像信号及び列画像信号に定められる。
【０１１０】
前述のように、第２モード画像信号は前段信号処理部１１３に入力され、所定の前段信号処理が施される。前段信号処理の施された第２モード画像信号は、行エッジフィルタ１１４０、列エッジフィルタ１１５０、及び判別部１１６０に送信される。
【０１１１】
行エッジフィルタ１１４０及び列エッジフィルタ１１５０によって、各画素における行方向及び列方向のエッジ量が算出され、判別部１１６０に送信される。判別部１１６０には、前述のように第２モード画像信号も入力される。以下に説明するように、判別部１１６０では後の画像合成に用いる混合比率が、行方向及び列方向のエッジの有無と、第２モード画像信号に基づいて算出される。
【０１１２】
判別部１１６０では、第１の実施形態と同様に、振動の位相が１８０度異なる行画像信号に対してパターンマッチングが行われる。また、振動の位相が１８０度異なる列画像信号に対してパターンマッチングが行われる。また、判別部１１６０では、第１の実施形態と同様に、行画像信号及び列画像信号に画像変換が施され、正及び負の行画像と、正及び負の列画像とが作成される。第１の実施形態と同様に、判別部１１６０は、正及び負の行画像と、正及び負の列画像とに基づいて、観察可能領域を設定する。
【０１１３】
第１の実施形態と異なり、判別部１１６０では、正及び負の行画像と正及び負の列画像とにおける同一の画素毎に算出された行エッジ量が合計され、行エッジ合計量が算出される。また、正及び負の行画像と正及び負の列画像とにおける同一の画素毎に算出された列エッジ量が合計され、列エッジ合計量が算出される。なお、行エッジ合計量及び列エッジ合計量は、観察可能領域内に配置される画素に対して、算出される。
【０１１４】
算出された画素毎の行エッジ合計量Ｅｓｒ及び列エッジ合計両Ｅｓｃが、正及び負の行画像と、正及び負の列画像とともに、判別部１１６０から合成部１２００に伝達される。合成部１２００では、行エッジ合計量Ｅｓｒ、列エッジ合計量Ｅｓｃ、正及び負の行画像、及び正及び負の列画像に基づいて、観察可能領域ＯＡに対応する観察画像が合成される。
【０１１５】
第１の実施形態と同様に、正及び負の行画像と、正及び負の列画像とにおける同一の画素に対応する画素信号を加重平均することにより、観察画像を構成する観察画素信号が生成される。加重平均に用いる重み付け係数は行エッジ合計量Ｅｓｒと列エッジ合計量Ｅｓｃとに基づいて算出される。以下に画素信号の加重平均について説明する。
【０１１６】
正の行画像、負の行画像、正の列画像、及び負の列画像において対応する画素の画素信号を、それぞれＰＳｐｒ、ＰＳｎｒ、ＰＳｐｃ、ＰＳｎｃとすると、観察画素信号は、（（Ｅｓｒ／２×（Ｅｓｒ＋Ｅｓｃ））×（ＰＳｐｒ＋ＰＳｎｒ）＋（Ｅｓｃ／２×（Ｅｓｒ＋Ｅｓｃ））×（ＰＳｐｃ＋ＰＳｎｃ））を算出することにより、生成される。
【０１１７】
第１の実施形態と同様に、全観察画素信号を生成すると、全観察画素信号は観察画像信号として、後段信号処理部１２１に送信される。後段信号処理部１２１において、第１の実施形態と同じく、所定の後段信号処理が施され、モニタ２に送信される。
【０１１８】
次に、第２の実施形態において、対象標本Ｓの観察時に、プロセッサ１０３により実行される観察制御について、図１５のフローチャートを用いて説明する。なお、観察制御の開始条件と終了条件とは第１の実施形態と同じである。
【０１１９】
ステップＳ２０１では、第１の実施形態におけるステップＳ１０１と同じ処理を実行して、ステップＳ２０２に進む。
【０１２０】
ステップＳ２０２では、プロセッサ１０３はステップＳ２０１における撮像により得られる第１モード画像信号における行方向及び列方向のエッジ量を算出する。第１モード画像信号を構成する全画素信号に対して算出された行方向のエッジ量及び列方向のエッジ量が別々に合計され、画像行エッジ量及び画像列エッジ量が算出される。画像行エッジ量及び画像列エッジ量の算出を終えると、ステップＳ２０３に進む。
【０１２１】
ステップＳ２０３では、プロセッサ１０３は画像行エッジ両及び画像列エッジ量を、当該第１モード画像信号の生成時期とともにＳＤＲＡＭ１１７に記憶させる。ＳＤＲＡＭ１１７に記憶すると、ステップＳ２０４に進む。
【０１２２】
ステップＳ２０４では、プロセッサ２０３は２０フレームの第１モード画像信号に対応する画像行エッジ量及び画像列エッジ量が記憶されているか否かを判別する。２０フレームの第１モード画像信号に対応する画像行エッジ量及び画像列エッジ量が格納されていないときには、ステップＳ２０２に戻り、次のフレームの第１モード画像信号に対してエッジ量の算出（Ｓ２０２）及びＳＤＲＡＭ１１７への記憶（Ｓ２０３）を繰返す。ステップＳ２０４において、２０フレームの第１モード画像信号に対応する画像行エッジ量及び画像列エッジ量が格納されているときには、ステップＳ２０５に進む。
【０１２３】
ステップＳ２０５では、プロセッサ１０３はＳＤＲＡＭ１１７に記憶された時間と画像業エッジ量及び画像列エッジ量の関係及びＥＥＰＲＯＭに格納された時間に対する画像行エッジ量及び画像列エッジ量の変化曲線とに基づいて、現在時間に対する画像行エッジ量及び画像列エッジ量の変化の関係を検出する。変化関係を検出すると、ステップＳ２０６に進む。
【０１２４】
ステップＳ２０６では、プロセッサ１０３はステップＳ２０５において検出した時間と画像行エッジ量及び画像列エッジ量の変化の関係に基づいて、第２の撮像モードにおける撮像実行時期を決定する。撮像実行時期を決定すると、ステップＳ２０７に進む。
【０１２５】
ステップＳ２０７，２０８では、第１の実施形態におけるステップＳ１０７、Ｓ１０８と同じ処理を実行する。ステップＳ２０８の処理の後に、ステップＳ２０９に進む。
【０１２６】
ステップＳ２０９では、プロセッサ１０３は４フレームの第２モード画像信号それぞれにおける行方向及び列方向のエッジ量を算出する。全画素の行方向及び列方向のエッジ量の算出後、ステップＳ２１０に進む。
【０１２７】
ステップＳ２１０、Ｓ２１１では、第１の実施形態におけるステップＳ１１０、Ｓ１１１と同じ処理を実行する。ステップＳ２１１の処理の後に、ステップＳ２１２に進む。
【０１２８】
ステップＳ２１２では、プロセッサ１０３は正及び負の行画像と正及び負の行画像において同じ画素の行方向のエッジ量を合計して行エッジ合計量を算出する。また、正及び負の行画像と正及び負の列画像において同じ画素の列方向のエッジ量を合計して列エッジ合計量を算出する。行エッジ合計量Ｅｓｒ及び列エッジ合計量Ｅｓｃを、観察可能領域内の全画素に対して算出すると、ステップＳ２１３に進む。
【０１２９】
ステップＳ２１３では、プロセッサ１０３はステップＳ２１１で作成した正及び負の行画像、及び正及び負の列画像と、ステップＳ１１２で算出した行エッジ合計量Ｅｓｒ及び列エッジ合計量Ｅｓｃとに基づいて観察画像を作成する。観察画像を作成すると、観察画像信号をモニタ２に送信して、表示させる。１フレームの観察画像を作成すると、ステップ２０８に戻る。
【０１３０】
以上のような構成の第２の実施形態の撮像システムによっても、第１の撮像モードにおいて撮像した画像に基づいて対象標本に対する撮像素子１０７の相対振動の位相を検出可能である。さらに、検出した位相に基づいて、行方向に沿った振動速度の絶対値が最小となる時期及び列方向に沿った振動速度の絶対値が最小となる時期が判明する。また、第２の撮像モードにおいては、いずれかの方向の振動速度の絶対値が最小となる時期に画像が撮像され、撮像した画像に基づいて観察画像が作成される。このような構成により、観察画像における振動によるブレの影響を低減化可能である。
【０１３１】
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。
【０１３２】
例えば、上記第１、第２の実施形態において、行方向エッジフィルタ及び列方向エッジフィルタが用いられる構成であるが、行方向及び列方向以外の異なる２方向のエッジフィルタが用いられてもよい。
【０１３３】
また、上記第１の実施形態において行方向のエッジ数及び列方向のエッジ数が極大になる時期、及び第２の実施形態において画像行エッジ量及び画像列エッジ量が極大になる時期、すなわち行方向及び列方向の振動速度がそれぞれ最小となる時期が第２の撮像モードにおける画像の撮像実行の時期に定められる構成である。しかし、、撮像時期はそれぞれの方向のエッジ数が極大になる時期、及び画像行エッジ量及び画像列エッジ量が極大になる時期に限定されない。それぞれの方向のエッジ数が極大になる時期、または画像行エッジ量及び画像列エッジ量が極大になる時期の近辺、すなわち振動速度が所定値未満となる時期を、撮像実行の時期に定めてもよい。
【０１３４】
また、上記第１、第２の実施形態において、振動の位相が１８０度異なる行画像信号に対してパターンマッチングを行う構成であるが、振動の位相が互いに９０度異なる行画像信号と列画像信号に対してパターンマッチングを行う構成であってもよい。行画像と列画像とのパターンマッチングによっても、行画像の行方向への変位の正負及び変位量と、列画像の列方向への変位の正負及び変位量とを算出することが可能である。上記第１、第２の実施形態に比べて、パターンマッチングを行う画像信号の数を減らせるので、全体の処理の高速化を図ることが可能である。
【０１３５】
また、上記第１、第２の実施形態において、正の行画像、負の行画像、正の列画像、及び負の列画像を用いて観察画像が合成される構成であるが、正の行画像及び負の行画像の一方と、正の列画像と負の列画像の一方とを用いて観察画像を合成する構成であってもよい。
【０１３６】
また、上記第１の実施形態において行合計エッジ数Ｅｒ及び列合計エッジ数Ｅｃが、観察画素信号の算出の重み付け係数に用いられる構成である。しかし、行合計エッジ数Ｅｒの代わりに任意の小領域に対する行画像における行方向のエッジ数を用い、列合計エッジ数Ｅｃの代わりに同じ小領域に対する列画像における列方向のエッジ数を用いて重み付け係数を算出することも可能である。同じ小領域に対して行方向のブレの少ない行画像における行方向のエッジ数と列方向のブレの少ない列画像における列方向のエッジ数との間には、ブレの影響が生じない。それゆえ、以上のような構成によっても第１の実施形態と同様の効果を得ることが可能である。
【０１３７】
同様に、上記第２の実施形態において行エッジ合計量Ｅｓｒ及び列エッジ合計量Ｅｓｃが、観察画素信号の算出の重み付け係数に用いられる構成である。しかし、行エッジ合計量Ｅｓｒの代わりに行画像における画素の行方向のエッジ量を用い、列エッジ合計量Ｅｓｃの代わりに列画像における同じ画素の列方向のエッジ量を用いて重み付け係数を算出することも可能である。同様に、同じ画素に対して行方向のブレの少ない行画像における行方向のエッジ量と列方向のブレの少ない列画像における列方向のエッジ量との間には、ブレの影響が生じない。それゆえ、以上のような構成によっても第１の実施形態と同様の効果を得ることが可能である。
【０１３８】
また、上記第１、第２の実施形態において、第１、第２の撮像モードにおいて同じ行エッジフィルタ１１４、１１４０と列エッジフィルタ１１５、１１５０とを用いる構成であるが、プロセッサ１０３に上述の行エッジフィルタ１１４、１１４０及び列エッジフィルタ１１５、１１５０とは別の行エッジフィルタと列エッジフィルタとを設ける構成であってもよい。
【０１３９】
上記の行エッジフィルタ１１４、１１４０及び列エッジフィルタ１１５、１１５０は、対象標本Ｓのそれぞれの方向のエッジだけでなく、ブレの影響も含んだ信号値を出力する。第２の撮像モードではブレの影響を除外したそれぞれの方向のエッジが検出されることが望ましい。それゆえ、図１６に示すように、第２の撮像モードに適するように、ブレの影響を低減化し対象標本Ｓの行方向及び列方向のエッジを検出するフィルタを用いてもよい。図１６のフィルタを用いれば、行画像または列画像の一方のみを用いてエッジがより多い方向を求めること、及び重み付け係数の算出に用いることが可能である。
【０１４０】
また、上記第１の実施形態において、行合計エッジ数Ｅｒと列合計エッジ数Ｅｃを小領域毎に算出する構成であるが、画像全体で行合計エッジ数Ｅｒ及び列合計エッジ数Ｅｃを算出する構成でもよい。画像全体で算出することにより計算の負荷を減らすことが可能である。また、上記第２の実施形態において、行エッジ合計量Ｅｓｒ及び列エッジ合計量Ｅｓｃを画素毎に算出する構成であるが、画像全体で算出する構成でもよいし、相互に隣接する複数の画素毎に算出する構成であってもよい。
【０１４１】
また、上記第１、第２の実施形態において、第１の撮像モードでは、図５に示すように撮像素子１０７の受光面ＲＳの中央近傍の一部の領域が画像の読出し領域に定められる構成であるが、読出し領域はこのような形状に限定されない。
【０１４２】
例えば、第１の撮像モードにおいて、行方向のエッジと列方向のエッジとを別々の画像で検出する場合には、図１７（ａ）に示すように１列に並ぶ複数の画素（符号“Ａ”参照）を列方向のエッジを検出するための読出し領域に設定し、図１７（ｂ）に示すように１行に並ぶ複数の画素（符号“Ｂ”参照）を行方向のエッジを検出するための読出し領域に設定してもよい。更には、図１７（ｃ）に示すように複数の列に並ぶ複数の画素（符号“Ｃ”参照）を列方向のエッジを検出するための読出し領域に設定してもよい。
【０１４３】
また、上記第１、第２の実施形態において、観察画像を構成する画素の画素信号は行画像及び列画像における画素信号を加重平均することにより生成される構成であるが、行合計エッジ数Ｅｒ及び列合計エッジ数Ｅｃ、または行エッジ合計量Ｅｓｒ及び列エッジ合計量Ｅｓｃに基づいて簡易に生成される構成であってもよい。例えば、行合計エッジ数Ｅｒが列合計エッジ数Ｅｃより大きい場合、または行エッジ合計量Ｅｓｒが列エッジ合計量Ｅｓｃより大きい場合には行画像を観察画像とし、列合計エッジ数Ｅｃが行合計エッジ数Ｅｒより大きい場合または列エッジ合計量Ｅｓｃが行エッジ合計量Ｅｓｒより大きい場合には列画像を観察画像とし、行合計エッジ数Ｅｒ及び列合計エッジ数Ｅｃが同じである場合または行エッジ合計量Ｅｓｒ及び列エッジ合計量Ｅｓｃが同じである場合には行画像と列画像とを単純平均することにより観察画像を生成する構成であってもよい。
【０１４４】
また、上記第１、第２の実施形態において、第１の撮像モード及び第２の撮像モードにおいて対象標本Ｓを照明する照明光は単一の光源であるＬＥＤ１０４から出射される構成であるが、撮像モード別に異なる光源が設けられ、撮像モード毎に選択される構成であってもよい。
【０１４５】
前述のように、第１の撮像モードにおいては、撮像素子の露光時間に比べて発光時間を短くすることによる効果が得られる。一方、第２の撮像モードにおいては、視野内に均一な光が照明されること及び照明光のスペクトル特性が優れていること等のように、撮像画像の画質を向上させる照明条件を満たすことが求められる。それゆえ、第１の撮像モードと第２の撮像モードとにおいて、別の光源を用いることにより、それぞれの目的に最適な光源を用いることが可能となる。
【符号の説明】
【０１４６】
１００ 顕微鏡用撮像装置（撮像システム）
１０４ ＬＥＤ（光源）
１０５ ドライバ（光源制御部）
１０７ 撮像素子
１０８ ドライバ（撮像素子駆動部）
１１４、１１４０ 行エッジフィルタ（エッジ検出部）
１１５、１１５０ 列エッジフィルタ（エッジ検出部）
１１６、１１６０ 判別部
１１８ 位相検出部
１１９ 時期決定部
１２０、１２００ 合成部
１２１ 後段信号処理部
２００ 光学顕微鏡（観察機器）
２０５ 対物レンズ（光学系）
ＣＡ 中央近傍の一部の領域
Ｓ 対象標本（試料）
【技術分野】
【０００１】
本発明は撮像システムに関し、特に、顕微鏡のように、試料に対して固定された位置から試料を観察する観察装置に装着して、試料の画像を撮像する撮像システムに関する。
【背景技術】
【０００２】
光学顕微鏡の結像位置に撮像素子を配置した顕微鏡用電子撮像装置が知られている。顕微鏡用電子撮像装置を用いることにより、対象標本の拡大化画像をモニタに表示して複数の観察者が観察することが可能であり、また、拡大化画像を電子データとして記憶することにより後にモニタに表示して観察することも可能である。
【０００３】
光学顕微鏡の光学系の周波数特性は優れているので、撮像素子の画素を微細化することにより観察する画像の鮮鋭度を向上させることが可能である。しかし、画素の微細化が進むと露光中の試料に対する撮像素子の相対移動の影響が大きくなるので、鮮鋭度の向上効果が打消され得る。それゆえ、鮮鋭度の向上効果を維持するためには、相対移動の影響を低減化することが必要である。
【０００４】
光学顕微鏡では、光学系は鏡筒を介して鏡柱に支持される。鏡柱は、光学系を正確な位置に強固に支持するために、硬性部材により形成される。しかし、固有振動数に応じた微小な振動は発生し得る。
【０００５】
このような微小な振動を抑制するには、鏡柱や鏡台などの機械的強度を高めることが考えられる。しかし、機械的強度を高めることにより、光学顕微鏡の大型化や製造コストが増加していた。
【０００６】
一方、相対移動の影響を低減化するために、撮像素子を変位させながら複数の画像を撮像する電子撮像装置において、撮像素子の変位動作中の露光を停止させることが提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−０１５３４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１の記載においては撮像素子を変位させる変位手段が設けられており、意図的に撮像素子が変位させられる。それゆえ、変位動作中の露光を停止する制御は容易である。一方、固定した撮像素子の微小振動の影響の低減化に適用することは出来ない。
【０００９】
従って、上記のような問題点に鑑みてなされた本発明では、試料及び光学系の一方が支持される観察装置の光学系によって結像される画像において撮像素子の試料に対する相対移動の影響を低減化させる撮像システムの提供を目的とする。
【課題を解決するための手段】
【００１０】
上述した諸課題を解決すべく、本発明による撮像システムは、
試料に対して位置が固定された光学系によって結像される試料の画像を撮像画像として撮像する撮像素子と、
第１の撮像モードでは試料に対する撮像素子の相対的な振動である相対振動の位相を検出するための第１の撮像を撮像素子に実行させ、第１の撮像モードと異なる第２の撮像モードでは試料の観察に用いるための第２の撮像を撮像素子に実行させる撮像素子駆動部と、
第１の撮像により得られた撮像画像によって位相を検出し、検出された位相に基づいて第２の撮像モードにおける第２の撮像の実行時期を決定し、第２の撮像により撮像素子により生成される画像信号に基づいて試料の観察に用いるための観察画像を作成する画像処理部とを備える
ことを特徴とするものである。
【発明の効果】
【００１１】
上記のように構成された本発明に係る撮像システムによれば、第１の撮像により得られた撮像画像により位相が検出され、検出した位相に基づいて最適な時期を第２の撮像の実行時期に定めるので、撮像素子の試料に対する相対移動の影響を低減化させた画像を得ることが可能である。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る撮像システムを適用した顕微鏡用撮像装置を含む顕微鏡システムの概略構成を示す構成図である。
【図２】顕微鏡用撮像装置の内部構成を概略的に示すブロック図である。
【図３】対物レンズの光軸の振動による軌跡を示す図である。
【図４】第１の撮像モード及び第２の撮像モードにおける撮像素子の露光制御とＬＥＤの発光制御を示すタイミングチャートである。
【図５】第１の撮像モード及び第２の撮像モードにおいて撮像に用いる読出し領域を説明するための撮像素子の受光面の平面図である。
【図６】第１の実施形態の画像処理部の内部構成を概略的に示すブロック図である。
【図７】行エッジフィルタと列エッジフィルタを示す図である。
【図８】時間に対するエッジ数の変化の関係を、時間に対する光学顕微鏡固有の振動速度の関係とともに示すグラフである。
【図９】各フレームの第１モード画像信号の生成時期における行方向のエッジ数と列方向のエッジ数の分布図である。
【図１０】時間に対する行方向及び列方向のエッジ数の変化曲線を示すグラフである。
【図１１】位相が互いに１８０度異なる行画像の座標変換を説明するための図である。
【図１２】正及び負の行画像と、正及び負の列画像とに基づいて設定される観察可能領域を説明するための図である。
【図１３】第１の実施形態においてプロセッサにより実行される観察制御を説明するためのフローチャートである。
【図１４】第２の実施形態の画像処理部の内部構成を概略的に示すブロック図である。
【図１５】第２の実施形態においてプロセッサにより実行される観察制御を説明するためのフローチャートである。
【図１６】変形例における行エッジフィルタと列エッジフィルタを示す図である。
【図１７】第１の撮像モードにおいて定められる読出し領域の変形例を説明するための撮像素子の受光面の平面図である。
【発明を実施するための形態】
【００１３】
以下、本発明を適用した撮像システムを適用した顕微鏡用撮像装置の実施形態について、図面を参照して説明する。
【００１４】
図１は、本発明の第１の実施形態に係る撮像システムを適用した顕微鏡用撮像装置を含む顕微鏡システムの概略構成を示す構成図である。
【００１５】
顕微鏡システム１は、顕微鏡用撮像装置１００（撮像システム）、光学顕微鏡２００（観察機器）、及びモニタ２によって構成される。
【００１６】
顕微鏡用撮像装置１００は、撮像ユニット１０１、光源ユニット１０２、及びプロセッサ１０３を含んで構成される。撮像ユニット１０１及び光源ユニット１０２は、後に説明するように光学顕微鏡２００に着脱自在に結合される。
【００１７】
光源ユニット１０２により光学顕微鏡２００の対象標本Ｓ（試料）に照明光が照射される。対象標本Ｓの拡大画像は光学顕微鏡２００によって目視観察可能である。また、撮像ユニット１０１は対象標本Ｓを撮像可能である。撮像した画像はプロセッサ１０３に送信され、所定の画像処理が施される。画像処理の施された画像がモニタ２に表示される。
【００１８】
次に、光学顕微鏡２００の構成について、説明する。光学顕微鏡２００は、ステージ２０１、顕微鏡本体２０２、及び鏡筒２０３（支持体）を含んで構成される。ステージ２０１には、対象標本Ｓ（試料）を載置可能である。顕微鏡本体２０２は側面視略コの字状に形成され、ステージ２０１を支持するとともにレボルバ２０４を介して対物レンズ２０５を保持する。鏡筒２０３は顕微鏡本体２０２の上部に載置される。
【００１９】
レボルバ２０４は顕微鏡本体２０２に対して回動自在に保持され、対物レンズ２０５を対象標本Ｓの上方に配置する。対物レンズ２０５は、レボルバ２０４に対して倍率（観察倍率）の異なる他の対物レンズ２０５とともに交換自在に装着される。レボルバ２０４の回転に応じて観察光の光路上に挿入されることにより、対象標本Ｓの観察に用いる対物レンズ２０５が択一的に切り換えられる。
【００２０】
顕微鏡本体２０２の底部後方に、光源ユニット１０２を着脱自在に結合可能である。顕微鏡本体２０２は、照明光学系２０６を内接している。照明光学系２０６は、コレクタレンズ２０７及び折曲げミラー２０８を含んで構成される。
【００２１】
コレクタレンズ２０７により光源ユニット１０２から射出された照明光が集光される。折り曲げミラー２０８は、照明光の光路を対物レンズ２０５の光軸に沿って偏向させる。光源ユニット１０２から射出された照明光は、照明光学系２０６によって対象標本Ｓに照射され、その透過光が観察光として対物レンズ２０５に入射する。
【００２２】
鏡筒２０３には、対象標本Ｓの標本像を目視観察するための双眼部２０９が取付けられる。また、鏡筒２０３には、撮像ユニット１０１を着脱自在に結合可能である。また、鏡筒２０３は、ビームスプリッタ２１０を内接する。ビームスプリッタ２１０により、観察光の光路が切換えられ、観察光は双眼部２０９または撮像ユニット１０１へ導かれる。
【００２３】
対象標本Ｓの標本像はビームスプリッタ２１０によって双眼部２０９内に導入され、検鏡者に目視観察される。あるいは、標本像はビームスプリッタ２１０によって撮像ユニット１０１に導入され、撮像ユニット１０１により撮像される。
【００２４】
次に、顕微鏡用撮像装置１００の構成について、図２を用いて説明する。前述のように、顕微鏡用撮像装置１００は、撮像ユニット１０１、光源ユニット１０２、及びプロセッサ１０３を含んで構成される。
【００２５】
前述のように、鏡筒２０３は微小に振動する。そこで、後に詳細に説明するように、顕微鏡用撮像装置１００では、微小な振動の観察画像への影響、すなわち、微小振動によるブレを低減化させた画像である観察画像が作成される。
【００２６】
対物レンズ２０５は光学顕微鏡２００の固有振動数に応じた振動により、図３における光軸の変位の軌跡に示すように、行方向（第１の方向）及び列方向（第２の方向）に実質的に固有振動数で振動する。後述するように対物レンズ２０５は撮像ユニット１０１に設けられる撮像素子（図１〜図３に図示せず）に結合される。撮像素子は対物レンズ２０５の光軸と一体的に円状または楕円状に変位する。顕微鏡用撮像装置１００では、２方向の振動における時間と位相の関係を検出し、それぞれの振動の速度が低いときに撮像を行うことにより、特定の方向へのブレの影響の低い画像を撮像可能である。
【００２７】
顕微鏡用撮像装置１００には、振動の位相と時間との関係を検出するための第１の撮像モードと、特定の方向へのブレの影響の低い画像を撮像及び撮像した画像に基づく対象標本Ｓの観察のために観察画像を作成するための第２の撮像モードとが、設けられる。
【００２８】
顕微鏡用撮像装置１００を用いた対象標本Ｓの観察を開始すると、最初に第１の撮像モードにより顕微鏡用撮像装置１００の各部位は制御され、振動の位相と時間との関係が検出される。位相と時間との関係の検出後、第２の撮像モードにより顕微鏡用撮像装置１００の各部位は制御され、対象標本Ｓの観察が可能となる。
【００２９】
光源ユニット１０２には、ＬＥＤ１０４（光源）、ドライバ１０５（光源制御部）が設けられる（図２参照）。ＬＥＤ１０４はドライバ１０５により発光動作が制御される。例えば、ＬＥＤ０１４からの出射光の光量や、発光と消灯の切替がドライバ１０５により制御される。なお、ドライバ１０５は、プロセッサ１０３に設けられるタイミングコントローラ１０６から送信されるクロック信号などに基づいて、ＬＥＤ１０４を制御する。
【００３０】
図４（ａ）に示すように、第１の撮像モードにおいては、撮像ユニット１０１に設けられる撮像素子１０７の露光期間内で、露光期間ｐ１より短い時間ｐ２にＬＥＤ１０４に照明光を出射させる。また、第１の撮像モードにおいては、第２の撮像モードに比べて出射光量が高くなるように、ＬＥＤ１０４は駆動される。
【００３１】
第１の撮像モードでは、ブレの少ない方向と大きな方向とを明確に判別するために、ブレの少ない方向に関しては鮮明な画像が撮影されることが求められる。それゆえ、照明光の出射期間を露光期間より短くすることにより、少なくとも一方向には鮮明な画像が撮像され得る。また、出射時間の短期化による光量不足は、出射光量を高くすることにより補償される。
【００３２】
一方、第２の撮像モードにおいては、図４（ｂ）に示すように、撮像素子１０７の露光期間ｐ３と合致するように、ＬＥＤ１０４に照明光を出射させる（符号“ｐ４”参照）。第２の撮像モードで撮像された画像は観察画像の作成に用いられるので、露光期間中に十分な光量の光によって対象標本Ｓを照明することが求められる。それゆえ、第２の撮像モードにおいては、露光期間中と合致する期間に、ＬＥＤ１０４から照明光が出射される。
【００３３】
撮像ユニット１０１には、ＣＭＯＳ撮像素子１０７、ドライバ１０８（撮像素子駆動部）、及び処理回路１０９が設けられる（図２参照）。撮像ユニット１０１を鏡筒２０３に結合させると、対象標本の標本像はＣＭＯＳ撮像素子１０７の受光面に結像する。ドライバ１０８の制御によりＣＭＯＳ撮像素子１０７は対象標本Ｓの光学像に応じた画像信号を生成する。
【００３４】
なお、ドライバ１０８は、タイミングコントローラ１０６から送信されるクロック信号などに基づいて、ＣＭＯＳ撮像素子１０７の撮像動作を制御する。画像信号は処理回路１０９に送信され、ＣＤＳ／ＳＨ処理やＡ／Ｄ変換処理が施される。Ａ／Ｄ変換処理が施された画像信号は、プロセッサ１０３に送信される。
【００３５】
なお、撮像素子１０７の受光面には、行列状に複数の画素（図示せず）が配置される。画素毎に受光量に応じた電気信号である画素信号が生成される。同じフレームの複数の画素信号により1フレームの画像信号が構成される。
【００３６】
なお、後述するように、第１の撮像モードでは撮像時期毎の位相を検出するために、所定の周期で、複数のフレームの画像が撮像される（図４（ａ）参照）。なお、光学顕微鏡１０７の固有振動数が予め測定されており、固有振動数に相当する周期よりも短い周期が、所定の周期に定められる。
【００３７】
また、第１の撮像モードでは、受光可能な画像全体を撮像する必要は無いので、図５に示すように、撮像素子１０７の受光面ＲＳの中央近傍の一部の領域（符号“ＣＡ”参照）が読出し領域に定められ、読出し領域に結像される画像の画像信号が第１モード画像信号として生成される。
【００３８】
一方、第２の撮像モードでは、後述するように、第１の撮像モードにおいて検出された時間と位相との関係に基づいて定められる撮像時期に、画像が撮像される。なお、第１の撮像モードと異なり、観察画像を作成するために撮像される画像なので、撮像素子１０７の受光面ＲＳ全体が読出し領域に定められ、読出し領域に結像される画像の画像信号が第２モード画像信号として生成される。
【００３９】
プロセッサ１０３には、タイミングコントローラ１０６、画像処理部１１０、及びシステムコントローラ１１１などが設けられる（図２参照）。
【００４０】
前述のように、タイミングコントローラ１０６は、ドライバ１０５及びドライバ１０８にクロック信号などの時間の基準信号、及び動作のタイミングの制御に必要な信号を送信する。また、タイミングコントローラ１０６は、画像処理部１１０にも、クロック信号などの時間の基準信号及び動作のタイミングの制御に必要な信号を送信する。
【００４１】
撮像ユニット１０１から送信される第１モード画像信号及び第２モード画像信号は画像処理部１１０に入力される。画像処理部１１０は、第１モード画像信号により、第２の撮像モードにおける画像の撮像時期を決定する。また、画像処理部１１０は、第２モード画像信号により観察画像信号を生成する。観察画像処理の施された画像信号はモニタ２に送信される。
【００４２】
なお、画像処理部１１０は、後述するように、処理ごとに特化した専用のプロセッサ（例えばＤＳＰ（デジタルシグナルプロセッサ））によって構成されるが、ＣＰＵ（中央処理装置）等の任意の好適なプロセッサ上で実行されるソフトウェアとして構成することもできる。
【００４３】
タイミングコントローラ１０６及び画像処理部１１０における様々な動作は、システムコントローラ１１１によって制御される。また、システムコントローラ１１１は顕微鏡用撮像装置１００の各部位の制御を行う。システムコントローラ１１１には、キーボード１１２やマウス（図示せず）などの入力部が接続される。使用者によるコマンド操作が入力部に入力されると、入力されたコマンドに応じてシステムコントローラ１１１は各部位を制御する。
【００４４】
次に、画像処理部１１０によって実行される画像処理について、図６を用いて画像処理部１１０の構成とともに説明する。図６は、画像処理部１１０の内部構成を概略的に示すブロック図である。画像処理部１１０は、前段信号処理部１１３、行エッジフィルタ１１４、列エッジフィルタ１１５、判別部１１６、ＳＤＲＡＭ１１７、位相検出部１１８、時期決定部１１９、合成部１２０、及び後段信号処理部１２１を含んで構成される。
【００４５】
処理回路１０９から送信される第１モード画像信号及び第２モード画像信号は前段信号処理部１１３に入力される。前段信号処理部１１３では、補間処理などの所定の前段信号処理が画像信号に施される。
【００４６】
前段信号処理部１１３において前段信号処理の施された第１モード画像信号は、行エッジフィルタ１１４及び列エッジフィルタ１１５に送信される。
【００４７】
行エッジフィルタ１１４は図７（ａ）に示すフィルタと２値化回路（図示せず）とを有しており、フィルタ後の画素値が閾値を越えるときに１が出力され、閾値以下であるときに０が出力される（エッジ変数）。したがって、行エッジフィルタ１１４の出力が１である画素は、行方向にエッジを有した画素とみなせる。
【００４８】
一方、列エッジフィルタ１１５は図７（ｂ）に示すフィルタと２値化回路（図示せず）とを有しており、フィルタ後の画素値が閾値を越えるときに１が出力され、閾値以下であるときに０が出力される（エッジ変数）。したがって、列エッジフィルタ１１５の出力が１である画素は、列方向にエッジを有した画素とみなせる。
【００４９】
行エッジフィルタ１１４及び列エッジフィルタ１１５の出力は、判別部１１６に入力される（図６参照）。判別部１１６では、行エッジフィルタ１１４の出力が１である画素数及び列エッジフィルタ１１５の出力が１である画素数が、それぞれ行方向のエッジ数（第１の判別数）及び列方向のエッジ数（第２の判別数）としてカウントされる。
【００５０】
１フレームの第１モード画像信号を構成する全画素に対する行エッジフィルタ１１４と列エッジフィルタ１１５の出力に基づくカウントが終了すると、行方向及び列方向のエッジ数が第１モード画像信号の生成時期と組合わされて、ＳＤＲＡＭ１１７に格納される。
【００５１】
第１撮像モードでは、例えば２０回の撮像が実行され、２０フレームの第１モード画像信号が生成される。生成された第１モード画像信号は、フレーム毎に行方向及び列方向のエッジ数がカウントされ、ＳＤＲＡＭ１１７に格納される。２０フレームの第１モード画像信号に対するエッジ数が格納されると、位相検出部１１８により行方向及び列方向別の振動の位相と時間との関係が検出される。
【００５２】
図３における対物レンズ２０５の円運動において、行方向の振動速度（第１の方向の速度）が大きくなるほど行方向のブレが大きくなるので、行方向のエッジ数は減少する。一方、列方向の振動速度（第２の方向の速度）が大きくなるほど列方向のブレが大きくなるので、列方向のエッジ数は減少する。また、行方向及び列方向の振動速度の絶対値が同じ時には、それぞれ行方向及び列方向のエッジ数は同じになると考えられる。
【００５３】
それゆえ、時間に対する特定の方向のエッジ数の変化は、山型の波を光学顕微鏡２００の固有の振動周期の１／２の周期で繰返す波形である。なお、図８に示すように、時間に対するエッジ数の変化は光学顕微鏡２００に固有な振動の振動速度の変化に対して、位相が９０度異なっている。
【００５４】
したがって、光学顕微鏡２００に固有な振動の振動速度の時間に対する変化に基づいて、時間に対するエッジ数の変化が算出され、ＥＥＰＲＯＭ（図示せず）に予め記憶される。なお、ＥＥＰＲＯＭには時間に対するエッジ数の変化曲線が記憶されるが、現在時間における振動と位相は一致していない。
【００５５】
位相検出部１０８では、第１〜第２０フレームの第１モード画像信号の生成時期に対する行方向及び列方向のエッジ数の分布が、図９に示す分布図に描かれる。また、図８に示すエッジ数の時間変化曲線がＥＥＰＲＯＭから読出される。
【００５６】
位相検出部１０８では、行方向のエッジ数が図８の時間に対するエッジ数の変化の曲線上に重なるように、エッジ数の変化曲線の位相が合わせられる。また、同様に、列方向のエッジ数が図８の時間に対するエッジ数の変化の曲線上に重なるように、変化曲線の位相が合わせられる。
【００５７】
位相を合わせることにより、図１０に示すように、行方向のエッジ数の変化曲線（符号“ＣＲ”参照）と列方向のエッジ数の変化曲線（符号“ＣＣ”参照）とが描かれる。エッジ数の変化曲線を描くことにより、現在を含む各時期の行方向及び列方向の振動の位相が求められる。
【００５８】
行方向及び列方向のエッジ数の変化曲線は、時期決定部１１９に送信される。時期決定部１１９では、受信したエッジ数の変化曲線に基づいて、第２の撮像モードにおける撮像実行の時期が決定される。
【００５９】
第２の撮像モードにおける撮像実行の時期は、図１０のエッジ数の変化曲線におけるエッジ数が極大となる時期に定められる。なお、行方向のエッジ数は図３における行方向の両端部ＲＥ付近においてエッジ数が極大になる。また、列方向のエッジ数は図３における列方向の両端部ＣＥ付近においてエッジ数が極大になる。したがって、図３における円運動の行方向及び列方向の端部において撮像が実行される。決定した撮像時期はシステムコントローラ１１１に伝達される。
【００６０】
第２の撮像モードにおける撮像実行の時期が定められると、第１の撮像モードを終了して、第２の撮像モードに切替えられる。第２の撮像モードでは、前述のように定められた時期に撮像動作が実行され、第２モード画像信号が生成される。前述のように、振動の行方向の両端部及び列方向の両端部において第２モード画像信号が生成される。なお、行方向の両端部で生成された第２モード画像信号は行画像信号に定められ、列方向の両端部で生成された第２モード画像信号は列画像信号に定められる。
【００６１】
前述のように、第２モード画像信号は前段信号処理部１１３に入力され（図６参照）、所定の前段信号処理が施される。前段信号処理の施された第２モード画像信号は、行エッジフィルタ１１４、列エッジフィルタ１１５、及び判別部１１６に送信される。
【００６２】
行エッジフィルタ１１４及び列エッジフィルタ１１５によって、各画素における行方向及び列方向のエッジの有無が検出され、判別部１１６に送信される。判別部１１６には、前述のように第２モード画像信号も入力される。以下に説明するように、判別部１１６では後の画像合成に用いる混合比率が、行方向及び列方向のエッジの有無と、第２モード画像信号に基づいて算出される。
【００６３】
判別部１１６では、振動の位相が１８０度異なる行画像信号に対してパターンマッチングが行われる。通常、位相が１８０度異なる２つの行画像において、同じ光学像が行方向にずれて表示される。パターンマッチングにより同じであると判別された光学像の２つの行画像における座標が、判別部１１６によって別々に検出される。さらに、２つの行画像それぞれにおいて検出された座標の大小を比較することにより、何れの行画像が対象標本Ｓから正及び負の行方向に変位しているかが判別される。また、座標の差に基づいて、それぞれの行画像の振動中心からの変位量Δｘが算出される。
【００６４】
次に、判別部１１６では、行画像信号に画像変換が施される。１８０度位相が異なる行画像は、光学像に対して撮像位置が異なっている。すなわち、それぞれの画像座標系で表される同じ光学像の座標は異なっている。それゆえ、画像変換により、２つの行画像の画像座標系が、振動中心を原点とする座標系に変換される。
【００６５】
例えば、正の行方向にずれた画像（図１１（ａ）参照）の画像座標は、正の行方向に変位量Δｘ変位させるように座標変換が行われる（図１１（ｃ）実線参照）。正の行方向への座標変換により正の行画像が作成される。
【００６６】
同様に、負の行方向にずれた画像（図１１（ｂ）参照）の画像座標は、負の行方向に変位量−Δｘ変位させるように座標変換が行われる（図１１（ｃ）点線参照）。負の行方向への座標変換により負の行画像が作成される。
【００６７】
同様に、判別部１１６では振動の位相が１８０度異なる列画像信号に対してパターンマッチングを行い、両画像の列方向に沿った変位方向及び変位量が判別される。また、判別結果に基づいて、両列画像信号に相当する２つの列画像の座標変換が行われる。座標変換により、正の列画像及び負の列画像が作成される。
【００６８】
正及び負の行画像と、正及び負の列画像を作成すると、判別部１１６は、次に説明するように、観察可能領域を設定する。図１２に示すように、正の行画像ＰＲＩ（実線参照）、負の行画像ＮＲＩ（点線参照）、正の列画像ＰＣＩ（２点差線参照）、及び負の列画像ＮＣＩ（破線参照）が重複する領域（斜線部位参照）が観察可能領域ＯＡに設定される。なお、観察可能領域とは、観察画像が形成される領域である。
【００６９】
４画像それぞれの観察画像領域ＯＡが、ｎ行ｎ列の画素によって構成される小領域（図示せず）に分割される。判別部１１６では、小領域内に含まれる画素の行方向のエッジ数と列方向のエッジ数とが、別々に且つ正の行画像ＰＲＩ、負の行画像ＮＲＩ、正の列画像ＰＣＩ、及び負の列画像ＮＲＩ毎にカウントされる。
【００７０】
同じ小領域に対して４画像別々に算出された行方向のエッジ数が合計され、行合計エッジ数Ｅｒが小領域毎に算出される。また、同じ小領域に対して、４画像別々に算出された列方向のエッジ数が合計され、列合計エッジ数Ｅｃが小領域毎に算出される。
【００７１】
算出された小領域毎の行合計エッジ数Ｅｒ及び列合計エッジ数Ｅｃが、正の行画像ＰＲＩ、負の行画像ＮＲＩ、正の列画像ＰＣＩ、及び負の列画ＮＣＩ像とともに、判別部１１６から合成部１２０に伝達される。合成部１２０では、行合計エッジ数Ｅｒ、列合計エッジ数Ｅｃ、正の行画像ＰＲＩ、負の行画像ＮＲＩ、正の列画像ＰＣＩ、及び負の列画像ＮＣＩに基づいて、観察可能領域ＯＡに対応する観察画像が合成される。
【００７２】
観察画像は、観察画像を構成する画素を作成することにより合成される。観察画像を構成する画素の画素信号である観察画素信号は、行画像ＰＲＩ、ＮＲＩ及び列画像ＰＣＩ、ＮＣＩにおける同一の画素に対応する画素信号を加重平均することにより生成される。加重平均に用いる重み付け係数は、行合計エッジ数Ｅｒ及び列合計エッジ数Ｅｃに基づいて算出される。以下に画素信号の加重平均について説明する。
【００７３】
観察画像を構成する各画素に対応する小領域の行合計エッジ数Ｅｒ及び列合計エッジ数Ｅｃが、当該観察画素信号の算出に用いられる。正の行画像ＰＲＩ、負の行画像ＮＲＩ、正の列画像ＰＣＩ、及び負の列画像ＮＣＩにおいて対応する画素の画素信号を、それぞれＰＳｐｒ、ＰＳｎｒ、ＰＳｐｃ、ＰＳｎｃとすると、観察画素信号は、（（Ｅｒ／２×（Ｅｒ＋Ｅｃ））×（ＰＳｐｒ＋ＰＳｎｒ）＋（Ｅｃ／２×（Ｅｒ＋Ｅｃ））×（ＰＳｐｃ＋ＰＳｎｃ））を算出することにより、生成される。
【００７４】
全観察画素信号を生成すると、全観察画素信号は観察画像信号として、後段信号処理部１２１に送信される。後段信号処理部１２１では、観察画像信号に対して輪郭強調処理やホワイトバランス処理等の所定の後段信号処理が施される。後段信号処理の施された観察画像信号はモニタ２に送信される。モニタ２には、受信した観察画像信号に相当する観察画像が表示される。
【００７５】
対象標本Ｓの観察時に、プロセッサ１０３により実行される観察制御について、図１３のフローチャートを用いて説明する。なお、観察制御は、撮像ユニット１０１を鏡筒２０３に結合して、入力部に対象標本観察の操作指令が入力されるときに開始する。また、観察を終了する操作指令が入力されるとき、または顕微鏡用撮像装置１００の電源がＯＦＦになるときに、観察制御は終了する。
【００７６】
ステップＳ１０１において、プロセッサ１０３は第１の撮像モードに応じて定められたＬＥＤ１０４の発光量、ＬＥＤ１０４の発光時期、撮像素子１０７の露光時期、撮像素子１０７の読出し領域でＬＥＤ１０４の発光及び撮像素子１０７による撮像を実行させる。第１の撮像モードによるＬＥＤ１０４及び撮像素子１０７の制御を始めると、ステップＳ１０２に進む。
【００７７】
ステップＳ１０２では、プロセッサ１０３はステップＳ１０１における撮像により得られる第１モード画像信号における行方向及び列方向のエッジの有無を検出する。エッジの有無は第１モード画像信号を構成する全画素信号に対して行われ、行方向のエッジ数と列方向のエッジ数とをカウントする。全画素のエッジの有無を検出し、エッジ数のカウントを終えると、ステップＳ１０３に進む。
【００７８】
ステップＳ１０３では、プロセッサ１０３は行方向のエッジ数及び列方向のエッジ数を、当該第１モード画像信号の生成時期とともにＳＤＲＡＭ１１７に記憶させる。ＳＤＲＡＭ１１７に記憶すると、ステップＳ１０４に進む。
【００７９】
ステップＳ１０４では、プロセッサ１０３は２０フレームの第１モード画像信号に対応するエッジ数が記憶されているか否かを判別する。２０フレームの第１モード画像信号に対応するエッジ数が格納されていないときには、ステップＳ１０２に戻り、次のフレームの第１モード画像信号に対してエッジの検出（Ｓ１０２）及びＳＤＲＡＭ１１７への記憶（Ｓ１０３）を繰返す。ステップＳ１０４において、２０フレームの第１モード画像信号に対応するエッジ数が格納されているときには、ステップＳ１０５に進む。
【００８０】
ステップＳ１０５では、プロセッサ１０３はＳＤＲＡＭ１１７に記憶された時間とエッジ数の関係及びＥＥＰＲＯＭに格納された時間に対するエッジ数の変化曲線とに基づいて、現在時間に対するエッジ数の変化の関係を検出する。変化関係を検出すると、ステップＳ１０６に進む。
【００８１】
ステップＳ１０６では、プロセッサ１０３はステップＳ１０５において検出した時間とエッジ数の変化の関係に基づいて、第２の撮像モードにおける撮像実行時期を決定する。撮像実行時期を決定すると、ステップＳ１０７に進む。
【００８２】
ステップＳ１０７では、プロセッサ１０３は第２の撮像モードに応じて定められたＬＥＤ１０４の発光量、ＬＥＤ１０４の発光時期、撮像素子１０７の露光時期、撮像素子１０７の読出し領域で、ＬＥＤ１０４の発光及び撮像素子１０７による撮像を実行させる。第２の撮像モードによるＬＥＤ１０４及び撮像素子１０７の制御を始めると、ステップＳ１０８に進む。
【００８３】
ステップＳ１０８では、プロセッサ１０３は連続する４フレームの撮像を終了しているか否かを判別する。４フレームの撮像を終了していないときには、終了するまでステップＳ１０８を繰返す。４フレームの撮像を終了しているときには、ステップＳ１０９に進む。
【００８４】
ステップＳ１０９では、プロセッサ１０３は４フレームの第２モード画像信号それぞれにおける行方向及び列方向のエッジの有無を検出する。エッジの有無は第２モード画像信号を構成する全画素信号に対して行われる。全画素の行方向及び列方向のエッジの有無を検出すると、ステップＳ１１０に進む。
【００８５】
ステップＳ１１０では、プロセッサ１０３は、４フレームの第２モード画像信号に対してパターンマッチングを利用して、それぞれの第２モード画像信号の生成位置が振動中心から正の行方向、負の行方向、正の列方向、及び負の列方向の何れの方向にずれた位置であるかを判別する。生成位置を判別すると、ステップＳ１１１に進む。
【００８６】
ステップＳ１１１では、プロセッサ１０３は４フレームの第２モード画像信号に座標変換を施すことにより正の行画像ＰＲＩ、負の行画像ＮＲＩ、正の列画像ＰＣＩ、及び負の列画ＮＣＩ像を作成する。座標変換を実行すると、ステップＳ１１２に進む。
【００８７】
ステップＳ１１２では、プロセッサ１０３は小領域に含められる全画素の行方向及び列方向のエッジ数をカウントして行合計エッジ数Ｅｒ及び列合計エッジ数Ｅｃを算出する。行合計エッジ数Ｅｒ及び列合計エッジ数Ｅｃを、全小領域に対して算出すると、ステップＳ１１３に進む。
【００８８】
ステップＳ１１３では、プロセッサ１０３はステップＳ１１１で作成した正の行画像ＰＲＩ、負の行画像ＮＲＩ、正の列画像ＰＣＩ、及び負の列画像ＮＣＩと、ステップＳ１１２で算出した行合計エッジ数Ｅｒ及び列合計エッジ数Ｅｃとに基づいて観察画像を作成する。観察画像を作成すると、観察画像信号をモニタ２に送信して、表示させる。１フレームの観察画像を作成すると、ステップ１０８に戻る。
【００８９】
以上のような構成の第１の実施形態の撮像システムによれば、第１の撮像モードにおいて撮像した画像に基づいて対象標本に対する撮像素子１０７の相対振動の位相を検出可能である。さらに、検出した位相に基づいて、行方向に沿った振動速度の絶対値が最小となる時期及び列方向に沿った振動速度の絶対値が最小となる時期が判明する。また、第２の撮像モードにおいては、いずれかの方向の振動速度の絶対値が最小となる時期に画像が撮像され、撮像した画像に基づいて観察画像が作成される。このような構成により、観察画像における振動によるブレの影響を低減化可能である。
【００９０】
また、第１の実施形態によれば、第１の撮像モードにおいて撮像素子１０７の対象標本Ｓに対する相対速度に応じて撮像した画像に含まれるエッジ数が減少することを利用し、撮像した画像全体の行方向及び列方向のエッジ数を検出することにより、現在時間と位相との関係を、速度センサなどを用いることなく検出可能である。
【００９１】
また、第１の実施形態によれば、第２の撮像モードにおいて行合計エッジ数と列合計エッジ数の比較によって行方向及び列方向の何れの方向が鮮明に表示すべき方向であるかを判別可能である。鮮明に表示すべき方向を判別することにより、鮮明な観察画像を作成するために行方向に鮮明な画像及び列方向に鮮明な画像をより適切に用いることが可能になる。
【００９２】
また、第１の実施形態によれば、第２の撮像モードにおいて、行合計エッジ数と列合計エッジ数とに応じて、行画像と列画像との画素信号に乗じられる重み付けが変えられる。重み付けを変えた加重平均値を算出することにより、行方向または列方向のいずれかのエッジが多い標本試料だけでなく、両方向のエッジが同じ位である標本資料や、両方向のエッジの一方がやや多い標本試料などに対して鮮明な観察画像を作成可能である。
【００９３】
また、第１の実施形態によれば、行合計エッジ数の算出に行画像及び列画像における行方向のエッジ数が平均化され、列合計エッジ数の算出に行画像及び列画像における列方向のエッジ数が平均化されるので、実際の対象標本Ｓのエッジをより正確に検出可能である。実際の対象標本Ｓにおいて行方向及び列方向のエッジの数が同じであった場合でも、例えば行画像においては列方向のブレが大きいので列方向のエッジ数が行方向のエッジ数より少なく検出される可能性が大きい。それゆえ、前述のように、行画像と列画像において検出されるエッジ数を平均化することにより、エッジをより正確に検出可能である。
【００９４】
また、第１の実施形態によれば、行画像信号及び列画像信号に座標変換が施されるので、実際の対象標本Ｓのエッジをより正確に検出可能で、またより鮮明な観察画像を作成可能となる。座標変換前の正の行画像、負の行画像、正の列画像、及び負の列画像においては、同じ光学像が振動により異なる位置に形成される。それゆえ、座標変換をしなければ、エッジの検出精度が低下し、また観察画像にもボケが発生し得る。しかし、前述のように座標変換を施すことにより、検出精度の低下やボケの発生を抑制することが可能である。
【００９５】
次に本発明の第２の実施形態に係る撮像システムについて説明する。第２の実施形態では、エッジの検出方法が第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第２の実施形態について説明する。なお、第１の実施形態と同じ機能および構成を有する部位には同じ符号を付す。
【００９６】
第２の実施形態において、光学顕微鏡２００及びモニタ２の構成及び機能は第１の実施形態と同じである。また、第２の実施形態において、画像処理部以外の顕微鏡用撮像装置の各部位の構成及び機能は第１の実施形態と同じである。
【００９７】
図１４に示すように、画像処理部１１００は、前段信号処理部１１３、行エッジフィルタ１１４０、列エッジフィルタ１１５０、判別部１１６０、ＳＤＲＡＭ１１７、位相検出部１１８、時期決定部１１９、合成部１２００、及び後段信号処理部１２１を含んで構成される。
【００９８】
前段信号処理部１１３、時期決定部１１９、後段信号処理部１２１の構成及び機能は第１の実施形態と同じである。したがって、第１モード画像信号は前段信号処理部１１３において第１モード画像信号に前段信号処理が施され、行エッジフィルタ１１４０及び列エッジフィルタ１１５０に送信される。
【００９９】
第１の実施形態と異なり、行エッジフィルタ１１４０は図７（ａ）に示すフィルタのみを有しており、２値化回路は設けられない。したがって、注目画素の画素信号の強度と注目画素に行方向に隣接する画素の画素信号の強度の差分がエッジ量として出力される。したがって、エッジ量が大きくなる程、より鮮明なエッジが受光されていると考えられる。
【０１００】
また、第１の実施形態と異なり、列エッジフィルタ１１５０は図７（ｂ）に示すフィルタのみを有しており、２値化回路は設けられない。したがって、注目画素の画素信号の強度と注目画素に列方向に隣接する画素の画素信号の強度の差分がエッジ量（エッジ変数）として出力される。
【０１０１】
第１の実施形態と同様に、行エッジフィルタ１１４０及び列エッジフィルタ１１５０の出力は、判別部１１６０に出力される（図１４参照）。判別部１１６０では、行エッジフィルタ１１４０から出力される各画素の行方向のエッジ量と、列エッジフィルタ１１５０から出力される各画素の列方向のエッジ量とが別々に合計され、画像行エッジ量（第１の判別数）と画像列エッジ量（第２の判別数）とが算出される。算出された画像行エッジ量と画像列エッジ量とは第１モード画像信号の生成時期と組合されて、ＳＤＲＡＭ１１７に格納される。
【０１０２】
第１の実施形態と同様に、第１撮像モードでは、例えば２０回の撮像が実行され、２０フレームの第１モード画像信号が生成される。生成された第１モード画像信号毎に画像行エッジ量及び画像列エッジ量が算出され、ＳＤＲＡＭ１１７に格納される。２０フレームの第１モード画像信号に対する画像行エッジ量及び画像列エッジ量が格納されると、第１の実施形態と同様に、位相検出部１１８が動作する。
【０１０３】
第１の実施形態におけるエッジ数の変化と同様に、行方向の振動速度が大きくなるほど、画像行エッジ量は減少する。一方、列方向の振動速度が大きくなるほど、画像列エッジ量は減少する。
【０１０４】
また、第１の実施形態と同様に、光学顕微鏡２００に固有な振動の振動速度の時間に対する変化に基づいて、時間に対する画像行エッジ量及び画像列エッジ量の変化が算出され、ＥＥＰＲＯＭに予め記憶される。
【０１０５】
位相検出部１１８では、第１〜第２０のフレームの第１モード画像信号の生成時期に対する画像行エッジ量及び画像列エッジ量の分布が、第１の実施形態と同様に描かれる。また、画像行エッジ量及び画像列エッジ量の時間変化曲線がＥＥＰＲＯＭから読出される。
【０１０６】
位相検出部１１８では、画像行エッジ量が時間に対する画像行エッジ量の変化の曲線上に重なるように、変化曲線の位相が合わせられる。また、同様に、画像列エッジ量が時間に対する画像列エッジ量の変化の曲線上に重なるように、変化曲線の位相が合わせられる。
【０１０７】
位相を合わせることにより、第１の実施形態と同様に、画像行エッジ量の変化曲線と画像列エッジ量の変化曲線とが描かれる。画像行エッジ量及び画像列エッジ量の変化曲線を描くことにより、現在を含む各時期の行方向及び列方向の振動の位相が求められる。
【０１０８】
画像行エッジ量及び画像列エッジ量の変化曲線は、時期決定部１１９に送信される。時期決定部１１９では、受信した画像行エッジ量及び画像列エッジ量の変化曲線に基づいて、第２の撮像モードにおける撮像実行の時期が決定される。第２の撮像モードにおける撮像実行の時期は、画像行エッジ量及び画像列エッジ量がそれぞれ極大となる時期に定められる。決定した撮像時期はシステムコントローラ１１１に伝達される。
【０１０９】
第２の撮像モードにおける撮像実行の時期が定められると、第１の撮像モードを終了して、第２の撮像モードに切替えられる。第２の撮像モードでは、第１の実施形態と同様に、行方向の両端部及び列方向の両端部で撮像が実行され、第２モード画像信号が生成される。第１の実施形態と同様に、行方向の両端部及び列方向の両端部で生成された第２モード画像信号は行画像信号及び列画像信号に定められる。
【０１１０】
前述のように、第２モード画像信号は前段信号処理部１１３に入力され、所定の前段信号処理が施される。前段信号処理の施された第２モード画像信号は、行エッジフィルタ１１４０、列エッジフィルタ１１５０、及び判別部１１６０に送信される。
【０１１１】
行エッジフィルタ１１４０及び列エッジフィルタ１１５０によって、各画素における行方向及び列方向のエッジ量が算出され、判別部１１６０に送信される。判別部１１６０には、前述のように第２モード画像信号も入力される。以下に説明するように、判別部１１６０では後の画像合成に用いる混合比率が、行方向及び列方向のエッジの有無と、第２モード画像信号に基づいて算出される。
【０１１２】
判別部１１６０では、第１の実施形態と同様に、振動の位相が１８０度異なる行画像信号に対してパターンマッチングが行われる。また、振動の位相が１８０度異なる列画像信号に対してパターンマッチングが行われる。また、判別部１１６０では、第１の実施形態と同様に、行画像信号及び列画像信号に画像変換が施され、正及び負の行画像と、正及び負の列画像とが作成される。第１の実施形態と同様に、判別部１１６０は、正及び負の行画像と、正及び負の列画像とに基づいて、観察可能領域を設定する。
【０１１３】
第１の実施形態と異なり、判別部１１６０では、正及び負の行画像と正及び負の列画像とにおける同一の画素毎に算出された行エッジ量が合計され、行エッジ合計量が算出される。また、正及び負の行画像と正及び負の列画像とにおける同一の画素毎に算出された列エッジ量が合計され、列エッジ合計量が算出される。なお、行エッジ合計量及び列エッジ合計量は、観察可能領域内に配置される画素に対して、算出される。
【０１１４】
算出された画素毎の行エッジ合計量Ｅｓｒ及び列エッジ合計両Ｅｓｃが、正及び負の行画像と、正及び負の列画像とともに、判別部１１６０から合成部１２００に伝達される。合成部１２００では、行エッジ合計量Ｅｓｒ、列エッジ合計量Ｅｓｃ、正及び負の行画像、及び正及び負の列画像に基づいて、観察可能領域ＯＡに対応する観察画像が合成される。
【０１１５】
第１の実施形態と同様に、正及び負の行画像と、正及び負の列画像とにおける同一の画素に対応する画素信号を加重平均することにより、観察画像を構成する観察画素信号が生成される。加重平均に用いる重み付け係数は行エッジ合計量Ｅｓｒと列エッジ合計量Ｅｓｃとに基づいて算出される。以下に画素信号の加重平均について説明する。
【０１１６】
正の行画像、負の行画像、正の列画像、及び負の列画像において対応する画素の画素信号を、それぞれＰＳｐｒ、ＰＳｎｒ、ＰＳｐｃ、ＰＳｎｃとすると、観察画素信号は、（（Ｅｓｒ／２×（Ｅｓｒ＋Ｅｓｃ））×（ＰＳｐｒ＋ＰＳｎｒ）＋（Ｅｓｃ／２×（Ｅｓｒ＋Ｅｓｃ））×（ＰＳｐｃ＋ＰＳｎｃ））を算出することにより、生成される。
【０１１７】
第１の実施形態と同様に、全観察画素信号を生成すると、全観察画素信号は観察画像信号として、後段信号処理部１２１に送信される。後段信号処理部１２１において、第１の実施形態と同じく、所定の後段信号処理が施され、モニタ２に送信される。
【０１１８】
次に、第２の実施形態において、対象標本Ｓの観察時に、プロセッサ１０３により実行される観察制御について、図１５のフローチャートを用いて説明する。なお、観察制御の開始条件と終了条件とは第１の実施形態と同じである。
【０１１９】
ステップＳ２０１では、第１の実施形態におけるステップＳ１０１と同じ処理を実行して、ステップＳ２０２に進む。
【０１２０】
ステップＳ２０２では、プロセッサ１０３はステップＳ２０１における撮像により得られる第１モード画像信号における行方向及び列方向のエッジ量を算出する。第１モード画像信号を構成する全画素信号に対して算出された行方向のエッジ量及び列方向のエッジ量が別々に合計され、画像行エッジ量及び画像列エッジ量が算出される。画像行エッジ量及び画像列エッジ量の算出を終えると、ステップＳ２０３に進む。
【０１２１】
ステップＳ２０３では、プロセッサ１０３は画像行エッジ両及び画像列エッジ量を、当該第１モード画像信号の生成時期とともにＳＤＲＡＭ１１７に記憶させる。ＳＤＲＡＭ１１７に記憶すると、ステップＳ２０４に進む。
【０１２２】
ステップＳ２０４では、プロセッサ２０３は２０フレームの第１モード画像信号に対応する画像行エッジ量及び画像列エッジ量が記憶されているか否かを判別する。２０フレームの第１モード画像信号に対応する画像行エッジ量及び画像列エッジ量が格納されていないときには、ステップＳ２０２に戻り、次のフレームの第１モード画像信号に対してエッジ量の算出（Ｓ２０２）及びＳＤＲＡＭ１１７への記憶（Ｓ２０３）を繰返す。ステップＳ２０４において、２０フレームの第１モード画像信号に対応する画像行エッジ量及び画像列エッジ量が格納されているときには、ステップＳ２０５に進む。
【０１２３】
ステップＳ２０５では、プロセッサ１０３はＳＤＲＡＭ１１７に記憶された時間と画像業エッジ量及び画像列エッジ量の関係及びＥＥＰＲＯＭに格納された時間に対する画像行エッジ量及び画像列エッジ量の変化曲線とに基づいて、現在時間に対する画像行エッジ量及び画像列エッジ量の変化の関係を検出する。変化関係を検出すると、ステップＳ２０６に進む。
【０１２４】
ステップＳ２０６では、プロセッサ１０３はステップＳ２０５において検出した時間と画像行エッジ量及び画像列エッジ量の変化の関係に基づいて、第２の撮像モードにおける撮像実行時期を決定する。撮像実行時期を決定すると、ステップＳ２０７に進む。
【０１２５】
ステップＳ２０７，２０８では、第１の実施形態におけるステップＳ１０７、Ｓ１０８と同じ処理を実行する。ステップＳ２０８の処理の後に、ステップＳ２０９に進む。
【０１２６】
ステップＳ２０９では、プロセッサ１０３は４フレームの第２モード画像信号それぞれにおける行方向及び列方向のエッジ量を算出する。全画素の行方向及び列方向のエッジ量の算出後、ステップＳ２１０に進む。
【０１２７】
ステップＳ２１０、Ｓ２１１では、第１の実施形態におけるステップＳ１１０、Ｓ１１１と同じ処理を実行する。ステップＳ２１１の処理の後に、ステップＳ２１２に進む。
【０１２８】
ステップＳ２１２では、プロセッサ１０３は正及び負の行画像と正及び負の行画像において同じ画素の行方向のエッジ量を合計して行エッジ合計量を算出する。また、正及び負の行画像と正及び負の列画像において同じ画素の列方向のエッジ量を合計して列エッジ合計量を算出する。行エッジ合計量Ｅｓｒ及び列エッジ合計量Ｅｓｃを、観察可能領域内の全画素に対して算出すると、ステップＳ２１３に進む。
【０１２９】
ステップＳ２１３では、プロセッサ１０３はステップＳ２１１で作成した正及び負の行画像、及び正及び負の列画像と、ステップＳ１１２で算出した行エッジ合計量Ｅｓｒ及び列エッジ合計量Ｅｓｃとに基づいて観察画像を作成する。観察画像を作成すると、観察画像信号をモニタ２に送信して、表示させる。１フレームの観察画像を作成すると、ステップ２０８に戻る。
【０１３０】
以上のような構成の第２の実施形態の撮像システムによっても、第１の撮像モードにおいて撮像した画像に基づいて対象標本に対する撮像素子１０７の相対振動の位相を検出可能である。さらに、検出した位相に基づいて、行方向に沿った振動速度の絶対値が最小となる時期及び列方向に沿った振動速度の絶対値が最小となる時期が判明する。また、第２の撮像モードにおいては、いずれかの方向の振動速度の絶対値が最小となる時期に画像が撮像され、撮像した画像に基づいて観察画像が作成される。このような構成により、観察画像における振動によるブレの影響を低減化可能である。
【０１３１】
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。
【０１３２】
例えば、上記第１、第２の実施形態において、行方向エッジフィルタ及び列方向エッジフィルタが用いられる構成であるが、行方向及び列方向以外の異なる２方向のエッジフィルタが用いられてもよい。
【０１３３】
また、上記第１の実施形態において行方向のエッジ数及び列方向のエッジ数が極大になる時期、及び第２の実施形態において画像行エッジ量及び画像列エッジ量が極大になる時期、すなわち行方向及び列方向の振動速度がそれぞれ最小となる時期が第２の撮像モードにおける画像の撮像実行の時期に定められる構成である。しかし、、撮像時期はそれぞれの方向のエッジ数が極大になる時期、及び画像行エッジ量及び画像列エッジ量が極大になる時期に限定されない。それぞれの方向のエッジ数が極大になる時期、または画像行エッジ量及び画像列エッジ量が極大になる時期の近辺、すなわち振動速度が所定値未満となる時期を、撮像実行の時期に定めてもよい。
【０１３４】
また、上記第１、第２の実施形態において、振動の位相が１８０度異なる行画像信号に対してパターンマッチングを行う構成であるが、振動の位相が互いに９０度異なる行画像信号と列画像信号に対してパターンマッチングを行う構成であってもよい。行画像と列画像とのパターンマッチングによっても、行画像の行方向への変位の正負及び変位量と、列画像の列方向への変位の正負及び変位量とを算出することが可能である。上記第１、第２の実施形態に比べて、パターンマッチングを行う画像信号の数を減らせるので、全体の処理の高速化を図ることが可能である。
【０１３５】
また、上記第１、第２の実施形態において、正の行画像、負の行画像、正の列画像、及び負の列画像を用いて観察画像が合成される構成であるが、正の行画像及び負の行画像の一方と、正の列画像と負の列画像の一方とを用いて観察画像を合成する構成であってもよい。
【０１３６】
また、上記第１の実施形態において行合計エッジ数Ｅｒ及び列合計エッジ数Ｅｃが、観察画素信号の算出の重み付け係数に用いられる構成である。しかし、行合計エッジ数Ｅｒの代わりに任意の小領域に対する行画像における行方向のエッジ数を用い、列合計エッジ数Ｅｃの代わりに同じ小領域に対する列画像における列方向のエッジ数を用いて重み付け係数を算出することも可能である。同じ小領域に対して行方向のブレの少ない行画像における行方向のエッジ数と列方向のブレの少ない列画像における列方向のエッジ数との間には、ブレの影響が生じない。それゆえ、以上のような構成によっても第１の実施形態と同様の効果を得ることが可能である。
【０１３７】
同様に、上記第２の実施形態において行エッジ合計量Ｅｓｒ及び列エッジ合計量Ｅｓｃが、観察画素信号の算出の重み付け係数に用いられる構成である。しかし、行エッジ合計量Ｅｓｒの代わりに行画像における画素の行方向のエッジ量を用い、列エッジ合計量Ｅｓｃの代わりに列画像における同じ画素の列方向のエッジ量を用いて重み付け係数を算出することも可能である。同様に、同じ画素に対して行方向のブレの少ない行画像における行方向のエッジ量と列方向のブレの少ない列画像における列方向のエッジ量との間には、ブレの影響が生じない。それゆえ、以上のような構成によっても第１の実施形態と同様の効果を得ることが可能である。
【０１３８】
また、上記第１、第２の実施形態において、第１、第２の撮像モードにおいて同じ行エッジフィルタ１１４、１１４０と列エッジフィルタ１１５、１１５０とを用いる構成であるが、プロセッサ１０３に上述の行エッジフィルタ１１４、１１４０及び列エッジフィルタ１１５、１１５０とは別の行エッジフィルタと列エッジフィルタとを設ける構成であってもよい。
【０１３９】
上記の行エッジフィルタ１１４、１１４０及び列エッジフィルタ１１５、１１５０は、対象標本Ｓのそれぞれの方向のエッジだけでなく、ブレの影響も含んだ信号値を出力する。第２の撮像モードではブレの影響を除外したそれぞれの方向のエッジが検出されることが望ましい。それゆえ、図１６に示すように、第２の撮像モードに適するように、ブレの影響を低減化し対象標本Ｓの行方向及び列方向のエッジを検出するフィルタを用いてもよい。図１６のフィルタを用いれば、行画像または列画像の一方のみを用いてエッジがより多い方向を求めること、及び重み付け係数の算出に用いることが可能である。
【０１４０】
また、上記第１の実施形態において、行合計エッジ数Ｅｒと列合計エッジ数Ｅｃを小領域毎に算出する構成であるが、画像全体で行合計エッジ数Ｅｒ及び列合計エッジ数Ｅｃを算出する構成でもよい。画像全体で算出することにより計算の負荷を減らすことが可能である。また、上記第２の実施形態において、行エッジ合計量Ｅｓｒ及び列エッジ合計量Ｅｓｃを画素毎に算出する構成であるが、画像全体で算出する構成でもよいし、相互に隣接する複数の画素毎に算出する構成であってもよい。
【０１４１】
また、上記第１、第２の実施形態において、第１の撮像モードでは、図５に示すように撮像素子１０７の受光面ＲＳの中央近傍の一部の領域が画像の読出し領域に定められる構成であるが、読出し領域はこのような形状に限定されない。
【０１４２】
例えば、第１の撮像モードにおいて、行方向のエッジと列方向のエッジとを別々の画像で検出する場合には、図１７（ａ）に示すように１列に並ぶ複数の画素（符号“Ａ”参照）を列方向のエッジを検出するための読出し領域に設定し、図１７（ｂ）に示すように１行に並ぶ複数の画素（符号“Ｂ”参照）を行方向のエッジを検出するための読出し領域に設定してもよい。更には、図１７（ｃ）に示すように複数の列に並ぶ複数の画素（符号“Ｃ”参照）を列方向のエッジを検出するための読出し領域に設定してもよい。
【０１４３】
また、上記第１、第２の実施形態において、観察画像を構成する画素の画素信号は行画像及び列画像における画素信号を加重平均することにより生成される構成であるが、行合計エッジ数Ｅｒ及び列合計エッジ数Ｅｃ、または行エッジ合計量Ｅｓｒ及び列エッジ合計量Ｅｓｃに基づいて簡易に生成される構成であってもよい。例えば、行合計エッジ数Ｅｒが列合計エッジ数Ｅｃより大きい場合、または行エッジ合計量Ｅｓｒが列エッジ合計量Ｅｓｃより大きい場合には行画像を観察画像とし、列合計エッジ数Ｅｃが行合計エッジ数Ｅｒより大きい場合または列エッジ合計量Ｅｓｃが行エッジ合計量Ｅｓｒより大きい場合には列画像を観察画像とし、行合計エッジ数Ｅｒ及び列合計エッジ数Ｅｃが同じである場合または行エッジ合計量Ｅｓｒ及び列エッジ合計量Ｅｓｃが同じである場合には行画像と列画像とを単純平均することにより観察画像を生成する構成であってもよい。
【０１４４】
また、上記第１、第２の実施形態において、第１の撮像モード及び第２の撮像モードにおいて対象標本Ｓを照明する照明光は単一の光源であるＬＥＤ１０４から出射される構成であるが、撮像モード別に異なる光源が設けられ、撮像モード毎に選択される構成であってもよい。
【０１４５】
前述のように、第１の撮像モードにおいては、撮像素子の露光時間に比べて発光時間を短くすることによる効果が得られる。一方、第２の撮像モードにおいては、視野内に均一な光が照明されること及び照明光のスペクトル特性が優れていること等のように、撮像画像の画質を向上させる照明条件を満たすことが求められる。それゆえ、第１の撮像モードと第２の撮像モードとにおいて、別の光源を用いることにより、それぞれの目的に最適な光源を用いることが可能となる。
【符号の説明】
【０１４６】
１００ 顕微鏡用撮像装置（撮像システム）
１０４ ＬＥＤ（光源）
１０５ ドライバ（光源制御部）
１０７ 撮像素子
１０８ ドライバ（撮像素子駆動部）
１１４、１１４０ 行エッジフィルタ（エッジ検出部）
１１５、１１５０ 列エッジフィルタ（エッジ検出部）
１１６、１１６０ 判別部
１１８ 位相検出部
１１９ 時期決定部
１２０、１２００ 合成部
１２１ 後段信号処理部
２００ 光学顕微鏡（観察機器）
２０５ 対物レンズ（光学系）
ＣＡ 中央近傍の一部の領域
Ｓ 対象標本（試料）
【特許請求の範囲】
【請求項１】
試料に対して位置が固定された光学系によって結像される前記試料の画像を撮像画像として撮像する撮像素子と、
第１の撮像モードでは前記試料に対する前記撮像素子の相対的な振動である相対振動の位相を検出するための第１の撮像を前記撮像素子に実行させ、前記第１の撮像モードと異なる第２の撮像モードでは前記試料の観察に用いるための第２の撮像を前記撮像素子に実行させる撮像素子駆動部と、
前記第１の撮像により得られた前記撮像画像によって前記位相を検出し、検出された該位相に基づいて前記第２の撮像モードにおける前記第２の撮像の実行時期を決定し、前記第２の撮像により前記撮像素子により生成される画像信号に基づいて前記試料の観察に用いるための観察画像を作成する画像処理部とを備える
ことを特徴とする撮像システム。
【請求項２】
請求項１に記載の撮像システムであって、
前記撮像画像を形成する画素毎に、互いに異なる第１、第２の方向のエッジに応じて変わるエッジ変数を検出するエッジ検出部を備え、
前記第１の撮像モードでは、前記第１の撮影モード実行期間の複数の所定の時期に前記第１の撮像が実行され、
前記画像処理部は、
前記第１の撮影モードで撮像した前記撮像画像毎の前記第１、第２の方向のエッジ変数を前記エッジ検出部に検出させ、
前記撮像画像毎の前記第１、第２の方向のエッジ変数それぞれに基づいて、第１、第２の判別数を算出しし、
前記撮像画像毎の前記第１、第２の判別数それぞれに基づいて前記第１、第２の方向の前記相対振動の位相を検出し、
前記所定の時期に撮像された前記撮像画像毎の前記検出した位相に基づいて、前記第１の方向の前記相対振動における前記第１の方向の速度が第１の所定値未満となる第１の時期、及び前記第２の方向の前記相対振動における前記第２の方向の速度が第２の所定値未満となる第２の時期の少なくとも一方を、前記第２の撮像の実行時期に決定する
ことを特徴とする撮像システム。
【請求項３】
請求項２に記載の撮像システムであって、
前記第１の方向のエッジ変数は、前記第１の方向のエッジの有無を表す変数であり、
前記第２の方向のエッジ変数は、前記第２の方向のエッジの有無を表す変数であり、
前記第１の判別数は、前記撮像画像内の前記第１の方向のエッジを有する前記画素の数であり、
前記第２の判別数は、前記撮像画像内の前記第２の方向のエッジを有する前記画素の数である
ことを特徴とする撮像システム。
【請求項４】
請求項２に記載の撮像システムであって、
前記第１の方向のエッジ数変は、前記第１の方向のエッジ量であり、
前記第２の方向のエッジ変数は、前記第２の方向のエッジ量であり、
前記第１の判別数は、前記撮像画像内の前記画素毎の前記第１の方向のエッジ量の合計であり、
前記第２の判別数は、前記撮像画像内の前記画素毎の前記第２の方向のエッジ量の合計である
ことを特徴とする撮像システム。
【請求項５】
請求項１〜請求項４のいずれか１項に記載の撮像システムであって、前記撮像素子駆動部は、前記第１の撮影モードにおいては前記第２の撮影モードよりもフレームレートを高くすることを特徴とする撮像システム。
【請求項６】
請求項５に記載の撮像システムであって、前記撮像素子駆動部は、前記第１の撮像モードにおける前記撮像素子における画像読出し領域を前記第２の撮像モードにおける前記画像読出し領域より小さくすることにより、前記第１の撮影モードにおいては前記第２の撮影モードよりもフレームレートを高くすることを特徴とする撮像システム。
【請求項７】
請求項６に記載の撮像システムであって、前記第１の方向及び前記第２の方向の何れかの前記画像読出し領域を縮小することにより、前記第１の撮像モードにおける前記撮像画像の大きさを前記第２の撮像モードにおける前記撮像画像の大きさより小さくすることを特徴とする撮像システム。
【請求項８】
請求項１〜請求項７のいずれか１項に記載の撮像システムであって、
前記試料を、パルス幅を変更可能なパルス光によって照明する光源と、
前記第１の撮像モードにおける前記パルス幅を、前記第２の撮像モードにおける前記パルス幅より狭める光源制御部とを備える
ことを特徴とする撮像システム。
【請求項９】
請求項１〜請求項７のいずれか１項に記載の撮像システムであって、前記第１の撮像モードにおいて前記試料を照明する第１の光源と、前記第２の撮像モードにおいて前記試料を照明する第２の光源とを備えることを特徴とする撮像システム。
【請求項１０】
請求項２〜請求項９のいずれか１項に記載の撮像システムであって、前記画像処理部は、前記第１の時期に前記第２の撮像を実行することにより取得される第１の前記撮像画像と、前記第２の時期に前記第２の撮像を実行することにより取得される第２の前記撮像画像との少なくとも一方に基づいて、前記観察画像を作成することを特徴とする撮像システム。
【請求項１１】
請求項１０に記載の撮像システムであって、前記画像処理部は、前記第１の撮像画像及び前記第２の撮像画像の少なくとも一方におけるエッジ方向を検出し、前記エッジ方向に基づいて前記観察画像を作成することを特徴とする撮像システム。
【請求項１２】
請求項１１に記載の撮像システムであって、前記画像処理部は、前記第１の撮像画像及び前記第２の撮像画像の少なくとも一方における前記第１、第２の方向のエッジ変数を前記エッジ検出部に検出させ、前記第１、第２のエッジ変数に基づいて前記エッジ方向を検出することを特徴とする撮像システム。
【請求項１】
試料に対して位置が固定された光学系によって結像される前記試料の画像を撮像画像として撮像する撮像素子と、
第１の撮像モードでは前記試料に対する前記撮像素子の相対的な振動である相対振動の位相を検出するための第１の撮像を前記撮像素子に実行させ、前記第１の撮像モードと異なる第２の撮像モードでは前記試料の観察に用いるための第２の撮像を前記撮像素子に実行させる撮像素子駆動部と、
前記第１の撮像により得られた前記撮像画像によって前記位相を検出し、検出された該位相に基づいて前記第２の撮像モードにおける前記第２の撮像の実行時期を決定し、前記第２の撮像により前記撮像素子により生成される画像信号に基づいて前記試料の観察に用いるための観察画像を作成する画像処理部とを備える
ことを特徴とする撮像システム。
【請求項２】
請求項１に記載の撮像システムであって、
前記撮像画像を形成する画素毎に、互いに異なる第１、第２の方向のエッジに応じて変わるエッジ変数を検出するエッジ検出部を備え、
前記第１の撮像モードでは、前記第１の撮影モード実行期間の複数の所定の時期に前記第１の撮像が実行され、
前記画像処理部は、
前記第１の撮影モードで撮像した前記撮像画像毎の前記第１、第２の方向のエッジ変数を前記エッジ検出部に検出させ、
前記撮像画像毎の前記第１、第２の方向のエッジ変数それぞれに基づいて、第１、第２の判別数を算出しし、
前記撮像画像毎の前記第１、第２の判別数それぞれに基づいて前記第１、第２の方向の前記相対振動の位相を検出し、
前記所定の時期に撮像された前記撮像画像毎の前記検出した位相に基づいて、前記第１の方向の前記相対振動における前記第１の方向の速度が第１の所定値未満となる第１の時期、及び前記第２の方向の前記相対振動における前記第２の方向の速度が第２の所定値未満となる第２の時期の少なくとも一方を、前記第２の撮像の実行時期に決定する
ことを特徴とする撮像システム。
【請求項３】
請求項２に記載の撮像システムであって、
前記第１の方向のエッジ変数は、前記第１の方向のエッジの有無を表す変数であり、
前記第２の方向のエッジ変数は、前記第２の方向のエッジの有無を表す変数であり、
前記第１の判別数は、前記撮像画像内の前記第１の方向のエッジを有する前記画素の数であり、
前記第２の判別数は、前記撮像画像内の前記第２の方向のエッジを有する前記画素の数である
ことを特徴とする撮像システム。
【請求項４】
請求項２に記載の撮像システムであって、
前記第１の方向のエッジ数変は、前記第１の方向のエッジ量であり、
前記第２の方向のエッジ変数は、前記第２の方向のエッジ量であり、
前記第１の判別数は、前記撮像画像内の前記画素毎の前記第１の方向のエッジ量の合計であり、
前記第２の判別数は、前記撮像画像内の前記画素毎の前記第２の方向のエッジ量の合計である
ことを特徴とする撮像システム。
【請求項５】
請求項１〜請求項４のいずれか１項に記載の撮像システムであって、前記撮像素子駆動部は、前記第１の撮影モードにおいては前記第２の撮影モードよりもフレームレートを高くすることを特徴とする撮像システム。
【請求項６】
請求項５に記載の撮像システムであって、前記撮像素子駆動部は、前記第１の撮像モードにおける前記撮像素子における画像読出し領域を前記第２の撮像モードにおける前記画像読出し領域より小さくすることにより、前記第１の撮影モードにおいては前記第２の撮影モードよりもフレームレートを高くすることを特徴とする撮像システム。
【請求項７】
請求項６に記載の撮像システムであって、前記第１の方向及び前記第２の方向の何れかの前記画像読出し領域を縮小することにより、前記第１の撮像モードにおける前記撮像画像の大きさを前記第２の撮像モードにおける前記撮像画像の大きさより小さくすることを特徴とする撮像システム。
【請求項８】
請求項１〜請求項７のいずれか１項に記載の撮像システムであって、
前記試料を、パルス幅を変更可能なパルス光によって照明する光源と、
前記第１の撮像モードにおける前記パルス幅を、前記第２の撮像モードにおける前記パルス幅より狭める光源制御部とを備える
ことを特徴とする撮像システム。
【請求項９】
請求項１〜請求項７のいずれか１項に記載の撮像システムであって、前記第１の撮像モードにおいて前記試料を照明する第１の光源と、前記第２の撮像モードにおいて前記試料を照明する第２の光源とを備えることを特徴とする撮像システム。
【請求項１０】
請求項２〜請求項９のいずれか１項に記載の撮像システムであって、前記画像処理部は、前記第１の時期に前記第２の撮像を実行することにより取得される第１の前記撮像画像と、前記第２の時期に前記第２の撮像を実行することにより取得される第２の前記撮像画像との少なくとも一方に基づいて、前記観察画像を作成することを特徴とする撮像システム。
【請求項１１】
請求項１０に記載の撮像システムであって、前記画像処理部は、前記第１の撮像画像及び前記第２の撮像画像の少なくとも一方におけるエッジ方向を検出し、前記エッジ方向に基づいて前記観察画像を作成することを特徴とする撮像システム。
【請求項１２】
請求項１１に記載の撮像システムであって、前記画像処理部は、前記第１の撮像画像及び前記第２の撮像画像の少なくとも一方における前記第１、第２の方向のエッジ変数を前記エッジ検出部に検出させ、前記第１、第２のエッジ変数に基づいて前記エッジ方向を検出することを特徴とする撮像システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１３−１７０９９（Ｐ２０１３−１７０９９Ａ）
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願番号】特願２０１１−１４９５３６（Ｐ２０１１−１４９５３６）
【出願日】平成２３年７月５日（２０１１．７．５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願日】平成２３年７月５日（２０１１．７．５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]