デジタル顕微鏡
【課題】短時間の撮影で、振動がある場合でも画質を向上させることが可能で、且つ、コストの増大を抑えたデジタル顕微鏡を提供する。
【解決手段】デジタル顕微鏡１は、被写体１３の撮像画像を生成する撮像部１１と、撮像画像の動きベクトルを検出する動きベクトル検出部２０１、及び前記動きベクトルを用いて前記撮像画像のブレを補正する画像補正部２０２を有する画像ブレ補正部２０と、撮像画像を記憶する動画像記憶部３０１、動画像記憶部３０１に記憶された撮像画像に対応した動きベクトルを記憶する動きベクトル記憶部３０２、及び動画像記憶部３０１に記憶された撮像画像と動きベクトル記憶部３０２に記憶された動きベクトルとを用いて画像演算を行う画像演算部３０３を有する高画質化部３０とを備え、動きベクトル記憶部３０２は、動きベクトル検出部２０１で検出される動きベクトルを記憶する。
【解決手段】デジタル顕微鏡１は、被写体１３の撮像画像を生成する撮像部１１と、撮像画像の動きベクトルを検出する動きベクトル検出部２０１、及び前記動きベクトルを用いて前記撮像画像のブレを補正する画像補正部２０２を有する画像ブレ補正部２０と、撮像画像を記憶する動画像記憶部３０１、動画像記憶部３０１に記憶された撮像画像に対応した動きベクトルを記憶する動きベクトル記憶部３０２、及び動画像記憶部３０１に記憶された撮像画像と動きベクトル記憶部３０２に記憶された動きベクトルとを用いて画像演算を行う画像演算部３０３を有する高画質化部３０とを備え、動きベクトル記憶部３０２は、動きベクトル検出部２０１で検出される動きベクトルを記憶する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像入力が可能なデジタル顕微鏡に関するものである。
【背景技術】
【０００２】
従来、病理検査など微小物体の観察では、光学顕微鏡が用いられてきた。光学顕微鏡は、対物レンズ、接眼レンズ、及び被写体を照射するための照明光源などで構成される。また、近年では、ＣＣＤやＣＭＯＳなどの２次元撮像素子を用いたデジタル顕微鏡の普及が始まっている。特に、接眼レンズを具備せず、モニタだけで観察するデジタル顕微鏡の市場規模が大きくなってきている。
【０００３】
デジタル顕微鏡では、一般的に１３０万〜２００万画素程度の撮像素子を用いて、ステージ移動や対物レンズの切り替えを行いながら観察したい注目被写体を探索する「ライブモード」と、注目被写体が決まってから注目被写体の画像を静止して撮像、表示する「静止画モード」とを有する。「ライブモード」では観察すべき注目被写体を短時間で探すため、フレームレートの高い撮像が必要となり、例えば２００万画素で１５フレーム／秒の撮像を行い、モニタに撮像画像を表示する。一方、「静止画モード」では高画質が求められ、２００万画素程度では画像観察において十分な解像度とはいえない。そのため、撮像素子を移動させて画素シフトにより高解像度撮影を行う技法（以下、画像シフト法と称する）が知られている（例えば、特許文献１参照）。この画素シフト法によれば、１０００万画素相当の解像度を得ることが可能である。
【０００４】
ところで、接眼レンズを具備しないデジタル顕微鏡では、観察者はモニタ画面のみを観察することとなる。観察者は顕微鏡をライブモードに設定して、モニタ画面を見ながらステージ移動やフォーカス調整、倍率（対物レンズ）変更などを行うが、ステージ移動などの操作により顕微鏡筐体や顕微鏡を設置してある机などが揺れ、モニタに拡大表示する画像に画像ブレが生じ、非常に見づらい画像となってしまう。このような画像ブレを補正するために、ビデオカメラなどで広く普及している、フレーム毎の画像の位置を検出して表示位置を補正する画像ブレ補正を行うことが可能である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９―１２８７２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
画素シフト法では解像度の高い画像を得ることはできるが、同一被写体に対して４乃至９枚程度の画像が必要であり、画素ピッチ以下の精度でステージ又は撮像素子を移動させて撮影を行う。４枚入力する場合には１／２画素ピッチ、９枚入力する場合には１／３画素ピッチで移動する必要があり、高精度な駆動機構が必要となり、また、動き検出する処理部が新たに必要となるため、コストが増大する。また、駆動そのものに時間がかかるため１枚の静止画の撮影に３〜５秒程度の時間がかかる。また、撮影時間が長いことから、この撮影中に振動などの影響を受けることがあり、想定した移動距離に必ずしも動いていないことがあり、その場合には解像度を向上させることはできない。
【０００７】
このように画素シフト法では、コストが増大する、撮影に時間がかかる、振動がある場合には必ずしも画質が向上しない、といった課題があった。また、振動を抑えるために筐体などを堅固なものすると、さらにコストが増大するという課題もあった。なお、画素シフト法以外の高解像度化を行う方法としては、対物レンズを高倍率に切り替えて画像を拡大し、複数枚の画像を撮影して、それらの画像を貼り合わせて高解像度な画像を得る方法もあるが、この手法でも高価かつ時間がかかるという同様の課題があった。
【０００８】
本発明の目的は、上記問題を解決するため、短時間の撮影で、振動がある場合でも画質を向上させることが可能で、且つ、コストの増大を抑えたデジタル顕微鏡を提供することにある。
【課題を解決するための手段】
【０００９】
画像ブレ補正の機能は近年のデジタル顕微鏡では標準装備されつつある。画像ブレ補正は、フレーム間の画像移動量（動きベクトル）を検出し、検出した動きベクトルに応じて画像表示位置（メモリからの読み出し位置など）を変更することにより、モニタ上での画像の動きを止めている。そこで、画像ブレ補正で検出している動きベクトルを利用して、複数フレームの撮像画像を用いて高画質化処理を行う。
【００１０】
すなわち、上記課題を解決するため、本発明に係るデジタル顕微鏡は、被写体の撮像画像を生成する撮像部と、前記撮像部により生成された複数フレームの撮像画像のフレーム間の動きベクトルを検出する動きベクトル検出部、及び前記動きベクトルを用いて前記撮像画像のブレを補正する画像補正部、を有する画像ブレ補正部と、前記撮像部により生成された複数フレームの撮像画像を記憶する動画像記憶部、前記動画像記憶部に記憶された複数フレームの撮像画像に対応した動きベクトルを記憶する動きベクトル記憶部、及び前記動画像記憶部に記憶された複数フレームの撮像画像及び前記動きベクトル記憶部に記憶された動きベクトルを用いて前記撮像画像を高画質化処理する画像演算部、を有する高画質化部と、を備え、前記動きベクトル記憶部は、前記動きベクトル検出部で検出される動きベクトルを記憶することを特徴とする。
【００１１】
また、本発明に係るデジタル顕微鏡において、前記画像演算部は、高画質化処理した画像を得るための静止画モードを開始する際に、前記動画像記憶部に記憶された前記開始直前の複数フレームの撮像画像、及び前記動きベクトル記憶部に記憶された動きベクトルを取得することを特徴する。
【００１２】
また、本発明に係るデジタル顕微鏡において、前記画像演算部は、前記動画像記憶部に記憶された順次のフレームの撮像画像を取得するのに同期して、前記動きベクトル記憶部から対応する動きベクトルを取得することを特徴する。
【００１３】
また、本発明に係るデジタル顕微鏡において、前記画像演算部は、前記動画像記憶部から取得した複数フレームの撮像画像及び動きベクトル記憶部から取得した動きベクトルを用いて画素間の画素値を推定して超解像画像を生成する超解像処理部を有することを特徴する。
【００１４】
また、本発明に係るデジタル顕微鏡において、前記画像演算部は、前記動きベクトル記憶部から取得した動きベクトルを用いて、前記動画像記憶部から取得した複数フレームの撮像画像のそれぞれの位置が重なるように幾何補正を行い、該幾何補正された画像に基づいてノイズを低減するノイズ低減部を有することを特徴する。
【発明の効果】
【００１５】
本発明によれば、画像ブレ補正部で算出した動きベクトルを用いて高画質化処理を行うため、動き検出のための新たな処理部を必要とせず、コストアップを抑えることができる。
【００１６】
また、ライブモード中に撮影した複数フレームの撮像画像及び動きベクトルを用いて高画質化処理を行うことにより、高画質化処理後の画像をモニタに表示するまでの時間を短縮することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明による第１の実施形態のデジタル顕微鏡の画像処理部の概略構成を示すブロック図である。
【図２】本発明による実施形態のデジタル顕微鏡の外観図である。
【図３】本発明による第１の実施形態のデジタル顕微鏡の画像処理部の構成を示すブロック図である。
【図４】本発明による第１の実施形態のデジタル顕微鏡の画像処理部の動作を説明する図である。
【図５】本発明による第２の実施形態のデジタル顕微鏡の画像処理部の動作を説明する図である。
【図６】本発明による第３の実施形態のデジタル顕微鏡の画像処理部の構成を示すブロック図である。
【図７】本発明による第３の実施形態のデジタル顕微鏡の画像処理部の動作を説明する図である。
【発明を実施するための形態】
【００１８】
以下、本発明によるデジタル顕微鏡の実施形態について、図面を参照して詳細に説明する。
【００１９】
（第１の実施形態）
図１は、本発明による実施形態のデジタル顕微鏡の画像処理部の概略構成を示すブロック図である。画像処理部１０は、画像のブレを補正する画像ブレ補正機能と、画像を高画質化する高画質化機能を有し、撮像部１１から入力される撮像画像を画像処理してモニタ１９に出力する処理部であり、画像ブレ補正部２０と、高画質化部３０と、静止画像記憶部８０とを備える。
【００２０】
画像処理部１０は、観察者から画像ブレ補正処理を行うように指示された場合には、画像ブレ補正部２０により撮像画像のブレを補正し、観察者から高画質化処理を行うように指示された場合には、高画質化部３０により撮像画像を高画質化する。
【００２１】
画像ブレ補正部２０は、動きベクトル検出部２０１と、画像補正部２０２とを備える。動きベクトル検出部２０１は、撮像部１１により生成された複数フレームの撮像画像を連続して取り込み、フレーム間の動きベクトルを検出する。画像補正部２０２は、撮像部１１により生成された複数フレームの撮像画像及び動きベクトル検出部２０１により検出される動きベクトルを用いて、モニタ１９上に表示される画像にブレが生じないように、画像の読み出し位置の制御や、画像の補間演算などによる画像幾何変形を行う。
【００２２】
高画質化部３０は、動画像記憶部３０１と、動きベクトル記憶部３０２と、画像演算部３０３とを備える。動画像記憶部３０１は、撮像部１１により生成された撮像画像を複数フレーム記憶する。動きベクトル記憶部３０２は、動画像記憶部３０１に記憶された複数フレームの撮像画像に対応した動きベクトルを、動きベクトル検出部２０１から取得して記憶する。画像演算部３０３は、動画像記憶部３０１に記憶された複数フレームの撮像画像、及び動きベクトル記憶部３０２に記憶された動きベクトルを用いて、撮像画像を高画質化処理する。
【００２３】
静止画像記憶部８０は、静止画像モード時には、高画質化部３０による高画質画像が生成されるまでの間、撮像部１１により生成された同一フレームの静止画像を保持する。
【００２４】
図２は、画像処理部１０を備えるデジタル顕微鏡を示す図である。デジタル顕微鏡１は、撮像部１１と、対物レンズ１２と、ステージ１４と、モータ１５（Ｘ軸用モータ１５−１、Ｙ軸用モータ１５−２、及びＺ軸用モータ１５−３）と、エンコーダ１６（Ｘ軸用エンコーダ１６−１、Ｙ軸用エンコーダ１６−２、及びＺ軸用エンコーダ１６−３）と、光源１７と、顕微鏡制御部１８と、画像処理部１０と、モニタ１９とを備える。
【００２５】
撮像部１１は、１６００×１２００画素のＲＧＢベイヤー配列を有するＣＣＤやＣＭＯＳなどの撮像素子により、対物レンズ１２を介して被写体１３を撮像し、被写体１３のアナログの画像信号を取得する。そして、アナログの画像信号をデジタル信号に変換した撮像画像を生成する。
【００２６】
ステージ１４は、対物レンズ１２の光軸方向をＺ方向とし、Ｚ方向と垂直な平面をＸＹ平面として定義すると、ＸＹＺ方向に移動自在に構成されている。すなわち、ステージ１４は、モータ１５及びモータ１５の駆動を制御する顕微鏡制御部１８によってＸＹＺ方向に移動自在である。エンコーダ１６は、それぞれモータ１５に取り付けられており、モータ１５の回転量を検出し、顕微鏡制御部１８に出力する。顕微鏡制御部１８は、ステージ１４を移動させて被写体１３の位置を制御し、撮像部１１により生成した撮像画像をＰＣなどで構成される画像処理部１０に送出する。被写体１３は、ステージ１４の上に置かれ、光源１７により照射される。モニタ１９は、画像処理部１０から入力される画像を表示する。
【００２７】
図３は、上述した画像処理部１０のより詳細な構成を示すブロック図である。画像処理部１０ａは、画像ブレ補正部２０と、高画質化部３０と、信号処理部４０と、画像ブレ補正指示部５０と、画像ブレ補正選択部６０と、静止画モード指示部７０と、静止画像記憶部８０と、表示制御部９０とを備える。画像ブレ補正部２０は、動きベクトル検出部２０１と、画像補正部２０２とを備え、画像補正部２０２は、画像記憶部２０３と、動きベクトル累積部２０４と、画像幾何補正部２０５とを有する。高画質化部３０は、動画像記憶部３０１と、動きベクトル記憶部３０２と、画像演算部３０３とを備え、画像演算部３０３は、超解像処理部３０４を有する。なお、図３では、信号処理部４０は撮像部１１から直接撮像画像が入力される構成を図示しているが、図２に示すように、顕微鏡制御部１８を介して入力されるようにしてもよいのは勿論である。
【００２８】
信号処理部４０は、オートホワイトバランス、デモザイキング処理、色補正や階調補正などの現像処理を行い、ＲＧＢ画像やＹＣＣ画像を生成し、画像ブレ補正選択部６０及び動画像記憶部３０１に出力する。また、静止画モード指示部７０から静止画モードが指示された場合には、生成した画像を静止画像記憶部８０に出力する。
【００２９】
画像ブレ補正指示部５０は、画像ブレ補正機能のオンを検知する。画像ブレ補正機能は、例えば、画像処理インターフェース部（図示せず）のボタンが押下される、あるいは、マウスなどによりモニタ１９に表示されたアプリケーションソフトウエアのボタンがクリックされるなどの行為によってオンされる。画像ブレ補正指示部５０は、画像ブレ補正機能がオンかオフかを示す信号を信号処理部４０に出力する。
【００３０】
画像ブレ補正選択部６０は、画像ブレ補正機能がオンの場合には、信号処理部４０から連続して入力される撮像画像を画像ブレ補正部２０に出力し、画像ブレ補正機能がオフの場合には、信号処理部４０から入力される信号を表示制御部９０に出力する。
【００３１】
動きベクトル検出部２０１は、連続するフレーム間の撮像画像の動き（移動量）を検出する。動きベクトルは、公知技術であるパターンマッチングや位相相関演算（例えば、特開平７−２００８３２号公報参照）によって検出することがきるため、説明を省略する。動きベクトル検出部２０１は、検出した動きベクトルを画像補正部２０２に出力するとともに、高画質化部３０にも出力する。
【００３２】
動きベクトル累積部２０４は、動きベクトル検出部２０１により得られた動きベクトルから、画像ブレ補正がオンされたときの画像フレームを基準として累積の動きベクトルを検出し、画像ブレ補正がオンされたときの画像位置に、その後に撮影画像の位置を合わせる。
【００３３】
画像幾何補正部２０５は、動きベクトル累積部２０４から入力される累積動きベクトルを用いて、画像の幾何補正を行う。特に、工業顕微鏡の場合には、被写体１３が回路基板などの局所変形しないものであり、かつ、ステージ１４は水平移動するが傾いたりはしないため、画像幾何補正部２０５は、画像記憶部２０３に記憶された画像データの読み出し位置を変更する処理を行う。但し、画像のゆれを確実に抑えるために、読み出し位置はサブピクセル精度が必要であり、画像の補間演算を行う。なお、画像幾何補正部２０５は、動きベクトル累積部２０４により累積した動きベクトルのノルムが閾値を超えるか否かを判定し、閾値を超えない場合には幾何補正（画像ブレ補正処理）を行い、閾値を超える場合には、被写体１３は移動したものとみなし、幾何補正を解除する。
【００３４】
静止画モード指示部７０は、ライブモードで観察していた被写体１３の静止画モードのオンを検知する。静止画モードは、例えば、画像処理インターフェース部（図示せず）のボタンが押下される、あるいは、マウスなどによりモニタ１９に表示されたアプリケーションソフトウエアのボタンがクリックされるなどの行為によってオンされる。静止画モード指示部７０は、静止画モードがオンかオフかを示す信号を高画質化部３０に出力する。
【００３５】
動画像記憶部３０１は、信号処理部４０から入力される撮像画像を複数フレーム（例えば、３０フレーム）記憶する。
【００３６】
動きベクトル記憶部３０２は、動画像記憶部３０１で記憶される撮像画像に対応した動きベクトルを、画像ブレ補正部２０の動きベクトル検出部２０１から取得して記憶する。ｍフレームの撮像画像が記憶される場合には、ｍ−１個のフレーム間動きベクトルが記憶される。
【００３７】
本実施形態の画像演算部３０３は、超解像処理部３０４を有する。超解像処理部３０４は、静止画モード指示部７０から静止画モードが指示されると、動画像記憶部３０１から取得した複数フレームの撮像画像、及び動きベクトル記憶部３０２から取得した動きベクトルを用いて、画素間の画素値を推定し、現画像（例えば、１６００×１２００画素）よりも多くの画素数を有する超解像画像を生成し、静止画記憶部４０に記憶する。例えば、３０枚の画像フレームを用いての超解像処理を行った場合には、３２００×２４００画素程度の超解像画像を生成することができる。超解像処理は、例えば、特開２０１０−１１０５００号公報、特開２００８−３０６６５１号公報、国際公開第２００７／１０２３７７号パンフレット等に記載の公知技術により実現することができるので、説明を省略する。
【００３８】
表示制御部９０は、画像ブレ補正選択部６０から入力されるライブ画像又は静止画像記憶部８０から入力される静止画像を選択して表示する。ライブ画像を表示している場合に、画像ブレ補正機能がオンされたときには、画像ブレ補正部２０から入力される画像ブレ補正処理した画像を表示する。また、高画質化部３０による高画質化処理が終了すると、静止画像を高画質化処理された画像に切り替えて表示する。なお、静止画像は、画素数や階調数（ビット数）がライブ画像と異なる場合があるため、表示制御部９０はモニタ１９に合わせた変換処理も行う。
【００３９】
次に、このように構成される画像処理部１０の動作について説明する。図４は、画像処理部１０の動作を説明する図である。図４（ａ）は、撮像画像のフレームを概念的に示している。例えば、秒１５フレームで順次、画像が入力される。撮像動作に入るとデフォルトでライブモードが選択される。観察者は、ステージ１４をＸＹ方向（水平方向）に動かしたり、ピント調整のためにＺ方向（垂直方向）に動かしたり、対物レンズ１２を変更させたりしながら、被写体１３の観察（キズや欠陥検査など）を行う。観察者は、観察したい注目領域が決まったところで、画像ブレ補正をオンにする。すると、図４（ｂ）に示すように、動きベクトル検出部２０１により、動きベクトルを検出し、画像補正部２０２により、画像ブレ補正がオンにされた画像を基準として画像ブレ補正を行う。
【００４０】
そして、観察者により静止画モードがオンされると、静止画モード指示部７０により静止画モードの指示を出す。すると、図４（ｂ）に示すように、超解像処理部３０４により、超解像度処理用に複数フレームの画像を入力し、第Ｎフレームから、Ｎ＋ｍ−１の合計ｍフレームの画像を動画像記憶部３０１に記憶する。この間、図４（ｃ）に示すように、モニタ１９には、静止画モードの開始直前に撮像された第Ｎフレームの撮像画像が表示される。
【００４１】
この後は、これらのフレーム間の動きベクトルも同時に演算され、動きベクトル記憶部３０２に記憶される。ｍフレーム分全ての映像入力と動きベクトル演算が完了した後に、超解像処理部３０４により超解像処理を行い、図４（ｃ）に示すように、超解像処理された画像をモニタ１９に表示する。
【００４２】
このように、第１の実施形態のデジタル顕微鏡１によれば、画像ブレ補正部２０の動きベクトル検出部２０１を用いることにより、超解像処理時の画像入力が完了するとほぼ同時に動きベクトル演算が完了する。新たな動きベクトル演算部を付加すること無しに動きベクトルを得ることができることからコストアップを抑えることができる。
また、超解像の画像入力と対応する動きベクトル検出が同時行われることから、超解像画像の算出にかかる時間を削減することができる。
【００４３】
また、高画質化処理として超解像処理を行うことにより、解像度を飛躍的に高めることができる。特に、超解像処理を行うことで、顕微鏡の振動を抑えるための堅固な筐体が不要となることから、低コスト化が可能である。また、高倍率の対物レンズを用いなくとも低倍率の対物レンズだけで同等解像度の画像を得ることができるため、コストを大幅に低減することができる。
【００４４】
（第２の実施形態）
次に、本発明による第２の実施形態のデジタル顕微鏡１について説明する。なお、第１の実施形態と同じ構成要素には同一の参照番号を付して説明を省略する。第２の実施形態のデジタル顕微鏡１は、第１の実施形態と構成は同一であるが、超解像処理部３０４の処理タイミングが相違する。
【００４５】
本実施形態では、画像演算部３０３は、高画質化処理した画像を得るための静止画モードを開始する際に、動画像記憶部３０１に記憶された、静止画モードの開始直前の複数フレームの撮像画像、及び動きベクトル記憶部３０２に記憶された動きベクトルを取得する。また、画像演算部３０３は、動画像記憶部３０１に記憶された順次のフレームの撮像画像を取得するのに同期して、動きベクトル記憶部３０２から対応する動きベクトルを取得する。
【００４６】
つまり、第１の実施形態では、超解像処理に必要な画像フレーム数ｍ＝３０とした場合、画像の入力（動きベクトルの検出と同時進行）に約２秒、更に超解像処理に数秒の時間を要するが、本実施形態では画像ブレ補正がオンされた時に同時に超解像画像入力を開始することにより、静止画モードが指示されてからすぐに超解像処理に入ることができる。
【００４７】
図５は、本実施形態の画像処理部１０の動作を示す図である。図５（ｂ）に示すように、画像ブレ補正がオンされた時に、超解像処理部３０４により、超解像度処理用に複数フレームの画像の入力を開始する。例えば、ｍ＝３０の場合には２秒間のフレーム画像を記憶するようになっているが、常に最新の３０枚の画像データを動画像記憶部３０１に記憶する。例えば、画像ブレ補正オンから静止画モード指示までの時間が５秒であった場合、画像ブレ補正オンから３秒間に撮影された画像は消去され、その後に撮像された３０枚の撮像画像を超解像処理のために記憶する。
【００４８】
観察者により静止画モードがオンされると、静止画モード指示部７０により静止画モードの指示を出す。すると、図５（ｂ）に示すように、超解像処理部３０４により、動画像記憶部３０１に記憶された最新の３０枚の画像データを用いて直ちに超解像処理を行い、図５（ｃ）に示すように、超解像処理された画像をモニタ１９に表示する。
【００４９】
第２の実施形態によれば、画像ブレ補正がオンされた時に、超解像処理部３０４により、超解像度処理用に複数フレームの画像の入力を開始するため、第１の実施形態に比較して、更に高速な超解像処理を行うことができる。
【００５０】
（第３の実施形態）
次に、第３の実施形態のデジタル顕微鏡１について説明する。なお、第１の実施形態と同じ構成要素には同一の参照番号を付して説明を省略する。
【００５１】
図６は、本実施形態の画像処理部の構成を示すブロック図である。本実施形態の画像処理部１０ｂは第１の実施形態の画像処理部１０（１０ａ）と比較して、画像演算部３０３の構成のみ相違する。本実施形態の画像演算部３０３は、ノイズ低減部３０５を備え、ノイズ低減部３０５は、画像幾何補正部３０６と、画像累積部３０７とを有する。
【００５２】
画像幾何補正部３０６は、動きベクトル記憶部３０２から取得した動きベクトルを用いて、動画像記憶部３０１から取得した複数フレームの撮像画像のそれぞれの位置が重なるように幾何補正を行う。画像累積部３０７は、複数フレームの撮像画像は、画像幾何補正部３０６から入力される画像を累積加算して平均化することにより、ノイズが低減されＳＮ比の向上した画像を生成する。累積加算する画像フレーム数は４枚〜１６枚程度である。なお、画像幾何補正部３０６は、画像ブレ補正部２０の画像幾何補正部２０５と同等の機能であり、兼用して用いてもよい。
【００５３】
次に、このように構成される画像処理部１０ｂの動作について説明する。図７は、画像処理部１０ｂの動作を説明する図である。図７（ｂ）に示すように、画像ブレ補正がオンされた時に、ノイズ低減部３０５により、超解像度処理用に複数フレームの画像の入力を開始する。例えば、ｍ＝３０の場合には２秒間のフレーム画像を記憶するようになっているが、常に最新の３０枚の画像データを動画像記憶部３０１に記憶する。例えば、画像ブレ補正オンから静止画モード指示までの時間が５秒であった場合、画像ブレ補正オンから３秒間に撮影された画像は消去され、その後に撮像された３０枚の撮像画像をノイズ低減処理のために記憶する。
【００５４】
観察者により静止画モードがオンされると、静止画モード指示部７０により静止画モードの指示を出す。すると、図５（ｂ）に示すように、ノイズ低減部３０５により、動画像記憶部３０１に記憶された最新の３０枚の画像データを用いて直ちにノイズ低減処理を行い、図５（ｃ）に示すように、ノイズ低減処理された高ＳＮ画像をモニタ１９に表示する。
【００５５】
なお、上記はノイズ低減処理を行う例であるが、画像データをフレームごとに露光を変化させて入力しおくと、これらの複数画像を利用してダイナミックレンジの向上した画像を得ることもできる。この場合には、例えば、露光量を少しつつずらした４枚〜８枚程度の画像を用いる。
【００５６】
第３の実施形態によれば、ノイズを低減し、ＳＮ比を向上させることができる。さらに、異なる露光の画像を利用した場合には、ダイナミックレンジを拡大することができる。
【００５７】
上述の各実施形態は、個々に代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。従って、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、第三の実施形態のノイズ低減部３０５は、第一の実施形態と同様に、静止画モード指示部７０により静止画モードの指示が出されてから、ノイズ低減処理用に複数フレームの画像を入力するようにしてもよい。
【符号の説明】
【００５８】
１ デジタル顕微鏡
１０，１０a，１０ｂ 画像処理部
１１ 撮像部
１２ 対物レンズ
１３ 被写体
１４ ステージ
１５（１５−１〜１５−３） モータ
１６（１６−１〜１６−３） エンコーダ
１７ 光源
１８ 顕微鏡制御部
１９ モニタ
２０ 画像ブレ補正部
３０ 高画質化部
４０ 信号処理部
５０ 画像ブレ補正指示部
６０ 画像ブレ補正選択部
７０ 静止画モード指示部
８０ 静止画像記憶部
９０ 表示制御部
２０１ 動きベクトル検出部
２０２ 画像補正部
２０３ 画像記憶部
２０４ 動きベクトル累積部
２０５ 画像幾何補正部
３０１ 動画像記憶部
３０２ 動きベクトル記憶部
３０３ 画像演算部
３０４ 超解像処理部
３０５ ノイズ低減部
３０６ 画像幾何補正部
３０７ 画像累積部
【技術分野】
【０００１】
本発明は、デジタル画像入力が可能なデジタル顕微鏡に関するものである。
【背景技術】
【０００２】
従来、病理検査など微小物体の観察では、光学顕微鏡が用いられてきた。光学顕微鏡は、対物レンズ、接眼レンズ、及び被写体を照射するための照明光源などで構成される。また、近年では、ＣＣＤやＣＭＯＳなどの２次元撮像素子を用いたデジタル顕微鏡の普及が始まっている。特に、接眼レンズを具備せず、モニタだけで観察するデジタル顕微鏡の市場規模が大きくなってきている。
【０００３】
デジタル顕微鏡では、一般的に１３０万〜２００万画素程度の撮像素子を用いて、ステージ移動や対物レンズの切り替えを行いながら観察したい注目被写体を探索する「ライブモード」と、注目被写体が決まってから注目被写体の画像を静止して撮像、表示する「静止画モード」とを有する。「ライブモード」では観察すべき注目被写体を短時間で探すため、フレームレートの高い撮像が必要となり、例えば２００万画素で１５フレーム／秒の撮像を行い、モニタに撮像画像を表示する。一方、「静止画モード」では高画質が求められ、２００万画素程度では画像観察において十分な解像度とはいえない。そのため、撮像素子を移動させて画素シフトにより高解像度撮影を行う技法（以下、画像シフト法と称する）が知られている（例えば、特許文献１参照）。この画素シフト法によれば、１０００万画素相当の解像度を得ることが可能である。
【０００４】
ところで、接眼レンズを具備しないデジタル顕微鏡では、観察者はモニタ画面のみを観察することとなる。観察者は顕微鏡をライブモードに設定して、モニタ画面を見ながらステージ移動やフォーカス調整、倍率（対物レンズ）変更などを行うが、ステージ移動などの操作により顕微鏡筐体や顕微鏡を設置してある机などが揺れ、モニタに拡大表示する画像に画像ブレが生じ、非常に見づらい画像となってしまう。このような画像ブレを補正するために、ビデオカメラなどで広く普及している、フレーム毎の画像の位置を検出して表示位置を補正する画像ブレ補正を行うことが可能である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９―１２８７２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
画素シフト法では解像度の高い画像を得ることはできるが、同一被写体に対して４乃至９枚程度の画像が必要であり、画素ピッチ以下の精度でステージ又は撮像素子を移動させて撮影を行う。４枚入力する場合には１／２画素ピッチ、９枚入力する場合には１／３画素ピッチで移動する必要があり、高精度な駆動機構が必要となり、また、動き検出する処理部が新たに必要となるため、コストが増大する。また、駆動そのものに時間がかかるため１枚の静止画の撮影に３〜５秒程度の時間がかかる。また、撮影時間が長いことから、この撮影中に振動などの影響を受けることがあり、想定した移動距離に必ずしも動いていないことがあり、その場合には解像度を向上させることはできない。
【０００７】
このように画素シフト法では、コストが増大する、撮影に時間がかかる、振動がある場合には必ずしも画質が向上しない、といった課題があった。また、振動を抑えるために筐体などを堅固なものすると、さらにコストが増大するという課題もあった。なお、画素シフト法以外の高解像度化を行う方法としては、対物レンズを高倍率に切り替えて画像を拡大し、複数枚の画像を撮影して、それらの画像を貼り合わせて高解像度な画像を得る方法もあるが、この手法でも高価かつ時間がかかるという同様の課題があった。
【０００８】
本発明の目的は、上記問題を解決するため、短時間の撮影で、振動がある場合でも画質を向上させることが可能で、且つ、コストの増大を抑えたデジタル顕微鏡を提供することにある。
【課題を解決するための手段】
【０００９】
画像ブレ補正の機能は近年のデジタル顕微鏡では標準装備されつつある。画像ブレ補正は、フレーム間の画像移動量（動きベクトル）を検出し、検出した動きベクトルに応じて画像表示位置（メモリからの読み出し位置など）を変更することにより、モニタ上での画像の動きを止めている。そこで、画像ブレ補正で検出している動きベクトルを利用して、複数フレームの撮像画像を用いて高画質化処理を行う。
【００１０】
すなわち、上記課題を解決するため、本発明に係るデジタル顕微鏡は、被写体の撮像画像を生成する撮像部と、前記撮像部により生成された複数フレームの撮像画像のフレーム間の動きベクトルを検出する動きベクトル検出部、及び前記動きベクトルを用いて前記撮像画像のブレを補正する画像補正部、を有する画像ブレ補正部と、前記撮像部により生成された複数フレームの撮像画像を記憶する動画像記憶部、前記動画像記憶部に記憶された複数フレームの撮像画像に対応した動きベクトルを記憶する動きベクトル記憶部、及び前記動画像記憶部に記憶された複数フレームの撮像画像及び前記動きベクトル記憶部に記憶された動きベクトルを用いて前記撮像画像を高画質化処理する画像演算部、を有する高画質化部と、を備え、前記動きベクトル記憶部は、前記動きベクトル検出部で検出される動きベクトルを記憶することを特徴とする。
【００１１】
また、本発明に係るデジタル顕微鏡において、前記画像演算部は、高画質化処理した画像を得るための静止画モードを開始する際に、前記動画像記憶部に記憶された前記開始直前の複数フレームの撮像画像、及び前記動きベクトル記憶部に記憶された動きベクトルを取得することを特徴する。
【００１２】
また、本発明に係るデジタル顕微鏡において、前記画像演算部は、前記動画像記憶部に記憶された順次のフレームの撮像画像を取得するのに同期して、前記動きベクトル記憶部から対応する動きベクトルを取得することを特徴する。
【００１３】
また、本発明に係るデジタル顕微鏡において、前記画像演算部は、前記動画像記憶部から取得した複数フレームの撮像画像及び動きベクトル記憶部から取得した動きベクトルを用いて画素間の画素値を推定して超解像画像を生成する超解像処理部を有することを特徴する。
【００１４】
また、本発明に係るデジタル顕微鏡において、前記画像演算部は、前記動きベクトル記憶部から取得した動きベクトルを用いて、前記動画像記憶部から取得した複数フレームの撮像画像のそれぞれの位置が重なるように幾何補正を行い、該幾何補正された画像に基づいてノイズを低減するノイズ低減部を有することを特徴する。
【発明の効果】
【００１５】
本発明によれば、画像ブレ補正部で算出した動きベクトルを用いて高画質化処理を行うため、動き検出のための新たな処理部を必要とせず、コストアップを抑えることができる。
【００１６】
また、ライブモード中に撮影した複数フレームの撮像画像及び動きベクトルを用いて高画質化処理を行うことにより、高画質化処理後の画像をモニタに表示するまでの時間を短縮することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明による第１の実施形態のデジタル顕微鏡の画像処理部の概略構成を示すブロック図である。
【図２】本発明による実施形態のデジタル顕微鏡の外観図である。
【図３】本発明による第１の実施形態のデジタル顕微鏡の画像処理部の構成を示すブロック図である。
【図４】本発明による第１の実施形態のデジタル顕微鏡の画像処理部の動作を説明する図である。
【図５】本発明による第２の実施形態のデジタル顕微鏡の画像処理部の動作を説明する図である。
【図６】本発明による第３の実施形態のデジタル顕微鏡の画像処理部の構成を示すブロック図である。
【図７】本発明による第３の実施形態のデジタル顕微鏡の画像処理部の動作を説明する図である。
【発明を実施するための形態】
【００１８】
以下、本発明によるデジタル顕微鏡の実施形態について、図面を参照して詳細に説明する。
【００１９】
（第１の実施形態）
図１は、本発明による実施形態のデジタル顕微鏡の画像処理部の概略構成を示すブロック図である。画像処理部１０は、画像のブレを補正する画像ブレ補正機能と、画像を高画質化する高画質化機能を有し、撮像部１１から入力される撮像画像を画像処理してモニタ１９に出力する処理部であり、画像ブレ補正部２０と、高画質化部３０と、静止画像記憶部８０とを備える。
【００２０】
画像処理部１０は、観察者から画像ブレ補正処理を行うように指示された場合には、画像ブレ補正部２０により撮像画像のブレを補正し、観察者から高画質化処理を行うように指示された場合には、高画質化部３０により撮像画像を高画質化する。
【００２１】
画像ブレ補正部２０は、動きベクトル検出部２０１と、画像補正部２０２とを備える。動きベクトル検出部２０１は、撮像部１１により生成された複数フレームの撮像画像を連続して取り込み、フレーム間の動きベクトルを検出する。画像補正部２０２は、撮像部１１により生成された複数フレームの撮像画像及び動きベクトル検出部２０１により検出される動きベクトルを用いて、モニタ１９上に表示される画像にブレが生じないように、画像の読み出し位置の制御や、画像の補間演算などによる画像幾何変形を行う。
【００２２】
高画質化部３０は、動画像記憶部３０１と、動きベクトル記憶部３０２と、画像演算部３０３とを備える。動画像記憶部３０１は、撮像部１１により生成された撮像画像を複数フレーム記憶する。動きベクトル記憶部３０２は、動画像記憶部３０１に記憶された複数フレームの撮像画像に対応した動きベクトルを、動きベクトル検出部２０１から取得して記憶する。画像演算部３０３は、動画像記憶部３０１に記憶された複数フレームの撮像画像、及び動きベクトル記憶部３０２に記憶された動きベクトルを用いて、撮像画像を高画質化処理する。
【００２３】
静止画像記憶部８０は、静止画像モード時には、高画質化部３０による高画質画像が生成されるまでの間、撮像部１１により生成された同一フレームの静止画像を保持する。
【００２４】
図２は、画像処理部１０を備えるデジタル顕微鏡を示す図である。デジタル顕微鏡１は、撮像部１１と、対物レンズ１２と、ステージ１４と、モータ１５（Ｘ軸用モータ１５−１、Ｙ軸用モータ１５−２、及びＺ軸用モータ１５−３）と、エンコーダ１６（Ｘ軸用エンコーダ１６−１、Ｙ軸用エンコーダ１６−２、及びＺ軸用エンコーダ１６−３）と、光源１７と、顕微鏡制御部１８と、画像処理部１０と、モニタ１９とを備える。
【００２５】
撮像部１１は、１６００×１２００画素のＲＧＢベイヤー配列を有するＣＣＤやＣＭＯＳなどの撮像素子により、対物レンズ１２を介して被写体１３を撮像し、被写体１３のアナログの画像信号を取得する。そして、アナログの画像信号をデジタル信号に変換した撮像画像を生成する。
【００２６】
ステージ１４は、対物レンズ１２の光軸方向をＺ方向とし、Ｚ方向と垂直な平面をＸＹ平面として定義すると、ＸＹＺ方向に移動自在に構成されている。すなわち、ステージ１４は、モータ１５及びモータ１５の駆動を制御する顕微鏡制御部１８によってＸＹＺ方向に移動自在である。エンコーダ１６は、それぞれモータ１５に取り付けられており、モータ１５の回転量を検出し、顕微鏡制御部１８に出力する。顕微鏡制御部１８は、ステージ１４を移動させて被写体１３の位置を制御し、撮像部１１により生成した撮像画像をＰＣなどで構成される画像処理部１０に送出する。被写体１３は、ステージ１４の上に置かれ、光源１７により照射される。モニタ１９は、画像処理部１０から入力される画像を表示する。
【００２７】
図３は、上述した画像処理部１０のより詳細な構成を示すブロック図である。画像処理部１０ａは、画像ブレ補正部２０と、高画質化部３０と、信号処理部４０と、画像ブレ補正指示部５０と、画像ブレ補正選択部６０と、静止画モード指示部７０と、静止画像記憶部８０と、表示制御部９０とを備える。画像ブレ補正部２０は、動きベクトル検出部２０１と、画像補正部２０２とを備え、画像補正部２０２は、画像記憶部２０３と、動きベクトル累積部２０４と、画像幾何補正部２０５とを有する。高画質化部３０は、動画像記憶部３０１と、動きベクトル記憶部３０２と、画像演算部３０３とを備え、画像演算部３０３は、超解像処理部３０４を有する。なお、図３では、信号処理部４０は撮像部１１から直接撮像画像が入力される構成を図示しているが、図２に示すように、顕微鏡制御部１８を介して入力されるようにしてもよいのは勿論である。
【００２８】
信号処理部４０は、オートホワイトバランス、デモザイキング処理、色補正や階調補正などの現像処理を行い、ＲＧＢ画像やＹＣＣ画像を生成し、画像ブレ補正選択部６０及び動画像記憶部３０１に出力する。また、静止画モード指示部７０から静止画モードが指示された場合には、生成した画像を静止画像記憶部８０に出力する。
【００２９】
画像ブレ補正指示部５０は、画像ブレ補正機能のオンを検知する。画像ブレ補正機能は、例えば、画像処理インターフェース部（図示せず）のボタンが押下される、あるいは、マウスなどによりモニタ１９に表示されたアプリケーションソフトウエアのボタンがクリックされるなどの行為によってオンされる。画像ブレ補正指示部５０は、画像ブレ補正機能がオンかオフかを示す信号を信号処理部４０に出力する。
【００３０】
画像ブレ補正選択部６０は、画像ブレ補正機能がオンの場合には、信号処理部４０から連続して入力される撮像画像を画像ブレ補正部２０に出力し、画像ブレ補正機能がオフの場合には、信号処理部４０から入力される信号を表示制御部９０に出力する。
【００３１】
動きベクトル検出部２０１は、連続するフレーム間の撮像画像の動き（移動量）を検出する。動きベクトルは、公知技術であるパターンマッチングや位相相関演算（例えば、特開平７−２００８３２号公報参照）によって検出することがきるため、説明を省略する。動きベクトル検出部２０１は、検出した動きベクトルを画像補正部２０２に出力するとともに、高画質化部３０にも出力する。
【００３２】
動きベクトル累積部２０４は、動きベクトル検出部２０１により得られた動きベクトルから、画像ブレ補正がオンされたときの画像フレームを基準として累積の動きベクトルを検出し、画像ブレ補正がオンされたときの画像位置に、その後に撮影画像の位置を合わせる。
【００３３】
画像幾何補正部２０５は、動きベクトル累積部２０４から入力される累積動きベクトルを用いて、画像の幾何補正を行う。特に、工業顕微鏡の場合には、被写体１３が回路基板などの局所変形しないものであり、かつ、ステージ１４は水平移動するが傾いたりはしないため、画像幾何補正部２０５は、画像記憶部２０３に記憶された画像データの読み出し位置を変更する処理を行う。但し、画像のゆれを確実に抑えるために、読み出し位置はサブピクセル精度が必要であり、画像の補間演算を行う。なお、画像幾何補正部２０５は、動きベクトル累積部２０４により累積した動きベクトルのノルムが閾値を超えるか否かを判定し、閾値を超えない場合には幾何補正（画像ブレ補正処理）を行い、閾値を超える場合には、被写体１３は移動したものとみなし、幾何補正を解除する。
【００３４】
静止画モード指示部７０は、ライブモードで観察していた被写体１３の静止画モードのオンを検知する。静止画モードは、例えば、画像処理インターフェース部（図示せず）のボタンが押下される、あるいは、マウスなどによりモニタ１９に表示されたアプリケーションソフトウエアのボタンがクリックされるなどの行為によってオンされる。静止画モード指示部７０は、静止画モードがオンかオフかを示す信号を高画質化部３０に出力する。
【００３５】
動画像記憶部３０１は、信号処理部４０から入力される撮像画像を複数フレーム（例えば、３０フレーム）記憶する。
【００３６】
動きベクトル記憶部３０２は、動画像記憶部３０１で記憶される撮像画像に対応した動きベクトルを、画像ブレ補正部２０の動きベクトル検出部２０１から取得して記憶する。ｍフレームの撮像画像が記憶される場合には、ｍ−１個のフレーム間動きベクトルが記憶される。
【００３７】
本実施形態の画像演算部３０３は、超解像処理部３０４を有する。超解像処理部３０４は、静止画モード指示部７０から静止画モードが指示されると、動画像記憶部３０１から取得した複数フレームの撮像画像、及び動きベクトル記憶部３０２から取得した動きベクトルを用いて、画素間の画素値を推定し、現画像（例えば、１６００×１２００画素）よりも多くの画素数を有する超解像画像を生成し、静止画記憶部４０に記憶する。例えば、３０枚の画像フレームを用いての超解像処理を行った場合には、３２００×２４００画素程度の超解像画像を生成することができる。超解像処理は、例えば、特開２０１０−１１０５００号公報、特開２００８−３０６６５１号公報、国際公開第２００７／１０２３７７号パンフレット等に記載の公知技術により実現することができるので、説明を省略する。
【００３８】
表示制御部９０は、画像ブレ補正選択部６０から入力されるライブ画像又は静止画像記憶部８０から入力される静止画像を選択して表示する。ライブ画像を表示している場合に、画像ブレ補正機能がオンされたときには、画像ブレ補正部２０から入力される画像ブレ補正処理した画像を表示する。また、高画質化部３０による高画質化処理が終了すると、静止画像を高画質化処理された画像に切り替えて表示する。なお、静止画像は、画素数や階調数（ビット数）がライブ画像と異なる場合があるため、表示制御部９０はモニタ１９に合わせた変換処理も行う。
【００３９】
次に、このように構成される画像処理部１０の動作について説明する。図４は、画像処理部１０の動作を説明する図である。図４（ａ）は、撮像画像のフレームを概念的に示している。例えば、秒１５フレームで順次、画像が入力される。撮像動作に入るとデフォルトでライブモードが選択される。観察者は、ステージ１４をＸＹ方向（水平方向）に動かしたり、ピント調整のためにＺ方向（垂直方向）に動かしたり、対物レンズ１２を変更させたりしながら、被写体１３の観察（キズや欠陥検査など）を行う。観察者は、観察したい注目領域が決まったところで、画像ブレ補正をオンにする。すると、図４（ｂ）に示すように、動きベクトル検出部２０１により、動きベクトルを検出し、画像補正部２０２により、画像ブレ補正がオンにされた画像を基準として画像ブレ補正を行う。
【００４０】
そして、観察者により静止画モードがオンされると、静止画モード指示部７０により静止画モードの指示を出す。すると、図４（ｂ）に示すように、超解像処理部３０４により、超解像度処理用に複数フレームの画像を入力し、第Ｎフレームから、Ｎ＋ｍ−１の合計ｍフレームの画像を動画像記憶部３０１に記憶する。この間、図４（ｃ）に示すように、モニタ１９には、静止画モードの開始直前に撮像された第Ｎフレームの撮像画像が表示される。
【００４１】
この後は、これらのフレーム間の動きベクトルも同時に演算され、動きベクトル記憶部３０２に記憶される。ｍフレーム分全ての映像入力と動きベクトル演算が完了した後に、超解像処理部３０４により超解像処理を行い、図４（ｃ）に示すように、超解像処理された画像をモニタ１９に表示する。
【００４２】
このように、第１の実施形態のデジタル顕微鏡１によれば、画像ブレ補正部２０の動きベクトル検出部２０１を用いることにより、超解像処理時の画像入力が完了するとほぼ同時に動きベクトル演算が完了する。新たな動きベクトル演算部を付加すること無しに動きベクトルを得ることができることからコストアップを抑えることができる。
また、超解像の画像入力と対応する動きベクトル検出が同時行われることから、超解像画像の算出にかかる時間を削減することができる。
【００４３】
また、高画質化処理として超解像処理を行うことにより、解像度を飛躍的に高めることができる。特に、超解像処理を行うことで、顕微鏡の振動を抑えるための堅固な筐体が不要となることから、低コスト化が可能である。また、高倍率の対物レンズを用いなくとも低倍率の対物レンズだけで同等解像度の画像を得ることができるため、コストを大幅に低減することができる。
【００４４】
（第２の実施形態）
次に、本発明による第２の実施形態のデジタル顕微鏡１について説明する。なお、第１の実施形態と同じ構成要素には同一の参照番号を付して説明を省略する。第２の実施形態のデジタル顕微鏡１は、第１の実施形態と構成は同一であるが、超解像処理部３０４の処理タイミングが相違する。
【００４５】
本実施形態では、画像演算部３０３は、高画質化処理した画像を得るための静止画モードを開始する際に、動画像記憶部３０１に記憶された、静止画モードの開始直前の複数フレームの撮像画像、及び動きベクトル記憶部３０２に記憶された動きベクトルを取得する。また、画像演算部３０３は、動画像記憶部３０１に記憶された順次のフレームの撮像画像を取得するのに同期して、動きベクトル記憶部３０２から対応する動きベクトルを取得する。
【００４６】
つまり、第１の実施形態では、超解像処理に必要な画像フレーム数ｍ＝３０とした場合、画像の入力（動きベクトルの検出と同時進行）に約２秒、更に超解像処理に数秒の時間を要するが、本実施形態では画像ブレ補正がオンされた時に同時に超解像画像入力を開始することにより、静止画モードが指示されてからすぐに超解像処理に入ることができる。
【００４７】
図５は、本実施形態の画像処理部１０の動作を示す図である。図５（ｂ）に示すように、画像ブレ補正がオンされた時に、超解像処理部３０４により、超解像度処理用に複数フレームの画像の入力を開始する。例えば、ｍ＝３０の場合には２秒間のフレーム画像を記憶するようになっているが、常に最新の３０枚の画像データを動画像記憶部３０１に記憶する。例えば、画像ブレ補正オンから静止画モード指示までの時間が５秒であった場合、画像ブレ補正オンから３秒間に撮影された画像は消去され、その後に撮像された３０枚の撮像画像を超解像処理のために記憶する。
【００４８】
観察者により静止画モードがオンされると、静止画モード指示部７０により静止画モードの指示を出す。すると、図５（ｂ）に示すように、超解像処理部３０４により、動画像記憶部３０１に記憶された最新の３０枚の画像データを用いて直ちに超解像処理を行い、図５（ｃ）に示すように、超解像処理された画像をモニタ１９に表示する。
【００４９】
第２の実施形態によれば、画像ブレ補正がオンされた時に、超解像処理部３０４により、超解像度処理用に複数フレームの画像の入力を開始するため、第１の実施形態に比較して、更に高速な超解像処理を行うことができる。
【００５０】
（第３の実施形態）
次に、第３の実施形態のデジタル顕微鏡１について説明する。なお、第１の実施形態と同じ構成要素には同一の参照番号を付して説明を省略する。
【００５１】
図６は、本実施形態の画像処理部の構成を示すブロック図である。本実施形態の画像処理部１０ｂは第１の実施形態の画像処理部１０（１０ａ）と比較して、画像演算部３０３の構成のみ相違する。本実施形態の画像演算部３０３は、ノイズ低減部３０５を備え、ノイズ低減部３０５は、画像幾何補正部３０６と、画像累積部３０７とを有する。
【００５２】
画像幾何補正部３０６は、動きベクトル記憶部３０２から取得した動きベクトルを用いて、動画像記憶部３０１から取得した複数フレームの撮像画像のそれぞれの位置が重なるように幾何補正を行う。画像累積部３０７は、複数フレームの撮像画像は、画像幾何補正部３０６から入力される画像を累積加算して平均化することにより、ノイズが低減されＳＮ比の向上した画像を生成する。累積加算する画像フレーム数は４枚〜１６枚程度である。なお、画像幾何補正部３０６は、画像ブレ補正部２０の画像幾何補正部２０５と同等の機能であり、兼用して用いてもよい。
【００５３】
次に、このように構成される画像処理部１０ｂの動作について説明する。図７は、画像処理部１０ｂの動作を説明する図である。図７（ｂ）に示すように、画像ブレ補正がオンされた時に、ノイズ低減部３０５により、超解像度処理用に複数フレームの画像の入力を開始する。例えば、ｍ＝３０の場合には２秒間のフレーム画像を記憶するようになっているが、常に最新の３０枚の画像データを動画像記憶部３０１に記憶する。例えば、画像ブレ補正オンから静止画モード指示までの時間が５秒であった場合、画像ブレ補正オンから３秒間に撮影された画像は消去され、その後に撮像された３０枚の撮像画像をノイズ低減処理のために記憶する。
【００５４】
観察者により静止画モードがオンされると、静止画モード指示部７０により静止画モードの指示を出す。すると、図５（ｂ）に示すように、ノイズ低減部３０５により、動画像記憶部３０１に記憶された最新の３０枚の画像データを用いて直ちにノイズ低減処理を行い、図５（ｃ）に示すように、ノイズ低減処理された高ＳＮ画像をモニタ１９に表示する。
【００５５】
なお、上記はノイズ低減処理を行う例であるが、画像データをフレームごとに露光を変化させて入力しおくと、これらの複数画像を利用してダイナミックレンジの向上した画像を得ることもできる。この場合には、例えば、露光量を少しつつずらした４枚〜８枚程度の画像を用いる。
【００５６】
第３の実施形態によれば、ノイズを低減し、ＳＮ比を向上させることができる。さらに、異なる露光の画像を利用した場合には、ダイナミックレンジを拡大することができる。
【００５７】
上述の各実施形態は、個々に代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。従って、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、第三の実施形態のノイズ低減部３０５は、第一の実施形態と同様に、静止画モード指示部７０により静止画モードの指示が出されてから、ノイズ低減処理用に複数フレームの画像を入力するようにしてもよい。
【符号の説明】
【００５８】
１ デジタル顕微鏡
１０，１０a，１０ｂ 画像処理部
１１ 撮像部
１２ 対物レンズ
１３ 被写体
１４ ステージ
１５（１５−１〜１５−３） モータ
１６（１６−１〜１６−３） エンコーダ
１７ 光源
１８ 顕微鏡制御部
１９ モニタ
２０ 画像ブレ補正部
３０ 高画質化部
４０ 信号処理部
５０ 画像ブレ補正指示部
６０ 画像ブレ補正選択部
７０ 静止画モード指示部
８０ 静止画像記憶部
９０ 表示制御部
２０１ 動きベクトル検出部
２０２ 画像補正部
２０３ 画像記憶部
２０４ 動きベクトル累積部
２０５ 画像幾何補正部
３０１ 動画像記憶部
３０２ 動きベクトル記憶部
３０３ 画像演算部
３０４ 超解像処理部
３０５ ノイズ低減部
３０６ 画像幾何補正部
３０７ 画像累積部
【特許請求の範囲】
【請求項１】
被写体の撮像画像を生成する撮像部と、
前記撮像部により生成された複数フレームの撮像画像のフレーム間の動きベクトルを検出する動きベクトル検出部、及び前記動きベクトルを用いて前記撮像画像のブレを補正する画像補正部、を有する画像ブレ補正部と、
前記撮像部により生成された複数フレームの撮像画像を記憶する動画像記憶部、前記動画像記憶部に記憶された複数フレームの撮像画像に対応した動きベクトルを記憶する動きベクトル記憶部、及び前記動画像記憶部に記憶された複数フレームの撮像画像及び前記動きベクトル記憶部に記憶された動きベクトルを用いて前記撮像画像を高画質化処理する画像演算部、を有する高画質化部と、を備え、
前記動きベクトル記憶部は、前記動きベクトル検出部で検出される動きベクトルを記憶することを特徴とするデジタル顕微鏡。
【請求項２】
前記画像演算部は、高画質化処理した画像を得るための静止画モードを開始する際に、前記動画像記憶部に記憶された前記開始直前の複数フレームの撮像画像、及び前記動きベクトル記憶部に記憶された動きベクトルを取得することを特徴する、請求項１に記載のデジタル顕微鏡。
【請求項３】
前記画像演算部は、前記動画像記憶部に記憶された順次のフレームの撮像画像を取得するのに同期して、前記動きベクトル記憶部から対応する動きベクトルを取得することを特徴する、請求項２に記載のデジタル顕微鏡。
【請求項４】
前記画像演算部は、前記動画像記憶部から取得した複数フレームの撮像画像及び動きベクトル記憶部から取得した動きベクトルを用いて画素間の画素値を推定して超解像画像を生成する超解像処理部を有することを特徴する、請求項１〜３のいずれか一項に記載のデジタル顕微鏡。
【請求項５】
前記画像演算部は、前記動きベクトル記憶部から取得した動きベクトルを用いて、前記動画像記憶部から取得した複数フレームの撮像画像のそれぞれの位置が重なるように幾何補正を行い、該幾何補正された画像に基づいてノイズを低減するノイズ低減部を有することを特徴する、請求項１〜３のいずれか一項に記載のデジタル顕微鏡。
【請求項１】
被写体の撮像画像を生成する撮像部と、
前記撮像部により生成された複数フレームの撮像画像のフレーム間の動きベクトルを検出する動きベクトル検出部、及び前記動きベクトルを用いて前記撮像画像のブレを補正する画像補正部、を有する画像ブレ補正部と、
前記撮像部により生成された複数フレームの撮像画像を記憶する動画像記憶部、前記動画像記憶部に記憶された複数フレームの撮像画像に対応した動きベクトルを記憶する動きベクトル記憶部、及び前記動画像記憶部に記憶された複数フレームの撮像画像及び前記動きベクトル記憶部に記憶された動きベクトルを用いて前記撮像画像を高画質化処理する画像演算部、を有する高画質化部と、を備え、
前記動きベクトル記憶部は、前記動きベクトル検出部で検出される動きベクトルを記憶することを特徴とするデジタル顕微鏡。
【請求項２】
前記画像演算部は、高画質化処理した画像を得るための静止画モードを開始する際に、前記動画像記憶部に記憶された前記開始直前の複数フレームの撮像画像、及び前記動きベクトル記憶部に記憶された動きベクトルを取得することを特徴する、請求項１に記載のデジタル顕微鏡。
【請求項３】
前記画像演算部は、前記動画像記憶部に記憶された順次のフレームの撮像画像を取得するのに同期して、前記動きベクトル記憶部から対応する動きベクトルを取得することを特徴する、請求項２に記載のデジタル顕微鏡。
【請求項４】
前記画像演算部は、前記動画像記憶部から取得した複数フレームの撮像画像及び動きベクトル記憶部から取得した動きベクトルを用いて画素間の画素値を推定して超解像画像を生成する超解像処理部を有することを特徴する、請求項１〜３のいずれか一項に記載のデジタル顕微鏡。
【請求項５】
前記画像演算部は、前記動きベクトル記憶部から取得した動きベクトルを用いて、前記動画像記憶部から取得した複数フレームの撮像画像のそれぞれの位置が重なるように幾何補正を行い、該幾何補正された画像に基づいてノイズを低減するノイズ低減部を有することを特徴する、請求項１〜３のいずれか一項に記載のデジタル顕微鏡。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１４７０４４（Ｐ２０１２−１４７０４４Ａ）
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願番号】特願２０１１−１３９２（Ｐ２０１１−１３９２）
【出願日】平成２３年１月６日（２０１１．１．６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願日】平成２３年１月６日（２０１１．１．６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]