画像処理装置、撮像システム、画像処理システム
【課題】デジタル画像を利用した検体観察において、検体の奥行き方向の情報を維持し、且つコンピュータによる画像解析処理に適した画像を生成するための技術を提供する。
【解決手段】画像処理装置が、構造物を含む検体を焦点位置を変えながら撮像することにより得られた複数の原画像を取得する画像取得手段と、前記複数の原画像をもとに、原画像よりも構造物の像のボケが低減された第1の画像を生成する画像生成手段と、前記第1の画像に対し画像解析処理を適用することによって、前記第1の画像に含まれる構造物に関する情報を取得する解析手段と、を備える。前記画像生成手段は、前記検体から得られた前記複数の原画像の内から、前記検体の厚さよりも小さい深度範囲内に焦点位置が含まれる原画像を選択し、前記選択された原画像を用いて前記第1の画像を生成する。
【解決手段】画像処理装置が、構造物を含む検体を焦点位置を変えながら撮像することにより得られた複数の原画像を取得する画像取得手段と、前記複数の原画像をもとに、原画像よりも構造物の像のボケが低減された第1の画像を生成する画像生成手段と、前記第1の画像に対し画像解析処理を適用することによって、前記第1の画像に含まれる構造物に関する情報を取得する解析手段と、を備える。前記画像生成手段は、前記検体から得られた前記複数の原画像の内から、前記検体の厚さよりも小さい深度範囲内に焦点位置が含まれる原画像を選択し、前記選択された原画像を用いて前記第1の画像を生成する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、撮像システム、および画像処理システムに関し、特にデジタル画像による検体観察を支援するための技術に関する。
【背景技術】
【0002】
近年、病理分野において、病理診断のツールである光学顕微鏡の代替として、プレパラートに載置された被検試料(検体)の撮像と画像のデジタル化によってディスプレイ上での病理診断を可能とするバーチャル・スライド・システムが注目を集めている。バーチャル・スライド・システムを用いた病理診断画像のデジタル化により、従来の被検試料の光学顕微鏡像をデジタルデータとして取り扱うことが可能となる。その結果、遠隔診断の迅速化、デジタル画像を用いた患者への説明、希少症例の共有化、教育・実習の効率化、などのメリットが得られると期待されている。
【0003】
光学顕微鏡と同等程度の操作をバーチャル・スライド・システムで実現するためには、プレパラート上の被検試料全体をデジタル化する必要がある。被検試料全体のデジタル化により、バーチャル・スライド・システムで作成したデジタルデータをPCやワークステーション上で動作するビューワソフトで観察することができる。被検試料全体をデジタル化した場合の画素数は、通常、数億画素から数十億画素と非常に大きなデータ量となる。
【0004】
バーチャル・スライド・システムで作成したデータ量は膨大であるが、それゆえ、ビューワで拡大・縮小処理を行うことでミクロ(細部拡大像)からマクロ(全体俯瞰像)まで観察することが可能となり、種々の利便性を提供する。必要な情報を予めすべて取得しておくことで、低倍画像から高倍画像までユーザーが求める解像度・倍率による即時の表示が可能となる。また、取得したデジタルデータを画像解析し、例えば細胞の形状把握や個数算出、細胞質と核の面積比(N/C比)を算出することで、病理診断に有用な種々の情報の提示も可能となる。
【0005】
ところで、バーチャル・スライド・システムの結像光学系は解像力を重視する設計のため、被写界深度が極めて浅い。そのため、撮像対象である検体の厚みに対してピントの合う範囲が非常に狭く、焦点位置から奥行き方向(結像光学系の光軸に沿った方向あるいはプレパラートの観察面に垂直な方向)に外れた位置にある組織や細胞は、像がボケてしまう。したがって、1枚の二次元画像だけで検体全体を観察することは難しい。また、ボケを多く含む画像では特徴量抽出や画像認識の精度が低下するため、コンピュータによる画像解析の信頼性が低下するという問題もある。
【0006】
このような問題を解決する方法の一つとして、深度合成と呼ばれる画像処理方法が知られている。深度合成とは、焦点位置を変えながら撮像することで得られた複数枚の画像(以後「Zスタック画像」とも呼ぶ)から、被写界深度の深い画像を生成する方法である。例えば特許文献1には、Zスタック画像のそれぞれを複数の部分領域に分割し、部分領域毎に深度合成を行うことによりパンフォーカス画像を生成するシステムが開示されている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2005−037902号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
特許文献1の方法によれば、画像全域についてピントの合った、ボケの少ない画像が得られる。しかしながら、このようなパンフォーカス画像は、検体全体の様子を大まかに把握するのには有用であるものの、検体の一部を詳細に観察したり、組織・細胞等の立体構造や三次元分布を把握したりする目的には適していない。深度合成により奥行き方向の情報が失われているため、画像を見ても、ユーザーは画像中の各構造物(細胞、核など)の前後関係を判断できないためである。また、本来奥行き方向の異なる位置に存在する構造物同士が画像上で同じコントラストで重なり合ってしまっていると、目視の場合はもちろん、コンピュータによる画像解析の場合でも、構造物同士の分離や識別が困難となる。
【0009】
本発明はかかる問題に鑑みなされたものであり、デジタル画像を利用した検体観察において、検体の奥行き方向の情報を維持し、且つコンピュータによる画像解析処理に適した画像を生成するための技術を提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明の第1態様は、構造物を含む検体を焦点位置を変えながら撮像することにより得られた複数の原画像、を取得する画像取得手段と、前記複数の原画像をもとに、原画像よりも構造物の像のボケが低減された第1の画像を生成する画像生成手段と、前記第1の画像に対し画像解析処理を適用することによって、前記第1の画像に含まれる構造物に関する情報を取得する解析手段と、を備え、前記画像生成手段は、前記検体から得られた前記複数の原画像の内から、前記検体の厚さよりも小さい深度範囲内に焦点位置が含まれる原画像を選択し、前記選択された原画像を用いて前記第1の画像を生成する画像処理装置を提供する。
【0011】
本発明の第2態様は、構造物を含む検体を焦点位置を変えながら撮像して、複数の原画像を取得する撮像装置と、前記撮像装置から前記複数の原画像を取得する前記第1態様に係る画像処理装置と、を備える撮像システムを提供する。
【0012】
本発明の第3態様は、構造物を含む検体を焦点位置を変えながら撮像することにより得られた複数の原画像を格納する画像サーバーと、前記画像サーバーから前記複数の原画像を取得する前記第1態様に係る画像処理装置と、を備える画像処理システムを提供する。
【0013】
本発明の第4態様は、構造物を含む検体を焦点位置を変えながら撮像することにより得られた複数の原画像、を取得する画像取得ステップと、前記複数の原画像をもとに、原画像よりも構造物の像のボケが低減された第1の画像を生成する画像生成ステップと、前記第1の画像に対し画像解析処理を適用することによって、前記第1の画像に含まれる構造物に関する情報を取得する解析ステップと、をコンピュータに実行させるプログラムであって、前記画像生成ステップでは、前記検体から得られた前記複数の原画像の内から、前記検体の厚さよりも小さい深度範囲内に焦点位置が含まれる原画像が選択され、前記選択された原画像を用いて前記第1の画像が生成されるプログラムを提供する。
【発明の効果】
【0014】
本発明によれば、デジタル画像を利用した検体観察において、検体の奥行き方向の情報を維持し、且つコンピュータによる画像解析処理に適した画像を生成することが可能となる。
【図面の簡単な説明】
【0015】
【図1】第1実施形態における撮像システムの装置構成の全体図。
【図2】第1実施形態における撮像装置の機能ブロック図。
【図3】深度合成の概念図。
【図4】検体と深度および距離情報との関係を示す概念図。
【図5】第1実施形態における画像処理全体の流れを示すフローチャート。
【図6】第1実施形態における画像生成処理の流れを示すフローチャート。
【図7】第1実施形態における深度合成処理の流れを示すフローチャート。
【図8】第1実施形態における画像解析の流れを示すフローチャート。
【図9】第2実施形態における画像処理システムの装置構成の全体図。
【図10】第2実施形態における画像処理全体の流れを示すフローチャート。
【図11】第3実施形態における深度合成処理の流れを示すフローチャート。
【発明を実施するための形態】
【0016】
[第1実施形態]
図1は、本発明の第1実施形態に係る撮像システムの装置構成の全体図である。
本実施形態における撮像システムは、撮像装置(顕微鏡装置)101、画像処理装置102、表示装置103から構成され、撮像対象となる検体(被検試料)の二次元画像を取得し表示する機能を有するシステムである。撮像装置101と画像処理装置102の間は、専用もしくは汎用I/Fのケーブル104で接続され、画像処理装置102と表示装置103の間は、汎用のI/Fのケーブル105で接続される。
【0017】
撮像装置101は、光軸方向に焦点位置の異なる複数枚の二次元画像を撮像し、デジタル画像を出力する機能を持つバーチャル・スライド装置である。二次元画像の取得にはCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子が用いられる。なお、バーチャル・スライド装置の代わりに、通常の光学顕微鏡の接眼部にデジタルカメラを取り付けたデジタル顕微鏡装置により、撮像装置101を構成することもできる。
【0018】
画像処理装置102は、撮像装置101から取得した複数枚の原画像(Zスタック画像)から、画像解析に適した解析用画像を生成する機能、目視による観察に適した観察用画像を生成する機能、解析用画像に対し画像解析処理を適用する機能等をもつ装置である。画像処理装置102は、CPU(中央演算処理装置)、RAM、記憶装置、操作部、I/Fなどのハードウェア資源を備えた、汎用のコンピュータやワークステーションで構成される。記憶装置は、ハードディスクドライブなどの大容量情報記憶装置であり、後述する各処理を実現するためのプログラムやデータ、OS(オペレーティングシステム)などが格納されている。上述した各機能は、CPUが記憶装置からRAMに必要なプログラムおよびデータをロードし、当該プログラムを実行することにより実現されるものである。操作部は、キーボードやマウスなどにより構成され、操作者が各種の指示を入力するために利用される。表示装置103は、画像処理装置102が演算処理した結果である観察用画像と画像解析結果を表示するモニターであり、CRTや液晶ディスプレイ等により構成される。
【0019】
図1の例では、撮像装置101と画像処理装置102と表示装置103の3つの装置により撮像システムが構成されているが、本発明の構成はこの構成に限定されるものではない。例えば、表示装置が一体化した画像処理装置を用いてもよいし、画像処理装置の機能を撮像装置に組み込んでもよい。また撮像装置、画像処理装置、表示装置の機能を1つの装置で実現することもできる。また逆に、画像処理装置等の機能を分割して複数の装置によって実現してもよい。
【0020】
(撮像装置の構成)
図2は、撮像装置101の機能構成を示すブロック図である。
撮像装置101は、概略、照明ユニット201、ステージ202、ステージ制御ユニット205、結像光学系207、撮像ユニット210、現像処理ユニット216、プレ計測
ユニット217、メイン制御系218、外部インターフェース219から構成される。
【0021】
照明ユニット201は、ステージ202上に配置されたプレパラート206に対して均一に光を照射する手段であり、光源、照明光学系、および光源駆動の制御系から構成される。ステージ202は、ステージ制御ユニット205によって駆動制御され、XYZの三軸の移動が可能である。光軸方向はZ方向とする。プレパラート206は、観察対象となる組織の切片や塗抹した細胞をスライドグラス上に貼り付け、封入剤とともにカバーグラスの下に固定した部材である。
【0022】
ステージ制御ユニット205は、駆動制御系203とステージ駆動機構204から構成される。駆動制御系203は、メイン制御系218の指示を受け、ステージ202の駆動制御を行う。ステージ202の移動方向、移動量などは、プレ計測ユニット217によって計測した検体の位置情報および厚み情報(距離情報)と、ユーザーからの指示とに基づいて決定される。ステージ駆動機構204は、駆動制御系203の指示に従い、ステージ202を駆動する。
結像光学系207は、プレパラート206の検体の光学像を撮像センサ208へ結像するためのレンズ群である。
【0023】
撮像ユニット210は、撮像センサ208とアナログフロントエンド(AFE)209から構成される。撮像センサ208は、二次元の光学像を光電変換によって電気的な物理量へ変える一次元もしくは二次元のイメージセンサであり、例えば、CCDやCMOSが用いられる。一次元センサの場合、走査方向へスキャンすることで二次元画像が得られる。撮像センサ208からは、光の強度に応じた電圧値をもつ電気信号が出力される。撮像画像としてカラー画像が所望される場合は、例えば、Bayer配列のカラーフィルタが取り付けられた単板のイメージセンサを用いればよい。
【0024】
AFE209は、撮像センサ208から出力されたアナログ信号をデジタル信号へ変換する回路である。AFE209は後述するH/Vドライバ、CDS(Correlated double sampling)、アンプ、AD変換器およびタイミングジェネレータによって構成される。H/Vドライバは、撮像センサ208を駆動するための垂直同期信号および水平同期信号を、センサ駆動に必要な電位に変換する。CDSは、固定パターンのノイズを除去する二重相関サンプリング回路である。アンプは、CDSでノイズ除去されたアナログ信号のゲインを調整するアナログアンプである。AD変換器は、アナログ信号をデジタル信号に変換する。システム最終段での出力が8ビットの場合、後段の処理を考慮して、AD変換器はアナログ信号を10ビットから16ビット程度に量子化されたデジタルデータへ変換し、出力する。変換されたセンサ出力データはRAWデータと呼ばれる。RAWデータは後段の現像処理ユニット216で現像処理される。タイミングジェネレータは、撮像センサ208のタイミングおよび後段の現像処理ユニット216のタイミングを調整する信号を生成する。
【0025】
撮像センサ208としてCCDを用いる場合、上記AFE209は必須となるが、デジタル出力可能なCMOSイメージセンサの場合は、上記AFE209の機能をセンサに内包することになる。また、不図示ではあるが、撮像センサ208の制御を行う撮像制御部が存在し、撮像センサ208の動作制御や、シャッタースピード、フレームレートやROI(Region Of Interest)など動作タイミングの制御も合わせて行う。
【0026】
現像処理ユニット216は、黒補正部211、ホワイトバランス調整部212、デモザイキング処理部213、フィルタ処理部214、γ補正部215から構成される。黒補正部211は、RAWデータの各画素から、遮光時に得られた黒補正データを減算する処理を行う。ホワイトバランス調整部212は、照明ユニット201の光の色温度に応じて、
RGB各色のゲインを調整することによって、望ましい白色を再現する処理を行う。具体的には、黒補正後のRAWデータに対しホワイトバランス補正用データが加算される。単色の画像を取り扱う場合にはホワイトバランス調整処理は不要となる。
【0027】
デモザイキング処理部213は、Bayer配列のRAWデータから、RGB各色の画像データを生成する処理を行う。デモザイキング処理部213は、RAWデータにおける周辺画素(同色の画素と他色の画素を含む)の値を補間することによって、注目画素のRGB各色の値を計算する。またデモザイキング処理部213は、欠陥画素の補正処理(補完処理)も実行する。なお、撮像センサ208がカラーフィルタを有しておらず、単色の画像が得られている場合、デモザイキング処理は不要となる。
【0028】
フィルタ処理部214は、画像に含まれる高周波成分の抑制、ノイズ除去、解像感強調を実現するデジタルフィルタである。γ補正部215は、一般的な表示デバイスの階調表現特性に合わせて、画像に逆特性を付加する処理を実行したり、高輝度部の階調圧縮や暗部処理によって人間の視覚特性に合わせた階調変換を実行したりする。本実施形態では形態観察を目的とした画像取得のため、後段の合成処理や表示処理に適した階調変換が画像に施される。
【0029】
一般的な現像処理機能としては、RGB信号をYCC等の輝度色差信号へ変換する色空間変換や大容量の画像データを圧縮する処理も含まれるが、本実施形態ではRGBデータを直接使用し、かつデータ圧縮を行わないものとする。
また、不図示ではあるが、結像光学系207を構成するレンズ群の影響によって撮像エリア内の周辺部の光量が落ちることを補正する周辺減光補正の機能を搭載しても良い。あるいは、結像光学系207で生じる各種収差の内、結像の位置ずれを補正する歪曲収差補正、色毎の像の大きさの違いを補正する倍率色収差補正など、各種光学系の補正処理機能を搭載しても良い。
【0030】
プレ計測ユニット217は、プレパラート206上の検体の位置情報、所望の焦点位置までの距離情報、および検体厚みに起因する光量調整用のパラメータを算出するためのプレ計測を行うユニットである。本計測の前にプレ計測ユニット217によって情報を取得することで、無駄のない撮像を実施することが可能となる。また、Zスタック画像を取得する際の撮像開始位置と終了位置(焦点位置の範囲)および撮像間隔(焦点位置の間隔。Z間隔とも呼ぶ。)の指定もプレ計測ユニット217が生成する情報に基づいて行われる。二次元平面の位置情報取得には、撮像センサ208より解像力の低い二次元撮像センサが用いられる。プレ計測ユニット217は、取得した画像から検体のXY平面上での位置を把握する。距離情報および厚み情報の取得には、レーザー変位計やシャックハルトマン方式の計測器が用いられる。検体厚み情報の取得方法については後述する。
【0031】
メイン制御系218は、これまで説明してきた各種ユニットの制御を行う機能である。メイン制御系218および現像処理ユニット216の機能は、CPUとROMとRAMを有する制御回路により実現される。すなわち、ROM内にプログラムおよびデータが格納されており、CPUがRAMをワークメモリとして使いプログラムを実行することで、メイン制御系218および現像処理ユニット216の機能が実現される。ROMには例えばEEPROMやフラッシュメモリなどのデバイスが用いられ、RAMには例えばDDR3などのDRAMデバイスが用いられる。
【0032】
外部インターフェース219は、現像処理ユニット216によって生成されたRGBのカラー画像を画像処理装置102に送るためのインターフェースである。撮像装置101と画像処理装置102とは、光通信のケーブルにより接続される。あるいは、USBやGigabitEthernet(登録商標)等のインターフェースが使用される。
【0033】
本計測での撮像処理の流れを簡単に説明する。プレ計測により得られた情報に基づき、ステージ制御ユニット205が、ステージ202上の検体の位置決めを行い、検体に対する撮像の位置決めを行う。照明ユニット201から照射された光は、検体を透過し、結像光学系207によって撮像センサ208の撮像面に結像する。撮像センサ208の出力信号はAFE209によりデジタル画像(RAWデータ)に変換され、そのRAWデータは現像処理ユニット216によりRGBの二次元画像に変換される。このようにして得られた二次元画像は画像処理装置102へ送られる。
【0034】
以上の構成および処理によって、ある焦点位置における検体の二次元画像を取得することができる。ステージ制御ユニット205によって光軸方向(Z方向)に焦点位置をシフトさせながら、上記の撮像処理を繰り返すことにより、焦点位置が異なる複数枚の二次元画像を取得することができる。ここでは、本計測の撮像処理で得られる各々の二次元画像をZスタック画像又は原画像と称す。
【0035】
なお、本実施形態においては、単板方式のイメージセンサでカラー画像を取得する例を説明したが、RGB別の三つのイメージセンサによりカラー画像を取得する三板方式を用いてもよい。あるいは、一つのイメージセンサと三色の光源を用い、光源色を切り替えながら三回の撮像を行うことによってカラー画像を取得する三回撮像方式を用いてもよい。
【0036】
(深度合成について)
図3は、深度合成の概念図である。図3を用いて深度合成処理の概要を説明する。
画像501〜507は7枚のZスタック画像であり、3次元的に異なる空間位置に複数の構造物が含まれる検体に対して、焦点位置を光軸方向(Z方向)に順次変更しながら7回撮像を行うことで得られたものである。508〜510は取得された画像501中に含まれる構造物を示す。構造物508は画像503の焦点位置ではピントが合うが、画像501の焦点位置ではボケた像となる。そのため、画像501では構造物508の構造把握は困難である。構造物509は画像502の焦点位置でピントが合うが、画像501の焦点位置では若干ボケた像となる。画像501では構造物509の構造把握は十分ではないものの、可能な状況にある。構造物510は画像501の焦点位置でピントが合うため、画像501により構造把握が十分に行える。
【0037】
図3において、黒で塗りつぶされた構造物は合焦するもの、白抜きの構造物は若干ボケるもの、破線で示した構造物はボケが大きいもの、をそれぞれ表している。すなわち、画像501、502、503、504、505、506、507において、構造物510、511、512、513、514、515、516にそれぞれピントが合う。なお、図3に示す例では、構造物510〜516は水平方向に位置が異なっているものとして説明する。
【0038】
画像517は、画像501〜507における焦点の合った構造物510〜516の領域をそれぞれ切り出し、それらの合焦領域を合成して得られた画像を示している。上記のように複数の画像の合焦領域をつなぎ合わせることにより、画像の全領域でピントの合った深度合成画像を取得することができる。このようにデジタル画像処理によって被写界深度の深い画像を生成する処理は、焦点合成(フォーカス・スタッキング)とも呼ばれる。また、図3に示したように、焦点の合ったコントラストの高い領域を選択し、つなぎ合わせる方法は、セレクト&マージ方式と呼ばれる。本実施形態では、このようなセレクト&マージ方式により深度合成を行う例を説明するが、もちろん他の深度合成方法を採用してもよい。
【0039】
(検体の厚みについて)
図4は、検体と深度および距離情報との関係を示す概念図である。本図を用いて、本実施形態の特徴である深度範囲の概念を説明する。
図4は、プレパラートの断面を模式的に示している。プレパラートは、透明なスライドグラス602とカバーグラス601の間に検体603を固定した構造である。カバーグラス601と検体603との間には透明な接着剤である封止剤が存在する。
【0040】
604は、基準位置605からカバーグラス601の上面までの距離を示している。また、606は、基準位置607からスライドグラス602の下面までの距離を示している。これらの距離604、606は、例えばレーザー変位計などを用いて計測することができる。
【0041】
608は、検体603の厚みを示している。検体厚み608を直接計測することは難しいため、基準位置605と607の間隔から、距離604および606、カバーグラス厚609、スライドグラス厚610を減算することによって、厚み608を算出するとよい。なお、カバーグラス601およびスライドグラス602には、把持方法や封止の影響、および検体の厚さばらつきによって、うねりが生じる。そのため、精度の良い検体厚み608の計測のためには、二次元平面(XY平面)内の複数の位置で距離情報を取得し、それらの平均や中間値をとることが好ましい。
【0042】
カバーグラス厚609は、計測することもできるし、予め登録された規定値を用いることもできる。計測する場合は、カバーグラス601のうねりを考慮し、複数点で厚みを計測するとよい。一方、規定値を用いる場合は、カバーグラス601の厚さのばらつきはないものとみなす。
スライドグラス厚610も、カバーグラス厚609と同様に、計測結果を用いてもよいし、予め登録された規定値を用いてもよい。一般にスライドグラス602の方がカバーグラス601よりも大きい。そのため、基準位置605からスライドグラス602の上面までの距離を計測し、その計測結果と距離606の合計値を基準位置605と607の間隔から減算することでも、スライドグラス厚610を算出することが可能である。
【0043】
611a〜611dは、検体603内に含まれる構造物である。ここでは、611a〜611dはそれぞれ細胞の核を示しているものとする。核611bは光軸に垂直な面で切断されている。核611bと611cは光軸方向(Z方向)の位置(深さ)が異なっているが、光軸方向から見たときには(つまりXY平面に投影したときには)重なりを有しているものとする。
【0044】
612は、カバーグラス601の下面、つまり検体603の表面を示している。結像光学系の焦点位置をこの位置612に合わせることで、検体603の表面の画像を撮影することができる。なお、実際には、プレパラートのうねりや検体603の厚みばらつきなどがあるため、位置612に合わせても、検体603の表面の全領域にピントが合うわけではなく、ピントの合う領域とボケた領域が混在することになる。光軸上のどの位置に焦点を合わせた場合でも同様である。また、観察や解析の対象となる構造物(細胞核など)が存在するZ方向位置も図6のようにランダムであるため、ある一つの焦点位置で撮像するだけでは、病理診断に必要な情報が十分に得られない可能性がある。
【0045】
そのため従来システムでは、例えば、カバーグラス下面とスライドグラス上面の間の深度範囲内で、焦点位置を徐々にずらしながら複数のZスタック画像を取得し、これら全てのZスタック画像を深度合成してパンフォーカス画像を生成することが一般に行われる。しかしながら、この方法により得られる合成画像では、像のボケは非常に低減されるものの、検体の奥行き方向の情報が完全に失われてしまい、核611a〜611dの前後関係(上下関係)は把握することができない。また、核611bの像と核611cの像が合成
画像上で重なり合って(混ざり合って)しまい、それらを区別することが困難になる。このような像の重なりが生じると、例えば細胞の形状把握や個数算出、細胞質と核の面積比(N/C比)の算出などの画像解析処理において精度低下を招く可能性があり、好ましくない。
【0046】
そこで本実施形態のシステムでは、画像解析に用いるための「解析用画像」については、全てのZスタック画像ではなく、一部(検体の厚さよりも小さい深度範囲)のZスタック画像のみを用いて深度合成を行うことで、画像解析に適した合成画像を提供する。解析用画像は、Zスタック画像(原画像)に比べて適度にボケが低減された画像となる。さらに本システムは、解析用画像(第1の画像)とは別に、ユーザーの目視による観察に適した「観察用画像」(第2の画像)を生成することもできる。観察用画像は、解析用画像に比べてボケの低減度合いが小さい画像である。すなわち、観察用画像では、焦点位置から外れた構造物の像に適度にボケを残すことで、構造物の上下関係の直観的な把握を容易にしているのである。なおZスタック画像のボケ具合(つまり被写界深度)が観察に適している場合には、原画像であるZスタック画像そのものを観察用画像に用いることもできる。
このように、本システムは、用途(コンピュータによる画像解析か、ユーザーによる目視観察か)に応じて、適切な被写界深度(あるいはコントラスト)の画像が自動的に生成される点に一つの特徴を有しており、これによりユーザーの利便性の向上を図るものである。
【0047】
ここで、解析用画像と観察用画像の違いは、深度合成に用いるZスタック画像が選択される深度範囲の大きさが異なる点、具体的には、解析用画像の深度範囲のほうが観察用画像の深度範囲よりも大きい点である。言い換えると、解析用画像のほうが観察用画像よりも深度合成に用いるZスタック画像の数が多い。あるいは、解析用画像のほうが観察用画像よりも被写界深度が深い、解析用画像のほうが観察用画像よりもボケの低減度合いが大きい(ボケが小さい)、という言い方もできる。解析用画像の深度範囲は、解析対象となる構造物の大きさや診断種類(組織診か細胞診か)に応じて、適宜決定することができる。具体的には、画像解析において識別(検出)すべき構造物(細胞や核等)の大きさと概ね等しくなるように、深度範囲を決定するとよい。例えば、組織診用の検体の場合、正常細胞の核の大きさは約3〜5μm、異常細胞の核の大きさは〜約10μmであるため、深度範囲は3μm以上10μm以下に設定するとよい。Zスタック画像同士の焦点位置の間隔(Z間隔)が1μmであれば、カバーグラス601のうねりが存在しない場合、3〜10枚程度のZスタック画像が解析用画像の深度合成に用いられることとなる。
【0048】
(システムの動作)
図5は、撮像システムの画像処理全体の流れを示すフローチャートである。本図を用いて、Zスタック画像の撮像処理、並びに、観察用画像および解析用画像の生成処理の流れを説明する。なお、プレ計測処理は本計測処理の前に終了しており、プレパラートのXY平面の低解像度画像とZ方向の距離情報および厚み情報とは、図5の処理が開始する前にメイン制御系218に伝送されているものとする。
【0049】
ステップS701では、メイン制御系218が、エッジ検出や物体認識などの公知の画像処理を用いて、プレ計測で得られたXY平面画像から検体が存在する範囲を検出する。ここで検出された範囲が、本計測における撮像範囲に指定される。このように、プレパラート全体を撮像するのではなく、プレ計測の結果に基づき撮像範囲を制限する(小さくする)ことで、処理時間の短縮とデータ量の削減を図ることが可能となる。
【0050】
ステップS702では、メイン制御系218が、プレ計測で得られたプレパラートのZ方向の距離情報および厚み情報に基づいて、Z方向の撮像範囲を指定する。具体的には、
撮像開始位置(例えばカバーグラス下面)、撮像終了位置(例えばスライドグラス上面)、撮像間隔(Z間隔)を指定するとよい。撮像間隔は、結像光学系207の被写界深度に基づいて決めることができる。例えば、焦点位置の±0.5μmの範囲でピントが合っているとみなせる場合(被写界深度は1μm)、撮像間隔は1μmかそれより小さくするとよい。撮像間隔は一定でもよいし、撮像範囲の中で変化させてもよい。例えば、細胞診と組織診では検体の厚みが異なるため(細胞診の場合は数十μm、組織診の場合は数μm)、細胞診の場合に組織診よりも撮像間隔を広くすることも好ましい。撮像間隔を広くすることで、撮像回数が減り、取得するZスタック画像の枚数も減るため、撮像時間の短縮およびデータ量を削減する効果が得られる。
ステップS701、S702で得られた撮像範囲の情報は、ステージ制御ユニット205、撮像ユニット210、現像処理ユニット216にそれぞれ伝送される。
【0051】
次に、各焦点位置での二次元画像(Zスタック画像)の撮像が行われる。
まずステップS703では、ステージ制御ユニット205が、ステージ202をX,Y方向に移動させ、検体の撮像範囲と結像光学系207および撮像センサ208の画角との位置合わせを行う。また、ステージ202をZ方向に移動させて、検体上の焦点位置を撮像開始位置に合わせる。
【0052】
ステップS704では、照明ユニット201が検体を照明し、撮像ユニット210が画像を取り込む。本実施形態ではBayer配列のセンサを想定しているため、1回の撮像で次動作に移ることができる。三板式も同様である。光源切り替えによる三回撮像方式の場合は、同じ位置で光源をR、G、Bと切り替え、それぞれの像を取得後、次ステップへ進む。
【0053】
ステップS705では、撮像データを現像処理ユニット216で処理し、RGB画像を生成後、画像処理装置102へ伝送する。撮像装置101内のストレージへ画像を一次保存した後、伝送するステップを踏んでも良い。S703〜S705の処理で、一つの焦点位置における一枚のZスタック画像が取得できる。
【0054】
ステップS706では、全ての焦点位置の撮像が完了したか否か(つまり、焦点位置が撮像終了位置に到達したか否か)を判断する。撮像が完了、すなわち全てのZスタック画像の取得が完了した場合はステップS707へ進む。焦点位置が撮像終了位置に到達していなければ、S703に戻り、S702で指定された撮像間隔だけ焦点位置をシフトし、次の撮像を行う。例えば、撮像開始位置と撮像終了位置の間の距離が30μmであり、撮像間隔が1μmの場合であれば、S703〜S706の処理が31回繰り返され、31枚のZスタック画像が取得されることになる。
【0055】
ステップS707では、全Zスタック画像取得の結果を受けて、画像処理装置102が画像生成処理の各種設定を行う。ここでは、取得したZスタック画像の枚数の把握と、観察用画像および解析用画像それぞれの画像生成に必要な距離情報、被写界深度の範囲などの情報取得および設定が行われる。
ステップS708では、画像処理装置102が、ステップS707で設定した値に基づき観察用画像および解析用画像の生成を行う。詳細については図6を用いて後ほど説明する。
【0056】
ステップS709以降は、観察用画像および解析用画像を利用する処理の一例である。ステップS709では、画像処理装置102が、観察用画像に対する処理を行うのか、解析用画像に対する処理を行うのかを判断する。観察用画像に対する処理の場合はステップS710へ、解析用画像に対する処理の場合はステップS711へそれぞれ進む。なお、このフローチャートでは観察用画像に対する処理と解析用画像に対する処理とが排他的に
実行されるように示されているが、両方の処理を並列に又は順番に実行することもできる。
【0057】
ステップS710では、画像処理装置102が観察用画像を取得し、それを表示装置103に表示する。観察用画像は、複数のZスタック画像の中からユーザーにより又は自動的に選択されたZスタック画像そのものであってもよいし、S708において、奥行き方向の情報が得られる範囲で深度合成された合成画像であってもよい。
ステップS711では、画像処理装置102が、処理対象とする解析用画像を取得する。ステップS712では、画像処理装置102が、選択した解析用画像をもとに画像解析処理を実施する。画像解析処理の詳細については図8を用いて後ほど説明する。
【0058】
ステップS713では、画像処理装置102が、画像解析処理(S712)の結果を表示装置103に表示する。このとき、ステップS710において表示されている観察用画像に対して補足情報として解析結果を提示することが望ましい。解析結果は、観察用画像と並べて表示してもよいし、観察用画像にオーバーレイ表示してもよいし、その他のどのような表示態様でもよい。
【0059】
なお、図5のフローチャートでは、Zスタック画像の撮像、観察用画像および解析用画像の生成、解析、表示という一連の流れを説明したが、本システムの動作はこの例に限らない。例えば、S701〜S706の撮像処理と、S707〜S708の画像生成処理と、S709〜S713の解析・表示処理とは、時間的に別々に行っても構わない。例えば、ストッカー(不図示)に収容した複数のプレパラートに対して撮像処理のみバッチ的に実行し、各プレパラートのZスタック画像群を画像処理装置102内の記憶装置あるいはネットワーク上の記憶装置に蓄積することもできる。そして、画像生成処理や解析・表示処理については、ユーザーが、任意の時間に、記憶装置の中から任意の画像を選んで、処理を行うことができる。
【0060】
(画像生成処理)
図6は、画像生成処理の流れを示すフローチャートである。ここでは、図5のステップS708の詳細について説明する。
ステップS801では、画像処理装置102が、画像生成の対象が観察用画像か解析用画像かを判断する。観察用画像の場合はステップS802へ、解析用画像の場合はステップS807へそれぞれ進む。なお、このフローチャートでは、観察用画像の生成処理と解析用画像の生成処理とが排他的に実行されるように示されているが、実際には、観察用画像と解析用画像の両方を生成するため、両方の生成処理が並列に又は順番に実行される。
【0061】
(1)観察用画像の生成処理
ステップS802では、ユーザーが、複数の焦点位置に対応する複数のZスタック画像の中から一枚の画像を選択する。例えば、ユーザーに焦点位置を指定させてもよいし、複数の画像を並べたプレビュー画面を提示してユーザーに画像を選ばせてもよい。
【0062】
ステップS803では、ステップS802で選択された画像が目視観察に十分な被写界深度を持っているか否かを判断する。被写界深度が十分な場合はステップS806へスキップする(この場合、Zスタック画像がそのまま観察用画像として用いられる)。被写界深度が十分ではない、すなわち奥行き情報の欠落が認められる場合はステップS804へ進む。なお、被写界深度が十分か否かは、ユーザーが画像のプレビューを見て判断することができる。
【0063】
ステップS804では、ユーザーが、観察用画像の生成に用いるZスタック画像の範囲(深度範囲)を指定する。このとき、深度範囲を指定してもよいし、画像の枚数を指定し
てもよい。例えば、2枚合成、3枚合成、・・・といった複数種類のプレビュー画像を画面表示し、ユーザーに所望の合成枚数を選択させる構成をとることも好ましい。なおプレビュー画像は、粗画像を使って深度合成したものでもよいし、深度合成よりも簡易な合成処理(加算、αブレンドなど)で作成したものでもよい。
【0064】
ステップS805では、画像処理装置102は、指定された深度範囲内にある複数のZスタック画像を選択し、深度合成処理を実施する。深度合成処理の詳細については図7を用いて後ほど詳細に説明する。
ステップS806では、画像処理装置102は、ステップS802で選択された画像、もしくはステップS805で生成された深度合成画像を、観察用画像として指定する。観察用画像は画像処理装置102内の記憶装置またはネットワーク上の所定の記憶装置に格納される。
【0065】
(2)解析用画像の生成処理
ステップS807では、画像生成の対象が解析用途であることを受けて、画像処理装置102が、深度合成の際に基準位置となる画像(これを基準画像と呼ぶ)を複数枚のZスタック画像の中から選択する。基準画像の選択はユーザーが行ってもよい。ここで、基準位置は任意に設定できるが、カバーグラスの下面、つまり検体の上側(結像光学系側)の表面を基準位置に選ぶことが好ましい。通常の画像では、焦点位置(焦点面)よりも上に存在する構造物と下に存在する構造物の両方が、ボケた像となって画像に重畳されることとなる。これに対し、検体表面に焦点位置を合わせた画像の場合は、焦点位置の上には封止剤やカバーグラスなどの透明な物体の他は存在しないため、ボケ成分が半分(下側の構造体のみ)となるからである。ボケの少ないクリアな画像の方が画像解析には好適である。あるいは、解析対象の構造物が分かっている場合には、その構造物に最もピントの合っている画像を基準画像として選んでもよいし、解析対象とする深度(例えば検体の中心とか、検体表面からXμmなど)が決まっている場合には、その深度の画像を選んでもよい。
【0066】
ステップS808では、解析用画像の生成に用いるZスタック画像の範囲(深度範囲)を指定する。深度範囲は、S807で指定された基準位置が深度範囲の上端又は中心又は下端になるように設定される。深度範囲の指定はユーザーが行うこともできるが、好ましくは、画像処理装置102が解析対象のサイズや解析の目的などに応じて自動で決定するとよい。例えば、組織診において細胞質と核の面積比であるN/C比の算出を行う場合、核の直径が正常細胞で3〜5μm程度、核肥大や多核化の場合はその数倍程度に膨らむことを考慮し、深度範囲は3μm以上10μm以下に設定するとよい。また、細胞診の場合は、細胞形状を把握するために、通常、数十μm程度の大きさ(厚み)の剥離細胞の全体像把握が目的となる。それゆえ、深度範囲は20μm程度に設定するとよい。このような解析対象や解析目的と望ましい深度範囲の大きさとの対応関係は、予め画像処理装置102に設定されているものとする。
またステップS808において、深度範囲に加えて、深度合成に用いる画像のZ方向の間隔(Z間隔)を設定してもよい。例えば、細胞診の場合は、組織診の場合に比べて深度範囲が大きいため、深度範囲内のすべての画像を深度合成に用いると処理時間が長くなる。そこで、深度範囲が大きい場合や解析対象のサイズが大きい場合などには、Z間隔を大きくとることで画像数を減らし、処理時間を削減するとよい。
【0067】
ステップS809では、画像処理装置102が、S807とS808で設定された深度範囲内に含まれる複数のZスタック画像を選択する。そして、ステップS810において、画像処理装置102は、これらのZスタック画像を用いて深度合成処理を実施する。深度合成処理の内容はステップS805と同じであるため、図7を用いて後ほど説明する。
【0068】
ステップS811では、画像処理装置102は、ステップS810で生成された深度合成画像を、解析用画像として指定する。解析用画像は画像処理装置102内の記憶装置またはネットワーク上の所定の記憶装置に格納される。
以上の処理によって、観察用画像と解析用画像の双方を、同じZスタック画像群から得ることができる。
【0069】
(深度合成処理)
図7は、深度合成処理の流れを示すフローチャートである。ここでは、図6のステップS805、S810の詳細について説明する。
【0070】
ステップS901では、画像処理装置102は、深度合成の対象として選択された複数のZスタック画像を取得する。前述のとおり、観察用画像に比べて解析用画像の方が、深度合成に用いる画像の数が多い。
【0071】
ステップS902では、画像処理装置102は、取得した画像各々に対して、画像を所定のサイズの複数の小領域に分割する。この分割領域のサイズは、観察や解析の対象となる構造物(細胞、核など)のサイズを考慮して決められる。例えば、分割領域の一辺の長さが、観察や解析の対象となる構造物の直径の1/2倍から1倍程度のサイズになるよう、分割領域のサイズを設定するとよい。
【0072】
ステップS903では、画像処理装置102は、各画像の各分割領域について、コントラスト値を検出する。コントラスト検出の一例として、分割領域毎に離散コサイン変換を行って周波数成分を求め、周波数成分の中で高周波成分の総和を求め、コントラストの度合いを示す値として採用する方法が挙げられる。また、単純に分割領域内での輝度値の最大値と最小値の差を求めたり、エッジ検出の空間フィルタを用いてエッジ量を算出し、得られた値をコントラスト値としたりしても良い。コントラスト検出に関しては、既知の様々な方法を適用することが可能である。
【0073】
ステップS904では、画像処理装置102は、コントラストMAPを作成する。コントラストMAPとは、分割領域の数と同じ数の要素をもつテーブルであり、各要素に、対応する分割領域のコントラスト値と画像番号とがMAP値としてマッピングされたものである。例えば、S902において画像が100×100個の領域に分割される場合、コントラストMAPも100×100個の要素をもつ。ステップS904では、S901で取得した複数の画像の内の任意の一枚(例えば、深度範囲の上端の画像など)が選ばれ、その画像のコントラスト値と画像番号が初期値としてコントラストMAPに入力される。
【0074】
ステップS905では、画像処理装置102は、ステップS904で選んだ画像とは異なる画像を比較対象画像として選択する。
ステップS906では、画像処理装置102は、比較対象画像とコントラストMAPとの間で、コントラスト値の比較を行う。比較対象画像のコントラスト値の方が高い場合は、ステップS907へ進む。比較対象画像のコントラスト値の方が低い、もしくは両画像のコントラスト値が同じ場合は、ステップS907の処理をスキップしてステップS908へと進む。
ステップS907では、画像処理装置102は、比較対象画像のコントラスト値及び画像番号をコントラストMAPに書き込む(コントラストMAPの更新)。S906のコントラスト値の比較およびS907のコントラストMAPの更新は、分割領域ごとに行われる。
【0075】
ステップS908では、画像処理装置102は、ステップS901で選択した全画像に対して比較処理を実施したか否かを判断する。すべての画像で比較処理が完了した場合は
ステップS909へ進む。完了していない場合は、ステップS905へ戻り、以後比較処理を繰り返す。これにより、分割領域ごとに最もコントラスト値が高い画像番号が記録されたコントラストMAPが完成する。
【0076】
ステップS909では、画像処理装置102は、コントラストMAPを参照して、分割領域ごとに、該当する画像番号のZスタック画像から分割画像を抽出する。
ステップS910では、画像処理装置102は、ステップS909で抽出した分割画像をつなぎ合わせるスティッチングの処理を実施する。以上のステップを経ることで、複数枚のZスタック画像から、高コントラストの領域、すなわちピントの合った鮮明な領域をつなぎ合わせた合成画像を生成することができる。
【0077】
(画像解析処理)
図8は、画像解析の流れを示すフローチャートである。ここでは、図5のステップS712の詳細について説明する。
【0078】
ステップS1101では、画像処理装置102が、解析用に深度合成を行った解析用画像を取得する。ここでは、組織診を例に挙げ、薄くスライスされた組織片をHE(ヘマトキシリン・エオシン)染色した検体を対象とする。
【0079】
ステップS1102では、画像処理装置102が、解析用画像中に含まれる解析対象となる細胞のエッジを抽出する。ここでは、エオシンによって細胞が赤ないしピンク色に染色されていることを利用し、赤ないしピンク色の色域の領域を抽出する処理が行われる。本実施形態の解析用画像では、深度合成によって像のボケが低減されているため、エッジ抽出および後段の輪郭抽出を精度良く行うことができる。なお、抽出処理をより精度良く行うため、解析用画像に対し空間フィルタによるエッジ強調処理を事前に施しても構わない。ここでのエッジ抽出は、実際には細胞膜の検出となる。
【0080】
ステップS1103では、画像処理装置102が、ステップS1102で抽出されたエッジに基づき、細胞の輪郭を抽出する。ステップS1102で抽出されたエッジが不連続かつ断続的なものの場合、その間をつなぐ処理を施すことで連続的な輪郭を抽出することが可能となる。不連続点をつなぐ方法は一般的な線形の補間で構わないが、より精度を高めるためにより高次の補間式を採用してもよい。
【0081】
ステップS1104では、画像処理装置102が、ステップS1103で検出された輪郭をもとに個々の細胞の認識、特定を行う。一般に細胞は円形をしており、そのサイズも概ね決まっている。したがって、形状やサイズなどの知識情報を利用することで、細胞か否かの誤判定を少なくすることができる。また本実施形態では、解析用画像を生成する際の深度範囲を細胞の核のサイズに基づいて適切な範囲に設定しているため、異なる深度に存在する細胞同士が画像上で重なり合うことが極力抑えられている。それゆえ、細胞を認識、特定する処理を精度良く行うことが可能となる。なお、一部では細胞の重なりを生じていることで細胞の特定が難しいものも存在する可能性がある。その場合は、後段の細胞核の特定結果を待って、再度認識、特定の処理を実施すればよい。
【0082】
ステップS1105では、画像処理装置102が、細胞核の輪郭を抽出する。HE染色では、細胞の核はヘマトキシリンによって青紫に染色され、その周囲の細胞質はエオシンによって赤色に染色される。そこで、ステップS1105では、中心部分が青紫色であり、且つその周囲が赤色である部分を検出し、青紫色の領域と赤色の領域の間の境界を抽出する処理が行われる。
【0083】
ステップS1106では、画像処理装置102が、ステップS1105で検出された輪
郭情報をもとに細胞核の特定を行う。正常細胞では一般に核の大きさは3〜5μm程度であるが、異常をきたすとサイズの肥大、多核化、異形化など様々な変化を生じる。ステップS1104で特定された細胞内に含まれていることが存在の目安の一つとなる。ステップS1104で特定が困難であった細胞に関しても、核を特定することで判断することが可能となる。
【0084】
ステップS1107では、画像処理装置102が、ステップS1104およびステップS1106で特定した細胞および細胞核のサイズを計測する。ここでのサイズは面積を示しており、細胞膜内の細胞質の面積と核内の面積をそれぞれ求める。また、細胞の総数を数えたり、その形状やサイズの統計情報をとったりしても良い。
【0085】
ステップS1108では、画像処理装置102が、ステップS1107で得られた面積情報をもとに、細胞質と核の面積比であるN/C比を算出する。個々の細胞について算出した結果の統計情報を得る。
【0086】
ステップS1109では、画像処理装置102が、解析用画像の領域内、場合によってはユーザーによって指定された範囲内において、全細胞に関する解析処理を完了したか否かを判断する。解析処理が完了した場合は処理を完了する。解析処理が完了していない場合は、ステップS1102へ戻り解析処理を繰り返す。
以上のステップにより診断支援に有用な画像解析を実施することが可能となる。
【0087】
(本実施形態の利点)
上述の説明のように、本実施形態によれば、焦点位置が異なる複数枚のZスタック画像をもとに、観察用画像と解析用画像の2種類の画像を生成することができる。観察用画像は、解析用画像に比べて被写界深度が浅く、被写界深度から外れた構造物(細胞や核など)は画像においてボケた像となる。ユーザーが画像を目視観察する場合は、このボケた像が、被写体の立体構造や三次元分布の把握を助ける奥行き情報として有用である。一方、解析用画像については、解析対象のサイズや解析の目的に応じた適切な範囲で深度合成をすることで、解析対象が画像上で重なり合うことが極力抑えられ、これにより、画像解析処理を高精度に行うことが容易となる。このように、本実施形態のシステムでは、同じZスタック画像群から用途・目的に応じて2種類の画像を生成できるので、ユーザーの利便性を向上することができる。
【0088】
また、複数のZスタック画像を用いて深度合成を行ったので、単一深度の被写界深度の浅い画像に対しエッジ強調等の深度回復処理を適用しただけの画像と比べて、アーティファクトが出にくく、精度の高い診断に使用可能な高品質な画像を生成することができる。しかも、Zスタック画像は、検体の置かれたステージもしくは撮像素子を光軸方向に移動するという簡易な処理で取得可能であるとともに、またそのような機構をもつ撮像装置は比較的容易に実現することができるという利点もある。
【0089】
また本実施形態では、セレクト&マージ方式で深度合成を行っているが、この方法は第3実施形態で述べる空間周波数フィルタリング方式などの他の方法と比べて、処理が簡易であり、回路規模、演算量とも抑えることができるという利点がある。
【0090】
なお上記実施形態では、撮像装置101によりZスタック画像の撮像を行った後、画像処理装置102で画像生成および画像解析の処理を行ったが、処理の手順はこれに限られない。撮像装置101と画像処理装置102が連携することによって、必要なタイミングで撮像を行うこともできる。例えば、画像処理装置102が目的に適した画像の生成にはZスタック像が不足、もしくはそもそも存在しないと判断した場合に、撮像装置101に対し必要な撮像範囲(XY領域、Z位置、Z間隔)を指定してもよい。これにより撮像時
間およびデータ量を抑えた画像取得が可能となる。
【0091】
[第2実施形態]
本発明の第2実施形態に係る画像処理システムを図に従って説明する。
第1実施形態においては、観察用画像と解析用画像の生成に用いるZスタック画像を、撮像装置で都度取得する例を示した。第2実施形態では、Zスタック画像が予め取得されており、画像処理装置は画像生成の際に画像サーバーから必要なZスタック画像を取得する例を示す。また、細胞診と組織診で画像合成の前処理を変更する点も、第1実施形態と異なる。以上の点を中心に説明を行う。
【0092】
図9は、第2実施形態に係る画像処理システムの装置構成の全体図である。
本実施形態における画像処理システムは、画像サーバー1201、画像処理装置102、表示装置103から構成される。画像処理装置102は検体の二次元画像(Zスタック画像)を画像サーバー1201から取得し表示することができる。画像サーバー1201と画像処理装置102の間は、ネットワーク1202を介して、汎用I/FのLANケーブル1203で接続される。画像サーバー1201は、撮像装置(バーチャル・スライド装置)によって撮像されたZスタック画像を保存する大容量の記憶装置を備えたコンピュータである。画像サーバー1201は、画像データの他、撮像装置で行われたプレ計測のデータも合わせて保存しているものとする。画像処理装置102および表示装置103は第1実施形態のものと同様である。
【0093】
図9の例では、画像サーバー1201と画像処理装置102と表示装置103の3つの装置により画像処理システムが構成されているが、本発明はこの構成に限定されるものではない。例えば、表示装置が一体化した画像処理装置を用いてもよいし、画像処理装置の機能を画像サーバーに組み込んでもよい。また画像サーバー、画像処理装置、表示装置の機能を1つの装置で実現することもできる。また逆に、画像サーバーや画像処理装置の機能を分割して複数の装置によって実現してもよい。
【0094】
(システムの動作)
図10は、画像処理装置による画像処理全体の流れを示すフローチャートである。本図を用いて、本実施形態の特徴である観察用画像と解析用画像の生成処理の流れを説明する。なお、第1実施形態と同様の処理については同じ符号を付記し、説明は省略する。
ステップS1301では、画像処理装置102が、画像生成の対象となる対象検体のZスタック画像群から任意の一枚(例えば最上位の焦点位置の画像)を画像サーバー1201から読み出し、その画像のプレビューを表示装置103に表示する。そして、ユーザーに、プレビュー画像上で、観察や解析の対象となる構造物が存在するXY範囲(観察用画像及び解析用画像の作成が必要な範囲)を指定させる。
【0095】
ステップS1302では、画像処理装置102が、Zスタック画像群のAF情報に基づいて、画像生成に用いるZスタック画像のZ方向(光軸方向)の撮像範囲を決定する。AF情報とは、撮像装置のオートフォーカス機能(例えば、画像の周波数成分もしくはコントラスト値によって合焦を検出する機能)によって撮像時に作成された、各画像の焦点位置に関する情報である。本実施形態の場合、AF情報はZスタック画像群とともに画像サーバー1201に格納されている。
【0096】
ステップS1303では、画像処理装置102が、対象検体が細胞診用か組織診用かを判断する。細胞診か組織診かをユーザーに指定させることもできるが、画像処理装置102が対象検体の厚みや染色方法によって細胞診か組織診かを自動で判断することも可能である。一般に組織診は検体の厚みが4〜5μm程度、細胞診では数十μm以上となる。また、染色も組織診ではHE染色が、細胞診ではパパニコロウ染色が用いられるのが一般的
であり、検体の色味によって組織診用か細胞診用かを推定することができる。なお、検体の厚みの情報は、画像サーバー1201に格納されていてもよいし、ステップS1302で取得したAF情報から推定してもよい。また染色方法(又は色味)の情報は、画像サーバー1201に格納されていてもよいし、画像処理装置102が画像処理によって取得してもよい。細胞診の場合はステップS1304へ、組織診の場合はステップS1305へそれぞれ進む。
【0097】
ステップS1304では、細胞診であることを受けて、画像処理装置102は、選択する画像のZ間隔を広めに設定する。これは細胞診では厚みが数十μmになることを考慮してのことである。組織診の場合よりもZ間隔を広くする(例えば1〜数μm)ことで、深度合成に用いるZスタック画像の数が減るため、処理時間の短縮を図ることができる。
【0098】
ステップS1305では、組織診であることを受けて、画像処理装置102は、選択する画像のZ間隔を狭めに設定する。これは組織診では検体の厚みが数μm程度の薄さであることによる。撮像装置101の結像光学系のNAが0.7前後であれば、被写界深度は±0.5μm程度であり、それでも検体厚みの方が大きいことになる。鮮明な画像取得ためには、Z間隔を0.5μm程度にすることが好ましい。
【0099】
ステップS1306では、画像処理装置102が、S1302で指定したZ範囲と、S1304又はS1305で指定したZ間隔に従って、必要なZスタック画像を画像サーバー1201から取得する。その後、第1実施形態と同様の処理によって、観察用画像と解析用画像が生成され、各画像に対して必要な処理が行われる(S607〜S613)。
【0100】
上述の説明のように、本実施形態においても、第1実施形態と同様、同じZスタック画像群から観察用画像と解析用画像の2種類の画像を生成することができ、ユーザーの利便性を向上することができる。特に、本実施形態では、既に取得した画像を基に観察用画像および解析用画像を生成することで、撮像装置による撮像時間を考慮せず所望の画像を得ることが可能となる。また、組織診か細胞診かで深度合成に用いる画像のZ間隔を自動で調整するので、細胞診の場合の処理時間を短縮することができる。さらに、組織診か細胞診かの判断を自動で行うようにすれば、さらなる利便性を提供することも可能となる。
【0101】
[第3実施形態]
本発明の第3実施形態について説明する。前述の実施形態ではセレクト&マージ方式により深度合成を行ったのに対し、第3実施形態では、原画像同士を空間周波数領域で加算する空間周波数フィルタリング方式により深度合成を実施する点が異なる。
図11は、深度合成処理の流れを示すフローチャートである。図11は、第1実施形態における図6のステップS805及びS810の詳細な内容を示している。第1実施形態ではコントラスト値比較による分割画像の選択とつなぎ合わせについて説明した。本実施形態では、複数枚の画像を使用した周波数領域での画像合成と復元によって、被写界深度を拡大する処理(深度回復とも呼ぶ)を説明する。
【0102】
ステップS1401では、画像処理装置102は、深度回復処理の対象となる複数枚のZスタック画像を取得する。
ステップS1402では、画像処理装置102は、取得した画像各々に対して、画像を所定のサイズの複数の領域に分割する。
【0103】
ステップS1403では、画像処理装置102は、分割領域ごとに、深度合成に用いる画像を選択する。第1および第2実施形態と同様、観察用画像であれば奥行き情報が補える範囲の枚数の画像が選ばれ、解析用画像であれば解析対象となる細胞や核の重なりが最小限となる厚みの範囲を考慮して選択する画像の枚数が決定される。画像の選択は予め指
定した領域の範囲とプレ計測結果に基づく。
【0104】
ステップS1404では、画像処理装置102は、ステップS1403で選択した分割画像に対してフーリエ変換を適用する。ここでは空間周波数変換としてフーリエ変換を例示しているが、離散コサイン変換など、他の周波数変換処理を用いても構わない。
ステップS1405では、画像処理装置102は、すべての画像に対してフーリエ変換を適用したか否かを判断する。すべての画像に対してフーリエ変換を適用した場合にはステップS1406へ進む。変換処理が適用されていない画像があればステップS1404へ戻り、次の画像に対して変換処理が適用される。
【0105】
ステップS1406では、画像処理装置102は、すべての分割画像に対して周波数変換処理の適用が完了したことを受けて、XY平面上で同じ位置となる分割画像の周波数成分を適当な重み付けをしながら加算する。
ステップS1407では、画像処理装置102は、加重加算で得られたフーリエスペクトル(画像情報)を逆フーリエ変換して、焦点の合った画像を生成する。ここでは、周波数領域から空間領域への逆変換を想定している。
ステップS1408では、画像処理装置102は、必要に応じてエッジ強調や平滑化、ノイズ除去等のフィルタ処理を適用する。なお本ステップは必須ではない。
【0106】
上述の説明のように、本実施形態においても、第1実施形態と同様、同じZスタック画像群から観察用画像と解析用画像の2種類の画像を生成することができ、ユーザーの利便性を向上することができる。特に、本実施形態の空間周波数フィルタリング方式では、セレクト&マージ方式のように最もコントラスト値の高い画像が排他的に選ばれるのではなく、複数の画像が周波数領域で加算されるため、より高品質な画像生成が可能となる。
【0107】
[その他の実施形態]
本発明の目的は、以下によって達成されてもよい。すなわち、前述した実施形態の機能の全部または一部を実現するソフトウェアのプログラムコードを記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【0108】
また、コンピュータが、読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが、実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も本発明に含まれ得る。
【0109】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれ得る。
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【0110】
また第1〜第3実施形態では、検体に対する焦点位置が異なる複数のZスタック画像から観察用画像と解析用画像の2種類の画像を生成する例を示したが、本発明はこれに限定されるものではない。例えば、観察用画像が不要(あるいはZスタック画像をそのまま使
う)であれば、解析用画像のみを生成するようにしてもよい。また、深度合成により被写界深度を拡大するのではなく、撮像装置の結像光学系の絞り値を制御することにより、用途に合わせて被写界深度を拡大させた画像を取得することもできる。また、複数のZスタック画像ではなく、単一の画像と検体までの距離情報とを取得し、距離情報に基づくPSF(点像分布関数)の推定を行う一般的な深度回復技術を適用することにより、解析用画像に対する被写界深度の拡大を行うことも可能である。
【0111】
さらには、第1から第3実施形態で説明してきた構成をお互いに組み合わせることもできる。例えば、第1実施形態や第2実施形態のシステムに対し第3実施形態の深度合成処理を適用してもよいし、画像処理装置が撮像装置と画像サーバーの両方に接続されており、処理に用いる画像をいずれの装置から取得できるような構成にしてもよい。その他、上記各実施形態における様々な技術を適宜組み合わせることで得られる構成も本発明の範疇に属するものである。
【符号の説明】
【0112】
101:撮像装置、102:画像処理装置、103:表示装置、1201:画像サーバー
【技術分野】
【0001】
本発明は、画像処理装置、撮像システム、および画像処理システムに関し、特にデジタル画像による検体観察を支援するための技術に関する。
【背景技術】
【0002】
近年、病理分野において、病理診断のツールである光学顕微鏡の代替として、プレパラートに載置された被検試料(検体)の撮像と画像のデジタル化によってディスプレイ上での病理診断を可能とするバーチャル・スライド・システムが注目を集めている。バーチャル・スライド・システムを用いた病理診断画像のデジタル化により、従来の被検試料の光学顕微鏡像をデジタルデータとして取り扱うことが可能となる。その結果、遠隔診断の迅速化、デジタル画像を用いた患者への説明、希少症例の共有化、教育・実習の効率化、などのメリットが得られると期待されている。
【0003】
光学顕微鏡と同等程度の操作をバーチャル・スライド・システムで実現するためには、プレパラート上の被検試料全体をデジタル化する必要がある。被検試料全体のデジタル化により、バーチャル・スライド・システムで作成したデジタルデータをPCやワークステーション上で動作するビューワソフトで観察することができる。被検試料全体をデジタル化した場合の画素数は、通常、数億画素から数十億画素と非常に大きなデータ量となる。
【0004】
バーチャル・スライド・システムで作成したデータ量は膨大であるが、それゆえ、ビューワで拡大・縮小処理を行うことでミクロ(細部拡大像)からマクロ(全体俯瞰像)まで観察することが可能となり、種々の利便性を提供する。必要な情報を予めすべて取得しておくことで、低倍画像から高倍画像までユーザーが求める解像度・倍率による即時の表示が可能となる。また、取得したデジタルデータを画像解析し、例えば細胞の形状把握や個数算出、細胞質と核の面積比(N/C比)を算出することで、病理診断に有用な種々の情報の提示も可能となる。
【0005】
ところで、バーチャル・スライド・システムの結像光学系は解像力を重視する設計のため、被写界深度が極めて浅い。そのため、撮像対象である検体の厚みに対してピントの合う範囲が非常に狭く、焦点位置から奥行き方向(結像光学系の光軸に沿った方向あるいはプレパラートの観察面に垂直な方向)に外れた位置にある組織や細胞は、像がボケてしまう。したがって、1枚の二次元画像だけで検体全体を観察することは難しい。また、ボケを多く含む画像では特徴量抽出や画像認識の精度が低下するため、コンピュータによる画像解析の信頼性が低下するという問題もある。
【0006】
このような問題を解決する方法の一つとして、深度合成と呼ばれる画像処理方法が知られている。深度合成とは、焦点位置を変えながら撮像することで得られた複数枚の画像(以後「Zスタック画像」とも呼ぶ)から、被写界深度の深い画像を生成する方法である。例えば特許文献1には、Zスタック画像のそれぞれを複数の部分領域に分割し、部分領域毎に深度合成を行うことによりパンフォーカス画像を生成するシステムが開示されている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2005−037902号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
特許文献1の方法によれば、画像全域についてピントの合った、ボケの少ない画像が得られる。しかしながら、このようなパンフォーカス画像は、検体全体の様子を大まかに把握するのには有用であるものの、検体の一部を詳細に観察したり、組織・細胞等の立体構造や三次元分布を把握したりする目的には適していない。深度合成により奥行き方向の情報が失われているため、画像を見ても、ユーザーは画像中の各構造物(細胞、核など)の前後関係を判断できないためである。また、本来奥行き方向の異なる位置に存在する構造物同士が画像上で同じコントラストで重なり合ってしまっていると、目視の場合はもちろん、コンピュータによる画像解析の場合でも、構造物同士の分離や識別が困難となる。
【0009】
本発明はかかる問題に鑑みなされたものであり、デジタル画像を利用した検体観察において、検体の奥行き方向の情報を維持し、且つコンピュータによる画像解析処理に適した画像を生成するための技術を提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明の第1態様は、構造物を含む検体を焦点位置を変えながら撮像することにより得られた複数の原画像、を取得する画像取得手段と、前記複数の原画像をもとに、原画像よりも構造物の像のボケが低減された第1の画像を生成する画像生成手段と、前記第1の画像に対し画像解析処理を適用することによって、前記第1の画像に含まれる構造物に関する情報を取得する解析手段と、を備え、前記画像生成手段は、前記検体から得られた前記複数の原画像の内から、前記検体の厚さよりも小さい深度範囲内に焦点位置が含まれる原画像を選択し、前記選択された原画像を用いて前記第1の画像を生成する画像処理装置を提供する。
【0011】
本発明の第2態様は、構造物を含む検体を焦点位置を変えながら撮像して、複数の原画像を取得する撮像装置と、前記撮像装置から前記複数の原画像を取得する前記第1態様に係る画像処理装置と、を備える撮像システムを提供する。
【0012】
本発明の第3態様は、構造物を含む検体を焦点位置を変えながら撮像することにより得られた複数の原画像を格納する画像サーバーと、前記画像サーバーから前記複数の原画像を取得する前記第1態様に係る画像処理装置と、を備える画像処理システムを提供する。
【0013】
本発明の第4態様は、構造物を含む検体を焦点位置を変えながら撮像することにより得られた複数の原画像、を取得する画像取得ステップと、前記複数の原画像をもとに、原画像よりも構造物の像のボケが低減された第1の画像を生成する画像生成ステップと、前記第1の画像に対し画像解析処理を適用することによって、前記第1の画像に含まれる構造物に関する情報を取得する解析ステップと、をコンピュータに実行させるプログラムであって、前記画像生成ステップでは、前記検体から得られた前記複数の原画像の内から、前記検体の厚さよりも小さい深度範囲内に焦点位置が含まれる原画像が選択され、前記選択された原画像を用いて前記第1の画像が生成されるプログラムを提供する。
【発明の効果】
【0014】
本発明によれば、デジタル画像を利用した検体観察において、検体の奥行き方向の情報を維持し、且つコンピュータによる画像解析処理に適した画像を生成することが可能となる。
【図面の簡単な説明】
【0015】
【図1】第1実施形態における撮像システムの装置構成の全体図。
【図2】第1実施形態における撮像装置の機能ブロック図。
【図3】深度合成の概念図。
【図4】検体と深度および距離情報との関係を示す概念図。
【図5】第1実施形態における画像処理全体の流れを示すフローチャート。
【図6】第1実施形態における画像生成処理の流れを示すフローチャート。
【図7】第1実施形態における深度合成処理の流れを示すフローチャート。
【図8】第1実施形態における画像解析の流れを示すフローチャート。
【図9】第2実施形態における画像処理システムの装置構成の全体図。
【図10】第2実施形態における画像処理全体の流れを示すフローチャート。
【図11】第3実施形態における深度合成処理の流れを示すフローチャート。
【発明を実施するための形態】
【0016】
[第1実施形態]
図1は、本発明の第1実施形態に係る撮像システムの装置構成の全体図である。
本実施形態における撮像システムは、撮像装置(顕微鏡装置)101、画像処理装置102、表示装置103から構成され、撮像対象となる検体(被検試料)の二次元画像を取得し表示する機能を有するシステムである。撮像装置101と画像処理装置102の間は、専用もしくは汎用I/Fのケーブル104で接続され、画像処理装置102と表示装置103の間は、汎用のI/Fのケーブル105で接続される。
【0017】
撮像装置101は、光軸方向に焦点位置の異なる複数枚の二次元画像を撮像し、デジタル画像を出力する機能を持つバーチャル・スライド装置である。二次元画像の取得にはCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子が用いられる。なお、バーチャル・スライド装置の代わりに、通常の光学顕微鏡の接眼部にデジタルカメラを取り付けたデジタル顕微鏡装置により、撮像装置101を構成することもできる。
【0018】
画像処理装置102は、撮像装置101から取得した複数枚の原画像(Zスタック画像)から、画像解析に適した解析用画像を生成する機能、目視による観察に適した観察用画像を生成する機能、解析用画像に対し画像解析処理を適用する機能等をもつ装置である。画像処理装置102は、CPU(中央演算処理装置)、RAM、記憶装置、操作部、I/Fなどのハードウェア資源を備えた、汎用のコンピュータやワークステーションで構成される。記憶装置は、ハードディスクドライブなどの大容量情報記憶装置であり、後述する各処理を実現するためのプログラムやデータ、OS(オペレーティングシステム)などが格納されている。上述した各機能は、CPUが記憶装置からRAMに必要なプログラムおよびデータをロードし、当該プログラムを実行することにより実現されるものである。操作部は、キーボードやマウスなどにより構成され、操作者が各種の指示を入力するために利用される。表示装置103は、画像処理装置102が演算処理した結果である観察用画像と画像解析結果を表示するモニターであり、CRTや液晶ディスプレイ等により構成される。
【0019】
図1の例では、撮像装置101と画像処理装置102と表示装置103の3つの装置により撮像システムが構成されているが、本発明の構成はこの構成に限定されるものではない。例えば、表示装置が一体化した画像処理装置を用いてもよいし、画像処理装置の機能を撮像装置に組み込んでもよい。また撮像装置、画像処理装置、表示装置の機能を1つの装置で実現することもできる。また逆に、画像処理装置等の機能を分割して複数の装置によって実現してもよい。
【0020】
(撮像装置の構成)
図2は、撮像装置101の機能構成を示すブロック図である。
撮像装置101は、概略、照明ユニット201、ステージ202、ステージ制御ユニット205、結像光学系207、撮像ユニット210、現像処理ユニット216、プレ計測
ユニット217、メイン制御系218、外部インターフェース219から構成される。
【0021】
照明ユニット201は、ステージ202上に配置されたプレパラート206に対して均一に光を照射する手段であり、光源、照明光学系、および光源駆動の制御系から構成される。ステージ202は、ステージ制御ユニット205によって駆動制御され、XYZの三軸の移動が可能である。光軸方向はZ方向とする。プレパラート206は、観察対象となる組織の切片や塗抹した細胞をスライドグラス上に貼り付け、封入剤とともにカバーグラスの下に固定した部材である。
【0022】
ステージ制御ユニット205は、駆動制御系203とステージ駆動機構204から構成される。駆動制御系203は、メイン制御系218の指示を受け、ステージ202の駆動制御を行う。ステージ202の移動方向、移動量などは、プレ計測ユニット217によって計測した検体の位置情報および厚み情報(距離情報)と、ユーザーからの指示とに基づいて決定される。ステージ駆動機構204は、駆動制御系203の指示に従い、ステージ202を駆動する。
結像光学系207は、プレパラート206の検体の光学像を撮像センサ208へ結像するためのレンズ群である。
【0023】
撮像ユニット210は、撮像センサ208とアナログフロントエンド(AFE)209から構成される。撮像センサ208は、二次元の光学像を光電変換によって電気的な物理量へ変える一次元もしくは二次元のイメージセンサであり、例えば、CCDやCMOSが用いられる。一次元センサの場合、走査方向へスキャンすることで二次元画像が得られる。撮像センサ208からは、光の強度に応じた電圧値をもつ電気信号が出力される。撮像画像としてカラー画像が所望される場合は、例えば、Bayer配列のカラーフィルタが取り付けられた単板のイメージセンサを用いればよい。
【0024】
AFE209は、撮像センサ208から出力されたアナログ信号をデジタル信号へ変換する回路である。AFE209は後述するH/Vドライバ、CDS(Correlated double sampling)、アンプ、AD変換器およびタイミングジェネレータによって構成される。H/Vドライバは、撮像センサ208を駆動するための垂直同期信号および水平同期信号を、センサ駆動に必要な電位に変換する。CDSは、固定パターンのノイズを除去する二重相関サンプリング回路である。アンプは、CDSでノイズ除去されたアナログ信号のゲインを調整するアナログアンプである。AD変換器は、アナログ信号をデジタル信号に変換する。システム最終段での出力が8ビットの場合、後段の処理を考慮して、AD変換器はアナログ信号を10ビットから16ビット程度に量子化されたデジタルデータへ変換し、出力する。変換されたセンサ出力データはRAWデータと呼ばれる。RAWデータは後段の現像処理ユニット216で現像処理される。タイミングジェネレータは、撮像センサ208のタイミングおよび後段の現像処理ユニット216のタイミングを調整する信号を生成する。
【0025】
撮像センサ208としてCCDを用いる場合、上記AFE209は必須となるが、デジタル出力可能なCMOSイメージセンサの場合は、上記AFE209の機能をセンサに内包することになる。また、不図示ではあるが、撮像センサ208の制御を行う撮像制御部が存在し、撮像センサ208の動作制御や、シャッタースピード、フレームレートやROI(Region Of Interest)など動作タイミングの制御も合わせて行う。
【0026】
現像処理ユニット216は、黒補正部211、ホワイトバランス調整部212、デモザイキング処理部213、フィルタ処理部214、γ補正部215から構成される。黒補正部211は、RAWデータの各画素から、遮光時に得られた黒補正データを減算する処理を行う。ホワイトバランス調整部212は、照明ユニット201の光の色温度に応じて、
RGB各色のゲインを調整することによって、望ましい白色を再現する処理を行う。具体的には、黒補正後のRAWデータに対しホワイトバランス補正用データが加算される。単色の画像を取り扱う場合にはホワイトバランス調整処理は不要となる。
【0027】
デモザイキング処理部213は、Bayer配列のRAWデータから、RGB各色の画像データを生成する処理を行う。デモザイキング処理部213は、RAWデータにおける周辺画素(同色の画素と他色の画素を含む)の値を補間することによって、注目画素のRGB各色の値を計算する。またデモザイキング処理部213は、欠陥画素の補正処理(補完処理)も実行する。なお、撮像センサ208がカラーフィルタを有しておらず、単色の画像が得られている場合、デモザイキング処理は不要となる。
【0028】
フィルタ処理部214は、画像に含まれる高周波成分の抑制、ノイズ除去、解像感強調を実現するデジタルフィルタである。γ補正部215は、一般的な表示デバイスの階調表現特性に合わせて、画像に逆特性を付加する処理を実行したり、高輝度部の階調圧縮や暗部処理によって人間の視覚特性に合わせた階調変換を実行したりする。本実施形態では形態観察を目的とした画像取得のため、後段の合成処理や表示処理に適した階調変換が画像に施される。
【0029】
一般的な現像処理機能としては、RGB信号をYCC等の輝度色差信号へ変換する色空間変換や大容量の画像データを圧縮する処理も含まれるが、本実施形態ではRGBデータを直接使用し、かつデータ圧縮を行わないものとする。
また、不図示ではあるが、結像光学系207を構成するレンズ群の影響によって撮像エリア内の周辺部の光量が落ちることを補正する周辺減光補正の機能を搭載しても良い。あるいは、結像光学系207で生じる各種収差の内、結像の位置ずれを補正する歪曲収差補正、色毎の像の大きさの違いを補正する倍率色収差補正など、各種光学系の補正処理機能を搭載しても良い。
【0030】
プレ計測ユニット217は、プレパラート206上の検体の位置情報、所望の焦点位置までの距離情報、および検体厚みに起因する光量調整用のパラメータを算出するためのプレ計測を行うユニットである。本計測の前にプレ計測ユニット217によって情報を取得することで、無駄のない撮像を実施することが可能となる。また、Zスタック画像を取得する際の撮像開始位置と終了位置(焦点位置の範囲)および撮像間隔(焦点位置の間隔。Z間隔とも呼ぶ。)の指定もプレ計測ユニット217が生成する情報に基づいて行われる。二次元平面の位置情報取得には、撮像センサ208より解像力の低い二次元撮像センサが用いられる。プレ計測ユニット217は、取得した画像から検体のXY平面上での位置を把握する。距離情報および厚み情報の取得には、レーザー変位計やシャックハルトマン方式の計測器が用いられる。検体厚み情報の取得方法については後述する。
【0031】
メイン制御系218は、これまで説明してきた各種ユニットの制御を行う機能である。メイン制御系218および現像処理ユニット216の機能は、CPUとROMとRAMを有する制御回路により実現される。すなわち、ROM内にプログラムおよびデータが格納されており、CPUがRAMをワークメモリとして使いプログラムを実行することで、メイン制御系218および現像処理ユニット216の機能が実現される。ROMには例えばEEPROMやフラッシュメモリなどのデバイスが用いられ、RAMには例えばDDR3などのDRAMデバイスが用いられる。
【0032】
外部インターフェース219は、現像処理ユニット216によって生成されたRGBのカラー画像を画像処理装置102に送るためのインターフェースである。撮像装置101と画像処理装置102とは、光通信のケーブルにより接続される。あるいは、USBやGigabitEthernet(登録商標)等のインターフェースが使用される。
【0033】
本計測での撮像処理の流れを簡単に説明する。プレ計測により得られた情報に基づき、ステージ制御ユニット205が、ステージ202上の検体の位置決めを行い、検体に対する撮像の位置決めを行う。照明ユニット201から照射された光は、検体を透過し、結像光学系207によって撮像センサ208の撮像面に結像する。撮像センサ208の出力信号はAFE209によりデジタル画像(RAWデータ)に変換され、そのRAWデータは現像処理ユニット216によりRGBの二次元画像に変換される。このようにして得られた二次元画像は画像処理装置102へ送られる。
【0034】
以上の構成および処理によって、ある焦点位置における検体の二次元画像を取得することができる。ステージ制御ユニット205によって光軸方向(Z方向)に焦点位置をシフトさせながら、上記の撮像処理を繰り返すことにより、焦点位置が異なる複数枚の二次元画像を取得することができる。ここでは、本計測の撮像処理で得られる各々の二次元画像をZスタック画像又は原画像と称す。
【0035】
なお、本実施形態においては、単板方式のイメージセンサでカラー画像を取得する例を説明したが、RGB別の三つのイメージセンサによりカラー画像を取得する三板方式を用いてもよい。あるいは、一つのイメージセンサと三色の光源を用い、光源色を切り替えながら三回の撮像を行うことによってカラー画像を取得する三回撮像方式を用いてもよい。
【0036】
(深度合成について)
図3は、深度合成の概念図である。図3を用いて深度合成処理の概要を説明する。
画像501〜507は7枚のZスタック画像であり、3次元的に異なる空間位置に複数の構造物が含まれる検体に対して、焦点位置を光軸方向(Z方向)に順次変更しながら7回撮像を行うことで得られたものである。508〜510は取得された画像501中に含まれる構造物を示す。構造物508は画像503の焦点位置ではピントが合うが、画像501の焦点位置ではボケた像となる。そのため、画像501では構造物508の構造把握は困難である。構造物509は画像502の焦点位置でピントが合うが、画像501の焦点位置では若干ボケた像となる。画像501では構造物509の構造把握は十分ではないものの、可能な状況にある。構造物510は画像501の焦点位置でピントが合うため、画像501により構造把握が十分に行える。
【0037】
図3において、黒で塗りつぶされた構造物は合焦するもの、白抜きの構造物は若干ボケるもの、破線で示した構造物はボケが大きいもの、をそれぞれ表している。すなわち、画像501、502、503、504、505、506、507において、構造物510、511、512、513、514、515、516にそれぞれピントが合う。なお、図3に示す例では、構造物510〜516は水平方向に位置が異なっているものとして説明する。
【0038】
画像517は、画像501〜507における焦点の合った構造物510〜516の領域をそれぞれ切り出し、それらの合焦領域を合成して得られた画像を示している。上記のように複数の画像の合焦領域をつなぎ合わせることにより、画像の全領域でピントの合った深度合成画像を取得することができる。このようにデジタル画像処理によって被写界深度の深い画像を生成する処理は、焦点合成(フォーカス・スタッキング)とも呼ばれる。また、図3に示したように、焦点の合ったコントラストの高い領域を選択し、つなぎ合わせる方法は、セレクト&マージ方式と呼ばれる。本実施形態では、このようなセレクト&マージ方式により深度合成を行う例を説明するが、もちろん他の深度合成方法を採用してもよい。
【0039】
(検体の厚みについて)
図4は、検体と深度および距離情報との関係を示す概念図である。本図を用いて、本実施形態の特徴である深度範囲の概念を説明する。
図4は、プレパラートの断面を模式的に示している。プレパラートは、透明なスライドグラス602とカバーグラス601の間に検体603を固定した構造である。カバーグラス601と検体603との間には透明な接着剤である封止剤が存在する。
【0040】
604は、基準位置605からカバーグラス601の上面までの距離を示している。また、606は、基準位置607からスライドグラス602の下面までの距離を示している。これらの距離604、606は、例えばレーザー変位計などを用いて計測することができる。
【0041】
608は、検体603の厚みを示している。検体厚み608を直接計測することは難しいため、基準位置605と607の間隔から、距離604および606、カバーグラス厚609、スライドグラス厚610を減算することによって、厚み608を算出するとよい。なお、カバーグラス601およびスライドグラス602には、把持方法や封止の影響、および検体の厚さばらつきによって、うねりが生じる。そのため、精度の良い検体厚み608の計測のためには、二次元平面(XY平面)内の複数の位置で距離情報を取得し、それらの平均や中間値をとることが好ましい。
【0042】
カバーグラス厚609は、計測することもできるし、予め登録された規定値を用いることもできる。計測する場合は、カバーグラス601のうねりを考慮し、複数点で厚みを計測するとよい。一方、規定値を用いる場合は、カバーグラス601の厚さのばらつきはないものとみなす。
スライドグラス厚610も、カバーグラス厚609と同様に、計測結果を用いてもよいし、予め登録された規定値を用いてもよい。一般にスライドグラス602の方がカバーグラス601よりも大きい。そのため、基準位置605からスライドグラス602の上面までの距離を計測し、その計測結果と距離606の合計値を基準位置605と607の間隔から減算することでも、スライドグラス厚610を算出することが可能である。
【0043】
611a〜611dは、検体603内に含まれる構造物である。ここでは、611a〜611dはそれぞれ細胞の核を示しているものとする。核611bは光軸に垂直な面で切断されている。核611bと611cは光軸方向(Z方向)の位置(深さ)が異なっているが、光軸方向から見たときには(つまりXY平面に投影したときには)重なりを有しているものとする。
【0044】
612は、カバーグラス601の下面、つまり検体603の表面を示している。結像光学系の焦点位置をこの位置612に合わせることで、検体603の表面の画像を撮影することができる。なお、実際には、プレパラートのうねりや検体603の厚みばらつきなどがあるため、位置612に合わせても、検体603の表面の全領域にピントが合うわけではなく、ピントの合う領域とボケた領域が混在することになる。光軸上のどの位置に焦点を合わせた場合でも同様である。また、観察や解析の対象となる構造物(細胞核など)が存在するZ方向位置も図6のようにランダムであるため、ある一つの焦点位置で撮像するだけでは、病理診断に必要な情報が十分に得られない可能性がある。
【0045】
そのため従来システムでは、例えば、カバーグラス下面とスライドグラス上面の間の深度範囲内で、焦点位置を徐々にずらしながら複数のZスタック画像を取得し、これら全てのZスタック画像を深度合成してパンフォーカス画像を生成することが一般に行われる。しかしながら、この方法により得られる合成画像では、像のボケは非常に低減されるものの、検体の奥行き方向の情報が完全に失われてしまい、核611a〜611dの前後関係(上下関係)は把握することができない。また、核611bの像と核611cの像が合成
画像上で重なり合って(混ざり合って)しまい、それらを区別することが困難になる。このような像の重なりが生じると、例えば細胞の形状把握や個数算出、細胞質と核の面積比(N/C比)の算出などの画像解析処理において精度低下を招く可能性があり、好ましくない。
【0046】
そこで本実施形態のシステムでは、画像解析に用いるための「解析用画像」については、全てのZスタック画像ではなく、一部(検体の厚さよりも小さい深度範囲)のZスタック画像のみを用いて深度合成を行うことで、画像解析に適した合成画像を提供する。解析用画像は、Zスタック画像(原画像)に比べて適度にボケが低減された画像となる。さらに本システムは、解析用画像(第1の画像)とは別に、ユーザーの目視による観察に適した「観察用画像」(第2の画像)を生成することもできる。観察用画像は、解析用画像に比べてボケの低減度合いが小さい画像である。すなわち、観察用画像では、焦点位置から外れた構造物の像に適度にボケを残すことで、構造物の上下関係の直観的な把握を容易にしているのである。なおZスタック画像のボケ具合(つまり被写界深度)が観察に適している場合には、原画像であるZスタック画像そのものを観察用画像に用いることもできる。
このように、本システムは、用途(コンピュータによる画像解析か、ユーザーによる目視観察か)に応じて、適切な被写界深度(あるいはコントラスト)の画像が自動的に生成される点に一つの特徴を有しており、これによりユーザーの利便性の向上を図るものである。
【0047】
ここで、解析用画像と観察用画像の違いは、深度合成に用いるZスタック画像が選択される深度範囲の大きさが異なる点、具体的には、解析用画像の深度範囲のほうが観察用画像の深度範囲よりも大きい点である。言い換えると、解析用画像のほうが観察用画像よりも深度合成に用いるZスタック画像の数が多い。あるいは、解析用画像のほうが観察用画像よりも被写界深度が深い、解析用画像のほうが観察用画像よりもボケの低減度合いが大きい(ボケが小さい)、という言い方もできる。解析用画像の深度範囲は、解析対象となる構造物の大きさや診断種類(組織診か細胞診か)に応じて、適宜決定することができる。具体的には、画像解析において識別(検出)すべき構造物(細胞や核等)の大きさと概ね等しくなるように、深度範囲を決定するとよい。例えば、組織診用の検体の場合、正常細胞の核の大きさは約3〜5μm、異常細胞の核の大きさは〜約10μmであるため、深度範囲は3μm以上10μm以下に設定するとよい。Zスタック画像同士の焦点位置の間隔(Z間隔)が1μmであれば、カバーグラス601のうねりが存在しない場合、3〜10枚程度のZスタック画像が解析用画像の深度合成に用いられることとなる。
【0048】
(システムの動作)
図5は、撮像システムの画像処理全体の流れを示すフローチャートである。本図を用いて、Zスタック画像の撮像処理、並びに、観察用画像および解析用画像の生成処理の流れを説明する。なお、プレ計測処理は本計測処理の前に終了しており、プレパラートのXY平面の低解像度画像とZ方向の距離情報および厚み情報とは、図5の処理が開始する前にメイン制御系218に伝送されているものとする。
【0049】
ステップS701では、メイン制御系218が、エッジ検出や物体認識などの公知の画像処理を用いて、プレ計測で得られたXY平面画像から検体が存在する範囲を検出する。ここで検出された範囲が、本計測における撮像範囲に指定される。このように、プレパラート全体を撮像するのではなく、プレ計測の結果に基づき撮像範囲を制限する(小さくする)ことで、処理時間の短縮とデータ量の削減を図ることが可能となる。
【0050】
ステップS702では、メイン制御系218が、プレ計測で得られたプレパラートのZ方向の距離情報および厚み情報に基づいて、Z方向の撮像範囲を指定する。具体的には、
撮像開始位置(例えばカバーグラス下面)、撮像終了位置(例えばスライドグラス上面)、撮像間隔(Z間隔)を指定するとよい。撮像間隔は、結像光学系207の被写界深度に基づいて決めることができる。例えば、焦点位置の±0.5μmの範囲でピントが合っているとみなせる場合(被写界深度は1μm)、撮像間隔は1μmかそれより小さくするとよい。撮像間隔は一定でもよいし、撮像範囲の中で変化させてもよい。例えば、細胞診と組織診では検体の厚みが異なるため(細胞診の場合は数十μm、組織診の場合は数μm)、細胞診の場合に組織診よりも撮像間隔を広くすることも好ましい。撮像間隔を広くすることで、撮像回数が減り、取得するZスタック画像の枚数も減るため、撮像時間の短縮およびデータ量を削減する効果が得られる。
ステップS701、S702で得られた撮像範囲の情報は、ステージ制御ユニット205、撮像ユニット210、現像処理ユニット216にそれぞれ伝送される。
【0051】
次に、各焦点位置での二次元画像(Zスタック画像)の撮像が行われる。
まずステップS703では、ステージ制御ユニット205が、ステージ202をX,Y方向に移動させ、検体の撮像範囲と結像光学系207および撮像センサ208の画角との位置合わせを行う。また、ステージ202をZ方向に移動させて、検体上の焦点位置を撮像開始位置に合わせる。
【0052】
ステップS704では、照明ユニット201が検体を照明し、撮像ユニット210が画像を取り込む。本実施形態ではBayer配列のセンサを想定しているため、1回の撮像で次動作に移ることができる。三板式も同様である。光源切り替えによる三回撮像方式の場合は、同じ位置で光源をR、G、Bと切り替え、それぞれの像を取得後、次ステップへ進む。
【0053】
ステップS705では、撮像データを現像処理ユニット216で処理し、RGB画像を生成後、画像処理装置102へ伝送する。撮像装置101内のストレージへ画像を一次保存した後、伝送するステップを踏んでも良い。S703〜S705の処理で、一つの焦点位置における一枚のZスタック画像が取得できる。
【0054】
ステップS706では、全ての焦点位置の撮像が完了したか否か(つまり、焦点位置が撮像終了位置に到達したか否か)を判断する。撮像が完了、すなわち全てのZスタック画像の取得が完了した場合はステップS707へ進む。焦点位置が撮像終了位置に到達していなければ、S703に戻り、S702で指定された撮像間隔だけ焦点位置をシフトし、次の撮像を行う。例えば、撮像開始位置と撮像終了位置の間の距離が30μmであり、撮像間隔が1μmの場合であれば、S703〜S706の処理が31回繰り返され、31枚のZスタック画像が取得されることになる。
【0055】
ステップS707では、全Zスタック画像取得の結果を受けて、画像処理装置102が画像生成処理の各種設定を行う。ここでは、取得したZスタック画像の枚数の把握と、観察用画像および解析用画像それぞれの画像生成に必要な距離情報、被写界深度の範囲などの情報取得および設定が行われる。
ステップS708では、画像処理装置102が、ステップS707で設定した値に基づき観察用画像および解析用画像の生成を行う。詳細については図6を用いて後ほど説明する。
【0056】
ステップS709以降は、観察用画像および解析用画像を利用する処理の一例である。ステップS709では、画像処理装置102が、観察用画像に対する処理を行うのか、解析用画像に対する処理を行うのかを判断する。観察用画像に対する処理の場合はステップS710へ、解析用画像に対する処理の場合はステップS711へそれぞれ進む。なお、このフローチャートでは観察用画像に対する処理と解析用画像に対する処理とが排他的に
実行されるように示されているが、両方の処理を並列に又は順番に実行することもできる。
【0057】
ステップS710では、画像処理装置102が観察用画像を取得し、それを表示装置103に表示する。観察用画像は、複数のZスタック画像の中からユーザーにより又は自動的に選択されたZスタック画像そのものであってもよいし、S708において、奥行き方向の情報が得られる範囲で深度合成された合成画像であってもよい。
ステップS711では、画像処理装置102が、処理対象とする解析用画像を取得する。ステップS712では、画像処理装置102が、選択した解析用画像をもとに画像解析処理を実施する。画像解析処理の詳細については図8を用いて後ほど説明する。
【0058】
ステップS713では、画像処理装置102が、画像解析処理(S712)の結果を表示装置103に表示する。このとき、ステップS710において表示されている観察用画像に対して補足情報として解析結果を提示することが望ましい。解析結果は、観察用画像と並べて表示してもよいし、観察用画像にオーバーレイ表示してもよいし、その他のどのような表示態様でもよい。
【0059】
なお、図5のフローチャートでは、Zスタック画像の撮像、観察用画像および解析用画像の生成、解析、表示という一連の流れを説明したが、本システムの動作はこの例に限らない。例えば、S701〜S706の撮像処理と、S707〜S708の画像生成処理と、S709〜S713の解析・表示処理とは、時間的に別々に行っても構わない。例えば、ストッカー(不図示)に収容した複数のプレパラートに対して撮像処理のみバッチ的に実行し、各プレパラートのZスタック画像群を画像処理装置102内の記憶装置あるいはネットワーク上の記憶装置に蓄積することもできる。そして、画像生成処理や解析・表示処理については、ユーザーが、任意の時間に、記憶装置の中から任意の画像を選んで、処理を行うことができる。
【0060】
(画像生成処理)
図6は、画像生成処理の流れを示すフローチャートである。ここでは、図5のステップS708の詳細について説明する。
ステップS801では、画像処理装置102が、画像生成の対象が観察用画像か解析用画像かを判断する。観察用画像の場合はステップS802へ、解析用画像の場合はステップS807へそれぞれ進む。なお、このフローチャートでは、観察用画像の生成処理と解析用画像の生成処理とが排他的に実行されるように示されているが、実際には、観察用画像と解析用画像の両方を生成するため、両方の生成処理が並列に又は順番に実行される。
【0061】
(1)観察用画像の生成処理
ステップS802では、ユーザーが、複数の焦点位置に対応する複数のZスタック画像の中から一枚の画像を選択する。例えば、ユーザーに焦点位置を指定させてもよいし、複数の画像を並べたプレビュー画面を提示してユーザーに画像を選ばせてもよい。
【0062】
ステップS803では、ステップS802で選択された画像が目視観察に十分な被写界深度を持っているか否かを判断する。被写界深度が十分な場合はステップS806へスキップする(この場合、Zスタック画像がそのまま観察用画像として用いられる)。被写界深度が十分ではない、すなわち奥行き情報の欠落が認められる場合はステップS804へ進む。なお、被写界深度が十分か否かは、ユーザーが画像のプレビューを見て判断することができる。
【0063】
ステップS804では、ユーザーが、観察用画像の生成に用いるZスタック画像の範囲(深度範囲)を指定する。このとき、深度範囲を指定してもよいし、画像の枚数を指定し
てもよい。例えば、2枚合成、3枚合成、・・・といった複数種類のプレビュー画像を画面表示し、ユーザーに所望の合成枚数を選択させる構成をとることも好ましい。なおプレビュー画像は、粗画像を使って深度合成したものでもよいし、深度合成よりも簡易な合成処理(加算、αブレンドなど)で作成したものでもよい。
【0064】
ステップS805では、画像処理装置102は、指定された深度範囲内にある複数のZスタック画像を選択し、深度合成処理を実施する。深度合成処理の詳細については図7を用いて後ほど詳細に説明する。
ステップS806では、画像処理装置102は、ステップS802で選択された画像、もしくはステップS805で生成された深度合成画像を、観察用画像として指定する。観察用画像は画像処理装置102内の記憶装置またはネットワーク上の所定の記憶装置に格納される。
【0065】
(2)解析用画像の生成処理
ステップS807では、画像生成の対象が解析用途であることを受けて、画像処理装置102が、深度合成の際に基準位置となる画像(これを基準画像と呼ぶ)を複数枚のZスタック画像の中から選択する。基準画像の選択はユーザーが行ってもよい。ここで、基準位置は任意に設定できるが、カバーグラスの下面、つまり検体の上側(結像光学系側)の表面を基準位置に選ぶことが好ましい。通常の画像では、焦点位置(焦点面)よりも上に存在する構造物と下に存在する構造物の両方が、ボケた像となって画像に重畳されることとなる。これに対し、検体表面に焦点位置を合わせた画像の場合は、焦点位置の上には封止剤やカバーグラスなどの透明な物体の他は存在しないため、ボケ成分が半分(下側の構造体のみ)となるからである。ボケの少ないクリアな画像の方が画像解析には好適である。あるいは、解析対象の構造物が分かっている場合には、その構造物に最もピントの合っている画像を基準画像として選んでもよいし、解析対象とする深度(例えば検体の中心とか、検体表面からXμmなど)が決まっている場合には、その深度の画像を選んでもよい。
【0066】
ステップS808では、解析用画像の生成に用いるZスタック画像の範囲(深度範囲)を指定する。深度範囲は、S807で指定された基準位置が深度範囲の上端又は中心又は下端になるように設定される。深度範囲の指定はユーザーが行うこともできるが、好ましくは、画像処理装置102が解析対象のサイズや解析の目的などに応じて自動で決定するとよい。例えば、組織診において細胞質と核の面積比であるN/C比の算出を行う場合、核の直径が正常細胞で3〜5μm程度、核肥大や多核化の場合はその数倍程度に膨らむことを考慮し、深度範囲は3μm以上10μm以下に設定するとよい。また、細胞診の場合は、細胞形状を把握するために、通常、数十μm程度の大きさ(厚み)の剥離細胞の全体像把握が目的となる。それゆえ、深度範囲は20μm程度に設定するとよい。このような解析対象や解析目的と望ましい深度範囲の大きさとの対応関係は、予め画像処理装置102に設定されているものとする。
またステップS808において、深度範囲に加えて、深度合成に用いる画像のZ方向の間隔(Z間隔)を設定してもよい。例えば、細胞診の場合は、組織診の場合に比べて深度範囲が大きいため、深度範囲内のすべての画像を深度合成に用いると処理時間が長くなる。そこで、深度範囲が大きい場合や解析対象のサイズが大きい場合などには、Z間隔を大きくとることで画像数を減らし、処理時間を削減するとよい。
【0067】
ステップS809では、画像処理装置102が、S807とS808で設定された深度範囲内に含まれる複数のZスタック画像を選択する。そして、ステップS810において、画像処理装置102は、これらのZスタック画像を用いて深度合成処理を実施する。深度合成処理の内容はステップS805と同じであるため、図7を用いて後ほど説明する。
【0068】
ステップS811では、画像処理装置102は、ステップS810で生成された深度合成画像を、解析用画像として指定する。解析用画像は画像処理装置102内の記憶装置またはネットワーク上の所定の記憶装置に格納される。
以上の処理によって、観察用画像と解析用画像の双方を、同じZスタック画像群から得ることができる。
【0069】
(深度合成処理)
図7は、深度合成処理の流れを示すフローチャートである。ここでは、図6のステップS805、S810の詳細について説明する。
【0070】
ステップS901では、画像処理装置102は、深度合成の対象として選択された複数のZスタック画像を取得する。前述のとおり、観察用画像に比べて解析用画像の方が、深度合成に用いる画像の数が多い。
【0071】
ステップS902では、画像処理装置102は、取得した画像各々に対して、画像を所定のサイズの複数の小領域に分割する。この分割領域のサイズは、観察や解析の対象となる構造物(細胞、核など)のサイズを考慮して決められる。例えば、分割領域の一辺の長さが、観察や解析の対象となる構造物の直径の1/2倍から1倍程度のサイズになるよう、分割領域のサイズを設定するとよい。
【0072】
ステップS903では、画像処理装置102は、各画像の各分割領域について、コントラスト値を検出する。コントラスト検出の一例として、分割領域毎に離散コサイン変換を行って周波数成分を求め、周波数成分の中で高周波成分の総和を求め、コントラストの度合いを示す値として採用する方法が挙げられる。また、単純に分割領域内での輝度値の最大値と最小値の差を求めたり、エッジ検出の空間フィルタを用いてエッジ量を算出し、得られた値をコントラスト値としたりしても良い。コントラスト検出に関しては、既知の様々な方法を適用することが可能である。
【0073】
ステップS904では、画像処理装置102は、コントラストMAPを作成する。コントラストMAPとは、分割領域の数と同じ数の要素をもつテーブルであり、各要素に、対応する分割領域のコントラスト値と画像番号とがMAP値としてマッピングされたものである。例えば、S902において画像が100×100個の領域に分割される場合、コントラストMAPも100×100個の要素をもつ。ステップS904では、S901で取得した複数の画像の内の任意の一枚(例えば、深度範囲の上端の画像など)が選ばれ、その画像のコントラスト値と画像番号が初期値としてコントラストMAPに入力される。
【0074】
ステップS905では、画像処理装置102は、ステップS904で選んだ画像とは異なる画像を比較対象画像として選択する。
ステップS906では、画像処理装置102は、比較対象画像とコントラストMAPとの間で、コントラスト値の比較を行う。比較対象画像のコントラスト値の方が高い場合は、ステップS907へ進む。比較対象画像のコントラスト値の方が低い、もしくは両画像のコントラスト値が同じ場合は、ステップS907の処理をスキップしてステップS908へと進む。
ステップS907では、画像処理装置102は、比較対象画像のコントラスト値及び画像番号をコントラストMAPに書き込む(コントラストMAPの更新)。S906のコントラスト値の比較およびS907のコントラストMAPの更新は、分割領域ごとに行われる。
【0075】
ステップS908では、画像処理装置102は、ステップS901で選択した全画像に対して比較処理を実施したか否かを判断する。すべての画像で比較処理が完了した場合は
ステップS909へ進む。完了していない場合は、ステップS905へ戻り、以後比較処理を繰り返す。これにより、分割領域ごとに最もコントラスト値が高い画像番号が記録されたコントラストMAPが完成する。
【0076】
ステップS909では、画像処理装置102は、コントラストMAPを参照して、分割領域ごとに、該当する画像番号のZスタック画像から分割画像を抽出する。
ステップS910では、画像処理装置102は、ステップS909で抽出した分割画像をつなぎ合わせるスティッチングの処理を実施する。以上のステップを経ることで、複数枚のZスタック画像から、高コントラストの領域、すなわちピントの合った鮮明な領域をつなぎ合わせた合成画像を生成することができる。
【0077】
(画像解析処理)
図8は、画像解析の流れを示すフローチャートである。ここでは、図5のステップS712の詳細について説明する。
【0078】
ステップS1101では、画像処理装置102が、解析用に深度合成を行った解析用画像を取得する。ここでは、組織診を例に挙げ、薄くスライスされた組織片をHE(ヘマトキシリン・エオシン)染色した検体を対象とする。
【0079】
ステップS1102では、画像処理装置102が、解析用画像中に含まれる解析対象となる細胞のエッジを抽出する。ここでは、エオシンによって細胞が赤ないしピンク色に染色されていることを利用し、赤ないしピンク色の色域の領域を抽出する処理が行われる。本実施形態の解析用画像では、深度合成によって像のボケが低減されているため、エッジ抽出および後段の輪郭抽出を精度良く行うことができる。なお、抽出処理をより精度良く行うため、解析用画像に対し空間フィルタによるエッジ強調処理を事前に施しても構わない。ここでのエッジ抽出は、実際には細胞膜の検出となる。
【0080】
ステップS1103では、画像処理装置102が、ステップS1102で抽出されたエッジに基づき、細胞の輪郭を抽出する。ステップS1102で抽出されたエッジが不連続かつ断続的なものの場合、その間をつなぐ処理を施すことで連続的な輪郭を抽出することが可能となる。不連続点をつなぐ方法は一般的な線形の補間で構わないが、より精度を高めるためにより高次の補間式を採用してもよい。
【0081】
ステップS1104では、画像処理装置102が、ステップS1103で検出された輪郭をもとに個々の細胞の認識、特定を行う。一般に細胞は円形をしており、そのサイズも概ね決まっている。したがって、形状やサイズなどの知識情報を利用することで、細胞か否かの誤判定を少なくすることができる。また本実施形態では、解析用画像を生成する際の深度範囲を細胞の核のサイズに基づいて適切な範囲に設定しているため、異なる深度に存在する細胞同士が画像上で重なり合うことが極力抑えられている。それゆえ、細胞を認識、特定する処理を精度良く行うことが可能となる。なお、一部では細胞の重なりを生じていることで細胞の特定が難しいものも存在する可能性がある。その場合は、後段の細胞核の特定結果を待って、再度認識、特定の処理を実施すればよい。
【0082】
ステップS1105では、画像処理装置102が、細胞核の輪郭を抽出する。HE染色では、細胞の核はヘマトキシリンによって青紫に染色され、その周囲の細胞質はエオシンによって赤色に染色される。そこで、ステップS1105では、中心部分が青紫色であり、且つその周囲が赤色である部分を検出し、青紫色の領域と赤色の領域の間の境界を抽出する処理が行われる。
【0083】
ステップS1106では、画像処理装置102が、ステップS1105で検出された輪
郭情報をもとに細胞核の特定を行う。正常細胞では一般に核の大きさは3〜5μm程度であるが、異常をきたすとサイズの肥大、多核化、異形化など様々な変化を生じる。ステップS1104で特定された細胞内に含まれていることが存在の目安の一つとなる。ステップS1104で特定が困難であった細胞に関しても、核を特定することで判断することが可能となる。
【0084】
ステップS1107では、画像処理装置102が、ステップS1104およびステップS1106で特定した細胞および細胞核のサイズを計測する。ここでのサイズは面積を示しており、細胞膜内の細胞質の面積と核内の面積をそれぞれ求める。また、細胞の総数を数えたり、その形状やサイズの統計情報をとったりしても良い。
【0085】
ステップS1108では、画像処理装置102が、ステップS1107で得られた面積情報をもとに、細胞質と核の面積比であるN/C比を算出する。個々の細胞について算出した結果の統計情報を得る。
【0086】
ステップS1109では、画像処理装置102が、解析用画像の領域内、場合によってはユーザーによって指定された範囲内において、全細胞に関する解析処理を完了したか否かを判断する。解析処理が完了した場合は処理を完了する。解析処理が完了していない場合は、ステップS1102へ戻り解析処理を繰り返す。
以上のステップにより診断支援に有用な画像解析を実施することが可能となる。
【0087】
(本実施形態の利点)
上述の説明のように、本実施形態によれば、焦点位置が異なる複数枚のZスタック画像をもとに、観察用画像と解析用画像の2種類の画像を生成することができる。観察用画像は、解析用画像に比べて被写界深度が浅く、被写界深度から外れた構造物(細胞や核など)は画像においてボケた像となる。ユーザーが画像を目視観察する場合は、このボケた像が、被写体の立体構造や三次元分布の把握を助ける奥行き情報として有用である。一方、解析用画像については、解析対象のサイズや解析の目的に応じた適切な範囲で深度合成をすることで、解析対象が画像上で重なり合うことが極力抑えられ、これにより、画像解析処理を高精度に行うことが容易となる。このように、本実施形態のシステムでは、同じZスタック画像群から用途・目的に応じて2種類の画像を生成できるので、ユーザーの利便性を向上することができる。
【0088】
また、複数のZスタック画像を用いて深度合成を行ったので、単一深度の被写界深度の浅い画像に対しエッジ強調等の深度回復処理を適用しただけの画像と比べて、アーティファクトが出にくく、精度の高い診断に使用可能な高品質な画像を生成することができる。しかも、Zスタック画像は、検体の置かれたステージもしくは撮像素子を光軸方向に移動するという簡易な処理で取得可能であるとともに、またそのような機構をもつ撮像装置は比較的容易に実現することができるという利点もある。
【0089】
また本実施形態では、セレクト&マージ方式で深度合成を行っているが、この方法は第3実施形態で述べる空間周波数フィルタリング方式などの他の方法と比べて、処理が簡易であり、回路規模、演算量とも抑えることができるという利点がある。
【0090】
なお上記実施形態では、撮像装置101によりZスタック画像の撮像を行った後、画像処理装置102で画像生成および画像解析の処理を行ったが、処理の手順はこれに限られない。撮像装置101と画像処理装置102が連携することによって、必要なタイミングで撮像を行うこともできる。例えば、画像処理装置102が目的に適した画像の生成にはZスタック像が不足、もしくはそもそも存在しないと判断した場合に、撮像装置101に対し必要な撮像範囲(XY領域、Z位置、Z間隔)を指定してもよい。これにより撮像時
間およびデータ量を抑えた画像取得が可能となる。
【0091】
[第2実施形態]
本発明の第2実施形態に係る画像処理システムを図に従って説明する。
第1実施形態においては、観察用画像と解析用画像の生成に用いるZスタック画像を、撮像装置で都度取得する例を示した。第2実施形態では、Zスタック画像が予め取得されており、画像処理装置は画像生成の際に画像サーバーから必要なZスタック画像を取得する例を示す。また、細胞診と組織診で画像合成の前処理を変更する点も、第1実施形態と異なる。以上の点を中心に説明を行う。
【0092】
図9は、第2実施形態に係る画像処理システムの装置構成の全体図である。
本実施形態における画像処理システムは、画像サーバー1201、画像処理装置102、表示装置103から構成される。画像処理装置102は検体の二次元画像(Zスタック画像)を画像サーバー1201から取得し表示することができる。画像サーバー1201と画像処理装置102の間は、ネットワーク1202を介して、汎用I/FのLANケーブル1203で接続される。画像サーバー1201は、撮像装置(バーチャル・スライド装置)によって撮像されたZスタック画像を保存する大容量の記憶装置を備えたコンピュータである。画像サーバー1201は、画像データの他、撮像装置で行われたプレ計測のデータも合わせて保存しているものとする。画像処理装置102および表示装置103は第1実施形態のものと同様である。
【0093】
図9の例では、画像サーバー1201と画像処理装置102と表示装置103の3つの装置により画像処理システムが構成されているが、本発明はこの構成に限定されるものではない。例えば、表示装置が一体化した画像処理装置を用いてもよいし、画像処理装置の機能を画像サーバーに組み込んでもよい。また画像サーバー、画像処理装置、表示装置の機能を1つの装置で実現することもできる。また逆に、画像サーバーや画像処理装置の機能を分割して複数の装置によって実現してもよい。
【0094】
(システムの動作)
図10は、画像処理装置による画像処理全体の流れを示すフローチャートである。本図を用いて、本実施形態の特徴である観察用画像と解析用画像の生成処理の流れを説明する。なお、第1実施形態と同様の処理については同じ符号を付記し、説明は省略する。
ステップS1301では、画像処理装置102が、画像生成の対象となる対象検体のZスタック画像群から任意の一枚(例えば最上位の焦点位置の画像)を画像サーバー1201から読み出し、その画像のプレビューを表示装置103に表示する。そして、ユーザーに、プレビュー画像上で、観察や解析の対象となる構造物が存在するXY範囲(観察用画像及び解析用画像の作成が必要な範囲)を指定させる。
【0095】
ステップS1302では、画像処理装置102が、Zスタック画像群のAF情報に基づいて、画像生成に用いるZスタック画像のZ方向(光軸方向)の撮像範囲を決定する。AF情報とは、撮像装置のオートフォーカス機能(例えば、画像の周波数成分もしくはコントラスト値によって合焦を検出する機能)によって撮像時に作成された、各画像の焦点位置に関する情報である。本実施形態の場合、AF情報はZスタック画像群とともに画像サーバー1201に格納されている。
【0096】
ステップS1303では、画像処理装置102が、対象検体が細胞診用か組織診用かを判断する。細胞診か組織診かをユーザーに指定させることもできるが、画像処理装置102が対象検体の厚みや染色方法によって細胞診か組織診かを自動で判断することも可能である。一般に組織診は検体の厚みが4〜5μm程度、細胞診では数十μm以上となる。また、染色も組織診ではHE染色が、細胞診ではパパニコロウ染色が用いられるのが一般的
であり、検体の色味によって組織診用か細胞診用かを推定することができる。なお、検体の厚みの情報は、画像サーバー1201に格納されていてもよいし、ステップS1302で取得したAF情報から推定してもよい。また染色方法(又は色味)の情報は、画像サーバー1201に格納されていてもよいし、画像処理装置102が画像処理によって取得してもよい。細胞診の場合はステップS1304へ、組織診の場合はステップS1305へそれぞれ進む。
【0097】
ステップS1304では、細胞診であることを受けて、画像処理装置102は、選択する画像のZ間隔を広めに設定する。これは細胞診では厚みが数十μmになることを考慮してのことである。組織診の場合よりもZ間隔を広くする(例えば1〜数μm)ことで、深度合成に用いるZスタック画像の数が減るため、処理時間の短縮を図ることができる。
【0098】
ステップS1305では、組織診であることを受けて、画像処理装置102は、選択する画像のZ間隔を狭めに設定する。これは組織診では検体の厚みが数μm程度の薄さであることによる。撮像装置101の結像光学系のNAが0.7前後であれば、被写界深度は±0.5μm程度であり、それでも検体厚みの方が大きいことになる。鮮明な画像取得ためには、Z間隔を0.5μm程度にすることが好ましい。
【0099】
ステップS1306では、画像処理装置102が、S1302で指定したZ範囲と、S1304又はS1305で指定したZ間隔に従って、必要なZスタック画像を画像サーバー1201から取得する。その後、第1実施形態と同様の処理によって、観察用画像と解析用画像が生成され、各画像に対して必要な処理が行われる(S607〜S613)。
【0100】
上述の説明のように、本実施形態においても、第1実施形態と同様、同じZスタック画像群から観察用画像と解析用画像の2種類の画像を生成することができ、ユーザーの利便性を向上することができる。特に、本実施形態では、既に取得した画像を基に観察用画像および解析用画像を生成することで、撮像装置による撮像時間を考慮せず所望の画像を得ることが可能となる。また、組織診か細胞診かで深度合成に用いる画像のZ間隔を自動で調整するので、細胞診の場合の処理時間を短縮することができる。さらに、組織診か細胞診かの判断を自動で行うようにすれば、さらなる利便性を提供することも可能となる。
【0101】
[第3実施形態]
本発明の第3実施形態について説明する。前述の実施形態ではセレクト&マージ方式により深度合成を行ったのに対し、第3実施形態では、原画像同士を空間周波数領域で加算する空間周波数フィルタリング方式により深度合成を実施する点が異なる。
図11は、深度合成処理の流れを示すフローチャートである。図11は、第1実施形態における図6のステップS805及びS810の詳細な内容を示している。第1実施形態ではコントラスト値比較による分割画像の選択とつなぎ合わせについて説明した。本実施形態では、複数枚の画像を使用した周波数領域での画像合成と復元によって、被写界深度を拡大する処理(深度回復とも呼ぶ)を説明する。
【0102】
ステップS1401では、画像処理装置102は、深度回復処理の対象となる複数枚のZスタック画像を取得する。
ステップS1402では、画像処理装置102は、取得した画像各々に対して、画像を所定のサイズの複数の領域に分割する。
【0103】
ステップS1403では、画像処理装置102は、分割領域ごとに、深度合成に用いる画像を選択する。第1および第2実施形態と同様、観察用画像であれば奥行き情報が補える範囲の枚数の画像が選ばれ、解析用画像であれば解析対象となる細胞や核の重なりが最小限となる厚みの範囲を考慮して選択する画像の枚数が決定される。画像の選択は予め指
定した領域の範囲とプレ計測結果に基づく。
【0104】
ステップS1404では、画像処理装置102は、ステップS1403で選択した分割画像に対してフーリエ変換を適用する。ここでは空間周波数変換としてフーリエ変換を例示しているが、離散コサイン変換など、他の周波数変換処理を用いても構わない。
ステップS1405では、画像処理装置102は、すべての画像に対してフーリエ変換を適用したか否かを判断する。すべての画像に対してフーリエ変換を適用した場合にはステップS1406へ進む。変換処理が適用されていない画像があればステップS1404へ戻り、次の画像に対して変換処理が適用される。
【0105】
ステップS1406では、画像処理装置102は、すべての分割画像に対して周波数変換処理の適用が完了したことを受けて、XY平面上で同じ位置となる分割画像の周波数成分を適当な重み付けをしながら加算する。
ステップS1407では、画像処理装置102は、加重加算で得られたフーリエスペクトル(画像情報)を逆フーリエ変換して、焦点の合った画像を生成する。ここでは、周波数領域から空間領域への逆変換を想定している。
ステップS1408では、画像処理装置102は、必要に応じてエッジ強調や平滑化、ノイズ除去等のフィルタ処理を適用する。なお本ステップは必須ではない。
【0106】
上述の説明のように、本実施形態においても、第1実施形態と同様、同じZスタック画像群から観察用画像と解析用画像の2種類の画像を生成することができ、ユーザーの利便性を向上することができる。特に、本実施形態の空間周波数フィルタリング方式では、セレクト&マージ方式のように最もコントラスト値の高い画像が排他的に選ばれるのではなく、複数の画像が周波数領域で加算されるため、より高品質な画像生成が可能となる。
【0107】
[その他の実施形態]
本発明の目的は、以下によって達成されてもよい。すなわち、前述した実施形態の機能の全部または一部を実現するソフトウェアのプログラムコードを記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【0108】
また、コンピュータが、読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが、実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も本発明に含まれ得る。
【0109】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれ得る。
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【0110】
また第1〜第3実施形態では、検体に対する焦点位置が異なる複数のZスタック画像から観察用画像と解析用画像の2種類の画像を生成する例を示したが、本発明はこれに限定されるものではない。例えば、観察用画像が不要(あるいはZスタック画像をそのまま使
う)であれば、解析用画像のみを生成するようにしてもよい。また、深度合成により被写界深度を拡大するのではなく、撮像装置の結像光学系の絞り値を制御することにより、用途に合わせて被写界深度を拡大させた画像を取得することもできる。また、複数のZスタック画像ではなく、単一の画像と検体までの距離情報とを取得し、距離情報に基づくPSF(点像分布関数)の推定を行う一般的な深度回復技術を適用することにより、解析用画像に対する被写界深度の拡大を行うことも可能である。
【0111】
さらには、第1から第3実施形態で説明してきた構成をお互いに組み合わせることもできる。例えば、第1実施形態や第2実施形態のシステムに対し第3実施形態の深度合成処理を適用してもよいし、画像処理装置が撮像装置と画像サーバーの両方に接続されており、処理に用いる画像をいずれの装置から取得できるような構成にしてもよい。その他、上記各実施形態における様々な技術を適宜組み合わせることで得られる構成も本発明の範疇に属するものである。
【符号の説明】
【0112】
101:撮像装置、102:画像処理装置、103:表示装置、1201:画像サーバー
【特許請求の範囲】
【請求項1】
構造物を含む検体を焦点位置を変えながら撮像することにより得られた複数の原画像、を取得する画像取得手段と、
前記複数の原画像をもとに、原画像よりも構造物の像のボケが低減された第1の画像を生成する画像生成手段と、
前記第1の画像に対し画像解析処理を適用することによって、前記第1の画像に含まれる構造物に関する情報を取得する解析手段と、
を備え、
前記画像生成手段は、前記検体から得られた前記複数の原画像の内から、前記検体の厚さよりも小さい深度範囲内に焦点位置が含まれる原画像を選択し、前記選択された原画像を用いて前記第1の画像を生成する
ことを特徴とする画像処理装置。
【請求項2】
前記画像生成手段は、前記画像解析処理において解析対象となる構造物の大きさに応じて、前記第1の画像の生成に用いる原画像が選択される前記深度範囲の大きさを決定することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記画像生成手段は、組織診用の検体の場合と細胞診用の検体の場合とで、前記第1の画像の生成に用いる原画像が選択される前記深度範囲の大きさを異ならせる
ことを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記画像生成手段は、組織診用の検体の場合に、前記第1の画像の生成に用いる原画像が選択される前記深度範囲の大きさを3μm以上10μm以下に設定する
ことを特徴とする請求項2又は3に記載の画像処理装置。
【請求項5】
前記第1の画像の生成に用いる原画像が選択される前記深度範囲は、ユーザーにより指定される
ことを特徴とする請求項1に記載の画像処理装置。
【請求項6】
前記画像生成手段は、前記選択された原画像を用いて深度合成処理を行うことにより、前記第1の画像を生成する
ことを特徴とする請求項1〜5のうちいずれか1項に記載の画像処理装置。
【請求項7】
前記画像生成手段は、原画像を複数の領域に分割し、その分割領域ごとに、前記選択された原画像の中から最もコントラスト値の高い画像を選択し、分割領域ごとに選択された画像同士をつなぎ合わせることにより、前記第1の画像を生成する
ことを特徴とする請求項6に記載の画像処理装置。
【請求項8】
前記画像生成手段は、原画像を複数の領域に分割し、その分割領域ごとに、前記選択された原画像同士を空間周波数領域で加算することにより、前記第1の画像を生成する
ことを特徴とする請求項6に記載の画像処理装置。
【請求項9】
前記構造物は細胞であり、
前記解析手段により取得される前記構造物に関する情報は、細胞の輪郭、核の輪郭、細胞の数、細胞の形状、細胞質の面積、核の面積、細胞質と核の面積比のうちの少なくともいずれかである
ことを特徴とする請求項1〜8のうちいずれか1項に記載の画像処理装置。
【請求項10】
前記画像生成手段は、前記複数の原画像をもとに、前記第1の画像とともに、前記第1
の画像よりもボケの低減度合いが小さい第2の画像を生成する
ことを特徴とする請求項1〜9のうちいずれか1項に記載の画像処理装置。
【請求項11】
前記第2の画像は、ユーザーが目視による観察に用いるための画像である
ことを特徴とする請求項10に記載の画像処理装置。
【請求項12】
前記第2の画像とともに、前記解析手段により取得された前記構造物に関する情報を、表示装置に出力する手段をさらに備える
ことを特徴とする請求項10又は11に記載の画像処理装置。
【請求項13】
構造物を含む検体を焦点位置を変えながら撮像して、複数の原画像を取得する撮像装置と、
前記撮像装置から前記複数の原画像を取得する請求項1〜12のうちいずれか1項に記載の画像処理装置と、を備える
ことを特徴とする撮像システム。
【請求項14】
構造物を含む検体を焦点位置を変えながら撮像することにより得られた複数の原画像を格納する画像サーバーと、
前記画像サーバーから前記複数の原画像を取得する請求項1〜12のうちいずれか1項に記載の画像処理装置と、を備える
ことを特徴とする画像処理システム。
【請求項15】
構造物を含む検体を焦点位置を変えながら撮像することにより得られた複数の原画像、を取得する画像取得ステップと、
前記複数の原画像をもとに、原画像よりも構造物の像のボケが低減された第1の画像を生成する画像生成ステップと、
前記第1の画像に対し画像解析処理を適用することによって、前記第1の画像に含まれる構造物に関する情報を取得する解析ステップと、
をコンピュータに実行させるプログラムであって、
前記画像生成ステップでは、前記検体から得られた前記複数の原画像の内から、前記検体の厚さよりも小さい深度範囲内に焦点位置が含まれる原画像が選択され、前記選択された原画像を用いて前記第1の画像が生成される
ことを特徴とするプログラム。
【請求項1】
構造物を含む検体を焦点位置を変えながら撮像することにより得られた複数の原画像、を取得する画像取得手段と、
前記複数の原画像をもとに、原画像よりも構造物の像のボケが低減された第1の画像を生成する画像生成手段と、
前記第1の画像に対し画像解析処理を適用することによって、前記第1の画像に含まれる構造物に関する情報を取得する解析手段と、
を備え、
前記画像生成手段は、前記検体から得られた前記複数の原画像の内から、前記検体の厚さよりも小さい深度範囲内に焦点位置が含まれる原画像を選択し、前記選択された原画像を用いて前記第1の画像を生成する
ことを特徴とする画像処理装置。
【請求項2】
前記画像生成手段は、前記画像解析処理において解析対象となる構造物の大きさに応じて、前記第1の画像の生成に用いる原画像が選択される前記深度範囲の大きさを決定することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記画像生成手段は、組織診用の検体の場合と細胞診用の検体の場合とで、前記第1の画像の生成に用いる原画像が選択される前記深度範囲の大きさを異ならせる
ことを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記画像生成手段は、組織診用の検体の場合に、前記第1の画像の生成に用いる原画像が選択される前記深度範囲の大きさを3μm以上10μm以下に設定する
ことを特徴とする請求項2又は3に記載の画像処理装置。
【請求項5】
前記第1の画像の生成に用いる原画像が選択される前記深度範囲は、ユーザーにより指定される
ことを特徴とする請求項1に記載の画像処理装置。
【請求項6】
前記画像生成手段は、前記選択された原画像を用いて深度合成処理を行うことにより、前記第1の画像を生成する
ことを特徴とする請求項1〜5のうちいずれか1項に記載の画像処理装置。
【請求項7】
前記画像生成手段は、原画像を複数の領域に分割し、その分割領域ごとに、前記選択された原画像の中から最もコントラスト値の高い画像を選択し、分割領域ごとに選択された画像同士をつなぎ合わせることにより、前記第1の画像を生成する
ことを特徴とする請求項6に記載の画像処理装置。
【請求項8】
前記画像生成手段は、原画像を複数の領域に分割し、その分割領域ごとに、前記選択された原画像同士を空間周波数領域で加算することにより、前記第1の画像を生成する
ことを特徴とする請求項6に記載の画像処理装置。
【請求項9】
前記構造物は細胞であり、
前記解析手段により取得される前記構造物に関する情報は、細胞の輪郭、核の輪郭、細胞の数、細胞の形状、細胞質の面積、核の面積、細胞質と核の面積比のうちの少なくともいずれかである
ことを特徴とする請求項1〜8のうちいずれか1項に記載の画像処理装置。
【請求項10】
前記画像生成手段は、前記複数の原画像をもとに、前記第1の画像とともに、前記第1
の画像よりもボケの低減度合いが小さい第2の画像を生成する
ことを特徴とする請求項1〜9のうちいずれか1項に記載の画像処理装置。
【請求項11】
前記第2の画像は、ユーザーが目視による観察に用いるための画像である
ことを特徴とする請求項10に記載の画像処理装置。
【請求項12】
前記第2の画像とともに、前記解析手段により取得された前記構造物に関する情報を、表示装置に出力する手段をさらに備える
ことを特徴とする請求項10又は11に記載の画像処理装置。
【請求項13】
構造物を含む検体を焦点位置を変えながら撮像して、複数の原画像を取得する撮像装置と、
前記撮像装置から前記複数の原画像を取得する請求項1〜12のうちいずれか1項に記載の画像処理装置と、を備える
ことを特徴とする撮像システム。
【請求項14】
構造物を含む検体を焦点位置を変えながら撮像することにより得られた複数の原画像を格納する画像サーバーと、
前記画像サーバーから前記複数の原画像を取得する請求項1〜12のうちいずれか1項に記載の画像処理装置と、を備える
ことを特徴とする画像処理システム。
【請求項15】
構造物を含む検体を焦点位置を変えながら撮像することにより得られた複数の原画像、を取得する画像取得ステップと、
前記複数の原画像をもとに、原画像よりも構造物の像のボケが低減された第1の画像を生成する画像生成ステップと、
前記第1の画像に対し画像解析処理を適用することによって、前記第1の画像に含まれる構造物に関する情報を取得する解析ステップと、
をコンピュータに実行させるプログラムであって、
前記画像生成ステップでは、前記検体から得られた前記複数の原画像の内から、前記検体の厚さよりも小さい深度範囲内に焦点位置が含まれる原画像が選択され、前記選択された原画像を用いて前記第1の画像が生成される
ことを特徴とするプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2013−20212(P2013−20212A)
【公開日】平成25年1月31日(2013.1.31)
【国際特許分類】
【出願番号】特願2011−155889(P2011−155889)
【出願日】平成23年7月14日(2011.7.14)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成25年1月31日(2013.1.31)
【国際特許分類】
【出願日】平成23年7月14日(2011.7.14)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]