画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
【課題】生体組織標本の切片標本を撮像して得られた一連の標本画像に対し、もとの生体組織標本をスライスした順序に対応した並び順を付与することができる画像処理装置等を提供する。
【解決手段】生体組織標本をスライスし染色を施した複数の切片標本に対応する複数の画像に対し、該画像内の各画素の色特徴量に基づいて少なくとも１種類の組織構成要素を抽出し、該種類ごとの画像である要素画像を作成する要素画像作成部４５２と、複数の画像間で、同じ種類の要素画像の連続性を評価する連続性評価アルゴリズム４５３ａ、４５３ｂ、…を有し、連続性の評価結果に基づいて、複数の画像の並び順を判定する連続性評価部４５３とを備える。
【解決手段】生体組織標本をスライスし染色を施した複数の切片標本に対応する複数の画像に対し、該画像内の各画素の色特徴量に基づいて少なくとも１種類の組織構成要素を抽出し、該種類ごとの画像である要素画像を作成する要素画像作成部４５２と、複数の画像間で、同じ種類の要素画像の連続性を評価する連続性評価アルゴリズム４５３ａ、４５３ｂ、…を有し、連続性の評価結果に基づいて、複数の画像の並び順を判定する連続性評価部４５３とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顕微鏡により取得された生体組織の標本画像を処理する画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、生体組織標本、特に病理標本においては、臓器摘出や針生検等によって得た標本を厚さ数ミクロン程度にスライスした後、様々な所見を得るために顕微鏡で拡大観察することが広く行われている。近年では、標本をスライスして得た切片標本の観察像を電子的な画像データに変換し、画像処理装置において一連の切片標本の画像を３次元的に構成して３Ｄ表示を行ったり、比較診断のために１つの画面に複数枚の画像を並べて表示することも多い。
【０００３】
例えば、特許文献１には、複数の連続切片画像の輪郭についての位置データを取り込み、この位置データをワールド座標に変換した位置データに基づいて立体像を再構築することが開示されている。
【０００４】
特許文献２には、スライス断面像を二値化し、距離変換により骨格画像を作成し、この骨格画像に基づいて抽出した特徴点によりスライス断面像を位置合わせして３次元画像を構築することが開示されている。
【０００５】
特許文献３には、連続切片画像の立体像を合成する際の前処理として、各切片画像から背景を除去することが開示されている。
【０００６】
生体組織標本をスライスした切片標本は、ほぼ無色透明に近いため、通常、観察に先立って染色が施される。染色手法としては多数のものが知られているが、病理標本に関しては、青紫色のヘマトキシリンと赤色のエオジンの２種の色素を使用するヘマトキシリン−エオジン染色（以下、ＨＥ染色と記す）を行うのが一般的である。ＨＥ染色が施された標本においては、細胞核や骨組織等が青紫色に染色され、細胞質や結合組織、赤血球等が赤色に染色されるので、観察者は、これらの組織構成要素を容易に視認できるようになる。それにより、観察者は、切片標本内の細胞核等の組織構成要素の大きさや位置関係等を把握することができ、切片標本の状態を形態学的に判断することが可能となる。
【０００７】
生体組織標本の染色に関する技術として、特許文献４には、ＨＥ染色を施した標本をマルチバンド撮像した画像に対し、各画素の画素値に基づいて当該標本画像の各位置におけるスペクトル（分光透過率）を推定すると共に、このスペクトルに基づいて当該位置における色素量を推定し、さらに、色素量分布に基づいて各位置における色素量を補正することが開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平３−７５５０８号公報
【特許文献２】特開昭６４−１０８１号公報
【特許文献３】特開２０００−２９３６９２号公報
【特許文献４】特開２００９−１４３５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、１つの生体組織標本から得られた複数の切片標本は、通常、切片標本を載置するスライドガラスに貼付されたラベルの番号等により管理される。近年では、切片標本の順序を示すバーコードラベルがスライドガラスに貼付される場合もある。
【００１０】
しかしながら、生体組織標本をスライスして切片標本を作成する作業は人手に負うことが多い。このため、ラベルの番号やバーコード等が適切に管理されていない場合には、各切片の連続性が不明となり、もとの生体組織標本をスライスした順序で標本画像を取得できなくなってしまう。それにより、もとの生体組織標本を正確に表す３Ｄ画像の取得が困難となったり、比較診断のために標本画像を適切な順序で並べることが困難になるという問題があった。
【００１１】
本発明は、上記に鑑みてなされたものであって、生体組織標本の切片標本を撮像して得られた一連の標本画像に対し、もとの生体組織標本をスライスした順序に従う正確な並び順を付与することができる画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、生体組織標本をスライスし染色を施した複数の切片標本に対応する複数の画像に対し、該画像内の各画素の色特徴量に基づいて少なくとも１種類の組織構成要素を抽出し、該種類ごとの画像である要素画像を作成する要素画像作成部と、前記複数の画像間で、同じ種類の前記要素画像の連続性を評価する連続性評価部を有し、該連続性の評価結果に基づいて、前記複数の画像の並び順を判定する並び順判定部とを備えることを特徴とする。
【００１３】
上記画像処理装置は、前記複数の画像から、前記切片標本が連続すると推定される複数の画像を連続切片候補画像群として選択する画像選択部をさらに備え、前記並び順判定部は、前記連続切片候補画像群間の並び順を判定することを特徴とする。
【００１４】
上記画像処理装置において、前記画像選択部は、前記複数の画像から輪郭を抽出する輪郭抽出部と、前記輪郭に基づいて、前記複数の画像の内の任意の画像と他の画像との間における類似判定を行う類似判定部と、前記類似判定部により、互いに類似すると判定された画像を前記連続切片候補画像群として抽出する画像抽出部とを有することを特徴とする。
【００１５】
上記画像処理装置において、前記画像選択部は、前記複数の画像の各画像から背景を抽出する背景抽出部と、前記背景に基づいて、前記複数の画像の内の任意の画像と他の画像との間における類似判定を行う類似判定部と、前記類似判定部により、互いに類似すると判定された画像を前記連続切片候補画像群として抽出する画像抽出部とを有することを特徴とする。
【００１６】
上記画像処理装置において、前記要素画像作成部は、前記各画像内の画素の色特徴量を取得する色特徴量取得部と、前記色特徴量の分布を作成し、該分布を、前記少なくとも１種類の組織構成要素に対応する少なくとも１つのクラスに分類するクラス分類部と、各クラスに属する色特徴量に対応する画素を抽出して、前記クラス毎の画像を前記要素画像として作成するクラス別画像作成部とを有することを特徴とする。
【００１７】
上記画像処理装置において、前記色特徴量は、前記画像内の各画素位置に対応する標本部分における前記色素の色素量であり、前記色特徴量取得部は、前記各画像内の各画素の画素値に基づき、前記各画素位置における色成分のスペクトルを推定するスペクトル推定部と、前記色成分のスペクトルに基づいて、前記標本部分における前記色素量を推定する色素量推定部とを含み、前記クラス分類部は、前記色素量を成分とする色特徴量空間において前記色素量の分布をクラスタリングすることにより、前記色素量の分布を分類することを特徴とする。
【００１８】
上記画像処理装置において、前記色特徴量取得部は、前記複数の画像間における前記色素量の分布を均質化する色素量補正部をさらに備え、前記クラス分類部は、前記色素量補正部によって補正された前記色素量の分布を分類することを特徴とする。
【００１９】
上記画像処理装置において、前記連続性評価部は、前記組織構成要素ごとに定められた連続性評価アルゴリズムを適用することにより、前記要素画像同士の連続性の評価を行うことを特徴とする。
【００２０】
上記画像処理装置において、前記連続性評価部は、前記組織構成要素の特性と、前記生体組織標本の部位と、前記所定の色素との内の少なくとも１つに基づいて前記連続性の評価を行うことを特徴とする。
【００２１】
上記画像処理装置において、前記少なくとも１種類の組織構成要素は、細胞膜、細胞質、細胞核、血管、血液、及び腔の内の少なくともいずれかを含み、前記連続性評価部は、前記細胞膜と、前記細胞核と、前記血液と、前記腔との内のいずれかに対応する要素画像に基づいて、前記連続性を評価することを特徴とする。
【００２２】
上記画像処理装置は、前記並び順判定部による判定結果に基づいて、前記複数の画像を３次元的に構成する３次元画像構成部をさらに備えることを特徴とする。
【００２３】
上記画像処理装置は、前記要素画像における前記組織構成要素の位置に基づいて、前記複数の画像間における位置合わせを行う位置合わせ部をさらに備えることを特徴とする。
【００２４】
本発明に係る顕微鏡システムは、上記画像処理装置と、体組織標本をスライスした切片に対して所定の色素により染色を施して得た複数の切片標本の観察像を生成する顕微鏡装置と、前記観察像に対応するディジタル画像を取得する画像取得部とを備えることを特徴とする。
【００２５】
本発明に係る画像処理方法は、生体組織標本をスライスし染色を施した複数の切片標本に対応する複数の画像に対し、該画像内の各画素の色特徴量に基づいて少なくとも１種類の組織構成要素を抽出し、該種類ごとの画像である要素画像を作成する要素画像作成ステップと、前記複数の画像間で、同じ種類の前記要素画像の連続性を評価し、該連続性の評価結果に基づいて、前記複数の画像の並び順を判定する並び順判定ステップとを含むことを特徴とする。
【００２６】
本発明に係る画像処理プログラムは、生体組織標本をスライスし染色を施した複数の切片標本に対応する複数の画像に対し、該画像内の各画素の色特徴量に基づいて少なくとも１種類の組織構成要素を抽出し、該種類ごとの画像である要素画像を作成する要素画像作成ステップと、前記複数の画像間で、同じ種類の前記要素画像の連続性を評価し、該連続性の評価結果に基づいて、前記複数の画像の並び順を判定する並び順判定ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【００２７】
本発明によれば、画像内の色特徴量に基づいて抽出した組織構成画像に対応する要素画像同士の連続性に基づいて複数の画像間の並び順を判定するので、一連の画像に対し、もとの生体組織標本をスライスした順序に従う正確な並び順を付与することが可能となる。
【図面の簡単な説明】
【００２８】
【図１】図１は、本発明の実施の形態１に係る顕微鏡システムの構成を示すブロック図である。
【図２】図２は、図１に示す顕微鏡装置の構成例を示す模式図である。
【図３】図３は、図１に示す画像選択部の構成例を示すブロック図である。
【図４】図４は、図１に示す顕微鏡システムの動作を示すフローチャートである。
【図５】図５は、図１に示す画像処理装置の処理対象である標本画像の一例を示す図である。
【図６】図６は、図１に示す要素画像作成部の動作を示すフローチャートである。
【図７】図７は、図５に示す標本画像内の画素の色素量をプロットした色特徴量空間を示す図である。
【図８】図８は、色素量の補正方法を説明する図である。
【図９】図９は、図５に示す標本画像から抽出された細胞膜の要素画像を示す図である。
【図１０】図１０は、図５に示す標本画像から抽出された細胞核の要素画像を示す図である。
【図１１】図１１は、図５に示す標本画像から抽出された赤血球の要素画像を示す図である。
【図１２】図１２は、図５に示す標本画像から抽出された腔の要素画像を示す図である。
【図１３】図１３は、図５に示す標本画像から抽出された切片標本の皺の要素画像を示す図である。
【図１４】図１４は、図５に示す標本画像から抽出されたゴミの要素画像を示す図である。
【図１５】図１５は、腔の要素画像に対する連続性評価アルゴリズムが適用された場合の連続性評価部の動作を示すフローチャートである。
【図１６】図１６は、２つの標本画像の連続性の評価方法を説明する図である。
【図１７】図１７は、一連の標本画像の並び順の入れ替え方法を説明する図である。
【図１８】図１８は、変形例１における画像選択部の構成を示すブロック図である。
【図１９】図１９は、標本画像を用いて位置合わせを行った場合の結果を説明する図である。
【図２０】図２０は、要素画像を用いて位置合わせを行った場合の結果を示す図である。
【発明を実施するための形態】
【００２９】
以下、本発明に係る画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラムの実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【００３０】
（実施の形態１）
図１は、本発明の実施の形態１に係る顕微鏡システムの構成を示すブロック図である。図１に示すように、実施の形態１に係る顕微鏡システム１は、標本の観察像を生成する顕微鏡装置１０と、標本が載置されたスライドを該顕微鏡装置１０に順次供給するスライドローダー２０と、顕微鏡装置１０が生成した観察像を撮像して標本画像を取得する画像取得部３０と、画像取得部３０が取得した標本画像を処理する画像処理装置４０とを備える。
【００３１】
図２は、顕微鏡装置１０及びスライドローダー２０の構成を概略的に示す模式図である。
図２に示すように、顕微鏡装置１０は、略Ｃ字形のアーム部１００と、該アーム部１００に取り付けられた標本ステージ１０１と、該標本ステージ１０１と対向して配置された対物レンズ１０２と、アーム部１００に取り付けられた三眼鏡筒ユニット１０３と、該三眼鏡筒ユニット１０３を介して設けられた接眼レンズユニット１０４と、三眼鏡筒ユニット１０３に連結された結像レンズユニット１０５とを有する。また、結像レンズユニット１０５の端部には、画像取得部３０が設けられている。アーム部１００には、照明系として、透過照明用光源１０６ａ及び透過照明光学系１０６ｂと、落射照明用光源１０７ａ及び落射照明光学系１０７ｂと、複数の光学キューブ１０８ａ、１０８ｂを切換可能に保持するキューブユニット１０８とが設けられている。このような顕微鏡装置１０には、画像処理装置４０の制御の下で、顕微鏡装置１０の各部に制御信号を出力する顕微鏡コントローラ１１０が接続されている。
【００３２】
標本ステージ１０１には、標本ステージ１０１を３次元的に移動させる駆動装置１０１ａが設けられている。駆動装置１０１ａは、顕微鏡コントローラ１１０の制御の下で標本ステージ１０１を対物レンズの光軸方向（Ｚ方向）に変化させることにより、焦点合わせを行う。また、駆動装置１０１ａは、顕微鏡コントローラ１１０の制御の下で標本ステージ１０１をＸＹ平面内で移動させることにより、対物レンズ１０２の視野を変化させる。
【００３３】
対物レンズ１０２は、倍率が互いに異なる複数の対物レンズ（例えば、対物レンズ１０２’）を保持可能なレボルバ１０９に取り付けられている。このレボルバ１０９を回転させて、標本ステージ１０１と対向する対物レンズ１０２、１０２’を変更することにより、視野内の画像の倍率を変化させることができる。
【００３４】
三眼鏡筒ユニット１０３は、対物レンズ１０２から入射した標本ＳＰの観察光を、画像取得部３０の方向と接眼レンズユニット１０４の方向とに分岐する。接眼レンズユニット１０４は、ユーザが標本ＳＰを直接観察するためのものである。
【００３５】
結像レンズユニット１０５には、複数のズームレンズと、これらのズームレンズの位置を変化させる駆動部（いずれも図示せず）とを含むズーム部が設けられている。ズーム部は、顕微鏡コントローラ１１０の制御の下でズームレンズの位置を調整することにより、撮像視野内の撮像対象を拡大又は縮小させる。
【００３６】
透過照明光学系１０６ｂは、透過照明用光源１０６ａから出射した透過照明光を集光して観察光路Ｌの方向に導く種々の光学部材（コレクタレンズ、フィルタユニット、視野絞り、シャッタ、開口絞り、コンデンサ光学素子ユニット、トップレンズユニット等）を含む。一方、落射照明光学系１０７ｂは、落射照明用光源１０７ａから出射した落射照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。
【００３７】
キューブユニット１０８は、内部に複数の光学キューブ１０８ａ、１０８ｂを備え、例えば透過明視野観察や蛍光観察といった各種検鏡法に応じて、観察光路Ｌ上に配置される光学キューブを切り替える。
【００３８】
スライドローダー２０は、標本が載置された標本スライドＳＰ１、ＳＰ２、…を収納して標本ステージ１０１との間で運搬する運搬装置である。スライドローダー２０には、画像処理装置４０の制御の下で動作するローダー制御部２１０が接続されている。スライドローダー２０は、ローダー制御部２１０の制御により、顕微鏡コントローラ１１０の制御の下で位置を変化させる標本ステージ１０１の動きと連動して、観察対象の標本スライドＳＰ１、ＳＰ２、…を順次供給すると共に、観察済みの標本スライドＳＰ１、ＳＰ２、…を回収する。また、スライドローダー２０には、バーコードリーダ２２０が設けられている。バーコードリーダ２２０は、顕微鏡装置１０に供給される標本スライドに貼付されたバーコードラベルを読み取り、読み取り信号を画像処理装置４０に送信する。それにより、画像処理装置４０において、顕微鏡装置１０で観察中の標本スライドと画像取得部３０が撮像した標本画像の画像データとが対応付けられる。
【００３９】
画像取得部３０は、例えばＣＣＤ等の撮像素子を含み、各画素において互いに異なる複数の波長帯域（バンド）における画素レベル（画素値）を持つカラー画像を撮像可能なマルチバンドカメラによって実現される。画像取得部３０は、対物レンズ１０２にから出射し、結像レンズユニット１０５を介して入射した光（観察光）を受光し、観察光に対応する画像データを生成して画像処理装置４０に出力する。なお、本実施の形態ではマルチバンドカメラを使用しているが、マルチバンドカメラを使用せずに、一般的に使用されるＲＧＢカメラと、該ＲＧＢカメラとは別体の色測定用のセンサとを設け、センサ及びＲＧＢカメラの画像の両方を使用して、色特徴を取得（スペクトルや色素量を推定）する構成としても良い。例えば、特開２０１１−９９８２３号公報に記載された顕微鏡システムのような構成としても良い。
【００４０】
画像処理装置４０は、当該画像処理装置４０に対する指示や情報の入力を受け付ける入力部４１と、画像取得部３０から出力された顕微鏡画像の入力を受け付けるインタフェースである画像入力部４２と、顕微鏡画像やその他の情報を表示する表示部４３と、記憶部４４と、顕微鏡画像に対して所定の画像処理を施す演算部４５と、これらの各部の動作及び画像取得部３０の動作を制御する制御部４６とを備える。
【００４１】
入力部４１は、キーボード、各種ボタン、各種スイッチ等の入力デバイスや、マウスやタッチパネル等のポインティングデバイスを含み、これらのデバイスを介して入力された信号を受け付けて制御部４６に入力する。
【００４２】
表示部４３は、例えば、ＬＣＤ（Liquid Crystal Display）やＥＬ（Electro Luminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ等の表示装置によって実現され、制御部４６から出力された制御信号に従って、各種画面を表示する。
【００４３】
記憶部４４は、更新記録可能なフラッシュメモリ、ＲＡＭ、ＲＯＭ等の半導体メモリや、内蔵若しくはデータ通信端子で接続されたハードディスク、ＭＯ、ＣＤ−Ｒ、ＤＶＤ−Ｒ等の記録媒体及び該記録媒体に記録された情報を読み取る読取装置等によって実現される。記憶部４４は、画像取得部３０から出力された画像データや、演算部４５及び制御部４６がそれぞれ実行する各種プログラムや各種設定情報を記憶する。具体的には、記憶部４４は、画像取得部３０が撮像した一連の切片標本に対応する標本画像に対し、もとの生体組織標本をスライスした順序に従う正確な並び順を付与する画像処理プログラム４４１を記憶する。また、記憶部４４は、画像処理プログラム４４１を実行する際に用いられる種々のデータ（例えば、ＨＥ染色が施された標準標本における色素量分布等の教師データ、各種色素に関する情報、演算式及び係数等）を記憶する。
【００４４】
演算部４５は、記憶部４４に記憶された各種プログラムを例えばＣＰＵ等のハードウェアに読み込むことにより、記憶部４４に記憶された画像データに対応する一連の標本画像に対し、生体組織標本をスライスした順序に従う正確な並び順を付与する画像処理を実行する。
【００４５】
より詳細には、演算部４５は、一連の標本画像の内で、切片標本が連続すると推定される標本画像の組み合わせを、連続切片候補画像群として選択する画像選択部４５１と、各標本画像の色特徴量に基づいて標本画像内から少なくとも１種類の組織構成要素を抽出し、抽出した組織構成要素が種類ごとに写った画像である要素画像を作成する要素画像作成部４５２と、標本画像間において対応する要素画像を比較して連続性を評価する連続性評価アルゴリズム４５３ａ、４５３ｂ、…を含み、この連続性の評価結果に基づいて標本画像間の並び順を判定する並び順判定部としての連続性評価部４５３とを有する。
【００４６】
ここで、組織構成要素とは、切片標本を構成する各要素のことであり、具体的には、細胞膜、細胞質、細胞核、血管、血液、腔（管状組織の断面や細胞質の隙間）といった生体組織を構成する要素の他、切片標本を作成する際に生じた切片の皺やゆがみ、スライド内に生じた泡、スライド上に付着したゴミ等が含まれる。
【００４７】
上記演算部４５の構成の内、連続性評価部４５３は、組織構成要素毎に作成された連続性評価アルゴリズム４５３ａ、４５３ｂ、…に従って、標本画像間の連続性を判定し、この連続性に基づき、並び順を判定する。
【００４８】
また、演算部４５は、連続性評価部４５３による判定結果に基づいて、一連の標本画像に対して並び順を付与する並び順付与部４５４と、並び順が連続する標本画像間において位置合わせを行う位置合わせ部４５５と、各標本画像に付与された並び順に従って、一連の標本画像の並べ替えを行う並べ替え部４５６と、位置合わせ及び並び順が入れ替えられた一連の標本画像から３次元的な画像（以下、３Ｄ画像という）を構成する３Ｄ画像構成部４５７とを有する。
【００４９】
図３は、画像選択部４５１の内部構成を示すブロック図である。図３に示すように、画像選択部４５１は、一連の標本画像の任意の標本画像から輪郭を抽出する輪郭抽出部４５１ａと、抽出した輪郭を用いて、上記任意の標本画像と他の標本画像との間における類似判定を行う類似判定部４５１ｂと、この類似判定の結果に基づいて、全体形状がある程度類似していると判定される標本画像同士を連続切片候補画像群として抽出する画像抽出部４５１ｃとを有する。
【００５０】
また、要素画像作成部４５２は、標本画像内の各画素の画素値に基づき、各画素位置における色成分のスペクトル（分光透過率）を推定するスペクトル推定部４５２ａと、色成分のスペクトルに基づいて、当該画素位置に対応する標本部分における色素量を推定する色素量推定部４５２ｂと、推定された色素量を標準標本に関する情報に基づいて補正する色素量補正部４５２ｃと、推定又は補正された色素量を成分とする色特徴量空間に色特徴量の分布を作成し、該分布を組織構成要素に対応するクラスに分類するクラス分類部４５２ｄと、各クラスに属する色特徴量に対応する画素を抽出して、クラス毎の画像を要素画像として作成するクラス別画像作成部４５２ｅとを有する。なお、スペクトル推定部４５２ａと、色素量推定部４５２ｂと、色素量補正部４５２ｃとは、色特徴量取得部として設けられている。
【００５１】
制御部４６は、記憶部４４に記憶された各種プログラムを例えばＣＰＵ等のハードウェアに読み込むことにより実現される。制御部４６は、記憶部４４に記憶された各種データや入力部４１から入力される各種情報に基づき、顕微鏡装置１０、スライドローダー２０、画像取得部３０、及び画像処理装置４０の各部に指示やデータの転送を行うことにより、顕微鏡システム１全体の動作を統括的に制御する。
このような画像処理装置４０は、例えばパーソナルコンピュータやワークステーション等の汎用の装置によって実現される。
【００５２】
次に、顕微鏡システム１の動作について説明する。図４は、顕微鏡システム１の動作を示すフローチャートである。
顕微鏡システム１は、生体組織標本をスライスして得た各切片標本にＨＥ染色を施すことにより一連の切片標本を作成し、これらの一連の切片標本を撮像して得た一連の標本画像に対して、もとの生体組織標本をスライスした順序に従う正確な並び順を付与して並び替える処理を実行する。
【００５３】
まず、ステップＳ１０において、画像取得部３０は、スライドローダー２０によって顕微鏡装置１０に供給される切片標本を、標本ステージ１０１をＸＹ平面内で移動させることにより対物レンズ１０２の視野を変化させつつマルチバンドで順次撮像し、撮像した画像をつなぎ合わせることにより、１つの切片標本全体に対応する画像（標本画像）の画像データを画像処理装置４０に出力する。画像取得部３０は複数の切片標本に対してこれらの動作を順次実施し、複数の標本画像を得る。画像処理装置４０は、受け取った画像データを記憶部４４に記憶させる。図５は、そのようにして取得された標本画像の一例を示す図である。
【００５４】
なお、以下の説明においては、所謂バーチャルスライド装置に本発明を適用した例を記載するが、本発明はこれに限るものではなく、例えば、標本の１視野を撮影した画像に対して、以下の説明と同様の処理を実施してもよい。
【００５５】
ステップＳ１１において、画像選択部４５１は、記憶部４４に記憶された画像データに対応する一連の標本画像から、連続切片候補画像群を選択する。より詳細には、輪郭抽出部４５１ａは、任意の標本画像を抽出し、この標本画像に対してエッジ処理等の公知の輪郭抽出法を適用して、輪郭を抽出する。続いて、類似判定部４５１ｂは、抽出した輪郭をテンプレートとして、他の標本画像に対してテンプレートマッチング処理を行う。画像抽出部４５１ｃは、その際に算出した類似度が所定の閾値以上となる標本画像同士を、連続切片候補画像群として抽出する。
【００５６】
なお、輪郭抽出部４５１ａは、輪郭抽出する標本画像を、一連の標本画像の中からランダムに抽出しても良いし、一連の標本画像から所定の間隔で抽出しても良い。或いは、ユーザが選択した標本画像に対応する入力信号を入力部４１が受け付けた場合には、輪郭抽出部４５１ａは、その入力信号に従って標本画像を抽出しても良い。
【００５７】
続くステップＳ１２において、要素画像作成部４５２は、各標本画像に対し、少なくとも１種類の組織構成要素を抽出して要素画像を作成する（参考：特開２００９−１４３５５号公報）。
【００５８】
図６は、要素画像作成部４５２の詳細な動作を示すフローチャートである。
ステップＳ１２１において、スペクトル推定部４５２ａは、標本画像内の各画素位置における各バンドの画素値を取得し、ウィナー（Ｗｉｅｎｅｒ）推定により、各画素位置における色成分のスペクトルを推定する。
【００５９】
ステップＳ１２２において、色素量推定部４５２ｂは、ステップＳ１２１において推定されたスペクトルに基づいて、各画素位置に対応する標本部分に固定された色素量を推定する。ここでは、細胞核を染色したヘマトキシリン（以下、色素Ｈと記す）、細胞質を染色したエオジン（以下、色素Ｅと記す）、及び赤血球を染色したエオジン（以下、色素Ｒと記す）の量を推定する。この色素量は、Ｌａｍｂｅｒｔ−Ｂｅｅｒ則に従って、画素位置ｘにおける波長成分λの分光透過率ｔ（ｘ，λ）を与える次式（１）を、複数の波長成分λに関して連立させた連立方程式を解くことによって算出される。
【数１】
式（１）において、係数ｋH（λ）、ｋE（λ）、ｋR（λ）は、色素Ｈ、色素Ｅ、及び色素Ｒにそれぞれ対応する係数であり、波長に依存して決まる物質固有の値である。また、値ｄHは色素Ｈの色素量、値ｄEは色素Ｅの色素量、値ｄRは色素Ｒの色素量をそれぞれ表す。
【００６０】
ステップＳ１２３において、クラス分類部４５２ｄは、ステップＳ１２２において推定した色素量（ｄH，ｄE）を成分とする色特徴量空間において色素量の分布を作成し、それらの分布をクラスタリングする。図７は、図５に示す標本画像Ｍの各画素位置における色素量（ｄH，ｄE）をプロットした色特徴量空間を示す図である。
【００６１】
ステップＳ１２４において、色素量補正部４５２ｃは、ＨＥ染色が施された標準標本に関する情報に基づいて色素量の分布を補正する。図８は、色素量分布の補正方法を説明する図である。色素量補正部４５２ｃは、まず、記憶部４４に予め記憶されている教師データの内から、ＨＥ染色を施した標準標本を撮像して得られた画像（以下、標準画像という）における色素量分布Ｄ0と、色素量分布Ｄ0の分布範囲ΔｄH及びΔｄEを取得する。次いで、色素量補正部４５２ｃは、処理対象である標本画像の色素量分布Ｄ1を分布範囲ΔｄH及びΔｄEを対応させるべく、色素量分布Ｄ1のシフト、拡大、縮小等の処理を行う。このような処理を各標本画像に対して実行することにより、複数の標本画像間における色の分布が均質化される。
【００６２】
ステップＳ１２５において、クラス分類部４５２ｄは、補正済みの色素量分布をクラスタリングする。なお、クラスタリングの手法としては、分水嶺処理、階層法、k-means法、期待値最大化アルゴリズム（ＥＭアルゴリズム）、自己組織化マップ等の公知の手法を用いることができる。それにより、図７に示すクラスタａ１〜ａ７が得られる。
【００６３】
さらに、クラス分類部４５２ｄは、各クラスタａ１〜ａ７の重心位置を取得する。そして、各重心位置を標準画像の色素量分布Ｄ0におけるクラスタの重心と比較することにより、クラスタａ１〜ａ７を、組織構成要素に対応するクラスに分類する。例えば、図７の場合、クラスタａ３、ａ４はエオジンの色素量が多いので細胞質に対応するクラスｃ１と特定される。クラスタａ５、ａ７及びクラスタａ２の一部はヘマトキシリンの色素量が適度に多いので細胞核に対応するクラスｃ２と特定される。クラスタａ１は赤血球に対応するクラスｃ３と特定される。クラスタａ６は色素が非常に薄いので腔に対応するクラスｃ４と特定される。画像内に写されたゴミや皺等についてもこれらの例と同様に、クラスタとクラスとの対応づけを行うことができる。例えば、ゴミや皺や泡等は黒色に近いため、ヘマトキシリンが非常に濃いクラスタａ２に一旦分類される。このクラスタａ２をさらに詳細に分類することで、皺（クラスｃ５）、ゴミ（クラスｃ６）、及び細胞核のうち色素の濃い部分にそれぞれ対応するクラスを特定することができる。
【００６４】
なお、クラス分類結果による各クラスと組織構成要素との対応は一対一に限ることなく、クラス分類の方法によっては、例えば１つの組織構成要素に対応するクラスが複数存在する場合もある。これらのクラスタリング方法は組織構成要素や染色方法等によって適応的に決定すればよい。
【００６５】
ステップＳ１２６において、クラス別画像作成部４５２ｅは、各クラスに分類された色素量に対応する画素領域を標本画像から抽出することにより、クラス別（即ち、組織構成要素毎）の要素画像を作成する。
【００６６】
各クラスの組織構成要素に対応する画素を抽出した画像の例を図９〜図１４に示す。図９に示す要素画像Ｍ−ｃ１は、クラスｃ１に対応する画素を抽出した細胞質を表す画像である。図１０に示す要素画像Ｍ−ｃ２は、クラスｃ２に対応する画素を抽出した細胞核を表す画像である。図１１に示す要素画像Ｍ−ｃ３は、クラスｃ３に対応する画素を抽出した赤血球画像である。図１２に示す要素画像Ｍ−ｃ４は、クラスｃ４に対応する画素を抽出した腔を表す画像である。図１３に示す要素画像Ｍ−ｃ５は、クラスｃ５に対応する画素を抽出した皺を表す画像である。図１４に示す要素画像Ｍ−ｃ６は、クラスｃ６に対応する画素を抽出したゴミを表す画像である。
この後、動作はメインルーチンに戻る。
【００６７】
ステップＳ１３において、連続性評価部４５３は、複数の標本画像間における連続性を、所定のクラスの要素画像を用いて評価する。なお、この評価は、ステップＳ１１において連続切片候補と判定された標本画像間で行われる。
【００６８】
ここで、標本画像から抽出された各組織構成要素は、その組織構成要素の種類ごとの特性や、もとの生体組織標本の部位や、切片標本を染色した色素等に応じた特徴を有している。例えば、細胞核や赤血球のサイズは非常に小さいので、隣接する切片標本間において同じ断面形状が現れることはまれである。反対に、細胞質、血管、腔等のサイズは、比較的大きいので、隣接する切片標本間において類似した断面形状が現れることが多い。また、しわやゴミは切片標本を作成する際に個別に生じているので、隣接する切片標本間における連続性の評価に用いることができない。
【００６９】
連続性評価部４５３が保有する連続性評価アルゴリズム４５３ａ、４５３ｂ、…は、組織構成要素の種類毎の特性や生体組織標本の部位の特徴や色素の特徴のように、予め知られている情報（これらを先見情報ともいう）に基づいて作成されている。
【００７０】
以下、一例として、腔の要素画像に対して作成された連続性評価アルゴリズムを説明する。図１５は、腔の要素画像に対する連続性評価アルゴリズムが適用された場合における連続性評価部４５３の動作を示すフローチャートである。
【００７１】
まず、ステップＳ１３１において、連続性評価部４５３は、標本画像Ｍ１、Ｍ２、Ｍ３…に対して共通に作成された要素画像から、腔の要素画像Ｍ１−ｃ４、Ｍ２−ｃ４、Ｍ３−ｃ４…を選択する（図１６参照）。
【００７２】
ステップＳ１３２において、連続性評価部４５３は、各要素画像Ｍ１−ｃ４、Ｍ２−ｃ４、Ｍ３−ｃ４…から、サイズの小さい腔Ｐ１、Ｐ２、Ｐ３、…を削除する。
【００７３】
続いて、連続性評価部４５３は、要素画像Ｍ１−ｃ４、Ｍ２−ｃ４、Ｍ３−ｃ４…の１つひとつに対して、ステップＳ１３３〜Ｓ１３５の処理を行う。まず、ステップＳ１３３において、連続性評価部４５３は、要素画像Ｍ１−ｃ４、Ｍ２−ｃ４、Ｍ３−ｃ４…のいずれかをピックアップする。続くステップＳ１３４において、連続性評価部４５３は、ピックアップした要素画像とそれ以外の全ての要素画像との類似度を、例えばパターンマッチング等の公知の手法を用いて算出する。そして、ステップＳ１３５において、算出した類似度を記憶部４４に記憶させる。
【００７４】
ステップＳ１３６において、連続性評価部４５３は、算出した全ての類似度を総合的に評価して、要素画像Ｍ１−ｃ４、Ｍ２−ｃ４、Ｍ３−ｃ４…間相互の類似度が最も高くなるような並び順を検出する。その際には、全ての画像の組み合わせにおいて画像間の類似度を算出して並べ替えたり、最初に２枚のペア画像を設定し、ペア画像間の類似度を計算して並べ替えを繰り返すなど、公知のソート方法を用いる。例えば、類似度マップ、複合ソート法等の手法を用いて、要素画像Ｍ１−ｃ４、Ｍ２−ｃ４、Ｍ３−ｃ４…相互のソートを行えば良い。
この後、動作はメインルーチンに戻る。
【００７５】
ステップＳ１４において、並び順付与部４５４は、ステップＳ１６において検出された要素画像Ｍ１−ｃ１、Ｍ２−ｃ２、Ｍ３−ｃ２…の並び順を、標本画像Ｍ１、Ｍ２、Ｍ３…に対して付与する。
【００７６】
ステップＳ１５において、並べ替え部４５６は、図１７に示すように、ステップＳ１４において付与された並び順に従って、標本画像Ｍ１、Ｍ２、…を並べ替える。例えば、図１７においては、標本画像Ｍ２と標本画像Ｍ４とが入れ替えられている。
【００７７】
ステップＳ１６において、位置合わせ部４５５は、並び順が隣接する標本画像同士（例えば、標本画像Ｍ１とＭ４、Ｍ４とＭ３、Ｍ３とＭ２、…）の位置合わせを、ステップＳ１３において選択した要素画像Ｍ１−ｃ４、Ｍ２−ｃ４、Ｍ３−ｃ４…における組織構成要素の位置を基準として実行する。
【００７８】
ステップＳ１７において、３Ｄ画像構成部４５７は、ステップＳ１６において位置合わせされた標本画像を３次元的に構成した３Ｄ画像を生成する。
【００７９】
ステップＳ１８において、演算部４５は、標本画像Ｍ１、Ｍ２、…の並び順情報及び位置合わせ情報と、生成した３Ｄ画像とを出力する。それに応じて、制御部４６は、出力された情報を記憶部４４に記憶させると共に、３Ｄ画像を表示部に表示させる。
【００８０】
以上説明したように、実施の形態１によれば、標本画像の色特徴量に基づいて抽出され、先見情報に基づいて選択された要素画像を用いて標本画像間の連続性を評価し、その評価結果に基づいて、標本画像の並び順を判定する。そのため、切片標本の作成時に生じた切片のしわやゆがみ、或いは、泡やゴミ等の不要物の影響を受けることなく、各標本画像に対して正確な並び順を付与することができる。従って、一連の切片標本の並び順や、切片標本の撮像順が混乱してしまった場合においても、もとの生体組織標本をスライスした順序に従う正確な並び順で一連の標本画像を並べることが可能となる。
【００８１】
また、実施の形態１によれば、先見情報に基づいて選択された要素画像に基づいて、標本画像間の位置合わせを行うので、切片標本の作成時に生じた切片の皺やゆがみ、或いは、泡やゴミ等の不要物の影響を受けることなく、正確な位置合わせを行うことが可能となる。従って、このように位置合わせされた一連の標本画像を用いて、もとの生体組織標本の形状等を正確に反映した３Ｄ画像を構成することが可能となる。
【００８２】
また、実施の形態１において、連続性評価部４５３は、画像選択部４５１により互いにある程度類似すると判定された連続切片候補画像同士の連続性を評価するので、演算量を低減させることが可能となる。
なお、画像選択部４５１は必ずしも設ける必要はなく、画像選択部４５１を設けない場合には、連続性評価部４５３は、一連の標本画像内の全ての標本画像の組み合わせについて連続性を評価すればよい。
【００８３】
また、実施の形態１においては、色素量補正部により均質化された色素量の分布に基づいて要素画像を作成する。従って、切片標本の作成条件や撮像条件が異なる場合（切片標本の作成者や施設が異なる場合、染色色素のメーカーが異なる場合、撮像システム１を構成する各機器の型番が異なる場合等）においても、結果のばらつきを抑制することができる。
【００８４】
なお、上記実施の形態１においては、腔の要素画像を用いて標本画像の連続性を評価しているが、腔以外にも、細胞膜や細胞質や血管や乳腺などのように、複数の切片にわたって存在する組織構成要素の要素画像を用いて標本画像の連続性を評価しても良い。
また、複数の組織構成要素の画像を用いて総合的に連続性を評価しても良い。
【００８５】
（変形例１）
次に、実施の形態１の変形例１について説明する。
図１８は、図１に示す画像選択部４５１の別の構成例を示すブロック図である。図１８に示すように、画像選択部４５１の変形例である画像選択部４７１は、一連の標本画像の各々に対して二値化処理を施すことにより、背景を抽出する背景抽出部４７１ａと、抽出された背景に基づいて、複数の標本画像間における類似判定を行う類似判定部４７１ｂと、類似判定部４７１ｂにより互いにある程度類似すると判定された複数の標本画像を連続切片候補画像群として抽出する画像抽出部４７１ｃとを有する。この場合、連続性評価部４５３は、画像抽出部４７１ｃによって抽出された連続切片候補画像間における連続性を評価する。
【００８６】
（変形例２）
次に、実施の形態１の変形例２について説明する。
画像処理装置４０は、並び順の入れ替え後の標本画像に対応するバーコードラベルをプリントアウトする出力装置を備えても良い。この場合、出力されたバーコードラベルを、スライドローダー２０に収納されている各標本スライドＳＰ１、ＳＰ２、…に貼付することにより、これらの標本スライドＳＰ１、ＳＰ２、…を適切に管理することが可能となる。
【００８７】
（変形例３）
次に、実施の形態１の変形例３について説明する。
上記実施の形態１においては、標本画像間の連続性の評価や位置合わせを、所定の要素画像を用いて行った。しかしながら、連続性評価部４５３は、ゴミや皺等の組織構成要素を標本画像から除去した後の画像（以下、除去済み標本画像という）を直接用いて連続性の評価を行っても良い。同様に、位置合わせ部４５５は、除去済み標本画像を直接用いて位置合わせを行っても良い。さらに、３Ｄ画像構成部４５７も、除去済み標本画像から３Ｄ画像を構成しても良い。
【００８８】
（実施の形態２）
次に、本発明の実施の形態２について説明する。
実施の形態２においては、要素画像作成部４５２において作成した要素画像を、一連の標本画像から抽出した２枚の標本画像間における位置合わせに用いても良い。
【００８９】
ここで、図１９に示すように、標本画像ＭA、ＭBを互いに位置合わせする場合を考える。これらの標本画像ＭA、ＭBには、各種組織構成要素（例えば、標本画像ＭA上の腔ｍａ１及びゴミｍａ２、標本画像ＭB上の腔ｍｂ１）が写っている。このような標本画像ＭA、ＭBを直接位置合わせすると、組織構成要素（例えば、ゴミｍａ２）の形状や輝度によっては、互いに異なる組織構成要素同士（例えば、腔ｍａ２に対してゴミｍｂ１）が位置合わせされてしまう場合がある。この場合、位置合わせされた標本画像ＭA、ＭBを用いて３Ｄ画像を構成すると、もとの生体組織標本の立体形状を再現することができなくなってしまう。また、比較診断のために２枚の標本画像同士を位置合わせして重ねたり、並べたりして表示するような場合に、表示がずれて２つの画像の差分をわかりやすく表示することができなくなってしまう。
【００９０】
そこで、実施の形態２においては、図２０に示すように、まず、標本画像ＭA、ＭBから、互いに対応する組織構成要素（腔ｍａ１、ｍｂ１）の要素画像ＭA−ｃ１、ＭB−ｃ１を抽出し、要素画像ＭA−ｃ１、ＭB−ｃ１同士で位置合わせを行う。この際に用いる要素画像は、先見情報に基づいて決定すると良い。そして、位置合わせ済みの要素画像ＭA−ｃ１、ＭB−ｃ１を基準として、標本画像ＭA、ＭBの相対的な位置を決定する。
【００９１】
以上説明した実施の形態２によれば、任意の２枚の標本画像に対して、精度の高い位置合わせを行うことができる。従って、そのように互いに位置合わせされた一連の標本画像から３Ｄ画像を構成する場合には、もとの生体組織標本の立体形状が正確に反映された出力画像を得ることが可能となる。また、比較診断のために２枚の標本画像同士を位置合わせして重ねたり、並べたりして表示するような場合にも、正確な位置合わせが行われ、２つの画像の差分をわかりやすく表示することが可能となる。
【００９２】
以上説明した実施の形態１及び２においては、１つの生体組織標本を複数の切片にスライスした複数の切片標本を順次撮像して得られた複数の標本画像に対する画像処理について説明した。しかしながら、上記実施の形態１、２及び変形例１〜３は、厚みのある標本に対し、焦点を変化させながら撮像した複数の断面画像に対する画像処理に適用することも可能である。この場合においても、各断面画像から算出した色特徴量（色素量）分布に基づいて作成した要素画像を用いて、断面画像間の連続性を判断して並び順を決定したり、位置合わせを行うことができる。また、このような場合、顕微鏡システムにおいて自動で焦点を変えながら標本を撮像しても良いし、使用者が手動で焦点を変えながら標本を撮像しても良い。特に、手動で焦点を変えながら撮像を行う場合には、焦点の設定順序を間違えたり、ある焦点位置を間違えて飛ばしたため、後で追加撮像を行ったり、最初は荒く焦点を変えながら撮像を行い、後でより細かく焦点を変えながら撮像を行うなどすることがある。そのようなときには、取得された画像の順番と焦点位置の変動とが一定の規則で対応していないという状況が生じ得る。また、撮像中に若干標本位置がずれてしまうこともある。しかしながら、本実施の形態によれば、上記のような場合にも複数の画像の正確な並び順を自動で決定することができ、撮像の手間をより省くことができる。
【００９３】
以上説明した実施の形態１、２及び変形例１〜３はそのままに限定されるものではなく、各実施の形態及び変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を除外して形成してもよい。あるいは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。
【００９４】
（付記１）
生体組織標本をスライスした切片に対して所定の色素により染色を施して得た複数の切片標本に対応する複数の画像を処理する画像処理装置であって、
前記複数の画像の各画像に対し、該画像内の各画素の色特徴量に基づいて少なくとも１種類の組織構成要素を抽出し、該組織構成要素が種類ごとに写った画像である要素画像を作成する要素画像作成部と、
前記要素画像における前記組織構成要素の位置に基づいて、前記複数の画像間における位置合わせを行う位置合わせ部と
を備えることを特徴とする画像処理装置。
（付記２）
前記要素画像作成部は、
前記各画像内の画素の色特徴量を取得する色特徴量取得部と、
前記色特徴量の分布を作成し、該分布を、前記少なくとも１種類の組織構成要素に対応する少なくとも１つのクラスに分類するクラス分類部と、
各クラスに属する色特徴量に対応する画素を抽出して、前記クラス毎の画像を前記要素画像として作成するクラス別画像作成部と、
を有することを特徴とする付記１に記載の画像処理装置。
（付記３）
前記色特徴量は、前記画像内の各画素位置に対応する標本部分における前記色素の色素量であり、
前記色特徴量取得部は、
前記各画像内の各画素の画素値に基づき、前記各画素位置における色成分のスペクトルを推定するスペクトル推定部と、
前記色成分のスペクトルに基づいて、前記標本部分における前記色素量を推定する色素量推定部と、
を含み、
前記クラス分類部は、前記色素量を成分とする色特徴量空間において前記色素量の分布をクラスタリングすることにより、前記色素量の分布を分類することを特徴とする付記２に記載の画像処理装置。
（付記４）
前記色特徴量取得部は、前記複数の画像間における前記色素量の分布を均質化する色素量補正部をさらに備え、
前記クラス分類部は、前記色素量補正部によって補正された前記色素量の分布を分類することを特徴とする付記３に記載の画像処理装置。
（付記５）
前記少なくとも１種類の組織構成要素は、細胞膜、細胞質、細胞核、血管、血液、及び腔の内のいずれかを含むことを特徴とする付記１〜４のいずれか１つに記載の画像処理装置。
（付記６）
付記１〜５のいずれか１つに記載の画像処理装置と、
生体組織標本をスライスした切片に対して所定の色素により染色を施して得た複数の切片標本の観察像を生成する顕微鏡装置と、
前記観察像に対応するディジタル画像を取得する画像取得部と、
を備えることを特徴とする顕微鏡システム。
（付記７）
前記複数の切片標本がそれぞれ載置された複数のスライドを前記顕微鏡装置に供給するスライド運搬装置をさらに備えることを特徴とする付記６に記載の顕微鏡システム。
（付記８）
生体組織標本をスライスした切片に対して所定の色素により染色を施して得た複数の切片標本に対応する複数の画像を処理する画像処理方法であって、
前記複数の画像の各画像に対し、該画像内の各画素の色特徴量に基づいて少なくとも１種類の組織構成要素を抽出し、該組織構成要素が種類ごとに写った画像である要素画像を作成する要素画像作成ステップと、
前記要素画像における前記組織構成要素の位置に基づいて、前記複数の画像間における位置合わせを行う位置合わせステップと
を含むことを特徴とする画像処理方法。
（付記９）
生体組織標本をスライスした切片に対して所定の色素により染色を施して得た複数の切片標本に対応する複数の画像を処理する画像処理プログラムであって、
前記複数の画像の各画像に対し、該画像内の各画素の色特徴量に基づいて少なくとも１種類の組織構成要素を抽出し、該組織構成要素が種類ごとに写った画像である要素画像を作成する要素画像作成ステップと、
前記要素画像における前記組織構成要素の位置に基づいて、前記複数の画像間における位置合わせを行う位置合わせステップと
をコンピュータに実行させることを特徴とする画像処理プログラム。
【符号の説明】
【００９５】
１ 顕微鏡システム
１０ 顕微鏡装置
１００ アーム部
１０１ 標本ステージ
１０１ａ 駆動装置
１０２、１０２’ 対物レンズ
１０３ 三眼鏡筒ユニット
１０４ 接眼レンズユニット
１０５ 結像レンズユニット
１０６ａ 透過照明用光源
１０６ｂ 透過照明光学系
１０７ａ 落射照明用光源
１０７ｂ 落射照明光学系
１０８ キューブユニット
１０８ａ、１０８ｂ 光学キューブ
１０９ レボルバ
１１０ 顕微鏡コントローラ
２０ スライドローダー
２１０ ローダー制御部
２２０ バーコードリーダ
３０ 画像取得部
４０ 画像処理装置
４１ 入力部
４２ 画像入力部
４３ 表示部
４４ 記憶部
４５ 演算部
４４１ 画像処理プログラム
４５１ 画像選択部
４５１ａ 輪郭抽出部
４５１ｂ 類似判定部
４５１ｃ 画像抽出部
４５２ 要素画像作成部
４５２ａ スペクトル推定部
４５２ｂ 色素量推定部
４５２ｃ 色素量補正部
４５２ｄ クラス分類部
４５２ｅ クラス別画像作成部
４５３ 連続性評価部
４５３ａ、４５３ｂ、… 連続性評価アルゴリズム
４５４ 並び順付与部
４５５ 位置合わせ部
４５６ 並べ替え部
４５７ ３Ｄ画像構成部
４６ 制御部
４７１ 画像選択部
４７１ａ 背景抽出部
４７１ｂ 類似判定部
４７１ｃ 画像抽出部
【技術分野】
【０００１】
本発明は、顕微鏡により取得された生体組織の標本画像を処理する画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、生体組織標本、特に病理標本においては、臓器摘出や針生検等によって得た標本を厚さ数ミクロン程度にスライスした後、様々な所見を得るために顕微鏡で拡大観察することが広く行われている。近年では、標本をスライスして得た切片標本の観察像を電子的な画像データに変換し、画像処理装置において一連の切片標本の画像を３次元的に構成して３Ｄ表示を行ったり、比較診断のために１つの画面に複数枚の画像を並べて表示することも多い。
【０００３】
例えば、特許文献１には、複数の連続切片画像の輪郭についての位置データを取り込み、この位置データをワールド座標に変換した位置データに基づいて立体像を再構築することが開示されている。
【０００４】
特許文献２には、スライス断面像を二値化し、距離変換により骨格画像を作成し、この骨格画像に基づいて抽出した特徴点によりスライス断面像を位置合わせして３次元画像を構築することが開示されている。
【０００５】
特許文献３には、連続切片画像の立体像を合成する際の前処理として、各切片画像から背景を除去することが開示されている。
【０００６】
生体組織標本をスライスした切片標本は、ほぼ無色透明に近いため、通常、観察に先立って染色が施される。染色手法としては多数のものが知られているが、病理標本に関しては、青紫色のヘマトキシリンと赤色のエオジンの２種の色素を使用するヘマトキシリン−エオジン染色（以下、ＨＥ染色と記す）を行うのが一般的である。ＨＥ染色が施された標本においては、細胞核や骨組織等が青紫色に染色され、細胞質や結合組織、赤血球等が赤色に染色されるので、観察者は、これらの組織構成要素を容易に視認できるようになる。それにより、観察者は、切片標本内の細胞核等の組織構成要素の大きさや位置関係等を把握することができ、切片標本の状態を形態学的に判断することが可能となる。
【０００７】
生体組織標本の染色に関する技術として、特許文献４には、ＨＥ染色を施した標本をマルチバンド撮像した画像に対し、各画素の画素値に基づいて当該標本画像の各位置におけるスペクトル（分光透過率）を推定すると共に、このスペクトルに基づいて当該位置における色素量を推定し、さらに、色素量分布に基づいて各位置における色素量を補正することが開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平３−７５５０８号公報
【特許文献２】特開昭６４−１０８１号公報
【特許文献３】特開２０００−２９３６９２号公報
【特許文献４】特開２００９−１４３５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、１つの生体組織標本から得られた複数の切片標本は、通常、切片標本を載置するスライドガラスに貼付されたラベルの番号等により管理される。近年では、切片標本の順序を示すバーコードラベルがスライドガラスに貼付される場合もある。
【００１０】
しかしながら、生体組織標本をスライスして切片標本を作成する作業は人手に負うことが多い。このため、ラベルの番号やバーコード等が適切に管理されていない場合には、各切片の連続性が不明となり、もとの生体組織標本をスライスした順序で標本画像を取得できなくなってしまう。それにより、もとの生体組織標本を正確に表す３Ｄ画像の取得が困難となったり、比較診断のために標本画像を適切な順序で並べることが困難になるという問題があった。
【００１１】
本発明は、上記に鑑みてなされたものであって、生体組織標本の切片標本を撮像して得られた一連の標本画像に対し、もとの生体組織標本をスライスした順序に従う正確な並び順を付与することができる画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、生体組織標本をスライスし染色を施した複数の切片標本に対応する複数の画像に対し、該画像内の各画素の色特徴量に基づいて少なくとも１種類の組織構成要素を抽出し、該種類ごとの画像である要素画像を作成する要素画像作成部と、前記複数の画像間で、同じ種類の前記要素画像の連続性を評価する連続性評価部を有し、該連続性の評価結果に基づいて、前記複数の画像の並び順を判定する並び順判定部とを備えることを特徴とする。
【００１３】
上記画像処理装置は、前記複数の画像から、前記切片標本が連続すると推定される複数の画像を連続切片候補画像群として選択する画像選択部をさらに備え、前記並び順判定部は、前記連続切片候補画像群間の並び順を判定することを特徴とする。
【００１４】
上記画像処理装置において、前記画像選択部は、前記複数の画像から輪郭を抽出する輪郭抽出部と、前記輪郭に基づいて、前記複数の画像の内の任意の画像と他の画像との間における類似判定を行う類似判定部と、前記類似判定部により、互いに類似すると判定された画像を前記連続切片候補画像群として抽出する画像抽出部とを有することを特徴とする。
【００１５】
上記画像処理装置において、前記画像選択部は、前記複数の画像の各画像から背景を抽出する背景抽出部と、前記背景に基づいて、前記複数の画像の内の任意の画像と他の画像との間における類似判定を行う類似判定部と、前記類似判定部により、互いに類似すると判定された画像を前記連続切片候補画像群として抽出する画像抽出部とを有することを特徴とする。
【００１６】
上記画像処理装置において、前記要素画像作成部は、前記各画像内の画素の色特徴量を取得する色特徴量取得部と、前記色特徴量の分布を作成し、該分布を、前記少なくとも１種類の組織構成要素に対応する少なくとも１つのクラスに分類するクラス分類部と、各クラスに属する色特徴量に対応する画素を抽出して、前記クラス毎の画像を前記要素画像として作成するクラス別画像作成部とを有することを特徴とする。
【００１７】
上記画像処理装置において、前記色特徴量は、前記画像内の各画素位置に対応する標本部分における前記色素の色素量であり、前記色特徴量取得部は、前記各画像内の各画素の画素値に基づき、前記各画素位置における色成分のスペクトルを推定するスペクトル推定部と、前記色成分のスペクトルに基づいて、前記標本部分における前記色素量を推定する色素量推定部とを含み、前記クラス分類部は、前記色素量を成分とする色特徴量空間において前記色素量の分布をクラスタリングすることにより、前記色素量の分布を分類することを特徴とする。
【００１８】
上記画像処理装置において、前記色特徴量取得部は、前記複数の画像間における前記色素量の分布を均質化する色素量補正部をさらに備え、前記クラス分類部は、前記色素量補正部によって補正された前記色素量の分布を分類することを特徴とする。
【００１９】
上記画像処理装置において、前記連続性評価部は、前記組織構成要素ごとに定められた連続性評価アルゴリズムを適用することにより、前記要素画像同士の連続性の評価を行うことを特徴とする。
【００２０】
上記画像処理装置において、前記連続性評価部は、前記組織構成要素の特性と、前記生体組織標本の部位と、前記所定の色素との内の少なくとも１つに基づいて前記連続性の評価を行うことを特徴とする。
【００２１】
上記画像処理装置において、前記少なくとも１種類の組織構成要素は、細胞膜、細胞質、細胞核、血管、血液、及び腔の内の少なくともいずれかを含み、前記連続性評価部は、前記細胞膜と、前記細胞核と、前記血液と、前記腔との内のいずれかに対応する要素画像に基づいて、前記連続性を評価することを特徴とする。
【００２２】
上記画像処理装置は、前記並び順判定部による判定結果に基づいて、前記複数の画像を３次元的に構成する３次元画像構成部をさらに備えることを特徴とする。
【００２３】
上記画像処理装置は、前記要素画像における前記組織構成要素の位置に基づいて、前記複数の画像間における位置合わせを行う位置合わせ部をさらに備えることを特徴とする。
【００２４】
本発明に係る顕微鏡システムは、上記画像処理装置と、体組織標本をスライスした切片に対して所定の色素により染色を施して得た複数の切片標本の観察像を生成する顕微鏡装置と、前記観察像に対応するディジタル画像を取得する画像取得部とを備えることを特徴とする。
【００２５】
本発明に係る画像処理方法は、生体組織標本をスライスし染色を施した複数の切片標本に対応する複数の画像に対し、該画像内の各画素の色特徴量に基づいて少なくとも１種類の組織構成要素を抽出し、該種類ごとの画像である要素画像を作成する要素画像作成ステップと、前記複数の画像間で、同じ種類の前記要素画像の連続性を評価し、該連続性の評価結果に基づいて、前記複数の画像の並び順を判定する並び順判定ステップとを含むことを特徴とする。
【００２６】
本発明に係る画像処理プログラムは、生体組織標本をスライスし染色を施した複数の切片標本に対応する複数の画像に対し、該画像内の各画素の色特徴量に基づいて少なくとも１種類の組織構成要素を抽出し、該種類ごとの画像である要素画像を作成する要素画像作成ステップと、前記複数の画像間で、同じ種類の前記要素画像の連続性を評価し、該連続性の評価結果に基づいて、前記複数の画像の並び順を判定する並び順判定ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【００２７】
本発明によれば、画像内の色特徴量に基づいて抽出した組織構成画像に対応する要素画像同士の連続性に基づいて複数の画像間の並び順を判定するので、一連の画像に対し、もとの生体組織標本をスライスした順序に従う正確な並び順を付与することが可能となる。
【図面の簡単な説明】
【００２８】
【図１】図１は、本発明の実施の形態１に係る顕微鏡システムの構成を示すブロック図である。
【図２】図２は、図１に示す顕微鏡装置の構成例を示す模式図である。
【図３】図３は、図１に示す画像選択部の構成例を示すブロック図である。
【図４】図４は、図１に示す顕微鏡システムの動作を示すフローチャートである。
【図５】図５は、図１に示す画像処理装置の処理対象である標本画像の一例を示す図である。
【図６】図６は、図１に示す要素画像作成部の動作を示すフローチャートである。
【図７】図７は、図５に示す標本画像内の画素の色素量をプロットした色特徴量空間を示す図である。
【図８】図８は、色素量の補正方法を説明する図である。
【図９】図９は、図５に示す標本画像から抽出された細胞膜の要素画像を示す図である。
【図１０】図１０は、図５に示す標本画像から抽出された細胞核の要素画像を示す図である。
【図１１】図１１は、図５に示す標本画像から抽出された赤血球の要素画像を示す図である。
【図１２】図１２は、図５に示す標本画像から抽出された腔の要素画像を示す図である。
【図１３】図１３は、図５に示す標本画像から抽出された切片標本の皺の要素画像を示す図である。
【図１４】図１４は、図５に示す標本画像から抽出されたゴミの要素画像を示す図である。
【図１５】図１５は、腔の要素画像に対する連続性評価アルゴリズムが適用された場合の連続性評価部の動作を示すフローチャートである。
【図１６】図１６は、２つの標本画像の連続性の評価方法を説明する図である。
【図１７】図１７は、一連の標本画像の並び順の入れ替え方法を説明する図である。
【図１８】図１８は、変形例１における画像選択部の構成を示すブロック図である。
【図１９】図１９は、標本画像を用いて位置合わせを行った場合の結果を説明する図である。
【図２０】図２０は、要素画像を用いて位置合わせを行った場合の結果を示す図である。
【発明を実施するための形態】
【００２９】
以下、本発明に係る画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラムの実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【００３０】
（実施の形態１）
図１は、本発明の実施の形態１に係る顕微鏡システムの構成を示すブロック図である。図１に示すように、実施の形態１に係る顕微鏡システム１は、標本の観察像を生成する顕微鏡装置１０と、標本が載置されたスライドを該顕微鏡装置１０に順次供給するスライドローダー２０と、顕微鏡装置１０が生成した観察像を撮像して標本画像を取得する画像取得部３０と、画像取得部３０が取得した標本画像を処理する画像処理装置４０とを備える。
【００３１】
図２は、顕微鏡装置１０及びスライドローダー２０の構成を概略的に示す模式図である。
図２に示すように、顕微鏡装置１０は、略Ｃ字形のアーム部１００と、該アーム部１００に取り付けられた標本ステージ１０１と、該標本ステージ１０１と対向して配置された対物レンズ１０２と、アーム部１００に取り付けられた三眼鏡筒ユニット１０３と、該三眼鏡筒ユニット１０３を介して設けられた接眼レンズユニット１０４と、三眼鏡筒ユニット１０３に連結された結像レンズユニット１０５とを有する。また、結像レンズユニット１０５の端部には、画像取得部３０が設けられている。アーム部１００には、照明系として、透過照明用光源１０６ａ及び透過照明光学系１０６ｂと、落射照明用光源１０７ａ及び落射照明光学系１０７ｂと、複数の光学キューブ１０８ａ、１０８ｂを切換可能に保持するキューブユニット１０８とが設けられている。このような顕微鏡装置１０には、画像処理装置４０の制御の下で、顕微鏡装置１０の各部に制御信号を出力する顕微鏡コントローラ１１０が接続されている。
【００３２】
標本ステージ１０１には、標本ステージ１０１を３次元的に移動させる駆動装置１０１ａが設けられている。駆動装置１０１ａは、顕微鏡コントローラ１１０の制御の下で標本ステージ１０１を対物レンズの光軸方向（Ｚ方向）に変化させることにより、焦点合わせを行う。また、駆動装置１０１ａは、顕微鏡コントローラ１１０の制御の下で標本ステージ１０１をＸＹ平面内で移動させることにより、対物レンズ１０２の視野を変化させる。
【００３３】
対物レンズ１０２は、倍率が互いに異なる複数の対物レンズ（例えば、対物レンズ１０２’）を保持可能なレボルバ１０９に取り付けられている。このレボルバ１０９を回転させて、標本ステージ１０１と対向する対物レンズ１０２、１０２’を変更することにより、視野内の画像の倍率を変化させることができる。
【００３４】
三眼鏡筒ユニット１０３は、対物レンズ１０２から入射した標本ＳＰの観察光を、画像取得部３０の方向と接眼レンズユニット１０４の方向とに分岐する。接眼レンズユニット１０４は、ユーザが標本ＳＰを直接観察するためのものである。
【００３５】
結像レンズユニット１０５には、複数のズームレンズと、これらのズームレンズの位置を変化させる駆動部（いずれも図示せず）とを含むズーム部が設けられている。ズーム部は、顕微鏡コントローラ１１０の制御の下でズームレンズの位置を調整することにより、撮像視野内の撮像対象を拡大又は縮小させる。
【００３６】
透過照明光学系１０６ｂは、透過照明用光源１０６ａから出射した透過照明光を集光して観察光路Ｌの方向に導く種々の光学部材（コレクタレンズ、フィルタユニット、視野絞り、シャッタ、開口絞り、コンデンサ光学素子ユニット、トップレンズユニット等）を含む。一方、落射照明光学系１０７ｂは、落射照明用光源１０７ａから出射した落射照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。
【００３７】
キューブユニット１０８は、内部に複数の光学キューブ１０８ａ、１０８ｂを備え、例えば透過明視野観察や蛍光観察といった各種検鏡法に応じて、観察光路Ｌ上に配置される光学キューブを切り替える。
【００３８】
スライドローダー２０は、標本が載置された標本スライドＳＰ１、ＳＰ２、…を収納して標本ステージ１０１との間で運搬する運搬装置である。スライドローダー２０には、画像処理装置４０の制御の下で動作するローダー制御部２１０が接続されている。スライドローダー２０は、ローダー制御部２１０の制御により、顕微鏡コントローラ１１０の制御の下で位置を変化させる標本ステージ１０１の動きと連動して、観察対象の標本スライドＳＰ１、ＳＰ２、…を順次供給すると共に、観察済みの標本スライドＳＰ１、ＳＰ２、…を回収する。また、スライドローダー２０には、バーコードリーダ２２０が設けられている。バーコードリーダ２２０は、顕微鏡装置１０に供給される標本スライドに貼付されたバーコードラベルを読み取り、読み取り信号を画像処理装置４０に送信する。それにより、画像処理装置４０において、顕微鏡装置１０で観察中の標本スライドと画像取得部３０が撮像した標本画像の画像データとが対応付けられる。
【００３９】
画像取得部３０は、例えばＣＣＤ等の撮像素子を含み、各画素において互いに異なる複数の波長帯域（バンド）における画素レベル（画素値）を持つカラー画像を撮像可能なマルチバンドカメラによって実現される。画像取得部３０は、対物レンズ１０２にから出射し、結像レンズユニット１０５を介して入射した光（観察光）を受光し、観察光に対応する画像データを生成して画像処理装置４０に出力する。なお、本実施の形態ではマルチバンドカメラを使用しているが、マルチバンドカメラを使用せずに、一般的に使用されるＲＧＢカメラと、該ＲＧＢカメラとは別体の色測定用のセンサとを設け、センサ及びＲＧＢカメラの画像の両方を使用して、色特徴を取得（スペクトルや色素量を推定）する構成としても良い。例えば、特開２０１１−９９８２３号公報に記載された顕微鏡システムのような構成としても良い。
【００４０】
画像処理装置４０は、当該画像処理装置４０に対する指示や情報の入力を受け付ける入力部４１と、画像取得部３０から出力された顕微鏡画像の入力を受け付けるインタフェースである画像入力部４２と、顕微鏡画像やその他の情報を表示する表示部４３と、記憶部４４と、顕微鏡画像に対して所定の画像処理を施す演算部４５と、これらの各部の動作及び画像取得部３０の動作を制御する制御部４６とを備える。
【００４１】
入力部４１は、キーボード、各種ボタン、各種スイッチ等の入力デバイスや、マウスやタッチパネル等のポインティングデバイスを含み、これらのデバイスを介して入力された信号を受け付けて制御部４６に入力する。
【００４２】
表示部４３は、例えば、ＬＣＤ（Liquid Crystal Display）やＥＬ（Electro Luminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ等の表示装置によって実現され、制御部４６から出力された制御信号に従って、各種画面を表示する。
【００４３】
記憶部４４は、更新記録可能なフラッシュメモリ、ＲＡＭ、ＲＯＭ等の半導体メモリや、内蔵若しくはデータ通信端子で接続されたハードディスク、ＭＯ、ＣＤ−Ｒ、ＤＶＤ−Ｒ等の記録媒体及び該記録媒体に記録された情報を読み取る読取装置等によって実現される。記憶部４４は、画像取得部３０から出力された画像データや、演算部４５及び制御部４６がそれぞれ実行する各種プログラムや各種設定情報を記憶する。具体的には、記憶部４４は、画像取得部３０が撮像した一連の切片標本に対応する標本画像に対し、もとの生体組織標本をスライスした順序に従う正確な並び順を付与する画像処理プログラム４４１を記憶する。また、記憶部４４は、画像処理プログラム４４１を実行する際に用いられる種々のデータ（例えば、ＨＥ染色が施された標準標本における色素量分布等の教師データ、各種色素に関する情報、演算式及び係数等）を記憶する。
【００４４】
演算部４５は、記憶部４４に記憶された各種プログラムを例えばＣＰＵ等のハードウェアに読み込むことにより、記憶部４４に記憶された画像データに対応する一連の標本画像に対し、生体組織標本をスライスした順序に従う正確な並び順を付与する画像処理を実行する。
【００４５】
より詳細には、演算部４５は、一連の標本画像の内で、切片標本が連続すると推定される標本画像の組み合わせを、連続切片候補画像群として選択する画像選択部４５１と、各標本画像の色特徴量に基づいて標本画像内から少なくとも１種類の組織構成要素を抽出し、抽出した組織構成要素が種類ごとに写った画像である要素画像を作成する要素画像作成部４５２と、標本画像間において対応する要素画像を比較して連続性を評価する連続性評価アルゴリズム４５３ａ、４５３ｂ、…を含み、この連続性の評価結果に基づいて標本画像間の並び順を判定する並び順判定部としての連続性評価部４５３とを有する。
【００４６】
ここで、組織構成要素とは、切片標本を構成する各要素のことであり、具体的には、細胞膜、細胞質、細胞核、血管、血液、腔（管状組織の断面や細胞質の隙間）といった生体組織を構成する要素の他、切片標本を作成する際に生じた切片の皺やゆがみ、スライド内に生じた泡、スライド上に付着したゴミ等が含まれる。
【００４７】
上記演算部４５の構成の内、連続性評価部４５３は、組織構成要素毎に作成された連続性評価アルゴリズム４５３ａ、４５３ｂ、…に従って、標本画像間の連続性を判定し、この連続性に基づき、並び順を判定する。
【００４８】
また、演算部４５は、連続性評価部４５３による判定結果に基づいて、一連の標本画像に対して並び順を付与する並び順付与部４５４と、並び順が連続する標本画像間において位置合わせを行う位置合わせ部４５５と、各標本画像に付与された並び順に従って、一連の標本画像の並べ替えを行う並べ替え部４５６と、位置合わせ及び並び順が入れ替えられた一連の標本画像から３次元的な画像（以下、３Ｄ画像という）を構成する３Ｄ画像構成部４５７とを有する。
【００４９】
図３は、画像選択部４５１の内部構成を示すブロック図である。図３に示すように、画像選択部４５１は、一連の標本画像の任意の標本画像から輪郭を抽出する輪郭抽出部４５１ａと、抽出した輪郭を用いて、上記任意の標本画像と他の標本画像との間における類似判定を行う類似判定部４５１ｂと、この類似判定の結果に基づいて、全体形状がある程度類似していると判定される標本画像同士を連続切片候補画像群として抽出する画像抽出部４５１ｃとを有する。
【００５０】
また、要素画像作成部４５２は、標本画像内の各画素の画素値に基づき、各画素位置における色成分のスペクトル（分光透過率）を推定するスペクトル推定部４５２ａと、色成分のスペクトルに基づいて、当該画素位置に対応する標本部分における色素量を推定する色素量推定部４５２ｂと、推定された色素量を標準標本に関する情報に基づいて補正する色素量補正部４５２ｃと、推定又は補正された色素量を成分とする色特徴量空間に色特徴量の分布を作成し、該分布を組織構成要素に対応するクラスに分類するクラス分類部４５２ｄと、各クラスに属する色特徴量に対応する画素を抽出して、クラス毎の画像を要素画像として作成するクラス別画像作成部４５２ｅとを有する。なお、スペクトル推定部４５２ａと、色素量推定部４５２ｂと、色素量補正部４５２ｃとは、色特徴量取得部として設けられている。
【００５１】
制御部４６は、記憶部４４に記憶された各種プログラムを例えばＣＰＵ等のハードウェアに読み込むことにより実現される。制御部４６は、記憶部４４に記憶された各種データや入力部４１から入力される各種情報に基づき、顕微鏡装置１０、スライドローダー２０、画像取得部３０、及び画像処理装置４０の各部に指示やデータの転送を行うことにより、顕微鏡システム１全体の動作を統括的に制御する。
このような画像処理装置４０は、例えばパーソナルコンピュータやワークステーション等の汎用の装置によって実現される。
【００５２】
次に、顕微鏡システム１の動作について説明する。図４は、顕微鏡システム１の動作を示すフローチャートである。
顕微鏡システム１は、生体組織標本をスライスして得た各切片標本にＨＥ染色を施すことにより一連の切片標本を作成し、これらの一連の切片標本を撮像して得た一連の標本画像に対して、もとの生体組織標本をスライスした順序に従う正確な並び順を付与して並び替える処理を実行する。
【００５３】
まず、ステップＳ１０において、画像取得部３０は、スライドローダー２０によって顕微鏡装置１０に供給される切片標本を、標本ステージ１０１をＸＹ平面内で移動させることにより対物レンズ１０２の視野を変化させつつマルチバンドで順次撮像し、撮像した画像をつなぎ合わせることにより、１つの切片標本全体に対応する画像（標本画像）の画像データを画像処理装置４０に出力する。画像取得部３０は複数の切片標本に対してこれらの動作を順次実施し、複数の標本画像を得る。画像処理装置４０は、受け取った画像データを記憶部４４に記憶させる。図５は、そのようにして取得された標本画像の一例を示す図である。
【００５４】
なお、以下の説明においては、所謂バーチャルスライド装置に本発明を適用した例を記載するが、本発明はこれに限るものではなく、例えば、標本の１視野を撮影した画像に対して、以下の説明と同様の処理を実施してもよい。
【００５５】
ステップＳ１１において、画像選択部４５１は、記憶部４４に記憶された画像データに対応する一連の標本画像から、連続切片候補画像群を選択する。より詳細には、輪郭抽出部４５１ａは、任意の標本画像を抽出し、この標本画像に対してエッジ処理等の公知の輪郭抽出法を適用して、輪郭を抽出する。続いて、類似判定部４５１ｂは、抽出した輪郭をテンプレートとして、他の標本画像に対してテンプレートマッチング処理を行う。画像抽出部４５１ｃは、その際に算出した類似度が所定の閾値以上となる標本画像同士を、連続切片候補画像群として抽出する。
【００５６】
なお、輪郭抽出部４５１ａは、輪郭抽出する標本画像を、一連の標本画像の中からランダムに抽出しても良いし、一連の標本画像から所定の間隔で抽出しても良い。或いは、ユーザが選択した標本画像に対応する入力信号を入力部４１が受け付けた場合には、輪郭抽出部４５１ａは、その入力信号に従って標本画像を抽出しても良い。
【００５７】
続くステップＳ１２において、要素画像作成部４５２は、各標本画像に対し、少なくとも１種類の組織構成要素を抽出して要素画像を作成する（参考：特開２００９−１４３５５号公報）。
【００５８】
図６は、要素画像作成部４５２の詳細な動作を示すフローチャートである。
ステップＳ１２１において、スペクトル推定部４５２ａは、標本画像内の各画素位置における各バンドの画素値を取得し、ウィナー（Ｗｉｅｎｅｒ）推定により、各画素位置における色成分のスペクトルを推定する。
【００５９】
ステップＳ１２２において、色素量推定部４５２ｂは、ステップＳ１２１において推定されたスペクトルに基づいて、各画素位置に対応する標本部分に固定された色素量を推定する。ここでは、細胞核を染色したヘマトキシリン（以下、色素Ｈと記す）、細胞質を染色したエオジン（以下、色素Ｅと記す）、及び赤血球を染色したエオジン（以下、色素Ｒと記す）の量を推定する。この色素量は、Ｌａｍｂｅｒｔ−Ｂｅｅｒ則に従って、画素位置ｘにおける波長成分λの分光透過率ｔ（ｘ，λ）を与える次式（１）を、複数の波長成分λに関して連立させた連立方程式を解くことによって算出される。
【数１】
式（１）において、係数ｋH（λ）、ｋE（λ）、ｋR（λ）は、色素Ｈ、色素Ｅ、及び色素Ｒにそれぞれ対応する係数であり、波長に依存して決まる物質固有の値である。また、値ｄHは色素Ｈの色素量、値ｄEは色素Ｅの色素量、値ｄRは色素Ｒの色素量をそれぞれ表す。
【００６０】
ステップＳ１２３において、クラス分類部４５２ｄは、ステップＳ１２２において推定した色素量（ｄH，ｄE）を成分とする色特徴量空間において色素量の分布を作成し、それらの分布をクラスタリングする。図７は、図５に示す標本画像Ｍの各画素位置における色素量（ｄH，ｄE）をプロットした色特徴量空間を示す図である。
【００６１】
ステップＳ１２４において、色素量補正部４５２ｃは、ＨＥ染色が施された標準標本に関する情報に基づいて色素量の分布を補正する。図８は、色素量分布の補正方法を説明する図である。色素量補正部４５２ｃは、まず、記憶部４４に予め記憶されている教師データの内から、ＨＥ染色を施した標準標本を撮像して得られた画像（以下、標準画像という）における色素量分布Ｄ0と、色素量分布Ｄ0の分布範囲ΔｄH及びΔｄEを取得する。次いで、色素量補正部４５２ｃは、処理対象である標本画像の色素量分布Ｄ1を分布範囲ΔｄH及びΔｄEを対応させるべく、色素量分布Ｄ1のシフト、拡大、縮小等の処理を行う。このような処理を各標本画像に対して実行することにより、複数の標本画像間における色の分布が均質化される。
【００６２】
ステップＳ１２５において、クラス分類部４５２ｄは、補正済みの色素量分布をクラスタリングする。なお、クラスタリングの手法としては、分水嶺処理、階層法、k-means法、期待値最大化アルゴリズム（ＥＭアルゴリズム）、自己組織化マップ等の公知の手法を用いることができる。それにより、図７に示すクラスタａ１〜ａ７が得られる。
【００６３】
さらに、クラス分類部４５２ｄは、各クラスタａ１〜ａ７の重心位置を取得する。そして、各重心位置を標準画像の色素量分布Ｄ0におけるクラスタの重心と比較することにより、クラスタａ１〜ａ７を、組織構成要素に対応するクラスに分類する。例えば、図７の場合、クラスタａ３、ａ４はエオジンの色素量が多いので細胞質に対応するクラスｃ１と特定される。クラスタａ５、ａ７及びクラスタａ２の一部はヘマトキシリンの色素量が適度に多いので細胞核に対応するクラスｃ２と特定される。クラスタａ１は赤血球に対応するクラスｃ３と特定される。クラスタａ６は色素が非常に薄いので腔に対応するクラスｃ４と特定される。画像内に写されたゴミや皺等についてもこれらの例と同様に、クラスタとクラスとの対応づけを行うことができる。例えば、ゴミや皺や泡等は黒色に近いため、ヘマトキシリンが非常に濃いクラスタａ２に一旦分類される。このクラスタａ２をさらに詳細に分類することで、皺（クラスｃ５）、ゴミ（クラスｃ６）、及び細胞核のうち色素の濃い部分にそれぞれ対応するクラスを特定することができる。
【００６４】
なお、クラス分類結果による各クラスと組織構成要素との対応は一対一に限ることなく、クラス分類の方法によっては、例えば１つの組織構成要素に対応するクラスが複数存在する場合もある。これらのクラスタリング方法は組織構成要素や染色方法等によって適応的に決定すればよい。
【００６５】
ステップＳ１２６において、クラス別画像作成部４５２ｅは、各クラスに分類された色素量に対応する画素領域を標本画像から抽出することにより、クラス別（即ち、組織構成要素毎）の要素画像を作成する。
【００６６】
各クラスの組織構成要素に対応する画素を抽出した画像の例を図９〜図１４に示す。図９に示す要素画像Ｍ−ｃ１は、クラスｃ１に対応する画素を抽出した細胞質を表す画像である。図１０に示す要素画像Ｍ−ｃ２は、クラスｃ２に対応する画素を抽出した細胞核を表す画像である。図１１に示す要素画像Ｍ−ｃ３は、クラスｃ３に対応する画素を抽出した赤血球画像である。図１２に示す要素画像Ｍ−ｃ４は、クラスｃ４に対応する画素を抽出した腔を表す画像である。図１３に示す要素画像Ｍ−ｃ５は、クラスｃ５に対応する画素を抽出した皺を表す画像である。図１４に示す要素画像Ｍ−ｃ６は、クラスｃ６に対応する画素を抽出したゴミを表す画像である。
この後、動作はメインルーチンに戻る。
【００６７】
ステップＳ１３において、連続性評価部４５３は、複数の標本画像間における連続性を、所定のクラスの要素画像を用いて評価する。なお、この評価は、ステップＳ１１において連続切片候補と判定された標本画像間で行われる。
【００６８】
ここで、標本画像から抽出された各組織構成要素は、その組織構成要素の種類ごとの特性や、もとの生体組織標本の部位や、切片標本を染色した色素等に応じた特徴を有している。例えば、細胞核や赤血球のサイズは非常に小さいので、隣接する切片標本間において同じ断面形状が現れることはまれである。反対に、細胞質、血管、腔等のサイズは、比較的大きいので、隣接する切片標本間において類似した断面形状が現れることが多い。また、しわやゴミは切片標本を作成する際に個別に生じているので、隣接する切片標本間における連続性の評価に用いることができない。
【００６９】
連続性評価部４５３が保有する連続性評価アルゴリズム４５３ａ、４５３ｂ、…は、組織構成要素の種類毎の特性や生体組織標本の部位の特徴や色素の特徴のように、予め知られている情報（これらを先見情報ともいう）に基づいて作成されている。
【００７０】
以下、一例として、腔の要素画像に対して作成された連続性評価アルゴリズムを説明する。図１５は、腔の要素画像に対する連続性評価アルゴリズムが適用された場合における連続性評価部４５３の動作を示すフローチャートである。
【００７１】
まず、ステップＳ１３１において、連続性評価部４５３は、標本画像Ｍ１、Ｍ２、Ｍ３…に対して共通に作成された要素画像から、腔の要素画像Ｍ１−ｃ４、Ｍ２−ｃ４、Ｍ３−ｃ４…を選択する（図１６参照）。
【００７２】
ステップＳ１３２において、連続性評価部４５３は、各要素画像Ｍ１−ｃ４、Ｍ２−ｃ４、Ｍ３−ｃ４…から、サイズの小さい腔Ｐ１、Ｐ２、Ｐ３、…を削除する。
【００７３】
続いて、連続性評価部４５３は、要素画像Ｍ１−ｃ４、Ｍ２−ｃ４、Ｍ３−ｃ４…の１つひとつに対して、ステップＳ１３３〜Ｓ１３５の処理を行う。まず、ステップＳ１３３において、連続性評価部４５３は、要素画像Ｍ１−ｃ４、Ｍ２−ｃ４、Ｍ３−ｃ４…のいずれかをピックアップする。続くステップＳ１３４において、連続性評価部４５３は、ピックアップした要素画像とそれ以外の全ての要素画像との類似度を、例えばパターンマッチング等の公知の手法を用いて算出する。そして、ステップＳ１３５において、算出した類似度を記憶部４４に記憶させる。
【００７４】
ステップＳ１３６において、連続性評価部４５３は、算出した全ての類似度を総合的に評価して、要素画像Ｍ１−ｃ４、Ｍ２−ｃ４、Ｍ３−ｃ４…間相互の類似度が最も高くなるような並び順を検出する。その際には、全ての画像の組み合わせにおいて画像間の類似度を算出して並べ替えたり、最初に２枚のペア画像を設定し、ペア画像間の類似度を計算して並べ替えを繰り返すなど、公知のソート方法を用いる。例えば、類似度マップ、複合ソート法等の手法を用いて、要素画像Ｍ１−ｃ４、Ｍ２−ｃ４、Ｍ３−ｃ４…相互のソートを行えば良い。
この後、動作はメインルーチンに戻る。
【００７５】
ステップＳ１４において、並び順付与部４５４は、ステップＳ１６において検出された要素画像Ｍ１−ｃ１、Ｍ２−ｃ２、Ｍ３−ｃ２…の並び順を、標本画像Ｍ１、Ｍ２、Ｍ３…に対して付与する。
【００７６】
ステップＳ１５において、並べ替え部４５６は、図１７に示すように、ステップＳ１４において付与された並び順に従って、標本画像Ｍ１、Ｍ２、…を並べ替える。例えば、図１７においては、標本画像Ｍ２と標本画像Ｍ４とが入れ替えられている。
【００７７】
ステップＳ１６において、位置合わせ部４５５は、並び順が隣接する標本画像同士（例えば、標本画像Ｍ１とＭ４、Ｍ４とＭ３、Ｍ３とＭ２、…）の位置合わせを、ステップＳ１３において選択した要素画像Ｍ１−ｃ４、Ｍ２−ｃ４、Ｍ３−ｃ４…における組織構成要素の位置を基準として実行する。
【００７８】
ステップＳ１７において、３Ｄ画像構成部４５７は、ステップＳ１６において位置合わせされた標本画像を３次元的に構成した３Ｄ画像を生成する。
【００７９】
ステップＳ１８において、演算部４５は、標本画像Ｍ１、Ｍ２、…の並び順情報及び位置合わせ情報と、生成した３Ｄ画像とを出力する。それに応じて、制御部４６は、出力された情報を記憶部４４に記憶させると共に、３Ｄ画像を表示部に表示させる。
【００８０】
以上説明したように、実施の形態１によれば、標本画像の色特徴量に基づいて抽出され、先見情報に基づいて選択された要素画像を用いて標本画像間の連続性を評価し、その評価結果に基づいて、標本画像の並び順を判定する。そのため、切片標本の作成時に生じた切片のしわやゆがみ、或いは、泡やゴミ等の不要物の影響を受けることなく、各標本画像に対して正確な並び順を付与することができる。従って、一連の切片標本の並び順や、切片標本の撮像順が混乱してしまった場合においても、もとの生体組織標本をスライスした順序に従う正確な並び順で一連の標本画像を並べることが可能となる。
【００８１】
また、実施の形態１によれば、先見情報に基づいて選択された要素画像に基づいて、標本画像間の位置合わせを行うので、切片標本の作成時に生じた切片の皺やゆがみ、或いは、泡やゴミ等の不要物の影響を受けることなく、正確な位置合わせを行うことが可能となる。従って、このように位置合わせされた一連の標本画像を用いて、もとの生体組織標本の形状等を正確に反映した３Ｄ画像を構成することが可能となる。
【００８２】
また、実施の形態１において、連続性評価部４５３は、画像選択部４５１により互いにある程度類似すると判定された連続切片候補画像同士の連続性を評価するので、演算量を低減させることが可能となる。
なお、画像選択部４５１は必ずしも設ける必要はなく、画像選択部４５１を設けない場合には、連続性評価部４５３は、一連の標本画像内の全ての標本画像の組み合わせについて連続性を評価すればよい。
【００８３】
また、実施の形態１においては、色素量補正部により均質化された色素量の分布に基づいて要素画像を作成する。従って、切片標本の作成条件や撮像条件が異なる場合（切片標本の作成者や施設が異なる場合、染色色素のメーカーが異なる場合、撮像システム１を構成する各機器の型番が異なる場合等）においても、結果のばらつきを抑制することができる。
【００８４】
なお、上記実施の形態１においては、腔の要素画像を用いて標本画像の連続性を評価しているが、腔以外にも、細胞膜や細胞質や血管や乳腺などのように、複数の切片にわたって存在する組織構成要素の要素画像を用いて標本画像の連続性を評価しても良い。
また、複数の組織構成要素の画像を用いて総合的に連続性を評価しても良い。
【００８５】
（変形例１）
次に、実施の形態１の変形例１について説明する。
図１８は、図１に示す画像選択部４５１の別の構成例を示すブロック図である。図１８に示すように、画像選択部４５１の変形例である画像選択部４７１は、一連の標本画像の各々に対して二値化処理を施すことにより、背景を抽出する背景抽出部４７１ａと、抽出された背景に基づいて、複数の標本画像間における類似判定を行う類似判定部４７１ｂと、類似判定部４７１ｂにより互いにある程度類似すると判定された複数の標本画像を連続切片候補画像群として抽出する画像抽出部４７１ｃとを有する。この場合、連続性評価部４５３は、画像抽出部４７１ｃによって抽出された連続切片候補画像間における連続性を評価する。
【００８６】
（変形例２）
次に、実施の形態１の変形例２について説明する。
画像処理装置４０は、並び順の入れ替え後の標本画像に対応するバーコードラベルをプリントアウトする出力装置を備えても良い。この場合、出力されたバーコードラベルを、スライドローダー２０に収納されている各標本スライドＳＰ１、ＳＰ２、…に貼付することにより、これらの標本スライドＳＰ１、ＳＰ２、…を適切に管理することが可能となる。
【００８７】
（変形例３）
次に、実施の形態１の変形例３について説明する。
上記実施の形態１においては、標本画像間の連続性の評価や位置合わせを、所定の要素画像を用いて行った。しかしながら、連続性評価部４５３は、ゴミや皺等の組織構成要素を標本画像から除去した後の画像（以下、除去済み標本画像という）を直接用いて連続性の評価を行っても良い。同様に、位置合わせ部４５５は、除去済み標本画像を直接用いて位置合わせを行っても良い。さらに、３Ｄ画像構成部４５７も、除去済み標本画像から３Ｄ画像を構成しても良い。
【００８８】
（実施の形態２）
次に、本発明の実施の形態２について説明する。
実施の形態２においては、要素画像作成部４５２において作成した要素画像を、一連の標本画像から抽出した２枚の標本画像間における位置合わせに用いても良い。
【００８９】
ここで、図１９に示すように、標本画像ＭA、ＭBを互いに位置合わせする場合を考える。これらの標本画像ＭA、ＭBには、各種組織構成要素（例えば、標本画像ＭA上の腔ｍａ１及びゴミｍａ２、標本画像ＭB上の腔ｍｂ１）が写っている。このような標本画像ＭA、ＭBを直接位置合わせすると、組織構成要素（例えば、ゴミｍａ２）の形状や輝度によっては、互いに異なる組織構成要素同士（例えば、腔ｍａ２に対してゴミｍｂ１）が位置合わせされてしまう場合がある。この場合、位置合わせされた標本画像ＭA、ＭBを用いて３Ｄ画像を構成すると、もとの生体組織標本の立体形状を再現することができなくなってしまう。また、比較診断のために２枚の標本画像同士を位置合わせして重ねたり、並べたりして表示するような場合に、表示がずれて２つの画像の差分をわかりやすく表示することができなくなってしまう。
【００９０】
そこで、実施の形態２においては、図２０に示すように、まず、標本画像ＭA、ＭBから、互いに対応する組織構成要素（腔ｍａ１、ｍｂ１）の要素画像ＭA−ｃ１、ＭB−ｃ１を抽出し、要素画像ＭA−ｃ１、ＭB−ｃ１同士で位置合わせを行う。この際に用いる要素画像は、先見情報に基づいて決定すると良い。そして、位置合わせ済みの要素画像ＭA−ｃ１、ＭB−ｃ１を基準として、標本画像ＭA、ＭBの相対的な位置を決定する。
【００９１】
以上説明した実施の形態２によれば、任意の２枚の標本画像に対して、精度の高い位置合わせを行うことができる。従って、そのように互いに位置合わせされた一連の標本画像から３Ｄ画像を構成する場合には、もとの生体組織標本の立体形状が正確に反映された出力画像を得ることが可能となる。また、比較診断のために２枚の標本画像同士を位置合わせして重ねたり、並べたりして表示するような場合にも、正確な位置合わせが行われ、２つの画像の差分をわかりやすく表示することが可能となる。
【００９２】
以上説明した実施の形態１及び２においては、１つの生体組織標本を複数の切片にスライスした複数の切片標本を順次撮像して得られた複数の標本画像に対する画像処理について説明した。しかしながら、上記実施の形態１、２及び変形例１〜３は、厚みのある標本に対し、焦点を変化させながら撮像した複数の断面画像に対する画像処理に適用することも可能である。この場合においても、各断面画像から算出した色特徴量（色素量）分布に基づいて作成した要素画像を用いて、断面画像間の連続性を判断して並び順を決定したり、位置合わせを行うことができる。また、このような場合、顕微鏡システムにおいて自動で焦点を変えながら標本を撮像しても良いし、使用者が手動で焦点を変えながら標本を撮像しても良い。特に、手動で焦点を変えながら撮像を行う場合には、焦点の設定順序を間違えたり、ある焦点位置を間違えて飛ばしたため、後で追加撮像を行ったり、最初は荒く焦点を変えながら撮像を行い、後でより細かく焦点を変えながら撮像を行うなどすることがある。そのようなときには、取得された画像の順番と焦点位置の変動とが一定の規則で対応していないという状況が生じ得る。また、撮像中に若干標本位置がずれてしまうこともある。しかしながら、本実施の形態によれば、上記のような場合にも複数の画像の正確な並び順を自動で決定することができ、撮像の手間をより省くことができる。
【００９３】
以上説明した実施の形態１、２及び変形例１〜３はそのままに限定されるものではなく、各実施の形態及び変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を除外して形成してもよい。あるいは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。
【００９４】
（付記１）
生体組織標本をスライスした切片に対して所定の色素により染色を施して得た複数の切片標本に対応する複数の画像を処理する画像処理装置であって、
前記複数の画像の各画像に対し、該画像内の各画素の色特徴量に基づいて少なくとも１種類の組織構成要素を抽出し、該組織構成要素が種類ごとに写った画像である要素画像を作成する要素画像作成部と、
前記要素画像における前記組織構成要素の位置に基づいて、前記複数の画像間における位置合わせを行う位置合わせ部と
を備えることを特徴とする画像処理装置。
（付記２）
前記要素画像作成部は、
前記各画像内の画素の色特徴量を取得する色特徴量取得部と、
前記色特徴量の分布を作成し、該分布を、前記少なくとも１種類の組織構成要素に対応する少なくとも１つのクラスに分類するクラス分類部と、
各クラスに属する色特徴量に対応する画素を抽出して、前記クラス毎の画像を前記要素画像として作成するクラス別画像作成部と、
を有することを特徴とする付記１に記載の画像処理装置。
（付記３）
前記色特徴量は、前記画像内の各画素位置に対応する標本部分における前記色素の色素量であり、
前記色特徴量取得部は、
前記各画像内の各画素の画素値に基づき、前記各画素位置における色成分のスペクトルを推定するスペクトル推定部と、
前記色成分のスペクトルに基づいて、前記標本部分における前記色素量を推定する色素量推定部と、
を含み、
前記クラス分類部は、前記色素量を成分とする色特徴量空間において前記色素量の分布をクラスタリングすることにより、前記色素量の分布を分類することを特徴とする付記２に記載の画像処理装置。
（付記４）
前記色特徴量取得部は、前記複数の画像間における前記色素量の分布を均質化する色素量補正部をさらに備え、
前記クラス分類部は、前記色素量補正部によって補正された前記色素量の分布を分類することを特徴とする付記３に記載の画像処理装置。
（付記５）
前記少なくとも１種類の組織構成要素は、細胞膜、細胞質、細胞核、血管、血液、及び腔の内のいずれかを含むことを特徴とする付記１〜４のいずれか１つに記載の画像処理装置。
（付記６）
付記１〜５のいずれか１つに記載の画像処理装置と、
生体組織標本をスライスした切片に対して所定の色素により染色を施して得た複数の切片標本の観察像を生成する顕微鏡装置と、
前記観察像に対応するディジタル画像を取得する画像取得部と、
を備えることを特徴とする顕微鏡システム。
（付記７）
前記複数の切片標本がそれぞれ載置された複数のスライドを前記顕微鏡装置に供給するスライド運搬装置をさらに備えることを特徴とする付記６に記載の顕微鏡システム。
（付記８）
生体組織標本をスライスした切片に対して所定の色素により染色を施して得た複数の切片標本に対応する複数の画像を処理する画像処理方法であって、
前記複数の画像の各画像に対し、該画像内の各画素の色特徴量に基づいて少なくとも１種類の組織構成要素を抽出し、該組織構成要素が種類ごとに写った画像である要素画像を作成する要素画像作成ステップと、
前記要素画像における前記組織構成要素の位置に基づいて、前記複数の画像間における位置合わせを行う位置合わせステップと
を含むことを特徴とする画像処理方法。
（付記９）
生体組織標本をスライスした切片に対して所定の色素により染色を施して得た複数の切片標本に対応する複数の画像を処理する画像処理プログラムであって、
前記複数の画像の各画像に対し、該画像内の各画素の色特徴量に基づいて少なくとも１種類の組織構成要素を抽出し、該組織構成要素が種類ごとに写った画像である要素画像を作成する要素画像作成ステップと、
前記要素画像における前記組織構成要素の位置に基づいて、前記複数の画像間における位置合わせを行う位置合わせステップと
をコンピュータに実行させることを特徴とする画像処理プログラム。
【符号の説明】
【００９５】
１ 顕微鏡システム
１０ 顕微鏡装置
１００ アーム部
１０１ 標本ステージ
１０１ａ 駆動装置
１０２、１０２’ 対物レンズ
１０３ 三眼鏡筒ユニット
１０４ 接眼レンズユニット
１０５ 結像レンズユニット
１０６ａ 透過照明用光源
１０６ｂ 透過照明光学系
１０７ａ 落射照明用光源
１０７ｂ 落射照明光学系
１０８ キューブユニット
１０８ａ、１０８ｂ 光学キューブ
１０９ レボルバ
１１０ 顕微鏡コントローラ
２０ スライドローダー
２１０ ローダー制御部
２２０ バーコードリーダ
３０ 画像取得部
４０ 画像処理装置
４１ 入力部
４２ 画像入力部
４３ 表示部
４４ 記憶部
４５ 演算部
４４１ 画像処理プログラム
４５１ 画像選択部
４５１ａ 輪郭抽出部
４５１ｂ 類似判定部
４５１ｃ 画像抽出部
４５２ 要素画像作成部
４５２ａ スペクトル推定部
４５２ｂ 色素量推定部
４５２ｃ 色素量補正部
４５２ｄ クラス分類部
４５２ｅ クラス別画像作成部
４５３ 連続性評価部
４５３ａ、４５３ｂ、… 連続性評価アルゴリズム
４５４ 並び順付与部
４５５ 位置合わせ部
４５６ 並べ替え部
４５７ ３Ｄ画像構成部
４６ 制御部
４７１ 画像選択部
４７１ａ 背景抽出部
４７１ｂ 類似判定部
４７１ｃ 画像抽出部
【特許請求の範囲】
【請求項１】
生体組織標本をスライスし染色を施した複数の切片標本に対応する複数の画像に対し、該画像内の各画素の色特徴量に基づいて少なくとも１種類の組織構成要素を抽出し、該種類ごとの画像である要素画像を作成する要素画像作成部と、
前記複数の画像間で、同じ種類の前記要素画像の連続性を評価する連続性評価部を有し、該連続性の評価結果に基づいて、前記複数の画像の並び順を判定する並び順判定部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記複数の画像から、前記切片標本が連続すると推定される複数の画像を連続切片候補画像群として選択する画像選択部をさらに備え、
前記並び順判定部は、前記連続切片候補画像群間の並び順を判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像選択部は、
前記複数の画像から輪郭を抽出する輪郭抽出部と、
前記輪郭に基づいて、前記複数の画像の内の任意の画像と他の画像との間における類似判定を行う類似判定部と、
前記類似判定部により、互いに類似すると判定された画像を前記連続切片候補画像群として抽出する画像抽出部と、
を有することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像選択部は、
前記複数の画像の各画像から背景を抽出する背景抽出部と、
前記背景に基づいて、前記複数の画像の内の任意の画像と他の画像との間における類似判定を行う類似判定部と、
前記類似判定部により、互いに類似すると判定された画像を前記連続切片候補画像群として抽出する画像抽出部と、
を有することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記要素画像作成部は、
前記各画像内の画素の色特徴量を取得する色特徴量取得部と、
前記色特徴量の分布を作成し、該分布を、前記少なくとも１種類の組織構成要素に対応する少なくとも１つのクラスに分類するクラス分類部と、
各クラスに属する色特徴量に対応する画素を抽出して、前記クラス毎の画像を前記要素画像として作成するクラス別画像作成部と、
を有することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記色特徴量は、前記画像内の各画素位置に対応する標本部分における前記色素の色素量であり、
前記色特徴量取得部は、
前記各画像内の各画素の画素値に基づき、前記各画素位置における色成分のスペクトルを推定するスペクトル推定部と、
前記色成分のスペクトルに基づいて、前記標本部分における前記色素量を推定する色素量推定部と、
を含み、
前記クラス分類部は、前記色素量を成分とする色特徴量空間において前記色素量の分布をクラスタリングすることにより、前記色素量の分布を分類することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記色特徴量取得部は、前記複数の画像間における前記色素量の分布を均質化する色素量補正部をさらに備え、
前記クラス分類部は、前記色素量補正部によって補正された前記色素量の分布を分類することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記連続性評価部は、前記組織構成要素ごとに定められた連続性評価アルゴリズムを適用することにより、前記要素画像同士の連続性の評価を行うことを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記連続性評価部は、前記組織構成要素の特性と、前記生体組織標本の部位と、前記所定の色素との内の少なくとも１つに基づいて前記連続性の評価を行うことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記少なくとも１種類の組織構成要素は、細胞膜、細胞質、細胞核、血管、血液、及び腔の内の少なくともいずれかを含み、
前記連続性評価部は、前記細胞膜と、前記細胞核と、前記血液と、前記腔との内のいずれかに対応する要素画像に基づいて、前記連続性を評価することを特徴とする請求項８又は９に記載の画像処理装置。
【請求項１１】
前記並び順判定部による判定結果に基づいて、前記複数の画像を３次元的に構成する３次元画像構成部をさらに備えることを特徴とする請求項１〜１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記要素画像における前記組織構成要素の位置に基づいて、前記複数の画像間における位置合わせを行う位置合わせ部をさらに備えることを特徴とする請求項１〜１１のいずれか１項に記載の画像処理装置。
【請求項１３】
請求項１〜１２のいずれか１項に記載の画像処理装置と、
生体組織標本をスライスした切片に対して所定の色素により染色を施して得た複数の切片標本の観察像を生成する顕微鏡装置と、
前記観察像に対応するディジタル画像を取得する画像取得部と、
を備えることを特徴とする顕微鏡システム。
【請求項１４】
生体組織標本をスライスし染色を施した複数の切片標本に対応する複数の画像に対し、該画像内の各画素の色特徴量に基づいて少なくとも１種類の組織構成要素を抽出し、該種類ごとの画像である要素画像を作成する要素画像作成ステップと、
前記複数の画像間で、同じ種類の前記要素画像の連続性を評価し、該連続性の評価結果に基づいて、前記複数の画像の並び順を判定する並び順判定ステップと、
を含むことを特徴とする画像処理方法。
【請求項１５】
生体組織標本をスライスし染色を施した複数の切片標本に対応する複数の画像に対し、該画像内の各画素の色特徴量に基づいて少なくとも１種類の組織構成要素を抽出し、該種類ごとの画像である要素画像を作成する要素画像作成ステップと、
前記複数の画像間で、同じ種類の前記要素画像の連続性を評価し、該連続性の評価結果に基づいて、前記複数の画像の並び順を判定する並び順判定ステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１】
生体組織標本をスライスし染色を施した複数の切片標本に対応する複数の画像に対し、該画像内の各画素の色特徴量に基づいて少なくとも１種類の組織構成要素を抽出し、該種類ごとの画像である要素画像を作成する要素画像作成部と、
前記複数の画像間で、同じ種類の前記要素画像の連続性を評価する連続性評価部を有し、該連続性の評価結果に基づいて、前記複数の画像の並び順を判定する並び順判定部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記複数の画像から、前記切片標本が連続すると推定される複数の画像を連続切片候補画像群として選択する画像選択部をさらに備え、
前記並び順判定部は、前記連続切片候補画像群間の並び順を判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像選択部は、
前記複数の画像から輪郭を抽出する輪郭抽出部と、
前記輪郭に基づいて、前記複数の画像の内の任意の画像と他の画像との間における類似判定を行う類似判定部と、
前記類似判定部により、互いに類似すると判定された画像を前記連続切片候補画像群として抽出する画像抽出部と、
を有することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像選択部は、
前記複数の画像の各画像から背景を抽出する背景抽出部と、
前記背景に基づいて、前記複数の画像の内の任意の画像と他の画像との間における類似判定を行う類似判定部と、
前記類似判定部により、互いに類似すると判定された画像を前記連続切片候補画像群として抽出する画像抽出部と、
を有することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記要素画像作成部は、
前記各画像内の画素の色特徴量を取得する色特徴量取得部と、
前記色特徴量の分布を作成し、該分布を、前記少なくとも１種類の組織構成要素に対応する少なくとも１つのクラスに分類するクラス分類部と、
各クラスに属する色特徴量に対応する画素を抽出して、前記クラス毎の画像を前記要素画像として作成するクラス別画像作成部と、
を有することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記色特徴量は、前記画像内の各画素位置に対応する標本部分における前記色素の色素量であり、
前記色特徴量取得部は、
前記各画像内の各画素の画素値に基づき、前記各画素位置における色成分のスペクトルを推定するスペクトル推定部と、
前記色成分のスペクトルに基づいて、前記標本部分における前記色素量を推定する色素量推定部と、
を含み、
前記クラス分類部は、前記色素量を成分とする色特徴量空間において前記色素量の分布をクラスタリングすることにより、前記色素量の分布を分類することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記色特徴量取得部は、前記複数の画像間における前記色素量の分布を均質化する色素量補正部をさらに備え、
前記クラス分類部は、前記色素量補正部によって補正された前記色素量の分布を分類することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記連続性評価部は、前記組織構成要素ごとに定められた連続性評価アルゴリズムを適用することにより、前記要素画像同士の連続性の評価を行うことを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記連続性評価部は、前記組織構成要素の特性と、前記生体組織標本の部位と、前記所定の色素との内の少なくとも１つに基づいて前記連続性の評価を行うことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記少なくとも１種類の組織構成要素は、細胞膜、細胞質、細胞核、血管、血液、及び腔の内の少なくともいずれかを含み、
前記連続性評価部は、前記細胞膜と、前記細胞核と、前記血液と、前記腔との内のいずれかに対応する要素画像に基づいて、前記連続性を評価することを特徴とする請求項８又は９に記載の画像処理装置。
【請求項１１】
前記並び順判定部による判定結果に基づいて、前記複数の画像を３次元的に構成する３次元画像構成部をさらに備えることを特徴とする請求項１〜１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記要素画像における前記組織構成要素の位置に基づいて、前記複数の画像間における位置合わせを行う位置合わせ部をさらに備えることを特徴とする請求項１〜１１のいずれか１項に記載の画像処理装置。
【請求項１３】
請求項１〜１２のいずれか１項に記載の画像処理装置と、
生体組織標本をスライスした切片に対して所定の色素により染色を施して得た複数の切片標本の観察像を生成する顕微鏡装置と、
前記観察像に対応するディジタル画像を取得する画像取得部と、
を備えることを特徴とする顕微鏡システム。
【請求項１４】
生体組織標本をスライスし染色を施した複数の切片標本に対応する複数の画像に対し、該画像内の各画素の色特徴量に基づいて少なくとも１種類の組織構成要素を抽出し、該種類ごとの画像である要素画像を作成する要素画像作成ステップと、
前記複数の画像間で、同じ種類の前記要素画像の連続性を評価し、該連続性の評価結果に基づいて、前記複数の画像の並び順を判定する並び順判定ステップと、
を含むことを特徴とする画像処理方法。
【請求項１５】
生体組織標本をスライスし染色を施した複数の切片標本に対応する複数の画像に対し、該画像内の各画素の色特徴量に基づいて少なくとも１種類の組織構成要素を抽出し、該種類ごとの画像である要素画像を作成する要素画像作成ステップと、
前記複数の画像間で、同じ種類の前記要素画像の連続性を評価し、該連続性の評価結果に基づいて、前記複数の画像の並び順を判定する並び順判定ステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図６】
【図８】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図５】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図６】
【図８】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図５】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−１１３８１８（Ｐ２０１３−１１３８１８Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２６３１３２（Ｐ２０１１−２６３１３２）
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]