説明

分割用の画像を作成するシステム

【課題】
【解決手段】 画像をクリーニングするとともに、分割用の画像を作成するシステムを開示する。画像送信装置は、画像受信装置に第1画像を送信するように構成される。画像受信装置は、第1画像を受信し、当該第1画像に双対木複素ウェーブレット変換を適用して複数の副画像を形成し、複数の副画像に基づいてハイパス画像を生成し、ハイパス画像に基づいて回転不変合成画像を生成し、複数の副画像に基づいてローパス画像を生成し、さらに、回転不変合成画像と、ローパス画像とを組み合わせて、擬似蛍光画像を形成するように構成される。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、分割用の画像を作成するシステムに関する。
【背景技術】
【0002】
生細胞又は微生物の特性を究明するためには、それらを分析用顕微鏡にセットして観察するのが一般的である。生細胞分析の目的は、癌などの今日存在する疾病や疾患の治療法発見である。例えばある人又は科学者は、胸部リンパ節細胞が置かれた試料プレートを顕微鏡にセットし、リンパ節細胞が異なる環境下でどの様に機能するかを究明することで、リンパ節細胞を非発癌性にするための処置方法を発見しようとするかもしれない。
【0003】
細胞の機能を視認するために利用できる顕微鏡は、蛍光顕微鏡などである。一般的な蛍光顕微鏡は、光源を用いて、ダイクロイックミラーから光を透過し、着色された生細胞又は標本試料を活性化させるものであり、この生細胞又は標本試料が、光から放射線を吸収して、当該放射線をより低い周波数で放射すると、この放射された光は、反射されてダイクロイックミラーから光検出器に戻されることになる。このとき、光検出器は、生細胞の画像を受信する。光検出器は、通常、受け取った画像をコンピュータに送り、そこで、アルゴリズム又は数式に基づいて生細胞の画像が再構成されることになる。
【0004】
これに代わる構成として、細胞を視認するために、蛍光以外の顕微鏡技術、例えば、位相差顕微鏡法、微分干渉コントラスト(DIC)顕微鏡法、明視野透過光顕微鏡法などを利用することもできる。位相差顕微鏡法は、コントラストを増強する光学技術であり、生細胞、微生物、及び細胞内粒子などの透明な試料の高コントラスト画像を生成するために利用することができる。この位相差技術は、位相内の微小な変動を、対応する振幅の変化に変換する光学機構を採用したもので、前述の振幅の変化は、画像コントラストの差異として視覚化することができる。このタイプの顕微鏡法では、特に、適切な照明なしでは困難であることが多い、透明又は半透明のいずれかであるコントラストの低い試料を観察することができる。適切なコントラスト強調を適用することで、正又は負のレリーフ内でかろうじて見える程度の低コントラストの試料のコントラストが大幅に増加する。位相差顕微鏡法で利用される照明は、標準的な明視野透過光、傾斜明視野透過光、及び片面暗視野照明である。標準的な明視野透過光を照明に利用すると、生細胞の着色に用いる毒性の色素への有害な暴露を回避できるので、試料が死なずに済む。ただし、このタイプの照明の利用における問題は、試料の明視野画像が無色で白っぽく見えることである。また、試料の死滅を確実に防止するためには、試料が有害な光を受ける暴露レベルと漂白レベルとを最低限に抑える必要がある。さらに、明暗度の低さは、不可避的にノイズを生じるという深刻な問題がある。
【0005】
微分干渉コントラスト(DIC)顕微鏡法は、透明な試料のコントラストを高める機構である。DIC顕微鏡法は、ビームシアリング干渉システムであり、基準ビームは極めて細かくせん断される。この技法は、試料内に存在する高低両方の空間周波数について、光路の勾配を効果的に表示する単色の陰影付き画像を生成する。参照方向に沿って光路が増加する試料の領域はより明るく(又はより暗く)なるのに対して、光路差が減少する領域は逆のコントラストになる。光路差の勾配は急激に大きくなるため、画像コントラストは劇的に増大する。また、このタイプの顕微鏡法では、適切な照明を使用しない場合は特に、観察が困難であることが多い、透明又は半透明のいずれかであるコントラストの低い試料を観察することができる。このDIC顕微鏡法も、標準的な明視野透過光を利用しており、位相差顕微鏡法について上記で説明した問題と同じ問題を生じる。
【0006】
明視野透過光顕微鏡では、光は、ステージの下の、集光レンズと呼ばれるレンズに向かって送られ、標本試料から対物レンズを通り、第2の拡大鏡、接眼レンズ、又はアイピースから目に入る。検査対象の物体は、通常、透明なスライドガラスの上に載せられ、光がその物体を透過することで、「明視野」という用語が由来する明るい背景上に物体が顕現する。光路内の物体が見えるのは、自然の沈着色素又は染色剤が特異的に光を吸収するため、又は、無色であるにも関わらず、物体が、かなりの量の光を吸収する十分な厚さを持っているためである。明視野画像において、細胞の内部は辛うじて識別できる程度であるため、細胞と背景を区別することができない。また、ノイズは、細胞の分割を阻害する深刻な問題である。このような明視野画像内の細胞を分割することができれば、診断材料として利用可能な、細胞に関する多くの情報が提供されることになる。例えば、明視野画像形成技法では、癌の研究を行うために必要な、癌細胞が生存している状態を維持できるため、明視野画像形成技法を利用することは、癌の研究において非常に有用である。一方、他の画像形成技術を利用する場合、生細胞は、染色されるときに死滅するため、癌の研究のための細胞の走査を行うことができない。
【発明の開示】
【発明が解決しようとする課題】
【0007】
明視野画像内で生細胞を検出、診断、及び処理するためには、癌細胞などの細胞が、生細胞の画像を分割して再構成することによって分析されなければならない。したがって、明視野画像内で生細胞を分析することができ、標本試料の背景から生細胞を区別することができるシステムが求められている。
【課題を解決するための手段】
【0008】
本発明は、前述した技術的背景を考慮して達成されたものであり、本発明は、分割用の画像を作成する簡単な方法を提供することを目的とする。
【0009】
本発明の好ましい実施形態において、分割用の画像を作成するシステムを開示する。画像送信装置は、画像受信装置に第1画像を送信するように構成される。画像受信装置は、第1画像を受信し、その第1画像に双対木複素ウェーブレット変換を適用して、複数の副画像を形成し、複数の副画像に基づいてハイパス画像を生成し、ハイパス画像に基づいて回転不変合成画像を生成し、複数の副画像に基づいてローパス画像を生成し、さらに、回転不変合成画像と、ローパス画像とを組み合わせて、擬似蛍光画像を形成するように構成される。
【0010】
本発明の他の好ましい実施形態において、分割用の画像を作成する装置を開示する。接続インターフェースは、第1画像を受信するように構成され、接続装置は、大容量記憶装置に接続される。本装置において、大容量記憶装置は、第1画像を受信し、その第1画像に双対木複素ウェーブレット変換を適用して、複数の副画像を形成し、複数の副画像に基づいてハイパス画像を生成し、複数の副画像に基づいて回転不変合成画像を生成し、複数の副画像に基づいてローパス画像を生成し、かつ、回転不変合成画像と、ローパス画像とを組み合わせて、擬似蛍光画像を形成するように構成される。
【0011】
本発明の他の好ましい実施形態において、分割用の画像を作成する方法を開示する。まず、第1画像を受信する。第1画像に双対木複素ウェーブレット変換を適用して複数の副画像を形成する。上記複数の副画像に基づいてハイパス画像を生成する。ハイパス画像に基づいて回転不変合成画像を生成する。複数の副画像に基づいてローパス画像を生成する。回転不変合成画像と、ローパス画像とを組み合わせて、擬似蛍光画像を形成する。
【0012】
本発明のさらに他の好ましい実施形態において、分割用の画像を作成するよう構成されたコンピュータ読取可能媒体を開示する。まず、第1画像を受信する。第1画像に双対木複素ウェーブレット変換を適用して複数の副画像を形成する。上記複数の副画像に基づいてハイパス画像を生成する。ハイパス画像に基づいて回転不変合成画像を生成する。複数の副画像に基づいてローパス画像を生成する。回転不変合成画像と、ローパス画像とを組み合わせて、擬似蛍光画像を形成する。
【発明を実施するための最良の形態】
【0013】
本発明の前述した利点及び他の利点は、添付の図面と組み合わせて下記の詳細な説明を読むことでより明確になるであろう。
【0014】
本発明の好ましい実施形態について、図面を参照しながら説明する。図面において、同様の構成要素は同一の参照数字で識別される。好ましい実施形態の説明は、例示的なものであり、本発明の範囲を限定することを意図したものではない。
【0015】
図1は、本発明の分割システムのブロック図である。この分割システム100は、通信リンク117によって、通常のコンピュータ103に電気的又は無線式に接続された通常の蛍光顕微鏡システム101を含む。通信リンク117は、ローカルアクセスネットワーク(LAN)、無線ローカルネットワーク、広域ネットワーク(WAN)、メトロポリタンエリアネットワーク、仮想エリアネットワーク、ユニバーサルサービスバス(USB)、イーサネット(商標)リンク、衛星リンク、ケーブル、携帯電話、ツイストペア、光ファイバ、又は蛍光顕微鏡システム101とコンピュータ103の間でのデータ転送を促進できる任意のネットワークであってよい。蛍光顕微鏡システム101は、光源105と、光検出器107と、走査鏡109と、対物レンズ111と、ステージ113と、標本試料115とを含む。蛍光顕微鏡システム100は、画像送信装置と呼ばれてもよく、ステージ113に載せられた標本試料115又は各種の物体の画像を、光検出器107を利用して取り込むことができる。標本試料115は、生きている生物有機体や、生体細胞や、細菌や、Dリボ核酸や、核酸などであってよい。蛍光顕微鏡システム101は、一般的な蛍光顕微鏡、位相差顕微鏡、微分干渉コントラスト顕微鏡、又は当業者に周知の任意の顕微鏡であってよい。他の実施形態において、蛍光顕微鏡システム101は、高速の検出及び分析を行って、生体組織などの画像を提供することができる、一般的なハイスループット分析であってよい。
【0016】
光源105は、レーザ、複数のレーザ、又は、標本試料115の蛍光色素に作用して、当該標本試料115の着色部分から光を放射させる励起光を供給する、当業者に周知の各種タイプの照光装置であってよい。通常は、ステージ113の上に標本試料115を載せる前に、蛍光色素分子を標本試料115内に挿入するか、又は、標本試料を着色することにより、光源105の励起光が標本試料115に接触したときに、標本試料115内の蛍光色素は、光又は光の周波数の放射線を吸収して、照明光又はより低い所定周波数の放射線を発光する。他の実施形態において、この顕微鏡は、明視野顕微鏡で、この顕微鏡において、光102は、前述したように、集光器であると見なすことができるステージ113の下のレンズ(図示せず)に向かうように仕向けられ、標本試料105から対物レンズ111を通って、第2の拡大鏡、接眼レンズ、又はキーピースから目に至る。走査鏡109が標本115の上方に配置されており、この走査鏡109は、標準的な走査鏡として動作して、光源105から光又は励起光を受信し、その光を対物レンズから送り出して、標本試料115内の蛍光色素に蛍光光又は照明光を発光させることができ、この蛍光光又は照明光は、対物レンズ111及び走査鏡109を通って光検出器107に送り返される。蛍光顕微鏡では、走査鏡109は、ダイクロイックミラー109であると見なされてもよく、特定の波長よりも短い光を反射する一方で、波長よりも長い光を透過する。照明光を受光する光検出器107は、光電子増倍管、電荷結合素子(CCD)、相補型金属酸化膜半導体(CMOS)画像検出器、又は、当業者によって利用される任意の光検出器であってよい。光検出器107は、前述したように、通信リンク117によって電気的又は無線式にコンピュータ103に接続される。
【0017】
コンピュータ103は、画像受信装置103、画像検出装置103、又はハイスループットスクリーニング装置であると見なすこともできる。本発明の他の実施形態において、画像受信装置103は、画像送信装置101の内部に配置されてもよい。画像受信装置103は、一般的なコンピュータとして動作して、光検出器107から標本試料115の画像を受信することができ、その後、画像受信装置103は、標準的な画像処理ソフトウェアプログラム、アルゴリズム、又は数式を利用して、通常は1度に1ピクセルずつ画像を構築又は再構成することができる。また、コンピュータ103は、携帯情報端末(PDA)、ラップトップコンピュータ、ノートブックコンピュータ、携帯電話、ハードドライブを基準とした装置、又は通信リンク117から情報を受信、送信、及び保存することができる任意の装置であってよい。本発明では1つのコンピュータが利用されているが、コンピュータ103の代わりに複数のコンピュータを利用することもできる。
【0018】
図2は、図1の分割システムの画像受信装置を模式的に示す図である。画像受信装置103は、通常のコンピュータに関連付けられる標準的構成要素を含む。画像受信装置103は、プロセッサ103aと、入出力(I/O)制御装置103bと、大容量記憶装置103cと、メモリ103dと、ビデオアダプタ103eと、接続インターフェース103fと、システムバス103gとを含み、システムバス103gは、前述したシステム構成要素を、動作的、電気的、又は無線式にプロセッサ103aと接続する。また、システムバス103gは、一般的なコンピュータシステム構成要素とプロセッサ103aとを、電気的又は無線式に動作接続する。プロセッサ103aは、処理装置、中央処理装置(CPU)、複数の処理装置、又は並列処理装置であると見なすことができる。システムバス103gは、通常のコンピュータに関連付けられた一般的なバスであってよい。メモリ103dは、読み出し専用メモリ(ROM)と、ランダムアクセスメモリ(RAM)とを含む。ROMは、基本ルーチンを包含する標準的な入出力システムを含み、起動中のコンピュータの構成要素間における情報の伝送を補助する。
【0019】
メモリ103dの上には大容量記憶装置103cがあり、この大容量記憶装置103cは、1.ハードディスクに対する読み出しと書き込みを行うハードディスクドライブ構成要素(図示せず)及びハードディスクドライブインターフェース(図示せず)、2.磁気ディスクドライブ(図示せず)及びハードディスクドライブインターフェース(図示せず)、並びに、3.CD−ROMや、他の光媒体などの着脱式光ディスクに対する読み出し又は書き込みを行う光ディスクドライブ(図示せず)及び光ディスクドライブインターフェース(図示せず)を含む。前述したドライブ及びそのドライブに対応するコンピュータ読取可能媒体は、コンピュータ103に、コンピュータ読取可能命令、データ構造、プログラムモジュール、及び他のデータの不揮発性記憶装置を提供する。また、前述したドライブは、本発明の画像分割アルゴリズム、ソフトウェア、又は数式に対応した画像の準備処理、又は、画像に対する前処理動作を含み、この点については、プロセッサ103を用いて生細胞の画像を再構成する作業を行う図4のフローチャートにおいて説明する。他の実施形態において、分割アルゴリズム、ソフトウェア、又は数式に対応した画像の準備処理は、プロセッサ103a、メモリ103d、又は、当業者に周知の、画像受信装置103の他の部分に保存することができる。
【0020】
入出力制御装置103bは、バス103gによってプロセッサ103aに接続されており、この入出力制御装置103bは、ユーザが、キーボード及びポインティング装置などの入力装置104からコンピュータにコマンド及び情報を入力できるようにするシリアルポートインターフェースとして動作する。利用される一般的なポインティング装置は、ジョイスティックや、マウスや、ゲームパッドなどである。ディスプレイ106は、ビデオアダプタ103eによって、電気的又は無線式にシステムバス103gに接続される。ディスプレイ106は、一般的なコンピュータモニタや、液晶ディスプレイや、高解像度テレビ(HDTV)や、映写スクリーンや、コンピュータ103によって生成された文字及び静止画像の少なくともいずれかを保持することができる装置であってよい。コンピュータ103のビデオアダプタ103eの隣に、接続インターフェース103fが存在する。接続インターフェース103fは、前述したように、通信リンク117によって光検出器107に接続されるネットワークインターフェースであると見なすことができる。また、画像受信装置103は、当該画像受信装置を他のコンピュータに連結できるようにするネットワークアダプタ又はモデムを含んでもよい。
【0021】
図3は、分割されて再構成される画像の例である。この画像は、前述した一般的な明視野画像の例である。この特定の明視野画像は生細胞を表しているが、明視野画像は、生物有機体や、核酸や、有機組織などを描画することができる。検査対象である生細胞は、通常、透明なスライドガラスの上に載置され、光がその細胞を透過することで、「明視野」という用語が由来する明るい背景上に物体が顕現する。光の経路内の細胞が見えるのは、自然の沈着色素又は染色剤が特異的に光を吸収するため、又は、当該細胞が、無色であるにも関わらず、かなりの量の光を吸収する十分な厚さを持っているためである。明視野画像において、細胞の内部は辛うじて識別できる程度であるため、細胞と背景とを区別することができない。試料のデジタル画像は、顕微鏡システム101を利用して、各種のズーム光学系倍率で取り込まれたものである。この画像は、コントラスト、輝度、シャープネス、色相、カラーバランス、及び彩度に関して、コンピュータ103に格納されているソフトウェア上で利用可能なデジタル画像処理ツールを用いて修正及び補正されている。
【0022】
生細胞のこのような描写では、細胞の内部は、テクスチャの違いにより僅かに識別できる程度である。背景と細胞の間の階調明暗度は、明暗度のみを閾値化することによって分割を許容できる十分に異なるものである、という暗黙の前提が存在する。エッジ検出フィルタ又はシード領域拡張を利用する本論題におけるばらつきは、テクスチャに対する盲目性という核心問題にまで影響を与えるものではない。細胞の透過光画像は、メタリックグレイの背景上に、メタリックグレイの斑点としてもっともよく描画され得る。これらの細胞は、多くの場合、細胞壁の白色度/黒度と、細胞の内部と背景の間のかすかに認識できる粒状性の差異とによってのみ視認できるものである。概して、ノイズレベルは深刻である。
【0023】
図4は、分割用の画像を作成する方法の一例を示すフローチャートである。画像の分割のための準備を行うこの動作は、図3の明視野画像を分割用に準備することに関するものであるが、分割システムのこの準備処理は、次のタイプの画像、すなわち、透視画像、位相差画像、微分干渉コントラスト(DIC)顕微鏡画像、顕微鏡システム101又はハイスループット分析101に関連付けられた画像、各種タイプの画素生成された画像、又は任意の画像を分割用に加工することに利用されてもよい。標本試料115(図1)の画像は、画像送信装置101の光検出器107によって撮像される。また、分割システムのこの準備処理は、大容量記憶装置103cに格納された、本発明のソフトウェア、アルゴリズム、又は数式を参照するものであり、プロセッサ103で動作して、生細胞の領域にラベルを付与し、隣接するピクセルに同一のラベルが付与されている、画像の単純モデルを作製するものである。他の実施形態において、分割画像を準備するアルゴリズム、ソフトウェア、又は数式は、プロセッサ103a、メモリ103d、又は画像送信装置103の当業者に周知の他の部分に保存することができる。さらに他の実施形態において、分割のための準備を行うソフトウェア、アルゴリズム、又は数式は、コンピュータ実行可能命令を内蔵するコンピュータ読取可能媒体に保存される。コンピュータ読取可能媒体は、フロッピーディスク(商標)、光ディスク、デジタルビデオディスク、及びコンピュータディスク読み出し専用メモリ(CD−ROM)などを含む。
【0024】
ブロック401において、画像は、光検出器107によって、通信リンク117を介して送信され、画像受信装置103において、画像は、接続インターフェース103f(図2)によって受け取られる。次に、ブロック403において、画像に、双対木ウェーブ複素変換(DTWCT)が適用される。
【0025】
画像は、双対木複素ウェーブレット変換(DTWCT)を利用して変換される。DTWCTにおいて、画像受信装置103に受け取られた画像は、既知の双対木複素ウェーブレット変換を適用して規定することによって、2〜12個の副画像、又は複数の副画像に分解される。ハティポグル・サーカン(Hatipoglu Serkan)、キングズベリー・ニック(Kingsbury Nick)、及びミトラ・サンジット(Mitra Sanjit)による「双対木複素ウェーブレット変換を用いたテクスチャ分類(Texture Classification Using Dual−Tree Complex Wavelet Transform)」、1999年刊行の画像処理とその応用(Image Processing and Its Applications)会議刊行物No.465を、本願明細書の一部として援用する。画像は、好ましくは、1組のフィルタ又は複数のフィルタに基づいて6つの副画像に分解され、フィルタは、異なる倍率で画像の細部を認識するために繰り返して画像に適用される。画像に繰り返し適用される複数のフィルタは、2〜12個のフィルタであってよい。好ましくは、6つのフィルタを繰り返して適用して、6個の副画像内に画像をフィルタ処理する。例えば、図6に示されるようなブリッジの画像の6つの副画像は、ローパスフィルタ及びハイパスフィルタからなるフィルタ、又は、他の組み合わせのフィルタに適用された画像に基づいて採用されたものであり、ポインティング装置104(図2)を用いて決定した、画像のフィルタ処理に利用すべきフィルタがどれであるのかによって異なるものとなる。フィルタは、直角位相シフトフィルタ、奇数長双直交フィルタ、LeGallフィルタ、近対称性(Near-Symmetric)フィルタ、Antoniniフィルタ、4分の1サンプルシフト直交フィルタ、複素フィルタなどであってもよい。
【0026】
ハイパスフィルタは画像の細部詳細を見分け、ローパスフィルタは、画像の平均的性質を判別する。これらのフィルタは、ローパス画像とハイパス画像の組み合わせから、いずれの情報も失われていないオリジナル画像の再構成が行われるように選択される。その後、この処理では、通常、ローパスフィルタの構成要素のみを利用した処理が繰り返される。ローパスフィルタに対応したこの6つの副画像は、図6に示すような典型的なピラミッド状の分解構造を形成するより小さい構成要素へと繰り返し分解される。この副画像への細分化は、ローパス副画像への標準的な再帰的細分化である。代替の構成として、ローパス副画像への他のタイプの再分化は4分木分解を含み、この4分木分解も本実施形態で利用することができる。
【0027】
この時点で、複数のローパスフィルタと複数のハイパスフィルタとをいずれかの組み合わせで利用して、6つの副画像がフィルタ処理された後、6つの副画像は、共役複素数の行列フィルタを用いてフィルタ処理される。これらの6つの副画像は、実数及び虚数の係数を有する2つの隣接するスペクトル象限内に存在し、図7に示されるように、左から右に−15度、−45度、−75度、75度、45度、15度の角度で方向決めされる。複素フィルタは対称応答性であるため、強配向が発生する。これらの複素フィルタは、垂直方向及び水平方向に、負の周波数から正の周波数を分離できるため、正と負の周波数がエイリアスされることはない。
【0028】
各レベルでDTCWTを適用することにより、6つの詳細画像(ハイパス画像)と1つの滑らかな画像(ローパス画像)とが得られる。この滑らかな画像にさらにDTCWTを適用することで、次のレベルにおける6つのより詳細な画像と、さらに別のより小さい滑らかな画像とが得られる。この処理は、特定のあらかじめ設定された数のレベルまで繰り返すことができる。各レベルは、異なる倍率に対応する。DTCWTが最初に適用されると、6つの詳細画像は、最高の拡大率でのみ見ることができる最も精細な細部を含む。この倍率における細胞構造は、例えば、細粒及びミトコンドリアを含むことができる。次にDTCWTを適用することにより、細部についてのより下位の特徴、例えば核など、が得られることになる。最下部における細胞間橋の画像の倍率を変更した場合、この画像は、すべての細部が取り除かれている画像であるため、非常にぼやけたものになる。テクスチャに興味の中心を置いている本発明者の視点からは、各レベル(又は各倍率)における詳細画像を組み合わせて単一の画像を生成することが理にかなっている。ここでは、テクスチャの配向には関心がなく、むしろ、位置及び配向とは独立したテクスチャの寸法を導出することを求める。双対木複素ウェーブレット変換は、複数の利点を提供する。第一に、この変換は、近似的なシフト不変を提供する。また、この変換は、2Dガボールのようなフィルタにおける適切な方位選択性を提供する。この選択性は、標本試料115の生細胞の形状及びエッジに対するある種の感応性を提供するもので、この形状及びエッジが、標本試料115の再構成画像内に描写されることで、標本試料のテクスチャを表す生細胞の真の形状を表示することができる。次に、生細胞の画像は、双対木複素ウェーブレット変換に関連付けられた線形位相ショートフィルタを利用して改良される。線形位相は、フィルタによって導入された位相変化を周波数に比例させることによって、位相ひずみを回避する。ショートフィルタを使用する際には、より少ない演算処理しか必要としないため、「ショート」という表現は高速であることを意味する。また、ウェーブレット変換における冗長性は、画像の圧縮性が劣る一方で、アーティファクトを避ける上では都合のよいものになり得る。この特性は、転換分散をもたらすものである。最後に、この変換は方向性を有するが、この方向性は、水平/垂直フィルタの使用時に生じる格子縞アーティファクトを回避するものであるため有用である。
【0029】
この時点で、各レベルに対応した6つの詳細画像が存在し、この6つの画像は、それぞれ図6に示されるように、75度、45度、15度、−15度、−45度、−75度の方位の細部に対応している。ブロック405において、不変表現の生成に使用される方法は次のとおりである。ピラミッド状分解構造の各レベルにおいて、6つのハイパス副画像の感度は、順序に限定されない方式で組み合わされて、図8Aと同サイズの合成画像を生成する。この合成画像は、ほぼ回転不変である。画像を組み合わせるために、順位と関係のない絶対値の合計を選択することができる。他の選択肢は、6の最大値である。二乗和は、別の選択肢である。合成画像は、特徴ベクトルの構築(後述する)を容易にするために、オリジナルの画像のサイズにサイズ変更されなければならない。画像のサイズ変更に利用できる一般的な方法は複数あり、このような方法は、最近傍サイズ変更や、双一次サイズ変更や、双三次サイズ変更などの標準的な方法から、離散的コサイン変換(DCT)及び高速フーリエ変換(FFT)などの画像変換を利用する、より特殊な方法まで多岐にわたる。逆DTCWTを利用して副画像のサイズを変更することもできる。この場合、現行画像を除いてすべての副画像がゼロに設定される。倍率変更された逆DTWCT画像の結果は、細部が保持されているフルサイズのオリジナル画像との比較における現行の副画像の個々の寄与分を表すものとなる。サイズ変更アルゴリズムの最後の選択肢は最も純粋なものの選択である。また、図8Bに示されるように、6つのハイパス画像に用いられた前述の倍率変更方法を利用しても、ローパス画像の倍率が変更される。
【0030】
ブロック407において、ハイパス画像とローパス画像とを組み合わせて、ある程度の細胞の凝集解除と同様に、陰影除去を実施する。Hの記号はハイパス画像を表し、Lはローパス画像を表す。また、図3は、陰影除去の利用によって除去されることになるノイズ及びしわを含むDIC画像が示している。もっとも単純な形式では、単に、無次元量H/Lを計算することになる。この処置には、ゼロまで、又はゼロに近い数まで減少する可能性がある数量で除算を行うという深刻な欠点がある。より適切な解法は、以下に示すように、IBFを計算することである。IBFは擬似蛍光画像の出力を表し、Hはハイパスフィルタ処理された画像、Lはローパスフィルタ処理された画像を表し、aは画像Lのノイズレベルに依存したパラメータである。
【0031】
【数1】

聡明な読者は、ウィーナーフィルタとの類似性を認識されるであろう(ウィーナーフィルタは、ゼロによる除算を回避する逆フィルタ処理に用いられる最適な最小二乗解である)。これは無次元量であり、画像全体における画像明暗度の乗法変動に依存しない。また、Lがゼロである場合は、IBFもゼロである。この最後の点は、実際、細胞の凝集解除に役立つものであり、この点を除くと、ハイパスフィルタが細胞の境界をテクスチャと誤認識するため、細胞は結合されることになる。したがって、ブロック409において、ローパス画像と、ハイパス画像と、ローパス画像とが組み合わされて、擬似蛍光画像を構成する。
【0032】
特徴ベクトルは、副画像がオリジナルの画像サイズにサイズ変更されたときに上方に構築されるほぼ回転不変の特徴から導出される。オリジナル画像の各ピクセルには、回転不変な各副画像内の対応する特徴が存在する。したがって、オリジナル画像内の各ピクセルについての特徴ベクトルは、倍率変更された各画像内の対応するピクセルを画素として選択することによって定義することができる。
【0033】
擬似蛍光画像のピクセルは、簡単な特徴要約プロセスによって、対応する特徴ベクトルから導出される。本明細書に記載した手続きによって得られた特徴ベクトルは、ベクトルの大きさによって、一次元形式に要約することができる。この数量は、画像背景から細胞構造を判別する十分なものである。より一般的には、特徴抽出プロセスは、画像又はピクセル配列から未加工データを抽出して、ピクセル配列上に細胞が配置されている位置などの、画像又はピクセル配列の属性を定義することを必然的に伴う。例えば、あるピクセル配列の位置は、画像の最上部又は最下部に配置することができる。ピクセル配列を含む画像の最上部及び最下部には、クラスが割り当てられるか、又はラベルが付与される。この時点で、特徴ベクトルの大きさが取得される。各ベクトルは、当該ベクトルの各点が、図3の明視野画像の再構成画像を形成できるように分類される。ベクトルの分類に利用される方法としては、特徴ベクトルのクラスタ化、複数の特徴ベクトルの1次元空間へのマッピング、マルコフ確率場の利用など、いくつかの異なる方法が知られている。本実施形態では、各ベクトルが単数に換算される、特徴ベクトルの1Dへのマッピングを利用する。他の実施形態では、ベクトルの分類を実施するために利用される前述したよく知られている方法を組み合わせて利用して、ベクトルを単数に換算することができる。本発明のさらに他の実施形態において、特徴ベクトルは、優先待ち行列を利用してクラスタ化することができ、この場合、待ち行列に画像ピクセル(及びその対応特徴ベクトル)を配置し、その画像ピクセルを適合度に従って拡張することによって、シード領域拡張アルゴリズムを実施することができる。適合度の測定は、現行ピクセルの特徴ベクトルに対する、隣接ピクセルの特徴ベクトルの類似性に左右される。特徴ベクトルは、K−means法や、二分K−means法や、サポートベクターマシンなどの標準的な技法を用いてクラスタ化されてもよい。さらに他の実施形態において、特徴ベクトルのクラスタ化のための最適解に対立させて優良解を探索する標準的な方法は、ギブスサンプリングや、当業者に周知の一般的な方法である、他のいくつかの事後密度のサンプリング手段を利用した事後分布からのサンプリングによって行われる。
【0034】
任意の構成として、標準的なBayesShrink法のノイズ除去手段が実行される。DTWCTと、ウェーブレットを縮小するBayesShrink法のノイズ除去手段とを組み合わせることは、明視野と蛍光の両方を含む幅広い種類の生体画像のノイズを除去する効果的な方法である。BayesShrink法のノイズ除去は、ウェーブレットソフト閾値化による、画像のノイズ除去のための適応データ駆動型閾である。また、BayesShrink法のノイズ除去は、ウェーブレットの大きさを縮小して、ノイズの小さいものがゼロの大きさを持つようにする。ここで、詳細な各サブバンドのウェーブレット係数に関して、一般化ガウス分布(GGD)を想定する。そして、ベイズリスクを最小限に抑える閾値Tを特定することを試みる。このBayesShrink法のノイズ除去式を利用して、画像からノイズを除去する。2002年12月に刊行されたラグラム(Raghuram)と、ランガラジャン(Rngarajan)と、ラムジ・ヴェンカタラマナン(Ramji Venkataramanan)と、シダス・シャット(Siddarth Shat)とによる「ウェーブレットを用いた画像のノイズ除去:ウェーブレット&時間周波数(Image Denoising Using Wavelets:Wavelets & Time Frequency)」P.1〜15を本願明細書の一部として援用する。BayesShrink法のノイズ除去では、一般化ガウス分布(GGD)を想定して、各サブバンドの閾値が決定される。GGDは次のように取得される。
【0035】
【数2】

パラメータσxは標準偏差で、βは形状パラメータである。形状パラメータβは0.5から1の範囲であることが観察されており、この形状パラメータは、自然画像の大きなセットについてのサブバンド内の係数の分布を記述するものである。ウェーブレット係数についてのこのような分布と、経験的に推定されるβと、各サブバンドのσxとを想定し、ベイズリスク、すなわち、平均二乗誤差の期待値を最小限に抑える閾値Tを特定することを試みる。
【0036】
【数3】

次に、最適閾値T*は、T*(σx,β)=argminT(T)によって与えられる。これは、パラメータσx及びβの関数である。T*についての閉形式解は存在しないため、数値計算を利用してその値を求める。下記のように設定される閾値はT*に極めて近いことが観察される。
【0037】
【数4】

推定された閾値TB=σ2/σxは、ほぼ最適であるのみならず、直覚的に訴えるものを持っている。正規化された閾値TB=σ2は、σ、すなわち標準偏差Xに反比例し、σX、すなわちノイズ標準偏差に比例する。σ/σX<<1であるとき、信号はノイズよりもかなり強大であり、Tb/σは、ほとんどの信号を保持して、ノイズの一部を除去するように小さく選択され、σ/σX>>1であるときは、ノイズが支配的であり、正規化された閾値は、信号を圧倒しているノイズを除去するように大きく選択される。したがって、この閾値の選択は、信号とノイズの両方に適応するものであり、特徴は、パラメータσとσXとに反映される。TB(σX)を計算するためには、GGDパラメータσX及びβを推定する必要がある。雑音分散σ2の分散σ2は、ロバスト平均推定量によって、サブバンドHH1から推定される。
【0038】
【数5】

特徴ベクトルは、複数のピクセルに圧縮され、そのピクセルの輝度は局所のテクスチャによって異なる。本実施形態では、1次元に特徴ベクトルをマッピングすることを利用して、各ベクトルを単数に換算する。この単数へのベクトルの特定の換算は、よく知られているマハラノビスの距離と組み合わせて利用される。複数の低周波副画像と、複数の高周波副画像の各特徴ベクトルは、値v1及びv2によって描画されるもので、(v)は、特徴ベクトルが楕円形状を形成する図5Aに示されるような2次元のグラフ上の標準的なx座標及びy座標を表す。この例では楕円形状が利用されているが、画像の特徴ベクトルはあらゆる形状を形成することができる。この値の特徴ベクトルvを画像に変換するためには、標準のマハラノビス方程式を利用して、関連する白色化された特徴ベクトルw1及びw2を生成する。ここで、(w)は、図5Bに示されるように、wが値vと相関する2次元のグラフ上の標準的なx成分及びy成分を表す。特徴ベクトルを表現に変換する手段としてマハラノビス測定法を利用すると、その表現において、特徴ベクトルの大きさを計算することができる。特徴ベクトルvが、白色化された特徴ベクトルwに変更されると、描画される画像は円形になる。円形はL2ノルム(又はユークリッドノルム)に関連し、この円形の形状の代わりとして、球(L無限大ノルム又はメトロポリスノルム)や、ひし形(L1ノルム)などの他の形状に置き換えて、特徴ベクトルvから白色化された特徴ベクトルwへの変化を描画することもできる。このマハラノビスの距離方程式は、ベクトルの特徴の共分散行列(C-1)を計算して、特徴ベクトルを白色化し、当該特徴ベクトルを正規化する。この共分散行列は、特徴ベクトルvの成分間の共分散の行列である。共分散は、2つの変数が互いにどれくらい異なるのかを表す尺度である。すなわち、共分散は、各ペアの値について、当該値がその平均から同一方向に変位していると大きな正数になり、各ペアの値が、その平均から反対方向に偏差しているとより大きな負数になることを意味する。したがって、値が同一方向に変位することが多くなるほど、共分散はより大きな正数になり、値が反対方向に変位することが多くなるほど、共分散はより大きな負数になる。白色化変換を適用した後、共分散行列は、定義から必然的に、恒等行列によって取得される。
【0039】
下記の計算式は、特徴ベクトルvを白色化された特徴ベクトルwに変換するために利用されるもので、PTは、固有ベクトルの行列、Λは固有値の対角行列である。
【0040】
【数6】

行列平方根に基づいた他の白色化手順、例えば、コレスキー分解などが存在することは、当業者であれば周知であろう。
【0041】
コンピュータ103に表示された画像は、図10A及び図10Bに示されるように、擬似蛍光画像である。図10Aは、例えば、Developer Toolboxなどの核を計数するソフトウェアプログラムにおける擬似蛍光画像を示す図で、この擬似蛍光画像は、図4に関連付けられた処理が施されたものであり、図において、白色空間は、実際の細胞及び計数された細胞を示している。このテクスチャは、DTCWTによって検出される。この画像は、顕微鏡ソフトウェア(Amersham−GE Healthcare社のMCID又はDeveloperなど)の中に既に存在する蛍光画像を分割するために用いられるものと同じ技術を使用した分割を行える状態にある。図10Aと同様に、図10Bは、例えば、Developer Software Toolboxなどのソフトウェアプログラム内の擬似蛍光画像を示す図で、この擬似蛍光画像は、図4に関連付けられた処理が施されたものであり、図中の線は、実際の細胞形状を表している。生細胞のこの擬似蛍光画像は、次に、一般的な分割プロセスによって分割される。これらの細胞が分割されると、細胞数と、細胞サイズと、細胞形状と、形状分布と、細胞の機能と、背景から生細胞を識別することに関連した標準的な結果とを取得することができる。図11Bは、DIC擬似蛍光画像を示しており、図において、細胞は、黒い背景上の白色部として顕現する。白色度は、テクスチャ内のエネルギに起因する。テクスチャは、DTCWTによって検出される。この画像は、ソフトウェア内に既に存在する同一の蛍光画像を用いて分割される準備が整った状態にある。次に、任意構成として、ブロック411において、擬似蛍光画像のノイズ除去が行われる。
【0042】
次に、擬似蛍光画像は、ブロック411において、任意の構成としてノイズ除去される。擬似蛍光画像は、は、DTCWT(上記で説明)、BayesShrink法手順(上記で説明)、及び逆DTCWTを含むノイズ除去アルゴリズムを利用してノイズ除去される。図9Aに、ノイズを含む細胞質を示し、図9Bに、同一の細胞質について、前述した処理によってノイズが除去された状態を示した。細胞質のこの図によって、試料内に存在する細胞を計数し、かつ、試料の背景から当該細胞を識別できるようになる。図11Aに、図3のDIC画像のノイズ除去画像を示して、そのノイズ除去画像が、いかに真実らしく、かつ滑らかであるかを表した。擬似蛍光画像がノイズ除去されると、その後、ブロック413において、擬似蛍光画像は、一般的な分割方法を使用して分割され得る状態になる。
【0043】
本発明は、分割する明視野画像などの画像をユーザが簡単に準備できるシステムを提供する。ユーザは、双対木複素ウェーブレット変換及びBayesShrink法のノイズ除去手順を適用し、その後で、画像のベクトルにラベルを割り当てて、擬似蛍光画像を形成することによって、分割用の画像を作成することができる。また、擬似蛍光画像が標準的な分割プロセスによって分割される前に、ユーザは、ノイズ除去アルゴリズムを利用して、擬似蛍光画像からノイズを除去することができる。
【0044】
以上の詳細な説明は、限定目的ではなく例示目的によるものであり、本発明の精神を定義する添付の特許請求の範囲は、それらと同等のものを包含することを理解されたい。
【図面の簡単な説明】
【0045】
【図1】本発明の実施形態に係る分割システムを示すブロック図である。
【図2】本発明による図1の分割システムの画像受信装置を模式的に示す図である。
【図3】本発明に係る明視野画像の例を示す図である。
【図4】本発明にしたがって、分割用の画像を作成する方法を示すフローチャートである。
【図5A】本発明による図3の画像の特徴ベクトルを示す図である。
【図5B】本発明による図3の画像の白色化された特徴ベクトルを示す図である。
【図6】画像の例と、本発明による画像の副画像への分解とを示す図である。
【図7】本発明による副画像の分解構成、及び図6の画像の倍率変更処理を示す図である。
【図8A】本発明によるハイパスフィルタの6つの副画像の倍率変更処理を示す図である。
【図8B】本発明によるローパスフィルタ副画像の倍率変更処理を示す図である。
【図9A】本発明によるノイズのある細胞質画像を示す図である。
【図9B】本発明に従ってノイズを除去した図9Aの細胞質画像を示す図である。
【図10A】本発明に従って擬似蛍光画像に変換した図3の明視野画像の例を示す図である。
【図10B】本発明に従って擬似蛍光画像に変換した明視野画像の他の例を示す図である。
【図11A】ノイズを除去した図3の画像を示す図である。
【図11B】図11Aの擬似蛍光画像について、蛍光(着色)画像を処理するために開発された技術を利用した分割処理に適した形式で示す図である。

【特許請求の範囲】
【請求項1】
画像受信装置に第1画像を送信するように構成された画像送信装置を備える、分割用の画像を作成するシステムであって、
上記画像受信装置が、
第1画像を受信し、
第1画像に双対木複素ウェーブレット変換を適用して複数の副画像を形成し、
上記複数の副画像に基づいてハイパス画像を生成し、
上記ハイパス画像に基づいて回転不変合成画像を生成し、
上記複数の副画像に基づいてローパス画像を生成し、
上記回転不変合成画像と上記ローパス画像とを組み合わせて、第1の疑似蛍光画像を形成するように構成されている、システム。
【請求項2】
前記画像受信装置が、回転不変画像に基づいて複数の特徴ベクトルを生成するように構成されている、請求項1記載のシステム。
【請求項3】
前記画像受信装置が、擬似蛍光画像にBayesShrink法のノイズ除去手順を提供するように構成されている、請求項2記載のシステム。
【請求項4】
前記画像受信装置が、複数の特徴ベクトルを圧縮して第2の疑似蛍光画像を形成するように構成されている、請求項2記載のシステム。
【請求項5】
前記画像受信装置が、第2の疑似蛍光画像にノイズ除去アルゴリズムを適用して第1のノイズ除去擬似蛍光画像を生成するように構成されている、請求項4記載のシステム。
【請求項6】
前記画像受信装置が、ハイスループットスクリーニング装置である、請求項1記載のシステム。
【請求項7】
前記画像が明視野画像である、請求項1記載のシステム。
【請求項8】
前記画像送信装置が蛍光顕微鏡である、請求項1記載のシステム。
【請求項9】
前記複数の特徴ベクトルが分類される、請求項2記載のシステム。
【請求項10】
前記複数の特徴ベクトルの分類がマルコフ確率場を利用して行われる、請求項9記載のシステム。
【請求項11】
前記複数の特徴ベクトルが、マハラノビスの距離を利用して単一画像に圧縮される、請求項4記載のシステム。
【請求項12】
前記双対木複素ウェーブレット変換が、さらに、第1画像に適用されて複数の副画像を生成するように構成された複数のフィルタを含んでいる、請求項1記載のシステム。
【請求項13】
前記複数のフィルタが、ローパスフィルタ、ハイパスフィルタ、直角位相シフトフィルタ、LeGallフィルタ、近対称性フィルタ、Antoniniフィルタ、4分の1サンプルシフト直交フィルタ、奇数長双直交フィルタ及び複素フィルタからなる群から選択される、請求項12記載のシステム。
【請求項14】
前記画像送信装置が光検出器を含む、請求項1記載のシステム。
【請求項15】
前記光検出器が、第1画像を画像受信装置に送信するように構成された通信リンクに連結されている、請求項14記載のシステム。
【請求項16】
前記光検出器が電荷結合素子である、請求項14記載のシステム。
【請求項17】
前記光検出器が相補型金属酸化膜半導体(CMOS)画像検出器である、請求項14記載のシステム。
【請求項18】
前記画像受信装置が、擬似蛍光画像を分割するように構成されている、請求項1記載のシステム。
【請求項19】
分割された擬似蛍光画像が、当該分割された擬似蛍光画像内に表示された細胞の細胞数を取得するために利用される、請求項18記載のシステム。
【請求項20】
分割された擬似蛍光画像は、当該分割された擬似蛍光画像内に表示された細胞の細胞サイズを取得するために利用される、請求項19記載のシステム。
【請求項21】
第1画像を受信するように構成された接続インターフェースを備える、分割用の画像を作成する装置であって、上記接続インターフェースが大容量記憶装置に接続されていて、上記大容量記憶装置が、
第1画像を受信し、
第1画像に双対木複素ウェーブレット変換を適用して、複数の副画像を形成し、
上記複数の副画像に基づいてハイパス画像を生成し、
上記ハイパス画像に基づいて回転不変合成画像を生成し、
上記複数の副画像に基づいてローパス画像を形成し、かつ
上記回転不変合成画像とローパス画像とを組み合わせて、擬似蛍光画像を形成するように構成されている、装置。
【請求項22】
第1画像は明視野画像である、請求項21記載の装置。
【請求項23】
画像は位相差画像である、請求項21記載の装置。
【請求項24】
分割用の画像を作成する方法であって、
第1画像を受信し、
第1画像に双対木複素ウェーブレット変換を適用して、複数の副画像を形成し、
上記複数の副画像に基づいてハイパス画像を生成し、
上記ハイパス画像に基づいて回転不変合成画像を生成し、
上記複数の副画像に基づいてローパス画像を生成し、
上記回転不変合成画像とローパス画像とを組み合わせて、擬似蛍光画像を形成すること
を含む方法。
【請求項25】
双対木複素ウェーブレット変換は、複数のフィルタを利用して、画像を複数の画像に分解する、請求項24記載の方法。
【請求項26】
分割用の画像を作成するコンピュータ実行可能命令を含むコンピュータ読取可能媒体であって、上記コンピュータ実行可能命令が、
第1画像を受信し、
第1画像に双対木複素ウェーブレット変換を適用して、複数の副画像を形成し、
上記複数の副画像に基づいてハイパス画像を生成し、
上記ハイパス画像に基づいて回転不変合成画像を生成し、
上記複数の副画像に基づいてローパス画像を生成し、
上記回転不変合成画像とローパス画像とを組み合わせて、擬似蛍光画像を形成することを含む、コンピュータ読取可能媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図7】
image rotate

【図8A】
image rotate

【図5A】
image rotate

【図5B】
image rotate

【図6】
image rotate

【図8B】
image rotate

【図9A】
image rotate

【図9B】
image rotate

【図10A】
image rotate

【図10B】
image rotate

【図11A】
image rotate

【図11B】
image rotate


【公表番号】特表2009−534665(P2009−534665A)
【公表日】平成21年9月24日(2009.9.24)
【国際特許分類】
【出願番号】特願2009−506732(P2009−506732)
【出願日】平成19年4月18日(2007.4.18)
【国際出願番号】PCT/US2007/066829
【国際公開番号】WO2007/121454
【国際公開日】平成19年10月25日(2007.10.25)
【出願人】(598041463)ジーイー・ヘルスケア・バイオサイエンス・コーポレイション (43)
【住所又は居所原語表記】800 Centennial Avenue, P.O.Box 1327,Piscataway,New Jersey 08855−1327,United States of America
【Fターム(参考)】