体液分析システムならびに体液分析のための画像処理装置および方法
体液分析システムは、ソース画像取得要素に制御信号を送る中央制御処理要素を備えており、ソース画像取得要素は、制御信号に従って体液のソース画像を取得し、当該ソース画像を中央制御処理要素に送る。中央制御処理要素は、ソース画像を画像係数に変換し、対応する係数マトリクスを生成するためにさらに用いられる。当該係数マトリクスは出力のために焦点融合画像に逆変換される。
【発明の詳細な説明】
【技術分野】
【０００１】
発明の分野
本発明は体液分析に関する。特に、本発明は、画像ベースの自動化された体液顕微鏡分析装置に用いられる、画像処理装置および方法ならびに体液分析システムに関する。
【０００２】
発明の背景
体液分析、特に尿沈渣鏡検は、腎臓、泌尿器および生殖器の診断を行うことができ、全体的な健康状態に関する臨床情報を提供することができるため、臨床において最も一般的な検査である。１０種類以上の粒子を尿サンプル中に発見することができる。このような粒子としては、赤血球、白血球、剥離物、バクテリア、上皮細胞、結晶などが挙げられる（これらの粒子を以下「対象」という。）。形状およびサイズの異なるこれらの粒子は、種類の異なる要素の割合を反映するスペクトルを生成するために、同定および計数される必要があり、これらはしきい値または健康参照値と比較される。
【０００３】
尿沈渣鏡検に関して、伝統的な人手による顕微鏡処理は、以下の問題に悩まされている。すなわち、非常に手間がかかり時間がかかること、沈降物処理が異なると得られる計数が非常に異なる場合があること、観察者が異なると検査標準の方法に違いがあること、などである。
【０００４】
今世紀の初頭に開発され、ＡｕｓｍａＣｏｒｐ．により製造された自動尿沈渣顕微鏡分析装置の目的は、人手による検査方法を置き換え、精度とスループットを高めることであった。このＡｕｓｍａシステムは、計数セル中の尿サンプルをスキャンし、光学顕微鏡に接続されたデジタルカメラを用いて尿サンプルの写真を撮るものである。分析プロセッサは、専用ソフトウェアを用いて対象の同定および計数を行う。対象の画像はそれぞれ、サイズ、形状、コントラストおよびテクスチャ特性に従って自動的に分類される。最終的な報告は種類に従って結果を表す。
【０００５】
図１は、この従来技術における、尿サンプルを含む計数セルおよび顕微鏡の対物ガラスの側面図である。既存の分析装置においては、計数セルは、長さ（ｘ軸方向）および幅（ｙ軸方向）が数ミリ、高さ（ｚ軸方向）が少なくとも１００ミクロンの小さい長方形のセルである。直径が数ミクロンから数十ミクロンの様々な粒子がこの３次元空間内に分散している。この分散は特定の時間（たとえば１秒間）、静的であると仮定される。ｘ−ｙ軸方向の完全なスキャンと画像化を行う成熟した技術がある。しかし、ｚ軸方向については、対物ガラスの被写界深度（ＤＯＦ）が計数セルの高さよりもはるかに小さい。このため、ｚ軸に垂直な異なる複数の層において対象を含む画像を収集することが必要となる。したがって、垂直方向における十分な解像度の撮像が、体液分析における基本的な画像収集の課題となっている。さらに、画像収集は、システムの精度の保証において重要なステップであるが、最も標準化されておらず、最も時間のかかるステップとなっている。画像収集にはまた最も高いスループットが要求されている（１時間当たり５０〜１００サンプル以上）。そして、ＤＯＦが不十分であるということが、画像の劣化を避けることをさらに難しいものとしている。対象が不鮮明なまたは抜けている画像は、同定の精度および計数の結果に大きく影響する。
【０００６】
ＡＶＥ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ Ｉｎｄｕｓｔｒｙ Ｃｏ．，Ｌｔｄにより開発されたＡｕｓｍａ ＡＶＥ７３６の例を、Ａｕｓｍａシステムの取得モジュールがどのように機能するかの具体的な説明として以下用いる。
【０００７】
Ａｕｓｍａ ＡＶＥ７３６において、尿サンプルが計数セルにロードされた後、最初にサンプルがスキャンされ、低倍率の（ｘ１０）顕微鏡を用いて対象が検索される。報告は、標的が発見されなかった場合には直接生成され、この報告はこのサンプルが健康体の臨床標準を満たしていることを示す。標的が発見された場合、低倍率顕微鏡によって、粒子のうちでより大きい対象たとえば剥離物や上皮細胞の同定、分類、計数が行われ、各視野について１つの画像が取得され、保持される。次いで、低倍率顕微鏡により発見された標的をさらにトラッキングするために、高倍率の（ｘ４０）顕微鏡が用いられる。焦点面は対物ガラスとサンプルステージの機械的な調整によって調整される。自動焦点合わせに続いて、１つの画像が図２に示されるような各高倍率視野（ＨＰＦ）について保持される。次いで、低倍率顕微鏡を用いて行われるやり方と同様にして対象の同定、分類、計数が行われ、保存された全ての画像は結合されて最終結果を形成する。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
この技術は、画像収集の間、低倍率顕微鏡と高倍率顕微鏡との間の前後の切換により全体的な効率を向上させ、ある程度までｚ軸方向のスキャンを行うことができる。しかし、ｘ軸方向位置およびｙ軸方向位置は同じであるがｚ軸方向位置が異なる対象が存在する場合、抜けまたは不鮮明な画像となる可能性が高い。このことは、画像に基づく同定および計数を不確実なものとし、以降の処理に人手を加える必要がある（２０％超の割合）。
【０００９】
さらに、画像の標的がｚ軸方向の複数のＤＯＦに位置している場合、最終的な画像は信用できないものとなる。すなわち、全体の画像の質を保証するため、部分部分の精度が犠牲となる。したがって、３次元空間全体にわたる鮮明な画像をいかにして得るかという問題について、危急に解決策が求められている。
【００１０】
また、対物ガラスの機械的な調整は対象のスキャン速度または深度を制限する。Ａｕｓｍａシステムの平均スループットは今のところ１時間当たり６０サンプルである。いくつかのグループが、スキャンを行う顕微鏡のＤＯＦを拡大するため、この技術におけるハードウェアおよびソフトウェア的な試みを行っている。光学顕微鏡の焦点調整において最も広く適用されている機構は、たとえば、対物ガラス全体を機械的に調整するものや、対物ガラスとサンプルとを相対的に動かすものである。ｚ軸方向の満足できる解像度を得るため、多くの種類の機械的な焦点調整機構が開発されている（たとえば、ＰＩ社により開発されたピエゾＺ軸対物ガラスグレーダ）。しかし、機械的な調整は全く信頼できない。
【課題を解決するための手段】
【００１１】
上記事情を鑑みて、本発明の主たる課題は、体液分析システムならびに体液分析のための画像処理装置および方法を提供することにある。
【００１２】
上記課題を解決するため、本発明の技術的スキームは、
ソース画像取得要素に制御信号を送る中央制御処理要素を備えており、
ソース画像取得要素は、制御信号に従って体液のソース画像を取得し、当該ソース画像を中央制御処理要素に送り、
中央制御処理要素は、ソース画像を画像係数に変換し、対応する係数マトリクスを生成するためにさらに用いられ、当該係数マトリクスは出力のために焦点融合画像に逆変換される、体液分析システム、
により実現される。
【００１３】
ソース画像取得要素は、制御信号に従って、１視野内の複数のスタック層に対応する体液のソース画像を顕微鏡を介して取得し、
中央制御処理要素は、各ソース画像を画像係数に変換し、１視野内の全てのソース画像に対応する画像係数から係数マトリクスを生成するために用いられる。
【００１４】
中央制御処理要素は、
１視野内で取得される複数のスタック層に対応する体液ソース画像制御信号を送出する中央制御部と、
体液のソース画像を受信し、ソース画像から即時解像度を収集し、中央制御部に記憶する即時解像度収集要素と、を備えており、
中央制御部は、１視野内の全てのソース画像に対応する即時解像度から係数マトリクスを生成し、当該係数マトリクスを逆変換部に送るためにさらに用いられ、
逆変換部は、係数マトリクスを焦点融合画像に逆変換し、中央制御部に当該画像を保存する。
【００１５】
中央制御部は、
ソース画像取得要素、即時解像度収集部および逆変換部の動作を制御する制御信号を送出するシステムコントローラと、
ソース画像、係数マトリクスおよび焦点融合画像を含む画像データを保存するメモリと、
を備える。
【００１６】
即時解像度収集部は、
ソース画像取得要素により提供される同一ソースの画像を受信するサンプリング回路と、
ソース画像のウェーブレット分解を行うウェーブレット分解回路と、
分解された画像をウェーブレット係数に変換する離散ウェーブレット変換回路と、
を備える。
【００１７】
逆変換部は、
中央制御部から係数マトリクスを取得し、そのうちから全ての波長スケールにおいて最大のウェーブレット係数を選択するウェーブレット係数比較回路と、
選択されたウェーブレット係数を保存するバッファメモリと、
逆離散ウェーブレット変換を実行して、選択されたウェーブレット係数を焦点融合画像に変換する逆離散ウェーブレット変換回路と、
を備える。
【００１８】
画像取得要素は、組込型液体レンズと、液体レンズドライバと、シャッタと、駆動部と、センサと、Ａ／Ｄ変換器と、を備え、
液体レンズドライバは、制御信号に従って、液体レンズの焦点距離を変化させ、
駆動部は、制御信号に従って、シャッタを駆動させ、
センサは、シャッタの駆動の後に、得られたセンサ信号をＡ／Ｄ変換器に送信し、
Ａ／Ｄ変換器は、センサ信号のＡ／Ｄ変換の後に、中央制御処理要素に取得された体液のソース画像を提供する。
【００１９】
１視野内で取得された複数のスタック層に対応する体液ソース画像制御信号を送出する中央制御部と、
体液のソース画像を受信し、ソース画像の即時解像度を収集し、中央制御部に保存する即時解像度収集部と、
中央制御部は、１視野内の全てのソース画像に対応する即時解像度から係数マトリクスを生成し、当該係数マトリクスを逆変換部に送出するためにさらに用いられ、
逆変換部は、係数マトリクスを焦点融合画像に逆変換し、中央制御部に当該画像を保存する、
体液分析のための画像処理装置。
【００２０】
Ａ．１視野内で取得された複数のスタック層に対応する体液ソース画像制御信号をソース画像取得要素に送出するステップと、
Ｂ．画像取得要素により提供される体液のソース画像を受信し、各ソース画像を画像係数に変換し、１視野内の全てのソース画像に対応する画像係数から係数マトリクスを生成するステップと、
Ｃ．係数マトリクスを出力のために焦点融合画像に逆変換するステップと、
を含む、体液分析のための画像処理方法。
【００２１】
上記方法は、
Ｄ．ステップＣの実行後に同期信号を送出し、全ての視野について処理が行われたときにステップＥを実行し、そうでない場合次の視野についてステップＡを実行するステップと、
Ｅ．全ての視野についての焦点融合画像を最終画像に結合するステップと、
をさらに含む。
【００２２】
全ての視野についての焦点融合画像を最終画像に結合するステップは、各画像を離散ウェーブレット変換によってウェーブレットに変換するステップを含み、
係数マトリクスを焦点融合画像に逆変換するステップは、
係数マトリクスから全ての波長スケールについて最大のウェーブレット係数を選択するステップと、
選択されたウェーブレット係数を焦点融合画像に逆離散ウェーブレット変換するステップと、
を含む。
【００２３】
上記体液とは、尿、血液、髄液、胸膜液、腹水、精液である。
【００２４】
本発明が解決する課題とは、垂直方向における不十分な画像解像度による対象の抜けと不鮮明さが対象の効率的な同定を妨げ、これにより、体液分析システムの精度が低下することである。上記の技術的スキームから理解されるように、本発明は、スタックされるｚ軸方向の焦点面を画像融合により結合するシステム、装置および方法を提供することにより上記課題を克服する。結果として、本発明は、ｚ軸方向全体のスタック後の全体的なＤＯＦ範囲を可能とし、これにより、システムの精度と画像の収集速度を向上させる。
【００２５】
詳細には、本発明は、ｚ軸方向にスタックされた複数の焦点面の超高速の画像収集を、対象指向の画像融合と組み合わせて、超高解像度（通常ｘ４００）で、極めて限られた被写界深度（ＤＯＦ）で光学顕微鏡を使用することにより生じる焦点対象の抜けや不鮮明等の問題を解決し、これにより、ＤＯＦよりも大きい深度（３０〜５０倍）での、尿サンプルなどの体液サンプルの画像化を行うことができる。本発明は、画像対象が抜けたり不鮮明となる可能性を低減させ、同定の成功率を大きく向上させ、全体のシステムの精度を新たなレベルにまで上昇させる。さらに、本発明は、並行した画像収集および焦点融合を行うことにより、現実の処理時間を大きく低減させる。
【００２６】
さらに、本発明は、迅速な焦点合わせを実現可能な液体レンズを採用する。測定される液体レンズの再焦点合わせ時間はナノ秒単位である。さらに、液体レンズは焦点合わせの制御に可動要素を使用しない。このため、液体レンズの慣性は機械的な調整のものと比較して無視できる。したがって、本発明は、より高速な画像収集を実現する。
【図面の簡単な説明】
【００２７】
【図１】従来技術における尿サンプルを含む計数セルおよび対物レンズの側面図である。
【図２】従来技術における、各視野の自動焦点合わせの後の画像の取得の図である。
【図３】（ａ）は本発明の実施形態における画像ベースの体液分析システムの要素図であり、（ｂ）は本発明の実施形態における対物ガラス３０３の拡大図である。
【図４】本発明の実施形態における体液分析システムの機能図である。
【図５】本発明の実施形態に係る体液分析システムにおける中央制御機能を実現する要素４０１の要素図である。
【図６】本発明の実施形態における要素４０１の時間軸に沿った動作フロー図である。
【図７】本発明の実施形態に係る体液分析システムにおけるソース画像取得機能を実現する要素４０２の要素図である。
【図８】本発明の実施形態に係る体液分析システムにおけるソース画像の即時解像度収集機能を実現する要素４０３の要素図である。
【図９】本発明の実施形態に係る体液分析システムにおける逆変換機能を実現する要素４０４の要素図である。
【図１０】ＤＷＴに基づく画像融合に関するフロー図である。
【発明を実施するための形態】
【００２８】
本発明の実施形態について、添付図面を参照して以下詳細に説明し、当業者は上述のまたはこれに限られない本発明の特徴および利点について明確に理解できるであろう。
【００２９】
本発明の課題、技術スキームおよび利点をより明確にし、より理解しやすいものとするため、本発明について図面を参照して以下に示す実施形態を通じてより詳細に記載する。
【００３０】
図３（ａ）は本発明の実施形態における画像ベースの体液分析システムの要素図である。この体液分析システムの基本的動作について、尿をただ１つの例として記載する。勿論、このシステムは他の体液、たとえば、血液、髄液、胸膜液、腹水、精液などの分析にも用いることができる。
【００３１】
図３（ａ）に示されるシステムにおいて、顕微鏡尿検査ソフトウェア３０１はカメラ３０２で取得された画像の分析および処理を行うものである。組込型液体レンズ３０３１の対物ガラス３０３はカメラ３０２に接続されている。この対物ガラス３０３はさらにズームレンズ３０３２を備えている。圧力源／液体レンズドライバ３０４は、液体レンズ３０３１を所望の焦点距離に調整する。尿サンプル３０６はローダ３０７によって自動的にサンプルステージ３０５上にロードされ、尿サンプル３０６は液体レンズ３０３１の対物ガラス３０３の視野内に置かれる。尿サンプルはアンローダ３０９によってアンロードされる。また、照明装置３０８はサンプルステージ３０５上に配置された尿サンプル３０６を照らす。
【００３２】
図３（ｂ）は、本発明の実施形態における対物レンズ３０３の拡大図である。図からわかるように、焦点調整を担う液体レンズ３０３１は、複数のガラス片から構成されており拡大に用いられるレンズ３０３２の内側に組み込まれている。図３（ｂ）に示されるこの液体レンズ３０３１は、レンセラー工科大学においてＣａｒｌｏｓ Ａ．ＬｏｐｅｚおよびＡｍｉｒ Ｈ．Ｈｉｒｓａによって開発されたものである。この液体レンズはシリンダ状の穴を用いて２つの滴を結合する。２つの滴の対向する湾曲が弾性力に似た力を生じ、液体レンズシステム全体を自然な振動子とする。１〜Ｎの焦点距離において、このシステムは共振を生じ、滴の形状は基本的に球状となる。このため、ｚ軸方向にスタックされた焦点面の画像化に適している。
【００３３】
液体レンズは「無限に変更可能な」焦点距離を有するズームレンズであると考えることができる。滴の表面形状が液体レンズシステムの焦点距離を決定するために用いられ、最終的に液体レンズがどのように光を焦点調整するのかを決定するために用いられる。換言すれば、滴の表面形状を変化させることにより、何らの可動部分を用いることなく焦点距離を調整することができる。これにより、所定範囲内の任意の画像表面を取得することができ、ある焦点位置から別の焦点位置にミリ秒単位で精確に調整を行うことができる。近年、組込型液体レンズの光学写真システムは自動焦点カメラに用いられているが、液体レンズは従来技術における顕微鏡システムに適用されるべきである。
【００３４】
本発明においては、液体レンズは顕微鏡に組み込まれる。このようにして、画像収集の間、ｚ軸方向の一連の焦点面におけるＮ個の画像を簡便に取得し、保持することができるが、各視野（ＦＯＶ）内の各自動焦点画像面において１つの画像を取得することに限定されるものではない。これにより、効率の高い顕微鏡の焦点調整機構が確立される。Ｎは整数であり、その値はＤＯＦの厚みにより計数セルの高さが分割された後の値に等しい。この値は対象についての明確な焦点調整を保証する。換言すれば、Ｍ個のＦＯＶについて、ＭｘＮ個の画像が収集され、保持される。
【００３５】
ｚ軸方向のスタック画像の収集が各視野について行われた後、ｚ軸方向に沿って異なる焦点距離で取得されたＮ個のソース画像が１つに融合され、その結果、１つの焦点融合画像が各視野について得られる。この画像は１つの視野内の全ての対象の明瞭な画像を含むものである。すなわち、この画像は全てのソース画像よりも大きいＤＯＦを有する。空間領域融合や変換領域融合などの種々の画像融合アルゴリズムが非常に発展している。これらのアルゴリズムの目的は最終的な画像を向上させ、アーチファクトをより少なくし、より高いコントラストとなるようにすることである。その後の対象の同定、分類および計数の処理は、一般的なソフトウェアアプリケーションを用いて行うことができる。最後に、全てのＦＯＶ画像が結合されて最終画像を形成する。特定の条件または使用シナリオによって、異なる種類の前処理または後処理を、異なる焦点融合アルゴリズムについて用いてもよい。この事項についてここでさらに言及する必要はない。
【００３６】
以下では、高倍率レンズを用いる場合、画像取得の実行のため、図２に示すように、１つの視野（ＦＯＶ）が複数の高倍率視野（ＨＰＦ）に分割可能であることについて説明する。勿論、高倍率レンズを用いる前に、たとえばＦＯＶのさらなる分割が必要であるか否かを決定するための対象の予備的なスキャンおよび調査として、前処理のために低倍率レンズを用いてもよい。
【００３７】
図４は、本発明の実施形態における液体分析システムの機能図である。このシステムは、機能要素として、中央制御要素４０１と、画像取得要素４０２と、即時解像度収集要素４０３と、逆変換要素４０４と、出力要素４０５とを備える。
【００３８】
中央制御要素４０１は、システム処理の制御、起動、同期、データ保存および他の同様の処理を実行する。詳細には、中央制御要素４０１は、画像取得要素４０２を起動する制御信号１を出力し、１つのＤＯＦについての１つの写真を撮らせる。指定された焦点距離のセットが。たとえば、ユーザによって入力され、または、ＤＯＦ画像収集端末によって自己適応的に生成される。自己適応型アプローチの場合、次の焦点距離は直近の画像の焦点の質に基づいて推定可能である。
【００３９】
画像取得要素４０２は、１つのＤＯＦ画像２を取得し、この画像の即時解像度を得るため、これを即時解像度収集要素４０３に送る。即時解像度収集要素４０３は、得られた係数３を保存のために中央制御要素４０１に送るために用いられ、得られた係数３はその後アクセス可能である。要素４０１、４０２、４０３および４０４の間のやりとりは、中央制御要素４０１が係数マトリクス４を出力するまで、Ｎ回発生する（Ｎはｚ軸方向にスタックされた焦点面の数）。
【００４０】
逆変換要素４０４は、係数マトリクス４を焦点融合画像５に逆変換し、保存のために中央制御要素に送る。
【００４１】
さらに、中央制御要素４０１は、最終画像６を出力要素４０５に送り、最終出力画像として提供する。
【００４２】
図５は、本発明の実施形態に係る体液分析システムにおける中央制御機能を実現する要素４０１の要素図である。この要素４０１は、システムコントローラ５０１とメモリ５０２とを備える。
【００４３】
システムコントローラは図６に示される時系列に従って、画像収集処理を制御する。
【００４４】
メモリ５０２は画像データを保存する。この画像データには、ソース画像、ウェーブレット係数マトリクス、焦点融合画像、出力画像が含まれる。
【００４５】
図６は、本発明の実施形態における要素４０１の時間軸に沿った動作フロー図である。ＭはＦＯＶの数であり、Ｎはスタック層の数であると仮定する。
【００４６】
ステップ６０１：ｍ番目のＦＯＶの、画像Ｘ［ｍ，１］〜Ｘ［ｍ，Ｎ］の取得要求、画像Ｘ［ｍ，１］〜Ｘ［ｍ，Ｎ］のデジタル化、デジタル化された画像Ｘ［ｍ，１］〜Ｘ［ｍ，Ｎ］の保存のために、制御信号が送られる。ｍの値の範囲は１〜Ｍである。
【００４７】
このステップでは、Ｎ個の画像が並行処理に似た方法で処理可能である。たとえば、画像Ｘ［ｍ，１］のデジタル化の間、システムは同時に画像Ｘ［ｍ，２］を取得することができる。すなわち、画像Ｘ［ｍ，２］の取得は、画像Ｘ［ｍ，１］の保存を待つ必要なく開始されうる。
【００４８】
ステップ６０２：制御信号が送られ、Ｘ［ｍ，１］〜Ｘ［ｍ，ｎ］がＹ［ｍ］に融合される。ここで、Ｘはソース画像であり、Ｙは焦点融合画像である。
【００４９】
ステップ６０３：同期信号が送られ、ステップ６０１に戻り、次のＦＯＶ画像の収集および融合が制御される。全てのＦＯＶ画像の収集および融合が完了した後、ステップ６０４に進む。
【００５０】
ステップ６０４：制御信号が送られ、Ｙ［１］〜Ｙ［Ｍ］が最終画像に結合される。
【００５１】
図７は、本発明の実施形態に係る体液分析システムにおけるソース画像収集機能を実現する要素４０２の要素図である。この要素４０２は、ズームレンズ７０１と、液体レンズ７０２と、シャッタ７０３と、センサ７０４と、Ａ／Ｄ変換器７０５と、液体レンズドライバ７０６と、駆動ユニット７０７とを備える。この要素において、光（図７中破線にて示す）は、ズームレンズ７０１、液体レンズ７０２およびシャッタ７０３を連続して通過し、センサ７０４に達する。センサ７０４は画像化要素として機能し、Ａ／Ｄ変換器７０５にセンサ信号を送る。具体的な要素を実現する際、ＣＣＤまたはＣＭＯＳセンサを用いることができる。
【００５２】
図８は、本発明の実施形態に係る体液分析システムにおけるソース画像の即時解像度収集機能を実現する要素４０３の要素図である。この要素４０３は、サンプリング回路８０１と、ウェーブレット分解回路８０２と、離散ウェーブレット変換（ＤＷＴ）回路８０３とを備える。
【００５３】
サンプリング回路８０１は、要素４０２から送られる１ＤＯＦの画像を受け取り、これらの画像のデジタルサンプリングを行う。詳細には、これらのＤＯＦ画像はたとえば要素４０２のＡ／Ｄ変換器７０５により提供される。
【００５４】
ウェーブレット分解回路８０２は、画像のウェーブレット分解を行う。
【００５５】
離散ウェーブレット変換回路８０３は、分解画像をウェーブレット係数に変換する。
【００５６】
図９は、本発明の実施形態に係る体液分析装置における逆変換機能を実現する要素４０４の要素図である。この要素４０４は、ウェーブレット係数比較回路９０１と、バッファメモリユニット９０２と、逆離散ウェーブレット変換（ＩＤＷＴ）回路９０３とを備える。
【００５７】
ウェーブレット係数比較回路９０１は、係数マトリクスを受け取り、波長スケール毎に最も大きいウェーブレット係数を選択する。バッファメモリユニット９０２は、選択されたウェーブレット係数を保存する。ＩＤＷＴ回路９０３は、逆離散ウェーブレット変換を実行し、選択されたウェーブレット係数を焦点融合画像に変換する。
【００５８】
詳細には、スタック層１〜ＮがＫ個のウェーブレットから構成され、これらのウェーブレットがＷ１１〜ＷＫＮと番号付けされていると仮定して、要素４０３および要素４０４によって行われるＤＷＴに基づく画像融合処理は図１０に示されているようなものである。
【００５９】
ステップ１００１：ＤＷＴがｋ番目のウェーブレットＷｋ１〜ＷｋＮについて行われる（ｋの値の範囲は１〜Ｋ）。
【００６０】
ステップ１００２：同一の波長スケールにおいて最大量のウェーブレット係数を選択し（すなわち、ｋ番目のウェーブレット）、Ｃｋとして保存する。ステップ１００１に戻る。全てのＫ個のウェーブレットの処理が終了した後、ステップ１００３を実行する。
【００６１】
ステップ１００３：最大量を有するウェーブレット係数Ｃ１〜ＣＫについてＩＤＷＴを行う。
【００６２】
ステップ１００４：焦点融合画像を出力する。
【００６３】
さらに、本発明の実施形態によれば、体液分析のための画像処理装置が提供される。この装置は、基本的に画像収集の制御および収集された画像の処理に用いられる。詳細には、この画像処理装置は、１視野内で取得される複数のスタック層に対応する体液ソース画像制御信号を送出する中央制御ユニットを備え、ソース画像は各スタック層について得られる。
【００６４】
即時解像度収集ユニットは、体液ソース画像を収集し、これらのソース画像の即時解像度を収集し、中央制御ユニットにこれらを保存する。即時解像度とは、この画像の一種の画像係数とみなすことができる。
【００６５】
中央制御ユニットは、１視野内の全てのソース画像に対応する即時解像度から係数マトリクスを生成し、この係数マトリクスを逆変換ユニットに送るために用いられる。
【００６６】
逆変換ユニットは、係数マトリクスを焦点融合画像に逆変換し、中央制御ユニットに保存する。
【００６７】
さらに、本発明の実施形態によれば、
Ａ．１視野内で取得された複数のスタック層に対応する体液ソース画像制御信号をソース画像取得要素に送出するステップと、
Ｂ．画像取得要素により提供される体液のソース画像を受信し、各ソース画像を画像係数に変換し、１視野内の全てのソース画像に対応する画像係数から係数マトリクスを生成するステップと、
Ｃ．係数マトリクスを出力のために焦点融合画像に逆変換するステップと、
を含むことを特徴とする、体液分析のための画像処理方法
が提供される。
【００６８】
この方法は、
Ｄ．ステップＣの実行後に同期信号を送出し、全ての視野について処理が行われたときにステップＥを実行し、そうでない場合次の視野についてステップＡを実行するステップと、
Ｅ．全ての視野についての焦点融合画像を最終画像に結合するステップと、
をさらに含む。
【００６９】
詳細には、全ての視野についての焦点融合画像を最終画像に結合するステップは、各画像を離散ウェーブレット変換によってウェーブレットに変換するステップを含む。
【００７０】
係数マトリクスを焦点融合画像に逆変換するステップは、
係数マトリクスから全ての波長スケールについて最大のウェーブレット係数を選択するステップと、
選択されたウェーブレット係数を焦点融合画像に逆離散ウェーブレット変換するステップと、
を含む。
【００７１】
実施形態から、以下のことが明らかである。
【００７２】
１．本発明は、高精細かつ高速の、十分に自動化された体液分析システムを提供するものであり、画像化モジュールにおける画像対象が抜けたり不明瞭となる可能性を低下させ、これにより、分析および同定の精度を向上させる。さらに、本発明は、臨床的な書類および基準として用いることのできる高品質の画像を提供しうる。
【００７３】
２．本発明に係る、液体レンズを備える対物レンズは簡単な構造であり、操作が容易である。高電圧や他の特殊な方法で起動される必要がない。このため、この設計は実用的である。レンズ焦点距離の機械的調整は、電子的なタイミング制御に置き換えられる。結果は、簡便であり高速である。
【００７４】
３．本発明は、幅広く適用可能である。本発明は、尿の分析にのみ適用可能なものではなく、血液、髄液、胸膜液、腹水、精液等の他の体液および他の溶液や懸濁液の分析に容易に拡張可能である。
【００７５】
上記のものは、本発明の単なる好適な実施形態に過ぎず、本発明の保護範囲を限定することを意図するものではない。本発明の主旨および原理に従って、いかなる修正、均等物による置換または改善も本発明の保護範囲に含まれる。
【符号の説明】
【００７６】
３０３１ 液体レンズ、 ４０１ 中央制御要素、 ４０２ ソース画像取得要素、 ４０３ 即時解像度収集要素、 ４０４ 逆変換要素、 ８０１ サンプリング回路、 ８０２ ウェーブレット分解回路、 ８０３ 離散ウェーブレット変換回路
【技術分野】
【０００１】
発明の分野
本発明は体液分析に関する。特に、本発明は、画像ベースの自動化された体液顕微鏡分析装置に用いられる、画像処理装置および方法ならびに体液分析システムに関する。
【０００２】
発明の背景
体液分析、特に尿沈渣鏡検は、腎臓、泌尿器および生殖器の診断を行うことができ、全体的な健康状態に関する臨床情報を提供することができるため、臨床において最も一般的な検査である。１０種類以上の粒子を尿サンプル中に発見することができる。このような粒子としては、赤血球、白血球、剥離物、バクテリア、上皮細胞、結晶などが挙げられる（これらの粒子を以下「対象」という。）。形状およびサイズの異なるこれらの粒子は、種類の異なる要素の割合を反映するスペクトルを生成するために、同定および計数される必要があり、これらはしきい値または健康参照値と比較される。
【０００３】
尿沈渣鏡検に関して、伝統的な人手による顕微鏡処理は、以下の問題に悩まされている。すなわち、非常に手間がかかり時間がかかること、沈降物処理が異なると得られる計数が非常に異なる場合があること、観察者が異なると検査標準の方法に違いがあること、などである。
【０００４】
今世紀の初頭に開発され、ＡｕｓｍａＣｏｒｐ．により製造された自動尿沈渣顕微鏡分析装置の目的は、人手による検査方法を置き換え、精度とスループットを高めることであった。このＡｕｓｍａシステムは、計数セル中の尿サンプルをスキャンし、光学顕微鏡に接続されたデジタルカメラを用いて尿サンプルの写真を撮るものである。分析プロセッサは、専用ソフトウェアを用いて対象の同定および計数を行う。対象の画像はそれぞれ、サイズ、形状、コントラストおよびテクスチャ特性に従って自動的に分類される。最終的な報告は種類に従って結果を表す。
【０００５】
図１は、この従来技術における、尿サンプルを含む計数セルおよび顕微鏡の対物ガラスの側面図である。既存の分析装置においては、計数セルは、長さ（ｘ軸方向）および幅（ｙ軸方向）が数ミリ、高さ（ｚ軸方向）が少なくとも１００ミクロンの小さい長方形のセルである。直径が数ミクロンから数十ミクロンの様々な粒子がこの３次元空間内に分散している。この分散は特定の時間（たとえば１秒間）、静的であると仮定される。ｘ−ｙ軸方向の完全なスキャンと画像化を行う成熟した技術がある。しかし、ｚ軸方向については、対物ガラスの被写界深度（ＤＯＦ）が計数セルの高さよりもはるかに小さい。このため、ｚ軸に垂直な異なる複数の層において対象を含む画像を収集することが必要となる。したがって、垂直方向における十分な解像度の撮像が、体液分析における基本的な画像収集の課題となっている。さらに、画像収集は、システムの精度の保証において重要なステップであるが、最も標準化されておらず、最も時間のかかるステップとなっている。画像収集にはまた最も高いスループットが要求されている（１時間当たり５０〜１００サンプル以上）。そして、ＤＯＦが不十分であるということが、画像の劣化を避けることをさらに難しいものとしている。対象が不鮮明なまたは抜けている画像は、同定の精度および計数の結果に大きく影響する。
【０００６】
ＡＶＥ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ Ｉｎｄｕｓｔｒｙ Ｃｏ．，Ｌｔｄにより開発されたＡｕｓｍａ ＡＶＥ７３６の例を、Ａｕｓｍａシステムの取得モジュールがどのように機能するかの具体的な説明として以下用いる。
【０００７】
Ａｕｓｍａ ＡＶＥ７３６において、尿サンプルが計数セルにロードされた後、最初にサンプルがスキャンされ、低倍率の（ｘ１０）顕微鏡を用いて対象が検索される。報告は、標的が発見されなかった場合には直接生成され、この報告はこのサンプルが健康体の臨床標準を満たしていることを示す。標的が発見された場合、低倍率顕微鏡によって、粒子のうちでより大きい対象たとえば剥離物や上皮細胞の同定、分類、計数が行われ、各視野について１つの画像が取得され、保持される。次いで、低倍率顕微鏡により発見された標的をさらにトラッキングするために、高倍率の（ｘ４０）顕微鏡が用いられる。焦点面は対物ガラスとサンプルステージの機械的な調整によって調整される。自動焦点合わせに続いて、１つの画像が図２に示されるような各高倍率視野（ＨＰＦ）について保持される。次いで、低倍率顕微鏡を用いて行われるやり方と同様にして対象の同定、分類、計数が行われ、保存された全ての画像は結合されて最終結果を形成する。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
この技術は、画像収集の間、低倍率顕微鏡と高倍率顕微鏡との間の前後の切換により全体的な効率を向上させ、ある程度までｚ軸方向のスキャンを行うことができる。しかし、ｘ軸方向位置およびｙ軸方向位置は同じであるがｚ軸方向位置が異なる対象が存在する場合、抜けまたは不鮮明な画像となる可能性が高い。このことは、画像に基づく同定および計数を不確実なものとし、以降の処理に人手を加える必要がある（２０％超の割合）。
【０００９】
さらに、画像の標的がｚ軸方向の複数のＤＯＦに位置している場合、最終的な画像は信用できないものとなる。すなわち、全体の画像の質を保証するため、部分部分の精度が犠牲となる。したがって、３次元空間全体にわたる鮮明な画像をいかにして得るかという問題について、危急に解決策が求められている。
【００１０】
また、対物ガラスの機械的な調整は対象のスキャン速度または深度を制限する。Ａｕｓｍａシステムの平均スループットは今のところ１時間当たり６０サンプルである。いくつかのグループが、スキャンを行う顕微鏡のＤＯＦを拡大するため、この技術におけるハードウェアおよびソフトウェア的な試みを行っている。光学顕微鏡の焦点調整において最も広く適用されている機構は、たとえば、対物ガラス全体を機械的に調整するものや、対物ガラスとサンプルとを相対的に動かすものである。ｚ軸方向の満足できる解像度を得るため、多くの種類の機械的な焦点調整機構が開発されている（たとえば、ＰＩ社により開発されたピエゾＺ軸対物ガラスグレーダ）。しかし、機械的な調整は全く信頼できない。
【課題を解決するための手段】
【００１１】
上記事情を鑑みて、本発明の主たる課題は、体液分析システムならびに体液分析のための画像処理装置および方法を提供することにある。
【００１２】
上記課題を解決するため、本発明の技術的スキームは、
ソース画像取得要素に制御信号を送る中央制御処理要素を備えており、
ソース画像取得要素は、制御信号に従って体液のソース画像を取得し、当該ソース画像を中央制御処理要素に送り、
中央制御処理要素は、ソース画像を画像係数に変換し、対応する係数マトリクスを生成するためにさらに用いられ、当該係数マトリクスは出力のために焦点融合画像に逆変換される、体液分析システム、
により実現される。
【００１３】
ソース画像取得要素は、制御信号に従って、１視野内の複数のスタック層に対応する体液のソース画像を顕微鏡を介して取得し、
中央制御処理要素は、各ソース画像を画像係数に変換し、１視野内の全てのソース画像に対応する画像係数から係数マトリクスを生成するために用いられる。
【００１４】
中央制御処理要素は、
１視野内で取得される複数のスタック層に対応する体液ソース画像制御信号を送出する中央制御部と、
体液のソース画像を受信し、ソース画像から即時解像度を収集し、中央制御部に記憶する即時解像度収集要素と、を備えており、
中央制御部は、１視野内の全てのソース画像に対応する即時解像度から係数マトリクスを生成し、当該係数マトリクスを逆変換部に送るためにさらに用いられ、
逆変換部は、係数マトリクスを焦点融合画像に逆変換し、中央制御部に当該画像を保存する。
【００１５】
中央制御部は、
ソース画像取得要素、即時解像度収集部および逆変換部の動作を制御する制御信号を送出するシステムコントローラと、
ソース画像、係数マトリクスおよび焦点融合画像を含む画像データを保存するメモリと、
を備える。
【００１６】
即時解像度収集部は、
ソース画像取得要素により提供される同一ソースの画像を受信するサンプリング回路と、
ソース画像のウェーブレット分解を行うウェーブレット分解回路と、
分解された画像をウェーブレット係数に変換する離散ウェーブレット変換回路と、
を備える。
【００１７】
逆変換部は、
中央制御部から係数マトリクスを取得し、そのうちから全ての波長スケールにおいて最大のウェーブレット係数を選択するウェーブレット係数比較回路と、
選択されたウェーブレット係数を保存するバッファメモリと、
逆離散ウェーブレット変換を実行して、選択されたウェーブレット係数を焦点融合画像に変換する逆離散ウェーブレット変換回路と、
を備える。
【００１８】
画像取得要素は、組込型液体レンズと、液体レンズドライバと、シャッタと、駆動部と、センサと、Ａ／Ｄ変換器と、を備え、
液体レンズドライバは、制御信号に従って、液体レンズの焦点距離を変化させ、
駆動部は、制御信号に従って、シャッタを駆動させ、
センサは、シャッタの駆動の後に、得られたセンサ信号をＡ／Ｄ変換器に送信し、
Ａ／Ｄ変換器は、センサ信号のＡ／Ｄ変換の後に、中央制御処理要素に取得された体液のソース画像を提供する。
【００１９】
１視野内で取得された複数のスタック層に対応する体液ソース画像制御信号を送出する中央制御部と、
体液のソース画像を受信し、ソース画像の即時解像度を収集し、中央制御部に保存する即時解像度収集部と、
中央制御部は、１視野内の全てのソース画像に対応する即時解像度から係数マトリクスを生成し、当該係数マトリクスを逆変換部に送出するためにさらに用いられ、
逆変換部は、係数マトリクスを焦点融合画像に逆変換し、中央制御部に当該画像を保存する、
体液分析のための画像処理装置。
【００２０】
Ａ．１視野内で取得された複数のスタック層に対応する体液ソース画像制御信号をソース画像取得要素に送出するステップと、
Ｂ．画像取得要素により提供される体液のソース画像を受信し、各ソース画像を画像係数に変換し、１視野内の全てのソース画像に対応する画像係数から係数マトリクスを生成するステップと、
Ｃ．係数マトリクスを出力のために焦点融合画像に逆変換するステップと、
を含む、体液分析のための画像処理方法。
【００２１】
上記方法は、
Ｄ．ステップＣの実行後に同期信号を送出し、全ての視野について処理が行われたときにステップＥを実行し、そうでない場合次の視野についてステップＡを実行するステップと、
Ｅ．全ての視野についての焦点融合画像を最終画像に結合するステップと、
をさらに含む。
【００２２】
全ての視野についての焦点融合画像を最終画像に結合するステップは、各画像を離散ウェーブレット変換によってウェーブレットに変換するステップを含み、
係数マトリクスを焦点融合画像に逆変換するステップは、
係数マトリクスから全ての波長スケールについて最大のウェーブレット係数を選択するステップと、
選択されたウェーブレット係数を焦点融合画像に逆離散ウェーブレット変換するステップと、
を含む。
【００２３】
上記体液とは、尿、血液、髄液、胸膜液、腹水、精液である。
【００２４】
本発明が解決する課題とは、垂直方向における不十分な画像解像度による対象の抜けと不鮮明さが対象の効率的な同定を妨げ、これにより、体液分析システムの精度が低下することである。上記の技術的スキームから理解されるように、本発明は、スタックされるｚ軸方向の焦点面を画像融合により結合するシステム、装置および方法を提供することにより上記課題を克服する。結果として、本発明は、ｚ軸方向全体のスタック後の全体的なＤＯＦ範囲を可能とし、これにより、システムの精度と画像の収集速度を向上させる。
【００２５】
詳細には、本発明は、ｚ軸方向にスタックされた複数の焦点面の超高速の画像収集を、対象指向の画像融合と組み合わせて、超高解像度（通常ｘ４００）で、極めて限られた被写界深度（ＤＯＦ）で光学顕微鏡を使用することにより生じる焦点対象の抜けや不鮮明等の問題を解決し、これにより、ＤＯＦよりも大きい深度（３０〜５０倍）での、尿サンプルなどの体液サンプルの画像化を行うことができる。本発明は、画像対象が抜けたり不鮮明となる可能性を低減させ、同定の成功率を大きく向上させ、全体のシステムの精度を新たなレベルにまで上昇させる。さらに、本発明は、並行した画像収集および焦点融合を行うことにより、現実の処理時間を大きく低減させる。
【００２６】
さらに、本発明は、迅速な焦点合わせを実現可能な液体レンズを採用する。測定される液体レンズの再焦点合わせ時間はナノ秒単位である。さらに、液体レンズは焦点合わせの制御に可動要素を使用しない。このため、液体レンズの慣性は機械的な調整のものと比較して無視できる。したがって、本発明は、より高速な画像収集を実現する。
【図面の簡単な説明】
【００２７】
【図１】従来技術における尿サンプルを含む計数セルおよび対物レンズの側面図である。
【図２】従来技術における、各視野の自動焦点合わせの後の画像の取得の図である。
【図３】（ａ）は本発明の実施形態における画像ベースの体液分析システムの要素図であり、（ｂ）は本発明の実施形態における対物ガラス３０３の拡大図である。
【図４】本発明の実施形態における体液分析システムの機能図である。
【図５】本発明の実施形態に係る体液分析システムにおける中央制御機能を実現する要素４０１の要素図である。
【図６】本発明の実施形態における要素４０１の時間軸に沿った動作フロー図である。
【図７】本発明の実施形態に係る体液分析システムにおけるソース画像取得機能を実現する要素４０２の要素図である。
【図８】本発明の実施形態に係る体液分析システムにおけるソース画像の即時解像度収集機能を実現する要素４０３の要素図である。
【図９】本発明の実施形態に係る体液分析システムにおける逆変換機能を実現する要素４０４の要素図である。
【図１０】ＤＷＴに基づく画像融合に関するフロー図である。
【発明を実施するための形態】
【００２８】
本発明の実施形態について、添付図面を参照して以下詳細に説明し、当業者は上述のまたはこれに限られない本発明の特徴および利点について明確に理解できるであろう。
【００２９】
本発明の課題、技術スキームおよび利点をより明確にし、より理解しやすいものとするため、本発明について図面を参照して以下に示す実施形態を通じてより詳細に記載する。
【００３０】
図３（ａ）は本発明の実施形態における画像ベースの体液分析システムの要素図である。この体液分析システムの基本的動作について、尿をただ１つの例として記載する。勿論、このシステムは他の体液、たとえば、血液、髄液、胸膜液、腹水、精液などの分析にも用いることができる。
【００３１】
図３（ａ）に示されるシステムにおいて、顕微鏡尿検査ソフトウェア３０１はカメラ３０２で取得された画像の分析および処理を行うものである。組込型液体レンズ３０３１の対物ガラス３０３はカメラ３０２に接続されている。この対物ガラス３０３はさらにズームレンズ３０３２を備えている。圧力源／液体レンズドライバ３０４は、液体レンズ３０３１を所望の焦点距離に調整する。尿サンプル３０６はローダ３０７によって自動的にサンプルステージ３０５上にロードされ、尿サンプル３０６は液体レンズ３０３１の対物ガラス３０３の視野内に置かれる。尿サンプルはアンローダ３０９によってアンロードされる。また、照明装置３０８はサンプルステージ３０５上に配置された尿サンプル３０６を照らす。
【００３２】
図３（ｂ）は、本発明の実施形態における対物レンズ３０３の拡大図である。図からわかるように、焦点調整を担う液体レンズ３０３１は、複数のガラス片から構成されており拡大に用いられるレンズ３０３２の内側に組み込まれている。図３（ｂ）に示されるこの液体レンズ３０３１は、レンセラー工科大学においてＣａｒｌｏｓ Ａ．ＬｏｐｅｚおよびＡｍｉｒ Ｈ．Ｈｉｒｓａによって開発されたものである。この液体レンズはシリンダ状の穴を用いて２つの滴を結合する。２つの滴の対向する湾曲が弾性力に似た力を生じ、液体レンズシステム全体を自然な振動子とする。１〜Ｎの焦点距離において、このシステムは共振を生じ、滴の形状は基本的に球状となる。このため、ｚ軸方向にスタックされた焦点面の画像化に適している。
【００３３】
液体レンズは「無限に変更可能な」焦点距離を有するズームレンズであると考えることができる。滴の表面形状が液体レンズシステムの焦点距離を決定するために用いられ、最終的に液体レンズがどのように光を焦点調整するのかを決定するために用いられる。換言すれば、滴の表面形状を変化させることにより、何らの可動部分を用いることなく焦点距離を調整することができる。これにより、所定範囲内の任意の画像表面を取得することができ、ある焦点位置から別の焦点位置にミリ秒単位で精確に調整を行うことができる。近年、組込型液体レンズの光学写真システムは自動焦点カメラに用いられているが、液体レンズは従来技術における顕微鏡システムに適用されるべきである。
【００３４】
本発明においては、液体レンズは顕微鏡に組み込まれる。このようにして、画像収集の間、ｚ軸方向の一連の焦点面におけるＮ個の画像を簡便に取得し、保持することができるが、各視野（ＦＯＶ）内の各自動焦点画像面において１つの画像を取得することに限定されるものではない。これにより、効率の高い顕微鏡の焦点調整機構が確立される。Ｎは整数であり、その値はＤＯＦの厚みにより計数セルの高さが分割された後の値に等しい。この値は対象についての明確な焦点調整を保証する。換言すれば、Ｍ個のＦＯＶについて、ＭｘＮ個の画像が収集され、保持される。
【００３５】
ｚ軸方向のスタック画像の収集が各視野について行われた後、ｚ軸方向に沿って異なる焦点距離で取得されたＮ個のソース画像が１つに融合され、その結果、１つの焦点融合画像が各視野について得られる。この画像は１つの視野内の全ての対象の明瞭な画像を含むものである。すなわち、この画像は全てのソース画像よりも大きいＤＯＦを有する。空間領域融合や変換領域融合などの種々の画像融合アルゴリズムが非常に発展している。これらのアルゴリズムの目的は最終的な画像を向上させ、アーチファクトをより少なくし、より高いコントラストとなるようにすることである。その後の対象の同定、分類および計数の処理は、一般的なソフトウェアアプリケーションを用いて行うことができる。最後に、全てのＦＯＶ画像が結合されて最終画像を形成する。特定の条件または使用シナリオによって、異なる種類の前処理または後処理を、異なる焦点融合アルゴリズムについて用いてもよい。この事項についてここでさらに言及する必要はない。
【００３６】
以下では、高倍率レンズを用いる場合、画像取得の実行のため、図２に示すように、１つの視野（ＦＯＶ）が複数の高倍率視野（ＨＰＦ）に分割可能であることについて説明する。勿論、高倍率レンズを用いる前に、たとえばＦＯＶのさらなる分割が必要であるか否かを決定するための対象の予備的なスキャンおよび調査として、前処理のために低倍率レンズを用いてもよい。
【００３７】
図４は、本発明の実施形態における液体分析システムの機能図である。このシステムは、機能要素として、中央制御要素４０１と、画像取得要素４０２と、即時解像度収集要素４０３と、逆変換要素４０４と、出力要素４０５とを備える。
【００３８】
中央制御要素４０１は、システム処理の制御、起動、同期、データ保存および他の同様の処理を実行する。詳細には、中央制御要素４０１は、画像取得要素４０２を起動する制御信号１を出力し、１つのＤＯＦについての１つの写真を撮らせる。指定された焦点距離のセットが。たとえば、ユーザによって入力され、または、ＤＯＦ画像収集端末によって自己適応的に生成される。自己適応型アプローチの場合、次の焦点距離は直近の画像の焦点の質に基づいて推定可能である。
【００３９】
画像取得要素４０２は、１つのＤＯＦ画像２を取得し、この画像の即時解像度を得るため、これを即時解像度収集要素４０３に送る。即時解像度収集要素４０３は、得られた係数３を保存のために中央制御要素４０１に送るために用いられ、得られた係数３はその後アクセス可能である。要素４０１、４０２、４０３および４０４の間のやりとりは、中央制御要素４０１が係数マトリクス４を出力するまで、Ｎ回発生する（Ｎはｚ軸方向にスタックされた焦点面の数）。
【００４０】
逆変換要素４０４は、係数マトリクス４を焦点融合画像５に逆変換し、保存のために中央制御要素に送る。
【００４１】
さらに、中央制御要素４０１は、最終画像６を出力要素４０５に送り、最終出力画像として提供する。
【００４２】
図５は、本発明の実施形態に係る体液分析システムにおける中央制御機能を実現する要素４０１の要素図である。この要素４０１は、システムコントローラ５０１とメモリ５０２とを備える。
【００４３】
システムコントローラは図６に示される時系列に従って、画像収集処理を制御する。
【００４４】
メモリ５０２は画像データを保存する。この画像データには、ソース画像、ウェーブレット係数マトリクス、焦点融合画像、出力画像が含まれる。
【００４５】
図６は、本発明の実施形態における要素４０１の時間軸に沿った動作フロー図である。ＭはＦＯＶの数であり、Ｎはスタック層の数であると仮定する。
【００４６】
ステップ６０１：ｍ番目のＦＯＶの、画像Ｘ［ｍ，１］〜Ｘ［ｍ，Ｎ］の取得要求、画像Ｘ［ｍ，１］〜Ｘ［ｍ，Ｎ］のデジタル化、デジタル化された画像Ｘ［ｍ，１］〜Ｘ［ｍ，Ｎ］の保存のために、制御信号が送られる。ｍの値の範囲は１〜Ｍである。
【００４７】
このステップでは、Ｎ個の画像が並行処理に似た方法で処理可能である。たとえば、画像Ｘ［ｍ，１］のデジタル化の間、システムは同時に画像Ｘ［ｍ，２］を取得することができる。すなわち、画像Ｘ［ｍ，２］の取得は、画像Ｘ［ｍ，１］の保存を待つ必要なく開始されうる。
【００４８】
ステップ６０２：制御信号が送られ、Ｘ［ｍ，１］〜Ｘ［ｍ，ｎ］がＹ［ｍ］に融合される。ここで、Ｘはソース画像であり、Ｙは焦点融合画像である。
【００４９】
ステップ６０３：同期信号が送られ、ステップ６０１に戻り、次のＦＯＶ画像の収集および融合が制御される。全てのＦＯＶ画像の収集および融合が完了した後、ステップ６０４に進む。
【００５０】
ステップ６０４：制御信号が送られ、Ｙ［１］〜Ｙ［Ｍ］が最終画像に結合される。
【００５１】
図７は、本発明の実施形態に係る体液分析システムにおけるソース画像収集機能を実現する要素４０２の要素図である。この要素４０２は、ズームレンズ７０１と、液体レンズ７０２と、シャッタ７０３と、センサ７０４と、Ａ／Ｄ変換器７０５と、液体レンズドライバ７０６と、駆動ユニット７０７とを備える。この要素において、光（図７中破線にて示す）は、ズームレンズ７０１、液体レンズ７０２およびシャッタ７０３を連続して通過し、センサ７０４に達する。センサ７０４は画像化要素として機能し、Ａ／Ｄ変換器７０５にセンサ信号を送る。具体的な要素を実現する際、ＣＣＤまたはＣＭＯＳセンサを用いることができる。
【００５２】
図８は、本発明の実施形態に係る体液分析システムにおけるソース画像の即時解像度収集機能を実現する要素４０３の要素図である。この要素４０３は、サンプリング回路８０１と、ウェーブレット分解回路８０２と、離散ウェーブレット変換（ＤＷＴ）回路８０３とを備える。
【００５３】
サンプリング回路８０１は、要素４０２から送られる１ＤＯＦの画像を受け取り、これらの画像のデジタルサンプリングを行う。詳細には、これらのＤＯＦ画像はたとえば要素４０２のＡ／Ｄ変換器７０５により提供される。
【００５４】
ウェーブレット分解回路８０２は、画像のウェーブレット分解を行う。
【００５５】
離散ウェーブレット変換回路８０３は、分解画像をウェーブレット係数に変換する。
【００５６】
図９は、本発明の実施形態に係る体液分析装置における逆変換機能を実現する要素４０４の要素図である。この要素４０４は、ウェーブレット係数比較回路９０１と、バッファメモリユニット９０２と、逆離散ウェーブレット変換（ＩＤＷＴ）回路９０３とを備える。
【００５７】
ウェーブレット係数比較回路９０１は、係数マトリクスを受け取り、波長スケール毎に最も大きいウェーブレット係数を選択する。バッファメモリユニット９０２は、選択されたウェーブレット係数を保存する。ＩＤＷＴ回路９０３は、逆離散ウェーブレット変換を実行し、選択されたウェーブレット係数を焦点融合画像に変換する。
【００５８】
詳細には、スタック層１〜ＮがＫ個のウェーブレットから構成され、これらのウェーブレットがＷ１１〜ＷＫＮと番号付けされていると仮定して、要素４０３および要素４０４によって行われるＤＷＴに基づく画像融合処理は図１０に示されているようなものである。
【００５９】
ステップ１００１：ＤＷＴがｋ番目のウェーブレットＷｋ１〜ＷｋＮについて行われる（ｋの値の範囲は１〜Ｋ）。
【００６０】
ステップ１００２：同一の波長スケールにおいて最大量のウェーブレット係数を選択し（すなわち、ｋ番目のウェーブレット）、Ｃｋとして保存する。ステップ１００１に戻る。全てのＫ個のウェーブレットの処理が終了した後、ステップ１００３を実行する。
【００６１】
ステップ１００３：最大量を有するウェーブレット係数Ｃ１〜ＣＫについてＩＤＷＴを行う。
【００６２】
ステップ１００４：焦点融合画像を出力する。
【００６３】
さらに、本発明の実施形態によれば、体液分析のための画像処理装置が提供される。この装置は、基本的に画像収集の制御および収集された画像の処理に用いられる。詳細には、この画像処理装置は、１視野内で取得される複数のスタック層に対応する体液ソース画像制御信号を送出する中央制御ユニットを備え、ソース画像は各スタック層について得られる。
【００６４】
即時解像度収集ユニットは、体液ソース画像を収集し、これらのソース画像の即時解像度を収集し、中央制御ユニットにこれらを保存する。即時解像度とは、この画像の一種の画像係数とみなすことができる。
【００６５】
中央制御ユニットは、１視野内の全てのソース画像に対応する即時解像度から係数マトリクスを生成し、この係数マトリクスを逆変換ユニットに送るために用いられる。
【００６６】
逆変換ユニットは、係数マトリクスを焦点融合画像に逆変換し、中央制御ユニットに保存する。
【００６７】
さらに、本発明の実施形態によれば、
Ａ．１視野内で取得された複数のスタック層に対応する体液ソース画像制御信号をソース画像取得要素に送出するステップと、
Ｂ．画像取得要素により提供される体液のソース画像を受信し、各ソース画像を画像係数に変換し、１視野内の全てのソース画像に対応する画像係数から係数マトリクスを生成するステップと、
Ｃ．係数マトリクスを出力のために焦点融合画像に逆変換するステップと、
を含むことを特徴とする、体液分析のための画像処理方法
が提供される。
【００６８】
この方法は、
Ｄ．ステップＣの実行後に同期信号を送出し、全ての視野について処理が行われたときにステップＥを実行し、そうでない場合次の視野についてステップＡを実行するステップと、
Ｅ．全ての視野についての焦点融合画像を最終画像に結合するステップと、
をさらに含む。
【００６９】
詳細には、全ての視野についての焦点融合画像を最終画像に結合するステップは、各画像を離散ウェーブレット変換によってウェーブレットに変換するステップを含む。
【００７０】
係数マトリクスを焦点融合画像に逆変換するステップは、
係数マトリクスから全ての波長スケールについて最大のウェーブレット係数を選択するステップと、
選択されたウェーブレット係数を焦点融合画像に逆離散ウェーブレット変換するステップと、
を含む。
【００７１】
実施形態から、以下のことが明らかである。
【００７２】
１．本発明は、高精細かつ高速の、十分に自動化された体液分析システムを提供するものであり、画像化モジュールにおける画像対象が抜けたり不明瞭となる可能性を低下させ、これにより、分析および同定の精度を向上させる。さらに、本発明は、臨床的な書類および基準として用いることのできる高品質の画像を提供しうる。
【００７３】
２．本発明に係る、液体レンズを備える対物レンズは簡単な構造であり、操作が容易である。高電圧や他の特殊な方法で起動される必要がない。このため、この設計は実用的である。レンズ焦点距離の機械的調整は、電子的なタイミング制御に置き換えられる。結果は、簡便であり高速である。
【００７４】
３．本発明は、幅広く適用可能である。本発明は、尿の分析にのみ適用可能なものではなく、血液、髄液、胸膜液、腹水、精液等の他の体液および他の溶液や懸濁液の分析に容易に拡張可能である。
【００７５】
上記のものは、本発明の単なる好適な実施形態に過ぎず、本発明の保護範囲を限定することを意図するものではない。本発明の主旨および原理に従って、いかなる修正、均等物による置換または改善も本発明の保護範囲に含まれる。
【符号の説明】
【００７６】
３０３１ 液体レンズ、 ４０１ 中央制御要素、 ４０２ ソース画像取得要素、 ４０３ 即時解像度収集要素、 ４０４ 逆変換要素、 ８０１ サンプリング回路、 ８０２ ウェーブレット分解回路、 ８０３ 離散ウェーブレット変換回路
【特許請求の範囲】
【請求項１】
ソース画像取得要素に制御信号を送る中央制御処理要素を備えており、
前記ソース画像取得要素は、前記制御信号に従って体液のソース画像を取得し、当該ソース画像を前記中央制御処理要素に送り、
前記中央制御処理要素は、前記ソース画像を画像係数に変換し、対応する係数マトリクスを生成するためにさらに用いられ、当該係数マトリクスは出力のために焦点融合画像に逆変換される、
ことを特徴とする体液分析システム。
【請求項２】
前記ソース画像取得要素は、前記制御信号に従って、１視野内の複数のスタック層に対応する体液のソース画像を顕微鏡を介して取得し、
前記中央制御処理要素は、各ソース画像を画像係数に変換し、１視野内の全てのソース画像に対応する前記画像係数から係数マトリクスを生成するために用いられる、
請求項１記載のシステム。
【請求項３】
前記中央制御処理要素は、
１視野内で取得される複数のスタック層に対応する体液ソース画像制御信号を送出する中央制御部と、
体液のソース画像を受信し、前記ソース画像から即時解像度を収集し、前記中央制御部に記憶する即時解像度収集要素と、を備えており、
前記中央制御部は、１視野内の全てのソース画像に対応する即時解像度から係数マトリクスを生成し、当該係数マトリクスを逆変換部に送るためにさらに用いられ、
前記逆変換部は、前記係数マトリクスを焦点融合画像に逆変換し、前記中央制御部に当該画像を保存する、
請求項１記載のシステム。
【請求項４】
前記中央制御部は、
前記ソース画像取得要素、前記即時解像度収集部および前記逆変換部の動作を制御する制御信号を送出するシステムコントローラと、
ソース画像、係数マトリクスおよび焦点融合画像を含む画像データを保存するメモリと、
を備える、請求項３記載のシステム。
【請求項５】
前記即時解像度収集部は、
前記ソース画像取得要素により提供される同一ソースの画像を受信するサンプリング回路と、
前記ソース画像のウェーブレット分解を行うウェーブレット分解回路と、
前記の分解された画像をウェーブレット係数に変換する離散ウェーブレット変換回路と、
を備える、請求項３記載のシステム。
【請求項６】
前記逆変換部は、
前記中央制御部から係数マトリクスを取得し、そのうちから全ての波長スケールにおいて最大のウェーブレット係数を選択するウェーブレット係数比較回路と、
前記選択されたウェーブレット係数を保存するバッファメモリと、
逆離散ウェーブレット変換を実行して、選択されたウェーブレット係数を焦点融合画像に変換する逆離散ウェーブレット変換回路と、
を備える、請求項３記載のシステム。
【請求項７】
前記画像取得要素は、組込型液体レンズと、液体レンズドライバと、シャッタと、駆動部と、センサと、Ａ／Ｄ変換器と、を備え、
前記液体レンズドライバは、前記制御信号に従って、前記液体レンズの焦点距離を変化させ、
前記駆動部は、前記制御信号に従って、前記シャッタを駆動させ、
前記センサは、前記シャッタの駆動の後に、得られたセンサ信号を前記Ａ／Ｄ変換器に送信し、
前記Ａ／Ｄ変換器は、前記センサ信号のＡ／Ｄ変換の後に、前記中央制御処理要素に取得された体液のソース画像を提供する、
請求項１〜６のいずれか１項記載のシステム。
【請求項８】
１視野内で取得された複数のスタック層に対応する体液ソース画像制御信号を送出する中央制御部と、
体液のソース画像を受信し、前記ソース画像の即時解像度を収集し、前記中央制御部に保存する即時解像度収集部と、
前記中央制御部は、１視野内の全てのソース画像に対応する即時解像度から係数マトリクスを生成し、当該係数マトリクスを逆変換部に送出するためにさらに用いられ、
前記逆変換部は、前記係数マトリクスを焦点融合画像に逆変換し、前記中央制御部に当該画像を保存する、
体液分析のための画像処理装置。
【請求項９】
Ａ．１視野内で取得された複数のスタック層に対応する体液ソース画像制御信号をソース画像取得要素に送出するステップと、
Ｂ．前記画像取得要素により提供される体液のソース画像を受信し、各ソース画像を画像係数に変換し、１視野内の全てのソース画像に対応する画像係数から係数マトリクスを生成するステップと、
Ｃ．前記係数マトリクスを出力のために焦点融合画像に逆変換するステップと、
を含むことを特徴とする、体液分析のための画像処理方法。
【請求項１０】
Ｄ．ステップＣの実行後に同期信号を送出し、全ての視野について処理が行われたときにステップＥを実行し、そうでない場合次の視野についてステップＡを実行するステップと、
Ｅ．全ての視野についての焦点融合画像を最終画像に結合するステップと、
をさらに含む、請求項９記載の方法。
【請求項１１】
前記の全ての視野についての焦点融合画像を最終画像に結合するステップは、各画像を離散ウェーブレット変換によってウェーブレットに変換するステップを含み、
前記の係数マトリクスを焦点融合画像に逆変換するステップは、
前記係数マトリクスから全ての波長スケールについて最大のウェーブレット係数を選択するステップと、
前記選択されたウェーブレット係数を焦点融合画像に逆離散ウェーブレット変換するステップと、
を含む、
請求項９記載の方法。
【請求項１２】
前記体液は、尿、血液、髄液、胸膜液、腹水、精液である、請求項９記載の方法。
【請求項１】
ソース画像取得要素に制御信号を送る中央制御処理要素を備えており、
前記ソース画像取得要素は、前記制御信号に従って体液のソース画像を取得し、当該ソース画像を前記中央制御処理要素に送り、
前記中央制御処理要素は、前記ソース画像を画像係数に変換し、対応する係数マトリクスを生成するためにさらに用いられ、当該係数マトリクスは出力のために焦点融合画像に逆変換される、
ことを特徴とする体液分析システム。
【請求項２】
前記ソース画像取得要素は、前記制御信号に従って、１視野内の複数のスタック層に対応する体液のソース画像を顕微鏡を介して取得し、
前記中央制御処理要素は、各ソース画像を画像係数に変換し、１視野内の全てのソース画像に対応する前記画像係数から係数マトリクスを生成するために用いられる、
請求項１記載のシステム。
【請求項３】
前記中央制御処理要素は、
１視野内で取得される複数のスタック層に対応する体液ソース画像制御信号を送出する中央制御部と、
体液のソース画像を受信し、前記ソース画像から即時解像度を収集し、前記中央制御部に記憶する即時解像度収集要素と、を備えており、
前記中央制御部は、１視野内の全てのソース画像に対応する即時解像度から係数マトリクスを生成し、当該係数マトリクスを逆変換部に送るためにさらに用いられ、
前記逆変換部は、前記係数マトリクスを焦点融合画像に逆変換し、前記中央制御部に当該画像を保存する、
請求項１記載のシステム。
【請求項４】
前記中央制御部は、
前記ソース画像取得要素、前記即時解像度収集部および前記逆変換部の動作を制御する制御信号を送出するシステムコントローラと、
ソース画像、係数マトリクスおよび焦点融合画像を含む画像データを保存するメモリと、
を備える、請求項３記載のシステム。
【請求項５】
前記即時解像度収集部は、
前記ソース画像取得要素により提供される同一ソースの画像を受信するサンプリング回路と、
前記ソース画像のウェーブレット分解を行うウェーブレット分解回路と、
前記の分解された画像をウェーブレット係数に変換する離散ウェーブレット変換回路と、
を備える、請求項３記載のシステム。
【請求項６】
前記逆変換部は、
前記中央制御部から係数マトリクスを取得し、そのうちから全ての波長スケールにおいて最大のウェーブレット係数を選択するウェーブレット係数比較回路と、
前記選択されたウェーブレット係数を保存するバッファメモリと、
逆離散ウェーブレット変換を実行して、選択されたウェーブレット係数を焦点融合画像に変換する逆離散ウェーブレット変換回路と、
を備える、請求項３記載のシステム。
【請求項７】
前記画像取得要素は、組込型液体レンズと、液体レンズドライバと、シャッタと、駆動部と、センサと、Ａ／Ｄ変換器と、を備え、
前記液体レンズドライバは、前記制御信号に従って、前記液体レンズの焦点距離を変化させ、
前記駆動部は、前記制御信号に従って、前記シャッタを駆動させ、
前記センサは、前記シャッタの駆動の後に、得られたセンサ信号を前記Ａ／Ｄ変換器に送信し、
前記Ａ／Ｄ変換器は、前記センサ信号のＡ／Ｄ変換の後に、前記中央制御処理要素に取得された体液のソース画像を提供する、
請求項１〜６のいずれか１項記載のシステム。
【請求項８】
１視野内で取得された複数のスタック層に対応する体液ソース画像制御信号を送出する中央制御部と、
体液のソース画像を受信し、前記ソース画像の即時解像度を収集し、前記中央制御部に保存する即時解像度収集部と、
前記中央制御部は、１視野内の全てのソース画像に対応する即時解像度から係数マトリクスを生成し、当該係数マトリクスを逆変換部に送出するためにさらに用いられ、
前記逆変換部は、前記係数マトリクスを焦点融合画像に逆変換し、前記中央制御部に当該画像を保存する、
体液分析のための画像処理装置。
【請求項９】
Ａ．１視野内で取得された複数のスタック層に対応する体液ソース画像制御信号をソース画像取得要素に送出するステップと、
Ｂ．前記画像取得要素により提供される体液のソース画像を受信し、各ソース画像を画像係数に変換し、１視野内の全てのソース画像に対応する画像係数から係数マトリクスを生成するステップと、
Ｃ．前記係数マトリクスを出力のために焦点融合画像に逆変換するステップと、
を含むことを特徴とする、体液分析のための画像処理方法。
【請求項１０】
Ｄ．ステップＣの実行後に同期信号を送出し、全ての視野について処理が行われたときにステップＥを実行し、そうでない場合次の視野についてステップＡを実行するステップと、
Ｅ．全ての視野についての焦点融合画像を最終画像に結合するステップと、
をさらに含む、請求項９記載の方法。
【請求項１１】
前記の全ての視野についての焦点融合画像を最終画像に結合するステップは、各画像を離散ウェーブレット変換によってウェーブレットに変換するステップを含み、
前記の係数マトリクスを焦点融合画像に逆変換するステップは、
前記係数マトリクスから全ての波長スケールについて最大のウェーブレット係数を選択するステップと、
前記選択されたウェーブレット係数を焦点融合画像に逆離散ウェーブレット変換するステップと、
を含む、
請求項９記載の方法。
【請求項１２】
前記体液は、尿、血液、髄液、胸膜液、腹水、精液である、請求項９記載の方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公表番号】特表２０１２−５３１６０８（Ｐ２０１２−５３１６０８Ａ）
【公表日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１２−５１８０９９（Ｐ２０１２−５１８０９９）
【出願日】平成２２年１０月１９日（２０１０．１０．１９）
【国際出願番号】ＰＣＴ／ＥＰ２０１０／０６５６７２
【国際公開番号】ＷＯ２０１１／０５１１３４
【国際公開日】平成２３年５月５日（２０１１．５．５）
【出願人】（３９００３９４１３）シーメンス アクチエンゲゼルシヤフト (2,104)
【氏名又は名称原語表記】Ｓｉｅｍｅｎｓ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ
【住所又は居所原語表記】Ｗｉｔｔｅｌｓｂａｃｈｅｒｐｌａｔｚ ２， Ｄ−８０３３３ Ｍｕｅｎｃｈｅｎ， Ｇｅｒｍａｎｙ
【Ｆターム（参考）】
【公表日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２２年１０月１９日（２０１０．１０．１９）
【国際出願番号】ＰＣＴ／ＥＰ２０１０／０６５６７２
【国際公開番号】ＷＯ２０１１／０５１１３４
【国際公開日】平成２３年５月５日（２０１１．５．５）
【出願人】（３９００３９４１３）シーメンス アクチエンゲゼルシヤフト (2,104)
【氏名又は名称原語表記】Ｓｉｅｍｅｎｓ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ
【住所又は居所原語表記】Ｗｉｔｔｅｌｓｂａｃｈｅｒｐｌａｔｚ ２， Ｄ−８０３３３ Ｍｕｅｎｃｈｅｎ， Ｇｅｒｍａｎｙ
【Ｆターム（参考）】
[ Back to top ]