内部の光源を3D撮像するための方法および装置
【解決手段】 本発明は、哺乳動物などのサンプルの内側にある1つまたはそれ以上の光源の三次元(3D)表現を取得するためのシステムおよび方法を提供する。哺乳類の組織は、混濁した媒質である。これは、このような組織の中を伝搬する光子が、伝搬されるにつれて吸収され且つ散乱されることを意味する。吸収に比べて散乱の方が大きい場合、すなわち、例えば赤色から近赤外の範囲の光が組織を通るなどの場合は、サンプル内における光の伝送は、拡散理論によって記述される。本発明の実施形態は、撮像データおよびコンピュータに実装された光子拡散モデルを使用して、サンプルの内側にある光源について、その3D位置、大きさ、および明るさなどの3D表現を生成する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一般に、光を用いた撮像に関するものである。本発明は、より具体的には、混濁したサンプルの内側の光源または光源分布の3D表現を取得するためのシステムおよび方法に関する。このような3D表現は、生体撮像や生物医学研究などの用途において、特に有用である。
【背景技術】
【0002】
生物発光撮像は、医学研究、病理学、創薬、および薬剤開発の分野において、被験動物のインビボ(生体内)診断検査を実施するための、非侵龍性の技術である。生物発光は、一般に、ルシフェラーゼなどの蛍光レポータを移入された細胞によって引き起こされ、特定の組織(腫瘍など)を区別する、生理機能をモニタする、被験対象に投与された治療用化合物の分布を追跡する、または疾患の進行を追跡するための、マーカとして使用することができる。これまでに、腫瘍学、感染症、および形質転換動物の分野を含む、幅広い用途が提示されてきた。蛍光レポータによって標識された細胞のインビボ撮像は、緑色蛍光タンパク質(GFD)や、Cy5.5などの近赤外(NIR)色素の両分野において、やはり最近になって提示された関連技術である。
【0003】
生物発光細胞から放射された光子は、被験対象の組織の中で強く散乱されるので、伝搬には、本質的に拡散性がある。光子は、組織の中で拡散されるにつれて多くが吸収されるが、ごく一部は被験対象の表面に到達するので検出可能である。一般に、哺乳類の組織の中での吸収は、青から緑にかけてのスペクトル部分(<600nm)では高く、赤およびNIRのスペクトル部分(600〜900nm)では低い。ホタルのルシフェラーゼは、500〜700nmに及ぶ比較的広範囲の発光スペクトルを有するので、その発光の少なくとも一部は、低吸収領域に相当する。組織内における散乱の平均自由行程は、約0.5mm以下と短いので、深い光源からの光子は、表面に到達するまでに何度も散乱される。生物発光撮像システムは、被験対象の表面から放射されたこれらの光子の空間分布を効果的に記録する。
【0004】
しかしながら、最も重要な量的情報は、表面の放射ではなく、被験対象の内側にある生物発光源に関連している。重要なパラメータは、光源強度(発光細胞の数に関連している)、位置、および幾何構造である。今日までに公表されている生物発光イメージング研究の大多数は、シングルビュー型の2D撮像システムを使用したものである。画像解析は、一般に、被験対象の表面上の発光関心領域(ROI:Region of Interest)を定量化することを含む。このような解析方法は、単純であるうえに、優れた比較測定を実現できるが、光源の深さおよびそれに応じて生じる組織内での光の減衰を考慮に入れていない。
【0005】
このため、サンプル(例えば動物など)の表面上で測定された画像をもとに、そのサンプルの内側にある光子の三次元発光分布を提供できる、改良型の撮像システムおよび再構成アルゴリズムの双方の開発が望まれている。
【発明の開示】
【0006】
本発明は、例えば哺乳動物などのサンプルの内側にある1つまたはそれ以上の光源の三次元(3D)表現を取得するためのシステムおよび方法を提供する。哺乳類の組織は、混濁した媒質である。これは、このような組織の中を伝搬する光子が、伝搬されるにつれて吸収され且つ散乱されることを意味する。吸収に比べて散乱の方が大きい場合、すなわち、例えば赤色から近赤外の範囲の光が組織を通るなどの場合は、そのサンプル内における光の伝送は、拡散理論によって記述される。本発明の実施形態は、撮像データおよびコンピュータに実装された光子拡散モデルを使用して、サンプルの内側にある光源について、その3D位置、大きさ、および明るさなどなどの3D表現を生成する。
【0007】
本発明の一態様は、混濁したサンプルの内側に位置する光源分布の三次元表現を取得するための方法に関する。先ず、サンプルの内側に位置する光源分布に起源を発すると共にサンプル表面から放射される光をもとにして、表面光画像データが提供される。次いで、この提供された表面光画像データに基づいて、サンプル表面の内部の光データが取得される。特定の一実施形態では、表面光画像データは、サンプル表面のすぐ下の光子密度に変換され、この得られた光子密度は、次いで、サンプル表面の内部の光データを取得するために使用される。その結果、サンプル内の光源分布の三次元表示が得られる。
【0008】
本発明の更に別の一態様は、サンプルの内側に位置する光源の三次元表現を取得するための撮像システムに関する。該撮像システムは、内部の空洞を囲む一式の壁を有する撮像チャンバを備える。該撮像チャンバは、また、カメラを配置するように構成されたカメラマウントと、可動式のステージ装置とを有する。該可動式ステージ装置は、移送機構と、内部空洞内でサンプルを支えるように構成されたステージとを有する。ステージは、内部空洞内の複数の位置の1つにサンプルを移動させられるように、移送機構に連結されている。撮像チャンバは、更に、サンプル表面から放射された光を伝えるための光伝送機構を有する。撮像チャンバは、また、サンプルの内側に位置する光源分布に起源を発すると共にサンプルの表面から放射される光をもとに、表面光画像データを提供するように設計された、すなわち構成されたプロセッサを有する。プロセッサは、更に、サンプル表面の内部の光データを取得し、表面光画像データに基づいて光源分布の三次元表現を取得するように構成される。
【0009】
本発明の更に別の一態様は、コンピュータプログラム製品に関する。該コンピュータプログラム製品は、コンピュータ読み取りが可能媒体と、該コンピュータ読み取り可能媒体を通じて提供されるプログラム命令とを備える。プログラム命令は、サンプルの内側に位置する光源の三次元表現を取得するための再構成命令を含む。再構成命令は、上述された方法動作の1つまたはそれ以上を実施することができる。
【0010】
以下の詳細な説明は、添付の図面との関連のもとで、本発明の上記のおよびその他の特徴をより詳細に説明する。
【0011】
添付の図面は、本発明の例示を意図したものであって、本発明の限定を意図したものではない。図中、類似の参照符号は類似の構成要素を表すものとする。
【発明を実施するための最良の形態】
【0012】
以下の詳細な説明は、本発明の十分な理解を可能にするために、数多くの実施形態を示している。しかしながら、当業者ならば明らかなように、本発明は、このように詳細を特定しなくとも、代替の構成要素またはプロセスを使用して実現することが可能である。また、本発明の態様が不必要に不明瞭にならないように、周知のプロセス、構成要素、および設計の詳細な説明は省略した。
【0013】
1. 撮像システム
本発明による3D光再構成技術は、任意の適切なシステムの中で実施することが可能である。本発明による技術を実施するのに適した撮像システムの実施形態のいくつかが、Nilsonらによる2001年7月13日付けの米国特許出願第09/905,668号「マルチビュー型イメージング装置(MULTI-VIEW IMAGING APPARATUS)」に、詳しく説明されている。
【0014】
図1は、サンプルの内側に位置する光源の3D表現を作成するように構成された撮像システム10を、本発明の一実施形態にしたがって示している。撮像システム10は、様々なタスクに使用することが可能である。これらのタスクは、例えば、写真画像、発光画像、および構造光画像の獲得を含んで良い。これらのタスクは、また、3D光源表現を取得する、解析する、および操作するなど、様々な処理タスクおよび撮像タスクの実施を含んでも良い。
【0015】
撮像システム10は、一般に、感光性のカメラを使用して、低輝度の光源を撮像および処理する。光源からの光は、400〜950nmの波長範囲の可視から近赤外(NIR)までのどのスペクトル部分でも、光子および電磁エネルギと称される。当然のことながら、撮像システム10において撮像および処理される光のなかには、人間の視覚では容易に検知できない輝度の光も存在する。例えば、サンプルから放射される低輝度の光は、約103〜約1010光子/秒/平方センチメートル/ステラジアンの表面ラジアンスを有すると考えられ、この範囲の下端部は、一般に、人間が検知できるレベルを大きく下回る。
【0016】
図に示された実施形態では、撮像システム10は、発光するサンプルを収容するように構成された撮像チャンバ12を備える。撮像チャンバ12の中では、例えばルシフェラーゼに基づく発光など、低輝度の光が検出される。撮像チャンバ12には、増倍型カメラすなわち電荷結合素子(CCD)カメラなどの高感度カメラ20が連結される。カメラ20は、撮像チャンバ12内にあるサンプルの発光画像、写真画像(すなわち反射に基づく画像)、および構造光画像を獲得することができる。カメラ20は、例えば導管24を介してカメラ内に低温流体を循環させる冷却装置22などの適切な冷却源によって、随意に冷却することが可能である。
【0017】
画像処理ユニット26は、ケーブル30,32をそれぞれ介してカメラ20とコンピュータ28とを結びつける。コンピュータ28は、任意の適したタイプのコンピュータであって良く、一般に、プロセッサ、ランダムアクセスメモリ(RAM)および読み出し専用メモリ(ROM)などのメモリコンポーネントと、ディスクドライブコンポーネント(例えばハードドライブ、CD、およびフロッピィディスクなど)などのハードウェアとを含む。コンピュータ28は、また、ディスプレイ38と、キーボード40およびマウス42などの入力装置とを含む。コンピュータ28は、ケーブル34を介して撮像チャンバ12の中の様々なコンポーネントと通じている。あるいは、コンピュータは、撮像設備と一体化して、単一のユニットを構成することが可能である。
【0018】
撮像システム10の中のコンポーネントの制御および連絡を可能にするためには、コンピュータ28に、撮像システム10の任意の装置を制御および監視するためのハードウェアとソフトウェアとの任意の組み合わせを実装して良い。コンピュータ28によって制御されるコンポーネントとしては、カメラ20、カメラ20のピント合わせを受け持つモータ、カメラのレンズ、Fストップ、および撮像チャンバ12に含まれる可動式のステージに連結された1つまたはそれ以上のモータなどが含まれて良い。コンピュータ28は、また、撮像情報をユーザに提示する目的でディスプレイ38と連絡しあったり、撮像システム10を制御するためのインターフェースとして機能したりする。
【0019】
コンピュータ28は、また、本明細書で説明されるように、画像処理およびデータ操作のための適切な処理ハードウェアおよび処理ソフトウェアを含む。例えば、コンピュータ28は、サンプルの表面からの発光測定値を使用して光源の3D表現を構築するソフトウェアを含むように構成することが可能である。また、コンピュータ28は、内部空洞の内部における1つまたはそれ以上のステージ位置から得られた2Dの構造光画像を使用して3D表面トポグラフィを生成するように構成することが可能である。これらの3D光構成技術は、後ほど更に説明される。あるいは、コンピュータ28は、撮像システム10の他のコンポーネントと一体化して、独立型の装置を構成することが可能である。
【0020】
一実装形態では、後ほど詳述される3D光再構成技術は、生物発光の表面ラジアンスおよび表面トポグラフィを、サンプル表面の全域にわたって測定する必要がある。したがって、撮像システムは、サンプル表面の画像を様々な視点および位置から獲得するための機構も含んでいる。撮像システムは、次に挙げる目標を達成することが好ましい。先ず、カメラを冷却するための各種のケーブルおよび供給管路が煩雑すぎるために、撮像の際にカメラを動かすことが難しいので、カメラは固定の状態で維持されることが好ましい。第2に、サンプルは、撮像の際に水平に維持されることが好ましい。最後に、撮像システムは、サンプルの3D表面トポグラフィを、後ほど詳述される再構成技術に対する入力として取得するように構成されることが好ましい。これらの好ましい目標を達成するためには、ハードウェアとソフトウェアとを任意に適切に組み合わせて使用して良い。
【0021】
図2Aおよび図2Bは、マルチビュー方式の撮像を容易にするためのチャンバ12の各種の内部コンポーネントを、本発明の一実施形態にしたがって示している。図2Aは、チャンバ12およびその内部コンポーネントの断面斜視図であって、図2Bは、本発明の一実施形態にしたがった図2Aの内部コンポーネントの斜視図である。図に示された実施形態では、サンプルは、ミラーと共に回転する水平な透明プラットフォーム上に載置される。ミラーは、水平の光軸を中心に回転することによって、サンプルからの光を様々な角度から獲得し、獲得された光を撮像のためにカメラへと方向付ける。
【0022】
図に示されるように、可動式ステージ装置は、チャンバ12(図2A)の内部空洞の中に、発光サンプル106を支えるためのステージ204および該ステージを動かすための移送機構202のかたちで設けられる。チャンバ12の内部空洞の中には、更に、サンプルからの光をその様々な位置で収集するための光伝送装置120が含まれる。図2Aおよび図2Bに示された実施形態において、光ビーム252aのかたちでサンプルから放射される光は、一般に、光伝送装置120で反射されてビーム252bとなる。光伝送装置は、この反射光252bをアパチャ122およびレンズ262を通じて方向付けることによって、カメラ20(図1)の検出器264(図2B)が画像を獲得することを可能にする。
【0023】
一実装形態では、光伝送装置120は、ステージ204上のサンプル106からの光をアパチャ122を通じて反射させる傾斜ミラー121を有する。外壁123は、ほぼ円筒状を成しており、ステージ204上のサンプル106からの光をミラー121を介して結像レンズ262(図2B)に導くためのアパチャ122を有する。光伝送装置120の外壁123は、また、ステージ204の最新の視角に直接関連していない、チャンバ12の内部空洞の中の残光が、レンズ262に到達するのを阻止する。これは、一部には、ミラー121を、ステージ204の全長に及ぶ十分な長さに構成することによって達成される。ステージが、光伝送装置120の固定軸に対するその位置を様々に変化させるにつれて、外壁123およびミラー121は、互いに協力し合うことによって、主にステージ204の角度方向から光を収集し、それらをレンズ262に向けて反射させる。
【0024】
図に示された実施形態では、光伝送装置120は、チャンバ12に回転自在に連結され、固定軸を中心に方向258に回転する。サンプルの様々な側面から光を獲得し、サンプルのマルチビュー画像を形成することができるように、可動式ステージ装置は、ステージ204(およびサンプル106)に自由度2を付与し、ステージ204を光伝送装置120に対して複数の相対的位置に配置することができる。可動式ステージ装置を使用すれば、カメラは、撮像チャンバの中で、ステージ204に対するサンプルの相対的姿勢を変えることなしに、サンプルまたはその一部の画像を様々な視点、角度、および位置から獲得することができる。図2Cは、光伝送装置(120)に対してステージが採る4つの異なる相対位置の例を、すなわち0度、90度、180度、および270度を示している。
【0025】
可動式ステージ装置は、サンプルのマルチポジショニングおよびマルチビューイングを実現できるように、任意の適切な数、種類、および構成のコンポーネントから形成することが可能である。マルチビュー撮像システムのいくつかの実施形態が、先述のNilsonらによる特許出願に記載されている。可動式ステージ装置は、好ましくは、サンプルの位置を感知するためのセンサ機構も有する。感知されたサンプルの位置は、後ほど詳述される後続のデータ解析の手続きにおいて使用される。
【0026】
一実施形態では、光源は、撮像チャンバ12の中でサンプルすなわち試料を照射できるように、ミラーアセンブリ120のバレル(不図示)の中に設けられる。光源は、サンプルの写真画像を獲得するために光を連続照射するまたは閃光を発射させることが可能であり、発光画像を獲得する際にはオフに切り替えられる。
【0027】
サンプルの表面トポグラフィを再構成するためには、システムに構造光照明器を組み込むことが好ましい。一般的な一実装形態では、撮像システムは、例えば法線から20〜30度の角度でサンプル上にグリッド線を投射する機構を備えることが好ましい。グリッド線は、有限の高さを有する物体に遭遇すると変位する、または、プラットフォームに対する位相をシフトさせる。構造光解析用の従来の方程式を使用する場合は、サンプル表面の全域についての表面トポグラフィデータを、これらのグリッド線の位相シフトをもとに決定することができる。グリッド線同士の間隔は、サンプル表面のテクスチャおよびサンプルの大きさに応じて可変であるが、マウスのサンプルを使用する場合は、1mmあたり0.5〜2本の間隔が適していると考えられる。間隔が狭くなれば解像度が高まるが、それにともなって、毛皮などの粗い表面上では追跡が困難になる。表面トポグラフィデータは、後述される技術にしたがって3D表現を構築するために使用され、例えば、3D再構成のための境界条件を設定するためなどに使用される。
【0028】
具体的な一実施形態では、構造化光源として、単純なケーラー投射スキームが使用される。この場合は、拡散LED光源によって罫線を照射して良く、照射された罫線は、次いで、およそ10xの倍率でステージ上の動物に投射される。システム10に組み込まれたこのようなシステムの一例が、図2Dに示されている。投射器モジュール170は、回転ミラーアセンブリ120の裏面に載置されるので、サンプル106は、常にあらゆる視角から線を投射される。照射パターンは、先ず水平に投射され、次いで大型のミラーの基部にある小型ミラー173で反射された後、サンプル106を照射する。
【0029】
図2A〜2Dに照らして説明されたこのような撮像システムは、カリフォルニア州アラメダにあるXenogen社から市販されている。図2A〜2Dは、カメラ20に対するサンプル106の位置を様々に変化させてデータを取得するシステムを示しているが、本発明は、このようなシステムに限定されない。
【0030】
2. 3D光源の再構成
哺乳類などの多くの混濁したサンプルでは、サンプルの内側にある光源からサンプルの表面に向かって進む光が、サンプルの内部(例えば哺乳動物の組織など)で散乱されるので、サンプルを通る光の伝搬は、本質的に拡散性である(図3A)。光がサンプルを通って拡散するにつれて、いくらかの光は吸収されるが、ごく一部はサンプルの表面に達する。
【0031】
サンプル表面からの光の放射は、一般に、光子数/秒/平方センチメートル/ステラジアンで定められたラジアンスの単位で定められる。本明細書に記載された撮像システムは、表面の輝度をラジアンスの単位で報告するように校正されている。表面ラジアンスは、組織と空気との境界における光子伝搬モデルの使用によって、サンプル表面のすぐ内側の光子密度に関連付けることができる。表面のすぐ内側の光子密度は、次いで、拡散モデルの使用によって、サンプルの内側における発光レポータの分布に関連付けることができる。したがって、本発明は、撮像システムで測定された混濁サンプルの表面ラジアンスを、サンプルの内側における発光分布に関連付ける。具体的に言うと、本発明は、サンプル表面から放射された光データを用いる再構成技術によって、内部にある光源の3D表現を生成する。再構成技術は、a)サンプルのトポグラフィカルな表面表現と、b)表面の少なくとも一部についての一連のラジアンスの測定結果(例えば表面画像など)と、からなる入力データのセットを用いる。処理を容易にするためには、表面表現を表面要素に分割すると共に、サンプルの内部を体積要素すなわちボクセルに分割することが可能である。体積要素は、体積要素メッシュを構成する。サンプル内の光源分布は、体積要素メッシュの構成要素によって記述される。
【0032】
図3Aは、光による撮像を、本発明の一実施形態にしたがって示した概略図である。図3Aは、哺乳類のサンプル302が、CCDカメラ20で光データを獲得する撮像システム10によって撮像される様子を示している。哺乳類の組織および他の多くの混濁媒体が有する性質は、サンプル内の光源305からサンプル表面309へと伝搬する光に対して光子の散乱307を引き起こす。その結果が、サンプル表面309上の拡散画像である。本発明は、光子拡散モデルおよび撮像データを使用し、サンプル表面309に関する1つまたはそれ以上の画像をもとにして、光源305の3D位置、大きさ、および明るさを生成する。ユーザの便宜を図るため、3D表現は、例えば図1のディスプレイ38などを通じて絵図表示することが可能である。
【0033】
本発明の便利な用途の1つは、マウスなどの生きた被験動物の内側にある1つまたはそれ以上の生物発光性または蛍光性の光源を、表面における発光に関する1つまたはそれ以上の画像を使用して再構成することである。これは、例えば、腫瘍学、感染症研究、遺伝子発現研究、および毒物学などの分野で有用である。本発明は、被験動物(例えばマウス)などの複雑な表面を有するサンプルへの使用に適している。ここで言う複雑な表面とは、単一の多角形記述だけでは記述できない任意の表面を意味する。本明細書で説明される再構成の技術は、サンプル内の光源の数、大きさ、および形状などの光源分布に対して制限を設けないだけでなく、サンプル表面の幾何構造、大きさ、および形状などに対しても制限を設けない。
【0034】
サンプル表面の内部における光データは、一般に、サンプル内における実際の光を数学的に表したもの、すなわち近似したものを意味する。これは、3D位置および光源強度によってそれぞれが特徴付けられる、一群の点すなわち体積要素を含んで良い。一実施形態では、本発明は、サンプルの内部を複数の体積要素に分割する。各体積要素は、その中心に点光源を含むものとみなされる。これらの体積要素からなる立体メッシュは、次いで、サンプル内の実際の光源分布を近似するために使用される点光源の集合を定める。例として、立方の体積要素からなる立体メッシュが適切である。
【0035】
図3Cは、体積要素の立体メッシュに分割された円筒状の物体を示した図であり、図中には、体積要素の1つが具体的に示されている。各体積要素は、表面における光子密度316すなわちρjに寄与する点光源314すなわちSiを含む。立方体積要素による表現では、体積要素の大きさが、サンプルの大きさおよび所望の解精度に応じて可変である。一般に、立体メッシュの密度の増大は、内部の光データ表現の精度を向上させる。立体メッシュの密度は、サンプルの体積に応じて変化させることができる。具体的に言うと、光源に近い領域では、より正確な表現を可能にするために立体メッシュの密度を増大させ、対象となる活動が生じていない領域(発光のない領域または発光の僅かな領域)では、立体メッシュの密度を減少させることが望ましい。
【0036】
表面表現とは、サンプルの表面トポグラフィを意味しており、実際の表面を数学的に記述する、すなわち近似することによって具体化される。表面表現は、サンプル全体を含む必要はなく、特定の撮像シナリオにかかわるサンプルの一部を含むだけでも良い。マウスを例にとると、表面表現は、必ずしもマウス全体を含む必要はなく、例えば尾の末端や足の先端などは含まれなくてもない。したがって、表面表現とは、サンプルの有する任意の表面部分を広義に意味するのであって、必ずしもサンプル全体を意味するのではない。表面表現は、一般に、内部の光源に関連した表面発光データを生成する、サンプル上の1つまたはそれ以上の表面要素すなわち対象領域を含む。ユーザの便宜を図るため、表面表現の多くは、構造光構成技術から得られる3D表示のように絵図表示される。
【0037】
光源を含むサンプルは、何がしかの混濁した内部を有する。ここで言う混濁した内部とは、光のスムーズな伝送を許さない体積を意味する。混濁した内部は、1つまたはそれ以上の媒体、構造、固体、液体、および気体などを含んで良い。一実施形態では、サンプルが、均質なものとしてモデル化されるので、サンプル内の代表的な各体積要素は、同一の光伝送特性によって特徴付けられる。別の一実施形態では、サンプルが、非均質なものとしてモデル化されるので、サンプル内の代表的な各種の体積要素は、それぞれ異なる光伝送特性によって特徴付けられる。例えばマウスなどの哺乳類のサンプルに関しては、その内部が組織、骨、および臓器などの混合体であるので、非均質モデルの中の個々の光伝送特性によってそれぞれ特徴付けられる。
【0038】
本発明は、後ほど詳述されるように、サンプルの内部における三次元の光源分布を表面発光に基づいて再構成するための方法をいくつか提示する。簡単に言うと、先ず、構造光画像および発光画像からなる画像のセットが、例えば上述されたシステムなどによって取得される。次いで、構造光アルゴリズムによって動物の表面トポグラフィが再構成され、表面メッシュが作成される。表面要素は、整数jでカウントされるものとする。次いで、1つまたはそれ以上の発光画像の使用によって、撮像システムの向き、表面メッシュの向き、および第j番目の要素の表面のすぐ下における光子密度ρjが決定される。表面のすぐ下における光子密度は、後ほど詳述されるように、表面から放射される光の輝度に関係付けられる(方程式1)。表面の内部の体積には、一群の体積要素を構成することができる。体積要素は、整数iでカウントされるものとする。各体積要素の中の光源強度Siは、グリーン関数の核Gijを通じて、表面のすぐ下における光子密度に線形的に関係付けられ、その結果、後ほど詳述されるような、一組の線形方程式(方程式4)が得られる。
【0039】
図5Aは、サンプルの内側にある1つまたはそれ以上の光源の3D表現を取得するための、本発明の一実施形態にしたがったプロセスフロー500を示している。本発明にしたがったプロセスは、本発明が不明確になるのを避けるために本明細書における説明または図示を省略された、付加的なステップをいくつか含んで良い。
【0040】
プロセスフロー500は、サンプルの表面から放射された光データを操作する3D再構成の技術を使用する。再構成技術は、サンプルの幾何構造と、サンプル表面からの発光の空間分布と、に関する情報を提供するデータを用いる。このデータは、例えば、a)サンプルの表面表現と、b)表面の少なくとも一部に関する発光の測定結果(例えば画像)のセットと、を含むデータを含んで良い。このようなデータのフォーマットの1つは、(1)サンプルの表面を定める表面表現と、(2)サンプル表面から得られる発光画像のセットと、(3)サンプルと各画像との間の空間的関係を定めるパラメータの集合と、を含む。
【0041】
プロセスフロー500は、3D再構成の技術に使用される入力データを取得する(502および504)ことから開始する。プロセスフロー500は、例えば、表面表現を取得する(502)ことによって開始して良い。処理を容易にするためには、表面表現は、実際のサンプル表面を近似した複数の表面要素に、すなわち適切な表面メッシュに分割されて良い(502)。例えば、表面メッシュは、それぞれが表面要素を構成する一群の多角形の繋ぎ合わせによって定められて良い。表面要素の数は、サンプルの大きさおよび所望の解精度に応じて可変である。表面要素の密度も、また、表面メッシュ上の各点ごとに可変である。表面表現の精度は、一般に、表面要素の数の増大にともなって向上される。
【0042】
プロセスフローは、また、サンプルから表面発光データを取得して良い(504)。撮像システム10については、表面発光データは、カメラ20によって獲得された画像に含まれる。これらの画像は、1つまたはそれ以上の表面部分についての発光の測定結果のセットを含む。一実施形態では、サンプルについての複数の画像は、カメラに対するサンプルの相対的視点を様々に変化させることによって取得される。この場合の各画像は、サンプルからの表面発光を異なる視点からとらえた二次元画像である。複数の画像を取得するのは、複数の角度によって更なるデータを得るためである。
【0043】
画像データは、次いで、サンプル表面上に再びマッピングされて良い。カメラが作成するのは2Dデータであるので、画像データは、サンプル表面とカメラレンズとの間の幾何構造に応じた操作を施される。その結果、表面における発光輝度の値(すなわちラジアンス)が導き出される。
【0044】
図4Aは、典型的な一表面要素402に関し、その2Dカメラデータを表面データに変換するための具体的な関係図である。図4Aは、表面要素402と、画像404と、撮像システムの入射瞳406との間の関係を示している。表面要素402から放射された光は、入射瞳406を通って画像404に記録される。表面の法線を基準にした放射の角度はθ2である。入射瞳406は、小さい立体角dΩを定めている。撮像システム10は、サンプル上の表面要素402から角度θ2(表面要素402に対する法線を基準に測定された角度)で放射された光を、入射瞳によって定められた立体角dΩの範囲内に集める。この情報は、次いで、カメラによって取得された画像データを表面の幾何構造に対応する表面の発光輝度に変換する際に使用されて良い。
【0045】
プロセスフロー500は、次いで、表面発光データを表面内部の光データに変換することによって三次元表現を取得する(506)。表面の発光輝度は、サンプル表面のすぐ内側における光子密度に関係付けられる。したがって、本発明は、各表面要素についての発光輝度の値を、表面のすぐ内側における光子密度に変換する。再び図4Aを参照する。ある一表面要素における発光輝度の値I(θ2)は、その表面要素の下における光子密度ρに関係付けられる。この関係を表す式は、厳密には、表面の境界を跨がる光子の伝送を記述するモデルに依存する。この関係の一実施形態は、部分電流境界条件(Haskellらによる)に基づいて、次のように表される。
【0046】
【数1】
【0047】
ここで、cは光速、nはサンプルの媒質の屈折率、Tは表面要素を通ってサンプルから射出される光の透過係数、θは内放射角である。θは、下記のスネルの法則によって、外放射角θ2に関係付けられる。
【0048】
【数2】
【0049】
パラメータReffは、次式によって計算される平均の内反射係数である。
【0050】
【数3】
【0051】
したがって、内反射係数Reffは、表面要素の下の媒質の屈折率に依存する。組織を例にとると、Reffは、一般に、0.3〜0.5の範囲にある。
【0052】
したがって、式(1)および式(2)は、各表面要素で測定された表面発光データをその表面下における光子密度値に変換するために使用されて良い。本明細書では、添え字jは、表面要素をカウントするためのものである。したがって、ρjは、第j番目の表面要素について計算された光子密度の値である。表面発光データを表面内部の光データに変換して三次元表現を取得するプロセスは、図5Dを参照にして更に詳しく説明される。
【0053】
図5Bは、図1の撮像システム10を使用して撮像データを取得するための、本発明の一実施形態にしたがったプロセスフロー520(プロセスフロー500の504)である。プロセスフロー520は、試料または分析物などの撮像したいサンプルを、発光のために、撮像チャンバ12の中のステージ204上に載置する(521)ことから開始する。ユーザは、コンピュータ28を使用して、ステージ204にとって望ましい位置を入力する。ステージ204にとって望ましい位置は、あるいは、自動化データ収集方法に基づいて、既に知られていても良い。移送機構202は、コンピュータ28によって提供された制御信号にしたがって、ステージ204を望ましい位置に移動させる(522)。光伝送装置120も、また、コンピュータ28によって提供された制御信号にしたがって、位置を変えることが可能である。次いで、サンプルの写真画像を獲得するために、撮像チャンバ12およびそれに関連のコンポーネントの準備を整える(523)。準備は、撮像および収集のためのソフトウェア(例えばカリフォルニア州のアラメダにあるXenogen社から市販されている「LivingImage」など)をコンピュータ28上で起動させること、および、カメラ20を初期化することを含む。準備は、更に、ドア18を閉じること、ソフトウェアの中の写真獲得オプションをアクティブにすること、カメラ20の焦点をサンプルすなわち動物の特定の深さに合わせること、および、撮像チャンバ12の中の光を点灯させることを含んで良い。準備は、また、カメラ20のレンズの焦点を合わせること、カメラ20のレンズフィルタを適切な位置に選択的に配置すること、および、カメラ20のFストップを設定することなどを含んで良い。
【0054】
次いで、写真画像が獲得される(524)。代替の一実施形態では、サンプルをリアルタイムで観察するために、サンプルの写真画像の取得時に「ライブモード」が使用される。ライブモードは、ライブ映像をシミュレートするのに足る十分な頻度で撮影された一連の写真画像を含む。写真の獲得が完了すると、写真画像データは、画像処理ユニット26およびコンピュータシステム28の中のプロセッサの一方または両方に転送される。これらは、写真画像データを操作および格納するため、ならびに、写真画像データをコンピュータモニタ38への表示に備えて処理するために使用されて良い。
【0055】
本発明の一実施形態は、画像の獲得に構造光を使用する。したがって、ステージ204が望ましい位置にある状態で、構造化画像が獲得されて良い(526)。構造光画像の獲得は、上述された構造光投射システムを使用して実現されて良く、構造光投射システムの準備を整える(525)こと、および、構造光画像の獲得に使用される撮像システム10の他の任意のコンポーネントの準備を整えることを含んで良い。構造光画像の獲得が完了すると、構造光画像データは、画像処理ユニット26およびコンピュータシステム28の中のプロセッサの一方または両方に転送される。これらは、サンプルの3D表現を構築するのに役立つ。
【0056】
次に、ステージ204が、望ましい位置または先行する写真画像もしくは構造光画像の獲得の際と同じ位置にある状態で、撮像装置10は、発光画像を獲得するための準備を整える(527)。このような準備は、コンピュータ28を使用して発光の露光時間およびビニングレベルを選択すること、および、チャンバ12の中の光を消すことを含んで良い。準備が整うと、CCDカメラ20は、設定された期間(最大で数分程度)にわたって発光画像の獲得を行う(514)。発光画像データは、画像処理ユニット26およびコンピュータシステム28の中のプロセッサの一方または両方に転送される。
【0057】
この時点で、ユーザは、発光画像データを操作および格納すると共に、同データをコンピュータディスプレイ38への表示に備えて処理することが可能である。この操作は、発光画像を写真画像に被せ、これらの2つの画像を2D「オーバーレイ」画像として一緒に表示することを含んで良い。このとき、発光データは、一般に、輝度を示すために疑似カラー表示される。前述のように、光子の放射データは、カメラ上のピクセルのうち、画像の獲得期間にわたって光子を検出する特定のピクセルを表して良い。このオーバーレイ画像は、次いで、ユーザ解析の基礎をなして良く、所望の分析および操作を経ることが可能である。具体的に言うと、解析は、照明の大きさを、発光表現の一部に含まれるピクセルに加算することを含んで良い。なお、ここでの議論は、オーバーレイ画像についての1つの発光表現のみに着目しているが、プロセスフロー520は、例えば同じ時点または後の時点などにおいて、ステージ204が同じ位置にある状態で、複数の発光表現を得ることを含んでも良い(530)。
【0058】
ステージ204は、次いで、第2の位置に移動して良い(531)。上述のように、ステージが第2の位置にある状態で、サンプルの写真画像、構造光画像、および発光画像のいずれか1つまたは全部が、1つまたはそれ以上獲得されて良い。画像の収集は、代替の位置および視点からサンプル画像を獲得することによって、更に引き続き実施されて良い。3D再構成を求める場合は、サンプルの写真画像、構造化画像、および発光画像のいずれか1つまたは全部が、複数の位置から獲得されて良い。画像の獲得は、例えば、撮像チャンバ内における2〜200のいずれのサンプル位置からも実施されて良い。好ましい画像の数は、45度ずつの間隔で合計8つである。一実施形態では、このプロセスは自動化され、コンピュータ28によって制御される。
【0059】
様々な角度から適切な数の構造光画像が獲得および格納された後、コンピュータ28は、各角度から得られた構造光データを処理して構造光表現を生成する(532)。各構造光画像は、サンプル表面のこちら側半分の表面トポグラフィを提供する。
【0060】
別の一実施形態では、プロセスフロー520およびイメージング装置10は、一連の画像を使用してサンプルの3D表面トポグラフィを再構成する。サンプルの全体の3D表面は、例えば45度ごとなどのいくつかの視角から画像を獲得し、各視点から得られた部分的な表面の再構成を「縫い」合わせることによって、再構成することができる。したがって、異なる複数の視角から取得された一連の画像は、サンプルの3D表面トポグラフィを再構成するために使用されて良い。3D表面トポグラフィおよび画像データは、また、サンプル内の光源の3D位置、明るさ、および大きさを再構成するために使用されても良い。プロセッサ28によってこれらの画像が受信されると、これらのデータに対して適切な再構成アルゴリズムが適用され、3D表面トポグラフィが得られる。当業者ならば明らかなように、構造光画像から表面を再構成するためのアルゴリズムは、数多く存在する。例えば、画像上の各点における各線の位相シフトは、2Dフーリエ変換から決定することができる。このようなプロセスはJOSA 72のP156〜160(1982)に記載された、M.Takeda、H.Ina、およびS.Kobayashiによる文献「コンピュータをベースにしたトポグラフィおよびインターフェロメトリのための、フーリエ変換による縞解析方法(Fourier-transform method of fringe-pattern analysis for computer-based topography and interferometry)」に詳細に記載されている。次いで、位相マップを「接続する」ことによって、実際の表面の高さが計算される。このようなプロセスは、D.C.GhigliaおよびM.D.Prittによる教科書「二次元位相接続法の理論、アルゴリズム、およびソフトウェア(Two-Dimensional Phase Unwrapping, Theory, Algorithms, and Software)」(John Whiley and Sons出版、ニューヨーク州ニューヨーク市、1998年)に詳細に記載されている。サンプルの構造光写真表現およびサンプルの発光表現は、互いに組み合わされて、構造光の重ね合わせすなわち3Dオーバーレイ画像を形成して良く、このとき、発光データは、一般に、輝度を示すために疑似カラー表示される。
【0061】
図5Cは、図1の撮像システム10を使用して表面トポグラフィデータを取得するための、本発明の別の一実施形態にしたがったプロセスフロー510(プロセスフロー500の502)を示している。図4B〜4Hは、プロセスフロー510に対応する構造光による撮像を絵図で表したものである。
【0062】
プロセスフロー510は、構造光基準を撮像し、サンプルなしのパターンを作成する(図4Bの511)ことから開始する。これは、サンプルの撮像前に、サンプルが載置されるステージすなわち表面に構造光を照射することによって実施されて良い。サンプルの画像を獲得する際に、ステージは、サンプルがない状態で画像を獲得する場合と共通の位置に移動される。
【0063】
次いで、撮像チャンバの中にサンプルがある状態で、構造光を使用してサンプルが撮像される(図4Cの512)。構造光は、表面の法線を基準に一定の角度(例えば約30度)でサンプルに投射される一連の光線を使用する。これらの光線は、サンプルの中を通ると共に屈曲し、これらの光線の屈曲は、構造光投射器(上述された構造光投射器170など)によって照射される表面上のあらゆる位置における高さを決定するために使用できる。図2Dに示されるように、構造光投射器170は、光伝送装置120に取り付けられ、同装置と共に回転する。この場合の構造光投射器170は、ケーラー照明システムからなる。ケーラー照明システムでは、光源によってスライドが照射され、そのスライドの画像が、サンプル上または背景上に投射される。投射角度は、光線を十分に「屈曲」させることによって空間解像度を得られる程度に大きいが、同時にまた、大きな影を存在させない程度に小さくもある。
【0064】
プロセスフロー510は、次いで、構造光を使用せずにサンプルを撮像する段階(513および図4D)に進む。これは、上述された写真画像の獲得(524)に対応させられる。背景上およびサンプル上の各点における各線の位相シフトは、2Dフーリエ変換に基づいて決定されて良い。
【0065】
背景データは、次いで、位相差分布に変換される(514および図4E)。背景データは、このとき、位相差分布の計算に先だって、フーリエ変換およびフィルタリングを施される。同様に、サンプルデータも、サンプルデータのフーリエ変換およびフィルタリング、ならびにサンプルデータの位相差分布の計算によって、位相差分布に変換される(515および図4F)。
【0066】
次いで、サンプルの表面トポグラフィが計算される(516および図4G)。この場合の計算は、位相マップを「接続」することによって実施される。当業者ならば、このタスクのために、いくつかの接続アルゴリズムを利用できる。例えば、画像上の各点における各線の位相シフトは、フーリエプロフィロメトリ(断面形状測定)技術によって決定できる。これらの方法によって、縞データ(図4D)の2D高速フーリエ変換(FFT)が行われ、画像のあらゆる点における線の位相シフトが決定される(図4F)。代表的な一物体について、位相のシフト回数は2□であるので、図4Fに示されるように、位相は2□の段差を呈する。これらの位相段差は、実際の表面を決定するために「接続」される。
【0067】
上記のプロセス(511〜516)は、次いで、異なる視点および位置について繰り返されて良い(517)。複数の視点からのサンプルの撮像は、より正確な3D表面の再現を得るのに有用な追加の情報を、本明細書で説明された技術に提供することができる。複数の画像すなわち3D撮像システムにおいて各視点から取得された部分表面は、次いで、整合されて完全な3D表面を形成する(518および図4H)。整合は、非線形最小二乗による適合技術によって、繋ぎたい2つの表面上のメッシュ要素間の距離を最小化することによって実現される。整合の開始時におけるこれらの表面の向きは、一般に、最終的な整合位置にかなり近いことが望ましい。言い換えると、この方法が対応できるのは、表面位置の微調整のみである。もう1つの整合技術は、画像の中に、絶対的な参照線すなわち何らかの基準線を設ける技術である。こうすると、任意の部分表面について、例えばステージなどに対するその絶対的な位置を定めることができる。各表面の絶対的位置決めが十分に正確であれば、上述された非線形適合法は省略することができる。
【0068】
図5Dは、表面発光データを物体の体積内における光源分布の再構成に変換するための、本発明の具体的な一実施形態にしたがったプロセスフロー540を示している。本発明が不明瞭になるのを避けるため、本発明にしたがったプロセスは、本明細書では説明または例示されていないステップをいくつか追加で含んで良い。
【0069】
プロセスフロー540は、サンプルに関する表面表現の所有およびサンプルから得られた発光データの所有を前提にしている。プロセスフロー540は、表面表現を表面要素に分割する(541)ことから開始する。表面要素の数は、サンプルの表面領域および所望の解精度に応じて可変である。表面要素の数は、光子密度の詳細および変化が表面全域において把握可能である程度に大きいことが望ましい。例えばマウスについては、約100〜約10,000の表面要素が適している。
【0070】
また、プロセスフロー540は、サンプル内部の体積を体積要素に分割する(542)。一実施形態では、各体積要素は、その中心に点光源を含むものとみなされる。体積要素の立体メッシュは、実際の光源分布を近似するために使用される点光源の集合を定めている。立体メッシュのなかには、光源に近い空間ではその空間に関する情報量を増やすために密度を増大させ、対象となる活動(光の発生または移送)が生じていない領域では密度を減少させるものもある。また、ループ556について後述されるように、体積要素の大きさは、解を得る過程において、各種の適応性メッシング技術にしたがって変化しても良い。例えば、体積要素の大きさは、最初は約0.1〜1cm3であるのに対し、光源に近い部分では最終的に約1×10-3〜1×10-2cm3まで減少して良い。具体的な一例では、体積要素の大きさは、最初は約1cm3であるのに対し、光源に近い部分では最終的に約8×10-3cm3まで減少して良い。
【0071】
プロセスフロー540は、次いで、表面要素と体積要素との間に関係を確立する(544)。一実施形態では、再構成の方法は、光源の放射強度と表面における光子密度との間の線形関係を使用する。具体的な一実施形態では、この線形関係は、グリーン関数を使用して記述される。グリーン関数は、例えば体積内における不均一性や境界における内部反射など、サンプル内における光子の伝送に関するあらゆる情報を含む。グリーン関数は、光源分布の各点から各表面要素の内側に向かう、サンプル内における光子の伝送を記述する。
【0072】
サンプルの中の媒質が均質なものと想定される、すなわち均質なものとしてモデル化される場合は、グリーン関数の有用な一形態は、サンプルの表面を、体積要素の中心と表面要素とを繋ぐ線に垂直に方向付けられた局所的な平面境界として扱う、単純化された近似式である。表面における光子の密度は、部分電流境界条件を使用して、半無限の厚板内の点光源について得られた解析解である。この解は、体積要素と表面との間の距離のみの関数であるので、単純化されたグリーン関数は、体積要素と表面上の頂点とからなるあらゆる組み合わせについて、最小限の計算コストで算出することができる。
【0073】
各体積要素内の光源強度と各表面要素における光子密度との間の線形関係をグリーン関数Gijで記述すると、第j番目の表面要素における光子密度は、全部の体積要素からの寄与の和によって近似されて良い。
【0074】
【数4】
【0075】
ここで、iは、体積要素をカウントする指標であり、Siは、第i番目の体積要素内にある点光源の強度を表す値(光子数/秒)である。
【0076】
組織などの混濁した媒質内における光の伝送は、主に散乱によって支配されるので、原則的に拡散性である。拡散性の伝送である条件は、散乱係数μsが吸収係数μaよりも大きく、散乱現象間における光子密度の変化が小さいことである。均質な媒質の中の光源出力密度Uiによって生成される光子密度は、次の拡散方程式によって表されて良い。
【0077】
【数5】
【0078】
ここで、拡散係数Dは、次のように表される。
【0079】
【数6】
【0080】
この場合のグリーン関数は、サンプル表面によって課せられた境界条件のもとで得られる方程式(5)の解である。均質なものとしてモデル化されたサンプルについては、グリーン関数の有効な近似解は、表面境界において平面近似を使用する。
【0081】
図3Bは、この平面近似を示した説明図である。図では、第j番目の表面要素の中心を通る平面境界312が、xiにある点光源とxjにある表面要素とを繋ぐ線に垂直に引かれている。平面近似における光子密度は、平面境界によって定められる半無限の厚板内のxiにある点光源について、部分電流境界条件のもとで得られる解である。この場合のサンプル表面は、局所的に、xiにある点光源とxjにある表面要素とを繋ぐ線に垂直な単純な平面境界として扱われる。具体的に言うと、境界条件は単純化され、平面境界の場合と同様に扱われる。ただし、境界の方向は、表面要素ごとに異なる。
【0082】
この単純化されたグリーン関数は、半無限の厚板内の点光源について、部分電流境界条件を使用して得られる解析解である。
【0083】
【数7】
【0084】
ここで、rij=|xj−xi|であり、E1は一次の指数積分であり、μeffおよびzbはそれぞれ次のように表される。
【0085】
【数8】
【0086】
【数9】
【0087】
このような単純化されたモデルにおいて、単純化されたグリーン関数は、体積要素と表面との間の距離にのみ依存する。したがって、この場合は、単純近似などの解析方法を使用してグリーン関数を定める必要がない。
【0088】
本発明は、上述された近似のような解析方法に依存しない。別の一実施形態では、グリーン関数が、ルックアップテーブルによって定められて良い。ルックアップテーブルは、サンプル(もしくは現行のサンプルにほぼ等しくなるように近似された類似のサンプル)内における光子の伝送に関する先の測定結果によって、または、モンテカルロ法もしくは有限要素モデリングなどの技術を使用した計算シミュレーションによって、作成されて良い。この特定の方法は、例えば被験動物など、非均質な媒質からなるサンプルに対して有用である。このとき、方程式8における光学特性μaおよびμs’は、空間依存性になる。
【0089】
上述された平面境界の近似は、表面が滑らかで曲率半径が大きい場合および吸収係数が過度に小さくない(□a>0.1cm-1)場合に最も効果的である。上述された平面近似技術の有利な点は、例えばマウスなど、不定で複雑な境界を伴う拡散方程式を解く際の計算が便利であることである。マウスの頭部や手足など、より構造的な領域については、より正確な境界モデルを使用した方が良い。有限要素モデリングコードを使用したグリーン関数の計算は、より正確な境界モデルを得るための選択肢の1つである。例えば、PDEソリューションズから市販されているFlexPDEなどの有限要素コードを使用することが可能である。もう1つの選択肢は、平面表面の近似を一次の曲率まで拡張させることである。これは、Gijに関して引き続き解析表現の使用を可能にする。
【0090】
グリーン関数が決定された後は、表面における光子密度を物体内部における光源分布に関係付ける連立線形方程式を解くことによって、再構成が取得される。プロセスフロー540は、次いで、内部にある全ての体積要素について解く(546)。具体的に言うと、再構成の技術は、上述されたモデリングを前提にして、表面における光子密度をサンプル内部における光源分布に関係付ける連立線形方程式を解く。したがって、グリーン関数が決定された後は、連立線形方程式(方程式4)を取得するために、その決定されたグリーン関数が、体積要素と表面要素とからなる全ての組み合わせについて評価される。再構成方法の最終段階は、連立方程式(4)を光源強度Siについて解くことである。方程式(4)では、□が既知であるうえに、Gijも上記のように決定できるので、再構成はSiについて解く。点光源の集合は、実際の光源分布を近似したものに過ぎないので、連立線形方程式の厳密な解は、一般には存在し得ない。したがって、適切な一再構成は、連立線形方程式の最適近似解である。
【0091】
一実施形態では、連立線形方程式が、近似解を求めるための最適化問題に切り替えられる。この場合は、最適化問題を定めるために、コスト関数が使用される。適切な一コスト関数は、光源の強度の和で表されて良い。
【0092】
【数10】
【0093】
コスト関数は、1つまたはそれ以上の線形制約を課される。第1の適切な線形制約群は、光源強度が正定値であることである。
【0094】
【数11】
【0095】
第2の適切な線形制約群は、連立線形方程式(4)に基づいた連立線形不等式である。この制約群は、全ての体積要素について加算された、光子密度に対する寄与が、各表面要素における光子密度の測定値に満たないことを要する。
【0096】
【数12】
【0097】
具体的な一実施形態では、制約(11),(12)のもとでコスト関数(10)を最大化することによって、光源強度Siについての最適解が求められる。
【0098】
プロセスフロー540は、次いで、その一群の解の中から現行の最適解を求める(550)。上述された最適化問題は、線形解析技術を使用して解くことが可能である。特に効果的な技術の1つが、SIMPLEX法である。
【0099】
次いで、解の質が評価されて良い(552)。一実施形態では、実測された光子密度と計算された光子密度との差が測定される。例えば、「カイ二乗」基準が使用されて良い。
【0100】
【数13】
【0101】
χ2の値は、実測された光子密度ρiと計算された光子密度
【数14】
との差をサンプルの表面全域にわたって測定する。
【0102】
表面発光データに基づいた内部の3D光源分布データの決定は、1つまたはそれ以上の繰り返しループに組み込まれて良い。繰り返しは、体積メッシュの絞り込みを可能にすると共に、表面要素の最適なサンプリングおよび最適な重み関数構成の探索を可能にする。一般に、再構成の収束は、連立線形方程式の規模の縮小によって改善される。一実施形態では、本発明による再構成技術は、体積要素の構成、表面要素の構成、およびコスト関数の構成のうち、1つまたはそれ以上の構成を繰り返し変化させる。
【0103】
繰り返しは、解の取得を補助することもできる。SIMPLEX法は、急速に解に収束するので、計算効率の良いアルゴリズムであるという利点を有する。SIMPLEXアルゴリズムによる全体の最大値ひいては最適解の探索を補助するためには、アルゴリズムの中の重要な要素を体系的に変化させながら、SIMPLEX計算を複数回にわたって繰り返せば良い(554)。これは、適応性メッシングまたは適応性グリッディングを使用して体積要素の数を変化させること、および表面要素の部分集合を使用することによって達成できる。
【0104】
ループ556(図5D)は、体積要素の数を変化させながら解の取得ステップを繰り返すループを示している。一般には、最適化問題における体積要素の数を減らしていく一方で、光源近くでは体積要素を高密度に維持すると良い。これは、適応性メッシングを使用することによって達成できる。適切な適応性メッシングの一適用例では、先ず、サンプルの体積全体にわたって粗い体積要素メッシュを適用して最新の解を求め(544、546、および550)、Siについての初期解を得る。次に、光源強度がゼロより大きい(Si>0)体積要素を精緻化(すなわち再分)し、光源強度がゼロに等しい(Si=0)体積要素を排除する。こうして、解の取得および体積要素メッシュの精緻化を繰り返すことによって、高密度の体積要素メッシュを光源の領域に集中的に生成することができる。各繰り返しの際には、最新の解の質が評価される(552)。具体的な一実施形態では、更なる精緻化がχ2の大幅な減少を生じなくなるまで繰り返しが続けられる。
【0105】
繰り返しによる更なる改善は、三次元表現を得るために使用される表面要素の数NSを変化させることによって得られる(ループ555)。表面メッシュの表面要素の部分集合の使用は、最適化問題における制約の数を減少させ、これは、解の計算を単純化することができる。表面要素の数は、表面を均一にサンプリングするために使用できる。このとき、プロセスフロー540は、各異なる密度での表面要素メッシュのサンプリングに対応する各異なる値のNSについてループを繰り返すと共に、質の評価(552)を使用して各異なる値のNSの中から最適解を決定する。例えば、小型のマウスについて、表面要素の数が約100〜約300である場合は、繰り返しステップの大きさは、約10〜50が適切である。
【0106】
もう1つの繰り返しループは、コスト関数を変化させることによって解の取得の改善を図る。コスト関数は、例えば、重み係数Wiを含むように変更されて良い。
【0107】
【数15】
【0108】
重み係数Wiは、第i番目の体積要素から表面全域の光子密度に対する寄与である。べき指数γは、内部の体積要素と表面に近い体積要素との間において、コスト関数に対する相対的な寄与率を調整するものである。γ=0である場合は、内部の体積要素の方が大きい重みを有する。γ=1である場合は、表面に近い体積要素の方が大きい重みを有する。プロセスフロー540は、γを変化させながらループを繰り返し、光源が表面に近い場合および光源が表面から遠い場合の両方の場合について解を探索する。例えば、ステップの大きさは、0〜1のγに対して約0.01〜約0.2だけ変化して良い。具体的な一実施形態では、ステップの大きさは、0〜1のγに対して約0.05だけ変化した。ここでもやはり、質の評価(552)によって最適解が特定されて良い。
【0109】
具体的な一実施形態では、SIMPLEX計算は、2つの最適化ループからなる探索ルーチンに組み込まれる。内ループは、適応性グリッディング使用して体積メッシュの構成を最適化する。外ループは、パラメータNSおよびγの最適値を探索する。探索アルゴリズムの各ステップは、カイ二乗基準を使用してテストされる。大局解として定められるのは、χ2を最小化する解である。
【0110】
図5Eおよび図5Fは、偽物のマウス(例えば光ファイバを組み込まれたゴム製のマウス)内の1つの点状の光源について、その再構成の結果を表している。図5Eは、偽物のマウス702a,702b内における再構成された光源分布を、2つの異なる角度から示している。図に示された表面は、最大光源強度の半分に相当する等高表面を表している。図5Fは、偽物のマウス702の表面の真下における光子密度の画像(例えば708aおよび708b)を示している。第1の列706aは、測定された光子密度の対数である。第2の列706bは、シミュレートされた光子密度の対数であって、再構成された光源分布から計算されたものである。第3の列706cは、第1の列と第2の列との差である。
【0111】
プロセスフロー500,510,520,540は、処理を促進するために、多くの単純化を伴うかたちで説明されたが、本発明は、これらの単純化された計算方法に限定されない。例えば、グリーン関数は、たとえ所要計算量の増大という犠牲を伴う場合でも、上述された多くの単純化を経ずに計算されて良い。また、プロセスフロー500,510,520,540は、サンプルからの発光の測定値を、図1〜2Eに示されたシステムに基づいて得るための、具体的な方法を説明しているが、本発明による3D再構成の技術は、2D発光データを得る特定の方法またはいずれかの特定の装置の使用に限定されない。実際は、例えば同一出願による係属中の出願第09/905,668号に記載された撮像装置など、図1〜2Eに関連して上述された以外の撮像装置が使用されて良い。また、2D発光データは、独立した光源から取得されると共にデータのかたちでコンピュータ28に格納されて良く、必ずしも補完的またはローカルな撮像システムによる撮像の結果として生成される必要はない。
【0112】
更に、これまでは、生物発光性の光源に関して発明の説明を行ってきたが、本発明は、1つまたはそれ以上の蛍光性の光源を含む任意タイプの光源の3D再構成を得るためにも使用して良い。蛍光性の光源については、表面要素と体積要素との間の関係を変更して良い(544)。例えば、連立方程式に含まれるグリーン関数に対し、サンプル表面から体積要素への励起光の伝送を記述する第2のグリーン関数を乗じて良い。近似の一具体例では、連立線形方程式(4)に含まれるグリーン関数を、2つのグリーン関数の積に変更して良い。
【0113】
【数16】
【0114】
第2のグリーン関数GiEは、サンプル表面にある励起光源から第i番目の体積要素への励起光の伝送を記述する。第2のグリーン関数GijFは、第i番目の体積要素から第j番目の表面要素への蛍光の伝送を記述する。いずれのグリーン関数も、均質な媒質の場合は上記の単純近似などの解析表現をもとにして、あるいは、非均質な媒質の場合はルックアップテーブルをもとにして、決定することができる。励起光および蛍光は、異なる波長をとるのが一般的であるので、蛍光によって新たな蛍光が誘発されることはない。連立線形方程式(4)は、依然として有効であるので、プロセスフロー540は、蛍光性の光源の分布を決定するために、上記のように使用することができる。
【0115】
本発明は、入力画像の中の雑音を扱うにも、良く適している。実際の撮像システムは、いずれも、限られたダイナミックレンジを有するうえに、雑音源の影響を受けやすい。これは、再構成に対する入力データとして使用される画像の精度を低下させるので、結果として、3D表現の質を低下させる可能性がある。このため、入力画像が雑音勝ちである場合および/または限られたダイナミックレンジを有する場合は、本発明は、そのパフォーマンスを向上させるように設計された技術を含むこともできる。
【0116】
発光輝度は、一般に、サンプルの表面全域において数桁に跨って変動するので、限られたダイナミックレンジは、組織に組み込まれた光源からの生物発光を撮像する場合に、特に明白になる。限られたダイナミックレンジという条件が撮像カメラから課せられるうえに、最も高強度の領域がカメラの上限に設定されている場合は、画像の中に、ダイナミックレンジの下限を下回る発光輝度の領域が存在すると考えられる。画像の中のこれらの領域は、雑音として受信され、「雑音レベル」に対応する。
【0117】
本明細書で開示される再構成技術は、表面における発光の画像を三次元のサンプル上にマッピングすることによって、表面の下における光子密度の値を決定する。画像に雑音が含まれる場合は、再構成技術は、それらの画像のうち雑音レベルよりも上の領域のみをマッピングする。これは、各画像に対し、ピーク輝度の分数である閾値を定めることによって達成される。一実施形態では、閾値は、ピーク輝度およびカメラのダイナミックレンジに関係付けられる。具体的な一実施形態では、閾値は、ピーク輝度をダイナミックレンジで除した数よりも大きい。例えば、カメラのダイナミックレンジが1000で尚かつ画像のピーク輝度がIPである場合は、IP/500が閾値の値として適切である。画像のうち、閾値を上回る領域のみがサンプル上にマッピングされ、閾値を下回る領域は使用されない。したがって、マッピングが完了した時点において、サンプル表面上には、空の領域すなわち表面メッシュに関連付けられた光子密度の値を有さない領域が存在する。これらの領域は、一般に、生物発光の光源から最も遠く離れた表面領域である傾向がある。
【0118】
プロセスフロー540は、下記のような最適化問題を解く。すなわち、表面上のいずれの地点においても光子密度の計算値が光子密度の測定値よりも小さい、という拘束下において、合計の光源強度を最大化する。ただし、プロセスフロー540は、表面上の空の領域部分を考慮に入れても良い。なぜなら、光子密度が未知であるときは、光源強度に課される拘束が、空の領域に近い体積要素に対して排除されるからである。したがって、これらの体積要素については、光源強度を決定するに足る十分な情報が存在しない。プロセスフロー540の変更は、体積グリッドのうち、既存の光子密度情報による拘束が不十分である体積要素を排除することからなる。これは、体積要素から光子密度への寄与を、空の表面領域と空でない表面領域との間で比較することによって達成される。例えば、空の領域からなる一群の表面要素および空でない領域からなる一群の表面要素が、それぞれPおよびQで表されるとすると、体積グリッドから第i番目の体積要素を排除するための基準は、次の式で表される。
【0119】
【数17】
【0120】
定数κは、1〜10の値を有することが可能である。基準(16)は、用いられる場合、最初の体積グリッドが形成される際(542)および実行される各繰り返しの際に、各体積要素に対して適用される。
【0121】
実際の画像は、限られたダイナミックレンジを有するうえに、雑音も含む可能性がある。最小の雑音寄与は、1つには、各画像ピクセルにおける離散数の光子のサンプリングに関連付けられたショット(ポアソン)雑音によって表されてよい。ショット雑音が優位を占めている場合は、その画像における信号対雑音比は、強度の平方根とともに変化する。これは、強度が最大である領域の雑音すなわち等しくは光子密度が最大である表面領域の雑音が最小量であると望ましいことを示唆している。この雑音を考慮に入れるためには、解の質の評価(552)に変更を加えて良い。例えば、式(13)に変更を加え、雑音を考慮に入れられるようにして良い。具体的に言うと、和の各項を光子密度ρiの因数で重み付けし、下記の式を得ることができる。
【0122】
【数18】
【0123】
本発明による再構成技術は、一般に、適切なプロセッサまたはコンピュータをベースにした装置によって実施される。図6に示されるように、代表的なコンピュータシステム350は、中央演算処理装置(CPU)352と、読み出し専用メモリ(ROM)354と、ランダムアクセスメモリ(RAM)356と、拡張RAM358と、入出力(I/O)回路360と、ディスプレイアセンブリ362と、入力装置364と、拡張バス366とを含む。コンピュータシステム350は、また、ディスク駆動装置などの大容量記憶装置368またはフラッシュメモリなどの不揮発性メモリと、リアルタイムクロック360とを、状況に応じて随意に含んで良い。
【0124】
その構成如何にかかわらず、コンピュータシステム350は、サンプルの内側に位置する光源の三次元表現を得るためのプログラム命令および本明細書において説明された本発明の他の機能のためのプログラム命令を格納するように構成された、1つまたはそれ以上のメモリまたはメモリモジュールを用いて良い。このような1つまたはそれ以上のメモリは、また、データ構造、撮像データ、または本明細書において説明された他の特定の非プログラム情報を格納するように構成されても良い。
【0125】
このような情報およびプログラム命令は、本明細書において説明されたシステムまたは方法を実現するために用いられて良いので、本発明は、本明細書において説明された各種の動作を実施するためのプログラム命令および状態情報などを含む機械可読媒体に関する。機械可読媒体の例としては、ハードディスク、フロッピィディスク、および磁気テープなどの磁気媒体と、CD−ROMディスクなどの光学媒体と、フロプティカルディスクなどの光磁気ディスクと、読み出し専用メモリ(ROM)およびランダムアクセスメモリ(RAM)などのプログラム命令を格納および実施するように特別に構成されたハードウェア装置とが含まれるが、これらに限定されない。本発明は、また、放送波、可視光線、および送電線などの適切な媒体を通じて移動する搬送波に組み込まれても良い。プログラム命令の例としては、コンパイラによって生成されたマシンコードと、インタープリタを使用してコンピュータによって実行可能である高水準コードを含むファイルとの両方が含まれる。
【0126】
なお、本明細書では、議論を容易にするために、いくつかの詳細を特定したうえでコンピュータシステム350を説明してきたが、本発明は、コンピュータに実装された様々な適切な技術を使用して実施されて良い。サンプルの内側に位置する光源の三次元表現を得るためには、一般に、任意の適切なコンピュータシステムが使用されて良い。更に、本明細書において開示された、発明力のある再構成技術は、ローカルエリアネットワーク(LAN)もしくは広域ネットワーク(WAN)などのコンピュータネットワーク、またはインターネットなどのグローバルなコンピュータネットワークを介して実現されて良い。後者の場合は、再構成技術の少なくとも一部が、ダウンロード可能なコンピュータソフトおよびデータ(例えばサン・マイクロシステムズからのJava(登録商標)アプレットなど)のかたちで実現されて良い。ダウンロード可能なコンピュータソフトおよびデータは、ネットワーク上の1つまたはそれ以上のサーバ上に保持されて良く、アクセス能力もしくはアクセス許可を有する任意のクライアントコンピュータまたはクライアント端末によってアクセスされて良い。ネットワークコンピューティングの技術および実施形態は、当該分野において周知であるので、簡潔を期するために、ここでは詳しい説明を省略するものとする。
【0127】
以上では、いくつかの好ましい実施形態の観点から本発明の説明を行ったが、簡潔を期するために省略された変更形態、置換形態、および等価形態も、等しく本発明の範囲に含まれる。例えば、画像の取得および解析は、1つまたはそれ以上の異なる波長で実施されて良い。したがって、本発明の範囲は、添付の特許請求の範囲に基づいて決定することが望ましいとされる。
【図面の簡単な説明】
【0128】
【図1】サンプルの内側に位置する光源の3D表現を作成するように構成された撮像システムを、本発明の一実施形態にしたがって示した斜視図である。
【図2A】サンプルのマルチビューを容易にするための内部コンポーネントを有する図1のチャンバを、本発明の一実施形態にしたがって示した断面斜視図である。
【図2B】サンプルのマルチビューを容易にするための図2Aの内部コンポーネントを、本発明の一実施形態にしたがって示した斜視図である。
【図2C】図2Aおよび図2Bの光伝送装置に対してステージが採る4つの異なる相対位置の例:0度、90度、180度、および270度を示した説明図である。
【図2D】対象物の表面トポグラフィを取得するために使用される構造光投射器の構成を示した説明図である。
【図3A】混濁した媒質における光による撮像を、本発明の一実施形態にしたがって示した概略図である。
【図3B】表面境界における平面近似を示した説明図である。
【図3C】ある円筒状の物体について、その体積要素(ボクセル)と表面要素との間の関係を示した説明図である。
【図4A】ある代表的な表面要素について、その2Dカメラデータと表面データとの間で変換を行うための代表的な関係を示した説明図である。
【図4B】図5Cのプロセスフローに対応する構造光による撮像を絵図で表した説明図である。
【図4C】図5Cのプロセスフローに対応する構造光による撮像を絵図で表した説明図である。
【図4D】図5Cのプロセスフローに対応する構造光による撮像を絵図で表した説明図である。
【図4E】図5Cのプロセスフローに対応する構造光による撮像を絵図で表した説明図である。
【図4F】図5Cのプロセスフローに対応する構造光による撮像を絵図で表した説明図である。
【図4G】図5Cのプロセスフローに対応する構造光による撮像を絵図で表した説明図である。
【図4H】図5Cのプロセスフローに対応する構造光による撮像を絵図で表した説明図である。
【図5A】サンプルの内側にある1つまたはそれ以上の光源の3D表現を取得するためのプロセスフローを示したフローチャートである。
【図5B】図1Aの撮像システムを使用して撮像データを取得するためのプロセスフローを、本発明の一実施形態にしたがって示したフローチャートである。
【図5C】図1Aの撮像システムを使用して表面トポグラフィデータを取得するためのプロセスフローを、本発明の一実施形態にしたがって示したフローチャートである。
【図5D】表面発光データを表面内部の光に変換するためのプロセスフローを、本発明の一実施形態にしたがって示したフローチャートである。
【図5E】偽物のマウス(例えば光ファイバを組み込まれたプラスチック製のマウス)内の1つの点状の光源について、その再構成の結果を表した説明図である。
【図5F】偽物のマウス(例えば光ファイバを組み込まれたプラスチック製のマウス)内の1つの点状の光源について、その再構成の結果を表した説明図である。
【図6】代表的なコンピュータシステムを、本発明の一実施形態にしたがって示した説明図である。
【技術分野】
【0001】
本発明は、一般に、光を用いた撮像に関するものである。本発明は、より具体的には、混濁したサンプルの内側の光源または光源分布の3D表現を取得するためのシステムおよび方法に関する。このような3D表現は、生体撮像や生物医学研究などの用途において、特に有用である。
【背景技術】
【0002】
生物発光撮像は、医学研究、病理学、創薬、および薬剤開発の分野において、被験動物のインビボ(生体内)診断検査を実施するための、非侵龍性の技術である。生物発光は、一般に、ルシフェラーゼなどの蛍光レポータを移入された細胞によって引き起こされ、特定の組織(腫瘍など)を区別する、生理機能をモニタする、被験対象に投与された治療用化合物の分布を追跡する、または疾患の進行を追跡するための、マーカとして使用することができる。これまでに、腫瘍学、感染症、および形質転換動物の分野を含む、幅広い用途が提示されてきた。蛍光レポータによって標識された細胞のインビボ撮像は、緑色蛍光タンパク質(GFD)や、Cy5.5などの近赤外(NIR)色素の両分野において、やはり最近になって提示された関連技術である。
【0003】
生物発光細胞から放射された光子は、被験対象の組織の中で強く散乱されるので、伝搬には、本質的に拡散性がある。光子は、組織の中で拡散されるにつれて多くが吸収されるが、ごく一部は被験対象の表面に到達するので検出可能である。一般に、哺乳類の組織の中での吸収は、青から緑にかけてのスペクトル部分(<600nm)では高く、赤およびNIRのスペクトル部分(600〜900nm)では低い。ホタルのルシフェラーゼは、500〜700nmに及ぶ比較的広範囲の発光スペクトルを有するので、その発光の少なくとも一部は、低吸収領域に相当する。組織内における散乱の平均自由行程は、約0.5mm以下と短いので、深い光源からの光子は、表面に到達するまでに何度も散乱される。生物発光撮像システムは、被験対象の表面から放射されたこれらの光子の空間分布を効果的に記録する。
【0004】
しかしながら、最も重要な量的情報は、表面の放射ではなく、被験対象の内側にある生物発光源に関連している。重要なパラメータは、光源強度(発光細胞の数に関連している)、位置、および幾何構造である。今日までに公表されている生物発光イメージング研究の大多数は、シングルビュー型の2D撮像システムを使用したものである。画像解析は、一般に、被験対象の表面上の発光関心領域(ROI:Region of Interest)を定量化することを含む。このような解析方法は、単純であるうえに、優れた比較測定を実現できるが、光源の深さおよびそれに応じて生じる組織内での光の減衰を考慮に入れていない。
【0005】
このため、サンプル(例えば動物など)の表面上で測定された画像をもとに、そのサンプルの内側にある光子の三次元発光分布を提供できる、改良型の撮像システムおよび再構成アルゴリズムの双方の開発が望まれている。
【発明の開示】
【0006】
本発明は、例えば哺乳動物などのサンプルの内側にある1つまたはそれ以上の光源の三次元(3D)表現を取得するためのシステムおよび方法を提供する。哺乳類の組織は、混濁した媒質である。これは、このような組織の中を伝搬する光子が、伝搬されるにつれて吸収され且つ散乱されることを意味する。吸収に比べて散乱の方が大きい場合、すなわち、例えば赤色から近赤外の範囲の光が組織を通るなどの場合は、そのサンプル内における光の伝送は、拡散理論によって記述される。本発明の実施形態は、撮像データおよびコンピュータに実装された光子拡散モデルを使用して、サンプルの内側にある光源について、その3D位置、大きさ、および明るさなどなどの3D表現を生成する。
【0007】
本発明の一態様は、混濁したサンプルの内側に位置する光源分布の三次元表現を取得するための方法に関する。先ず、サンプルの内側に位置する光源分布に起源を発すると共にサンプル表面から放射される光をもとにして、表面光画像データが提供される。次いで、この提供された表面光画像データに基づいて、サンプル表面の内部の光データが取得される。特定の一実施形態では、表面光画像データは、サンプル表面のすぐ下の光子密度に変換され、この得られた光子密度は、次いで、サンプル表面の内部の光データを取得するために使用される。その結果、サンプル内の光源分布の三次元表示が得られる。
【0008】
本発明の更に別の一態様は、サンプルの内側に位置する光源の三次元表現を取得するための撮像システムに関する。該撮像システムは、内部の空洞を囲む一式の壁を有する撮像チャンバを備える。該撮像チャンバは、また、カメラを配置するように構成されたカメラマウントと、可動式のステージ装置とを有する。該可動式ステージ装置は、移送機構と、内部空洞内でサンプルを支えるように構成されたステージとを有する。ステージは、内部空洞内の複数の位置の1つにサンプルを移動させられるように、移送機構に連結されている。撮像チャンバは、更に、サンプル表面から放射された光を伝えるための光伝送機構を有する。撮像チャンバは、また、サンプルの内側に位置する光源分布に起源を発すると共にサンプルの表面から放射される光をもとに、表面光画像データを提供するように設計された、すなわち構成されたプロセッサを有する。プロセッサは、更に、サンプル表面の内部の光データを取得し、表面光画像データに基づいて光源分布の三次元表現を取得するように構成される。
【0009】
本発明の更に別の一態様は、コンピュータプログラム製品に関する。該コンピュータプログラム製品は、コンピュータ読み取りが可能媒体と、該コンピュータ読み取り可能媒体を通じて提供されるプログラム命令とを備える。プログラム命令は、サンプルの内側に位置する光源の三次元表現を取得するための再構成命令を含む。再構成命令は、上述された方法動作の1つまたはそれ以上を実施することができる。
【0010】
以下の詳細な説明は、添付の図面との関連のもとで、本発明の上記のおよびその他の特徴をより詳細に説明する。
【0011】
添付の図面は、本発明の例示を意図したものであって、本発明の限定を意図したものではない。図中、類似の参照符号は類似の構成要素を表すものとする。
【発明を実施するための最良の形態】
【0012】
以下の詳細な説明は、本発明の十分な理解を可能にするために、数多くの実施形態を示している。しかしながら、当業者ならば明らかなように、本発明は、このように詳細を特定しなくとも、代替の構成要素またはプロセスを使用して実現することが可能である。また、本発明の態様が不必要に不明瞭にならないように、周知のプロセス、構成要素、および設計の詳細な説明は省略した。
【0013】
1. 撮像システム
本発明による3D光再構成技術は、任意の適切なシステムの中で実施することが可能である。本発明による技術を実施するのに適した撮像システムの実施形態のいくつかが、Nilsonらによる2001年7月13日付けの米国特許出願第09/905,668号「マルチビュー型イメージング装置(MULTI-VIEW IMAGING APPARATUS)」に、詳しく説明されている。
【0014】
図1は、サンプルの内側に位置する光源の3D表現を作成するように構成された撮像システム10を、本発明の一実施形態にしたがって示している。撮像システム10は、様々なタスクに使用することが可能である。これらのタスクは、例えば、写真画像、発光画像、および構造光画像の獲得を含んで良い。これらのタスクは、また、3D光源表現を取得する、解析する、および操作するなど、様々な処理タスクおよび撮像タスクの実施を含んでも良い。
【0015】
撮像システム10は、一般に、感光性のカメラを使用して、低輝度の光源を撮像および処理する。光源からの光は、400〜950nmの波長範囲の可視から近赤外(NIR)までのどのスペクトル部分でも、光子および電磁エネルギと称される。当然のことながら、撮像システム10において撮像および処理される光のなかには、人間の視覚では容易に検知できない輝度の光も存在する。例えば、サンプルから放射される低輝度の光は、約103〜約1010光子/秒/平方センチメートル/ステラジアンの表面ラジアンスを有すると考えられ、この範囲の下端部は、一般に、人間が検知できるレベルを大きく下回る。
【0016】
図に示された実施形態では、撮像システム10は、発光するサンプルを収容するように構成された撮像チャンバ12を備える。撮像チャンバ12の中では、例えばルシフェラーゼに基づく発光など、低輝度の光が検出される。撮像チャンバ12には、増倍型カメラすなわち電荷結合素子(CCD)カメラなどの高感度カメラ20が連結される。カメラ20は、撮像チャンバ12内にあるサンプルの発光画像、写真画像(すなわち反射に基づく画像)、および構造光画像を獲得することができる。カメラ20は、例えば導管24を介してカメラ内に低温流体を循環させる冷却装置22などの適切な冷却源によって、随意に冷却することが可能である。
【0017】
画像処理ユニット26は、ケーブル30,32をそれぞれ介してカメラ20とコンピュータ28とを結びつける。コンピュータ28は、任意の適したタイプのコンピュータであって良く、一般に、プロセッサ、ランダムアクセスメモリ(RAM)および読み出し専用メモリ(ROM)などのメモリコンポーネントと、ディスクドライブコンポーネント(例えばハードドライブ、CD、およびフロッピィディスクなど)などのハードウェアとを含む。コンピュータ28は、また、ディスプレイ38と、キーボード40およびマウス42などの入力装置とを含む。コンピュータ28は、ケーブル34を介して撮像チャンバ12の中の様々なコンポーネントと通じている。あるいは、コンピュータは、撮像設備と一体化して、単一のユニットを構成することが可能である。
【0018】
撮像システム10の中のコンポーネントの制御および連絡を可能にするためには、コンピュータ28に、撮像システム10の任意の装置を制御および監視するためのハードウェアとソフトウェアとの任意の組み合わせを実装して良い。コンピュータ28によって制御されるコンポーネントとしては、カメラ20、カメラ20のピント合わせを受け持つモータ、カメラのレンズ、Fストップ、および撮像チャンバ12に含まれる可動式のステージに連結された1つまたはそれ以上のモータなどが含まれて良い。コンピュータ28は、また、撮像情報をユーザに提示する目的でディスプレイ38と連絡しあったり、撮像システム10を制御するためのインターフェースとして機能したりする。
【0019】
コンピュータ28は、また、本明細書で説明されるように、画像処理およびデータ操作のための適切な処理ハードウェアおよび処理ソフトウェアを含む。例えば、コンピュータ28は、サンプルの表面からの発光測定値を使用して光源の3D表現を構築するソフトウェアを含むように構成することが可能である。また、コンピュータ28は、内部空洞の内部における1つまたはそれ以上のステージ位置から得られた2Dの構造光画像を使用して3D表面トポグラフィを生成するように構成することが可能である。これらの3D光構成技術は、後ほど更に説明される。あるいは、コンピュータ28は、撮像システム10の他のコンポーネントと一体化して、独立型の装置を構成することが可能である。
【0020】
一実装形態では、後ほど詳述される3D光再構成技術は、生物発光の表面ラジアンスおよび表面トポグラフィを、サンプル表面の全域にわたって測定する必要がある。したがって、撮像システムは、サンプル表面の画像を様々な視点および位置から獲得するための機構も含んでいる。撮像システムは、次に挙げる目標を達成することが好ましい。先ず、カメラを冷却するための各種のケーブルおよび供給管路が煩雑すぎるために、撮像の際にカメラを動かすことが難しいので、カメラは固定の状態で維持されることが好ましい。第2に、サンプルは、撮像の際に水平に維持されることが好ましい。最後に、撮像システムは、サンプルの3D表面トポグラフィを、後ほど詳述される再構成技術に対する入力として取得するように構成されることが好ましい。これらの好ましい目標を達成するためには、ハードウェアとソフトウェアとを任意に適切に組み合わせて使用して良い。
【0021】
図2Aおよび図2Bは、マルチビュー方式の撮像を容易にするためのチャンバ12の各種の内部コンポーネントを、本発明の一実施形態にしたがって示している。図2Aは、チャンバ12およびその内部コンポーネントの断面斜視図であって、図2Bは、本発明の一実施形態にしたがった図2Aの内部コンポーネントの斜視図である。図に示された実施形態では、サンプルは、ミラーと共に回転する水平な透明プラットフォーム上に載置される。ミラーは、水平の光軸を中心に回転することによって、サンプルからの光を様々な角度から獲得し、獲得された光を撮像のためにカメラへと方向付ける。
【0022】
図に示されるように、可動式ステージ装置は、チャンバ12(図2A)の内部空洞の中に、発光サンプル106を支えるためのステージ204および該ステージを動かすための移送機構202のかたちで設けられる。チャンバ12の内部空洞の中には、更に、サンプルからの光をその様々な位置で収集するための光伝送装置120が含まれる。図2Aおよび図2Bに示された実施形態において、光ビーム252aのかたちでサンプルから放射される光は、一般に、光伝送装置120で反射されてビーム252bとなる。光伝送装置は、この反射光252bをアパチャ122およびレンズ262を通じて方向付けることによって、カメラ20(図1)の検出器264(図2B)が画像を獲得することを可能にする。
【0023】
一実装形態では、光伝送装置120は、ステージ204上のサンプル106からの光をアパチャ122を通じて反射させる傾斜ミラー121を有する。外壁123は、ほぼ円筒状を成しており、ステージ204上のサンプル106からの光をミラー121を介して結像レンズ262(図2B)に導くためのアパチャ122を有する。光伝送装置120の外壁123は、また、ステージ204の最新の視角に直接関連していない、チャンバ12の内部空洞の中の残光が、レンズ262に到達するのを阻止する。これは、一部には、ミラー121を、ステージ204の全長に及ぶ十分な長さに構成することによって達成される。ステージが、光伝送装置120の固定軸に対するその位置を様々に変化させるにつれて、外壁123およびミラー121は、互いに協力し合うことによって、主にステージ204の角度方向から光を収集し、それらをレンズ262に向けて反射させる。
【0024】
図に示された実施形態では、光伝送装置120は、チャンバ12に回転自在に連結され、固定軸を中心に方向258に回転する。サンプルの様々な側面から光を獲得し、サンプルのマルチビュー画像を形成することができるように、可動式ステージ装置は、ステージ204(およびサンプル106)に自由度2を付与し、ステージ204を光伝送装置120に対して複数の相対的位置に配置することができる。可動式ステージ装置を使用すれば、カメラは、撮像チャンバの中で、ステージ204に対するサンプルの相対的姿勢を変えることなしに、サンプルまたはその一部の画像を様々な視点、角度、および位置から獲得することができる。図2Cは、光伝送装置(120)に対してステージが採る4つの異なる相対位置の例を、すなわち0度、90度、180度、および270度を示している。
【0025】
可動式ステージ装置は、サンプルのマルチポジショニングおよびマルチビューイングを実現できるように、任意の適切な数、種類、および構成のコンポーネントから形成することが可能である。マルチビュー撮像システムのいくつかの実施形態が、先述のNilsonらによる特許出願に記載されている。可動式ステージ装置は、好ましくは、サンプルの位置を感知するためのセンサ機構も有する。感知されたサンプルの位置は、後ほど詳述される後続のデータ解析の手続きにおいて使用される。
【0026】
一実施形態では、光源は、撮像チャンバ12の中でサンプルすなわち試料を照射できるように、ミラーアセンブリ120のバレル(不図示)の中に設けられる。光源は、サンプルの写真画像を獲得するために光を連続照射するまたは閃光を発射させることが可能であり、発光画像を獲得する際にはオフに切り替えられる。
【0027】
サンプルの表面トポグラフィを再構成するためには、システムに構造光照明器を組み込むことが好ましい。一般的な一実装形態では、撮像システムは、例えば法線から20〜30度の角度でサンプル上にグリッド線を投射する機構を備えることが好ましい。グリッド線は、有限の高さを有する物体に遭遇すると変位する、または、プラットフォームに対する位相をシフトさせる。構造光解析用の従来の方程式を使用する場合は、サンプル表面の全域についての表面トポグラフィデータを、これらのグリッド線の位相シフトをもとに決定することができる。グリッド線同士の間隔は、サンプル表面のテクスチャおよびサンプルの大きさに応じて可変であるが、マウスのサンプルを使用する場合は、1mmあたり0.5〜2本の間隔が適していると考えられる。間隔が狭くなれば解像度が高まるが、それにともなって、毛皮などの粗い表面上では追跡が困難になる。表面トポグラフィデータは、後述される技術にしたがって3D表現を構築するために使用され、例えば、3D再構成のための境界条件を設定するためなどに使用される。
【0028】
具体的な一実施形態では、構造化光源として、単純なケーラー投射スキームが使用される。この場合は、拡散LED光源によって罫線を照射して良く、照射された罫線は、次いで、およそ10xの倍率でステージ上の動物に投射される。システム10に組み込まれたこのようなシステムの一例が、図2Dに示されている。投射器モジュール170は、回転ミラーアセンブリ120の裏面に載置されるので、サンプル106は、常にあらゆる視角から線を投射される。照射パターンは、先ず水平に投射され、次いで大型のミラーの基部にある小型ミラー173で反射された後、サンプル106を照射する。
【0029】
図2A〜2Dに照らして説明されたこのような撮像システムは、カリフォルニア州アラメダにあるXenogen社から市販されている。図2A〜2Dは、カメラ20に対するサンプル106の位置を様々に変化させてデータを取得するシステムを示しているが、本発明は、このようなシステムに限定されない。
【0030】
2. 3D光源の再構成
哺乳類などの多くの混濁したサンプルでは、サンプルの内側にある光源からサンプルの表面に向かって進む光が、サンプルの内部(例えば哺乳動物の組織など)で散乱されるので、サンプルを通る光の伝搬は、本質的に拡散性である(図3A)。光がサンプルを通って拡散するにつれて、いくらかの光は吸収されるが、ごく一部はサンプルの表面に達する。
【0031】
サンプル表面からの光の放射は、一般に、光子数/秒/平方センチメートル/ステラジアンで定められたラジアンスの単位で定められる。本明細書に記載された撮像システムは、表面の輝度をラジアンスの単位で報告するように校正されている。表面ラジアンスは、組織と空気との境界における光子伝搬モデルの使用によって、サンプル表面のすぐ内側の光子密度に関連付けることができる。表面のすぐ内側の光子密度は、次いで、拡散モデルの使用によって、サンプルの内側における発光レポータの分布に関連付けることができる。したがって、本発明は、撮像システムで測定された混濁サンプルの表面ラジアンスを、サンプルの内側における発光分布に関連付ける。具体的に言うと、本発明は、サンプル表面から放射された光データを用いる再構成技術によって、内部にある光源の3D表現を生成する。再構成技術は、a)サンプルのトポグラフィカルな表面表現と、b)表面の少なくとも一部についての一連のラジアンスの測定結果(例えば表面画像など)と、からなる入力データのセットを用いる。処理を容易にするためには、表面表現を表面要素に分割すると共に、サンプルの内部を体積要素すなわちボクセルに分割することが可能である。体積要素は、体積要素メッシュを構成する。サンプル内の光源分布は、体積要素メッシュの構成要素によって記述される。
【0032】
図3Aは、光による撮像を、本発明の一実施形態にしたがって示した概略図である。図3Aは、哺乳類のサンプル302が、CCDカメラ20で光データを獲得する撮像システム10によって撮像される様子を示している。哺乳類の組織および他の多くの混濁媒体が有する性質は、サンプル内の光源305からサンプル表面309へと伝搬する光に対して光子の散乱307を引き起こす。その結果が、サンプル表面309上の拡散画像である。本発明は、光子拡散モデルおよび撮像データを使用し、サンプル表面309に関する1つまたはそれ以上の画像をもとにして、光源305の3D位置、大きさ、および明るさを生成する。ユーザの便宜を図るため、3D表現は、例えば図1のディスプレイ38などを通じて絵図表示することが可能である。
【0033】
本発明の便利な用途の1つは、マウスなどの生きた被験動物の内側にある1つまたはそれ以上の生物発光性または蛍光性の光源を、表面における発光に関する1つまたはそれ以上の画像を使用して再構成することである。これは、例えば、腫瘍学、感染症研究、遺伝子発現研究、および毒物学などの分野で有用である。本発明は、被験動物(例えばマウス)などの複雑な表面を有するサンプルへの使用に適している。ここで言う複雑な表面とは、単一の多角形記述だけでは記述できない任意の表面を意味する。本明細書で説明される再構成の技術は、サンプル内の光源の数、大きさ、および形状などの光源分布に対して制限を設けないだけでなく、サンプル表面の幾何構造、大きさ、および形状などに対しても制限を設けない。
【0034】
サンプル表面の内部における光データは、一般に、サンプル内における実際の光を数学的に表したもの、すなわち近似したものを意味する。これは、3D位置および光源強度によってそれぞれが特徴付けられる、一群の点すなわち体積要素を含んで良い。一実施形態では、本発明は、サンプルの内部を複数の体積要素に分割する。各体積要素は、その中心に点光源を含むものとみなされる。これらの体積要素からなる立体メッシュは、次いで、サンプル内の実際の光源分布を近似するために使用される点光源の集合を定める。例として、立方の体積要素からなる立体メッシュが適切である。
【0035】
図3Cは、体積要素の立体メッシュに分割された円筒状の物体を示した図であり、図中には、体積要素の1つが具体的に示されている。各体積要素は、表面における光子密度316すなわちρjに寄与する点光源314すなわちSiを含む。立方体積要素による表現では、体積要素の大きさが、サンプルの大きさおよび所望の解精度に応じて可変である。一般に、立体メッシュの密度の増大は、内部の光データ表現の精度を向上させる。立体メッシュの密度は、サンプルの体積に応じて変化させることができる。具体的に言うと、光源に近い領域では、より正確な表現を可能にするために立体メッシュの密度を増大させ、対象となる活動が生じていない領域(発光のない領域または発光の僅かな領域)では、立体メッシュの密度を減少させることが望ましい。
【0036】
表面表現とは、サンプルの表面トポグラフィを意味しており、実際の表面を数学的に記述する、すなわち近似することによって具体化される。表面表現は、サンプル全体を含む必要はなく、特定の撮像シナリオにかかわるサンプルの一部を含むだけでも良い。マウスを例にとると、表面表現は、必ずしもマウス全体を含む必要はなく、例えば尾の末端や足の先端などは含まれなくてもない。したがって、表面表現とは、サンプルの有する任意の表面部分を広義に意味するのであって、必ずしもサンプル全体を意味するのではない。表面表現は、一般に、内部の光源に関連した表面発光データを生成する、サンプル上の1つまたはそれ以上の表面要素すなわち対象領域を含む。ユーザの便宜を図るため、表面表現の多くは、構造光構成技術から得られる3D表示のように絵図表示される。
【0037】
光源を含むサンプルは、何がしかの混濁した内部を有する。ここで言う混濁した内部とは、光のスムーズな伝送を許さない体積を意味する。混濁した内部は、1つまたはそれ以上の媒体、構造、固体、液体、および気体などを含んで良い。一実施形態では、サンプルが、均質なものとしてモデル化されるので、サンプル内の代表的な各体積要素は、同一の光伝送特性によって特徴付けられる。別の一実施形態では、サンプルが、非均質なものとしてモデル化されるので、サンプル内の代表的な各種の体積要素は、それぞれ異なる光伝送特性によって特徴付けられる。例えばマウスなどの哺乳類のサンプルに関しては、その内部が組織、骨、および臓器などの混合体であるので、非均質モデルの中の個々の光伝送特性によってそれぞれ特徴付けられる。
【0038】
本発明は、後ほど詳述されるように、サンプルの内部における三次元の光源分布を表面発光に基づいて再構成するための方法をいくつか提示する。簡単に言うと、先ず、構造光画像および発光画像からなる画像のセットが、例えば上述されたシステムなどによって取得される。次いで、構造光アルゴリズムによって動物の表面トポグラフィが再構成され、表面メッシュが作成される。表面要素は、整数jでカウントされるものとする。次いで、1つまたはそれ以上の発光画像の使用によって、撮像システムの向き、表面メッシュの向き、および第j番目の要素の表面のすぐ下における光子密度ρjが決定される。表面のすぐ下における光子密度は、後ほど詳述されるように、表面から放射される光の輝度に関係付けられる(方程式1)。表面の内部の体積には、一群の体積要素を構成することができる。体積要素は、整数iでカウントされるものとする。各体積要素の中の光源強度Siは、グリーン関数の核Gijを通じて、表面のすぐ下における光子密度に線形的に関係付けられ、その結果、後ほど詳述されるような、一組の線形方程式(方程式4)が得られる。
【0039】
図5Aは、サンプルの内側にある1つまたはそれ以上の光源の3D表現を取得するための、本発明の一実施形態にしたがったプロセスフロー500を示している。本発明にしたがったプロセスは、本発明が不明確になるのを避けるために本明細書における説明または図示を省略された、付加的なステップをいくつか含んで良い。
【0040】
プロセスフロー500は、サンプルの表面から放射された光データを操作する3D再構成の技術を使用する。再構成技術は、サンプルの幾何構造と、サンプル表面からの発光の空間分布と、に関する情報を提供するデータを用いる。このデータは、例えば、a)サンプルの表面表現と、b)表面の少なくとも一部に関する発光の測定結果(例えば画像)のセットと、を含むデータを含んで良い。このようなデータのフォーマットの1つは、(1)サンプルの表面を定める表面表現と、(2)サンプル表面から得られる発光画像のセットと、(3)サンプルと各画像との間の空間的関係を定めるパラメータの集合と、を含む。
【0041】
プロセスフロー500は、3D再構成の技術に使用される入力データを取得する(502および504)ことから開始する。プロセスフロー500は、例えば、表面表現を取得する(502)ことによって開始して良い。処理を容易にするためには、表面表現は、実際のサンプル表面を近似した複数の表面要素に、すなわち適切な表面メッシュに分割されて良い(502)。例えば、表面メッシュは、それぞれが表面要素を構成する一群の多角形の繋ぎ合わせによって定められて良い。表面要素の数は、サンプルの大きさおよび所望の解精度に応じて可変である。表面要素の密度も、また、表面メッシュ上の各点ごとに可変である。表面表現の精度は、一般に、表面要素の数の増大にともなって向上される。
【0042】
プロセスフローは、また、サンプルから表面発光データを取得して良い(504)。撮像システム10については、表面発光データは、カメラ20によって獲得された画像に含まれる。これらの画像は、1つまたはそれ以上の表面部分についての発光の測定結果のセットを含む。一実施形態では、サンプルについての複数の画像は、カメラに対するサンプルの相対的視点を様々に変化させることによって取得される。この場合の各画像は、サンプルからの表面発光を異なる視点からとらえた二次元画像である。複数の画像を取得するのは、複数の角度によって更なるデータを得るためである。
【0043】
画像データは、次いで、サンプル表面上に再びマッピングされて良い。カメラが作成するのは2Dデータであるので、画像データは、サンプル表面とカメラレンズとの間の幾何構造に応じた操作を施される。その結果、表面における発光輝度の値(すなわちラジアンス)が導き出される。
【0044】
図4Aは、典型的な一表面要素402に関し、その2Dカメラデータを表面データに変換するための具体的な関係図である。図4Aは、表面要素402と、画像404と、撮像システムの入射瞳406との間の関係を示している。表面要素402から放射された光は、入射瞳406を通って画像404に記録される。表面の法線を基準にした放射の角度はθ2である。入射瞳406は、小さい立体角dΩを定めている。撮像システム10は、サンプル上の表面要素402から角度θ2(表面要素402に対する法線を基準に測定された角度)で放射された光を、入射瞳によって定められた立体角dΩの範囲内に集める。この情報は、次いで、カメラによって取得された画像データを表面の幾何構造に対応する表面の発光輝度に変換する際に使用されて良い。
【0045】
プロセスフロー500は、次いで、表面発光データを表面内部の光データに変換することによって三次元表現を取得する(506)。表面の発光輝度は、サンプル表面のすぐ内側における光子密度に関係付けられる。したがって、本発明は、各表面要素についての発光輝度の値を、表面のすぐ内側における光子密度に変換する。再び図4Aを参照する。ある一表面要素における発光輝度の値I(θ2)は、その表面要素の下における光子密度ρに関係付けられる。この関係を表す式は、厳密には、表面の境界を跨がる光子の伝送を記述するモデルに依存する。この関係の一実施形態は、部分電流境界条件(Haskellらによる)に基づいて、次のように表される。
【0046】
【数1】
【0047】
ここで、cは光速、nはサンプルの媒質の屈折率、Tは表面要素を通ってサンプルから射出される光の透過係数、θは内放射角である。θは、下記のスネルの法則によって、外放射角θ2に関係付けられる。
【0048】
【数2】
【0049】
パラメータReffは、次式によって計算される平均の内反射係数である。
【0050】
【数3】
【0051】
したがって、内反射係数Reffは、表面要素の下の媒質の屈折率に依存する。組織を例にとると、Reffは、一般に、0.3〜0.5の範囲にある。
【0052】
したがって、式(1)および式(2)は、各表面要素で測定された表面発光データをその表面下における光子密度値に変換するために使用されて良い。本明細書では、添え字jは、表面要素をカウントするためのものである。したがって、ρjは、第j番目の表面要素について計算された光子密度の値である。表面発光データを表面内部の光データに変換して三次元表現を取得するプロセスは、図5Dを参照にして更に詳しく説明される。
【0053】
図5Bは、図1の撮像システム10を使用して撮像データを取得するための、本発明の一実施形態にしたがったプロセスフロー520(プロセスフロー500の504)である。プロセスフロー520は、試料または分析物などの撮像したいサンプルを、発光のために、撮像チャンバ12の中のステージ204上に載置する(521)ことから開始する。ユーザは、コンピュータ28を使用して、ステージ204にとって望ましい位置を入力する。ステージ204にとって望ましい位置は、あるいは、自動化データ収集方法に基づいて、既に知られていても良い。移送機構202は、コンピュータ28によって提供された制御信号にしたがって、ステージ204を望ましい位置に移動させる(522)。光伝送装置120も、また、コンピュータ28によって提供された制御信号にしたがって、位置を変えることが可能である。次いで、サンプルの写真画像を獲得するために、撮像チャンバ12およびそれに関連のコンポーネントの準備を整える(523)。準備は、撮像および収集のためのソフトウェア(例えばカリフォルニア州のアラメダにあるXenogen社から市販されている「LivingImage」など)をコンピュータ28上で起動させること、および、カメラ20を初期化することを含む。準備は、更に、ドア18を閉じること、ソフトウェアの中の写真獲得オプションをアクティブにすること、カメラ20の焦点をサンプルすなわち動物の特定の深さに合わせること、および、撮像チャンバ12の中の光を点灯させることを含んで良い。準備は、また、カメラ20のレンズの焦点を合わせること、カメラ20のレンズフィルタを適切な位置に選択的に配置すること、および、カメラ20のFストップを設定することなどを含んで良い。
【0054】
次いで、写真画像が獲得される(524)。代替の一実施形態では、サンプルをリアルタイムで観察するために、サンプルの写真画像の取得時に「ライブモード」が使用される。ライブモードは、ライブ映像をシミュレートするのに足る十分な頻度で撮影された一連の写真画像を含む。写真の獲得が完了すると、写真画像データは、画像処理ユニット26およびコンピュータシステム28の中のプロセッサの一方または両方に転送される。これらは、写真画像データを操作および格納するため、ならびに、写真画像データをコンピュータモニタ38への表示に備えて処理するために使用されて良い。
【0055】
本発明の一実施形態は、画像の獲得に構造光を使用する。したがって、ステージ204が望ましい位置にある状態で、構造化画像が獲得されて良い(526)。構造光画像の獲得は、上述された構造光投射システムを使用して実現されて良く、構造光投射システムの準備を整える(525)こと、および、構造光画像の獲得に使用される撮像システム10の他の任意のコンポーネントの準備を整えることを含んで良い。構造光画像の獲得が完了すると、構造光画像データは、画像処理ユニット26およびコンピュータシステム28の中のプロセッサの一方または両方に転送される。これらは、サンプルの3D表現を構築するのに役立つ。
【0056】
次に、ステージ204が、望ましい位置または先行する写真画像もしくは構造光画像の獲得の際と同じ位置にある状態で、撮像装置10は、発光画像を獲得するための準備を整える(527)。このような準備は、コンピュータ28を使用して発光の露光時間およびビニングレベルを選択すること、および、チャンバ12の中の光を消すことを含んで良い。準備が整うと、CCDカメラ20は、設定された期間(最大で数分程度)にわたって発光画像の獲得を行う(514)。発光画像データは、画像処理ユニット26およびコンピュータシステム28の中のプロセッサの一方または両方に転送される。
【0057】
この時点で、ユーザは、発光画像データを操作および格納すると共に、同データをコンピュータディスプレイ38への表示に備えて処理することが可能である。この操作は、発光画像を写真画像に被せ、これらの2つの画像を2D「オーバーレイ」画像として一緒に表示することを含んで良い。このとき、発光データは、一般に、輝度を示すために疑似カラー表示される。前述のように、光子の放射データは、カメラ上のピクセルのうち、画像の獲得期間にわたって光子を検出する特定のピクセルを表して良い。このオーバーレイ画像は、次いで、ユーザ解析の基礎をなして良く、所望の分析および操作を経ることが可能である。具体的に言うと、解析は、照明の大きさを、発光表現の一部に含まれるピクセルに加算することを含んで良い。なお、ここでの議論は、オーバーレイ画像についての1つの発光表現のみに着目しているが、プロセスフロー520は、例えば同じ時点または後の時点などにおいて、ステージ204が同じ位置にある状態で、複数の発光表現を得ることを含んでも良い(530)。
【0058】
ステージ204は、次いで、第2の位置に移動して良い(531)。上述のように、ステージが第2の位置にある状態で、サンプルの写真画像、構造光画像、および発光画像のいずれか1つまたは全部が、1つまたはそれ以上獲得されて良い。画像の収集は、代替の位置および視点からサンプル画像を獲得することによって、更に引き続き実施されて良い。3D再構成を求める場合は、サンプルの写真画像、構造化画像、および発光画像のいずれか1つまたは全部が、複数の位置から獲得されて良い。画像の獲得は、例えば、撮像チャンバ内における2〜200のいずれのサンプル位置からも実施されて良い。好ましい画像の数は、45度ずつの間隔で合計8つである。一実施形態では、このプロセスは自動化され、コンピュータ28によって制御される。
【0059】
様々な角度から適切な数の構造光画像が獲得および格納された後、コンピュータ28は、各角度から得られた構造光データを処理して構造光表現を生成する(532)。各構造光画像は、サンプル表面のこちら側半分の表面トポグラフィを提供する。
【0060】
別の一実施形態では、プロセスフロー520およびイメージング装置10は、一連の画像を使用してサンプルの3D表面トポグラフィを再構成する。サンプルの全体の3D表面は、例えば45度ごとなどのいくつかの視角から画像を獲得し、各視点から得られた部分的な表面の再構成を「縫い」合わせることによって、再構成することができる。したがって、異なる複数の視角から取得された一連の画像は、サンプルの3D表面トポグラフィを再構成するために使用されて良い。3D表面トポグラフィおよび画像データは、また、サンプル内の光源の3D位置、明るさ、および大きさを再構成するために使用されても良い。プロセッサ28によってこれらの画像が受信されると、これらのデータに対して適切な再構成アルゴリズムが適用され、3D表面トポグラフィが得られる。当業者ならば明らかなように、構造光画像から表面を再構成するためのアルゴリズムは、数多く存在する。例えば、画像上の各点における各線の位相シフトは、2Dフーリエ変換から決定することができる。このようなプロセスはJOSA 72のP156〜160(1982)に記載された、M.Takeda、H.Ina、およびS.Kobayashiによる文献「コンピュータをベースにしたトポグラフィおよびインターフェロメトリのための、フーリエ変換による縞解析方法(Fourier-transform method of fringe-pattern analysis for computer-based topography and interferometry)」に詳細に記載されている。次いで、位相マップを「接続する」ことによって、実際の表面の高さが計算される。このようなプロセスは、D.C.GhigliaおよびM.D.Prittによる教科書「二次元位相接続法の理論、アルゴリズム、およびソフトウェア(Two-Dimensional Phase Unwrapping, Theory, Algorithms, and Software)」(John Whiley and Sons出版、ニューヨーク州ニューヨーク市、1998年)に詳細に記載されている。サンプルの構造光写真表現およびサンプルの発光表現は、互いに組み合わされて、構造光の重ね合わせすなわち3Dオーバーレイ画像を形成して良く、このとき、発光データは、一般に、輝度を示すために疑似カラー表示される。
【0061】
図5Cは、図1の撮像システム10を使用して表面トポグラフィデータを取得するための、本発明の別の一実施形態にしたがったプロセスフロー510(プロセスフロー500の502)を示している。図4B〜4Hは、プロセスフロー510に対応する構造光による撮像を絵図で表したものである。
【0062】
プロセスフロー510は、構造光基準を撮像し、サンプルなしのパターンを作成する(図4Bの511)ことから開始する。これは、サンプルの撮像前に、サンプルが載置されるステージすなわち表面に構造光を照射することによって実施されて良い。サンプルの画像を獲得する際に、ステージは、サンプルがない状態で画像を獲得する場合と共通の位置に移動される。
【0063】
次いで、撮像チャンバの中にサンプルがある状態で、構造光を使用してサンプルが撮像される(図4Cの512)。構造光は、表面の法線を基準に一定の角度(例えば約30度)でサンプルに投射される一連の光線を使用する。これらの光線は、サンプルの中を通ると共に屈曲し、これらの光線の屈曲は、構造光投射器(上述された構造光投射器170など)によって照射される表面上のあらゆる位置における高さを決定するために使用できる。図2Dに示されるように、構造光投射器170は、光伝送装置120に取り付けられ、同装置と共に回転する。この場合の構造光投射器170は、ケーラー照明システムからなる。ケーラー照明システムでは、光源によってスライドが照射され、そのスライドの画像が、サンプル上または背景上に投射される。投射角度は、光線を十分に「屈曲」させることによって空間解像度を得られる程度に大きいが、同時にまた、大きな影を存在させない程度に小さくもある。
【0064】
プロセスフロー510は、次いで、構造光を使用せずにサンプルを撮像する段階(513および図4D)に進む。これは、上述された写真画像の獲得(524)に対応させられる。背景上およびサンプル上の各点における各線の位相シフトは、2Dフーリエ変換に基づいて決定されて良い。
【0065】
背景データは、次いで、位相差分布に変換される(514および図4E)。背景データは、このとき、位相差分布の計算に先だって、フーリエ変換およびフィルタリングを施される。同様に、サンプルデータも、サンプルデータのフーリエ変換およびフィルタリング、ならびにサンプルデータの位相差分布の計算によって、位相差分布に変換される(515および図4F)。
【0066】
次いで、サンプルの表面トポグラフィが計算される(516および図4G)。この場合の計算は、位相マップを「接続」することによって実施される。当業者ならば、このタスクのために、いくつかの接続アルゴリズムを利用できる。例えば、画像上の各点における各線の位相シフトは、フーリエプロフィロメトリ(断面形状測定)技術によって決定できる。これらの方法によって、縞データ(図4D)の2D高速フーリエ変換(FFT)が行われ、画像のあらゆる点における線の位相シフトが決定される(図4F)。代表的な一物体について、位相のシフト回数は2□であるので、図4Fに示されるように、位相は2□の段差を呈する。これらの位相段差は、実際の表面を決定するために「接続」される。
【0067】
上記のプロセス(511〜516)は、次いで、異なる視点および位置について繰り返されて良い(517)。複数の視点からのサンプルの撮像は、より正確な3D表面の再現を得るのに有用な追加の情報を、本明細書で説明された技術に提供することができる。複数の画像すなわち3D撮像システムにおいて各視点から取得された部分表面は、次いで、整合されて完全な3D表面を形成する(518および図4H)。整合は、非線形最小二乗による適合技術によって、繋ぎたい2つの表面上のメッシュ要素間の距離を最小化することによって実現される。整合の開始時におけるこれらの表面の向きは、一般に、最終的な整合位置にかなり近いことが望ましい。言い換えると、この方法が対応できるのは、表面位置の微調整のみである。もう1つの整合技術は、画像の中に、絶対的な参照線すなわち何らかの基準線を設ける技術である。こうすると、任意の部分表面について、例えばステージなどに対するその絶対的な位置を定めることができる。各表面の絶対的位置決めが十分に正確であれば、上述された非線形適合法は省略することができる。
【0068】
図5Dは、表面発光データを物体の体積内における光源分布の再構成に変換するための、本発明の具体的な一実施形態にしたがったプロセスフロー540を示している。本発明が不明瞭になるのを避けるため、本発明にしたがったプロセスは、本明細書では説明または例示されていないステップをいくつか追加で含んで良い。
【0069】
プロセスフロー540は、サンプルに関する表面表現の所有およびサンプルから得られた発光データの所有を前提にしている。プロセスフロー540は、表面表現を表面要素に分割する(541)ことから開始する。表面要素の数は、サンプルの表面領域および所望の解精度に応じて可変である。表面要素の数は、光子密度の詳細および変化が表面全域において把握可能である程度に大きいことが望ましい。例えばマウスについては、約100〜約10,000の表面要素が適している。
【0070】
また、プロセスフロー540は、サンプル内部の体積を体積要素に分割する(542)。一実施形態では、各体積要素は、その中心に点光源を含むものとみなされる。体積要素の立体メッシュは、実際の光源分布を近似するために使用される点光源の集合を定めている。立体メッシュのなかには、光源に近い空間ではその空間に関する情報量を増やすために密度を増大させ、対象となる活動(光の発生または移送)が生じていない領域では密度を減少させるものもある。また、ループ556について後述されるように、体積要素の大きさは、解を得る過程において、各種の適応性メッシング技術にしたがって変化しても良い。例えば、体積要素の大きさは、最初は約0.1〜1cm3であるのに対し、光源に近い部分では最終的に約1×10-3〜1×10-2cm3まで減少して良い。具体的な一例では、体積要素の大きさは、最初は約1cm3であるのに対し、光源に近い部分では最終的に約8×10-3cm3まで減少して良い。
【0071】
プロセスフロー540は、次いで、表面要素と体積要素との間に関係を確立する(544)。一実施形態では、再構成の方法は、光源の放射強度と表面における光子密度との間の線形関係を使用する。具体的な一実施形態では、この線形関係は、グリーン関数を使用して記述される。グリーン関数は、例えば体積内における不均一性や境界における内部反射など、サンプル内における光子の伝送に関するあらゆる情報を含む。グリーン関数は、光源分布の各点から各表面要素の内側に向かう、サンプル内における光子の伝送を記述する。
【0072】
サンプルの中の媒質が均質なものと想定される、すなわち均質なものとしてモデル化される場合は、グリーン関数の有用な一形態は、サンプルの表面を、体積要素の中心と表面要素とを繋ぐ線に垂直に方向付けられた局所的な平面境界として扱う、単純化された近似式である。表面における光子の密度は、部分電流境界条件を使用して、半無限の厚板内の点光源について得られた解析解である。この解は、体積要素と表面との間の距離のみの関数であるので、単純化されたグリーン関数は、体積要素と表面上の頂点とからなるあらゆる組み合わせについて、最小限の計算コストで算出することができる。
【0073】
各体積要素内の光源強度と各表面要素における光子密度との間の線形関係をグリーン関数Gijで記述すると、第j番目の表面要素における光子密度は、全部の体積要素からの寄与の和によって近似されて良い。
【0074】
【数4】
【0075】
ここで、iは、体積要素をカウントする指標であり、Siは、第i番目の体積要素内にある点光源の強度を表す値(光子数/秒)である。
【0076】
組織などの混濁した媒質内における光の伝送は、主に散乱によって支配されるので、原則的に拡散性である。拡散性の伝送である条件は、散乱係数μsが吸収係数μaよりも大きく、散乱現象間における光子密度の変化が小さいことである。均質な媒質の中の光源出力密度Uiによって生成される光子密度は、次の拡散方程式によって表されて良い。
【0077】
【数5】
【0078】
ここで、拡散係数Dは、次のように表される。
【0079】
【数6】
【0080】
この場合のグリーン関数は、サンプル表面によって課せられた境界条件のもとで得られる方程式(5)の解である。均質なものとしてモデル化されたサンプルについては、グリーン関数の有効な近似解は、表面境界において平面近似を使用する。
【0081】
図3Bは、この平面近似を示した説明図である。図では、第j番目の表面要素の中心を通る平面境界312が、xiにある点光源とxjにある表面要素とを繋ぐ線に垂直に引かれている。平面近似における光子密度は、平面境界によって定められる半無限の厚板内のxiにある点光源について、部分電流境界条件のもとで得られる解である。この場合のサンプル表面は、局所的に、xiにある点光源とxjにある表面要素とを繋ぐ線に垂直な単純な平面境界として扱われる。具体的に言うと、境界条件は単純化され、平面境界の場合と同様に扱われる。ただし、境界の方向は、表面要素ごとに異なる。
【0082】
この単純化されたグリーン関数は、半無限の厚板内の点光源について、部分電流境界条件を使用して得られる解析解である。
【0083】
【数7】
【0084】
ここで、rij=|xj−xi|であり、E1は一次の指数積分であり、μeffおよびzbはそれぞれ次のように表される。
【0085】
【数8】
【0086】
【数9】
【0087】
このような単純化されたモデルにおいて、単純化されたグリーン関数は、体積要素と表面との間の距離にのみ依存する。したがって、この場合は、単純近似などの解析方法を使用してグリーン関数を定める必要がない。
【0088】
本発明は、上述された近似のような解析方法に依存しない。別の一実施形態では、グリーン関数が、ルックアップテーブルによって定められて良い。ルックアップテーブルは、サンプル(もしくは現行のサンプルにほぼ等しくなるように近似された類似のサンプル)内における光子の伝送に関する先の測定結果によって、または、モンテカルロ法もしくは有限要素モデリングなどの技術を使用した計算シミュレーションによって、作成されて良い。この特定の方法は、例えば被験動物など、非均質な媒質からなるサンプルに対して有用である。このとき、方程式8における光学特性μaおよびμs’は、空間依存性になる。
【0089】
上述された平面境界の近似は、表面が滑らかで曲率半径が大きい場合および吸収係数が過度に小さくない(□a>0.1cm-1)場合に最も効果的である。上述された平面近似技術の有利な点は、例えばマウスなど、不定で複雑な境界を伴う拡散方程式を解く際の計算が便利であることである。マウスの頭部や手足など、より構造的な領域については、より正確な境界モデルを使用した方が良い。有限要素モデリングコードを使用したグリーン関数の計算は、より正確な境界モデルを得るための選択肢の1つである。例えば、PDEソリューションズから市販されているFlexPDEなどの有限要素コードを使用することが可能である。もう1つの選択肢は、平面表面の近似を一次の曲率まで拡張させることである。これは、Gijに関して引き続き解析表現の使用を可能にする。
【0090】
グリーン関数が決定された後は、表面における光子密度を物体内部における光源分布に関係付ける連立線形方程式を解くことによって、再構成が取得される。プロセスフロー540は、次いで、内部にある全ての体積要素について解く(546)。具体的に言うと、再構成の技術は、上述されたモデリングを前提にして、表面における光子密度をサンプル内部における光源分布に関係付ける連立線形方程式を解く。したがって、グリーン関数が決定された後は、連立線形方程式(方程式4)を取得するために、その決定されたグリーン関数が、体積要素と表面要素とからなる全ての組み合わせについて評価される。再構成方法の最終段階は、連立方程式(4)を光源強度Siについて解くことである。方程式(4)では、□が既知であるうえに、Gijも上記のように決定できるので、再構成はSiについて解く。点光源の集合は、実際の光源分布を近似したものに過ぎないので、連立線形方程式の厳密な解は、一般には存在し得ない。したがって、適切な一再構成は、連立線形方程式の最適近似解である。
【0091】
一実施形態では、連立線形方程式が、近似解を求めるための最適化問題に切り替えられる。この場合は、最適化問題を定めるために、コスト関数が使用される。適切な一コスト関数は、光源の強度の和で表されて良い。
【0092】
【数10】
【0093】
コスト関数は、1つまたはそれ以上の線形制約を課される。第1の適切な線形制約群は、光源強度が正定値であることである。
【0094】
【数11】
【0095】
第2の適切な線形制約群は、連立線形方程式(4)に基づいた連立線形不等式である。この制約群は、全ての体積要素について加算された、光子密度に対する寄与が、各表面要素における光子密度の測定値に満たないことを要する。
【0096】
【数12】
【0097】
具体的な一実施形態では、制約(11),(12)のもとでコスト関数(10)を最大化することによって、光源強度Siについての最適解が求められる。
【0098】
プロセスフロー540は、次いで、その一群の解の中から現行の最適解を求める(550)。上述された最適化問題は、線形解析技術を使用して解くことが可能である。特に効果的な技術の1つが、SIMPLEX法である。
【0099】
次いで、解の質が評価されて良い(552)。一実施形態では、実測された光子密度と計算された光子密度との差が測定される。例えば、「カイ二乗」基準が使用されて良い。
【0100】
【数13】
【0101】
χ2の値は、実測された光子密度ρiと計算された光子密度
【数14】
との差をサンプルの表面全域にわたって測定する。
【0102】
表面発光データに基づいた内部の3D光源分布データの決定は、1つまたはそれ以上の繰り返しループに組み込まれて良い。繰り返しは、体積メッシュの絞り込みを可能にすると共に、表面要素の最適なサンプリングおよび最適な重み関数構成の探索を可能にする。一般に、再構成の収束は、連立線形方程式の規模の縮小によって改善される。一実施形態では、本発明による再構成技術は、体積要素の構成、表面要素の構成、およびコスト関数の構成のうち、1つまたはそれ以上の構成を繰り返し変化させる。
【0103】
繰り返しは、解の取得を補助することもできる。SIMPLEX法は、急速に解に収束するので、計算効率の良いアルゴリズムであるという利点を有する。SIMPLEXアルゴリズムによる全体の最大値ひいては最適解の探索を補助するためには、アルゴリズムの中の重要な要素を体系的に変化させながら、SIMPLEX計算を複数回にわたって繰り返せば良い(554)。これは、適応性メッシングまたは適応性グリッディングを使用して体積要素の数を変化させること、および表面要素の部分集合を使用することによって達成できる。
【0104】
ループ556(図5D)は、体積要素の数を変化させながら解の取得ステップを繰り返すループを示している。一般には、最適化問題における体積要素の数を減らしていく一方で、光源近くでは体積要素を高密度に維持すると良い。これは、適応性メッシングを使用することによって達成できる。適切な適応性メッシングの一適用例では、先ず、サンプルの体積全体にわたって粗い体積要素メッシュを適用して最新の解を求め(544、546、および550)、Siについての初期解を得る。次に、光源強度がゼロより大きい(Si>0)体積要素を精緻化(すなわち再分)し、光源強度がゼロに等しい(Si=0)体積要素を排除する。こうして、解の取得および体積要素メッシュの精緻化を繰り返すことによって、高密度の体積要素メッシュを光源の領域に集中的に生成することができる。各繰り返しの際には、最新の解の質が評価される(552)。具体的な一実施形態では、更なる精緻化がχ2の大幅な減少を生じなくなるまで繰り返しが続けられる。
【0105】
繰り返しによる更なる改善は、三次元表現を得るために使用される表面要素の数NSを変化させることによって得られる(ループ555)。表面メッシュの表面要素の部分集合の使用は、最適化問題における制約の数を減少させ、これは、解の計算を単純化することができる。表面要素の数は、表面を均一にサンプリングするために使用できる。このとき、プロセスフロー540は、各異なる密度での表面要素メッシュのサンプリングに対応する各異なる値のNSについてループを繰り返すと共に、質の評価(552)を使用して各異なる値のNSの中から最適解を決定する。例えば、小型のマウスについて、表面要素の数が約100〜約300である場合は、繰り返しステップの大きさは、約10〜50が適切である。
【0106】
もう1つの繰り返しループは、コスト関数を変化させることによって解の取得の改善を図る。コスト関数は、例えば、重み係数Wiを含むように変更されて良い。
【0107】
【数15】
【0108】
重み係数Wiは、第i番目の体積要素から表面全域の光子密度に対する寄与である。べき指数γは、内部の体積要素と表面に近い体積要素との間において、コスト関数に対する相対的な寄与率を調整するものである。γ=0である場合は、内部の体積要素の方が大きい重みを有する。γ=1である場合は、表面に近い体積要素の方が大きい重みを有する。プロセスフロー540は、γを変化させながらループを繰り返し、光源が表面に近い場合および光源が表面から遠い場合の両方の場合について解を探索する。例えば、ステップの大きさは、0〜1のγに対して約0.01〜約0.2だけ変化して良い。具体的な一実施形態では、ステップの大きさは、0〜1のγに対して約0.05だけ変化した。ここでもやはり、質の評価(552)によって最適解が特定されて良い。
【0109】
具体的な一実施形態では、SIMPLEX計算は、2つの最適化ループからなる探索ルーチンに組み込まれる。内ループは、適応性グリッディング使用して体積メッシュの構成を最適化する。外ループは、パラメータNSおよびγの最適値を探索する。探索アルゴリズムの各ステップは、カイ二乗基準を使用してテストされる。大局解として定められるのは、χ2を最小化する解である。
【0110】
図5Eおよび図5Fは、偽物のマウス(例えば光ファイバを組み込まれたゴム製のマウス)内の1つの点状の光源について、その再構成の結果を表している。図5Eは、偽物のマウス702a,702b内における再構成された光源分布を、2つの異なる角度から示している。図に示された表面は、最大光源強度の半分に相当する等高表面を表している。図5Fは、偽物のマウス702の表面の真下における光子密度の画像(例えば708aおよび708b)を示している。第1の列706aは、測定された光子密度の対数である。第2の列706bは、シミュレートされた光子密度の対数であって、再構成された光源分布から計算されたものである。第3の列706cは、第1の列と第2の列との差である。
【0111】
プロセスフロー500,510,520,540は、処理を促進するために、多くの単純化を伴うかたちで説明されたが、本発明は、これらの単純化された計算方法に限定されない。例えば、グリーン関数は、たとえ所要計算量の増大という犠牲を伴う場合でも、上述された多くの単純化を経ずに計算されて良い。また、プロセスフロー500,510,520,540は、サンプルからの発光の測定値を、図1〜2Eに示されたシステムに基づいて得るための、具体的な方法を説明しているが、本発明による3D再構成の技術は、2D発光データを得る特定の方法またはいずれかの特定の装置の使用に限定されない。実際は、例えば同一出願による係属中の出願第09/905,668号に記載された撮像装置など、図1〜2Eに関連して上述された以外の撮像装置が使用されて良い。また、2D発光データは、独立した光源から取得されると共にデータのかたちでコンピュータ28に格納されて良く、必ずしも補完的またはローカルな撮像システムによる撮像の結果として生成される必要はない。
【0112】
更に、これまでは、生物発光性の光源に関して発明の説明を行ってきたが、本発明は、1つまたはそれ以上の蛍光性の光源を含む任意タイプの光源の3D再構成を得るためにも使用して良い。蛍光性の光源については、表面要素と体積要素との間の関係を変更して良い(544)。例えば、連立方程式に含まれるグリーン関数に対し、サンプル表面から体積要素への励起光の伝送を記述する第2のグリーン関数を乗じて良い。近似の一具体例では、連立線形方程式(4)に含まれるグリーン関数を、2つのグリーン関数の積に変更して良い。
【0113】
【数16】
【0114】
第2のグリーン関数GiEは、サンプル表面にある励起光源から第i番目の体積要素への励起光の伝送を記述する。第2のグリーン関数GijFは、第i番目の体積要素から第j番目の表面要素への蛍光の伝送を記述する。いずれのグリーン関数も、均質な媒質の場合は上記の単純近似などの解析表現をもとにして、あるいは、非均質な媒質の場合はルックアップテーブルをもとにして、決定することができる。励起光および蛍光は、異なる波長をとるのが一般的であるので、蛍光によって新たな蛍光が誘発されることはない。連立線形方程式(4)は、依然として有効であるので、プロセスフロー540は、蛍光性の光源の分布を決定するために、上記のように使用することができる。
【0115】
本発明は、入力画像の中の雑音を扱うにも、良く適している。実際の撮像システムは、いずれも、限られたダイナミックレンジを有するうえに、雑音源の影響を受けやすい。これは、再構成に対する入力データとして使用される画像の精度を低下させるので、結果として、3D表現の質を低下させる可能性がある。このため、入力画像が雑音勝ちである場合および/または限られたダイナミックレンジを有する場合は、本発明は、そのパフォーマンスを向上させるように設計された技術を含むこともできる。
【0116】
発光輝度は、一般に、サンプルの表面全域において数桁に跨って変動するので、限られたダイナミックレンジは、組織に組み込まれた光源からの生物発光を撮像する場合に、特に明白になる。限られたダイナミックレンジという条件が撮像カメラから課せられるうえに、最も高強度の領域がカメラの上限に設定されている場合は、画像の中に、ダイナミックレンジの下限を下回る発光輝度の領域が存在すると考えられる。画像の中のこれらの領域は、雑音として受信され、「雑音レベル」に対応する。
【0117】
本明細書で開示される再構成技術は、表面における発光の画像を三次元のサンプル上にマッピングすることによって、表面の下における光子密度の値を決定する。画像に雑音が含まれる場合は、再構成技術は、それらの画像のうち雑音レベルよりも上の領域のみをマッピングする。これは、各画像に対し、ピーク輝度の分数である閾値を定めることによって達成される。一実施形態では、閾値は、ピーク輝度およびカメラのダイナミックレンジに関係付けられる。具体的な一実施形態では、閾値は、ピーク輝度をダイナミックレンジで除した数よりも大きい。例えば、カメラのダイナミックレンジが1000で尚かつ画像のピーク輝度がIPである場合は、IP/500が閾値の値として適切である。画像のうち、閾値を上回る領域のみがサンプル上にマッピングされ、閾値を下回る領域は使用されない。したがって、マッピングが完了した時点において、サンプル表面上には、空の領域すなわち表面メッシュに関連付けられた光子密度の値を有さない領域が存在する。これらの領域は、一般に、生物発光の光源から最も遠く離れた表面領域である傾向がある。
【0118】
プロセスフロー540は、下記のような最適化問題を解く。すなわち、表面上のいずれの地点においても光子密度の計算値が光子密度の測定値よりも小さい、という拘束下において、合計の光源強度を最大化する。ただし、プロセスフロー540は、表面上の空の領域部分を考慮に入れても良い。なぜなら、光子密度が未知であるときは、光源強度に課される拘束が、空の領域に近い体積要素に対して排除されるからである。したがって、これらの体積要素については、光源強度を決定するに足る十分な情報が存在しない。プロセスフロー540の変更は、体積グリッドのうち、既存の光子密度情報による拘束が不十分である体積要素を排除することからなる。これは、体積要素から光子密度への寄与を、空の表面領域と空でない表面領域との間で比較することによって達成される。例えば、空の領域からなる一群の表面要素および空でない領域からなる一群の表面要素が、それぞれPおよびQで表されるとすると、体積グリッドから第i番目の体積要素を排除するための基準は、次の式で表される。
【0119】
【数17】
【0120】
定数κは、1〜10の値を有することが可能である。基準(16)は、用いられる場合、最初の体積グリッドが形成される際(542)および実行される各繰り返しの際に、各体積要素に対して適用される。
【0121】
実際の画像は、限られたダイナミックレンジを有するうえに、雑音も含む可能性がある。最小の雑音寄与は、1つには、各画像ピクセルにおける離散数の光子のサンプリングに関連付けられたショット(ポアソン)雑音によって表されてよい。ショット雑音が優位を占めている場合は、その画像における信号対雑音比は、強度の平方根とともに変化する。これは、強度が最大である領域の雑音すなわち等しくは光子密度が最大である表面領域の雑音が最小量であると望ましいことを示唆している。この雑音を考慮に入れるためには、解の質の評価(552)に変更を加えて良い。例えば、式(13)に変更を加え、雑音を考慮に入れられるようにして良い。具体的に言うと、和の各項を光子密度ρiの因数で重み付けし、下記の式を得ることができる。
【0122】
【数18】
【0123】
本発明による再構成技術は、一般に、適切なプロセッサまたはコンピュータをベースにした装置によって実施される。図6に示されるように、代表的なコンピュータシステム350は、中央演算処理装置(CPU)352と、読み出し専用メモリ(ROM)354と、ランダムアクセスメモリ(RAM)356と、拡張RAM358と、入出力(I/O)回路360と、ディスプレイアセンブリ362と、入力装置364と、拡張バス366とを含む。コンピュータシステム350は、また、ディスク駆動装置などの大容量記憶装置368またはフラッシュメモリなどの不揮発性メモリと、リアルタイムクロック360とを、状況に応じて随意に含んで良い。
【0124】
その構成如何にかかわらず、コンピュータシステム350は、サンプルの内側に位置する光源の三次元表現を得るためのプログラム命令および本明細書において説明された本発明の他の機能のためのプログラム命令を格納するように構成された、1つまたはそれ以上のメモリまたはメモリモジュールを用いて良い。このような1つまたはそれ以上のメモリは、また、データ構造、撮像データ、または本明細書において説明された他の特定の非プログラム情報を格納するように構成されても良い。
【0125】
このような情報およびプログラム命令は、本明細書において説明されたシステムまたは方法を実現するために用いられて良いので、本発明は、本明細書において説明された各種の動作を実施するためのプログラム命令および状態情報などを含む機械可読媒体に関する。機械可読媒体の例としては、ハードディスク、フロッピィディスク、および磁気テープなどの磁気媒体と、CD−ROMディスクなどの光学媒体と、フロプティカルディスクなどの光磁気ディスクと、読み出し専用メモリ(ROM)およびランダムアクセスメモリ(RAM)などのプログラム命令を格納および実施するように特別に構成されたハードウェア装置とが含まれるが、これらに限定されない。本発明は、また、放送波、可視光線、および送電線などの適切な媒体を通じて移動する搬送波に組み込まれても良い。プログラム命令の例としては、コンパイラによって生成されたマシンコードと、インタープリタを使用してコンピュータによって実行可能である高水準コードを含むファイルとの両方が含まれる。
【0126】
なお、本明細書では、議論を容易にするために、いくつかの詳細を特定したうえでコンピュータシステム350を説明してきたが、本発明は、コンピュータに実装された様々な適切な技術を使用して実施されて良い。サンプルの内側に位置する光源の三次元表現を得るためには、一般に、任意の適切なコンピュータシステムが使用されて良い。更に、本明細書において開示された、発明力のある再構成技術は、ローカルエリアネットワーク(LAN)もしくは広域ネットワーク(WAN)などのコンピュータネットワーク、またはインターネットなどのグローバルなコンピュータネットワークを介して実現されて良い。後者の場合は、再構成技術の少なくとも一部が、ダウンロード可能なコンピュータソフトおよびデータ(例えばサン・マイクロシステムズからのJava(登録商標)アプレットなど)のかたちで実現されて良い。ダウンロード可能なコンピュータソフトおよびデータは、ネットワーク上の1つまたはそれ以上のサーバ上に保持されて良く、アクセス能力もしくはアクセス許可を有する任意のクライアントコンピュータまたはクライアント端末によってアクセスされて良い。ネットワークコンピューティングの技術および実施形態は、当該分野において周知であるので、簡潔を期するために、ここでは詳しい説明を省略するものとする。
【0127】
以上では、いくつかの好ましい実施形態の観点から本発明の説明を行ったが、簡潔を期するために省略された変更形態、置換形態、および等価形態も、等しく本発明の範囲に含まれる。例えば、画像の取得および解析は、1つまたはそれ以上の異なる波長で実施されて良い。したがって、本発明の範囲は、添付の特許請求の範囲に基づいて決定することが望ましいとされる。
【図面の簡単な説明】
【0128】
【図1】サンプルの内側に位置する光源の3D表現を作成するように構成された撮像システムを、本発明の一実施形態にしたがって示した斜視図である。
【図2A】サンプルのマルチビューを容易にするための内部コンポーネントを有する図1のチャンバを、本発明の一実施形態にしたがって示した断面斜視図である。
【図2B】サンプルのマルチビューを容易にするための図2Aの内部コンポーネントを、本発明の一実施形態にしたがって示した斜視図である。
【図2C】図2Aおよび図2Bの光伝送装置に対してステージが採る4つの異なる相対位置の例:0度、90度、180度、および270度を示した説明図である。
【図2D】対象物の表面トポグラフィを取得するために使用される構造光投射器の構成を示した説明図である。
【図3A】混濁した媒質における光による撮像を、本発明の一実施形態にしたがって示した概略図である。
【図3B】表面境界における平面近似を示した説明図である。
【図3C】ある円筒状の物体について、その体積要素(ボクセル)と表面要素との間の関係を示した説明図である。
【図4A】ある代表的な表面要素について、その2Dカメラデータと表面データとの間で変換を行うための代表的な関係を示した説明図である。
【図4B】図5Cのプロセスフローに対応する構造光による撮像を絵図で表した説明図である。
【図4C】図5Cのプロセスフローに対応する構造光による撮像を絵図で表した説明図である。
【図4D】図5Cのプロセスフローに対応する構造光による撮像を絵図で表した説明図である。
【図4E】図5Cのプロセスフローに対応する構造光による撮像を絵図で表した説明図である。
【図4F】図5Cのプロセスフローに対応する構造光による撮像を絵図で表した説明図である。
【図4G】図5Cのプロセスフローに対応する構造光による撮像を絵図で表した説明図である。
【図4H】図5Cのプロセスフローに対応する構造光による撮像を絵図で表した説明図である。
【図5A】サンプルの内側にある1つまたはそれ以上の光源の3D表現を取得するためのプロセスフローを示したフローチャートである。
【図5B】図1Aの撮像システムを使用して撮像データを取得するためのプロセスフローを、本発明の一実施形態にしたがって示したフローチャートである。
【図5C】図1Aの撮像システムを使用して表面トポグラフィデータを取得するためのプロセスフローを、本発明の一実施形態にしたがって示したフローチャートである。
【図5D】表面発光データを表面内部の光に変換するためのプロセスフローを、本発明の一実施形態にしたがって示したフローチャートである。
【図5E】偽物のマウス(例えば光ファイバを組み込まれたプラスチック製のマウス)内の1つの点状の光源について、その再構成の結果を表した説明図である。
【図5F】偽物のマウス(例えば光ファイバを組み込まれたプラスチック製のマウス)内の1つの点状の光源について、その再構成の結果を表した説明図である。
【図6】代表的なコンピュータシステムを、本発明の一実施形態にしたがって示した説明図である。
【特許請求の範囲】
【請求項1】
サンプルの内側に位置する光源分布の三次元表現を取得するための方法であって、
前記サンプルの内側に位置する前記光源分布によってもたらされ、前記サンプルの表面から放射される光をもとに、表面光画像データを提供する工程と、
前記表面発光データに基づいて、前記サンプル内の前記光源分布の三次元表現を再構成する工程と
を備える方法。
【請求項2】
請求項1に記載の方法であって、更に、
前記サンプルのトポグラフィカルな表面表現を取得する工程を備える方法。
【請求項3】
請求項2に記載の方法であって、更に、
前記トポグラフィカルな表面表現を一群の表面要素に分割する工程を備える方法。
【請求項4】
請求項3に記載の方法であって、
各表面要素は平面に近似される、方法。
【請求項5】
請求項3または4に記載の方法であって、更に、
前記サンプル内に一群の体積要素を作成する工程を備える方法。
【請求項6】
請求項5に記載の方法であって、
各体積要素は、その中心に点光源を含むものとしてモデル化される、方法。
【請求項7】
請求項6に記載の方法であって、
前記光源分布の前記三次元表現は、一群の点光源によって近似される、方法。
【請求項8】
請求項5ないし7のいずれかに記載の方法であって、更に、
前記表面光画像データを、前記サンプルの前記表面のすぐ内側の光子密度に変換する工程を備える方法。
【請求項9】
請求項8に記載の方法であって、
所定の一体積要素内の光源の放射強度と、一表面要素のすぐ内側の光子密度との間には、線形関係が存在する、方法。
【請求項10】
請求項5ないし9のいずれかに記載の方法であって、更に、
前記光源分布の前記三次元表現についての解を取得するために、コスト関数および一群の制約を定める工程を備える方法。
【請求項11】
請求項10に記載の方法であって、
前記コスト関数は、前記サンプル内の各点光源についての光源強度の和に関連付けられ、前記制約は、(i)前記光源強度は正定値である、および(ii)前記点光源の分布によって前記物体の表面に生成された光子密度は、どこででも、測定された表面光子密度を下回る、という条件を含む、方法。
【請求項12】
請求項11に記載の方法であって、
前記三次元表現を取得する工程は、前記制約下で前記コスト関数を最大にする、方法。
【請求項13】
請求項10ないし12のいずれかに記載の方法であって、
前記コスト関数および前記制約は、連立線形方程式によって数学的に記述され、前記光源分布の前記三次元表現についての解は、SIMPLEX法を使用して得られる、方法。
【請求項14】
請求項10ないし13のいずれかに記載の方法であって、更に、
変化することによって、前記光源分布の前記三次元表現についての一群の解を生成することができる重み係数を、前記コスト関数に含ませる工程を備える方法。
【請求項15】
請求項10ないし14のいずれかに記載の方法であって、更に、
前記表面要素の数を変化させることによって、前記光源分布の前記三次元表現についての一群の解を生成する工程を備える方法。
【請求項16】
請求項5ないし15のいずれかに記載の方法であって、更に、
(a)前記体積要素の数および(b)前記体積要素の構成のいずれかを変化させることによって、前記光源分布の前記三次元表現についての一群の解を生成する工程を備える方法。
【請求項17】
請求項5ないし15のいずれかに記載の方法であって、更に、
各解について表面放射を計算すること、および計算された表面放射と測定された表面放射との差を最小にする解を選択することによって、前記光源分布の前記三次元表現を最適化する工程を備える方法。
【請求項18】
請求項16または17に記載の方法であって、
前記体積要素の数を変化させること、および、前記体積要素の構成を変化させることは、いずれも適応性のメッシングである、方法。
【請求項19】
請求項18に記載の方法であって、
前記適応性のメッシングは、前記光源の前記三次元表現を記述するために使用される前記体積要素の数を増大させる、方法。
【請求項20】
請求項19に記載の方法であって、
前記適応性のメッシングは、光源強度がゼロの体積要素を除去する、方法。
【請求項21】
請求項5ないし20のいずれかに記載の方法であって、
前記サンプル内における、所定の一体積要素から所定の一表面要素への光の伝送は、グリーン関数によって記述される、方法。
【請求項22】
請求項21に記載の方法であって、
前記グリーン関数は、前記体積要素と前記表面要素とを繋ぐ線に垂直な平面境界を有する均質な半空間内における光拡散についての解として定められる、方法。
【請求項23】
請求項21または22に記載の方法であって、
前記サンプルの内部は、非均質なものとして近似される、方法。
【請求項24】
請求項21ないし23のいずれかに記載の方法であって、
前記グリーン関数は、ルックアップテーブルによって定められる、方法。
【請求項25】
請求項21ないし23のいずれかに記載の方法であって、
前記グリーン関数は、モンテカルロシミュレーションまたは有限要素モデリングを使用して計算される、方法。
【請求項26】
請求項1ないし25のいずれかに記載の方法であって、
前記光源は、生物発光または蛍光の放射からなる、方法。
【請求項27】
請求項1ないし26のいずれかに記載の方法であって、更に、
前記表面光画像データに雑音閾値を適用する工程を備える方法。
【請求項28】
請求項27に記載の方法であって、
前記雑音閾値は、前記表面光画像データ内のピーク輝度および前記表面光画像データ内のダイナミックレンジの1つに関係付けられる、方法。
【請求項29】
請求項28に記載の方法であって、
前記雑音閾値は、前記表面光画像データ内のピーク輝度を前記表面光画像データ内のダイナミックレンジで除したものに関係付けられる、方法。
【請求項30】
請求項27に記載の方法であって、
前記表面表現は一群の表面要素に分割され、表面放射が前記雑音閾値を下回る表面要素は全て排除される、方法。
【請求項31】
請求項1ないし30に記載の方法であって、
前記サンプルは動物であって、前記光源は動物の組織を通る光を放射する、方法。
【請求項32】
請求項31に記載の方法であって、
前記動物の組織は、均質なものとして近似される、方法。
【請求項33】
請求項1ないし32のいずれかに記載の方法であって、
前記サンプルは、複雑な境界を有する、方法。
【請求項34】
請求項1ないし33のいずれかに記載の方法であって、更に、
前記光源の三次元表現として複数の候補を生成する工程を備え、前記得られた前記光源の三次元表現は、前記測定された表面光画像データに最良に適合する表現である、方法。
【請求項35】
請求項1ないし35のいずれかに記載の方法であって、更に、
前記サンプルをステージ上に配置する工程を備え、前記ステージは、前記ステージ上の前記サンプルの画像を獲得するように構成されたカメラに結合された撮像チャンバに含まれる、方法。
【請求項36】
請求項34に記載の方法であって、更に、
前記ステージを前記撮像チャンバ内の第1の位置に移動させる工程と、
前記カメラを使用して、前記第1の位置から前記サンプルの第1の画像セットを獲得する工程と
を備える方法。
【請求項37】
請求項35に記載の方法であって、
前記第1の画像セットは、発光画像、構造光画像、および写真画像からなる、方法。
【請求項38】
請求項34に記載の方法であって、更に、
前記ステージを前記撮像チャンバ内の1つまたはそれ以上の他の位置に移動させる工程であって、前記他の位置は、前記カメラに関連付けられた固定データに対して前記第1の位置と異なる角度を有する、工程と、
前記カメラを使用して、前記他の位置から前記サンプルの更なる画像セットを獲得する工程と
を備える方法。
【請求項39】
請求項38に記載の方法であって、
前記表面表現を取得する工程は、1つまたはそれ以上の構造光画像に含まれる構造光データに基づいて、前記サンプルのトポグラフィック表現を構築することである、方法。
【請求項40】
請求項34に記載の方法であって、
前記表面光画像データは、1つまたはそれ以上の異なる波長で取得される、方法。
【請求項41】
サンプルの内側に位置する光源の三次元表現を取得するための撮像システムであって、
内部の空洞を囲む一式の壁を有する撮像チャンバを備え、
前記撮像チャンバは、
カメラを配置するように構成されたカメラマウントと、
移送機構とステージとを含み、前記内部の空洞内において前記サンプルを支えるように構成された可動式のステージ装置であって、前記ステージは、前記サンプルを前記内部の空洞内の複数の位置の1つに移動させるために、前記移送機構に結合されている、可動式のステージ装置と、
前記サンプルの表面から放射された光を前記カメラに伝送するための光伝送機構と、
前記サンプルの内側に位置する前記光源分布によってもたらされ、前記サンプルの表面から放射される光をもとに、表面光画像データを提供することによって、前記表面光画像データに基づいて、前記内側の光源分布の三次元表現を取得するように設計された、すなわち構成されたプロセッサと
を含む、システム。
【請求項42】
請求項41に記載のシステムであって、
前記プロセッサは、更に、前記カメラによって受信された構造光データに基づいて、前記サンプルのトポグラフィカルな表面表現を構築するように構成される、システム。
【請求項43】
請求項41または42に記載のシステムであって、
前記移送機構は、前記ステージを二次元で移動させることができる、システム。
【請求項44】
請求項41ないし43のいずれかに記載のシステムであって、
前記光伝送装置は、固定軸を中心に回転する、システム。
【請求項45】
請求項41ないし44のいずれかに記載のシステムであって、更に、
構造光を前記サンプルに伝送するように構成された構造光光源を備える、システム。
【請求項46】
請求項45に記載のシステムであって、
前記構造光光源は、構造光を、該構造光が前記サンプルに到達する前にミラーに伝送する、システム。
【請求項47】
請求項41ないし46のいずれかに記載のシステムであって、
前記光源は、生物発光または蛍光の放射からなる、システム。
【請求項48】
コンピュータ読み取り可能な媒体と、該コンピュータ読み取り可能な媒体を通じて提供されるプログラム命令とを備えるコンピュータプログラム製品であって、
前記プログラム命令は、サンプルの内側に位置する光源分布の三次元表現を取得するための再構成命令を含み、
前記再構成命令は、前記サンプルの内側に位置する前記光源分布によってもたらされ、前記サンプルの表面から放射される光をもとに、表面光画像データを提供し、前記表面光画像データに基づいて、前記光源分布の三次元表現を取得することができる、コンピュータプログラム製品。
【請求項49】
請求項48に記載のコンピュータプログラム製品であって、更に、
前記光源分布の前記三次元表現を表示するための命令を備えるコンピュータプログラム製品。
【請求項50】
請求項48または49に記載のコンピュータプログラム製品であって、更に、
カメラによって受信された光画像データを、前記サンプルの表面表現上にマッピングするための命令を備えるコンピュータプログラム製品。
【請求項51】
請求項50に記載のコンピュータプログラム製品であって、更に、
前記表面表現を一群の表面要素に分割するための命令を備えるコンピュータプログラム製品。
【請求項52】
請求項48ないし51のいずれかに記載のコンピュータプログラム製品であって、
前記光源は、生物発光または蛍光の放射からなる、コンピュータプログラム製品。
【請求項1】
サンプルの内側に位置する光源分布の三次元表現を取得するための方法であって、
前記サンプルの内側に位置する前記光源分布によってもたらされ、前記サンプルの表面から放射される光をもとに、表面光画像データを提供する工程と、
前記表面発光データに基づいて、前記サンプル内の前記光源分布の三次元表現を再構成する工程と
を備える方法。
【請求項2】
請求項1に記載の方法であって、更に、
前記サンプルのトポグラフィカルな表面表現を取得する工程を備える方法。
【請求項3】
請求項2に記載の方法であって、更に、
前記トポグラフィカルな表面表現を一群の表面要素に分割する工程を備える方法。
【請求項4】
請求項3に記載の方法であって、
各表面要素は平面に近似される、方法。
【請求項5】
請求項3または4に記載の方法であって、更に、
前記サンプル内に一群の体積要素を作成する工程を備える方法。
【請求項6】
請求項5に記載の方法であって、
各体積要素は、その中心に点光源を含むものとしてモデル化される、方法。
【請求項7】
請求項6に記載の方法であって、
前記光源分布の前記三次元表現は、一群の点光源によって近似される、方法。
【請求項8】
請求項5ないし7のいずれかに記載の方法であって、更に、
前記表面光画像データを、前記サンプルの前記表面のすぐ内側の光子密度に変換する工程を備える方法。
【請求項9】
請求項8に記載の方法であって、
所定の一体積要素内の光源の放射強度と、一表面要素のすぐ内側の光子密度との間には、線形関係が存在する、方法。
【請求項10】
請求項5ないし9のいずれかに記載の方法であって、更に、
前記光源分布の前記三次元表現についての解を取得するために、コスト関数および一群の制約を定める工程を備える方法。
【請求項11】
請求項10に記載の方法であって、
前記コスト関数は、前記サンプル内の各点光源についての光源強度の和に関連付けられ、前記制約は、(i)前記光源強度は正定値である、および(ii)前記点光源の分布によって前記物体の表面に生成された光子密度は、どこででも、測定された表面光子密度を下回る、という条件を含む、方法。
【請求項12】
請求項11に記載の方法であって、
前記三次元表現を取得する工程は、前記制約下で前記コスト関数を最大にする、方法。
【請求項13】
請求項10ないし12のいずれかに記載の方法であって、
前記コスト関数および前記制約は、連立線形方程式によって数学的に記述され、前記光源分布の前記三次元表現についての解は、SIMPLEX法を使用して得られる、方法。
【請求項14】
請求項10ないし13のいずれかに記載の方法であって、更に、
変化することによって、前記光源分布の前記三次元表現についての一群の解を生成することができる重み係数を、前記コスト関数に含ませる工程を備える方法。
【請求項15】
請求項10ないし14のいずれかに記載の方法であって、更に、
前記表面要素の数を変化させることによって、前記光源分布の前記三次元表現についての一群の解を生成する工程を備える方法。
【請求項16】
請求項5ないし15のいずれかに記載の方法であって、更に、
(a)前記体積要素の数および(b)前記体積要素の構成のいずれかを変化させることによって、前記光源分布の前記三次元表現についての一群の解を生成する工程を備える方法。
【請求項17】
請求項5ないし15のいずれかに記載の方法であって、更に、
各解について表面放射を計算すること、および計算された表面放射と測定された表面放射との差を最小にする解を選択することによって、前記光源分布の前記三次元表現を最適化する工程を備える方法。
【請求項18】
請求項16または17に記載の方法であって、
前記体積要素の数を変化させること、および、前記体積要素の構成を変化させることは、いずれも適応性のメッシングである、方法。
【請求項19】
請求項18に記載の方法であって、
前記適応性のメッシングは、前記光源の前記三次元表現を記述するために使用される前記体積要素の数を増大させる、方法。
【請求項20】
請求項19に記載の方法であって、
前記適応性のメッシングは、光源強度がゼロの体積要素を除去する、方法。
【請求項21】
請求項5ないし20のいずれかに記載の方法であって、
前記サンプル内における、所定の一体積要素から所定の一表面要素への光の伝送は、グリーン関数によって記述される、方法。
【請求項22】
請求項21に記載の方法であって、
前記グリーン関数は、前記体積要素と前記表面要素とを繋ぐ線に垂直な平面境界を有する均質な半空間内における光拡散についての解として定められる、方法。
【請求項23】
請求項21または22に記載の方法であって、
前記サンプルの内部は、非均質なものとして近似される、方法。
【請求項24】
請求項21ないし23のいずれかに記載の方法であって、
前記グリーン関数は、ルックアップテーブルによって定められる、方法。
【請求項25】
請求項21ないし23のいずれかに記載の方法であって、
前記グリーン関数は、モンテカルロシミュレーションまたは有限要素モデリングを使用して計算される、方法。
【請求項26】
請求項1ないし25のいずれかに記載の方法であって、
前記光源は、生物発光または蛍光の放射からなる、方法。
【請求項27】
請求項1ないし26のいずれかに記載の方法であって、更に、
前記表面光画像データに雑音閾値を適用する工程を備える方法。
【請求項28】
請求項27に記載の方法であって、
前記雑音閾値は、前記表面光画像データ内のピーク輝度および前記表面光画像データ内のダイナミックレンジの1つに関係付けられる、方法。
【請求項29】
請求項28に記載の方法であって、
前記雑音閾値は、前記表面光画像データ内のピーク輝度を前記表面光画像データ内のダイナミックレンジで除したものに関係付けられる、方法。
【請求項30】
請求項27に記載の方法であって、
前記表面表現は一群の表面要素に分割され、表面放射が前記雑音閾値を下回る表面要素は全て排除される、方法。
【請求項31】
請求項1ないし30に記載の方法であって、
前記サンプルは動物であって、前記光源は動物の組織を通る光を放射する、方法。
【請求項32】
請求項31に記載の方法であって、
前記動物の組織は、均質なものとして近似される、方法。
【請求項33】
請求項1ないし32のいずれかに記載の方法であって、
前記サンプルは、複雑な境界を有する、方法。
【請求項34】
請求項1ないし33のいずれかに記載の方法であって、更に、
前記光源の三次元表現として複数の候補を生成する工程を備え、前記得られた前記光源の三次元表現は、前記測定された表面光画像データに最良に適合する表現である、方法。
【請求項35】
請求項1ないし35のいずれかに記載の方法であって、更に、
前記サンプルをステージ上に配置する工程を備え、前記ステージは、前記ステージ上の前記サンプルの画像を獲得するように構成されたカメラに結合された撮像チャンバに含まれる、方法。
【請求項36】
請求項34に記載の方法であって、更に、
前記ステージを前記撮像チャンバ内の第1の位置に移動させる工程と、
前記カメラを使用して、前記第1の位置から前記サンプルの第1の画像セットを獲得する工程と
を備える方法。
【請求項37】
請求項35に記載の方法であって、
前記第1の画像セットは、発光画像、構造光画像、および写真画像からなる、方法。
【請求項38】
請求項34に記載の方法であって、更に、
前記ステージを前記撮像チャンバ内の1つまたはそれ以上の他の位置に移動させる工程であって、前記他の位置は、前記カメラに関連付けられた固定データに対して前記第1の位置と異なる角度を有する、工程と、
前記カメラを使用して、前記他の位置から前記サンプルの更なる画像セットを獲得する工程と
を備える方法。
【請求項39】
請求項38に記載の方法であって、
前記表面表現を取得する工程は、1つまたはそれ以上の構造光画像に含まれる構造光データに基づいて、前記サンプルのトポグラフィック表現を構築することである、方法。
【請求項40】
請求項34に記載の方法であって、
前記表面光画像データは、1つまたはそれ以上の異なる波長で取得される、方法。
【請求項41】
サンプルの内側に位置する光源の三次元表現を取得するための撮像システムであって、
内部の空洞を囲む一式の壁を有する撮像チャンバを備え、
前記撮像チャンバは、
カメラを配置するように構成されたカメラマウントと、
移送機構とステージとを含み、前記内部の空洞内において前記サンプルを支えるように構成された可動式のステージ装置であって、前記ステージは、前記サンプルを前記内部の空洞内の複数の位置の1つに移動させるために、前記移送機構に結合されている、可動式のステージ装置と、
前記サンプルの表面から放射された光を前記カメラに伝送するための光伝送機構と、
前記サンプルの内側に位置する前記光源分布によってもたらされ、前記サンプルの表面から放射される光をもとに、表面光画像データを提供することによって、前記表面光画像データに基づいて、前記内側の光源分布の三次元表現を取得するように設計された、すなわち構成されたプロセッサと
を含む、システム。
【請求項42】
請求項41に記載のシステムであって、
前記プロセッサは、更に、前記カメラによって受信された構造光データに基づいて、前記サンプルのトポグラフィカルな表面表現を構築するように構成される、システム。
【請求項43】
請求項41または42に記載のシステムであって、
前記移送機構は、前記ステージを二次元で移動させることができる、システム。
【請求項44】
請求項41ないし43のいずれかに記載のシステムであって、
前記光伝送装置は、固定軸を中心に回転する、システム。
【請求項45】
請求項41ないし44のいずれかに記載のシステムであって、更に、
構造光を前記サンプルに伝送するように構成された構造光光源を備える、システム。
【請求項46】
請求項45に記載のシステムであって、
前記構造光光源は、構造光を、該構造光が前記サンプルに到達する前にミラーに伝送する、システム。
【請求項47】
請求項41ないし46のいずれかに記載のシステムであって、
前記光源は、生物発光または蛍光の放射からなる、システム。
【請求項48】
コンピュータ読み取り可能な媒体と、該コンピュータ読み取り可能な媒体を通じて提供されるプログラム命令とを備えるコンピュータプログラム製品であって、
前記プログラム命令は、サンプルの内側に位置する光源分布の三次元表現を取得するための再構成命令を含み、
前記再構成命令は、前記サンプルの内側に位置する前記光源分布によってもたらされ、前記サンプルの表面から放射される光をもとに、表面光画像データを提供し、前記表面光画像データに基づいて、前記光源分布の三次元表現を取得することができる、コンピュータプログラム製品。
【請求項49】
請求項48に記載のコンピュータプログラム製品であって、更に、
前記光源分布の前記三次元表現を表示するための命令を備えるコンピュータプログラム製品。
【請求項50】
請求項48または49に記載のコンピュータプログラム製品であって、更に、
カメラによって受信された光画像データを、前記サンプルの表面表現上にマッピングするための命令を備えるコンピュータプログラム製品。
【請求項51】
請求項50に記載のコンピュータプログラム製品であって、更に、
前記表面表現を一群の表面要素に分割するための命令を備えるコンピュータプログラム製品。
【請求項52】
請求項48ないし51のいずれかに記載のコンピュータプログラム製品であって、
前記光源は、生物発光または蛍光の放射からなる、コンピュータプログラム製品。
【図1】
【図2A】
【図2B】
【図2C】
【図2D】
【図3A】
【図3B】
【図3C】
【図4A】
【図4B】
【図4C】
【図4D】
【図4E】
【図4F】
【図4G】
【図4H】
【図5A】
【図5B】
【図5C】
【図5D】
【図5E】
【図5F】
【図6】
【図2A】
【図2B】
【図2C】
【図2D】
【図3A】
【図3B】
【図3C】
【図4A】
【図4B】
【図4C】
【図4D】
【図4E】
【図4F】
【図4G】
【図4H】
【図5A】
【図5B】
【図5C】
【図5D】
【図5E】
【図5F】
【図6】
【公表番号】特表2006−513400(P2006−513400A)
【公表日】平成18年4月20日(2006.4.20)
【国際特許分類】
【出願番号】特願2004−521921(P2004−521921)
【出願日】平成15年7月15日(2003.7.15)
【国際出願番号】PCT/US2003/022273
【国際公開番号】WO2004/008123
【国際公開日】平成16年1月22日(2004.1.22)
【出願人】(500055647)ゼノジェン コーポレイション (8)
【氏名又は名称原語表記】Xenogen Corporation
【住所又は居所原語表記】860 Atlantic Avenue, Alameda, CALIFORNIA 94501 U.S.A.
【Fターム(参考)】
【公表日】平成18年4月20日(2006.4.20)
【国際特許分類】
【出願日】平成15年7月15日(2003.7.15)
【国際出願番号】PCT/US2003/022273
【国際公開番号】WO2004/008123
【国際公開日】平成16年1月22日(2004.1.22)
【出願人】(500055647)ゼノジェン コーポレイション (8)
【氏名又は名称原語表記】Xenogen Corporation
【住所又は居所原語表記】860 Atlantic Avenue, Alameda, CALIFORNIA 94501 U.S.A.
【Fターム(参考)】
[ Back to top ]