説明

深度情報を含む画像の生成方法と装置

深度情報を含む画像を生成する方法と装置が提供される。この方法では、場面から発する放射を検出し、異なる面における場面の少なくとも2つの画像を形成する。各画像は強度データ値のセットを有する。データ値の変動が得られ、強度分散の2つのセットがデータ値から得られ、強度分散データは深度情報を得るために処理される。深度情報は、画像データにおける異なる深度情報を識別するためにコード化される。


【発明の詳細な説明】
【技術分野】
【0001】
発明の分野
本発明は、深度情報を含む画像の生成方法と装置に関する。本発明は、電磁場スペクトルの8〜12ミクロン帯域における熱画像へ特別適用される。しかし、本方法と装置はまた、電子ビーム画像、および音響画像と共に粒子放射画像の他の形式と同様に、電磁場スペクトルの他の部分(および特別可視光において)で撮られた画像に対しても有効である。
【背景技術】
【0002】
背景技術
熱画像は暗闇における場面の視覚画像を生成するために使用される。そのような画像では、周辺温度よりも高い場面における品物は容易に視認できる。しかし、従来の熱画像に関する一つの大きな課題は、画像には深度情報がほとんど、あるいは全く含まれないので、画像のある部分が画像の他の部分より前にあるのか後ろにあるのかについて確認することは非常に困難であるということである。このように、例えば人間を含む場面の熱画像を撮ると、熱画像は個々の人間は明確に示すが、空間的における人間の相対的位置を確認するために十分な情報は提供されない。
【0003】
多くの適用において、特別な目的に適合するために、画像が場面の十分な情報を提供できるように深度情報を含むことは必要なことである。
【発明の開示】
【発明が解決しようとする課題】
【0004】
発明の概要
本発明の目的は、改良された深度情報を含む画像を生成するための方法と装置を提供し、画像の種々の部分におけるお互いに関しての距離について、および画像が撮られた場所からの距離について決定できるようにすることである。
【課題を解決するための手段】
【0005】
本発明は、深度情報を含む画像を生成する方法であるといってよく、
場面から発する放射波動場を検出し、場面に関して異なる平面における少なくとも2つの場面の画像を撮り、強度データ値の第1セットで構成される第1画像と、強度データ値の第2セットで構成される第2画像を生成し、
前記データ値の第1セットにおけるデータ値の、前記データ値の第1セットにおける他の値に対しての強度変動を決定して強度分散の第1セットを生成し、前記データ値の第2セットにおけるデータ値の、前記データ値の第2セットにおける他のデータ値の強度変動を決定して強度分散の第2セットを生成し、
強度分散の第1および第2セットを処理して、深度情報を含む場面の画像データを得て、
コード基準により同一な深度情報を有する画像データをコード化して、画像データにおける異なる深度情報を特定することを含む。
【0006】
このように、分散データを生成して、その分散データを処理することにより、分散データは画像における深度情報を生成する結果となり、その深度情報はコード化され、画像における異なる深度情報が明らかになってくる。
【0007】
本発明の好適な実施形態においては、強度分散データは、本出願者の同時係属国際特許出願第PCT/AU99/00949号およびPCT/AU02/01398号に開示された位相画像生成方法に従って処理される。これら2件の国際出願の内容は、参照により本明細書に組み込まれたものとする。
【0008】
このように、強度分散データの処理ステップは好適には、
(a)一般に波動場に交差して広がる選択された表面上の放射波動場の分散データ値の変化率の代表的測定値を生成し、
(b)選択された表面上の場面に関する放射波動場の代表的測定値を生成し、
(c)分散の変化率の測定値を変換して第1積分変換表示を生成し、分散の変化率の測定値に反映される第1微分演算子の反転に対応する第1フィルタを第1積分変換表示に適用して第1変形積分変換表示を生成し、
(d)第1積分変換の逆を第1変形積分変換表示に適用して非変換表示を生成し、
(e)選択された表面上の測定値に基づく補正を非変換表示に適用し、
(f)補正非変換表示を変換して第2積分変換表示を生成し、補正非変換表示に反映される第2微分演算子の反転に対応する第2フィルタを第2積分変換表示に適用して第2変形積分変換表示を生成し、
(g)第2積分変換の逆を第2変形積分変換表示に適用して、画像データを、深度情報を含む位相画像データとして生成するように、選択された平面に交差する放射波動場の位相の測定値を生成することを含む。
【0009】
選択された表面上の場面に関する放射波動場の代表的測定値を生成するステップは、代表的測定値または分散値を得るために強度値を使用してもよい。
【0010】
特に、1つの実施形態において、選択された表面における強度値が使用される。
【0011】
他の実施形態において、最大焦点を表現する値は、強度データ値のいずれからも獲得される。
【0012】
他の実施形態において、分散データ値が代表的測定値として使用される。
【0013】
更に他の実施形態において、分散データ値のセットから獲得した最大分散値が使用される。
【0014】
好適には、第1または第2微分演算子の少なくとも1つは、一般に波動場に交差して広がる選択された表面上の放射波動場の分散の変化率の代表的測定値を生成するために放射を取得するために使用される光学システムに基づく形式を有する。
【0015】
好適には、第1および第2微分演算子の両者が、光学システムに基づく形式を有する。
【0016】
好適には、第1および第2積分変換は、フーリエ変換を使用して生成される。
【0017】
本発明の1つの実施形態において、微分演算子は、
【0018】
【数1】

【0019】
の形式を有し、ここにおいて、
【0020】
【数2】

【0021】
および
【0022】
【数3】

【0023】
であり、ρは半径横方向空間周波数、ηは縦方向空間周波数、δzは対象物の平面におけるデフォーカス距離であり、また、
【0024】
【数4】

【0025】
であり、ここで、NAcondensorおよびNAobjectiveはそれぞれ、集光装置と対物レンズの開口数である(これらは顕微鏡についての設定および寸法)。ρobjは、対物レンズにより容認される最大空間周波数である。
【0026】
好適には、場面の少なくとも2つの画像を撮るステップは、負に焦点を合わせた画像データとして第1画像を生成するために第1デフォーカス平面において第1画像を撮り、正のデフォーカス画像データを生成するために、第2デフォーカス平面において場面の第2画像を撮り、負および正のデフォーカス画像は、焦点面のそれぞれの面上で撮られ、それにより場面の焦点の合った画像を生成することを含む。
【0027】
好適には、強度分散を決定するステップは、データ値の、そのデータ値を取り囲むデータ値の鮮明度に関して、データ値のそれぞれの鮮明度の測定値を決定することを含む。
【0028】
本発明の好適な実施形態において、画像は電荷結合素子により捕捉され、画像におけるピクセルの強度値が決定され、その強度値は、各ピクセルにおける分散値を提供するために取り囲んでいるピクセルの強度と比較される。
【0029】
好適には、分散は各ピクセルに対して、下記の式
【0030】
【数5】

【0031】
により得られ、ここにおいてnは特別なピクセルであり、値1から9は、ピクセルの配列においてそのピクセルを取り囲むピクセルを表現する。
【0032】
このように、本実施形態において、各ピクセルは、分散を決定するために、特別なピクセルを直接に取り囲むピクセルと比較される。他の実施形態において、各ピクセルを、そのピクセルを取り囲むピクセルと、そのピクセルを取り囲むピクセルと一緒に、1つ遠くに離れたピクセルなどと比較することができる。分散は、各データセットにおける他のピクセルに関する各ピクセルの分散が得られるように、他の方法により決定することもできる。
【0033】
好適には、画像データの部分をコード化するステップは、場面の部分の、それぞれと比較しての相対的な距離が決定できる視覚画像を生成するように、同じ深度情報を有する画像の部分に異なる色を適用することを含む。
【0034】
好適には、場面の第3画像は、強度データ値の第3セットを生成するために、焦点の合った平面において撮られ、強度データ値の第3セットは、場面の構造的情報を場面における異なる深度情報と共に含む視覚画像を生成するために、コード化画像データと重ね合わせられる。
【0035】
しかし、他の実施形態において、視覚画像を提供するのではなく、画像はコンピュータに格納される電子画像であり、コード基準は単にコンピュータにより他の深度情報に割り当てられたコード値であり、画像が特別な位置において要求された場合に、画像のそれらの部分に関する情報が、コード基準によりコンピュータで抽出できるようにしてもよい。
【0036】
好適には、異なる深度情報は、グレースケール値を画像におけるピクセル値に割り当てることにより提供される。
【0037】
本発明はまた、上述の方法を行うコンピュータプログラムであるといってもよい。
【0038】
本発明はまた、深度情報を含む画像を生成する装置であるといってもよく、
場面から発する放射波動場を検出し、場面に関して異なる平面における少なくとも2つの場面の画像を撮り、強度データ値の第1セットと、強度データ値の第2セットを生成するカメラと、
データ値の第1セットにおける、データ値の第1セットにおける他の値と比較してのデータ値の強度変動を決定して分散データ値の第1セットを生成し、データ値の第2セットにおける、データ値の第2セットにおける他のデータ値と比較しての1つのデータ値の分散を決定して分散データ値の第2セットを生成するプロセッサと、を有し、
プロセッサは、また、第1および第2分散データ値を処理して深度情報を含む場面の画像データを生成し、
プロセッサは、更に、画像における異なる深度情報を特定するために、コード基準と同一の深度情報を有する画像の部分をコード化する。
【0039】
このように、強度変動を決定するプロセッサは、
(a)一般に波動場に交差して広がる選択された表面上の放射波動場の分散データ値の変化率の代表的測定値を生成し、
(b)選択された表面上の場面に関する放射波動場の代表的測定値を生成し、
(c)分散の変化率の測定値を変換して第1積分変換表示を生成し、分散の変化率の測定値に反映される第1微分演算子の反転に対応する第1フィルタを第1積分変換表示に適用して第1変形積分変換表示を生成し、
(d)第1積分変換の逆を第1変形積分変換表示に適用して非変換表示を生成し、
(e)選択された表面上の測定値に基づく補正を非変換表示に適用し、
(f)補正非変換表示を変換して第2積分変換表示を生成し、補正非変換表示に反映される第2微分演算子の反転に対応する第2フィルタを第2積分変換表示に適用して第2変形積分変換表示を生成し、
(g)第2積分変換の逆を第2変形積分変換表示に適用して、画像データを、深度情報を含む位相画像データとして生成するように、選択された平面に交差する放射波動場の位相の測定値を生成するためのプロセッサである。
【0040】
選択された表面上の場面に関する放射波動場の代表的測定値を生成するステップは、代表的測定値または分散値を得るために強度値を使用してもよい。
【0041】
特に、1つの実施形態において、選択された表面における強度値が使用される。
【0042】
他の実施形態において、最大焦点を表現する値は、強度データ値のいずれからも獲得される。
【0043】
他の実施形態において、分散データ値が代表的測定値として使用される。
【0044】
更に他の実施形態において、分散データ値のセットから獲得した最大分散値が使用される。
【0045】
好適には、第1または第2微分演算子の少なくとも1つは、一般に波動場に交差して広がる選択された表面上の放射波動場の分散の変化率の代表的測定値を生成するために放射を取得するために使用される光学システムに基づく形式を有する。
【0046】
好適には、第1および第2微分演算子の両者が、光学システムに基づく形式を有する。
【0047】
好適には、第1および第2積分変換は、フーリエ変換を使用して生成される。
【0048】
本発明の1つの実施形態において、微分演算子は、
【0049】
【数6】

【0050】
の形式を有し、ここにおいて、
【0051】
【数7】

【0052】
および
【0053】
【数8】

【0054】
であり、ρは半径横方向空間周波数、ηは縦方向空間周波数、δzは対象物の平面におけるデフォーカス距離であり、また、
【0055】
【数9】

【0056】
であり、ここで、NAcondensorおよびNAobjectiveはそれぞれ、集光装置と対物レンズの開口数である(カメラによる種々の画像の捕捉に顕微鏡が使用される場合、これらは顕微鏡についての設定および寸法)。ρobjは、対物レンズにより容認される最大空間周波数である。
【0057】
画像が望遠鏡などの異なる光学システムまたは単にカメラの光学装置を介して捕捉された場合は、上記の演算子はそのシステムの種々の光学装置に適合するように変形される。
【0058】
好適には、場面の少なくとも2つの画像を撮るステップは、負に焦点を合わせた画像を生成するために第1デフォーカス平面において第1画像を撮り、正のデフォーカス画像を生成するために、第2デフォーカス平面において場面の第2画像を撮り、負および正のデフォーカス画像は、焦点面のそれぞれの面上で撮られ、それにより場面の焦点の合った画像を生成することを含む。
【0059】
好適には、強度分散を決定するステップは、データ値の、そのデータ値を取り囲むデータ値の鮮明度に関して、データ値のそれぞれの鮮明度の測定値を決定することを含む。
【0060】
本発明の好適な実施形態において、画像は電荷結合素子により捕捉され、画像におけるピクセルの強度値が決定され、その強度値は、各ピクセルにおける分散を提供するために取り囲んでいるピクセルの強度と比較される。
【0061】
好適には、分散は各ピクセルに対して、下記の式
【0062】
【数10】

【0063】
により得られ、ここにおいてnは特別なピクセルであり、値1から9は、ピクセルの配列においてそのピクセルを取り囲むピクセルを表現し、Iは各ピクセルの強度値である。
【0064】
好適には、処理画像の部分をコード化するステップは、場面の部分の、それぞれと比較しての相対的な距離が決定できる視覚画像を生成するように、同じ深度情報を有する画像の部分に異なる色を適用することを含む。
【0065】
しかし、他の実施形態において、視覚画像を提供するのではなく、画像はコンピュータに格納される電子画像であり、コード基準は単にコンピュータにより他の深度情報に割り当てられたコード値であり、画像が特別な位置において要求された場合に、画像のそれらの部分に関する情報が、コード基準を参照することによりコンピュータで抽出できるようにしてもよい。
【0066】
好適には、異なる深度情報は、グレースケール値を画像におけるピクセル値に割り当てることにより提供される。
【発明を実施するための最良の形態】
【0067】
本発明の好適な実施形態は、添付図を参照して説明される。
【0068】
本発明の好適な実施形態では、画像は、本出願者の国際出願第PCT/AU99/00949号およびPCT/AU02/01398号に開示された位相決定技術に従って効果的に処理される。しかし、これらの出願に開示されたアルゴリズムを使用して、画像生成のために捕捉された場面に関連するデータ処理のために使用する前に、データはまず、分散データを生成するように操作され、分散データは、上記の国際出願に開示されたように、純粋な強度データではなく、アルゴリズムに従って処理される。しかし、これ以外は、データの処理方法は、上記の国際出願に開示されたものと同じである。
【0069】
図1は、3つの異なる焦点面における場面の画像を示す図である。平面I0は、場面の焦点の合った画像を捕捉するために使用される焦点の合った平面である。場面は、車両、人員などのような多数の物体または対象物を含んでもよく、一般的に、本発明の好適な実施形態は、熱画像を得るために使用されることになる。しかし、本発明は、他のタイプの画像についても使用でき、それらの画像における深度情報を改良する。画像の異なる部分を、画像の他の部分と距離に関して比較できるようにする深度情報を、熱画像は一般的にはほとんど、または全く含んでいないので、本発明は熱画像に特別に適用できる。このように、熱画像においては、画像のある部分が、画像を捕捉した場所に近いのか、または離れているのか、または画像の部分同士が空間的にどのように関連して位置しているのかについて確定することは非常に困難である。
【0070】
平面V-は、画像を捕捉するために使用されたカメラ20(図2参照)の被写界深度内で負にデフォーカスされた平面であり、平面I0は焦点面であり、平面V+は、これもまたカメラ20の被写界深度内で正にデフォーカスされた面であるが、平面I0に関しては、正にデフォーカスされている。言い換えれば、平面V-は、焦点の合った平面I0よりもスクリーンに近く、平面V+は、焦点の合った面I0よりもスクリーンから離れている。
【0071】
典型的に、平面V-において撮られ、たまたま平面V-に焦点の合った画像の部分は、平面V-において、非常に鮮明な画像点21を生成するが、平面V+においては、参照番号22により示されるように、非常に不明瞭な、デフォーカスされた画像となる。21と22において画像を生成する波形は、図1の23において示されている。同様に、平面V-においてデフォーカスされ、ぼやけている画像24の部分は、参照番号25に示されるように、平面V+において焦点が合わせられる。ここで再び、画像のこれらの部分を生成する波動場の形状が、26において示されている。
【0072】
図2に示すように、カメラ20は、平面V-、I0、およびV+において、図2に示すSに概略的に示された場面の画像を捕捉するために使用され、これらの3つの面における強度データの3つのセットが、カメラ20のピクセルにより捕捉される。
【0073】
本発明の好適な実施形態において、カメラ20は、焦点調整可能なGeレンズ付きの、8から12ミクロン帯域で動作する、低温工学的に冷却される、640×480ピクセル配列の熱カメラである。カメラ20により捕捉された強度データは、プロセッサ40内で処理され、ディスプレイ42上に画像が表示される。
【0074】
プロセッサ40はまず、平面V-およびV+における2つの画像のそれぞれに対するピクセルの個々に対して分散値を決定する。このようにして、分散データの2つのセットが生成される。
【0075】
図3は、カメラ20を形成するピクセル配列の9個のピクセルの例を示し、ピクセルI5における分散は、下記の式に従って決定される。
【0076】
【数11】

【0077】
このようにして、図3の配列における5番目のピクセルの分散値が決定される。図3において、配列の縁に配置されたピクセルは、値を0に設定して、計算に含まれないようにすることができる。これにより、画像のサイズは、ピクセル2個分の幅だけわずかに縮小される。しかし、すべてのピクセルは8個の他のピクセルにより取り囲まれることになるため、上記の方法ですべての分散を決定することができ、計算が大幅に容易になる。同様に、配列における他のピクセルのそれぞれに対して分散値が、平面V-およびV+の画像ピクセルのそれぞれに対して決定され、分散データの2つのセットが生成されることになる。分散データの2つのセットは、カメラ20により元々捕捉された純粋な強度データの代わりに、場面の位相画像データを生成するためのアルゴリズムにおいて使用される。分散データを使用することにより、平面V-およびV+のそれぞれにおける画像の鮮明度の測定値が提供され、そのため、画像の他の部分に関する画像の部分の深度の測定値を本質的に含むことになる。分散データは、上述の国際出願に開示されたように、強度データと同様な方法で処理され、被写界深度情報が含まれる場面の位相画像を生成する。分散データは位相画像を生成するために使用されるので、画像には、場面における物体や物の実際の構造についての詳細はほとんど含まれないが、場面の特徴を示す全体的な外形は含まれる。処理画像における場所情報の深度は、処理画像データ内のピクセルのそれぞれにおけるグレースケール値により与えられ、そのため、それが今度は、画像が撮られた場所からの、場面の部分の場所に関すると共に、場面の他の部分に関する各ピクセルに関連する場面の部分の相対測定値を提供する。例えば、図4にもっともよく示されているように、画像が撮られた場所に非常に近い物は、参照番号61により示されるようにより暗く見え、遠く離れた物は、62におけるように、もっと明るく見える。
【0078】
処理位相画像におけるピクセルのそれぞれに割り当てられたグレースケール値は、場面の部分に、画像が撮影された場所からの距離、および相互に関しての距離の実際の測定値を提供するために使用できる。例えば、カメラの光学装置が既知であり、平面V1およびV+間の距離もまた既知であれば、実際の測定値を、画像の種々のグレースケールに関連付けて、相互に関しての場面の部分の距離測定値、および画像が撮られた場所からの距離測定値を提供することができる。
【0079】
図4に示される画像は、コード化され、同じグレースケール値を有する画像の部分に、コード基準を適用することにより、画像内の物体の異なる距離をより明確にもたらすようにすることができる。これは、多様な異なる方法で実行できるが、最も好適には、画像の部分を偽色パレットでコード化して、同じグレースケール値を有する画像の部分は、同じ色で表現されるようにするように行うことである。これは、画像全体がほぼ同じ濃淡で現れる単なる従来の熱画像よりも、画像における深度情報をはるかに容易に認識できるようになる。例えば、図5において、画像において物体に近い、例えば画像が撮られた場所から10メートルから、100メートル離れた場所までのグレースケール値が示されている。これらのグレースケール値には、上記に言及した方法により、異なる色を割り当てることができ、それにより、特別な色を、画像における特別な距離に関連付けて、画像における物体が相互に、実際に位置する場所をはるかに容易に認識できるようになる。
【0080】
物体の詳細が示される画像を生成するためには、純粋な距離情報にではなく、処理画像を、焦点の合った平面である平面I0において撮られた画像の強度に適用して、1つの画像において、画像の強度情報と画像の深度情報の両者を提供することができる。このように、強度情報は、画像における種々の構成要素の構造的詳細を提供し、深度情報により、上述したように、画像の部分の相対的な場所を確定することができる。このように、この画像は深度情報を含むだけでなく、画像における実際の構造が分かるので、画像の種々の構成要素が何であるかをはるかに容易に確定する。
【0081】
このように、本発明の好適な実施形態によれば、カメラ20上のレンズの画像化範囲および色のレンダリングを較正することができ、そのため、画像の場所を定量化できる。この技術により、パッシブレンジング機能を提供する機会が提供される。視野に、コントラストがほとんど存在しない、ほぼ熱的に均一な状況においては、この処理により提供された深度および場所情報は、場所の画像を視認および処理するための別のコントラスト機構を提示する。最後に、カモフラージュのような不明瞭な視認状況においては、対象物の外形は妨害され、識別が困難になることがある。場面の色深度のレンダリングにより、たとえ外形は包み隠されることがあるが、空間における物理的な場所に対してはそれがないので、共通の場所にある画像の構成要素を一緒にまとめることができる。
【0082】
アルゴリズムが動作して分散データを処理して位相画像を生成する方法を下記に示す。
【0083】
空間の各点において、光学ビームは2つの特性を有する。それは強度と位相である。強度は、各点を流れるエネルギー量の測定値であり、位相はエネルギー流の方向の測定値を与える。
【0084】
強度は、例えばフィルム上の画像を記録することによって直接測定できる。位相は通常「基準ビーム」との干渉を使用して測定される。それと対照的に、本発明の方法は位相を測定するため非干渉計的方法を提供する。
【0085】
強度は、入射放射から離れた所で波動場の伝播の方向に交差して広がる2つの平行な平面V-、V+上で測定される。
【0086】
本発明は以下の強度トランスポートの式に解を提供することによって位相を決定する。
【0087】
【数12】

【0088】
ここでIは平面中の強度であり、平面中の勾配演算子は▽で示され、kは放射の波動数であり、
【0089】
【数13】

【0090】
は強度導関数または強度の変化率である。しかし、上述した深度情報を得るためには、2つの平面においてカメラにより得られる強度値を使用するのではなく、分散導関数すなわち分散の変化率
【0091】
【数14】

【0092】
が得られるように、上述の方法で計算された分散値を得る。
【0093】
【数15】

【0094】
は図1に示される平面V-およびV-中の測定値の差から推定され、強度Iは測定値の平均によって与えられることに注意されたい。
【0095】
式1の解を得るために、関数Aがまず次式によって定義される。
【0096】
【数16】

【0097】
すなわち、式(1)は次式となる。
【0098】
【数17】

【0099】
標準識別子
【0100】
【数18】

【0101】
を使用すると、これは次式のように書かれる。
【0102】
【数19】

【0103】
ここで▽2は画像の表面上で作用する二次元ラプラス演算子を示す。この式は次の記号解を有する。
【0104】
【数20】

【0105】
勾配演算子▽がこの式の両辺に適用されると、この式は次式となる。
【0106】
【数21】

【0107】
関数Aの定義式(2)によって、(6)は次式のように変換される。
【0108】
【数22】

【0109】
両辺をIで除算することによって次式が生じる。
【0110】
【数23】

【0111】
しかし、上述したように、両辺を強度値Iで除算するのではなく、画像全体に渡る最大焦点値を使用することもでき、または平面における分散値を使用することもでき、または値の分散状態に渡る最大分散を使用することもできる。
【0112】
(8)の両辺の二次元発散▽・を行い、再び標準識別子▽・▽=▽2を使用することで、(8)は次式となる。
【0113】
【数24】

【0114】
この式は次の記号解を有する。
【0115】
【数25】

【0116】
式(10)の実用的な解を実現するためには、次の公式が必要である。適切によく機能する関数f(x、y)は二次元フーリエ積分の形式で書かれる。
【0117】
【数26】

【0118】
関数
【0119】
【数27】

【0120】
はf(x、y)の「フーリエ変換」と呼ばれる。
【0121】
(11)のx導関数は次式を生じる。
【0122】
【数28】

【0123】
従って、
【0124】
【数29】

【0125】
のフーリエ変換はikxによって乗算されたf(x、y)のフーリエ変換に等しい。別言すれば、Fがフーリエ変換を示しF-1が逆フーリエ変換を示す時、
【0126】
【数30】

【0127】
である。同様の考察が
【0128】
【数31】

【0129】
にも適用される。
【0130】
(11)のラプラス関数
【0131】
【数32】

【0132】
が得られ、同様の理屈が適用されるならば
【0133】
【数33】

【0134】
となり、ここで
【0135】
【数34】

【0136】
である。すなわち次式である。
【0137】
【数35】

【0138】
ここで、Fはフーリエ変換を示し、F-1は逆フーリエ変換を示し、(kx、ky)は(x、y)に共役はフーリエ変数であり、かつ次式である。
【0139】
【数36】

【0140】
式(13)を使用して、式(10)を次式の形式に書き直すことができる。
【0141】
【数37】

【0142】
実際には、その強度があるしきい値(例えば、最大値の0.1%)より大きい場合、強度による除算だけ行われる。
【0143】
フーリエ空間の点kr=0では、krによる除算は行われず、その代わりこの点では0による乗算が行われる。これは積分演算子▽-2のコーシーの主値を取ることに等しい。
【0144】
対象物の位相を定量的に測定するために、いくつかの物理定数を、使用されている実験用設定に関連して式(14)で与えられる位相回復アルゴリズムに組み込んで、変数kx、kyを定量化する必要がある。これは式(14)を、高速フーリエ変換を使用して実現するのに適した次の形式で書き直すことによってなされる。
【0145】
【数38】

【0146】
ここで
【0147】
【数39】

【0148】
はF(V+−V-)の周波数成分の指数を示し、その場合強度導関数
【0149】
【数40】

【0150】
は、距離δzだけ離れた2つの画像V+およびV-を減算することによって得られ、iおよびjは画像上のピクセル数であり、フーリエ空間ステップサイズが次式によって与えられるという事実を使用する。
【0151】
【数41】

【0152】
ここでは画像はサイズΔxのピクセルのN×N配列である。すなわち、定量的位相測定を行うためには、3つの強度分布を測定することに加えて、ピクセルサイズΔx、デフォーカス距離δzおよび波長λを知る必要がある。こうした量はすべて容易に決定される。すなわち、ピクセルサイズは例えばCCD検出器の形状(直接画像化の場合)から直接、また横方向距離スケールを較正する既存の技術(画像化システムの場合)によって決定され、デフォーカス距離は直接測定され、照射のスペクトル分布は、入射場を単色化することか、または既存の分光法を使用して放射のスペクトル分布を分析することの何れかによって決定される。
【0153】
式(14)の解を実現する位相再生方法の例は図6に示されるフローチャートによって図示される。図2に示されるように、放射波導場の位相の定量的決定は2つの間隔を持った平面V-およびV+上の1組の強度測定{Vn}から始まる。平面V-およびV+に平行でそれらの中間にある選択された平面における中央強度I(x、y)の測定も可能になる。強度測定は2つの平面AおよびBの各々の上の規定された配列にわたって行われ、それぞれの値が減算されて強度導関数の測定値を生じる。この値は平均波動数の負数によって乗算される。データは2つの成分集合に分割され、高速フーリエ変換が行われてそれぞれフーリエ領域中のxおよびy成分を生じる。次に非変換表示に反映される微分演算子の反転に対応するフィルタがフーリエ領域表現に適用される。次にxおよびy成分の各々に対して逆フーリエ変換が行われ、微分演算子が除去された空間領域値を生じる。次に強度レベルが選択されたしきい値レベルより上である場合、平面V+およびV-上の強度測定値を平均することによって得られた中央強度I(x、y)による除算が行われる。結果として得られたデータは再びフーリエ変換され、再び非変換データに反映される微分演算子の反転に対応する同じフィルタによって乗算される。結果として得られる成分はやはり逆フーリエ変換され合計されて再生位相測定値を生じる。
【0154】
一般に、本発明の方法は、伝播方向に交差して広がる選択された表面上の強度導関数または強度の変化率、および同じ表面上の強度の任意の適切な代表値決定から開始できることが明らかである。様々な例で説明されるように、これらのデータは多様な方法で獲得され、放射波導場の位相を得る方法が実現される。
【0155】
【数42】

【0156】
【数43】

【0157】
【数44】

【0158】
によって式(14)を書き直すと、
【0159】
【数45】

【0160】
が得られるが、ここでΦ(x、y)は回復された位相を示し、Fはフーリエ変換を示し、F-1は逆フーリエ変換を示し、I(x、y)は対象平面上の強度分布であり、(x、y)は対象平面上のデカルト座標であり、(kx、ky)は(x、y)に共役なフーリエ変数であり、
【0161】
【数46】

【0162】
は放射の平均波動数であり、
【0163】
【数47】

【0164】
は放射の平均波長であり、
【0165】
【数48】

【0166】
は縦方向分散導関数の推定であり、αはノイズがある場合にアルゴリズムを安定するために使用される正則化パラメータである。
【0167】
前述で示されたように、強度式(1)のトランスポートの解は完全な画像化システムを想定している。すなわち、アルゴリズムに供給される強度データを獲得するために使用される光学システムには「収差」がない。もちろん、完全な画像化システムはない。画像化システム中に存在する不完全度は、次の数の集合によって定量化される。
【0168】
(16) A1、A2、A3、・・・
これは収差係数と呼ばれる。
【0169】
強度データが不完全な機器で獲得され、その機器の不完全度が周知の収差係数のある集合A1、A2、A3、・・・、によって特徴付けられる場合、(15)中に存在するフィルタΩx(kxy、α)およびΩy(kxy、α)が、収差係数に明示的に依存する変形フィルタによって置換されること、すなわち次式が望ましい。
【0170】
【数49】

【0171】
これによって画像化システムの不完全度が明示的に考慮され、その結果収差画像化システムを使用する定量的に正しい位相再生が得られる。弱い(すなわち、2πラジアンよりはるかに小さい)位相変化を伴う均一な強度の放射波導場中の非吸収性位相対象物という特殊な場合、適切な変形フィルタは位相再生アルゴリズムに対する次の関数形式に帰結する。
【0172】
【数50】

【0173】
ここで、Vaberrated(x、y)はデフォーカス距離δzで測定された収差分散であり、Amnは、不完全な画像化システムを特徴付ける収差係数である。
【0174】
フィルタが次式によって定義される場合、
【0175】
【数51】

【0176】
(18)は次式となる。
【0177】
【数52】

【0178】
項{Iaberrated(x、y)−1}は強度の変化率の測定値である。I0強度は、(20)が(15)と同じ一般形式になるような均一な強度に対する測定可能な定数である。その結果、この特殊な場合の収差は、前述で説明された一般的な方法でフィルタを変更することによって対処される。xおよびy成分フィルタΩxおよびΩyは次式によって与えられる。
【0179】
【数53】

【0180】
図7は、定量的位相振幅顕微鏡法のための配置の概略を示す。試料は、光学顕微鏡法で一般的に見られる白色光ケーラー照明15の光源を使用して照射される。光は対象物16を透過して伝送され、顕微鏡画像化システム17によって集められて、平面画像化表面を有するCCDカメラ18または他のデジタル画像化装置に中継される。3つの画像、すなわち、焦点の合った画像I0と、2つのわずかに焦点を外れた画像I+およびI-が収集される。このデフォーカスは、顕微鏡の焦点つまみを調整する駆動システム19のような適切な手段によって得られる。導入されるデフォーカスは空間解像度の劣化が最小限になる十分に小さなものであるが、使用されるデフォーカスの最適量は、試料の特性と、倍率、開口数、等といった画像化ジオメトリによって決定される。
【0181】
画像を獲得する際、集光装置の開口数は、使用される対物レンズの開口数より小さくなるように選択される。これに当てはまらない場合、重大な劣化が発生することがあるが、集光装置と対物レンズの開口数の差の正確な量は画像の忠実度と空間解像度とのトレードオフを伴うので、最適な差は試料の特性と使用される光学装置に依存する。
【0182】
分散データ値は、平面V+およびVI-で収集された強度値から、前述で説明された方法で決定され、減算されて分散の変化率(分散導関数)の代表的測定値が生成される。これと収集画像I0の強度データから、前述で説明された方法が使用され、画像平面中の位相シフトの大きさに関する定量的情報が生成される。
【0183】
強度導関数dV/dzのさらに好適な推定を得るために、2つより多い画像を獲得することが望ましいことがある。その後関数をこのデータに適応してそこからdV/dzを計算し、普通使用される2つの画像の単純な減算の代わりに位相決定方法で使用できる。
【0184】
また反射ジオメトリ中でこのシステムを動作させ、表面トポグラフィーを獲得することも可能である。動作の原理は同一で、反射ジオメトリを形成するため光学装置はそれ自身の上に折り返されなければならないが、それ以外処理は同一である。
【0185】
適用業務の中には光線にフィルタ処理を施して特定の波長にするのが望ましいものもあるが、説明された画像化処理の場合は白色光でも同様に好適に動作するのでこの必要はない。
【0186】
実現例が図8に示される。オリンパス(Olympus)BX−60光学顕微鏡20は1組のUMPlan金属対物レンズとケーラー照明を提供する汎用集光装置を備えていた。結果を既存の画像化モードと比較できるようにするため、ノマルスキ(Nomarski)DIC光学装置と1組のカバースリップ補正UplanApo対物レンズもこの顕微鏡に装備されているので、定性的比較の目的で位相再生とノマルスキDICの両方を使用して同じ視野の画像を獲得することができた。1300×1035ピクセル・コダック(Kodak)KAF−1400CCDチップを装備した12ビット科学用グレード・フォトメトリックス(Photometrics)SenSys CCDカメラ21が顕微鏡上の0.5×ビデオ・ポートに追加され、試料のデジタル画像を収集した。
【0187】
本発明の本実施形態の位相回復技術はデフォーカス画像の収集を必要とする。ステッパ・モータ駆動システム22が顕微鏡の焦点つまみに取り付けられた。このステッパ・モータは、CCDカメラ21を制御するためにも使用される133MHzペンティアム(登録商標)(Pentium(登録商標))PC23のパラレル・ポートに取り付けられているので、焦点を通過する画像シーケンスの収集の完全自動化が可能であった。このデータ収集システムは、CCD画像から位相画像を回復するよう書かれたカスタム・ソフトウェアにリンクされていたので、画像収集およびデータ処理シーケンスの完全自動化が可能であった。
【0188】
本発明の好適な実施形態において使用される微分演算子の形式は、上述した画像を得るために使用されるシステムの光学装置に基づく。このようにして、演算子は、画像を撮るために使用される光学システムの詳細を考慮する。これは、下記のようにして達成される。
【0189】
集光装置の開口数、つまりNAcondensorを決定する。
【0190】
対物レンズのNA、つまりNAobjectiveを決定し、対物レンズの開口の半径、つまりρobjectiveを決定する。
【0191】
【数54】

【0192】
(これらは顕微鏡についての設定および寸法)
半径横方向空間周波数、つまりρと、縦方向空間周波数、つまりηを決定する。
【0193】
(これらはシリーズで撮られた画像のピクセル化および場所分布に依存する)
使用される放射の波長、つまりλを決定する。
【0194】
演算子の新しい形式は、
【0195】
【数55】

【0196】
となり、ここで、
【0197】
【数56】

【0198】
および
【0199】
【数57】

【0200】
となる。
【0201】
図9はTρが、式の種々の構成要素の分解を単に示す上述の式によりどのように決定されるかを一般的に示すフローチャートである。
【0202】
算出深度画像は、よりよく視覚化するために異なる態様により表現できる。そのような形態には、DIC、明視野画像、暗視野画像、および従来の形態による画像がある。本発明に従って決定された位相データからの画像のこれらのタイプを形成する技術は、本出願者の同時係属国際出願第PCT/AU02/00590号に記述されている(この内容は、参照により本明細書に組み込まれたものとする)。
【0203】
本発明の精神および範囲における変形はこの技術に精通した者には容易に実現できるので、本発明は上記に例として記述された特別な実施形態に制限されないことを理解されたい。
【0204】
後続する請求項および本発明のこれまでの記述において、言語または必要な含意を表現するために、前後関係から必要とされる場合を除いて、「comprise(備える)」という用語またはその変形である「comprises(備える)」または「comprising(備えている)」は、包括語として使用される。つまり、本発明の種々の実施形態における更なる特徴の存在または追加を排除するものではなく、記述された特徴の存在を指示するために使用される。
【図面の簡単な説明】
【0205】
【図1】本発明の好適な実施形態の説明を支援する図である。
【図2】本発明を採用している装置の図である。
【図3】本発明の好適な実施形態における画像を撮るために使用されるカメラのピクセルを示す図である。
【図4】異なる深度情報の生成を説明する図である。
【図5】本発明の好適な実施形態に係る、異なる深度情報がどのようにコード化されるかを説明する図である。
【図6】好適な実施形態の方法の実現を示すフローチャートである。
【図7】画像の捕捉において顕微鏡を使用する配置の概略説明図である。
【図8】本発明の1つの実施形態に係る典型的なシステムの概略図である。
【図9】本発明の1つの実施形態に関連するフローチャートである。

【特許請求の範囲】
【請求項1】
深度情報を含む画像の生成方法であって、
場面から発する放射波動場を検出し、場面に関して異なる平面における少なくとも2つの場面の画像を撮り、強度データ値の第1セットで構成される第1画像と、強度データ値の第2セットで構成される第2画像を生成し、
前記データ値の第1セットにおけるデータ値の、前記データ値の第1セットにおける他の値に対しての強度変動を決定して強度分散の第1セットを生成し、前記データ値の第2セットにおけるデータ値の、前記データ値の第2セットにおける他のデータ値の強度変動を決定して強度分散の第2セットを生成し、
強度分散の第1および第2セットを処理して、深度情報を含む場面の画像データを得て、
同一な深度情報が同じコード基準を有するように画像データをコード化して、画像データにおける異なる深度情報を特定する、方法。
【請求項2】
強度分散データを処理するステップは、好適には、
(a)一般に波動場に交差して広がる選択された表面上の前記放射波動場の分散データ値の変化率の代表的測定値を生成し、
(b)前記選択された表面上の場面に関する前記放射波動場の代表的測定値を生成し、
(c)分散の変化率の前記測定値を変換して第1積分変換表示を生成し、分散の変化率の前記測定値に反映される第1微分演算子の反転に対応する第1フィルタを前記第1積分変換表示に適用して第1変形積分変換表示を生成し、
(d)前記第1積分変換の逆を前記第1変形積分変換表示に適用して非変換表示を生成し、
(e)前記選択された表面上の前記測定値に基づく補正を前記非変換表示に適用し、
(f)補正非変換表示を変換して第2積分変換表示を生成し、補正非変換表示に反映される第2微分演算子の反転に対応する第2フィルタを前記第2積分変換表示に適用して第2変形積分変換表示を生成し、
(g)前記第2積分変換の逆を前記第2変形積分変換表示に適用して、前記画像データを、深度情報を含む位相画像データとして生成するように、前記選択された平面に交差する前記放射波動場の位相の測定値を生成する請求項1に記載の方法。
【請求項3】
選択された表面上の場面に関する前記放射波動場の代表的測定値を生成するステップは、代表的測定値または分散値を得るために強度値を使用する請求項2に記載の方法。
【請求項4】
選択された表面における強度値が使用される請求項3に記載の方法。
【請求項5】
最大焦点を表現する値は、強度データ値のいずれからも獲得される請求項3に記載の方法。
【請求項6】
分散データ値が代表的測定値として使用される請求項3に記載の方法。
【請求項7】
分散データ値のセットから獲得した最大分散値が使用される請求項3に記載の方法。
【請求項8】
第1または第2微分演算子の少なくとも1つは、一般に波動場に交差して広がる選択された表面上の放射波動場の分散の変化率の代表的測定値を生成するために放射を取得するために使用される光学システムに基づく形式を有する請求項1に記載の方法。
【請求項9】
第1および第2微分演算子の両者が、光学システムに基づく形式を有する請求項8に記載の方法。
【請求項10】
第1および第2積分変換は、フーリエ変換を使用して生成される請求項2に記載の方法。
【請求項11】
微分演算子は
【数1】

の形式を有し、ここにおいて
【数2】

および
【数3】

であり、ρは半径横方向空間周波数、ηは縦方向空間周波数、δzは対象物の平面におけるデフォーカス距離であり、また
【数4】

であり、ここにおいてNAcondensorおよびNAobjectiveはそれぞれ、集光装置と対物レンズの開口数であり(これらは顕微鏡についての設定および寸法)であり、ρobjは、対物レンズにより容認される最大空間周波数である請求項2に記載の方法。
【請求項12】
場面の少なくとも2つの画像を撮るステップは、負に焦点を合わせた画像データとして第1画像を生成するために第1デフォーカス平面において第1画像を撮り、正のデフォーカス画像データを生成するために、第2デフォーカス平面において場面の第2画像を撮り、負および正のデフォーカス画像は、焦点面のそれぞれの面上で撮られ、それにより場面の焦点の合った画像を生成することを含む請求項1に記載の方法。
【請求項13】
強度分散を決定するステップは、データ値の、そのデータ値を取り囲むデータ値の鮮明度に関して、データ値のそれぞれの鮮明度の測定値を決定することを含む請求項1に記載の方法。
【請求項14】
画像は電荷結合素子により捕捉され、画像におけるピクセルの強度値が決定され、その強度値は、各ピクセルにおける分散値を提供するために取り囲んでいるピクセルの強度と比較される請求項1に記載の方法。
【請求項15】
分散は各ピクセルに対して、下記の式
【数5】

により得られ、ここにおいてnは特別なピクセルであり、値1から9は、ピクセルの配列においてそのピクセルを取り囲むピクセルを表現する請求項14に記載の方法。
【請求項16】
画像データの部分をコード化するステップは、場面の部分の、それぞれと比較しての相対的な距離が決定できる視覚画像を生成するように、同じ深度情報を有する画像の部分に異なる色を適用することを含む請求項1に記載の方法。
【請求項17】
場面の第3画像は、強度データ値の第3セットを生成するために、焦点の合った平面において撮られ、強度データ値の第3セットは、場面の構造的情報を場面における異なる深度情報と共に含む視覚画像を生成するために、コード化画像データと重ね合わせられる請求項1に記載の方法。
【請求項18】
異なる深度情報は、グレースケール値を画像におけるピクセル値に割り当てることにより提供される請求項15に記載の方法。
【請求項19】
深度情報を含む画像を生成する装置であって、
場面から発する放射波動場を検出し、場面に関して異なる平面における少なくとも2つの場面の画像を撮り、強度データ値の第1セットと、強度データ値の第2セットを生成するカメラと、
前記データ値の第1セットにおけるデータ値の、前記データ値の第1セットにおける他の値と比較したデータ値の強度変動を決定して分散データ値の第1セットを生成し、前記データ値の第2セットにおける1つのデータ値の、前記データ値の第2セットにおける他のデータ値と比較した分散を決定し、分散データ値の第2セットを生成するプロセッサと、を有し、
前記プロセッサは、更に、第1および第2分散データ値を処理して深度情報を含む場面の画像データを生成し、
前記プロセッサは、更に、画像における異なる深度情報を特定するために、コード基準と同一の深度情報を有する画像の部分をコード化する装置。
【請求項20】
強度変動を決定するプロセッサは、
(a)一般に波動場に交差して広がる選択された表面上の前記放射波動場の分散データ値の変化率の代表的測定値を生成し、
(b)前記選択された表面上の場面に関する前記放射波動場の代表的測定値を生成し、
(c)分散の変化率の前記測定値を変換して第1積分変換表示を生成し、分散の変化率の前記測定値に反映される第1微分演算子の反転に対応する第1フィルタを前記第1積分変換表示に適用して第1変形積分変換表示を生成し、
(d)前記第1積分変換の逆を前記第1変形積分変換表示に適用して非変換表示を生成し、
(e)前記選択された表面上の前記測定値に基づく補正を前記非変換表示に適用し、
(f)補正非変換表示を変換して第2積分変換表示を生成し、補正非変換表示に反映される第2微分演算子の反転に対応する第2フィルタを前記第2積分変換表示に適用して第2変形積分変換表示を生成し、
(g)前記第2積分変換の逆を前記第2変形積分変換表示に適用して、前記画像データを、深度情報を含む位相画像データとして生成するように、前記選択された平面に交差する前記放射波動場の位相の測定値を生成するためのプロセッサである請求項19に記載の装置。
【請求項21】
第1または第2微分演算子の少なくとも1つは、一般に波動場に交差して広がる選択された表面上の放射波動場の分散の変化率の代表的測定値を生成するために放射を取得するために使用される光学システムに基づく1つの形式を有する請求項20に記載の装置。
【請求項22】
第1および第2微分演算子の両者が、光学システムに基づく形式を有する請求項21に記載の装置。
【請求項23】
第1および第2積分変換は、フーリエ変換を使用して生成される請求項22に記載の装置。
【請求項24】
微分演算子は、
【数6】

の形式を有し、ここにおいて
【数7】

および
【数8】

であり、ρは半径横方向空間周波数、ηは縦方向空間周波数、δzは対象物の平面におけるデフォーカス距離であり、また
【数9】

であり、ここにおいてNAcondensorおよびNAobjectiveはそれぞれ、集光装置と対物レンズの開口数であり(カメラによる種々の画像の捕捉に顕微鏡が使用される場合、これらは顕微鏡についての設定および寸法)であり、ρobjは、対物レンズにより容認される最大空間周波数である請求項21に記載の装置。
【請求項25】
画像は電荷結合素子により捕捉され、画像におけるピクセルの強度値が決定され、その強度値は、各ピクセルにおける分散を提供するために取り囲んでいるピクセルの強度と比較される請求項19に記載の装置。
【請求項26】
分散は各ピクセルに対して、下記の式
【数10】

により得られ、ここにおいてnは特別なピクセルであり、値1から9は、ピクセルの配列においてそのピクセルを取り囲むピクセルを表現し、Iは各ピクセルの強度値である請求項25に記載の装置。
【請求項27】
プロセッサは、場面の部分の、それぞれと比較しての相対的な距離が決定できる視覚画像を生成するように、同じ深度情報を有する画像の部分に異なる色を適用する請求項26に記載の装置。
【請求項28】
異なる深度情報は、グレースケール値を画像におけるピクセル値に割り当てることにより提供される請求項27に記載の装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公表番号】特表2007−526457(P2007−526457A)
【公表日】平成19年9月13日(2007.9.13)
【国際特許分類】
【出願番号】特願2007−501055(P2007−501055)
【出願日】平成17年2月18日(2005.2.18)
【国際出願番号】PCT/AU2005/000219
【国際公開番号】WO2005/083377
【国際公開日】平成17年9月9日(2005.9.9)
【出願人】(506096224)イアティア イメージング プロプライアタリー リミティド (4)
【Fターム(参考)】