IR画像における多数のオブジェクトの決定
【課題】IR画像化システムを使用して取得されたIR画像の中のオブジェクトの数を決定するためのシステムおよび方法を提供する。
【解決手段】IR画像の中の各画素に対する合計N個の強度値が、IR検知デバイスとIR照明器とを備えているIR画像化システムを使用して収集される。皮膚や毛髪などの複数の既知の材料に対して評価された強度値が、データベースから引き出される。最も良く適合する反射率法または相関法のいずれかを使用して、IR画像の中の各画素に対して、分類が、決定される。分類の際、IR画像の中のオブジェクトの総数が、決定されることが出来る。HOV/HOTレーンを移動している自動車両の中の乗員の数を決定するための用途において用法を見出す。
【解決手段】IR画像の中の各画素に対する合計N個の強度値が、IR検知デバイスとIR照明器とを備えているIR画像化システムを使用して収集される。皮膚や毛髪などの複数の既知の材料に対して評価された強度値が、データベースから引き出される。最も良く適合する反射率法または相関法のいずれかを使用して、IR画像の中の各画素に対して、分類が、決定される。分類の際、IR画像の中のオブジェクトの総数が、決定されることが出来る。HOV/HOTレーンを移動している自動車両の中の乗員の数を決定するための用途において用法を見出す。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、マルチバンドのIR画像を取得して、そのIR画像においてオブジェクトの総数を決定するために赤外線カメラシステムを使用する、システムおよび方法に関する。
【背景技術】
【0002】
商業目的で利用可能な商用顔認識システム(FRS)が多く存在する。しかしながら、これらのシステムの多くは、顔がカメラの前に位置することと、良い照明とを必要とする。顔認識が、必要とされ得るか、または所望され得る場所では、このような条件は、得られない場合が多い。実際の状況の多くにおいて、検知および認識を求められるオブジェクトは、例えば、車で走っている間など、赤外線カメラの前を通過する間には、動いていることがあり得る。さらに、オブジェクトの照明が、不十分であり得る。この技術は、赤外線カメラを使用して捕捉された画像における多数のオブジェクトを決定するための方法を必要とする。
【発明の概要】
【課題を解決するための手段】
【0003】
開示されるものは、IR画像におけるオブジェクトの数を決定するための新たなシステムおよび方法である。本発明のシステムおよび方法は、周囲の背景からオブジェクトを区別するための手段を提供する。このようなシステムは、例えば、HOV/HOTレーンで走っている車両の中の乗員の数を決定すること、または監視カメラによって捕捉された画像の中の占有者の数を決定することなど、現実世界での幅広い用途に意図された用途を見出している。
【0004】
1つの例示的な実施形態において、本発明のシステムおよび方法は、以下を含む。第1に、IR画像化システムを使用して、IR画像の各画素に対する合計N個の強度値が、収集される。強度値が収集されると、IR画像の中の各画素は、その画素に対して分類が決定されることが出来るように処理される。1つの実施形態において、強度値は、例えば、毛髪および皮膚などの複数の既知の材料に対して評価された反射率を使用して計算される。次に、画素強度が、計算された強度値と比較され、そして、画素は、最も良く適合する反射率に基づいて分類される。別の実施形態において、相関係数が、各画素の強度値と引き出された強度値との間で計算される。次に、画素は、それらの間の相関の結果に基づいて分類される。画素が、分類されると、IR画像におけるオブジェクトの総数が、画素の分類に基づいて決定されることが出来る。
【図面の簡単な説明】
【0005】
【図1】本明細書の教示に従った、例示的な車両占有検知システムを示す図である。
【図2】自動車両の乗員の数を決定するための実施形態に関する本発明の方法の1つの例示的な実施形態を説明する図である。
【図3】本明細書の様々な実施形態と共に使用することに適したIR LEDの相対放射強度を示す図である。
【図4】本明細書の様々な実施形態と共に使用することに適したIR LEDの相対放射強度を示す図である。
【図5】本明細書の様々な実施形態と共に使用することに適したIR LEDの相対放射強度を示す図である。
【図6】本明細書の様々な実施形態と共に使用することに適したIR LEDの相対放射強度を示す図である。
【図7】本明細書の様々な実施形態と共に使用することに適したIR LEDの相対放射強度を示す図である。
【図8】本明細書の様々な実施形態と共に使用することに適したIR LEDの相対放射強度を示す図である。
【図9】本明細書の様々な実施形態と共に使用することに適したIR LEDの相対放射強度を示す図である。
【図10】η=0である、3バンドシステムおよび4バンドシステムに対する相関係数を示す図である。
【図11】η=0.05である、3バンドシステムおよび4バンドシステムに対する相関係数を示す図である。
【図12】η=0であり、ホワイトノイズが20%である、3バンドシステムおよび4バンドシステムに対する相関係数の表である。
【図13】図2の流れ図に関して示され、そして記載された本発明の方法の様々な局面を実装することが出来る1つの例示的なシステムのブロック図である。
【発明を実施するための形態】
【0006】
開示されるものは、IR画像化システムを使用して取得されたIR画像におけるオブジェクトの数を決定するための新たなシステムおよび方法である。
【0007】
「画素」は、画像の中で最小のアドレス可能な素子である。各画素は、自分自身のアドレスを有する。画素は、通常、グリッドに配置される。各画素の強度は、可変であり、その画素を測定するために使用される感知デバイスの特性や感度に依存する。カメラの解像度は、事実上、画素のサイズである。より小さい画素は、より多くの画素が画像の中に入り、より良い鮮明度を画像に与えることを意味する。
【0008】
「IR画像」は、照明されたサンプルから反射されたIR光を検知したIR検知デバイスから得られた画像である。完全占有済みIR画像は、関心のある各所望のスペクトルバンドで強度値をそれぞれが有する画素からなる。赤外(IR)光は、は、0.7マイクロメートル〜300マイクロメートルの波長を有する電磁放射である。IR範囲の上限の波長は、正確には設定されていないことに留意されたい。これは、1THz〜430THzの周波数範囲と等しい。IR波長は、可視光の波長よりも長いが、マイクロ波よりも短い。明るい日光は、海面で、1平方メートル当たり約1キロワットの照射を提供する。このエネルギーの中で、527ワットが、赤外線であり、445ワットが、可視光であり、32ワットが、紫外線である。能動赤外線において、カメラは、人間の目には見えない赤外波長で風景を照明する。赤外エネルギーは、ガンマ線、x線、紫外線、可視光の薄い領域、赤外線、テラヘルツ波、マイクロ波、および電波からの放射を含む電磁スペクトルの一部に過ぎない。これらは全て、それらの波長の長さと関連し、その波長の長さで区別される。本明細書の様々な実施形態は、低反射性赤外(LRIR)バンド全体(すなわち、約800ナノメートル〜1400ナノメートル)を利用する。LRIRは、その周波数に感度が良いマルチバンド画像化(MBI)デバイスで検知され、白黒写真に似た画像を提供することが出来る。高反射性赤外(URIR)バンド(すなわち、約1400ナノメートル〜2200ナノメートル)。URIR感知画像は、人間の皮膚が無生物のオブジェクトと同様にはIRを反射しない点でLRIR感知画像とは異なる。低IRバンドおよび高IRバンドは、反射性であるので、風景は、照明源を必要とすることがあり得る。そのような照明は、目に見える必要はないので、人類にとって邪魔ではない。日中、十分なIR照明が通常の日光によって提供され得るので、LRIR照明およびURIR照明は、不必要であり得る。
【0009】
「IR照明器」は、光源である。光量は、駆動電流を変化させることによって制御され得る。例えば、LEDの光出力は、電流によって線形的に変化する。時系列的方法と同時との両方でのIR照明の可能なLEDアレイが周知である。
【0010】
「IR画像化システム」は、標的のオブジェクトから反射されたIR光を捕捉し、それを成分波長に区別し、そして標的のIR画像を出力するように設計された装置である。このようなシステムは、IR検知器(例えば、IRカメラ)とIR照明器とを有する。1つの例示的なIR検知システムが、図1に示される。IR画像化システムは、単一のIR検知デバイスと、1つの固定フィルタを有する逐次的に照明されるNバンドの照明器(N≧3)とであるか、またはそれぞれが、それぞれのバンドパスフィルタを有する合計N個の検知デバイス(N≧3)と単一の照明源とを備えているかのいずれかであり得る。
【0011】
ここで、図1を参照すると、図1は、例示的な車両占有検知システムを示す。
【0012】
図1において、標的の車両100は、人間の乗員を含み、HOVレーン104に沿って、方向ベクトル103によって示される動きの方向に、速度vで走っている。信号機に使用されているものと同様の管状構築物を備えている支持アーム105が、レーン104の上の所望の距離dの範囲内に配置されている。遠隔のデバイスと通信するための伝達素子108有するIR検知システム107と、IR照明システム109とが、アーム105に固定されている。検知デバイス107は、望遠レンズを搭載されたカメラと、バンドパスフィルタと、グレア効果を弱めるための偏光レンズとを備え得る。日中の動作の間、太陽による照明が、十分であり得る。IR照明器109は、1つ以上の波長でIR放射を放ち、その1つ以上の波長が、標的の車両とその中の内容物とから反射されて検知器207に戻る。IR検知システム107は、IR画像および/またはIR画像の中の各画素と関連付けられる強度値を、次に記述される方法でさらに処理するために演算デバイスに伝達する。
【0013】
ここで、図2の流れ図を参照すると、自動車両の中のオブジェクトの数を決定するための本発明の方法の1つの例示的な実施形態を説明する。この実施形態は、運輸管理システムに関して考察されるが、本明細書の教示は、IR画像化システムを使用して得られたIR画像の中の多数のオブジェクトを決定することが所望される幅広いシステムにおいて用途を見出すことを意図されていることを理解されたい。このような実施形態は、添付の特許請求の範囲の範囲内に該当することを意図されている。以下の処理は、200で開始し、そして直ぐにステップ202に進む。
【0014】
ステップ202において、IR画像の中の各画素に対する合計N個の強度値が収集される。各画素に対する強度値は、図1の例示的なIR画像化システムを使用して、反射されたIR光源から収集される。IR画像および/または各画素に対する強度値は、本明細書の様々な実施形態に従ってさらに処理するために、コンピュータのワークステーションまたは特定目的用コンピュータシステムに提供され得る。以下では、空気中でのIRの減衰と積分時間とは、全てのバンドに対して同じであると仮定されている。そうでない場合には、これらの要素はそれに応じて調整される。
【0015】
IR検知デバイスが、単一のIR検知デバイスであり、IR照明器が、1つの固定フィルタを有する、逐次的に照明するNバンドの照明器(N≧3)である場合には、強度値は、
【数1】
を含み、ここで、iは、逐次的に照明している照明器からi番目のIRバンドとなるように、i=1・・・Nであり、αは、照明源からの角度および距離と、空気中でのIR波の減衰と、検知デバイスの積分時間とに依存する定数であり、
【数2】
は、光源のi番目のバンドの強度であり、Ibは、日光のIR成分からの強度などの、背景の光源からの強度であり、R0(λ)は、車両の内部のオブジェクトの反射率であり、RG(λ)とTG(λ)とは、ガラスの反射率と透過率とであり、定数ηは、車両のガラスから反射され、検知器によって受け取られた、照明器からの光の割合の測定値であり、TL(λ)は、固定フィルタの透過率であり、D(λ)は、検知デバイスの応答速度である。
【0016】
IR検知デバイスが、N個のバンドパスフィルタを有するN個の検知デバイス(N≧3)であり、IR照明器が、フィルタの波長範囲に及ぶ1つの照明器を有する場合には、強度値は、
【数3】
を含み、ここで、iは、i番目のIRバンドパスフィルタとなるように、i=1・・・Nであり、αは、照明源からの角度および距離と、空気中でのIR波の減衰と、検知デバイスの積分時間とに依存する定数であり、Is(λ)は、光源の強度であり、Ibは、背景の強度であり、R0(λ)は、車両の内部のオブジェクトの反射率であり、RG(λ)とTG(λ)とは、ガラスの反射率と透過率とであり、定数ηは、車両のガラスから反射され、検知器によって受け取られた、照明器からの光の割合の測定値であり、TiL(λ)は、i番目のフィルタの透過率であり、D(λ)は、検知デバイスの応答速度である。画素強度値の任意のものが、この画素に対する1つ以上の新たな強度値を生成するために組み合わされ、それに応じて処理されることが出来る。
【0017】
ステップ204において、IR画像の第1の画素が、処理のために引き出される。第1の画素は、プロセッサによって自動的に選択され得るか、または本発明の方法の様々な局面が行われることが意図されているコンピュータのワークステーションと関連付けられるグラフィカルユーザインタフェース、例えば、キーボード、マウスおよびモニタなどを使用してユーザによって識別され得る。ユーザは、受け取ったIR画像の第1の領域と、IR画像の他の部分よりも先に処理された、画像の選択された範囲内の画素の一部または全部とを選択し得る。動いている車両の1つ以上のIR画像が、それに従って処理するために捕捉されることが出来る。
【0018】
ステップ206において、識別された画素が、最も良く適合する反射率または相関法のいずれかに従って分類される。相関法においては、複数の既知の材料に対して評価された強度値が、格納デバイスから引き出されるか、またはネットワーク接続を介して遠隔のデバイスから引き出される。相関係数が、画素の強度値と引き出された強度値との間で計算される。次に、画素は、画素の強度値と、これらの既知の材料に対する強度値との間で計算された相関に基づいて分類される。1つの実施形態において、相関係数は、
【数4】
によって与えられ、ここで、ΔIcm(i)=Icm(i)−Imは、測定された強度の差であり、ΔIcs(i)=ΔIcs(i)−Isは、計算された強度の差であり、Isは、特定の反射率を有する計算された強度が、測定された強度のオブジェクトと一致する場合には、相関は、高くなる(1に近い)が、そうでなければ、相関は、小さくなる(0に近いか、または負)ような、Imの計算された対応である。
【0019】
最も良く適合する反射率法においては、複数の既知の材料に対して評価された反射率値が、格納デバイスから引き出されるか、またはネットワークを介して遠隔のデバイスから引き出される。強度値は、引き出された反射率を使用して、これらの既知の材料に対して計算される。次に、現在の画素の強度値が、既知の材料に対する計算された強度値と比較され、画素が、反射率の最も良く適合するものに基づいて分類される。
【0020】
ステップ208において、現在の画素が分類されると、まだこれ以上、処理されるべき画素が、残っているか否かに関して、決定が行われる。もし残っている場合には、ステップ204に関して、処理が繰り返され、ここで、次の画素が、処理のために、引き出されるか、選択されるか、または識別される。IR画像における全ての所望の画素が処理されるまで、処理は繰り返される。
【0021】
次に、ステップ210において、自動車両の中のオブジェクトの総数が、画素の分類に基づいて決定される。その後、この実施形態においては、IR画像のさらなる処理は、終了する。
【0022】
画像の中の画素が、人間ではない周囲のオブジェクトから区別されることが出来ると、ニューラルネットワークまたはファジー理論が、車両の中の(生きている、または生きていない)オブジェクトの数の決定を容易にするために利用されることが出来る。1つの実施形態において、これは、画像化システムによって撮影された、標的の車両の1つ以上のIR画像のそれぞれにおいて識別された人間を空間的に分離し、そして、オブジェクトの数を数えることによって達成される。例えば、1つのカメラが、前方の乗員区画の画像を捕捉するために、動いている車両の正面を向き、1つのカメラが、車両の乗員側の画像と運転手側の画像とを捕捉するために、車両のそれぞれの側に向いているなど、3つのIRカメラが、利用される場合には、画像のそれぞれが、存在するオブジェクトを決定するために分析されることが出来る。1つの例示的な実装において、自動車両における人間の乗員の数が、HOVレーンの移動が制限されている昼間の間に、所定の数を超過している場合には、車両のナンバープレートが、車両タグ識別技術を使用して自動的に捕捉されることが出来、信号が、交通指導局に送信され、識別されたナンバープレートの数字を有する車両が、要求された乗員数ではないが、HOVレーンを使用していることを示す。
【0023】
本明細書の流れ図は、例示であることを理解されたい。流れ図のいずれかにおいて説明される動作ステップのうちの1つ以上が、異なる順序で実行されてもよい。例えば、他の動作が、追加されてもよく、改変されてもよく、改良されてもよく、簡略化されてもよく、統合されてもよく、またはそれらのステップと合併されてもよい。このような変化形は、添付の特許請求の範囲の範囲内に該当することを意図されている。流れ図の全部または一部は、機械で実行可能な命令に関してハードウェアに部分的にまたは完全に実装されてもよい。
【0024】
4バンドの照明器システムが、使用された。使用したLEDは、940nm、1070nm、1200nm、および1550nmのピーク波長を有するものであった。LEDのパワースペクトルが、図3〜図9に示されている。近赤外線(NIR)LEDは、既に市販されている。これらのLEDは、GaAsまたはInGaAsPなどの様々な半導体で作成され、可視光(>730nm)の近くから始まり短波赤外線(>2000nm)までのピーク波長を有する。図3〜図9は、810nmと1600nmとの間の範囲のピーク波長を有する、InGaAsPから作成されたいくつかの赤外線LEDのスペクトルを説明する。これらのLEDは、高出力のものに関しては、数mWと約45mWとの間の良好な放射強度を有する。同じピーク波長を有する多くのLEDを一束または一群に束ねることが出来る。この調査は、各LED照明器が、均等に電力を供給されていると仮定している(もしそうでなければ、以下の表の比は、調節され得る)。人間の皮膚の反射率を含む様々な材料の反射率と、窓の透過率とは、出版されている幅広い文献で入手可能である。IR検知カメラは、市販されており、900nmから1700nmの画像を捕捉する。方程式(3)の相関係数を使用した結果が、図10および図11の表に提示されている。「C123」という用語は、バンド1(ピーク波長940nm)、バンド2(1070nm)、およびバンド3(1200nm)だけを有する逐次照明器との相関係数を意味する。他の3バンドの相関係数に対しても同様の表記が、使用されている。「C4」という用語は、4つ全てのバンドを使用した相関係数を意味する。図10の表は、η=0である相関係数を示す。図10の表から、1と2と3との3バンドの組み合わせを除いて、3バンドの組み合わせの大部分と4バンドのシステムとは、うまくいく(負の相関係数またはわずかに正)ことを理解することが出来る。図11の表は、η=0.05である相関係数を示す。理解できるように、他の材料と皮膚を区別する性質は、η=0である場合から低下されている。しかしながら、汚れたガラスで暗色皮膚である場合を除いて、C234の組み合わせと4バンドのシステムとは、依然として、他の材料から皮膚を区別するにはある程度良い。これらのエラー強さをさらにテストするために、「測定された」強度に対して20%のホワイトノイズを加え、上記の相関を再びテストした。結果が、図12の表に示されている。C234の3バンドおよび4バンドのカメラシステムに関しては、分類法は、このノイズレベルに対してエラー強さがあることが、明らかである。
【0025】
ここで図13を参照すると、図13は、図2の流れ図に関して示され、そして記述された本発明の方法の様々な態様を実装することが出来る1つの例示的な処理システムのブロック図を説明する。
【0026】
図13の実施形態が示されており、図1のIR検知デバイス107のアンテナ108から画素強度値を受信し、コンピュータ1304と検知デバイス107との間の双方向通信を行うためにIR画像受信器1302と通信するワークステーション1304を備えている。コンピュータ1304は、ユーザのために情報の表示を可能にし、ユーザの入力および選択を行うために、モニタ1303とユーザインタフェース1305とを有する。コンピュータ1304はまた、ネットワーク通信インタフェース(図示せず)を介してネットワーク1301と通信する。捕捉されたIR画像の様々な部分および/または画素強度値が、ワークステーション1304内部のメモリまたは格納デバイスに格納され得、そして、格納またはさらなる処理のために、ネットワーク1301を通じて遠隔のデバイスに通信され得る。ユーザは、処理のためにIR画像の画素および/または範囲を特定もしくは選択するために、またはこれらの実装のために必要とされる他のユーザ入力を提供するために、グラフィカルユーザインタフェース、例えば、キーボードおよびモニタを使用し得る。受信されたIR画像データにおいて識別または検知された、関心のある画素および/または領域は、ネットワーク1301を通じて、画像処理システムなどの遠隔のデバイスから引き出されてもよい。デスクトップコンピュータ1304と受信器1302とは、画像プロセッサ1306と通信する。
【0027】
画像プロセッサ1306が示されており、画像プロセッサ1306は、例えば、画素処理のために選択または識別された画像などの中の関心のある領域などの受信されたIR画像に関連する情報を待ち行列に入れるためのバッファ1307を備えている。バッファ1307は、上記の方法でページおよびページ群を処理するために、引き出されたデータ、ならびに数式および数学的表現をさらに格納してもよい。強度計算器1308は、データと、必要とされる計算を行うために必要とされる変数に関する情報とをワークステーション1304から受信する。画素識別子モジュール1309は、ステップ204に関して上記されたように、処理される現在の画素を識別する。モジュール1309は、表示されたIR画像の中のどの画素が、次に処理されることを意図されるかをユーザが選択するための表示をモニタ1303に示すためにモニタ1303と通信する。ユーザは、処理のために、表示されたIR画像のうちの一部または全部を選択してもよい。他の実施形態において、画像は、自動的に処理され、そして、このような実施形態は、添付の特許請求の範囲の範囲内に該当することを意図されていることを理解されたい。画素分類モジュール1310は、現在の画素に対する画素強度値を取得するために、強度モジュール1308と通信するメモリを有するプロセッサであり、実装された方法に依存して相関係数およびそこからの閾値または反射率値および最も良く適合する反射率のいずれかを生成し、格納デバイス1311に結果を格納する。利用された方法に基づいて、画素は分類される。モジュール1308はさらに、モジュール1310による引き出しのために、格納デバイス1311に値を格納し、格納デバイス1311から値を引き出す。オブジェクト識別モジュール1312は、分類された画素をモジュール1310から受信し、分類に基づいて画素を識別する。この画素の分類が、格納デバイス1311に格納される。
【0028】
図13のモジュールおよび処理ユニットのうちの任意のものが、示されている経路または示されていない経路を介して格納デバイス1311と通信し、そして、意図された機能を実行するために必要とされる、データ、パラメータ値、関数、ページ、記録、データ、および機械で読み取り可能/実行可能なプログラム命令を格納したり、引き出したりしてもよいことを理解されたい。これらのモジュールのそれぞれがまた、経路(図示せず)を介してワークステーション1304と通信し、ネットワーク1301を通じて1つ以上の遠隔のデバイスとさらに通信してもよい。モジュールのうちの任意のものの機能の一部または全部が、ワークステーション1304内部のコンポーネントによって、または特定目的用コンピュータシステムによって、全体または一部を実行されてもよいことを理解されたい。様々なモジュールが、意図された機能を行うために設計されたソフトウエアおよび/またはハードウェアを同様に備え得る1つ以上のコンポーネントを指定してもよいことを理解されたい。複数のモジュールが、共同で単一の機能を行なってもよい。各モジュールは、機械で読み取り可能なプログラム命令を実行することが出来る専門のプロセッサを有してもよい。モジュールは、ASIC電子回路、または特定目的用プロセッサなどの1つのハードウェアを備えてもよい。複数のモジュールが、単一の特定目的用コンピュータシステムによって実行されるか、または複数の特定目的用コンピュータシステムによって並列で実行されるかのいずれであってもよい。モジュール間の接続は、物理的な接続と論理的な接続との両方を含む。モジュールはさらに、オペレーティングシステム、ドライバ、デバイスコントローラ、および他の装置をさらに備え得る1つ以上のソフトウエア/ハードウェアモジュールを含んでもよく、オペレーティングシステム、ドライバ、デバイスコントローラ、および他の装置のうちの一部または全部が、ネットワークを介して接続されてもよい。本発明の方法の1つ以上の態様は、専用のコンピュータシステムに実装されてもよく、ネットワークを通じて連結された遠隔のデバイスによってタスクが行われる分散コンピューティング環境で実施されてもよいことが企図されている。
【0029】
本明細書に記載された方法のうちの1つ以上の態様が、コンピュータが使用可能な媒体または機械で読み取り可能な媒体を有する、1つ以上のコンピュータプログラム製品を含む製品に組み込まれることを意図されている。製品は、流れ図に記述された方法を実行することが出来る実行可能なプログラム命令を具体化する、マシンアーキテクチャ、または他のゼログラフィシステムもしくは他の画像処理システムによって読み取り可能な少なくとも1つの格納デバイスに含まれてもよい。さらに、製品は、ゼログラフィシステム、オペレーティングシステム、プラグインの一部として含まれてもよく、または単独でか、もしくはアドオン、アップデート、アップグレード、もしくは製品一式の一部としてかのいずれかで、別々に、発送されるか、販売されるか、賃貸されるか、または提供されてもよい。
【0030】
上で開示された様々な特徴および機能、並びに他の特徴および機能、またはそれらの代替案は、多くの他の異なるシステムおよび用途と組み合わされることが望ましいことがあり得ることを理解されたい。現在予見することが出来ないか、または現在予測することが出来ない様々な代替案、改変、変形例、または改善が、当業者には、明らかであり得、後に当業者によって行われ得、それらもまた、以下の特許請求の範囲に包含されることを意図されている。従って、上記の実施形態は、例示と考えられ、限定とは考えられない。上に記述された実施形態に対して様々な変更が、本発明の精神と範囲とを逸脱することなく行われ得る。特許および特許出願を含むあらゆる刊行物の教示はそれぞれ、その全体が参照により本明細書によって別々に組み込まれる。
【技術分野】
【0001】
本発明は、マルチバンドのIR画像を取得して、そのIR画像においてオブジェクトの総数を決定するために赤外線カメラシステムを使用する、システムおよび方法に関する。
【背景技術】
【0002】
商業目的で利用可能な商用顔認識システム(FRS)が多く存在する。しかしながら、これらのシステムの多くは、顔がカメラの前に位置することと、良い照明とを必要とする。顔認識が、必要とされ得るか、または所望され得る場所では、このような条件は、得られない場合が多い。実際の状況の多くにおいて、検知および認識を求められるオブジェクトは、例えば、車で走っている間など、赤外線カメラの前を通過する間には、動いていることがあり得る。さらに、オブジェクトの照明が、不十分であり得る。この技術は、赤外線カメラを使用して捕捉された画像における多数のオブジェクトを決定するための方法を必要とする。
【発明の概要】
【課題を解決するための手段】
【0003】
開示されるものは、IR画像におけるオブジェクトの数を決定するための新たなシステムおよび方法である。本発明のシステムおよび方法は、周囲の背景からオブジェクトを区別するための手段を提供する。このようなシステムは、例えば、HOV/HOTレーンで走っている車両の中の乗員の数を決定すること、または監視カメラによって捕捉された画像の中の占有者の数を決定することなど、現実世界での幅広い用途に意図された用途を見出している。
【0004】
1つの例示的な実施形態において、本発明のシステムおよび方法は、以下を含む。第1に、IR画像化システムを使用して、IR画像の各画素に対する合計N個の強度値が、収集される。強度値が収集されると、IR画像の中の各画素は、その画素に対して分類が決定されることが出来るように処理される。1つの実施形態において、強度値は、例えば、毛髪および皮膚などの複数の既知の材料に対して評価された反射率を使用して計算される。次に、画素強度が、計算された強度値と比較され、そして、画素は、最も良く適合する反射率に基づいて分類される。別の実施形態において、相関係数が、各画素の強度値と引き出された強度値との間で計算される。次に、画素は、それらの間の相関の結果に基づいて分類される。画素が、分類されると、IR画像におけるオブジェクトの総数が、画素の分類に基づいて決定されることが出来る。
【図面の簡単な説明】
【0005】
【図1】本明細書の教示に従った、例示的な車両占有検知システムを示す図である。
【図2】自動車両の乗員の数を決定するための実施形態に関する本発明の方法の1つの例示的な実施形態を説明する図である。
【図3】本明細書の様々な実施形態と共に使用することに適したIR LEDの相対放射強度を示す図である。
【図4】本明細書の様々な実施形態と共に使用することに適したIR LEDの相対放射強度を示す図である。
【図5】本明細書の様々な実施形態と共に使用することに適したIR LEDの相対放射強度を示す図である。
【図6】本明細書の様々な実施形態と共に使用することに適したIR LEDの相対放射強度を示す図である。
【図7】本明細書の様々な実施形態と共に使用することに適したIR LEDの相対放射強度を示す図である。
【図8】本明細書の様々な実施形態と共に使用することに適したIR LEDの相対放射強度を示す図である。
【図9】本明細書の様々な実施形態と共に使用することに適したIR LEDの相対放射強度を示す図である。
【図10】η=0である、3バンドシステムおよび4バンドシステムに対する相関係数を示す図である。
【図11】η=0.05である、3バンドシステムおよび4バンドシステムに対する相関係数を示す図である。
【図12】η=0であり、ホワイトノイズが20%である、3バンドシステムおよび4バンドシステムに対する相関係数の表である。
【図13】図2の流れ図に関して示され、そして記載された本発明の方法の様々な局面を実装することが出来る1つの例示的なシステムのブロック図である。
【発明を実施するための形態】
【0006】
開示されるものは、IR画像化システムを使用して取得されたIR画像におけるオブジェクトの数を決定するための新たなシステムおよび方法である。
【0007】
「画素」は、画像の中で最小のアドレス可能な素子である。各画素は、自分自身のアドレスを有する。画素は、通常、グリッドに配置される。各画素の強度は、可変であり、その画素を測定するために使用される感知デバイスの特性や感度に依存する。カメラの解像度は、事実上、画素のサイズである。より小さい画素は、より多くの画素が画像の中に入り、より良い鮮明度を画像に与えることを意味する。
【0008】
「IR画像」は、照明されたサンプルから反射されたIR光を検知したIR検知デバイスから得られた画像である。完全占有済みIR画像は、関心のある各所望のスペクトルバンドで強度値をそれぞれが有する画素からなる。赤外(IR)光は、は、0.7マイクロメートル〜300マイクロメートルの波長を有する電磁放射である。IR範囲の上限の波長は、正確には設定されていないことに留意されたい。これは、1THz〜430THzの周波数範囲と等しい。IR波長は、可視光の波長よりも長いが、マイクロ波よりも短い。明るい日光は、海面で、1平方メートル当たり約1キロワットの照射を提供する。このエネルギーの中で、527ワットが、赤外線であり、445ワットが、可視光であり、32ワットが、紫外線である。能動赤外線において、カメラは、人間の目には見えない赤外波長で風景を照明する。赤外エネルギーは、ガンマ線、x線、紫外線、可視光の薄い領域、赤外線、テラヘルツ波、マイクロ波、および電波からの放射を含む電磁スペクトルの一部に過ぎない。これらは全て、それらの波長の長さと関連し、その波長の長さで区別される。本明細書の様々な実施形態は、低反射性赤外(LRIR)バンド全体(すなわち、約800ナノメートル〜1400ナノメートル)を利用する。LRIRは、その周波数に感度が良いマルチバンド画像化(MBI)デバイスで検知され、白黒写真に似た画像を提供することが出来る。高反射性赤外(URIR)バンド(すなわち、約1400ナノメートル〜2200ナノメートル)。URIR感知画像は、人間の皮膚が無生物のオブジェクトと同様にはIRを反射しない点でLRIR感知画像とは異なる。低IRバンドおよび高IRバンドは、反射性であるので、風景は、照明源を必要とすることがあり得る。そのような照明は、目に見える必要はないので、人類にとって邪魔ではない。日中、十分なIR照明が通常の日光によって提供され得るので、LRIR照明およびURIR照明は、不必要であり得る。
【0009】
「IR照明器」は、光源である。光量は、駆動電流を変化させることによって制御され得る。例えば、LEDの光出力は、電流によって線形的に変化する。時系列的方法と同時との両方でのIR照明の可能なLEDアレイが周知である。
【0010】
「IR画像化システム」は、標的のオブジェクトから反射されたIR光を捕捉し、それを成分波長に区別し、そして標的のIR画像を出力するように設計された装置である。このようなシステムは、IR検知器(例えば、IRカメラ)とIR照明器とを有する。1つの例示的なIR検知システムが、図1に示される。IR画像化システムは、単一のIR検知デバイスと、1つの固定フィルタを有する逐次的に照明されるNバンドの照明器(N≧3)とであるか、またはそれぞれが、それぞれのバンドパスフィルタを有する合計N個の検知デバイス(N≧3)と単一の照明源とを備えているかのいずれかであり得る。
【0011】
ここで、図1を参照すると、図1は、例示的な車両占有検知システムを示す。
【0012】
図1において、標的の車両100は、人間の乗員を含み、HOVレーン104に沿って、方向ベクトル103によって示される動きの方向に、速度vで走っている。信号機に使用されているものと同様の管状構築物を備えている支持アーム105が、レーン104の上の所望の距離dの範囲内に配置されている。遠隔のデバイスと通信するための伝達素子108有するIR検知システム107と、IR照明システム109とが、アーム105に固定されている。検知デバイス107は、望遠レンズを搭載されたカメラと、バンドパスフィルタと、グレア効果を弱めるための偏光レンズとを備え得る。日中の動作の間、太陽による照明が、十分であり得る。IR照明器109は、1つ以上の波長でIR放射を放ち、その1つ以上の波長が、標的の車両とその中の内容物とから反射されて検知器207に戻る。IR検知システム107は、IR画像および/またはIR画像の中の各画素と関連付けられる強度値を、次に記述される方法でさらに処理するために演算デバイスに伝達する。
【0013】
ここで、図2の流れ図を参照すると、自動車両の中のオブジェクトの数を決定するための本発明の方法の1つの例示的な実施形態を説明する。この実施形態は、運輸管理システムに関して考察されるが、本明細書の教示は、IR画像化システムを使用して得られたIR画像の中の多数のオブジェクトを決定することが所望される幅広いシステムにおいて用途を見出すことを意図されていることを理解されたい。このような実施形態は、添付の特許請求の範囲の範囲内に該当することを意図されている。以下の処理は、200で開始し、そして直ぐにステップ202に進む。
【0014】
ステップ202において、IR画像の中の各画素に対する合計N個の強度値が収集される。各画素に対する強度値は、図1の例示的なIR画像化システムを使用して、反射されたIR光源から収集される。IR画像および/または各画素に対する強度値は、本明細書の様々な実施形態に従ってさらに処理するために、コンピュータのワークステーションまたは特定目的用コンピュータシステムに提供され得る。以下では、空気中でのIRの減衰と積分時間とは、全てのバンドに対して同じであると仮定されている。そうでない場合には、これらの要素はそれに応じて調整される。
【0015】
IR検知デバイスが、単一のIR検知デバイスであり、IR照明器が、1つの固定フィルタを有する、逐次的に照明するNバンドの照明器(N≧3)である場合には、強度値は、
【数1】
を含み、ここで、iは、逐次的に照明している照明器からi番目のIRバンドとなるように、i=1・・・Nであり、αは、照明源からの角度および距離と、空気中でのIR波の減衰と、検知デバイスの積分時間とに依存する定数であり、
【数2】
は、光源のi番目のバンドの強度であり、Ibは、日光のIR成分からの強度などの、背景の光源からの強度であり、R0(λ)は、車両の内部のオブジェクトの反射率であり、RG(λ)とTG(λ)とは、ガラスの反射率と透過率とであり、定数ηは、車両のガラスから反射され、検知器によって受け取られた、照明器からの光の割合の測定値であり、TL(λ)は、固定フィルタの透過率であり、D(λ)は、検知デバイスの応答速度である。
【0016】
IR検知デバイスが、N個のバンドパスフィルタを有するN個の検知デバイス(N≧3)であり、IR照明器が、フィルタの波長範囲に及ぶ1つの照明器を有する場合には、強度値は、
【数3】
を含み、ここで、iは、i番目のIRバンドパスフィルタとなるように、i=1・・・Nであり、αは、照明源からの角度および距離と、空気中でのIR波の減衰と、検知デバイスの積分時間とに依存する定数であり、Is(λ)は、光源の強度であり、Ibは、背景の強度であり、R0(λ)は、車両の内部のオブジェクトの反射率であり、RG(λ)とTG(λ)とは、ガラスの反射率と透過率とであり、定数ηは、車両のガラスから反射され、検知器によって受け取られた、照明器からの光の割合の測定値であり、TiL(λ)は、i番目のフィルタの透過率であり、D(λ)は、検知デバイスの応答速度である。画素強度値の任意のものが、この画素に対する1つ以上の新たな強度値を生成するために組み合わされ、それに応じて処理されることが出来る。
【0017】
ステップ204において、IR画像の第1の画素が、処理のために引き出される。第1の画素は、プロセッサによって自動的に選択され得るか、または本発明の方法の様々な局面が行われることが意図されているコンピュータのワークステーションと関連付けられるグラフィカルユーザインタフェース、例えば、キーボード、マウスおよびモニタなどを使用してユーザによって識別され得る。ユーザは、受け取ったIR画像の第1の領域と、IR画像の他の部分よりも先に処理された、画像の選択された範囲内の画素の一部または全部とを選択し得る。動いている車両の1つ以上のIR画像が、それに従って処理するために捕捉されることが出来る。
【0018】
ステップ206において、識別された画素が、最も良く適合する反射率または相関法のいずれかに従って分類される。相関法においては、複数の既知の材料に対して評価された強度値が、格納デバイスから引き出されるか、またはネットワーク接続を介して遠隔のデバイスから引き出される。相関係数が、画素の強度値と引き出された強度値との間で計算される。次に、画素は、画素の強度値と、これらの既知の材料に対する強度値との間で計算された相関に基づいて分類される。1つの実施形態において、相関係数は、
【数4】
によって与えられ、ここで、ΔIcm(i)=Icm(i)−Imは、測定された強度の差であり、ΔIcs(i)=ΔIcs(i)−Isは、計算された強度の差であり、Isは、特定の反射率を有する計算された強度が、測定された強度のオブジェクトと一致する場合には、相関は、高くなる(1に近い)が、そうでなければ、相関は、小さくなる(0に近いか、または負)ような、Imの計算された対応である。
【0019】
最も良く適合する反射率法においては、複数の既知の材料に対して評価された反射率値が、格納デバイスから引き出されるか、またはネットワークを介して遠隔のデバイスから引き出される。強度値は、引き出された反射率を使用して、これらの既知の材料に対して計算される。次に、現在の画素の強度値が、既知の材料に対する計算された強度値と比較され、画素が、反射率の最も良く適合するものに基づいて分類される。
【0020】
ステップ208において、現在の画素が分類されると、まだこれ以上、処理されるべき画素が、残っているか否かに関して、決定が行われる。もし残っている場合には、ステップ204に関して、処理が繰り返され、ここで、次の画素が、処理のために、引き出されるか、選択されるか、または識別される。IR画像における全ての所望の画素が処理されるまで、処理は繰り返される。
【0021】
次に、ステップ210において、自動車両の中のオブジェクトの総数が、画素の分類に基づいて決定される。その後、この実施形態においては、IR画像のさらなる処理は、終了する。
【0022】
画像の中の画素が、人間ではない周囲のオブジェクトから区別されることが出来ると、ニューラルネットワークまたはファジー理論が、車両の中の(生きている、または生きていない)オブジェクトの数の決定を容易にするために利用されることが出来る。1つの実施形態において、これは、画像化システムによって撮影された、標的の車両の1つ以上のIR画像のそれぞれにおいて識別された人間を空間的に分離し、そして、オブジェクトの数を数えることによって達成される。例えば、1つのカメラが、前方の乗員区画の画像を捕捉するために、動いている車両の正面を向き、1つのカメラが、車両の乗員側の画像と運転手側の画像とを捕捉するために、車両のそれぞれの側に向いているなど、3つのIRカメラが、利用される場合には、画像のそれぞれが、存在するオブジェクトを決定するために分析されることが出来る。1つの例示的な実装において、自動車両における人間の乗員の数が、HOVレーンの移動が制限されている昼間の間に、所定の数を超過している場合には、車両のナンバープレートが、車両タグ識別技術を使用して自動的に捕捉されることが出来、信号が、交通指導局に送信され、識別されたナンバープレートの数字を有する車両が、要求された乗員数ではないが、HOVレーンを使用していることを示す。
【0023】
本明細書の流れ図は、例示であることを理解されたい。流れ図のいずれかにおいて説明される動作ステップのうちの1つ以上が、異なる順序で実行されてもよい。例えば、他の動作が、追加されてもよく、改変されてもよく、改良されてもよく、簡略化されてもよく、統合されてもよく、またはそれらのステップと合併されてもよい。このような変化形は、添付の特許請求の範囲の範囲内に該当することを意図されている。流れ図の全部または一部は、機械で実行可能な命令に関してハードウェアに部分的にまたは完全に実装されてもよい。
【0024】
4バンドの照明器システムが、使用された。使用したLEDは、940nm、1070nm、1200nm、および1550nmのピーク波長を有するものであった。LEDのパワースペクトルが、図3〜図9に示されている。近赤外線(NIR)LEDは、既に市販されている。これらのLEDは、GaAsまたはInGaAsPなどの様々な半導体で作成され、可視光(>730nm)の近くから始まり短波赤外線(>2000nm)までのピーク波長を有する。図3〜図9は、810nmと1600nmとの間の範囲のピーク波長を有する、InGaAsPから作成されたいくつかの赤外線LEDのスペクトルを説明する。これらのLEDは、高出力のものに関しては、数mWと約45mWとの間の良好な放射強度を有する。同じピーク波長を有する多くのLEDを一束または一群に束ねることが出来る。この調査は、各LED照明器が、均等に電力を供給されていると仮定している(もしそうでなければ、以下の表の比は、調節され得る)。人間の皮膚の反射率を含む様々な材料の反射率と、窓の透過率とは、出版されている幅広い文献で入手可能である。IR検知カメラは、市販されており、900nmから1700nmの画像を捕捉する。方程式(3)の相関係数を使用した結果が、図10および図11の表に提示されている。「C123」という用語は、バンド1(ピーク波長940nm)、バンド2(1070nm)、およびバンド3(1200nm)だけを有する逐次照明器との相関係数を意味する。他の3バンドの相関係数に対しても同様の表記が、使用されている。「C4」という用語は、4つ全てのバンドを使用した相関係数を意味する。図10の表は、η=0である相関係数を示す。図10の表から、1と2と3との3バンドの組み合わせを除いて、3バンドの組み合わせの大部分と4バンドのシステムとは、うまくいく(負の相関係数またはわずかに正)ことを理解することが出来る。図11の表は、η=0.05である相関係数を示す。理解できるように、他の材料と皮膚を区別する性質は、η=0である場合から低下されている。しかしながら、汚れたガラスで暗色皮膚である場合を除いて、C234の組み合わせと4バンドのシステムとは、依然として、他の材料から皮膚を区別するにはある程度良い。これらのエラー強さをさらにテストするために、「測定された」強度に対して20%のホワイトノイズを加え、上記の相関を再びテストした。結果が、図12の表に示されている。C234の3バンドおよび4バンドのカメラシステムに関しては、分類法は、このノイズレベルに対してエラー強さがあることが、明らかである。
【0025】
ここで図13を参照すると、図13は、図2の流れ図に関して示され、そして記述された本発明の方法の様々な態様を実装することが出来る1つの例示的な処理システムのブロック図を説明する。
【0026】
図13の実施形態が示されており、図1のIR検知デバイス107のアンテナ108から画素強度値を受信し、コンピュータ1304と検知デバイス107との間の双方向通信を行うためにIR画像受信器1302と通信するワークステーション1304を備えている。コンピュータ1304は、ユーザのために情報の表示を可能にし、ユーザの入力および選択を行うために、モニタ1303とユーザインタフェース1305とを有する。コンピュータ1304はまた、ネットワーク通信インタフェース(図示せず)を介してネットワーク1301と通信する。捕捉されたIR画像の様々な部分および/または画素強度値が、ワークステーション1304内部のメモリまたは格納デバイスに格納され得、そして、格納またはさらなる処理のために、ネットワーク1301を通じて遠隔のデバイスに通信され得る。ユーザは、処理のためにIR画像の画素および/または範囲を特定もしくは選択するために、またはこれらの実装のために必要とされる他のユーザ入力を提供するために、グラフィカルユーザインタフェース、例えば、キーボードおよびモニタを使用し得る。受信されたIR画像データにおいて識別または検知された、関心のある画素および/または領域は、ネットワーク1301を通じて、画像処理システムなどの遠隔のデバイスから引き出されてもよい。デスクトップコンピュータ1304と受信器1302とは、画像プロセッサ1306と通信する。
【0027】
画像プロセッサ1306が示されており、画像プロセッサ1306は、例えば、画素処理のために選択または識別された画像などの中の関心のある領域などの受信されたIR画像に関連する情報を待ち行列に入れるためのバッファ1307を備えている。バッファ1307は、上記の方法でページおよびページ群を処理するために、引き出されたデータ、ならびに数式および数学的表現をさらに格納してもよい。強度計算器1308は、データと、必要とされる計算を行うために必要とされる変数に関する情報とをワークステーション1304から受信する。画素識別子モジュール1309は、ステップ204に関して上記されたように、処理される現在の画素を識別する。モジュール1309は、表示されたIR画像の中のどの画素が、次に処理されることを意図されるかをユーザが選択するための表示をモニタ1303に示すためにモニタ1303と通信する。ユーザは、処理のために、表示されたIR画像のうちの一部または全部を選択してもよい。他の実施形態において、画像は、自動的に処理され、そして、このような実施形態は、添付の特許請求の範囲の範囲内に該当することを意図されていることを理解されたい。画素分類モジュール1310は、現在の画素に対する画素強度値を取得するために、強度モジュール1308と通信するメモリを有するプロセッサであり、実装された方法に依存して相関係数およびそこからの閾値または反射率値および最も良く適合する反射率のいずれかを生成し、格納デバイス1311に結果を格納する。利用された方法に基づいて、画素は分類される。モジュール1308はさらに、モジュール1310による引き出しのために、格納デバイス1311に値を格納し、格納デバイス1311から値を引き出す。オブジェクト識別モジュール1312は、分類された画素をモジュール1310から受信し、分類に基づいて画素を識別する。この画素の分類が、格納デバイス1311に格納される。
【0028】
図13のモジュールおよび処理ユニットのうちの任意のものが、示されている経路または示されていない経路を介して格納デバイス1311と通信し、そして、意図された機能を実行するために必要とされる、データ、パラメータ値、関数、ページ、記録、データ、および機械で読み取り可能/実行可能なプログラム命令を格納したり、引き出したりしてもよいことを理解されたい。これらのモジュールのそれぞれがまた、経路(図示せず)を介してワークステーション1304と通信し、ネットワーク1301を通じて1つ以上の遠隔のデバイスとさらに通信してもよい。モジュールのうちの任意のものの機能の一部または全部が、ワークステーション1304内部のコンポーネントによって、または特定目的用コンピュータシステムによって、全体または一部を実行されてもよいことを理解されたい。様々なモジュールが、意図された機能を行うために設計されたソフトウエアおよび/またはハードウェアを同様に備え得る1つ以上のコンポーネントを指定してもよいことを理解されたい。複数のモジュールが、共同で単一の機能を行なってもよい。各モジュールは、機械で読み取り可能なプログラム命令を実行することが出来る専門のプロセッサを有してもよい。モジュールは、ASIC電子回路、または特定目的用プロセッサなどの1つのハードウェアを備えてもよい。複数のモジュールが、単一の特定目的用コンピュータシステムによって実行されるか、または複数の特定目的用コンピュータシステムによって並列で実行されるかのいずれであってもよい。モジュール間の接続は、物理的な接続と論理的な接続との両方を含む。モジュールはさらに、オペレーティングシステム、ドライバ、デバイスコントローラ、および他の装置をさらに備え得る1つ以上のソフトウエア/ハードウェアモジュールを含んでもよく、オペレーティングシステム、ドライバ、デバイスコントローラ、および他の装置のうちの一部または全部が、ネットワークを介して接続されてもよい。本発明の方法の1つ以上の態様は、専用のコンピュータシステムに実装されてもよく、ネットワークを通じて連結された遠隔のデバイスによってタスクが行われる分散コンピューティング環境で実施されてもよいことが企図されている。
【0029】
本明細書に記載された方法のうちの1つ以上の態様が、コンピュータが使用可能な媒体または機械で読み取り可能な媒体を有する、1つ以上のコンピュータプログラム製品を含む製品に組み込まれることを意図されている。製品は、流れ図に記述された方法を実行することが出来る実行可能なプログラム命令を具体化する、マシンアーキテクチャ、または他のゼログラフィシステムもしくは他の画像処理システムによって読み取り可能な少なくとも1つの格納デバイスに含まれてもよい。さらに、製品は、ゼログラフィシステム、オペレーティングシステム、プラグインの一部として含まれてもよく、または単独でか、もしくはアドオン、アップデート、アップグレード、もしくは製品一式の一部としてかのいずれかで、別々に、発送されるか、販売されるか、賃貸されるか、または提供されてもよい。
【0030】
上で開示された様々な特徴および機能、並びに他の特徴および機能、またはそれらの代替案は、多くの他の異なるシステムおよび用途と組み合わされることが望ましいことがあり得ることを理解されたい。現在予見することが出来ないか、または現在予測することが出来ない様々な代替案、改変、変形例、または改善が、当業者には、明らかであり得、後に当業者によって行われ得、それらもまた、以下の特許請求の範囲に包含されることを意図されている。従って、上記の実施形態は、例示と考えられ、限定とは考えられない。上に記述された実施形態に対して様々な変更が、本発明の精神と範囲とを逸脱することなく行われ得る。特許および特許出願を含むあらゆる刊行物の教示はそれぞれ、その全体が参照により本明細書によって別々に組み込まれる。
【特許請求の範囲】
【請求項1】
IR画像化システムによって取得されたIR画像の中のオブジェクトの数を決定するための方法であって、前記方法は、
IR画像の中の各画素に対する合計N個の強度値を収集することであって、前記強度値は、IR検知デバイスとIR照明器とを備えているIR画像化システムを使用して収集される、収集することと、
複数の既知の材料に対して評価された強度値をデータベースから引き出すことと、
最も良く適合する反射率法と相関法とのうちの一方を使用して前記IR画像の中の各画素に対する分類を決定することと、
前記画素の分類に基づいて前記IR画像の中のオブジェクトの総数を決定することと、
を含む、方法。
【請求項2】
前記IR検知デバイスは、単一のIR検知デバイスであり、前記IR照明器は、1つの固定フィルタを有する、逐次的に照明するNバンドの照明器(N≧3)であり、前記強度値は、
【数1】
を含み、ここで、iは、逐次的に照明している前記照明器からi番目のIRバンドとなるように、i=1・・・Nであり、αは、前記照明源からの角度および距離と、空気中でのIR波の減衰と、前記検知デバイスの積分時間とに依存する定数であり、
【数2】
は、前記光源のi番目のバンドの強度であり、Ibは、日光のIR成分からの強度などの、背景の光源からの強度であり、R0(λ)は、前記IR検知デバイスによって検知されたオブジェクトの反射率であり、RG(λ)とTG(λ)とは、ガラスの反射率と透過率とであり、そうでなければ、RG(λ)=0でTG(λ)=1であり、定数ηは、車両のガラスから反射され、前記検知器によって受け取られた、前記照明器からの光の割合の測定値であり、そうでなければ、ηは、ゼロであり、TL(λ)は、前記固定フィルタの透過率であり、D(λ)は、前記検知デバイスの応答速度である、請求項1に記載の方法。
【請求項3】
前記相関法は、
【数3】
であって、ΔIcm(i)=Icm(i)−Imは、測定された強度の差であり、ΔIcs(i)=ΔIcs(i)−Isは、計算された強度の差であり、Isは、特定の反射率を有する計算された強度が、測定された強度のオブジェクトと一致する場合には、相関は、高くなる(1に近い)が、そうでなければ、前記相関は、小さくなる(0に近いか、または負)ような、Imの計算された対応である、ことと、
前記相関の結果に基づいて前記画素を分類することと、
を含む、請求項2に記載の方法。
【請求項4】
前記最も良く適合する反射率法は、
データベースから引き出された既知の反射率を使用して、少なくとも1つの計算された強度値と、前記画素と関連付けられる強度値を相互参照することと、
最も良く適合する反射率に基づいて前記画素を分類することと、
を含む、請求項2に記載の方法。
【請求項5】
前記IR検知デバイスは、N個のバンドパスフィルタを有するN個の検知デバイス(N≧3)であり、前記IR照明器は、前記フィルタの波長範囲に及ぶ1つの照明器を有し、前記強度値は、
【数4】
を含み、ここで、iは、i番目のIRバンドパスフィルタとなるように、i=1・・・Nであり、αは、前記照明源からの角度および距離と、空気中でのIR波の減衰と、前記検知デバイスの積分時間とに依存する定数であり、Is(λ)は、前記光源の強度であり、Ibは、背景の強度であり、R0(λ)は、前記IR検知デバイスによって検知されたオブジェクトの反射率であり、RG(λ)とTG(λ)とは、ガラスの反射率と透過率とであり、そうでなければ、RG(λ)=0でTG(λ)=1であり、定数ηは、車両のガラスから反射され、前記検知器によって受け取られた、前記照明器からの光の割合の測定値であり、そうでなければ、ηは、ゼロであり、TiL(λ)は、i番目のフィルタの透過率であり、D(λ)は、前記検知デバイスの応答速度である、請求項1に記載の方法。
【請求項6】
前記相関法は、
【数5】
であって、ΔIcm(i)=Icm(i)−Imは、測定された強度の差であり、ΔIcs(i)=ΔIcs(i)−Isは、計算された強度の差であり、Isは、特定の反射率を有する計算された強度が、測定された強度のオブジェクトと一致する場合には、相関は、高くなる(1に近い)が、そうでなければ、前記相関は、小さくなる(0に近いか、または負)ような、Imの計算された対応である、ことと、
前記相関の結果に基づいて前記画素を分類することと、
を含む、請求項5に記載の方法。
【請求項7】
前記最も良く適合する反射率法は、
データベースから引き出された既知の反射率を使用して、少なくとも1つの計算された強度値と、前記画素と関連付けられる強度値を相互参照することと、
最も良く適合する反射率に基づいて前記画素を分類することと、
を含む、請求項5に記載の方法。
【請求項8】
IR画像の中のオブジェクトの数を決定するためのシステムであって、前記システムは、
IR検知デバイスとIR照明器とを備えているIR画像化システムと、
メモリおよび格納媒体と、
前記格納媒体および前記メモリと通信するプロセッサであって、前記プロセッサは、
前記IR画像化システムを使用して、IR画像の中の各画素に対する合計N個の強度値を収集することと、
複数の既知の材料に対して評価された強度値をデータベースから引き出すことと、
最も良く適合する反射率法と相関法とのうちの一方を使用して前記IR画像の中の各画素に対する分類を決定することと、
前記画素の分類に基づいて前記IR画像の中のオブジェクトの総数を決定することと、
を含む方法を行うための機械で読み取り可能な命令を実行する、システム。
【請求項9】
前記IR検知デバイスは、単一のIR検知デバイスであり、前記IR照明器は、1つの固定フィルタを有する、逐次的に照明するNバンドの照明器(N≧3)であり、前記強度値は、
【数6】
を含み、ここで、iは、逐次的に照明している前記照明器からi番目のIRバンドとなるように、i=1・・・Nであり、αは、前記照明源からの角度および距離と、空気中でのIR波の減衰と、前記検知デバイスの積分時間とに依存する定数であり、
【数7】
は、光源のi番目のバンドの強度であり、Ibは、日光のIR成分からの強度などの、背景の光源からの強度であり、R0(λ)は、前記IR検知デバイスによって検知されたオブジェクトの反射率であり、RG(λ)とTG(λ)とは、ガラスの反射率と透過率とであり、そうでなければ、RG(λ)=0でTG(λ)=1であり、定数ηは、車両のガラスから反射され、前記検知器によって受け取られた、前記照明器からの光の割合の測定値であり、そうでなければ、ηは、ゼロであり、TL(λ)は、前記固定フィルタの透過率であり、D(λ)は、前記検知デバイスの応答速度である、請求項8に記載のシステム。
【請求項10】
前記相関法は、
【数8】
であって、ΔIcm(i)=Icm(i)−Imは、測定された強度の差であり、ΔIcs(i)=ΔIcs(i)−Isは、計算された強度の差であり、Isは、特定の反射率を有する計算された強度が、測定された強度のオブジェクトと一致する場合には、相関は、高くなる(1に近い)が、そうでなければ、前記相関は、小さくなる(0に近いか、または負)ような、Imの計算された対応である、ことと、
前記相関の結果に基づいて前記画素を分類することと、
を含む、請求項9に記載のシステム。
【請求項11】
前記最も良く適合する反射率法は、
データベースから引き出された既知の反射率を使用して、少なくとも1つの計算された強度値と、前記画素と関連付けられる強度値を相互参照することと、
最も良く適合する反射率に基づいて前記画素を分類することと、
を含む、請求項8に記載のシステム。
【請求項12】
前記IR検知デバイスは、N個のバンドパスフィルタを有するN個の検知デバイス(N≧3)であり、前記IR照明器は、前記フィルタの波長範囲に及ぶ1つの照明器を有し、前記強度値は、
【数9】
を含み、ここで、iは、i番目のIRバンドパスフィルタとなるように、i=1・・・Nであり、αは、前記照明源からの角度および距離と、空気中でのIR波の減衰と、前記検知デバイスの積分時間とに依存する定数であり、Is(λ)は、前記光源の強度であり、Ibは、背景の強度であり、R0(λ)は、前記IR検知デバイスによって検知されたオブジェクトの反射率であり、RG(λ)とTG(λ)とは、ガラスの反射率と透過率とであり、そうでなければ、RG(λ)=0でTG(λ)=1であり、定数ηは、車両のガラスから反射され、前記検知器によって受け取られた、前記照明器からの光の割合の測定値であり、そうでなければ、ηは、ゼロであり、TiL(λ)は、i番目のフィルタの透過率であり、D(λ)は、前記検知デバイスの応答速度である、請求項8に記載のシステム。
【請求項13】
前記相関法は、
【数10】
であって、ΔIcm(i)=Icm(i)−Imは、測定された強度の差であり、ΔIcs(i)=ΔIcs(i)−Isは、計算された強度の差であり、Isは、特定の反射率を有する計算された強度が、測定された強度のオブジェクトと一致する場合には、相関は、高くなる(1に近い)が、そうでなければ、前記相関は、小さくなる(0に近いか、または負)ような、Imの計算された対応である、ことと、
前記相関の結果に基づいて前記画素を分類することと、
を含む、請求項12に記載のシステム。
【請求項14】
前記最も良く適合する反射率法は、
データベースから引き出された既知の反射率を使用して、少なくとも1つの計算された強度値と、前記画素と関連付けられる強度値を相互参照することと、
最も良く適合する反射率に基づいて前記画素を分類することと、
を含む、請求項12に記載のシステム。
【請求項1】
IR画像化システムによって取得されたIR画像の中のオブジェクトの数を決定するための方法であって、前記方法は、
IR画像の中の各画素に対する合計N個の強度値を収集することであって、前記強度値は、IR検知デバイスとIR照明器とを備えているIR画像化システムを使用して収集される、収集することと、
複数の既知の材料に対して評価された強度値をデータベースから引き出すことと、
最も良く適合する反射率法と相関法とのうちの一方を使用して前記IR画像の中の各画素に対する分類を決定することと、
前記画素の分類に基づいて前記IR画像の中のオブジェクトの総数を決定することと、
を含む、方法。
【請求項2】
前記IR検知デバイスは、単一のIR検知デバイスであり、前記IR照明器は、1つの固定フィルタを有する、逐次的に照明するNバンドの照明器(N≧3)であり、前記強度値は、
【数1】
を含み、ここで、iは、逐次的に照明している前記照明器からi番目のIRバンドとなるように、i=1・・・Nであり、αは、前記照明源からの角度および距離と、空気中でのIR波の減衰と、前記検知デバイスの積分時間とに依存する定数であり、
【数2】
は、前記光源のi番目のバンドの強度であり、Ibは、日光のIR成分からの強度などの、背景の光源からの強度であり、R0(λ)は、前記IR検知デバイスによって検知されたオブジェクトの反射率であり、RG(λ)とTG(λ)とは、ガラスの反射率と透過率とであり、そうでなければ、RG(λ)=0でTG(λ)=1であり、定数ηは、車両のガラスから反射され、前記検知器によって受け取られた、前記照明器からの光の割合の測定値であり、そうでなければ、ηは、ゼロであり、TL(λ)は、前記固定フィルタの透過率であり、D(λ)は、前記検知デバイスの応答速度である、請求項1に記載の方法。
【請求項3】
前記相関法は、
【数3】
であって、ΔIcm(i)=Icm(i)−Imは、測定された強度の差であり、ΔIcs(i)=ΔIcs(i)−Isは、計算された強度の差であり、Isは、特定の反射率を有する計算された強度が、測定された強度のオブジェクトと一致する場合には、相関は、高くなる(1に近い)が、そうでなければ、前記相関は、小さくなる(0に近いか、または負)ような、Imの計算された対応である、ことと、
前記相関の結果に基づいて前記画素を分類することと、
を含む、請求項2に記載の方法。
【請求項4】
前記最も良く適合する反射率法は、
データベースから引き出された既知の反射率を使用して、少なくとも1つの計算された強度値と、前記画素と関連付けられる強度値を相互参照することと、
最も良く適合する反射率に基づいて前記画素を分類することと、
を含む、請求項2に記載の方法。
【請求項5】
前記IR検知デバイスは、N個のバンドパスフィルタを有するN個の検知デバイス(N≧3)であり、前記IR照明器は、前記フィルタの波長範囲に及ぶ1つの照明器を有し、前記強度値は、
【数4】
を含み、ここで、iは、i番目のIRバンドパスフィルタとなるように、i=1・・・Nであり、αは、前記照明源からの角度および距離と、空気中でのIR波の減衰と、前記検知デバイスの積分時間とに依存する定数であり、Is(λ)は、前記光源の強度であり、Ibは、背景の強度であり、R0(λ)は、前記IR検知デバイスによって検知されたオブジェクトの反射率であり、RG(λ)とTG(λ)とは、ガラスの反射率と透過率とであり、そうでなければ、RG(λ)=0でTG(λ)=1であり、定数ηは、車両のガラスから反射され、前記検知器によって受け取られた、前記照明器からの光の割合の測定値であり、そうでなければ、ηは、ゼロであり、TiL(λ)は、i番目のフィルタの透過率であり、D(λ)は、前記検知デバイスの応答速度である、請求項1に記載の方法。
【請求項6】
前記相関法は、
【数5】
であって、ΔIcm(i)=Icm(i)−Imは、測定された強度の差であり、ΔIcs(i)=ΔIcs(i)−Isは、計算された強度の差であり、Isは、特定の反射率を有する計算された強度が、測定された強度のオブジェクトと一致する場合には、相関は、高くなる(1に近い)が、そうでなければ、前記相関は、小さくなる(0に近いか、または負)ような、Imの計算された対応である、ことと、
前記相関の結果に基づいて前記画素を分類することと、
を含む、請求項5に記載の方法。
【請求項7】
前記最も良く適合する反射率法は、
データベースから引き出された既知の反射率を使用して、少なくとも1つの計算された強度値と、前記画素と関連付けられる強度値を相互参照することと、
最も良く適合する反射率に基づいて前記画素を分類することと、
を含む、請求項5に記載の方法。
【請求項8】
IR画像の中のオブジェクトの数を決定するためのシステムであって、前記システムは、
IR検知デバイスとIR照明器とを備えているIR画像化システムと、
メモリおよび格納媒体と、
前記格納媒体および前記メモリと通信するプロセッサであって、前記プロセッサは、
前記IR画像化システムを使用して、IR画像の中の各画素に対する合計N個の強度値を収集することと、
複数の既知の材料に対して評価された強度値をデータベースから引き出すことと、
最も良く適合する反射率法と相関法とのうちの一方を使用して前記IR画像の中の各画素に対する分類を決定することと、
前記画素の分類に基づいて前記IR画像の中のオブジェクトの総数を決定することと、
を含む方法を行うための機械で読み取り可能な命令を実行する、システム。
【請求項9】
前記IR検知デバイスは、単一のIR検知デバイスであり、前記IR照明器は、1つの固定フィルタを有する、逐次的に照明するNバンドの照明器(N≧3)であり、前記強度値は、
【数6】
を含み、ここで、iは、逐次的に照明している前記照明器からi番目のIRバンドとなるように、i=1・・・Nであり、αは、前記照明源からの角度および距離と、空気中でのIR波の減衰と、前記検知デバイスの積分時間とに依存する定数であり、
【数7】
は、光源のi番目のバンドの強度であり、Ibは、日光のIR成分からの強度などの、背景の光源からの強度であり、R0(λ)は、前記IR検知デバイスによって検知されたオブジェクトの反射率であり、RG(λ)とTG(λ)とは、ガラスの反射率と透過率とであり、そうでなければ、RG(λ)=0でTG(λ)=1であり、定数ηは、車両のガラスから反射され、前記検知器によって受け取られた、前記照明器からの光の割合の測定値であり、そうでなければ、ηは、ゼロであり、TL(λ)は、前記固定フィルタの透過率であり、D(λ)は、前記検知デバイスの応答速度である、請求項8に記載のシステム。
【請求項10】
前記相関法は、
【数8】
であって、ΔIcm(i)=Icm(i)−Imは、測定された強度の差であり、ΔIcs(i)=ΔIcs(i)−Isは、計算された強度の差であり、Isは、特定の反射率を有する計算された強度が、測定された強度のオブジェクトと一致する場合には、相関は、高くなる(1に近い)が、そうでなければ、前記相関は、小さくなる(0に近いか、または負)ような、Imの計算された対応である、ことと、
前記相関の結果に基づいて前記画素を分類することと、
を含む、請求項9に記載のシステム。
【請求項11】
前記最も良く適合する反射率法は、
データベースから引き出された既知の反射率を使用して、少なくとも1つの計算された強度値と、前記画素と関連付けられる強度値を相互参照することと、
最も良く適合する反射率に基づいて前記画素を分類することと、
を含む、請求項8に記載のシステム。
【請求項12】
前記IR検知デバイスは、N個のバンドパスフィルタを有するN個の検知デバイス(N≧3)であり、前記IR照明器は、前記フィルタの波長範囲に及ぶ1つの照明器を有し、前記強度値は、
【数9】
を含み、ここで、iは、i番目のIRバンドパスフィルタとなるように、i=1・・・Nであり、αは、前記照明源からの角度および距離と、空気中でのIR波の減衰と、前記検知デバイスの積分時間とに依存する定数であり、Is(λ)は、前記光源の強度であり、Ibは、背景の強度であり、R0(λ)は、前記IR検知デバイスによって検知されたオブジェクトの反射率であり、RG(λ)とTG(λ)とは、ガラスの反射率と透過率とであり、そうでなければ、RG(λ)=0でTG(λ)=1であり、定数ηは、車両のガラスから反射され、前記検知器によって受け取られた、前記照明器からの光の割合の測定値であり、そうでなければ、ηは、ゼロであり、TiL(λ)は、i番目のフィルタの透過率であり、D(λ)は、前記検知デバイスの応答速度である、請求項8に記載のシステム。
【請求項13】
前記相関法は、
【数10】
であって、ΔIcm(i)=Icm(i)−Imは、測定された強度の差であり、ΔIcs(i)=ΔIcs(i)−Isは、計算された強度の差であり、Isは、特定の反射率を有する計算された強度が、測定された強度のオブジェクトと一致する場合には、相関は、高くなる(1に近い)が、そうでなければ、前記相関は、小さくなる(0に近いか、または負)ような、Imの計算された対応である、ことと、
前記相関の結果に基づいて前記画素を分類することと、
を含む、請求項12に記載のシステム。
【請求項14】
前記最も良く適合する反射率法は、
データベースから引き出された既知の反射率を使用して、少なくとも1つの計算された強度値と、前記画素と関連付けられる強度値を相互参照することと、
最も良く適合する反射率に基づいて前記画素を分類することと、
を含む、請求項12に記載のシステム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2012−220491(P2012−220491A)
【公開日】平成24年11月12日(2012.11.12)
【国際特許分類】
【出願番号】特願2012−61840(P2012−61840)
【出願日】平成24年3月19日(2012.3.19)
【出願人】(596170170)ゼロックス コーポレイション (1,961)
【氏名又は名称原語表記】XEROX CORPORATION
【Fターム(参考)】
【公開日】平成24年11月12日(2012.11.12)
【国際特許分類】
【出願日】平成24年3月19日(2012.3.19)
【出願人】(596170170)ゼロックス コーポレイション (1,961)
【氏名又は名称原語表記】XEROX CORPORATION
【Fターム(参考)】
[ Back to top ]