ＩＲイメージングシステムを介して得られるＩＲ画像における総人数の決定方法
【課題】周囲背景から人を分離する。
【解決手段】ＩＲイメージングシステムを用いて得られるＩＲ画像内の人の数を決定するための新規システム及び方法は、特別に構成された輝度比セットを介して周囲背景から人を分離する。これらの比から導出される量及びしきい値は、ＩＲ画像内の１つのピクセルが人からのものか、人以外からのものかを選択的に分類するために使用される。人数は、ＩＲ画像内の様々なピクセルの分類を基礎として決定される。
【解決手段】ＩＲイメージングシステムを用いて得られるＩＲ画像内の人の数を決定するための新規システム及び方法は、特別に構成された輝度比セットを介して周囲背景から人を分離する。これらの比から導出される量及びしきい値は、ＩＲ画像内の１つのピクセルが人からのものか、人以外からのものかを選択的に分類するために使用される。人数は、ＩＲ画像内の様々なピクセルの分類を基礎として決定される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、赤外線カメラシステムを用いてマルチバンドＩＲ画像を取得しかつ次にそのＩＲ画像内の総人数を決定するシステム及び方法に関する。
【発明の概要】
【発明が解決しようとする課題】
【０００２】
開示する内容は、ＩＲイメージングシステムを用いて得られるＩＲ画像内の人の数を決定するための新規システム及び方法である。本方法は、特別に構成された輝度比セットを介して周囲背景から人を分離する。これらの比から導出される量及びしきい値は、ＩＲ画像内の１つのピクセルが人からのものか、人以外からのものかを選択的に分類するために使用される。人数は、ＩＲ画像内の様々なピクセルの分類を基礎として決定される。
【課題を解決するための手段】
【０００３】
ある例示的な実施形態において、本システム及び方法は下記を含む。まず、ＩＲ画像内の各ピクセルについて、合計Ｎ個の輝度値が人を決定すべく処理されるために集められる。ピクセルの輝度値は、ＩＲイメージングシステムを用いて集められる。輝度値が集められると、ＩＲ画像内の各ピクセルがそのピクセルの分類を決定するために処理される。ピクセル輝度の処理は、ピクセルの輝度値の比を生成することと、この比からしきい値を形成することを含む。しきい値は、本明細書でさらに完全に説明するような方法で、ピクセルを人または人以外のものとして分類するために使用される。全てのピクセルが分類されると、このピクセル分類を基礎としてＩＲ画像内の総人数が決定される。このようなシステムはその使用目的を、例えばＨＯＶ／ＨＯＴ車線を走行する自動車内の乗員総数の決定、または例えば廊下における防犯カメラによって捕捉される画像内の人数の決定等の幅広い実社会でのアプリケーションに見出す。
【図面の簡単な説明】
【０００４】
【図１】ＩＲ画像の一例を示す。
【図２】本明細書の教示内容による、標的車両を照射するためのＩＲ照射システム例の一実施形態を示す。
【図３】本明細書の教示内容に従って使用するためのＩＲ検出システム例３００の一実施形態を示す。
【図４】図２の照射システム及び図３の検出システムを組み込んだ車両乗員検出システム例を示す。
【図５】輸送管理システムにおいて車両内の乗員数を決定するための本方法の一実施形態例を示す。
【図６】本明細書における様々な実施形態との共用に適するＩＲ ＬＥＤの相対放射強度を示す。
【図７】本明細書における様々な実施形態との共用に適するＩＲ ＬＥＤの相対放射強度を示す。
【図８】本明細書における様々な実施形態との共用に適するＩＲ ＬＥＤの相対放射強度を示す。
【図９】本明細書における様々な実施形態との共用に適するＩＲ ＬＥＤの相対放射強度を示す。
【図１０】本明細書における様々な実施形態との共用に適するＩＲ ＬＥＤの相対放射強度を示す。
【図１１】本明細書における様々な実施形態との共用に適するＩＲ ＬＥＤの相対放射強度を示す。
【図１２】本明細書における様々な実施形態との共用に適するＩＲ ＬＥＤの相対放射強度を示す。
【図１３】η＝０である場合の様々な結果を示す。
【図１４】η＝０．０５である場合の様々な結果を示す。
【図１５】図５のフロー図に関連して示されかつ記述される本方法の様々な態様を実装できるシステム例のブロック図を示す。
【発明を実施するための形態】
【０００５】
開示する内容は、ＩＲイメージングシステムを用いて得られるＩＲ画像内の人の数を決定するための新規システム及び方法である。本方法は、特別に構成された輝度比セットを介して周囲背景から人を分離する。これらの比から導出される量及びしきい値は、ＩＲ画像内の１つのピクセルが人からのものか、人以外からのものかを選択的に分類するために使用される。人数は、ＩＲ画像内の様々なピクセルの分類を基礎として決定される。
【０００６】
「ピクセル」は、１画像においてアドレス可能な最小要素である。各ピクセルは、その固有のアドレスを有する。ピクセルは通常、格子状に配列される。各ピクセルの輝度は可変性であって、そのピクセルの測定に使用されている検出デバイスの特性及び感受性に依存する。カメラの解像度は、効果的にはピクセルのサイズである。より小さいピクセルは、より多くのピクセルが画像へ取り込まれることを意味し、その精細度をより高くする。
【０００７】
「ＩＲ画像」は、照射されたサンプルから反射されたＩＲ光を検出しているＩＲ検出デバイスから取得される画像である。完全にポピュレートされたＩＲ画像は、各々が特定の所望される各スペクトルバンドにおいて１つの輝度値を有する複数のピクセルから成る。図１は、ＩＲカメラを用いて捕捉されたＩＲ画像の一例を示している。赤外（ＩＲ）光は、０．７から３００マイクロメートルまでの間の波長を有する電磁放射線である。ＩＲ領域の上端波長が精確に設定されないことは注目されるべきである。これは、１から４３０ＴＨｚまでの間の周波数範囲に等しい。ＩＲ波長は可視光の波長より長いが、マイクロ波より短い。明るい日光は、海面で１平方メートル当たり約１キロワットの放射強度を与える。このエネルギーのうちで、５２７ワットは赤外線であり、４４５ワットは可視光でありかつ３２ワットは紫外線である。アクティブ赤外線の場合、カメラは人間の目には不可視の赤外波長で光景を照射する。赤外線エネルギーは、ガンマ線、ｘ線、紫外線、薄い可視光領域、赤外線、テラヘルツ波、マイクロ波及び電波からの放射を包含する電磁スペクトルの単なる一部である。これらは全て、その波長の長さにおいて関連づけられかつ区別化されている。本明細書における様々な実施形態は、低反射性の赤外（ＬＲＩＲ）バンド（即ち、≒８００−１４００ナノメートル）全体を利用する。ＬＲＩＲは、この周波数バンドに感応するマルチバンドイメージング（ＭＢＩ）デバイスによって検出され、かつ白黒写真に似た画像を提供してもよい。上側の反射赤外線（ＵＲＩＲ）バンドは、≒１４００−２２００ナノメートルである。人間の肉体は非動物オブジェクトと同様にはＩＲを反射しないことにおいて、ＵＲＩＲ感知画像はＬＲＩＲ感知画像のようではない。これらの下部及び上部ＩＲバンドは反射性であることから、光景は照射ソースを必要とする場合がある。このような照射は可視性である必要はなく、よって人間の気を散らせるものとはならない。昼間は、通常の日光によって十分なＩＲ照射が与えられ得ることから、ＬＲＩＲ及びＵＲＩＲ照射は不要である場合がある。
【０００８】
「ＩＲ照射器」は、光源である。光のレベルは、駆動電流を変えることによって制御されてもよい。例えば、ＬＥＤの光出力は電流と共に線形変化する。時系列式または同時的双方のＩＲ照射が可能なＬＥＤアレイは、周知である。図２には、ＩＲ照射システムの一例が示されている。
【０００９】
「ＩＲイメージングシステム」は、標的オブジェクトから反射されるＩＲ光を捕捉し、これをその成分波長に分離しかつ標的のＩＲ画像を出力するように設計される装置である。このようなシステムは、ＩＲ検出器（ＩＲカメラ等）と、ＩＲ照射器とを有する。図３には、ＩＲ検出システムの一例が示されている。ＩＲイメージングシステムは、単一のＩＲ検出デバイス及び１つのフィルタバンドを備える順次照射式Ｎバンド照射器（Ｎ≧３）であるか、もしくは、各々が個々の帯域通過フィルタを有する合計Ｎ個の検出デバイス（Ｎ≧３）と単一の照射ソースとを備えるかの何れかであることが可能である。
【００１０】
次に、本明細書の教示内容に従って使用するためのＩＲ照射システム例の一実施形態を示す図２を参照する。
【００１１】
図２のＩＲ照射システム２００は、各々が個々のピーク波長で狭帯域のＩＲ放射線（λ１，．．．， λｎとして示されている）を放射する複数のＩＲ光源を有するＩＲ光源アレイ２０２を備えて示されている。ソースアレイ２０２は、発光ダイオード（ＬＥＤ）のアレイを備える。各ダイオードは、ある特定の波長帯域でＩＲ放射線を放射するように選択され、かつアレイ内でその波長帯域の１ソースを画定する。コントローラ２０８はＩＲソースアレイ２０２へ結合され、かつ各照射器への入力電流及び、ひいては各々の輝度出力を制御する。検出用光学素子２０４は、複数の波長を結合してＩＲ照射ビーム２０６を生成する１つまたは複数の光学素子２０３を有する。センサ２１０はＩＲ光源アレイから放射される放射線をサンプリングし、コントローラ２０８へフィードバックを提供する。集束光学素子２１２はビーム２０６を受信し、出力ビーム２１４を標的車両２１６上へ集束する。光学素子２１２は、ビームを集束するためにビーム経路内に位置合わせされる複数の可変焦点距離レンズを含む。コントローラ２０８は、幾つか例を挙げると標的のサイズ、標的との距離、標的の速度といった制約に起因する出力ビーム２１４の変更を実行するために光学素子２１２へも結合される。コントローラ２０８はさらに、データ及び機械読取り可能プログラム命令を含む較正情報、輝度レベル及びこれらに類似するものを記憶／検索するために記憶デバイス２０９とも連通している。コントローラ２０８は、デスクトップ、サーバ、メインフレーム及びこれらに類似するもの等のコンピュータシステムを備えてもよい。コントローラ２０８は、ネットワーク（不図示）上でこのようなコンピューティングデバイスと配線式または無線式に連通して配置されてもよい。このようなネットワークは、ローカルエリアネットワーク（ＬＡＮ）であっても、インターネットであってもよい。照射システム２００のコンポーネントは何れも、その使用目的をさらに促進するためにこのようなコンピュータシステムと通じて配置され得ることは認識されるべきである。
【００１２】
図２に関連して先に述べた光学素子の何れも、光パワーを有する光学系で置換されることが可能であり、かつさらにミラーを含んでもよい。このような光学系は、各々が光パワーを有する複数のコンポーネントを含んでもよく、例えばこれは二重または三重レンズであってもよい。このような光学系は一意の焦点距離Ｆを画定するという制限の中では、ソースアレイ及び格子は光学素子の前及び後焦点面に位置合わせされることになる。その結果、光学系は光源アレイの各エレメントに対して無限遠で格子を撮像し、よって各ソースエレメントは格子の同じ領域を見る。各エレメントからの光は、その領域で同延になる。格子は次に、異なる波長バンドソースの横方向位置に関連づけられる分散を補償することによって、スペクトルコンテンツがその横方向プロファイルに渡って略均一である出力放射線を生成することができる。これは、出力ビーム２１４のスペクトルコンテンツがその横方向プロファイルに渡って略均一になることを可能にする。実際には、光学系の所望される焦点距離を精確に画定することは、光学素子に光線をそれらの波長または横方向の位置合わせに従って僅かに異なる位置へ収束させ得る収差（例えば、像面湾曲、軸上色、横色、歪み、コマ及びこれらに類似するもの）に起因して困難である場合がある。
【００１３】
さらに、光学系、ソースアレイ及び格子の相対位置は、光学系は、少なくとも各ソースから出現する近軸光線に対しては格子を光源アレイの各ソースエレメントに対して無限遠で撮像する、というより一般的な条件に従って選択される。光軸に対して角度θで伝搬する光線の場合、近軸光線はｓｉｎ（θ）≒θを有する。この無限大条件は、光学系の公称後焦点面における各ソースエレメントを光学系の被写界深度内へ位置合わせし、かつ光学系の公称前焦点面における格子を光学系の被写界深度内へ位置合わせすることによって達成されることが可能である。被写界深度（ＤＯＶ）は、ＤＯＶ＝ｌａｍｂｄａ／ＮＡ２に従って光学系の開口率（ＮＡ）に関係づけられる。但し、Ｌａｍｂｄａはソースエレメントからの光の波長である。さらに、光学素子は、様々な光学収差を補償するために、複数の自由度を与えるコンポーネントで設計されてもよい。光学系における追加コンポーネントは収差を減らすための追加的な自由度を提供するが、各追加コンポーネントは、光学系のコスト及び複雑さも増す。
【００１４】
次に、本明細書の教示内容に従って使用するためのＩＲ検出システム例３００の一実施形態を示す図３を参照する。標的車両２１６は、図２の光学素子２１２によって放射されているビーム２１４のＩＲ光を反射する。反射されたＩＲ光の一部は、１つまたは複数のレンズ３０３を有する光学素子３０２によって受け入れられ、レンズ３０３は受け入れられた光をセンサ３０４上へ集束し、センサ３０４は受け入れられた光を空間的に分解してＩＲ画像３０８を取得する。光学素子３０２は、狭帯域波長における光のみを通過させる１つまたは複数の帯域通過フィルタも含んでもよい。これらのフィルタは、３０８においてＮ個の輝度を得るように順次変更されてもよい。センサ３０４は、ＩＲ画像情報を、処理しかつ記憶するためにコンピュータ３０６へ送る。画像検出器３０８は、スペクトルコンテンツがコントローラ（不図示）を介して選択可能であってもよい多重スペクトル画像検出デバイスである。ソース光学素子３０２及び検出器３０４に適する光学素子は、技術上一般的に見受けられるものを含む。検出器３０４は、二次元格子に沿った複数のピクセル位置で光強度を独立的に記録する。適切なセンサとしては、電荷結合素子（ＣＣＤ）検出器、相補形金属酸化膜半導体（ＣＭＯＳ）検出器、電荷注入素子（ＣＩＤ）検出器、ビジコン検出器、レチコン検出器、イメージ増倍管検出器、画素化された光電子増倍管（ＰＭＴ）検出器、インジウムガリウムヒ化物（ＩｎＧａＡｓ）、テルル化水銀カドミウム（ＭＣＴ）及びマイクロボロメータが含まれる。シリコンベースの検出器が１１００ｎｍ未満に制限されることは、注目されるべきである。ハイブリッド検出器（即ち、シリコンベース及び非シリコンベースの組合せ）を有するシステムは、手の届かないものではない。コンピュータ３０６は、光学素子３０２に通じていてそのレンズを制御し、かつ検出器３０４と通じていてその感度を制御する。コンピュータ３０６は、ＩＲ画像３０８の各ピクセルに関連づけられる感度値を受信する。コンピュータ３０６はさらに、システム３００の制御を実行するために必要であるようなキーボード、モニタ、プリンタ、他（不図示）も含む。
【００１５】
次に、図２の照射システム及び図３の検出システムを組み込んだ車両乗員検出システム例を示す図４を参照する。図４において、標的車両４００は、ＨＯＶ車線４０４に沿って方向ベクトル４０３により示される移動方向に速度ｖで走行する乗員４０２を含んでいる。車線４０４上の所望される距離ｄ内には、交通信号灯に使用されるものに類似する管状構造物を備える支持アーム４０５が位置合わせされる。アーム４０５には、リモートデバイスと通信するための送信エレメント４０８を有するＩＲ検出システム４０７と、ＩＲ照射システム４０９とが固定される。システム４０９及び４０７は各々、図２及び図３のシステムの実施形態を表現するためのものである。検出デバイス４０７は、望遠レンズ、帯域通過フィルタ及びグレア効果を低減するための偏光レンズを装備したカメラを備えてもよい。昼間の作動中は、日光による照射で十分であり得る。ＩＲ照射器４０９はＩＲ放射線を１つまたは複数の波長で放射し、放射線は標的車両及び車内のコンテンツから反射されて検出器２０７へ戻る。ＩＲ検出システム４０７は、ＩＲ画像及び／またはＩＲ画像内の各ピクセルに関連づけられる輝度値を、次に述べる方法でさらに処理するためにコンピューティングデバイスへ送信する。
【００１６】
次に、輸送管理システムにおいて車両内の乗員数を決定するための本方法の一実施形態例を示す図５のフロー図を参照する。フロー処理は５００に始まり、すぐにステップ５０２へ進む。ここでは、１つの実施形態例を輸送管理システムの関連において説明するが、本明細書の教示内容の目的が、ＩＲイメージングシステムを用いて取得されるＩＲ画像内の人数を決定することが望まれる幅広いシステムにおいてその用途を発見することにある点は認識されるべきである。このような実施形態は、添付のクレームに記載された範囲に包含されることが意図されている。
【００１７】
ステップ５０２では、乗員を決定するために、処理の対象である自動車のＩＲ画像内の各ピクセルについて合計Ｎ個の輝度値が集められる。処理されるべき車両は、ＩＲ照射によって照射されているＨＯＶ車線に沿って所定の速度で走行している。各ピクセルの輝度値は、図２−図４のＩＲイメージングシステムを用いて、反射されるＩＲ光源から集められる。ＩＲ画像及び／または各ピクセルの輝度値は、本明細書に記載されている様々な実施形態に従ってさらに処理するためにコンピュータワークステーションまたは専用コンピュータシステムへ供給される。以下の説明では、空気中のＩＲ減衰及び積分時間は全帯域で同じであることが想定されている。同じでない場合、これらの要素は適宜調整されるべきである。
【００１８】
ＩＲ検出デバイスが単一のＩＲ検出デバイスであり、かつＩＲ照射器が１つの固定フィルタを備える順次照射式Ｎバンド照射器（Ｎ≧３）であれば、輝度値は次式を含む。
【数１】
【００１９】
但し、Iis(λ)は、照射ソースのｉthバンドの輝度であり、ｉ＝１，．．．，Ｎであって、ｉは順次照射する照射器からのｉ番目のＩＲバンドであり、αは照射ソースからの角度及び距離、空中でのＩＲ波の減衰及び検出デバイスの積分時間に依存する定数であり、Ｉｂは日光のＩＲ成分からのもの等の背景光源からの輝度であり、Ｒ０（λ）は車両内部のオブジェクトの反射率であり、ＲＧ（λ）及びＴＧ（λ）はガラスの反射率及び透過率であり、定数ηは車両のガラスから反射されて検出器によって受け入れられる照射器からの光の比率の測度であり、ＴＬ（λ）は固定フィルタの透過率であり、Ｄ（λ）は検出デバイスの応答度である。
【００２０】
ＩＲ検出デバイスがＮ個の帯域通過フィルタ（Ｎ≧３）を有するＮ個の検出デバイスであり、かつＩＲ照射器がフィルタの波長領域をカバーする１つの照射器を有していれば、輝度値は次式を含む。
【数２】
【００２１】
但し、Is(λ)は、照射ソースの輝度であり、ｉ＝１，．．．，Ｎであって、ｉはｉ番目のＩＲ帯域通過フィルタであり、αは照射ソースからの角度及び距離、空中でのＩＲ波の減衰及び検出デバイスの積分時間に依存する定数であり、Ｉｂは背景の輝度であり、Ｒ０（λ）は車両内部のオブジェクトの反射率であり、ＲＧ（λ）及びＴＧ（λ）はガラスの反射率及び透過率であり、定数ηは車両のガラスから反射されて検出器によって受け入れられる照射器からの光の比率の測度であり、ＴｉＬ（λ）はｉ番目のフィルタの透過率であり、Ｄ（λ）は検出デバイスの応答度である。
【００２２】
さらに、ピクセルの輝度値は何れも、このピクセルの１つまたは複数の新しい輝度値を生成するために組み合わされ、かつ適宜処理されることが可能である。
【００２３】
ステップ５０４では、ＩＲ画像の第１のピクセルが処理のために検索される。第１のピクセルはプロセッサによって自動的に選択されてもよく、または、ユーザにより、本方法の様々な態様が実行されることが意図されるコンピュータワークステーションに関連づけられる例えばキーボード、マウス及びモニタ等のグラフィカルユーザインターフェースを用いて識別されてもよい。ユーザは、受信されたＩＲ画像の第１の領域、かつＩＲ画像の他の部分より先に処理された画像の選択されたエリア内のピクセルのうちの幾つか、または全てを選択してもよい。移動している車両の１つまたは複数のＩＲ画像は、本明細書に従って処理するために捕捉されることが可能である。
【００２４】
ステップ５０６では、ピクセル輝度値の比を決定し、この比からしきい値を形成する。ステップ５０８では、しきい値を基礎としてピクセルを分類する。ある実施形態では、輝度値の比は、
【数３】
によって与えられる。
【００２５】
但し、ｉ及びｊは、バンドｋに関連づけられる指数を除くＩＲイメージングシステムのＮ個のバンド指数のうちの任意のものである。照射器がオブジェクトを照射中であって検出デバイスが画像を検出していれば、各ピクセルはＮバンド照射器でＮ個の輝度を有する。Ｎ個の輝度を例として使用すれば、１つのバンドを基準（例えば、第１のバンド）として採用し、次の比を形成することができる。
【数４】
【００２６】
但し、ｉ，ｊ＝２，．．．，Ｎであり、かつ、
【数５】
【数６】
である。
【００２７】
ここで、式（４）における比は定数ηに依存する。大部分の状況において、ηは小値（またはゼロ）である。汚れた、霧が深い、または雨が降るウィンドウ状態では、ηは大きくなる可能性がある。実際の製品における式（４）の使用は、左辺の量に必要なものが検出用カメラからの輝度測定値のみであることから、モデルを必要としない点は認識されるべきである。しかしながら、開発及び試験段階では、どの比セットを使用すべきか、及び分類用のしきい値をどのように設定するかを選択するために、モデルを用いて式（４）の右辺における量を計算することがある。
【００２８】
ステップ５１０では、処理されるべきピクセルがまだ残っているかどうかが判断される。残っていれば、ステップ５０４に関する処理が反復されて、処理をする次のピクセルが検索され、選択され、または他の方法で識別される。処理は、ＩＲ画像内の所望される全てのピクセルが処理を完了するまで反復される。
【００２９】
次に、ステップ５１２では、様々なピクセル分類を基礎として標的自動車内の総乗員数が決定される。人の画像内のピクセルを周囲の人以外のオブジェクトから分離することができたならば、ニューラルネットワークまたはファジー論理を用いて車両内の乗員数の決定を促進することができる。ある実施形態では、これは、イメージングシステムによって撮影された標的車両の１つまたは複数のＩＲ画像の各々における識別された人間を空間的に隔離し、車両内の人数を計数することによって達成される。例えば、１台が前座席における乗員の画像を捕捉するために移動する車の前側に面し、かつ乗員及び運転者側の画像を捕捉するために車両の両側に１台ずつが面するような３台のＩＲカメラが使用されれば、これらの画像は各々、人である乗員が存在するかどうかを決定するために分析されることが可能である。作動中は、標的とされた自動車の乗員数がＨＯＶ車線での走行を制限されている時間帯における既定数を超えていれば、技術上既知である車両タグ識別技術を用いて車両のナンバープレートが自動的に捕捉され、かつその識別されたナンバープレートを付けた車両が必要な乗員数を満たさずにＨＯＶ車線を使用していることを示す信号が交通指導当局へ送信される。
【００３０】
このフロー図が例示的なものであることは、認識されるべきである。フロー図の何れにおいても、示されている１つまたは複数の動作ステップは異なる順序で実行されてもよい。例えば、そのステップには、他の動作が追加、修正、強化、凝縮、統合または合併されてもよい。このような変形例は、添付のクレームに記載された範囲に包含されることが意図されている。フロー図の全て、または一部は、ハードウェアにおいて機械実行可能命令と共に部分的または完全に実装されてもよい。
性能結果
【００３１】
研究では、４バンド照射器システムを用いた。使用したＬＥＤのピーク波長は、９４０ｎｍ、１０７０ｎｍ、１２００ｎｍ及び１５５０ｎｍである。ＬＥＤのパワースペクトルは、図６−図１２に示されている。近赤外（ＮＩＲ）ＬＥＤは、既に市販されている。これらのＬＥＤはＧａＡｓまたはＩｎＧａＡｓＰ等の様々な半導体で製造され、かつ可視波長（＞７３０ｎｍ）に近いものに始まり短波長赤外（＞２０００ｎｍ）に至るまでのピーク波長を有する。図６−図１２は、ＩｎＧａＡｓＰから製造された、８１０ｎｍから１６００ｎｍまでの範囲内のピーク波長を有する幾つかの赤外ＬＥＤのスペクトルを示す。これらのＬＥＤは、ハイパワーのもので数ｍＷから約４５ｍＷまでの間の優れた放射パワーを有する。同じピーク波長を有する多くのＬＥＤは、１つのバッチまたはグループに束ねることができる。この研究は、各ＬＥＤ照射器が等しく動力を供給されることを想定している（そうでなければ、下記の表に記載されている比は調整されることが可能である）。人の皮膚の場合を含む様々な物質の反射率及びウィンドウの透過率は、幅広い刊行文献に記載されている。ＩＲ検出カメラは市販されていて、９００ｎｍから１７００ｎｍまでの画像を捕捉する。
【００３２】
私達はまず、η＝０の事例について考察した。式（４）における様々な比の場合の結果は、図１３の表に示されている。図１３において、Ｉ（１−２） ＝ Ｉｃ（１） − Ｉｃ（２）、他である。汚れのないウィンドウの場合、比Ｉ（３−２）／Ｉ（４−２）は人の皮膚でマイナス、綿、ウール及びポリアミドでプラスである。従って、この比のしきい値をゼロに設定すれば、人間の画像のピクセルは適切に分類されることが可能である。この比は１０７０ｎｍ、１２００ｎｍ及び１５５０ｎｍの各バンドのみを包含することから、皮膚の分類に要する照射ＬＥＤは３個のみである。汚れたウィンドウの場合、色の薄い皮膚でこの比は、まだゼロに近いとはいえプラスになる。これを是正するためには、下記の比によって定義されるような別の量Ｒ１２に目を向けることができる。
【数７】
【００３３】
この量は、皮膚に対しては比較的大きいが、他の３つの物質に対しては小さい。
【００３４】
ηの効果を評価するために、まず、どのカメラシステムも必要とする条件、即ち次式について検討してみよう。
【数８】
【００３５】
汚れのないガラスの場合、ＴＧ（λ）は０．５から０．８までの範囲内であるが、汚れたガラスでは、これは０．２に下がる可能性がある。汚れたガラスの場合、ηが〜０．０５のとき、システムはうまく作動しないことが予想される。
【００３６】
図１４は、η＝０．０５の場合の式（４）における様々な比の結果を示している。単に比Ｉ（３−２）／Ｉ（４−２）を使用しかつしきい値をゼロに設定することは、汚れたガラス及びティンテッドグラスの場合、人が濃い色の皮膚を有していれば機能しないことが分かる。量Ｒ１２は、しきい値を０．３に設定してもなおかなりロバストであるように思われるが、汚れたウィンドウの中の濃い皮膚は織物と間違って解釈してしまう。
【００３７】
次に、図５のフロー図に関連して示されかつ記述される本方法の様々な態様を実装できる処理システム例のブロック図を示す図１５を参照する。
【００３８】
ワークステーション１５０４は、図４のＩＲ検出デバイス４０７のアンテナ４０８からピクセル輝度値を受信するためと、コンピュータ１５０４と検出デバイス４０７との間の双方向通信を実行するためのＩＲ画像受像器１５０２と通じている。コンピュータ１５０４は、ユーザのための情報表示を有効化するためと、ユーザ入力または選択を実行するためにモニタ１５０３とユーザインタフェース１５０５とを有する。コンピュータ１５０４は、ネットワーク通信インタフェース（不図示）を介してネットワーク１５０１とも通じている。捕捉されるＩＲ画像及び／またはピクセル輝度値の様々な部分はワークステーション１５０４の内部のメモリまたは記憶デバイスに記憶されてもよく、かつ記憶またはさらなる処理のためにネットワーク１５０１上でリモートデバイスへ伝達されてもよい。ユーザは、処理するためのＩＲ画像のピクセル及び／またはエリアを識別する、または他の方法で選択するために例えばキーボード及びモニタであるグラフィカルユーザインターフェースを使用してもよく、または、その実装に必要な他のユーザ入力を提供してもよい。受信されるＩＲ画像データ内の識別される、または他の方法で検出される特定のピクセル及び／または領域は、画像処理システム等のリモートデバイスからネットワーク１５０１上で検索されてもよい。デスクトップコンピュータ１５０４及び受像器１５０２は、画像プロセッサ１５０６と通じている。
【００３９】
画像プロセッサ１５０６は、受信されたＩＲ画像に関する、例えばピクセル処理のために選択されている、または他の方法で識別されている画像内の特定の領域及びこれに類似するもの等の情報を待ち行列に入れるためのバッファ１５０７を備えて示されている。バッファ１５０７は、ページ及びページグループを上述のようにして処理するために、検索されたデータ及び数式及び数学的表現をさらに記憶してもよい。輝度計算器１５０８は、ワークステーション１５０４から、式（１）及び式（２）の何れかに関連して要求される計算を実行するために必要な変数に関するデータ及び情報を受信する。ピクセル識別子モジュール１５０９は、ステップ５０４に関連して先に述べたように、処理されるべきカレントピクセルを識別する。モジュール１５０９は、ユーザが、表示されたＩＲ画像内のどのピクセルが次に処理されるべきものであるかを選択するディスプレイを提示するためにモニタ１５０３と通じている。ユーザは、表示されたＩＲ画像のうちの幾つか、または全てを処理用に選択してもよい。他の実施形態では、画像は自動的に処理されるが、このような実施形態が添付のクレームに記載された範囲に包含されるべきものであることは理解されるべきである。比モジュール１５１０は、カレントピクセルのピクセル輝度値を取得するために輝度モジュール１５０８と通じるメモリを有するプロセッサである。比モジュール１５１０は、式（３）に関連して先に述べた比を生成し、かつ結果を記憶デバイス１５１１へ保存する。モジュール１５０８はさらに、モジュール１５１０による検索のために記憶デバイス１５１１へ値を記憶し、かつ記憶デバイス１５１１から値を検索する。しきい値モジュール１５１２は、しきい値を決定しかつこの値を、識別されたピクセルの分類を上述の方法ステップに従って実行するピクセル分類プロセッサ１５１３へ供給する。このピクセルの分類は、記憶デバイス１５１１へ保存される。
【００４０】
図１５のモジュール及び処理ユニットは何れも、図示されている、または図示されていない経路を介して記憶デバイス１５１１に通じていて、その意図された機能の実行に必要とされるデータ、パラメータ、値、関数、ページ、レコード及び機械読取り可能／実行可能プログラム命令を記憶／検索し得ることは理解されるべきである。これらのモジュールは各々、経路（不図示）を介してワークステーション１５０４と通じ、さらにはネットワーク１５０１上で１つまたは複数のリモートデバイスと通じていてもよい。任意のモジュールの機能性の幾つか、または全てがワークステーション１５０４の内部のコンポーネントによって、または専用コンピュータシステムによって完全に、または部分的に実行され得ることは認識されるべきである。
【００４１】
また、様々なモジュールが１つまたは複数のコンポーネントを示す場合があり、これらのコンポーネントが意図された機能を実行するように設計されたソフトウェア及び／またはハードウェアを備え得ることも認識されるべきである。複数のモジュールは、集合的に１つの機能を実行してもよい。各モジュールは、機械読取り可能プログラム命令を実行できる専用プロセッサを有してもよい。１つのモジュールは、ＡＳＩＣ、電子回路または専用プロセッサ等の単一のハードウェアを備えてもよい。複数のモジュールは、単一の専用コンピュータシステムによって実行されても、複数の専用コンピュータシステムによって並行して実行されてもよい。モジュール間の接続は、物理的接続及び論理的接続の双方を含む。モジュールはさらに、１つまたは複数のソフトウェア／ハードウェアモジュールを含んでもよく、これらのソフトウェア／ハードウェアモジュールはさらにオペレーティングシステム、ドライバ、デバイスコントローラ及び他の装置も備えてもよく、これらのうちの幾つか、または全てはネットワークを介して接続されてもよい。また、本方法の１つまたは複数の態様は専用コンピュータシステム上で実装されてもよく、かつタスクがネットワークでリンクされるリモートデバイスによって実行される分散されたコンピューティング環境において実施されてもよいことは予期される。
【００４２】
これまでに開示した、及び他の様々な特徴及び機能またはこれらの代替例が、望ましくは他の多くの異なるシステムまたはアプリケーションへと組み合わされてもよいことは認識されるであろう。現時点で不測である、または予期されていない様々な代替例、修正、変形例または改良が明らかとなり、かつ／または引き続き当業者によって行われ得るが、これらもまた、以下のクレームによって包含されることが意図されている。従って、これまでに述べた実施形態は例示的なものでありかつ非限定的なものと考察される。上述の実施形態に対しては、本発明の精神及び範囲を逸脱することなく、様々な変更が行われてもよい。特許及び特許出願を含む任意の印刷刊行物の教示内容は各々、参照によりその全体が別々に本開示に含まれる。
【技術分野】
【０００１】
本発明は、赤外線カメラシステムを用いてマルチバンドＩＲ画像を取得しかつ次にそのＩＲ画像内の総人数を決定するシステム及び方法に関する。
【発明の概要】
【発明が解決しようとする課題】
【０００２】
開示する内容は、ＩＲイメージングシステムを用いて得られるＩＲ画像内の人の数を決定するための新規システム及び方法である。本方法は、特別に構成された輝度比セットを介して周囲背景から人を分離する。これらの比から導出される量及びしきい値は、ＩＲ画像内の１つのピクセルが人からのものか、人以外からのものかを選択的に分類するために使用される。人数は、ＩＲ画像内の様々なピクセルの分類を基礎として決定される。
【課題を解決するための手段】
【０００３】
ある例示的な実施形態において、本システム及び方法は下記を含む。まず、ＩＲ画像内の各ピクセルについて、合計Ｎ個の輝度値が人を決定すべく処理されるために集められる。ピクセルの輝度値は、ＩＲイメージングシステムを用いて集められる。輝度値が集められると、ＩＲ画像内の各ピクセルがそのピクセルの分類を決定するために処理される。ピクセル輝度の処理は、ピクセルの輝度値の比を生成することと、この比からしきい値を形成することを含む。しきい値は、本明細書でさらに完全に説明するような方法で、ピクセルを人または人以外のものとして分類するために使用される。全てのピクセルが分類されると、このピクセル分類を基礎としてＩＲ画像内の総人数が決定される。このようなシステムはその使用目的を、例えばＨＯＶ／ＨＯＴ車線を走行する自動車内の乗員総数の決定、または例えば廊下における防犯カメラによって捕捉される画像内の人数の決定等の幅広い実社会でのアプリケーションに見出す。
【図面の簡単な説明】
【０００４】
【図１】ＩＲ画像の一例を示す。
【図２】本明細書の教示内容による、標的車両を照射するためのＩＲ照射システム例の一実施形態を示す。
【図３】本明細書の教示内容に従って使用するためのＩＲ検出システム例３００の一実施形態を示す。
【図４】図２の照射システム及び図３の検出システムを組み込んだ車両乗員検出システム例を示す。
【図５】輸送管理システムにおいて車両内の乗員数を決定するための本方法の一実施形態例を示す。
【図６】本明細書における様々な実施形態との共用に適するＩＲ ＬＥＤの相対放射強度を示す。
【図７】本明細書における様々な実施形態との共用に適するＩＲ ＬＥＤの相対放射強度を示す。
【図８】本明細書における様々な実施形態との共用に適するＩＲ ＬＥＤの相対放射強度を示す。
【図９】本明細書における様々な実施形態との共用に適するＩＲ ＬＥＤの相対放射強度を示す。
【図１０】本明細書における様々な実施形態との共用に適するＩＲ ＬＥＤの相対放射強度を示す。
【図１１】本明細書における様々な実施形態との共用に適するＩＲ ＬＥＤの相対放射強度を示す。
【図１２】本明細書における様々な実施形態との共用に適するＩＲ ＬＥＤの相対放射強度を示す。
【図１３】η＝０である場合の様々な結果を示す。
【図１４】η＝０．０５である場合の様々な結果を示す。
【図１５】図５のフロー図に関連して示されかつ記述される本方法の様々な態様を実装できるシステム例のブロック図を示す。
【発明を実施するための形態】
【０００５】
開示する内容は、ＩＲイメージングシステムを用いて得られるＩＲ画像内の人の数を決定するための新規システム及び方法である。本方法は、特別に構成された輝度比セットを介して周囲背景から人を分離する。これらの比から導出される量及びしきい値は、ＩＲ画像内の１つのピクセルが人からのものか、人以外からのものかを選択的に分類するために使用される。人数は、ＩＲ画像内の様々なピクセルの分類を基礎として決定される。
【０００６】
「ピクセル」は、１画像においてアドレス可能な最小要素である。各ピクセルは、その固有のアドレスを有する。ピクセルは通常、格子状に配列される。各ピクセルの輝度は可変性であって、そのピクセルの測定に使用されている検出デバイスの特性及び感受性に依存する。カメラの解像度は、効果的にはピクセルのサイズである。より小さいピクセルは、より多くのピクセルが画像へ取り込まれることを意味し、その精細度をより高くする。
【０００７】
「ＩＲ画像」は、照射されたサンプルから反射されたＩＲ光を検出しているＩＲ検出デバイスから取得される画像である。完全にポピュレートされたＩＲ画像は、各々が特定の所望される各スペクトルバンドにおいて１つの輝度値を有する複数のピクセルから成る。図１は、ＩＲカメラを用いて捕捉されたＩＲ画像の一例を示している。赤外（ＩＲ）光は、０．７から３００マイクロメートルまでの間の波長を有する電磁放射線である。ＩＲ領域の上端波長が精確に設定されないことは注目されるべきである。これは、１から４３０ＴＨｚまでの間の周波数範囲に等しい。ＩＲ波長は可視光の波長より長いが、マイクロ波より短い。明るい日光は、海面で１平方メートル当たり約１キロワットの放射強度を与える。このエネルギーのうちで、５２７ワットは赤外線であり、４４５ワットは可視光でありかつ３２ワットは紫外線である。アクティブ赤外線の場合、カメラは人間の目には不可視の赤外波長で光景を照射する。赤外線エネルギーは、ガンマ線、ｘ線、紫外線、薄い可視光領域、赤外線、テラヘルツ波、マイクロ波及び電波からの放射を包含する電磁スペクトルの単なる一部である。これらは全て、その波長の長さにおいて関連づけられかつ区別化されている。本明細書における様々な実施形態は、低反射性の赤外（ＬＲＩＲ）バンド（即ち、≒８００−１４００ナノメートル）全体を利用する。ＬＲＩＲは、この周波数バンドに感応するマルチバンドイメージング（ＭＢＩ）デバイスによって検出され、かつ白黒写真に似た画像を提供してもよい。上側の反射赤外線（ＵＲＩＲ）バンドは、≒１４００−２２００ナノメートルである。人間の肉体は非動物オブジェクトと同様にはＩＲを反射しないことにおいて、ＵＲＩＲ感知画像はＬＲＩＲ感知画像のようではない。これらの下部及び上部ＩＲバンドは反射性であることから、光景は照射ソースを必要とする場合がある。このような照射は可視性である必要はなく、よって人間の気を散らせるものとはならない。昼間は、通常の日光によって十分なＩＲ照射が与えられ得ることから、ＬＲＩＲ及びＵＲＩＲ照射は不要である場合がある。
【０００８】
「ＩＲ照射器」は、光源である。光のレベルは、駆動電流を変えることによって制御されてもよい。例えば、ＬＥＤの光出力は電流と共に線形変化する。時系列式または同時的双方のＩＲ照射が可能なＬＥＤアレイは、周知である。図２には、ＩＲ照射システムの一例が示されている。
【０００９】
「ＩＲイメージングシステム」は、標的オブジェクトから反射されるＩＲ光を捕捉し、これをその成分波長に分離しかつ標的のＩＲ画像を出力するように設計される装置である。このようなシステムは、ＩＲ検出器（ＩＲカメラ等）と、ＩＲ照射器とを有する。図３には、ＩＲ検出システムの一例が示されている。ＩＲイメージングシステムは、単一のＩＲ検出デバイス及び１つのフィルタバンドを備える順次照射式Ｎバンド照射器（Ｎ≧３）であるか、もしくは、各々が個々の帯域通過フィルタを有する合計Ｎ個の検出デバイス（Ｎ≧３）と単一の照射ソースとを備えるかの何れかであることが可能である。
【００１０】
次に、本明細書の教示内容に従って使用するためのＩＲ照射システム例の一実施形態を示す図２を参照する。
【００１１】
図２のＩＲ照射システム２００は、各々が個々のピーク波長で狭帯域のＩＲ放射線（λ１，．．．， λｎとして示されている）を放射する複数のＩＲ光源を有するＩＲ光源アレイ２０２を備えて示されている。ソースアレイ２０２は、発光ダイオード（ＬＥＤ）のアレイを備える。各ダイオードは、ある特定の波長帯域でＩＲ放射線を放射するように選択され、かつアレイ内でその波長帯域の１ソースを画定する。コントローラ２０８はＩＲソースアレイ２０２へ結合され、かつ各照射器への入力電流及び、ひいては各々の輝度出力を制御する。検出用光学素子２０４は、複数の波長を結合してＩＲ照射ビーム２０６を生成する１つまたは複数の光学素子２０３を有する。センサ２１０はＩＲ光源アレイから放射される放射線をサンプリングし、コントローラ２０８へフィードバックを提供する。集束光学素子２１２はビーム２０６を受信し、出力ビーム２１４を標的車両２１６上へ集束する。光学素子２１２は、ビームを集束するためにビーム経路内に位置合わせされる複数の可変焦点距離レンズを含む。コントローラ２０８は、幾つか例を挙げると標的のサイズ、標的との距離、標的の速度といった制約に起因する出力ビーム２１４の変更を実行するために光学素子２１２へも結合される。コントローラ２０８はさらに、データ及び機械読取り可能プログラム命令を含む較正情報、輝度レベル及びこれらに類似するものを記憶／検索するために記憶デバイス２０９とも連通している。コントローラ２０８は、デスクトップ、サーバ、メインフレーム及びこれらに類似するもの等のコンピュータシステムを備えてもよい。コントローラ２０８は、ネットワーク（不図示）上でこのようなコンピューティングデバイスと配線式または無線式に連通して配置されてもよい。このようなネットワークは、ローカルエリアネットワーク（ＬＡＮ）であっても、インターネットであってもよい。照射システム２００のコンポーネントは何れも、その使用目的をさらに促進するためにこのようなコンピュータシステムと通じて配置され得ることは認識されるべきである。
【００１２】
図２に関連して先に述べた光学素子の何れも、光パワーを有する光学系で置換されることが可能であり、かつさらにミラーを含んでもよい。このような光学系は、各々が光パワーを有する複数のコンポーネントを含んでもよく、例えばこれは二重または三重レンズであってもよい。このような光学系は一意の焦点距離Ｆを画定するという制限の中では、ソースアレイ及び格子は光学素子の前及び後焦点面に位置合わせされることになる。その結果、光学系は光源アレイの各エレメントに対して無限遠で格子を撮像し、よって各ソースエレメントは格子の同じ領域を見る。各エレメントからの光は、その領域で同延になる。格子は次に、異なる波長バンドソースの横方向位置に関連づけられる分散を補償することによって、スペクトルコンテンツがその横方向プロファイルに渡って略均一である出力放射線を生成することができる。これは、出力ビーム２１４のスペクトルコンテンツがその横方向プロファイルに渡って略均一になることを可能にする。実際には、光学系の所望される焦点距離を精確に画定することは、光学素子に光線をそれらの波長または横方向の位置合わせに従って僅かに異なる位置へ収束させ得る収差（例えば、像面湾曲、軸上色、横色、歪み、コマ及びこれらに類似するもの）に起因して困難である場合がある。
【００１３】
さらに、光学系、ソースアレイ及び格子の相対位置は、光学系は、少なくとも各ソースから出現する近軸光線に対しては格子を光源アレイの各ソースエレメントに対して無限遠で撮像する、というより一般的な条件に従って選択される。光軸に対して角度θで伝搬する光線の場合、近軸光線はｓｉｎ（θ）≒θを有する。この無限大条件は、光学系の公称後焦点面における各ソースエレメントを光学系の被写界深度内へ位置合わせし、かつ光学系の公称前焦点面における格子を光学系の被写界深度内へ位置合わせすることによって達成されることが可能である。被写界深度（ＤＯＶ）は、ＤＯＶ＝ｌａｍｂｄａ／ＮＡ２に従って光学系の開口率（ＮＡ）に関係づけられる。但し、Ｌａｍｂｄａはソースエレメントからの光の波長である。さらに、光学素子は、様々な光学収差を補償するために、複数の自由度を与えるコンポーネントで設計されてもよい。光学系における追加コンポーネントは収差を減らすための追加的な自由度を提供するが、各追加コンポーネントは、光学系のコスト及び複雑さも増す。
【００１４】
次に、本明細書の教示内容に従って使用するためのＩＲ検出システム例３００の一実施形態を示す図３を参照する。標的車両２１６は、図２の光学素子２１２によって放射されているビーム２１４のＩＲ光を反射する。反射されたＩＲ光の一部は、１つまたは複数のレンズ３０３を有する光学素子３０２によって受け入れられ、レンズ３０３は受け入れられた光をセンサ３０４上へ集束し、センサ３０４は受け入れられた光を空間的に分解してＩＲ画像３０８を取得する。光学素子３０２は、狭帯域波長における光のみを通過させる１つまたは複数の帯域通過フィルタも含んでもよい。これらのフィルタは、３０８においてＮ個の輝度を得るように順次変更されてもよい。センサ３０４は、ＩＲ画像情報を、処理しかつ記憶するためにコンピュータ３０６へ送る。画像検出器３０８は、スペクトルコンテンツがコントローラ（不図示）を介して選択可能であってもよい多重スペクトル画像検出デバイスである。ソース光学素子３０２及び検出器３０４に適する光学素子は、技術上一般的に見受けられるものを含む。検出器３０４は、二次元格子に沿った複数のピクセル位置で光強度を独立的に記録する。適切なセンサとしては、電荷結合素子（ＣＣＤ）検出器、相補形金属酸化膜半導体（ＣＭＯＳ）検出器、電荷注入素子（ＣＩＤ）検出器、ビジコン検出器、レチコン検出器、イメージ増倍管検出器、画素化された光電子増倍管（ＰＭＴ）検出器、インジウムガリウムヒ化物（ＩｎＧａＡｓ）、テルル化水銀カドミウム（ＭＣＴ）及びマイクロボロメータが含まれる。シリコンベースの検出器が１１００ｎｍ未満に制限されることは、注目されるべきである。ハイブリッド検出器（即ち、シリコンベース及び非シリコンベースの組合せ）を有するシステムは、手の届かないものではない。コンピュータ３０６は、光学素子３０２に通じていてそのレンズを制御し、かつ検出器３０４と通じていてその感度を制御する。コンピュータ３０６は、ＩＲ画像３０８の各ピクセルに関連づけられる感度値を受信する。コンピュータ３０６はさらに、システム３００の制御を実行するために必要であるようなキーボード、モニタ、プリンタ、他（不図示）も含む。
【００１５】
次に、図２の照射システム及び図３の検出システムを組み込んだ車両乗員検出システム例を示す図４を参照する。図４において、標的車両４００は、ＨＯＶ車線４０４に沿って方向ベクトル４０３により示される移動方向に速度ｖで走行する乗員４０２を含んでいる。車線４０４上の所望される距離ｄ内には、交通信号灯に使用されるものに類似する管状構造物を備える支持アーム４０５が位置合わせされる。アーム４０５には、リモートデバイスと通信するための送信エレメント４０８を有するＩＲ検出システム４０７と、ＩＲ照射システム４０９とが固定される。システム４０９及び４０７は各々、図２及び図３のシステムの実施形態を表現するためのものである。検出デバイス４０７は、望遠レンズ、帯域通過フィルタ及びグレア効果を低減するための偏光レンズを装備したカメラを備えてもよい。昼間の作動中は、日光による照射で十分であり得る。ＩＲ照射器４０９はＩＲ放射線を１つまたは複数の波長で放射し、放射線は標的車両及び車内のコンテンツから反射されて検出器２０７へ戻る。ＩＲ検出システム４０７は、ＩＲ画像及び／またはＩＲ画像内の各ピクセルに関連づけられる輝度値を、次に述べる方法でさらに処理するためにコンピューティングデバイスへ送信する。
【００１６】
次に、輸送管理システムにおいて車両内の乗員数を決定するための本方法の一実施形態例を示す図５のフロー図を参照する。フロー処理は５００に始まり、すぐにステップ５０２へ進む。ここでは、１つの実施形態例を輸送管理システムの関連において説明するが、本明細書の教示内容の目的が、ＩＲイメージングシステムを用いて取得されるＩＲ画像内の人数を決定することが望まれる幅広いシステムにおいてその用途を発見することにある点は認識されるべきである。このような実施形態は、添付のクレームに記載された範囲に包含されることが意図されている。
【００１７】
ステップ５０２では、乗員を決定するために、処理の対象である自動車のＩＲ画像内の各ピクセルについて合計Ｎ個の輝度値が集められる。処理されるべき車両は、ＩＲ照射によって照射されているＨＯＶ車線に沿って所定の速度で走行している。各ピクセルの輝度値は、図２−図４のＩＲイメージングシステムを用いて、反射されるＩＲ光源から集められる。ＩＲ画像及び／または各ピクセルの輝度値は、本明細書に記載されている様々な実施形態に従ってさらに処理するためにコンピュータワークステーションまたは専用コンピュータシステムへ供給される。以下の説明では、空気中のＩＲ減衰及び積分時間は全帯域で同じであることが想定されている。同じでない場合、これらの要素は適宜調整されるべきである。
【００１８】
ＩＲ検出デバイスが単一のＩＲ検出デバイスであり、かつＩＲ照射器が１つの固定フィルタを備える順次照射式Ｎバンド照射器（Ｎ≧３）であれば、輝度値は次式を含む。
【数１】
【００１９】
但し、Iis(λ)は、照射ソースのｉthバンドの輝度であり、ｉ＝１，．．．，Ｎであって、ｉは順次照射する照射器からのｉ番目のＩＲバンドであり、αは照射ソースからの角度及び距離、空中でのＩＲ波の減衰及び検出デバイスの積分時間に依存する定数であり、Ｉｂは日光のＩＲ成分からのもの等の背景光源からの輝度であり、Ｒ０（λ）は車両内部のオブジェクトの反射率であり、ＲＧ（λ）及びＴＧ（λ）はガラスの反射率及び透過率であり、定数ηは車両のガラスから反射されて検出器によって受け入れられる照射器からの光の比率の測度であり、ＴＬ（λ）は固定フィルタの透過率であり、Ｄ（λ）は検出デバイスの応答度である。
【００２０】
ＩＲ検出デバイスがＮ個の帯域通過フィルタ（Ｎ≧３）を有するＮ個の検出デバイスであり、かつＩＲ照射器がフィルタの波長領域をカバーする１つの照射器を有していれば、輝度値は次式を含む。
【数２】
【００２１】
但し、Is(λ)は、照射ソースの輝度であり、ｉ＝１，．．．，Ｎであって、ｉはｉ番目のＩＲ帯域通過フィルタであり、αは照射ソースからの角度及び距離、空中でのＩＲ波の減衰及び検出デバイスの積分時間に依存する定数であり、Ｉｂは背景の輝度であり、Ｒ０（λ）は車両内部のオブジェクトの反射率であり、ＲＧ（λ）及びＴＧ（λ）はガラスの反射率及び透過率であり、定数ηは車両のガラスから反射されて検出器によって受け入れられる照射器からの光の比率の測度であり、ＴｉＬ（λ）はｉ番目のフィルタの透過率であり、Ｄ（λ）は検出デバイスの応答度である。
【００２２】
さらに、ピクセルの輝度値は何れも、このピクセルの１つまたは複数の新しい輝度値を生成するために組み合わされ、かつ適宜処理されることが可能である。
【００２３】
ステップ５０４では、ＩＲ画像の第１のピクセルが処理のために検索される。第１のピクセルはプロセッサによって自動的に選択されてもよく、または、ユーザにより、本方法の様々な態様が実行されることが意図されるコンピュータワークステーションに関連づけられる例えばキーボード、マウス及びモニタ等のグラフィカルユーザインターフェースを用いて識別されてもよい。ユーザは、受信されたＩＲ画像の第１の領域、かつＩＲ画像の他の部分より先に処理された画像の選択されたエリア内のピクセルのうちの幾つか、または全てを選択してもよい。移動している車両の１つまたは複数のＩＲ画像は、本明細書に従って処理するために捕捉されることが可能である。
【００２４】
ステップ５０６では、ピクセル輝度値の比を決定し、この比からしきい値を形成する。ステップ５０８では、しきい値を基礎としてピクセルを分類する。ある実施形態では、輝度値の比は、
【数３】
によって与えられる。
【００２５】
但し、ｉ及びｊは、バンドｋに関連づけられる指数を除くＩＲイメージングシステムのＮ個のバンド指数のうちの任意のものである。照射器がオブジェクトを照射中であって検出デバイスが画像を検出していれば、各ピクセルはＮバンド照射器でＮ個の輝度を有する。Ｎ個の輝度を例として使用すれば、１つのバンドを基準（例えば、第１のバンド）として採用し、次の比を形成することができる。
【数４】
【００２６】
但し、ｉ，ｊ＝２，．．．，Ｎであり、かつ、
【数５】
【数６】
である。
【００２７】
ここで、式（４）における比は定数ηに依存する。大部分の状況において、ηは小値（またはゼロ）である。汚れた、霧が深い、または雨が降るウィンドウ状態では、ηは大きくなる可能性がある。実際の製品における式（４）の使用は、左辺の量に必要なものが検出用カメラからの輝度測定値のみであることから、モデルを必要としない点は認識されるべきである。しかしながら、開発及び試験段階では、どの比セットを使用すべきか、及び分類用のしきい値をどのように設定するかを選択するために、モデルを用いて式（４）の右辺における量を計算することがある。
【００２８】
ステップ５１０では、処理されるべきピクセルがまだ残っているかどうかが判断される。残っていれば、ステップ５０４に関する処理が反復されて、処理をする次のピクセルが検索され、選択され、または他の方法で識別される。処理は、ＩＲ画像内の所望される全てのピクセルが処理を完了するまで反復される。
【００２９】
次に、ステップ５１２では、様々なピクセル分類を基礎として標的自動車内の総乗員数が決定される。人の画像内のピクセルを周囲の人以外のオブジェクトから分離することができたならば、ニューラルネットワークまたはファジー論理を用いて車両内の乗員数の決定を促進することができる。ある実施形態では、これは、イメージングシステムによって撮影された標的車両の１つまたは複数のＩＲ画像の各々における識別された人間を空間的に隔離し、車両内の人数を計数することによって達成される。例えば、１台が前座席における乗員の画像を捕捉するために移動する車の前側に面し、かつ乗員及び運転者側の画像を捕捉するために車両の両側に１台ずつが面するような３台のＩＲカメラが使用されれば、これらの画像は各々、人である乗員が存在するかどうかを決定するために分析されることが可能である。作動中は、標的とされた自動車の乗員数がＨＯＶ車線での走行を制限されている時間帯における既定数を超えていれば、技術上既知である車両タグ識別技術を用いて車両のナンバープレートが自動的に捕捉され、かつその識別されたナンバープレートを付けた車両が必要な乗員数を満たさずにＨＯＶ車線を使用していることを示す信号が交通指導当局へ送信される。
【００３０】
このフロー図が例示的なものであることは、認識されるべきである。フロー図の何れにおいても、示されている１つまたは複数の動作ステップは異なる順序で実行されてもよい。例えば、そのステップには、他の動作が追加、修正、強化、凝縮、統合または合併されてもよい。このような変形例は、添付のクレームに記載された範囲に包含されることが意図されている。フロー図の全て、または一部は、ハードウェアにおいて機械実行可能命令と共に部分的または完全に実装されてもよい。
性能結果
【００３１】
研究では、４バンド照射器システムを用いた。使用したＬＥＤのピーク波長は、９４０ｎｍ、１０７０ｎｍ、１２００ｎｍ及び１５５０ｎｍである。ＬＥＤのパワースペクトルは、図６−図１２に示されている。近赤外（ＮＩＲ）ＬＥＤは、既に市販されている。これらのＬＥＤはＧａＡｓまたはＩｎＧａＡｓＰ等の様々な半導体で製造され、かつ可視波長（＞７３０ｎｍ）に近いものに始まり短波長赤外（＞２０００ｎｍ）に至るまでのピーク波長を有する。図６−図１２は、ＩｎＧａＡｓＰから製造された、８１０ｎｍから１６００ｎｍまでの範囲内のピーク波長を有する幾つかの赤外ＬＥＤのスペクトルを示す。これらのＬＥＤは、ハイパワーのもので数ｍＷから約４５ｍＷまでの間の優れた放射パワーを有する。同じピーク波長を有する多くのＬＥＤは、１つのバッチまたはグループに束ねることができる。この研究は、各ＬＥＤ照射器が等しく動力を供給されることを想定している（そうでなければ、下記の表に記載されている比は調整されることが可能である）。人の皮膚の場合を含む様々な物質の反射率及びウィンドウの透過率は、幅広い刊行文献に記載されている。ＩＲ検出カメラは市販されていて、９００ｎｍから１７００ｎｍまでの画像を捕捉する。
【００３２】
私達はまず、η＝０の事例について考察した。式（４）における様々な比の場合の結果は、図１３の表に示されている。図１３において、Ｉ（１−２） ＝ Ｉｃ（１） − Ｉｃ（２）、他である。汚れのないウィンドウの場合、比Ｉ（３−２）／Ｉ（４−２）は人の皮膚でマイナス、綿、ウール及びポリアミドでプラスである。従って、この比のしきい値をゼロに設定すれば、人間の画像のピクセルは適切に分類されることが可能である。この比は１０７０ｎｍ、１２００ｎｍ及び１５５０ｎｍの各バンドのみを包含することから、皮膚の分類に要する照射ＬＥＤは３個のみである。汚れたウィンドウの場合、色の薄い皮膚でこの比は、まだゼロに近いとはいえプラスになる。これを是正するためには、下記の比によって定義されるような別の量Ｒ１２に目を向けることができる。
【数７】
【００３３】
この量は、皮膚に対しては比較的大きいが、他の３つの物質に対しては小さい。
【００３４】
ηの効果を評価するために、まず、どのカメラシステムも必要とする条件、即ち次式について検討してみよう。
【数８】
【００３５】
汚れのないガラスの場合、ＴＧ（λ）は０．５から０．８までの範囲内であるが、汚れたガラスでは、これは０．２に下がる可能性がある。汚れたガラスの場合、ηが〜０．０５のとき、システムはうまく作動しないことが予想される。
【００３６】
図１４は、η＝０．０５の場合の式（４）における様々な比の結果を示している。単に比Ｉ（３−２）／Ｉ（４−２）を使用しかつしきい値をゼロに設定することは、汚れたガラス及びティンテッドグラスの場合、人が濃い色の皮膚を有していれば機能しないことが分かる。量Ｒ１２は、しきい値を０．３に設定してもなおかなりロバストであるように思われるが、汚れたウィンドウの中の濃い皮膚は織物と間違って解釈してしまう。
【００３７】
次に、図５のフロー図に関連して示されかつ記述される本方法の様々な態様を実装できる処理システム例のブロック図を示す図１５を参照する。
【００３８】
ワークステーション１５０４は、図４のＩＲ検出デバイス４０７のアンテナ４０８からピクセル輝度値を受信するためと、コンピュータ１５０４と検出デバイス４０７との間の双方向通信を実行するためのＩＲ画像受像器１５０２と通じている。コンピュータ１５０４は、ユーザのための情報表示を有効化するためと、ユーザ入力または選択を実行するためにモニタ１５０３とユーザインタフェース１５０５とを有する。コンピュータ１５０４は、ネットワーク通信インタフェース（不図示）を介してネットワーク１５０１とも通じている。捕捉されるＩＲ画像及び／またはピクセル輝度値の様々な部分はワークステーション１５０４の内部のメモリまたは記憶デバイスに記憶されてもよく、かつ記憶またはさらなる処理のためにネットワーク１５０１上でリモートデバイスへ伝達されてもよい。ユーザは、処理するためのＩＲ画像のピクセル及び／またはエリアを識別する、または他の方法で選択するために例えばキーボード及びモニタであるグラフィカルユーザインターフェースを使用してもよく、または、その実装に必要な他のユーザ入力を提供してもよい。受信されるＩＲ画像データ内の識別される、または他の方法で検出される特定のピクセル及び／または領域は、画像処理システム等のリモートデバイスからネットワーク１５０１上で検索されてもよい。デスクトップコンピュータ１５０４及び受像器１５０２は、画像プロセッサ１５０６と通じている。
【００３９】
画像プロセッサ１５０６は、受信されたＩＲ画像に関する、例えばピクセル処理のために選択されている、または他の方法で識別されている画像内の特定の領域及びこれに類似するもの等の情報を待ち行列に入れるためのバッファ１５０７を備えて示されている。バッファ１５０７は、ページ及びページグループを上述のようにして処理するために、検索されたデータ及び数式及び数学的表現をさらに記憶してもよい。輝度計算器１５０８は、ワークステーション１５０４から、式（１）及び式（２）の何れかに関連して要求される計算を実行するために必要な変数に関するデータ及び情報を受信する。ピクセル識別子モジュール１５０９は、ステップ５０４に関連して先に述べたように、処理されるべきカレントピクセルを識別する。モジュール１５０９は、ユーザが、表示されたＩＲ画像内のどのピクセルが次に処理されるべきものであるかを選択するディスプレイを提示するためにモニタ１５０３と通じている。ユーザは、表示されたＩＲ画像のうちの幾つか、または全てを処理用に選択してもよい。他の実施形態では、画像は自動的に処理されるが、このような実施形態が添付のクレームに記載された範囲に包含されるべきものであることは理解されるべきである。比モジュール１５１０は、カレントピクセルのピクセル輝度値を取得するために輝度モジュール１５０８と通じるメモリを有するプロセッサである。比モジュール１５１０は、式（３）に関連して先に述べた比を生成し、かつ結果を記憶デバイス１５１１へ保存する。モジュール１５０８はさらに、モジュール１５１０による検索のために記憶デバイス１５１１へ値を記憶し、かつ記憶デバイス１５１１から値を検索する。しきい値モジュール１５１２は、しきい値を決定しかつこの値を、識別されたピクセルの分類を上述の方法ステップに従って実行するピクセル分類プロセッサ１５１３へ供給する。このピクセルの分類は、記憶デバイス１５１１へ保存される。
【００４０】
図１５のモジュール及び処理ユニットは何れも、図示されている、または図示されていない経路を介して記憶デバイス１５１１に通じていて、その意図された機能の実行に必要とされるデータ、パラメータ、値、関数、ページ、レコード及び機械読取り可能／実行可能プログラム命令を記憶／検索し得ることは理解されるべきである。これらのモジュールは各々、経路（不図示）を介してワークステーション１５０４と通じ、さらにはネットワーク１５０１上で１つまたは複数のリモートデバイスと通じていてもよい。任意のモジュールの機能性の幾つか、または全てがワークステーション１５０４の内部のコンポーネントによって、または専用コンピュータシステムによって完全に、または部分的に実行され得ることは認識されるべきである。
【００４１】
また、様々なモジュールが１つまたは複数のコンポーネントを示す場合があり、これらのコンポーネントが意図された機能を実行するように設計されたソフトウェア及び／またはハードウェアを備え得ることも認識されるべきである。複数のモジュールは、集合的に１つの機能を実行してもよい。各モジュールは、機械読取り可能プログラム命令を実行できる専用プロセッサを有してもよい。１つのモジュールは、ＡＳＩＣ、電子回路または専用プロセッサ等の単一のハードウェアを備えてもよい。複数のモジュールは、単一の専用コンピュータシステムによって実行されても、複数の専用コンピュータシステムによって並行して実行されてもよい。モジュール間の接続は、物理的接続及び論理的接続の双方を含む。モジュールはさらに、１つまたは複数のソフトウェア／ハードウェアモジュールを含んでもよく、これらのソフトウェア／ハードウェアモジュールはさらにオペレーティングシステム、ドライバ、デバイスコントローラ及び他の装置も備えてもよく、これらのうちの幾つか、または全てはネットワークを介して接続されてもよい。また、本方法の１つまたは複数の態様は専用コンピュータシステム上で実装されてもよく、かつタスクがネットワークでリンクされるリモートデバイスによって実行される分散されたコンピューティング環境において実施されてもよいことは予期される。
【００４２】
これまでに開示した、及び他の様々な特徴及び機能またはこれらの代替例が、望ましくは他の多くの異なるシステムまたはアプリケーションへと組み合わされてもよいことは認識されるであろう。現時点で不測である、または予期されていない様々な代替例、修正、変形例または改良が明らかとなり、かつ／または引き続き当業者によって行われ得るが、これらもまた、以下のクレームによって包含されることが意図されている。従って、これまでに述べた実施形態は例示的なものでありかつ非限定的なものと考察される。上述の実施形態に対しては、本発明の精神及び範囲を逸脱することなく、様々な変更が行われてもよい。特許及び特許出願を含む任意の印刷刊行物の教示内容は各々、参照によりその全体が別々に本開示に含まれる。
【特許請求の範囲】
【請求項１】
ＩＲイメージングシステムによって取得されるＩＲ画像内の生物の数を決定するための方法であって、
ＩＲ画像内の各ピクセルについて、合計Ｎ個の輝度値を収集することであって、前記輝度値はＩＲ検出デバイスとＩＲ照射器とを備えるＩＲイメージングシステムを用いて収集されていることと、
前記ＩＲ画像内の各ピクセルについて、
【数１】
を含み、但し、ｉ，ｊ，ｋは互いに異なる任意のＮバンド指数である、前記ピクセルの収集された輝度値の比を生成し、
前記生成された比からしきい値を形成し、かつ、
前記しきい値を用いて前記ピクセルを生物由来または非生物由来として分類することと、
前記ピクセル分類を基礎として前記ＩＲ画像内の生物の合計数を決定することを含む方法。
【請求項２】
前記ＩＲ検出デバイスは単一のＩＲ検出デバイスであり、かつ前記ＩＲ照射器は１つの固定フィルタを備える順次照射式Ｎバンド照射器（Ｎ≧３）であり、前記輝度値は次式、
【数２】
を含み、但し、Iis(λ)は、照射ソースのｉthバンドの輝度であり、ｉ＝１，．．．，Ｎであって、ｉは順次照射する前記照射器からのｉ番目のＩＲバンドであり、αは前記照射ソースからの角度及び距離、空中でのＩＲ波の減衰及び前記検出デバイスの積分時間に依存する定数であり、Ｉｂは日光のＩＲ成分からのもの等の背景光源からの輝度であり、Ｒ０（λ）は前記ＩＲ検出デバイスによって検出されるオブジェクトの反射率であり、ＲＧ（λ）及びＴＧ（λ）はガラスの反射率及び透過率であり、またはＲＧ（λ）＝０及びＴＧ（λ）＝１であり、定数ηは車両のガラスから反射されて前記検出器によって受け入れられる前記照射器からの光の比率の測度であり、またはη＝０であり、ＴＬ（λ）は前記固定フィルタの透過率であり、Ｄ（λ）は前記検出デバイスの応答度である、請求項１に記載の方法。
【請求項３】
前記ＩＲ検出デバイスはＮ個の帯域通過フィルタ（Ｎ≧３）を有するＮ個の検出デバイスであり、かつ前記ＩＲ照射器は前記フィルタの波長領域をカバーする１つの照射器を有し、前記輝度値は、
【数３】
を含み、Is(λ)は、照射ソースの輝度であり、但し、ｉ＝１，．．．，Ｎであって、ｉはｉ番目のＩＲ帯域通過フィルタであり、αは前記照射ソースからの角度及び距離、空中でのＩＲ波の減衰及び前記検出デバイスの積分時間に依存する定数であり、Ｉｂは背景輝度であり、Ｒ０（λ）は前記ＩＲ検出デバイスによって検出されるオブジェクトの反射率であり、ＲＧ（λ）及びＴＧ（λ）はガラスの反射率及び透過率であり、またはＲＧ（λ）＝０及びＴＧ（λ）＝１であり、定数ηは車両のガラスから反射されて前記検出器によって受け入れられる前記照射器からの光の比率の測度であり、またはη＝０であり、ＴｉＬ（λ）はｉ番目のフィルタの透過率であり、Ｄ（λ）は前記検出デバイスの応答度である、請求項１に記載の方法。
【請求項４】
前記分類されたピクセルを基礎として前記ＩＲ画像内の生物の前記合計数を決定することは、前記ピクセルの各々に関連づけられる輝度値と少なくとも１つの計算された輝度値とを記憶デバイスから取得される１つの既知の反射率を用いて相互参照することを含む、請求項１に記載の方法。
【請求項５】
前記ピクセルの輝度値のうちの任意のものを組み合わせて前記ピクセルの少なくとも１つの新しい輝度値を生成することと、
前記生成された新しいピクセル輝度値を用いて新しい比を生成することと、
前記比から新しいしきい値を形成することと、
前記新しいしきい値を用いて前記ピクセルを分類することをさらに含む、請求項１に記載の方法。
【請求項６】
ＩＲイメージングシステムによって取得されるＩＲ画像内の生物の数を決定するためのシステムであって、
ＩＲ検出デバイスとＩＲ照射器とを備えるＩＲイメージングシステムと、
メモリ及び記憶媒体と、
前記記憶媒体及び前記メモリと通信するプロセッサとを備え、前記プロセッサは、
ＩＲ画像内の各ピクセルについて、合計Ｎ個の輝度値を収集することであって、前記輝度値は前記ＩＲイメージングシステムを用いて収集されていることと、
前記ＩＲ画像内の各ピクセルについて、
【数４】
を含み、但し、ｉ，ｊ，ｋは互いに異なる任意のＮバンド指数である、前記ピクセルの収集された輝度値の比を生成し、
前記生成された比からしきい値を形成し、かつ、
前記しきい値を用いて前記ピクセルを生物由来または非生物由来として分類することと、
前記ピクセル分類を基礎として前記ＩＲ画像内の生物の合計数を決定する方法を行う機械読取り可能プログラム命令を実行する、システム。
【請求項７】
前記ＩＲ検出デバイスは単一のＩＲ検出デバイスであり、かつ前記ＩＲ照射器は１つの固定フィルタを備える順次照射式Ｎバンド照射器（Ｎ≧３）であり、前記輝度値は、
【数５】
を含み、但し、Iis(λ)は、照射ソースのｉthバンドの輝度であり、ｉ＝１，．．．，Ｎであって、ｉは順次照射する前記照射器からのｉ番目のＩＲバンドであり、αは前記照射ソースからの角度及び距離、空中でのＩＲ波の減衰及び前記検出デバイスの積分時間に依存する定数であり、Ｉｂは日光のＩＲ成分からのもの等の背景光源からの輝度であり、Ｒ０（λ）は前記ＩＲ検出デバイスによって検出されるオブジェクトの反射率であり、ＲＧ（λ）及びＴＧ（λ）はガラスの反射率及び透過率であり、またはＲＧ（λ）＝０及びＴＧ（λ）＝１であり、定数ηは車両のガラスから反射されて前記検出器によって受け入れられる前記照射器からの光の比率の測度であり、またはη＝０であり、ＴＬ（λ）は前記固定フィルタの透過率であり、Ｄ（λ）は前記検出デバイスの応答度である、請求項６に記載の方法。
【請求項８】
前記ＩＲ検出デバイスはＮ個の帯域通過フィルタ（Ｎ≧３）を有するＮ個の検出デバイスであり、かつ前記ＩＲ照射器は前記フィルタの波長領域をカバーする１つの照射器を有し、前記輝度値は、
【数６】
を含み、但し、Is(λ)は、照射ソースの輝度であり、ｉ＝１，．．．，Ｎであって、ｉはｉ番目のＩＲ帯域通過フィルタであり、αは前記照射ソースからの角度及び距離、空中でのＩＲ波の減衰及び前記検出デバイスの積分時間に依存する定数であり、Ｉｂは背景輝度であり、Ｒ０（λ）は前記ＩＲ検出デバイスによって検出されるオブジェクトの反射率であり、ＲＧ（λ）及びＴＧ（λ）はガラスの反射率及び透過率であり、またはＲＧ（λ）＝０及びＴＧ（λ）＝１であり、定数ηは車両のガラスから反射されて前記検出器によって受け入れられる前記照射器からの光の比率の測度であり、またはη＝０であり、ＴｉＬ（λ）はｉ番目のフィルタの透過率であり、Ｄ（λ）は前記検出デバイスの応答度である、請求項７に記載の方法。
【請求項９】
前記分類されたピクセルを基礎として前記ＩＲ画像内の生物の前記合計数を決定することは、前記ピクセルの各々に関連づけられる輝度値と少なくとも１つの計算された輝度値とを記憶デバイスから取得される１つの既知の反射率を用いて相互参照することを含む、請求項６に記載のシステム。
【請求項１０】
前記ピクセルの輝度値のうちの任意のものを組み合わせて前記ピクセルの少なくとも１つの新しい輝度値を生成することと、
前記生成された新しいピクセル輝度値を用いて新しい比を生成することと、
前記比から新しいしきい値を形成することと、
前記新しいしきい値を用いて前記ピクセルを分類することをさらに含む、請求項６に記載のシステム。
【請求項１】
ＩＲイメージングシステムによって取得されるＩＲ画像内の生物の数を決定するための方法であって、
ＩＲ画像内の各ピクセルについて、合計Ｎ個の輝度値を収集することであって、前記輝度値はＩＲ検出デバイスとＩＲ照射器とを備えるＩＲイメージングシステムを用いて収集されていることと、
前記ＩＲ画像内の各ピクセルについて、
【数１】
を含み、但し、ｉ，ｊ，ｋは互いに異なる任意のＮバンド指数である、前記ピクセルの収集された輝度値の比を生成し、
前記生成された比からしきい値を形成し、かつ、
前記しきい値を用いて前記ピクセルを生物由来または非生物由来として分類することと、
前記ピクセル分類を基礎として前記ＩＲ画像内の生物の合計数を決定することを含む方法。
【請求項２】
前記ＩＲ検出デバイスは単一のＩＲ検出デバイスであり、かつ前記ＩＲ照射器は１つの固定フィルタを備える順次照射式Ｎバンド照射器（Ｎ≧３）であり、前記輝度値は次式、
【数２】
を含み、但し、Iis(λ)は、照射ソースのｉthバンドの輝度であり、ｉ＝１，．．．，Ｎであって、ｉは順次照射する前記照射器からのｉ番目のＩＲバンドであり、αは前記照射ソースからの角度及び距離、空中でのＩＲ波の減衰及び前記検出デバイスの積分時間に依存する定数であり、Ｉｂは日光のＩＲ成分からのもの等の背景光源からの輝度であり、Ｒ０（λ）は前記ＩＲ検出デバイスによって検出されるオブジェクトの反射率であり、ＲＧ（λ）及びＴＧ（λ）はガラスの反射率及び透過率であり、またはＲＧ（λ）＝０及びＴＧ（λ）＝１であり、定数ηは車両のガラスから反射されて前記検出器によって受け入れられる前記照射器からの光の比率の測度であり、またはη＝０であり、ＴＬ（λ）は前記固定フィルタの透過率であり、Ｄ（λ）は前記検出デバイスの応答度である、請求項１に記載の方法。
【請求項３】
前記ＩＲ検出デバイスはＮ個の帯域通過フィルタ（Ｎ≧３）を有するＮ個の検出デバイスであり、かつ前記ＩＲ照射器は前記フィルタの波長領域をカバーする１つの照射器を有し、前記輝度値は、
【数３】
を含み、Is(λ)は、照射ソースの輝度であり、但し、ｉ＝１，．．．，Ｎであって、ｉはｉ番目のＩＲ帯域通過フィルタであり、αは前記照射ソースからの角度及び距離、空中でのＩＲ波の減衰及び前記検出デバイスの積分時間に依存する定数であり、Ｉｂは背景輝度であり、Ｒ０（λ）は前記ＩＲ検出デバイスによって検出されるオブジェクトの反射率であり、ＲＧ（λ）及びＴＧ（λ）はガラスの反射率及び透過率であり、またはＲＧ（λ）＝０及びＴＧ（λ）＝１であり、定数ηは車両のガラスから反射されて前記検出器によって受け入れられる前記照射器からの光の比率の測度であり、またはη＝０であり、ＴｉＬ（λ）はｉ番目のフィルタの透過率であり、Ｄ（λ）は前記検出デバイスの応答度である、請求項１に記載の方法。
【請求項４】
前記分類されたピクセルを基礎として前記ＩＲ画像内の生物の前記合計数を決定することは、前記ピクセルの各々に関連づけられる輝度値と少なくとも１つの計算された輝度値とを記憶デバイスから取得される１つの既知の反射率を用いて相互参照することを含む、請求項１に記載の方法。
【請求項５】
前記ピクセルの輝度値のうちの任意のものを組み合わせて前記ピクセルの少なくとも１つの新しい輝度値を生成することと、
前記生成された新しいピクセル輝度値を用いて新しい比を生成することと、
前記比から新しいしきい値を形成することと、
前記新しいしきい値を用いて前記ピクセルを分類することをさらに含む、請求項１に記載の方法。
【請求項６】
ＩＲイメージングシステムによって取得されるＩＲ画像内の生物の数を決定するためのシステムであって、
ＩＲ検出デバイスとＩＲ照射器とを備えるＩＲイメージングシステムと、
メモリ及び記憶媒体と、
前記記憶媒体及び前記メモリと通信するプロセッサとを備え、前記プロセッサは、
ＩＲ画像内の各ピクセルについて、合計Ｎ個の輝度値を収集することであって、前記輝度値は前記ＩＲイメージングシステムを用いて収集されていることと、
前記ＩＲ画像内の各ピクセルについて、
【数４】
を含み、但し、ｉ，ｊ，ｋは互いに異なる任意のＮバンド指数である、前記ピクセルの収集された輝度値の比を生成し、
前記生成された比からしきい値を形成し、かつ、
前記しきい値を用いて前記ピクセルを生物由来または非生物由来として分類することと、
前記ピクセル分類を基礎として前記ＩＲ画像内の生物の合計数を決定する方法を行う機械読取り可能プログラム命令を実行する、システム。
【請求項７】
前記ＩＲ検出デバイスは単一のＩＲ検出デバイスであり、かつ前記ＩＲ照射器は１つの固定フィルタを備える順次照射式Ｎバンド照射器（Ｎ≧３）であり、前記輝度値は、
【数５】
を含み、但し、Iis(λ)は、照射ソースのｉthバンドの輝度であり、ｉ＝１，．．．，Ｎであって、ｉは順次照射する前記照射器からのｉ番目のＩＲバンドであり、αは前記照射ソースからの角度及び距離、空中でのＩＲ波の減衰及び前記検出デバイスの積分時間に依存する定数であり、Ｉｂは日光のＩＲ成分からのもの等の背景光源からの輝度であり、Ｒ０（λ）は前記ＩＲ検出デバイスによって検出されるオブジェクトの反射率であり、ＲＧ（λ）及びＴＧ（λ）はガラスの反射率及び透過率であり、またはＲＧ（λ）＝０及びＴＧ（λ）＝１であり、定数ηは車両のガラスから反射されて前記検出器によって受け入れられる前記照射器からの光の比率の測度であり、またはη＝０であり、ＴＬ（λ）は前記固定フィルタの透過率であり、Ｄ（λ）は前記検出デバイスの応答度である、請求項６に記載の方法。
【請求項８】
前記ＩＲ検出デバイスはＮ個の帯域通過フィルタ（Ｎ≧３）を有するＮ個の検出デバイスであり、かつ前記ＩＲ照射器は前記フィルタの波長領域をカバーする１つの照射器を有し、前記輝度値は、
【数６】
を含み、但し、Is(λ)は、照射ソースの輝度であり、ｉ＝１，．．．，Ｎであって、ｉはｉ番目のＩＲ帯域通過フィルタであり、αは前記照射ソースからの角度及び距離、空中でのＩＲ波の減衰及び前記検出デバイスの積分時間に依存する定数であり、Ｉｂは背景輝度であり、Ｒ０（λ）は前記ＩＲ検出デバイスによって検出されるオブジェクトの反射率であり、ＲＧ（λ）及びＴＧ（λ）はガラスの反射率及び透過率であり、またはＲＧ（λ）＝０及びＴＧ（λ）＝１であり、定数ηは車両のガラスから反射されて前記検出器によって受け入れられる前記照射器からの光の比率の測度であり、またはη＝０であり、ＴｉＬ（λ）はｉ番目のフィルタの透過率であり、Ｄ（λ）は前記検出デバイスの応答度である、請求項７に記載の方法。
【請求項９】
前記分類されたピクセルを基礎として前記ＩＲ画像内の生物の前記合計数を決定することは、前記ピクセルの各々に関連づけられる輝度値と少なくとも１つの計算された輝度値とを記憶デバイスから取得される１つの既知の反射率を用いて相互参照することを含む、請求項６に記載のシステム。
【請求項１０】
前記ピクセルの輝度値のうちの任意のものを組み合わせて前記ピクセルの少なくとも１つの新しい輝度値を生成することと、
前記生成された新しいピクセル輝度値を用いて新しい比を生成することと、
前記比から新しいしきい値を形成することと、
前記新しいしきい値を用いて前記ピクセルを分類することをさらに含む、請求項６に記載のシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−１２８８６２（Ｐ２０１２−１２８８６２Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１１−２７３５２７（Ｐ２０１１−２７３５２７）
【出願日】平成２３年１２月１４日（２０１１．１２．１４）
【出願人】（５９６１７０１７０）ゼロックス コーポレイション (1,961)
【氏名又は名称原語表記】ＸＥＲＯＸ ＣＯＲＰＯＲＡＴＩＯＮ
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２３年１２月１４日（２０１１．１２．１４）
【出願人】（５９６１７０１７０）ゼロックス コーポレイション (1,961)
【氏名又は名称原語表記】ＸＥＲＯＸ ＣＯＲＰＯＲＡＴＩＯＮ
【Ｆターム（参考）】
[ Back to top ]