ターゲットの運動行動の３Ｄのモニタリング及び分析のためのシステム
本発明は、実験動物のような試験対象物の運動関連の行動の３−Ｄのモニタリング及び分析のためのシステムに関する。そのシステムは、１台の実際のカメラと、少なくとも１台のバーチャル・カメラと、実際のカメラに接続されるコンピュータとを備える。そのコンピュータは、好ましくはソフトウエアをインストールされ、当該ソフトウエアは、試験対象物の３−Ｄ運動関連の行動に関連付けられるステレオ画像を収集し、且つ対象物の３−Ｄ運動パラメータによって、これらの収集された画像フレームを処理することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
［著作権表示］
本特許明細書の一部は、著作権保護を受ける資料を含む。著作権所有者は、特許商標局の特許ファイル又は記録において見られるように、特許明細書若しくは特許開示を誰が複製しても異存はないが、それ以外の場合には、いかなる場合も全ての著作権を保有する。
【０００２】
包括的には、本発明は、脊椎動物（たとえば、ゼブラフィッシュ、すなわちDanio rerio、キンギョ、すなわちCarassius auratus）、齧歯類動物（たとえば、マウス及びラット）及び昆虫（たとえば、ショウジョウバエ）のようなターゲットの行動表現型のモニタリング及び分析に関する。より具体的には、本発明の一態様は、リアルタイムかつオンライン・モード、又はオフライン・モードのいずれかにおいて、個々の動物、又は動物のグループ（群れ）の場合に、特定の行動パラダイム実験下で、移動活動、運動活動、ホーム・ケージ行動、攻撃性、対捕食行動（antipredatory）、集団選好、光選好パラダイム（light preference paradigms）等の実験動物の３Ｄの運動関連行動の自動のモニタリング及び分析を対象とする。実験動物として、ノックイン、ノックアウト若しくは形質転換操作後の遺伝子組換え動物、又は薬物、化学物質又は特定の環境に晒された後の実験動物を用いることができる。
【背景技術】
【０００３】
野生型動物、遺伝子組換え（形質転換、ノックイン、又はノックアウト）動物、薬物処置動物、及び化学的な変異誘発操作後の動物のような実験動物（Experimental laboratory animal）が、数例を挙げると、ゲノム研究、遺伝的機能障害の研究、表現型薬物スクリーニング、毒性学、バイオセンシング、及び生体防御を含む、種々の生物学的、臨床的、生物医学的、環境的及び軍事的な研究分野におけるヒトモデルとして広く用いられてきた。これは、ヒトと動物とが広い遺伝的及び神経解剖学的相同性を共有し、それらの相同性が様々な種の間で広く保存されることに起因する。動物モデルの行動研究は、既知の遺伝子型を特定すること、種々の神経障害によって引き起こされる行動反応を定量化すること、並びに薬物候補の毒性及び有効性を解明することを目指しているポストゲノム研究の分野において特に有用である。
【０００４】
運動機能の欠乏は、遺伝子突然変異によって、又は化合物の影響によって引き起こされることがある。運動関連の動物行動の研究は、種々の遺伝子型が、ハンチントン病及びパーキンソン病のような種々の運動関連の機能障害の発生に及ぼす影響と、薬物又は任意の化合物がヒトに及ぼす影響とを理解する上で有用である。これらの目的を果たすために用いられる典型的な動物モデルは、マウス及びラットのような齧歯類動物、ゼブラフィッシュ及びキンギョのような脊椎動物、並びにショウジョウバエのような昆虫を含む。これらのモデルを用いて、種々の標準化された動物行動試験が設計されている。たとえば、齧歯類動物の場合の行動試験は、オープン・フィールド、ホーム・ケージ、水迷路、及び社会的行動パラダイムから構成され、一方、脊椎動物の場合の行動試験は、水泳移動活動、対捕食行動及び集団選好パラダイムから構成される。これらの試験について、表現型行動を記述する重要なパラメータが規定されている。たとえば、ゼブラフィッシュの水泳移動行動は、移動距離、水泳速力（speed）、旋回角、平均方向転換率（ＲＣＤＩ）、正味変位対全変位比（net to gross displacement ratio）（ＮＧＤＲ）、実体波形状（body wave shape）、尾のうなり振幅及びうなり周波数（tail beat amplitude and frequency）等によって分類および分析することができる。
【０００５】
様々な種の実験動物のための全ての標準化された行動試験の中でも、運動情報及び自発活動情報は、表現型スクリーニングにとって非常に重要である。そのような情報は、オープン・フィールド（移動活動試験の場合）及びホーム・ケージ・パラダイムから入手することができる。
【０００６】
実験動物の運動パターンのモニタリングは、従来、人が観察することによって、及び／又は予め録画されたビデオテープを用いてオフラインにおいて手作業で数えることによって果たされてきたが、結果として、データ及び観察結果が不正確で、不十分で、且つ主観的になることが避けられなかった。さらに、人が観察する方法は、定量的なデータが不足すること、観察結果が人によって大きくことなること、大きな労力を要すること、コストがかかること、及び人の目の奥行方向に沿った情報が失われること等の大きな欠点を抱える。最近になって、研究者たちは、ほんの数例を挙げると、フォトビーム・ケージ、フォース・アクトプレート（force actoplate）、及び２−Ｄビデオ録画とオフライン・ビデオシーケンス分析との組み合わせを含む、動物の移動／運動行動を自動的にモニタするための種々のコンピュータ化された装置及び方法を開発している。たとえば、S. Kato他著「A computer image processing system for quantification of zebrafish behavior」（Journal of Neuroscience Methods, 134(2004), 1-7）及びJ. Chraskova他著「An automatic 3-D tracking system with a PC and single TV camera」（Journal of Neuroscience Methods, 88(1999), 195-200）を参照されたい。これらの方法の中でも、ビデオ録画方法が、非接触で構成できること、サンプリング周波数が高いこと、空間解像度が高いこと、モニタリング時間を長くできること、体の特定の部分の運動を追跡できること、及び様々な種の運動を追跡する際の多用途性等、他の方法よりも優れた特有の利点を有する。それゆえ、動物行動のモニタリング及び分析の分野では、２−Ｄのビデオ録画及び分析の方法が、他の方法よりも広く用いられている。
【０００７】
しかしながら、既存の２−Ｄのビデオ・モニタリング及び分析のシステムに関して、依然として大きな欠点がある。たとえば、既存のビデオモニタリング・システムは典型的には、ただ１台のビデオカメラを用いて動物の平面的な運動を、すなわちカメラが運動領域の上から視認する場合には水平面の運動を記述する運動学的パラメータを収集する。既存の２−Ｄビデオシステムのカメラは一般的には、動物コンテナを単一の方向から見て撮影するので、カメラの像平面によって画定される平面に対して垂直なカメラ軸のような、他の空間軸に沿った情報は失われる。結果として、既存の２−Ｄビデオシステム（たとえば、S. Kato他、Journal of Neuroscience Methods, 134(2004), 1-7によって記述されるシステム）は一般的には、試験される動物の上方又は下方への運動、たとえば、マウスの立ち上がり運動、及びゼブラフィッシュの上下の水泳運動を検出することはできない。なぜなら、そのカメラは通常、マウスケージ又は水槽の上から撮影するためである。さらに、既存のビデオ追跡システムでは、同じコンテナ内にいる多数の動き回る動物をモニタする能力が限られており、追跡されている動物が他の動物によって遮断される場合、又は対象となることがある動物の体の一部が動物の体そのものによって遮断される場合には、その動物に関連付けられる運動情報が失われる。たとえば、カメラがその活動領域の上から撮影する場合には、２−Ｄビデオ追跡システムでは、マウス又はラットの歩行路に近づけないことがある。さらに、既存のビデオモニタリング・システムは一般的には、物理的な誤差又は環境のいくらかの変化を補正しない。たとえば、それらのシステムは、魚の水泳運動をモニタする際に補正されるべきである、水の屈折及び反射に関連付けられる測定誤差に対して何も対処しない。
【０００８】
概して、過去数年の間に、実験動物の種々の行動試験において利用することができる、自動的な表現型行動モニタリング・システムに対する需要が高まっている。フォトビームケージ、フォースプレートアクトメータ及びアナログ／デジタル・ビデオモニタリング・システムを含む、自動システムのいくつかの例が、これらの要求に応じて開発されてきた。たとえば、先に引用された文献を参照されたい。これらの自動モニタリング・システムの適用は、精度が低いこと、労力がかかること、及び結果としてデータに誤差が生じること等の、人が観察する従来の方法に関連する主観の問題の大部分を解決することに成功している。これらのシステム及び方法の中でも、カメラの空間解像度が高く、様々な動物の種及び環境に合わせて構成できるという理由から、モーションセンサのようなビデオカメラを使用することによって、最も強力なモニタリング能力が提供されてきた。しかしながら、多くの既存のビデオシステムは実質的には２−Ｄであり、２つの並進軸及び１つの回転軸、すなわち平面的な運動を規定する３つの自由度（ＤＯＦ）に沿った運動情報しかモニタすることができない。結果として、これらの従来の２−Ｄビデオ追跡システムを用いるとき、動物運動パラメータの収集された時刻歴は不完全である。それゆえ、実験動物の運動関連の行動を３−Ｄ空間において正確にモニタすることができる、より高度なビデオシステムが要求されている。
【０００９】
２台以上のカメラを用いて画像をキャプチャするリアルタイム３−Ｄシステムが記述されている。さらに、１台のカメラと、２つ以上の鏡面との組み合わせから成り、結果として従来にはないステレオ・ペアを形成する３−Ｄシステムが記述されている。Gluckman及びNayar著「A Real-Time Catadioptric Stereo System Using Planar Mirrors」（IUW, 1998）、Lin, J. Yeh, M, Ouhyoung著「Extracting 3-D facial animation parameters from multiview video clips」（IEEE CGA, 22(6), 2002, 72-80）及びJ. Chraskova他著「An automatic 3-D tracking system with a PC and a single TV camera」（Journal of Neuroscience Methods, 88(1999), 195-200）を参照されたい。Nayar、Lin及びChraskovaによって記述されるシステムは、単一のステレオ画像のキャプチャに関連する。しかしながら、それらのシステムでは、システムを較正すること、測定誤差と多数の媒質によって引き起こされるシステム・ノイズとに対処すること、エイリアシングを生じることなく一匹又は多数の動物の運動を確実に追跡すること、及び視覚的に区別することができるタグを取り付けることなく多数の動物を同時に追跡すること等の、動物の運動の３−Ｄビデオ追跡の体系的な実施態様は十分には取り扱われない。たとえば、Chraskovaによって記述される３−Ｄ動物追跡システムでは、反射鏡が用いられるが、その鏡は、おおよその向き及び位置に設定されるだけであり、その正確な幾何学的パラメータを得るためにさらに較正されることはない。魚の水泳行動を追跡するためのそれらのシステムの実施態様では、水の屈折によってステレオの幾何学的構造に引き起こされる歪みのようなモニタリング誤差は補正されない。さらに、Chraskovaによって記述されるシステムでは、追跡される全ての動物が発光ダイオード（ＬＥＤ）マーカを取り付けられなければならないが、多数の動物を同時にモニタする応用形態では、多数のＬＥＤマーカが別々のフレームで作動されなければならない（時間分割方式）。これらの要件によって、行動実験を実施する上での技術的な課題が大きくなるだけでなく、行動をモニタした結果の不確実性が著しく大きくなる。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
したがって、一匹又は複数の試験動物の運動行動の３−Ｄでモニタ及び分析のための改善されたシステム及び方法が必要とされている。
【課題を解決するための手段】
【００１１】
本発明は、試験対象物の運動関連の行動を３−Ｄでモニタ及び分析するためのシステムに関する。そのシステムは、１台の実際のカメラと、少なくとも１台のバーチャル・カメラと、コンピュータとを備える。コンピュータは好ましくは、実際のカメラに接続され、ソフトウエアパッケージをインストールされる。当該ソフトウエア・パッケージは、試験対象物の３−Ｄ運動関連の行動に関連付けられるステレオ画像をキャプチャすることができ、さらに、試験対象物の３−Ｄ運動パラメータを得るために、収集された画像フレームを処理することができる。本発明のシステムは、ハードウエア・コンポーネント及びソフトウエア・コンポーネントを含む。ハードウエア・コンポーネントは、ハードウエアのセットアップ・コンポーネント又は構成コンポーネントと、ハードウエア・ベース・ノイズ除去コンポーネントと、自動較正デバイス・コンポーネントと、実験動物コンテナ・コンポーネントとを含むことが好ましい。ソフトウエア・コンポーネントは、ソフトウエア・ベース・ノイズ除去コンポーネントと、基本較正コンポーネントと、拡張較正コンポーネントと、直線エピポーラ構造導出コンポーネントと、非直線エピポーラ構造導出コンポーネントと、画像セグメンテーション・コンポーネントと、画像対応検出コンポーネントと、３−Ｄ運動追跡コンポーネントと、ソフトウエア・ベース・ターゲット識別及びタギング・コンポーネントと、３−Ｄ再構成コンポーネントと、データ後処理コンポーネントとを含むことが好ましい。
【００１２】
特に好ましい一実施の形態では、実際のカメラはデジタル・ビデオカメラであり、バーチャル・カメラは、平面的な反射鏡において実際のカメラを反射したものである。それゆえ、そのシステムは反射屈折ステレオ・コンピュータ・ビジョン・システムである。
【発明を実施するための最良の形態】
【００１３】
本発明のシステム及び方法は、３−Ｄ空間内の対象となる１つ又は複数のターゲット（本明細書において「ターゲット」と呼ばれるものは、任意の試験対象物、たとえば、対象となる実験動物又は対象となる実験動物の体の上にある特徴点である）の運動を自動的にモニタし、６ＤＯＦにおいて重要な運動パラメータの対応する定量的な分析を提供することができる。本発明のステレオモニタリング・システムを用いることによって、従来の２−Ｄビデオ追跡システムの３つのＤＯＦしかない２−Ｄ空間の代わりに、少なくとも６つのＤＯＦを含む拡張された３−Ｄ空間において、ターゲットの運動が追跡され、分析される。好ましい一実施形態では、本発明のシステムは１台の実際のカメラと、少なくとも１台のバーチャル・カメラとを備える。カメラのうちの任意の２台の間にステレオ・ペアを形成することができ、そのシステムは、１つ又は複数のステレオ・ペアを含むことができる。実際のカメラは、限定はしないが、デジタル・ビデオカメラ、又はフレーム・グラバー・デジタイザを有するアナログビデオカメラを含む。バーチャル・カメラは、限定はしないが、反射平面鏡において実際のカメラを反射したものと、同期したカメラとを含み、同期したカメラは、ソフトウエア又はカスタマイズされたハードウエアによって実際のカメラと同期しているリアル・カメラである。好ましい一実施形態では、バーチャル・カメラは、実際のカメラを平面鏡の中に反射することによって形成される。平面鏡を使用することによって、同期させる必要がなくなり、システムコストが下がるという利点が提供される。さらに、バーチャル・カメラとして平面鏡を用いることによって、鏡の反射特性に起因して、空間を節約することができる。システムのバーチャル・カメラが、実際のカメラを平面鏡の中に反射することによって形成されるとき、そのシステムは、反射屈折ステレオシステムになる。
【００１４】
バーチャル・カメラとしてリアル・カメラを用いる場合、実際のカメラ及びバーチャル・カメラを同期させるために、さらなる手法が必要とされる。そのように同期させることによって、ステレオ・ペアを形成する多数のカメラが確実に、同じターゲットの画像を同時に捕らえるようにする。それらのカメラは、フレーム毎に２つ以上の画像を出力することができる。この場合、より多くのピクセルがターゲットの画像に効果的に充てられることがあり、ターゲットをさらに鮮明に視認することができる。ターゲットの３−Ｄ位置を再構成するために、多数の画像が処理されなければならないので、計算時間が長くなり、メモリコストが増加することがある。
【００１５】
一実施形態では、本発明のシステムは、多数のカメラ（多数のリアル・カメラ及び／又は多数のバーチャル・カメラを含む）を含むことがあり、それらのカメラは、モニタされるターゲットの２つ以上の線形独立の視野を形成することができる（すなわち、それらのカメラはそれぞれ、他の視野内には存在しないことがある情報を含む）。それらのカメラは、空間全体にわたって分布し、多数の動物の３−Ｄ活動を網羅することが好ましい。
【００１６】
好ましい実施形態の実施態様では、バーチャル・カメラは、実際のカメラを鏡の中に反射することによって得られる。この実施形態では、実際のカメラの全ての外部パラメータが、対応するバーチャル・カメラの外部パラメータとして反映され、一方、対応するバーチャル・カメラの内部パラメータは、実際のカメラと同じままである。反射屈折ステレオカメラを使用することは、基本的には、単一のリアル・カメラ又は多数のリアル・カメラによって同時にターゲットの画像及びその鏡像をキャプチャすることと同じである。しかしながら、前者の方法の方が、有効なステレオシステムとして実現されるほど体系立っており、モジュール構成で編成するために分解するのが容易である。
【００１７】
実際のカメラ及びバーチャル・カメラは閉ざされた空間内に置かれ、線形独立方向において、対象となるターゲットを凝視するように構成される。特別に構成されたハードウエア・コンポーネントを用いて、ノイズを最小限に抑えながら、モニタリング過程中のカメラによって一貫した画像フレームが確実に収集されるようにする。そのようなハードウエア・コンポーネントは、ハードウエア部品の幾何学的構成（これはどこかで定義されるか？）、ハードウエア・ベース・ノイズ除去コンポーネント、自動較正デバイス・コンポーネント、及び実験動物コンテナ・コンポーネントを含み、それらは後にさらに説明する。
【００１８】
実際のカメラは、内蔵の画像収集カードを通じて、コンピュータ（たとえば、パーソナルコンピュータ、「ＰＣ」）に接続されることが好ましい。コンピュータには、行動をモニタ及び分析する目的を果たすために、自社開発されたソフトウエアパッケージがインストールされる。そのソフトウエア・パッケージは、ソフトウエア・ベース・ノイズ除去コンポーネント、ソフトウエア・ベース較正コンポーネント、同期コンポーネント、エピポーラ導出コンポーネント、画像セグメンテーション・コンポーネント、画像対応検出コンポーネント、３−Ｄ運動追跡コンポーネント、ソフトウエア・ベースのターゲットの識別及びタギングのコンポーネント、３−Ｄ再構成コンポーネント、及びデータ後処理コンポーネントを含むことが好ましく、それらについては後にさらに説明する。これらのソフトウエア・コンポーネントは、適応的な背景生成、画像セグメンテーション、前景画像クラスタリング、前景画像対応検出、ターゲットの識別及びタギング、３−Ｄ運動追跡、３−Ｄ位置再構成、スマートターゲット再タギング、自動測定誤差補正、軌跡を基にする運動学的分析、及びターゲットの３−Ｄ運動を記述する運動学的パラメータの統計分析のような機能を果たすことができる。特に好ましい一実施形態では、ソフトウエアは対応するアルゴリズムを含み、当該対応するアルゴリズムは、ビデオ画像を分析し、リアルタイムに及び／又は格納された画像シーケンスからオフライン・モードにおいて、ターゲットの３−Ｄ運動パラメータを計算することができる。
【００１９】
そのシステムは、３−Ｄ運動履歴に関して、ターゲットの行動をモニタ及び分析できるように構成することができ、それは、遺伝子組換え実験動物、疾病を患い、結果として運動機能が低下した実験動物、及び／又は高スループット薬物スクリーニングの実験動物の表現型行動を研究するのに有用である。さらに、そのシステムは、動物心理学研究、生理学研究、神経学研究、及び／又は動いている物体の３−Ｄ形状の３−Ｄ形状再構成又は３−Ｄ形状モーフィングのような、種々の応用形態に適合するように同じように構成することができる。
【００２０】
そのシステムの使用者は、後処理のために新たなモニタリング記録を作成することができ、当該モニタリング記録は、対象となるターゲットの３−Ｄ軌跡を含む。使用者は、ターゲットの記録された運動履歴を遡って３−Ｄ表示を生成することによってデータを分析することができるか、又はテキスト形式でデータを分析することができる。１つ又は複数の運動パラメータに関連付けられる具体的な特徴を、他の運動データとは独立して抽出し、分析することができる。データの分類及び統計的試験は、ＡＮＯＶＡ（分散分析を表す）及びＭＡＮＯＶＡ（多変量分散分析を表す）のような、よく知られている技法で果たすことができる。
【００２１】
システムセットアップ
【００２２】
図１及び図２２に示される好ましい一実施形態では、そのシステムは、オープン・フィールド又はホーム・ケージ／水槽のいずれかとしての役割を果たす、実験動物のようなターゲットを収容する動物コンテナ（水槽又はケージ）と；周辺光、ＵＶ光及び／又はバックライトを含む適当な照明源が固定される環境ノイズ・シールドとして振る舞う外枠と；実際のカメラとしての役割を果たす、水槽の１つの透明な面を撮影する１台のデジタル・ビデオカメラと；実験動物の画像を実際のカメラによって視認することができる、１つ又はいくつかの反射平面鏡とを備える。実際のカメラを各鏡の中に反射することによって、バーチャル・カメラが形成される。実際のカメラ及びバーチャル・カメラは、互いの軸とは異なる方向を凝視する。実際のカメラは、対象となる空間のビデオ画像をリアルタイムにキャプチャする。そのビデオ画像は記憶媒体に格納することができるか、又は対象となるターゲットの３−Ｄ運動軌跡を計算するために用いられ、その後、破棄することができる。運動軌跡をリアルタイムに計算することは、いくつかの利点を有する。第一に、画像シーケンスがコンピュータハードディスクに保存される必要がないので、サンプリング周波数を高めることができ、第二に、ディスク空間を節約することができ、それにより、長期にモニタリングできるようになる。
【００２３】
先に言及されたように、好ましい実施形態では、実際のカメラとしてデジタル・ビデオカメラが用いられるが、実際のカメラの他の例には、限定はしないが、フレーム・グラバー／デジタイザを有するアナログビデオカメラと、それらの組み合わせとが含まれる。好ましいシステムは、少なくとも１台の実際のカメラに加えて、少なくとも１台のバーチャル・カメラも備える。図１は、反射平面鏡及び実際のカメラによって形成される２台のバーチャル・カメラを有する好ましい一実施形態を示す。バーチャル・カメラの他の例は、同期したカメラ（それは、同期しており、且つ較正することもできるリアル・カメラである）、ネットワーク化されたカメラ、又は反射性の曲面を含む。ただし、この実施形態におけるハードウエア・ベース較正コンポーネント及びソフトウエア・ベース較正コンポーネントは、他のバーチャル・カメラオプションに合うように変更される必要がある。
【００２４】
実際のカメラの像平面上に投影される画像は、図５に示されるように、動物コンテナ（マウスケージ又は水槽等）を画定するエリア、及び鏡の中の動物コンテナの画像を画定するエリアを含む多数のエリアから構成することができる。これは、実際のカメラ及びバーチャル・カメラによってターゲットの画像を収集することと同じである。この構成のおかげで、動いているターゲットの多数の画像を、種々の３−Ｄの観察位置から同時に撮影することができ、それらの画像が、ターゲットの空間位置を再構成するために用いることができるステレオ対応セットを形成する。適当な視野（ＦＯＶ）と、最良の画質とを達成するために、鏡に対して並進機構及び回転機構を用いて、それらの鏡が空間内を自由に並進及び／又は回転できるようにすることができる。本発明のバーチャル・カメラは、実際のカメラ、バーチャル・カメラ、及びそれらの組み合わせを含む任意のカメラペア間を同期させるのに特に有用である。ターゲットそのものの画像、及びバーチャル・カメラにおいて形成されるターゲットの画像は、単一の像平面上で実際のカメラによってキャプチャされ、それゆえ、多数の画像を収集するための多数の実際のカメラを不要にすることができる。単一の像平面及び単一の実際のカメラを使用することによって、メモリ要件を大幅に低減し、それにより画像処理がより効率的になる。そのシステムは、所望の視野及びデータを提供するために必要とされるだけの多くのバーチャル・カメラを備えることができる。本発明のシステムは、ターゲットの詳細な画像を提供することができ、それらの画像は容易に収集することができ、その際費用効率は高い。
【００２５】
実際のカメラはコンピュータに接続され、そのコンピュータは、ステレオ・コンピュータ・ビジョン能力を含む（すなわち、ステレオ画像処理及び３−Ｄ運動追跡のためのソフトウエア・パッケージを含む）ことが好ましい。実際のカメラからの画像は、リアルタイムモードにおいて、或る一定の高いフレーム・レート（たとえば、好ましいシステムでは、毎秒１５フレーム（ｆｐｓ））でコンピュータに供給することができる。それらの画像は、後に参照／分析するためにハードディスクに格納することができるか、又は、対象となるターゲットに関連付けられる運動軌跡及び運動学的パラメータを計算した直後に破棄することができる。たとえば、限定はしないが、Ｖｉｓｕａｌ Ｃ＋＋、Ｃ＃．ＮＥＴ、ウインドウズＸＰプラットフォーム上のＯｐｅｎＧＬ、及び他のソフトウエア開発プラットフォーム上における他のプログラミング言語で書かれる任意の既知の画像処理ソフトウエアを用いることができる。
【００２６】
図２は、本発明のシステムの別の実施形態を示している。当該システムでは、鏡を所望の位置及び向きに配置して、モニタされる動物の足の画像が形成され、それらの画像は、遮断されることなく、実際のカメラ２０１によってキャプチャすることができる。したがって、モニタされる動物（複数可）の歩行路をリアルタイムに記録又は分析することができる。
【００２７】
システム・ノイズの除去
【００２８】
システム・ノイズ（周囲照明条件の変化によって引き起こされる一貫性のない又は時間と共に変化する背景、収集される画像内の前景と背景との間の不十分なコントラストによって、又は魚の水泳行動をモニタする際の水の擾乱によって、又は異なる媒質の界面において形成される動物の反射像によって引き起こされるセグメンテーション誤差等）が、モニタリング処理を極めて困難にする。なぜなら、無関係の領域が、ターゲットの前景画像と間違えられることがあるためである。したがって、誤った結果によって、画像対応が不正確になることがあり、ターゲットの識別及びタギングを間違えることがあり、追跡されるターゲットの再構成された３−Ｄ位置に誤差が生じることがある。それゆえ、開示される好ましいシステムはさらに、ハードウエア・ベース及びソフトウエア・ベースのノイズ除去コンポーネントを備えることができる。ハードウエア・ノイズ除去コンポーネントによって、そのシステムは、一貫性のない照明条件によって引き起こされる環境ノイズ、及び媒質界面上でのターゲットの反射像の形成によって引き起こされるモニタリング・ノイズを回避できるようになる。ソフトウエア・ノイズ除去コンポーネントは、画像背景を適応的に更新して、照明ノイズを除去し、輝度フィルタ、色空間フィルタ、及びピクセルサイズフィルタを含む種々のフィルタによって、誤ってセグメント化されたターゲット画像を除去することができる。ソフトウエア・ノイズ除去コンポーネントはさらに、エピポーラ幾何学的構造によって課せられる空間整合性の制約、及び３−Ｄカルマン・フィルタによって課せられる時間整合性の制約を含む。あり得るターゲットに対応するセグメント化された画像は、それらの画像が両方の制約を同時に満たさない場合には、測定ノイズとして除去される。
【００２９】
ハードウエア・ノイズ除去のための１つのコンポーネントとして、閉ざされた空間（図１に示される外枠）内にカメラ及び動物コンテナが置かれ、外部の環境照明条件から保護される。一貫性のある光源が外枠の内部に収容され、試験動物の一貫した照明を提供する。このハードウエア構成を用いることによって、照明条件の変化によって引き起こされる環境ノイズを効果的に除去することができる。
【００３０】
一実施形態では、ハードウエア・ノイズ除去コンポーネントは、画像コントラストを高める能力も含む。たとえば、ハードウエア・ベース・ノイズ除去コンポーネントは、多数の均一な白色光源を含むことがあり、それらの光源は、図５に示されるように、カメラ（実際のカメラ及びバーチャル・カメラの両方）の向かい側に配置されることが好ましい。それゆえ、照明条件の小さな擾乱は、画像フレームの整合性において重要ではなくなる。
【００３１】
加えて、ハードウエア・ベース・ノイズ除去コンポーネントはさらに、媒質界面上でのターゲットの反射像の形成を回避するために、特有のシステム構成及び部品構成を含む。ビデオカメラ及び鏡２に面する動物コンテナの２つの壁（図１及び図５を参照）は、はっきりと見えて、且つ透明であることが好ましい。それらの壁はそれぞれ、実際のカメラ及びバーチャル・カメラ２のための観察窓としての役割を果たし、それらの垂線はこれら２台のカメラの軸と概ね一致する。一方、動物コンテナの他の３つの壁の内側表面（観察窓の向かい側にある２つの壁及び底面の壁）は、その上で反射像が形成されなくなるまで粗くなるように表面加工される。魚の水泳運動をモニタする一実施形態では、これらの曇り窓ガラスは、コントラストを高めるために、図５に示されるように光源によって照明される。この実施形態では、画像内の背景として、概ね飽和した白色を達成することができる。それゆえ、前景のターゲットは、暗い領域として強調される。
【００３２】
好ましい一実施形態では、媒質界面上でのターゲットの反射像を除去するために、実際のカメラの軸は、動物コンテナの一方のモニタリング窓の平面上にあり、１つの鏡が、対応するバーチャル・カメラの軸が別のモニタリング窓の平面上にあるように構成される。したがって、そのシステムは、観察窓（複数可）が、その関連するカメラの像平面に対して平行になるか、又は他のカメラに対して垂直になるように構成され、観察窓上にターゲットの反射像が形成されるのを防ぐ。これは、平面鏡を手動で又は自動的に調整することによって果たすことができる。バーチャル・カメラの構成が最適化されるように鏡を自動的に調整するために、アルゴリズムが、コンテナの２つのモニタリング窓の投影を入力としてとり、２つのモニタリング窓の投影が先に説明したような形をとるまで、バーチャル・カメラの位置を段階的に修正することによって調整を果たす。
【００３３】
ソフトウエア・ノイズ除去コンポーネントの一部として、ターゲットをセグメント化するために背景減算が実行されるときに、ターゲットがその中に存在する背景画像を適応的に更新することができる。ノイズ・レベルが、先行する背景画像において設定されたしきい値よりも大きくなるときには必ず、先行する背景画像が、更新された画像で置き換えられる。ソフトウエア・ノイズ除去コンポーネントの動的に更新する能力は、一般的な研究室照明環境において、又は改善された照明条件下で、又は自然環境において、モニタリングの確実性及び適応性を増大させる。
【００３４】
別の好ましい実施形態では、ターゲットをセグメント化するために色空間セグメンテーションが実行されるときに、収集されたフレーム内のピクセルの色空間属性（色相、彩度及び色値等）が色空間フィルタによってフィルタリングされる。色値の設定された領域によって制限される色空間の外側にある色空間属性を有するピクセルは除去される。色値の設定された範囲は、モニタされることになるターゲットの色属性に対応する。
【００３５】
ソフトウエア・ベース・ノイズ除去コンポーネントはさらに、ターゲットの誤ってセグメント化された前景画像を除去するために、ピクセル輝度フィルタ及びピクセルサイズフィルタを含む。ターゲットをセグメント化するために背景減算を適用する好ましい一実施形態では、ピクセル輝度フィルタは、ターゲット画像の輝度に対応する設定された輝度範囲から外れる輝度値を有する前景画像ピクセルを除去するように機能する。背景減算又は色セグメンテーションによるターゲット・セグメンテーション後に、あり得るターゲットのセグメント化された前景画像のピクセルがクラスタリングされ、マーカになる。その後、これらのマーカに、マーカピクセルサイズフィルタが適用される。ターゲット画像の所望のピクセル数の設定されたサイズ範囲から外れるピクセルサイズを有するマーカは、測定ノイズとして除去される。
【００３６】
ステレオ・ペアの較正
【００３７】
本発明のシステムは、ハードウエア・ベース較正コンポーネント及びソフトウエア・ベース較正コンポーネントを含むことが好ましい。図３は、１つの例示的な較正コンポーネントを示しており、補助較正装置３０２が全ての実際のカメラ及びバーチャル・カメラによって捕らえられる。鏡３０４及び３０５内の装置の像は実際のカメラ３０１によって視認され、さらに、その像は、実際のカメラそのものによって直にキャプチャされる。これらの像の間で、対応付けが自動的に確立され、それらの像から立体視較正過程によって、鏡の位置及び向き、バーチャル・カメラの外部パラメータ、及びさらにはステレオ・ペアのエピポーラ構造を得ることができる。
【００３８】
システムを較正するためのデータ収集処理は以下のように行われる。較正装置を内部に有する動物コンテナの多数の視野を含む画像が、較正装置を内部に有しない動物コンテナの同じ視野を含む画像と比較される。これは、較正装置の色情報を強調し、その後、ＨＳＶ（色相、彩度及び色値）をセグメント化して、結果として、輝度及び色が区別される異なる画像を生成することによって、又は、較正装置の輝度情報だけを強調することによって達成される。強調されたピクセルはいくつかのクラスタを形成し、これらのクラスタの幾何学的な質量中心が、既知の対応付けを有する像平面上で計算され、その後、その質量中心が、較正式を解いて鏡の位置及び向きを求めるために用いられる。
【００３９】
較正装置を含むハードウエア・ベース較正コンポーネント、及びそこから得られるパターンに関して、種々の実施形態がある。たとえば、図３に示されるように、着色端のような可視インジケータを有する物体、又は図４に示されるように、或る一定のオン／オフシーケンス順序を有するいくつかの有色のＬＥＤを用いることができる。ハードウエア・ベース較正コンポーネントはさらに、コンピュータ・ポートと、コンピュータ・ポートを可視インジケータに接続するケーブルとを備えることができ、それらを用いて、コンピュータからＴＴＬパルスを送出することによって、可視インジケータが、好ましいシーケンスに従って自動的にオン及びオフされる。
【００４０】
好ましいソフトウエア較正コンポーネントは、実際のカメラの内部パラメータ較正、鏡の較正、バーチャル・カメラの較正、及び媒質界面のための較正のためのソフトウエアを含む。好ましい一実施形態では、これらの較正ステップは、自動的に実行される。好ましい一実施形態では、較正用の特別なソフトウエア・パッケージ（以下に説明する処理）が開発されているが、実際のカメラの内部パラメータ較正のために、任意の汎用の較正ソフトウエアを用いることができる。実際のカメラの内部パラメータは、本発明のハードウエア・ベース較正コンポーネントを用いて、標準的なカメラ較正手順に従って較正することができる。鏡較正及びバーチャル・カメラ較正を含む基本的な較正手順と、水の屈折によるステレオ幾何学的構造の歪みのための媒質界面の較正を含む拡張較正手順とは、さらに以下に説明する段階的な較正方法を適用する種々のソフトウエア・ベース較正コンポーネントにより達成される。
【００４１】
最初に、ソフトウエア・ベース較正コンポーネントが、２つ以上の画像（背景画像と、その上に可視インジケータがある任意の他の画像との間）の差を計算し、全てのカメラによって撮影される、インジケータの画像間の対応付けを求めることによって、較正装置上の可視インジケータ（ＬＥＤ又は着色端等）に対応するピクセルを抽出することができる。そのような対応は、たとえば、自動ＨＳＶセグメンテーションを通じて、又は自動輝度セグメンテーションを通じて、また手動で選択することを通じて、設定することができる。
【００４２】
好ましい一実施形態では、鏡の幾何学的属性のためのソフトウエア・ベース較正コンポーネントは、以下の較正方法を用いて、鏡較正を達成する。
【００４３】
平面鏡が４つのパラメータ［ｕ，ｄ］によってパラメータ化される。ただし、ｕは鏡面の向き（垂線）を指示する正規化された３−Ｄベクトルであり、ｄは、その鏡面から、実際のカメラに関連付けられるカメラ座標の原点、又は実際のカメラの投影中心ＣＯＰ（０，０，０）Ｔまでの距離である。それゆえ、鏡面上の任意の点ｐは、以下の式を満たすことになる。
【数１】
向きベクトルｕは以下の式を満たす。
【数２】
【００４４】
ただし、以下の式が成り立つ。
【数３】
【００４５】
ここで、（Ｃｉ，Ｍｉ）は、それぞれ実際のカメラ（Ｃｉ）の領域内及び鏡（Ｍｉ）の領域内の可視インジケータの画像の対応するピクセル質量中心であり、下付き文字はピクセル質量中心の画像座標を表し、ｆは実際のカメラの焦点距離である。その後、特異値分解（ＳＶＤ）によって、垂線ｕをＴＴＴの最も小さな固有値に対応する固有ベクトルとして計算することができる（Lin, J. Yeh, M, Ouhyoung著「Extracting 3-D facial animation parameters from multiview video clips」（IEEE CGA, 22(6), 2002）を参照されたい）。
【００４６】
実際のカメラのＣＯＰから鏡面までの距離ｄを計算するために、較正パターン上にある２つの可視インジケータ（ＰＣ１及びＰＣ２）間の既知の長さＬが必要とされる。実際のカメラに関連付けられる画像領域内のこれら２つのインジケータの投影は、Ｃ１及びＣ２であり、鏡領域内のその対応は、Ｍ１及びＭ２である。図６に示されるように、以下のパラメータ式が当てはまる。
【数４】
【００４７】
ここでｔはＣＯＰ（０，０，０）からの光線のパラメータ表現である。４つの照準光線を記述するこれらの４つのパラメータは相関があるので、以下のように、鏡の反射特性に基づいて、ｔＣ１の空間において２分探索を行うことができる。最初に、ｔＣ１の現在の反復値において、‖ＰＣ１−ＰＣ２‖＝Ｌによって、ｔＣ２を計算する。その後、ＰＣ１及びＰＣ２の両方が、鏡面の垂直な向きｕに沿って、Ｍ１及びＭ２に関連付けられる照準光線上に投影され、結果として、図６に示される２つの投影ＰＭ１及びＰＭ２が生成される。線の交点によって、ｔＭ１及びｔＭ２を計算した後に、２つの投影ＰＭ１とＰＭ２との間の距離が、ｄ（ＰＭ１，ＰＭ２）＝‖ＰＭ２−ＰＭ１‖として計算される。‖ｄ（ＰＭ１，ＰＭ２）−Ｌ‖＜εであるときに、再帰処理は終了し、その式は、ただ１つの許容しきい値εによって制御される。ＣＯＰ（０，０，０）から鏡面までの距離ｄは、既知のＰＣ１、ＰＣ２、ＰＭ１及びＰＭ２によってただ１つに決定される。最後に、鏡較正のために多数の可視インジケータが用いられるので、計算されたｄ値の中で最小二乗解が得られる。
【００４８】
鏡較正が終了すると、ソフトウエア・ベース較正コンポーネントが、バーチャル・カメラの外部パラメータ（投影中心の場所及びカメラ軸等）を自動的に導出する。バーチャル・カメラの外部パラメータは、バーチャル・カメラに関連付けられる鏡に従って、実際のカメラの対応する外部パラメータを反映させることによって得られる。好ましい一実施形態では、反射による鏡像形成（mirroring）のような全ての幾何学的操作が、実際のカメラに関連付けられるデカルト座標において実行される。それゆえ、実際のカメラの外部パラメータは既知である。
【００４９】
好ましい一実施形態では、ソフトウエア・ベース較正コンポーネントが、ステレオ・ペアの外部パラメータの較正のために適用される。ステレオ・ペアは、１台の実際のカメラと、１台又は２台のバーチャル・カメラとを含むことができる。先に説明したように、コンピュータ制御式の可視インジケータは、動物コンテナ内に配置され、コンピュータ・パラレル・ポートを介してＴＴＬパルス信号を送出することによって、１つずつオンに切り替えることができる。これは、莫大な対応付けを取り入れる。それゆえ、実際のカメラ及びバーチャル・カメラによって生成されるエピポールが、関連する２つの視野内のインジケータの対応する画像を接続する線の交点として、ソフトウエア・ベース較正コンポーネントによって計算される。２台のバーチャル・カメラによって生成されるエピポールは、以下の誤差関数が最小になるような最適化処理を介して計算される。
【数５】
【００５０】
ここで（ｅ０，ｅ１）は、反復処理を通じて計算されることになるエピポールであり、ｍは２台のバーチャル・カメラの像平面の交差する線を実際のカメラの像平面上に投影することによって形成される螺旋軸の投影であり、（Ｍ０，Ｍ１）は、同じ可視インジケータのバーチャル・カメラ０及び１の領域内の対応する画像であり、ｉは可視インジケータの添え字である。上記の誤差関数は物理的には、誤差関数が０に近づくときに、ｅ０及びＭ０を結ぶエピポーラ線が、２台のバーチャル・カメラの螺旋軸の投影ｍ上で、ｅ１及びＭ１を結ぶエピポーラ線と交差するはずであるということを意味する（たとえば、J. Gluckman他著「A real-time catadioptric stereo system using planar mirrors」（Proceedings of Image Understanding Workshop, (1998)を参照されたい）。図７は、図１に示されるステレオシステムのエピポーラ幾何学的構造の一例を示しており、それは、ステレオ・ペアの外部パラメータのためのソフトウエア・ベース較正コンポーネントによって較正される。
【００５１】
先に説明した基本較正手順は、光が単一の媒質の中（齧歯類動物をモニタするときの空気中等）を進行するときにだけ、エピポーラ幾何学的構造を導出するのに有効である。水中動物の運動関連の行動をモニタする場合、先に開示された基本較正方法によって得られるエピポーラ構造は、水と空気との間の界面における光の屈折に起因して十分でないことがある。この場合、エピポーラ線の一部が曲線になることがあり、直線のエピポーラ線間の投影関係がもはや保持されないことがある。立体視幾何学的構造を調整し、関連する画像対応を、種々の媒質を通って進行する照準光線として特定するために、拡張較正が、光の屈折に対応する必要がある。２つの異なる媒質の中を通る光を有する新たなエピポーラ構造は、本発明の拡張較正方法を含むソフトウエア・ベース較正コンポーネントを用いることによって較正される。この拡張較正方法は好ましくは以下のとおりである。
【００５２】
水中動物の行動をモニタする場合、水槽が水で満たされ、それにより、カメラ照準光線の屈折が導入される。結果として、システムは２つの連続するステップにおいて較正されなければならない。（１）基本較正では、ステレオ・ペアの従来のエピポーラ構造が、先に説明した手順に従って較正され、導出される。（２）拡張較正では、照準光線が通過することがある媒質界面が、その位置及び向きに関して較正される。拡張較正の結果として、多数の媒質を通る屈折した照準光線に対応する歪んだエピポーラ曲線が検出される。その処理中に、或る領域内のターゲット・マーカが、動物コンテナ内の３−Ｄ線分の中に投影されることになる。そして、この線分が、エピポーラ曲線として別の領域上に投影して戻されることになる。その後、対応検出処理中に、その中をエピポーラ曲線が通過するターゲット・マーカは、エピポーラ制約を満たす対応するマーカであると見なされる。それゆえ、カメラの照準光線の経路内に多数の媒質が存在する場合には、そのエピポーラ構造はもはや直線ではない。
【００５３】
拡張較正過程では、屈折が生じる媒質界面の厳密な場所及び向きが、較正される必要がある。拡張較正はレイトレーシング法に基づく。その手順は、前方屈折及び後方屈折のような２組の計算から構成される。
【００５４】
システムの幾何学的構成と基本較正から導出されるエピポーラ構造とに従って、界面のパラメータための初期推測を行うことができる。これらのパラメータは、２つの観察窓及び水槽内の水面の垂線ｕｉとビデオカメラのＣＯＰからの距離ｄｉとを含む。ここで、ｉ（ｉ≦３）は、これらの媒質界面の添え字を表す。
【００５５】
図８に示されるように、ステレオ・ペアが、２つのカメラＣ０及びＣ１から構成されるものと仮定する。ただし、Ｃ０は実際のカメラであり、Ｃ１は、鏡１に対して実際のカメラＣ０を反射することから得られるバーチャル・カメラである。前方屈折は、ＣＯＰ０から、Ｃ０の像平面上にある可視インジケータｍの画像Ｍ０（インジケータの３−Ｄ位置はわからない）に向かって、照準光線を発射することによって開始する。照準光線ＣＯＰ０Ｍ０は、界面（ｕ０,ｄ０）上の点Ｓにおいて屈折する。相対的に寸法が小さい（約２．５ｍｍ厚）ため、全ての水槽壁の厚みを無視することによって、空気及び水の屈折率がわかっているので、屈折した光線ＳＰ（Ｐは、屈折した光線上にある任意の３−Ｄ点である）を、スネルの法則に従って計算することができる。その後、Ｃ１の像平面上で、点Ｐの屈折して投影された画像Ｐ１を見つけるために後方屈折が実行され、その画像は、媒質界面のパラメータが正確であり、それゆえ、Ｐがインジケータｍの実際の場所であれば、Ｃ１内のＭ０の対応する画像であると推定される。Ｐｉ１が界面（ｕ１,ｄ１）上のＰの屈折点を表すものであり、Ｐ１が、Ｃ１の像平面及び光線ＰＰｉ１の屈折した光線が交差する点を表すものである。それゆえ、残りの作業は、（ｕ１,ｄ１）上の屈折点Ｐｉ１を見つけることである。屈折点Ｐｉ１は、界面（ｕ１,ｄ１）とＰによって決定される平面との間の交線、（ｕ１,ｄ１）上のＰの投影（Ｖによって表される）、及びＣＯＰ１において２分探索を実行することによって見つけられる。このステップでは、ＰＰｉ１の屈折した光線がＣＯＰ１を厳密に通過するまで、その探索を導くために、ＣＯＰ１とＰＰｉ１の屈折した光線との間の距離が用いられる。
【００５６】
水中に較正パターンを配置することによって、１組の対応＜Ｍ０,Ｍ１＞ｉを得ることができる。ただし、ｉはｉ番目のインジケータを表す。全てのＭ０ｉ上での前方屈折及び後方屈折後に、先に説明した方法に従って、１組のＰ１を計算することができる。その後、以下の誤差関数を最小にして、２つの界面のパラメータが同時に較正される。
【数６】
【００５７】
上記の誤差関数は、両方の界面の全てのパラメータに依存する。十分な収束が得られるまで、代替の態様において最適化処理が実行される。収束点を効率的に見つけるために、反復処理においてニュートン法が用いられる。
【００５８】
拡張較正方法の実施態様において、図８に示されるように、鏡に対して実際のカメラを反射することによって、バーチャル・カメラが得られる。先に述べられたように、この実施態様は、実際のカメラだけを用いて、ターゲットそのものの画像と、ターゲットの鏡像とを同時に視認することと等しい。
背景減算及び色空間セグメンテーションによるターゲット・セグメンテーション
一実施形態では、基本較正手順が実行され、その後、オプションで上記の拡張較正手順が実行された後に、動物運動追跡を開始する前に、較正コンポーネントを通じてオフライン・システム較正が実行される。オフライン較正が終了した後に、システムをオンライン追跡モードに切り替えることができ、ビデオ画像が得られ、一定のフレーム・レートでコンピュータに供給される。
【００５９】
本発明の好ましい実施形態では、ソフトウエア・ベース・ターゲット・セグメンテーション・コンポーネントによって、ターゲット・セグメンテーションが実行される。ターゲット・セグメンテーション・コンポーネントは、２つの方法、すなわち、背景減算及び色空間セグメンテーションを通じて、ターゲットに関連付けられる前景画像を背景画像から分離する。その好ましい実施形態では、前者は水中動物を追跡する際に用いられ、一方、後者は齧歯類動物上の特徴点を追跡する際に用いられる。しかしながら、これら２つの方法は、全てのタイプの動物を追跡する際に、別個に又は組み合わせて用いることができる。
【００６０】
水中動物の３−Ｄ運動を追跡する際に、本発明のシステムは、追跡処理を開始する前に、背景画像を生成することが好ましい。背景生成は、内部にあるターゲットなしで、動物コンテナの背景を得ることによって（図５に示される）、又は多数のフレームの差分により動いている動物に関連付けられるピクセルを除去し、その後、これらのフレームの色値を平均して元の背景画像を得ることによって、果たすことができる。オンライン追跡モード中に、ソフトウエア・ベース動的背景生成コンポーネントが、更新された背景画像を動的に生成することもできる。これは、背景に変化が生じる場合に特に望ましい。この実施形態では、現在の背景画像内の望ましい許容変化量のためのしきい値を設定することができる。変化が予め設定されたしきい値を超えるとき、新たな背景画像を動的に規定することができる。背景画像を更新する判定基準は以下のとおりである。
【数７】
【００６１】
ただし、Ｉｔ及びＩ１はそれぞれ、時刻ｔにおいて収集されるフレーム、及び追跡処理が開始されるときの最初のフレーム（又は、背景が再生成された後に収集される最初のフレーム）であり、Ｉ０は、追跡処理過程前に生成されるか又は追跡過程の途中で再生成される、現在の背景画像であり、τは許容差である。一実施形態では、しきい値は、画像上のあらゆるピクセルに対し５％になるように予め設定される。したがって、新たな画像のための全変化が元の画像から５％より大きくなる場合には、それらの画像は、再計算されるほど十分に異なるものと見なされる。
【００６２】
ターゲット・セグメンテーションは、背景減算若しくは色空間セグメンテーション、又はその組み合わせによって達成される。背景減算からのターゲット・セグメンテーションは、現在のフレームと現在の背景画像との差を計算することを通じて前景画像を得て、その後、前景画像内のピクセルをターゲットのマーカ画像としてクラスタリングするように機能する。色空間セグメンテーションでは、ターゲット画像のセグメンテーションは、前景画像のための望ましい色空間値の設定範囲内に入る色空間属性（ＨＳＶ又はＲＧＢ）を有する画像ピクセルを選択することによって達成される。その後、これらの前景ピクセルがクラスタリングされ、マーカになる。
【００６３】
単一の像平面上で実際のカメラ及びバーチャル・カメラから得られる全ての画像に対してターゲット・セグメンテーションが実行される。ソフトウエア・ベース・ターゲット・セグメンテーション・コンポーネントでは、以下のクラスタリング・アルゴリズムが、セグメント化された前景画像に適用される。最初にセグメント化された前景画像は、背景減算又は色セグメンテーションによって得られる散在するピクセルから構成される。最初に、或る前景画像が入力とされる。その後、その画像が、輝度フィルタ及び／又は色空間フィルタによって走査され、１組のしきい値を満たすピクセルが得られる。そのようなピクセルが見つけられるとき、同じ種類の任意の隣接するピクセルを見つけることができるか否かを確認するために、探索が実行される。隣接するピクセルが見つかる場合には、それらのピクセルがともに、マーカとしてグループ化される。見つからない場合には、探索を実行するために基にしたピクセルが破棄される。マーカが形成される場合には、このマーカ内のピクセルグループを平均することによって、このマーカの画像属性が計算され、その後、このマーカは、あり得るターゲット画像を表すマーカとしてセグメント化される。この手順は、前景画像上の全てのあり得るマーカが見つかるまで続けられる。
【００６４】
好ましい実施形態では、その後、セグメンテーション及びクラスタリングによって得られた全てのマーカが、マーカサイズ・フィルタによって試験される。設定されたサイズ範囲から外れるサイズを有するマーカは、そのため測定ノイズとして破棄される。
【００６５】
エピポーラ制約による対応検出
【００６６】
本発明の好ましい実施形態では、ソフトウエア・ベース較正コンポーネントによって較正される、導出されたエピポーラ構造からエピポーラ制約が得られる。好ましい一実施形態では、ステレオ幾何学的構造が歪んでいないシステム内には、少なくとも２つのエピポーラ構造が存在する。第一に、実際のカメラ及びバーチャル・カメラを含むステレオ・ペア間、又は実際のカメラの領域内にある１つのターゲット・マーカとバーチャル・カメラの領域内にある同じターゲットの別のマーカとの間にエピポーラ構造がある。第二に、２つのバーチャル・カメラ間、又は２つのバーチャル・カメラの領域内にあるターゲット・マーカ間にエピポーラ構造がある。第１のエピポーラ構造の場合、ソフトウエア・ベース・エピポーラ導出コンポーネントが、先に説明した基本較正過程を通じて、エピポールｅを計算することができる。実際のカメラ領域内及びバーチャル・カメラ領域内に設定される対応するマーカは、以下のエピポーラ制約を満たすべきである。
【数８】
【００６７】
ここで、Ｃ及びＭはそれぞれ、実際のカメラの領域内及びバーチャル・カメラの領域内にある２つのマーカを表す。上記のエピポーラ制約は、物理的には、対応するマーカＣ及びＭを結ぶ線が、エピポールｅを通過しなければならないことを意味する。２台のバーチャル・カメラ間にある第２のエピポーラ構造の場合、先に説明した基本較正過程において、エピポーラ導出コンポーネントによって、２つのエピポールｅ１及びｅ２を較正することができる。バーチャル・カメラ１の領域内にある対応するマーカ・セットＭ１及びバーチャル・カメラ２の領域内にあるＭ２は、以下のエピポーラ制約を満たす。このエピポーラ制約は、物理的には、Ｍ１及びｅ１を結ぶ線と、Ｍ２及びｅ２を結ぶ線との交点が、螺旋軸の投影ｍ上に位置することを意味する。
【数９】
【００６８】
水中動物の行動をモニタする場合、上記の従来のエピポーラ構造は、対応するマーカを見つける際に不十分になる。したがって、エピポーラ曲線を用いることによって対応するマーカを見つけるために、異なる方式が用いられる。そのようなエピポーラ曲線は、対応するステレオ・ペアの像平面上への屈折した照準光線の投影にすぎない。拡張較正過程において述べられたように、そのようなエピポーラ曲線を検出する際に、以下のようにレイトレーシング法が用いられる。或る領域内のマーカＭ０を考えると、最初に、そのマーカが、３−Ｄ空間内に照準光線として投影して戻される。その際、動物コンテナ内で、屈折した光線線分が得られる。この屈折した光線が、細かい線分に分割される。結果として、屈折した光線に沿って、いくつかの端点（これらの細かい線分の端部）が得られる。屈折によって、これらの点を別の領域に投影することによって、その領域内に、断片状の直線のエピポーラ曲線が得られる。そして、対応するマーカＭ１が、エピポーラ曲線によって通過されるであろう。
【００６９】
再び、２種類の屈折、すなわち前方屈折及び後方屈折が、エピポーラ曲線の導出に関連し、その結果、対応するマーカ・セットを、曲線のエピポーラ制約を通じて検出できるようになる。前方屈折ではターゲット・マーカから開始し、後方屈折では、このマーカに関連付けられる屈折した照準光線上にある３−Ｄ点から開始する。媒質界面における屈折前後の光線間の関係は、スネルの法則に従って以下のように記述することができる。
【数１０】
【００７０】
ただし、θ０及びθ１は、入射光線と界面垂線との間の角度及び屈折した光線と界面垂線との角度を表し、λ０及びλ１は、空気及び水のような２つの媒質の屈折率である。前方屈折及び後方屈折の手順は、拡張較正手順（ステレオ・ペアの較正）において記述されたのと同様である。
【００７１】
わずかに変更するだけで、屈折したエピポーラ構造の対応する検出及び導出において用いられるレイトレーシング法は、ターゲットの３−Ｄ位置を再構成するのに容易に適用することができる。
【００７２】
ターゲットの追跡、識別、タギング
【００７３】
本発明のシステムの一実施形態は、ソフトウエア・ベースのターゲット３−Ｄ運動追跡コンポーネント及びターゲット識別／タギング・コンポーネントを含む。
【００７４】
好ましい一実施形態では、ソフトウエア・ベース３−Ｄ運動追跡コンポーネントは、異なる視野間の空間整合性、及び画像シーケンスにわたる時間整合性を含む、２つのタイプの整合制約を含む。これら２組の制約は、適応的な重みを動的に割り当てられ、モニタリング過程全体を通じて同時に課せられる。
【００７５】
空間整合性のための制約は以下のように機能する。セグメンテーション及びクラスタリングを通じて、あり得るターゲットに対応するマーカが得られるとき、それらの間の対応付けが特定される。そのような対応付けの検出は、種々の視野内の対応するマーカを相互接続する幾何学的に適合する対応セット（Geometric Compliant Correspondence Sets）（ＧＣＣＳ）を生成することによって実現される。フレーム毎に、屈折が生じないときには従来のエピポーラ幾何学的構造によって、又は照準光線が２つ以上の媒質の中を通るときには非直線エピポーラ曲線制約によって、ＧＣＣＳの導出が導かれる。フレーム毎にそのようなＧＣＣＳを検出することによって、空間整合性が達成され、それは時間とは無関係である。
【００７６】
時間整合性のための制約は以下のように機能する。先行するフレーム内のターゲットの再構成された場所及び速度から、それらのターゲットの現在の３−Ｄ位置を予測するために、線形３−Ｄカルマン・フィルタが設計される。３−Ｄカルマン予測子では、ｉ番目のターゲットの３−Ｄ位置ｐｉ（ｔ）及び速度ｖｉ（ｔ）を得るために、状態ベクトルｘｉ（ｔ）＝｛ｐｘｉ（ｔ）、ｐｙｉ（ｔ）、ｐｚｉ（ｔ）、ｖｘｉ（ｔ）、ｖｙｉ（ｔ）、ｖｚｉ（ｔ）｝Ｔがフレームシーケンスにわたって更新され続ける。フレームｔ＋１の場合、フレームｔの状態ベクトルｘｉ（ｔ）に基づいて、システム状態
【数１１】
【００７７】
の予測が行われる。
【数１２】
【００７８】
ここで、Φは、或る一定の状態遷移行列である。本発明のシステムでは、以下の式において記述されるように、３Ｄ線形システムを用いて新たな状態が予測される。
【数１３】
【００７９】
状態遷移行列は以下のとおりである。
【数１４】
【００８０】
フレームｔ＋１におけるターゲットの３−Ｄ位置の推定と共に、カルマン予測子から、予測される状態共分散行列Ｐｉ（ｔ＋１｜ｔ）も得ることができる。それゆえ、推定される３−Ｄ位置の２−Ｄ投影は、後方屈折手順を通じて計算され、一方、行列Ｐｉ（ｔ＋１｜ｔ）の最大固有値も、ターゲットの全ての投影される２−Ｄマーカを包囲する探索領域の半径として計算され、投影される。
【００８１】
特定の一実施形態では、ターゲット識別／タギング・コンポーネントはエネルギー関数であり、それは、最小エネルギーの原理に従って動作することが好ましい。そのエネルギー関数は、入力として、追跡されるターゲットのセグメント化された前景マーカをとる。特に好ましい一実施形態では、そのエネルギー関数は、ターゲットを識別するために、２つの主なパラメータを組み合わせる。種々のエピポーラ制約によって検出されるＧＣＣＳを含む空間整合性と、ターゲット・タグが継承されている多数の３−Ｄ線形カルマン・フィルタ予測を含む時間整合性とを含む、これらの２つのパラメータは３−Ｄ運動追跡コンポーネントによって得られる。ターゲットを識別し、それらのターゲットに段階的に適当なタグを割り当てるために、全ての許容可能な順列を通じて反復が行われ、全てのマーカペアのための全エネルギー値が見つけられる。エネルギーの最小値を有するペアが、先行するフレームからターゲットタグを継承する正確な運動ペアであると見なされる。
【００８２】
エネルギーパラメータのうちの１つとして、空間整合性は、エピポーラ幾何学的構造導出コンポーネントによって得られるエピポーラ制約を用いる。これらの制約は、単一の媒質が存在する場合には、基本較正を通じて得られる従来の直線エピポーラ幾何学的構造に従うことができるか、又は光の屈折が生じるときには、拡張較正を通じて得られる調整された非直線エピポーラ構造に従うことができる。空間整合性値が、ＧＣＣＳを生成するために、あり得る対応するマーカ間で試験され、たとえば、マーカがエピポーラ線又は曲線上に存在しない場合には、その値は０であり、それは、それらのマーカによって空間制約が満たされないことを意味する。マーカがエピポーラ線上に完全に存在する場合には、その値は１であり、それは、それらのマーカによって空間制約が満たされることを意味する。そのような空間整合性値は、マーカ間の位置合わせに基づいて、０〜１である。
【００８３】
別のエネルギーパラメータとして、時間整合性は、追跡されている全てのターゲットのための全ての３−Ｄ線形カルマン予測子を用いる。ターゲットは、ターゲット識別コンポーネントによって識別され、それは、空間整合性及び時間整合性を組み合わせることによって、エネルギー関数を最小にすることを基にする。そのような全体の追跡整合性は主に、以下のように示されるエネルギー関数を最小にすることによって達成される。１組のカルマン・フィルタ予測（タグが継承されている）がＮによって表され、検出されたＧＣＣＳがＭによって表され、それぞれｎ個のタグ及びｍ組の対応があるものと仮定すると（あり得るノイズに起因してｍ≧ｎ）、エネルギー関数は以下のようになる。
【数１５】
【００８４】
ここで、ｉ、ｊ及びｖはそれぞれ、ｉ番目のタグ、ＧＣＣＳのｊ番目の対応、及びｖ番目の視野を表す。エネルギー関数の最小値を見つけるためには、高い計算コストをかけて、文字どおり、ｎ×ｍの反復を行う必要がある。しかしながら、その反復を、予測される探索領域内のＧＣＣＳに限定することによって、探索木を大量に枝刈りする（prun）ことができる。３−Ｄカルマン・フィルタの状態ベクトル及び状態共分散行列は、ＧＣＣＳにタグが正確に割り当てられた後に、カルマン修正子を通じて更新される。
【００８５】
しかしながら、物理的なターゲット・タギングは不要であることに留意されたい。本発明のシステムは、空間整合性及び時間整合性に基づくアルゴリズムを用いて、多数のターゲットの３次元の動きをインテリジェントに識別することができる。本明細書において用いられるときに、「空間整合性」は、ターゲット・マーカがステレオシステムのエピポーラ制約を満たす傾向を意味する。本明細書において用いられるときに、「時間整合性」は、あるターゲットに関連付けられる画像が、短時間、同じターゲットの先行する画像の近くにある傾向を意味する。本発明のシステムでは、動物の体の小さな部分である、特別な点又は特徴点が対象となる限り、動物はタギングされるか又は追跡デバイスを導入される必要はない。
【００８６】
視覚的な衝突後の物体の再識別
【００８７】
本発明はさらに、ターゲット再識別のためのソフトウエア・ベース・再タギング・コンポーネントを含むことができる。２匹以上の動物又は２つ以上の特徴点が、或る特定の期間にわたって十分に近いとき、それらの動物の投影される画像は、全ての視野において結合することがある。この場合、カルマン・フィルタの時間的な追跡手段としての確実性は劣化することになり、その期間後に、これらの動物又は特徴点の経路が分割されるので、結果として通常はタギングが曖昧になる。これは、分割される時点で各ターゲットが継承するために利用できるタグが２つ以上存在するためである。ゼブラフィッシュのような２つ以上の動いているターゲットが互いに近いか又は物理的に接触し、それらのタグが重なり合う、すなわちそれらの現在の３−Ｄ位置が同じに見えるようになる場合に、再タギング・コンポーネントは有用である。本発明の再タギング・コンポーネントは、異常に接近するか、又は実際に衝突した後に、２つ以上のターゲットのタグを割り当て直すことができる。
【００８８】
好ましい実施形態では、再タギング・コンポーネントは、時間整合性のための補助的な制約を適用するためのいくつかの方法を含む。最初に、モニタされている全てのターゲットのためのフレーム・シーケンスに沿って、動的なテンプレートが生成され、保持される。任意のフレームの場合に、そのようなテンプレートは、像平面上にあるタギングされたマーカの全ての対応するピクセルを含む。これらのテンプレートは、２Ｄカルマン・フィルタによっても管理され、ターゲットの画像が結合するときには必ず、異なるターゲットを区別するために用いられる。さらに、ターゲットの体輪郭の拡張した体積３−Ｄ経路が、時間軸に沿って常に検査され、結合及び分割された後に、それらの経路が互いに交差しないことを確認する。図１０及び図１１は、収集される画像フレーム、処理された画像、及びオンラインで再構成された３−Ｄ軌跡を示しており、その軌跡では、空間及び時間の両方の制約を課した後に、キンギョ及びマウスのマーカが識別され、タギングされる。
【００８９】
三角測量による３−Ｄ再構成
【００９０】
そのシステムは、そのマーカからターゲットの３−Ｄ位置を再構成する、すなわち、全てのカメラから得られる画像からターゲットの実際の３−Ｄ位置を求めるためのソフトウエア・ベース３−Ｄ再構成コンポーネントを含むこともできる。その３−Ｄ再構成コンポーネントでは、三角測量法が用いられる。光の屈折を用いることなくターゲットの３−Ｄ位置を得るための三角測量処理は、以下に説明するように実行される。
【００９１】
或るターゲットのマーカ画像間に正確な対応付けが確立された後に、三角測量コンポーネントは、以下の式を用いて、３−Ｄ位置を計算することができる。
【数１６】
【００９２】
ここで、ＰＣ及びＰＭは、ターゲットの３−Ｄ位置及び同じターゲットの鏡面反射された位置であり（図６を参照）、ｕは鏡の垂線であり、ｄは実際のカメラのＣＯＰから鏡面までの距離である。ＰＣ及びＰＭはいずれも、基本較正において説明したように、パラメータの形式で表すことができ、実際のカメラの領域内及びバーチャル・カメラの領域内のマーカの対応はわかっている（図６を参照）。実際のカメラの領域内にあるターゲットの利用可能なマーカがなく、それがおそらく、衝突によって生じる場合には、以下の式を用いて、２つの鏡の中のＰＭｓに関して解くために、ＰＣを除去することができる。それは、鏡面反射された位置が得られるときに、ターゲットの実際の３−Ｄ位置を再生するために用いることもできる。
【数１７】
【００９３】
水中動物の運動行動をモニタする場合、媒質界面の較正された場所及び向きに従って、照準光線の屈折に対応するために、三角測量法が正当であることが証明される。
【００９４】
図１２及び図１３は、アルコール反応試験における３匹のキンギョの再構成された３−Ｄ移動軌跡を示す。図１４は、アルコール反応試験における１匹のゼブラフィッシュの再構成された３−Ｄ移動軌跡を示す。図１５は、アルコール中毒反応試験におけるマウスの頭部（特徴点は、２つの耳の中間点として設定される）の再構成された３−Ｄ運動軌跡を示す。図１６は、カフェイン中毒反応試験におけるマウスの頭部の再構成された３−Ｄ運動軌跡を示す。
【００９５】
データ後処理
【００９６】
本発明のシステムはさらに、データ後処理コンポーネントを含む。データ後処理コンポーネントは、ターゲットの３−Ｄ軌跡の平滑化及びノイズ除去を行うことができ、さらに、ターゲットの再構成された３−Ｄ軌跡から自動的に対象となる運動変数を抽出することができる。データ後処理コンポーネントはさらに、抽出された運動変数に関する記述的及び推論的な統計分析を実行することができる。図１７〜図１９は、キンギョのアルコール中毒試験におけるターゲットのサンプル３−Ｄ移動軌跡から抽出された水泳速力及び水泳速度、旋回速力及び旋回速度、並びにその軌跡中心からの距離及び変位を示す。図２０は、キンギョアルコール中毒試験におけるサンプル運動変数の統計分析の結果を示す。
【００９７】
図９は、実験動物の３−Ｄ運動を追跡するために特に好ましいシステム及び方法を示す。
オンライン及びオフラインのモニタリング過程
好ましい一実施形態では、システムは３つのモード、すなわち、オフライン較正モード、オンライン又はオフラインのモニタリング・モード、及びオンライン／オフライン後処理モードにおいて機能することができる。
【００９８】
好ましい実施形態では、モニタリング過程は、オンライン・モードにおいて実行される。オンライン・モードでは、或る特定の瞬間において画像フレームが収集され、その後、ターゲットの現在の３−Ｄ位置を求めるために処理される。これらの３−Ｄ位置は、現在の軌跡に追加され、それらの軌跡は、対象となる運動変数を得るために動的に平滑化され、ノイズを除去され、処理される。オフライン・モニタリング・モードでは、モニタリング・ソフトウエアが、ビデオ・キャプチャ・モジュール、ビデオ処理モジュール及びデータ分析モジュールを含むいくつかのモジュールに分離される。ビデオ・キャプチャ・モジュールでは、モニタリング過程のビデオ・シーケンスが収集され、内部ハードディスク又は外部ハードディスク及びビデオテープのような特定の媒体に、圧縮画像形式で又は生データ形式で格納される。タイムスタンプシーケンスも格納され、それは、ビデオシーケンスに関連付けられる時間情報を含む。ビデオシーケンスは、観察するために又は画像処理のために、任意の後の時点で検索することができる。ビデオ処理モジュールは、入力として録画されたビデオ・シーケンスをとり、生の再構成された３−Ｄ軌跡を得るために全ての画像処理タスクを実行する。データ分析モジュールは、入力として再構成された３−Ｄ軌跡及び録画されたタイムスタンプ・シーケンスをとり、軌跡平滑化、軌跡ノイズ除去、運動学的分析、及び統計分析のようなデータ処理タスクを実行する。
【００９９】
グラフィカル・ユーザ・インターフェース
【０１００】
この実施形態では、図１０及び図１１に示されるように、リアルタイム行動モニタリングのためのグラフィカル・ユーザ・インターフェース（ＧＵＩ）は３つのウインドウ、すなわち、実際のカメラによってキャプチャされるリアルタイム・ビデオ、ソフトウエア・セグメンテーション及び識別コンポーネントによって得られる、タギング指標を付けられた前景マーカ、並びにターゲットの再生された３−Ｄ水泳軌跡から構成される。本発明の３−Ｄ運動再構成コンポーネントを用いて、このウインドウ上で、対話形式で探索を実行することができる。好ましい一実施形態では、３−Ｄ運動再構成コンポーネントは、カメラ座標に従って、並進、回転及び拡大縮小を実行する。図２１は、齧歯類の夜間行動のためのオンライン・モニタリング過程のためのＧＵＩの一例を示しており、周囲照明源としてバックライトが用いられ、一方、齧歯類の体の上の特徴点が蛍光染料を付けられている。
【０１０１】
特に好ましい一実施形態では、本発明のソフトウエア・コンポーネントは、ＯｐｅｎＧＬグラフィカル・サポートを有するｗｉｎｄｏｗｓ ＸＰプラットフォーム内でプログラミングされるＶｉｓｕａｌ Ｃ＃．ＮＥＴ又はビジュアルＣ＋＋である。他のプラットフォームの例には、限定はしないが、ＭＡＣ、ＵＮＩＸ、ＬＩＮＵＸ等が含まれる。
【０１０２】
実施例
【０１０３】
以下の例は、実験動物の移動及び運動関連の行動をモニタ及び分析するための本発明の３−Ｄ行動モニタリング・システムの例示的な実施形態を説明する。それらの例は、例示のためだけに与えられており、その中のいずれも、本発明の全範囲を限定するものと解釈されるべきではない。
【０１０４】
例１：水にエタノールを加えることによって引き起こされるキンギョ（Carassius auratus）の３−Ｄ水泳移動の変化をモニタする
【０１０５】
種々の化合物への魚移動反応における変化が、本発明のシステム及び方法によってモニタ、定量化及び分析される。たとえば、そのような実験のうちの１つが、キンギョのアルコール中毒反応である。この例示的な行動モニタリング実験では、平均体長３５ｍｍ〜４０ｍｍであり、同一の生物学的条件を有するキンギョ（Carassius auratus）が、アルコール反応のために選別され、飼育された。その後、キンギョは、表３に示されるように、５つのグループに分けられた。試験されることになる魚は、数日間にわたって、同じ自然環境内に保持された。モニタリング過程の前に、それらのキンギョは、取り出され、指定されたアルコール濃度値を有する水槽内で１時間慣らされた。各モニタリング過程は１５分間続けられた。新たな環境によって引き起こされる任意の一時的な反応を除くために、行動の評価指標を得る目的で、最後の５分間の魚軌跡を分析した。本発明のモニタリング・システムが多数の魚を同時に追跡できることを実証するために、１回のモニタリングを実行する場合に同じ処理を受けた３匹までの魚が試験水槽に移された。他のパラメータ（たとえば、時間、温度等）は、実験過程全体を通じて変化しないように注意深く制御された。図１２及び図１３は、行われた実験から再構成された３−Ｄ軌跡のいくつかの例であり、グループ毎に１つのランダムに選択されたモニタリングを実行した。
【０１０６】
実験が終了すると、そのシステムによって運動学的分析が自動的に実行された。魚のモニタされた３−Ｄ移動軌跡に基づいて、時間及び周波数の両方の領域においてさらに特徴を抽出するために、種々の多変量時系列（ＭＴＳ）にわたって、そのような分析が実行された。図１７〜図１９は、その実験からランダムに選択されたいくつかの事例の場合の、これらの導出された時系列の例（水泳速力／速度、旋回速力／速度、及び軌跡中心からの距離／変位であり、魚の軌跡中心ＣＴは以下のように計算された。
【数１８】
【０１０７】
ただし、Ｍ（ｔ）は時間の関数としての魚の３−Ｄ位置であり、Ｔはモニタリング過程の時間の長さである）。図２０は、エタノール／水濃度に対する、それぞれ、軌跡中心からの３−Ｄ距離（ＤＦＣ）、３−Ｄ直線速力、及び３−Ｄ角速度の平均値の点推定及び９５％の信頼区画を示す。図２０には、最小二乗当てはめ応答曲線も示されており、それは、行動評価指標とエタノール濃度値との間の関係を示す。表４は、表３内の５つのグループの評価指標に関する、一元ＡＮＯＶＡ分析から計算されたＰ値を示す。さらに、図３４及び図３５は、それぞれ、平均ＤＦＣ及び３Ｄ直線速力に関するグループ毎の事後平均比較から計算されたＰ値を示す。
【０１０８】
図１９（Ａ）及び図１９（Ｂ）に示されるように、キンギョは、アルコール濃度が０から高められるときに、濃度が上がるほど広がった経路に沿って速く泳ぐ傾向があった。これらの傾向は、濃度が或る一定の値（この事例では、約１．３％）まで高められたときに、より顕著になった。この点よりも濃度が高くなると、水泳経路が小さなエリアに限定されていくのに応じて、キンギョの移動も再び遅くなり、最終的には、アルコール濃度が高すぎて生き残れなくなり、魚は動かなくなった（２％アルコール濃度で全ての魚が死亡した）。一方、図２０（Ｃ）は、アルコール濃度が０から高められたときに、それに応じて、キンギョの旋回率が低くなったことを示す。
【０１０９】
これらの観察された現象は、動物のアルコール反応に関する一般的な知識と一致する。図３３に示されるように、キンギョグループの間で、平均ＤＦＣ及び３Ｄ直線速力に著しい差が見られたが、平均３−Ｄ旋回率には著しい差は見られなかった。図３４及び図３５に示されるように、平均の事後試験からの結果は、平均ＤＦＣ及び３−Ｄ水泳速力の両方に関して；（ｉ）対照グループ、試験グループ１（エタノール／水濃度０．２５％）及び試験グループ２（エタノール／水濃度０．５％）の間に著しい差はなかった；（ｉｉ）試験グループ３（エタノール／水濃度１．０％）と試験グループ４（エタノール／水濃度１．５％）との間に著しい差はない；（ｉｉｉ）対照グループと、試験グループ１及び２と、試験グループ３及び４との間には著しい差があったことを示す。これらの結果は、実験魚のアルコール反応に関して公表されている結果において確認されているのと同じような傾向を示す。
【０１１０】
例２：マウス頭部の３−ｄ運動の変化をモニタすることによってエタノールによって引き起こされる中毒を評価する
【０１１１】
この例では、本発明の３−Ｄ行動モニタリング・システムが、エタノール注射によって引き起こされる中毒によって生じるマウス移動の詳細な差を定量的に特定するために適用される。関連する実験の焦点は、人による観察又は２−Ｄモニタリング・システムでは、まだ検出するのが難しい、完全に客観性がある行動変化の詳細を発見することであった。
【０１１２】
チャールズリバー研究所（Charles River Laboratory）から雌のＩＣＲマウス２１〜２５グラムを入手した。これらのマウスは行動実験の前に、少なくとも１週間にわたって、実験動物施設内に収容された。全てのマウスが標準的なマウスケージ内に収容され、随意に食物及び水を与えられた。それらのマウスは１２：１２時間の明暗サイクルを保持され、毎日午前９時に明かりをつけられた。
【０１１３】
遺伝的に同種のマウス及び算術的な評価スケールを用いる予備実験によって、行動実験のためのアルコール投与量は、０、０．１、０．２、０．５、１．０及び２．０ｇ／ｋｇに決定された。それに応じて、試験マウスは、６匹ずつの６つのグループに分けられた。実験の朝に、全てのマウスの左耳及び右耳に、それぞれ黄色及び青色の蛍光染料が塗られた。これらの蛍光染料は、モニタされることになる特徴点又はターゲットとしての役割を果たす。生理食塩水（０．９％ＮａＣｌ）の中に濃度０．２〜２ｇ／１０ｍｌを有するエタノール溶液が毎日新たに調合された。全てのマウスが体重を測定され、その後、選択された投与量に従ってエタノール溶液を注射された。その後、マウスは、行動モニタリング前に、１０分間、モニタリング・システム内の動物コンテナに入れられた。モニタリング室の内部は、蛍光染料を刺激するために、暗光によって照明された。モニタリング毎に、１０分間、ビデオ画像シーケンスが録画され、その後、コンピュータハードディスク上に格納された。録画されたビデオシーケンスは、特徴点の運動軌跡の３−Ｄ再構成及びデータ後処理のために後に検索された。各モニタリング過程が終了した後に、動物コンテナは清掃された。
【０１１４】
運動パラメータは、マウス頭部の再構成された３−Ｄ軌跡から計算される。マウス頭部の位置は、マウスの２つの耳の中間点と見なされた。統計的に分析されるパラメータは、運動速度、角速度、加速度、及び軌跡中心からの距離（ＤＦＣ）を含んだ。図２１は、マウス頭部の上下運動速度のグループ平均及び標準偏差を示す。図２２は、マウス頭部の軌跡中心からの３−Ｄ距離（ＤＦＣ）のグループ平均及び標準偏差を示す。試験マウスの立ち上がり行動を分析するために、マウス頭部が異なる高さにあるときの時間の平均持続時間が、グループ毎に計算された。以下の４つの高さ区分、すなわち１７ｍｍ未満、１７ｍｍ〜２５ｍｍ、２５ｍｍ〜４５ｍｍ及び４５ｍｍよりも上が指定され、最後の区分は、マウスの立ち上がり運動に対応する。各高さ区分の持続時間が、各投与量グループ間で比較される。図２３は、各グループのマウス頭部の高さの分布を示す。図２４は、種々のエタノール投与量がマウスの立ち上がり行動に及ぼす影響を示す。動物コンテナの後ろ半分において費やされる時間（隠れ傾向）も計算され、グループ間で比較される。探究傾向の指示として、動物コンテナの４つの角において費やされる時間も計算され、比較される。図２５は、マウスが動物コンテナの後ろ半分にいる時間パーセンテージのグループ平均及び標準偏差を示す。図２６は、マウスが動物コンテナの角にいる時間パーセンテージのグループ平均及び標準偏差を示す。
【０１１５】
これらの行動評価指標をグループ毎に比較するために、対象物（Subject）のｔ検定（test）が用いられる。表７は、マウス頭部の上下速度に関するグループ毎の平均を比較した結果を示しており、「＊」は、比較される２つのグループ間の関連する運動パラメータの著しい差を表す。表８は、マウス頭部の軌跡中心からの３−Ｄ距離に関するグループ毎の平均を比較した結果を示す。表９は、モニタリング過程中の立ち上がりの時間パーセンテージに関するグループ毎の平均を比較した結果を示す。
【０１１６】
図１５は、マウス頭部の再構成された３−Ｄ運動軌跡の例を示しており、（Ａ）及び（Ｄ）はエタノールを注射されていない対照マウスであり、（Ｂ）及び（Ｅ）は体重で正規化されたエタノール濃度０．２ｇ／ｋｇでエタノールを注射された後の試験マウスであり、（Ｃ）及び（Ｆ）は体重で正規化されたエタノール濃度２．０ｇ／ｋｇでエタノールを注射された後の試験マウスである。
【０１１７】
マウス頭部の運動パラメータに関する統計分析から、対照グループ（生理食塩水のみ）と比較されるとき、そして時には実験グループと比較されるときに、８つの基本運動パラメータ（３−Ｄ速度、３−Ｄ角速度、３−Ｄ加速度、ＤＦＣ、ＸＹ平面上の３−Ｄ速度の投影、ＸＹ平面上の３−Ｄ角速度の投影、Ｚ軸に沿った速度、ｚ軸に沿った角速度）が全て、著しい差（Ｐ＜０．０５又はＰ＜０．００１）をもたらした（たとえば、表７及び表８を参照）。
【０１１８】
４つの高さ区分の高さ分布は、２．０ｇ／ｋｇグループの場合に特に著しい差を示した（表９を参照）。
【０１１９】
保持枠の後ろ半分において費やされる時間は、何ら差を示さなかった（図２５を参照）。
【０１２０】
４つの角において費やされる時間は、グループのうちのいくつかの間で著しく異なった（図２６を参照）。
【０１２１】
その３−Ｄ行動モニタリング・システムは、エタノールに引き起こされる毒性にさらされる運動関連の行動の小さな変化を区別するための効率的な手段であることが証明された。これらの差は目では検出できなかったが、それらは投与量に依存し、再現可能である。その研究では、試験グループ内に６匹の試験動物しか含まれないが、既に数多くのペア比較において、統計的有意性が検出されている。各グループ内にさらに多くの試験動物がいる場合でも、同じ処理を用いることによって、任意の化学薬品への反応に関して、全てのタイプのマウスを試験することができ、正確な結果をもたらすことができる。
【図面の簡単な説明】
【０１２２】
【図１】一例として魚の水泳行動のモニタリングが用いられる、本発明の１つの例示的な３−Ｄ動物行動モニタリング・システムの概略図である。
【図２】マウス又はラットの移動活動、ホーム・ケージ活動及び歩行路をモニタするために適用することができる、本発明の３−Ｄ動物行動モニタリング・システムの１つの例示的な実施形態の概略図である。
【図３】可視インジケータとして多数の着色端を有する較正パターンを用いる、本発明のステレオシステムを較正するための、本発明の１つの例示的なハードウエア・ベース較正デバイス・コンポーネントを示す図である。
【図４】実際のカメラに関連付けられる視認エリア内にある、高輝度発光ダイオード（ＬＥＤ）の形をとる多数の可視インジケータを用いる自動較正パターンの画像を示す図である。
【図５】空の水槽の収集されたステレオ画像を示す図であり、３つの領域が実際のカメラ及びバーチャル・カメラの視認エリアに対応し、バウンディング・ボックス内に表示される。
【図６】対応する可視インジケータ・セットの画像と、鏡面の得られた垂線から計算される、鏡位置のための計算方法を示す図である。
【図７】ｅｉｊがカメラｉ及びｊによって形成されるエピポールを表し、Ｍｉが視野ｉ内の可視インジケータの対応する画像を表す、図１に示されるような、実際のカメラ０並びに２台のバーチャル・カメラ１及び２によって形成される本発明のエピポーラ構造を例示する図である。
【図８】レイトレーシング法を用いることによる前方屈折及び後方屈折過程を示す図であり、この過程は、水中動物をモニタする際に、拡張システムの較正、対応検出及び３−Ｄ再構成において適用される。
【図９】水中動物の３−Ｄ水泳軌跡をモニタするためのリアルタイム且つオンラインの処理の流れ図である。
【図１０】本発明の対応するソフトウエア・コンポーネントを適用することによって、試験魚が識別され、タギングされ、そして追跡される画像フレームを示す図であり、左上が元のフレームであり、右上が試験魚にタグが割り当てられている処理済のフレームであり、下が試験魚の再構成された３−Ｄ運動軌跡である。
【図１１】本発明の対応するソフトウエア・コンポーネントによって、試験マウスの２つの特徴点が識別され、タギングされ、そして追跡される画像フレームを示す図であり、左上が元のフレームであり、右上が試験マウス上にある特徴点にタグが割り当てられている処理済のフレームであり、下が試験マウス上にある特徴点の再構成された３−Ｄ運動軌跡である。
【図１２】アルコール中毒試験における３匹のキンギョの再構成された３−Ｄ水泳軌跡の例を示す図であり、モニタリング時間が５分であり、（Ａ）がエタノールを加えられない対照グループであり、（Ｂ）がエタノール／水容積濃度０．２５％を加えられた試験グループであり、（Ｃ）がエタノール／水容積濃度０．５％を加えられた試験グループであり、（Ｄ）がエタノール／水容積濃度１．０％を加えられた試験グループであり、（Ｅ）エタノール／水容積濃度１．５％を加えられた試験グループである。
【図１３】アルコール中毒試験における３匹のキンギョの再構成された３−Ｄ水泳軌跡の別の例を示す図であり、モニタリング時間が５分であり、（Ａ）がエタノールを加えられない対照グループであり、（Ｂ）がエタノール／水容積濃度０．２５％を加えられた試験グループであり、（Ｃ）がエタノール／水容積濃度０．５％を加えられた試験グループであり、（Ｄ）がエタノール／水容積濃度１．０％を加えられた試験グループであり、（Ｅ）エタノール／水容積濃度１．５％を加えられた試験グループである。
【図１４】アルコール中毒試験における１匹のゼブラフィッシュの再構成された３−Ｄ水泳軌跡の例を示す図であり、モニタリング時間が１５分であり、（Ａ）が水にエタノールを加えられない対照であり、（Ｂ）がエタノール／水容積濃度０．２５％を加えられた試験ゼブラフィッシュであり、（Ｃ）がエタノール／水容積濃度０．５％を加えられた試験ゼブラフィッシュである。
【図１５】腹部エタノール注射後のマウス頭部の再構成された３−Ｄ運動軌跡の例を示す図であり、モニタリング時間が１０分であり、（Ａ）及び（Ｄ）がエタノールを注射されていない対照マウスであり、（Ｂ）及び（Ｅ）が体重で正規化されたエタノール濃度０．２ｇ／ｋｇのエタノールを注射された後の試験マウスであり、（Ｃ）及び（Ｆ）が体重で正規化されたエタノール濃度２．０ｇ／ｋｇのエタノールを注射された後の試験マウスである。
【図１６】腹部カフェイン注射後のマウス頭部の再構成された３−Ｄ軌跡の例を示す図であり、モニタリング時間が１０分であり、（１．Ａ）及び（２．Ａ）がカフェインを注射されていない対照マウスであり、（１．Ｂ）及び（２．Ｂ）が体重で正規化されたカフェイン濃度６．２５ｇ／ｋｇのカフェインを注射された後の試験マウスであり、（１．Ｃ）及び（２．Ｃ）が体重で正規化されたカフェイン濃度１２．５ｇ／ｋｇのカフェインを注射された後の試験マウスであり、（１．Ｄ）及び（２．Ｄ）が体重で正規化されたカフェイン濃度２５ｇ／ｋｇのカフェインを注射された後の試験マウスであり、（１．Ｅ）及び（２．Ｅ）が体重で正規化されたカフェイン濃度１００ｇ／ｋｇのカフェインを注射された後の試験マウスである。
【図１７】アルコール中毒試験におけるキンギョの水泳速力及び水泳速度のサンプル時系列を示す図であり、（Ａ）が３−Ｄ空間内の水泳速力を示し、（Ｂ）がＸ方向における水泳速度を示し（Ｘ方向は図１１に示される）、（Ｃ）がＹ方向における水泳速度を示し（Ｙ方向は図１１に示される）、（Ｄ）がＺ方向における水泳速度を示し（Ｚ方向は図１１に示される）、（１）が対照魚であり、（２）がエタノール／水容積濃度０．２５％を加えられた試験魚であり、（３）がエタノール／水容積濃度０．５％を加えられた試験魚であり、（４）がエタノール／水容積濃度１．０％を加えられた試験魚であり、（５）がエタノール／水容積濃度１．５％を加えられた試験魚である。
【図１８】アルコール中毒試験におけるキンギョの旋回速力及び旋回速度のサンプル時系列を示す図であり、（Ａ）が３−Ｄ空間内の旋回速力を示し、（Ｂ）がＸ軸を中心にした旋回速度を示し（Ｘ軸は図１１に示される）、（Ｃ）がＹ軸を中心にした旋回速度を示し（Ｙ軸は図１１に示される）、（Ｄ）がＺ軸を中心にした旋回速度を示し（Ｚ軸は図１１に示される）、（１）が対照魚であり、（２）がエタノール／水容積濃度０．２５％を加えられた試験魚であり、（３）がエタノール／水容積濃度０．５％を加えられた試験魚であり、（４）がエタノール／水容積濃度１．０％を加えられた試験魚であり、（５）がエタノール／水容積濃度１．５％を加えられた試験魚である。
【図１９】アルコール中毒試験におけるキンギョの軌跡中心からの距離及び変位のサンプル時系列を示す図であり、（Ａ）が３−Ｄ空間内の軌跡中心からの距離を示し、（Ｂ）がＸ方向における軌跡中心からの変位を示し（Ｘ方向は図１１に示される）、（Ｃ）がＹ方向における軌跡中心からの変位を示し（Ｙ方向は図１１に示される）、（Ｄ）がＺ方向における軌跡中心からの変位を示し（Ｚ方向は図１１に示される）、（１）が対照魚であり、（２）がエタノール／水容積濃度０．２５％を加えられた試験魚であり、（３）がエタノール／水容積濃度０．５％を加えられた試験魚であり、（４）がエタノール／水容積濃度１．０％を加えられた試験魚であり、（５）がエタノール／水容積濃度１．５％を加えられた試験魚である。
【図２０】アルコール中毒試験におけるキンギョの行動反応曲線のサンプルを示す図であり、（Ａ）が軌跡中心からの平均距離対エタノール濃度の推定値、信頼区間及び反応曲線を示し、（Ｂ）が平均３−Ｄ直線速力対エタノール濃度の推定値、信頼区間及び反応曲線を示し、（Ｃ）が平均３−Ｄ角速度対エタノール濃度の推定値、信頼区間及び反応曲線を示す。
【図２１】例２（エタノールによって引き起こされるマウスの行動変化）の実験から得られる、マウス頭部の上下運動速度のグループ平均及び標準偏差を示す図である。
【図２２】例２（エタノールによって引き起こされるマウスの行動変化）の実験から得られる、マウス頭部の軌跡中心からの３−Ｄ距離（ＤＦＣ）のグループ平均及び標準偏差を示す図である。
【図２３】例２（エタノールによって引き起こされるマウスの行動変化）の実験から得られる、マウスが種々の投与量でエタノール溶液を注射されるときのマウス頭部の高さのグループ毎の分布を示す図である。
【図２４】例２（エタノールによって引き起こされるマウスの行動変化）の実験から得られる、エタノール注射がマウスの立ち上がり行動に及ぼす影響を示す図である。
【図２５】マウスが動物コンテナの後ろ半分にいる時間パーセンテージのグループ平均及び標準偏差を示す図であり、これは、例２（エタノールによって引き起こされるマウスの行動変化）の実験から得られる。
【図２６】マウスが動物コンテナの角にいる時間パーセンテージのグループ平均及び標準偏差を示す図であり、これは、例２（エタノールによって引き起こされるマウスの行動変化）の実験から得られる。
【図２７】齧歯類の夜間行動のためのオンライン及びリアルタイムのモニタリング過程のための本発明の１つの例示的なグラフィカル・ユーザ・インターフェース（ＧＵＩ）を示す図であり、周囲照明源としてバックライトが使用され、一方、齧歯類の耳の上にある特徴点が蛍光染料を塗布される。
【図２８】内部ハードウエア部品の構成を示すために、フレームから外側カバーが外されている、本発明の３−Ｄ行動モニタリング・システムの１つの例示的なハードウエア・アセンブリを示す図である。
【図２９】ｄ、ｖ、ａがそれぞれ直線変位、直線速度及び直線加速度を表し、φ、ω及びαがそれぞれ角変位、角速度及び角加速度を表す、２−Ｄ及び３−Ｄのビデオ・システムによってモニタされる運動軌跡から抽出することができる例示的な基本的な運動学的属性の表であり、２−Ｄシステムでは、座標系を、設定されたカメラ軸Ｚでカメラ像平面においてのみ自由に変換することができるが、３−Ｄシステムでは座標変換に制限がない。
【図３０】行動評価指標を得るためにさらに統計的に分析するために用いられる、時間領域及び周波数領域の両方における例示的な運動パラメータの表であり、これらの系列は、データ後処理コンポーネントによって、再構成された３−Ｄ運動軌跡から自動的に導出され、この表では、｛Ｘ，Ｙ，Ｚ｝が、種々の要件に応じて張り付けられるか又は変形することができる３−Ｄ空間内の任意のデカルト座標を表す。
【図３１】水にエタノールを加えることによって引き起こされるキンギョの３−Ｄ水泳移動の変化がモニタ及び分析される、例１（キンギョへのアルコール中毒試験）のグループ分けの表である。
【図３２】「＊」が比較されるグループ間の関連する運動パラメータの著しい差分を表す、例１のキンギョへのアルコール中毒試験における、中心からの平均距離、３−Ｄ水泳速力、及び３−Ｄ旋回速度の一元分散分析（ＡＮＯＶＡ）の結果を示す表である。
【図３３】「＊」が比較されるグループ間の関連する運動パラメータの著しい差を表す、例１のキンギョへのアルコール中毒試験における、中心からの平均距離の事後平均比較からの結果を示す表である。
【図３４】「＊」が比較されるグループ間の関連する運動パラメータの著しい差を表す、例１のキンギョへのアルコール中毒試験における、平均３−Ｄの事後平均比較からの結果の表である。
【図３５】「＊」が比較される２つのグループ間の著しい差を表す、例２（エタノールによって引き起こされるマウスの行動変化）からのマウス頭部の上下速度のグループ毎の平均比較の結果の表である。
【図３６】「＊」が比較される２つのグループ間の著しい差を表す、例２（エタノールによって引き起こされるマウスの行動変化）からのマウス頭部の軌跡中心からの３−Ｄ距離のグループ毎の平均比較の結果の表である。
【図３７】「＊」が比較される２つのグループ間の著しい差を表す、例２（エタノールによって引き起こされるマウスの行動変化）からのモニタリング過程中の立ち上がりの時間パーセンテージのグループ毎の平均比較の結果の表である。
【技術分野】
【０００１】
［著作権表示］
本特許明細書の一部は、著作権保護を受ける資料を含む。著作権所有者は、特許商標局の特許ファイル又は記録において見られるように、特許明細書若しくは特許開示を誰が複製しても異存はないが、それ以外の場合には、いかなる場合も全ての著作権を保有する。
【０００２】
包括的には、本発明は、脊椎動物（たとえば、ゼブラフィッシュ、すなわちDanio rerio、キンギョ、すなわちCarassius auratus）、齧歯類動物（たとえば、マウス及びラット）及び昆虫（たとえば、ショウジョウバエ）のようなターゲットの行動表現型のモニタリング及び分析に関する。より具体的には、本発明の一態様は、リアルタイムかつオンライン・モード、又はオフライン・モードのいずれかにおいて、個々の動物、又は動物のグループ（群れ）の場合に、特定の行動パラダイム実験下で、移動活動、運動活動、ホーム・ケージ行動、攻撃性、対捕食行動（antipredatory）、集団選好、光選好パラダイム（light preference paradigms）等の実験動物の３Ｄの運動関連行動の自動のモニタリング及び分析を対象とする。実験動物として、ノックイン、ノックアウト若しくは形質転換操作後の遺伝子組換え動物、又は薬物、化学物質又は特定の環境に晒された後の実験動物を用いることができる。
【背景技術】
【０００３】
野生型動物、遺伝子組換え（形質転換、ノックイン、又はノックアウト）動物、薬物処置動物、及び化学的な変異誘発操作後の動物のような実験動物（Experimental laboratory animal）が、数例を挙げると、ゲノム研究、遺伝的機能障害の研究、表現型薬物スクリーニング、毒性学、バイオセンシング、及び生体防御を含む、種々の生物学的、臨床的、生物医学的、環境的及び軍事的な研究分野におけるヒトモデルとして広く用いられてきた。これは、ヒトと動物とが広い遺伝的及び神経解剖学的相同性を共有し、それらの相同性が様々な種の間で広く保存されることに起因する。動物モデルの行動研究は、既知の遺伝子型を特定すること、種々の神経障害によって引き起こされる行動反応を定量化すること、並びに薬物候補の毒性及び有効性を解明することを目指しているポストゲノム研究の分野において特に有用である。
【０００４】
運動機能の欠乏は、遺伝子突然変異によって、又は化合物の影響によって引き起こされることがある。運動関連の動物行動の研究は、種々の遺伝子型が、ハンチントン病及びパーキンソン病のような種々の運動関連の機能障害の発生に及ぼす影響と、薬物又は任意の化合物がヒトに及ぼす影響とを理解する上で有用である。これらの目的を果たすために用いられる典型的な動物モデルは、マウス及びラットのような齧歯類動物、ゼブラフィッシュ及びキンギョのような脊椎動物、並びにショウジョウバエのような昆虫を含む。これらのモデルを用いて、種々の標準化された動物行動試験が設計されている。たとえば、齧歯類動物の場合の行動試験は、オープン・フィールド、ホーム・ケージ、水迷路、及び社会的行動パラダイムから構成され、一方、脊椎動物の場合の行動試験は、水泳移動活動、対捕食行動及び集団選好パラダイムから構成される。これらの試験について、表現型行動を記述する重要なパラメータが規定されている。たとえば、ゼブラフィッシュの水泳移動行動は、移動距離、水泳速力（speed）、旋回角、平均方向転換率（ＲＣＤＩ）、正味変位対全変位比（net to gross displacement ratio）（ＮＧＤＲ）、実体波形状（body wave shape）、尾のうなり振幅及びうなり周波数（tail beat amplitude and frequency）等によって分類および分析することができる。
【０００５】
様々な種の実験動物のための全ての標準化された行動試験の中でも、運動情報及び自発活動情報は、表現型スクリーニングにとって非常に重要である。そのような情報は、オープン・フィールド（移動活動試験の場合）及びホーム・ケージ・パラダイムから入手することができる。
【０００６】
実験動物の運動パターンのモニタリングは、従来、人が観察することによって、及び／又は予め録画されたビデオテープを用いてオフラインにおいて手作業で数えることによって果たされてきたが、結果として、データ及び観察結果が不正確で、不十分で、且つ主観的になることが避けられなかった。さらに、人が観察する方法は、定量的なデータが不足すること、観察結果が人によって大きくことなること、大きな労力を要すること、コストがかかること、及び人の目の奥行方向に沿った情報が失われること等の大きな欠点を抱える。最近になって、研究者たちは、ほんの数例を挙げると、フォトビーム・ケージ、フォース・アクトプレート（force actoplate）、及び２−Ｄビデオ録画とオフライン・ビデオシーケンス分析との組み合わせを含む、動物の移動／運動行動を自動的にモニタするための種々のコンピュータ化された装置及び方法を開発している。たとえば、S. Kato他著「A computer image processing system for quantification of zebrafish behavior」（Journal of Neuroscience Methods, 134(2004), 1-7）及びJ. Chraskova他著「An automatic 3-D tracking system with a PC and single TV camera」（Journal of Neuroscience Methods, 88(1999), 195-200）を参照されたい。これらの方法の中でも、ビデオ録画方法が、非接触で構成できること、サンプリング周波数が高いこと、空間解像度が高いこと、モニタリング時間を長くできること、体の特定の部分の運動を追跡できること、及び様々な種の運動を追跡する際の多用途性等、他の方法よりも優れた特有の利点を有する。それゆえ、動物行動のモニタリング及び分析の分野では、２−Ｄのビデオ録画及び分析の方法が、他の方法よりも広く用いられている。
【０００７】
しかしながら、既存の２−Ｄのビデオ・モニタリング及び分析のシステムに関して、依然として大きな欠点がある。たとえば、既存のビデオモニタリング・システムは典型的には、ただ１台のビデオカメラを用いて動物の平面的な運動を、すなわちカメラが運動領域の上から視認する場合には水平面の運動を記述する運動学的パラメータを収集する。既存の２−Ｄビデオシステムのカメラは一般的には、動物コンテナを単一の方向から見て撮影するので、カメラの像平面によって画定される平面に対して垂直なカメラ軸のような、他の空間軸に沿った情報は失われる。結果として、既存の２−Ｄビデオシステム（たとえば、S. Kato他、Journal of Neuroscience Methods, 134(2004), 1-7によって記述されるシステム）は一般的には、試験される動物の上方又は下方への運動、たとえば、マウスの立ち上がり運動、及びゼブラフィッシュの上下の水泳運動を検出することはできない。なぜなら、そのカメラは通常、マウスケージ又は水槽の上から撮影するためである。さらに、既存のビデオ追跡システムでは、同じコンテナ内にいる多数の動き回る動物をモニタする能力が限られており、追跡されている動物が他の動物によって遮断される場合、又は対象となることがある動物の体の一部が動物の体そのものによって遮断される場合には、その動物に関連付けられる運動情報が失われる。たとえば、カメラがその活動領域の上から撮影する場合には、２−Ｄビデオ追跡システムでは、マウス又はラットの歩行路に近づけないことがある。さらに、既存のビデオモニタリング・システムは一般的には、物理的な誤差又は環境のいくらかの変化を補正しない。たとえば、それらのシステムは、魚の水泳運動をモニタする際に補正されるべきである、水の屈折及び反射に関連付けられる測定誤差に対して何も対処しない。
【０００８】
概して、過去数年の間に、実験動物の種々の行動試験において利用することができる、自動的な表現型行動モニタリング・システムに対する需要が高まっている。フォトビームケージ、フォースプレートアクトメータ及びアナログ／デジタル・ビデオモニタリング・システムを含む、自動システムのいくつかの例が、これらの要求に応じて開発されてきた。たとえば、先に引用された文献を参照されたい。これらの自動モニタリング・システムの適用は、精度が低いこと、労力がかかること、及び結果としてデータに誤差が生じること等の、人が観察する従来の方法に関連する主観の問題の大部分を解決することに成功している。これらのシステム及び方法の中でも、カメラの空間解像度が高く、様々な動物の種及び環境に合わせて構成できるという理由から、モーションセンサのようなビデオカメラを使用することによって、最も強力なモニタリング能力が提供されてきた。しかしながら、多くの既存のビデオシステムは実質的には２−Ｄであり、２つの並進軸及び１つの回転軸、すなわち平面的な運動を規定する３つの自由度（ＤＯＦ）に沿った運動情報しかモニタすることができない。結果として、これらの従来の２−Ｄビデオ追跡システムを用いるとき、動物運動パラメータの収集された時刻歴は不完全である。それゆえ、実験動物の運動関連の行動を３−Ｄ空間において正確にモニタすることができる、より高度なビデオシステムが要求されている。
【０００９】
２台以上のカメラを用いて画像をキャプチャするリアルタイム３−Ｄシステムが記述されている。さらに、１台のカメラと、２つ以上の鏡面との組み合わせから成り、結果として従来にはないステレオ・ペアを形成する３−Ｄシステムが記述されている。Gluckman及びNayar著「A Real-Time Catadioptric Stereo System Using Planar Mirrors」（IUW, 1998）、Lin, J. Yeh, M, Ouhyoung著「Extracting 3-D facial animation parameters from multiview video clips」（IEEE CGA, 22(6), 2002, 72-80）及びJ. Chraskova他著「An automatic 3-D tracking system with a PC and a single TV camera」（Journal of Neuroscience Methods, 88(1999), 195-200）を参照されたい。Nayar、Lin及びChraskovaによって記述されるシステムは、単一のステレオ画像のキャプチャに関連する。しかしながら、それらのシステムでは、システムを較正すること、測定誤差と多数の媒質によって引き起こされるシステム・ノイズとに対処すること、エイリアシングを生じることなく一匹又は多数の動物の運動を確実に追跡すること、及び視覚的に区別することができるタグを取り付けることなく多数の動物を同時に追跡すること等の、動物の運動の３−Ｄビデオ追跡の体系的な実施態様は十分には取り扱われない。たとえば、Chraskovaによって記述される３−Ｄ動物追跡システムでは、反射鏡が用いられるが、その鏡は、おおよその向き及び位置に設定されるだけであり、その正確な幾何学的パラメータを得るためにさらに較正されることはない。魚の水泳行動を追跡するためのそれらのシステムの実施態様では、水の屈折によってステレオの幾何学的構造に引き起こされる歪みのようなモニタリング誤差は補正されない。さらに、Chraskovaによって記述されるシステムでは、追跡される全ての動物が発光ダイオード（ＬＥＤ）マーカを取り付けられなければならないが、多数の動物を同時にモニタする応用形態では、多数のＬＥＤマーカが別々のフレームで作動されなければならない（時間分割方式）。これらの要件によって、行動実験を実施する上での技術的な課題が大きくなるだけでなく、行動をモニタした結果の不確実性が著しく大きくなる。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
したがって、一匹又は複数の試験動物の運動行動の３−Ｄでモニタ及び分析のための改善されたシステム及び方法が必要とされている。
【課題を解決するための手段】
【００１１】
本発明は、試験対象物の運動関連の行動を３−Ｄでモニタ及び分析するためのシステムに関する。そのシステムは、１台の実際のカメラと、少なくとも１台のバーチャル・カメラと、コンピュータとを備える。コンピュータは好ましくは、実際のカメラに接続され、ソフトウエアパッケージをインストールされる。当該ソフトウエア・パッケージは、試験対象物の３−Ｄ運動関連の行動に関連付けられるステレオ画像をキャプチャすることができ、さらに、試験対象物の３−Ｄ運動パラメータを得るために、収集された画像フレームを処理することができる。本発明のシステムは、ハードウエア・コンポーネント及びソフトウエア・コンポーネントを含む。ハードウエア・コンポーネントは、ハードウエアのセットアップ・コンポーネント又は構成コンポーネントと、ハードウエア・ベース・ノイズ除去コンポーネントと、自動較正デバイス・コンポーネントと、実験動物コンテナ・コンポーネントとを含むことが好ましい。ソフトウエア・コンポーネントは、ソフトウエア・ベース・ノイズ除去コンポーネントと、基本較正コンポーネントと、拡張較正コンポーネントと、直線エピポーラ構造導出コンポーネントと、非直線エピポーラ構造導出コンポーネントと、画像セグメンテーション・コンポーネントと、画像対応検出コンポーネントと、３−Ｄ運動追跡コンポーネントと、ソフトウエア・ベース・ターゲット識別及びタギング・コンポーネントと、３−Ｄ再構成コンポーネントと、データ後処理コンポーネントとを含むことが好ましい。
【００１２】
特に好ましい一実施の形態では、実際のカメラはデジタル・ビデオカメラであり、バーチャル・カメラは、平面的な反射鏡において実際のカメラを反射したものである。それゆえ、そのシステムは反射屈折ステレオ・コンピュータ・ビジョン・システムである。
【発明を実施するための最良の形態】
【００１３】
本発明のシステム及び方法は、３−Ｄ空間内の対象となる１つ又は複数のターゲット（本明細書において「ターゲット」と呼ばれるものは、任意の試験対象物、たとえば、対象となる実験動物又は対象となる実験動物の体の上にある特徴点である）の運動を自動的にモニタし、６ＤＯＦにおいて重要な運動パラメータの対応する定量的な分析を提供することができる。本発明のステレオモニタリング・システムを用いることによって、従来の２−Ｄビデオ追跡システムの３つのＤＯＦしかない２−Ｄ空間の代わりに、少なくとも６つのＤＯＦを含む拡張された３−Ｄ空間において、ターゲットの運動が追跡され、分析される。好ましい一実施形態では、本発明のシステムは１台の実際のカメラと、少なくとも１台のバーチャル・カメラとを備える。カメラのうちの任意の２台の間にステレオ・ペアを形成することができ、そのシステムは、１つ又は複数のステレオ・ペアを含むことができる。実際のカメラは、限定はしないが、デジタル・ビデオカメラ、又はフレーム・グラバー・デジタイザを有するアナログビデオカメラを含む。バーチャル・カメラは、限定はしないが、反射平面鏡において実際のカメラを反射したものと、同期したカメラとを含み、同期したカメラは、ソフトウエア又はカスタマイズされたハードウエアによって実際のカメラと同期しているリアル・カメラである。好ましい一実施形態では、バーチャル・カメラは、実際のカメラを平面鏡の中に反射することによって形成される。平面鏡を使用することによって、同期させる必要がなくなり、システムコストが下がるという利点が提供される。さらに、バーチャル・カメラとして平面鏡を用いることによって、鏡の反射特性に起因して、空間を節約することができる。システムのバーチャル・カメラが、実際のカメラを平面鏡の中に反射することによって形成されるとき、そのシステムは、反射屈折ステレオシステムになる。
【００１４】
バーチャル・カメラとしてリアル・カメラを用いる場合、実際のカメラ及びバーチャル・カメラを同期させるために、さらなる手法が必要とされる。そのように同期させることによって、ステレオ・ペアを形成する多数のカメラが確実に、同じターゲットの画像を同時に捕らえるようにする。それらのカメラは、フレーム毎に２つ以上の画像を出力することができる。この場合、より多くのピクセルがターゲットの画像に効果的に充てられることがあり、ターゲットをさらに鮮明に視認することができる。ターゲットの３−Ｄ位置を再構成するために、多数の画像が処理されなければならないので、計算時間が長くなり、メモリコストが増加することがある。
【００１５】
一実施形態では、本発明のシステムは、多数のカメラ（多数のリアル・カメラ及び／又は多数のバーチャル・カメラを含む）を含むことがあり、それらのカメラは、モニタされるターゲットの２つ以上の線形独立の視野を形成することができる（すなわち、それらのカメラはそれぞれ、他の視野内には存在しないことがある情報を含む）。それらのカメラは、空間全体にわたって分布し、多数の動物の３−Ｄ活動を網羅することが好ましい。
【００１６】
好ましい実施形態の実施態様では、バーチャル・カメラは、実際のカメラを鏡の中に反射することによって得られる。この実施形態では、実際のカメラの全ての外部パラメータが、対応するバーチャル・カメラの外部パラメータとして反映され、一方、対応するバーチャル・カメラの内部パラメータは、実際のカメラと同じままである。反射屈折ステレオカメラを使用することは、基本的には、単一のリアル・カメラ又は多数のリアル・カメラによって同時にターゲットの画像及びその鏡像をキャプチャすることと同じである。しかしながら、前者の方法の方が、有効なステレオシステムとして実現されるほど体系立っており、モジュール構成で編成するために分解するのが容易である。
【００１７】
実際のカメラ及びバーチャル・カメラは閉ざされた空間内に置かれ、線形独立方向において、対象となるターゲットを凝視するように構成される。特別に構成されたハードウエア・コンポーネントを用いて、ノイズを最小限に抑えながら、モニタリング過程中のカメラによって一貫した画像フレームが確実に収集されるようにする。そのようなハードウエア・コンポーネントは、ハードウエア部品の幾何学的構成（これはどこかで定義されるか？）、ハードウエア・ベース・ノイズ除去コンポーネント、自動較正デバイス・コンポーネント、及び実験動物コンテナ・コンポーネントを含み、それらは後にさらに説明する。
【００１８】
実際のカメラは、内蔵の画像収集カードを通じて、コンピュータ（たとえば、パーソナルコンピュータ、「ＰＣ」）に接続されることが好ましい。コンピュータには、行動をモニタ及び分析する目的を果たすために、自社開発されたソフトウエアパッケージがインストールされる。そのソフトウエア・パッケージは、ソフトウエア・ベース・ノイズ除去コンポーネント、ソフトウエア・ベース較正コンポーネント、同期コンポーネント、エピポーラ導出コンポーネント、画像セグメンテーション・コンポーネント、画像対応検出コンポーネント、３−Ｄ運動追跡コンポーネント、ソフトウエア・ベースのターゲットの識別及びタギングのコンポーネント、３−Ｄ再構成コンポーネント、及びデータ後処理コンポーネントを含むことが好ましく、それらについては後にさらに説明する。これらのソフトウエア・コンポーネントは、適応的な背景生成、画像セグメンテーション、前景画像クラスタリング、前景画像対応検出、ターゲットの識別及びタギング、３−Ｄ運動追跡、３−Ｄ位置再構成、スマートターゲット再タギング、自動測定誤差補正、軌跡を基にする運動学的分析、及びターゲットの３−Ｄ運動を記述する運動学的パラメータの統計分析のような機能を果たすことができる。特に好ましい一実施形態では、ソフトウエアは対応するアルゴリズムを含み、当該対応するアルゴリズムは、ビデオ画像を分析し、リアルタイムに及び／又は格納された画像シーケンスからオフライン・モードにおいて、ターゲットの３−Ｄ運動パラメータを計算することができる。
【００１９】
そのシステムは、３−Ｄ運動履歴に関して、ターゲットの行動をモニタ及び分析できるように構成することができ、それは、遺伝子組換え実験動物、疾病を患い、結果として運動機能が低下した実験動物、及び／又は高スループット薬物スクリーニングの実験動物の表現型行動を研究するのに有用である。さらに、そのシステムは、動物心理学研究、生理学研究、神経学研究、及び／又は動いている物体の３−Ｄ形状の３−Ｄ形状再構成又は３−Ｄ形状モーフィングのような、種々の応用形態に適合するように同じように構成することができる。
【００２０】
そのシステムの使用者は、後処理のために新たなモニタリング記録を作成することができ、当該モニタリング記録は、対象となるターゲットの３−Ｄ軌跡を含む。使用者は、ターゲットの記録された運動履歴を遡って３−Ｄ表示を生成することによってデータを分析することができるか、又はテキスト形式でデータを分析することができる。１つ又は複数の運動パラメータに関連付けられる具体的な特徴を、他の運動データとは独立して抽出し、分析することができる。データの分類及び統計的試験は、ＡＮＯＶＡ（分散分析を表す）及びＭＡＮＯＶＡ（多変量分散分析を表す）のような、よく知られている技法で果たすことができる。
【００２１】
システムセットアップ
【００２２】
図１及び図２２に示される好ましい一実施形態では、そのシステムは、オープン・フィールド又はホーム・ケージ／水槽のいずれかとしての役割を果たす、実験動物のようなターゲットを収容する動物コンテナ（水槽又はケージ）と；周辺光、ＵＶ光及び／又はバックライトを含む適当な照明源が固定される環境ノイズ・シールドとして振る舞う外枠と；実際のカメラとしての役割を果たす、水槽の１つの透明な面を撮影する１台のデジタル・ビデオカメラと；実験動物の画像を実際のカメラによって視認することができる、１つ又はいくつかの反射平面鏡とを備える。実際のカメラを各鏡の中に反射することによって、バーチャル・カメラが形成される。実際のカメラ及びバーチャル・カメラは、互いの軸とは異なる方向を凝視する。実際のカメラは、対象となる空間のビデオ画像をリアルタイムにキャプチャする。そのビデオ画像は記憶媒体に格納することができるか、又は対象となるターゲットの３−Ｄ運動軌跡を計算するために用いられ、その後、破棄することができる。運動軌跡をリアルタイムに計算することは、いくつかの利点を有する。第一に、画像シーケンスがコンピュータハードディスクに保存される必要がないので、サンプリング周波数を高めることができ、第二に、ディスク空間を節約することができ、それにより、長期にモニタリングできるようになる。
【００２３】
先に言及されたように、好ましい実施形態では、実際のカメラとしてデジタル・ビデオカメラが用いられるが、実際のカメラの他の例には、限定はしないが、フレーム・グラバー／デジタイザを有するアナログビデオカメラと、それらの組み合わせとが含まれる。好ましいシステムは、少なくとも１台の実際のカメラに加えて、少なくとも１台のバーチャル・カメラも備える。図１は、反射平面鏡及び実際のカメラによって形成される２台のバーチャル・カメラを有する好ましい一実施形態を示す。バーチャル・カメラの他の例は、同期したカメラ（それは、同期しており、且つ較正することもできるリアル・カメラである）、ネットワーク化されたカメラ、又は反射性の曲面を含む。ただし、この実施形態におけるハードウエア・ベース較正コンポーネント及びソフトウエア・ベース較正コンポーネントは、他のバーチャル・カメラオプションに合うように変更される必要がある。
【００２４】
実際のカメラの像平面上に投影される画像は、図５に示されるように、動物コンテナ（マウスケージ又は水槽等）を画定するエリア、及び鏡の中の動物コンテナの画像を画定するエリアを含む多数のエリアから構成することができる。これは、実際のカメラ及びバーチャル・カメラによってターゲットの画像を収集することと同じである。この構成のおかげで、動いているターゲットの多数の画像を、種々の３−Ｄの観察位置から同時に撮影することができ、それらの画像が、ターゲットの空間位置を再構成するために用いることができるステレオ対応セットを形成する。適当な視野（ＦＯＶ）と、最良の画質とを達成するために、鏡に対して並進機構及び回転機構を用いて、それらの鏡が空間内を自由に並進及び／又は回転できるようにすることができる。本発明のバーチャル・カメラは、実際のカメラ、バーチャル・カメラ、及びそれらの組み合わせを含む任意のカメラペア間を同期させるのに特に有用である。ターゲットそのものの画像、及びバーチャル・カメラにおいて形成されるターゲットの画像は、単一の像平面上で実際のカメラによってキャプチャされ、それゆえ、多数の画像を収集するための多数の実際のカメラを不要にすることができる。単一の像平面及び単一の実際のカメラを使用することによって、メモリ要件を大幅に低減し、それにより画像処理がより効率的になる。そのシステムは、所望の視野及びデータを提供するために必要とされるだけの多くのバーチャル・カメラを備えることができる。本発明のシステムは、ターゲットの詳細な画像を提供することができ、それらの画像は容易に収集することができ、その際費用効率は高い。
【００２５】
実際のカメラはコンピュータに接続され、そのコンピュータは、ステレオ・コンピュータ・ビジョン能力を含む（すなわち、ステレオ画像処理及び３−Ｄ運動追跡のためのソフトウエア・パッケージを含む）ことが好ましい。実際のカメラからの画像は、リアルタイムモードにおいて、或る一定の高いフレーム・レート（たとえば、好ましいシステムでは、毎秒１５フレーム（ｆｐｓ））でコンピュータに供給することができる。それらの画像は、後に参照／分析するためにハードディスクに格納することができるか、又は、対象となるターゲットに関連付けられる運動軌跡及び運動学的パラメータを計算した直後に破棄することができる。たとえば、限定はしないが、Ｖｉｓｕａｌ Ｃ＋＋、Ｃ＃．ＮＥＴ、ウインドウズＸＰプラットフォーム上のＯｐｅｎＧＬ、及び他のソフトウエア開発プラットフォーム上における他のプログラミング言語で書かれる任意の既知の画像処理ソフトウエアを用いることができる。
【００２６】
図２は、本発明のシステムの別の実施形態を示している。当該システムでは、鏡を所望の位置及び向きに配置して、モニタされる動物の足の画像が形成され、それらの画像は、遮断されることなく、実際のカメラ２０１によってキャプチャすることができる。したがって、モニタされる動物（複数可）の歩行路をリアルタイムに記録又は分析することができる。
【００２７】
システム・ノイズの除去
【００２８】
システム・ノイズ（周囲照明条件の変化によって引き起こされる一貫性のない又は時間と共に変化する背景、収集される画像内の前景と背景との間の不十分なコントラストによって、又は魚の水泳行動をモニタする際の水の擾乱によって、又は異なる媒質の界面において形成される動物の反射像によって引き起こされるセグメンテーション誤差等）が、モニタリング処理を極めて困難にする。なぜなら、無関係の領域が、ターゲットの前景画像と間違えられることがあるためである。したがって、誤った結果によって、画像対応が不正確になることがあり、ターゲットの識別及びタギングを間違えることがあり、追跡されるターゲットの再構成された３−Ｄ位置に誤差が生じることがある。それゆえ、開示される好ましいシステムはさらに、ハードウエア・ベース及びソフトウエア・ベースのノイズ除去コンポーネントを備えることができる。ハードウエア・ノイズ除去コンポーネントによって、そのシステムは、一貫性のない照明条件によって引き起こされる環境ノイズ、及び媒質界面上でのターゲットの反射像の形成によって引き起こされるモニタリング・ノイズを回避できるようになる。ソフトウエア・ノイズ除去コンポーネントは、画像背景を適応的に更新して、照明ノイズを除去し、輝度フィルタ、色空間フィルタ、及びピクセルサイズフィルタを含む種々のフィルタによって、誤ってセグメント化されたターゲット画像を除去することができる。ソフトウエア・ノイズ除去コンポーネントはさらに、エピポーラ幾何学的構造によって課せられる空間整合性の制約、及び３−Ｄカルマン・フィルタによって課せられる時間整合性の制約を含む。あり得るターゲットに対応するセグメント化された画像は、それらの画像が両方の制約を同時に満たさない場合には、測定ノイズとして除去される。
【００２９】
ハードウエア・ノイズ除去のための１つのコンポーネントとして、閉ざされた空間（図１に示される外枠）内にカメラ及び動物コンテナが置かれ、外部の環境照明条件から保護される。一貫性のある光源が外枠の内部に収容され、試験動物の一貫した照明を提供する。このハードウエア構成を用いることによって、照明条件の変化によって引き起こされる環境ノイズを効果的に除去することができる。
【００３０】
一実施形態では、ハードウエア・ノイズ除去コンポーネントは、画像コントラストを高める能力も含む。たとえば、ハードウエア・ベース・ノイズ除去コンポーネントは、多数の均一な白色光源を含むことがあり、それらの光源は、図５に示されるように、カメラ（実際のカメラ及びバーチャル・カメラの両方）の向かい側に配置されることが好ましい。それゆえ、照明条件の小さな擾乱は、画像フレームの整合性において重要ではなくなる。
【００３１】
加えて、ハードウエア・ベース・ノイズ除去コンポーネントはさらに、媒質界面上でのターゲットの反射像の形成を回避するために、特有のシステム構成及び部品構成を含む。ビデオカメラ及び鏡２に面する動物コンテナの２つの壁（図１及び図５を参照）は、はっきりと見えて、且つ透明であることが好ましい。それらの壁はそれぞれ、実際のカメラ及びバーチャル・カメラ２のための観察窓としての役割を果たし、それらの垂線はこれら２台のカメラの軸と概ね一致する。一方、動物コンテナの他の３つの壁の内側表面（観察窓の向かい側にある２つの壁及び底面の壁）は、その上で反射像が形成されなくなるまで粗くなるように表面加工される。魚の水泳運動をモニタする一実施形態では、これらの曇り窓ガラスは、コントラストを高めるために、図５に示されるように光源によって照明される。この実施形態では、画像内の背景として、概ね飽和した白色を達成することができる。それゆえ、前景のターゲットは、暗い領域として強調される。
【００３２】
好ましい一実施形態では、媒質界面上でのターゲットの反射像を除去するために、実際のカメラの軸は、動物コンテナの一方のモニタリング窓の平面上にあり、１つの鏡が、対応するバーチャル・カメラの軸が別のモニタリング窓の平面上にあるように構成される。したがって、そのシステムは、観察窓（複数可）が、その関連するカメラの像平面に対して平行になるか、又は他のカメラに対して垂直になるように構成され、観察窓上にターゲットの反射像が形成されるのを防ぐ。これは、平面鏡を手動で又は自動的に調整することによって果たすことができる。バーチャル・カメラの構成が最適化されるように鏡を自動的に調整するために、アルゴリズムが、コンテナの２つのモニタリング窓の投影を入力としてとり、２つのモニタリング窓の投影が先に説明したような形をとるまで、バーチャル・カメラの位置を段階的に修正することによって調整を果たす。
【００３３】
ソフトウエア・ノイズ除去コンポーネントの一部として、ターゲットをセグメント化するために背景減算が実行されるときに、ターゲットがその中に存在する背景画像を適応的に更新することができる。ノイズ・レベルが、先行する背景画像において設定されたしきい値よりも大きくなるときには必ず、先行する背景画像が、更新された画像で置き換えられる。ソフトウエア・ノイズ除去コンポーネントの動的に更新する能力は、一般的な研究室照明環境において、又は改善された照明条件下で、又は自然環境において、モニタリングの確実性及び適応性を増大させる。
【００３４】
別の好ましい実施形態では、ターゲットをセグメント化するために色空間セグメンテーションが実行されるときに、収集されたフレーム内のピクセルの色空間属性（色相、彩度及び色値等）が色空間フィルタによってフィルタリングされる。色値の設定された領域によって制限される色空間の外側にある色空間属性を有するピクセルは除去される。色値の設定された範囲は、モニタされることになるターゲットの色属性に対応する。
【００３５】
ソフトウエア・ベース・ノイズ除去コンポーネントはさらに、ターゲットの誤ってセグメント化された前景画像を除去するために、ピクセル輝度フィルタ及びピクセルサイズフィルタを含む。ターゲットをセグメント化するために背景減算を適用する好ましい一実施形態では、ピクセル輝度フィルタは、ターゲット画像の輝度に対応する設定された輝度範囲から外れる輝度値を有する前景画像ピクセルを除去するように機能する。背景減算又は色セグメンテーションによるターゲット・セグメンテーション後に、あり得るターゲットのセグメント化された前景画像のピクセルがクラスタリングされ、マーカになる。その後、これらのマーカに、マーカピクセルサイズフィルタが適用される。ターゲット画像の所望のピクセル数の設定されたサイズ範囲から外れるピクセルサイズを有するマーカは、測定ノイズとして除去される。
【００３６】
ステレオ・ペアの較正
【００３７】
本発明のシステムは、ハードウエア・ベース較正コンポーネント及びソフトウエア・ベース較正コンポーネントを含むことが好ましい。図３は、１つの例示的な較正コンポーネントを示しており、補助較正装置３０２が全ての実際のカメラ及びバーチャル・カメラによって捕らえられる。鏡３０４及び３０５内の装置の像は実際のカメラ３０１によって視認され、さらに、その像は、実際のカメラそのものによって直にキャプチャされる。これらの像の間で、対応付けが自動的に確立され、それらの像から立体視較正過程によって、鏡の位置及び向き、バーチャル・カメラの外部パラメータ、及びさらにはステレオ・ペアのエピポーラ構造を得ることができる。
【００３８】
システムを較正するためのデータ収集処理は以下のように行われる。較正装置を内部に有する動物コンテナの多数の視野を含む画像が、較正装置を内部に有しない動物コンテナの同じ視野を含む画像と比較される。これは、較正装置の色情報を強調し、その後、ＨＳＶ（色相、彩度及び色値）をセグメント化して、結果として、輝度及び色が区別される異なる画像を生成することによって、又は、較正装置の輝度情報だけを強調することによって達成される。強調されたピクセルはいくつかのクラスタを形成し、これらのクラスタの幾何学的な質量中心が、既知の対応付けを有する像平面上で計算され、その後、その質量中心が、較正式を解いて鏡の位置及び向きを求めるために用いられる。
【００３９】
較正装置を含むハードウエア・ベース較正コンポーネント、及びそこから得られるパターンに関して、種々の実施形態がある。たとえば、図３に示されるように、着色端のような可視インジケータを有する物体、又は図４に示されるように、或る一定のオン／オフシーケンス順序を有するいくつかの有色のＬＥＤを用いることができる。ハードウエア・ベース較正コンポーネントはさらに、コンピュータ・ポートと、コンピュータ・ポートを可視インジケータに接続するケーブルとを備えることができ、それらを用いて、コンピュータからＴＴＬパルスを送出することによって、可視インジケータが、好ましいシーケンスに従って自動的にオン及びオフされる。
【００４０】
好ましいソフトウエア較正コンポーネントは、実際のカメラの内部パラメータ較正、鏡の較正、バーチャル・カメラの較正、及び媒質界面のための較正のためのソフトウエアを含む。好ましい一実施形態では、これらの較正ステップは、自動的に実行される。好ましい一実施形態では、較正用の特別なソフトウエア・パッケージ（以下に説明する処理）が開発されているが、実際のカメラの内部パラメータ較正のために、任意の汎用の較正ソフトウエアを用いることができる。実際のカメラの内部パラメータは、本発明のハードウエア・ベース較正コンポーネントを用いて、標準的なカメラ較正手順に従って較正することができる。鏡較正及びバーチャル・カメラ較正を含む基本的な較正手順と、水の屈折によるステレオ幾何学的構造の歪みのための媒質界面の較正を含む拡張較正手順とは、さらに以下に説明する段階的な較正方法を適用する種々のソフトウエア・ベース較正コンポーネントにより達成される。
【００４１】
最初に、ソフトウエア・ベース較正コンポーネントが、２つ以上の画像（背景画像と、その上に可視インジケータがある任意の他の画像との間）の差を計算し、全てのカメラによって撮影される、インジケータの画像間の対応付けを求めることによって、較正装置上の可視インジケータ（ＬＥＤ又は着色端等）に対応するピクセルを抽出することができる。そのような対応は、たとえば、自動ＨＳＶセグメンテーションを通じて、又は自動輝度セグメンテーションを通じて、また手動で選択することを通じて、設定することができる。
【００４２】
好ましい一実施形態では、鏡の幾何学的属性のためのソフトウエア・ベース較正コンポーネントは、以下の較正方法を用いて、鏡較正を達成する。
【００４３】
平面鏡が４つのパラメータ［ｕ，ｄ］によってパラメータ化される。ただし、ｕは鏡面の向き（垂線）を指示する正規化された３−Ｄベクトルであり、ｄは、その鏡面から、実際のカメラに関連付けられるカメラ座標の原点、又は実際のカメラの投影中心ＣＯＰ（０，０，０）Ｔまでの距離である。それゆえ、鏡面上の任意の点ｐは、以下の式を満たすことになる。
【数１】
向きベクトルｕは以下の式を満たす。
【数２】
【００４４】
ただし、以下の式が成り立つ。
【数３】
【００４５】
ここで、（Ｃｉ，Ｍｉ）は、それぞれ実際のカメラ（Ｃｉ）の領域内及び鏡（Ｍｉ）の領域内の可視インジケータの画像の対応するピクセル質量中心であり、下付き文字はピクセル質量中心の画像座標を表し、ｆは実際のカメラの焦点距離である。その後、特異値分解（ＳＶＤ）によって、垂線ｕをＴＴＴの最も小さな固有値に対応する固有ベクトルとして計算することができる（Lin, J. Yeh, M, Ouhyoung著「Extracting 3-D facial animation parameters from multiview video clips」（IEEE CGA, 22(6), 2002）を参照されたい）。
【００４６】
実際のカメラのＣＯＰから鏡面までの距離ｄを計算するために、較正パターン上にある２つの可視インジケータ（ＰＣ１及びＰＣ２）間の既知の長さＬが必要とされる。実際のカメラに関連付けられる画像領域内のこれら２つのインジケータの投影は、Ｃ１及びＣ２であり、鏡領域内のその対応は、Ｍ１及びＭ２である。図６に示されるように、以下のパラメータ式が当てはまる。
【数４】
【００４７】
ここでｔはＣＯＰ（０，０，０）からの光線のパラメータ表現である。４つの照準光線を記述するこれらの４つのパラメータは相関があるので、以下のように、鏡の反射特性に基づいて、ｔＣ１の空間において２分探索を行うことができる。最初に、ｔＣ１の現在の反復値において、‖ＰＣ１−ＰＣ２‖＝Ｌによって、ｔＣ２を計算する。その後、ＰＣ１及びＰＣ２の両方が、鏡面の垂直な向きｕに沿って、Ｍ１及びＭ２に関連付けられる照準光線上に投影され、結果として、図６に示される２つの投影ＰＭ１及びＰＭ２が生成される。線の交点によって、ｔＭ１及びｔＭ２を計算した後に、２つの投影ＰＭ１とＰＭ２との間の距離が、ｄ（ＰＭ１，ＰＭ２）＝‖ＰＭ２−ＰＭ１‖として計算される。‖ｄ（ＰＭ１，ＰＭ２）−Ｌ‖＜εであるときに、再帰処理は終了し、その式は、ただ１つの許容しきい値εによって制御される。ＣＯＰ（０，０，０）から鏡面までの距離ｄは、既知のＰＣ１、ＰＣ２、ＰＭ１及びＰＭ２によってただ１つに決定される。最後に、鏡較正のために多数の可視インジケータが用いられるので、計算されたｄ値の中で最小二乗解が得られる。
【００４８】
鏡較正が終了すると、ソフトウエア・ベース較正コンポーネントが、バーチャル・カメラの外部パラメータ（投影中心の場所及びカメラ軸等）を自動的に導出する。バーチャル・カメラの外部パラメータは、バーチャル・カメラに関連付けられる鏡に従って、実際のカメラの対応する外部パラメータを反映させることによって得られる。好ましい一実施形態では、反射による鏡像形成（mirroring）のような全ての幾何学的操作が、実際のカメラに関連付けられるデカルト座標において実行される。それゆえ、実際のカメラの外部パラメータは既知である。
【００４９】
好ましい一実施形態では、ソフトウエア・ベース較正コンポーネントが、ステレオ・ペアの外部パラメータの較正のために適用される。ステレオ・ペアは、１台の実際のカメラと、１台又は２台のバーチャル・カメラとを含むことができる。先に説明したように、コンピュータ制御式の可視インジケータは、動物コンテナ内に配置され、コンピュータ・パラレル・ポートを介してＴＴＬパルス信号を送出することによって、１つずつオンに切り替えることができる。これは、莫大な対応付けを取り入れる。それゆえ、実際のカメラ及びバーチャル・カメラによって生成されるエピポールが、関連する２つの視野内のインジケータの対応する画像を接続する線の交点として、ソフトウエア・ベース較正コンポーネントによって計算される。２台のバーチャル・カメラによって生成されるエピポールは、以下の誤差関数が最小になるような最適化処理を介して計算される。
【数５】
【００５０】
ここで（ｅ０，ｅ１）は、反復処理を通じて計算されることになるエピポールであり、ｍは２台のバーチャル・カメラの像平面の交差する線を実際のカメラの像平面上に投影することによって形成される螺旋軸の投影であり、（Ｍ０，Ｍ１）は、同じ可視インジケータのバーチャル・カメラ０及び１の領域内の対応する画像であり、ｉは可視インジケータの添え字である。上記の誤差関数は物理的には、誤差関数が０に近づくときに、ｅ０及びＭ０を結ぶエピポーラ線が、２台のバーチャル・カメラの螺旋軸の投影ｍ上で、ｅ１及びＭ１を結ぶエピポーラ線と交差するはずであるということを意味する（たとえば、J. Gluckman他著「A real-time catadioptric stereo system using planar mirrors」（Proceedings of Image Understanding Workshop, (1998)を参照されたい）。図７は、図１に示されるステレオシステムのエピポーラ幾何学的構造の一例を示しており、それは、ステレオ・ペアの外部パラメータのためのソフトウエア・ベース較正コンポーネントによって較正される。
【００５１】
先に説明した基本較正手順は、光が単一の媒質の中（齧歯類動物をモニタするときの空気中等）を進行するときにだけ、エピポーラ幾何学的構造を導出するのに有効である。水中動物の運動関連の行動をモニタする場合、先に開示された基本較正方法によって得られるエピポーラ構造は、水と空気との間の界面における光の屈折に起因して十分でないことがある。この場合、エピポーラ線の一部が曲線になることがあり、直線のエピポーラ線間の投影関係がもはや保持されないことがある。立体視幾何学的構造を調整し、関連する画像対応を、種々の媒質を通って進行する照準光線として特定するために、拡張較正が、光の屈折に対応する必要がある。２つの異なる媒質の中を通る光を有する新たなエピポーラ構造は、本発明の拡張較正方法を含むソフトウエア・ベース較正コンポーネントを用いることによって較正される。この拡張較正方法は好ましくは以下のとおりである。
【００５２】
水中動物の行動をモニタする場合、水槽が水で満たされ、それにより、カメラ照準光線の屈折が導入される。結果として、システムは２つの連続するステップにおいて較正されなければならない。（１）基本較正では、ステレオ・ペアの従来のエピポーラ構造が、先に説明した手順に従って較正され、導出される。（２）拡張較正では、照準光線が通過することがある媒質界面が、その位置及び向きに関して較正される。拡張較正の結果として、多数の媒質を通る屈折した照準光線に対応する歪んだエピポーラ曲線が検出される。その処理中に、或る領域内のターゲット・マーカが、動物コンテナ内の３−Ｄ線分の中に投影されることになる。そして、この線分が、エピポーラ曲線として別の領域上に投影して戻されることになる。その後、対応検出処理中に、その中をエピポーラ曲線が通過するターゲット・マーカは、エピポーラ制約を満たす対応するマーカであると見なされる。それゆえ、カメラの照準光線の経路内に多数の媒質が存在する場合には、そのエピポーラ構造はもはや直線ではない。
【００５３】
拡張較正過程では、屈折が生じる媒質界面の厳密な場所及び向きが、較正される必要がある。拡張較正はレイトレーシング法に基づく。その手順は、前方屈折及び後方屈折のような２組の計算から構成される。
【００５４】
システムの幾何学的構成と基本較正から導出されるエピポーラ構造とに従って、界面のパラメータための初期推測を行うことができる。これらのパラメータは、２つの観察窓及び水槽内の水面の垂線ｕｉとビデオカメラのＣＯＰからの距離ｄｉとを含む。ここで、ｉ（ｉ≦３）は、これらの媒質界面の添え字を表す。
【００５５】
図８に示されるように、ステレオ・ペアが、２つのカメラＣ０及びＣ１から構成されるものと仮定する。ただし、Ｃ０は実際のカメラであり、Ｃ１は、鏡１に対して実際のカメラＣ０を反射することから得られるバーチャル・カメラである。前方屈折は、ＣＯＰ０から、Ｃ０の像平面上にある可視インジケータｍの画像Ｍ０（インジケータの３−Ｄ位置はわからない）に向かって、照準光線を発射することによって開始する。照準光線ＣＯＰ０Ｍ０は、界面（ｕ０,ｄ０）上の点Ｓにおいて屈折する。相対的に寸法が小さい（約２．５ｍｍ厚）ため、全ての水槽壁の厚みを無視することによって、空気及び水の屈折率がわかっているので、屈折した光線ＳＰ（Ｐは、屈折した光線上にある任意の３−Ｄ点である）を、スネルの法則に従って計算することができる。その後、Ｃ１の像平面上で、点Ｐの屈折して投影された画像Ｐ１を見つけるために後方屈折が実行され、その画像は、媒質界面のパラメータが正確であり、それゆえ、Ｐがインジケータｍの実際の場所であれば、Ｃ１内のＭ０の対応する画像であると推定される。Ｐｉ１が界面（ｕ１,ｄ１）上のＰの屈折点を表すものであり、Ｐ１が、Ｃ１の像平面及び光線ＰＰｉ１の屈折した光線が交差する点を表すものである。それゆえ、残りの作業は、（ｕ１,ｄ１）上の屈折点Ｐｉ１を見つけることである。屈折点Ｐｉ１は、界面（ｕ１,ｄ１）とＰによって決定される平面との間の交線、（ｕ１,ｄ１）上のＰの投影（Ｖによって表される）、及びＣＯＰ１において２分探索を実行することによって見つけられる。このステップでは、ＰＰｉ１の屈折した光線がＣＯＰ１を厳密に通過するまで、その探索を導くために、ＣＯＰ１とＰＰｉ１の屈折した光線との間の距離が用いられる。
【００５６】
水中に較正パターンを配置することによって、１組の対応＜Ｍ０,Ｍ１＞ｉを得ることができる。ただし、ｉはｉ番目のインジケータを表す。全てのＭ０ｉ上での前方屈折及び後方屈折後に、先に説明した方法に従って、１組のＰ１を計算することができる。その後、以下の誤差関数を最小にして、２つの界面のパラメータが同時に較正される。
【数６】
【００５７】
上記の誤差関数は、両方の界面の全てのパラメータに依存する。十分な収束が得られるまで、代替の態様において最適化処理が実行される。収束点を効率的に見つけるために、反復処理においてニュートン法が用いられる。
【００５８】
拡張較正方法の実施態様において、図８に示されるように、鏡に対して実際のカメラを反射することによって、バーチャル・カメラが得られる。先に述べられたように、この実施態様は、実際のカメラだけを用いて、ターゲットそのものの画像と、ターゲットの鏡像とを同時に視認することと等しい。
背景減算及び色空間セグメンテーションによるターゲット・セグメンテーション
一実施形態では、基本較正手順が実行され、その後、オプションで上記の拡張較正手順が実行された後に、動物運動追跡を開始する前に、較正コンポーネントを通じてオフライン・システム較正が実行される。オフライン較正が終了した後に、システムをオンライン追跡モードに切り替えることができ、ビデオ画像が得られ、一定のフレーム・レートでコンピュータに供給される。
【００５９】
本発明の好ましい実施形態では、ソフトウエア・ベース・ターゲット・セグメンテーション・コンポーネントによって、ターゲット・セグメンテーションが実行される。ターゲット・セグメンテーション・コンポーネントは、２つの方法、すなわち、背景減算及び色空間セグメンテーションを通じて、ターゲットに関連付けられる前景画像を背景画像から分離する。その好ましい実施形態では、前者は水中動物を追跡する際に用いられ、一方、後者は齧歯類動物上の特徴点を追跡する際に用いられる。しかしながら、これら２つの方法は、全てのタイプの動物を追跡する際に、別個に又は組み合わせて用いることができる。
【００６０】
水中動物の３−Ｄ運動を追跡する際に、本発明のシステムは、追跡処理を開始する前に、背景画像を生成することが好ましい。背景生成は、内部にあるターゲットなしで、動物コンテナの背景を得ることによって（図５に示される）、又は多数のフレームの差分により動いている動物に関連付けられるピクセルを除去し、その後、これらのフレームの色値を平均して元の背景画像を得ることによって、果たすことができる。オンライン追跡モード中に、ソフトウエア・ベース動的背景生成コンポーネントが、更新された背景画像を動的に生成することもできる。これは、背景に変化が生じる場合に特に望ましい。この実施形態では、現在の背景画像内の望ましい許容変化量のためのしきい値を設定することができる。変化が予め設定されたしきい値を超えるとき、新たな背景画像を動的に規定することができる。背景画像を更新する判定基準は以下のとおりである。
【数７】
【００６１】
ただし、Ｉｔ及びＩ１はそれぞれ、時刻ｔにおいて収集されるフレーム、及び追跡処理が開始されるときの最初のフレーム（又は、背景が再生成された後に収集される最初のフレーム）であり、Ｉ０は、追跡処理過程前に生成されるか又は追跡過程の途中で再生成される、現在の背景画像であり、τは許容差である。一実施形態では、しきい値は、画像上のあらゆるピクセルに対し５％になるように予め設定される。したがって、新たな画像のための全変化が元の画像から５％より大きくなる場合には、それらの画像は、再計算されるほど十分に異なるものと見なされる。
【００６２】
ターゲット・セグメンテーションは、背景減算若しくは色空間セグメンテーション、又はその組み合わせによって達成される。背景減算からのターゲット・セグメンテーションは、現在のフレームと現在の背景画像との差を計算することを通じて前景画像を得て、その後、前景画像内のピクセルをターゲットのマーカ画像としてクラスタリングするように機能する。色空間セグメンテーションでは、ターゲット画像のセグメンテーションは、前景画像のための望ましい色空間値の設定範囲内に入る色空間属性（ＨＳＶ又はＲＧＢ）を有する画像ピクセルを選択することによって達成される。その後、これらの前景ピクセルがクラスタリングされ、マーカになる。
【００６３】
単一の像平面上で実際のカメラ及びバーチャル・カメラから得られる全ての画像に対してターゲット・セグメンテーションが実行される。ソフトウエア・ベース・ターゲット・セグメンテーション・コンポーネントでは、以下のクラスタリング・アルゴリズムが、セグメント化された前景画像に適用される。最初にセグメント化された前景画像は、背景減算又は色セグメンテーションによって得られる散在するピクセルから構成される。最初に、或る前景画像が入力とされる。その後、その画像が、輝度フィルタ及び／又は色空間フィルタによって走査され、１組のしきい値を満たすピクセルが得られる。そのようなピクセルが見つけられるとき、同じ種類の任意の隣接するピクセルを見つけることができるか否かを確認するために、探索が実行される。隣接するピクセルが見つかる場合には、それらのピクセルがともに、マーカとしてグループ化される。見つからない場合には、探索を実行するために基にしたピクセルが破棄される。マーカが形成される場合には、このマーカ内のピクセルグループを平均することによって、このマーカの画像属性が計算され、その後、このマーカは、あり得るターゲット画像を表すマーカとしてセグメント化される。この手順は、前景画像上の全てのあり得るマーカが見つかるまで続けられる。
【００６４】
好ましい実施形態では、その後、セグメンテーション及びクラスタリングによって得られた全てのマーカが、マーカサイズ・フィルタによって試験される。設定されたサイズ範囲から外れるサイズを有するマーカは、そのため測定ノイズとして破棄される。
【００６５】
エピポーラ制約による対応検出
【００６６】
本発明の好ましい実施形態では、ソフトウエア・ベース較正コンポーネントによって較正される、導出されたエピポーラ構造からエピポーラ制約が得られる。好ましい一実施形態では、ステレオ幾何学的構造が歪んでいないシステム内には、少なくとも２つのエピポーラ構造が存在する。第一に、実際のカメラ及びバーチャル・カメラを含むステレオ・ペア間、又は実際のカメラの領域内にある１つのターゲット・マーカとバーチャル・カメラの領域内にある同じターゲットの別のマーカとの間にエピポーラ構造がある。第二に、２つのバーチャル・カメラ間、又は２つのバーチャル・カメラの領域内にあるターゲット・マーカ間にエピポーラ構造がある。第１のエピポーラ構造の場合、ソフトウエア・ベース・エピポーラ導出コンポーネントが、先に説明した基本較正過程を通じて、エピポールｅを計算することができる。実際のカメラ領域内及びバーチャル・カメラ領域内に設定される対応するマーカは、以下のエピポーラ制約を満たすべきである。
【数８】
【００６７】
ここで、Ｃ及びＭはそれぞれ、実際のカメラの領域内及びバーチャル・カメラの領域内にある２つのマーカを表す。上記のエピポーラ制約は、物理的には、対応するマーカＣ及びＭを結ぶ線が、エピポールｅを通過しなければならないことを意味する。２台のバーチャル・カメラ間にある第２のエピポーラ構造の場合、先に説明した基本較正過程において、エピポーラ導出コンポーネントによって、２つのエピポールｅ１及びｅ２を較正することができる。バーチャル・カメラ１の領域内にある対応するマーカ・セットＭ１及びバーチャル・カメラ２の領域内にあるＭ２は、以下のエピポーラ制約を満たす。このエピポーラ制約は、物理的には、Ｍ１及びｅ１を結ぶ線と、Ｍ２及びｅ２を結ぶ線との交点が、螺旋軸の投影ｍ上に位置することを意味する。
【数９】
【００６８】
水中動物の行動をモニタする場合、上記の従来のエピポーラ構造は、対応するマーカを見つける際に不十分になる。したがって、エピポーラ曲線を用いることによって対応するマーカを見つけるために、異なる方式が用いられる。そのようなエピポーラ曲線は、対応するステレオ・ペアの像平面上への屈折した照準光線の投影にすぎない。拡張較正過程において述べられたように、そのようなエピポーラ曲線を検出する際に、以下のようにレイトレーシング法が用いられる。或る領域内のマーカＭ０を考えると、最初に、そのマーカが、３−Ｄ空間内に照準光線として投影して戻される。その際、動物コンテナ内で、屈折した光線線分が得られる。この屈折した光線が、細かい線分に分割される。結果として、屈折した光線に沿って、いくつかの端点（これらの細かい線分の端部）が得られる。屈折によって、これらの点を別の領域に投影することによって、その領域内に、断片状の直線のエピポーラ曲線が得られる。そして、対応するマーカＭ１が、エピポーラ曲線によって通過されるであろう。
【００６９】
再び、２種類の屈折、すなわち前方屈折及び後方屈折が、エピポーラ曲線の導出に関連し、その結果、対応するマーカ・セットを、曲線のエピポーラ制約を通じて検出できるようになる。前方屈折ではターゲット・マーカから開始し、後方屈折では、このマーカに関連付けられる屈折した照準光線上にある３−Ｄ点から開始する。媒質界面における屈折前後の光線間の関係は、スネルの法則に従って以下のように記述することができる。
【数１０】
【００７０】
ただし、θ０及びθ１は、入射光線と界面垂線との間の角度及び屈折した光線と界面垂線との角度を表し、λ０及びλ１は、空気及び水のような２つの媒質の屈折率である。前方屈折及び後方屈折の手順は、拡張較正手順（ステレオ・ペアの較正）において記述されたのと同様である。
【００７１】
わずかに変更するだけで、屈折したエピポーラ構造の対応する検出及び導出において用いられるレイトレーシング法は、ターゲットの３−Ｄ位置を再構成するのに容易に適用することができる。
【００７２】
ターゲットの追跡、識別、タギング
【００７３】
本発明のシステムの一実施形態は、ソフトウエア・ベースのターゲット３−Ｄ運動追跡コンポーネント及びターゲット識別／タギング・コンポーネントを含む。
【００７４】
好ましい一実施形態では、ソフトウエア・ベース３−Ｄ運動追跡コンポーネントは、異なる視野間の空間整合性、及び画像シーケンスにわたる時間整合性を含む、２つのタイプの整合制約を含む。これら２組の制約は、適応的な重みを動的に割り当てられ、モニタリング過程全体を通じて同時に課せられる。
【００７５】
空間整合性のための制約は以下のように機能する。セグメンテーション及びクラスタリングを通じて、あり得るターゲットに対応するマーカが得られるとき、それらの間の対応付けが特定される。そのような対応付けの検出は、種々の視野内の対応するマーカを相互接続する幾何学的に適合する対応セット（Geometric Compliant Correspondence Sets）（ＧＣＣＳ）を生成することによって実現される。フレーム毎に、屈折が生じないときには従来のエピポーラ幾何学的構造によって、又は照準光線が２つ以上の媒質の中を通るときには非直線エピポーラ曲線制約によって、ＧＣＣＳの導出が導かれる。フレーム毎にそのようなＧＣＣＳを検出することによって、空間整合性が達成され、それは時間とは無関係である。
【００７６】
時間整合性のための制約は以下のように機能する。先行するフレーム内のターゲットの再構成された場所及び速度から、それらのターゲットの現在の３−Ｄ位置を予測するために、線形３−Ｄカルマン・フィルタが設計される。３−Ｄカルマン予測子では、ｉ番目のターゲットの３−Ｄ位置ｐｉ（ｔ）及び速度ｖｉ（ｔ）を得るために、状態ベクトルｘｉ（ｔ）＝｛ｐｘｉ（ｔ）、ｐｙｉ（ｔ）、ｐｚｉ（ｔ）、ｖｘｉ（ｔ）、ｖｙｉ（ｔ）、ｖｚｉ（ｔ）｝Ｔがフレームシーケンスにわたって更新され続ける。フレームｔ＋１の場合、フレームｔの状態ベクトルｘｉ（ｔ）に基づいて、システム状態
【数１１】
【００７７】
の予測が行われる。
【数１２】
【００７８】
ここで、Φは、或る一定の状態遷移行列である。本発明のシステムでは、以下の式において記述されるように、３Ｄ線形システムを用いて新たな状態が予測される。
【数１３】
【００７９】
状態遷移行列は以下のとおりである。
【数１４】
【００８０】
フレームｔ＋１におけるターゲットの３−Ｄ位置の推定と共に、カルマン予測子から、予測される状態共分散行列Ｐｉ（ｔ＋１｜ｔ）も得ることができる。それゆえ、推定される３−Ｄ位置の２−Ｄ投影は、後方屈折手順を通じて計算され、一方、行列Ｐｉ（ｔ＋１｜ｔ）の最大固有値も、ターゲットの全ての投影される２−Ｄマーカを包囲する探索領域の半径として計算され、投影される。
【００８１】
特定の一実施形態では、ターゲット識別／タギング・コンポーネントはエネルギー関数であり、それは、最小エネルギーの原理に従って動作することが好ましい。そのエネルギー関数は、入力として、追跡されるターゲットのセグメント化された前景マーカをとる。特に好ましい一実施形態では、そのエネルギー関数は、ターゲットを識別するために、２つの主なパラメータを組み合わせる。種々のエピポーラ制約によって検出されるＧＣＣＳを含む空間整合性と、ターゲット・タグが継承されている多数の３−Ｄ線形カルマン・フィルタ予測を含む時間整合性とを含む、これらの２つのパラメータは３−Ｄ運動追跡コンポーネントによって得られる。ターゲットを識別し、それらのターゲットに段階的に適当なタグを割り当てるために、全ての許容可能な順列を通じて反復が行われ、全てのマーカペアのための全エネルギー値が見つけられる。エネルギーの最小値を有するペアが、先行するフレームからターゲットタグを継承する正確な運動ペアであると見なされる。
【００８２】
エネルギーパラメータのうちの１つとして、空間整合性は、エピポーラ幾何学的構造導出コンポーネントによって得られるエピポーラ制約を用いる。これらの制約は、単一の媒質が存在する場合には、基本較正を通じて得られる従来の直線エピポーラ幾何学的構造に従うことができるか、又は光の屈折が生じるときには、拡張較正を通じて得られる調整された非直線エピポーラ構造に従うことができる。空間整合性値が、ＧＣＣＳを生成するために、あり得る対応するマーカ間で試験され、たとえば、マーカがエピポーラ線又は曲線上に存在しない場合には、その値は０であり、それは、それらのマーカによって空間制約が満たされないことを意味する。マーカがエピポーラ線上に完全に存在する場合には、その値は１であり、それは、それらのマーカによって空間制約が満たされることを意味する。そのような空間整合性値は、マーカ間の位置合わせに基づいて、０〜１である。
【００８３】
別のエネルギーパラメータとして、時間整合性は、追跡されている全てのターゲットのための全ての３−Ｄ線形カルマン予測子を用いる。ターゲットは、ターゲット識別コンポーネントによって識別され、それは、空間整合性及び時間整合性を組み合わせることによって、エネルギー関数を最小にすることを基にする。そのような全体の追跡整合性は主に、以下のように示されるエネルギー関数を最小にすることによって達成される。１組のカルマン・フィルタ予測（タグが継承されている）がＮによって表され、検出されたＧＣＣＳがＭによって表され、それぞれｎ個のタグ及びｍ組の対応があるものと仮定すると（あり得るノイズに起因してｍ≧ｎ）、エネルギー関数は以下のようになる。
【数１５】
【００８４】
ここで、ｉ、ｊ及びｖはそれぞれ、ｉ番目のタグ、ＧＣＣＳのｊ番目の対応、及びｖ番目の視野を表す。エネルギー関数の最小値を見つけるためには、高い計算コストをかけて、文字どおり、ｎ×ｍの反復を行う必要がある。しかしながら、その反復を、予測される探索領域内のＧＣＣＳに限定することによって、探索木を大量に枝刈りする（prun）ことができる。３−Ｄカルマン・フィルタの状態ベクトル及び状態共分散行列は、ＧＣＣＳにタグが正確に割り当てられた後に、カルマン修正子を通じて更新される。
【００８５】
しかしながら、物理的なターゲット・タギングは不要であることに留意されたい。本発明のシステムは、空間整合性及び時間整合性に基づくアルゴリズムを用いて、多数のターゲットの３次元の動きをインテリジェントに識別することができる。本明細書において用いられるときに、「空間整合性」は、ターゲット・マーカがステレオシステムのエピポーラ制約を満たす傾向を意味する。本明細書において用いられるときに、「時間整合性」は、あるターゲットに関連付けられる画像が、短時間、同じターゲットの先行する画像の近くにある傾向を意味する。本発明のシステムでは、動物の体の小さな部分である、特別な点又は特徴点が対象となる限り、動物はタギングされるか又は追跡デバイスを導入される必要はない。
【００８６】
視覚的な衝突後の物体の再識別
【００８７】
本発明はさらに、ターゲット再識別のためのソフトウエア・ベース・再タギング・コンポーネントを含むことができる。２匹以上の動物又は２つ以上の特徴点が、或る特定の期間にわたって十分に近いとき、それらの動物の投影される画像は、全ての視野において結合することがある。この場合、カルマン・フィルタの時間的な追跡手段としての確実性は劣化することになり、その期間後に、これらの動物又は特徴点の経路が分割されるので、結果として通常はタギングが曖昧になる。これは、分割される時点で各ターゲットが継承するために利用できるタグが２つ以上存在するためである。ゼブラフィッシュのような２つ以上の動いているターゲットが互いに近いか又は物理的に接触し、それらのタグが重なり合う、すなわちそれらの現在の３−Ｄ位置が同じに見えるようになる場合に、再タギング・コンポーネントは有用である。本発明の再タギング・コンポーネントは、異常に接近するか、又は実際に衝突した後に、２つ以上のターゲットのタグを割り当て直すことができる。
【００８８】
好ましい実施形態では、再タギング・コンポーネントは、時間整合性のための補助的な制約を適用するためのいくつかの方法を含む。最初に、モニタされている全てのターゲットのためのフレーム・シーケンスに沿って、動的なテンプレートが生成され、保持される。任意のフレームの場合に、そのようなテンプレートは、像平面上にあるタギングされたマーカの全ての対応するピクセルを含む。これらのテンプレートは、２Ｄカルマン・フィルタによっても管理され、ターゲットの画像が結合するときには必ず、異なるターゲットを区別するために用いられる。さらに、ターゲットの体輪郭の拡張した体積３−Ｄ経路が、時間軸に沿って常に検査され、結合及び分割された後に、それらの経路が互いに交差しないことを確認する。図１０及び図１１は、収集される画像フレーム、処理された画像、及びオンラインで再構成された３−Ｄ軌跡を示しており、その軌跡では、空間及び時間の両方の制約を課した後に、キンギョ及びマウスのマーカが識別され、タギングされる。
【００８９】
三角測量による３−Ｄ再構成
【００９０】
そのシステムは、そのマーカからターゲットの３−Ｄ位置を再構成する、すなわち、全てのカメラから得られる画像からターゲットの実際の３−Ｄ位置を求めるためのソフトウエア・ベース３−Ｄ再構成コンポーネントを含むこともできる。その３−Ｄ再構成コンポーネントでは、三角測量法が用いられる。光の屈折を用いることなくターゲットの３−Ｄ位置を得るための三角測量処理は、以下に説明するように実行される。
【００９１】
或るターゲットのマーカ画像間に正確な対応付けが確立された後に、三角測量コンポーネントは、以下の式を用いて、３−Ｄ位置を計算することができる。
【数１６】
【００９２】
ここで、ＰＣ及びＰＭは、ターゲットの３−Ｄ位置及び同じターゲットの鏡面反射された位置であり（図６を参照）、ｕは鏡の垂線であり、ｄは実際のカメラのＣＯＰから鏡面までの距離である。ＰＣ及びＰＭはいずれも、基本較正において説明したように、パラメータの形式で表すことができ、実際のカメラの領域内及びバーチャル・カメラの領域内のマーカの対応はわかっている（図６を参照）。実際のカメラの領域内にあるターゲットの利用可能なマーカがなく、それがおそらく、衝突によって生じる場合には、以下の式を用いて、２つの鏡の中のＰＭｓに関して解くために、ＰＣを除去することができる。それは、鏡面反射された位置が得られるときに、ターゲットの実際の３−Ｄ位置を再生するために用いることもできる。
【数１７】
【００９３】
水中動物の運動行動をモニタする場合、媒質界面の較正された場所及び向きに従って、照準光線の屈折に対応するために、三角測量法が正当であることが証明される。
【００９４】
図１２及び図１３は、アルコール反応試験における３匹のキンギョの再構成された３−Ｄ移動軌跡を示す。図１４は、アルコール反応試験における１匹のゼブラフィッシュの再構成された３−Ｄ移動軌跡を示す。図１５は、アルコール中毒反応試験におけるマウスの頭部（特徴点は、２つの耳の中間点として設定される）の再構成された３−Ｄ運動軌跡を示す。図１６は、カフェイン中毒反応試験におけるマウスの頭部の再構成された３−Ｄ運動軌跡を示す。
【００９５】
データ後処理
【００９６】
本発明のシステムはさらに、データ後処理コンポーネントを含む。データ後処理コンポーネントは、ターゲットの３−Ｄ軌跡の平滑化及びノイズ除去を行うことができ、さらに、ターゲットの再構成された３−Ｄ軌跡から自動的に対象となる運動変数を抽出することができる。データ後処理コンポーネントはさらに、抽出された運動変数に関する記述的及び推論的な統計分析を実行することができる。図１７〜図１９は、キンギョのアルコール中毒試験におけるターゲットのサンプル３−Ｄ移動軌跡から抽出された水泳速力及び水泳速度、旋回速力及び旋回速度、並びにその軌跡中心からの距離及び変位を示す。図２０は、キンギョアルコール中毒試験におけるサンプル運動変数の統計分析の結果を示す。
【００９７】
図９は、実験動物の３−Ｄ運動を追跡するために特に好ましいシステム及び方法を示す。
オンライン及びオフラインのモニタリング過程
好ましい一実施形態では、システムは３つのモード、すなわち、オフライン較正モード、オンライン又はオフラインのモニタリング・モード、及びオンライン／オフライン後処理モードにおいて機能することができる。
【００９８】
好ましい実施形態では、モニタリング過程は、オンライン・モードにおいて実行される。オンライン・モードでは、或る特定の瞬間において画像フレームが収集され、その後、ターゲットの現在の３−Ｄ位置を求めるために処理される。これらの３−Ｄ位置は、現在の軌跡に追加され、それらの軌跡は、対象となる運動変数を得るために動的に平滑化され、ノイズを除去され、処理される。オフライン・モニタリング・モードでは、モニタリング・ソフトウエアが、ビデオ・キャプチャ・モジュール、ビデオ処理モジュール及びデータ分析モジュールを含むいくつかのモジュールに分離される。ビデオ・キャプチャ・モジュールでは、モニタリング過程のビデオ・シーケンスが収集され、内部ハードディスク又は外部ハードディスク及びビデオテープのような特定の媒体に、圧縮画像形式で又は生データ形式で格納される。タイムスタンプシーケンスも格納され、それは、ビデオシーケンスに関連付けられる時間情報を含む。ビデオシーケンスは、観察するために又は画像処理のために、任意の後の時点で検索することができる。ビデオ処理モジュールは、入力として録画されたビデオ・シーケンスをとり、生の再構成された３−Ｄ軌跡を得るために全ての画像処理タスクを実行する。データ分析モジュールは、入力として再構成された３−Ｄ軌跡及び録画されたタイムスタンプ・シーケンスをとり、軌跡平滑化、軌跡ノイズ除去、運動学的分析、及び統計分析のようなデータ処理タスクを実行する。
【００９９】
グラフィカル・ユーザ・インターフェース
【０１００】
この実施形態では、図１０及び図１１に示されるように、リアルタイム行動モニタリングのためのグラフィカル・ユーザ・インターフェース（ＧＵＩ）は３つのウインドウ、すなわち、実際のカメラによってキャプチャされるリアルタイム・ビデオ、ソフトウエア・セグメンテーション及び識別コンポーネントによって得られる、タギング指標を付けられた前景マーカ、並びにターゲットの再生された３−Ｄ水泳軌跡から構成される。本発明の３−Ｄ運動再構成コンポーネントを用いて、このウインドウ上で、対話形式で探索を実行することができる。好ましい一実施形態では、３−Ｄ運動再構成コンポーネントは、カメラ座標に従って、並進、回転及び拡大縮小を実行する。図２１は、齧歯類の夜間行動のためのオンライン・モニタリング過程のためのＧＵＩの一例を示しており、周囲照明源としてバックライトが用いられ、一方、齧歯類の体の上の特徴点が蛍光染料を付けられている。
【０１０１】
特に好ましい一実施形態では、本発明のソフトウエア・コンポーネントは、ＯｐｅｎＧＬグラフィカル・サポートを有するｗｉｎｄｏｗｓ ＸＰプラットフォーム内でプログラミングされるＶｉｓｕａｌ Ｃ＃．ＮＥＴ又はビジュアルＣ＋＋である。他のプラットフォームの例には、限定はしないが、ＭＡＣ、ＵＮＩＸ、ＬＩＮＵＸ等が含まれる。
【０１０２】
実施例
【０１０３】
以下の例は、実験動物の移動及び運動関連の行動をモニタ及び分析するための本発明の３−Ｄ行動モニタリング・システムの例示的な実施形態を説明する。それらの例は、例示のためだけに与えられており、その中のいずれも、本発明の全範囲を限定するものと解釈されるべきではない。
【０１０４】
例１：水にエタノールを加えることによって引き起こされるキンギョ（Carassius auratus）の３−Ｄ水泳移動の変化をモニタする
【０１０５】
種々の化合物への魚移動反応における変化が、本発明のシステム及び方法によってモニタ、定量化及び分析される。たとえば、そのような実験のうちの１つが、キンギョのアルコール中毒反応である。この例示的な行動モニタリング実験では、平均体長３５ｍｍ〜４０ｍｍであり、同一の生物学的条件を有するキンギョ（Carassius auratus）が、アルコール反応のために選別され、飼育された。その後、キンギョは、表３に示されるように、５つのグループに分けられた。試験されることになる魚は、数日間にわたって、同じ自然環境内に保持された。モニタリング過程の前に、それらのキンギョは、取り出され、指定されたアルコール濃度値を有する水槽内で１時間慣らされた。各モニタリング過程は１５分間続けられた。新たな環境によって引き起こされる任意の一時的な反応を除くために、行動の評価指標を得る目的で、最後の５分間の魚軌跡を分析した。本発明のモニタリング・システムが多数の魚を同時に追跡できることを実証するために、１回のモニタリングを実行する場合に同じ処理を受けた３匹までの魚が試験水槽に移された。他のパラメータ（たとえば、時間、温度等）は、実験過程全体を通じて変化しないように注意深く制御された。図１２及び図１３は、行われた実験から再構成された３−Ｄ軌跡のいくつかの例であり、グループ毎に１つのランダムに選択されたモニタリングを実行した。
【０１０６】
実験が終了すると、そのシステムによって運動学的分析が自動的に実行された。魚のモニタされた３−Ｄ移動軌跡に基づいて、時間及び周波数の両方の領域においてさらに特徴を抽出するために、種々の多変量時系列（ＭＴＳ）にわたって、そのような分析が実行された。図１７〜図１９は、その実験からランダムに選択されたいくつかの事例の場合の、これらの導出された時系列の例（水泳速力／速度、旋回速力／速度、及び軌跡中心からの距離／変位であり、魚の軌跡中心ＣＴは以下のように計算された。
【数１８】
【０１０７】
ただし、Ｍ（ｔ）は時間の関数としての魚の３−Ｄ位置であり、Ｔはモニタリング過程の時間の長さである）。図２０は、エタノール／水濃度に対する、それぞれ、軌跡中心からの３−Ｄ距離（ＤＦＣ）、３−Ｄ直線速力、及び３−Ｄ角速度の平均値の点推定及び９５％の信頼区画を示す。図２０には、最小二乗当てはめ応答曲線も示されており、それは、行動評価指標とエタノール濃度値との間の関係を示す。表４は、表３内の５つのグループの評価指標に関する、一元ＡＮＯＶＡ分析から計算されたＰ値を示す。さらに、図３４及び図３５は、それぞれ、平均ＤＦＣ及び３Ｄ直線速力に関するグループ毎の事後平均比較から計算されたＰ値を示す。
【０１０８】
図１９（Ａ）及び図１９（Ｂ）に示されるように、キンギョは、アルコール濃度が０から高められるときに、濃度が上がるほど広がった経路に沿って速く泳ぐ傾向があった。これらの傾向は、濃度が或る一定の値（この事例では、約１．３％）まで高められたときに、より顕著になった。この点よりも濃度が高くなると、水泳経路が小さなエリアに限定されていくのに応じて、キンギョの移動も再び遅くなり、最終的には、アルコール濃度が高すぎて生き残れなくなり、魚は動かなくなった（２％アルコール濃度で全ての魚が死亡した）。一方、図２０（Ｃ）は、アルコール濃度が０から高められたときに、それに応じて、キンギョの旋回率が低くなったことを示す。
【０１０９】
これらの観察された現象は、動物のアルコール反応に関する一般的な知識と一致する。図３３に示されるように、キンギョグループの間で、平均ＤＦＣ及び３Ｄ直線速力に著しい差が見られたが、平均３−Ｄ旋回率には著しい差は見られなかった。図３４及び図３５に示されるように、平均の事後試験からの結果は、平均ＤＦＣ及び３−Ｄ水泳速力の両方に関して；（ｉ）対照グループ、試験グループ１（エタノール／水濃度０．２５％）及び試験グループ２（エタノール／水濃度０．５％）の間に著しい差はなかった；（ｉｉ）試験グループ３（エタノール／水濃度１．０％）と試験グループ４（エタノール／水濃度１．５％）との間に著しい差はない；（ｉｉｉ）対照グループと、試験グループ１及び２と、試験グループ３及び４との間には著しい差があったことを示す。これらの結果は、実験魚のアルコール反応に関して公表されている結果において確認されているのと同じような傾向を示す。
【０１１０】
例２：マウス頭部の３−ｄ運動の変化をモニタすることによってエタノールによって引き起こされる中毒を評価する
【０１１１】
この例では、本発明の３−Ｄ行動モニタリング・システムが、エタノール注射によって引き起こされる中毒によって生じるマウス移動の詳細な差を定量的に特定するために適用される。関連する実験の焦点は、人による観察又は２−Ｄモニタリング・システムでは、まだ検出するのが難しい、完全に客観性がある行動変化の詳細を発見することであった。
【０１１２】
チャールズリバー研究所（Charles River Laboratory）から雌のＩＣＲマウス２１〜２５グラムを入手した。これらのマウスは行動実験の前に、少なくとも１週間にわたって、実験動物施設内に収容された。全てのマウスが標準的なマウスケージ内に収容され、随意に食物及び水を与えられた。それらのマウスは１２：１２時間の明暗サイクルを保持され、毎日午前９時に明かりをつけられた。
【０１１３】
遺伝的に同種のマウス及び算術的な評価スケールを用いる予備実験によって、行動実験のためのアルコール投与量は、０、０．１、０．２、０．５、１．０及び２．０ｇ／ｋｇに決定された。それに応じて、試験マウスは、６匹ずつの６つのグループに分けられた。実験の朝に、全てのマウスの左耳及び右耳に、それぞれ黄色及び青色の蛍光染料が塗られた。これらの蛍光染料は、モニタされることになる特徴点又はターゲットとしての役割を果たす。生理食塩水（０．９％ＮａＣｌ）の中に濃度０．２〜２ｇ／１０ｍｌを有するエタノール溶液が毎日新たに調合された。全てのマウスが体重を測定され、その後、選択された投与量に従ってエタノール溶液を注射された。その後、マウスは、行動モニタリング前に、１０分間、モニタリング・システム内の動物コンテナに入れられた。モニタリング室の内部は、蛍光染料を刺激するために、暗光によって照明された。モニタリング毎に、１０分間、ビデオ画像シーケンスが録画され、その後、コンピュータハードディスク上に格納された。録画されたビデオシーケンスは、特徴点の運動軌跡の３−Ｄ再構成及びデータ後処理のために後に検索された。各モニタリング過程が終了した後に、動物コンテナは清掃された。
【０１１４】
運動パラメータは、マウス頭部の再構成された３−Ｄ軌跡から計算される。マウス頭部の位置は、マウスの２つの耳の中間点と見なされた。統計的に分析されるパラメータは、運動速度、角速度、加速度、及び軌跡中心からの距離（ＤＦＣ）を含んだ。図２１は、マウス頭部の上下運動速度のグループ平均及び標準偏差を示す。図２２は、マウス頭部の軌跡中心からの３−Ｄ距離（ＤＦＣ）のグループ平均及び標準偏差を示す。試験マウスの立ち上がり行動を分析するために、マウス頭部が異なる高さにあるときの時間の平均持続時間が、グループ毎に計算された。以下の４つの高さ区分、すなわち１７ｍｍ未満、１７ｍｍ〜２５ｍｍ、２５ｍｍ〜４５ｍｍ及び４５ｍｍよりも上が指定され、最後の区分は、マウスの立ち上がり運動に対応する。各高さ区分の持続時間が、各投与量グループ間で比較される。図２３は、各グループのマウス頭部の高さの分布を示す。図２４は、種々のエタノール投与量がマウスの立ち上がり行動に及ぼす影響を示す。動物コンテナの後ろ半分において費やされる時間（隠れ傾向）も計算され、グループ間で比較される。探究傾向の指示として、動物コンテナの４つの角において費やされる時間も計算され、比較される。図２５は、マウスが動物コンテナの後ろ半分にいる時間パーセンテージのグループ平均及び標準偏差を示す。図２６は、マウスが動物コンテナの角にいる時間パーセンテージのグループ平均及び標準偏差を示す。
【０１１５】
これらの行動評価指標をグループ毎に比較するために、対象物（Subject）のｔ検定（test）が用いられる。表７は、マウス頭部の上下速度に関するグループ毎の平均を比較した結果を示しており、「＊」は、比較される２つのグループ間の関連する運動パラメータの著しい差を表す。表８は、マウス頭部の軌跡中心からの３−Ｄ距離に関するグループ毎の平均を比較した結果を示す。表９は、モニタリング過程中の立ち上がりの時間パーセンテージに関するグループ毎の平均を比較した結果を示す。
【０１１６】
図１５は、マウス頭部の再構成された３−Ｄ運動軌跡の例を示しており、（Ａ）及び（Ｄ）はエタノールを注射されていない対照マウスであり、（Ｂ）及び（Ｅ）は体重で正規化されたエタノール濃度０．２ｇ／ｋｇでエタノールを注射された後の試験マウスであり、（Ｃ）及び（Ｆ）は体重で正規化されたエタノール濃度２．０ｇ／ｋｇでエタノールを注射された後の試験マウスである。
【０１１７】
マウス頭部の運動パラメータに関する統計分析から、対照グループ（生理食塩水のみ）と比較されるとき、そして時には実験グループと比較されるときに、８つの基本運動パラメータ（３−Ｄ速度、３−Ｄ角速度、３−Ｄ加速度、ＤＦＣ、ＸＹ平面上の３−Ｄ速度の投影、ＸＹ平面上の３−Ｄ角速度の投影、Ｚ軸に沿った速度、ｚ軸に沿った角速度）が全て、著しい差（Ｐ＜０．０５又はＰ＜０．００１）をもたらした（たとえば、表７及び表８を参照）。
【０１１８】
４つの高さ区分の高さ分布は、２．０ｇ／ｋｇグループの場合に特に著しい差を示した（表９を参照）。
【０１１９】
保持枠の後ろ半分において費やされる時間は、何ら差を示さなかった（図２５を参照）。
【０１２０】
４つの角において費やされる時間は、グループのうちのいくつかの間で著しく異なった（図２６を参照）。
【０１２１】
その３−Ｄ行動モニタリング・システムは、エタノールに引き起こされる毒性にさらされる運動関連の行動の小さな変化を区別するための効率的な手段であることが証明された。これらの差は目では検出できなかったが、それらは投与量に依存し、再現可能である。その研究では、試験グループ内に６匹の試験動物しか含まれないが、既に数多くのペア比較において、統計的有意性が検出されている。各グループ内にさらに多くの試験動物がいる場合でも、同じ処理を用いることによって、任意の化学薬品への反応に関して、全てのタイプのマウスを試験することができ、正確な結果をもたらすことができる。
【図面の簡単な説明】
【０１２２】
【図１】一例として魚の水泳行動のモニタリングが用いられる、本発明の１つの例示的な３−Ｄ動物行動モニタリング・システムの概略図である。
【図２】マウス又はラットの移動活動、ホーム・ケージ活動及び歩行路をモニタするために適用することができる、本発明の３−Ｄ動物行動モニタリング・システムの１つの例示的な実施形態の概略図である。
【図３】可視インジケータとして多数の着色端を有する較正パターンを用いる、本発明のステレオシステムを較正するための、本発明の１つの例示的なハードウエア・ベース較正デバイス・コンポーネントを示す図である。
【図４】実際のカメラに関連付けられる視認エリア内にある、高輝度発光ダイオード（ＬＥＤ）の形をとる多数の可視インジケータを用いる自動較正パターンの画像を示す図である。
【図５】空の水槽の収集されたステレオ画像を示す図であり、３つの領域が実際のカメラ及びバーチャル・カメラの視認エリアに対応し、バウンディング・ボックス内に表示される。
【図６】対応する可視インジケータ・セットの画像と、鏡面の得られた垂線から計算される、鏡位置のための計算方法を示す図である。
【図７】ｅｉｊがカメラｉ及びｊによって形成されるエピポールを表し、Ｍｉが視野ｉ内の可視インジケータの対応する画像を表す、図１に示されるような、実際のカメラ０並びに２台のバーチャル・カメラ１及び２によって形成される本発明のエピポーラ構造を例示する図である。
【図８】レイトレーシング法を用いることによる前方屈折及び後方屈折過程を示す図であり、この過程は、水中動物をモニタする際に、拡張システムの較正、対応検出及び３−Ｄ再構成において適用される。
【図９】水中動物の３−Ｄ水泳軌跡をモニタするためのリアルタイム且つオンラインの処理の流れ図である。
【図１０】本発明の対応するソフトウエア・コンポーネントを適用することによって、試験魚が識別され、タギングされ、そして追跡される画像フレームを示す図であり、左上が元のフレームであり、右上が試験魚にタグが割り当てられている処理済のフレームであり、下が試験魚の再構成された３−Ｄ運動軌跡である。
【図１１】本発明の対応するソフトウエア・コンポーネントによって、試験マウスの２つの特徴点が識別され、タギングされ、そして追跡される画像フレームを示す図であり、左上が元のフレームであり、右上が試験マウス上にある特徴点にタグが割り当てられている処理済のフレームであり、下が試験マウス上にある特徴点の再構成された３−Ｄ運動軌跡である。
【図１２】アルコール中毒試験における３匹のキンギョの再構成された３−Ｄ水泳軌跡の例を示す図であり、モニタリング時間が５分であり、（Ａ）がエタノールを加えられない対照グループであり、（Ｂ）がエタノール／水容積濃度０．２５％を加えられた試験グループであり、（Ｃ）がエタノール／水容積濃度０．５％を加えられた試験グループであり、（Ｄ）がエタノール／水容積濃度１．０％を加えられた試験グループであり、（Ｅ）エタノール／水容積濃度１．５％を加えられた試験グループである。
【図１３】アルコール中毒試験における３匹のキンギョの再構成された３−Ｄ水泳軌跡の別の例を示す図であり、モニタリング時間が５分であり、（Ａ）がエタノールを加えられない対照グループであり、（Ｂ）がエタノール／水容積濃度０．２５％を加えられた試験グループであり、（Ｃ）がエタノール／水容積濃度０．５％を加えられた試験グループであり、（Ｄ）がエタノール／水容積濃度１．０％を加えられた試験グループであり、（Ｅ）エタノール／水容積濃度１．５％を加えられた試験グループである。
【図１４】アルコール中毒試験における１匹のゼブラフィッシュの再構成された３−Ｄ水泳軌跡の例を示す図であり、モニタリング時間が１５分であり、（Ａ）が水にエタノールを加えられない対照であり、（Ｂ）がエタノール／水容積濃度０．２５％を加えられた試験ゼブラフィッシュであり、（Ｃ）がエタノール／水容積濃度０．５％を加えられた試験ゼブラフィッシュである。
【図１５】腹部エタノール注射後のマウス頭部の再構成された３−Ｄ運動軌跡の例を示す図であり、モニタリング時間が１０分であり、（Ａ）及び（Ｄ）がエタノールを注射されていない対照マウスであり、（Ｂ）及び（Ｅ）が体重で正規化されたエタノール濃度０．２ｇ／ｋｇのエタノールを注射された後の試験マウスであり、（Ｃ）及び（Ｆ）が体重で正規化されたエタノール濃度２．０ｇ／ｋｇのエタノールを注射された後の試験マウスである。
【図１６】腹部カフェイン注射後のマウス頭部の再構成された３−Ｄ軌跡の例を示す図であり、モニタリング時間が１０分であり、（１．Ａ）及び（２．Ａ）がカフェインを注射されていない対照マウスであり、（１．Ｂ）及び（２．Ｂ）が体重で正規化されたカフェイン濃度６．２５ｇ／ｋｇのカフェインを注射された後の試験マウスであり、（１．Ｃ）及び（２．Ｃ）が体重で正規化されたカフェイン濃度１２．５ｇ／ｋｇのカフェインを注射された後の試験マウスであり、（１．Ｄ）及び（２．Ｄ）が体重で正規化されたカフェイン濃度２５ｇ／ｋｇのカフェインを注射された後の試験マウスであり、（１．Ｅ）及び（２．Ｅ）が体重で正規化されたカフェイン濃度１００ｇ／ｋｇのカフェインを注射された後の試験マウスである。
【図１７】アルコール中毒試験におけるキンギョの水泳速力及び水泳速度のサンプル時系列を示す図であり、（Ａ）が３−Ｄ空間内の水泳速力を示し、（Ｂ）がＸ方向における水泳速度を示し（Ｘ方向は図１１に示される）、（Ｃ）がＹ方向における水泳速度を示し（Ｙ方向は図１１に示される）、（Ｄ）がＺ方向における水泳速度を示し（Ｚ方向は図１１に示される）、（１）が対照魚であり、（２）がエタノール／水容積濃度０．２５％を加えられた試験魚であり、（３）がエタノール／水容積濃度０．５％を加えられた試験魚であり、（４）がエタノール／水容積濃度１．０％を加えられた試験魚であり、（５）がエタノール／水容積濃度１．５％を加えられた試験魚である。
【図１８】アルコール中毒試験におけるキンギョの旋回速力及び旋回速度のサンプル時系列を示す図であり、（Ａ）が３−Ｄ空間内の旋回速力を示し、（Ｂ）がＸ軸を中心にした旋回速度を示し（Ｘ軸は図１１に示される）、（Ｃ）がＹ軸を中心にした旋回速度を示し（Ｙ軸は図１１に示される）、（Ｄ）がＺ軸を中心にした旋回速度を示し（Ｚ軸は図１１に示される）、（１）が対照魚であり、（２）がエタノール／水容積濃度０．２５％を加えられた試験魚であり、（３）がエタノール／水容積濃度０．５％を加えられた試験魚であり、（４）がエタノール／水容積濃度１．０％を加えられた試験魚であり、（５）がエタノール／水容積濃度１．５％を加えられた試験魚である。
【図１９】アルコール中毒試験におけるキンギョの軌跡中心からの距離及び変位のサンプル時系列を示す図であり、（Ａ）が３−Ｄ空間内の軌跡中心からの距離を示し、（Ｂ）がＸ方向における軌跡中心からの変位を示し（Ｘ方向は図１１に示される）、（Ｃ）がＹ方向における軌跡中心からの変位を示し（Ｙ方向は図１１に示される）、（Ｄ）がＺ方向における軌跡中心からの変位を示し（Ｚ方向は図１１に示される）、（１）が対照魚であり、（２）がエタノール／水容積濃度０．２５％を加えられた試験魚であり、（３）がエタノール／水容積濃度０．５％を加えられた試験魚であり、（４）がエタノール／水容積濃度１．０％を加えられた試験魚であり、（５）がエタノール／水容積濃度１．５％を加えられた試験魚である。
【図２０】アルコール中毒試験におけるキンギョの行動反応曲線のサンプルを示す図であり、（Ａ）が軌跡中心からの平均距離対エタノール濃度の推定値、信頼区間及び反応曲線を示し、（Ｂ）が平均３−Ｄ直線速力対エタノール濃度の推定値、信頼区間及び反応曲線を示し、（Ｃ）が平均３−Ｄ角速度対エタノール濃度の推定値、信頼区間及び反応曲線を示す。
【図２１】例２（エタノールによって引き起こされるマウスの行動変化）の実験から得られる、マウス頭部の上下運動速度のグループ平均及び標準偏差を示す図である。
【図２２】例２（エタノールによって引き起こされるマウスの行動変化）の実験から得られる、マウス頭部の軌跡中心からの３−Ｄ距離（ＤＦＣ）のグループ平均及び標準偏差を示す図である。
【図２３】例２（エタノールによって引き起こされるマウスの行動変化）の実験から得られる、マウスが種々の投与量でエタノール溶液を注射されるときのマウス頭部の高さのグループ毎の分布を示す図である。
【図２４】例２（エタノールによって引き起こされるマウスの行動変化）の実験から得られる、エタノール注射がマウスの立ち上がり行動に及ぼす影響を示す図である。
【図２５】マウスが動物コンテナの後ろ半分にいる時間パーセンテージのグループ平均及び標準偏差を示す図であり、これは、例２（エタノールによって引き起こされるマウスの行動変化）の実験から得られる。
【図２６】マウスが動物コンテナの角にいる時間パーセンテージのグループ平均及び標準偏差を示す図であり、これは、例２（エタノールによって引き起こされるマウスの行動変化）の実験から得られる。
【図２７】齧歯類の夜間行動のためのオンライン及びリアルタイムのモニタリング過程のための本発明の１つの例示的なグラフィカル・ユーザ・インターフェース（ＧＵＩ）を示す図であり、周囲照明源としてバックライトが使用され、一方、齧歯類の耳の上にある特徴点が蛍光染料を塗布される。
【図２８】内部ハードウエア部品の構成を示すために、フレームから外側カバーが外されている、本発明の３−Ｄ行動モニタリング・システムの１つの例示的なハードウエア・アセンブリを示す図である。
【図２９】ｄ、ｖ、ａがそれぞれ直線変位、直線速度及び直線加速度を表し、φ、ω及びαがそれぞれ角変位、角速度及び角加速度を表す、２−Ｄ及び３−Ｄのビデオ・システムによってモニタされる運動軌跡から抽出することができる例示的な基本的な運動学的属性の表であり、２−Ｄシステムでは、座標系を、設定されたカメラ軸Ｚでカメラ像平面においてのみ自由に変換することができるが、３−Ｄシステムでは座標変換に制限がない。
【図３０】行動評価指標を得るためにさらに統計的に分析するために用いられる、時間領域及び周波数領域の両方における例示的な運動パラメータの表であり、これらの系列は、データ後処理コンポーネントによって、再構成された３−Ｄ運動軌跡から自動的に導出され、この表では、｛Ｘ，Ｙ，Ｚ｝が、種々の要件に応じて張り付けられるか又は変形することができる３−Ｄ空間内の任意のデカルト座標を表す。
【図３１】水にエタノールを加えることによって引き起こされるキンギョの３−Ｄ水泳移動の変化がモニタ及び分析される、例１（キンギョへのアルコール中毒試験）のグループ分けの表である。
【図３２】「＊」が比較されるグループ間の関連する運動パラメータの著しい差分を表す、例１のキンギョへのアルコール中毒試験における、中心からの平均距離、３−Ｄ水泳速力、及び３−Ｄ旋回速度の一元分散分析（ＡＮＯＶＡ）の結果を示す表である。
【図３３】「＊」が比較されるグループ間の関連する運動パラメータの著しい差を表す、例１のキンギョへのアルコール中毒試験における、中心からの平均距離の事後平均比較からの結果を示す表である。
【図３４】「＊」が比較されるグループ間の関連する運動パラメータの著しい差を表す、例１のキンギョへのアルコール中毒試験における、平均３−Ｄの事後平均比較からの結果の表である。
【図３５】「＊」が比較される２つのグループ間の著しい差を表す、例２（エタノールによって引き起こされるマウスの行動変化）からのマウス頭部の上下速度のグループ毎の平均比較の結果の表である。
【図３６】「＊」が比較される２つのグループ間の著しい差を表す、例２（エタノールによって引き起こされるマウスの行動変化）からのマウス頭部の軌跡中心からの３−Ｄ距離のグループ毎の平均比較の結果の表である。
【図３７】「＊」が比較される２つのグループ間の著しい差を表す、例２（エタノールによって引き起こされるマウスの行動変化）からのモニタリング過程中の立ち上がりの時間パーセンテージのグループ毎の平均比較の結果の表である。
【特許請求の範囲】
【請求項１】
少なくとも１台の実際のカメラと、少なくとも１台のバーチャル・カメラと、前記実際のカメラにリンクされるコンピュータとを備える３次元モニタリング・システムであって、少なくとも１つの対象物の運動関連の行動をモニタし、分析する、３次元モニタリング・システム。
【請求項２】
少なくとも１台の実際のカメラと、少なくとも１台のバーチャル・カメラと、前記実際のカメラにリンクされるコンピュータとを備える３次元モニタリング・システムであって、拡張較正コンポーネントを含む、３次元モニタリング・システム。
【請求項３】
少なくとも１台の実際のカメラと、少なくとも１台のバーチャル・カメラと、前記実際のカメラにリンクされるコンピュータとを備える３次元モニタリング・システムであって、２つ以上の対象物の運動関連の行動をモニタし、分析する、３次元モニタリング・システム。
【請求項４】
前記コンピュータはソフトウエアをインストールされる、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項５】
３つの並進及び３つの回転を含む６つの自由度において対象物の運動関連の行動をモニタし、分析する、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項６】
１つ又は複数の対象物の３次元の運動関連の行動をモニタすることができる、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項７】
１つ又は複数の対象物上の１つ又は複数の特徴点の３次元の運動関連の行動をモニタすることができる、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項８】
オンライン・モード又はオフライン・モードにおいて行動モニタリングを実行することができる、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項９】
前記実際のカメラは、デジタル・ビデオカメラと、フレーム・グラバーを有するアナログビデオカメラとから成るグループから選択される、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項１０】
前記バーチャル・カメラは、反射表面と、前記実際のカメラと同期しているカメラとから成るグループから選択される、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項１１】
前記バーチャル・カメラは、前記実際のカメラを反射表面に反射することによって得られる、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項１２】
反射屈折ステレオシステムである、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項１３】
前記実際のカメラは、前記ターゲットの画像と、前記反射表面における該ターゲットの鏡像とをキャプチャする、請求項１０又は１１に記載の３次元モニタリング・システム。
【請求項１４】
２台以上の実際のカメラをさらに備える、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項１５】
２台以上のバーチャル・カメラをさらに備える、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項１６】
前記実際のカメラは、フレーム毎に画像を収集することができる、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項１７】
前記カメラは２つ以上の線形独立の視野を形成する、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項１８】
閉ざされた空間内に前記カメラ及び動物コンテナを閉じ込める外枠をさらに備える、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項１９】
発光ダイオード（ＬＥＤ）又は着色端から成るグループから選択される可視インジケータデバイスをさらに備える、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項２０】
前記可視インジケータデバイスは、電子パネル及びプログラブル・コンピュータ・ポートをさらに備え、それによって、前記可視インジケータは自動的にオン及びオフされる、請求項１９に記載の３次元モニタリング・システム。
【請求項２１】
動物コンテナをさらに備える、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項２２】
前記動物コンテナは、第１のモニタリング窓及び第２のモニタリング窓を画定する少なくとも２つの垂直な面を有する、請求項２１に記載の３次元モニタリング・システム。
【請求項２３】
自身の上に反射画像が形成されるのを防ぐために不透明な面をさらに備える、請求項２２に記載の３次元モニタリング・システム。
【請求項２４】
前記対象物は、齧歯類、魚、昆虫、蠕虫、両生類、爬虫類及び哺乳類から成るグループから選択される、請求項１に記載の３次元モニタリング・システム。
【請求項２５】
前記実際のカメラの軸は、前記第１のモニタリング窓の平面上にあり、前記バーチャル・カメラの軸は前記第２のモニタリング窓の平面上にある、請求項２２に記載の３次元モニタリング・システム。
【請求項２６】
前記コンピュータは、較正コンポーネント、ステレオ画像処理コンポーネント、ターゲットの追跡及び識別のコンポーネント、及び３−Ｄ再構成コンポーネントを含む、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項２７】
前記コンピュータはノイズ除去コンポーネントを含む、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項２８】
前記ノイズ除去コンポーネントは、照明条件の変化によって、且つ／又は誤ってセグメント化された画像によって引き起こされるノイズを検出する、請求項２７に記載の３次元モニタリング・システム。
【請求項２９】
前記ノイズ除去コンポーネントは、ノイズによって引き起こされる前記誤差を自動的に除去する、請求項２７に記載の３次元モニタリング・システム。
【請求項３０】
前記コンピュータは運動関連の行動分析コンポーネントを含む、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項３１】
前記運動関連の行動分析コンポーネントは、前記ターゲットの再構成された３次元運動軌跡から、運動学的分析及び統計分析を実行する、請求項３０に記載の３次元モニタリング・システム。
【請求項３２】
前記較正コンポーネントは、基本較正コンポーネント及び拡張較正コンポーネントをさらに含む、請求項２６に記載の３次元モニタリング・システム。
【請求項３３】
前記基本較正コンポーネントは、反射表面及びバーチャル・カメラを較正する、請求項３２に記載の３次元モニタリング・システム。
【請求項３４】
前記拡張較正コンポーネントは、屈折界面を較正する、請求項３２に記載の３次元モニタリング・システム。
【請求項３５】
前記拡張較正コンポーネントは、前方屈折及び後方屈折を含むレイトレーシング法を用いる、請求項３２に記載の３次元モニタリング・システム。
【請求項３６】
前記ステレオ画像処理コンポーネントはさらに、エピポーラ構造導出（epipolar structure derivation）コンポーネント、画像セグメンテーション・コンポーネント及び画像対応検出コンポーネントをさらに含む、請求項２６に記載の３次元モニタリング・システム。
【請求項３７】
前記エピポーラ構造導出コンポーネントは、単一の媒質において直線エピポーラ構造を導出する、請求項３６に記載の３次元モニタリング・システム。
【請求項３８】
前記エピポーラ構造導出コンポーネントは、光が２つ以上の媒質を通過するときに、非直線エピポーラ構造を導出する、請求項３６に記載の３次元モニタリング・システム。
【請求項３９】
前記直線エピポーラ構造は、前記カメラの較正されたパラメータから導出される、請求項３７に記載の３次元モニタリング・システム。
【請求項４０】
前記非直線エピポーラ構造は、前記カメラの較正されたパラメータ及び屈折界面から導出される、請求項３８に記載の３次元モニタリング・システム。
【請求項４１】
前記画像セグメンテーション・コンポーネントは、背景減算法若しくは色空間セグメンテーション法、又はそれらの組み合わせを用いる、請求項３６に記載の３次元モニタリング・システム。
【請求項４２】
前記背景減算法は、背景画像を自動的且つ適応的に更新する、請求項４１に記載の３次元モニタリング・システム。
【請求項４３】
前記画像対応検出コンポーネントは、全ての視野内の前記ターゲットの画像間の対応を検出する、請求項３６に記載の３次元モニタリング・システム。
【請求項４４】
前記画像対応検出コンポーネントは、エピポーラ幾何学的構造（geometry）制約を用いることによって、対応検出を実行する、請求項３６に記載の３次元モニタリング・システム。
【請求項４５】
前記ターゲットの追跡及び識別のコンポーネントは、３−Ｄ運動追跡及びターゲット識別の能力を有する、請求項２６に記載の３次元モニタリング・システム。
【請求項４６】
前記３−Ｄ運動追跡は、全ての視野内及び２つの連続した画像フレーム内のターゲットの前記関連する画像を検出する、請求項４５に記載の３次元モニタリング・システム。
【請求項４７】
前記３−Ｄ運動追跡は、画像対応検出から得られる対応する画像セットを抽出する、請求項４５に記載の３次元モニタリング・システム。
【請求項４８】
前記３−Ｄ運動追跡は、３−Ｄカルマン予測子・修正子法をさらに用いて、２つの連続したフレームにわたって前記ターゲット画像を追跡する、請求項４７に記載の３次元モニタリング・システム。
【請求項４９】
前記ターゲットの追跡及び識別のコンポーネントは、収集されたフレーム上で前記ターゲット画像を識別し、該ターゲット画像に自動的にタグを割り当てる、請求項４５に記載の３次元モニタリング・システム。
【請求項５０】
前記ターゲットの追跡及び識別のコンポーネントは、空間整合性若しくは時間整合性、及び／又はそれらの組み合わせにエネルギー原理の最小値を適用することによって、前記ターゲット画像を識別する、請求項４５に記載の３次元モニタリング・システム。
【請求項５１】
前記空間整合性は、対応するターゲット画像がエピポーラ制約を満たす傾向である、請求項５０に記載の３次元モニタリング・システム。
【請求項５２】
前記時間整合性は、ターゲットに関連付けられる画像が、短時間、同じターゲットの先行する画像の近くにある傾向である、請求項５０に記載の３次元モニタリング・システム。
【請求項５３】
前記ターゲットの追跡及び識別のコンポーネントは、多数の対象物に物理的なタグを取り付けることなく、該対象物を識別することができる、請求項４５に記載の３次元モニタリング・システム。
【請求項５４】
前記ターゲットの追跡及び識別のコンポーネントは、対象物上の多数の特徴点に物理的なタグを取り付けることなく、該特徴点を識別することができる、請求項４５に記載の３次元モニタリング・システム。
【請求項５５】
前記３−Ｄ再構成コンポーネントは、ターゲット画像から、前記ターゲットの３次元位置を再構成する、請求項２６に記載の３次元モニタリング・システム。
【請求項５６】
前記３−Ｄ再構成コンポーネントは、２つ以上の独立した視野から、前記ターゲットの３次元位置を再構成する、請求項２６に記載の３次元モニタリング・システム。
【請求項５７】
前記３−Ｄ再構成コンポーネントは、三角測量法を用いることによって、３次元再構成を実行する、請求項２６に記載の３次元モニタリング・システム。
【請求項１】
少なくとも１台の実際のカメラと、少なくとも１台のバーチャル・カメラと、前記実際のカメラにリンクされるコンピュータとを備える３次元モニタリング・システムであって、少なくとも１つの対象物の運動関連の行動をモニタし、分析する、３次元モニタリング・システム。
【請求項２】
少なくとも１台の実際のカメラと、少なくとも１台のバーチャル・カメラと、前記実際のカメラにリンクされるコンピュータとを備える３次元モニタリング・システムであって、拡張較正コンポーネントを含む、３次元モニタリング・システム。
【請求項３】
少なくとも１台の実際のカメラと、少なくとも１台のバーチャル・カメラと、前記実際のカメラにリンクされるコンピュータとを備える３次元モニタリング・システムであって、２つ以上の対象物の運動関連の行動をモニタし、分析する、３次元モニタリング・システム。
【請求項４】
前記コンピュータはソフトウエアをインストールされる、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項５】
３つの並進及び３つの回転を含む６つの自由度において対象物の運動関連の行動をモニタし、分析する、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項６】
１つ又は複数の対象物の３次元の運動関連の行動をモニタすることができる、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項７】
１つ又は複数の対象物上の１つ又は複数の特徴点の３次元の運動関連の行動をモニタすることができる、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項８】
オンライン・モード又はオフライン・モードにおいて行動モニタリングを実行することができる、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項９】
前記実際のカメラは、デジタル・ビデオカメラと、フレーム・グラバーを有するアナログビデオカメラとから成るグループから選択される、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項１０】
前記バーチャル・カメラは、反射表面と、前記実際のカメラと同期しているカメラとから成るグループから選択される、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項１１】
前記バーチャル・カメラは、前記実際のカメラを反射表面に反射することによって得られる、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項１２】
反射屈折ステレオシステムである、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項１３】
前記実際のカメラは、前記ターゲットの画像と、前記反射表面における該ターゲットの鏡像とをキャプチャする、請求項１０又は１１に記載の３次元モニタリング・システム。
【請求項１４】
２台以上の実際のカメラをさらに備える、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項１５】
２台以上のバーチャル・カメラをさらに備える、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項１６】
前記実際のカメラは、フレーム毎に画像を収集することができる、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項１７】
前記カメラは２つ以上の線形独立の視野を形成する、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項１８】
閉ざされた空間内に前記カメラ及び動物コンテナを閉じ込める外枠をさらに備える、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項１９】
発光ダイオード（ＬＥＤ）又は着色端から成るグループから選択される可視インジケータデバイスをさらに備える、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項２０】
前記可視インジケータデバイスは、電子パネル及びプログラブル・コンピュータ・ポートをさらに備え、それによって、前記可視インジケータは自動的にオン及びオフされる、請求項１９に記載の３次元モニタリング・システム。
【請求項２１】
動物コンテナをさらに備える、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項２２】
前記動物コンテナは、第１のモニタリング窓及び第２のモニタリング窓を画定する少なくとも２つの垂直な面を有する、請求項２１に記載の３次元モニタリング・システム。
【請求項２３】
自身の上に反射画像が形成されるのを防ぐために不透明な面をさらに備える、請求項２２に記載の３次元モニタリング・システム。
【請求項２４】
前記対象物は、齧歯類、魚、昆虫、蠕虫、両生類、爬虫類及び哺乳類から成るグループから選択される、請求項１に記載の３次元モニタリング・システム。
【請求項２５】
前記実際のカメラの軸は、前記第１のモニタリング窓の平面上にあり、前記バーチャル・カメラの軸は前記第２のモニタリング窓の平面上にある、請求項２２に記載の３次元モニタリング・システム。
【請求項２６】
前記コンピュータは、較正コンポーネント、ステレオ画像処理コンポーネント、ターゲットの追跡及び識別のコンポーネント、及び３−Ｄ再構成コンポーネントを含む、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項２７】
前記コンピュータはノイズ除去コンポーネントを含む、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項２８】
前記ノイズ除去コンポーネントは、照明条件の変化によって、且つ／又は誤ってセグメント化された画像によって引き起こされるノイズを検出する、請求項２７に記載の３次元モニタリング・システム。
【請求項２９】
前記ノイズ除去コンポーネントは、ノイズによって引き起こされる前記誤差を自動的に除去する、請求項２７に記載の３次元モニタリング・システム。
【請求項３０】
前記コンピュータは運動関連の行動分析コンポーネントを含む、請求項１〜３のいずれか一項に記載の３次元モニタリング・システム。
【請求項３１】
前記運動関連の行動分析コンポーネントは、前記ターゲットの再構成された３次元運動軌跡から、運動学的分析及び統計分析を実行する、請求項３０に記載の３次元モニタリング・システム。
【請求項３２】
前記較正コンポーネントは、基本較正コンポーネント及び拡張較正コンポーネントをさらに含む、請求項２６に記載の３次元モニタリング・システム。
【請求項３３】
前記基本較正コンポーネントは、反射表面及びバーチャル・カメラを較正する、請求項３２に記載の３次元モニタリング・システム。
【請求項３４】
前記拡張較正コンポーネントは、屈折界面を較正する、請求項３２に記載の３次元モニタリング・システム。
【請求項３５】
前記拡張較正コンポーネントは、前方屈折及び後方屈折を含むレイトレーシング法を用いる、請求項３２に記載の３次元モニタリング・システム。
【請求項３６】
前記ステレオ画像処理コンポーネントはさらに、エピポーラ構造導出（epipolar structure derivation）コンポーネント、画像セグメンテーション・コンポーネント及び画像対応検出コンポーネントをさらに含む、請求項２６に記載の３次元モニタリング・システム。
【請求項３７】
前記エピポーラ構造導出コンポーネントは、単一の媒質において直線エピポーラ構造を導出する、請求項３６に記載の３次元モニタリング・システム。
【請求項３８】
前記エピポーラ構造導出コンポーネントは、光が２つ以上の媒質を通過するときに、非直線エピポーラ構造を導出する、請求項３６に記載の３次元モニタリング・システム。
【請求項３９】
前記直線エピポーラ構造は、前記カメラの較正されたパラメータから導出される、請求項３７に記載の３次元モニタリング・システム。
【請求項４０】
前記非直線エピポーラ構造は、前記カメラの較正されたパラメータ及び屈折界面から導出される、請求項３８に記載の３次元モニタリング・システム。
【請求項４１】
前記画像セグメンテーション・コンポーネントは、背景減算法若しくは色空間セグメンテーション法、又はそれらの組み合わせを用いる、請求項３６に記載の３次元モニタリング・システム。
【請求項４２】
前記背景減算法は、背景画像を自動的且つ適応的に更新する、請求項４１に記載の３次元モニタリング・システム。
【請求項４３】
前記画像対応検出コンポーネントは、全ての視野内の前記ターゲットの画像間の対応を検出する、請求項３６に記載の３次元モニタリング・システム。
【請求項４４】
前記画像対応検出コンポーネントは、エピポーラ幾何学的構造（geometry）制約を用いることによって、対応検出を実行する、請求項３６に記載の３次元モニタリング・システム。
【請求項４５】
前記ターゲットの追跡及び識別のコンポーネントは、３−Ｄ運動追跡及びターゲット識別の能力を有する、請求項２６に記載の３次元モニタリング・システム。
【請求項４６】
前記３−Ｄ運動追跡は、全ての視野内及び２つの連続した画像フレーム内のターゲットの前記関連する画像を検出する、請求項４５に記載の３次元モニタリング・システム。
【請求項４７】
前記３−Ｄ運動追跡は、画像対応検出から得られる対応する画像セットを抽出する、請求項４５に記載の３次元モニタリング・システム。
【請求項４８】
前記３−Ｄ運動追跡は、３−Ｄカルマン予測子・修正子法をさらに用いて、２つの連続したフレームにわたって前記ターゲット画像を追跡する、請求項４７に記載の３次元モニタリング・システム。
【請求項４９】
前記ターゲットの追跡及び識別のコンポーネントは、収集されたフレーム上で前記ターゲット画像を識別し、該ターゲット画像に自動的にタグを割り当てる、請求項４５に記載の３次元モニタリング・システム。
【請求項５０】
前記ターゲットの追跡及び識別のコンポーネントは、空間整合性若しくは時間整合性、及び／又はそれらの組み合わせにエネルギー原理の最小値を適用することによって、前記ターゲット画像を識別する、請求項４５に記載の３次元モニタリング・システム。
【請求項５１】
前記空間整合性は、対応するターゲット画像がエピポーラ制約を満たす傾向である、請求項５０に記載の３次元モニタリング・システム。
【請求項５２】
前記時間整合性は、ターゲットに関連付けられる画像が、短時間、同じターゲットの先行する画像の近くにある傾向である、請求項５０に記載の３次元モニタリング・システム。
【請求項５３】
前記ターゲットの追跡及び識別のコンポーネントは、多数の対象物に物理的なタグを取り付けることなく、該対象物を識別することができる、請求項４５に記載の３次元モニタリング・システム。
【請求項５４】
前記ターゲットの追跡及び識別のコンポーネントは、対象物上の多数の特徴点に物理的なタグを取り付けることなく、該特徴点を識別することができる、請求項４５に記載の３次元モニタリング・システム。
【請求項５５】
前記３−Ｄ再構成コンポーネントは、ターゲット画像から、前記ターゲットの３次元位置を再構成する、請求項２６に記載の３次元モニタリング・システム。
【請求項５６】
前記３−Ｄ再構成コンポーネントは、２つ以上の独立した視野から、前記ターゲットの３次元位置を再構成する、請求項２６に記載の３次元モニタリング・システム。
【請求項５７】
前記３−Ｄ再構成コンポーネントは、三角測量法を用いることによって、３次元再構成を実行する、請求項２６に記載の３次元モニタリング・システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【公表番号】特表２００９−５０００４２（Ｐ２００９−５０００４２Ａ）
【公表日】平成２１年１月８日（２００９．１．８）
【国際特許分類】
【出願番号】特願２００８−５２０４２１（Ｐ２００８−５２０４２１）
【出願日】平成１８年７月７日（２００６．７．７）
【国際出願番号】ＰＣＴ／ＵＳ２００６／０２６６０２
【国際公開番号】ＷＯ２００７／００８７１５
【国際公開日】平成１９年１月１８日（２００７．１．１８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ウィンドウズ
２．ＷＩＮＤＯＷＳ
３．ＵＮＩＸ
４．Ｌｉｎｕｘ
【出願人】（５０８００６３００）インジーニアス・ターゲティング・ラボラトリー・インコーポレーテッド (1)
【Ｆターム（参考）】
【公表日】平成２１年１月８日（２００９．１．８）
【国際特許分類】
【出願日】平成１８年７月７日（２００６．７．７）
【国際出願番号】ＰＣＴ／ＵＳ２００６／０２６６０２
【国際公開番号】ＷＯ２００７／００８７１５
【国際公開日】平成１９年１月１８日（２００７．１．１８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ウィンドウズ
２．ＷＩＮＤＯＷＳ
３．ＵＮＩＸ
４．Ｌｉｎｕｘ
【出願人】（５０８００６３００）インジーニアス・ターゲティング・ラボラトリー・インコーポレーテッド (1)
【Ｆターム（参考）】
[ Back to top ]