ビデオ内のオブジェクト自動検出方法及びシステム
【課題】ビデオ内のオブジェクトを自動的に検出する。
【解決手段】ビデオ入力がビデオ信号を受け、１つ以上のビデオ・モデルがビデオ信号からビデオ・データを発生する。色基準発生器は、ビデオ・データの予め選択された部分から色データを抽出し、色プロセッサは、色基準発生器から抽出された色データを用いて時間と伴に上記ビデオ・データを変調する。オブジェクト検出器は、時間的プロセッサに結合され、予め蓄積されたオブジェクト条件に対して、変調されたビデオ・データを比較する。
【解決手段】ビデオ入力がビデオ信号を受け、１つ以上のビデオ・モデルがビデオ信号からビデオ・データを発生する。色基準発生器は、ビデオ・データの予め選択された部分から色データを抽出し、色プロセッサは、色基準発生器から抽出された色データを用いて時間と伴に上記ビデオ・データを変調する。オブジェクト検出器は、時間的プロセッサに結合され、予め蓄積されたオブジェクト条件に対して、変調されたビデオ・データを比較する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ監視に関し、特に、ビデオ監視における光源補正による強調オブジェクト検出の方法及びシステムに関する。
【背景技術】
【０００２】
ムーアの法則の多くの利点の内の1つは、技術の価格が時間と伴に下がることである。この利点を享受する特定のマーケット分野は、ビデオ監視を含めたビデオ・マーケットである。
【０００３】
ビデオ監視の初期の用途は、異常な場面を連続的に観察するためのビデオ・カメラからの表示を人が視覚的に検査することを含んだ。必要が生じた際に、後でレビューするために録画を行い、蓄積する。この利用形態の１つの問題は、表示された場面に変化がない状態がしばしば長期間にわたるため、表示を観察する人が疲労することであった。後での監視処理には、ライブ又は事前に録画したビデオを自動的にモニタすることが含まれ、機械がビデオ表示のフレームを以前のフレームと比較し、変化が生じた際に合図を出した。かかる変化は、例えば、観察されている場面内で歩く人であった。更に、後での処理には、ブルに出入りする人を自動的に追跡することも含まれ、時には、身元を判断するために顔識別機能を含む。
【０００４】
しかし、これら自動化システムは、基礎的なビデオ信号の品質と程度に良好なだけである。多くの場合、最小の費用で最大領域をカバーするために、低品質カメラにより監視を行っている。カメラ、特に低品質のカメラの全ての品質は、一日の異なる時間中に、変化する光源の如き周囲ビデオ条件に影響される。さらに、ビデオ内の色つき光又はフラッシュ光の如き他の要因が、ライブ又は録画のビデオの自動分析を困難にする。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１９７５２７号公報
【特許文献２】特開２００３−１９９１２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の実施例では、従来技術のこれらの及びその他の制限を解決する。
【課題を解決するための手段】
【０００７】
上述の課題を解決するために、本発明は次のように構成される。
（１）可変照明条件下で照明されたオブジェクトを含むビデオ信号をビデオ入力で受け；上記ビデオ信号内の基準領域の色を測定し；上記測定した色を色基準入力として色プロセッサに供給し；上記測定した色を用いて上記ビデオ信号から発生したデータの色信号を調整するビデオ内のオブジェクト自動検出方法。
（２）上記ビデオ信号内の基準領域の色の測定は、上記基準領域の白色信号の測定である概念１のオブジェクト自動検出方法。
（３）白色信号の測定は、２つ以上の色分離信号から白色値を計算する概念２のオブジェクト自動検出方法。
（４）更に、上記調整された色信号及び人の皮膚の色基準を用いて人のオブジェクトを検出する概念１のオブジェクト自動検出方法。
（５）人の皮膚の色基準は、複数の異なる皮膚の色基準である概念４のオブジェクト自動検出方法。
（６）更に、調整色信号及び人特性データベースを用いて人オブジェクトを分類する概念１のオブジェクト自動検出方法。
（７）更に、監視下の建物内の人の数の現在の計数を維持する概念１のオブジェクト自動検出方法。
（８）可変照明条件下で照明された１つ以上の人の顔を含むビデオ信号をビデオ入力で受け；上記ビデオ信号内の基準領域の色を測定し；上記測定した色を色基準入力として色プロセッサに供給し；上記測定した色を用いて上記ビデオ信号の上記人の顔から発生したデータの色信号を調整する顔検出方法。
（９）上記ビデオ信号内の基準領域の色の測定は、上記基準領域の白色信号の測定である概念８の顔検出方法。
（１０）白色信号の測定は、２つ以上の色分離信号から白色値を計算する概念９の顔検出方法。
（１１）更に、上記調整済み色信号からの１つ以上の顔を１つ以上の蓄積された顔識別と関連させる概念８の顔検出方法。
（１２）ビデオ信号を受けるように構成されたビデオ入力と；上記ビデオ信号からビデオ・データを発生するように構成された１つ以上のビデオ・モデルと；上記ビデオ・データの予め選択された部分から色データを抽出するように構成された色基準発生器と；上記色基準発生器から抽出された色データを用いて時間と伴に上記ビデオ・データを変調するように構成された色プロセッサと；上記時間的プロセッサに結合され、予め蓄積されたオブジェクト条件に対して上記変調されたビデオ・データを比較するように構成されたオブジェクト検出器とを具えたオブジェクト自動検出用システム。
（１３）上記色基準発生器は、上記ビデオ信号内の周囲照明が変化するときに異なる出力を生じる概念１２のシステム。
（１４）上記ビデオ・データの上記予め選択された部分が壁の一部である概念１２のシステム。
（１５）上記色基準発生器は、自動色基準発生器である概念１２のシステム。
（１６）上記自動色基準発生器は、上記ビデオ信号の他の部分と比較して時間に対して比較的わずかな変化を有する上記ビデオ信号のターゲット領域を判断すると共に、上記ビデオ・データの上記予め選択された一部として上記判断されたターゲット領域を用いるように構成された概念１５のシステム。
（１７）上記色基準発生器は、上記ビデオ信号の１組のコーン応答の白色成分から形成された概念１２のシステム。
（１８）上記オブジェクト検出器は、顔認識データベースを具え、上記予め蓄積されたオブジェクト条件は顔の特徴である概念１２のシステム。
（１９）上記オブジェクト検出器は、皮膚検出器であり、上記予め選択されたオブジェクト条件は、人識別情報を含む概念１２のシステム。
（２０）上記オブジェクト検出器は、上記ビデオ信号に現れる予め選択されたオブジェクトの数を計数するように構成されたオブジェクト・カウンタである概念１２のシステム。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施例による移動イメージ用色分析を実現するシステムの機能ブロック図である。
【図２】本発明の実施例による図１のシステムの時間的処理コンポーネントの機能ブロック図である。
【図３】本発明の実施例による建物用監視システムの例のブロック図である。
【図４】本発明の実施例によるビデオ監視システムの例のコンポーネントを示すブロック図である。
【図５】本発明の実施例による時間的色補正の流れ図の例である。
【発明を実施するための形態】
【０００９】
周辺又は環境が変化すると、又は、他の色を見た後に観察すると、人の目の色知覚適合により、所定の一定の物理的光刺激を異なる色に見える。一般的には、ダイナミックな光刺激により、空間及び／又は時間の変化により、所定の静止光刺激の知覚が一般には変化したようにみえる。順応による色見えのこの明らかな変化における時間的経過は、多くの刺激状態に応じて決まる。
【００１０】
イルミネーション及び白色点の認識のディスカウントにより、人は、赤色光のみで照明されたリンゴを観察できると共に、リンゴが赤色か緑色かを依然判断できる。いくつかのアプリケーションにおいて、全体的な色のシフトの形式のディスカウントが望ましいが、他の場合には、ディスカウントが望ましくない。
【００１１】
凝視の可変能力に応じて、知覚色順応が非常に局部的になる。例えば、比較的長時間にわたって固定された点を凝視すると、色の知覚が低下する。代わりに、色順応は、主に、白色でないイルミネーション又はイメージからの他の色によるバイアスの如きバイアスに、全体的に基づいている。固定点での長時間の凝視による局部的な色順応効果により、色残像となり、これは、効果において、ある色に対する目の感度抑圧の結果である。いくつかのアプリケーションにおいて、ほとんど劇的であるこれら局部的順応の影響を予測することは、ビデオ品質を予測するために重要である。他のアプリケーションにおいて、たぶん、全体的な効果のみが関心事である。
【００１２】
正式なフランス名がCommission internatinale de I'eclairageであるためＣＩＥと略称されるイルミネーションの国際委員会は、最初のCIE Luvが１９７６年に導入以来、いくつかの改善された色見えモデル（ＣＡＭ）を考案した。現在の最も正確なＣＡＭは、参照文献として一体に考慮するＣＩＥＣＡＭ０２として知られている国際標準ＣＡＭである。ＣＩＥＣＡＭ０２開発チームの一部は、ＣＩＥＣＡＭ０２に基づいた静止イメージ色見えモデルｉＣＡＭ及びｉＣＡＭ０６を開発した。これら両方は、イメージの空間的処理を含んでおり、後者は、高いダイナミックのイルミネーション・レンジを扱う余分な処理がある。依然として国際標準がないが、空間応答に影響する距離又は類似の要因を観察する際に、変化を考慮していない。一方、ＣＩＥＣＡＭ０２は、そのオリジナルの用途を広く受け入れられることがわかった。これは、異なる照明環境において、主に、一致する塗料の如き反射光アプリケーション用である。反射光アプリケーションは、彩度及び輝度レベルにおける最大値を除いて直接光よりも小さな全域を示す。しかし、現在の放送ビデオ標準と、最も商業的な表示技術の最大輝度出力とにとって、ビデオ全域は、ＣＩＥＣＡＭ０２ターゲットのほとんどと重なっている。ＣＩＥＣＡＭ０２は、色適合を考慮するが、適合のレベルの入力を必要とし、入力又は出力へのいかなる時間的次元も含んでいない。すなわち、静止周辺及び制御し照明を有する静止色パッチとして機能するようにＣＩＥＣＡＭ０２が設計されている。
【００１３】
高度に順応可能な移動画像色見えモデルは、主観的なビデオ品質の予測方法を改善して、似ていない表示、イメージ・サイズ、観察環境、フレーム・レート及びビデオ品質クラスの比較が可能となる。順応時空輝度応答とＣＩＥＣＡＭ０２「静止パッチ」予測色見えモデルとの組合せは詳細であり、追加の技術は、新たな時間的周辺フィルタを用いる。例示のモデル時間的周辺応答試験の結果は、人の視覚の知覚応答と良好な比較を行う。
【００１４】
図１は、本発明の実施例により、移動イメージ用に色分析を実現するシステム１００の機能ブロック図である。一般に、ビデオ信号をシステム１００に供給する。このシステムは、神経応答と呼ばれる値、又は一連の値を発生する。この神経応答は、ビデオ信号を評価する人が元のビデオ信号に関連したビデオ信号の品質をどの様に評価するかに反映する。
【００１５】
システム１００は、ＣＩＥＣＡＭ０２処理に一般的に従い、少なくとも２チャネル｛ａ，ｂ｝（そして、実質的な利点が見えないが「直交」｛ａｃ，ｂｃ｝）の色応答を求める。従来の処理と異なり、システム１００は、適切な適応空間及び時間処理を含んでおり、移動イメージの色知覚を考慮し、更に、認識のディスカウント及び色順応局部化のレベルの制御を更に含んでいる。
【００１６】
まず、ビデオ信号をシミュレーション表示１０２に供給する。この表示は、いくつかの実施例において、ＣＲＴ、ＬＣＤ、ＤＬＰなどをシミュレーションする表示の形式に基づいて、３刺激のＣＩＥ１０３１ＸＹＺ出力を発生する。シミュレーション表示１０２からのシミュレーションされた出力の一部は、「白色」成分値１０４を含んでいる。これは、標準白色値と周囲白色と組合される表示１０２からの白色値のファクタを含んでいる。白色成分値を、詳細に後述する時間的周辺フィルタ１３０に供給すると共に、詳細に後述する混合制御器１２０にも供給する。
【００１７】
ＭＡＴ０２マトリクスの如き変換マトリクス１０６により、シミュレーション表示１０２の出力を、予め順応させたＲＧＢコーン応答に変換する。これを次に空間中心フィルタ１０８に供給する。個別のコーン応答の各々が別々にろ波されるので、図１に示すシステム１００には３個の空間的中心フィルタ１０８があり、各々が赤、緑及び青野コーン応答用である。
【００１８】
空間的中心フィルタ１０８を設定して、２次線形（非適応）ミラーＩＩＲフィルタ応答を以下の表１に示すように発生する。
【００１９】
表１
空間中心フィルタ：２次線形（非適応）ミラーＩＩＲフィルタ：
@ 32サンプル/角度:
~校正された係数の範囲(3つ可能な設定):
b0rsc = b0gsc = 0.357071, b0bsc = 0.214243
又は
b0rsc = 0.357071 又は 0.321364 又は 0.321364
b0gsc = 0.357071 又は0.257091 又は 0.257091
b0bsc = 0.214243 又は 0.205673 又は 0.143971
【００２０】
空間中心フィルタ１０８を通過したコーン応答を次に空間周辺フィルタ１１０への入力として用いる。また、３つの個別の空間周辺フィルタ１１０があり、各々が赤色、緑色及び青色の信号用である。上述の混合制御器１２０と同様に、空間中心フィルタ１０８からの出力を混合制御器１２２に供給する。これは、上述の混合制御器１２０と連携して、どの程度の重み係数を時間周辺フィルタ１３０の入力に供給するかを制御する能力をユーザに与える。これは、図２を参照して詳述する。
【００２１】
図１に示すシステムの主要フィルタ１０８、１１０、１３０からの出力は、白色順応回路１４０によりさらに変調され、各色チャネル用の白色に順応したコーン応答を発生する。これらコーン応答は、最終ろ波ステップ用に時間的中心フィルタ１５０に供給される。いくつかの実施例において、空間的中心フィルタ１０８及び時間的中心フィルタ１５０を共通フィルタに組合せてもよい。１６０に示すように、次に、システム１００は、ＣＩＥＣＡＭ０２処理の残りを適用して、所望の神経性応答を最終的に発生できる。
【００２２】
図１のシステム１００において、人の視覚系の各解剖学的成分の空間的及び時間的応答の組合せの近似としての統計的又は「集中」空間的及び／又は時間的応答として、フィルタ１０８、１１０、及び１３０を適用する。ＣＩＥＣＡＭ０２の静的応答が変化せずに残ると、この統計が維持され、その後のＣＩＥＣＡＭ０２処理の非線形により、中間応答の整流の如き望まないアーティファクトが生じるのを防止する。
【００２３】
混合制御器１２０、１２２に戻り参照する。これら制御器により、組合せ出力信号としての１対の入力信号からどの程度の効果を提供できるかをユーザが正確に制御できる。例えば、周辺対白色点及び周囲ファクタの影響を制御するために、混合回路１２０は、表示１０２からの白色成分値の入力と共に、空間周辺フィルタ１１０からの出力とを含んでいる。混合制御器１２０への「白色」入力は、組合せた表示白色及び周囲イルミネーションＸＹＺ光組合せへのプリ順応ＲＧＢコーン応答を表す。重み付け値「wgt2」用の値を設定することにより、どの程度の空間的周辺フィルタ１１０からのろ波済み応答を混合制御器１２２に送るかをユーザが判断する。ユーザは、混合制御器１２０を設定して、白色値１０４を１００％ドミナントとし、空間周辺フィルタ１１０の出力を０％ドミナントにできる。純粋な表示及び周囲白色点順応にとってはwgt2=0であり、純粋な空間周辺（各チャネルがＹwに正規化）順応にとってはwgt2=1である。他の設定により、ユーザは、順応重み付け値wgt2を選択して、任意の組合せ値を選択できる。ＣＩＥＣＡＭ０２の従来の使用は、wgt1=0、wgt2=0、周囲＝０、表示白色＝光源に対応する。
【００２４】
同様に、混合制御器１２２を基準として、局部的対全体的な色順応を制御するために、ユーザは、重み付け値wgt1を設定して、空間的中心フィルタ１０８の出力と混合制御器１２０からの以前に設定した混合出力からの出力との混合値を選択し、時間的周辺フィルタ１３０への制御された混合入力を発生できる。空間的中心フィルタ出力１０８は、空間的周辺フィルタ１３０及び２つの他の入力の両方に繋がる。これら２つの他の入力は、（色順応に応答可能な）ＣＩＥＣＡＭ０２の白色順応回路１４０部分へのプリ順応コーン応答入力と、混合回路１２０で重み付け値wgt1による重み付けメカニズムとであり、順応の局部的対全体的な空間的概念をどの程度用いるかを制御する。よって、wgt1は、空間的色順応の局部化を制御する。これが、停止した凝視対移動中の凝視の効果を反映する。局部的色順応（詳細な残像）を最小（無）にするためにはwgt1=0であり、最大のためにはwgt1=1である。
【００２５】
光源、表示白色、周囲イルミネーションなどを補正する機能である認識のディスカウントは、色を識別するとき、図１に示されていないが、「wgt3」と呼ばれるだい３の重み付けにより制御できる。この補正のために、wgt3=1と設定することにより、制御器１２０への「白色」入力は、Ｒw’＝Ｇw’＝Ｂw’＝Ｙw（ＣＩＥＣＡＭ０２での順応パイプラインＤ＝０に等化）へのクロフフェードでもよい。ここで、Ｒw’＝wgt3＊Ｙw＋（１−wgt3）＊Ｒwdであり、Ｇwd及びＢwdも同様である。
【００２６】
時間的周辺フィルタ１３０は、いくつかの理由に対して有用である。まず、ＣＩＥＣＡＭ０２は、順応のパーセントが与えられた「周辺」及び／又は光源に関連した固定の順応を考慮するメカニズムを常に有する。部分的に順応を制御するＣＩＥＣＡＭ０２への１つの入力は、「順応白色」｛Ｒw、Ｇw、Ｂw｝であり、これを用い、順応の瞬時レベルに応じてコーン応答を変調する。同様に、ＣＩＥＣＡＭ０２と、他の参照文献でありここで参考文献として一体に考慮する２００７年１月にProceedings of the Third International Workshop Processing and Quality Metrics for Consumer Productsで発行されたケビン・ファーガソンによる「An Adaptable Human Vision Model for Subjective Video Quality Rating Prediction Among CIF, SD, HD, AND E-CINEMA」とにおいて、周辺チャネルを用いて、中心チャネルを変調して、主要順応時空的応答を生じる。ＣＩＥＣＡＭ０２静的応答を変化しないようにするために、図１のシステム１００において、時間的処理を順応白色処理１４０に入力に適用して、全体的な周辺チャネルとして扱う。さらに、上述のマトリクス１０６にてイメージ光刺激が３つのプリ順応（ＲＧＢ）コーン応答に変換された後に、時間的順応フィルタ・モデル（と共に全ての空間的及び時間的なろ波）がＣＩＥＣＡＭ０２に適用される点を想起されたい。
【００２７】
上述の各チャネルに対して、複合時間的周辺フィルタは、上述のフィルタを元にした適応積分器の平行な組合せである。
【００２８】
図２は、更に詳細な説明をするための図１の時間的周辺フィルタ１３０の例の機能ブロック図である。
【００２９】
周辺フィルタ２００は、色順応及び認識ディスカウントを考慮するための（図１を参照して説明したような）重み付け入力の和により生成された「コーン空間周辺混合」入力を含んでおり、これは、（Ｒ、Ｇ及びＢの各チャネルに対する）１組の重み付けされたコーン応答である。
【００３０】
「白色」Ｙw入力は、（ＣＩＥＣＡＭ０２による）白色入力のＹ部分である。Ｙwは、表示モデル１０４（図１）からの直接入力、又は、白色ＲＧＢからのＹwに戻り変換されたものでもよく、そうでなければ、例えば、ＣＩＥＣＡＭ０２にてＲw、Ｇw、Ｂwとして知られている。この「白色」Ｙw入力は、「直流利得」ファクタ、例えば０．４８により重み付けされ、白色プロセッサ２１０にて３つの「コーン空間的周辺混合」から抽出される。この結果は、プリ時間的周辺ろ波された差、又は「コーン空間的周辺混合」応答の「交流」成分である。各チャネルは、輝度尺度の「順応白色」からの各コーン応答での差を表す。
【００３１】
この応答を２つのロウパス・フィルタ（ＬＰＦ）２２０、２３０に供給する。これらは、ＩＩＲロウパス・フィルタに基づく適応積分器でもよい。これらフィルタ２２０、２３０を並列に用いて、追加の色信号をろ波する。ＬＰＦ２２０は、低速の第１ＬＰＦであり、上述で参照したファーガソンの文献に一般的に用いられているのと同じ又は類似の適応時間的周辺フィルタで実現してもよく、１秒当たり６０サンプルの公称サンプル・レートに対して０．９９９５１６に設定された公称期間係数ａｌ及びゼロの適合用の更新されたパラメータのみを有する。ＬＰＦ２３０は、ＬＰＦ２２０に類似した高速ＬＰＦであるが、ＬＰＦ２３０は、その入力が出力よりも小さいか大きいかに応じる可変係数を含んでいる。比較器２４０は、マルチプレクサ２５０により選択する係数を決定する。量（ＬＰＦ２３０の入力マイナスＬＰＦ２３０の出力）が正ならばalp=0.9854であり、負ならばalp=0.99370である。本発明の要旨を逸脱することなく、他の係数を用いてもよい。
【００３２】
図２に示すように、tfw1の値を選択することにより、重み付け平均値を用いて、コンバイナ２６０にてＬＰＦ２２０及びＬＰＦ２３０の出力を組合せる。いくつかの実施例において、tfw1を約０．５に等しくできる。組合せた出力を生成し、その結果が複合ろ波済み差信号である。上述の白色プロセッサ２１０が生成した輝度縮尺した白色輝度信号２１２を加減することにより、この結果の複合ろ波済み差信号を絶対信号に再生する。
【００３３】
時間的周辺フィルタを生成するのに用いるいくつかの成分の設計詳細は、上述のファーガソンの参考文献や、ここでの参考文献として一体に考慮するファーガソンの米国特許第６９７６０４５号及び第６９０７１４３号に記載されている。
【００３４】
ＬＰＦ２２０及びＬＰＦ２３０のフィルタの詳細な例を表２に示す。
【００３５】
表２
LPF1: 時間的周辺とする米国特許第６９０７１４３号の適応輝度フィルタ
順応パラメータ＝０及び
a1 = 0.999516, b0 = 1-a1
６０サンプル／秒のサンプル・レートに対して
LPF2: 時間的周辺とする米国特許第６９０７１４３号の適応輝度フィルタ
順応パラメータ＝０及び
LPF2出力 > LPF2入力ならa1 = a1n、そうでなければa1 = a1p:
a1n = 0.99370
a1p = 0.9854
６０サンプル／秒のサンプル・レートに対して
【００３６】
図３は、監視下にある建物３００と、本発明の実施例に関連して動作する多数のカメラ部分とを示す図である。上述の如く、ビデオ監視は、基礎的なビデオ信号と程度に良好なだけである。ビデオ信号の品質に影響を与える１つの問題は、周囲光条件であり、これはダイナミックである。ダイナミックな照明条件には、常に変化する日光、種々の色及び色温度の間欠光の干渉と共に、後述するその他の照明条件が含まれる。
【００３７】
図３において、ビデオ・カメラは、建物内での出来事をモニタするために、建物３００内及びその周辺に巧みに配置されている。例えば、建物管理者は、建物内に誰が入ったか、又は、所定時間内に建物内に何人の人がいるかを知りたいかもしれない。本発明の実施例を用いれば、ダイナミックな光及び色条件でかかる情報を自動的に補正するので、かかる情報を一層正確に追跡できる。
【００３８】
ビデオ・カメラＡは、建物３００の外に配置されており、正面ドア３１０の場面を録画できるように巧みに配置されている。人がカメラの方向で建物に近づくと、ビデオ監視システムが登場を自動的に検出するだけではなく、近づく人の識別も行える。人が建物に近づいて彼又は彼女の後ろがカメラＡ側になると、顔の識別がほぼ不可能になるので、自動識別が一層困難になる。顔の識別ができなくても、オブジェクトの検出はまだ可能である。いくつかの監視の設置では、多数の角度から同じ場面を追跡する多数のカメラを含んでもよい。例えば、正面ドア３１０に近づく誰もが常にカメラに直面するように配置されたカメラがあると、監視システムは、顔認識に常に良好な角度を有する。
【００３９】
図３におけるカメラＡからのビデオ信号に影響する１つのファクタは、街灯３１５である。一般的に、街灯３１５は、勿論、夜に点灯されるのみだが、いくつかの街灯は、エネルギー節約のために、瞬間的に点灯されるだけである。街灯３１５からの光は、正面ドア３１０の入口で光るので、この照明がカメラＡからのビデオ信号に影響する。光が明るく輝けば、建物３００に近づく人の顔が良好に照明される。他の状態において、街灯３１５が対象の後ろに配置されると、対象の顔に影ができ、検出が困難になる。
他の場合には、対象が近づいてくる間、街灯がオン又はオフであるかもしれず、その結果のビデオの分離が困難となる。さらに、自動車の赤の後尾光及び／又はブレーキ光や、警察自動車、救急車又は他の固定された警告からの点滅光や、赤、緑又は黄色の交通光や、他の色の光や、ネオン・サイン等や、日の出及び日の入りの飽和した赤、ピン、オレンジ、黄色及び類似の色などの他の光源は、識別すべき人及び／又は他のオブジェクトの色を変える。
【００４０】
建物３００内には、３個の追加のカメラもある。カメラＢは、ドア３１０の内側のビデオ・データを捕捉し、これを用いて、建物３００に出入りする人の数を追跡できる。カメラＣは、階段吹き抜け３２０に焦点が当てられており、これを用いて、建物３００内の他のフロアに移動するために階段吹き抜け３２０を利用する人を追跡できる。この理由のため、図３には１個のカメラＣのみが示されているが、建物３００の各フロアに個別のカメラＣがあってもよい。
【００４１】
正面ドア３１０の入口を照明する街灯３１５と同様に、窓３２５は階段吹き抜け３２０の近傍に配置されている。階段吹き抜け３２０の全体的な暗さ及び明るさは、日の出及び日の入りに応じて一日を通じて変化する。月からの光も窓３２５を介してやってくるが、これはカメラＣの照明に影響する。図示しないが、建物３００は、勿論照明され、建物３００の内側の全体的な明るさは、光のオン又はオフにより制御できる。いつくかの光は、人が近づくのを検知すると自動的にオンになり、光が制御する領域内に人が最早いなくなった後に、ある遅延時間後に自動的にオフとなるように設定される。
【００４２】
カメラＤは、エレベータ３３０内に配置され、このカメラを用いて、建物３３０内の人の移動を判断する。
【００４３】
図４は、本発明の実施例による監視システム４００の例のブロック図である。このシステムは、ビデオ入力４１０を受ける。このビデオ入力は、例えば、図３のカメラＡ〜Ｄからの入力でもよい。他の実施例において、ビデオ入力４１０は、以前に録画した信号源からでもよい。ビデオ入力４１０は、ビデオ表示４２０に結合される。図４のビデオ表示４２０は、４つの部分に分割され、１つの部分が図３のカメラＡ〜Ｄの夫々であり、「ライブ」供給源、又は録画されたビデオからでもよい。ビデオ表示４２０をモニタする人がいてもいなくてもよい。さらに、ビデオ表示４２０は、実際のビデオ入力４１０から遠く離れて配置されてもよいし、遠隔の表示及び視聴のためにインターネット又は他のデータ・ネットワークによって伝送されてもよい。いくつかの自動システムにおいて、ビデオ表示４２０が存在する必要がなく、また、カメラＡ〜Ｄからの信号のライブ表示を行う必要もない。
【００４４】
ビデオ入力４１０は、表示モデル４３０にも結合される。この表示モデルは、図１で説明した表示モデルと同じで又は類似でもよい。ビデオ入力４１０は、追加的にビュー・モデル４３５に結合される。ビュー・モデル４３５からの出力は、白色基準領域４４０に結合される。この領域において、ユーザは、被試験ビデオのビデオ信号で関心のある特定領域を選択する。この領域は、基準色を見つける特定のビデオの領域を定義する。多くの場合、基準色は、白色の影であるが、他の色も可能である。例えば、基準色は、サイン、壁又は他のオブジェクトの一部にできる。一般的に、この基準は、照明の変化から非常に安定している。この基準領域４４０からのシミュレーションする光は、図１及び２を参照して詳細に上述した時間的色補正４５０への入力である。白色基準領域４４０からの光は、例えば、図１の時間的周辺フィルタ１３０と共に混合制御器１２０にも入力する「白色」基準として用いることができる。白色基準領域からの白色基準は、コーン色信号Ｒw、Ｇw及びＢwの白色部分でもよい。この方法において、色補正が時間的色補正コンポーネント４５０に入力し、モデル化されたビデオ信号の部分を自動的に変更するので、細部を一層容易に観察できる。時間的色補正コンポーネント４３０は、自動監視ビデオ補正用に全体的な明るさ又は暗さも補正できる。
【００４５】
動作において、特定のカメラの視界の周囲光が変化すると、ビデオの白色基準領域も変化する。白色基準領域は、システム・ユーザが事前に設計していることを思い出されたい。本発明のいくつかの実施例において、ビデオのある時間的期間を分析し、平均計算を行って、ビデオの白色基準領域を検出できる。例えば、このシステムは、数日又は数週間にわたってビデオ・データを捕獲し、ビデオの一般的に変化のない部分を白色基準として選択できる。そして、例えば、日中の光が終わるか街灯がオンとなることにより、又は光に他の変化により、ビデオ・データ内で周囲光が変化するので、白色基準領域４４０が色データ出力を変更する。これは、次に、時間的色補正コンポーネント４５０に供給されて、色データを変更するので、元のビデオ信号から最高の細部を発生できる。
【００４６】
色補正コンポーネント４５０からの出力は、自動的な色補正ビデオであり、次に、図４に示すように、アテンション・モデル４６０に供給される。従来技術を用いて、４５０の出力ユニットを４６０の要求入力に変換する。いくつかの実施例において、Ｄ６５として特定される標準光源白色、｛ａ，ｂ｝出力、及びビュー・モデルＹ又はルミナンス出力を用いたＬの近似を用いたＣＩＥＣＡＭ０２で特定する如き逆の色見えモデルを用いることにより、４５０の出力が標準ＲＧＢ又はＹＵＶデジタル・ビデオである。他の実施例おいて、アテンション・モデルは、入力として一緒の時間的色補正出力の｛ａ，ｂ｝部分により、ビュー・モデルのＹ又はルミナンス部分を一緒に取る。アテンション・モデル４６０は、皮膚検出コンポーネント４６２、顔認識コンポーネント４６４と共にオブジェクト検出及び計数コンポーネント４６６を
含んでいる。いくつかの実施例において、アテンション・モデル４６０は、戻り結合され、ビデオ入力４１０に結合されたカメラを制御して、ズーム及びパン機能を制御する。
【００４７】
色補正信号を用いると、顔認識コンポーネント４６４は、かっては不可能であった照明条件で顔の特徴を検出できる。例えば、時間的色補正コンポーネント４５０は、そうでなければ暗い顔から追加の細部を検出できる。
【００４８】
同様に、オブジェクト検出及び計数コンポーネント４６６は、人の如き特定のオブジェクトを検出でき、時間的色補正コンポーネント４５０により一層良好な精度となる。他の例において、特定色のパッケージがアセンブリ・ラインを取り除くので、この特定色のパッケージを追跡するようにビデオ監視システム４００を設定できる。工場内での周囲光が変化するので、白色基準領域４４０は、基準色を連続的に更新し、これを時間的色補正コンポーネント４５０に渡して、監視シフトがある色のパッケージの間を識別できるようにする。
【００４９】
最後に、皮膚検出コンポーネント４６２は、上述のアテンション・モデル４６０の他のコンポーネントと同様に働く。時間的色補正を用いることにより監視システムの色一貫性が一層良好なので、監視システム４００は、人の皮膚の色を良好に追跡できる。オブジェクト検出及び計数コンポーネント４６６と接続されたとき、監視システム４００は、以前のシステムよりも良好な精度で、建物３００に出入りする個人を計数できる。例えば、空間的色補正コンポーネント４５０により、明るく飽和した赤色又は青色で現れる顔又は他の皮膚を影により正確に分類でき、潜在的には、１）人を識別するための人の部分としての皮膚を識別し、２）人を認識するシステムの一部としての皮膚の特定の影及び形式を識別し分類する。
【００５０】
図５は、本発明の実施例で用いる処理を示す流れ図の例である。流れは、５１０で開始し、上述の如く、ライブ・カメラ、記録済みビデオ、又はその他のある信号源からビデオ信号を取り込む。このビデオ信号は、白色／色基準処理５２０に渡され、ビデオの基準部分の色データを測定する。基準部分は、ビデオ信号の予め定義された領域であり、これは、典型的には、変化のない典型的な白色、灰色、又は、少なくともほぼ無色の基準を含む。ここでは、周囲光が時間と伴に変化するのが色を測定できる。
【００５１】
処理５３０において、ビデオ信号から測定した色データは、基準色として、時間的色補正プロセッサに入力する。図１に戻って参照すれば、測定した色データを、時間的プロセッサ１３０に入力する「白色」信号の代わりに利用できる。処理５４０は、図１の時間的プロセッサ１３０の動作を説明しており、これは、ビデオ信号の出力を変更するので、被監視対象のダイナミックな照明条件に関係なく、長い間にわたって、この信号は、より一定の信号である。いくつかの実施例において、時空的フィルタが部分的又は全体的になくなるか、又は、異なる係数又は全体的に異なるフィルタの使用に代替される。好ましい実施例においては、全体的な順応及び基準領域白色入力用に制御パラメータを設定する。
【００５２】
特定の実施例について上述したが、本発明の原理はこれらの実施例に限定されないことは明らかである。以下の請求項に記載の本発明の原理を逸脱することなく、変形変更が可能である。
【符号の説明】
【００５３】
１０２ 表示
１０６ マトリクス
１０８ 空間中心フィルタ
１１０ 空間周辺フィルタ
１２０ 混合制御器
１２２ 混合制御器
１３０ 時間的周辺フィルタ
１４０ 白色順応
１５０ 時間的中心フィルタ
１６０ 残りのＣＩＥＣＡＭ０２
２１０ 白色プロセッサ
２２０ ロウパス・フィルタ１
２３０ ロウパス・フィルタ２
２４０ 比較器
２５０ マルチプレクサ
２６０ コンバイナ
【技術分野】
【０００１】
本発明は、ビデオ監視に関し、特に、ビデオ監視における光源補正による強調オブジェクト検出の方法及びシステムに関する。
【背景技術】
【０００２】
ムーアの法則の多くの利点の内の1つは、技術の価格が時間と伴に下がることである。この利点を享受する特定のマーケット分野は、ビデオ監視を含めたビデオ・マーケットである。
【０００３】
ビデオ監視の初期の用途は、異常な場面を連続的に観察するためのビデオ・カメラからの表示を人が視覚的に検査することを含んだ。必要が生じた際に、後でレビューするために録画を行い、蓄積する。この利用形態の１つの問題は、表示された場面に変化がない状態がしばしば長期間にわたるため、表示を観察する人が疲労することであった。後での監視処理には、ライブ又は事前に録画したビデオを自動的にモニタすることが含まれ、機械がビデオ表示のフレームを以前のフレームと比較し、変化が生じた際に合図を出した。かかる変化は、例えば、観察されている場面内で歩く人であった。更に、後での処理には、ブルに出入りする人を自動的に追跡することも含まれ、時には、身元を判断するために顔識別機能を含む。
【０００４】
しかし、これら自動化システムは、基礎的なビデオ信号の品質と程度に良好なだけである。多くの場合、最小の費用で最大領域をカバーするために、低品質カメラにより監視を行っている。カメラ、特に低品質のカメラの全ての品質は、一日の異なる時間中に、変化する光源の如き周囲ビデオ条件に影響される。さらに、ビデオ内の色つき光又はフラッシュ光の如き他の要因が、ライブ又は録画のビデオの自動分析を困難にする。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１９７５２７号公報
【特許文献２】特開２００３−１９９１２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の実施例では、従来技術のこれらの及びその他の制限を解決する。
【課題を解決するための手段】
【０００７】
上述の課題を解決するために、本発明は次のように構成される。
（１）可変照明条件下で照明されたオブジェクトを含むビデオ信号をビデオ入力で受け；上記ビデオ信号内の基準領域の色を測定し；上記測定した色を色基準入力として色プロセッサに供給し；上記測定した色を用いて上記ビデオ信号から発生したデータの色信号を調整するビデオ内のオブジェクト自動検出方法。
（２）上記ビデオ信号内の基準領域の色の測定は、上記基準領域の白色信号の測定である概念１のオブジェクト自動検出方法。
（３）白色信号の測定は、２つ以上の色分離信号から白色値を計算する概念２のオブジェクト自動検出方法。
（４）更に、上記調整された色信号及び人の皮膚の色基準を用いて人のオブジェクトを検出する概念１のオブジェクト自動検出方法。
（５）人の皮膚の色基準は、複数の異なる皮膚の色基準である概念４のオブジェクト自動検出方法。
（６）更に、調整色信号及び人特性データベースを用いて人オブジェクトを分類する概念１のオブジェクト自動検出方法。
（７）更に、監視下の建物内の人の数の現在の計数を維持する概念１のオブジェクト自動検出方法。
（８）可変照明条件下で照明された１つ以上の人の顔を含むビデオ信号をビデオ入力で受け；上記ビデオ信号内の基準領域の色を測定し；上記測定した色を色基準入力として色プロセッサに供給し；上記測定した色を用いて上記ビデオ信号の上記人の顔から発生したデータの色信号を調整する顔検出方法。
（９）上記ビデオ信号内の基準領域の色の測定は、上記基準領域の白色信号の測定である概念８の顔検出方法。
（１０）白色信号の測定は、２つ以上の色分離信号から白色値を計算する概念９の顔検出方法。
（１１）更に、上記調整済み色信号からの１つ以上の顔を１つ以上の蓄積された顔識別と関連させる概念８の顔検出方法。
（１２）ビデオ信号を受けるように構成されたビデオ入力と；上記ビデオ信号からビデオ・データを発生するように構成された１つ以上のビデオ・モデルと；上記ビデオ・データの予め選択された部分から色データを抽出するように構成された色基準発生器と；上記色基準発生器から抽出された色データを用いて時間と伴に上記ビデオ・データを変調するように構成された色プロセッサと；上記時間的プロセッサに結合され、予め蓄積されたオブジェクト条件に対して上記変調されたビデオ・データを比較するように構成されたオブジェクト検出器とを具えたオブジェクト自動検出用システム。
（１３）上記色基準発生器は、上記ビデオ信号内の周囲照明が変化するときに異なる出力を生じる概念１２のシステム。
（１４）上記ビデオ・データの上記予め選択された部分が壁の一部である概念１２のシステム。
（１５）上記色基準発生器は、自動色基準発生器である概念１２のシステム。
（１６）上記自動色基準発生器は、上記ビデオ信号の他の部分と比較して時間に対して比較的わずかな変化を有する上記ビデオ信号のターゲット領域を判断すると共に、上記ビデオ・データの上記予め選択された一部として上記判断されたターゲット領域を用いるように構成された概念１５のシステム。
（１７）上記色基準発生器は、上記ビデオ信号の１組のコーン応答の白色成分から形成された概念１２のシステム。
（１８）上記オブジェクト検出器は、顔認識データベースを具え、上記予め蓄積されたオブジェクト条件は顔の特徴である概念１２のシステム。
（１９）上記オブジェクト検出器は、皮膚検出器であり、上記予め選択されたオブジェクト条件は、人識別情報を含む概念１２のシステム。
（２０）上記オブジェクト検出器は、上記ビデオ信号に現れる予め選択されたオブジェクトの数を計数するように構成されたオブジェクト・カウンタである概念１２のシステム。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施例による移動イメージ用色分析を実現するシステムの機能ブロック図である。
【図２】本発明の実施例による図１のシステムの時間的処理コンポーネントの機能ブロック図である。
【図３】本発明の実施例による建物用監視システムの例のブロック図である。
【図４】本発明の実施例によるビデオ監視システムの例のコンポーネントを示すブロック図である。
【図５】本発明の実施例による時間的色補正の流れ図の例である。
【発明を実施するための形態】
【０００９】
周辺又は環境が変化すると、又は、他の色を見た後に観察すると、人の目の色知覚適合により、所定の一定の物理的光刺激を異なる色に見える。一般的には、ダイナミックな光刺激により、空間及び／又は時間の変化により、所定の静止光刺激の知覚が一般には変化したようにみえる。順応による色見えのこの明らかな変化における時間的経過は、多くの刺激状態に応じて決まる。
【００１０】
イルミネーション及び白色点の認識のディスカウントにより、人は、赤色光のみで照明されたリンゴを観察できると共に、リンゴが赤色か緑色かを依然判断できる。いくつかのアプリケーションにおいて、全体的な色のシフトの形式のディスカウントが望ましいが、他の場合には、ディスカウントが望ましくない。
【００１１】
凝視の可変能力に応じて、知覚色順応が非常に局部的になる。例えば、比較的長時間にわたって固定された点を凝視すると、色の知覚が低下する。代わりに、色順応は、主に、白色でないイルミネーション又はイメージからの他の色によるバイアスの如きバイアスに、全体的に基づいている。固定点での長時間の凝視による局部的な色順応効果により、色残像となり、これは、効果において、ある色に対する目の感度抑圧の結果である。いくつかのアプリケーションにおいて、ほとんど劇的であるこれら局部的順応の影響を予測することは、ビデオ品質を予測するために重要である。他のアプリケーションにおいて、たぶん、全体的な効果のみが関心事である。
【００１２】
正式なフランス名がCommission internatinale de I'eclairageであるためＣＩＥと略称されるイルミネーションの国際委員会は、最初のCIE Luvが１９７６年に導入以来、いくつかの改善された色見えモデル（ＣＡＭ）を考案した。現在の最も正確なＣＡＭは、参照文献として一体に考慮するＣＩＥＣＡＭ０２として知られている国際標準ＣＡＭである。ＣＩＥＣＡＭ０２開発チームの一部は、ＣＩＥＣＡＭ０２に基づいた静止イメージ色見えモデルｉＣＡＭ及びｉＣＡＭ０６を開発した。これら両方は、イメージの空間的処理を含んでおり、後者は、高いダイナミックのイルミネーション・レンジを扱う余分な処理がある。依然として国際標準がないが、空間応答に影響する距離又は類似の要因を観察する際に、変化を考慮していない。一方、ＣＩＥＣＡＭ０２は、そのオリジナルの用途を広く受け入れられることがわかった。これは、異なる照明環境において、主に、一致する塗料の如き反射光アプリケーション用である。反射光アプリケーションは、彩度及び輝度レベルにおける最大値を除いて直接光よりも小さな全域を示す。しかし、現在の放送ビデオ標準と、最も商業的な表示技術の最大輝度出力とにとって、ビデオ全域は、ＣＩＥＣＡＭ０２ターゲットのほとんどと重なっている。ＣＩＥＣＡＭ０２は、色適合を考慮するが、適合のレベルの入力を必要とし、入力又は出力へのいかなる時間的次元も含んでいない。すなわち、静止周辺及び制御し照明を有する静止色パッチとして機能するようにＣＩＥＣＡＭ０２が設計されている。
【００１３】
高度に順応可能な移動画像色見えモデルは、主観的なビデオ品質の予測方法を改善して、似ていない表示、イメージ・サイズ、観察環境、フレーム・レート及びビデオ品質クラスの比較が可能となる。順応時空輝度応答とＣＩＥＣＡＭ０２「静止パッチ」予測色見えモデルとの組合せは詳細であり、追加の技術は、新たな時間的周辺フィルタを用いる。例示のモデル時間的周辺応答試験の結果は、人の視覚の知覚応答と良好な比較を行う。
【００１４】
図１は、本発明の実施例により、移動イメージ用に色分析を実現するシステム１００の機能ブロック図である。一般に、ビデオ信号をシステム１００に供給する。このシステムは、神経応答と呼ばれる値、又は一連の値を発生する。この神経応答は、ビデオ信号を評価する人が元のビデオ信号に関連したビデオ信号の品質をどの様に評価するかに反映する。
【００１５】
システム１００は、ＣＩＥＣＡＭ０２処理に一般的に従い、少なくとも２チャネル｛ａ，ｂ｝（そして、実質的な利点が見えないが「直交」｛ａｃ，ｂｃ｝）の色応答を求める。従来の処理と異なり、システム１００は、適切な適応空間及び時間処理を含んでおり、移動イメージの色知覚を考慮し、更に、認識のディスカウント及び色順応局部化のレベルの制御を更に含んでいる。
【００１６】
まず、ビデオ信号をシミュレーション表示１０２に供給する。この表示は、いくつかの実施例において、ＣＲＴ、ＬＣＤ、ＤＬＰなどをシミュレーションする表示の形式に基づいて、３刺激のＣＩＥ１０３１ＸＹＺ出力を発生する。シミュレーション表示１０２からのシミュレーションされた出力の一部は、「白色」成分値１０４を含んでいる。これは、標準白色値と周囲白色と組合される表示１０２からの白色値のファクタを含んでいる。白色成分値を、詳細に後述する時間的周辺フィルタ１３０に供給すると共に、詳細に後述する混合制御器１２０にも供給する。
【００１７】
ＭＡＴ０２マトリクスの如き変換マトリクス１０６により、シミュレーション表示１０２の出力を、予め順応させたＲＧＢコーン応答に変換する。これを次に空間中心フィルタ１０８に供給する。個別のコーン応答の各々が別々にろ波されるので、図１に示すシステム１００には３個の空間的中心フィルタ１０８があり、各々が赤、緑及び青野コーン応答用である。
【００１８】
空間的中心フィルタ１０８を設定して、２次線形（非適応）ミラーＩＩＲフィルタ応答を以下の表１に示すように発生する。
【００１９】
表１
空間中心フィルタ：２次線形（非適応）ミラーＩＩＲフィルタ：
@ 32サンプル/角度:
~校正された係数の範囲(3つ可能な設定):
b0rsc = b0gsc = 0.357071, b0bsc = 0.214243
又は
b0rsc = 0.357071 又は 0.321364 又は 0.321364
b0gsc = 0.357071 又は0.257091 又は 0.257091
b0bsc = 0.214243 又は 0.205673 又は 0.143971
【００２０】
空間中心フィルタ１０８を通過したコーン応答を次に空間周辺フィルタ１１０への入力として用いる。また、３つの個別の空間周辺フィルタ１１０があり、各々が赤色、緑色及び青色の信号用である。上述の混合制御器１２０と同様に、空間中心フィルタ１０８からの出力を混合制御器１２２に供給する。これは、上述の混合制御器１２０と連携して、どの程度の重み係数を時間周辺フィルタ１３０の入力に供給するかを制御する能力をユーザに与える。これは、図２を参照して詳述する。
【００２１】
図１に示すシステムの主要フィルタ１０８、１１０、１３０からの出力は、白色順応回路１４０によりさらに変調され、各色チャネル用の白色に順応したコーン応答を発生する。これらコーン応答は、最終ろ波ステップ用に時間的中心フィルタ１５０に供給される。いくつかの実施例において、空間的中心フィルタ１０８及び時間的中心フィルタ１５０を共通フィルタに組合せてもよい。１６０に示すように、次に、システム１００は、ＣＩＥＣＡＭ０２処理の残りを適用して、所望の神経性応答を最終的に発生できる。
【００２２】
図１のシステム１００において、人の視覚系の各解剖学的成分の空間的及び時間的応答の組合せの近似としての統計的又は「集中」空間的及び／又は時間的応答として、フィルタ１０８、１１０、及び１３０を適用する。ＣＩＥＣＡＭ０２の静的応答が変化せずに残ると、この統計が維持され、その後のＣＩＥＣＡＭ０２処理の非線形により、中間応答の整流の如き望まないアーティファクトが生じるのを防止する。
【００２３】
混合制御器１２０、１２２に戻り参照する。これら制御器により、組合せ出力信号としての１対の入力信号からどの程度の効果を提供できるかをユーザが正確に制御できる。例えば、周辺対白色点及び周囲ファクタの影響を制御するために、混合回路１２０は、表示１０２からの白色成分値の入力と共に、空間周辺フィルタ１１０からの出力とを含んでいる。混合制御器１２０への「白色」入力は、組合せた表示白色及び周囲イルミネーションＸＹＺ光組合せへのプリ順応ＲＧＢコーン応答を表す。重み付け値「wgt2」用の値を設定することにより、どの程度の空間的周辺フィルタ１１０からのろ波済み応答を混合制御器１２２に送るかをユーザが判断する。ユーザは、混合制御器１２０を設定して、白色値１０４を１００％ドミナントとし、空間周辺フィルタ１１０の出力を０％ドミナントにできる。純粋な表示及び周囲白色点順応にとってはwgt2=0であり、純粋な空間周辺（各チャネルがＹwに正規化）順応にとってはwgt2=1である。他の設定により、ユーザは、順応重み付け値wgt2を選択して、任意の組合せ値を選択できる。ＣＩＥＣＡＭ０２の従来の使用は、wgt1=0、wgt2=0、周囲＝０、表示白色＝光源に対応する。
【００２４】
同様に、混合制御器１２２を基準として、局部的対全体的な色順応を制御するために、ユーザは、重み付け値wgt1を設定して、空間的中心フィルタ１０８の出力と混合制御器１２０からの以前に設定した混合出力からの出力との混合値を選択し、時間的周辺フィルタ１３０への制御された混合入力を発生できる。空間的中心フィルタ出力１０８は、空間的周辺フィルタ１３０及び２つの他の入力の両方に繋がる。これら２つの他の入力は、（色順応に応答可能な）ＣＩＥＣＡＭ０２の白色順応回路１４０部分へのプリ順応コーン応答入力と、混合回路１２０で重み付け値wgt1による重み付けメカニズムとであり、順応の局部的対全体的な空間的概念をどの程度用いるかを制御する。よって、wgt1は、空間的色順応の局部化を制御する。これが、停止した凝視対移動中の凝視の効果を反映する。局部的色順応（詳細な残像）を最小（無）にするためにはwgt1=0であり、最大のためにはwgt1=1である。
【００２５】
光源、表示白色、周囲イルミネーションなどを補正する機能である認識のディスカウントは、色を識別するとき、図１に示されていないが、「wgt3」と呼ばれるだい３の重み付けにより制御できる。この補正のために、wgt3=1と設定することにより、制御器１２０への「白色」入力は、Ｒw’＝Ｇw’＝Ｂw’＝Ｙw（ＣＩＥＣＡＭ０２での順応パイプラインＤ＝０に等化）へのクロフフェードでもよい。ここで、Ｒw’＝wgt3＊Ｙw＋（１−wgt3）＊Ｒwdであり、Ｇwd及びＢwdも同様である。
【００２６】
時間的周辺フィルタ１３０は、いくつかの理由に対して有用である。まず、ＣＩＥＣＡＭ０２は、順応のパーセントが与えられた「周辺」及び／又は光源に関連した固定の順応を考慮するメカニズムを常に有する。部分的に順応を制御するＣＩＥＣＡＭ０２への１つの入力は、「順応白色」｛Ｒw、Ｇw、Ｂw｝であり、これを用い、順応の瞬時レベルに応じてコーン応答を変調する。同様に、ＣＩＥＣＡＭ０２と、他の参照文献でありここで参考文献として一体に考慮する２００７年１月にProceedings of the Third International Workshop Processing and Quality Metrics for Consumer Productsで発行されたケビン・ファーガソンによる「An Adaptable Human Vision Model for Subjective Video Quality Rating Prediction Among CIF, SD, HD, AND E-CINEMA」とにおいて、周辺チャネルを用いて、中心チャネルを変調して、主要順応時空的応答を生じる。ＣＩＥＣＡＭ０２静的応答を変化しないようにするために、図１のシステム１００において、時間的処理を順応白色処理１４０に入力に適用して、全体的な周辺チャネルとして扱う。さらに、上述のマトリクス１０６にてイメージ光刺激が３つのプリ順応（ＲＧＢ）コーン応答に変換された後に、時間的順応フィルタ・モデル（と共に全ての空間的及び時間的なろ波）がＣＩＥＣＡＭ０２に適用される点を想起されたい。
【００２７】
上述の各チャネルに対して、複合時間的周辺フィルタは、上述のフィルタを元にした適応積分器の平行な組合せである。
【００２８】
図２は、更に詳細な説明をするための図１の時間的周辺フィルタ１３０の例の機能ブロック図である。
【００２９】
周辺フィルタ２００は、色順応及び認識ディスカウントを考慮するための（図１を参照して説明したような）重み付け入力の和により生成された「コーン空間周辺混合」入力を含んでおり、これは、（Ｒ、Ｇ及びＢの各チャネルに対する）１組の重み付けされたコーン応答である。
【００３０】
「白色」Ｙw入力は、（ＣＩＥＣＡＭ０２による）白色入力のＹ部分である。Ｙwは、表示モデル１０４（図１）からの直接入力、又は、白色ＲＧＢからのＹwに戻り変換されたものでもよく、そうでなければ、例えば、ＣＩＥＣＡＭ０２にてＲw、Ｇw、Ｂwとして知られている。この「白色」Ｙw入力は、「直流利得」ファクタ、例えば０．４８により重み付けされ、白色プロセッサ２１０にて３つの「コーン空間的周辺混合」から抽出される。この結果は、プリ時間的周辺ろ波された差、又は「コーン空間的周辺混合」応答の「交流」成分である。各チャネルは、輝度尺度の「順応白色」からの各コーン応答での差を表す。
【００３１】
この応答を２つのロウパス・フィルタ（ＬＰＦ）２２０、２３０に供給する。これらは、ＩＩＲロウパス・フィルタに基づく適応積分器でもよい。これらフィルタ２２０、２３０を並列に用いて、追加の色信号をろ波する。ＬＰＦ２２０は、低速の第１ＬＰＦであり、上述で参照したファーガソンの文献に一般的に用いられているのと同じ又は類似の適応時間的周辺フィルタで実現してもよく、１秒当たり６０サンプルの公称サンプル・レートに対して０．９９９５１６に設定された公称期間係数ａｌ及びゼロの適合用の更新されたパラメータのみを有する。ＬＰＦ２３０は、ＬＰＦ２２０に類似した高速ＬＰＦであるが、ＬＰＦ２３０は、その入力が出力よりも小さいか大きいかに応じる可変係数を含んでいる。比較器２４０は、マルチプレクサ２５０により選択する係数を決定する。量（ＬＰＦ２３０の入力マイナスＬＰＦ２３０の出力）が正ならばalp=0.9854であり、負ならばalp=0.99370である。本発明の要旨を逸脱することなく、他の係数を用いてもよい。
【００３２】
図２に示すように、tfw1の値を選択することにより、重み付け平均値を用いて、コンバイナ２６０にてＬＰＦ２２０及びＬＰＦ２３０の出力を組合せる。いくつかの実施例において、tfw1を約０．５に等しくできる。組合せた出力を生成し、その結果が複合ろ波済み差信号である。上述の白色プロセッサ２１０が生成した輝度縮尺した白色輝度信号２１２を加減することにより、この結果の複合ろ波済み差信号を絶対信号に再生する。
【００３３】
時間的周辺フィルタを生成するのに用いるいくつかの成分の設計詳細は、上述のファーガソンの参考文献や、ここでの参考文献として一体に考慮するファーガソンの米国特許第６９７６０４５号及び第６９０７１４３号に記載されている。
【００３４】
ＬＰＦ２２０及びＬＰＦ２３０のフィルタの詳細な例を表２に示す。
【００３５】
表２
LPF1: 時間的周辺とする米国特許第６９０７１４３号の適応輝度フィルタ
順応パラメータ＝０及び
a1 = 0.999516, b0 = 1-a1
６０サンプル／秒のサンプル・レートに対して
LPF2: 時間的周辺とする米国特許第６９０７１４３号の適応輝度フィルタ
順応パラメータ＝０及び
LPF2出力 > LPF2入力ならa1 = a1n、そうでなければa1 = a1p:
a1n = 0.99370
a1p = 0.9854
６０サンプル／秒のサンプル・レートに対して
【００３６】
図３は、監視下にある建物３００と、本発明の実施例に関連して動作する多数のカメラ部分とを示す図である。上述の如く、ビデオ監視は、基礎的なビデオ信号と程度に良好なだけである。ビデオ信号の品質に影響を与える１つの問題は、周囲光条件であり、これはダイナミックである。ダイナミックな照明条件には、常に変化する日光、種々の色及び色温度の間欠光の干渉と共に、後述するその他の照明条件が含まれる。
【００３７】
図３において、ビデオ・カメラは、建物内での出来事をモニタするために、建物３００内及びその周辺に巧みに配置されている。例えば、建物管理者は、建物内に誰が入ったか、又は、所定時間内に建物内に何人の人がいるかを知りたいかもしれない。本発明の実施例を用いれば、ダイナミックな光及び色条件でかかる情報を自動的に補正するので、かかる情報を一層正確に追跡できる。
【００３８】
ビデオ・カメラＡは、建物３００の外に配置されており、正面ドア３１０の場面を録画できるように巧みに配置されている。人がカメラの方向で建物に近づくと、ビデオ監視システムが登場を自動的に検出するだけではなく、近づく人の識別も行える。人が建物に近づいて彼又は彼女の後ろがカメラＡ側になると、顔の識別がほぼ不可能になるので、自動識別が一層困難になる。顔の識別ができなくても、オブジェクトの検出はまだ可能である。いくつかの監視の設置では、多数の角度から同じ場面を追跡する多数のカメラを含んでもよい。例えば、正面ドア３１０に近づく誰もが常にカメラに直面するように配置されたカメラがあると、監視システムは、顔認識に常に良好な角度を有する。
【００３９】
図３におけるカメラＡからのビデオ信号に影響する１つのファクタは、街灯３１５である。一般的に、街灯３１５は、勿論、夜に点灯されるのみだが、いくつかの街灯は、エネルギー節約のために、瞬間的に点灯されるだけである。街灯３１５からの光は、正面ドア３１０の入口で光るので、この照明がカメラＡからのビデオ信号に影響する。光が明るく輝けば、建物３００に近づく人の顔が良好に照明される。他の状態において、街灯３１５が対象の後ろに配置されると、対象の顔に影ができ、検出が困難になる。
他の場合には、対象が近づいてくる間、街灯がオン又はオフであるかもしれず、その結果のビデオの分離が困難となる。さらに、自動車の赤の後尾光及び／又はブレーキ光や、警察自動車、救急車又は他の固定された警告からの点滅光や、赤、緑又は黄色の交通光や、他の色の光や、ネオン・サイン等や、日の出及び日の入りの飽和した赤、ピン、オレンジ、黄色及び類似の色などの他の光源は、識別すべき人及び／又は他のオブジェクトの色を変える。
【００４０】
建物３００内には、３個の追加のカメラもある。カメラＢは、ドア３１０の内側のビデオ・データを捕捉し、これを用いて、建物３００に出入りする人の数を追跡できる。カメラＣは、階段吹き抜け３２０に焦点が当てられており、これを用いて、建物３００内の他のフロアに移動するために階段吹き抜け３２０を利用する人を追跡できる。この理由のため、図３には１個のカメラＣのみが示されているが、建物３００の各フロアに個別のカメラＣがあってもよい。
【００４１】
正面ドア３１０の入口を照明する街灯３１５と同様に、窓３２５は階段吹き抜け３２０の近傍に配置されている。階段吹き抜け３２０の全体的な暗さ及び明るさは、日の出及び日の入りに応じて一日を通じて変化する。月からの光も窓３２５を介してやってくるが、これはカメラＣの照明に影響する。図示しないが、建物３００は、勿論照明され、建物３００の内側の全体的な明るさは、光のオン又はオフにより制御できる。いつくかの光は、人が近づくのを検知すると自動的にオンになり、光が制御する領域内に人が最早いなくなった後に、ある遅延時間後に自動的にオフとなるように設定される。
【００４２】
カメラＤは、エレベータ３３０内に配置され、このカメラを用いて、建物３３０内の人の移動を判断する。
【００４３】
図４は、本発明の実施例による監視システム４００の例のブロック図である。このシステムは、ビデオ入力４１０を受ける。このビデオ入力は、例えば、図３のカメラＡ〜Ｄからの入力でもよい。他の実施例において、ビデオ入力４１０は、以前に録画した信号源からでもよい。ビデオ入力４１０は、ビデオ表示４２０に結合される。図４のビデオ表示４２０は、４つの部分に分割され、１つの部分が図３のカメラＡ〜Ｄの夫々であり、「ライブ」供給源、又は録画されたビデオからでもよい。ビデオ表示４２０をモニタする人がいてもいなくてもよい。さらに、ビデオ表示４２０は、実際のビデオ入力４１０から遠く離れて配置されてもよいし、遠隔の表示及び視聴のためにインターネット又は他のデータ・ネットワークによって伝送されてもよい。いくつかの自動システムにおいて、ビデオ表示４２０が存在する必要がなく、また、カメラＡ〜Ｄからの信号のライブ表示を行う必要もない。
【００４４】
ビデオ入力４１０は、表示モデル４３０にも結合される。この表示モデルは、図１で説明した表示モデルと同じで又は類似でもよい。ビデオ入力４１０は、追加的にビュー・モデル４３５に結合される。ビュー・モデル４３５からの出力は、白色基準領域４４０に結合される。この領域において、ユーザは、被試験ビデオのビデオ信号で関心のある特定領域を選択する。この領域は、基準色を見つける特定のビデオの領域を定義する。多くの場合、基準色は、白色の影であるが、他の色も可能である。例えば、基準色は、サイン、壁又は他のオブジェクトの一部にできる。一般的に、この基準は、照明の変化から非常に安定している。この基準領域４４０からのシミュレーションする光は、図１及び２を参照して詳細に上述した時間的色補正４５０への入力である。白色基準領域４４０からの光は、例えば、図１の時間的周辺フィルタ１３０と共に混合制御器１２０にも入力する「白色」基準として用いることができる。白色基準領域からの白色基準は、コーン色信号Ｒw、Ｇw及びＢwの白色部分でもよい。この方法において、色補正が時間的色補正コンポーネント４５０に入力し、モデル化されたビデオ信号の部分を自動的に変更するので、細部を一層容易に観察できる。時間的色補正コンポーネント４３０は、自動監視ビデオ補正用に全体的な明るさ又は暗さも補正できる。
【００４５】
動作において、特定のカメラの視界の周囲光が変化すると、ビデオの白色基準領域も変化する。白色基準領域は、システム・ユーザが事前に設計していることを思い出されたい。本発明のいくつかの実施例において、ビデオのある時間的期間を分析し、平均計算を行って、ビデオの白色基準領域を検出できる。例えば、このシステムは、数日又は数週間にわたってビデオ・データを捕獲し、ビデオの一般的に変化のない部分を白色基準として選択できる。そして、例えば、日中の光が終わるか街灯がオンとなることにより、又は光に他の変化により、ビデオ・データ内で周囲光が変化するので、白色基準領域４４０が色データ出力を変更する。これは、次に、時間的色補正コンポーネント４５０に供給されて、色データを変更するので、元のビデオ信号から最高の細部を発生できる。
【００４６】
色補正コンポーネント４５０からの出力は、自動的な色補正ビデオであり、次に、図４に示すように、アテンション・モデル４６０に供給される。従来技術を用いて、４５０の出力ユニットを４６０の要求入力に変換する。いくつかの実施例において、Ｄ６５として特定される標準光源白色、｛ａ，ｂ｝出力、及びビュー・モデルＹ又はルミナンス出力を用いたＬの近似を用いたＣＩＥＣＡＭ０２で特定する如き逆の色見えモデルを用いることにより、４５０の出力が標準ＲＧＢ又はＹＵＶデジタル・ビデオである。他の実施例おいて、アテンション・モデルは、入力として一緒の時間的色補正出力の｛ａ，ｂ｝部分により、ビュー・モデルのＹ又はルミナンス部分を一緒に取る。アテンション・モデル４６０は、皮膚検出コンポーネント４６２、顔認識コンポーネント４６４と共にオブジェクト検出及び計数コンポーネント４６６を
含んでいる。いくつかの実施例において、アテンション・モデル４６０は、戻り結合され、ビデオ入力４１０に結合されたカメラを制御して、ズーム及びパン機能を制御する。
【００４７】
色補正信号を用いると、顔認識コンポーネント４６４は、かっては不可能であった照明条件で顔の特徴を検出できる。例えば、時間的色補正コンポーネント４５０は、そうでなければ暗い顔から追加の細部を検出できる。
【００４８】
同様に、オブジェクト検出及び計数コンポーネント４６６は、人の如き特定のオブジェクトを検出でき、時間的色補正コンポーネント４５０により一層良好な精度となる。他の例において、特定色のパッケージがアセンブリ・ラインを取り除くので、この特定色のパッケージを追跡するようにビデオ監視システム４００を設定できる。工場内での周囲光が変化するので、白色基準領域４４０は、基準色を連続的に更新し、これを時間的色補正コンポーネント４５０に渡して、監視シフトがある色のパッケージの間を識別できるようにする。
【００４９】
最後に、皮膚検出コンポーネント４６２は、上述のアテンション・モデル４６０の他のコンポーネントと同様に働く。時間的色補正を用いることにより監視システムの色一貫性が一層良好なので、監視システム４００は、人の皮膚の色を良好に追跡できる。オブジェクト検出及び計数コンポーネント４６６と接続されたとき、監視システム４００は、以前のシステムよりも良好な精度で、建物３００に出入りする個人を計数できる。例えば、空間的色補正コンポーネント４５０により、明るく飽和した赤色又は青色で現れる顔又は他の皮膚を影により正確に分類でき、潜在的には、１）人を識別するための人の部分としての皮膚を識別し、２）人を認識するシステムの一部としての皮膚の特定の影及び形式を識別し分類する。
【００５０】
図５は、本発明の実施例で用いる処理を示す流れ図の例である。流れは、５１０で開始し、上述の如く、ライブ・カメラ、記録済みビデオ、又はその他のある信号源からビデオ信号を取り込む。このビデオ信号は、白色／色基準処理５２０に渡され、ビデオの基準部分の色データを測定する。基準部分は、ビデオ信号の予め定義された領域であり、これは、典型的には、変化のない典型的な白色、灰色、又は、少なくともほぼ無色の基準を含む。ここでは、周囲光が時間と伴に変化するのが色を測定できる。
【００５１】
処理５３０において、ビデオ信号から測定した色データは、基準色として、時間的色補正プロセッサに入力する。図１に戻って参照すれば、測定した色データを、時間的プロセッサ１３０に入力する「白色」信号の代わりに利用できる。処理５４０は、図１の時間的プロセッサ１３０の動作を説明しており、これは、ビデオ信号の出力を変更するので、被監視対象のダイナミックな照明条件に関係なく、長い間にわたって、この信号は、より一定の信号である。いくつかの実施例において、時空的フィルタが部分的又は全体的になくなるか、又は、異なる係数又は全体的に異なるフィルタの使用に代替される。好ましい実施例においては、全体的な順応及び基準領域白色入力用に制御パラメータを設定する。
【００５２】
特定の実施例について上述したが、本発明の原理はこれらの実施例に限定されないことは明らかである。以下の請求項に記載の本発明の原理を逸脱することなく、変形変更が可能である。
【符号の説明】
【００５３】
１０２ 表示
１０６ マトリクス
１０８ 空間中心フィルタ
１１０ 空間周辺フィルタ
１２０ 混合制御器
１２２ 混合制御器
１３０ 時間的周辺フィルタ
１４０ 白色順応
１５０ 時間的中心フィルタ
１６０ 残りのＣＩＥＣＡＭ０２
２１０ 白色プロセッサ
２２０ ロウパス・フィルタ１
２３０ ロウパス・フィルタ２
２４０ 比較器
２５０ マルチプレクサ
２６０ コンバイナ
【特許請求の範囲】
【請求項１】
可変照明条件下で照明されたオブジェクトを含むビデオ信号をビデオ入力で受け、
上記ビデオ信号内の基準領域の色を測定し、
上記測定した色を色基準入力として色プロセッサに供給し、
上記測定した色を用いて上記ビデオ信号から発生したデータの色信号を調整する
ビデオ内のオブジェクト自動検出方法。
【請求項２】
可変照明条件下で照明された１つ以上の人の顔を含むビデオ信号をビデオ入力で受け、
上記ビデオ信号内の基準領域の色を測定し、
上記測定した色を色基準入力として色プロセッサに供給し、
上記測定した色を用いて上記ビデオ信号の上記人の顔から発生したデータの色信号を調整する
顔検出方法。
【請求項３】
ビデオ信号を受けるように構成されたビデオ入力と、
上記ビデオ信号からビデオ・データを発生するように構成された１つ以上のビデオ・モデルと、
上記ビデオ・データの予め選択された部分から顔データを抽出するように構成された色基準発生器と、
上記色基準発生器から抽出された色データを用いて時間と伴に上記ビデオ・データを変調するように構成された色プロセッサと、
上記時間的プロセッサに結合され、予め蓄積されたオブジェクト条件に対して上記変調されたビデオ・データを比較するように構成されたオブジェクト検出器と
を具えたオブジェクト自動検出用システム。
【請求項１】
可変照明条件下で照明されたオブジェクトを含むビデオ信号をビデオ入力で受け、
上記ビデオ信号内の基準領域の色を測定し、
上記測定した色を色基準入力として色プロセッサに供給し、
上記測定した色を用いて上記ビデオ信号から発生したデータの色信号を調整する
ビデオ内のオブジェクト自動検出方法。
【請求項２】
可変照明条件下で照明された１つ以上の人の顔を含むビデオ信号をビデオ入力で受け、
上記ビデオ信号内の基準領域の色を測定し、
上記測定した色を色基準入力として色プロセッサに供給し、
上記測定した色を用いて上記ビデオ信号の上記人の顔から発生したデータの色信号を調整する
顔検出方法。
【請求項３】
ビデオ信号を受けるように構成されたビデオ入力と、
上記ビデオ信号からビデオ・データを発生するように構成された１つ以上のビデオ・モデルと、
上記ビデオ・データの予め選択された部分から顔データを抽出するように構成された色基準発生器と、
上記色基準発生器から抽出された色データを用いて時間と伴に上記ビデオ・データを変調するように構成された色プロセッサと、
上記時間的プロセッサに結合され、予め蓄積されたオブジェクト条件に対して上記変調されたビデオ・データを比較するように構成されたオブジェクト検出器と
を具えたオブジェクト自動検出用システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１０−１５４５２９（Ｐ２０１０−１５４５２９Ａ）
【公開日】平成２２年７月８日（２０１０．７．８）
【国際特許分類】
【外国語出願】
【出願番号】特願２００９−２８３３４４（Ｐ２００９−２８３３４４）
【出願日】平成２１年１２月１４日（２００９．１２．１４）
【出願人】（３９１００２３４０）テクトロニクス・インコーポレイテッド (234)
【氏名又は名称原語表記】ＴＥＫＴＲＯＮＩＸ，ＩＮＣ．
【Ｆターム（参考）】
【公開日】平成２２年７月８日（２０１０．７．８）
【国際特許分類】
【出願番号】特願２００９−２８３３４４（Ｐ２００９−２８３３４４）
【出願日】平成２１年１２月１４日（２００９．１２．１４）
【出願人】（３９１００２３４０）テクトロニクス・インコーポレイテッド (234)
【氏名又は名称原語表記】ＴＥＫＴＲＯＮＩＸ，ＩＮＣ．
【Ｆターム（参考）】
[ Back to top ]