メディアデータ及びメタデータの組み合わせを供給する方法及びシステム
ビデオデータ３７及びメタデータ３４の組み合わせを供給する方法は、ビデオカメラ５により取り込まれる画像のシーケンス２３を得るステップを有する。少なくとも１つの信号２４は、前記画像のシーケンス２３から抽出され、各々の抽出した信号２４は、光の強度及び色の少なくとも１つの局所的な時間変動を特徴付ける。少なくとも１つのビデオ圧縮技術は、前記シーケンス２３からの画像の画像データに適用され、圧縮したビデオデータ３７を得る。抽出した信号２４は、これらの画像からの画像データに前記少なくとも１つの画像圧縮技術を適用する前の状態の画像から抽出される。圧縮したビデオデータ３７は、前記画像の少なくとも一部に表される被験者における少なくとも１つの処理を特徴付けるためのメタデータを具備し、前記処理は、前記被験者から取り込まれる光の色及び強度の少なくとも１つの局所的な時間変動を引き起こす。前記メタデータ３４は、前記抽出した信号２４の少なくとも１つに少なくとも基づいている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、メディアデータ及びメタデータの組み合わせを供給する方法、並びにメディアデータ及びメタデータの組み合わせを供給するシステムに関する。本発明は、圧縮したビデオ及びメタデータの組み合わせを含む信号にも関し、ここで圧縮したビデオは、画像のシーケンスからの画像の画像データに少なくとも１つのビデオ圧縮技術を適用することにより得ることができる。本発明はさらに、上記信号を処理する方法、上記信号を処理するシステム及びコンピュータプログラムにも関する。
【背景技術】
【０００２】
US2009/0192961 A1は、ユーザの関心に基づいてメディアストリームのビットレートを適合させるためのシステムを開示している。集められた生体計測(biometric)データは、ユーザの情緒的関心を決定し、任意でメディアのビットレートを調節する及び/又は記憶したメディアの１つ以上の選択した部分へのナビゲーションのオプションを示すのに使用されることができる。生体計測データは、心拍、呼吸数、電気皮膚反応、瞳孔拡張、血圧、体温等を含むことができる。生体計測はセンサから集められることができ、このセンサは、皮膚電気センサ、マイク、サーモメータ、加速度計等を含むことができる。ある実施例において、ユーザの関心の変化は、可変ビットレート符号化器をトリガして、設定オプションに基づいて、取り込んだオーディオ／ビデオのビットレート処理を調節することができる。例えば、デジタルカメラは、画像を取り込んでいる間、生体計測データを得ることができる。ユーザの関心が高いと検出されるとき、画像の解像度及びメガピクセル数が増大することができ、高忠実度の画像として前記画像を記憶する。集められた生体計測データは、再生及びナビゲーションに使用するために、前記画像にメタデータとして記憶されることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
既知のシステムの問題は、取り込み時に得られる生体計測データに限定されることである。センサに取り付けられる人間を特徴付ける生体計測データだけが得られる。説明した形式の追加の生体計測センサが各々の追加の人間に必要とされ、各々の人間は協力しなければならない。
【０００４】
ビデオに表される被験者における処理を特徴付けるメタデータに効果的なビデオデータを供給することを可能にする、上述した形式の方法、システム、信号及びコンピュータプログラムを供給することが望ましい。
【課題を解決するための手段】
【０００５】
この目的のために、第１の態様に従って、ビデオデータ及びメタデータの組み合わせを供給する方法を提供し、この方法は、
−ビデオカメラにより取り込まれる画像のシーケンスを得るステップ、
−前記画像のシーケンスから少なくとも１つの信号を抽出するステップであり、各々の抽出した信号は、光の強度及び色の少なくとも１つの局所的な時間変動を特徴付けている、ステップ、
−圧縮したビデオデータを得るために、前記シーケンスからの画像の画像データに少なくとも１つのビデオ圧縮技術を適用するステップであり、前記信号の少なくとも１つは、これらの画像からの画像データに前記少なくとも１つの圧縮技術を適用する前の状態の画像から抽出される、ステップ、並びに
−前記画像の少なくとも一部に表される被験者における少なくとも１つの処理を特徴付けるためのメタデータを圧縮したビデオデータに供給するステップであり、前記処理は、被験者から取り込まれる光の色及び強度の少なくとも１つの局所的な時間変動を引き起こし、前記メタデータは抽出した信号の少なくとも１つに少なくとも基づいている、ステップ
を有する。
【０００６】
画像のシーケンスに表される被験者は一般に生きている被験者であるが、無生物でもよい。光の強度及び色の少なくとも１つにおける局所的な時間変動を引き起こす処理は一般に、この被験者の外から見ることができる如何なる部分の如何なる運動と無関係である内部処理である。しかしながら、幾つかの応用において、前記被験者の目に見える部分の内部運動（例えば、被験者に固定した基準フレームに対する、この被験者の一部の回転又は往復運動）の処理である。生きている被験者及び内部処理の場合、抽出した信号は、少なくとも１つの生体計測信号に対応する情報を送信する。
【０００７】
圧縮したビデオデータを供給することにより、前記方法はかなり効率的となる。圧縮したビデオデータ、特に予測符号化(predictive coding)を使用して得られる圧縮したビデオデータは一般に、画像に表される被験者における少なくとも１つの生物学的現象を特徴付けするデータを得るのに使用される、光の強度及び色の少なくとも１つの局所的な時間変動を表す信号を抽出するのにはもはや適さないので、前記方法は、生物学的現象を特徴付ける上記データに対応する又はその様なデータを得るのに使用するのに適したメタデータを供給する。前記方法は、圧縮する前の画像のシーケンスから少なくとも１つの信号の抽出に基づいているので、前記画像の少なくとも一部に表される被験者における処理により引き起こされる強度及び/又は色の小規模な変化は依然として抽出した信号に表されている。このような抽出した信号に基づくことにより、前記方法は、追加のセンサを設ける必要なく、画像のシーケンスに表される複数の人間を特徴付けるデータを、すなわち多重の信号を抽出することにより得るのに使用されることができる。前記方法はさらに、身体上にセンサを置く必要がないので、生きている被験者の協力しようとする意思とは本質的に無関係である。前記方法は例えば、圧縮したビデオと組み合わせて生体計測データを供給するための監視アプリケーションに適している。この生体計測データは綿密な調査を必要とする圧縮したビデオの部分を特定するのに使用されることができる。このビデオは圧縮されているので、比較的少ない容量でのデータ伝送ネットワークは、カメラシステムからビデオ及びメタデータを集めるのに使用されることができる。このシステムは事象の性質を決めるために、圧縮したビデオにアクセスできる人間によって、前記メタデータにより伝えられる事象に対する短期間の応答を可能にするように簡単に配されることができる。
【０００８】
前記方法の実施例は、抽出した信号の少なくとも１つの得られた部分に少なくとも基づいたデータの分析の結果に依存して、少なくとも１つの圧縮技術の適用を適合させるステップを含む。
【０００９】
この実施例は、画像のシーケンスに表される人間がより多くいる、及び彼らの各々に独立して関連している生体計測データが前記メタデータから復元可能である場合、より多くのメタデータが必要とされる問題に対する解決策を提供するのに使用されることができる。含まれるメタデータの量は、必要（情報量）に従って変えられる一方、データ（圧縮したビデオ及びメタデータ）の総量を制限内に保っている。その代わりに又はそれに加えて、この実施例は、画像のシーケンスのある空間部分が関心のある被験者を表しているかどうかに依存して、これらの部分に多かれ少なかれ圧縮を適用するのに使用されることができる。例えば、抽出した信号は、画像に表される生きている人間の顔が置かれている場所を決定するのに使用されることができる。前記画像のこれら空間部分は、詳細を保存するために符号化されることができる。予測符号化が圧縮技術の一部として使用される場合、同じことである。前記処理を特徴付けるパラメタが画像のシーケンスのある区間に対応する期間中、急速に時間が変化する場合、より少ない補間がこれらの区間を圧縮の一部として符号化するために適用されることができる。
【００１０】
前記方法の実施例は、画像のシーケンスを得ている間、抽出した信号の少なくとも１つの得られた部分に少なくとも基づいたデータの分析の結果に依存して、少なくとも１つのカメラを使用して前記画像を取り込む処理のパラメタを調節させるステップを含んでいる。
【００１１】
この実施例は、画像のシーケンスに表される被験者における処理を特徴付ける信頼できないデータを発生させることなく、比較的安価なカメラを使用することを可能にする。高解像度カメラを使用しなければならないのに代わり、被験者における処理に関する情報を送信している抽出した（複数の）信号の成分は、これら抽出した信号により明確に存在しているよう調節されることができる。この実施例の１つの変形例において、光をセンサアレイ上に集めるのに使用される光学系の設定に影響を及ぼすパラメタが適合する。従って、画像のシーケンスに表される場面のある部分に関するより多くの情報を取り込むために、ズームインすることが可能である。抽出した（複数の）信号を作成するのに使用されるピクセル数はそれ故に増大する。代わりに、同じ処理に関する情報を送信するより多くの抽出した信号が生成されることができ、これは被験者における処理を特徴付けするさらに信頼できるコンセンサス信号又は値を生じさせる。他の変形例において、光の強度を離散ピクセル値に変換するためのシステムの少なくとも１つのパラメタは、抽出した信号の少なくとも１つの得られた部分に少なくとも基づいて、前記データの分析の結果に依存して調節される。このようなパラメタの例は、画像センサアレイの利得及び離散化しきい値を含んでいる。この実施例において、ピクセル値は、一般に内部処理（特に生物学的処理）のために、色又は強度の小規模の変動を表するより信頼できる情報を送信する。調節され得る他のパラメタ（通例、デジタルカメラは一般に機械式のシャッターを持たないので、光の強度を離散ピクセル値に変換するためのシステムのパラメタ）は、露出時間及びフレームレートを含んでいる。
【００１２】
ある実施例において、前記方法はカメラに含まれる処理システムにより実行される。
【００１３】
これは、前記処理システムが画像センサアレイとして同じハウジング内に含まれていることを意味している。この実施例は、非圧縮のビデオデータの通信を殆ど避け、それ故にかなり安価で実施する。特定の変形例において、前記カメラは少なくとも１つのネットワークのインタフェースを具備しているので、ビデオデータ及びメタデータの組み合わせは、カメラ自身によってネットワークを介して伝送可能である。この組み合わせは、ある実施例では、圧縮したビデオの多重送信(multiplex)であり、及び圧縮したビデオのストリームと同期したメタデータのストリームである。適切なカメラ（いわゆるＩＰカメラ）は既に存在している。この方法の変形例はすなわち、これらカメラにこの方法を実行するように適切に構成されることを必要とする。
【００１４】
ある実施例において、メタデータは、画像のシーケンスにおける光の強度及び色の少なくとも１つの局所的な時間変動を特徴付ける少なくとも１つの信号を含んでいる。
【００１５】
それ故に、このメタデータは、抽出した信号に本質的に類似している信号を含んでいる。しかしながら、これら信号は、抽出した信号の２つ以上を組み合わせる動作、例えば平均化又はクラスタ化の動作の結果である。この実施例において、メタデータ及び圧縮したビデオの組み合わせを供給するシステムは、簡潔な方法で被験者における処理を特徴付ける入手可能な情報に到達するのに必要な処理を実行する必要はない。この処理の形式は、圧縮したビデオデータ及びメタデータの組み合わせを処理するために配される外部のシステムにより実行される。それに応じて、この処理の形式が変更されることができる。その上、メタデータ及び圧縮したビデオの組み合わせを供給するシステムがより簡単にすることができる。ある高価なシステムは、例えば数台のカメラにより供給される前記圧縮したビデオデータ及びメタデータを処理することができる。
【００１６】
本発明の他の態様によれば、ビデオデータ及びメタデータの組み合わせを供給するためのシステムが設けられ、このシステムは、
−画像のシーケンスを取り込むためのカメラとのインタフェース
−圧縮したビデオデータを得るために、前記シーケンスからの画像の画像データに少なくとも１つのビデオ圧縮技術を適用する、
前記画像のシーケンスから少なくとも１つの信号を抽出し、各々の抽出した信号は光の強度及び色の少なくとも１つの局所的な時間変動を特徴付ける、並びに
前記画像の少なくとも一部に表される少なくとも1人の被験者における少なくとも１つの処理を特徴付けるためのメタデータを生成する
ために構成されるビデオデータ処理システムであり、前記抽出した信号は、これら信号からの画像データに少なくとも１つの圧縮技術を適用する前の状態の画像から抽出され、前記メタデータは被験者から取り込まれる光の色及び強度の少なくとも１つの局所的な時間変動を引き起こす処理を特徴付け、前記メタデータは抽出した信号の少なくとも１つに少なくとも基づいているビデオデータ処理システム、並びに
−前記圧縮したビデオデータに前記メタデータを供給するための出力インタフェース
を有する。
【００１７】
本発明の他の態様によれば、圧縮したビデオ及びメタデータの組み合わせを含む信号が供給され、この圧縮したビデオは画像のシーケンスからの画像の画像データに少なくとも１つのビデオ圧縮技術を適用することにより得ることができ、前記メタデータは前記画像のシーケンスにおける光の強度及び色の少なくとも１つの局所的な時間変動を特徴付ける少なくとも１つの信号を含んでいる。
【００１８】
前記信号を受信及び処理するために配されるシステムは、画像に表される被験者における処理を特徴付ける情報を得ることができる。メタデータは画像のシーケンスにおける光の強度及び色の少なくとも１つの局所的な時間変動を特徴付ける少なくとも１つの信号を含んでいるので、上記情報の様々な形式が得られる。例えば、抽出した信号は、前記画像に表される生きている被験者の心拍又は呼吸数の何れか一方を決めるのに使用されることができる。このために、すなわち抽出した信号のために、ある形式のメタデータだけが必要とされる。ある効果は、信号が比較的単純なカメラシステムにより生成され得ることである。他の効果は、多数の異なる形式のメタデータの標準化（例えば、メタデータにある特定の数値が表す変数を示すコードに関する同意）を達成する必要がないことである。１つの形式のメタデータが十分である。ある変形例において、メタデータは、光の強度及び色の少なくとも１つの局所的な変化を示す特定の信号が関連する空間の位置を示す。
【００１９】
ある実施例において、前記信号は本発明による方法を実行することにより得ることができる。
【００２０】
本発明の他の態様によれば、圧縮したビデオ及びメタデータの組み合わせを含んでいる信号を処理するためのシステムが供給され、このシステムは、
−本発明による信号を得るためのインタフェース、及び
−画像のシーケンスの少なくとも一部に表される被験者における少なくとも１つの処理を特徴付けるパラメタの少なくとも１つの値を計算するためのデータ処理システム
を有し、前記処理は、画像のシーケンスにおける光の強度及び色の少なくとも１つの局所的な時間変動を特徴付ける信号の少なくとも１つを入力として用いて、前記被験者から取り込まれる光の色及び強度の少なくとも１つの局所的な時間変動を引き起こす。
【００２１】
本発明のさらに他の態様によれば、機械読み取り可能な媒体に実装されるとき、情報処理機能を持つシステムに本発明による方法を行わせることが可能である命令の組を含むコンピュータプログラムを供給する。
【図面の簡単な説明】
【００２２】
【図１】圧縮したビデオのストリームをメタデータと組み合わせている信号を生成するためのカメラシステムを有するシステム、及びこの組み合わせた信号を処理するためのシステムの概略的なブロック図。
【図２】前記信号を生成するためのシステムにより実行される方法における幾つかのステップを説明しているフローチャート。
【図３】図２で説明した方法の実施例の一部として画像のシーケンスの強度及び色の少なくとも１つの局所的な時間変動を表す信号を生成するステップを詳細に説明しているフローチャート。
【図４】前記組み合わせた信号を処理する第１の方法の概略を述べるフローチャート。
【図５】前記組み合わせた信号を処理する第２の方法の概略を述べるフローチャート。
【発明を実施するための形態】
【００２３】
本発明は、付随する図面を参照してさらに詳細に開示される。
【００２４】
第１及び第２のカメラシステム１、２、ネットワーク３及びビデオ信号処理システム４を有するシステムがここに使用され、圧縮したビデオデータ及びメタデータの組み合わせを供給及び処理する方法を説明している。説明される実施例において、第１のカメラシステム１は、ネットワークインタフェース６を備える単一のカメラ５を有する。他の実施例において、前記第１のカメラシステム１は、計算装置と、例えばダイレクトリンクにより計算装置に接続され、前記計算装置の制御下で動作するカメラとの組み合わせを有し、このシステムは、未処理の非圧縮のビデオデータも処理し、圧縮したビデオデータ及びメタデータの組み合わせを生成する。
【００２５】
第２のカメラシステム２は、第１のカメラシステムと同じ構造を持つことができ、これを理由に詳細には説明されない。
【００２６】
カメラ５は、例えば既知の形式のＣＣＤ又はＣＭＯＳセンサアレイのような、画像センサアレイ７を含んでいる。カメラ５はさらに、場面からの光を画像センサアレイ７上に集めるための光学系８も有する。この光学系８は一般に、１つ以上のレンズ、フィルタ、絞り等を含み、これらの各々は、カメラ処理器９の制御下で調節されることができる。同様に、カメラ処理器９は、積分時間、利得、離散化しきい値等を含んでいる、画像センサアレイ７のパラメタを設定することができる。画像のシーケンスについて述べる場合、これは異なる色チャンネルに画像のシーケンスの組み合わせを含むことができることを述べている。従って、１つの画像は、２つ以上、例えば３つの画像フレームの組み合わせを意味することができ、ピクセル値のアレイの各々は、電磁スペクトルの特定の範囲内で取り込んだ光の強度を表している。カメラ５は電磁スペクトルの可視部若しくは不可視部の何れか一方において、又はそれら両方において動作するように配され得ることをさらに述べる。従って、画像は、前記スペクトルの赤外線部における取り込んだ強度を表すピクセル値のアレイからなる又は有することができる。
【００２７】
説明される実施例において、ビデオ符号化器１０は、未処理の画像データを圧縮し、それにより圧縮したビデオを生成するために設けられる。しかしながら、処理器９も同様に未処理の非圧縮の画像データを処理することができ、この目的のために、揮発メモリユニット１１が設けられる。
【００２８】
他の実施例において、カメラ５の構成要素の機能は、図１に説明されるよりも少ない別個の装置に組み合わされる又はそれよりも多くの装置に分配される。
【００２９】
説明されるカメラ５は、ユーザ制御１２及びディスプレイ１３を具備する。
【００３０】
カメラ５及び第２のカメラシステム２は、圧縮したビデオのデータストリーム及びメタデータのデータストリームを有するデータストリームを供給するために各々構成される。これら圧縮したビデオのデータストリーム及びメタデータのデータストリームは、共通の時間基準を備えているので、メタデータ及び圧縮したビデオは同期される。特定の実施例において、前記メタデータのデータストリーム及び前記圧縮したビデオのデータストリームは、多重送信（マルチプレックス）で供給される。
【００３１】
ここでは特定の応用が例として用いられ、この応用において、カメラ５は、１人以上の人間を表している圧縮したビデオのデータストリームを、これら表される人間において１つ以上の生物学的処理を直接特徴付ける又はビデオ信号処理システム４がそのような情報を得ることを可能にするかの何れか一方である情報を担持しているメタデータのデータストリームと組み合わせて供給するのに使用される。カメラ５は、１つ以上の第１の信号を最初に抽出することにより前記メタデータを生成し、その信号の各々は、非圧縮した画像のシーケンスから光の強度若しくは色の何れか一方、又は両方の局所的な時間変動を表す。従って、ここで説明されるべき処理は、生きている人間から反射した又は通過した光の色又は強度の変化を引き起こす生物学的処理に関するメタデータを得るのに適する。それは特に心拍及び呼吸のような（準）周期的な生物学的処理に関するメタデータを得るのに使用される。しかしながら、発汗のような他の現象も、特に前記電磁スペクトル内の適切な範囲に集めることにより特徴付けられることもできる。
【００３２】
ある実施例において、ここでさらに十分に説明するために、カメラ５及び第２のカメラシステム２は、光及び色の少なくとも１つにおける局所的な変化を表す信号を直接表しているメタデータのみを供給し、これは上記信号が前記メタデータから完全に再構成されることができる又は位相差は別として少なくとも再構成されることを意味している。他の実施例において、前記メタデータは、生物学的現象を直接特徴付けるパラメタ値を表す。この実施例において、前記メタデータが基づいている光及び色の少なくとも１つにおける局所的な変化を表す信号は、もはやこのメタデータから再構成されることはできない。前記生物学的現象を直接特徴付けるパラメタ値を表すメタデータを供給することは、カメラ５により高い知能を必要とするが、それはメタデータのサイズが小さくなることを意味している。他方、ビデオ信号処理システム４は、カメラ５が供給するようにプログラムされた生物学的情報（例えば圧縮したビデオのストリームに表される人間の心拍の値であるが、呼吸数の値ではない情報）に単にアクセスできる。加えて、ビデオ信号処理システム４が前記メタデータにおける数値が関連する変数の性質を決めることを可能にするためのプロトコルが存在しなければならない。
【００３３】
ビデオ信号処理システム４は、汎用目的のコンピュータの形式で実施されることができる。従って、図１において、このシステムは、ネットワークインタフェース６、中央処理ユニット（ＣＰＵ）１５、メインメモリ１６、ユーザ入力装置１７、大容量記憶装置１８及びグラフィックユニット１９を有するように示される。システム４は、例として２台の表示装置２０、２１に接続されている。代替実施例において、受信した圧縮したビデオのストリームを復元するための別個のデコーダ装置が設けられるが、説明される実施例において、これはＣＰＵ１５又はグラフィックユニット１９により行われる。説明される実施例において、復元したビデオは、表示装置２０、２１の一方に示され、このビデオに表される生きている被験者における生物学的処理に関する情報が他方の表示装置に示されることができる。この表示は、関連する被験者が前記ビデオに表される画面の位置に略対応する画面の位置に示される生物学的情報と共に、前記ビデオに示されている場面に対応しているグラフ表現を含むグラフ表示の形式とすることができる。代替実施例において、前記生物学的情報は前記ビデオの上に重畳される。ある実施例において、前記生物学的情報は、ユーザ入力装置１７によって供給される入力に応答して重畳される。他の実施例において、カメラ５及び第２のカメラシステム２からのビデオは、例えばセキュリティを目的とする監視システムを実施するために、２台の表示装置２０、２１の別々の装置に表示されることができる。生物学的情報は、潜在的に関心のある場面、例えば心拍が上昇している又は発汗している人間を表している場面をハイライトにするのに使用されることができる。
【００３４】
図２を参照すると、カメラ５にある処理器９により実行されるように、圧縮したビデオデータ及びメタデータの組み合わせを供給する方法の一例が開示されている。
【００３５】
各々が次の画像を得ると（ステップ２２）、既に得た画像のサブシーケンス２３が更新される。説明される実施例において、第１の信号２４ａ−ｎの組の各々において次の地点が次いで、遠隔的な光電脈波方法を用いて得られる（ステップ２５）。
【００３６】
第１の信号が得られる１つの方法が図３において概略的に説明される。画像のシーケンス２６（このシーケンスは異なる色チャンネルにおける２つ又は３つの画像のシーケンスの組み合わせである）が得られる（ステップ２７）。
【００３７】
次いで、任意であるが有効なステップにおいて、画像２６に補正が適用される。これは、これら画像のピクセル値から（例えばある画像の全ピクセルにわたり、実際は異なる色チャンネルにおける全ての対応する画像フレームの全ピクセルにわたり平均化することにより決められる）全体的な光の強度レベルの変動を取り去ることを含む。この目的は、画像に表される被験者における処理による、これら画像の空間領域における局所的な変動を切り離するために、背景照明又はカメラの移動による変動をできるだけ多く取り除くことである。
【００３８】
次いで（ステップ２９）、各々が複数のピクセル地点を取り囲んでいる複数の測定範囲を規定する格子が画像２６の上に置かれる。
【００３９】
次に（ステップ３０）、抽出した信号３１ａ−ｎの第１の組が定められ、抽出した信号３１ａ−ｎの各値は、前記測定範囲の１つからのピクセル値の組み合わせに基づいている。これは例えば平均とすることができる。それが中間値とすることもできる。異なる色チャンネルからのピクセル値に使用されている異なる重みを用いた重み付け平均とすることもできる。従って、例えば皮膚組織における酸素ヘモグロビンのレベルの変動に特に敏感であるため、緑色がより重み付けられることができる。同様に、皮膚組織の水分含量の変動及び皮膚表面の水分量の変動に敏感であり、故に脈動する血漿(blood plasma)の流れ及び変化する発汗のレベルを表すので、青色は追加の重み付けを与えられることができる。空間的平均化を実行する代わりに、クラスタ化(clastering)が実行され得ることを述べる。すなわち、強度の変動を表す信号又は信号セグメントは、測定範囲にある複数のピクセル位置の各々に対し生成され、これら信号又は信号セグメントは次いで、各々の測定範囲に対し単一の抽出した信号３１を生成するためにクラスタ化される。
【００４０】
説明される実施例において、信号３２ａ−ｎの第２の組が生成される（ステップ３３）。各々の信号３２ａ−ｎは、前記第１の組の信号３１の対応する信号の変動を表している。これら第２の組の信号３２は、前記信号３１をそれの中間値又は平均値にセンタリングすることにより生成されることができる。代替実施例において、小さな信号の変動を得るための異なる又は他の技術、例えばハイパス又はバンドパスフィルタリングが実行される。
【００４１】
説明されるように、前記第２の組の信号３２ａ−ｎは、前記第１の信号２４ａ−ｎに対応している。他の実施例において、選択が行われる。例えば、ほとんど若しくは全く情報内容を持たない第２の組の信号３２ａ−ｎの信号は処分されることができる。
【００４２】
（詳細には示されない）代替実施例が可能であり、この実施例では格子は使用されないことを述べておく。代わりに、画像のセグメンテーションが使用され、生きている人間に対応する画像の中からそれらの部分を特定する。次いで、少なくとも１つの測定範囲は各々の関心領域内に選択される。関心領域又は測定範囲は、画像シーケンス２６を通じて追跡され、図２の実施例に対し説明した方法で各々の測定範囲から信号が抽出される。ある形式の関心領域を識別するためのアルゴリズム（例えば顔識別アルゴリズム）、並びに画像のシーケンスを通じて測定範囲及び/又は関心領域を追跡するためのアルゴリズムと同様に、カメラ５にある処理器９が画像のセグメンテーションを実行することが可能であるべきなので、本実施例は僅かに複雑になっている。しかしながら、例えば第２のカメラシステム２がカメラ及び計算装置を有する場合、本実施例は実現可能であり、より少ない第１の信号２４ａ−ｎが生成される効果があり、これら信号はさらに、光の強度及び/又は色の局所的変動を引き起こす現象を特徴付けることに関連している可能が高い。顔識別アルゴリズムは、Viola, P.及びJones, M.J.著"Robust real-time object detection"、IEEE Workshop on statistical and computational theories of vision、13 July 2001に開示されている。追跡アルゴリズムは、De Haan他著、"True-motion estimation with 3-D recursive search block matching", IEEE Transactions on circuits and systems for video technology, 3(5), October 1993, pp. 368-379に開示されている。
【００４３】
第１の信号２４ａ−ｎの他の地点を得るステップ２５（図２）の後、メタデータのストリーム３４の新しい値が作成される（ステップ３５）。このメタデータは予め定められた形式であり、これが独自仕様である又は標準化されることができる。
【００４４】
述べたとおり、ある実施例において、このステップ３５は、関心のある現象を直接特徴付けるパラメタの値を得るために、第１の信号２４ａ−ｎ又はこれまで得た信号の部分の更なる処理を必要とする。例えば、第１の信号２４ａ−ｎは、連続する時点において各々の第１の信号のスペクトルを得るために、スライドウィンドウ(sliding window)を用いて周波数領域に変換されることができる。少なくとも前記スペクトルの限られた範囲にある優位周波数(dominant frequency)の値は、例えば心拍又は呼吸数を表す時間変動する信号を得るために決められる。これらの値は、このときメタデータとして符号化されることができる。ある実施例において、前記値は、前記画像における空間領域を特定するデータに関連付けられるので、心拍又は呼吸数の値は、画像のシーケンスにおいて表される幾つかの生物の夫々と関連付けられることができる。
【００４５】
ここに詳細に述べた実施例において、第１の信号２４ａ−ｎを直接表すデータは、関係している第１の信号２４ａ−ｎが抽出された測定範囲の位置を特定する関連するデータと一緒にメタデータに符号化される。この測定範囲の位置を特定するデータは、絶対的、例えばメタデータ内に含まれるテーブルに値が記録されている順序でもよい。
【００４６】
今まで得たサブシーケンス２３にある画像の画像データが圧縮され、圧縮したビデオのフレーム３７を得る（ステップ３６）。説明した方法の実施例において、少なくとも１つのフレーム間圧縮技術が今まで得たサブシーケンスにある画像に適用される。その上、少なくとも１つの不可逆圧縮技術が使用される。一般的に、このような圧縮技術は、小規模な強度及び色の変動を取り除く。従って、圧縮したビデオのフレーム３７に表される被験者における内部処理により引き起こされる強度及び色の少なくとも１つの時間変動を表す信号を抽出することは一般に不可能である。この理由により、前記抽出ステップ２５及び圧縮ステップ３６は、前記得られた非圧縮の画像２３上で並行して実行される又は前記抽出ステップ２５が最初に実行される。
【００４７】
メタデータのストリーム３４及び圧縮したビデオのフレーム３７は、単一のデータストリームに多重化される（ステップ３８）。各々が共通の時間基準を参照するので、第１の信号２４ａ−ｎ又はこれら第１の信号２４ａ−ｎにより特徴付けられる時間変動を引き起こす前記内部処理を特徴付けるパラメタの時間変動する値は、圧縮したビデオのフレームと同期される。組み合わされたデータストリームに適した様式は、例えばＭＰＥＧ−４システム規格（ＩＳＯ／ＩＥＣ １３３９６−１）により提供される。
【００４８】
図２に説明される及び上述される方法のステップは、圧縮したビデオデータ及びメタデータの組み合わせを供給する方法の独立した及び完全な第１の実施例を構成する。
【００４９】
他の効果を提供する第２の実施例のある追加の特性も図２に説明されている。
【００５０】
この実施例において、今まで得た第１の信号２４ａ−ｎの一部の分析を含む他のステップ３９が実行される。説明される実施例において、このステップ３９が実行される一方、圧縮（ステップ３６）が進行中であり、さらに画像の取得（ステップ２２）も進行中である。
【００５１】
これは、前記分析の結果が、並行して適用される少なくとも１つの圧縮技術（ステップ３６）を適合させる（ステップ４１）のと同じく、画像を取り込む処理の少なくとも１つのパラメタを調節させる（ステップ４０）ために使用されるので、行われる。
【００５２】
様々な形式の分析及び適合が用いられる。ある実施例において、前記分析は、第１の信号２４ａ−ｎの直接の分析である。他の実施例において、強度及び/又は色の局所的な時間変動を引き起こす内部処理の特徴である、第１の信号２４ａ−ｎからの情報を得る処理の一部又は全てが実行され、前記分析はこのようにして得られた情報の分析である。例えば、前記分析は、第１の信号２４ａ−ｎのスペクトルの分析とすることができる。
【００５３】
ある実施例において、第１の信号２４ａ−ｎ又は夫々の第１の信号２４ａ−ｎを特徴付ける値が互いに比較される。従って、第１の信号２４ａ−ｎがある精度内で共通の優位周波数を持つかどうかを判断する。ある意味、これはどの位多くの異なる人間が画像に表されているかの判断である。数人の人間しかいない場合、メタデータの量を減少させる余地が僅かにあるので、ビデオ圧縮率は増大する。これは、ネットワーク３を通じて送られる全データ量は、ある制限内に留まることが可能であることを保証している。前記優位周波数は、前記画像のある空間領域と関連付けられる第１の信号２４ａ−ｎにのみ存在する場合、このとき圧縮は、他の領域よりもこれらの領域の方がより低くなり得る。これら領域は人間の観察者にとって最も関心のある領域である可能性が高いからである。人間の被験者の場合、これら領域は人間の身体に対応している可能性が高い。前記優位周波数が素早く時間変動する場合、このときフレーム間圧縮技術は、画像２３により表される場面に多くの変化、例えば人が行ったり来たりする可能性が高いので、わずかな予測を使用するのに適合する。
【００５４】
画像２３を取り込む処理のパラメタの調節と組み合わせた分析に関するかぎり、これら分析は、画像センサアレイ７及びこの画像センサアレイ７上に光を集めるのに用いられる光学系８の少なくとも１つの設定に対応するパラメタを含む。これは特に、画像センサアレイ７のピクセル数がかなり少ない場合であっても、前記場面のある部分が高い解像度で取り込まれ得ることを意味している。関連する分析は、例えば第１の信号２４ａ−ｎの信号対ノイズ比及び/又はダイナミックレンジの決定とすることができる。この信号対ノイズ比が低い場合、このときカメラはズームインすることができる。前記ダイナミックレンジが低い場合、このとき画像センサアレイ７におけるアナログ−デジタル変換器の量子化ステップは例えばより小さくすることができる。さらに可能な分析は、関心のある生物学的現象の回数（心拍、呼吸数）に対応する第１の信号２４ａ−ｎの優位周波数の密度の決定、又は第１の信号２４ａ−ｎを周波数領域に変換する度数分布の決定を含む。
【００５５】
このようにして画像取り込み処理及び/又は圧縮を適合させることにより、画像を取り込むのに使用されるカメラ５のハードウェアと、生体計測信号の検出器との間の閉フィードバックループが実施される。カメラ５の制御パラメタは、検出した生体計測信号の信頼性を一定の高いレベルに保つために、連続的及び自動的に調節される。
【００５６】
第１の信号２４ａ−ｎの少なくとも幾つかがメタデータとして直接符号化される例において、ビデオ信号処理システム４は、図４に説明されるような方法又は図５に説明されるような方法を実行することができる。
【００５７】
図４に説明される方法において、ビデオ信号処理システム４は、前記多重送信を受信し（ステップ４２）、圧縮したビデオのストリームからメタデータを分離する（ステップ４３）。この圧縮したビデオのストリームは復元される（ステップ４４）。
【００５８】
メタデータから、ビデオ信号処理システム４は、第１の信号２４ａ−ｎが関連付けられる画像において空間的位置を特定する関連情報と一緒にこれら第１の信号２４ａ−ｎを決定する。周波数変換（ステップ４６）は、各々の第１の信号２４ａ−ｎのスペクトルの少なくとも限られた範囲内にある優位周波数を決めるのに利用される。これは、スライドウィンドウを用いて繰り返し行われるので、優位周波数の経時的な展開が追跡されることができる。特に、この優位周波数の値は、並列するステップ４４において得られる復元したビデオシーケンスにおける時点に対応する時点に関連付けられることができる。従って、周波数情報及び復元したビデオは、表示装置２０、２１の一方において一緒に表示されることができる（ステップ４７）。ある実施例において、表示範囲内において復元したビデオに表される生きている被験者の位置が決定される。生物学的現象を特徴付ける少なくとも１つのパラメタの値は、メタデータから抽出される情報に基づいて、上記人間の各々に対し決定され、その人間が表される位置への可視のリンクを前記復元したビデオ上に重畳して表示される。他の実施例において、前記復元したビデオに表される被験者における内部処理を特徴付けるパラメタの値が一定の基準を満たすたびに警告が送られる。従って、例えば心拍数の値が一定の基準、例えば医療上の問題又はセキュリティ上の危険を示す基準を満たす人間をビデオが示すたびに可聴又は可視の警告が送られることができる。
【００５９】
図５は、圧縮したビデオデータ及びメタデータ、特に強度及び色の少なくとも１つの局所的変動を表す複数の第１の信号２４ａ−ｎを直接表すメタデータの組み合わせを含んでいる信号を処理する同様の方法を示す。このメタデータは、関連付けられる画像の位置の決定が各々の第１の信号２４ａ−ｎに対し行われることを可能にする。従って、ビデオ信号処理システム４は、前記信号を特徴付けるパラメタの少なくとも１つの関連する値を決定し、次いでこれらパラメタ値のマップを生成するために、各々の第１の信号２４ａ−ｎを処理することが可能である。
【００６０】
説明される実施例において、メタデータのストリーム３４及び圧縮したビデオのストリームの形式で前記第１の信号２４ａ−ｎを有する前記多重送信が得られる（ステップ４８）。メタデータのストリーム３４は、圧縮したビデオのストリームから分離される（ステップ４９）。次いで、前記第１の信号２４ａ−ｎ及びこれら信号の各々を画像範囲における位置とリンクする関連情報が得られる（ステップ５０）。第１の信号２４ａ−ｎは夫々分析され、これら信号のスペクトルの少なくとも限られた範囲内にある優位周波数を決める（ステップ５１）。次いで、説明される実施例において、この優位周波数の位相が各々の第１の信号２４ａ−ｎに対し決定される（ステップ５２）。説明される実施例において、この情報は位相マップを生成するのに使用される（ステップ５３）。並行して、圧縮したビデオのストリームが復元され（ステップ５４）、この復元したビデオも表示される（ステップ５５）。例えば、前記位相マップは第１及び第２の表示装置２０、２１の一方に表示されることができ、復元したビデオは他方に表示されることができる。
【００６１】
代替実施例において、復元したビデオ及び位相マップの一方は、他方の表示を向上させるために使用される。従って、例えば図３の方法において前記測定範囲を定める格子がかなり粗末である場合、この復元したビデオに実行される画像のセグメンテーションは、前記位相マップにより供給される画像を向上させるために使用されることができる。
【００６２】
ビデオ信号処理システム４に供給されるメタデータは、第１の信号２４ａ−ｎにはもはや直接対応していない代替実施例において、第１及び第２のカメラシステム１、２の一方又は両方は、図３の方法に続く図４又は図５による方法を行うことができるので、メタデータのストリーム３４は、第１の信号２４ａ−ｎの各々のスペクトルの少なくとも限られた範囲内にある優位周波数を表すデータを送信する又は位相マップを表す情報を送信する。何れにしても、カメラにより取り込まれる画像に表される多数の被験者の各々における内部処理が特徴付けられることを可能にする追加の情報が供給される。
【００６３】
上述した実施例は本発明を限定しているのではなく説明していること、及び添付の請求項の範囲から外れることなく、多くの代替実施例を当業者が設計することが可能であることに注目すべきである。請求項において、括弧の中に置かれる如何なる参照符号もその請求項を限定すると解釈されない。"有する"という言葉は請求項に挙げた以外の要素又はステップの存在を排除しない。複数あることを述べないことが、それら要素が複数あることを排除しない。ある手段が相互に異なる従属請求項に挙げられているという単なる事実がこれら手段の組み合わせは有利に用いられないことを示していない。
【００６４】
ある実施例において、時間領域の第１の信号２４ａ−ｎを供給する代わりに、これら信号２４ａ−ｎを時間周波数領域に変換することを表す情報がメタデータのストリーム３４に供給される。
【技術分野】
【０００１】
本発明は、メディアデータ及びメタデータの組み合わせを供給する方法、並びにメディアデータ及びメタデータの組み合わせを供給するシステムに関する。本発明は、圧縮したビデオ及びメタデータの組み合わせを含む信号にも関し、ここで圧縮したビデオは、画像のシーケンスからの画像の画像データに少なくとも１つのビデオ圧縮技術を適用することにより得ることができる。本発明はさらに、上記信号を処理する方法、上記信号を処理するシステム及びコンピュータプログラムにも関する。
【背景技術】
【０００２】
US2009/0192961 A1は、ユーザの関心に基づいてメディアストリームのビットレートを適合させるためのシステムを開示している。集められた生体計測(biometric)データは、ユーザの情緒的関心を決定し、任意でメディアのビットレートを調節する及び/又は記憶したメディアの１つ以上の選択した部分へのナビゲーションのオプションを示すのに使用されることができる。生体計測データは、心拍、呼吸数、電気皮膚反応、瞳孔拡張、血圧、体温等を含むことができる。生体計測はセンサから集められることができ、このセンサは、皮膚電気センサ、マイク、サーモメータ、加速度計等を含むことができる。ある実施例において、ユーザの関心の変化は、可変ビットレート符号化器をトリガして、設定オプションに基づいて、取り込んだオーディオ／ビデオのビットレート処理を調節することができる。例えば、デジタルカメラは、画像を取り込んでいる間、生体計測データを得ることができる。ユーザの関心が高いと検出されるとき、画像の解像度及びメガピクセル数が増大することができ、高忠実度の画像として前記画像を記憶する。集められた生体計測データは、再生及びナビゲーションに使用するために、前記画像にメタデータとして記憶されることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
既知のシステムの問題は、取り込み時に得られる生体計測データに限定されることである。センサに取り付けられる人間を特徴付ける生体計測データだけが得られる。説明した形式の追加の生体計測センサが各々の追加の人間に必要とされ、各々の人間は協力しなければならない。
【０００４】
ビデオに表される被験者における処理を特徴付けるメタデータに効果的なビデオデータを供給することを可能にする、上述した形式の方法、システム、信号及びコンピュータプログラムを供給することが望ましい。
【課題を解決するための手段】
【０００５】
この目的のために、第１の態様に従って、ビデオデータ及びメタデータの組み合わせを供給する方法を提供し、この方法は、
−ビデオカメラにより取り込まれる画像のシーケンスを得るステップ、
−前記画像のシーケンスから少なくとも１つの信号を抽出するステップであり、各々の抽出した信号は、光の強度及び色の少なくとも１つの局所的な時間変動を特徴付けている、ステップ、
−圧縮したビデオデータを得るために、前記シーケンスからの画像の画像データに少なくとも１つのビデオ圧縮技術を適用するステップであり、前記信号の少なくとも１つは、これらの画像からの画像データに前記少なくとも１つの圧縮技術を適用する前の状態の画像から抽出される、ステップ、並びに
−前記画像の少なくとも一部に表される被験者における少なくとも１つの処理を特徴付けるためのメタデータを圧縮したビデオデータに供給するステップであり、前記処理は、被験者から取り込まれる光の色及び強度の少なくとも１つの局所的な時間変動を引き起こし、前記メタデータは抽出した信号の少なくとも１つに少なくとも基づいている、ステップ
を有する。
【０００６】
画像のシーケンスに表される被験者は一般に生きている被験者であるが、無生物でもよい。光の強度及び色の少なくとも１つにおける局所的な時間変動を引き起こす処理は一般に、この被験者の外から見ることができる如何なる部分の如何なる運動と無関係である内部処理である。しかしながら、幾つかの応用において、前記被験者の目に見える部分の内部運動（例えば、被験者に固定した基準フレームに対する、この被験者の一部の回転又は往復運動）の処理である。生きている被験者及び内部処理の場合、抽出した信号は、少なくとも１つの生体計測信号に対応する情報を送信する。
【０００７】
圧縮したビデオデータを供給することにより、前記方法はかなり効率的となる。圧縮したビデオデータ、特に予測符号化(predictive coding)を使用して得られる圧縮したビデオデータは一般に、画像に表される被験者における少なくとも１つの生物学的現象を特徴付けするデータを得るのに使用される、光の強度及び色の少なくとも１つの局所的な時間変動を表す信号を抽出するのにはもはや適さないので、前記方法は、生物学的現象を特徴付ける上記データに対応する又はその様なデータを得るのに使用するのに適したメタデータを供給する。前記方法は、圧縮する前の画像のシーケンスから少なくとも１つの信号の抽出に基づいているので、前記画像の少なくとも一部に表される被験者における処理により引き起こされる強度及び/又は色の小規模な変化は依然として抽出した信号に表されている。このような抽出した信号に基づくことにより、前記方法は、追加のセンサを設ける必要なく、画像のシーケンスに表される複数の人間を特徴付けるデータを、すなわち多重の信号を抽出することにより得るのに使用されることができる。前記方法はさらに、身体上にセンサを置く必要がないので、生きている被験者の協力しようとする意思とは本質的に無関係である。前記方法は例えば、圧縮したビデオと組み合わせて生体計測データを供給するための監視アプリケーションに適している。この生体計測データは綿密な調査を必要とする圧縮したビデオの部分を特定するのに使用されることができる。このビデオは圧縮されているので、比較的少ない容量でのデータ伝送ネットワークは、カメラシステムからビデオ及びメタデータを集めるのに使用されることができる。このシステムは事象の性質を決めるために、圧縮したビデオにアクセスできる人間によって、前記メタデータにより伝えられる事象に対する短期間の応答を可能にするように簡単に配されることができる。
【０００８】
前記方法の実施例は、抽出した信号の少なくとも１つの得られた部分に少なくとも基づいたデータの分析の結果に依存して、少なくとも１つの圧縮技術の適用を適合させるステップを含む。
【０００９】
この実施例は、画像のシーケンスに表される人間がより多くいる、及び彼らの各々に独立して関連している生体計測データが前記メタデータから復元可能である場合、より多くのメタデータが必要とされる問題に対する解決策を提供するのに使用されることができる。含まれるメタデータの量は、必要（情報量）に従って変えられる一方、データ（圧縮したビデオ及びメタデータ）の総量を制限内に保っている。その代わりに又はそれに加えて、この実施例は、画像のシーケンスのある空間部分が関心のある被験者を表しているかどうかに依存して、これらの部分に多かれ少なかれ圧縮を適用するのに使用されることができる。例えば、抽出した信号は、画像に表される生きている人間の顔が置かれている場所を決定するのに使用されることができる。前記画像のこれら空間部分は、詳細を保存するために符号化されることができる。予測符号化が圧縮技術の一部として使用される場合、同じことである。前記処理を特徴付けるパラメタが画像のシーケンスのある区間に対応する期間中、急速に時間が変化する場合、より少ない補間がこれらの区間を圧縮の一部として符号化するために適用されることができる。
【００１０】
前記方法の実施例は、画像のシーケンスを得ている間、抽出した信号の少なくとも１つの得られた部分に少なくとも基づいたデータの分析の結果に依存して、少なくとも１つのカメラを使用して前記画像を取り込む処理のパラメタを調節させるステップを含んでいる。
【００１１】
この実施例は、画像のシーケンスに表される被験者における処理を特徴付ける信頼できないデータを発生させることなく、比較的安価なカメラを使用することを可能にする。高解像度カメラを使用しなければならないのに代わり、被験者における処理に関する情報を送信している抽出した（複数の）信号の成分は、これら抽出した信号により明確に存在しているよう調節されることができる。この実施例の１つの変形例において、光をセンサアレイ上に集めるのに使用される光学系の設定に影響を及ぼすパラメタが適合する。従って、画像のシーケンスに表される場面のある部分に関するより多くの情報を取り込むために、ズームインすることが可能である。抽出した（複数の）信号を作成するのに使用されるピクセル数はそれ故に増大する。代わりに、同じ処理に関する情報を送信するより多くの抽出した信号が生成されることができ、これは被験者における処理を特徴付けするさらに信頼できるコンセンサス信号又は値を生じさせる。他の変形例において、光の強度を離散ピクセル値に変換するためのシステムの少なくとも１つのパラメタは、抽出した信号の少なくとも１つの得られた部分に少なくとも基づいて、前記データの分析の結果に依存して調節される。このようなパラメタの例は、画像センサアレイの利得及び離散化しきい値を含んでいる。この実施例において、ピクセル値は、一般に内部処理（特に生物学的処理）のために、色又は強度の小規模の変動を表するより信頼できる情報を送信する。調節され得る他のパラメタ（通例、デジタルカメラは一般に機械式のシャッターを持たないので、光の強度を離散ピクセル値に変換するためのシステムのパラメタ）は、露出時間及びフレームレートを含んでいる。
【００１２】
ある実施例において、前記方法はカメラに含まれる処理システムにより実行される。
【００１３】
これは、前記処理システムが画像センサアレイとして同じハウジング内に含まれていることを意味している。この実施例は、非圧縮のビデオデータの通信を殆ど避け、それ故にかなり安価で実施する。特定の変形例において、前記カメラは少なくとも１つのネットワークのインタフェースを具備しているので、ビデオデータ及びメタデータの組み合わせは、カメラ自身によってネットワークを介して伝送可能である。この組み合わせは、ある実施例では、圧縮したビデオの多重送信(multiplex)であり、及び圧縮したビデオのストリームと同期したメタデータのストリームである。適切なカメラ（いわゆるＩＰカメラ）は既に存在している。この方法の変形例はすなわち、これらカメラにこの方法を実行するように適切に構成されることを必要とする。
【００１４】
ある実施例において、メタデータは、画像のシーケンスにおける光の強度及び色の少なくとも１つの局所的な時間変動を特徴付ける少なくとも１つの信号を含んでいる。
【００１５】
それ故に、このメタデータは、抽出した信号に本質的に類似している信号を含んでいる。しかしながら、これら信号は、抽出した信号の２つ以上を組み合わせる動作、例えば平均化又はクラスタ化の動作の結果である。この実施例において、メタデータ及び圧縮したビデオの組み合わせを供給するシステムは、簡潔な方法で被験者における処理を特徴付ける入手可能な情報に到達するのに必要な処理を実行する必要はない。この処理の形式は、圧縮したビデオデータ及びメタデータの組み合わせを処理するために配される外部のシステムにより実行される。それに応じて、この処理の形式が変更されることができる。その上、メタデータ及び圧縮したビデオの組み合わせを供給するシステムがより簡単にすることができる。ある高価なシステムは、例えば数台のカメラにより供給される前記圧縮したビデオデータ及びメタデータを処理することができる。
【００１６】
本発明の他の態様によれば、ビデオデータ及びメタデータの組み合わせを供給するためのシステムが設けられ、このシステムは、
−画像のシーケンスを取り込むためのカメラとのインタフェース
−圧縮したビデオデータを得るために、前記シーケンスからの画像の画像データに少なくとも１つのビデオ圧縮技術を適用する、
前記画像のシーケンスから少なくとも１つの信号を抽出し、各々の抽出した信号は光の強度及び色の少なくとも１つの局所的な時間変動を特徴付ける、並びに
前記画像の少なくとも一部に表される少なくとも1人の被験者における少なくとも１つの処理を特徴付けるためのメタデータを生成する
ために構成されるビデオデータ処理システムであり、前記抽出した信号は、これら信号からの画像データに少なくとも１つの圧縮技術を適用する前の状態の画像から抽出され、前記メタデータは被験者から取り込まれる光の色及び強度の少なくとも１つの局所的な時間変動を引き起こす処理を特徴付け、前記メタデータは抽出した信号の少なくとも１つに少なくとも基づいているビデオデータ処理システム、並びに
−前記圧縮したビデオデータに前記メタデータを供給するための出力インタフェース
を有する。
【００１７】
本発明の他の態様によれば、圧縮したビデオ及びメタデータの組み合わせを含む信号が供給され、この圧縮したビデオは画像のシーケンスからの画像の画像データに少なくとも１つのビデオ圧縮技術を適用することにより得ることができ、前記メタデータは前記画像のシーケンスにおける光の強度及び色の少なくとも１つの局所的な時間変動を特徴付ける少なくとも１つの信号を含んでいる。
【００１８】
前記信号を受信及び処理するために配されるシステムは、画像に表される被験者における処理を特徴付ける情報を得ることができる。メタデータは画像のシーケンスにおける光の強度及び色の少なくとも１つの局所的な時間変動を特徴付ける少なくとも１つの信号を含んでいるので、上記情報の様々な形式が得られる。例えば、抽出した信号は、前記画像に表される生きている被験者の心拍又は呼吸数の何れか一方を決めるのに使用されることができる。このために、すなわち抽出した信号のために、ある形式のメタデータだけが必要とされる。ある効果は、信号が比較的単純なカメラシステムにより生成され得ることである。他の効果は、多数の異なる形式のメタデータの標準化（例えば、メタデータにある特定の数値が表す変数を示すコードに関する同意）を達成する必要がないことである。１つの形式のメタデータが十分である。ある変形例において、メタデータは、光の強度及び色の少なくとも１つの局所的な変化を示す特定の信号が関連する空間の位置を示す。
【００１９】
ある実施例において、前記信号は本発明による方法を実行することにより得ることができる。
【００２０】
本発明の他の態様によれば、圧縮したビデオ及びメタデータの組み合わせを含んでいる信号を処理するためのシステムが供給され、このシステムは、
−本発明による信号を得るためのインタフェース、及び
−画像のシーケンスの少なくとも一部に表される被験者における少なくとも１つの処理を特徴付けるパラメタの少なくとも１つの値を計算するためのデータ処理システム
を有し、前記処理は、画像のシーケンスにおける光の強度及び色の少なくとも１つの局所的な時間変動を特徴付ける信号の少なくとも１つを入力として用いて、前記被験者から取り込まれる光の色及び強度の少なくとも１つの局所的な時間変動を引き起こす。
【００２１】
本発明のさらに他の態様によれば、機械読み取り可能な媒体に実装されるとき、情報処理機能を持つシステムに本発明による方法を行わせることが可能である命令の組を含むコンピュータプログラムを供給する。
【図面の簡単な説明】
【００２２】
【図１】圧縮したビデオのストリームをメタデータと組み合わせている信号を生成するためのカメラシステムを有するシステム、及びこの組み合わせた信号を処理するためのシステムの概略的なブロック図。
【図２】前記信号を生成するためのシステムにより実行される方法における幾つかのステップを説明しているフローチャート。
【図３】図２で説明した方法の実施例の一部として画像のシーケンスの強度及び色の少なくとも１つの局所的な時間変動を表す信号を生成するステップを詳細に説明しているフローチャート。
【図４】前記組み合わせた信号を処理する第１の方法の概略を述べるフローチャート。
【図５】前記組み合わせた信号を処理する第２の方法の概略を述べるフローチャート。
【発明を実施するための形態】
【００２３】
本発明は、付随する図面を参照してさらに詳細に開示される。
【００２４】
第１及び第２のカメラシステム１、２、ネットワーク３及びビデオ信号処理システム４を有するシステムがここに使用され、圧縮したビデオデータ及びメタデータの組み合わせを供給及び処理する方法を説明している。説明される実施例において、第１のカメラシステム１は、ネットワークインタフェース６を備える単一のカメラ５を有する。他の実施例において、前記第１のカメラシステム１は、計算装置と、例えばダイレクトリンクにより計算装置に接続され、前記計算装置の制御下で動作するカメラとの組み合わせを有し、このシステムは、未処理の非圧縮のビデオデータも処理し、圧縮したビデオデータ及びメタデータの組み合わせを生成する。
【００２５】
第２のカメラシステム２は、第１のカメラシステムと同じ構造を持つことができ、これを理由に詳細には説明されない。
【００２６】
カメラ５は、例えば既知の形式のＣＣＤ又はＣＭＯＳセンサアレイのような、画像センサアレイ７を含んでいる。カメラ５はさらに、場面からの光を画像センサアレイ７上に集めるための光学系８も有する。この光学系８は一般に、１つ以上のレンズ、フィルタ、絞り等を含み、これらの各々は、カメラ処理器９の制御下で調節されることができる。同様に、カメラ処理器９は、積分時間、利得、離散化しきい値等を含んでいる、画像センサアレイ７のパラメタを設定することができる。画像のシーケンスについて述べる場合、これは異なる色チャンネルに画像のシーケンスの組み合わせを含むことができることを述べている。従って、１つの画像は、２つ以上、例えば３つの画像フレームの組み合わせを意味することができ、ピクセル値のアレイの各々は、電磁スペクトルの特定の範囲内で取り込んだ光の強度を表している。カメラ５は電磁スペクトルの可視部若しくは不可視部の何れか一方において、又はそれら両方において動作するように配され得ることをさらに述べる。従って、画像は、前記スペクトルの赤外線部における取り込んだ強度を表すピクセル値のアレイからなる又は有することができる。
【００２７】
説明される実施例において、ビデオ符号化器１０は、未処理の画像データを圧縮し、それにより圧縮したビデオを生成するために設けられる。しかしながら、処理器９も同様に未処理の非圧縮の画像データを処理することができ、この目的のために、揮発メモリユニット１１が設けられる。
【００２８】
他の実施例において、カメラ５の構成要素の機能は、図１に説明されるよりも少ない別個の装置に組み合わされる又はそれよりも多くの装置に分配される。
【００２９】
説明されるカメラ５は、ユーザ制御１２及びディスプレイ１３を具備する。
【００３０】
カメラ５及び第２のカメラシステム２は、圧縮したビデオのデータストリーム及びメタデータのデータストリームを有するデータストリームを供給するために各々構成される。これら圧縮したビデオのデータストリーム及びメタデータのデータストリームは、共通の時間基準を備えているので、メタデータ及び圧縮したビデオは同期される。特定の実施例において、前記メタデータのデータストリーム及び前記圧縮したビデオのデータストリームは、多重送信（マルチプレックス）で供給される。
【００３１】
ここでは特定の応用が例として用いられ、この応用において、カメラ５は、１人以上の人間を表している圧縮したビデオのデータストリームを、これら表される人間において１つ以上の生物学的処理を直接特徴付ける又はビデオ信号処理システム４がそのような情報を得ることを可能にするかの何れか一方である情報を担持しているメタデータのデータストリームと組み合わせて供給するのに使用される。カメラ５は、１つ以上の第１の信号を最初に抽出することにより前記メタデータを生成し、その信号の各々は、非圧縮した画像のシーケンスから光の強度若しくは色の何れか一方、又は両方の局所的な時間変動を表す。従って、ここで説明されるべき処理は、生きている人間から反射した又は通過した光の色又は強度の変化を引き起こす生物学的処理に関するメタデータを得るのに適する。それは特に心拍及び呼吸のような（準）周期的な生物学的処理に関するメタデータを得るのに使用される。しかしながら、発汗のような他の現象も、特に前記電磁スペクトル内の適切な範囲に集めることにより特徴付けられることもできる。
【００３２】
ある実施例において、ここでさらに十分に説明するために、カメラ５及び第２のカメラシステム２は、光及び色の少なくとも１つにおける局所的な変化を表す信号を直接表しているメタデータのみを供給し、これは上記信号が前記メタデータから完全に再構成されることができる又は位相差は別として少なくとも再構成されることを意味している。他の実施例において、前記メタデータは、生物学的現象を直接特徴付けるパラメタ値を表す。この実施例において、前記メタデータが基づいている光及び色の少なくとも１つにおける局所的な変化を表す信号は、もはやこのメタデータから再構成されることはできない。前記生物学的現象を直接特徴付けるパラメタ値を表すメタデータを供給することは、カメラ５により高い知能を必要とするが、それはメタデータのサイズが小さくなることを意味している。他方、ビデオ信号処理システム４は、カメラ５が供給するようにプログラムされた生物学的情報（例えば圧縮したビデオのストリームに表される人間の心拍の値であるが、呼吸数の値ではない情報）に単にアクセスできる。加えて、ビデオ信号処理システム４が前記メタデータにおける数値が関連する変数の性質を決めることを可能にするためのプロトコルが存在しなければならない。
【００３３】
ビデオ信号処理システム４は、汎用目的のコンピュータの形式で実施されることができる。従って、図１において、このシステムは、ネットワークインタフェース６、中央処理ユニット（ＣＰＵ）１５、メインメモリ１６、ユーザ入力装置１７、大容量記憶装置１８及びグラフィックユニット１９を有するように示される。システム４は、例として２台の表示装置２０、２１に接続されている。代替実施例において、受信した圧縮したビデオのストリームを復元するための別個のデコーダ装置が設けられるが、説明される実施例において、これはＣＰＵ１５又はグラフィックユニット１９により行われる。説明される実施例において、復元したビデオは、表示装置２０、２１の一方に示され、このビデオに表される生きている被験者における生物学的処理に関する情報が他方の表示装置に示されることができる。この表示は、関連する被験者が前記ビデオに表される画面の位置に略対応する画面の位置に示される生物学的情報と共に、前記ビデオに示されている場面に対応しているグラフ表現を含むグラフ表示の形式とすることができる。代替実施例において、前記生物学的情報は前記ビデオの上に重畳される。ある実施例において、前記生物学的情報は、ユーザ入力装置１７によって供給される入力に応答して重畳される。他の実施例において、カメラ５及び第２のカメラシステム２からのビデオは、例えばセキュリティを目的とする監視システムを実施するために、２台の表示装置２０、２１の別々の装置に表示されることができる。生物学的情報は、潜在的に関心のある場面、例えば心拍が上昇している又は発汗している人間を表している場面をハイライトにするのに使用されることができる。
【００３４】
図２を参照すると、カメラ５にある処理器９により実行されるように、圧縮したビデオデータ及びメタデータの組み合わせを供給する方法の一例が開示されている。
【００３５】
各々が次の画像を得ると（ステップ２２）、既に得た画像のサブシーケンス２３が更新される。説明される実施例において、第１の信号２４ａ−ｎの組の各々において次の地点が次いで、遠隔的な光電脈波方法を用いて得られる（ステップ２５）。
【００３６】
第１の信号が得られる１つの方法が図３において概略的に説明される。画像のシーケンス２６（このシーケンスは異なる色チャンネルにおける２つ又は３つの画像のシーケンスの組み合わせである）が得られる（ステップ２７）。
【００３７】
次いで、任意であるが有効なステップにおいて、画像２６に補正が適用される。これは、これら画像のピクセル値から（例えばある画像の全ピクセルにわたり、実際は異なる色チャンネルにおける全ての対応する画像フレームの全ピクセルにわたり平均化することにより決められる）全体的な光の強度レベルの変動を取り去ることを含む。この目的は、画像に表される被験者における処理による、これら画像の空間領域における局所的な変動を切り離するために、背景照明又はカメラの移動による変動をできるだけ多く取り除くことである。
【００３８】
次いで（ステップ２９）、各々が複数のピクセル地点を取り囲んでいる複数の測定範囲を規定する格子が画像２６の上に置かれる。
【００３９】
次に（ステップ３０）、抽出した信号３１ａ−ｎの第１の組が定められ、抽出した信号３１ａ−ｎの各値は、前記測定範囲の１つからのピクセル値の組み合わせに基づいている。これは例えば平均とすることができる。それが中間値とすることもできる。異なる色チャンネルからのピクセル値に使用されている異なる重みを用いた重み付け平均とすることもできる。従って、例えば皮膚組織における酸素ヘモグロビンのレベルの変動に特に敏感であるため、緑色がより重み付けられることができる。同様に、皮膚組織の水分含量の変動及び皮膚表面の水分量の変動に敏感であり、故に脈動する血漿(blood plasma)の流れ及び変化する発汗のレベルを表すので、青色は追加の重み付けを与えられることができる。空間的平均化を実行する代わりに、クラスタ化(clastering)が実行され得ることを述べる。すなわち、強度の変動を表す信号又は信号セグメントは、測定範囲にある複数のピクセル位置の各々に対し生成され、これら信号又は信号セグメントは次いで、各々の測定範囲に対し単一の抽出した信号３１を生成するためにクラスタ化される。
【００４０】
説明される実施例において、信号３２ａ−ｎの第２の組が生成される（ステップ３３）。各々の信号３２ａ−ｎは、前記第１の組の信号３１の対応する信号の変動を表している。これら第２の組の信号３２は、前記信号３１をそれの中間値又は平均値にセンタリングすることにより生成されることができる。代替実施例において、小さな信号の変動を得るための異なる又は他の技術、例えばハイパス又はバンドパスフィルタリングが実行される。
【００４１】
説明されるように、前記第２の組の信号３２ａ−ｎは、前記第１の信号２４ａ−ｎに対応している。他の実施例において、選択が行われる。例えば、ほとんど若しくは全く情報内容を持たない第２の組の信号３２ａ−ｎの信号は処分されることができる。
【００４２】
（詳細には示されない）代替実施例が可能であり、この実施例では格子は使用されないことを述べておく。代わりに、画像のセグメンテーションが使用され、生きている人間に対応する画像の中からそれらの部分を特定する。次いで、少なくとも１つの測定範囲は各々の関心領域内に選択される。関心領域又は測定範囲は、画像シーケンス２６を通じて追跡され、図２の実施例に対し説明した方法で各々の測定範囲から信号が抽出される。ある形式の関心領域を識別するためのアルゴリズム（例えば顔識別アルゴリズム）、並びに画像のシーケンスを通じて測定範囲及び/又は関心領域を追跡するためのアルゴリズムと同様に、カメラ５にある処理器９が画像のセグメンテーションを実行することが可能であるべきなので、本実施例は僅かに複雑になっている。しかしながら、例えば第２のカメラシステム２がカメラ及び計算装置を有する場合、本実施例は実現可能であり、より少ない第１の信号２４ａ−ｎが生成される効果があり、これら信号はさらに、光の強度及び/又は色の局所的変動を引き起こす現象を特徴付けることに関連している可能が高い。顔識別アルゴリズムは、Viola, P.及びJones, M.J.著"Robust real-time object detection"、IEEE Workshop on statistical and computational theories of vision、13 July 2001に開示されている。追跡アルゴリズムは、De Haan他著、"True-motion estimation with 3-D recursive search block matching", IEEE Transactions on circuits and systems for video technology, 3(5), October 1993, pp. 368-379に開示されている。
【００４３】
第１の信号２４ａ−ｎの他の地点を得るステップ２５（図２）の後、メタデータのストリーム３４の新しい値が作成される（ステップ３５）。このメタデータは予め定められた形式であり、これが独自仕様である又は標準化されることができる。
【００４４】
述べたとおり、ある実施例において、このステップ３５は、関心のある現象を直接特徴付けるパラメタの値を得るために、第１の信号２４ａ−ｎ又はこれまで得た信号の部分の更なる処理を必要とする。例えば、第１の信号２４ａ−ｎは、連続する時点において各々の第１の信号のスペクトルを得るために、スライドウィンドウ(sliding window)を用いて周波数領域に変換されることができる。少なくとも前記スペクトルの限られた範囲にある優位周波数(dominant frequency)の値は、例えば心拍又は呼吸数を表す時間変動する信号を得るために決められる。これらの値は、このときメタデータとして符号化されることができる。ある実施例において、前記値は、前記画像における空間領域を特定するデータに関連付けられるので、心拍又は呼吸数の値は、画像のシーケンスにおいて表される幾つかの生物の夫々と関連付けられることができる。
【００４５】
ここに詳細に述べた実施例において、第１の信号２４ａ−ｎを直接表すデータは、関係している第１の信号２４ａ−ｎが抽出された測定範囲の位置を特定する関連するデータと一緒にメタデータに符号化される。この測定範囲の位置を特定するデータは、絶対的、例えばメタデータ内に含まれるテーブルに値が記録されている順序でもよい。
【００４６】
今まで得たサブシーケンス２３にある画像の画像データが圧縮され、圧縮したビデオのフレーム３７を得る（ステップ３６）。説明した方法の実施例において、少なくとも１つのフレーム間圧縮技術が今まで得たサブシーケンスにある画像に適用される。その上、少なくとも１つの不可逆圧縮技術が使用される。一般的に、このような圧縮技術は、小規模な強度及び色の変動を取り除く。従って、圧縮したビデオのフレーム３７に表される被験者における内部処理により引き起こされる強度及び色の少なくとも１つの時間変動を表す信号を抽出することは一般に不可能である。この理由により、前記抽出ステップ２５及び圧縮ステップ３６は、前記得られた非圧縮の画像２３上で並行して実行される又は前記抽出ステップ２５が最初に実行される。
【００４７】
メタデータのストリーム３４及び圧縮したビデオのフレーム３７は、単一のデータストリームに多重化される（ステップ３８）。各々が共通の時間基準を参照するので、第１の信号２４ａ−ｎ又はこれら第１の信号２４ａ−ｎにより特徴付けられる時間変動を引き起こす前記内部処理を特徴付けるパラメタの時間変動する値は、圧縮したビデオのフレームと同期される。組み合わされたデータストリームに適した様式は、例えばＭＰＥＧ−４システム規格（ＩＳＯ／ＩＥＣ １３３９６−１）により提供される。
【００４８】
図２に説明される及び上述される方法のステップは、圧縮したビデオデータ及びメタデータの組み合わせを供給する方法の独立した及び完全な第１の実施例を構成する。
【００４９】
他の効果を提供する第２の実施例のある追加の特性も図２に説明されている。
【００５０】
この実施例において、今まで得た第１の信号２４ａ−ｎの一部の分析を含む他のステップ３９が実行される。説明される実施例において、このステップ３９が実行される一方、圧縮（ステップ３６）が進行中であり、さらに画像の取得（ステップ２２）も進行中である。
【００５１】
これは、前記分析の結果が、並行して適用される少なくとも１つの圧縮技術（ステップ３６）を適合させる（ステップ４１）のと同じく、画像を取り込む処理の少なくとも１つのパラメタを調節させる（ステップ４０）ために使用されるので、行われる。
【００５２】
様々な形式の分析及び適合が用いられる。ある実施例において、前記分析は、第１の信号２４ａ−ｎの直接の分析である。他の実施例において、強度及び/又は色の局所的な時間変動を引き起こす内部処理の特徴である、第１の信号２４ａ−ｎからの情報を得る処理の一部又は全てが実行され、前記分析はこのようにして得られた情報の分析である。例えば、前記分析は、第１の信号２４ａ−ｎのスペクトルの分析とすることができる。
【００５３】
ある実施例において、第１の信号２４ａ−ｎ又は夫々の第１の信号２４ａ−ｎを特徴付ける値が互いに比較される。従って、第１の信号２４ａ−ｎがある精度内で共通の優位周波数を持つかどうかを判断する。ある意味、これはどの位多くの異なる人間が画像に表されているかの判断である。数人の人間しかいない場合、メタデータの量を減少させる余地が僅かにあるので、ビデオ圧縮率は増大する。これは、ネットワーク３を通じて送られる全データ量は、ある制限内に留まることが可能であることを保証している。前記優位周波数は、前記画像のある空間領域と関連付けられる第１の信号２４ａ−ｎにのみ存在する場合、このとき圧縮は、他の領域よりもこれらの領域の方がより低くなり得る。これら領域は人間の観察者にとって最も関心のある領域である可能性が高いからである。人間の被験者の場合、これら領域は人間の身体に対応している可能性が高い。前記優位周波数が素早く時間変動する場合、このときフレーム間圧縮技術は、画像２３により表される場面に多くの変化、例えば人が行ったり来たりする可能性が高いので、わずかな予測を使用するのに適合する。
【００５４】
画像２３を取り込む処理のパラメタの調節と組み合わせた分析に関するかぎり、これら分析は、画像センサアレイ７及びこの画像センサアレイ７上に光を集めるのに用いられる光学系８の少なくとも１つの設定に対応するパラメタを含む。これは特に、画像センサアレイ７のピクセル数がかなり少ない場合であっても、前記場面のある部分が高い解像度で取り込まれ得ることを意味している。関連する分析は、例えば第１の信号２４ａ−ｎの信号対ノイズ比及び/又はダイナミックレンジの決定とすることができる。この信号対ノイズ比が低い場合、このときカメラはズームインすることができる。前記ダイナミックレンジが低い場合、このとき画像センサアレイ７におけるアナログ−デジタル変換器の量子化ステップは例えばより小さくすることができる。さらに可能な分析は、関心のある生物学的現象の回数（心拍、呼吸数）に対応する第１の信号２４ａ−ｎの優位周波数の密度の決定、又は第１の信号２４ａ−ｎを周波数領域に変換する度数分布の決定を含む。
【００５５】
このようにして画像取り込み処理及び/又は圧縮を適合させることにより、画像を取り込むのに使用されるカメラ５のハードウェアと、生体計測信号の検出器との間の閉フィードバックループが実施される。カメラ５の制御パラメタは、検出した生体計測信号の信頼性を一定の高いレベルに保つために、連続的及び自動的に調節される。
【００５６】
第１の信号２４ａ−ｎの少なくとも幾つかがメタデータとして直接符号化される例において、ビデオ信号処理システム４は、図４に説明されるような方法又は図５に説明されるような方法を実行することができる。
【００５７】
図４に説明される方法において、ビデオ信号処理システム４は、前記多重送信を受信し（ステップ４２）、圧縮したビデオのストリームからメタデータを分離する（ステップ４３）。この圧縮したビデオのストリームは復元される（ステップ４４）。
【００５８】
メタデータから、ビデオ信号処理システム４は、第１の信号２４ａ−ｎが関連付けられる画像において空間的位置を特定する関連情報と一緒にこれら第１の信号２４ａ−ｎを決定する。周波数変換（ステップ４６）は、各々の第１の信号２４ａ−ｎのスペクトルの少なくとも限られた範囲内にある優位周波数を決めるのに利用される。これは、スライドウィンドウを用いて繰り返し行われるので、優位周波数の経時的な展開が追跡されることができる。特に、この優位周波数の値は、並列するステップ４４において得られる復元したビデオシーケンスにおける時点に対応する時点に関連付けられることができる。従って、周波数情報及び復元したビデオは、表示装置２０、２１の一方において一緒に表示されることができる（ステップ４７）。ある実施例において、表示範囲内において復元したビデオに表される生きている被験者の位置が決定される。生物学的現象を特徴付ける少なくとも１つのパラメタの値は、メタデータから抽出される情報に基づいて、上記人間の各々に対し決定され、その人間が表される位置への可視のリンクを前記復元したビデオ上に重畳して表示される。他の実施例において、前記復元したビデオに表される被験者における内部処理を特徴付けるパラメタの値が一定の基準を満たすたびに警告が送られる。従って、例えば心拍数の値が一定の基準、例えば医療上の問題又はセキュリティ上の危険を示す基準を満たす人間をビデオが示すたびに可聴又は可視の警告が送られることができる。
【００５９】
図５は、圧縮したビデオデータ及びメタデータ、特に強度及び色の少なくとも１つの局所的変動を表す複数の第１の信号２４ａ−ｎを直接表すメタデータの組み合わせを含んでいる信号を処理する同様の方法を示す。このメタデータは、関連付けられる画像の位置の決定が各々の第１の信号２４ａ−ｎに対し行われることを可能にする。従って、ビデオ信号処理システム４は、前記信号を特徴付けるパラメタの少なくとも１つの関連する値を決定し、次いでこれらパラメタ値のマップを生成するために、各々の第１の信号２４ａ−ｎを処理することが可能である。
【００６０】
説明される実施例において、メタデータのストリーム３４及び圧縮したビデオのストリームの形式で前記第１の信号２４ａ−ｎを有する前記多重送信が得られる（ステップ４８）。メタデータのストリーム３４は、圧縮したビデオのストリームから分離される（ステップ４９）。次いで、前記第１の信号２４ａ−ｎ及びこれら信号の各々を画像範囲における位置とリンクする関連情報が得られる（ステップ５０）。第１の信号２４ａ−ｎは夫々分析され、これら信号のスペクトルの少なくとも限られた範囲内にある優位周波数を決める（ステップ５１）。次いで、説明される実施例において、この優位周波数の位相が各々の第１の信号２４ａ−ｎに対し決定される（ステップ５２）。説明される実施例において、この情報は位相マップを生成するのに使用される（ステップ５３）。並行して、圧縮したビデオのストリームが復元され（ステップ５４）、この復元したビデオも表示される（ステップ５５）。例えば、前記位相マップは第１及び第２の表示装置２０、２１の一方に表示されることができ、復元したビデオは他方に表示されることができる。
【００６１】
代替実施例において、復元したビデオ及び位相マップの一方は、他方の表示を向上させるために使用される。従って、例えば図３の方法において前記測定範囲を定める格子がかなり粗末である場合、この復元したビデオに実行される画像のセグメンテーションは、前記位相マップにより供給される画像を向上させるために使用されることができる。
【００６２】
ビデオ信号処理システム４に供給されるメタデータは、第１の信号２４ａ−ｎにはもはや直接対応していない代替実施例において、第１及び第２のカメラシステム１、２の一方又は両方は、図３の方法に続く図４又は図５による方法を行うことができるので、メタデータのストリーム３４は、第１の信号２４ａ−ｎの各々のスペクトルの少なくとも限られた範囲内にある優位周波数を表すデータを送信する又は位相マップを表す情報を送信する。何れにしても、カメラにより取り込まれる画像に表される多数の被験者の各々における内部処理が特徴付けられることを可能にする追加の情報が供給される。
【００６３】
上述した実施例は本発明を限定しているのではなく説明していること、及び添付の請求項の範囲から外れることなく、多くの代替実施例を当業者が設計することが可能であることに注目すべきである。請求項において、括弧の中に置かれる如何なる参照符号もその請求項を限定すると解釈されない。"有する"という言葉は請求項に挙げた以外の要素又はステップの存在を排除しない。複数あることを述べないことが、それら要素が複数あることを排除しない。ある手段が相互に異なる従属請求項に挙げられているという単なる事実がこれら手段の組み合わせは有利に用いられないことを示していない。
【００６４】
ある実施例において、時間領域の第１の信号２４ａ−ｎを供給する代わりに、これら信号２４ａ−ｎを時間周波数領域に変換することを表す情報がメタデータのストリーム３４に供給される。
【特許請求の範囲】
【請求項１】
ビデオデータ及びメタデータの組み合わせを供給する方法において、
−ビデオカメラにより取り込まれる画像のシーケンスを得るステップ、
−前記画像のシーケンスから少なくとも１つの信号を抽出するステップであり、各々の抽出した信号は、光の強度及び色の少なくとも１つの局所的な時間変動を特徴付けている、ステップ、
−圧縮したビデオデータを得るために、前記シーケンスからの画像の画像データに少なくとも１つのビデオ圧縮技術を適用するステップであり、前記少なくとも１つの抽出した信号は、前記画像からの画像データに前記少なくとも１つの圧縮技術を適用する前の状態の画像から抽出される、ステップ、並びに
−前記画像の少なくとも一部に表される被験者における少なくとも１つの処理を特徴付けるためのメタデータを前記圧縮したビデオデータに供給するステップであり、前記処理は、前記被験者から取り込まれる光の色及び強度の少なくとも１つの局所的な時間変動を引き起こし、前記メタデータは前記抽出した信号の少なくとも１つに少なくとも基づいている、ステップ
を有する方法。
【請求項２】
前記少なくとも１つの抽出した信号の少なくとも１つの得られた部分に少なくとも基づいたデータの分析の結果に依存して、前記少なくとも１つの圧縮技術の適用を適合させるステップを含む、請求項１に記載の方法。
【請求項３】
前記画像のシーケンスを得ている間、前記抽出した信号の少なくとも１つの得られた部分に少なくとも基づいたデータの分析の結果に依存して、少なくとも１つのカメラを使用して前記画像を取り込む処理のパラメタを調節させるステップを有する請求項１に記載の方法。
【請求項４】
カメラに含まれる処理システムにより実行される請求項１に記載の方法。
【請求項５】
前記メタデータは、前記画像のシーケンスにおける光の強度及び色の少なくとも１つの局所的な時間変動を特徴付ける少なくとも１つの信号を含んでいる、請求項１に記載の方法。
【請求項６】
ビデオデータ及びメタデータの組み合わせを供給するためのシステムにおいて、
−画像のシーケンスを取り込むためのカメラとのインタフェース
−圧縮したビデオデータを得るために、前記シーケンスからの画像の画像データに少なくとも１つのビデオ圧縮技術を適用する、
前記画像のシーケンスから少なくとも１つの信号を抽出し、各々の抽出した信号は、光の強度及び色の少なくとも１つの局所的な時間変動を特徴付ける、並びに
前記画像の少なくとも一部に表される少なくとも１人の被験者における少なくとも１つの処理を特徴付けるためのメタデータを生成する
ために構成されるビデオデータ処理システムであり、前記少なくとも１つの抽出した信号は、前記画像からの画像データに前記少なくとも１つの圧縮技術を適用する前の状態の画像から抽出され、前記メタデータは、前記被験者から取り込まれる光の色及び強度の少なくとも１つの局所的な時間変動を引き起こす処理を特徴付け、前記抽出した信号の少なくとも１つに少なくとも基づいているビデオデータ処理システム、並びに
−前記圧縮したビデオデータに前記メタデータを供給するための出力インタフェース
を有するシステム。
【請求項７】
請求項１乃至５の何れか一項に記載の方法を実行するために構成される請求項６に記載のシステム。
【請求項８】
圧縮したビデオ及びメタデータの組み合わせを含む信号において、前記圧縮したビデオは、画像のシーケンスからの画像の画像データに少なくとも１つのビデオ圧縮技術を適用することにより得ることができ、前記メタデータは、前記画像のシーケンスにおける光の強度及び色の少なくとも１つの局所的な時間変動を特徴付ける少なくとも１つの信号を含んでいる、信号。
【請求項９】
請求項１乃至５の何れか一項に記載の方法を実施することにより得ることができる請求項８に記載の信号。
【請求項１０】
前記画像のシーケンスの少なくとも一部に表される被験者における少なくとも１つの処理を特徴付けるパラメタの少なくとも１つの値を計算するステップを含み、前記処理は、前記画像のシーケンスにおける光の強度及び色の少なくとも１つの局所的な時間変動を特徴付ける前記信号の少なくとも１つを入力として用いて、前記被験者から取り込まれる光の色及び強度の少なくとも１つの局所的な時間変動を引き起こす、請求項８に記載の信号を処理する方法。
【請求項１１】
圧縮したビデオ及びメタデータの組み合わせを含む信号を処理するシステムにおいて、
−請求項８に記載の信号を得るためのインタフェース、及び
−前記画像のシーケンスの少なくとも一部に表される被験者における少なくとも１つの処理を特徴付けるパラメタの少なくとも１つの値を計算するためのデータ処理システムであり、前記処理は、前記画像のシーケンスにおける光の強度及び色の少なくとも１つの局所的な時間変動を特徴付ける前記信号の少なくとも１つを入力として用いて、前記被験者から取り込まれる光の色及び強度の少なくとも１つの局所的な時間変動を引き起こす、データ処理システム
を有するシステム。
【請求項１２】
機械読み取り可能な媒体に実装されるとき、情報処理機能を持つシステムに請求項１乃至５又は請求項１０の何れか一項に記載の方法を行わせることが可能である命令の組を含むコンピュータプログラム。
【請求項１】
ビデオデータ及びメタデータの組み合わせを供給する方法において、
−ビデオカメラにより取り込まれる画像のシーケンスを得るステップ、
−前記画像のシーケンスから少なくとも１つの信号を抽出するステップであり、各々の抽出した信号は、光の強度及び色の少なくとも１つの局所的な時間変動を特徴付けている、ステップ、
−圧縮したビデオデータを得るために、前記シーケンスからの画像の画像データに少なくとも１つのビデオ圧縮技術を適用するステップであり、前記少なくとも１つの抽出した信号は、前記画像からの画像データに前記少なくとも１つの圧縮技術を適用する前の状態の画像から抽出される、ステップ、並びに
−前記画像の少なくとも一部に表される被験者における少なくとも１つの処理を特徴付けるためのメタデータを前記圧縮したビデオデータに供給するステップであり、前記処理は、前記被験者から取り込まれる光の色及び強度の少なくとも１つの局所的な時間変動を引き起こし、前記メタデータは前記抽出した信号の少なくとも１つに少なくとも基づいている、ステップ
を有する方法。
【請求項２】
前記少なくとも１つの抽出した信号の少なくとも１つの得られた部分に少なくとも基づいたデータの分析の結果に依存して、前記少なくとも１つの圧縮技術の適用を適合させるステップを含む、請求項１に記載の方法。
【請求項３】
前記画像のシーケンスを得ている間、前記抽出した信号の少なくとも１つの得られた部分に少なくとも基づいたデータの分析の結果に依存して、少なくとも１つのカメラを使用して前記画像を取り込む処理のパラメタを調節させるステップを有する請求項１に記載の方法。
【請求項４】
カメラに含まれる処理システムにより実行される請求項１に記載の方法。
【請求項５】
前記メタデータは、前記画像のシーケンスにおける光の強度及び色の少なくとも１つの局所的な時間変動を特徴付ける少なくとも１つの信号を含んでいる、請求項１に記載の方法。
【請求項６】
ビデオデータ及びメタデータの組み合わせを供給するためのシステムにおいて、
−画像のシーケンスを取り込むためのカメラとのインタフェース
−圧縮したビデオデータを得るために、前記シーケンスからの画像の画像データに少なくとも１つのビデオ圧縮技術を適用する、
前記画像のシーケンスから少なくとも１つの信号を抽出し、各々の抽出した信号は、光の強度及び色の少なくとも１つの局所的な時間変動を特徴付ける、並びに
前記画像の少なくとも一部に表される少なくとも１人の被験者における少なくとも１つの処理を特徴付けるためのメタデータを生成する
ために構成されるビデオデータ処理システムであり、前記少なくとも１つの抽出した信号は、前記画像からの画像データに前記少なくとも１つの圧縮技術を適用する前の状態の画像から抽出され、前記メタデータは、前記被験者から取り込まれる光の色及び強度の少なくとも１つの局所的な時間変動を引き起こす処理を特徴付け、前記抽出した信号の少なくとも１つに少なくとも基づいているビデオデータ処理システム、並びに
−前記圧縮したビデオデータに前記メタデータを供給するための出力インタフェース
を有するシステム。
【請求項７】
請求項１乃至５の何れか一項に記載の方法を実行するために構成される請求項６に記載のシステム。
【請求項８】
圧縮したビデオ及びメタデータの組み合わせを含む信号において、前記圧縮したビデオは、画像のシーケンスからの画像の画像データに少なくとも１つのビデオ圧縮技術を適用することにより得ることができ、前記メタデータは、前記画像のシーケンスにおける光の強度及び色の少なくとも１つの局所的な時間変動を特徴付ける少なくとも１つの信号を含んでいる、信号。
【請求項９】
請求項１乃至５の何れか一項に記載の方法を実施することにより得ることができる請求項８に記載の信号。
【請求項１０】
前記画像のシーケンスの少なくとも一部に表される被験者における少なくとも１つの処理を特徴付けるパラメタの少なくとも１つの値を計算するステップを含み、前記処理は、前記画像のシーケンスにおける光の強度及び色の少なくとも１つの局所的な時間変動を特徴付ける前記信号の少なくとも１つを入力として用いて、前記被験者から取り込まれる光の色及び強度の少なくとも１つの局所的な時間変動を引き起こす、請求項８に記載の信号を処理する方法。
【請求項１１】
圧縮したビデオ及びメタデータの組み合わせを含む信号を処理するシステムにおいて、
−請求項８に記載の信号を得るためのインタフェース、及び
−前記画像のシーケンスの少なくとも一部に表される被験者における少なくとも１つの処理を特徴付けるパラメタの少なくとも１つの値を計算するためのデータ処理システムであり、前記処理は、前記画像のシーケンスにおける光の強度及び色の少なくとも１つの局所的な時間変動を特徴付ける前記信号の少なくとも１つを入力として用いて、前記被験者から取り込まれる光の色及び強度の少なくとも１つの局所的な時間変動を引き起こす、データ処理システム
を有するシステム。
【請求項１２】
機械読み取り可能な媒体に実装されるとき、情報処理機能を持つシステムに請求項１乃至５又は請求項１０の何れか一項に記載の方法を行わせることが可能である命令の組を含むコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公表番号】特表２０１３−５１０４６２（Ｐ２０１３−５１０４６２Ａ）
【公表日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願番号】特願２０１２−５３６００５（Ｐ２０１２−５３６００５）
【出願日】平成２２年１１月１日（２０１０．１１．１）
【国際出願番号】ＰＣＴ／ＩＢ２０１０／０５４９２８
【国際公開番号】ＷＯ２０１１／０５５２８８
【国際公開日】平成２３年５月１２日（２０１１．５．１２）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
【公表日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願日】平成２２年１１月１日（２０１０．１１．１）
【国際出願番号】ＰＣＴ／ＩＢ２０１０／０５４９２８
【国際公開番号】ＷＯ２０１１／０５５２８８
【国際公開日】平成２３年５月１２日（２０１１．５．１２）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
[ Back to top ]