モニタリング方法および装置
ビデオフレームを長時間にわたり保存するステップと、該保存したビデオフレームからのデータを保存したデータの変化率を表す微分データに加工するステップと、微分データから新たなフレームを作成するステップと、新たなフレームを格納したり表示したりするステップとを含むモニタリング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般的にモニタリング装置に関し、具体的には監視対象物のプライバシーを保護するモニタリング装置に関する。
【背景技術】
【０００２】
監視および安全性を目的とした光学技術の出現により、公共の場および私有地において、財産や人々を安全に保護するためのプライバシーの保護およびプライバシーの侵害に関して悩ましい倫理的なジレンマが生じている。
【０００３】
最近の調査研究によると、２０１１年には平均的な人は１日に少なくとも数回ビデオに撮影または録画されることになると指摘されている。
不法侵入の検出、犯罪防止、および様々な危険に対する警告を与えるために、公共の場でも私有地でもビデオカメラの使用がますます普及してきている。多くの場合、特定の個人の識別は全く不必要であり、重要なのは人、車両、またはその他の対象物の有無のみである。このため、プライバシーの侵害は不可欠なものではない。このような場合、監視カメラ（若しくはシステム）または防犯カメラ（若しくはシステム）は監視される人々や周囲の状況のプライバシーに侵入する必要なくそのタスクを遂行できる。
【０００４】
このような葛藤が生じる典型的な事例が、高齢の認知症患者が自分のベッドから降りようとする素振りをスタッフに知らせるよう患者を見守る必要がある場合である。該患者が転落すると大怪我になりかねないため、前記警報は不可欠である。しかしながら、既存の設備、すなわち監視カメラの使用は、患者のプライバシーを侵害するため受け入れられない。多くの文明国ではかかる侵害は法律により禁止されている。
このまさに典型的な例をよく検証すると、実際にはこのような侵害をする必要はないことが分かる。目的が医療補助者または看護士、もしくは世話人に警報を出して、ベッドから降りる患者のところに急行して補助するだけなら、プライバシーの侵害が避けられないわけではない。報告されるべきなのは、患者がベッドから降りる素振りのみである。
【０００５】
既存の動作検知技術は、特定の人の身振りや姿勢を前記報告ができるほど区別することができず、そのため原則として既存のソリューションはフル画像を転送する。
個人のプライバシーを守る個人の権利への配慮は、一般に受け入れられ始めたばかりである。世話をする必要のある高齢者のための住宅用警報システムを扱うときでさえ、個人のプライバシーよりはシステムの効率に重点が置かれる。プライバシーを侵害しないで住居のセキュリティおよび安全を守る最も認められた方法は非光学センサの使用を伴う。このような例は、Ｍａｒｋ Ａ．Ｊｏｈｎｓｏｎが米国特許第５，８７９，３０９号公報で開示するもののように、立体検知器および他の種類の機械的振動センサに基づく屋内住宅用警報システムで見られる。
【０００６】
個人がその意思に反して撮影されるのを妨げる必要性の認識は、別の米国特許である青木恒の米国特許第６，８５３，７５０号公報で提示されている。この特許は、個人が不要な写真シーケンス又はビデオシーケンスから自分の像を「消去」できる手段を開示しており、カメラまたはビデオカメラが「検閲した」ビデオのみを撮影できるようになっている。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、公共の場、店舗（更衣室を含む）における個人のプライバシーの保護はかなり貧弱である。病院は単にほとんどの病室で光学モニタリングの使用をしないことによって患者のプライバシーを守る。ホームセキュリティシステムは限定的な動作検知センサで満足するか、または、たとえ該システムが保護するはずの個人のプライバシーを侵害するとしてもＩＲカメラの使用を提案する。
さらに、動作を検知するために長時間にわたりある場所をモニタリングするのが望ましい状況も数多くある。例えば、乳児突然死を防止するための赤ちゃんのモニタリング、または接近する障害物を警告するための航空機の飛行経路のモニタリング、または敵兵または敵機の隠密接近の監視、または遠くの車両の動きの追跡である。現在、すべてのこれらのタスクは遂行が難しく、また、モニタリングするための又は警告を発するための複雑なメカニズムが必要である。
従って、モニタリングされる人のプライバシーを侵害しないモニタリングシステムの必要性が長い間感じられており、このようなシステムが多様な様々なタイプの動きおよび動体をモニタリングできれば非常に望ましいであろう。
【課題を解決するための手段】
【０００８】
本発明は、ある区域内の対象物の動作を表す画像を、細部および静止物を取り除いて提供することによって、プライバシーを侵害することなく該区域をモニタリングするモニタリング装置および方法に関する。
【０００９】
本発明によると、長時間にわたりビデオフレームを保存するステップと、前記保存したビデオフレームのデータ、好ましくは輝度データを、前記保存したデータの変化率を表す微分データに加工するステップと、前記微分データから新たなフレームを作成するステップと、前記新たなフレームを格納したり表示したりするステップとを含むモニタリング方法を提供する。
【００１０】
本発明の一実施例によると、ある閾値を上回る前記保存したデータの変化率を表す前記微分データを、前記閾値を下回る変化率を表す前記微分データと対比して表示する。
【００１１】
本発明の別の実施例によると、方法はさらに、微分データから変化率の方向、すなわち増減を判定するステップと、ある方向を反対方向と対比して表示するステップとを含む。
【００１２】
また、本発明によると、長時間にわたるビデオフレームのシーケンスを取得する光学センサと、取得したビデオフレームのデータを取得したデータの変化率を表す微分データに加工して、微分データから新たなフレームを生成するプロセッサとを含むモニタリング装置を提供する。
【００１３】
好適な実施例によると、プロセッサは長時間にわたってサンプリングされる前記フレームの各画素の輝度の少なくとも二次微分係数を計算し、前記微分値を各画素に割り当てて、前記フレームの対象物の動きを表す新たなフレームを生成するようになされ、構成される。
【発明を実施するための最良の形態】
【００１４】
本発明は、モニタリングおよび監視の目的のために、動作のみを表す像を取得、解析、および配信する光学センサを含み、プライバシーの保護を提供するモニタリング装置に関する。該モニタリング装置は静止物および背景を取り除いて、撮影場所内のモニタリングされる個人もしくは撮影場所自体の実際の像を表示せずに撮影場所内の動作の特徴を示すので、そのプライバシーを侵害することはない。本発明のある実施例によると、該装置は比較的遠くの対象物の動きおよびモニタリングされる区域を比較的ゆっくり動く対象物をはっきり見ることができる。
【００１５】
本発明のモニタリング装置は、詳細な画像を検知および加工するが、動く対象物自体の画像ではなく、例えば図１に図示するように対象物の動作に相関する画像のみを提示することによって、不必要なプライバシーの侵害を回避する。このように、本発明のモニタリング装置は動く対象物の効果的な監視やモニタリングに必要な必須情報のみを正確に表示する。（デパート、衣料品店の更衣室などにあるような）高品質の設備を使用するときに極めて詳細な情報を見せる既存の解像度とは異なり、画像の詳細レベルは非常に高い必要はなく、モニタリングされる動作の種類を示すのに足るだけの鮮明さがあればよい。本発明はまた、実質的に動きのない背景および当該背景内で動く対象物との実質的な区別もできるので、多くの場合隠しておくべき背景画像の公表が避けられる。このため、街路をモニタリングする場合、動く車および人々に対応する画像のみを表示し、建物、樹木、および駐車車両などのすべての静止物に関連する画像は表示されない。
本発明はビデオセンサ（照明センサまたはＩＲセンサ）が取得できるフルビデオデータを使用して、このデータから検知および抽出して、光学センサがレンズでカバーする領域内の対象物の動作のみを表示するようにする。モニタリングされる対象物の動作を表す像／ビデオを表示することによって、本発明は、背景および動きのない対象物は表示される像／ビデオの一部になることは一切ないため、モニタリングされる個人のプライバシーを侵害することなく、または撮影場所自体の細部を公表することなく、不法侵入、もしくは警報またはモニタリングを要する他の活動がある場合に警報を発するのに必要な情報のみを伝達する。
【００１６】
動く対象物自体ではなく、対象物の動作を表す画像を表示するという目的を達成するためのアルゴリズムは、以下に説明するものが好ましい。しかしながら、当業者は、これより正確さおよび精度が劣る、あるいは算出コストが高くはなるが、他のアルゴリズムを使用してこのような目的を達成することが可能であることは認識するであろう。
【００１７】
本発明の基礎をなす好適なアルゴリズム概念は、次の考え方に基づく。すなわち、ビデオストリーム（長時間にわたり抽出される連続フレームのシーケンス）を与えられたとすると、所定のストリームのフレーム内の各画素の輝度値（または画素の小グループもしくはブロックの輝度値）を関連する「動作重視」または微分値に変換する。この変換は次の４ステップを使って行える。
１．各画素値（現フレームの所定の座標の）について、前のＮ−１フレームに属する同じ座標に関連するＮ画素値のシーケンスを生成する。
２．生成した各シーケンスについて、対応する補間曲線を計算する。
３．計算した各曲線について、現フレームで評価される（加速値で微分した）二次微分係数を（数値で）近似化する。
４．現画像において、オリジナルの画素を取得した微分値に置き換える。
【００１８】
前記変換の好適な（そしておそらく最も単純な）近似化は、わずか３フレームからの輝度値を使用することによって行うことができる。ｐ１、ｐ２、ｐ３がフレーム１、２、および３の各々の同じ画素Ｙに対応する画素輝度値である場合、画素微分値は式ｐＹｄｖ＝ｐ１＋ｐ３−２ｐ２によって近似化され、上記式においてｐＹｄｖは表示される画像の画素Ｙに割り当てられる値である。（これは「放物線近似」として知られる）。微分値の出力ストリームはバイナリ・ビットマップになり、図２に図示するように表示でき、動く対象物の動作を表す画像のみを公表する。これらビットマップはあらゆる他の様式で表示またはモニタリングできる。代わりに、または追加で、出力ストリームを使用して、警報を発する、または別の操作をトリガする信号を生成できる。
【００１９】
画素の輝度値の変化率における急激な変化に起因する微分値だけが対象物として表示されることは認識されるであろう。該急激な変化は背景もしくは別の対象物に対する対象物の動作を表す。表示される微分値は対象物の動作に起因する暗から明へ若しくは明から暗への変化の属性と考えることができ、カメラまたはセンサで感知できる。輝度値が変化しない画素、または長時間にわたり実質的に一定の率で変化する画素は背景として表示される。多くのアプリケーションの場合、「明値」を背景に、「暗値」を動く対象物に任意に割り当てて、カメラの方向に向かって動いている対象物にプラスの加速値を割り当て、カメラから遠ざかるように動いている対象物にマイナスの加速値を割り当てるようにするのが望ましい。これら微分値の様々なアプリケーションが可能であり、各アプリケーションにおいて異なる閾値を選択できる。微分値を利用する１つの重要な明示が、動く対象物の方向性を検知できることである。プラスの加速または微分値は「前方向」、すなわちビデオカメラに近づく動きを示す一方、マイナスの微分値は「後方向」、すなわちカメラから遠ざかる動きを示す。現にこのことは、事実上、ある種の「ドップラー効果」の変型である。
前述した動作相関画像の表示の拡張は、所定の微分閾値を有する一連の連続Ｎフレームを「積み重ねる」、すなわち総和するだけで可能である。
好適なアルゴリズムが生成するビデオ出力はバイナリ値または少数のグレースケールの等級から構成できるため、極めて効率のよいオープン・スタンダードの圧縮（ＭＪＰＥＧ、ＭＰＥＧ等）または他の形態の圧縮方法が可能となる。この点は、モニタリングを許可するまたは携帯電話で通知を送るのが望ましいアプリケーション、もしくは同様な状況において特に重要である。
【００２０】
代わりに、ビデオ出力をカラーで表示してもよい。この場合、背景をある色で示し、カメラに近づく対象物を第２の色で表示でき、カメラから遠ざかる対象物を第３の色で表示できる。該表示は、例えば、「検知および回避」のアプリケーションで特に有用である。例えば、本発明のモニタリング装置は、比較的単純なビデオカメラまでも含めて、航空機に取り付けて、航空機の前の空間をモニタリングする。動作の方向性の指示を含むディスプレイをパイロットが注視できる。モニタリングシステムに追加機能を付け加えるために、動作の方向性を解析するための追加の画像処理や追加入力用の追加センサを備えるのが好ましい。例えば、航空機が山または別の航空機などの障害物に近づくと、モニタリングシステムは航空機「に向かう」対象物の相対的な動作を識別して、警告信号を発したり、航空機の飛行経路を自動的に変更したりするシステムを起動することができるであろう。
【００２１】
図４ａおよび４ｂは前記概念を図示する。図４ａおよび４ｂにおいて、２つの画像のビットマップが表示されており、プラスの加速とマイナスの加速が黒の背景にそれぞれ白色と灰色で記されている。図４ａの航空機は灰色の筋で輪郭が示されており、観測カメラから遠ざかっているところが示されている。この画像の白の線は背景に対する航空機の長時間にわたる過去の位置を示す。図４ｂでは、灰色の筋が下側の航空機の上部と上側の航空機の下部に現れていて、この２機が互いから離れていっていることを示す（そのため、衝突の恐れはない）。好ましくは、背景を比較的明るく表示して、「動いている」対象物を比較的暗く表示する。
【００２２】
ここで図３を参照すると、本発明の一実施例により構成し作動するモニタリングシステム１０の構造のブロック図が示されている。該モニタリングシステム１０は、ビデオフレーム取得コンポーネントと処理コンポーネントを収容し、ディスプレイや警報コンポーネントに連結される感知ユニット１２を含む。該ビデオフレーム取得コンポーネントはレンズとＣＣＤ／ＣＭＯＳ光学センサ（照明センサ／ＩＲセンサ）１４を含んでもよい。必要であれば、低出力不可視光線照明用のＩＲ ＬＥＤ１６または他の光源も感知ユニット１２に備えてもよい。処理コンポーネント１８は好適なアルゴリズムと処理プラットフォームを含み、これは例えば埋め込み型のＣＰＵ／ＤＳＰ／メディアプロセッサ／ＡＳＩＣまたはＰＣプラットフォームがあり得る。前記警報コンポーネントはストリーミングコンポーネントおよびリモートサーバー２０または何らかの種類の適切なモニタ２１を備えるクライアント、またはディスプレイ（図示せず）に連結する動画再生機２２を有するモバイルユニット２４、内部警告システム２６または外部ディスプレイや警告システムを含むことが可能である。このようなシステムは様々な方法で実装できる。高齢の認知症患者に適したある好ましい埋め込み型設計を図３に図示する。
【００２３】
該システムは患者の転倒に関する警報を発することを意図しており、目視警報では医療補助者または看護人が時間内に到着するために十分な時間を与えられないこともあるため、該システムは床に振動の出力を感知して提供する受振器２８に連結するのが好ましく、該受信器は単独で、または光学観測と組み合わせて、所定の部屋または廊下で患者が転倒した後警報を発することができる。
【００２４】
同様のシステムは、乳児突然死を防止するための赤ちゃんのモニタリングにも利用できるであろう。例えば、サーマルカメラを利用して、赤ちゃんの呼吸および赤ちゃん周囲の空気の動きを観察できる。該サーマルカメラは赤ちゃんの息の画像を保存し、それを親または保護者が見るために表示することになろう。さらに、データ処理を利用すれば、予め選択した時間の間に動きがないことを検出すると出力信号を出して、可聴警報を発するようにすることができるであろう。
【００２５】
本発明の好適な実施例によると、対象物の比較的遅い動作は、異なる率で抽出する対となるフレームに同時に適用される同じビデオシーケンスの微分値を連続的に比較することによって検知できる。例えば、このようなシステムをある種の光レーダとして利用して、比較的遅いまたは遠くで動いている対象物を追跡できる。この場合、ビデオストリームからのフレームを、連続フレームではなく毎分１回または毎時１回に選択してもよく、上記解析を画像データで行う。その結果得られるビットマップの表示はより長い時間枠でモニタリングされる区域の対象物の動作を表すが、加速されたかのように該動作を表す画像を表示する。これにより、カメラ付近でゆっくり動いている対象物、および遠近感のためにゆっくり動いているように見える遠くで速く動いている対象物を観察でき、同時に静止した背景は取り除かれて、ディスプレイには現れない。本実施例は敵兵または敵機の隠密接近を検知するのに特に適する。
他方で、対象物の比較的速い動作は各フレーム値を数回表示するように処理することによって、「遅い動作」で表示を提供できる。本実施例は、例えば、薬物がその目的部位に到達する注入速度を比較したり計算したりするために、顕微鏡で観察する細胞や薬の動作を解析するために利用できるであろう。
【００２６】
本発明のさらに別の実施例によると、同じ区域の輝度値の微分係数の抽出およびマッピングを異なる時間間隔で行った後に、例えば異なる色で同時に表示できる。このように、遅い動きはある色で表示し、速い動きは別の色で表示されるが、どちらのタイプの動きも同時に観察できるであろう。
【００２７】
モニタリング装置は、データを符号化、記録、表示、格納、または伝送するためのエレメント、また、遠隔で警報を起動するための出力信号を出す等の追加処理を可能にするエレメントを含めた完全なモニタリングシステムに統合できることは認識されるであろう。処理したデータがバイナリの性質であるため、また微分された画像に必要なデータの量が比較的少ないため、極めて効率よく圧縮できる。このことは、長時間に及ぶデータを効率よく格納でき、データをＳＭＳおよびその他同様なシステムを介して都合良く送信できるため有利である。これは、撮影場所内の個人および撮影場所自体のプライバシーを侵害することなく、表示するデータや警報メッセージを迅速に伝達するための効率的な方法を提供しながら、店舗、公共の場、オフィス等のモニタリングおよび監視を可能にする。
【００２８】
本発明を少数の実施例に関して説明してきたが、発明に数多くの変型、変更、およびその他のアプリケーションも行えることは認識されるであろう。また、発明は単なる例として上記説明してきたものだけに限定されるのではないことも認識されるであろう。そうではなく、発明は特許請求の範囲によってのみ限定される。
【図面の簡単な説明】
【００２９】
本発明は図面と合わせて以下の詳細な説明を読むと理解および認識が深まるであろう。
【図１】本発明のある実施例において構成されて作動するモニタリング装置が表示用に提供する画像である。
【図２】本発明のある実施例においてモニタリング装置が表示用に提供するバイナリ・ビットマップ画像である。
【図３】本発明のある実施例において構成されて作動するモニタリング装置のブロック図である。
【図４】４ａおよび４ｂは動作の方向を表す画像である。
【技術分野】
【０００１】
本発明は一般的にモニタリング装置に関し、具体的には監視対象物のプライバシーを保護するモニタリング装置に関する。
【背景技術】
【０００２】
監視および安全性を目的とした光学技術の出現により、公共の場および私有地において、財産や人々を安全に保護するためのプライバシーの保護およびプライバシーの侵害に関して悩ましい倫理的なジレンマが生じている。
【０００３】
最近の調査研究によると、２０１１年には平均的な人は１日に少なくとも数回ビデオに撮影または録画されることになると指摘されている。
不法侵入の検出、犯罪防止、および様々な危険に対する警告を与えるために、公共の場でも私有地でもビデオカメラの使用がますます普及してきている。多くの場合、特定の個人の識別は全く不必要であり、重要なのは人、車両、またはその他の対象物の有無のみである。このため、プライバシーの侵害は不可欠なものではない。このような場合、監視カメラ（若しくはシステム）または防犯カメラ（若しくはシステム）は監視される人々や周囲の状況のプライバシーに侵入する必要なくそのタスクを遂行できる。
【０００４】
このような葛藤が生じる典型的な事例が、高齢の認知症患者が自分のベッドから降りようとする素振りをスタッフに知らせるよう患者を見守る必要がある場合である。該患者が転落すると大怪我になりかねないため、前記警報は不可欠である。しかしながら、既存の設備、すなわち監視カメラの使用は、患者のプライバシーを侵害するため受け入れられない。多くの文明国ではかかる侵害は法律により禁止されている。
このまさに典型的な例をよく検証すると、実際にはこのような侵害をする必要はないことが分かる。目的が医療補助者または看護士、もしくは世話人に警報を出して、ベッドから降りる患者のところに急行して補助するだけなら、プライバシーの侵害が避けられないわけではない。報告されるべきなのは、患者がベッドから降りる素振りのみである。
【０００５】
既存の動作検知技術は、特定の人の身振りや姿勢を前記報告ができるほど区別することができず、そのため原則として既存のソリューションはフル画像を転送する。
個人のプライバシーを守る個人の権利への配慮は、一般に受け入れられ始めたばかりである。世話をする必要のある高齢者のための住宅用警報システムを扱うときでさえ、個人のプライバシーよりはシステムの効率に重点が置かれる。プライバシーを侵害しないで住居のセキュリティおよび安全を守る最も認められた方法は非光学センサの使用を伴う。このような例は、Ｍａｒｋ Ａ．Ｊｏｈｎｓｏｎが米国特許第５，８７９，３０９号公報で開示するもののように、立体検知器および他の種類の機械的振動センサに基づく屋内住宅用警報システムで見られる。
【０００６】
個人がその意思に反して撮影されるのを妨げる必要性の認識は、別の米国特許である青木恒の米国特許第６，８５３，７５０号公報で提示されている。この特許は、個人が不要な写真シーケンス又はビデオシーケンスから自分の像を「消去」できる手段を開示しており、カメラまたはビデオカメラが「検閲した」ビデオのみを撮影できるようになっている。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、公共の場、店舗（更衣室を含む）における個人のプライバシーの保護はかなり貧弱である。病院は単にほとんどの病室で光学モニタリングの使用をしないことによって患者のプライバシーを守る。ホームセキュリティシステムは限定的な動作検知センサで満足するか、または、たとえ該システムが保護するはずの個人のプライバシーを侵害するとしてもＩＲカメラの使用を提案する。
さらに、動作を検知するために長時間にわたりある場所をモニタリングするのが望ましい状況も数多くある。例えば、乳児突然死を防止するための赤ちゃんのモニタリング、または接近する障害物を警告するための航空機の飛行経路のモニタリング、または敵兵または敵機の隠密接近の監視、または遠くの車両の動きの追跡である。現在、すべてのこれらのタスクは遂行が難しく、また、モニタリングするための又は警告を発するための複雑なメカニズムが必要である。
従って、モニタリングされる人のプライバシーを侵害しないモニタリングシステムの必要性が長い間感じられており、このようなシステムが多様な様々なタイプの動きおよび動体をモニタリングできれば非常に望ましいであろう。
【課題を解決するための手段】
【０００８】
本発明は、ある区域内の対象物の動作を表す画像を、細部および静止物を取り除いて提供することによって、プライバシーを侵害することなく該区域をモニタリングするモニタリング装置および方法に関する。
【０００９】
本発明によると、長時間にわたりビデオフレームを保存するステップと、前記保存したビデオフレームのデータ、好ましくは輝度データを、前記保存したデータの変化率を表す微分データに加工するステップと、前記微分データから新たなフレームを作成するステップと、前記新たなフレームを格納したり表示したりするステップとを含むモニタリング方法を提供する。
【００１０】
本発明の一実施例によると、ある閾値を上回る前記保存したデータの変化率を表す前記微分データを、前記閾値を下回る変化率を表す前記微分データと対比して表示する。
【００１１】
本発明の別の実施例によると、方法はさらに、微分データから変化率の方向、すなわち増減を判定するステップと、ある方向を反対方向と対比して表示するステップとを含む。
【００１２】
また、本発明によると、長時間にわたるビデオフレームのシーケンスを取得する光学センサと、取得したビデオフレームのデータを取得したデータの変化率を表す微分データに加工して、微分データから新たなフレームを生成するプロセッサとを含むモニタリング装置を提供する。
【００１３】
好適な実施例によると、プロセッサは長時間にわたってサンプリングされる前記フレームの各画素の輝度の少なくとも二次微分係数を計算し、前記微分値を各画素に割り当てて、前記フレームの対象物の動きを表す新たなフレームを生成するようになされ、構成される。
【発明を実施するための最良の形態】
【００１４】
本発明は、モニタリングおよび監視の目的のために、動作のみを表す像を取得、解析、および配信する光学センサを含み、プライバシーの保護を提供するモニタリング装置に関する。該モニタリング装置は静止物および背景を取り除いて、撮影場所内のモニタリングされる個人もしくは撮影場所自体の実際の像を表示せずに撮影場所内の動作の特徴を示すので、そのプライバシーを侵害することはない。本発明のある実施例によると、該装置は比較的遠くの対象物の動きおよびモニタリングされる区域を比較的ゆっくり動く対象物をはっきり見ることができる。
【００１５】
本発明のモニタリング装置は、詳細な画像を検知および加工するが、動く対象物自体の画像ではなく、例えば図１に図示するように対象物の動作に相関する画像のみを提示することによって、不必要なプライバシーの侵害を回避する。このように、本発明のモニタリング装置は動く対象物の効果的な監視やモニタリングに必要な必須情報のみを正確に表示する。（デパート、衣料品店の更衣室などにあるような）高品質の設備を使用するときに極めて詳細な情報を見せる既存の解像度とは異なり、画像の詳細レベルは非常に高い必要はなく、モニタリングされる動作の種類を示すのに足るだけの鮮明さがあればよい。本発明はまた、実質的に動きのない背景および当該背景内で動く対象物との実質的な区別もできるので、多くの場合隠しておくべき背景画像の公表が避けられる。このため、街路をモニタリングする場合、動く車および人々に対応する画像のみを表示し、建物、樹木、および駐車車両などのすべての静止物に関連する画像は表示されない。
本発明はビデオセンサ（照明センサまたはＩＲセンサ）が取得できるフルビデオデータを使用して、このデータから検知および抽出して、光学センサがレンズでカバーする領域内の対象物の動作のみを表示するようにする。モニタリングされる対象物の動作を表す像／ビデオを表示することによって、本発明は、背景および動きのない対象物は表示される像／ビデオの一部になることは一切ないため、モニタリングされる個人のプライバシーを侵害することなく、または撮影場所自体の細部を公表することなく、不法侵入、もしくは警報またはモニタリングを要する他の活動がある場合に警報を発するのに必要な情報のみを伝達する。
【００１６】
動く対象物自体ではなく、対象物の動作を表す画像を表示するという目的を達成するためのアルゴリズムは、以下に説明するものが好ましい。しかしながら、当業者は、これより正確さおよび精度が劣る、あるいは算出コストが高くはなるが、他のアルゴリズムを使用してこのような目的を達成することが可能であることは認識するであろう。
【００１７】
本発明の基礎をなす好適なアルゴリズム概念は、次の考え方に基づく。すなわち、ビデオストリーム（長時間にわたり抽出される連続フレームのシーケンス）を与えられたとすると、所定のストリームのフレーム内の各画素の輝度値（または画素の小グループもしくはブロックの輝度値）を関連する「動作重視」または微分値に変換する。この変換は次の４ステップを使って行える。
１．各画素値（現フレームの所定の座標の）について、前のＮ−１フレームに属する同じ座標に関連するＮ画素値のシーケンスを生成する。
２．生成した各シーケンスについて、対応する補間曲線を計算する。
３．計算した各曲線について、現フレームで評価される（加速値で微分した）二次微分係数を（数値で）近似化する。
４．現画像において、オリジナルの画素を取得した微分値に置き換える。
【００１８】
前記変換の好適な（そしておそらく最も単純な）近似化は、わずか３フレームからの輝度値を使用することによって行うことができる。ｐ１、ｐ２、ｐ３がフレーム１、２、および３の各々の同じ画素Ｙに対応する画素輝度値である場合、画素微分値は式ｐＹｄｖ＝ｐ１＋ｐ３−２ｐ２によって近似化され、上記式においてｐＹｄｖは表示される画像の画素Ｙに割り当てられる値である。（これは「放物線近似」として知られる）。微分値の出力ストリームはバイナリ・ビットマップになり、図２に図示するように表示でき、動く対象物の動作を表す画像のみを公表する。これらビットマップはあらゆる他の様式で表示またはモニタリングできる。代わりに、または追加で、出力ストリームを使用して、警報を発する、または別の操作をトリガする信号を生成できる。
【００１９】
画素の輝度値の変化率における急激な変化に起因する微分値だけが対象物として表示されることは認識されるであろう。該急激な変化は背景もしくは別の対象物に対する対象物の動作を表す。表示される微分値は対象物の動作に起因する暗から明へ若しくは明から暗への変化の属性と考えることができ、カメラまたはセンサで感知できる。輝度値が変化しない画素、または長時間にわたり実質的に一定の率で変化する画素は背景として表示される。多くのアプリケーションの場合、「明値」を背景に、「暗値」を動く対象物に任意に割り当てて、カメラの方向に向かって動いている対象物にプラスの加速値を割り当て、カメラから遠ざかるように動いている対象物にマイナスの加速値を割り当てるようにするのが望ましい。これら微分値の様々なアプリケーションが可能であり、各アプリケーションにおいて異なる閾値を選択できる。微分値を利用する１つの重要な明示が、動く対象物の方向性を検知できることである。プラスの加速または微分値は「前方向」、すなわちビデオカメラに近づく動きを示す一方、マイナスの微分値は「後方向」、すなわちカメラから遠ざかる動きを示す。現にこのことは、事実上、ある種の「ドップラー効果」の変型である。
前述した動作相関画像の表示の拡張は、所定の微分閾値を有する一連の連続Ｎフレームを「積み重ねる」、すなわち総和するだけで可能である。
好適なアルゴリズムが生成するビデオ出力はバイナリ値または少数のグレースケールの等級から構成できるため、極めて効率のよいオープン・スタンダードの圧縮（ＭＪＰＥＧ、ＭＰＥＧ等）または他の形態の圧縮方法が可能となる。この点は、モニタリングを許可するまたは携帯電話で通知を送るのが望ましいアプリケーション、もしくは同様な状況において特に重要である。
【００２０】
代わりに、ビデオ出力をカラーで表示してもよい。この場合、背景をある色で示し、カメラに近づく対象物を第２の色で表示でき、カメラから遠ざかる対象物を第３の色で表示できる。該表示は、例えば、「検知および回避」のアプリケーションで特に有用である。例えば、本発明のモニタリング装置は、比較的単純なビデオカメラまでも含めて、航空機に取り付けて、航空機の前の空間をモニタリングする。動作の方向性の指示を含むディスプレイをパイロットが注視できる。モニタリングシステムに追加機能を付け加えるために、動作の方向性を解析するための追加の画像処理や追加入力用の追加センサを備えるのが好ましい。例えば、航空機が山または別の航空機などの障害物に近づくと、モニタリングシステムは航空機「に向かう」対象物の相対的な動作を識別して、警告信号を発したり、航空機の飛行経路を自動的に変更したりするシステムを起動することができるであろう。
【００２１】
図４ａおよび４ｂは前記概念を図示する。図４ａおよび４ｂにおいて、２つの画像のビットマップが表示されており、プラスの加速とマイナスの加速が黒の背景にそれぞれ白色と灰色で記されている。図４ａの航空機は灰色の筋で輪郭が示されており、観測カメラから遠ざかっているところが示されている。この画像の白の線は背景に対する航空機の長時間にわたる過去の位置を示す。図４ｂでは、灰色の筋が下側の航空機の上部と上側の航空機の下部に現れていて、この２機が互いから離れていっていることを示す（そのため、衝突の恐れはない）。好ましくは、背景を比較的明るく表示して、「動いている」対象物を比較的暗く表示する。
【００２２】
ここで図３を参照すると、本発明の一実施例により構成し作動するモニタリングシステム１０の構造のブロック図が示されている。該モニタリングシステム１０は、ビデオフレーム取得コンポーネントと処理コンポーネントを収容し、ディスプレイや警報コンポーネントに連結される感知ユニット１２を含む。該ビデオフレーム取得コンポーネントはレンズとＣＣＤ／ＣＭＯＳ光学センサ（照明センサ／ＩＲセンサ）１４を含んでもよい。必要であれば、低出力不可視光線照明用のＩＲ ＬＥＤ１６または他の光源も感知ユニット１２に備えてもよい。処理コンポーネント１８は好適なアルゴリズムと処理プラットフォームを含み、これは例えば埋め込み型のＣＰＵ／ＤＳＰ／メディアプロセッサ／ＡＳＩＣまたはＰＣプラットフォームがあり得る。前記警報コンポーネントはストリーミングコンポーネントおよびリモートサーバー２０または何らかの種類の適切なモニタ２１を備えるクライアント、またはディスプレイ（図示せず）に連結する動画再生機２２を有するモバイルユニット２４、内部警告システム２６または外部ディスプレイや警告システムを含むことが可能である。このようなシステムは様々な方法で実装できる。高齢の認知症患者に適したある好ましい埋め込み型設計を図３に図示する。
【００２３】
該システムは患者の転倒に関する警報を発することを意図しており、目視警報では医療補助者または看護人が時間内に到着するために十分な時間を与えられないこともあるため、該システムは床に振動の出力を感知して提供する受振器２８に連結するのが好ましく、該受信器は単独で、または光学観測と組み合わせて、所定の部屋または廊下で患者が転倒した後警報を発することができる。
【００２４】
同様のシステムは、乳児突然死を防止するための赤ちゃんのモニタリングにも利用できるであろう。例えば、サーマルカメラを利用して、赤ちゃんの呼吸および赤ちゃん周囲の空気の動きを観察できる。該サーマルカメラは赤ちゃんの息の画像を保存し、それを親または保護者が見るために表示することになろう。さらに、データ処理を利用すれば、予め選択した時間の間に動きがないことを検出すると出力信号を出して、可聴警報を発するようにすることができるであろう。
【００２５】
本発明の好適な実施例によると、対象物の比較的遅い動作は、異なる率で抽出する対となるフレームに同時に適用される同じビデオシーケンスの微分値を連続的に比較することによって検知できる。例えば、このようなシステムをある種の光レーダとして利用して、比較的遅いまたは遠くで動いている対象物を追跡できる。この場合、ビデオストリームからのフレームを、連続フレームではなく毎分１回または毎時１回に選択してもよく、上記解析を画像データで行う。その結果得られるビットマップの表示はより長い時間枠でモニタリングされる区域の対象物の動作を表すが、加速されたかのように該動作を表す画像を表示する。これにより、カメラ付近でゆっくり動いている対象物、および遠近感のためにゆっくり動いているように見える遠くで速く動いている対象物を観察でき、同時に静止した背景は取り除かれて、ディスプレイには現れない。本実施例は敵兵または敵機の隠密接近を検知するのに特に適する。
他方で、対象物の比較的速い動作は各フレーム値を数回表示するように処理することによって、「遅い動作」で表示を提供できる。本実施例は、例えば、薬物がその目的部位に到達する注入速度を比較したり計算したりするために、顕微鏡で観察する細胞や薬の動作を解析するために利用できるであろう。
【００２６】
本発明のさらに別の実施例によると、同じ区域の輝度値の微分係数の抽出およびマッピングを異なる時間間隔で行った後に、例えば異なる色で同時に表示できる。このように、遅い動きはある色で表示し、速い動きは別の色で表示されるが、どちらのタイプの動きも同時に観察できるであろう。
【００２７】
モニタリング装置は、データを符号化、記録、表示、格納、または伝送するためのエレメント、また、遠隔で警報を起動するための出力信号を出す等の追加処理を可能にするエレメントを含めた完全なモニタリングシステムに統合できることは認識されるであろう。処理したデータがバイナリの性質であるため、また微分された画像に必要なデータの量が比較的少ないため、極めて効率よく圧縮できる。このことは、長時間に及ぶデータを効率よく格納でき、データをＳＭＳおよびその他同様なシステムを介して都合良く送信できるため有利である。これは、撮影場所内の個人および撮影場所自体のプライバシーを侵害することなく、表示するデータや警報メッセージを迅速に伝達するための効率的な方法を提供しながら、店舗、公共の場、オフィス等のモニタリングおよび監視を可能にする。
【００２８】
本発明を少数の実施例に関して説明してきたが、発明に数多くの変型、変更、およびその他のアプリケーションも行えることは認識されるであろう。また、発明は単なる例として上記説明してきたものだけに限定されるのではないことも認識されるであろう。そうではなく、発明は特許請求の範囲によってのみ限定される。
【図面の簡単な説明】
【００２９】
本発明は図面と合わせて以下の詳細な説明を読むと理解および認識が深まるであろう。
【図１】本発明のある実施例において構成されて作動するモニタリング装置が表示用に提供する画像である。
【図２】本発明のある実施例においてモニタリング装置が表示用に提供するバイナリ・ビットマップ画像である。
【図３】本発明のある実施例において構成されて作動するモニタリング装置のブロック図である。
【図４】４ａおよび４ｂは動作の方向を表す画像である。
【特許請求の範囲】
【請求項１】
長時間にわたりビデオフレームを保存するステップと、
前記保存したビデオフレームからのデータを前記保存したデータの変化率を表す微分データに加工するステップと、
前記微分データから新たなフレームを作成するステップと、
前記新たなフレームを格納するステップと、
を備えるモニタリング方法。
【請求項２】
前記データが輝度データであることを特徴とする請求項１記載の方法。
【請求項３】
さらに、前記新たなフレームを表示するステップを備えることを特徴とする請求項１記載の方法。
【請求項４】
ある閾値を上回る前記保存したデータの変化率を表す前記微分データを、前記閾値を下回る変化率を表す前記微分データの一部に対比して表示することを特徴とする請求項３記載の方法。
【請求項５】
前記微分データから前記変化率の方向を判定するステップと、
ある方向を反対方向に対比して表示するステップと、
をさらに備えることを特徴とする請求項４記載の方法。
【請求項６】
ビデオフレームのシーケンスを取得するステップで、各々の前記フレーム内の各画素が輝度値を有する、前記取得するステップと、
前記シーケンスの少なくとも３つのビデオフレームから、長時間にわたる各画素の前記輝度値の少なくとも二次微分係数を計算するステップと、
計算した微分値を各前記画素に割り当てるステップと、
前記計算した微分値から、前記フレームの対象物の動きに対応するビットマップを作成するステップと、
を備えるモニタリング方法。
【請求項７】
前記計算するステップが、
現フレームの所定の座標の各画素の値について、前回のＮ−１フレームに属する同じ座標に関連するＮ画素値のシーケンスを生成するステップと、
各生成したシーケンスについて、対応する補間曲線を計算するステップと、
各計算した曲線について、現フレームで評価される二次微分係数を数値で概算するステップと、
現フレームにおいて、オリジナルの画素の各々を取得した微分値に置き換えるステップと、
を備えることを特徴とする請求項６記載の方法。
【請求項８】
長時間にわたりビデオフレームのシーケンスを取得する光学センサと、
前記取得したビデオフレームからのデータを、前記取得したデータの変化率を表す微分データに加工して、前記微分データから新たなフレームを作成するプロセッサと、
を備えるモニタリング装置。
【請求項９】
前記プロセッサが、長時間にわたり抽出した前記フレーム内の各画素の輝度の少なくとも二次微分係数を計算して、前記微分値を各画素に割り当てて、前記フレーム内の対象物の動きを表す新たなフレームを作成するようになされて構成されることを特徴とする請求項８記載の装置。
【請求項１０】
前記新たなフレームを表示するディスプレイをさらに備えることを特徴とする請求項８又は請求項９記載のモニタリング装置。
【請求項１１】
前記プロセッサが、前記微分値から、予め定めた条件が満たされるときを判定して、出力信号を出すソフトウェア手段をさらに備え、
前記装置が、前記出力信号に応答して警報を発する警報メカニズムをさらに備えることを特徴とする請求項８乃至１０の何れか一記載の装置。
【請求項１２】
第２センサをさらに備えることを特徴とする請求項８乃至１１の何れか一記載の装置。
【請求項１】
長時間にわたりビデオフレームを保存するステップと、
前記保存したビデオフレームからのデータを前記保存したデータの変化率を表す微分データに加工するステップと、
前記微分データから新たなフレームを作成するステップと、
前記新たなフレームを格納するステップと、
を備えるモニタリング方法。
【請求項２】
前記データが輝度データであることを特徴とする請求項１記載の方法。
【請求項３】
さらに、前記新たなフレームを表示するステップを備えることを特徴とする請求項１記載の方法。
【請求項４】
ある閾値を上回る前記保存したデータの変化率を表す前記微分データを、前記閾値を下回る変化率を表す前記微分データの一部に対比して表示することを特徴とする請求項３記載の方法。
【請求項５】
前記微分データから前記変化率の方向を判定するステップと、
ある方向を反対方向に対比して表示するステップと、
をさらに備えることを特徴とする請求項４記載の方法。
【請求項６】
ビデオフレームのシーケンスを取得するステップで、各々の前記フレーム内の各画素が輝度値を有する、前記取得するステップと、
前記シーケンスの少なくとも３つのビデオフレームから、長時間にわたる各画素の前記輝度値の少なくとも二次微分係数を計算するステップと、
計算した微分値を各前記画素に割り当てるステップと、
前記計算した微分値から、前記フレームの対象物の動きに対応するビットマップを作成するステップと、
を備えるモニタリング方法。
【請求項７】
前記計算するステップが、
現フレームの所定の座標の各画素の値について、前回のＮ−１フレームに属する同じ座標に関連するＮ画素値のシーケンスを生成するステップと、
各生成したシーケンスについて、対応する補間曲線を計算するステップと、
各計算した曲線について、現フレームで評価される二次微分係数を数値で概算するステップと、
現フレームにおいて、オリジナルの画素の各々を取得した微分値に置き換えるステップと、
を備えることを特徴とする請求項６記載の方法。
【請求項８】
長時間にわたりビデオフレームのシーケンスを取得する光学センサと、
前記取得したビデオフレームからのデータを、前記取得したデータの変化率を表す微分データに加工して、前記微分データから新たなフレームを作成するプロセッサと、
を備えるモニタリング装置。
【請求項９】
前記プロセッサが、長時間にわたり抽出した前記フレーム内の各画素の輝度の少なくとも二次微分係数を計算して、前記微分値を各画素に割り当てて、前記フレーム内の対象物の動きを表す新たなフレームを作成するようになされて構成されることを特徴とする請求項８記載の装置。
【請求項１０】
前記新たなフレームを表示するディスプレイをさらに備えることを特徴とする請求項８又は請求項９記載のモニタリング装置。
【請求項１１】
前記プロセッサが、前記微分値から、予め定めた条件が満たされるときを判定して、出力信号を出すソフトウェア手段をさらに備え、
前記装置が、前記出力信号に応答して警報を発する警報メカニズムをさらに備えることを特徴とする請求項８乃至１０の何れか一記載の装置。
【請求項１２】
第２センサをさらに備えることを特徴とする請求項８乃至１１の何れか一記載の装置。
【図１】
【図２】
【図３】
【図４ａ】
【図４ｂ】
【図２】
【図３】
【図４ａ】
【図４ｂ】
【公表番号】特表２００８−５４１６５０（Ｐ２００８−５４１６５０Ａ）
【公表日】平成２０年１１月２０日（２００８．１１．２０）
【国際特許分類】
【出願番号】特願２００８−５１１８５８（Ｐ２００８−５１１８５８）
【出願日】平成１８年５月１５日（２００６．５．１５）
【国際出願番号】ＰＣＴ／ＩＬ２００６／０００５７２
【国際公開番号】ＷＯ２００６／１２３３３１
【国際公開日】平成１８年１１月２３日（２００６．１１．２３）
【出願人】（５０７３７９０５０）ヒューマン モニタリング エルティーディー (1)
【Ｆターム（参考）】
【公表日】平成２０年１１月２０日（２００８．１１．２０）
【国際特許分類】
【出願日】平成１８年５月１５日（２００６．５．１５）
【国際出願番号】ＰＣＴ／ＩＬ２００６／０００５７２
【国際公開番号】ＷＯ２００６／１２３３３１
【国際公開日】平成１８年１１月２３日（２００６．１１．２３）
【出願人】（５０７３７９０５０）ヒューマン モニタリング エルティーディー (1)
【Ｆターム（参考）】
[ Back to top ]