対象物の位置特性の判定
室内の対象物の位置特性を判定するシステムであって、部屋の検出領域のため背景表面に配置された、光学的に識別可能な要素(103)を含むシステムを提案する。カメラ(101)が光学的に識別可能な要素(103)の向かい側に検出領域を横切って配置され、検出領域と光学的に識別可能な要素とを含む画像を取得する。検出器(403)が光学的特性に基づいて画像内の光学的に識別可能な要素を検出する。閉塞プロセッサ(405)が光学的特性に応じて画像内の光学的に識別可能な要素(103)の閉塞特性を判定する。位置プロセッサ(407)が閉塞特性に応じて深さ位置を判定し、その深さ位置はカメラ(101)の光軸に沿った対象物の位置を示す。本発明は例えば室内の人物の存在や大まかな位置測定を可能にしてもよい。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象物の位置特性の判定に関し、詳しくは、室内の生物の深さ位置の判定に関するが、それだけに関するものではない。
【背景技術】
【0002】
対象物の位置の判定、詳しくは、人やペットといった生物の位置判定は、多くの応用例で関心が増している。位置予測は、例えば、事故の防止及び/又は検知に使用されてもよい。例えば、高齢者が落下したことや、小さな子供が落下の危険性を伴ってテーブルに上ることを検出するのに使用されてもよい。しかしながら、(とりわけ)室内の生物の位置予測は、特に困難である。なぜなら、そのアルゴリズムは、その周囲環境の多くのパラメータや特徴が時間と共に変化し及び/又は不明であるということを考慮しなければならないからである。例えば、検出されるべき対象物の所定の特徴は、不明であるかもしれず、そして、部屋の中に存在する異なる対象物が時間と共に変化するだけでなく、そのアルゴリズムにとって不明であるかもしれない。
【0003】
例えば事故防止の目的で、部屋をモニタするため、室内で何が発生しているかの完全な写真を取得し分析することは理想的であろう。そうした完全な写真は、所望の領域の動的な画像を取得する1つ以上のビデオカメラから得られてもよい。しかしながら、そうしたカメラから得られる画像の解釈は、大変複雑であり、とりわけ、関心対象物(例えば人物)に対応する画像部分を確実に識別することは大変困難である。これは、室内の位置といった対象物の特徴がそのアルゴリズムにとって不明であるので、特に困難なことがある。さらに、関心対象物だけでなく室内の他の対象物にも対応する画像の対象物は、大変複雑になりがちであり、これらの対象物の正確な分析と予測は、大変複雑な処理を要し、不確実な結果を生ずる傾向がある。
【0004】
ビデオシステムの一例が米国特許公報2009/0121017に提案されている。そのシステムでは、在庫の商品が認識可能な光学パタンと共に壁の前に配置される。カメラが画像を取得し、その認識可能な光学パタンを有する領域を評価することにより、壁の露出表面の量を検知する。そして、露出表面の量は、現在ある又は無くなっている在庫のアイテムの量を判定するのに使用される。しかしながら、米国特許公報2009/0121017のシステムは、在庫の対象物が存在するかどうかの検知を単に提供するものであり、それ故最小限の情報しか提供しない。
【0005】
従って、室内の対象物の深さ位置を判定する改良されたシステムが有利であり、詳しくは、以下の性能を可能にするシステムが有利である。即ち、柔軟性の向上、又は信頼性の向上、又は、容易な実施及び/又は操作、又は、動的変化への適応性の向上、及び/又は性能の向上である。
【発明の概要】
【発明が解決しようとする課題】
【0006】
従って、本発明は、上述の不利な点の1つ以上を、単独で又は組合せで、好適に緩和し、軽減し、又は除去するものである。
【課題を解決するための手段】
【0007】
本発明の一側面によれば、例えば、室内で(又は、外の砂場の上、又は、歩行者交差点近くの家や学校等に適用される)、対象物(生物、ロボット、又は他の機械的おもちゃ、ボール等)の位置の特徴を判定するシステムが提案され、そのシステムは以下を含む:光学的に識別可能な要素であって、それは一般的には地面に位置するか又は少なくとも地面のレベルの近くに位置し、例えば、部屋の壁や室内のソファやカップボードのような、部屋の検出領域のため、背景表面上に貼り付けられ、その光学的に識別可能な要素は、或る光学的な特性を有する(例えば、対象物の部分的な領域を少なくとも覆う、特定の色やテキスチャーであり、その色及び/又はテキスチャーは、その光学的に識別可能な要素の空間領域を区別するのに複雑な関係を有してもよい)、光学的に識別可能な要素と;光学的に識別可能な要素の向かい側に検出領域を隔てて位置するカメラであって、検出領域と光学的に識別可能な要素とを含む画像を取得するように構成される、カメラと;光学的特性に応じて、画像内の光学的に識別可能な要素を検出する検出器と;光学的特性に応じて、画像内の光学的に識別可能な要素の少なくとも1つの閉塞特性を判定する閉塞プロセッサと;その閉塞特性に応じて、深さ位置を判定する位置プロセッサであって、その深さ位置はカメラの光軸に沿った対象物の位置を表す、位置プロセッサと、を有する。
【0008】
本発明は、室内の対象物の深さ位置について、改善した及び/又は容易な判定を提供してもよい。詳しくは、光軸に沿ったカメラまでの距離に関する深さ位置が考慮される場合、対象物の検出及び/又は特徴付けは、改善されてもよい。本発明は、複雑性を低くしながら、対象物の改善した特徴づけ/検出を可能にする。深さ位置の確実な判定は、簡潔な設定及び/又は所要の信号から実現され、画像処理は、実質的に容易になることがある。詳しくは、比較的低い複雑性の閉塞判定、特徴づけ及び処理を使用することができる。
【0009】
本発明は、例えば、室内の人物について改善した検出及び/又は特徴づけを可能にし、そして、例えば、改善した事故検出、侵入者検出等を可能にする。
【0010】
光学的特性は、例えば、特定の色及び/又はパタンであってもよい。その光学的特性は、詳しくは所定のスペクトル分布を有してもよく、人には見えなくてもよく、即ち、適切なカメラによって検出可能な紫外線や赤外線スペクトルを有してもよい。
【0011】
閉塞特性は、1つ以上の画像領域の表示を含んでもよく、その画像領域は、光学的に識別可能な要素に対応するが、その光学的特性に一致する光学的特徴を有しない。閉塞特性は、画像内で塞がれる光学的に識別可能な要素の1つ以上の部分の表示を含んでもよい。閉塞特性は、例えば、そうした閉塞部分の位置及び/又はサイズを含んでもよい。その位置及び/又はサイズは、詳しくは、画像の位置及び/又はサイズでもよく、又はそれらから導かれてもよい。
【0012】
深さ位置は、詳しくは、光軸に沿った位置を表してもよい。詳しくは、深さ位置は、画像の画像平面に対して垂直方向の、対象物の位置を表してもよい。
【0013】
本発明の任意的な特徴に従って、光学的に識別可能な要素は、壁に貼り付けられた細長い要素であって、壁の高さの半分以下に空間的に限定される(例えば、多数の10cmの高さの糊付けできる細いストリップであって、壁の部分的領域に貼り付けられる)。
【0014】
これは、多くの実施形態において、特に有利な及び/又は容易な実施、及び/又は操作を提供する。例えば、正確な対象物検出を供給しながら視覚的な影響を低減してもよく、たいていの対象物(人を含む)が部屋の床から伸びるという事実を活用してもよい。
【0015】
光学的に識別可能な要素は、例えば、壁に、詳しくは固定位置に貼り付けられ又は付着される物でもよい。
【0016】
光学的に識別可能な要素は、例えば、テープや、粘着ストリップ又は壁に塗布されるペイントでもよい。その光学的に識別可能な要素は、その高さよりも実質的に高い幅(又は長さ)を有する(例えば、少なくとも10倍の高さ)細長い要素でもよい(その要素は、もちろん幾つかの短い細長のサブ要素、例えばタイルからなり、一緒になって光学的に識別可能な要素を形成する)。その光学的に識別可能な要素は、一方向で(一般的には実質的に垂直に)5−10cmより短い長さの要素でもよく、そして、それと垂直な方向に(一般的には実質的に垂直に)1メートルよりも大きくてもよい。その光学的に識別可能な要素は、実質的に矩形でもよい。
【0017】
光学的に識別可能な要素は、部屋の床の近くの壁に配置されてもよい。例えば、その床からその光学的に識別可能な要素までの最大の距離は50cm、20cm、10cm、5cm又は1cm未満でもよい。これは、例えば足についての改善した検出をもたらし、例えば人の存在の検出に特に関係する。それは、その光学的に識別可能な要素の視覚的な影響を低減してもよい。幾つかのシナリオでは、光学的に識別可能な要素は、壁と部屋の床の交差から上方へ伸びてもよい。
【0018】
光学的に識別可能な要素は、位置のキャリブレーションを容易にするキャリブレーションパタンを有してもよい。例えば、赤い蛍光テープがテープの長さ方向に沿って1m毎に1cm幅の黒部分を有してもよい。壁がまっすぐであると仮定すると、カメラセンサはその黒部分を検出できる。その黒部分は閉塞を形成するからである。そのカメラセンサは、それらを利用して、カメラの座標と部屋の座標との間の関係を構築する。黒のマークの幅は、絶対的な部屋の座標をエンコードできる。そのマークが広すぎるなら、それらは、本システムのキャリブレーションステップの後に、剥がして取り外しできる。また、数個の簡易なマーカーだけが光学的に識別可能な要素の上にあって、重要なサブエリアの開始又は終わりを指定してもよい(貴重な対象物の周囲領域や、子供にバーチャルハウス内の新しい部屋を作ることを可能にするマーカー、それらは光学的に識別可能な要素等により構成する)。これらのマーカーは必ずしも永久的なものである必要はないことに留意すべきであり、例えば、それらは、第2ストリップとして糊付けられたり、剥がされたりでき、任意に再度除去されたりでき、又は、投影されてもよく、動的な再構成可能なゲームに有用であってもよい(例えば、部屋にマッピングされたプレイングボードであり、或るレベルが終了すると、その部屋が変化する)。しかしながら、これらのマーカーは、キャリブレーションの際に役に立ち、即ち、現在のシステムと、その光学的に識別可能な要素と、本システムがある部屋や空間の特定の重要な領域との間の関係を識別する。
【0019】
光学的に識別可能な要素は、壁に付着する必要はない。それを壁に付着することなく、床の上に配置してもよい。さらに、光学的に識別可能な要素は、人や家具の周りに置くことができるように変形可能であってもよい。この形態では、その光学的に識別可能な要素は、ロープや他の如何なる適切な物質(木材、布等)にも付着又はペイントされてもよい。光学的に識別可能な要素は、閉じたループを形成してもよい。カメラが、その光学的に識別可能な要素に統合されてもよい。
【0020】
本発明の任意的な特徴に従って、位置プロセッサが、光学的に識別可能な要素の閉塞部分に関連づけられる画像の画像対象物を判定し;その画像対象物の画像特徴に応じて、深さ位置を生成するよう構成される。
【0021】
これは、特に効率的で、確実で、及び/又は低い複雑性の、深さ位置の判定をもたらす。
【0022】
画像対象物は画像分割によって判定されてもよい(足の長さのような単純な特徴がその適応例で望まれるのなら、分割アルゴリズムは単純でもよく、他の適応例では、より複雑でもよい)。画像対象物は、閉塞部分に対応する画素の画素値に対して、一致条件を満たす値を有する画素を含んでもよい。例えば、その画像対象物は、或る画像領域内の画素を含むように判定されてもよく、その画像領域の範囲内では、その色はその閉塞部分の色から所定量よりも小さく変化する。
【0023】
画像特徴は、詳しくは画像対象物の寸法であってもよい。
【0024】
本発明の任意的な特徴に従って、画像特徴は、その光学的に識別可能な要素から離れる画像の方向における、画像対象物の伸張を表す。
【0025】
これは、特に効率的で、確実で、及び/又は低い複雑性の、深さ位置の判定をもたらす。
【0026】
本発明の任意的な特徴に従って、位置プロセッサは以下のように構成される:部屋の床に対応する他の画像対象物を検出し;画像対象物と他の画像対象物との間の部分境界(セグメントボーダー)を判定し;そして、その光学的に識別可能な要素とその部分境界との間の画像距離に応じて、深さ位置を判定する。
【0027】
これは、特に効率的で、確実で、及び/又は低い複雑性の、深さ位置の判定をもたらす。
【0028】
本発明の任意的な特徴に従って、本システムは更に以下を含む:光学的に識別可能な要素の向かい側に検出領域を横切って位置する他のカメラであって、検出領域と光学的に識別可能な要素とを含む他の画像を取得するカメラと;検出器は、光学的特性に応じて、他の画像内の光学的に識別可能な要素を検出するように更に構成され;閉塞プロセッサは、その光学的特性に応じて、他の画像内の光学的に識別可能な要素の少なくとも1つの閉塞の他の閉塞特性を判定するように構成され;そして、位置プロセッサは、閉塞特性と他の閉塞特性との両方に応じて、深さ位置を判定するよう構成される。
【0029】
これは、特に効率的で、確実で、及び/又は低い複雑性の、深さ位置の判定をもたらす。多くのシナリオでは、そのアプローチは、低減された複雑性の信号処理及び/又はより確実な判定を可能にすることがある。
【0030】
他のカメラ及び関連する処理は、第1のカメラに類似するものであってもよい。他の閉塞特性は、例えば、光学的に識別可能な要素の閉塞部分の位置及び/又はサイズを含んでもよい。その位置及び/又はサイズは、詳しくは、画像の位置及び/又はサイズであってもよく、又は、そこから導かれるものであってもよい。閉塞特性と他の閉塞特性は、詳しくは、対応する閉塞の位置及び/又はサイズの表示を含んでもよい。そうした対応する閉塞は、同じ対象物に由来し、詳しくは、深さ位置が得られる対象物に由来する。
【0031】
本発明の任意的な特徴に従って、位置プロセッサは、画像内の閉塞部分と他の画像内の閉塞部分との間における相対的な画像位置の差に応じて、深さ位置を判定するように構成される。
【0032】
これは、特に効率的で、確実で、及び/又は低い複雑性の、深さ位置の判定をもたらす。多くのシナリオでは、そのアプローチは、低減した複雑性の信号処理及び/又はより確実な判定を可能にすることがある。
【0033】
深さ位置は、詳しくは、2つの画像内での1つ以上の対応する閉塞部分の、位置のシフトに応じて、判定されてもよい。対象物に対応すると予測される閉塞部分の変位が判定されてもよく、そして、光軸に沿った位置がその変位に基づいて判定されてもよい。
【0034】
本発明の任意的な特徴に従って、本システムは、サイズプロセッサをさらに含み、光学的に識別可能な要素の少なくとも1つの閉塞画像部分の深さ位置と画像サイズに応じて、その対象物のサイズ予測を判定するように構成される。
【0035】
これは、多くの適用例に操作性の向上をもたらす。例えば、人や動物等の存在について、検出の向上を可能にする。そのアプローチは、詳しくは、追加的な情報を供給するだけでなく、室内の対象物の実際の位置に対する感度を低減する。例えば、カメラに近い小さい対象物とカメラから離れた大きい対象物との間の区別を可能にする。他の例として、そのアプローチは、子供と大人との間の識別や、立っているか又は歩いている人と地面に倒れた人との間の区別のために使用されてもよい。
【0036】
本発明の任意的な特徴に従って、対象物は生き物であって、そして、本システムは、閉塞特性に応じて、検出領域内の生き物の存在を検出する検出プロセッサを更に含む。
【0037】
本発明は、室内の人物又は動物の存在について、検出の向上を可能にする。そうした検出は、具体的な特徴、位置及び動きが不明のときは、一般的には大変複雑で不確実である。本システムは、低い複雑性の設定と単純化されたアプローチを用いて、検出の向上を可能にする。例えば、その設定と、例えば、深さ位置により与えられる情報とによって、不確実性が低減されるか又は補償されてもよい。
【0038】
本発明の任意の特徴に従って、検出プロセッサは、画像内の光学的に識別可能な要素の閉塞の動的な変化に応じて、存在を検出するように構成される。
【0039】
本発明は、室内の人や動物の存在について、検出の向上を可能にする。実際には、特定の場所に位置する静的な対象物に依存するのではなく、そのアプローチは、自由に動く生き物の検出を可能にし、閉塞特性の、結果として生じる動的な変化に基づいて検出を行ってもよい。その動的な変化は、例えば、閉塞部分の位置及び/又は閉塞の時間の変化であってもよい。
【0040】
幾つかの実施形態では、動的な変化は、光学的に識別可能な要素の閉塞部分の位置における変化を含んでもよい。
【0041】
幾つかの実施形態では、動的な変化は、或る条件を満たす時間的な特徴を有する閉塞の検出を含んでもよい。例えば、その条件は、閉塞が所定の時間よりも少ない時間を有することであってもよい。本発明の任意的な特徴に従って、検出プロセッサは、動的な変化に応じて、少なくとも1つの生き物の第1の特徴とその生き物の行動とを判定するように更に構成される。
【0042】
これは、追加的な情報を供給してもよく、及び/又は、例えば、検出の確実性を改善してもよい。その特徴は、例えば、速度、歩き方、サイズの表示(例えば人の足の)等のような、生き物の動きの特徴であってもよい。より複雑な実施形態では、時間と共に変化する正確な閉塞形状の詳細な分析が、例えば人や動物が何をしているのかを予測するのに使用される。誰かが起きようとする典型的なパタン又は病気で震える動物のような動きを分析することにより、予測するのに使用される。
【0043】
本発明の任意的な特徴に従って、検出器は構成されて、光学的特性に一致する画像特性を有する画像領域の検出に応じて、光学的に識別可能な要素に対応する画像の幾何的領域を予測し、そして、閉塞プロセッサは構成されて、光学的特性に一致しない画像特性を有する幾何的領域の閉塞部分を識別する。
【0044】
これは、特に効率的で、確実で、及び/又は低い複雑性の操作をもたらす。光学的に識別可能な要素とは異なる光学的特性を有する幾何的領域の閉塞部分は、詳しくは、光学的特性に関する一致条件を満たさない画素の領域を更に含んでもよい。
【0045】
本発明の任意的な特徴に従って、検出器は構成され、画像領域を所定の幾何形状へマッチングを実行することにより、その幾何形状を判定する。
【0046】
これは、特に効率的で、確実で、及び/又は低い複雑性の操作をもたらす。
【0047】
幾何的領域は、光学的に識別可能な要素の幾何形状に対応する光学的特性と所定の幾何的形状に応じて、判定されてもよい。例えば、光学的に識別可能な要素は、画像内の直線に対応する細いストリップでもよい(線形閉塞分析が、その適用例に対して、ストリップに沿って好適な高さで行われてもよく、例えば、地面の接触レベルで、または、地面レベル閉塞が干渉するのを避けるためより高いレベルで、例えば、製造コンベアーベルトから)。所定の幾何形状は、従って、直線でもよく、幾何的領域は、その光学的特性に一致する画像特徴を備えた画素を含む直線画像対象物として判定されてもよい。例えば、画素又は画像部分に対して、その光学的特性に一致する画素特徴でラインフィットが実行されてもよい。
【0048】
本発明の任意的な特徴に従って、本システムは、室内の光学的に識別可能な要素の、名目上閉塞部分セットを決定するに更に構成され;位置プロセッサは、その名目上閉塞部分の閉塞特性を補償するよう構成される。
【0049】
これは、操作性の向上をもたらし、とりわけ、柔軟性の向上をもたらす。そのアプローチは、例えば、多くのシナリオでは、本システムが、他の対象物が光学的に識別可能な要素を塞いでいてもよい部屋の中で使用されることを可能にする。
【0050】
名目上閉塞部分は、静的であると考えられる部分及び/又は、閉塞が対象物によって生じたものではない部分であってもよい。それは、一般的には、検出領域内の他の対象物によって生ずる閉塞であってもよい。
【0051】
その補償は、例えば、名目上閉塞部分に対応する全ての閉塞を無視することにより実行されてもよい。
【0052】
名目上閉塞部分は、例えば、キャリブレーション画像内で、光学的に識別可能な要素の閉塞部分として判定されてもよい。キャリブレーション画像は、対象物の存在なく取得される画像である。
【0053】
本発明の任意的な特徴に従って、本システムは更に、閉塞の時間が閾値を超えた場合、光学的に識別可能な要素の閉塞部分を名目上閉塞部分として指定するよう構成される。
【0054】
これは、特に有利な性能をもたらし、詳しくは、本システムが自動的に部屋の特徴に適応することを可能にしてもよい。例えば、検出領域内の他の対象物を補償するように自動的に処理を適応し、これらは多くのシナリオでは静的であると考えられてもよく、一方で、関心対象物は一般的に非静的である(例えば多くの適応例では、それは人か動物だろう)。
【0055】
閾値は、静的な閾値でもよい。例えば、人を検知する多くの実施形態では、有利には、15秒から1分の間隔内にあってもよい。幾つかの実施形態では、閾値は、他のパラメータに依存してもよく、動的な変化する閾値でもよい。
【0056】
本発明の一側面によれば、室内の対象物の位置特性を判定する方法が提供され、その方法は以下のステップを含む:或る光学的特性を有する光学的に識別可能な要素を、部屋の検出領域のため、背景表面上に配置するステップと;その光学的に識別可能な要素の向かい側に検出領域を隔ててカメラを配置するステップであって、そのカメラは、検出領域とその光学的に識別可能な要素とを含む画像を取得する、ステップと;その光学的特性に応じて、画像内の光学的に識別可能な要素の閉塞の閉塞特性を判定するステップと;閉塞特性に応じて、深さ位置を判定するステップであって、その深さ位置はカメラの光軸に沿った対象物の位置を示す、ステップ。
【0057】
本発明のこれらの及び他の側面、特徴、及び有利な点は、以下で説明する実施形態(群)から明らかで、その実施形態(群)を参照して明瞭になるだろう。
【発明を実施するための形態】
【0058】
以下の説明は、室内の人々の存在を検出するシステムに適用可能な本発明の実施形態に焦点をあてる。しかしながら、本発明は、この応用例に限定されるものではなく、多数の他の応用例及び目的に適用してもよいことが理解されるだろう。
【0059】
以下では、1つ以上のビデオカメラによって取得された画像に基づいて、対象物の特性を判定するように構成された、室内に配置されてもよいシステムについて説明する。詳しくは、深さ位置が判定され、その深さ位置は、室内の潜在的な対象物の或る方向における位置の予測を含み、その方向はカメラの画像平面に対して垂直である。それ故、システムは、カメラの光軸に沿った位置コンポーネントの位置予測の判定を可能にしてもよい。本システムは、更に、画像平面に平行な方向で、対象物の1つ以上の位置予測を判定してもよく、詳しくは、3次元の位置予測を判定してもよい。判定された位置の値は何れも光軸に一致する必要はないが、少なくとも深さ位置は、この光軸に沿って非ゼロの長さの投影を有し、即ち、深さ位置は、光軸に沿った予測位置の情報を含み、画像平面内の位置情報だけに限定されないことは理解されるだろう。カメラは、深さ位置が、そのカメラと光学的に識別可能な要素との両方に交わる軸に沿った位置成分を一般的に有するように取り付けられるだろう。
【0060】
本明細書で説明するシステムは、詳しくは、僅かな所定の情報しか分かっていない対象物の特性を判定するのに有用である。例えば、未知の位置、形状、サイズ等を有する対象物の検出に特に適することがある。更に、移動対象物にはとりわけ適することがある。詳しくは、本システムは、生物(人間或いは動物)に関する特性を判定するのに高い適合性を有し、その生物は室内に入って動き回ってもよい。本システムは、実際には、室内の人間の存在や活動を有利に検出することを提供する。
【0061】
本システムは、光学的に識別可能な要素を用い、その要素は、部屋の検出領域の背景表面に位置づけられる。カメラは、光学的に識別可能な要素の向かい側に置かれて、検出領域と光学的に識別可能な要素とを含む画像を有するビデオ信号を取得する。光学的に識別可能な要素は、光学的特性を有し、比較的簡易且つ正確にビデオ画像内で検出されることを可能にする。従って、本システムは、光学的に識別可能な要素の閉塞(遮蔽)を検出してもよく、一般的には、その閉塞は、カメラと光学的に識別可能な要素との間に位置する対象物を原因とする。それ故、対象物の存在は、ビデオ画像内の光学的に識別可能な要素の閉塞から単純に検出することができる。明確性と簡潔性の目的で、以下の記述は、光学的に識別可能な要素をふさぐ唯一の対象物が関心対象物であるというシナリオ、即ち、検出領域には他に対象物が存在しないというシナリオに焦点をあてる。しかし、続いて、どのようにして本システムが他の閉塞要素の存在を補償するかについて説明する。
【0062】
従って、本システムは、光学的に識別可能な要素の閉塞を評価判断し、この閉塞の特性に応じて、カメラの光学軸に沿った位置コンポーネントの位置表示が判定される。詳しくは、その閉塞特性は、光学的に識別可能な要素の1つ以上の閉塞部分の、位置及び/又はサイズの表示を含んでもよく、位置判定は、そうした位置やサイズに基づいてもよい。
【0063】
図1は、室内の例示的な設定を示す。カメラ101が部屋の1つの壁に沿って置かれる。この例では、カメラ101は部屋の床に近接して置かれ、詳しくは、床の上方50cm以下、たいていは20cm以下、5cm以下又は2cm以下にも置かれる。床に近い場所は、多くの実施形態において、操作及び性能の向上をもたらし、詳しくは、室内の人の特性の検出及び予測推定を向上させる。実際には、大きな画像領域が低いアングルで床をカバーする画像を提供し、それは、とりわけ、室内の人々の足に関する特性の評価判断に適し、又は、ボール、おもちゃの車、プラスチック製のフィギュア等の低い高さの対象物に関してでもよい。室内の適切な低位置にあるこれらのカメラを使って、ロボット(例えば、ロボット型の掃除機)のようなインテリジェントな移動対象物をモニタすることができるだけでなく、例えば、これらの静的なカメラからの追加的なデータを用いてロボットコントロールの援助をするだけでなく、ロボット自体に低く備え付けられたカメラ又は如何なる移動式カメラ(セット)もが本システムに使用することができる。
【0064】
部屋の反対の壁には、光学的に識別可能な要素103が置かれる。カメラと同様に、その光学的に識別可能な要素は床に近接して置かれ、とりわけ、壁の高さの半分以下であってもよい。実際、多くの実施形態では、光学的に識別可能な要素は、最も高い点で、床の上方50cm以下、たいていは20cm以下、10cm以下、1cm以下でもよい。カメラ101と光学的に識別可能な要素103との両方を床の近くに配置することは、以下の設定を提供し、そこでは、カメラ101で取得される画像内の光学的に識別可能な要素の閉塞が床に触れる対象物によって生じていると想定することができ、その閉塞は床に接触する点に近い対象物の特性に対応すると考えられてもよい。くわしくは、閉塞は、室内の人の足によって生じてもよく、従って、その設定は、人の身体の特定部位に関連付けられる閉塞をもたらしてもよい。
【0065】
このようにして、カメラ101は、反対の壁にある光学的に識別可能な要素103を含む部屋の画像を取得する。カメラ101と光学的に識別可能な要素103との間の如何なる対象物も、光学的に識別可能な要素103の閉塞をもたらし、これは検出され、特徴づけられ、室内の対象物の位置を判定するのに使用することができる。従って、カメラ101と光学的に識別可能な要素103とは、部屋の検出領域を定義し、その検出領域は、カメラ101の取得画像内で対象物の配置が光学的に識別可能な要素103の閉塞を生ずる領域である。
【0066】
光学的に識別可能な要素103は、例えば、壁に取り付けられるか、又は例えば壁に塗られる細いストリップであってもよい。例えば、反射テープ(例えば、明るい赤、オレンジ、又は黄色)が床に近接して壁に沿って取り付けられてもよい。特定の例では、そのテープは、底部(壁/地面の交差)で壁をカバーするように取り付けられる。一般的には、そのテープは、2cmから5cmの幅であってもよい。他の実施形態では、光学的に識別可能な要素を壁に供給する他の手段が用いられてもよい。例えば、紫外線又は赤外線の反射テープ又はペイントが使用され、人間の目には見えない(それ故煩わしくない)がカメラで検出される、検出可能な光学的特性を有する光学的に識別可能な要素を供給する。しかし、他の実施形態では、光学的に識別可能な要素は、様々な色の複数のテープの組合せを有してもよく、相互に平行に積み重ねられ、それにより1つの新しいテープを形成する。この特定の構成は、人の靴の色が、光学的に識別可能な要素の色ととても類似している状況に対して、よりロバストであるだろう。そうした状況では、偽陰性の結果をもたらし得る。複数色のテープは、そうした偽陰性の確率を低減するだろう。例えば、ストリップに沿って水平又は垂直に繰り返し積み重ねられたレインボーカラーパターンが存在してもよい。
【0067】
図1の例では、2つの対象物105,107が室内に置かれ、これらは詳しくは人の足であってもよい。対象部の各々は、カメラ101から見ると、光学的に識別可能な要素103の部分を塞ぐ。それ故、取得画像では、光学的に識別可能な要素は2つの閉塞部分109と111において塞がれるだろう。
【0068】
(2つの対象物によって生ずる2つの閉塞部分を考慮するのと同様に、2つの閉塞部分は1つの対象物の2つの部分から発生していると考えられることも理解されるだろう、即ち、同様にして、2つの対象物105と107は、1つの対象物の2つの異なる部分と考えられてもよい。それ故、1つの対象物が複数の閉塞を生じてもよい。)。
【0069】
図2は、図1のシナリオの横からの眺めの例を示す。この例では、座標系はカメラ101と一致する中心に置かれる。カメラの光軸に沿った軸はz軸と表示される(即ち、この例では、z軸は2つの壁及び画像平面に対して垂直である)。横への方向(光学的に識別可能な要素を形成するテープに沿った方向)はy軸として示され、垂直軸(この例では上/下方向)はx軸として示される。従って、x軸とy軸とは画像平面内にあり、z軸はその画像平面に垂直である。カメラは2つの線201で示されるx方向の視野角を有する。
【0070】
図3は、カメラ101によって取得される画像の一例を示す(この画像は、テーブルと椅子の脚の存在も含んでいる。そうした対象物の処理は後で説明するが、以下の最初の説明では明確性と簡便の目的で無視される)。この画像は、光学的に識別可能な要素103と人の足105,107とを含み、その結果、光学的に識別可能な要素103の閉塞109,111を生ずる。また図に示すように、画像は床の上の小さい高さから床の大部分をカバーしている。
【0071】
本システムは、処理装置113を含み、その処理装置は、カメラ101から画像を受信し、この画像を処理して検出領域内のいかなる潜在的な対象物の存在又は特徴も評価判断する。
【0072】
詳しくは、処理装置113は、既知の光学的特性に基づいて、画像を分析し光学的に識別可能な要素103を検出する。だれも(何も)存在しない場合は、光学的に識別可能な要素103は、地面に接する如何なる対象物によっても塞がれない。しかし、人がカメラとテープ(光学的に識別可能な要素103)との間を横切るとすぐに、人の足はテープの部分をさえぎるだろう。この閉塞は、処理装置113によって検出されて分析され、次に、その処理装置は、その閉塞を発生させる対象物の位置予測を判定するよう進める。
【0073】
光学的に識別可能な要素の特性(明るい色及び/又は反射率)は知られており、人の靴や靴下の色(例えば、男性居住者ではダークブラウン又はブルー)とは典型的に異なるよう選ばれているので、人の足の存在は、光学的に識別可能な要素103の特性を有していると思われるがこれらの特性をもう有していない画像内の画素を見つけることにより、容易に検出される。この例示の男性ユーザはブラック又はブラウンの靴だけを有しており、彼の左壁を赤のストリップでカバーし、右壁を緑でカバーし、長さ方向のカウチをオレンジでカバーするように選択してもよく、テーブルの脚を黄色のタイルで、テーブルの脚を円筒状に包むように(又は、光学的に識別可能な要素が適用される、対象物の色に一致する色、又は、視覚的に混乱しない色)。また、動的に学習するシステムでは、そうした幾つかの光学的に識別可能な要素だけが、広く一般的に使用可能なシステムにつながることにも留意する。室内に現在存在するユーザが、例えば赤のストリップを塞ぐ場合、本システムは、現在そのストリップを覆う黒の靴の光学的特性を測定できる(平均輝度、変化パタン、おそらくはスペクトル特性等)。その後、これらの識別パラメータを用いて、同様の光学閉塞検出を適用し、光学的に識別可能な要素を貼り付けていない平坦な領域を塞いでいるイベントを追跡する。例えば、ユーザが、反対の壁のグリーンのストリップを現在覆っているブルーのキャットバスケットを歩いて通りすぎるときである。詳しくは、本システムは、光学的に識別可能な要素103に対応する画像の中の1ライン上の画素を識別してもよいが、その画素は、光学的に識別可能な要素の光学的特性を有しない。地面の床や部屋の壁は、人の靴と同じ色を有することもあるので、光学的に識別可能な要素の使用は、より信頼できる検出を提供し、その位置により、地面に接しテープの高さの上方に伸びる対象物が少なくとも検出されることが確認される。人の足のような対象物が、カメラ101と光学的に識別可能な要素103との間に位置するとき、光学的に識別可能な要素は画像内の特定の位置で見えなくなるだろう。カメラ101と光学的に識別可能な要素103の両方は、地表面近くに配置され、光学的に識別可能な要素103は数cmの薄いストリップなので、わずかな高さの対象物(例えば5cm)でも光学的に識別可能な要素103の全体の高さを塞ぐだろう。
【0074】
図4は、処理装置113の幾つかの要素の一例を示す。処理装置113は、処理装置113をカメラ101にインターフェースするレシーバ401を含み、そのレシーバは詳しくはカメラ101からビデオ画像を受信する。
【0075】
レシーバ401は、検出器403に接続され、その検出器は、光学的特性に応じて、画像内の光学的に識別可能な要素103を検出するよう構成される。
【0076】
検出器403は、詳しくは、光学的に識別可能な要素103に対応する画像内の幾何学的領域を判定するよう構成される。検出器403は、詳しくは、所定の形状を有するマッチング画像領域を見つけることにより、幾何学的領域を判定してもよい。例えば、光学的に識別可能な要素103が細いストリップ(テープ)である例では、これは、画像内のラインに相当する。それ故、検出器403は、その光学的に識別可能な要素103の特徴に合致する特徴を有する画像内のラインを見つけるようにしてもよい。他の実施形態では、他の幾何学的形状が使用されてもよいことは理解されるだろう。例えば、光学的に識別可能な要素が四角形である場合、検出器403は画像領域を、四角形に合致させるように進め、その四角形は光学的に識別可能な要素103の光学的特性に合致する光学的特徴を有する。
【0077】
幾つかの実施形態では、所定の幾何学的形状は、光学的に識別可能な要素103の如何なる変形をも考慮にいれてもよく、それは、画像内で、例えば、光学的に識別可能な要素103に対するカメラ101の配置の結果として生じるか、又は、例えば、カメラ101と光学的に識別可能な要素103との間の距離が変化することにより生ずる。
【0078】
検出器403は、詳しくは、光学的に識別可能な要素103の光学的特性に合致する画像特徴を有する画像領域に対して、画像をサーチする。例えば、光学的に識別可能な要素103が明るい赤である場合、検出器403は画像内の適した形状の(明るい赤の)幾何学的領域、即ち、明るい赤に充分に近い色を示す画素値を有する領域のサーチを進めるだろう。それ故、検出器403は、画像の特徴、詳しくは画素値に基づいて、どれがその光学的特性に相当するかを合致させて、幾何学的領域を見つけるだろう。
【0079】
検出器403は、詳しくは、静的な対象物に対応する閉塞が既に存在する状況で、光学的に識別可能な要素103に対応する画像領域を判定してもよい。例えば、キャリブレーション操作が、人が存在しないが、カメラ101から光学的に識別可能な要素103の視野を妨害する椅子やテーブルがあるところで、実行されてもよい。
【0080】
特定の例として、図1の設定が考慮されてもよい。この例では、カメラ101は壁の底部に取り付けられ、反対の壁の反射テープ(光学的に識別可能な要素103)を向いて正のz方向に地表面に対して平行に向けられる。そのテープの特性(明るい色及び/又は反射率)は知られており、人の靴や靴下の色(典型的にはダークブラウン又はブルー)とはたいていの場合異なるので、反射テープの画素に対応するが、そのテープの光学的特性を有していない1ライン上の画素を見つけることで、人の足の存在は容易に検出される。
【0081】
この例では、カメラ101は、光軸(z軸)が壁に対して垂直で且つ床に対して平行(床と壁との角度が90°と仮定して)であるように設置される。理論的には、そのテープは、画像内では、カメラ101からみて、画像の中央より少し下で、水平な可視帯として表れるだろう。しかしながら、カメラの設置は、様々な実施態様で異なるので、その可視帯は、垂直にわずかに変位して見えることがあり、また、カメラ101の設置の意図しない傾きのために回転することもある。しかしながら、理想的な投影カメラは実世界の直線を2次元画像の直線に投影する(伝える)ことが知られている。この知識を利用して、検出器403は、その反射テープの光学的特徴に合致する特性を有する適当な幅を備えたバンド又はラインの画素を見つけることにより、バンド又はラインのその反射テープに属する画素を識別するよう進める。
【0082】
第1のステップとして、そのテープに属する画素が、以下の条件に基づいて、観察されるRGB色画像内で識別されてもよい:
【0083】
【数1】
ここで、Sは、一画素がとることのできるRGB色ベクトルの値の集合であり、その集合を「テープ画素」として分類する。飽和した赤のテープが用いられる特定の例では、適切な値は、例えば、S={(119…255)、(0…99)、(0…99)}である。従って、これらの範囲内のRGB値を有する画素は、反射テープに対応すると仮定される。もちろん、Sの選択は、特定の例で用いられるテープの色に依存する。更に、集合Sは、使用される特定のカメラの設定にも依存する。
【0084】
そのテープの可能な画素を識別した後、これらの画素に対してラインフィット(直線適合)が実行される。詳しくは、例えば周知の最小二乗適合方法を用いて、直線がこれらの画素を通じて適合される。その結果、直線は、次の方程式を用いて画像内で識別される:
【0085】
【数2】
ここで、uは画像の垂直軸でvは画像の水平軸である。この例では、反射テープ(すなわち、光学的に識別可能な要素103)に対応する直線は、単一画素幅を有すると考えられてもよいが、他の実施形態では、複数画素幅が考えられてもよい。
【0086】
故に、このようにして、検出器403は、画像の或る領域を識別し、その画像領域は、光学的に識別可能な要素103に対応し、その光学的特性に対応する画素値を有するものと仮定される。その光学的特性は、カメラ101からみて、光学的に識別可能な要素103の視野を遮る如何なる対象物もないとき、例えば、単純に光学的に識別可能な要素103の色度値である。しかしながら、カメラ101と光学的に識別可能な要素103との間に如何なる対象物が置かれた場合でも、これらの画素は、その値を、遮る対象物の画素の値に変更するだろう。
【0087】
検出器403は、閉塞プロセッサ405に接続され、その閉塞プロセッサは、画像内の少なくとも1つの光学的に識別可能な要素103の閉塞特性を、その光学的特性に応じて判定するように構成される。詳しくは、その閉塞プロセッサ405は、光学的に識別可能な要素103に対応するが、その光学的特性とは異なる光学的特徴を有する、識別された幾何的領域の閉塞部分を識別するように構成される。
【0088】
例えば、閉塞プロセッサ405は、光学的に識別可能な要素103に対応する画像領域内の各画素に対して、その画素値がその光学的特性に関する合致条件を満たすかどうかを判定する(例えば、その色が、光学的に識別可能な要素103の色の値から所定の量を超えて相違しない)。その後、画像領域を、光学的に識別可能な要素103に対応すると考えられる部分(即ち、合致条件を満たす画素を主に含む)と、そうでない部分(即ち、合致条件を満たさない画素を主に含む)とに分けることを続ける。
【0089】
従って、閉塞プロセッサは、画像領域の部分を識別するように構成されてもよく、その画像領域は、反射テープの色を有するべきであるがが、この色に合致していない。そうした部分(群)は、カメラ101と光学的に識別可能な要素103との間に位置する対象物によって塞がれたので、一般的には異なる色を有する。その閉塞プロセッサ405は、例えば、閉塞特性を生成して、検出される全閉塞部分のサイズ及び/又は位置の表示を含む。そのサイズや位置の値は、詳しくは、画素の大きさで与えられてもよく、画像の座標系で与えられてもよい。単一画素ラインの値は、例えば、中央の位置とサイズ、又は開始と終了座標の指標として与えられてもよい。
【0090】
特定の例として、図5は、図1のシナリオに対応する図3の画像内で、検出された閉塞部分を示す(テーブルと椅子は存在しないと仮定する)。図6は、同じ画像を図式的に示したものである。この例では、画像の水平方向はv軸で表され、画像の垂直方向はu軸で表される。示されるように、光学的に識別可能な要素103は識別されて、画像内の直線601に対応し、閉塞プロセッサ405は、この直線の画素を通じてサーチし、光学的に識別可能な要素103と異なる色を有する2つの閉塞部分109と111を識別する。
【0091】
詳しくは、閉塞プロセッサ405は、”テープ“ライン601の全画素を、最小のv座標から始めて最大のv座標で終えるまで連続的に評価してもよい。ライン上の各画素(u,v)に対して、次の場合、新たな閉塞部分が始まる:
【0092】
【数3】
その閉塞部分は次のときに終わると考えられる:
【0093】
【数4】
従って、この例では、各閉塞部分の始点と終点(vstart,vstop)が決定される。多くの実際の実施形態では、幾つかの黙示的又は明示的な空間フィルタリング効果が、画像ノイズを補償し、より良好に定義されるセグメント(部分)を提供するために適用されてもよいことは理解されるだろう。
【0094】
閉塞特性、詳しくは閉塞部分の表示は、閉塞プロセッサ405に接続される位置プロセッサ407に送られる。位置プロセッサ407は、閉塞特性に応じて、検出領域の対象物の深さ位置を判定するように構成される。その深さ位置は、少なくとも1つの位置コンポーネントを有し、その位置コンポーネントは、光学的に識別可能な要素103からカメラ101まで、軸に沿って対象物の位置を示す(従って光軸に沿って)。それゆえ、深さ位置は少なくとも1つのコンポーネントを含み、そのコンポーネントは画像平面内(即ち、x、y方向)にはないが、カメラの光軸(即ちz方向)に沿っている。従って、位置プロセッサ407は(単に)画像内の位置を評価するのではなく、(むしろ)画像に対して垂直な方向の位置をも評価する。この評価は、画像内の情報に基づいて生成され、詳しくは、光学的に識別可能な要素103の閉塞に基づいて生成される。
【0095】
本発明者達は、詳しくは、次の点を認識した。すなわち、光学的に識別可能な要素の閉塞が、画像平面内の対象物の位置だけを決定するためだけでなく、カメラ101の光軸に沿って位置の判定を可能にする情報を供給するのに使用されてもよいことである。以下で説明するように、各種のアルゴリズムがこうした位置測定の判定に使用されてもよい。詳しくは、閉塞部分の識別を使用することができ、位置プロセッサ407は、とりわけ、光学的に識別可能な要素103の閉塞部分の位置及び/又はサイズに基づいて、その方向の位置予測を判定してもよい。
【0096】
単純な例として、位置は、対象物の仮定サイズと共に閉塞の予測サイズに基づいてもよい。例えば、平均サイズが人物の足で仮定され、z軸に沿った位置が、対応する閉塞部分の測定サイズに基づいて判定されてもよい。故に、大きな閉塞部分は、カメラ101に近い位置から由来する可能性が高く、小さい閉塞部分は、カメラ101から更に遠くにある位置から由来する可能性が高い。
【0097】
そうしたアプローチは、異なるサイズを有する対象物(人の足のように)の予測推定位置において、ある程度不確実性をもたらすことがあるが、多くの応用例では受容されてもよいことは理解されるだろう。また、このアプローチは、対象物が同じサイズの傾向がある応用例には特に適することがある。
【0098】
例えば、図7は、3つのプラスチック製カップがカメラに対して異なる距離で床に置かれている例を示す。その3つのプラスチック製カップは、それらが反射テープを塞ぐ地点では、実質的に同じサイズを有する。しかしながら、図8で示されるように、対応する閉塞部分は、カメラ101への異なる近接性のため、実質的にはサイズが変化する。従って、閉塞部分のサイズは、カメラ101からカップまでの距離の指標として、即ちz軸に沿った位置の指標として直接的に使用されてもよい。
【0099】
しかしながら、多くの例では、位置予測は、対象物のサイズの如何なる仮定も使用せずに判定される。実際に、多くの実施形態では、位置が予測されて、それから対象物のサイズを予測するのに使用されてもよい。
【0100】
以下では、光軸に沿った位置予測の判定の一例が示される。この例では、画像対象物に基づいて推定が判定され、その画像対象物は、閉塞部分に対応する画像内で検出される。詳しくは、位置プロセッサ407が、画像分割(セグメンテーション)を実行し、閉塞部分に重なるか又はそれを含む、1つ以上の画像部分を選択してもよい。所定の閉塞部分に対応する画像対象物又は部分は、例えば、或る領域として判定され、その領域は、閉塞部分の画素に対して合致条件を満たす特徴を有する画素からなる。例えば、実質的に同じ色を有する画素の領域が使用されてもよい。
【0101】
位置プロセッサ407は、それから、その画像部分の特徴に基づいて、位置予測を判定するように進める。この画像の特徴は、例えば、画像部分のサイズ又は寸法でもよい。実際に、特定の例では、画像の特徴は、光学的に識別可能な要素から離れた画像の方向で、画像対象物の伸張を示してもよい。画像の方向は、例えば垂直な画像方向に、及び/又は、部屋の床に沿った方向に対応してもよい。
【0102】
画像の特性/特徴は、実質的に垂直な画像方向における画像対象物の伸張を示してもよい。それ故、下向きの方向における画像対象物の伸張が測定され、z軸に沿った対象物の位置を判定するのに用いられてもよい。図7に示されるように、カメラに最も近い紙カップは、より遠くにあるカップよりも、更に下向きの方向に伸びる。
【0103】
特定の例として、位置プロセッサ407は、まず、テープ(光学的に識別可能な要素103)に沿った方向において、即ちy方向において、画像位置座標を判定するように進めてもよい。この方向は、画像内のv座標に対応し、次の平均位置として単純に決定されてもよい:
【0104】
【数5】
これは、画像内の対象物の位置を与えるが、まだ床の上の位置ではない。床の上の対象物の位置を計算するため、位置プロセッサ407は、まずz座標を次にy座標を計算するように進める。
【0105】
図9は、説明のため、幾何学形状のダイアグラム図を示す。このアプローチは、“ピンホールカメラモデル”に対応するカメラの仮定及び、例えばD.A. Forsyth and J. Phonce. 2003. “Computer Vision: A Modern Approach” Pearson Education, Inc.ISBN 0-13-191193-7,に示される透視投影方程式に基づく。
【0106】
位置プロセッサ407は、対象物が床に接する点のz座標を判定しようとする。これを判定するため、この点の垂直画像座標(u座標)が始めに判定される。位置プロセッサ407は、これを、対象物がマップされる画像領域と、対象物を写してはいないが床は写している画像領域との間の画像内の部分境界(セグメントボーダー)を判定することにより、実行する。
【0107】
図10は、2つの対象物だけが画像内に存在する一例を示す(図6の例に対応する)。その2つの対象物は、閉塞部分に対応する2つの画像対象物又は部分1001、1003をもたらす(光学的に識別可能な要素103の下の部分だけが考慮される)。これらの画像対象物1001,1003は、光学的に識別可能な要素103に対応する直線601の下に伸びる。
【0108】
始めに、直線601の下の垂直画像‘バー(bar)’が評価されて、背景画像のどの部分が対象物の存在により変化したかを判定する。この例の特定のアプローチは、背景が特定の色を有することを仮定していないが、対象物と背景との間に幾らかの色コントラストが存在することを仮定している。対象物の検出は、光学的に識別可能な要素に基づいて、既に実行されているので、対象物と背景の間のコントラスト量は、位置予測だけに影響を有するが、対象物検出ステップには影響がない。また、光学的に識別可能な要素の存在は、位置予測を2次元から1次元のサーチ問題へ低減するので、位置予測をよりロバストにする。対象物の画像は一般的には複数の画像コラム(画像v方向に伸びる)を含むので、計算前の背景画像との差異が評価されるときに平均化処理が適用され得る。これは、対象物の画像と背景画像との間のおそらくは小さいコントラストを補償する。
【0109】
従って、上部バーの平均誤差マイナス下部バーの平均誤差の差異は、その変化(境界)の全ての可能な位置に対して判定される。その後、境界は、最大の差異が見出される位置に対応するように選択される。2つの平均誤差の間の最大差異に対応するu座標は、従って、対象物のu座標として選択される。それ故、そのu座標は、光学的に識別可能な要素103に対応する直線601と、閉塞109、111に対応する部分1001、1003の部分境界との間の画像距離を表す。
【0110】
対象物のu座標が与えられると、位置プロセッサ407は、図9に示される幾何学形状に基づいて、対象物のz座標を計算するように進み、それは以下の式になる:
【0111】
【数6】
ここで、kはカメラのパラメータだけに依存する固定値であり(D.A. Forsyth and J.Ponce.2003.”Computer Vision: A Modern Approach”. Pearson Education, Inc. ISBN 0-13-191193-7, Chapter 2 titled ‘Geometric Camera Models’ for backgroundを参照)、Hは、地表面上部のカメラの高さである。カメラからuobj及びzobjへの三角形がそれぞれ等しい(サイズはともかく、同じ幾何学的比率を有する)という要件に基本的に対応しているので、この式は図9の幾何形状から自動的に理解される。
【0112】
カメラ依存パラメーラkはカメラの仕様から得られてもよい。しかし、kの値は、厳密に必要とされなくてもよい。実際に、図9と上述の式から分かるように:
【0113】
【数7】
−kHは一定であるので、従ってuobjzobjは一定となる。
【0114】
これは、カメラと光学的に識別可能な要素が設置されると、システムをキャリブレーションすることを可能にする。対象物は、カメラ101から既知の距離zref(例えば1m)にある検出ゾーンに位置してもよく、その対応u座標urefが測定されてもよい。異なるu座標を有する異なる対象物には、対応するz座標は以下で決定されてもよい:
【0115】
【数8】
ここで、‘ref’指標は、キャリブレーション対象物に対して得られる値について言及する。
【0116】
以下では、光学的に識別可能な要素103からz軸に沿った位置を判定する異なる例が示される。特定の例は、図11に示されるように、処理装置113にも接続される第2カメラを使用する。第2カメラ1101は、第1カメラ101と同じ相対高さで配置されてもよいが、y方向に配置されてもよい。多くの実施形態では、カメラ101、1101の間には、例えば50cm以下又は20cm以下の相対的に短い距離が使用されてよい。
【0117】
この例では、検出器403が、第1カメラ101からと、第2カメラ1101からの同じ画像上で処理を実行するように構成される。従って、詳しくは、検出器403は、光学的に識別可能な要素103に対応する画像内の領域(詳しくは直線)を識別してもよい。同様に、閉塞プロセッサ405は、同じ処理を実行するように進め、閉塞特性を判定するが、その閉塞特性は、詳しくは、中間的な対象物によって塞がれる、光学的に識別可能な要素103に対応する画像領域の部分を識別する。その識別された閉塞部分は位置プロセッサ407に供給される。
【0118】
カメラ101,1101の異なる配置のため、検出領域にある対象物の、光学的に識別可能な要素103上の相対的位置ずれは、その対象物がカメラ101,1101にどの程度近いかに依存するだろう。これは、図11に示され、2つの対象点1103、1105が示される(その対象点は例えば図1の対象物105、107上の点であると考えられ、又は、例えばとても狭い対象物であると考えられる)。カメラ101、1101の位置ずれのため、対象物1103、1105は画像内で移動されて、画像内の異なる配置で現れるだろう。また、カメラ101、1101の位置ずれのため、対象物1103,1105は、光学的に識別可能な要素103に対して異なる位置で現れるだろう。さらに、画像内及び光学的に識別可能な要素103に対する対象物1103,1105の実際の位置ずれは、z軸に沿った対象物の距離に依存する。実際に、その位置ずれは、カメラ101,1101から対象物への距離が減少するにつれ、増加する。
【0119】
それ故、この実施形態では、位置プロセッサ407は、同じ対象物に対応する2つの画像における閉塞部分を識別するよう構成される。これは、例えば、互いに最も近い閉塞部分を合致させることによりなされてもよいが、より複雑なアルゴリズム、例えば、サイズ及び/又は設定の幾何を考慮したアルゴリズムが使用されてもよいことは理解されるだろう。セグメント合致のため、2つの画像内での或る点の位置ずれ(変位)が判定されてもよい(そのような画像内で、又は、光学的に識別可能な要素103に対して)。例えば、計算された平均位置の位置ずれが決定されてもよい。それから、この位置ずれは、z軸方向の位置を計算するために使用されてもよい。従って、位置の予測は、2つの画像内の閉塞部分間の相対的な画像位置における差異に基づいて、計算される。
【0120】
例えば、図12を参照すると、z方向の位置は、以下の式を用いて、その位置ずれから計算されてもよい。第2のカメラが、第1のカメラに対して、負のy方向に、y軸に沿って距離Bに配置されていると仮定する。ピンホールカメラモデルを用いて、第1のカメラに対して:
【0121】
【数9】
第2のカメラは変位しているので:
【0122】
【数10】
yobjとzobjとは、元の第1カメラ座標系で特定されることに留意する。ステレオの場合の深さ予測は、前記の2つの式から以下のように得られる。
【0123】
【数11】
上記の式は、間隔距離Bがy軸だけに沿っているものと仮定する。その基準Bは、一般的には設置の前に知られている。しかし、Bは、対象物を公知のz座標に配置して、v座標における変位を測定することにより、較正することもできる。
【0124】
幾つかの実施形態では、位置プロセッサ407は更に、床上の対象物の2次元的な位置を判定するように構成されてもよい。例えば、z座標の判定に続いて、位置プロセッサ407は、y座標を判定するよう処理を進めてもよい。これは、図13に示される幾何的配置に基づいて行われてもよい。
【0125】
y座標は、次の式に基づいて計算されてもよい:
【0126】
【数12】
即ち、yとz座標との比が(即ち、カメラ101から、y軸とz軸のそれぞれに沿った、対象物までの距離)、v座標とカメラファクターkとの比と同じであるという仮定に基づいている。
【0127】
単一のカメラの場合は、y座標の式は、更に単純化される。パラメータkは、もう必要でなく、対象物のu座標からy座標が得られる:
【0128】
【数13】
カメラの高さHは、例えば測定され、ユーザによって位置プロセッサ407に手動で入力されてもよい。
【0129】
幾つかの実施形態では、処理装置113は、図14に示されるように、更にサイズプロセッサ1401を含んでもよく、そのサイズプロセッサは、深さ位置と、光学的に識別可能な要素の少なくとも1つの閉塞画像部分の画像サイズに応じて、対象物のサイズ予測を判定するよう構成される。詳しくは、z座標は、対応する対象物のサイズ予測を判定するように用いられる。
【0130】
一例として、サイズプロセッサ1401には、z座標と、対応する閉塞部分の画像サイズが供給されてもよい。例えば、光学的に識別可能な要素103上の閉塞部分の開始及び停止座標が、サイズプロセッサ1401に供給されてもよい。
【0131】
特定の例として、対象物のサイズは、単一のカメラの場合に次のように計算されてもよい:
【0132】
【数14】
ステレオカメラの場合は、対象物のサイズは、第1のカメラの画像対象物の開始及び停止のv座標から予測される:
【0133】
【数15】
本システムは、室内の生き物(例えばペットや人物)の存在について、とりわけ有利に検出することができる。実際には、本システムは動的な、移動する対象物であって、事前に僅かしか情報が知られていないものを検出するのに特に有利である。図14の例では、処理装置113は、検出領域内での生き物の存在を検出するように構成される検出プロセッサ1403を更に含む。閉塞が大まかに検出されると、その閉塞は閉塞分析ユニット1422によってより詳細に分析されてもよく、その分析ユニットは、例えば、その閉塞された領域又は閉塞している対象物のカラーモデル、テキスチャーモデルパラメータ、幾何パラメータ等を抽出してもよい。これは、以下の点を決定するのに役に立つ。即ち、どこで閉塞が生じているか、塞いでいる対象物は如何なる所有物か(その家の父親の黒靴、奥さんの赤いパンプス、又は、彼らが面倒を見ているか一緒にゲームをしている近所の娘のピンクの靴)、それらの対象物は照明でどのように変化するか(現在の照明で抽出されたスペクトルを乗算することにより)等である。
【0134】
その例では、検出プロセッサ1403は、画像内の光学的に識別可能な要素103の閉塞の動的な変形に応じて、その生き物の存在を検出するように構成される。それ故、その検出は、閉塞の存在に基づくだけでなく、その閉塞の動的特性(時間的に変化する)にも依存する。
【0135】
幾つかの実施形態では、動的変形には、光学的に識別可能な要素103の閉塞部分の位置の変化を含んでもよい。例えば、検出プロセッサ1403は、新しい閉塞部分が検出され、更にその位置(又はそのサイズ)が変化するように動く場合、生き物がその部屋に入ったことを検出するよう処理してもよい。これは、例えば、検出領域にある椅子が部屋に入る人物として検出されることを回避するだろう。他の例としては、検出プロセッサ1403は、閉塞部分が一時的なものである場合だけ、即ち、所定の時間より短い間だけ存在する(動かずに)場合に、人物の存在を検出してもよい。
【0136】
それ故、検出プロセッサ1403は、或る条件を満たす時間的特徴を有する閉塞が検出された場合に、生き物が存在すると検出してもよい。
【0137】
図14のシステムでは、検出プロセッサ1403は、1つ以上の閉塞の動的な変化に応じて、生き物の特徴や行動を決定するように更に構成されてもよい。例えば、動的な変化に応じて、移動の特徴が決定されてもよい。この情報を用いて幾つかの応用例を構成してもよく、例えば、ダンシングゲームではプレーヤが、提示されたダンスを正確に再現しているかをテストすることができる。又は、バーチャルのサッカーゲームでは、閉塞の時間的パタンが(例えば移動速度と方向)が、バーチャルなボールのシュート軌道を物理的にモデル化するのに使用されることができる。
【0138】
例えば、光学的に識別可能な要素に沿った閉塞の動きは、室内の人物の足の移動速度として判定されてもよく、関連付けられた歩行速度が予測されてもよい。
【0139】
幾つかの実施形態では、検出プロセッサ1403は、時間的に分離した閉塞をグループ化し、閉塞の特徴に応じて、その特徴を判定してもよい。例えば、2つの時間的に分離した閉塞部分が、一緒にグループ化され、その特徴が、閉塞の少なくとも1つの位置及びタイミングに応じて、判定されてもよい。
【0140】
特定の例では、第1の一時的閉塞部分が検出され、足に対応するものと仮定されてもよい。その一時的閉塞部分が消失すると、検出プロセッサ1403は、所定の時間の間隔の範囲内及び所定の位置の間隔の範囲内で発生する比較可能なサイズの、新しい閉塞部分を探索する。そうした第2の閉塞部分が検出されるなら、検出プロセッサ1403は、歩行する人が自分の足をステップの一部分として移動させたために、そのイベントが発生したものと仮定する。そして、それらの閉塞の間の距離は、その歩行する人の足取りを判定するように用いられてもよく、閉塞のタイミングは、その人の歩行速度を更に計算するように用いられてもよい。
【0141】
この例は、2つ以上の時間的に分割された閉塞部分の判定に拡張されてもよいことは理解されるだろう。実際に、そのアプローチは、複数のカメラで使用され、そうして異なる閉塞が異なるカメラによって検出される。例えば、一組のカメラが、廊下の壁に沿って配置されてもよく、その反対の壁に反射ストリップが置かれる。
【0142】
前述の例では、検出領域には他に何の対象物も現れないものと仮定した。しかし、本願で説明したアプローチの特に有利な点は、どの対象物が実際に存在しているかが不明な環境でとても役に立つことである。詳しくは、本システムは、他の対象物の存在を自動的に又は半自動的に補償するように容易に構成可能である。
【0143】
幾つかの実施形態では、処理装置113は、室内の、光学的に識別可能な要素の名目上閉塞部分のセットを判定するように構成されてもよい。そうした名目上閉塞部分は、室内の(半)静的な対象物に対応するものと考えられ、(複数の)関心対象物には対応しない。従って、位置プロセッサ407は、名目上閉塞部分の閉塞特性を補償するように構成される。補償の単純な例として、如何なる名目上閉塞部分も、その後の処理では単に無視されてもよい(そして、例えば、その部分は光学的に識別可能な要素103と同じ色を有しているものと考えられてもよい)。
【0144】
幾つかの実施形態では、名目上閉塞部分のセットが、キャリブレーション画像内の光学的に識別可能な要素の閉塞部分として判定されてもよい。キャリブレーション画像は、検出領域で検出され特徴付けられる対象物が何も存在しないところで、同時に取得されてもよい。例えば、本システムが設定されたとき、ユーザは処理装置113に対して、検出領域は現在静的対象物を除き視界を遮るものがないことを指し示す。そして、処理装置113は、その画像を評価判断し、光学的に識別可能な要素103の如何なる閉塞部分をも検出してもよい。そして、これらの閉塞部分は、名目上閉塞部分として指定され、次の検出/処理においては無視される。
【0145】
幾つかの実施形態では、名目上閉塞部分の、より動的で自動的な指定が実行される。詳しくは、光学的に識別可能な要素の閉塞部分は、閉塞の期間が閾値を超えた場合に、名目上閉塞部分として指定されてもよい。例えば、その閾値は、20秒のように固定されたものでもよい。これは、(半)静止対象物が、閉塞処理の中で、自動的に検出されて無視されることを確実にし、それにより、その処理を新たに閉塞される部分に限定する。それ故、自動的で連続的なキャリブレーション較正が実現できる。
【0146】
これは、例えば、室内の人を検出する応用例で特に有利であり、そこでは、例えば家具(テーブルや椅子)の存在は関心がない。一般的には、人は部屋を動き回り、例えば椅子よりも動的であるだろう。人の存在を検出するため、閉塞部分に属する各画素(u、v)の検出条件は、例えば、修正されて、その画素の閉塞が所定の時間間隔よりも短いものでなければならないことを要求してもよい:
【0147】
【数16】
第2の条件は、Tmaxよりも長い間、或る画素が、光学的に識別可能な要素103を表すものと表すものと考えられる要件の範囲外である場合には、その画素は静止対象物の一部として解釈され、検出からは除外され、即ち、その画素は名目上閉塞部分に属すると考えられる。その画素が再度Sに属するとすぐ(即ち、もう閉塞がない)、タイマーτはゼロにリセットされる。これは、椅子が動いた場合に、始めは人物として検出されるが、Tmaxよりも長く停止していると、その処理では再度無視されることを意味する。実際は、本システムの初期化のときに既に検出領域に家具があるかもしれず、上述のアプローチは、Tmax秒後(一般的には、幾らかの追加の初期化時間を加えて)に、本システムが初期化されることを確保する。
【0148】
幾つかの実施形態では、本システムは、また、異なる照明条件を反映するように動的に更新されてもよい。例えば、rback,gback,bbackの色からなる背景画像はカメラの設置のときに初期化されてもよい。一日の時間の間、照明条件は変化するだろうし、それに伴ってその背景画像は更新されてもよい。公知の光学的特性を備えた要素を使用しないシステムにとって、これは、「失われた対象物」が「間違った背景」になるので問題になることがある。しかし、公知で区別可能な光学的特性を備えた光学的に識別可能な要素103は、その背景を確実に更新することを可能にする。
【0149】
本明細書で説明したシステムは、多くの変形適応例に使用してもよいことは理解されるだろう。
【0150】
例えば、室内又は廊下での人の存在検知や、人物の大まかな位置予測として手軽に使用されてもよい。本明細書で説明した、床の上の対象物の2次元位置を判定する方法は、人の足に適用してもよい。幾つかの実施形態では、閉塞画素数(光学的に識別可能な要素に対応する線に沿った距離)が判定され、カメラまでの距離で正規化される。(正規化された)閉塞画素数が所定の閾値を超えている場合に(一方、名目上閉塞部分に属する全閉塞画素を無視する)、人の存在が検出されてもよい。
【0151】
他の例示的な応用例は、人の歩行速度の判定である。例えば、閉塞の存在の時間が歩行速度を判定するのに使用されてもよい。例えば、図15で示すように、複数のカメラが廊下に沿って備え付けられ、足のマッピング方法が、各カメラに対し人の足の位置を予測するのに使用されてもよい。そして、これは、人の歩行速度予測に変換されてもよい。一般的な歩行パタン(どのように閉塞形状が変化するか、例えば、2,3の線状断面の閉塞)は、また、例えば、室内でプレイされるゲームで人物を識別するのに使用されてもよい。
【0152】
他の例は、人の大きさの予測である。詳しくは、人の足のサイズが、予測z座標と対応する閉塞部分の大きさとから予測されてもよい。
【0153】
そうした特徴は、例えば、より進んだ検出を提供するために使用されてもよい。例えば、判定された特徴が、異なる人物間で区別するのに使用されてもよい。これは、例えば、子供と大人の間で、又は既知の人物と侵入者と考えられる人との間での区別をするのに使用されてもよい。
【0154】
本システムは、例えば、子供が子供の禁止区域の範囲内にいるか近づいているかを自動的に検出できる、子供保護又は検出システムの一部として使用されてもよい。例えば、子供が危険区域に近づくと、アラームを発することができる。そうした検出は、閉塞部分が、危険区域に関連付けられる光学的に識別可能な要素103の区域に近づくことを検出することに基づいてなされる。
【0155】
他の例として、本システムは、閾値を越えるサイズを有する閉塞部分を表す閉塞特性に応じて、生き物の落下を検出するよう構成されてもよい。例えば、床に寝ている人物は、一般に、大きな対象物を表し、大きな閉塞部位をもたらす。それ故、例えば高齢者用の落下検出システムは、所定の閾値よりも大きい対象物が検出された場合に、落下アラームを発生することで実現されてもよい。もちろん、そうした子供や高齢者の観察システムでは、本システムは全体の部分を形成し、従って、例えば追加のカメラやセンサを有し、迅速に判定される関心領域において何が正確に起こっているかを判断してもよいし(例えば、写真を、例えばベビーフォンのペアレントユニットディスプレイのような観察ユニットへ送信したり、又は、例えばアパートメント建物や高齢者住宅のモニタを備えた専用のモニタリングステーションへ送信する)、叫び声のような音声が分析等されてもよい。
【0156】
更に他の例として、本システムは、ゲームの応用例に用いられてもよく、ユーザの足の位置が連続的且つ動的に検出され、ゲームをコントロールするように使用されてもよい。例えば、ダンスゲームは、人物が自由に部屋を動きまわるところで実施化されることができ、ユーザの足をマッピングすることを可能にする。他の例として、室内の床に接触するボールや他のゲームの要素が検出され、ゲームに組み込まれることができる。
【0157】
サッカーゲームでは、本システムは、ゴール、ボール及び人の脚が表示されるスクリーンにリンクされてもよい。そのスクリーンは、TVセット、ゲームのプレーヤによって使い古されたメガネ、及び/又は、ゲームの一部としてパッケージされたディスプレイの部分であってもよい。視覚的なフィードバックは、立体(3D)表示方法を用いてもよい。スクリーン上のボールは、彼又は彼女がバーチャルなボールをヒットするとき、人の脚に反応してもよい。そのボールが受け取る方向は、彼又は彼女がバーチャルにボールをヒットする前に、その人の脚の動きに依存してもよい。音や光によるフィードバックがプレーヤへのフィードバックとして供給されてもよい。これを実行する電子部品は、光学的に識別可能な要素及び/又はカメラユニットの内部に形成されてもよい。本システムは、室内に子供の遊び場を作り出すのに使用されてもよく、例えば、床の上に垂らされる柔らかい生地を使用して、サークル、楕円、又は他の形状を形成することができる。この柔軟な設置は、外で行われてもよく、庭の芝の上に置かれてもよい。子供及び/又はおもちゃの位置は、スマートフォン上のディスプレイに送信することもできる。
【0158】
更に他の例として、本システムは、スポーツトレーニング装置の一部として使用されてもよい。例えば、テニスグランドが、光学的に識別可能な要素に取り囲まれてもよく、テニスプレーヤの足の位置と方向とは、後のレビューのために記録される。これらの位置データは、他のカメラデータと組み合わされてもよく、本システムを役立つトレーニング道具にする。
【0159】
更に他の例として、本システムは、廊下のような所定の領域の範囲内で、人物の動きを判断するように使用されてもよい。これは、例えば、美術館(ソフトなアプローチモードで構成され、誤ったアラームを減らし、どのようにして人物が美術品に近づくか、例えば、その人物がゆっくりとやって来て少々接近しすぎそこに留まるかどうか等を分析することもできる。)や工場内でパタンの動きを判定するのに有益である。
【0160】
幾つかの実施形態では、検出領域内の他の対象物の存在は、重要であることがある。そうした実施形態では、他の光学的に識別可能な要素を室内の1つ以上の対象物の上に置くことが有利であり、他の光学的に識別可能な要素は、他の光学的特性を有する。例えば、壁に配置された元の光学的に識別可能な要素は、明るい赤であってもよく、対象物(例えばテーブルや椅子)に配置された要素は明るい黄色であってもよい。
【0161】
そうした実施形態では、検出器403は、画像内の他の光学的に識別可能な要素を、その光学的特性に応じて、検出する。閉塞プロセッサ405は、光学的に識別可能な要素と他の光学的に識別可能な要素との両方に対する1つの閉塞特性として、その光学的特性及び他の光学的に識別可能な要素に応じて、閉塞特性を決定してもよい。例えば、赤と黄色の部分の閉塞は、同じ対象物に対応する閉塞部分に併合されてもよい。そして、座標の判定が、然るべく処理されてもよい。
【0162】
図16は、どのように部屋の中で、又は、例えばビーチや街角で、例えばゲームボードのようなバーチャル世界を作るか(例えば、別個に販売しアップグレードできる)を示している。光学的に識別可能な要素は、フレキシブルチューブ1601として分離して販売してもよく、又は、スカーフであってもよい。領域の境界を定めるためにそのチューブを使用してもよく、その領域は、識別要素1610に対応して覆われており、例えば、その領域の識別情報(例えば、テキスト“Jail”又は、歩行者の交差点のようなゲームストリートの境界、又は、ペイントされた木のような画像要素)を含むカーペット要素や開くことのできるフォイルである。カメラ収容ユニット1622を購入してもよく、それは例えばソフトなポットでもよい(ボールがそこに投げられるように)。これは、幾つかのカメラ又は対のカメラセットを予め有してもよい(例えば、90度の直交象限ごとに1つ)。ここに示されるのは、外部接続1624に固定して接続される第1カメラ1625と第2カメラ1626であるが、一般的には、それらはポット内部に埋め込まれて保護されてもよい。そのポットは少なくとも1つのスロット1630を示し、そこには少なくとも1つのカメラ収容デバイス1620(例えば携帯電話)が置かれてもよい。これは、一般的には、ソフトな圧縮可能な緩衝材を備えたスロットであり、幾つかの電話の形状が収納できる。保護用のソフトなふた1632は、電話を保護する。スリット1631は、カメラが外を見るのを可能にする(一般的には逆さまに挿入される)。携帯電話は、他の付属の電話と(例えばその取得された画像データを)通信してよく、その電話は、近接のスロット内に装置を有する他の携帯電話、又は、他の光学的に識別可能な要素1604スロット1605内に挿入されるカメラデバイス、又は、何れかの場所に位置する他のカメラデバイスでもよい。一般的には、そうした携帯デバイスは、ゲームのシナリオをエンコードするアプリケーションを実行することもでき、そして、データをそのディスプレイにフィードバックしてもよい(他の保護用ふた1633を剥がすことにより、見ることもできる)。そうした携帯デバイス用のジャケット1660を販売してもよく、床に置いたり固定する脚や吸着カップのような位置づけ要素1661、1662、第2携帯デバイスを取り付ける金具のような接続デバイス1663を有し、第1の携帯デバイスはそのジャケット内に入れられている(それも緩衝素材で作られ、第2の携帯デバイスも緩衝材のジャケットに入れられる)。このようにして、ユーザの2つの(1つでも)携帯電話から、画像取得する必要なカメラ機器を手軽に配置することができる。1604と1602は、領域(例えば、バーチャルゲームボードやバーチャルルーム等のフィールド)の境界を区切るために使用される接続手段1603を備えた2つの要素である。それらのうち1つ以上は、1つ以上のカメラを含んでもよい。そして、その領域が閉じられているなら、その内部のイベントは、メインカメラ収容ユニット1622によっては見えないだろうが、自身のカメラ(群)1606によってモニタすることが可能である。カメラ又は光学的に識別可能な要素のどちらかが、パーソナルコンピュータのような他の機器と通信するよう通信手段を有してもよいことに留意すべきである。光学的識別ブロック1640と1642は、コンポーネントの2つの別の例を示し、それらは、システムを組み立てるのに使用され、ハード(硬質)素材から組み立てられ、この例では垂直方向に積み重ね可能である。ハードブロックの1つは、ディスプレイ1646を含み、ゲーム情報をフィードバックするのに使用でき、(潜在的には時間内に修正可能な)光学的に識別可能なマーカーを供給するのにも使用できる。例えば、アヒルのアイコンがブロック上に現れるとき、それはウォータープールとして機能してもよいが、頭蓋骨を示すときはプールの水は毒入りである。プレーヤは、“プールに飛び込む”とき、このことに気づかないかもしれないが、システムは気づくので、そのプレーヤは、毒に飛び込みポイントを失うだろう。また、例示的な多色パターン1644が示される。タイルは黄色である一方で、これらの、例えば赤、緑、及び青の局所的な色は、ゲームの状況の識別、例えばその閉塞に役立つ。そうしたコンポーネントを使用することにより、多数の応用例がオンザフライで構築されることが可能であり、単にゲームに役立つだけでなく、地域モニタリングや産業用製造等の、より重要な応用例にも役立つことは理解されるべきである。
【0163】
上述の説明は、明確性のため、各種の機能ユニットやプロセッサを参照して、本発明の実施形態群を述べたものであることは理解されるだろう。しかしながら、各種の機能ユニットやプロセッサの間で如何なる適切な機能の配置分配も、本発明の価値を損ねることなく使用されてもよいことは明らかであろう。例えば、分離したプロセッサやコントローラによって実現されるべき例示の機能は、同じプロセッサ又はコントローラによって実行されてもよい。それ故、特定の機能ユニットへの参照は、厳密な論理的又は物理的な構造又は組織を示すよりも、説明した機能性を供給する適切な手段への参照として単に捉えられるべきである。
【0164】
本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの如何なる組合せを含む如何なる適切な形態でも実現することができる。本発明は、任意的には、1つ以上のデータプロセッサ及び/又はデジタル信号プロセッサ上でランするコンピュータソフトウェアとして、少なくとも部分的に実現されてもよい。本発明の実施形態の要素及びコンポーネントは、如何なる適切な方法でも、物理的に、機能的に及び論理的に実施されてもよい。実際には、機能性は単一のユニットで、複数のユニットで、又は他の機能のユニットの一部として実施されてもよい。こうして、本発明は、単一のユニットで実施されてもよく、又は、異なるユニット及びプロセッサの間に物理的に且つ機能的に分配されてもよい。
【0165】
本発明は幾つかの実施形態群と関連して説明したが、本明細書で説明された特定の形態に限定されることを意図していない。逆に、本発明の適用範囲は、添付のクレームのみによって限定される。追加的に、或る特徴が特定の実施形態群と関連して説明されていると思われることがあるが、当業者であれば、その説明した実施形態群の様々な特徴は、本発明に従って組み合わせてもよいと認識するだろう。クレームでは、「含む」の語は、他の要素群又はステップ群の存在を排除しない。
【0166】
さらに、個別に記載されていても、複数の手段群、要素群、又は方法のステップ群は、例えば単一のユニット又はプロセッサによって実施されてもよい。追加的に、個々の特徴群は、様々なクレームに含まれていても、おそらくはこれらは有利に組み合わされてもよく、各種のクレームに含まれることは、特徴の組合せが実現可能でないこと及び/又は有利でないことを意味するものではない。また、クレームの或るカテゴリーに或る特徴を含むことは、このカテゴリーへの限定を意図せず、むしろ、その特徴は必要に応じて他のクレームカテゴリーに等しく適用可能であることを示す。さらに、クレーム中の特徴の順序は、その特徴が作動されなければならない如何なる特定の順序をも意図せず、そして、特に方法クレーム中の個々のステップの順序は、そのステップ群がこの順序で実行されなければならないことを意図しない。逆に、そのステップ群は如何なる適切な順序で実行されてもよい。加えて、単数の言及は、複数を排除しない。従って、“a”,“an”,“first”,“second”
等の言及は、複数を除外しない。クレーム中の参照符号は単に例を明確にするのに用いられ、如何なる形式であれクレームの適用範囲を限定するものとして解釈されるべきではない。
【図面の簡単な説明】
【0167】
本発明の実施形態は、単に例示として、図面を参照して説明される。
【図1】図1は、本発明の幾つかの実施形態に従った、深さ位置の判定システムを示す図である。
【図2】図2は、図1の設定に関する配置形状の一例を示す。
【図3】図3は、図1のシステムのカメラによって取得された画像の例を示す。
【図4】図4は、本発明の幾つかの実施形態に従った、深さ位置判定の処理装置の幾つかの要素の一例を示す。
【図5】図5は、図3の画像の閉塞部分の検出の一例を示す。
【図6】図6は、図3の画像の閉塞部分の検出の一例を示す。
【図7】図7は、図1のシステムのカメラによって取得された画像の一例を示す。
【図8】図8は、図7の画像の閉塞部分の検出の一例を示す。
【図9】図9は、図1の設定に関する配置形状の一例を示す。
【図10】図10は、図1のシステムのカメラによって取得された画像の概略図の一例を示す。
【図11】図11は、本発明の幾つかの実施例に従った、深さ位置の判定システムの一例を示す。
【図12】図12は、図1の設定に関する配置形状の一例であるが、2つのカメラを用いる。
【図13】図13は、図1の設定に関する配置形状の一例を示す。
【図14】図14は、本発明の幾つかの実施形態に従った、深さ位置判定の処理装置の幾つかの要素の一例を示す。
【図15】図15は、本発明の幾つかの実施形態に従った、深さ位置判定システムの一例を示す。
【図16】図16は、本発明の原理を可能にする幾つかのサブコンポーネントで構築できる例示的なゲームシステムの概略図を示す。
【技術分野】
【0001】
本発明は、対象物の位置特性の判定に関し、詳しくは、室内の生物の深さ位置の判定に関するが、それだけに関するものではない。
【背景技術】
【0002】
対象物の位置の判定、詳しくは、人やペットといった生物の位置判定は、多くの応用例で関心が増している。位置予測は、例えば、事故の防止及び/又は検知に使用されてもよい。例えば、高齢者が落下したことや、小さな子供が落下の危険性を伴ってテーブルに上ることを検出するのに使用されてもよい。しかしながら、(とりわけ)室内の生物の位置予測は、特に困難である。なぜなら、そのアルゴリズムは、その周囲環境の多くのパラメータや特徴が時間と共に変化し及び/又は不明であるということを考慮しなければならないからである。例えば、検出されるべき対象物の所定の特徴は、不明であるかもしれず、そして、部屋の中に存在する異なる対象物が時間と共に変化するだけでなく、そのアルゴリズムにとって不明であるかもしれない。
【0003】
例えば事故防止の目的で、部屋をモニタするため、室内で何が発生しているかの完全な写真を取得し分析することは理想的であろう。そうした完全な写真は、所望の領域の動的な画像を取得する1つ以上のビデオカメラから得られてもよい。しかしながら、そうしたカメラから得られる画像の解釈は、大変複雑であり、とりわけ、関心対象物(例えば人物)に対応する画像部分を確実に識別することは大変困難である。これは、室内の位置といった対象物の特徴がそのアルゴリズムにとって不明であるので、特に困難なことがある。さらに、関心対象物だけでなく室内の他の対象物にも対応する画像の対象物は、大変複雑になりがちであり、これらの対象物の正確な分析と予測は、大変複雑な処理を要し、不確実な結果を生ずる傾向がある。
【0004】
ビデオシステムの一例が米国特許公報2009/0121017に提案されている。そのシステムでは、在庫の商品が認識可能な光学パタンと共に壁の前に配置される。カメラが画像を取得し、その認識可能な光学パタンを有する領域を評価することにより、壁の露出表面の量を検知する。そして、露出表面の量は、現在ある又は無くなっている在庫のアイテムの量を判定するのに使用される。しかしながら、米国特許公報2009/0121017のシステムは、在庫の対象物が存在するかどうかの検知を単に提供するものであり、それ故最小限の情報しか提供しない。
【0005】
従って、室内の対象物の深さ位置を判定する改良されたシステムが有利であり、詳しくは、以下の性能を可能にするシステムが有利である。即ち、柔軟性の向上、又は信頼性の向上、又は、容易な実施及び/又は操作、又は、動的変化への適応性の向上、及び/又は性能の向上である。
【発明の概要】
【発明が解決しようとする課題】
【0006】
従って、本発明は、上述の不利な点の1つ以上を、単独で又は組合せで、好適に緩和し、軽減し、又は除去するものである。
【課題を解決するための手段】
【0007】
本発明の一側面によれば、例えば、室内で(又は、外の砂場の上、又は、歩行者交差点近くの家や学校等に適用される)、対象物(生物、ロボット、又は他の機械的おもちゃ、ボール等)の位置の特徴を判定するシステムが提案され、そのシステムは以下を含む:光学的に識別可能な要素であって、それは一般的には地面に位置するか又は少なくとも地面のレベルの近くに位置し、例えば、部屋の壁や室内のソファやカップボードのような、部屋の検出領域のため、背景表面上に貼り付けられ、その光学的に識別可能な要素は、或る光学的な特性を有する(例えば、対象物の部分的な領域を少なくとも覆う、特定の色やテキスチャーであり、その色及び/又はテキスチャーは、その光学的に識別可能な要素の空間領域を区別するのに複雑な関係を有してもよい)、光学的に識別可能な要素と;光学的に識別可能な要素の向かい側に検出領域を隔てて位置するカメラであって、検出領域と光学的に識別可能な要素とを含む画像を取得するように構成される、カメラと;光学的特性に応じて、画像内の光学的に識別可能な要素を検出する検出器と;光学的特性に応じて、画像内の光学的に識別可能な要素の少なくとも1つの閉塞特性を判定する閉塞プロセッサと;その閉塞特性に応じて、深さ位置を判定する位置プロセッサであって、その深さ位置はカメラの光軸に沿った対象物の位置を表す、位置プロセッサと、を有する。
【0008】
本発明は、室内の対象物の深さ位置について、改善した及び/又は容易な判定を提供してもよい。詳しくは、光軸に沿ったカメラまでの距離に関する深さ位置が考慮される場合、対象物の検出及び/又は特徴付けは、改善されてもよい。本発明は、複雑性を低くしながら、対象物の改善した特徴づけ/検出を可能にする。深さ位置の確実な判定は、簡潔な設定及び/又は所要の信号から実現され、画像処理は、実質的に容易になることがある。詳しくは、比較的低い複雑性の閉塞判定、特徴づけ及び処理を使用することができる。
【0009】
本発明は、例えば、室内の人物について改善した検出及び/又は特徴づけを可能にし、そして、例えば、改善した事故検出、侵入者検出等を可能にする。
【0010】
光学的特性は、例えば、特定の色及び/又はパタンであってもよい。その光学的特性は、詳しくは所定のスペクトル分布を有してもよく、人には見えなくてもよく、即ち、適切なカメラによって検出可能な紫外線や赤外線スペクトルを有してもよい。
【0011】
閉塞特性は、1つ以上の画像領域の表示を含んでもよく、その画像領域は、光学的に識別可能な要素に対応するが、その光学的特性に一致する光学的特徴を有しない。閉塞特性は、画像内で塞がれる光学的に識別可能な要素の1つ以上の部分の表示を含んでもよい。閉塞特性は、例えば、そうした閉塞部分の位置及び/又はサイズを含んでもよい。その位置及び/又はサイズは、詳しくは、画像の位置及び/又はサイズでもよく、又はそれらから導かれてもよい。
【0012】
深さ位置は、詳しくは、光軸に沿った位置を表してもよい。詳しくは、深さ位置は、画像の画像平面に対して垂直方向の、対象物の位置を表してもよい。
【0013】
本発明の任意的な特徴に従って、光学的に識別可能な要素は、壁に貼り付けられた細長い要素であって、壁の高さの半分以下に空間的に限定される(例えば、多数の10cmの高さの糊付けできる細いストリップであって、壁の部分的領域に貼り付けられる)。
【0014】
これは、多くの実施形態において、特に有利な及び/又は容易な実施、及び/又は操作を提供する。例えば、正確な対象物検出を供給しながら視覚的な影響を低減してもよく、たいていの対象物(人を含む)が部屋の床から伸びるという事実を活用してもよい。
【0015】
光学的に識別可能な要素は、例えば、壁に、詳しくは固定位置に貼り付けられ又は付着される物でもよい。
【0016】
光学的に識別可能な要素は、例えば、テープや、粘着ストリップ又は壁に塗布されるペイントでもよい。その光学的に識別可能な要素は、その高さよりも実質的に高い幅(又は長さ)を有する(例えば、少なくとも10倍の高さ)細長い要素でもよい(その要素は、もちろん幾つかの短い細長のサブ要素、例えばタイルからなり、一緒になって光学的に識別可能な要素を形成する)。その光学的に識別可能な要素は、一方向で(一般的には実質的に垂直に)5−10cmより短い長さの要素でもよく、そして、それと垂直な方向に(一般的には実質的に垂直に)1メートルよりも大きくてもよい。その光学的に識別可能な要素は、実質的に矩形でもよい。
【0017】
光学的に識別可能な要素は、部屋の床の近くの壁に配置されてもよい。例えば、その床からその光学的に識別可能な要素までの最大の距離は50cm、20cm、10cm、5cm又は1cm未満でもよい。これは、例えば足についての改善した検出をもたらし、例えば人の存在の検出に特に関係する。それは、その光学的に識別可能な要素の視覚的な影響を低減してもよい。幾つかのシナリオでは、光学的に識別可能な要素は、壁と部屋の床の交差から上方へ伸びてもよい。
【0018】
光学的に識別可能な要素は、位置のキャリブレーションを容易にするキャリブレーションパタンを有してもよい。例えば、赤い蛍光テープがテープの長さ方向に沿って1m毎に1cm幅の黒部分を有してもよい。壁がまっすぐであると仮定すると、カメラセンサはその黒部分を検出できる。その黒部分は閉塞を形成するからである。そのカメラセンサは、それらを利用して、カメラの座標と部屋の座標との間の関係を構築する。黒のマークの幅は、絶対的な部屋の座標をエンコードできる。そのマークが広すぎるなら、それらは、本システムのキャリブレーションステップの後に、剥がして取り外しできる。また、数個の簡易なマーカーだけが光学的に識別可能な要素の上にあって、重要なサブエリアの開始又は終わりを指定してもよい(貴重な対象物の周囲領域や、子供にバーチャルハウス内の新しい部屋を作ることを可能にするマーカー、それらは光学的に識別可能な要素等により構成する)。これらのマーカーは必ずしも永久的なものである必要はないことに留意すべきであり、例えば、それらは、第2ストリップとして糊付けられたり、剥がされたりでき、任意に再度除去されたりでき、又は、投影されてもよく、動的な再構成可能なゲームに有用であってもよい(例えば、部屋にマッピングされたプレイングボードであり、或るレベルが終了すると、その部屋が変化する)。しかしながら、これらのマーカーは、キャリブレーションの際に役に立ち、即ち、現在のシステムと、その光学的に識別可能な要素と、本システムがある部屋や空間の特定の重要な領域との間の関係を識別する。
【0019】
光学的に識別可能な要素は、壁に付着する必要はない。それを壁に付着することなく、床の上に配置してもよい。さらに、光学的に識別可能な要素は、人や家具の周りに置くことができるように変形可能であってもよい。この形態では、その光学的に識別可能な要素は、ロープや他の如何なる適切な物質(木材、布等)にも付着又はペイントされてもよい。光学的に識別可能な要素は、閉じたループを形成してもよい。カメラが、その光学的に識別可能な要素に統合されてもよい。
【0020】
本発明の任意的な特徴に従って、位置プロセッサが、光学的に識別可能な要素の閉塞部分に関連づけられる画像の画像対象物を判定し;その画像対象物の画像特徴に応じて、深さ位置を生成するよう構成される。
【0021】
これは、特に効率的で、確実で、及び/又は低い複雑性の、深さ位置の判定をもたらす。
【0022】
画像対象物は画像分割によって判定されてもよい(足の長さのような単純な特徴がその適応例で望まれるのなら、分割アルゴリズムは単純でもよく、他の適応例では、より複雑でもよい)。画像対象物は、閉塞部分に対応する画素の画素値に対して、一致条件を満たす値を有する画素を含んでもよい。例えば、その画像対象物は、或る画像領域内の画素を含むように判定されてもよく、その画像領域の範囲内では、その色はその閉塞部分の色から所定量よりも小さく変化する。
【0023】
画像特徴は、詳しくは画像対象物の寸法であってもよい。
【0024】
本発明の任意的な特徴に従って、画像特徴は、その光学的に識別可能な要素から離れる画像の方向における、画像対象物の伸張を表す。
【0025】
これは、特に効率的で、確実で、及び/又は低い複雑性の、深さ位置の判定をもたらす。
【0026】
本発明の任意的な特徴に従って、位置プロセッサは以下のように構成される:部屋の床に対応する他の画像対象物を検出し;画像対象物と他の画像対象物との間の部分境界(セグメントボーダー)を判定し;そして、その光学的に識別可能な要素とその部分境界との間の画像距離に応じて、深さ位置を判定する。
【0027】
これは、特に効率的で、確実で、及び/又は低い複雑性の、深さ位置の判定をもたらす。
【0028】
本発明の任意的な特徴に従って、本システムは更に以下を含む:光学的に識別可能な要素の向かい側に検出領域を横切って位置する他のカメラであって、検出領域と光学的に識別可能な要素とを含む他の画像を取得するカメラと;検出器は、光学的特性に応じて、他の画像内の光学的に識別可能な要素を検出するように更に構成され;閉塞プロセッサは、その光学的特性に応じて、他の画像内の光学的に識別可能な要素の少なくとも1つの閉塞の他の閉塞特性を判定するように構成され;そして、位置プロセッサは、閉塞特性と他の閉塞特性との両方に応じて、深さ位置を判定するよう構成される。
【0029】
これは、特に効率的で、確実で、及び/又は低い複雑性の、深さ位置の判定をもたらす。多くのシナリオでは、そのアプローチは、低減された複雑性の信号処理及び/又はより確実な判定を可能にすることがある。
【0030】
他のカメラ及び関連する処理は、第1のカメラに類似するものであってもよい。他の閉塞特性は、例えば、光学的に識別可能な要素の閉塞部分の位置及び/又はサイズを含んでもよい。その位置及び/又はサイズは、詳しくは、画像の位置及び/又はサイズであってもよく、又は、そこから導かれるものであってもよい。閉塞特性と他の閉塞特性は、詳しくは、対応する閉塞の位置及び/又はサイズの表示を含んでもよい。そうした対応する閉塞は、同じ対象物に由来し、詳しくは、深さ位置が得られる対象物に由来する。
【0031】
本発明の任意的な特徴に従って、位置プロセッサは、画像内の閉塞部分と他の画像内の閉塞部分との間における相対的な画像位置の差に応じて、深さ位置を判定するように構成される。
【0032】
これは、特に効率的で、確実で、及び/又は低い複雑性の、深さ位置の判定をもたらす。多くのシナリオでは、そのアプローチは、低減した複雑性の信号処理及び/又はより確実な判定を可能にすることがある。
【0033】
深さ位置は、詳しくは、2つの画像内での1つ以上の対応する閉塞部分の、位置のシフトに応じて、判定されてもよい。対象物に対応すると予測される閉塞部分の変位が判定されてもよく、そして、光軸に沿った位置がその変位に基づいて判定されてもよい。
【0034】
本発明の任意的な特徴に従って、本システムは、サイズプロセッサをさらに含み、光学的に識別可能な要素の少なくとも1つの閉塞画像部分の深さ位置と画像サイズに応じて、その対象物のサイズ予測を判定するように構成される。
【0035】
これは、多くの適用例に操作性の向上をもたらす。例えば、人や動物等の存在について、検出の向上を可能にする。そのアプローチは、詳しくは、追加的な情報を供給するだけでなく、室内の対象物の実際の位置に対する感度を低減する。例えば、カメラに近い小さい対象物とカメラから離れた大きい対象物との間の区別を可能にする。他の例として、そのアプローチは、子供と大人との間の識別や、立っているか又は歩いている人と地面に倒れた人との間の区別のために使用されてもよい。
【0036】
本発明の任意的な特徴に従って、対象物は生き物であって、そして、本システムは、閉塞特性に応じて、検出領域内の生き物の存在を検出する検出プロセッサを更に含む。
【0037】
本発明は、室内の人物又は動物の存在について、検出の向上を可能にする。そうした検出は、具体的な特徴、位置及び動きが不明のときは、一般的には大変複雑で不確実である。本システムは、低い複雑性の設定と単純化されたアプローチを用いて、検出の向上を可能にする。例えば、その設定と、例えば、深さ位置により与えられる情報とによって、不確実性が低減されるか又は補償されてもよい。
【0038】
本発明の任意の特徴に従って、検出プロセッサは、画像内の光学的に識別可能な要素の閉塞の動的な変化に応じて、存在を検出するように構成される。
【0039】
本発明は、室内の人や動物の存在について、検出の向上を可能にする。実際には、特定の場所に位置する静的な対象物に依存するのではなく、そのアプローチは、自由に動く生き物の検出を可能にし、閉塞特性の、結果として生じる動的な変化に基づいて検出を行ってもよい。その動的な変化は、例えば、閉塞部分の位置及び/又は閉塞の時間の変化であってもよい。
【0040】
幾つかの実施形態では、動的な変化は、光学的に識別可能な要素の閉塞部分の位置における変化を含んでもよい。
【0041】
幾つかの実施形態では、動的な変化は、或る条件を満たす時間的な特徴を有する閉塞の検出を含んでもよい。例えば、その条件は、閉塞が所定の時間よりも少ない時間を有することであってもよい。本発明の任意的な特徴に従って、検出プロセッサは、動的な変化に応じて、少なくとも1つの生き物の第1の特徴とその生き物の行動とを判定するように更に構成される。
【0042】
これは、追加的な情報を供給してもよく、及び/又は、例えば、検出の確実性を改善してもよい。その特徴は、例えば、速度、歩き方、サイズの表示(例えば人の足の)等のような、生き物の動きの特徴であってもよい。より複雑な実施形態では、時間と共に変化する正確な閉塞形状の詳細な分析が、例えば人や動物が何をしているのかを予測するのに使用される。誰かが起きようとする典型的なパタン又は病気で震える動物のような動きを分析することにより、予測するのに使用される。
【0043】
本発明の任意的な特徴に従って、検出器は構成されて、光学的特性に一致する画像特性を有する画像領域の検出に応じて、光学的に識別可能な要素に対応する画像の幾何的領域を予測し、そして、閉塞プロセッサは構成されて、光学的特性に一致しない画像特性を有する幾何的領域の閉塞部分を識別する。
【0044】
これは、特に効率的で、確実で、及び/又は低い複雑性の操作をもたらす。光学的に識別可能な要素とは異なる光学的特性を有する幾何的領域の閉塞部分は、詳しくは、光学的特性に関する一致条件を満たさない画素の領域を更に含んでもよい。
【0045】
本発明の任意的な特徴に従って、検出器は構成され、画像領域を所定の幾何形状へマッチングを実行することにより、その幾何形状を判定する。
【0046】
これは、特に効率的で、確実で、及び/又は低い複雑性の操作をもたらす。
【0047】
幾何的領域は、光学的に識別可能な要素の幾何形状に対応する光学的特性と所定の幾何的形状に応じて、判定されてもよい。例えば、光学的に識別可能な要素は、画像内の直線に対応する細いストリップでもよい(線形閉塞分析が、その適用例に対して、ストリップに沿って好適な高さで行われてもよく、例えば、地面の接触レベルで、または、地面レベル閉塞が干渉するのを避けるためより高いレベルで、例えば、製造コンベアーベルトから)。所定の幾何形状は、従って、直線でもよく、幾何的領域は、その光学的特性に一致する画像特徴を備えた画素を含む直線画像対象物として判定されてもよい。例えば、画素又は画像部分に対して、その光学的特性に一致する画素特徴でラインフィットが実行されてもよい。
【0048】
本発明の任意的な特徴に従って、本システムは、室内の光学的に識別可能な要素の、名目上閉塞部分セットを決定するに更に構成され;位置プロセッサは、その名目上閉塞部分の閉塞特性を補償するよう構成される。
【0049】
これは、操作性の向上をもたらし、とりわけ、柔軟性の向上をもたらす。そのアプローチは、例えば、多くのシナリオでは、本システムが、他の対象物が光学的に識別可能な要素を塞いでいてもよい部屋の中で使用されることを可能にする。
【0050】
名目上閉塞部分は、静的であると考えられる部分及び/又は、閉塞が対象物によって生じたものではない部分であってもよい。それは、一般的には、検出領域内の他の対象物によって生ずる閉塞であってもよい。
【0051】
その補償は、例えば、名目上閉塞部分に対応する全ての閉塞を無視することにより実行されてもよい。
【0052】
名目上閉塞部分は、例えば、キャリブレーション画像内で、光学的に識別可能な要素の閉塞部分として判定されてもよい。キャリブレーション画像は、対象物の存在なく取得される画像である。
【0053】
本発明の任意的な特徴に従って、本システムは更に、閉塞の時間が閾値を超えた場合、光学的に識別可能な要素の閉塞部分を名目上閉塞部分として指定するよう構成される。
【0054】
これは、特に有利な性能をもたらし、詳しくは、本システムが自動的に部屋の特徴に適応することを可能にしてもよい。例えば、検出領域内の他の対象物を補償するように自動的に処理を適応し、これらは多くのシナリオでは静的であると考えられてもよく、一方で、関心対象物は一般的に非静的である(例えば多くの適応例では、それは人か動物だろう)。
【0055】
閾値は、静的な閾値でもよい。例えば、人を検知する多くの実施形態では、有利には、15秒から1分の間隔内にあってもよい。幾つかの実施形態では、閾値は、他のパラメータに依存してもよく、動的な変化する閾値でもよい。
【0056】
本発明の一側面によれば、室内の対象物の位置特性を判定する方法が提供され、その方法は以下のステップを含む:或る光学的特性を有する光学的に識別可能な要素を、部屋の検出領域のため、背景表面上に配置するステップと;その光学的に識別可能な要素の向かい側に検出領域を隔ててカメラを配置するステップであって、そのカメラは、検出領域とその光学的に識別可能な要素とを含む画像を取得する、ステップと;その光学的特性に応じて、画像内の光学的に識別可能な要素の閉塞の閉塞特性を判定するステップと;閉塞特性に応じて、深さ位置を判定するステップであって、その深さ位置はカメラの光軸に沿った対象物の位置を示す、ステップ。
【0057】
本発明のこれらの及び他の側面、特徴、及び有利な点は、以下で説明する実施形態(群)から明らかで、その実施形態(群)を参照して明瞭になるだろう。
【発明を実施するための形態】
【0058】
以下の説明は、室内の人々の存在を検出するシステムに適用可能な本発明の実施形態に焦点をあてる。しかしながら、本発明は、この応用例に限定されるものではなく、多数の他の応用例及び目的に適用してもよいことが理解されるだろう。
【0059】
以下では、1つ以上のビデオカメラによって取得された画像に基づいて、対象物の特性を判定するように構成された、室内に配置されてもよいシステムについて説明する。詳しくは、深さ位置が判定され、その深さ位置は、室内の潜在的な対象物の或る方向における位置の予測を含み、その方向はカメラの画像平面に対して垂直である。それ故、システムは、カメラの光軸に沿った位置コンポーネントの位置予測の判定を可能にしてもよい。本システムは、更に、画像平面に平行な方向で、対象物の1つ以上の位置予測を判定してもよく、詳しくは、3次元の位置予測を判定してもよい。判定された位置の値は何れも光軸に一致する必要はないが、少なくとも深さ位置は、この光軸に沿って非ゼロの長さの投影を有し、即ち、深さ位置は、光軸に沿った予測位置の情報を含み、画像平面内の位置情報だけに限定されないことは理解されるだろう。カメラは、深さ位置が、そのカメラと光学的に識別可能な要素との両方に交わる軸に沿った位置成分を一般的に有するように取り付けられるだろう。
【0060】
本明細書で説明するシステムは、詳しくは、僅かな所定の情報しか分かっていない対象物の特性を判定するのに有用である。例えば、未知の位置、形状、サイズ等を有する対象物の検出に特に適することがある。更に、移動対象物にはとりわけ適することがある。詳しくは、本システムは、生物(人間或いは動物)に関する特性を判定するのに高い適合性を有し、その生物は室内に入って動き回ってもよい。本システムは、実際には、室内の人間の存在や活動を有利に検出することを提供する。
【0061】
本システムは、光学的に識別可能な要素を用い、その要素は、部屋の検出領域の背景表面に位置づけられる。カメラは、光学的に識別可能な要素の向かい側に置かれて、検出領域と光学的に識別可能な要素とを含む画像を有するビデオ信号を取得する。光学的に識別可能な要素は、光学的特性を有し、比較的簡易且つ正確にビデオ画像内で検出されることを可能にする。従って、本システムは、光学的に識別可能な要素の閉塞(遮蔽)を検出してもよく、一般的には、その閉塞は、カメラと光学的に識別可能な要素との間に位置する対象物を原因とする。それ故、対象物の存在は、ビデオ画像内の光学的に識別可能な要素の閉塞から単純に検出することができる。明確性と簡潔性の目的で、以下の記述は、光学的に識別可能な要素をふさぐ唯一の対象物が関心対象物であるというシナリオ、即ち、検出領域には他に対象物が存在しないというシナリオに焦点をあてる。しかし、続いて、どのようにして本システムが他の閉塞要素の存在を補償するかについて説明する。
【0062】
従って、本システムは、光学的に識別可能な要素の閉塞を評価判断し、この閉塞の特性に応じて、カメラの光学軸に沿った位置コンポーネントの位置表示が判定される。詳しくは、その閉塞特性は、光学的に識別可能な要素の1つ以上の閉塞部分の、位置及び/又はサイズの表示を含んでもよく、位置判定は、そうした位置やサイズに基づいてもよい。
【0063】
図1は、室内の例示的な設定を示す。カメラ101が部屋の1つの壁に沿って置かれる。この例では、カメラ101は部屋の床に近接して置かれ、詳しくは、床の上方50cm以下、たいていは20cm以下、5cm以下又は2cm以下にも置かれる。床に近い場所は、多くの実施形態において、操作及び性能の向上をもたらし、詳しくは、室内の人の特性の検出及び予測推定を向上させる。実際には、大きな画像領域が低いアングルで床をカバーする画像を提供し、それは、とりわけ、室内の人々の足に関する特性の評価判断に適し、又は、ボール、おもちゃの車、プラスチック製のフィギュア等の低い高さの対象物に関してでもよい。室内の適切な低位置にあるこれらのカメラを使って、ロボット(例えば、ロボット型の掃除機)のようなインテリジェントな移動対象物をモニタすることができるだけでなく、例えば、これらの静的なカメラからの追加的なデータを用いてロボットコントロールの援助をするだけでなく、ロボット自体に低く備え付けられたカメラ又は如何なる移動式カメラ(セット)もが本システムに使用することができる。
【0064】
部屋の反対の壁には、光学的に識別可能な要素103が置かれる。カメラと同様に、その光学的に識別可能な要素は床に近接して置かれ、とりわけ、壁の高さの半分以下であってもよい。実際、多くの実施形態では、光学的に識別可能な要素は、最も高い点で、床の上方50cm以下、たいていは20cm以下、10cm以下、1cm以下でもよい。カメラ101と光学的に識別可能な要素103との両方を床の近くに配置することは、以下の設定を提供し、そこでは、カメラ101で取得される画像内の光学的に識別可能な要素の閉塞が床に触れる対象物によって生じていると想定することができ、その閉塞は床に接触する点に近い対象物の特性に対応すると考えられてもよい。くわしくは、閉塞は、室内の人の足によって生じてもよく、従って、その設定は、人の身体の特定部位に関連付けられる閉塞をもたらしてもよい。
【0065】
このようにして、カメラ101は、反対の壁にある光学的に識別可能な要素103を含む部屋の画像を取得する。カメラ101と光学的に識別可能な要素103との間の如何なる対象物も、光学的に識別可能な要素103の閉塞をもたらし、これは検出され、特徴づけられ、室内の対象物の位置を判定するのに使用することができる。従って、カメラ101と光学的に識別可能な要素103とは、部屋の検出領域を定義し、その検出領域は、カメラ101の取得画像内で対象物の配置が光学的に識別可能な要素103の閉塞を生ずる領域である。
【0066】
光学的に識別可能な要素103は、例えば、壁に取り付けられるか、又は例えば壁に塗られる細いストリップであってもよい。例えば、反射テープ(例えば、明るい赤、オレンジ、又は黄色)が床に近接して壁に沿って取り付けられてもよい。特定の例では、そのテープは、底部(壁/地面の交差)で壁をカバーするように取り付けられる。一般的には、そのテープは、2cmから5cmの幅であってもよい。他の実施形態では、光学的に識別可能な要素を壁に供給する他の手段が用いられてもよい。例えば、紫外線又は赤外線の反射テープ又はペイントが使用され、人間の目には見えない(それ故煩わしくない)がカメラで検出される、検出可能な光学的特性を有する光学的に識別可能な要素を供給する。しかし、他の実施形態では、光学的に識別可能な要素は、様々な色の複数のテープの組合せを有してもよく、相互に平行に積み重ねられ、それにより1つの新しいテープを形成する。この特定の構成は、人の靴の色が、光学的に識別可能な要素の色ととても類似している状況に対して、よりロバストであるだろう。そうした状況では、偽陰性の結果をもたらし得る。複数色のテープは、そうした偽陰性の確率を低減するだろう。例えば、ストリップに沿って水平又は垂直に繰り返し積み重ねられたレインボーカラーパターンが存在してもよい。
【0067】
図1の例では、2つの対象物105,107が室内に置かれ、これらは詳しくは人の足であってもよい。対象部の各々は、カメラ101から見ると、光学的に識別可能な要素103の部分を塞ぐ。それ故、取得画像では、光学的に識別可能な要素は2つの閉塞部分109と111において塞がれるだろう。
【0068】
(2つの対象物によって生ずる2つの閉塞部分を考慮するのと同様に、2つの閉塞部分は1つの対象物の2つの部分から発生していると考えられることも理解されるだろう、即ち、同様にして、2つの対象物105と107は、1つの対象物の2つの異なる部分と考えられてもよい。それ故、1つの対象物が複数の閉塞を生じてもよい。)。
【0069】
図2は、図1のシナリオの横からの眺めの例を示す。この例では、座標系はカメラ101と一致する中心に置かれる。カメラの光軸に沿った軸はz軸と表示される(即ち、この例では、z軸は2つの壁及び画像平面に対して垂直である)。横への方向(光学的に識別可能な要素を形成するテープに沿った方向)はy軸として示され、垂直軸(この例では上/下方向)はx軸として示される。従って、x軸とy軸とは画像平面内にあり、z軸はその画像平面に垂直である。カメラは2つの線201で示されるx方向の視野角を有する。
【0070】
図3は、カメラ101によって取得される画像の一例を示す(この画像は、テーブルと椅子の脚の存在も含んでいる。そうした対象物の処理は後で説明するが、以下の最初の説明では明確性と簡便の目的で無視される)。この画像は、光学的に識別可能な要素103と人の足105,107とを含み、その結果、光学的に識別可能な要素103の閉塞109,111を生ずる。また図に示すように、画像は床の上の小さい高さから床の大部分をカバーしている。
【0071】
本システムは、処理装置113を含み、その処理装置は、カメラ101から画像を受信し、この画像を処理して検出領域内のいかなる潜在的な対象物の存在又は特徴も評価判断する。
【0072】
詳しくは、処理装置113は、既知の光学的特性に基づいて、画像を分析し光学的に識別可能な要素103を検出する。だれも(何も)存在しない場合は、光学的に識別可能な要素103は、地面に接する如何なる対象物によっても塞がれない。しかし、人がカメラとテープ(光学的に識別可能な要素103)との間を横切るとすぐに、人の足はテープの部分をさえぎるだろう。この閉塞は、処理装置113によって検出されて分析され、次に、その処理装置は、その閉塞を発生させる対象物の位置予測を判定するよう進める。
【0073】
光学的に識別可能な要素の特性(明るい色及び/又は反射率)は知られており、人の靴や靴下の色(例えば、男性居住者ではダークブラウン又はブルー)とは典型的に異なるよう選ばれているので、人の足の存在は、光学的に識別可能な要素103の特性を有していると思われるがこれらの特性をもう有していない画像内の画素を見つけることにより、容易に検出される。この例示の男性ユーザはブラック又はブラウンの靴だけを有しており、彼の左壁を赤のストリップでカバーし、右壁を緑でカバーし、長さ方向のカウチをオレンジでカバーするように選択してもよく、テーブルの脚を黄色のタイルで、テーブルの脚を円筒状に包むように(又は、光学的に識別可能な要素が適用される、対象物の色に一致する色、又は、視覚的に混乱しない色)。また、動的に学習するシステムでは、そうした幾つかの光学的に識別可能な要素だけが、広く一般的に使用可能なシステムにつながることにも留意する。室内に現在存在するユーザが、例えば赤のストリップを塞ぐ場合、本システムは、現在そのストリップを覆う黒の靴の光学的特性を測定できる(平均輝度、変化パタン、おそらくはスペクトル特性等)。その後、これらの識別パラメータを用いて、同様の光学閉塞検出を適用し、光学的に識別可能な要素を貼り付けていない平坦な領域を塞いでいるイベントを追跡する。例えば、ユーザが、反対の壁のグリーンのストリップを現在覆っているブルーのキャットバスケットを歩いて通りすぎるときである。詳しくは、本システムは、光学的に識別可能な要素103に対応する画像の中の1ライン上の画素を識別してもよいが、その画素は、光学的に識別可能な要素の光学的特性を有しない。地面の床や部屋の壁は、人の靴と同じ色を有することもあるので、光学的に識別可能な要素の使用は、より信頼できる検出を提供し、その位置により、地面に接しテープの高さの上方に伸びる対象物が少なくとも検出されることが確認される。人の足のような対象物が、カメラ101と光学的に識別可能な要素103との間に位置するとき、光学的に識別可能な要素は画像内の特定の位置で見えなくなるだろう。カメラ101と光学的に識別可能な要素103の両方は、地表面近くに配置され、光学的に識別可能な要素103は数cmの薄いストリップなので、わずかな高さの対象物(例えば5cm)でも光学的に識別可能な要素103の全体の高さを塞ぐだろう。
【0074】
図4は、処理装置113の幾つかの要素の一例を示す。処理装置113は、処理装置113をカメラ101にインターフェースするレシーバ401を含み、そのレシーバは詳しくはカメラ101からビデオ画像を受信する。
【0075】
レシーバ401は、検出器403に接続され、その検出器は、光学的特性に応じて、画像内の光学的に識別可能な要素103を検出するよう構成される。
【0076】
検出器403は、詳しくは、光学的に識別可能な要素103に対応する画像内の幾何学的領域を判定するよう構成される。検出器403は、詳しくは、所定の形状を有するマッチング画像領域を見つけることにより、幾何学的領域を判定してもよい。例えば、光学的に識別可能な要素103が細いストリップ(テープ)である例では、これは、画像内のラインに相当する。それ故、検出器403は、その光学的に識別可能な要素103の特徴に合致する特徴を有する画像内のラインを見つけるようにしてもよい。他の実施形態では、他の幾何学的形状が使用されてもよいことは理解されるだろう。例えば、光学的に識別可能な要素が四角形である場合、検出器403は画像領域を、四角形に合致させるように進め、その四角形は光学的に識別可能な要素103の光学的特性に合致する光学的特徴を有する。
【0077】
幾つかの実施形態では、所定の幾何学的形状は、光学的に識別可能な要素103の如何なる変形をも考慮にいれてもよく、それは、画像内で、例えば、光学的に識別可能な要素103に対するカメラ101の配置の結果として生じるか、又は、例えば、カメラ101と光学的に識別可能な要素103との間の距離が変化することにより生ずる。
【0078】
検出器403は、詳しくは、光学的に識別可能な要素103の光学的特性に合致する画像特徴を有する画像領域に対して、画像をサーチする。例えば、光学的に識別可能な要素103が明るい赤である場合、検出器403は画像内の適した形状の(明るい赤の)幾何学的領域、即ち、明るい赤に充分に近い色を示す画素値を有する領域のサーチを進めるだろう。それ故、検出器403は、画像の特徴、詳しくは画素値に基づいて、どれがその光学的特性に相当するかを合致させて、幾何学的領域を見つけるだろう。
【0079】
検出器403は、詳しくは、静的な対象物に対応する閉塞が既に存在する状況で、光学的に識別可能な要素103に対応する画像領域を判定してもよい。例えば、キャリブレーション操作が、人が存在しないが、カメラ101から光学的に識別可能な要素103の視野を妨害する椅子やテーブルがあるところで、実行されてもよい。
【0080】
特定の例として、図1の設定が考慮されてもよい。この例では、カメラ101は壁の底部に取り付けられ、反対の壁の反射テープ(光学的に識別可能な要素103)を向いて正のz方向に地表面に対して平行に向けられる。そのテープの特性(明るい色及び/又は反射率)は知られており、人の靴や靴下の色(典型的にはダークブラウン又はブルー)とはたいていの場合異なるので、反射テープの画素に対応するが、そのテープの光学的特性を有していない1ライン上の画素を見つけることで、人の足の存在は容易に検出される。
【0081】
この例では、カメラ101は、光軸(z軸)が壁に対して垂直で且つ床に対して平行(床と壁との角度が90°と仮定して)であるように設置される。理論的には、そのテープは、画像内では、カメラ101からみて、画像の中央より少し下で、水平な可視帯として表れるだろう。しかしながら、カメラの設置は、様々な実施態様で異なるので、その可視帯は、垂直にわずかに変位して見えることがあり、また、カメラ101の設置の意図しない傾きのために回転することもある。しかしながら、理想的な投影カメラは実世界の直線を2次元画像の直線に投影する(伝える)ことが知られている。この知識を利用して、検出器403は、その反射テープの光学的特徴に合致する特性を有する適当な幅を備えたバンド又はラインの画素を見つけることにより、バンド又はラインのその反射テープに属する画素を識別するよう進める。
【0082】
第1のステップとして、そのテープに属する画素が、以下の条件に基づいて、観察されるRGB色画像内で識別されてもよい:
【0083】
【数1】
ここで、Sは、一画素がとることのできるRGB色ベクトルの値の集合であり、その集合を「テープ画素」として分類する。飽和した赤のテープが用いられる特定の例では、適切な値は、例えば、S={(119…255)、(0…99)、(0…99)}である。従って、これらの範囲内のRGB値を有する画素は、反射テープに対応すると仮定される。もちろん、Sの選択は、特定の例で用いられるテープの色に依存する。更に、集合Sは、使用される特定のカメラの設定にも依存する。
【0084】
そのテープの可能な画素を識別した後、これらの画素に対してラインフィット(直線適合)が実行される。詳しくは、例えば周知の最小二乗適合方法を用いて、直線がこれらの画素を通じて適合される。その結果、直線は、次の方程式を用いて画像内で識別される:
【0085】
【数2】
ここで、uは画像の垂直軸でvは画像の水平軸である。この例では、反射テープ(すなわち、光学的に識別可能な要素103)に対応する直線は、単一画素幅を有すると考えられてもよいが、他の実施形態では、複数画素幅が考えられてもよい。
【0086】
故に、このようにして、検出器403は、画像の或る領域を識別し、その画像領域は、光学的に識別可能な要素103に対応し、その光学的特性に対応する画素値を有するものと仮定される。その光学的特性は、カメラ101からみて、光学的に識別可能な要素103の視野を遮る如何なる対象物もないとき、例えば、単純に光学的に識別可能な要素103の色度値である。しかしながら、カメラ101と光学的に識別可能な要素103との間に如何なる対象物が置かれた場合でも、これらの画素は、その値を、遮る対象物の画素の値に変更するだろう。
【0087】
検出器403は、閉塞プロセッサ405に接続され、その閉塞プロセッサは、画像内の少なくとも1つの光学的に識別可能な要素103の閉塞特性を、その光学的特性に応じて判定するように構成される。詳しくは、その閉塞プロセッサ405は、光学的に識別可能な要素103に対応するが、その光学的特性とは異なる光学的特徴を有する、識別された幾何的領域の閉塞部分を識別するように構成される。
【0088】
例えば、閉塞プロセッサ405は、光学的に識別可能な要素103に対応する画像領域内の各画素に対して、その画素値がその光学的特性に関する合致条件を満たすかどうかを判定する(例えば、その色が、光学的に識別可能な要素103の色の値から所定の量を超えて相違しない)。その後、画像領域を、光学的に識別可能な要素103に対応すると考えられる部分(即ち、合致条件を満たす画素を主に含む)と、そうでない部分(即ち、合致条件を満たさない画素を主に含む)とに分けることを続ける。
【0089】
従って、閉塞プロセッサは、画像領域の部分を識別するように構成されてもよく、その画像領域は、反射テープの色を有するべきであるがが、この色に合致していない。そうした部分(群)は、カメラ101と光学的に識別可能な要素103との間に位置する対象物によって塞がれたので、一般的には異なる色を有する。その閉塞プロセッサ405は、例えば、閉塞特性を生成して、検出される全閉塞部分のサイズ及び/又は位置の表示を含む。そのサイズや位置の値は、詳しくは、画素の大きさで与えられてもよく、画像の座標系で与えられてもよい。単一画素ラインの値は、例えば、中央の位置とサイズ、又は開始と終了座標の指標として与えられてもよい。
【0090】
特定の例として、図5は、図1のシナリオに対応する図3の画像内で、検出された閉塞部分を示す(テーブルと椅子は存在しないと仮定する)。図6は、同じ画像を図式的に示したものである。この例では、画像の水平方向はv軸で表され、画像の垂直方向はu軸で表される。示されるように、光学的に識別可能な要素103は識別されて、画像内の直線601に対応し、閉塞プロセッサ405は、この直線の画素を通じてサーチし、光学的に識別可能な要素103と異なる色を有する2つの閉塞部分109と111を識別する。
【0091】
詳しくは、閉塞プロセッサ405は、”テープ“ライン601の全画素を、最小のv座標から始めて最大のv座標で終えるまで連続的に評価してもよい。ライン上の各画素(u,v)に対して、次の場合、新たな閉塞部分が始まる:
【0092】
【数3】
その閉塞部分は次のときに終わると考えられる:
【0093】
【数4】
従って、この例では、各閉塞部分の始点と終点(vstart,vstop)が決定される。多くの実際の実施形態では、幾つかの黙示的又は明示的な空間フィルタリング効果が、画像ノイズを補償し、より良好に定義されるセグメント(部分)を提供するために適用されてもよいことは理解されるだろう。
【0094】
閉塞特性、詳しくは閉塞部分の表示は、閉塞プロセッサ405に接続される位置プロセッサ407に送られる。位置プロセッサ407は、閉塞特性に応じて、検出領域の対象物の深さ位置を判定するように構成される。その深さ位置は、少なくとも1つの位置コンポーネントを有し、その位置コンポーネントは、光学的に識別可能な要素103からカメラ101まで、軸に沿って対象物の位置を示す(従って光軸に沿って)。それゆえ、深さ位置は少なくとも1つのコンポーネントを含み、そのコンポーネントは画像平面内(即ち、x、y方向)にはないが、カメラの光軸(即ちz方向)に沿っている。従って、位置プロセッサ407は(単に)画像内の位置を評価するのではなく、(むしろ)画像に対して垂直な方向の位置をも評価する。この評価は、画像内の情報に基づいて生成され、詳しくは、光学的に識別可能な要素103の閉塞に基づいて生成される。
【0095】
本発明者達は、詳しくは、次の点を認識した。すなわち、光学的に識別可能な要素の閉塞が、画像平面内の対象物の位置だけを決定するためだけでなく、カメラ101の光軸に沿って位置の判定を可能にする情報を供給するのに使用されてもよいことである。以下で説明するように、各種のアルゴリズムがこうした位置測定の判定に使用されてもよい。詳しくは、閉塞部分の識別を使用することができ、位置プロセッサ407は、とりわけ、光学的に識別可能な要素103の閉塞部分の位置及び/又はサイズに基づいて、その方向の位置予測を判定してもよい。
【0096】
単純な例として、位置は、対象物の仮定サイズと共に閉塞の予測サイズに基づいてもよい。例えば、平均サイズが人物の足で仮定され、z軸に沿った位置が、対応する閉塞部分の測定サイズに基づいて判定されてもよい。故に、大きな閉塞部分は、カメラ101に近い位置から由来する可能性が高く、小さい閉塞部分は、カメラ101から更に遠くにある位置から由来する可能性が高い。
【0097】
そうしたアプローチは、異なるサイズを有する対象物(人の足のように)の予測推定位置において、ある程度不確実性をもたらすことがあるが、多くの応用例では受容されてもよいことは理解されるだろう。また、このアプローチは、対象物が同じサイズの傾向がある応用例には特に適することがある。
【0098】
例えば、図7は、3つのプラスチック製カップがカメラに対して異なる距離で床に置かれている例を示す。その3つのプラスチック製カップは、それらが反射テープを塞ぐ地点では、実質的に同じサイズを有する。しかしながら、図8で示されるように、対応する閉塞部分は、カメラ101への異なる近接性のため、実質的にはサイズが変化する。従って、閉塞部分のサイズは、カメラ101からカップまでの距離の指標として、即ちz軸に沿った位置の指標として直接的に使用されてもよい。
【0099】
しかしながら、多くの例では、位置予測は、対象物のサイズの如何なる仮定も使用せずに判定される。実際に、多くの実施形態では、位置が予測されて、それから対象物のサイズを予測するのに使用されてもよい。
【0100】
以下では、光軸に沿った位置予測の判定の一例が示される。この例では、画像対象物に基づいて推定が判定され、その画像対象物は、閉塞部分に対応する画像内で検出される。詳しくは、位置プロセッサ407が、画像分割(セグメンテーション)を実行し、閉塞部分に重なるか又はそれを含む、1つ以上の画像部分を選択してもよい。所定の閉塞部分に対応する画像対象物又は部分は、例えば、或る領域として判定され、その領域は、閉塞部分の画素に対して合致条件を満たす特徴を有する画素からなる。例えば、実質的に同じ色を有する画素の領域が使用されてもよい。
【0101】
位置プロセッサ407は、それから、その画像部分の特徴に基づいて、位置予測を判定するように進める。この画像の特徴は、例えば、画像部分のサイズ又は寸法でもよい。実際に、特定の例では、画像の特徴は、光学的に識別可能な要素から離れた画像の方向で、画像対象物の伸張を示してもよい。画像の方向は、例えば垂直な画像方向に、及び/又は、部屋の床に沿った方向に対応してもよい。
【0102】
画像の特性/特徴は、実質的に垂直な画像方向における画像対象物の伸張を示してもよい。それ故、下向きの方向における画像対象物の伸張が測定され、z軸に沿った対象物の位置を判定するのに用いられてもよい。図7に示されるように、カメラに最も近い紙カップは、より遠くにあるカップよりも、更に下向きの方向に伸びる。
【0103】
特定の例として、位置プロセッサ407は、まず、テープ(光学的に識別可能な要素103)に沿った方向において、即ちy方向において、画像位置座標を判定するように進めてもよい。この方向は、画像内のv座標に対応し、次の平均位置として単純に決定されてもよい:
【0104】
【数5】
これは、画像内の対象物の位置を与えるが、まだ床の上の位置ではない。床の上の対象物の位置を計算するため、位置プロセッサ407は、まずz座標を次にy座標を計算するように進める。
【0105】
図9は、説明のため、幾何学形状のダイアグラム図を示す。このアプローチは、“ピンホールカメラモデル”に対応するカメラの仮定及び、例えばD.A. Forsyth and J. Phonce. 2003. “Computer Vision: A Modern Approach” Pearson Education, Inc.ISBN 0-13-191193-7,に示される透視投影方程式に基づく。
【0106】
位置プロセッサ407は、対象物が床に接する点のz座標を判定しようとする。これを判定するため、この点の垂直画像座標(u座標)が始めに判定される。位置プロセッサ407は、これを、対象物がマップされる画像領域と、対象物を写してはいないが床は写している画像領域との間の画像内の部分境界(セグメントボーダー)を判定することにより、実行する。
【0107】
図10は、2つの対象物だけが画像内に存在する一例を示す(図6の例に対応する)。その2つの対象物は、閉塞部分に対応する2つの画像対象物又は部分1001、1003をもたらす(光学的に識別可能な要素103の下の部分だけが考慮される)。これらの画像対象物1001,1003は、光学的に識別可能な要素103に対応する直線601の下に伸びる。
【0108】
始めに、直線601の下の垂直画像‘バー(bar)’が評価されて、背景画像のどの部分が対象物の存在により変化したかを判定する。この例の特定のアプローチは、背景が特定の色を有することを仮定していないが、対象物と背景との間に幾らかの色コントラストが存在することを仮定している。対象物の検出は、光学的に識別可能な要素に基づいて、既に実行されているので、対象物と背景の間のコントラスト量は、位置予測だけに影響を有するが、対象物検出ステップには影響がない。また、光学的に識別可能な要素の存在は、位置予測を2次元から1次元のサーチ問題へ低減するので、位置予測をよりロバストにする。対象物の画像は一般的には複数の画像コラム(画像v方向に伸びる)を含むので、計算前の背景画像との差異が評価されるときに平均化処理が適用され得る。これは、対象物の画像と背景画像との間のおそらくは小さいコントラストを補償する。
【0109】
従って、上部バーの平均誤差マイナス下部バーの平均誤差の差異は、その変化(境界)の全ての可能な位置に対して判定される。その後、境界は、最大の差異が見出される位置に対応するように選択される。2つの平均誤差の間の最大差異に対応するu座標は、従って、対象物のu座標として選択される。それ故、そのu座標は、光学的に識別可能な要素103に対応する直線601と、閉塞109、111に対応する部分1001、1003の部分境界との間の画像距離を表す。
【0110】
対象物のu座標が与えられると、位置プロセッサ407は、図9に示される幾何学形状に基づいて、対象物のz座標を計算するように進み、それは以下の式になる:
【0111】
【数6】
ここで、kはカメラのパラメータだけに依存する固定値であり(D.A. Forsyth and J.Ponce.2003.”Computer Vision: A Modern Approach”. Pearson Education, Inc. ISBN 0-13-191193-7, Chapter 2 titled ‘Geometric Camera Models’ for backgroundを参照)、Hは、地表面上部のカメラの高さである。カメラからuobj及びzobjへの三角形がそれぞれ等しい(サイズはともかく、同じ幾何学的比率を有する)という要件に基本的に対応しているので、この式は図9の幾何形状から自動的に理解される。
【0112】
カメラ依存パラメーラkはカメラの仕様から得られてもよい。しかし、kの値は、厳密に必要とされなくてもよい。実際に、図9と上述の式から分かるように:
【0113】
【数7】
−kHは一定であるので、従ってuobjzobjは一定となる。
【0114】
これは、カメラと光学的に識別可能な要素が設置されると、システムをキャリブレーションすることを可能にする。対象物は、カメラ101から既知の距離zref(例えば1m)にある検出ゾーンに位置してもよく、その対応u座標urefが測定されてもよい。異なるu座標を有する異なる対象物には、対応するz座標は以下で決定されてもよい:
【0115】
【数8】
ここで、‘ref’指標は、キャリブレーション対象物に対して得られる値について言及する。
【0116】
以下では、光学的に識別可能な要素103からz軸に沿った位置を判定する異なる例が示される。特定の例は、図11に示されるように、処理装置113にも接続される第2カメラを使用する。第2カメラ1101は、第1カメラ101と同じ相対高さで配置されてもよいが、y方向に配置されてもよい。多くの実施形態では、カメラ101、1101の間には、例えば50cm以下又は20cm以下の相対的に短い距離が使用されてよい。
【0117】
この例では、検出器403が、第1カメラ101からと、第2カメラ1101からの同じ画像上で処理を実行するように構成される。従って、詳しくは、検出器403は、光学的に識別可能な要素103に対応する画像内の領域(詳しくは直線)を識別してもよい。同様に、閉塞プロセッサ405は、同じ処理を実行するように進め、閉塞特性を判定するが、その閉塞特性は、詳しくは、中間的な対象物によって塞がれる、光学的に識別可能な要素103に対応する画像領域の部分を識別する。その識別された閉塞部分は位置プロセッサ407に供給される。
【0118】
カメラ101,1101の異なる配置のため、検出領域にある対象物の、光学的に識別可能な要素103上の相対的位置ずれは、その対象物がカメラ101,1101にどの程度近いかに依存するだろう。これは、図11に示され、2つの対象点1103、1105が示される(その対象点は例えば図1の対象物105、107上の点であると考えられ、又は、例えばとても狭い対象物であると考えられる)。カメラ101、1101の位置ずれのため、対象物1103、1105は画像内で移動されて、画像内の異なる配置で現れるだろう。また、カメラ101、1101の位置ずれのため、対象物1103,1105は、光学的に識別可能な要素103に対して異なる位置で現れるだろう。さらに、画像内及び光学的に識別可能な要素103に対する対象物1103,1105の実際の位置ずれは、z軸に沿った対象物の距離に依存する。実際に、その位置ずれは、カメラ101,1101から対象物への距離が減少するにつれ、増加する。
【0119】
それ故、この実施形態では、位置プロセッサ407は、同じ対象物に対応する2つの画像における閉塞部分を識別するよう構成される。これは、例えば、互いに最も近い閉塞部分を合致させることによりなされてもよいが、より複雑なアルゴリズム、例えば、サイズ及び/又は設定の幾何を考慮したアルゴリズムが使用されてもよいことは理解されるだろう。セグメント合致のため、2つの画像内での或る点の位置ずれ(変位)が判定されてもよい(そのような画像内で、又は、光学的に識別可能な要素103に対して)。例えば、計算された平均位置の位置ずれが決定されてもよい。それから、この位置ずれは、z軸方向の位置を計算するために使用されてもよい。従って、位置の予測は、2つの画像内の閉塞部分間の相対的な画像位置における差異に基づいて、計算される。
【0120】
例えば、図12を参照すると、z方向の位置は、以下の式を用いて、その位置ずれから計算されてもよい。第2のカメラが、第1のカメラに対して、負のy方向に、y軸に沿って距離Bに配置されていると仮定する。ピンホールカメラモデルを用いて、第1のカメラに対して:
【0121】
【数9】
第2のカメラは変位しているので:
【0122】
【数10】
yobjとzobjとは、元の第1カメラ座標系で特定されることに留意する。ステレオの場合の深さ予測は、前記の2つの式から以下のように得られる。
【0123】
【数11】
上記の式は、間隔距離Bがy軸だけに沿っているものと仮定する。その基準Bは、一般的には設置の前に知られている。しかし、Bは、対象物を公知のz座標に配置して、v座標における変位を測定することにより、較正することもできる。
【0124】
幾つかの実施形態では、位置プロセッサ407は更に、床上の対象物の2次元的な位置を判定するように構成されてもよい。例えば、z座標の判定に続いて、位置プロセッサ407は、y座標を判定するよう処理を進めてもよい。これは、図13に示される幾何的配置に基づいて行われてもよい。
【0125】
y座標は、次の式に基づいて計算されてもよい:
【0126】
【数12】
即ち、yとz座標との比が(即ち、カメラ101から、y軸とz軸のそれぞれに沿った、対象物までの距離)、v座標とカメラファクターkとの比と同じであるという仮定に基づいている。
【0127】
単一のカメラの場合は、y座標の式は、更に単純化される。パラメータkは、もう必要でなく、対象物のu座標からy座標が得られる:
【0128】
【数13】
カメラの高さHは、例えば測定され、ユーザによって位置プロセッサ407に手動で入力されてもよい。
【0129】
幾つかの実施形態では、処理装置113は、図14に示されるように、更にサイズプロセッサ1401を含んでもよく、そのサイズプロセッサは、深さ位置と、光学的に識別可能な要素の少なくとも1つの閉塞画像部分の画像サイズに応じて、対象物のサイズ予測を判定するよう構成される。詳しくは、z座標は、対応する対象物のサイズ予測を判定するように用いられる。
【0130】
一例として、サイズプロセッサ1401には、z座標と、対応する閉塞部分の画像サイズが供給されてもよい。例えば、光学的に識別可能な要素103上の閉塞部分の開始及び停止座標が、サイズプロセッサ1401に供給されてもよい。
【0131】
特定の例として、対象物のサイズは、単一のカメラの場合に次のように計算されてもよい:
【0132】
【数14】
ステレオカメラの場合は、対象物のサイズは、第1のカメラの画像対象物の開始及び停止のv座標から予測される:
【0133】
【数15】
本システムは、室内の生き物(例えばペットや人物)の存在について、とりわけ有利に検出することができる。実際には、本システムは動的な、移動する対象物であって、事前に僅かしか情報が知られていないものを検出するのに特に有利である。図14の例では、処理装置113は、検出領域内での生き物の存在を検出するように構成される検出プロセッサ1403を更に含む。閉塞が大まかに検出されると、その閉塞は閉塞分析ユニット1422によってより詳細に分析されてもよく、その分析ユニットは、例えば、その閉塞された領域又は閉塞している対象物のカラーモデル、テキスチャーモデルパラメータ、幾何パラメータ等を抽出してもよい。これは、以下の点を決定するのに役に立つ。即ち、どこで閉塞が生じているか、塞いでいる対象物は如何なる所有物か(その家の父親の黒靴、奥さんの赤いパンプス、又は、彼らが面倒を見ているか一緒にゲームをしている近所の娘のピンクの靴)、それらの対象物は照明でどのように変化するか(現在の照明で抽出されたスペクトルを乗算することにより)等である。
【0134】
その例では、検出プロセッサ1403は、画像内の光学的に識別可能な要素103の閉塞の動的な変形に応じて、その生き物の存在を検出するように構成される。それ故、その検出は、閉塞の存在に基づくだけでなく、その閉塞の動的特性(時間的に変化する)にも依存する。
【0135】
幾つかの実施形態では、動的変形には、光学的に識別可能な要素103の閉塞部分の位置の変化を含んでもよい。例えば、検出プロセッサ1403は、新しい閉塞部分が検出され、更にその位置(又はそのサイズ)が変化するように動く場合、生き物がその部屋に入ったことを検出するよう処理してもよい。これは、例えば、検出領域にある椅子が部屋に入る人物として検出されることを回避するだろう。他の例としては、検出プロセッサ1403は、閉塞部分が一時的なものである場合だけ、即ち、所定の時間より短い間だけ存在する(動かずに)場合に、人物の存在を検出してもよい。
【0136】
それ故、検出プロセッサ1403は、或る条件を満たす時間的特徴を有する閉塞が検出された場合に、生き物が存在すると検出してもよい。
【0137】
図14のシステムでは、検出プロセッサ1403は、1つ以上の閉塞の動的な変化に応じて、生き物の特徴や行動を決定するように更に構成されてもよい。例えば、動的な変化に応じて、移動の特徴が決定されてもよい。この情報を用いて幾つかの応用例を構成してもよく、例えば、ダンシングゲームではプレーヤが、提示されたダンスを正確に再現しているかをテストすることができる。又は、バーチャルのサッカーゲームでは、閉塞の時間的パタンが(例えば移動速度と方向)が、バーチャルなボールのシュート軌道を物理的にモデル化するのに使用されることができる。
【0138】
例えば、光学的に識別可能な要素に沿った閉塞の動きは、室内の人物の足の移動速度として判定されてもよく、関連付けられた歩行速度が予測されてもよい。
【0139】
幾つかの実施形態では、検出プロセッサ1403は、時間的に分離した閉塞をグループ化し、閉塞の特徴に応じて、その特徴を判定してもよい。例えば、2つの時間的に分離した閉塞部分が、一緒にグループ化され、その特徴が、閉塞の少なくとも1つの位置及びタイミングに応じて、判定されてもよい。
【0140】
特定の例では、第1の一時的閉塞部分が検出され、足に対応するものと仮定されてもよい。その一時的閉塞部分が消失すると、検出プロセッサ1403は、所定の時間の間隔の範囲内及び所定の位置の間隔の範囲内で発生する比較可能なサイズの、新しい閉塞部分を探索する。そうした第2の閉塞部分が検出されるなら、検出プロセッサ1403は、歩行する人が自分の足をステップの一部分として移動させたために、そのイベントが発生したものと仮定する。そして、それらの閉塞の間の距離は、その歩行する人の足取りを判定するように用いられてもよく、閉塞のタイミングは、その人の歩行速度を更に計算するように用いられてもよい。
【0141】
この例は、2つ以上の時間的に分割された閉塞部分の判定に拡張されてもよいことは理解されるだろう。実際に、そのアプローチは、複数のカメラで使用され、そうして異なる閉塞が異なるカメラによって検出される。例えば、一組のカメラが、廊下の壁に沿って配置されてもよく、その反対の壁に反射ストリップが置かれる。
【0142】
前述の例では、検出領域には他に何の対象物も現れないものと仮定した。しかし、本願で説明したアプローチの特に有利な点は、どの対象物が実際に存在しているかが不明な環境でとても役に立つことである。詳しくは、本システムは、他の対象物の存在を自動的に又は半自動的に補償するように容易に構成可能である。
【0143】
幾つかの実施形態では、処理装置113は、室内の、光学的に識別可能な要素の名目上閉塞部分のセットを判定するように構成されてもよい。そうした名目上閉塞部分は、室内の(半)静的な対象物に対応するものと考えられ、(複数の)関心対象物には対応しない。従って、位置プロセッサ407は、名目上閉塞部分の閉塞特性を補償するように構成される。補償の単純な例として、如何なる名目上閉塞部分も、その後の処理では単に無視されてもよい(そして、例えば、その部分は光学的に識別可能な要素103と同じ色を有しているものと考えられてもよい)。
【0144】
幾つかの実施形態では、名目上閉塞部分のセットが、キャリブレーション画像内の光学的に識別可能な要素の閉塞部分として判定されてもよい。キャリブレーション画像は、検出領域で検出され特徴付けられる対象物が何も存在しないところで、同時に取得されてもよい。例えば、本システムが設定されたとき、ユーザは処理装置113に対して、検出領域は現在静的対象物を除き視界を遮るものがないことを指し示す。そして、処理装置113は、その画像を評価判断し、光学的に識別可能な要素103の如何なる閉塞部分をも検出してもよい。そして、これらの閉塞部分は、名目上閉塞部分として指定され、次の検出/処理においては無視される。
【0145】
幾つかの実施形態では、名目上閉塞部分の、より動的で自動的な指定が実行される。詳しくは、光学的に識別可能な要素の閉塞部分は、閉塞の期間が閾値を超えた場合に、名目上閉塞部分として指定されてもよい。例えば、その閾値は、20秒のように固定されたものでもよい。これは、(半)静止対象物が、閉塞処理の中で、自動的に検出されて無視されることを確実にし、それにより、その処理を新たに閉塞される部分に限定する。それ故、自動的で連続的なキャリブレーション較正が実現できる。
【0146】
これは、例えば、室内の人を検出する応用例で特に有利であり、そこでは、例えば家具(テーブルや椅子)の存在は関心がない。一般的には、人は部屋を動き回り、例えば椅子よりも動的であるだろう。人の存在を検出するため、閉塞部分に属する各画素(u、v)の検出条件は、例えば、修正されて、その画素の閉塞が所定の時間間隔よりも短いものでなければならないことを要求してもよい:
【0147】
【数16】
第2の条件は、Tmaxよりも長い間、或る画素が、光学的に識別可能な要素103を表すものと表すものと考えられる要件の範囲外である場合には、その画素は静止対象物の一部として解釈され、検出からは除外され、即ち、その画素は名目上閉塞部分に属すると考えられる。その画素が再度Sに属するとすぐ(即ち、もう閉塞がない)、タイマーτはゼロにリセットされる。これは、椅子が動いた場合に、始めは人物として検出されるが、Tmaxよりも長く停止していると、その処理では再度無視されることを意味する。実際は、本システムの初期化のときに既に検出領域に家具があるかもしれず、上述のアプローチは、Tmax秒後(一般的には、幾らかの追加の初期化時間を加えて)に、本システムが初期化されることを確保する。
【0148】
幾つかの実施形態では、本システムは、また、異なる照明条件を反映するように動的に更新されてもよい。例えば、rback,gback,bbackの色からなる背景画像はカメラの設置のときに初期化されてもよい。一日の時間の間、照明条件は変化するだろうし、それに伴ってその背景画像は更新されてもよい。公知の光学的特性を備えた要素を使用しないシステムにとって、これは、「失われた対象物」が「間違った背景」になるので問題になることがある。しかし、公知で区別可能な光学的特性を備えた光学的に識別可能な要素103は、その背景を確実に更新することを可能にする。
【0149】
本明細書で説明したシステムは、多くの変形適応例に使用してもよいことは理解されるだろう。
【0150】
例えば、室内又は廊下での人の存在検知や、人物の大まかな位置予測として手軽に使用されてもよい。本明細書で説明した、床の上の対象物の2次元位置を判定する方法は、人の足に適用してもよい。幾つかの実施形態では、閉塞画素数(光学的に識別可能な要素に対応する線に沿った距離)が判定され、カメラまでの距離で正規化される。(正規化された)閉塞画素数が所定の閾値を超えている場合に(一方、名目上閉塞部分に属する全閉塞画素を無視する)、人の存在が検出されてもよい。
【0151】
他の例示的な応用例は、人の歩行速度の判定である。例えば、閉塞の存在の時間が歩行速度を判定するのに使用されてもよい。例えば、図15で示すように、複数のカメラが廊下に沿って備え付けられ、足のマッピング方法が、各カメラに対し人の足の位置を予測するのに使用されてもよい。そして、これは、人の歩行速度予測に変換されてもよい。一般的な歩行パタン(どのように閉塞形状が変化するか、例えば、2,3の線状断面の閉塞)は、また、例えば、室内でプレイされるゲームで人物を識別するのに使用されてもよい。
【0152】
他の例は、人の大きさの予測である。詳しくは、人の足のサイズが、予測z座標と対応する閉塞部分の大きさとから予測されてもよい。
【0153】
そうした特徴は、例えば、より進んだ検出を提供するために使用されてもよい。例えば、判定された特徴が、異なる人物間で区別するのに使用されてもよい。これは、例えば、子供と大人の間で、又は既知の人物と侵入者と考えられる人との間での区別をするのに使用されてもよい。
【0154】
本システムは、例えば、子供が子供の禁止区域の範囲内にいるか近づいているかを自動的に検出できる、子供保護又は検出システムの一部として使用されてもよい。例えば、子供が危険区域に近づくと、アラームを発することができる。そうした検出は、閉塞部分が、危険区域に関連付けられる光学的に識別可能な要素103の区域に近づくことを検出することに基づいてなされる。
【0155】
他の例として、本システムは、閾値を越えるサイズを有する閉塞部分を表す閉塞特性に応じて、生き物の落下を検出するよう構成されてもよい。例えば、床に寝ている人物は、一般に、大きな対象物を表し、大きな閉塞部位をもたらす。それ故、例えば高齢者用の落下検出システムは、所定の閾値よりも大きい対象物が検出された場合に、落下アラームを発生することで実現されてもよい。もちろん、そうした子供や高齢者の観察システムでは、本システムは全体の部分を形成し、従って、例えば追加のカメラやセンサを有し、迅速に判定される関心領域において何が正確に起こっているかを判断してもよいし(例えば、写真を、例えばベビーフォンのペアレントユニットディスプレイのような観察ユニットへ送信したり、又は、例えばアパートメント建物や高齢者住宅のモニタを備えた専用のモニタリングステーションへ送信する)、叫び声のような音声が分析等されてもよい。
【0156】
更に他の例として、本システムは、ゲームの応用例に用いられてもよく、ユーザの足の位置が連続的且つ動的に検出され、ゲームをコントロールするように使用されてもよい。例えば、ダンスゲームは、人物が自由に部屋を動きまわるところで実施化されることができ、ユーザの足をマッピングすることを可能にする。他の例として、室内の床に接触するボールや他のゲームの要素が検出され、ゲームに組み込まれることができる。
【0157】
サッカーゲームでは、本システムは、ゴール、ボール及び人の脚が表示されるスクリーンにリンクされてもよい。そのスクリーンは、TVセット、ゲームのプレーヤによって使い古されたメガネ、及び/又は、ゲームの一部としてパッケージされたディスプレイの部分であってもよい。視覚的なフィードバックは、立体(3D)表示方法を用いてもよい。スクリーン上のボールは、彼又は彼女がバーチャルなボールをヒットするとき、人の脚に反応してもよい。そのボールが受け取る方向は、彼又は彼女がバーチャルにボールをヒットする前に、その人の脚の動きに依存してもよい。音や光によるフィードバックがプレーヤへのフィードバックとして供給されてもよい。これを実行する電子部品は、光学的に識別可能な要素及び/又はカメラユニットの内部に形成されてもよい。本システムは、室内に子供の遊び場を作り出すのに使用されてもよく、例えば、床の上に垂らされる柔らかい生地を使用して、サークル、楕円、又は他の形状を形成することができる。この柔軟な設置は、外で行われてもよく、庭の芝の上に置かれてもよい。子供及び/又はおもちゃの位置は、スマートフォン上のディスプレイに送信することもできる。
【0158】
更に他の例として、本システムは、スポーツトレーニング装置の一部として使用されてもよい。例えば、テニスグランドが、光学的に識別可能な要素に取り囲まれてもよく、テニスプレーヤの足の位置と方向とは、後のレビューのために記録される。これらの位置データは、他のカメラデータと組み合わされてもよく、本システムを役立つトレーニング道具にする。
【0159】
更に他の例として、本システムは、廊下のような所定の領域の範囲内で、人物の動きを判断するように使用されてもよい。これは、例えば、美術館(ソフトなアプローチモードで構成され、誤ったアラームを減らし、どのようにして人物が美術品に近づくか、例えば、その人物がゆっくりとやって来て少々接近しすぎそこに留まるかどうか等を分析することもできる。)や工場内でパタンの動きを判定するのに有益である。
【0160】
幾つかの実施形態では、検出領域内の他の対象物の存在は、重要であることがある。そうした実施形態では、他の光学的に識別可能な要素を室内の1つ以上の対象物の上に置くことが有利であり、他の光学的に識別可能な要素は、他の光学的特性を有する。例えば、壁に配置された元の光学的に識別可能な要素は、明るい赤であってもよく、対象物(例えばテーブルや椅子)に配置された要素は明るい黄色であってもよい。
【0161】
そうした実施形態では、検出器403は、画像内の他の光学的に識別可能な要素を、その光学的特性に応じて、検出する。閉塞プロセッサ405は、光学的に識別可能な要素と他の光学的に識別可能な要素との両方に対する1つの閉塞特性として、その光学的特性及び他の光学的に識別可能な要素に応じて、閉塞特性を決定してもよい。例えば、赤と黄色の部分の閉塞は、同じ対象物に対応する閉塞部分に併合されてもよい。そして、座標の判定が、然るべく処理されてもよい。
【0162】
図16は、どのように部屋の中で、又は、例えばビーチや街角で、例えばゲームボードのようなバーチャル世界を作るか(例えば、別個に販売しアップグレードできる)を示している。光学的に識別可能な要素は、フレキシブルチューブ1601として分離して販売してもよく、又は、スカーフであってもよい。領域の境界を定めるためにそのチューブを使用してもよく、その領域は、識別要素1610に対応して覆われており、例えば、その領域の識別情報(例えば、テキスト“Jail”又は、歩行者の交差点のようなゲームストリートの境界、又は、ペイントされた木のような画像要素)を含むカーペット要素や開くことのできるフォイルである。カメラ収容ユニット1622を購入してもよく、それは例えばソフトなポットでもよい(ボールがそこに投げられるように)。これは、幾つかのカメラ又は対のカメラセットを予め有してもよい(例えば、90度の直交象限ごとに1つ)。ここに示されるのは、外部接続1624に固定して接続される第1カメラ1625と第2カメラ1626であるが、一般的には、それらはポット内部に埋め込まれて保護されてもよい。そのポットは少なくとも1つのスロット1630を示し、そこには少なくとも1つのカメラ収容デバイス1620(例えば携帯電話)が置かれてもよい。これは、一般的には、ソフトな圧縮可能な緩衝材を備えたスロットであり、幾つかの電話の形状が収納できる。保護用のソフトなふた1632は、電話を保護する。スリット1631は、カメラが外を見るのを可能にする(一般的には逆さまに挿入される)。携帯電話は、他の付属の電話と(例えばその取得された画像データを)通信してよく、その電話は、近接のスロット内に装置を有する他の携帯電話、又は、他の光学的に識別可能な要素1604スロット1605内に挿入されるカメラデバイス、又は、何れかの場所に位置する他のカメラデバイスでもよい。一般的には、そうした携帯デバイスは、ゲームのシナリオをエンコードするアプリケーションを実行することもでき、そして、データをそのディスプレイにフィードバックしてもよい(他の保護用ふた1633を剥がすことにより、見ることもできる)。そうした携帯デバイス用のジャケット1660を販売してもよく、床に置いたり固定する脚や吸着カップのような位置づけ要素1661、1662、第2携帯デバイスを取り付ける金具のような接続デバイス1663を有し、第1の携帯デバイスはそのジャケット内に入れられている(それも緩衝素材で作られ、第2の携帯デバイスも緩衝材のジャケットに入れられる)。このようにして、ユーザの2つの(1つでも)携帯電話から、画像取得する必要なカメラ機器を手軽に配置することができる。1604と1602は、領域(例えば、バーチャルゲームボードやバーチャルルーム等のフィールド)の境界を区切るために使用される接続手段1603を備えた2つの要素である。それらのうち1つ以上は、1つ以上のカメラを含んでもよい。そして、その領域が閉じられているなら、その内部のイベントは、メインカメラ収容ユニット1622によっては見えないだろうが、自身のカメラ(群)1606によってモニタすることが可能である。カメラ又は光学的に識別可能な要素のどちらかが、パーソナルコンピュータのような他の機器と通信するよう通信手段を有してもよいことに留意すべきである。光学的識別ブロック1640と1642は、コンポーネントの2つの別の例を示し、それらは、システムを組み立てるのに使用され、ハード(硬質)素材から組み立てられ、この例では垂直方向に積み重ね可能である。ハードブロックの1つは、ディスプレイ1646を含み、ゲーム情報をフィードバックするのに使用でき、(潜在的には時間内に修正可能な)光学的に識別可能なマーカーを供給するのにも使用できる。例えば、アヒルのアイコンがブロック上に現れるとき、それはウォータープールとして機能してもよいが、頭蓋骨を示すときはプールの水は毒入りである。プレーヤは、“プールに飛び込む”とき、このことに気づかないかもしれないが、システムは気づくので、そのプレーヤは、毒に飛び込みポイントを失うだろう。また、例示的な多色パターン1644が示される。タイルは黄色である一方で、これらの、例えば赤、緑、及び青の局所的な色は、ゲームの状況の識別、例えばその閉塞に役立つ。そうしたコンポーネントを使用することにより、多数の応用例がオンザフライで構築されることが可能であり、単にゲームに役立つだけでなく、地域モニタリングや産業用製造等の、より重要な応用例にも役立つことは理解されるべきである。
【0163】
上述の説明は、明確性のため、各種の機能ユニットやプロセッサを参照して、本発明の実施形態群を述べたものであることは理解されるだろう。しかしながら、各種の機能ユニットやプロセッサの間で如何なる適切な機能の配置分配も、本発明の価値を損ねることなく使用されてもよいことは明らかであろう。例えば、分離したプロセッサやコントローラによって実現されるべき例示の機能は、同じプロセッサ又はコントローラによって実行されてもよい。それ故、特定の機能ユニットへの参照は、厳密な論理的又は物理的な構造又は組織を示すよりも、説明した機能性を供給する適切な手段への参照として単に捉えられるべきである。
【0164】
本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの如何なる組合せを含む如何なる適切な形態でも実現することができる。本発明は、任意的には、1つ以上のデータプロセッサ及び/又はデジタル信号プロセッサ上でランするコンピュータソフトウェアとして、少なくとも部分的に実現されてもよい。本発明の実施形態の要素及びコンポーネントは、如何なる適切な方法でも、物理的に、機能的に及び論理的に実施されてもよい。実際には、機能性は単一のユニットで、複数のユニットで、又は他の機能のユニットの一部として実施されてもよい。こうして、本発明は、単一のユニットで実施されてもよく、又は、異なるユニット及びプロセッサの間に物理的に且つ機能的に分配されてもよい。
【0165】
本発明は幾つかの実施形態群と関連して説明したが、本明細書で説明された特定の形態に限定されることを意図していない。逆に、本発明の適用範囲は、添付のクレームのみによって限定される。追加的に、或る特徴が特定の実施形態群と関連して説明されていると思われることがあるが、当業者であれば、その説明した実施形態群の様々な特徴は、本発明に従って組み合わせてもよいと認識するだろう。クレームでは、「含む」の語は、他の要素群又はステップ群の存在を排除しない。
【0166】
さらに、個別に記載されていても、複数の手段群、要素群、又は方法のステップ群は、例えば単一のユニット又はプロセッサによって実施されてもよい。追加的に、個々の特徴群は、様々なクレームに含まれていても、おそらくはこれらは有利に組み合わされてもよく、各種のクレームに含まれることは、特徴の組合せが実現可能でないこと及び/又は有利でないことを意味するものではない。また、クレームの或るカテゴリーに或る特徴を含むことは、このカテゴリーへの限定を意図せず、むしろ、その特徴は必要に応じて他のクレームカテゴリーに等しく適用可能であることを示す。さらに、クレーム中の特徴の順序は、その特徴が作動されなければならない如何なる特定の順序をも意図せず、そして、特に方法クレーム中の個々のステップの順序は、そのステップ群がこの順序で実行されなければならないことを意図しない。逆に、そのステップ群は如何なる適切な順序で実行されてもよい。加えて、単数の言及は、複数を排除しない。従って、“a”,“an”,“first”,“second”
等の言及は、複数を除外しない。クレーム中の参照符号は単に例を明確にするのに用いられ、如何なる形式であれクレームの適用範囲を限定するものとして解釈されるべきではない。
【図面の簡単な説明】
【0167】
本発明の実施形態は、単に例示として、図面を参照して説明される。
【図1】図1は、本発明の幾つかの実施形態に従った、深さ位置の判定システムを示す図である。
【図2】図2は、図1の設定に関する配置形状の一例を示す。
【図3】図3は、図1のシステムのカメラによって取得された画像の例を示す。
【図4】図4は、本発明の幾つかの実施形態に従った、深さ位置判定の処理装置の幾つかの要素の一例を示す。
【図5】図5は、図3の画像の閉塞部分の検出の一例を示す。
【図6】図6は、図3の画像の閉塞部分の検出の一例を示す。
【図7】図7は、図1のシステムのカメラによって取得された画像の一例を示す。
【図8】図8は、図7の画像の閉塞部分の検出の一例を示す。
【図9】図9は、図1の設定に関する配置形状の一例を示す。
【図10】図10は、図1のシステムのカメラによって取得された画像の概略図の一例を示す。
【図11】図11は、本発明の幾つかの実施例に従った、深さ位置の判定システムの一例を示す。
【図12】図12は、図1の設定に関する配置形状の一例であるが、2つのカメラを用いる。
【図13】図13は、図1の設定に関する配置形状の一例を示す。
【図14】図14は、本発明の幾つかの実施形態に従った、深さ位置判定の処理装置の幾つかの要素の一例を示す。
【図15】図15は、本発明の幾つかの実施形態に従った、深さ位置判定システムの一例を示す。
【図16】図16は、本発明の原理を可能にする幾つかのサブコンポーネントで構築できる例示的なゲームシステムの概略図を示す。
【特許請求の範囲】
【請求項1】
空間の検出領域内にある対象物の位置特徴を判定するシステムであって、該システムは:
前記検出領域の地面上又はその近くに位置づけるための、或る光学的特性を有する光学的に識別可能な要素と;
前記光学的に識別可能な要素の向かいに前記検出領域を隔てて位置づけるためのカメラであって、該カメラは前記検出領域と前記光学的に識別可能な要素とを含む画像を取得するように構成され;
前記光学的特性に応じて、前記画像内の光学的に識別可能な要素を検出する検出器と;
前記光学的特性に応じて、前記画像内の光学的に識別可能な要素の少なくとも1つの閉塞の閉塞特性を判定する閉塞プロセッサと;
前記閉塞特性に応じて、深さ位置を判定する位置判定プロセッサであって、該深さ位置は前記カメラの光軸に沿った前記対象物の位置を表す、位置判定プロセッサと、を有するシステム。
【請求項2】
請求項1に記載の対象物の位置特徴を判定するシステムであって、部屋の空間内に設置されており、当該システムは:
前記部屋の検出領域のため、背景表面上に位置づけられる、光学的特性を有する光学的に識別可能な要素と;
前記光学的に識別可能な要素の向かいに前記検出領域を隔てて位置づけられるカメラであって、該カメラは前記検出領域と前記光学的に識別可能な要素とを含む画像を取得するように構成され;
前記光学的特性に応じて、前記画像内の光学的に識別可能な要素を検出する検出器と;
前記光学的特性に応じて、前記画像内の光学的に識別可能な要素の少なくとも1つの閉塞の閉塞特性を判定する、閉塞プロセッサと;
前記閉塞特性に応じて、深さ位置を判定する、位置判定プロセッサであって、該深さ位置は前記カメラの光軸に沿った前記対象物の位置を表す、位置判定プロセッサと、を有するシステム。
【請求項3】
前記光学的に識別可能な要素は、壁に貼り付けられるか、又は、人工的な境界を形成するように使用される細長い要素であって、前記壁の高さの半分よりも低く空間的に限定される、請求項1又は2に記載のシステム。
【請求項4】
前記位置プロセッサは、前記光学的に識別可能な要素の閉塞部分に関連づけられた前記画像の画像対象物を判定し;そして、前記画像対象物の画像特徴に応じて前記深さ位置を生成するよう構成される、請求項1又は2に記載のシステム。
【請求項5】
前記画像特徴は、前記光学的に識別可能な要素から離れる画像の方向で、前記画像対象物の伸張を表す、請求項1又は2に記載のシステム。
【請求項6】
前記位置プロセッサは:
前記部屋の床に対応する他の画像対象物を検出し;
前記画像対象物と前記他の画像対象物との間の部分境界を判定し;そして、
前記光学的に識別可能な要素と前記部分境界との間の画像に応じて、前記深さ位置を判定するよう構成される、請求項4に記載のシステム。
【請求項7】
請求項1又は2に記載のシステムは、更に:
前記光学的に識別可能な要素から前記検出領域を隔てて向かいに位置づけられる他のカメラであって、該他のカメラは、前記検出領域と前記光学的に識別可能な要素とを含む他の画像を取得し;そして、
前記検出器は、前記光学的特性に応じて、前記他の画像内の光学的に識別可能な要素を検出するよう更に構成され;
前記閉塞プロセッサは、前記光学的特性に応じて、前記他の画像内の光学的に識別可能な要素の少なくとも1つの閉塞の他の閉塞特性を判定するように構成され;そして、
前記位置プロセッサは、前記閉塞特性と前記他の閉塞特性との両方に応じて、前記深さ位置を判定するよう構成される、システム。
【請求項8】
前記位置プロセッサは、前記画像内の閉塞部分と前記他の画像内の閉塞部分との間の相対的な画像位置の相違に応じて、前記深さ位置を判定するよう構成される、請求項7記載のシステム。
【請求項9】
前記深さ位置と、前記光学的に識別可能な要素の少なくとも1つの閉塞画像部分の画像サイズとに応じて、前記対象物のサイズ予測を判定するよう構成される、サイズプロセッサを更に有する、請求項1又は2に記載のシステム。
【請求項10】
前記対象物は人又は人でない生物であって、前記閉塞特性に応じて、検出領域内の前記生物の存在を検出する検出プロセッサを更に含む、請求項1又は2に記載のシステム。
【請求項11】
前記検出プロセッサは、前記画像内の光学的に識別可能な要素の閉塞の動的な変化に応じて、前記存在を検出するよう構成される、請求項10記載のシステム。
【請求項12】
前記検出プロセッサは、前記動的な変化に応じて、前記生物の少なくとも1つの第1の特徴と前記生物の行動とを判定するよう構成される、請求項11記載のシステム。
【請求項13】
前記検出器は、前記光学的特性に一致する画像特徴を有する画像領域の検出に応じて、前記光学的に識別可能な要素に対応する画像の幾何学的領域を予測するよう構成され、そして、前記閉塞プロセッサは、前記光学的特性に一致しない画像特徴を有する幾何学的領域の閉塞部分を識別するよう構成される、請求項1又は2に記載のシステム。
【請求項14】
前記部屋内の前記光学的に識別可能な要素の名目上閉塞部分のセットを判定するよう更に構成され;そして、前記位置プロセッサは、前記名目上閉塞部分の前記閉塞特性を補償するよう構成される、請求項1又は2に記載のシステム。
【請求項15】
前記閉塞の持続時間が閾値を超えた場合、前記光学的に識別可能な要素を名目上閉塞部分として指定するよう更に構成される、請求項14に記載のシステム。
【請求項16】
閉塞分析ユニットを含む、請求項1記載のシステムであって、前記閉塞分析ユニットは、少なくとも1つの取得画像内の少なくとも或る空間領域の光学的特性を分析するものであり、前記少なくとも1つの取得画像は、前記光学的に識別可能な要素と閉塞対象物とのうち少なくとも1つに対応する全画素である、システム。
【請求項17】
カメラ収容ユニットを有する請求項1記載のシステムであって、該カメラ収容ユニットは、少なくとも1つの携帯型カメラ又は少なくとも1つのカメラ付携帯型デバイスが挿入されることを可能にする収容領域を備える、システム。
【請求項18】
少なくとも2つのカメラ付携帯型デバイスと、該少なくとも2つのカメラ付携帯型デバイスの間で調整するソフトウェアとを有し、前記調整には、前記少なくとも2つのカメラ付携帯型デバイスから取得した画像を比較することを少なくとも含む、請求項1記載のシステム。
【請求項19】
空間の検出領域内にある対象物の位置特徴を判定する方法であって、当該方法は:
或る光学的特性を有する光学的に識別可能な要素を、部屋の検出領域のため、地面上又はその近くに位置付けるステップと;
カメラを前記光学的に識別可能な要素の向かいに前記検出領域を隔てて位置付けるステップであって、前記カメラは前記検出領域と前記光学的に識別可能な要素とを含む画像を取得する、ステップと;
前記光学的特性に応じて、前記画像内の光学的に識別可能な要素を検出するステップと;
前記光学的特性に応じて、前記画像内の光学的に識別可能な要素の少なくとも1つの閉塞の閉塞特性を判定するステップと;
前記閉塞特性に応じて、深さ位置を判定するステップであって、該深さ位置は前記カメラの光軸に沿った前記対象物の位置を表す、ステップと、を含む方法。
【請求項1】
空間の検出領域内にある対象物の位置特徴を判定するシステムであって、該システムは:
前記検出領域の地面上又はその近くに位置づけるための、或る光学的特性を有する光学的に識別可能な要素と;
前記光学的に識別可能な要素の向かいに前記検出領域を隔てて位置づけるためのカメラであって、該カメラは前記検出領域と前記光学的に識別可能な要素とを含む画像を取得するように構成され;
前記光学的特性に応じて、前記画像内の光学的に識別可能な要素を検出する検出器と;
前記光学的特性に応じて、前記画像内の光学的に識別可能な要素の少なくとも1つの閉塞の閉塞特性を判定する閉塞プロセッサと;
前記閉塞特性に応じて、深さ位置を判定する位置判定プロセッサであって、該深さ位置は前記カメラの光軸に沿った前記対象物の位置を表す、位置判定プロセッサと、を有するシステム。
【請求項2】
請求項1に記載の対象物の位置特徴を判定するシステムであって、部屋の空間内に設置されており、当該システムは:
前記部屋の検出領域のため、背景表面上に位置づけられる、光学的特性を有する光学的に識別可能な要素と;
前記光学的に識別可能な要素の向かいに前記検出領域を隔てて位置づけられるカメラであって、該カメラは前記検出領域と前記光学的に識別可能な要素とを含む画像を取得するように構成され;
前記光学的特性に応じて、前記画像内の光学的に識別可能な要素を検出する検出器と;
前記光学的特性に応じて、前記画像内の光学的に識別可能な要素の少なくとも1つの閉塞の閉塞特性を判定する、閉塞プロセッサと;
前記閉塞特性に応じて、深さ位置を判定する、位置判定プロセッサであって、該深さ位置は前記カメラの光軸に沿った前記対象物の位置を表す、位置判定プロセッサと、を有するシステム。
【請求項3】
前記光学的に識別可能な要素は、壁に貼り付けられるか、又は、人工的な境界を形成するように使用される細長い要素であって、前記壁の高さの半分よりも低く空間的に限定される、請求項1又は2に記載のシステム。
【請求項4】
前記位置プロセッサは、前記光学的に識別可能な要素の閉塞部分に関連づけられた前記画像の画像対象物を判定し;そして、前記画像対象物の画像特徴に応じて前記深さ位置を生成するよう構成される、請求項1又は2に記載のシステム。
【請求項5】
前記画像特徴は、前記光学的に識別可能な要素から離れる画像の方向で、前記画像対象物の伸張を表す、請求項1又は2に記載のシステム。
【請求項6】
前記位置プロセッサは:
前記部屋の床に対応する他の画像対象物を検出し;
前記画像対象物と前記他の画像対象物との間の部分境界を判定し;そして、
前記光学的に識別可能な要素と前記部分境界との間の画像に応じて、前記深さ位置を判定するよう構成される、請求項4に記載のシステム。
【請求項7】
請求項1又は2に記載のシステムは、更に:
前記光学的に識別可能な要素から前記検出領域を隔てて向かいに位置づけられる他のカメラであって、該他のカメラは、前記検出領域と前記光学的に識別可能な要素とを含む他の画像を取得し;そして、
前記検出器は、前記光学的特性に応じて、前記他の画像内の光学的に識別可能な要素を検出するよう更に構成され;
前記閉塞プロセッサは、前記光学的特性に応じて、前記他の画像内の光学的に識別可能な要素の少なくとも1つの閉塞の他の閉塞特性を判定するように構成され;そして、
前記位置プロセッサは、前記閉塞特性と前記他の閉塞特性との両方に応じて、前記深さ位置を判定するよう構成される、システム。
【請求項8】
前記位置プロセッサは、前記画像内の閉塞部分と前記他の画像内の閉塞部分との間の相対的な画像位置の相違に応じて、前記深さ位置を判定するよう構成される、請求項7記載のシステム。
【請求項9】
前記深さ位置と、前記光学的に識別可能な要素の少なくとも1つの閉塞画像部分の画像サイズとに応じて、前記対象物のサイズ予測を判定するよう構成される、サイズプロセッサを更に有する、請求項1又は2に記載のシステム。
【請求項10】
前記対象物は人又は人でない生物であって、前記閉塞特性に応じて、検出領域内の前記生物の存在を検出する検出プロセッサを更に含む、請求項1又は2に記載のシステム。
【請求項11】
前記検出プロセッサは、前記画像内の光学的に識別可能な要素の閉塞の動的な変化に応じて、前記存在を検出するよう構成される、請求項10記載のシステム。
【請求項12】
前記検出プロセッサは、前記動的な変化に応じて、前記生物の少なくとも1つの第1の特徴と前記生物の行動とを判定するよう構成される、請求項11記載のシステム。
【請求項13】
前記検出器は、前記光学的特性に一致する画像特徴を有する画像領域の検出に応じて、前記光学的に識別可能な要素に対応する画像の幾何学的領域を予測するよう構成され、そして、前記閉塞プロセッサは、前記光学的特性に一致しない画像特徴を有する幾何学的領域の閉塞部分を識別するよう構成される、請求項1又は2に記載のシステム。
【請求項14】
前記部屋内の前記光学的に識別可能な要素の名目上閉塞部分のセットを判定するよう更に構成され;そして、前記位置プロセッサは、前記名目上閉塞部分の前記閉塞特性を補償するよう構成される、請求項1又は2に記載のシステム。
【請求項15】
前記閉塞の持続時間が閾値を超えた場合、前記光学的に識別可能な要素を名目上閉塞部分として指定するよう更に構成される、請求項14に記載のシステム。
【請求項16】
閉塞分析ユニットを含む、請求項1記載のシステムであって、前記閉塞分析ユニットは、少なくとも1つの取得画像内の少なくとも或る空間領域の光学的特性を分析するものであり、前記少なくとも1つの取得画像は、前記光学的に識別可能な要素と閉塞対象物とのうち少なくとも1つに対応する全画素である、システム。
【請求項17】
カメラ収容ユニットを有する請求項1記載のシステムであって、該カメラ収容ユニットは、少なくとも1つの携帯型カメラ又は少なくとも1つのカメラ付携帯型デバイスが挿入されることを可能にする収容領域を備える、システム。
【請求項18】
少なくとも2つのカメラ付携帯型デバイスと、該少なくとも2つのカメラ付携帯型デバイスの間で調整するソフトウェアとを有し、前記調整には、前記少なくとも2つのカメラ付携帯型デバイスから取得した画像を比較することを少なくとも含む、請求項1記載のシステム。
【請求項19】
空間の検出領域内にある対象物の位置特徴を判定する方法であって、当該方法は:
或る光学的特性を有する光学的に識別可能な要素を、部屋の検出領域のため、地面上又はその近くに位置付けるステップと;
カメラを前記光学的に識別可能な要素の向かいに前記検出領域を隔てて位置付けるステップであって、前記カメラは前記検出領域と前記光学的に識別可能な要素とを含む画像を取得する、ステップと;
前記光学的特性に応じて、前記画像内の光学的に識別可能な要素を検出するステップと;
前記光学的特性に応じて、前記画像内の光学的に識別可能な要素の少なくとも1つの閉塞の閉塞特性を判定するステップと;
前記閉塞特性に応じて、深さ位置を判定するステップであって、該深さ位置は前記カメラの光軸に沿った前記対象物の位置を表す、ステップと、を含む方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【公表番号】特表2013−517542(P2013−517542A)
【公表日】平成25年5月16日(2013.5.16)
【国際特許分類】
【出願番号】特願2012−547581(P2012−547581)
【出願日】平成23年1月10日(2011.1.10)
【国際出願番号】PCT/IB2011/050084
【国際公開番号】WO2011/086484
【国際公開日】平成23年7月21日(2011.7.21)
【出願人】(590000248)コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Fターム(参考)】
【公表日】平成25年5月16日(2013.5.16)
【国際特許分類】
【出願日】平成23年1月10日(2011.1.10)
【国際出願番号】PCT/IB2011/050084
【国際公開番号】WO2011/086484
【国際公開日】平成23年7月21日(2011.7.21)
【出願人】(590000248)コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Fターム(参考)】
[ Back to top ]