奥行き画像内の物体を検出する方法およびシステム
【課題】画像内の物体を検出するスキャンウィンドウ手法であって、計算効率が良い方法で、奥行き画像内の物体を検出する方法を提供する。
【解決手段】奥行き画像内の物体を検出する方法が、奥行き画像内の領域を覆う検出ウィンドウを決定することを含み、該検出ウィンドウのロケーションは、奥行き画像内の候補ピクセルのロケーションに基づき、検出ウィンドウのサイズは、候補ピクセルの奥行き値および物体のサイズに基づいている。検出ウィンドウ内の前景領域が、候補ピクセルの奥行き値および物体のサイズに基づいてセグメント化される。特徴ベクトルが、前景領域内のピクセルの奥行き値に基づいて求められ、特徴ベクトルが分類されて、物体が検出される。
【解決手段】奥行き画像内の物体を検出する方法が、奥行き画像内の領域を覆う検出ウィンドウを決定することを含み、該検出ウィンドウのロケーションは、奥行き画像内の候補ピクセルのロケーションに基づき、検出ウィンドウのサイズは、候補ピクセルの奥行き値および物体のサイズに基づいている。検出ウィンドウ内の前景領域が、候補ピクセルの奥行き値および物体のサイズに基づいてセグメント化される。特徴ベクトルが、前景領域内のピクセルの奥行き値に基づいて求められ、特徴ベクトルが分類されて、物体が検出される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には、画像内の物体の検出に関し、より詳細には、奥行き画像内の物体の検出に関する。
【背景技術】
【０００２】
物体検出は、デジタル画像およびデジタルビデオにおけるある特定の分類の意味論的物体（人間、建物、または車等）のインスタンスの検出を取り扱うコンピュータービジョンおよび画像処理の用途に関連している。物体検出は、画像検索およびビデオ監視を含むコンピュータービジョンの多くの分野において用途を有する。しかしながら、従来の物体検出方法は、いくつかの問題を有する。
【０００３】
例えば、ほとんどの従来の監視システムの主な欠点は、可視光カメラに依存しているということである。物体を検出するほとんどの方法は、可視光画像または可視光ビデオを対象にしており、人工の光源を設けることなく、夜に機能することはない。一方、そのような解決法は、高価になる可能性があり、いくつかの監視用途には適用することができない。
【０００４】
また、画像内の物体を検出する従来の方法には、スキャンウィンドウ手法も含まれる。これらの方法では、分類器が、画像内で既知の一定サイズの全ての長方形パッチを「スキャン」する。分類器は、画像パッチを入力画像として取り込み、その画像パッチが物体を含むか否かに応じた２値結果を出力する。より大きなスケールで物体を検出するために、入力画像は、より小さな画像にスケールダウンされ、分類器は、そのスケールダウンされた画像上でスキャンされる。スケーリングは、サイズ変更された画像がパッチのサイズよりも小さくなるまで繰り返し行われる。しかしながら、スキャンウィンドウ手法は、計算が複雑である。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
したがって、上記問題に対処することが当該技術分野で必要とされている。
【０００６】
本主題発明の目的は、奥行き画像または奥行きビデオ内の物体を検出する方法を提供することである。
【０００７】
本発明のさらなる目的は、人々または車等の特定の分類の物体を検出する方法を提供することである。
【０００８】
本発明のさらなる目的は、奥行き画像上で分類器をスキャンする必要がない方法を提供することである。
【０００９】
本発明のさらなる目的は、計算効率が良い方法で、奥行き画像内の物体を検出する方法およびシステムを提供することである。
【課題を解決するための手段】
【００１０】
奥行き画像の１つの利点は、奥行き画像を取得するのに光を必要としない場合があるということである。奥行き画像は、奥行きセンサーによって生成することができる。奥行きセンサーは、奥行き画像内のピクセルごとに、奥行きセンサーからそのピクセルに対応するシーン内の点までの距離の推定値を求める。奥行きセンサーを構築するのに用いられるさまざまな技術があり、技術のほとんどは、光を必要としない。これによって、監視用途のための通常のビデオカメラを上回る利点が奥行きセンサーにもたらされる。しかしながら、奥行きセンサーを用いることによって、奥行き画像内の各ピクセルにおける奥行き値を利用することができる新たな物体検出方法が必要となる。
【００１１】
本発明のいくつかの実施の形態は、奥行き画像内のある分類の物体の近似サイズを、その分類の通常の物体のサイズおよびピクセルの奥行き値に基づいて決定することができるという認識に基づいている。したがって、任意のピクセルについて、検出ウィンドウのサイズを決定することができ、分類器を、そのピクセルを取り囲む検出ウィンドウに適用するだけでよい。したがって、分類器のスキャンを回避することができ、その結果、本方法の効率性が改善される。
【００１２】
奥行き値の関数としての検出ウィンドウのサイズは、あらかじめ決定しておくこともできるし、または奥行きセンサーの動作中に計算することもできる。例えば、検出ウィンドウのさまざまなサイズをルックアップ値に記憶することができ、奥行き値をキーとして用いて、ルックアップテーブルから検索することができる。したがって、物体検出中の検出ウィンドウのサイズの計算を回避することができ、物体検出の効率性を改善することができる。また、検出ウィンドウのサイズは、分類器をトレーニングするのに用いられた姿勢に対応する物体のさまざまな姿勢について決定することができる。また、検出ウィンドウのサイズは、奥行きセンサーの解像度に基づいて決定することができ、さまざまな用途に再利用することができる。
【００１３】
さらに、検出ウィンドウ内の前景領域のセグメント化を、検出物体内のピクセルの奥行き値、および物体のサイズ、例えば、物体の奥行きに基づいて決定することができる。したがって、物体の検出は、この前景領域について行うことができ、前景領域は、分類器の効率性および正確度を改善するように正規化することができる。加えて、奥行き値を用いたセグメント化によって、特徴ベクトルを計算するのに用いることができる粗いシルエットが得られる。
【００１４】
その上、前景領域内のピクセルの数が、しきい値よりも少ない場合、前景領域を、物体を含まないものとして分類することができる。したがって、「見込みのある」領域にのみ分類器を適用することができ、これによって、本方法の効率性がさらに改善される。また、分類器は、該分類器への入力画像の１つのトレーニングサイズについてのみトレーニングすることができる。検出ウィンドウおよび／または前景領域は、物体検出のために、分類器のトレーニングサイズにサイズ変更することができる。
【００１５】
さらに、奥行き画像が、時系列の奥行き画像、例えば、奥行きビデオの一部分である場合、前景領域内のピクセルの奥行き値は、時間的に隣接する奥行き画像からの対応するピクセルの奥行き値を用いて変更することができる。例えば、検出ウィンドウごとに、奥行きデータの時間ボリュームを求めることができ、奥行きデータに基づいて特徴ベクトルを計算することができ、これによって、物体検出の信頼性をさらに改善することができる。
【００１６】
したがって、１つの実施の形態は、奥行き画像内の物体を検出する方法であって、前記奥行き画像内の領域を覆う検出ウィンドウを決定することであって、該検出ウィンドウのロケーションは、前記奥行き画像内の候補ピクセルのロケーションに基づき、前記検出ウィンドウのサイズは、前記候補ピクセルの奥行き値および前記物体のサイズに基づく、決定することと、前記候補ピクセルの前記奥行き値および前記物体の前記サイズに基づいて、前記検出ウィンドウ内の前景領域をセグメント化することと、前記前景領域内のピクセルの数がしきい値よりも少ない場合には、前記前景領域を、前記物体を含まないものとして分類することと、そうでない場合には、前記前景領域を、分類器のトレーニングサイズに基づいてサイズ変更することと、前記前景領域内の前記ピクセルの奥行き値に基づいて、特徴ベクトルを求めることと、前記特徴ベクトルを分類することであって、前記物体を検出する、分類することと、を含む奥行き画像内の物体を検出する方法を開示する。
【００１７】
別の実施の形態は、奥行き画像内の物体を検出する方法であって、候補ピクセルについて、検出ウィンドウのサイズを該候補ピクセルの奥行き値の関数として選択することと、前記奥行き画像内において前記候補ピクセルのロケーションを取り囲んで前記検出ウィンドウを配置することと、前記検出ウィンドウ内のピクセルの奥行き値と前記候補ピクセルの前記奥行き値との間の差が奥行きしきい値よりも大きい場合には、前記ピクセルの前記奥行き値をＮＵＬＬに設定することであって、前記奥行きしきい値の値は、前記候補ピクセルの前記奥行き値および前記物体の奥行きの関数である、設定することと、非ＮＵＬＬ値を有する前記検出ウィンドウ内の前記ピクセルの数がしきい値よりも少ない場合には、前記検出ウィンドウを、前記物体を含まないものとして分類することと、そうでない場合には、前記検出ウィンドウ内の前記ピクセルの非ＮＵＬＬの奥行き値から前記候補ピクセルの前記奥行き値を減算することと、分類器のトレーニングサイズに基づいて前記検出ウィンドウをサイズ変更することと、前記検出ウィンドウ内の前記ピクセルの奥行き値に基づいて特徴ベクトルを求めることと、前記特徴ベクトルを分類することであって、前記物体を検出する、分類することと、を含む奥行き画像内の物体を検出する方法を開示する。
【００１８】
さらに別の実施の形態は、奥行き画像内の物体を検出するシステムを開示する。このシステムは、前記奥行き画像を取得する奥行きセンサーと、奥行き値に基づいて検出ウィンドウのサイズを検索するルックアップテーブルを記憶するメモリと、入力画像内の前記物体を検出する分類器であって、該入力画像はトレーニングサイズを有する、分類器と、該システムの動作中に、前記入力画像が、候補ピクセルを取り囲んで配置された前記検出ウィンドウ内でセグメント化された前景領域を含むように、前記分類器への前記入力画像を決定し、前記分類器を実行して、該入力画像内の前記物体を検出するプロセッサであって、前記検出ウィンドウの前記サイズは、前記候補ピクセルの奥行き値を用いて前記ルックアップテーブルから選択される、プロセッサとを備える。
【図面の簡単な説明】
【００１９】
【図１】本発明のいくつかの実施の形態による奥行き画像内の物体を検出する方法のブロック図である。
【図２】本発明の１つの実施の形態による検出ウィンドウのサイズを決定する概略図である。
【図３】本発明のいくつかの実施の形態によって用いられるルックアップテーブルの３つの例を示す図である。
【図４】いくつかの実施の形態による検出ウィンドウの前景領域の例を示す図である。
【図５】本発明の１つの実施の形態による方法のフローチャートである。
【発明を実施するための形態】
【００２０】
図１は、奥行き画像１１５内の物体を検出する方法１００のブロック図を示している。シーン１０５の奥行き画像は、奥行きセンサー１１０によって取得することができる。奥行きセンサーは、奥行き画像内の各ピクセルが奥行きセンサーとシーン内の対応する物体との間の距離を示す奥行き値を有するような奥行き画像を生成するように構成された任意のタイプのセンサーとすることができる。
【００２１】
例えば、赤外（ＩＲ）光等の光を物体に照射することができ、反射光を検知することによって飛行時間（ＴＯＦ）が測定され、奥行きセンサーから物体の各部分までの距離（奥行き値）が測定される。奥行き画像１１６は、時系列の奥行き画像１１６、例えば、奥行きビデオの一部分とすることができる。方法１００は、プロセッサ１０１を用いて実施することができる。
【００２２】
図２に示すように、奥行き画像内で検出される物体は、特定の分類の物体、例えば、人々または車に属する。本発明のいくつかの実施の形態は、奥行き画像の候補ピクセルごとに、物体を検出する検出ウィンドウのサイズを、候補ピクセルの奥行き値の関数として決定することができるという認識に基づいている。この理由は、物体のサイズが物体の分類からほぼ判明しているからであり、したがって、物体を含むことができる検出ウィンドウのサイズは、奥行きセンサーからの物体の距離に基づいて決定することができる。物体のサイズは、物体の長さ、物体の幅、および物体の奥行きを含むことができる。
【００２３】
例えば、シーン２１０および対応する奥行き画像２２０は、物体２１５、すなわち人、およびその物体の画像をそれぞれ含む。検出ウィンドウ２２５のサイズは、物体に関連付けられた候補ピクセルの奥行き値の関数２３５として決定することができる（２３０）。候補ピクセルは、例えば、順次、一組の候補ピクセルから選択されて解析される。いくつかの実施の形態では、一組の候補ピクセルは、奥行き画像の全てのピクセルを含む。代替的な実施の形態では、一組の候補ピクセルは、奥行き画像の前景ピクセルのみを含むように決定される。他の変形形態も可能である。
【００２４】
図３（Ａ）〜図３（Ｃ）に示すように、本発明のいくつかの実施の形態は、検出ウィンドウのサイズを選択するのに、ルックアップテーブル３１０、３２０、および／または３３０等のルックアップテーブルを用いる。ルックアップテーブルは、プロセッサ１０１に動作可能に接続されたメモリ（図示せず）に記憶することができる。メモリは、奥行きセンサー１１０内とすることもできるし、または、例えば、イントラネットもしくはインターネットを通じてアクセスされるリモートメモリとすることもできる。
【００２５】
例えば、ルックアップテーブルは、ルックアップテーブル３１０を含むことができる。ルックアップテーブル３１０は、一組の奥行き値３１５および検出ウィンドウの一組の対応するサイズ３１６を提供することができ、それによって、候補ピクセルの奥行き値は、検出ウィンドウのサイズを選択するキーとして用いることができる。ルックアップテーブルは、メモリ３１７に記憶することができる。
【００２６】
検出ウィンドウは、あらゆる任意の形状、例えば、正方形、長方形、または円形とすることができる。例えば、検出ウィンドウのサイズは、検出ウィンドウの長さおよび検出ウィンドウの幅を含むことができ、ルックアップテーブル、例えば、ルックアップテーブル３２０の各行は、対応するデータ３２５を含むことができる。
【００２７】
いくつかの実施の形態では、検出ウィンドウの長さは、物体の長さに依存し、検出ウィンドウの幅は、物体の幅に依存する。１つの実施の形態では、検出ウィンドウの長さおよび幅は、物体の姿勢に依存する。姿勢は、物体の３Ｄの並進ロケーションおよび角度方向として規定することができる。
【００２８】
例えば、物体を検出する分類器を１つまたは複数の姿勢についてトレーニングすることができる。また、検出ウィンドウのサイズは、奥行きセンサーの解像度に依存する可能性がある。さまざまな実施の形態では、ルックアップテーブルは、奥行きセンサーの特定のタイプについてあらかじめ決定しておき、このタイプの奥行きセンサー間で共有することもできるし、または奥行きセンサーの動作中に決定することもできる。
【００２９】
図３（Ｃ）は、本発明の１つの実施の形態によるルックアップテーブル３３０の一例を示している。このルックアップテーブルは、ピクセルの奥行き値３３１の値と、奥行きセンサー（複数の場合もあり）の解像度３３５の値と、物体の姿勢（複数の場合もあり）３３６の値と、検出ウィンドウの対応するサイズの値とを含む。検出ウィンドウの対応するサイズの値は、検出ウィンドウの長さ３３２の値と、検出ウィンドウの幅３３３の値と、検出ウィンドウの奥行きしきい値３３４の値とを含むことができる。奥行きしきい値３３４は、物体の奥行きを表し、以下で説明するように、セグメント化に用いることができる。
【００３０】
図１を再び参照すると、検出ウィンドウのサイズが決定された後、検出ウィンドウは、奥行き画像において、奥行き画像内の候補ピクセルのロケーションに基づいて選択されたロケーションに配置される。例えば、１つの実施の形態では、検出ウィンドウは、候補ピクセルを中心とする。次に、検出ウィンドウ内の前景領域がセグメント化される。
【００３１】
前景画像のセグメント化１３０は、候補ピクセルの奥行き値および物体のサイズ、例えば、物体の奥行きに基づくことができる。例えば、１つの実施の形態は、検出ウィンドウ内のピクセルごとに、そのピクセルの奥行き値と候補ピクセルの奥行き値との間の差を求め、この差が、奥行き画像の解像度に基づいてスケーリングされた物体の奥行きよりも大きい場合には、そのピクセルの奥行き値をＮＵＬＬに設定する。例えば、差は、候補ピクセルの奥行き値に基づいて、ルックアップテーブルから検索された奥行きしきい値と比較することができる。検出ウィンドウ内のピクセルについて、差が奥行きしきい値よりも大きい場合には、そのピクセルおよび候補ピクセルが、検出される物体に、ともに属する可能性はない。したがって、そのピクセルは、その候補ピクセルとともに解析されない。
【００３２】
１つの実施の形態では、前景領域は、該前景領域内の前景ピクセルの数、すなわち、検出ウィンドウ内の非ＮＵＬＬのピクセルの数をカウントすることによって予備的に分類することができる（１３５）。例えば、前景領域内のピクセルの数がしきい値よりも少ない場合、前景領域は、物体を含まないものとして分類される（１４０）。１つの実施の形態は、物体のサイズおよび奥行きセンサーの雑音統計量に基づいてしきい値を求める。
【００３３】
例えば、図４に示すように、候補ピクセル４１５を取り囲んで配置された検出ウィンドウ４１０の前景領域は、しきい値よりも多くの数のピクセル、すなわち、９つのピクセルを含む。同様に、候補ピクセル４２５を取り囲んで配置された検出ウィンドウ４２０の前景領域も、しきい値よりも多い可能性のある数のピクセル、すなわち、７つのピクセルを含む。他方、候補ピクセル４３５を取り囲んで配置された検出ウィンドウ４３０の前景領域は、１つのピクセルしか含まず、これは、しきい値よりも少ない可能性があり、したがって、この候補ピクセルの検出ウィンドウは物体を含まない。
【００３４】
したがって、前景領域は、物体を含む可能性があるだけの十分な数のピクセルを含み、いくつかの実施の形態は、各非ＮＵＬＬのピクセルの奥行き値を正規化して、候補ピクセルの距離値に対する依存を排除する。正規化によって、奥行き値は、相対的な奥行きに変えられ、相対的な奥行きは、奥行きセンサーからの物体の距離に対して不変である。例えば、１つの実施の形態は、ピクセルの奥行き値から候補ピクセルの奥行き値を減算する。別の実施の形態は、各非ＮＵＬＬのピクセルの奥行き値を１に設定する。
【００３５】
本発明のいくつかの実施の形態は、分類器のトレーニングサイズに基づいて、検出ウィンドウおよび／または前景画像をサイズ変更する（１４５）。分類器は、一般に、該分類器がトレーニングされるサイズ、すなわち、トレーニングサイズの入力画像のみを受け付ける。サイズ変更は、さまざまな方法を用いて行うことができる。例えば、１つの実施の形態は、双一次補間を用いて、検出ウィンドウを分類器のトレーニングサイズにスケーリングする。他の実施の形態は、例えば、サブサンプリングおよび双三次補間を用いる。
【００３６】
次に、検出ウィンドウの特徴ベクトル１５１が求められる（１５０）。特徴ベクトルは、検出ウィンドウを、物体を含む／含まない（１６０）ものとして分類する（１５５）分類器への入力として用いられる。特徴ベクトルは、例えば、Ｈａａｒ−ｌｉｋｅ特徴、勾配ヒストグラム（ＨｏＧ）、および／または局所２値パターン（ＬＢＰ）を用いて求めることができる。分類器は、物体の結果／物体でない結果、例えば、０の値または１の値を出力する２値分類器とすることもできるし、検出ウィンドウが物体を含む確率、例えば、範囲［０，１］の実数を出力する確率分類器とすることもできる。分類器のタイプには、サポートベクターマシン（ＳＶＭ）、ブースト決定木、ニューラルネットワーク、および最近傍分類器が含まれるが、これらに限定されるものではない。
【００３７】
分類器は、さまざまな機械学習技法のうちの１つを用いてトレーニングすることができる。奥行きセンサーが静止している場合、前景／背景セグメント化の改善にも、また、候補ピクセルの数の削減にも背景モデルを用いて分類器を適用することができる。背景モデルは、取得することもできるし、またはあらかじめ求めることもできる。代替的に、背景モデルは、奥行きセンサーの動作中にオンラインで求めることができる。例えば、前景物体が存在しない場合、ピクセルごとの値の変動がモデル化される。ピクセルの値は、ガウス分布またはガウス分布の和を用いてモデル化することができる。物体（人等）がシーンに入ってくると、その物体に対応するピクセルは、背景モデルからのそれらのピクセルの予想値と一致せず、したがって、前景物体の一部分と識別することができる。背景モデルは、一組の候補ピクセルを求めるのに用いることができる。さらに、背景に対応するピクセルの値は、セグメント化を改善するためにＮＵＬＬに設定することができる。
【００３８】
いくつかの実施の形態では、奥行き画像は、時系列の奥行き画像、例えば、奥行きビデオの一部分である。１つの実施の形態は、前景領域内のピクセルの奥行き値を、時間的に隣接する奥行き画像からの対応するピクセルの奥行き値を用いて変更する。例えば、対応するピクセルの奥行き値を互いから減算することもできるし、または互いに加算することもできる。したがって、検出ウィンドウごとに、奥行きデータの時間ボリュームを求めることができ、奥行きデータに基づいて特徴ベクトルを計算することができ、これによって、物体検出の信頼性をさらに改善することができる。
【００３９】
例えば、奥行きデータの時間ボリューム｛Ｉｔ｝、ｔ＝ｔ−ε，．．．，ｔ＋εを用いてマルチ画像記述子を求めることができる。ここで、ｔは、奥行き画像の時間または順序を表し、εは、時間ボリュームのサイズである。マルチ画像記述子は、時間を通じた物体の動き情報または外観の変化を表す。したがって、特徴ベクトルは、奥行き画像間の差および／またはモーションフローを用いることができる。
【００４０】
例えば、差は、奥行き画像間のピクセルごとの距離を符号化する。例えば、１に等しい時間ボリュームのサイズを用いると、特徴ベクトルは、差分画像｛Ｉｔ−Ｉｔ−１｝に対応する。同様に、モーションフロー特徴は、奥行きデータの時間ボリューム内の各ピクセルの３Ｄの動きを符号化する。フローベクトルＦｔ（ｘ，ｙ）は、時間ｔ−１〜ｔの座標ｘ、ｙを有するピクセルの動きを符号化する。フローベクトルは、例えば、奥行きデータの時間ボリューム上でオプティカルフロー法を用いて求めることができる。最終的なモーションフロー記述子は、奥行きデータの時間ボリューム内の全てのモーションフローベクトルによって与えられる。
【００４１】
図５は、本発明の１つの実施の形態による奥行き画像内の物体を検出する方法のフローチャートを示している。候補ピクセルの検出ウィンドウのサイズが、候補ピクセルの奥行き値の関数として選択され（５１０）、検出ウィンドウが、奥行き画像内において、候補ピクセルのロケーションを取り囲んで配置される（５１５）。検出ウィンドウ内のピクセルの奥行き値は、該ピクセルの奥行き値と候補ピクセルの奥行き値との間の差が奥行きしきい値よりも大きい場合、ＮＵＬＬに設定される（５２０）。奥行きしきい値の値は、候補ピクセルの奥行き値および物体の奥行きの関数である。
【００４２】
非ＮＵＬＬ値を有する検出ウィンドウ内のピクセルの数がしきい値よりも少ない場合、検出ウィンドウは、物体を含まないものとして分類される（５２５）。
【００４３】
そうでない場合、候補ピクセルの奥行き値は、検出ウィンドウ内のピクセルの非ＮＵＬＬの奥行き値から減算され（５３０）、検出ウィンドウは、分類器のトレーニングサイズに基づいてサイズ変更される（５３５）。特徴ベクトルが、検出ウィンドウ内のピクセルの奥行き値に基づいて求められ（５４０）、特徴ベクトルは、分類されて（５４５）、物体が検出される。
【００４４】
本発明の上述した実施の形態は、数多くの方法のうちの任意のもので実施することができる。例えば、実施の形態は、ハードウェア、ソフトウェア、またはそれらの組み合わせを用いて実施することができる。ソフトウェアで実際される場合、ソフトウェアコードは、単一のコンピューター内に設けられているにせよ、複数のコンピューター間で分散されているにせよ、任意の適したプロセッサまたはプロセッサの集合体で実行することができる。そのようなプロセッサは、集積回路部品内に１つまたは複数のプロセッサを有する集積回路として実施することができる。ただし、プロセッサは、任意の適したフォーマットの回路機構を用いて実施することもできる。
【００４５】
また、本明細書で概略を述べたさまざまな方法またはプロセスは、種々のオペレーティングシステムまたはプラットフォームのうちの任意のものを用いる１つまたは複数のプロセッサで実行可能なソフトウェアとしてコード化することができる。加えて、そのようなソフトウェアは、複数の適したプログラミング言語および／またはプログラミングツールもしくはスクリプティングツールのうちのいずれかを用いて記述することができ、あるフレームワークまたは仮想マシンで実行される実行可能なマシン言語コードまたは中間コードとしてコンパイルすることもできる。通常、プログラムモジュールの機能は、さまざまな実施の形態において所望のとおりに結合または分散することができる。
【００４６】
また、本発明の実施の形態は、方法として実施することができ、その一例を提供してきた。その方法の一部分として実行される動作は、任意の適した方法で順序付けることができる。したがって、例示したものとは異なる順序で動作が実行される実施の形態を構築することができ、この順序は、例示の実施の形態では逐次動作として示されていても、いくつかの動作を同時に実行することを含むことができる。
【技術分野】
【０００１】
本発明は、包括的には、画像内の物体の検出に関し、より詳細には、奥行き画像内の物体の検出に関する。
【背景技術】
【０００２】
物体検出は、デジタル画像およびデジタルビデオにおけるある特定の分類の意味論的物体（人間、建物、または車等）のインスタンスの検出を取り扱うコンピュータービジョンおよび画像処理の用途に関連している。物体検出は、画像検索およびビデオ監視を含むコンピュータービジョンの多くの分野において用途を有する。しかしながら、従来の物体検出方法は、いくつかの問題を有する。
【０００３】
例えば、ほとんどの従来の監視システムの主な欠点は、可視光カメラに依存しているということである。物体を検出するほとんどの方法は、可視光画像または可視光ビデオを対象にしており、人工の光源を設けることなく、夜に機能することはない。一方、そのような解決法は、高価になる可能性があり、いくつかの監視用途には適用することができない。
【０００４】
また、画像内の物体を検出する従来の方法には、スキャンウィンドウ手法も含まれる。これらの方法では、分類器が、画像内で既知の一定サイズの全ての長方形パッチを「スキャン」する。分類器は、画像パッチを入力画像として取り込み、その画像パッチが物体を含むか否かに応じた２値結果を出力する。より大きなスケールで物体を検出するために、入力画像は、より小さな画像にスケールダウンされ、分類器は、そのスケールダウンされた画像上でスキャンされる。スケーリングは、サイズ変更された画像がパッチのサイズよりも小さくなるまで繰り返し行われる。しかしながら、スキャンウィンドウ手法は、計算が複雑である。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
したがって、上記問題に対処することが当該技術分野で必要とされている。
【０００６】
本主題発明の目的は、奥行き画像または奥行きビデオ内の物体を検出する方法を提供することである。
【０００７】
本発明のさらなる目的は、人々または車等の特定の分類の物体を検出する方法を提供することである。
【０００８】
本発明のさらなる目的は、奥行き画像上で分類器をスキャンする必要がない方法を提供することである。
【０００９】
本発明のさらなる目的は、計算効率が良い方法で、奥行き画像内の物体を検出する方法およびシステムを提供することである。
【課題を解決するための手段】
【００１０】
奥行き画像の１つの利点は、奥行き画像を取得するのに光を必要としない場合があるということである。奥行き画像は、奥行きセンサーによって生成することができる。奥行きセンサーは、奥行き画像内のピクセルごとに、奥行きセンサーからそのピクセルに対応するシーン内の点までの距離の推定値を求める。奥行きセンサーを構築するのに用いられるさまざまな技術があり、技術のほとんどは、光を必要としない。これによって、監視用途のための通常のビデオカメラを上回る利点が奥行きセンサーにもたらされる。しかしながら、奥行きセンサーを用いることによって、奥行き画像内の各ピクセルにおける奥行き値を利用することができる新たな物体検出方法が必要となる。
【００１１】
本発明のいくつかの実施の形態は、奥行き画像内のある分類の物体の近似サイズを、その分類の通常の物体のサイズおよびピクセルの奥行き値に基づいて決定することができるという認識に基づいている。したがって、任意のピクセルについて、検出ウィンドウのサイズを決定することができ、分類器を、そのピクセルを取り囲む検出ウィンドウに適用するだけでよい。したがって、分類器のスキャンを回避することができ、その結果、本方法の効率性が改善される。
【００１２】
奥行き値の関数としての検出ウィンドウのサイズは、あらかじめ決定しておくこともできるし、または奥行きセンサーの動作中に計算することもできる。例えば、検出ウィンドウのさまざまなサイズをルックアップ値に記憶することができ、奥行き値をキーとして用いて、ルックアップテーブルから検索することができる。したがって、物体検出中の検出ウィンドウのサイズの計算を回避することができ、物体検出の効率性を改善することができる。また、検出ウィンドウのサイズは、分類器をトレーニングするのに用いられた姿勢に対応する物体のさまざまな姿勢について決定することができる。また、検出ウィンドウのサイズは、奥行きセンサーの解像度に基づいて決定することができ、さまざまな用途に再利用することができる。
【００１３】
さらに、検出ウィンドウ内の前景領域のセグメント化を、検出物体内のピクセルの奥行き値、および物体のサイズ、例えば、物体の奥行きに基づいて決定することができる。したがって、物体の検出は、この前景領域について行うことができ、前景領域は、分類器の効率性および正確度を改善するように正規化することができる。加えて、奥行き値を用いたセグメント化によって、特徴ベクトルを計算するのに用いることができる粗いシルエットが得られる。
【００１４】
その上、前景領域内のピクセルの数が、しきい値よりも少ない場合、前景領域を、物体を含まないものとして分類することができる。したがって、「見込みのある」領域にのみ分類器を適用することができ、これによって、本方法の効率性がさらに改善される。また、分類器は、該分類器への入力画像の１つのトレーニングサイズについてのみトレーニングすることができる。検出ウィンドウおよび／または前景領域は、物体検出のために、分類器のトレーニングサイズにサイズ変更することができる。
【００１５】
さらに、奥行き画像が、時系列の奥行き画像、例えば、奥行きビデオの一部分である場合、前景領域内のピクセルの奥行き値は、時間的に隣接する奥行き画像からの対応するピクセルの奥行き値を用いて変更することができる。例えば、検出ウィンドウごとに、奥行きデータの時間ボリュームを求めることができ、奥行きデータに基づいて特徴ベクトルを計算することができ、これによって、物体検出の信頼性をさらに改善することができる。
【００１６】
したがって、１つの実施の形態は、奥行き画像内の物体を検出する方法であって、前記奥行き画像内の領域を覆う検出ウィンドウを決定することであって、該検出ウィンドウのロケーションは、前記奥行き画像内の候補ピクセルのロケーションに基づき、前記検出ウィンドウのサイズは、前記候補ピクセルの奥行き値および前記物体のサイズに基づく、決定することと、前記候補ピクセルの前記奥行き値および前記物体の前記サイズに基づいて、前記検出ウィンドウ内の前景領域をセグメント化することと、前記前景領域内のピクセルの数がしきい値よりも少ない場合には、前記前景領域を、前記物体を含まないものとして分類することと、そうでない場合には、前記前景領域を、分類器のトレーニングサイズに基づいてサイズ変更することと、前記前景領域内の前記ピクセルの奥行き値に基づいて、特徴ベクトルを求めることと、前記特徴ベクトルを分類することであって、前記物体を検出する、分類することと、を含む奥行き画像内の物体を検出する方法を開示する。
【００１７】
別の実施の形態は、奥行き画像内の物体を検出する方法であって、候補ピクセルについて、検出ウィンドウのサイズを該候補ピクセルの奥行き値の関数として選択することと、前記奥行き画像内において前記候補ピクセルのロケーションを取り囲んで前記検出ウィンドウを配置することと、前記検出ウィンドウ内のピクセルの奥行き値と前記候補ピクセルの前記奥行き値との間の差が奥行きしきい値よりも大きい場合には、前記ピクセルの前記奥行き値をＮＵＬＬに設定することであって、前記奥行きしきい値の値は、前記候補ピクセルの前記奥行き値および前記物体の奥行きの関数である、設定することと、非ＮＵＬＬ値を有する前記検出ウィンドウ内の前記ピクセルの数がしきい値よりも少ない場合には、前記検出ウィンドウを、前記物体を含まないものとして分類することと、そうでない場合には、前記検出ウィンドウ内の前記ピクセルの非ＮＵＬＬの奥行き値から前記候補ピクセルの前記奥行き値を減算することと、分類器のトレーニングサイズに基づいて前記検出ウィンドウをサイズ変更することと、前記検出ウィンドウ内の前記ピクセルの奥行き値に基づいて特徴ベクトルを求めることと、前記特徴ベクトルを分類することであって、前記物体を検出する、分類することと、を含む奥行き画像内の物体を検出する方法を開示する。
【００１８】
さらに別の実施の形態は、奥行き画像内の物体を検出するシステムを開示する。このシステムは、前記奥行き画像を取得する奥行きセンサーと、奥行き値に基づいて検出ウィンドウのサイズを検索するルックアップテーブルを記憶するメモリと、入力画像内の前記物体を検出する分類器であって、該入力画像はトレーニングサイズを有する、分類器と、該システムの動作中に、前記入力画像が、候補ピクセルを取り囲んで配置された前記検出ウィンドウ内でセグメント化された前景領域を含むように、前記分類器への前記入力画像を決定し、前記分類器を実行して、該入力画像内の前記物体を検出するプロセッサであって、前記検出ウィンドウの前記サイズは、前記候補ピクセルの奥行き値を用いて前記ルックアップテーブルから選択される、プロセッサとを備える。
【図面の簡単な説明】
【００１９】
【図１】本発明のいくつかの実施の形態による奥行き画像内の物体を検出する方法のブロック図である。
【図２】本発明の１つの実施の形態による検出ウィンドウのサイズを決定する概略図である。
【図３】本発明のいくつかの実施の形態によって用いられるルックアップテーブルの３つの例を示す図である。
【図４】いくつかの実施の形態による検出ウィンドウの前景領域の例を示す図である。
【図５】本発明の１つの実施の形態による方法のフローチャートである。
【発明を実施するための形態】
【００２０】
図１は、奥行き画像１１５内の物体を検出する方法１００のブロック図を示している。シーン１０５の奥行き画像は、奥行きセンサー１１０によって取得することができる。奥行きセンサーは、奥行き画像内の各ピクセルが奥行きセンサーとシーン内の対応する物体との間の距離を示す奥行き値を有するような奥行き画像を生成するように構成された任意のタイプのセンサーとすることができる。
【００２１】
例えば、赤外（ＩＲ）光等の光を物体に照射することができ、反射光を検知することによって飛行時間（ＴＯＦ）が測定され、奥行きセンサーから物体の各部分までの距離（奥行き値）が測定される。奥行き画像１１６は、時系列の奥行き画像１１６、例えば、奥行きビデオの一部分とすることができる。方法１００は、プロセッサ１０１を用いて実施することができる。
【００２２】
図２に示すように、奥行き画像内で検出される物体は、特定の分類の物体、例えば、人々または車に属する。本発明のいくつかの実施の形態は、奥行き画像の候補ピクセルごとに、物体を検出する検出ウィンドウのサイズを、候補ピクセルの奥行き値の関数として決定することができるという認識に基づいている。この理由は、物体のサイズが物体の分類からほぼ判明しているからであり、したがって、物体を含むことができる検出ウィンドウのサイズは、奥行きセンサーからの物体の距離に基づいて決定することができる。物体のサイズは、物体の長さ、物体の幅、および物体の奥行きを含むことができる。
【００２３】
例えば、シーン２１０および対応する奥行き画像２２０は、物体２１５、すなわち人、およびその物体の画像をそれぞれ含む。検出ウィンドウ２２５のサイズは、物体に関連付けられた候補ピクセルの奥行き値の関数２３５として決定することができる（２３０）。候補ピクセルは、例えば、順次、一組の候補ピクセルから選択されて解析される。いくつかの実施の形態では、一組の候補ピクセルは、奥行き画像の全てのピクセルを含む。代替的な実施の形態では、一組の候補ピクセルは、奥行き画像の前景ピクセルのみを含むように決定される。他の変形形態も可能である。
【００２４】
図３（Ａ）〜図３（Ｃ）に示すように、本発明のいくつかの実施の形態は、検出ウィンドウのサイズを選択するのに、ルックアップテーブル３１０、３２０、および／または３３０等のルックアップテーブルを用いる。ルックアップテーブルは、プロセッサ１０１に動作可能に接続されたメモリ（図示せず）に記憶することができる。メモリは、奥行きセンサー１１０内とすることもできるし、または、例えば、イントラネットもしくはインターネットを通じてアクセスされるリモートメモリとすることもできる。
【００２５】
例えば、ルックアップテーブルは、ルックアップテーブル３１０を含むことができる。ルックアップテーブル３１０は、一組の奥行き値３１５および検出ウィンドウの一組の対応するサイズ３１６を提供することができ、それによって、候補ピクセルの奥行き値は、検出ウィンドウのサイズを選択するキーとして用いることができる。ルックアップテーブルは、メモリ３１７に記憶することができる。
【００２６】
検出ウィンドウは、あらゆる任意の形状、例えば、正方形、長方形、または円形とすることができる。例えば、検出ウィンドウのサイズは、検出ウィンドウの長さおよび検出ウィンドウの幅を含むことができ、ルックアップテーブル、例えば、ルックアップテーブル３２０の各行は、対応するデータ３２５を含むことができる。
【００２７】
いくつかの実施の形態では、検出ウィンドウの長さは、物体の長さに依存し、検出ウィンドウの幅は、物体の幅に依存する。１つの実施の形態では、検出ウィンドウの長さおよび幅は、物体の姿勢に依存する。姿勢は、物体の３Ｄの並進ロケーションおよび角度方向として規定することができる。
【００２８】
例えば、物体を検出する分類器を１つまたは複数の姿勢についてトレーニングすることができる。また、検出ウィンドウのサイズは、奥行きセンサーの解像度に依存する可能性がある。さまざまな実施の形態では、ルックアップテーブルは、奥行きセンサーの特定のタイプについてあらかじめ決定しておき、このタイプの奥行きセンサー間で共有することもできるし、または奥行きセンサーの動作中に決定することもできる。
【００２９】
図３（Ｃ）は、本発明の１つの実施の形態によるルックアップテーブル３３０の一例を示している。このルックアップテーブルは、ピクセルの奥行き値３３１の値と、奥行きセンサー（複数の場合もあり）の解像度３３５の値と、物体の姿勢（複数の場合もあり）３３６の値と、検出ウィンドウの対応するサイズの値とを含む。検出ウィンドウの対応するサイズの値は、検出ウィンドウの長さ３３２の値と、検出ウィンドウの幅３３３の値と、検出ウィンドウの奥行きしきい値３３４の値とを含むことができる。奥行きしきい値３３４は、物体の奥行きを表し、以下で説明するように、セグメント化に用いることができる。
【００３０】
図１を再び参照すると、検出ウィンドウのサイズが決定された後、検出ウィンドウは、奥行き画像において、奥行き画像内の候補ピクセルのロケーションに基づいて選択されたロケーションに配置される。例えば、１つの実施の形態では、検出ウィンドウは、候補ピクセルを中心とする。次に、検出ウィンドウ内の前景領域がセグメント化される。
【００３１】
前景画像のセグメント化１３０は、候補ピクセルの奥行き値および物体のサイズ、例えば、物体の奥行きに基づくことができる。例えば、１つの実施の形態は、検出ウィンドウ内のピクセルごとに、そのピクセルの奥行き値と候補ピクセルの奥行き値との間の差を求め、この差が、奥行き画像の解像度に基づいてスケーリングされた物体の奥行きよりも大きい場合には、そのピクセルの奥行き値をＮＵＬＬに設定する。例えば、差は、候補ピクセルの奥行き値に基づいて、ルックアップテーブルから検索された奥行きしきい値と比較することができる。検出ウィンドウ内のピクセルについて、差が奥行きしきい値よりも大きい場合には、そのピクセルおよび候補ピクセルが、検出される物体に、ともに属する可能性はない。したがって、そのピクセルは、その候補ピクセルとともに解析されない。
【００３２】
１つの実施の形態では、前景領域は、該前景領域内の前景ピクセルの数、すなわち、検出ウィンドウ内の非ＮＵＬＬのピクセルの数をカウントすることによって予備的に分類することができる（１３５）。例えば、前景領域内のピクセルの数がしきい値よりも少ない場合、前景領域は、物体を含まないものとして分類される（１４０）。１つの実施の形態は、物体のサイズおよび奥行きセンサーの雑音統計量に基づいてしきい値を求める。
【００３３】
例えば、図４に示すように、候補ピクセル４１５を取り囲んで配置された検出ウィンドウ４１０の前景領域は、しきい値よりも多くの数のピクセル、すなわち、９つのピクセルを含む。同様に、候補ピクセル４２５を取り囲んで配置された検出ウィンドウ４２０の前景領域も、しきい値よりも多い可能性のある数のピクセル、すなわち、７つのピクセルを含む。他方、候補ピクセル４３５を取り囲んで配置された検出ウィンドウ４３０の前景領域は、１つのピクセルしか含まず、これは、しきい値よりも少ない可能性があり、したがって、この候補ピクセルの検出ウィンドウは物体を含まない。
【００３４】
したがって、前景領域は、物体を含む可能性があるだけの十分な数のピクセルを含み、いくつかの実施の形態は、各非ＮＵＬＬのピクセルの奥行き値を正規化して、候補ピクセルの距離値に対する依存を排除する。正規化によって、奥行き値は、相対的な奥行きに変えられ、相対的な奥行きは、奥行きセンサーからの物体の距離に対して不変である。例えば、１つの実施の形態は、ピクセルの奥行き値から候補ピクセルの奥行き値を減算する。別の実施の形態は、各非ＮＵＬＬのピクセルの奥行き値を１に設定する。
【００３５】
本発明のいくつかの実施の形態は、分類器のトレーニングサイズに基づいて、検出ウィンドウおよび／または前景画像をサイズ変更する（１４５）。分類器は、一般に、該分類器がトレーニングされるサイズ、すなわち、トレーニングサイズの入力画像のみを受け付ける。サイズ変更は、さまざまな方法を用いて行うことができる。例えば、１つの実施の形態は、双一次補間を用いて、検出ウィンドウを分類器のトレーニングサイズにスケーリングする。他の実施の形態は、例えば、サブサンプリングおよび双三次補間を用いる。
【００３６】
次に、検出ウィンドウの特徴ベクトル１５１が求められる（１５０）。特徴ベクトルは、検出ウィンドウを、物体を含む／含まない（１６０）ものとして分類する（１５５）分類器への入力として用いられる。特徴ベクトルは、例えば、Ｈａａｒ−ｌｉｋｅ特徴、勾配ヒストグラム（ＨｏＧ）、および／または局所２値パターン（ＬＢＰ）を用いて求めることができる。分類器は、物体の結果／物体でない結果、例えば、０の値または１の値を出力する２値分類器とすることもできるし、検出ウィンドウが物体を含む確率、例えば、範囲［０，１］の実数を出力する確率分類器とすることもできる。分類器のタイプには、サポートベクターマシン（ＳＶＭ）、ブースト決定木、ニューラルネットワーク、および最近傍分類器が含まれるが、これらに限定されるものではない。
【００３７】
分類器は、さまざまな機械学習技法のうちの１つを用いてトレーニングすることができる。奥行きセンサーが静止している場合、前景／背景セグメント化の改善にも、また、候補ピクセルの数の削減にも背景モデルを用いて分類器を適用することができる。背景モデルは、取得することもできるし、またはあらかじめ求めることもできる。代替的に、背景モデルは、奥行きセンサーの動作中にオンラインで求めることができる。例えば、前景物体が存在しない場合、ピクセルごとの値の変動がモデル化される。ピクセルの値は、ガウス分布またはガウス分布の和を用いてモデル化することができる。物体（人等）がシーンに入ってくると、その物体に対応するピクセルは、背景モデルからのそれらのピクセルの予想値と一致せず、したがって、前景物体の一部分と識別することができる。背景モデルは、一組の候補ピクセルを求めるのに用いることができる。さらに、背景に対応するピクセルの値は、セグメント化を改善するためにＮＵＬＬに設定することができる。
【００３８】
いくつかの実施の形態では、奥行き画像は、時系列の奥行き画像、例えば、奥行きビデオの一部分である。１つの実施の形態は、前景領域内のピクセルの奥行き値を、時間的に隣接する奥行き画像からの対応するピクセルの奥行き値を用いて変更する。例えば、対応するピクセルの奥行き値を互いから減算することもできるし、または互いに加算することもできる。したがって、検出ウィンドウごとに、奥行きデータの時間ボリュームを求めることができ、奥行きデータに基づいて特徴ベクトルを計算することができ、これによって、物体検出の信頼性をさらに改善することができる。
【００３９】
例えば、奥行きデータの時間ボリューム｛Ｉｔ｝、ｔ＝ｔ−ε，．．．，ｔ＋εを用いてマルチ画像記述子を求めることができる。ここで、ｔは、奥行き画像の時間または順序を表し、εは、時間ボリュームのサイズである。マルチ画像記述子は、時間を通じた物体の動き情報または外観の変化を表す。したがって、特徴ベクトルは、奥行き画像間の差および／またはモーションフローを用いることができる。
【００４０】
例えば、差は、奥行き画像間のピクセルごとの距離を符号化する。例えば、１に等しい時間ボリュームのサイズを用いると、特徴ベクトルは、差分画像｛Ｉｔ−Ｉｔ−１｝に対応する。同様に、モーションフロー特徴は、奥行きデータの時間ボリューム内の各ピクセルの３Ｄの動きを符号化する。フローベクトルＦｔ（ｘ，ｙ）は、時間ｔ−１〜ｔの座標ｘ、ｙを有するピクセルの動きを符号化する。フローベクトルは、例えば、奥行きデータの時間ボリューム上でオプティカルフロー法を用いて求めることができる。最終的なモーションフロー記述子は、奥行きデータの時間ボリューム内の全てのモーションフローベクトルによって与えられる。
【００４１】
図５は、本発明の１つの実施の形態による奥行き画像内の物体を検出する方法のフローチャートを示している。候補ピクセルの検出ウィンドウのサイズが、候補ピクセルの奥行き値の関数として選択され（５１０）、検出ウィンドウが、奥行き画像内において、候補ピクセルのロケーションを取り囲んで配置される（５１５）。検出ウィンドウ内のピクセルの奥行き値は、該ピクセルの奥行き値と候補ピクセルの奥行き値との間の差が奥行きしきい値よりも大きい場合、ＮＵＬＬに設定される（５２０）。奥行きしきい値の値は、候補ピクセルの奥行き値および物体の奥行きの関数である。
【００４２】
非ＮＵＬＬ値を有する検出ウィンドウ内のピクセルの数がしきい値よりも少ない場合、検出ウィンドウは、物体を含まないものとして分類される（５２５）。
【００４３】
そうでない場合、候補ピクセルの奥行き値は、検出ウィンドウ内のピクセルの非ＮＵＬＬの奥行き値から減算され（５３０）、検出ウィンドウは、分類器のトレーニングサイズに基づいてサイズ変更される（５３５）。特徴ベクトルが、検出ウィンドウ内のピクセルの奥行き値に基づいて求められ（５４０）、特徴ベクトルは、分類されて（５４５）、物体が検出される。
【００４４】
本発明の上述した実施の形態は、数多くの方法のうちの任意のもので実施することができる。例えば、実施の形態は、ハードウェア、ソフトウェア、またはそれらの組み合わせを用いて実施することができる。ソフトウェアで実際される場合、ソフトウェアコードは、単一のコンピューター内に設けられているにせよ、複数のコンピューター間で分散されているにせよ、任意の適したプロセッサまたはプロセッサの集合体で実行することができる。そのようなプロセッサは、集積回路部品内に１つまたは複数のプロセッサを有する集積回路として実施することができる。ただし、プロセッサは、任意の適したフォーマットの回路機構を用いて実施することもできる。
【００４５】
また、本明細書で概略を述べたさまざまな方法またはプロセスは、種々のオペレーティングシステムまたはプラットフォームのうちの任意のものを用いる１つまたは複数のプロセッサで実行可能なソフトウェアとしてコード化することができる。加えて、そのようなソフトウェアは、複数の適したプログラミング言語および／またはプログラミングツールもしくはスクリプティングツールのうちのいずれかを用いて記述することができ、あるフレームワークまたは仮想マシンで実行される実行可能なマシン言語コードまたは中間コードとしてコンパイルすることもできる。通常、プログラムモジュールの機能は、さまざまな実施の形態において所望のとおりに結合または分散することができる。
【００４６】
また、本発明の実施の形態は、方法として実施することができ、その一例を提供してきた。その方法の一部分として実行される動作は、任意の適した方法で順序付けることができる。したがって、例示したものとは異なる順序で動作が実行される実施の形態を構築することができ、この順序は、例示の実施の形態では逐次動作として示されていても、いくつかの動作を同時に実行することを含むことができる。
【特許請求の範囲】
【請求項１】
奥行き画像内の物体を検出する方法であって、
前記奥行き画像内の領域を覆う検出ウィンドウを決定することであって、該検出ウィンドウのロケーションは、前記奥行き画像内の候補ピクセルのロケーションに基づき、前記検出ウィンドウのサイズは、前記候補ピクセルの奥行き値および前記物体のサイズに基づく、決定することと、
前記候補ピクセルの前記奥行き値および前記物体の前記サイズに基づいて、前記検出ウィンドウ内の前景領域をセグメント化することと、
前記前景領域内のピクセルの数がしきい値よりも少ない場合には、
前記前景領域を、前記物体を含まないものとして分類することと、
そうでない場合には、
前記前景領域を、分類器のトレーニングサイズに基づいてサイズ変更することと、
前記前景領域内の前記ピクセルの奥行き値に基づいて、特徴ベクトルを求めることと、
前記特徴ベクトルを分類することであって、前記物体を検出する、分類することと
を含む奥行き画像内の物体を検出する方法。
【請求項２】
一組の候補ピクセルを選択することと、
前記一組内の候補ピクセルごとに、前記検出ウィンドウを前記決定することと、前記セグメント化することと、前記サイズ変更することと、前記特徴ベクトルを前記求めることと、前記分類することとを繰り返すことと
をさらに含む請求項１に記載の方法。
【請求項３】
前記選択することは、
前記奥行き画像内の前景ピクセルを決定することと、
前記一組の候補ピクセル内の前記前景ピクセルを選択することと
を含む請求項２に記載の方法。
【請求項４】
前記セグメント化することは、
前記検出ウィンドウ内の前記ピクセルごとに、該ピクセルの奥行き値と前記候補ピクセルの前記奥行き値との間の差を求めることと、
前記差が、前記奥行き画像の解像度に基づいてスケーリングされた前記物体の奥行きよりも大きい場合には、前記ピクセルの前記奥行き値をＮＵＬＬに設定することと
を含む請求項１に記載の方法。
【請求項５】
前記差が、前記奥行き画像の前記解像度に基づいてスケーリングされた前記物体の前記奥行き以下である場合には、前記ピクセルの前記奥行き値を１に設定すること
をさらに含む請求項４に記載の方法。
【請求項６】
前記差が、前記奥行き画像の前記解像度に基づいてスケーリングされた前記物体の前記奥行き以下である場合には、前記ピクセルの前記奥行き値を正規化すること
をさらに含む請求項４に記載の方法。
【請求項７】
前記正規化することは、
前記ピクセルの前記奥行き値から前記候補ピクセルの前記奥行き値を減算すること
を含む請求項６に記載の方法。
【請求項８】
前記検出ウィンドウを前記決定することは、
前記物体の長さに基づいて前記検出ウィンドウの長さを決定することと、
前記物体の幅に基づいて前記検出ウィンドウの幅を決定することと
を含む請求項１に記載の方法。
【請求項９】
前記検出ウィンドウは、前記候補ピクセルの前記ロケーションを中心とする請求項１に記載の方法。
【請求項１０】
前記検出ウィンドウを前記決定することは、
前記候補ピクセルの前記奥行き値をキーとして用いてルックアップテーブルから前記検出ウィンドウの前記サイズを選択すること
を含む請求項１に記載の方法。
【請求項１１】
前記物体の前記サイズ、センサーからの奥行き値の範囲、および該センサーの解像度に基づいて前記ルックアップテーブルをポピュレートすること
をさらに含む請求項１０に記載の方法。
【請求項１２】
前記物体の姿勢に基づいて前記ルックアップテーブルを追加すること
をさらに含む請求項１１に記載の方法。
【請求項１３】
前記物体の前記サイズおよび奥行きセンサーの雑音統計量に基づいて前記しきい値を求めること
をさらに含む請求項１に記載の方法。
【請求項１４】
時間的に隣接する奥行き画像からの対応するピクセルの奥行き値を用いて、前記前景領域内の前記ピクセルの前記奥行き値を変更すること
をさらに含む請求項１に記載の方法。
【請求項１５】
前記物体の分類に基づいて前記物体の前記サイズを決定することであって、該サイズは、前記物体の長さ、該物体の幅、および該物体の奥行きを含む、決定すること
をさらに含む請求項１に記載の方法。
【請求項１６】
前記物体の前記分類について前記分類器をトレーニングすること
をさらに含む請求項１５に記載の方法。
【請求項１７】
前記物体の前記分類は、人々および車両のうちの少なくとも一方を含む群から選択される請求項１５に記載の方法。
【請求項１８】
奥行き画像内の物体を検出する方法であって、
候補ピクセルについて、検出ウィンドウのサイズを該候補ピクセルの奥行き値の関数として選択することと、
前記奥行き画像内において前記候補ピクセルのロケーションを取り囲んで前記検出ウィンドウを配置することと、
前記検出ウィンドウ内のピクセルの奥行き値と前記候補ピクセルの前記奥行き値との間の差が奥行きしきい値よりも大きい場合には、前記ピクセルの前記奥行き値をＮＵＬＬに設定することであって、前記奥行きしきい値の値は、前記候補ピクセルの前記奥行き値および前記物体の奥行きの関数である、設定することと、
非ＮＵＬＬ値を有する前記検出ウィンドウ内の前記ピクセルの数がしきい値よりも少ない場合には、
前記検出ウィンドウを、前記物体を含まないものとして分類することと、
そうでない場合には、
前記検出ウィンドウ内の前記ピクセルの非ＮＵＬＬの奥行き値から前記候補ピクセルの前記奥行き値を減算することと、
分類器のトレーニングサイズに基づいて前記検出ウィンドウをサイズ変更することと、
前記検出ウィンドウ内の前記ピクセルの奥行き値に基づいて特徴ベクトルを求めることと、
前記特徴ベクトルを分類することであって、前記物体を検出する、分類することと
を含む奥行き画像内の物体を検出する方法。
【請求項１９】
奥行き画像内の物体を検出するシステムであって、
前記奥行き画像を取得する奥行きセンサーと、
奥行き値に基づいて検出ウィンドウのサイズを検索するルックアップテーブルを記憶するメモリと、
入力画像内の前記物体を検出する分類器であって、該入力画像は、トレーニングサイズを有する、分類器と、
該システムの動作中に、前記入力画像が、候補ピクセルを取り囲んで配置された前記検出ウィンドウ内でセグメント化された前景領域を含むように、前記分類器への前記入力画像を決定し、前記分類器を実行して、該入力画像内の前記物体を検出するプロセッサであって、前記検出ウィンドウの前記サイズは、前記候補ピクセルの奥行き値を用いて前記ルックアップテーブルから選択される、プロセッサと
を備える奥行き画像内の物体を検出するシステム。
【請求項２０】
前記プロセッサは、前記前景領域内のピクセルの前記奥行き値を正規化し、前記トレーニングサイズに基づいて前記前景領域をサイズ変更するようにさらに構成される請求項１９に記載のシステム。
【請求項１】
奥行き画像内の物体を検出する方法であって、
前記奥行き画像内の領域を覆う検出ウィンドウを決定することであって、該検出ウィンドウのロケーションは、前記奥行き画像内の候補ピクセルのロケーションに基づき、前記検出ウィンドウのサイズは、前記候補ピクセルの奥行き値および前記物体のサイズに基づく、決定することと、
前記候補ピクセルの前記奥行き値および前記物体の前記サイズに基づいて、前記検出ウィンドウ内の前景領域をセグメント化することと、
前記前景領域内のピクセルの数がしきい値よりも少ない場合には、
前記前景領域を、前記物体を含まないものとして分類することと、
そうでない場合には、
前記前景領域を、分類器のトレーニングサイズに基づいてサイズ変更することと、
前記前景領域内の前記ピクセルの奥行き値に基づいて、特徴ベクトルを求めることと、
前記特徴ベクトルを分類することであって、前記物体を検出する、分類することと
を含む奥行き画像内の物体を検出する方法。
【請求項２】
一組の候補ピクセルを選択することと、
前記一組内の候補ピクセルごとに、前記検出ウィンドウを前記決定することと、前記セグメント化することと、前記サイズ変更することと、前記特徴ベクトルを前記求めることと、前記分類することとを繰り返すことと
をさらに含む請求項１に記載の方法。
【請求項３】
前記選択することは、
前記奥行き画像内の前景ピクセルを決定することと、
前記一組の候補ピクセル内の前記前景ピクセルを選択することと
を含む請求項２に記載の方法。
【請求項４】
前記セグメント化することは、
前記検出ウィンドウ内の前記ピクセルごとに、該ピクセルの奥行き値と前記候補ピクセルの前記奥行き値との間の差を求めることと、
前記差が、前記奥行き画像の解像度に基づいてスケーリングされた前記物体の奥行きよりも大きい場合には、前記ピクセルの前記奥行き値をＮＵＬＬに設定することと
を含む請求項１に記載の方法。
【請求項５】
前記差が、前記奥行き画像の前記解像度に基づいてスケーリングされた前記物体の前記奥行き以下である場合には、前記ピクセルの前記奥行き値を１に設定すること
をさらに含む請求項４に記載の方法。
【請求項６】
前記差が、前記奥行き画像の前記解像度に基づいてスケーリングされた前記物体の前記奥行き以下である場合には、前記ピクセルの前記奥行き値を正規化すること
をさらに含む請求項４に記載の方法。
【請求項７】
前記正規化することは、
前記ピクセルの前記奥行き値から前記候補ピクセルの前記奥行き値を減算すること
を含む請求項６に記載の方法。
【請求項８】
前記検出ウィンドウを前記決定することは、
前記物体の長さに基づいて前記検出ウィンドウの長さを決定することと、
前記物体の幅に基づいて前記検出ウィンドウの幅を決定することと
を含む請求項１に記載の方法。
【請求項９】
前記検出ウィンドウは、前記候補ピクセルの前記ロケーションを中心とする請求項１に記載の方法。
【請求項１０】
前記検出ウィンドウを前記決定することは、
前記候補ピクセルの前記奥行き値をキーとして用いてルックアップテーブルから前記検出ウィンドウの前記サイズを選択すること
を含む請求項１に記載の方法。
【請求項１１】
前記物体の前記サイズ、センサーからの奥行き値の範囲、および該センサーの解像度に基づいて前記ルックアップテーブルをポピュレートすること
をさらに含む請求項１０に記載の方法。
【請求項１２】
前記物体の姿勢に基づいて前記ルックアップテーブルを追加すること
をさらに含む請求項１１に記載の方法。
【請求項１３】
前記物体の前記サイズおよび奥行きセンサーの雑音統計量に基づいて前記しきい値を求めること
をさらに含む請求項１に記載の方法。
【請求項１４】
時間的に隣接する奥行き画像からの対応するピクセルの奥行き値を用いて、前記前景領域内の前記ピクセルの前記奥行き値を変更すること
をさらに含む請求項１に記載の方法。
【請求項１５】
前記物体の分類に基づいて前記物体の前記サイズを決定することであって、該サイズは、前記物体の長さ、該物体の幅、および該物体の奥行きを含む、決定すること
をさらに含む請求項１に記載の方法。
【請求項１６】
前記物体の前記分類について前記分類器をトレーニングすること
をさらに含む請求項１５に記載の方法。
【請求項１７】
前記物体の前記分類は、人々および車両のうちの少なくとも一方を含む群から選択される請求項１５に記載の方法。
【請求項１８】
奥行き画像内の物体を検出する方法であって、
候補ピクセルについて、検出ウィンドウのサイズを該候補ピクセルの奥行き値の関数として選択することと、
前記奥行き画像内において前記候補ピクセルのロケーションを取り囲んで前記検出ウィンドウを配置することと、
前記検出ウィンドウ内のピクセルの奥行き値と前記候補ピクセルの前記奥行き値との間の差が奥行きしきい値よりも大きい場合には、前記ピクセルの前記奥行き値をＮＵＬＬに設定することであって、前記奥行きしきい値の値は、前記候補ピクセルの前記奥行き値および前記物体の奥行きの関数である、設定することと、
非ＮＵＬＬ値を有する前記検出ウィンドウ内の前記ピクセルの数がしきい値よりも少ない場合には、
前記検出ウィンドウを、前記物体を含まないものとして分類することと、
そうでない場合には、
前記検出ウィンドウ内の前記ピクセルの非ＮＵＬＬの奥行き値から前記候補ピクセルの前記奥行き値を減算することと、
分類器のトレーニングサイズに基づいて前記検出ウィンドウをサイズ変更することと、
前記検出ウィンドウ内の前記ピクセルの奥行き値に基づいて特徴ベクトルを求めることと、
前記特徴ベクトルを分類することであって、前記物体を検出する、分類することと
を含む奥行き画像内の物体を検出する方法。
【請求項１９】
奥行き画像内の物体を検出するシステムであって、
前記奥行き画像を取得する奥行きセンサーと、
奥行き値に基づいて検出ウィンドウのサイズを検索するルックアップテーブルを記憶するメモリと、
入力画像内の前記物体を検出する分類器であって、該入力画像は、トレーニングサイズを有する、分類器と、
該システムの動作中に、前記入力画像が、候補ピクセルを取り囲んで配置された前記検出ウィンドウ内でセグメント化された前景領域を含むように、前記分類器への前記入力画像を決定し、前記分類器を実行して、該入力画像内の前記物体を検出するプロセッサであって、前記検出ウィンドウの前記サイズは、前記候補ピクセルの奥行き値を用いて前記ルックアップテーブルから選択される、プロセッサと
を備える奥行き画像内の物体を検出するシステム。
【請求項２０】
前記プロセッサは、前記前景領域内のピクセルの前記奥行き値を正規化し、前記トレーニングサイズに基づいて前記前景領域をサイズ変更するようにさらに構成される請求項１９に記載のシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−２２６７４５（Ｐ２０１２−２２６７４５Ａ）
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１２−８９９０６（Ｐ２０１２−８９９０６）
【出願日】平成２４年４月１１日（２０１２．４．１１）
【出願人】（５９７０６７５７４）ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド (484)
【住所又は居所原語表記】２０１ ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ ０２１３９， Ｕ．Ｓ．Ａ．
【Ｆターム（参考）】
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願番号】特願２０１２−８９９０６（Ｐ２０１２−８９９０６）
【出願日】平成２４年４月１１日（２０１２．４．１１）
【出願人】（５９７０６７５７４）ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド (484)
【住所又は居所原語表記】２０１ ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ ０２１３９， Ｕ．Ｓ．Ａ．
【Ｆターム（参考）】
[ Back to top ]