対象領域抽出装置
【課題】 距離情報データに含まれるノイズを除去等する。
【解決手段】 対象領域抽出手段Ｂ１０は、センサＢ０２から得られる輝度情報データに基づいて、所定以上の輝度の存在する隣接画素数がしきい値以下の部分を削除するための輝度情報マスクを生成する。輝度情報マスクを距離情報データに重ね合わせ、輝度情報マスクに重複する領域の距離情報データだけを抽出する。
【解決手段】 対象領域抽出手段Ｂ１０は、センサＢ０２から得られる輝度情報データに基づいて、所定以上の輝度の存在する隣接画素数がしきい値以下の部分を削除するための輝度情報マスクを生成する。輝度情報マスクを距離情報データに重ね合わせ、輝度情報マスクに重複する領域の距離情報データだけを抽出する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、センサから得られるマトリクス状の距離情報データに対して、または当該距離情報データを用いて、所定の処理を行う技術に関する。
【背景技術】
【０００２】
（Ａ）近年、テレビゲームなどの入力手段として、距離センサが用いられている。ここで、マトリックス状の各画素に対する距離情報を同時に得ることが可能な距離センサは、特に、距離画像センサと呼ばれている。距離画像センサにより距離情報データを測定する仕組みについて、図３１を用いて説明する。
【０００３】
図３１に示す距離画像センサの本体前面に配置された複数の投光ＬＥＤから、特定方向に照射された赤外線が、対象物で反射して受光レンズに到達する。その時間差に基づいて、対象物までの距離が算出される（光波測距（Time of Flight）の原理）。
【０００４】
距離画像センサから得られる距離情報データを可視化した画像例、および計測距離と実際の距離との関係を、図３２に示す。図３２に示すように、距離画像センサでは、計測可能距離L1を超える部分が、計測可能距離L1よりも短い距離として認識されるという問題があった。例えば、図３２に示すように計測可能距離L1が２０ｍのときに、これを超える２１ｍ（または４１ｍ）の距離に存在する対象物を、例えば、１ｍの距離にあると誤認識してしまう可能性がある。また、無限遠を特定の距離領域として認識してしまうという問題があった（図３２）。所定時間内に必要なフレーム数が大きいほど、検出するための時間間隔は小さくなるためと考えられる。
【０００５】
（Ｂ）また、従来から、オクルージョンによる複数人の重なりを判定する方法が存在する。オクルージョンとは、手前にある物体が背後にある物体を隠す状態になることをいう。
【０００６】
（Ｃ）従来から、センサ（距離画像センサなど）を用いて特定した領域が何であるかといった属性を判別する方法が存在する。
【０００７】
（Ｄ）従来から、センサ（距離画像センサなど）を用いて特定した対象物を追跡する方法が存在する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００９−１６８７５１号公報
【特許文献２】特開２００６−６４６９５号公報
【特許文献３】特開Ｈ１０−２７６３５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
（Ａ）図３２に示す距離画像センサの性能上の問題から、ノイズを除去する処理が必要となる。特許文献１の技術では、床面部分が障害物として誤判定されないように、距離画像データに輝度画像を用いてマスク処理をしているが、床面で反射した光が距離画像センサに戻ってこない（距離情報が得られない）部分について床面であることを判断するものに過ぎなかった（距離情報が得られる部分について適用するものではない）。
【００１０】
（Ｂ）特許文献２には、上方から下方に向けられた距離画像センサを用いて複数人の重なりを判別することが開示されているが、距離画像センサを上方に配置するのが困難な場合には用いることができず、距離画像センサを水平方向に向けて配置する場合に適用することができなかった。
【００１１】
（Ｃ）特許文献２には、対象物の平行投影画像を生成した上で、平行投影画像から対象物の部分（輪郭）のデータ（サンプリング・データ）を抽出し、基準データ（人の基準部位の面積及び比についての値又は値の範囲）に基づいて、サンプリングデータに対応する物理対象が人であるか否かを判別することが開示されているが、処理が複雑であった。
【００１２】
（Ｄ）特許文献３には、目標特徴情報に基づいて対象物の追跡処理を行うことが開示されているが、目標特徴情報が存在しない場合には用いることができなかった。
【課題を解決するための手段】
【００１３】
（１）この発明の対象領域抽出装置は、
画素単位で対象物までの距離を測定した距離情報データおよび画素単位で輝度を測定した輝度情報データを得ることが可能なセンサと、
前記距離情報データにおける所定の対象領域を抽出するための対象領域抽出手段と、
を備えた対象領域抽出装置であって、
前記対象領域抽出手段は、
前記輝度情報データに基づいて、所定以上の輝度の存在する隣接画素数がしきい値以下の部分を削除した輝度情報マスクを生成し、
当該輝度情報マスクを距離情報データに重ね合わせて、重複する領域の距離情報データだけを抽出すること、
を特徴とする。
【００１４】
これにより、センサから得られる距離画像データに含まれるノイズや、無限遠の部分などを、効果的に削除することが可能である。
【００１５】
（３）この発明の対象領域抽出装置は、
前記対象領域抽出手段が、
距離情報データに基づいて所定距離範囲毎に輝度情報データを分割し、輝度の存在する画素数がしきい値以下の部分を削除した後、これらを合成して輝度情報マスクを生成すること、
を特徴とする。
【００１６】
これにより、センサから得られる距離画像データに含まれるノイズや、無限遠の部分などを、より効果的に削除することが可能である。
【００１７】
（４）この発明の対象領域抽出装置は、
前記輝度情報データに基づいて、輝度の存在する画素数がしきい値以下の部分を削除した後、輝度情報データに対して、膨張処理および収縮処理を順に行って輝度情報マスクを生成すること、
を特徴とする。
【００１８】
これにより、センサから得られる距離画像データに含まれるノイズや、無限遠の部分などを、さらに効果的に削除することが可能である。
【００１９】
（５）この発明の対象領域解析装置は、
画素単位で対象物までの距離を測定した距離情報データを得ることが可能なセンサと、
前記距離情報データにおける所定の対象領域を抽出するための対象領域抽出手段と、
抽出した対象領域の解析するための対象領域解析手段と、
を備えた対象領域解析装置であって、
前記対象領域解析手段は、
前記距離情報データに含まれる所定の対象領域に関する距離ヒストグラムを生成し、
所定基準に基づいて距離ヒストグラムに含まれる特定極大値の数を算出すること、
を特徴とする。
【００２０】
これにより、オクルージョンによる複数人の重なりが生じていることを容易に判別することが可能である。
【００２１】
（７）この発明の対象領域解析装置は、
前記対象領域解析手段が、
２つ以上の特定極大値が存在する場合には、さらに、特定極大値の間に特定極小値が存在するか否かを判断し、
特定極小値が存在する場合には、距離ヒストグラムの当該特定極小値の位置で距離情報データを各領域に分割すること、
を特徴とする。
【００２２】
これにより、オクルージョンによる複数人の重なりが生じていることを容易に判別して、距離画像データを分割することが可能である。
【００２３】
（８）この発明の対象領域解析装置は、
前記対象領域解析手段が、
距離ヒストグラムにおいて、画素数の増加率がしきい値以上であり、当該距離位置の画素数がしきい値以上の極大値のうち、最も大きいものを最初の特定極大値として決定し、
さらに、画素数が多い順に、既に決定された特定極大値から所定間隔以上に離れているか否かを判断し、所定間隔以上に離れている場合には、次の特定極大値として決定すること、
を特徴とする。
【００２４】
これにより、オクルージョンによる複数人の重なりが生じていることを所定基準に基づいて判別して、距離画像データを分割することが可能である。
【００２５】
（９）この発明の対象領域解析装置は、
前記対象領域解析手段が、
前記距離ヒストグラムを平滑化した後に、所定基準に基づいて距離ヒストグラムに含まれる特定極大値の数を算出すること、
を特徴とする。
【００２６】
これにより、オクルージョンによる複数人の重なりが生じていることをより容易に判別することが可能である。
【００２７】
（１０）この発明の属性判定装置は、
画素単位で対象物までの距離を測定した距離情報データを得ることが可能なセンサと、
前記距離情報データにおける所定の対象領域を抽出するための対象領域抽出手段と、
抽出した対象領域の属性を判定するための属性判定手段と、
を備えた属性判定装置であって、
前記属性判定手段は、
対象領域に対応する距離情報データに基づいて、単位画素当たりの長さを算出し、
当該単位画素当たりの高さ方向および幅方向の長さから、前記対象領域の高さ、幅、面積、縦横比のうち少なくとも何れか１つを算出し、これを所定基準に適用して対象領域の属性を判定すること、
を特徴とする。
【００２８】
これにより、対象領域の属性を容易に判定することが可能である。
【００２９】
（１２）この発明の属性判定装置は、さらに、
所定の属性でないと判断された対象領域を削除する対象領域削除手段、
を備えたことを特徴とする。
【００３０】
これにより、対象領域の属性により、不要な対象領域を削除することが可能である。
【００３１】
（１３）この発明の対象領域追跡装置は、
撮像された画像から対象領域を抽出する対象領域抽出手段と、
前画像から抽出された対象領域を、次画像において所定規則に基づいて追跡する対象領域追跡手段と、
を備えた対象領域追跡装置であって、
前記対象領域追跡手段が次画像において追跡した対象領域の数が増加または減少しない時には、前記対象領域抽出手段は、撮像された当該次画像から再び対象領域を抽出しないで、さらに、次画像において所定規則に基づいて対象領域を追跡し、
前記対象領域追跡手段が次画像において追跡した対象領域の数が増加または減少した時に、前記対象領域抽出手段は、撮像された当該次画像から再び対象領域を抽出すること、
を特徴とする。
【００３２】
これにより、対象領域の追跡処理を高速で行うことが可能である。
【００３３】
（１５）この発明の対象領域追跡装置は、
前記対象領域追跡手段の追跡対象となる対象領域の数が、予め設定されていること、
を特徴とする。
【００３４】
これにより、予め人数が設定されるような場面において、対象領域の追跡を円滑に行うことが可能である。
【００３５】
（１７）この発明の対象領域追跡装置は、さらに、
対象領域の基準位置を距離情報データに基づいて算出し、仮想フィールド画像上の当該基準位置に、各対象領域に対応する表示を配置する表示配置手段、
を備えたことを特徴とする。
【００３６】
これにより、仮想フィールド上におけるプレーヤーなどの位置関係を容易に把握することができる。
【００３７】
（１８）この発明のデータ処理装置は、
画素単位で対象物までの距離を測定した距離情報データを得ることが可能なセンサと、
前記センサから受けた距離情報データに対して所定の処理を行うデータ処理手段と、
を備えたデータ処理装置であって、
前記データ処理手段は、
前記距離情報データに含まれる所定領域に関する距離ヒストグラムを生成し、
算出した当該距離ヒストグラムの分散が所定のしきい値に含まれない領域を前記距離情報データから削除すること、
を特徴とする。
【００３８】
これにより、センサから得られる距離画像データに含まれるノイズや、無限遠の部分などを、効果的に削除することが可能である。
【図面の簡単な説明】
【００３９】
【図１】この発明の対象領域抽出装置１００、対象領域解析装置２００、属性判定装置３００、対象領域追跡装置４００、データ処理装置５００の構成を示す図である。
【図２】この発明の対象領域抽出装置１００のハードウェア構成を示す図である。
【図３】距離情報データのデータ例、およびそのデータ内容を可視化した画像を示す図である。
【図４】輝度情報データのデータ例、およびそのデータ内容を可視化した画像を示す図である。
【図５】輝度情報マスクを生成し、距離情報データをマスキングするまでの処理を示すフローチャートである。
【図６】図４に示す輝度情報データを２値化したデータを示す図である。
【図７】所定の距離範囲（１００ｃｍ）ごとに分けた分割輝度情報データの可視化画像を示す図である。
【図８】画角の下端から所定高さ以下のデータを消去した可視化画像を示す図である。
【図９】膨張−収縮処理の方法を示す図である。
【図１０】生成された輝度情報マスクの可視化画像を示す図である。
【図１１】輝度情報マスクの白画素「１」に対応する対象領域の距離情報データだけを抽出したデータおよび可視化画像を示す図である。
【図１２】対象領域のラベリング処理、ラベリングした対象領域に対する解析処理などを示すフローチャートである。
【図１３】各対象領域に対してラベリング処理を行った可視化画像を示す図である。
【図１４】図１３に示すラベル１〜４の対象領域に対応する画素から生成した距離ヒストグラムの例を示す図である。
【図１５】生成した各距離ヒストグラムに対して平滑化処理を行った状態を示す図である。
【図１６】人物が重なった対象領域を分割した状態を示す可視化画像である。
【図１７】所定の属性（例えば、人間）でないと判断された対象領域を削除する方法を示す図である。
【図１８】ラベリングした対象領域の基準位置（重心）を算出した例を示す図である。
【図１９ａ】対象領域の基準位置を仮想フィールド上の対応する位置に配置した状態を示す図である。
【図１９ｂ】仮想フィールド上にコートを併せて描画した状態を示す図である。
【図２０】ステップＳ２０８に示す距離ヒストグラムの分割処理の詳細を示す図である。
【図２１】距離ヒストグラムに含まれる極大値を示すグラフである。
【図２２】特定極大値の決定方法を示す図である。
【図２３】距離ヒストグラムを分割する位置を示す図である。
【図２４】対象領域の大きさ推定および属性判定方法を示すフローチャートである。
【図２５】対象領域の画素に対する単位ピクセル当たりの実際の長さΔｘを算出する方法、および対象物の大きさを算出する方法を示す図である。
【図２６】人物属性判定基準の例を示す図である。
【図２７】対象領域を追跡する処理を示すフローチャートである。
【図２８】距離ヒストグラムを用いた追跡の方法を示す図である。
【図２９】画像差分による追跡の方法を示す図である。
【図３０】距離ヒストグラムに基づく除去の方法を示す図である。
【図３１】従来技術における距離画像センサの構造を示す図である。
【図３２】従来技術における距離画像センサの問題点を示す図である。
【発明を実施するための形態】
【００４０】
１．本発明に係る各装置について
図１に、対象領域抽出装置１００、対象領域解析装置２００、属性判定装置３００、対象領域追跡装置４００、データ処理装置５００の構成を示す。なお、センサＢ０２は、少なくとも画角内の各画素に対応したマトリクス状の距離情報（距離情報データ）を得ることが可能なセンサである。
【００４１】
（a）図１に示すように、対象領域抽出装置１００は、センサＢ０２および対象領域抽出手段Ｂ１０を備えている。対象領域抽出装置１００のセンサＢ０２からは、各画素の距離情報データだけでなく、当該距離情報データに対応づけられた各画素の輝度情報データも得ることができる。
【００４２】
対象領域抽出手段Ｂ１０（図１）は、センサＢ０２から得られる輝度情報データに基づいて、センサの性能上の問題から生じるノイズを距離情報データから削除するための輝度情報マスクを生成する。この実施例では、所定輝度以上の画素がしきい値以上連続するかたまりの部分を、人や物体など（対象領域）として認識するようにしている。輝度情報マスクを距離情報データに重ね合わせ、輝度情報マスクに重複する領域の距離情報データだけを抽出することで、所定の対象領域のみの距離情報データが、対象領域抽出装置１００により得られる。
【００４３】
(b)図１に示すように、対象領域解析装置２００は、センサＢ０２、対象領域抽出手段Ｂ１０、対象領域解析手段Ｂ１２を備えている。
【００４４】
対象領域解析手段Ｂ１２（図１）は、所定の対象領域に関する距離ヒストグラムを生成し、所定基準に基づいてその距離ヒストグラムに含まれる特定極大値の数を算出する。この実施形態では、特定極大値の数に基づいて、複数人の重なりを判断するようにしている。対象領域解析装置２００により、対象領域においてオクルージョンによる複数人の重なりが生じていることを容易に判別することができる。
【００４５】
(c)図１に示すように、属性判定装置３００は、センサＢ０２、対象領域抽出手段Ｂ１０、属性判定手段Ｂ１４を備えている。
【００４６】
属性判定手段Ｂ１４（図１）は、距離情報データに基づいて算出した単位画素当たりの長さから、対象領域の高さ、幅、面積、縦横比などを算出し、これを所定基準に適用して対象領域の属性（例えば、人間であるか等）を判定する。属性判定装置３００によって、例えば、人間ではあり得ない大きさの物体を削除したり、形状と大きさによりボールであると判断することができる。
【００４７】
(d)図１に示すように、対象領域追跡装置４００は、対象領域抽出手段Ｂ１０、対象領域追跡手段Ｂ１６を備えている。
【００４８】
対象領域追跡手段Ｂ１６（図１）は、前後のフレーム画像において、追跡する対象の数が変化したときにのみ、追跡対象（対象領域）の抽出を行い、追跡する対象の数が変化しないときには、追跡処理のみを行う。対象領域追跡装置４００により、リアルタイムで追跡を行う場合の処理が簡素化される。
【００４９】
(e)図１に示すように、データ処理装置５００は、センサＢ０２、データ処理手段Ｂ０４を備えている。
【００５０】
データ処理手段Ｂ０４（図１）は、所定領域に関する距離ヒストグラムを生成し、算出した当該距離ヒストグラムの分散が所定のしきい値に含まれない領域を距離情報データから削除する。データ処理装置５００により、距離情報データに含まれるノイズ等を容易に除去することができる。
【００５１】
２．装置のハードウェア構成および距離画像センサ２の仕組み
図２に、この発明の対象領域抽出装置１００（図１）のハードウェア構成を示す。なお、図１に示す画像解析装置２００、属性判定装置３００、対象領域追跡装置４００、データ処理装置５００も同様のハードウェア構成である。
【００５２】
図２に示すように対象領域抽出装置１００は、少なくとも距離情報データを取得することが可能な距離画像センサ２を接続したコンピュータ装置で実現することができ、距離画像センサ２の他に、ＣＰＵ２０、ＲＡＭ２２、ディスプレイ２４、ハードディスク２６、キーボード／マウス２８などを備えている。
【００５３】
図２に示すように、対象領域抽出装置１００のハードディスク２８には、対象領域抽出プログラム２７１が記憶されている（図１に示す画像解析装置２００、属性判定装置３００、対象領域追跡装置４００、データ処理装置５００の場合、ハードディスク２８には、それぞれ画像解析プログラム２７２、属性判定処理プログラム２７３、対象領域追跡プログラム２７４、データ処理プログラム２７５が記憶される）。対象領域抽出プログラム２７１などは、ＣＤ−ＲＯＭ等の記録媒体を介して記録媒体リーダー３２からハードディスク１６にインストールまたはコピーされる。
【００５４】
図２に示す距離画像センサ２としては、例えば、パナソニック電工製の「D-IMager」（商標）を用いることができる。距離画像センサ２の性能は、例えば、画角が水平60°−垂直44°であり、応答速度が20フレーム/秒であり、測距画素数が水平：160ピクセル×垂直：120ピクセルである。また、同じ画素単位で距離画像センサ０２から、距離情報データと併せて画像データ（各画素における輝度情報データ）を取得することもできる。
【００５５】
図３に距離情報データのデータ例、およびそのデータ内容を可視化した画像を示す。図４に輝度情報データのデータ例、およびそのデータ内容を可視化した画像を示す。図３および図４に示すように、画素単位（例えば、１６０ｐｘ×１２０ｐｘ）で、マトリクス状の距離情報データおよび輝度情報データが距離画像センサ２から得られる。図４に示す輝度情報データは、例えば、２５６階調で記憶され、「０」が黒画素を示す。
【００５６】
なお、距離画像センサ２の向きは、対象物に向けて水平方向が好ましく、少なくとも水平より上向きに設置するのがよい。地面での乱反射による距離画像データの出力誤差が大きいためである。
【００５７】
３．輝度情報マスクの生成など（図１の対象領域抽出装置１００）
図５に示すフローチャートを用いて、輝度情報マスクを生成し、距離情報データをマスキングするまでの処理について説明する。なお、対象領域抽出装置１００のハードディスク２６（図２）には、距離情報データ（図３）と輝度情報データ（図４）が予め記憶されている。
【００５８】
まず、ＣＰＵ２０は、輝度情報データを所定のしきい値で２値化処理する（図５のステップＳ１０２）。例えば、輝度レベル「１０」未満のデータを全て「０」に書き換え、輝度レベル「１１」以上のデータを「１」に書き換える。図４に示す輝度情報データを２値化したデータを、図６に示す。
【００５９】
さらに、ＣＰＵ２０は、ステップＳ１０２で２値化した輝度情報データを、所定の距離範囲ごとに分け、分割輝度情報データを生成する（図５のステップＳ１０４）。図７に、所定の距離範囲（１００ｃｍ）ごとに分けた分割輝度情報データの可視化画像を示す。図３に示す距離情報データのうち、例えば、距離が３００ｃｍ〜４００ｃｍの画素を全て選択し、これに対応する画素の輝度情報データを図４から読み出して、新たな輝度情報データとして分けて記憶すればよい。
【００６０】
つぎに、ＣＰＵ２０は、各分割輝度情報データについて、輝度の存在する画素のうち隣接する画素群を構成する画素数（隣接画素数）をカウントし、当該隣接画素数がしきい値（例えば、５０個）以下のデータを削除する（図５のステップＳ１０６）。例えば、図７に示す１００ｃｍごとに分けた分割輝度情報データのそれぞれについて、所定しきい値以上の輝度が存在するもの、すなわち、白画素「１」を検出して隣接する画素数をカウントする。なお、この実施形態では、上下方向に画素が隣接して存在する場合だけでなく、斜め方向にのみ画素が存在する場合も隣接する画素として取り扱うこととする。
【００６１】
さらに、ＣＰＵ２０は、各分割輝度情報データについて、画角の下端から所定高さ以下のデータを消去する（図５のステップＳ１０８）。これにより、図８に示すように、距離情報データのうち、乱反射による測定誤差の大きい地面付近のデータ（例えば、下端から３０ｐｘ）が全て消去される。
【００６２】
さらに、ＣＰＵ２０は、各分割輝度情報データを所定画素範囲で走査し、膨張処理および収縮処理を順に行う（図５のステップＳ１１０）。これにより、黒画素「０」のノイズ（雑音）が除去される。
【００６３】
膨張−収縮処理の方法を、図９に示す。まず、膨張処理は次のようにして行う。注目画素を決定し、当該注目画素の周囲８つの元画素（上、右斜め上、右、右斜め下、下、左斜め下、左、左斜め上の画素）のいずれかに「１」があるかどうかを判断する。一つでも「１」があれば、当該注目画素を「１」に変更する。この処理を、注目画素を、一つずつ移動させながら全ての画素について行う。
【００６４】
例えば、膨張処理により、走査範囲内に白画素「１」が含まれていれば、当該範囲が全て白画素「１」に書き換えられる。すなわち、白画素「１」の周り１画素が白く塗りつぶされる。
【００６５】
収縮処理は、上記膨張処理とは逆に、注目画素の周囲８つの元画素のいずれかに「０」があれば、当該注目画素を「０」に変更する。収縮処理により、走査範囲内に黒画素「０」が含まれていれば、当該範囲を全て黒画素「０」に書き換えられる（黒く塗りつぶす）。
【００６６】
このように、膨張−収縮の順で処理を行うことで、図９に示すように、白画素「１」の集まり内に存在する微少な黒画素「０」が削除され（膨張処理により白画素「１」で塗りつぶされた黒画素「０」は、収縮処理をしても元に戻らないため）、かつ、白画素「１」の集まりの輪郭が明確になる。
【００６７】
膨張−収縮処理の後、ＣＰＵ２０は、各距離範囲の分割輝度情報データを全てを合成する（図５のステップＳ１１２）。この実施形態では、各距離範囲における同一画素のいずれかに「１」が一つでも含まれていれば、合成後の輝度二値を「１」とするようにしている。これにより、図１０に示すような、輝度情報マスクが生成される。なお、ステップＳ１１２において、併せてラベリング処理（後述する）を行い、画素数の小さな部分を輝度情報マスクに含めないように除去する処理を行ってもよい。
【００６８】
ＣＰＵ２０は、生成された輝度情報マスクを、距離情報に重ね合わせて距離情報データだけを抽出する。すなわち、輝度情報マスクの白画素「１」に対応する領域の距離情報データだけを抽出する（図５のステップＳ１１４）。これにより、無限遠を含む可能性がある黒画素「０」部分の距離情報データは全て残らず削除され、図１１に示すように、輝度情報マスクの白画素「１」に対応する対象領域の距離情報データだけが抽出される。
【００６９】
以上のように、距離情報データを輝度情報マスクでマスキングすることで、背景領域（無限遠や測定可能距離以上の距離にある物体の情報）を容易に削除することが可能である。なお、輝度情報データを距離範囲で分割し（図５のステップＳ１０４）、後で合成（図５のステップＳ１１２）することで、無限遠等を含む部分を有効に削除することができる。これら無限遠等の距離情報は、対象物と異なって、様々な距離に分散して現れるからである。なお、他の実施形態においては、輝度情報データを距離範囲で分割せず、輝度情報データから上記マスクを作成することもできる。
【００７０】
上記のように、この実施例に係る対象領域抽出装置によれば、輝度情報データと組み合わせることで、処理対象とする対象領域の距離情報データだけを正確に抽出することができる。
【００７１】
４．ラベリング、対象領域の解析など（図１の対象領域解析装置２００および属性判定装置３００による処理）
図１２に示すフローチャートを用いて、対象領域のラベリング処理、ラベリングした対象領域に対する解析処理などについて説明する。
【００７２】
ＣＰＵ２０は、まず、各対象領域に対してラベリング処理を行う（図１２のステップＳ２０２）。例えば、上記処理によって生成した輝度情報マスクに基づき、つぎのようなラベリング処理を行う。
【００７３】
具体的には、図１３に示すように、隣接する画素群（白画素「１」の集まり）をグループ化し、各対象領域をラベル１、ラベル２、ラベル３、ラベル４、…とする。その際、領域サイズが小さいラベルは削除される。すなわち、ラベリングを行う最小の画素群数をしきい値として定めておき、しきい値より小さい画素群にはラベルを付与しないようにしている。
【００７４】
基本的には、ここでのラベリング数が対象領域の数となる。ただし、例えば、人間が輝度情報データの画像上で重なっている場合には、複数人を誤って１つの対象領域と判断している可能性がある。そこで、以下に示す重なり判定を行う。
【００７５】
つぎに、ＣＰＵ２０は、ラベリングした対象領域それぞれの距離情報データにつき、距離ヒストグラムを生成する（図１２のステップＳ２０４）。図１４に、図１３に示すラベル１〜４の対象領域に対応する画素から生成した距離ヒストグラムの例を示す。
【００７６】
さらに、ＣＰＵ２０は、図１５に示すように、生成した各距離ヒストグラムに対して平滑化処理を行う（図１２のステップＳ２０６）。なお、距離ヒストグラムは横軸に距離をとっているので、横軸の距離を時間と見立てることで、一般的に行われる高周波遮断フィルタによる平滑化処理を同様に適用することができる。
【００７７】
さらに、ＣＰＵ２０は、オクルージョンによる複数人の重なりを容易に判定するために、平滑化処理をした距離ヒストグラムに対して、特定極大値が複数存在するか否か判断する。その結果、特定極大値が複数存在する場合には、対象領域が分割される（図１２のステップＳ２０８）。なお、ステップＳ２０８の詳細は後述する。これにより、図１６に示すように、人物が重なった対象領域であるラベル１を、ラベル１ａとラベル１ｂとに分割することができる。
【００７８】
さらに、ＣＰＵ２０は、各対象領域までの距離Ｌに基づいて、対象領域の高さ、長さ、面積などを算出して属性を判定し、所定の属性（例えば、人間）でないと判断された対象領域を削除する（図１２のステップＳ２１０、図１７）。なお、ステップＳ２１０の詳細は後述する。
【００７９】
ＣＰＵ２０は、ラベリングした対象領域の重心（３次元または２次元の仮想フィールド上における座標に対応する基準位置）を算出する（図１２のステップＳ２１２）。例えば、図１８に示すように、各対象領域（ラベル１ａ、ラベル１ｂ、ラベル２、ラベル３）の３次元座標上における重心が算出される。
【００８０】
その結果、ＣＰＵ２０は、仮想フィールド上の対応する位置に、対象領域に関する表示を配置する（図１２のステップＳ２１４）。例えば、図１９ａに示すように２次元または３次元フィールド上にドット表示が配置される。
【００８１】
なお、図１９ａに示す表示に併せて、例えば、図１９ｂに示すようにバスケットボールのコートを描画しても良い。コートを描画するためには、予めコートの位置だけを撮影画像から差分などにより抽出しておき（コートのみを描画したレイヤーを生成）、これを上記配置に重ね合わせるといった処理を行えばよい。
【００８２】
４．１−特定極大値の算出方法−
図２０に示すフローチャートを用いて、図１２のステップＳ２０８に示す距離ヒストグラムの分割処理（すなわち、複数対象物の重なりの検出）の詳細について説明する。なお、以下に示す処理は、全ての対象領域に対して行われる。
【００８３】
まず、図２０のステップＳ２０６で平滑化した距離ヒストグラムについて、ＣＰＵ２０は、近い距離から遠い距離の方向に極大値の検出を開始する（図２０のステップＳ２０８２）。画素数の増加率がしきい値以上であり（図２０のステップＳ２０８４のＹｅｓ）、かつ、当該距離位置の画素数がしきい値以上のものを極大値として抽出し記憶する（図２０のステップＳ２０８６のＹｅｓ、Ｓ２０８８８）。例えば、図２１にドット表示される画素数の増加率がしきい値を超える極大値のうち、画素数が８個以上の極大値（黒色のドットで示す）のみが抽出され、画素数が８個に満たない極大値（白色のドットで示す）は除外される。
【００８４】
距離ヒストグラム全体について極大値の検出を終えると（図２０のステップＳ２０９１０のＹｅｓ）、まず、これら極大値のうち、画素数が最大のものを最初の特定極大値として決定する（図２０のステップＳ２０９２）。例えば、図２２に示す黒ドット(1)が最初の特定極大値に決定される。
【００８５】
さらに、画素数が多い順に、既に決定された特定極大値から所定間隔以上に離れているか否かを判断し、所定間隔以上に離れている場合には（図２０のステップＳ２０９４のＹｅｓ）、次の特定極大値として決定する（図２０のステップＳ２０９６）。図２２に示すように、例えば、２番目に画素数が多い極大値(2)は、既に決定された最初の特定極大値から３０ｃｍ以上離れているので、特定極大値として決定される。これを極大値全てについて順に行い特定極大値を決定する。図２２に示す例では、２つの特定極大値(1)(2)が抽出されている。
【００８６】
２つ以上の特定極大値が存在する場合には、さらに、特定極大値の間に特定極小値が存在するか否かを判断する（図２０のステップＳ２０９８）。特定極小値は、２つの特定極大値(1)(2)の間の最も小さい極小値を見いだし、当該極小値と小さい方の特定極大値(2)との個数差が所定以上（たとえば、特定極大値(2)の個数の２／３以上）であるかどうかによって決定する。特定極小値が存在する場合には（図２０のステップＳ２０９８）、距離ヒストグラムの当該特定極小値の位置で距離情報データを各領域に分割する（図２０のステップＳ２１００）。例えば、図２３の分割位置Ｘで距離ヒストグラムが分割される。
【００８７】
以上のように、この実施形態では、特定極大値が複数個存在し、かつその間に特定極小値が存在する場合には、特定極大値の数だけ対象物が重なっていると判断する。
【００８８】
特定極大値を用いたのは、対象物が画像上で重なっている場合、対象物同士の距離は異なるので、距離ヒストグラムにおけるピークが複数存在するはずだからである。また、特定極小値の存在を条件としたのは、特定極大値が２つ存在したとしても、その間の極小値が特定極大値に近い値であれば、一つの対象物である可能性が高いからである。
【００８９】
なお、上記のようにして、対象物（ここでは、人間）の数を検出することができる。したがって、予め対象物の数が決まっているような場合には、この数を記録しておき、検出した対象数が、予め設定されている対象数と一致しないときには、設定された数に一致するまで、条件を変更（例えば、図２０に示す処理において分割する基準（特定極大値の検出や特定極小値の決定条件など）を厳しくまたは緩和）して上記処理を繰り返しても良い。
【００９０】
４．２−対象領域の大きさ推定および属性判定方法−
図２４に示すフローチャートを用いて、図１２のステップＳ２１０に示す処理の詳細を説明する。なお、以下に示す距離ヒストグラムに対する処理は、全ての対象領域（図２０のステップＳ２１００で分割された各対象領域を含む）に対して行われる。
【００９１】
ＣＰＵ２０は、対象領域を構成する画素の距離情報データから対象領域までの距離Ｌを算出する（図２４のステップＳ２１０２）。例えば、対象領域を構成する画素の距離情報の平均値から算出することができる。
【００９２】
さらに、ＣＰＵ２０は、対象領域までの距離Ｌから対象領域の画素に対する単位ピクセル当たりの実際の長さΔｘを算出する（図２４のステップＳ２１０４）。図２５Ａに示すように、センサの水平画角が６０°で、水平画素数が１６０ｐｘのとき、単位ピクセル当たりの実際の長さΔｘ＝Ｌtan30°／８０（ｐｘ）で得られる。なお、垂直方向については、センサの垂直画角が４４°で、垂直画素数が１２０ｐｘであるため、単位ピクセル当たりの実際の長さΔｙ＝Ｌtan22°／６０（ｐｘ）で得られ、結果として同じ値になる。
【００９３】
その後、対象領域の高さ方向の画素数n1、幅方向の画素数n2、対象領域の構成画素数n3を計数する（図２４のステップＳ２１０８）。これを単位画素当たりの実際の長さΔｘに乗算して、対象領域の高さ、幅、面積、縦横比のうち少なくとも何れか１つを算出する（図２４のステップＳ２１０８）。
【００９４】
さらに、算出した値を所定基準に適用して対象領域の属性を判定する（図２４のステップＳ２１１０）。例えば、図２５Ｂに示す対象物については、高さ方向の画素数ｎ１＝５、幅方向の画素数ｎ２＝４、対象領域の構成画素数ｎ３＝９である。よって、高さは５ｐｘ、幅は４ｐｘ、縦横比は４／５、面積は９ｐｘ２で得られる。
【００９５】
図２６に、人間か否かの判断基準の具体例を示す。人間でないと判断された場合（図２４のステップＳ２１１２のＮｏ）、ＣＰＵ２０は、当該対象領域を消去する（図２４のステップＳ２１１４）。
【００９６】
５．対象領域の追跡処理（図１の対象領域追跡装置４００による処理）
図２７に示すフローチャートを用いて、対象領域を追跡する処理について説明する。なお、以下の追跡処理は、距離画像センサ２（図２）を用いて抽出される対象領域の追跡に限られず、一般のビデオカメラで撮影した画像から抽出される対象領域の追跡にも適用することが可能である。
【００９７】
まず、最初のフレーム画像において、対象領域を特定する（図２７のステップＳ３０２）。例えば、前述のような処理を用いて抽出されている場合は、当該領域を対象領域とする。ここで、追跡する対象領域の数が記憶される（図２７のステップＳ３０４）。さらに、以下のように、前画像から抽出された対象領域を、次画像において所定規則に基づいて追跡することになる。
【００９８】
次のフレーム画像において、前のフレーム画像で抽出された各対象領域の周りを探索し、すなわち、近傍の領域における距離ヒストグラムの類似度を算出する（図２７のステップＳ３０６）。
【００９９】
その結果、図２８に示すように、オブジェクトの距離ヒストグラムの類似度が所定のしきい値以上のものを（図２７のステップＳ３０８のＹｅｓ）、前後のフレーム画像における同一のオブジェクトとして関連づける（図２７のステップＳ３１０）。距離ヒストグラムの類似度は、一般的な図形の類似度の基準を用いて判断することができる。
【０１００】
このようにして、追跡を行えば、上述のような対象物の特定処理を最初に行うだけでよく、処理が迅速となる。ただし、追跡が上手くできない場合には、改めて対象物の特定処理を行えばよい。
【０１０１】
追跡に失敗した場合には、対象物の総数が変化することになる。対象物の総数が増減した場合には、上記厳格な対象物抽出処理により対象領域を再抽出する（図２７のステップＳ３１２）。
【０１０２】
このため、前後のフレーム画像におけるオブジェクトの数が増減しない限り、追跡処理するだけを行えばよいという利点がある。なお、追跡する対象がボールの場合には、ステップＳ３０６において距離ヒストグラムの比較対象を探索する際に、移動方向を考慮した、すなわち、移動方向に近い領域から物体検知を行うようにしてもよい。また、ボール以外であっても、動きが予測できる対象物の場合には、同様にこの手法を適用することができる。
【０１０３】
なお、追跡対象を特定するための方法は、上記処理に限られず、図２９に示すように、前後のフレーム画像において、重なる面積の比較による追跡を行うようにしてもよい。
【０１０４】
上記実施形態では、追跡途中に対象物の数が変化した場合について説明した。しかし、追跡対象の数が予め設定されている場合には、追跡された対象物の数が、設定されている追跡対象の数と合致しない場合に、対象領域の抽出処理を行うようにしてもよい。
【０１０５】
また、追跡対象の数が途中で変化する場合（団体競技における退場者など）には、その都度、ユーザが追跡対象を入力し、これと追跡対象の数が合致するかどうかを判断するようにしてもよい。
【０１０６】
なお、この実施形態による対象物追跡と対象物抽出（特定）の切り替え手法は、どのような対象物抽出（特定）の手法であっても、組み合わせて実施することができる。
【０１０７】
６．その他の実施形態
なお、上記実施形態では、対象領域の大きさなどに基づいて削除対象としたが（図２６）、図３０に示すように、距離ヒストグラムの分散が所定のしきい値に含まれない領域を距離情報データから削除するようにしてもよい（図１のデータ処理装置５００による処理）。図３０に示すように、特定領域内（例えば、最大画素数の前後５０ｃｍ）の画素数が、全画素数の５０％より小さいときはノイズと判断して除去するようにしてもよい。
【０１０８】
なお、上記実施形態では、対象領域の判定対象を人間としたが（図２６）、ボールを対象領域の判定対象としてもよい。例えば、ボールに反射材を貼付ければ、コントラストを大きくできるので形状の把握が容易である。
【０１０９】
なお、上記実施形態では、距離画像センサ２のデータを解析などして表示することとしたが、テレビ中継の画像（通常のビデオ画像）と同期して併せて表示してもよい。
【０１１０】
なお、上記実施形態では、１つの距離画像センサ２を用いたが、複数の距離画像センサ２で上記処理を行うようにしてもよい。例えば、敵側のコートをカメラＡで撮影し、味方側のコートをカメラＢで撮影することも可能である。
【０１１１】
なお、上記実施形態では、距離情報データおよび輝度情報データを得ることが可能なセンサを用いたが、距離情報データだけを得ることが可能なセンサだけで上記処理を行うことも可能である。この場合、輝度情報データに基づくマスクは生成できないので、距離情報データ自体に基づいてしきい値によってマスクを生成し、ラベリングを行うようにすればよい。
【０１１２】
なお、上記実施形態では、センサから得られる輝度情報データを用いて輝度情報マスクを生成したが、通常の撮影画像から変換した輝度情報データを用いて輝度情報マスクを生成してもよい。
【０１１３】
また、上記実施形態では、距離画像センサを用いたが、距離センサと通常のビデオカメラとを組み合わせて距離情報データと輝度情報データを得るようにしてもよい。この場合、距離情報データと輝度情報データとの対応付けができるように、距離センサとビデオカメラが、同一の領域を撮像するようにセッティングすることが好ましい。
【技術分野】
【０００１】
この発明は、センサから得られるマトリクス状の距離情報データに対して、または当該距離情報データを用いて、所定の処理を行う技術に関する。
【背景技術】
【０００２】
（Ａ）近年、テレビゲームなどの入力手段として、距離センサが用いられている。ここで、マトリックス状の各画素に対する距離情報を同時に得ることが可能な距離センサは、特に、距離画像センサと呼ばれている。距離画像センサにより距離情報データを測定する仕組みについて、図３１を用いて説明する。
【０００３】
図３１に示す距離画像センサの本体前面に配置された複数の投光ＬＥＤから、特定方向に照射された赤外線が、対象物で反射して受光レンズに到達する。その時間差に基づいて、対象物までの距離が算出される（光波測距（Time of Flight）の原理）。
【０００４】
距離画像センサから得られる距離情報データを可視化した画像例、および計測距離と実際の距離との関係を、図３２に示す。図３２に示すように、距離画像センサでは、計測可能距離L1を超える部分が、計測可能距離L1よりも短い距離として認識されるという問題があった。例えば、図３２に示すように計測可能距離L1が２０ｍのときに、これを超える２１ｍ（または４１ｍ）の距離に存在する対象物を、例えば、１ｍの距離にあると誤認識してしまう可能性がある。また、無限遠を特定の距離領域として認識してしまうという問題があった（図３２）。所定時間内に必要なフレーム数が大きいほど、検出するための時間間隔は小さくなるためと考えられる。
【０００５】
（Ｂ）また、従来から、オクルージョンによる複数人の重なりを判定する方法が存在する。オクルージョンとは、手前にある物体が背後にある物体を隠す状態になることをいう。
【０００６】
（Ｃ）従来から、センサ（距離画像センサなど）を用いて特定した領域が何であるかといった属性を判別する方法が存在する。
【０００７】
（Ｄ）従来から、センサ（距離画像センサなど）を用いて特定した対象物を追跡する方法が存在する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００９−１６８７５１号公報
【特許文献２】特開２００６−６４６９５号公報
【特許文献３】特開Ｈ１０−２７６３５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
（Ａ）図３２に示す距離画像センサの性能上の問題から、ノイズを除去する処理が必要となる。特許文献１の技術では、床面部分が障害物として誤判定されないように、距離画像データに輝度画像を用いてマスク処理をしているが、床面で反射した光が距離画像センサに戻ってこない（距離情報が得られない）部分について床面であることを判断するものに過ぎなかった（距離情報が得られる部分について適用するものではない）。
【００１０】
（Ｂ）特許文献２には、上方から下方に向けられた距離画像センサを用いて複数人の重なりを判別することが開示されているが、距離画像センサを上方に配置するのが困難な場合には用いることができず、距離画像センサを水平方向に向けて配置する場合に適用することができなかった。
【００１１】
（Ｃ）特許文献２には、対象物の平行投影画像を生成した上で、平行投影画像から対象物の部分（輪郭）のデータ（サンプリング・データ）を抽出し、基準データ（人の基準部位の面積及び比についての値又は値の範囲）に基づいて、サンプリングデータに対応する物理対象が人であるか否かを判別することが開示されているが、処理が複雑であった。
【００１２】
（Ｄ）特許文献３には、目標特徴情報に基づいて対象物の追跡処理を行うことが開示されているが、目標特徴情報が存在しない場合には用いることができなかった。
【課題を解決するための手段】
【００１３】
（１）この発明の対象領域抽出装置は、
画素単位で対象物までの距離を測定した距離情報データおよび画素単位で輝度を測定した輝度情報データを得ることが可能なセンサと、
前記距離情報データにおける所定の対象領域を抽出するための対象領域抽出手段と、
を備えた対象領域抽出装置であって、
前記対象領域抽出手段は、
前記輝度情報データに基づいて、所定以上の輝度の存在する隣接画素数がしきい値以下の部分を削除した輝度情報マスクを生成し、
当該輝度情報マスクを距離情報データに重ね合わせて、重複する領域の距離情報データだけを抽出すること、
を特徴とする。
【００１４】
これにより、センサから得られる距離画像データに含まれるノイズや、無限遠の部分などを、効果的に削除することが可能である。
【００１５】
（３）この発明の対象領域抽出装置は、
前記対象領域抽出手段が、
距離情報データに基づいて所定距離範囲毎に輝度情報データを分割し、輝度の存在する画素数がしきい値以下の部分を削除した後、これらを合成して輝度情報マスクを生成すること、
を特徴とする。
【００１６】
これにより、センサから得られる距離画像データに含まれるノイズや、無限遠の部分などを、より効果的に削除することが可能である。
【００１７】
（４）この発明の対象領域抽出装置は、
前記輝度情報データに基づいて、輝度の存在する画素数がしきい値以下の部分を削除した後、輝度情報データに対して、膨張処理および収縮処理を順に行って輝度情報マスクを生成すること、
を特徴とする。
【００１８】
これにより、センサから得られる距離画像データに含まれるノイズや、無限遠の部分などを、さらに効果的に削除することが可能である。
【００１９】
（５）この発明の対象領域解析装置は、
画素単位で対象物までの距離を測定した距離情報データを得ることが可能なセンサと、
前記距離情報データにおける所定の対象領域を抽出するための対象領域抽出手段と、
抽出した対象領域の解析するための対象領域解析手段と、
を備えた対象領域解析装置であって、
前記対象領域解析手段は、
前記距離情報データに含まれる所定の対象領域に関する距離ヒストグラムを生成し、
所定基準に基づいて距離ヒストグラムに含まれる特定極大値の数を算出すること、
を特徴とする。
【００２０】
これにより、オクルージョンによる複数人の重なりが生じていることを容易に判別することが可能である。
【００２１】
（７）この発明の対象領域解析装置は、
前記対象領域解析手段が、
２つ以上の特定極大値が存在する場合には、さらに、特定極大値の間に特定極小値が存在するか否かを判断し、
特定極小値が存在する場合には、距離ヒストグラムの当該特定極小値の位置で距離情報データを各領域に分割すること、
を特徴とする。
【００２２】
これにより、オクルージョンによる複数人の重なりが生じていることを容易に判別して、距離画像データを分割することが可能である。
【００２３】
（８）この発明の対象領域解析装置は、
前記対象領域解析手段が、
距離ヒストグラムにおいて、画素数の増加率がしきい値以上であり、当該距離位置の画素数がしきい値以上の極大値のうち、最も大きいものを最初の特定極大値として決定し、
さらに、画素数が多い順に、既に決定された特定極大値から所定間隔以上に離れているか否かを判断し、所定間隔以上に離れている場合には、次の特定極大値として決定すること、
を特徴とする。
【００２４】
これにより、オクルージョンによる複数人の重なりが生じていることを所定基準に基づいて判別して、距離画像データを分割することが可能である。
【００２５】
（９）この発明の対象領域解析装置は、
前記対象領域解析手段が、
前記距離ヒストグラムを平滑化した後に、所定基準に基づいて距離ヒストグラムに含まれる特定極大値の数を算出すること、
を特徴とする。
【００２６】
これにより、オクルージョンによる複数人の重なりが生じていることをより容易に判別することが可能である。
【００２７】
（１０）この発明の属性判定装置は、
画素単位で対象物までの距離を測定した距離情報データを得ることが可能なセンサと、
前記距離情報データにおける所定の対象領域を抽出するための対象領域抽出手段と、
抽出した対象領域の属性を判定するための属性判定手段と、
を備えた属性判定装置であって、
前記属性判定手段は、
対象領域に対応する距離情報データに基づいて、単位画素当たりの長さを算出し、
当該単位画素当たりの高さ方向および幅方向の長さから、前記対象領域の高さ、幅、面積、縦横比のうち少なくとも何れか１つを算出し、これを所定基準に適用して対象領域の属性を判定すること、
を特徴とする。
【００２８】
これにより、対象領域の属性を容易に判定することが可能である。
【００２９】
（１２）この発明の属性判定装置は、さらに、
所定の属性でないと判断された対象領域を削除する対象領域削除手段、
を備えたことを特徴とする。
【００３０】
これにより、対象領域の属性により、不要な対象領域を削除することが可能である。
【００３１】
（１３）この発明の対象領域追跡装置は、
撮像された画像から対象領域を抽出する対象領域抽出手段と、
前画像から抽出された対象領域を、次画像において所定規則に基づいて追跡する対象領域追跡手段と、
を備えた対象領域追跡装置であって、
前記対象領域追跡手段が次画像において追跡した対象領域の数が増加または減少しない時には、前記対象領域抽出手段は、撮像された当該次画像から再び対象領域を抽出しないで、さらに、次画像において所定規則に基づいて対象領域を追跡し、
前記対象領域追跡手段が次画像において追跡した対象領域の数が増加または減少した時に、前記対象領域抽出手段は、撮像された当該次画像から再び対象領域を抽出すること、
を特徴とする。
【００３２】
これにより、対象領域の追跡処理を高速で行うことが可能である。
【００３３】
（１５）この発明の対象領域追跡装置は、
前記対象領域追跡手段の追跡対象となる対象領域の数が、予め設定されていること、
を特徴とする。
【００３４】
これにより、予め人数が設定されるような場面において、対象領域の追跡を円滑に行うことが可能である。
【００３５】
（１７）この発明の対象領域追跡装置は、さらに、
対象領域の基準位置を距離情報データに基づいて算出し、仮想フィールド画像上の当該基準位置に、各対象領域に対応する表示を配置する表示配置手段、
を備えたことを特徴とする。
【００３６】
これにより、仮想フィールド上におけるプレーヤーなどの位置関係を容易に把握することができる。
【００３７】
（１８）この発明のデータ処理装置は、
画素単位で対象物までの距離を測定した距離情報データを得ることが可能なセンサと、
前記センサから受けた距離情報データに対して所定の処理を行うデータ処理手段と、
を備えたデータ処理装置であって、
前記データ処理手段は、
前記距離情報データに含まれる所定領域に関する距離ヒストグラムを生成し、
算出した当該距離ヒストグラムの分散が所定のしきい値に含まれない領域を前記距離情報データから削除すること、
を特徴とする。
【００３８】
これにより、センサから得られる距離画像データに含まれるノイズや、無限遠の部分などを、効果的に削除することが可能である。
【図面の簡単な説明】
【００３９】
【図１】この発明の対象領域抽出装置１００、対象領域解析装置２００、属性判定装置３００、対象領域追跡装置４００、データ処理装置５００の構成を示す図である。
【図２】この発明の対象領域抽出装置１００のハードウェア構成を示す図である。
【図３】距離情報データのデータ例、およびそのデータ内容を可視化した画像を示す図である。
【図４】輝度情報データのデータ例、およびそのデータ内容を可視化した画像を示す図である。
【図５】輝度情報マスクを生成し、距離情報データをマスキングするまでの処理を示すフローチャートである。
【図６】図４に示す輝度情報データを２値化したデータを示す図である。
【図７】所定の距離範囲（１００ｃｍ）ごとに分けた分割輝度情報データの可視化画像を示す図である。
【図８】画角の下端から所定高さ以下のデータを消去した可視化画像を示す図である。
【図９】膨張−収縮処理の方法を示す図である。
【図１０】生成された輝度情報マスクの可視化画像を示す図である。
【図１１】輝度情報マスクの白画素「１」に対応する対象領域の距離情報データだけを抽出したデータおよび可視化画像を示す図である。
【図１２】対象領域のラベリング処理、ラベリングした対象領域に対する解析処理などを示すフローチャートである。
【図１３】各対象領域に対してラベリング処理を行った可視化画像を示す図である。
【図１４】図１３に示すラベル１〜４の対象領域に対応する画素から生成した距離ヒストグラムの例を示す図である。
【図１５】生成した各距離ヒストグラムに対して平滑化処理を行った状態を示す図である。
【図１６】人物が重なった対象領域を分割した状態を示す可視化画像である。
【図１７】所定の属性（例えば、人間）でないと判断された対象領域を削除する方法を示す図である。
【図１８】ラベリングした対象領域の基準位置（重心）を算出した例を示す図である。
【図１９ａ】対象領域の基準位置を仮想フィールド上の対応する位置に配置した状態を示す図である。
【図１９ｂ】仮想フィールド上にコートを併せて描画した状態を示す図である。
【図２０】ステップＳ２０８に示す距離ヒストグラムの分割処理の詳細を示す図である。
【図２１】距離ヒストグラムに含まれる極大値を示すグラフである。
【図２２】特定極大値の決定方法を示す図である。
【図２３】距離ヒストグラムを分割する位置を示す図である。
【図２４】対象領域の大きさ推定および属性判定方法を示すフローチャートである。
【図２５】対象領域の画素に対する単位ピクセル当たりの実際の長さΔｘを算出する方法、および対象物の大きさを算出する方法を示す図である。
【図２６】人物属性判定基準の例を示す図である。
【図２７】対象領域を追跡する処理を示すフローチャートである。
【図２８】距離ヒストグラムを用いた追跡の方法を示す図である。
【図２９】画像差分による追跡の方法を示す図である。
【図３０】距離ヒストグラムに基づく除去の方法を示す図である。
【図３１】従来技術における距離画像センサの構造を示す図である。
【図３２】従来技術における距離画像センサの問題点を示す図である。
【発明を実施するための形態】
【００４０】
１．本発明に係る各装置について
図１に、対象領域抽出装置１００、対象領域解析装置２００、属性判定装置３００、対象領域追跡装置４００、データ処理装置５００の構成を示す。なお、センサＢ０２は、少なくとも画角内の各画素に対応したマトリクス状の距離情報（距離情報データ）を得ることが可能なセンサである。
【００４１】
（a）図１に示すように、対象領域抽出装置１００は、センサＢ０２および対象領域抽出手段Ｂ１０を備えている。対象領域抽出装置１００のセンサＢ０２からは、各画素の距離情報データだけでなく、当該距離情報データに対応づけられた各画素の輝度情報データも得ることができる。
【００４２】
対象領域抽出手段Ｂ１０（図１）は、センサＢ０２から得られる輝度情報データに基づいて、センサの性能上の問題から生じるノイズを距離情報データから削除するための輝度情報マスクを生成する。この実施例では、所定輝度以上の画素がしきい値以上連続するかたまりの部分を、人や物体など（対象領域）として認識するようにしている。輝度情報マスクを距離情報データに重ね合わせ、輝度情報マスクに重複する領域の距離情報データだけを抽出することで、所定の対象領域のみの距離情報データが、対象領域抽出装置１００により得られる。
【００４３】
(b)図１に示すように、対象領域解析装置２００は、センサＢ０２、対象領域抽出手段Ｂ１０、対象領域解析手段Ｂ１２を備えている。
【００４４】
対象領域解析手段Ｂ１２（図１）は、所定の対象領域に関する距離ヒストグラムを生成し、所定基準に基づいてその距離ヒストグラムに含まれる特定極大値の数を算出する。この実施形態では、特定極大値の数に基づいて、複数人の重なりを判断するようにしている。対象領域解析装置２００により、対象領域においてオクルージョンによる複数人の重なりが生じていることを容易に判別することができる。
【００４５】
(c)図１に示すように、属性判定装置３００は、センサＢ０２、対象領域抽出手段Ｂ１０、属性判定手段Ｂ１４を備えている。
【００４６】
属性判定手段Ｂ１４（図１）は、距離情報データに基づいて算出した単位画素当たりの長さから、対象領域の高さ、幅、面積、縦横比などを算出し、これを所定基準に適用して対象領域の属性（例えば、人間であるか等）を判定する。属性判定装置３００によって、例えば、人間ではあり得ない大きさの物体を削除したり、形状と大きさによりボールであると判断することができる。
【００４７】
(d)図１に示すように、対象領域追跡装置４００は、対象領域抽出手段Ｂ１０、対象領域追跡手段Ｂ１６を備えている。
【００４８】
対象領域追跡手段Ｂ１６（図１）は、前後のフレーム画像において、追跡する対象の数が変化したときにのみ、追跡対象（対象領域）の抽出を行い、追跡する対象の数が変化しないときには、追跡処理のみを行う。対象領域追跡装置４００により、リアルタイムで追跡を行う場合の処理が簡素化される。
【００４９】
(e)図１に示すように、データ処理装置５００は、センサＢ０２、データ処理手段Ｂ０４を備えている。
【００５０】
データ処理手段Ｂ０４（図１）は、所定領域に関する距離ヒストグラムを生成し、算出した当該距離ヒストグラムの分散が所定のしきい値に含まれない領域を距離情報データから削除する。データ処理装置５００により、距離情報データに含まれるノイズ等を容易に除去することができる。
【００５１】
２．装置のハードウェア構成および距離画像センサ２の仕組み
図２に、この発明の対象領域抽出装置１００（図１）のハードウェア構成を示す。なお、図１に示す画像解析装置２００、属性判定装置３００、対象領域追跡装置４００、データ処理装置５００も同様のハードウェア構成である。
【００５２】
図２に示すように対象領域抽出装置１００は、少なくとも距離情報データを取得することが可能な距離画像センサ２を接続したコンピュータ装置で実現することができ、距離画像センサ２の他に、ＣＰＵ２０、ＲＡＭ２２、ディスプレイ２４、ハードディスク２６、キーボード／マウス２８などを備えている。
【００５３】
図２に示すように、対象領域抽出装置１００のハードディスク２８には、対象領域抽出プログラム２７１が記憶されている（図１に示す画像解析装置２００、属性判定装置３００、対象領域追跡装置４００、データ処理装置５００の場合、ハードディスク２８には、それぞれ画像解析プログラム２７２、属性判定処理プログラム２７３、対象領域追跡プログラム２７４、データ処理プログラム２７５が記憶される）。対象領域抽出プログラム２７１などは、ＣＤ−ＲＯＭ等の記録媒体を介して記録媒体リーダー３２からハードディスク１６にインストールまたはコピーされる。
【００５４】
図２に示す距離画像センサ２としては、例えば、パナソニック電工製の「D-IMager」（商標）を用いることができる。距離画像センサ２の性能は、例えば、画角が水平60°−垂直44°であり、応答速度が20フレーム/秒であり、測距画素数が水平：160ピクセル×垂直：120ピクセルである。また、同じ画素単位で距離画像センサ０２から、距離情報データと併せて画像データ（各画素における輝度情報データ）を取得することもできる。
【００５５】
図３に距離情報データのデータ例、およびそのデータ内容を可視化した画像を示す。図４に輝度情報データのデータ例、およびそのデータ内容を可視化した画像を示す。図３および図４に示すように、画素単位（例えば、１６０ｐｘ×１２０ｐｘ）で、マトリクス状の距離情報データおよび輝度情報データが距離画像センサ２から得られる。図４に示す輝度情報データは、例えば、２５６階調で記憶され、「０」が黒画素を示す。
【００５６】
なお、距離画像センサ２の向きは、対象物に向けて水平方向が好ましく、少なくとも水平より上向きに設置するのがよい。地面での乱反射による距離画像データの出力誤差が大きいためである。
【００５７】
３．輝度情報マスクの生成など（図１の対象領域抽出装置１００）
図５に示すフローチャートを用いて、輝度情報マスクを生成し、距離情報データをマスキングするまでの処理について説明する。なお、対象領域抽出装置１００のハードディスク２６（図２）には、距離情報データ（図３）と輝度情報データ（図４）が予め記憶されている。
【００５８】
まず、ＣＰＵ２０は、輝度情報データを所定のしきい値で２値化処理する（図５のステップＳ１０２）。例えば、輝度レベル「１０」未満のデータを全て「０」に書き換え、輝度レベル「１１」以上のデータを「１」に書き換える。図４に示す輝度情報データを２値化したデータを、図６に示す。
【００５９】
さらに、ＣＰＵ２０は、ステップＳ１０２で２値化した輝度情報データを、所定の距離範囲ごとに分け、分割輝度情報データを生成する（図５のステップＳ１０４）。図７に、所定の距離範囲（１００ｃｍ）ごとに分けた分割輝度情報データの可視化画像を示す。図３に示す距離情報データのうち、例えば、距離が３００ｃｍ〜４００ｃｍの画素を全て選択し、これに対応する画素の輝度情報データを図４から読み出して、新たな輝度情報データとして分けて記憶すればよい。
【００６０】
つぎに、ＣＰＵ２０は、各分割輝度情報データについて、輝度の存在する画素のうち隣接する画素群を構成する画素数（隣接画素数）をカウントし、当該隣接画素数がしきい値（例えば、５０個）以下のデータを削除する（図５のステップＳ１０６）。例えば、図７に示す１００ｃｍごとに分けた分割輝度情報データのそれぞれについて、所定しきい値以上の輝度が存在するもの、すなわち、白画素「１」を検出して隣接する画素数をカウントする。なお、この実施形態では、上下方向に画素が隣接して存在する場合だけでなく、斜め方向にのみ画素が存在する場合も隣接する画素として取り扱うこととする。
【００６１】
さらに、ＣＰＵ２０は、各分割輝度情報データについて、画角の下端から所定高さ以下のデータを消去する（図５のステップＳ１０８）。これにより、図８に示すように、距離情報データのうち、乱反射による測定誤差の大きい地面付近のデータ（例えば、下端から３０ｐｘ）が全て消去される。
【００６２】
さらに、ＣＰＵ２０は、各分割輝度情報データを所定画素範囲で走査し、膨張処理および収縮処理を順に行う（図５のステップＳ１１０）。これにより、黒画素「０」のノイズ（雑音）が除去される。
【００６３】
膨張−収縮処理の方法を、図９に示す。まず、膨張処理は次のようにして行う。注目画素を決定し、当該注目画素の周囲８つの元画素（上、右斜め上、右、右斜め下、下、左斜め下、左、左斜め上の画素）のいずれかに「１」があるかどうかを判断する。一つでも「１」があれば、当該注目画素を「１」に変更する。この処理を、注目画素を、一つずつ移動させながら全ての画素について行う。
【００６４】
例えば、膨張処理により、走査範囲内に白画素「１」が含まれていれば、当該範囲が全て白画素「１」に書き換えられる。すなわち、白画素「１」の周り１画素が白く塗りつぶされる。
【００６５】
収縮処理は、上記膨張処理とは逆に、注目画素の周囲８つの元画素のいずれかに「０」があれば、当該注目画素を「０」に変更する。収縮処理により、走査範囲内に黒画素「０」が含まれていれば、当該範囲を全て黒画素「０」に書き換えられる（黒く塗りつぶす）。
【００６６】
このように、膨張−収縮の順で処理を行うことで、図９に示すように、白画素「１」の集まり内に存在する微少な黒画素「０」が削除され（膨張処理により白画素「１」で塗りつぶされた黒画素「０」は、収縮処理をしても元に戻らないため）、かつ、白画素「１」の集まりの輪郭が明確になる。
【００６７】
膨張−収縮処理の後、ＣＰＵ２０は、各距離範囲の分割輝度情報データを全てを合成する（図５のステップＳ１１２）。この実施形態では、各距離範囲における同一画素のいずれかに「１」が一つでも含まれていれば、合成後の輝度二値を「１」とするようにしている。これにより、図１０に示すような、輝度情報マスクが生成される。なお、ステップＳ１１２において、併せてラベリング処理（後述する）を行い、画素数の小さな部分を輝度情報マスクに含めないように除去する処理を行ってもよい。
【００６８】
ＣＰＵ２０は、生成された輝度情報マスクを、距離情報に重ね合わせて距離情報データだけを抽出する。すなわち、輝度情報マスクの白画素「１」に対応する領域の距離情報データだけを抽出する（図５のステップＳ１１４）。これにより、無限遠を含む可能性がある黒画素「０」部分の距離情報データは全て残らず削除され、図１１に示すように、輝度情報マスクの白画素「１」に対応する対象領域の距離情報データだけが抽出される。
【００６９】
以上のように、距離情報データを輝度情報マスクでマスキングすることで、背景領域（無限遠や測定可能距離以上の距離にある物体の情報）を容易に削除することが可能である。なお、輝度情報データを距離範囲で分割し（図５のステップＳ１０４）、後で合成（図５のステップＳ１１２）することで、無限遠等を含む部分を有効に削除することができる。これら無限遠等の距離情報は、対象物と異なって、様々な距離に分散して現れるからである。なお、他の実施形態においては、輝度情報データを距離範囲で分割せず、輝度情報データから上記マスクを作成することもできる。
【００７０】
上記のように、この実施例に係る対象領域抽出装置によれば、輝度情報データと組み合わせることで、処理対象とする対象領域の距離情報データだけを正確に抽出することができる。
【００７１】
４．ラベリング、対象領域の解析など（図１の対象領域解析装置２００および属性判定装置３００による処理）
図１２に示すフローチャートを用いて、対象領域のラベリング処理、ラベリングした対象領域に対する解析処理などについて説明する。
【００７２】
ＣＰＵ２０は、まず、各対象領域に対してラベリング処理を行う（図１２のステップＳ２０２）。例えば、上記処理によって生成した輝度情報マスクに基づき、つぎのようなラベリング処理を行う。
【００７３】
具体的には、図１３に示すように、隣接する画素群（白画素「１」の集まり）をグループ化し、各対象領域をラベル１、ラベル２、ラベル３、ラベル４、…とする。その際、領域サイズが小さいラベルは削除される。すなわち、ラベリングを行う最小の画素群数をしきい値として定めておき、しきい値より小さい画素群にはラベルを付与しないようにしている。
【００７４】
基本的には、ここでのラベリング数が対象領域の数となる。ただし、例えば、人間が輝度情報データの画像上で重なっている場合には、複数人を誤って１つの対象領域と判断している可能性がある。そこで、以下に示す重なり判定を行う。
【００７５】
つぎに、ＣＰＵ２０は、ラベリングした対象領域それぞれの距離情報データにつき、距離ヒストグラムを生成する（図１２のステップＳ２０４）。図１４に、図１３に示すラベル１〜４の対象領域に対応する画素から生成した距離ヒストグラムの例を示す。
【００７６】
さらに、ＣＰＵ２０は、図１５に示すように、生成した各距離ヒストグラムに対して平滑化処理を行う（図１２のステップＳ２０６）。なお、距離ヒストグラムは横軸に距離をとっているので、横軸の距離を時間と見立てることで、一般的に行われる高周波遮断フィルタによる平滑化処理を同様に適用することができる。
【００７７】
さらに、ＣＰＵ２０は、オクルージョンによる複数人の重なりを容易に判定するために、平滑化処理をした距離ヒストグラムに対して、特定極大値が複数存在するか否か判断する。その結果、特定極大値が複数存在する場合には、対象領域が分割される（図１２のステップＳ２０８）。なお、ステップＳ２０８の詳細は後述する。これにより、図１６に示すように、人物が重なった対象領域であるラベル１を、ラベル１ａとラベル１ｂとに分割することができる。
【００７８】
さらに、ＣＰＵ２０は、各対象領域までの距離Ｌに基づいて、対象領域の高さ、長さ、面積などを算出して属性を判定し、所定の属性（例えば、人間）でないと判断された対象領域を削除する（図１２のステップＳ２１０、図１７）。なお、ステップＳ２１０の詳細は後述する。
【００７９】
ＣＰＵ２０は、ラベリングした対象領域の重心（３次元または２次元の仮想フィールド上における座標に対応する基準位置）を算出する（図１２のステップＳ２１２）。例えば、図１８に示すように、各対象領域（ラベル１ａ、ラベル１ｂ、ラベル２、ラベル３）の３次元座標上における重心が算出される。
【００８０】
その結果、ＣＰＵ２０は、仮想フィールド上の対応する位置に、対象領域に関する表示を配置する（図１２のステップＳ２１４）。例えば、図１９ａに示すように２次元または３次元フィールド上にドット表示が配置される。
【００８１】
なお、図１９ａに示す表示に併せて、例えば、図１９ｂに示すようにバスケットボールのコートを描画しても良い。コートを描画するためには、予めコートの位置だけを撮影画像から差分などにより抽出しておき（コートのみを描画したレイヤーを生成）、これを上記配置に重ね合わせるといった処理を行えばよい。
【００８２】
４．１−特定極大値の算出方法−
図２０に示すフローチャートを用いて、図１２のステップＳ２０８に示す距離ヒストグラムの分割処理（すなわち、複数対象物の重なりの検出）の詳細について説明する。なお、以下に示す処理は、全ての対象領域に対して行われる。
【００８３】
まず、図２０のステップＳ２０６で平滑化した距離ヒストグラムについて、ＣＰＵ２０は、近い距離から遠い距離の方向に極大値の検出を開始する（図２０のステップＳ２０８２）。画素数の増加率がしきい値以上であり（図２０のステップＳ２０８４のＹｅｓ）、かつ、当該距離位置の画素数がしきい値以上のものを極大値として抽出し記憶する（図２０のステップＳ２０８６のＹｅｓ、Ｓ２０８８８）。例えば、図２１にドット表示される画素数の増加率がしきい値を超える極大値のうち、画素数が８個以上の極大値（黒色のドットで示す）のみが抽出され、画素数が８個に満たない極大値（白色のドットで示す）は除外される。
【００８４】
距離ヒストグラム全体について極大値の検出を終えると（図２０のステップＳ２０９１０のＹｅｓ）、まず、これら極大値のうち、画素数が最大のものを最初の特定極大値として決定する（図２０のステップＳ２０９２）。例えば、図２２に示す黒ドット(1)が最初の特定極大値に決定される。
【００８５】
さらに、画素数が多い順に、既に決定された特定極大値から所定間隔以上に離れているか否かを判断し、所定間隔以上に離れている場合には（図２０のステップＳ２０９４のＹｅｓ）、次の特定極大値として決定する（図２０のステップＳ２０９６）。図２２に示すように、例えば、２番目に画素数が多い極大値(2)は、既に決定された最初の特定極大値から３０ｃｍ以上離れているので、特定極大値として決定される。これを極大値全てについて順に行い特定極大値を決定する。図２２に示す例では、２つの特定極大値(1)(2)が抽出されている。
【００８６】
２つ以上の特定極大値が存在する場合には、さらに、特定極大値の間に特定極小値が存在するか否かを判断する（図２０のステップＳ２０９８）。特定極小値は、２つの特定極大値(1)(2)の間の最も小さい極小値を見いだし、当該極小値と小さい方の特定極大値(2)との個数差が所定以上（たとえば、特定極大値(2)の個数の２／３以上）であるかどうかによって決定する。特定極小値が存在する場合には（図２０のステップＳ２０９８）、距離ヒストグラムの当該特定極小値の位置で距離情報データを各領域に分割する（図２０のステップＳ２１００）。例えば、図２３の分割位置Ｘで距離ヒストグラムが分割される。
【００８７】
以上のように、この実施形態では、特定極大値が複数個存在し、かつその間に特定極小値が存在する場合には、特定極大値の数だけ対象物が重なっていると判断する。
【００８８】
特定極大値を用いたのは、対象物が画像上で重なっている場合、対象物同士の距離は異なるので、距離ヒストグラムにおけるピークが複数存在するはずだからである。また、特定極小値の存在を条件としたのは、特定極大値が２つ存在したとしても、その間の極小値が特定極大値に近い値であれば、一つの対象物である可能性が高いからである。
【００８９】
なお、上記のようにして、対象物（ここでは、人間）の数を検出することができる。したがって、予め対象物の数が決まっているような場合には、この数を記録しておき、検出した対象数が、予め設定されている対象数と一致しないときには、設定された数に一致するまで、条件を変更（例えば、図２０に示す処理において分割する基準（特定極大値の検出や特定極小値の決定条件など）を厳しくまたは緩和）して上記処理を繰り返しても良い。
【００９０】
４．２−対象領域の大きさ推定および属性判定方法−
図２４に示すフローチャートを用いて、図１２のステップＳ２１０に示す処理の詳細を説明する。なお、以下に示す距離ヒストグラムに対する処理は、全ての対象領域（図２０のステップＳ２１００で分割された各対象領域を含む）に対して行われる。
【００９１】
ＣＰＵ２０は、対象領域を構成する画素の距離情報データから対象領域までの距離Ｌを算出する（図２４のステップＳ２１０２）。例えば、対象領域を構成する画素の距離情報の平均値から算出することができる。
【００９２】
さらに、ＣＰＵ２０は、対象領域までの距離Ｌから対象領域の画素に対する単位ピクセル当たりの実際の長さΔｘを算出する（図２４のステップＳ２１０４）。図２５Ａに示すように、センサの水平画角が６０°で、水平画素数が１６０ｐｘのとき、単位ピクセル当たりの実際の長さΔｘ＝Ｌtan30°／８０（ｐｘ）で得られる。なお、垂直方向については、センサの垂直画角が４４°で、垂直画素数が１２０ｐｘであるため、単位ピクセル当たりの実際の長さΔｙ＝Ｌtan22°／６０（ｐｘ）で得られ、結果として同じ値になる。
【００９３】
その後、対象領域の高さ方向の画素数n1、幅方向の画素数n2、対象領域の構成画素数n3を計数する（図２４のステップＳ２１０８）。これを単位画素当たりの実際の長さΔｘに乗算して、対象領域の高さ、幅、面積、縦横比のうち少なくとも何れか１つを算出する（図２４のステップＳ２１０８）。
【００９４】
さらに、算出した値を所定基準に適用して対象領域の属性を判定する（図２４のステップＳ２１１０）。例えば、図２５Ｂに示す対象物については、高さ方向の画素数ｎ１＝５、幅方向の画素数ｎ２＝４、対象領域の構成画素数ｎ３＝９である。よって、高さは５ｐｘ、幅は４ｐｘ、縦横比は４／５、面積は９ｐｘ２で得られる。
【００９５】
図２６に、人間か否かの判断基準の具体例を示す。人間でないと判断された場合（図２４のステップＳ２１１２のＮｏ）、ＣＰＵ２０は、当該対象領域を消去する（図２４のステップＳ２１１４）。
【００９６】
５．対象領域の追跡処理（図１の対象領域追跡装置４００による処理）
図２７に示すフローチャートを用いて、対象領域を追跡する処理について説明する。なお、以下の追跡処理は、距離画像センサ２（図２）を用いて抽出される対象領域の追跡に限られず、一般のビデオカメラで撮影した画像から抽出される対象領域の追跡にも適用することが可能である。
【００９７】
まず、最初のフレーム画像において、対象領域を特定する（図２７のステップＳ３０２）。例えば、前述のような処理を用いて抽出されている場合は、当該領域を対象領域とする。ここで、追跡する対象領域の数が記憶される（図２７のステップＳ３０４）。さらに、以下のように、前画像から抽出された対象領域を、次画像において所定規則に基づいて追跡することになる。
【００９８】
次のフレーム画像において、前のフレーム画像で抽出された各対象領域の周りを探索し、すなわち、近傍の領域における距離ヒストグラムの類似度を算出する（図２７のステップＳ３０６）。
【００９９】
その結果、図２８に示すように、オブジェクトの距離ヒストグラムの類似度が所定のしきい値以上のものを（図２７のステップＳ３０８のＹｅｓ）、前後のフレーム画像における同一のオブジェクトとして関連づける（図２７のステップＳ３１０）。距離ヒストグラムの類似度は、一般的な図形の類似度の基準を用いて判断することができる。
【０１００】
このようにして、追跡を行えば、上述のような対象物の特定処理を最初に行うだけでよく、処理が迅速となる。ただし、追跡が上手くできない場合には、改めて対象物の特定処理を行えばよい。
【０１０１】
追跡に失敗した場合には、対象物の総数が変化することになる。対象物の総数が増減した場合には、上記厳格な対象物抽出処理により対象領域を再抽出する（図２７のステップＳ３１２）。
【０１０２】
このため、前後のフレーム画像におけるオブジェクトの数が増減しない限り、追跡処理するだけを行えばよいという利点がある。なお、追跡する対象がボールの場合には、ステップＳ３０６において距離ヒストグラムの比較対象を探索する際に、移動方向を考慮した、すなわち、移動方向に近い領域から物体検知を行うようにしてもよい。また、ボール以外であっても、動きが予測できる対象物の場合には、同様にこの手法を適用することができる。
【０１０３】
なお、追跡対象を特定するための方法は、上記処理に限られず、図２９に示すように、前後のフレーム画像において、重なる面積の比較による追跡を行うようにしてもよい。
【０１０４】
上記実施形態では、追跡途中に対象物の数が変化した場合について説明した。しかし、追跡対象の数が予め設定されている場合には、追跡された対象物の数が、設定されている追跡対象の数と合致しない場合に、対象領域の抽出処理を行うようにしてもよい。
【０１０５】
また、追跡対象の数が途中で変化する場合（団体競技における退場者など）には、その都度、ユーザが追跡対象を入力し、これと追跡対象の数が合致するかどうかを判断するようにしてもよい。
【０１０６】
なお、この実施形態による対象物追跡と対象物抽出（特定）の切り替え手法は、どのような対象物抽出（特定）の手法であっても、組み合わせて実施することができる。
【０１０７】
６．その他の実施形態
なお、上記実施形態では、対象領域の大きさなどに基づいて削除対象としたが（図２６）、図３０に示すように、距離ヒストグラムの分散が所定のしきい値に含まれない領域を距離情報データから削除するようにしてもよい（図１のデータ処理装置５００による処理）。図３０に示すように、特定領域内（例えば、最大画素数の前後５０ｃｍ）の画素数が、全画素数の５０％より小さいときはノイズと判断して除去するようにしてもよい。
【０１０８】
なお、上記実施形態では、対象領域の判定対象を人間としたが（図２６）、ボールを対象領域の判定対象としてもよい。例えば、ボールに反射材を貼付ければ、コントラストを大きくできるので形状の把握が容易である。
【０１０９】
なお、上記実施形態では、距離画像センサ２のデータを解析などして表示することとしたが、テレビ中継の画像（通常のビデオ画像）と同期して併せて表示してもよい。
【０１１０】
なお、上記実施形態では、１つの距離画像センサ２を用いたが、複数の距離画像センサ２で上記処理を行うようにしてもよい。例えば、敵側のコートをカメラＡで撮影し、味方側のコートをカメラＢで撮影することも可能である。
【０１１１】
なお、上記実施形態では、距離情報データおよび輝度情報データを得ることが可能なセンサを用いたが、距離情報データだけを得ることが可能なセンサだけで上記処理を行うことも可能である。この場合、輝度情報データに基づくマスクは生成できないので、距離情報データ自体に基づいてしきい値によってマスクを生成し、ラベリングを行うようにすればよい。
【０１１２】
なお、上記実施形態では、センサから得られる輝度情報データを用いて輝度情報マスクを生成したが、通常の撮影画像から変換した輝度情報データを用いて輝度情報マスクを生成してもよい。
【０１１３】
また、上記実施形態では、距離画像センサを用いたが、距離センサと通常のビデオカメラとを組み合わせて距離情報データと輝度情報データを得るようにしてもよい。この場合、距離情報データと輝度情報データとの対応付けができるように、距離センサとビデオカメラが、同一の領域を撮像するようにセッティングすることが好ましい。
【特許請求の範囲】
【請求項１】
画素単位で対象物までの距離を測定した距離情報データおよび画素単位で輝度を測定した輝度情報データを得ることが可能なセンサと、
前記距離情報データにおける所定の対象領域を抽出するための対象領域抽出手段と、
を備えた対象領域抽出装置であって、
前記対象領域抽出手段は、
前記輝度情報データに基づいて、所定以上の輝度の存在する隣接画素数がしきい値以下の部分を削除した輝度情報マスクを生成し、
当該輝度情報マスクを距離情報データに重ね合わせて、重複する領域の距離情報データだけを抽出すること、
を特徴とする対象領域抽出装置。
【請求項２】
コンピュータを、
距離情報データにおける所定の対象領域を抽出するための対象領域抽出手段であって、前記輝度情報データに基づいて、所定以上の輝度の存在する隣接画素数がしきい値以下の部分を削除した輝度情報マスクを生成し、当該輝度情報マスクを距離情報データに重ね合わせて、重複する領域の距離情報データだけを抽出する対象領域抽出手段、
として機能させることを特徴とする対象領域抽出プログラム。
【請求項３】
請求項１または請求項２の対象領域抽出装置または対象領域抽出プログラムにおいて、
前記対象領域抽出手段が、
距離情報データに基づいて所定距離範囲毎に輝度情報データを分割し、輝度の存在する画素数がしきい値以下の部分を削除した後、これらを合成して輝度情報マスクを生成すること、
を特徴とする対象領域抽出装置または対象領域抽出プログラム。
【請求項４】
請求項１〜請求項３のいずれかの対象領域抽出装置または対象領域抽出プログラムにおいて、
前記輝度情報データに基づいて、輝度の存在する画素数がしきい値以下の部分を削除した後、輝度情報データに対して、膨張処理および収縮処理を順に行って輝度情報マスクを生成すること、
を特徴とする対象領域抽出装置または対象領域抽出プログラム。
【請求項５】
画素単位で対象物までの距離を測定した距離情報データを得ることが可能なセンサと、
前記距離情報データにおける所定の対象領域を抽出するための対象領域抽出手段と、
抽出した対象領域の解析するための対象領域解析手段と、
を備えた対象領域解析装置であって、
前記対象領域解析手段は、
前記距離情報データに含まれる所定の対象領域に関する距離ヒストグラムを生成し、
所定基準に基づいて距離ヒストグラムに含まれる特定極大値の数を算出すること、
を特徴とする対象領域解析装置。
【請求項６】
コンピュータを、
距離情報データにおける所定の対象領域を抽出するための対象領域抽出手段、
抽出した対象領域の解析するための対象領域解析手段であって、前記距離情報データに含まれる所定の対象領域に関する距離ヒストグラムを生成し、所定基準に基づいて距離ヒストグラムに含まれる特定極大値の数を算出する対象領域解析手段、
として機能させることを特徴とする対象領域解析プログラム。
【請求項７】
請求項５または請求項６の対象領域解析装置または対象領域解析プログラムにおいて、
前記対象領域解析手段は、
２つ以上の特定極大値が存在する場合には、さらに、特定極大値の間に特定極小値が存在するか否かを判断し、
特定極小値が存在する場合には、距離ヒストグラムの当該特定極小値の位置で距離情報データを各領域に分割すること、
を特徴とする対象領域解析装置または対象領域解析プログラム。
【請求項８】
請求項５〜請求項７のいずれかの対象領域解析装置または対象領域解析プログラムにおいて、
前記対象領域解析手段は、
距離ヒストグラムにおいて、画素数の増加率がしきい値以上であり、当該距離位置の画素数がしきい値以上の極大値のうち、最も大きいものを最初の特定極大値として決定し、
さらに、画素数が多い順に、既に決定された特定極大値から所定間隔以上に離れているか否かを判断し、所定間隔以上に離れている場合には、次の特定極大値として決定すること、
を特徴とする対象領域解析装置または対象領域解析プログラム。
【請求項９】
請求項５〜請求項８のいずれかの対象領域解析装置または対象領域解析プログラムにおいて、
前記対象領域解析手段は、
前記距離ヒストグラムを平滑化した後に、所定基準に基づいて距離ヒストグラムに含まれる特定極大値の数を算出すること、
を特徴とする対象領域解析装置または対象領域解析プログラム。
【請求項１０】
画素単位で対象物までの距離を測定した距離情報データを得ることが可能なセンサと、
前記距離情報データにおける所定の対象領域を抽出するための対象領域抽出手段と、
抽出した対象領域の属性を判定するための属性判定手段と、
を備えた属性判定装置であって、
前記属性判定手段は、
対象領域に対応する距離情報データに基づいて、単位画素当たりの長さを算出し、
当該単位画素当たりの高さ方向および幅方向の長さから、前記対象領域の高さ、幅、面積、縦横比のうち少なくとも何れか１つを算出し、これを所定基準に適用して対象領域の属性を判定すること、
を特徴とする属性判定装置。
【請求項１１】
コンピュータを、
距離情報データにおける所定の対象領域を抽出するための対象領域抽出手段、
抽出した対象領域の属性を判定するための属性判定手段であって、対象領域に対応する距離情報データに基づいて、単位画素当たりの長さを算出し、当該単位画素当たりの高さ方向および幅方向の長さから、前記対象領域の高さ、幅、面積、縦横比のうち少なくとも何れか１つを算出し、これを所定基準に適用して対象領域の属性を判定する属性判定手段、
として機能させることを特徴とする属性判定プログラム。
【請求項１２】
請求項１０または請求項１１の属性判定装置または属性判定プログラムにおいて、さらに、
所定の属性でないと判断された対象領域を削除する対象領域削除手段、
を備えたことを特徴とする属性判定装置または属性判定プログラム。
【請求項１３】
撮像された画像から対象領域を抽出する対象領域抽出手段と、
前画像から抽出された対象領域を、次画像において所定規則に基づいて追跡する対象領域追跡手段と、
を備えた対象領域追跡装置であって、
前記対象領域追跡手段が次画像において追跡した対象領域の数が増加または減少しない時には、前記対象領域抽出手段は、撮像された当該次画像から再び対象領域を抽出しないで、さらに、次画像において所定規則に基づいて対象領域を追跡し、
前記対象領域追跡手段が次画像において追跡した対象領域の数が増加または減少した時に、前記対象領域抽出手段は、撮像された当該次画像から再び対象領域を抽出すること、
を特徴とする対象領域追跡装置。
【請求項１４】
コンピュータを、
撮像された画像から対象領域を抽出する対象領域抽出手段、
前画像から抽出された対象領域を、次画像において所定規則に基づいて追跡する対象領域追跡手段であって、前記対象領域追跡手段が次画像において追跡した対象領域の数が増加または減少しない時には、前記対象領域抽出手段は、撮像された当該次画像から再び対象領域を抽出しないで、さらに、次画像において所定規則に基づいて対象領域を追跡し、前記対象領域追跡手段が次画像において追跡した対象領域の数が増加または減少した時に、前記対象領域抽出手段は、撮像された当該次画像から再び対象領域を抽出する対象領域追跡手段、
として機能させることを特徴とする対象領域追跡プログラム。
【請求項１５】
請求項１３または請求項１４の対象領域追跡装置または対象領域追跡プログラムにおいて、
前記対象領域追跡手段の追跡対象となる対象領域の数が、予め設定されていること、
を特徴とする対象領域追跡装置または対象領域追跡プログラム。
【請求項１６】
請求項１３〜請求項１５のいずれかの対象領域追跡装置または対象領域追跡プログラムにおいて、
前記画像は、距離情報データまたは輝度情報データに基づく画像であること、
を特徴とする対象領域追跡装置または対象領域追跡プログラム。
【請求項１７】
請求項１〜１６のいずれかの装置またはプログラムにおいて、さらに、
対象領域の基準位置を距離情報データに基づいて算出し、仮想フィールド画像上の当該基準位置に、各対象領域に対応する表示を配置する表示配置手段、
を備えたことを特徴とする装置またはプログラム。
【請求項１８】
画素単位で対象物までの距離を測定した距離情報データを得ることが可能なセンサと、
前記センサから受けた距離情報データに対して所定の処理を行うデータ処理手段と、
を備えたデータ処理装置であって、
前記データ処理手段は、
前記距離情報データに含まれる所定領域に関する距離ヒストグラムを生成し、
算出した当該距離ヒストグラムの分散が所定のしきい値に含まれない領域を前記距離情報データから削除すること、
を特徴とするデータ処理装置。
【請求項１９】
コンピュータを、
距離情報データに対して所定の処理を行うデータ処理手段であって、前記距離情報データに含まれる所定領域に関する距離ヒストグラムを生成し、算出した当該距離ヒストグラムの分散が所定のしきい値に含まれない領域を前記距離情報データから削除するデータ処理手段、
として機能させることを特徴とするデータ処理プログラム。
【請求項２０】
距離情報データにおける所定の対象領域を抽出するための対象領域抽出方法であって、
輝度情報データに基づいて、所定以上の輝度の存在する隣接画素数がしきい値以下の部分を削除した輝度情報マスクを生成し、当該輝度情報マスクを距離情報データに重ね合わせて、重複する領域の距離情報データだけを抽出する、
ことを特徴とする対象領域抽出方法。
【請求項２１】
抽出した対象領域の解析するための対象領域解析手段であって、
前記距離情報データに含まれる所定の対象領域に関する距離ヒストグラムを生成し、所定基準に基づいて距離ヒストグラムに含まれる特定極大値の数を算出する、
ことを特徴とする対象領域解析方法。
【請求項２２】
抽出した対象領域の属性を判定するための属性判定方法であって、
対象領域に対応する距離情報データに基づいて、単位画素当たりの長さを算出し、当該単位画素当たりの高さ方向および幅方向の長さから、対象領域の高さ、幅、面積、縦横比のうち少なくとも何れか１つを算出し、これを所定基準に適用して対象領域の属性を判定する、
ことを特徴とする属性判定方法。
【請求項２３】
対象領域抽出手段が撮像された画像から対象領域を抽出し、前画像から抽出された対象領域を、次画像において所定規則に基づいて追跡する対象領域追跡方法であって、
次画像において追跡した対象領域の数が増加または減少しない時には、撮像された当該次画像から再び対象領域を抽出しないで、さらに、次画像において所定規則に基づいて対象領域を追跡し、次画像において追跡した対象領域の数が増加または減少した時に、撮像された当該次画像から再び対象領域を抽出する、
ことを特徴とする対象領域追跡方法。
【請求項２４】
センサから受けた距離情報データに対して所定の処理を行うデータ処理方法であって、
距離情報データに含まれる所定領域に関する距離ヒストグラムを生成し、算出した当該距離ヒストグラムの分散が所定のしきい値に含まれない領域を距離情報データから削除すること、
を特徴とするデータ処理方法。
【請求項１】
画素単位で対象物までの距離を測定した距離情報データおよび画素単位で輝度を測定した輝度情報データを得ることが可能なセンサと、
前記距離情報データにおける所定の対象領域を抽出するための対象領域抽出手段と、
を備えた対象領域抽出装置であって、
前記対象領域抽出手段は、
前記輝度情報データに基づいて、所定以上の輝度の存在する隣接画素数がしきい値以下の部分を削除した輝度情報マスクを生成し、
当該輝度情報マスクを距離情報データに重ね合わせて、重複する領域の距離情報データだけを抽出すること、
を特徴とする対象領域抽出装置。
【請求項２】
コンピュータを、
距離情報データにおける所定の対象領域を抽出するための対象領域抽出手段であって、前記輝度情報データに基づいて、所定以上の輝度の存在する隣接画素数がしきい値以下の部分を削除した輝度情報マスクを生成し、当該輝度情報マスクを距離情報データに重ね合わせて、重複する領域の距離情報データだけを抽出する対象領域抽出手段、
として機能させることを特徴とする対象領域抽出プログラム。
【請求項３】
請求項１または請求項２の対象領域抽出装置または対象領域抽出プログラムにおいて、
前記対象領域抽出手段が、
距離情報データに基づいて所定距離範囲毎に輝度情報データを分割し、輝度の存在する画素数がしきい値以下の部分を削除した後、これらを合成して輝度情報マスクを生成すること、
を特徴とする対象領域抽出装置または対象領域抽出プログラム。
【請求項４】
請求項１〜請求項３のいずれかの対象領域抽出装置または対象領域抽出プログラムにおいて、
前記輝度情報データに基づいて、輝度の存在する画素数がしきい値以下の部分を削除した後、輝度情報データに対して、膨張処理および収縮処理を順に行って輝度情報マスクを生成すること、
を特徴とする対象領域抽出装置または対象領域抽出プログラム。
【請求項５】
画素単位で対象物までの距離を測定した距離情報データを得ることが可能なセンサと、
前記距離情報データにおける所定の対象領域を抽出するための対象領域抽出手段と、
抽出した対象領域の解析するための対象領域解析手段と、
を備えた対象領域解析装置であって、
前記対象領域解析手段は、
前記距離情報データに含まれる所定の対象領域に関する距離ヒストグラムを生成し、
所定基準に基づいて距離ヒストグラムに含まれる特定極大値の数を算出すること、
を特徴とする対象領域解析装置。
【請求項６】
コンピュータを、
距離情報データにおける所定の対象領域を抽出するための対象領域抽出手段、
抽出した対象領域の解析するための対象領域解析手段であって、前記距離情報データに含まれる所定の対象領域に関する距離ヒストグラムを生成し、所定基準に基づいて距離ヒストグラムに含まれる特定極大値の数を算出する対象領域解析手段、
として機能させることを特徴とする対象領域解析プログラム。
【請求項７】
請求項５または請求項６の対象領域解析装置または対象領域解析プログラムにおいて、
前記対象領域解析手段は、
２つ以上の特定極大値が存在する場合には、さらに、特定極大値の間に特定極小値が存在するか否かを判断し、
特定極小値が存在する場合には、距離ヒストグラムの当該特定極小値の位置で距離情報データを各領域に分割すること、
を特徴とする対象領域解析装置または対象領域解析プログラム。
【請求項８】
請求項５〜請求項７のいずれかの対象領域解析装置または対象領域解析プログラムにおいて、
前記対象領域解析手段は、
距離ヒストグラムにおいて、画素数の増加率がしきい値以上であり、当該距離位置の画素数がしきい値以上の極大値のうち、最も大きいものを最初の特定極大値として決定し、
さらに、画素数が多い順に、既に決定された特定極大値から所定間隔以上に離れているか否かを判断し、所定間隔以上に離れている場合には、次の特定極大値として決定すること、
を特徴とする対象領域解析装置または対象領域解析プログラム。
【請求項９】
請求項５〜請求項８のいずれかの対象領域解析装置または対象領域解析プログラムにおいて、
前記対象領域解析手段は、
前記距離ヒストグラムを平滑化した後に、所定基準に基づいて距離ヒストグラムに含まれる特定極大値の数を算出すること、
を特徴とする対象領域解析装置または対象領域解析プログラム。
【請求項１０】
画素単位で対象物までの距離を測定した距離情報データを得ることが可能なセンサと、
前記距離情報データにおける所定の対象領域を抽出するための対象領域抽出手段と、
抽出した対象領域の属性を判定するための属性判定手段と、
を備えた属性判定装置であって、
前記属性判定手段は、
対象領域に対応する距離情報データに基づいて、単位画素当たりの長さを算出し、
当該単位画素当たりの高さ方向および幅方向の長さから、前記対象領域の高さ、幅、面積、縦横比のうち少なくとも何れか１つを算出し、これを所定基準に適用して対象領域の属性を判定すること、
を特徴とする属性判定装置。
【請求項１１】
コンピュータを、
距離情報データにおける所定の対象領域を抽出するための対象領域抽出手段、
抽出した対象領域の属性を判定するための属性判定手段であって、対象領域に対応する距離情報データに基づいて、単位画素当たりの長さを算出し、当該単位画素当たりの高さ方向および幅方向の長さから、前記対象領域の高さ、幅、面積、縦横比のうち少なくとも何れか１つを算出し、これを所定基準に適用して対象領域の属性を判定する属性判定手段、
として機能させることを特徴とする属性判定プログラム。
【請求項１２】
請求項１０または請求項１１の属性判定装置または属性判定プログラムにおいて、さらに、
所定の属性でないと判断された対象領域を削除する対象領域削除手段、
を備えたことを特徴とする属性判定装置または属性判定プログラム。
【請求項１３】
撮像された画像から対象領域を抽出する対象領域抽出手段と、
前画像から抽出された対象領域を、次画像において所定規則に基づいて追跡する対象領域追跡手段と、
を備えた対象領域追跡装置であって、
前記対象領域追跡手段が次画像において追跡した対象領域の数が増加または減少しない時には、前記対象領域抽出手段は、撮像された当該次画像から再び対象領域を抽出しないで、さらに、次画像において所定規則に基づいて対象領域を追跡し、
前記対象領域追跡手段が次画像において追跡した対象領域の数が増加または減少した時に、前記対象領域抽出手段は、撮像された当該次画像から再び対象領域を抽出すること、
を特徴とする対象領域追跡装置。
【請求項１４】
コンピュータを、
撮像された画像から対象領域を抽出する対象領域抽出手段、
前画像から抽出された対象領域を、次画像において所定規則に基づいて追跡する対象領域追跡手段であって、前記対象領域追跡手段が次画像において追跡した対象領域の数が増加または減少しない時には、前記対象領域抽出手段は、撮像された当該次画像から再び対象領域を抽出しないで、さらに、次画像において所定規則に基づいて対象領域を追跡し、前記対象領域追跡手段が次画像において追跡した対象領域の数が増加または減少した時に、前記対象領域抽出手段は、撮像された当該次画像から再び対象領域を抽出する対象領域追跡手段、
として機能させることを特徴とする対象領域追跡プログラム。
【請求項１５】
請求項１３または請求項１４の対象領域追跡装置または対象領域追跡プログラムにおいて、
前記対象領域追跡手段の追跡対象となる対象領域の数が、予め設定されていること、
を特徴とする対象領域追跡装置または対象領域追跡プログラム。
【請求項１６】
請求項１３〜請求項１５のいずれかの対象領域追跡装置または対象領域追跡プログラムにおいて、
前記画像は、距離情報データまたは輝度情報データに基づく画像であること、
を特徴とする対象領域追跡装置または対象領域追跡プログラム。
【請求項１７】
請求項１〜１６のいずれかの装置またはプログラムにおいて、さらに、
対象領域の基準位置を距離情報データに基づいて算出し、仮想フィールド画像上の当該基準位置に、各対象領域に対応する表示を配置する表示配置手段、
を備えたことを特徴とする装置またはプログラム。
【請求項１８】
画素単位で対象物までの距離を測定した距離情報データを得ることが可能なセンサと、
前記センサから受けた距離情報データに対して所定の処理を行うデータ処理手段と、
を備えたデータ処理装置であって、
前記データ処理手段は、
前記距離情報データに含まれる所定領域に関する距離ヒストグラムを生成し、
算出した当該距離ヒストグラムの分散が所定のしきい値に含まれない領域を前記距離情報データから削除すること、
を特徴とするデータ処理装置。
【請求項１９】
コンピュータを、
距離情報データに対して所定の処理を行うデータ処理手段であって、前記距離情報データに含まれる所定領域に関する距離ヒストグラムを生成し、算出した当該距離ヒストグラムの分散が所定のしきい値に含まれない領域を前記距離情報データから削除するデータ処理手段、
として機能させることを特徴とするデータ処理プログラム。
【請求項２０】
距離情報データにおける所定の対象領域を抽出するための対象領域抽出方法であって、
輝度情報データに基づいて、所定以上の輝度の存在する隣接画素数がしきい値以下の部分を削除した輝度情報マスクを生成し、当該輝度情報マスクを距離情報データに重ね合わせて、重複する領域の距離情報データだけを抽出する、
ことを特徴とする対象領域抽出方法。
【請求項２１】
抽出した対象領域の解析するための対象領域解析手段であって、
前記距離情報データに含まれる所定の対象領域に関する距離ヒストグラムを生成し、所定基準に基づいて距離ヒストグラムに含まれる特定極大値の数を算出する、
ことを特徴とする対象領域解析方法。
【請求項２２】
抽出した対象領域の属性を判定するための属性判定方法であって、
対象領域に対応する距離情報データに基づいて、単位画素当たりの長さを算出し、当該単位画素当たりの高さ方向および幅方向の長さから、対象領域の高さ、幅、面積、縦横比のうち少なくとも何れか１つを算出し、これを所定基準に適用して対象領域の属性を判定する、
ことを特徴とする属性判定方法。
【請求項２３】
対象領域抽出手段が撮像された画像から対象領域を抽出し、前画像から抽出された対象領域を、次画像において所定規則に基づいて追跡する対象領域追跡方法であって、
次画像において追跡した対象領域の数が増加または減少しない時には、撮像された当該次画像から再び対象領域を抽出しないで、さらに、次画像において所定規則に基づいて対象領域を追跡し、次画像において追跡した対象領域の数が増加または減少した時に、撮像された当該次画像から再び対象領域を抽出する、
ことを特徴とする対象領域追跡方法。
【請求項２４】
センサから受けた距離情報データに対して所定の処理を行うデータ処理方法であって、
距離情報データに含まれる所定領域に関する距離ヒストグラムを生成し、算出した当該距離ヒストグラムの分散が所定のしきい値に含まれない領域を距離情報データから削除すること、
を特徴とするデータ処理方法。
【図１】
【図２】
【図５】
【図６】
【図１２】
【図１５】
【図１９ａ】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２７】
【図３１】
【図３】
【図４】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１４】
【図１６】
【図１７】
【図１８】
【図１９ｂ】
【図２５】
【図２６】
【図２８】
【図２９】
【図３０】
【図３２】
【図２】
【図５】
【図６】
【図１２】
【図１５】
【図１９ａ】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２７】
【図３１】
【図３】
【図４】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１４】
【図１６】
【図１７】
【図１８】
【図１９ｂ】
【図２５】
【図２６】
【図２８】
【図２９】
【図３０】
【図３２】
【公開番号】特開２０１２−９３２９５（Ｐ２０１２−９３２９５Ａ）
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願番号】特願２０１０−２４２２８３（Ｐ２０１０−２４２２８３）
【出願日】平成２２年１０月２８日（２０１０．１０．２８）
【出願人】（５０００６３２２８）
【出願人】（５９９１５３００２）
【出願人】（５０１０６９５５５）株式会社関西総合情報研究所 (6)
【出願人】（５０６４３０３２５）株式会社フォーラムエイト (5)
【Ｆターム（参考）】
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願日】平成２２年１０月２８日（２０１０．１０．２８）
【出願人】（５０００６３２２８）
【出願人】（５９９１５３００２）
【出願人】（５０１０６９５５５）株式会社関西総合情報研究所 (6)
【出願人】（５０６４３０３２５）株式会社フォーラムエイト (5)
【Ｆターム（参考）】
[ Back to top ]