対象物検出装置
【課題】対象物か否かを判断する情報を残しながらも情報量を低減させ、距離画像を用いた対象物の検出における処理負荷を従来よりも低減する。
【解決手段】アクティブ型の距離画像センサ１により距離画像を生成する。背景取得手段２は背景距離画像を記憶し、差分画像生成手段３は、距離画像と背景距離画像とから距離差分画像を生成する。注目画素抽出手段４は、距離差分画像における画素値が存在閾値以上である画素を距離画像から注目画素として抽出し、密度計測手段５では、注目画素を３次元の仮想空間にマッピングし単位体積のブロックごとに注目画素の個数を密度として求める。有効ブロック抽出手段６は、密度が対象閾値以上であるブロックを有効ブロックとして抽出し、領域統合手段７は、隣接する有効ブロックを統合してグループを形成する。対象物判別手段８は、グループのサイズが適正範囲であれば、対象物として判別する。
【解決手段】アクティブ型の距離画像センサ１により距離画像を生成する。背景取得手段２は背景距離画像を記憶し、差分画像生成手段３は、距離画像と背景距離画像とから距離差分画像を生成する。注目画素抽出手段４は、距離差分画像における画素値が存在閾値以上である画素を距離画像から注目画素として抽出し、密度計測手段５では、注目画素を３次元の仮想空間にマッピングし単位体積のブロックごとに注目画素の個数を密度として求める。有効ブロック抽出手段６は、密度が対象閾値以上であるブロックを有効ブロックとして抽出し、領域統合手段７は、隣接する有効ブロックを統合してグループを形成する。対象物判別手段８は、グループのサイズが適正範囲であれば、対象物として判別する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、距離画像センサを用いて対象物を検出する対象物検出装置に関するものである。
【背景技術】
【０００２】
従来から、距離画像を用いて対象物を検出する技術が提案されている。たとえば、特許文献１には、ステレオ画像処理により生成した距離画像を用いて自動車の前方に存在する物体を検出する技術が記載されている。
【０００３】
特許文献１には、距離画像上に複数の区分を設定し、各区分ごとに距離値のヒストグラムを生成するとともに、出現頻度が閾値以上になる距離値を、当該区分を代表する距離値として求めることが記載されている。さらに、区分と距離とからなる処理空間において各区分における距離の代表値が占める位置が隣接している場合に同一物体とみなしてグループ化している。
【０００４】
特許文献１に記載の技術では、処理空間におけるグループ化を行うことにより、距離の異なる物体を、異なるグループとして分離することを可能にしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−６４６２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、特許文献１に記載の技術を採用すれば、距離画像内に占める領域が隣接した複数の物体であっても、距離差に基づくグループ化を行うことにより、分離することが可能である。しかも、グループ化を行うことにより、距離画像の画素をそのまま扱う場合よりも処理負荷を低減することができる可能性がある。
【０００７】
しかしながら、グループ化の際には物体の形状に関する情報がほとんど失われてしまうから、物体の種類を識別することができないという問題がある。すなわち、距離画像を用いて物体を認識する用途では、特許文献１に記載の技術を採用することができない。
【０００８】
本発明は上記事由に鑑みて為されたものであり、その目的は、距離画像において対象物か否かを判断する情報を残しながらも情報量を低減させることを可能にし、距離画像を用いた対象物の検出における処理負荷を従来よりも低減することができる対象物検出装置を提供することにある。
【課題を解決するための手段】
【０００９】
本発明は、上記目的を達成するために、視野領域について画素値が距離である距離画像を生成するアクティブ型の距離画像センサと、視野領域に対象物が存在しない状態において距離画像センサにより生成した距離画像を背景距離画像として記憶する背景取得手段と、視野領域を監視する状態において距離画像センサにより生成した距離画像と背景取得手段に記憶されている背景距離画像との差分画像である距離差分画像を生成する差分画像生成手段と、距離画像センサにより生成した距離画像に含まれる画素のうち、差分画像生成手段により生成した距離差分画像における画素値が規定の存在閾値以上である画素を注目画素として抽出する注目画素抽出手段と、注目画素抽出手段により抽出した注目画素を３次元の仮想空間にマッピングし当該仮想空間内に規定した単位体積のブロックごとに注目画素の個数を密度として求める密度計測手段と、密度計測手段により求めた密度が規定の対象閾値以上であるブロックを有効ブロックとして抽出する有効ブロック抽出手段と、有効ブロック抽出手段で抽出した有効ブロックについて隣接している有効ブロックを統合してグループを形成する領域統合手段と、領域統合手段により形成したグループに対して対象物に関する知識を用いることにより対象物か否かを判別する対象物判別手段とを備えることを特徴とする。
【００１０】
有効ブロック抽出手段は、ブロックまでの距離が大きいほど対象閾値を小さく設定することが望ましい。
【００１１】
この場合、有効ブロック抽出手段は、規定の基準距離における対象閾値を基準対象閾値とし、基準距離に対するブロックまでの距離の比の２乗分の１を基準対象閾値に乗じた値を対象閾値に用いることが望ましい。
【００１２】
対象物判別手段は、領域統合手段により形成したグループからサイズを特徴として抽出する特徴抽出手段と、特徴量抽出手段が抽出したサイズが規定の適正範囲内であることを知識に用いて当該グループが対象物か否かを判別するサイズ判別手段とを備えることが望ましい。
【００１３】
また、対象物判別手段は、特徴抽出手段によりグループの特徴として抽出したサイズが規定の前記適正範囲の上限を超える場合に、当該グループを形成する有効ブロックのクラスタリングを行うことにより、当該グループを複数のグループに分割するクラスタリング手段を備え、クラスタリング手段による分割後のグループについてサイズ判別手段による判別を行うことが望ましい。
【００１４】
有効ブロック抽出手段は、仮想空間を規定する直交座標系の座標平面のうち、距離画像センサの視野領域の中心線と交差する座標平面の上で、有効ブロックに含まれる画素の度数分布を求め、度数が規定した雑音閾値より小さくなる座標値を持つ画素を注目画素として採用しないことが望ましい。
【００１５】
距離画像センサの視野領域における中心線は斜め下向きに設定されており、密度計測手段は、注目画素を仮想空間にマッピングする際に、距離画像センサの視野領域における中心線の俯角に応じた補正を行う構成を採用することができる。
【００１６】
注目画素抽出手段は、距離画像センサの視野領域内において所定の高さ位置に規定した閾値面よりも上方に位置する画素を注目画素として抽出する構成を採用してもよい。
【００１７】
背景取得手段は、対象物判別手段において対象物が検出されない状態が所定の更新時間に達すると、新たに生成された背景距離画像に更新するようにしてもよい。
【００１８】
距離画像センサは距離画像による動画像を生成する機能を有し、対象物判別手段が対象物を検出すると、時系列において隣接する距離画像を用いることにより、視野領域内における当該対象物を追跡する対象物追跡手段を備える構成を採用してもよい。
【発明の効果】
【００１９】
本発明の構成によれば、距離画像において対象物の候補となる画素を複数個ずつ含むブロックとして扱うことにより、対象物か否かを判断する情報を残しながらも情報量を低減させることが可能になり、距離画像を用いた対象物の検出における処理負荷を従来よりも低減することができる。
【図面の簡単な説明】
【００２０】
【図１】実施形態を示すブロック図である。
【図２】同上における画像の例を示す図である。
【図３】同上におけるブロックの説明図である。
【図４】同上の処理手順を示す図である。
【図５】同上においてクラスタリングが必要になる例を示す図である。
【図６】同上においてクラスタリングが必要になる例を示す図である。
【図７】同上においてクラスタリング前の有効ブロックの例を示す図である。
【図８】同上におけるクラスタリングの手順を示す図である。
【図９】同上におけるクラスタリングの処理手順を示す図である。
【図１０】同上における異常値の発生例を示す図である。
【図１１】同上における異常値の発生例の概略図である。
【図１２】同上における異常値の発生例と除去例とを示す概略図である。
【図１３】同上における異常値を検出する動作の説明図である。
【図１４】同上における閾値面の設定例を示す図である。
【図１５】同上に用いる距離画像センサの構成例を示すブロック図である。
【図１６】図１５に示した構成の動作説明図である。
【図１７】同上における座標変換の概念説明図である。
【図１８】同上におけるアフィン変換の概念説明図である。
【発明を実施するための形態】
【００２１】
（基本構成）
以下に説明する実施形態で用いる物体検知装置は、画像を構成する画素の値が距離値である距離画像を用いて対象物の存否・移動などを検出する構成を採用している。距離画像を生成する距離画像センサは、視野領域に赤外線のような光を投光するとともに、視野領域に存在する物体（人を含む）での反射光を受光することにより、視野領域に存在する物体までの距離を計測するアクティブ型の構成を有する。
【００２２】
アクティブ型の距離画像センサには、投光から受光までの時間を計測する技術のほか、三角測量法の原理を用いる技術などがあり、それぞれの技術において、さらに多種類の技術が知られている。以下に説明する実施形態では、これらの技術のいずれでも用いることが可能であるが、投光から受光までの時間差に相当する情報を用いることにより、物体までの距離を検出する飛行時間法（Time Of Flight）の原理を用いた例により説明を行う。
【００２３】
実施形態において用いる距離画像センサは、時間経過に伴って強度が変化する変調光を発光源から出射し、物体で反射され受光素子で受光された変調光と投光した変調光との位相差を、投光から受光までの時間差に相当する情報として用いる。
【００２４】
変調光の変調波形としては、正弦波、三角波、鋸歯状波、方形波などを用いることができる。正弦波、三角波、鋸歯状波を用いる場合には変調光の周期を一定周期とする。また、方形波を用いる場合には変調光の周期を一定周期とするほか、オン期間（発光源の投光期間）とオフ期間（発光源の非投光期間）との比率を乱数的に変化させる技術を採用することも可能である。変調波形としてどの波形を用いるかにかかわらず、１周期（方形波の場合はオン期間とオフ期間とを１回ずつ含む期間）で投光と受光との位相差を求めるのではなく、多数周期の平均値（あるいは積算値）から位相差を求める。
【００２５】
受光素子には、複数個の受光部（光電変換部）が２次元に配列された撮像素子を用いる。撮像素子は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサとして提供されている濃淡画像を撮像するための周知構成のものを用いることができるが、距離画像センサに適する構造を有するように専用に設計された撮像素子を用いることが望ましい。
【００２６】
後者の撮像素子は、基本的な構造については、濃淡画像を撮像する周知構成の撮像素子と類似している。ただし、受光部の単位で受光感度を制御する機能を備える。受光部の単位で受光感度を制御するのは、変調光を受光するタイミングを制御することによって投光と受光との位相差を含む情報を検出するためである。この撮像素子は、各受光部で生成された電荷を変調光の変調周期の整数倍の期間に亘って蓄積する蓄積領域を有する。さらに、受光部で生成した電荷のうち変調光ではない環境光ないし周囲光の成分を低減させる機能を設ける場合もある。
【００２７】
以下では、距離画像センサの一構成例として下記構成を想定して説明するが、この構成は本発明を限定する趣旨ではなく、変調光の変調波形、撮像素子の構成、撮像素子の制御などに関して、アクティブ型の周知の種々の距離画像センサに提供された構成を用いることができる。
【００２８】
以下の説明で用いる距離画像センサ１は、図１５に示すように、光（近赤外線を用いるのが望ましい）を出射する発光源１１と、視野領域を撮像する撮像素子１２とを備える。図示例では、撮像素子１２として受光部を２次元配列したエリアイメージセンサを想定している。
【００２９】
発光源１１には、発光ダイオードやレーザダイオードのように入力の瞬時値に比例した光出力が得られる発光素子を用いる。また、発光源１１から出射する光量を確保するために、発光源１１は適数個の発光素子を用いて構成される。発光源１１から出射された変調光は投光光学系１３を通して投光される。また、撮像素子１２は、受光光学系１４を通して視野領域からの光を受光する。投光光学系１３と受光光学系１４とは、投受光の方向を平行にし互いに近接して配置してある。すなわち、投光光学系１３と受光光学系１４との距離は視野領域に対して実質的に無視することができるものとする。
【００３０】
距離画像センサ１には、発光源１１を駆動するための変調信号を出力する変調信号生成部１５と、変調信号生成部１５から出力された変調信号に基づいて撮像素子１２での受光タイミングを規定する受光タイミング信号を生成するタイミング制御部１６と、撮像素子１２から出力された受光信号を用いて視野領域に存在する物体Ｏｂまでの距離を求める演算処理部１７とが設けられる。
【００３１】
変調信号生成部１５は、出力電圧が一定周波数（たとえば、２０ＭＨｚ）の正弦波形で変化する変調信号を生成し、変調信号を発光源１１に与えることにより、図１６（ａ）（ｂ）のように光出力が正弦波状に変化する変調光が発光源１１から出射される。発光源１１として発光ダイオードを用いる場合には、電流制限抵抗を介して発光ダイオードに変調信号の信号電圧を印加することにより、発光ダイオードの通電電流を変化させ変調光を出射させる。
【００３２】
一方、撮像素子１２は、電子シャッタの技術を用いることにより、受光タイミング信号に同期する期間にのみ受光強度に応じた電荷を生成することが可能になっている。また、受光部で生成された電荷は、変調信号の複数周期（たとえば、１００００周期）に相当する蓄積期間に亘って蓄積された後、撮像素子１２の外部に受光出力として取り出される。
【００３３】
すなわち、受光タイミング信号に同期するタイミングで電荷を生成する動作と生成された電荷を蓄積する動作とを、蓄積期間である変調信号の複数周期において繰り返し行う。したがって、蓄積期間において生成された電荷は積算されることになり、積算された電荷が受光出力として取り出される。変調信号の１周期分の電荷では、生成される電荷量が少ない上に、環境光や内部ノイズの影響により電荷量にばらつきが生じやすいが、蓄積期間において電荷を蓄積することによって、この種の原因による電荷量のばらつきが抑制される。
【００３４】
タイミング制御部１６では、変調信号に同期する受光タイミング信号を生成する。ここでは、変調信号の１周期における異なる４位相を規定し、各位相ごとに一定時間幅の受光期間を設定する４種類の受光タイミング信号を生成する。蓄積期間ごとに４種類の受光タイミング信号のうちの各１種類の受光タイミング信号を撮像素子１２に与えることにより、受光タイミング信号で設定した位相に対応する期間に受光した電荷が蓄積される。
【００３５】
すなわち、１種類の受光タイミング信号で規定した受光期間において受光部ごとに生成した電荷を１回の蓄積期間において蓄積し、蓄積後の電荷を受光出力として撮像素子１２の外部に取り出す処理を４回繰り返し、４回の蓄積期間で４種類の受光タイミング信号に対応する受光出力を撮像素子１２の外部に取り出す。
【００３６】
いま、図１６（ｃ）のように、受光タイミング信号を変調信号の１周期において９０度ずつ異なる位相で規定しているものとする。この場合、各受光タイミング信号に対応する受光出力（電荷量）を、それぞれＡ０，Ａ１，Ａ２，Ａ３とするときに、位相差ψ〔ｒａｄ〕は下式で表される。
ψ＝（Ａ０−Ａ２）／（Ａ１−Ａ３）
変調信号の周波数をｆ〔Ｈｚ〕とすれば、投光から受光までの時間差Δｔは位相差ψを用いて、Δｔ＝ψ／２π・ｆと表されるから、光速をｃ〔ｍ／ｓ〕とすると、物体までの距離は、ｃ・ψ／４π・ｆと表すことができる。
【００３７】
すなわち、４種類の受光出力（電荷量）Ａ０〜Ａ３により物体までの距離を求めることができる。なお、受光期間の時間幅は、受光部において適正な受光量が得られるように、適宜に設定することができる（たとえば、変調信号の４分の１周期に相当する時間幅とすることができる）。ただし、各受光期間の時間幅は互いに等しくすることが必要である。
【００３８】
演算処理部１７では、受光出力（電荷量）Ａ０〜Ａ３に基づいて位相差ψを求め、距離に換算する上述の処理のほか、以下の実施形態において説明する処理も行うことができる。演算処理部１７はコンピュータ（マイコン）を用いて構成され、上述した処理はコンピュータでプログラムを実行することにより実現される。また、演算処理部１７だけではなく、発光源１１および撮像素子１２を除く構成は、コンピュータを用いて実現される。
【００３９】
なお、上述の動作例では、４種類の受光タイミング信号を用いているが、３種類の受光タイミング信号でも位相差ψを求めることができ、環境光ないし周囲光が存在しない環境下では、２種類の受光タイミング信号でも位相差ψを求めることが可能である。
【００４０】
また、上述の動作では、４種類の受光出力（電荷量）Ａ０〜Ａ３を撮像素子１２から取り出すために４回の蓄積期間が必要であるが、２個の受光部を用いて変調信号の１周期で２種類の受光タイミング信号に対応する電荷を生成することも可能である。この構成では、撮像素子１２から２種類の受光タイミング信号に対応した受光出力を１回で読み出すことが可能になる。同様に、４個の受光部を用いて変調信号の１周期で４種類の受光タイミング信号に対応する電荷を生成すれば、４種類の受光タイミング信号に対応する受光出力を１回で読み出すことが可能になる。
【００４１】
上述した距離画像センサ１は、視野領域からの光を受光するための受光素子として複数個の受光部が２次元配列された撮像素子を用いているから、各受光部での受光量に基づいて距離値を求めることにより距離画像が生成されることになる。上述のように１個の受光部を４種類の受光タイミングに対応付けている場合には、１個の受光部が距離画像の１画素に対応する。ただし、２種類の受光タイミング信号に対応付けて２個の受光部を用いる場合は２個の受光部が１画素に対応し、４種類の受光タイミング信号に対応付けて４個の受光部を用いる場合は４個の受光部が１画素に対応する。
【００４２】
上述のようにして、撮像素子の受光面が距離画像センサ１の視野領域を投影した仮想の投影面として規定され、当該投影面上に２次元配列された複数個の受光部が距離画像の画素に対応付けられる。したがって、受光部の位置が距離画像の画素の位置に対応する。生成された距離画像はコンピュータのメモリに格納される。
【００４３】
上述した距離画像センサ１では、発光源１１から視野領域に投光し、１個の撮像素子１２により視野領域を撮像するから、視野領域は、距離画像センサ１を頂点として距離画像センサ１から離れるほど広がることになる。
【００４４】
たとえば、投光光学系１３および受光光学系１４が光軸の周りに等方的に形成されているときには、視野領域は距離画像センサ１を頂点とする角錐状になる。また、投光光学系１３として外周が楕円形となるレンズやシリンドリカルレンズのように非等方的に形成されたレンズを用いるときには、視野領域は距離画像センサ１を頂点とする扇形状などに形成されることになる。さらに、発光源１１を複数個設けるとともに、投光光学系１３も２個以上設け、投光光学系１３ごとに投光方向を異ならせる構成を採用することもできる。
【００４５】
以下の説明では、視野領域が距離画像センサ１を頂点とする角錐状に形成されている場合を想定する。したがって、上述した仮想の投影面に配列された画素の位置は、距離画像センサ１から視野領域を見込む方向に対応することになり、各画素の画素値は当該方向に存在する物体までの距離を表すことになる。距離画像の各画素の位置を２次元の直交座標系の座標値（つまり、画素位置の水平方向と垂直方向との位置）で表せば、この座標位置は、物体を見込む方位角および俯角・仰角に対応する。言い換えると、距離画像の各画素の持つ情報は、物体の位置を極座標で表した情報と等価である。したがって、以下では、距離画像センサ１から出力される距離画像を極座標系の距離画像と呼ぶ。
【００４６】
上述した極座標系の距離画像は、距離画像センサ１からの距離の情報が必要であるときには利便性が高いが、視野領域である実空間の各位置との対応関係がわかりにくく、実空間に存在する物体を基準にした領域を指定するには不便である。そこで、極座標系の距離画像の各画素を、実空間に対応付けた３次元の仮想空間にマッピングするために画像変換部８を設けている。仮想空間には、実空間と対応するように直交座標系の座標軸が設定される。
【００４７】
いま、視野領域の上方に距離画像センサ１を配置するとともに、距離画像センサ１の視野領域における中心線を斜め下向きに設定している場合を想定する。また、実空間における床面を仮想空間の下側面に対応付けているものとする。仮想空間に設定する直交座標系の座標軸は、距離画像センサ１の視野領域における中心線を床面に投影することにより形成される直線の延長方向をｚ軸の正の向きと規定し、距離画像センサ１から鉛直下向きをｙ軸の正の向きとする。また、右手系の直交座標系を採用するものとし、ｙｚ平面に対して原点から右向きをｘ軸の正の向きとする。また、原点の位置は、距離画像センサ１に設けた撮像素子１２の中心の画素から視野領域を見込む視線（つまり、視野領域の中心線）上であって床面から所定の高さ位置に設定する。
【００４８】
画像変換部８では、極座標の距離画像から３次元の直交座標系である仮想空間への座標変換を、以下の手順で行う。まず、距離画像センサ１に設けた撮像素子１２の受光面が仮想空間のいずれかの座標軸に直交する平面と平行であるものとして極座標系の距離画像から直交座標系への座標変換を行う。その後、求めた直交座標系にアフィン変換を施すことにより、仮想空間の座標軸に対する距離画像センサ１の視野領域の中心線の傾きを修正する座標変換を行う。
【００４９】
いま、撮像素子１２の受光面上での画素の座標位置を（ｕ，ｖ）で表し、座標位置（ｕ，ｖ）の画素の画素値（つまり、物体までの距離値）をｒとする。また、実空間の直交座標系における座標位置を（Ｘ，Ｙ，Ｚ）で表す。すなわち、図１７に示すように、視野領域に原点Ｏおよび座標系ＸＹＺを規定し、視野領域における座標位置（Ｘ，Ｙ，Ｚ）を、撮像素子１２の受光面上の画素の座標位置（ｕ，ｖ）および距離値ｒに対応付ける。ここに、画素の座標位置の単位は〔ｐｉｘｅｌ〕である。
【００５０】
まず、ｕ軸方向とＸ軸方向とは平行であるものとし、ｖ軸方向とＹ軸方向は平行であるものとする。すなわち、距離画像センサ１の視野領域の中心線がＺ軸に一致しているものとする。この状態では、Ｘ軸を仮想空間のｘ軸に一致させれば、Ｙ軸は仮想空間のｙ軸に対してｘ軸の周りに回転していることになる。
【００５１】
直交座標系ＸＹＺの原点は視野領域の中心線上に位置するものとし、まず、距離画像における基準位置を撮像素子１２の受光面上での中心画素（ｕｃ，ｖｃ）からの距離で表すための変換を行う。
ｕ１＝ｓｕ（ｕ−ｕｃ）
ｖ１＝ｓｖ（ｖ−ｖｃ）
ただし、ｓｕ，ｓｖ〔ｍ／ｐｉｘｅｌ〕は撮像素子１２の画素サイズである。ここで、レンズの歪みを考慮して座標位置（ｕ１，ｖ１）に対して次式の補正を行う。
ｕ２＝ａ・ｕ１
ｖ２＝ａ・ｖ１
ただし、ａ＝１／｛１＋κ（ｕ１２＋ｖ１２）｝、κはレンズ歪パラメータ〔１／ｍ２〕である。補正した座標位置（ｕ２，ｖ２）を用いると、直交座標系ＸＹＺの座標位置は、次式で表される。
Ｘ＝ｕ２・ｒ／ｂ
Ｙ＝ｖ２・ｒ／ｂ
Ｚ＝ｆｒ／ｂ
ただし、ｂ＝（ｕ２２＋ｖ２２＋ｆ２）１／２、ｆ〔ｍ〕は受光光学系１４の焦点距離である。
【００５２】
ところで、距離画像センサ１は、視野領域を見下ろすように配置されているから、仮想空間の直交座標系に対応付けるには、直交座標系ＸＹＺから、さらに、仮想空間に規定した上述の直交座標系ｘｙｚへのアフィン変換を行う必要がある。つまり、上述のようにして極座標系の距離画像から直交座標系ＸＹＺへの変換を行うことにより求めた座標位置（Ｘ，Ｙ、Ｚ）は、図１８（ａ）のように、距離画像センサ１の前方をＺ軸に設定している。これに対して、仮想空間の直交座標系ｘｙｚは、図１８（ｂ）のように、直交座標系ＸＹＺに対してＸ軸の周りに回転している。したがって、の座標位置（Ｘ，Ｙ，Ｚ）を回転させることにより、仮想空間に規定した直交座標系ｘｙｚの座標位置（ｘ，ｙ，ｚ）への座標変換がなされる。
【００５３】
いま、距離画像センサ１の視野領域の中心線（上述のＺ軸）が仮想空間に規定したｙｚ平面に含まれ、かつｚ軸に対してｙ軸の正の方向に角度θだけ回転しているものとする。また、Ｘ軸は仮想空間のｘ軸に一致しているものとする。言い換えると、距離画像センサ１の俯角がθに設定されていることになる。
【００５４】
この場合、Ｚ軸をｚ軸に一致させるように、直交座標系ＸＹＺを角度θだけＸ軸の周りに回転させるアフィン変換を行えば、直交座標系ＸＹＺから直交座標系ｘｙｚへの座標変換を行うことができる。つまり、次式のように、ｙｚ平面内でのアフィン変換を行う。
ｘ＝Ｘ
ｙ＝Ｙ・ｃｏｓθ−Ｚ・ｓｉｎθ
ｚ＝Ｙ・ｓｉｎθ＋Ｚ・ｃｏｓθ
上述の手順で極座標系の距離画像から直交座標系への座標変換を行い、さらにアフィン変換を行うことにより、視野領域を斜め下向きに設定して求めた極座標系の距離画像の情報を、仮想空間に規定した直交座標系の座標位置に対応付けることができる。なお、アフィン変換を行うために用いる俯角θは、撮像素子１２の受光面が鉛直面に対してなす角度であるから、俯角θは距離画像センサ１を設置した後に手入力により与える。また、距離画像センサ１の重力方向に対する角度を検出するジャイロセンサを設けることにより、俯角θを自動的に求めることが可能である。
【００５５】
以上のようにして、極座標系の距離画像を仮想空間に規定した直交座標系の座標位置（ｘ，ｙ，ｚ）にマッピングすることができる。以下に説明する実施形態では、距離画像センサ１により生成された極座標系の距離画像から、直交座標系で表される３次元の仮想空間にマッピングする技術を前提として対象物を検出する技術を説明する。
【００５６】
（実施形態）
以下、本実施形態の構成については、図１を参照して説明する。また、図１に示す各構成で生成される画像については、図２を参照して説明する。
【００５７】
また、本実施形態では、距離画像センサ１の視野領域における対象物として人を検出することを想定する。また、距離画像センサ１の視野領域における人の検出に際しては、極座標系の距離画像から直交座標系で表される３次元の仮想空間へのマッピングを行う。
【００５８】
距離画像センサ１では、視野領域において人が存在しない状態における距離画像（極座標系）としての背景距離画像Ｐ１（図２（ａ））をあらかじめ生成しておき、背景距離画像Ｐ１を背景取得手段２に記憶させる。
【００５９】
距離画像センサ１の視野領域における対象物の有無を検出するには、まず、差分画像生成手段３において、距離画像センサ１により生成した極座標系の距離画像Ｐ２（図２（ｂ））と背景取得手段２に記憶されている背景距離画像Ｐ１との差分画像を生成する。以下では、この差分画像を距離差分画像Ｐ３（図２（ｃ））と呼ぶ。距離差分画像Ｐ３では、背景距離画像Ｐ１との変化が生じた画素にのみ比較的大きい値が得られる。
【００６０】
差分画像生成手段３により生成された距離差分画像は注目画素抽出手段４に与えられ、注目画素抽出手段４では、距離差分画像Ｐ３を適宜に規定の存在閾値により二値化する。存在閾値により距離差分画像Ｐ３を二値化すると、図２（ｄ）のような二値画像Ｐ４が得られる。この二値画像Ｐ４に含まれる画素を距離画像Ｐ２から抽出すると、図２（ｅ）のように距離画像Ｐ２から注目画素を抽出した画像Ｐ５が得られる。すなわち、注目画素抽出手段４は、距離画像Ｐ２に含まれる画素のうち、距離差分画像Ｐ３における画素値が規定の存在閾値以上である画素を注目画素として抽出する。
【００６１】
存在閾値は、検出の目的とする対象物が視野領域に存在する場合に、対象物に対応する画素が注目画素となるように検出する必要があるから、比較的小さい値に設定される。ただし、存在閾値が小さすぎると、距離画像Ｐ２内の揺らぎによって発生した雑音成分が注目画素に含まれる可能性があるから、雑音成分を除去できる程度の大きさに設定する。実際には、存在閾値を数十ｃｍ程度で設定しておけば、雑音成分を除去しつつ対象物に対応した注目画素を抽出することができる。
【００６２】
注目画素抽出手段４により極座標系の距離画像から抽出された注目画素は、密度計測手段５において、３次元の仮想空間にマッピングされる。また、密度計測手段５は、この仮想空間内に規定した単位体積のブロックごとに注目画素の個数を密度として求める。図３（ｂ）に示すように、ブロックＢは、単位体積の立方体として設定される。密度計測手段５は、このブロックＢに含まれる注目画素Ｐｘの個数を密度として計測する。
【００６３】
ここに、仮想空間について、基本構成として説明したように、距離画像センサ１から鉛直下向きをｙ軸方向とし、距離画像センサ１の視野領域の中心線を床面上に投影した直線の延長方向をｚ軸方向とする。ｙ軸の正の向きを下向き、ｚ軸の正の向きを距離画像センサ１から遠ざかる向きとし、右手系の直交座標系を採用すると、距離画像センサ１から視野領域を見込むときに、水平方向の右向きがｘ軸の正の向きになる。ブロックＢとなる立方体の各辺は、ｘ軸方向、ｙ軸方向、ｚ軸方向に平行になるように設定する。
【００６４】
密度計測手段５により求められる密度は、対象物の表面において大きくなることが予想されるから、密度が規定の対象閾値以上であるブロックＢを対象物の候補である有効ブロックとして抽出する有効ブロック抽出手段６を設けてある。
【００６５】
ところで、基本構成において説明したように、距離画像センサ１を頂点とする角錐状に設定され、図３（ａ）に示すように、距離画像センサ１から離れるほど視野領域ＶＦに含まれる空間領域の範囲が広くなる。したがって、図３（ｂ）に示しているように、対象物が同じ場合であっても、距離画像センサ１からの距離（図示例ではＺ軸方向の距離で示している）が大きくなるほど、ブロックＢに含まれる注目画素の個数が減少する。言い換えると、視野領域における位置によらず対象閾値を一定に設定していると、ブロックＢは、距離画像センサ１からの距離が小さいと有効ブロックと判断される確率が高く、距離が大きくなるほど有効ブロックと判断される確率が低下する。
【００６６】
ブロックＢまでの距離に応じて有効ブロックと判断される確率が変化するのを防止するために、有効ブロック抽出手段６では、ブロックＢまでの距離が大きいほど対象閾値を小さく設定することが望ましい。具体的には、ブロックＢの密度は、距離の２乗に反比例する。したがって、有効ブロック抽出手段６では、規定の基準距離（適宜に設定する）における対象閾値を基準対象閾値とし、基準距離に対するブロックＢまでの距離の比の２乗分の１を基準対象閾値に乗じた値を対象閾値に用いることが望ましい。なお、距離と対象閾値との関係は、他の基準で規定してもよい。
【００６７】
上述のようにして有効ブロック抽出手段６で抽出された有効ブロックは、領域統合手段７に与えられ、領域統合手段７では、有効ブロックが隣接している場合には、同じ対象物に属する有効ブロックであるとみなして有効ブロックを統合する。つまり、隣接した有効ブロックを統合することにより、有効ブロックのグループを形成する。この処理は、２次元の画像におけるラベリングの処理に相当する。
【００６８】
領域統合手段７は、基本的には、２個の有効ブロックにおいて単位体積の立方体のいずれか１面が共有されている場合に、両有効ブロックを隣接する有効ブロックと判断する。ただし、２個の有効ブロックにおいて単位体積の立方体のいずれか１個の頂点が共有されている場合も、隣接する有効ブロックに含めるようにしてもよい。
【００６９】
領域統合手段７により有効ブロックを統合した結果の画像を、ｚ軸方向、ｘ軸方向、ｙ軸方向にそれぞれ投影した結果の一例を、図２（ｆ）（ｇ）（ｈ）に示す。第三角法の投影図で言えば、図２（ｆ）は正面図、図２（ｇ）は右側面図、図２（ｈ）は平面図に相当する。
【００７０】
領域統合手段７により統合された有効ブロックのグループに対しては、対象物判別手段８において、対象物に関する知識を適用することにより対象物か否かの判断を行う。対象物か否かを判別する知識としては、対象物のサイズを用いるのが簡単かつ有効である。また、対象物に関する知識としては、グループの形状、グループの重心の位置、グループの慣性主軸の方向などを用いることも可能である。ただし、グループの構成単位は、ブロックＢであるから、形状の細部の情報は失われているから形状のみで判断することは難しく、また、重心の位置や慣性主軸の方向なども単独で判断に用いことは難しい。これらの情報は、他の知識と組み合わせて補助的に用いると、判断結果の信頼性を高めることができる。
【００７１】
以下では、対象物判別手段８がグループのサイズを特徴に用いることによって対象物か否かを判断する例を説明する。グループのサイズは、図２（ｆ）（ｇ）（ｈ）のように、仮想空間の座標軸のうちのいずれかの方向にグループを投影した図形に対する外接矩形Ｒを設定し、外接矩形Ｒの辺の長さをサイズとして求めればよい。
【００７２】
図２（ｆ）のようにｚ軸方向に投影した場合は、外接矩形Ｒの横辺の寸法が幅寸法Ｗ、縦辺の寸法が高さ寸法Ｈになる。また、図２（ｇ）のようにｘ軸方向に投影した場合は、外接矩形Ｒの横辺の寸法が奥行き寸法Ｄ、縦辺の寸法が高さ寸法Ｈになる。図２（ｈ）のようにｙ軸方向に投影した場合は、外接矩形Ｒの横辺の寸法が幅寸法Ｗ、縦辺の寸法が奥行き寸法Ｄになる。
【００７３】
本実施形態では、対象物の幅寸法Ｗと高さ寸法Ｈと奥行き寸法Ｄとのすべてを用いて対象物か否かを判断する。したがって、対象物判別手段８は、グループをすべての座標軸の方向にそれぞれ投影して外接矩形Ｒを設定することにより、幅寸法Ｗと高さ寸法Ｈと奥行き寸法Ｄとを求める特徴抽出手段８１を備える。また、対象物判別手段８は、特徴抽出手段８１で求めたグループの幅寸法Ｗと高さ寸法Ｈと奥行き寸法Ｄとに関してそれぞれ適正範囲を設定するとともに、すべてが適正範囲であるときに当該グループを対象物として判別するサイズ判別手段８２を備えている。
【００７４】
以上の動作をまとめると、図４のようになる。すなわち、背景距離画像Ｐ１をあらかじめ記憶させておき（Ｓ１）、距離画像センサ１で距離画像Ｐ２を生成し（Ｓ２）、背景距離画像Ｐ１と距離画像Ｐ２との差分画像を距離差分画像Ｐ３として生成する（Ｓ３）。さらに、距離差分画像Ｐ３において存在閾値以上である画素を、距離画像Ｐ２から注目画素として抽出する（Ｓ４）。その後、注目画素について極座標系の距離画像の各画素を３次元の直交座標系にマッピングする座標変換を行い（Ｓ５）、各ブロックＢの密度を評価して有効ブロックを抽出する（Ｓ６）。さらに、隣接する有効ブロックを統合し（Ｓ７）、特徴抽出手段８１によりサイズを抽出する（Ｓ８）。その後、サイズ判別手段８２では、サイズが適正範囲か否かを判断するのである（Ｓ９）。図４に示す例では、ステップＳ１０として、対象物を追跡する処理を記載しているが、この処理については後述する。
【００７５】
ところで、対象物判別手段８において対象物の特徴としてサイズを用いるときには、複数人が重なっているときに、幅寸法あるいは奥行き寸法が適正範囲を逸脱し、対象物ではないと判断される可能性がある。
【００７６】
たとえば、図５あるいは図６に示すように、対象物である人Ｍが、距離画像センサ１の視野領域内に２人存在し、図５のようにｘ軸方向に並んでいる場合や、図６のようにｚ軸方向に並んでいる場合には、有効ブロックによるグループを形成したときに、１つのグループとみなされる可能性がある。これらの場合は、グループから抽出した特徴量として、幅寸法Ｗと高さ寸法Ｈと奥行き寸法Ｄとの３種類の情報を用いている場合に、いずれかの情報については適正範囲を逸脱することになる。つまり、グループが対象物と判別されないことになる。
【００７７】
このような誤判断を防止するために、対象物判別手段８には、特徴抽出手段８１によりグループの特徴として抽出したサイズが適正範囲の上限を超える場合に当該グループを形成する有効ブロックのクラスタリングを行うクラスタリング手段８３を設けている。以下では、クラスタリング手段８３によるクラスタリングの手順について説明する。
【００７８】
ここでは、図５の例のように、対象物である人Ｍがｘ軸方向に並んでいる場合を例示する。この場合、各対象物に対応するグループＧ１，Ｇ２として分離されるべき有効ブロックＢ０の間に隙間がなく、図７のように有効ブロックＢ０が連続したひとかたまりのグループＧになる。そこで、サイズ判別手段８２において、幅寸法が、適正範囲の上限を逸脱していると判断した場合（実際には、１人分の幅寸法よりも大きく、かつ２人分の幅寸法よりも小さく設定した上限閾値を超えていると判断した場合）、クラスタリング手段８３を起動する。
【００７９】
クラスタリング手段８３では、サイズ判別手段８２から引き渡されたグループＧが２分割できるものとして、以下に説明するクラスタリングの処理を行う。
【００８０】
クラスタリングの処理では、図８（ａ）に示すように、まずグループＧ内の適宜の２個の有効ブロックＢ１，Ｂ２に着目し、両有効ブロックＢ１，Ｂ２と、グループＧ内の各有効ブロックＢ０との距離をそれぞれ求める。着目する有効ブロックＢ１，Ｂ２は、分離されるグループＧ１，Ｇ２にそれぞれ設定することが望ましい。したがって、着目する有効ブロックＢ１，Ｂ２は、サイズ判別手段８２において適正範囲の上限を逸脱した方向（この例では、ｘ軸方向）について比較的遠く離れるように設定する。つまり、有効ブロックＢ１はグループＧ１に属し、有効ブロックＢ２はグループＧ２に属するとみなす。
【００８１】
図８（ｂ）のように、グループＧの各有効ブロックＢ０は、着目した有効ブロックＢ１，Ｂ２のうち距離ｄ１，ｄ２が近いほうの有効ブロックＢ１，Ｂ２と同じグループＧ１，Ｇ２に属すると判断する。つまり、有効ブロックＢ０についてｄ１＜ｄ２であれば、有効ブロックＢ０は、有効ブロックＢ１と同じグループＧ１に属すると判断する。
【００８２】
グループＧのすべての有効ブロックＢ０について、着目する有効ブロックＢ１，Ｂ２との距離を求めると、グループＧのすべての有効ブロックＢ０は、２つのグループＧ１，Ｇ２に分かれるから、各グループＧ１，Ｇ２ごとに重心の座標位置を求める。次に、求めた重心の座標位置を含むブロックを新たな有効ブロックＢ１，Ｂ２に用いて、上述の処理を繰り返す。図８（ｃ）のように、分割後のグループＧ１，Ｇ２の重心の座標位置を含む有効ブロックＢ１，Ｂ２の位置が変化しなくなると、重心位置が収束したと判断し、上述の処理を終了する。
【００８３】
上述の手順で得られた２つのグループＧ１，Ｇ２を、それぞれ対象物の候補とみなし、対象物判別手段８は、各グループＧ１，Ｇ２について、それぞれ、あらためて特徴抽出手段８１およびサイズ判別手段８２により対象物か否かの判別を行う。
【００８４】
クラスタリング手段８３を含む対象物判別手段８の処理を図９に示す。図示例では、まずサイズ判別手段８２によるサイズの判定を行っている（Ｓ１１）。ここで、サイズが適正範囲であれば（Ｓ１２：Ｎ）、グループの分割は不要である。一方、サイズが適正範囲の上限を超えている場合は（Ｓ１２：Ｙ）、各グループＧ１，Ｇ２の仮の重心位置として適宜の位置に有効ブロックＢ１，Ｂ２を設定する（Ｓ１３）。設定した有効ブロックＢ１，Ｂ２と、グループＧ内の各有効ブロックＢ０との距離を求め（Ｓ１４）、仮の重心位置とした有効ブロックＢ１，Ｂ２との距離の大小に応じてグループＧ１，Ｇ２の分離を行う（Ｓ１５）。グループＧ１，Ｇ２に分離した後に、各グループＧ１，Ｇ２の重心位置を求め（Ｓ１６）、求めた重心位置が収束するまで（Ｓ１７）、上述の処理を繰り返す。
【００８５】
ところで、本実施形態の距離画像センサ１は、強度が変化する変調光を投光し、変調光を生成する変調信号の複数の位相における受光強度に基づいて物体までの距離を求めている。また、誤差を低減するために、変調光の多数周期に亘る期間において蓄積した電荷に基づいて距離を求めている。したがって、距離を求めるのに必要な電荷が得られるまでの時間内で物体が移動した場合には距離を正確に求めることができないことがある。距離を求めるのに必要な電荷を蓄積する時間は短時間であるから、物体の多くの部位については距離を計測することが可能である。しかしながら、物体の位置が固定されていない場合には、物体の周縁部の位置に揺らぎが生じ、距離を正確に求めることができない可能性がある。
【００８６】
いま、注目画素抽出手段４により注目画素を抽出し、図２（ｅ）に示すような画像Ｐ５が得られているものとする。画像Ｐ５は３次元の情報を含んでいるから、図２（ｅ）のようなｚ軸方向の視点ではなく、図１０に示すようにｙ軸方向の視点からも見ることが可能である。図１０によれば、物体の周縁部において抽出した注目画素の距離値は、尾を引いたような分布になっていることがわかる。この現象は、上述のように、物体の周縁部での揺らぎにより生じると考えられる。このように、物体の距離値に対して異常値となる距離値が生じていると、密度計測手段５においてブロックＢに関する密度を計測する際に密度を正確に計測できず、結果的に、対象物か否かの判別を正確に行うことができなくなる可能性がある。
【００８７】
そこで、物体の周縁部に生じる異常値を持つ画素を注目画素として採用しないために、以下の処理を採用することが望ましい。以下の処理は有効ブロック抽出手段６において行うが、密度計測手段５において行うことも可能である。
【００８８】
上述した距離値の異常値が発生している状態を簡略化すれば、図１１に示すように、距離画像センサ１から変調光を投光する方向において、物体Ｏｂの周縁部に異常値の分布領域Ａ１が生じていると言える。したがって、異常値の分布領域Ａ１は、図１２（ａ）のようにｙ軸方向の視点だけではなく、図１２（ｂ）のようにｘ軸方向の視点においても存在する。
【００８９】
このような知見から、密度が対象閾値以上であるブロックＢとして抽出された有効ブロックＢ０に含まれる画素について、ｘｚ平面の上での度数を求める。図１３に示すように、正常値についてはｘｚ平面上の度数が大きく、異常値についてはｘｚ平面上の度数が少なくなる。したがって、ｘｚ平面上で適宜の区間（たとえば、数ｃｍ四方ごとの区間）を設定して度数分布を求め、度数が規定の雑音閾値Ｔｈより小さい座標値については、異常値として採用しないようにする。言い換えると、ｘｚ平面での度数が雑音閾値Ｔｈ以上となる画素のみを物体に対応する注目画素として採用する。
【００９０】
この処理を行うことにより、図１２（ａ）（ｂ）に示す例では、図１２（ｃ）のように、異常値の分布領域Ａ１が除去されることになる。上述の例では、距離画像センサ１により床面上の対象物までの距離を斜め上方から計測するから、ｘｚ平面上での度数を求めているが、距離画像センサ１と対象物との位置関係によっては、ｘｙ平面上の度数を求めてもよい。すなわち、仮想空間の座標平面のうち距離画像センサ１の視野領域の中心線に交差する座標平面の上で度数を求めればよい。
【００９１】
上述のようにして、度数が雑音閾値Ｔｈより小さくなる座標値を持つ画素は注目画素として採用しないことにより、画素値が異常値となる画素（を含む有効ブロックＢ０）を対象物の判別からは除去することができる。その結果、対象物を判別する精度が高くなる。
【００９２】
上述の動作では、背景取得手段２が背景距離画像を取得するタイミングについてとくに言及していないが、視野領域内に配置される物品が変化した場合には、背景距離画像も更新する必要がある。背景距離画像の更新を自動化するために、対象物判別手段８において対象物が検出されない状態が所定の更新時間に達すると、距離画像センサ１で得られている新たな距離画像を背景距離画像として背景取得手段２に記憶させるのが望ましい。
【００９３】
新たな背景距離画像は、対象物が存在しないと推定される時刻に更新するのが望ましいから、対象物が検出されない状態が更新時間に達した後に、夜間などの定時に更新すればよい。あるいはまた、更新時間に達した時点の距離画像を新たな背景距離画像に用いてもよい。
【００９４】
さらに、上述の動作では、対象物の移動について考慮していないから、距離画像センサ１が距離画像を生成する時間間隔を比較的大きくすることができる（視野領域内を対象物が通過する時間よりは短く設定する必要がある）。たとえば、視野領域内に物体が侵入したことを別のセンサで検出した後に、距離画像センサ１により対象物を確認する目的で使用することも可能である。
【００９５】
一方、視野領域を通過する対象物を検出しようとする場合には、距離画像センサ１により距離画像の動画像を生成する必要がある。つまり、比較的短い時間間隔（たとえば、１０分の１秒以下）で距離画像を生成し、各距離画像から対象物判別手段８において対象物の有無を判別することが必要になる。この場合、対象物判別手段８が対象物を検出した後は、対象物判別手段８で対象物と判断されたグループを対象物追跡手段９に引き渡す。対象物追跡手段９では、距離画像センサ１の視野領域内において対象物が検出されている間に、グループの代表点の位置を対象物として追跡する。すなわち、時系列において隣接する距離画像を用いて、対象物の位置を追跡する。グループの代表点としては、重心位置あるいは上端位置を用いればよい。
【００９６】
対象物追跡手段９を設けることにより、移動する対象物の位置を追跡することができるから、視野領域内への侵入者を対象物として、侵入者の行動を追跡する用途などに用いることが可能である。
【００９７】
上述した構成例では、注目画素抽出手段４において、極座標系の距離画像である背景距離画像と距離画像センサ１により生成した極座標系の距離画像との差分画像から注目画素を抽出している。また、抽出した注目画素を、密度計測手段５において３次元の仮想空間にマッピングしている。一方、対象物が人である場合には、床面の上方の空間領域において対象物の有無を判別すればよく、床面付近の情報は不要である。
【００９８】
そこで、注目画素抽出手段４において、図１４に示すように、床面などの基準面ＰＬ０から所定の高さ位置（床面の上方）に閾値面ＰＬ１を規定しておき、閾値面ＰＬ１よりも上方に存在する画素のみ対象物Ｏｂの候補となる注目画素として抽出するのが望ましい。この場合には、距離画像センサ１により生成した極座標系の距離画像を直交座標系の仮想空間にマッピングした上で、注目画素を抽出することになる。
【００９９】
なお、距離画像センサ１により生成した極座標系の距離画像を直交座標系の仮想空間にマッピングした後に、基準面から所定の高さ位置に設定した閾値面よりも上方に存在する画素を注目画素として抽出する構成を採用してもよい。この場合、背景距離画像を用いることなく、対象物の候補である注目画素を抽出することが可能になり、しかも、抽出された注目画素は、仮想空間にマッピングされているから、そのまま密度を評価することが可能である。ただし、この手順を採用すると、床上に置かれている物体についても対象物の候補として抽出されることになるから、対象物以外の情報を別途に除去することが必要である。
【符号の説明】
【０１００】
１ 距離画像センサ
２ 背景取得手段
３ 差分画像生成手段
４ 注目画素抽出手段
５ 密度計測手段
６ 有効ブロック抽出手段
７ 領域統合手段
８ 対象物判別手段
８１ 特徴抽出手段
８２ サイズ判別手段
８３ クラスタリング手段
９ 対象物追跡手段
Ｂ ブロック
Ｂ０ 有効ブロック
Ｂ１，Ｂ２ 有効ブロック
Ｇ グループ
Ｇ１，Ｇ２ グループ
Ｏｂ 対象物
Ｐ１ 背景距離画像
Ｐ２ 距離画像
Ｐ３ 距離差分画像
Ｐ４ 二値画像
Ｐ５ 画像
【技術分野】
【０００１】
本発明は、距離画像センサを用いて対象物を検出する対象物検出装置に関するものである。
【背景技術】
【０００２】
従来から、距離画像を用いて対象物を検出する技術が提案されている。たとえば、特許文献１には、ステレオ画像処理により生成した距離画像を用いて自動車の前方に存在する物体を検出する技術が記載されている。
【０００３】
特許文献１には、距離画像上に複数の区分を設定し、各区分ごとに距離値のヒストグラムを生成するとともに、出現頻度が閾値以上になる距離値を、当該区分を代表する距離値として求めることが記載されている。さらに、区分と距離とからなる処理空間において各区分における距離の代表値が占める位置が隣接している場合に同一物体とみなしてグループ化している。
【０００４】
特許文献１に記載の技術では、処理空間におけるグループ化を行うことにより、距離の異なる物体を、異なるグループとして分離することを可能にしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−６４６２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、特許文献１に記載の技術を採用すれば、距離画像内に占める領域が隣接した複数の物体であっても、距離差に基づくグループ化を行うことにより、分離することが可能である。しかも、グループ化を行うことにより、距離画像の画素をそのまま扱う場合よりも処理負荷を低減することができる可能性がある。
【０００７】
しかしながら、グループ化の際には物体の形状に関する情報がほとんど失われてしまうから、物体の種類を識別することができないという問題がある。すなわち、距離画像を用いて物体を認識する用途では、特許文献１に記載の技術を採用することができない。
【０００８】
本発明は上記事由に鑑みて為されたものであり、その目的は、距離画像において対象物か否かを判断する情報を残しながらも情報量を低減させることを可能にし、距離画像を用いた対象物の検出における処理負荷を従来よりも低減することができる対象物検出装置を提供することにある。
【課題を解決するための手段】
【０００９】
本発明は、上記目的を達成するために、視野領域について画素値が距離である距離画像を生成するアクティブ型の距離画像センサと、視野領域に対象物が存在しない状態において距離画像センサにより生成した距離画像を背景距離画像として記憶する背景取得手段と、視野領域を監視する状態において距離画像センサにより生成した距離画像と背景取得手段に記憶されている背景距離画像との差分画像である距離差分画像を生成する差分画像生成手段と、距離画像センサにより生成した距離画像に含まれる画素のうち、差分画像生成手段により生成した距離差分画像における画素値が規定の存在閾値以上である画素を注目画素として抽出する注目画素抽出手段と、注目画素抽出手段により抽出した注目画素を３次元の仮想空間にマッピングし当該仮想空間内に規定した単位体積のブロックごとに注目画素の個数を密度として求める密度計測手段と、密度計測手段により求めた密度が規定の対象閾値以上であるブロックを有効ブロックとして抽出する有効ブロック抽出手段と、有効ブロック抽出手段で抽出した有効ブロックについて隣接している有効ブロックを統合してグループを形成する領域統合手段と、領域統合手段により形成したグループに対して対象物に関する知識を用いることにより対象物か否かを判別する対象物判別手段とを備えることを特徴とする。
【００１０】
有効ブロック抽出手段は、ブロックまでの距離が大きいほど対象閾値を小さく設定することが望ましい。
【００１１】
この場合、有効ブロック抽出手段は、規定の基準距離における対象閾値を基準対象閾値とし、基準距離に対するブロックまでの距離の比の２乗分の１を基準対象閾値に乗じた値を対象閾値に用いることが望ましい。
【００１２】
対象物判別手段は、領域統合手段により形成したグループからサイズを特徴として抽出する特徴抽出手段と、特徴量抽出手段が抽出したサイズが規定の適正範囲内であることを知識に用いて当該グループが対象物か否かを判別するサイズ判別手段とを備えることが望ましい。
【００１３】
また、対象物判別手段は、特徴抽出手段によりグループの特徴として抽出したサイズが規定の前記適正範囲の上限を超える場合に、当該グループを形成する有効ブロックのクラスタリングを行うことにより、当該グループを複数のグループに分割するクラスタリング手段を備え、クラスタリング手段による分割後のグループについてサイズ判別手段による判別を行うことが望ましい。
【００１４】
有効ブロック抽出手段は、仮想空間を規定する直交座標系の座標平面のうち、距離画像センサの視野領域の中心線と交差する座標平面の上で、有効ブロックに含まれる画素の度数分布を求め、度数が規定した雑音閾値より小さくなる座標値を持つ画素を注目画素として採用しないことが望ましい。
【００１５】
距離画像センサの視野領域における中心線は斜め下向きに設定されており、密度計測手段は、注目画素を仮想空間にマッピングする際に、距離画像センサの視野領域における中心線の俯角に応じた補正を行う構成を採用することができる。
【００１６】
注目画素抽出手段は、距離画像センサの視野領域内において所定の高さ位置に規定した閾値面よりも上方に位置する画素を注目画素として抽出する構成を採用してもよい。
【００１７】
背景取得手段は、対象物判別手段において対象物が検出されない状態が所定の更新時間に達すると、新たに生成された背景距離画像に更新するようにしてもよい。
【００１８】
距離画像センサは距離画像による動画像を生成する機能を有し、対象物判別手段が対象物を検出すると、時系列において隣接する距離画像を用いることにより、視野領域内における当該対象物を追跡する対象物追跡手段を備える構成を採用してもよい。
【発明の効果】
【００１９】
本発明の構成によれば、距離画像において対象物の候補となる画素を複数個ずつ含むブロックとして扱うことにより、対象物か否かを判断する情報を残しながらも情報量を低減させることが可能になり、距離画像を用いた対象物の検出における処理負荷を従来よりも低減することができる。
【図面の簡単な説明】
【００２０】
【図１】実施形態を示すブロック図である。
【図２】同上における画像の例を示す図である。
【図３】同上におけるブロックの説明図である。
【図４】同上の処理手順を示す図である。
【図５】同上においてクラスタリングが必要になる例を示す図である。
【図６】同上においてクラスタリングが必要になる例を示す図である。
【図７】同上においてクラスタリング前の有効ブロックの例を示す図である。
【図８】同上におけるクラスタリングの手順を示す図である。
【図９】同上におけるクラスタリングの処理手順を示す図である。
【図１０】同上における異常値の発生例を示す図である。
【図１１】同上における異常値の発生例の概略図である。
【図１２】同上における異常値の発生例と除去例とを示す概略図である。
【図１３】同上における異常値を検出する動作の説明図である。
【図１４】同上における閾値面の設定例を示す図である。
【図１５】同上に用いる距離画像センサの構成例を示すブロック図である。
【図１６】図１５に示した構成の動作説明図である。
【図１７】同上における座標変換の概念説明図である。
【図１８】同上におけるアフィン変換の概念説明図である。
【発明を実施するための形態】
【００２１】
（基本構成）
以下に説明する実施形態で用いる物体検知装置は、画像を構成する画素の値が距離値である距離画像を用いて対象物の存否・移動などを検出する構成を採用している。距離画像を生成する距離画像センサは、視野領域に赤外線のような光を投光するとともに、視野領域に存在する物体（人を含む）での反射光を受光することにより、視野領域に存在する物体までの距離を計測するアクティブ型の構成を有する。
【００２２】
アクティブ型の距離画像センサには、投光から受光までの時間を計測する技術のほか、三角測量法の原理を用いる技術などがあり、それぞれの技術において、さらに多種類の技術が知られている。以下に説明する実施形態では、これらの技術のいずれでも用いることが可能であるが、投光から受光までの時間差に相当する情報を用いることにより、物体までの距離を検出する飛行時間法（Time Of Flight）の原理を用いた例により説明を行う。
【００２３】
実施形態において用いる距離画像センサは、時間経過に伴って強度が変化する変調光を発光源から出射し、物体で反射され受光素子で受光された変調光と投光した変調光との位相差を、投光から受光までの時間差に相当する情報として用いる。
【００２４】
変調光の変調波形としては、正弦波、三角波、鋸歯状波、方形波などを用いることができる。正弦波、三角波、鋸歯状波を用いる場合には変調光の周期を一定周期とする。また、方形波を用いる場合には変調光の周期を一定周期とするほか、オン期間（発光源の投光期間）とオフ期間（発光源の非投光期間）との比率を乱数的に変化させる技術を採用することも可能である。変調波形としてどの波形を用いるかにかかわらず、１周期（方形波の場合はオン期間とオフ期間とを１回ずつ含む期間）で投光と受光との位相差を求めるのではなく、多数周期の平均値（あるいは積算値）から位相差を求める。
【００２５】
受光素子には、複数個の受光部（光電変換部）が２次元に配列された撮像素子を用いる。撮像素子は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサとして提供されている濃淡画像を撮像するための周知構成のものを用いることができるが、距離画像センサに適する構造を有するように専用に設計された撮像素子を用いることが望ましい。
【００２６】
後者の撮像素子は、基本的な構造については、濃淡画像を撮像する周知構成の撮像素子と類似している。ただし、受光部の単位で受光感度を制御する機能を備える。受光部の単位で受光感度を制御するのは、変調光を受光するタイミングを制御することによって投光と受光との位相差を含む情報を検出するためである。この撮像素子は、各受光部で生成された電荷を変調光の変調周期の整数倍の期間に亘って蓄積する蓄積領域を有する。さらに、受光部で生成した電荷のうち変調光ではない環境光ないし周囲光の成分を低減させる機能を設ける場合もある。
【００２７】
以下では、距離画像センサの一構成例として下記構成を想定して説明するが、この構成は本発明を限定する趣旨ではなく、変調光の変調波形、撮像素子の構成、撮像素子の制御などに関して、アクティブ型の周知の種々の距離画像センサに提供された構成を用いることができる。
【００２８】
以下の説明で用いる距離画像センサ１は、図１５に示すように、光（近赤外線を用いるのが望ましい）を出射する発光源１１と、視野領域を撮像する撮像素子１２とを備える。図示例では、撮像素子１２として受光部を２次元配列したエリアイメージセンサを想定している。
【００２９】
発光源１１には、発光ダイオードやレーザダイオードのように入力の瞬時値に比例した光出力が得られる発光素子を用いる。また、発光源１１から出射する光量を確保するために、発光源１１は適数個の発光素子を用いて構成される。発光源１１から出射された変調光は投光光学系１３を通して投光される。また、撮像素子１２は、受光光学系１４を通して視野領域からの光を受光する。投光光学系１３と受光光学系１４とは、投受光の方向を平行にし互いに近接して配置してある。すなわち、投光光学系１３と受光光学系１４との距離は視野領域に対して実質的に無視することができるものとする。
【００３０】
距離画像センサ１には、発光源１１を駆動するための変調信号を出力する変調信号生成部１５と、変調信号生成部１５から出力された変調信号に基づいて撮像素子１２での受光タイミングを規定する受光タイミング信号を生成するタイミング制御部１６と、撮像素子１２から出力された受光信号を用いて視野領域に存在する物体Ｏｂまでの距離を求める演算処理部１７とが設けられる。
【００３１】
変調信号生成部１５は、出力電圧が一定周波数（たとえば、２０ＭＨｚ）の正弦波形で変化する変調信号を生成し、変調信号を発光源１１に与えることにより、図１６（ａ）（ｂ）のように光出力が正弦波状に変化する変調光が発光源１１から出射される。発光源１１として発光ダイオードを用いる場合には、電流制限抵抗を介して発光ダイオードに変調信号の信号電圧を印加することにより、発光ダイオードの通電電流を変化させ変調光を出射させる。
【００３２】
一方、撮像素子１２は、電子シャッタの技術を用いることにより、受光タイミング信号に同期する期間にのみ受光強度に応じた電荷を生成することが可能になっている。また、受光部で生成された電荷は、変調信号の複数周期（たとえば、１００００周期）に相当する蓄積期間に亘って蓄積された後、撮像素子１２の外部に受光出力として取り出される。
【００３３】
すなわち、受光タイミング信号に同期するタイミングで電荷を生成する動作と生成された電荷を蓄積する動作とを、蓄積期間である変調信号の複数周期において繰り返し行う。したがって、蓄積期間において生成された電荷は積算されることになり、積算された電荷が受光出力として取り出される。変調信号の１周期分の電荷では、生成される電荷量が少ない上に、環境光や内部ノイズの影響により電荷量にばらつきが生じやすいが、蓄積期間において電荷を蓄積することによって、この種の原因による電荷量のばらつきが抑制される。
【００３４】
タイミング制御部１６では、変調信号に同期する受光タイミング信号を生成する。ここでは、変調信号の１周期における異なる４位相を規定し、各位相ごとに一定時間幅の受光期間を設定する４種類の受光タイミング信号を生成する。蓄積期間ごとに４種類の受光タイミング信号のうちの各１種類の受光タイミング信号を撮像素子１２に与えることにより、受光タイミング信号で設定した位相に対応する期間に受光した電荷が蓄積される。
【００３５】
すなわち、１種類の受光タイミング信号で規定した受光期間において受光部ごとに生成した電荷を１回の蓄積期間において蓄積し、蓄積後の電荷を受光出力として撮像素子１２の外部に取り出す処理を４回繰り返し、４回の蓄積期間で４種類の受光タイミング信号に対応する受光出力を撮像素子１２の外部に取り出す。
【００３６】
いま、図１６（ｃ）のように、受光タイミング信号を変調信号の１周期において９０度ずつ異なる位相で規定しているものとする。この場合、各受光タイミング信号に対応する受光出力（電荷量）を、それぞれＡ０，Ａ１，Ａ２，Ａ３とするときに、位相差ψ〔ｒａｄ〕は下式で表される。
ψ＝（Ａ０−Ａ２）／（Ａ１−Ａ３）
変調信号の周波数をｆ〔Ｈｚ〕とすれば、投光から受光までの時間差Δｔは位相差ψを用いて、Δｔ＝ψ／２π・ｆと表されるから、光速をｃ〔ｍ／ｓ〕とすると、物体までの距離は、ｃ・ψ／４π・ｆと表すことができる。
【００３７】
すなわち、４種類の受光出力（電荷量）Ａ０〜Ａ３により物体までの距離を求めることができる。なお、受光期間の時間幅は、受光部において適正な受光量が得られるように、適宜に設定することができる（たとえば、変調信号の４分の１周期に相当する時間幅とすることができる）。ただし、各受光期間の時間幅は互いに等しくすることが必要である。
【００３８】
演算処理部１７では、受光出力（電荷量）Ａ０〜Ａ３に基づいて位相差ψを求め、距離に換算する上述の処理のほか、以下の実施形態において説明する処理も行うことができる。演算処理部１７はコンピュータ（マイコン）を用いて構成され、上述した処理はコンピュータでプログラムを実行することにより実現される。また、演算処理部１７だけではなく、発光源１１および撮像素子１２を除く構成は、コンピュータを用いて実現される。
【００３９】
なお、上述の動作例では、４種類の受光タイミング信号を用いているが、３種類の受光タイミング信号でも位相差ψを求めることができ、環境光ないし周囲光が存在しない環境下では、２種類の受光タイミング信号でも位相差ψを求めることが可能である。
【００４０】
また、上述の動作では、４種類の受光出力（電荷量）Ａ０〜Ａ３を撮像素子１２から取り出すために４回の蓄積期間が必要であるが、２個の受光部を用いて変調信号の１周期で２種類の受光タイミング信号に対応する電荷を生成することも可能である。この構成では、撮像素子１２から２種類の受光タイミング信号に対応した受光出力を１回で読み出すことが可能になる。同様に、４個の受光部を用いて変調信号の１周期で４種類の受光タイミング信号に対応する電荷を生成すれば、４種類の受光タイミング信号に対応する受光出力を１回で読み出すことが可能になる。
【００４１】
上述した距離画像センサ１は、視野領域からの光を受光するための受光素子として複数個の受光部が２次元配列された撮像素子を用いているから、各受光部での受光量に基づいて距離値を求めることにより距離画像が生成されることになる。上述のように１個の受光部を４種類の受光タイミングに対応付けている場合には、１個の受光部が距離画像の１画素に対応する。ただし、２種類の受光タイミング信号に対応付けて２個の受光部を用いる場合は２個の受光部が１画素に対応し、４種類の受光タイミング信号に対応付けて４個の受光部を用いる場合は４個の受光部が１画素に対応する。
【００４２】
上述のようにして、撮像素子の受光面が距離画像センサ１の視野領域を投影した仮想の投影面として規定され、当該投影面上に２次元配列された複数個の受光部が距離画像の画素に対応付けられる。したがって、受光部の位置が距離画像の画素の位置に対応する。生成された距離画像はコンピュータのメモリに格納される。
【００４３】
上述した距離画像センサ１では、発光源１１から視野領域に投光し、１個の撮像素子１２により視野領域を撮像するから、視野領域は、距離画像センサ１を頂点として距離画像センサ１から離れるほど広がることになる。
【００４４】
たとえば、投光光学系１３および受光光学系１４が光軸の周りに等方的に形成されているときには、視野領域は距離画像センサ１を頂点とする角錐状になる。また、投光光学系１３として外周が楕円形となるレンズやシリンドリカルレンズのように非等方的に形成されたレンズを用いるときには、視野領域は距離画像センサ１を頂点とする扇形状などに形成されることになる。さらに、発光源１１を複数個設けるとともに、投光光学系１３も２個以上設け、投光光学系１３ごとに投光方向を異ならせる構成を採用することもできる。
【００４５】
以下の説明では、視野領域が距離画像センサ１を頂点とする角錐状に形成されている場合を想定する。したがって、上述した仮想の投影面に配列された画素の位置は、距離画像センサ１から視野領域を見込む方向に対応することになり、各画素の画素値は当該方向に存在する物体までの距離を表すことになる。距離画像の各画素の位置を２次元の直交座標系の座標値（つまり、画素位置の水平方向と垂直方向との位置）で表せば、この座標位置は、物体を見込む方位角および俯角・仰角に対応する。言い換えると、距離画像の各画素の持つ情報は、物体の位置を極座標で表した情報と等価である。したがって、以下では、距離画像センサ１から出力される距離画像を極座標系の距離画像と呼ぶ。
【００４６】
上述した極座標系の距離画像は、距離画像センサ１からの距離の情報が必要であるときには利便性が高いが、視野領域である実空間の各位置との対応関係がわかりにくく、実空間に存在する物体を基準にした領域を指定するには不便である。そこで、極座標系の距離画像の各画素を、実空間に対応付けた３次元の仮想空間にマッピングするために画像変換部８を設けている。仮想空間には、実空間と対応するように直交座標系の座標軸が設定される。
【００４７】
いま、視野領域の上方に距離画像センサ１を配置するとともに、距離画像センサ１の視野領域における中心線を斜め下向きに設定している場合を想定する。また、実空間における床面を仮想空間の下側面に対応付けているものとする。仮想空間に設定する直交座標系の座標軸は、距離画像センサ１の視野領域における中心線を床面に投影することにより形成される直線の延長方向をｚ軸の正の向きと規定し、距離画像センサ１から鉛直下向きをｙ軸の正の向きとする。また、右手系の直交座標系を採用するものとし、ｙｚ平面に対して原点から右向きをｘ軸の正の向きとする。また、原点の位置は、距離画像センサ１に設けた撮像素子１２の中心の画素から視野領域を見込む視線（つまり、視野領域の中心線）上であって床面から所定の高さ位置に設定する。
【００４８】
画像変換部８では、極座標の距離画像から３次元の直交座標系である仮想空間への座標変換を、以下の手順で行う。まず、距離画像センサ１に設けた撮像素子１２の受光面が仮想空間のいずれかの座標軸に直交する平面と平行であるものとして極座標系の距離画像から直交座標系への座標変換を行う。その後、求めた直交座標系にアフィン変換を施すことにより、仮想空間の座標軸に対する距離画像センサ１の視野領域の中心線の傾きを修正する座標変換を行う。
【００４９】
いま、撮像素子１２の受光面上での画素の座標位置を（ｕ，ｖ）で表し、座標位置（ｕ，ｖ）の画素の画素値（つまり、物体までの距離値）をｒとする。また、実空間の直交座標系における座標位置を（Ｘ，Ｙ，Ｚ）で表す。すなわち、図１７に示すように、視野領域に原点Ｏおよび座標系ＸＹＺを規定し、視野領域における座標位置（Ｘ，Ｙ，Ｚ）を、撮像素子１２の受光面上の画素の座標位置（ｕ，ｖ）および距離値ｒに対応付ける。ここに、画素の座標位置の単位は〔ｐｉｘｅｌ〕である。
【００５０】
まず、ｕ軸方向とＸ軸方向とは平行であるものとし、ｖ軸方向とＹ軸方向は平行であるものとする。すなわち、距離画像センサ１の視野領域の中心線がＺ軸に一致しているものとする。この状態では、Ｘ軸を仮想空間のｘ軸に一致させれば、Ｙ軸は仮想空間のｙ軸に対してｘ軸の周りに回転していることになる。
【００５１】
直交座標系ＸＹＺの原点は視野領域の中心線上に位置するものとし、まず、距離画像における基準位置を撮像素子１２の受光面上での中心画素（ｕｃ，ｖｃ）からの距離で表すための変換を行う。
ｕ１＝ｓｕ（ｕ−ｕｃ）
ｖ１＝ｓｖ（ｖ−ｖｃ）
ただし、ｓｕ，ｓｖ〔ｍ／ｐｉｘｅｌ〕は撮像素子１２の画素サイズである。ここで、レンズの歪みを考慮して座標位置（ｕ１，ｖ１）に対して次式の補正を行う。
ｕ２＝ａ・ｕ１
ｖ２＝ａ・ｖ１
ただし、ａ＝１／｛１＋κ（ｕ１２＋ｖ１２）｝、κはレンズ歪パラメータ〔１／ｍ２〕である。補正した座標位置（ｕ２，ｖ２）を用いると、直交座標系ＸＹＺの座標位置は、次式で表される。
Ｘ＝ｕ２・ｒ／ｂ
Ｙ＝ｖ２・ｒ／ｂ
Ｚ＝ｆｒ／ｂ
ただし、ｂ＝（ｕ２２＋ｖ２２＋ｆ２）１／２、ｆ〔ｍ〕は受光光学系１４の焦点距離である。
【００５２】
ところで、距離画像センサ１は、視野領域を見下ろすように配置されているから、仮想空間の直交座標系に対応付けるには、直交座標系ＸＹＺから、さらに、仮想空間に規定した上述の直交座標系ｘｙｚへのアフィン変換を行う必要がある。つまり、上述のようにして極座標系の距離画像から直交座標系ＸＹＺへの変換を行うことにより求めた座標位置（Ｘ，Ｙ、Ｚ）は、図１８（ａ）のように、距離画像センサ１の前方をＺ軸に設定している。これに対して、仮想空間の直交座標系ｘｙｚは、図１８（ｂ）のように、直交座標系ＸＹＺに対してＸ軸の周りに回転している。したがって、の座標位置（Ｘ，Ｙ，Ｚ）を回転させることにより、仮想空間に規定した直交座標系ｘｙｚの座標位置（ｘ，ｙ，ｚ）への座標変換がなされる。
【００５３】
いま、距離画像センサ１の視野領域の中心線（上述のＺ軸）が仮想空間に規定したｙｚ平面に含まれ、かつｚ軸に対してｙ軸の正の方向に角度θだけ回転しているものとする。また、Ｘ軸は仮想空間のｘ軸に一致しているものとする。言い換えると、距離画像センサ１の俯角がθに設定されていることになる。
【００５４】
この場合、Ｚ軸をｚ軸に一致させるように、直交座標系ＸＹＺを角度θだけＸ軸の周りに回転させるアフィン変換を行えば、直交座標系ＸＹＺから直交座標系ｘｙｚへの座標変換を行うことができる。つまり、次式のように、ｙｚ平面内でのアフィン変換を行う。
ｘ＝Ｘ
ｙ＝Ｙ・ｃｏｓθ−Ｚ・ｓｉｎθ
ｚ＝Ｙ・ｓｉｎθ＋Ｚ・ｃｏｓθ
上述の手順で極座標系の距離画像から直交座標系への座標変換を行い、さらにアフィン変換を行うことにより、視野領域を斜め下向きに設定して求めた極座標系の距離画像の情報を、仮想空間に規定した直交座標系の座標位置に対応付けることができる。なお、アフィン変換を行うために用いる俯角θは、撮像素子１２の受光面が鉛直面に対してなす角度であるから、俯角θは距離画像センサ１を設置した後に手入力により与える。また、距離画像センサ１の重力方向に対する角度を検出するジャイロセンサを設けることにより、俯角θを自動的に求めることが可能である。
【００５５】
以上のようにして、極座標系の距離画像を仮想空間に規定した直交座標系の座標位置（ｘ，ｙ，ｚ）にマッピングすることができる。以下に説明する実施形態では、距離画像センサ１により生成された極座標系の距離画像から、直交座標系で表される３次元の仮想空間にマッピングする技術を前提として対象物を検出する技術を説明する。
【００５６】
（実施形態）
以下、本実施形態の構成については、図１を参照して説明する。また、図１に示す各構成で生成される画像については、図２を参照して説明する。
【００５７】
また、本実施形態では、距離画像センサ１の視野領域における対象物として人を検出することを想定する。また、距離画像センサ１の視野領域における人の検出に際しては、極座標系の距離画像から直交座標系で表される３次元の仮想空間へのマッピングを行う。
【００５８】
距離画像センサ１では、視野領域において人が存在しない状態における距離画像（極座標系）としての背景距離画像Ｐ１（図２（ａ））をあらかじめ生成しておき、背景距離画像Ｐ１を背景取得手段２に記憶させる。
【００５９】
距離画像センサ１の視野領域における対象物の有無を検出するには、まず、差分画像生成手段３において、距離画像センサ１により生成した極座標系の距離画像Ｐ２（図２（ｂ））と背景取得手段２に記憶されている背景距離画像Ｐ１との差分画像を生成する。以下では、この差分画像を距離差分画像Ｐ３（図２（ｃ））と呼ぶ。距離差分画像Ｐ３では、背景距離画像Ｐ１との変化が生じた画素にのみ比較的大きい値が得られる。
【００６０】
差分画像生成手段３により生成された距離差分画像は注目画素抽出手段４に与えられ、注目画素抽出手段４では、距離差分画像Ｐ３を適宜に規定の存在閾値により二値化する。存在閾値により距離差分画像Ｐ３を二値化すると、図２（ｄ）のような二値画像Ｐ４が得られる。この二値画像Ｐ４に含まれる画素を距離画像Ｐ２から抽出すると、図２（ｅ）のように距離画像Ｐ２から注目画素を抽出した画像Ｐ５が得られる。すなわち、注目画素抽出手段４は、距離画像Ｐ２に含まれる画素のうち、距離差分画像Ｐ３における画素値が規定の存在閾値以上である画素を注目画素として抽出する。
【００６１】
存在閾値は、検出の目的とする対象物が視野領域に存在する場合に、対象物に対応する画素が注目画素となるように検出する必要があるから、比較的小さい値に設定される。ただし、存在閾値が小さすぎると、距離画像Ｐ２内の揺らぎによって発生した雑音成分が注目画素に含まれる可能性があるから、雑音成分を除去できる程度の大きさに設定する。実際には、存在閾値を数十ｃｍ程度で設定しておけば、雑音成分を除去しつつ対象物に対応した注目画素を抽出することができる。
【００６２】
注目画素抽出手段４により極座標系の距離画像から抽出された注目画素は、密度計測手段５において、３次元の仮想空間にマッピングされる。また、密度計測手段５は、この仮想空間内に規定した単位体積のブロックごとに注目画素の個数を密度として求める。図３（ｂ）に示すように、ブロックＢは、単位体積の立方体として設定される。密度計測手段５は、このブロックＢに含まれる注目画素Ｐｘの個数を密度として計測する。
【００６３】
ここに、仮想空間について、基本構成として説明したように、距離画像センサ１から鉛直下向きをｙ軸方向とし、距離画像センサ１の視野領域の中心線を床面上に投影した直線の延長方向をｚ軸方向とする。ｙ軸の正の向きを下向き、ｚ軸の正の向きを距離画像センサ１から遠ざかる向きとし、右手系の直交座標系を採用すると、距離画像センサ１から視野領域を見込むときに、水平方向の右向きがｘ軸の正の向きになる。ブロックＢとなる立方体の各辺は、ｘ軸方向、ｙ軸方向、ｚ軸方向に平行になるように設定する。
【００６４】
密度計測手段５により求められる密度は、対象物の表面において大きくなることが予想されるから、密度が規定の対象閾値以上であるブロックＢを対象物の候補である有効ブロックとして抽出する有効ブロック抽出手段６を設けてある。
【００６５】
ところで、基本構成において説明したように、距離画像センサ１を頂点とする角錐状に設定され、図３（ａ）に示すように、距離画像センサ１から離れるほど視野領域ＶＦに含まれる空間領域の範囲が広くなる。したがって、図３（ｂ）に示しているように、対象物が同じ場合であっても、距離画像センサ１からの距離（図示例ではＺ軸方向の距離で示している）が大きくなるほど、ブロックＢに含まれる注目画素の個数が減少する。言い換えると、視野領域における位置によらず対象閾値を一定に設定していると、ブロックＢは、距離画像センサ１からの距離が小さいと有効ブロックと判断される確率が高く、距離が大きくなるほど有効ブロックと判断される確率が低下する。
【００６６】
ブロックＢまでの距離に応じて有効ブロックと判断される確率が変化するのを防止するために、有効ブロック抽出手段６では、ブロックＢまでの距離が大きいほど対象閾値を小さく設定することが望ましい。具体的には、ブロックＢの密度は、距離の２乗に反比例する。したがって、有効ブロック抽出手段６では、規定の基準距離（適宜に設定する）における対象閾値を基準対象閾値とし、基準距離に対するブロックＢまでの距離の比の２乗分の１を基準対象閾値に乗じた値を対象閾値に用いることが望ましい。なお、距離と対象閾値との関係は、他の基準で規定してもよい。
【００６７】
上述のようにして有効ブロック抽出手段６で抽出された有効ブロックは、領域統合手段７に与えられ、領域統合手段７では、有効ブロックが隣接している場合には、同じ対象物に属する有効ブロックであるとみなして有効ブロックを統合する。つまり、隣接した有効ブロックを統合することにより、有効ブロックのグループを形成する。この処理は、２次元の画像におけるラベリングの処理に相当する。
【００６８】
領域統合手段７は、基本的には、２個の有効ブロックにおいて単位体積の立方体のいずれか１面が共有されている場合に、両有効ブロックを隣接する有効ブロックと判断する。ただし、２個の有効ブロックにおいて単位体積の立方体のいずれか１個の頂点が共有されている場合も、隣接する有効ブロックに含めるようにしてもよい。
【００６９】
領域統合手段７により有効ブロックを統合した結果の画像を、ｚ軸方向、ｘ軸方向、ｙ軸方向にそれぞれ投影した結果の一例を、図２（ｆ）（ｇ）（ｈ）に示す。第三角法の投影図で言えば、図２（ｆ）は正面図、図２（ｇ）は右側面図、図２（ｈ）は平面図に相当する。
【００７０】
領域統合手段７により統合された有効ブロックのグループに対しては、対象物判別手段８において、対象物に関する知識を適用することにより対象物か否かの判断を行う。対象物か否かを判別する知識としては、対象物のサイズを用いるのが簡単かつ有効である。また、対象物に関する知識としては、グループの形状、グループの重心の位置、グループの慣性主軸の方向などを用いることも可能である。ただし、グループの構成単位は、ブロックＢであるから、形状の細部の情報は失われているから形状のみで判断することは難しく、また、重心の位置や慣性主軸の方向なども単独で判断に用いことは難しい。これらの情報は、他の知識と組み合わせて補助的に用いると、判断結果の信頼性を高めることができる。
【００７１】
以下では、対象物判別手段８がグループのサイズを特徴に用いることによって対象物か否かを判断する例を説明する。グループのサイズは、図２（ｆ）（ｇ）（ｈ）のように、仮想空間の座標軸のうちのいずれかの方向にグループを投影した図形に対する外接矩形Ｒを設定し、外接矩形Ｒの辺の長さをサイズとして求めればよい。
【００７２】
図２（ｆ）のようにｚ軸方向に投影した場合は、外接矩形Ｒの横辺の寸法が幅寸法Ｗ、縦辺の寸法が高さ寸法Ｈになる。また、図２（ｇ）のようにｘ軸方向に投影した場合は、外接矩形Ｒの横辺の寸法が奥行き寸法Ｄ、縦辺の寸法が高さ寸法Ｈになる。図２（ｈ）のようにｙ軸方向に投影した場合は、外接矩形Ｒの横辺の寸法が幅寸法Ｗ、縦辺の寸法が奥行き寸法Ｄになる。
【００７３】
本実施形態では、対象物の幅寸法Ｗと高さ寸法Ｈと奥行き寸法Ｄとのすべてを用いて対象物か否かを判断する。したがって、対象物判別手段８は、グループをすべての座標軸の方向にそれぞれ投影して外接矩形Ｒを設定することにより、幅寸法Ｗと高さ寸法Ｈと奥行き寸法Ｄとを求める特徴抽出手段８１を備える。また、対象物判別手段８は、特徴抽出手段８１で求めたグループの幅寸法Ｗと高さ寸法Ｈと奥行き寸法Ｄとに関してそれぞれ適正範囲を設定するとともに、すべてが適正範囲であるときに当該グループを対象物として判別するサイズ判別手段８２を備えている。
【００７４】
以上の動作をまとめると、図４のようになる。すなわち、背景距離画像Ｐ１をあらかじめ記憶させておき（Ｓ１）、距離画像センサ１で距離画像Ｐ２を生成し（Ｓ２）、背景距離画像Ｐ１と距離画像Ｐ２との差分画像を距離差分画像Ｐ３として生成する（Ｓ３）。さらに、距離差分画像Ｐ３において存在閾値以上である画素を、距離画像Ｐ２から注目画素として抽出する（Ｓ４）。その後、注目画素について極座標系の距離画像の各画素を３次元の直交座標系にマッピングする座標変換を行い（Ｓ５）、各ブロックＢの密度を評価して有効ブロックを抽出する（Ｓ６）。さらに、隣接する有効ブロックを統合し（Ｓ７）、特徴抽出手段８１によりサイズを抽出する（Ｓ８）。その後、サイズ判別手段８２では、サイズが適正範囲か否かを判断するのである（Ｓ９）。図４に示す例では、ステップＳ１０として、対象物を追跡する処理を記載しているが、この処理については後述する。
【００７５】
ところで、対象物判別手段８において対象物の特徴としてサイズを用いるときには、複数人が重なっているときに、幅寸法あるいは奥行き寸法が適正範囲を逸脱し、対象物ではないと判断される可能性がある。
【００７６】
たとえば、図５あるいは図６に示すように、対象物である人Ｍが、距離画像センサ１の視野領域内に２人存在し、図５のようにｘ軸方向に並んでいる場合や、図６のようにｚ軸方向に並んでいる場合には、有効ブロックによるグループを形成したときに、１つのグループとみなされる可能性がある。これらの場合は、グループから抽出した特徴量として、幅寸法Ｗと高さ寸法Ｈと奥行き寸法Ｄとの３種類の情報を用いている場合に、いずれかの情報については適正範囲を逸脱することになる。つまり、グループが対象物と判別されないことになる。
【００７７】
このような誤判断を防止するために、対象物判別手段８には、特徴抽出手段８１によりグループの特徴として抽出したサイズが適正範囲の上限を超える場合に当該グループを形成する有効ブロックのクラスタリングを行うクラスタリング手段８３を設けている。以下では、クラスタリング手段８３によるクラスタリングの手順について説明する。
【００７８】
ここでは、図５の例のように、対象物である人Ｍがｘ軸方向に並んでいる場合を例示する。この場合、各対象物に対応するグループＧ１，Ｇ２として分離されるべき有効ブロックＢ０の間に隙間がなく、図７のように有効ブロックＢ０が連続したひとかたまりのグループＧになる。そこで、サイズ判別手段８２において、幅寸法が、適正範囲の上限を逸脱していると判断した場合（実際には、１人分の幅寸法よりも大きく、かつ２人分の幅寸法よりも小さく設定した上限閾値を超えていると判断した場合）、クラスタリング手段８３を起動する。
【００７９】
クラスタリング手段８３では、サイズ判別手段８２から引き渡されたグループＧが２分割できるものとして、以下に説明するクラスタリングの処理を行う。
【００８０】
クラスタリングの処理では、図８（ａ）に示すように、まずグループＧ内の適宜の２個の有効ブロックＢ１，Ｂ２に着目し、両有効ブロックＢ１，Ｂ２と、グループＧ内の各有効ブロックＢ０との距離をそれぞれ求める。着目する有効ブロックＢ１，Ｂ２は、分離されるグループＧ１，Ｇ２にそれぞれ設定することが望ましい。したがって、着目する有効ブロックＢ１，Ｂ２は、サイズ判別手段８２において適正範囲の上限を逸脱した方向（この例では、ｘ軸方向）について比較的遠く離れるように設定する。つまり、有効ブロックＢ１はグループＧ１に属し、有効ブロックＢ２はグループＧ２に属するとみなす。
【００８１】
図８（ｂ）のように、グループＧの各有効ブロックＢ０は、着目した有効ブロックＢ１，Ｂ２のうち距離ｄ１，ｄ２が近いほうの有効ブロックＢ１，Ｂ２と同じグループＧ１，Ｇ２に属すると判断する。つまり、有効ブロックＢ０についてｄ１＜ｄ２であれば、有効ブロックＢ０は、有効ブロックＢ１と同じグループＧ１に属すると判断する。
【００８２】
グループＧのすべての有効ブロックＢ０について、着目する有効ブロックＢ１，Ｂ２との距離を求めると、グループＧのすべての有効ブロックＢ０は、２つのグループＧ１，Ｇ２に分かれるから、各グループＧ１，Ｇ２ごとに重心の座標位置を求める。次に、求めた重心の座標位置を含むブロックを新たな有効ブロックＢ１，Ｂ２に用いて、上述の処理を繰り返す。図８（ｃ）のように、分割後のグループＧ１，Ｇ２の重心の座標位置を含む有効ブロックＢ１，Ｂ２の位置が変化しなくなると、重心位置が収束したと判断し、上述の処理を終了する。
【００８３】
上述の手順で得られた２つのグループＧ１，Ｇ２を、それぞれ対象物の候補とみなし、対象物判別手段８は、各グループＧ１，Ｇ２について、それぞれ、あらためて特徴抽出手段８１およびサイズ判別手段８２により対象物か否かの判別を行う。
【００８４】
クラスタリング手段８３を含む対象物判別手段８の処理を図９に示す。図示例では、まずサイズ判別手段８２によるサイズの判定を行っている（Ｓ１１）。ここで、サイズが適正範囲であれば（Ｓ１２：Ｎ）、グループの分割は不要である。一方、サイズが適正範囲の上限を超えている場合は（Ｓ１２：Ｙ）、各グループＧ１，Ｇ２の仮の重心位置として適宜の位置に有効ブロックＢ１，Ｂ２を設定する（Ｓ１３）。設定した有効ブロックＢ１，Ｂ２と、グループＧ内の各有効ブロックＢ０との距離を求め（Ｓ１４）、仮の重心位置とした有効ブロックＢ１，Ｂ２との距離の大小に応じてグループＧ１，Ｇ２の分離を行う（Ｓ１５）。グループＧ１，Ｇ２に分離した後に、各グループＧ１，Ｇ２の重心位置を求め（Ｓ１６）、求めた重心位置が収束するまで（Ｓ１７）、上述の処理を繰り返す。
【００８５】
ところで、本実施形態の距離画像センサ１は、強度が変化する変調光を投光し、変調光を生成する変調信号の複数の位相における受光強度に基づいて物体までの距離を求めている。また、誤差を低減するために、変調光の多数周期に亘る期間において蓄積した電荷に基づいて距離を求めている。したがって、距離を求めるのに必要な電荷が得られるまでの時間内で物体が移動した場合には距離を正確に求めることができないことがある。距離を求めるのに必要な電荷を蓄積する時間は短時間であるから、物体の多くの部位については距離を計測することが可能である。しかしながら、物体の位置が固定されていない場合には、物体の周縁部の位置に揺らぎが生じ、距離を正確に求めることができない可能性がある。
【００８６】
いま、注目画素抽出手段４により注目画素を抽出し、図２（ｅ）に示すような画像Ｐ５が得られているものとする。画像Ｐ５は３次元の情報を含んでいるから、図２（ｅ）のようなｚ軸方向の視点ではなく、図１０に示すようにｙ軸方向の視点からも見ることが可能である。図１０によれば、物体の周縁部において抽出した注目画素の距離値は、尾を引いたような分布になっていることがわかる。この現象は、上述のように、物体の周縁部での揺らぎにより生じると考えられる。このように、物体の距離値に対して異常値となる距離値が生じていると、密度計測手段５においてブロックＢに関する密度を計測する際に密度を正確に計測できず、結果的に、対象物か否かの判別を正確に行うことができなくなる可能性がある。
【００８７】
そこで、物体の周縁部に生じる異常値を持つ画素を注目画素として採用しないために、以下の処理を採用することが望ましい。以下の処理は有効ブロック抽出手段６において行うが、密度計測手段５において行うことも可能である。
【００８８】
上述した距離値の異常値が発生している状態を簡略化すれば、図１１に示すように、距離画像センサ１から変調光を投光する方向において、物体Ｏｂの周縁部に異常値の分布領域Ａ１が生じていると言える。したがって、異常値の分布領域Ａ１は、図１２（ａ）のようにｙ軸方向の視点だけではなく、図１２（ｂ）のようにｘ軸方向の視点においても存在する。
【００８９】
このような知見から、密度が対象閾値以上であるブロックＢとして抽出された有効ブロックＢ０に含まれる画素について、ｘｚ平面の上での度数を求める。図１３に示すように、正常値についてはｘｚ平面上の度数が大きく、異常値についてはｘｚ平面上の度数が少なくなる。したがって、ｘｚ平面上で適宜の区間（たとえば、数ｃｍ四方ごとの区間）を設定して度数分布を求め、度数が規定の雑音閾値Ｔｈより小さい座標値については、異常値として採用しないようにする。言い換えると、ｘｚ平面での度数が雑音閾値Ｔｈ以上となる画素のみを物体に対応する注目画素として採用する。
【００９０】
この処理を行うことにより、図１２（ａ）（ｂ）に示す例では、図１２（ｃ）のように、異常値の分布領域Ａ１が除去されることになる。上述の例では、距離画像センサ１により床面上の対象物までの距離を斜め上方から計測するから、ｘｚ平面上での度数を求めているが、距離画像センサ１と対象物との位置関係によっては、ｘｙ平面上の度数を求めてもよい。すなわち、仮想空間の座標平面のうち距離画像センサ１の視野領域の中心線に交差する座標平面の上で度数を求めればよい。
【００９１】
上述のようにして、度数が雑音閾値Ｔｈより小さくなる座標値を持つ画素は注目画素として採用しないことにより、画素値が異常値となる画素（を含む有効ブロックＢ０）を対象物の判別からは除去することができる。その結果、対象物を判別する精度が高くなる。
【００９２】
上述の動作では、背景取得手段２が背景距離画像を取得するタイミングについてとくに言及していないが、視野領域内に配置される物品が変化した場合には、背景距離画像も更新する必要がある。背景距離画像の更新を自動化するために、対象物判別手段８において対象物が検出されない状態が所定の更新時間に達すると、距離画像センサ１で得られている新たな距離画像を背景距離画像として背景取得手段２に記憶させるのが望ましい。
【００９３】
新たな背景距離画像は、対象物が存在しないと推定される時刻に更新するのが望ましいから、対象物が検出されない状態が更新時間に達した後に、夜間などの定時に更新すればよい。あるいはまた、更新時間に達した時点の距離画像を新たな背景距離画像に用いてもよい。
【００９４】
さらに、上述の動作では、対象物の移動について考慮していないから、距離画像センサ１が距離画像を生成する時間間隔を比較的大きくすることができる（視野領域内を対象物が通過する時間よりは短く設定する必要がある）。たとえば、視野領域内に物体が侵入したことを別のセンサで検出した後に、距離画像センサ１により対象物を確認する目的で使用することも可能である。
【００９５】
一方、視野領域を通過する対象物を検出しようとする場合には、距離画像センサ１により距離画像の動画像を生成する必要がある。つまり、比較的短い時間間隔（たとえば、１０分の１秒以下）で距離画像を生成し、各距離画像から対象物判別手段８において対象物の有無を判別することが必要になる。この場合、対象物判別手段８が対象物を検出した後は、対象物判別手段８で対象物と判断されたグループを対象物追跡手段９に引き渡す。対象物追跡手段９では、距離画像センサ１の視野領域内において対象物が検出されている間に、グループの代表点の位置を対象物として追跡する。すなわち、時系列において隣接する距離画像を用いて、対象物の位置を追跡する。グループの代表点としては、重心位置あるいは上端位置を用いればよい。
【００９６】
対象物追跡手段９を設けることにより、移動する対象物の位置を追跡することができるから、視野領域内への侵入者を対象物として、侵入者の行動を追跡する用途などに用いることが可能である。
【００９７】
上述した構成例では、注目画素抽出手段４において、極座標系の距離画像である背景距離画像と距離画像センサ１により生成した極座標系の距離画像との差分画像から注目画素を抽出している。また、抽出した注目画素を、密度計測手段５において３次元の仮想空間にマッピングしている。一方、対象物が人である場合には、床面の上方の空間領域において対象物の有無を判別すればよく、床面付近の情報は不要である。
【００９８】
そこで、注目画素抽出手段４において、図１４に示すように、床面などの基準面ＰＬ０から所定の高さ位置（床面の上方）に閾値面ＰＬ１を規定しておき、閾値面ＰＬ１よりも上方に存在する画素のみ対象物Ｏｂの候補となる注目画素として抽出するのが望ましい。この場合には、距離画像センサ１により生成した極座標系の距離画像を直交座標系の仮想空間にマッピングした上で、注目画素を抽出することになる。
【００９９】
なお、距離画像センサ１により生成した極座標系の距離画像を直交座標系の仮想空間にマッピングした後に、基準面から所定の高さ位置に設定した閾値面よりも上方に存在する画素を注目画素として抽出する構成を採用してもよい。この場合、背景距離画像を用いることなく、対象物の候補である注目画素を抽出することが可能になり、しかも、抽出された注目画素は、仮想空間にマッピングされているから、そのまま密度を評価することが可能である。ただし、この手順を採用すると、床上に置かれている物体についても対象物の候補として抽出されることになるから、対象物以外の情報を別途に除去することが必要である。
【符号の説明】
【０１００】
１ 距離画像センサ
２ 背景取得手段
３ 差分画像生成手段
４ 注目画素抽出手段
５ 密度計測手段
６ 有効ブロック抽出手段
７ 領域統合手段
８ 対象物判別手段
８１ 特徴抽出手段
８２ サイズ判別手段
８３ クラスタリング手段
９ 対象物追跡手段
Ｂ ブロック
Ｂ０ 有効ブロック
Ｂ１，Ｂ２ 有効ブロック
Ｇ グループ
Ｇ１，Ｇ２ グループ
Ｏｂ 対象物
Ｐ１ 背景距離画像
Ｐ２ 距離画像
Ｐ３ 距離差分画像
Ｐ４ 二値画像
Ｐ５ 画像
【特許請求の範囲】
【請求項１】
視野領域について画素値が距離である距離画像を生成するアクティブ型の距離画像センサと、視野領域に対象物が存在しない状態において前記距離画像センサにより生成した距離画像を背景距離画像として記憶する背景取得手段と、視野領域を監視する状態において前記距離画像センサにより生成した距離画像と前記背景取得手段に記憶されている背景距離画像との差分画像である距離差分画像を生成する差分画像生成手段と、前記距離画像センサにより生成した距離画像に含まれる画素のうち、前記差分画像生成手段により生成した距離差分画像における画素値が規定の存在閾値以上である画素を注目画素として抽出する注目画素抽出手段と、前記注目画素抽出手段により抽出した注目画素を３次元の仮想空間にマッピングし当該仮想空間内に規定した単位体積のブロックごとに注目画素の個数を密度として求める密度計測手段と、前記密度計測手段により求めた密度が規定の対象閾値以上であるブロックを有効ブロックとして抽出する有効ブロック抽出手段と、前記有効ブロック抽出手段で抽出した有効ブロックについて隣接している有効ブロックを統合してグループを形成する領域統合手段と、前記領域統合手段により形成したグループに対して対象物に関する知識を用いることにより対象物か否かを判別する対象物判別手段とを備えることを特徴とする対象物検出装置。
【請求項２】
前記有効ブロック抽出手段は、ブロックまでの距離が大きいほど対象閾値を小さく設定していることを特徴とする請求項１記載の対象物検出装置。
【請求項３】
前記有効ブロック抽出手段は、規定の基準距離における対象閾値を基準対象閾値とし、基準距離に対する前記ブロックまでの距離の比の２乗分の１を基準対象閾値に乗じた値を前記対象閾値に用いることを特徴とする請求項２記載の対象物検出装置。
【請求項４】
前記対象物判別手段は、前記領域統合手段により形成したグループからサイズを特徴として抽出する特徴抽出手段と、前記特徴量抽出手段が抽出したサイズが規定の適正範囲内であることを知識に用いて当該グループが対象物か否かを判別するサイズ判別手段とを備えることを特徴とする請求項１〜３のいずれか１項に記載の対象物検出装置。
【請求項５】
前記対象物判別手段は、前記特徴抽出手段によりグループの特徴として抽出したサイズが前記適正範囲の上限を超える場合に、当該グループを形成する有効ブロックのクラスタリングを行うことにより、当該グループを複数のグループに分割するクラスタリング手段を備え、前記クラスタリング手段による分割後のグループについて前記サイズ判別手段による判別を行うことを特徴とする請求項４記載の対象物検出装置。
【請求項６】
前記有効ブロック抽出手段は、前記仮想空間を規定する直交座標系の座標平面のうち、前記距離画像センサの視野領域の中心線と交差する座標平面の上で、前記有効ブロックに含まれる画素の度数分布を求め、度数が規定した雑音閾値より小さくなる座標値を持つ画素を注目画素として採用しないことを特徴とする請求項１〜５のいずれか１項に記載の対象物検出装置。
【請求項７】
前記距離画像センサの視野領域における中心線は斜め下向きに設定されており、前記密度計測手段は、前記注目画素を前記仮想空間にマッピングする際に、前記距離画像センサの視野領域における中心線の俯角に応じた補正を行うことを特徴とする請求項１〜６のいずれか１項に記載の対象物検出装置。
【請求項８】
前記注目画素抽出手段は、前記距離画像センサの視野領域内において所定の高さ位置に規定した閾値面よりも上方に位置する画素を注目画素として抽出することを特徴とする請求項１〜７のいずれか１項に記載の対象物検出装置。
【請求項９】
前記背景取得手段は、前記対象物判別手段において対象物が検出されない状態が所定の更新時間に達すると、新たに生成された背景距離画像に更新することを特徴とする請求項１〜８のいずれか１項に記載の対象物検出装置。
【請求項１０】
前記距離画像センサは距離画像による動画像を生成する機能を有し、前記対象物判別手段が前記対象物を検出すると、時系列において隣接する距離画像を用いることにより、視野領域内における当該対象物を追跡する対象物追跡手段を備えることを特徴とする請求項１〜９のいずれか１項に記載の対象物検出装置。
【請求項１】
視野領域について画素値が距離である距離画像を生成するアクティブ型の距離画像センサと、視野領域に対象物が存在しない状態において前記距離画像センサにより生成した距離画像を背景距離画像として記憶する背景取得手段と、視野領域を監視する状態において前記距離画像センサにより生成した距離画像と前記背景取得手段に記憶されている背景距離画像との差分画像である距離差分画像を生成する差分画像生成手段と、前記距離画像センサにより生成した距離画像に含まれる画素のうち、前記差分画像生成手段により生成した距離差分画像における画素値が規定の存在閾値以上である画素を注目画素として抽出する注目画素抽出手段と、前記注目画素抽出手段により抽出した注目画素を３次元の仮想空間にマッピングし当該仮想空間内に規定した単位体積のブロックごとに注目画素の個数を密度として求める密度計測手段と、前記密度計測手段により求めた密度が規定の対象閾値以上であるブロックを有効ブロックとして抽出する有効ブロック抽出手段と、前記有効ブロック抽出手段で抽出した有効ブロックについて隣接している有効ブロックを統合してグループを形成する領域統合手段と、前記領域統合手段により形成したグループに対して対象物に関する知識を用いることにより対象物か否かを判別する対象物判別手段とを備えることを特徴とする対象物検出装置。
【請求項２】
前記有効ブロック抽出手段は、ブロックまでの距離が大きいほど対象閾値を小さく設定していることを特徴とする請求項１記載の対象物検出装置。
【請求項３】
前記有効ブロック抽出手段は、規定の基準距離における対象閾値を基準対象閾値とし、基準距離に対する前記ブロックまでの距離の比の２乗分の１を基準対象閾値に乗じた値を前記対象閾値に用いることを特徴とする請求項２記載の対象物検出装置。
【請求項４】
前記対象物判別手段は、前記領域統合手段により形成したグループからサイズを特徴として抽出する特徴抽出手段と、前記特徴量抽出手段が抽出したサイズが規定の適正範囲内であることを知識に用いて当該グループが対象物か否かを判別するサイズ判別手段とを備えることを特徴とする請求項１〜３のいずれか１項に記載の対象物検出装置。
【請求項５】
前記対象物判別手段は、前記特徴抽出手段によりグループの特徴として抽出したサイズが前記適正範囲の上限を超える場合に、当該グループを形成する有効ブロックのクラスタリングを行うことにより、当該グループを複数のグループに分割するクラスタリング手段を備え、前記クラスタリング手段による分割後のグループについて前記サイズ判別手段による判別を行うことを特徴とする請求項４記載の対象物検出装置。
【請求項６】
前記有効ブロック抽出手段は、前記仮想空間を規定する直交座標系の座標平面のうち、前記距離画像センサの視野領域の中心線と交差する座標平面の上で、前記有効ブロックに含まれる画素の度数分布を求め、度数が規定した雑音閾値より小さくなる座標値を持つ画素を注目画素として採用しないことを特徴とする請求項１〜５のいずれか１項に記載の対象物検出装置。
【請求項７】
前記距離画像センサの視野領域における中心線は斜め下向きに設定されており、前記密度計測手段は、前記注目画素を前記仮想空間にマッピングする際に、前記距離画像センサの視野領域における中心線の俯角に応じた補正を行うことを特徴とする請求項１〜６のいずれか１項に記載の対象物検出装置。
【請求項８】
前記注目画素抽出手段は、前記距離画像センサの視野領域内において所定の高さ位置に規定した閾値面よりも上方に位置する画素を注目画素として抽出することを特徴とする請求項１〜７のいずれか１項に記載の対象物検出装置。
【請求項９】
前記背景取得手段は、前記対象物判別手段において対象物が検出されない状態が所定の更新時間に達すると、新たに生成された背景距離画像に更新することを特徴とする請求項１〜８のいずれか１項に記載の対象物検出装置。
【請求項１０】
前記距離画像センサは距離画像による動画像を生成する機能を有し、前記対象物判別手段が前記対象物を検出すると、時系列において隣接する距離画像を用いることにより、視野領域内における当該対象物を追跡する対象物追跡手段を備えることを特徴とする請求項１〜９のいずれか１項に記載の対象物検出装置。
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図１０】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図１０】
【公開番号】特開２０１１−１８５６６４（Ｐ２０１１−１８５６６４Ａ）
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願番号】特願２０１０−４９４２９（Ｐ２０１０−４９４２９）
【出願日】平成２２年３月５日（２０１０．３．５）
【出願人】（０００００５８３２）パナソニック電工株式会社 (17,916)
【Ｆターム（参考）】
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願日】平成２２年３月５日（２０１０．３．５）
【出願人】（０００００５８３２）パナソニック電工株式会社 (17,916)
【Ｆターム（参考）】
[ Back to top ]