距離画像を用いた人体検知方法および人体検知装置
【課題】距離画像を用いた人体検知方法および人体検知装置を提供する。
【解決手段】人体検知部２０は、距離画像センサ１０から得た距離画像を構成する複数の画素から、画素値が閾値以下となる画素領域を抽出する領域抽出処理を、閾値を画素値が最短の画素の画素値から段階的に伸ばして複数回行う。そして、人体検知部２０は、領域抽出処理を行う毎に、新たに抽出された画素領域が、既に抽出された画素領域と部分的に重複する場合は、部分的に重複する複数の画素領域を同一の物体と判断して、複数の画素領域の全体に同一の識別子を割り当てる識別子割当処理を行い、同一の識別子を割り当てた複数の画素領域の画素数が人体の大きさに相当する画素数を超えるという判定条件が成立すると、領域抽出処理および識別子割当処理を終了し、同一の識別子が割り当てられた画素領域を人体として抽出する。
【解決手段】人体検知部２０は、距離画像センサ１０から得た距離画像を構成する複数の画素から、画素値が閾値以下となる画素領域を抽出する領域抽出処理を、閾値を画素値が最短の画素の画素値から段階的に伸ばして複数回行う。そして、人体検知部２０は、領域抽出処理を行う毎に、新たに抽出された画素領域が、既に抽出された画素領域と部分的に重複する場合は、部分的に重複する複数の画素領域を同一の物体と判断して、複数の画素領域の全体に同一の識別子を割り当てる識別子割当処理を行い、同一の識別子を割り当てた複数の画素領域の画素数が人体の大きさに相当する画素数を超えるという判定条件が成立すると、領域抽出処理および識別子割当処理を終了し、同一の識別子が割り当てられた画素領域を人体として抽出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、距離画像を用いた人体検知方法および人体検知装置に関するものである。
【背景技術】
【０００２】
従来より、例えば通路の天井に取り付けて、下方の通路を通行する通行人の有無や人数を検出する人体検知装置が提供されている。
【０００３】
例えば、特許文献１に示される人体検知装置では、撮像手段により検知対象領域を撮像して得た距離画像を基に、撮像手段からの距離が略同じ画素同士を繋いで等高線を作成し、この等高線で囲まれる領域を単峰性の物体（すなわち人体）と判断している。
【特許文献１】特開２００３−５７００７号公報（段落番号［００２１］〜［００２３］、及び、第３図）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、撮像領域に人物が存在したとしても、人物の姿勢によっては、撮像手段からの距離が略等しくなるような画素が存在しない場合もあり、また撮像手段からの距離が略同じ画素が存在したとしても、画素同士を結んでできる等高線が閉じない場合もあるので、上述の人体検知装置では検知対象領域にいる人物を確実に検知できない可能性があった。
【０００５】
本発明は上記問題点に鑑みて為されたものであり、その目的とするところは、検知対象領域にいる人物を確実に検出することが可能な距離画像を用いた人体検知方法および人体検知装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、請求項１の発明は、撮像手段から対象領域内の物体までの距離を画素値とする距離画像を用いて対象領域内の人体を検知する人体検知方法であって、対象領域を撮像することで距離画像を得た後に、該距離画像を構成する複数の画素から、画素値が閾値以下となる画素領域を抽出する領域抽出処理を、前記閾値を画素値が最短の画素の画素値から段階的に伸ばして複数回行う毎に、新たに抽出された画素領域が、既に抽出された画素領域と少なくとも一部が重複する場合、該重複する複数の画素領域を同一の物体と判断して、前記複数の画素領域の全体に同一の識別子を割り当てる識別子割当処理を行い、同一の識別子を割り当てた複数の画素領域の画素数が人体の大きさに相当する画素数を超えるという判定条件が成立すると、前記領域抽出処理および識別子割当処理を終了し、同一の識別子が割り当てられた画素領域を人体として抽出することを特徴とする。
【０００７】
この発明によれば、撮像手段に近い側から順番に画素領域を抽出し、新たに抽出した画素領域が、既に抽出された画素領域と少なくとも一部が重複する場合、これら複数の画素領域を同一の物体と判断して、これらの画素領域の全体に同一の識別子を付与しており、同一の識別子を付与した画素領域の画素数が人体の大きさに相当する画素数を超えるという判定条件が成立すれば、同一の識別子を付与した画素領域を人体として抽出しているので、従来の人体検知方法のように等高線が閉じないような場合でも確実に人体を検知できる。また判定条件が成立した段階で、その識別子を割り当てた画素領域について、領域抽出処理および識別子付与処理を終了しているので、閾値を床面まで伸ばして画素領域を抽出する場合に比べて、人の存在を短時間で検知することができ、また識別子を付与した画素領域を記憶させるメモリの容量も小さくて済むという利点がある。
【０００８】
請求項２の発明は、撮像手段から対象領域内の物体までの距離を画素値とする距離画像を用いて対象領域内の人体を検知する人体検知方法であって、対象領域を撮像することで距離画像を得た後に、該距離画像を構成する複数の画素から、画素値が閾値以下となる画素領域を抽出する領域抽出処理を、前記閾値を画素値が最短の画素の画素値から段階的に伸ばして複数回行う毎に、新たに抽出された画素領域が、既に抽出された画素領域と少なくとも一部が重複する場合、該重複する複数の画素領域を同一の物体と判断して、前記複数の画素領域の全体に同一の識別子を割り当てる識別子割当処理を行い、上記閾値を、画素値が最短の画素の画素値から一定距離まで伸ばした場合に、同一の識別子を割り当てた複数の画素領域が単峰状の物体となるという判定条件が成立すると、前記領域抽出処理および識別子割当処理を終了し、同一の識別子が割り当てられた画素領域を人体として抽出することを特徴とする。
【０００９】
この発明によれば、撮像手段に近い側から順番に画素領域を抽出し、新たに抽出した画素領域が、既に抽出された画素領域と少なくとも一部が重複する場合、これら複数の画素領域を同一の物体と判断して、これらの画素領域の全体に同一の識別子を付与しており、上記の閾値を一定距離まで伸ばした時に同一の識別子が割り当てられた画素領域の全体が単峰状の物体となっていれば、同一の識別子を付与した画素領域を人体として抽出しているので、従来の人体検知方法のように等高線が閉じないような場合でも確実に人体を検知できる。しかも、この判定条件を用いる場合は、対象領域内の人物の背丈が異なる場合でも、人間の頭部の形状を検出することで、人体を確実に検出することが可能になる。また判定条件が成立した段階で、その識別子を割り当てた画素領域について、領域抽出処理および識別子付与処理を終了しているので、閾値を床面まで伸ばして画素領域を抽出する場合に比べて、人の存在を短時間で検知することができ、また識別子を付与した画素領域を記憶させるメモリの容量も小さくて済むという利点がある。
【００１０】
請求項３の発明は、撮像手段から対象領域内の物体までの距離を画素値とする距離画像を用いて対象領域内の人体を検知する人体検知方法であって、対象領域を撮像することで距離画像を得た後に、該距離画像を構成する複数の画素から、画素値が閾値以下となる画素領域を抽出する領域抽出処理を、前記閾値を画素値が最短の画素の画素値から段階的に伸ばして複数回行う毎に、新たに抽出された画素領域が、既に抽出された画素領域と少なくとも一部が重複する場合、該重複する複数の画素領域を同一の物体と判断して、前記複数の画素領域の全体に同一の識別子を割り当てる識別子割当処理を行い、同一の識別子を割り当てた複数の画素領域の内、新たに抽出した画素領域中の画素で、既に抽出した画素領域の画素と重複していない画素の画素数が所定のしきい値以下になるという判定条件が成立すると、前記領域抽出処理および識別子割当処理を終了し、同一の識別子が割り当てられた画素領域を人体として抽出することを特徴とする。
【００１１】
ところで対象領域の人体を上方から撮影した場合、撮像手段に近い側から順番に画素領域を抽出すると、頭部の水平断面が最大となる高さ位置に近付くにつれて、同一の識別子を割り当てた画素領域の追加分が少なくなる。請求項３の発明によれば、新たに抽出された画素領域中の画素で、既に抽出した画素領域の画素と重複していない画素の画素数が所定のしきい値以下になるという判定条件が成立すれば、人体の頭部の形状を検出できたと判断でき、頭部の形状を検出することによって人体を確実に検知することが可能になり、且つ、従来の人体検知方法のように等高線が閉じないような場合でも確実に人体を検知できる。また判定条件が成立した段階で、その識別子を割り当てた画素領域について、領域抽出処理および識別子付与処理を終了しているので、閾値を床面まで伸ばして画素領域を抽出する場合に比べて、人の存在を短時間で検知することができ、また識別子を付与した画素領域を記憶させるメモリの容量も小さくて済むという利点がある。
【００１２】
請求項４の発明は、撮像手段から対象領域内の物体までの距離を画素値とする距離画像を用いて対象領域内の人体を検知する人体検知方法であって、対象領域を撮像することで距離画像を得た後に、該距離画像を構成する複数の画素から、画素値が閾値以下となる画素領域を抽出する領域抽出処理を、前記閾値を画素値が最短の画素の画素値から段階的に伸ばして複数回行う毎に、新たに抽出された画素領域が、既に抽出された画素領域と少なくとも一部が重複する場合、該複数の画素領域を同一の物体と判断して、前記複数の画素領域の全体に同一の識別子を割り当てる識別子割当処理を行い、同一の識別子を割り当てた複数の画素領域の内、新たに抽出した画素領域に、既に抽出された画素領域が包含される場合に、新たに抽出した画素領域において、既に抽出された画素領域の外側にある帯状部分の幅の平均値が所定のしきい値以下になるという判定条件が成立すると、前記領域抽出処理および識別子割当処理を終了し、同一の識別子が割り当てられた画素領域を人体として抽出することを特徴とする。
【００１３】
ここで、対象領域の人体を上方から撮影した場合、撮像手段に近い側から順番に画素領域を抽出すると、頭部の水平断面が最大となる高さ位置に近付くにつれて、同一の識別子を割り当てた画素領域の追加分が少なくなる。請求項４の発明によれば、同一の識別子を割り当てた複数の画素領域の内、新たに抽出した画素領域に、既に抽出された画素領域が包含される場合に、新たに抽出した画素領域において、既に抽出された画素領域の外側にある帯状部分の幅の平均値が所定のしきい値以下になるという判定条件が成立すれば、人体の頭部の形状を検出できたと判断でき、頭部の形状を検出することによって人体を確実に検知することが可能になり、且つ、従来の人体検知方法のように等高線が閉じないような場合でも確実に人体を検知できる。また判定条件が成立した段階で、その識別子を割り当てた画素領域について、領域抽出処理および識別子付与処理を終了しているので、閾値を床面まで伸ばして画素領域を抽出する場合に比べて、人の存在を短時間で検知することができ、また識別子を付与した画素領域を記憶させるメモリの容量も小さくて済むという利点がある。
【００１４】
請求項５の発明は、請求項２乃至請求項４の何れか１項に記載の距離画像を用いた人体検知方法であって、上記判定条件と、同一の識別子を割り当てた複数の画素領域の画素数が人体の大きさに相当する画素数を超えるという判定条件とが両方共に成立すると、前記領域抽出処理および識別子割当処理を終了し、同一の識別子が割り当てられた画素領域を人体として抽出することを特徴とする。
【００１５】
この発明によれば、請求項２乃至請求項４の何れかの人体検知方法において、同一の識別子を割り当てた複数の画素領域の画素数が人体の大きさに相当する画素数を超えるという判定条件が共に成立した場合のみ、同一の識別子が割り当てられた画素領域を人体として抽出するので、人体よりも大きさが小さいものを誤検出するのを防止できる。
【００１６】
請求項６の発明は、請求項１乃至請求項５の何れか１項に記載の発明において、上記距離画像を構成する複数の画素の内、同一の識別子が割り当てられた画素領域の画素と、それ以外の画素とを２値化することを特徴とする。
【００１７】
この発明によれば、距離画像を構成する画素を、同一の識別子が割り当てられた画素領域の画素と、それ以外の画素とに二値化しているので、人体に対応する画素領域を抽出する処理や、その画素領域を特定する処理が容易に行える。
【００１８】
請求項７の発明は人体検知装置であって、撮像手段により撮像された距離画像を用い、請求項１乃至請求項６の何れか１項に記載の人体検知方法を実行することで、対象領域内の人体を検知する人体検知手段を具備する。
【００１９】
この発明によれば、人体を確実に検知でき、且つ、検知時間を短くした人体検知装置を実現できる。
【発明の効果】
【００２０】
請求項１の発明によれば、撮像手段に近い側から順番に画素領域を抽出し、新たに抽出した画素領域が、既に抽出された画素領域と少なくとも一部が重複する場合、該重複する複数の画素領域を同一の物体と判断して、これらの画素領域の全体に同一の識別子を付与しており、同一の識別子を付与した画素領域の画素数が人体の大きさに相当する画素数を超えるという判定条件が成立すれば、同一の識別子を付与した画素領域を人体として抽出しているので、従来の人体検知方法のように等高線が閉じないような場合でも確実に人体を検知できる。また判定条件が成立した段階で、その識別子を割り当てた画素領域について、領域抽出処理および識別子付与処理を終了しているので、閾値を床面まで伸ばして画素領域を抽出する場合に比べて、人の存在を短時間で検知することができ、また識別子を付与した画素領域を記憶させるメモリの容量も小さくて済むという利点がある。
【００２１】
請求項２の発明によれば、撮像手段に近い側から順番に画素領域を抽出し、新たに抽出した画素領域が、既に抽出された画素領域と少なくとも一部が重複する場合、該重複する複数の画素領域を同一の物体と判断して、これらの画素領域の全体に同一の識別子を付与しており、上記の閾値を一定距離まで伸ばした時に同一の識別子が割り当てられた画素領域の全体が単峰状の物体となっていれば、同一の識別子を付与した画素領域を人体として抽出しているので、従来の人体検知方法のように等高線が閉じないような場合でも確実に人体を検知できる。しかも、この判定条件を用いる場合は、対象領域内の人物の背丈が異なる場合でも、人間の頭部の形状を検出することで、人体を確実に検出することが可能になる。また判定条件が成立した段階で、その識別子を割り当てた画素領域について、領域抽出処理および識別子付与処理を終了しているので、閾値を床面まで伸ばして画素領域を抽出する場合に比べて、人の存在を短時間で検知することができ、また識別子を付与した画素領域を記憶させるメモリの容量も小さくて済むという利点がある。
【００２２】
ところで、対象領域の人体を上方から撮影した場合、撮像手段に近い側から順番に画素領域を抽出すると、頭部の水平断面が最大となる高さ位置に近付くにつれて、同一の識別子を割り当てた画素領域の追加分が少なくなる。
【００２３】
請求項３の発明によれば、新たに抽出された画素領域中の画素で、既に抽出した画素領域の画素と重複していない画素の画素数が所定のしきい値以下になるという判定条件が成立すれば、人体の頭部の形状を検出できたと判断でき、頭部の形状を検出することによって人体を確実に検知することが可能になり、且つ、従来の人体検知方法のように等高線が閉じないような場合でも確実に人体を検知できる。また判定条件が成立した段階で、その識別子を割り当てた画素領域について、領域抽出処理および識別子付与処理を終了しているので、閾値を床面まで伸ばして画素領域を抽出する場合に比べて、人の存在を短時間で検知することができ、また識別子を付与した画素領域を記憶させるメモリの容量も小さくて済むという利点がある。
【００２４】
また、請求項４の発明によれば、同一の識別子を割り当てた複数の画素領域の内、新たに抽出した画素領域に、既に抽出された画素領域が包含される場合に、新たに抽出した画素領域において、既に抽出された画素領域の外側にある帯状部分の幅の平均値が所定のしきい値以下になるという判定条件が成立すれば、人体の頭部の形状を検出できたと判断でき、頭部の形状を検出することによって人体を確実に検知することが可能になり、且つ、従来の人体検知方法のように等高線が閉じないような場合でも確実に人体を検知できる。また判定条件が成立した段階で、その識別子を割り当てた画素領域について、領域抽出処理および識別子付与処理を終了しているので、閾値を床面まで伸ばして画素領域を抽出する場合に比べて、人の存在を短時間で検知することができ、また識別子を付与した画素領域を記憶させるメモリの容量も小さくて済むという利点がある。
【００２５】
請求項５の発明によれば、請求項２乃至請求項４の何れかの人体検知方法において、同一の識別子を割り当てた複数の画素領域の画素数が人体の大きさに相当する画素数を超えるという判定条件が共に成立した場合のみ、同一の識別子が割り当てられた画素領域を人体として抽出するので、人体よりも大きさが小さいものを誤検出するのを防止できる。
【００２６】
請求項６の発明によれば、距離画像を構成する画素を、同一の識別子が割り当てられた画素領域の画素と、それ以外の画素とに二値化しているので、人体に対応する画素領域を抽出する処理や、その画素領域を特定する処理が容易に行える。
【００２７】
また、請求項７の発明によれば、人体を確実に検知でき、且つ、検知時間を短くした人体検知装置を実現できる。
【発明を実施するための最良の形態】
【００２８】
以下に、本発明に係る距離画像を用いた人体検知方法を実行する人体検知装置の一実施形態を説明するが、先ずこの人体検知装置に用いる距離画像センサの基本構成について図１を参照して説明する。
【００２９】
距離画像センサ１０は、図１に示すように、対象空間に光を照射する発光源２を備えるとともに、対象空間からの光を受光し受光光量を反映した出力値の電気出力が得られる光検出素子１を備える。対象空間に存在する対象物Ｏｂまでの距離は、発光源２から対象空間に光が照射されてから対象物Ｏｂでの反射光が光検出素子１に入射するまでの時間（「飛行時間」と呼ぶ）によって求める。ただし、飛行時間は非常に短いから、対象空間に照射する光の強度が一定周期で周期的に変化するように変調した強度変調光を用い、強度変調光を受光したときの位相を用いて飛行時間を求める。なお、本発明の技術思想は、距離画像センサ１０として、飛行時間により距離画像を生成する構成のほか、三角測量法の原理によって距離画像を生成する構成においても採用可能である。ただし、以下に説明する構成の距離画像センサ１０は、三角測量法の原理を用いる距離画像センサに比較して短時間（ほぼ実時間）で距離画像を生成できるから、三角測量法の原理を採用した距離画像センサよりも好ましい。
【００３０】
図９（ａ）に示すように、発光源２から空間に放射する光の強度が曲線イのように変化し、光検出素子１で受光した受光光量が曲線ロのように変化するとすれば、位相差ψは飛行時間に相当するから、位相差ψを求めることにより対象物Ｏｂまでの距離を求めることができる。また、位相差ψは、曲線イの複数のタイミングで求めた曲線ロの受光光量を用いて計算することができる。たとえば、曲線イにおける位相が０度、９０度、１８０度、２７０度の位相で求めた曲線ロの受光光量がそれぞれＡ０、Ａ１、Ａ２、Ａ３であるとする（受光光量Ａ０、Ａ１、Ａ２、Ａ３を斜線部で示している）。ただし、各位相における受光光量Ａ０、Ａ１、Ａ２、Ａ３は、瞬時値ではなく所定の受光期間Ｔｗで積算した受光光量を用いる。いま、受光光量Ａ０、Ａ１、Ａ２、Ａ３を求める間に、位相差ψが変化せず（つまり、対象物Ｏｂまでの距離が変化せず）、かつ対象物Ｏｂの反射率にも変化がないものとする。また、発光源２から放射する光の強度を正弦波で変調し、時刻ｔにおいて光検出素子１で受光される光の強度がＡ・ｓｉｎ（ωｔ＋δ）＋Ｂで表されるものとする。ここに、Ａは振幅、Ｂは直流成分（外光成分と反射光成分との平均値）、ωは角振動数、δは初期位相である。光検出素子１で受光する受光光量Ａ０、Ａ１、Ａ２、Ａ３を受光期間Ｔｗの積算値ではなく瞬時値とし、変調の周期に同期した時刻ｔ＝ｎ／ｆ（ｎ＝０、１、２、…、ｆは変調の周波数）における受光光量を、Ａ０＝Ａ・ｓｉｎ（δ）＋Ｂとすれば、受光光量Ａ０、Ａ１、Ａ２、Ａ３は、次のように表すことができる。なお、反射光成分とは、発光源２から放射され対象物Ｏｂにより反射された後に光検出素子１に入射する光の成分を意味する。
【００３１】
Ａ０＝Ａ・ｓｉｎ（δ）＋Ｂ
Ａ１＝Ａ・ｓｉｎ（π／２＋δ）＋Ｂ
Ａ２＝Ａ・ｓｉｎ（π＋δ）＋Ｂ
Ａ３＝Ａ・ｓｉｎ（３π／２＋δ）＋Ｂ
図９では位相差がψであるから、光検出素子１の受光光量に関する波形の初期位相δ（時刻ｔ＝０の位相）は−ψになる。つまり、δ＝−ψであるから、Ａ０＝−Ａ・ｓｉｎ（ψ）＋Ｂ、Ａ１＝Ａ・ｃｏｓ（ψ）＋Ｂ、Ａ２＝Ａ・ｓｉｎ（ψ）＋Ｂ、Ａ３＝−Ａ・ｃｏｓ（ψ）＋Ｂであり、結果的に、各受光光量Ａ０、Ａ１、Ａ２、Ａ３と位相差ψとの関係は、次式のようになる。
【００３２】
ψ＝ｔａｎ−１｛（Ａ２−Ａ０）／（Ａ１−Ａ３）｝ …（１）
（１）式では受光光量Ａ０、Ａ１、Ａ２、Ａ３の瞬時値を用いているが、受光光量Ａ０、Ａ１、Ａ２、Ａ３として受光期間Ｔｗにおける積算値を用いても（１）式で位相差ψを求めることができる。
【００３３】
また、光検出素子１で受光される光の強度をＡ・ｃｏｓ（ωｔ＋δ）＋Ｂとする場合、つまり変調の周期に同期した時刻ｔ＝ｎ／ｆ（ｎ＝０、１、２、…）における受光光量を、Ａ０＝Ａ・ｃｏｓ（δ）＋Ｂとすれば、位相差ψを次式で求めることができる。
【００３４】
ψ＝ｔａｎ−１｛（Ａ１−Ａ３）／（Ａ０−Ａ２）｝
この関係は、変調の周期に同期させるタイミングを９０度ずらした関係である。また、距離値の符号は正であるから、位相差ψを求めたときに符号が負になる場合には、ｔａｎ−１の括弧内の分母または分子の各項の順序を入れ換えるか括弧内の絶対値を用いるようにしてもよい。
【００３５】
上述のように対象空間に照射する光の強度を変調するために、発光源２としては、たとえば多数個の発光ダイオードを一平面上に配列したものや半導体レーザと発散レンズとを組み合わせたものなどを用いる。また、発光源２は、制御回路部３から出力される所定の変調周波数である変調信号によって駆動され、発光源２から放射される光は変調信号により強度が変調される。制御回路部３では、たとえば２０ＭＨｚの正弦波で発光源２から放射する光の強度を変調する。なお、発光源２から放射する光の強度は正弦波で変調する以外に、三角波、鋸歯状波などで変調してもよく、要するに、一定周期で強度を変調するのであれば、どのような構成を採用してもよい。
【００３６】
光検出素子１は、規則的に配列された複数個の感光部１１を備える。また、感光部１１への光の入射経路には受光光学系１９が配置される。感光部１１は光検出素子１において対象空間からの光が受光光学系１９を通して入射する部位であって、感光部１１において受光光量に応じた量の電荷を生成する。また、感光部１１は、平面格子の格子点上に配置され、たとえば垂直方向（つまり、縦方向）と水平方向（つまり、横方向）とにそれぞれ等間隔で複数個ずつ並べたマトリクス状に配列される。
【００３７】
受光光学系１９は、光検出素子１から対象空間を見るときの視線方向と各感光部１１とを対応付ける。すなわち、受光光学系１９を通して各感光部１１に光が入射する範囲を、受光光学系１９の中心を頂点とし各感光部１１ごとに設定された頂角の小さい円錐状の視野とみなすことができる。したがって、発光源２から放射され対象空間に存在する対象物Ｏｂで反射された反射光が感光部１１に入射すれば、反射光を受光した感光部１１の位置により、受光光学系１９の光軸を基準方向として対象物Ｏｂの存在する方向を知ることができる。
【００３８】
受光光学系１９は一般に感光部１１を配列した平面に光軸を直交させるように配置されるから、受光光学系１９の中心を原点とし、感光部１１を配列した平面の垂直方向と水平方向と受光光学系１９の光軸とを３軸の方向とする直交座標系を設定すれば、対象空間に存在する対象物Ｏｂの位置を球座標で表したときの角度（いわゆる方位角と仰角）が各感光部１１に対応する。なお、受光光学系１９は、感光部１１を配列した平面に対して光軸が９０度以外の角度で交差するように配置することも可能である。
【００３９】
本実施形態では、上述のように、対象物Ｏｂまでの距離を求めるために、発光源２から対象空間に照射される光の強度変化に同期する４点のタイミングで受光光量Ａ０、Ａ１、Ａ２、Ａ３を求めている。したがって、目的の受光光量Ａ０、Ａ１、Ａ２、Ａ３を得るためのタイミングの制御が必要である。また、発光源２から対象空間に照射される光の強度変化の１周期において感光部１１で発生する電荷の量は少ないから、複数周期に亘って電荷を集積することが望ましい。そこで、図１のように各感光部１１で発生した電荷をそれぞれ集積する複数個の電荷集積部１３を設けるとともに、各感光部１１の感度をそれぞれ調節する複数個の感度制御部１２を設けている。
【００４０】
各感度制御部１２では、感度制御部１２に対応する感光部１１の感度を上述した４点のうちのいずれかのタイミングで高め、感度が高められた感光部１１では当該タイミングの受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を主として生成するから、当該受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を当該感光部１１に対応する電荷集積部１３に集積させることができる。
【００４１】
以下では、感度制御部１２の具体的な構成として、感光部１１で生成された電荷のうち電荷集積部１３に与える電荷の割合を調節する技術と、実質的に感光部１１として機能する部位の面積を変化させる技術とを示す。電荷集積部１３に与える電荷の割合を調節する技術には、感光部１１から電荷集積部１３への通過率を調節する技術と、感光部１１から電荷を廃棄する廃棄率を調節する技術と、通過率と廃棄率との両方を調節する技術とがある。
【００４２】
感度制御部１２において通過率と廃棄率とを調節する技術では、図１０に示すように、感光部１１と電荷集積部１３との間にゲート電極１２ａを設け、ゲート電極１２ａに印加する通過電圧を変化させることにより、感光部１１から電荷集積部１３への電荷の移動（つまり、通過率）を制御する。また、電荷廃棄部１２ｃを設け、電荷廃棄部１２ｃに付設した廃棄電極１２ｂに印加する廃棄電圧を変化させることにより、感光部１１から電荷廃棄部１２ｃへの電荷の移動（つまり、廃棄率）を制御する。電荷集積部１３は感光部１１ごとに一対一に対応するように設けられ、電荷廃棄部１２ｃは複数個の感光部１１に共通させて一対多に対応するように設けられる。図示例では、光検出素子１のすべての感光部１１で１組の廃棄電極１２ｂおよび電荷廃棄部１２ｃを共用している。
【００４３】
感度を制御するために、感光部１１からの電荷の廃棄を行わずに感光部１１から電荷集積部１３への通過率の制御のみを行うことが考えられるが、電荷の廃棄を行わなければ感光部１１において電荷が暫時残留するから、感光部１１で生成された電荷のうち不要な残留電荷が、利用する電荷（以下、信号電荷という）に雑音成分として混入する。したがって、信号電荷への残留電荷の混入を防止するために、ゲート電極１２ａに印加する通過電圧だけでなく廃棄電極１２ｂに印加する廃棄電圧を制御する。
【００４４】
ゲート電極１２ａと廃棄電極１２ｂとを用いて感度を制御するには、ゲート電極１２ａに印加する通過電圧を一定電圧に保つことにより感光部１１で生成された電荷を電荷集積部１３に通過可能としておき、感光部１１で生成された電荷のうち信号電荷に用いる電荷が生成される期間以外には感光部１１から電荷廃棄部１２ｃに電荷が移動するように廃棄電極１２ｂに廃棄電圧を印加する。要するに、感光部１１において信号電荷として用いる電荷が生成される期間にのみ電荷廃棄部１２ｃへの電荷の廃棄を行わず、他の期間には電荷廃棄部１２ｃに電荷を廃棄することにより、信号電荷として用いようとする期間に生成された電荷のみを電荷集積部１３に集積する。
【００４５】
いま、図１１（ａ）のような変調信号により発光源２から空間に照射される光の強度が変調されているとする。電荷集積部１３には変調信号の複数周期（数万〜数十万周期）において変調信号に同期する特定の区間の受光光量Ａ０，Ａ１，Ａ２，Ａ３に相当する電荷を集積し、各区間の電荷の集積毎に集積した信号電荷を取り出して次の区間の電荷を集積する。たとえば、受光光量Ａ０に相当する電荷を変調信号の数万周期について集積すると、この受光光量Ａ０に相当する信号電荷を一旦外部に取り出し、その後、受光光量Ａ１に相当する電荷を変調信号の数万周期について集積する。
【００４６】
図１１は受光光量Ａ０に相当する電荷を集積している状態を示しており、図１１（ｂ）に示すようにゲート電極１２ａに印加する通過電圧を一定電圧に保っている。また、受光光量Ａ０に相当する電荷としては、変調信号の位相が０〜９０度の区間において感光部１１で生成された電荷を採用している。つまり、廃棄電極１２ｂには、図１１（ｃ）のように変調信号の位相が９０〜３６０度の区間において、感光部１１で生成される電荷を不要電荷とするように廃棄電圧を印加する。この制御により、図１１（ｄ）のように所望の区間の受光光量Ａ０に対応した信号電荷を電荷集積部１３に集積することが可能になる。図１１に示す処理は変調信号の数万〜数十万周期について行われ、この期間に電荷集積部１３に得られた信号電荷は受光光量Ａ０に対応する受光出力として電荷取出部１４により取り出される。
【００４７】
電荷取出部１４から取り出された電荷は画像生成部４に画像信号として与えられ、画像生成部４において、対象空間内の対象物Ｏｂまでの距離が、上述した（１）式を用いて受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する受光出力から算出される。すなわち、画像生成部４では各感光部１１に対応した各方向における対象物Ｏｂまでの距離が算出され、対象空間の三次元情報が算出される。この三次元情報を用いると、対象空間の各方向に一致する画素の画素値が距離値である距離画像を生成することができる。
【００４８】
なお、上述の制御では、廃棄電極１２ｂに廃棄電圧を印加している期間においてゲート電極１２ａにも一定電圧である通過電圧を印加しているが、廃棄電圧と通過電圧との大小関係を適宜に設定すれば、不要電荷を廃棄している期間には信号電荷がほとんど集積されないようにすることができる。また、変調信号の数万〜数十万周期について電荷を集積しているのは、集積する電荷量を多くすることによって高感度化するためであり、変調信号をたとえば２０ＭＨｚと設定すれば、３０フレーム／秒で信号電荷を取り出すとしても、数十万周期以上の集積が可能になる。
【００４９】
上述したように、廃棄電極１２ｂを備えた電荷廃棄部１２ｃを設け、感光部１１に生じた電荷のうち信号電荷として利用しない不要電荷を電荷廃棄部１２ｃに積極的に廃棄しているから、感光部１１において電荷集積部１３に信号電荷を与えていない期間に感光部１１で生成される電荷はほとんどが不要電荷として廃棄されることになり、信号電荷への雑音成分の混入が大幅に抑制される。
【００５０】
上述の例では、ゲート電極１２ａに一定電圧である通過電圧を印加している期間に廃棄電極１２ｂに廃棄電圧を印加する期間と印加しない期間とを設けることによって、廃棄電圧が印加されていない期間において感光部１１に生成された電荷を信号電荷として用いているが、図１２に示すように、ゲート電極１２ａに通過電圧を印加する期間と廃棄電極１２ｂに廃棄電圧を印加する期間とが重複しないように制御してもよい。
【００５１】
図１２は受光光量Ａ０に対応する信号電荷を集積する場合の動作を示している。図１２（ａ）は発光源２から空間に照射される光の強度を変調する変調信号を示しており、ゲート電極１２ａには、図１２（ｂ）のように、受光光量Ａ０に対応するタイミングで通過電圧を印加する。ゲート電極１２ａに通過電圧を印加する期間は、変調信号の位相における０度から一定期間（図示例では０〜９０度）に設定され、この期間において感光部１１から電荷集積部１３への電荷の移動が可能になる。一方、廃棄電極１２ｂには、図１２（ｃ）のように、電荷集積部１３に受光光量Ａ０に相当する信号電荷を集積する期間以外において廃棄電圧を印加し、信号電荷を集積する期間以外では感光部１１で生成した電荷を不要電荷として電荷廃棄部１２ｃに廃棄する。このような制御によって、図１２（ｄ）のように受光光量Ａ０に相当する信号電荷を取り出すことが可能になる。
【００５２】
図１２に示す制御では、ゲート電極１２ａに通過電圧を印加している期間と廃棄電極１２ｂに廃棄電圧を印加している期間とが異なるから、図１１に示した制御例のように通過電圧と廃棄電圧との大小関係を考慮しなくとも通過電圧と廃棄電圧との大きさを独立して制御することができ、結果的に通過電圧および廃棄電圧の制御が容易になり、感光部１１で受光した光量に対して信号電荷を取り込む割合である感度の制御が容易になるとともに、感光部１１で生成された電荷のうち不要電荷として廃棄する割合の制御が容易になる。また、図１２に示す制御例では、電荷集積部１３に信号電荷を集積する期間はゲート電極１２ａに印加する通過電圧により規定されるから、廃棄電極１２ｂに廃棄電圧を印加する期間を短縮することが可能であり、たとえば、ゲート電極１２ａに通過電圧を印加する直前の所定期間にのみ廃棄電極１２ｂに廃棄電圧を印加することも可能である。
【００５３】
図１２に示す制御を行えば、感光部１１で生成した電荷を電荷集積部１３に信号電荷として集積していない期間において感光部１１で生成される電荷をほとんど不要電荷として廃棄するから、信号電荷への雑音成分の混入が大幅に抑制されることになる。
【００５４】
通過電圧と廃棄電圧との制御例としては、図１３に示すように、廃棄電極１２ｂに印加する廃棄電圧を一定電圧に保って感光部１１で生成された電荷の一部をつねに廃棄するようにしてもよい。図１３の制御例では、ゲート電極１２ａに通過電圧を印加する期間と印加しない期間とを設け、通過電圧を印加する期間を電荷集積部１３に信号電荷を集積する期間としている。
【００５５】
図１３は受光光量Ａ０に相当する信号電荷を集積する場合の動作を示している。図１３（ａ）は発光源２から空間に照射される光の強度を変調する変調信号を示しており、電荷集積部１３に設けたゲート電極１２ａには、図１３（ｂ）のように、受光光量Ａ０に対応する期間に通過電圧が印加され、感光部１１において生成された電荷を受光光量Ａ０に相当する信号電荷として電荷集積部１３に集積する。つまり、ゲート電極１２ａに通過電圧を印加する期間は、変調信号の位相における０度から一定期間（図示例では０〜９０度）に設定され、この期間において感光部１１から電荷集積部１３への電荷の移動が可能になる。一方、廃棄電極１２ｂには、図１３（ｃ）のように、直流電圧である一定電圧の廃棄電圧がつねに印加され、感光部１１で生成された電荷の一部をつねに不要電荷として電荷廃棄部１２ｃに廃棄する。上述の制御では、信号電荷を電荷集積部１３に集積する期間にのみゲート電極１２ａに通過電圧を印加しているから、図１３（ｄ）のように受光光量Ａ０に相当する信号電荷を取り出すことが可能になる。
【００５６】
図１３に示す制御では、ゲート電極１２ａに通過電圧を印加しているか否かにかかわらず廃棄電極１２ｂに一定電圧の廃棄電圧を印加しているから、感光部１１において生成された電荷のうち電荷集積部１３に信号電荷として集積されなかった不要電荷は、廃棄電荷として電荷廃棄部１２ｃに廃棄される。ここで、感光部１１で生成された電荷の一部を信号電荷として電荷集積部１３に集積する期間においても感光部１１から電荷廃棄部１２ｃへの電荷の廃棄が継続しているから、信号電荷を電荷集積部１３に適正に集積するために、通過電圧と廃棄電圧との大小関係を考慮する必要がある。ただし、廃棄電圧は一定電圧であって廃棄電極１２ｂにつねに印加しているだけであるから、実際には通過電圧のみを制御すればよく、制御自体は容易である。
【００５７】
図１０に示した感度制御部１２を備える光検出素子１は、オーバーフロードレインを備えたＣＣＤイメージセンサにより実現することができる。ＣＣＤイメージセンサにおける電荷の転送方式はどのようなものでもよく、インターライントランスファ（ＩＴ）方式、フレームトランスファ（ＦＴ）方式、フレームインターライントランスファ（ＦＩＴ）方式のいずれであってもよい。
【００５８】
図１４に縦型オーバーフロードレインを備えるインターライントランスファ方式のＣＣＤイメージセンサの構成を示す。図示例は、感光部１１となるフォトダイオード４１を水平方向と垂直方向とに複数個ずつ（図では３×４個）配列した２次元イメージセンサであって、垂直方向に配列したフォトダイオード４１の各列の右側方にＣＣＤからなる垂直転送レジスタ４２を備え、フォトダイオード４１および垂直転送レジスタ４２が配列された領域の下方にＣＣＤからなる水平転送レジスタ４３を備える。垂直転送レジスタ４２は各フォトダイオード４１ごとに２個ずつの転送電極４２ａ，４２ｂを備え、水平転送レジスタ４３は各垂直転送レジスタ４２ごとに２個ずつの転送電極４３ａ，４３ｂを備える。
【００５９】
フォトダイオード４１と垂直転送レジスタ４２と水平転送レジスタ４３とは１枚の半導体基板４０上に形成され、半導体基板４０の主表面には、フォトダイオード４１と垂直転送レジスタ４２と水平転送レジスタ４３との全体を囲む形でアルミニウム電極であるオーバーフロー電極４４が、半導体基板４０の全周に亘って絶縁膜を介さずに半導体基板４０に直接接触するように設けられる。オーバーフロー電極４４に半導体基板４０に対して正極性になる適宜の廃棄電圧を印加すればフォトダイオード４１で生成された電子（電荷）はオーバーフロー電極４４を通して廃棄される。オーバーフロー電極４４は、感光部１１であるフォトダイオード４１において生成した電荷のうち不要電荷を廃棄する際に廃棄電圧が印加されるから廃棄電極１２ｂとして機能し、オーバーフロー電極４４に廃棄電圧を印加する電源が感光部１１で生成された電子（電荷）を廃棄する電荷廃棄部１２ｃとして機能する。半導体基板４０の表面はフォトダイオード４１に対応する部位を除いて遮光膜４６（図１５参照）により覆われる。
【００６０】
図１４に示したＣＣＤイメージセンサについて、１個のフォトダイオード４１に関連する部分を切り出して図１５に示す。半導体基板４０にはｎ形半導体を用い、半導体基板４０の主表面にはフォトダイオード４１と垂直転送レジスタ４２とに跨る領域にｐ形半導体からなるウェル領域３１を形成している。ウェル領域３１は、フォトダイオード４１に対応する領域に比較して垂直転送レジスタ４２に対応する領域の厚み寸法が大きくなるように形成してある。ウェル領域３１のうちフォトダイオード４１に対応する領域にはｎ＋形半導体層３２を重ねて設けてあり、ウェル領域３１とｎ＋形半導体層３２とのｐｎ接合によってフォトダイオード４１が形成される。フォトダイオード４１の表面にはｐ＋形半導体からなる表面層３３を積層してある。表面層３３はフォトダイオード４１で生成された電荷を垂直転送レジスタ４２に移動させる際に、ｎ＋形半導体層３２の表面付近が電荷の通過経路にならないように制御する目的で設けてある。このような構造は、埋込フォトダイオードとして知られている。
【００６１】
ウェル領域３１のうち垂直転送レジスタ４２に対応する領域にはｎ形半導体からなる蓄積転送層３４を重ねて設けてある。蓄積転送層３４の表面と表面層３３の表面とは略同一平面であって、蓄積転送層３４の厚み寸法は表面層３３の厚み寸法よりも大きくしてある。蓄積転送層３４は、表面層３３とは接触しているが、ｎ＋形半導体層３２との間には、表面層３３と不純物濃度が等しいｐ＋形半導体からなる分離層３５が介在する。蓄積転送層３４の表面には、絶縁膜４５を介して転送電極４２ａ，４２ｂが配置される。転送電極４２ａ，４２ｂは１個のフォトダイオード４１に対して２個ずつ設けられ、垂直方向において２個の転送電極４２ａ，４２ｂのうちの一方は他方よりも広幅に形成される。具体的には、図１６のように、１個のフォトダイオード４１に対応する２個の転送電極４２ａ，４２ｂのうち狭幅の転送電極４２ｂは平板状に形成されており、広幅の転送電極４２ａは、幅狭の転送電極４２ｂと同一平面上に配列され一対の転送電極４２ｂの間に配置される平板状の部分と、平板状の部分の垂直方向（図１６の左右方向）における両端部からそれぞれ延長され転送電極４２ｂの上に重複する湾曲した部分とを備える。ここに、絶縁膜４５はＳｉＯ２ により形成され、また転送電極４２ａ，４２ｂはポリシリコンにより形成され、各転送電極４２ａ，４２ｂは絶縁膜４５を介して互いに絶縁されている。さらに、フォトダイオード４１に光を入射させる部位を除いて光検出素子１の表面は遮光膜４６により覆われる。ウェル領域３１において垂直転送レジスタ４２に対応する領域および蓄積転送層３４は垂直転送レジスタ４２の全長に亘って形成され、したがって、蓄積転送層３４には広幅の転送電極４２ａと狭幅の転送電極４２ｂとが交互に配列される。
【００６２】
上述した光検出素子１では、フォトダイオード４１が感光部１１に相当し、転送電極４２ａが通過電極１２ａに相当し、オーバーフロー電極４４が廃棄電極１２ｂに相当し、垂直転送レジスタ４２が電荷集積部１３および電荷取出部１４の一部として機能する。また、水平転送レジスタ４３も電荷取出部１４の一部になる。すなわち、フォトダイオード４１に光が入射すれば電荷が生成され、フォトダイオード４１で生成された電荷のうち垂直転送レジスタ４２に信号電荷として引き渡される電荷の割合は転送電極４２ａに印加する通過電圧とオーバーフロー電極４４に印加する廃棄電圧との関係によって決めることができる。転送電極４２ａに通過電圧を印加すると蓄積転送層３４にポテンシャル井戸が形成され、通過電圧の制御によりポテンシャル井戸の深さを制御することができる。したがって、ポテンシャル井戸の深さおよび通過電圧を印加する時間とを制御すれば、フォトダイオード４１から垂直転送レジスタ４２に引き渡される電荷の割合を調節することができる。また、オーバーフロー電極４４に印加する廃棄電圧を制御すれば、フォトダイオード４１と半導体基板４０との間の電位勾配を制御することができるから、電位勾配と廃棄電圧を印加する時間とを制御すれば、垂直転送レジスタ４２に引き渡される電荷の割合を調節することができる。制御電圧と廃棄電圧とは図１１ないし図１３に示した制御例のように制御すればよい。
【００６３】
フォトダイオード４１から垂直転送レジスタ４２に引き渡された信号電荷は、上述した４区間の受光光量Ａ０，Ａ１，Ａ２，Ａ３のうちの各１区間の受光光量Ａ０，Ａ１，Ａ２，Ａ３に相当する信号電荷が集積されるたびに読み出される。たとえば、受光光量Ａ０に相当する信号電荷が各フォトダイオード４１に対応して形成されるポテンシャル井戸に集積されると信号電荷を読み出し、次に受光光量Ａ１に相当する信号電荷がポテンシャル井戸に集積されると再び信号電荷を読み出すという動作を繰り返す。なお、各受光光量Ａ０，Ａ１，Ａ２，Ａ３に相当する信号電荷を集積する期間は等しく設定しておく。
【００６４】
ところで、上述した制御例のうち、図１１に示す制御例では、感光部１１（フォトダイオード４１）で生成された電荷（電子）を電荷集積部１３（垂直転送レジスタ４２）に対してつねに引き渡しているから、電荷集積部１３に集積された電荷は必ずしも目的の受光光量Ａ０、Ａ１、Ａ２、Ａ３が得られる期間に生成された電荷だけではなく、目的外の期間に生成された電荷も混入することになる。いま、感度制御部１２において、受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応した電荷を生成する期間の感度をα、それ以外の期間の感度をβとし、感光部１１は受光光量に比例する電荷を生成するものとする。この条件では、受光光量Ａ０に対応した電荷を集積する電荷集積部１３には、αＡ０＋β（Ａ１＋Ａ２＋Ａ３）＋βＡｘ（Ａｘは受光光量Ａ０、Ａ１、Ａ２、Ａ３が得られる期間以外の受光光量）に比例する電荷が集積され、受光光量Ａ２に対応した電荷を集積する電荷集積部１３には、αＡ２＋β（Ａ０＋Ａ１＋Ａ３）＋βＡｘに比例する電荷が集積される。上述したように、位相差ψを求める際には（Ａ２−Ａ０）を求めており、（Ａ２−Ａ０）に相当する値を電荷集積部１３に集積した電荷から求めると（α−β）（Ａ２−Ａ０）になり、同様にして（Ａ１−Ａ３）に相当する値は（α−β）（Ａ１−Ａ３）になるから、（Ａ２−Ａ０）／（Ａ１−Ａ３）は電荷の混入の有無によらず理論上は同じ値になるのであって、電荷が混入しても求める位相差ψは同じ値になる。
【００６５】
上述した構成例では、ＣＣＤイメージセンサを光検出素子１に用い、電荷集積部１３に通過させる電荷の量と、電荷廃棄部１２ｃに廃棄する電荷の量との少なくとも一方を制御することにより感度制御部１２を構成する例を示したが、以下に示す感度制御部１２は、感光部１１において利用できる電荷を生成する領域の面積（実質的な受光面積）を変化させるものである。
【００６６】
以下に光検出素子１の具体的構造例を説明する。図１７に示す光検出素子１は、複数個（たとえば、１００×１００個）の感光部１１をマトリクス状に配列したものであって、たとえば１枚の半導体基板上に形成される。１個の感光部１１は不純物を添加した半導体層２１に酸化膜からなる絶縁膜２２を介して複数個（図では５個）の制御電極２３を配列した構成を有する。図示例では電極が並ぶ方向（左右方向）が垂直方向であり、感光部１１で生成した電荷（本実施形態では、電子を用いる）を取り出す際には、垂直転送レジスタにより電荷を垂直方向に転送した後、水平転送レジスタを用いて水平方向に転送される。つまり、垂直転送レジスタと水平転送レジスタとにより電荷取出部１４が構成される。垂直転送レジスタおよび水平転送レジスタの構成には、ＣＣＤイメージセンサにおけるインターライントランスファ（ＩＴ）方式、フレームトランスファ（ＦＴ）方式、フレームインターライントランスファ（ＦＩＴ）方式と同様の構成を採用することができる。
【００６７】
すなわち、垂直方向に並ぶ各感光部１１が一体に連続する半導体層２１を共用するとともに半導体層２１を垂直転送レジスタに用いれば、半導体層２１が感光部１１と電荷の転送経路とに兼用された構造になり、ＦＴ方式のＣＣＤイメージセンサと同様にして電荷を垂直方向に転送することができ、また、感光部１１から転送ゲートを介して垂直転送レジスタに電荷を転送すれば、ＩＴ方式またはＦＩＴ方式のＣＣＤイメージセンサと同様にして電荷を転送することができる。
【００６８】
上述のように、半導体層２１は不純物が添加してあり、半導体層２１の主表面は酸化膜からなる絶縁膜２２により覆われ、半導体層２１に絶縁膜２２を介して複数個の制御電極２３を配置している。この光検出素子１はＭＩＳ素子として知られた構造であるが、１個の光検出素子１として機能する領域に複数個（図示例では５個）の制御電極２３を備える点が通常のＭＩＳ素子とは異なる。絶縁膜２２および制御電極２３は発光源２から対象空間に照射される光と同波長の光が透過するように材料が選択され、絶縁膜２２を通して半導体層２１に光が入射すると、半導体層２１の内部に電荷が生成される。図示例の半導体層２１の導電形はｎ形であり、光の照射により生成される電荷として電子ｅを利用する。図１７は１個の感光部１１に対応する領域のみを示したものであり、半導体基板（図示せず）には上述したように図１７の構造を持つ領域が複数個配列されるとともに電荷取出部１４となる構造が設けられる。電荷取出部１４として設ける垂直転送レジスタは、図１７の左右方向に電荷を転送することを想定しているが、図１７の面に直交する方向に電荷を転送する構成を採用することも可能である。また、電荷を図の左右方向に転送する場合には、制御電極２３の左右方向の幅寸法を１μｍ程度に設定するのが望ましい。
【００６９】
この構造の光検出素子１では、制御電極２３に正の制御電圧＋Ｖを印加すると、半導体層２１には制御電極２３に対応する部位に電子ｅを集積するポテンシャル井戸（空乏層）２４が形成される。つまり、半導体層２１にポテンシャル井戸２４を形成するように制御電極２３に制御電圧を印加した状態で光が半導体層２１に照射されると、ポテンシャル井戸２４の近傍で生成された電子ｅの一部はポテンシャル井戸２４に捕獲されてポテンシャル井戸２４に集積され、残りの電子ｅは半導体層２１の深部での再結合により消滅する。また、ポテンシャル井戸２４から離れた場所で生成された電子ｅも半導体層２１の深部での再結合により消滅する。
【００７０】
ポテンシャル井戸２４は制御電圧を印加した制御電極２３に対応する部位に形成されるから、制御電圧を印加する制御電極２３の個数を変化させることによって、半導体層２１の主表面に沿ったポテンシャル井戸２４の面積（言い換えると、受光面において利用できる電荷を生成する領域の面積）を変化させることができる。つまり、制御電圧を印加する制御電極２３の個数を変化させることは感度制御部１２における感度の調節を意味する。たとえば、図１７（ａ）のように３個の制御電極２３に制御電圧＋Ｖを印加する場合と、図１７（ｂ）のように１個の制御電極２３に制御電圧＋Ｖを印加する場合とでは、ポテンシャル井戸２４が受光面に占める面積が変化するのであって、図１７（ａ）の状態のほうがポテンシャル井戸２４の面積が大きいから、図１７（ｂ）の状態に比較して同光量に対して利用できる電荷の割合が多くなり、実質的に感光部１１の感度を高めたことになる。このように、感光部１１および感度制御部１２は半導体層２１と絶縁膜２２と制御電極２３とにより構成されていると言える。ポテンシャル井戸２４は光照射により生成された電荷を保持するから電荷集積部１３として機能する。
【００７１】
上述したように、ポテンシャル井戸２４から電荷を取り出すには、ＣＣＤイメージセンサと同様の技術を採用する。たとえば感光部１１を垂直転送レジスタとして用いる場合は、ポテンシャル井戸２４に電子ｅが集積された後に、電荷の集積時とは異なる印加パターンの制御電圧を制御電極２３に印加することによってポテンシャル井戸２４に集積された電子ｅを一方向（たとえば、図の右方向）に転送することができる。あるいはまた、感光部１１とは別に設けた垂直転送レジスタに転送ゲートを介して感光部１１から電荷を転送する構成を採用することもできる。垂直転送レジスタからは水平転送レジスタに電荷を引き渡し、水平転送レジスタを転送された電荷は、半導体基板に設けた図示しない電極から光検出素子１の外部に取り出される。
【００７２】
図１７に示す構成における感度制御部１２は、利用できる電荷を生成する面積を大小２段階に切り換えることにより感光部１１の感度を高低２段階に切り換えるのであって、受光光量Ａ０、Ａ１、Ａ２、Ａ３のいずれかに対応する電荷を感光部１１で生成しようとする期間にのみ高感度とし（電荷を生成する面積を大きくし）、他の期間には低感度にする。高感度にする期間と低感度にする期間とは、発光源２を駆動する変調信号に同期させて設定される。具体的には、変調信号に同期する特定の区間（特定位相の区間）において、電荷を生成する面積を大きくして感光部１１で生成した電荷を集積し、上記特定区間以外の他の区間において、電荷を生成する面積を小さくして感光部１１で生成した電荷を蓄積する。すなわち、感光部１１において、電荷を集積する機能と蓄積する機能とが交互に実現される。ここで、集積とは電荷を集めることを意味し、蓄積とは電荷を保持することを意味する。言い換えると、図１７に示す構成では、感光部１１に設けた電荷集積部１３の大きさ（面積）を変化させることにより、電荷を集積する期間には感光部１１で生成された電荷の集積率を大きくし、電荷を蓄積する期間には感光部１１で生成された電荷の集積率を小さくするのである。
【００７３】
また、変調信号の複数周期に亘ってポテンシャル井戸２４に電荷を集積した後に電荷取出部１４を通して光検出素子１の外部に電荷を取り出すようにしている。変調信号の複数周期に亘って電荷を集積しているのは、変調信号の１周期内では感光部１１が利用可能な電荷を生成する期間が短く（たとえば、変調信号の周波数を２０ＭＨｚとすれば５０ｎｓの４分の１以下）、生成される電荷が少ないからである。つまり、変調信号の複数周期分の電荷を集積することにより、信号電荷（発光源２から照射された光に対応する電荷）と不要電荷（主に外光成分および光検出素子１の内部で発生するショットノイズに対応する電荷）との比を大きくとることができ、大きなＳＮ比が得られる。
【００７４】
ところで、位相差ψを求めるのに必要な４区間の受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を１個の感光部１１で生成するとすれば、視線方向に関する分解能は高くなるが、各受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を求める時間差が大きくなるという問題が生じる。一方、各受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を４個の感光部１１でそれぞれ生成するとすれば、各受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を求める時間差は小さくなるが、４区間の電荷を求める視線方向にずれが生じ視線方向に関する分解能は低下する。そこで、２個の感光部１１を用いることにより、変調信号の１周期内で受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を２種類ずつ生成する構成を採用してもよい。つまり、２個の感光部１１を組にして用い、組になる２個の感光部１１に同じ視線方向からの光が入射するようにしてもよい。
【００７５】
この構成を採用することにより、視線方向の分解能を比較的高くし、かつ受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を生成する時間差を少なくすることができる。つまり、受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を生成する時間差を少なくしていることにより、対象空間の中で移動している対象物Ｏｂについても距離の検出精度を比較的高く保つことができる。なお、この構成では、１個の感光部１１で４種類の受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を生成する場合よりも視線方向の分解能が低下するが、視線方向の分解能については感光部１１の小型化や受光光学系１９の設計によって向上させることが可能である。
【００７６】
以下に動作を具体的に説明する。図１７に示した例では、１個の感光部１１について５個の制御電極２３を設けた例を示しているが、両側の２個の制御電極２３は、感光部１１で電荷（電子ｅ）を生成している間に隣接する感光部１１に電荷が流出するのを防止するための障壁を形成するものであって、２個の感光部１１を組にして用いる場合には隣接する感光部１１のポテンシャル井戸２４の間には、いずれかの感光部１１で障壁が形成されるから、各感光部１１には３個ずつの制御電極２３を設けるだけで足りることになる。この構成によって、感光部１１の１個当たりの占有面積が小さくなり、２個の感光部１１を組にして用いながらも視線方向の分解能の低下を抑制することが可能になる。
【００７７】
なお、上述した距離画像センサ１０の構成例では、受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する４区間を変調信号の１周期内で位相の間隔が９０度ずつになるように設定しているが、変調信号に対する位相が既知であれば４区間は９０度以外の適宜の間隔で設定することが可能である。ただし、間隔が異なれば位相差ψを求める算式は異なる。また、４区間の受光光量に対応した電荷を取り出す周期は、対象物Ｏｂの反射率および外光成分が変化せず、かつ位相差ψも変化しない時間内であれば、変調信号の１周期内で４区間の信号電荷を取り出すことも必須ではない。さらに、太陽光や照明光のような外乱光の影響があるときには、発光源２から放射される光の波長のみを透過させる光学フィルタを感光部１１の前に配置するのが望ましい。
【００７８】
次に上述の距離画像センサ１０を用いた人体検知装置の全体構成について説明する。本実施形態の人体検知装置は、図１に示すように上述の距離画像センサ１０と、人体検知部２０とを備えている。
【００７９】
距離画像センサ１０は、図２（ａ）に示すように対象領域３０の上方に設置されており、対象領域３０を上方から撮像する。すなわち、発光源２は下方の対象領域３０に対して照射光を照射しており、制御回路部３によって発光源２からの照射光の強度が周期的に変化するように変調されるので、画像生成部４によって、発光源２からの照射光が対象領域３０内の物体で反射されて感光部１１で受光されるまでの光の位相差を物体までの距離に換算した距離値を画素値とする距離画像が生成される。尚、本実施形態ではＴＯＦ法により距離画像を得る距離画像センサ１０を用いているが、互いに異なる方向から対象領域を撮影する複数台のカメラを設置し、各カメラで撮影された複数の画像から、三角測量の原理を用いて、所定の測定点から対象領域内の物体までの距離値を画素値とする距離画像を作成するようにしても良い。
【００８０】
人体検知部２０は、距離画像センサ１０により撮像された距離画像を用い、後述の人体検知方法を実行することで、対象領域３０内の人体を検知するコンピュータからなり、以下にその人体検知方法を図面に基づいて説明する。ここでは、図２（ａ）に示すように対象領域３０内に大人５０と子供５１が１人ずついる場合について説明する。
【００８１】
人体検知部２０は、画像生成部４から距離画像の画像データが入力されると、距離画像を構成する複数の画素から、画素値が閾値以下となる画素領域を抽出する領域抽出処理を、上記の閾値を画素値が最短の画素（以下、最短画素と言う。）の画素値から段階的に伸ばして複数回行う。例えば図３（ａ）に示すように上記の閾値を最短画素の画素値Ｌ１からＬ２、Ｌ３、Ｌ４、Ｌ５と段階的に伸ばした場合、距離画像センサ１０から大人５０の頭部までの距離になるので、距離値が閾値Ｌ１〜Ｌ５以下となる画素領域Ａ１〜Ａ５はそれぞれ略円形の領域となる（図３（ｂ）参照）。なお、図３（ｂ）中の曲線（画素値が閾値となる画素を結んでできる等高線）で囲まれた領域がそれぞれ画素領域Ａ１〜Ａ５となり、他の図でも同様である。また上記の閾値をＬ６、Ｌ７に伸ばした場合、距離画像センサ１０から大人５０の肩付近までの距離になるので、距離値が閾値Ｌ６，Ｌ７以下となる画素領域Ａ６、Ａ７は略楕円形の領域となる。一方、子供５１は大人５０に比べて背が低いので、図４（ａ）に示すように上記の閾値をＬ１１（＞Ｌ７）、Ｌ１２、Ｌ１３まで段階的に伸ばすと、距離画像センサ１０から子供５１の頭部までの距離となり、距離値が閾値Ｌ１１、Ｌ１２、Ｌ１３以下となる画素領域Ａ１１、Ａ１２，Ａ１３は略円形の領域となる（図４（ｂ）参照）。さらに上記の閾値をＬ１４、Ｌ１５まで段階的に伸ばすと、距離画像センサ１０から子供５１の肩付近までの距離になるので、距離値が閾値Ｌ１４，Ｌ１５以下となる画素領域Ａ１４、Ａ１５は略楕円形の領域となる。
【００８２】
ここで図２（ｂ）は、距離画像Ｇ１を構成する複数の画素から、画素値が閾値以下となる画素領域を抽出する領域抽出処理を、上記の閾値Ｌ１〜Ｌ７、Ｌ１１〜Ｌ１５に段階的に伸ばして複数回行った結果を示しており、大人５０および子供５１にそれぞれ対応する画素領域Ａ１〜Ａ７、Ａ１１〜Ａ１５が抽出される。なお、子供５１の頭部は大人５０よりも小さく、また肩幅も狭いので、子供５１の頭部に対応する画素領域Ａ１３は大人５０の頭部の画素領域Ａ５よりも狭く、また子供５１の肩部に対応する画素領域Ａ１５も大人５０の肩部の画素領域Ａ７よりも狭くなっている。また上方に設置された距離画像センサ１０から、略真下にいる大人５０と子供５１を撮影した場合、頭部の水平断面が最大となる高さ位置よりも下側の頭部は距離画像に現れなくなる。同様に大人５０および子供５１の胴体部分では、胴体の水平断面が最大となる高さ位置よりも下側の胴体部は距離画像に現れなくなる。
【００８３】
人体検知部２０は、上述のように閾値を段階的に伸ばして領域抽出処理を繰り返し行うのであるが、閾値を伸ばして領域抽出処理を行う毎に、新たに抽出された画素領域が、既に抽出されている画素領域と部分的に重複するか否かを判断し、部分的に重複する画素領域があれば、これらの画素領域が同一の物体を示していると判断して、重複する複数の画素領域の全体に同一の識別子を割り当てる識別子割当処理を実行する。
【００８４】
例えば画素値が上記の閾値Ｌ１以下となる画素領域を抽出した段階では、画素領域が１つだけなので、この画素領域Ａ１に対して個別の識別子ＬＢ１を割り当てる。図５（ｂ）は識別子ＬＢ１が割り当てられた画素領域を示しており、識別子ＬＢ１を割り当てた画素領域にはハッチングを施してある。その後、閾値をＬ３まで伸ばして画素領域Ａ３を抽出すると、新たに抽出した画素領域Ａ３に、前回までの抽出処理で抽出された画素領域Ａ１，Ａ２が包含されているので、複数の画素領域Ａ１〜Ａ３の全体に同一の識別子ＬＢ１を割り当てる（図６（ａ）参照）。つまり識別子ＬＢ１を割り当てた画素領域に新たに画素領域Ａ３を追加する。さらに、閾値をＬ４まで伸ばして画素領域Ａ４を抽出すると、新たに抽出した画素領域Ａ４に、既に抽出された画素領域Ａ１〜Ａ３が全て包含されているので、複数の画素領域Ａ１〜Ａ４の全体に同一の識別子ＬＢ１を割り当てる（図６（ｂ）参照）。
【００８５】
なお、対象領域３０内の人物が直立列姿勢を保っている場合は、距離画像センサ１０に近い側から順番に複数の画素領域Ａ１…を抽出すると、距離画像センサ１０からの距離値が少し遠い画素領域に、距離値がより短い画素領域が包含されるのであるが、図６（ｃ）（ｄ）に示すように対象領域３０内の人物が前傾姿勢をとっている場合は距離値が少し遠い画素領域に、距離値がより短い画素領域が包含されず、部分的に重複するだけの場合がある。すなわち、画素値が閾値となる画素を結んでできる等高線が途切れてしまう場合がある。
【００８６】
すなわち、対象領域３０内の人物が前傾姿勢をとっている場合に、距離画像センサ１０に近い側から順番に複数の画素領域を抽出すると、人体の頭部に対応する画素領域Ａ１〜Ａ５では、距離値が少し遠い画素領域に、距離値がより短い画素領域が包含されるので、図６（ｃ）に示すように閾値をＬ５まで伸ばして画素領域Ａ５を抽出した段階では、人体検知部２０は、画素領域Ａ５に包含される画素領域Ａ１〜Ａ４を同一の物体と判断し、これらの画素領域Ａ１〜Ａ５の全体、すなわち画素領域Ａ５に識別子ＬＢ１を割り当てる。
【００８７】
一方、人体の肩付近に対応する画素領域Ａ６、Ａ７では、この人物が前傾姿勢を保っているために、距離値が少し遠い画素領域に、距離値がより短い画素領域が包含されなくなって、部分的に重複するだけなので、図６（ｄ）に示すように閾値をＬ６まで伸ばして画素領域Ａ６を抽出した段階では、人体検知部２０は、部分的に重複する画素領域Ａ５、Ａ６の全体を同一の物体と判断し、これらの画素領域Ａ１〜Ａ６の全体、すなわち画素領域Ａ５、Ａ６の和集合に識別子ＬＢ１を割り当てる。
【００８８】
そして、人体検知部２０では、同一の識別子を割り当てた画素領域の画素数が、人体の大きさに相当する画素数を超えるという判定条件Ｚ１が成立すると、上述の領域抽出処理と識別子割当処理を終了し、同一の識別子が割り当てられた画素領域を人体として抽出する。図８（ａ）は上記の判定条件Ｚ１が成立した状態を示しており、人体検知部２０は上述の領域抽出処理と識別子割当処理とを実行した結果、大人５０に対応する画素領域Ａ１…に識別子ＬＢ１を割り当て、子供５１に対応する画素領域Ａ１１…には別個の識別子ＬＢ２を割り当てたものとする。そして、人体検知部２０では、識別子ＬＢ１を割り当てた画素領域Ａ１…の画素数が所定の画素数を超えると、この識別子ＬＢ１の画素領域について領域抽出処理および識別子割当処理を終了し、識別子ＬＢ１が割り当てられた画素領域Ａ１〜Ａ５を人体として抽出する。また人体検知部２０では、識別子ＬＢ２を割り当てた画素領域Ａ１１…の画素数が所定の画素数を超えると、この識別子ＬＢ２の画素領域について領域抽出処理および識別子割当処理を終了し、識別子ＬＢ２が割り当てられた画素領域Ａ１１〜Ａ１４を人体として抽出する。なお、大人５０に比べて子供５１は体格が小さいので、大人５０の場合は頭部に対応する画素領域Ａ１〜Ａ５を抽出した段階で判定条件Ｚ１が成立するが、子供５１の場合は頭部に加えて肩に対応する画素領域Ａ１１〜Ａ１４を抽出した段階で判定条件Ｚ１が成立する。
【００８９】
このように本実施形態では、距離画像センサ１０に近い側から順番に画素領域を抽出し、新たに抽出した画素領域が、既に抽出された画素領域と重複する場合は、重複する複数の画素領域を同一の物体と判断して、これらの画素領域の全体に同一の識別子を付与しており、同一の識別子を付与した画素領域の画素数が人体の大きさに相当する画素数を超えるという判定条件Ｚ１が成立すれば、同一の識別子を付与した画素領域を人体として抽出しているので、従来の人体検知方法のように等高線が閉じないような場合でも確実に人体を検知できる。また判定条件Ｚ１が成立した段階で、その識別子を割り当てた画素領域について、領域抽出処理および識別子付与処理を終了しているので、閾値を床面まで伸ばして画素領域を抽出する場合に比べて、人の存在を短時間で検知することができ、また識別子を付与した画素領域を記憶させるメモリの容量も小さくて済むという利点がある。
【００９０】
なお、本実施形態では距離画像センサ１０を上方に設置して、下方の対象領域３０を撮像しているが、対象領域３０の側方に取り付けて、対象領域３０内の人物を横方向から撮影しても良いし、距離画像センサ１０を天井の隅に設置して、対象領域３０内の人物を斜め上方から撮影するようにしても良く、このようにして撮影された距離画像を用いても、上述の人体検知方法により対象領域３０内の人体を検知することが可能である。
【００９１】
また、本実施形態の人体検知部２０では、同一の識別子を割り当てた画素領域の画素数が、人体の大きさに相当する画素数を超えるという判定条件Ｚ１を用いているが、この判定条件Ｚ１の代わりに、上記閾値を、最短画素の画素値から一定距離まで伸ばした場合に、同一の識別子を割り当てた複数の画素領域が単峰状の物体となるという判定条件Ｚ２が成立すれば、領域抽出処理および識別子割当処理を終了し、同一の識別子が割り当てられた画素領域を人体と抽出するようにしても良い。
【００９２】
ここで、人体検知部２０が、大人５０に対応する画素領域Ａ１…に識別子ＬＢ１を割り当て、子供５１に対応する画素領域Ａ１１…には別個の識別子ＬＢ２を割り当てたものとする。そして、人体検知部２０が、上記の閾値を最短画素の画素値から一定距離（例えば１０ｃｍ）まで伸ばした場合、識別子ＬＢ１が割り当てられた画素領域は領域Ａ１〜Ａ３となり、識別子ＬＢ２が割り当てられた画素領域は領域Ａ１１〜Ａ１３となる（図８（ｂ）参照）。上記の一定距離を人間の頭部の長さよりも短い距離（例えば１０ｃｍ）に設定した場合、識別子ＬＢ１が割り当てられた画素領域Ａ１〜Ａ３、および、識別子ＬＢ２が割り当てられた画素領域Ａ１１〜Ａ１３が人間の頭部であれば、これらの画素領域Ａ１〜Ａ３、Ａ１１〜Ａ１３は共に単峰状の物体となる。したがって、上記の閾値を一定距離まで伸ばした時に同一の識別子が割り当てられた画素領域の全体が単峰状の物体となっていれば、人体検知部２０は同一の識別子が割り当てられた画素領域を人体と判断して、抽出することが可能になる。この判定条件Ｚ２を用いた場合は、対象領域内の人物の背丈が異なる場合でも、人間の頭部の形状を検出することで、人体を確実に検出することが可能になる。また判定条件Ｚ２が成立した段階で、その識別子を割り当てた画素領域について、領域抽出処理および識別子付与処理を終了しているので、閾値を床面まで伸ばして画素領域を抽出する場合に比べて、人の存在を短時間で検知することができ、また識別子を付与した画素領域を記憶させるメモリの容量も小さくて済むという利点がある。なお判定条件Ｚ２に加えて、上述の判定条件Ｚ１が両方共に成立すれば、領域抽出処理および識別子割当処理を終了し、同一の識別子が割り当てられた画素領域を人体と抽出するようにしても良く、人体よりも小さい大きさのものを誤検出することがなく、より確実に人体を抽出できる。
【００９３】
また、人体検知部２０が、上述の判定条件Ｚ１の代わりに、同一の識別子を割り当てた複数の画素領域の内、新たに抽出した画素領域中の画素で、既に抽出した画素領域の画素と重複していない画素の画素数が所定のしきい値以下になるという判定条件Ｚ３が成立すれば、領域抽出処理および識別子割当処理を終了し、同一の識別子が割り当てられた画素領域を人体と抽出するようにしても良い。
【００９４】
ここで、人体検知部２０が、大人５０に対応する画素領域Ａ１…に識別子ＬＢ１を割り当て、子供５１に対応する画素領域Ａ１１…には別個の識別子ＬＢ２を割り当てたものとする。大人５０の場合は頭頂部から閾値Ｌ４付近までは、識別子ＬＢ１を割り当てた画素領域に新たな画素領域が追加される毎に、この画素領域の画素数が大きく増加するものの、頭部の水平断面が最大となる高さ位置に近付くにつれて水平断面の増加分が減少してくるため、閾値をＬ４からＬ６の間で変化させても、識別子ＬＢ１を割り当てた画素領域の画素数は殆ど増加しなくなる。同様に子供５１の場合も、頭頂部から閾値Ａ１２付近までは、識別子ＬＢ２を割り当てた画素領域に新たな画素領域が追加される毎に、この画素領域の画素数が大きく増加するものの、頭部の水平断面が最大となる高さ位置に近付くにつれて水平断面の増加分が減少してくるため、閾値をＬ１２からＬ１４の間で変化させても、識別子ＬＢ２を割り当てた画素領域の画素数は殆ど増加しなくなる。
【００９５】
したがって、図８（ｃ）に示すように大人５０の場合には、閾値をＬ１、Ｌ２…Ｌ５と伸ばして識別子ＬＢ１が割り当てられた画素領域Ａ１〜Ａ５を抽出した段階で、新たに抽出された画素領域Ａ５中の画素で、既に抽出した画素領域Ａ１〜Ａ４の画素と重複していない画素の画素数が所定のしきい値以下になるという判定条件Ｚ３が成立するので、人体検知部２０では、この判定条件Ｚ３の成立により頭部の形状を安定に抽出できたと判断し、識別子ＬＢ１が割り当てられた画素領域Ａ１〜Ａ５を人体と判断する。同様に子供５１の場合には、閾値をＬ１１、Ｌ１２、Ｌ１３と伸ばして識別子ＬＢ２が割り当てられた画素領域Ａ１１〜Ａ１３を抽出した段階で、新たに抽出された画素領域Ａ１３中の画素で、既に抽出した画素領域Ａ１１、Ａ１２の画素と重複していない画素の画素数が所定のしきい値以下になるという判定条件Ｚ３が成立するので、人体検知部２０では、この判定条件Ｚ３の成立により頭部の形状を安定に抽出できたと判断し、識別子ＬＢ２が割り当てられた画素領域Ａ１１〜Ａ１３を人体と判断して抽出することが可能になる。この判定条件Ｚ３を用いた場合でも、人体の頭部の形状を検出することで人体と判断しているので、確実に人体を検知することが可能になる。また判定条件Ｚ３が成立した段階で、その識別子を割り当てた画素領域について、領域抽出処理および識別子付与処理を終了しているので、閾値を床面まで伸ばして画素領域を抽出する場合に比べて、人の存在を短時間で検知することができ、また識別子を付与した画素領域を記憶させるメモリの容量も小さくて済むという利点がある。
【００９６】
なお人体検知部２０が、同一の識別子を割り当てた画素領域の画素数が人体の大きさに相当する画素数を超えるという判定条件Ｚ１と、同一の識別子を割り当てた複数の画素領域の内、新たに抽出した画素領域中の画素で、既に抽出した画素領域の画素と重複していない画素の画素数が所定のしきい値以下になるという判定条件Ｚ３が両方共に成立すれば、領域抽出処理および識別子割当処理を終了して、同一の識別子が割り当てられた画素領域を人体と抽出するようにしても良く、この場合には図８（ｄ）に示すように、人体検知部２０が、肩部分まで抽出した段階で、識別子ＬＢ１、ＬＢ２を割り当てた画素領域を人体と判断する。
【００９７】
また更に、人体検知部２０は、上述の判定条件Ｚ１の代わりに、同一の識別子を割り当てた複数の画素領域の内、新たに抽出した画素領域に、既に抽出された画素領域が包含される場合に、新たに抽出した画素領域において、既に抽出された画素領域の外側にある帯状部分の幅の平均値が所定のしきい値以下になるという判定条件Ｚ４が成立すれば、領域抽出処理および識別子割当処理を終了し、同一の識別子が割り当てられた画素領域を人体と抽出するようにしても良い。
【００９８】
人体検知部２０は、閾値を段階的に伸ばして、画素値が閾値以下となる画素領域を抽出する領域抽出処理を行うとともに、部分的に重複する画素領域を同一の物体と判断して、重複する画素領域の全体に同一の識別子を割り付ける識別子割付処理を実行するのであるが、対象領域３０内の人体が直立している場合は、同一の識別子が割り当てられる複数の画素領域の内、先に抽出された画素領域は、閾値を少し遠くして抽出した画素領域に包含されることになる。特に人体の頭部では同一の識別子を割り当てた複数の画素領域が同心円状になっている。また、頭頂部から頭部の水平断面が最大となる高さ位置に近付くにつれて水平断面の増加分が減少してくるため、同一の識別子が割り当てられた複数の画素領域の内、新たに抽出された画素領域において、既に抽出された画素領域の外側にある帯状部分の幅の平均値が所定のしきい値以下になるという判定条件Ｚ４が成立すれば、頭部の形状を確実に検出できたと判断でき、同一の識別子が割り当てられた画素領域を人体として抽出するのである。
【００９９】
ここで、同一の識別子が割り当てられた複数の画素領域の内、新たに抽出された画素領域において、既に抽出された画素領域の外側にある帯状部分の幅は以下のような方法で測定できる。図７に示すように、人体検知部２０は一番最初に検出した画素領域Ａ１の重心位置Ｏを通って、互いに直交する２つの直線ＰＱ、ＲＳを規定する。次に、人体検知部２０は、上記の帯状部分（例えば画素領域Ａ５から画素領域Ａ４を除いた部分）と線分ＯＰとが交差する２つの点Ｔ１、Ｔ２を求めて、２点Ｔ１，Ｔ２間の距離を求めるとともに、上記の帯状部分と他の３つの線分ＯＱ、ＯＲ、ＯＳとがそれぞれ交差する６つの点Ｔ３〜Ｔ８を求め、２点Ｔ３、Ｔ４間、Ｔ５，Ｔ６間、Ｔ７，Ｔ８間の距離を求め、これら４つの距離の平均を求めることで、上記帯状部分の幅の平均値を簡易的に求めることができる。而して、この判定条件Ｚ４を用いた場合でも、人体の頭部の形状を検出することで人体と判断しているので、人体を確実に検知することができる。また判定条件Ｚ４が成立した段階で、その識別子を割り当てた画素領域について、領域抽出処理および識別子付与処理を終了しているので、閾値を床面まで伸ばして画素領域を抽出する場合に比べて、人の存在を短時間で検知することができ、また識別子を付与した画素領域を記憶させるメモリの容量も小さくて済むという利点がある。なお、判定条件Ｚ４に加えて、上述の判定条件Ｚ１が両方共に成立すれば、領域抽出処理および識別子割当処理を終了し、同一の識別子が割り当てられた画素領域を人体と抽出するようにしても良く、人体よりも小さい大きさのものを誤検出することがなく、より確実に人体を抽出できる。
【０１００】
また上述の各検知方法において、人体検知部２０が、領域抽出処理および識別子割当処理を行った後に、同一の識別子を付与した画素領域内の画素の画素値を「１」、それ以外の画素の画素値を「０」とした二値化画像を作成しても良く、峰状物体（人体）と背景部分とを分離した画像を作成することで、その後の峰状物体の抽出処理や容易になり、また峰状物体が複数存在する場合は個々の峰状物体を容易に特定することができる。
【図面の簡単な説明】
【０１０１】
【図１】本発明の実施形態を示すブロック図である。
【図２】（ａ）（ｂ）は同上の検知動作を説明する説明図である。
【図３】（ａ）（ｂ）は大人を検知する場合の説明図である。
【図４】（ａ）（ｂ）は子供を検知する場合の説明図である。
【図５】（ａ）（ｂ）は同上の検知動作を説明する説明図である。
【図６】（ａ）〜（ｄ）は同上の検知動作を説明する説明図である。
【図７】同上の検知動作を説明する説明図である。
【図８】（ａ）〜（ｄ）は同上の検知動作を説明する説明図である。
【図９】（ａ）〜（ｃ）は同上の動作説明図である。
【図１０】同上における感度制御部の構成例を示すブロック図である。
【図１１】（ａ）〜（ｄ）は同上の動作例を示す説明図である。
【図１２】（ａ）〜（ｄ）は同上の他の動作例を示す説明図である。
【図１３】（ａ）〜（ｄ）は同上のさらに他の動作例を示す説明図である。
【図１４】同上に用いる光検出素子の構成例を示す平面図である。
【図１５】図１４に示した光検出素子の要部分解斜視図である。
【図１６】図１５のＡ−Ａ線断面図である。
【図１７】同上に用いる光検出素子の要部の動作説明図である。
【符号の説明】
【０１０２】
１ 光検出素子
２ 発光源
３ 制御回路部
４ 画像生成部
１０ 距離画像センサ
２０ 人体検知部
【技術分野】
【０００１】
本発明は、距離画像を用いた人体検知方法および人体検知装置に関するものである。
【背景技術】
【０００２】
従来より、例えば通路の天井に取り付けて、下方の通路を通行する通行人の有無や人数を検出する人体検知装置が提供されている。
【０００３】
例えば、特許文献１に示される人体検知装置では、撮像手段により検知対象領域を撮像して得た距離画像を基に、撮像手段からの距離が略同じ画素同士を繋いで等高線を作成し、この等高線で囲まれる領域を単峰性の物体（すなわち人体）と判断している。
【特許文献１】特開２００３−５７００７号公報（段落番号［００２１］〜［００２３］、及び、第３図）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、撮像領域に人物が存在したとしても、人物の姿勢によっては、撮像手段からの距離が略等しくなるような画素が存在しない場合もあり、また撮像手段からの距離が略同じ画素が存在したとしても、画素同士を結んでできる等高線が閉じない場合もあるので、上述の人体検知装置では検知対象領域にいる人物を確実に検知できない可能性があった。
【０００５】
本発明は上記問題点に鑑みて為されたものであり、その目的とするところは、検知対象領域にいる人物を確実に検出することが可能な距離画像を用いた人体検知方法および人体検知装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、請求項１の発明は、撮像手段から対象領域内の物体までの距離を画素値とする距離画像を用いて対象領域内の人体を検知する人体検知方法であって、対象領域を撮像することで距離画像を得た後に、該距離画像を構成する複数の画素から、画素値が閾値以下となる画素領域を抽出する領域抽出処理を、前記閾値を画素値が最短の画素の画素値から段階的に伸ばして複数回行う毎に、新たに抽出された画素領域が、既に抽出された画素領域と少なくとも一部が重複する場合、該重複する複数の画素領域を同一の物体と判断して、前記複数の画素領域の全体に同一の識別子を割り当てる識別子割当処理を行い、同一の識別子を割り当てた複数の画素領域の画素数が人体の大きさに相当する画素数を超えるという判定条件が成立すると、前記領域抽出処理および識別子割当処理を終了し、同一の識別子が割り当てられた画素領域を人体として抽出することを特徴とする。
【０００７】
この発明によれば、撮像手段に近い側から順番に画素領域を抽出し、新たに抽出した画素領域が、既に抽出された画素領域と少なくとも一部が重複する場合、これら複数の画素領域を同一の物体と判断して、これらの画素領域の全体に同一の識別子を付与しており、同一の識別子を付与した画素領域の画素数が人体の大きさに相当する画素数を超えるという判定条件が成立すれば、同一の識別子を付与した画素領域を人体として抽出しているので、従来の人体検知方法のように等高線が閉じないような場合でも確実に人体を検知できる。また判定条件が成立した段階で、その識別子を割り当てた画素領域について、領域抽出処理および識別子付与処理を終了しているので、閾値を床面まで伸ばして画素領域を抽出する場合に比べて、人の存在を短時間で検知することができ、また識別子を付与した画素領域を記憶させるメモリの容量も小さくて済むという利点がある。
【０００８】
請求項２の発明は、撮像手段から対象領域内の物体までの距離を画素値とする距離画像を用いて対象領域内の人体を検知する人体検知方法であって、対象領域を撮像することで距離画像を得た後に、該距離画像を構成する複数の画素から、画素値が閾値以下となる画素領域を抽出する領域抽出処理を、前記閾値を画素値が最短の画素の画素値から段階的に伸ばして複数回行う毎に、新たに抽出された画素領域が、既に抽出された画素領域と少なくとも一部が重複する場合、該重複する複数の画素領域を同一の物体と判断して、前記複数の画素領域の全体に同一の識別子を割り当てる識別子割当処理を行い、上記閾値を、画素値が最短の画素の画素値から一定距離まで伸ばした場合に、同一の識別子を割り当てた複数の画素領域が単峰状の物体となるという判定条件が成立すると、前記領域抽出処理および識別子割当処理を終了し、同一の識別子が割り当てられた画素領域を人体として抽出することを特徴とする。
【０００９】
この発明によれば、撮像手段に近い側から順番に画素領域を抽出し、新たに抽出した画素領域が、既に抽出された画素領域と少なくとも一部が重複する場合、これら複数の画素領域を同一の物体と判断して、これらの画素領域の全体に同一の識別子を付与しており、上記の閾値を一定距離まで伸ばした時に同一の識別子が割り当てられた画素領域の全体が単峰状の物体となっていれば、同一の識別子を付与した画素領域を人体として抽出しているので、従来の人体検知方法のように等高線が閉じないような場合でも確実に人体を検知できる。しかも、この判定条件を用いる場合は、対象領域内の人物の背丈が異なる場合でも、人間の頭部の形状を検出することで、人体を確実に検出することが可能になる。また判定条件が成立した段階で、その識別子を割り当てた画素領域について、領域抽出処理および識別子付与処理を終了しているので、閾値を床面まで伸ばして画素領域を抽出する場合に比べて、人の存在を短時間で検知することができ、また識別子を付与した画素領域を記憶させるメモリの容量も小さくて済むという利点がある。
【００１０】
請求項３の発明は、撮像手段から対象領域内の物体までの距離を画素値とする距離画像を用いて対象領域内の人体を検知する人体検知方法であって、対象領域を撮像することで距離画像を得た後に、該距離画像を構成する複数の画素から、画素値が閾値以下となる画素領域を抽出する領域抽出処理を、前記閾値を画素値が最短の画素の画素値から段階的に伸ばして複数回行う毎に、新たに抽出された画素領域が、既に抽出された画素領域と少なくとも一部が重複する場合、該重複する複数の画素領域を同一の物体と判断して、前記複数の画素領域の全体に同一の識別子を割り当てる識別子割当処理を行い、同一の識別子を割り当てた複数の画素領域の内、新たに抽出した画素領域中の画素で、既に抽出した画素領域の画素と重複していない画素の画素数が所定のしきい値以下になるという判定条件が成立すると、前記領域抽出処理および識別子割当処理を終了し、同一の識別子が割り当てられた画素領域を人体として抽出することを特徴とする。
【００１１】
ところで対象領域の人体を上方から撮影した場合、撮像手段に近い側から順番に画素領域を抽出すると、頭部の水平断面が最大となる高さ位置に近付くにつれて、同一の識別子を割り当てた画素領域の追加分が少なくなる。請求項３の発明によれば、新たに抽出された画素領域中の画素で、既に抽出した画素領域の画素と重複していない画素の画素数が所定のしきい値以下になるという判定条件が成立すれば、人体の頭部の形状を検出できたと判断でき、頭部の形状を検出することによって人体を確実に検知することが可能になり、且つ、従来の人体検知方法のように等高線が閉じないような場合でも確実に人体を検知できる。また判定条件が成立した段階で、その識別子を割り当てた画素領域について、領域抽出処理および識別子付与処理を終了しているので、閾値を床面まで伸ばして画素領域を抽出する場合に比べて、人の存在を短時間で検知することができ、また識別子を付与した画素領域を記憶させるメモリの容量も小さくて済むという利点がある。
【００１２】
請求項４の発明は、撮像手段から対象領域内の物体までの距離を画素値とする距離画像を用いて対象領域内の人体を検知する人体検知方法であって、対象領域を撮像することで距離画像を得た後に、該距離画像を構成する複数の画素から、画素値が閾値以下となる画素領域を抽出する領域抽出処理を、前記閾値を画素値が最短の画素の画素値から段階的に伸ばして複数回行う毎に、新たに抽出された画素領域が、既に抽出された画素領域と少なくとも一部が重複する場合、該複数の画素領域を同一の物体と判断して、前記複数の画素領域の全体に同一の識別子を割り当てる識別子割当処理を行い、同一の識別子を割り当てた複数の画素領域の内、新たに抽出した画素領域に、既に抽出された画素領域が包含される場合に、新たに抽出した画素領域において、既に抽出された画素領域の外側にある帯状部分の幅の平均値が所定のしきい値以下になるという判定条件が成立すると、前記領域抽出処理および識別子割当処理を終了し、同一の識別子が割り当てられた画素領域を人体として抽出することを特徴とする。
【００１３】
ここで、対象領域の人体を上方から撮影した場合、撮像手段に近い側から順番に画素領域を抽出すると、頭部の水平断面が最大となる高さ位置に近付くにつれて、同一の識別子を割り当てた画素領域の追加分が少なくなる。請求項４の発明によれば、同一の識別子を割り当てた複数の画素領域の内、新たに抽出した画素領域に、既に抽出された画素領域が包含される場合に、新たに抽出した画素領域において、既に抽出された画素領域の外側にある帯状部分の幅の平均値が所定のしきい値以下になるという判定条件が成立すれば、人体の頭部の形状を検出できたと判断でき、頭部の形状を検出することによって人体を確実に検知することが可能になり、且つ、従来の人体検知方法のように等高線が閉じないような場合でも確実に人体を検知できる。また判定条件が成立した段階で、その識別子を割り当てた画素領域について、領域抽出処理および識別子付与処理を終了しているので、閾値を床面まで伸ばして画素領域を抽出する場合に比べて、人の存在を短時間で検知することができ、また識別子を付与した画素領域を記憶させるメモリの容量も小さくて済むという利点がある。
【００１４】
請求項５の発明は、請求項２乃至請求項４の何れか１項に記載の距離画像を用いた人体検知方法であって、上記判定条件と、同一の識別子を割り当てた複数の画素領域の画素数が人体の大きさに相当する画素数を超えるという判定条件とが両方共に成立すると、前記領域抽出処理および識別子割当処理を終了し、同一の識別子が割り当てられた画素領域を人体として抽出することを特徴とする。
【００１５】
この発明によれば、請求項２乃至請求項４の何れかの人体検知方法において、同一の識別子を割り当てた複数の画素領域の画素数が人体の大きさに相当する画素数を超えるという判定条件が共に成立した場合のみ、同一の識別子が割り当てられた画素領域を人体として抽出するので、人体よりも大きさが小さいものを誤検出するのを防止できる。
【００１６】
請求項６の発明は、請求項１乃至請求項５の何れか１項に記載の発明において、上記距離画像を構成する複数の画素の内、同一の識別子が割り当てられた画素領域の画素と、それ以外の画素とを２値化することを特徴とする。
【００１７】
この発明によれば、距離画像を構成する画素を、同一の識別子が割り当てられた画素領域の画素と、それ以外の画素とに二値化しているので、人体に対応する画素領域を抽出する処理や、その画素領域を特定する処理が容易に行える。
【００１８】
請求項７の発明は人体検知装置であって、撮像手段により撮像された距離画像を用い、請求項１乃至請求項６の何れか１項に記載の人体検知方法を実行することで、対象領域内の人体を検知する人体検知手段を具備する。
【００１９】
この発明によれば、人体を確実に検知でき、且つ、検知時間を短くした人体検知装置を実現できる。
【発明の効果】
【００２０】
請求項１の発明によれば、撮像手段に近い側から順番に画素領域を抽出し、新たに抽出した画素領域が、既に抽出された画素領域と少なくとも一部が重複する場合、該重複する複数の画素領域を同一の物体と判断して、これらの画素領域の全体に同一の識別子を付与しており、同一の識別子を付与した画素領域の画素数が人体の大きさに相当する画素数を超えるという判定条件が成立すれば、同一の識別子を付与した画素領域を人体として抽出しているので、従来の人体検知方法のように等高線が閉じないような場合でも確実に人体を検知できる。また判定条件が成立した段階で、その識別子を割り当てた画素領域について、領域抽出処理および識別子付与処理を終了しているので、閾値を床面まで伸ばして画素領域を抽出する場合に比べて、人の存在を短時間で検知することができ、また識別子を付与した画素領域を記憶させるメモリの容量も小さくて済むという利点がある。
【００２１】
請求項２の発明によれば、撮像手段に近い側から順番に画素領域を抽出し、新たに抽出した画素領域が、既に抽出された画素領域と少なくとも一部が重複する場合、該重複する複数の画素領域を同一の物体と判断して、これらの画素領域の全体に同一の識別子を付与しており、上記の閾値を一定距離まで伸ばした時に同一の識別子が割り当てられた画素領域の全体が単峰状の物体となっていれば、同一の識別子を付与した画素領域を人体として抽出しているので、従来の人体検知方法のように等高線が閉じないような場合でも確実に人体を検知できる。しかも、この判定条件を用いる場合は、対象領域内の人物の背丈が異なる場合でも、人間の頭部の形状を検出することで、人体を確実に検出することが可能になる。また判定条件が成立した段階で、その識別子を割り当てた画素領域について、領域抽出処理および識別子付与処理を終了しているので、閾値を床面まで伸ばして画素領域を抽出する場合に比べて、人の存在を短時間で検知することができ、また識別子を付与した画素領域を記憶させるメモリの容量も小さくて済むという利点がある。
【００２２】
ところで、対象領域の人体を上方から撮影した場合、撮像手段に近い側から順番に画素領域を抽出すると、頭部の水平断面が最大となる高さ位置に近付くにつれて、同一の識別子を割り当てた画素領域の追加分が少なくなる。
【００２３】
請求項３の発明によれば、新たに抽出された画素領域中の画素で、既に抽出した画素領域の画素と重複していない画素の画素数が所定のしきい値以下になるという判定条件が成立すれば、人体の頭部の形状を検出できたと判断でき、頭部の形状を検出することによって人体を確実に検知することが可能になり、且つ、従来の人体検知方法のように等高線が閉じないような場合でも確実に人体を検知できる。また判定条件が成立した段階で、その識別子を割り当てた画素領域について、領域抽出処理および識別子付与処理を終了しているので、閾値を床面まで伸ばして画素領域を抽出する場合に比べて、人の存在を短時間で検知することができ、また識別子を付与した画素領域を記憶させるメモリの容量も小さくて済むという利点がある。
【００２４】
また、請求項４の発明によれば、同一の識別子を割り当てた複数の画素領域の内、新たに抽出した画素領域に、既に抽出された画素領域が包含される場合に、新たに抽出した画素領域において、既に抽出された画素領域の外側にある帯状部分の幅の平均値が所定のしきい値以下になるという判定条件が成立すれば、人体の頭部の形状を検出できたと判断でき、頭部の形状を検出することによって人体を確実に検知することが可能になり、且つ、従来の人体検知方法のように等高線が閉じないような場合でも確実に人体を検知できる。また判定条件が成立した段階で、その識別子を割り当てた画素領域について、領域抽出処理および識別子付与処理を終了しているので、閾値を床面まで伸ばして画素領域を抽出する場合に比べて、人の存在を短時間で検知することができ、また識別子を付与した画素領域を記憶させるメモリの容量も小さくて済むという利点がある。
【００２５】
請求項５の発明によれば、請求項２乃至請求項４の何れかの人体検知方法において、同一の識別子を割り当てた複数の画素領域の画素数が人体の大きさに相当する画素数を超えるという判定条件が共に成立した場合のみ、同一の識別子が割り当てられた画素領域を人体として抽出するので、人体よりも大きさが小さいものを誤検出するのを防止できる。
【００２６】
請求項６の発明によれば、距離画像を構成する画素を、同一の識別子が割り当てられた画素領域の画素と、それ以外の画素とに二値化しているので、人体に対応する画素領域を抽出する処理や、その画素領域を特定する処理が容易に行える。
【００２７】
また、請求項７の発明によれば、人体を確実に検知でき、且つ、検知時間を短くした人体検知装置を実現できる。
【発明を実施するための最良の形態】
【００２８】
以下に、本発明に係る距離画像を用いた人体検知方法を実行する人体検知装置の一実施形態を説明するが、先ずこの人体検知装置に用いる距離画像センサの基本構成について図１を参照して説明する。
【００２９】
距離画像センサ１０は、図１に示すように、対象空間に光を照射する発光源２を備えるとともに、対象空間からの光を受光し受光光量を反映した出力値の電気出力が得られる光検出素子１を備える。対象空間に存在する対象物Ｏｂまでの距離は、発光源２から対象空間に光が照射されてから対象物Ｏｂでの反射光が光検出素子１に入射するまでの時間（「飛行時間」と呼ぶ）によって求める。ただし、飛行時間は非常に短いから、対象空間に照射する光の強度が一定周期で周期的に変化するように変調した強度変調光を用い、強度変調光を受光したときの位相を用いて飛行時間を求める。なお、本発明の技術思想は、距離画像センサ１０として、飛行時間により距離画像を生成する構成のほか、三角測量法の原理によって距離画像を生成する構成においても採用可能である。ただし、以下に説明する構成の距離画像センサ１０は、三角測量法の原理を用いる距離画像センサに比較して短時間（ほぼ実時間）で距離画像を生成できるから、三角測量法の原理を採用した距離画像センサよりも好ましい。
【００３０】
図９（ａ）に示すように、発光源２から空間に放射する光の強度が曲線イのように変化し、光検出素子１で受光した受光光量が曲線ロのように変化するとすれば、位相差ψは飛行時間に相当するから、位相差ψを求めることにより対象物Ｏｂまでの距離を求めることができる。また、位相差ψは、曲線イの複数のタイミングで求めた曲線ロの受光光量を用いて計算することができる。たとえば、曲線イにおける位相が０度、９０度、１８０度、２７０度の位相で求めた曲線ロの受光光量がそれぞれＡ０、Ａ１、Ａ２、Ａ３であるとする（受光光量Ａ０、Ａ１、Ａ２、Ａ３を斜線部で示している）。ただし、各位相における受光光量Ａ０、Ａ１、Ａ２、Ａ３は、瞬時値ではなく所定の受光期間Ｔｗで積算した受光光量を用いる。いま、受光光量Ａ０、Ａ１、Ａ２、Ａ３を求める間に、位相差ψが変化せず（つまり、対象物Ｏｂまでの距離が変化せず）、かつ対象物Ｏｂの反射率にも変化がないものとする。また、発光源２から放射する光の強度を正弦波で変調し、時刻ｔにおいて光検出素子１で受光される光の強度がＡ・ｓｉｎ（ωｔ＋δ）＋Ｂで表されるものとする。ここに、Ａは振幅、Ｂは直流成分（外光成分と反射光成分との平均値）、ωは角振動数、δは初期位相である。光検出素子１で受光する受光光量Ａ０、Ａ１、Ａ２、Ａ３を受光期間Ｔｗの積算値ではなく瞬時値とし、変調の周期に同期した時刻ｔ＝ｎ／ｆ（ｎ＝０、１、２、…、ｆは変調の周波数）における受光光量を、Ａ０＝Ａ・ｓｉｎ（δ）＋Ｂとすれば、受光光量Ａ０、Ａ１、Ａ２、Ａ３は、次のように表すことができる。なお、反射光成分とは、発光源２から放射され対象物Ｏｂにより反射された後に光検出素子１に入射する光の成分を意味する。
【００３１】
Ａ０＝Ａ・ｓｉｎ（δ）＋Ｂ
Ａ１＝Ａ・ｓｉｎ（π／２＋δ）＋Ｂ
Ａ２＝Ａ・ｓｉｎ（π＋δ）＋Ｂ
Ａ３＝Ａ・ｓｉｎ（３π／２＋δ）＋Ｂ
図９では位相差がψであるから、光検出素子１の受光光量に関する波形の初期位相δ（時刻ｔ＝０の位相）は−ψになる。つまり、δ＝−ψであるから、Ａ０＝−Ａ・ｓｉｎ（ψ）＋Ｂ、Ａ１＝Ａ・ｃｏｓ（ψ）＋Ｂ、Ａ２＝Ａ・ｓｉｎ（ψ）＋Ｂ、Ａ３＝−Ａ・ｃｏｓ（ψ）＋Ｂであり、結果的に、各受光光量Ａ０、Ａ１、Ａ２、Ａ３と位相差ψとの関係は、次式のようになる。
【００３２】
ψ＝ｔａｎ−１｛（Ａ２−Ａ０）／（Ａ１−Ａ３）｝ …（１）
（１）式では受光光量Ａ０、Ａ１、Ａ２、Ａ３の瞬時値を用いているが、受光光量Ａ０、Ａ１、Ａ２、Ａ３として受光期間Ｔｗにおける積算値を用いても（１）式で位相差ψを求めることができる。
【００３３】
また、光検出素子１で受光される光の強度をＡ・ｃｏｓ（ωｔ＋δ）＋Ｂとする場合、つまり変調の周期に同期した時刻ｔ＝ｎ／ｆ（ｎ＝０、１、２、…）における受光光量を、Ａ０＝Ａ・ｃｏｓ（δ）＋Ｂとすれば、位相差ψを次式で求めることができる。
【００３４】
ψ＝ｔａｎ−１｛（Ａ１−Ａ３）／（Ａ０−Ａ２）｝
この関係は、変調の周期に同期させるタイミングを９０度ずらした関係である。また、距離値の符号は正であるから、位相差ψを求めたときに符号が負になる場合には、ｔａｎ−１の括弧内の分母または分子の各項の順序を入れ換えるか括弧内の絶対値を用いるようにしてもよい。
【００３５】
上述のように対象空間に照射する光の強度を変調するために、発光源２としては、たとえば多数個の発光ダイオードを一平面上に配列したものや半導体レーザと発散レンズとを組み合わせたものなどを用いる。また、発光源２は、制御回路部３から出力される所定の変調周波数である変調信号によって駆動され、発光源２から放射される光は変調信号により強度が変調される。制御回路部３では、たとえば２０ＭＨｚの正弦波で発光源２から放射する光の強度を変調する。なお、発光源２から放射する光の強度は正弦波で変調する以外に、三角波、鋸歯状波などで変調してもよく、要するに、一定周期で強度を変調するのであれば、どのような構成を採用してもよい。
【００３６】
光検出素子１は、規則的に配列された複数個の感光部１１を備える。また、感光部１１への光の入射経路には受光光学系１９が配置される。感光部１１は光検出素子１において対象空間からの光が受光光学系１９を通して入射する部位であって、感光部１１において受光光量に応じた量の電荷を生成する。また、感光部１１は、平面格子の格子点上に配置され、たとえば垂直方向（つまり、縦方向）と水平方向（つまり、横方向）とにそれぞれ等間隔で複数個ずつ並べたマトリクス状に配列される。
【００３７】
受光光学系１９は、光検出素子１から対象空間を見るときの視線方向と各感光部１１とを対応付ける。すなわち、受光光学系１９を通して各感光部１１に光が入射する範囲を、受光光学系１９の中心を頂点とし各感光部１１ごとに設定された頂角の小さい円錐状の視野とみなすことができる。したがって、発光源２から放射され対象空間に存在する対象物Ｏｂで反射された反射光が感光部１１に入射すれば、反射光を受光した感光部１１の位置により、受光光学系１９の光軸を基準方向として対象物Ｏｂの存在する方向を知ることができる。
【００３８】
受光光学系１９は一般に感光部１１を配列した平面に光軸を直交させるように配置されるから、受光光学系１９の中心を原点とし、感光部１１を配列した平面の垂直方向と水平方向と受光光学系１９の光軸とを３軸の方向とする直交座標系を設定すれば、対象空間に存在する対象物Ｏｂの位置を球座標で表したときの角度（いわゆる方位角と仰角）が各感光部１１に対応する。なお、受光光学系１９は、感光部１１を配列した平面に対して光軸が９０度以外の角度で交差するように配置することも可能である。
【００３９】
本実施形態では、上述のように、対象物Ｏｂまでの距離を求めるために、発光源２から対象空間に照射される光の強度変化に同期する４点のタイミングで受光光量Ａ０、Ａ１、Ａ２、Ａ３を求めている。したがって、目的の受光光量Ａ０、Ａ１、Ａ２、Ａ３を得るためのタイミングの制御が必要である。また、発光源２から対象空間に照射される光の強度変化の１周期において感光部１１で発生する電荷の量は少ないから、複数周期に亘って電荷を集積することが望ましい。そこで、図１のように各感光部１１で発生した電荷をそれぞれ集積する複数個の電荷集積部１３を設けるとともに、各感光部１１の感度をそれぞれ調節する複数個の感度制御部１２を設けている。
【００４０】
各感度制御部１２では、感度制御部１２に対応する感光部１１の感度を上述した４点のうちのいずれかのタイミングで高め、感度が高められた感光部１１では当該タイミングの受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を主として生成するから、当該受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を当該感光部１１に対応する電荷集積部１３に集積させることができる。
【００４１】
以下では、感度制御部１２の具体的な構成として、感光部１１で生成された電荷のうち電荷集積部１３に与える電荷の割合を調節する技術と、実質的に感光部１１として機能する部位の面積を変化させる技術とを示す。電荷集積部１３に与える電荷の割合を調節する技術には、感光部１１から電荷集積部１３への通過率を調節する技術と、感光部１１から電荷を廃棄する廃棄率を調節する技術と、通過率と廃棄率との両方を調節する技術とがある。
【００４２】
感度制御部１２において通過率と廃棄率とを調節する技術では、図１０に示すように、感光部１１と電荷集積部１３との間にゲート電極１２ａを設け、ゲート電極１２ａに印加する通過電圧を変化させることにより、感光部１１から電荷集積部１３への電荷の移動（つまり、通過率）を制御する。また、電荷廃棄部１２ｃを設け、電荷廃棄部１２ｃに付設した廃棄電極１２ｂに印加する廃棄電圧を変化させることにより、感光部１１から電荷廃棄部１２ｃへの電荷の移動（つまり、廃棄率）を制御する。電荷集積部１３は感光部１１ごとに一対一に対応するように設けられ、電荷廃棄部１２ｃは複数個の感光部１１に共通させて一対多に対応するように設けられる。図示例では、光検出素子１のすべての感光部１１で１組の廃棄電極１２ｂおよび電荷廃棄部１２ｃを共用している。
【００４３】
感度を制御するために、感光部１１からの電荷の廃棄を行わずに感光部１１から電荷集積部１３への通過率の制御のみを行うことが考えられるが、電荷の廃棄を行わなければ感光部１１において電荷が暫時残留するから、感光部１１で生成された電荷のうち不要な残留電荷が、利用する電荷（以下、信号電荷という）に雑音成分として混入する。したがって、信号電荷への残留電荷の混入を防止するために、ゲート電極１２ａに印加する通過電圧だけでなく廃棄電極１２ｂに印加する廃棄電圧を制御する。
【００４４】
ゲート電極１２ａと廃棄電極１２ｂとを用いて感度を制御するには、ゲート電極１２ａに印加する通過電圧を一定電圧に保つことにより感光部１１で生成された電荷を電荷集積部１３に通過可能としておき、感光部１１で生成された電荷のうち信号電荷に用いる電荷が生成される期間以外には感光部１１から電荷廃棄部１２ｃに電荷が移動するように廃棄電極１２ｂに廃棄電圧を印加する。要するに、感光部１１において信号電荷として用いる電荷が生成される期間にのみ電荷廃棄部１２ｃへの電荷の廃棄を行わず、他の期間には電荷廃棄部１２ｃに電荷を廃棄することにより、信号電荷として用いようとする期間に生成された電荷のみを電荷集積部１３に集積する。
【００４５】
いま、図１１（ａ）のような変調信号により発光源２から空間に照射される光の強度が変調されているとする。電荷集積部１３には変調信号の複数周期（数万〜数十万周期）において変調信号に同期する特定の区間の受光光量Ａ０，Ａ１，Ａ２，Ａ３に相当する電荷を集積し、各区間の電荷の集積毎に集積した信号電荷を取り出して次の区間の電荷を集積する。たとえば、受光光量Ａ０に相当する電荷を変調信号の数万周期について集積すると、この受光光量Ａ０に相当する信号電荷を一旦外部に取り出し、その後、受光光量Ａ１に相当する電荷を変調信号の数万周期について集積する。
【００４６】
図１１は受光光量Ａ０に相当する電荷を集積している状態を示しており、図１１（ｂ）に示すようにゲート電極１２ａに印加する通過電圧を一定電圧に保っている。また、受光光量Ａ０に相当する電荷としては、変調信号の位相が０〜９０度の区間において感光部１１で生成された電荷を採用している。つまり、廃棄電極１２ｂには、図１１（ｃ）のように変調信号の位相が９０〜３６０度の区間において、感光部１１で生成される電荷を不要電荷とするように廃棄電圧を印加する。この制御により、図１１（ｄ）のように所望の区間の受光光量Ａ０に対応した信号電荷を電荷集積部１３に集積することが可能になる。図１１に示す処理は変調信号の数万〜数十万周期について行われ、この期間に電荷集積部１３に得られた信号電荷は受光光量Ａ０に対応する受光出力として電荷取出部１４により取り出される。
【００４７】
電荷取出部１４から取り出された電荷は画像生成部４に画像信号として与えられ、画像生成部４において、対象空間内の対象物Ｏｂまでの距離が、上述した（１）式を用いて受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する受光出力から算出される。すなわち、画像生成部４では各感光部１１に対応した各方向における対象物Ｏｂまでの距離が算出され、対象空間の三次元情報が算出される。この三次元情報を用いると、対象空間の各方向に一致する画素の画素値が距離値である距離画像を生成することができる。
【００４８】
なお、上述の制御では、廃棄電極１２ｂに廃棄電圧を印加している期間においてゲート電極１２ａにも一定電圧である通過電圧を印加しているが、廃棄電圧と通過電圧との大小関係を適宜に設定すれば、不要電荷を廃棄している期間には信号電荷がほとんど集積されないようにすることができる。また、変調信号の数万〜数十万周期について電荷を集積しているのは、集積する電荷量を多くすることによって高感度化するためであり、変調信号をたとえば２０ＭＨｚと設定すれば、３０フレーム／秒で信号電荷を取り出すとしても、数十万周期以上の集積が可能になる。
【００４９】
上述したように、廃棄電極１２ｂを備えた電荷廃棄部１２ｃを設け、感光部１１に生じた電荷のうち信号電荷として利用しない不要電荷を電荷廃棄部１２ｃに積極的に廃棄しているから、感光部１１において電荷集積部１３に信号電荷を与えていない期間に感光部１１で生成される電荷はほとんどが不要電荷として廃棄されることになり、信号電荷への雑音成分の混入が大幅に抑制される。
【００５０】
上述の例では、ゲート電極１２ａに一定電圧である通過電圧を印加している期間に廃棄電極１２ｂに廃棄電圧を印加する期間と印加しない期間とを設けることによって、廃棄電圧が印加されていない期間において感光部１１に生成された電荷を信号電荷として用いているが、図１２に示すように、ゲート電極１２ａに通過電圧を印加する期間と廃棄電極１２ｂに廃棄電圧を印加する期間とが重複しないように制御してもよい。
【００５１】
図１２は受光光量Ａ０に対応する信号電荷を集積する場合の動作を示している。図１２（ａ）は発光源２から空間に照射される光の強度を変調する変調信号を示しており、ゲート電極１２ａには、図１２（ｂ）のように、受光光量Ａ０に対応するタイミングで通過電圧を印加する。ゲート電極１２ａに通過電圧を印加する期間は、変調信号の位相における０度から一定期間（図示例では０〜９０度）に設定され、この期間において感光部１１から電荷集積部１３への電荷の移動が可能になる。一方、廃棄電極１２ｂには、図１２（ｃ）のように、電荷集積部１３に受光光量Ａ０に相当する信号電荷を集積する期間以外において廃棄電圧を印加し、信号電荷を集積する期間以外では感光部１１で生成した電荷を不要電荷として電荷廃棄部１２ｃに廃棄する。このような制御によって、図１２（ｄ）のように受光光量Ａ０に相当する信号電荷を取り出すことが可能になる。
【００５２】
図１２に示す制御では、ゲート電極１２ａに通過電圧を印加している期間と廃棄電極１２ｂに廃棄電圧を印加している期間とが異なるから、図１１に示した制御例のように通過電圧と廃棄電圧との大小関係を考慮しなくとも通過電圧と廃棄電圧との大きさを独立して制御することができ、結果的に通過電圧および廃棄電圧の制御が容易になり、感光部１１で受光した光量に対して信号電荷を取り込む割合である感度の制御が容易になるとともに、感光部１１で生成された電荷のうち不要電荷として廃棄する割合の制御が容易になる。また、図１２に示す制御例では、電荷集積部１３に信号電荷を集積する期間はゲート電極１２ａに印加する通過電圧により規定されるから、廃棄電極１２ｂに廃棄電圧を印加する期間を短縮することが可能であり、たとえば、ゲート電極１２ａに通過電圧を印加する直前の所定期間にのみ廃棄電極１２ｂに廃棄電圧を印加することも可能である。
【００５３】
図１２に示す制御を行えば、感光部１１で生成した電荷を電荷集積部１３に信号電荷として集積していない期間において感光部１１で生成される電荷をほとんど不要電荷として廃棄するから、信号電荷への雑音成分の混入が大幅に抑制されることになる。
【００５４】
通過電圧と廃棄電圧との制御例としては、図１３に示すように、廃棄電極１２ｂに印加する廃棄電圧を一定電圧に保って感光部１１で生成された電荷の一部をつねに廃棄するようにしてもよい。図１３の制御例では、ゲート電極１２ａに通過電圧を印加する期間と印加しない期間とを設け、通過電圧を印加する期間を電荷集積部１３に信号電荷を集積する期間としている。
【００５５】
図１３は受光光量Ａ０に相当する信号電荷を集積する場合の動作を示している。図１３（ａ）は発光源２から空間に照射される光の強度を変調する変調信号を示しており、電荷集積部１３に設けたゲート電極１２ａには、図１３（ｂ）のように、受光光量Ａ０に対応する期間に通過電圧が印加され、感光部１１において生成された電荷を受光光量Ａ０に相当する信号電荷として電荷集積部１３に集積する。つまり、ゲート電極１２ａに通過電圧を印加する期間は、変調信号の位相における０度から一定期間（図示例では０〜９０度）に設定され、この期間において感光部１１から電荷集積部１３への電荷の移動が可能になる。一方、廃棄電極１２ｂには、図１３（ｃ）のように、直流電圧である一定電圧の廃棄電圧がつねに印加され、感光部１１で生成された電荷の一部をつねに不要電荷として電荷廃棄部１２ｃに廃棄する。上述の制御では、信号電荷を電荷集積部１３に集積する期間にのみゲート電極１２ａに通過電圧を印加しているから、図１３（ｄ）のように受光光量Ａ０に相当する信号電荷を取り出すことが可能になる。
【００５６】
図１３に示す制御では、ゲート電極１２ａに通過電圧を印加しているか否かにかかわらず廃棄電極１２ｂに一定電圧の廃棄電圧を印加しているから、感光部１１において生成された電荷のうち電荷集積部１３に信号電荷として集積されなかった不要電荷は、廃棄電荷として電荷廃棄部１２ｃに廃棄される。ここで、感光部１１で生成された電荷の一部を信号電荷として電荷集積部１３に集積する期間においても感光部１１から電荷廃棄部１２ｃへの電荷の廃棄が継続しているから、信号電荷を電荷集積部１３に適正に集積するために、通過電圧と廃棄電圧との大小関係を考慮する必要がある。ただし、廃棄電圧は一定電圧であって廃棄電極１２ｂにつねに印加しているだけであるから、実際には通過電圧のみを制御すればよく、制御自体は容易である。
【００５７】
図１０に示した感度制御部１２を備える光検出素子１は、オーバーフロードレインを備えたＣＣＤイメージセンサにより実現することができる。ＣＣＤイメージセンサにおける電荷の転送方式はどのようなものでもよく、インターライントランスファ（ＩＴ）方式、フレームトランスファ（ＦＴ）方式、フレームインターライントランスファ（ＦＩＴ）方式のいずれであってもよい。
【００５８】
図１４に縦型オーバーフロードレインを備えるインターライントランスファ方式のＣＣＤイメージセンサの構成を示す。図示例は、感光部１１となるフォトダイオード４１を水平方向と垂直方向とに複数個ずつ（図では３×４個）配列した２次元イメージセンサであって、垂直方向に配列したフォトダイオード４１の各列の右側方にＣＣＤからなる垂直転送レジスタ４２を備え、フォトダイオード４１および垂直転送レジスタ４２が配列された領域の下方にＣＣＤからなる水平転送レジスタ４３を備える。垂直転送レジスタ４２は各フォトダイオード４１ごとに２個ずつの転送電極４２ａ，４２ｂを備え、水平転送レジスタ４３は各垂直転送レジスタ４２ごとに２個ずつの転送電極４３ａ，４３ｂを備える。
【００５９】
フォトダイオード４１と垂直転送レジスタ４２と水平転送レジスタ４３とは１枚の半導体基板４０上に形成され、半導体基板４０の主表面には、フォトダイオード４１と垂直転送レジスタ４２と水平転送レジスタ４３との全体を囲む形でアルミニウム電極であるオーバーフロー電極４４が、半導体基板４０の全周に亘って絶縁膜を介さずに半導体基板４０に直接接触するように設けられる。オーバーフロー電極４４に半導体基板４０に対して正極性になる適宜の廃棄電圧を印加すればフォトダイオード４１で生成された電子（電荷）はオーバーフロー電極４４を通して廃棄される。オーバーフロー電極４４は、感光部１１であるフォトダイオード４１において生成した電荷のうち不要電荷を廃棄する際に廃棄電圧が印加されるから廃棄電極１２ｂとして機能し、オーバーフロー電極４４に廃棄電圧を印加する電源が感光部１１で生成された電子（電荷）を廃棄する電荷廃棄部１２ｃとして機能する。半導体基板４０の表面はフォトダイオード４１に対応する部位を除いて遮光膜４６（図１５参照）により覆われる。
【００６０】
図１４に示したＣＣＤイメージセンサについて、１個のフォトダイオード４１に関連する部分を切り出して図１５に示す。半導体基板４０にはｎ形半導体を用い、半導体基板４０の主表面にはフォトダイオード４１と垂直転送レジスタ４２とに跨る領域にｐ形半導体からなるウェル領域３１を形成している。ウェル領域３１は、フォトダイオード４１に対応する領域に比較して垂直転送レジスタ４２に対応する領域の厚み寸法が大きくなるように形成してある。ウェル領域３１のうちフォトダイオード４１に対応する領域にはｎ＋形半導体層３２を重ねて設けてあり、ウェル領域３１とｎ＋形半導体層３２とのｐｎ接合によってフォトダイオード４１が形成される。フォトダイオード４１の表面にはｐ＋形半導体からなる表面層３３を積層してある。表面層３３はフォトダイオード４１で生成された電荷を垂直転送レジスタ４２に移動させる際に、ｎ＋形半導体層３２の表面付近が電荷の通過経路にならないように制御する目的で設けてある。このような構造は、埋込フォトダイオードとして知られている。
【００６１】
ウェル領域３１のうち垂直転送レジスタ４２に対応する領域にはｎ形半導体からなる蓄積転送層３４を重ねて設けてある。蓄積転送層３４の表面と表面層３３の表面とは略同一平面であって、蓄積転送層３４の厚み寸法は表面層３３の厚み寸法よりも大きくしてある。蓄積転送層３４は、表面層３３とは接触しているが、ｎ＋形半導体層３２との間には、表面層３３と不純物濃度が等しいｐ＋形半導体からなる分離層３５が介在する。蓄積転送層３４の表面には、絶縁膜４５を介して転送電極４２ａ，４２ｂが配置される。転送電極４２ａ，４２ｂは１個のフォトダイオード４１に対して２個ずつ設けられ、垂直方向において２個の転送電極４２ａ，４２ｂのうちの一方は他方よりも広幅に形成される。具体的には、図１６のように、１個のフォトダイオード４１に対応する２個の転送電極４２ａ，４２ｂのうち狭幅の転送電極４２ｂは平板状に形成されており、広幅の転送電極４２ａは、幅狭の転送電極４２ｂと同一平面上に配列され一対の転送電極４２ｂの間に配置される平板状の部分と、平板状の部分の垂直方向（図１６の左右方向）における両端部からそれぞれ延長され転送電極４２ｂの上に重複する湾曲した部分とを備える。ここに、絶縁膜４５はＳｉＯ２ により形成され、また転送電極４２ａ，４２ｂはポリシリコンにより形成され、各転送電極４２ａ，４２ｂは絶縁膜４５を介して互いに絶縁されている。さらに、フォトダイオード４１に光を入射させる部位を除いて光検出素子１の表面は遮光膜４６により覆われる。ウェル領域３１において垂直転送レジスタ４２に対応する領域および蓄積転送層３４は垂直転送レジスタ４２の全長に亘って形成され、したがって、蓄積転送層３４には広幅の転送電極４２ａと狭幅の転送電極４２ｂとが交互に配列される。
【００６２】
上述した光検出素子１では、フォトダイオード４１が感光部１１に相当し、転送電極４２ａが通過電極１２ａに相当し、オーバーフロー電極４４が廃棄電極１２ｂに相当し、垂直転送レジスタ４２が電荷集積部１３および電荷取出部１４の一部として機能する。また、水平転送レジスタ４３も電荷取出部１４の一部になる。すなわち、フォトダイオード４１に光が入射すれば電荷が生成され、フォトダイオード４１で生成された電荷のうち垂直転送レジスタ４２に信号電荷として引き渡される電荷の割合は転送電極４２ａに印加する通過電圧とオーバーフロー電極４４に印加する廃棄電圧との関係によって決めることができる。転送電極４２ａに通過電圧を印加すると蓄積転送層３４にポテンシャル井戸が形成され、通過電圧の制御によりポテンシャル井戸の深さを制御することができる。したがって、ポテンシャル井戸の深さおよび通過電圧を印加する時間とを制御すれば、フォトダイオード４１から垂直転送レジスタ４２に引き渡される電荷の割合を調節することができる。また、オーバーフロー電極４４に印加する廃棄電圧を制御すれば、フォトダイオード４１と半導体基板４０との間の電位勾配を制御することができるから、電位勾配と廃棄電圧を印加する時間とを制御すれば、垂直転送レジスタ４２に引き渡される電荷の割合を調節することができる。制御電圧と廃棄電圧とは図１１ないし図１３に示した制御例のように制御すればよい。
【００６３】
フォトダイオード４１から垂直転送レジスタ４２に引き渡された信号電荷は、上述した４区間の受光光量Ａ０，Ａ１，Ａ２，Ａ３のうちの各１区間の受光光量Ａ０，Ａ１，Ａ２，Ａ３に相当する信号電荷が集積されるたびに読み出される。たとえば、受光光量Ａ０に相当する信号電荷が各フォトダイオード４１に対応して形成されるポテンシャル井戸に集積されると信号電荷を読み出し、次に受光光量Ａ１に相当する信号電荷がポテンシャル井戸に集積されると再び信号電荷を読み出すという動作を繰り返す。なお、各受光光量Ａ０，Ａ１，Ａ２，Ａ３に相当する信号電荷を集積する期間は等しく設定しておく。
【００６４】
ところで、上述した制御例のうち、図１１に示す制御例では、感光部１１（フォトダイオード４１）で生成された電荷（電子）を電荷集積部１３（垂直転送レジスタ４２）に対してつねに引き渡しているから、電荷集積部１３に集積された電荷は必ずしも目的の受光光量Ａ０、Ａ１、Ａ２、Ａ３が得られる期間に生成された電荷だけではなく、目的外の期間に生成された電荷も混入することになる。いま、感度制御部１２において、受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応した電荷を生成する期間の感度をα、それ以外の期間の感度をβとし、感光部１１は受光光量に比例する電荷を生成するものとする。この条件では、受光光量Ａ０に対応した電荷を集積する電荷集積部１３には、αＡ０＋β（Ａ１＋Ａ２＋Ａ３）＋βＡｘ（Ａｘは受光光量Ａ０、Ａ１、Ａ２、Ａ３が得られる期間以外の受光光量）に比例する電荷が集積され、受光光量Ａ２に対応した電荷を集積する電荷集積部１３には、αＡ２＋β（Ａ０＋Ａ１＋Ａ３）＋βＡｘに比例する電荷が集積される。上述したように、位相差ψを求める際には（Ａ２−Ａ０）を求めており、（Ａ２−Ａ０）に相当する値を電荷集積部１３に集積した電荷から求めると（α−β）（Ａ２−Ａ０）になり、同様にして（Ａ１−Ａ３）に相当する値は（α−β）（Ａ１−Ａ３）になるから、（Ａ２−Ａ０）／（Ａ１−Ａ３）は電荷の混入の有無によらず理論上は同じ値になるのであって、電荷が混入しても求める位相差ψは同じ値になる。
【００６５】
上述した構成例では、ＣＣＤイメージセンサを光検出素子１に用い、電荷集積部１３に通過させる電荷の量と、電荷廃棄部１２ｃに廃棄する電荷の量との少なくとも一方を制御することにより感度制御部１２を構成する例を示したが、以下に示す感度制御部１２は、感光部１１において利用できる電荷を生成する領域の面積（実質的な受光面積）を変化させるものである。
【００６６】
以下に光検出素子１の具体的構造例を説明する。図１７に示す光検出素子１は、複数個（たとえば、１００×１００個）の感光部１１をマトリクス状に配列したものであって、たとえば１枚の半導体基板上に形成される。１個の感光部１１は不純物を添加した半導体層２１に酸化膜からなる絶縁膜２２を介して複数個（図では５個）の制御電極２３を配列した構成を有する。図示例では電極が並ぶ方向（左右方向）が垂直方向であり、感光部１１で生成した電荷（本実施形態では、電子を用いる）を取り出す際には、垂直転送レジスタにより電荷を垂直方向に転送した後、水平転送レジスタを用いて水平方向に転送される。つまり、垂直転送レジスタと水平転送レジスタとにより電荷取出部１４が構成される。垂直転送レジスタおよび水平転送レジスタの構成には、ＣＣＤイメージセンサにおけるインターライントランスファ（ＩＴ）方式、フレームトランスファ（ＦＴ）方式、フレームインターライントランスファ（ＦＩＴ）方式と同様の構成を採用することができる。
【００６７】
すなわち、垂直方向に並ぶ各感光部１１が一体に連続する半導体層２１を共用するとともに半導体層２１を垂直転送レジスタに用いれば、半導体層２１が感光部１１と電荷の転送経路とに兼用された構造になり、ＦＴ方式のＣＣＤイメージセンサと同様にして電荷を垂直方向に転送することができ、また、感光部１１から転送ゲートを介して垂直転送レジスタに電荷を転送すれば、ＩＴ方式またはＦＩＴ方式のＣＣＤイメージセンサと同様にして電荷を転送することができる。
【００６８】
上述のように、半導体層２１は不純物が添加してあり、半導体層２１の主表面は酸化膜からなる絶縁膜２２により覆われ、半導体層２１に絶縁膜２２を介して複数個の制御電極２３を配置している。この光検出素子１はＭＩＳ素子として知られた構造であるが、１個の光検出素子１として機能する領域に複数個（図示例では５個）の制御電極２３を備える点が通常のＭＩＳ素子とは異なる。絶縁膜２２および制御電極２３は発光源２から対象空間に照射される光と同波長の光が透過するように材料が選択され、絶縁膜２２を通して半導体層２１に光が入射すると、半導体層２１の内部に電荷が生成される。図示例の半導体層２１の導電形はｎ形であり、光の照射により生成される電荷として電子ｅを利用する。図１７は１個の感光部１１に対応する領域のみを示したものであり、半導体基板（図示せず）には上述したように図１７の構造を持つ領域が複数個配列されるとともに電荷取出部１４となる構造が設けられる。電荷取出部１４として設ける垂直転送レジスタは、図１７の左右方向に電荷を転送することを想定しているが、図１７の面に直交する方向に電荷を転送する構成を採用することも可能である。また、電荷を図の左右方向に転送する場合には、制御電極２３の左右方向の幅寸法を１μｍ程度に設定するのが望ましい。
【００６９】
この構造の光検出素子１では、制御電極２３に正の制御電圧＋Ｖを印加すると、半導体層２１には制御電極２３に対応する部位に電子ｅを集積するポテンシャル井戸（空乏層）２４が形成される。つまり、半導体層２１にポテンシャル井戸２４を形成するように制御電極２３に制御電圧を印加した状態で光が半導体層２１に照射されると、ポテンシャル井戸２４の近傍で生成された電子ｅの一部はポテンシャル井戸２４に捕獲されてポテンシャル井戸２４に集積され、残りの電子ｅは半導体層２１の深部での再結合により消滅する。また、ポテンシャル井戸２４から離れた場所で生成された電子ｅも半導体層２１の深部での再結合により消滅する。
【００７０】
ポテンシャル井戸２４は制御電圧を印加した制御電極２３に対応する部位に形成されるから、制御電圧を印加する制御電極２３の個数を変化させることによって、半導体層２１の主表面に沿ったポテンシャル井戸２４の面積（言い換えると、受光面において利用できる電荷を生成する領域の面積）を変化させることができる。つまり、制御電圧を印加する制御電極２３の個数を変化させることは感度制御部１２における感度の調節を意味する。たとえば、図１７（ａ）のように３個の制御電極２３に制御電圧＋Ｖを印加する場合と、図１７（ｂ）のように１個の制御電極２３に制御電圧＋Ｖを印加する場合とでは、ポテンシャル井戸２４が受光面に占める面積が変化するのであって、図１７（ａ）の状態のほうがポテンシャル井戸２４の面積が大きいから、図１７（ｂ）の状態に比較して同光量に対して利用できる電荷の割合が多くなり、実質的に感光部１１の感度を高めたことになる。このように、感光部１１および感度制御部１２は半導体層２１と絶縁膜２２と制御電極２３とにより構成されていると言える。ポテンシャル井戸２４は光照射により生成された電荷を保持するから電荷集積部１３として機能する。
【００７１】
上述したように、ポテンシャル井戸２４から電荷を取り出すには、ＣＣＤイメージセンサと同様の技術を採用する。たとえば感光部１１を垂直転送レジスタとして用いる場合は、ポテンシャル井戸２４に電子ｅが集積された後に、電荷の集積時とは異なる印加パターンの制御電圧を制御電極２３に印加することによってポテンシャル井戸２４に集積された電子ｅを一方向（たとえば、図の右方向）に転送することができる。あるいはまた、感光部１１とは別に設けた垂直転送レジスタに転送ゲートを介して感光部１１から電荷を転送する構成を採用することもできる。垂直転送レジスタからは水平転送レジスタに電荷を引き渡し、水平転送レジスタを転送された電荷は、半導体基板に設けた図示しない電極から光検出素子１の外部に取り出される。
【００７２】
図１７に示す構成における感度制御部１２は、利用できる電荷を生成する面積を大小２段階に切り換えることにより感光部１１の感度を高低２段階に切り換えるのであって、受光光量Ａ０、Ａ１、Ａ２、Ａ３のいずれかに対応する電荷を感光部１１で生成しようとする期間にのみ高感度とし（電荷を生成する面積を大きくし）、他の期間には低感度にする。高感度にする期間と低感度にする期間とは、発光源２を駆動する変調信号に同期させて設定される。具体的には、変調信号に同期する特定の区間（特定位相の区間）において、電荷を生成する面積を大きくして感光部１１で生成した電荷を集積し、上記特定区間以外の他の区間において、電荷を生成する面積を小さくして感光部１１で生成した電荷を蓄積する。すなわち、感光部１１において、電荷を集積する機能と蓄積する機能とが交互に実現される。ここで、集積とは電荷を集めることを意味し、蓄積とは電荷を保持することを意味する。言い換えると、図１７に示す構成では、感光部１１に設けた電荷集積部１３の大きさ（面積）を変化させることにより、電荷を集積する期間には感光部１１で生成された電荷の集積率を大きくし、電荷を蓄積する期間には感光部１１で生成された電荷の集積率を小さくするのである。
【００７３】
また、変調信号の複数周期に亘ってポテンシャル井戸２４に電荷を集積した後に電荷取出部１４を通して光検出素子１の外部に電荷を取り出すようにしている。変調信号の複数周期に亘って電荷を集積しているのは、変調信号の１周期内では感光部１１が利用可能な電荷を生成する期間が短く（たとえば、変調信号の周波数を２０ＭＨｚとすれば５０ｎｓの４分の１以下）、生成される電荷が少ないからである。つまり、変調信号の複数周期分の電荷を集積することにより、信号電荷（発光源２から照射された光に対応する電荷）と不要電荷（主に外光成分および光検出素子１の内部で発生するショットノイズに対応する電荷）との比を大きくとることができ、大きなＳＮ比が得られる。
【００７４】
ところで、位相差ψを求めるのに必要な４区間の受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を１個の感光部１１で生成するとすれば、視線方向に関する分解能は高くなるが、各受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を求める時間差が大きくなるという問題が生じる。一方、各受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を４個の感光部１１でそれぞれ生成するとすれば、各受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を求める時間差は小さくなるが、４区間の電荷を求める視線方向にずれが生じ視線方向に関する分解能は低下する。そこで、２個の感光部１１を用いることにより、変調信号の１周期内で受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を２種類ずつ生成する構成を採用してもよい。つまり、２個の感光部１１を組にして用い、組になる２個の感光部１１に同じ視線方向からの光が入射するようにしてもよい。
【００７５】
この構成を採用することにより、視線方向の分解能を比較的高くし、かつ受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を生成する時間差を少なくすることができる。つまり、受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を生成する時間差を少なくしていることにより、対象空間の中で移動している対象物Ｏｂについても距離の検出精度を比較的高く保つことができる。なお、この構成では、１個の感光部１１で４種類の受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を生成する場合よりも視線方向の分解能が低下するが、視線方向の分解能については感光部１１の小型化や受光光学系１９の設計によって向上させることが可能である。
【００７６】
以下に動作を具体的に説明する。図１７に示した例では、１個の感光部１１について５個の制御電極２３を設けた例を示しているが、両側の２個の制御電極２３は、感光部１１で電荷（電子ｅ）を生成している間に隣接する感光部１１に電荷が流出するのを防止するための障壁を形成するものであって、２個の感光部１１を組にして用いる場合には隣接する感光部１１のポテンシャル井戸２４の間には、いずれかの感光部１１で障壁が形成されるから、各感光部１１には３個ずつの制御電極２３を設けるだけで足りることになる。この構成によって、感光部１１の１個当たりの占有面積が小さくなり、２個の感光部１１を組にして用いながらも視線方向の分解能の低下を抑制することが可能になる。
【００７７】
なお、上述した距離画像センサ１０の構成例では、受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する４区間を変調信号の１周期内で位相の間隔が９０度ずつになるように設定しているが、変調信号に対する位相が既知であれば４区間は９０度以外の適宜の間隔で設定することが可能である。ただし、間隔が異なれば位相差ψを求める算式は異なる。また、４区間の受光光量に対応した電荷を取り出す周期は、対象物Ｏｂの反射率および外光成分が変化せず、かつ位相差ψも変化しない時間内であれば、変調信号の１周期内で４区間の信号電荷を取り出すことも必須ではない。さらに、太陽光や照明光のような外乱光の影響があるときには、発光源２から放射される光の波長のみを透過させる光学フィルタを感光部１１の前に配置するのが望ましい。
【００７８】
次に上述の距離画像センサ１０を用いた人体検知装置の全体構成について説明する。本実施形態の人体検知装置は、図１に示すように上述の距離画像センサ１０と、人体検知部２０とを備えている。
【００７９】
距離画像センサ１０は、図２（ａ）に示すように対象領域３０の上方に設置されており、対象領域３０を上方から撮像する。すなわち、発光源２は下方の対象領域３０に対して照射光を照射しており、制御回路部３によって発光源２からの照射光の強度が周期的に変化するように変調されるので、画像生成部４によって、発光源２からの照射光が対象領域３０内の物体で反射されて感光部１１で受光されるまでの光の位相差を物体までの距離に換算した距離値を画素値とする距離画像が生成される。尚、本実施形態ではＴＯＦ法により距離画像を得る距離画像センサ１０を用いているが、互いに異なる方向から対象領域を撮影する複数台のカメラを設置し、各カメラで撮影された複数の画像から、三角測量の原理を用いて、所定の測定点から対象領域内の物体までの距離値を画素値とする距離画像を作成するようにしても良い。
【００８０】
人体検知部２０は、距離画像センサ１０により撮像された距離画像を用い、後述の人体検知方法を実行することで、対象領域３０内の人体を検知するコンピュータからなり、以下にその人体検知方法を図面に基づいて説明する。ここでは、図２（ａ）に示すように対象領域３０内に大人５０と子供５１が１人ずついる場合について説明する。
【００８１】
人体検知部２０は、画像生成部４から距離画像の画像データが入力されると、距離画像を構成する複数の画素から、画素値が閾値以下となる画素領域を抽出する領域抽出処理を、上記の閾値を画素値が最短の画素（以下、最短画素と言う。）の画素値から段階的に伸ばして複数回行う。例えば図３（ａ）に示すように上記の閾値を最短画素の画素値Ｌ１からＬ２、Ｌ３、Ｌ４、Ｌ５と段階的に伸ばした場合、距離画像センサ１０から大人５０の頭部までの距離になるので、距離値が閾値Ｌ１〜Ｌ５以下となる画素領域Ａ１〜Ａ５はそれぞれ略円形の領域となる（図３（ｂ）参照）。なお、図３（ｂ）中の曲線（画素値が閾値となる画素を結んでできる等高線）で囲まれた領域がそれぞれ画素領域Ａ１〜Ａ５となり、他の図でも同様である。また上記の閾値をＬ６、Ｌ７に伸ばした場合、距離画像センサ１０から大人５０の肩付近までの距離になるので、距離値が閾値Ｌ６，Ｌ７以下となる画素領域Ａ６、Ａ７は略楕円形の領域となる。一方、子供５１は大人５０に比べて背が低いので、図４（ａ）に示すように上記の閾値をＬ１１（＞Ｌ７）、Ｌ１２、Ｌ１３まで段階的に伸ばすと、距離画像センサ１０から子供５１の頭部までの距離となり、距離値が閾値Ｌ１１、Ｌ１２、Ｌ１３以下となる画素領域Ａ１１、Ａ１２，Ａ１３は略円形の領域となる（図４（ｂ）参照）。さらに上記の閾値をＬ１４、Ｌ１５まで段階的に伸ばすと、距離画像センサ１０から子供５１の肩付近までの距離になるので、距離値が閾値Ｌ１４，Ｌ１５以下となる画素領域Ａ１４、Ａ１５は略楕円形の領域となる。
【００８２】
ここで図２（ｂ）は、距離画像Ｇ１を構成する複数の画素から、画素値が閾値以下となる画素領域を抽出する領域抽出処理を、上記の閾値Ｌ１〜Ｌ７、Ｌ１１〜Ｌ１５に段階的に伸ばして複数回行った結果を示しており、大人５０および子供５１にそれぞれ対応する画素領域Ａ１〜Ａ７、Ａ１１〜Ａ１５が抽出される。なお、子供５１の頭部は大人５０よりも小さく、また肩幅も狭いので、子供５１の頭部に対応する画素領域Ａ１３は大人５０の頭部の画素領域Ａ５よりも狭く、また子供５１の肩部に対応する画素領域Ａ１５も大人５０の肩部の画素領域Ａ７よりも狭くなっている。また上方に設置された距離画像センサ１０から、略真下にいる大人５０と子供５１を撮影した場合、頭部の水平断面が最大となる高さ位置よりも下側の頭部は距離画像に現れなくなる。同様に大人５０および子供５１の胴体部分では、胴体の水平断面が最大となる高さ位置よりも下側の胴体部は距離画像に現れなくなる。
【００８３】
人体検知部２０は、上述のように閾値を段階的に伸ばして領域抽出処理を繰り返し行うのであるが、閾値を伸ばして領域抽出処理を行う毎に、新たに抽出された画素領域が、既に抽出されている画素領域と部分的に重複するか否かを判断し、部分的に重複する画素領域があれば、これらの画素領域が同一の物体を示していると判断して、重複する複数の画素領域の全体に同一の識別子を割り当てる識別子割当処理を実行する。
【００８４】
例えば画素値が上記の閾値Ｌ１以下となる画素領域を抽出した段階では、画素領域が１つだけなので、この画素領域Ａ１に対して個別の識別子ＬＢ１を割り当てる。図５（ｂ）は識別子ＬＢ１が割り当てられた画素領域を示しており、識別子ＬＢ１を割り当てた画素領域にはハッチングを施してある。その後、閾値をＬ３まで伸ばして画素領域Ａ３を抽出すると、新たに抽出した画素領域Ａ３に、前回までの抽出処理で抽出された画素領域Ａ１，Ａ２が包含されているので、複数の画素領域Ａ１〜Ａ３の全体に同一の識別子ＬＢ１を割り当てる（図６（ａ）参照）。つまり識別子ＬＢ１を割り当てた画素領域に新たに画素領域Ａ３を追加する。さらに、閾値をＬ４まで伸ばして画素領域Ａ４を抽出すると、新たに抽出した画素領域Ａ４に、既に抽出された画素領域Ａ１〜Ａ３が全て包含されているので、複数の画素領域Ａ１〜Ａ４の全体に同一の識別子ＬＢ１を割り当てる（図６（ｂ）参照）。
【００８５】
なお、対象領域３０内の人物が直立列姿勢を保っている場合は、距離画像センサ１０に近い側から順番に複数の画素領域Ａ１…を抽出すると、距離画像センサ１０からの距離値が少し遠い画素領域に、距離値がより短い画素領域が包含されるのであるが、図６（ｃ）（ｄ）に示すように対象領域３０内の人物が前傾姿勢をとっている場合は距離値が少し遠い画素領域に、距離値がより短い画素領域が包含されず、部分的に重複するだけの場合がある。すなわち、画素値が閾値となる画素を結んでできる等高線が途切れてしまう場合がある。
【００８６】
すなわち、対象領域３０内の人物が前傾姿勢をとっている場合に、距離画像センサ１０に近い側から順番に複数の画素領域を抽出すると、人体の頭部に対応する画素領域Ａ１〜Ａ５では、距離値が少し遠い画素領域に、距離値がより短い画素領域が包含されるので、図６（ｃ）に示すように閾値をＬ５まで伸ばして画素領域Ａ５を抽出した段階では、人体検知部２０は、画素領域Ａ５に包含される画素領域Ａ１〜Ａ４を同一の物体と判断し、これらの画素領域Ａ１〜Ａ５の全体、すなわち画素領域Ａ５に識別子ＬＢ１を割り当てる。
【００８７】
一方、人体の肩付近に対応する画素領域Ａ６、Ａ７では、この人物が前傾姿勢を保っているために、距離値が少し遠い画素領域に、距離値がより短い画素領域が包含されなくなって、部分的に重複するだけなので、図６（ｄ）に示すように閾値をＬ６まで伸ばして画素領域Ａ６を抽出した段階では、人体検知部２０は、部分的に重複する画素領域Ａ５、Ａ６の全体を同一の物体と判断し、これらの画素領域Ａ１〜Ａ６の全体、すなわち画素領域Ａ５、Ａ６の和集合に識別子ＬＢ１を割り当てる。
【００８８】
そして、人体検知部２０では、同一の識別子を割り当てた画素領域の画素数が、人体の大きさに相当する画素数を超えるという判定条件Ｚ１が成立すると、上述の領域抽出処理と識別子割当処理を終了し、同一の識別子が割り当てられた画素領域を人体として抽出する。図８（ａ）は上記の判定条件Ｚ１が成立した状態を示しており、人体検知部２０は上述の領域抽出処理と識別子割当処理とを実行した結果、大人５０に対応する画素領域Ａ１…に識別子ＬＢ１を割り当て、子供５１に対応する画素領域Ａ１１…には別個の識別子ＬＢ２を割り当てたものとする。そして、人体検知部２０では、識別子ＬＢ１を割り当てた画素領域Ａ１…の画素数が所定の画素数を超えると、この識別子ＬＢ１の画素領域について領域抽出処理および識別子割当処理を終了し、識別子ＬＢ１が割り当てられた画素領域Ａ１〜Ａ５を人体として抽出する。また人体検知部２０では、識別子ＬＢ２を割り当てた画素領域Ａ１１…の画素数が所定の画素数を超えると、この識別子ＬＢ２の画素領域について領域抽出処理および識別子割当処理を終了し、識別子ＬＢ２が割り当てられた画素領域Ａ１１〜Ａ１４を人体として抽出する。なお、大人５０に比べて子供５１は体格が小さいので、大人５０の場合は頭部に対応する画素領域Ａ１〜Ａ５を抽出した段階で判定条件Ｚ１が成立するが、子供５１の場合は頭部に加えて肩に対応する画素領域Ａ１１〜Ａ１４を抽出した段階で判定条件Ｚ１が成立する。
【００８９】
このように本実施形態では、距離画像センサ１０に近い側から順番に画素領域を抽出し、新たに抽出した画素領域が、既に抽出された画素領域と重複する場合は、重複する複数の画素領域を同一の物体と判断して、これらの画素領域の全体に同一の識別子を付与しており、同一の識別子を付与した画素領域の画素数が人体の大きさに相当する画素数を超えるという判定条件Ｚ１が成立すれば、同一の識別子を付与した画素領域を人体として抽出しているので、従来の人体検知方法のように等高線が閉じないような場合でも確実に人体を検知できる。また判定条件Ｚ１が成立した段階で、その識別子を割り当てた画素領域について、領域抽出処理および識別子付与処理を終了しているので、閾値を床面まで伸ばして画素領域を抽出する場合に比べて、人の存在を短時間で検知することができ、また識別子を付与した画素領域を記憶させるメモリの容量も小さくて済むという利点がある。
【００９０】
なお、本実施形態では距離画像センサ１０を上方に設置して、下方の対象領域３０を撮像しているが、対象領域３０の側方に取り付けて、対象領域３０内の人物を横方向から撮影しても良いし、距離画像センサ１０を天井の隅に設置して、対象領域３０内の人物を斜め上方から撮影するようにしても良く、このようにして撮影された距離画像を用いても、上述の人体検知方法により対象領域３０内の人体を検知することが可能である。
【００９１】
また、本実施形態の人体検知部２０では、同一の識別子を割り当てた画素領域の画素数が、人体の大きさに相当する画素数を超えるという判定条件Ｚ１を用いているが、この判定条件Ｚ１の代わりに、上記閾値を、最短画素の画素値から一定距離まで伸ばした場合に、同一の識別子を割り当てた複数の画素領域が単峰状の物体となるという判定条件Ｚ２が成立すれば、領域抽出処理および識別子割当処理を終了し、同一の識別子が割り当てられた画素領域を人体と抽出するようにしても良い。
【００９２】
ここで、人体検知部２０が、大人５０に対応する画素領域Ａ１…に識別子ＬＢ１を割り当て、子供５１に対応する画素領域Ａ１１…には別個の識別子ＬＢ２を割り当てたものとする。そして、人体検知部２０が、上記の閾値を最短画素の画素値から一定距離（例えば１０ｃｍ）まで伸ばした場合、識別子ＬＢ１が割り当てられた画素領域は領域Ａ１〜Ａ３となり、識別子ＬＢ２が割り当てられた画素領域は領域Ａ１１〜Ａ１３となる（図８（ｂ）参照）。上記の一定距離を人間の頭部の長さよりも短い距離（例えば１０ｃｍ）に設定した場合、識別子ＬＢ１が割り当てられた画素領域Ａ１〜Ａ３、および、識別子ＬＢ２が割り当てられた画素領域Ａ１１〜Ａ１３が人間の頭部であれば、これらの画素領域Ａ１〜Ａ３、Ａ１１〜Ａ１３は共に単峰状の物体となる。したがって、上記の閾値を一定距離まで伸ばした時に同一の識別子が割り当てられた画素領域の全体が単峰状の物体となっていれば、人体検知部２０は同一の識別子が割り当てられた画素領域を人体と判断して、抽出することが可能になる。この判定条件Ｚ２を用いた場合は、対象領域内の人物の背丈が異なる場合でも、人間の頭部の形状を検出することで、人体を確実に検出することが可能になる。また判定条件Ｚ２が成立した段階で、その識別子を割り当てた画素領域について、領域抽出処理および識別子付与処理を終了しているので、閾値を床面まで伸ばして画素領域を抽出する場合に比べて、人の存在を短時間で検知することができ、また識別子を付与した画素領域を記憶させるメモリの容量も小さくて済むという利点がある。なお判定条件Ｚ２に加えて、上述の判定条件Ｚ１が両方共に成立すれば、領域抽出処理および識別子割当処理を終了し、同一の識別子が割り当てられた画素領域を人体と抽出するようにしても良く、人体よりも小さい大きさのものを誤検出することがなく、より確実に人体を抽出できる。
【００９３】
また、人体検知部２０が、上述の判定条件Ｚ１の代わりに、同一の識別子を割り当てた複数の画素領域の内、新たに抽出した画素領域中の画素で、既に抽出した画素領域の画素と重複していない画素の画素数が所定のしきい値以下になるという判定条件Ｚ３が成立すれば、領域抽出処理および識別子割当処理を終了し、同一の識別子が割り当てられた画素領域を人体と抽出するようにしても良い。
【００９４】
ここで、人体検知部２０が、大人５０に対応する画素領域Ａ１…に識別子ＬＢ１を割り当て、子供５１に対応する画素領域Ａ１１…には別個の識別子ＬＢ２を割り当てたものとする。大人５０の場合は頭頂部から閾値Ｌ４付近までは、識別子ＬＢ１を割り当てた画素領域に新たな画素領域が追加される毎に、この画素領域の画素数が大きく増加するものの、頭部の水平断面が最大となる高さ位置に近付くにつれて水平断面の増加分が減少してくるため、閾値をＬ４からＬ６の間で変化させても、識別子ＬＢ１を割り当てた画素領域の画素数は殆ど増加しなくなる。同様に子供５１の場合も、頭頂部から閾値Ａ１２付近までは、識別子ＬＢ２を割り当てた画素領域に新たな画素領域が追加される毎に、この画素領域の画素数が大きく増加するものの、頭部の水平断面が最大となる高さ位置に近付くにつれて水平断面の増加分が減少してくるため、閾値をＬ１２からＬ１４の間で変化させても、識別子ＬＢ２を割り当てた画素領域の画素数は殆ど増加しなくなる。
【００９５】
したがって、図８（ｃ）に示すように大人５０の場合には、閾値をＬ１、Ｌ２…Ｌ５と伸ばして識別子ＬＢ１が割り当てられた画素領域Ａ１〜Ａ５を抽出した段階で、新たに抽出された画素領域Ａ５中の画素で、既に抽出した画素領域Ａ１〜Ａ４の画素と重複していない画素の画素数が所定のしきい値以下になるという判定条件Ｚ３が成立するので、人体検知部２０では、この判定条件Ｚ３の成立により頭部の形状を安定に抽出できたと判断し、識別子ＬＢ１が割り当てられた画素領域Ａ１〜Ａ５を人体と判断する。同様に子供５１の場合には、閾値をＬ１１、Ｌ１２、Ｌ１３と伸ばして識別子ＬＢ２が割り当てられた画素領域Ａ１１〜Ａ１３を抽出した段階で、新たに抽出された画素領域Ａ１３中の画素で、既に抽出した画素領域Ａ１１、Ａ１２の画素と重複していない画素の画素数が所定のしきい値以下になるという判定条件Ｚ３が成立するので、人体検知部２０では、この判定条件Ｚ３の成立により頭部の形状を安定に抽出できたと判断し、識別子ＬＢ２が割り当てられた画素領域Ａ１１〜Ａ１３を人体と判断して抽出することが可能になる。この判定条件Ｚ３を用いた場合でも、人体の頭部の形状を検出することで人体と判断しているので、確実に人体を検知することが可能になる。また判定条件Ｚ３が成立した段階で、その識別子を割り当てた画素領域について、領域抽出処理および識別子付与処理を終了しているので、閾値を床面まで伸ばして画素領域を抽出する場合に比べて、人の存在を短時間で検知することができ、また識別子を付与した画素領域を記憶させるメモリの容量も小さくて済むという利点がある。
【００９６】
なお人体検知部２０が、同一の識別子を割り当てた画素領域の画素数が人体の大きさに相当する画素数を超えるという判定条件Ｚ１と、同一の識別子を割り当てた複数の画素領域の内、新たに抽出した画素領域中の画素で、既に抽出した画素領域の画素と重複していない画素の画素数が所定のしきい値以下になるという判定条件Ｚ３が両方共に成立すれば、領域抽出処理および識別子割当処理を終了して、同一の識別子が割り当てられた画素領域を人体と抽出するようにしても良く、この場合には図８（ｄ）に示すように、人体検知部２０が、肩部分まで抽出した段階で、識別子ＬＢ１、ＬＢ２を割り当てた画素領域を人体と判断する。
【００９７】
また更に、人体検知部２０は、上述の判定条件Ｚ１の代わりに、同一の識別子を割り当てた複数の画素領域の内、新たに抽出した画素領域に、既に抽出された画素領域が包含される場合に、新たに抽出した画素領域において、既に抽出された画素領域の外側にある帯状部分の幅の平均値が所定のしきい値以下になるという判定条件Ｚ４が成立すれば、領域抽出処理および識別子割当処理を終了し、同一の識別子が割り当てられた画素領域を人体と抽出するようにしても良い。
【００９８】
人体検知部２０は、閾値を段階的に伸ばして、画素値が閾値以下となる画素領域を抽出する領域抽出処理を行うとともに、部分的に重複する画素領域を同一の物体と判断して、重複する画素領域の全体に同一の識別子を割り付ける識別子割付処理を実行するのであるが、対象領域３０内の人体が直立している場合は、同一の識別子が割り当てられる複数の画素領域の内、先に抽出された画素領域は、閾値を少し遠くして抽出した画素領域に包含されることになる。特に人体の頭部では同一の識別子を割り当てた複数の画素領域が同心円状になっている。また、頭頂部から頭部の水平断面が最大となる高さ位置に近付くにつれて水平断面の増加分が減少してくるため、同一の識別子が割り当てられた複数の画素領域の内、新たに抽出された画素領域において、既に抽出された画素領域の外側にある帯状部分の幅の平均値が所定のしきい値以下になるという判定条件Ｚ４が成立すれば、頭部の形状を確実に検出できたと判断でき、同一の識別子が割り当てられた画素領域を人体として抽出するのである。
【００９９】
ここで、同一の識別子が割り当てられた複数の画素領域の内、新たに抽出された画素領域において、既に抽出された画素領域の外側にある帯状部分の幅は以下のような方法で測定できる。図７に示すように、人体検知部２０は一番最初に検出した画素領域Ａ１の重心位置Ｏを通って、互いに直交する２つの直線ＰＱ、ＲＳを規定する。次に、人体検知部２０は、上記の帯状部分（例えば画素領域Ａ５から画素領域Ａ４を除いた部分）と線分ＯＰとが交差する２つの点Ｔ１、Ｔ２を求めて、２点Ｔ１，Ｔ２間の距離を求めるとともに、上記の帯状部分と他の３つの線分ＯＱ、ＯＲ、ＯＳとがそれぞれ交差する６つの点Ｔ３〜Ｔ８を求め、２点Ｔ３、Ｔ４間、Ｔ５，Ｔ６間、Ｔ７，Ｔ８間の距離を求め、これら４つの距離の平均を求めることで、上記帯状部分の幅の平均値を簡易的に求めることができる。而して、この判定条件Ｚ４を用いた場合でも、人体の頭部の形状を検出することで人体と判断しているので、人体を確実に検知することができる。また判定条件Ｚ４が成立した段階で、その識別子を割り当てた画素領域について、領域抽出処理および識別子付与処理を終了しているので、閾値を床面まで伸ばして画素領域を抽出する場合に比べて、人の存在を短時間で検知することができ、また識別子を付与した画素領域を記憶させるメモリの容量も小さくて済むという利点がある。なお、判定条件Ｚ４に加えて、上述の判定条件Ｚ１が両方共に成立すれば、領域抽出処理および識別子割当処理を終了し、同一の識別子が割り当てられた画素領域を人体と抽出するようにしても良く、人体よりも小さい大きさのものを誤検出することがなく、より確実に人体を抽出できる。
【０１００】
また上述の各検知方法において、人体検知部２０が、領域抽出処理および識別子割当処理を行った後に、同一の識別子を付与した画素領域内の画素の画素値を「１」、それ以外の画素の画素値を「０」とした二値化画像を作成しても良く、峰状物体（人体）と背景部分とを分離した画像を作成することで、その後の峰状物体の抽出処理や容易になり、また峰状物体が複数存在する場合は個々の峰状物体を容易に特定することができる。
【図面の簡単な説明】
【０１０１】
【図１】本発明の実施形態を示すブロック図である。
【図２】（ａ）（ｂ）は同上の検知動作を説明する説明図である。
【図３】（ａ）（ｂ）は大人を検知する場合の説明図である。
【図４】（ａ）（ｂ）は子供を検知する場合の説明図である。
【図５】（ａ）（ｂ）は同上の検知動作を説明する説明図である。
【図６】（ａ）〜（ｄ）は同上の検知動作を説明する説明図である。
【図７】同上の検知動作を説明する説明図である。
【図８】（ａ）〜（ｄ）は同上の検知動作を説明する説明図である。
【図９】（ａ）〜（ｃ）は同上の動作説明図である。
【図１０】同上における感度制御部の構成例を示すブロック図である。
【図１１】（ａ）〜（ｄ）は同上の動作例を示す説明図である。
【図１２】（ａ）〜（ｄ）は同上の他の動作例を示す説明図である。
【図１３】（ａ）〜（ｄ）は同上のさらに他の動作例を示す説明図である。
【図１４】同上に用いる光検出素子の構成例を示す平面図である。
【図１５】図１４に示した光検出素子の要部分解斜視図である。
【図１６】図１５のＡ−Ａ線断面図である。
【図１７】同上に用いる光検出素子の要部の動作説明図である。
【符号の説明】
【０１０２】
１ 光検出素子
２ 発光源
３ 制御回路部
４ 画像生成部
１０ 距離画像センサ
２０ 人体検知部
【特許請求の範囲】
【請求項１】
撮像手段から対象領域内の物体までの距離を画素値とする距離画像を用いて対象領域内の人体を検知する人体検知方法であって、
対象領域を撮像することで距離画像を得た後に、
該距離画像を構成する複数の画素から、画素値が閾値以下となる画素領域を抽出する領域抽出処理を、前記閾値を画素値が最短の画素の画素値から段階的に伸ばして複数回行う毎に、
新たに抽出された画素領域が、既に抽出された画素領域と少なくとも一部が重複する場合、該重複する複数の画素領域を同一の物体と判断して、前記複数の画素領域の全体に同一の識別子を割り当てる識別子割当処理を行い、
同一の識別子を割り当てた複数の画素領域の画素数が人体の大きさに相当する画素数を超えるという判定条件が成立すると、前記領域抽出処理および識別子割当処理を終了し、同一の識別子が割り当てられた画素領域を人体として抽出することを特徴とする距離画像を用いた人体検知方法。
【請求項２】
撮像手段から対象領域内の物体までの距離を画素値とする距離画像を用いて対象領域内の人体を検知する人体検知方法であって、
対象領域を撮像することで距離画像を得た後に、
該距離画像を構成する複数の画素から、画素値が閾値以下となる画素領域を抽出する領域抽出処理を、前記閾値を画素値が最短の画素の画素値から段階的に伸ばして複数回行う毎に、
新たに抽出された画素領域が、既に抽出された画素領域と少なくとも一部が重複する場合、該重複する複数の画素領域を同一の物体と判断して、前記複数の画素領域の全体に同一の識別子を割り当てる識別子割当処理を行い、
上記閾値を、画素値が最短の画素の画素値から一定距離まで伸ばした場合に、同一の識別子を割り当てた複数の画素領域が単峰状の物体となるという判定条件が成立すると、前記領域抽出処理および識別子割当処理を終了し、同一の識別子が割り当てられた画素領域を人体として抽出することを特徴とする距離画像を用いた人体検知方法。
【請求項３】
撮像手段から対象領域内の物体までの距離を画素値とする距離画像を用いて対象領域内の人体を検知する人体検知方法であって、
対象領域を撮像することで距離画像を得た後に、
該距離画像を構成する複数の画素から、画素値が閾値以下となる画素領域を抽出する領域抽出処理を、前記閾値を画素値が最短の画素の画素値から段階的に伸ばして複数回行う毎に、
新たに抽出された画素領域が、既に抽出された画素領域と少なくとも一部が重複する場合、該重複する複数の画素領域を同一の物体と判断して、前記複数の画素領域の全体に同一の識別子を割り当てる識別子割当処理を行い、
同一の識別子を割り当てた複数の画素領域の内、新たに抽出した画素領域中の画素で、既に抽出した画素領域の画素と重複していない画素の画素数が所定のしきい値以下になるという判定条件が成立すると、前記領域抽出処理および識別子割当処理を終了し、同一の識別子が割り当てられた画素領域を人体として抽出することを特徴とする距離画像を用いた人体検知方法。
【請求項４】
撮像手段から対象領域内の物体までの距離を画素値とする距離画像を用いて対象領域内の人体を検知する人体検知方法であって、
対象領域を撮像することで距離画像を得た後に、
該距離画像を構成する複数の画素から、画素値が閾値以下となる画素領域を抽出する領域抽出処理を、前記閾値を画素値が最短の画素の画素値から段階的に伸ばして複数回行う毎に、
新たに抽出された画素領域が、既に抽出された画素領域と少なくとも一部が重複する場合、該重複する複数の画素領域を同一の物体と判断して、前記複数の画素領域の全体に同一の識別子を割り当てる識別子割当処理を行い、
同一の識別子を割り当てた複数の画素領域の内、新たに抽出した画素領域に、既に抽出された画素領域が包含される場合に、新たに抽出した画素領域において、既に抽出された画素領域の外側にある帯状部分の幅の平均値が所定のしきい値以下になるという判定条件が成立すると、前記領域抽出処理および識別子割当処理を終了し、同一の識別子が割り当てられた画素領域を人体として抽出することを特徴とする距離画像を用いた人体検知方法。
【請求項５】
上記判定条件と、同一の識別子を割り当てた複数の画素領域の画素数が人体の大きさに相当する画素数を超えるという判定条件とが両方共に成立すると、前記領域抽出処理および識別子割当処理を終了し、同一の識別子が割り当てられた画素領域を人体として抽出することを特徴とする請求項２乃至請求項４の何れか１項に記載の距離画像を用いた人体検知方法。
【請求項６】
上記距離画像を構成する複数の画素の内、同一の識別子が割り当てられた画素領域の画素と、それ以外の画素とを２値化することを特徴とする請求項１乃至請求項５の何れか１項に記載の距離画像を用いた人体検知方法。
【請求項７】
前記撮像手段により撮像された距離画像を用い、請求項１乃至請求項６の何れか１項に記載の人体検知方法を実行することで、対象領域内の人体を検知する人体検知手段を具備することを特徴とする人体検知装置。
【請求項１】
撮像手段から対象領域内の物体までの距離を画素値とする距離画像を用いて対象領域内の人体を検知する人体検知方法であって、
対象領域を撮像することで距離画像を得た後に、
該距離画像を構成する複数の画素から、画素値が閾値以下となる画素領域を抽出する領域抽出処理を、前記閾値を画素値が最短の画素の画素値から段階的に伸ばして複数回行う毎に、
新たに抽出された画素領域が、既に抽出された画素領域と少なくとも一部が重複する場合、該重複する複数の画素領域を同一の物体と判断して、前記複数の画素領域の全体に同一の識別子を割り当てる識別子割当処理を行い、
同一の識別子を割り当てた複数の画素領域の画素数が人体の大きさに相当する画素数を超えるという判定条件が成立すると、前記領域抽出処理および識別子割当処理を終了し、同一の識別子が割り当てられた画素領域を人体として抽出することを特徴とする距離画像を用いた人体検知方法。
【請求項２】
撮像手段から対象領域内の物体までの距離を画素値とする距離画像を用いて対象領域内の人体を検知する人体検知方法であって、
対象領域を撮像することで距離画像を得た後に、
該距離画像を構成する複数の画素から、画素値が閾値以下となる画素領域を抽出する領域抽出処理を、前記閾値を画素値が最短の画素の画素値から段階的に伸ばして複数回行う毎に、
新たに抽出された画素領域が、既に抽出された画素領域と少なくとも一部が重複する場合、該重複する複数の画素領域を同一の物体と判断して、前記複数の画素領域の全体に同一の識別子を割り当てる識別子割当処理を行い、
上記閾値を、画素値が最短の画素の画素値から一定距離まで伸ばした場合に、同一の識別子を割り当てた複数の画素領域が単峰状の物体となるという判定条件が成立すると、前記領域抽出処理および識別子割当処理を終了し、同一の識別子が割り当てられた画素領域を人体として抽出することを特徴とする距離画像を用いた人体検知方法。
【請求項３】
撮像手段から対象領域内の物体までの距離を画素値とする距離画像を用いて対象領域内の人体を検知する人体検知方法であって、
対象領域を撮像することで距離画像を得た後に、
該距離画像を構成する複数の画素から、画素値が閾値以下となる画素領域を抽出する領域抽出処理を、前記閾値を画素値が最短の画素の画素値から段階的に伸ばして複数回行う毎に、
新たに抽出された画素領域が、既に抽出された画素領域と少なくとも一部が重複する場合、該重複する複数の画素領域を同一の物体と判断して、前記複数の画素領域の全体に同一の識別子を割り当てる識別子割当処理を行い、
同一の識別子を割り当てた複数の画素領域の内、新たに抽出した画素領域中の画素で、既に抽出した画素領域の画素と重複していない画素の画素数が所定のしきい値以下になるという判定条件が成立すると、前記領域抽出処理および識別子割当処理を終了し、同一の識別子が割り当てられた画素領域を人体として抽出することを特徴とする距離画像を用いた人体検知方法。
【請求項４】
撮像手段から対象領域内の物体までの距離を画素値とする距離画像を用いて対象領域内の人体を検知する人体検知方法であって、
対象領域を撮像することで距離画像を得た後に、
該距離画像を構成する複数の画素から、画素値が閾値以下となる画素領域を抽出する領域抽出処理を、前記閾値を画素値が最短の画素の画素値から段階的に伸ばして複数回行う毎に、
新たに抽出された画素領域が、既に抽出された画素領域と少なくとも一部が重複する場合、該重複する複数の画素領域を同一の物体と判断して、前記複数の画素領域の全体に同一の識別子を割り当てる識別子割当処理を行い、
同一の識別子を割り当てた複数の画素領域の内、新たに抽出した画素領域に、既に抽出された画素領域が包含される場合に、新たに抽出した画素領域において、既に抽出された画素領域の外側にある帯状部分の幅の平均値が所定のしきい値以下になるという判定条件が成立すると、前記領域抽出処理および識別子割当処理を終了し、同一の識別子が割り当てられた画素領域を人体として抽出することを特徴とする距離画像を用いた人体検知方法。
【請求項５】
上記判定条件と、同一の識別子を割り当てた複数の画素領域の画素数が人体の大きさに相当する画素数を超えるという判定条件とが両方共に成立すると、前記領域抽出処理および識別子割当処理を終了し、同一の識別子が割り当てられた画素領域を人体として抽出することを特徴とする請求項２乃至請求項４の何れか１項に記載の距離画像を用いた人体検知方法。
【請求項６】
上記距離画像を構成する複数の画素の内、同一の識別子が割り当てられた画素領域の画素と、それ以外の画素とを２値化することを特徴とする請求項１乃至請求項５の何れか１項に記載の距離画像を用いた人体検知方法。
【請求項７】
前記撮像手段により撮像された距離画像を用い、請求項１乃至請求項６の何れか１項に記載の人体検知方法を実行することで、対象領域内の人体を検知する人体検知手段を具備することを特徴とする人体検知装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００６−１８５１６６（Ｐ２００６−１８５１６６Ａ）
【公開日】平成１８年７月１３日（２００６．７．１３）
【国際特許分類】
【出願番号】特願２００４−３７７９２３（Ｐ２００４−３７７９２３）
【出願日】平成１６年１２月２７日（２００４．１２．２７）
【出願人】（０００００５８３２）松下電工株式会社 (17,916)
【Ｆターム（参考）】
【公開日】平成１８年７月１３日（２００６．７．１３）
【国際特許分類】
【出願日】平成１６年１２月２７日（２００４．１２．２７）
【出願人】（０００００５８３２）松下電工株式会社 (17,916)
【Ｆターム（参考）】
[ Back to top ]