距離画像センサ
【課題】距離画像における物体と背景との境界における誤検知の発生を防止した距離画像センサを提供する。
【解決手段】画像生成部１０は、強度を変調した変調光を対象空間に投光しその反射光を受光して対象空間の同物体について濃淡画像と距離画像とを生成する。フィルタ処理部２０は、距離画像において、濃淡画像の光量が所定の閾値以下の画素に規定値を付与し、さらに規定値の画素に隣接する規定値以外の画素の画素値を、物体または背景の画素値に置換する。
【解決手段】画像生成部１０は、強度を変調した変調光を対象空間に投光しその反射光を受光して対象空間の同物体について濃淡画像と距離画像とを生成する。フィルタ処理部２０は、距離画像において、濃淡画像の光量が所定の閾値以下の画素に規定値を付与し、さらに規定値の画素に隣接する規定値以外の画素の画素値を、物体または背景の画素値に置換する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、強度を変調した変調光を対象空間に投光し、その反射光を受光して対象空間の物体について距離画像を生成する距離画像センサに関するものである。
【背景技術】
【０００２】
従来から、強度を正弦波状などに変調した変調光を対象空間に投光し、その反射光を受光することにより対象空間に存在する物体までの距離を画素値とした距離画像を生成する距離画像センサが知られている（たとえば、特許文献１参照）。この種の距離画像センサは、変調光の投光から受光までの位相差を検出し、位相差を投光から受光までの時間差に換算している。
【０００３】
いま、強度が正弦波状に変化する変調光を用いる場合を想定する。変調光の周波数がｆ［Ｈｚ］、光束がｃ［ｍ／ｓｅｃ］、変調光の投光から受光までの位相差がφ［ｒａｄ］であるとすれば、物体までの距離ｄ［ｍ］は、以下の関係で求められる。
ｄ＝ｃ・φ／４π・ｆ
ところで、変調光の投光から受光までの位相差は、反射光を受光した時点における変調光の位相と受光強度との関係から求めることができる。ただし、受光強度は、物体までの距離により変化し、また対象空間の透過率および物体の反射率の影響も受けるから、実際に位相差を求めるには、３回以上の異なるタイミングでの受光強度を用いる必要がある。たとえば、変調光を生成する駆動信号の１周期において９０度ずつ異なる位相でタイミングを規定し、各タイミングに対応する受光強度を、それぞれＡ０，Ａ１，Ａ２，Ａ３とするときに、位相差φ〔ｒａｄ〕は下式で表される。
φ＝ｔａｎ−１｛（Ａ０−Ａ２）／（Ａ１−Ａ３）｝
ここで、上式から明らかなように、位相差φが２πの正の整数倍だけ異なっていても位相差φを区別することができない。すなわち、上式ではアークタンジェントの主値を位相差φに用いるから、φとφ＋２πとφ＋４πとは区別することができない。たとえば、ｆ＝２０ＭＨｚとすれば、距離画像の画素に与えることができる最大距離は、３×１０８×２π／４π・２０×１０６＝７．５［ｍ］であり、７．５［ｍ］を超える距離は７．５［ｍ］以下の距離と区別することができない。一例を示すと、３［ｍ］と１０．５［ｍ］とは区別することができない。このように動作原理によって決定される最大距離を、以下では、「限界距離」と呼ぶ。
【０００４】
ところで、上述のように対象空間に投光するとともに反射光の受光強度を検出するアクティブ型の画像センサでは、外光成分を抑制して投光した光の反射光成分による濃淡画像を得ることができる。たとえば、変調光を投光する投光期間と投光しない非投光期間とを設け、投光期間の受光量と非投光期間の受光量とを用いることにより、投光期間の受光量から外光成分（非投光期間の受光量）を除去した濃淡画像を得ることができる。この濃淡画像は、投光期間と非投光期間とにおいて受光する外光成分の受光量が等しい場合には、変調光の反射光成分のみを含む濃淡画像になる。
【０００５】
ここに、反射光成分は物体までの距離が遠いほど減衰するから、反射光成分の光量を評価すれば、限界距離を超える物体を検出しないように距離画像の画素値として採用する距離に制限を与えることができる。上述した構成では、距離画像の画素と濃淡画像の画素とが対象空間の同物体に対応するから、同物体に対する距離値と濃淡値とが得られることになる。そこで、濃淡画像の光量（画素値＝濃淡値）に所定の閾値を設定し、濃淡画像で当該閾値以下になる画素を距離画像の画素として採用しなければ、限界距離を超える距離に存在する物体を距離画像から除外することができる。なお、距離画像で採用しない画素には、規定値（たとえば、最大の距離値あるいは最小の距離値）を与えておく。
【０００６】
すなわち、距離画像において、図６（ａ）のように画素値（距離値）が分布しているとすると、中央付近の画素値は両端付近の画素値よりも近距離を表していることになる。しかしながら、濃淡画像において、図６（ｂ）のように画素値（濃淡値）が分布しているとすると、中央付近の画素に対応する物体は両端付近に対応する物体よりも遠方に位置していると判断することができる。したがって、濃淡画像に対して所定の閾値Ｔｈ１を設定すれば、濃淡値が閾値Ｔｈ１以下であるときに、限界距離を超える物体からの反射光成分であるとみなすことができる。
【０００７】
すなわち、中央付近の画素は、両端付近の画素よりも近距離であることを表すのではなく、限界距離を超えている可能性が高いことがわかる。このような画素には、図６（ｃ）のように規定値（距離画像の画素値として採用しない値）を与えると、距離画像の画素として処理の対象外に（つまり、距離画像から除外）することができる。言い換えると、濃淡画像において画素値が閾値Ｔｈ１以下である画素の領域をマスク２３とし、距離画像におけるマスク２３内の画素に規定値を与えるのである。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００４−３２６８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、距離画像では、図６（ａ）のように、限界距離内に物体が存在する領域（図６（ａ）の両端付近）と、限界距離内に物体が存在しない背景の領域（図６（ａ）の中央付近）との境界付近において、画素値の変化が急峻にはならない。すなわち、物体と背景との境界付近では距離値は階段状に変化するのが理想的であるが、図６（ａ）からわかるように、現実には、物体と背景との境界では距離値の変化に傾斜が生じる。この現象が生じるのは、距離画像センサから見て物体の背後は死角になること、距離画像を生成する際に異なるタイミングの受光強度が必要になることなどが原因と考えられる。
【００１０】
上述の現象が生じることから、距離画像においてマスク２３内の画素に規定値を与えたとしても、図６（ｃ）のように、物体と背景との境界付近には、物体が存在するかのような距離分布が生じることがある。この場合、物体と背景との境界付近に実際には存在していない障壁２２を誤って検知するという問題が生じる。物体までの距離にもよるが、このような存在していない障壁２２が発生するという誤りは、多くの場合に、物体と背景との境界における１画素程度の範囲において生じる。
【００１１】
本発明は、距離画像における物体と背景との境界における誤検知の発生を防止した距離画像センサを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明は、上述の目的を達成するために、強度を変調した変調光を対象空間に投光しその反射光を受光して対象空間の同物体について濃淡画像と距離画像とを生成する画像生成部と、距離画像において、濃淡画像の光量が所定の閾値以下の画素に規定値を付与し、さらに前記規定値の画素に隣接する前記規定値以外の画素に当該画素に隣接する画素の画素値を付与するフィルタ処理部とを備えることを特徴とする。
【００１３】
画像生成部は、変調光を対象空間に投光する発光源と、二次元配列された複数個の受光領域を有し各受光領域ごとに対象空間からの受光強度に応じた出力を取り出す撮像素子と、変調光を投光する投光期間と投光しない非投光期間とを繰り返すように発光源を駆動するタイミング制御部と、発光源による投光から撮像素子による受光までの時間差に相当する情報を発光源から投光する変調光の時間変化と受光領域での受光強度とから抽出して対象空間の物体までの距離を受光領域に対応付けた距離画像を出力する距離画像出力部と、受光領域ごとに投光期間の受光量と非投光期間の受光量との差分を受光領域に対応付けた濃淡画像を出力する濃淡画像出力部とを備えることが好ましい。
【００１４】
フィルタ処理部は、距離画像において濃淡画像の光量が所定の閾値以下の画素に規定値を付与した後、距離画像における水平方向と垂直方向との少なくとも一方向に３個以上の画素が並ぶフィルタ領域を設定し、フィルタ領域内で３個以上の画素が並ぶ方向における一端の画素が前記規定値であり他端の画素が前記規定値ではないときに、中間の画素に両端の画素のうちの一方の値を付与することが好ましい。
【００１５】
また、フィルタ処理部は、距離画像において濃淡画像の光量が所定の閾値以下の画素に規定値を付与した後、距離画像における水平方向と垂直方向とに３個ずつの画素が並ぶ３×３画素のフィルタ領域を設定し、フィルタ領域内の中央以外の画素が前記規定値であるときに、前記規定値の画素に隣接する画素の画素値として残りの画素の画素値を付与することが好ましい。
【発明の効果】
【００１６】
本発明の構成によれば、同物体について濃淡画像と距離画像とが得られる距離画像センサにおいて、濃淡画像の光量が所定の閾値以下である画素の距離値として規定値を与え、さらに、規定値を与えた画素に隣接する規定値以外の画素に距離値として当該画素に隣接する画素の画素値を与えるから、距離画像における物体と背景との境界における誤検知の発生を防止することができるという利点がある。
【図面の簡単な説明】
【００１７】
【図１】実施形態を示すブロック図である。
【図２】同上の動作説明図である。
【図３】同上に用いるフィルタ領域の説明図である。
【図４】同上の動作説明図である。
【図５】同上の動作説明図である。
【図６】従来の動作説明図である。
【発明を実施するための形態】
【００１８】
本実施形態において説明する距離画像センサは、対象空間に投光するとともに、対象空間に存在する物体（人間や動物を含む）からの反射光を受光し、投光から受光までの時間差に相当する情報を用いて物体までの距離を検出する構成を備える。この種の技術は、飛行時間法（Time Of Flight）と呼ばれている。
【００１９】
距離画像センサは、図１に示すように、発光源１１から対象空間に投光し、対象空間における物体からの反射光をＣＣＤイメージセンサのような撮像素子１２で受光するアクティブ型に構成されている。発光源１１からは時間とともに強度が変化する変調光が出射され、物体で反射され撮像素子１２で受光された変調光と投光した変調光との位相差を、投光から受光までの時間差に相当する情報として用いる。変調光の変調波形は、正弦波、三角波、鋸歯状波、方形波などから選択する。また、変調光の周期は一定とする。
【００２０】
撮像素子１２は、複数個の受光領域（画素）が二次元配列されたＣＣＤイメージセンサやＣＭＯＳイメージセンサとして周知の構成のものを用いることができる。ただし、撮像素子１２は、距離画像センサに適する特別な構造を有するように設計されていてもよい。この種の撮像素子１２は、基本的な構造については、ＣＣＤイメージセンサやＣＭＯＳイメージセンサと類似しているが、１画素について複数個の受光領域を有し、受光領域ごとの受光感度が電気信号により制御可能になっている。
【００２１】
撮像素子１２の各受光領域では受光強度（実際には、受光量）に応じた量の電荷を生成する。受光領域の受光感度を制御するのは、変調光を受光するタイミングを制御することによって投光と受光との位相差を含む情報を検出するためである。また、この撮像素子は、各受光領域で生成された電荷を変調光の変調周期の整数倍の期間に亘って蓄積する蓄積領域を有し、さらに、受光領域で生成した電荷のうち変調光ではない環境光ないし周囲光の成分を低減させる機能を備える場合もある。
【００２２】
以下では、距離画像センサの一構成例として下記構成を想定して説明する。ただし、変調光の変調波形、撮像素子の構成、撮像素子の制御などに関して、周知の種々の距離画像センサに提供された構成に置換することが可能である。
【００２３】
距離画像センサは、図１に示すように、画像生成部１０とフィルタ処理部２０とを備える。画像生成部１０は、発光源１１から対象空間に変調光を投光し、その反射光を撮像素子１２で受光することにより、撮像素子１２の視野内に設定された対象空間に存在する物体について距離画像と濃淡画像とを生成する。一方、フィルタ処理部２０は、画像生成部１０で生成された距離画像において、濃淡画像の光量が所定の閾値以下の画素に規定値を付与する。さらに、フィルタ処理部２０は、規定値の画素に隣接する規定値以外の画素に対して隣接する画素の画素値を付与する。
【００２４】
画像生成部１０は、光を出射する発光源１１と、対象空間からの光を受光する撮像素子１２とを備える。発光源１１には、発光ダイオードやレーザダイオードのように入力の瞬時値に比例した光出力が得られる発光素子を用いる。また、発光源１１から出射する光量を確保するために、発光源１１は適数個の発光素子を用いて構成される。発光源１１から出射された変調光は投光光学系１３を通して対象空間に投光される。一方、撮像素子１２は、受光光学系１４を通して対象空間からの光を受光する。投光光学系１３と受光光学系１４とは、投受光の方向を平行にして互いに近接して配置してある。
【００２５】
画像生成部１０は、発光源１１と撮像素子１２とに与える駆動信号を出力するタイミング制御部１５と、発光源１１に与える駆動信号と撮像素子１２の各受光領域の受光量との関係により濃淡画像および距離画像を出力する画像出力部１６とを備える。
【００２６】
タイミング制御部１５は、図２（ａ）のように、発光源１１に対して駆動信号を間欠的に与える。駆動信号は、に示すように、電圧が一定周波数（たとえば、２０ＭＨｚ）の正弦波形で変化し、図２（ｂ）に示すように、光出力（光の強度）が正弦波状に変化する変調光を発光源１１から対象空間に投光させる。発光源１１に駆動信号を与えることにより、強度が変調された変調光が投光されるから、この駆動信号を以下では、「変調信号」と呼ぶ。変調信号を発光源１１に与えている期間Ｔ１は対象空間に変調光を投光する投光期間に対応し、変調信号を発光源１１に与えていない期間（休止期間）Ｔ２は変調光を投光しない非投光期間に対応する。発光源１１が発光ダイオードである場合には、電流制限抵抗を介して発光ダイオードに変調信号の電圧を印加することにより、発光ダイオードの通電電流を変化させ変調光を出射させる。
【００２７】
撮像素子１２は、電子シャッタの技術を用いることで、駆動信号に同期する期間にのみ各受光領域において受光強度に応じた電荷を生成する。また、撮像素子１２は、受光領域で生成された電荷を、遮光された蓄積領域に転送し、蓄積領域において変調信号の複数周期（たとえば、１００００周期）に相当する蓄積期間に蓄積した後に、受光出力として外部に取り出す。
【００２８】
撮像素子１２を駆動する駆動信号は、発光源１１に与える変調信号（駆動信号）に同期するように生成される。ここでは、変調信号の１周期における異なる４位相を規定し、これらの位相ごとに一定時間幅の受光期間を設定する４種類の駆動信号を生成する。また、撮像素子１２の駆動に際しては蓄積期間が設定され、蓄積期間ごとに４種類の駆動信号のうちの各１種類の駆動信号を撮像素子１２に与える。この駆動信号は、撮像素子１２の各受光領域での受光期間を規定する。以下では、この駆動信号を「受光タイミング信号」と呼ぶ。
【００２９】
１種類の受光タイミング信号で規定される受光期間において受光領域で生成された電荷は１回の蓄積期間において蓄積され、蓄積後の電荷が受光出力として撮像素子１２の外部に取り出される。ここでは、撮像素子１２の１画素に１個の受光領域を対応付けている場合を想定している。したがって、受光領域で生成された電荷を蓄積期間に蓄積する処理を４回繰り返すことにより、４回の蓄積期間で４種類の受光タイミング信号に対応する受光出力が撮像素子１２の外部に取り出される。
【００３０】
いま、図２（ｃ）のように、変調信号の１周期において９０度ずつ異なる４位相を規定し、各位相ごとに受光タイミング信号を規定する。この場合、各受光タイミング信号に対応する受光出力（電荷量）を、それぞれＡ０，Ａ１，Ａ２，Ａ３とするときに、位相差φ〔ｒａｄ〕は下式で表される。
φ＝ｔａｎ−１｛（Ａ０−Ａ２）／（Ａ１−Ａ３）｝
変調信号の周波数をｆ〔Ｈｚ〕とすれば、投光から受光までの時間差Δｔは位相差φを用いて、Δｔ＝φ／２π・ｆと表されるから、光速をｃ〔ｍ／ｓ〕とすると、物体までの距離は、ｃ・φ／４π・ｆと表すことができる。
【００３１】
すなわち、４種類の受光出力（電荷量）Ａ０〜Ａ３により物体までの距離を求めることができる。なお、受光タイミング信号で規定される受光期間の時間幅は、受光領域において適正な受光量が得られるように、適宜に設定することができる（たとえば、変調信号の４分の１周期に相当する時間幅とすることができる）。ただし、各受光期間の時間幅は互いに等しくする必要がある。
【００３２】
画像出力部１６は、上述のように、受光出力（電荷量）Ａ０〜Ａ３に基づいて投光から受光までの時間差に相当する情報としての位相差φを求め、対象空間の物体までの距離に換算する。したがって、画像出力部１６は、受光領域（すなわち、画素）に物体までの距離を対応付けた距離画像を出力する距離画像出力部１７を備える。さらに、画像出力部１６は、投光期間と非投光期間との受光量の差を求めることにより、変調光の反射光成分に相当する濃淡値を各受光領域に対応付けた濃淡画像を出力する濃淡画像出力部１８も備える。画像出力部１６は、マイコンを用いて構成され、上述した処理は、マイコンにより実行されるプログラムで実現される。
【００３３】
上述の動作では、１画素について１個の受光領域を用いているから、４種類の受光出力（電荷量）Ａ０〜Ａ３を撮像素子１２から取り出すために４回の蓄積期間が必要であるが、１画素について２個の受光領域を設けてもよい。この場合、変調信号の１周期で２種類の受光タイミング信号に対応する電荷を生成することが可能になるから、撮像素子１２から２種類の受光タイミング信号に対応した受光出力を１回で読み出すことが可能になる。同様に、１画素に４個の受光領域を設ければ、変調信号の１周期で４種類の受光タイミング信号に対応する電荷を生成し、４種類の受光タイミング信号に対応する受光出力を１回で読み出すことが可能になる。
【００３４】
ところで、画像出力部１６は、距離画像出力部１７と濃淡画像出力部１８とを備えており、距離画像出力部１７から出力される距離画像と、濃淡画像出力部１８から出力される濃淡画像とは同物体について同画素が対応している。このことを利用して、濃淡画像の濃淡値（受光領域の光量）に対して閾値を設定し、反射光成分が閾値以下である画素については、距離画像の距離値を採用しないようにすれば、距離値の誤検知を防止することができる。
【００３５】
距離値の誤検知を防止するために、画像生成部１０から出力される距離画像と濃淡画像とはフィルタ処理部２０に入力される。フィルタ処理部２０は、距離画像において濃淡画像の光量が所定の閾値以下の画素に規定値を付与する。規定値には、距離画像における画素値の最大値あるいは最小値を割り当てる。たとえば、距離値を８ビットで表現している場合、規定値として「０」または「２５５」を用いればよい。変調信号が２０［ＭＨｚ］であれば、計測可能な最大距離は７．５［ｍ］であるから、７．５［ｍ］を「２５４」に割り当て、「２５５」を上述の規定値に割り当てればよい。
【００３６】
ただし、従来の技術の課題として説明したように、この処理を行うだけでは、物体と背景との境界付近において、実際には存在しない障壁が距離画像に生じることになる。すなわち、図６（ｃ）のように、距離画像において濃淡画像の画素値が規定値以下である画素に上述した規定値を付与すると、物体と背景との境界付近に、実際には存在しない障壁２２が発生することがある。図６（ｃ）では、左右方向の中央部が規定値を付与した背景の領域を示し、左右方向の両端部が物体の領域を示している。
【００３７】
このような実際に存在しない障壁２２を距離画像から除去するために、フィルタ処理部２０では、距離画像における水平方向と垂直方向との少なくとも一方向に３個以上の画素が並ぶフィルタ領域を設定している。そして、フィルタ領域内で３個以上の画素が並ぶ方向において、一端の画素が上述の規定値（たとえば、「２５５」）であり、他端の画素が上述の閾値ではないときに、中間の画素に両端の画素のうちの一方の値を付与する。この処理により、距離画像において障壁２２を発生させている画素に物体または背景の画素値を与えて、障壁２２を除去することが可能になる。
【００３８】
具体例として、距離画像の水平方向と垂直方向とに３個ずつの画素が並ぶ３×３画素のフィルタ領域を設定した場合を想定する。また、距離画像の水平方向において物体と背景との境界が生じており、障壁２２が１画素の幅を有しているとする。フィルタ処理部２０では、距離画像内でフィルタ領域を走査し、物体と背景とに跨る領域にフィルタ領域を配置する。
【００３９】
このとき、図３（ａ）のように、距離画像における水平方向において、フィルタ領域２１の一端（図示例では右端）の画素は物体に跨り、他端（図示例では左端）の画素は背景に跨っている。図示例では、右端の画素値は「１０２」（≒３［ｍ］）であり、左端の画素値は規定値である「２５５」になっている。また、フィルタ領域２１における左右方向の中央の列の画素値は、存在しない障壁２２を形成する値（図示例では、「５１」≒１．５［ｍ］）になっている。
【００４０】
フィルタ処理部２０では、フィルタ領域２１の画素値が、図３（ａ）のような関係になった場合（すなわち、物体と背景との境界で障壁２２が検出された場合）、図３（ｂ）のように、物体と背景との境界に相当する画素を、物体（または背景）の画素値に置換する。つまり、距離画像において、物体と背景との間に、実際には存在しない障壁２２が生じている場合に、障壁２２を形成している画素の画素値として、物体（または背景）の画素値を与えるのである。フィルタ処理部２０において、この処理を行うことにより、図４に示すように、実際には存在しない障壁２２（破線で示している）を除去した距離画像を出力することができる。すなわち、フィルタ処理部２０は、濃淡画像の画素ごとの光量に対する閾値Ｔｈ１を用いて設定したマスク２３により限界距離を超える背景を除去し、さらに、マスク２３では除去できないノイズである障壁２２をフィルタ領域２１を用いて除去するのである。フィルタ処理部２０のこの動作により、距離画像の生成原理によって生じるノイズを除去した距離画像を得ることができる。
【００４１】
上述の例では、障壁２２に物体の画素値を付与しているが、背景である規定値を付与してもよい。また、フィルタ領域２１のサイズは、３×３画素でなくてもよく、３×５画素や５×５画素などとしてもよい。また、上述の例では、距離画像の水平方向において物体と背景との領域が並んでいる場合を示したが、距離画像の垂直方向において物体と背景との領域が並んでいる場合でも同様の処理を行うことができる。あるいはまた、物体の角付近であって、距離画像の水平方向と垂直方向との両方において、障壁２２が生じている場合でも同様の処理が可能である。
【００４２】
ところで、上述の動作では、濃淡画像の画素値を用いて距離画像の限界距離を超える背景を除去し、さらに物体と背景との境界で距離画像の距離値の変化に生じる傾斜を除去する処理を行っている。距離値の変化に生じる傾斜を除去するには、図５に示すように、距離画像の距離値に対して遠距離側と近距離側との閾値Ｄ１，Ｄ２を設定し、閾値Ｄ１，Ｄ２の間の距離値を固定値に置換する処理を行ってもよい。
【００４３】
すなわち、図５のように距離値の変化に生じる傾斜を除去する場合には、傾斜の範囲を含む程度の幅を有したフィルタ領域２１（図５では５×１画素）を設定し、フィルタ領域２１の両端の距離値を求める。図示例では、フィルタ領域２１の両端の画素の距離値がＡ，Ｂ（Ａ＜Ｂ）になっている。ここで、距離値Ａが閾値Ｄ１より小さく、距離値Ｂが閾値Ｄ２が大きい場合には、残りの３画素の距離値を、閾値Ｄ１より小さい規定値Ｍに置換している。この処理を行うことにより、図５に一点鎖線で示すように、距離値が階段状に変化する距離画像が得られる。
【００４４】
段差を有する物体の境界付近において距離画像では距離値の変化に傾斜が生じているときに、上述の処理を行うことによって、傾斜部分を除去して距離値を階段状に変化させることができる。すなわち、距離画像内においても実際の物体の距離値の変化に近づけることができる。言い換えると、距離画像内での物体の輪郭線を明確にすることができる。
【００４５】
なお、水平方向に延長された５×１画素のフィルタ領域２１を例示したが、フィルタ領域２１は３画素以上であればよく、また、水平方向ではなく垂直方向に延長されたフィルタ領域２１を用いてもよい。さらに、水平方向と垂直方向との両方向について距離値の変化の傾斜を除去するために、水平方向と垂直方向とにそれぞれ複数画素を配列した正方マトリクス状のフィルタ領域２１を設定してもよい。
【符号の説明】
【００４６】
１０ 画像生成部
１１ 発光源
１２ 撮像素子
１５ タイミング制御部
１６ 画像出力部
１７ 距離画像出力部
１８ 濃淡画像出力部
２０ フィルタ処理部
２１ フィルタ領域
【技術分野】
【０００１】
本発明は、強度を変調した変調光を対象空間に投光し、その反射光を受光して対象空間の物体について距離画像を生成する距離画像センサに関するものである。
【背景技術】
【０００２】
従来から、強度を正弦波状などに変調した変調光を対象空間に投光し、その反射光を受光することにより対象空間に存在する物体までの距離を画素値とした距離画像を生成する距離画像センサが知られている（たとえば、特許文献１参照）。この種の距離画像センサは、変調光の投光から受光までの位相差を検出し、位相差を投光から受光までの時間差に換算している。
【０００３】
いま、強度が正弦波状に変化する変調光を用いる場合を想定する。変調光の周波数がｆ［Ｈｚ］、光束がｃ［ｍ／ｓｅｃ］、変調光の投光から受光までの位相差がφ［ｒａｄ］であるとすれば、物体までの距離ｄ［ｍ］は、以下の関係で求められる。
ｄ＝ｃ・φ／４π・ｆ
ところで、変調光の投光から受光までの位相差は、反射光を受光した時点における変調光の位相と受光強度との関係から求めることができる。ただし、受光強度は、物体までの距離により変化し、また対象空間の透過率および物体の反射率の影響も受けるから、実際に位相差を求めるには、３回以上の異なるタイミングでの受光強度を用いる必要がある。たとえば、変調光を生成する駆動信号の１周期において９０度ずつ異なる位相でタイミングを規定し、各タイミングに対応する受光強度を、それぞれＡ０，Ａ１，Ａ２，Ａ３とするときに、位相差φ〔ｒａｄ〕は下式で表される。
φ＝ｔａｎ−１｛（Ａ０−Ａ２）／（Ａ１−Ａ３）｝
ここで、上式から明らかなように、位相差φが２πの正の整数倍だけ異なっていても位相差φを区別することができない。すなわち、上式ではアークタンジェントの主値を位相差φに用いるから、φとφ＋２πとφ＋４πとは区別することができない。たとえば、ｆ＝２０ＭＨｚとすれば、距離画像の画素に与えることができる最大距離は、３×１０８×２π／４π・２０×１０６＝７．５［ｍ］であり、７．５［ｍ］を超える距離は７．５［ｍ］以下の距離と区別することができない。一例を示すと、３［ｍ］と１０．５［ｍ］とは区別することができない。このように動作原理によって決定される最大距離を、以下では、「限界距離」と呼ぶ。
【０００４】
ところで、上述のように対象空間に投光するとともに反射光の受光強度を検出するアクティブ型の画像センサでは、外光成分を抑制して投光した光の反射光成分による濃淡画像を得ることができる。たとえば、変調光を投光する投光期間と投光しない非投光期間とを設け、投光期間の受光量と非投光期間の受光量とを用いることにより、投光期間の受光量から外光成分（非投光期間の受光量）を除去した濃淡画像を得ることができる。この濃淡画像は、投光期間と非投光期間とにおいて受光する外光成分の受光量が等しい場合には、変調光の反射光成分のみを含む濃淡画像になる。
【０００５】
ここに、反射光成分は物体までの距離が遠いほど減衰するから、反射光成分の光量を評価すれば、限界距離を超える物体を検出しないように距離画像の画素値として採用する距離に制限を与えることができる。上述した構成では、距離画像の画素と濃淡画像の画素とが対象空間の同物体に対応するから、同物体に対する距離値と濃淡値とが得られることになる。そこで、濃淡画像の光量（画素値＝濃淡値）に所定の閾値を設定し、濃淡画像で当該閾値以下になる画素を距離画像の画素として採用しなければ、限界距離を超える距離に存在する物体を距離画像から除外することができる。なお、距離画像で採用しない画素には、規定値（たとえば、最大の距離値あるいは最小の距離値）を与えておく。
【０００６】
すなわち、距離画像において、図６（ａ）のように画素値（距離値）が分布しているとすると、中央付近の画素値は両端付近の画素値よりも近距離を表していることになる。しかしながら、濃淡画像において、図６（ｂ）のように画素値（濃淡値）が分布しているとすると、中央付近の画素に対応する物体は両端付近に対応する物体よりも遠方に位置していると判断することができる。したがって、濃淡画像に対して所定の閾値Ｔｈ１を設定すれば、濃淡値が閾値Ｔｈ１以下であるときに、限界距離を超える物体からの反射光成分であるとみなすことができる。
【０００７】
すなわち、中央付近の画素は、両端付近の画素よりも近距離であることを表すのではなく、限界距離を超えている可能性が高いことがわかる。このような画素には、図６（ｃ）のように規定値（距離画像の画素値として採用しない値）を与えると、距離画像の画素として処理の対象外に（つまり、距離画像から除外）することができる。言い換えると、濃淡画像において画素値が閾値Ｔｈ１以下である画素の領域をマスク２３とし、距離画像におけるマスク２３内の画素に規定値を与えるのである。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００４−３２６８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、距離画像では、図６（ａ）のように、限界距離内に物体が存在する領域（図６（ａ）の両端付近）と、限界距離内に物体が存在しない背景の領域（図６（ａ）の中央付近）との境界付近において、画素値の変化が急峻にはならない。すなわち、物体と背景との境界付近では距離値は階段状に変化するのが理想的であるが、図６（ａ）からわかるように、現実には、物体と背景との境界では距離値の変化に傾斜が生じる。この現象が生じるのは、距離画像センサから見て物体の背後は死角になること、距離画像を生成する際に異なるタイミングの受光強度が必要になることなどが原因と考えられる。
【００１０】
上述の現象が生じることから、距離画像においてマスク２３内の画素に規定値を与えたとしても、図６（ｃ）のように、物体と背景との境界付近には、物体が存在するかのような距離分布が生じることがある。この場合、物体と背景との境界付近に実際には存在していない障壁２２を誤って検知するという問題が生じる。物体までの距離にもよるが、このような存在していない障壁２２が発生するという誤りは、多くの場合に、物体と背景との境界における１画素程度の範囲において生じる。
【００１１】
本発明は、距離画像における物体と背景との境界における誤検知の発生を防止した距離画像センサを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明は、上述の目的を達成するために、強度を変調した変調光を対象空間に投光しその反射光を受光して対象空間の同物体について濃淡画像と距離画像とを生成する画像生成部と、距離画像において、濃淡画像の光量が所定の閾値以下の画素に規定値を付与し、さらに前記規定値の画素に隣接する前記規定値以外の画素に当該画素に隣接する画素の画素値を付与するフィルタ処理部とを備えることを特徴とする。
【００１３】
画像生成部は、変調光を対象空間に投光する発光源と、二次元配列された複数個の受光領域を有し各受光領域ごとに対象空間からの受光強度に応じた出力を取り出す撮像素子と、変調光を投光する投光期間と投光しない非投光期間とを繰り返すように発光源を駆動するタイミング制御部と、発光源による投光から撮像素子による受光までの時間差に相当する情報を発光源から投光する変調光の時間変化と受光領域での受光強度とから抽出して対象空間の物体までの距離を受光領域に対応付けた距離画像を出力する距離画像出力部と、受光領域ごとに投光期間の受光量と非投光期間の受光量との差分を受光領域に対応付けた濃淡画像を出力する濃淡画像出力部とを備えることが好ましい。
【００１４】
フィルタ処理部は、距離画像において濃淡画像の光量が所定の閾値以下の画素に規定値を付与した後、距離画像における水平方向と垂直方向との少なくとも一方向に３個以上の画素が並ぶフィルタ領域を設定し、フィルタ領域内で３個以上の画素が並ぶ方向における一端の画素が前記規定値であり他端の画素が前記規定値ではないときに、中間の画素に両端の画素のうちの一方の値を付与することが好ましい。
【００１５】
また、フィルタ処理部は、距離画像において濃淡画像の光量が所定の閾値以下の画素に規定値を付与した後、距離画像における水平方向と垂直方向とに３個ずつの画素が並ぶ３×３画素のフィルタ領域を設定し、フィルタ領域内の中央以外の画素が前記規定値であるときに、前記規定値の画素に隣接する画素の画素値として残りの画素の画素値を付与することが好ましい。
【発明の効果】
【００１６】
本発明の構成によれば、同物体について濃淡画像と距離画像とが得られる距離画像センサにおいて、濃淡画像の光量が所定の閾値以下である画素の距離値として規定値を与え、さらに、規定値を与えた画素に隣接する規定値以外の画素に距離値として当該画素に隣接する画素の画素値を与えるから、距離画像における物体と背景との境界における誤検知の発生を防止することができるという利点がある。
【図面の簡単な説明】
【００１７】
【図１】実施形態を示すブロック図である。
【図２】同上の動作説明図である。
【図３】同上に用いるフィルタ領域の説明図である。
【図４】同上の動作説明図である。
【図５】同上の動作説明図である。
【図６】従来の動作説明図である。
【発明を実施するための形態】
【００１８】
本実施形態において説明する距離画像センサは、対象空間に投光するとともに、対象空間に存在する物体（人間や動物を含む）からの反射光を受光し、投光から受光までの時間差に相当する情報を用いて物体までの距離を検出する構成を備える。この種の技術は、飛行時間法（Time Of Flight）と呼ばれている。
【００１９】
距離画像センサは、図１に示すように、発光源１１から対象空間に投光し、対象空間における物体からの反射光をＣＣＤイメージセンサのような撮像素子１２で受光するアクティブ型に構成されている。発光源１１からは時間とともに強度が変化する変調光が出射され、物体で反射され撮像素子１２で受光された変調光と投光した変調光との位相差を、投光から受光までの時間差に相当する情報として用いる。変調光の変調波形は、正弦波、三角波、鋸歯状波、方形波などから選択する。また、変調光の周期は一定とする。
【００２０】
撮像素子１２は、複数個の受光領域（画素）が二次元配列されたＣＣＤイメージセンサやＣＭＯＳイメージセンサとして周知の構成のものを用いることができる。ただし、撮像素子１２は、距離画像センサに適する特別な構造を有するように設計されていてもよい。この種の撮像素子１２は、基本的な構造については、ＣＣＤイメージセンサやＣＭＯＳイメージセンサと類似しているが、１画素について複数個の受光領域を有し、受光領域ごとの受光感度が電気信号により制御可能になっている。
【００２１】
撮像素子１２の各受光領域では受光強度（実際には、受光量）に応じた量の電荷を生成する。受光領域の受光感度を制御するのは、変調光を受光するタイミングを制御することによって投光と受光との位相差を含む情報を検出するためである。また、この撮像素子は、各受光領域で生成された電荷を変調光の変調周期の整数倍の期間に亘って蓄積する蓄積領域を有し、さらに、受光領域で生成した電荷のうち変調光ではない環境光ないし周囲光の成分を低減させる機能を備える場合もある。
【００２２】
以下では、距離画像センサの一構成例として下記構成を想定して説明する。ただし、変調光の変調波形、撮像素子の構成、撮像素子の制御などに関して、周知の種々の距離画像センサに提供された構成に置換することが可能である。
【００２３】
距離画像センサは、図１に示すように、画像生成部１０とフィルタ処理部２０とを備える。画像生成部１０は、発光源１１から対象空間に変調光を投光し、その反射光を撮像素子１２で受光することにより、撮像素子１２の視野内に設定された対象空間に存在する物体について距離画像と濃淡画像とを生成する。一方、フィルタ処理部２０は、画像生成部１０で生成された距離画像において、濃淡画像の光量が所定の閾値以下の画素に規定値を付与する。さらに、フィルタ処理部２０は、規定値の画素に隣接する規定値以外の画素に対して隣接する画素の画素値を付与する。
【００２４】
画像生成部１０は、光を出射する発光源１１と、対象空間からの光を受光する撮像素子１２とを備える。発光源１１には、発光ダイオードやレーザダイオードのように入力の瞬時値に比例した光出力が得られる発光素子を用いる。また、発光源１１から出射する光量を確保するために、発光源１１は適数個の発光素子を用いて構成される。発光源１１から出射された変調光は投光光学系１３を通して対象空間に投光される。一方、撮像素子１２は、受光光学系１４を通して対象空間からの光を受光する。投光光学系１３と受光光学系１４とは、投受光の方向を平行にして互いに近接して配置してある。
【００２５】
画像生成部１０は、発光源１１と撮像素子１２とに与える駆動信号を出力するタイミング制御部１５と、発光源１１に与える駆動信号と撮像素子１２の各受光領域の受光量との関係により濃淡画像および距離画像を出力する画像出力部１６とを備える。
【００２６】
タイミング制御部１５は、図２（ａ）のように、発光源１１に対して駆動信号を間欠的に与える。駆動信号は、に示すように、電圧が一定周波数（たとえば、２０ＭＨｚ）の正弦波形で変化し、図２（ｂ）に示すように、光出力（光の強度）が正弦波状に変化する変調光を発光源１１から対象空間に投光させる。発光源１１に駆動信号を与えることにより、強度が変調された変調光が投光されるから、この駆動信号を以下では、「変調信号」と呼ぶ。変調信号を発光源１１に与えている期間Ｔ１は対象空間に変調光を投光する投光期間に対応し、変調信号を発光源１１に与えていない期間（休止期間）Ｔ２は変調光を投光しない非投光期間に対応する。発光源１１が発光ダイオードである場合には、電流制限抵抗を介して発光ダイオードに変調信号の電圧を印加することにより、発光ダイオードの通電電流を変化させ変調光を出射させる。
【００２７】
撮像素子１２は、電子シャッタの技術を用いることで、駆動信号に同期する期間にのみ各受光領域において受光強度に応じた電荷を生成する。また、撮像素子１２は、受光領域で生成された電荷を、遮光された蓄積領域に転送し、蓄積領域において変調信号の複数周期（たとえば、１００００周期）に相当する蓄積期間に蓄積した後に、受光出力として外部に取り出す。
【００２８】
撮像素子１２を駆動する駆動信号は、発光源１１に与える変調信号（駆動信号）に同期するように生成される。ここでは、変調信号の１周期における異なる４位相を規定し、これらの位相ごとに一定時間幅の受光期間を設定する４種類の駆動信号を生成する。また、撮像素子１２の駆動に際しては蓄積期間が設定され、蓄積期間ごとに４種類の駆動信号のうちの各１種類の駆動信号を撮像素子１２に与える。この駆動信号は、撮像素子１２の各受光領域での受光期間を規定する。以下では、この駆動信号を「受光タイミング信号」と呼ぶ。
【００２９】
１種類の受光タイミング信号で規定される受光期間において受光領域で生成された電荷は１回の蓄積期間において蓄積され、蓄積後の電荷が受光出力として撮像素子１２の外部に取り出される。ここでは、撮像素子１２の１画素に１個の受光領域を対応付けている場合を想定している。したがって、受光領域で生成された電荷を蓄積期間に蓄積する処理を４回繰り返すことにより、４回の蓄積期間で４種類の受光タイミング信号に対応する受光出力が撮像素子１２の外部に取り出される。
【００３０】
いま、図２（ｃ）のように、変調信号の１周期において９０度ずつ異なる４位相を規定し、各位相ごとに受光タイミング信号を規定する。この場合、各受光タイミング信号に対応する受光出力（電荷量）を、それぞれＡ０，Ａ１，Ａ２，Ａ３とするときに、位相差φ〔ｒａｄ〕は下式で表される。
φ＝ｔａｎ−１｛（Ａ０−Ａ２）／（Ａ１−Ａ３）｝
変調信号の周波数をｆ〔Ｈｚ〕とすれば、投光から受光までの時間差Δｔは位相差φを用いて、Δｔ＝φ／２π・ｆと表されるから、光速をｃ〔ｍ／ｓ〕とすると、物体までの距離は、ｃ・φ／４π・ｆと表すことができる。
【００３１】
すなわち、４種類の受光出力（電荷量）Ａ０〜Ａ３により物体までの距離を求めることができる。なお、受光タイミング信号で規定される受光期間の時間幅は、受光領域において適正な受光量が得られるように、適宜に設定することができる（たとえば、変調信号の４分の１周期に相当する時間幅とすることができる）。ただし、各受光期間の時間幅は互いに等しくする必要がある。
【００３２】
画像出力部１６は、上述のように、受光出力（電荷量）Ａ０〜Ａ３に基づいて投光から受光までの時間差に相当する情報としての位相差φを求め、対象空間の物体までの距離に換算する。したがって、画像出力部１６は、受光領域（すなわち、画素）に物体までの距離を対応付けた距離画像を出力する距離画像出力部１７を備える。さらに、画像出力部１６は、投光期間と非投光期間との受光量の差を求めることにより、変調光の反射光成分に相当する濃淡値を各受光領域に対応付けた濃淡画像を出力する濃淡画像出力部１８も備える。画像出力部１６は、マイコンを用いて構成され、上述した処理は、マイコンにより実行されるプログラムで実現される。
【００３３】
上述の動作では、１画素について１個の受光領域を用いているから、４種類の受光出力（電荷量）Ａ０〜Ａ３を撮像素子１２から取り出すために４回の蓄積期間が必要であるが、１画素について２個の受光領域を設けてもよい。この場合、変調信号の１周期で２種類の受光タイミング信号に対応する電荷を生成することが可能になるから、撮像素子１２から２種類の受光タイミング信号に対応した受光出力を１回で読み出すことが可能になる。同様に、１画素に４個の受光領域を設ければ、変調信号の１周期で４種類の受光タイミング信号に対応する電荷を生成し、４種類の受光タイミング信号に対応する受光出力を１回で読み出すことが可能になる。
【００３４】
ところで、画像出力部１６は、距離画像出力部１７と濃淡画像出力部１８とを備えており、距離画像出力部１７から出力される距離画像と、濃淡画像出力部１８から出力される濃淡画像とは同物体について同画素が対応している。このことを利用して、濃淡画像の濃淡値（受光領域の光量）に対して閾値を設定し、反射光成分が閾値以下である画素については、距離画像の距離値を採用しないようにすれば、距離値の誤検知を防止することができる。
【００３５】
距離値の誤検知を防止するために、画像生成部１０から出力される距離画像と濃淡画像とはフィルタ処理部２０に入力される。フィルタ処理部２０は、距離画像において濃淡画像の光量が所定の閾値以下の画素に規定値を付与する。規定値には、距離画像における画素値の最大値あるいは最小値を割り当てる。たとえば、距離値を８ビットで表現している場合、規定値として「０」または「２５５」を用いればよい。変調信号が２０［ＭＨｚ］であれば、計測可能な最大距離は７．５［ｍ］であるから、７．５［ｍ］を「２５４」に割り当て、「２５５」を上述の規定値に割り当てればよい。
【００３６】
ただし、従来の技術の課題として説明したように、この処理を行うだけでは、物体と背景との境界付近において、実際には存在しない障壁が距離画像に生じることになる。すなわち、図６（ｃ）のように、距離画像において濃淡画像の画素値が規定値以下である画素に上述した規定値を付与すると、物体と背景との境界付近に、実際には存在しない障壁２２が発生することがある。図６（ｃ）では、左右方向の中央部が規定値を付与した背景の領域を示し、左右方向の両端部が物体の領域を示している。
【００３７】
このような実際に存在しない障壁２２を距離画像から除去するために、フィルタ処理部２０では、距離画像における水平方向と垂直方向との少なくとも一方向に３個以上の画素が並ぶフィルタ領域を設定している。そして、フィルタ領域内で３個以上の画素が並ぶ方向において、一端の画素が上述の規定値（たとえば、「２５５」）であり、他端の画素が上述の閾値ではないときに、中間の画素に両端の画素のうちの一方の値を付与する。この処理により、距離画像において障壁２２を発生させている画素に物体または背景の画素値を与えて、障壁２２を除去することが可能になる。
【００３８】
具体例として、距離画像の水平方向と垂直方向とに３個ずつの画素が並ぶ３×３画素のフィルタ領域を設定した場合を想定する。また、距離画像の水平方向において物体と背景との境界が生じており、障壁２２が１画素の幅を有しているとする。フィルタ処理部２０では、距離画像内でフィルタ領域を走査し、物体と背景とに跨る領域にフィルタ領域を配置する。
【００３９】
このとき、図３（ａ）のように、距離画像における水平方向において、フィルタ領域２１の一端（図示例では右端）の画素は物体に跨り、他端（図示例では左端）の画素は背景に跨っている。図示例では、右端の画素値は「１０２」（≒３［ｍ］）であり、左端の画素値は規定値である「２５５」になっている。また、フィルタ領域２１における左右方向の中央の列の画素値は、存在しない障壁２２を形成する値（図示例では、「５１」≒１．５［ｍ］）になっている。
【００４０】
フィルタ処理部２０では、フィルタ領域２１の画素値が、図３（ａ）のような関係になった場合（すなわち、物体と背景との境界で障壁２２が検出された場合）、図３（ｂ）のように、物体と背景との境界に相当する画素を、物体（または背景）の画素値に置換する。つまり、距離画像において、物体と背景との間に、実際には存在しない障壁２２が生じている場合に、障壁２２を形成している画素の画素値として、物体（または背景）の画素値を与えるのである。フィルタ処理部２０において、この処理を行うことにより、図４に示すように、実際には存在しない障壁２２（破線で示している）を除去した距離画像を出力することができる。すなわち、フィルタ処理部２０は、濃淡画像の画素ごとの光量に対する閾値Ｔｈ１を用いて設定したマスク２３により限界距離を超える背景を除去し、さらに、マスク２３では除去できないノイズである障壁２２をフィルタ領域２１を用いて除去するのである。フィルタ処理部２０のこの動作により、距離画像の生成原理によって生じるノイズを除去した距離画像を得ることができる。
【００４１】
上述の例では、障壁２２に物体の画素値を付与しているが、背景である規定値を付与してもよい。また、フィルタ領域２１のサイズは、３×３画素でなくてもよく、３×５画素や５×５画素などとしてもよい。また、上述の例では、距離画像の水平方向において物体と背景との領域が並んでいる場合を示したが、距離画像の垂直方向において物体と背景との領域が並んでいる場合でも同様の処理を行うことができる。あるいはまた、物体の角付近であって、距離画像の水平方向と垂直方向との両方において、障壁２２が生じている場合でも同様の処理が可能である。
【００４２】
ところで、上述の動作では、濃淡画像の画素値を用いて距離画像の限界距離を超える背景を除去し、さらに物体と背景との境界で距離画像の距離値の変化に生じる傾斜を除去する処理を行っている。距離値の変化に生じる傾斜を除去するには、図５に示すように、距離画像の距離値に対して遠距離側と近距離側との閾値Ｄ１，Ｄ２を設定し、閾値Ｄ１，Ｄ２の間の距離値を固定値に置換する処理を行ってもよい。
【００４３】
すなわち、図５のように距離値の変化に生じる傾斜を除去する場合には、傾斜の範囲を含む程度の幅を有したフィルタ領域２１（図５では５×１画素）を設定し、フィルタ領域２１の両端の距離値を求める。図示例では、フィルタ領域２１の両端の画素の距離値がＡ，Ｂ（Ａ＜Ｂ）になっている。ここで、距離値Ａが閾値Ｄ１より小さく、距離値Ｂが閾値Ｄ２が大きい場合には、残りの３画素の距離値を、閾値Ｄ１より小さい規定値Ｍに置換している。この処理を行うことにより、図５に一点鎖線で示すように、距離値が階段状に変化する距離画像が得られる。
【００４４】
段差を有する物体の境界付近において距離画像では距離値の変化に傾斜が生じているときに、上述の処理を行うことによって、傾斜部分を除去して距離値を階段状に変化させることができる。すなわち、距離画像内においても実際の物体の距離値の変化に近づけることができる。言い換えると、距離画像内での物体の輪郭線を明確にすることができる。
【００４５】
なお、水平方向に延長された５×１画素のフィルタ領域２１を例示したが、フィルタ領域２１は３画素以上であればよく、また、水平方向ではなく垂直方向に延長されたフィルタ領域２１を用いてもよい。さらに、水平方向と垂直方向との両方向について距離値の変化の傾斜を除去するために、水平方向と垂直方向とにそれぞれ複数画素を配列した正方マトリクス状のフィルタ領域２１を設定してもよい。
【符号の説明】
【００４６】
１０ 画像生成部
１１ 発光源
１２ 撮像素子
１５ タイミング制御部
１６ 画像出力部
１７ 距離画像出力部
１８ 濃淡画像出力部
２０ フィルタ処理部
２１ フィルタ領域
【特許請求の範囲】
【請求項１】
強度を変調した変調光を対象空間に投光しその反射光を受光して対象空間の同物体について濃淡画像と距離画像とを生成する画像生成部と、距離画像において、濃淡画像の光量が所定の閾値以下の画素に規定値を付与し、さらに前記規定値の画素に隣接する前記規定値以外の画素に当該画素に隣接する画素の画素値を付与するフィルタ処理部とを備えることを特徴とする距離画像センサ。
【請求項２】
前記画像生成部は、変調光を対象空間に投光する発光源と、二次元配列された複数個の受光領域を有し各受光領域ごとに対象空間からの受光強度に応じた出力を取り出す撮像素子と、変調光を投光する投光期間と投光しない非投光期間とを繰り返すように前記発光源を駆動するタイミング制御部と、前記発光源による投光から前記撮像素子による受光までの時間差に相当する情報を前記発光源から投光する変調光の時間変化と前記受光領域での受光強度とから抽出して対象空間の物体までの距離を前記受光領域に対応付けた距離画像を出力する距離画像出力部と、前記受光領域ごとに投光期間の受光量と非投光期間の受光量との差分を前記受光領域に対応付けた濃淡画像を出力する濃淡画像出力部とを備えることを特徴とする請求項１記載の距離画像センサ。
【請求項３】
前記フィルタ処理部は、距離画像において濃淡画像の光量が所定の閾値以下の画素に規定値を付与した後、距離画像における水平方向と垂直方向との少なくとも一方向に３個以上の画素が並ぶフィルタ領域を設定し、フィルタ領域内で３個以上の画素が並ぶ方向における一端の画素が前記規定値であり他端の画素が前記規定値ではないときに、中間の画素に両端の画素のうちの一方の値を付与することを特徴とする請求項１又は２記載の距離画像センサ。
【請求項４】
前記フィルタ処理部は、距離画像において濃淡画像の光量が所定の閾値以下の画素に規定値を付与した後、距離画像における水平方向と垂直方向とに３個ずつの画素が並ぶ３×３画素のフィルタ領域を設定し、フィルタ領域内の中央以外の画素が前記規定値であるときに、前記規定値の画素に隣接する画素の画素値として残りの画素の画素値を付与することを特徴とする請求項１又は２記載の距離画像センサ。
【請求項１】
強度を変調した変調光を対象空間に投光しその反射光を受光して対象空間の同物体について濃淡画像と距離画像とを生成する画像生成部と、距離画像において、濃淡画像の光量が所定の閾値以下の画素に規定値を付与し、さらに前記規定値の画素に隣接する前記規定値以外の画素に当該画素に隣接する画素の画素値を付与するフィルタ処理部とを備えることを特徴とする距離画像センサ。
【請求項２】
前記画像生成部は、変調光を対象空間に投光する発光源と、二次元配列された複数個の受光領域を有し各受光領域ごとに対象空間からの受光強度に応じた出力を取り出す撮像素子と、変調光を投光する投光期間と投光しない非投光期間とを繰り返すように前記発光源を駆動するタイミング制御部と、前記発光源による投光から前記撮像素子による受光までの時間差に相当する情報を前記発光源から投光する変調光の時間変化と前記受光領域での受光強度とから抽出して対象空間の物体までの距離を前記受光領域に対応付けた距離画像を出力する距離画像出力部と、前記受光領域ごとに投光期間の受光量と非投光期間の受光量との差分を前記受光領域に対応付けた濃淡画像を出力する濃淡画像出力部とを備えることを特徴とする請求項１記載の距離画像センサ。
【請求項３】
前記フィルタ処理部は、距離画像において濃淡画像の光量が所定の閾値以下の画素に規定値を付与した後、距離画像における水平方向と垂直方向との少なくとも一方向に３個以上の画素が並ぶフィルタ領域を設定し、フィルタ領域内で３個以上の画素が並ぶ方向における一端の画素が前記規定値であり他端の画素が前記規定値ではないときに、中間の画素に両端の画素のうちの一方の値を付与することを特徴とする請求項１又は２記載の距離画像センサ。
【請求項４】
前記フィルタ処理部は、距離画像において濃淡画像の光量が所定の閾値以下の画素に規定値を付与した後、距離画像における水平方向と垂直方向とに３個ずつの画素が並ぶ３×３画素のフィルタ領域を設定し、フィルタ領域内の中央以外の画素が前記規定値であるときに、前記規定値の画素に隣接する画素の画素値として残りの画素の画素値を付与することを特徴とする請求項１又は２記載の距離画像センサ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−９３１３１（Ｐ２０１２−９３１３１Ａ）
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願番号】特願２０１０−２３８８８４（Ｐ２０１０−２３８８８４）
【出願日】平成２２年１０月２５日（２０１０．１０．２５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願日】平成２２年１０月２５日（２０１０．１０．２５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]