説明

測距方法および装置ならびにこれに用いられる撮像素子

【課題】変調光位相差方式により距離を測定する際の時間の短縮を図る。
【解決手段】一定の周期Tで光強度を変調させた変調光L1が射出されたとき、射出した変調光L1が被写体に照射されたときの被写体からの反射変調光L2を受光する。このとき、第1検出信号αを取得する第1受光素子30aと、第2検出信号βを取得する第2受光素子30cと、第3検出信号γを取得する第3受光素子30cと、第4検出信号δを取得する第4受光素子30dとから構成されるブロックが格子状に複数配列された受光部を用いて4種類の検出信号α〜δを取得する。そして、隣接した4種類の受光素子30a〜30dから取得される4種類の検出信号α〜δを用いて位相差Δφを検出し被写体までの距離dを算出する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、変調光位相差方式(TOF:time of flight)により被写体までの距離を測定する測距方法および装置ならびにこれに用いられる撮像素子に関するものである。
【背景技術】
【0002】
従来から被写体までの距離を測定する方法として変調光位相差方式(TOF:time of flight)の測距装置が知られている(たとえば特許文献1、2参照)。この変調光位相差方式とは光強度を変調させた変調光を被写体に照射し、被写体からの反射変調光を受光しときの変調光と反射変調光との位相差を検出して被写体までの距離を測定するものである。特許文献1においては、変調光の位相が0°、90°、180°、270°であるときに、それぞれ反射変調光の光量をサンプリングすることにより、位相の異なる複数の検出信号を取得する。そして、4つの位相の異なる測定値に基づいて被検出物までの距離情報が演算される。
【0003】
ここで、反射変調光を受光するとき、各画素がそれぞれ位相の異なる4つの検出信号を取得し、各画素毎に位相差および距離の検出が行われている。
【特許文献1】特開2004−45304号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかし、上述のように、1つの画素において4つの検出信号を取得しなければ距離情報を取得することができないため、変調光の射出から距離画像の生成まで時間が掛かってしまうという問題がある。
【0005】
そこで、本発明は、距離画像を作成する時間の短縮を図ることができる測距方法および装置ならびにこれに用いられる撮像素子を提供することを目的とするものである。
【課題を解決するための手段】
【0006】
本発明の測距方法は、一定の周期で光強度を変調させた変調光を射出し、射出した変調光が被写体に照射されたときの被写体からの反射変調光を受光することにより、反射変調光から変調光の位相π/2毎に第1検出信号と第2検出信号と第3検出信号と第4検出信号とを取得し、取得した4種類の検出信号を用いて変調光と反射変調光との位相差を検出して被写体までの距離を算出する測距方法であって、4種類の検出信号を取得するとき、第1検出信号を取得する第1受光素子と、第2検出信号を取得する第2受光素子と、第3検出信号を取得する第3受光素子と、第4検出信号を取得する第4受光素子とから構成されるブロックが格子状に複数配列された受光部を用いて4種類の検出信号を取得し、被写体までの距離を算出するとき、隣接する4種類の受光素子から取得される4種類の検出信号を用いて位相差を検出し被写体までの距離を算出することを特徴とするものである。
【0007】
本発明の測距装置は、一定の周期で光強度を変調させた変調光を射出する発光部と、発光部から射出された変調光が被写体に照射されたときの被写体からの反射変調光を受光することにより、反射変調光から変調光の位相π/2毎に第1検出信号と第2検出信号と第3検出信号と第4検出信号とを取得する受光部と、受光部において取得された4種類の検出信号を用いて変調光と反射変調光との位相差を検出して被写体までの距離を算出する距離算出部とを備え、受光部が、第1検出信号を取得する第1受光素子と、第2検出信号を取得する第2受光素子と、第3検出信号を取得する第3受光素子と、第4検出信号を取得する第4受光素子とから構成されるブロックが格子状に複数配列されたものであり、距離算出部が、隣接した4種類の受光素子から取得される4種類の検出信号を用いて位相差を検出し被写体までの距離を算出するものであることを特徴とするものである。
【0008】
本発明の撮像素子は、一定の周期で光強度を変調させた変調光を射出し、変調光と反射変調光との位相差を検出して被写体までの距離を算出するために変調光が被写体に照射されたときの被写体からの反射変調光を受光することにより、反射変調光から変調光の位相π/2毎に第1検出信号と第2検出信号と第3検出信号と第4検出信号とを取得するための撮像素子であって、第1検出信号を取得する第1受光素子と、第2検出信号を取得する第2受光素子と、第3検出信号を取得する第3受光素子と、第4検出信号を取得する第4受光素子とを有し、4種類の受光素子から構成されるブロックが格子状に複数配列されていることを特徴とするものである。
【0009】
本発明の測距装置は、一定の周期で光強度を変調させた変調光を射出する発光部と、発光部から射出された変調光が被写体に照射されたときの被写体からの反射変調光を受光することにより、第1検出信号と、第1検出信号よりも位相がπ/2進んだ第2検出信号と、第2検出信号よりも位相がπ/2進んだ第3検出信号とを取得する受光部と、受光部において取得された3種類の検出信号を用いて変調光と反射変調光との位相差を検出して被写体までの距離を算出する距離算出部とを備え、受光部が、第1検出信号を取得する第1受光素子と、第2検出信号を取得する第2受光素子と、第3検出信号を取得する第3受光素子とから構成されるブロックが複数配列されたものであり、距離算出部が、隣接した3種類の受光素子から取得される3種類の検出信号を用いて位相差を検出し被写体までの距離を算出するものであることを特徴とするものである。
【0010】
本発明の撮像素子は、一定の周期で光強度を変調させた変調光を射出し、変調光と反射変調光との位相差を検出して被写体までの距離を算出するために変調光が被写体に照射されたときの被写体からの反射変調光を受光することにより、第1検出信号と、第1検出信号よりも位相がπ/2進んだ第2検出信号と、第2検出信号よりも位相がπ/2進んだ第3検出信号とを取得するための撮像素子であって、第1検出信号を取得する第1受光素子と、第2検出信号を取得する第2受光素子と、第3検出信号を取得する第3受光素子とから構成されるブロックが複数配列されていることを特徴とするものである。
【0011】
ここで、各検出信号は、それぞれ変調光の位相π/2(1/4周期)毎に取得されたものであれば露光時間は問わない。
【0012】
なお、距離算出部は、隣接した4種類の受光素子から得られた4種類の検出信号を用いて位相差を検出し距離を算出するものであればよく、たとえば各ブロック毎に1つの位相差および距離を算出するものであってもよいし、各受光素子毎にそれぞれ位相差を検出し距離を算出するものであってもよい。ここで、距離算出部は、受光部の座標(m、n)における受光素子の距離を算出するとき、座標(m、n)、(m+1、n)、(m、n+1)、(m+1、n+1)の4種類の受光素子から得られる4種類の検出信号を用いて位相差を検出し被写体までの距離を算出するとともに、縦方向もしくは横方向に座標をずらしながら各受光素子の距離を算出するものであってもよい。
【0013】
また、測距装置は、受光部において取得された検出信号が予め設定された設定最大信号値よりも大きい極大検出信号であるか否かを判定する異常信号検出部と、異常信号検出部において検出信号が極大検出信号であると判定されたとき、極大検出信号と同一種類であって極大検出信号を取得した受光素子からの距離が最も近い受光素子により取得された検出信号を用いて極大検出信号を補完する信号補完部とをさらに有するものであってもよい。このとき、距離算出部は、信号補完部により補完された検出信号を用いて位相差を検出し距離を算出するものであってもよい。なお、信号補完部は、最も距離の近い1つの受光素子が取得した検出信号を用いたものであれば補完に用いる検出信号の数は問わず、たとえば四方に存在する最も距離の近い4種類の受光素子が取得した4つの検出信号を用いてもよい。
【0014】
さらに、測距装置は、受光部において取得された検出信号が予め設定された設定最小信号値よりも小さい極小検出信号であるか否かを判定する異常信号検出部と、異常信号検出部において検出信号が極小検出信号であると判定されたとき、極小検出信号と同一種類であって極小検出信号を取得した受光素子からの距離が最も近い受光素子により取得された検出信号を用いて極小検出信号を補完する信号補完部とをさらに有するものであってもよい。このとき距離算出部は、信号補完部により補完された検出信号を用いて位相差を検出し距離を算出する。なお、信号補完部は、最も距離の近い1つの受光素子が取得した検出信号を用いたものであれば補完に用いる検出信号の数は問わず、たとえば四方に存在する最も距離の近い4種類の受光素子が取得した4つの検出信号を用いてもよい。
【0015】
また、測距装置は、第1検出信号と第3検出信号との第1の差分および第2検出信号と第4検出信号との第2の差分を算出する差分算出部と、差分算出部において算出された第1の差分もしくは第2の差分が予め設定された設定差分値よりも小さい異常差分値であるか否かを判定する差分判定部と、差分判定部において第1の差分もしくは第2の差分が異常差分値であると判定されたとき、異常差分値の元になった検出信号と同一種類の検出信号であって、異常差分値の元になった検出信号を取得した受光素子からの距離が最も近い受光素子により取得された検出信号を用いて異常差分値の元になった検出信号を補完する信号補完部とをさらに有するものであってもよい。このとき、距離算出部は、信号補完部により補完された検出信号を用いて位相差を検出し距離を算出する。なお、信号補完部は、最も距離の近い1つの受光素子が取得した検出信号を用いたものであれば補完に用いる検出信号の数は問わず、たとえば四方に存在する最も距離の近い4種類の受光素子が取得した4つの検出信号を用いてもよい。
【0016】
さらに、同一平面上の複数の受光素子から取得した4種類の検出信号は、各受光素子からそれぞれ取得されるものであってもよいし、フレーム画像として取得されるものであってもよい。ここで、測距装置は、第1検出信号と第3検出信号との第1の差分と第2検出信号と第4検出信号との第2の差分とを算出する差分算出部と、差分算出部において算出された第1の差分もしくは第2の差分が予め設定された設定差分値よりも小さい異常差分値であるか否かを判定する差分判定部と、差分判定部において第1の差分もしくは第2の差分が異常差分値であると判定されたとき、異常差分値の元になった検出信号を取得した受光素子が異なるフレーム画像において取得した検出信号を用いて異常差分値の元になった各検出信号を補完する信号補完部とをさらに有するものであってもよい。このとき、距離算出部は、信号補完部により補完された検出信号を用いて位相差を検出し距離を算出する。なお、信号補完部は、1枚のフレーム画像を用いて補完を行ってもよいし、複数枚のフレーム画像を用いて補完を行ってもよい。
【0017】
また、測距装置は、距離の算出に用いる4種類の検出信号が同一の被写体から取得した検出信号であるか否かを判別する被写体判別部と、被写体判定部において4種類の検出信号の中に異なる被写体から取得した異常検出信号が含まれていると判別されたとき、異常検出信号と同一種類であって異常検出信号を取得した受光素子からの距離が最も近い受光素子により取得された検出信号を用いて、4種類の検出信号が同一の被写体から取得した検出信号になるように異常検出信号を補完する信号補完部とをさらに有するものであってもよい。このとき、距離算出部は、信号補完部により補完された検出信号を用いて位相差を検出し距離を算出する。
【発明の効果】
【0018】
本発明の測距方法および装置ならびにこれに用いられる撮像素子によれば、一定の周期で光強度を変調させた変調光を射出し、射出した変調光が被写体に照射されたときの被写体からの反射変調光を受光することにより、反射変調光から変調光の位相π/2毎に第1検出信号と第2検出信号と第3検出信号と第4検出信号とを取得し、取得した4種類の検出信号を用いて変調光と反射変調光との位相差を検出して被写体までの距離を算出する際、第1検出信号を取得する第1受光素子と、第2検出信号を取得する第2受光素子と、第3検出信号を取得する第3受光素子と、第4検出信号を取得する第4受光素子とから構成されるブロックが格子状に複数配列された受光部を用いて4種類の検出信号を取得し、隣接する4種類の受光素子から取得される4種類の検出信号を用いて位相差を検出し被写体までの距離を算出することにより、同一平面上の隣接する4種類の受光素子から得られた4種類の検出信号を用いて距離を算出するため、距離演算に必要な4つの検出信号を高速に取得し距離演算の高速化を図ることができる。
【0019】
なお、距離算出部が、受光素子毎にそれぞれ被写体までの距離を算出するものであり、受光部の座標(m、n)における受光素子の距離を算出するとき、座標(m、n)、(m+1、n)、(m、n+1)、(m+1、n+1)の4種類の受光素子から得られる4種類の検出信号を用いて位相差を検出し被写体までの距離を算出するとともに、縦方向もしくは横方向に座標をずらしながら各受光素子の距離を算出するものであるとき、所定の座標の距離を算出するときには直前の距離算出に用いた2つの検出信号を再利用して距離の算出を行うことができるため、より高速に距離の算出を行うことができる。
【0020】
また、受光部において取得された検出信号が予め設定された設定最大信号値よりも大きい極大検出信号であるか否かを判定する異常信号検出部と、異常信号検出部において検出信号が極大検出信号であると判定されたとき、極大検出信号と同一種類であって極大検出信号を取得した受光素子からの距離が最も近い受光素子により取得された検出信号を用いて極大検出信号を補完する信号補完部とをさらに有し、距離算出部が、信号補完部により補完された検出信号を用いて位相差を検出し距離を算出するものであれば、たとえば受光素子が飽和した場合等により検出信号に異常が生じている場合に、この異常が生じている検出信号を用いて距離を算出することにより誤測距が発生するのを防止することができ、精度良く距離の算出を行うことができる。
【0021】
さらに、受光部において取得された検出信号が予め設定された設定最小信号値よりも小さい極小検出信号であるか否かを判定する異常信号検出部と、異常信号検出部において検出信号が極小検出信号であると判定されたとき、極小検出信号と同一種類であって極小検出信号を取得した受光素子からの距離が最も近い受光素子により取得された検出信号を用いて極小検出信号を補完する信号補完部とをさらに有し、距離算出部が、信号補完部により補完された検出信号を用いて位相差を検出し距離を算出するものであるとき、たとえば受光素子が黒潰れしている等により検出信号に異常が生じている場合に、この異常が生じている検出信号を用いて距離を算出することにより誤測距が発生するのを防止することができ、精度良く距離の算出を行うことができる。
【0022】
また、第1検出信号と第3検出信号との第1の差分および第2検出信号と第4検出信号との第2の差分を算出する差分算出部と、差分算出部において算出された第1の差分もしくは第2の差分が予め設定された設定差分値よりも小さい異常差分値であるか否かを判定する差分判定部と、差分判定部において第1の差分もしくは第2の差分が異常差分値であると判定されたとき、異常差分値の元になった検出信号と同一種類の検出信号であって、異常差分値の元になった検出信号を取得した受光素子からの距離が最も近い受光素子により取得された検出信号を用いて異常差分値の元になった検出信号を補完する信号補完部とをさらに有し、距離算出部が、信号補完部により補完された検出信号を用いて位相差を検出し距離を算出するものであるとき、差分値が小さいことに起因する測距精度の劣化を防止することができる。
【0023】
また、同一平面上の複数の受光素子から取得した4種類の検出信号がフレーム画像として取得されるものであり、第1検出信号と第3検出信号との第1の差分と第2検出信号と第4検出信号との第2の差分とを算出する差分算出部と、差分算出部において算出された第1の差分もしくは第2の差分が予め設定された設定差分値よりも小さい異常差分値であるか否かを判定する差分判定部と、差分判定部において第1の差分もしくは第2の差分が異常差分値であると判定されたとき、異常差分値の元になった検出信号を取得した受光素子が異なるフレーム画像において取得した検出信号を用いて異常差分値の元になった各検出信号を補完する信号補完部とをさらに有し、距離算出部が、信号補完部により補完された検出信号を用いて位相差を検出し距離を算出するものであれば、差分値が小さいことに起因する測距精度の劣化を防止することができる。
【0024】
さらに、距離の算出に用いる4種類の検出信号が同一の被写体から取得した検出信号であるか否かを判別する被写体判別部と、被写体判定部において4種類の検出信号の中に異なる被写体から取得した異常検出信号が含まれていると判別されたとき、異常検出信号と同一種類であって異常検出信号を取得した受光素子からの距離が最も近い受光素子により取得された検出信号を用いて、4種類の検出信号が同一の被写体から取得した検出信号になるように異常検出信号を補完する信号補完部とをさらに有し、距離算出部が、信号補完部により補完された検出信号を用いて位相差を検出し距離を算出するものであるとき、異なる被写体から取得された反射変調光に基づいて距離が算出されることにより誤測距の発生を防止することができる。
【0025】
本発明の測距装置ならびにこれに用いられる撮像素子によれば、一定の周期で光強度を変調させた変調光を射出する発光部と、発光部から射出された変調光が被写体に照射されたときの被写体からの反射変調光を受光することにより、第1検出信号と、第1検出信号よりも位相がπ/2進んだ第2検出信号と、第2検出信号よりも位相がπ/2進んだ第3検出信号とを取得する受光部と、受光部において取得された3種類の検出信号を用いて変調光と反射変調光との位相差を検出して被写体までの距離を算出する距離算出部とを備え、受光部が、第1検出信号を取得する第1受光素子と、第2検出信号を取得する第2受光素子と、第3検出信号を取得する第3受光素子とから構成されるブロックが複数配列されたものであり、距離算出部が、隣接した3種類の受光素子から取得される3種類の検出信号を用いて位相差を検出し被写体までの距離を算出することにより、同一平面上の隣接する3種類の受光素子から得られた3種類の検出信号を用いて距離を算出するため、距離演算に必要な3種類の検出信号を高速に取得し距離演算の高速化を図ることができる。
【発明を実施するための最良の形態】
【0026】
以下、図面を参照して本発明の測距装置の好ましい実施の形態を詳細に説明する。図1は本発明の測距装置の好ましい実施の形態を示す斜視図である。測距装置1はいわゆる位相差検出方式により被写体までの距離を測定するものであって、発光部10、受光ユニット20、距離算出部40、距離画像生成部50等を備えている。なお、距離算出部40、距離画像生成部50は、メモリ8等に記憶されたプログラムをメモリ制御部7を介してCPU2が実行することにより構成される。
【0027】
発光部10はたとえばLEDアレイ等からなっており、図2に示すような光の強度を一定の周期T(たとえばT=0.5ms、周波数20Hz)で変調した変調光L1を被写体に連続的に射出するものである。発光部10の動作は発光制御部15により制御されている。
【0028】
受光ユニット20は、変調光L1が被写体に照射されたときの被写体からの反射変調光L2を受光して4種類の検出信号α、β、γ、δを取得するものであって、結像光学系21、絞り22、光学バンドパスフィルタ23、受光制御部25、受光部(撮像素子)30等を備えている。結像光学系21は複数の光学レンズ群からなり、被写体からの反射変調光L2を受光部30上に結像する。絞り22は周辺光線を遮断するものであり、光学バンドパスフィルタ23は反射変調光L2(変調光L1)の波長帯域の光を透過する。そして、受光部30は絞り22および光学バンドパスフィルタ23を通過した反射変調光L2を受光する。受光制御部25はレンズ駆動部25a、絞り駆動部25b、撮像素子駆動部25cを備えており、レンズ駆動部25aは結像光学系21の動作を制御し、絞り駆動部25bは絞り22の動作を制御し、撮像素子駆動部25cは受光部30の動作を制御する。
【0029】
上述した受光部(撮像素子)30はたとえばフォトダイオード、CCD、CMOSセンサ等からなっており、図3は受光素子がCCDからなる場合の一例を示す模式図を示す。図3の受光部30は第1検出信号αを取得する第1受光素子30aと、第2検出信号βを取得する第2受光素子30bと、第3検出信号γを取得する第3受光素子30cと、第4検出信号δを取得する第4受光素子30dとを有している。受光部30は、4種類の受光素子30a〜30dにより矩形状に形成された1つのブロックBRが格子状に並べられた構造を有しており、各受光素子30a〜30dは互いに隣接した配列を有している。
【0030】
具体的には、ブロックBRは上段に第1受光素子30aと第3受光素子30bとを有し、下段に第3受光素子30cと第4受光素子30dとを有しており、このブロックBRが縦方向および横方向に向かって複数配列されている。したがって、受光部30内のすべての受光素子30a〜30dは互いに隣接した構造を有している。
【0031】
各受光素子30a〜30dの露光時間および露光タイミングは受光制御部25により制御されている。具体的には、図4に示すように、受光制御部25の撮像素子駆動部25cは、受光素子30a〜30dに対しそれぞれ転送制御パルスTP1〜TP4および排出制御パルスSP1〜SP4を印加することにより、光電変換された信号電荷(検出信号)を転送路に転送し、残存する残留電荷を排出する。
【0032】
図5は転送制御パルスTP1〜TP4および排出制御パルスSP1〜SP4の一例を示すタイミングチャートである。図5に示すように、撮像素子駆動部25cは、変調光L1の位相が0°になったとき、第1受光素子30aに対し1/2周期分(=位相π)の転送制御パルスTP1を印加する。すると、第1受光素子30aは、変調光L1の位相0°〜π/2までのT/2期間だけ露光したときの第1検出信号αを第1転送路31aから出力する。また、撮像素子駆動部25cは、変調光L1の位相がπ/2になったとき、第2受光素子30bに対し1/2周期分(=位相π分)の転送制御パルスTP2を印加する。すると、第2受光素子30bは、変調光L1の位相π/2〜πまでのT/2期間だけ露光したときの第2検出信号βを第2転送路31bから出力する。
【0033】
さらに、撮像素子駆動部25cは、変調光L1の位相がπになったとき、第3受光素子30cに対し1/2周期分(=位相π分)の転送制御パルスTP3を印加する。すると、第3受光素子30cは、変調光L1の位相π〜3π/2までのT/2期間だけ露光したときの第3検出信号γを第1転送路31aから出力する。また、撮像素子駆動部25cは、変調光L1の位相が3π/2になったとき、第4受光素子30dに対し1/2周期分(=位相π分)の転送制御パルスTP2を印加する。すると、第4受光素子30dは、変調光L1の位相3π/2〜2πまでのT/2期間だけ露光したときの第4検出信号δを第2転送路31bから出力する。
【0034】
なお、第1受光素子30aから第1検出信号αが第1転送路31aに転送されている間、第2受光素子30bには排出制御パルスSP2が印加され、第2転送路31bから第2受光素子30bに残存する残存電荷が排出される。同様に、第2受光素子30bから第2検出信号βが転送されている間、第3受光素子30cには排出制御パルスSP3が印加され転送路31aからそれぞれ残存電荷が排出される。さらに、第3受光素子30cから第3検出信号γが転送されている間、第4受光素子30dには排出制御パルスSP4が印加され、各転送路31bからそれぞれ残存電荷が排出される。
【0035】
そして、アナログ信号処理部26が各検出信号α〜δに対しアナログ信号処理を施した後、A/D変換部27が各検出信号α〜δをA/D変換して距離算出部40に出力する。なお、アナログ信号処理部26は、受光部30により各検出信号α〜δがサンプリングされる度にA/D変換部27に各検出信号α〜δを出力するようにしてもよいし、各検出信号α〜δ毎に予め設定された設定サンプリング数Nだけ積算してA/D変換部27に出力するようにしてもよい。
【0036】
ここで、受光部30において同一平面上に配列された複数の受光素子30a〜30dから4種類の検出信号α〜δが出力されたとき、アナログ信号処理部26は1枚のフレーム画像として出力する。したがって、同一平面上の各受光素子30a〜30dのすべてにおいて露光を終了したときに、各受光素子30a〜30dにより取得された各検出信号α〜δを画素とするフレーム画像が順次取得されていく。
【0037】
距離算出部40は、受光部30が取得した第1検出信号αと第2検出信号βと第3検出信号γと第4検出信号δとを用いて変調光L1と反射変調光L2との位相差Δφを検出し距離dを算出する。つまり、反射変調光L2は変調光L1に対し被写体までの距離に応じて位相がずれた状態で検出されるものであり(図2参照)、距離算出部40はこの位相差Δφを検出する。なお、変調光L1と反射変調光L2との位相が2πだけずれたときには両者は同位相になるため、変調光L1の波長λが距離を測定することができる最大測定距離になる。
【0038】
具体的には、変調光L1と反射変調光L2との位相がずれているとき、その位相差Δφは4種類の検出信号α〜δの信号値の差となって表れ、距離算出部40は下記式(1)により位相差Δφを検出することができる。
【数1】

【0039】
距離算出部40は、図3の受光部30において隣接した4種類の受光素子22a〜22dにおいて取得された4種類の検出信号α〜δを用いて各ブロックBR毎に位相差Δφを検出する。
【0040】
そして、距離算出部40は位相差Δφを用いて被写体までの距離dを算出する。被写体Sまでの距離dは下記式(2)に示すことができる。
【0041】
d=cΔφ/4πf ・・・(2)
ここで、cは光速、fは変調光L1の周波数(f=1/T)である。そして距離算出部40は算出した距離dをメモリ制御部7を介してメモリ8に記憶させる。
【0042】
距離画像生成部50は、距離算出部40により算出された距離dを用いて距離画像Pを生成するものである。具体的には、距離画像生成部50は各ブロックBR毎に算出された複数の距離dを用いて距離画像を生成する。そして、生成した距離画像は表示制御部4を介して表示部5に表示される。
【0043】
図6は本発明の測距方法の好ましい実施形態を示すフローチャートであり、図1から図6を参照して測距方法について説明する。まず、発光部10から一定の周期Tで強度変調された変調光L1が被写体に対して射出される。そして、被写体から反射した反射変調光L2が受光ユニット20において受光される。このとき、同一平面上に設けられた4種類の受光素子30a〜30dによりそれぞれ第1検出信号α、第2検出信号β、第3検出信号γ、第4検出信号δが順に取得されていく(ステップST1〜ST4)。
【0044】
その後、距離算出部40において、3つの各検出信号α〜δを用いて上記式(1)により変調光L1と反射変調光L2との位相差Δφが検出される(ステップST5)。その後、距離算出部40により位相差Δφを用いて上記式(2)により被写体までの距離dが算出される(ステップST6)。そして各ブロックBRについて距離dの算出が行われ距離画像が生成される(ステップST7)。
【0045】
このように、第1検出信号αを取得する第1受光素子30aと、第2検出信号βを取得する第2受光素子30cと、第3検出信号γを取得する第3受光素子30cと、第4検出信号δを取得する第4受光素子30dとから構成されるブロックが格子状に複数配列された受光部を用いて4種類の検出信号α〜δを取得するものであり、互いに隣接した4種類の受光素子30a〜30dから取得される4種類の検出信号α〜δを用いて位相差Δφを検出し被写体までの距離dを算出することにより、隣接する4種類の受光素子から得られた4種類の検出信号α〜δを用いて距離を算出するため、高速に測距を行うことができる。
【0046】
すなわち、従来においては各受光素子毎に4つの検出信号α〜δをそれぞれ取得しているため、各受光素子が検出信号の取得および残存電荷の排出を4サイクル行う必要があり、4種類の検出信号を取得するまでに時間が掛かってしまう。一方、上述した測距装置1においては同一平面上の受光素子30a〜30dにより4種類の検出信号α〜δを検出して位相差Δφを検出するため、データ取得時間の短縮化を図ることができる。また、受光素子30a〜30dにおける検出信号α〜δの取得と、残存電荷の排出とを並列して行うことができるため、検出信号α〜δの取得の効率化を図ることができる。
【0047】
図7は本発明の測距装置の距離算出部による距離dの算出手法の第2の実施形態を示す模式図である。なお、図7において図1の測距装置1と同一の構成を有する部位には同一の符号を付してその説明を省略する。図7の測距装置100が図1の測距装置1と異なる点は各受光素子30a〜30d毎に距離を算出する点である。
【0048】
すなわち、図7(A)において、距離算出部40は、受光部30における座標(m、n)の第4受光素子30dについて距離dを算出するとき、座標(m、n)の第4受光素子30d、座標(m+1、n)の第3受光素子30c、座標(m、n+1)の第2受光素子30b、座標(m+1、n+1)の第1受光素子30aから得られた4種類の検出信号α〜δを用いて位相差Δφを検出し被写体までの距離dを算出する。また、図7(B)に示すように、(m、n)から横方向に1つずれた座標(m+1、n)の距離dを算出するとき、座標(m+1、n)の第3受光素子30c、座標(m+2、n)の第4受光素子30d、座標(m+1、n+1)の第1受光素子30a、座標(m+2、n+1)の第2受光素子30bから得られた4種類の検出信号α〜δを用いて位相差Δφを検出し距離dを算出する。
【0049】
上記2つの座標(m、n)および(m+1、n)の距離dを算出する際、座標(m+1、n)、(m+1、n+1)の検出信号α、γは共通して用いられている。したがって、この2つの座標の検出信号α、γについてはメモリ8から読み込む必要がなく、2つの座標(m+2、n)および(m+2、n+1)の検出信号β、δを新たにメモリ8から読み込めば距離dを算出することができる。
【0050】
つまり、図8に示すように、距離算出部40において初期値m=1、n=1が設定され(ステップST11)、フレーム画像の座標(m、n)を注目画素に設定し距離dの算出が開始する(ステップST12)。次に、座標(m、n)、(m+1、n)、(m、n+1)、(m+1、n+1)の4種類の検出信号α〜δがメモリ8から距離算出部40に読み込まれ(ステップST13)、距離dの算出が行われる(ステップST14)。そして、算出された距離dが座標情報(m、n)とともにメモリ8に記憶される(ステップST15)。
【0051】
その後、座標mがフレーム画像の横方向のサイズと同一であるかが判断され(ステップST16)、同一ではないときにはm=m+1が計算されて距離dを算出する画素が横方向に1つだけずらされる(ステップST17、18)。その後、距離算出部40によりメモリから2つの座標(m+1、n)、(m+1、n+1)の検出信号が取得される(ステップST19)。そして、既に取得済みの2つの座標の検出信号と、新たに取得した2つの座標の検出信号とを用いて座標(m、n)の距離dが算出される(ステップST14、ST15)。
【0052】
上述した横方向への距離dの算出が終了したとき(ステップST16)、座標nがフレーム画像の縦方向のサイズと同一であるか否かが判断され(ステップST20)、同一でない場合、距離dを算出する横方向のラインを1つずらし(ステップST21)、上述した横方向に向かって距離dが算出されていく(ステップST12〜ST21)。フレーム画像のすべての画素について距離dの算出が終了したとき、メモリ8に記憶された座標および距離dを用いて距離画像が距離画像生成部50により生成される。
【0053】
このように、1画素毎に距離dの算出を行うことができるため、高解像度の距離画像を生成することができる。また、メモリ8から2つの座標の検出信号だけ新たに読み込み距離dの算出を行うことができるため、検出信号α〜δの読み込み速度を向上させて高速に距離dの算出および距離画像の生成を行うことができる。
【0054】
図9は本発明の測距装置の第3の実施形態を示す模式図であり、図9を参照して測距装置100について説明する。なお、図9の測距装置100において図1の測距装置1と同一の構成を有する部位には同一の符号を付してその説明を省略する。図9の測距装置100が図1の測距装置1と異なる点は、各検出信号α〜δが異常値であるときにその検出信号を補完する点である。
【0055】
図9の測距装置100は、異常信号検出部110および信号補完部120をさらに備えている。異常信号検出部110は、受光素子30a〜30dが取得した検出信号α〜δが予め設定された設定最大信号値S1refよりも大きい極大検出信号Smaxであるか否かを判定するものである。ここで、図10(A)において、第3受光素子30xが飽和して第3検出信号γが極大検出信号Smaxになった場合について例示する。
【0056】
信号補完部120は、異常信号検出部110において第2受光素子30xの検出信号γが極大検出信号Smaxであると判定されたとき、極大検出信号Smaxと同一種類の第3検出信号γであって極大検出信号Smaxを取得した受光素子30xからの距離が最も近い座標の受光素子により取得された検出信号γを用いて極大検出信号Smaxを補完する。
【0057】
具体的には、図10(B)に示すように、信号補完部120は極大検出信号Smaxを出力した画素30xに最も距離が近い上下左右4つの画素30xUP、30xDN、30xLE、30xRIの第3検出信号γの平均値を算出する。そして、信号補完部120は算出した平均値を画素30xにおける第3検出信号γとして補完する。距離算出部40は、信号補完部120により補完された第3検出信号γを用いて位相差Δφを検出し距離dを算出する。
【0058】
図11は図9の測距装置100の動作例を示すフローチャートである。図11において、異常信号検出部110により距離dの算出に用いる検出信号α〜δが設定最大信号値S1refよりも大きい極大検出信号Smaxであるか否かが判定される(ステップST41)。そして、検出信号が極大検出信号Smaxであると判定されたとき、信号補完部120により同一種類であって最も距離が近い4画素の検出信号の平均値が算出される(ステップST42、図10参照)。その後、算出した平均値が極大検出信号Smaxとなった検出信号として補完された後、位相差Δφの検出および距離dの算出が行われる(ステップST43)。極大検出信号Smaxの検出および信号の補完が全画素について行われる(ステップST41〜ST45)。このように、距離dの算出に用いる検出信号α〜δが飽和して極大検出信号Smaxになっているときに、この極大検出信号Smaxを補完し誤測距が生じるのを防止することができる。
【0059】
ここで、図9〜11において、異常信号検出部110は極大検出信号maxを検出する場合について例示しているが、極大検出信号Smaxに代えて極小検出信号Sminを検出するようにしてもよい。つまり、図12に示すように、異常信号検出部110は、距離dに用いる検出信号α〜δが設定最小信号値S2refよりも小さい極小検出信号Smin(黒潰れ)であるか否かを判定する(ステップST51)。検出信号α〜δが極小検出信号Sminであると判定された場合、信号補完部120は同一種類であって最も距離が近い4画素の検出信号の平均値を算出する(ステップST52、図10参照)。信号補完部120が算出した平均値が極大検出信号Smaxである検出信号として補完された後、距離算出部40は位相差Δφの検出および距離dの算出を行う(ステップST53)。極小検出信号Sminの検出および信号の補完が全画素について行われる(ステップST51〜ST55)。このように、距離dの算出に用いる検出信号が1つでも黒潰れした極小検出信号Sminになっているとき、この極小検出信号Sminを補完して誤測距が生じるのを防止することができる。
【0060】
なお、図9〜図12に示すように、異常信号検出部110は極大検出信号Smaxもしくは極小検出信号Sminのいずれか一方を検出する場合について例示しているが、極大検出信号Smaxおよび極小検出信号Sminの双方を検出する機能を有していてもよい。そして、極大検出信号Smaxもしくは極小検出信号Sminを検出したとき、信号補完部120が図10〜図12に示す信号補完処理を施すようにしてもよい。
【0061】
さらに、図9〜図12においては、距離dの算出の際に極大検出信号Smaxもしくは極小検出信号Sminであるか否かを判定する場合について例示しているが、距離dの算出の前にメモリ8に記憶されている各検出信号α〜δに対して極大検出信号Smaxもしくは極小検出信号Sminの検出および信号補完を行い、その後に距離算出部40による距離dの算出が行われるようにしてもよい。
【0062】
図13は本発明の測距装置の第3の実施形態を示す模式図であり、図13を参照して測距装置200について説明する。なお、図13の測距装置200において図1の測距装置1と同一の構成を有する部位には同一の符号を付してその説明を省略する。図13の測距装置200が図1の測距装置1と異なる点は、第1検出信号αと第3検出信号γとの第1の差分ΔW1もしくは第2検出信号βとの第4検出信号δの第2の差分ΔW2に基づいて検出信号の補完を行う点である。
【0063】
図13の測距装置200は、差分算出部210、差分判定部220、信号補完部230をさらに有している。差分算出部210は、第1検出信号αと第3検出信号γとの第1の差分ΔW1と第2検出信号βと第4検出信号δとの第2の差分ΔW2とを算出するものである。なお、上述したように、距離算出部40が位相Δφを検出するときには第1の差分ΔW1および第2の差分ΔW2を算出するものであるため、差分算出部210は距離算出部40により構成されたものであってもよい。
【0064】
差分判定部220は、第1の差分ΔW1もしくは第2の差分ΔW2が予め設定された設定差分値Wrefよりも小さい異常差分値であるか否かを判定するものである。信号補完部230は、差分判定部220において第1の差分ΔW1もしくは第2の差分ΔW2が設定差分値Dthよりも小さい異常差分値であると判定されたとき、異常差分値の元になった検出信号(α、γ)もしくは(β、δ)と同一種類の検出信号であって、異常差分値の元になった検出信号(α、γ)もしくは(β、δ)を取得した受光素子からの距離が最も近い位置の受光素子により取得された検出信号を用いて異常差分値の元になった検出信号を補完するものである。
【0065】
たとえば、図14(A)に示すように、差分判定部210が検出信号α〜δのうち第1の差分ΔW1が異常差分値であると判定したものとする。すると、図14(B)に示すように、信号補完部230は、異常差分値の元になった第1検出信号αを出力した第1受光素子30aに最も距離が近い上下左右4つの画素30aUP、30aDN、30aLE、30aRIの第1検出信号αを異常差分値の元になった第1検出信号αに加算する。同様に、信号補完部230は、異常差分値の元になった第3検出信号γを出力した第3受光素子30cに最も距離が近い上下左右4つの画素30cUP、30cDN、30cLE、30cRIの第3検出信号γを異常差分値の元になった第3検出信号γに加算する。そして、信号補完部230は加算された第1検出信号αと第3検出信号γとの第1の差分をブロックBRにおける第1の差分ΔW1として補完する。その後、距離算出部40は、信号補完部120により補完された第1の差分ΔW1を用いて位相差Δφを検出し距離dを算出する。
【0066】
図15は図13の測距装置200の動作例を示すフローチャートである。図15において、差分判定部220により第1の差分ΔW1もしくは第2の差分ΔW2が設定差分値Dthよりも小さい異常差分値であるか否かが判定される(ステップST61)。第1の差分ΔW1もしくは第2の差分ΔW2が異常差分値であると判定されたとき、信号補完部230において、異常差分値の元になった検出信号に他の受光素子が取得した信号を加算した状態での第1の差分ΔW1もしく第2の差分ΔW2を算出することにより補完する(ステップST62、図14参照)。そして、補完された第1の差分ΔW1もしく第2の差分ΔW2を用いて位相差Δφが検出され距離dの算出が行われる(ステップST63)。また、異常差分値の検出、信号の補完および距離dの算出がすべての画素に対して行われる(ステップST61〜ST65)。これにより、第1の差分ΔW1もしくは第2の差分W2が小さすぎることに起因する測距精度の劣化を防止することができる。
【0067】
なお、図13〜図15においては、信号補完部230は、同一平面上の受光素子30a〜30dにおいて最も距離が近い検出信号を用いて補完する場合について例示しているが、同一の受光素子が異なるタイミングで取得したフレーム画像から補完を行うようにしてもよい。
【0068】
つまり、図16に示すように、差分判定部220において第1の差分ΔW1もしくは第2の差分ΔW2が設定差分値Dthよりも小さいか否かが判定される(ステップST71)。たとえば、図17(A)に示すNフレーム画像内の第1の差分ΔW1が異常差分値であると判定されたものとする。
【0069】
信号補完部230は、異常差分値の元になった検出信号を取得した受光素子が異なるフレーム画像において取得した検出信号を用いて異常差分値の元になった各検出信号を補完する。具体的には、図17(B)、(C)に示すように、異常差分値の元になった第3検出信号γを出力した第1受光素子30aがn枚のフレーム画像N−1〜N−nにおいて取得したn個の第1検出信号αを異常差分値の元になった第1検出信号αに加算する。同様に、信号補完部230は、異常差分値の元になった第3検出信号γを出力した第3受光素子30cがn枚のフレーム画像N−1〜N−nにおいて取得したn個の第1検出信号αを異常差分値の元になった第3検出信号γに加算する。そして、信号補完部230は加算された第1検出信号αと第3検出信号γとの差分をブロックBRにおける第1の差分ΔW1として補完する(ステップST72)。
【0070】
その後、距離算出部40は、信号補完部120により補完された第1の差分ΔW1を用いて位相差Δφを検出し距離dを算出する(ステップST73)。また、異常差分値の検出、信号の補完および距離dの算出がすべての画素に対して行われる(ステップST71〜ST75)。この場合であっても、第1の差分ΔW1もしくは第2の差分W2が小さすぎることに起因する測距精度の劣化を防止することができる。
【0071】
図18は本発明の測距装置の第4の実施形態を示す模式図であり、図18を参照して測距装置300について説明する。なお、図18の測距装置300において図1の測距装置1と同一の構成を有する部位には同一の符号を付してその説明を省略する。図18の測距装置300が図1の測距装置1と異なる点は、距離dの算出に用いる4種類の受光素子30a〜30d内に異なる被写体の境界が存在するときに、検出信号α〜δを補完する点である。
【0072】
測距装置300は、被写体判定部310、信号補完部320をさらに備えている。被写体判定部310は、距離dの算出に用いる4種類の検出信号α〜δが同一の被写体から取得した検出信号であるか否かを判別するものである。信号補完部320は、被写体判定部310において4種類の検出信号α〜δの中に異なる被写体から取得した異常検出信号が含まれていると判別されたとき、異常検出信号と同一種類であって異常検出信号を取得した受光素子からの距離が最も近い受光素子により取得された検出信号を用いて、4種類の検出信号α〜δが同一の被写体から取得した検出信号になるように異常検出信号を補完するものである。
【0073】
たとえば図19に示すように、被写体S1と被写体S2との境界が受光素子30a〜30d内のラインAとして存在すると仮定する。距離算出部40が座標(m、n)について距離dを算出するとき、被写体S1から反射変調光L2を受光したときの第1検出信号αおよび第3検出信号γと、被写体S2から反射変調光L2を受光したときの第2検出信号βおよび第4検出信号δとを用いることになる。ここで、式(1)による距離dの算出は4種類の検出信号α〜γが同一被写体上の同一の点から取得されることを前提としているため正確な測距を行うことができない。そこで、被写体判定部310において、距離dの算出に使用される隣接した画素の検出信号α〜δ内に被写体の境界が存在するか否かを判定するとともに、境界があった場合には信号補完部320は検出信号の補完を行う。
【0074】
具体的には、図20(A)に示すように、座標(m、n)について距離dを算出するとき、被写体判定部310は座標(m、n)の検出信号と座標(m、n+2)の検出信号との差分ΔW10が設定しきい値Sthよりも小さいか否かを判定する。差分ΔW10が設定しきい値Sth以上であるとき、異なる被写体のラインAもしくはラインBに被写体の境界が存在すると判定する。
【0075】
さらに、ラインAもしくはラインBのどちらに境界が存在するか否かを判定するため、被写体判定部310は図20(B)に示すように座標(m、n+1)の検出信号と座標(m、n−1)の検出信号との差分ΔW11が設定しきい値Sthよりも小さいか否かを判定する。差分ΔW11が設定しきい値Sth以上であるときラインAに境界が存在すると判定し、信号補完部320は検出信号S(m、n+1)=検出信号S(m、n−1)とする補完を行う。一方、差分が設定しきい値Sthよりも小さいときラインBに境界が存在すると判定し、信号補完部320は信号の補完を行わず距離算出部40は4つの検出信号α〜δを用いて距離dの算出を行う。
【0076】
一方、被写体判定部310は差分ΔW10が設定しきい値Sthよりも小さく横方向に境界が存在しないと判定したとき、さらに上記4つの座標内の縦方向に被写体の境界があるか否かを判定する。具体的には、図21(A)に示すように、被写体判定部310は座標(m、n)の検出信号と座標の検出信号との差分ΔW20が設定しきい値Sthよりも小さいか否かを判定する。差分ΔW20が設定しきい値Sth以上であるとき、異なる被写体のラインXもしくはラインYに被写体の境界が存在すると判定する。
【0077】
さらに、ラインXもしくはラインYのどちらに境界が存在するか否かを判定するため、図21(B)に示すように被写体判定部310は座標(m+1、n)の検出信号と座標(m−1、n)の検出信号との差分ΔW21が設定しきい値Sthよりも小さいか否かを判定する。差分ΔW21が設定しきい値Sth以上であるときラインXに境界が存在すると判定し、信号補完部320は検出信号S(m+1、n)=検出信号S(m−1、n)とする補完を行う。一方、差分が設定しきい値Sthよりも小さいときにはラインYに境界が存在すると判定し、信号補完部320は信号の補完を行わず距離算出部40は4つの検出信号α〜δを用いて距離dの算出を行う。
【0078】
図22は図20の測距装置300の動作例を示すフローチャートである。まず、距離算出部40において初期値m=1、n=1が設定され(ステップST81)、フレーム画像の座標(m、n)についての距離dの算出が開始される。次に、座標(m、n)、(m+1、n)、(m、n+1)、(m+1、n+1)の4種類の検出信号α〜δがメモリ8から距離算出部40に読み込まれ(ステップST82)、被写体判定部310において4種類の検出信号α〜δが同一の被写体から取得されたものであるか否かが判定される(ステップST83〜ST87)。
【0079】
最初に、被写体判定部310により4つの座標内の横方向(ラインA、B)に被写体の境界があるか否かを判定する(ステップST83、ST84、図20(A)参照)。そして、横方向に境界が存在する場合には信号補完部320による検出信号の補完が行われる(ステップST85、図20(B)参照)。一方、横方向に境界が存在しない場合には縦方向に境界が存在するか否かが判定される(ステップST86、ST87、図21(A)参照)。そして、縦方向に境界が存在する場合には信号補完部320による補完が行われる(ステップST88)。その後、距離算出部30による位相差Δφの検出および距離dの算出が行われ(ステップST89)、算出された距離dが座標情報(m、n)とともにメモリ8に記憶される(ステップST90)。そして、横方向の座標nがフレーム画像のサイズと同一であるか否かが判断され(ステップST91)、同一でない場合、距離dを算出するラインを縦方向に1つずらし(ステップST91〜ST93)、横方向に向かって距離dが算出されていく(ステップST81〜ST93)。
【0080】
その後、座標mがフレーム画像の横方向のサイズと同一であるかが判断され(ステップST91)、同一ではないときにはm=m+1が計算されて距離dを算出する画素が横方向に1つだけずらされる(ステップST92、ST93)。その後、距離算出部40によりメモリから2つの座標(m+1、n)、(m+1、n+1)の検出信号が取得される(ステップST94)。そして、既に取得済みの2つの座標の検出信号と、新たに取得した2つの座標の検出信号とを用いて座標(m、n)の距離dが算出される(ステップST83〜ST93)。
【0081】
上述した横方向への距離dの算出が終了したとき(ステップST90)、座標nがフレーム画像の縦方向のサイズと同一であるか否かが判断され(ステップST94)、同一でない場合、距離dを算出する横方向のラインを1つずらし(ステップST95)、上述した横方向に向かって距離dが算出されていく(ステップST82〜ST95)。フレーム画像のすべての画素について距離dの算出が終了したとき、メモリ8に記憶された座標および距離dを用いて距離画像が距離画像生成部50により生成される。
【0082】
このように、距離dの算出に用いる4種類の受光素子30a〜30d内に異なる被写体が存在するときに検出信号の補完を行うことにより、異なる被写体から反射した反射変調光L2に基づいて距離dが算出されることによる誤測距の発生を防止することができる。
【0083】
図23は本発明の測距装置の第5の実施形態を示す模式図であり、図23を参照して測距装置400について説明する。なお、図23の測距装置400において図1の測距装置1と同一の構成を有する部位には同一の符号を付してその説明を省略する。図23の測距装置400が図1の測距装置1と異なる点は、3種類の検出信号を用いて位相差Δφを検出し距離を算出する点である。
【0084】
受光部(撮像素子)430は、図24に示すように、第1検出信号αを取得する第1受光素子430aと、第2検出信号βを取得する第2受光素子430bと第3検出信号γを取得する第3受光素子430cとを備えている。受光部430は、横方向に対し第1受光素子30a、第2受光素子430b、第3受光素子430cの順に配列されており、縦方向に対し第1受光素子430aと第3受光素子430cもしくは第2受光素子430bと第4受光素子430dとが交互に配列されている。したがって、3種類の受光素子430a〜430cは隣接した構造を有している。
【0085】
各受光素子430a〜430cの露光時間および露光タイミングは受光制御部25により制御されている。図25に示すように、受光制御部25の撮像素子駆動部25cは、受光素子430a〜430cに対しそれぞれ転送制御パルスTP1〜TP3および排出制御パルスSP1〜SP3を印加することにより、光電変換された信号電荷(検出信号)を転送路に転送し、残存する残留電荷を排出するようになっている。
【0086】
また、図26に示すように、撮像素子駆動部25cは、変調光L1の位相が0°になったとき、第1受光素子30aに対し1/2周期分(=位相π)の転送制御パルスTP1を印加する。すると、第1受光素子30aは、変調光L1の位相0°〜π/2までのT/2期間だけ露光したときの第1検出信号αを第1転送路31aから出力する。また、撮像素子駆動部25cは、変調光L1の位相がπ/2になったとき、第2受光素子30bに対し1/2周期分(=位相π分)の転送制御パルスTP2を印加する。すると、第2受光素子30bは、変調光L1の位相π/2〜πまでのT/2期間だけ露光したときの第2検出信号βを第2転送路31bから出力する。さらに、撮像素子駆動部25cは、変調光L1の位相がπになったとき、第3受光素子30cに対し1/2周期分(=位相π分)の転送制御パルスTP3を印加する。すると、第3受光素子30cは、変調光L1の位相π〜3π/2までのT/2期間だけ露光したときの第3検出信号γを第1転送路31aから出力する。受光部30は3種類の検出信号α〜γを出力する際、1枚のフレーム画像として出力するように制御されている。
【0087】
このとき、距離算出部440は、下記式(3)を用いて位相差Δφを検出する。
【数2】

【0088】
ここで、距離算出部440は座標(m、n)の距離を算出するとき、図27(A)〜(C)に示すように、座標(m、n)、座標(m−1、n)、(m+1、n)の3種類の検出信号α〜γを用いて距離dを算出する。さらに、距離算出部440は、横方向に距離dを算出する座標をずらしていく。これにより、既に読み込み済みの座標(m、n)、(m、n+1)の検出信号と、新たに読み込んだ座標(m+1、n)とを用いて距離dを算出することができる。
【0089】
図28は測距装置400の動作例を示すフローチャートである。まず、距離算出部440において初期値m=1、n=1が設定され(ステップST101)、フレーム画像の座標(m、n)=(1、1)について距離dの算出が開始される。次に、座標(m、n)、(m+1、n)、(m+2、n)の3種類の検出信号α〜γがメモリ8から距離算出部440に読み込まれ(ステップST103)、位相差Δφの検出および距離dの算出が行われる(ステップST104)。そして、算出された距離dが座標情報(m、n)とともにメモリ8に記憶される(ステップST105)。
【0090】
次に、横方向の座標mがフレーム画像のサイズと同一であるかが判断され(ステップST106)、同一ではないときにはm=m+1が計算されて(ステップST107)、距離dを算出する座標が横方向に1つだけずらされる(ステップ108)。その後、距離算出部440によりメモリから座標(m+1、n)の検出信号が取得される(ステップST109)。そして、既に取得済みの2つの検出信号および新たに取得した1つの検出信号とを用いて座標(m、n)の距離dが算出される(ステップST104〜ST109)。
【0091】
上述した横方向への距離dの算出が終了したとき(ステップST106)、縦方向の座標nがフレーム画像のサイズと同一であるか否かが判断され(ステップST110)、同一でない場合、距離dを算出する横方向のラインを1つずらし(ステップST111)、上述した横方向に向かって距離dが算出されていく(ステップST102〜ST111)。フレーム画像のすべての座標について距離dの算出が終了したとき、メモリ8に記憶された座標および距離dを用いて距離画像が距離画像生成部50により生成される。
【0092】
このように、同一平面上の隣接する3種類の受光素子430a〜430cから得られた3種類の検出信号を用いて距離を算出するため、距離演算に必要な4つの検出信号を高速に取得し距離演算の高速化を図ることができる。
【0093】
なお、図27においては、距離算出部440は横方向に並んだ3種類の検出信号α〜γを用いて距離を算出する場合について例示しているが、図29に示すように、座標(m、n)、(m+1、n)、(m、n+1)の組み合わせおよび座標(m、n)、(m、n−1)、(m−1、n)の組み合わせからなる3種類の検出信号α〜γを用いるようにしてもよい。
【0094】
また、図30に示すように、受光部430は、縦方向に対し第1受光素子30a、第2受光素子430b、第3受光素子430cの順に配列されており、横方向に対し第1受光素子430aと第3受光素子430cもしくは第2受光素子430bと第4受光素子430dとが交互に配列されたものであってもよい。このとき、距離算出部40が座標(m、n)の距離dを算出するとき、図30(A)に示すように、座標(m、n)、(m、n+1)、(m、n+2)から取得された3種類の検出信号α〜γを用いるようにしてもよいし、図30(B)に示すように、座標(m、n)、(m+1、n)、(m、n−1)の組み合わせおよび座標(m、n)、(m−1、n)、(m、n+1)の組み合わせからなる3種類の検出信号α〜γを用いて距離dを算出するようにしてもよい。
【0095】
上記各実施の形態によれば、一定の周期で光強度を変調させた変調光L1を射出し、射出した変調光L1が被写体に照射されたときの被写体からの反射変調光L2を受光することにより、反射変調光L2から変調光L1の位相π/2毎に第1検出信号αと第2検出信号βと第3検出信号γと第4検出信号δとを取得し、取得した4種類の検出信号α〜δを用いて変調光L1と反射変調光L2との位相差Δφを検出して被写体までの距離dを算出する際、第1検出信号αを取得する第1受光素子30aと、第2検出信号βを取得する第2受光素子30bと、第3検出信号γを取得する第3受光素子30cと、第4検出信号δを取得する第4受光素子30dとから構成されるブロックBRが格子状に複数配列された受光部30を用いて4種類の検出信号α〜δを取得し、隣接する4種類の受光素子30a〜30dから取得される4種類の検出信号α〜δを用いて位相差Δφを検出し被写体までの距離dを算出することにより、同一平面上の隣接する4種類の受光素子30a〜30dから得られた4種類の検出信号α〜δを用いて距離dを算出するため、距離演算に必要な4種類の検出信号α〜δを高速に取得し距離演算の高速化を図ることができる。
【0096】
また、図7、図8に示すように、距離算出部30が、受光素子30a〜30d毎にそれぞれ被写体までの距離dを算出するものであり、受光部30の座標(m、n)における受光素子の距離dを算出するとき、座標(m、n)、(m+1、n)、(m、n+1)、(m+1、n+1)の4種類の受光素子30a〜30dから得られる4種類の検出信号α〜δを用いて位相差Δφを検出し被写体までの距離dを算出するとともに、縦方向もしくは横方向に座標をずらしながら各受光素子の距離dを算出するものであるとき、所定の座標の距離dを算出するときには直前の距離算出に用いた2つの検出信号を再利用して距離の算出を行うことができるため、より高速に距離の算出を行うことができる。
【0097】
さらに、図9〜図11に示すように、受光部30において取得された検出信号α〜δが予め設定された設定最大信号値S1refよりも大きい極大検出信号Smaxであるか否かを判定する異常信号検出部110と、異常信号検出部110において検出信号が極大検出信号Smaxであると判定されたとき、極大検出信号Smaxと同一種類であって極大検出信号を取得した受光素子からの距離が最も近い受光素子により取得された検出信号を用いて極大検出信号Smaxを補完する信号補完部120とをさらに有し、距離算出部40が、信号補完部120により補完された検出信号を用いて位相差Δφを検出し距離dを算出するものであれば、たとえば受光素子が飽和した場合等により検出信号に異常が生じている場合に、この異常が生じている検出信号を用いて距離dを算出することにより誤測距が発生するのを防止することができ、精度良く距離の算出を行うことができる。
【0098】
さらに、図12に示すように、受光部30において取得された検出信号が予め設定された設定最小信号値S2refよりも小さい極小検出信号Sminであるか否かを判定する異常信号検出部110と、異常信号検出部110において検出信号が極小検出信号Sminであると判定されたとき、極小検出信号Sminと同一種類であって極小検出信号Sminを取得した受光素子からの距離が最も近い受光素子により取得された検出信号を用いて極小検出信号を補完する信号補完部120とをさらに有し、距離算出部が、信号補完部により補完された検出信号を用いて位相差Δφを検出し距離dを算出するものであるとき、たとえば受光素子が黒潰れしている等により検出信号に異常が生じている場合に、この異常が生じている検出信号を用いて距離dを算出することにより誤測距が発生するのを防止することができ、精度良く距離の算出を行うことができる。
【0099】
また、図13〜図15に示すように、第1検出信号αと第3検出信号γとの第1の差分ΔW1および第2検出信号βと第4検出信号δとの第2の差分ΔW2を算出する差分算出部210と、差分算出部210において算出された第1の差分ΔW1もしくは第2の差分ΔW2が予め設定された設定差分値よりも小さい異常差分値であるか否かを判定する差分判定部220と、差分判定部220において第1の差分ΔW1もしくは第2の差分ΔW2が異常差分値であると判定されたとき、異常差分値の元になった検出信号と同一種類の検出信号であって、異常差分値の元になった検出信号を取得した受光素子からの距離が最も近い受光素子により取得された検出信号を用いて異常差分値の元になった検出信号を補完する信号補完部230とをさらに有し、距離算出部40が、信号補完部230により補完された検出信号を用いて位相差Δφを検出し距離dを算出するものであるとき、差分値が小さいことに起因する測距精度の劣化を防止することができる。
【0100】
さらに、図16、図17に示すように、同一平面上の複数の受光素子30a〜30dから取得した4種類の検出信号α〜δがフレーム画像として取得されるものであり、第1検出信号αと第3検出信号γとの第1の差分ΔW1と第2検出信号βと第4検出信号δとの第2の差分ΔW2とを算出する差分算出部210と、差分算出部210において算出された第1の差分ΔW1もしくは第2の差分ΔW2が予め設定された設定差分値よりも小さい異常差分値であるか否かを判定する差分判定部220と、差分判定部220において第1の差分もしくは第2の差分が異常差分値であると判定されたとき、異常差分値の元になった検出信号を取得した受光素子が異なるフレーム画像において取得した検出信号を用いて異常差分値の元になった各検出信号を補完する信号補完部230とをさらに有し、距離算出部40が、信号補完部230により補完された検出信号を用いて位相差Δφを検出し距離dを算出するものであれば、差分値が小さいことに起因する測距精度の劣化を防止することができる。
【0101】
さらに、図18〜図22に示すように、距離の算出に用いる4種類の検出信号α〜δが同一の被写体から取得した検出信号であるか否かを判別する被写体判別部310と、被写体判定部310において4種類の検出信号α〜δの中に異なる被写体から取得した異常検出信号が含まれていると判別されたとき、異常検出信号と同一種類であって異常検出信号を取得した受光素子からの距離が最も近い受光素子により取得された検出信号を用いて、4種類の検出信号α〜δが同一の被写体から取得した検出信号になるように異常検出信号を補完する信号補完部320とをさらに有し、距離算出部40が、信号補完部320により補完された検出信号を用いて位相差Δφを検出し距離dを算出するものであるとき、異なる被写体から取得された反射変調光L2に基づいて距離が算出されることにより誤測距の発生を防止することができる。
【0102】
また、図23〜図30に示すように、一定の周期で光強度を変調させた変調光L1を射出する発光部10と、発光部10から射出された変調光L1が被写体に照射されたときの被写体からの反射変調光L2を受光することにより、第1検出信号αと、第1検出信号αよりも位相がπ/2進んだ第2検出信号βと、第2検出信号βよりも位相がπ/2進んだ第3検出信号γとを取得する受光部430と、受光部430において取得された3種類の検出信号α〜γを用いて変調光L1と反射変調光L2との位相差Δφを検出して被写体までの距離dを算出する距離算出部とを備え、受光部430が、第1検出信号αを取得する第1受光素子430aと、第2検出信号βを取得する第2受光素子430bと、第3検出信号γを取得する第3受光素子430cとから構成されるブロックが複数配列されたものであり、距離算出部440が、互いに隣接した3種類の受光素子430a〜430cから取得される3種類の検出信号α〜γを用いて位相差Δφを検出し被写体までの距離dを算出することにより、同一平面上の隣接する3種類の受光素子430a〜430cから得られた3種類の検出信号α〜γを用いて距離dを算出するため、距離演算に必要な3種類の検出信号を高速に取得し距離演算の高速化を図ることができる。
【0103】
本発明の実施形態は上記実施形態に限定されない。たとえば、上記各実施形態において、距離画像の生成する場合について例示しているが、距離画像の生成までは行わず、対象物までの距離dを算出し出力する場合についても適用することができる。
【0104】
また、図23〜図30に示す3種類の検出信号α〜γを用いる場合であっても、図8〜図22に示す各種信号補完方法を適用することができる。
【図面の簡単な説明】
【0105】
【図1】本発明の測距装置の第1の実施形態を示すブロック図
【図2】図1の測距装置において射出される変調光および被写体からの反射変調光の一例を示すグラフ
【図3】図1の測距装置における受光素子の一例を示す模式図
【図4】図1の測距装置における受光素子の一例を示す模式図
【図5】図1の測距装置における各検出信号の取得の一例を示すタイミングチャート
【図6】本発明の測距方法の好ましい実施形態を示すフローチャート
【図7】本発明の測距装置における距離算出の別の実施形態を示す模式図
【図8】図7における距離の算出方法を示すフローチャート
【図9】本発明の測距装置の第2の実施形態を示すブロック図
【図10】図9の測距装置における検出信号の補完方法の一例を示す模式図
【図11】図9の測距装置の動作例を示すフローチャート
【図12】図9の測距装置の別の動作例を示すフローチャート
【図13】本発明の測距装置の第3の実施形態を示すブロック図
【図14】図13の測距装置における検出信号の補完方法の一例を示す模式図
【図15】図9の測距装置の動作例を示すフローチャート
【図16】図9の測距装置の別の動作例を示すフローチャート
【図17】図9の測距装置における検出信号の補完方法の別の一例を示す模式図
【図18】本発明の測距装置の第4の実施形態を示すブロック図
【図19】距離の算出に用いる4種類の画素に異なる被写体から取得した検出信号が存在する場合を示す模式図
【図20】図18の被写体判定部における判定の一例および信号補完部による補完の様子を示す模式図
【図21】図18の被写体判定部における判定の一例および信号補完部による補完の様子を示す模式図
【図22】図18の測距装置の動作例を示すフローチャート
【図23】本発明の測距装置の第5の実施形態を示すブロック図
【図24】図23の測距装置における受光素子の一例を示す模式図
【図25】図23の測距装置における受光素子の一例を示す模式図
【図26】図23の測距装置における各検出信号の取得の一例を示すタイミングチャート
【図27】図23の測距装置の距離算出部において距離算出に用いる3つの画素の組み合わせの様子を示す模式図
【図28】図23の測距装置の動作例を示すフローチャート
【図29】図23の測距装置の距離算出部において距離算出に用いる3つの画素の組み合わせの別の一例を示す模式図
【図30】図23の測距装置の距離算出部において距離算出に用いる3つの画素の組み合わせの別の一例を示す模式図
【符号の説明】
【0106】
1、100、200、300、400 測距装置
10 発光部
15 発光制御部
20 受光ユニット
30、430 受光部
30a、430a 第1受光素子
30b、430b 第2受光素子
30c、430c 第3受光素子
30d 第4受光素子
40 距離算出部
50 距離画像生成部
110 異常信号検出部
120 信号補完部
210 差分算出部
220 差分判定部
230 信号補完部
310 被写体判定部
320 信号補完部
BR ブロック
d 距離
Dth 設定差分値
L1 変調光
L2 反射変調光
P 距離画像
S 被写体
T 周期
α 第1検出信号
β 第2検出信号
γ 第3検出信号
δ 第4検出信号
Δφ 位相差

【特許請求の範囲】
【請求項1】
一定の周期で光強度を変調させた変調光を射出し、
射出した前記変調光が被写体に照射されたときの該被写体からの反射変調光を受光することにより、該反射変調光から前記変調光の位相π/2毎に第1検出信号と第2検出信号と第3検出信号と第4検出信号とを取得し、
取得した4種類の前記検出信号を用いて前記変調光と前記反射変調光との位相差を検出して前記被写体までの距離を算出する測距方法であって、
前記4種類の検出信号を取得するとき、前記第1検出信号を取得する第1受光素子と、前記第2検出信号を取得する第2受光素子と、前記第3検出信号を取得する第3受光素子と、前記第4検出信号を取得する第4受光素子とから構成されるブロックが格子状に複数配列された受光部を用いて前記4種類の検出信号を取得し、
前記被写体までの前記距離を算出するとき、隣接する4種類の前記受光素子から取得される前記4種類の検出信号を用いて前記位相差を検出し前記被写体までの前記距離を算出することを特徴とする測距方法。
【請求項2】
一定の周期で光強度を変調させた変調光を射出する発光部と、
該発光部から射出された前記変調光が被写体に照射されたときの該被写体からの反射変調光を受光することにより、該反射変調光から前記変調光の位相π/2毎に第1検出信号と第2検出信号と第3検出信号と第4検出信号とを取得する受光部と、
該受光部において取得された4種類の前記検出信号を用いて前記変調光と前記反射変調光との位相差を検出して前記被写体までの距離を算出する距離算出部と
を備え、
前記受光部が、前記第1検出信号を取得する第1受光素子と、前記第2検出信号を取得する第2受光素子と、前記第3検出信号を取得する第3受光素子と、前記第4検出信号を取得する第4受光素子とから構成されるブロックが格子状に複数配列されたものであり、
前記距離算出部が、隣接した4種類の前記受光素子から取得される前記4種類の検出信号を用いて前記位相差を検出し前記被写体までの前記距離を算出するものであることを特徴とする測距装置。
【請求項3】
前記距離算出部が、前記受光素子毎にそれぞれ前記被写体までの前記距離を算出するものであり、前記受光部の座標(m、n)における前記受光素子の前記距離を算出するとき、座標(m、n)、(m+1、n)、(m、n+1)、(m+1、n+1)の4つの前記受光素子から得られる前記4種類の検出信号を用いて前記位相差を検出し被写体までの前記距離を算出するとともに、縦方向もしくは横方向に座標をずらしながら前記各受光素子の距離を算出するものであることを特徴とする請求項2記載の測距装置。
【請求項4】
前記受光部において取得された前記検出信号が予め設定された設定最大信号値よりも大きい極大検出信号であるか否かを判定する異常信号検出部と、
前記異常信号検出部において前記検出信号が前記極大検出信号であると判定されたとき、前記極大検出信号と同一種類であって該極大検出信号を取得した前記受光素子からの距離が最も近い前記受光素子により取得された前記検出信号を用いて前記極大検出信号を補完する信号補完部と
をさらに有し、
前記距離算出部が、前記信号補完部により補完された前記検出信号を用いて前記位相差を検出し前記距離を算出するものであることを特徴とする請求項2または3記載の測距装置。
【請求項5】
前記受光部において取得された前記検出信号が予め設定された設定最小信号値よりも小さい極小検出信号であるか否かを判定する異常信号検出部と、
前記異常信号検出部において前記検出信号が前記極小検出信号であると判定されたとき、前記極小検出信号と同一種類であって該極小検出信号を取得した前記受光素子からの距離が最も近い前記受光素子により取得された前記検出信号を用いて前記極小検出信号を補完する信号補完部と
をさらに有し、
前記距離算出部が、前記信号補完部により補完された前記検出信号を用いて前記位相差を検出し前記距離を算出するものであることを特徴とする請求項2から4のいずれか1項記載の測距装置。
【請求項6】
前記第1検出信号と前記第3検出信号との第1の差分および前記第2検出信号と前記第4検出信号との第2の差分を算出する差分算出部と、
該差分算出部において算出された前記第1の差分もしくは前記第2の差分が予め設定された設定差分値よりも小さい異常差分値であるか否かを判定する差分判定部と、
該差分判定部において前記第1の差分もしくは前記第2の差分が前記異常差分値であると判定されたとき、該異常差分値の元になった前記検出信号と同一種類の前記検出信号であって、前記異常差分値の元になった前記検出信号を取得した前記受光素子からの距離が最も近い前記受光素子により取得された前記検出信号を用いて前記異常差分値の元になった前記検出信号を補完する信号補完部と
をさらに有し、
前記距離算出部が、前記信号補完部により補完された前記検出信号を用いて前記位相差を検出し前記距離を算出するものであることを特徴とする請求項2から5のいずれか1項記載の測距装置。
【請求項7】
同一平面上の前記複数の受光素子から取得した4種類の前記検出信号がフレーム画像として取得されるものであり、
前記第1検出信号と前記第3検出信号との第1の差分と前記第2検出信号と前記第4検出信号との第2の差分とを算出する差分算出部と、
該差分算出部において算出された前記第1の差分もしくは前記第2の差分が予め設定された設定差分値よりも小さい異常差分値であるか否かを判定する差分判定部と、
該差分判定部において前記第1の差分もしくは第2の差分が前記異常差分値であると判定されたとき、該異常差分値の元になった前記検出信号を取得した前記受光素子が異なる前記フレーム画像において取得した前記検出信号を用いて前記異常差分値の元になった前記各検出信号を補完する信号補完部と
をさらに有し、
前記距離算出部が、前記信号補完部により補完された前記検出信号を用いて前記位相差を検出し前記距離を算出するものであることを特徴とする請求項2から6のいずれか1項記載の測距装置。
【請求項8】
前記距離の算出に用いる前記4種類の検出信号が同一の前記被写体から取得した検出信号であるか否かを判別する被写体判別部と、
該被写体判定部において前記4種類の検出信号の中に異なる前記被写体から取得した異常検出信号が含まれていると判別されたとき、該異常検出信号と同一種類であって該異常検出信号を取得した前記受光素子からの距離が最も近い前記受光素子により取得された前記検出信号を用いて、前記4種類の検出信号が前記同一の被写体から取得した前記検出信号になるように前記異常検出信号を補完する信号補完部と
をさらに有し、
前記距離算出部が、前記信号補完部により補完された前記検出信号を用いて前記位相差を検出し前記距離を算出するものであることを特徴とする請求項2から7のいずれか1項記載の測距装置。
【請求項9】
一定の周期で光強度を変調させた変調光を射出し、前記変調光と前記反射変調光との位相差を検出して前記被写体までの距離を算出するために前記変調光が被写体に照射されたときの該被写体からの反射変調光を受光することにより、該反射変調光から前記変調光の位相π/2毎に第1検出信号と第2検出信号と第3検出信号と第4検出信号とを取得するための撮像素子であって、
前記第1検出信号を取得する第1受光素子と、前記第2検出信号を取得する第2受光素子と、前記第3検出信号を取得する第3受光素子と、前記第4検出信号を取得する第4受光素子とを有し、4種類の前記受光素子から構成されるブロックが格子状に複数配列されていることを特徴とする撮像素子。
【請求項10】
一定の周期で光強度を変調させた変調光を射出する発光部と、
該発光部から射出された前記変調光が被写体に照射されたときの該被写体からの反射変調光を受光することにより、第1検出信号と、該第1検出信号よりも位相がπ/2進んだ第2検出信号と、該第2検出信号よりも位相がπ/2進んだ第3検出信号とを取得する受光部と、
該受光部において取得された3種類の前記検出信号を用いて前記変調光と前記反射変調光との位相差を検出して被写体までの距離を算出する距離算出部と
を備え、
前記受光部が、前記第1検出信号を取得する第1受光素子と、前記第2検出信号を取得する第2受光素子と、前記第3検出信号を取得する第3受光素子とから構成されるブロックが複数配列されたものであり、
前記距離算出部が、隣接した3種類の前記受光素子から取得される前記3種類の検出信号を用いて前記位相差を検出し前記被写体までの前記距離を算出するものであることを特徴とする測距装置。
【請求項11】
一定の周期で光強度を変調させた変調光を射出し、前記変調光と前記反射変調光との位相差を検出して前記被写体までの距離を算出するために前記変調光が被写体に照射されたときの該被写体からの反射変調光を受光することにより、第1検出信号と、該第1検出信号よりも位相がπ/2進んだ第2検出信号と、該第2検出信号よりも位相がπ/2進んだ第3検出信号とを取得するための撮像素子であって、
前記第1検出信号を取得する第1受光素子と、前記第2検出信号を取得する第2受光素子と、前記第3検出信号を取得する第3受光素子とから構成されるブロックが複数配列されていることを特徴とする撮像素子。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate


【公開番号】特開2009−79988(P2009−79988A)
【公開日】平成21年4月16日(2009.4.16)
【国際特許分類】
【出願番号】特願2007−249025(P2007−249025)
【出願日】平成19年9月26日(2007.9.26)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【復代理人】
【識別番号】100134245
【弁理士】
【氏名又は名称】本澤 大樹
【Fターム(参考)】