光飛行時間型距離画像センサの制御方法およびそのシステム
【課題】明るい背景光の受光による固体撮像素子の電荷蓄積部の飽和を防止することができるとともに、取得される距離画像の距離精度に悪影響が及ばないようにする。
【解決手段】光電変換素子と、光電変換素子ごとに設けられて電荷を蓄積可能な複数の電荷蓄積部と、変調光に同期して電荷を複数の電荷蓄積部に振り分けて蓄積させる振り分け手段と、複数の電荷蓄積部とそれぞれ導通可能な複数の容量と、複数の電荷蓄積部と複数の容量との導通状態を制御する制御手段とを有する固体撮像素子により、画素を構成した光飛行時間型距離画像センサの制御方法であって、振り分け手段により複数の電荷蓄積部に電荷を振り分ける光蓄積時間において、住意の時間配分で制御手段により制御される導通状態を切り替えることにより、変調光による電荷を複数の電荷蓄積部に蓄積させたまま、変調光以外の光による電荷を複数の電荷蓄積部から除去する。
【解決手段】光電変換素子と、光電変換素子ごとに設けられて電荷を蓄積可能な複数の電荷蓄積部と、変調光に同期して電荷を複数の電荷蓄積部に振り分けて蓄積させる振り分け手段と、複数の電荷蓄積部とそれぞれ導通可能な複数の容量と、複数の電荷蓄積部と複数の容量との導通状態を制御する制御手段とを有する固体撮像素子により、画素を構成した光飛行時間型距離画像センサの制御方法であって、振り分け手段により複数の電荷蓄積部に電荷を振り分ける光蓄積時間において、住意の時間配分で制御手段により制御される導通状態を切り替えることにより、変調光による電荷を複数の電荷蓄積部に蓄積させたまま、変調光以外の光による電荷を複数の電荷蓄積部から除去する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、光飛行時間型距離画像センサの制御方法およびそのシステムに関し、さらに詳細には、1個の固体撮像素子を1画素として構成した光飛行時間型距離画像センサの制御方法およびそのシステムであって、対象物体へ照射した光の反射光を受光することにより光飛行時間計測法(TOF:Time of flight)を用いて光飛行時間を測定し、当該光飛行時間に基づいて当該対象物体までの距離を測定することにより距離画像を生成する光飛行時間型距離画像センサの制御方法およびそのシステムの改良に関し、特に、未知の背景光照明下で使用することのできる電荷振り分け方式を採用した固体撮像素子により画素を構成した光飛行時間型距離画像センサの制御方法およびそのシステムに関する。
【0002】
ここで、電荷振り分け方式とは、後述するように、2つ以上の電荷蓄積容量を1つの光電変換素子に接続し、高周波で変調した光あるいはパルス発光する光(本明細書においては、「高周波で変調した光」や「パルス発光する光」を総称して「変調光」と称することとする。)をその変調や発光時間に同期して上記2つ以上の電荷蓄積容量に分離蓄積し、一定時間毎に分離蓄積した電荷を読み出して平均化することにより信号雑音比を高め、この分離蓄積した電荷に基づいて得られた信号を用いて距離を算出するという原理を意味するものとする。
【背景技術】
【0003】
一般に、光飛行時間計測法を用いた従来の光飛行時間型距離画像センサとしては、例えば、特許文献1として提示する特開2001−281336号公報に開示された距離画像撮像装置、特許文献2として提示する特開2003−51988号公報に開示された固体撮像素子、特許文献3として提示する特開2004−294420号公報に開示された距離画像センサあるいは特許文献4として提示する特開2005−235893号公報に開示された光飛行時間型距離センサなどが知られている。
【0004】
ここで、図1には、従来より周知の一般的な光飛行時間型距離画像センサのブロック構成説明図が示されており、この図1を参照しながら、光飛行時間計測法の原理について説明する。
【0005】
この図1に示す光飛行時間型距離画像センサ100は、光源102と、同期制御部104と、光を電荷に変換する光電変換素子と該光電変換素子ごとに設けられた複数の電荷蓄積部と該複数の電荷蓄積部に電荷を振り分ける振り分け手段とを有して構成された電荷振り分け方式による固体撮像素子106と、距離画像生成部108とを有して構成されている。
【0006】
なお、図1に示す光飛行時間型距離画像センサ100においては、説明を簡易化して理解を容易にするために、1個の固体撮像素子106を備えるように図示したが、実際の光飛行時間型距離画像センサは、1個の固体撮像素子を1画素として、複数の固体撮像素子が2次元平面上にアレイ状に配置されて構成されている。
【0007】
また、固体撮像素子106のように、光を電荷に変換する光電変換素子と該光電変換素子ごとに設けられた複数の電荷蓄積部と該複数の電荷蓄積部に電荷を振り分ける振り分け手段とを有して固体撮像素子を構成する技術は周知であるので、その詳細な説明は省略する。
【0008】
図1において、符号200は、光源102の発光に伴う光を照射される、光飛行時間型距離画像センサ100による測定の対象たる対象物体である。
【0009】
上記した光飛行時間型距離画像センサ100の光源102は、信号光として高周波、例えば、10MHzの正弦波もしくは矩形波などで高速に変調された赤外光もしくは可視光などの光である変調光L1を対象物体200に照射するものである。
【0010】
なお、こうした光源102としては、例えば、LEDなどの高速変調が可能なデバイスを用いることができる。
【0011】
光飛行時間型距離画像センサ100において、光源102によって照射された変調光L1が対象物体200に照射されると、対象物体200に照射された変調光L1は、対象物体200の反射率に応じて反射されて、固体撮像素子106に入射されることになる。
【0012】
ここで、固体撮像素子106に入射される光たる入射光L2は、変調光L1が対象物体200により反射されることに由来する光(以下、「変調光由来の反射光」を「変調光成分」と適宜に称する。)と、自然光などの外部光源からの光たる背景光が対象物体200により反射されることに由来する光(以下、「背景光由来の反射光」を「背景光成分」と適宜に称する。)との総和になる。
【0013】
こうした変調光成分と背景光成分との総和である入射光L2が固体撮像素子106に入射されると、固体撮像素子106は入射光L2を撮像する。
【0014】
ここで、同期制御部104は、光源102と固体撮像素子106とを同期制御しており、固体撮像素子106は同期制御部104の同期信号に従って、光源102によって照射された変調光L1の変調と同期させて、入射光L2による電荷を振り分け手段により光電変換素子ごとに設けられた複数の電荷蓄積部に高速に振り分ける処理などを行う。
【0015】
そして、距離画像生成部108は、固体撮像素子106の光電変換素子ごとに設けられた複数の電荷蓄積部に振り分けられた電荷を読み出して、その読み出した結果に基づいて変調光L1と入射光L2との位相差を算出し、その算出結果に基づいて距離画像を生成する。
【0016】
次に、図2には、上記した光飛行時間型距離画像センサ100の動作原理を説明するためのタイミングチャートとして、変調光L1と入射光L2との関係をあらわすタイミングチャートが示されている。
【0017】
なお、図2に示すタイミングチャートにおいて、縦軸は光源102の発光強度ならびに固体撮像素子106の受光強度を示し、横軸は時間の経過を示している。
【0018】
ここで、図2に示すタイミングチャートの符号P1で示す曲線は、光源102における変調光L1の発光パターンを示しており、変調光L1が正弦波を用いて変調された例を示している。
【0019】
また、図2に示すタイミングチャートの符号P2で示す曲線は、固体撮像素子106における入射光L2の受光パターンを示している。
【0020】
そして、発光パターンP1と受光パターンP2との位相差が、変調光L1が光源102から出射されて対象物体200により反射され、そして固体撮像素子106で受光されるまでの飛行時間によって生じる遅延である。
【0021】
ここで、固体撮像素子106は、上記したように、光源102から出射される変調光L1の変調に同期して、複数の電荷蓄積部に電荷を振り分ける動作を行うが、図2に示す例は、光源102から出射される変調光L1の変調の1周期を4期間に分けて、4つの電荷蓄積部に電荷を振り分ける場合をしている。
【0022】
上記4期間のそれぞれの期間をT1、T2、T3、T4(図2を参照する。)とし、それぞれの期間に蓄積する電荷量をC1、C2、C3、C4とすると、これにより求められる位相差φ(図2を参照する。)は、下記の数式1により求められる。
【数1】
【0023】
また、一般的な画像データとして用いる電荷量平均A(図2を参照する。)は、下記の数式2により求められる。
【数2】
【0024】
さらに、対象物体200で反射された変調光L1に由来する光たる変調光成分の振幅量B(図2を参照する。)は、下記の数式3により求められる。
【数3】
【0025】
なお、一般的に光源102として用いる発光源の変調周波数は数十MHzであり、従って、変調の1周期は数十ns程度である。そのため、距離画像を得るためには、数百〜数十万周期の電荷蓄積時間を要することとなる。
【0026】
上記した光飛行時間型距離画像センサ100のような光飛行時間型距離画像センサにおいては、距離画像と一般的な輝度画像とを同時に得ることができる。
【0027】
しかしながら、対象物体を撮像する際における背景の明るさは、ほとんどの場合において変化するものであり、蛍光灯などの他光源による背景光や、特に、屋外などで使用する場合は太陽光などの明るい背景光が存在することになる。
【0028】
距離画像を求めるために発光源(図1における例では、光源102である。)から出射される変調光は、これらの明るい背景光に重畳しているが、光飛行時間型距離画像センサの画素を構成する固体撮像素子で変換できる光の量には限界があるため、これらの明るい背景光を受光した電荷蓄積部は飽和を起こし、電荷の振り分け動作が無効になってしまい、変調光と入射光との位相差を算出することができなくなるという問題点があった。
【0029】
このため、こうした問題点を解決するための手法として、特許文献5として提示する特開2006−067503号公報に開示された発明や、特許文献6として提示する特開2006−084430号公報に開示された発明が提案されている。
【0030】
これら特開2006−067503号公報に開示された発明や、特開2006−084430号公報に開示された発明は、光飛行時間型距離画像センサにより撮像した輝度画像に応じて、露光を制御したり、あるいは、受光時間を制御したりすることにより、明るい背景光の受光による固体撮像素子の電荷蓄積部の飽和を防止している。
【0031】
しかしながら、上記した特開2006−067503号公報に開示された発明や、特開2006−084430号公報に開示された発明による手法では、明るい背景光の受光による固体撮像素子の電荷蓄積部の飽和を防止することは可能であるが、蓄積する電荷の量自体を少なくしているため、距離画像を求めるために発光源から出射される変調光による電荷の量も比例して少なくなってしまい、同時に算出する距離画像の距離精度に悪影響を及ぼすことになるという新たな問題点があった。
【0032】
また、上記した特開2006−067503号公報に開示された発明や特開2006−084430号公報に開示された発明のように、複数の蓄積時間で撮像した電荷を画素ごとに選択するための構造は非常に複雑であり、製造コストの上昇をもたらすという問題点もあった。
【0033】
【特許文献1】特開2001−281336号公報
【特許文献2】特開2003−51988号公報
【特許文献3】特開2004−294420号公報
【特許文献4】特開2005−235893号公報
【特許文献5】特開2006−067503号公報
【特許文献6】特開2006−084430号公報
【発明の開示】
【発明が解決しようとする課題】
【0034】
本発明は、従来の技術の有する上記したような種々の問題点に鑑みてなされたものであり、その目的とするところは、光飛行時間計測法に用いる電荷振り分け方式の固体撮像素子により画素を構成した光飛行時間型距離画像センサにおいて、明るい背景光の受光による固体撮像素子の電荷蓄積部の飽和を防止することができるとともに、取得される距離画像の距離精度に悪影響が及ばないようにした光飛行時間型距離画像センサの制御方法およびそのシステムを提供しようとするものである。
【0035】
また、本発明の目的とするところは、光飛行時間計測法に用いる電荷振り分け方式の固体撮像素子により画素を構成した光飛行時間型距離画像センサにおいて、製造コストの上昇をもたらすことなく、明るい背景光の受光による固体撮像素子の電荷蓄積部の飽和を防止することが可能な光飛行時間型距離画像センサの制御方法およびそのシステムを提供しようとするものである。
【課題を解決するための手段】
【0036】
上記目的を達成するために、本発明は、固体撮像素子の電荷蓄積部に蓄積される背景光による電荷の割合を制御するようにしたものである。
【0037】
また、上記目的を達成するために、本発明は、ある時間に撮像した画像のなかに所定の輝度値の画素があれば、その画素の数に基づいて、固体撮像素子の電荷蓄積部に蓄積される背景光による電荷の割合を制御するようにしたものである。
【0038】
また、上記目的を達成するために、本発明は、ある時間に撮影した距離画像のヒストグラムを作成し、このヒストグラムに基づいて、固体撮像素子の電荷蓄積部に蓄積される背景光による電荷の割合を制御するようにしたものである。
【0039】
従って、こうした本発明によれば、光飛行時間計測法に用いる電荷振り分け方式の固体撮像素子により画素を構成した光飛行時間型距離画像センサにおいて、明るい背景光による画素の受光の飽和を防止することができるとともに、取得される距離画像の距離精度に悪影響を及ぼすことがない。
【0040】
また、こうした本発明によれば、光飛行時間計測法に用いる電荷振り分け方式の固体撮像素子により画素を構成した光飛行時間型距離画像センサにおいて、製造コストの上昇をもたらすことなく、明るい背景光による画素の受光の飽和を防止することが可能になる。
【0041】
即ち、本発明のうち請求項1に記載の発明は、変調光を含む光を電荷に変換する光電変換素子と、上記光電変換素子ごとに設けられるとともに、上記光電変換素子により変換された電荷を蓄積可能な複数の電荷蓄積部と、上記変調光に同期して、上記光電変換素子により変換された電荷を上記複数の電荷蓄積部に振り分けて、上記複数の電荷蓄積部に電荷を蓄積させる振り分け手段と、上記複数の電荷蓄積部とそれぞれ導通可能な複数の容量と、上記複数の電荷蓄積部と上記複数の容量との導通状態を制御する制御手段とを有する固体撮像素子により、画素を構成した光飛行時間型距離画像センサの制御方法であって、上記振り分け手段により上記複数の電荷蓄積部に電荷を振り分ける光蓄積時間において、住意の時間配分で上記制御手段により制御される導通状態を切り替えることにより、上記変調光による電荷を上記複数の電荷蓄積部に蓄積させたまま、上記変調光以外の光による電荷を上記複数の電荷蓄積部から除去するようにしたものである。
【0042】
また、本発明のうち請求項2に記載の発明は、変調光を含む光を電荷に変換する光電変換素子と、上記光電変換素子ごとに設けられるとともに、上記光電変換素子により変換された電荷を蓄積可能な複数の電荷蓄積部と、上記変調光に同期して、上記光電変換素子により変換された電荷を上記複数の電荷蓄積部に振り分けて、上記複数の電荷蓄積部に電荷を蓄積させる振り分け手段と、上記複数の電荷蓄積部とそれぞれ導通可能な複数の容量と、上記複数の電荷蓄積部と上記複数の容量との導通状態を制御する制御手段とを有する固体撮像素子により、画素を構成した光飛行時間型距離画像センサの制御方法であって、 ある時間に撮像された画像から所定の輝度値の画素の数をカウントし、該カウントした画素の数に基づいて、上記変調光以外の光による電荷を上記複数の電荷蓄積部から除去する割合を決定し、上記振り分け手段により上記複数の電荷蓄積部に電荷を振り分ける光蓄積時間において、該決定した割合に基づいて、上記制御手段により制御される導通状態を切り替えることにより、上記変調光による電荷を上記複数の電荷蓄積部に蓄積させたまま、上記変調光以外の光による電荷を該決定した割合で上記複数の電荷蓄積部から除去するようにしたものである。
【0043】
また、本発明のうち請求項3に記載の発明は、変調光を含む光を電荷に変換する光電変換素子と、上記光電変換素子ごとに設けられるとともに、上記光電変換素子により変換された電荷を蓄積可能な複数の電荷蓄積部と、上記変調光に同期して、上記光電変換素子により変換された電荷を上記複数の電荷蓄積部に振り分けて、上記複数の電荷蓄積部に電荷を蓄積させる振り分け手段と、上記複数の電荷蓄積部とそれぞれ導通可能な複数の容量と、上記複数の電荷蓄積部と上記複数の容量との導通状態を制御する制御手段とを有する固体撮像素子により、画素を構成した光飛行時間型距離画像センサの制御方法であって、ある時間に撮像された画像からヒストグラムを作成し、該作成したヒストグラムに基づいて、上記変調光以外の光による電荷を上記複数の電荷蓄積部から除去する割合を決定し、上記振り分け手段により上記複数の電荷蓄積部に電荷を振り分ける光蓄積時間において、該決定した割合に基づいて、上記制御手段により制御される導通状態を切り替えることにより、上記変調光による電荷を上記複数の電荷蓄積部に蓄積させたまま、上記変調光以外の光による電荷を該決定した割合で上記複数の電荷蓄積部から除去するようにしたものである。
【0044】
また、本発明のうち請求項4に記載の発明は、変調光を含む光を電荷に変換する光電変換素子と、上記光電変換素子ごとに設けられるとともに、上記光電変換素子により変換された電荷を蓄積可能な複数の電荷蓄積部と、上記変調光に同期して、上記光電変換素子により変換された電荷を上記複数の電荷蓄積部に振り分けて、上記複数の電荷蓄積部に電荷を蓄積させる振り分け手段と、上記複数の電荷蓄積部とそれぞれ導通可能な複数の容量と、上記複数の電荷蓄積部と上記複数の容量との導通状態を制御する制御手段とを有する固体撮像素子により、画素を構成した光飛行時間型距離画像センサの制御システムであって、ある時間に撮像された画像から所定の輝度値の画素の数をカウントするカウント手段と、上記カウント手段がカウントした画素の数に基づいて、上記変調光以外の光による電荷を上記複数の電荷蓄積部から除去する割合を決定するゲイン調整手段とを有し、上記制御手段が、上記振り分け手段により上記複数の電荷蓄積部に電荷を振り分ける光蓄積時間において、上記ゲイン調整手段が決定した割合に基づいて、上記導通状態を切り替えることにより、上記変調光による電荷を上記複数の電荷蓄積部に蓄積させたまま、上記変調光以外の光による電荷を上記ゲイン調整手段が決定した割合で上記複数の電荷蓄積部から除去するようにしたものである。
【0045】
また、本発明のうち請求項5に記載の発明は、変調光を含む光を電荷に変換する光電変換素子と、上記光電変換素子ごとに設けられるとともに、上記光電変換素子により変換された電荷を蓄積可能な複数の電荷蓄積部と、上記変調光に同期して、上記光電変換素子により変換された電荷を上記複数の電荷蓄積部に振り分けて、上記複数の電荷蓄積部に電荷を蓄積させる振り分け手段と、上記複数の電荷蓄積部とそれぞれ導通可能な複数の容量と、上記複数の電荷蓄積部と上記複数の容量との導通状態を制御する制御手段とを有する固体撮像素子により、画素を構成した光飛行時間型距離画像センサの制御システムであって、ある時間に撮像された画像からヒストグラムを作成するヒストグラム作成手段と、上記ヒストグラム作成手段が作成したヒストグラムに基づいて、上記変調光以外の光による電荷を上記複数の電荷蓄積部から除去する割合を決定するゲイン調整手段とを有し、上記制御手段が、上記振り分け手段により上記複数の電荷蓄積部に電荷を振り分ける光蓄積時間において、上記ゲイン調整手段が決定した割合に基づいて、上記導通状態を切り替えることにより、上記変調光による電荷を上記複数の電荷蓄積部に蓄積させたまま、上記変調光以外の光による電荷を上記ゲイン調整手段が決定した割合で上記複数の電荷蓄積部から除去するようにしたものである。
【発明の効果】
【0046】
本発明は、以上説明したように構成されているので、光飛行時間計測法に用いる電荷振り分け方式の固体撮像素子により画素を構成した光飛行時間型距離画像センサにおいて、明るい背景光の受光による固体撮像素子の電荷蓄積部の飽和を防止することができるとともに、取得される距離画像の距離精度に悪影響を及ぼすことがないという優れた効果を奏する。
【0047】
また、本発明は、以上説明したように構成されているので、光飛行時間計測法に用いる電荷振り分け方式の固体撮像素子により画素を構成した光飛行時間型距離画像センサにおいて、製造コストの上昇をもたらすことなく、明るい背景光による画素の受光の飽和を防止することが可能になるという優れた効果を奏する。
【発明を実施するための最良の形態】
【0048】
以下、添付の図面を参照しながら、本発明による光飛行時間型距離画像センサの制御方法およびそのシステムの実施の形態の一例を詳細に説明するものとする。
【0049】
なお、以下の説明においては、図1に示す従来の光飛行時間型距離画像センサの構成と同一または相当する構成については、図1において用いた符号と同一の符号を付して示すことにより、その構成ならびに作用の詳細な説明は適宜に省略する。
【0050】
まず、図3には、本発明の第1の実施の形態による光飛行時間型距離画像センサの制御方法を実施する光飛行時間型距離画像センサのブロック構成説明図が示されている。
【0051】
この図3に示す光飛行時間型距離画像センサ10は、光源102と、同期制御部104と、光を電荷に変換する光電変換素子と該光電変換素子ごとに設けられた複数の電荷蓄積部と該複数の電荷蓄積部に電荷を振り分ける振り分け手段とを有して構成された電荷振り分け方式による固体撮像素子12と、距離画像生成部108と、距離画像生成部108により生成された距離画像を構成する画素の中で所定の閾値以上の輝度値をもつ画素をカウント(計数)する画素カウント部14と、画素カウント部14の計数結果に基づいて固体撮像素子12の電荷蓄積部に蓄積される背景光成分による電荷の割合(以下、「固体撮像素子の電荷蓄積部に蓄積される背景光成分による電荷の割合」を「ゲイン」と適宜に称する。)を制御するゲイン制御部16とを有して構成されている。
【0052】
なお、図3に示す光飛行時間型距離画像センサ10においては、図1に示す従来の光飛行時間型距離画像センサ100と同様に、説明を簡易化して理解を容易にするために、1個の固体撮像素子12を備えるように図示したが、実際の光飛行時間型距離画像センサにおいては、1個の固体撮像素子を1画素として、複数の固体撮像素子が2次元平面上にアレイ状に配置されて構成されている。
【0053】
ここで、図4には、光飛行時間型距離画像センサ10の画素として用いる固体撮像素子12の基本回路の回路図が示されている。
【0054】
この図4に示す固体撮像素子12は、本願出願人と同一の出願人により出願された特開2008−89346号公報に開示された発明と同一の構成を備えている。
【0055】
即ち、図4に示す固体撮像素子は、特開2008−89346号公報の図6に開示された固体撮像素子と同一の構成を備えた公知の技術であるので、その詳細な説明については特開2008−89346号公報の記載をここに援用することとし、本明細書においてはその概要について説明する。
【0056】
図4に示す固体撮像素子12において、符号PDは光電変換素子であり、固体撮像素子10に入射した光は、光電変換素子PDで電荷に変換される。
【0057】
また、符号M1、M2は、それぞれ符号Tx1、Tx2で示すゲート信号により電荷を振り分けるゲートたるFETスイッチであり、FETスイッチM1、M2の駆動により、電荷蓄積部Fd1、Fd2に、変調光に同期して電荷を振り分ける。
【0058】
さらに、符号M3、M4、M5、M6、M7、M8、M9、M10は、ゲート信号G1、G2により駆動され、電荷蓄積部Fd1、Fd2の電荷を、符号C1、C2で示す電荷を蓄積する容量に振り分ける。
【0059】
図5には、上記した図4に示す固体撮像素子12を制御するタイミングをあらわすタイミングチャートが示されている。
【0060】
ゲート信号Tx1、Tx2は、同期制御部104の同期信号に従ってオン(ON)/オフ(OFF)制御され、光源102によって照射された変調光L1の変調と同期させて、入射光L2による電荷を振り分ける。
【0061】
この際に、入射光L2のなかの変調光L1由来の反射光たる変調光成分の電荷は、電荷蓄積部Fd1と電荷蓄積部Fd2とへ位相に応じた量が振り分けられるため、電荷蓄積部Fd1と電荷蓄積部Fd2とでは蓄積する電荷の量が異なるが、入射光L2のなかの背景光由来の反射光たる背景光成分の電荷は、電荷蓄積部Fd1と電荷蓄積部Fd2とへ均等に振り分けられ、電荷蓄積部Fd1と電荷蓄積部Fd2とでは蓄積する電荷の量は一致する。
【0062】
なお、本明細書においては、上記した「電荷蓄積部Fd1と電荷蓄積部Fd2とに電荷を振り分けて蓄積する時間」を「光蓄積時間」と適宜に称する。
【0063】
さらに、ゲート信号G1をオンするとともにゲート信号G2をオフした状態を正接続期間とすると、光蓄積時間における正接続期間では、電荷蓄積部Fd1の電荷は、図4における容量C1の左端へ、また、電荷蓄積部Fd2の電荷は、図4における容量C2の右端に移動する。
【0064】
ここで、ゲート信号G1をオフするとともにゲート信号G2をオンさせる。この状態を反転接続期間とすると、この光蓄積時間における反転接続期間では、電荷蓄積部Fd1の電荷は、図4における容量C2の左端へ、また、電荷蓄積部Fd2の電荷は、図4における容量C1の右端に蓄積し、正接続期間にたまった電荷を打ち消す働きをする。
【0065】
より詳細には、最初に、ゲート信号Tx1、Tx2、G1、G2の全てをオンにする。この最初に全てのゲート信号Tx1、Tx2、G1、G2をオンする時間を、リセット期間Rと称することとする。
【0066】
このリセット期間Rにおいては、FETスイッチM1〜M10の全てが接続されるので、電荷蓄積部Fd1、Fd2の端子はVdd電位と等しくなる。また、光電変換素子PDの電位は、ゲート信号Tx1、Tx2の電圧に従ったポテンシャルにリセットされ、容量C1、C2は、放電した状態にリセットされる。
【0067】
なお、上記した各リセットは、光飛行時間型センサ10の各画素の属するラインの画面の読み出しの最初に行うものである。
【0068】
上記したリセットを終了すると、次回にリセットするまで、光電変換素子PDが光を受光することにより発生した光電子の電荷を変調光L1に同期して振り分け蓄積するため、高速なパルス信号たるゲート信号Tx1、Tx2を印加し、また、正接続期間と反転接続期間とが交互に存在するようにゲート信号G1、G2を印加する。
【0069】
なお、正接続期間および反転接続期間は等しい時間であり、ゲート信号Tx1、Tx2による高速パルスの整数倍の時間とする。
【0070】
図6には、上記した操作で変調光成分を残したまま、背景光を除去する様子をあらわした図が示されている。
【0071】
なお、図6におけるΔQFD1は、正接続期間に電荷蓄積部Fd1に対して流入した電荷を表し、また、図6におけるΔQFD2は、正接続期間に電荷蓄積部Fd2に流入した電荷を表す。
【0072】
正接続期間と反転接続期間とを等しい時間にすると、電荷蓄積部Fd1と電荷蓄積部Fd2とに等しく蓄積した背景光成分は相殺されるが、変調光成分は電荷蓄積部Fd1と電荷蓄積部Fd2とに位相に応じた比率で蓄積しているため、容量C1と容量C2とには電荷蓄積部Fd1と電荷蓄積部Fd2との差分成分だけが残ることになる。
【0073】
本発明による光飛行時間型距離画像センサの制御方法は、上記したように、固体撮像素子12の容量C1と容量C2とには電荷蓄積部Fd1と電荷蓄積部Fd2との差分成分だけが残ることに鑑みて、電荷蓄積部Fd1と電荷蓄積部Fd2とに蓄積される背景光成分の割合たるゲインを任意の値に設定することにより、変調光成分は残したままで、電荷蓄積部Fd1と電荷蓄積部Fd2とに蓄積される背景光成分を任意の割合で削減することを可能にしたものである。
【0074】
次に、本発明による光飛行時間型距離画像センサの制御方法について、図7を参照しながら説明する。
【0075】
図7において、符号T1で示す期間は正接続期間であり、符号T2で示す期間は反転接続期間であるが、正接続期間T1と反転接続期間T2との時間間隔が図7に示すものとなるようにゲート信号G1、G2を印加することにより、図5に示す場合におけると比較すると、電荷蓄積部Fd1と電荷蓄積部Fd2とに蓄積される背景光成分による電荷を1/2、即ち、半分に削減することができる。
【0076】
具体的には、図7に場合においては、最初の正接続期間T1と最初の正接続期間T1に続く反転接続期間T2とは等しい時間間隔であるが、当該反転接続期間T2に続く正接続期間T1は、当該反転接続期間T2の2倍の時間間隔であり、反転接続期間を設けない時のゲインを1とすると、そのゲインを「0.5」にすることができる。
【0077】
つまり、図7に示す例は、背景光成分のゲインを0.5としたときのゲート信号G1、G2の駆動の様子を示すものであり、最初の正接続期間T1の期間に蓄積した背景光成分の電荷は、反転接続期間T2の期間で相殺され、2回目の正接続期間T1の期間に蓄積された背景光成分の電荷のみが残ることになる。このとき、「T1:T2=3:1」である。
【0078】
このようにすると、蓄積する背景光成分の電荷は2分の1になるが、上記したように、変調光成分の電荷は相殺されずにそのまま残る。
【0079】
これにより、距離画像の距離精度に関係する変調光成分の電荷を減らすことなく、背景光成分のダイナミックレンジを上げることができるものである。
【0080】
また、図8には、他のゲインの例として、背景光成分のゲインを0.25としたときのゲート信号G1、G2の駆動の様子が示されている。このとき、「T1:T2=5:3」である。
【0081】
ここで、あるゲインgに設定するときの正接続期間T1と反転接続期間T2との比は、下記の数式4で求められる。
【数4】
【0082】
なお、上記した図7や図8に示す駆動方法はあくまで一例であり、T1:T2の比が変わらなければ、電荷蓄積部Fd1、Fd2が飽和しない限り、どのようなタイミングでゲート信号G1、G2を制御してもよい。
【0083】
上記したようにゲート信号G1、G2を任意の時間比で切り替え制御することにより、変調光成分の電荷は電荷蓄積部Fd1、Fd2に残したままで、背景光成分の電荷のみを電荷蓄積部Fd1、Fd2から減少させることができることになる。
【0084】
そして、図3に示す光飛行時間型距離画像センサ10は、上記において説明した本発明による光飛行時間型距離画像センサの制御方法により、距離画像生成部108によって生成された距離画像に応じて、上記したゲインを自動的に可変する制御システムを備えたている。
【0085】
なお、この図3に示す光飛行時間型距離画像センサ10において、距離画像生成部108によって距離画像を生成する際の処理については、「背景技術」の項において説明した光飛行時間型距離画像センサ100と同様であるので、その詳細な説明は省略する。
【0086】
ここで、図9には、光飛行時間型距離画像センサ10においてゲインを自動的に可変する制御の処理ルーチンたるゲイン制御ルーチンのフローチャートが示されている。
【0087】
このゲイン制御ルーチンは、光飛行時間型距離画像センサ10により距離画像を取得する動作が起動されると、その動作中においては所定の時間間隔(例えば、30分の1秒毎である。)で繰り返し起動されて実行され、ゲインの調整が自動的に行われる。
【0088】
即ち、光飛行時間型距離画像センサ10により距離画像を取得する動作が起動されて、その動作中において所定の時間間隔でゲイン制御ルーチンが起動されると、画素カウント部14は、距離画像生成部108が生成した距離画像を取得し(ステップS902)、取得した距離画像の画素の中から第1の閾値として設定された所定の輝度値(例えば、輝度値が0〜255の時、240である。)以上の画素の数を計数(カウント)する(ステップS904)。
【0089】
上記したステップS904の処理を終了すると、ステップS906の処理へ進み、ゲイン制御部16は、ステップS904の処理でカウントした画素の数が第1の所定値以上(例えば、全画素の10%以上である。)であるか否かを判断する。
【0090】
このステップS906の判断処理において、ステップS904の処理でカウントした画素の数が第1の所定値以上ではないと判断された場合には、ステップS907の処理へ進み、取得した距離画像の画素の中から第2の閾値として設定された所定の輝度値(例えば、輝度値が0〜255の時、15である。)以下の画素の数を計数(カウント)する。
【0091】
上記したステップS907の処理を終了すると、ステップS908の処理へ進み、ゲイン制御部16は、ステップS907の処理でカウントした画素の数が第2の所定値以上(例えば、全画素の10%以上)であるか否かを判断する。
【0092】
このステップS908の判断処理において、ステップS907の処理でカウントした画素の数が第2の所定値以上ではないと判断された場合には、ステップS910の処理へ進み、ゲインの変更は行わない。
【0093】
一方、ステップS908の判断処理において、ステップS907の処理でカウントした画素の数が第2の所定値以上であると判断された場合には、ステップS912の処理へ進み、ゲインを上げるようにしてゲインの変更を行う。
【0094】
なお、このステップS912の処理でゲインを上げる際には、例えば、0.05だけゲインを上げるようにする。
【0095】
また、ステップS906の判断処理において、ステップS904の処理でカウントした画素の数が第1の所定値以上であると判断された場合には、ステップS914の処理へ進み、ゲインを下げるようにしてゲインの変更を行う。
【0096】
なお、このステップS914の処理でゲインを下げる際には、例えば、0.05だけゲインを下げるようにする。
【0097】
そして、上記したステップS910、ステップS912あるいはステップS914の処理を終了すると、これによりゲインの調整の処理を完了し(ステップS916)、このゲイン制御ルーチンを終了して、次のゲイン制御ルーチンの起動を待つ。
【0098】
従って、上記した光飛行時間型距離画像センサ10においては、上記において説明した本発明による光飛行時間型距離画像センサの制御方法により、距離画像生成部108によって生成された距離画像に応じて、上記したゲインを自動的に可変することができることになる。
【0099】
次に、図10には、本発明の第2の実施の形態による光飛行時間型距離画像センサの制御方法を実施する光飛行時間型距離画像センサのブロック構成説明図が示されている。
【0100】
この図10に示す光飛行時間型距離画像センサ20は、光源102と、同期制御部104と、光を電荷に変換する光電変換素子と該光電変換素子ごとに設けられた複数の電荷蓄積部と該複数の電荷蓄積部に電荷を振り分ける振り分け手段とを有して構成された電荷振り分け方式による固体撮像素子12(上記した光飛行時間型距離画像センサ10における固体撮像素子12と同一の構成ならびに作用を備える。)と、距離画像生成部108と、距離画像生成部108により生成された距離画像のヒストグラムを作成するヒストグラム作成部22と、ヒストグラム作成部22によって作成されたヒストグラムに基づいて固体撮像素子12の電荷蓄積部に蓄積される背景光成分の電荷の割合たるゲインを制御するゲイン制御部16とを有して構成されている。
【0101】
なお、図10に示す光飛行時間型距離画像センサ20においては、図3に示す光飛行時間型距離画像センサ10と同様に、説明を簡易化して理解を容易にするために、1個の固体撮像素子12を備えるように図示したが、実際の光飛行時間型距離画像センサにおいては、1個の固体撮像素子を1画素として、複数の固体撮像素子が2次元平面上にアレイ状に配置されて構成されている。
【0102】
また、ヒストグラムとは、画像における輝度(明るさ)の分布をグラフ表示したものであり、どの明るさの画素が、どれだけ存在するかをあわらすものである。
【0103】
そして、この図10に示す光飛行時間型距離画像センサ20は、上記において説明した本発明による光飛行時間型距離画像センサの制御方法により、距離画像生成部108によって生成された距離画像に応じて、上記したゲインを自動的に可変する制御システムを備えたている。
【0104】
なお、この図10に示す光飛行時間型距離画像センサ20において、距離画像生成部108によって距離画像を生成する際の処理については、「背景技術」の項において説明した光飛行時間型距離画像センサ100と同様であるので、その詳細な説明は省略する。
【0105】
ここで、図11には、光飛行時間型距離画像センサ20においてゲインを自動的に可変する制御の処理ルーチンたるゲイン制御ルーチンのフローチャートが示されている。
【0106】
このゲイン制御ルーチンは、光飛行時間型距離画像センサ20により距離画像を取得する動作の起動されると、その動作中においては所定の時間間隔(例えば、30分の1秒毎である。)で繰り返し起動されて実行され、ゲインの調整が自動的に行われる。
【0107】
即ち、光飛行時間型距離画像センサ20により距離画像を取得する動作が起動されて、その動作中において所定の時間間隔でゲイン制御ルーチンが起動されると、ヒストグラム作成部22は、距離画像生成部108が生成した距離画像を取得し(ステップS1002)、取得した距離画像のヒストグラムを作成する(ステップS1004)。
【0108】
上記したステップS1004の処理を終了すると、ステップS1006の処理へ進み、ゲイン制御部24は、ステップS1004の処理で取得したヒストグラムが第1の規定値(例えば、標準偏差が15以内で、かつ、輝度値の平均が200以上である。)より明るいか否かを判断する。
【0109】
このステップS1006の判断処理において、ステップS1004の処理で取得したヒストグラムが第1の規定値より明るくないと判断された場合には、ステップS1008の処理へ進み、ステップS1004の処理で取得したヒストグラムが第2の規定値(例えば、標準偏差が15以下で、かつ、輝度値の平均が55以下である。)より暗いか否かを判断する。
【0110】
このステップS1008の判断処理において、ステップS1004の処理で取得したヒストグラムが第2の規定値より暗くないと判断された場合には、ステップS1010の処理へ進み、ゲインの変更は行わない。
【0111】
一方、ステップS1008の判断処理において、ステップS1004の処理で取得したヒストグラムが第2の規定値より暗いと判断された場合には、ステップS1012の処理へ進み、ゲインを上げるようにしてゲインの変更を行う。
【0112】
なお、このステップS1012の処理でゲインを上げる際には、例えば、0.05だけゲインを上げるようにする。
【0113】
また、ステップS1006の判断処理において、ステップS1004の処理で取得したヒストグラムが第1の規定値より明るいと判断された場合には、ステップS1014の処理へ進み、ゲインを下げるようにしてゲインの変更を行う。
【0114】
なお、このステップS1014の処理でゲインを下げる際には、例えば、0.05だけゲインを下げるようにする。
【0115】
そして、上記したステップS1010、ステップS1012あるいはステップS1014の処理を終了すると、これによりゲインの調整の処理を完了し(ステップS1016)、このゲイン制御ルーチンを終了し、次のゲイン制御ルーチンの起動を待つ。
【0116】
従って、上記した光飛行時間型距離画像センサ20においては、上記において説明した本発明による光飛行時間型距離画像センサの制御方法により、距離画像生成部108によって生成された距離画像に応じて、上記したゲインを自動的に可変することができることになる。
【0117】
以上において説明したように、上記した本発明による第1の実施の形態ならびに第2の実施の形態によれば、距離画像を求めるのに必要な変調光成分による電荷を残したままで、背景光成分の電荷を任意の量だけ除去できるため、距離画像の距離精度を落とすことなく、ダイナミックレンジの広い輝度画像を同時に得ることができるようになる。
【0118】
なお、上記した実施の形態は、以下の(1)乃至(4)に示すように変形することができるものである。
【0119】
(1)上記した第1の実施の形態ならびに第2の実施の形態において、ゲイン制御ルーチンは、所定の時間間隔で繰り返し起動して実行されることに限られるものではなく、光飛行時間型距離画像センサ10、20のユーザーが、任意のタイミングで起動して実行させるようにしてもよい。
【0120】
(2)上記した第1の実施の形態において、第1の所定値と第2の所定値とは、互いに異なる値でもよいし、あるいは、同一の値でもよい。
【0121】
(3)上記した第2の実施の形態において、第1の規定値と第2の規定値とは、互いに異なる値でもよいし、あるいは、同一の値でもよい。
【0122】
(4)上記した実施の形態ならびに上記した(1)乃至(3)に示す変形例は、適宜に組み合わせるようにしてもよい。
【産業上の利用可能性】
【0123】
本発明は、自動車などに搭載して、障害物までの距離を測定する光飛行時間型距離画像センサなどに利用することができるものである。
【図面の簡単な説明】
【0124】
【図1】図1は、従来より周知の一般的な光飛行時間型距離画像センサのブロック構成説明図である。
【図2】図2は、図1に示す光飛行時間型距離画像センサの動作原理を説明するためのタイミングチャートたる変調光L1と入射光L2との関係をあらわすタイミングチャートである。
【図3】図3は、本発明の第1の実施の形態による光飛行時間型距離画像センサの制御方法を実施する光飛行時間型距離画像センサのブロック構成説明図である。
【図4】図4は、図3に示す光飛行時間型距離画像センサの画素として用いる固体撮像素子の基本回路の回路図である。
【図5】図5は、図4に示す固体撮像素子を制御するタイミングをあらわすタイミングチャートである。
【図6】図6は、図4に示す固体撮像素子において、変調光成分を残したまま背景光を除去する様子をあらわしたタイミングチャートである。
【図7】図7は、本発明による光飛行時間型距離画像センサの制御方法の説明図であり、背景光成分のゲインを0.5としたときのゲート信号G1、G2の駆動の様子を示すタイミングチャートである。
【図8】図8は、本発明による光飛行時間型距離画像センサの制御方法の説明図であり、背景光成分のゲインを0.25としたときのゲート信号G1、G2の駆動の様子を示すタイミングチャートである。
【図9】図9は、図3に示す光飛行時間型距離画像センサにおいてゲインを自動的に可変する制御する処理ルーチンたるゲイン制御ルーチンのフローチャートである。
【図10】図10は、本発明の第2の実施の形態による光飛行時間型距離画像センサの制御方法を実施する光飛行時間型距離画像センサのブロック構成説明図である。
【図11】図11は、図10に示す光飛行時間型距離画像センサにおいてゲインを自動的に可変する制御する処理ルーチンたるゲイン制御ルーチンのフローチャートである。
【符号の説明】
【0125】
10、20、100 光飛行時間型距離画像
12、106 固体撮像素子
14 画素カウント部
16、24 ゲイン制御部
22 ヒストグラム生成部
102 光源
104 同期制御部
108 距離画像生成部
200 対象物体
【技術分野】
【0001】
本発明は、光飛行時間型距離画像センサの制御方法およびそのシステムに関し、さらに詳細には、1個の固体撮像素子を1画素として構成した光飛行時間型距離画像センサの制御方法およびそのシステムであって、対象物体へ照射した光の反射光を受光することにより光飛行時間計測法(TOF:Time of flight)を用いて光飛行時間を測定し、当該光飛行時間に基づいて当該対象物体までの距離を測定することにより距離画像を生成する光飛行時間型距離画像センサの制御方法およびそのシステムの改良に関し、特に、未知の背景光照明下で使用することのできる電荷振り分け方式を採用した固体撮像素子により画素を構成した光飛行時間型距離画像センサの制御方法およびそのシステムに関する。
【0002】
ここで、電荷振り分け方式とは、後述するように、2つ以上の電荷蓄積容量を1つの光電変換素子に接続し、高周波で変調した光あるいはパルス発光する光(本明細書においては、「高周波で変調した光」や「パルス発光する光」を総称して「変調光」と称することとする。)をその変調や発光時間に同期して上記2つ以上の電荷蓄積容量に分離蓄積し、一定時間毎に分離蓄積した電荷を読み出して平均化することにより信号雑音比を高め、この分離蓄積した電荷に基づいて得られた信号を用いて距離を算出するという原理を意味するものとする。
【背景技術】
【0003】
一般に、光飛行時間計測法を用いた従来の光飛行時間型距離画像センサとしては、例えば、特許文献1として提示する特開2001−281336号公報に開示された距離画像撮像装置、特許文献2として提示する特開2003−51988号公報に開示された固体撮像素子、特許文献3として提示する特開2004−294420号公報に開示された距離画像センサあるいは特許文献4として提示する特開2005−235893号公報に開示された光飛行時間型距離センサなどが知られている。
【0004】
ここで、図1には、従来より周知の一般的な光飛行時間型距離画像センサのブロック構成説明図が示されており、この図1を参照しながら、光飛行時間計測法の原理について説明する。
【0005】
この図1に示す光飛行時間型距離画像センサ100は、光源102と、同期制御部104と、光を電荷に変換する光電変換素子と該光電変換素子ごとに設けられた複数の電荷蓄積部と該複数の電荷蓄積部に電荷を振り分ける振り分け手段とを有して構成された電荷振り分け方式による固体撮像素子106と、距離画像生成部108とを有して構成されている。
【0006】
なお、図1に示す光飛行時間型距離画像センサ100においては、説明を簡易化して理解を容易にするために、1個の固体撮像素子106を備えるように図示したが、実際の光飛行時間型距離画像センサは、1個の固体撮像素子を1画素として、複数の固体撮像素子が2次元平面上にアレイ状に配置されて構成されている。
【0007】
また、固体撮像素子106のように、光を電荷に変換する光電変換素子と該光電変換素子ごとに設けられた複数の電荷蓄積部と該複数の電荷蓄積部に電荷を振り分ける振り分け手段とを有して固体撮像素子を構成する技術は周知であるので、その詳細な説明は省略する。
【0008】
図1において、符号200は、光源102の発光に伴う光を照射される、光飛行時間型距離画像センサ100による測定の対象たる対象物体である。
【0009】
上記した光飛行時間型距離画像センサ100の光源102は、信号光として高周波、例えば、10MHzの正弦波もしくは矩形波などで高速に変調された赤外光もしくは可視光などの光である変調光L1を対象物体200に照射するものである。
【0010】
なお、こうした光源102としては、例えば、LEDなどの高速変調が可能なデバイスを用いることができる。
【0011】
光飛行時間型距離画像センサ100において、光源102によって照射された変調光L1が対象物体200に照射されると、対象物体200に照射された変調光L1は、対象物体200の反射率に応じて反射されて、固体撮像素子106に入射されることになる。
【0012】
ここで、固体撮像素子106に入射される光たる入射光L2は、変調光L1が対象物体200により反射されることに由来する光(以下、「変調光由来の反射光」を「変調光成分」と適宜に称する。)と、自然光などの外部光源からの光たる背景光が対象物体200により反射されることに由来する光(以下、「背景光由来の反射光」を「背景光成分」と適宜に称する。)との総和になる。
【0013】
こうした変調光成分と背景光成分との総和である入射光L2が固体撮像素子106に入射されると、固体撮像素子106は入射光L2を撮像する。
【0014】
ここで、同期制御部104は、光源102と固体撮像素子106とを同期制御しており、固体撮像素子106は同期制御部104の同期信号に従って、光源102によって照射された変調光L1の変調と同期させて、入射光L2による電荷を振り分け手段により光電変換素子ごとに設けられた複数の電荷蓄積部に高速に振り分ける処理などを行う。
【0015】
そして、距離画像生成部108は、固体撮像素子106の光電変換素子ごとに設けられた複数の電荷蓄積部に振り分けられた電荷を読み出して、その読み出した結果に基づいて変調光L1と入射光L2との位相差を算出し、その算出結果に基づいて距離画像を生成する。
【0016】
次に、図2には、上記した光飛行時間型距離画像センサ100の動作原理を説明するためのタイミングチャートとして、変調光L1と入射光L2との関係をあらわすタイミングチャートが示されている。
【0017】
なお、図2に示すタイミングチャートにおいて、縦軸は光源102の発光強度ならびに固体撮像素子106の受光強度を示し、横軸は時間の経過を示している。
【0018】
ここで、図2に示すタイミングチャートの符号P1で示す曲線は、光源102における変調光L1の発光パターンを示しており、変調光L1が正弦波を用いて変調された例を示している。
【0019】
また、図2に示すタイミングチャートの符号P2で示す曲線は、固体撮像素子106における入射光L2の受光パターンを示している。
【0020】
そして、発光パターンP1と受光パターンP2との位相差が、変調光L1が光源102から出射されて対象物体200により反射され、そして固体撮像素子106で受光されるまでの飛行時間によって生じる遅延である。
【0021】
ここで、固体撮像素子106は、上記したように、光源102から出射される変調光L1の変調に同期して、複数の電荷蓄積部に電荷を振り分ける動作を行うが、図2に示す例は、光源102から出射される変調光L1の変調の1周期を4期間に分けて、4つの電荷蓄積部に電荷を振り分ける場合をしている。
【0022】
上記4期間のそれぞれの期間をT1、T2、T3、T4(図2を参照する。)とし、それぞれの期間に蓄積する電荷量をC1、C2、C3、C4とすると、これにより求められる位相差φ(図2を参照する。)は、下記の数式1により求められる。
【数1】
【0023】
また、一般的な画像データとして用いる電荷量平均A(図2を参照する。)は、下記の数式2により求められる。
【数2】
【0024】
さらに、対象物体200で反射された変調光L1に由来する光たる変調光成分の振幅量B(図2を参照する。)は、下記の数式3により求められる。
【数3】
【0025】
なお、一般的に光源102として用いる発光源の変調周波数は数十MHzであり、従って、変調の1周期は数十ns程度である。そのため、距離画像を得るためには、数百〜数十万周期の電荷蓄積時間を要することとなる。
【0026】
上記した光飛行時間型距離画像センサ100のような光飛行時間型距離画像センサにおいては、距離画像と一般的な輝度画像とを同時に得ることができる。
【0027】
しかしながら、対象物体を撮像する際における背景の明るさは、ほとんどの場合において変化するものであり、蛍光灯などの他光源による背景光や、特に、屋外などで使用する場合は太陽光などの明るい背景光が存在することになる。
【0028】
距離画像を求めるために発光源(図1における例では、光源102である。)から出射される変調光は、これらの明るい背景光に重畳しているが、光飛行時間型距離画像センサの画素を構成する固体撮像素子で変換できる光の量には限界があるため、これらの明るい背景光を受光した電荷蓄積部は飽和を起こし、電荷の振り分け動作が無効になってしまい、変調光と入射光との位相差を算出することができなくなるという問題点があった。
【0029】
このため、こうした問題点を解決するための手法として、特許文献5として提示する特開2006−067503号公報に開示された発明や、特許文献6として提示する特開2006−084430号公報に開示された発明が提案されている。
【0030】
これら特開2006−067503号公報に開示された発明や、特開2006−084430号公報に開示された発明は、光飛行時間型距離画像センサにより撮像した輝度画像に応じて、露光を制御したり、あるいは、受光時間を制御したりすることにより、明るい背景光の受光による固体撮像素子の電荷蓄積部の飽和を防止している。
【0031】
しかしながら、上記した特開2006−067503号公報に開示された発明や、特開2006−084430号公報に開示された発明による手法では、明るい背景光の受光による固体撮像素子の電荷蓄積部の飽和を防止することは可能であるが、蓄積する電荷の量自体を少なくしているため、距離画像を求めるために発光源から出射される変調光による電荷の量も比例して少なくなってしまい、同時に算出する距離画像の距離精度に悪影響を及ぼすことになるという新たな問題点があった。
【0032】
また、上記した特開2006−067503号公報に開示された発明や特開2006−084430号公報に開示された発明のように、複数の蓄積時間で撮像した電荷を画素ごとに選択するための構造は非常に複雑であり、製造コストの上昇をもたらすという問題点もあった。
【0033】
【特許文献1】特開2001−281336号公報
【特許文献2】特開2003−51988号公報
【特許文献3】特開2004−294420号公報
【特許文献4】特開2005−235893号公報
【特許文献5】特開2006−067503号公報
【特許文献6】特開2006−084430号公報
【発明の開示】
【発明が解決しようとする課題】
【0034】
本発明は、従来の技術の有する上記したような種々の問題点に鑑みてなされたものであり、その目的とするところは、光飛行時間計測法に用いる電荷振り分け方式の固体撮像素子により画素を構成した光飛行時間型距離画像センサにおいて、明るい背景光の受光による固体撮像素子の電荷蓄積部の飽和を防止することができるとともに、取得される距離画像の距離精度に悪影響が及ばないようにした光飛行時間型距離画像センサの制御方法およびそのシステムを提供しようとするものである。
【0035】
また、本発明の目的とするところは、光飛行時間計測法に用いる電荷振り分け方式の固体撮像素子により画素を構成した光飛行時間型距離画像センサにおいて、製造コストの上昇をもたらすことなく、明るい背景光の受光による固体撮像素子の電荷蓄積部の飽和を防止することが可能な光飛行時間型距離画像センサの制御方法およびそのシステムを提供しようとするものである。
【課題を解決するための手段】
【0036】
上記目的を達成するために、本発明は、固体撮像素子の電荷蓄積部に蓄積される背景光による電荷の割合を制御するようにしたものである。
【0037】
また、上記目的を達成するために、本発明は、ある時間に撮像した画像のなかに所定の輝度値の画素があれば、その画素の数に基づいて、固体撮像素子の電荷蓄積部に蓄積される背景光による電荷の割合を制御するようにしたものである。
【0038】
また、上記目的を達成するために、本発明は、ある時間に撮影した距離画像のヒストグラムを作成し、このヒストグラムに基づいて、固体撮像素子の電荷蓄積部に蓄積される背景光による電荷の割合を制御するようにしたものである。
【0039】
従って、こうした本発明によれば、光飛行時間計測法に用いる電荷振り分け方式の固体撮像素子により画素を構成した光飛行時間型距離画像センサにおいて、明るい背景光による画素の受光の飽和を防止することができるとともに、取得される距離画像の距離精度に悪影響を及ぼすことがない。
【0040】
また、こうした本発明によれば、光飛行時間計測法に用いる電荷振り分け方式の固体撮像素子により画素を構成した光飛行時間型距離画像センサにおいて、製造コストの上昇をもたらすことなく、明るい背景光による画素の受光の飽和を防止することが可能になる。
【0041】
即ち、本発明のうち請求項1に記載の発明は、変調光を含む光を電荷に変換する光電変換素子と、上記光電変換素子ごとに設けられるとともに、上記光電変換素子により変換された電荷を蓄積可能な複数の電荷蓄積部と、上記変調光に同期して、上記光電変換素子により変換された電荷を上記複数の電荷蓄積部に振り分けて、上記複数の電荷蓄積部に電荷を蓄積させる振り分け手段と、上記複数の電荷蓄積部とそれぞれ導通可能な複数の容量と、上記複数の電荷蓄積部と上記複数の容量との導通状態を制御する制御手段とを有する固体撮像素子により、画素を構成した光飛行時間型距離画像センサの制御方法であって、上記振り分け手段により上記複数の電荷蓄積部に電荷を振り分ける光蓄積時間において、住意の時間配分で上記制御手段により制御される導通状態を切り替えることにより、上記変調光による電荷を上記複数の電荷蓄積部に蓄積させたまま、上記変調光以外の光による電荷を上記複数の電荷蓄積部から除去するようにしたものである。
【0042】
また、本発明のうち請求項2に記載の発明は、変調光を含む光を電荷に変換する光電変換素子と、上記光電変換素子ごとに設けられるとともに、上記光電変換素子により変換された電荷を蓄積可能な複数の電荷蓄積部と、上記変調光に同期して、上記光電変換素子により変換された電荷を上記複数の電荷蓄積部に振り分けて、上記複数の電荷蓄積部に電荷を蓄積させる振り分け手段と、上記複数の電荷蓄積部とそれぞれ導通可能な複数の容量と、上記複数の電荷蓄積部と上記複数の容量との導通状態を制御する制御手段とを有する固体撮像素子により、画素を構成した光飛行時間型距離画像センサの制御方法であって、 ある時間に撮像された画像から所定の輝度値の画素の数をカウントし、該カウントした画素の数に基づいて、上記変調光以外の光による電荷を上記複数の電荷蓄積部から除去する割合を決定し、上記振り分け手段により上記複数の電荷蓄積部に電荷を振り分ける光蓄積時間において、該決定した割合に基づいて、上記制御手段により制御される導通状態を切り替えることにより、上記変調光による電荷を上記複数の電荷蓄積部に蓄積させたまま、上記変調光以外の光による電荷を該決定した割合で上記複数の電荷蓄積部から除去するようにしたものである。
【0043】
また、本発明のうち請求項3に記載の発明は、変調光を含む光を電荷に変換する光電変換素子と、上記光電変換素子ごとに設けられるとともに、上記光電変換素子により変換された電荷を蓄積可能な複数の電荷蓄積部と、上記変調光に同期して、上記光電変換素子により変換された電荷を上記複数の電荷蓄積部に振り分けて、上記複数の電荷蓄積部に電荷を蓄積させる振り分け手段と、上記複数の電荷蓄積部とそれぞれ導通可能な複数の容量と、上記複数の電荷蓄積部と上記複数の容量との導通状態を制御する制御手段とを有する固体撮像素子により、画素を構成した光飛行時間型距離画像センサの制御方法であって、ある時間に撮像された画像からヒストグラムを作成し、該作成したヒストグラムに基づいて、上記変調光以外の光による電荷を上記複数の電荷蓄積部から除去する割合を決定し、上記振り分け手段により上記複数の電荷蓄積部に電荷を振り分ける光蓄積時間において、該決定した割合に基づいて、上記制御手段により制御される導通状態を切り替えることにより、上記変調光による電荷を上記複数の電荷蓄積部に蓄積させたまま、上記変調光以外の光による電荷を該決定した割合で上記複数の電荷蓄積部から除去するようにしたものである。
【0044】
また、本発明のうち請求項4に記載の発明は、変調光を含む光を電荷に変換する光電変換素子と、上記光電変換素子ごとに設けられるとともに、上記光電変換素子により変換された電荷を蓄積可能な複数の電荷蓄積部と、上記変調光に同期して、上記光電変換素子により変換された電荷を上記複数の電荷蓄積部に振り分けて、上記複数の電荷蓄積部に電荷を蓄積させる振り分け手段と、上記複数の電荷蓄積部とそれぞれ導通可能な複数の容量と、上記複数の電荷蓄積部と上記複数の容量との導通状態を制御する制御手段とを有する固体撮像素子により、画素を構成した光飛行時間型距離画像センサの制御システムであって、ある時間に撮像された画像から所定の輝度値の画素の数をカウントするカウント手段と、上記カウント手段がカウントした画素の数に基づいて、上記変調光以外の光による電荷を上記複数の電荷蓄積部から除去する割合を決定するゲイン調整手段とを有し、上記制御手段が、上記振り分け手段により上記複数の電荷蓄積部に電荷を振り分ける光蓄積時間において、上記ゲイン調整手段が決定した割合に基づいて、上記導通状態を切り替えることにより、上記変調光による電荷を上記複数の電荷蓄積部に蓄積させたまま、上記変調光以外の光による電荷を上記ゲイン調整手段が決定した割合で上記複数の電荷蓄積部から除去するようにしたものである。
【0045】
また、本発明のうち請求項5に記載の発明は、変調光を含む光を電荷に変換する光電変換素子と、上記光電変換素子ごとに設けられるとともに、上記光電変換素子により変換された電荷を蓄積可能な複数の電荷蓄積部と、上記変調光に同期して、上記光電変換素子により変換された電荷を上記複数の電荷蓄積部に振り分けて、上記複数の電荷蓄積部に電荷を蓄積させる振り分け手段と、上記複数の電荷蓄積部とそれぞれ導通可能な複数の容量と、上記複数の電荷蓄積部と上記複数の容量との導通状態を制御する制御手段とを有する固体撮像素子により、画素を構成した光飛行時間型距離画像センサの制御システムであって、ある時間に撮像された画像からヒストグラムを作成するヒストグラム作成手段と、上記ヒストグラム作成手段が作成したヒストグラムに基づいて、上記変調光以外の光による電荷を上記複数の電荷蓄積部から除去する割合を決定するゲイン調整手段とを有し、上記制御手段が、上記振り分け手段により上記複数の電荷蓄積部に電荷を振り分ける光蓄積時間において、上記ゲイン調整手段が決定した割合に基づいて、上記導通状態を切り替えることにより、上記変調光による電荷を上記複数の電荷蓄積部に蓄積させたまま、上記変調光以外の光による電荷を上記ゲイン調整手段が決定した割合で上記複数の電荷蓄積部から除去するようにしたものである。
【発明の効果】
【0046】
本発明は、以上説明したように構成されているので、光飛行時間計測法に用いる電荷振り分け方式の固体撮像素子により画素を構成した光飛行時間型距離画像センサにおいて、明るい背景光の受光による固体撮像素子の電荷蓄積部の飽和を防止することができるとともに、取得される距離画像の距離精度に悪影響を及ぼすことがないという優れた効果を奏する。
【0047】
また、本発明は、以上説明したように構成されているので、光飛行時間計測法に用いる電荷振り分け方式の固体撮像素子により画素を構成した光飛行時間型距離画像センサにおいて、製造コストの上昇をもたらすことなく、明るい背景光による画素の受光の飽和を防止することが可能になるという優れた効果を奏する。
【発明を実施するための最良の形態】
【0048】
以下、添付の図面を参照しながら、本発明による光飛行時間型距離画像センサの制御方法およびそのシステムの実施の形態の一例を詳細に説明するものとする。
【0049】
なお、以下の説明においては、図1に示す従来の光飛行時間型距離画像センサの構成と同一または相当する構成については、図1において用いた符号と同一の符号を付して示すことにより、その構成ならびに作用の詳細な説明は適宜に省略する。
【0050】
まず、図3には、本発明の第1の実施の形態による光飛行時間型距離画像センサの制御方法を実施する光飛行時間型距離画像センサのブロック構成説明図が示されている。
【0051】
この図3に示す光飛行時間型距離画像センサ10は、光源102と、同期制御部104と、光を電荷に変換する光電変換素子と該光電変換素子ごとに設けられた複数の電荷蓄積部と該複数の電荷蓄積部に電荷を振り分ける振り分け手段とを有して構成された電荷振り分け方式による固体撮像素子12と、距離画像生成部108と、距離画像生成部108により生成された距離画像を構成する画素の中で所定の閾値以上の輝度値をもつ画素をカウント(計数)する画素カウント部14と、画素カウント部14の計数結果に基づいて固体撮像素子12の電荷蓄積部に蓄積される背景光成分による電荷の割合(以下、「固体撮像素子の電荷蓄積部に蓄積される背景光成分による電荷の割合」を「ゲイン」と適宜に称する。)を制御するゲイン制御部16とを有して構成されている。
【0052】
なお、図3に示す光飛行時間型距離画像センサ10においては、図1に示す従来の光飛行時間型距離画像センサ100と同様に、説明を簡易化して理解を容易にするために、1個の固体撮像素子12を備えるように図示したが、実際の光飛行時間型距離画像センサにおいては、1個の固体撮像素子を1画素として、複数の固体撮像素子が2次元平面上にアレイ状に配置されて構成されている。
【0053】
ここで、図4には、光飛行時間型距離画像センサ10の画素として用いる固体撮像素子12の基本回路の回路図が示されている。
【0054】
この図4に示す固体撮像素子12は、本願出願人と同一の出願人により出願された特開2008−89346号公報に開示された発明と同一の構成を備えている。
【0055】
即ち、図4に示す固体撮像素子は、特開2008−89346号公報の図6に開示された固体撮像素子と同一の構成を備えた公知の技術であるので、その詳細な説明については特開2008−89346号公報の記載をここに援用することとし、本明細書においてはその概要について説明する。
【0056】
図4に示す固体撮像素子12において、符号PDは光電変換素子であり、固体撮像素子10に入射した光は、光電変換素子PDで電荷に変換される。
【0057】
また、符号M1、M2は、それぞれ符号Tx1、Tx2で示すゲート信号により電荷を振り分けるゲートたるFETスイッチであり、FETスイッチM1、M2の駆動により、電荷蓄積部Fd1、Fd2に、変調光に同期して電荷を振り分ける。
【0058】
さらに、符号M3、M4、M5、M6、M7、M8、M9、M10は、ゲート信号G1、G2により駆動され、電荷蓄積部Fd1、Fd2の電荷を、符号C1、C2で示す電荷を蓄積する容量に振り分ける。
【0059】
図5には、上記した図4に示す固体撮像素子12を制御するタイミングをあらわすタイミングチャートが示されている。
【0060】
ゲート信号Tx1、Tx2は、同期制御部104の同期信号に従ってオン(ON)/オフ(OFF)制御され、光源102によって照射された変調光L1の変調と同期させて、入射光L2による電荷を振り分ける。
【0061】
この際に、入射光L2のなかの変調光L1由来の反射光たる変調光成分の電荷は、電荷蓄積部Fd1と電荷蓄積部Fd2とへ位相に応じた量が振り分けられるため、電荷蓄積部Fd1と電荷蓄積部Fd2とでは蓄積する電荷の量が異なるが、入射光L2のなかの背景光由来の反射光たる背景光成分の電荷は、電荷蓄積部Fd1と電荷蓄積部Fd2とへ均等に振り分けられ、電荷蓄積部Fd1と電荷蓄積部Fd2とでは蓄積する電荷の量は一致する。
【0062】
なお、本明細書においては、上記した「電荷蓄積部Fd1と電荷蓄積部Fd2とに電荷を振り分けて蓄積する時間」を「光蓄積時間」と適宜に称する。
【0063】
さらに、ゲート信号G1をオンするとともにゲート信号G2をオフした状態を正接続期間とすると、光蓄積時間における正接続期間では、電荷蓄積部Fd1の電荷は、図4における容量C1の左端へ、また、電荷蓄積部Fd2の電荷は、図4における容量C2の右端に移動する。
【0064】
ここで、ゲート信号G1をオフするとともにゲート信号G2をオンさせる。この状態を反転接続期間とすると、この光蓄積時間における反転接続期間では、電荷蓄積部Fd1の電荷は、図4における容量C2の左端へ、また、電荷蓄積部Fd2の電荷は、図4における容量C1の右端に蓄積し、正接続期間にたまった電荷を打ち消す働きをする。
【0065】
より詳細には、最初に、ゲート信号Tx1、Tx2、G1、G2の全てをオンにする。この最初に全てのゲート信号Tx1、Tx2、G1、G2をオンする時間を、リセット期間Rと称することとする。
【0066】
このリセット期間Rにおいては、FETスイッチM1〜M10の全てが接続されるので、電荷蓄積部Fd1、Fd2の端子はVdd電位と等しくなる。また、光電変換素子PDの電位は、ゲート信号Tx1、Tx2の電圧に従ったポテンシャルにリセットされ、容量C1、C2は、放電した状態にリセットされる。
【0067】
なお、上記した各リセットは、光飛行時間型センサ10の各画素の属するラインの画面の読み出しの最初に行うものである。
【0068】
上記したリセットを終了すると、次回にリセットするまで、光電変換素子PDが光を受光することにより発生した光電子の電荷を変調光L1に同期して振り分け蓄積するため、高速なパルス信号たるゲート信号Tx1、Tx2を印加し、また、正接続期間と反転接続期間とが交互に存在するようにゲート信号G1、G2を印加する。
【0069】
なお、正接続期間および反転接続期間は等しい時間であり、ゲート信号Tx1、Tx2による高速パルスの整数倍の時間とする。
【0070】
図6には、上記した操作で変調光成分を残したまま、背景光を除去する様子をあらわした図が示されている。
【0071】
なお、図6におけるΔQFD1は、正接続期間に電荷蓄積部Fd1に対して流入した電荷を表し、また、図6におけるΔQFD2は、正接続期間に電荷蓄積部Fd2に流入した電荷を表す。
【0072】
正接続期間と反転接続期間とを等しい時間にすると、電荷蓄積部Fd1と電荷蓄積部Fd2とに等しく蓄積した背景光成分は相殺されるが、変調光成分は電荷蓄積部Fd1と電荷蓄積部Fd2とに位相に応じた比率で蓄積しているため、容量C1と容量C2とには電荷蓄積部Fd1と電荷蓄積部Fd2との差分成分だけが残ることになる。
【0073】
本発明による光飛行時間型距離画像センサの制御方法は、上記したように、固体撮像素子12の容量C1と容量C2とには電荷蓄積部Fd1と電荷蓄積部Fd2との差分成分だけが残ることに鑑みて、電荷蓄積部Fd1と電荷蓄積部Fd2とに蓄積される背景光成分の割合たるゲインを任意の値に設定することにより、変調光成分は残したままで、電荷蓄積部Fd1と電荷蓄積部Fd2とに蓄積される背景光成分を任意の割合で削減することを可能にしたものである。
【0074】
次に、本発明による光飛行時間型距離画像センサの制御方法について、図7を参照しながら説明する。
【0075】
図7において、符号T1で示す期間は正接続期間であり、符号T2で示す期間は反転接続期間であるが、正接続期間T1と反転接続期間T2との時間間隔が図7に示すものとなるようにゲート信号G1、G2を印加することにより、図5に示す場合におけると比較すると、電荷蓄積部Fd1と電荷蓄積部Fd2とに蓄積される背景光成分による電荷を1/2、即ち、半分に削減することができる。
【0076】
具体的には、図7に場合においては、最初の正接続期間T1と最初の正接続期間T1に続く反転接続期間T2とは等しい時間間隔であるが、当該反転接続期間T2に続く正接続期間T1は、当該反転接続期間T2の2倍の時間間隔であり、反転接続期間を設けない時のゲインを1とすると、そのゲインを「0.5」にすることができる。
【0077】
つまり、図7に示す例は、背景光成分のゲインを0.5としたときのゲート信号G1、G2の駆動の様子を示すものであり、最初の正接続期間T1の期間に蓄積した背景光成分の電荷は、反転接続期間T2の期間で相殺され、2回目の正接続期間T1の期間に蓄積された背景光成分の電荷のみが残ることになる。このとき、「T1:T2=3:1」である。
【0078】
このようにすると、蓄積する背景光成分の電荷は2分の1になるが、上記したように、変調光成分の電荷は相殺されずにそのまま残る。
【0079】
これにより、距離画像の距離精度に関係する変調光成分の電荷を減らすことなく、背景光成分のダイナミックレンジを上げることができるものである。
【0080】
また、図8には、他のゲインの例として、背景光成分のゲインを0.25としたときのゲート信号G1、G2の駆動の様子が示されている。このとき、「T1:T2=5:3」である。
【0081】
ここで、あるゲインgに設定するときの正接続期間T1と反転接続期間T2との比は、下記の数式4で求められる。
【数4】
【0082】
なお、上記した図7や図8に示す駆動方法はあくまで一例であり、T1:T2の比が変わらなければ、電荷蓄積部Fd1、Fd2が飽和しない限り、どのようなタイミングでゲート信号G1、G2を制御してもよい。
【0083】
上記したようにゲート信号G1、G2を任意の時間比で切り替え制御することにより、変調光成分の電荷は電荷蓄積部Fd1、Fd2に残したままで、背景光成分の電荷のみを電荷蓄積部Fd1、Fd2から減少させることができることになる。
【0084】
そして、図3に示す光飛行時間型距離画像センサ10は、上記において説明した本発明による光飛行時間型距離画像センサの制御方法により、距離画像生成部108によって生成された距離画像に応じて、上記したゲインを自動的に可変する制御システムを備えたている。
【0085】
なお、この図3に示す光飛行時間型距離画像センサ10において、距離画像生成部108によって距離画像を生成する際の処理については、「背景技術」の項において説明した光飛行時間型距離画像センサ100と同様であるので、その詳細な説明は省略する。
【0086】
ここで、図9には、光飛行時間型距離画像センサ10においてゲインを自動的に可変する制御の処理ルーチンたるゲイン制御ルーチンのフローチャートが示されている。
【0087】
このゲイン制御ルーチンは、光飛行時間型距離画像センサ10により距離画像を取得する動作が起動されると、その動作中においては所定の時間間隔(例えば、30分の1秒毎である。)で繰り返し起動されて実行され、ゲインの調整が自動的に行われる。
【0088】
即ち、光飛行時間型距離画像センサ10により距離画像を取得する動作が起動されて、その動作中において所定の時間間隔でゲイン制御ルーチンが起動されると、画素カウント部14は、距離画像生成部108が生成した距離画像を取得し(ステップS902)、取得した距離画像の画素の中から第1の閾値として設定された所定の輝度値(例えば、輝度値が0〜255の時、240である。)以上の画素の数を計数(カウント)する(ステップS904)。
【0089】
上記したステップS904の処理を終了すると、ステップS906の処理へ進み、ゲイン制御部16は、ステップS904の処理でカウントした画素の数が第1の所定値以上(例えば、全画素の10%以上である。)であるか否かを判断する。
【0090】
このステップS906の判断処理において、ステップS904の処理でカウントした画素の数が第1の所定値以上ではないと判断された場合には、ステップS907の処理へ進み、取得した距離画像の画素の中から第2の閾値として設定された所定の輝度値(例えば、輝度値が0〜255の時、15である。)以下の画素の数を計数(カウント)する。
【0091】
上記したステップS907の処理を終了すると、ステップS908の処理へ進み、ゲイン制御部16は、ステップS907の処理でカウントした画素の数が第2の所定値以上(例えば、全画素の10%以上)であるか否かを判断する。
【0092】
このステップS908の判断処理において、ステップS907の処理でカウントした画素の数が第2の所定値以上ではないと判断された場合には、ステップS910の処理へ進み、ゲインの変更は行わない。
【0093】
一方、ステップS908の判断処理において、ステップS907の処理でカウントした画素の数が第2の所定値以上であると判断された場合には、ステップS912の処理へ進み、ゲインを上げるようにしてゲインの変更を行う。
【0094】
なお、このステップS912の処理でゲインを上げる際には、例えば、0.05だけゲインを上げるようにする。
【0095】
また、ステップS906の判断処理において、ステップS904の処理でカウントした画素の数が第1の所定値以上であると判断された場合には、ステップS914の処理へ進み、ゲインを下げるようにしてゲインの変更を行う。
【0096】
なお、このステップS914の処理でゲインを下げる際には、例えば、0.05だけゲインを下げるようにする。
【0097】
そして、上記したステップS910、ステップS912あるいはステップS914の処理を終了すると、これによりゲインの調整の処理を完了し(ステップS916)、このゲイン制御ルーチンを終了して、次のゲイン制御ルーチンの起動を待つ。
【0098】
従って、上記した光飛行時間型距離画像センサ10においては、上記において説明した本発明による光飛行時間型距離画像センサの制御方法により、距離画像生成部108によって生成された距離画像に応じて、上記したゲインを自動的に可変することができることになる。
【0099】
次に、図10には、本発明の第2の実施の形態による光飛行時間型距離画像センサの制御方法を実施する光飛行時間型距離画像センサのブロック構成説明図が示されている。
【0100】
この図10に示す光飛行時間型距離画像センサ20は、光源102と、同期制御部104と、光を電荷に変換する光電変換素子と該光電変換素子ごとに設けられた複数の電荷蓄積部と該複数の電荷蓄積部に電荷を振り分ける振り分け手段とを有して構成された電荷振り分け方式による固体撮像素子12(上記した光飛行時間型距離画像センサ10における固体撮像素子12と同一の構成ならびに作用を備える。)と、距離画像生成部108と、距離画像生成部108により生成された距離画像のヒストグラムを作成するヒストグラム作成部22と、ヒストグラム作成部22によって作成されたヒストグラムに基づいて固体撮像素子12の電荷蓄積部に蓄積される背景光成分の電荷の割合たるゲインを制御するゲイン制御部16とを有して構成されている。
【0101】
なお、図10に示す光飛行時間型距離画像センサ20においては、図3に示す光飛行時間型距離画像センサ10と同様に、説明を簡易化して理解を容易にするために、1個の固体撮像素子12を備えるように図示したが、実際の光飛行時間型距離画像センサにおいては、1個の固体撮像素子を1画素として、複数の固体撮像素子が2次元平面上にアレイ状に配置されて構成されている。
【0102】
また、ヒストグラムとは、画像における輝度(明るさ)の分布をグラフ表示したものであり、どの明るさの画素が、どれだけ存在するかをあわらすものである。
【0103】
そして、この図10に示す光飛行時間型距離画像センサ20は、上記において説明した本発明による光飛行時間型距離画像センサの制御方法により、距離画像生成部108によって生成された距離画像に応じて、上記したゲインを自動的に可変する制御システムを備えたている。
【0104】
なお、この図10に示す光飛行時間型距離画像センサ20において、距離画像生成部108によって距離画像を生成する際の処理については、「背景技術」の項において説明した光飛行時間型距離画像センサ100と同様であるので、その詳細な説明は省略する。
【0105】
ここで、図11には、光飛行時間型距離画像センサ20においてゲインを自動的に可変する制御の処理ルーチンたるゲイン制御ルーチンのフローチャートが示されている。
【0106】
このゲイン制御ルーチンは、光飛行時間型距離画像センサ20により距離画像を取得する動作の起動されると、その動作中においては所定の時間間隔(例えば、30分の1秒毎である。)で繰り返し起動されて実行され、ゲインの調整が自動的に行われる。
【0107】
即ち、光飛行時間型距離画像センサ20により距離画像を取得する動作が起動されて、その動作中において所定の時間間隔でゲイン制御ルーチンが起動されると、ヒストグラム作成部22は、距離画像生成部108が生成した距離画像を取得し(ステップS1002)、取得した距離画像のヒストグラムを作成する(ステップS1004)。
【0108】
上記したステップS1004の処理を終了すると、ステップS1006の処理へ進み、ゲイン制御部24は、ステップS1004の処理で取得したヒストグラムが第1の規定値(例えば、標準偏差が15以内で、かつ、輝度値の平均が200以上である。)より明るいか否かを判断する。
【0109】
このステップS1006の判断処理において、ステップS1004の処理で取得したヒストグラムが第1の規定値より明るくないと判断された場合には、ステップS1008の処理へ進み、ステップS1004の処理で取得したヒストグラムが第2の規定値(例えば、標準偏差が15以下で、かつ、輝度値の平均が55以下である。)より暗いか否かを判断する。
【0110】
このステップS1008の判断処理において、ステップS1004の処理で取得したヒストグラムが第2の規定値より暗くないと判断された場合には、ステップS1010の処理へ進み、ゲインの変更は行わない。
【0111】
一方、ステップS1008の判断処理において、ステップS1004の処理で取得したヒストグラムが第2の規定値より暗いと判断された場合には、ステップS1012の処理へ進み、ゲインを上げるようにしてゲインの変更を行う。
【0112】
なお、このステップS1012の処理でゲインを上げる際には、例えば、0.05だけゲインを上げるようにする。
【0113】
また、ステップS1006の判断処理において、ステップS1004の処理で取得したヒストグラムが第1の規定値より明るいと判断された場合には、ステップS1014の処理へ進み、ゲインを下げるようにしてゲインの変更を行う。
【0114】
なお、このステップS1014の処理でゲインを下げる際には、例えば、0.05だけゲインを下げるようにする。
【0115】
そして、上記したステップS1010、ステップS1012あるいはステップS1014の処理を終了すると、これによりゲインの調整の処理を完了し(ステップS1016)、このゲイン制御ルーチンを終了し、次のゲイン制御ルーチンの起動を待つ。
【0116】
従って、上記した光飛行時間型距離画像センサ20においては、上記において説明した本発明による光飛行時間型距離画像センサの制御方法により、距離画像生成部108によって生成された距離画像に応じて、上記したゲインを自動的に可変することができることになる。
【0117】
以上において説明したように、上記した本発明による第1の実施の形態ならびに第2の実施の形態によれば、距離画像を求めるのに必要な変調光成分による電荷を残したままで、背景光成分の電荷を任意の量だけ除去できるため、距離画像の距離精度を落とすことなく、ダイナミックレンジの広い輝度画像を同時に得ることができるようになる。
【0118】
なお、上記した実施の形態は、以下の(1)乃至(4)に示すように変形することができるものである。
【0119】
(1)上記した第1の実施の形態ならびに第2の実施の形態において、ゲイン制御ルーチンは、所定の時間間隔で繰り返し起動して実行されることに限られるものではなく、光飛行時間型距離画像センサ10、20のユーザーが、任意のタイミングで起動して実行させるようにしてもよい。
【0120】
(2)上記した第1の実施の形態において、第1の所定値と第2の所定値とは、互いに異なる値でもよいし、あるいは、同一の値でもよい。
【0121】
(3)上記した第2の実施の形態において、第1の規定値と第2の規定値とは、互いに異なる値でもよいし、あるいは、同一の値でもよい。
【0122】
(4)上記した実施の形態ならびに上記した(1)乃至(3)に示す変形例は、適宜に組み合わせるようにしてもよい。
【産業上の利用可能性】
【0123】
本発明は、自動車などに搭載して、障害物までの距離を測定する光飛行時間型距離画像センサなどに利用することができるものである。
【図面の簡単な説明】
【0124】
【図1】図1は、従来より周知の一般的な光飛行時間型距離画像センサのブロック構成説明図である。
【図2】図2は、図1に示す光飛行時間型距離画像センサの動作原理を説明するためのタイミングチャートたる変調光L1と入射光L2との関係をあらわすタイミングチャートである。
【図3】図3は、本発明の第1の実施の形態による光飛行時間型距離画像センサの制御方法を実施する光飛行時間型距離画像センサのブロック構成説明図である。
【図4】図4は、図3に示す光飛行時間型距離画像センサの画素として用いる固体撮像素子の基本回路の回路図である。
【図5】図5は、図4に示す固体撮像素子を制御するタイミングをあらわすタイミングチャートである。
【図6】図6は、図4に示す固体撮像素子において、変調光成分を残したまま背景光を除去する様子をあらわしたタイミングチャートである。
【図7】図7は、本発明による光飛行時間型距離画像センサの制御方法の説明図であり、背景光成分のゲインを0.5としたときのゲート信号G1、G2の駆動の様子を示すタイミングチャートである。
【図8】図8は、本発明による光飛行時間型距離画像センサの制御方法の説明図であり、背景光成分のゲインを0.25としたときのゲート信号G1、G2の駆動の様子を示すタイミングチャートである。
【図9】図9は、図3に示す光飛行時間型距離画像センサにおいてゲインを自動的に可変する制御する処理ルーチンたるゲイン制御ルーチンのフローチャートである。
【図10】図10は、本発明の第2の実施の形態による光飛行時間型距離画像センサの制御方法を実施する光飛行時間型距離画像センサのブロック構成説明図である。
【図11】図11は、図10に示す光飛行時間型距離画像センサにおいてゲインを自動的に可変する制御する処理ルーチンたるゲイン制御ルーチンのフローチャートである。
【符号の説明】
【0125】
10、20、100 光飛行時間型距離画像
12、106 固体撮像素子
14 画素カウント部
16、24 ゲイン制御部
22 ヒストグラム生成部
102 光源
104 同期制御部
108 距離画像生成部
200 対象物体
【特許請求の範囲】
【請求項1】
変調光を含む光を電荷に変換する光電変換素子と、
前記光電変換素子ごとに設けられるとともに、前記光電変換素子により変換された電荷を蓄積可能な複数の電荷蓄積部と、
前記変調光に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分けて、前記複数の電荷蓄積部に電荷を蓄積させる振り分け手段と、
前記複数の電荷蓄積部とそれぞれ導通可能な複数の容量と、
前記複数の電荷蓄積部と前記複数の容量との導通状態を制御する制御手段と
を有する固体撮像素子により、画素を構成した光飛行時間型距離画像センサの制御方法であって、
前記振り分け手段により前記複数の電荷蓄積部に電荷を振り分ける光蓄積時間において、住意の時間配分で前記制御手段により制御される導通状態を切り替えることにより、前記変調光による電荷を前記複数の電荷蓄積部に蓄積させたまま、前記変調光以外の光による電荷を前記複数の電荷蓄積部から除去する
ことを特徴とする光飛行時間型距離画像センサの制御方法。
【請求項2】
変調光を含む光を電荷に変換する光電変換素子と、
前記光電変換素子ごとに設けられるとともに、前記光電変換素子により変換された電荷を蓄積可能な複数の電荷蓄積部と、
前記変調光に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分けて、前記複数の電荷蓄積部に電荷を蓄積させる振り分け手段と、
前記複数の電荷蓄積部とそれぞれ導通可能な複数の容量と、
前記複数の電荷蓄積部と前記複数の容量との導通状態を制御する制御手段と
を有する固体撮像素子により、画素を構成した光飛行時間型距離画像センサの制御方法であって、
ある時間に撮像された画像から所定の輝度値の画素の数をカウントし、
該カウントした画素の数に基づいて、前記変調光以外の光による電荷を前記複数の電荷蓄積部から除去する割合を決定し、
前記振り分け手段により前記複数の電荷蓄積部に電荷を振り分ける光蓄積時間において、該決定した割合に基づいて、前記制御手段により制御される導通状態を切り替えることにより、前記変調光による電荷を前記複数の電荷蓄積部に蓄積させたまま、前記変調光以外の光による電荷を該決定した割合で前記複数の電荷蓄積部から除去する
ことを特徴とする光飛行時間型距離画像センサの制御方法。
【請求項3】
変調光を含む光を電荷に変換する光電変換素子と、
前記光電変換素子ごとに設けられるとともに、前記光電変換素子により変換された電荷を蓄積可能な複数の電荷蓄積部と、
前記変調光に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分けて、前記複数の電荷蓄積部に電荷を蓄積させる振り分け手段と、
前記複数の電荷蓄積部とそれぞれ導通可能な複数の容量と、
前記複数の電荷蓄積部と前記複数の容量との導通状態を制御する制御手段と
を有する固体撮像素子により、画素を構成した光飛行時間型距離画像センサの制御方法であって、
ある時間に撮像された画像からヒストグラムを作成し、
該作成したヒストグラムに基づいて、前記変調光以外の光による電荷を前記複数の電荷蓄積部から除去する割合を決定し、
前記振り分け手段により前記複数の電荷蓄積部に電荷を振り分ける光蓄積時間において、該決定した割合に基づいて、前記制御手段により制御される導通状態を切り替えることにより、前記変調光による電荷を前記複数の電荷蓄積部に蓄積させたまま、前記変調光以外の光による電荷を該決定した割合で前記複数の電荷蓄積部から除去する
ことを特徴とする固体撮像素子の制御方法。
【請求項4】
変調光を含む光を電荷に変換する光電変換素子と、
前記光電変換素子ごとに設けられるとともに、前記光電変換素子により変換された電荷を蓄積可能な複数の電荷蓄積部と、
前記変調光に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分けて、前記複数の電荷蓄積部に電荷を蓄積させる振り分け手段と、
前記複数の電荷蓄積部とそれぞれ導通可能な複数の容量と、
前記複数の電荷蓄積部と前記複数の容量との導通状態を制御する制御手段と
を有する固体撮像素子により、画素を構成した光飛行時間型距離画像センサの制御システムであって、
ある時間に撮像された画像から所定の輝度値の画素の数をカウントするカウント手段と、
前記カウント手段がカウントした画素の数に基づいて、前記変調光以外の光による電荷を前記複数の電荷蓄積部から除去する割合を決定するゲイン調整手段と
を有し、
前記制御手段が、前記振り分け手段により前記複数の電荷蓄積部に電荷を振り分ける光蓄積時間において、前記ゲイン調整手段が決定した割合に基づいて、前記導通状態を切り替えることにより、
前記変調光による電荷を前記複数の電荷蓄積部に蓄積させたまま、前記変調光以外の光による電荷を前記ゲイン調整手段が決定した割合で前記複数の電荷蓄積部から除去する
ことを特徴とする光飛行時間型距離画像センサの制御システム。
【請求項5】
変調光を含む光を電荷に変換する光電変換素子と、
前記光電変換素子ごとに設けられるとともに、前記光電変換素子により変換された電荷を蓄積可能な複数の電荷蓄積部と、
前記変調光に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分けて、前記複数の電荷蓄積部に電荷を蓄積させる振り分け手段と、
前記複数の電荷蓄積部とそれぞれ導通可能な複数の容量と、
前記複数の電荷蓄積部と前記複数の容量との導通状態を制御する制御手段と
を有する固体撮像素子により、画素を構成した光飛行時間型距離画像センサの制御システムであって、
ある時間に撮像された画像からヒストグラムを作成するヒストグラム作成手段と、
前記ヒストグラム作成手段が作成したヒストグラムに基づいて、前記変調光以外の光による電荷を前記複数の電荷蓄積部から除去する割合を決定するゲイン調整手段と
を有し、
前記制御手段が、前記振り分け手段により前記複数の電荷蓄積部に電荷を振り分ける光蓄積時間において、前記ゲイン調整手段が決定した割合に基づいて、前記導通状態を切り替えることにより、
前記変調光による電荷を前記複数の電荷蓄積部に蓄積させたまま、前記変調光以外の光による電荷を前記ゲイン調整手段が決定した割合で前記複数の電荷蓄積部から除去する
ことを特徴とする固体撮像素子の制御システム。
【請求項1】
変調光を含む光を電荷に変換する光電変換素子と、
前記光電変換素子ごとに設けられるとともに、前記光電変換素子により変換された電荷を蓄積可能な複数の電荷蓄積部と、
前記変調光に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分けて、前記複数の電荷蓄積部に電荷を蓄積させる振り分け手段と、
前記複数の電荷蓄積部とそれぞれ導通可能な複数の容量と、
前記複数の電荷蓄積部と前記複数の容量との導通状態を制御する制御手段と
を有する固体撮像素子により、画素を構成した光飛行時間型距離画像センサの制御方法であって、
前記振り分け手段により前記複数の電荷蓄積部に電荷を振り分ける光蓄積時間において、住意の時間配分で前記制御手段により制御される導通状態を切り替えることにより、前記変調光による電荷を前記複数の電荷蓄積部に蓄積させたまま、前記変調光以外の光による電荷を前記複数の電荷蓄積部から除去する
ことを特徴とする光飛行時間型距離画像センサの制御方法。
【請求項2】
変調光を含む光を電荷に変換する光電変換素子と、
前記光電変換素子ごとに設けられるとともに、前記光電変換素子により変換された電荷を蓄積可能な複数の電荷蓄積部と、
前記変調光に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分けて、前記複数の電荷蓄積部に電荷を蓄積させる振り分け手段と、
前記複数の電荷蓄積部とそれぞれ導通可能な複数の容量と、
前記複数の電荷蓄積部と前記複数の容量との導通状態を制御する制御手段と
を有する固体撮像素子により、画素を構成した光飛行時間型距離画像センサの制御方法であって、
ある時間に撮像された画像から所定の輝度値の画素の数をカウントし、
該カウントした画素の数に基づいて、前記変調光以外の光による電荷を前記複数の電荷蓄積部から除去する割合を決定し、
前記振り分け手段により前記複数の電荷蓄積部に電荷を振り分ける光蓄積時間において、該決定した割合に基づいて、前記制御手段により制御される導通状態を切り替えることにより、前記変調光による電荷を前記複数の電荷蓄積部に蓄積させたまま、前記変調光以外の光による電荷を該決定した割合で前記複数の電荷蓄積部から除去する
ことを特徴とする光飛行時間型距離画像センサの制御方法。
【請求項3】
変調光を含む光を電荷に変換する光電変換素子と、
前記光電変換素子ごとに設けられるとともに、前記光電変換素子により変換された電荷を蓄積可能な複数の電荷蓄積部と、
前記変調光に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分けて、前記複数の電荷蓄積部に電荷を蓄積させる振り分け手段と、
前記複数の電荷蓄積部とそれぞれ導通可能な複数の容量と、
前記複数の電荷蓄積部と前記複数の容量との導通状態を制御する制御手段と
を有する固体撮像素子により、画素を構成した光飛行時間型距離画像センサの制御方法であって、
ある時間に撮像された画像からヒストグラムを作成し、
該作成したヒストグラムに基づいて、前記変調光以外の光による電荷を前記複数の電荷蓄積部から除去する割合を決定し、
前記振り分け手段により前記複数の電荷蓄積部に電荷を振り分ける光蓄積時間において、該決定した割合に基づいて、前記制御手段により制御される導通状態を切り替えることにより、前記変調光による電荷を前記複数の電荷蓄積部に蓄積させたまま、前記変調光以外の光による電荷を該決定した割合で前記複数の電荷蓄積部から除去する
ことを特徴とする固体撮像素子の制御方法。
【請求項4】
変調光を含む光を電荷に変換する光電変換素子と、
前記光電変換素子ごとに設けられるとともに、前記光電変換素子により変換された電荷を蓄積可能な複数の電荷蓄積部と、
前記変調光に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分けて、前記複数の電荷蓄積部に電荷を蓄積させる振り分け手段と、
前記複数の電荷蓄積部とそれぞれ導通可能な複数の容量と、
前記複数の電荷蓄積部と前記複数の容量との導通状態を制御する制御手段と
を有する固体撮像素子により、画素を構成した光飛行時間型距離画像センサの制御システムであって、
ある時間に撮像された画像から所定の輝度値の画素の数をカウントするカウント手段と、
前記カウント手段がカウントした画素の数に基づいて、前記変調光以外の光による電荷を前記複数の電荷蓄積部から除去する割合を決定するゲイン調整手段と
を有し、
前記制御手段が、前記振り分け手段により前記複数の電荷蓄積部に電荷を振り分ける光蓄積時間において、前記ゲイン調整手段が決定した割合に基づいて、前記導通状態を切り替えることにより、
前記変調光による電荷を前記複数の電荷蓄積部に蓄積させたまま、前記変調光以外の光による電荷を前記ゲイン調整手段が決定した割合で前記複数の電荷蓄積部から除去する
ことを特徴とする光飛行時間型距離画像センサの制御システム。
【請求項5】
変調光を含む光を電荷に変換する光電変換素子と、
前記光電変換素子ごとに設けられるとともに、前記光電変換素子により変換された電荷を蓄積可能な複数の電荷蓄積部と、
前記変調光に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分けて、前記複数の電荷蓄積部に電荷を蓄積させる振り分け手段と、
前記複数の電荷蓄積部とそれぞれ導通可能な複数の容量と、
前記複数の電荷蓄積部と前記複数の容量との導通状態を制御する制御手段と
を有する固体撮像素子により、画素を構成した光飛行時間型距離画像センサの制御システムであって、
ある時間に撮像された画像からヒストグラムを作成するヒストグラム作成手段と、
前記ヒストグラム作成手段が作成したヒストグラムに基づいて、前記変調光以外の光による電荷を前記複数の電荷蓄積部から除去する割合を決定するゲイン調整手段と
を有し、
前記制御手段が、前記振り分け手段により前記複数の電荷蓄積部に電荷を振り分ける光蓄積時間において、前記ゲイン調整手段が決定した割合に基づいて、前記導通状態を切り替えることにより、
前記変調光による電荷を前記複数の電荷蓄積部に蓄積させたまま、前記変調光以外の光による電荷を前記ゲイン調整手段が決定した割合で前記複数の電荷蓄積部から除去する
ことを特徴とする固体撮像素子の制御システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2010−71832(P2010−71832A)
【公開日】平成22年4月2日(2010.4.2)
【国際特許分類】
【出願番号】特願2008−240240(P2008−240240)
【出願日】平成20年9月19日(2008.9.19)
【出願人】(000002303)スタンレー電気株式会社 (2,684)
【Fターム(参考)】
【公開日】平成22年4月2日(2010.4.2)
【国際特許分類】
【出願日】平成20年9月19日(2008.9.19)
【出願人】(000002303)スタンレー電気株式会社 (2,684)
【Fターム(参考)】
[ Back to top ]