距離画像生成装置および距離画像生成方法
【課題】光飛行型距離画像生成装置によって撮影空間の距離画像生成する際、同一撮影空間内に同時期に複数の光飛行型距離画像生成装置が存在する場合であっても、精度良く測距を行う。
【解決手段】光源から照射する変調光の発光(ON)期間と、電荷蓄積部の各単位蓄積部における電荷の蓄積期間とを一定としながら、変調周期毎に周期の長さを変化させるよう、発光と蓄積とを制御する。周期の長さは、予め定めた固定の変調周期Tsに、周期毎に異なる付加時間を付加することにより変化させる。そして、付加時間中に取得した電荷は廃棄する。
【解決手段】光源から照射する変調光の発光(ON)期間と、電荷蓄積部の各単位蓄積部における電荷の蓄積期間とを一定としながら、変調周期毎に周期の長さを変化させるよう、発光と蓄積とを制御する。周期の長さは、予め定めた固定の変調周期Tsに、周期毎に異なる付加時間を付加することにより変化させる。そして、付加時間中に取得した電荷は廃棄する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、距離画像生成技術に関し、特に、光飛行時間型距離画像センサを用いた距離画像生成技術に関する。
【背景技術】
【0002】
光飛行時間型距離画像センサを用いて、撮影空間の対象物の、当該センサからの距離を画素値とする距離画像を生成する距離画像生成装置(以下、光飛行型距離画像生成装置と呼ぶ。)がある。光飛行型距離画像生成装置では、光源から照射した変調光(測距光)と、当該変調光の対象物による反射光との位相差を用いて、画素毎に対象物の距離を算出する。位相差は、画素毎に用意された撮像素子で受光した反射光を光量に応じた電荷量に変換し、この電荷量に所定の演算を施すことにより算出される(例えば、特許文献1参照)。
【0003】
光飛行型距離画像生成装置は、上述のように画素毎に受光した反射光を基に距離値を算出している。しかし、例えば、通行量の多い道路など、同様な光飛行型距離画像生成装置が複数台、同じ空間に存在する場合、他装置の測距光が自装置の測距光と干渉し、誤測距が発生する。
【0004】
他装置の測距光との干渉による誤測距の問題を解決するため、光飛行型距離画像生成装置の外部にタイミング制御部を設け、複数の測距光が干渉しないよう時分割で点灯制御を行う技術がある(例えば、特許文献2参照)。また、変調光の変調周波数を、光飛行型距離画像生成装置毎に異なるよう設定し、干渉を回避する技術がある(例えば、特許文献3参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2008−241435号公報
【特許文献2】特許第4200328号公報
【特許文献3】特開2009−124398号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、特許文献2に記載の技術では、タイミング制御部という追加の装置が必要となる。また、時分割で測距光を照射するため、制御対象の距離画像生成装置の台数が増えると1台あたりの発光時間が短くなり、距離精度、フレームレートが低下する。
【0007】
また、特許文献3に記載の技術では、細かな周波数設定が必要となる。さらに、周波数を変更する毎に距離演算の式が変わるため、距離算出が煩雑となる。
【0008】
本発明は、上記事情に鑑みてなされたもので、光飛行型距離画像生成装置によって撮影空間の距離画像生成する際、同一撮影空間内に同時期に複数の光飛行型距離画像生成装置が存在する場合であっても、精度良く測距を行うことを目的とする。
【課題を解決するための手段】
【0009】
本発明は、光源から照射する変調光の発光(ON)期間と、電荷蓄積部の各単位蓄積部における電荷の蓄積期間とを一定としながら、変調周期毎に周期の長さを変化させるよう、発光と蓄積とを制御する。周期の長さは、予め定めた固定の変調周期に、周期毎に異なる付加時間を付加することにより変化させる。そして、付加時間中に取得した電荷は廃棄する。
【0010】
具体的には、撮影空間に変調光を照射する光源と、前記光源から照射され前記撮影空間内の対象物で反射した反射光を含む入射光を受光して電荷に変換する複数の撮像素子を備える受光手段と、前記電荷を用いて画素値が距離値であり画素数が前記撮像素子数である距離画像を生成する距離画像生成手段と、前記変調光の変調周期と前記受光手段における電荷の蓄積とを制御する制御手段と、を備える距離画像生成装置であって、前記複数の撮像素子は、それぞれ、受光した入射光を電荷に変換する光電変換素子と、前記光電変換素子ごとに設けられた、前記電荷を蓄積する電荷蓄積手段と、を備え、前記電荷蓄積手段は、前記距離画像生成部が距離値算出に用いる電荷を蓄積する複数の測距単位蓄積手段を備え、前記制御手段は、前記変調光の変調周期毎に異なる付加時間を出力する付加時間出力手段を備え、前記変調周期毎に前記付加時間を付加することにより、前記照射する変調光の変調周期を当該変調周期の1周期毎に変化させ、前記各測距単位蓄積手段への電荷の蓄積期間を全周期同じとなるよう制御することを特徴とする距離画像生成装置を提供する。
【0011】
また、撮影空間に変調光を照射する光源と、前記光源から照射され前記撮影空間内の対象物で反射した反射光を含む入射光を受光して電荷に変換する複数の光電変換素子と、前記光電変換素子毎に設けられた前記電荷を蓄積する複数の単位蓄積手段と、前記複数の単位蓄積手段のうち、予め定めた測距に用いる単位蓄積手段に蓄積された電荷を用いて距離値を算出する距離画像算出手段と、を備える距離画像生成装置における、距離画像生成方法であって、前記変調光の変調周期毎に付加する付加時間を生成する付加時間生成ステップと、前記変調周期毎に、前記変調周期に前記付加時間を付加して前記変調光の変調周期を変化させるとともに、前記付加時間中に受光した入射光を変換して得た電荷を廃棄用の単位蓄積手段に蓄積し、当該付加時間以外の予め定めた期間に取得した電荷を、予め定めた複数の電荷蓄積用の単位蓄積手段にそれぞれ蓄積する同期制御ステップと、所定の時間間隔で前記電荷蓄積用の単位蓄積手段に蓄積された電荷を読み出し、距離画像の各画素値である距離値を算出する距離値算出ステップと、を備えることを特徴とする距離画像生成方法を提供する。
【発明の効果】
【0012】
本発明によれば、光飛行型距離画像生成装置によって撮影空間の距離画像生成する際、同一撮影空間内に同時期に複数の光飛行型距離画像生成装置が存在する場合であっても、精度良く測距ができる。
【図面の簡単な説明】
【0013】
【図1】(a)は、一般の距離画像生成装置のブロック図であり、(b)は、一般の距離画像生成装置の撮像素子のブロック図である。
【図2】一般の距離画像生成装置の制御信号のタイミングチャートである。
【図3】(a)は、本発明の実施形態の距離画像生成装置のブロック図であり、(b)は、本発明の実施形態の距離画像生成装置の撮像素子のブロック図である。
【図4】本発明の実施形態の距離画像生成装置の制御信号のタイミングチャートである。
【図5】本発明の実施形態の距離画像生成装置により干渉が防止されることを説明するための説明図である。
【図6】本発明の実施形態の距離画像生成装置の他の例の制御信号のタイミングチャートである。
【図7】本発明の実施形態の距離画像生成装置の他の例の制御信号のタイミングチャートである。
【図8】(a)は、本発明の実施形態の付加時間データベースを説明するための説明図であり、(b)は、本発明の実施形態のパターン生成回路により生成されるパターンを説明するための説明図である。
【図9】本発明の実施形態のランダム付加時間データベースを説明するための説明図である。
【図10】(a)は、付加時間Twを0にした場合の変調光の周波数スペクトラムのグラフであり、(b)は、本発明の実施形態の、周波数拡散を行う場合の変調光の周波数スペクトラムのグラフである。
【発明を実施するための形態】
【0014】
以下、本発明を適用する実施形態について説明する。以下、本発明の実施形態を説明するための全図において、同一機能を有するものは同一符号を付し、その繰り返しの説明は省略する。
【0015】
本実施形態の光飛行時間型距離画像生成装置(以下、距離画像生成装置と呼ぶ。)の構成の説明に先立ち、一般の電荷振り分け式の光飛行時間型センサを用いた距離画像生成装置101の構成および距離画像生成の原理について説明する。
【0016】
光飛行時間型距離画像センサは、1個の撮像素子を1画素として構成したセンサである。この光飛行時間型距離画像センサを用いた距離画像生成装置101は、対象物体200へ照射した光の反射光を受光することにより光飛行時間計測法(TOF:Time of flight)を用いて光飛行時間を測定し、当該光飛行時間に基づいて当該対象物体200までの距離を測定することにより距離画像を生成する。
【0017】
電荷振り分け方式とは、後述するように、2つ以上の電荷蓄積容量を1つの光電変換素子に接続し、例えば、周期的に発光(ON/OFF)を繰り返すパルス光(以下、本明細書では、パルス光を「変調光」と呼ぶ。)を、その変調周期や発光時間に同期させて2つ以上の電荷蓄積容量に分離蓄積し、これらの電荷に基づいて距離を算出する方式である。この電荷振り分け方式では、距離値の算出にあたり、一定時間毎に分離蓄積した電荷を読み出して平均化することにより信号雑音比を高める。従って、この電荷振り分け方式の光飛行時間型距離画像センサは、未知の背景光下で使用することができる。
【0018】
図1(a)は、この距離画像生成装置101のブロック図である。本図に示すように、距離画像生成装置100は、光源110と、受光部120と、距離画像生成部130と、制御部140と、を備える。
【0019】
光源110は、撮影空間に変調光151を照射する。光源110には、LED、レーザ等の高速変調(高速点滅)が可能なデバイスが用いられる。
【0020】
受光部120は、入射光152を受光し、電荷に変換する。受光部120は、図1(a)に示すように、距離画像生成部130が生成する距離画像の各画素に対応する複数の撮像素子121を備える。複数の撮像素子121は、距離画像生成部130が生成する距離画像の各画素に対応づけて規則的に配列される。図1(a)には、4×4の場合を例示する。
【0021】
なお、受光部120に入射する入射光152は、光源110から照射された変調光151が撮影空間内の物体200により反射されることに由来する反射光と、自然光などの外部光源からの光が対象物体200に反射されることに由来する背景光との総和である。
【0022】
この光飛行時間型距離センサは、上述のように電荷振り分け方式を採用する。このため、各撮像素子121は、図1(b)に示すように、光電変換素子122と、電荷蓄積部123と、を備える。光電変換素子122は、入射光152を受光し、受光量に応じた電荷に変換する。電荷蓄積部123は、光電変換素子122で変換された電荷を蓄積する複数の単位蓄積部124を備える。
【0023】
光電変換素子122で変換された電荷は、制御部140からの指示に従って、それぞれの単位蓄積部124に振り分けられ、蓄積される。各単位蓄積部124への電荷の振り分けは、変調光151の変調周期に同期して行われる。各単位蓄積部124に蓄積された電荷は、制御部140からの指示に従って読み出され、距離画像生成部130へ出力される。読み出しは、所定の時間間隔で行われる。
【0024】
なお、単位蓄積部124は、電荷蓄積部123毎に、2以上設けられる。後述するように、単位蓄積部124に蓄積された電荷を用いて距離画像を生成する際、変調光151と入射光152との位相差(遅延時間)を用いる。この遅延時間を算出するためには、一定の間隔で取得開始を遅延させ、異なる位相で取得した、2以上の電荷情報が必要となるためである。
【0025】
距離画像生成部130は、変調光151と入射光152との遅延時間(位相差)を用いて、画素毎の対象物200の距離を算出する。算出の詳細は後述する。距離画像の算出は、制御部140の指示に従って、単位蓄積部124から電荷が読み出される毎に行われる。距離画像は、各画素位置に対応する撮影空間の距離値を算出することにより生成する。生成した距離画像は、例えば、外部出力端子(不図示)から出力される。
【0026】
制御部140は、光源110と受光部120とを同期制御する。制御部140は、光源110の変調(発光)、受光部120での各単位蓄積部124への電荷の振り分けおよび各単位蓄積部124からの電荷の読出しを指示する制御信号をそれぞれ出力し、この同期制御を実現する。以下、光源110の発光を制御する制御信号を発光信号TE、受光部120の各単位蓄積部124への電荷の振り分けを制御する制御信号をゲート信号TX、各単位蓄積部124からの読出しタイミングを制御する制御信号を読出信号とそれぞれ呼ぶ。
【0027】
次に、制御部140が、光源110、受光部120それぞれに出力する制御信号のタイミングと、距離画像生成の原理について説明する。ここでは、単位蓄積部124が4つの場合を例示する。横軸は時間、縦軸は、各信号等のON/OFFを示す。
【0028】
図2は、制御部140が光源110および受光部120に出力する制御信号のタイミングチャートである。ここでは、発光信号TEが矩形波であり、変調光151が矩形波で変調されてパルス発光する場合を例にあげて説明する。なお、変調に用いる波形は、矩形波に限られない。正弦波、鋸波、等であってもよい。
【0029】
最上段が発光信号TEのタイミングチャートである。発光信号TEは、周期がTs、ON時間がTs/2、OFF時間がTs/2の矩形波として出力される。光源110は、発光信号TEに従って、ON(発光)/OFF(発光停止)を繰り返す。ここでは、光源110は、発光信号TEがONのTs/2間、発光し、発光信号TEがOFFのTs/2間、発光を停止する。
【0030】
ここで、次段に、受光部120による変調光151の反射光の受光タイミングを示す。本図に示すように、反射光は時間Tdだけ遅れて、受光部120に到達する。この時間Tdが、変調光151が光源110から照射されて、対象物体200により反射され、受光部120で受光されるまので飛行時間により生じる遅延(位相差)である。以後、遅延時間Tdと呼ぶ。
【0031】
下段は、4つの単位蓄積部124それぞれに電荷を蓄積するタイミングを指示する4つのゲート信号TX1、TX2、TX3、TX4のタイミングチャートである。
【0032】
これらのゲート信号TX1、TX2、TX3、TX4は、発光信号TEに同期して出力される。発光信号TEの周期Tsを4等分した時間を、それぞれ順にT1、T2、T3、T4とすると、ゲート信号TX1は、発光信号TEとON/OFFタイミングを同期させた信号として、また、ゲート信号TX2、TX3、TX4は、それぞれ、ゲート信号TX1から、T1、T1+T2、T1+T2+T3ずれた、周期Tsの信号として出力される。ゲート信号TX2、TX3、TX4も、1周期Ts毎に、Ts/2間、ONとなり、Ts/2間、OFFとなる。
【0033】
このように、発光信号TEの周期Tsを4等分した時間ずつずらしたゲート信号TX1、TX2、TX3、TX4に従って、電荷を振り分けることにより、0度位相がずれた電荷情報C1、90度位相がずれた電荷情報C2、180度位相がずれた電荷情報C3、270度位相がずれた電荷情報C4が、4つの単位蓄積部124それぞれに蓄積される。
【0034】
なお、読出信号は、ここでは、図示しないが、予め定めた時間間隔で出力される。一般に、1つの距離画像を得るためには、数ms程度の時間の電荷の蓄積が必要である。一方、光源110の変調周波数は数十MHzである。従って、変調の1周期Tsは数十ns程度である。このため、距離画像を得るためには、数百〜数十万周期の電荷蓄積期間Δtを要する。読出信号は、この電荷蓄積期間Δt間隔毎に出力される。読出信号に従って、受光部120は、4つの単位蓄積部124に蓄積された各電荷量C1、C2、C3、C4を距離画像生成部130に出力する。
【0035】
距離画像生成部130は、電荷蓄積期間Δt毎に受け取った各電荷量C1、C2、C3、C4を用いて距離値Dを算出する。上述のように、変調光151と入射光152とには、光が物体200まで往復する飛行時間による遅延時間Td(位相差φ)が生じる。光の速度cは既知であるため、この遅延時間Tdと周期Tsとを用い、対象物までの距離値Dは、以下の式(1)で求めることができる。
【数1】
【0036】
遅延時間Td(位相差φ)は、各単位蓄積部124に蓄積される電荷量C1、C2、C3、C4を用い、以下の式(2)で表される。
【数2】
【0037】
このとき、入射光152の中の変調光151由来の成分、すなわち、反射光による電荷は、各単位蓄積部124に、位相(遅延時間)に応じた量が割り振られる。従って、各単位蓄積部124で蓄積される電荷の量が異なる。一方、入射光152の中の背景光による電荷は、各単位蓄積部124に均等に割り振られる。従って、各単位蓄積部124に蓄積される電荷の量は略等しくなる。従って、上記式により背景光は相殺され、反射光のみの位相差を得ることができる。
【0038】
ゲート信号TX1、TX2、TX3、TX4に従って取得する4つの電荷は、同時に取得してもよいし、複数のフレームにわたって取得してもよい。なお、少なくとも2つの、異なる位相の電荷情報から距離を算出していれば、何等分であってもよい。
【0039】
なお、対象物体200で反射された変調光151の変調光成分の振幅量Bは、以下の式(3)で求められる。
【数3】
【0040】
また、一般に輝度画像の画素値として用いられるのは、以下の式(4)に従って、4つの電荷蓄積部123に振り分けられた電荷の平均値Aである。
【数4】
【0041】
このように、距離画像生成装置101は、距離画像と輝度画像とを同時に得ることができる。
【0042】
次に、本実施形態の距離画像生成装置100について説明する。図3(a)は、本実施形態の距離画像生成装置100の機能ブロック図である。本実施形態の距離画像生成装置100は、基本的に距離画像生成装置101と同様の構成を有する。すなわち、光源110と、受光部120と、距離画像生成部130と、制御部140とを備える。
【0043】
本実施形態の受光部120も、複数の撮像素子121を備える。各撮像素子121は、距離画像生成部130が生成する距離画像の各画素に対応づけて規則的に配列される。距離画像生成部130は、撮像素子121数の画素数を有する距離画像を生成する。
【0044】
本実施形態の撮像素子121も、図3(b)に示すように、距離画像生成装置101の撮像素子121同様、入射光152を電荷に変換する光電変換素子122と、複数の単位蓄積部124を備え、電荷を蓄積する電荷蓄積部123と、を備える。
【0045】
これらの各部は、従来の距離画像生成装置101の同名の構成と基本的に同様の機能を有する。
【0046】
ただし、本実施形態の距離画像生成装置100は、同一空間内に同時期に複数の光飛行型距離センサを用いる距離画像生成装置が存在する場合であっても、干渉することなく高精度の測距を行う。本実施形態の距離画像生成装置100は、光源110から照射する変調光151の発光(ON)期間と、電荷蓄積部123の各単位蓄積部124における電荷の蓄積タイミングおよび期間とは、従来同様一定としながら、変調周期毎に、すなわち、光源110の発光毎に、周期の長さを変化させる。周期の長さは、予め定めた固定の変調周期Tsに、周期毎に異なる付加時間Twを付加することにより変化させる。
【0047】
これを実現するため、本実施形態の距離画像生成装置100の制御部140は、周期毎に異なる付加時間Twを出力する付加時間出力部144を備える。また、本実施形態の制御部140は、この付加時間Twを用いて光源110の発光(ON/OFF)を制御する発光信号を生成する発光制御部141と、付加時間Twを用いて受光部120の電荷蓄積部123での電荷の蓄積を制御するゲート信号を生成する蓄積制御部142と、各単位蓄積部124からの読出しを制御する読出制御部143と、をさらに備える。
【0048】
なお、本実施形態の電荷蓄積部123が備える複数の単位蓄積部124は、蓄積された電荷が距離画像生成部130における距離画像の生成に用いられる測距単位蓄積部125と、蓄積された電荷が距離画像生成には用いられず廃棄される廃棄単位蓄積部126として用いられる。本図では、測距単位蓄積部125が4つ、廃棄単位蓄積部126が1つの場合を例示する。
【0049】
4つの測距単位蓄積部125には、従来の距離画像生成装置101の単位蓄積部124同様、それぞれ異なる位相の電荷情報が蓄積される。すなわち、発光信号TEの周期Tsを4等分した時間ずつずらしたゲート信号TX1、TX2、TX3、TX4に従って、0度位相がずれた電荷情報C1、90度位相がずれた電荷情報C2、180度位相がずれた電荷情報C3、270度位相がずれた電荷情報C4が、4つの測距単位蓄積部125それぞれに蓄積される。
【0050】
距離画像生成部130は、測距単位蓄積部125に蓄積された各電荷情報を用い、上記従来の距離画像生成装置101で説明した手法で距離値を算出する。距離値Dを算出するためには、この位相が異なる電荷情報が、2以上あればよい。また、この2以上の電荷情報は、同時に取得してもよいし、複数のフレームに渡って取得してもよい。従って、測距単位蓄積部125の数は、上記距離画像生成装置101同様、2以上であればよく、撮像素子121の構造、仕様により決定される。
【0051】
一方、廃棄単位蓄積部126には、付加時間Twを含む時間に電荷が蓄積される。廃棄単位蓄積部126に蓄積された電荷は、距離の算出には用いない。廃棄単位蓄積部126に蓄積された電荷は、読み出し後、廃棄されるよう構成してもよいし、所定の時間間隔で廃棄されるよう構成してもよい。
【0052】
付加時間出力部144は、付加時間Twを、CPUやマイコンを使い、ソフト的に算出し、発光制御部141、蓄積制御部142、読出制御部143へ出力する。なお、付加時間出力部144は、FPGA(Field Programmable Gate Array)等の回路により実現されてもよい。付加時間Twは、例えば、100ns〜10μs程度の範囲で算出する。
【0053】
以上の構成を有する本実施形態の距離画像生成装置100における、制御部140による制御を、各制御信号の出力タイミングを示すタイミングチャートを用いて説明する。図4は、本実施形態の制御部140による制御信号のタイミングチャートである。ここでは、図2に示す従来例同様、発光信号TEが矩形波であり、変調光151がこの矩形波で変調されてパルス発光する場合を例にあげて説明する。なお、本実施形態においても、変調に用いる波形は、矩形波に限られない。正弦波、鋸波等であってもよい。また、ここでは、図3に示すように、測距単位蓄積部125が4つ、廃棄単位蓄積部126が1つの場合を例にあげて説明する。
【0054】
最上段は、発光信号TEのタイミングチャートである。本図に示すように、本実施形態の発光制御部141は、付加時間出力部144から付加時間Twを受信すると、周期TsのON/OFF信号である発光信号のOFF信号に受信した付加時間Twを付加し、発光信号TEとして出力する。すなわち、発光信号TEは、周期が(Ts+Tw)、ON期間はTs/2、OFF期間はTs/2+Twの制御信号である。以下、Tsを設定周期、(Ts+Tw)を実効周期と呼ぶ。
【0055】
この発光信号TEに従って、本実施形態の光源110は、実効周期(Ts+Tw)毎に、Ts/2間発光(ON)し、(Ts/2+Tw)間発光を停止(OFF)する。発光期間は周期に寄らず一定であり、発光停止期間は、周期毎に変化する。付加時間Twの間は、光源110は変調光151を照射しない。
【0056】
ここで、次段に、変調光151の反射光の受光部120による受光タイミングを示す。本図に示すように、本実施形態においても反射光は遅延時間Tdだけ遅れて受光部120に到達する。この遅延時間Tdが、変調光151が光源110から照射されて対象物体200による反射され、受光部120で受光されるまでの飛行時間により生じる遅延である。
【0057】
下段は、4つの測距単位蓄積部125それぞれに電荷を蓄積するタイミングを指示する4つのゲート信号TX1、TX2、TX3、TX4と、廃棄単位蓄積部126に電荷を蓄積するタイミングを指示する廃棄ゲート信号TX5と、を示す。
【0058】
本図に示すように、本実施形態の蓄積制御部142は、上記従来例同様、発光信号TEに同期して、これらのゲート信号TX1、TX2、TX3、TX4、TX5を出力する。
【0059】
測距単位蓄積部125に対するゲート信号TX1、TX2、TX3、TX4については、上記従来例と同様とする。すなわち、設定周期Tsを4等分した時間を順にそれぞれT1、T2、T3、T4とすると、TX1は、発光信号TEがONとなるタイミングからTs/2間ONとなるよう出力され、TX2、TX3、TX4は、T1、T1+T2、T1+T2+T3ずつ順に発光信号TEがONとなるタイミングから遅延させた時間からTs/2間ONとなるよう出力される。これらは、全周期にわたり、付加時間Twによらず、同じとする。これらのゲート信号TX1、TX2、TX3、TX4により、全周期にわたり、各測距単位蓄積部125に、従来同様、4つの異なる位相の電荷情報(0度、90度、180度、270度)C1、C2、C3、C4が蓄積される。
【0060】
廃棄ゲート信号TX5は、他のゲート信号同様、その周期が(Ts+Tw)の信号として生成され、出力される。ただし、廃棄ゲート信号TX5は、1周期(Ts+Tw)の中で、測距単位蓄積部125のいずれのゲート信号TX1、TX2、TX3、TX4もONでない期間、ONとなるよう生成され、出力される。廃棄単位蓄積部126には、付加時間Twの期間を含み、いずれの測距単位蓄積部125にも電荷が蓄積されない期間、電荷が蓄積される。ここでは、ゲート信号TX5は、付加時間Tw間ONとなるよう生成されて出力される。そして、廃棄単位蓄積部126には、その間、電荷が蓄積される。
【0061】
読出信号については、ここでは、図示しないが、従来例同様、予め定められた時間間隔Δtで出力される。時間間隔Δtは、1つの距離画像を得るために必要な電荷が蓄積される間隔であり、予め定められる。読出信号に従って、受光部120は、4つの単位蓄積部124に蓄積された各電荷量C1、C2、C3、C4を距離画像生成部130に出力する。
【0062】
距離画像生成部130は、電荷蓄積期間Δt毎に受け取った各電荷量C1、C2、C3、C4を用いて、従来例同様、式(1)および式(2)を用い、距離値Dを算出する。
【0063】
以上のように構成された距離画像生成装置100が、同一撮影空間の他の距離画像生成装置との干渉が防止されることを説明する。図5は、干渉が防止されることを説明するための図である。ここでは、2つの距離画像生成装置AおよびBの、TsとTwとによる実効周期と、光源110の発光タイミングと、を示す。
【0064】
距離画像生成装置AおよびBの光源110が、同一空間を照射する場合、距離画像生成装置Aから照射される変調光151が距離画像生成装置Bにも入射する。しかし、本図に示すように、距離画像生成装置Aの変調光151の発光タイミングは、距離画像生成装置Bの発光タイミングとずれているため、距離画像生成装置Bの受光部120における電荷蓄積タイミングと同期せず、干渉は起こらない。
【0065】
上述のように、1つの距離画像を得るためには、数ms(10−3秒)程度、光を蓄積する必要がある。これに対し、変調光の周期Tsは数十ns〜100ns(10−9秒)程度である。従って、数千から数万周期分蓄積後、読み出し部により読み出され、距離値が算出される。このため、従って、同期していない他の距離画像生成装置の変調光151は、数千から数万回の繰返しによって、ノイズ(DC光)とみなされ、上述のように、相殺される。
【0066】
このため、本実施形態によれば、同一撮像空間に、複数の距離画像生成装置がある場合であっても、互いに干渉することなく、誤測距を避けることができる。
【0067】
なお、本実施形態の距離画像生成装置100は、CPUとメモリと記憶装置とを備え、記憶装置に格納されたプログラムを実行することにより、画像生成部130および制御部140の機能を実現する。
【0068】
以上説明したように、本実施形態の距離画像生成装置100は、撮影空間に変調光を照射する光源110と、前記光源から照射され前記撮影空間内の対象物で反射した反射光を含む入射光を受光して電荷に変換する複数の撮像素子121を備える受光手段(受光部120)と、前記電荷を用いて画素値が距離値であり画素数が前記撮像素子数である距離画像を生成する距離画像生成手段(距離画像生成部130)と、前記変調光の変調周期と前記受光手段における電荷の蓄積とを制御する制御手段(制御部140)と、を備え、前記複数の撮像素子121は、それぞれ、受光した入射光を電荷に変換する光電変換素子122と、前記光電変換素子ごとに設けられた、前記電荷を蓄積する電荷蓄積手段(電荷蓄積部123)と、を備え、前記電荷蓄積手段(電荷蓄積部123)は、前記距離画像生成部が距離値算出に用いる電荷を蓄積する複数の測距単位蓄積手段(測距単位蓄積部125)を備え、前記制御手段(制御部140)は、前記変調光の変調周期毎に異なる付加時間を出力する付加時間出力手段(付加時間出力部144)を備え、前記変調周期毎に異なる前記付加時間を付加することにより、前記照射する変調光の変調周期を当該変調周期の1周期毎に変化させ、前記測距単位蓄積手段(測距単位蓄積部125)への電荷の蓄積期間を全周期同じとなるよう制御することを特徴とする。
【0069】
前記変調光は、発光と発光停止とを繰り返すパルス光であり、前記電荷蓄積手段(電荷蓄積部123)は、廃棄する電荷を蓄積する1の廃棄単位蓄積手段(廃棄単位蓄積部126)をさらに備え、前記制御手段(制御部140)は、前記付加時間を前記変調光の発光停止期間に付加することにより前記変調光の変調周期を変化させる発光制御手段(発光制御部141)と、前記付加時間に受光した入射光から得た電荷を前記廃棄単位蓄積手段に蓄積するよう制御する蓄積制御手段(蓄積制御部142)と、を備える。
【0070】
このように、本実施形態では、発光期間は周期によらず一定であるが、発光停止期間を周期毎に変化させ、全体として発光周期をランダムにする。一方、距離値の算出に用いる測距単位蓄積部125への電荷蓄積期間は周期毎に一定とする。
【0071】
すなわち、本実施形態では、光源110から照射される変調光151の発光期間、および、受光部120の測距単位蓄積部125の電荷蓄積期間は、従来の光飛行時間型距離センサを用いた距離画像生成装置のそれらと同じである。このため、従来と同様の距離演算により、高い精度で光源110からの変調光の反射光を用いた距離値を得ることができる。また、光源110の発光時間が短くなり、算出される距離値の精度が低下することもない。
【0072】
さらに、ランダムな周期は、1周期毎に異なる付加時間Twを付加することにより実現する。この付加時間Twは、100ns〜数μsであり、1つの画像を取得するために要する蓄積時間(数ms)に比べ、十分小さい。このため、付加時間Twを付加することにより、フレームレートが極端に低下することはない。
【0073】
一方、本実施形態では、変調光151の変調周期を、周期毎に変更し、ランダムにしている。従って、同一撮像空間にある他の距離画像生成装置の変調光と同期する可能性は極めて低くなる。従って、距離画像生成装置間の干渉による誤測距の可能性も抑えることができる。
【0074】
従って、本実施形態によれば、距離画像生成装置によって撮影空間の距離画像生成する際、同一撮影空間内に同時期に複数の距離画像生成装置が存在する場合であっても、複雑な処理を行うことなく、精度良く測距を行うことができる。
【0075】
なお、上記実施形態では、単位蓄積部124を5つ備え、その中の4つを測距単位蓄積部125とし、1つを廃棄単位蓄積部126とする場合を例にあげて説明したが、電荷蓄積部123の単位蓄積部124の数はこれに限られない。単位蓄積部124の数は2以上であれば、がいくつであってもよい。単位蓄積部124の数によらず、その中の1つの単位蓄積部124を、廃棄する電荷の蓄積用の廃棄単位蓄積部126とし、残りを測距単位蓄積部125とする。そして、測距単位蓄積部125には、発光および電荷の蓄積に付加時間Twを付加しない場合と同様に電荷を蓄積するよう制御することにより、同様の効果を得ることができる。
【0076】
例えば、単位蓄積部124が3つであり、その中の2つを測距単位蓄積部125とし、残りの1つを廃棄単位蓄積部126としてもよい。この場合の制御部140により出力される制御信号のタイミングチャートの一例を図6に示す。
【0077】
この場合、発光制御部141による発光信号TEは上記実施形態と同様である。すなわち、予め定めた周期Tsに付加時間Twを付加し、周期(Ts+Tw)の信号として出力される。このとき、(Ts+Tw)時間毎に、変調光151を、Ts/2間ON、Ts/2+Tw間OFFする信号として生成される。
【0078】
一方、蓄積制御部142は、2つの測距単位蓄積部125の電荷の蓄積タイミングを指示する2つのゲート信号TX1とTX2と、廃棄単位蓄積部126への蓄積を指示する廃棄ゲート信号TX5とを生成し、出力する。
【0079】
ゲート信号TX1とTX2とは、周期を実効周期(Ts+Tw)、ON期間をTs/2とし、ONのタイミングを、例えば、設定周期Tsを2等分した時間、ずらした信号として生成する。ここでは、ゲート信号TX1を発光信号TEと同期させた信号とし、ゲート信号TX2を、ON開始タイミングを発光信号TEおよびゲート信号TX1からTs/2だけずらした信号とする場合を例示する。この場合も、ゲート信号TX1およびTX2の、設定周期Ts内のON期間は、全周期にわたり、同じとする。
【0080】
また、廃棄ゲート信号TX5は、周期を実効周期(Ts+Tw)とし、ゲート信号TX1およびTX2のいずれの信号もONでない期間ONとなるよう生成する。ここでは、Tw間、ONとなる信号として生成する。
【0081】
これにより、2つの測距単位蓄積部125には、2つの開始タイミングが異なる電荷情報、すなわち、周期Tsを2等分した時間だけ蓄積開始時間がずれた電荷情報であるC1およびC2がそれぞれ蓄積され、廃棄単位蓄積部126には、付加時間Tw分の電荷が蓄積される。距離画像生成部130は、この電荷C1およびC2を用い、その比から遅延時間Tdを算出し、それを用いて距離値Dを算出する。
【0082】
また、単位蓄積部124は、2つであってもよい。単位蓄積部124が2つであり、一方を測距単位蓄積部125とし、他方を廃棄単位蓄積部126とする場合の、制御部140により出力される各制御信号のタイミングチャートの一例を図7に示す。
【0083】
この場合、発光信号TEは、上記実施形態と同様である。すなわち、予め定めた周期Tsに付加時間Twを付加し、周期(Ts+Tw)の信号として出力される。このとき、(Ts+Tw)時間毎に、変調光151を、Ts/2間ON、Ts/2+Tw間OFFする信号として生成される。
【0084】
一方、蓄積制御部142が生成するゲート信号のうち、測距単位蓄積部125の制御信号となるゲート信号は、周期が(Ts+Tw)、ON期間がTs/2の信号として出力される。また、廃棄ゲート信号は、周期が(Ts+Tw)、ON期間が(Ts/2+Tw)の信号として出力される。廃棄ゲート信号のON期間は、測距単位蓄積部125用のゲート信号がOFFの期間、ONとなるよう設定される。この場合も、ゲート信号TX1の設定周期Ts内のON期間は、全周期にわたり、同じとする。
【0085】
この場合、測距に必要な、一定の間隔で遅延させて取得する電荷情報は、1周期あたり、1つしか取得できない。このため、単位蓄積部124が2つの場合は、複数のフレームを用い、距離値算出に必要な、取得タイミングの異なる電荷情報を取得する。例えば、上記実施形態のように、異なる4つの電荷情報を用いて距離値Dを算出する場合、4フレームを用いて、位相の異なる電荷情報を取得する。また、図6を用いて説明したように、取得タイミングが異なる2つの電荷量を用いて距離値Dを算出する場合、2フレームを用いて、周期Tsを2等分した時間ずつ蓄積開始時間をずらした電荷情報を取得する。
【0086】
また、上記実施形態では、付加時間Twを生成する付加時間出力部144は、特に限定されていない。CPUやマイコンでソフト的に実現、FPGAなどを用いて回路的に実現される場合を例にあげて説明したが、付加時間出力部144の構成は、これに限られない。周期毎に、異なる付加時間Twが生成可能であれば、どのような手段で構成されていてもよい。
【0087】
付加時間出力部144は、例えば、ランダム時間生成回路により実現されていてもよい。ランダム時間生成回路は、例えば、擬似乱数生成回路などを用いて構成する。この擬似乱数生成回路を用い、付加時間Twを、100nsから10μs程度の範囲で生成する。
【0088】
また、付加時間出力部144は、例えば、パターン生成回路により構成されていてもよい。パターン生成回路は、出力順をパターンとして生成する回路である。この場合、予め、所定数の付加時間Twを生成し、付加時間データベースとして保持しておく。保持しておく付加時間Twは、例えば、1〜1000の1000個程度とする。パターン生成回路が生成したパターン(順序)に従って、付加時間出力部144は、付加時間データベースから抽出し、付加時間Twとして出力する。
【0089】
付加時間データベース301の一例を図8(a)に示す。また、パターン生成回路が生成するパターン302の例を図8(b)に示す。付加時間出力部144は、1周期毎に、パターン生成回路が生成したパターン302の番号(No.)に対応する付加時間Twを、付加時間データベース301から順に抽出し、付加時間Twとして出力する。
【0090】
また、付加時間出力部144は、予めランダムに生成した付加時間Twを、ランダム付加時間データベース311として登録しておき、それを、周期毎に順に出力するよう構成してもよい。このとき、ランダム付加時間データベース311として登録される付加時間Twの例を図9に示す。付加時間出力部144は、1周期毎に、ランダム付加時間データベース311から順に付加時間Twを抽出し、付加時間Twとして出力する。
【0091】
予め、ランダムに付加時間を生成し、データベースに登録しておくことにより、ランダム時間を生成する回路、パターンを生成する回路が不要となる。従って、構成がシンプルとなり、処理時間も短縮できる。
【0092】
また、予めランダム付加時間データベース311として登録しておくことにより、干渉が起こり易いTwの設定となる可能性をさらに低下させることができる。
【0093】
さらに、付加時間出力部144は、変調光151の変調周波数分布が一定になるよう制御する周波数拡散制御回路により実現されていてもよい。
【0094】
図10(a)は、付加時間Twを0にした場合の光源110から照射される変調光151の周波数スペクトラムである。図10(a)において、横軸は周波数〔Hz〕、縦軸はスペクトラム強度〔dB〕である。例えば、図2のタイミングチャートに示すように、付加時間Twが0の場合、すなわち、変調光151の変調が一定、光源110の発光が周期的である場合、その周期をTsとすると、周波数スペクトラムは、1/Tsの周波数に急峻なピークを持つ。例えば、付加時間Twが一定の場合、光源の発光周期は(Ts+Tw)となるため、1/(Ts+Tw)の周波数にピークを持つ。
【0095】
図10(b)は、周波数拡散を行った場合の、光源110から照射される変調光151の周波数スペクトラムである。図10(b)において、横軸は周波数〔Hz〕、縦軸はスペクトラム強度〔dB〕である。周期Tsに付加時間Twを追加することにより、周波数1/Tsより低周波数側に周波数スペクトラムのピークが移動する。
【0096】
本実施形態の変形例の周波数拡散制御回路は、スペクトラム拡散単位時間を設定し、このスペクトラム拡散単位時間毎に図8に示す周波数スペクトラムを満足するよう、付加時間Twを決定し、出力する。スペクトラム拡散単位時間は、光蓄積時間より十分短い時間を設定する。
【符号の説明】
【0097】
100:距離画像生成装置、101:距離画像生成装置、101:距離画像生成装置、110:光源、120:受光部、121:撮像素子、122:光電変換素子、123:電荷蓄積部、124:単位蓄積部、125:測距単位蓄積部、126:廃棄単位蓄積部、130:距離画像生成部、140:制御部、141:発光制御部、142:蓄積制御部、143:読出制御部、144:付加時間出力部、151:変調光、152:入射光、200:対象物体、200:物体、301:付加時間データベース、302:パターン、311:ランダム付加時間データベース
【技術分野】
【0001】
本発明は、距離画像生成技術に関し、特に、光飛行時間型距離画像センサを用いた距離画像生成技術に関する。
【背景技術】
【0002】
光飛行時間型距離画像センサを用いて、撮影空間の対象物の、当該センサからの距離を画素値とする距離画像を生成する距離画像生成装置(以下、光飛行型距離画像生成装置と呼ぶ。)がある。光飛行型距離画像生成装置では、光源から照射した変調光(測距光)と、当該変調光の対象物による反射光との位相差を用いて、画素毎に対象物の距離を算出する。位相差は、画素毎に用意された撮像素子で受光した反射光を光量に応じた電荷量に変換し、この電荷量に所定の演算を施すことにより算出される(例えば、特許文献1参照)。
【0003】
光飛行型距離画像生成装置は、上述のように画素毎に受光した反射光を基に距離値を算出している。しかし、例えば、通行量の多い道路など、同様な光飛行型距離画像生成装置が複数台、同じ空間に存在する場合、他装置の測距光が自装置の測距光と干渉し、誤測距が発生する。
【0004】
他装置の測距光との干渉による誤測距の問題を解決するため、光飛行型距離画像生成装置の外部にタイミング制御部を設け、複数の測距光が干渉しないよう時分割で点灯制御を行う技術がある(例えば、特許文献2参照)。また、変調光の変調周波数を、光飛行型距離画像生成装置毎に異なるよう設定し、干渉を回避する技術がある(例えば、特許文献3参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2008−241435号公報
【特許文献2】特許第4200328号公報
【特許文献3】特開2009−124398号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、特許文献2に記載の技術では、タイミング制御部という追加の装置が必要となる。また、時分割で測距光を照射するため、制御対象の距離画像生成装置の台数が増えると1台あたりの発光時間が短くなり、距離精度、フレームレートが低下する。
【0007】
また、特許文献3に記載の技術では、細かな周波数設定が必要となる。さらに、周波数を変更する毎に距離演算の式が変わるため、距離算出が煩雑となる。
【0008】
本発明は、上記事情に鑑みてなされたもので、光飛行型距離画像生成装置によって撮影空間の距離画像生成する際、同一撮影空間内に同時期に複数の光飛行型距離画像生成装置が存在する場合であっても、精度良く測距を行うことを目的とする。
【課題を解決するための手段】
【0009】
本発明は、光源から照射する変調光の発光(ON)期間と、電荷蓄積部の各単位蓄積部における電荷の蓄積期間とを一定としながら、変調周期毎に周期の長さを変化させるよう、発光と蓄積とを制御する。周期の長さは、予め定めた固定の変調周期に、周期毎に異なる付加時間を付加することにより変化させる。そして、付加時間中に取得した電荷は廃棄する。
【0010】
具体的には、撮影空間に変調光を照射する光源と、前記光源から照射され前記撮影空間内の対象物で反射した反射光を含む入射光を受光して電荷に変換する複数の撮像素子を備える受光手段と、前記電荷を用いて画素値が距離値であり画素数が前記撮像素子数である距離画像を生成する距離画像生成手段と、前記変調光の変調周期と前記受光手段における電荷の蓄積とを制御する制御手段と、を備える距離画像生成装置であって、前記複数の撮像素子は、それぞれ、受光した入射光を電荷に変換する光電変換素子と、前記光電変換素子ごとに設けられた、前記電荷を蓄積する電荷蓄積手段と、を備え、前記電荷蓄積手段は、前記距離画像生成部が距離値算出に用いる電荷を蓄積する複数の測距単位蓄積手段を備え、前記制御手段は、前記変調光の変調周期毎に異なる付加時間を出力する付加時間出力手段を備え、前記変調周期毎に前記付加時間を付加することにより、前記照射する変調光の変調周期を当該変調周期の1周期毎に変化させ、前記各測距単位蓄積手段への電荷の蓄積期間を全周期同じとなるよう制御することを特徴とする距離画像生成装置を提供する。
【0011】
また、撮影空間に変調光を照射する光源と、前記光源から照射され前記撮影空間内の対象物で反射した反射光を含む入射光を受光して電荷に変換する複数の光電変換素子と、前記光電変換素子毎に設けられた前記電荷を蓄積する複数の単位蓄積手段と、前記複数の単位蓄積手段のうち、予め定めた測距に用いる単位蓄積手段に蓄積された電荷を用いて距離値を算出する距離画像算出手段と、を備える距離画像生成装置における、距離画像生成方法であって、前記変調光の変調周期毎に付加する付加時間を生成する付加時間生成ステップと、前記変調周期毎に、前記変調周期に前記付加時間を付加して前記変調光の変調周期を変化させるとともに、前記付加時間中に受光した入射光を変換して得た電荷を廃棄用の単位蓄積手段に蓄積し、当該付加時間以外の予め定めた期間に取得した電荷を、予め定めた複数の電荷蓄積用の単位蓄積手段にそれぞれ蓄積する同期制御ステップと、所定の時間間隔で前記電荷蓄積用の単位蓄積手段に蓄積された電荷を読み出し、距離画像の各画素値である距離値を算出する距離値算出ステップと、を備えることを特徴とする距離画像生成方法を提供する。
【発明の効果】
【0012】
本発明によれば、光飛行型距離画像生成装置によって撮影空間の距離画像生成する際、同一撮影空間内に同時期に複数の光飛行型距離画像生成装置が存在する場合であっても、精度良く測距ができる。
【図面の簡単な説明】
【0013】
【図1】(a)は、一般の距離画像生成装置のブロック図であり、(b)は、一般の距離画像生成装置の撮像素子のブロック図である。
【図2】一般の距離画像生成装置の制御信号のタイミングチャートである。
【図3】(a)は、本発明の実施形態の距離画像生成装置のブロック図であり、(b)は、本発明の実施形態の距離画像生成装置の撮像素子のブロック図である。
【図4】本発明の実施形態の距離画像生成装置の制御信号のタイミングチャートである。
【図5】本発明の実施形態の距離画像生成装置により干渉が防止されることを説明するための説明図である。
【図6】本発明の実施形態の距離画像生成装置の他の例の制御信号のタイミングチャートである。
【図7】本発明の実施形態の距離画像生成装置の他の例の制御信号のタイミングチャートである。
【図8】(a)は、本発明の実施形態の付加時間データベースを説明するための説明図であり、(b)は、本発明の実施形態のパターン生成回路により生成されるパターンを説明するための説明図である。
【図9】本発明の実施形態のランダム付加時間データベースを説明するための説明図である。
【図10】(a)は、付加時間Twを0にした場合の変調光の周波数スペクトラムのグラフであり、(b)は、本発明の実施形態の、周波数拡散を行う場合の変調光の周波数スペクトラムのグラフである。
【発明を実施するための形態】
【0014】
以下、本発明を適用する実施形態について説明する。以下、本発明の実施形態を説明するための全図において、同一機能を有するものは同一符号を付し、その繰り返しの説明は省略する。
【0015】
本実施形態の光飛行時間型距離画像生成装置(以下、距離画像生成装置と呼ぶ。)の構成の説明に先立ち、一般の電荷振り分け式の光飛行時間型センサを用いた距離画像生成装置101の構成および距離画像生成の原理について説明する。
【0016】
光飛行時間型距離画像センサは、1個の撮像素子を1画素として構成したセンサである。この光飛行時間型距離画像センサを用いた距離画像生成装置101は、対象物体200へ照射した光の反射光を受光することにより光飛行時間計測法(TOF:Time of flight)を用いて光飛行時間を測定し、当該光飛行時間に基づいて当該対象物体200までの距離を測定することにより距離画像を生成する。
【0017】
電荷振り分け方式とは、後述するように、2つ以上の電荷蓄積容量を1つの光電変換素子に接続し、例えば、周期的に発光(ON/OFF)を繰り返すパルス光(以下、本明細書では、パルス光を「変調光」と呼ぶ。)を、その変調周期や発光時間に同期させて2つ以上の電荷蓄積容量に分離蓄積し、これらの電荷に基づいて距離を算出する方式である。この電荷振り分け方式では、距離値の算出にあたり、一定時間毎に分離蓄積した電荷を読み出して平均化することにより信号雑音比を高める。従って、この電荷振り分け方式の光飛行時間型距離画像センサは、未知の背景光下で使用することができる。
【0018】
図1(a)は、この距離画像生成装置101のブロック図である。本図に示すように、距離画像生成装置100は、光源110と、受光部120と、距離画像生成部130と、制御部140と、を備える。
【0019】
光源110は、撮影空間に変調光151を照射する。光源110には、LED、レーザ等の高速変調(高速点滅)が可能なデバイスが用いられる。
【0020】
受光部120は、入射光152を受光し、電荷に変換する。受光部120は、図1(a)に示すように、距離画像生成部130が生成する距離画像の各画素に対応する複数の撮像素子121を備える。複数の撮像素子121は、距離画像生成部130が生成する距離画像の各画素に対応づけて規則的に配列される。図1(a)には、4×4の場合を例示する。
【0021】
なお、受光部120に入射する入射光152は、光源110から照射された変調光151が撮影空間内の物体200により反射されることに由来する反射光と、自然光などの外部光源からの光が対象物体200に反射されることに由来する背景光との総和である。
【0022】
この光飛行時間型距離センサは、上述のように電荷振り分け方式を採用する。このため、各撮像素子121は、図1(b)に示すように、光電変換素子122と、電荷蓄積部123と、を備える。光電変換素子122は、入射光152を受光し、受光量に応じた電荷に変換する。電荷蓄積部123は、光電変換素子122で変換された電荷を蓄積する複数の単位蓄積部124を備える。
【0023】
光電変換素子122で変換された電荷は、制御部140からの指示に従って、それぞれの単位蓄積部124に振り分けられ、蓄積される。各単位蓄積部124への電荷の振り分けは、変調光151の変調周期に同期して行われる。各単位蓄積部124に蓄積された電荷は、制御部140からの指示に従って読み出され、距離画像生成部130へ出力される。読み出しは、所定の時間間隔で行われる。
【0024】
なお、単位蓄積部124は、電荷蓄積部123毎に、2以上設けられる。後述するように、単位蓄積部124に蓄積された電荷を用いて距離画像を生成する際、変調光151と入射光152との位相差(遅延時間)を用いる。この遅延時間を算出するためには、一定の間隔で取得開始を遅延させ、異なる位相で取得した、2以上の電荷情報が必要となるためである。
【0025】
距離画像生成部130は、変調光151と入射光152との遅延時間(位相差)を用いて、画素毎の対象物200の距離を算出する。算出の詳細は後述する。距離画像の算出は、制御部140の指示に従って、単位蓄積部124から電荷が読み出される毎に行われる。距離画像は、各画素位置に対応する撮影空間の距離値を算出することにより生成する。生成した距離画像は、例えば、外部出力端子(不図示)から出力される。
【0026】
制御部140は、光源110と受光部120とを同期制御する。制御部140は、光源110の変調(発光)、受光部120での各単位蓄積部124への電荷の振り分けおよび各単位蓄積部124からの電荷の読出しを指示する制御信号をそれぞれ出力し、この同期制御を実現する。以下、光源110の発光を制御する制御信号を発光信号TE、受光部120の各単位蓄積部124への電荷の振り分けを制御する制御信号をゲート信号TX、各単位蓄積部124からの読出しタイミングを制御する制御信号を読出信号とそれぞれ呼ぶ。
【0027】
次に、制御部140が、光源110、受光部120それぞれに出力する制御信号のタイミングと、距離画像生成の原理について説明する。ここでは、単位蓄積部124が4つの場合を例示する。横軸は時間、縦軸は、各信号等のON/OFFを示す。
【0028】
図2は、制御部140が光源110および受光部120に出力する制御信号のタイミングチャートである。ここでは、発光信号TEが矩形波であり、変調光151が矩形波で変調されてパルス発光する場合を例にあげて説明する。なお、変調に用いる波形は、矩形波に限られない。正弦波、鋸波、等であってもよい。
【0029】
最上段が発光信号TEのタイミングチャートである。発光信号TEは、周期がTs、ON時間がTs/2、OFF時間がTs/2の矩形波として出力される。光源110は、発光信号TEに従って、ON(発光)/OFF(発光停止)を繰り返す。ここでは、光源110は、発光信号TEがONのTs/2間、発光し、発光信号TEがOFFのTs/2間、発光を停止する。
【0030】
ここで、次段に、受光部120による変調光151の反射光の受光タイミングを示す。本図に示すように、反射光は時間Tdだけ遅れて、受光部120に到達する。この時間Tdが、変調光151が光源110から照射されて、対象物体200により反射され、受光部120で受光されるまので飛行時間により生じる遅延(位相差)である。以後、遅延時間Tdと呼ぶ。
【0031】
下段は、4つの単位蓄積部124それぞれに電荷を蓄積するタイミングを指示する4つのゲート信号TX1、TX2、TX3、TX4のタイミングチャートである。
【0032】
これらのゲート信号TX1、TX2、TX3、TX4は、発光信号TEに同期して出力される。発光信号TEの周期Tsを4等分した時間を、それぞれ順にT1、T2、T3、T4とすると、ゲート信号TX1は、発光信号TEとON/OFFタイミングを同期させた信号として、また、ゲート信号TX2、TX3、TX4は、それぞれ、ゲート信号TX1から、T1、T1+T2、T1+T2+T3ずれた、周期Tsの信号として出力される。ゲート信号TX2、TX3、TX4も、1周期Ts毎に、Ts/2間、ONとなり、Ts/2間、OFFとなる。
【0033】
このように、発光信号TEの周期Tsを4等分した時間ずつずらしたゲート信号TX1、TX2、TX3、TX4に従って、電荷を振り分けることにより、0度位相がずれた電荷情報C1、90度位相がずれた電荷情報C2、180度位相がずれた電荷情報C3、270度位相がずれた電荷情報C4が、4つの単位蓄積部124それぞれに蓄積される。
【0034】
なお、読出信号は、ここでは、図示しないが、予め定めた時間間隔で出力される。一般に、1つの距離画像を得るためには、数ms程度の時間の電荷の蓄積が必要である。一方、光源110の変調周波数は数十MHzである。従って、変調の1周期Tsは数十ns程度である。このため、距離画像を得るためには、数百〜数十万周期の電荷蓄積期間Δtを要する。読出信号は、この電荷蓄積期間Δt間隔毎に出力される。読出信号に従って、受光部120は、4つの単位蓄積部124に蓄積された各電荷量C1、C2、C3、C4を距離画像生成部130に出力する。
【0035】
距離画像生成部130は、電荷蓄積期間Δt毎に受け取った各電荷量C1、C2、C3、C4を用いて距離値Dを算出する。上述のように、変調光151と入射光152とには、光が物体200まで往復する飛行時間による遅延時間Td(位相差φ)が生じる。光の速度cは既知であるため、この遅延時間Tdと周期Tsとを用い、対象物までの距離値Dは、以下の式(1)で求めることができる。
【数1】
【0036】
遅延時間Td(位相差φ)は、各単位蓄積部124に蓄積される電荷量C1、C2、C3、C4を用い、以下の式(2)で表される。
【数2】
【0037】
このとき、入射光152の中の変調光151由来の成分、すなわち、反射光による電荷は、各単位蓄積部124に、位相(遅延時間)に応じた量が割り振られる。従って、各単位蓄積部124で蓄積される電荷の量が異なる。一方、入射光152の中の背景光による電荷は、各単位蓄積部124に均等に割り振られる。従って、各単位蓄積部124に蓄積される電荷の量は略等しくなる。従って、上記式により背景光は相殺され、反射光のみの位相差を得ることができる。
【0038】
ゲート信号TX1、TX2、TX3、TX4に従って取得する4つの電荷は、同時に取得してもよいし、複数のフレームにわたって取得してもよい。なお、少なくとも2つの、異なる位相の電荷情報から距離を算出していれば、何等分であってもよい。
【0039】
なお、対象物体200で反射された変調光151の変調光成分の振幅量Bは、以下の式(3)で求められる。
【数3】
【0040】
また、一般に輝度画像の画素値として用いられるのは、以下の式(4)に従って、4つの電荷蓄積部123に振り分けられた電荷の平均値Aである。
【数4】
【0041】
このように、距離画像生成装置101は、距離画像と輝度画像とを同時に得ることができる。
【0042】
次に、本実施形態の距離画像生成装置100について説明する。図3(a)は、本実施形態の距離画像生成装置100の機能ブロック図である。本実施形態の距離画像生成装置100は、基本的に距離画像生成装置101と同様の構成を有する。すなわち、光源110と、受光部120と、距離画像生成部130と、制御部140とを備える。
【0043】
本実施形態の受光部120も、複数の撮像素子121を備える。各撮像素子121は、距離画像生成部130が生成する距離画像の各画素に対応づけて規則的に配列される。距離画像生成部130は、撮像素子121数の画素数を有する距離画像を生成する。
【0044】
本実施形態の撮像素子121も、図3(b)に示すように、距離画像生成装置101の撮像素子121同様、入射光152を電荷に変換する光電変換素子122と、複数の単位蓄積部124を備え、電荷を蓄積する電荷蓄積部123と、を備える。
【0045】
これらの各部は、従来の距離画像生成装置101の同名の構成と基本的に同様の機能を有する。
【0046】
ただし、本実施形態の距離画像生成装置100は、同一空間内に同時期に複数の光飛行型距離センサを用いる距離画像生成装置が存在する場合であっても、干渉することなく高精度の測距を行う。本実施形態の距離画像生成装置100は、光源110から照射する変調光151の発光(ON)期間と、電荷蓄積部123の各単位蓄積部124における電荷の蓄積タイミングおよび期間とは、従来同様一定としながら、変調周期毎に、すなわち、光源110の発光毎に、周期の長さを変化させる。周期の長さは、予め定めた固定の変調周期Tsに、周期毎に異なる付加時間Twを付加することにより変化させる。
【0047】
これを実現するため、本実施形態の距離画像生成装置100の制御部140は、周期毎に異なる付加時間Twを出力する付加時間出力部144を備える。また、本実施形態の制御部140は、この付加時間Twを用いて光源110の発光(ON/OFF)を制御する発光信号を生成する発光制御部141と、付加時間Twを用いて受光部120の電荷蓄積部123での電荷の蓄積を制御するゲート信号を生成する蓄積制御部142と、各単位蓄積部124からの読出しを制御する読出制御部143と、をさらに備える。
【0048】
なお、本実施形態の電荷蓄積部123が備える複数の単位蓄積部124は、蓄積された電荷が距離画像生成部130における距離画像の生成に用いられる測距単位蓄積部125と、蓄積された電荷が距離画像生成には用いられず廃棄される廃棄単位蓄積部126として用いられる。本図では、測距単位蓄積部125が4つ、廃棄単位蓄積部126が1つの場合を例示する。
【0049】
4つの測距単位蓄積部125には、従来の距離画像生成装置101の単位蓄積部124同様、それぞれ異なる位相の電荷情報が蓄積される。すなわち、発光信号TEの周期Tsを4等分した時間ずつずらしたゲート信号TX1、TX2、TX3、TX4に従って、0度位相がずれた電荷情報C1、90度位相がずれた電荷情報C2、180度位相がずれた電荷情報C3、270度位相がずれた電荷情報C4が、4つの測距単位蓄積部125それぞれに蓄積される。
【0050】
距離画像生成部130は、測距単位蓄積部125に蓄積された各電荷情報を用い、上記従来の距離画像生成装置101で説明した手法で距離値を算出する。距離値Dを算出するためには、この位相が異なる電荷情報が、2以上あればよい。また、この2以上の電荷情報は、同時に取得してもよいし、複数のフレームに渡って取得してもよい。従って、測距単位蓄積部125の数は、上記距離画像生成装置101同様、2以上であればよく、撮像素子121の構造、仕様により決定される。
【0051】
一方、廃棄単位蓄積部126には、付加時間Twを含む時間に電荷が蓄積される。廃棄単位蓄積部126に蓄積された電荷は、距離の算出には用いない。廃棄単位蓄積部126に蓄積された電荷は、読み出し後、廃棄されるよう構成してもよいし、所定の時間間隔で廃棄されるよう構成してもよい。
【0052】
付加時間出力部144は、付加時間Twを、CPUやマイコンを使い、ソフト的に算出し、発光制御部141、蓄積制御部142、読出制御部143へ出力する。なお、付加時間出力部144は、FPGA(Field Programmable Gate Array)等の回路により実現されてもよい。付加時間Twは、例えば、100ns〜10μs程度の範囲で算出する。
【0053】
以上の構成を有する本実施形態の距離画像生成装置100における、制御部140による制御を、各制御信号の出力タイミングを示すタイミングチャートを用いて説明する。図4は、本実施形態の制御部140による制御信号のタイミングチャートである。ここでは、図2に示す従来例同様、発光信号TEが矩形波であり、変調光151がこの矩形波で変調されてパルス発光する場合を例にあげて説明する。なお、本実施形態においても、変調に用いる波形は、矩形波に限られない。正弦波、鋸波等であってもよい。また、ここでは、図3に示すように、測距単位蓄積部125が4つ、廃棄単位蓄積部126が1つの場合を例にあげて説明する。
【0054】
最上段は、発光信号TEのタイミングチャートである。本図に示すように、本実施形態の発光制御部141は、付加時間出力部144から付加時間Twを受信すると、周期TsのON/OFF信号である発光信号のOFF信号に受信した付加時間Twを付加し、発光信号TEとして出力する。すなわち、発光信号TEは、周期が(Ts+Tw)、ON期間はTs/2、OFF期間はTs/2+Twの制御信号である。以下、Tsを設定周期、(Ts+Tw)を実効周期と呼ぶ。
【0055】
この発光信号TEに従って、本実施形態の光源110は、実効周期(Ts+Tw)毎に、Ts/2間発光(ON)し、(Ts/2+Tw)間発光を停止(OFF)する。発光期間は周期に寄らず一定であり、発光停止期間は、周期毎に変化する。付加時間Twの間は、光源110は変調光151を照射しない。
【0056】
ここで、次段に、変調光151の反射光の受光部120による受光タイミングを示す。本図に示すように、本実施形態においても反射光は遅延時間Tdだけ遅れて受光部120に到達する。この遅延時間Tdが、変調光151が光源110から照射されて対象物体200による反射され、受光部120で受光されるまでの飛行時間により生じる遅延である。
【0057】
下段は、4つの測距単位蓄積部125それぞれに電荷を蓄積するタイミングを指示する4つのゲート信号TX1、TX2、TX3、TX4と、廃棄単位蓄積部126に電荷を蓄積するタイミングを指示する廃棄ゲート信号TX5と、を示す。
【0058】
本図に示すように、本実施形態の蓄積制御部142は、上記従来例同様、発光信号TEに同期して、これらのゲート信号TX1、TX2、TX3、TX4、TX5を出力する。
【0059】
測距単位蓄積部125に対するゲート信号TX1、TX2、TX3、TX4については、上記従来例と同様とする。すなわち、設定周期Tsを4等分した時間を順にそれぞれT1、T2、T3、T4とすると、TX1は、発光信号TEがONとなるタイミングからTs/2間ONとなるよう出力され、TX2、TX3、TX4は、T1、T1+T2、T1+T2+T3ずつ順に発光信号TEがONとなるタイミングから遅延させた時間からTs/2間ONとなるよう出力される。これらは、全周期にわたり、付加時間Twによらず、同じとする。これらのゲート信号TX1、TX2、TX3、TX4により、全周期にわたり、各測距単位蓄積部125に、従来同様、4つの異なる位相の電荷情報(0度、90度、180度、270度)C1、C2、C3、C4が蓄積される。
【0060】
廃棄ゲート信号TX5は、他のゲート信号同様、その周期が(Ts+Tw)の信号として生成され、出力される。ただし、廃棄ゲート信号TX5は、1周期(Ts+Tw)の中で、測距単位蓄積部125のいずれのゲート信号TX1、TX2、TX3、TX4もONでない期間、ONとなるよう生成され、出力される。廃棄単位蓄積部126には、付加時間Twの期間を含み、いずれの測距単位蓄積部125にも電荷が蓄積されない期間、電荷が蓄積される。ここでは、ゲート信号TX5は、付加時間Tw間ONとなるよう生成されて出力される。そして、廃棄単位蓄積部126には、その間、電荷が蓄積される。
【0061】
読出信号については、ここでは、図示しないが、従来例同様、予め定められた時間間隔Δtで出力される。時間間隔Δtは、1つの距離画像を得るために必要な電荷が蓄積される間隔であり、予め定められる。読出信号に従って、受光部120は、4つの単位蓄積部124に蓄積された各電荷量C1、C2、C3、C4を距離画像生成部130に出力する。
【0062】
距離画像生成部130は、電荷蓄積期間Δt毎に受け取った各電荷量C1、C2、C3、C4を用いて、従来例同様、式(1)および式(2)を用い、距離値Dを算出する。
【0063】
以上のように構成された距離画像生成装置100が、同一撮影空間の他の距離画像生成装置との干渉が防止されることを説明する。図5は、干渉が防止されることを説明するための図である。ここでは、2つの距離画像生成装置AおよびBの、TsとTwとによる実効周期と、光源110の発光タイミングと、を示す。
【0064】
距離画像生成装置AおよびBの光源110が、同一空間を照射する場合、距離画像生成装置Aから照射される変調光151が距離画像生成装置Bにも入射する。しかし、本図に示すように、距離画像生成装置Aの変調光151の発光タイミングは、距離画像生成装置Bの発光タイミングとずれているため、距離画像生成装置Bの受光部120における電荷蓄積タイミングと同期せず、干渉は起こらない。
【0065】
上述のように、1つの距離画像を得るためには、数ms(10−3秒)程度、光を蓄積する必要がある。これに対し、変調光の周期Tsは数十ns〜100ns(10−9秒)程度である。従って、数千から数万周期分蓄積後、読み出し部により読み出され、距離値が算出される。このため、従って、同期していない他の距離画像生成装置の変調光151は、数千から数万回の繰返しによって、ノイズ(DC光)とみなされ、上述のように、相殺される。
【0066】
このため、本実施形態によれば、同一撮像空間に、複数の距離画像生成装置がある場合であっても、互いに干渉することなく、誤測距を避けることができる。
【0067】
なお、本実施形態の距離画像生成装置100は、CPUとメモリと記憶装置とを備え、記憶装置に格納されたプログラムを実行することにより、画像生成部130および制御部140の機能を実現する。
【0068】
以上説明したように、本実施形態の距離画像生成装置100は、撮影空間に変調光を照射する光源110と、前記光源から照射され前記撮影空間内の対象物で反射した反射光を含む入射光を受光して電荷に変換する複数の撮像素子121を備える受光手段(受光部120)と、前記電荷を用いて画素値が距離値であり画素数が前記撮像素子数である距離画像を生成する距離画像生成手段(距離画像生成部130)と、前記変調光の変調周期と前記受光手段における電荷の蓄積とを制御する制御手段(制御部140)と、を備え、前記複数の撮像素子121は、それぞれ、受光した入射光を電荷に変換する光電変換素子122と、前記光電変換素子ごとに設けられた、前記電荷を蓄積する電荷蓄積手段(電荷蓄積部123)と、を備え、前記電荷蓄積手段(電荷蓄積部123)は、前記距離画像生成部が距離値算出に用いる電荷を蓄積する複数の測距単位蓄積手段(測距単位蓄積部125)を備え、前記制御手段(制御部140)は、前記変調光の変調周期毎に異なる付加時間を出力する付加時間出力手段(付加時間出力部144)を備え、前記変調周期毎に異なる前記付加時間を付加することにより、前記照射する変調光の変調周期を当該変調周期の1周期毎に変化させ、前記測距単位蓄積手段(測距単位蓄積部125)への電荷の蓄積期間を全周期同じとなるよう制御することを特徴とする。
【0069】
前記変調光は、発光と発光停止とを繰り返すパルス光であり、前記電荷蓄積手段(電荷蓄積部123)は、廃棄する電荷を蓄積する1の廃棄単位蓄積手段(廃棄単位蓄積部126)をさらに備え、前記制御手段(制御部140)は、前記付加時間を前記変調光の発光停止期間に付加することにより前記変調光の変調周期を変化させる発光制御手段(発光制御部141)と、前記付加時間に受光した入射光から得た電荷を前記廃棄単位蓄積手段に蓄積するよう制御する蓄積制御手段(蓄積制御部142)と、を備える。
【0070】
このように、本実施形態では、発光期間は周期によらず一定であるが、発光停止期間を周期毎に変化させ、全体として発光周期をランダムにする。一方、距離値の算出に用いる測距単位蓄積部125への電荷蓄積期間は周期毎に一定とする。
【0071】
すなわち、本実施形態では、光源110から照射される変調光151の発光期間、および、受光部120の測距単位蓄積部125の電荷蓄積期間は、従来の光飛行時間型距離センサを用いた距離画像生成装置のそれらと同じである。このため、従来と同様の距離演算により、高い精度で光源110からの変調光の反射光を用いた距離値を得ることができる。また、光源110の発光時間が短くなり、算出される距離値の精度が低下することもない。
【0072】
さらに、ランダムな周期は、1周期毎に異なる付加時間Twを付加することにより実現する。この付加時間Twは、100ns〜数μsであり、1つの画像を取得するために要する蓄積時間(数ms)に比べ、十分小さい。このため、付加時間Twを付加することにより、フレームレートが極端に低下することはない。
【0073】
一方、本実施形態では、変調光151の変調周期を、周期毎に変更し、ランダムにしている。従って、同一撮像空間にある他の距離画像生成装置の変調光と同期する可能性は極めて低くなる。従って、距離画像生成装置間の干渉による誤測距の可能性も抑えることができる。
【0074】
従って、本実施形態によれば、距離画像生成装置によって撮影空間の距離画像生成する際、同一撮影空間内に同時期に複数の距離画像生成装置が存在する場合であっても、複雑な処理を行うことなく、精度良く測距を行うことができる。
【0075】
なお、上記実施形態では、単位蓄積部124を5つ備え、その中の4つを測距単位蓄積部125とし、1つを廃棄単位蓄積部126とする場合を例にあげて説明したが、電荷蓄積部123の単位蓄積部124の数はこれに限られない。単位蓄積部124の数は2以上であれば、がいくつであってもよい。単位蓄積部124の数によらず、その中の1つの単位蓄積部124を、廃棄する電荷の蓄積用の廃棄単位蓄積部126とし、残りを測距単位蓄積部125とする。そして、測距単位蓄積部125には、発光および電荷の蓄積に付加時間Twを付加しない場合と同様に電荷を蓄積するよう制御することにより、同様の効果を得ることができる。
【0076】
例えば、単位蓄積部124が3つであり、その中の2つを測距単位蓄積部125とし、残りの1つを廃棄単位蓄積部126としてもよい。この場合の制御部140により出力される制御信号のタイミングチャートの一例を図6に示す。
【0077】
この場合、発光制御部141による発光信号TEは上記実施形態と同様である。すなわち、予め定めた周期Tsに付加時間Twを付加し、周期(Ts+Tw)の信号として出力される。このとき、(Ts+Tw)時間毎に、変調光151を、Ts/2間ON、Ts/2+Tw間OFFする信号として生成される。
【0078】
一方、蓄積制御部142は、2つの測距単位蓄積部125の電荷の蓄積タイミングを指示する2つのゲート信号TX1とTX2と、廃棄単位蓄積部126への蓄積を指示する廃棄ゲート信号TX5とを生成し、出力する。
【0079】
ゲート信号TX1とTX2とは、周期を実効周期(Ts+Tw)、ON期間をTs/2とし、ONのタイミングを、例えば、設定周期Tsを2等分した時間、ずらした信号として生成する。ここでは、ゲート信号TX1を発光信号TEと同期させた信号とし、ゲート信号TX2を、ON開始タイミングを発光信号TEおよびゲート信号TX1からTs/2だけずらした信号とする場合を例示する。この場合も、ゲート信号TX1およびTX2の、設定周期Ts内のON期間は、全周期にわたり、同じとする。
【0080】
また、廃棄ゲート信号TX5は、周期を実効周期(Ts+Tw)とし、ゲート信号TX1およびTX2のいずれの信号もONでない期間ONとなるよう生成する。ここでは、Tw間、ONとなる信号として生成する。
【0081】
これにより、2つの測距単位蓄積部125には、2つの開始タイミングが異なる電荷情報、すなわち、周期Tsを2等分した時間だけ蓄積開始時間がずれた電荷情報であるC1およびC2がそれぞれ蓄積され、廃棄単位蓄積部126には、付加時間Tw分の電荷が蓄積される。距離画像生成部130は、この電荷C1およびC2を用い、その比から遅延時間Tdを算出し、それを用いて距離値Dを算出する。
【0082】
また、単位蓄積部124は、2つであってもよい。単位蓄積部124が2つであり、一方を測距単位蓄積部125とし、他方を廃棄単位蓄積部126とする場合の、制御部140により出力される各制御信号のタイミングチャートの一例を図7に示す。
【0083】
この場合、発光信号TEは、上記実施形態と同様である。すなわち、予め定めた周期Tsに付加時間Twを付加し、周期(Ts+Tw)の信号として出力される。このとき、(Ts+Tw)時間毎に、変調光151を、Ts/2間ON、Ts/2+Tw間OFFする信号として生成される。
【0084】
一方、蓄積制御部142が生成するゲート信号のうち、測距単位蓄積部125の制御信号となるゲート信号は、周期が(Ts+Tw)、ON期間がTs/2の信号として出力される。また、廃棄ゲート信号は、周期が(Ts+Tw)、ON期間が(Ts/2+Tw)の信号として出力される。廃棄ゲート信号のON期間は、測距単位蓄積部125用のゲート信号がOFFの期間、ONとなるよう設定される。この場合も、ゲート信号TX1の設定周期Ts内のON期間は、全周期にわたり、同じとする。
【0085】
この場合、測距に必要な、一定の間隔で遅延させて取得する電荷情報は、1周期あたり、1つしか取得できない。このため、単位蓄積部124が2つの場合は、複数のフレームを用い、距離値算出に必要な、取得タイミングの異なる電荷情報を取得する。例えば、上記実施形態のように、異なる4つの電荷情報を用いて距離値Dを算出する場合、4フレームを用いて、位相の異なる電荷情報を取得する。また、図6を用いて説明したように、取得タイミングが異なる2つの電荷量を用いて距離値Dを算出する場合、2フレームを用いて、周期Tsを2等分した時間ずつ蓄積開始時間をずらした電荷情報を取得する。
【0086】
また、上記実施形態では、付加時間Twを生成する付加時間出力部144は、特に限定されていない。CPUやマイコンでソフト的に実現、FPGAなどを用いて回路的に実現される場合を例にあげて説明したが、付加時間出力部144の構成は、これに限られない。周期毎に、異なる付加時間Twが生成可能であれば、どのような手段で構成されていてもよい。
【0087】
付加時間出力部144は、例えば、ランダム時間生成回路により実現されていてもよい。ランダム時間生成回路は、例えば、擬似乱数生成回路などを用いて構成する。この擬似乱数生成回路を用い、付加時間Twを、100nsから10μs程度の範囲で生成する。
【0088】
また、付加時間出力部144は、例えば、パターン生成回路により構成されていてもよい。パターン生成回路は、出力順をパターンとして生成する回路である。この場合、予め、所定数の付加時間Twを生成し、付加時間データベースとして保持しておく。保持しておく付加時間Twは、例えば、1〜1000の1000個程度とする。パターン生成回路が生成したパターン(順序)に従って、付加時間出力部144は、付加時間データベースから抽出し、付加時間Twとして出力する。
【0089】
付加時間データベース301の一例を図8(a)に示す。また、パターン生成回路が生成するパターン302の例を図8(b)に示す。付加時間出力部144は、1周期毎に、パターン生成回路が生成したパターン302の番号(No.)に対応する付加時間Twを、付加時間データベース301から順に抽出し、付加時間Twとして出力する。
【0090】
また、付加時間出力部144は、予めランダムに生成した付加時間Twを、ランダム付加時間データベース311として登録しておき、それを、周期毎に順に出力するよう構成してもよい。このとき、ランダム付加時間データベース311として登録される付加時間Twの例を図9に示す。付加時間出力部144は、1周期毎に、ランダム付加時間データベース311から順に付加時間Twを抽出し、付加時間Twとして出力する。
【0091】
予め、ランダムに付加時間を生成し、データベースに登録しておくことにより、ランダム時間を生成する回路、パターンを生成する回路が不要となる。従って、構成がシンプルとなり、処理時間も短縮できる。
【0092】
また、予めランダム付加時間データベース311として登録しておくことにより、干渉が起こり易いTwの設定となる可能性をさらに低下させることができる。
【0093】
さらに、付加時間出力部144は、変調光151の変調周波数分布が一定になるよう制御する周波数拡散制御回路により実現されていてもよい。
【0094】
図10(a)は、付加時間Twを0にした場合の光源110から照射される変調光151の周波数スペクトラムである。図10(a)において、横軸は周波数〔Hz〕、縦軸はスペクトラム強度〔dB〕である。例えば、図2のタイミングチャートに示すように、付加時間Twが0の場合、すなわち、変調光151の変調が一定、光源110の発光が周期的である場合、その周期をTsとすると、周波数スペクトラムは、1/Tsの周波数に急峻なピークを持つ。例えば、付加時間Twが一定の場合、光源の発光周期は(Ts+Tw)となるため、1/(Ts+Tw)の周波数にピークを持つ。
【0095】
図10(b)は、周波数拡散を行った場合の、光源110から照射される変調光151の周波数スペクトラムである。図10(b)において、横軸は周波数〔Hz〕、縦軸はスペクトラム強度〔dB〕である。周期Tsに付加時間Twを追加することにより、周波数1/Tsより低周波数側に周波数スペクトラムのピークが移動する。
【0096】
本実施形態の変形例の周波数拡散制御回路は、スペクトラム拡散単位時間を設定し、このスペクトラム拡散単位時間毎に図8に示す周波数スペクトラムを満足するよう、付加時間Twを決定し、出力する。スペクトラム拡散単位時間は、光蓄積時間より十分短い時間を設定する。
【符号の説明】
【0097】
100:距離画像生成装置、101:距離画像生成装置、101:距離画像生成装置、110:光源、120:受光部、121:撮像素子、122:光電変換素子、123:電荷蓄積部、124:単位蓄積部、125:測距単位蓄積部、126:廃棄単位蓄積部、130:距離画像生成部、140:制御部、141:発光制御部、142:蓄積制御部、143:読出制御部、144:付加時間出力部、151:変調光、152:入射光、200:対象物体、200:物体、301:付加時間データベース、302:パターン、311:ランダム付加時間データベース
【特許請求の範囲】
【請求項1】
撮影空間に変調光を照射する光源と、前記光源から照射され前記撮影空間内の対象物で反射した反射光を含む入射光を受光して電荷に変換する複数の撮像素子を備える受光手段と、前記電荷を用いて画素値が距離値であり画素数が前記撮像素子数である距離画像を生成する距離画像生成手段と、前記変調光の変調周期と前記受光手段における電荷の蓄積とを制御する制御手段と、を備える距離画像生成装置であって、
前記複数の撮像素子は、それぞれ、
受光した入射光を電荷に変換する光電変換素子と、
前記光電変換素子ごとに設けられた、前記電荷を蓄積する電荷蓄積手段と、を備え、
前記電荷蓄積手段は、前記距離画像生成部が距離値算出に用いる電荷を蓄積する複数の測距単位蓄積手段を備え、
前記制御手段は、前記変調光の変調周期毎に異なる付加時間を出力する付加時間出力手段を備え、前記変調周期毎に前記付加時間を付加することにより、前記照射する変調光の変調周期を当該変調周期の1周期毎に変化させ、前記各測距単位蓄積手段への電荷の蓄積期間を全周期同じとなるよう制御すること
を特徴とする距離画像生成装置。
【請求項2】
請求項1記載の距離画像生成装置であって、
前記変調光は、発光と発光停止とを繰り返すパルス光であり、
前記電荷蓄積手段は、廃棄する電荷を蓄積する1の廃棄単位蓄積手段をさらに備え、
前記制御手段は、
前記付加時間を前記変調光の発光停止期間に付加することにより前記変調光の変調周期を変化させる発光制御手段と、
前記付加時間に受光した入射光から得た電荷を前記廃棄単位蓄積手段に蓄積するよう制御する蓄積制御手段と、を備えること
を特徴とする距離画像生成装置。
【請求項3】
請求項1または2記載の距離画像生成装置であって、
前記付加時間出力手段は、前記付加時間をランダムに生成し、出力すること
を特徴とする距離画像生成装置。
【請求項4】
請求項1または2記載の距離画像生成装置であって、
前記付加時間出力手段は、前記付加時間を、複数の異なる付加時間の中から予め定めた順に出力すること
を特徴とする距離画像生成装置。
【請求項5】
請求項1または2記載の距離画像生成装置であって、
前記付加時間出力手段は、複数の異なる付加時間を予め定めた順に記憶する付加時間記憶手段を備え、前記付加時間記憶手段から周期毎に順に出力すること
を特徴とする距離画像生成装置。
【請求項6】
請求項1または2記載の距離画像生成装置であって、
前記付加時間出力手段は、前記変調光の周波数分布が予め定めた単位時間毎に一定となるよう前記付加時間を決定し、出力すること
を特徴とする距離画像生成装置。
【請求項7】
撮影空間に変調光を照射する光源と、前記光源から照射され前記撮影空間内の対象物で反射した反射光を含む入射光を受光して電荷に変換する複数の光電変換素子と、前記光電変換素子毎に設けられた前記電荷を蓄積する複数の単位蓄積手段と、前記複数の単位蓄積手段のうち、予め定めた測距に用いる単位蓄積手段に蓄積された電荷を用いて距離値を算出する距離画像算出手段と、を備える距離画像生成装置における、距離画像生成方法であって、
前記変調光の変調周期毎に付加する付加時間を生成する付加時間生成ステップと、
前記変調周期毎に、前記変調周期に前記付加時間を付加して前記変調光の変調周期を変化させるとともに、前記付加時間中に受光した入射光を変換して得た電荷を廃棄用の単位蓄積手段に蓄積し、当該付加時間以外の予め定めた期間に取得した電荷を、予め定めた複数の電荷蓄積用の単位蓄積手段にそれぞれ蓄積する同期制御ステップと、
所定の時間間隔で前記電荷蓄積用の単位蓄積手段に蓄積された電荷を読み出し、距離画像の各画素値である距離値を算出する距離値算出ステップと、を備えること
を特徴とする距離画像生成方法。
【請求項1】
撮影空間に変調光を照射する光源と、前記光源から照射され前記撮影空間内の対象物で反射した反射光を含む入射光を受光して電荷に変換する複数の撮像素子を備える受光手段と、前記電荷を用いて画素値が距離値であり画素数が前記撮像素子数である距離画像を生成する距離画像生成手段と、前記変調光の変調周期と前記受光手段における電荷の蓄積とを制御する制御手段と、を備える距離画像生成装置であって、
前記複数の撮像素子は、それぞれ、
受光した入射光を電荷に変換する光電変換素子と、
前記光電変換素子ごとに設けられた、前記電荷を蓄積する電荷蓄積手段と、を備え、
前記電荷蓄積手段は、前記距離画像生成部が距離値算出に用いる電荷を蓄積する複数の測距単位蓄積手段を備え、
前記制御手段は、前記変調光の変調周期毎に異なる付加時間を出力する付加時間出力手段を備え、前記変調周期毎に前記付加時間を付加することにより、前記照射する変調光の変調周期を当該変調周期の1周期毎に変化させ、前記各測距単位蓄積手段への電荷の蓄積期間を全周期同じとなるよう制御すること
を特徴とする距離画像生成装置。
【請求項2】
請求項1記載の距離画像生成装置であって、
前記変調光は、発光と発光停止とを繰り返すパルス光であり、
前記電荷蓄積手段は、廃棄する電荷を蓄積する1の廃棄単位蓄積手段をさらに備え、
前記制御手段は、
前記付加時間を前記変調光の発光停止期間に付加することにより前記変調光の変調周期を変化させる発光制御手段と、
前記付加時間に受光した入射光から得た電荷を前記廃棄単位蓄積手段に蓄積するよう制御する蓄積制御手段と、を備えること
を特徴とする距離画像生成装置。
【請求項3】
請求項1または2記載の距離画像生成装置であって、
前記付加時間出力手段は、前記付加時間をランダムに生成し、出力すること
を特徴とする距離画像生成装置。
【請求項4】
請求項1または2記載の距離画像生成装置であって、
前記付加時間出力手段は、前記付加時間を、複数の異なる付加時間の中から予め定めた順に出力すること
を特徴とする距離画像生成装置。
【請求項5】
請求項1または2記載の距離画像生成装置であって、
前記付加時間出力手段は、複数の異なる付加時間を予め定めた順に記憶する付加時間記憶手段を備え、前記付加時間記憶手段から周期毎に順に出力すること
を特徴とする距離画像生成装置。
【請求項6】
請求項1または2記載の距離画像生成装置であって、
前記付加時間出力手段は、前記変調光の周波数分布が予め定めた単位時間毎に一定となるよう前記付加時間を決定し、出力すること
を特徴とする距離画像生成装置。
【請求項7】
撮影空間に変調光を照射する光源と、前記光源から照射され前記撮影空間内の対象物で反射した反射光を含む入射光を受光して電荷に変換する複数の光電変換素子と、前記光電変換素子毎に設けられた前記電荷を蓄積する複数の単位蓄積手段と、前記複数の単位蓄積手段のうち、予め定めた測距に用いる単位蓄積手段に蓄積された電荷を用いて距離値を算出する距離画像算出手段と、を備える距離画像生成装置における、距離画像生成方法であって、
前記変調光の変調周期毎に付加する付加時間を生成する付加時間生成ステップと、
前記変調周期毎に、前記変調周期に前記付加時間を付加して前記変調光の変調周期を変化させるとともに、前記付加時間中に受光した入射光を変換して得た電荷を廃棄用の単位蓄積手段に蓄積し、当該付加時間以外の予め定めた期間に取得した電荷を、予め定めた複数の電荷蓄積用の単位蓄積手段にそれぞれ蓄積する同期制御ステップと、
所定の時間間隔で前記電荷蓄積用の単位蓄積手段に蓄積された電荷を読み出し、距離画像の各画素値である距離値を算出する距離値算出ステップと、を備えること
を特徴とする距離画像生成方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【公開番号】特開2013−76645(P2013−76645A)
【公開日】平成25年4月25日(2013.4.25)
【国際特許分類】
【出願番号】特願2011−217033(P2011−217033)
【出願日】平成23年9月30日(2011.9.30)
【出願人】(000002303)スタンレー電気株式会社 (2,684)
【Fターム(参考)】
【公開日】平成25年4月25日(2013.4.25)
【国際特許分類】
【出願日】平成23年9月30日(2011.9.30)
【出願人】(000002303)スタンレー電気株式会社 (2,684)
【Fターム(参考)】
[ Back to top ]