距離画像生成装置
【課題】光飛行時間型距離画像センサを用いて撮影空間の距離画像生成する際、撮影空間内の状況によらず、距離計測の精度を高める。
【解決手段】距離画像と同タイミングで生成した同撮像空間の照射光強度画像を用い、撮影空間に他の画素の画素値算出に影響を与える程入射光（反射光）強度の強い領域があるか否かを判別する。反射光の強い領域がある場合、その領域への照射と他の領域への照射とを独立して制御する分割照射を行うよう光源を制御する。判別は、照射光強度画像の各画素値を予め定めた閾値と比較することにより行う。
【解決手段】距離画像と同タイミングで生成した同撮像空間の照射光強度画像を用い、撮影空間に他の画素の画素値算出に影響を与える程入射光（反射光）強度の強い領域があるか否かを判別する。反射光の強い領域がある場合、その領域への照射と他の領域への照射とを独立して制御する分割照射を行うよう光源を制御する。判別は、照射光強度画像の各画素値を予め定めた閾値と比較することにより行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、距離画像生成技術に関し、特に、光飛行時間型距離画像センサを用いた距離画像生成技術に関する。
【背景技術】
【０００２】
光飛行時間型距離画像センサを用いて、撮影空間の対象物の、当該センサからの距離を画素値とする距離画像を生成する距離画像生成装置がある。光飛行時間型距離画像センサでは、光源から照射した変調光と、当該変調光の対象物による反射光との位相差を用いて、画素毎に対象物の距離を算出する。位相差は、画素毎に用意された撮像素子でレンズを介して受光した反射光を光量に応じた電荷量に変換し、この電荷量に所定の演算を施すことにより算出される（例えば、特許文献１参照）。
【０００３】
光飛行時間型距離画像センサを用いた距離画像生成装置は、上述のように画素毎に受光した反射光を基に距離値を算出している。しかし、極端に近い距離の対象物が撮影対象空間にある場合、また、極端に反射率の高い物体が撮影対象空間にある場合など、強い反射光がレンズに入射すると、レンズの解像力などの性能によって、本来結像する画素以外の画素に反射光が回り込み、フレアと呼ばれる現象が発生することがある。フレアが発生すると、距離を算出する上での正確な光量が得られず、それに従って算出される距離値も不正確となる。
【０００４】
フレアを減少させるため、光源を分割し、対応する領域毎に照射する手法がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２４１４３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
光源を分割し対応する領域毎に照射すると、各領域では、変調光が照射されない時間（非照射時間）が発生する。各領域において、非照射時間中は周辺光のみの受光となる。周辺光には距離算出に必要な変調光の情報が含まれないため、算出距離の精度を悪化させる。特に日中の屋外での使用時に顕著に悪化する。
【０００７】
さらに、距離算出に必要な変調光成分と周辺光成分との比率が時間に応じて変化する。これにより距離画像のＳＮ比が下がり、得られる距離画像の距離値の精度も悪化する。さらに、分割照射を複数のフレームに渡って行うと、時間的に連続した距離画像が取得できず、フレームレートが低下する。
【０００８】
本発明は、上記事情に鑑みてなされたもので、光飛行時間型距離画像センサを用いて撮影空間の距離画像生成する際、撮影空間内に反射光の強い領域がある場合であっても、フレームレートを維持しながら距離計測の精度を高める技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、変調光の分割照射と、受光した反射光から得た電荷の蓄積とを、同期制御する。
【００１０】
具体的には、撮影空間を２つ以上の単位照射領域に分割して変調光を照射する空間分割照射手段と、前記変調光が前記撮影空間内の対象物で反射した反射光を受光して受光光量に応じた電荷に変換後蓄積する複数の撮像素子と、前記複数の撮像素子それぞれに蓄積された電荷から距離値を画素値とする前記撮影空間の距離画像を生成する距離画像生成手段と、前記空間分割照射手段および前記撮像素子の動作を制御する制御手段と、を備える距離画像生成装置であって、前記撮像素子は、前記撮像素子毎に前記反射光を受光して電荷に変換する光電変換素子と、前記光電変換素子で変換した電荷を蓄積する電荷蓄積手段と、を備え、前記制御手段は、前記空間分割照射手段による前記単位照射領域への照射と、当該単位照射領域からの反射光を受光する前記撮像素子の前記電荷蓄積手段における電荷の蓄積とが同期するよう制御することを特徴とする距離画像生成装置を提供する。
【００１１】
また、撮影空間を２つ以上の単位照射領域に分割して変調光を照射する空間分割照射手段と、前記変調光が前記撮影空間内の対象物で反射した反射光を受光して受光光量に応じた電荷に変換後蓄積する複数の撮像素子と、前記複数の撮像素子それぞれに蓄積された電荷から距離値を画素値とする前記撮影空間の距離画像を生成する距離画像生成手段と、を備える距離画像生成装置における照射および電荷蓄積制御方法であって、前記空間分割照射手段による前記単位照射領域への照射と、当該単位照射領域からの反射光を受光する前記撮像素子における電荷の蓄積と、を同期させる同期制御ステップを備えることを特徴とする照射および電荷蓄積制御方法を提供する。
【発明の効果】
【００１２】
本発明によれば、光飛行時間型距離画像センサを用いて撮影空間の距離画像生成する際、撮影空間内に反射光の強い領域がある場合であっても、フレームレートを維持しながら撮影対象空間全体の物体の距離計測の精度が高まる。
【図面の簡単な説明】
【００１３】
【図１】第一の実施形態の距離画像生成装置のブロック図である。
【図２】第一の実施形態の分割照射部による撮影空間の分割照射の様子を説明するための説明図である。
【図３】第一の実施形態の撮像素子のブロック図である。
【図４】距離画像生成の原理を説明するための説明図である。
【図５】（ａ）は、グローバルシャッタ方式を、（ｂ）は、ローリングシャッタ方式を説明するための説明図である。
【図６】（ａ）は、電荷蓄積期間を最大にした場合の、（ｂ）は、電荷蓄積期間を（ａ）の半分にした場合の、それぞれローリングシャッタ方式による電荷蓄積タイミングを説明するための説明図である。
【図７】第一の実施形態の蓄積制御部および照射制御部による制御を説明するための説明図である。
【図８】第一の実施形態の光源の変形例を説明するための説明図である。
【図９】（ａ）は、第一の実施形態の変形例の分割照射を説明するための説明図であり、（ｂ）は、第一の実施形態の変形例の蓄積制御部および照射制御部による制御を説明するための説明図である。
【図１０】第二の実施形態の距離画像生成装置のブロック図である。
【図１１】（ａ）は、第二の実施形態の分割照射を説明するための説明図であり、（ｂ）は、第二の実施形態の蓄積制御部および照射制御部による制御を説明するための説明図である。
【図１２】第二の実施形態の制御部による照射および電荷蓄積制御のフローチャートである。
【図１３】第二の実施形態の変形例の制御部による照射および電荷蓄積制御のフローチャートである。
【発明を実施するための形態】
【００１４】
＜＜第一の実施形態＞＞
以下、本発明を適用する実施形態について説明する。以下、本発明の実施形態を説明するための全図において、同一機能を有するものは同一符号を付し、その繰り返しの説明は省略する。
【００１５】
まず、本実施形態で用いる距離画像生成装置の構成を説明する。図１は、本実施形態の距離画像生成装置１００のブロック図である。
【００１６】
図１に示すように、距離画像生成装置１００は、照射光と入射光との位相差を用いて距離画像を生成する光飛行時間型距離画像センサを用いるもので、光源１１０と、受光部１２０と、画像生成部１３０と、制御部１４０と、を備える。
【００１７】
光源１１０は、撮影空間に変調した光（例えば、正弦波もしくは矩形波等で高速に変調させた赤外光もしくは可視光；以下、変調光と呼ぶ。）１５１を照射する。光源１１０には、ＬＥＤ、レーザ等の高速変調が可能なデバイスが用いられる。本実施形態の光源１１０は、ＬＥＤ等の発光体がアレイ状に配置されたものとする。ただし、これに限られない。個々の発光体がそれぞれ異なる照射領域を照射可能で、かつ、発光量を独立に制御可能なものであればよい。
【００１８】
本実施形態の光源１１０は、各ＬＥＤからの変調光の照射タイミングを制御することにより、撮影空間２１０を、図２に示すように、空間的に複数の領域（単位照射領域；本図では、２１１、２１２、２１３、２１４の４つの場合を例示する。）に分割して照射する。各単位照射領域に照射するＬＥＤ群を分割照射部１１１と呼ぶ。各分割照射部１１１の照射タイミングは、制御部１４０から出力される照射制御信号により制御される。
【００１９】
受光部１２０は、光源１１０から照射された変調光１５１が撮影空間内の物体２００で反射された反射光を含む入射光１５２を受光し、電荷に変換する。受光部１２０は、図１に示すように、画像生成部１３０が生成する画像の各画素に対応する複数の撮像素子１２１を備える。複数の撮像素子１２１は、画像生成部１３０が生成する距離画像の各画素に対応づけて規則的に配列される。図１には、４×４の場合を例示する。なお、各撮像素子１２１は、主として撮影空間の対応する領域からの入射光１５２を受光する。
【００２０】
各撮像素子１２１は、図３に示すように、光電変換素子１２２と、電荷蓄積部１２３と読出部１２４と、を備える。光電変換素子１２２は、入射光１５２を受光し、受光量に応じた電荷に変換する。電荷蓄積部１２３は、光電変換素子１２２により得られた電荷を蓄積する。電荷蓄積部１２３は、複数の単位蓄積部と振分部とを備える。電荷は、振分部により予め定めた規則に従って、各単位蓄積部に振り分けられ、蓄積される。読出部１２４は、電荷蓄積部１２３に蓄積された電荷を読み出し、画像生成部１３０へ出力する。
【００２１】
なお、単位蓄積部は、電荷蓄積部１２３毎に、少なくとも２以上設けられる。これは、変調光１５１と入射光１５２との位相差を算出するためには、少なくとも２以上の位相情報（単位蓄積部に蓄積された電荷）が必要となるためである。画像生成部１３０では、この位相差を用いて、画素毎の対象物の距離を算出する。
【００２２】
また、電荷蓄積部１２３への電荷の蓄積開始、終了、および読出部１２４からの電荷の読み出しは、制御部１４０からの制御信号により制御される。制御信号には、蓄積された電荷をリセットし、蓄積開始を指示するリセット信号と、蓄積終了を指示するサンプリング信号と、読出部１２４に電荷の読出しを指示する電荷読出信号と、の３種がある。
【００２３】
制御部１４０からリセット信号を受信すると、電荷蓄積部１２３は、電荷のリセットを行い、光電変換素子１２２で受光されて変換された電荷の蓄積を開始する。また、制御部１４０からサンプリング信号を受信すると、電荷蓄積部１２３は、電荷の蓄積を停止する。さらに、制御部１４０から電荷読出信号を受信すると、読出部１２４は、電荷蓄積部１２３に蓄積された電荷を読み出し、画像生成部１３０へ出力する。
【００２４】
なお、本実施形態では、読出部１２４による電荷の読み出しは、横一列の画素群に対応する撮像素子１２１の電荷蓄積部１２３群（Ｖライン）毎に行う。また、電荷蓄積部１２３は、サンプリング容量を備え、読出部１２４による電荷の読出しの前にサンプリング容量に一旦保持するよう構成してもよい。この場合、読出部１２４は、サンプリング容量から、電荷を読み出す。
【００２５】
画像生成部１３０は、受光部１２０が所定期間電荷を蓄積する毎に、蓄積した電荷から、距離値を画素値とする距離画像を生成する距離画像生成部１３１を備える。
【００２６】
距離画像生成部１３１は、各単位蓄積部に振り分けられた電荷量に所定の演算を施し、変調光１５１と入射光１５２との位相差を求め、各画素位置に対応する撮影空間の距離値を算出する。
【００２７】
ここで、距離画像生成の原理を、図４を用いて説明する。光源１１０から出射される変調光１５１の強度が本図のような正弦曲線を描くように変化する場合、受光部１２０への入射光１５２の強度も同様に正弦曲線を描くよう変化する。
【００２８】
ただし、変調光１５１と入射光１５２とには、光が物体２００まで往復する飛行時間による位相の遅延（位相差φ）が生じる。光の速度ｃは既知であるため、この位相差φと変調周波数ｆとを用い、対象物までの距離値Ｄは、以下の式（１）で求めることができる。
【数１】
【００２９】
ここで、変調光１５１と入射光１５２との位相差φは、変調光１５１の１周期を４等分した各期間をＴ１、Ｔ２、Ｔ３、Ｔ４とし、それぞれの期間に蓄積される電荷量をＣ１、Ｃ２、Ｃ３、Ｃ４とすると、以下の式（２）で表される。
【数２】
【００３０】
なお、１周期を４等分した各期間Ｔ１、Ｔ２、Ｔ３、Ｔ４は、例えば、０度から９０度の間、９０度から１８０度の間、１８０度から２７０度の間、２７０度から０度の間とする。
【００３１】
また、光源１１０の変調周波数は数十ＭＨｚである。従って、変調の１周期は数十ｎｓ程度である。このため、距離画像を得るためには、数百〜数十万周期の電荷蓄積期間を要する。本実施形態の距離画像生成部１３１は、この電荷蓄積期間Δｔ間隔で電荷蓄積部に蓄積された各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４を用い、画素毎に、式（２）に従って位相差φを求め、式（１）に従って、対象物までの距離値Ｄを求め、距離値を画素値とする距離画像を生成する。生成した距離画像は、例えば、外部出力端子から出力される。
【００３２】
制御部１４０は、距離画像生成装置１００全体の動作を制御する。本実施形態では、ユーザから処理開始の指示（例えば、電源ＯＮ）を受け付けると、光源１１０から変調光１５１を照射させるとともに受光部１２０で入射光（反射光）１５２を受光させるとともに電荷として蓄積させ、所定の時間ごとに受光した入射光（反射光）１５２から距離画像を生成させる。
【００３３】
このとき、本実施形態の制御部１４０は、光源１１０からの分割照射と受光部１２０における電荷の蓄積とを同期制御する。同期制御とは、単位照射領域毎に、当該単位照射領域への変調光１５１の分割照射と、当該単位照射領域からの入射光１５２を変換した電荷を蓄積する時間とを合致させる制御である。
【００３４】
これを実現するため、本実施形態の制御部１４０は、図１に示すように、照射制御部１４１と蓄積制御部１４２とを備える。
【００３５】
照射制御部１４１は、所定の単位照射領域への照射、非照射を制御する。制御は、予め定めたタイミングで、光源１１０に照射制御信号を送信し、各分割照射部１１１を構成するＬＥＤの照射、非照射を制御することにより行う。光源１１０は、照射制御部１４１が出力する照射制御信号に従って、所定の分割照射部１１１を構成するＬＥＤを発光させ、撮影空間の対応する単位照射領域に変調光１５１を照射する。
【００３６】
蓄積制御部１４２は、予め定めたタイミングで、所定の撮像素子１２１の電荷蓄積部１２３における電荷の蓄積タイミングおよび電荷読み出しタイミングをそれぞれ制御するリセット信号、サンプリング信号、電荷読出信号を出力する。受光部１２０では、蓄積制御部１４２が出力するリセット信号に従って、所定の撮像素子１２１の電荷蓄積部１２３が電荷の蓄積を開始する。電荷の蓄積は、振分部が予め定められた規則に従って各電荷蓄積部１２３の単位蓄積部にそれぞれ振分けながら行われる。本実施形態では、上述のように、変調の１周期を４等分した期間毎に、これらの４つの単位蓄積部に振り分ける。なお、単位蓄積部には、電荷量そのものを蓄積してもよいし、この電荷量をＡＤ変換して得たデータを蓄積してもよい。また、受光部１２０では、蓄積制御部１４２が出力するサンプリング信号に従って、電荷の蓄積を停止する。さらに、受光部１２０では、蓄積制御部１４２が出力する電荷読出信号に従って、読出部１２４が電荷蓄積部１２３の各単位蓄積部から電荷を読み出す。
【００３７】
ここで、受光部１２０における、電荷の蓄積と読み出しの方式について説明する。
【００３８】
光飛行時間型距離画像センサを含む、受光した入射光から画像を作成するセンサを一般にイメージセンサと呼ぶ。このイメージセンサでは、画素毎に用意された光電変換素子で受光した入射光を電荷量に変換し、画素毎に用意された電荷蓄積部に蓄積し、所定のタイミングで読出し、読み出した電荷に演算を施して各画素の画素値を得る。
【００３９】
イメージセンサでは、電荷蓄積部への電荷の蓄積は、電荷蓄積部単位で時間の制約なく行うことができるが、電荷の読み出しは、Ｖラインと呼ばれる横一列の単位で行われる。電荷の蓄積および電荷の読み出し方法には、大きく分けて、グローバルシャッタ方式とローリングシャッタ方式がある。両方式の特徴を、図５を用いて説明する。
【００４０】
図５は、グローバルシャッタ方式とローリングシャッタ方式の読み出し方法の違いを示した図であり、図５（ａ）は、グローバルシャッタ方式の、図５（ｂ）は、ローリングシャッタ方式の、それぞれ読み出し方法を説明するための図である。ここでは、Ｖライン数が１６（Ｌ０〜Ｌ１５）の場合を例にあげて説明する。
【００４１】
グローバルシャッタ方式は、全ての画素（全てのＶライン）の電荷の蓄積を終えた後、Ｖライン毎に電荷の読み出しを行う。このとき、電荷の蓄積は、全Ｖライン、同時に行う。以下、方式の説明においては、Ｖラインに対応する電荷蓄積部１２３のことを、単にＶラインと呼ぶ。また、ｎ番目（ｎは自然数）のフレームの電荷蓄積開始時間をＴｒ＿ｎ、同電荷蓄積終了時間をＴｓ＿ｎと表す。また、ｎ番目（ｎは自然数）のフレームのＶラインＬｋの電荷蓄積開始時間をＴｒ＿ｎ＿ｋ、同電荷蓄積終了時間をＴｓ＿ｎ＿ｋと表す。
【００４２】
グローバルシャッタ方式では、図５（ａ）に示すように、ｎ番目のフレームの電荷を蓄積する際、時刻Ｔｒ＿ｎで全Ｖラインの電荷の蓄積を同時に開始する。その後、時刻Ｔｓ＿ｎで全Ｖラインの電荷の蓄積を終了する。電荷蓄積期間は、Ｔｓ＿ｎからＴｒ＿ｎまでである。時刻Ｔｓ＿ｎにおいて電荷の蓄積を終了すると、ＶラインＬ０から順に、Ｌ１、Ｌ２、・・・と電荷の読み出しを行う。最終のＶラインＬ１５まで読み出しを終えると、次のフレーム（ｎ＋１番目のフレーム）のために、時刻Ｔｒ＿ｎ＋１に全Ｖラインにリセット信号を送信し、電荷の蓄積を開始する。
【００４３】
このように、グローバルシャッタ方式では、全ての画素で、同じタイミングで電荷が蓄積される。このため、画像全体（特に縦方向）で、受光タイミングの時間差が発生しない。また、電荷蓄積期間と電荷読み出し時間とが完全に分離している。従って、電荷蓄積期間を電荷読出し時間とは独立に設定できるため、電荷蓄積期間を任意の長さに設定できる。
【００４４】
しかし、電荷蓄積期間と電荷読み出し時間とが分離しているため、後述のローリングシャッタ方式に比べ、フレームレートが低下する。例えば、電荷蓄積期間を１０ｍｓ、電荷読み出し時間を３０ｍｓとすると、１フレーム分の電荷読み出しを終えるまでに係る時間は、１０ｍｓ＋３０ｍｓ＝４０ｍｓとなる。従って、フレームレートは、その逆数となり、２５ｆｐｓとなる。
【００４５】
また、グローバルシャッタ方式では、電荷蓄積後、電荷読出し開始までの時間が、読み出すＶライン順に徐々に長くなる。たとえサンプリング信号により電荷の蓄積を終了したとしても、この間に環境光が入射することがあり、その場合、ＳＮ比が下がり、距離が測れなくなる。
【００４６】
一方、ローリングシャッタ方式は、１つのＶラインの電荷の読み出しが行われている間に、他のＶラインの電荷の蓄積を行う方式である。ローリングシャッタ方式では、Ｖライン毎に電荷の蓄積と電荷の読み出しとは、独立して制御される。
【００４７】
ローリングシャッタ方式では、図５（ｂ）に示すように、各Ｖラインについて、電荷の読み出し時間が重ならないように制御される。すなわち、ＶラインＬ０について、時刻Ｔｓ＿ｎ−１＿０から時刻Ｔｒ＿ｎ＿０まで電荷の読み出しを行い、ＶラインＬ１は、時刻Ｔｒ＿ｎ＿０から電荷の読み出しを開始する。各Ｖラインは、電荷の読み出し時間に合わせ、電荷の蓄積の終了、開始時刻が決定される。
【００４８】
例えば、ＶラインＬ０については、ｎ−１番目のフレームの電荷読み出し終了後、時刻Ｔｒ＿ｎ＿０にｎ番目のフレームの電荷の蓄積を開始し、時刻Ｔｓ＿ｎ＿０に電荷の蓄積を終了し、その後、電荷の読み出しを開始する。ＶラインＬｋ（ｋは、０≦ｋ≦１５を満たす整数）の場合、ｎ−１番目のフレームの電荷読み出し終了後、時刻Ｔｒ＿ｎ＿ｋにｎ番目のフレームの電荷の蓄積を開始し、時刻Ｔｓ＿ｎ＿ｋに電荷の蓄積を終了し、電荷の読み出しを開始する。
【００４９】
このように、ローリングシャッタ方式では、あるＶラインの電荷読み出し時に、他のＶラインの電荷蓄積を行うことができ、フレームレートを高めることができる。従って、ローリングシャッタ方式では、１フレーム分の電荷読み出しに必要な時間の最小値は、１Ｖライン分の電荷読み出しにかかる時間のＶライン数倍、すなわち、全Ｖライン分の電荷読み出し時間である。従って、フレームレートは、最大で、全ラインの電荷読み出し時間の逆数となる。例えば、電荷読み出し時間を３０ｍｓとすると、フレームレートは３０ｍｓの逆数となり、３３．３３３ｆｐｓとなる。
【００５０】
また、ローリングシャッタ方式では、異なるＶラインの電荷蓄積と電荷読み出しとを同時に行うことができるため、Ｖライン毎に電荷蓄積と電荷読み出しとを独立して制御できる。
【００５１】
また、イメージングセンサでは、いずれの方式であっても、電荷蓄積期間を任意に変更できる。電荷蓄積期間の変更は、蓄積開始時間を変更することにより行う。蓄積開始時間は、リセット信号の送信タイミングにより変更する。ローリングシャッタ方式を例にあげて、この、電荷蓄積期間を変更する様子を説明する。
【００５２】
図６（ａ）は、電荷蓄積期間を最大にした場合の例である。ＶラインＬ０のサンプリング(電荷蓄積終了）時刻Ｔｓ＿ｎ−１＿０の直後に電荷の読み出しを開始し、電荷の読み出し終了直後に時刻Ｔｒ＿ｎ＿０にリセットを行い、電荷蓄積を開始する。このとき、ＶラインＬ１のサンプリング(電荷蓄積終了）時刻Ｔｓ＿ｎ−１＿１とし、ＶラインＬ１の電荷の読み出しを開始する。
【００５３】
図６（ｂ）は、光蓄積時間を、図６（ａ）の光蓄積時間の半分に設定した場合である。この場合、ＶラインＬ０の、ｎ番目のフレーム用のリセット（電荷蓄積開始）時刻Ｔｒ＿ｎ＿０を、ｎ−１番目のフレームのサンプリング（電荷蓄積終了）時刻Ｔｓ＿ｎ−１＿０と次フレーム（ｎ番目のフレーム）のサンプリング時間Ｔｓ＿ｎ＿０の中間に設定する。
【００５４】
さらに、ローリングシャッタ方式では、リセット時間は、電荷読み出し時間が重ならない限り、Ｖライン毎に独自に設定できる。すなわち、全Ｖライン同じにすることもできるし、Ｖライン毎に時間を異なるものにすることもできる。
【００５５】
次に、本実施形態の制御部１４０の光源１１０からの照射と受光部１２０における電荷の蓄積の制御を説明する。本実施形態では、ローリングシャッタ方式を用いる場合を例にあげて説明する。
【００５６】
本実施形態では、上述のように、分割照射部１１１による単位照射領域への照射と、当該単位照射領域からの入射光１５２を変換した電荷の蓄積とを同期制御する。本実施形態では、この同期制御を、蓄積制御部１４２が出力するリセット信号、サンプリング信号、電荷読出信号に基づき、照射制御部１４１が照射制御信号を出力することにより実現する。
【００５７】
すなわち、本実施形態では、蓄積制御部１４２は、予め定められたタイミングに従って、各Ｖラインを構成する電荷蓄積部１２３に、リセット信号、サンプリング信号、電荷読出信号を送信する。一方、照射制御部１４１は、蓄積制御部１４２が送信する各信号のタイミングに従って、分割照射部１１１に照射制御信号を送信する。
【００５８】
例えば、撮影空間が、Ｍ個（Ｍは自然数）の単位照射領域に分割されて照射されるものとする。すなわち、光源１１０は、Ｍ個の分割照射部１１１を備えるものとする。各分割照射部１１１を、順に、１番目、２番目、・・・ｍ番目、・・・Ｍ番目と呼ぶ（ｍは、１≦ｍ≦Ｍを満たす自然数）。また、各単位照射領域を受光する受光部１２０のＶライン数はＫ本（Ｋは自然数）とする。各Ｖラインは順に、１番目、２番目、・・・ｋ番目、・・・Ｋ番目と呼ぶ（ｋは、１≦ｋ≦Ｋを満たす自然数）。
【００５９】
各Ｖラインの電荷読出し時間が重ならないよう、電荷蓄積開始時刻（リセット信号送信時刻；リセット時刻）と電荷蓄積終了時刻(サンプリング信号送信時刻：サンプリング時刻）とは、定められる。蓄積制御部１４２は、定められた時刻に、各Ｖラインに各信号を送信する。
【００６０】
この場合、ｍ番目の分割照射部１１１は、ｍ番目の単位照射領域に対応する撮像素子１２１の、１番目のＶラインのリセット時刻から、Ｋ番目のＶラインのサンプリング時刻までの間、照射するよう制御される。なお、ｍ番目のＶラインは、最初から数えて（ｍ−１）Ｋ＋１番目のＶラインとなる。このように、照射制御部１４１は、ｍ番目の分割照射部１１１に、（ｍ−１）Ｋ＋１番目のＶラインのリセット時刻から、ｍＫ番目のＶラインのサンプリング時刻までの間、対応する変調光１５１を照射するよう、照射制御信号を送信する。
【００６１】
本制御を、図７に示す具体例を用いて説明する。撮像空間は、図２に示すように、４つの単位照射領域に分割されて照射されるものとする。また、各単位照射領域からの入射光１５２を受光するＶライン数を４本とする。ここでは、第ｎフレーム分の電荷を蓄積するタイミングを例にあげて説明する。
【００６２】
照射制御部１４１は、１番目の分割照射部１１１が、１番目の単位照射領域からの入射光１５２を受光するＶラインの中の１番目のＶラインＬ０のリセット時間Ｔｒ＿ｎ＿０から、４番目のＶラインＬ３のサンプリング時間Ｔｓ＿ｎ＿３までの時間、変調光１５１を照射するよう照射制御信号を送信する。
【００６３】
同様に、照射制御部１４１は、２番目の分割照射部１１１が、２番目の単位照射領域に対応する１番目のＶラインＬ４のリセット時間Ｔｒ＿ｎ＿４から４番目のＶラインＬ７のサンプリング時間Ｔｓ＿ｎ＿７までの時間、３番目の分割照射部１１１が、３番目の単位照射領域に対応する１番目のＶラインＬ８のリセット時間Ｔｒ＿ｎ＿８から４番目のＶラインＬ１１のサンプリング時間Ｔｓ＿ｎ＿１１までの時間、４番目の分割照射部１１１が、４番目の単位照射領域に対応する１番目のＶラインＬ１２のリセット時間Ｔｒ＿ｎ＿１１から４番目のＶラインＬ１５のサンプリング時間Ｔｓ＿ｎ＿１５までの時間、変調光１５１を照射するよう照射制御信号を送信する。
【００６４】
これにより、本実施形態では、図７に示すように、各Ｖラインに対応する電荷蓄積部１２３が電荷を蓄積している間、対応する単位照射領域を照射するよう制御できる。
【００６５】
なお、本実施形態の距離画像生成装置１００は、ＣＰＵとメモリと記憶装置とを備え、記憶装置に格納されたプログラムを実行することにより、画像生成部１３０および制御部１４０の機能を実現する。
【００６６】
以上説明したように、本実施形態によれば、制御部１４０は、分割照射部１１１による単位照射領域への照射と、当該単位照射領域からの反射光を受光する撮像素子１２１の電荷蓄積部１２３における電荷の蓄積とが同期するよう制御する。
【００６７】
従って、本実施形態によれば、光源１１０を分割して領域毎に照射し、受光部１２０では、照射時間のみ電荷を蓄積するため、距離算出に必要な変調光の情報が含まれない周辺光のみの受光を抑えることができるとともに、距離算出に必要な変調光成分と周辺光成分との比率の変化を抑えることができ、フレームレートの低下を抑えることができる。これにより、撮影空間内に反射光の強い領域がある場合であっても、フレームレートを維持しながら、算出される距離値の精度を高めることができる。
【００６８】
また、本実施形態によれば、制御部１４０は、分割照射部１１１による単位照射領域への照射を制御する照射制御部１４１と、電荷蓄積部１２３による電荷の蓄積を制御する蓄積制御部１４２と、を備え、照射制御部１４１が、蓄積制御部１４２による前記電荷の蓄積の制御に従って、分割照射部１１１による照射を制御することにより、同期制御を実現する。
【００６９】
このため、本実施形態によれば、各電荷蓄積部１２３において、距離画像生成部１３１が距離画像を算出するために必要な電荷を十分に蓄積できる。
【００７０】
なお、上記実施形態では、蓄積制御部１４２による電荷蓄積タイミングの制御に応じて照射制御部１４１が分割照射を制御しているが、これに限られない。同期制御は、照射制御部１４１による分割照射タイミングの制御に応じて、蓄積制御部１４２が電荷蓄積期間を制御するよう構成してもよい。
【００７１】
この場合、照射制御部１４１は、予め定められた分割照射期間、各分割照射部１１１が、それぞれ対応する単位照射領域を照射するよう照射制御信号を送信する。一方、蓄積制御部１４２は、分割照射期間に応じて、対応するＶラインの電荷蓄積開始時刻、電荷蓄積終了時刻、電荷読出し時刻をそれぞれ決定し、各電荷蓄積部１２３に、各信号を送信する。
【００７２】
例えば、図７の例では、１番目の単位照射領域に対応する１番目のＶラインのリセット時間を、１番目の分割照射部１１１の分割照射開始時間に設定し、４番目のＶラインのサンプリング時間を、同分割照射部１１１の分割照射終了時間になるよう、各Ｖラインの電荷蓄積開始時間、終了時間を決定する。
【００７３】
このように構成することで、光源１１０の照射制御が簡易になる。例えば、上記実施形態では、光源１１０が複数のＬＥＤで構成されている場合を例にあげて説明しているが、その他の構成の光源１１０も利用可能である。
【００７４】
例えば、図８に示すように、光源１１０として、点光源であるレーザ光源３００を用いるものであってもよい。
【００７５】
この場合、光源１１０は、レーザ光源３００とスキャン手段３２０とを備える。照射制御部１４１は、スキャン手段３２０を制御し、レーザ光源３００から出射した光を、図中、ｘ方向およびｙ方向に走査する。スキャン手段３２０には、ミラーを回転させて変調光を走査するガルバノミラー、ミラーを振動させて変調光を走査するＭＥＭＳなどが用いられる。なお、走査方向が１軸方向（例えば、ｙ軸方向）のみの場合、拡散板３３０を用い、レーザ光源３００から出射した光をｘ軸方向に拡散する（図８：３４０）。
【００７６】
点光源であるレーザ光源３００を用いる場合の、レーザ光源３００が照射する領域と、対応するＶラインとを図９（ａ）に示す。スキャンの周期Ｔｓｃａｎ毎に、撮影空間は、図９（ａ）の上方（ＶラインＬ０）から下方（ＶラインＬ１５）に向かって照射される。
【００７７】
図９（ｂ）は、光源１１０の照射タイミング（スキャンタイミング）に応じて、撮像素子１２１の電荷蓄積部１２３の電荷蓄積タイミングを制御する様子を説明するための図である。
【００７８】
ＶラインＬ０が対応する撮影空間の領域を照射し始める時間Ｔｒ＿ｎ＿０に、ＶラインＬ０にリセット信号を送信する。光源１１０のスキャンが進み、ＶラインＬ０が対応する撮影空間の領域の照射が終わるタイミングＴｓ＿ｎ＿０に、ＶラインＬ０にサンプリング信号を送信するとともに、電荷読出信号を送信する。同様に、ＶラインＬ１が対応する撮影空間の領域の照射が始まるタイミングＴｒ＿ｎ＿１に、ＶラインＬ１にリセット信号を送信し、照射が終わる時間Ｔｓ＿ｎ＿１に、サンプリング信号と電荷読出信号とを送信する。
【００７９】
このように制御することにより、電荷蓄積期間と光源照射時間とを合致させることができ、よりフレアを抑えることができるとともに、蓄積する電荷の信頼性を高めることができる。
【００８０】
なお、光源１１０の照射タイミングと、受光部１２０における電荷蓄積タイミングとの制御は、いずれかに依存して行うものには限られない。例えば、予め定められたパラメータから、各単位照射領域への照射タイミング、各電荷蓄積部１２３の電荷の蓄積タイミングが一意に決定する場合、決定するタイミングに従って制御を行う。
【００８１】
例えば、電荷蓄積期間は、一般に算出される画素値の精度を高めるため、一定であることが望ましい。このように、電荷蓄積期間が一定である場合、各電荷蓄積部１２３の蓄積タイミングは一意に決定する。このような場合、予め、電荷蓄積タイミングおよび照射タイミングを決定し、それに従って、制御することができる。
【００８２】
電荷蓄積期間をＴＱ、電荷読出し時間をＴＲ、照射領域の分割数（単位照射領域数）をＭ、１つの単位照射領域からの入射光１５２を受光するＶライン数をＫとする。Ｍ、Ｋは自然数である。また、ローリングシャッタ方式を用い、電荷蓄積終了と同時に電荷の読出しを開始するものとする。
【００８３】
電荷読出し時間ＴＲは定まっているため、最初のＶラインのサンプリング信号送信時刻（サンプリング時刻）をＴｓ１とすると、２番目のＶラインのサンプリング時刻はＴｓ１＋ＴＲとなる。電荷蓄積期間ＴＱも定まっているため、最初のＶラインのリセット信号送信時刻（リセット時刻）をＴｒ１とすると、２番目のＶラインのリセット時刻Ｔｒ２はＴｒ１＋ＴＲとなる。従って、Ｋ番目のＶラインのリセット時刻ＴｒＫは、Ｔｒ１＋（Ｋ−１）ＴＲとなる。
【００８４】
また、最初のＶラインのサンプリング時刻Ｔｓ１は、Ｔｒ１＋ＴＱである。また、Ｋ番目のＶラインのサンプリング時刻Ｔｒｓは、Ｔｒ１＋（Ｋ-１）ＴＲ＋ＴＱとなる。
【００８５】
蓄積制御部１４２は、各Ｖラインに対応する電荷蓄積部１２３に、１番目のＶラインのリセット時刻Ｔｒ１から、ＴＲ毎に順に各Ｖラインにリセット信号を送信し、Ｔｓ１（＝Ｔｒ１＋ＴＱ）から、ＴＲ毎に順にＶラインにサンプリング信号、電荷読出信号を送信する。
【００８６】
また、１つの単位照射領域に対応するＶライン数はＫであるため、１番目の分割照射部１１１が１番目のＶラインの電荷蓄積開始時刻Ｔｒ１から、Ｋ番目のＶラインの電荷蓄積終了時刻（サンプリング時刻）Ｔｒ１＋（Ｋ-１）ＴＲ＋ＴＱまで照射するよう制御する。照射期間は、Ｔｒ１＋（Ｋ-１）ＴＲ＋ＴＱ―Ｔｒ＝（Ｋ-１）ＴＲ＋ＴＱである。
【００８７】
また、２番目の分割照射部１１１の１番目のＶラインは、Ｋ＋１番目のＶラインであるため、そのリセット時刻ＴｒＫ＋１は、Ｔｒ１＋ＫＴＲである。従って、１番目のＶラインのリセット時刻との差分は、Ｔｒ１＋ＫＴＲ−Ｔｒ１＝ＫＴＲとなる。
【００８８】
よって、照射制御部１４１は、Ｔｒ１からｋＴＲ毎に、各分割照射部１１１に順に、（Ｋ-１）ＴＲ＋ＴＱ間照射するよう照射制御信号を出力する。
【００８９】
以上説明したように、本実施形態によれば、各Ｖラインは、電荷蓄積期間中、対応する単位照射領域に変調光が照射されていることになる。すなわち、各Ｖラインを構成する電荷蓄積部１２３は、対応する単位照射領域が照射されている間のみ電荷を蓄積する。言い換えれば、各Ｖラインの電荷蓄積部１２３は、変調光が照射されていない時には電荷の蓄積を行わない。従って、各撮像素子１２１において、環境光の混入を最小限にすることができる。これにより、高い精度の距離値を得ることができる。
【００９０】
＜＜第二の実施形態＞＞
次に、本発明を適用する第二の実施形態を説明する。上記実施形態では、変調光の照射タイミングと、電荷の蓄積タイミングとを、同期制御している。一方、本実施形態では、照射光強度画像を併用し、照射光強度の強弱に応じた制御を加える。以下、本実施形態について、第一の実施形態と異なる構成に主眼をおいて説明する。
【００９１】
図１０は、本実施形態の距離画像生成装置６００のブロック図である。本図に示すように、本実施形態の距離画像生成装置６００は、第一の実施形態同様、変調光１５１と入射光１５２との位相差を用いて距離画像を生成する光飛行時間型距離画像センサを用いるもので、光源１１０と、受光部１２０と、画像生成部６３０と、制御部６４０と、を備える。
【００９２】
本実施形態の光源１１０、受光部１２０は、第一の実施形態の同名の構成と基本的に同様の構成を有する。一方、本実施形態の画像生成部６３０は、上記各実施形態のように、距離画像生成部１３１に加え、照射光強度画像生成部１３２を備える。
【００９３】
照射光強度画像生成部１３２は、各単位蓄積部に振り分けられた電荷量に所定の演算を施し、各画素の位置に対応する撮影空間の照射光強度値を算出する。このとき、距離画像生成部１３１が距離値を算出するために用いる上記各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４をそのまま用いる。これを用い、照射強度画像生成部１３２は、画素毎に以下の式（３）に従って、電荷蓄積期間Δｔ毎に、照射光強度値Ｂを算出し、照射光強度値を画素値とする照射光強度画像を生成する。
【数３】
【００９４】
なお、一般に輝度画像の画素値として用いられるのは、以下の式（４）に従って、４つの電荷蓄積部に振り分けられた電荷の平均値Ａである。
【数４】
【００９５】
本実施形態では、照射光強度画像生成部１３２による照射光強度画像の、画素値（照射光強度値）に応じて、電荷蓄積期間を調整する。
【００９６】
これを実現するため、本実施形態の制御部６４０は、照射制御部１４１と、蓄積制御部１４２に加え、強度判別部１４３を備える。
【００９７】
強度判別部１４３は、照射光強度画像生成部１３２が照射光強度画像を生成する毎に、各単位照射領域の照射光強度の強弱を判別する。判別は、予め定めた手法により行う。例えば、各単位照射領域に対応する画素群の画素値の平均値を計算し、予め定めた閾値を超える場合、当該単位照射領域の照射光強度が強い高強度領域と判別する。また、予め定めた閾値以上の強度を持つ画素が一定数以上ある単位照射領域を高強度領域と判別してもよい。
【００９８】
本実施形態の照射制御部１４１は、強度判別部１４３による判別結果を受け、照射を制御する。例えば、高強度領域と判別された単位照射領域については、当該単位照射領域への照射を、他の単位照射領域への照射と重ならないよう制御する。
【００９９】
この場合の、単位照射領域と照射時間との関係を図１１（ａ）に示す。ここでは、一例として、単位照射領域数が４の場合を示す。また、４番目の単位照射領域が、高強度領域と判別されたものとする。
【０１００】
なお、このとき、蓄積制御部１４２は、図１１（ｂ）に示すように、各単位照射領域に対応するＶラインの電荷の蓄積が、照射時間内に行われるよう、各Ｖラインの蓄積開始時刻（リセット信号送信時刻）、蓄積終了時刻（サンプリング信号送信時刻）、および、電荷読出し時刻（読出信号送信時刻）を決定する。
【０１０１】
本実施形態の制御部６４０による照射、電荷蓄積制御の流れを図１２を用いて説明する。ここでは、単位照射領域数をＭとする。ｍは、１≦ｍ≦Ｍを満たすカウンタとする。
【０１０２】
まず、制御部６４０は、予め定めた条件に従って、各単位照射領域の照射タイミングを決定する（ステップＳ２１０１）。また、各単位照射領域の照射タイミングに応じて、対応するＶライン群の電荷蓄積タイミングを決定する（ステップＳ２１０２）。このとき、各単位照射領域への分割照射部１１１による照射時間に、当該単位照射領域に対応するＶライン群の全ての電荷蓄積部１２３の電荷蓄積期間が含まれるよう、各電荷蓄積タイミングを決定する。
【０１０３】
そして、制御部６４０は、カウンタｍを１とし（ステップＳ２１０３）、照射制御部１４１および蓄積制御部１４２に、決定したタイミングに応じて、照射制御信号、リセット信号、サンプリング信号、電荷読出信号を出力させ、照射および電荷の蓄積を行う（ステップＳ２１０４）。
【０１０４】
ステップＳ２１０４の処理を、全単位照射領域数、繰り返す（ステップＳ２１０６、２１０７）。
【０１０５】
ｍ番目の単位照射領域分の電荷の読み出しを終えると、照射および電荷の蓄積とは独立して、距離画像生成部１３１と、照射光強度画像生成部１３２とは、それぞれ、距離画像および照射光強度画像を生成する。そして、強度判別部１４３は、当該単位照射領域が高強度領域であるか否かを判別し、判別結果を制御部６４０に通知する。制御部６４０は、高強度領域との判別結果を得た場合、当該単位照射領域への照射タイミングおよび次の単位照射領域への照射タイミングを変更する。高強度領域との判別結果を得ない場合は、照射タイミングは変更しない。
【０１０６】
全ての単位照射領域数Ｍだけ、照射および電荷の蓄積を終えると、制御部６４０は、次のフレーム用の照射および電荷の蓄積を開始する。このとき、制御部６４０は、照射タイミングの変更の有無を判別する（ステップＳ２１０８）。
【０１０７】
照射タイミングが変更されている場合、制御部６４０は、ステップＳ２１０２にもどり、変更後の照射タイミングに応じた、電荷蓄積タイミングを決定する。一方、変更されていない場合、制御部６４０は、ステップＳ２１０３へもどり、終了の指示を受け付けるまで（ステップS２１０５）、処理を繰り返す。
【０１０８】
なお、本実施形態の距離画像生成装置６００は、ＣＰＵとメモリと記憶装置とを備え、記憶装置に格納されたプログラムを実行することにより、画像生成部６３０および制御部６４０の機能を実現する。
【０１０９】
以上説明したように、本実施形態によれば、第一の実施形態の構成に加え、照射光強度を画素値とする前記撮影空間の照射光強度画像を生成する照射光強度画像生成部１３２を備え、制御部６４０は、各単位照射領域に対応する照射光強度画像の画素群の画素値を用いて、各単位照射領域が高強度領域であるか否かを判別する強度判別部１４３をさらに備える。そして、照射制御部１４１が、強度判別部１４３が高強度領域と判別した単位照射領域への照射を、他の単位照射領域への照射と時間的に重ならないよう制御する。
【０１１０】
このように、本実施形態によれば、高強度領域への照射時間を、他の単位照射領域の照射と重ならないよう制御する。従って、撮影空間内に反射光の強い領域がある場合であっても、フレアの発生を抑えることができる。さらに、受光部１２０では、照射時間のみ電荷を蓄積するため、距離算出に必要な変調光の情報が含まれない周辺光のみの受光を抑えることができるとともに、距離算出に必要な変調光成分と周辺光成分との比率の変化を抑えることができ、フレームレートの低下を抑えることができる。これにより、撮影空間内に反射光の強い領域がある場合であっても、フレームレートを維持しながら、算出される距離値の精度を高めることができる。
【０１１１】
なお、上記実施形態では、単位照射領域のうち、高強度領域については、照射時間が他の単位照射領域への照射と重ならないよう、光源１１０側の照射を制御しているが、これに限られない。例えば、高強度領域について、電荷蓄積期間を短くするよう受光部１２０側を制御するよう構成してもよい。
【０１１２】
このときの、制御部６４０による照射、電荷蓄積制御の流れを図１３を用いて説明する。ここでは、単位照射領域数をＭとする。ｍは、１≦ｍ≦Ｍを満たすカウンタとする。
【０１１３】
まず、制御部６４０は、予め定めた条件に従って、各Ｖラインの電荷蓄積タイミング（電荷蓄積開始時刻、電荷蓄積終了時刻、読み出し開始時刻）を決定する（ステップＳ２２０１）。ここでは、各Ｖラインの電荷蓄積期間には予め定めた初期値を用いる。次に、制御部６４０は、各単位照射領域に対応するＶライン数、各Ｖラインの電荷蓄積開始時刻、電荷蓄積終了時刻に応じて、照射タイミングを決定する（ステップＳ２２０２）。
【０１１４】
そして、制御部６４０は、カウンタｍを１とし（ステップＳ２２０３）、照射制御部１４１および蓄積制御部１４２に、決定したタイミングに応じて、照射制御信号、リセット信号、サンプリング信号、電荷読出信号を出力させ、照射および電荷の蓄積を行う（ステップＳ２２０４）。
【０１１５】
ステップＳ２２０４の処理を、全単位照射領域数、繰り返す（ステップＳ２２０６、Ｓ２２０７）。
【０１１６】
ｍ番目の単位照射領域分の電荷の読み出しを終えると、照射および電荷の蓄積とは独立して、距離画像生成部１３１と、照射光強度画像生成部１３２とは、それぞれ、距離画像および照射光強度画像を生成する。そして、強度判別部１４３は、当該単位照射領域が高強度領域であるか否かを判別し、判別結果を制御部６４０に通知する。制御部６４０は、高強度領域との判別結果を得た場合、当該単位照射領域に対するＶライン群の電荷蓄積期間を予め定めた規則に従って、短くする。高強度領域との判別結果を得ない場合は、電荷蓄積期間には初期値を用いる。
【０１１７】
全ての単位照射領域数Ｍだけ、照射および電荷の蓄積を終えると、制御部６４０は、次のフレーム用の照射および電荷の蓄積を開始する。このとき、制御部６４０は、電荷蓄積期間の変更の有無を判別する（ステップＳ２２０８）。
【０１１８】
電荷蓄積期間が変更されている場合、制御部６４０は、ステップＳ２２０２にもどり、変更後の電荷蓄積期間に応じた、照射タイミングを決定する。一方、変更されていない場合、制御部６４０は、ステップＳ２２０３へもどり、終了の指示を受け付けるまで（ステップＳ２２０５）、処理を繰り返す。
【０１１９】
なお、上記各実施形態では、電荷蓄積および読み出し方式として、ローリングシャッタ方式を用いる場合を例にあげて説明したが、これに限られない。グローバルシャッタ方式を用いてもよい。この場合、図５（ａ）に示す電荷蓄積および読み出しを、単位照射領域毎に行うよう制御する。
【符号の説明】
【０１２０】
１００：距離画像生成装置、１１０：光源、１１１：分割照射部、１２０：受光部、１２１：撮像素子、１２２：光電変換素子、１２３：電荷蓄積部、１２４：読出部、１３０：画像生成部、１３１：距離画像生成部、１３２：照射光強度画像生成部、１４０：制御部、１４１：照射制御部、１４２：蓄積制御部、１４３：強度判別部、１５１：変調光、１５２：反射光、２００：物体、２１０：撮影空間、２１１：単位照射領域、２１２：単位照射領域、２１３：単位照射領域、２１４：単位照射領域、３００：レーザ光源、３２０：スキャン手段、３３０：拡散板、６００：距離画像生成装置、６３０：画像生成部、６４０：制御部
【技術分野】
【０００１】
本発明は、距離画像生成技術に関し、特に、光飛行時間型距離画像センサを用いた距離画像生成技術に関する。
【背景技術】
【０００２】
光飛行時間型距離画像センサを用いて、撮影空間の対象物の、当該センサからの距離を画素値とする距離画像を生成する距離画像生成装置がある。光飛行時間型距離画像センサでは、光源から照射した変調光と、当該変調光の対象物による反射光との位相差を用いて、画素毎に対象物の距離を算出する。位相差は、画素毎に用意された撮像素子でレンズを介して受光した反射光を光量に応じた電荷量に変換し、この電荷量に所定の演算を施すことにより算出される（例えば、特許文献１参照）。
【０００３】
光飛行時間型距離画像センサを用いた距離画像生成装置は、上述のように画素毎に受光した反射光を基に距離値を算出している。しかし、極端に近い距離の対象物が撮影対象空間にある場合、また、極端に反射率の高い物体が撮影対象空間にある場合など、強い反射光がレンズに入射すると、レンズの解像力などの性能によって、本来結像する画素以外の画素に反射光が回り込み、フレアと呼ばれる現象が発生することがある。フレアが発生すると、距離を算出する上での正確な光量が得られず、それに従って算出される距離値も不正確となる。
【０００４】
フレアを減少させるため、光源を分割し、対応する領域毎に照射する手法がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２４１４３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
光源を分割し対応する領域毎に照射すると、各領域では、変調光が照射されない時間（非照射時間）が発生する。各領域において、非照射時間中は周辺光のみの受光となる。周辺光には距離算出に必要な変調光の情報が含まれないため、算出距離の精度を悪化させる。特に日中の屋外での使用時に顕著に悪化する。
【０００７】
さらに、距離算出に必要な変調光成分と周辺光成分との比率が時間に応じて変化する。これにより距離画像のＳＮ比が下がり、得られる距離画像の距離値の精度も悪化する。さらに、分割照射を複数のフレームに渡って行うと、時間的に連続した距離画像が取得できず、フレームレートが低下する。
【０００８】
本発明は、上記事情に鑑みてなされたもので、光飛行時間型距離画像センサを用いて撮影空間の距離画像生成する際、撮影空間内に反射光の強い領域がある場合であっても、フレームレートを維持しながら距離計測の精度を高める技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、変調光の分割照射と、受光した反射光から得た電荷の蓄積とを、同期制御する。
【００１０】
具体的には、撮影空間を２つ以上の単位照射領域に分割して変調光を照射する空間分割照射手段と、前記変調光が前記撮影空間内の対象物で反射した反射光を受光して受光光量に応じた電荷に変換後蓄積する複数の撮像素子と、前記複数の撮像素子それぞれに蓄積された電荷から距離値を画素値とする前記撮影空間の距離画像を生成する距離画像生成手段と、前記空間分割照射手段および前記撮像素子の動作を制御する制御手段と、を備える距離画像生成装置であって、前記撮像素子は、前記撮像素子毎に前記反射光を受光して電荷に変換する光電変換素子と、前記光電変換素子で変換した電荷を蓄積する電荷蓄積手段と、を備え、前記制御手段は、前記空間分割照射手段による前記単位照射領域への照射と、当該単位照射領域からの反射光を受光する前記撮像素子の前記電荷蓄積手段における電荷の蓄積とが同期するよう制御することを特徴とする距離画像生成装置を提供する。
【００１１】
また、撮影空間を２つ以上の単位照射領域に分割して変調光を照射する空間分割照射手段と、前記変調光が前記撮影空間内の対象物で反射した反射光を受光して受光光量に応じた電荷に変換後蓄積する複数の撮像素子と、前記複数の撮像素子それぞれに蓄積された電荷から距離値を画素値とする前記撮影空間の距離画像を生成する距離画像生成手段と、を備える距離画像生成装置における照射および電荷蓄積制御方法であって、前記空間分割照射手段による前記単位照射領域への照射と、当該単位照射領域からの反射光を受光する前記撮像素子における電荷の蓄積と、を同期させる同期制御ステップを備えることを特徴とする照射および電荷蓄積制御方法を提供する。
【発明の効果】
【００１２】
本発明によれば、光飛行時間型距離画像センサを用いて撮影空間の距離画像生成する際、撮影空間内に反射光の強い領域がある場合であっても、フレームレートを維持しながら撮影対象空間全体の物体の距離計測の精度が高まる。
【図面の簡単な説明】
【００１３】
【図１】第一の実施形態の距離画像生成装置のブロック図である。
【図２】第一の実施形態の分割照射部による撮影空間の分割照射の様子を説明するための説明図である。
【図３】第一の実施形態の撮像素子のブロック図である。
【図４】距離画像生成の原理を説明するための説明図である。
【図５】（ａ）は、グローバルシャッタ方式を、（ｂ）は、ローリングシャッタ方式を説明するための説明図である。
【図６】（ａ）は、電荷蓄積期間を最大にした場合の、（ｂ）は、電荷蓄積期間を（ａ）の半分にした場合の、それぞれローリングシャッタ方式による電荷蓄積タイミングを説明するための説明図である。
【図７】第一の実施形態の蓄積制御部および照射制御部による制御を説明するための説明図である。
【図８】第一の実施形態の光源の変形例を説明するための説明図である。
【図９】（ａ）は、第一の実施形態の変形例の分割照射を説明するための説明図であり、（ｂ）は、第一の実施形態の変形例の蓄積制御部および照射制御部による制御を説明するための説明図である。
【図１０】第二の実施形態の距離画像生成装置のブロック図である。
【図１１】（ａ）は、第二の実施形態の分割照射を説明するための説明図であり、（ｂ）は、第二の実施形態の蓄積制御部および照射制御部による制御を説明するための説明図である。
【図１２】第二の実施形態の制御部による照射および電荷蓄積制御のフローチャートである。
【図１３】第二の実施形態の変形例の制御部による照射および電荷蓄積制御のフローチャートである。
【発明を実施するための形態】
【００１４】
＜＜第一の実施形態＞＞
以下、本発明を適用する実施形態について説明する。以下、本発明の実施形態を説明するための全図において、同一機能を有するものは同一符号を付し、その繰り返しの説明は省略する。
【００１５】
まず、本実施形態で用いる距離画像生成装置の構成を説明する。図１は、本実施形態の距離画像生成装置１００のブロック図である。
【００１６】
図１に示すように、距離画像生成装置１００は、照射光と入射光との位相差を用いて距離画像を生成する光飛行時間型距離画像センサを用いるもので、光源１１０と、受光部１２０と、画像生成部１３０と、制御部１４０と、を備える。
【００１７】
光源１１０は、撮影空間に変調した光（例えば、正弦波もしくは矩形波等で高速に変調させた赤外光もしくは可視光；以下、変調光と呼ぶ。）１５１を照射する。光源１１０には、ＬＥＤ、レーザ等の高速変調が可能なデバイスが用いられる。本実施形態の光源１１０は、ＬＥＤ等の発光体がアレイ状に配置されたものとする。ただし、これに限られない。個々の発光体がそれぞれ異なる照射領域を照射可能で、かつ、発光量を独立に制御可能なものであればよい。
【００１８】
本実施形態の光源１１０は、各ＬＥＤからの変調光の照射タイミングを制御することにより、撮影空間２１０を、図２に示すように、空間的に複数の領域（単位照射領域；本図では、２１１、２１２、２１３、２１４の４つの場合を例示する。）に分割して照射する。各単位照射領域に照射するＬＥＤ群を分割照射部１１１と呼ぶ。各分割照射部１１１の照射タイミングは、制御部１４０から出力される照射制御信号により制御される。
【００１９】
受光部１２０は、光源１１０から照射された変調光１５１が撮影空間内の物体２００で反射された反射光を含む入射光１５２を受光し、電荷に変換する。受光部１２０は、図１に示すように、画像生成部１３０が生成する画像の各画素に対応する複数の撮像素子１２１を備える。複数の撮像素子１２１は、画像生成部１３０が生成する距離画像の各画素に対応づけて規則的に配列される。図１には、４×４の場合を例示する。なお、各撮像素子１２１は、主として撮影空間の対応する領域からの入射光１５２を受光する。
【００２０】
各撮像素子１２１は、図３に示すように、光電変換素子１２２と、電荷蓄積部１２３と読出部１２４と、を備える。光電変換素子１２２は、入射光１５２を受光し、受光量に応じた電荷に変換する。電荷蓄積部１２３は、光電変換素子１２２により得られた電荷を蓄積する。電荷蓄積部１２３は、複数の単位蓄積部と振分部とを備える。電荷は、振分部により予め定めた規則に従って、各単位蓄積部に振り分けられ、蓄積される。読出部１２４は、電荷蓄積部１２３に蓄積された電荷を読み出し、画像生成部１３０へ出力する。
【００２１】
なお、単位蓄積部は、電荷蓄積部１２３毎に、少なくとも２以上設けられる。これは、変調光１５１と入射光１５２との位相差を算出するためには、少なくとも２以上の位相情報（単位蓄積部に蓄積された電荷）が必要となるためである。画像生成部１３０では、この位相差を用いて、画素毎の対象物の距離を算出する。
【００２２】
また、電荷蓄積部１２３への電荷の蓄積開始、終了、および読出部１２４からの電荷の読み出しは、制御部１４０からの制御信号により制御される。制御信号には、蓄積された電荷をリセットし、蓄積開始を指示するリセット信号と、蓄積終了を指示するサンプリング信号と、読出部１２４に電荷の読出しを指示する電荷読出信号と、の３種がある。
【００２３】
制御部１４０からリセット信号を受信すると、電荷蓄積部１２３は、電荷のリセットを行い、光電変換素子１２２で受光されて変換された電荷の蓄積を開始する。また、制御部１４０からサンプリング信号を受信すると、電荷蓄積部１２３は、電荷の蓄積を停止する。さらに、制御部１４０から電荷読出信号を受信すると、読出部１２４は、電荷蓄積部１２３に蓄積された電荷を読み出し、画像生成部１３０へ出力する。
【００２４】
なお、本実施形態では、読出部１２４による電荷の読み出しは、横一列の画素群に対応する撮像素子１２１の電荷蓄積部１２３群（Ｖライン）毎に行う。また、電荷蓄積部１２３は、サンプリング容量を備え、読出部１２４による電荷の読出しの前にサンプリング容量に一旦保持するよう構成してもよい。この場合、読出部１２４は、サンプリング容量から、電荷を読み出す。
【００２５】
画像生成部１３０は、受光部１２０が所定期間電荷を蓄積する毎に、蓄積した電荷から、距離値を画素値とする距離画像を生成する距離画像生成部１３１を備える。
【００２６】
距離画像生成部１３１は、各単位蓄積部に振り分けられた電荷量に所定の演算を施し、変調光１５１と入射光１５２との位相差を求め、各画素位置に対応する撮影空間の距離値を算出する。
【００２７】
ここで、距離画像生成の原理を、図４を用いて説明する。光源１１０から出射される変調光１５１の強度が本図のような正弦曲線を描くように変化する場合、受光部１２０への入射光１５２の強度も同様に正弦曲線を描くよう変化する。
【００２８】
ただし、変調光１５１と入射光１５２とには、光が物体２００まで往復する飛行時間による位相の遅延（位相差φ）が生じる。光の速度ｃは既知であるため、この位相差φと変調周波数ｆとを用い、対象物までの距離値Ｄは、以下の式（１）で求めることができる。
【数１】
【００２９】
ここで、変調光１５１と入射光１５２との位相差φは、変調光１５１の１周期を４等分した各期間をＴ１、Ｔ２、Ｔ３、Ｔ４とし、それぞれの期間に蓄積される電荷量をＣ１、Ｃ２、Ｃ３、Ｃ４とすると、以下の式（２）で表される。
【数２】
【００３０】
なお、１周期を４等分した各期間Ｔ１、Ｔ２、Ｔ３、Ｔ４は、例えば、０度から９０度の間、９０度から１８０度の間、１８０度から２７０度の間、２７０度から０度の間とする。
【００３１】
また、光源１１０の変調周波数は数十ＭＨｚである。従って、変調の１周期は数十ｎｓ程度である。このため、距離画像を得るためには、数百〜数十万周期の電荷蓄積期間を要する。本実施形態の距離画像生成部１３１は、この電荷蓄積期間Δｔ間隔で電荷蓄積部に蓄積された各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４を用い、画素毎に、式（２）に従って位相差φを求め、式（１）に従って、対象物までの距離値Ｄを求め、距離値を画素値とする距離画像を生成する。生成した距離画像は、例えば、外部出力端子から出力される。
【００３２】
制御部１４０は、距離画像生成装置１００全体の動作を制御する。本実施形態では、ユーザから処理開始の指示（例えば、電源ＯＮ）を受け付けると、光源１１０から変調光１５１を照射させるとともに受光部１２０で入射光（反射光）１５２を受光させるとともに電荷として蓄積させ、所定の時間ごとに受光した入射光（反射光）１５２から距離画像を生成させる。
【００３３】
このとき、本実施形態の制御部１４０は、光源１１０からの分割照射と受光部１２０における電荷の蓄積とを同期制御する。同期制御とは、単位照射領域毎に、当該単位照射領域への変調光１５１の分割照射と、当該単位照射領域からの入射光１５２を変換した電荷を蓄積する時間とを合致させる制御である。
【００３４】
これを実現するため、本実施形態の制御部１４０は、図１に示すように、照射制御部１４１と蓄積制御部１４２とを備える。
【００３５】
照射制御部１４１は、所定の単位照射領域への照射、非照射を制御する。制御は、予め定めたタイミングで、光源１１０に照射制御信号を送信し、各分割照射部１１１を構成するＬＥＤの照射、非照射を制御することにより行う。光源１１０は、照射制御部１４１が出力する照射制御信号に従って、所定の分割照射部１１１を構成するＬＥＤを発光させ、撮影空間の対応する単位照射領域に変調光１５１を照射する。
【００３６】
蓄積制御部１４２は、予め定めたタイミングで、所定の撮像素子１２１の電荷蓄積部１２３における電荷の蓄積タイミングおよび電荷読み出しタイミングをそれぞれ制御するリセット信号、サンプリング信号、電荷読出信号を出力する。受光部１２０では、蓄積制御部１４２が出力するリセット信号に従って、所定の撮像素子１２１の電荷蓄積部１２３が電荷の蓄積を開始する。電荷の蓄積は、振分部が予め定められた規則に従って各電荷蓄積部１２３の単位蓄積部にそれぞれ振分けながら行われる。本実施形態では、上述のように、変調の１周期を４等分した期間毎に、これらの４つの単位蓄積部に振り分ける。なお、単位蓄積部には、電荷量そのものを蓄積してもよいし、この電荷量をＡＤ変換して得たデータを蓄積してもよい。また、受光部１２０では、蓄積制御部１４２が出力するサンプリング信号に従って、電荷の蓄積を停止する。さらに、受光部１２０では、蓄積制御部１４２が出力する電荷読出信号に従って、読出部１２４が電荷蓄積部１２３の各単位蓄積部から電荷を読み出す。
【００３７】
ここで、受光部１２０における、電荷の蓄積と読み出しの方式について説明する。
【００３８】
光飛行時間型距離画像センサを含む、受光した入射光から画像を作成するセンサを一般にイメージセンサと呼ぶ。このイメージセンサでは、画素毎に用意された光電変換素子で受光した入射光を電荷量に変換し、画素毎に用意された電荷蓄積部に蓄積し、所定のタイミングで読出し、読み出した電荷に演算を施して各画素の画素値を得る。
【００３９】
イメージセンサでは、電荷蓄積部への電荷の蓄積は、電荷蓄積部単位で時間の制約なく行うことができるが、電荷の読み出しは、Ｖラインと呼ばれる横一列の単位で行われる。電荷の蓄積および電荷の読み出し方法には、大きく分けて、グローバルシャッタ方式とローリングシャッタ方式がある。両方式の特徴を、図５を用いて説明する。
【００４０】
図５は、グローバルシャッタ方式とローリングシャッタ方式の読み出し方法の違いを示した図であり、図５（ａ）は、グローバルシャッタ方式の、図５（ｂ）は、ローリングシャッタ方式の、それぞれ読み出し方法を説明するための図である。ここでは、Ｖライン数が１６（Ｌ０〜Ｌ１５）の場合を例にあげて説明する。
【００４１】
グローバルシャッタ方式は、全ての画素（全てのＶライン）の電荷の蓄積を終えた後、Ｖライン毎に電荷の読み出しを行う。このとき、電荷の蓄積は、全Ｖライン、同時に行う。以下、方式の説明においては、Ｖラインに対応する電荷蓄積部１２３のことを、単にＶラインと呼ぶ。また、ｎ番目（ｎは自然数）のフレームの電荷蓄積開始時間をＴｒ＿ｎ、同電荷蓄積終了時間をＴｓ＿ｎと表す。また、ｎ番目（ｎは自然数）のフレームのＶラインＬｋの電荷蓄積開始時間をＴｒ＿ｎ＿ｋ、同電荷蓄積終了時間をＴｓ＿ｎ＿ｋと表す。
【００４２】
グローバルシャッタ方式では、図５（ａ）に示すように、ｎ番目のフレームの電荷を蓄積する際、時刻Ｔｒ＿ｎで全Ｖラインの電荷の蓄積を同時に開始する。その後、時刻Ｔｓ＿ｎで全Ｖラインの電荷の蓄積を終了する。電荷蓄積期間は、Ｔｓ＿ｎからＴｒ＿ｎまでである。時刻Ｔｓ＿ｎにおいて電荷の蓄積を終了すると、ＶラインＬ０から順に、Ｌ１、Ｌ２、・・・と電荷の読み出しを行う。最終のＶラインＬ１５まで読み出しを終えると、次のフレーム（ｎ＋１番目のフレーム）のために、時刻Ｔｒ＿ｎ＋１に全Ｖラインにリセット信号を送信し、電荷の蓄積を開始する。
【００４３】
このように、グローバルシャッタ方式では、全ての画素で、同じタイミングで電荷が蓄積される。このため、画像全体（特に縦方向）で、受光タイミングの時間差が発生しない。また、電荷蓄積期間と電荷読み出し時間とが完全に分離している。従って、電荷蓄積期間を電荷読出し時間とは独立に設定できるため、電荷蓄積期間を任意の長さに設定できる。
【００４４】
しかし、電荷蓄積期間と電荷読み出し時間とが分離しているため、後述のローリングシャッタ方式に比べ、フレームレートが低下する。例えば、電荷蓄積期間を１０ｍｓ、電荷読み出し時間を３０ｍｓとすると、１フレーム分の電荷読み出しを終えるまでに係る時間は、１０ｍｓ＋３０ｍｓ＝４０ｍｓとなる。従って、フレームレートは、その逆数となり、２５ｆｐｓとなる。
【００４５】
また、グローバルシャッタ方式では、電荷蓄積後、電荷読出し開始までの時間が、読み出すＶライン順に徐々に長くなる。たとえサンプリング信号により電荷の蓄積を終了したとしても、この間に環境光が入射することがあり、その場合、ＳＮ比が下がり、距離が測れなくなる。
【００４６】
一方、ローリングシャッタ方式は、１つのＶラインの電荷の読み出しが行われている間に、他のＶラインの電荷の蓄積を行う方式である。ローリングシャッタ方式では、Ｖライン毎に電荷の蓄積と電荷の読み出しとは、独立して制御される。
【００４７】
ローリングシャッタ方式では、図５（ｂ）に示すように、各Ｖラインについて、電荷の読み出し時間が重ならないように制御される。すなわち、ＶラインＬ０について、時刻Ｔｓ＿ｎ−１＿０から時刻Ｔｒ＿ｎ＿０まで電荷の読み出しを行い、ＶラインＬ１は、時刻Ｔｒ＿ｎ＿０から電荷の読み出しを開始する。各Ｖラインは、電荷の読み出し時間に合わせ、電荷の蓄積の終了、開始時刻が決定される。
【００４８】
例えば、ＶラインＬ０については、ｎ−１番目のフレームの電荷読み出し終了後、時刻Ｔｒ＿ｎ＿０にｎ番目のフレームの電荷の蓄積を開始し、時刻Ｔｓ＿ｎ＿０に電荷の蓄積を終了し、その後、電荷の読み出しを開始する。ＶラインＬｋ（ｋは、０≦ｋ≦１５を満たす整数）の場合、ｎ−１番目のフレームの電荷読み出し終了後、時刻Ｔｒ＿ｎ＿ｋにｎ番目のフレームの電荷の蓄積を開始し、時刻Ｔｓ＿ｎ＿ｋに電荷の蓄積を終了し、電荷の読み出しを開始する。
【００４９】
このように、ローリングシャッタ方式では、あるＶラインの電荷読み出し時に、他のＶラインの電荷蓄積を行うことができ、フレームレートを高めることができる。従って、ローリングシャッタ方式では、１フレーム分の電荷読み出しに必要な時間の最小値は、１Ｖライン分の電荷読み出しにかかる時間のＶライン数倍、すなわち、全Ｖライン分の電荷読み出し時間である。従って、フレームレートは、最大で、全ラインの電荷読み出し時間の逆数となる。例えば、電荷読み出し時間を３０ｍｓとすると、フレームレートは３０ｍｓの逆数となり、３３．３３３ｆｐｓとなる。
【００５０】
また、ローリングシャッタ方式では、異なるＶラインの電荷蓄積と電荷読み出しとを同時に行うことができるため、Ｖライン毎に電荷蓄積と電荷読み出しとを独立して制御できる。
【００５１】
また、イメージングセンサでは、いずれの方式であっても、電荷蓄積期間を任意に変更できる。電荷蓄積期間の変更は、蓄積開始時間を変更することにより行う。蓄積開始時間は、リセット信号の送信タイミングにより変更する。ローリングシャッタ方式を例にあげて、この、電荷蓄積期間を変更する様子を説明する。
【００５２】
図６（ａ）は、電荷蓄積期間を最大にした場合の例である。ＶラインＬ０のサンプリング(電荷蓄積終了）時刻Ｔｓ＿ｎ−１＿０の直後に電荷の読み出しを開始し、電荷の読み出し終了直後に時刻Ｔｒ＿ｎ＿０にリセットを行い、電荷蓄積を開始する。このとき、ＶラインＬ１のサンプリング(電荷蓄積終了）時刻Ｔｓ＿ｎ−１＿１とし、ＶラインＬ１の電荷の読み出しを開始する。
【００５３】
図６（ｂ）は、光蓄積時間を、図６（ａ）の光蓄積時間の半分に設定した場合である。この場合、ＶラインＬ０の、ｎ番目のフレーム用のリセット（電荷蓄積開始）時刻Ｔｒ＿ｎ＿０を、ｎ−１番目のフレームのサンプリング（電荷蓄積終了）時刻Ｔｓ＿ｎ−１＿０と次フレーム（ｎ番目のフレーム）のサンプリング時間Ｔｓ＿ｎ＿０の中間に設定する。
【００５４】
さらに、ローリングシャッタ方式では、リセット時間は、電荷読み出し時間が重ならない限り、Ｖライン毎に独自に設定できる。すなわち、全Ｖライン同じにすることもできるし、Ｖライン毎に時間を異なるものにすることもできる。
【００５５】
次に、本実施形態の制御部１４０の光源１１０からの照射と受光部１２０における電荷の蓄積の制御を説明する。本実施形態では、ローリングシャッタ方式を用いる場合を例にあげて説明する。
【００５６】
本実施形態では、上述のように、分割照射部１１１による単位照射領域への照射と、当該単位照射領域からの入射光１５２を変換した電荷の蓄積とを同期制御する。本実施形態では、この同期制御を、蓄積制御部１４２が出力するリセット信号、サンプリング信号、電荷読出信号に基づき、照射制御部１４１が照射制御信号を出力することにより実現する。
【００５７】
すなわち、本実施形態では、蓄積制御部１４２は、予め定められたタイミングに従って、各Ｖラインを構成する電荷蓄積部１２３に、リセット信号、サンプリング信号、電荷読出信号を送信する。一方、照射制御部１４１は、蓄積制御部１４２が送信する各信号のタイミングに従って、分割照射部１１１に照射制御信号を送信する。
【００５８】
例えば、撮影空間が、Ｍ個（Ｍは自然数）の単位照射領域に分割されて照射されるものとする。すなわち、光源１１０は、Ｍ個の分割照射部１１１を備えるものとする。各分割照射部１１１を、順に、１番目、２番目、・・・ｍ番目、・・・Ｍ番目と呼ぶ（ｍは、１≦ｍ≦Ｍを満たす自然数）。また、各単位照射領域を受光する受光部１２０のＶライン数はＫ本（Ｋは自然数）とする。各Ｖラインは順に、１番目、２番目、・・・ｋ番目、・・・Ｋ番目と呼ぶ（ｋは、１≦ｋ≦Ｋを満たす自然数）。
【００５９】
各Ｖラインの電荷読出し時間が重ならないよう、電荷蓄積開始時刻（リセット信号送信時刻；リセット時刻）と電荷蓄積終了時刻(サンプリング信号送信時刻：サンプリング時刻）とは、定められる。蓄積制御部１４２は、定められた時刻に、各Ｖラインに各信号を送信する。
【００６０】
この場合、ｍ番目の分割照射部１１１は、ｍ番目の単位照射領域に対応する撮像素子１２１の、１番目のＶラインのリセット時刻から、Ｋ番目のＶラインのサンプリング時刻までの間、照射するよう制御される。なお、ｍ番目のＶラインは、最初から数えて（ｍ−１）Ｋ＋１番目のＶラインとなる。このように、照射制御部１４１は、ｍ番目の分割照射部１１１に、（ｍ−１）Ｋ＋１番目のＶラインのリセット時刻から、ｍＫ番目のＶラインのサンプリング時刻までの間、対応する変調光１５１を照射するよう、照射制御信号を送信する。
【００６１】
本制御を、図７に示す具体例を用いて説明する。撮像空間は、図２に示すように、４つの単位照射領域に分割されて照射されるものとする。また、各単位照射領域からの入射光１５２を受光するＶライン数を４本とする。ここでは、第ｎフレーム分の電荷を蓄積するタイミングを例にあげて説明する。
【００６２】
照射制御部１４１は、１番目の分割照射部１１１が、１番目の単位照射領域からの入射光１５２を受光するＶラインの中の１番目のＶラインＬ０のリセット時間Ｔｒ＿ｎ＿０から、４番目のＶラインＬ３のサンプリング時間Ｔｓ＿ｎ＿３までの時間、変調光１５１を照射するよう照射制御信号を送信する。
【００６３】
同様に、照射制御部１４１は、２番目の分割照射部１１１が、２番目の単位照射領域に対応する１番目のＶラインＬ４のリセット時間Ｔｒ＿ｎ＿４から４番目のＶラインＬ７のサンプリング時間Ｔｓ＿ｎ＿７までの時間、３番目の分割照射部１１１が、３番目の単位照射領域に対応する１番目のＶラインＬ８のリセット時間Ｔｒ＿ｎ＿８から４番目のＶラインＬ１１のサンプリング時間Ｔｓ＿ｎ＿１１までの時間、４番目の分割照射部１１１が、４番目の単位照射領域に対応する１番目のＶラインＬ１２のリセット時間Ｔｒ＿ｎ＿１１から４番目のＶラインＬ１５のサンプリング時間Ｔｓ＿ｎ＿１５までの時間、変調光１５１を照射するよう照射制御信号を送信する。
【００６４】
これにより、本実施形態では、図７に示すように、各Ｖラインに対応する電荷蓄積部１２３が電荷を蓄積している間、対応する単位照射領域を照射するよう制御できる。
【００６５】
なお、本実施形態の距離画像生成装置１００は、ＣＰＵとメモリと記憶装置とを備え、記憶装置に格納されたプログラムを実行することにより、画像生成部１３０および制御部１４０の機能を実現する。
【００６６】
以上説明したように、本実施形態によれば、制御部１４０は、分割照射部１１１による単位照射領域への照射と、当該単位照射領域からの反射光を受光する撮像素子１２１の電荷蓄積部１２３における電荷の蓄積とが同期するよう制御する。
【００６７】
従って、本実施形態によれば、光源１１０を分割して領域毎に照射し、受光部１２０では、照射時間のみ電荷を蓄積するため、距離算出に必要な変調光の情報が含まれない周辺光のみの受光を抑えることができるとともに、距離算出に必要な変調光成分と周辺光成分との比率の変化を抑えることができ、フレームレートの低下を抑えることができる。これにより、撮影空間内に反射光の強い領域がある場合であっても、フレームレートを維持しながら、算出される距離値の精度を高めることができる。
【００６８】
また、本実施形態によれば、制御部１４０は、分割照射部１１１による単位照射領域への照射を制御する照射制御部１４１と、電荷蓄積部１２３による電荷の蓄積を制御する蓄積制御部１４２と、を備え、照射制御部１４１が、蓄積制御部１４２による前記電荷の蓄積の制御に従って、分割照射部１１１による照射を制御することにより、同期制御を実現する。
【００６９】
このため、本実施形態によれば、各電荷蓄積部１２３において、距離画像生成部１３１が距離画像を算出するために必要な電荷を十分に蓄積できる。
【００７０】
なお、上記実施形態では、蓄積制御部１４２による電荷蓄積タイミングの制御に応じて照射制御部１４１が分割照射を制御しているが、これに限られない。同期制御は、照射制御部１４１による分割照射タイミングの制御に応じて、蓄積制御部１４２が電荷蓄積期間を制御するよう構成してもよい。
【００７１】
この場合、照射制御部１４１は、予め定められた分割照射期間、各分割照射部１１１が、それぞれ対応する単位照射領域を照射するよう照射制御信号を送信する。一方、蓄積制御部１４２は、分割照射期間に応じて、対応するＶラインの電荷蓄積開始時刻、電荷蓄積終了時刻、電荷読出し時刻をそれぞれ決定し、各電荷蓄積部１２３に、各信号を送信する。
【００７２】
例えば、図７の例では、１番目の単位照射領域に対応する１番目のＶラインのリセット時間を、１番目の分割照射部１１１の分割照射開始時間に設定し、４番目のＶラインのサンプリング時間を、同分割照射部１１１の分割照射終了時間になるよう、各Ｖラインの電荷蓄積開始時間、終了時間を決定する。
【００７３】
このように構成することで、光源１１０の照射制御が簡易になる。例えば、上記実施形態では、光源１１０が複数のＬＥＤで構成されている場合を例にあげて説明しているが、その他の構成の光源１１０も利用可能である。
【００７４】
例えば、図８に示すように、光源１１０として、点光源であるレーザ光源３００を用いるものであってもよい。
【００７５】
この場合、光源１１０は、レーザ光源３００とスキャン手段３２０とを備える。照射制御部１４１は、スキャン手段３２０を制御し、レーザ光源３００から出射した光を、図中、ｘ方向およびｙ方向に走査する。スキャン手段３２０には、ミラーを回転させて変調光を走査するガルバノミラー、ミラーを振動させて変調光を走査するＭＥＭＳなどが用いられる。なお、走査方向が１軸方向（例えば、ｙ軸方向）のみの場合、拡散板３３０を用い、レーザ光源３００から出射した光をｘ軸方向に拡散する（図８：３４０）。
【００７６】
点光源であるレーザ光源３００を用いる場合の、レーザ光源３００が照射する領域と、対応するＶラインとを図９（ａ）に示す。スキャンの周期Ｔｓｃａｎ毎に、撮影空間は、図９（ａ）の上方（ＶラインＬ０）から下方（ＶラインＬ１５）に向かって照射される。
【００７７】
図９（ｂ）は、光源１１０の照射タイミング（スキャンタイミング）に応じて、撮像素子１２１の電荷蓄積部１２３の電荷蓄積タイミングを制御する様子を説明するための図である。
【００７８】
ＶラインＬ０が対応する撮影空間の領域を照射し始める時間Ｔｒ＿ｎ＿０に、ＶラインＬ０にリセット信号を送信する。光源１１０のスキャンが進み、ＶラインＬ０が対応する撮影空間の領域の照射が終わるタイミングＴｓ＿ｎ＿０に、ＶラインＬ０にサンプリング信号を送信するとともに、電荷読出信号を送信する。同様に、ＶラインＬ１が対応する撮影空間の領域の照射が始まるタイミングＴｒ＿ｎ＿１に、ＶラインＬ１にリセット信号を送信し、照射が終わる時間Ｔｓ＿ｎ＿１に、サンプリング信号と電荷読出信号とを送信する。
【００７９】
このように制御することにより、電荷蓄積期間と光源照射時間とを合致させることができ、よりフレアを抑えることができるとともに、蓄積する電荷の信頼性を高めることができる。
【００８０】
なお、光源１１０の照射タイミングと、受光部１２０における電荷蓄積タイミングとの制御は、いずれかに依存して行うものには限られない。例えば、予め定められたパラメータから、各単位照射領域への照射タイミング、各電荷蓄積部１２３の電荷の蓄積タイミングが一意に決定する場合、決定するタイミングに従って制御を行う。
【００８１】
例えば、電荷蓄積期間は、一般に算出される画素値の精度を高めるため、一定であることが望ましい。このように、電荷蓄積期間が一定である場合、各電荷蓄積部１２３の蓄積タイミングは一意に決定する。このような場合、予め、電荷蓄積タイミングおよび照射タイミングを決定し、それに従って、制御することができる。
【００８２】
電荷蓄積期間をＴＱ、電荷読出し時間をＴＲ、照射領域の分割数（単位照射領域数）をＭ、１つの単位照射領域からの入射光１５２を受光するＶライン数をＫとする。Ｍ、Ｋは自然数である。また、ローリングシャッタ方式を用い、電荷蓄積終了と同時に電荷の読出しを開始するものとする。
【００８３】
電荷読出し時間ＴＲは定まっているため、最初のＶラインのサンプリング信号送信時刻（サンプリング時刻）をＴｓ１とすると、２番目のＶラインのサンプリング時刻はＴｓ１＋ＴＲとなる。電荷蓄積期間ＴＱも定まっているため、最初のＶラインのリセット信号送信時刻（リセット時刻）をＴｒ１とすると、２番目のＶラインのリセット時刻Ｔｒ２はＴｒ１＋ＴＲとなる。従って、Ｋ番目のＶラインのリセット時刻ＴｒＫは、Ｔｒ１＋（Ｋ−１）ＴＲとなる。
【００８４】
また、最初のＶラインのサンプリング時刻Ｔｓ１は、Ｔｒ１＋ＴＱである。また、Ｋ番目のＶラインのサンプリング時刻Ｔｒｓは、Ｔｒ１＋（Ｋ-１）ＴＲ＋ＴＱとなる。
【００８５】
蓄積制御部１４２は、各Ｖラインに対応する電荷蓄積部１２３に、１番目のＶラインのリセット時刻Ｔｒ１から、ＴＲ毎に順に各Ｖラインにリセット信号を送信し、Ｔｓ１（＝Ｔｒ１＋ＴＱ）から、ＴＲ毎に順にＶラインにサンプリング信号、電荷読出信号を送信する。
【００８６】
また、１つの単位照射領域に対応するＶライン数はＫであるため、１番目の分割照射部１１１が１番目のＶラインの電荷蓄積開始時刻Ｔｒ１から、Ｋ番目のＶラインの電荷蓄積終了時刻（サンプリング時刻）Ｔｒ１＋（Ｋ-１）ＴＲ＋ＴＱまで照射するよう制御する。照射期間は、Ｔｒ１＋（Ｋ-１）ＴＲ＋ＴＱ―Ｔｒ＝（Ｋ-１）ＴＲ＋ＴＱである。
【００８７】
また、２番目の分割照射部１１１の１番目のＶラインは、Ｋ＋１番目のＶラインであるため、そのリセット時刻ＴｒＫ＋１は、Ｔｒ１＋ＫＴＲである。従って、１番目のＶラインのリセット時刻との差分は、Ｔｒ１＋ＫＴＲ−Ｔｒ１＝ＫＴＲとなる。
【００８８】
よって、照射制御部１４１は、Ｔｒ１からｋＴＲ毎に、各分割照射部１１１に順に、（Ｋ-１）ＴＲ＋ＴＱ間照射するよう照射制御信号を出力する。
【００８９】
以上説明したように、本実施形態によれば、各Ｖラインは、電荷蓄積期間中、対応する単位照射領域に変調光が照射されていることになる。すなわち、各Ｖラインを構成する電荷蓄積部１２３は、対応する単位照射領域が照射されている間のみ電荷を蓄積する。言い換えれば、各Ｖラインの電荷蓄積部１２３は、変調光が照射されていない時には電荷の蓄積を行わない。従って、各撮像素子１２１において、環境光の混入を最小限にすることができる。これにより、高い精度の距離値を得ることができる。
【００９０】
＜＜第二の実施形態＞＞
次に、本発明を適用する第二の実施形態を説明する。上記実施形態では、変調光の照射タイミングと、電荷の蓄積タイミングとを、同期制御している。一方、本実施形態では、照射光強度画像を併用し、照射光強度の強弱に応じた制御を加える。以下、本実施形態について、第一の実施形態と異なる構成に主眼をおいて説明する。
【００９１】
図１０は、本実施形態の距離画像生成装置６００のブロック図である。本図に示すように、本実施形態の距離画像生成装置６００は、第一の実施形態同様、変調光１５１と入射光１５２との位相差を用いて距離画像を生成する光飛行時間型距離画像センサを用いるもので、光源１１０と、受光部１２０と、画像生成部６３０と、制御部６４０と、を備える。
【００９２】
本実施形態の光源１１０、受光部１２０は、第一の実施形態の同名の構成と基本的に同様の構成を有する。一方、本実施形態の画像生成部６３０は、上記各実施形態のように、距離画像生成部１３１に加え、照射光強度画像生成部１３２を備える。
【００９３】
照射光強度画像生成部１３２は、各単位蓄積部に振り分けられた電荷量に所定の演算を施し、各画素の位置に対応する撮影空間の照射光強度値を算出する。このとき、距離画像生成部１３１が距離値を算出するために用いる上記各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４をそのまま用いる。これを用い、照射強度画像生成部１３２は、画素毎に以下の式（３）に従って、電荷蓄積期間Δｔ毎に、照射光強度値Ｂを算出し、照射光強度値を画素値とする照射光強度画像を生成する。
【数３】
【００９４】
なお、一般に輝度画像の画素値として用いられるのは、以下の式（４）に従って、４つの電荷蓄積部に振り分けられた電荷の平均値Ａである。
【数４】
【００９５】
本実施形態では、照射光強度画像生成部１３２による照射光強度画像の、画素値（照射光強度値）に応じて、電荷蓄積期間を調整する。
【００９６】
これを実現するため、本実施形態の制御部６４０は、照射制御部１４１と、蓄積制御部１４２に加え、強度判別部１４３を備える。
【００９７】
強度判別部１４３は、照射光強度画像生成部１３２が照射光強度画像を生成する毎に、各単位照射領域の照射光強度の強弱を判別する。判別は、予め定めた手法により行う。例えば、各単位照射領域に対応する画素群の画素値の平均値を計算し、予め定めた閾値を超える場合、当該単位照射領域の照射光強度が強い高強度領域と判別する。また、予め定めた閾値以上の強度を持つ画素が一定数以上ある単位照射領域を高強度領域と判別してもよい。
【００９８】
本実施形態の照射制御部１４１は、強度判別部１４３による判別結果を受け、照射を制御する。例えば、高強度領域と判別された単位照射領域については、当該単位照射領域への照射を、他の単位照射領域への照射と重ならないよう制御する。
【００９９】
この場合の、単位照射領域と照射時間との関係を図１１（ａ）に示す。ここでは、一例として、単位照射領域数が４の場合を示す。また、４番目の単位照射領域が、高強度領域と判別されたものとする。
【０１００】
なお、このとき、蓄積制御部１４２は、図１１（ｂ）に示すように、各単位照射領域に対応するＶラインの電荷の蓄積が、照射時間内に行われるよう、各Ｖラインの蓄積開始時刻（リセット信号送信時刻）、蓄積終了時刻（サンプリング信号送信時刻）、および、電荷読出し時刻（読出信号送信時刻）を決定する。
【０１０１】
本実施形態の制御部６４０による照射、電荷蓄積制御の流れを図１２を用いて説明する。ここでは、単位照射領域数をＭとする。ｍは、１≦ｍ≦Ｍを満たすカウンタとする。
【０１０２】
まず、制御部６４０は、予め定めた条件に従って、各単位照射領域の照射タイミングを決定する（ステップＳ２１０１）。また、各単位照射領域の照射タイミングに応じて、対応するＶライン群の電荷蓄積タイミングを決定する（ステップＳ２１０２）。このとき、各単位照射領域への分割照射部１１１による照射時間に、当該単位照射領域に対応するＶライン群の全ての電荷蓄積部１２３の電荷蓄積期間が含まれるよう、各電荷蓄積タイミングを決定する。
【０１０３】
そして、制御部６４０は、カウンタｍを１とし（ステップＳ２１０３）、照射制御部１４１および蓄積制御部１４２に、決定したタイミングに応じて、照射制御信号、リセット信号、サンプリング信号、電荷読出信号を出力させ、照射および電荷の蓄積を行う（ステップＳ２１０４）。
【０１０４】
ステップＳ２１０４の処理を、全単位照射領域数、繰り返す（ステップＳ２１０６、２１０７）。
【０１０５】
ｍ番目の単位照射領域分の電荷の読み出しを終えると、照射および電荷の蓄積とは独立して、距離画像生成部１３１と、照射光強度画像生成部１３２とは、それぞれ、距離画像および照射光強度画像を生成する。そして、強度判別部１４３は、当該単位照射領域が高強度領域であるか否かを判別し、判別結果を制御部６４０に通知する。制御部６４０は、高強度領域との判別結果を得た場合、当該単位照射領域への照射タイミングおよび次の単位照射領域への照射タイミングを変更する。高強度領域との判別結果を得ない場合は、照射タイミングは変更しない。
【０１０６】
全ての単位照射領域数Ｍだけ、照射および電荷の蓄積を終えると、制御部６４０は、次のフレーム用の照射および電荷の蓄積を開始する。このとき、制御部６４０は、照射タイミングの変更の有無を判別する（ステップＳ２１０８）。
【０１０７】
照射タイミングが変更されている場合、制御部６４０は、ステップＳ２１０２にもどり、変更後の照射タイミングに応じた、電荷蓄積タイミングを決定する。一方、変更されていない場合、制御部６４０は、ステップＳ２１０３へもどり、終了の指示を受け付けるまで（ステップS２１０５）、処理を繰り返す。
【０１０８】
なお、本実施形態の距離画像生成装置６００は、ＣＰＵとメモリと記憶装置とを備え、記憶装置に格納されたプログラムを実行することにより、画像生成部６３０および制御部６４０の機能を実現する。
【０１０９】
以上説明したように、本実施形態によれば、第一の実施形態の構成に加え、照射光強度を画素値とする前記撮影空間の照射光強度画像を生成する照射光強度画像生成部１３２を備え、制御部６４０は、各単位照射領域に対応する照射光強度画像の画素群の画素値を用いて、各単位照射領域が高強度領域であるか否かを判別する強度判別部１４３をさらに備える。そして、照射制御部１４１が、強度判別部１４３が高強度領域と判別した単位照射領域への照射を、他の単位照射領域への照射と時間的に重ならないよう制御する。
【０１１０】
このように、本実施形態によれば、高強度領域への照射時間を、他の単位照射領域の照射と重ならないよう制御する。従って、撮影空間内に反射光の強い領域がある場合であっても、フレアの発生を抑えることができる。さらに、受光部１２０では、照射時間のみ電荷を蓄積するため、距離算出に必要な変調光の情報が含まれない周辺光のみの受光を抑えることができるとともに、距離算出に必要な変調光成分と周辺光成分との比率の変化を抑えることができ、フレームレートの低下を抑えることができる。これにより、撮影空間内に反射光の強い領域がある場合であっても、フレームレートを維持しながら、算出される距離値の精度を高めることができる。
【０１１１】
なお、上記実施形態では、単位照射領域のうち、高強度領域については、照射時間が他の単位照射領域への照射と重ならないよう、光源１１０側の照射を制御しているが、これに限られない。例えば、高強度領域について、電荷蓄積期間を短くするよう受光部１２０側を制御するよう構成してもよい。
【０１１２】
このときの、制御部６４０による照射、電荷蓄積制御の流れを図１３を用いて説明する。ここでは、単位照射領域数をＭとする。ｍは、１≦ｍ≦Ｍを満たすカウンタとする。
【０１１３】
まず、制御部６４０は、予め定めた条件に従って、各Ｖラインの電荷蓄積タイミング（電荷蓄積開始時刻、電荷蓄積終了時刻、読み出し開始時刻）を決定する（ステップＳ２２０１）。ここでは、各Ｖラインの電荷蓄積期間には予め定めた初期値を用いる。次に、制御部６４０は、各単位照射領域に対応するＶライン数、各Ｖラインの電荷蓄積開始時刻、電荷蓄積終了時刻に応じて、照射タイミングを決定する（ステップＳ２２０２）。
【０１１４】
そして、制御部６４０は、カウンタｍを１とし（ステップＳ２２０３）、照射制御部１４１および蓄積制御部１４２に、決定したタイミングに応じて、照射制御信号、リセット信号、サンプリング信号、電荷読出信号を出力させ、照射および電荷の蓄積を行う（ステップＳ２２０４）。
【０１１５】
ステップＳ２２０４の処理を、全単位照射領域数、繰り返す（ステップＳ２２０６、Ｓ２２０７）。
【０１１６】
ｍ番目の単位照射領域分の電荷の読み出しを終えると、照射および電荷の蓄積とは独立して、距離画像生成部１３１と、照射光強度画像生成部１３２とは、それぞれ、距離画像および照射光強度画像を生成する。そして、強度判別部１４３は、当該単位照射領域が高強度領域であるか否かを判別し、判別結果を制御部６４０に通知する。制御部６４０は、高強度領域との判別結果を得た場合、当該単位照射領域に対するＶライン群の電荷蓄積期間を予め定めた規則に従って、短くする。高強度領域との判別結果を得ない場合は、電荷蓄積期間には初期値を用いる。
【０１１７】
全ての単位照射領域数Ｍだけ、照射および電荷の蓄積を終えると、制御部６４０は、次のフレーム用の照射および電荷の蓄積を開始する。このとき、制御部６４０は、電荷蓄積期間の変更の有無を判別する（ステップＳ２２０８）。
【０１１８】
電荷蓄積期間が変更されている場合、制御部６４０は、ステップＳ２２０２にもどり、変更後の電荷蓄積期間に応じた、照射タイミングを決定する。一方、変更されていない場合、制御部６４０は、ステップＳ２２０３へもどり、終了の指示を受け付けるまで（ステップＳ２２０５）、処理を繰り返す。
【０１１９】
なお、上記各実施形態では、電荷蓄積および読み出し方式として、ローリングシャッタ方式を用いる場合を例にあげて説明したが、これに限られない。グローバルシャッタ方式を用いてもよい。この場合、図５（ａ）に示す電荷蓄積および読み出しを、単位照射領域毎に行うよう制御する。
【符号の説明】
【０１２０】
１００：距離画像生成装置、１１０：光源、１１１：分割照射部、１２０：受光部、１２１：撮像素子、１２２：光電変換素子、１２３：電荷蓄積部、１２４：読出部、１３０：画像生成部、１３１：距離画像生成部、１３２：照射光強度画像生成部、１４０：制御部、１４１：照射制御部、１４２：蓄積制御部、１４３：強度判別部、１５１：変調光、１５２：反射光、２００：物体、２１０：撮影空間、２１１：単位照射領域、２１２：単位照射領域、２１３：単位照射領域、２１４：単位照射領域、３００：レーザ光源、３２０：スキャン手段、３３０：拡散板、６００：距離画像生成装置、６３０：画像生成部、６４０：制御部
【特許請求の範囲】
【請求項１】
撮影空間を２つ以上の単位照射領域に分割して変調光を照射する空間分割照射手段と、前記変調光が前記撮影空間内の対象物で反射した反射光を受光して受光光量に応じた電荷に変換後蓄積する複数の撮像素子と、前記複数の撮像素子それぞれに蓄積された電荷から距離値を画素値とする前記撮影空間の距離画像を生成する距離画像生成手段と、前記空間分割照射手段および前記撮像素子の動作を制御する制御手段と、を備える距離画像生成装置であって、
前記撮像素子は、
前記撮像素子毎に前記反射光を受光して電荷に変換する光電変換素子と、
前記光電変換素子で変換した電荷を蓄積する電荷蓄積手段と、を備え、
前記制御手段は、前記空間分割照射手段による前記単位照射領域への照射と、当該単位照射領域からの反射光を受光する前記撮像素子の前記電荷蓄積手段における電荷の蓄積とが同期するよう制御すること
を特徴とする距離画像生成装置。
【請求項２】
請求項１記載の距離画像生成装置であって、
前記制御手段は、
前記空間分割照射手段による前記単位照射領域への照射を制御する照射制御手段と、
前記電荷蓄積手段による電荷の蓄積を制御する蓄積制御手段と、を備え、
前記照射制御手段は、前記蓄積制御手段による前記電荷の蓄積の制御に従って、前記空間分割手段の照射を制御すること
を特徴とする距離画像生成装置。
【請求項３】
請求項１記載の距離画像生成装置であって、
前記制御手段は、
前記空間分割照射手段による前記単位照射領域への照射を制御する照射制御手段と、
前記電荷蓄積手段による電荷の蓄積を制御する蓄積制御手段と、を備え、
前記蓄積制御手段は、前記照射制御手段による照射の制御に従って、前記電荷蓄積手段における電荷の蓄積を制御すること
を特徴とする距離画像生成装置。
【請求項４】
請求項２記載の距離画像生成装置であって、
前記複数の撮像素子それぞれに蓄積された電荷から、照射光強度を画素値とする前記撮影空間の照射光強度画像を生成する照射光強度画像生成手段をさらに備え、
前記制御手段は、
前記各単位照射領域に対応する前記照射光強度画像の画素群の画素値を用いて、当該各単位照射領域が高強度領域であるか否かを判別する判別手段をさらに備え、
前記蓄積制御手段は、前記判別手段が高強度領域と判別した単位照射領域に対応する前記撮像素子の前記電荷蓄積手段の、電荷蓄積期間を、予め定めた電荷蓄積期間より短くすること
を特徴とする距離画像生成装置。
【請求項５】
請求項３記載の距離画像生成装置であって、
前記複数の撮像素子それぞれに蓄積された電荷から、照射光強度を画素値とする前記撮影空間の照射光強度画像を生成する照射光強度画像生成手段をさらに備え、
前記制御手段は、
前記各単位照射領域に対応する前記照射光強度画像の画素群の画素値を用いて、当該各単位照射領域が高強度領域であるか否かを判別する判別手段をさらに備え、
前記照射制御手段は、前記判別手段が高強度領域と判別した単位照射領域への照射を、他の単位照射領域への照射と時間的に重ならないよう制御すること
を特徴とする距離画像生成装置。
【請求項６】
請求項１から５いずれか１項記載の距離画像生成装置であって、
前記電荷蓄積手段における電荷の蓄積は、ローリングシャッタ方式により行われること
を特徴とする距離画像生成装置。
【請求項７】
撮影空間を２つ以上の単位照射領域に分割して変調光を照射する空間分割照射手段と、前記変調光が前記撮影空間内の対象物で反射した反射光を受光して受光光量に応じた電荷に変換後蓄積する複数の撮像素子と、前記複数の撮像素子それぞれに蓄積された電荷から距離値を画素値とする前記撮影空間の距離画像を生成する距離画像生成手段と、を備える距離画像生成装置における照射および電荷蓄積制御方法であって、
前記空間分割照射手段による前記単位照射領域への照射と、当該単位照射領域からの反射光を受光する前記撮像素子における電荷の蓄積とを同期させる同期制御ステップを備えること
を特徴とする照射および電荷蓄積制御方法。
【請求項１】
撮影空間を２つ以上の単位照射領域に分割して変調光を照射する空間分割照射手段と、前記変調光が前記撮影空間内の対象物で反射した反射光を受光して受光光量に応じた電荷に変換後蓄積する複数の撮像素子と、前記複数の撮像素子それぞれに蓄積された電荷から距離値を画素値とする前記撮影空間の距離画像を生成する距離画像生成手段と、前記空間分割照射手段および前記撮像素子の動作を制御する制御手段と、を備える距離画像生成装置であって、
前記撮像素子は、
前記撮像素子毎に前記反射光を受光して電荷に変換する光電変換素子と、
前記光電変換素子で変換した電荷を蓄積する電荷蓄積手段と、を備え、
前記制御手段は、前記空間分割照射手段による前記単位照射領域への照射と、当該単位照射領域からの反射光を受光する前記撮像素子の前記電荷蓄積手段における電荷の蓄積とが同期するよう制御すること
を特徴とする距離画像生成装置。
【請求項２】
請求項１記載の距離画像生成装置であって、
前記制御手段は、
前記空間分割照射手段による前記単位照射領域への照射を制御する照射制御手段と、
前記電荷蓄積手段による電荷の蓄積を制御する蓄積制御手段と、を備え、
前記照射制御手段は、前記蓄積制御手段による前記電荷の蓄積の制御に従って、前記空間分割手段の照射を制御すること
を特徴とする距離画像生成装置。
【請求項３】
請求項１記載の距離画像生成装置であって、
前記制御手段は、
前記空間分割照射手段による前記単位照射領域への照射を制御する照射制御手段と、
前記電荷蓄積手段による電荷の蓄積を制御する蓄積制御手段と、を備え、
前記蓄積制御手段は、前記照射制御手段による照射の制御に従って、前記電荷蓄積手段における電荷の蓄積を制御すること
を特徴とする距離画像生成装置。
【請求項４】
請求項２記載の距離画像生成装置であって、
前記複数の撮像素子それぞれに蓄積された電荷から、照射光強度を画素値とする前記撮影空間の照射光強度画像を生成する照射光強度画像生成手段をさらに備え、
前記制御手段は、
前記各単位照射領域に対応する前記照射光強度画像の画素群の画素値を用いて、当該各単位照射領域が高強度領域であるか否かを判別する判別手段をさらに備え、
前記蓄積制御手段は、前記判別手段が高強度領域と判別した単位照射領域に対応する前記撮像素子の前記電荷蓄積手段の、電荷蓄積期間を、予め定めた電荷蓄積期間より短くすること
を特徴とする距離画像生成装置。
【請求項５】
請求項３記載の距離画像生成装置であって、
前記複数の撮像素子それぞれに蓄積された電荷から、照射光強度を画素値とする前記撮影空間の照射光強度画像を生成する照射光強度画像生成手段をさらに備え、
前記制御手段は、
前記各単位照射領域に対応する前記照射光強度画像の画素群の画素値を用いて、当該各単位照射領域が高強度領域であるか否かを判別する判別手段をさらに備え、
前記照射制御手段は、前記判別手段が高強度領域と判別した単位照射領域への照射を、他の単位照射領域への照射と時間的に重ならないよう制御すること
を特徴とする距離画像生成装置。
【請求項６】
請求項１から５いずれか１項記載の距離画像生成装置であって、
前記電荷蓄積手段における電荷の蓄積は、ローリングシャッタ方式により行われること
を特徴とする距離画像生成装置。
【請求項７】
撮影空間を２つ以上の単位照射領域に分割して変調光を照射する空間分割照射手段と、前記変調光が前記撮影空間内の対象物で反射した反射光を受光して受光光量に応じた電荷に変換後蓄積する複数の撮像素子と、前記複数の撮像素子それぞれに蓄積された電荷から距離値を画素値とする前記撮影空間の距離画像を生成する距離画像生成手段と、を備える距離画像生成装置における照射および電荷蓄積制御方法であって、
前記空間分割照射手段による前記単位照射領域への照射と、当該単位照射領域からの反射光を受光する前記撮像素子における電荷の蓄積とを同期させる同期制御ステップを備えること
を特徴とする照射および電荷蓄積制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−５０３１０（Ｐ２０１３−５０３１０Ａ）
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願番号】特願２０１１−１８６８３１（Ｐ２０１１−１８６８３１）
【出願日】平成２３年８月３０日（２０１１．８．３０）
【出願人】（０００００２３０３）スタンレー電気株式会社 (2,684)
【Ｆターム（参考）】
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願日】平成２３年８月３０日（２０１１．８．３０）
【出願人】（０００００２３０３）スタンレー電気株式会社 (2,684)
【Ｆターム（参考）】
[ Back to top ]