距離画像生成装置および距離画像生成方法
【課題】撮影対象空間内の対象物に応じて、効率よく高い品質の距離画像を得る。
【解決手段】光電変換素子で受光した受光量に応じた電荷量から各画素の強度値を算出し、強度が所定以下の画素についてのみ補正を行う。補正は、同一画素の電荷量を時間方向に過去に遡り加算することにより行う。加算は、加算後の電荷量から算出した強度値が所定以上となるまで行う。そして、補正後の電荷量から、距離値を算出し、距離画像を生成する。
【解決手段】光電変換素子で受光した受光量に応じた電荷量から各画素の強度値を算出し、強度が所定以下の画素についてのみ補正を行う。補正は、同一画素の電荷量を時間方向に過去に遡り加算することにより行う。加算は、加算後の電荷量から算出した強度値が所定以上となるまで行う。そして、補正後の電荷量から、距離値を算出し、距離画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、距離画像生成技術に関し、特に、光飛行時間型距離画像センサを用いた距離画像生成技術に関する。
【背景技術】
【０００２】
光飛行型距離画像センサを用いて、撮影対象空間の対象物のセンサからの距離を画素値とする距離画像を生成する距離画像生成装置がある。光飛行型距離画像センサでは、光源から照射した変調光と、当該変調光の対象物による反射光との位相差を用いて対象物の距離を算出する。位相差は、受光した反射光を光量に応じた電荷量に変換し、この電荷量に所定の演算を施すことにより算出される。
【０００３】
このように、位相差は電荷量から算出されるため、例えば、対象物が反射率の低い物体、もしくは遠方の物体である場合、得られる電荷量が小さくなるため、ノイズの割合が大きくなり、算出される位相差、すなわち、距離値の精度が悪化する。
【０００４】
これを避けるため、隣接する複数の画素の電荷量を用いて距離値を算出する空間的な平均化技術がある（例えば、特許文献１、特許文献２参照。）。また、反射光を所定の時間間隔で受光し、同一画素の連続して得られた電荷量を用いて距離値を算出する時間的な平均化技術もある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３９０６８５８号明細書
【特許文献２】特許第３９０６８５９号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
空間的な平均化技術は、実質的に有効な画素数を減らす。従って、算出される距離の精度は高まるが、空間分解能が低下し、エッジのぼやけ等、空間情報の欠如を招く。一方、時間的な平均化技術は、時間的な分解能の低下、フレームレートの低下を招き、動体を撮影した場合に画質が低下する。
【０００７】
上記各特許文献では、複数の画素を用いた平均化を行うため、空間的または時間的な分解能が低下してしまう。また、全画素に対して時間的な平均化を行うと、対象空間に反射率の高い物体、低い物体、距離の異なる物体が混在する場合、十分な距離値の精度が得られる反射率の高い物体、もしくは、近傍の物体に対応する画素までに上記処理が成されるため、全画素にわたって時間分解能が低下し、かえって画質の低下を招くことがある。
【０００８】
本発明は、上記事情に鑑みてなされたもので、撮影対象空間内の対象物に応じて、効率よく高い品質の距離画像を得る技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、光電変換素子で受光した受光量に応じた電荷量から各画素の強度値を算出し、強度が所定以下の画素についてのみ補正を行う。補正は、同一画素の電荷を時間方向に過去に遡り加算することにより行う。加算は、加算後の電荷量から算出した強度値が所定以上となるまで行う。そして、補正後の電荷から、距離値を算出し、距離画像を生成する。
【００１０】
具体的には、対象空間に変調光を照射する発光源と、前記発光源から照射され前記対象空間内の対象物で反射した反射光を含む変調光を受光して受光光量に応じた電荷に変換する光電変換素子および前記光電変換素子毎に設けられた少なくとも１つ以上の電荷蓄積手段を画素毎に有する受光手段と、前記発光源の変調に同期して前記各光電変換素子で変換した電荷を前記複数の電荷蓄積手段に振り分ける制御手段と、前記電荷蓄積手段に蓄積された電荷から、画素毎の前記対象物までの距離値を求め当該距離値を画素値とする距離画像を生成する距離画像生成手段と、を備える距離画像生成装置であって、前記距離画像生成手段は、前記各電荷蓄積部に蓄積された電荷から、前記変調光の強度値を算出し、当該強度値を画素値とする強度画像を生成する強度画像生成手段と、各画素の前記強度値に応じて当該画素の補正を行うか否かを決定し、補正を行うと決定された補正対象画素の画素値の補正を行う補正手段と、を備えることを特徴とする距離画像生成装置を提供する。
【００１１】
また、対象空間に変調光を照射する発光源と、前記発光源から照射され前記対象空間内の対象物で反射した反射光を含む変調光を受光して受光光量に応じた電荷に変換する光電変換素子および前記光電変換素子毎に設けられた少なくとも１つ以上の電荷蓄積手段を画素毎に有する受光手段と、前記発光源の変調に同期して前記各光電変換素子で変換した電荷を前記複数の電荷蓄積手段に振り分ける制御手段と、前記電荷蓄積手段に蓄積された電荷から、画素毎の前記対象物までの距離値を求め当該距離値を画素値とする距離画像を生成する距離画像生成手段と、を備える距離画像生成装置における距離画像生成方法であって、前記各電荷蓄積部に蓄積された電荷から、前記変調光の強度値を算出し、当該強度値を画素値とする強度画像を生成する強度画像生成ステップと、各画素の前記強度値に応じて当該画素の画素値の補正を行うか否かを決定し、補正を行うと決定された補正対象画素の画素値の補正を行う補正ステップと、を備えることを特徴とする距離画像生成方法を提供する。
【発明の効果】
【００１２】
本発明によれば、撮影対象空間内の対象物に応じて、高い品質の距離画像を効率よく得ることができる。
【図面の簡単な説明】
【００１３】
【図１】第一の実施形態の距離画像生成装置のブロック図である。
【図２】距離画像生成の原理を説明するための説明図である。
【図３】照射される変調光の一例を説明するための図である。
【図４】位相差φの算出式を説明するための説明図である。
【図５】距離値のばらつきの発生を説明するための説明図である。
【図６】強度値に応じた演算座標上のＣｘ、Ｃｙ値の分布領域を説明するための説明図である。
【図７】強度値が小さい場合の分布領域と位相差φのばらつきを説明するための説明図である。
【図８】強度値が小さい場合の分布領域と位相差φのばらつきを説明するための説明図である。
【図９】第一の実施形態の補正画素の決定方法の原理を説明するための説明図である。
【図１０】第一の実施形態の補正の原理を説明するための説明図である。
【図１１】第一の実施形態の距離画像生成部の機能ブロック図である。
【図１２】第一の実施形態の補正処理のフローチャートである。
【図１３】第一の実施形態の加算処理のフローチャートである。
【図１４】第一の実施形態の補正処理の一部を実現する論理回路の一例のブロック図である。
【図１５】第一の実施形態の補正処理の一部を実現する論理回路の一例のブロック図である。
【図１６】第二の実施形態の距離画像生成部の機能ブロック図である。
【図１７】第二の実施形態の距離画像生成処理のフローチャートである。
【図１８】第二の実施形態の加算処理のフローチャートである。
【発明を実施するための形態】
【００１４】
＜＜第一の実施形態＞＞
以下、本発明を適用する第一の実施形態について説明する。以下、本発明の実施形態を説明するための全図において、同一機能を有するものは同一符号を付し、その繰り返しの説明は省略する。
【００１５】
本実施形態の説明に先立ち、本実施形態で用いる光飛行型距離画像センサ（以下、距離画像センサと呼ぶ。）を用いた距離画像生成装置の構成を説明する。図１は、距離画像センサを用いる距離画像生成装置１００のブロック図である。
【００１６】
図１に示すように、距離画像生成装置１００は、光源１１０と受光部１２０と制御部１３０と距離画像生成部１４０とを備える。
【００１７】
光源１１０は、対象空間に変調した光（例えば、正弦波もしくは矩形波等で高速に変調させた赤外光もしくは可視光）１１１を照射する発光源である。光源１１０には、ＬＥＤ等の高速変調が可能なデバイスが用いられる。
【００１８】
受光部１２０は、光源１１０から照射された変調光１１１が対象空間内の物体２００で反射された反射光を含む入射光１１２を受光し、電荷に変換する。これを実現するため、受光部１２０は、入射光１１２を受光し、受光量を電荷量に変換する複数の光電変換素子１２１と、光電変換素子により得られた電荷量を蓄積する少なくとも一つ以上の電荷蓄積部１２２と、を備える。この受光部１２０により画素が形成される。各光電変換素子１２１は、距離画像の各画素に対応し、規則的に配列される。また、距離情報である変調光１１１と入射光１１２の位相差を算出するためには、少なくとも３以上の位相情報が必要であるため、各位相情報を有している電荷蓄積部１２２は、３以上の予め定められた数、用いられ、一つの距離情報を生成する。以下、本実施形態では、４つ用いられる場合を例にあげて説明する。
【００１９】
制御部１３０は、光源１１０と受光部１２０と距離画像生成部１４０の動作を制御する。制御部１３０は、変調された信号を光源１１０に送り、光源１１０は、この信号に従って、対象空間に変調光１１１を照射する。また、制御部１３０は、受光部１２０に変調光１１１の変調周波数に同期する同期信号を送信する。受光部１２０では、光電変換素子１２１が、物体２００により反射された反射光を含む入射光１１２を電荷量に変換する。そして、得られた電荷量を、この同期信号に従って、各光電変換素子１２１に対応づけて設けられる４つの電荷蓄積部１２２のそれぞれに振り分ける。ここでは、変調の１周期を４等分した期間毎に、これらの４つの電荷蓄積部に振り分ける。
【００２０】
なお、電荷蓄積部１２２には、電荷量そのものを蓄積してもよいし、この電荷量をＡＤ変換後のデータを蓄積してもよい。
【００２１】
距離画像生成部１４０は、各電荷蓄積部１２２に振り分けられた電荷に所定の演算を施し、変調光１１１と入射光１１２との位相差を算出し、画素値が距離値である距離画像を生成する。以下、変調光１１１と入射光１１２との位相差から距離値を算出する原理を説明する。
【００２２】
図２は、距離画像を生成する原理を説明するための図である。変調光１１１の強度が本図のような正弦曲線を描くように変化する場合、入射光１１２の強度も同様に正弦曲線を描くよう変化する。ただし、変調光１１１と入射光１１２とには、光が物体まで往復する飛行時間による位相の遅延（位相差φ）が生じる。
【００２３】
光の速度ｃは既知であるため、この位相差φと変調周波数ｆとを用い、対象物までの距離値Ｄは、以下の式（１）で求めることができる。
【数１】
【００２４】
従って、位相差φがわかれば、距離値Ｄは求めることができる。ここで、変調光１１１と入射光１１２との位相差φは、変調光１１１の１周期を４等分した各期間をＴ１、Ｔ２、Ｔ３、Ｔ４とし、それぞれの期間に蓄積される電荷量をＣ１、Ｃ２、Ｃ３、Ｃ４とすると、以下の式（２）で表される。
【００２５】
【数２】
なお、１周期を４等分した各期間Ｔ１、Ｔ２、Ｔ３、Ｔ４は、例えば、０度から９０度の間、９０度から１８０度の間、１８０度から２７０度の間、２７０度から０度の間とする。
【００２６】
なお、光源１１０の変調周波数は数十ＭＨｚである。従って、変調の１周期は数十ｎｓ程度である。このため、距離画像を得るためには、数百〜数十万周期の電荷蓄積時間を要する。本実施形態の距離画像生成部１４０は、この電荷蓄積時間Δｔ間隔で電荷蓄積部に蓄積された各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４を用い、画素毎に、式（２）に従って位相差φを求め、式（１）に従って、対象物までの距離値Ｄを求め、距離値を画素値とする距離画像を生成する。
【００２７】
なお、一般の画像は、各画素値として、以下の式（３）で表される、４つの電荷蓄積部に振り分けた電荷の平均値Ａを用いる。
【数３】
また、強度画像の各画素値となる強度値Ｂは、以下の式（４）で表される。
【数４】
【００２８】
以下、本実施形態では、時刻Ｔ（０）に開始の指示を受け付け、Δｔ毎の時刻Ｔ（１）、Ｔ（２）、Ｔ（３）・・・において、電荷蓄積部１２２から電荷量を読み出し、距離画像を生成するものとする。Ｔ（１）＝Ｔ（０）＋Δｔ、Ｔ（２）＝Ｔ（１）＋Δｔ、・・・、Ｔ（ｎ＋１）＝Ｔ（ｎ）＋Δｔ・・・である。ここで、ｎは、自然数である。時間の経過は、距離画像生成装置１００が備えるタイマで行うものとする。時刻Ｔ（ｎ）に照射、受光、蓄積される電荷はΔｔの期間に蓄積された電荷であるため、時刻Ｔ（ｎ）で生成される距離画像はΔｔの期間の空間情報（距離情報）を有する。
【００２９】
上述したように、対象物の反射率が低い場合、もしくは、対象物が遠方にある場合は、変調光の反射光量が小さくなるため、そのような物体からの入射光１１２を受光する画素に蓄積される各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４は小さくなる。それに伴い、上記式（２）における、各（Ｃ１−Ｃ３）および（Ｃ２−Ｃ４）の絶対値が小さくなる。
【００３０】
各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４には、フォトンショットノイズ、熱ノイズ、電荷読み出しノイズ、アナログデジタル変換ノイズ等、複数のノイズ成分が重畳される。このため、上記（Ｃ１−Ｃ３）および（Ｃ２−Ｃ４）の絶対値が小さくなると、各値に占めるノイズの割合が大きくなり、上記式（２）で求める位相差φの精度が悪化する。これに伴い、この位相差φを用いて式（１）に従って算出する距離値Ｄの精度も悪くなる。
【００３１】
本実施形態では、このような、各（Ｃ１−Ｃ３）および（Ｃ２−Ｃ４）の絶対値が小さく、算出される位相差φの精度が低い画素のみ、その距離値Ｄを補正する。以下、本実施形態の補正の詳細な説明に先立ち、本実施形態の補正の原理を図を用いて説明する。
【００３２】
まず、（Ｃ１−Ｃ３）および（Ｃ２−Ｃ４）の絶対値が小さくなると、算出される位相差φの精度が悪化することを図３および図４を用いて説明する。図３は、このとき照射される変調光１１１の例である。図４は、式（２）を説明するための図である。ここでは、ｘ軸に、Ｃ２−Ｃ４の値を、ｙ軸にＣ１−Ｃ３の値をプロットする座標（以下、演算座標と呼ぶ。）を用いる。なお、以下、本明細書では、Ｃ２−Ｃ４をＣｘと表し、Ｃ１−Ｃ３をＣｙと表す。
【００３３】
距離Ｄ１にある物体Ｓ１からの入射光１１２を受光する光電変換素子１２１ａの、各電荷蓄積部１２２にΔｔ間に蓄積される各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４から算出されるＣｘの値をｘ１、Ｃｙの値をｙ１とする。変調光１１１が図３に示すように照射される場合、非常に近い物体（距離が略０ｍに位置する物体）の反射光は略変調光１１１の波形となり、Ｃｙ＝ｙ１＝０となる。従って、演算座標上では、略０ｍに位置する物体はｘ軸上にプロットされる。
【００３４】
また、座標が（ｘ１、ｙ１）となる点Ｐ１と原点とを結ぶ直線とｘ軸とのなす角度θ１が、物体が距離Ｄ１にある場合の、式（２）で求められる位相差φとなる。同様に、距離Ｄ１より遠方の距離Ｄ２にある物体Ｓ２からの入射光１１２を受光する画素１２１ｂの、同Ｃｘの値をｘ２、Ｃｙの値をｙ２とすると、演算座標上では、座標が（ｘ２、ｙ２）となる点Ｐ２と原点とを結ぶ直線とｘ軸とのなす角度θ２が、物体Ｓが距離Ｄ２にある場合の、式（２）で求められる位相差φとなる。
【００３５】
上述のように、各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４には、様々なノイズ成分が重畳されるため、物体Ｓ１が距離Ｄ１に存在し続けても、受光する画素１２１ａのＣｘの値およびＣｙの値は時間の経過とともに変化する。この変化により、受光する画素１２１ａのＣｘの値およびＣｙの値は、演算座標上で、図５に示すように、ｘ軸方向およびｙ軸方向にそれぞれ所定の幅を持った領域３１０に分布する。従って、物体Ｓが同じ距離Ｄ１に存在し続けても、得られる位相差φは、領域３１０の円周方向の両端部と原点とのなす角度θ３１１からθ３１２の間でばらつき、算出される距離値Ｄも同様にばらつく。
【００３６】
なお、ノイズ成分の大きさ、すなわち、分布領域の大きさは、入射光量、温度、受光部１２０の半導体構造、基板構造などにより変化するものであるが、各電荷蓄積部１２２で蓄積する電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４によって変化するものではない。従って、図６に示すように、いずれの画素であっても、略同じ大きさとなる。また、分布領域は、ノイズ成分がない場合の点Ｐ１を中心とし、ｘ軸方向およびｙ軸方向に、略同等の長さを有する領域となる。
【００３７】
図６に示すように、ＣｘおよびＣｙの絶対値の小さい画素１２１ｂの分布領域３２０は、演算座標上では、分布領域３１０に比べ、原点に近い。図６の分布領域３２０を拡大した図７に示すように、分布領域３２０の円周方向の両端部と原点との成す角度θ３２１とθ３２２との範囲は上記の角度θ３１１とθ３１２との範囲に比べ大きい。従って、得られる位相差φのばらつきは、分布領域３１０の場合と比べ大きくなる。
【００３８】
さらに、ＣｘおよびＣｙの絶対値が小さくなると、図８に示すように、その分布領域３３０の円周方向の両端部と原点との成す角度θ３３２は０〜２πの全ての値を取りうることなり、もはや距離計測は不可能となる。
【００３９】
このように、ＣｘおよびＣｙの絶対値が小さくなればなるほど、ＣｘおよびＣｙの分布領域が原点に近づき、位相差φのばらつきが大きくなる。従って、それを用いて算出する距離値Ｄのばらつきも大きくなり、算出精度は悪化する。逆に、ＣｘおよびＣｙの絶対値がある程度大きければ、ＣｘおよびＣｙの分布領域は原点から遠ざかり、位相差φのばらつきは、無視できる程度となり、距離値Ｄの算出精度にも悪影響を与えない。
【００４０】
ここで、演算座標上での、ＣｘおよびＣｙの分布領域の中心、すなわち、図４におけるＰ１およびＰ２の、原点からの距離は、それぞれ、式（４）で求められる。従って、演算座標上では、これらの距離は、それぞれ、画素１２１ａおよび画素１２１ｂの強度値Ｂを意味する。
【００４１】
本実施形態では、これを利用し、所定の強度値Ｂを用いて、各画素について、補正するか否かを判別し、補正を行う画素を絞り込む。すなわち、所定の強度より小さい強度を有する画素のみ補正を行う。
【００４２】
なお、所定の強度値Ｂ０を有する画素は、演算座標上で同一半径の円上にプロットされる。例えば、図９の例では、所定の強度値Ｂ０を有する画素による円４０１の外の点４１１を中心とする領域４１０内に、Ｃｘ、Ｃｙの値がプロットされる画素については、補正を行わず、円４０１内の点４１２を中心とする領域４２０内に、Ｃｘ、Ｃｙの値がプロットされる画素については、補正を行うものとする。
【００４３】
補正は、図１０に示すように、時間方向に連続するフレーム（Ｔ（ｎ−１）、Ｔ（ｎ−２）、・・・）のＣｘ、Ｃｙの値をそれぞれ加算することにより行う。図１０における点４１３、４１４、４１５は、加算後のＣｘ，Ｃｙで定まる点である。このとき、加算結果から得られる強度値が、図１０の円４０２で示される強度を越えるまで行う。
【００４４】
なお、Ｃｘ，Ｃｙの値が分布する領域の大きさを左右する各種ノイズ成分は時間的にランダムなホワイトノイズであるため、領域内の出現頻度は二次元の正規分布で近似することができる。加算回数を増やすことで、この正規分布の分散を減らすことができるため、この領域の大きさを小さくすることができる。さらに、加算後のＣｘ，Ｃｙで定まる点は、加算により原点から遠ざかる方向に移動する。従って、上記加算処理により、分布領域の大きさを小さくすることができ、かつ、原点と分布領域との距離を大きくすることができるため、位相差φのばらつきを小さくすることができ、距離値Ｄのばらつきも小さくなる。
【００４５】
以上を踏まえ、本実施形態では、距離画像生成部１４０で、Δｔ毎に各電荷を読み出した後、上記手法で補正処理を施し、補正後の値を用い、距離値を算出し、距離画像を生成する。これを実現する本実施形態の距離画像生成部１４０について以下、説明する。図１１は、本実施形態の距離画像生成部１４０の機能ブロック図である。
【００４６】
本図に示すように、上記補正処理を実現するため、本実施形態の距離画像生成部１４０は、強度画像生成部１４１と、演算画像生成部１４２と、補正画像生成部１４３と、補正部１４４と、画像生成部１４５とを備える。
【００４７】
強度画像生成部１４１は、各電荷蓄積部１２２に振り分けられた各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４を用い、式（４）に従って、画素毎の強度値Ｂを算出し、強度値Ｂを画素値とする強度画像ＩＢを生成する。
【００４８】
演算画像生成部１４２は、各電荷蓄積部１２２に振り分けられた各電荷量各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４を用い、第一の演算値Ｃｘおよび第二の演算値Ｃｙをそれぞれ計算し、第一の演算値Ｃｘおよび第二の演算値Ｃｙをそれぞれ画素値とする第一の演算画像ＩＣｘおよび第二の演算画像ＩＣｙを生成する。なお、第一の演算値Ｃｘおよび第二の演算値Ｃｙは、以下の式（５）、（６）により計算される。
Ｃｘ＝Ｃ２−Ｃ４ （５）
Ｃｙ＝Ｃ１−Ｃ３ （６）
【００４９】
補正画像生成部１４３は、強度値Ｂ、第一の演算値Ｃｘおよび第二の演算値Ｃｙを用い、後述する補正部１４４が補正に用いる第一の補正演算画像ＩＣｘＣＯＲおよび第二の補正演算画像ＩＣｙＣＯＲを生成する。第一の補正演算画像ＩＣｘＣＯＲおよび第二の補正演算画像ＩＣｙＣＯＲは、第一の演算画像ＩＣｘおよび第二の演算画像ＩＣｙの、強度画像ＩＢの強度値Ｂが予め定めた閾値以上の画素に対応する画素の画素値を０としたものである。補正画像生成部１４３は、生成した第一の補正演算画像ＩＣｘＣＯＲおよび第二の補正演算画像ＩＣｙＣＯＲを、当該画像を取得した時刻に対応づけて距離画像生成装置１００が備える記憶部に記憶する。
【００５０】
後述する補正処理では、各画素の演算値に過去の補正演算画像の演算値を加算する。従って、補正に用いる両補正演算画像の、強度値Ｂが予め定めた閾値以上の画素を０とすることにより、過去に強度値Ｂが大きく、現在は強度値Ｂが小さい画素の補正において、過去の強度値Ｂが大きかった時点での影響を効率的に排除できる。
【００５１】
補正部１４４は、第一の演算画像ＩＣｘおよび第二の演算画像ＩＣｙを過去の第一の補正演算画像ＩＣｘＣＯＲおよび第二の補正演算画像ＩＣｙＣＯＲを用いて補正する。補正は、第一の演算画像ＩＣｘおよび第二の演算画像ＩＣｙの各画素について、その強度値Ｂを予め定めた閾値と比較することにより、補正の要否を判別し、補正が必要と判別された画素について行う。各画素は、その強度値が予め定めた閾値より小さい場合、補正が必要と判別される。補正が必要と判別された画素については、時刻の近い順に、過去に生成された第一の補正演算画像ＩＣｘＣＯＲおよび第二の補正演算画像ＩＣｙＣＯＲを加算することにより補正を行う。加算は、各画素について、加算後の画素値から算出される強度値Ｂが予め定めた閾値を越えるまで行う。
【００５２】
画像生成部１４５は、補正部１４４によって補正された後の第一の演算画像ＩＣｘおよび第二の演算画像ＩＣｙを用い、式（１）および式（２）に従って、各画素の距離値Ｄを算出し、距離値Ｄを画素値とする補正後の距離画像ＩＤを生成する。
【００５３】
以下、本実施形態の距離画像生成部１４０による、補正を含めた距離画像生成処理の流れを説明する。本実施形態では、電荷蓄積部１２２に電荷が蓄積されると、所定時間毎に読出し、まず、演算画像と補正に用いる補正演算画像とを生成する。そして、演算画像の各画素について補正の要否を判別し、補正が必要な画素のみ、過去の補正演算画像を用いて補正を行う。補正後の演算画像の画素値から距離画像を生成する。
【００５４】
図１２は、本実施形態の距離画像生成部１４０による距離画像生成処理の処理フローである。以下、本明細書では、時刻Ｔ（ｎ）に電荷蓄積部１２２から読み出された電荷量から生成される画像の画素値ＶをＶ（ｎ）と表す。
【００５５】
距離画像生成部１４０は、各電荷蓄積部１２２から電荷を読み出すと、演算画像生成部１４２に、全画素の第一の演算値Ｃｘ（ｎ）および第二の演算値Ｃｙ（ｎ）を算出させ、第一の演算値Ｃｘ（ｎ）を画素値とする第一の演算画像ＩＣｘ（ｎ）および第二の演算値Ｃｙ（ｎ）を画素値とする第二の演算画像ＩＣｙ（ｎ）を生成させる（ステップＳ１２０１）。
【００５６】
次に、距離画像生成部１４０は、強度画像生成部１４１に、各画素の第一の演算値Ｃｘ（ｎ）および第二の演算値Ｃｙ（ｎ）を用い、全画素の強度値Ｂ（ｎ）を算出させ、強度値Ｂ（ｎ）を画素値とする強度画像ＩＢ（ｎ）を生成させる(ステップＳ１２０２）。
【００５７】
次に、距離画像生成部１４０は、補正画像生成部１４３に、次の時刻以降の画像の補正に用いる補正演算画像を生成させる。具体的には、まず、補正画像生成部１４３は、ステップＳ１２０２で生成した強度画像ＩＢ（ｎ）の各画素について、予め記憶部に保持する第一の閾値ＴＨ１と比較する（ステップＳ１２０３）。そして、強度値Ｂ（ｎ）が第一の閾値ＴＨ１以上の画素に対応する画素の画素値を０、それ以外の画素の画素値を、それぞれ、第一の演算画像ＩＣｘ（ｎ）および第二の演算画像ＩＣｙ（ｎ）の対応する画素の画素値とし、第一の補正演算画像ＩＣｘＣＯＲ（ｎ）および第二の補正演算画像ＩＣｙＣＯＲ（ｎ）を生成する（ステップＳ１２０４）。生成した第一の補正演算画像ＩＣｘＣＯＲ（ｎ）および第二の補正演算画像ＩＣｙＣＯＲ（ｎ）は、時刻Ｔ（ｎ）に対応づけて距離画像生成装置１００が備える記憶部に記憶する（ステップＳ１２０５）。
【００５８】
次に、距離画像生成部１４０は、補正部１４４に補正処理を行わせ、第一の演算値Ｃｘ（ｎ）および第二の演算値Ｃｙ（ｎ）から、それぞれ、補正後の第一の演算値Ｃｘ（ｎ）および補正後の第二の演算値Ｃｙ（ｎ）を得る（ステップＳ１２０６）。補正処理の詳細は後述する。
【００５９】
その後、距離画像生成部１４０は、画像生成部１４５に距離画像を生成させる。具体的には、画像生成部１４５は、補正後の第一の演算画像ＩＣｘ（ｎ）の第一の演算値Ｃｘ（ｎ）および第二の演算画像ＩＣｙ（ｎ）の第二の演算値Ｃｙ（ｎ）を用い、各画素の距離値Ｄ（ｎ）を算出し、距離値Ｄ（ｎ）を画素値とする距離画像ＩＤ（ｎ）を生成する（ステップＳ１２０７）。そして、距離画像生成部１４０は、生成した距離画像ＩＤ（ｎ）は、時刻Ｔ（ｎ）に対応づけて距離画像生成装置１００が備える記憶部に記憶する（ステップＳ１２０８）。
【００６０】
以上の処理により、本実施形態の距離画像生成部１４０は、時刻Ｔ（ｎ）における距離画像ＩＤ（ｎ）を得る。
【００６１】
次に、上記補正処理内の補正部１４４による補正処理について説明する。図１３は、本実施形態の補正部１４４による補正処理の処理フローである。各画素には、１から順に画素番号が付与されているものとする。また、全画素数をＩとする。以下、本明細書では、時刻Ｔ（ｎ）に電荷蓄積部１２２から読み出された電荷量から生成される画像のｉ番目の画素の画素値ＶをＶ（ｉ、ｎ）と表す。
【００６２】
まず、補正部１４４は、画素番号をカウントする画素カウンタｉを初期化（ｉ＝１）する（ステップＳ１３０１）。また、距離画像生成タイミングをカウントする加算画像カウンタｍを初期化（ｍ＝１）する（ステップＳ１３０２）。そして、ｉ番目の画素の第一の演算値Ｃｘ（ｉ、ｎ）および第二の演算値Ｃｙ（ｉ、ｎ）を用いて、式（４）に従って、強度値Ｂ（ｉ、ｎ）を算出する（ステップＳ１３０３）。そして、その結果を、予め記憶部に保持する第二の閾値ＴＨ２と比較する（ステップＳ１３０４）。
【００６３】
算出した強度値Ｂｉ（ｎ）が第二の閾値ＴＨ２より小さい場合、Ｔ（ｎ−ｍ）に対応づけて記憶部に記憶される第一の補正演算画像ＩＣｘＣＯＲ（ｎ−ｍ）および第二の補正演算画像ＩＣｙＣＯＲ（ｎ−ｍ）の、対応する画素の画素値である第一の補正演算値ＣｘＣＯＲ（ｉ、ｎ−ｍ）および第二の補正演算値ＣｙＣＯＲ（ｉ、ｎ−ｍ）を読み出し（ステップＳ１３０５）、それぞれ、第一の演算値Ｃｘ（ｉ、ｎ）および第二の演算値Ｃｙ（ｉ、ｎ）に加算し、加算後の値を第一の演算値Ｃｘ（ｉ、ｎ）および第二の演算値Ｃｙ（ｉ、ｎ）とする（ステップＳ１３０６）。そして、カウンタｍを１インクリメントし（ステップＳ１３０７）、ステップＳ１３０３へ戻り、加算を繰り返す。
【００６４】
一方、ステップＳ１３０４において、算出した強度値Ｂ（ｉ、ｎ）が第二の閾値ＴＨ２以上の場合、全ての画素の処理を終えたか否かを判別し（ｉ＝Ｉ？）（ステップＳ１３０８）、終えていれば、処理を終了する。一方未処理の画素がある場合は、ｉを１インクリメントし（ステップＳ１３０９）、ステップＳ１３０２へ戻り、処理を繰り返す。
【００６５】
以上の補正処理により、本実施形態の補正部１４４は、各画素の強度値が第二の閾値ＴＨ２以上となる、補正後の第一の演算画像ＩＣｘ（ｎ）および補正後の第二の演算画像ＩＣｙ（ｎ）を得る。
【００６６】
なお、第一の閾値ＴＨ１と第二の閾値ＴＨ２とは、同じ値であっても、異なる値であってもよい。ただし、ＴＨ１≦ＴＨ２であることが望ましい。
【００６７】
また、加算を繰り返す回数ｍについて、例えば、予め制約を設けてもよい。最大繰り返し回数としては、例えば、３０回程度が現実的である。制約を設ける場合、その回数分だけ、過去の演算画像を保持しておけばよいため、記憶部の容量を節約できる。
【００６８】
以上、本実施形態によれば、距離画像センサで各電荷蓄積部１２２に蓄積された電荷から距離値を算出するにあたり、演算値を補正し、補正後の演算値を用いて算出する。補正後の演算値から距離値を算出するため、高い精度で距離値を得ることができる。
【００６９】
また、本実施形態によれば、補正処理において、演算値の補正の要否を強度値により判断し、補正が必要と判別された画素の演算値のみ補正を行う。すなわち、補正が不要な十分な強度値を有する画素は、蓄積された電荷からそのまま距離値を算出し、強度値が不十分な画素のみ、補正処理を行う。従って、距離画像において、影響の大きい強度値の大きい画素は電荷から算出した値をそのまま用いるため、加算の枚数を最小限にすることができ、この画素の時間分解能を維持することができる。また、一方で強度値の小さな画素の距離精度も高めることができる。
【００７０】
さらに、本実施形態では、補正処理において加算に用いる補正演算画像は、予め定められた閾値以上の値を有する画素は０にしてある。予め０にしておくことにより、補正対象画素の強度値Ｂが過去に大きな値を有していた場合の影響を効率的に排除できる。このため、より正確な補正をより高速に行うことができる。
【００７１】
従って、本実施形態によれば、撮影対象空間内の対象物に応じて、効率よく高品質の距離画像を得ることができる。
【００７２】
上記実施形態では、ＣＰＵとメモリと記憶装置とを備える情報処理装置において、ＣＰＵが記憶装置に記憶されるプログラムをメモリにロードして実行することにより、制御部１３０および距離画像生成部１４０の各機能を実現している。ただし、各機能の実現は、これに限られない。例えば、ＦＰＧＡ等の集積回路で実現してもよい。
【００７３】
図１４は、上記補正処理の、第一の補正演算画像および第二の補正演算画像の各画素値を得る処理をＦＰＧＡ等で実現する論理回路のブロック図である。４つの電荷蓄積部２１０１に蓄積された各電荷（Ｃ１、Ｃ２、Ｃ３、Ｃ４）から、演算画像生成部１４２を構成するブロック２１０２でＣ１−Ｃ３（＝Ｃｙ）を演算し、同ブロック２１０３でＣ２−Ｃ４（＝Ｃｘ）を演算する。強度画像生成部１４１を構成するブロック２１０４で強度値Ｂを計算し、計算した強度値Ｂと第一の閾値格納部２１０５に格納される第一の閾値ＴＨ１とを比較器２１０６で比較する。
【００７４】
マルチプレクサ２１０７および２１０８は、ブロック２１０２およびブロック２１０３の出力である第一の演算値Ｃｘおよび第二の演算値Ｃｙと０とを、それぞれ比較器２１０６の出力によって切り替える。すなわち、比較器２１０６からの出力が、計算した強度値Ｂが第一の閾値ＴＨ１以上であることを示すものであれば、マルチプレクサ２１０７および２１０８は、それぞれブロック２１０２および２１０３の値を０とし、出力する。一方、比較器２１０６からの出力が、計算した強度値Ｂが第一の閾値ＴＨ１より小さいことを示すものの場合、マルチプレクサ２１０７および２１０８は、それぞれブロック２１０２および２１０３の値をそのまま出力する。
【００７５】
図１４に示す論理回路により、電荷蓄積部１２２に蓄積された電荷から、第一の補正演算値および第二の補正演算値を得る。
【００７６】
図１５は、上記補正処理の補正処理（ステップＳ１２０６）をＦＰＧＡ等で実現するための論理回路のブロック図である。図中の係数ｍは繰り返し処理の係数であり、初期値は１である。ブロック２２０１は補正処理に用いられるデータ源であり、ｍ＝１のときは電荷蓄積部１２２の情報が用いられ、ブロック２２０２で第一の演算値Ｃ１−Ｃ３（＝Ｃｙ）を、ブロック２２０３では第二の演算値Ｃ２−Ｃ４（＝Ｃｘ）をそれぞれ算出する。ｍが１以外の場合は、データ源２２０１として補正後の第一の演算画像および第二の演算画像が用いられ、各画素値がブロック２２０２、２２０３で用いられる。
【００７７】
ブロック２２０４で第一の演算値Ｃｘおよび第二の演算値Ｃｙを用いて強度値Ｂを算出し、得られた強度値Ｂと第二の閾値格納部２２０５に格納される第二の閾値ＴＨ２とを比較器２２０６で比較する。
【００７８】
一方、加算器２２０７、２２０８では、ブロック２２０１およびブロック２２０２からの出力と、それぞれ、Δｔ前に取得した第一の補正演算値および第二の補正演算値との加算を行う。
【００７９】
マルチプレクサ２２０９および２２１０は、加算後の値か加算前の値かを比較器２２０６の結果によって選択する。すなわち、強度値Ｂが第二の閾値ＴＨ２以上の場合、加算前の値を選択し、強度値Ｂが第二の閾値ＴＨ２より小さい場合は、加算後の値を選択し、第一の演算値および第二の演算値として出力する。そして、加算後の値が選択された場合、カウンタｍを１インクリメントし、加算後の第一の演算値および第二の演算値を次の補正処理のデータ源２２０１とする。一方、加算前の値が選択された場合、ブロック２２１３において、これらの第一の演算値および第二の演算値から距離画像を生成する。
【００８０】
なお、本実施形態では、補正部１４４による補正処理において、過去の第一の補正演算値ＣｘＣＯＲおよび第二の補正演算値ＣｙＣＯＲの値を、それぞれ加算している。しかし、補正処理はこれに限られない。例えば、過去の第一の補正演算値ＣｘＣＯＲおよび第二の補正演算値ＣｙＣＯＲの値との平均値を算出するよう構成してもよい。
【００８１】
また、本実施形態では、各電荷蓄積部１２２に蓄積された電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４から第一の演算値Ｃｘおよび第二の演算値Ｃｙを算出し、各演算値に対して補正を行うよう構成しているが、これに限られない。例えば、演算画像として、各電荷蓄積部１２２に蓄積された電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４それぞれを保持する４種の画像を用いてもよい。この場合、補正画像として、強度値Ｂが所定の閾値以上の画素の画素値を０としたものを４種生成し、処理時刻Ｔ（ｎ）に対応付けて保持する。補正部１４４は、処理時刻を遡り電荷量毎に補正画像の画素値をそれぞれ加算する。加算は、加算後の電荷量から算出される強度値Ｂが第二の閾値を越えるまで行う。
【００８２】
さらに、本実施形態では、距離画像生成部１４０による補正処理を含む距離画像生成処理において、各処理を画像単位で行っているが、これに限られない。例えば、画素毎に、図１２に示す全ステップを行うよう構成してもよい。
【００８３】
また、補正処理のステップＳ１３０３で強度画像Ｂ（ｉ，ｎ）を再度算出する代わりに、ステップＳ１２０２で算出した強度画像を保持し、これを用いるよう構成してもよい。
【００８４】
また、本実施形態では、所定の閾値以上の強度値を有する画素の画素値を０とする第一の補正演算画像および第二の補正演算画像を生成しているが、必ずしもこれらの補正演算画像を生成しなくてもよい。例えば、第一の演算画像および第二の演算画像を時刻Ｔ（ｎ）に対応づけて保持し、過去の演算画像を用いて補正を行うよう構成してもよい。この場合、さらに、補正処理内で、加算直前に第一の演算値および第二の演算値から強度値Ｂを算出し、この強度値Ｂを第一の閾値ＴＨ１と比較し、越えていない場合のみ加算するよう構成してもよい。
【００８５】
＜＜第二の実施形態＞＞
次に、本発明を適用する第二の実施形態について説明する。本実施形態の距離画像生成装置は、基本的に第一の実施形態と同様の構成を有する。また、本実施形態の距離画像生成処理の流れも基本的に第一の実施形態と同様である。ただし、補正部による補正処理が異なる。以下、本実施形態について、第一の実施形態と異なる構成に主眼をおいて説明する。
【００８６】
本実施形態においても、第一の実施形態同様、距離画像生成部１４０は、電荷蓄積量から各画素の強度値を算出し、強度値が予め定めた閾値以下の画素（補正画素）についてのみ、補正を行う。補正画素については、時間的な平均化技術を用いる。すなわち、同一画素の連続して得られた距離値を加算し、その平均を算出し、距離値とする。加算は、同時に過去の強度画像の画素値（強度値）を加算し、加算後の強度値が閾値以上となるまで行う。
【００８７】
図１６は、本実施形態の距離画像生成部１４０の機能ブロック図である。本図に示すように、本実施形態の距離画像生成部１４０は、強度画像生成部１４１と、補正部１４４ａと、画像生成部１４５ａと、を備える。本実施形態の強度画像生成部１４１は、第一の実施形態と同様である。
【００８８】
画像生成部１４５ａは、各電荷蓄積部１２２に振り分けられた各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４を用い、式（１）および（２）に従って、距離値Ｄを算出し、算出した距離値Ｄを画素値とする距離画像ＩＤを生成する。
【００８９】
補正部１４４ａは、過去の距離画像ＩＤおよび強度画像ＩＢを用いて、距離値Ｄを補正する。補正は、距離画像Ｄの各画素について、補正の要否を判別し、補正が必要と判別された画素について行う。各画素は、対応する強度画像ＩＢの画素の強度値Ｂが予め定めた閾値より小さい場合、補正が必要と判別される。補正が必要と判別された画素については、時刻の近い順に、過去に生成された距離画像ＩＤの対応する画素の距離値Ｄを加算し、平均を算出することにより補正を行う。加算は、同時に加算する各画素に対応する強度画像の画素の強度値Ｂの加算結果が、予め定めた閾値を越えるまで行う。
【００９０】
以下、本実施形態の距離画像生成部１４０による距離画像生成処理の流れを説明する。本実施形態では、電荷蓄積部１２２に蓄積される電荷を所定時間毎に読出し、まず、強度画像と距離画像とを生成する。そして、強度画像により各画素の補正の要否を判別し、補正が必要な画素のみ、過去の距離画像を用いて補正を行う。図１７は、本実施形態の距離画像生成処理の処理フローである。
【００９１】
距離画像生成部１４０は、各電荷蓄積部１２２から電荷を読み出すと、強度画像生成部１４１に、各電荷蓄積部１２２から読み出した電荷から、各画素の強度値Ｂ（ｎ）を算出させ、強度値Ｂ（ｎ）を画素値とする強度画像ＩＢ（ｎ）を生成させる。また、距離画像生成部１４０は、画像生成部１４５ａに、各画素の距離値Ｄ（ｎ）を算出させ、距離値Ｄ（ｎ）を画素値とする距離画像ＩＤ（ｎ）を生成させる（ステップＳ１４０１）。そして、距離画像生成部１４０は、生成した強度画像Ｂ（ｎ）および距離画像ＩＤ（ｎ）を、時刻Ｔ（ｎ）に対応づけて、距離画像生成装置１００が備える記憶部に記憶する（ステップＳ１４０２）。
【００９２】
次に、距離画像生成部１４０は、補正部１４３ａに、補正処理を行わせ、各画素の距離値Ｄ（ｎ）を更新する。これにより、距離画像生成部１４０は、補正後の距離値Ｄ（ｎ）を画素値とする補正後の距離画像ＩＤ（ｎ）を得る（ステップＳ１４０３）。本実施形態の補正処理の詳細は後述する。
【００９３】
距離画像生成部１４０は、生成した距離画像ＩＤ（ｎ）を、時刻Ｔ（ｎ）に対応づけて距離画像生成装置１００が備える記憶部に記憶する（ステップＳ１４０４）。
【００９４】
以上の処理により、本実施形態の距離画像生成部１４０は、時刻Ｔ（ｎ）における距離画像ＩＤ（ｎ）を得る。
【００９５】
次に、上記距離画像生成処理内の補正部１４４ａによる補正処理について説明する。図１８は、本実施形態の補正部１４４ａによる補正処理の処理フローである。ここでは、各画素には、１から順に画素番号が付与されているものとする。また、処理対象の画素数をＩとする。
【００９６】
まず、補正部１４４ａは、画素番号をカウントする画素カウンタｉを初期化（ｉ＝１）する（ステップＳ１５０１）。そして、ｉ番目の画素の強度値Ｂ（ｉ、ｎ）と、予め記憶部に保持する第二の閾値ＴＨ２と比較する（ステップＳ１５０２）。
【００９７】
強度値Ｂ（ｉ、ｎ）が第二の閾値ＴＨ２より小さい場合、まず、距離画像生成タイミングをカウントする加算画像カウンタｍを初期化（ｍ＝１）する（ステップＳ１５０３）。そして、Ｔ（ｎ−ｍ）に対応づけて記憶部に記憶される強度画像ＩＢ（ｎ−ｍ）および距離画像ＩＤ（ｎ−ｍ）の、対応する画素の画素値である強度値Ｂ（ｉ、ｎ−ｍ）および距離値ＩＤ（ｉ、ｎ−ｍ）を読み出し（ステップＳ１５０４）、それぞれ、強度値Ｂ（ｉ、ｎ）および距離値ＩＤ（ｉ、ｎ）に加算し、更新する（ステップＳ１５０５）。
【００９８】
そして、加算後の強度値Ｂ（ｉ、ｎ）と第二の閾値ＴＨ２とを比較する（ステップＳ１５０６）。強度値Ｂ（ｉ、ｎ）が第二の閾値ＴＨ２より小さい場合、ｍを１インクリメントし（ステップＳ１５０７）、ステップＳ１５０４へ移行する。
【００９９】
一方、強度値Ｂ（ｉ、ｎ）が第二の閾値ＴＨ２以上の場合、加算後の距離値ＩＤ（ｉ、ｎ）をｍで除算した結果で、距離値Ｄ（ｉ、ｎ）を更新する（ステップＳ１５０８）。そして、全ての処理対象画素の処理を終えたか否かを判別し（ｉ＝Ｉ？）（ステップＳ１５０９）、終えていれば、処理を終了する。一方未処理の画素がある場合は、ｉを１インクリメントし（ステップＳ１５１０）、ステップＳ１５０２へ戻り、処理を繰り返す。
【０１００】
一方、ステップＳ１５０２で強度値Ｂ（ｉ、ｎ）が第二の閾値ＴＨ２以上の場合、全ての処理対象画素の処理を終えたか否かを判別し（ｉ＝Ｉ？）（ステップＳ１５０７）、終えていれば、処理を終了する。一方、未処理の画素がある場合は、ｉを１インクリメントし（ステップＳ１５０８）、ステップＳ１５０２へ戻り、処理を繰り返す。
【０１０１】
以上の補正処理により、本実施形態の補正部１４３ａは、各画素の強度値が第二の閾値ＴＨ２以上となる補正後の距離画像ＩＤ（ｎ）を得る。
【０１０２】
なお、本実施形態においても、第一の閾値ＴＨ１と第二の閾値ＴＨ２とは、同じ値であっても、異なる値であってもよい。ただし、ＴＨ１≦ＴＨ２であることが望ましい。
【０１０３】
また、本実施形態においても、加算を繰り返す回数ｍについて、制約を設けてもよい。
【０１０４】
以上説明したように、本実施形態によれば、距離値の補正の要否を、距離値を算出する基とした電荷量から算出した強度値により判断し、補正が必要と判別された画素の距離値のみ補正を行う。すなわち、補正が不要な十分な強度値を有する画素は、蓄積された電荷から算出した距離値をそのまま用い、強度値の小さな画素のみ、距離値を時間方向に平均化する。従って、第一の実施形態同様、距離画像において、影響の大きい強度値の大きい画素は電荷から算出した値をそのまま用いるため、加算の枚数を最小限にすることができ、この画素の時間分解能を維持することができる。また、一方で強度値の小さな画素の距離精度も高めることができる。
【０１０５】
本実施形態では、ＣＰＵとメモリと記憶装置とを備える情報処理装置において、ＣＰＵが記憶装置に記憶されるプログラムをメモリにロードして実行することにより、制御部１３０および距離画像生成部１４０の各機能を実現している。しかし、第一の実施形態同様、各機能は、ＦＰＧＡ等の集積回路で実現してもよい。また、画素毎に図１７に示す全ステップを行うよう構成してもよい。
【符号の説明】
【０１０６】
１００：距離画像生成装置、１１０：光源、１１１：変調光、１１２：入射光、１２０：受光部、１２１：光電変換素子、１２２：電荷蓄積部、１３０：制御部、１４０：距離画像生成部、１４１：強度画像生成部、１４２：演算画像生成部、１４３：補正画像生成部、１４４：補正部、１４４ａ：補正部、１４５：画像生成部、１４５ａ：画像生成部、２００：物体、３１０：分布領域、３１１：角度、３１２：角度、３２０：分布領域、３２１：角度、３２２：角度、３３０：分布領域、３３２：角度、４０１：円、４０２：円、４１０：領域、４１１：領域の中心点、４１２：領域４２０の中心点、４１３：点、４１４：点、４１５：点、４２０：領域
【技術分野】
【０００１】
本発明は、距離画像生成技術に関し、特に、光飛行時間型距離画像センサを用いた距離画像生成技術に関する。
【背景技術】
【０００２】
光飛行型距離画像センサを用いて、撮影対象空間の対象物のセンサからの距離を画素値とする距離画像を生成する距離画像生成装置がある。光飛行型距離画像センサでは、光源から照射した変調光と、当該変調光の対象物による反射光との位相差を用いて対象物の距離を算出する。位相差は、受光した反射光を光量に応じた電荷量に変換し、この電荷量に所定の演算を施すことにより算出される。
【０００３】
このように、位相差は電荷量から算出されるため、例えば、対象物が反射率の低い物体、もしくは遠方の物体である場合、得られる電荷量が小さくなるため、ノイズの割合が大きくなり、算出される位相差、すなわち、距離値の精度が悪化する。
【０００４】
これを避けるため、隣接する複数の画素の電荷量を用いて距離値を算出する空間的な平均化技術がある（例えば、特許文献１、特許文献２参照。）。また、反射光を所定の時間間隔で受光し、同一画素の連続して得られた電荷量を用いて距離値を算出する時間的な平均化技術もある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３９０６８５８号明細書
【特許文献２】特許第３９０６８５９号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
空間的な平均化技術は、実質的に有効な画素数を減らす。従って、算出される距離の精度は高まるが、空間分解能が低下し、エッジのぼやけ等、空間情報の欠如を招く。一方、時間的な平均化技術は、時間的な分解能の低下、フレームレートの低下を招き、動体を撮影した場合に画質が低下する。
【０００７】
上記各特許文献では、複数の画素を用いた平均化を行うため、空間的または時間的な分解能が低下してしまう。また、全画素に対して時間的な平均化を行うと、対象空間に反射率の高い物体、低い物体、距離の異なる物体が混在する場合、十分な距離値の精度が得られる反射率の高い物体、もしくは、近傍の物体に対応する画素までに上記処理が成されるため、全画素にわたって時間分解能が低下し、かえって画質の低下を招くことがある。
【０００８】
本発明は、上記事情に鑑みてなされたもので、撮影対象空間内の対象物に応じて、効率よく高い品質の距離画像を得る技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、光電変換素子で受光した受光量に応じた電荷量から各画素の強度値を算出し、強度が所定以下の画素についてのみ補正を行う。補正は、同一画素の電荷を時間方向に過去に遡り加算することにより行う。加算は、加算後の電荷量から算出した強度値が所定以上となるまで行う。そして、補正後の電荷から、距離値を算出し、距離画像を生成する。
【００１０】
具体的には、対象空間に変調光を照射する発光源と、前記発光源から照射され前記対象空間内の対象物で反射した反射光を含む変調光を受光して受光光量に応じた電荷に変換する光電変換素子および前記光電変換素子毎に設けられた少なくとも１つ以上の電荷蓄積手段を画素毎に有する受光手段と、前記発光源の変調に同期して前記各光電変換素子で変換した電荷を前記複数の電荷蓄積手段に振り分ける制御手段と、前記電荷蓄積手段に蓄積された電荷から、画素毎の前記対象物までの距離値を求め当該距離値を画素値とする距離画像を生成する距離画像生成手段と、を備える距離画像生成装置であって、前記距離画像生成手段は、前記各電荷蓄積部に蓄積された電荷から、前記変調光の強度値を算出し、当該強度値を画素値とする強度画像を生成する強度画像生成手段と、各画素の前記強度値に応じて当該画素の補正を行うか否かを決定し、補正を行うと決定された補正対象画素の画素値の補正を行う補正手段と、を備えることを特徴とする距離画像生成装置を提供する。
【００１１】
また、対象空間に変調光を照射する発光源と、前記発光源から照射され前記対象空間内の対象物で反射した反射光を含む変調光を受光して受光光量に応じた電荷に変換する光電変換素子および前記光電変換素子毎に設けられた少なくとも１つ以上の電荷蓄積手段を画素毎に有する受光手段と、前記発光源の変調に同期して前記各光電変換素子で変換した電荷を前記複数の電荷蓄積手段に振り分ける制御手段と、前記電荷蓄積手段に蓄積された電荷から、画素毎の前記対象物までの距離値を求め当該距離値を画素値とする距離画像を生成する距離画像生成手段と、を備える距離画像生成装置における距離画像生成方法であって、前記各電荷蓄積部に蓄積された電荷から、前記変調光の強度値を算出し、当該強度値を画素値とする強度画像を生成する強度画像生成ステップと、各画素の前記強度値に応じて当該画素の画素値の補正を行うか否かを決定し、補正を行うと決定された補正対象画素の画素値の補正を行う補正ステップと、を備えることを特徴とする距離画像生成方法を提供する。
【発明の効果】
【００１２】
本発明によれば、撮影対象空間内の対象物に応じて、高い品質の距離画像を効率よく得ることができる。
【図面の簡単な説明】
【００１３】
【図１】第一の実施形態の距離画像生成装置のブロック図である。
【図２】距離画像生成の原理を説明するための説明図である。
【図３】照射される変調光の一例を説明するための図である。
【図４】位相差φの算出式を説明するための説明図である。
【図５】距離値のばらつきの発生を説明するための説明図である。
【図６】強度値に応じた演算座標上のＣｘ、Ｃｙ値の分布領域を説明するための説明図である。
【図７】強度値が小さい場合の分布領域と位相差φのばらつきを説明するための説明図である。
【図８】強度値が小さい場合の分布領域と位相差φのばらつきを説明するための説明図である。
【図９】第一の実施形態の補正画素の決定方法の原理を説明するための説明図である。
【図１０】第一の実施形態の補正の原理を説明するための説明図である。
【図１１】第一の実施形態の距離画像生成部の機能ブロック図である。
【図１２】第一の実施形態の補正処理のフローチャートである。
【図１３】第一の実施形態の加算処理のフローチャートである。
【図１４】第一の実施形態の補正処理の一部を実現する論理回路の一例のブロック図である。
【図１５】第一の実施形態の補正処理の一部を実現する論理回路の一例のブロック図である。
【図１６】第二の実施形態の距離画像生成部の機能ブロック図である。
【図１７】第二の実施形態の距離画像生成処理のフローチャートである。
【図１８】第二の実施形態の加算処理のフローチャートである。
【発明を実施するための形態】
【００１４】
＜＜第一の実施形態＞＞
以下、本発明を適用する第一の実施形態について説明する。以下、本発明の実施形態を説明するための全図において、同一機能を有するものは同一符号を付し、その繰り返しの説明は省略する。
【００１５】
本実施形態の説明に先立ち、本実施形態で用いる光飛行型距離画像センサ（以下、距離画像センサと呼ぶ。）を用いた距離画像生成装置の構成を説明する。図１は、距離画像センサを用いる距離画像生成装置１００のブロック図である。
【００１６】
図１に示すように、距離画像生成装置１００は、光源１１０と受光部１２０と制御部１３０と距離画像生成部１４０とを備える。
【００１７】
光源１１０は、対象空間に変調した光（例えば、正弦波もしくは矩形波等で高速に変調させた赤外光もしくは可視光）１１１を照射する発光源である。光源１１０には、ＬＥＤ等の高速変調が可能なデバイスが用いられる。
【００１８】
受光部１２０は、光源１１０から照射された変調光１１１が対象空間内の物体２００で反射された反射光を含む入射光１１２を受光し、電荷に変換する。これを実現するため、受光部１２０は、入射光１１２を受光し、受光量を電荷量に変換する複数の光電変換素子１２１と、光電変換素子により得られた電荷量を蓄積する少なくとも一つ以上の電荷蓄積部１２２と、を備える。この受光部１２０により画素が形成される。各光電変換素子１２１は、距離画像の各画素に対応し、規則的に配列される。また、距離情報である変調光１１１と入射光１１２の位相差を算出するためには、少なくとも３以上の位相情報が必要であるため、各位相情報を有している電荷蓄積部１２２は、３以上の予め定められた数、用いられ、一つの距離情報を生成する。以下、本実施形態では、４つ用いられる場合を例にあげて説明する。
【００１９】
制御部１３０は、光源１１０と受光部１２０と距離画像生成部１４０の動作を制御する。制御部１３０は、変調された信号を光源１１０に送り、光源１１０は、この信号に従って、対象空間に変調光１１１を照射する。また、制御部１３０は、受光部１２０に変調光１１１の変調周波数に同期する同期信号を送信する。受光部１２０では、光電変換素子１２１が、物体２００により反射された反射光を含む入射光１１２を電荷量に変換する。そして、得られた電荷量を、この同期信号に従って、各光電変換素子１２１に対応づけて設けられる４つの電荷蓄積部１２２のそれぞれに振り分ける。ここでは、変調の１周期を４等分した期間毎に、これらの４つの電荷蓄積部に振り分ける。
【００２０】
なお、電荷蓄積部１２２には、電荷量そのものを蓄積してもよいし、この電荷量をＡＤ変換後のデータを蓄積してもよい。
【００２１】
距離画像生成部１４０は、各電荷蓄積部１２２に振り分けられた電荷に所定の演算を施し、変調光１１１と入射光１１２との位相差を算出し、画素値が距離値である距離画像を生成する。以下、変調光１１１と入射光１１２との位相差から距離値を算出する原理を説明する。
【００２２】
図２は、距離画像を生成する原理を説明するための図である。変調光１１１の強度が本図のような正弦曲線を描くように変化する場合、入射光１１２の強度も同様に正弦曲線を描くよう変化する。ただし、変調光１１１と入射光１１２とには、光が物体まで往復する飛行時間による位相の遅延（位相差φ）が生じる。
【００２３】
光の速度ｃは既知であるため、この位相差φと変調周波数ｆとを用い、対象物までの距離値Ｄは、以下の式（１）で求めることができる。
【数１】
【００２４】
従って、位相差φがわかれば、距離値Ｄは求めることができる。ここで、変調光１１１と入射光１１２との位相差φは、変調光１１１の１周期を４等分した各期間をＴ１、Ｔ２、Ｔ３、Ｔ４とし、それぞれの期間に蓄積される電荷量をＣ１、Ｃ２、Ｃ３、Ｃ４とすると、以下の式（２）で表される。
【００２５】
【数２】
なお、１周期を４等分した各期間Ｔ１、Ｔ２、Ｔ３、Ｔ４は、例えば、０度から９０度の間、９０度から１８０度の間、１８０度から２７０度の間、２７０度から０度の間とする。
【００２６】
なお、光源１１０の変調周波数は数十ＭＨｚである。従って、変調の１周期は数十ｎｓ程度である。このため、距離画像を得るためには、数百〜数十万周期の電荷蓄積時間を要する。本実施形態の距離画像生成部１４０は、この電荷蓄積時間Δｔ間隔で電荷蓄積部に蓄積された各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４を用い、画素毎に、式（２）に従って位相差φを求め、式（１）に従って、対象物までの距離値Ｄを求め、距離値を画素値とする距離画像を生成する。
【００２７】
なお、一般の画像は、各画素値として、以下の式（３）で表される、４つの電荷蓄積部に振り分けた電荷の平均値Ａを用いる。
【数３】
また、強度画像の各画素値となる強度値Ｂは、以下の式（４）で表される。
【数４】
【００２８】
以下、本実施形態では、時刻Ｔ（０）に開始の指示を受け付け、Δｔ毎の時刻Ｔ（１）、Ｔ（２）、Ｔ（３）・・・において、電荷蓄積部１２２から電荷量を読み出し、距離画像を生成するものとする。Ｔ（１）＝Ｔ（０）＋Δｔ、Ｔ（２）＝Ｔ（１）＋Δｔ、・・・、Ｔ（ｎ＋１）＝Ｔ（ｎ）＋Δｔ・・・である。ここで、ｎは、自然数である。時間の経過は、距離画像生成装置１００が備えるタイマで行うものとする。時刻Ｔ（ｎ）に照射、受光、蓄積される電荷はΔｔの期間に蓄積された電荷であるため、時刻Ｔ（ｎ）で生成される距離画像はΔｔの期間の空間情報（距離情報）を有する。
【００２９】
上述したように、対象物の反射率が低い場合、もしくは、対象物が遠方にある場合は、変調光の反射光量が小さくなるため、そのような物体からの入射光１１２を受光する画素に蓄積される各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４は小さくなる。それに伴い、上記式（２）における、各（Ｃ１−Ｃ３）および（Ｃ２−Ｃ４）の絶対値が小さくなる。
【００３０】
各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４には、フォトンショットノイズ、熱ノイズ、電荷読み出しノイズ、アナログデジタル変換ノイズ等、複数のノイズ成分が重畳される。このため、上記（Ｃ１−Ｃ３）および（Ｃ２−Ｃ４）の絶対値が小さくなると、各値に占めるノイズの割合が大きくなり、上記式（２）で求める位相差φの精度が悪化する。これに伴い、この位相差φを用いて式（１）に従って算出する距離値Ｄの精度も悪くなる。
【００３１】
本実施形態では、このような、各（Ｃ１−Ｃ３）および（Ｃ２−Ｃ４）の絶対値が小さく、算出される位相差φの精度が低い画素のみ、その距離値Ｄを補正する。以下、本実施形態の補正の詳細な説明に先立ち、本実施形態の補正の原理を図を用いて説明する。
【００３２】
まず、（Ｃ１−Ｃ３）および（Ｃ２−Ｃ４）の絶対値が小さくなると、算出される位相差φの精度が悪化することを図３および図４を用いて説明する。図３は、このとき照射される変調光１１１の例である。図４は、式（２）を説明するための図である。ここでは、ｘ軸に、Ｃ２−Ｃ４の値を、ｙ軸にＣ１−Ｃ３の値をプロットする座標（以下、演算座標と呼ぶ。）を用いる。なお、以下、本明細書では、Ｃ２−Ｃ４をＣｘと表し、Ｃ１−Ｃ３をＣｙと表す。
【００３３】
距離Ｄ１にある物体Ｓ１からの入射光１１２を受光する光電変換素子１２１ａの、各電荷蓄積部１２２にΔｔ間に蓄積される各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４から算出されるＣｘの値をｘ１、Ｃｙの値をｙ１とする。変調光１１１が図３に示すように照射される場合、非常に近い物体（距離が略０ｍに位置する物体）の反射光は略変調光１１１の波形となり、Ｃｙ＝ｙ１＝０となる。従って、演算座標上では、略０ｍに位置する物体はｘ軸上にプロットされる。
【００３４】
また、座標が（ｘ１、ｙ１）となる点Ｐ１と原点とを結ぶ直線とｘ軸とのなす角度θ１が、物体が距離Ｄ１にある場合の、式（２）で求められる位相差φとなる。同様に、距離Ｄ１より遠方の距離Ｄ２にある物体Ｓ２からの入射光１１２を受光する画素１２１ｂの、同Ｃｘの値をｘ２、Ｃｙの値をｙ２とすると、演算座標上では、座標が（ｘ２、ｙ２）となる点Ｐ２と原点とを結ぶ直線とｘ軸とのなす角度θ２が、物体Ｓが距離Ｄ２にある場合の、式（２）で求められる位相差φとなる。
【００３５】
上述のように、各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４には、様々なノイズ成分が重畳されるため、物体Ｓ１が距離Ｄ１に存在し続けても、受光する画素１２１ａのＣｘの値およびＣｙの値は時間の経過とともに変化する。この変化により、受光する画素１２１ａのＣｘの値およびＣｙの値は、演算座標上で、図５に示すように、ｘ軸方向およびｙ軸方向にそれぞれ所定の幅を持った領域３１０に分布する。従って、物体Ｓが同じ距離Ｄ１に存在し続けても、得られる位相差φは、領域３１０の円周方向の両端部と原点とのなす角度θ３１１からθ３１２の間でばらつき、算出される距離値Ｄも同様にばらつく。
【００３６】
なお、ノイズ成分の大きさ、すなわち、分布領域の大きさは、入射光量、温度、受光部１２０の半導体構造、基板構造などにより変化するものであるが、各電荷蓄積部１２２で蓄積する電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４によって変化するものではない。従って、図６に示すように、いずれの画素であっても、略同じ大きさとなる。また、分布領域は、ノイズ成分がない場合の点Ｐ１を中心とし、ｘ軸方向およびｙ軸方向に、略同等の長さを有する領域となる。
【００３７】
図６に示すように、ＣｘおよびＣｙの絶対値の小さい画素１２１ｂの分布領域３２０は、演算座標上では、分布領域３１０に比べ、原点に近い。図６の分布領域３２０を拡大した図７に示すように、分布領域３２０の円周方向の両端部と原点との成す角度θ３２１とθ３２２との範囲は上記の角度θ３１１とθ３１２との範囲に比べ大きい。従って、得られる位相差φのばらつきは、分布領域３１０の場合と比べ大きくなる。
【００３８】
さらに、ＣｘおよびＣｙの絶対値が小さくなると、図８に示すように、その分布領域３３０の円周方向の両端部と原点との成す角度θ３３２は０〜２πの全ての値を取りうることなり、もはや距離計測は不可能となる。
【００３９】
このように、ＣｘおよびＣｙの絶対値が小さくなればなるほど、ＣｘおよびＣｙの分布領域が原点に近づき、位相差φのばらつきが大きくなる。従って、それを用いて算出する距離値Ｄのばらつきも大きくなり、算出精度は悪化する。逆に、ＣｘおよびＣｙの絶対値がある程度大きければ、ＣｘおよびＣｙの分布領域は原点から遠ざかり、位相差φのばらつきは、無視できる程度となり、距離値Ｄの算出精度にも悪影響を与えない。
【００４０】
ここで、演算座標上での、ＣｘおよびＣｙの分布領域の中心、すなわち、図４におけるＰ１およびＰ２の、原点からの距離は、それぞれ、式（４）で求められる。従って、演算座標上では、これらの距離は、それぞれ、画素１２１ａおよび画素１２１ｂの強度値Ｂを意味する。
【００４１】
本実施形態では、これを利用し、所定の強度値Ｂを用いて、各画素について、補正するか否かを判別し、補正を行う画素を絞り込む。すなわち、所定の強度より小さい強度を有する画素のみ補正を行う。
【００４２】
なお、所定の強度値Ｂ０を有する画素は、演算座標上で同一半径の円上にプロットされる。例えば、図９の例では、所定の強度値Ｂ０を有する画素による円４０１の外の点４１１を中心とする領域４１０内に、Ｃｘ、Ｃｙの値がプロットされる画素については、補正を行わず、円４０１内の点４１２を中心とする領域４２０内に、Ｃｘ、Ｃｙの値がプロットされる画素については、補正を行うものとする。
【００４３】
補正は、図１０に示すように、時間方向に連続するフレーム（Ｔ（ｎ−１）、Ｔ（ｎ−２）、・・・）のＣｘ、Ｃｙの値をそれぞれ加算することにより行う。図１０における点４１３、４１４、４１５は、加算後のＣｘ，Ｃｙで定まる点である。このとき、加算結果から得られる強度値が、図１０の円４０２で示される強度を越えるまで行う。
【００４４】
なお、Ｃｘ，Ｃｙの値が分布する領域の大きさを左右する各種ノイズ成分は時間的にランダムなホワイトノイズであるため、領域内の出現頻度は二次元の正規分布で近似することができる。加算回数を増やすことで、この正規分布の分散を減らすことができるため、この領域の大きさを小さくすることができる。さらに、加算後のＣｘ，Ｃｙで定まる点は、加算により原点から遠ざかる方向に移動する。従って、上記加算処理により、分布領域の大きさを小さくすることができ、かつ、原点と分布領域との距離を大きくすることができるため、位相差φのばらつきを小さくすることができ、距離値Ｄのばらつきも小さくなる。
【００４５】
以上を踏まえ、本実施形態では、距離画像生成部１４０で、Δｔ毎に各電荷を読み出した後、上記手法で補正処理を施し、補正後の値を用い、距離値を算出し、距離画像を生成する。これを実現する本実施形態の距離画像生成部１４０について以下、説明する。図１１は、本実施形態の距離画像生成部１４０の機能ブロック図である。
【００４６】
本図に示すように、上記補正処理を実現するため、本実施形態の距離画像生成部１４０は、強度画像生成部１４１と、演算画像生成部１４２と、補正画像生成部１４３と、補正部１４４と、画像生成部１４５とを備える。
【００４７】
強度画像生成部１４１は、各電荷蓄積部１２２に振り分けられた各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４を用い、式（４）に従って、画素毎の強度値Ｂを算出し、強度値Ｂを画素値とする強度画像ＩＢを生成する。
【００４８】
演算画像生成部１４２は、各電荷蓄積部１２２に振り分けられた各電荷量各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４を用い、第一の演算値Ｃｘおよび第二の演算値Ｃｙをそれぞれ計算し、第一の演算値Ｃｘおよび第二の演算値Ｃｙをそれぞれ画素値とする第一の演算画像ＩＣｘおよび第二の演算画像ＩＣｙを生成する。なお、第一の演算値Ｃｘおよび第二の演算値Ｃｙは、以下の式（５）、（６）により計算される。
Ｃｘ＝Ｃ２−Ｃ４ （５）
Ｃｙ＝Ｃ１−Ｃ３ （６）
【００４９】
補正画像生成部１４３は、強度値Ｂ、第一の演算値Ｃｘおよび第二の演算値Ｃｙを用い、後述する補正部１４４が補正に用いる第一の補正演算画像ＩＣｘＣＯＲおよび第二の補正演算画像ＩＣｙＣＯＲを生成する。第一の補正演算画像ＩＣｘＣＯＲおよび第二の補正演算画像ＩＣｙＣＯＲは、第一の演算画像ＩＣｘおよび第二の演算画像ＩＣｙの、強度画像ＩＢの強度値Ｂが予め定めた閾値以上の画素に対応する画素の画素値を０としたものである。補正画像生成部１４３は、生成した第一の補正演算画像ＩＣｘＣＯＲおよび第二の補正演算画像ＩＣｙＣＯＲを、当該画像を取得した時刻に対応づけて距離画像生成装置１００が備える記憶部に記憶する。
【００５０】
後述する補正処理では、各画素の演算値に過去の補正演算画像の演算値を加算する。従って、補正に用いる両補正演算画像の、強度値Ｂが予め定めた閾値以上の画素を０とすることにより、過去に強度値Ｂが大きく、現在は強度値Ｂが小さい画素の補正において、過去の強度値Ｂが大きかった時点での影響を効率的に排除できる。
【００５１】
補正部１４４は、第一の演算画像ＩＣｘおよび第二の演算画像ＩＣｙを過去の第一の補正演算画像ＩＣｘＣＯＲおよび第二の補正演算画像ＩＣｙＣＯＲを用いて補正する。補正は、第一の演算画像ＩＣｘおよび第二の演算画像ＩＣｙの各画素について、その強度値Ｂを予め定めた閾値と比較することにより、補正の要否を判別し、補正が必要と判別された画素について行う。各画素は、その強度値が予め定めた閾値より小さい場合、補正が必要と判別される。補正が必要と判別された画素については、時刻の近い順に、過去に生成された第一の補正演算画像ＩＣｘＣＯＲおよび第二の補正演算画像ＩＣｙＣＯＲを加算することにより補正を行う。加算は、各画素について、加算後の画素値から算出される強度値Ｂが予め定めた閾値を越えるまで行う。
【００５２】
画像生成部１４５は、補正部１４４によって補正された後の第一の演算画像ＩＣｘおよび第二の演算画像ＩＣｙを用い、式（１）および式（２）に従って、各画素の距離値Ｄを算出し、距離値Ｄを画素値とする補正後の距離画像ＩＤを生成する。
【００５３】
以下、本実施形態の距離画像生成部１４０による、補正を含めた距離画像生成処理の流れを説明する。本実施形態では、電荷蓄積部１２２に電荷が蓄積されると、所定時間毎に読出し、まず、演算画像と補正に用いる補正演算画像とを生成する。そして、演算画像の各画素について補正の要否を判別し、補正が必要な画素のみ、過去の補正演算画像を用いて補正を行う。補正後の演算画像の画素値から距離画像を生成する。
【００５４】
図１２は、本実施形態の距離画像生成部１４０による距離画像生成処理の処理フローである。以下、本明細書では、時刻Ｔ（ｎ）に電荷蓄積部１２２から読み出された電荷量から生成される画像の画素値ＶをＶ（ｎ）と表す。
【００５５】
距離画像生成部１４０は、各電荷蓄積部１２２から電荷を読み出すと、演算画像生成部１４２に、全画素の第一の演算値Ｃｘ（ｎ）および第二の演算値Ｃｙ（ｎ）を算出させ、第一の演算値Ｃｘ（ｎ）を画素値とする第一の演算画像ＩＣｘ（ｎ）および第二の演算値Ｃｙ（ｎ）を画素値とする第二の演算画像ＩＣｙ（ｎ）を生成させる（ステップＳ１２０１）。
【００５６】
次に、距離画像生成部１４０は、強度画像生成部１４１に、各画素の第一の演算値Ｃｘ（ｎ）および第二の演算値Ｃｙ（ｎ）を用い、全画素の強度値Ｂ（ｎ）を算出させ、強度値Ｂ（ｎ）を画素値とする強度画像ＩＢ（ｎ）を生成させる(ステップＳ１２０２）。
【００５７】
次に、距離画像生成部１４０は、補正画像生成部１４３に、次の時刻以降の画像の補正に用いる補正演算画像を生成させる。具体的には、まず、補正画像生成部１４３は、ステップＳ１２０２で生成した強度画像ＩＢ（ｎ）の各画素について、予め記憶部に保持する第一の閾値ＴＨ１と比較する（ステップＳ１２０３）。そして、強度値Ｂ（ｎ）が第一の閾値ＴＨ１以上の画素に対応する画素の画素値を０、それ以外の画素の画素値を、それぞれ、第一の演算画像ＩＣｘ（ｎ）および第二の演算画像ＩＣｙ（ｎ）の対応する画素の画素値とし、第一の補正演算画像ＩＣｘＣＯＲ（ｎ）および第二の補正演算画像ＩＣｙＣＯＲ（ｎ）を生成する（ステップＳ１２０４）。生成した第一の補正演算画像ＩＣｘＣＯＲ（ｎ）および第二の補正演算画像ＩＣｙＣＯＲ（ｎ）は、時刻Ｔ（ｎ）に対応づけて距離画像生成装置１００が備える記憶部に記憶する（ステップＳ１２０５）。
【００５８】
次に、距離画像生成部１４０は、補正部１４４に補正処理を行わせ、第一の演算値Ｃｘ（ｎ）および第二の演算値Ｃｙ（ｎ）から、それぞれ、補正後の第一の演算値Ｃｘ（ｎ）および補正後の第二の演算値Ｃｙ（ｎ）を得る（ステップＳ１２０６）。補正処理の詳細は後述する。
【００５９】
その後、距離画像生成部１４０は、画像生成部１４５に距離画像を生成させる。具体的には、画像生成部１４５は、補正後の第一の演算画像ＩＣｘ（ｎ）の第一の演算値Ｃｘ（ｎ）および第二の演算画像ＩＣｙ（ｎ）の第二の演算値Ｃｙ（ｎ）を用い、各画素の距離値Ｄ（ｎ）を算出し、距離値Ｄ（ｎ）を画素値とする距離画像ＩＤ（ｎ）を生成する（ステップＳ１２０７）。そして、距離画像生成部１４０は、生成した距離画像ＩＤ（ｎ）は、時刻Ｔ（ｎ）に対応づけて距離画像生成装置１００が備える記憶部に記憶する（ステップＳ１２０８）。
【００６０】
以上の処理により、本実施形態の距離画像生成部１４０は、時刻Ｔ（ｎ）における距離画像ＩＤ（ｎ）を得る。
【００６１】
次に、上記補正処理内の補正部１４４による補正処理について説明する。図１３は、本実施形態の補正部１４４による補正処理の処理フローである。各画素には、１から順に画素番号が付与されているものとする。また、全画素数をＩとする。以下、本明細書では、時刻Ｔ（ｎ）に電荷蓄積部１２２から読み出された電荷量から生成される画像のｉ番目の画素の画素値ＶをＶ（ｉ、ｎ）と表す。
【００６２】
まず、補正部１４４は、画素番号をカウントする画素カウンタｉを初期化（ｉ＝１）する（ステップＳ１３０１）。また、距離画像生成タイミングをカウントする加算画像カウンタｍを初期化（ｍ＝１）する（ステップＳ１３０２）。そして、ｉ番目の画素の第一の演算値Ｃｘ（ｉ、ｎ）および第二の演算値Ｃｙ（ｉ、ｎ）を用いて、式（４）に従って、強度値Ｂ（ｉ、ｎ）を算出する（ステップＳ１３０３）。そして、その結果を、予め記憶部に保持する第二の閾値ＴＨ２と比較する（ステップＳ１３０４）。
【００６３】
算出した強度値Ｂｉ（ｎ）が第二の閾値ＴＨ２より小さい場合、Ｔ（ｎ−ｍ）に対応づけて記憶部に記憶される第一の補正演算画像ＩＣｘＣＯＲ（ｎ−ｍ）および第二の補正演算画像ＩＣｙＣＯＲ（ｎ−ｍ）の、対応する画素の画素値である第一の補正演算値ＣｘＣＯＲ（ｉ、ｎ−ｍ）および第二の補正演算値ＣｙＣＯＲ（ｉ、ｎ−ｍ）を読み出し（ステップＳ１３０５）、それぞれ、第一の演算値Ｃｘ（ｉ、ｎ）および第二の演算値Ｃｙ（ｉ、ｎ）に加算し、加算後の値を第一の演算値Ｃｘ（ｉ、ｎ）および第二の演算値Ｃｙ（ｉ、ｎ）とする（ステップＳ１３０６）。そして、カウンタｍを１インクリメントし（ステップＳ１３０７）、ステップＳ１３０３へ戻り、加算を繰り返す。
【００６４】
一方、ステップＳ１３０４において、算出した強度値Ｂ（ｉ、ｎ）が第二の閾値ＴＨ２以上の場合、全ての画素の処理を終えたか否かを判別し（ｉ＝Ｉ？）（ステップＳ１３０８）、終えていれば、処理を終了する。一方未処理の画素がある場合は、ｉを１インクリメントし（ステップＳ１３０９）、ステップＳ１３０２へ戻り、処理を繰り返す。
【００６５】
以上の補正処理により、本実施形態の補正部１４４は、各画素の強度値が第二の閾値ＴＨ２以上となる、補正後の第一の演算画像ＩＣｘ（ｎ）および補正後の第二の演算画像ＩＣｙ（ｎ）を得る。
【００６６】
なお、第一の閾値ＴＨ１と第二の閾値ＴＨ２とは、同じ値であっても、異なる値であってもよい。ただし、ＴＨ１≦ＴＨ２であることが望ましい。
【００６７】
また、加算を繰り返す回数ｍについて、例えば、予め制約を設けてもよい。最大繰り返し回数としては、例えば、３０回程度が現実的である。制約を設ける場合、その回数分だけ、過去の演算画像を保持しておけばよいため、記憶部の容量を節約できる。
【００６８】
以上、本実施形態によれば、距離画像センサで各電荷蓄積部１２２に蓄積された電荷から距離値を算出するにあたり、演算値を補正し、補正後の演算値を用いて算出する。補正後の演算値から距離値を算出するため、高い精度で距離値を得ることができる。
【００６９】
また、本実施形態によれば、補正処理において、演算値の補正の要否を強度値により判断し、補正が必要と判別された画素の演算値のみ補正を行う。すなわち、補正が不要な十分な強度値を有する画素は、蓄積された電荷からそのまま距離値を算出し、強度値が不十分な画素のみ、補正処理を行う。従って、距離画像において、影響の大きい強度値の大きい画素は電荷から算出した値をそのまま用いるため、加算の枚数を最小限にすることができ、この画素の時間分解能を維持することができる。また、一方で強度値の小さな画素の距離精度も高めることができる。
【００７０】
さらに、本実施形態では、補正処理において加算に用いる補正演算画像は、予め定められた閾値以上の値を有する画素は０にしてある。予め０にしておくことにより、補正対象画素の強度値Ｂが過去に大きな値を有していた場合の影響を効率的に排除できる。このため、より正確な補正をより高速に行うことができる。
【００７１】
従って、本実施形態によれば、撮影対象空間内の対象物に応じて、効率よく高品質の距離画像を得ることができる。
【００７２】
上記実施形態では、ＣＰＵとメモリと記憶装置とを備える情報処理装置において、ＣＰＵが記憶装置に記憶されるプログラムをメモリにロードして実行することにより、制御部１３０および距離画像生成部１４０の各機能を実現している。ただし、各機能の実現は、これに限られない。例えば、ＦＰＧＡ等の集積回路で実現してもよい。
【００７３】
図１４は、上記補正処理の、第一の補正演算画像および第二の補正演算画像の各画素値を得る処理をＦＰＧＡ等で実現する論理回路のブロック図である。４つの電荷蓄積部２１０１に蓄積された各電荷（Ｃ１、Ｃ２、Ｃ３、Ｃ４）から、演算画像生成部１４２を構成するブロック２１０２でＣ１−Ｃ３（＝Ｃｙ）を演算し、同ブロック２１０３でＣ２−Ｃ４（＝Ｃｘ）を演算する。強度画像生成部１４１を構成するブロック２１０４で強度値Ｂを計算し、計算した強度値Ｂと第一の閾値格納部２１０５に格納される第一の閾値ＴＨ１とを比較器２１０６で比較する。
【００７４】
マルチプレクサ２１０７および２１０８は、ブロック２１０２およびブロック２１０３の出力である第一の演算値Ｃｘおよび第二の演算値Ｃｙと０とを、それぞれ比較器２１０６の出力によって切り替える。すなわち、比較器２１０６からの出力が、計算した強度値Ｂが第一の閾値ＴＨ１以上であることを示すものであれば、マルチプレクサ２１０７および２１０８は、それぞれブロック２１０２および２１０３の値を０とし、出力する。一方、比較器２１０６からの出力が、計算した強度値Ｂが第一の閾値ＴＨ１より小さいことを示すものの場合、マルチプレクサ２１０７および２１０８は、それぞれブロック２１０２および２１０３の値をそのまま出力する。
【００７５】
図１４に示す論理回路により、電荷蓄積部１２２に蓄積された電荷から、第一の補正演算値および第二の補正演算値を得る。
【００７６】
図１５は、上記補正処理の補正処理（ステップＳ１２０６）をＦＰＧＡ等で実現するための論理回路のブロック図である。図中の係数ｍは繰り返し処理の係数であり、初期値は１である。ブロック２２０１は補正処理に用いられるデータ源であり、ｍ＝１のときは電荷蓄積部１２２の情報が用いられ、ブロック２２０２で第一の演算値Ｃ１−Ｃ３（＝Ｃｙ）を、ブロック２２０３では第二の演算値Ｃ２−Ｃ４（＝Ｃｘ）をそれぞれ算出する。ｍが１以外の場合は、データ源２２０１として補正後の第一の演算画像および第二の演算画像が用いられ、各画素値がブロック２２０２、２２０３で用いられる。
【００７７】
ブロック２２０４で第一の演算値Ｃｘおよび第二の演算値Ｃｙを用いて強度値Ｂを算出し、得られた強度値Ｂと第二の閾値格納部２２０５に格納される第二の閾値ＴＨ２とを比較器２２０６で比較する。
【００７８】
一方、加算器２２０７、２２０８では、ブロック２２０１およびブロック２２０２からの出力と、それぞれ、Δｔ前に取得した第一の補正演算値および第二の補正演算値との加算を行う。
【００７９】
マルチプレクサ２２０９および２２１０は、加算後の値か加算前の値かを比較器２２０６の結果によって選択する。すなわち、強度値Ｂが第二の閾値ＴＨ２以上の場合、加算前の値を選択し、強度値Ｂが第二の閾値ＴＨ２より小さい場合は、加算後の値を選択し、第一の演算値および第二の演算値として出力する。そして、加算後の値が選択された場合、カウンタｍを１インクリメントし、加算後の第一の演算値および第二の演算値を次の補正処理のデータ源２２０１とする。一方、加算前の値が選択された場合、ブロック２２１３において、これらの第一の演算値および第二の演算値から距離画像を生成する。
【００８０】
なお、本実施形態では、補正部１４４による補正処理において、過去の第一の補正演算値ＣｘＣＯＲおよび第二の補正演算値ＣｙＣＯＲの値を、それぞれ加算している。しかし、補正処理はこれに限られない。例えば、過去の第一の補正演算値ＣｘＣＯＲおよび第二の補正演算値ＣｙＣＯＲの値との平均値を算出するよう構成してもよい。
【００８１】
また、本実施形態では、各電荷蓄積部１２２に蓄積された電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４から第一の演算値Ｃｘおよび第二の演算値Ｃｙを算出し、各演算値に対して補正を行うよう構成しているが、これに限られない。例えば、演算画像として、各電荷蓄積部１２２に蓄積された電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４それぞれを保持する４種の画像を用いてもよい。この場合、補正画像として、強度値Ｂが所定の閾値以上の画素の画素値を０としたものを４種生成し、処理時刻Ｔ（ｎ）に対応付けて保持する。補正部１４４は、処理時刻を遡り電荷量毎に補正画像の画素値をそれぞれ加算する。加算は、加算後の電荷量から算出される強度値Ｂが第二の閾値を越えるまで行う。
【００８２】
さらに、本実施形態では、距離画像生成部１４０による補正処理を含む距離画像生成処理において、各処理を画像単位で行っているが、これに限られない。例えば、画素毎に、図１２に示す全ステップを行うよう構成してもよい。
【００８３】
また、補正処理のステップＳ１３０３で強度画像Ｂ（ｉ，ｎ）を再度算出する代わりに、ステップＳ１２０２で算出した強度画像を保持し、これを用いるよう構成してもよい。
【００８４】
また、本実施形態では、所定の閾値以上の強度値を有する画素の画素値を０とする第一の補正演算画像および第二の補正演算画像を生成しているが、必ずしもこれらの補正演算画像を生成しなくてもよい。例えば、第一の演算画像および第二の演算画像を時刻Ｔ（ｎ）に対応づけて保持し、過去の演算画像を用いて補正を行うよう構成してもよい。この場合、さらに、補正処理内で、加算直前に第一の演算値および第二の演算値から強度値Ｂを算出し、この強度値Ｂを第一の閾値ＴＨ１と比較し、越えていない場合のみ加算するよう構成してもよい。
【００８５】
＜＜第二の実施形態＞＞
次に、本発明を適用する第二の実施形態について説明する。本実施形態の距離画像生成装置は、基本的に第一の実施形態と同様の構成を有する。また、本実施形態の距離画像生成処理の流れも基本的に第一の実施形態と同様である。ただし、補正部による補正処理が異なる。以下、本実施形態について、第一の実施形態と異なる構成に主眼をおいて説明する。
【００８６】
本実施形態においても、第一の実施形態同様、距離画像生成部１４０は、電荷蓄積量から各画素の強度値を算出し、強度値が予め定めた閾値以下の画素（補正画素）についてのみ、補正を行う。補正画素については、時間的な平均化技術を用いる。すなわち、同一画素の連続して得られた距離値を加算し、その平均を算出し、距離値とする。加算は、同時に過去の強度画像の画素値（強度値）を加算し、加算後の強度値が閾値以上となるまで行う。
【００８７】
図１６は、本実施形態の距離画像生成部１４０の機能ブロック図である。本図に示すように、本実施形態の距離画像生成部１４０は、強度画像生成部１４１と、補正部１４４ａと、画像生成部１４５ａと、を備える。本実施形態の強度画像生成部１４１は、第一の実施形態と同様である。
【００８８】
画像生成部１４５ａは、各電荷蓄積部１２２に振り分けられた各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４を用い、式（１）および（２）に従って、距離値Ｄを算出し、算出した距離値Ｄを画素値とする距離画像ＩＤを生成する。
【００８９】
補正部１４４ａは、過去の距離画像ＩＤおよび強度画像ＩＢを用いて、距離値Ｄを補正する。補正は、距離画像Ｄの各画素について、補正の要否を判別し、補正が必要と判別された画素について行う。各画素は、対応する強度画像ＩＢの画素の強度値Ｂが予め定めた閾値より小さい場合、補正が必要と判別される。補正が必要と判別された画素については、時刻の近い順に、過去に生成された距離画像ＩＤの対応する画素の距離値Ｄを加算し、平均を算出することにより補正を行う。加算は、同時に加算する各画素に対応する強度画像の画素の強度値Ｂの加算結果が、予め定めた閾値を越えるまで行う。
【００９０】
以下、本実施形態の距離画像生成部１４０による距離画像生成処理の流れを説明する。本実施形態では、電荷蓄積部１２２に蓄積される電荷を所定時間毎に読出し、まず、強度画像と距離画像とを生成する。そして、強度画像により各画素の補正の要否を判別し、補正が必要な画素のみ、過去の距離画像を用いて補正を行う。図１７は、本実施形態の距離画像生成処理の処理フローである。
【００９１】
距離画像生成部１４０は、各電荷蓄積部１２２から電荷を読み出すと、強度画像生成部１４１に、各電荷蓄積部１２２から読み出した電荷から、各画素の強度値Ｂ（ｎ）を算出させ、強度値Ｂ（ｎ）を画素値とする強度画像ＩＢ（ｎ）を生成させる。また、距離画像生成部１４０は、画像生成部１４５ａに、各画素の距離値Ｄ（ｎ）を算出させ、距離値Ｄ（ｎ）を画素値とする距離画像ＩＤ（ｎ）を生成させる（ステップＳ１４０１）。そして、距離画像生成部１４０は、生成した強度画像Ｂ（ｎ）および距離画像ＩＤ（ｎ）を、時刻Ｔ（ｎ）に対応づけて、距離画像生成装置１００が備える記憶部に記憶する（ステップＳ１４０２）。
【００９２】
次に、距離画像生成部１４０は、補正部１４３ａに、補正処理を行わせ、各画素の距離値Ｄ（ｎ）を更新する。これにより、距離画像生成部１４０は、補正後の距離値Ｄ（ｎ）を画素値とする補正後の距離画像ＩＤ（ｎ）を得る（ステップＳ１４０３）。本実施形態の補正処理の詳細は後述する。
【００９３】
距離画像生成部１４０は、生成した距離画像ＩＤ（ｎ）を、時刻Ｔ（ｎ）に対応づけて距離画像生成装置１００が備える記憶部に記憶する（ステップＳ１４０４）。
【００９４】
以上の処理により、本実施形態の距離画像生成部１４０は、時刻Ｔ（ｎ）における距離画像ＩＤ（ｎ）を得る。
【００９５】
次に、上記距離画像生成処理内の補正部１４４ａによる補正処理について説明する。図１８は、本実施形態の補正部１４４ａによる補正処理の処理フローである。ここでは、各画素には、１から順に画素番号が付与されているものとする。また、処理対象の画素数をＩとする。
【００９６】
まず、補正部１４４ａは、画素番号をカウントする画素カウンタｉを初期化（ｉ＝１）する（ステップＳ１５０１）。そして、ｉ番目の画素の強度値Ｂ（ｉ、ｎ）と、予め記憶部に保持する第二の閾値ＴＨ２と比較する（ステップＳ１５０２）。
【００９７】
強度値Ｂ（ｉ、ｎ）が第二の閾値ＴＨ２より小さい場合、まず、距離画像生成タイミングをカウントする加算画像カウンタｍを初期化（ｍ＝１）する（ステップＳ１５０３）。そして、Ｔ（ｎ−ｍ）に対応づけて記憶部に記憶される強度画像ＩＢ（ｎ−ｍ）および距離画像ＩＤ（ｎ−ｍ）の、対応する画素の画素値である強度値Ｂ（ｉ、ｎ−ｍ）および距離値ＩＤ（ｉ、ｎ−ｍ）を読み出し（ステップＳ１５０４）、それぞれ、強度値Ｂ（ｉ、ｎ）および距離値ＩＤ（ｉ、ｎ）に加算し、更新する（ステップＳ１５０５）。
【００９８】
そして、加算後の強度値Ｂ（ｉ、ｎ）と第二の閾値ＴＨ２とを比較する（ステップＳ１５０６）。強度値Ｂ（ｉ、ｎ）が第二の閾値ＴＨ２より小さい場合、ｍを１インクリメントし（ステップＳ１５０７）、ステップＳ１５０４へ移行する。
【００９９】
一方、強度値Ｂ（ｉ、ｎ）が第二の閾値ＴＨ２以上の場合、加算後の距離値ＩＤ（ｉ、ｎ）をｍで除算した結果で、距離値Ｄ（ｉ、ｎ）を更新する（ステップＳ１５０８）。そして、全ての処理対象画素の処理を終えたか否かを判別し（ｉ＝Ｉ？）（ステップＳ１５０９）、終えていれば、処理を終了する。一方未処理の画素がある場合は、ｉを１インクリメントし（ステップＳ１５１０）、ステップＳ１５０２へ戻り、処理を繰り返す。
【０１００】
一方、ステップＳ１５０２で強度値Ｂ（ｉ、ｎ）が第二の閾値ＴＨ２以上の場合、全ての処理対象画素の処理を終えたか否かを判別し（ｉ＝Ｉ？）（ステップＳ１５０７）、終えていれば、処理を終了する。一方、未処理の画素がある場合は、ｉを１インクリメントし（ステップＳ１５０８）、ステップＳ１５０２へ戻り、処理を繰り返す。
【０１０１】
以上の補正処理により、本実施形態の補正部１４３ａは、各画素の強度値が第二の閾値ＴＨ２以上となる補正後の距離画像ＩＤ（ｎ）を得る。
【０１０２】
なお、本実施形態においても、第一の閾値ＴＨ１と第二の閾値ＴＨ２とは、同じ値であっても、異なる値であってもよい。ただし、ＴＨ１≦ＴＨ２であることが望ましい。
【０１０３】
また、本実施形態においても、加算を繰り返す回数ｍについて、制約を設けてもよい。
【０１０４】
以上説明したように、本実施形態によれば、距離値の補正の要否を、距離値を算出する基とした電荷量から算出した強度値により判断し、補正が必要と判別された画素の距離値のみ補正を行う。すなわち、補正が不要な十分な強度値を有する画素は、蓄積された電荷から算出した距離値をそのまま用い、強度値の小さな画素のみ、距離値を時間方向に平均化する。従って、第一の実施形態同様、距離画像において、影響の大きい強度値の大きい画素は電荷から算出した値をそのまま用いるため、加算の枚数を最小限にすることができ、この画素の時間分解能を維持することができる。また、一方で強度値の小さな画素の距離精度も高めることができる。
【０１０５】
本実施形態では、ＣＰＵとメモリと記憶装置とを備える情報処理装置において、ＣＰＵが記憶装置に記憶されるプログラムをメモリにロードして実行することにより、制御部１３０および距離画像生成部１４０の各機能を実現している。しかし、第一の実施形態同様、各機能は、ＦＰＧＡ等の集積回路で実現してもよい。また、画素毎に図１７に示す全ステップを行うよう構成してもよい。
【符号の説明】
【０１０６】
１００：距離画像生成装置、１１０：光源、１１１：変調光、１１２：入射光、１２０：受光部、１２１：光電変換素子、１２２：電荷蓄積部、１３０：制御部、１４０：距離画像生成部、１４１：強度画像生成部、１４２：演算画像生成部、１４３：補正画像生成部、１４４：補正部、１４４ａ：補正部、１４５：画像生成部、１４５ａ：画像生成部、２００：物体、３１０：分布領域、３１１：角度、３１２：角度、３２０：分布領域、３２１：角度、３２２：角度、３３０：分布領域、３３２：角度、４０１：円、４０２：円、４１０：領域、４１１：領域の中心点、４１２：領域４２０の中心点、４１３：点、４１４：点、４１５：点、４２０：領域
【特許請求の範囲】
【請求項１】
対象空間に変調光を照射する発光源と、前記発光源から照射され前記対象空間内の対象物で反射した反射光を含む変調光を受光して受光光量に応じた電荷に変換する光電変換素子および前記光電変換素子毎に設けられた少なくとも１つ以上の電荷蓄積手段を画素毎に有する受光手段と、前記発光源の変調に同期して前記各光電変換素子で変換した電荷を前記複数の電荷蓄積手段に振り分ける制御手段と、前記電荷蓄積手段に蓄積された電荷から、画素毎の前記対象物までの距離値を求め当該距離値を画素値とする距離画像を生成する距離画像生成手段と、を備える距離画像生成装置であって、
前記距離画像生成手段は、
前記各電荷蓄積部に蓄積された電荷から、前記変調光の強度値を算出し、当該強度値を画素値とする強度画像を生成する強度画像生成手段と、
各画素の前記強度値に応じて当該画素の補正を行うか否かを決定し、補正を行うと決定された補正対象画素の画素値の補正を行う補正手段と、を備えること
を特徴とする距離画像生成装置。
【請求項２】
請求項１記載の距離画像生成装置であって、
前記補正手段は、第二の閾値以下の強度を有する画素を前記補正対象画素とすること
を特徴とする距離画像生成装置。
【請求項３】
請求項１または２記載の距離画像生成装置であって、
前記受光手段は、所定の時間間隔で所定の受光期間前記光を受光し、
前記電荷蓄積手段は、前記受光期間毎に前記電荷を蓄積し、
前記補正手段は、
前記受光期間毎に蓄積された電荷量を画素値とする演算画像を生成する演算画像生成手段と、
前記演算画像から補正画像を生成し、前記受光期間に対応づけて保持する補正画像生成手段と、
前記演算画像の前記補正対象画素について、処理対象受光期間より前の受光期間に対応付けて保持される前記補正画像の当該補正対象画素の画素値を受光期間が近い順に加算する加算手段と、
前記加算後の画素値から算出した距離値を、補正後の距離値とする距離値算出手段と、を備え、
前記加算手段は、前記加算を、前記加算後の画素値から算出される強度値が第二の閾値以上となるまで行うこと
を特徴とする距離画像生成装置。
【請求項４】
請求項１または２記載の距離画像生成装置であって、
前記受光手段は、所定の時間間隔で所定の受光期間前記光を受光し、
前記電荷蓄積手段は、前記受光期間毎に前記電荷を蓄積し、
前記強度画像生成手段は、前記受光期間毎に蓄積された電荷量から強度値を算出し、強度画像を生成し、前記受光期間に対応づけて保持し、
前記補正手段は、
前記受光期間毎に蓄積された電荷量から算出した距離値を画素値とする中間距離画像を生成し、前記受光期間に対応づけて保持する中間距離画像生成手段と、
前記中間距離画像の前記補正対象画素について、処理対象受光期間より前の受光期間に対応づけて保持される前記中間距離画像の当該補正対象画素の画素値を、また、前記強度画像の前記補正対象画素について、処理対象受光期間より前の受光期間に対応づけて保持される当該強度画像の当該補正対象画素の画素値を、それぞれ、受光期間が近い順に加算するとともに、加算後の前期中間距離画像の画素値の平均を算出する加算平均手段と、
前記中間距離画像の加算平均後の画素値を、補正後の距離値とする距離値算出手段と、を備え、
前記加算平均手段は、前記加算を、前記加算後の強度値が第二の閾値以上となるまで行うこと
を特徴とする距離画像生成装置。
【請求項５】
請求項１または２記載の距離画像生成装置であって、
前記受光手段は、所定の時間間隔で所定の受光期間前記光を受光し、
前記電荷蓄積手段は、前記受光期間毎に前記電荷を蓄積し、
前記補正手段は、
前記受光期間毎に蓄積された電荷量を画素値とする演算画像を生成する演算画像生成手段と、
前記強度画像の画素の強度値が第一の閾値以上の画素に対応する前記演算画像の画素の画素値を０とする補正画像を生成し、前記受光期間に対応付けて保持する補正画像生成手段と、を備え、
前記補正画像を用いて補正を行うこと
を特徴とする距離画像生成装置。
【請求項６】
対象空間に変調光を照射する発光源と、前記発光源から照射され前記対象空間内の対象物で反射した反射光を含む変調光を受光して受光光量に応じた電荷に変換する光電変換素子および前記光電変換素子毎に設けられた少なくとも１つ以上の電荷蓄積手段を画素毎に有する受光手段と、前記発光源の変調に同期して前記各光電変換素子で変換した電荷を前記複数の電荷蓄積手段に振り分ける制御手段と、前記電荷蓄積手段に蓄積された電荷から、画素毎の前記対象物までの距離値を求め当該距離値を画素値とする距離画像を生成する距離画像生成手段と、を備える距離画像生成装置における距離画像生成方法であって、
前記各電荷蓄積部に蓄積された電荷から、前記変調光の強度値を算出し、当該強度値を画素値とする強度画像を生成する強度画像生成ステップと、
各画素の前記強度値に応じて当該画素の画素値の補正を行うか否かを決定し、補正を行うと決定された補正対象画素の画素値の補正を行う補正ステップと、を備えること
を特徴とする距離画像生成方法。
【請求項１】
対象空間に変調光を照射する発光源と、前記発光源から照射され前記対象空間内の対象物で反射した反射光を含む変調光を受光して受光光量に応じた電荷に変換する光電変換素子および前記光電変換素子毎に設けられた少なくとも１つ以上の電荷蓄積手段を画素毎に有する受光手段と、前記発光源の変調に同期して前記各光電変換素子で変換した電荷を前記複数の電荷蓄積手段に振り分ける制御手段と、前記電荷蓄積手段に蓄積された電荷から、画素毎の前記対象物までの距離値を求め当該距離値を画素値とする距離画像を生成する距離画像生成手段と、を備える距離画像生成装置であって、
前記距離画像生成手段は、
前記各電荷蓄積部に蓄積された電荷から、前記変調光の強度値を算出し、当該強度値を画素値とする強度画像を生成する強度画像生成手段と、
各画素の前記強度値に応じて当該画素の補正を行うか否かを決定し、補正を行うと決定された補正対象画素の画素値の補正を行う補正手段と、を備えること
を特徴とする距離画像生成装置。
【請求項２】
請求項１記載の距離画像生成装置であって、
前記補正手段は、第二の閾値以下の強度を有する画素を前記補正対象画素とすること
を特徴とする距離画像生成装置。
【請求項３】
請求項１または２記載の距離画像生成装置であって、
前記受光手段は、所定の時間間隔で所定の受光期間前記光を受光し、
前記電荷蓄積手段は、前記受光期間毎に前記電荷を蓄積し、
前記補正手段は、
前記受光期間毎に蓄積された電荷量を画素値とする演算画像を生成する演算画像生成手段と、
前記演算画像から補正画像を生成し、前記受光期間に対応づけて保持する補正画像生成手段と、
前記演算画像の前記補正対象画素について、処理対象受光期間より前の受光期間に対応付けて保持される前記補正画像の当該補正対象画素の画素値を受光期間が近い順に加算する加算手段と、
前記加算後の画素値から算出した距離値を、補正後の距離値とする距離値算出手段と、を備え、
前記加算手段は、前記加算を、前記加算後の画素値から算出される強度値が第二の閾値以上となるまで行うこと
を特徴とする距離画像生成装置。
【請求項４】
請求項１または２記載の距離画像生成装置であって、
前記受光手段は、所定の時間間隔で所定の受光期間前記光を受光し、
前記電荷蓄積手段は、前記受光期間毎に前記電荷を蓄積し、
前記強度画像生成手段は、前記受光期間毎に蓄積された電荷量から強度値を算出し、強度画像を生成し、前記受光期間に対応づけて保持し、
前記補正手段は、
前記受光期間毎に蓄積された電荷量から算出した距離値を画素値とする中間距離画像を生成し、前記受光期間に対応づけて保持する中間距離画像生成手段と、
前記中間距離画像の前記補正対象画素について、処理対象受光期間より前の受光期間に対応づけて保持される前記中間距離画像の当該補正対象画素の画素値を、また、前記強度画像の前記補正対象画素について、処理対象受光期間より前の受光期間に対応づけて保持される当該強度画像の当該補正対象画素の画素値を、それぞれ、受光期間が近い順に加算するとともに、加算後の前期中間距離画像の画素値の平均を算出する加算平均手段と、
前記中間距離画像の加算平均後の画素値を、補正後の距離値とする距離値算出手段と、を備え、
前記加算平均手段は、前記加算を、前記加算後の強度値が第二の閾値以上となるまで行うこと
を特徴とする距離画像生成装置。
【請求項５】
請求項１または２記載の距離画像生成装置であって、
前記受光手段は、所定の時間間隔で所定の受光期間前記光を受光し、
前記電荷蓄積手段は、前記受光期間毎に前記電荷を蓄積し、
前記補正手段は、
前記受光期間毎に蓄積された電荷量を画素値とする演算画像を生成する演算画像生成手段と、
前記強度画像の画素の強度値が第一の閾値以上の画素に対応する前記演算画像の画素の画素値を０とする補正画像を生成し、前記受光期間に対応付けて保持する補正画像生成手段と、を備え、
前記補正画像を用いて補正を行うこと
を特徴とする距離画像生成装置。
【請求項６】
対象空間に変調光を照射する発光源と、前記発光源から照射され前記対象空間内の対象物で反射した反射光を含む変調光を受光して受光光量に応じた電荷に変換する光電変換素子および前記光電変換素子毎に設けられた少なくとも１つ以上の電荷蓄積手段を画素毎に有する受光手段と、前記発光源の変調に同期して前記各光電変換素子で変換した電荷を前記複数の電荷蓄積手段に振り分ける制御手段と、前記電荷蓄積手段に蓄積された電荷から、画素毎の前記対象物までの距離値を求め当該距離値を画素値とする距離画像を生成する距離画像生成手段と、を備える距離画像生成装置における距離画像生成方法であって、
前記各電荷蓄積部に蓄積された電荷から、前記変調光の強度値を算出し、当該強度値を画素値とする強度画像を生成する強度画像生成ステップと、
各画素の前記強度値に応じて当該画素の画素値の補正を行うか否かを決定し、補正を行うと決定された補正対象画素の画素値の補正を行う補正ステップと、を備えること
を特徴とする距離画像生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１１−１２２９１３（Ｐ２０１１−１２２９１３Ａ）
【公開日】平成２３年６月２３日（２０１１．６．２３）
【国際特許分類】
【出願番号】特願２００９−２８０３５２（Ｐ２００９−２８０３５２）
【出願日】平成２１年１２月１０日（２００９．１２．１０）
【出願人】（０００００２３０３）スタンレー電気株式会社 (2,684)
【Ｆターム（参考）】
【公開日】平成２３年６月２３日（２０１１．６．２３）
【国際特許分類】
【出願日】平成２１年１２月１０日（２００９．１２．１０）
【出願人】（０００００２３０３）スタンレー電気株式会社 (2,684)
【Ｆターム（参考）】
[ Back to top ]