測距装置、測距方法、及びそのプログラム
【課題】被写体の測距の高精度化を図ることができる測距装置、測距方法、及びそのプログラムを提供する。
【解決手段】測距装置は、光を発光する光源と、前記光源により発光されて、被写体で反射された反射光を撮像する撮像部と、前記撮像部が撮像することにより得られた画素の画素値を、被写体までの距離を示す距離情報に変換する距離情報変換部と、前記距離情報に基づいて第１の撮像条件を設定する撮像条件設定部と、前記光源及び前記撮像部を制御して、前記第１の撮像条件で前記被写体を撮像させる撮像制御部と、を備える。
【解決手段】測距装置は、光を発光する光源と、前記光源により発光されて、被写体で反射された反射光を撮像する撮像部と、前記撮像部が撮像することにより得られた画素の画素値を、被写体までの距離を示す距離情報に変換する距離情報変換部と、前記距離情報に基づいて第１の撮像条件を設定する撮像条件設定部と、前記光源及び前記撮像部を制御して、前記第１の撮像条件で前記被写体を撮像させる撮像制御部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、測距装置、及びそのプログラムに係り、特に、撮像素子を用いて被写体を測距する測距装置、測距方法、及びそのプログラムに関する。
【背景技術】
【０００２】
従来、タイムオブフライト（ＴＯＦ）法を用いて、撮像素子を測距センサとして用いることが知られている（特許文献１、２）。ＴＯＦ法は、被写体に対して光を照射し、光が放射されてから、被写体からの戻り光が戻ってくるまでの時間を測定することで、被写体の距離を測定する。
【０００３】
また、撮像素子を用いた輝度の濃淡画像のセンシングにおいて、長時間露光と、短時間露光の２種類の画像を撮像して得られた２枚の画像データを合成することで、輝度差の大きい濃淡画像であってもＳ／Ｎ比の高い、広ダイナミックレンジの画像データを得ることが知られている（特許文献３、４）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−２８１３３６
【特許文献２】特開平８−３１３２１５
【特許文献３】特許第３０７４９６７号
【特許文献４】特開２００２−６４４４９
【発明の概要】
【発明が解決しようとする課題】
【０００５】
撮像素子を測距センサとして用いる場合は、光源により被写体に光を照射するため、被写体に届く光は、光源と被写体との距離の２乗に比例して減衰してしまう。したがって、近距離の被写体に合わせて光を照射すると、遠距離の被写体に届く光が少なくなり、遠距離の被写体の測距精度が低下する。逆に、遠距離の被写体に合わせて光を照射すると、近距離の被写体に届く光は多くなり、画素の電荷が飽和してしまうので、近距離の被写体の測距が不可能になる。
【０００６】
そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、被写体の測距の高精度化を図ることができる測距装置、測距方法、及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は、測距装置であって、光を発光する光源と、前記光源により発光されて、被写体で反射された反射光を撮像する撮像部と、前記撮像部が撮像することにより得られた画素の画素値を、被写体までの距離を示す距離情報に変換する距離情報変換部と、前記距離情報に基づいて第１の撮像条件を設定する撮像条件設定部と、前記光源及び前記撮像部を制御して、前記第１の撮像条件で前記被写体を撮像させる撮像制御部と、を備える。
【０００８】
前記撮像条件設定部は、最も距離が近い被写体の反射光を受光する画素の画素値が第１閾値となるように、前記第１の撮像条件を設定してよい。
【０００９】
前記第１の撮像条件下における測距精度を解析して、前記測距精度が所定値より小さくなる精度低下距離を特定する測距精度解析部をさらに備え、前記撮像条件設定部は、前記精度低下距離以上遠くにある被写体がある場合は、前記第１の撮像条件より明るい輝度情報を得ることができる第２の撮像条件を設定し、前記撮像制御部は、前記光源及び前記撮像部を制御して、前記第１の撮像条件及び前記第２の撮像条件で前記被写体を撮像させてよい。
【００１０】
前記第１の撮像条件で撮像されて変換された前記距離情報と、前記第２の撮像条件で撮像されて変換された前記距離情報とを合成する距離情報合成部をさらに備えてよい。
【００１１】
前記撮像条件設定部は、前記精度低下距離以上遠くにある前記被写体のうち、最も距離が近い被写体の反射光を受光する画素の画素値が第２閾値となるように、前記第２の撮像条件を設定してよい。
【００１２】
被写体の距離変化の度合いを算出する距離変化算出部と、前記距離変化の度合いに応じて前記第１閾値及び前記第２閾値の少なくとも１つを変更する閾値変更部と、をさらに備え、前記撮像部は２次元に配列された複数の画素を有しており、前記距離情報変換部は、前記撮像部が撮像することにより得られた前記複数の画素値のそれぞれを距離情報に変換して１枚の画像距離データを得、前記距離変化算出部は、複数枚の前記画像距離データを比較して、被写体の距離変化の度合いを算出してよい。
【００１３】
前記第２閾値と画素飽和値との差は、前記第１閾値と画素飽和値の差よりも大きくてもよい。
【００１４】
前記被写体は、ユーザによって選択された被写体または、前記撮像部の所定の領域で撮像された被写体であってよい。
【００１５】
上記目的を達成するために、本発明は、光源により光を発光する発光工程と、前記光源により発光されて、被写体で反射された反射光を撮像部が撮像する撮像工程と、距離情報変換部が、撮像することにより得られた画素の画素値を、被写体までの距離を示す距離情報に変換する距離情報変換工程と、撮像条件設定部が、前記距離情報に基づいて第１の撮像条件を設定する撮像条件設定工程と、撮像制御部が、前記光源及び前記撮像部を制御して前記第１の撮像条件で前記被写体を撮像させる撮像制御工程と、を備えることを特徴とする。
【００１６】
上記目的を達成するために、本発明は、プログラムであって、光を発光する光源と、前記光源により発光されて、被写体で反射された反射光を撮像する撮像部とを備えた測距装置を、前記撮像部が撮像することにより得られた画素の画素値を、被写体までの距離を示す距離情報に変換する距離情報変換部、前記距離情報に基づいて第１の撮像条件を設定する撮像条件設定部、前記光源及び前記撮像部を制御して、前記第１の撮像条件で前記被写体を撮像させる撮像制御部、として機能させることを特徴とする。
【発明の効果】
【００１７】
本願発明によれば、測距精度を向上させることができ、正確に被写体までの距離を測距することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の形態に係る測距装置の電気的な概略構成を示すブロック図である。
【図２】制御部１８の撮像条件の設定方法の原理を説明する図である。
【図３】被写体が複数ある場合に、合成処理に必要な画像距離データを得るために必要な、撮像条件の特性を説明するための図である。
【図４】被写体が近距離と遠距離との広範囲に跨る場合に、合成処理に必要な画像距離データを得るために必要な、撮像条件の特性を説明するための図である。
【図５】露光タイミングを示すタイムチャートである。
【図６】蓄積された電荷の揺らぎを距離の測定誤差に換算することを説明するための図である。
【図７】測距装置１０の動作を示すフローチャートである。
【図８】それぞれの画像距離データから生成される合成画像距離データを模式的に示した図である。
【発明を実施するための形態】
【００１９】
本発明に係る測距装置について、好適な実施の形態を掲げ、添付の図面を参照しながら以下、詳細に説明する。
【００２０】
図１は、本発明の実施の形態に係る測距装置の電気的な概略構成を示すブロック図である。測距装置１０は、発光装置１２、撮像部１４、画像距離データ変換部１６、制御部１８、画像距離データ合成部２０、及び画像距離データ出力部２２を備える。発光装置１２は、光を発光する光源３０、光源３０を発光させる駆動部３２を有する。駆動部３２は、制御部１８から送られてきた撮像条件にしたがって、光源３０を発光させる。これにより、光源３０の発光強度、発光時間、発光タイミング等が制御される。発光装置１２は、被写体に対して、光源３０が発光した光を照射する。なお、発光装置１２は、強度変調された光を照射しれもよい。
【００２１】
撮像部１４は、レンズ４０、絞り４２、絞り４２を駆動させる絞り駆動回路（図示略）、撮像素子４４、及びユニット回路４６を有する。絞り４２は、撮像素子４４に入射する光の量を制御する。絞り駆動回路は、制御部が設定した撮像条件にしたがって、絞り４２を駆動させる。撮像素子４４に入射する光量は、絞り４２による絞りの度合い（絞り値）、及び露光時間、発光装置１２の発光量によって変わる。
【００２２】
撮像素子４４は、レンズ４０、絞り４２を介して被写体を撮像する。撮像素子４４は、一定周期（一定のフレームレート）毎に、たとえば、３０ｆｐｓで被写体を撮像して画像データを得るように制御される。なお、一定周期間隔で被写体を撮像しなくてもよい。例えば、撮像して得られる画像の時間間隔は異なってもよい。撮像条件の異なる画像を撮像する場合は、一定周期間隔でなくてもよい。撮像とは、受光した光を光電変換して、電荷を蓄積することをいい、光電変換及び電荷の蓄積は、撮像素子４４のそれぞれの画素が行う。画像データとは、それぞれの画素が蓄積した電荷量（それぞれの画素が受光した画素値）の集合である。撮像素子４４は、電子シャッターとしての機能を有し、この電子シャッターにより撮像素子４４の露光時間を調整できる。撮像素子４４は、一定周期間隔、たとえば、３０ｆｐｓで蓄積した電荷をユニット回路４６に出力してよい。撮像素子４４は、ＣＣＤであってもよく、ＣＭＯＳであってもよい。
【００２３】
ユニット回路４６は、撮像素子４４から出力されるアナログ信号の画像データをデジタル信号に変換（Ａ／Ｄ変換）するＡ／Ｄ変換器を有する。Ａ／Ｄ変換器は、画素毎にデジタル変換を行う。Ａ／Ｄ変換器はゲイン（変換利得）を変更可能であってもよい。撮像部１４は、それぞれの画素の電荷量を画像画像距離データ変換部１６に出力する。
【００２４】
画像距離データ変換部（距離情報変換部）１６は、ＴＯＦ手法により、撮像された画像データを画像距離データに変換する。具体的には、それぞれの画素の画素値を距離データに変換する。これにより、それぞれの画素が受光した被写体までの距離を示す距離データを画素毎に得ることができる。ここでは、便宜上それぞれの画素における距離データを画素距離データ（距離情報）と呼ぶ。画素距離データが集まって画像距離データとなる。つまり、画像距離データは、画像データではないが、それぞれの画素距離データがマトリクス状に配置されたデータであるので、画像距離データと呼ぶ。
【００２５】
これにより、被写体までの距離を画素毎に得ることができる。画像距離データ変換部１６は、画像距離データを制御部１８、画像距離データ合成部２０、及び画像距離データ出力部（距離情報出力部）２２に出力する。なお、また、１フレーム期間に得られた画像データを変換することで、１つの画像距離データが得られる。つまり、撮像素子４４が撮像する撮像間隔で、画像距離データが得られることになる。画像距離データ変換部１６は、ＤＳＰなどのプロセッサによって構成されてよい。
【００２６】
制御部１８は、撮像条件設定部５０、撮像制御部５２、及び測距精度解析部５４を備える。制御部１８は、ＣＰＵ等のプロセッサで構成されてよい。撮像条件設定部５０は、画像距離データのそれぞれの画素距離データを解析して、被写体のヒストグラムを作成する。ヒストグラムは、被写体の距離と、画素数とを表したものである。そして、撮像条件設定部５０は作成したヒストグラムに基づいて、撮像した被写体までの距離に合わせた最適な撮像条件を設定する。撮像条件としては、発光装置１２が被写体に対して発光する光量、つまり、光源３０が発光する光の光量、撮像素子４４の１フレーム期間の露光時間、絞り４２の絞り値、ゲイン値を含む。
【００２７】
撮像制御部５２は、設定された撮像条件で光を発光するように発光装置１２を制御する。また、撮像制御部５２は、設定された撮像条件で、被写体を撮像させるように撮像部１４を制御する。具体的には、設定された絞り値に応じて絞り４２を制御し、設定された露光時間で撮像素子４４に露光させる。また、ユニット回路４６で設定されたゲイン値で利得調整を行わせる。これにより、撮像部１４は、被写体の距離に応じた撮像を行うことができる。たとえば、近距離用の撮像と、遠距離用の撮像を行うことができる。
【００２８】
また、測距精度解析部５４は、撮像条件設定部５０が設定した撮像条件を解析して測距精度が所定値より低くなる距離（距離の位置）を特定する。また、測距精度解析部５４は、解析した測距精度に基づいて、画像距離データを合成するか否かを判断する。画像距離データを合成する場合としては、測距精度が所定値より低くなる位置より遠い位置に被写体が存在する場合は、合成すると判断する。
【００２９】
画像距離データ合成部（距離情報合成部）２０は、撮像部１４により異なる距離の被写体に応じて、異なる撮像条件で撮像され、画像距離データ変換部１６により変換された複数の画像距離データを合成する。つまり、複数の画像距離データから合成画像距離データを作成する。画像距離データ合成部２０は、ＤＳＰ等のプロセッサで構成されてよい。
【００３０】
図２は、制御部１８の撮像条件の設定方法の原理を説明する図である。図２Ａは、距離Ｚ２〜Ｚ３の間に分布する被写体１１１のヒストグラムを示す。ヒストグラムの縦軸は、画素数を表している。この被写体１１１をより高精度に測距するために撮像条件を調整する。なお、高精度な測距を行うために、まず、所定の撮像条件、または、任意の撮像条件で被写体を撮像して、予め被写体の測距（プレ測距、予備測距）を行う必要があり、図２Ａは、プレ測距により得られたものである。したがって、プレ測距によって得られた被写体１１１の距離は、実際の距離とずれている（測定精度が低い）可能性がある。ここで、被写体は、人、ビル、橋、猫等のそれぞれのオブジェクトを指すのではなく、撮像部１４が撮像したものを被写体と呼ぶ。したがって、被写体１１１には、人やビル等の複数のオブジェクトが含まれてよい。
【００３１】
図２Ｂは、撮像条件によって撮像素子の画素に蓄積される電荷量の特性を示す。上述したように、発光装置１２が照射する光の強度は、距離の二乗に比例して減衰するので、特性は、距離が遠くなればなるほど、単位距離あたりの電荷量の変動が少なくなる。特性１１２は、Ｚ１にある被写体を撮像した場合に画素の電荷量（画素値）が閾値となる特性である。画素値が高いと、特性の絶対値の傾きが大きいので、画素値がＡ／Ｄ変換された場合、画素値が高い方が画素値の分解能を高く維持できる。逆に、画素値が低いと、特性の絶対値の傾きが小さくなるので、Ａ／Ｄ変換によって画素値の分解能は低くなってしまい、高精度な測距を行うことができない。
【００３２】
被写体１１１がＺ１〜Ｚ２に間にない場合は、被写体１１１の反射光を受光した画素の画素値は、分解能が高い範囲になく、測距の高精度化を図れない。つまり、実際に撮像される被写体１１１は、Ｚ２からＺ３の間に分布しているので、被写体１１１の反射光を受光した画素の画素値の範囲１２２は、分解能が低い範囲となる。
【００３３】
また、特性１１４は、Ｚ４にある被写体を撮像した場合に画素値が閾値となる特性である。被写体１１１は、Ｚ４より距離が短いＺ２〜Ｚ３の間にあるので、被写体１１１の反射光を受光した画素は、飽和して蓄積した電荷量が溢れ出てしまう（オーバーフローしてしまう）ために、有効な画素値が得られなくなる。
【００３４】
そこで、被写体１１１のうち、最も近い位置Ｚ２の被写体からの反射光を受光した画素の画素値が閾値となる特性１１３を示す撮像条件に変更する。これにより、被写体１１１からの反射光を受光することで画素に蓄積される電荷量の範囲１２１は、画素値の分解能が高い範囲となり、測距精度を高くすることができる。撮像素子４４の複数の画素の画素値から、最も近い位置の被写体からの反射光を受光した画素を特定する。例えば、画素値が最大の画素を最も近い被写体からの反射光を受光した画素と特定してもよい。特性１１２を特性１１３にする場合は、発光装置１２が照射する光量を多くする、露光時間を長くする、絞り値を小さくすることにより調整することができる。また、特性１１４を特性１１３にする場合は、発光装置１２が照射する光量を小さくする、露光時間を短く、絞り値を大きくすることにより調整することができる。なお、特性１１２から特性１１３にする、あるいは特性１１４を特性１１３にするのは、必ずしも次の撮像の撮像条件でなくてよく、連続した複数回の撮像を経て特性１１２から特性１１３、あるいは特性１１４から特性１１３に一定割合で徐々にあわせるように調節してもよい。
【００３５】
ここで、被写体１１１のうち、最も近い位置Ｚ２の被写体からの反射光を受光した画素の画素値が、ちょうど飽和する値となる特性を示す撮像条件に変更してもよい。しかし、上述したように、プレ測距で被写体１１１までの距離を測っているので、測距した被写体までの距離が正確でない可能性がある。また、時間経過により被写体が移動することも想定されるので、プレ測距したＺ２よりも実際は近い位置にある可能性がある。このような場合には、被写体１１１を受光した画素の電荷がオーバーフローしてしまう。したがって、閾値を用いたほうが好ましい。閾値は、画素が飽和する値から、一定値、又は、一定割合減算した値である。
【００３６】
また、画素値は距離のみではなく被写体の反射率にも依存するので、被写体１１１が反射率の分布を持つような場合は、最も近い距離Ｚ２を示す画素と、画素値が最大になる画素が必ずしも一致するとは限らない。その場合、画素値が最大の画素が閾値となるように特性１１３を調節する。したがって、最も距離が近いとは、得られる画素値が最大であることを分かりやすく説明するための表現であることをここで断っておく。
【００３７】
図３は、被写体が複数ある場合に、合成処理に必要な画像距離データを得るために必要な、撮像条件の特性を説明するための図である。図３Ａは、距離Ｚ５〜Ｚ６の間に分布する被写体１３１、及び、距離Ｚ７〜Ｚ８の間に分布する被写体１３２のヒストグラムを示す。図３Ａのヒストグラムは、プレ測距により得られたものである。
【００３８】
図３Ｂは、被写体１３１、及び被写体１３２を測距するために最適な撮像条件を示す。被写体１３１を精度良く測距するために、被写体１３１のうち、最も近いＺ５の被写体からの反射光を受光した画素の画素値が閾値となる特性１４１の撮像条件で撮像を行う。これにより、被写体１３１の反射光を受光した画素の画素値は、分解能が高く、測距の高精度化を図れる。また、特性１４１の撮像条件で撮像すると、測距精度が所定値より低くなる距離に、または該距離より遠い位置に存在する被写体１３２を精度良く測距するために、被写体１３２のうち、最も近いＺ７の被写体からの反射光を受光した画素の画素値が閾値となる特性１４２の撮像条件で撮像を行う。
【００３９】
これにより、被写体１３２の反射光を受光して画素に蓄積された電荷量は、画素値の分解能が高く、測距の高精度化を図れる。このように、複数の被写体が近距離や遠距離等の長い距離範囲に混在する場合において、近距離も遠距離も高精度に測距するためには、２種類以上の異なる撮像条件で撮像した画素値を選択的に組み合わせて広ダイナミックレンジの画像距離を生成する必要がある。
【００４０】
たとえば、特性１４１の撮像条件では、Ｚ５〜Ｚ６に存在する被写体１３１では高精度に測距可能であるが、Ｚ７〜Ｚ８に存在する被写体１３２は精度良く測距できない。つまり、Ｚ７〜Ｚ８に存在する被写体１３２の測距精度は低くなってしまう。また、特性１４２の撮像条件では、Ｚ７〜Ｚ８に存在する被写体１３２では高精度に測距可能であるが、Ｚ５〜Ｚ６に存在する被写体１３１の反射光を受光した画素はオーバーフローしてしまい、被写体１３１を測距できない。したがって、被写体１３１、及び被写体１３２にそれぞれに適した撮像条件でそれぞれ撮像する。ここで、Ｚ５からの反射光を受光した画素値が閾値となる撮像条件で撮像すると、測距精度が所定値より低くなる距離以上遠い位置に被写体１３２は存在するものとする。
【００４１】
そして、画像距離データ合成部２０が、特性１４１の撮像条件で撮像して得られ変換された被写体１３１の画像距離データと、特性１４２の撮像条件で得られ変換された被写体１３２の画像距離データとを合成することで、広ダイナミックレンジの画像距離データを得ることができる。具体的には、この被写体１３１の画像領域を、特性１４１の撮像条件で得られた画像距離データから特定し、被写体１３２の画像領域を、特性１４２の撮像条件で得られた画像距離データから特定する。そして、特定した画像領域の画像距離データを合成すれば、広ダイナミックレンジの画像距離データを生成することができる。
【００４２】
図４は、被写体が近距離と遠距離との広範囲に跨る場合に、合成処理に必要な画像距離データを得るために必要な、撮像条件の特性を説明するための図である。図４Ａは、Ｚ９〜Ｚ１１の近距離から遠距離に分布する被写体１５１のヒストグラムを示す。図４Ａのヒストグラムは、プレ測距により得られたものである。
【００４３】
図４Ｂは、被写体１５１を測距するための最適な撮像条件を示す。被写体１５１を精度良く測距するために、被写体１５１のうち、最も近いＺ９の被写体からの反射光を受光した画素の画素値が閾値となる特性１６１の撮像条件で撮像を行う。しかしながら、特性１６１の撮像条件での撮像は、Ｚ９〜Ｚ１１の距離のうち、Ｚ１０より遠い被写体に対しては測距の高精度化を図ることができない。Ｚ１０は、特性１６１による画素値の分解能が低くなる距離である。つまり、Ｚ１０は、測距精度が所定値より低くなってしまう距離である。したがって、被写体１５１のうち、Ｚ１０以上離れている被写体に対しても測距の高精度化を図るために、Ｚ１０の被写体からの反射光を受光した画素の画素値が閾値となる特性１６２の撮像条件で撮像を行う。そして、画像距離データ合成部２０が、特性１６１の撮像条件で得られ変換された被写体１５１のＺ９〜Ｚ１０までの画像距離データと、特性１６２の撮像条件で得られ変換された被写体１５１のＺ１０〜Ｚ１１までの画像距離データとを合成することで、広ダイナミックレンジの画像距離データを得ることができる。
【００４４】
具体的には、被写体のＺ９〜Ｚ１０までの画像領域を、特性１６１の撮像条件で得られた画像距離データから特定し、被写体のＺ１０〜Ｚ１１までの画像領域を、特性１６２の撮像条件で得られた画像距離データから特定する。そして、特定した画像領域の画像距離データを合成すれば、広ダイナミックレンジの画像距離データを生成することができる。
【００４５】
ここで、測距精度の算出方法について説明する。測距精度とは、同一の撮像条件で画像を撮像した際の複数のフレーム間での揺らぎをさすものとする。もっとも直接的な方法としては、複数のフレームから画素値の分散値を求め、その標準偏差を揺らぎとして、距離に変換することで距離換算の測定誤差を求める方法が挙げられる。測距精度の算出にこの方法を用いてもよいが、複数のフレームの保持が必要となるので、本実施の形態では、距離の測定精度を論理的に計算して予測する手法を用いる。
【００４６】
距離の測定精度について説明する前に、ＴＯＦ法で距離を測定する原理を説明する。説明に用いる手法や計算式は、距測原理を簡単に説明するためのものであり、あくまでＴＯＦ法の一形態である。上述したように、放射光の光量は、距離の二乗に比例して減衰する。したがって、光源が定常的に発光している場合は、反射光により撮像素子４４で光電変換される電荷量Ｑ1は、
Ｑ1＝ｋ／ｚ2 ・・・ （１）
と表すことができる。ここで、ｚは光源から被写体までの距離、ｋは、撮像条件、被写体の反射率、レンズ４０の透過率、撮像素子４４の光電変換率等で決まる係数とする。（１）式を変形すると、
ｚ＝（ｋ／Ｑ1）1/2 ・・・（２）
となる。また、図５に示すように、発光終了と同時のタイミングで露光を開始することで、照射光が被写体で反射して戻ってくるまでの遅延時間Ｔｄの期間反射光で露光され得られる電荷量Ｑ2を測定する。光の遅延時間Ｔｄは、
Ｔｄ＝２ｚ／ｃ ・・・（３）
で表すことできる。ｃは光速を表す。光強度測定用の露光タイミングの露光時間をＴｓとすると、露光タイミングで蓄積される電荷量Ｑ2は、Ｑ1との比で表すことができ、
Ｑ2＝Ｑ1×Ｔｄ／Ｔｓ ・・・（４）となる。
（４）式に（１）式、（３）式を代入すると、
Ｑ2＝２／（Ｔｓ×ｃ） ×ｋ／ｚ ・・・（５）
となる。したがって、電荷量Ｑ2は距離ｚに依存して減衰することがわかる。また（４）式に（３）式を代入すると、
Ｑ2＝Ｑ1×２ｚ／（Ｔｓ×ｃ）となり、変形して、
ｚ＝（Ｔｓ×ｃ）／２ × Ｑ2／Ｑ1 ・・・（６）
となり、蓄積電荷量Ｑ1とＱ2の比により、被写体までの距離が測定できる。
【００４７】
また、１フレーム期間中に図５に示すような発光と露光とのパターンを繰り返し、光電変換で得られる電荷量を積分していくことでＳ／Ｎ比の高い画素値を得ることができる。したがって、発光と露光との繰り返し回数により、実質的な露光時間の調整を行う。撮像素子４４は複数の電荷量を保持可能な構成を用いても良い。具体的には、図５に示す発光と露光とのパターンにより、撮像素子４４で蓄積電荷Ｑ1とＱ2を同時に保持し、そして蓄積電荷Ｑ1とＱ2を読み出してもよい。なお、便宜上、太陽や室内照明等の環境光の影響を無視したが、光源の照射光のないときの撮像結果を用いることで、環境光の影響を除去できることは明らかであり、本実施の形態においても環境光の影響を排除した測距測定を実施することができることは言うまでもない。
【００４８】
蓄積電荷量Ｑ1、Ｑ2、露光時間Ｔｓの揺らぎは、予め測定、予測することが可能である。したがって、距離ｚの測距精度は、（６）式に基づいて、誤差伝播の法則で算出できる。誤差伝播の法則は、既知の測定値（例えば、蓄積電荷量Ｑ1、Ｑ2、露光時間Ｔｓ）の分散から、間接的に求められる値（例えば、距離ｚ）の分散を求める手法であり、一般的に広く知られた法則であるのでここでは説明しない。したがって、距離ｚの測距精度が所定値より低くなる距離を距離Ｚ１０としてよい。
【００４９】
また、電荷量Ｑ1、Ｑ2、露光時間Ｔｓの揺らぎをそれぞれ距離ｚの誤差に換算し、換算値の総和を算出してもよい。以下、この方法について説明する。まず、電荷量Ｑ1の揺らぎ量（標準偏差）をΔＱ1とし、ΔＱ1で生じる測定誤差Δｚ1を求める。（２）式をＱ1で微分して、
Δｚ1／ΔＱ1＝ｋ1/2×（−１／２）×Ｑ1-3/2
に（１）式を代入して、
Δｚ1／ΔＱ1＝ｋ1/2×（−１／２）×（ｋ／ｚ2）-3/2
＝−１／（２ｋ） ×ｚ3となる。
したがって、
｜Δｚ1／ΔＱ1｜＝（１／２）×ｋ-1×ｚ3 ・・・（７）
となる。
【００５０】
図６は、蓄積された電荷の揺らぎを距離の測定誤差に換算することを説明するための図である。図６で示した特性１９１が（２）式で表される特性を表すとすると、（７）式は、特性１９１の傾きを表す。揺らぎ量ΔＱ1の間の傾きを線形近似して距離の測定誤差Δｚ1を求めると、
｜Δｚ1｜＝（１／２）×ｋ-1×ｚ3×｜ΔＱ1｜ ・・・（８）
となる。ΔＱ1は、撮像素子４４から出力される蓄積電荷量Ｑ1の揺らぎ量であり、たとえば、光ショットノイズ、回路起因ノイズ、量子化ノイズ等で発生する揺らぎ量の総和である。
【００５１】
次に、電荷量Ｑ2の揺らぎ量（標準偏差）をΔＱ2とし、ΔＱ2で生じる測定誤差Δｚ2を求める。（５）式を変形して、
ｚ＝２／（Ｔｓ×ｃ）×ｋ／Ｑ2 ・・・（９）
となる。（９）式をＱ2で微分して、
Δｚ2／ΔＱ2＝−２ｋ／（Ｔｓ×ｃ）×１／Ｑ22
＝−２ｋ／（Ｔｓ×ｃ）×１／（ｋ／ｚ×２／（Ｔｓ×ｃ））2
＝−２ｋ／（Ｔｓ×ｃ）×（ｚ×Ｔｓ×ｃ）2／（２ｋ）2
＝−（１／２）×Ｔｓ×ｃ×ｋ-1×ｚ2
したがって、
｜Δｚ2／ΔＱ2｜＝（１／２）×Ｔｓ×ｃ×ｋ-1×ｚ2 ・・・（１０）
となる。揺らぎ量ΔＱ2の間の傾きを線形近似して距離の測定誤差Δｚ2を求めると、
｜Δｚ2｜＝（１／２）×Ｔｓ×ｃ×ｋ-1×ｚ2×｜ΔＱ2｜ ・・・（１１）
となる。
【００５２】
最後に、信号のジッタなどで生じるＴｓの揺らぎ（標準偏差）をΔＴｓとする。光の遅延を測定するので、ΔＴｓの間に光の進む距離が距離換算の誤差となる。したがって、ΔＴｓを距離の測定誤差に換算した値をΔｚ3とすると、
Δｚ3＝ｃ×ΔＴｓ ・・・（１２）
となる。
【００５３】
そして、（８）式、（１１）式、（１２）式で求まる値の総和が距離の測定誤差（標準偏差）Δｚとなる。したがって、
Δｚ＝（｜Δｚ1｜2＋｜Δｚ2｜2＋｜Δｚ3｜2）1/2 ・・・（１３）
となる。
【００５４】
このΔｚが測距精度を示す。すなわち（６）式で距離ｚが求まり、それに対応したΔｚも求まる。Δｚが大きくなると、測距精度が低くなるので、所定値より大きくなるΔｚに対応する距離を、例えば、図４の距離Ｚ１０としてよい。
【００５５】
なお、計算コスト削減のため、ΔｚをΔｚ1あるいはΔｚ2のいずれか片方で代表させてもよい。すなわち、電荷量Ｑ1、Ｑ2のいずれか片方の特性の傾きの絶対値であっても、測距精度を簡易的に示しているといえるので、設定された撮像条件が示す特性の傾きの絶対値が一定値より小さくとなる距離の位置を、測距精度が所定値より小さくなる距離の位置としてもよい。また、被写体の反射光を受光した画素の画素値が一定値より小さくなる被写体の距離の位置を、測距精度が所定値より小さくなる距離の位置としてもよい。
【００５６】
次に、測距装置１０の動作を図７のフローチャートにしたがって説明する。
【００５７】
撮像制御部５２は、所定の撮像条件で、被写体を撮像部１４に撮像させる（ステップＳ２）。撮像制御部５２は、任意の撮像条件で、被写体を撮像部１４に撮像させてもよい。撮像された画像データは、画像距離データ変換部１６で変換され、撮像条件設定部５０に出力される。
【００５８】
次いで、撮像条件設定部５０は、画像距離データに基づいて、被写体のヒストグラムを作成して、解析する（ステップＳ４）。つまり、作成したヒストグラムを解析して、最も近い被写体を特定する。つまり、複数の画素距離データのうち、最も短い（近い）画素距離データが示す距離を特定する。図２の場合はＺ２が最も近い位置となり、図３の場合はＺ５が最も近い位置となり、図４の場合はＺ９が最も近い位置となる。
【００５９】
なお、撮像条件設定部５０は、画像距離領域データの全領域の中からではなく、全領域の一部である所定領域の中から、最も近い画素距離データを特定してもよい。所定領域は、ユーザによって選択された領域であってもよいし、予め定められた領域（例えば、画像の中央領域）であってもよい。通常、ユーザは、測距したい被写体が画像の所定領域にくるようにして撮像するからである。
【００６０】
次いで、撮像条件設定部５０は、特定した距離に基づいて第１の撮像条件を設定する（ステップＳ６）。撮像条件設定部５０は、特定した距離からの被写体の反射光を受光した画素の画素値が閾値となるように第１の撮像条件を設定する。つまり、画素距離データが最も短い距離を表す画素の画素値が、閾値となるように第１の撮像条件を設定する。撮像条件設定部５０は、設定した第１の撮像条件を測距精度解析部５４に出力する。
【００６１】
次いで、測距精度解析部５４は、ステップＳ４で生成したヒストグラム、及び第１の撮像条件を解析して、測距精度が所定値より小さくなる距離（距離の位置）を推定する（ステップＳ８）。上述した方法で、距離の測距精度を推定することができるので、測距精度が所定値より小さくなる距離を推定することができる。
【００６２】
次いで、測距精度解析部５４は、合成処理を行うか否かを判断する（ステップＳ１０）。測距精度解析部５４は、ステップＳ８で推定した距離以上遠い位置に被写体が存在するか否かを判断し、存在する場合は合成処理を行うと判断する。この判断は、ステップＳ８で推定した距離以上遠い距離の画素距離データが存在するか否かで判断する。測距精度解析部５４は、合成処理を行うか否かの判断結果を撮像条件設定部５０に出力する。
【００６３】
例えば、図３に示すように、推定した距離がＺ６以上Ｚ７以下となる場合は、推定した距離、及び該距離より遠い位置に被写体１３２が存在するので、合成処理を行うと判断する。また、図４に示すように、推定した距離がＺ１０となる場合は、被写体１５１の一部は、該推定した距離、及び該距離より遠い位置にあるので、合成処理を行うと判断する。なお、所定領域を考慮する場合は、所定領域内に、特定した位置より遠い被写体があるか否かを判断する。つまり、所定領域内の画素距離データの中で、特定した位置より遠い画素距離データがあるか否かを判断してよい。
【００６４】
ステップＳ１０で、合成処理を行わないと判断すると、撮像条件設定部５０は、ステップＳ６で設定した第１の撮像条件で撮像することができるフレームレートが所定のフレームレート以上か否かを判断する（ステップＳ１２）。この所定のフレームレートは、予め決められていてもよいし、ユーザが任意に決めてもよい。
【００６５】
ステップＳ１２で、所定のフレームレート以上でないと判断すると、撮像条件設定部５０は、ステップＳ６で設定した第１の撮像条件の設定を変更することで、露光時間を短縮して（ステップＳ１４）、ステップＳ１６に進む。このとき、露光時間が短くなると露光量が減ってしまうので、それを補うべく、撮像条件設定部５０は、絞り度合いを小さくしたり、ゲイン値を上げたり、発光強度を上げてもよい。この場合は、撮像条件設定部５０は、ステップＳ１４の設定変更後の第１の撮像条件を撮像制御部５２に出力する。
【００６６】
一方、ステップＳ１２で、所定のフレームレート以上であると判断すると、そのままステップＳ１６に進む。この場合は、撮像条件設定部５０は、ステップＳ６で設定した第１の撮像条件を撮像制御部５２に出力する。
【００６７】
ステップＳ１６に進むと、撮像制御部５２は、直近に設定された第１の撮像条件で撮像部１４に被写体を撮像させる。この第１の撮像条件で撮像された画像データは、画像距離データ変換部１６により画像距離データに変換され、画像距離データ出力部２２から出力される。これにより、測距精度を高く維持できる画像データを撮像することができる。ステップＳ１６で被写体を撮像すると、ステップＳ４に戻り、上記した動作を繰り返す。ステップＳ１６を経た後の、ステップＳ４の動作は、ステップＳ１６で撮像された画像データに基づいてヒストグラムを生成して解析してよい。
【００６８】
一方、ステップＳ１０で、合成処理をすると判断すると、撮像条件設定部５０は、第１の撮像条件より明るい画像を得ることができる第２の撮像条件を設定する（ステップＳ１８）。具体的には、ステップＳ８で推定した距離以上遠い位置に存在する被写体のうち、最も近い被写体の距離がどの位置であるかを特定し、該特定した距離の位置に基づいて第２の撮像条件を設定する。つまり、該特定した位置からの被写体の反射光を受光した画素の画素値が閾値となるように第２の撮像条件を設定する。詳しく説明するならば、推定した距離以上遠い複数の画素距離データのうち、最も近い画素距離データの画素の画素値が、閾値となるように第２の撮像条件を設定する。なお、明るい画像を得ることができるとは、同一の環境下で、同一の被写体を同一の距離から撮像した場合に明るいということである。具体的には、ゲイン値が高い、又は、露光時間が長い、または、絞り度合いが小さい、または光源の発光強度が強いことをいう。
【００６９】
このステップＳ１８で特定される被写体の位置は、例えば、図３に示すように、推定した距離がＺ６以上Ｚ７以下となる場合は、距離Ｚ７を特定し、該特定した位置からの被写体１３２の反射光を受光した画素の画素値が閾値となるように第２の撮像条件を設定する。また、図４に示すように、推定した距離がＺ１０となる場合は、距離Ｚ１０を特定し、該特定したＺ１０からの被写体１５１の反射光を受光した画素の画素値が閾値となるように第２の撮像条件を設定する。
【００７０】
次いで、撮像条件設定部５０は、ステップＳ６で設定した第１の撮像条件で撮像することができるフレームレート及びステップＳ１８で設定した第２の撮像条件で撮像することができるフレームレートを合算したフレームレートが、所定のフレームレート以上か否かを判断する（ステップＳ２０）。ステップＳ２０の所定のフレームレートは、ステップＳ１２の所定フレームレートと異なっていてもよい。後述するように、第１撮像条件で得られた画像距離データと第２撮像条件で得られた画像距離データとを合成するので、合成後のフレームの時間間隔は撮像の時間間隔より長くなる。
【００７１】
ステップＳ２０で、所定のフレームレート以上でないと判断すると、ステップＳ６で設定した第１の撮像条件及びステップＳ１８で設定した第２の撮像条件のうち少なくとも一方の設定を変更することで、第１の撮像条件及び第２の撮像条件の合計露光時間を短縮して（ステップＳ２２）、ステップＳ２４に進む。このとき、露光時間が短くなると露光量が減ってしまうので、それを補うべく、撮像条件設定部５０は、絞り度合いを小さくしたり、ゲイン値を上げたり、発光強度を上げてもよい。撮像条件設定部５０は、ステップＳ２２の設定変更後の第１の撮像条件及び第２の撮像条件を撮像制御部５２に出力する。
【００７２】
一方、ステップＳ２０で、合算したフレームレートが所定のフレームレート以上であると判断すると、そのままステップＳ２４に進む。この場合は、撮像条件設定部５０は、ステップＳ６で設定した第１の撮像条件及びステップＳ１８で設定した第２の撮像条件を撮像制御部５２に出力する。
【００７３】
ステップＳ２４に進むと、撮像制御部５２は、直近に設定された第１の撮像条件と第２の撮像条件で撮像部１４に被写体をそれぞれ撮像させる。
【００７４】
次いで、画像距離データ合成部２０は、第１の撮像条件で撮像され画像距離データに変換された画像距離データと、第２の撮像条件で撮像され画像距離データに変換された画像距離データとを合成する（ステップＳ２６）。画像距離データ合成部２０は、ステップＳ８で推定した距離より短い被写体の画像距離データは、第１の撮像条件で得られた画像距離データを用い、推定した距離以上の被写体の画像距離データは、第２の撮像条件で得られた画像距離データを用いて、合成画像距離データを生成する。この生成された合成画像距離データは、画像距離データ出力部２２から出力される。これにより、画像距離データの広ダイナミックレンジ化を図ることができ、測距精度を高く維持できる画像データを得ることができる。
【００７５】
なお、上記実施の形態は、以下のような変形も可能である。
（１）ステップＳ８で推定した距離を跨って被写体が移動している場合に、単に第１の撮像条件で得られた画像距離データと、第２の撮像条件で得られた画像距離データとを、合成してしまうと、合成画像距離データに被写体の不連続性が生じてしまう。つまり、被写体の距離データが不連続となってしまう。したがって、第１の撮像条件で得られた画像距離データの被写体の距離データと、第２の撮像条件で得られた画像距離データの被写体の距離データとを重み付けして合成してもよい。これにより、滑らかな被写体の距離データを得ることができる。
【００７６】
（２）上記実施の形態では、閾値を一定にしたが、被写体の距離の変化度合いに応じて閾値を変更してもよい。例えば、被写体の距離の変化度合いが高い場合は、つまり、前に撮像され得られた画像距離データと後に撮像され得られた画像距離データとを比較して、距離の変化の度合いが大きいほど、閾値を画素飽和値から離してもよい。つまり、被写体の距離変化の度合い大きいほど、得られた画像距離データは正確でない可能性が高く、このような場合に閾値を画素飽和値に近づけてしまうと、上述したようにオーバーフローが起きてしまうからである。この場合は、制御部は、距離変化算出部及び閾値変更部をさらに備え、該距離変化算出部が被写体の距離変化の度合いを算出する。距離変化算出部は、画像距離データを比較することで、距離変化の度合いを算出することができる。閾値変更部は、算出された距離変化の度合いに応じて閾値を変更してよい。そして、撮像条件設定部は、閾値変更部が変更した閾値を用いて第１の撮像条件及び第２の撮像条件の少なくとも１つを設定する。
【００７７】
（３）上記実施の形態では、第１の撮像条件の設定に用いられる閾値（第１閾値と呼ぶ）と第２の撮像条件の設定に用いられる閾値（第２閾値と呼ぶ）とを同じにしたが、異なる閾値を用いてもよい。被写体が遠ければ遠いほど測距精度が低くなりがちである。したがって、第２閾値と画素飽和値との差は、第１閾値と画素飽和値の差よりも大きくするようにしてもよい。
【００７８】
（４）上記変形例（２）及び（３）において、閾値変更部は、距離変化の度合いに応じて第１閾値及び第２閾値の少なくとも１つを変更してよい。この場合、閾値変更部は、第２閾値と画素飽和値との差が第１閾値と画素飽和値の差よりも大きくなるように変更してもよい。
【００７９】
（５）上記変形例（２）、（３）及び（４）では、閾値を距離変化の度合いに応じて変更するとしたが、実際は被写体の反射率にも依存するので、被写体の反射率の分布度合いに応じた閾値変更を付け加えてもよい。例えば、反射率の分布度合いが大きい被写体の場合、得られる画素値の分布も大きくなるので、閾値も画素飽和に対し余裕を持つようにしたほうが、被写体の変化に対応しやすい。なお、反射率の分布は、（２）式から導くことができるし、また光源の照射光のないときの撮像結果を用いてもよい。
【００８０】
（６）上記実施の形態では、直前に撮像され得られた１枚の距離画像データ（合成画像距離データを含む）を用いて、撮像条件を設定するようにしたが、同一の撮像条件で複数枚連続して撮像して得られた複数の画像距離データを用いて、撮像条件を設定するようにしてもよい。１枚の画像距離データで撮像条件を設定するより、複数枚の画像距離データから被写体の距離を判断して撮像条件を設定したほうが、測距精度を高めることができるからである。また、この方法は、被写体が移動体でないときに特に有効である。したがって、制御部１８が被写体の距離変化の度合いを算出して、距離変化の度合い応じて、撮像条件の設定に用いられる画像距離データの枚数を変えてもよい。被写体の距離変化が少ない場合は、例えば、２０回連続撮像して得られた２０枚の画像距離データを得てから撮像条件を設定する。この場合は、２０回撮像する毎に撮像条件が変わる。被写体の距離変化が比較的大きい場合は、例えば、２回連続撮像して得られた２枚の画像距離データで次の撮像条件を設定する。この場合は、２回撮像する毎に撮像条件が変わる。
【００８１】
（７）上記実施の形態では、第１の撮像条件、第２の撮像条件を用いて得られた２枚の画像距離データを合成する例を説明したが、３つ以上の撮像条件を用いて得られた３枚の画像距離データを合成するようにしてもよい。例えば、第１の撮像条件下における測距精度が所定値より低くなる位置以上離れた被写体が存在する場合は、第２の撮像条件で画像距離データを得る。そして、第２の撮像条件下における測距精度が所定値より低くなる位置以上離れた被写体が存在する場合には、第３の撮像条件で画像距離データを得るという具合に、複数の撮像条件を用いて画像距離データを得て、該得られた複数の画像距離データを合成してよい。
【００８２】
（８）ステップＳ１６及びステップＳ２６で得られた画像距離データは、測距精度が高い画像距離データなので、ステップＳ１６及びステップＳ２６の動作のうち、いずれか一方の動作を経て、ステップＳ４に戻った場合は、以後、ステップＳ６及びステップＳ１８で撮像条件の設定に用いる閾値に代えて、画素が飽和する画素飽和値か、画素飽和値により近い値を用いてもよい。また、段階的に閾値を画素飽和値に近づけるようにしてもよい。これにより、分解能がよい画素値の範囲を広げることができる。
【００８３】
（９）上記実施の形態では、第１の撮像条件で得られた画像距離データと第２の撮像条件で得られた画像距離データとを合成した後、第１の撮像条件で再び得られた画像距離データと第２の撮像条件で再び得られた画像距離データとを合成するようにしたが、この方法では、合成後に得られる時間間隔は、撮像したフレームの時間間隔よりも長くなってしまう。したがって、撮像部１４の撮像によって得られて変換されたそれぞれの画像距離データと、その直後に得られた画像距離データとを合成するようにしてもよい。
【００８４】
図８は、それぞれの画像距離データから生成される合成画像距離データを模式的に示した図である。フレームＡ１、フレームＢ１、フレームＡ２、フレームＢ２、フレームＡ３・・・、という具合に、撮像部１４によって順次得られ変換された画像距離データが得られる。フレームＡは、第１の撮像条件で得られた画像距離データを示し、フレームＢは、第２の撮像条件で得られた画像距離データを示す。画像距離データ合成部は、フレームＡ１とフレームＢ１から合成画像距離データＣ１を生成し、フレームＢ１とフレームＡ２から合成画像距離データＣ２を生成する。また、フレームＡ２とフレームＢ２から合成画像距離データＣ３を生成し、フレームＢ２とフレームＡ３から合成画像距離データＣ４を生成するという具合に、それぞれ順次得られた画像距離データと、その直後に得られた画像距離データとをから順次合成画像距離データを生成する。
【００８５】
（１０）上記実施の形態では、撮像条件設定部５０は、ヒストグラムを生成するようにしたが、ヒストグラムを生成しなくてもよい。要は、撮像条件設定部５０が、被写体の距離に対する分布がわかる方法であればよい。
【００８６】
（１１）上記実施の形態では、第１の撮像条件で得られた画像距離データと第２の撮像条件で得られた画像距離データとを合成するようにしたが、合成しなくてもよい。合成しなくても、測距精度を向上させることができるからである。
【００８７】
（１２）上記実施形態では、フレームレートが所定のフレームレート以上になるようにしたが、所定のフレームレート以上が実現できる場合であっても、データ出力後、なにもしない（ブランキング）期間を設け、ブランキング期間を調節することで、常に等間隔の所定のフレームレート（例えば３０ｆｐｓ）でデータ出力するようにしてもよい。ユーザは被写体の変化に応じてフレームレートが変化するよりも、固定フレームレートの方が扱いやすい場合もあるからである。一方、当然であるが、被写体が近距離であればあるほど、測距精度を確保したまま、露光時間が短くできフレームレートも高速化できるので、より近距離の被写体に対してはより高速なフレームレートを出力できるようにしてもよい。危険回避等のアプリケーションを考えれば、被写体が近距離であればあるほど危険のリスクが高くなるため、より高速なフレームレートを必要とするからである。
【００８８】
（１３）上記実施形態では、２次元の画像距離データを用いたが、１次元の距離画像データの撮像であってもよい。
【００８９】
（１４）また、画素がマトリクス状に２次元配列された撮像素子でなくてもよい。単独あるいは１次元状に配列された撮像素子を用いて、光学的あるいは機械的な走査（スキャン）で１次元あるいは２次元の画像距離データを得ることもできるからである。
【００９０】
（１５）上記実施形態では、連続動画的な撮像を想定したが、例えば、連続動画的な撮像から、最適な撮像条件を予測し、その後、予測された最適な撮像条件で複数枚の画像距離データを取得してもよい。同一の撮像条件で撮像した複数の画像距離データを積分すれば、より高精度な１枚の画像距離データを取得できるからである。
【００９１】
（１６）上記実施の形態では、２次元配列された画素を有する撮像素子を用いるようにしたが、１次元配列された画素を有する撮像素子を用いてもよい。この場合は、１次元配列された画素を有する撮像素子を用いることで、距離情報がマトリクス状に配置された画像距離データを得ることができる
【００９２】
（１７）上記変形例（１）〜（１６）を矛盾が生じない範囲内で、適宜組み合わせた態様であってもよい。
【００９３】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【符号の説明】
【００９４】
１０…測距装置 １２…発光装置
１４…撮像部 １６…画像距離データ変換部
１８…制御部 ２０…画像距離データ合成部
２２…画像距離データ出力部 ３０…光源
３２…駆動部 ４０…レンズ
４２…絞り ４４…撮像素子
４６…ユニット回路 ５０…撮像条件設定部
５２…撮像制御部 ５４…測距精度解析部
【技術分野】
【０００１】
本発明は、測距装置、及びそのプログラムに係り、特に、撮像素子を用いて被写体を測距する測距装置、測距方法、及びそのプログラムに関する。
【背景技術】
【０００２】
従来、タイムオブフライト（ＴＯＦ）法を用いて、撮像素子を測距センサとして用いることが知られている（特許文献１、２）。ＴＯＦ法は、被写体に対して光を照射し、光が放射されてから、被写体からの戻り光が戻ってくるまでの時間を測定することで、被写体の距離を測定する。
【０００３】
また、撮像素子を用いた輝度の濃淡画像のセンシングにおいて、長時間露光と、短時間露光の２種類の画像を撮像して得られた２枚の画像データを合成することで、輝度差の大きい濃淡画像であってもＳ／Ｎ比の高い、広ダイナミックレンジの画像データを得ることが知られている（特許文献３、４）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−２８１３３６
【特許文献２】特開平８−３１３２１５
【特許文献３】特許第３０７４９６７号
【特許文献４】特開２００２−６４４４９
【発明の概要】
【発明が解決しようとする課題】
【０００５】
撮像素子を測距センサとして用いる場合は、光源により被写体に光を照射するため、被写体に届く光は、光源と被写体との距離の２乗に比例して減衰してしまう。したがって、近距離の被写体に合わせて光を照射すると、遠距離の被写体に届く光が少なくなり、遠距離の被写体の測距精度が低下する。逆に、遠距離の被写体に合わせて光を照射すると、近距離の被写体に届く光は多くなり、画素の電荷が飽和してしまうので、近距離の被写体の測距が不可能になる。
【０００６】
そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、被写体の測距の高精度化を図ることができる測距装置、測距方法、及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は、測距装置であって、光を発光する光源と、前記光源により発光されて、被写体で反射された反射光を撮像する撮像部と、前記撮像部が撮像することにより得られた画素の画素値を、被写体までの距離を示す距離情報に変換する距離情報変換部と、前記距離情報に基づいて第１の撮像条件を設定する撮像条件設定部と、前記光源及び前記撮像部を制御して、前記第１の撮像条件で前記被写体を撮像させる撮像制御部と、を備える。
【０００８】
前記撮像条件設定部は、最も距離が近い被写体の反射光を受光する画素の画素値が第１閾値となるように、前記第１の撮像条件を設定してよい。
【０００９】
前記第１の撮像条件下における測距精度を解析して、前記測距精度が所定値より小さくなる精度低下距離を特定する測距精度解析部をさらに備え、前記撮像条件設定部は、前記精度低下距離以上遠くにある被写体がある場合は、前記第１の撮像条件より明るい輝度情報を得ることができる第２の撮像条件を設定し、前記撮像制御部は、前記光源及び前記撮像部を制御して、前記第１の撮像条件及び前記第２の撮像条件で前記被写体を撮像させてよい。
【００１０】
前記第１の撮像条件で撮像されて変換された前記距離情報と、前記第２の撮像条件で撮像されて変換された前記距離情報とを合成する距離情報合成部をさらに備えてよい。
【００１１】
前記撮像条件設定部は、前記精度低下距離以上遠くにある前記被写体のうち、最も距離が近い被写体の反射光を受光する画素の画素値が第２閾値となるように、前記第２の撮像条件を設定してよい。
【００１２】
被写体の距離変化の度合いを算出する距離変化算出部と、前記距離変化の度合いに応じて前記第１閾値及び前記第２閾値の少なくとも１つを変更する閾値変更部と、をさらに備え、前記撮像部は２次元に配列された複数の画素を有しており、前記距離情報変換部は、前記撮像部が撮像することにより得られた前記複数の画素値のそれぞれを距離情報に変換して１枚の画像距離データを得、前記距離変化算出部は、複数枚の前記画像距離データを比較して、被写体の距離変化の度合いを算出してよい。
【００１３】
前記第２閾値と画素飽和値との差は、前記第１閾値と画素飽和値の差よりも大きくてもよい。
【００１４】
前記被写体は、ユーザによって選択された被写体または、前記撮像部の所定の領域で撮像された被写体であってよい。
【００１５】
上記目的を達成するために、本発明は、光源により光を発光する発光工程と、前記光源により発光されて、被写体で反射された反射光を撮像部が撮像する撮像工程と、距離情報変換部が、撮像することにより得られた画素の画素値を、被写体までの距離を示す距離情報に変換する距離情報変換工程と、撮像条件設定部が、前記距離情報に基づいて第１の撮像条件を設定する撮像条件設定工程と、撮像制御部が、前記光源及び前記撮像部を制御して前記第１の撮像条件で前記被写体を撮像させる撮像制御工程と、を備えることを特徴とする。
【００１６】
上記目的を達成するために、本発明は、プログラムであって、光を発光する光源と、前記光源により発光されて、被写体で反射された反射光を撮像する撮像部とを備えた測距装置を、前記撮像部が撮像することにより得られた画素の画素値を、被写体までの距離を示す距離情報に変換する距離情報変換部、前記距離情報に基づいて第１の撮像条件を設定する撮像条件設定部、前記光源及び前記撮像部を制御して、前記第１の撮像条件で前記被写体を撮像させる撮像制御部、として機能させることを特徴とする。
【発明の効果】
【００１７】
本願発明によれば、測距精度を向上させることができ、正確に被写体までの距離を測距することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の形態に係る測距装置の電気的な概略構成を示すブロック図である。
【図２】制御部１８の撮像条件の設定方法の原理を説明する図である。
【図３】被写体が複数ある場合に、合成処理に必要な画像距離データを得るために必要な、撮像条件の特性を説明するための図である。
【図４】被写体が近距離と遠距離との広範囲に跨る場合に、合成処理に必要な画像距離データを得るために必要な、撮像条件の特性を説明するための図である。
【図５】露光タイミングを示すタイムチャートである。
【図６】蓄積された電荷の揺らぎを距離の測定誤差に換算することを説明するための図である。
【図７】測距装置１０の動作を示すフローチャートである。
【図８】それぞれの画像距離データから生成される合成画像距離データを模式的に示した図である。
【発明を実施するための形態】
【００１９】
本発明に係る測距装置について、好適な実施の形態を掲げ、添付の図面を参照しながら以下、詳細に説明する。
【００２０】
図１は、本発明の実施の形態に係る測距装置の電気的な概略構成を示すブロック図である。測距装置１０は、発光装置１２、撮像部１４、画像距離データ変換部１６、制御部１８、画像距離データ合成部２０、及び画像距離データ出力部２２を備える。発光装置１２は、光を発光する光源３０、光源３０を発光させる駆動部３２を有する。駆動部３２は、制御部１８から送られてきた撮像条件にしたがって、光源３０を発光させる。これにより、光源３０の発光強度、発光時間、発光タイミング等が制御される。発光装置１２は、被写体に対して、光源３０が発光した光を照射する。なお、発光装置１２は、強度変調された光を照射しれもよい。
【００２１】
撮像部１４は、レンズ４０、絞り４２、絞り４２を駆動させる絞り駆動回路（図示略）、撮像素子４４、及びユニット回路４６を有する。絞り４２は、撮像素子４４に入射する光の量を制御する。絞り駆動回路は、制御部が設定した撮像条件にしたがって、絞り４２を駆動させる。撮像素子４４に入射する光量は、絞り４２による絞りの度合い（絞り値）、及び露光時間、発光装置１２の発光量によって変わる。
【００２２】
撮像素子４４は、レンズ４０、絞り４２を介して被写体を撮像する。撮像素子４４は、一定周期（一定のフレームレート）毎に、たとえば、３０ｆｐｓで被写体を撮像して画像データを得るように制御される。なお、一定周期間隔で被写体を撮像しなくてもよい。例えば、撮像して得られる画像の時間間隔は異なってもよい。撮像条件の異なる画像を撮像する場合は、一定周期間隔でなくてもよい。撮像とは、受光した光を光電変換して、電荷を蓄積することをいい、光電変換及び電荷の蓄積は、撮像素子４４のそれぞれの画素が行う。画像データとは、それぞれの画素が蓄積した電荷量（それぞれの画素が受光した画素値）の集合である。撮像素子４４は、電子シャッターとしての機能を有し、この電子シャッターにより撮像素子４４の露光時間を調整できる。撮像素子４４は、一定周期間隔、たとえば、３０ｆｐｓで蓄積した電荷をユニット回路４６に出力してよい。撮像素子４４は、ＣＣＤであってもよく、ＣＭＯＳであってもよい。
【００２３】
ユニット回路４６は、撮像素子４４から出力されるアナログ信号の画像データをデジタル信号に変換（Ａ／Ｄ変換）するＡ／Ｄ変換器を有する。Ａ／Ｄ変換器は、画素毎にデジタル変換を行う。Ａ／Ｄ変換器はゲイン（変換利得）を変更可能であってもよい。撮像部１４は、それぞれの画素の電荷量を画像画像距離データ変換部１６に出力する。
【００２４】
画像距離データ変換部（距離情報変換部）１６は、ＴＯＦ手法により、撮像された画像データを画像距離データに変換する。具体的には、それぞれの画素の画素値を距離データに変換する。これにより、それぞれの画素が受光した被写体までの距離を示す距離データを画素毎に得ることができる。ここでは、便宜上それぞれの画素における距離データを画素距離データ（距離情報）と呼ぶ。画素距離データが集まって画像距離データとなる。つまり、画像距離データは、画像データではないが、それぞれの画素距離データがマトリクス状に配置されたデータであるので、画像距離データと呼ぶ。
【００２５】
これにより、被写体までの距離を画素毎に得ることができる。画像距離データ変換部１６は、画像距離データを制御部１８、画像距離データ合成部２０、及び画像距離データ出力部（距離情報出力部）２２に出力する。なお、また、１フレーム期間に得られた画像データを変換することで、１つの画像距離データが得られる。つまり、撮像素子４４が撮像する撮像間隔で、画像距離データが得られることになる。画像距離データ変換部１６は、ＤＳＰなどのプロセッサによって構成されてよい。
【００２６】
制御部１８は、撮像条件設定部５０、撮像制御部５２、及び測距精度解析部５４を備える。制御部１８は、ＣＰＵ等のプロセッサで構成されてよい。撮像条件設定部５０は、画像距離データのそれぞれの画素距離データを解析して、被写体のヒストグラムを作成する。ヒストグラムは、被写体の距離と、画素数とを表したものである。そして、撮像条件設定部５０は作成したヒストグラムに基づいて、撮像した被写体までの距離に合わせた最適な撮像条件を設定する。撮像条件としては、発光装置１２が被写体に対して発光する光量、つまり、光源３０が発光する光の光量、撮像素子４４の１フレーム期間の露光時間、絞り４２の絞り値、ゲイン値を含む。
【００２７】
撮像制御部５２は、設定された撮像条件で光を発光するように発光装置１２を制御する。また、撮像制御部５２は、設定された撮像条件で、被写体を撮像させるように撮像部１４を制御する。具体的には、設定された絞り値に応じて絞り４２を制御し、設定された露光時間で撮像素子４４に露光させる。また、ユニット回路４６で設定されたゲイン値で利得調整を行わせる。これにより、撮像部１４は、被写体の距離に応じた撮像を行うことができる。たとえば、近距離用の撮像と、遠距離用の撮像を行うことができる。
【００２８】
また、測距精度解析部５４は、撮像条件設定部５０が設定した撮像条件を解析して測距精度が所定値より低くなる距離（距離の位置）を特定する。また、測距精度解析部５４は、解析した測距精度に基づいて、画像距離データを合成するか否かを判断する。画像距離データを合成する場合としては、測距精度が所定値より低くなる位置より遠い位置に被写体が存在する場合は、合成すると判断する。
【００２９】
画像距離データ合成部（距離情報合成部）２０は、撮像部１４により異なる距離の被写体に応じて、異なる撮像条件で撮像され、画像距離データ変換部１６により変換された複数の画像距離データを合成する。つまり、複数の画像距離データから合成画像距離データを作成する。画像距離データ合成部２０は、ＤＳＰ等のプロセッサで構成されてよい。
【００３０】
図２は、制御部１８の撮像条件の設定方法の原理を説明する図である。図２Ａは、距離Ｚ２〜Ｚ３の間に分布する被写体１１１のヒストグラムを示す。ヒストグラムの縦軸は、画素数を表している。この被写体１１１をより高精度に測距するために撮像条件を調整する。なお、高精度な測距を行うために、まず、所定の撮像条件、または、任意の撮像条件で被写体を撮像して、予め被写体の測距（プレ測距、予備測距）を行う必要があり、図２Ａは、プレ測距により得られたものである。したがって、プレ測距によって得られた被写体１１１の距離は、実際の距離とずれている（測定精度が低い）可能性がある。ここで、被写体は、人、ビル、橋、猫等のそれぞれのオブジェクトを指すのではなく、撮像部１４が撮像したものを被写体と呼ぶ。したがって、被写体１１１には、人やビル等の複数のオブジェクトが含まれてよい。
【００３１】
図２Ｂは、撮像条件によって撮像素子の画素に蓄積される電荷量の特性を示す。上述したように、発光装置１２が照射する光の強度は、距離の二乗に比例して減衰するので、特性は、距離が遠くなればなるほど、単位距離あたりの電荷量の変動が少なくなる。特性１１２は、Ｚ１にある被写体を撮像した場合に画素の電荷量（画素値）が閾値となる特性である。画素値が高いと、特性の絶対値の傾きが大きいので、画素値がＡ／Ｄ変換された場合、画素値が高い方が画素値の分解能を高く維持できる。逆に、画素値が低いと、特性の絶対値の傾きが小さくなるので、Ａ／Ｄ変換によって画素値の分解能は低くなってしまい、高精度な測距を行うことができない。
【００３２】
被写体１１１がＺ１〜Ｚ２に間にない場合は、被写体１１１の反射光を受光した画素の画素値は、分解能が高い範囲になく、測距の高精度化を図れない。つまり、実際に撮像される被写体１１１は、Ｚ２からＺ３の間に分布しているので、被写体１１１の反射光を受光した画素の画素値の範囲１２２は、分解能が低い範囲となる。
【００３３】
また、特性１１４は、Ｚ４にある被写体を撮像した場合に画素値が閾値となる特性である。被写体１１１は、Ｚ４より距離が短いＺ２〜Ｚ３の間にあるので、被写体１１１の反射光を受光した画素は、飽和して蓄積した電荷量が溢れ出てしまう（オーバーフローしてしまう）ために、有効な画素値が得られなくなる。
【００３４】
そこで、被写体１１１のうち、最も近い位置Ｚ２の被写体からの反射光を受光した画素の画素値が閾値となる特性１１３を示す撮像条件に変更する。これにより、被写体１１１からの反射光を受光することで画素に蓄積される電荷量の範囲１２１は、画素値の分解能が高い範囲となり、測距精度を高くすることができる。撮像素子４４の複数の画素の画素値から、最も近い位置の被写体からの反射光を受光した画素を特定する。例えば、画素値が最大の画素を最も近い被写体からの反射光を受光した画素と特定してもよい。特性１１２を特性１１３にする場合は、発光装置１２が照射する光量を多くする、露光時間を長くする、絞り値を小さくすることにより調整することができる。また、特性１１４を特性１１３にする場合は、発光装置１２が照射する光量を小さくする、露光時間を短く、絞り値を大きくすることにより調整することができる。なお、特性１１２から特性１１３にする、あるいは特性１１４を特性１１３にするのは、必ずしも次の撮像の撮像条件でなくてよく、連続した複数回の撮像を経て特性１１２から特性１１３、あるいは特性１１４から特性１１３に一定割合で徐々にあわせるように調節してもよい。
【００３５】
ここで、被写体１１１のうち、最も近い位置Ｚ２の被写体からの反射光を受光した画素の画素値が、ちょうど飽和する値となる特性を示す撮像条件に変更してもよい。しかし、上述したように、プレ測距で被写体１１１までの距離を測っているので、測距した被写体までの距離が正確でない可能性がある。また、時間経過により被写体が移動することも想定されるので、プレ測距したＺ２よりも実際は近い位置にある可能性がある。このような場合には、被写体１１１を受光した画素の電荷がオーバーフローしてしまう。したがって、閾値を用いたほうが好ましい。閾値は、画素が飽和する値から、一定値、又は、一定割合減算した値である。
【００３６】
また、画素値は距離のみではなく被写体の反射率にも依存するので、被写体１１１が反射率の分布を持つような場合は、最も近い距離Ｚ２を示す画素と、画素値が最大になる画素が必ずしも一致するとは限らない。その場合、画素値が最大の画素が閾値となるように特性１１３を調節する。したがって、最も距離が近いとは、得られる画素値が最大であることを分かりやすく説明するための表現であることをここで断っておく。
【００３７】
図３は、被写体が複数ある場合に、合成処理に必要な画像距離データを得るために必要な、撮像条件の特性を説明するための図である。図３Ａは、距離Ｚ５〜Ｚ６の間に分布する被写体１３１、及び、距離Ｚ７〜Ｚ８の間に分布する被写体１３２のヒストグラムを示す。図３Ａのヒストグラムは、プレ測距により得られたものである。
【００３８】
図３Ｂは、被写体１３１、及び被写体１３２を測距するために最適な撮像条件を示す。被写体１３１を精度良く測距するために、被写体１３１のうち、最も近いＺ５の被写体からの反射光を受光した画素の画素値が閾値となる特性１４１の撮像条件で撮像を行う。これにより、被写体１３１の反射光を受光した画素の画素値は、分解能が高く、測距の高精度化を図れる。また、特性１４１の撮像条件で撮像すると、測距精度が所定値より低くなる距離に、または該距離より遠い位置に存在する被写体１３２を精度良く測距するために、被写体１３２のうち、最も近いＺ７の被写体からの反射光を受光した画素の画素値が閾値となる特性１４２の撮像条件で撮像を行う。
【００３９】
これにより、被写体１３２の反射光を受光して画素に蓄積された電荷量は、画素値の分解能が高く、測距の高精度化を図れる。このように、複数の被写体が近距離や遠距離等の長い距離範囲に混在する場合において、近距離も遠距離も高精度に測距するためには、２種類以上の異なる撮像条件で撮像した画素値を選択的に組み合わせて広ダイナミックレンジの画像距離を生成する必要がある。
【００４０】
たとえば、特性１４１の撮像条件では、Ｚ５〜Ｚ６に存在する被写体１３１では高精度に測距可能であるが、Ｚ７〜Ｚ８に存在する被写体１３２は精度良く測距できない。つまり、Ｚ７〜Ｚ８に存在する被写体１３２の測距精度は低くなってしまう。また、特性１４２の撮像条件では、Ｚ７〜Ｚ８に存在する被写体１３２では高精度に測距可能であるが、Ｚ５〜Ｚ６に存在する被写体１３１の反射光を受光した画素はオーバーフローしてしまい、被写体１３１を測距できない。したがって、被写体１３１、及び被写体１３２にそれぞれに適した撮像条件でそれぞれ撮像する。ここで、Ｚ５からの反射光を受光した画素値が閾値となる撮像条件で撮像すると、測距精度が所定値より低くなる距離以上遠い位置に被写体１３２は存在するものとする。
【００４１】
そして、画像距離データ合成部２０が、特性１４１の撮像条件で撮像して得られ変換された被写体１３１の画像距離データと、特性１４２の撮像条件で得られ変換された被写体１３２の画像距離データとを合成することで、広ダイナミックレンジの画像距離データを得ることができる。具体的には、この被写体１３１の画像領域を、特性１４１の撮像条件で得られた画像距離データから特定し、被写体１３２の画像領域を、特性１４２の撮像条件で得られた画像距離データから特定する。そして、特定した画像領域の画像距離データを合成すれば、広ダイナミックレンジの画像距離データを生成することができる。
【００４２】
図４は、被写体が近距離と遠距離との広範囲に跨る場合に、合成処理に必要な画像距離データを得るために必要な、撮像条件の特性を説明するための図である。図４Ａは、Ｚ９〜Ｚ１１の近距離から遠距離に分布する被写体１５１のヒストグラムを示す。図４Ａのヒストグラムは、プレ測距により得られたものである。
【００４３】
図４Ｂは、被写体１５１を測距するための最適な撮像条件を示す。被写体１５１を精度良く測距するために、被写体１５１のうち、最も近いＺ９の被写体からの反射光を受光した画素の画素値が閾値となる特性１６１の撮像条件で撮像を行う。しかしながら、特性１６１の撮像条件での撮像は、Ｚ９〜Ｚ１１の距離のうち、Ｚ１０より遠い被写体に対しては測距の高精度化を図ることができない。Ｚ１０は、特性１６１による画素値の分解能が低くなる距離である。つまり、Ｚ１０は、測距精度が所定値より低くなってしまう距離である。したがって、被写体１５１のうち、Ｚ１０以上離れている被写体に対しても測距の高精度化を図るために、Ｚ１０の被写体からの反射光を受光した画素の画素値が閾値となる特性１６２の撮像条件で撮像を行う。そして、画像距離データ合成部２０が、特性１６１の撮像条件で得られ変換された被写体１５１のＺ９〜Ｚ１０までの画像距離データと、特性１６２の撮像条件で得られ変換された被写体１５１のＺ１０〜Ｚ１１までの画像距離データとを合成することで、広ダイナミックレンジの画像距離データを得ることができる。
【００４４】
具体的には、被写体のＺ９〜Ｚ１０までの画像領域を、特性１６１の撮像条件で得られた画像距離データから特定し、被写体のＺ１０〜Ｚ１１までの画像領域を、特性１６２の撮像条件で得られた画像距離データから特定する。そして、特定した画像領域の画像距離データを合成すれば、広ダイナミックレンジの画像距離データを生成することができる。
【００４５】
ここで、測距精度の算出方法について説明する。測距精度とは、同一の撮像条件で画像を撮像した際の複数のフレーム間での揺らぎをさすものとする。もっとも直接的な方法としては、複数のフレームから画素値の分散値を求め、その標準偏差を揺らぎとして、距離に変換することで距離換算の測定誤差を求める方法が挙げられる。測距精度の算出にこの方法を用いてもよいが、複数のフレームの保持が必要となるので、本実施の形態では、距離の測定精度を論理的に計算して予測する手法を用いる。
【００４６】
距離の測定精度について説明する前に、ＴＯＦ法で距離を測定する原理を説明する。説明に用いる手法や計算式は、距測原理を簡単に説明するためのものであり、あくまでＴＯＦ法の一形態である。上述したように、放射光の光量は、距離の二乗に比例して減衰する。したがって、光源が定常的に発光している場合は、反射光により撮像素子４４で光電変換される電荷量Ｑ1は、
Ｑ1＝ｋ／ｚ2 ・・・ （１）
と表すことができる。ここで、ｚは光源から被写体までの距離、ｋは、撮像条件、被写体の反射率、レンズ４０の透過率、撮像素子４４の光電変換率等で決まる係数とする。（１）式を変形すると、
ｚ＝（ｋ／Ｑ1）1/2 ・・・（２）
となる。また、図５に示すように、発光終了と同時のタイミングで露光を開始することで、照射光が被写体で反射して戻ってくるまでの遅延時間Ｔｄの期間反射光で露光され得られる電荷量Ｑ2を測定する。光の遅延時間Ｔｄは、
Ｔｄ＝２ｚ／ｃ ・・・（３）
で表すことできる。ｃは光速を表す。光強度測定用の露光タイミングの露光時間をＴｓとすると、露光タイミングで蓄積される電荷量Ｑ2は、Ｑ1との比で表すことができ、
Ｑ2＝Ｑ1×Ｔｄ／Ｔｓ ・・・（４）となる。
（４）式に（１）式、（３）式を代入すると、
Ｑ2＝２／（Ｔｓ×ｃ） ×ｋ／ｚ ・・・（５）
となる。したがって、電荷量Ｑ2は距離ｚに依存して減衰することがわかる。また（４）式に（３）式を代入すると、
Ｑ2＝Ｑ1×２ｚ／（Ｔｓ×ｃ）となり、変形して、
ｚ＝（Ｔｓ×ｃ）／２ × Ｑ2／Ｑ1 ・・・（６）
となり、蓄積電荷量Ｑ1とＱ2の比により、被写体までの距離が測定できる。
【００４７】
また、１フレーム期間中に図５に示すような発光と露光とのパターンを繰り返し、光電変換で得られる電荷量を積分していくことでＳ／Ｎ比の高い画素値を得ることができる。したがって、発光と露光との繰り返し回数により、実質的な露光時間の調整を行う。撮像素子４４は複数の電荷量を保持可能な構成を用いても良い。具体的には、図５に示す発光と露光とのパターンにより、撮像素子４４で蓄積電荷Ｑ1とＱ2を同時に保持し、そして蓄積電荷Ｑ1とＱ2を読み出してもよい。なお、便宜上、太陽や室内照明等の環境光の影響を無視したが、光源の照射光のないときの撮像結果を用いることで、環境光の影響を除去できることは明らかであり、本実施の形態においても環境光の影響を排除した測距測定を実施することができることは言うまでもない。
【００４８】
蓄積電荷量Ｑ1、Ｑ2、露光時間Ｔｓの揺らぎは、予め測定、予測することが可能である。したがって、距離ｚの測距精度は、（６）式に基づいて、誤差伝播の法則で算出できる。誤差伝播の法則は、既知の測定値（例えば、蓄積電荷量Ｑ1、Ｑ2、露光時間Ｔｓ）の分散から、間接的に求められる値（例えば、距離ｚ）の分散を求める手法であり、一般的に広く知られた法則であるのでここでは説明しない。したがって、距離ｚの測距精度が所定値より低くなる距離を距離Ｚ１０としてよい。
【００４９】
また、電荷量Ｑ1、Ｑ2、露光時間Ｔｓの揺らぎをそれぞれ距離ｚの誤差に換算し、換算値の総和を算出してもよい。以下、この方法について説明する。まず、電荷量Ｑ1の揺らぎ量（標準偏差）をΔＱ1とし、ΔＱ1で生じる測定誤差Δｚ1を求める。（２）式をＱ1で微分して、
Δｚ1／ΔＱ1＝ｋ1/2×（−１／２）×Ｑ1-3/2
に（１）式を代入して、
Δｚ1／ΔＱ1＝ｋ1/2×（−１／２）×（ｋ／ｚ2）-3/2
＝−１／（２ｋ） ×ｚ3となる。
したがって、
｜Δｚ1／ΔＱ1｜＝（１／２）×ｋ-1×ｚ3 ・・・（７）
となる。
【００５０】
図６は、蓄積された電荷の揺らぎを距離の測定誤差に換算することを説明するための図である。図６で示した特性１９１が（２）式で表される特性を表すとすると、（７）式は、特性１９１の傾きを表す。揺らぎ量ΔＱ1の間の傾きを線形近似して距離の測定誤差Δｚ1を求めると、
｜Δｚ1｜＝（１／２）×ｋ-1×ｚ3×｜ΔＱ1｜ ・・・（８）
となる。ΔＱ1は、撮像素子４４から出力される蓄積電荷量Ｑ1の揺らぎ量であり、たとえば、光ショットノイズ、回路起因ノイズ、量子化ノイズ等で発生する揺らぎ量の総和である。
【００５１】
次に、電荷量Ｑ2の揺らぎ量（標準偏差）をΔＱ2とし、ΔＱ2で生じる測定誤差Δｚ2を求める。（５）式を変形して、
ｚ＝２／（Ｔｓ×ｃ）×ｋ／Ｑ2 ・・・（９）
となる。（９）式をＱ2で微分して、
Δｚ2／ΔＱ2＝−２ｋ／（Ｔｓ×ｃ）×１／Ｑ22
＝−２ｋ／（Ｔｓ×ｃ）×１／（ｋ／ｚ×２／（Ｔｓ×ｃ））2
＝−２ｋ／（Ｔｓ×ｃ）×（ｚ×Ｔｓ×ｃ）2／（２ｋ）2
＝−（１／２）×Ｔｓ×ｃ×ｋ-1×ｚ2
したがって、
｜Δｚ2／ΔＱ2｜＝（１／２）×Ｔｓ×ｃ×ｋ-1×ｚ2 ・・・（１０）
となる。揺らぎ量ΔＱ2の間の傾きを線形近似して距離の測定誤差Δｚ2を求めると、
｜Δｚ2｜＝（１／２）×Ｔｓ×ｃ×ｋ-1×ｚ2×｜ΔＱ2｜ ・・・（１１）
となる。
【００５２】
最後に、信号のジッタなどで生じるＴｓの揺らぎ（標準偏差）をΔＴｓとする。光の遅延を測定するので、ΔＴｓの間に光の進む距離が距離換算の誤差となる。したがって、ΔＴｓを距離の測定誤差に換算した値をΔｚ3とすると、
Δｚ3＝ｃ×ΔＴｓ ・・・（１２）
となる。
【００５３】
そして、（８）式、（１１）式、（１２）式で求まる値の総和が距離の測定誤差（標準偏差）Δｚとなる。したがって、
Δｚ＝（｜Δｚ1｜2＋｜Δｚ2｜2＋｜Δｚ3｜2）1/2 ・・・（１３）
となる。
【００５４】
このΔｚが測距精度を示す。すなわち（６）式で距離ｚが求まり、それに対応したΔｚも求まる。Δｚが大きくなると、測距精度が低くなるので、所定値より大きくなるΔｚに対応する距離を、例えば、図４の距離Ｚ１０としてよい。
【００５５】
なお、計算コスト削減のため、ΔｚをΔｚ1あるいはΔｚ2のいずれか片方で代表させてもよい。すなわち、電荷量Ｑ1、Ｑ2のいずれか片方の特性の傾きの絶対値であっても、測距精度を簡易的に示しているといえるので、設定された撮像条件が示す特性の傾きの絶対値が一定値より小さくとなる距離の位置を、測距精度が所定値より小さくなる距離の位置としてもよい。また、被写体の反射光を受光した画素の画素値が一定値より小さくなる被写体の距離の位置を、測距精度が所定値より小さくなる距離の位置としてもよい。
【００５６】
次に、測距装置１０の動作を図７のフローチャートにしたがって説明する。
【００５７】
撮像制御部５２は、所定の撮像条件で、被写体を撮像部１４に撮像させる（ステップＳ２）。撮像制御部５２は、任意の撮像条件で、被写体を撮像部１４に撮像させてもよい。撮像された画像データは、画像距離データ変換部１６で変換され、撮像条件設定部５０に出力される。
【００５８】
次いで、撮像条件設定部５０は、画像距離データに基づいて、被写体のヒストグラムを作成して、解析する（ステップＳ４）。つまり、作成したヒストグラムを解析して、最も近い被写体を特定する。つまり、複数の画素距離データのうち、最も短い（近い）画素距離データが示す距離を特定する。図２の場合はＺ２が最も近い位置となり、図３の場合はＺ５が最も近い位置となり、図４の場合はＺ９が最も近い位置となる。
【００５９】
なお、撮像条件設定部５０は、画像距離領域データの全領域の中からではなく、全領域の一部である所定領域の中から、最も近い画素距離データを特定してもよい。所定領域は、ユーザによって選択された領域であってもよいし、予め定められた領域（例えば、画像の中央領域）であってもよい。通常、ユーザは、測距したい被写体が画像の所定領域にくるようにして撮像するからである。
【００６０】
次いで、撮像条件設定部５０は、特定した距離に基づいて第１の撮像条件を設定する（ステップＳ６）。撮像条件設定部５０は、特定した距離からの被写体の反射光を受光した画素の画素値が閾値となるように第１の撮像条件を設定する。つまり、画素距離データが最も短い距離を表す画素の画素値が、閾値となるように第１の撮像条件を設定する。撮像条件設定部５０は、設定した第１の撮像条件を測距精度解析部５４に出力する。
【００６１】
次いで、測距精度解析部５４は、ステップＳ４で生成したヒストグラム、及び第１の撮像条件を解析して、測距精度が所定値より小さくなる距離（距離の位置）を推定する（ステップＳ８）。上述した方法で、距離の測距精度を推定することができるので、測距精度が所定値より小さくなる距離を推定することができる。
【００６２】
次いで、測距精度解析部５４は、合成処理を行うか否かを判断する（ステップＳ１０）。測距精度解析部５４は、ステップＳ８で推定した距離以上遠い位置に被写体が存在するか否かを判断し、存在する場合は合成処理を行うと判断する。この判断は、ステップＳ８で推定した距離以上遠い距離の画素距離データが存在するか否かで判断する。測距精度解析部５４は、合成処理を行うか否かの判断結果を撮像条件設定部５０に出力する。
【００６３】
例えば、図３に示すように、推定した距離がＺ６以上Ｚ７以下となる場合は、推定した距離、及び該距離より遠い位置に被写体１３２が存在するので、合成処理を行うと判断する。また、図４に示すように、推定した距離がＺ１０となる場合は、被写体１５１の一部は、該推定した距離、及び該距離より遠い位置にあるので、合成処理を行うと判断する。なお、所定領域を考慮する場合は、所定領域内に、特定した位置より遠い被写体があるか否かを判断する。つまり、所定領域内の画素距離データの中で、特定した位置より遠い画素距離データがあるか否かを判断してよい。
【００６４】
ステップＳ１０で、合成処理を行わないと判断すると、撮像条件設定部５０は、ステップＳ６で設定した第１の撮像条件で撮像することができるフレームレートが所定のフレームレート以上か否かを判断する（ステップＳ１２）。この所定のフレームレートは、予め決められていてもよいし、ユーザが任意に決めてもよい。
【００６５】
ステップＳ１２で、所定のフレームレート以上でないと判断すると、撮像条件設定部５０は、ステップＳ６で設定した第１の撮像条件の設定を変更することで、露光時間を短縮して（ステップＳ１４）、ステップＳ１６に進む。このとき、露光時間が短くなると露光量が減ってしまうので、それを補うべく、撮像条件設定部５０は、絞り度合いを小さくしたり、ゲイン値を上げたり、発光強度を上げてもよい。この場合は、撮像条件設定部５０は、ステップＳ１４の設定変更後の第１の撮像条件を撮像制御部５２に出力する。
【００６６】
一方、ステップＳ１２で、所定のフレームレート以上であると判断すると、そのままステップＳ１６に進む。この場合は、撮像条件設定部５０は、ステップＳ６で設定した第１の撮像条件を撮像制御部５２に出力する。
【００６７】
ステップＳ１６に進むと、撮像制御部５２は、直近に設定された第１の撮像条件で撮像部１４に被写体を撮像させる。この第１の撮像条件で撮像された画像データは、画像距離データ変換部１６により画像距離データに変換され、画像距離データ出力部２２から出力される。これにより、測距精度を高く維持できる画像データを撮像することができる。ステップＳ１６で被写体を撮像すると、ステップＳ４に戻り、上記した動作を繰り返す。ステップＳ１６を経た後の、ステップＳ４の動作は、ステップＳ１６で撮像された画像データに基づいてヒストグラムを生成して解析してよい。
【００６８】
一方、ステップＳ１０で、合成処理をすると判断すると、撮像条件設定部５０は、第１の撮像条件より明るい画像を得ることができる第２の撮像条件を設定する（ステップＳ１８）。具体的には、ステップＳ８で推定した距離以上遠い位置に存在する被写体のうち、最も近い被写体の距離がどの位置であるかを特定し、該特定した距離の位置に基づいて第２の撮像条件を設定する。つまり、該特定した位置からの被写体の反射光を受光した画素の画素値が閾値となるように第２の撮像条件を設定する。詳しく説明するならば、推定した距離以上遠い複数の画素距離データのうち、最も近い画素距離データの画素の画素値が、閾値となるように第２の撮像条件を設定する。なお、明るい画像を得ることができるとは、同一の環境下で、同一の被写体を同一の距離から撮像した場合に明るいということである。具体的には、ゲイン値が高い、又は、露光時間が長い、または、絞り度合いが小さい、または光源の発光強度が強いことをいう。
【００６９】
このステップＳ１８で特定される被写体の位置は、例えば、図３に示すように、推定した距離がＺ６以上Ｚ７以下となる場合は、距離Ｚ７を特定し、該特定した位置からの被写体１３２の反射光を受光した画素の画素値が閾値となるように第２の撮像条件を設定する。また、図４に示すように、推定した距離がＺ１０となる場合は、距離Ｚ１０を特定し、該特定したＺ１０からの被写体１５１の反射光を受光した画素の画素値が閾値となるように第２の撮像条件を設定する。
【００７０】
次いで、撮像条件設定部５０は、ステップＳ６で設定した第１の撮像条件で撮像することができるフレームレート及びステップＳ１８で設定した第２の撮像条件で撮像することができるフレームレートを合算したフレームレートが、所定のフレームレート以上か否かを判断する（ステップＳ２０）。ステップＳ２０の所定のフレームレートは、ステップＳ１２の所定フレームレートと異なっていてもよい。後述するように、第１撮像条件で得られた画像距離データと第２撮像条件で得られた画像距離データとを合成するので、合成後のフレームの時間間隔は撮像の時間間隔より長くなる。
【００７１】
ステップＳ２０で、所定のフレームレート以上でないと判断すると、ステップＳ６で設定した第１の撮像条件及びステップＳ１８で設定した第２の撮像条件のうち少なくとも一方の設定を変更することで、第１の撮像条件及び第２の撮像条件の合計露光時間を短縮して（ステップＳ２２）、ステップＳ２４に進む。このとき、露光時間が短くなると露光量が減ってしまうので、それを補うべく、撮像条件設定部５０は、絞り度合いを小さくしたり、ゲイン値を上げたり、発光強度を上げてもよい。撮像条件設定部５０は、ステップＳ２２の設定変更後の第１の撮像条件及び第２の撮像条件を撮像制御部５２に出力する。
【００７２】
一方、ステップＳ２０で、合算したフレームレートが所定のフレームレート以上であると判断すると、そのままステップＳ２４に進む。この場合は、撮像条件設定部５０は、ステップＳ６で設定した第１の撮像条件及びステップＳ１８で設定した第２の撮像条件を撮像制御部５２に出力する。
【００７３】
ステップＳ２４に進むと、撮像制御部５２は、直近に設定された第１の撮像条件と第２の撮像条件で撮像部１４に被写体をそれぞれ撮像させる。
【００７４】
次いで、画像距離データ合成部２０は、第１の撮像条件で撮像され画像距離データに変換された画像距離データと、第２の撮像条件で撮像され画像距離データに変換された画像距離データとを合成する（ステップＳ２６）。画像距離データ合成部２０は、ステップＳ８で推定した距離より短い被写体の画像距離データは、第１の撮像条件で得られた画像距離データを用い、推定した距離以上の被写体の画像距離データは、第２の撮像条件で得られた画像距離データを用いて、合成画像距離データを生成する。この生成された合成画像距離データは、画像距離データ出力部２２から出力される。これにより、画像距離データの広ダイナミックレンジ化を図ることができ、測距精度を高く維持できる画像データを得ることができる。
【００７５】
なお、上記実施の形態は、以下のような変形も可能である。
（１）ステップＳ８で推定した距離を跨って被写体が移動している場合に、単に第１の撮像条件で得られた画像距離データと、第２の撮像条件で得られた画像距離データとを、合成してしまうと、合成画像距離データに被写体の不連続性が生じてしまう。つまり、被写体の距離データが不連続となってしまう。したがって、第１の撮像条件で得られた画像距離データの被写体の距離データと、第２の撮像条件で得られた画像距離データの被写体の距離データとを重み付けして合成してもよい。これにより、滑らかな被写体の距離データを得ることができる。
【００７６】
（２）上記実施の形態では、閾値を一定にしたが、被写体の距離の変化度合いに応じて閾値を変更してもよい。例えば、被写体の距離の変化度合いが高い場合は、つまり、前に撮像され得られた画像距離データと後に撮像され得られた画像距離データとを比較して、距離の変化の度合いが大きいほど、閾値を画素飽和値から離してもよい。つまり、被写体の距離変化の度合い大きいほど、得られた画像距離データは正確でない可能性が高く、このような場合に閾値を画素飽和値に近づけてしまうと、上述したようにオーバーフローが起きてしまうからである。この場合は、制御部は、距離変化算出部及び閾値変更部をさらに備え、該距離変化算出部が被写体の距離変化の度合いを算出する。距離変化算出部は、画像距離データを比較することで、距離変化の度合いを算出することができる。閾値変更部は、算出された距離変化の度合いに応じて閾値を変更してよい。そして、撮像条件設定部は、閾値変更部が変更した閾値を用いて第１の撮像条件及び第２の撮像条件の少なくとも１つを設定する。
【００７７】
（３）上記実施の形態では、第１の撮像条件の設定に用いられる閾値（第１閾値と呼ぶ）と第２の撮像条件の設定に用いられる閾値（第２閾値と呼ぶ）とを同じにしたが、異なる閾値を用いてもよい。被写体が遠ければ遠いほど測距精度が低くなりがちである。したがって、第２閾値と画素飽和値との差は、第１閾値と画素飽和値の差よりも大きくするようにしてもよい。
【００７８】
（４）上記変形例（２）及び（３）において、閾値変更部は、距離変化の度合いに応じて第１閾値及び第２閾値の少なくとも１つを変更してよい。この場合、閾値変更部は、第２閾値と画素飽和値との差が第１閾値と画素飽和値の差よりも大きくなるように変更してもよい。
【００７９】
（５）上記変形例（２）、（３）及び（４）では、閾値を距離変化の度合いに応じて変更するとしたが、実際は被写体の反射率にも依存するので、被写体の反射率の分布度合いに応じた閾値変更を付け加えてもよい。例えば、反射率の分布度合いが大きい被写体の場合、得られる画素値の分布も大きくなるので、閾値も画素飽和に対し余裕を持つようにしたほうが、被写体の変化に対応しやすい。なお、反射率の分布は、（２）式から導くことができるし、また光源の照射光のないときの撮像結果を用いてもよい。
【００８０】
（６）上記実施の形態では、直前に撮像され得られた１枚の距離画像データ（合成画像距離データを含む）を用いて、撮像条件を設定するようにしたが、同一の撮像条件で複数枚連続して撮像して得られた複数の画像距離データを用いて、撮像条件を設定するようにしてもよい。１枚の画像距離データで撮像条件を設定するより、複数枚の画像距離データから被写体の距離を判断して撮像条件を設定したほうが、測距精度を高めることができるからである。また、この方法は、被写体が移動体でないときに特に有効である。したがって、制御部１８が被写体の距離変化の度合いを算出して、距離変化の度合い応じて、撮像条件の設定に用いられる画像距離データの枚数を変えてもよい。被写体の距離変化が少ない場合は、例えば、２０回連続撮像して得られた２０枚の画像距離データを得てから撮像条件を設定する。この場合は、２０回撮像する毎に撮像条件が変わる。被写体の距離変化が比較的大きい場合は、例えば、２回連続撮像して得られた２枚の画像距離データで次の撮像条件を設定する。この場合は、２回撮像する毎に撮像条件が変わる。
【００８１】
（７）上記実施の形態では、第１の撮像条件、第２の撮像条件を用いて得られた２枚の画像距離データを合成する例を説明したが、３つ以上の撮像条件を用いて得られた３枚の画像距離データを合成するようにしてもよい。例えば、第１の撮像条件下における測距精度が所定値より低くなる位置以上離れた被写体が存在する場合は、第２の撮像条件で画像距離データを得る。そして、第２の撮像条件下における測距精度が所定値より低くなる位置以上離れた被写体が存在する場合には、第３の撮像条件で画像距離データを得るという具合に、複数の撮像条件を用いて画像距離データを得て、該得られた複数の画像距離データを合成してよい。
【００８２】
（８）ステップＳ１６及びステップＳ２６で得られた画像距離データは、測距精度が高い画像距離データなので、ステップＳ１６及びステップＳ２６の動作のうち、いずれか一方の動作を経て、ステップＳ４に戻った場合は、以後、ステップＳ６及びステップＳ１８で撮像条件の設定に用いる閾値に代えて、画素が飽和する画素飽和値か、画素飽和値により近い値を用いてもよい。また、段階的に閾値を画素飽和値に近づけるようにしてもよい。これにより、分解能がよい画素値の範囲を広げることができる。
【００８３】
（９）上記実施の形態では、第１の撮像条件で得られた画像距離データと第２の撮像条件で得られた画像距離データとを合成した後、第１の撮像条件で再び得られた画像距離データと第２の撮像条件で再び得られた画像距離データとを合成するようにしたが、この方法では、合成後に得られる時間間隔は、撮像したフレームの時間間隔よりも長くなってしまう。したがって、撮像部１４の撮像によって得られて変換されたそれぞれの画像距離データと、その直後に得られた画像距離データとを合成するようにしてもよい。
【００８４】
図８は、それぞれの画像距離データから生成される合成画像距離データを模式的に示した図である。フレームＡ１、フレームＢ１、フレームＡ２、フレームＢ２、フレームＡ３・・・、という具合に、撮像部１４によって順次得られ変換された画像距離データが得られる。フレームＡは、第１の撮像条件で得られた画像距離データを示し、フレームＢは、第２の撮像条件で得られた画像距離データを示す。画像距離データ合成部は、フレームＡ１とフレームＢ１から合成画像距離データＣ１を生成し、フレームＢ１とフレームＡ２から合成画像距離データＣ２を生成する。また、フレームＡ２とフレームＢ２から合成画像距離データＣ３を生成し、フレームＢ２とフレームＡ３から合成画像距離データＣ４を生成するという具合に、それぞれ順次得られた画像距離データと、その直後に得られた画像距離データとをから順次合成画像距離データを生成する。
【００８５】
（１０）上記実施の形態では、撮像条件設定部５０は、ヒストグラムを生成するようにしたが、ヒストグラムを生成しなくてもよい。要は、撮像条件設定部５０が、被写体の距離に対する分布がわかる方法であればよい。
【００８６】
（１１）上記実施の形態では、第１の撮像条件で得られた画像距離データと第２の撮像条件で得られた画像距離データとを合成するようにしたが、合成しなくてもよい。合成しなくても、測距精度を向上させることができるからである。
【００８７】
（１２）上記実施形態では、フレームレートが所定のフレームレート以上になるようにしたが、所定のフレームレート以上が実現できる場合であっても、データ出力後、なにもしない（ブランキング）期間を設け、ブランキング期間を調節することで、常に等間隔の所定のフレームレート（例えば３０ｆｐｓ）でデータ出力するようにしてもよい。ユーザは被写体の変化に応じてフレームレートが変化するよりも、固定フレームレートの方が扱いやすい場合もあるからである。一方、当然であるが、被写体が近距離であればあるほど、測距精度を確保したまま、露光時間が短くできフレームレートも高速化できるので、より近距離の被写体に対してはより高速なフレームレートを出力できるようにしてもよい。危険回避等のアプリケーションを考えれば、被写体が近距離であればあるほど危険のリスクが高くなるため、より高速なフレームレートを必要とするからである。
【００８８】
（１３）上記実施形態では、２次元の画像距離データを用いたが、１次元の距離画像データの撮像であってもよい。
【００８９】
（１４）また、画素がマトリクス状に２次元配列された撮像素子でなくてもよい。単独あるいは１次元状に配列された撮像素子を用いて、光学的あるいは機械的な走査（スキャン）で１次元あるいは２次元の画像距離データを得ることもできるからである。
【００９０】
（１５）上記実施形態では、連続動画的な撮像を想定したが、例えば、連続動画的な撮像から、最適な撮像条件を予測し、その後、予測された最適な撮像条件で複数枚の画像距離データを取得してもよい。同一の撮像条件で撮像した複数の画像距離データを積分すれば、より高精度な１枚の画像距離データを取得できるからである。
【００９１】
（１６）上記実施の形態では、２次元配列された画素を有する撮像素子を用いるようにしたが、１次元配列された画素を有する撮像素子を用いてもよい。この場合は、１次元配列された画素を有する撮像素子を用いることで、距離情報がマトリクス状に配置された画像距離データを得ることができる
【００９２】
（１７）上記変形例（１）〜（１６）を矛盾が生じない範囲内で、適宜組み合わせた態様であってもよい。
【００９３】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【符号の説明】
【００９４】
１０…測距装置 １２…発光装置
１４…撮像部 １６…画像距離データ変換部
１８…制御部 ２０…画像距離データ合成部
２２…画像距離データ出力部 ３０…光源
３２…駆動部 ４０…レンズ
４２…絞り ４４…撮像素子
４６…ユニット回路 ５０…撮像条件設定部
５２…撮像制御部 ５４…測距精度解析部
【特許請求の範囲】
【請求項１】
光を発光する光源と、
前記光源により発光されて、被写体で反射された反射光を撮像する撮像部と、
前記撮像部が撮像することにより得られた画素の画素値を、被写体までの距離を示す距離情報に変換する距離情報変換部と、
前記距離情報に基づいて第１の撮像条件を設定する撮像条件設定部と、
前記光源及び前記撮像部を制御して、前記第１の撮像条件で前記被写体を撮像させる撮像制御部と、
を備える測距装置。
【請求項２】
請求項１に記載の測距装置であって、
前記撮像条件設定部は、最も距離が近い被写体の反射光を受光する画素の画素値が第１閾値となるように、前記第１の撮像条件を設定することを特徴とする測距装置。
【請求項３】
請求項１または２に記載の測距装置であって、
前記第１の撮像条件下における測距精度を解析して、前記測距精度が所定値より小さくなる精度低下距離を特定する測距精度解析部をさらに備え、
前記撮像条件設定部は、前記精度低下距離以上遠くにある被写体がある場合は、前記第１の撮像条件より明るい輝度情報を得ることができる第２の撮像条件を設定し、
前記撮像制御部は、前記光源及び前記撮像部を制御して、前記第１の撮像条件及び前記第２の撮像条件で前記被写体を撮像させることを特徴とする測距装置。
【請求項４】
請求項３に記載の測距装置であって、
前記第１の撮像条件で撮像されて変換された前記距離情報と、前記第２の撮像条件で撮像されて変換された前記距離情報とを合成する距離情報合成部をさらに備えることを特徴とする測距装置。
【請求項５】
請求項３または４に記載の測距装置であって、
前記撮像条件設定部は、前記精度低下距離以上遠くにある前記被写体のうち、最も距離が近い被写体の反射光を受光する画素の画素値が第２閾値となるように、前記第２の撮像条件を設定することを特徴とする測距装置。
【請求項６】
請求項２または５に記載の測距装置であって、
被写体の距離変化の度合いを算出する距離変化算出部と、
前記距離変化の度合いに応じて前記第１閾値及び前記第２閾値の少なくとも１つを変更する閾値変更部と、
をさらに備え、
前記撮像部は２次元に配列された複数の画素を有しており、
前記距離情報変換部は、前記撮像部が撮像することにより得られた前記複数の画素値のそれぞれを距離情報に変換して１枚の画像距離データを得、
前記距離変化算出部は、複数枚の前記画像距離データを比較して、被写体の距離変化の度合いを算出することを特徴とする測距装置。
【請求項７】
請求項２、５、または６に記載の測距装置であって、
前記第２閾値と画素飽和値との差は、前記第１閾値と画素飽和値の差よりも大きくすることを特徴とする測距装置。
【請求項８】
請求項１〜６のいずれか１項に記載の測距装置であって、
前記被写体は、前記撮像部の所定の領域で撮像された被写体であることを特徴とする測距装置。
【請求項９】
測距装置が被写体の距離を測定する測距方法であって、
光源により光を発光する発光工程と、
前記光源により発光されて、被写体で反射された反射光を撮像部が撮像する撮像工程と、
距離情報変換部が、撮像することにより得られた画素の画素値を、被写体までの距離を示す距離情報に変換する距離情報変換工程と、
撮像条件設定部が、前記距離情報に基づいて第１の撮像条件を設定する撮像条件設定工程と、
撮像制御部が、前記光源及び前記撮像部を制御して前記第１の撮像条件で前記被写体を撮像させる撮像制御工程と、
を備えることを特徴とする測距方法。
【請求項１０】
光を発光する光源と、前記光源により発光されて、被写体で反射された反射光を撮像する撮像部とを備えた測距装置を、
前記撮像部が撮像することにより得られた画素の画素値を、被写体までの距離を示す距離情報に変換する距離情報変換部、
前記距離情報に基づいて第１の撮像条件を設定する撮像条件設定部、
前記光源及び前記撮像部を制御して、前記第１の撮像条件で前記被写体を撮像させる撮像制御部、
として機能させることを特徴とするプログラム。
【請求項１】
光を発光する光源と、
前記光源により発光されて、被写体で反射された反射光を撮像する撮像部と、
前記撮像部が撮像することにより得られた画素の画素値を、被写体までの距離を示す距離情報に変換する距離情報変換部と、
前記距離情報に基づいて第１の撮像条件を設定する撮像条件設定部と、
前記光源及び前記撮像部を制御して、前記第１の撮像条件で前記被写体を撮像させる撮像制御部と、
を備える測距装置。
【請求項２】
請求項１に記載の測距装置であって、
前記撮像条件設定部は、最も距離が近い被写体の反射光を受光する画素の画素値が第１閾値となるように、前記第１の撮像条件を設定することを特徴とする測距装置。
【請求項３】
請求項１または２に記載の測距装置であって、
前記第１の撮像条件下における測距精度を解析して、前記測距精度が所定値より小さくなる精度低下距離を特定する測距精度解析部をさらに備え、
前記撮像条件設定部は、前記精度低下距離以上遠くにある被写体がある場合は、前記第１の撮像条件より明るい輝度情報を得ることができる第２の撮像条件を設定し、
前記撮像制御部は、前記光源及び前記撮像部を制御して、前記第１の撮像条件及び前記第２の撮像条件で前記被写体を撮像させることを特徴とする測距装置。
【請求項４】
請求項３に記載の測距装置であって、
前記第１の撮像条件で撮像されて変換された前記距離情報と、前記第２の撮像条件で撮像されて変換された前記距離情報とを合成する距離情報合成部をさらに備えることを特徴とする測距装置。
【請求項５】
請求項３または４に記載の測距装置であって、
前記撮像条件設定部は、前記精度低下距離以上遠くにある前記被写体のうち、最も距離が近い被写体の反射光を受光する画素の画素値が第２閾値となるように、前記第２の撮像条件を設定することを特徴とする測距装置。
【請求項６】
請求項２または５に記載の測距装置であって、
被写体の距離変化の度合いを算出する距離変化算出部と、
前記距離変化の度合いに応じて前記第１閾値及び前記第２閾値の少なくとも１つを変更する閾値変更部と、
をさらに備え、
前記撮像部は２次元に配列された複数の画素を有しており、
前記距離情報変換部は、前記撮像部が撮像することにより得られた前記複数の画素値のそれぞれを距離情報に変換して１枚の画像距離データを得、
前記距離変化算出部は、複数枚の前記画像距離データを比較して、被写体の距離変化の度合いを算出することを特徴とする測距装置。
【請求項７】
請求項２、５、または６に記載の測距装置であって、
前記第２閾値と画素飽和値との差は、前記第１閾値と画素飽和値の差よりも大きくすることを特徴とする測距装置。
【請求項８】
請求項１〜６のいずれか１項に記載の測距装置であって、
前記被写体は、前記撮像部の所定の領域で撮像された被写体であることを特徴とする測距装置。
【請求項９】
測距装置が被写体の距離を測定する測距方法であって、
光源により光を発光する発光工程と、
前記光源により発光されて、被写体で反射された反射光を撮像部が撮像する撮像工程と、
距離情報変換部が、撮像することにより得られた画素の画素値を、被写体までの距離を示す距離情報に変換する距離情報変換工程と、
撮像条件設定部が、前記距離情報に基づいて第１の撮像条件を設定する撮像条件設定工程と、
撮像制御部が、前記光源及び前記撮像部を制御して前記第１の撮像条件で前記被写体を撮像させる撮像制御工程と、
を備えることを特徴とする測距方法。
【請求項１０】
光を発光する光源と、前記光源により発光されて、被写体で反射された反射光を撮像する撮像部とを備えた測距装置を、
前記撮像部が撮像することにより得られた画素の画素値を、被写体までの距離を示す距離情報に変換する距離情報変換部、
前記距離情報に基づいて第１の撮像条件を設定する撮像条件設定部、
前記光源及び前記撮像部を制御して、前記第１の撮像条件で前記被写体を撮像させる撮像制御部、
として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−６４４９８（Ｐ２０１１−６４４９８Ａ）
【公開日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願番号】特願２００９−２１３４２０（Ｐ２００９−２１３４２０）
【出願日】平成２１年９月１５日（２００９．９．１５）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願日】平成２１年９月１５日（２００９．９．１５）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]