距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
【課題】対象空間に存在する対象物までの距離画像をＴＯＦ方式で推定する際、距離画像の高解像度化や高フレームレート化を実現しようとすると、ショットノイズや環境光等の影響でＣＣＤ飽和が発生し、距離精度の低下を招く恐れがある。
【解決手段】所定の発光周波数（光（電磁波）の周波数）を持つ光を照射できる光源から距離推定用照明光を対象物に対して照射し、距離推定用照射光の反射光を受光し、距離推定装置から対象物までの距離情報を取得し、取得した距離情報に基づいて距離画像データを生成し、距離推定用照射光の反射光と同期して得られる可視光成分より得られたカラー画像の輪郭情報を抽出し、抽出した輪郭情報に基づいて、距離画像上の対応部分において周囲の距離情報より、距離画像上の対応部分の距離情報を補正することによって距離推定を行う。
【解決手段】所定の発光周波数（光（電磁波）の周波数）を持つ光を照射できる光源から距離推定用照明光を対象物に対して照射し、距離推定用照射光の反射光を受光し、距離推定装置から対象物までの距離情報を取得し、取得した距離情報に基づいて距離画像データを生成し、距離推定用照射光の反射光と同期して得られる可視光成分より得られたカラー画像の輪郭情報を抽出し、抽出した輪郭情報に基づいて、距離画像上の対応部分において周囲の距離情報より、距離画像上の対応部分の距離情報を補正することによって距離推定を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ムービーあるいはＤＳＣ（Ｄｉｇｉｔａｌ Ｓｔｉｌｌ Ｃａｍｅｒａ）等の撮像装置で撮影された画像の奥行き感・立体感を向上させるために、対象空間を撮像し、対象空間に存在する対象物までの距離を推定する装置および方法に関するものである。
【背景技術】
【０００２】
空間の３次元計測技術は、多くの分野において応用が期待されており、種々の手法を用いて実用化が試みられている。その手法の中で代表的な手法として、レーザスリット光のスキャンによる光切断方法や、ステレオ視による方法に代表される三角測量法や、あるいは、照明光を測定対象物体に照射し、照射した光が測定対象物体から戻ってくるまでの時間ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）を計測することによって距離を測定するＴＯＦ法等がある。
三角測量法を用いて空間の３次元計測を行う場合、対象空間（撮像する対象である３次元空間）の３次元情報を得るために対象空間において光を走査する必要があり、対象空間全体について３次元情報が得られるまでには比較的長い時間が必要となる。このため、三角測量法は、移動物体を追跡するような用途には不向きであるとされている。
【０００３】
これに対して、ＴＯＦ法を用いて空間の３次元計測を行う場合、三角測定法のようなレーザービーム走査を行う必要がない。このため、ＴＯＦ法による空間の３次元計測では、テレビ画像（撮像画像）の画素単位で被写体までの距離（撮像装置から被写体までの距離）を高速に検出でき、また、距離測定範囲も比較的広く設定することができる（距離測定範囲を約３ｍ以上に設定することができる）。さらに、ＴＯＦ法による空間の３次元計測では、レーザ光源の代わりに、ＬＥＤ光源を使用できるため、人物も安全に撮影することができる。このような利点より、ＴＯＦ法による３次元計測技術について、種々の方法が報告されるとともに、距離センサとして製品化された例も報告されている。
ＴＯＦ法は、（数式１）を用いて３次元空間内の距離を測定する。測定基準ポイント−被測定ポイント間の距離Ｌは、次式を用いて求められる。
【０００４】
【数１】
【０００５】
ここで、ｃは光の速度であり、ｃ＝３．０×１０＾８［ｍ／ｓｅｃ］である。Δｔは、測定基準ポイントに存在する光源から照射された光が、被測定ポイントにある測定対象に照射され、測定対象からの反射光が測定基準ポイントである光源まで戻ってくるまでの時間である。すなわち、Δｔは、光源から測定対象までの、光の往復時間である。
ＴＯＦ法の方法として多くの方式があり、代表的なものとして、位相ＴＯＦ方式とパルスＴＯＦ方式とがある。
位相ＴＯＦ方式は、主に強度変調された光線を、測定対象に照射して、対象物からの反射光を検出して光電子変換を行い、変換された光電子を複数の蓄積部のいずれかに時間的にずらして蓄積し、これらの蓄積部に蓄積された光電子数に応じて距離情報を生成する方式である。
【０００６】
パルスＴＯＦ方式は、パルス状の光線を測定対象物に照射して、測定対象物からの反射光と測定光線との位相差に基づいて距離を求める方式であり、測定光線を２次元的に走査し、各点の距離を測定して３次元の形状を測定する方式である。
位相ＴＯＦ方式では、（数式１）におけるΔｔの代わりに、位相量Δφを用いて距離の測定を行う。位相ＴＯＦ方式では、最大検出距離Ｌｍａｘは、位相量Δφが２πとなる場合（ΔｔでいえばＴ：変調強度の１周期時間）に相当し、次式を用いて求められる。つまり、最大検出距離Ｌｍａｘは、測定光線の変調周波数ｆに依存し、次式によって決定される。
【０００７】
【数２】
【０００８】
そして、位相量Δφにおける検出距離Ｌは、（数式３）のようになる。
【０００９】
【数３】
【００１０】
この場合、（数式２）により、測定対象物までの距離が、測定光線の強度変調の周期に対応する波長以上の場合には、原理的に距離算出結果を一意に決定できない（すなわち、測定対象物までの距離を特定することができない）という問題がある。
一方、パルスＴＯＦ方式では、測定光線を２次元で走査して距離画像を得るためには、光源から発光されるレーザ光等の測定光線を揺動ミラーあるいはポリゴンミラーを用いて上下左右に物理的に走査する必要があるため、距離画像の取得時間が長くなるという問題がある。
現状では、位相ＴＯＦ方式に類する方式を用いて空間の３次元計測を実行する技術が多く存在する（例えば、特許文献１、２参照）。以下、位相ＴＯＦ方式を利用した従来の距離推定装置（従来例１および従来例２）について説明する。
【００１１】
≪従来例１≫
まず、従来例１（特許文献１の技術）について、説明する。
図１８は、従来例１の距離推定装置９００の構成を示すブロック図である。距離推定装置９００は、振幅変調された照明光Ｓ９０６で被写体ＯＢＪ１を照明することが可能な投光部９０２と、撮像利得を時間とともに変化させて被写体からの反射光Ｓ９０７を受光し、被写体の光学像を撮像することが可能な撮像部９０３と、を備える。また、距離推定装置９００は、撮像部９０３からの映像信号Ｓ９０４を立体情報信号Ｓ９０５に変換するための信号処理部９０４と、照明光変調信号Ｓ９０１、撮像利得変調信号Ｓ９０２、制御信号Ｓ９０３ａおよびＳ９０３ｂを発生するための信号発生部９０１と、を備える。
図１９は、従来例１の距離推定装置９００での距離検出処理の概要を模式的に示した図である。
【００１２】
図１９に示すように、距離推定装置９００では、高速に光強度が変調された赤外光を被写体に照射し、被写体からの反射光を超高速シャッターで撮影する。
図１９の上側部分（図１９のＥｘ９０１）に模式的に示すように、距離推定装置９００は、時間が経過するにつれ光強度が減少するように変調された照明光（測定光線）（例えば、図１９においてｔｒ１で示す期間において光強度変調された照明光）を被写体Ｏ１およびＯ２に対して照射する。そして、距離推定装置９００は、被写体Ｏ１およびＯ２からの反射光を、距離推定装置９００において、所定のシャッタータイミングおよびシャッター時間（図１９にｔｓ１として示したシャッター時間）において取得し、撮像画像に変換する。被写体Ｏ１およびＯ２からの反射光は、光強度が時間に対して減少するように変調されているので、距離推定装置（カメラ）９００に近い被写体Ｏ１からの反射光の光強度は大きく、距離推定装置９００から遠い被写体Ｏ２からの反射光の光強度は小さい。照明光は、光強度が時間に対して減少するように変調されているので、光の飛行時間（距離推定装置９００から照射された光が被写体Ｏ１で反射し、距離推定装置９００に戻ってくるまでの時間）が短い被写体Ｏ１からの反射光の光強度は大きく（光強度の減少量が小さく）、光の飛行時間が長い被写体Ｏ２からの反射光の光強度は小さい（光強度の減少量が大きい）。
【００１３】
このため、被写体Ｏ１およびＯ２からの反射光を、距離推定装置９００において、所定のシャッタータイミングおよびシャッター時間（図１９にｔｓ１で示したシャッター時間）において取得し、撮像画像Ａにおいて、照明光の飛行時間が短い被写体Ｏ１の像Ｉ１は明るく、被写体Ｏ２の像Ｉ２は暗くなる。つまり、撮像画像Ａにおいて、距離情報が画像の輝度として表現される。
しかし、この撮像画像Ａの輝度は、被写体の反射率あるいは照射光量の空間的ムラ、また拡散反射光量の距離による減衰効果などの影響を受けている。
そこで、距離推定装置９００では、これらの影響を補正するために、以下の処理を行う。
図１９の下側部分（図１９のＥｘ９０２）に模式的に示すように、距離推定装置９００は、時間が経過するにつれ光強度が増加するように変調された照明光（測定光線）（例えば、図１９においてｔｒ２で示す期間において光強度変調された照明光）を被写体Ｏ１およびＯ２に対して照射する。そして、距離推定装置９００は、被写体Ｏ１およびＯ２からの反射光を、距離推定装置９００において、所定のシャッタータイミングおよびシャッター時間（図１９にｔｓ２で示したシャッター時間）において取得し、撮像画像に変換する。被写体Ｏ１およびＯ２からの反射光は、光強度が時間に対して増加するように変調されているので、距離推定装置（カメラ）９００に近い被写体Ｏ１からの反射光の光強度は小さく、距離推定装置９００から遠い被写体Ｏ２からの反射光の光強度は大きい。
【００１４】
このため、被写体Ｏ１およびＯ２からの反射光を、距離推定装置９００において、所定のシャッタータイミングおよびシャッター時間（図１９にｔｓ２で示したシャッター時間）において取得し、撮像画像Ｂにおいて、照明光の飛行時間が短い被写体Ｏ１の像Ｉ１は暗く、被写体Ｏ２の像Ｉ２は明るくなる。つまり、撮像画像Ｂにおいて、距離情報が画像の輝度として表現される。
距離推定装置９００では、上記のようにして取得した撮像画像Ａと撮像画像Ｂとの間の輝度比をとることによって、反射率等の影響を補正した距離画像（図１９の距離画像Ｃ）を生成する。
距離推定装置９００では、このように、撮影された２枚の画像の除算によりＴＯＦを求めることができるため、理論的には、赤外光の拡散、被写体の反射率、反射方向の向きあるいは背景光の影響をキャンセルすることができる。しかし、距離推定装置９００では、被写体からの反射光の光強度をある程度確保する必要があるため、複数の発光ダイオードからなる発光ダイオードアレイによる光源等を用いる必要があり、装置の構成が大きくなるという欠点がある。
【００１５】
≪従来例２≫
次に、従来例２（特許文献２の技術）について、説明する。
図２０は、従来例２の距離推定装置９５０の構成を示すブロック図である。距離推定装置９５０は、対象空間に照明光Ｓ９５１１を照射する発光源９５１と、対象空間からの光を受光し受光光量を反映した出力値の電気信号を出力する光検出素子９５２と、発光源９５１および光検出素子９５２を制御する制御回路部９５３と、光検出素子９５２からの出力に対して画像生成処理を行う画像生成部９５４と、を備える。また、距離推定装置９５０は、受光光学系９５５を備える。光検出素子９５２は、図２０に示すように、複数の感光部９５２１、複数の感度制御部９５２２、複数の電荷集積部９５２３および電荷取出部９５２４を有している。
【００１６】
発光源９５１は、対象空間に所定周期の変調信号で変調された光を照射し、光検出素子９５２は、対象空間を撮像する。画像生成部９５４は、発光源９５１から対象空間に照射された光と、対象空間内の対象物ＯＢＪ２で反射され光検出素子９５２で受光される反射光との変調信号の位相差に基づいて対象物ＯＢＪ２までの距離を求める。
光検出素子９５２に設けた各感光部９５２１は、制御回路部９５３によって対象空間からの光を受光する受光期間が制御される。各感光部９５２１では、変調信号の異なる位相に同期した受光期間に受光する。光検出素子９５２からは変調信号の１周期以上の期間である検出期間ごとに集積した電荷が画像生成部９５４に与えられ、画像生成部９５４は、複数の検出期間の電荷量を受光期間別に積算した電荷量を用いて距離を求める。
図２１は、従来例２の距離推定装置９５０の距離検出方法を模式的に示すものである。
【００１７】
従来例２の距離推定装置９５０では、正弦波ｙ（ｔ）＝ａ×ｓｉｎ（２πｔ／Ｔ）＋ｂに光強度変調された赤外光（照明波）の変調周期に同期させて、所定のタイミングで受光信号（反射波）をサンプリングすることにより、受光信号の位相量を導出するものである。つまり、従来例２の距離推定装置９５０では、変調周期１周期あたり４点（例えば、図２１のＡ０点，Ａ１点，Ａ２点，Ａ３点の４点）のサンプリングを行い、（数式４）を用いて、位相シフト量Ψを導出する。
【００１８】
【数４】
【００１９】
従来例２の距離推定装置９５０では、上記の位相シフト量Ψの導出処理を、受光部と復調部を一体化した特殊ＣＣＤ撮像素子を用い、その駆動方法を工夫することにより、高い開口率による距離検出処理を実現している。従来例２の距離推定装置９５０は、小型で高分解能であるが、撮像画像（映像）が低解像度・低フレームレートであるという欠点を持つ。
【先行技術文献】
【特許文献】
【００２０】
【特許文献１】特開２０００−１２１３３９号公報
【特許文献２】特開２００６−８４４２９号公報
【発明の概要】
【発明が解決しようとする課題】
【００２１】
ＴＯＦ方式を用いて距離画像の高精度化を実現する場合、距離推定装置において、光検出素子を増やすことによって、距離推定装置において取得される距離画像の高解像度化等を実現することが考えられる。しかし、この場合、光検出素子を構成する１つ１つの感光部に入射する光（反射光）の量が少なくなるので（撮像素子（ＣＣＤ等）の各画素への入射光量が少なくなるので）、光検出素子を構成する各感光部において取得される信号の信号レベルが小さくなる。
また、光電効果に対応した電荷量に含まれるランダムノイズ（ショットノイズ）Ｓｓ（光電変換により発生するショットノイズＳｓ）は、電荷量Ｎｓの１／２乗に比例することから、撮像素子（ＣＣＤ等）の各画素への入射光量が少なくなると、撮像素子の各画素において取得される電荷量に含まれるノイズ（ショットノイズ）の比率が高くなる。つまり、撮像素子（ＣＣＤ等）の各画素への入射光量が少なくなると、撮像素子の各画素において取得される信号のＳ／Ｎ比は低下することとなる。その結果、距離精度の低下が生じることとなる。
【００２２】
これに対して、以下の対応策が考えられる。
（１）ＬＥＤ（照明光の発光源）の発光量を大きくする。
（２）電荷の検出期間（１周期以上）を長くして、撮像素子の各画素において確保される光電荷量を増やす。
これらの対応策を行った場合、撮像素子の各画素の蓄積電荷量は大きくなる。この場合、ショットノイズも上記で説明した原理に基づき増えるが、電荷量Ｎｓ（被写体からの反射光を光電変換して取得される電荷量（信号成分の電荷量））とショットノイズＳｓとの比率ＳＮ＝Ｎｓ／Ｓｓは、電荷量Ｎｓが大きいほど大きくなる。
撮像素子の各画素に蓄積される電荷量において、環境光等は、撮像素子において光電変換されることにより、電荷量に依存しない定常ノイズとなる。したがって、電荷量のＳ／Ｎ比は、電荷量Ｎｓ（信号成分の電荷量）と、電荷量Ｎｓの１／２乗に比例するショットノイズＳｓと、環境光等に対応する定常ノイズと、により決定される。このため、電荷量Ｎｓが大きくなるほど、電荷量のＳ／Ｎ比が良くなり、撮像素子において取得される信号のＳ／Ｎも良くなる。その結果、距離推定装置における距離測定の距離分解能が向上する。
【００２３】
しかし、環境光等の定常ノイズは、反射光の電荷量（電荷量Ｎｓ）よりもずっと大きい値になるため、距離推定装置の光源の発光量を大きくした場合、撮像素子（ＣＣＤ等）の各画素において、飽和が発生しやすくなる。また、実用上の制約（規模・電力等）の問題が発生する。
さらに、撮像素子（ＣＣＤ等）の各画素での電荷蓄積期間を延ばした場合、定常ノイズ成分が大きくなる。このため、各画素において電荷蓄積された電荷量のＳ／Ｎ比は低くなり、多量のノイズ成分の中に微小量の信号成分（電荷量Ｎｓに相当）が存在することとなる。
また、光検出素子を構成する撮像素子の各画素（感光部）において、電荷蓄積に対するキャパシティには限界があるため、飽和が発生する可能性が高くなる。光検出素子において飽和現象が発生すると、感光部の受光光量は、光強度変調した光との相関性がなくなるので、当該感光部に対応する画素から取得される信号に基づいて距離を正確に求めることができなくなる。
【００２４】
本発明は、上記問題点に鑑み、画素数の少ない撮像素子（ＣＣＤ等）を用いて取得した距離情報に基づいて、撮像素子（ＣＣＤ等）の画素間での距離情報を補間・推定することによって、ＴＯＦ方式による距離画像の高解像度化を実現する距離推定装置、距離推定方法、プログラムおよび集積回路を実現することを目的とする。また、反射光の振幅もしくは距離画像データ自体の値をもとに、精度の不足した画素での距離情報を補正することによって、距離画像データの精度改善を行うことができる距離推定装置、距離推定方法、プログラムおよび集積回路を実現することを目的とする。
【課題を解決するための手段】
【００２５】
第１の発明は、光強度変調された光を対象物に照射し、対象物からの反射光を用いて対象物までの距離を推定する距離推定装置であって、光源と、発光源制御部と、受光光学系と、色分解部と、受光素子部と、電荷集積部と、信号演算部と、距離画像生成部と、撮像素子部と、高解像度画像生成部と、輪郭情報抽出部と、距離画像補正部と、を備える。
光源は、光強度変調可能な光を照射する。発光源制御部は、光源を制御する。受光光学系は、対象物からの光を集光する。色分解部は、受光光学系で受光した光を、周波数に基づき、第１光成分の光と、第２光成分の光とに分離する。受光素子部は、色分解部により分離された第２光成分の光を電荷に変換する。電荷集積部は、受光素子部で取得された電荷を集積し、電荷信号を取得する。信号演算部は、電荷信号に基づいて、距離情報を算出する。距離画像生成部は、距離情報に基づいて、第１の画素数を持つ距離画像を生成する。撮像素子部は、色分解部により分離された第２光成分の光を画像生成用電荷信号に変換する。高解像度画像生成部は、撮像素子部により変換された画像生成用電荷信号に基づいて第１の画素数より多い画素数の高解像度画像を生成する。輪郭情報抽出部は、高解像度生成部により生成された高解像度画像から輪郭情報を抽出する。距離画像補正部は、距離画像の注目画素の距離情報を、距離画像において注目画素の周辺に存在する画素である周辺画素および輪郭情報抽出部により抽出された輪郭情報に基づいて、補正する。
【００２６】
この距離推定装置では、受光素子部により取得された画素数の少ない距離画像の距離情報において、画素数の多い高解像画像の輪郭情報を用いて、距離画像の画素間での距離情報を補間・推定することで、高精度の距離画像を取得することができる。これにより、受光素子部で用いられる撮像素子（ＣＣＤ等）の画素数を増やすことなく、距離推定精度を高めることができる。
なお、「注目画素」とは、距離推定装置において、処理対象となっている画素のことをいう。
第２の発明は、第１の発明であって、距離画像補正部は、距離画像の注目画素に相当する高解像度画像の画像領域内に輪郭情報がある場合、距離画像中の輪郭情報がある位置情報Ｐｏｓ（ｘ，ｙ）を特定し、位置情報Ｐｏｓ（ｘ，ｙ）と周辺画素との位置関係に基づき周辺画素の距離情報に重み付けを行い、さらに、重み付けをした周辺画素の距離情報を用いて、位置情報Ｐｏｓ（ｘ，ｙ）の距離情報を算出し、算出した位置情報Ｐｏｓ（ｘ，ｙ）の距離情報を、注目画素の距離情報に置換することによって、距離画像の注目画素の距離情報を補正する。
【００２７】
この距離推定装置では、距離画像の注目画素内に高解像度画像から抽出した輪郭情報がある場合、当該注目画素の距離情報は、精度が低い可能性があるので、注目画素の周囲の画素の距離情報に基づいて補間した距離情報（補間距離情報）を求め、当該注目画素の距離情報として採用する。
したがって、この距離推定装置では、受光素子部の撮像素子（距離推定用の撮像素子）の画素数を増やすことなく、高精度の距離画像（距離情報）を取得することができる。
第３の発明は、第１の発明であって、距離画像補正部は、距離画像の注目画素に相当する高解像度画像の画像領域内に輪郭情報がある場合、距離画像中の輪郭情報に基づいて、注目画素を分割し、分割した画素に対して、それぞれ、距離画像上の位置が近い注目画素の周辺画素の距離情報を用いて、注目画素を分割した画素の距離情報を算出することによって、距離画像の注目画素の距離情報を補正する。
【００２８】
この距離推定装置では、輪郭情報がある注目画素において、輪郭情報に基づいて、画素分割を行い、分割した画素の距離情報を、それぞれ、相関性の高い隣接画素の距離情報に基づいて補間した値とするので、この距離推定装置により取得される距離情報（距離画像）の精度を向上させることができる。
第４の発明は、光強度変調された光を対象物に照射し、対象物からの反射光を用いて対象物までの距離を推定する距離推定装置であって、光源と、発光源制御部と、受光光学系と、色分解部と、受光素子部と、電荷集積部と、信号演算部と、距離画像生成部と、距離画像記憶部と、撮像素子部と、高解像度画像生成部と、高解像度画像記憶部と、ベクトル検出部と、距離画像補正部と、を備える。
光源は、光強度変調可能な光を照射する。発光源制御部は、光源を制御する。受光光学系は、対象物からの光を集光する。色分解部は、受光光学系で受光した光を、周波数に基づき、第１光成分の光と、第２光成分の光とに分離する。受光素子部は、色分解部により分離された第２光成分の光を電荷に変換する。電荷集積部は、受光素子部で取得された電荷を集積し、電荷信号を取得する。信号演算部は、電荷信号に基づいて、距離情報を算出する。距離画像生成部は、距離情報に基づいて、第１の画素数を持つ距離画像を生成する。距離画像記憶部は、距離画像を記憶する。撮像素子部は、色分解部により分離された第２光成分の光を画像生成用電荷信号に変換する。高解像度画像生成部は、撮像素子部により変換された画像生成用電荷信号に基づいて第１の画素数より多い画素数の高解像度画像を生成する。高解像度画像記憶部は、高解像度画像を記憶する。動きベクトル検出部は、高解像度画像生成部により、所定の単位時刻ｔに取得された高解像度画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ）と、高解像度画像記憶部に記憶されている所定の単位時刻ｔより前の時刻（ｔ−α）に取得された高解像度画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ−α）と、を比較することにより動きベクトルを検出する。距離画像補正部は、距離画像生成部により、所定の単位時刻ｔに取得された距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ）と、距離画像記憶部に記憶されている所定の単位時刻ｔより前の時刻（ｔ−α）に取得された距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ−α）と、動きベクトル検出部により検出された動きベクトルに基づいて、距離画像の注目画素の距離情報を補正する。
【００２９】
この距離推定装置では、高解像度画像に基づいて求めた動きベクトルに基づいて、現時刻の距離画像を補正することができるので、受光素子部２の撮像素子（距離推定用の撮像素子）の画素数を増やすことなく、距離画像の高精度化を実現することができる。
なお、「所定の単位時刻」とは、例えば、フレーム単位で動きベクトルの検出処理を行う場合、1フレームに相当する時間のことをいう。また、フレーム単位で動きベクトルの検出処理を行う場合、「Ｉｍｇ＿ｃｏｌｏｒ（ｔ）」は、時刻ｔでのフレーム画像を意味し、「Ｉｍｇ＿ｃｏｌｏｒ（ｔ−α）」は、時刻ｔからαフレーム時間前のフレーム画像を意味する（距離画像についても同様）。
第５の発明は、光強度変調された光を対象物に照射し、対象物からの反射光を用いて対象物までの距離を推定する距離推定装置であって、光源と、発光源制御部と、受光光学系と、受光素子部と、電荷集積部と、信号演算部と、距離画像生成部と、距離信頼度算出部と、距離画像補正部と、を備える。
【００３０】
光源は、光強度変調可能な光を照射する。発光源制御部は、光源を制御する。受光光学系は、対象物からの光を集光する。受光素子部は、受光光学系により受光した光を電荷に変換する。電荷集積部は、受光素子部で取得された電荷を集積し、電荷信号を取得する。信号演算部は、電荷信号に基づいて、距離情報を算出する。距離画像生成部は、距離情報に基づいて、距離画像を生成する。距離信頼度算出部は、少なくとも距離情報および電荷信号のいずれか一方に基づいて、距離画像の各画素の信頼度を算出する。距離画像補正部は、距離信頼度算出部により算出された信頼度に基づいて、距離画像の各画素の距離情報を補正する。
この距離推定装置では、距離画像の各画素の距離情報あるいは反射光の強度に応じて、距離画像の当該画素における距離情報（距離画像データの値）の確からしさを表す信頼度を算出し、算出した信頼度をもとに距離画像データを補正することによって、最適距離画像を取得することができる。したがって、この距離推定装置では、受光素子部の撮像素子の画素において取得された反射光のレベル（反射波の振幅）が小さい場合であっても、その受光素子部の撮像素子の画素に相当する距離画像の画素において、距離情報を信頼度に基づいて補正することができるので、距離画像における距離推定精度の低下を効果的に抑制することができる。
【００３１】
第６の発明は、第５の発明であって、信頼度算出部は、注目画素の距離情報が大きい値であるほど、信頼度の値が小さくなるように、信頼度を算出する。
第７の発明は、第５または第６の発明であって、信頼度算出部は、注目画素に対応する電荷信号の振幅値が小さいほど、信頼度の値が小さくなるように、信頼度を算出する。
第８の発明は、光強度変調された光を対象物に照射し、対象物からの反射光を用いて対象物までの距離を推定する距離推定方法であり、光強度変調可能な光を照射する光源と、対象物からの光を集光する受光光学系と、受光光学系で受光した光を、周波数に基づき、第１光成分の光と、第２光成分の光とに分離する色分解部と、色分解部により分離された第２光成分の光を電荷に変換する受光素子部と、受光素子部において取得された電荷を集積し、電荷信号を取得する電荷集積部と、色分解部により分離された前記第２光成分の光を画像生成用電荷信号に変換する撮像素子部と、を備える、距離推定装置に用いられる距離推定方法である。そして、当該距離推定方法は、発光源制御ステップと、信号演算ステップと、距離画像生成ステップと、高解像度画像生成ステップと、輪郭情報抽出ステップと、距離画像補正ステップと、を備える。
【００３２】
発光源制御ステップでは、光源を制御する。信号演算ステップでは、電荷信号に基づいて、距離情報を算出する。距離画像生成ステップでは、距離情報に基づいて、第１の画素数を持つ距離画像を生成する。高解像度画像生成ステップでは、撮像素子部により変換された画像生成用電荷信号に基づいて第１の画素数より多い画素数の高解像度画像を生成する。輪郭情報抽出ステップでは、高解像度画像生成ステップにより生成された高解像度画像から輪郭情報を抽出する。距離画像補正ステップでは、距離画像の注目画素の距離情報を、距離画像において注目画素の周辺に存在する画素である周辺画素および輪郭情報抽出ステップにより抽出された輪郭情報に基づいて、補正する。
これにより、第１の発明と同様の効果を奏する距離推定方法を実現することができる。
第９の発明は、光強度変調された光を対象物に照射し、対象物からの反射光を用いて対象物までの距離を推定する距離推定方法であり、光強度変調可能な光を照射する光源と、対象物からの光を集光する受光光学系と、受光光学系で受光した光を、周波数に基づき、第１光成分の光と、第２光成分の光とに分離する色分解部と、色分解部により分離された第２光成分の光を電荷に変換する受光素子部と、受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、色分解部により分離された前記第２光成分の光を画像生成用電荷信号に変換する撮像素子部と、を備える距離推定装置に用いられる距離推定方法である。この距離推定方法は、発光源制御ステップと、信号演算ステップと、距離画像生成ステップと、距離画像記憶ステップと、高解像度画像生成ステップと、高解像度画像記憶ステップと、動きベクトル検出ステップと、距離画像補正ステップと、を備える。発光源制御ステップでは、光源を制御する。信号演算ステップでは、電荷信号に基づいて、距離情報を算出する。距離画像生成ステップでは、距離情報に基づいて、第１の画素数を持つ距離画像を生成する。距離画像記憶ステップでは、距離画像を記憶する。高解像度画像生成ステップでは、撮像素子部により変換された画像生成用電荷信号に基づいて第１の画素数より多い画素数の高解像度画像を生成する。高解像度画像記憶ステップでは、高解像度画像を記憶する。動きベクトル検出ステップでは、高解像度画像生成ステップにより、所定の単位時刻ｔに取得された高解像度画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ）と、高解像度画像記憶ステップで記憶された所定の単位時刻ｔより前の時刻（ｔ−α）に取得された高解像度画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ−α）と、を比較することにより動きベクトルを検出する。距離画像補正ステップは、距離画像生成ステップにより、所定の単位時刻ｔに取得された距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ）と、距離画像記憶ステップで記憶された所定の単位時刻ｔより前の時刻（ｔ−α）に取得された距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ−α）と、動きベクトル検出ステップにより検出された動きベクトルに基づいて、距離画像の注目画素の距離情報を補正する。
【００３３】
これにより、第４の発明と同様の効果を奏する距離推定方法を実現することができる。
第１０の発明は、光強度変調された光を対象物に照射し、対象物からの反射光を用いて対象物までの距離を推定する距離推定方法であり、光強度変調可能な光を照射する光源と、対象物からの光を集光する受光光学系と、受光光学系により受光した光を電荷に変換する受光素子部と、受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、を備える距離推定装置に用いられる距離推定方法である。この距離推定装置方法は、発光源制御ステップと、信号演算ステップと、距離画像生成ステップと、距離信頼度算出ステップと、距離画像補正ステップと、を備える。
発光源制御ステップでは、光源を制御する。信号演算ステップでは、電荷信号に基づいて、距離情報を算出する。距離画像生成ステップでは、距離情報に基づいて、距離画像を生成する。距離信頼度算出ステップでは、少なくとも距離情報および電荷信号のいずれか一方に基づいて、距離画像の各画素の信頼度を算出する。距離画像補正ステップでは、距離信頼度算出ステップにより算出された信頼度に基づいて、距離画像の各画素の距離情報を補正する。
【００３４】
これにより、第５の発明と同様の効果を奏する距離推定方法を実現することができる。
第１１の発明は、第８の発明の距離推定方法を、コンピュータに実行させるプログラムである。
これにより、第１の発明と同様の効果を奏するプログラムを実現することができる。
第１２の発明は、第９の発明の距離推定方法を、コンピュータに実行させるプログラムである。
これにより、第４の発明と同様の効果を奏するプログラムを実現することができる。
第１３の発明は、第１０の発明の距離推定方法を、コンピュータに実行させるプログラムである。
これにより、第５の発明と同様の効果を奏するプログラムを実現することができる。
【００３５】
第１４の発明は、光強度変調された光を対象物に照射し、対象物からの反射光を用いて対象物までの距離を推定する距離推定装置に用いられる集積回路であり、光強度変調可能な光を照射する光源と、対象物からの光を集光する受光光学系と、受光光学系で受光した光を、周波数に基づき、第１光成分の光と、第２光成分の光とに分離する色分解部と、色分解部により分離された第２光成分の光を電荷に変換する受光素子部と、受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、色分解部により分離された前記第２光成分の光を画像生成用電荷信号に変換する撮像素子部と、を備える距離推定装置に用いられる集積回路である。この集積回路は、発光源制御部と、信号演算部と、距離画像生成部と、高解像度画像生成部と、輪郭情報抽出部と、距離画像補正部と、を備える。
発光源制御部は、光源を制御する。信号演算部は、電荷信号に基づいて、距離情報を算出する。距離画像生成部は、距離情報に基づいて、第１の画素数を持つ距離画像を生成する。高解像度画像生成部は、撮像素子部により変換された画像生成用電荷信号に基づいて第１の画素数より多い画素数の高解像度画像を生成する。輪郭情報抽出部は、高解像度生成部により生成された高解像度画像から輪郭情報を抽出する。距離画像補正部は、距離画像の注目画素の距離情報を、距離画像において注目画素の周辺に存在する画素である周辺画素および輪郭情報抽出部により抽出された輪郭情報に基づいて、補正する。
【００３６】
これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。
第１５の発明は、光強度変調された光を対象物に照射し、対象物からの反射光を用いて対象物までの距離を推定する距離推定装置に用いられる集積回路であり、光強度変調可能な光を照射する光源と、対象物からの光を集光する受光光学系と、受光光学系で受光した光を、周波数に基づき、第１光成分の光と、第２光成分の光とに分離する色分解部と、色分解部により分離された第２光成分の光を電荷に変換する受光素子部と、受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、色分解部により分離された前記第２光成分の光を画像生成用電荷信号に変換する撮像素子部と、を備える距離推定装置に用いられる集積回路である。この集積回路は、発光源制御部と、信号演算部と、距離画像生成部と、距離画像記憶部と、高解像度画像生成部と、高解像度画像記憶部と、ベクトル検出部と、距離画像補正部と、を備える。
【００３７】
発光源制御部は、光源を制御する。信号演算部は、電荷信号に基づいて、距離情報を算出する。距離画像生成部は、距離情報に基づいて、第１の画素数を持つ距離画像を生成する。距離画像記憶部は、距離画像を記憶する。高解像度画像生成部は、撮像素子部により変換された画像生成用電荷信号に基づいて第１の画素数より多い画素数の高解像度画像を生成する。高解像度画像記憶部は、高解像度画像を記憶する。動きベクトル検出部は、高解像度画像生成部により、所定の単位時刻ｔに取得された高解像度画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ）と、高解像度画像記憶部に記憶されている所定の単位時刻ｔより前の時刻（ｔ−α）に取得された高解像度画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ−α）と、を比較することにより動きベクトルを検出する。距離画像補正部は、距離画像生成部により、所定の単位時刻ｔに取得された距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ）と、距離画像記憶部に記憶されている所定の単位時刻ｔより前の時刻（ｔ−α）に取得された距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ−α）と、動きベクトル検出部により検出された動きベクトルに基づいて、距離画像の注目画素の距離情報を補正する。
【００３８】
これにより、第４の発明と同様の効果を奏する集積回路を実現することができる。
第１６の発明は、光強度変調された光を対象物に照射し、対象物からの反射光を用いて対象物までの距離を推定する距離推定装置に用いられる集積回路であり、光強度変調可能な光を照射する光源と、対象物からの光を集光する受光光学系と、受光光学系により受光した光を電荷に変換する受光素子部と、受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、を備える距離推定装置に用いられる集積回路である。この集積回路は、発光源制御部と、信号演算部と、距離画像生成部と、距離信頼度算出部と、距離画像補正部と、を備える。
発光源制御部は、光源を制御する。信号演算部は、電荷信号に基づいて、距離情報を算出する。距離画像生成部は、距離情報に基づいて、距離画像を生成する。距離信頼度算出部は、少なくとも距離情報および電荷信号にいずれか一方に基づいて、距離画像の各画素の信頼度を算出する。距離画像補正部は、距離信頼度算出部により算出された信頼度に基づいて、距離画像の各画素の距離情報を補正する。
【００３９】
これにより、第５の発明と同様の効果を奏する集積回路を実現することができる。
第１７の発明は、第１から第７のいずれかの発明である距離推定装置を含むカメラである。
これにより、第１〜第７の発明と同様の効果を奏する距離測定装置を搭載したカメラを実現することができる。
なお、「カメラ」とは、静止画を取得するスチルカメラや、動画像を取得する撮像装置（ムービー）や、静止画および動画の両方を撮像することできる撮像装置や、取得した撮像画像（映像）から３D表示用画像（映像）を生成する機能を備える撮像装置を含む概念である。
また、第１７の発明のカメラにおいて、撮像画像は、カメラに含まれる距離測定装置の高解像度画像生成部により生成される高解像度画像を用いるものであってもよいし、距離測定装置とは別に、撮像素子をさらに追加し、追加した当該撮像素子から撮像画像を取得するものであってもよい。
【発明の効果】
【００４０】
本発明によれば、画素数の少ない撮像素子（ＣＣＤ等）を用いて取得した距離情報に基づいて、撮像素子（ＣＣＤ等）の画素間での距離情報を補間・推定することによって、ＴＯＦ方式による距離画像の高解像度化を実現する距離推定装置、距離推定方法、プログラムおよび集積回路を実現することができる。また、本発明によれば、反射光の振幅もしくは距離画像データ自体の値をもとに、精度の不足した画素での距離情報を補正することで、距離画像データの精度改善を行うことができる距離推定装置、距離推定方法、プログラムおよび集積回路を実現することができる。
【図面の簡単な説明】
【００４１】
【図１】本発明における第１実施形態に係る距離推定装置の構成を示すブロック図。
【図２】本発明における第１実施形態に係る最適距離情報取得部の構成を示すブロック図。
【図３Ａ】本発明における第１実施形態に係る距離推定方法における距離画像補間方法の概要を示す図。
【図３Ｂ】本発明における第１実施形態に係る距離推定方法における距離画像補間方法の概要を示す図。
【図４】本発明における第１実施形態に係る距離推定方法における処理フローチャートを示す図。
【図５Ａ】本発明における第１実施形態に係る距離推定方法における第２の距離画像補間方法（第１変形例）の概要を示す図。
【図５Ｂ】本発明における第１実施形態に係る距離推定方法における第３の距離画像補間方法（第２変形例）の概要を示す図。
【図６】本発明における第２実施形態に係る距離推定装置の構成を示すブロック図。
【図７】本発明における第２実施形態に係る距離推定装置の動きベクトル検出部のブロック図。
【図８】本発明における第２実施形態に係る距離推定方法における動きベクトルを用いた距離画像補正方法の概要を示す図。
【図９】本発明における第２実施形態に係る距離推定方法の処理フローチャートを示す図。
【図１０】本発明における第２実施形態に係る距離推定方法での動きベクトル検出の概要を示す図。
【図１１】本発明における第３実施形態に係る距離推定装置の構成を示すブロック図。
【図１２】本発明における第３実施形態に係る距離推定装置の距離信頼度算出部の構成を示すブロック図。
【図１３】本発明における第３実施形態における距離信頼度算出方法の概要を示す図。
【図１４】距離画像補正部３２における補正処理の一例を説明するための図。
【図１５Ａ】本発明における第３実施形態における距離信頼度を決定する関数例を示す図。
【図１５Ｂ】本発明における第３実施形態における距離信頼度を決定する関数例を示す図。
【図１６Ａ】本発明における第４実施形態における距離信頼度を決定する関数例２を示す図。
【図１６Ｂ】本発明における第４実施形態における距離信頼度を決定する関数例２を示す図。
【図１７】本発明における第４実施形態に係る距離推定方法の処理フローチャート図。
【図１８】従来例１の距離推定装置の構成を示すブロック図。
【図１９】従来例１の距離推定方法の概要を示す図。
【図２０】従来例２の距離推定装置の構成を示すブロック図。
【図２１】従来例２の距離推定方法の概要を示す図。
【発明を実施するための形態】
【００４２】
以下、本発明の最良の形態としての第１〜第３実施形態について説明する。
第１実施形態では、所定の発光周波数（光（電磁波）の周波数）を持つ光を照射できる光源から距離推定用照明光を対象物に対して照射し、距離推定用照射光の反射光を受光し、距離推定装置から対象物までの距離情報を取得し、取得した距離情報に基づいて距離画像データを生成し、距離推定用照射光の反射光と同期して得られる可視光成分より得られたカラー画像の輪郭情報を抽出し、抽出した輪郭情報に基づいて、距離画像上の対応部分において周囲の距離情報より、距離画像上の対応部分の距離情報を補正することによって距離推定を行う装置および方法について説明する。
第２実施形態では、所定の発光周波数を持つ光を照射できる光源から距離推定用照明光を対象物に対して照射し、距離推定用照射光の反射光を受光し、距離推定装置から対象物までの距離情報を取得し、取得した距離情報に基づいて距離画像データを生成し、距離推定用照射光の反射光と同期して得られる可視光成分より得られたカラー画像の動きベクトル検出を行い、検出した動きベクトル情報と、当該動きベクトルに対応する距離画像上の部分の１単位時刻前の距離情報より、当該部分の対象時刻の距離情報を補正することによって距離推定を行う装置および方法について説明する。
【００４３】
第３実施形態では、所定の発光周波数を持つ光を照射できる光源から距離推定用照明光を対象物に対して照射し、距離推定用照射光の反射光を受光し、距離推定装置から対象物までの距離情報を取得し、取得した距離情報に基づいて距離画像データを生成し、距離画像データの値あるいは反射光の強度に応じて、距離画像データの値の確からしさを表す信頼度を算出し、算出した信頼度をもとに距離画像データを補正することによって距離推定を行う装置および方法について説明する。
［第１実施形態］
図１から図５Ｂを用いて、本発明の第１実施形態について、説明する。
図１は、本発明の第１実施形態に係る距離推定装置１００の概略構成図である。
また、図２は、本発明の第１実施形態に係る距離推定装置１００内の最適距離情報取得部７の概略構成図である。
【００４４】
図３は、第１実施形態に係る距離推定方法における画像補間方法の概要を模式的に示した図である。
図４は、第１実施形態に係る距離推定方法の処理フローチャートを示す図である。
また、図５Ａと図５Ｂは、第１実施形態に係る距離推定方法における第２の画像補間方法の概要（第１変形例および第２変形例）を模式的に示した図である。
本発明の距離推定装置は、ムービーあるいはＤＳＣ（Ｄｉｇｉｔａｌ Ｓｔｉｌｌ Ｃａｍｅｒａ）等の撮像装置によって撮影された画像の奥行き感・立体感を向上させるために、対象空間を撮像し、撮像装置から対象空間に存在する対象物までの距離を推定する方法・装置に関するものであり、例えば、デジタルスチルカメラあるいはデジタルビデオカメラのような撮影機器、あるいは、モバイル環境下において使用する携帯電話あるいはカーモバイル機器・ＰＤＡ等へ搭載される。また、本発明の距離推定方法は、上記した機器等において実行される。
【００４５】
＜１．１：距離推定装置の構成＞
図１に示すように、距離推定装置１００は、光強度変調可能な発光源１０と、発光源１０の発光制御を行う発光源制御部９と、被写体（対象物）からの光を集光する受光光学系１と、受光光学系１で受光した光を可視光成分の光と赤外光成分（距離測定用の光成分）の光に分離する色分解プリズム１１と、色分解プリズム１１で分離された赤外光成分の光を光電変換する素子（撮像素子）を有する受光素子部２と、受光素子部２で変換された電荷を集積し、電荷信号として出力する電荷集積部３と、画像生成部６で生成された距離画像を記憶・保持する距離画像保持メモリ部８と、を備える。また、距離推定装置１００は、色分解プリズム１１で分離された可視光成分の光を光電変換し画像用電荷信号を取得する撮像素子部１２と、撮像素子部１２により取得された画像用電荷信号に基づいて画像を生成するカラー画像生成部１３と、カラー画像生成部１３により生成された画像から輪郭情報を抽出する輪郭情報抽出部１４と、を備える。また、距離推定装置１００は、輪郭情報抽出部１４により抽出された輪郭情報に基づいて、距離画像保持メモリ部８に記憶・保持されている距離情報から最適距離情報を取得する最適距離情報取得部７と、最適距離情報取得部７により取得された最適距離情報に基づき、最適距離画像を生成する最適距離画像生成部１５と、を備える。
【００４６】
発光源１０は、発光源制御部９により発光制御される発光源である。発光源１０から発光される照明光Ｓ１は、発光源制御部９の発光制御により、光強度変調された光とすることができる。なお、発光源１０は、距離測定用の光を発光する光源であり、発光源１０から発光される距離測定用光は、赤外光（なお、「Ｘ＾Ｙ」は、「ＸのＹ乗」を表している。以下同様。）であることが好ましい。したがって、発光源１０として、赤外光領域の周波数（例えば、１×１０＾６［ＭＨｚ］〜１×１０＾９［ＭＨｚ］）（なお、「Ｘ＾Ｙ」は、「ＸのＹ乗」を表している。以下同様。）の電磁波（赤外光）を発光する光源を用いることが好ましい。また、赤外光領域の周波数を用いる場合、発光源として、赤外領域の周波数の光を発光するＬＥＤ光源を用いることが好ましい。
以下では、発光源１０から発光される距離測定用光が赤外光であるものとして、説明する。
【００４７】
発光源制御部９は、発光源１０の発光制御を行う。また、発光源制御部９は、制御部４から出力される光強度変調制御信号に基づいて、発光源１０から発光される照明光Ｓ１の光強度変調を行う。
受光光学系１は、撮像対象空間からの光を集光する光学系であり、光学レンズ、光学フィルタ等から構成される。
色分解プリズム１１は、光（電磁波）の周波数に基づき、その光路を分離する（その光成分を分離する）光学プリズムであり、距離推定装置１００では、受光光学系１で集光された反射光Ｓ２を、距離推定用赤外光成分とカラー画像用可視光成分とに分離する。そして、色分解プリズム１１で分離された距離推定用赤外光成分の光（電磁波）は、受光素子部２に入射される。また、色分解プリズム１１で分離されたカラー画像用可視光成分の光（電磁波）は、撮像素子部１２に入射される。
【００４８】
受光素子部２は、複数の画素からなる撮像素子を有しており、各画素は、フォトダイオード等の光電変換素子を含んでいる。受光素子部２では、各画素において、光電変換された受光光量に応じた電荷が取得される。受光素子部２において取得された電荷は、電荷集積部３に出力される。なお、発光源１０から発光させる光が赤外光である場合、受光素子部２の撮像素子は、赤外光用ＣＣＤを用いることが好ましい。また、受光素子部２の撮像素子の前段に、赤外領域外の電磁波を遮断するために、赤外光用のフィルタ（光学フィルタ）等を設置するようにしてもよい。
電荷集積部３は、制御部４から設定された所定の電荷蓄積時間に基づいて、受光素子部２において光電変換された電荷を集積し、電荷信号Ｄｉを取得する。電荷集積部３は、取得した電荷信号Ｄｉを、制御部４の指令に基づいて、信号演算部５に出力する。
【００４９】
信号演算部５は、電荷集積部３から出力される電荷信号Ｄｉに対して、例えば、（数式４）の処理を行い、距離情報Ｌｉを算出する。なお、受光素子部２の撮像素子の画素ｉに対応する電荷信号Ｄｉとし、画素ｉに対応する距離情報をＬｉと表記することとする。信号演算部５は、算出した距離情報Ｌｉを画像生成部６に出力する。
制御部４は、光強度変調制御信号を発光源制御部９に出力し、発光源制御部９を介して、発光源１０から発光される光の強度を光強度変調制御信号に基づいて変調させる。そして、制御部４は、光強度変調制御信号に基づいて光強度変調させた照明光Ｓ１の変調周期に同期させて、所定のタイミングにおいて電荷集積部３に集積された電荷量を取得させ、電荷信号Ｄｉとして、信号演算部５に出力させる。そして、制御部４は、信号演算部５に対して、例えば、（数式４）に相当する処理を実行するように制御する。
【００５０】
なお、ここで、「所定のタイミング」とは、例えば、光強度変調制御信号に基づいて光強度変調させた照明光Ｓ１の変調周期の１周期あたり４点（例えば、上記（数式４）のＡ０点〜Ａ４点の４点に相当。）をサンプリングすることに相当するタイミングのことをいう。なお、照明光Ｓ１の変調周期１周期あたりのサンプリング数は、４点に限定されないことは、言うまでもない。
照明光Ｓ１の変調周期１周期あたりのサンプリング数が４点である場合、信号演算部５では、電荷集積部３から出力された電荷信号Ｄｉに対して、（数式４）に相当する処理を行うことによって、位相シフト量Ψを求め、さらに、距離情報Ｌｉを簡単に求めることができる。
画像生成部６は、信号演算部５により算出された距離情報Ｌｉを入力とし、距離情報Ｌｉに基づいて、距離画像を生成する。ここで、「距離画像」とは、受光素子部２の撮像素子の画素ｉに対応させた２次元画像であり、距離画像上の画素ｉに対応する位置の値は、画素ｉに相当する距離情報を表す値となっている。つまり、距離画像上の画素ｉに対応する位置の値は、画素ｉに対応する撮像対象空間内の対象物と距離推定装置１００との距離を表す値となっている。この値は、必ずしも、当該距離の値そのものである必要はなく、当該距離と相関のある値であってもよい。
【００５１】
距離画像保持メモリ部８は、画像生成部６で生成された距離画像を入力とし、その距離画像を記憶・保持する。
撮像素子部１２は、複数の画素からなる撮像素子を有しており、各画素は、フォトダイオード等の光電変換素子を含んでいる。撮像素子部１２では、各画素において、光電変換された受光光量に応じた電荷が取得・蓄積される。そして、撮像素子部１２は、蓄積した電荷をカラー画像生成部１３に出力する。なお、撮像素子部１２として、例えば、ＣＣＤ型イメージセンサあるいはＣＭＯＳ型イメージセンサを用いるとよい。
カラー画像生成部１３は、撮像素子部１２から、各画素に対応して出力される電荷を入力とし、当該電荷に基づいてカラー画像信号を生成する。そして、カラー画像生成部１３は、生成したカラー画像信号を、輪郭情報抽出部１４に出力する。
【００５２】
輪郭情報抽出部１４は、カラー画像生成部１３により生成されたカラー画像信号から輪郭画素抽出を行い、輪郭情報を取得（抽出）する。そして、輪郭情報抽出部１４は、抽出した輪郭情報を最適距離情報取得部７に出力する。
最適距離情報取得部７は、輪郭情報抽出部１４から出力される輪郭情報と、距離画像保持メモリ部８から出力される注目画素の周囲画素の距離情報と、画像生成部６から出力される注目画素の距離情報および注目画素の画素位置についての情報と、を入力とする。最適距離情報取得部７は、入力された輪郭情報、注目画素の画素位置情報、注目画素の距離情報および注目画素の周囲画素の距離情報に基づいて、最適距離情報を取得し、取得した最適距離情報を最適距離画像生成部１５に出力する。なお、ここで、「注目画素」とは、距離情報を求める対象（処理対象）となっている画素（距離画像上の画素）のことをいう。
【００５３】
最適距離情報取得部７は、例えば、図２に示す構成とすることができる。図２に示すように、最適距離情報取得部７は、輪郭判定部７１と、補間位置算出部７２と、周囲距離情報検出部７３と、距離情報補間値算出部７４と、切換器７５と、を備える。
輪郭判定部７１は、輪郭情報抽出部１４から出力される輪郭情報と、画像生成部６から出力される注目画素の画素位置情報を入力とし、輪郭情報に基づいて注目画素内に輪郭があるか否かを検出する。具体的には、輪郭判定部７１は、カラー画像生成部１３により生成されたカラー画像信号より形成される画像上において、距離画像における注目画素に相当する画像領域に輪郭があるか否かを検出する。そして、輪郭判定部７１は、距離画像における注目画素に相当する画像領域に輪郭があると判断した場合、輪郭判定結果を「１」として出力し、距離画像における注目画素に相当する画像領域に輪郭がないと判断した場合、輪郭判定結果を「０」として出力する。輪郭判定部７１は、輪郭判定結果を補間位置算出部７２および切換器７５に出力する。なお、輪郭判定結果は、周囲距離情報検出部７３および距離情報補間値算出部７４に出力するようにしてもよい。
【００５４】
補間位置算出部７２は、輪郭情報抽出部１４から出力される輪郭情報と、画像生成部６から出力される注目画素の画素位置情報と、輪郭判定部から出力される輪郭判定結果を入力とする。補間位置算出部７２は、輪郭判定結果が「１」である場合（輪郭ありの場合）のみ動作し、輪郭情報および注目画素の画素位置情報に基づいて輪郭画素位置情報を算出する。そして、補間位置算出部７２は、算出した輪郭画素位置情報を距離情報補間値算出部７４に出力する。
周囲距離情報検出部７３は、画像生成部６から出力される注目画素の画素位置情報と、距離画像保持メモリ部８から出力される注目画素の周囲画素の距離情報と、を入力とし、補間値算出用周囲距離情報を取得する。そして、周囲距離情報検出部７３は、取得した補間値算出用周囲距離情報を距離情報補間値算出部７４に出力する。
【００５５】
距離情報補間値算出部７４は、補間位置算出部７２から出力される輪郭画素位置情報と、周囲距離情報検出部７３から出力される補間値算出用周囲距離情報と、を入力とする。距離情報補間値算出部７４は、輪郭画素位置情報および補間値算出用周囲距離情報に基づいて、補間距離情報Ｌｉ’を算出する。そして、距離情報補間値算出部７４は、補間距離情報Ｌｉ’を切換器７５に出力する。
切換器７５は、距離情報補間値算出部７４から出力される補間距離情報Ｌｉ’と、画像生成部６から出力される注目画素の距離情報Ｌｉと、を入力とし、輪郭判定部７１から出力される輪郭判定結果に基づいて、その出力を切り替える。具体的には、切換器７５は、輪郭判定結果が「１」である場合（輪郭ありの場合）、注目画素の補間距離情報Ｌｉ’を出力し、輪郭判定結果が「０」である場合（輪郭なしの場合）、注目画素の距離情報Ｌｉを出力する。
【００５６】
最適距離情報取得部７は、切換器７５からの出力を、最適距離情報として、最適距離画像生成部１５に出力する。
最適距離画像生成部１５は、最適距離情報取得部７から出力される最適距離情報を入力とし、最適距離情報に基づいて最適距離画像を生成する。そして、最適距離画像生成部１５は、生成した最適距離画像を出力する。
＜１．２：距離推定装置の動作＞
以上のように構成された距離推定装置１００の動作および距離推定装置１００において実行される距離推定方法について、図１から図５を用いて、説明する。
距離推定装置１００において、
まず、発光源制御部９により、発光源１０を発光させた状態にする。その状態で、対象物体ＯＢＪ１０からの光を、受光光学系１に入射させる。
【００５７】
受光光学系１に入射された光は、色分解プリズム１１により、距離推定用赤外光成分の光とカラー画像用可視光成分の光に分離される。
受光素子部２では、各画素において、距離推定用赤外光成分の光が光電変換され、電荷として取得される。
受光素子部２において取得された電荷は、電荷集積部により集積され、電荷信号Ｄｉとして信号演算部５に出力される。具体的には、制御部４からの指令に従い、光強度変調制御信号に基づいて光強度変調させた照明光Ｓ１の変調周期に同期した所定のタイミングにおいて電荷集積部３に集積された電荷量が取得され、電荷信号Ｄｉとして、信号演算部５に出力される。なお、ここでの「所定のタイミング」は、例えば、光強度変調制御信号に基づいて光強度変調させた照明光Ｓ１の変調周期の１周期あたり４点（例えば、上記（数式４）のＡ０点〜Ａ４点の４点に相当。）をサンプリングすることに相当するタイミングである。以下では、説明便宜のため、照明光Ｓ１の変調周期１周期あたりのサンプリング数が４点である場合について説明する。
【００５８】
信号演算部５では、入力された電荷信号Ｄｉ（照明光Ｓ１の変調周期１周期あたりに４点のサンプリングをされた電荷信号Ｄｉ）に対して、（数式４）に相当する処理を行い、位相シフト量Ψを求める。さらに、信号演算部５では、位相シフト量Ψに対して、（数式３）に相当する処理を行い、画素ｉの距離情報Ｌｉを取得する。
信号演算部５により取得された距離情報Ｌｉは、画像生成部６に出力される。
画像生成部６では、信号演算部５により算出された距離情報Ｌｉに基づいて、距離画像が生成される。
まとめると、距離推定装置１００では、反射光Ｓ２を受光素子部２において受け、受光素子部２および電荷集積部３により変換・集積された電荷信号Ｄｉを、制御部４で制御して、信号演算部５により、対応する画素ｉの距離情報値Ｌｉに変換する。
【００５９】
この際、従来例２と同様に、距離推定装置１００では、図１９で示される変調周期１周期あたり４点（Ａ０点，Ａ１点，Ａ２点およびＡ３点の４点）の電荷信号Ｄｉのサンプリングを行い、（数式４）を用いて位相シフト量Ψを導出する。そして、距離推定装置１００では、その導出した位相量Ψ（Ａ０〜Ａ３の４点により求めた位相量）を、（数式３）に当てはめることで、画素ｉの距離情報値Ｌｉを求める。
距離画像保持メモリ部８では、画像生成部６により生成された距離画像が記憶・保持される。
一方、色分解プリズム１１で分離されたカラー画像用可視光成分の光は、撮像素子部１２により受光・集積されて、カラー画像生成部１３でカラー画像信号（画像データ）に変換される。そして、カラー画像生成部１３で取得されたカラー画像信号は、輪郭情報抽出部１４に出力される。
【００６０】
輪郭情報抽出部１４では、（数式５）で示される３×３の大きさをもつ２次元フィルタによる２次元フィルタ処理（（数式６）による処理）を用いて、画像内の各画素（ｉ，ｊ）の微分ベクトルｖｄ（ｉ，ｊ）（ｘｄ（ｉ，ｊ），ｙｄ（ｉ，ｊ））を求める。また、輪郭情報抽出部１４では、微分ベクトルｖｄ（ｉ，ｊ）の大きさｓｔｖ（ｉｊ）を、
ｓｔｖ（ｉｊ）＝（ｘｄ（ｉ，ｊ）×ｘｄ（ｉ，ｊ）＋ｙｄ（ｉ，ｊ）×ｙｄ（ｉ，ｊ））＾０．５
を用いて求める。
輪郭情報抽出部１４では、各画素（ｉ，ｊ）のｓｔｖ（ｉ，ｊ）を、所定のしきい値ＴＨ２を使って、（数式７）のように比較することで、輪郭画素抽出を行う。なお（数式７）は、カラー画像信号により形成される画像上の画素が、輪郭に含まれる画素かどうかを示すための２値化を行うものであり、Ｅ（ｉ，ｊ）＝１は、画素（ｉ，ｊ）が輪郭に含まれる画素であることを表している。
【００６１】
【数５】
【００６２】
【数６】
【００６３】
【数７】
【００６４】
このようにして、輪郭情報抽出部１４により求められた輪郭情報Ｅ（ｉ，ｊ）（以下では、単に「輪郭情報Ｅｉ」と表記することもある。）は、最適距離情報取得部７に出力される。
なお、カラー画像生成部１３で生成される画像（カラー画像信号により形成される画像）の解像度は、画像生成部６で生成される距離画像の解像度よりも高解像度であるものとする。距離推定装置１００において、受光素子部２は、距離推定用であるので、受光素子部２の撮像素子の画素数は、カラー画像生成用である撮像素子部１２の撮像素子の画素数に比べて少ない。つまり、距離推定装置１００において、距離推定用の撮像素子の解像度は、カラー画像生成用の撮像素子の解像度ほど高解像度を求められないので、受光素子部２の撮像素子の画素数を、カラー画像生成用である撮像素子部１２の撮像素子の画素数より少なくしても問題ない。
【００６５】
また、受光素子部２の受光素子数（受光素子部２の撮像素子の画素数）を多くして距離画像の高解像度化を行った場合に発生するショットノイズあるいは環境光等の影響による推定（測定）距離精度の低下を抑えるために、受光素子部２の素子数（距離画像の解像度）を小さくすることが望ましい。
以上より、距離推定装置１００では、受光素子部２の撮像素子の画素数が、撮像素子部１２の撮像素子の画素数よりも少ないものとして、以下、説明する。
最適距離情報取得部７は、例えば、図２のように構成される。また、図３Ａは、距離画像の画素内に輪郭情報がある場合における最適距離情報取得部７の処理概要を模式的に示した図である。図３Ｂは、距離画像の画素内に輪郭情報がない場合における最適距離情報取得部７の処理概要を模式的に示した図である。なお、図３Ａおよび図３Ｂの距離画像において、画素が明るい（輝度が高い）程、当該画素が示す距離情報は、近い距離であることを示している。つまり、当該画素に相当する撮像空間（対象物）と距離推定装置との３次元空間内の距離が短いということを示している。
【００６６】
まず、距離画像の画素内に輪郭情報がある場合における最適距離情報取得部７の処理について説明する。
図３Ａのカラー画像Ｉｍｇ＿ｃｏｌｏｒは、カラー画像生成部１３により生成されたカラー画像信号により形成される画像において、輪郭情報抽出部１４により抽出された輪郭情報を示している。また、図３Ａのカラー画像Ｉｍｇ＿ｃｏｌｏｒ中のブロックは、距離画像１画素に相当する画像領域を示している。具体的には、カラー画像Ｉｍｇ＿ｃｏｌｏｒ中の画像領域ｂｌｋ１は、距離画像の１画素に対応する画像領域を示している。そして、画像領域ｂｌｋ１内には、カラー画像の画素が複数存在している。つまり、カラー画像の画素数の方が、距離画像の画素数よりも多い。言い換えると、カラー画像の画素の大きさは、距離画像の画素の大きさよりも小さい。
【００６７】
図３Ａのカラー画像Ｉｍｇ＿ｃｏｌｏｒにおいて、距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅの画素は、細分化されたブロック（カラー画像Ｉｍｇ＿ｃｏｌｏｒを構成する複数の画素からなるブロック）として表現される。この場合、ＴＯＦ方式によって得られる距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅの画素は、カラー画像Ｉｍｇ＿ｃｏｌｏｒのブロックに相当することになり、距離情報もカラー画像Ｉｍｇ＿ｃｏｌｏｒのブロックに相当する単位で取得されることとなる。つまり、距離画像は、カラー画像に比べて粗い画像となる。
図３Ａの距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅは、画像生成部６により生成された距離画像であり、各画素中のＬ１〜Ｌ１０は、画素Ｐ１〜Ｐ１０の距離情報Ｌｉを示している。なお、図３Ａの距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅにおいて、距離情報がＬ１〜Ｌ１０である画素を、画素Ｐ１〜Ｐ１０とする。
【００６８】
（１．２．１：距離画像の注目画素内に輪郭情報がある場合の処理）
まず、距離画像の注目画素内に輪郭情報がある場合の処理について説明する。
以下、注目画素をＰ５として、図２および図３Ａを用いて、説明する。
注目画素がＰ５である場合、輪郭判定部７１は、注目画素Ｐ５の画素位置情報と、注目画素Ｐ５に相当するカラー画像の画像領域内の輪郭情報Ｅ（ｉ，ｊ）と、に基づいて、注目画素Ｐ５内に輪郭情報があるか否か（すなわち、輪郭があるか否か）を判断する。この場合、注目画素Ｐ５内には、輪郭情報があるので、輪郭判定部７１は、輪郭判定結果を「１」にして出力する。
次に、補間位置算出部７２では、輪郭情報の画素位置Ｐｅｄｇ（ｓ，ｔ）が求められる。補間位置算出部７２により求められた輪郭情報の画素位置Ｐｅｄｇ（ｓ，ｔ）は、距離情報補間値算出部７４に出力される。
【００６９】
そして、周囲距離情報検出部７３では、距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ内の注目画素Ｐ５に隣接する画素Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ６、Ｐ７、Ｐ８、Ｐ９を用いて、注目画素Ｐ５の４隅に相当する距離情報Ｌ１ｄ、Ｌ３ｄ、Ｌ７ｄおよびＬ９ｄを求める。これについて、具体的に、図３Ａの領域Ｒ１の場合を例に、説明する。
図３Ａに示すように、注目画素Ｐ１の距離情報Ｌ１と、注目画素Ｐ５に隣接する画素Ｐ１、Ｐ２およびＰ４の距離情報Ｌ１、Ｌ２およびＬ４を用いて、領域Ｒ１の中心位置、つまり、注目画素Ｐ５の左上隅に相当する距離情報Ｌ１ｄを、（数式８）により求める。
同様に、注目画素Ｐ５の右上隅の距離情報Ｌ３ｄ、左下隅の距離情報Ｌ７ｄおよび右下隅の距離情報Ｌ９ｄを、（数式８）を用いて求める。
【００７０】
【数８】
【００７１】
周囲距離情報検出部７３により、求められた注目画素Ｐ５の４隅に相当する距離情報Ｌ１ｄ、Ｌ３ｄ、Ｌ７ｄおよびＬ９ｄ（これを、「補間値算出用周囲距離情報」という。）は、距離情報補間値算出部７４に出力される。
距離情報補間値算出部７４では、補間値算出用周囲距離情報Ｌ１ｄ、Ｌ３ｄ、Ｌ７ｄおよびＬ９ｄと、輪郭情報の画素位置Ｐｅｄｇ（ｓ，ｔ）と、を用いて、注目画素Ｐ５の補間距離情報Ｌ’を求める。
図３Ａに示すように、注目画素端Ｐｏｓ（Ｌ１ｄ）とＰｏｓ（Ｌ７ｄ）を結ぶ垂線から補間位置（輪郭情報の画素位置）Ｐｅｄｇ（ｓ，ｔ）までの水平方向距離をｂとし、Ｐｏｓ（Ｌ１ｄ）とＰｏｓ（Ｌ３ｄ）を結ぶ水平線からＰｅｄｇ（ｓ，ｔ）までの垂直方向距離をａとした場合、Ｐｅｄｇ（ｓ，ｔ）における補間値Ｌ’は、（数式９）のように求めることができる。なお、ａ，ｂともに距離受光用素子画素間を「１」に正規化した場合の値となる。したがって、０≦ａ≦１、０≦ｂ≦１である。また、Ｐｏｓ（Ｌ１ｄ）、Ｐｏｓ（Ｌ３ｄ）、Ｐｏｓ（Ｌ７ｄ）およびＰｏｓ（Ｌ９ｄ）は、注目画素Ｐ５の４隅の画像上の位置を表すものとする。
【００７２】
【数９】
【００７３】
このようにして求めた補間距離情報Ｌ’は、補間値算出用周囲距離情報（注目画素Ｐ５の４隅の距離情報に相当。）を２次元で線形補間した値に相当する。
距離情報補間値算出部７４により求められた補間距離情報Ｌ’は、切換器７５に出力される。
そして、注目画素が図３ＡのＰ５である場合は、注目画素Ｐ５内に輪郭情報があり、輪郭判定部７１から出力される輪郭判定結果が「１」であるので、切換器７５からは、距離情報補間値算出部７４により求められた補間距離情報Ｌ’が、最適距離情報Ｌｂｅｓｔとして出力される。
（１．２．２：距離画像の注目画素内に輪郭情報がない場合の処理）
次に、距離画像の注目画素内に輪郭情報がない場合の処理について説明する。
【００７４】
以下、注目画素をＰ１０として、図２および図３Ｂを用いて、説明する。図３Ｂにおいて、図３Ａと同様の部分については、同様の表記を行い、説明を省略する。
注目画素がＰ１０である場合、輪郭判定部７１は、注目画素Ｐ１０の画素位置情報と、注目画素Ｐ１０に相当するカラー画像の画像領域内の輪郭情報Ｅ（ｉ，ｊ）と、に基づいて、注目画素Ｐ１０内に輪郭情報があるか否か（すなわち、輪郭があるか否か）を判断する。この場合、注目画素Ｐ１０内には、輪郭情報がないので、輪郭判定部７１は、輪郭判定結果を「０」にして出力する。
図２に示すように、輪郭判定結果が「０」である場合、最適距離情報取得部７の切換器７５の出力からは、注目画素Ｐｉの距離情報Ｌｉがそのまま出力される。つまり、この場合、注目画素がＰ１０であるので、最適距離情報取得部７の切換器７５の出力からは、注目画素Ｐ１０の距離情報Ｌ１０がそのまま出力される。すなわち、この場合、最適距離情報取得部７から出力される最適距離情報Ｌｂｅｓｔ＝Ｌ１０（＝Ｌｉ）となる。
【００７５】
なお、上記の場合、注目画素Ｐ１０に対応するカラー画像の画像領域は、平坦であるので、距離画像の画素Ｐ１０の距離情報Ｌ１０は、精度の良いものであると考えられるので、上記のような処理により、最適距離情報Ｌｂｅｓｔを出力することで、距離推定装置１００において、距離推定精度を維持することができる。
以上のように、最適距離情報取得部７により求めた最適距離情報Ｌｂｅｓｔは、最適距離画像生成部１５に出力される。
最適距離画像生成部１５では、最適距離情報Ｌｂｅｓｔに基づいて、最適距離画像が生成され、出力される。
このように、距離推定装置１００では、距離画像の注目画素内（距離画像の注目画素に対応するカラー画像内の画像領域）に輪郭（カラー画像から検出される輪郭）があるか否かを判定し、輪郭画像がある場合、当該距離画像の注目画素の距離情報を、その注目画素の周囲の距離情報を用いた補間値にすげ替えることで、部分的に距離画像の解像度向上を実現することができる。つまり、距離画像の解像度が低いことにより、中間の距離情報を表現することができないという欠点を、距離推定装置１００では、上記の処理を行うことによって補うことができる。特に、距離画像の注目画素内に輪郭（エッジ）が存在する部分では、当該注目画素の距離情報の精度が悪くなっている可能性が高く、距離推定装置１００では、上記の処理により、このような場合であっても一定の距離推定精度を維持することができる。
【００７６】
なお、上記では、注目画素の画素位置情報は、画像生成部６から出力される場合について説明したが、注目画素の画素位置情報を、距離画像保持メモリ部８から出力するようにしてもよい。
なお、図３Ａでは、２次元線形補間により、距離情報補間値算出部７４で補間距離情報Ｌ’を算出したが、以下のようにして、補間距離情報Ｌ’を算出するようにしてもよい。
距離情報補間値算出部７４において、
ＰｅｄｇとＰ（Ｌ１ｄ）との距離： ｌｅｎ１＝ｓｑｒｔ（ａ＾２＋ｂ＾２）
ＰｅｄｇとＰ（Ｌ３ｄ）との距離： ｌｅｎ２＝ｓｑｒｔ（ａ＾２＋（１−ｂ）＾２）
ＰｅｄｇとＰ（Ｌ７ｄ）との距離： ｌｅｎ３＝ｓｑｒｔ（（１−ａ）＾２＋ｂ＾２）
ＰｅｄｇとＰ（Ｌ９ｄ）との距離： ｌｅｎ４＝ｓｑｒｔ（（１−ａ）＾２＋（１−ｂ）＾２）
（「ｓｑｒｔ（ｘ）」は、ｘの平方根を表す。「ｘ＾ｙ」は、ｘのｙ乗を表す。）
を、（数式１０）に示すような所定の非線形重み関数ｗｅｉｇｈｔ（ｌｅｎ）に、代入して得られる、重み係数ｗ１，ｗ２，ｗ３，ｗ４を求める。そして、求めた重み係数ｗ１，ｗ２，ｗ３，ｗ４を、それぞれ、Ｌ１ｄ，Ｌ２ｄ，Ｌ３ｄ，Ｌ４ｄの重み付けとして、重付平均値を求め、求めた重付平均値を補間距離情報Ｌ’として用いてもよい。
【００７７】
【数１０】
【００７８】
なお、（数式１０）で、ｋｅｉｓｕは所定の正定数を表す。
また、最適距離情報取得部７において、ｌｅｎ１，ｌｅｎ２，ｌｅｎ３，ｌｅｎ４，Ｌ１〜Ｌ９を変数にもつテーブル（例えば、ＬＵＴ（ルック・アップ・テーブル））を用意しておき、そのテーブルを参照することによって、補間距離情報Ｌ’を求めるようにしてもよい。
さらに、上記説明では、距離推定装置１００において、周囲画素として、注目画素に隣接する８画素を設定し、補間距離情報Ｌ’を求めるようにしたが、これに限定されることはない。例えば、距離画像の注目画素（対象距離画素）の上下左右の４画素を周囲画素に設定し、当該４画素による補間処理により、補間距離情報Ｌ’を求めるようにしてもよい。この場合、補間処理において、距離画像の注目画素（図３Ａの領域Ｒ１を処理対象とする場合、注目画素Ｐ５の距離情報Ｌ５）を用いてもよい。
【００７９】
また、距離推定装置１００において、距離画像の注目画素の周囲画素を選択的に用いる補間処理により補間距離情報Ｌ’を求めるようにしてもよい。例えば、図３ＡのＰ５を注目画素とし、図３Ａのａが「０．５」より小さく、ｂが「０．５」より小さい場合、つまり、輪郭情報の画素位置Ｐｅｄｇ（ｓ，ｔ）が、注目画素Ｐ５内において、左上の領域に存在する場合、輪郭情報の画素位置Ｐｅｄｇ（ｓ，ｔ）と相関性が高い周囲画素であるＰ２とＰ４を用いて補間処理を行う。
具体的には、周囲画素Ｐ２の距離情報Ｌ２と注目画素Ｐ５の距離情報Ｌ５の垂直方向での１次元補間値ＶＬ１ｄを求める。この際、周囲画素の距離情報Ｌ２と注目画素の距離情報Ｌ５は、それぞれ、画素Ｐ２とＰ５の画素中心にあるものとして、補間処理（距離情報の補間値の算出処理）を行う。
【００８０】
さらに、周囲画素Ｐ４と注目画素Ｐ５において、水平方向での１次元補間値ＨＤ１ｄを求める。この場合も、周囲画素Ｐ４の距離情報Ｌ４と注目画素Ｐ５の距離情報Ｌ５は、それぞれ、画素Ｐ４とＰ５の画素中心にあるものとして、補間処理（距離情報の補間値の算出処理）を行う。
そして、求めた垂直方向での１次元補間値ＶＬ１ｄおよび水平方向での1次元補間値ＨＤ１ｄの２つの値の平均値を補間距離情報Ｌ’とする。
距離推定装置１００において、上記のように、注目画素内での輪郭情報の画素位置Ｐｅｄｇ（ｓ，ｔ）が存在する位置に基づき、相関性の高い隣接画素を選択的に用いて、補間距離情報Ｌ’を求めるようにしてもよい。
なお、上記では、輪郭情報の画素位置Ｐｅｄｇ（ｓ，ｔ）を１点として、補間処理を行う場合について説明したが、これに限定されることはない。例えば、距離画像の注目画素内において、複数の輪郭情報の画素位置Ｐｅｄｇ（ｓ，ｔ）が存在する場合、距離推定装置１００では、複数の輪郭情報の画素位置Ｐｅｄｇ（ｓ，ｔ）から所定の点を抽出し（例えば、複数の輪郭情報の画素位置Ｐｅｄｇ（ｓ，ｔ）の中心点等）、その所定の点に基づいて、上記と同様の処理を行うようにしてもよい。
【００８１】
また、図４に示した処理フローチャートにおいて、ステップＦ１およびＦ２は、ステップＦ１５までに実行されれば、いずれのタイミングで実行されるものであってもよい。
以上のように、距離推定装置１００では、距離画像の注目画素内にカラー画像から抽出した輪郭情報がない場合、当該注目画素の距離情報は、精度の高いものであると推測されるので、最適距離情報Ｌｂｅｓｔとして、当該注目画素の距離情報を採用する。一方で、距離画像の注目画素内にカラー画像から抽出した輪郭情報がある場合、当該注目画素の距離情報は、精度が低い可能性があるので、注目画素の周囲の画素の距離情報に基づいて補間した距離情報（補間距離情報）を求め、最適距離情報Ｌｂｅｓｔとして、当該補間距離情報を採用する。
したがって、距離推定装置１００では、受光素子部２の撮像素子（距離推定用の撮像素子）の画素数を増やすことなく、高精度の距離画像（距離情報）を取得することができる。これにより、距離推定装置１００では、受光素子部２の撮像素子（距離推定用の撮像素子）の画素数を単純に増やした場合に、電荷信号のＳ／Ｎ比低下し、その結果、取得される距離画像において距離分解能が低下することを効果的に抑えることができる。
【００８２】
≪第１変形例≫
また、距離推定装置１００の距離情報補間処理において、図３Ａおよび図３Ｂを用いて説明した上記方法の代わりに、次の方法を用いることも可能である。これについて、図５Ａを用いて説明する。なお、図５Ａにおいて、図３Ａおよび図３Ｂと同様の部分について、同様の表記を行い、説明を省略する。
距離推定装置１００において、図５Ａに示すように、まず、距離画像の注目画素（対象距離受光素子画素）に相当するカラー画像内のブロック（画像領域）内に輪郭情報があるか否かを判定する。
そして、（Ｂ）距離画像の注目画素内に輪郭情報がないと判定された場合、当該注目画素の部分は平坦領域に属するものとして、距離画像の注目画素の距離情報を、そのまま出力する処理を行う。つまり、最適距離情報Ｌｂｅｓｔとして、注目画素の距離情報Ｌｉを採用する。
【００８３】
一方、（Ａ）距離画像の注目画素内に輪郭情報があると判定された場合、距離画像の注目画素の輪郭部（エッジ部）で２分割する処理を実施する。
図５Ａ（ｃ）に、その２分割処理の一例を示す。なお、注目画素をＰ５として説明する。
注目画素（対象距離画素）Ｐ５で、輪郭（図５Ａ（ｃ）における家の屋根の部分（エッジ））より左上側では、注目画素Ｐ５の周囲画素Ｐ２およびＰ４の距離情報であるＬ２およびＬ４を使って、（数式１１）を用いて、距離情報の補間値Ｌ２ｄが生成される。そして、距離推定装置１００では、注目画素を２分割して得られた左上部分の分割画素の距離情報を補間値Ｌ２ｄとする。
一方、注目画素Ｐ５の輪郭（図５Ａ（ｃ）における家の屋根の部分（エッジ））より右下側では、注目画素Ｐ５の周囲画素Ｐ６およびＰ８の値であるＬ６とＬ８を使って、（数式１１）を用いて、距離情報の補間値Ｌ６ｄが生成される。そして、距離推定装置１００では、注目画素を２分割して得られた右下部分の分割画素の距離情報を補間値Ｌ６ｄとする。
【００８４】
【数１１】
【００８５】
以上のように、距離推定装置１００において、輪郭情報がある注目画素では、輪郭情報に基づいて、画素分割を行い、分割した画素の距離情報を、それぞれ、隣接画素の距離情報に基づいて補間した値とすることによって、距離推定装置１００において取得される距離画像の精度を向上させることができる。
上記では、距離推定装置１００において、カラー画像における輪郭部（図５Ａでは、家の屋根の部分（エッジ））を２分割する場合の処理について説明したが、これに限定されることはない。例えば、輪郭部で最も大きい（最も急な）輪郭部分（すなわち、エッジ量が最も高い輪郭部分）を中心に、当該輪郭部が含まれている距離画像の注目画素を４分割もしくはそれ以上に分割して、上記同様の処理を行い、距離画像を取得するようにしてもよい。
【００８６】
≪第２変形例≫
また、距離推定装置１００の距離情報補間処理において、図３Ａおよび図３Ｂを用いて説明した上記方法の代わりに、次の方法を用いることも可能である。これについて、図５Ｂを用いて説明する。なお、図５Ｂにおいて、図３Ａおよび図３Ｂと同様の部分について、同様の表記を行い、説明を省略する。
距離推定装置１００において、図５Ｂに示すように、まず、距離画像の注目画素（対象距離受光素子画素）に相当するカラー画像内のブロック（画像領域）内に輪郭情報があるか否かを判定する。
そして、（Ｂ）距離画像の注目画素内に輪郭情報がないと判定された場合、当該注目画素の部分は平坦領域に属するものとして、距離画像の注目画素の距離情報を、そのまま出力する処理を行う。つまり、最適距離情報Ｌｂｅｓｔとして、注目画素の距離情報Ｌｉを採用する。
【００８７】
一方、（Ａ）距離画像の注目画素内に輪郭情報があると判定された場合、距離画像の注目画素の輪郭部（エッジ部）を抽出し、微分量による補間を行い、距離情報を取得する。
図５Ｂ（ｃ）に、微分量による補間処理の一例を示す。なお、以下では、微分量による補間処理の一例について、注目画素をＰ５として、（ステップ１）および（ステップ２）に分けて、説明する。
（ステップ１）：
まず、注目画素（対象距離画素）Ｐ５内において、微分量が最大となる点を抽出する。具体的には、注目画素（対象距離画素）Ｐ５に対応するカラー画像内において、微分量が最大となる点を抽出する。なお、この処理は、輪郭情報抽出部１４により実行するようにすればよい。
【００８８】
また、微分量の算出は、例えば、以下のように行えばよい。
微分量をｄｉｆｆ（ｉ，ｊ）とすると、カラー画像上の座標位置（ｉ，ｊ）におけるＸ軸方向の差分値をｆｘとし、座標位置（ｉ，ｊ）におけるＹ軸方向の差分値をｆｙとしたとき、
ｄｉｆｆ（ｉ，ｊ）＝ｓｑｒｔ（ｆｘ＾２＋ｆｙ＾２）
（ｓｑｒｔ（ｘ）は、ｘの平方根を表す。）
また、簡易的に、Ｘ軸方向のみ差分値の絶対値を微分量ｄｉｆｆ（ｉ，ｊ）としてもよいし（すなわち、ｄｉｆｆ（ｉ，ｊ）＝ａｂｓ（ｆｘ）（ａｂｓ（ｘ）は、ｘの絶対値を表す。））、あるいは、Ｙ軸方向のみ差分値の絶対値を微分量ｄｉｆｆ（ｉ，ｊ）としてもよいし（すなわち、ｄｉｆｆ（ｉ，ｊ）＝ａｂｓ（ｆｙ））としてもよく、また、カラー画像上の斜め方向の差分値の絶対値を微分量ｄｉｆｆ（ｉ，ｊ）として用いるようにしてもよい。
【００８９】
なお、微分量の算出方法は、上記に限定されることはなく、他の方法であってもよい。例えば、Ｒｏｂｅｒｔのエッジ検出オペレータ、Ｐｒｅｗｉｔｔのエッジ検出オペレータ、Ｓｏｂｅｌのエッジ検出オペレータ等により微分量ｄｉｆｆ（ｉ，ｊ）を算出するようにしてもよい。
以下では、図５Ｂのケース（Ａ−１）および（Ａ−２）について、説明する。なお、図５Ｂに示すＣ点が、微分量が最大となる点であるものとし、C点より左上方向に存在するＫ点の距離情報Ｌｋを補間処理により求める場合（ケース（Ａ−１））およびC点より右下方向に存在するＭ点の距離情報Ｌｍを補間処理により求める場合（ケース（Ａ−２））ついて、説明する。
（ステップ２）：
ケース（Ａ−１）の場合、Ｋ点の微分量をＥｋとすると、本変形例に係る距離測定装置では、Ｎ点（注目画素Ｐ５の左上隅の点）の距離情報Ｌ２ｄおよびC点の距離情報Lcを、
Ｌ２ｄ＝（Ｌ２＋Ｌ４）／２
Lc＝（L２＋L4＋L６＋L8）／４
とし、Ｋ点の距離情報Ｌｋを、
Ｌｋ＝Ｌ２ｄ＋（Ｌｃ−Ｌ２ｄ）×（Ｅｋ／Ｅｃ）
として算出する。なお、微分量Ｅｃは、注目画素Ｐ５に相当するカラー画像上の画像領域における最大の微分量であるため、０≦（Ｅｋ／Ｅｃ）≦１である。したがって、上式により、微分量を用いた補間を行うことができる。なお、上式において、Lc＝L５としてもよい。
【００９０】
ケース（Ａ−２）の場合、M点の微分量をＥｍとすると、本変形例に係る距離測定装置では、O点（注目画素Ｐ５の右下隅の点）の距離情報Ｌ６ｄおよびC点の距離情報Lcを、
Ｌ６ｄ＝（Ｌ６＋Ｌ８）／２
Lc＝（L２＋L4＋L６＋L8）／４
とし、M点の距離情報Ｌｍを、
Ｌｍ＝Ｌ６ｄ＋（Ｌｃ−Ｌ６ｄ）×（Ｅｍ／Ｅｃ）
として算出する。なお、微分量Ｅｃは、注目画素Ｐ５に相当するカラー画像上の画像領域における最大の微分量であるため、０≦（Ｅｍ／Ｅｃ）≦１である。したがって、上式により、微分量を用いた補間を行うことができる。なお、上式において、Lc＝L５としてもよい。
【００９１】
なお、上記処理（ステップ２の処理）は、輪郭情報抽出部１４により上記各微分量を算出し、輪郭情報抽出部１４算出された微分量を用いて、最適距離情報取得部が実行するようにすればよい。
以上により、本変形例の距離測定装置によれば、注目画素において、エッジがある部分において、さらに高精細な距離画像を、微分量を用いた補間処理により求めることができる。
［第２実施形態］
図６から図１０を用いて、本発明の第２実施形態として、現フレームに対して１フレーム前の距離画像と、現フレームカラー画像および現フレームに対して1フレーム前のカラー画像に基づいて求めた動きベクトルに基づいて、現フレームの距離画像を補正する距離推定装置および方法について説明する。
【００９２】
図６は、本発明の第２実施形態に係る距離推定装置２００の概略構成図である。図８は、本発明の第２実施形態に係る距離推定装置２００および距離推定方法における距離画像補正処理の概要を模式的に示した図である。また、図９は、本発明の第２実施形態に係る距離推定方法の処理フローチャートを示す図である。図１０は、動きベクトル検出処理におけるブロックマッチング方法を説明するための模式図である。なお、第１実施形態と同様な構成要素については、同じ符号を付し、詳細な説明を省略する。また、第１実施形態と同様の部分については、説明を省略する。
図６〜図９に従い、本発明の第２実施形態である距離推定方法および装置について説明する。
＜２．１：距離推定装置の構成＞
本実施形態に係る距離推定装置２００は、図６に示すように、第１実施形態に係る距離推定装置１００において、最適距離情報取得部７および最適距離画像生成部１５を、距離画像補正部２３に置換し、輪郭情報抽出部１４を削除し、さらに、カラー画像保持メモリ部２１および動きベクトル検出部２２を追加した構成となっている。
【００９３】
それ以外については、距離推定装置２００は、距離推定装置１００と同様である。
カラー画像保持メモリ部２１は、カラー画像生成部１３により生成された画像（カラー画像）をフレーム単位に記憶保持する。そして、カラー画像保持メモリ部２１は、動きベクトル検出部２２からの要求に従い、フレーム単位でカラー画像を出力する。
動きベクトル検出部２２は、図７に示すように、輪郭情報抽出部１４Ａおよび１４Ｂと、動きベクトル算出部２２１と、を有する。
輪郭情報抽出部１４Ａおよび１４Ｂは、第１実施形態の輪郭情報抽出部１４と同様のものである。
輪郭情報抽出部１４Ａは、カラー画像生成部１３から出力される現時刻ｔのフレーム画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ）を入力とし、入力された現フレーム画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ）から輪郭情報を抽出する。そして、輪郭情報抽出部１４Ａは、抽出した輪郭情報を動きベクトル算出部に出力する。
【００９４】
輪郭情報抽出部１４Ｂは、カラー画像保持メモリ部２１から読み出した現フレーム時刻ｔより１フレーム前の時刻であるフレーム時刻（ｔ−１）のフレーム画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ−１）を入力とし、入力された現フレームの１フレーム前のフレーム画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ−１）から輪郭情報を抽出する。そして、輪郭情報抽出部１４Ｂは、抽出した輪郭情報を動きベクトル算出部に出力する。
なお、説明便宜のため、以下では、現フレーム画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ）および現フレームから1フレーム前のフレーム画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ−１）を用いて処理する場合に限定して説明する。
動きベクトル検出部２２は、輪郭情報抽出部１４Ａおよび１４Ｂから出力される現フレーム画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ）の輪郭情報および現フレームから１フレーム前の画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ−１）の輪郭情報を入力とし、入力された２つのフレーム画像の輪郭情報に基づいて動きベクトルを算出する。そして、動きベクトル検出部２２は、算出した動きベクトルを距離画像補正部２３に出力する。
【００９５】
距離画像補正部２３は、動きベクトル検出部２２から出力される動きベクトルと、画像生成部６から出力される現フレーム時刻ｔの距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ）と、距離画像保持メモリ部８から出力される現フレーム時刻ｔから１フレーム前の距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ−１）と、を入力とする。距離画像補正部２３は、動きベクトルに基づいて、距離画像の画素の値（距離情報）を補正し、最適距離画像を取得する。
＜２．２：距離推定装置の動作＞
以上のように構成された距離推定装置２００の動作について、以下説明する。なお、第１実施形態と同様の部分については、説明を省略する。
カラー画像生成部１３では、現フレーム時刻ｔにおけるカラー画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ）＝（Ｃ１（ｉ，ｊ，ｔ），Ｃ２（ｉ，ｊ，ｔ），Ｃ３（ｉ，ｊ，ｔ））が生成され、生成されたカラー画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ）が動きベクトル検出部２２に出力される。ここで、（ｉ，ｊ）は、カラー画像における画素位置を示し、Ｃ１（ｉ，ｊ，ｔ）は、フレーム時刻ｔでのカラー画像上の画素位置（ｉ，ｊ）における色情報成分Ｃ１を表すものとする。カラー画像の画素（ｉ，ｊ）における色情報成分は、通常３成分で表現されることが多い。例えば、ＲＧＢ色空間におけるレッドＲ、グリーンＧ、ブルーＢを表す信号成分あるいは、ＹＣＣ色空間における輝度成分Ｙ，色差成分ＣｂおよびＣｒが、これに相当する。
【００９６】
また、カラー画像保持メモリ部２１内に保持されている現フレーム時刻より１フレーム前の時刻（ｔ−１）のカラー画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ−１）＝（Ｃ１（ｉ，ｊ，ｔ−１），Ｃ２（ｉ，ｊ，ｔ−１），Ｃ３（ｉ，ｊ，ｔ−１））が動きベクトル検出部２２に出力される。
動きベクトル検出部２２では、現フレーム画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ−１）および１フレーム前の画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ−１）の比較により、動きベクトルを検出する。
動きベクトル検出部２２で実行される動きベクトル検出方法としては多くの手法があるが、ここでは、映像符号化処理で用いられるブロックマッチング方式を用いた処理について説明する。
【００９７】
ブロックマッチング方式を用いた動きベクトル検出処理では、例えば、カラー画像を８画素×８画素のブロック領域（画像領域）に分割し、ブロック領域の相関演算により２つのフレーム間の動きベクトル検出を行う。
まず、輪郭情報抽出部１４Ａおよび１４Ｂで、第１実施形態の場合と同様にして、輪郭抽出が行われる。輪郭情報抽出部１４Ａおよび１４Ｂにより抽出された輪郭情報を、８画素×８画素単位の画像ブロックに分割し、分割した画像ブロックに対して、ブロックマッチング処理を行う。
ブロックマッチング処理では、現フレームから１フレーム時刻前のカラー画像内の輪郭情報Ｅ（ｉ，ｊ，ｔ−１）が「１」の画素Ｐ（ｉ，ｊ，ｔ−１）に対して、（数式１２）による評価値ｅｓｔ（ｘ，ｙ）を求める。そして、評価値ｅｓｔ（ｘ，ｙ）が最小値となる（ｘ，ｙ）を求め、その（ｘ，ｙ）を画素Ｐ（ｉ，ｊ，ｔ−１）にベクトル加算した点（画素）Ｑ（ｉ＋ｘ，ｊ＋ｙ，ｔ）を、１フレーム前の画素Ｐ（ｉ，ｊ，ｔ−１）に対応する現フレームの画素点として検出する。
【００９８】
その結果、画素Ｐにおける動きベクトルｖ（ｉ，ｊ）は、
ｖ（ｉ，ｊ）＝（ｖｘ，ｖｙ）＝（ｘ，ｙ）
（ｖｘおよびｖｙは、動きベクトルのｘ成分およびｙ成分を表す。）
として求めることができる。
【００９９】
【数１２】
【０１００】
ここで、Ｎはブロックサイズを表す。また、以上の処理概要を、図１０に模式的に示す。なお、図１０では、画素点Ｐ、画素点Ｑともに、画像ブロックの左上に設定した場合について図示しているが、画素点ＰおよびＱを、画像ブロックの中心におくことも可能である。
以上のようにして、動きベクトル検出部２２で求めた動きベクトルは、距離画像補正部２３に出力される。
距離画像補正部２３では、動きベクトル検出部２２により検出された動きベクトルを受けて、図８に示すように、補正処理が実施される。
図８（ａ）は、１フレーム前のカラー画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ−１）の模式図であり、図８（ｂ）は、現フレームのカラー画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ）の模式図である。そして、図８（ｃ）は、１フレーム前の距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ−１）の模式図であり、図８（ｄ）は、現フレームのカラー画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ）の模式図である。また、距離画像の注目画素（処理対象画素）を、図８の画素ＰＰとして、以下説明する。
【０１０１】
距離画像の注目画素ＰＰに対応するカラー画像内のブロックにおいて、図８（ｂ）において矢印のような動きベクトルｖ（ＰＰ）（ｖ（ＰＰ）は、距離画像の画素ＰＰに相当するカラー画像の画像ブロックから検出された動きベクトルを表すものとする）が、動きベクトル検出部２２により検出されたとする。この場合、距離画像補正部２３は、この動きベクトルｖ（ＰＰ）をもとに、距離画像の距離情報（距離画像の画素値）を補正する。
図８（ｂ）に示すように、動きベクトルｖ（ＰＰ）は、左下方向のベクトルとなっているので、１フレーム前のカラー画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ−１）の画素ＰＰに対応する画像ブロックに存在していた車のボディー部分が、現フレームのカラー画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ）の画素ＰＰに対応する画像ブロックでは、当該画像ブロックの下の部分に存在すると推定される。また、図８（ｂ）から分かるように、当該画像ブロックの上部分は、車の背景となっている。このため、現フレームの距離画像の画素ＰＰから取得される距離情報は、精度が悪い可能性がある。つまり、車のボディー部分（距離の近い部分）と背景（距離の遠い部分）が、画素ＰＰに混在しているので、画素ＰＰの距離情報は、その両者の中間の値となっている可能性が高い。
【０１０２】
したがって、距離画像補正部２３では、動きベクトルｖ（ＰＰ）から、画素ＰＰの下部分の距離情報は、１フレーム前の距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ−１）の画素ＰＰの距離情報と相関が高いと判断できる。これにより、距離画像補正部２３では、現フレームの距離画像の画素ＰＰの下部分の距離情報を、１フレーム前の距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ−１）の画素ＰＰの距離情報に基づき補間する（あるいは、１フレーム前の距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ−１）の画素ＰＰの距離情報に置き換える）。
一方、画素ＰＰの上部分の距離情報は、動きベクトルｖ（ＰＰ）から、１フレーム前の距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ−１）の画素ＰＰの上の画素の距離情報と相関が高いと判断できる。これにより、距離画像補正部２３では、現フレームの距離画像の画素ＰＰの上部分の距離情報を、１フレーム前の距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ−１）の画素ＰＰの上の画素の距離情報に基づき補間する（あるいは、１フレーム前の距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ−１）の画素ＰＰの上の画素の距離情報に置き換える）。
【０１０３】
以上により、距離画像補正部２３では、動きベクトルに基づいて、距離画像の精度を向上させるように補間処理を行うことによって、最適距離画像を取得する。
なお、上記では、動きベクトルが検出された場合（動きベクトルの大きさ（スカラー値）が「０」でない場合）、距離画像の注目画素を２分割して（図８の注目画素ＰＰの場合、上下２分割）、距離画像の注目画素を、１フレーム前の画素を用いて、補間（あるいは置換）する処理について説明したが、これに限定されることはない。動きベクトルの状況に応じて、さらに多分割して、距離画像の所定の画素の距離情報の精度を向上させるようにしてもよい。
また、図８では、動きベクトルｖ（ＰＰ）で得られた１フレーム前の距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ−１）内での対応部分の距離情報（距離画像の輝度に相当。）で置き換える処理を行っているが、これ以外にも、動きベクトルｖ（ＰＰ）で得られた１フレーム前の距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ−１）内での対応部分の距離情報（輝度値）と現フレームでの該当部分の距離情報（輝度値）との平均値を用いて、現フレームの距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ）の注目画素の距離情報を置き換えるようにしてもよい。
【０１０４】
このように距離推定装置２００では、距離推定用の受光素子部２の撮像素子の画素数が少ないことによって、距離情報の精度が低くなってしまった部分を、さらに細分化し、さらに動きベクトルを用いて距離精度を改善することが可能となる。
このように本実施形態の距離推定装置２００では、受光素子部２の撮像素子（距離推定用の撮像素子）の画素数を増やすことなく、１フレーム前の距離画像と、カラー画像から求めた動きベクトルとに基づいて、現フレーム時刻の距離画像を補正することによって、距離画像の高精度化を実現することができる。これにより、距離推定装置２００では、受光素子部２の撮像素子（距離推定用の撮像素子）の画素数を単純に増やした場合に、電荷信号のＳ／Ｎ比低下し、その結果、取得される距離画像において距離分解能が低下することを効果的に抑えることができる。
【０１０５】
なお、上記において、動きベクトル検出部２２では、ブロックマッチング処理による動きベクトルを検出する場合について説明したが、これに限定されることはない。例えば、勾配に注目した方法を用いて動きベクトルを検出することも可能である。
また、距離推定装置２００において、距離画像の画素の細分化をして距離情報（距離値）を補正する場合、動きベクトルの大きさに基づき得られる値を用いて、距離画像の画素の分割数あるいは分割領域の決定方法等を制御することも可能である。
また、図９に示した処理フローチャートにおいて、ステップＦ１３およびＦ１４は、ステップＦ２１までに実行されれば、いずれのタイミングにおいて実行されるものであってもよい。
［第３実施形態］
図１１から図１７を用いて、本発明の第３実施形態として、距離画像データの値（距離画像の距離情報）あるいは対象物からの反射光の強度に応じて、距離画像データの値（距離情報）の確からしさを表す信頼度を算出し、前記信頼度をもとに距離画像データ（距離情報）を補正することによって、距離推定処理を行う距離推定装置および方法について説明する。
【０１０６】
図１１は、本発明の第３実施形態に係る距離推定装置３００の概略構成図である。
図１２は、距離推定装置３００内の距離信頼度算出部３１の概略構成図である。図１３は、第３実施形態に係る距離推定装置および方法における距離信頼度による補正の方法を模式的に示した図である。
また、図１５、図１６は、第３実施形態に係る距離推定装置３００および距離推定方法において用いられる距離信頼度を決定する関数例を示す図である。
図１７は、第３実施形態に係る距離推定方法の処理フローチャートを示す図である。
なお、前述の実施形態と同様な構成要素については、同じ番号を付し、詳細な説明を省略する。また、前述の実施形態と同様の部分については、説明を省略する。
図１１から図１７に従い、本発明の第３実施形態である距離推定方法および装置について説明する。
【０１０７】
＜３．１：距離推定装置の構成＞
図１１に示すように、本実施形態の距離推定装置３００は、前述の実施形態に係る距離推定装置において、画像生成部６以降の信号処理を行う機能部が異なる点に特徴がある。つまり、距離推定装置３００では、前述の実施形態に係る距離推定装置において、画像生成部６以降の信号処理を行う機能部として、距離信頼度算出部３１および距離画像補正部３２を追加した構成となっている。また、距離推定装置３００は、前述の実施形態に係る距離推定装置において、色分解プリズム１１、撮像素子部１２以降の可視光成分の光に対する信号処理を行う機能部が省略されている。
それ以外については、前述の実施形態に係る距離推定装置と同様である。
距離信頼度算出部３１は、画像生成部６により生成された距離画像の画素ＰＰ（ｉ，ｊ）に相当する距離情報Ｌ（ｉ，ｊ）と、電荷集積部３から出力される画素ＰＰ（ｉ，ｊ）に相当する電荷信号Ｄ（ｉ，ｊ）と、を入力とし、距離情報Ｌ（ｉ，ｊ）および電荷信号Ｄ（ｉ，ｊ）に基づいて、画素ＰＰ（ｉ，ｊ）における距離信頼度Ｒ（ｉ，ｊ）を求める。そして、距離信頼度算出部３１は、求めた距離信頼度Ｒ（ｉ，ｊ）を距離画像補正部３２に出力する。
【０１０８】
距離画像補正部３２は、距離信頼度算出部３１から出力される距離信頼度Ｒ（ｉ，ｊ）と、画像生成部６から出力される距離画像と、を入力とし、距離信頼度Ｒ（ｉ，ｊ）に基づいて距離画像に対して補正処理を行い、最適距離画像を取得する。
なお、距離推定装置３００において、発光源１０として、赤外光を発光する光源を用いる場合、受光素子部２の撮像素子として、赤外光用ＣＣＤを用いることが好ましい。また、この場合、受光光学系１において、例えば、赤外光用の光学フィルタを設け、受光素子部２に、赤外領域以外の光が入射されないようにすることが好ましい。
＜３．２：距離推定装置の動作＞
以上のように構成された距離推定装置３００の動作について説明する。なお、前述の実施形態と同様の部分については、説明を省略する。
【０１０９】
距離信頼度算出部３１では、画像生成部６で得られた距離画像の各画素ＰＰ（ｉ，ｊ）での距離値Ｌ（ｉ，ｊ）の信頼度を検出する処理を行う。
距離推定装置３００では、次のことを考慮して、信頼度Ｒ（ｉ，ｊ）を決定する。
（Ｓ１）対象物からの反射波（反射光）の振幅があまり大きくない（環境光等のノイズと比較して小さい）ため、距離推定装置３００と対象物との距離が大きい（つまり、遠い）ほど、距離推定装置３００で取得される距離情報の精度が低い（環境光等のノイズの影響を受けやすい）。
（Ｓ２）対象物からの反射波（反射光）の振幅があまり大きくない（環境光等のノイズと比較して小さい）ので、受光素子部２の撮像素子（例えば、赤外光用ＣＣＤ撮像素子）で受光された反射波（反射光）の振幅が小さいほど、距離推定装置３００で取得される距離情報の精度が低い（環境光等のノイズの影響を受けやすい）。
【０１１０】
以上に基づいて、距離信頼度算出部３１での信頼度Ｒ（ｉ，ｊ）の算出処理について、以下、具体的に説明する。
図１５Ａは、（Ｓ１）に基づいて、設定した推定距離Ｌ（ｉ，ｊ）−信頼度Ｒ（ｉ，ｊ）特性（関数により当該特性を実現。）の一例を示すグラフである。この場合、信頼度Ｒ（ｉ，ｊ）は、推定距離Ｌ（ｉ，ｊ）のみをパラメータとして、１次元で制御されることになる。
図１５Ｂは、（Ｓ２）に基づいて、設定した反射波振幅Ｄ（ｉ，ｊ）−信頼度Ｒ（ｉ，ｊ）特性（関数により当該特性を実現。）の一例を示すグラフである。この場合、信頼度Ｒ（ｉ，ｊ）は、反射波振幅Ｄ（ｉ，ｊ）のみをパラメータとして、１次元で制御されることになる。なお、下記（数式１４）のＲ２（Ｌ）は、図１５Ａの特性を実現する関数例を示している。
【０１１１】
また、図１６Ａおよび図１６Ｂは、（Ｓ１）および（Ｓ２）に基づいて、信頼度Ｒ（ｉ，ｊ）を、２つのパラメータである反射波振幅Ｄ（ｉ，ｊ）および推定距離（距離情報）Ｌ（ｉ，ｊ）に基づき決定する場合の特性を、グラフを用いて示した図である。なお、反射波振幅Ｄ（ｉ，ｊ）−信頼度Ｒ１（ｉ，ｊ）特性および推定距離（距離情報）Ｌ（ｉ，ｊ）−信頼度Ｒ２（ｉ，ｊ）特性は、関数により実現してもよい。つまり、この場合、信頼度Ｒ（ｉ，ｊ）は、２つのパラメータである反射波振幅Ｄ（ｉ，ｊ）と推定距離Ｌ（ｉ，ｊ）に基づき、２次元で制御される。
（数式１３）に、図１５Ｂの特性を実現する関数例を示す。また、（数式１４）に、図１６Ａの特性を実現する関数例を示す。また、（数式１５）に図１６Ｂの特性を実現する関数例を示す。なお、以下の数式において、便宜上、画素の画像上の位置情報（位置座標）を示す（ｉ，ｊ）は省略している。上記では、注目画素Ｐ（ｉ，ｊ）の信頼度をＲ（ｉ，ｊ）と表記したが、例えば、下記（数式１３）では、信頼度が変数ｄの関数であることを明示するために、単に、Ｒ（ｄ）と表記している。なお、他の関数についても同様に（ｉ，ｊ）を省略している部分がある。
【０１１２】
【数１３】
【０１１３】
なお、（数式１３）において、ｄは、反射波振幅（図１６ＡのＤ（ｉ，ｊ）に相当。）である。
【０１１４】
【数１４】
【０１１５】
【数１５】
【０１１６】
なお、（数式１４）において、ｄは反射波振幅（図１６ＡのＤ（ｉ，ｊ）に相当。）であり、Ｌは距離情報（推定距離）（図１６ＡのＬ（ｉ，ｊ）に相当。）である。
また、（数式１３）、（数式１４）において、ｋｅｉｓｕＮ、ｋｅｉｓｕ１，ｋｅｉｓｕ２，ｏｆｆｓｅｔ１，ｏｆｆｓｅｔ２は所定の正定数を表す。
また、（数１５）において、ｄｅｌｔａは所定の正定数を表す。
図１５Ｂおよび図１６Ａは、ｏｆｆｓｅｔ１として最大推定距離ＭａｘＬを代入し、ｏｆｆｓｅｔ２として最大反射振幅ＭａｘＤを代入するとともに、傾きｋｅｉｓｕ１とｋｅｉｓｕ２に、ｋｅｉｓｕＮ＝ｋｅｉｓｕ１＝３．０、ｋｅｉｓｕ２=４．５の値を代入した場合を示している。
なお、傾きｋｅｉｓｕ１の値とｋｅｉｓｕ２の値としては、どちらも正定数であれば問題ないが、通常は１．０≦ｋｅｉｓｕ１≦１０．０、１．０≦ｋｅｉｓｕ２≦１０．０の値を使うことが好ましい。ｋｅｉｓｕ１、ｋｅｉｓｕ２ともに「１」より小さい値が採用された場合、変化は線形的になる。一方、ｋｅｉｓｕ１、ｋｅｉｓｕ２ともに大きくなるにつれて非線形性が増すようになる。
また、（数１５）において、ｄｅｌｔａは、図１６Ｂの信頼度関数における「１．０」の領域を制御する値である。この値が小さいほど、信頼度Ｒ（ｉ、ｊ）は、「１．０」になる領域が小さくなり、この値が大きいほど、Ｒ（ｉ、ｊ）は、「１．０」になる領域が大きくなる。通常は、１．０≦ｄｅｌｔａ≦Ｄｅｌｍａｘ、（ＤｅｌｍａｘはＭａｘＬ、ＭａｘＤ最小値）の値を使うことが好ましい。
【０１１７】
以上のようにして、距離信頼度算出部３１で求められた信頼度Ｒ（ｉ，ｊ）は、距離画像補正部３２に出力される。
次に、距離画像補正部３２における補正処理の一例を、図１４を用いて説明する。
図１４は、距離画像の注目画素Ｐ（ｉ，ｊ）を中心として、距離画像から所定サイズの画素領域（複数の距離画像の画素からなる領域）を抽出して、模式的に示した図である。また、図１３に、距離画像補正部３２における補正処理の処理概要を周辺の機能部とともに、模式的に示す。
距離画像補正部３２では、距離画像の補正として、例えば、図１４に示すように、距離画像の注目画素（対象距離画素）Ｐ（ｉ，ｊ）を中心に、所定のサイズの画素領域ＡＲＥＡ１（図１４では、５画素×５画素の画素領域）を設定し、距離画像の画素領域ＡＲＥＡ１内の各画素の距離情報（距離データ）に対して、各画素の信頼度を重み係数としたフィルタ処理を行った値ｄＬ（ｉ，ｊ）を求める。そして、その求めた値（フィルタ処理結果）ｄＬ（ｉ，ｊ）を改めて、距離画像の注目画素Ｐ（ｉ，ｊ）の距離情報（推定距離）とする（つまり、ｄＬ（ｉ，ｊ）を注目画素Ｐ（ｉ，ｊ）の距離情報とする）ことによって、距離情報（距離データ）の補正処理を実施する。
【０１１８】
距離画像補正部３２により、以上の処理を距離画像の全画素に対して実行することで、補正後の距離画像、すなわち、最適距離画像が取得される。なお、図１４では、距離画像の所定サイズの画素領域を、５画素×５画素として説明したが、これに限定されることはなく、他のサイズの画素領域を設定し、各画素の信頼度を用いたフィルタ処理を行ってもよいことは言うまでもない。
なお、距離画像補正部３２での距離補正方法として、以下の方法を用いて補正処理を行ってもよい。
距離画像補正部３２において、距離画像の注目画素（対象距離画素）Ｐ（ｉ，ｊ）を中心にもつ所定サイズの画素領域（距離画像上の画素領域）内の画素の距離情報（距離データ）に対して、最大の信頼度をもつ画素の距離情報（距離データ）を改めて注目画素Ｐ（ｉ，ｊ）の距離情報として採用することで補正処理を実行する。
【０１１９】
また、距離画像補正部３２において、距離画像の注目画素（処理対象距離画素）Ｐ（ｉ，ｊ）を中心にもつ所定サイズの画素領域（距離画像上の画素領域）内の画素の距離情報（距離データ）の信頼度を重みとした平均値（重付平均値）ＡｖｅＬ（ｉ，ｊ）と、注目画素の距離情報Ｌ（ｉ，ｊ）とを２変数にもつ所定の非線形関数を用いて求めた値を、改めて注目画素の距離情報として採用することによって補正処理を実行するようにしてもよい。
以上のように、距離推定装置３００では、距離画像の各画素の距離情報あるいは反射光の強度に応じて、距離画像の当該画素における距離情報（距離画像データの値）の確からしさを表す信頼度を算出し、算出した信頼度をもとに距離画像データを補正することによって、最適距離画像を取得することができる。したがって、距離推定装置３００では、受光素子部３の撮像素子の画素で取得された反射光のレベル（反射波の振幅）が小さい場合であっても、その受光素子部３の撮像素子の画素に相当する距離画像の画素において、距離情報を信頼度に基づいて補正することができるので、距離画像における距離推定精度の低下を効果的に抑制することができる。
【０１２０】
以上により、距離推定装置３００では、精度の高い距離画像を取得することができる。
［他の実施形態］
上記実施形態を任意に組み合わせて本発明を実施してもよい。
例えば、（１）空間方向での補正処理（空間方向での相関性を利用した補正処理）を実現する上記第１実施形態の距離推定装置と、（２）時間方向での補正処理（時間方向での相関性を利用した補正処理（動きベクトルを用いた補正処理））を実現する上記第２実施形態の距離推定装置と、（３）さらに、信頼度を用いた処理を行う上記第３実施形態の距離推定装置を組み合わせることによって、本発明を実施してもよい。
このように上記第１〜第３実施形態の機能を組み合わせた距離推定装置では、距離分解能精度の低い画素（距離画像の画素）を信頼度に基づき自動判別して、時間・空間方向での補正処理（フィルタ処理等）を行うことによって、注目画素（対象画素）の周辺画素の距離情報を用いて、注目画素の距離情報を補正することができる。これにより、距離分解能精度の低い画素（距離画像画素）の距離精度（距離推定精度）を向上させることができる。
【０１２１】
また、上記実施形態では、受光素子部および撮像素子部の撮像素子として、ＣＣＤを用いる場合を想定しているが、これに限定されることはなく、例えば、ＣＭＯＳ型イメージセンサ等を用いてもよい。
また、本願発明により取得された距離画像に基づいて、左目用視差画像（ステレオ画像の左目用視差画像）および右目用視差画像（ステレオ画像の右目用視差画像）を生成し、生成した左目用視差画像および右目用視差画像により３次元表示装置等において、３次元画像（映像）表示を行うようにしてもよい。また、本願発明の距離測定装置と、３次元表示装置と、を備える３次元表示システムにおいて、本願発明の距離測定装置により取得した距離画像に基づいて、左目用視差画像（ステレオ画像の左目用視差画像）および右目用視差画像（ステレオ画像の右目用視差画像）を生成し、生成した左目用視差画像および右目用視差画像により３次元表示装置において、画像（映像）を３次元表示するようにしてもよい。
【０１２２】
また、本願発明の距離測定装置に、３次元画像生成部を追加し、３次元画像生成部において、本願発明の距離測定装置により取得した距離画像に基づいて、左目用視差画像（ステレオ画像の左目用視差画像）および右目用視差画像（ステレオ画像の右目用視差画像）を生成し、生成した左目用視差画像および右目用視差画像を出力するようにしてもよい。これにより、３次元画像生成部を追加した距離測定装置から出力される左目用視差画像および右目用視差画像を用いて、例えば、３次元表示装置により、３次元画像（映像）表示を行うことができる。
ここで、左目用視差画像（ステレオ画像の左目用視差画像）および右目用視差画像（ステレオ画像の右目用視差画像）は、距離情報が判明している場合、参照とする画像内の画素位置（ｘ，ｙ）における画素ｐ（ｘ，ｙ）の距離情報ｚ（ｘ，ｙ）に応じて、画素ｐを左右にずらすことにより生成することが可能である。なお、距離情報ｚ（ｘ，ｙ）は所定の基準からの相対距離（奥行き値）でもよい。また、所定の基準点と各画像内の画素の距離情報との関係をもとに、三角測量等の幾何学的手法で対応する画素の視差量を求めることもできる。
【０１２３】
また、上記実施形態において説明した本発明の距離推定方法および距離推定装置は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、ＰＤＡ、カーＴＶなど、画像を取り扱う機器に内臓、あるいは接続して用いられる装置であり、ＬＳＩなどの集積回路として実現される。
より詳しくは、上記各実施形態の距離推定装置は、個別に１チップ化させてもよいし、一部または全てを含むように１チップ化されてもよい。なお、ここでは、ＬＳＩとしたが、集積度の違いに基づき、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路の手法にはＬＳＩに限るものではなく、専用回路または汎用プロセッサを用いて実現することも可能である。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）あるいは、ＬＳＩ内部の回路セルの接続あるいは設定を再構成可能なリコンフィギュラブル・プロセッサを利用することも可能である。
【０１２４】
さらに、半導体技術の進歩または派生する別技術を用いてＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
また、上記各実施形態の各機能ブロックの処理は、プログラムを用いて実現されるものであってもよい。上記実施形態の各機能ブロックの処理は、例えば、コンピュータにおいて、中央演算装置（ＣＰＵ）を用いて行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現してもよい。なお、上記実施形態に係る距離推定装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
【０１２５】
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【産業上の利用可能性】
【０１２６】
本発明の距離推定装置、距離推定方法、プログラム、集積回路およびカメラは、画素数の少ない撮像素子（ＣＣＤ等）により取得した距離情報に基づいて、撮像素子（ＣＣＤ等）の画素間での距離情報を補間・推定することで、ＴＯＦ方式による距離画像の高解像度化（高精度化）を実現することができる。そして、得られた距離情報は、ムービーあるいはＤＳＣ等で撮影された画像表示のより自然な立体感表示目的に有効である。したがって、本発明は、映像関連分野において有用であり、当該分野において実施することができる。
【符号の説明】
【０１２７】
１００、２００、３００ 距離推定装置
１０ 発光源
９ 発光源制御部
１ 受光光学系
１１ 色分解プリズム
２ 受光素子部
３ 電荷集積部
４ 制御部
５ 信号演算部
６画像生成部
７ 最適距離情報取得部
８ 距離画像保持メモリ部
１２ 撮像素子部
１３ カラー画像生成部
１４ 輪郭抽出部
１５ 最適距離画像生成部
２１ カラー画像保持メモリ部
２２ 動きベクトル検出部
２３ 距離画像補正部
３１ 距離信頼度算出部
３２ 距離画像補正部
【技術分野】
【０００１】
本発明は、ムービーあるいはＤＳＣ（Ｄｉｇｉｔａｌ Ｓｔｉｌｌ Ｃａｍｅｒａ）等の撮像装置で撮影された画像の奥行き感・立体感を向上させるために、対象空間を撮像し、対象空間に存在する対象物までの距離を推定する装置および方法に関するものである。
【背景技術】
【０００２】
空間の３次元計測技術は、多くの分野において応用が期待されており、種々の手法を用いて実用化が試みられている。その手法の中で代表的な手法として、レーザスリット光のスキャンによる光切断方法や、ステレオ視による方法に代表される三角測量法や、あるいは、照明光を測定対象物体に照射し、照射した光が測定対象物体から戻ってくるまでの時間ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）を計測することによって距離を測定するＴＯＦ法等がある。
三角測量法を用いて空間の３次元計測を行う場合、対象空間（撮像する対象である３次元空間）の３次元情報を得るために対象空間において光を走査する必要があり、対象空間全体について３次元情報が得られるまでには比較的長い時間が必要となる。このため、三角測量法は、移動物体を追跡するような用途には不向きであるとされている。
【０００３】
これに対して、ＴＯＦ法を用いて空間の３次元計測を行う場合、三角測定法のようなレーザービーム走査を行う必要がない。このため、ＴＯＦ法による空間の３次元計測では、テレビ画像（撮像画像）の画素単位で被写体までの距離（撮像装置から被写体までの距離）を高速に検出でき、また、距離測定範囲も比較的広く設定することができる（距離測定範囲を約３ｍ以上に設定することができる）。さらに、ＴＯＦ法による空間の３次元計測では、レーザ光源の代わりに、ＬＥＤ光源を使用できるため、人物も安全に撮影することができる。このような利点より、ＴＯＦ法による３次元計測技術について、種々の方法が報告されるとともに、距離センサとして製品化された例も報告されている。
ＴＯＦ法は、（数式１）を用いて３次元空間内の距離を測定する。測定基準ポイント−被測定ポイント間の距離Ｌは、次式を用いて求められる。
【０００４】
【数１】
【０００５】
ここで、ｃは光の速度であり、ｃ＝３．０×１０＾８［ｍ／ｓｅｃ］である。Δｔは、測定基準ポイントに存在する光源から照射された光が、被測定ポイントにある測定対象に照射され、測定対象からの反射光が測定基準ポイントである光源まで戻ってくるまでの時間である。すなわち、Δｔは、光源から測定対象までの、光の往復時間である。
ＴＯＦ法の方法として多くの方式があり、代表的なものとして、位相ＴＯＦ方式とパルスＴＯＦ方式とがある。
位相ＴＯＦ方式は、主に強度変調された光線を、測定対象に照射して、対象物からの反射光を検出して光電子変換を行い、変換された光電子を複数の蓄積部のいずれかに時間的にずらして蓄積し、これらの蓄積部に蓄積された光電子数に応じて距離情報を生成する方式である。
【０００６】
パルスＴＯＦ方式は、パルス状の光線を測定対象物に照射して、測定対象物からの反射光と測定光線との位相差に基づいて距離を求める方式であり、測定光線を２次元的に走査し、各点の距離を測定して３次元の形状を測定する方式である。
位相ＴＯＦ方式では、（数式１）におけるΔｔの代わりに、位相量Δφを用いて距離の測定を行う。位相ＴＯＦ方式では、最大検出距離Ｌｍａｘは、位相量Δφが２πとなる場合（ΔｔでいえばＴ：変調強度の１周期時間）に相当し、次式を用いて求められる。つまり、最大検出距離Ｌｍａｘは、測定光線の変調周波数ｆに依存し、次式によって決定される。
【０００７】
【数２】
【０００８】
そして、位相量Δφにおける検出距離Ｌは、（数式３）のようになる。
【０００９】
【数３】
【００１０】
この場合、（数式２）により、測定対象物までの距離が、測定光線の強度変調の周期に対応する波長以上の場合には、原理的に距離算出結果を一意に決定できない（すなわち、測定対象物までの距離を特定することができない）という問題がある。
一方、パルスＴＯＦ方式では、測定光線を２次元で走査して距離画像を得るためには、光源から発光されるレーザ光等の測定光線を揺動ミラーあるいはポリゴンミラーを用いて上下左右に物理的に走査する必要があるため、距離画像の取得時間が長くなるという問題がある。
現状では、位相ＴＯＦ方式に類する方式を用いて空間の３次元計測を実行する技術が多く存在する（例えば、特許文献１、２参照）。以下、位相ＴＯＦ方式を利用した従来の距離推定装置（従来例１および従来例２）について説明する。
【００１１】
≪従来例１≫
まず、従来例１（特許文献１の技術）について、説明する。
図１８は、従来例１の距離推定装置９００の構成を示すブロック図である。距離推定装置９００は、振幅変調された照明光Ｓ９０６で被写体ＯＢＪ１を照明することが可能な投光部９０２と、撮像利得を時間とともに変化させて被写体からの反射光Ｓ９０７を受光し、被写体の光学像を撮像することが可能な撮像部９０３と、を備える。また、距離推定装置９００は、撮像部９０３からの映像信号Ｓ９０４を立体情報信号Ｓ９０５に変換するための信号処理部９０４と、照明光変調信号Ｓ９０１、撮像利得変調信号Ｓ９０２、制御信号Ｓ９０３ａおよびＳ９０３ｂを発生するための信号発生部９０１と、を備える。
図１９は、従来例１の距離推定装置９００での距離検出処理の概要を模式的に示した図である。
【００１２】
図１９に示すように、距離推定装置９００では、高速に光強度が変調された赤外光を被写体に照射し、被写体からの反射光を超高速シャッターで撮影する。
図１９の上側部分（図１９のＥｘ９０１）に模式的に示すように、距離推定装置９００は、時間が経過するにつれ光強度が減少するように変調された照明光（測定光線）（例えば、図１９においてｔｒ１で示す期間において光強度変調された照明光）を被写体Ｏ１およびＯ２に対して照射する。そして、距離推定装置９００は、被写体Ｏ１およびＯ２からの反射光を、距離推定装置９００において、所定のシャッタータイミングおよびシャッター時間（図１９にｔｓ１として示したシャッター時間）において取得し、撮像画像に変換する。被写体Ｏ１およびＯ２からの反射光は、光強度が時間に対して減少するように変調されているので、距離推定装置（カメラ）９００に近い被写体Ｏ１からの反射光の光強度は大きく、距離推定装置９００から遠い被写体Ｏ２からの反射光の光強度は小さい。照明光は、光強度が時間に対して減少するように変調されているので、光の飛行時間（距離推定装置９００から照射された光が被写体Ｏ１で反射し、距離推定装置９００に戻ってくるまでの時間）が短い被写体Ｏ１からの反射光の光強度は大きく（光強度の減少量が小さく）、光の飛行時間が長い被写体Ｏ２からの反射光の光強度は小さい（光強度の減少量が大きい）。
【００１３】
このため、被写体Ｏ１およびＯ２からの反射光を、距離推定装置９００において、所定のシャッタータイミングおよびシャッター時間（図１９にｔｓ１で示したシャッター時間）において取得し、撮像画像Ａにおいて、照明光の飛行時間が短い被写体Ｏ１の像Ｉ１は明るく、被写体Ｏ２の像Ｉ２は暗くなる。つまり、撮像画像Ａにおいて、距離情報が画像の輝度として表現される。
しかし、この撮像画像Ａの輝度は、被写体の反射率あるいは照射光量の空間的ムラ、また拡散反射光量の距離による減衰効果などの影響を受けている。
そこで、距離推定装置９００では、これらの影響を補正するために、以下の処理を行う。
図１９の下側部分（図１９のＥｘ９０２）に模式的に示すように、距離推定装置９００は、時間が経過するにつれ光強度が増加するように変調された照明光（測定光線）（例えば、図１９においてｔｒ２で示す期間において光強度変調された照明光）を被写体Ｏ１およびＯ２に対して照射する。そして、距離推定装置９００は、被写体Ｏ１およびＯ２からの反射光を、距離推定装置９００において、所定のシャッタータイミングおよびシャッター時間（図１９にｔｓ２で示したシャッター時間）において取得し、撮像画像に変換する。被写体Ｏ１およびＯ２からの反射光は、光強度が時間に対して増加するように変調されているので、距離推定装置（カメラ）９００に近い被写体Ｏ１からの反射光の光強度は小さく、距離推定装置９００から遠い被写体Ｏ２からの反射光の光強度は大きい。
【００１４】
このため、被写体Ｏ１およびＯ２からの反射光を、距離推定装置９００において、所定のシャッタータイミングおよびシャッター時間（図１９にｔｓ２で示したシャッター時間）において取得し、撮像画像Ｂにおいて、照明光の飛行時間が短い被写体Ｏ１の像Ｉ１は暗く、被写体Ｏ２の像Ｉ２は明るくなる。つまり、撮像画像Ｂにおいて、距離情報が画像の輝度として表現される。
距離推定装置９００では、上記のようにして取得した撮像画像Ａと撮像画像Ｂとの間の輝度比をとることによって、反射率等の影響を補正した距離画像（図１９の距離画像Ｃ）を生成する。
距離推定装置９００では、このように、撮影された２枚の画像の除算によりＴＯＦを求めることができるため、理論的には、赤外光の拡散、被写体の反射率、反射方向の向きあるいは背景光の影響をキャンセルすることができる。しかし、距離推定装置９００では、被写体からの反射光の光強度をある程度確保する必要があるため、複数の発光ダイオードからなる発光ダイオードアレイによる光源等を用いる必要があり、装置の構成が大きくなるという欠点がある。
【００１５】
≪従来例２≫
次に、従来例２（特許文献２の技術）について、説明する。
図２０は、従来例２の距離推定装置９５０の構成を示すブロック図である。距離推定装置９５０は、対象空間に照明光Ｓ９５１１を照射する発光源９５１と、対象空間からの光を受光し受光光量を反映した出力値の電気信号を出力する光検出素子９５２と、発光源９５１および光検出素子９５２を制御する制御回路部９５３と、光検出素子９５２からの出力に対して画像生成処理を行う画像生成部９５４と、を備える。また、距離推定装置９５０は、受光光学系９５５を備える。光検出素子９５２は、図２０に示すように、複数の感光部９５２１、複数の感度制御部９５２２、複数の電荷集積部９５２３および電荷取出部９５２４を有している。
【００１６】
発光源９５１は、対象空間に所定周期の変調信号で変調された光を照射し、光検出素子９５２は、対象空間を撮像する。画像生成部９５４は、発光源９５１から対象空間に照射された光と、対象空間内の対象物ＯＢＪ２で反射され光検出素子９５２で受光される反射光との変調信号の位相差に基づいて対象物ＯＢＪ２までの距離を求める。
光検出素子９５２に設けた各感光部９５２１は、制御回路部９５３によって対象空間からの光を受光する受光期間が制御される。各感光部９５２１では、変調信号の異なる位相に同期した受光期間に受光する。光検出素子９５２からは変調信号の１周期以上の期間である検出期間ごとに集積した電荷が画像生成部９５４に与えられ、画像生成部９５４は、複数の検出期間の電荷量を受光期間別に積算した電荷量を用いて距離を求める。
図２１は、従来例２の距離推定装置９５０の距離検出方法を模式的に示すものである。
【００１７】
従来例２の距離推定装置９５０では、正弦波ｙ（ｔ）＝ａ×ｓｉｎ（２πｔ／Ｔ）＋ｂに光強度変調された赤外光（照明波）の変調周期に同期させて、所定のタイミングで受光信号（反射波）をサンプリングすることにより、受光信号の位相量を導出するものである。つまり、従来例２の距離推定装置９５０では、変調周期１周期あたり４点（例えば、図２１のＡ０点，Ａ１点，Ａ２点，Ａ３点の４点）のサンプリングを行い、（数式４）を用いて、位相シフト量Ψを導出する。
【００１８】
【数４】
【００１９】
従来例２の距離推定装置９５０では、上記の位相シフト量Ψの導出処理を、受光部と復調部を一体化した特殊ＣＣＤ撮像素子を用い、その駆動方法を工夫することにより、高い開口率による距離検出処理を実現している。従来例２の距離推定装置９５０は、小型で高分解能であるが、撮像画像（映像）が低解像度・低フレームレートであるという欠点を持つ。
【先行技術文献】
【特許文献】
【００２０】
【特許文献１】特開２０００−１２１３３９号公報
【特許文献２】特開２００６−８４４２９号公報
【発明の概要】
【発明が解決しようとする課題】
【００２１】
ＴＯＦ方式を用いて距離画像の高精度化を実現する場合、距離推定装置において、光検出素子を増やすことによって、距離推定装置において取得される距離画像の高解像度化等を実現することが考えられる。しかし、この場合、光検出素子を構成する１つ１つの感光部に入射する光（反射光）の量が少なくなるので（撮像素子（ＣＣＤ等）の各画素への入射光量が少なくなるので）、光検出素子を構成する各感光部において取得される信号の信号レベルが小さくなる。
また、光電効果に対応した電荷量に含まれるランダムノイズ（ショットノイズ）Ｓｓ（光電変換により発生するショットノイズＳｓ）は、電荷量Ｎｓの１／２乗に比例することから、撮像素子（ＣＣＤ等）の各画素への入射光量が少なくなると、撮像素子の各画素において取得される電荷量に含まれるノイズ（ショットノイズ）の比率が高くなる。つまり、撮像素子（ＣＣＤ等）の各画素への入射光量が少なくなると、撮像素子の各画素において取得される信号のＳ／Ｎ比は低下することとなる。その結果、距離精度の低下が生じることとなる。
【００２２】
これに対して、以下の対応策が考えられる。
（１）ＬＥＤ（照明光の発光源）の発光量を大きくする。
（２）電荷の検出期間（１周期以上）を長くして、撮像素子の各画素において確保される光電荷量を増やす。
これらの対応策を行った場合、撮像素子の各画素の蓄積電荷量は大きくなる。この場合、ショットノイズも上記で説明した原理に基づき増えるが、電荷量Ｎｓ（被写体からの反射光を光電変換して取得される電荷量（信号成分の電荷量））とショットノイズＳｓとの比率ＳＮ＝Ｎｓ／Ｓｓは、電荷量Ｎｓが大きいほど大きくなる。
撮像素子の各画素に蓄積される電荷量において、環境光等は、撮像素子において光電変換されることにより、電荷量に依存しない定常ノイズとなる。したがって、電荷量のＳ／Ｎ比は、電荷量Ｎｓ（信号成分の電荷量）と、電荷量Ｎｓの１／２乗に比例するショットノイズＳｓと、環境光等に対応する定常ノイズと、により決定される。このため、電荷量Ｎｓが大きくなるほど、電荷量のＳ／Ｎ比が良くなり、撮像素子において取得される信号のＳ／Ｎも良くなる。その結果、距離推定装置における距離測定の距離分解能が向上する。
【００２３】
しかし、環境光等の定常ノイズは、反射光の電荷量（電荷量Ｎｓ）よりもずっと大きい値になるため、距離推定装置の光源の発光量を大きくした場合、撮像素子（ＣＣＤ等）の各画素において、飽和が発生しやすくなる。また、実用上の制約（規模・電力等）の問題が発生する。
さらに、撮像素子（ＣＣＤ等）の各画素での電荷蓄積期間を延ばした場合、定常ノイズ成分が大きくなる。このため、各画素において電荷蓄積された電荷量のＳ／Ｎ比は低くなり、多量のノイズ成分の中に微小量の信号成分（電荷量Ｎｓに相当）が存在することとなる。
また、光検出素子を構成する撮像素子の各画素（感光部）において、電荷蓄積に対するキャパシティには限界があるため、飽和が発生する可能性が高くなる。光検出素子において飽和現象が発生すると、感光部の受光光量は、光強度変調した光との相関性がなくなるので、当該感光部に対応する画素から取得される信号に基づいて距離を正確に求めることができなくなる。
【００２４】
本発明は、上記問題点に鑑み、画素数の少ない撮像素子（ＣＣＤ等）を用いて取得した距離情報に基づいて、撮像素子（ＣＣＤ等）の画素間での距離情報を補間・推定することによって、ＴＯＦ方式による距離画像の高解像度化を実現する距離推定装置、距離推定方法、プログラムおよび集積回路を実現することを目的とする。また、反射光の振幅もしくは距離画像データ自体の値をもとに、精度の不足した画素での距離情報を補正することによって、距離画像データの精度改善を行うことができる距離推定装置、距離推定方法、プログラムおよび集積回路を実現することを目的とする。
【課題を解決するための手段】
【００２５】
第１の発明は、光強度変調された光を対象物に照射し、対象物からの反射光を用いて対象物までの距離を推定する距離推定装置であって、光源と、発光源制御部と、受光光学系と、色分解部と、受光素子部と、電荷集積部と、信号演算部と、距離画像生成部と、撮像素子部と、高解像度画像生成部と、輪郭情報抽出部と、距離画像補正部と、を備える。
光源は、光強度変調可能な光を照射する。発光源制御部は、光源を制御する。受光光学系は、対象物からの光を集光する。色分解部は、受光光学系で受光した光を、周波数に基づき、第１光成分の光と、第２光成分の光とに分離する。受光素子部は、色分解部により分離された第２光成分の光を電荷に変換する。電荷集積部は、受光素子部で取得された電荷を集積し、電荷信号を取得する。信号演算部は、電荷信号に基づいて、距離情報を算出する。距離画像生成部は、距離情報に基づいて、第１の画素数を持つ距離画像を生成する。撮像素子部は、色分解部により分離された第２光成分の光を画像生成用電荷信号に変換する。高解像度画像生成部は、撮像素子部により変換された画像生成用電荷信号に基づいて第１の画素数より多い画素数の高解像度画像を生成する。輪郭情報抽出部は、高解像度生成部により生成された高解像度画像から輪郭情報を抽出する。距離画像補正部は、距離画像の注目画素の距離情報を、距離画像において注目画素の周辺に存在する画素である周辺画素および輪郭情報抽出部により抽出された輪郭情報に基づいて、補正する。
【００２６】
この距離推定装置では、受光素子部により取得された画素数の少ない距離画像の距離情報において、画素数の多い高解像画像の輪郭情報を用いて、距離画像の画素間での距離情報を補間・推定することで、高精度の距離画像を取得することができる。これにより、受光素子部で用いられる撮像素子（ＣＣＤ等）の画素数を増やすことなく、距離推定精度を高めることができる。
なお、「注目画素」とは、距離推定装置において、処理対象となっている画素のことをいう。
第２の発明は、第１の発明であって、距離画像補正部は、距離画像の注目画素に相当する高解像度画像の画像領域内に輪郭情報がある場合、距離画像中の輪郭情報がある位置情報Ｐｏｓ（ｘ，ｙ）を特定し、位置情報Ｐｏｓ（ｘ，ｙ）と周辺画素との位置関係に基づき周辺画素の距離情報に重み付けを行い、さらに、重み付けをした周辺画素の距離情報を用いて、位置情報Ｐｏｓ（ｘ，ｙ）の距離情報を算出し、算出した位置情報Ｐｏｓ（ｘ，ｙ）の距離情報を、注目画素の距離情報に置換することによって、距離画像の注目画素の距離情報を補正する。
【００２７】
この距離推定装置では、距離画像の注目画素内に高解像度画像から抽出した輪郭情報がある場合、当該注目画素の距離情報は、精度が低い可能性があるので、注目画素の周囲の画素の距離情報に基づいて補間した距離情報（補間距離情報）を求め、当該注目画素の距離情報として採用する。
したがって、この距離推定装置では、受光素子部の撮像素子（距離推定用の撮像素子）の画素数を増やすことなく、高精度の距離画像（距離情報）を取得することができる。
第３の発明は、第１の発明であって、距離画像補正部は、距離画像の注目画素に相当する高解像度画像の画像領域内に輪郭情報がある場合、距離画像中の輪郭情報に基づいて、注目画素を分割し、分割した画素に対して、それぞれ、距離画像上の位置が近い注目画素の周辺画素の距離情報を用いて、注目画素を分割した画素の距離情報を算出することによって、距離画像の注目画素の距離情報を補正する。
【００２８】
この距離推定装置では、輪郭情報がある注目画素において、輪郭情報に基づいて、画素分割を行い、分割した画素の距離情報を、それぞれ、相関性の高い隣接画素の距離情報に基づいて補間した値とするので、この距離推定装置により取得される距離情報（距離画像）の精度を向上させることができる。
第４の発明は、光強度変調された光を対象物に照射し、対象物からの反射光を用いて対象物までの距離を推定する距離推定装置であって、光源と、発光源制御部と、受光光学系と、色分解部と、受光素子部と、電荷集積部と、信号演算部と、距離画像生成部と、距離画像記憶部と、撮像素子部と、高解像度画像生成部と、高解像度画像記憶部と、ベクトル検出部と、距離画像補正部と、を備える。
光源は、光強度変調可能な光を照射する。発光源制御部は、光源を制御する。受光光学系は、対象物からの光を集光する。色分解部は、受光光学系で受光した光を、周波数に基づき、第１光成分の光と、第２光成分の光とに分離する。受光素子部は、色分解部により分離された第２光成分の光を電荷に変換する。電荷集積部は、受光素子部で取得された電荷を集積し、電荷信号を取得する。信号演算部は、電荷信号に基づいて、距離情報を算出する。距離画像生成部は、距離情報に基づいて、第１の画素数を持つ距離画像を生成する。距離画像記憶部は、距離画像を記憶する。撮像素子部は、色分解部により分離された第２光成分の光を画像生成用電荷信号に変換する。高解像度画像生成部は、撮像素子部により変換された画像生成用電荷信号に基づいて第１の画素数より多い画素数の高解像度画像を生成する。高解像度画像記憶部は、高解像度画像を記憶する。動きベクトル検出部は、高解像度画像生成部により、所定の単位時刻ｔに取得された高解像度画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ）と、高解像度画像記憶部に記憶されている所定の単位時刻ｔより前の時刻（ｔ−α）に取得された高解像度画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ−α）と、を比較することにより動きベクトルを検出する。距離画像補正部は、距離画像生成部により、所定の単位時刻ｔに取得された距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ）と、距離画像記憶部に記憶されている所定の単位時刻ｔより前の時刻（ｔ−α）に取得された距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ−α）と、動きベクトル検出部により検出された動きベクトルに基づいて、距離画像の注目画素の距離情報を補正する。
【００２９】
この距離推定装置では、高解像度画像に基づいて求めた動きベクトルに基づいて、現時刻の距離画像を補正することができるので、受光素子部２の撮像素子（距離推定用の撮像素子）の画素数を増やすことなく、距離画像の高精度化を実現することができる。
なお、「所定の単位時刻」とは、例えば、フレーム単位で動きベクトルの検出処理を行う場合、1フレームに相当する時間のことをいう。また、フレーム単位で動きベクトルの検出処理を行う場合、「Ｉｍｇ＿ｃｏｌｏｒ（ｔ）」は、時刻ｔでのフレーム画像を意味し、「Ｉｍｇ＿ｃｏｌｏｒ（ｔ−α）」は、時刻ｔからαフレーム時間前のフレーム画像を意味する（距離画像についても同様）。
第５の発明は、光強度変調された光を対象物に照射し、対象物からの反射光を用いて対象物までの距離を推定する距離推定装置であって、光源と、発光源制御部と、受光光学系と、受光素子部と、電荷集積部と、信号演算部と、距離画像生成部と、距離信頼度算出部と、距離画像補正部と、を備える。
【００３０】
光源は、光強度変調可能な光を照射する。発光源制御部は、光源を制御する。受光光学系は、対象物からの光を集光する。受光素子部は、受光光学系により受光した光を電荷に変換する。電荷集積部は、受光素子部で取得された電荷を集積し、電荷信号を取得する。信号演算部は、電荷信号に基づいて、距離情報を算出する。距離画像生成部は、距離情報に基づいて、距離画像を生成する。距離信頼度算出部は、少なくとも距離情報および電荷信号のいずれか一方に基づいて、距離画像の各画素の信頼度を算出する。距離画像補正部は、距離信頼度算出部により算出された信頼度に基づいて、距離画像の各画素の距離情報を補正する。
この距離推定装置では、距離画像の各画素の距離情報あるいは反射光の強度に応じて、距離画像の当該画素における距離情報（距離画像データの値）の確からしさを表す信頼度を算出し、算出した信頼度をもとに距離画像データを補正することによって、最適距離画像を取得することができる。したがって、この距離推定装置では、受光素子部の撮像素子の画素において取得された反射光のレベル（反射波の振幅）が小さい場合であっても、その受光素子部の撮像素子の画素に相当する距離画像の画素において、距離情報を信頼度に基づいて補正することができるので、距離画像における距離推定精度の低下を効果的に抑制することができる。
【００３１】
第６の発明は、第５の発明であって、信頼度算出部は、注目画素の距離情報が大きい値であるほど、信頼度の値が小さくなるように、信頼度を算出する。
第７の発明は、第５または第６の発明であって、信頼度算出部は、注目画素に対応する電荷信号の振幅値が小さいほど、信頼度の値が小さくなるように、信頼度を算出する。
第８の発明は、光強度変調された光を対象物に照射し、対象物からの反射光を用いて対象物までの距離を推定する距離推定方法であり、光強度変調可能な光を照射する光源と、対象物からの光を集光する受光光学系と、受光光学系で受光した光を、周波数に基づき、第１光成分の光と、第２光成分の光とに分離する色分解部と、色分解部により分離された第２光成分の光を電荷に変換する受光素子部と、受光素子部において取得された電荷を集積し、電荷信号を取得する電荷集積部と、色分解部により分離された前記第２光成分の光を画像生成用電荷信号に変換する撮像素子部と、を備える、距離推定装置に用いられる距離推定方法である。そして、当該距離推定方法は、発光源制御ステップと、信号演算ステップと、距離画像生成ステップと、高解像度画像生成ステップと、輪郭情報抽出ステップと、距離画像補正ステップと、を備える。
【００３２】
発光源制御ステップでは、光源を制御する。信号演算ステップでは、電荷信号に基づいて、距離情報を算出する。距離画像生成ステップでは、距離情報に基づいて、第１の画素数を持つ距離画像を生成する。高解像度画像生成ステップでは、撮像素子部により変換された画像生成用電荷信号に基づいて第１の画素数より多い画素数の高解像度画像を生成する。輪郭情報抽出ステップでは、高解像度画像生成ステップにより生成された高解像度画像から輪郭情報を抽出する。距離画像補正ステップでは、距離画像の注目画素の距離情報を、距離画像において注目画素の周辺に存在する画素である周辺画素および輪郭情報抽出ステップにより抽出された輪郭情報に基づいて、補正する。
これにより、第１の発明と同様の効果を奏する距離推定方法を実現することができる。
第９の発明は、光強度変調された光を対象物に照射し、対象物からの反射光を用いて対象物までの距離を推定する距離推定方法であり、光強度変調可能な光を照射する光源と、対象物からの光を集光する受光光学系と、受光光学系で受光した光を、周波数に基づき、第１光成分の光と、第２光成分の光とに分離する色分解部と、色分解部により分離された第２光成分の光を電荷に変換する受光素子部と、受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、色分解部により分離された前記第２光成分の光を画像生成用電荷信号に変換する撮像素子部と、を備える距離推定装置に用いられる距離推定方法である。この距離推定方法は、発光源制御ステップと、信号演算ステップと、距離画像生成ステップと、距離画像記憶ステップと、高解像度画像生成ステップと、高解像度画像記憶ステップと、動きベクトル検出ステップと、距離画像補正ステップと、を備える。発光源制御ステップでは、光源を制御する。信号演算ステップでは、電荷信号に基づいて、距離情報を算出する。距離画像生成ステップでは、距離情報に基づいて、第１の画素数を持つ距離画像を生成する。距離画像記憶ステップでは、距離画像を記憶する。高解像度画像生成ステップでは、撮像素子部により変換された画像生成用電荷信号に基づいて第１の画素数より多い画素数の高解像度画像を生成する。高解像度画像記憶ステップでは、高解像度画像を記憶する。動きベクトル検出ステップでは、高解像度画像生成ステップにより、所定の単位時刻ｔに取得された高解像度画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ）と、高解像度画像記憶ステップで記憶された所定の単位時刻ｔより前の時刻（ｔ−α）に取得された高解像度画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ−α）と、を比較することにより動きベクトルを検出する。距離画像補正ステップは、距離画像生成ステップにより、所定の単位時刻ｔに取得された距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ）と、距離画像記憶ステップで記憶された所定の単位時刻ｔより前の時刻（ｔ−α）に取得された距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ−α）と、動きベクトル検出ステップにより検出された動きベクトルに基づいて、距離画像の注目画素の距離情報を補正する。
【００３３】
これにより、第４の発明と同様の効果を奏する距離推定方法を実現することができる。
第１０の発明は、光強度変調された光を対象物に照射し、対象物からの反射光を用いて対象物までの距離を推定する距離推定方法であり、光強度変調可能な光を照射する光源と、対象物からの光を集光する受光光学系と、受光光学系により受光した光を電荷に変換する受光素子部と、受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、を備える距離推定装置に用いられる距離推定方法である。この距離推定装置方法は、発光源制御ステップと、信号演算ステップと、距離画像生成ステップと、距離信頼度算出ステップと、距離画像補正ステップと、を備える。
発光源制御ステップでは、光源を制御する。信号演算ステップでは、電荷信号に基づいて、距離情報を算出する。距離画像生成ステップでは、距離情報に基づいて、距離画像を生成する。距離信頼度算出ステップでは、少なくとも距離情報および電荷信号のいずれか一方に基づいて、距離画像の各画素の信頼度を算出する。距離画像補正ステップでは、距離信頼度算出ステップにより算出された信頼度に基づいて、距離画像の各画素の距離情報を補正する。
【００３４】
これにより、第５の発明と同様の効果を奏する距離推定方法を実現することができる。
第１１の発明は、第８の発明の距離推定方法を、コンピュータに実行させるプログラムである。
これにより、第１の発明と同様の効果を奏するプログラムを実現することができる。
第１２の発明は、第９の発明の距離推定方法を、コンピュータに実行させるプログラムである。
これにより、第４の発明と同様の効果を奏するプログラムを実現することができる。
第１３の発明は、第１０の発明の距離推定方法を、コンピュータに実行させるプログラムである。
これにより、第５の発明と同様の効果を奏するプログラムを実現することができる。
【００３５】
第１４の発明は、光強度変調された光を対象物に照射し、対象物からの反射光を用いて対象物までの距離を推定する距離推定装置に用いられる集積回路であり、光強度変調可能な光を照射する光源と、対象物からの光を集光する受光光学系と、受光光学系で受光した光を、周波数に基づき、第１光成分の光と、第２光成分の光とに分離する色分解部と、色分解部により分離された第２光成分の光を電荷に変換する受光素子部と、受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、色分解部により分離された前記第２光成分の光を画像生成用電荷信号に変換する撮像素子部と、を備える距離推定装置に用いられる集積回路である。この集積回路は、発光源制御部と、信号演算部と、距離画像生成部と、高解像度画像生成部と、輪郭情報抽出部と、距離画像補正部と、を備える。
発光源制御部は、光源を制御する。信号演算部は、電荷信号に基づいて、距離情報を算出する。距離画像生成部は、距離情報に基づいて、第１の画素数を持つ距離画像を生成する。高解像度画像生成部は、撮像素子部により変換された画像生成用電荷信号に基づいて第１の画素数より多い画素数の高解像度画像を生成する。輪郭情報抽出部は、高解像度生成部により生成された高解像度画像から輪郭情報を抽出する。距離画像補正部は、距離画像の注目画素の距離情報を、距離画像において注目画素の周辺に存在する画素である周辺画素および輪郭情報抽出部により抽出された輪郭情報に基づいて、補正する。
【００３６】
これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。
第１５の発明は、光強度変調された光を対象物に照射し、対象物からの反射光を用いて対象物までの距離を推定する距離推定装置に用いられる集積回路であり、光強度変調可能な光を照射する光源と、対象物からの光を集光する受光光学系と、受光光学系で受光した光を、周波数に基づき、第１光成分の光と、第２光成分の光とに分離する色分解部と、色分解部により分離された第２光成分の光を電荷に変換する受光素子部と、受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、色分解部により分離された前記第２光成分の光を画像生成用電荷信号に変換する撮像素子部と、を備える距離推定装置に用いられる集積回路である。この集積回路は、発光源制御部と、信号演算部と、距離画像生成部と、距離画像記憶部と、高解像度画像生成部と、高解像度画像記憶部と、ベクトル検出部と、距離画像補正部と、を備える。
【００３７】
発光源制御部は、光源を制御する。信号演算部は、電荷信号に基づいて、距離情報を算出する。距離画像生成部は、距離情報に基づいて、第１の画素数を持つ距離画像を生成する。距離画像記憶部は、距離画像を記憶する。高解像度画像生成部は、撮像素子部により変換された画像生成用電荷信号に基づいて第１の画素数より多い画素数の高解像度画像を生成する。高解像度画像記憶部は、高解像度画像を記憶する。動きベクトル検出部は、高解像度画像生成部により、所定の単位時刻ｔに取得された高解像度画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ）と、高解像度画像記憶部に記憶されている所定の単位時刻ｔより前の時刻（ｔ−α）に取得された高解像度画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ−α）と、を比較することにより動きベクトルを検出する。距離画像補正部は、距離画像生成部により、所定の単位時刻ｔに取得された距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ）と、距離画像記憶部に記憶されている所定の単位時刻ｔより前の時刻（ｔ−α）に取得された距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ−α）と、動きベクトル検出部により検出された動きベクトルに基づいて、距離画像の注目画素の距離情報を補正する。
【００３８】
これにより、第４の発明と同様の効果を奏する集積回路を実現することができる。
第１６の発明は、光強度変調された光を対象物に照射し、対象物からの反射光を用いて対象物までの距離を推定する距離推定装置に用いられる集積回路であり、光強度変調可能な光を照射する光源と、対象物からの光を集光する受光光学系と、受光光学系により受光した光を電荷に変換する受光素子部と、受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、を備える距離推定装置に用いられる集積回路である。この集積回路は、発光源制御部と、信号演算部と、距離画像生成部と、距離信頼度算出部と、距離画像補正部と、を備える。
発光源制御部は、光源を制御する。信号演算部は、電荷信号に基づいて、距離情報を算出する。距離画像生成部は、距離情報に基づいて、距離画像を生成する。距離信頼度算出部は、少なくとも距離情報および電荷信号にいずれか一方に基づいて、距離画像の各画素の信頼度を算出する。距離画像補正部は、距離信頼度算出部により算出された信頼度に基づいて、距離画像の各画素の距離情報を補正する。
【００３９】
これにより、第５の発明と同様の効果を奏する集積回路を実現することができる。
第１７の発明は、第１から第７のいずれかの発明である距離推定装置を含むカメラである。
これにより、第１〜第７の発明と同様の効果を奏する距離測定装置を搭載したカメラを実現することができる。
なお、「カメラ」とは、静止画を取得するスチルカメラや、動画像を取得する撮像装置（ムービー）や、静止画および動画の両方を撮像することできる撮像装置や、取得した撮像画像（映像）から３D表示用画像（映像）を生成する機能を備える撮像装置を含む概念である。
また、第１７の発明のカメラにおいて、撮像画像は、カメラに含まれる距離測定装置の高解像度画像生成部により生成される高解像度画像を用いるものであってもよいし、距離測定装置とは別に、撮像素子をさらに追加し、追加した当該撮像素子から撮像画像を取得するものであってもよい。
【発明の効果】
【００４０】
本発明によれば、画素数の少ない撮像素子（ＣＣＤ等）を用いて取得した距離情報に基づいて、撮像素子（ＣＣＤ等）の画素間での距離情報を補間・推定することによって、ＴＯＦ方式による距離画像の高解像度化を実現する距離推定装置、距離推定方法、プログラムおよび集積回路を実現することができる。また、本発明によれば、反射光の振幅もしくは距離画像データ自体の値をもとに、精度の不足した画素での距離情報を補正することで、距離画像データの精度改善を行うことができる距離推定装置、距離推定方法、プログラムおよび集積回路を実現することができる。
【図面の簡単な説明】
【００４１】
【図１】本発明における第１実施形態に係る距離推定装置の構成を示すブロック図。
【図２】本発明における第１実施形態に係る最適距離情報取得部の構成を示すブロック図。
【図３Ａ】本発明における第１実施形態に係る距離推定方法における距離画像補間方法の概要を示す図。
【図３Ｂ】本発明における第１実施形態に係る距離推定方法における距離画像補間方法の概要を示す図。
【図４】本発明における第１実施形態に係る距離推定方法における処理フローチャートを示す図。
【図５Ａ】本発明における第１実施形態に係る距離推定方法における第２の距離画像補間方法（第１変形例）の概要を示す図。
【図５Ｂ】本発明における第１実施形態に係る距離推定方法における第３の距離画像補間方法（第２変形例）の概要を示す図。
【図６】本発明における第２実施形態に係る距離推定装置の構成を示すブロック図。
【図７】本発明における第２実施形態に係る距離推定装置の動きベクトル検出部のブロック図。
【図８】本発明における第２実施形態に係る距離推定方法における動きベクトルを用いた距離画像補正方法の概要を示す図。
【図９】本発明における第２実施形態に係る距離推定方法の処理フローチャートを示す図。
【図１０】本発明における第２実施形態に係る距離推定方法での動きベクトル検出の概要を示す図。
【図１１】本発明における第３実施形態に係る距離推定装置の構成を示すブロック図。
【図１２】本発明における第３実施形態に係る距離推定装置の距離信頼度算出部の構成を示すブロック図。
【図１３】本発明における第３実施形態における距離信頼度算出方法の概要を示す図。
【図１４】距離画像補正部３２における補正処理の一例を説明するための図。
【図１５Ａ】本発明における第３実施形態における距離信頼度を決定する関数例を示す図。
【図１５Ｂ】本発明における第３実施形態における距離信頼度を決定する関数例を示す図。
【図１６Ａ】本発明における第４実施形態における距離信頼度を決定する関数例２を示す図。
【図１６Ｂ】本発明における第４実施形態における距離信頼度を決定する関数例２を示す図。
【図１７】本発明における第４実施形態に係る距離推定方法の処理フローチャート図。
【図１８】従来例１の距離推定装置の構成を示すブロック図。
【図１９】従来例１の距離推定方法の概要を示す図。
【図２０】従来例２の距離推定装置の構成を示すブロック図。
【図２１】従来例２の距離推定方法の概要を示す図。
【発明を実施するための形態】
【００４２】
以下、本発明の最良の形態としての第１〜第３実施形態について説明する。
第１実施形態では、所定の発光周波数（光（電磁波）の周波数）を持つ光を照射できる光源から距離推定用照明光を対象物に対して照射し、距離推定用照射光の反射光を受光し、距離推定装置から対象物までの距離情報を取得し、取得した距離情報に基づいて距離画像データを生成し、距離推定用照射光の反射光と同期して得られる可視光成分より得られたカラー画像の輪郭情報を抽出し、抽出した輪郭情報に基づいて、距離画像上の対応部分において周囲の距離情報より、距離画像上の対応部分の距離情報を補正することによって距離推定を行う装置および方法について説明する。
第２実施形態では、所定の発光周波数を持つ光を照射できる光源から距離推定用照明光を対象物に対して照射し、距離推定用照射光の反射光を受光し、距離推定装置から対象物までの距離情報を取得し、取得した距離情報に基づいて距離画像データを生成し、距離推定用照射光の反射光と同期して得られる可視光成分より得られたカラー画像の動きベクトル検出を行い、検出した動きベクトル情報と、当該動きベクトルに対応する距離画像上の部分の１単位時刻前の距離情報より、当該部分の対象時刻の距離情報を補正することによって距離推定を行う装置および方法について説明する。
【００４３】
第３実施形態では、所定の発光周波数を持つ光を照射できる光源から距離推定用照明光を対象物に対して照射し、距離推定用照射光の反射光を受光し、距離推定装置から対象物までの距離情報を取得し、取得した距離情報に基づいて距離画像データを生成し、距離画像データの値あるいは反射光の強度に応じて、距離画像データの値の確からしさを表す信頼度を算出し、算出した信頼度をもとに距離画像データを補正することによって距離推定を行う装置および方法について説明する。
［第１実施形態］
図１から図５Ｂを用いて、本発明の第１実施形態について、説明する。
図１は、本発明の第１実施形態に係る距離推定装置１００の概略構成図である。
また、図２は、本発明の第１実施形態に係る距離推定装置１００内の最適距離情報取得部７の概略構成図である。
【００４４】
図３は、第１実施形態に係る距離推定方法における画像補間方法の概要を模式的に示した図である。
図４は、第１実施形態に係る距離推定方法の処理フローチャートを示す図である。
また、図５Ａと図５Ｂは、第１実施形態に係る距離推定方法における第２の画像補間方法の概要（第１変形例および第２変形例）を模式的に示した図である。
本発明の距離推定装置は、ムービーあるいはＤＳＣ（Ｄｉｇｉｔａｌ Ｓｔｉｌｌ Ｃａｍｅｒａ）等の撮像装置によって撮影された画像の奥行き感・立体感を向上させるために、対象空間を撮像し、撮像装置から対象空間に存在する対象物までの距離を推定する方法・装置に関するものであり、例えば、デジタルスチルカメラあるいはデジタルビデオカメラのような撮影機器、あるいは、モバイル環境下において使用する携帯電話あるいはカーモバイル機器・ＰＤＡ等へ搭載される。また、本発明の距離推定方法は、上記した機器等において実行される。
【００４５】
＜１．１：距離推定装置の構成＞
図１に示すように、距離推定装置１００は、光強度変調可能な発光源１０と、発光源１０の発光制御を行う発光源制御部９と、被写体（対象物）からの光を集光する受光光学系１と、受光光学系１で受光した光を可視光成分の光と赤外光成分（距離測定用の光成分）の光に分離する色分解プリズム１１と、色分解プリズム１１で分離された赤外光成分の光を光電変換する素子（撮像素子）を有する受光素子部２と、受光素子部２で変換された電荷を集積し、電荷信号として出力する電荷集積部３と、画像生成部６で生成された距離画像を記憶・保持する距離画像保持メモリ部８と、を備える。また、距離推定装置１００は、色分解プリズム１１で分離された可視光成分の光を光電変換し画像用電荷信号を取得する撮像素子部１２と、撮像素子部１２により取得された画像用電荷信号に基づいて画像を生成するカラー画像生成部１３と、カラー画像生成部１３により生成された画像から輪郭情報を抽出する輪郭情報抽出部１４と、を備える。また、距離推定装置１００は、輪郭情報抽出部１４により抽出された輪郭情報に基づいて、距離画像保持メモリ部８に記憶・保持されている距離情報から最適距離情報を取得する最適距離情報取得部７と、最適距離情報取得部７により取得された最適距離情報に基づき、最適距離画像を生成する最適距離画像生成部１５と、を備える。
【００４６】
発光源１０は、発光源制御部９により発光制御される発光源である。発光源１０から発光される照明光Ｓ１は、発光源制御部９の発光制御により、光強度変調された光とすることができる。なお、発光源１０は、距離測定用の光を発光する光源であり、発光源１０から発光される距離測定用光は、赤外光（なお、「Ｘ＾Ｙ」は、「ＸのＹ乗」を表している。以下同様。）であることが好ましい。したがって、発光源１０として、赤外光領域の周波数（例えば、１×１０＾６［ＭＨｚ］〜１×１０＾９［ＭＨｚ］）（なお、「Ｘ＾Ｙ」は、「ＸのＹ乗」を表している。以下同様。）の電磁波（赤外光）を発光する光源を用いることが好ましい。また、赤外光領域の周波数を用いる場合、発光源として、赤外領域の周波数の光を発光するＬＥＤ光源を用いることが好ましい。
以下では、発光源１０から発光される距離測定用光が赤外光であるものとして、説明する。
【００４７】
発光源制御部９は、発光源１０の発光制御を行う。また、発光源制御部９は、制御部４から出力される光強度変調制御信号に基づいて、発光源１０から発光される照明光Ｓ１の光強度変調を行う。
受光光学系１は、撮像対象空間からの光を集光する光学系であり、光学レンズ、光学フィルタ等から構成される。
色分解プリズム１１は、光（電磁波）の周波数に基づき、その光路を分離する（その光成分を分離する）光学プリズムであり、距離推定装置１００では、受光光学系１で集光された反射光Ｓ２を、距離推定用赤外光成分とカラー画像用可視光成分とに分離する。そして、色分解プリズム１１で分離された距離推定用赤外光成分の光（電磁波）は、受光素子部２に入射される。また、色分解プリズム１１で分離されたカラー画像用可視光成分の光（電磁波）は、撮像素子部１２に入射される。
【００４８】
受光素子部２は、複数の画素からなる撮像素子を有しており、各画素は、フォトダイオード等の光電変換素子を含んでいる。受光素子部２では、各画素において、光電変換された受光光量に応じた電荷が取得される。受光素子部２において取得された電荷は、電荷集積部３に出力される。なお、発光源１０から発光させる光が赤外光である場合、受光素子部２の撮像素子は、赤外光用ＣＣＤを用いることが好ましい。また、受光素子部２の撮像素子の前段に、赤外領域外の電磁波を遮断するために、赤外光用のフィルタ（光学フィルタ）等を設置するようにしてもよい。
電荷集積部３は、制御部４から設定された所定の電荷蓄積時間に基づいて、受光素子部２において光電変換された電荷を集積し、電荷信号Ｄｉを取得する。電荷集積部３は、取得した電荷信号Ｄｉを、制御部４の指令に基づいて、信号演算部５に出力する。
【００４９】
信号演算部５は、電荷集積部３から出力される電荷信号Ｄｉに対して、例えば、（数式４）の処理を行い、距離情報Ｌｉを算出する。なお、受光素子部２の撮像素子の画素ｉに対応する電荷信号Ｄｉとし、画素ｉに対応する距離情報をＬｉと表記することとする。信号演算部５は、算出した距離情報Ｌｉを画像生成部６に出力する。
制御部４は、光強度変調制御信号を発光源制御部９に出力し、発光源制御部９を介して、発光源１０から発光される光の強度を光強度変調制御信号に基づいて変調させる。そして、制御部４は、光強度変調制御信号に基づいて光強度変調させた照明光Ｓ１の変調周期に同期させて、所定のタイミングにおいて電荷集積部３に集積された電荷量を取得させ、電荷信号Ｄｉとして、信号演算部５に出力させる。そして、制御部４は、信号演算部５に対して、例えば、（数式４）に相当する処理を実行するように制御する。
【００５０】
なお、ここで、「所定のタイミング」とは、例えば、光強度変調制御信号に基づいて光強度変調させた照明光Ｓ１の変調周期の１周期あたり４点（例えば、上記（数式４）のＡ０点〜Ａ４点の４点に相当。）をサンプリングすることに相当するタイミングのことをいう。なお、照明光Ｓ１の変調周期１周期あたりのサンプリング数は、４点に限定されないことは、言うまでもない。
照明光Ｓ１の変調周期１周期あたりのサンプリング数が４点である場合、信号演算部５では、電荷集積部３から出力された電荷信号Ｄｉに対して、（数式４）に相当する処理を行うことによって、位相シフト量Ψを求め、さらに、距離情報Ｌｉを簡単に求めることができる。
画像生成部６は、信号演算部５により算出された距離情報Ｌｉを入力とし、距離情報Ｌｉに基づいて、距離画像を生成する。ここで、「距離画像」とは、受光素子部２の撮像素子の画素ｉに対応させた２次元画像であり、距離画像上の画素ｉに対応する位置の値は、画素ｉに相当する距離情報を表す値となっている。つまり、距離画像上の画素ｉに対応する位置の値は、画素ｉに対応する撮像対象空間内の対象物と距離推定装置１００との距離を表す値となっている。この値は、必ずしも、当該距離の値そのものである必要はなく、当該距離と相関のある値であってもよい。
【００５１】
距離画像保持メモリ部８は、画像生成部６で生成された距離画像を入力とし、その距離画像を記憶・保持する。
撮像素子部１２は、複数の画素からなる撮像素子を有しており、各画素は、フォトダイオード等の光電変換素子を含んでいる。撮像素子部１２では、各画素において、光電変換された受光光量に応じた電荷が取得・蓄積される。そして、撮像素子部１２は、蓄積した電荷をカラー画像生成部１３に出力する。なお、撮像素子部１２として、例えば、ＣＣＤ型イメージセンサあるいはＣＭＯＳ型イメージセンサを用いるとよい。
カラー画像生成部１３は、撮像素子部１２から、各画素に対応して出力される電荷を入力とし、当該電荷に基づいてカラー画像信号を生成する。そして、カラー画像生成部１３は、生成したカラー画像信号を、輪郭情報抽出部１４に出力する。
【００５２】
輪郭情報抽出部１４は、カラー画像生成部１３により生成されたカラー画像信号から輪郭画素抽出を行い、輪郭情報を取得（抽出）する。そして、輪郭情報抽出部１４は、抽出した輪郭情報を最適距離情報取得部７に出力する。
最適距離情報取得部７は、輪郭情報抽出部１４から出力される輪郭情報と、距離画像保持メモリ部８から出力される注目画素の周囲画素の距離情報と、画像生成部６から出力される注目画素の距離情報および注目画素の画素位置についての情報と、を入力とする。最適距離情報取得部７は、入力された輪郭情報、注目画素の画素位置情報、注目画素の距離情報および注目画素の周囲画素の距離情報に基づいて、最適距離情報を取得し、取得した最適距離情報を最適距離画像生成部１５に出力する。なお、ここで、「注目画素」とは、距離情報を求める対象（処理対象）となっている画素（距離画像上の画素）のことをいう。
【００５３】
最適距離情報取得部７は、例えば、図２に示す構成とすることができる。図２に示すように、最適距離情報取得部７は、輪郭判定部７１と、補間位置算出部７２と、周囲距離情報検出部７３と、距離情報補間値算出部７４と、切換器７５と、を備える。
輪郭判定部７１は、輪郭情報抽出部１４から出力される輪郭情報と、画像生成部６から出力される注目画素の画素位置情報を入力とし、輪郭情報に基づいて注目画素内に輪郭があるか否かを検出する。具体的には、輪郭判定部７１は、カラー画像生成部１３により生成されたカラー画像信号より形成される画像上において、距離画像における注目画素に相当する画像領域に輪郭があるか否かを検出する。そして、輪郭判定部７１は、距離画像における注目画素に相当する画像領域に輪郭があると判断した場合、輪郭判定結果を「１」として出力し、距離画像における注目画素に相当する画像領域に輪郭がないと判断した場合、輪郭判定結果を「０」として出力する。輪郭判定部７１は、輪郭判定結果を補間位置算出部７２および切換器７５に出力する。なお、輪郭判定結果は、周囲距離情報検出部７３および距離情報補間値算出部７４に出力するようにしてもよい。
【００５４】
補間位置算出部７２は、輪郭情報抽出部１４から出力される輪郭情報と、画像生成部６から出力される注目画素の画素位置情報と、輪郭判定部から出力される輪郭判定結果を入力とする。補間位置算出部７２は、輪郭判定結果が「１」である場合（輪郭ありの場合）のみ動作し、輪郭情報および注目画素の画素位置情報に基づいて輪郭画素位置情報を算出する。そして、補間位置算出部７２は、算出した輪郭画素位置情報を距離情報補間値算出部７４に出力する。
周囲距離情報検出部７３は、画像生成部６から出力される注目画素の画素位置情報と、距離画像保持メモリ部８から出力される注目画素の周囲画素の距離情報と、を入力とし、補間値算出用周囲距離情報を取得する。そして、周囲距離情報検出部７３は、取得した補間値算出用周囲距離情報を距離情報補間値算出部７４に出力する。
【００５５】
距離情報補間値算出部７４は、補間位置算出部７２から出力される輪郭画素位置情報と、周囲距離情報検出部７３から出力される補間値算出用周囲距離情報と、を入力とする。距離情報補間値算出部７４は、輪郭画素位置情報および補間値算出用周囲距離情報に基づいて、補間距離情報Ｌｉ’を算出する。そして、距離情報補間値算出部７４は、補間距離情報Ｌｉ’を切換器７５に出力する。
切換器７５は、距離情報補間値算出部７４から出力される補間距離情報Ｌｉ’と、画像生成部６から出力される注目画素の距離情報Ｌｉと、を入力とし、輪郭判定部７１から出力される輪郭判定結果に基づいて、その出力を切り替える。具体的には、切換器７５は、輪郭判定結果が「１」である場合（輪郭ありの場合）、注目画素の補間距離情報Ｌｉ’を出力し、輪郭判定結果が「０」である場合（輪郭なしの場合）、注目画素の距離情報Ｌｉを出力する。
【００５６】
最適距離情報取得部７は、切換器７５からの出力を、最適距離情報として、最適距離画像生成部１５に出力する。
最適距離画像生成部１５は、最適距離情報取得部７から出力される最適距離情報を入力とし、最適距離情報に基づいて最適距離画像を生成する。そして、最適距離画像生成部１５は、生成した最適距離画像を出力する。
＜１．２：距離推定装置の動作＞
以上のように構成された距離推定装置１００の動作および距離推定装置１００において実行される距離推定方法について、図１から図５を用いて、説明する。
距離推定装置１００において、
まず、発光源制御部９により、発光源１０を発光させた状態にする。その状態で、対象物体ＯＢＪ１０からの光を、受光光学系１に入射させる。
【００５７】
受光光学系１に入射された光は、色分解プリズム１１により、距離推定用赤外光成分の光とカラー画像用可視光成分の光に分離される。
受光素子部２では、各画素において、距離推定用赤外光成分の光が光電変換され、電荷として取得される。
受光素子部２において取得された電荷は、電荷集積部により集積され、電荷信号Ｄｉとして信号演算部５に出力される。具体的には、制御部４からの指令に従い、光強度変調制御信号に基づいて光強度変調させた照明光Ｓ１の変調周期に同期した所定のタイミングにおいて電荷集積部３に集積された電荷量が取得され、電荷信号Ｄｉとして、信号演算部５に出力される。なお、ここでの「所定のタイミング」は、例えば、光強度変調制御信号に基づいて光強度変調させた照明光Ｓ１の変調周期の１周期あたり４点（例えば、上記（数式４）のＡ０点〜Ａ４点の４点に相当。）をサンプリングすることに相当するタイミングである。以下では、説明便宜のため、照明光Ｓ１の変調周期１周期あたりのサンプリング数が４点である場合について説明する。
【００５８】
信号演算部５では、入力された電荷信号Ｄｉ（照明光Ｓ１の変調周期１周期あたりに４点のサンプリングをされた電荷信号Ｄｉ）に対して、（数式４）に相当する処理を行い、位相シフト量Ψを求める。さらに、信号演算部５では、位相シフト量Ψに対して、（数式３）に相当する処理を行い、画素ｉの距離情報Ｌｉを取得する。
信号演算部５により取得された距離情報Ｌｉは、画像生成部６に出力される。
画像生成部６では、信号演算部５により算出された距離情報Ｌｉに基づいて、距離画像が生成される。
まとめると、距離推定装置１００では、反射光Ｓ２を受光素子部２において受け、受光素子部２および電荷集積部３により変換・集積された電荷信号Ｄｉを、制御部４で制御して、信号演算部５により、対応する画素ｉの距離情報値Ｌｉに変換する。
【００５９】
この際、従来例２と同様に、距離推定装置１００では、図１９で示される変調周期１周期あたり４点（Ａ０点，Ａ１点，Ａ２点およびＡ３点の４点）の電荷信号Ｄｉのサンプリングを行い、（数式４）を用いて位相シフト量Ψを導出する。そして、距離推定装置１００では、その導出した位相量Ψ（Ａ０〜Ａ３の４点により求めた位相量）を、（数式３）に当てはめることで、画素ｉの距離情報値Ｌｉを求める。
距離画像保持メモリ部８では、画像生成部６により生成された距離画像が記憶・保持される。
一方、色分解プリズム１１で分離されたカラー画像用可視光成分の光は、撮像素子部１２により受光・集積されて、カラー画像生成部１３でカラー画像信号（画像データ）に変換される。そして、カラー画像生成部１３で取得されたカラー画像信号は、輪郭情報抽出部１４に出力される。
【００６０】
輪郭情報抽出部１４では、（数式５）で示される３×３の大きさをもつ２次元フィルタによる２次元フィルタ処理（（数式６）による処理）を用いて、画像内の各画素（ｉ，ｊ）の微分ベクトルｖｄ（ｉ，ｊ）（ｘｄ（ｉ，ｊ），ｙｄ（ｉ，ｊ））を求める。また、輪郭情報抽出部１４では、微分ベクトルｖｄ（ｉ，ｊ）の大きさｓｔｖ（ｉｊ）を、
ｓｔｖ（ｉｊ）＝（ｘｄ（ｉ，ｊ）×ｘｄ（ｉ，ｊ）＋ｙｄ（ｉ，ｊ）×ｙｄ（ｉ，ｊ））＾０．５
を用いて求める。
輪郭情報抽出部１４では、各画素（ｉ，ｊ）のｓｔｖ（ｉ，ｊ）を、所定のしきい値ＴＨ２を使って、（数式７）のように比較することで、輪郭画素抽出を行う。なお（数式７）は、カラー画像信号により形成される画像上の画素が、輪郭に含まれる画素かどうかを示すための２値化を行うものであり、Ｅ（ｉ，ｊ）＝１は、画素（ｉ，ｊ）が輪郭に含まれる画素であることを表している。
【００６１】
【数５】
【００６２】
【数６】
【００６３】
【数７】
【００６４】
このようにして、輪郭情報抽出部１４により求められた輪郭情報Ｅ（ｉ，ｊ）（以下では、単に「輪郭情報Ｅｉ」と表記することもある。）は、最適距離情報取得部７に出力される。
なお、カラー画像生成部１３で生成される画像（カラー画像信号により形成される画像）の解像度は、画像生成部６で生成される距離画像の解像度よりも高解像度であるものとする。距離推定装置１００において、受光素子部２は、距離推定用であるので、受光素子部２の撮像素子の画素数は、カラー画像生成用である撮像素子部１２の撮像素子の画素数に比べて少ない。つまり、距離推定装置１００において、距離推定用の撮像素子の解像度は、カラー画像生成用の撮像素子の解像度ほど高解像度を求められないので、受光素子部２の撮像素子の画素数を、カラー画像生成用である撮像素子部１２の撮像素子の画素数より少なくしても問題ない。
【００６５】
また、受光素子部２の受光素子数（受光素子部２の撮像素子の画素数）を多くして距離画像の高解像度化を行った場合に発生するショットノイズあるいは環境光等の影響による推定（測定）距離精度の低下を抑えるために、受光素子部２の素子数（距離画像の解像度）を小さくすることが望ましい。
以上より、距離推定装置１００では、受光素子部２の撮像素子の画素数が、撮像素子部１２の撮像素子の画素数よりも少ないものとして、以下、説明する。
最適距離情報取得部７は、例えば、図２のように構成される。また、図３Ａは、距離画像の画素内に輪郭情報がある場合における最適距離情報取得部７の処理概要を模式的に示した図である。図３Ｂは、距離画像の画素内に輪郭情報がない場合における最適距離情報取得部７の処理概要を模式的に示した図である。なお、図３Ａおよび図３Ｂの距離画像において、画素が明るい（輝度が高い）程、当該画素が示す距離情報は、近い距離であることを示している。つまり、当該画素に相当する撮像空間（対象物）と距離推定装置との３次元空間内の距離が短いということを示している。
【００６６】
まず、距離画像の画素内に輪郭情報がある場合における最適距離情報取得部７の処理について説明する。
図３Ａのカラー画像Ｉｍｇ＿ｃｏｌｏｒは、カラー画像生成部１３により生成されたカラー画像信号により形成される画像において、輪郭情報抽出部１４により抽出された輪郭情報を示している。また、図３Ａのカラー画像Ｉｍｇ＿ｃｏｌｏｒ中のブロックは、距離画像１画素に相当する画像領域を示している。具体的には、カラー画像Ｉｍｇ＿ｃｏｌｏｒ中の画像領域ｂｌｋ１は、距離画像の１画素に対応する画像領域を示している。そして、画像領域ｂｌｋ１内には、カラー画像の画素が複数存在している。つまり、カラー画像の画素数の方が、距離画像の画素数よりも多い。言い換えると、カラー画像の画素の大きさは、距離画像の画素の大きさよりも小さい。
【００６７】
図３Ａのカラー画像Ｉｍｇ＿ｃｏｌｏｒにおいて、距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅの画素は、細分化されたブロック（カラー画像Ｉｍｇ＿ｃｏｌｏｒを構成する複数の画素からなるブロック）として表現される。この場合、ＴＯＦ方式によって得られる距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅの画素は、カラー画像Ｉｍｇ＿ｃｏｌｏｒのブロックに相当することになり、距離情報もカラー画像Ｉｍｇ＿ｃｏｌｏｒのブロックに相当する単位で取得されることとなる。つまり、距離画像は、カラー画像に比べて粗い画像となる。
図３Ａの距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅは、画像生成部６により生成された距離画像であり、各画素中のＬ１〜Ｌ１０は、画素Ｐ１〜Ｐ１０の距離情報Ｌｉを示している。なお、図３Ａの距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅにおいて、距離情報がＬ１〜Ｌ１０である画素を、画素Ｐ１〜Ｐ１０とする。
【００６８】
（１．２．１：距離画像の注目画素内に輪郭情報がある場合の処理）
まず、距離画像の注目画素内に輪郭情報がある場合の処理について説明する。
以下、注目画素をＰ５として、図２および図３Ａを用いて、説明する。
注目画素がＰ５である場合、輪郭判定部７１は、注目画素Ｐ５の画素位置情報と、注目画素Ｐ５に相当するカラー画像の画像領域内の輪郭情報Ｅ（ｉ，ｊ）と、に基づいて、注目画素Ｐ５内に輪郭情報があるか否か（すなわち、輪郭があるか否か）を判断する。この場合、注目画素Ｐ５内には、輪郭情報があるので、輪郭判定部７１は、輪郭判定結果を「１」にして出力する。
次に、補間位置算出部７２では、輪郭情報の画素位置Ｐｅｄｇ（ｓ，ｔ）が求められる。補間位置算出部７２により求められた輪郭情報の画素位置Ｐｅｄｇ（ｓ，ｔ）は、距離情報補間値算出部７４に出力される。
【００６９】
そして、周囲距離情報検出部７３では、距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ内の注目画素Ｐ５に隣接する画素Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ６、Ｐ７、Ｐ８、Ｐ９を用いて、注目画素Ｐ５の４隅に相当する距離情報Ｌ１ｄ、Ｌ３ｄ、Ｌ７ｄおよびＬ９ｄを求める。これについて、具体的に、図３Ａの領域Ｒ１の場合を例に、説明する。
図３Ａに示すように、注目画素Ｐ１の距離情報Ｌ１と、注目画素Ｐ５に隣接する画素Ｐ１、Ｐ２およびＰ４の距離情報Ｌ１、Ｌ２およびＬ４を用いて、領域Ｒ１の中心位置、つまり、注目画素Ｐ５の左上隅に相当する距離情報Ｌ１ｄを、（数式８）により求める。
同様に、注目画素Ｐ５の右上隅の距離情報Ｌ３ｄ、左下隅の距離情報Ｌ７ｄおよび右下隅の距離情報Ｌ９ｄを、（数式８）を用いて求める。
【００７０】
【数８】
【００７１】
周囲距離情報検出部７３により、求められた注目画素Ｐ５の４隅に相当する距離情報Ｌ１ｄ、Ｌ３ｄ、Ｌ７ｄおよびＬ９ｄ（これを、「補間値算出用周囲距離情報」という。）は、距離情報補間値算出部７４に出力される。
距離情報補間値算出部７４では、補間値算出用周囲距離情報Ｌ１ｄ、Ｌ３ｄ、Ｌ７ｄおよびＬ９ｄと、輪郭情報の画素位置Ｐｅｄｇ（ｓ，ｔ）と、を用いて、注目画素Ｐ５の補間距離情報Ｌ’を求める。
図３Ａに示すように、注目画素端Ｐｏｓ（Ｌ１ｄ）とＰｏｓ（Ｌ７ｄ）を結ぶ垂線から補間位置（輪郭情報の画素位置）Ｐｅｄｇ（ｓ，ｔ）までの水平方向距離をｂとし、Ｐｏｓ（Ｌ１ｄ）とＰｏｓ（Ｌ３ｄ）を結ぶ水平線からＰｅｄｇ（ｓ，ｔ）までの垂直方向距離をａとした場合、Ｐｅｄｇ（ｓ，ｔ）における補間値Ｌ’は、（数式９）のように求めることができる。なお、ａ，ｂともに距離受光用素子画素間を「１」に正規化した場合の値となる。したがって、０≦ａ≦１、０≦ｂ≦１である。また、Ｐｏｓ（Ｌ１ｄ）、Ｐｏｓ（Ｌ３ｄ）、Ｐｏｓ（Ｌ７ｄ）およびＰｏｓ（Ｌ９ｄ）は、注目画素Ｐ５の４隅の画像上の位置を表すものとする。
【００７２】
【数９】
【００７３】
このようにして求めた補間距離情報Ｌ’は、補間値算出用周囲距離情報（注目画素Ｐ５の４隅の距離情報に相当。）を２次元で線形補間した値に相当する。
距離情報補間値算出部７４により求められた補間距離情報Ｌ’は、切換器７５に出力される。
そして、注目画素が図３ＡのＰ５である場合は、注目画素Ｐ５内に輪郭情報があり、輪郭判定部７１から出力される輪郭判定結果が「１」であるので、切換器７５からは、距離情報補間値算出部７４により求められた補間距離情報Ｌ’が、最適距離情報Ｌｂｅｓｔとして出力される。
（１．２．２：距離画像の注目画素内に輪郭情報がない場合の処理）
次に、距離画像の注目画素内に輪郭情報がない場合の処理について説明する。
【００７４】
以下、注目画素をＰ１０として、図２および図３Ｂを用いて、説明する。図３Ｂにおいて、図３Ａと同様の部分については、同様の表記を行い、説明を省略する。
注目画素がＰ１０である場合、輪郭判定部７１は、注目画素Ｐ１０の画素位置情報と、注目画素Ｐ１０に相当するカラー画像の画像領域内の輪郭情報Ｅ（ｉ，ｊ）と、に基づいて、注目画素Ｐ１０内に輪郭情報があるか否か（すなわち、輪郭があるか否か）を判断する。この場合、注目画素Ｐ１０内には、輪郭情報がないので、輪郭判定部７１は、輪郭判定結果を「０」にして出力する。
図２に示すように、輪郭判定結果が「０」である場合、最適距離情報取得部７の切換器７５の出力からは、注目画素Ｐｉの距離情報Ｌｉがそのまま出力される。つまり、この場合、注目画素がＰ１０であるので、最適距離情報取得部７の切換器７５の出力からは、注目画素Ｐ１０の距離情報Ｌ１０がそのまま出力される。すなわち、この場合、最適距離情報取得部７から出力される最適距離情報Ｌｂｅｓｔ＝Ｌ１０（＝Ｌｉ）となる。
【００７５】
なお、上記の場合、注目画素Ｐ１０に対応するカラー画像の画像領域は、平坦であるので、距離画像の画素Ｐ１０の距離情報Ｌ１０は、精度の良いものであると考えられるので、上記のような処理により、最適距離情報Ｌｂｅｓｔを出力することで、距離推定装置１００において、距離推定精度を維持することができる。
以上のように、最適距離情報取得部７により求めた最適距離情報Ｌｂｅｓｔは、最適距離画像生成部１５に出力される。
最適距離画像生成部１５では、最適距離情報Ｌｂｅｓｔに基づいて、最適距離画像が生成され、出力される。
このように、距離推定装置１００では、距離画像の注目画素内（距離画像の注目画素に対応するカラー画像内の画像領域）に輪郭（カラー画像から検出される輪郭）があるか否かを判定し、輪郭画像がある場合、当該距離画像の注目画素の距離情報を、その注目画素の周囲の距離情報を用いた補間値にすげ替えることで、部分的に距離画像の解像度向上を実現することができる。つまり、距離画像の解像度が低いことにより、中間の距離情報を表現することができないという欠点を、距離推定装置１００では、上記の処理を行うことによって補うことができる。特に、距離画像の注目画素内に輪郭（エッジ）が存在する部分では、当該注目画素の距離情報の精度が悪くなっている可能性が高く、距離推定装置１００では、上記の処理により、このような場合であっても一定の距離推定精度を維持することができる。
【００７６】
なお、上記では、注目画素の画素位置情報は、画像生成部６から出力される場合について説明したが、注目画素の画素位置情報を、距離画像保持メモリ部８から出力するようにしてもよい。
なお、図３Ａでは、２次元線形補間により、距離情報補間値算出部７４で補間距離情報Ｌ’を算出したが、以下のようにして、補間距離情報Ｌ’を算出するようにしてもよい。
距離情報補間値算出部７４において、
ＰｅｄｇとＰ（Ｌ１ｄ）との距離： ｌｅｎ１＝ｓｑｒｔ（ａ＾２＋ｂ＾２）
ＰｅｄｇとＰ（Ｌ３ｄ）との距離： ｌｅｎ２＝ｓｑｒｔ（ａ＾２＋（１−ｂ）＾２）
ＰｅｄｇとＰ（Ｌ７ｄ）との距離： ｌｅｎ３＝ｓｑｒｔ（（１−ａ）＾２＋ｂ＾２）
ＰｅｄｇとＰ（Ｌ９ｄ）との距離： ｌｅｎ４＝ｓｑｒｔ（（１−ａ）＾２＋（１−ｂ）＾２）
（「ｓｑｒｔ（ｘ）」は、ｘの平方根を表す。「ｘ＾ｙ」は、ｘのｙ乗を表す。）
を、（数式１０）に示すような所定の非線形重み関数ｗｅｉｇｈｔ（ｌｅｎ）に、代入して得られる、重み係数ｗ１，ｗ２，ｗ３，ｗ４を求める。そして、求めた重み係数ｗ１，ｗ２，ｗ３，ｗ４を、それぞれ、Ｌ１ｄ，Ｌ２ｄ，Ｌ３ｄ，Ｌ４ｄの重み付けとして、重付平均値を求め、求めた重付平均値を補間距離情報Ｌ’として用いてもよい。
【００７７】
【数１０】
【００７８】
なお、（数式１０）で、ｋｅｉｓｕは所定の正定数を表す。
また、最適距離情報取得部７において、ｌｅｎ１，ｌｅｎ２，ｌｅｎ３，ｌｅｎ４，Ｌ１〜Ｌ９を変数にもつテーブル（例えば、ＬＵＴ（ルック・アップ・テーブル））を用意しておき、そのテーブルを参照することによって、補間距離情報Ｌ’を求めるようにしてもよい。
さらに、上記説明では、距離推定装置１００において、周囲画素として、注目画素に隣接する８画素を設定し、補間距離情報Ｌ’を求めるようにしたが、これに限定されることはない。例えば、距離画像の注目画素（対象距離画素）の上下左右の４画素を周囲画素に設定し、当該４画素による補間処理により、補間距離情報Ｌ’を求めるようにしてもよい。この場合、補間処理において、距離画像の注目画素（図３Ａの領域Ｒ１を処理対象とする場合、注目画素Ｐ５の距離情報Ｌ５）を用いてもよい。
【００７９】
また、距離推定装置１００において、距離画像の注目画素の周囲画素を選択的に用いる補間処理により補間距離情報Ｌ’を求めるようにしてもよい。例えば、図３ＡのＰ５を注目画素とし、図３Ａのａが「０．５」より小さく、ｂが「０．５」より小さい場合、つまり、輪郭情報の画素位置Ｐｅｄｇ（ｓ，ｔ）が、注目画素Ｐ５内において、左上の領域に存在する場合、輪郭情報の画素位置Ｐｅｄｇ（ｓ，ｔ）と相関性が高い周囲画素であるＰ２とＰ４を用いて補間処理を行う。
具体的には、周囲画素Ｐ２の距離情報Ｌ２と注目画素Ｐ５の距離情報Ｌ５の垂直方向での１次元補間値ＶＬ１ｄを求める。この際、周囲画素の距離情報Ｌ２と注目画素の距離情報Ｌ５は、それぞれ、画素Ｐ２とＰ５の画素中心にあるものとして、補間処理（距離情報の補間値の算出処理）を行う。
【００８０】
さらに、周囲画素Ｐ４と注目画素Ｐ５において、水平方向での１次元補間値ＨＤ１ｄを求める。この場合も、周囲画素Ｐ４の距離情報Ｌ４と注目画素Ｐ５の距離情報Ｌ５は、それぞれ、画素Ｐ４とＰ５の画素中心にあるものとして、補間処理（距離情報の補間値の算出処理）を行う。
そして、求めた垂直方向での１次元補間値ＶＬ１ｄおよび水平方向での1次元補間値ＨＤ１ｄの２つの値の平均値を補間距離情報Ｌ’とする。
距離推定装置１００において、上記のように、注目画素内での輪郭情報の画素位置Ｐｅｄｇ（ｓ，ｔ）が存在する位置に基づき、相関性の高い隣接画素を選択的に用いて、補間距離情報Ｌ’を求めるようにしてもよい。
なお、上記では、輪郭情報の画素位置Ｐｅｄｇ（ｓ，ｔ）を１点として、補間処理を行う場合について説明したが、これに限定されることはない。例えば、距離画像の注目画素内において、複数の輪郭情報の画素位置Ｐｅｄｇ（ｓ，ｔ）が存在する場合、距離推定装置１００では、複数の輪郭情報の画素位置Ｐｅｄｇ（ｓ，ｔ）から所定の点を抽出し（例えば、複数の輪郭情報の画素位置Ｐｅｄｇ（ｓ，ｔ）の中心点等）、その所定の点に基づいて、上記と同様の処理を行うようにしてもよい。
【００８１】
また、図４に示した処理フローチャートにおいて、ステップＦ１およびＦ２は、ステップＦ１５までに実行されれば、いずれのタイミングで実行されるものであってもよい。
以上のように、距離推定装置１００では、距離画像の注目画素内にカラー画像から抽出した輪郭情報がない場合、当該注目画素の距離情報は、精度の高いものであると推測されるので、最適距離情報Ｌｂｅｓｔとして、当該注目画素の距離情報を採用する。一方で、距離画像の注目画素内にカラー画像から抽出した輪郭情報がある場合、当該注目画素の距離情報は、精度が低い可能性があるので、注目画素の周囲の画素の距離情報に基づいて補間した距離情報（補間距離情報）を求め、最適距離情報Ｌｂｅｓｔとして、当該補間距離情報を採用する。
したがって、距離推定装置１００では、受光素子部２の撮像素子（距離推定用の撮像素子）の画素数を増やすことなく、高精度の距離画像（距離情報）を取得することができる。これにより、距離推定装置１００では、受光素子部２の撮像素子（距離推定用の撮像素子）の画素数を単純に増やした場合に、電荷信号のＳ／Ｎ比低下し、その結果、取得される距離画像において距離分解能が低下することを効果的に抑えることができる。
【００８２】
≪第１変形例≫
また、距離推定装置１００の距離情報補間処理において、図３Ａおよび図３Ｂを用いて説明した上記方法の代わりに、次の方法を用いることも可能である。これについて、図５Ａを用いて説明する。なお、図５Ａにおいて、図３Ａおよび図３Ｂと同様の部分について、同様の表記を行い、説明を省略する。
距離推定装置１００において、図５Ａに示すように、まず、距離画像の注目画素（対象距離受光素子画素）に相当するカラー画像内のブロック（画像領域）内に輪郭情報があるか否かを判定する。
そして、（Ｂ）距離画像の注目画素内に輪郭情報がないと判定された場合、当該注目画素の部分は平坦領域に属するものとして、距離画像の注目画素の距離情報を、そのまま出力する処理を行う。つまり、最適距離情報Ｌｂｅｓｔとして、注目画素の距離情報Ｌｉを採用する。
【００８３】
一方、（Ａ）距離画像の注目画素内に輪郭情報があると判定された場合、距離画像の注目画素の輪郭部（エッジ部）で２分割する処理を実施する。
図５Ａ（ｃ）に、その２分割処理の一例を示す。なお、注目画素をＰ５として説明する。
注目画素（対象距離画素）Ｐ５で、輪郭（図５Ａ（ｃ）における家の屋根の部分（エッジ））より左上側では、注目画素Ｐ５の周囲画素Ｐ２およびＰ４の距離情報であるＬ２およびＬ４を使って、（数式１１）を用いて、距離情報の補間値Ｌ２ｄが生成される。そして、距離推定装置１００では、注目画素を２分割して得られた左上部分の分割画素の距離情報を補間値Ｌ２ｄとする。
一方、注目画素Ｐ５の輪郭（図５Ａ（ｃ）における家の屋根の部分（エッジ））より右下側では、注目画素Ｐ５の周囲画素Ｐ６およびＰ８の値であるＬ６とＬ８を使って、（数式１１）を用いて、距離情報の補間値Ｌ６ｄが生成される。そして、距離推定装置１００では、注目画素を２分割して得られた右下部分の分割画素の距離情報を補間値Ｌ６ｄとする。
【００８４】
【数１１】
【００８５】
以上のように、距離推定装置１００において、輪郭情報がある注目画素では、輪郭情報に基づいて、画素分割を行い、分割した画素の距離情報を、それぞれ、隣接画素の距離情報に基づいて補間した値とすることによって、距離推定装置１００において取得される距離画像の精度を向上させることができる。
上記では、距離推定装置１００において、カラー画像における輪郭部（図５Ａでは、家の屋根の部分（エッジ））を２分割する場合の処理について説明したが、これに限定されることはない。例えば、輪郭部で最も大きい（最も急な）輪郭部分（すなわち、エッジ量が最も高い輪郭部分）を中心に、当該輪郭部が含まれている距離画像の注目画素を４分割もしくはそれ以上に分割して、上記同様の処理を行い、距離画像を取得するようにしてもよい。
【００８６】
≪第２変形例≫
また、距離推定装置１００の距離情報補間処理において、図３Ａおよび図３Ｂを用いて説明した上記方法の代わりに、次の方法を用いることも可能である。これについて、図５Ｂを用いて説明する。なお、図５Ｂにおいて、図３Ａおよび図３Ｂと同様の部分について、同様の表記を行い、説明を省略する。
距離推定装置１００において、図５Ｂに示すように、まず、距離画像の注目画素（対象距離受光素子画素）に相当するカラー画像内のブロック（画像領域）内に輪郭情報があるか否かを判定する。
そして、（Ｂ）距離画像の注目画素内に輪郭情報がないと判定された場合、当該注目画素の部分は平坦領域に属するものとして、距離画像の注目画素の距離情報を、そのまま出力する処理を行う。つまり、最適距離情報Ｌｂｅｓｔとして、注目画素の距離情報Ｌｉを採用する。
【００８７】
一方、（Ａ）距離画像の注目画素内に輪郭情報があると判定された場合、距離画像の注目画素の輪郭部（エッジ部）を抽出し、微分量による補間を行い、距離情報を取得する。
図５Ｂ（ｃ）に、微分量による補間処理の一例を示す。なお、以下では、微分量による補間処理の一例について、注目画素をＰ５として、（ステップ１）および（ステップ２）に分けて、説明する。
（ステップ１）：
まず、注目画素（対象距離画素）Ｐ５内において、微分量が最大となる点を抽出する。具体的には、注目画素（対象距離画素）Ｐ５に対応するカラー画像内において、微分量が最大となる点を抽出する。なお、この処理は、輪郭情報抽出部１４により実行するようにすればよい。
【００８８】
また、微分量の算出は、例えば、以下のように行えばよい。
微分量をｄｉｆｆ（ｉ，ｊ）とすると、カラー画像上の座標位置（ｉ，ｊ）におけるＸ軸方向の差分値をｆｘとし、座標位置（ｉ，ｊ）におけるＹ軸方向の差分値をｆｙとしたとき、
ｄｉｆｆ（ｉ，ｊ）＝ｓｑｒｔ（ｆｘ＾２＋ｆｙ＾２）
（ｓｑｒｔ（ｘ）は、ｘの平方根を表す。）
また、簡易的に、Ｘ軸方向のみ差分値の絶対値を微分量ｄｉｆｆ（ｉ，ｊ）としてもよいし（すなわち、ｄｉｆｆ（ｉ，ｊ）＝ａｂｓ（ｆｘ）（ａｂｓ（ｘ）は、ｘの絶対値を表す。））、あるいは、Ｙ軸方向のみ差分値の絶対値を微分量ｄｉｆｆ（ｉ，ｊ）としてもよいし（すなわち、ｄｉｆｆ（ｉ，ｊ）＝ａｂｓ（ｆｙ））としてもよく、また、カラー画像上の斜め方向の差分値の絶対値を微分量ｄｉｆｆ（ｉ，ｊ）として用いるようにしてもよい。
【００８９】
なお、微分量の算出方法は、上記に限定されることはなく、他の方法であってもよい。例えば、Ｒｏｂｅｒｔのエッジ検出オペレータ、Ｐｒｅｗｉｔｔのエッジ検出オペレータ、Ｓｏｂｅｌのエッジ検出オペレータ等により微分量ｄｉｆｆ（ｉ，ｊ）を算出するようにしてもよい。
以下では、図５Ｂのケース（Ａ−１）および（Ａ−２）について、説明する。なお、図５Ｂに示すＣ点が、微分量が最大となる点であるものとし、C点より左上方向に存在するＫ点の距離情報Ｌｋを補間処理により求める場合（ケース（Ａ−１））およびC点より右下方向に存在するＭ点の距離情報Ｌｍを補間処理により求める場合（ケース（Ａ−２））ついて、説明する。
（ステップ２）：
ケース（Ａ−１）の場合、Ｋ点の微分量をＥｋとすると、本変形例に係る距離測定装置では、Ｎ点（注目画素Ｐ５の左上隅の点）の距離情報Ｌ２ｄおよびC点の距離情報Lcを、
Ｌ２ｄ＝（Ｌ２＋Ｌ４）／２
Lc＝（L２＋L4＋L６＋L8）／４
とし、Ｋ点の距離情報Ｌｋを、
Ｌｋ＝Ｌ２ｄ＋（Ｌｃ−Ｌ２ｄ）×（Ｅｋ／Ｅｃ）
として算出する。なお、微分量Ｅｃは、注目画素Ｐ５に相当するカラー画像上の画像領域における最大の微分量であるため、０≦（Ｅｋ／Ｅｃ）≦１である。したがって、上式により、微分量を用いた補間を行うことができる。なお、上式において、Lc＝L５としてもよい。
【００９０】
ケース（Ａ−２）の場合、M点の微分量をＥｍとすると、本変形例に係る距離測定装置では、O点（注目画素Ｐ５の右下隅の点）の距離情報Ｌ６ｄおよびC点の距離情報Lcを、
Ｌ６ｄ＝（Ｌ６＋Ｌ８）／２
Lc＝（L２＋L4＋L６＋L8）／４
とし、M点の距離情報Ｌｍを、
Ｌｍ＝Ｌ６ｄ＋（Ｌｃ−Ｌ６ｄ）×（Ｅｍ／Ｅｃ）
として算出する。なお、微分量Ｅｃは、注目画素Ｐ５に相当するカラー画像上の画像領域における最大の微分量であるため、０≦（Ｅｍ／Ｅｃ）≦１である。したがって、上式により、微分量を用いた補間を行うことができる。なお、上式において、Lc＝L５としてもよい。
【００９１】
なお、上記処理（ステップ２の処理）は、輪郭情報抽出部１４により上記各微分量を算出し、輪郭情報抽出部１４算出された微分量を用いて、最適距離情報取得部が実行するようにすればよい。
以上により、本変形例の距離測定装置によれば、注目画素において、エッジがある部分において、さらに高精細な距離画像を、微分量を用いた補間処理により求めることができる。
［第２実施形態］
図６から図１０を用いて、本発明の第２実施形態として、現フレームに対して１フレーム前の距離画像と、現フレームカラー画像および現フレームに対して1フレーム前のカラー画像に基づいて求めた動きベクトルに基づいて、現フレームの距離画像を補正する距離推定装置および方法について説明する。
【００９２】
図６は、本発明の第２実施形態に係る距離推定装置２００の概略構成図である。図８は、本発明の第２実施形態に係る距離推定装置２００および距離推定方法における距離画像補正処理の概要を模式的に示した図である。また、図９は、本発明の第２実施形態に係る距離推定方法の処理フローチャートを示す図である。図１０は、動きベクトル検出処理におけるブロックマッチング方法を説明するための模式図である。なお、第１実施形態と同様な構成要素については、同じ符号を付し、詳細な説明を省略する。また、第１実施形態と同様の部分については、説明を省略する。
図６〜図９に従い、本発明の第２実施形態である距離推定方法および装置について説明する。
＜２．１：距離推定装置の構成＞
本実施形態に係る距離推定装置２００は、図６に示すように、第１実施形態に係る距離推定装置１００において、最適距離情報取得部７および最適距離画像生成部１５を、距離画像補正部２３に置換し、輪郭情報抽出部１４を削除し、さらに、カラー画像保持メモリ部２１および動きベクトル検出部２２を追加した構成となっている。
【００９３】
それ以外については、距離推定装置２００は、距離推定装置１００と同様である。
カラー画像保持メモリ部２１は、カラー画像生成部１３により生成された画像（カラー画像）をフレーム単位に記憶保持する。そして、カラー画像保持メモリ部２１は、動きベクトル検出部２２からの要求に従い、フレーム単位でカラー画像を出力する。
動きベクトル検出部２２は、図７に示すように、輪郭情報抽出部１４Ａおよび１４Ｂと、動きベクトル算出部２２１と、を有する。
輪郭情報抽出部１４Ａおよび１４Ｂは、第１実施形態の輪郭情報抽出部１４と同様のものである。
輪郭情報抽出部１４Ａは、カラー画像生成部１３から出力される現時刻ｔのフレーム画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ）を入力とし、入力された現フレーム画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ）から輪郭情報を抽出する。そして、輪郭情報抽出部１４Ａは、抽出した輪郭情報を動きベクトル算出部に出力する。
【００９４】
輪郭情報抽出部１４Ｂは、カラー画像保持メモリ部２１から読み出した現フレーム時刻ｔより１フレーム前の時刻であるフレーム時刻（ｔ−１）のフレーム画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ−１）を入力とし、入力された現フレームの１フレーム前のフレーム画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ−１）から輪郭情報を抽出する。そして、輪郭情報抽出部１４Ｂは、抽出した輪郭情報を動きベクトル算出部に出力する。
なお、説明便宜のため、以下では、現フレーム画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ）および現フレームから1フレーム前のフレーム画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ−１）を用いて処理する場合に限定して説明する。
動きベクトル検出部２２は、輪郭情報抽出部１４Ａおよび１４Ｂから出力される現フレーム画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ）の輪郭情報および現フレームから１フレーム前の画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ−１）の輪郭情報を入力とし、入力された２つのフレーム画像の輪郭情報に基づいて動きベクトルを算出する。そして、動きベクトル検出部２２は、算出した動きベクトルを距離画像補正部２３に出力する。
【００９５】
距離画像補正部２３は、動きベクトル検出部２２から出力される動きベクトルと、画像生成部６から出力される現フレーム時刻ｔの距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ）と、距離画像保持メモリ部８から出力される現フレーム時刻ｔから１フレーム前の距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ−１）と、を入力とする。距離画像補正部２３は、動きベクトルに基づいて、距離画像の画素の値（距離情報）を補正し、最適距離画像を取得する。
＜２．２：距離推定装置の動作＞
以上のように構成された距離推定装置２００の動作について、以下説明する。なお、第１実施形態と同様の部分については、説明を省略する。
カラー画像生成部１３では、現フレーム時刻ｔにおけるカラー画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ）＝（Ｃ１（ｉ，ｊ，ｔ），Ｃ２（ｉ，ｊ，ｔ），Ｃ３（ｉ，ｊ，ｔ））が生成され、生成されたカラー画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ）が動きベクトル検出部２２に出力される。ここで、（ｉ，ｊ）は、カラー画像における画素位置を示し、Ｃ１（ｉ，ｊ，ｔ）は、フレーム時刻ｔでのカラー画像上の画素位置（ｉ，ｊ）における色情報成分Ｃ１を表すものとする。カラー画像の画素（ｉ，ｊ）における色情報成分は、通常３成分で表現されることが多い。例えば、ＲＧＢ色空間におけるレッドＲ、グリーンＧ、ブルーＢを表す信号成分あるいは、ＹＣＣ色空間における輝度成分Ｙ，色差成分ＣｂおよびＣｒが、これに相当する。
【００９６】
また、カラー画像保持メモリ部２１内に保持されている現フレーム時刻より１フレーム前の時刻（ｔ−１）のカラー画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ−１）＝（Ｃ１（ｉ，ｊ，ｔ−１），Ｃ２（ｉ，ｊ，ｔ−１），Ｃ３（ｉ，ｊ，ｔ−１））が動きベクトル検出部２２に出力される。
動きベクトル検出部２２では、現フレーム画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ−１）および１フレーム前の画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ−１）の比較により、動きベクトルを検出する。
動きベクトル検出部２２で実行される動きベクトル検出方法としては多くの手法があるが、ここでは、映像符号化処理で用いられるブロックマッチング方式を用いた処理について説明する。
【００９７】
ブロックマッチング方式を用いた動きベクトル検出処理では、例えば、カラー画像を８画素×８画素のブロック領域（画像領域）に分割し、ブロック領域の相関演算により２つのフレーム間の動きベクトル検出を行う。
まず、輪郭情報抽出部１４Ａおよび１４Ｂで、第１実施形態の場合と同様にして、輪郭抽出が行われる。輪郭情報抽出部１４Ａおよび１４Ｂにより抽出された輪郭情報を、８画素×８画素単位の画像ブロックに分割し、分割した画像ブロックに対して、ブロックマッチング処理を行う。
ブロックマッチング処理では、現フレームから１フレーム時刻前のカラー画像内の輪郭情報Ｅ（ｉ，ｊ，ｔ−１）が「１」の画素Ｐ（ｉ，ｊ，ｔ−１）に対して、（数式１２）による評価値ｅｓｔ（ｘ，ｙ）を求める。そして、評価値ｅｓｔ（ｘ，ｙ）が最小値となる（ｘ，ｙ）を求め、その（ｘ，ｙ）を画素Ｐ（ｉ，ｊ，ｔ−１）にベクトル加算した点（画素）Ｑ（ｉ＋ｘ，ｊ＋ｙ，ｔ）を、１フレーム前の画素Ｐ（ｉ，ｊ，ｔ−１）に対応する現フレームの画素点として検出する。
【００９８】
その結果、画素Ｐにおける動きベクトルｖ（ｉ，ｊ）は、
ｖ（ｉ，ｊ）＝（ｖｘ，ｖｙ）＝（ｘ，ｙ）
（ｖｘおよびｖｙは、動きベクトルのｘ成分およびｙ成分を表す。）
として求めることができる。
【００９９】
【数１２】
【０１００】
ここで、Ｎはブロックサイズを表す。また、以上の処理概要を、図１０に模式的に示す。なお、図１０では、画素点Ｐ、画素点Ｑともに、画像ブロックの左上に設定した場合について図示しているが、画素点ＰおよびＱを、画像ブロックの中心におくことも可能である。
以上のようにして、動きベクトル検出部２２で求めた動きベクトルは、距離画像補正部２３に出力される。
距離画像補正部２３では、動きベクトル検出部２２により検出された動きベクトルを受けて、図８に示すように、補正処理が実施される。
図８（ａ）は、１フレーム前のカラー画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ−１）の模式図であり、図８（ｂ）は、現フレームのカラー画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ）の模式図である。そして、図８（ｃ）は、１フレーム前の距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ−１）の模式図であり、図８（ｄ）は、現フレームのカラー画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ）の模式図である。また、距離画像の注目画素（処理対象画素）を、図８の画素ＰＰとして、以下説明する。
【０１０１】
距離画像の注目画素ＰＰに対応するカラー画像内のブロックにおいて、図８（ｂ）において矢印のような動きベクトルｖ（ＰＰ）（ｖ（ＰＰ）は、距離画像の画素ＰＰに相当するカラー画像の画像ブロックから検出された動きベクトルを表すものとする）が、動きベクトル検出部２２により検出されたとする。この場合、距離画像補正部２３は、この動きベクトルｖ（ＰＰ）をもとに、距離画像の距離情報（距離画像の画素値）を補正する。
図８（ｂ）に示すように、動きベクトルｖ（ＰＰ）は、左下方向のベクトルとなっているので、１フレーム前のカラー画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ−１）の画素ＰＰに対応する画像ブロックに存在していた車のボディー部分が、現フレームのカラー画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ）の画素ＰＰに対応する画像ブロックでは、当該画像ブロックの下の部分に存在すると推定される。また、図８（ｂ）から分かるように、当該画像ブロックの上部分は、車の背景となっている。このため、現フレームの距離画像の画素ＰＰから取得される距離情報は、精度が悪い可能性がある。つまり、車のボディー部分（距離の近い部分）と背景（距離の遠い部分）が、画素ＰＰに混在しているので、画素ＰＰの距離情報は、その両者の中間の値となっている可能性が高い。
【０１０２】
したがって、距離画像補正部２３では、動きベクトルｖ（ＰＰ）から、画素ＰＰの下部分の距離情報は、１フレーム前の距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ−１）の画素ＰＰの距離情報と相関が高いと判断できる。これにより、距離画像補正部２３では、現フレームの距離画像の画素ＰＰの下部分の距離情報を、１フレーム前の距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ−１）の画素ＰＰの距離情報に基づき補間する（あるいは、１フレーム前の距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ−１）の画素ＰＰの距離情報に置き換える）。
一方、画素ＰＰの上部分の距離情報は、動きベクトルｖ（ＰＰ）から、１フレーム前の距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ−１）の画素ＰＰの上の画素の距離情報と相関が高いと判断できる。これにより、距離画像補正部２３では、現フレームの距離画像の画素ＰＰの上部分の距離情報を、１フレーム前の距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ−１）の画素ＰＰの上の画素の距離情報に基づき補間する（あるいは、１フレーム前の距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ−１）の画素ＰＰの上の画素の距離情報に置き換える）。
【０１０３】
以上により、距離画像補正部２３では、動きベクトルに基づいて、距離画像の精度を向上させるように補間処理を行うことによって、最適距離画像を取得する。
なお、上記では、動きベクトルが検出された場合（動きベクトルの大きさ（スカラー値）が「０」でない場合）、距離画像の注目画素を２分割して（図８の注目画素ＰＰの場合、上下２分割）、距離画像の注目画素を、１フレーム前の画素を用いて、補間（あるいは置換）する処理について説明したが、これに限定されることはない。動きベクトルの状況に応じて、さらに多分割して、距離画像の所定の画素の距離情報の精度を向上させるようにしてもよい。
また、図８では、動きベクトルｖ（ＰＰ）で得られた１フレーム前の距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ−１）内での対応部分の距離情報（距離画像の輝度に相当。）で置き換える処理を行っているが、これ以外にも、動きベクトルｖ（ＰＰ）で得られた１フレーム前の距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ−１）内での対応部分の距離情報（輝度値）と現フレームでの該当部分の距離情報（輝度値）との平均値を用いて、現フレームの距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ）の注目画素の距離情報を置き換えるようにしてもよい。
【０１０４】
このように距離推定装置２００では、距離推定用の受光素子部２の撮像素子の画素数が少ないことによって、距離情報の精度が低くなってしまった部分を、さらに細分化し、さらに動きベクトルを用いて距離精度を改善することが可能となる。
このように本実施形態の距離推定装置２００では、受光素子部２の撮像素子（距離推定用の撮像素子）の画素数を増やすことなく、１フレーム前の距離画像と、カラー画像から求めた動きベクトルとに基づいて、現フレーム時刻の距離画像を補正することによって、距離画像の高精度化を実現することができる。これにより、距離推定装置２００では、受光素子部２の撮像素子（距離推定用の撮像素子）の画素数を単純に増やした場合に、電荷信号のＳ／Ｎ比低下し、その結果、取得される距離画像において距離分解能が低下することを効果的に抑えることができる。
【０１０５】
なお、上記において、動きベクトル検出部２２では、ブロックマッチング処理による動きベクトルを検出する場合について説明したが、これに限定されることはない。例えば、勾配に注目した方法を用いて動きベクトルを検出することも可能である。
また、距離推定装置２００において、距離画像の画素の細分化をして距離情報（距離値）を補正する場合、動きベクトルの大きさに基づき得られる値を用いて、距離画像の画素の分割数あるいは分割領域の決定方法等を制御することも可能である。
また、図９に示した処理フローチャートにおいて、ステップＦ１３およびＦ１４は、ステップＦ２１までに実行されれば、いずれのタイミングにおいて実行されるものであってもよい。
［第３実施形態］
図１１から図１７を用いて、本発明の第３実施形態として、距離画像データの値（距離画像の距離情報）あるいは対象物からの反射光の強度に応じて、距離画像データの値（距離情報）の確からしさを表す信頼度を算出し、前記信頼度をもとに距離画像データ（距離情報）を補正することによって、距離推定処理を行う距離推定装置および方法について説明する。
【０１０６】
図１１は、本発明の第３実施形態に係る距離推定装置３００の概略構成図である。
図１２は、距離推定装置３００内の距離信頼度算出部３１の概略構成図である。図１３は、第３実施形態に係る距離推定装置および方法における距離信頼度による補正の方法を模式的に示した図である。
また、図１５、図１６は、第３実施形態に係る距離推定装置３００および距離推定方法において用いられる距離信頼度を決定する関数例を示す図である。
図１７は、第３実施形態に係る距離推定方法の処理フローチャートを示す図である。
なお、前述の実施形態と同様な構成要素については、同じ番号を付し、詳細な説明を省略する。また、前述の実施形態と同様の部分については、説明を省略する。
図１１から図１７に従い、本発明の第３実施形態である距離推定方法および装置について説明する。
【０１０７】
＜３．１：距離推定装置の構成＞
図１１に示すように、本実施形態の距離推定装置３００は、前述の実施形態に係る距離推定装置において、画像生成部６以降の信号処理を行う機能部が異なる点に特徴がある。つまり、距離推定装置３００では、前述の実施形態に係る距離推定装置において、画像生成部６以降の信号処理を行う機能部として、距離信頼度算出部３１および距離画像補正部３２を追加した構成となっている。また、距離推定装置３００は、前述の実施形態に係る距離推定装置において、色分解プリズム１１、撮像素子部１２以降の可視光成分の光に対する信号処理を行う機能部が省略されている。
それ以外については、前述の実施形態に係る距離推定装置と同様である。
距離信頼度算出部３１は、画像生成部６により生成された距離画像の画素ＰＰ（ｉ，ｊ）に相当する距離情報Ｌ（ｉ，ｊ）と、電荷集積部３から出力される画素ＰＰ（ｉ，ｊ）に相当する電荷信号Ｄ（ｉ，ｊ）と、を入力とし、距離情報Ｌ（ｉ，ｊ）および電荷信号Ｄ（ｉ，ｊ）に基づいて、画素ＰＰ（ｉ，ｊ）における距離信頼度Ｒ（ｉ，ｊ）を求める。そして、距離信頼度算出部３１は、求めた距離信頼度Ｒ（ｉ，ｊ）を距離画像補正部３２に出力する。
【０１０８】
距離画像補正部３２は、距離信頼度算出部３１から出力される距離信頼度Ｒ（ｉ，ｊ）と、画像生成部６から出力される距離画像と、を入力とし、距離信頼度Ｒ（ｉ，ｊ）に基づいて距離画像に対して補正処理を行い、最適距離画像を取得する。
なお、距離推定装置３００において、発光源１０として、赤外光を発光する光源を用いる場合、受光素子部２の撮像素子として、赤外光用ＣＣＤを用いることが好ましい。また、この場合、受光光学系１において、例えば、赤外光用の光学フィルタを設け、受光素子部２に、赤外領域以外の光が入射されないようにすることが好ましい。
＜３．２：距離推定装置の動作＞
以上のように構成された距離推定装置３００の動作について説明する。なお、前述の実施形態と同様の部分については、説明を省略する。
【０１０９】
距離信頼度算出部３１では、画像生成部６で得られた距離画像の各画素ＰＰ（ｉ，ｊ）での距離値Ｌ（ｉ，ｊ）の信頼度を検出する処理を行う。
距離推定装置３００では、次のことを考慮して、信頼度Ｒ（ｉ，ｊ）を決定する。
（Ｓ１）対象物からの反射波（反射光）の振幅があまり大きくない（環境光等のノイズと比較して小さい）ため、距離推定装置３００と対象物との距離が大きい（つまり、遠い）ほど、距離推定装置３００で取得される距離情報の精度が低い（環境光等のノイズの影響を受けやすい）。
（Ｓ２）対象物からの反射波（反射光）の振幅があまり大きくない（環境光等のノイズと比較して小さい）ので、受光素子部２の撮像素子（例えば、赤外光用ＣＣＤ撮像素子）で受光された反射波（反射光）の振幅が小さいほど、距離推定装置３００で取得される距離情報の精度が低い（環境光等のノイズの影響を受けやすい）。
【０１１０】
以上に基づいて、距離信頼度算出部３１での信頼度Ｒ（ｉ，ｊ）の算出処理について、以下、具体的に説明する。
図１５Ａは、（Ｓ１）に基づいて、設定した推定距離Ｌ（ｉ，ｊ）−信頼度Ｒ（ｉ，ｊ）特性（関数により当該特性を実現。）の一例を示すグラフである。この場合、信頼度Ｒ（ｉ，ｊ）は、推定距離Ｌ（ｉ，ｊ）のみをパラメータとして、１次元で制御されることになる。
図１５Ｂは、（Ｓ２）に基づいて、設定した反射波振幅Ｄ（ｉ，ｊ）−信頼度Ｒ（ｉ，ｊ）特性（関数により当該特性を実現。）の一例を示すグラフである。この場合、信頼度Ｒ（ｉ，ｊ）は、反射波振幅Ｄ（ｉ，ｊ）のみをパラメータとして、１次元で制御されることになる。なお、下記（数式１４）のＲ２（Ｌ）は、図１５Ａの特性を実現する関数例を示している。
【０１１１】
また、図１６Ａおよび図１６Ｂは、（Ｓ１）および（Ｓ２）に基づいて、信頼度Ｒ（ｉ，ｊ）を、２つのパラメータである反射波振幅Ｄ（ｉ，ｊ）および推定距離（距離情報）Ｌ（ｉ，ｊ）に基づき決定する場合の特性を、グラフを用いて示した図である。なお、反射波振幅Ｄ（ｉ，ｊ）−信頼度Ｒ１（ｉ，ｊ）特性および推定距離（距離情報）Ｌ（ｉ，ｊ）−信頼度Ｒ２（ｉ，ｊ）特性は、関数により実現してもよい。つまり、この場合、信頼度Ｒ（ｉ，ｊ）は、２つのパラメータである反射波振幅Ｄ（ｉ，ｊ）と推定距離Ｌ（ｉ，ｊ）に基づき、２次元で制御される。
（数式１３）に、図１５Ｂの特性を実現する関数例を示す。また、（数式１４）に、図１６Ａの特性を実現する関数例を示す。また、（数式１５）に図１６Ｂの特性を実現する関数例を示す。なお、以下の数式において、便宜上、画素の画像上の位置情報（位置座標）を示す（ｉ，ｊ）は省略している。上記では、注目画素Ｐ（ｉ，ｊ）の信頼度をＲ（ｉ，ｊ）と表記したが、例えば、下記（数式１３）では、信頼度が変数ｄの関数であることを明示するために、単に、Ｒ（ｄ）と表記している。なお、他の関数についても同様に（ｉ，ｊ）を省略している部分がある。
【０１１２】
【数１３】
【０１１３】
なお、（数式１３）において、ｄは、反射波振幅（図１６ＡのＤ（ｉ，ｊ）に相当。）である。
【０１１４】
【数１４】
【０１１５】
【数１５】
【０１１６】
なお、（数式１４）において、ｄは反射波振幅（図１６ＡのＤ（ｉ，ｊ）に相当。）であり、Ｌは距離情報（推定距離）（図１６ＡのＬ（ｉ，ｊ）に相当。）である。
また、（数式１３）、（数式１４）において、ｋｅｉｓｕＮ、ｋｅｉｓｕ１，ｋｅｉｓｕ２，ｏｆｆｓｅｔ１，ｏｆｆｓｅｔ２は所定の正定数を表す。
また、（数１５）において、ｄｅｌｔａは所定の正定数を表す。
図１５Ｂおよび図１６Ａは、ｏｆｆｓｅｔ１として最大推定距離ＭａｘＬを代入し、ｏｆｆｓｅｔ２として最大反射振幅ＭａｘＤを代入するとともに、傾きｋｅｉｓｕ１とｋｅｉｓｕ２に、ｋｅｉｓｕＮ＝ｋｅｉｓｕ１＝３．０、ｋｅｉｓｕ２=４．５の値を代入した場合を示している。
なお、傾きｋｅｉｓｕ１の値とｋｅｉｓｕ２の値としては、どちらも正定数であれば問題ないが、通常は１．０≦ｋｅｉｓｕ１≦１０．０、１．０≦ｋｅｉｓｕ２≦１０．０の値を使うことが好ましい。ｋｅｉｓｕ１、ｋｅｉｓｕ２ともに「１」より小さい値が採用された場合、変化は線形的になる。一方、ｋｅｉｓｕ１、ｋｅｉｓｕ２ともに大きくなるにつれて非線形性が増すようになる。
また、（数１５）において、ｄｅｌｔａは、図１６Ｂの信頼度関数における「１．０」の領域を制御する値である。この値が小さいほど、信頼度Ｒ（ｉ、ｊ）は、「１．０」になる領域が小さくなり、この値が大きいほど、Ｒ（ｉ、ｊ）は、「１．０」になる領域が大きくなる。通常は、１．０≦ｄｅｌｔａ≦Ｄｅｌｍａｘ、（ＤｅｌｍａｘはＭａｘＬ、ＭａｘＤ最小値）の値を使うことが好ましい。
【０１１７】
以上のようにして、距離信頼度算出部３１で求められた信頼度Ｒ（ｉ，ｊ）は、距離画像補正部３２に出力される。
次に、距離画像補正部３２における補正処理の一例を、図１４を用いて説明する。
図１４は、距離画像の注目画素Ｐ（ｉ，ｊ）を中心として、距離画像から所定サイズの画素領域（複数の距離画像の画素からなる領域）を抽出して、模式的に示した図である。また、図１３に、距離画像補正部３２における補正処理の処理概要を周辺の機能部とともに、模式的に示す。
距離画像補正部３２では、距離画像の補正として、例えば、図１４に示すように、距離画像の注目画素（対象距離画素）Ｐ（ｉ，ｊ）を中心に、所定のサイズの画素領域ＡＲＥＡ１（図１４では、５画素×５画素の画素領域）を設定し、距離画像の画素領域ＡＲＥＡ１内の各画素の距離情報（距離データ）に対して、各画素の信頼度を重み係数としたフィルタ処理を行った値ｄＬ（ｉ，ｊ）を求める。そして、その求めた値（フィルタ処理結果）ｄＬ（ｉ，ｊ）を改めて、距離画像の注目画素Ｐ（ｉ，ｊ）の距離情報（推定距離）とする（つまり、ｄＬ（ｉ，ｊ）を注目画素Ｐ（ｉ，ｊ）の距離情報とする）ことによって、距離情報（距離データ）の補正処理を実施する。
【０１１８】
距離画像補正部３２により、以上の処理を距離画像の全画素に対して実行することで、補正後の距離画像、すなわち、最適距離画像が取得される。なお、図１４では、距離画像の所定サイズの画素領域を、５画素×５画素として説明したが、これに限定されることはなく、他のサイズの画素領域を設定し、各画素の信頼度を用いたフィルタ処理を行ってもよいことは言うまでもない。
なお、距離画像補正部３２での距離補正方法として、以下の方法を用いて補正処理を行ってもよい。
距離画像補正部３２において、距離画像の注目画素（対象距離画素）Ｐ（ｉ，ｊ）を中心にもつ所定サイズの画素領域（距離画像上の画素領域）内の画素の距離情報（距離データ）に対して、最大の信頼度をもつ画素の距離情報（距離データ）を改めて注目画素Ｐ（ｉ，ｊ）の距離情報として採用することで補正処理を実行する。
【０１１９】
また、距離画像補正部３２において、距離画像の注目画素（処理対象距離画素）Ｐ（ｉ，ｊ）を中心にもつ所定サイズの画素領域（距離画像上の画素領域）内の画素の距離情報（距離データ）の信頼度を重みとした平均値（重付平均値）ＡｖｅＬ（ｉ，ｊ）と、注目画素の距離情報Ｌ（ｉ，ｊ）とを２変数にもつ所定の非線形関数を用いて求めた値を、改めて注目画素の距離情報として採用することによって補正処理を実行するようにしてもよい。
以上のように、距離推定装置３００では、距離画像の各画素の距離情報あるいは反射光の強度に応じて、距離画像の当該画素における距離情報（距離画像データの値）の確からしさを表す信頼度を算出し、算出した信頼度をもとに距離画像データを補正することによって、最適距離画像を取得することができる。したがって、距離推定装置３００では、受光素子部３の撮像素子の画素で取得された反射光のレベル（反射波の振幅）が小さい場合であっても、その受光素子部３の撮像素子の画素に相当する距離画像の画素において、距離情報を信頼度に基づいて補正することができるので、距離画像における距離推定精度の低下を効果的に抑制することができる。
【０１２０】
以上により、距離推定装置３００では、精度の高い距離画像を取得することができる。
［他の実施形態］
上記実施形態を任意に組み合わせて本発明を実施してもよい。
例えば、（１）空間方向での補正処理（空間方向での相関性を利用した補正処理）を実現する上記第１実施形態の距離推定装置と、（２）時間方向での補正処理（時間方向での相関性を利用した補正処理（動きベクトルを用いた補正処理））を実現する上記第２実施形態の距離推定装置と、（３）さらに、信頼度を用いた処理を行う上記第３実施形態の距離推定装置を組み合わせることによって、本発明を実施してもよい。
このように上記第１〜第３実施形態の機能を組み合わせた距離推定装置では、距離分解能精度の低い画素（距離画像の画素）を信頼度に基づき自動判別して、時間・空間方向での補正処理（フィルタ処理等）を行うことによって、注目画素（対象画素）の周辺画素の距離情報を用いて、注目画素の距離情報を補正することができる。これにより、距離分解能精度の低い画素（距離画像画素）の距離精度（距離推定精度）を向上させることができる。
【０１２１】
また、上記実施形態では、受光素子部および撮像素子部の撮像素子として、ＣＣＤを用いる場合を想定しているが、これに限定されることはなく、例えば、ＣＭＯＳ型イメージセンサ等を用いてもよい。
また、本願発明により取得された距離画像に基づいて、左目用視差画像（ステレオ画像の左目用視差画像）および右目用視差画像（ステレオ画像の右目用視差画像）を生成し、生成した左目用視差画像および右目用視差画像により３次元表示装置等において、３次元画像（映像）表示を行うようにしてもよい。また、本願発明の距離測定装置と、３次元表示装置と、を備える３次元表示システムにおいて、本願発明の距離測定装置により取得した距離画像に基づいて、左目用視差画像（ステレオ画像の左目用視差画像）および右目用視差画像（ステレオ画像の右目用視差画像）を生成し、生成した左目用視差画像および右目用視差画像により３次元表示装置において、画像（映像）を３次元表示するようにしてもよい。
【０１２２】
また、本願発明の距離測定装置に、３次元画像生成部を追加し、３次元画像生成部において、本願発明の距離測定装置により取得した距離画像に基づいて、左目用視差画像（ステレオ画像の左目用視差画像）および右目用視差画像（ステレオ画像の右目用視差画像）を生成し、生成した左目用視差画像および右目用視差画像を出力するようにしてもよい。これにより、３次元画像生成部を追加した距離測定装置から出力される左目用視差画像および右目用視差画像を用いて、例えば、３次元表示装置により、３次元画像（映像）表示を行うことができる。
ここで、左目用視差画像（ステレオ画像の左目用視差画像）および右目用視差画像（ステレオ画像の右目用視差画像）は、距離情報が判明している場合、参照とする画像内の画素位置（ｘ，ｙ）における画素ｐ（ｘ，ｙ）の距離情報ｚ（ｘ，ｙ）に応じて、画素ｐを左右にずらすことにより生成することが可能である。なお、距離情報ｚ（ｘ，ｙ）は所定の基準からの相対距離（奥行き値）でもよい。また、所定の基準点と各画像内の画素の距離情報との関係をもとに、三角測量等の幾何学的手法で対応する画素の視差量を求めることもできる。
【０１２３】
また、上記実施形態において説明した本発明の距離推定方法および距離推定装置は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、ＰＤＡ、カーＴＶなど、画像を取り扱う機器に内臓、あるいは接続して用いられる装置であり、ＬＳＩなどの集積回路として実現される。
より詳しくは、上記各実施形態の距離推定装置は、個別に１チップ化させてもよいし、一部または全てを含むように１チップ化されてもよい。なお、ここでは、ＬＳＩとしたが、集積度の違いに基づき、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路の手法にはＬＳＩに限るものではなく、専用回路または汎用プロセッサを用いて実現することも可能である。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）あるいは、ＬＳＩ内部の回路セルの接続あるいは設定を再構成可能なリコンフィギュラブル・プロセッサを利用することも可能である。
【０１２４】
さらに、半導体技術の進歩または派生する別技術を用いてＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
また、上記各実施形態の各機能ブロックの処理は、プログラムを用いて実現されるものであってもよい。上記実施形態の各機能ブロックの処理は、例えば、コンピュータにおいて、中央演算装置（ＣＰＵ）を用いて行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現してもよい。なお、上記実施形態に係る距離推定装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
【０１２５】
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【産業上の利用可能性】
【０１２６】
本発明の距離推定装置、距離推定方法、プログラム、集積回路およびカメラは、画素数の少ない撮像素子（ＣＣＤ等）により取得した距離情報に基づいて、撮像素子（ＣＣＤ等）の画素間での距離情報を補間・推定することで、ＴＯＦ方式による距離画像の高解像度化（高精度化）を実現することができる。そして、得られた距離情報は、ムービーあるいはＤＳＣ等で撮影された画像表示のより自然な立体感表示目的に有効である。したがって、本発明は、映像関連分野において有用であり、当該分野において実施することができる。
【符号の説明】
【０１２７】
１００、２００、３００ 距離推定装置
１０ 発光源
９ 発光源制御部
１ 受光光学系
１１ 色分解プリズム
２ 受光素子部
３ 電荷集積部
４ 制御部
５ 信号演算部
６画像生成部
７ 最適距離情報取得部
８ 距離画像保持メモリ部
１２ 撮像素子部
１３ カラー画像生成部
１４ 輪郭抽出部
１５ 最適距離画像生成部
２１ カラー画像保持メモリ部
２２ 動きベクトル検出部
２３ 距離画像補正部
３１ 距離信頼度算出部
３２ 距離画像補正部
【特許請求の範囲】
【請求項１】
光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定装置であって、
光強度変調可能な光を照射する光源と、
前記光源を制御する発光源制御部と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系で受光した光を、周波数により、第１光成分の光と、第２光成分の光とに分離する色分解部と、
前記色分解部により分離された第２光成分の光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
前記電荷信号に基づいて、距離情報を算出する信号演算部と、
前記距離情報に基づいて、第１の画素数を持つ距離画像を生成する距離画像生成部と、
前記色分解部により分離された前記第２光成分の光を画像生成用電荷信号に変換する撮像素子部と、
前記撮像素子部により変換された前記画像生成用電荷信号に基づいて前記第１の画素数より多い画素数の高解像度画像を生成する高解像度画像生成部と、
前記高解像度画像生成部により生成された前記高解像度画像から輪郭情報を抽出する輪郭情報抽出部と、
前記距離画像の注目画素の距離情報を、前記距離画像において前記注目画素の周辺に存在する画素である周辺画素および前記輪郭情報抽出部により抽出された前記輪郭情報に基づいて、補正する距離画像補正部と、
を備える距離推定装置。
【請求項２】
前記距離画像補正部は、
前記距離画像の前記注目画素に相当する前記高解像度画像の画像領域内に輪郭情報がある場合、前記距離画像中の前記輪郭情報がある位置情報Ｐｏｓ（ｘ，ｙ）を特定し、前記位置情報Ｐｏｓ（ｘ，ｙ）と前記周辺画素との位置関係に基づき前記周辺画素の距離情報に重み付けを行い、さらに、重み付けをした前記周辺画素の距離情報を用いて、前記位置情報Ｐｏｓ（ｘ，ｙ）の距離情報を算出し、算出した前記位置情報Ｐｏｓ（ｘ，ｙ）の距離情報を、前記注目画素の距離情報に置換することで、前記距離画像の注目画素の距離情報を補正する、
請求項１に記載の距離推定装置。
【請求項３】
前記距離画像補正部は、
前記距離画像の前記注目画素に相当する前記高解像度画像の画像領域内に輪郭情報がある場合、前記距離画像中の前記輪郭情報に基づいて、前記注目画素を分割し、分割した画素に対して、それぞれ、距離画像上の位置が近い前記注目画素の周辺画素の距離情報を用いて、前記注目画素を分割した画素の距離情報を算出することで、前記距離画像の注目画素の距離情報を補正する、
請求項１に記載の距離推定装置。
【請求項４】
光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定装置であって、
光強度変調可能な光を照射する光源と、
前記光源を制御する発光源制御部と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系で受光した光を、周波数に基づき、第１光成分の光と、第２光成分の光とに分離する色分解部と、
前記色分解部により分離された第２光成分の光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
前記電荷信号に基づいて、距離情報を算出する信号演算部と、
前記距離情報に基づいて、第１の画素数を持つ距離画像を生成する距離画像生成部と、
前記距離画像を記憶する距離画像記憶部と、
前記色分解部により分離された前記第２光成分の光を画像生成用電荷信号に変換する撮像素子部と、
前記撮像素子部により変換された前記画像生成用電荷信号に基づいて前記第１の画素数より多い画素数の高解像度画像を生成する高解像度画像生成部と、
前記高解像度画像を記憶する高解像度画像記憶部と、
前記高解像度画像生成部により、所定の単位時刻ｔに取得された前記高解像度画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ）と、前記高解像度画像記憶部に記憶されている前記所定の単位時刻ｔより前の時刻（ｔ−α）に取得された前記高解像度画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ−α）と、を比較することにより動きベクトルを検出する動きベクトル検出部と、
前記距離画像生成部により、所定の単位時刻ｔに取得された前記距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ）と、前記距離画像記憶部に記憶されている前記所定の単位時刻ｔより前の時刻（ｔ−α）に取得された前記距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ−α）と、前記動きベクトル検出部により検出された前記動きベクトルに基づいて、前記距離画像の注目画素の距離情報を補正する距離画像補正部と、
を備える距離推定装置。
【請求項５】
光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定装置であって、
光強度変調可能な光を照射する光源と、
前記光源を制御する発光源制御部と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系により受光した光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
前記電荷信号に基づいて、距離情報を算出する信号演算部と、
前記距離情報に基づいて、距離画像を生成する距離画像生成部と、
少なくとも前記距離情報および前記電荷信号のいずれか一方に基づいて、前記距離画像の各画素の信頼度を算出する距離信頼度算出部と、
前記距離信頼度算出部により算出された前記信頼度に基づいて、前記距離画像の各画素の前記距離情報を補正する距離画像補正部と、
を備える距離推定装置。
【請求項６】
前記信頼度算出部は、
前記距離画像の注目画素の距離情報が大きい値であるほど、前記信頼度の値が小さくなるように、前記信頼度を算出する、
請求項５に記載の距離推定装置。
【請求項７】
前記信頼度算出部は、
前記距離画像の注目画素に対応する前記電荷信号の振幅値が小さいほど、前記信頼度の値が小さくなるように、前記信頼度を算出する、
請求項５または６に記載の距離推定装置。
【請求項８】
光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定方法であり、
光強度変調可能な光を照射する光源と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系で受光した光を、周波数に基づき、第１光成分の光と、第２光成分の光とに分離する色分解部と、
前記色分解部により分離された第２光成分の光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
前記色分解部により分離された前記第２光成分の光を画像生成用電荷信号に変換する撮像素子部と、
を備える、距離推定装置に用いられる距離推定方法であって、
前記光源を制御する発光源制御ステップと、
前記電荷信号に基づいて、距離情報を算出する信号演算ステップと、
前記距離情報に基づいて、第１の画素数を持つ距離画像を生成する距離画像生成ステップと、
前記撮像素子部により変換された前記画像生成用電荷信号に基づいて前記第１の画素数より多い画素数の高解像度画像を生成する高解像度画像生成ステップと、
前記高解像度生成ステップにより生成された前記高解像度画像から輪郭情報を抽出する輪郭情報抽出ステップと、
前記距離画像の注目画素の距離情報を、前記距離画像において前記注目画素の周辺に存在する画素である周辺画素および前記輪郭情報抽出ステップにより抽出された前記輪郭情報に基づいて、補正する距離画像補正ステップと、
を備える距離推定方法。
【請求項９】
光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定方法であり、
光強度変調可能な光を照射する光源と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系で受光した光を、周波数に基づき、第１光成分の光と、第２光成分の光とに分離する色分解部と、
前記色分解部により分離された第２光成分の光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
前記色分解部により分離された前記第２光成分の光を画像生成用電荷信号に変換する撮像素子部と、
を備える距離推定装置に用いられる距離推定方法であって、
前記光源を制御する発光源制御ステップと、
前記電荷信号に基づいて、距離情報を算出する信号演算ステップと、
前記距離情報に基づいて、第１の画素数を持つ距離画像を生成する距離画像生成ステップと、
前記距離画像を記憶する距離画像記憶ステップと、
前記撮像素子部により変換された前記画像生成用電荷信号に基づいて前記第１の画素数より多い画素数の高解像度画像を生成する高解像度画像生成ステップと、
前記高解像度画像を記憶する高解像度画像記憶ステップと、
前記高解像度画像生成ステップにより、所定の単位時刻ｔに取得された前記高解像度画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ）と、前記高解像度画像記憶ステップで記憶された前記所定の単位時刻ｔより前の時刻（ｔ−α）に取得された前記高解像度画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ−α）と、を比較することにより動きベクトルを検出する動きベクトル検出ステップと、
前記距離画像生成ステップにより、所定の単位時刻ｔに取得された前記距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ）と、前記距離画像記憶ステップで記憶された前記所定の単位時刻ｔより前の時刻（ｔ−α）に取得された前記距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ−α）と、前記動きベクトル検出ステップにより検出された前記動きベクトルに基づいて、前記距離画像の注目画素の距離情報を補正する距離画像補正ステップと、
を備える距離推定方法。
【請求項１０】
光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定方法であり、
光強度変調可能な光を照射する光源と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系により受光した光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
を備える距離推定装置に用いられる距離推定方法であって、
前記光源を制御する発光源制御ステップと、
前記電荷信号に基づいて、距離情報を算出する信号演算ステップと、
前記距離情報に基づいて、距離画像を生成する距離画像生成ステップと、
少なくとも前記距離情報および前記電荷信号のいずれか一方に基づいて、前記距離画像の各画素の信頼度を算出する距離信頼度算出ステップと、
前記距離信頼度算出ステップにより算出された前記信頼度に基づいて、前記前記距離画像の各画素の前記距離情報を補正する距離画像補正ステップと、
を備える距離推定方法。
【請求項１１】
光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定処理用プログラムであり、
光強度変調可能な光を照射する光源と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系で受光した光を、周波数に基づき、第１光成分の光と、第２光成分の光とに分離する色分解部と、
前記色分解部により分離された第２光成分の光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
前記色分解部により分離された前記第２光成分の光を画像生成用電荷信号に変換する撮像素子部と、
を備える、距離推定装置に用いられる距離推定方法を、コンピュータに実行させるプログラムであって、
前記光源を制御する発光源制御ステップと、
前記電荷信号に基づいて、距離情報を算出する信号演算ステップと、
前記距離情報に基づいて、第１の画素数を持つ距離画像を生成する距離画像生成ステップと、
前記撮像素子部により変換された前記画像生成用電荷信号に基づいて前記第１の画素数より多い画素数の高解像度画像を生成する高解像度画像生成ステップと、
前記高解像度生成ステップにより生成された前記高解像度画像から輪郭情報を抽出する輪郭情報抽出ステップと、
前記距離画像の注目画素の距離情報を、前記距離画像において前記注目画素の周辺に存在する画素である周辺画素および前記輪郭情報抽出ステップにより抽出された前記輪郭情報に基づいて、補正する距離画像補正ステップと、
を備える距離推定方法を、コンピュータに実行させるプログラム。
【請求項１２】
光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定処理用プログラムであり、
光強度変調可能な光を照射する光源と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系で受光した光を、周波数に基づき、第１光成分の光と、第２光成分の光とに分離する色分解部と、
前記色分解部により分離された第２光成分の光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
前記色分解部により分離された前記第２光成分の光を画像生成用電荷信号に変換する撮像素子部と、
を備える距離推定装置に用いられる距離推定方法を、コンピュータに実行させるプログラムであって、
前記光源を制御する発光源制御ステップと、
前記電荷信号に基づいて、距離情報を算出する信号演算ステップと、
前記距離情報に基づいて、第１の画素数を持つ距離画像を生成する距離画像生成ステップと、
前記距離画像を記憶する距離画像記憶ステップと、
前記撮像素子部により変換された前記画像生成用電荷信号に基づいて前記第１の画素数より多い画素数の高解像度画像を生成する高解像度画像生成ステップと、
前記高解像度画像を記憶する高解像度画像記憶ステップと、
前記高解像度画像生成ステップにより、所定の単位時刻ｔに取得された前記高解像度画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ）と、前記高解像度画像記憶ステップで記憶された前記所定の単位時刻ｔより前の時刻（ｔ−α）に取得された前記高解像度画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ−α）と、を比較することにより動きベクトルを検出する動きベクトル検出ステップと、
前記距離画像生成ステップにより、所定の単位時刻ｔに取得された前記距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ）と、前記距離画像記憶ステップで記憶された前記所定の単位時刻ｔより前の時刻（ｔ−α）に取得された前記距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ−α）と、前記動きベクトル検出ステップにより検出された前記動きベクトルに基づいて、前記距離画像の注目画素の距離情報を補正する距離画像補正ステップと、
を備える距離推定方法を、コンピュータに実行させるプログラム。
【請求項１３】
光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定処理用プログラムであり、
光強度変調可能な光を照射する光源と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系により受光した光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
を備える距離推定装置に用いられる距離推定方法を、コンピュータに実行させるプログラムであって、
前記光源を制御する発光源制御ステップと、
前記電荷信号に基づいて、距離情報を算出する信号演算ステップと、
前記距離情報に基づいて、距離画像を生成する距離画像生成ステップと、
少なくとも前記距離情報および前記電荷信号のいずれか一方に基づいて、前記距離画像の各画素の信頼度を算出する距離信頼度算出ステップと、
前記距離信頼度算出ステップにより算出された前記信頼度に基づいて、前記前記距離画像の各画素の前記距離情報を補正する距離画像補正ステップと、
を備える距離推定方法を、コンピュータに実行させるプログラム。
【請求項１４】
光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定装置に用いられる集積回路であり、
光強度変調可能な光を照射する光源と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系で受光した光を、周波数に基づき、第１光成分の光と、第２光成分の光とに分離する色分解部と、
前記色分解部により分離された第２光成分の光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
前記色分解部により分離された前記第２光成分の光を画像生成用電荷信号に変換する撮像素子部と、
を備える距離推定装置に用いられる集積回路であって、
前記光源を制御する発光源制御部と、
前記電荷信号に基づいて、距離情報を算出する信号演算部と、
前記距離情報に基づいて、第１の画素数を持つ距離画像を生成する距離画像生成部と、
前記撮像素子部により変換された前記画像生成用電荷信号に基づいて前記第１の画素数より多い画素数の高解像度画像を生成する高解像度画像生成部と、
前記高解像度生成部により生成された前記高解像度画像から輪郭情報を抽出する輪郭情報抽出部と、
前記距離画像の注目画素の距離情報を、前記距離画像において前記注目画素の周辺に存在する画素である周辺画素および前記輪郭情報抽出部により抽出された前記輪郭情報に基づいて、補正する距離画像補正部と、
を備える集積回路。
【請求項１５】
光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定装置に用いられる集積回路であり、
光強度変調可能な光を照射する光源と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系で受光した光を、周波数に基づき、第１光成分の光と、第２光成分の光とに分離する色分解部と、
前記色分解部により分離された第２光成分の光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
前記色分解部により分離された前記第２光成分の光を画像生成用電荷信号に変換する撮像素子部と、
を備える距離推定装置に用いられる集積回路であって、
前記光源を制御する発光源制御部と、
前記電荷信号に基づいて、距離情報を算出する信号演算部と、
前記距離情報に基づいて、第１の画素数を持つ距離画像を生成する距離画像生成部と、
前記距離画像を記憶する距離画像記憶部と、
前記撮像素子部により変換された前記画像生成用電荷信号に基づいて前記第１の画素数より多い画素数の高解像度画像を生成する高解像度画像生成部と、
前記高解像度画像を記憶する高解像度画像記憶部と、
前記高解像度画像生成部により、所定の単位時刻ｔに取得された前記高解像度画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ）と、前記高解像度画像記憶部に記憶されている前記所定の単位時刻ｔより前の時刻（ｔ−α）に取得された前記高解像度画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ−α）と、を比較することにより動きベクトルを検出する動きベクトル検出部と、
前記距離画像生成部により、所定の単位時刻ｔに取得された前記距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ）と、前記距離画像記憶部に記憶されている前記所定の単位時刻ｔより前の時刻（ｔ−α）に取得された前記距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ−α）と、前記動きベクトル検出部により検出された前記動きベクトルに基づいて、前記距離画像の注目画素の距離情報を補正する距離画像補正部と、
を備える集積回路。
【請求項１６】
光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定装置に用いられる集積回路であり、
光強度変調可能な光を照射する光源と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系により受光した光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
を備える距離推定装置に用いられる集積回路であって、
前記光源を制御する発光源制御部と、
前記電荷信号に基づいて、距離情報を算出する信号演算部と、
前記距離情報に基づいて、距離画像を生成する距離画像生成部と、
少なくとも前記距離情報および前記電荷信号にいずれか一方に基づいて、前記距離画像の各画素の信頼度を算出する距離信頼度算出部と、
前記距離信頼度算出部により算出された前記信頼度に基づいて、前記前記距離画像の各画素の前記距離情報を補正する距離画像補正部と、
を備える集積回路。
【請求項１７】
請求項１から７のいずれかに記載の距離推定装置を含む、
カメラ。
【請求項１】
光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定装置であって、
光強度変調可能な光を照射する光源と、
前記光源を制御する発光源制御部と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系で受光した光を、周波数により、第１光成分の光と、第２光成分の光とに分離する色分解部と、
前記色分解部により分離された第２光成分の光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
前記電荷信号に基づいて、距離情報を算出する信号演算部と、
前記距離情報に基づいて、第１の画素数を持つ距離画像を生成する距離画像生成部と、
前記色分解部により分離された前記第２光成分の光を画像生成用電荷信号に変換する撮像素子部と、
前記撮像素子部により変換された前記画像生成用電荷信号に基づいて前記第１の画素数より多い画素数の高解像度画像を生成する高解像度画像生成部と、
前記高解像度画像生成部により生成された前記高解像度画像から輪郭情報を抽出する輪郭情報抽出部と、
前記距離画像の注目画素の距離情報を、前記距離画像において前記注目画素の周辺に存在する画素である周辺画素および前記輪郭情報抽出部により抽出された前記輪郭情報に基づいて、補正する距離画像補正部と、
を備える距離推定装置。
【請求項２】
前記距離画像補正部は、
前記距離画像の前記注目画素に相当する前記高解像度画像の画像領域内に輪郭情報がある場合、前記距離画像中の前記輪郭情報がある位置情報Ｐｏｓ（ｘ，ｙ）を特定し、前記位置情報Ｐｏｓ（ｘ，ｙ）と前記周辺画素との位置関係に基づき前記周辺画素の距離情報に重み付けを行い、さらに、重み付けをした前記周辺画素の距離情報を用いて、前記位置情報Ｐｏｓ（ｘ，ｙ）の距離情報を算出し、算出した前記位置情報Ｐｏｓ（ｘ，ｙ）の距離情報を、前記注目画素の距離情報に置換することで、前記距離画像の注目画素の距離情報を補正する、
請求項１に記載の距離推定装置。
【請求項３】
前記距離画像補正部は、
前記距離画像の前記注目画素に相当する前記高解像度画像の画像領域内に輪郭情報がある場合、前記距離画像中の前記輪郭情報に基づいて、前記注目画素を分割し、分割した画素に対して、それぞれ、距離画像上の位置が近い前記注目画素の周辺画素の距離情報を用いて、前記注目画素を分割した画素の距離情報を算出することで、前記距離画像の注目画素の距離情報を補正する、
請求項１に記載の距離推定装置。
【請求項４】
光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定装置であって、
光強度変調可能な光を照射する光源と、
前記光源を制御する発光源制御部と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系で受光した光を、周波数に基づき、第１光成分の光と、第２光成分の光とに分離する色分解部と、
前記色分解部により分離された第２光成分の光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
前記電荷信号に基づいて、距離情報を算出する信号演算部と、
前記距離情報に基づいて、第１の画素数を持つ距離画像を生成する距離画像生成部と、
前記距離画像を記憶する距離画像記憶部と、
前記色分解部により分離された前記第２光成分の光を画像生成用電荷信号に変換する撮像素子部と、
前記撮像素子部により変換された前記画像生成用電荷信号に基づいて前記第１の画素数より多い画素数の高解像度画像を生成する高解像度画像生成部と、
前記高解像度画像を記憶する高解像度画像記憶部と、
前記高解像度画像生成部により、所定の単位時刻ｔに取得された前記高解像度画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ）と、前記高解像度画像記憶部に記憶されている前記所定の単位時刻ｔより前の時刻（ｔ−α）に取得された前記高解像度画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ−α）と、を比較することにより動きベクトルを検出する動きベクトル検出部と、
前記距離画像生成部により、所定の単位時刻ｔに取得された前記距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ）と、前記距離画像記憶部に記憶されている前記所定の単位時刻ｔより前の時刻（ｔ−α）に取得された前記距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ−α）と、前記動きベクトル検出部により検出された前記動きベクトルに基づいて、前記距離画像の注目画素の距離情報を補正する距離画像補正部と、
を備える距離推定装置。
【請求項５】
光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定装置であって、
光強度変調可能な光を照射する光源と、
前記光源を制御する発光源制御部と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系により受光した光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
前記電荷信号に基づいて、距離情報を算出する信号演算部と、
前記距離情報に基づいて、距離画像を生成する距離画像生成部と、
少なくとも前記距離情報および前記電荷信号のいずれか一方に基づいて、前記距離画像の各画素の信頼度を算出する距離信頼度算出部と、
前記距離信頼度算出部により算出された前記信頼度に基づいて、前記距離画像の各画素の前記距離情報を補正する距離画像補正部と、
を備える距離推定装置。
【請求項６】
前記信頼度算出部は、
前記距離画像の注目画素の距離情報が大きい値であるほど、前記信頼度の値が小さくなるように、前記信頼度を算出する、
請求項５に記載の距離推定装置。
【請求項７】
前記信頼度算出部は、
前記距離画像の注目画素に対応する前記電荷信号の振幅値が小さいほど、前記信頼度の値が小さくなるように、前記信頼度を算出する、
請求項５または６に記載の距離推定装置。
【請求項８】
光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定方法であり、
光強度変調可能な光を照射する光源と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系で受光した光を、周波数に基づき、第１光成分の光と、第２光成分の光とに分離する色分解部と、
前記色分解部により分離された第２光成分の光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
前記色分解部により分離された前記第２光成分の光を画像生成用電荷信号に変換する撮像素子部と、
を備える、距離推定装置に用いられる距離推定方法であって、
前記光源を制御する発光源制御ステップと、
前記電荷信号に基づいて、距離情報を算出する信号演算ステップと、
前記距離情報に基づいて、第１の画素数を持つ距離画像を生成する距離画像生成ステップと、
前記撮像素子部により変換された前記画像生成用電荷信号に基づいて前記第１の画素数より多い画素数の高解像度画像を生成する高解像度画像生成ステップと、
前記高解像度生成ステップにより生成された前記高解像度画像から輪郭情報を抽出する輪郭情報抽出ステップと、
前記距離画像の注目画素の距離情報を、前記距離画像において前記注目画素の周辺に存在する画素である周辺画素および前記輪郭情報抽出ステップにより抽出された前記輪郭情報に基づいて、補正する距離画像補正ステップと、
を備える距離推定方法。
【請求項９】
光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定方法であり、
光強度変調可能な光を照射する光源と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系で受光した光を、周波数に基づき、第１光成分の光と、第２光成分の光とに分離する色分解部と、
前記色分解部により分離された第２光成分の光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
前記色分解部により分離された前記第２光成分の光を画像生成用電荷信号に変換する撮像素子部と、
を備える距離推定装置に用いられる距離推定方法であって、
前記光源を制御する発光源制御ステップと、
前記電荷信号に基づいて、距離情報を算出する信号演算ステップと、
前記距離情報に基づいて、第１の画素数を持つ距離画像を生成する距離画像生成ステップと、
前記距離画像を記憶する距離画像記憶ステップと、
前記撮像素子部により変換された前記画像生成用電荷信号に基づいて前記第１の画素数より多い画素数の高解像度画像を生成する高解像度画像生成ステップと、
前記高解像度画像を記憶する高解像度画像記憶ステップと、
前記高解像度画像生成ステップにより、所定の単位時刻ｔに取得された前記高解像度画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ）と、前記高解像度画像記憶ステップで記憶された前記所定の単位時刻ｔより前の時刻（ｔ−α）に取得された前記高解像度画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ−α）と、を比較することにより動きベクトルを検出する動きベクトル検出ステップと、
前記距離画像生成ステップにより、所定の単位時刻ｔに取得された前記距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ）と、前記距離画像記憶ステップで記憶された前記所定の単位時刻ｔより前の時刻（ｔ−α）に取得された前記距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ−α）と、前記動きベクトル検出ステップにより検出された前記動きベクトルに基づいて、前記距離画像の注目画素の距離情報を補正する距離画像補正ステップと、
を備える距離推定方法。
【請求項１０】
光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定方法であり、
光強度変調可能な光を照射する光源と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系により受光した光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
を備える距離推定装置に用いられる距離推定方法であって、
前記光源を制御する発光源制御ステップと、
前記電荷信号に基づいて、距離情報を算出する信号演算ステップと、
前記距離情報に基づいて、距離画像を生成する距離画像生成ステップと、
少なくとも前記距離情報および前記電荷信号のいずれか一方に基づいて、前記距離画像の各画素の信頼度を算出する距離信頼度算出ステップと、
前記距離信頼度算出ステップにより算出された前記信頼度に基づいて、前記前記距離画像の各画素の前記距離情報を補正する距離画像補正ステップと、
を備える距離推定方法。
【請求項１１】
光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定処理用プログラムであり、
光強度変調可能な光を照射する光源と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系で受光した光を、周波数に基づき、第１光成分の光と、第２光成分の光とに分離する色分解部と、
前記色分解部により分離された第２光成分の光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
前記色分解部により分離された前記第２光成分の光を画像生成用電荷信号に変換する撮像素子部と、
を備える、距離推定装置に用いられる距離推定方法を、コンピュータに実行させるプログラムであって、
前記光源を制御する発光源制御ステップと、
前記電荷信号に基づいて、距離情報を算出する信号演算ステップと、
前記距離情報に基づいて、第１の画素数を持つ距離画像を生成する距離画像生成ステップと、
前記撮像素子部により変換された前記画像生成用電荷信号に基づいて前記第１の画素数より多い画素数の高解像度画像を生成する高解像度画像生成ステップと、
前記高解像度生成ステップにより生成された前記高解像度画像から輪郭情報を抽出する輪郭情報抽出ステップと、
前記距離画像の注目画素の距離情報を、前記距離画像において前記注目画素の周辺に存在する画素である周辺画素および前記輪郭情報抽出ステップにより抽出された前記輪郭情報に基づいて、補正する距離画像補正ステップと、
を備える距離推定方法を、コンピュータに実行させるプログラム。
【請求項１２】
光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定処理用プログラムであり、
光強度変調可能な光を照射する光源と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系で受光した光を、周波数に基づき、第１光成分の光と、第２光成分の光とに分離する色分解部と、
前記色分解部により分離された第２光成分の光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
前記色分解部により分離された前記第２光成分の光を画像生成用電荷信号に変換する撮像素子部と、
を備える距離推定装置に用いられる距離推定方法を、コンピュータに実行させるプログラムであって、
前記光源を制御する発光源制御ステップと、
前記電荷信号に基づいて、距離情報を算出する信号演算ステップと、
前記距離情報に基づいて、第１の画素数を持つ距離画像を生成する距離画像生成ステップと、
前記距離画像を記憶する距離画像記憶ステップと、
前記撮像素子部により変換された前記画像生成用電荷信号に基づいて前記第１の画素数より多い画素数の高解像度画像を生成する高解像度画像生成ステップと、
前記高解像度画像を記憶する高解像度画像記憶ステップと、
前記高解像度画像生成ステップにより、所定の単位時刻ｔに取得された前記高解像度画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ）と、前記高解像度画像記憶ステップで記憶された前記所定の単位時刻ｔより前の時刻（ｔ−α）に取得された前記高解像度画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ−α）と、を比較することにより動きベクトルを検出する動きベクトル検出ステップと、
前記距離画像生成ステップにより、所定の単位時刻ｔに取得された前記距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ）と、前記距離画像記憶ステップで記憶された前記所定の単位時刻ｔより前の時刻（ｔ−α）に取得された前記距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ−α）と、前記動きベクトル検出ステップにより検出された前記動きベクトルに基づいて、前記距離画像の注目画素の距離情報を補正する距離画像補正ステップと、
を備える距離推定方法を、コンピュータに実行させるプログラム。
【請求項１３】
光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定処理用プログラムであり、
光強度変調可能な光を照射する光源と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系により受光した光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
を備える距離推定装置に用いられる距離推定方法を、コンピュータに実行させるプログラムであって、
前記光源を制御する発光源制御ステップと、
前記電荷信号に基づいて、距離情報を算出する信号演算ステップと、
前記距離情報に基づいて、距離画像を生成する距離画像生成ステップと、
少なくとも前記距離情報および前記電荷信号のいずれか一方に基づいて、前記距離画像の各画素の信頼度を算出する距離信頼度算出ステップと、
前記距離信頼度算出ステップにより算出された前記信頼度に基づいて、前記前記距離画像の各画素の前記距離情報を補正する距離画像補正ステップと、
を備える距離推定方法を、コンピュータに実行させるプログラム。
【請求項１４】
光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定装置に用いられる集積回路であり、
光強度変調可能な光を照射する光源と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系で受光した光を、周波数に基づき、第１光成分の光と、第２光成分の光とに分離する色分解部と、
前記色分解部により分離された第２光成分の光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
前記色分解部により分離された前記第２光成分の光を画像生成用電荷信号に変換する撮像素子部と、
を備える距離推定装置に用いられる集積回路であって、
前記光源を制御する発光源制御部と、
前記電荷信号に基づいて、距離情報を算出する信号演算部と、
前記距離情報に基づいて、第１の画素数を持つ距離画像を生成する距離画像生成部と、
前記撮像素子部により変換された前記画像生成用電荷信号に基づいて前記第１の画素数より多い画素数の高解像度画像を生成する高解像度画像生成部と、
前記高解像度生成部により生成された前記高解像度画像から輪郭情報を抽出する輪郭情報抽出部と、
前記距離画像の注目画素の距離情報を、前記距離画像において前記注目画素の周辺に存在する画素である周辺画素および前記輪郭情報抽出部により抽出された前記輪郭情報に基づいて、補正する距離画像補正部と、
を備える集積回路。
【請求項１５】
光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定装置に用いられる集積回路であり、
光強度変調可能な光を照射する光源と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系で受光した光を、周波数に基づき、第１光成分の光と、第２光成分の光とに分離する色分解部と、
前記色分解部により分離された第２光成分の光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
前記色分解部により分離された前記第２光成分の光を画像生成用電荷信号に変換する撮像素子部と、
を備える距離推定装置に用いられる集積回路であって、
前記光源を制御する発光源制御部と、
前記電荷信号に基づいて、距離情報を算出する信号演算部と、
前記距離情報に基づいて、第１の画素数を持つ距離画像を生成する距離画像生成部と、
前記距離画像を記憶する距離画像記憶部と、
前記撮像素子部により変換された前記画像生成用電荷信号に基づいて前記第１の画素数より多い画素数の高解像度画像を生成する高解像度画像生成部と、
前記高解像度画像を記憶する高解像度画像記憶部と、
前記高解像度画像生成部により、所定の単位時刻ｔに取得された前記高解像度画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ）と、前記高解像度画像記憶部に記憶されている前記所定の単位時刻ｔより前の時刻（ｔ−α）に取得された前記高解像度画像Ｉｍｇ＿ｃｏｌｏｒ（ｔ−α）と、を比較することにより動きベクトルを検出する動きベクトル検出部と、
前記距離画像生成部により、所定の単位時刻ｔに取得された前記距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ）と、前記距離画像記憶部に記憶されている前記所定の単位時刻ｔより前の時刻（ｔ−α）に取得された前記距離画像Ｉｍｇ＿ｄｉｓｔａｎｃｅ（ｔ−α）と、前記動きベクトル検出部により検出された前記動きベクトルに基づいて、前記距離画像の注目画素の距離情報を補正する距離画像補正部と、
を備える集積回路。
【請求項１６】
光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定装置に用いられる集積回路であり、
光強度変調可能な光を照射する光源と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系により受光した光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
を備える距離推定装置に用いられる集積回路であって、
前記光源を制御する発光源制御部と、
前記電荷信号に基づいて、距離情報を算出する信号演算部と、
前記距離情報に基づいて、距離画像を生成する距離画像生成部と、
少なくとも前記距離情報および前記電荷信号にいずれか一方に基づいて、前記距離画像の各画素の信頼度を算出する距離信頼度算出部と、
前記距離信頼度算出部により算出された前記信頼度に基づいて、前記前記距離画像の各画素の前記距離情報を補正する距離画像補正部と、
を備える集積回路。
【請求項１７】
請求項１から７のいずれかに記載の距離推定装置を含む、
カメラ。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５Ａ】
【図１５Ｂ】
【図１６Ａ】
【図１６Ｂ】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５Ａ】
【図１５Ｂ】
【図１６Ａ】
【図１６Ｂ】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１０−７１９７６（Ｐ２０１０−７１９７６Ａ）
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願番号】特願２００９−１６７８１０（Ｐ２００９−１６７８１０）
【出願日】平成２１年７月１６日（２００９．７．１６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願日】平成２１年７月１６日（２００９．７．１６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]