視差センサおよび視差画像の生成方法
【課題】帯状のパターン等を削除して、対象物の特徴パターンのみを得ることのできる視差センサおよび視差画像の生成方法を提供する。
【解決手段】第１画像と第２画像のそれぞれに対応するパルス信号比較回路アレイ５ａ，５ｂの出力である比較パルス信号のそれぞれの組み合わせからなる２つの比較パルス信号に対して、両者の排他論理和をとった差分パルスの全パルス長を、その全パルス長に比例する信号に変換し、この信号を相関信号として出力する相関検知回路マトリックス６を備えている視差センサにおいて、パルス信号比較回路アレイ５ａ，５ｂの出力である比較パルス信号のパルス幅が一定の長さ以下であることを検知するゼロ信号検知回路と、そのゼロ信号検知回路の出力信号に従って比較パルス信号または予め決められた信号を選択し相関検知回路に出力する選択回路とからなるゼロ相関除去信号発生回路アレイ１５ａ，１５ｂを備えた。
【解決手段】第１画像と第２画像のそれぞれに対応するパルス信号比較回路アレイ５ａ，５ｂの出力である比較パルス信号のそれぞれの組み合わせからなる２つの比較パルス信号に対して、両者の排他論理和をとった差分パルスの全パルス長を、その全パルス長に比例する信号に変換し、この信号を相関信号として出力する相関検知回路マトリックス６を備えている視差センサにおいて、パルス信号比較回路アレイ５ａ，５ｂの出力である比較パルス信号のパルス幅が一定の長さ以下であることを検知するゼロ信号検知回路と、そのゼロ信号検知回路の出力信号に従って比較パルス信号または予め決められた信号を選択し相関検知回路に出力する選択回路とからなるゼロ相関除去信号発生回路アレイ１５ａ，１５ｂを備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ画像から視差画像を生成する視差画像の生成技術に関し、特に、高速で、回路規模が小さく、かつ低消費電力で実現可能な視差画像の生成技術に関する。
【背景技術】
【０００２】
本発明は、本願発明者が先に提案し、特許出願した特許文献１に記載の発明の改良技術に関するものである。
以下に従来技術としての視差センサについて説明する。
【０００３】
ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサの普及に伴い、情報機器は画像情報を容易に取り扱えるようになった。最近では、殆どの携帯電話に小型カメラが内蔵され画像データの通信を容易にしている。また、多くの自動車にはイメージセンサが搭載され運転席からの死角をカバーして安全運転に役立つようにしている。しかしながら、従来のイメージセンサから得られるのは、あくまでも単なる２次元情報であり、距離（奥行き）情報を含んだ３次元情報は得ることができない。そこで、距離情報を得ることができる新しいイメージセンサが求められている。
【０００４】
対象物との距離の高速検知方法には、主に二種類の方法がある。一つは、指向性の高いレーザー光や電波等の電磁波を対象物にビーム照射しその反射信号の時間遅れで対象物との距離を測定するアクティブ測距方式である。もう一つは、二つのイメージセンサを用いて画像の相関を計算し、二つのセンサ間の視差を抽出することで距離を算出するパッシブ測距方式である。
【０００５】
航空機や船舶等には、アクティブ測距方式の代表例であるレーダーが備えられており、自分の周囲の対象物との距離をモニターすることができ安全な航行を可能にしている。また最近では、自動車にもミリ波レーダーが搭載され車間距離をモニターして衝突防止に役立っている。このように現在においては、高速な距離の検知にはアクティブ測距方式であるレーダーが用いられている。
【０００６】
しかしながら、アクティブ測距方式は、レーザー光や電波等の電磁波の反射信号を利用するため、検出対象物によっては、乱反射を生じて信号干渉により正確な距離の検知に支障を来したり、電磁波が吸収されて反射信号が十分得られず、対象物の検知が確実にできないおそれがあったりして問題がある。
【０００７】
これに対して、パッシブ測距方式は電磁波の照射を行わないため、アクティブ測距方式における信号干渉や反射信号が不足の問題を回避できるというメリットがある。
【０００８】
しかし、このパッシブ測距方式では、二枚の画像データの相関処理に大規模な計算量を必要とするので、従来の相関処理用ＬＳＩでは、高速移動に対応できる高速な処理が困難であったことから実用化されていないのが現状である。
【０００９】
図７は、二眼視差による距離検出の原理を説明するための図である。図７（ａ）に示すように、右眼に対応する撮像素子と左眼に対応する撮像素子を一定の距離離して設置して撮像する。ここで、左眼に対応する撮像素子で撮像される画像（以下、「左眼画像」という。）を｛ａ(L)i,j｜ｉ＝１，２，…，ｎ， ｊ＝１，２，…，ｍ｝と記す。右眼に対応する撮像素子で撮像される画像（以下、「右眼画像」という。）を｛ａ(R)i,j｜ｉ＝１，２，…，ｎ， ｊ＝１，２，…，ｍ｝と記す。
【００１０】
同じ対象物に対して、左右の撮像素子により撮像された対象物の各々の位置が、撮像素子から対象物までの距離に応じてずれることになる。従って、今、撮像された左眼画像と右眼画像の水平方向の相関のみを考える場合、すべての（ａ(L)i,k，ａ(R)j,k）の組の間で相関をとれば、もっとも大きな相関がある組により表される座標により、各々の対象物の距離が検知できる。
【００１１】
図７（ａ）において、Ａ，Ｂ，Ｃの三つの○が対象物を示している。これらの対象物を左右の撮像素子で撮像して左眼画像と右眼画像の相関マトリックスを作った場合、図７（ｂ）のようになる。図７（ｂ）では、左眼画像の画素１〜ｎの線と右眼画像の画素１〜ｎの線との交点の位置において相関機能があるとしている。図７（ａ）の対象物Ａ，Ｂ，Ｃに対して図７（ｂ）に示したＡ，Ｂ，Ｃの三つの○の位置で大きな相関が検出される。従って、相関マトリックス上で相関の大きい座標を検出し、この座標を図７（ａ）の斜交座標に座標変換すれば、対象物までの距離を検出することが可能である。なお、図７（ａ）に示した斜交座標は、左右の撮像素子の位置とそれらの相対角度によって決定することができる。従って、相関マトリックスからこの斜交座標への座標変換は、予め用意した換算表を参照することによって容易にできる。
【００１２】
図８は先に提案した特許文献１において記載された視差センサＬＳＩの構成例を示す図である。視差センサ１は、２つの撮像素子２ａ，２ｂ、シーケンサ３、２つの電圧・パルス幅変換回路アレイ４ａ，４ｂ、２つのパルス信号比較回路アレイ５ａ，５ｂ、相関検知回路マトリックス６、及びシーケンサ７を備えている。
【００１３】
左右の撮像素子２ａ，２ｂは、眼の役割を担う。以下では、便宜上、撮像素子２ａの側を左眼と呼び、撮像素子２ｂの側を右眼と呼ぶ。撮像素子２ａ，２ｂは、撮像面に入射する光を電圧信号に変換して出力する。ここでは、撮像素子２ａ，２ｂとしては、ＣＣＤ受光素子のようなイメージセンサが使用されているものとする。シーケンサ３は、撮像素子２ａ，２ｂに対してライン選択のための読出信号を出力する。
【００１４】
電圧・パルス幅変換回路アレイ４ａ，４ｂは、撮像素子２ａ，２ｂからライン並列に出力される各画素のアナログ電圧信号（以下、「画素信号」という。）を、並列的にパルス幅に変換し、パルス幅画素信号として出力する。
【００１５】
パルス信号比較回路アレイ５ａ，５ｂは、並列的に入力されるパルス幅画素信号を、隣接するもの同士で比較を行い、比較パルス信号として出力する。
【００１６】
相関検知回路マトリックス６は、左眼側のパルス信号比較回路アレイ５ａから出力される比較パルス信号と、右眼側のパルス信号比較回路アレイ５ｂから出力される比較パルス信号とについて、すべての組み合わせに対する相関演算を行い相関信号として出力する。シーケンサ７は、相関検知回路マトリックス６の相関信号の出力タイミングを制御するための出力タイミング制御信号を、相関検知回路マトリックス６に対して出力する。相関検知回路マトリックス６は、出力タイミング制御信号に従って、相関信号を順次出力する。
【００１７】
図９は図８の視差センサについてより詳細な回路構成を示した図である。図９において、図８と同様の部分には同符号が付してある。
【００１８】
撮像素子２ａ，２ｂは、垂直方向にｍ行、水平方向にｎ行の画素の行列（画素行列）を有する。撮像素子２ａ，２ｂは、シーケンサ３によって、同じ行が選択され、その行内のｎ個の画素の画素信号が電圧・パルス幅変換回路アレイ４ａ，４ｂに並列に出力される。
【００１９】
電圧・パルス幅変換回路アレイ４ａ，４ｂは、それぞれ、ｎ個の電圧・パルス幅変換回路８が並列に配列された構成を有する。各電圧・パルス幅変換回路８には、それぞれ撮像素子２ａ，２ｂから出力される画素信号が入力される。電圧・パルス幅変換回路アレイ４ａ，４ｂのすべての電圧・パルス幅変換回路８には、同期制御回路１３（図１０参照）から、共通のランプ電圧が入力される。これにより、すべての電圧・パルス幅変換回路８は、同タイミングで画素信号をパルス幅画素信号に変換することができる。
【００２０】
パルス信号比較回路アレイ５ａ，５ｂは、それぞれ、ｎ−１個のパルス信号比較回路９が並列に配列された構成を有する。各パルス信号比較回路９には、隣接する２つの電圧・パルス幅変換回路８が出力するパルス幅画素信号が入力される。各パルス信号比較回路９は、入力された２つのパルス幅画素信号を比較し、２つのパルスの＋方向の差と−方向の差を各々比較パルス信号として出力する。
【００２１】
相関検知回路マトリックス６は、（ｎ−１）×（ｎ−１）個の相関検知回路１０が、（ｎ−１）行（ｎ−１）列の菱形状に配列された構成からなる。ここでは便宜上、左眼側のパルス信号比較回路アレイ５ａから出力される比較パルス信号が入力される斜辺を左斜辺と呼び、右眼側のパルス信号比較回路アレイ５ｂから出力される比較パルス信号が入力される斜辺を右斜辺と呼ぶ。
【００２２】
左斜辺に沿って上からｉ番目に属する相関検知回路１０には、左眼側のパルス信号比較回路アレイ５ａ内のｉ番目のパルス信号比較回路９が出力する比較パルス信号が入力される。右斜辺と平行に配列する相関検知回路１０には、左眼側のパルス信号比較回路アレイ５ａ内のパルス信号比較回路９が出力する比較パルス信号が共通に入力される。
【００２３】
右斜辺に沿って上からｊ番目に属する相関検知回路１０には、右眼側のパルス信号比較回路アレイ５ｂ内のｊ番目のパルス信号比較回路９が出力する比較パルス信号が入力される。左斜辺と平行に配列する相関検知回路１０には、右眼側のパルス信号比較回路アレイ５ｂ内のパルス信号比較回路９が出力する比較パルス信号が共通に入力される。
【００２４】
すべての相関検知回路１０には、共通のバイアス電圧Ｖbとリセット信号Ｒｅｓｅｔが与えられている。
【００２５】
縦方向に配列する相関検知回路１０には、列ごとに共通の読出線が接続されている。そしてこの読出線を介して、シーケンサ７から共通の読出信号Ｒｅａｄが入力される。また、横方向に配列する相関検知回路１０には、行ごとに共通の出力線が接続されている。各相関検知回路１０は、入力される比較パルス信号のパルス幅を電流値に変換して相関信号として出力線に出力する。各出力線の終端には、カレント・ミラー回路等の電流電圧変換回路１１が接続されている。各相関検知回路１０が出力する相関信号の電流値を、電圧値に変換して外部回路に出力する。
【００２６】
シーケンサ７は、シフト・レジスタ１２により構成されている。左側のシフト・レジスタ１２に読出信号が入力されると、１クロックごとに読み出し信号は右側のシフト・レジスタ１２に移動していく。従って、左側の列に属する相関検知回路１０から順次相関信号が読み出されていく。
【００２７】
次に、図９における電圧・パルス幅変換回路８の詳細について説明する。図１０は電圧・パルス幅変換回路８の構成を表す図である。本実施例における電圧・パルス幅変換回路８は、論理閾値可変調インバータ回路（ＶＴ−ＩＮＶ）により構成されている。
【００２８】
論理閾値可変調インバータ回路（ＶＴ−ＩＮＶ）は、制御ゲートに印加される利得係数制御電圧により利得係数を変調することが可能な、ＣＭＯＳ型インバータを備えており、この制御ゲートが、利得係数制御端子（ＣＮＴ）に接続された構成からなる。なお、電圧・パルス幅変換回路８における利得係数制御端子（ＣＮＴ）は、同期制御回路１３に接続されている。同期制御回路１３は、ランプ信号生成回路により構成されている。このランプ信号生成回路が発生するランプ電圧が、すべての電圧・パルス幅変換回路８の利得係数制御端子（ＣＮＴ）に対して共通に入力される。従って、すべての電圧・パルス幅変換回路８は、同タイミングで電圧・パルス幅変換を行う。
【００２９】
図１１は電圧・パルス幅変換回路８の動作例を示す図である。同期制御回路１３が出力するランプ電圧（Ｒａｍｐ Ｓｉｇ．）は、図１１の最上段に示したような鋸歯状となる。このランプ電圧が利得係数制御端子（ＣＮＴ）に入力されると、電圧・パルス幅変換回路８の論理閾値電圧Ｖinvは、図１１の点線で示したように変化する。すなわち、ランプ電圧の増加に伴って、論理閾値電圧Ｖinvは減少する。そして、論理閾値電圧Ｖinvが画素信号の電圧（Ａｎａｌｏｇ Ｖin）よりも小さくなったとき、電圧・パルス幅変換回路８の出力端子に出力されるパルス幅画素信号（ＯＵＴ）がＨレベルとなる。そして、ランプ電圧が再び最低レベルに戻ると、論理閾値電圧Ｖinvは最大となり、パルス幅画素信号（ＯＵＴ）がＬレベルとなる。
【００３０】
このように、パルス幅画素信号（ＯＵＴ）がＬレベルとなるタイミングはランプ電圧により決められるため一定である。しかし、パルス幅画素信号（ＯＵＴ）がＨレベルとなるタイミングは、画素信号の電圧が高いほど早く、画素信号の電圧が低いほど遅くなる。従って、パルス幅画素信号（ＯＵＴ）がＨレベルとなる時間（パルス幅画素信号のパルス幅）は、画素信号の電圧に比例する。すなわち、画素信号の電圧値はパルス幅画素信号のパルス幅に変換される。
【００３１】
次に、図９におけるパルス信号比較回路９の詳細について説明する。図１２はパルス信号比較回路９の構成を表す図である。このパルス信号比較回路９は、４つのインバータ４１，４２，４５，４６と２つのＡＮＤゲート４３，４４から構成されている。この回路は、入力端子ＩＮａ，ＩＮｂに対して、出力値（比較パルス信号）ＯＵＴ+，ＯＵＴ-として、次の値を出力する。
ＯＵＴ+＝ＩＮａ∧（／ＩＮｂ）
ＯＵＴ-＝ＩＮｂ∧（／ＩＮａ） ・・・・・・（数１）
ここで、（／ＩＮｂ）、（／ＩＮａ）は、それぞれＩＮｂ、ＩＮａの反転信号、∧は論理積を表す。
【００３２】
図１３はパルス信号比較回路９の動作例を表すタイムチャートである。入力端子ＩＮａ，ＩＮｂには、隣り合う電圧・パルス幅変換回路の出力（パルス幅画素信号）がそれぞれ入力される。各入力信号のパルスの終端（立ち下がり）は、ランプ電圧の立ち下がりエッジで決められるため一定の時刻に揃っている。一方、各入力信号のパルスの始端（立ち上がり）は、画素信号の大きさに比例して変化する。
【００３３】
入力端子ＩＮａの入力信号が入力端子ＩＮｂの入力信号よりも長い場合、入力端子ＩＮａの入力信号の方が入力端子ＩＮｂの入力信号より先に立ち上がる。ＩＮａ＝１，ＩＮｂ＝０のときには、（数１）よりＯＵＴ+＝１，ＯＵＴ-＝０である。また、ＩＮａ＝１，ＩＮｂ＝１のときには、（数１）よりＯＵＴ+＝０，ＯＵＴ-＝０である。従って、比較パルス信号ＯＵＴ+に、ＩＮａ−ＩＮｂの差分パルスが出力される。
【００３４】
一方、入力端子ＩＮｂの入力信号が入力端子ＩＮａの入力信号よりも長い場合、入力端子ＩＮｂの入力信号の方が入力端子ＩＮａの入力信号より先に立ち上がる。ＩＮａ＝０，ＩＮｂ＝１のときには、（数１）よりＯＵＴ+＝０，ＯＵＴ-＝１である。また、ＩＮａ＝１，ＩＮｂ＝１のときには、（数１）よりＯＵＴ+＝０，ＯＵＴ-＝０である。従って、比較パルス信号ＯＵＴ-に、ＩＮｂ−ＩＮａの差分パルスが出力される。
【００３５】
入力端子ＩＮｂの入力信号と入力端子ＩＮａの入力信号の長さが同じであれば、比較パルス信号ＯＵＴ+，ＯＵＴ-には、パルスは出力されない。
【００３６】
このように、アナログ電圧信号である画素信号の電圧値を、パルス幅画素信号のパルス幅に写像することで、簡単な論理回路を用いて画素値の差分演算を行うことが可能となる。
【００３７】
なお、この回路では、入力端子ＩＮｂの入力信号と入力端子ＩＮａの入力信号の相関が大きいほど短いパルスが出力される。
【００３８】
次に、図９における相関検知回路１０の詳細について説明する。図１４は相関検知回路１０の構成を表す図である。相関検知回路１０は、コンデンサ５０、電流スイッチ回路５１，５２、電流源５３、リセット・スイッチ５４、出力回路５５、及び読出スイッチ５６を備えている。
【００３９】
コンデンサ５０は、相関信号を発生するための電荷を蓄電する。電流スイッチ回路５１は、入力端子Ｒ＋，Ｌ＋から入力される入力信号の排他論理和の真理値に従って、導通／遮断制御がされ、導通状態においてコンデンサ５０に蓄電された電荷を一定電流で放電させる。電流スイッチ回路５２は、入力端子Ｒ−，Ｌ−から入力される入力信号の排他論理和の真理値に従って、導通／遮断制御がされ、導通状態においてコンデンサ５０に蓄電された電荷を一定電流で放電させる。電流源５３は、電流スイッチ回路５１，５２が導通状態となったときに、一定の放電電流を流すための回路である。リセット・スイッチ５４は、リセット信号（Ｒｅｓｅｔ）が入力されたときに導通状態となり、電源からコンデンサ５０に電荷を供給して、コンデンサ５０の両端電圧を電源電圧Ｖdとする。
【００４０】
出力回路５５は、コンデンサ５０の電圧に比例した電流を流す回路であり、コンデンサ５０の電圧を電流に変換して出力するための回路である。出力回路５５は、ＭＯＳトランジスタによって構成されている。ゲートにコンデンサ５０の電圧が入力され、ドレイン電流として出力される。これにより、コンデンサ５０の電圧は、漏洩電流が無視できるとすれば、出力中は一定である。従って、安定した相関信号を出力することを可能としている。読出スイッチ５６は、出力回路５５による電流出力のオン・オフを行うためのものである。
【００４１】
相関検知回路１０では、入力信号の相関程度をコンデンサ５０の蓄積電荷量で表現する。リセット直後は、蓄積電荷量は最大である。入力信号の相関程度が低いほど、多くの電荷を放電させ、コンデンサ５０の蓄積電荷量を減少させる。これにより、相関演算が実現される。放電電流は、電流スイッチ回路５１，５２の何れかを介してグランド側に流れる。
【００４２】
図１５は相関検知回路１０の動作例を表すタイムチャートである。まず、最初に、リセット信号（Ｒｅｓｅｔ）が０とされ（ｔ１）、コンデンサ５０の電圧Ｖｃが電源電圧Ｖdとされる。そして、リセット信号を１とした後（ｔ２）、Ｌ＋，Ｌ−に左眼側のパルス信号比較回路９が出力する比較パルス信号ＯＵＴ＋，ＯＵＴ−が入力され、Ｒ＋，Ｒ−に右眼側のパルス信号比較回路９が出力する比較パルス信号ＯＵＴ＋，ＯＵＴ−が入力される。
【００４３】
Ｒ＋とＬ＋の何れか一方が１で他方が０のとき（ｔ３〜ｔ４，ｔ５〜ｔ６，ｔ１０〜ｔ１１，ｔ１２〜ｔ１３）は、電流スイッチ回路５１が導通状態となる。従って、このとき、コンデンサ５０の電荷は放電され、コンデンサ５０の電圧は減少する。
【００４４】
Ｒ−とＬ−の何れか一方が１で他方が０のとき（ｔ２２〜ｔ２３，ｔ２４〜ｔ２５，ｔ２９〜ｔ３０，ｔ３１〜ｔ３２）は、電流スイッチ回路５２が導通状態となる。従って、このとき、コンデンサ５０の電荷は放電され、コンデンサ５０の電圧は減少する。
【００４５】
Ｒ＋，Ｌ＋がともに０またはともに１、かつ、Ｒ−，Ｌ−がともに０またはともに１のとき（ｔ１〜ｔ３，ｔ４〜ｔ５，ｔ６〜ｔ１０，ｔ１１〜ｔ１２，ｔ１３〜ｔ２２，ｔ２３〜ｔ２４，ｔ２５〜ｔ２９，ｔ３０〜ｔ３１，ｔ３２〜）は、電流スイッチ回路５１，５２はともに遮断状態となる。従って、このときはコンデンサ５０の電圧Ｖｃは一定である。
【００４６】
ランプ信号の立ち下がり後、コンデンサ５０の電圧Ｖｃが確定する。Ｒ＋とＬ＋の相関が小さい場合、またはＲ−とＬ−の相関が小さい場合には、最終的なコンデンサ５０の電圧Ｖｃは低くなる。逆に、Ｒ＋とＬ＋の相関が大きい場合、またはＲ−とＬ−の相関が大きい場合には、最終的なコンデンサ５０の電圧Ｖｃは高い状態に維持される。
【００４７】
コンデンサ５０の電圧Ｖｃの確定後、読出信号（ｒｅａｄ）が１となり（ｔ７，ｔ１４，ｔ１９，ｔ２６，ｔ３３）、読出スイッチ５６が導通状態となる。これにより、出力回路５５は、コンデンサ５０の電圧Ｖｃに比例した大きさの電流を出力する。
【００４８】
出力が終了した後、再びリセット信号が０とされ（ｔ８，ｔ１５，ｔ２０，ｔ２７）、同様の相関検知演算が繰り返される。
【００４９】
以上のように構成された本実施例に係る視差センサについて、以下その全体の動作を説明する。
【００５０】
図１６は視差センサ１の動作の一例を表すタイムチャートである。図１６では、説明の便宜上、ある２つの画素に着目して表示しているが、すべての画素において同様な動作が同時並行的に行われる。
【００５１】
まず、撮像素子２ａ，２ｂから画素信号ａ，ｂが出力される（ｔ０）。これにより、電圧・パルス幅変換回路アレイ４ａ，４ｂ内の各電圧・パルス幅変換回路８において、入力電圧が確定する。図１６の例では、画素信号ａの方が画素信号ｂよりも高い値となっている。
【００５２】
次に、相関検知回路１０に対してリセット信号（Ｒｅｓｅｔ）のパルスが入力され（ｔ１〜ｔ２）、コンデンサ５０の電圧ＶcがＶdに設定される。
【００５３】
次に、同期制御回路１３がランプ信号（Ｒａｍｐ Ｓｉｇ．）の出力を開始し、ランプ信号の電圧が徐々に増加する。これに伴って、各電圧・パルス幅変換回路８において論理閾値電圧Ｖinvは減少する。そして、図１６の例では画素信号ａの電圧の方が画素信号ｂの電圧よりも高いので、まず、左眼側の電圧・パルス幅変換回路８において、論理閾値電圧Ｖinvが画素信号ａの電圧よりも低くなる（ｔ３）。これにより、左眼側の電圧・パルス幅変換回路８の出力するパルス幅画素信号（ＡＰＷＣ ＯＵＴ−ａ）が１となる。このとき、右眼側の電圧・パルス幅変換回路８の出力するパルス幅画素信号（ＡＰＷＣ ＯＵＴ−ｂ）は０である。従って、パルス信号比較回路９の出力（比較パルス信号）ＤＩＦＣ ＯＵＴ＋が１となる。
【００５４】
更に時間が経過してランプ信号が増加すると、今度は右眼側の電圧・パルス幅変換回路８において、論理閾値電圧Ｖinvが画素信号ｂの電圧よりも低くなる（ｔ４）。これにより、右眼側の電圧・パルス幅変換回路８の出力するパルス幅画素信号（ＡＰＷＣ ＯＵＴ−ｂ）が１となる。このとき、左眼側の電圧・パルス幅変換回路８の出力するパルス幅画素信号（ＡＰＷＣ ＯＵＴ−ａ）は１である。従って、パルス信号比較回路９の出力（比較パルス信号）ＤＩＦＣ ＯＵＴ＋が０となる。このパルス信号比較回路９の出力（比較パルス信号）ＤＩＦＣ ＯＵＴ＋のパルス幅（ｔ３〜ｔ４）が画素間の相関を表す。
【００５５】
一方、このパルス信号比較回路９の出力（比較パルス信号）ＤＩＦＣ ＯＵＴ＋が１の間（ｔ３〜ｔ４）、電流スイッチ回路５１が導通状態となる。従って、この間はコンデンサ５０の電荷はスイッチ回路５１を介してグランドに放電される。そして、比較パルス信号ＤＩＦＣ ＯＵＴ＋が立ち下がった時点（ｔ４）で、コンデンサ５０の電圧Ｖcが確定する。その後、ランプ信号が立ち下がり（ｔ５）、ここですべての相関演算処理が終了する。
【００５６】
次に、読出期間に移る。読出期間（ｔ６）では、シーケンサ７のシフト・レジスタ１２に対してクロックＣＬＫが供給される。そして、最左端のシフト・レジスタ１２に対して、入力信号ＳＲｉｎとして一定期間１が入力される。
【００５７】
この入力信号ＳＲｉｎのパルス幅Ｔｓは、通常は、クロックＣＬＫに対して数倍の幅とされる。このパルス幅Ｔｓは、検知できる対象物の大きさに影響を与えるので、状況に応じて変更できるようにする。一般に、Ｔｓを大きくするほど、大きな対象物の認識が容易となり、細かいノイズが減少する。一方、Ｔｓを小さくすれば、小さな対象物が認識しやすくなるが、ノイズ量は多くなる。従って、Ｔｓを設定することで、高周波フィルタの周波数特性を設定できる。
【００５８】
入力信号ＳＲｉｎのパルスは、クロックＣＬＫに従って、左側のシフト・レジスタ１２から右側のシフト・レジスタ１２に向かって移動していく。シフト・レジスタ１２の出力は、読出信号（Ｒｅａｄ）として、各列の相関検知回路１０に入力される。従って、相関検知回路マトリックス６の各列の相関検知回路１０内のコンデンサ５０に保持された相関信号は、左から右に向かって順次読み出される。
【００５９】
図１７は特許文献１に記載された視差センサのパルス信号比較回路の他の構成を表す図である。なお、その他の構成については図１２の構成と同様であり、説明は省略する。
【００６０】
このパルス信号比較回路９’は、図１２のパルス信号比較回路９に対して、インバータ４１，４２の代わりにＡＮＤゲート４７，４８が用いられている点で相違している。ＡＮＤゲート４７，４８は、一方の側の入力端子には入力信号ＩＮａ，ＩＮｂが入力され、他方の側の入力端子には、選択信号Ｃｎａ，Ｃｎｂが入力される。Ｃｎａを０とすると、ＯＵＴ−には入力信号ＩＮｂがそのまま出力される。Ｃｎｂを０とすると、ＯＵＴ＋には入力信号ＩＮａがそのまま出力される。
【００６１】
これにより、パルス信号比較回路アレイ５ａ，５ｂにおいて、隣り合う信号の比較を行わず、電圧・パルス幅変換回路アレイ４ａ，４ｂの出力をそのまま相関検知回路マトリックス６に入力させることが可能となる。従って、この場合、相関検知回路マトリックス６では、左眼画像と右眼画像の画素をそのまま相関演算処理することができる。
【００６２】
従って、用途に応じて、選択信号Ｃｎａ，Ｃｎｂを操作して、画素信号の直接相関処理を行うか、画像の変化信号の相関処理を行うかを切り替えることが可能となる。
【００６３】
【特許文献１】特開２００５−２６５４５７号公報
【発明の開示】
【発明が解決しようとする課題】
【００６４】
上述した従来技術により得られる視差相関データは、図１８に例を示すように、対象物ａが存在する所に特徴的なパターンｃができるので、その特徴パターンｃの座標を検出することで、対象物の横方向の位置と奥行（対象物までの距離）を特定することができる。しかし、対象物ａの特徴パターンが存在する位置の画像の両斜め方向に、帯状のパターンｂ１，ｂ２が必ず現れるので、対象物ａの特徴パターンｃを検出するためには、パターンマッチング等の処理が必要となる。
そこで、本発明は、帯状のパターン等を削除して、対象物の特徴パターンのみを得ることのできる視差センサおよび視差画像の生成方法を提供することを目的とする。
【課題を解決するための手段】
【００６５】
前記課題を解決するため、本発明の視差センサは、対象物を撮像し、アナログ電圧信号である画素信号として第１画像を出力する第１の撮像素子と、
前記第１の撮像素子とは異なる角度から前記対象物を撮像し、アナログ電圧信号である画素信号として第２画像を出力する第２の撮像素子と、
前記第１及び第２の撮像素子から出力される画素信号の各々を、各画素信号の電圧値に比例する長さのパルス幅を有するパルス幅画素信号に変換する複数の電圧・パルス幅変換回路と、
すべての前記各電圧・パルス幅変換回路が同時並列的に各画素信号をパルス幅画素信号に変換するようにタイミング制御を行う同期制御回路と、
隣接する前記電圧・パルス幅変換回路が出力する２つのパルス幅画素信号を比較し、２つのパルス幅画素信号の＋方向の差と−方向の差をそれぞれ比較パルス信号として出力する複数のパルス信号比較回路と、
前記第１画像に対応する前記パルス信号比較回路の出力である比較パルス信号と前記第２画像に対応する前記パルス信号比較回路の出力である比較パルス信号のそれぞれの組み合わせからなる２つの比較パルス信号に対して、両者の排他論理和をとった差分パルスの全パルス長を、その全パルス長に比例する電圧値または電流値の信号に変換し、この信号を相関信号として出力する複数の相関検知回路と、
を備えている視差センサにおいて、
前記パルス信号比較回路の出力である比較パルス信号のパルス幅が一定の長さ以下であることを検知するゼロ信号検知回路と、そのゼロ信号検知回路の出力信号に従って前記比較パルス信号または予め決められた信号を選択し前記相関検知回路に出力する選択回路とからなるゼロ相関除去信号発生回路を備えたことを特徴とする。
【００６６】
また、本発明の視差画像の生成方法は、第１の撮像素子で対象物を撮像し、アナログ電圧信号である画素信号として第１画像を出力すると同時に、第２の撮像素子で前記第１の撮像素子とは異なる角度から前記対象物を撮像し、アナログ電圧信号である画素信号として第２画像を出力する第１のステップと、
前記第１及び第２の撮像素子が出力する各画素信号を、複数の電圧・パルス幅変換回路により、同時並列的に、その画素信号の電圧値に比例する長さのパルス幅を有するパルス幅画素信号に変換する第２のステップと、
隣接する前記電圧・パルス幅変換回路が出力する２つのパルス幅画素信号を比較し、２つのパルス幅画素信号の＋方向の差と−方向の差をそれぞれ比較パルス信号として出力する第３のステップと、
前記比較パルス信号のパルス幅が一定の長さ以下であることを検知したときに、前記比較パルス信号または予め決められた信号を選択して出力する第４のステップと、
複数の相関検知回路により、前記第１画像に対応する比較パルス信号、但し前記第４のステップにおいて予め決められた信号が選択されたときはその予め決められた信号と、前記第２画像に対応する比較パルス信号（但し前記第４のステップにおいて予め決められた信号が選択されたときはその予め決められた信号）のそれぞれの組み合わせからなる２つのパルス幅画素信号に対して、両者の排他論理和をとった差分パルスの全パルス長を、その全パルス長に比例する電圧値または電流値の信号に変換し、この信号を相関信号として出力する第５のステップと、
を有することを特徴とする。
【００６７】
本発明においては、相関回路に与えられるパルス信号のうちそのパルス幅がゼロ信号と見なすべき一定の長さより短い場合、すなわち隣接するパルス信号がほぼ等しいときに、そのパルス信号を変調することで、対象物以外の相関値を強制的に小さくする。その結果、対象物の相関パターンのみを残す。この機能を実現するために、一定の長さより短いパルス幅を検知する回路と、その出力信号によってパルス信号を強制的な予め与えられたパルス信号とする回路を備える。
本発明の回路構成は、回路面積と消費電力を共に従来より小さくできるので、二つのイメージセンサ機能とそれらの相関処理回路を一つのＬＳＩチップ内に集積することが可能になる。
従って、本発明の視差センサにより高速な測距が可能になり、レーダーに比べて大幅な装置コストと消費電力の低減が可能になる。この視差センサはパッシブ測距方式なのでアクティブ方式における信号干渉の問題が回避できるメリットがある。
また、前記ゼロ信号検知回路に、比較パルス信号をＭＯＳＦＥＴを介して入力し、そのＭＯＳＦＥＴのゲートに与える電圧値によって検知するパルス幅を調整する機能を備えることにより、複数のＡＰＷ変換回路やパルス信号比較回路を構成する多数のトランジスタ等の特性のばらつきにより生じるひげ状のパルスの除去を容易にすることができる。
【発明の効果】
【００６８】
本発明によれば、相関回路に与えられるパルス信号のうちそのパルス幅が一定の長さより短い場合に、そのパルス信号を変調して、対象物の相関パターンのみを残すことによって、相関データは対象物の部分のみ特徴的な値となるので、簡単な閾値処理だけでその位置を検出することが可能となり、後処理の演算コストを大幅に低減できる。その結果、装置のコストを低減できると共に処理時間も短縮できる。
【発明を実施するための最良の形態】
【００６９】
以下、本発明の実施の形態を、図１〜図６を用いて説明する。
図１は本発明の実施の形態に係る視差センサの構成を示す図、図２は本実施の形態に係るゼロ相関除去信号発生回路の構成を示す回路図、図３は本実施の形態に係るゼロ信号検知回路の構成を示す回路図、図４は本実施の形態に係るＲ−Ｓフリップフロップ回路の構成を示す回路図、図５は本実施の形態に係るゼロ相関除去機能を導入した相関検知回路の動作例を示すタイムチャート、図６は本実施の形態に係る相関データの例を示すチャートである。
図１に示すように、本実施の形態に係る視差センサ回路は、図８に示した特許文献１において提案された従来の視差センサ回路に、ゼロ相関除去信号発生回路アレイ１５ａ，１５ｂを設けたものである。その他の構成は従来の構成と同様であるので、同じ符号を付して説明を省略する。
【００７０】
本発明の特徴であるゼロ相関除去信号発生回路アレイ１５ａ，１５ｂをそれぞれ構成する（ｎ−１）個（但し、ｎは、左眼、右眼の撮像素子２ａ，２ｂを構成する画素の水平方向の行数）のゼロ相関除去信号発生回路１６の構成例を図２に示す。ゼロ相関除去信号発生回路１６は、ゼロ信号検知回路１６１と２個の選択回路１６２，１６３より構成されている。ゼロ信号検知回路１６１は、パルス信号比較回路９の出力である比較パルス信号ＯＵＴ＋，ＯＵＴ−のパルス幅が一定の長さ以下であることを検知するものであり、選択回路１６２，１６３は、ゼロ信号検知回路１６１の出力信号（ＳｅｔＯｕｔ）に従って比較パルス信号または予め決められた信号（Ｈ／Ｌ）を選択し、ＭＯＵＴ＋，ＭＯＵＴ−として次の相関検知回路１０に出力するものである。すなわち、選択回路１６２，１６３は、Ｓｅｌ端子に与えられるＳｅｔＯｕｔ出力が０のときはＸ端子に与えられる値、すなわち予め決められた値であるＨ／Ｌを出力し、ＳｅｔＯｕｔ出力が１のときはＹ端子に与えられる値、すなわちパルス信号比較回路９の出力であるＯＵＴ＋，ＯＵＴ−を出力する。
【００７１】
ゼロ信号検知回路１６１は、図３に示すように、ＮＯＲ回路１６１１と、ＮＯＴ回路１６１２とＭＯＳＦＥＴ１６１３と、Ｒ−Ｓフリップフロップ１６１４と、ＮＡＮＤ回路１６１５から構成されている。なお、ＭＯＳＦＥＴ１６１３は、そのゲートに与える電圧値によって検知するパルス幅を調整する機能をもたせたものであり、複数のＡＰＷ変調回路やパルス信号比較回路を構成する多数のトランジスタ等の特性のばらつきにより生じるひげ状のパルスの除去を容易にすることができる。
Ｒ−Ｓフリップフロップ１６１４の構成例を図４に示す。
このＲ−Ｓフリップフロップ１６１４の入出力の真理値表を表１に示す。
【００７２】
【表１】
【００７３】
以上の構成のゼロ相関除去信号発生回路１６の動作を、図５を用いて説明する。
まず、最初に、リセット信号Ｒｅｓｅｔ（Ｒｓｔはその反転信号）が０とされ（ｔ１）、相関検知回路１０（図１４参照）のコンデンサ５０の電圧Ｖｃが電源電圧Ｖdとされる。そして、リセット信号を１とした後（ｔ２）、左眼用のゼロ相関除去信号検知回路１６１のＡ，Ｂに左眼側のパルス信号比較回路９が出力する比較パルス信号ＯＵＴ＋（ＬＯＵＴ＋），ＯＵＴ−（ＬＯＵＴ−）が入力され、右眼用のゼロ相関除去信号検知回路１６１のＡ，Ｂに右眼側のパルス信号比較回路９が出力する比較パルス信号ＯＵＴ＋（ＲＯＵＴ＋），ＯＵＴ−（ＲＯＵＴ−）が入力される。
【００７４】
右眼側の比較パルス信号について説明すると、ＲＯＵＴ＋とＲＯＵＴ−の何れか一方が１で他方が０のとき（ｔ３〜ｔ５，ｔ１２〜ｔ１３，ｔ２１〜ｔ２２，ｔ３４〜ｔ３６，ｔ４４〜ｔ４５）は、Ｒ／Ｑはｔ３〜ｔ１０で０、ｔ１０〜ｔ１２で１、ｔ１２〜ｔ１９で０、ｔ１９〜ｔ２１で１、ｔ２１〜ｔ２６で０、ｔ２６〜ｔ３４で１、ｔ３４〜ｔ４０で０、ｔ４０〜ｔ４４で１、ｔ４４〜で０である。選択回路１６２，１６３の出力は、ＳｅｔＯｕｔ出力が１のとき（Ｒ／Ｑ出力が０またはＡｃｔ値が０のとき）はＲＯＵＴ＋，ＲＯＵＴ−がそのまま出力されるが、ＳｅｔＯｕｔ出力が０（Ｒ／Ｑ出力が１かつＡｃｔ値が１のとき）は予め決められたＲＨ／Ｌが出力される。
【００７５】
同様に、左眼側の比較パルス信号について説明すると、ＬＯＵＴ＋とＬＯＵＴ−の何れか一方が１で他方が０のとき（ｔ４〜ｔ６，ｔ１４〜ｔ１５，ｔ２１〜ｔ２２，ｔ３３〜ｔ３５，ｔ４２〜ｔ４３）は、Ｌ／Ｑは〜ｔ４で１、ｔ４〜ｔ１０で０、ｔ１０〜ｔ１４で１、ｔ１４〜ｔ１９で０、ｔ１９〜ｔ２１で１、ｔ２１〜ｔ２６で０、ｔ２６〜ｔ３３で１、ｔ３３〜ｔ４０で０、ｔ４０〜ｔ４２で１、ｔ４２〜で０である。選択回路１６２，１６３の出力は、ＳｅｔＯｕｔ出力が１のとき（Ｌ／Ｑ出力が０またはＡｃｔ値が０のとき）ＬＲＯＵＴ＋，ＬＯＵＴ−がそのまま出力されるが、ＳｅｔＯｕｔ出力が０（Ｌ／Ｑ出力が１かつＡｃｔ値が１のとき）は予め決められたＬＨ／Ｌが出力される。
【００７６】
以上のＲＭＯＵＴ＋，ＲＭＯＵＴ−，ＬＭＯＵＴ＋，ＬＭＯＵＴ−の出力が図１４の相関検知回路１０のＲ＋，Ｒ−，Ｌ＋，Ｌ−の端子に入力される。
まず、最初に、リセット信号（Ｒｅｓｅｔ）が０とされ（ｔ１）、コンデンサ５０の電圧Ｖｃが電源電圧Ｖdとされる。そして、リセット信号を１とした後（ｔ２）、Ｌ＋，Ｌ−に左眼側のゼロ相関除去信号検知回路１６１が出力する比較パルス信号ＬＭＯＵＴ＋，ＬＭＯＵＴ−が入力され、Ｒ＋，Ｒ−に右眼側のゼロ相関除去信号発生回路１６１が出力する比較パルス信号ＲＭＯＵＴ＋，ＲＭＯＵＴ−が入力される。
【００７７】
Ｒ＋とＬ＋の何れか一方が１で他方が０のとき（ｔ３〜ｔ４，ｔ５〜ｔ６，ｔ１２〜ｔ１３，ｔ１４〜ｔ１５）は、電流スイッチ回路５１が導通状態となる。従って、このとき、コンデンサ５０の電荷は放電され、コンデンサ５０の電圧は減少する。
【００７８】
Ｒ−とＬ−の何れか一方が１で他方が０のとき（ｔ２８〜ｔ２９，ｔ２９〜ｔ３１，ｔ３３〜ｔ３４，ｔ３５〜ｔ３６，ｔ４２〜ｔ４３，ｔ４４〜ｔ４５）は、電流スイッチ回路５２が導通状態となる。従って、このとき、コンデンサ５０の電荷は放電され、コンデンサ５０の電圧は減少する。
【００７９】
Ｒ＋，Ｌ＋がともに０またはともに１、かつ、Ｒ−，Ｌ−がともに０またはともに１のとき（ｔ１〜ｔ３，ｔ４〜ｔ５，ｔ２１〜ｔ２２，ｔ３４〜ｔ３５，ｔ３６〜ｔ４０，ｔ４３〜ｔ４４，ｔ４５〜）は、電流スイッチ回路５１，５２はともに遮断状態となる。従って、このときはコンデンサ５０の電圧Ｖｃは一定である。
【００８０】
ランプ信号の立ち下がり後、Ｒｅａｄ信号が立ち上がる迄に、コンデンサ５０の電圧Ｖｃが確定する。Ｒ＋とＬ＋の相関が小さい場合、またはＲ−とＬ−の相関が小さい場合には、最終的なコンデンサ５０の電圧Ｖｃは低くなる。逆に、Ｒ＋とＬ＋の相関が大きい場合、またはＲ−とＬ−の相関が大きい場合には、最終的なコンデンサ５０の電圧Ｖｃは高い状態に維持される。また、ゼロ相関除去信号発生回路によって、パルス信号がＨ／Ｌ信号に代えられて与えられた相関回路のＶｃは強制的に低い値となる。
【００８１】
コンデンサ５０の電圧Ｖｃの確定後、読出信号（ｒｅａｄ）が１となり（ｔ９，ｔ１８，ｔ２５，ｔ３０，ｔ３９，ｔ４７）、読出スイッチ５６が導通状態となる。これにより、出力回路５５は、コンデンサ５０の電圧Ｖｃに比例した大きさの電流を出力する。
【００８２】
出力が終了した後、再びリセット信号が０とされ（ｔ１０，ｔ１９，ｔ２６，ｔ３１，ｔ４０）、同様の相関検知演算が繰り返される。
【００８３】
以上のように、パルス信号比較回路９の＋と−の出力である比較パルス信号をゼロ信号検知回路１６１で検知したときは予め決められた信号を出力し、それ以外のときはその比較パルス信号を出力するようにしたので、相関データは対象物の部分のみ特徴的な値となる。したがって、簡単な閾値処理だけでその位置を検出することが可能となり、後処理の演算コストを大幅に低減できる。その結果、装置のコストを低減できると共に処理時間も短縮できる。
【００８４】
上述した本実施の形態の視差センサにより得られる視差相関データは、図６に例を示すように、対象物ａが存在する所に特徴的なパターンｃができるので、その特徴パターンｃの座標を検出することで、対象物の横方向の位置と奥行（対象物までの距離）を特定することができる。
【産業上の利用可能性】
【００８５】
本発明は、ステレオ視に基づいて距離情報を容易に抽出することができる視差センサおよび視差画像の生成方法として、３次元動き検知装置や監視装置等の分野に利用することができる。
【図面の簡単な説明】
【００８６】
【図１】本発明の実施の形態に係る視差センサの構成を表す図である。
【図２】本発明の実施の形態に係るゼロ相関除去信号発生回路の構成を示す回路図である。
【図３】本発明の実施の形態に係るゼロ信号検知回路の構成を示す回路図である。
【図４】本発明の実施の形態に係るＲ−Ｓフリップフロップ回路の構成を示す回路図である。
【図５】本発明の実施の形態に係るゼロ相関除去機能を導入した相関検知回路の動作例を示すタイムチャートである。
【図６】本発明の実施の形態に係る相関データの例を示すチャートである。
【図７】二眼視差による距離検出の原理を示す図である。
【図８】特許文献１において提案された視差センサの構成を示す図である。
【図９】図８の視差センサについてより詳細な回路構成を示した図である。
【図１０】電圧・パルス幅変換回路の構成を表す図である。
【図１１】電圧・パルス幅変換回路の動作例を示すタイムチャートである。
【図１２】パルス信号比較回路の構成を表す図である。
【図１３】パルス信号比較回路の動作例を表すタイムチャートである。
【図１４】相関検知回路の構成を表す図である。
【図１５】相関検知回路の動作例を表すタイムチャートである。
【図１６】視差センサの動作例を表すタイムチャートである。
【図１７】特許文献１記載の視差センサのパルス信号比較回路の他の構成を表す図である。
【図１８】特許文献１記載の視差センサによる相関データの例を示すチャートである。
【符号の説明】
【００８７】
１ 視差センサ
２ａ，２ｂ 撮像素子
３ シーケンサ
４ａ，４ｂ 電圧・パルス幅変換回路アレイ
５ａ，５ｂ パルス信号比較回路アレイ
６ 相関検知回路マトリックス
７ シーケンサ
８ 電圧・パルス幅変換回路
９，９’ パルス信号比較回路（ＤＩＦＣ）
１０ 相関検知回路（ＭＡＴＣ）
１１ 電流電圧変換回路（ＩＶＣ）
１２ シフト・レジスタ
１３ 同期制御回路
１５ａ，１５ｂ ゼロ相関除去信号発生回路アレイ
１６ ゼロ相関除去信号発生回路
１６１ ゼロ信号検知回路
１６２，１６３ 選択回路
１６１１ ＮＯＲ回路
１６１２ ＮＯＴ回路
１６１３ ＭＯＳＦＥＴ
１６１４ Ｒ−Ｓフリップフロップ
１６１５ ＮＡＮＤ回路
２１ チャネル・サイズ可変調ＭＯＳトランジスタ（ＶＳ−ＭＯＳ）
２２ ソース
２２ａ，２３ａ，２４ａ，２５ａ，２６ａ コンタクト・ホール
２３ ドレイン
２４ メイン・ゲート
２５，２６ 制御ゲート
２５ｂ，２６ｂ 隙間
３１ ＶＳ−ｐＭＯＳ
３２ ＶＳ−ｎＭＯＳ
４１，４２，４５，４６ インバータ
４３，４４，４７，４８ ＡＮＤゲート
５０ コンデンサ
５１，５２ 電流スイッチ回路
５３ 電流源
５４ リセット・スイッチ
５５ 出力回路
５６ 読出スイッチ
【技術分野】
【０００１】
本発明は、ステレオ画像から視差画像を生成する視差画像の生成技術に関し、特に、高速で、回路規模が小さく、かつ低消費電力で実現可能な視差画像の生成技術に関する。
【背景技術】
【０００２】
本発明は、本願発明者が先に提案し、特許出願した特許文献１に記載の発明の改良技術に関するものである。
以下に従来技術としての視差センサについて説明する。
【０００３】
ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサの普及に伴い、情報機器は画像情報を容易に取り扱えるようになった。最近では、殆どの携帯電話に小型カメラが内蔵され画像データの通信を容易にしている。また、多くの自動車にはイメージセンサが搭載され運転席からの死角をカバーして安全運転に役立つようにしている。しかしながら、従来のイメージセンサから得られるのは、あくまでも単なる２次元情報であり、距離（奥行き）情報を含んだ３次元情報は得ることができない。そこで、距離情報を得ることができる新しいイメージセンサが求められている。
【０００４】
対象物との距離の高速検知方法には、主に二種類の方法がある。一つは、指向性の高いレーザー光や電波等の電磁波を対象物にビーム照射しその反射信号の時間遅れで対象物との距離を測定するアクティブ測距方式である。もう一つは、二つのイメージセンサを用いて画像の相関を計算し、二つのセンサ間の視差を抽出することで距離を算出するパッシブ測距方式である。
【０００５】
航空機や船舶等には、アクティブ測距方式の代表例であるレーダーが備えられており、自分の周囲の対象物との距離をモニターすることができ安全な航行を可能にしている。また最近では、自動車にもミリ波レーダーが搭載され車間距離をモニターして衝突防止に役立っている。このように現在においては、高速な距離の検知にはアクティブ測距方式であるレーダーが用いられている。
【０００６】
しかしながら、アクティブ測距方式は、レーザー光や電波等の電磁波の反射信号を利用するため、検出対象物によっては、乱反射を生じて信号干渉により正確な距離の検知に支障を来したり、電磁波が吸収されて反射信号が十分得られず、対象物の検知が確実にできないおそれがあったりして問題がある。
【０００７】
これに対して、パッシブ測距方式は電磁波の照射を行わないため、アクティブ測距方式における信号干渉や反射信号が不足の問題を回避できるというメリットがある。
【０００８】
しかし、このパッシブ測距方式では、二枚の画像データの相関処理に大規模な計算量を必要とするので、従来の相関処理用ＬＳＩでは、高速移動に対応できる高速な処理が困難であったことから実用化されていないのが現状である。
【０００９】
図７は、二眼視差による距離検出の原理を説明するための図である。図７（ａ）に示すように、右眼に対応する撮像素子と左眼に対応する撮像素子を一定の距離離して設置して撮像する。ここで、左眼に対応する撮像素子で撮像される画像（以下、「左眼画像」という。）を｛ａ(L)i,j｜ｉ＝１，２，…，ｎ， ｊ＝１，２，…，ｍ｝と記す。右眼に対応する撮像素子で撮像される画像（以下、「右眼画像」という。）を｛ａ(R)i,j｜ｉ＝１，２，…，ｎ， ｊ＝１，２，…，ｍ｝と記す。
【００１０】
同じ対象物に対して、左右の撮像素子により撮像された対象物の各々の位置が、撮像素子から対象物までの距離に応じてずれることになる。従って、今、撮像された左眼画像と右眼画像の水平方向の相関のみを考える場合、すべての（ａ(L)i,k，ａ(R)j,k）の組の間で相関をとれば、もっとも大きな相関がある組により表される座標により、各々の対象物の距離が検知できる。
【００１１】
図７（ａ）において、Ａ，Ｂ，Ｃの三つの○が対象物を示している。これらの対象物を左右の撮像素子で撮像して左眼画像と右眼画像の相関マトリックスを作った場合、図７（ｂ）のようになる。図７（ｂ）では、左眼画像の画素１〜ｎの線と右眼画像の画素１〜ｎの線との交点の位置において相関機能があるとしている。図７（ａ）の対象物Ａ，Ｂ，Ｃに対して図７（ｂ）に示したＡ，Ｂ，Ｃの三つの○の位置で大きな相関が検出される。従って、相関マトリックス上で相関の大きい座標を検出し、この座標を図７（ａ）の斜交座標に座標変換すれば、対象物までの距離を検出することが可能である。なお、図７（ａ）に示した斜交座標は、左右の撮像素子の位置とそれらの相対角度によって決定することができる。従って、相関マトリックスからこの斜交座標への座標変換は、予め用意した換算表を参照することによって容易にできる。
【００１２】
図８は先に提案した特許文献１において記載された視差センサＬＳＩの構成例を示す図である。視差センサ１は、２つの撮像素子２ａ，２ｂ、シーケンサ３、２つの電圧・パルス幅変換回路アレイ４ａ，４ｂ、２つのパルス信号比較回路アレイ５ａ，５ｂ、相関検知回路マトリックス６、及びシーケンサ７を備えている。
【００１３】
左右の撮像素子２ａ，２ｂは、眼の役割を担う。以下では、便宜上、撮像素子２ａの側を左眼と呼び、撮像素子２ｂの側を右眼と呼ぶ。撮像素子２ａ，２ｂは、撮像面に入射する光を電圧信号に変換して出力する。ここでは、撮像素子２ａ，２ｂとしては、ＣＣＤ受光素子のようなイメージセンサが使用されているものとする。シーケンサ３は、撮像素子２ａ，２ｂに対してライン選択のための読出信号を出力する。
【００１４】
電圧・パルス幅変換回路アレイ４ａ，４ｂは、撮像素子２ａ，２ｂからライン並列に出力される各画素のアナログ電圧信号（以下、「画素信号」という。）を、並列的にパルス幅に変換し、パルス幅画素信号として出力する。
【００１５】
パルス信号比較回路アレイ５ａ，５ｂは、並列的に入力されるパルス幅画素信号を、隣接するもの同士で比較を行い、比較パルス信号として出力する。
【００１６】
相関検知回路マトリックス６は、左眼側のパルス信号比較回路アレイ５ａから出力される比較パルス信号と、右眼側のパルス信号比較回路アレイ５ｂから出力される比較パルス信号とについて、すべての組み合わせに対する相関演算を行い相関信号として出力する。シーケンサ７は、相関検知回路マトリックス６の相関信号の出力タイミングを制御するための出力タイミング制御信号を、相関検知回路マトリックス６に対して出力する。相関検知回路マトリックス６は、出力タイミング制御信号に従って、相関信号を順次出力する。
【００１７】
図９は図８の視差センサについてより詳細な回路構成を示した図である。図９において、図８と同様の部分には同符号が付してある。
【００１８】
撮像素子２ａ，２ｂは、垂直方向にｍ行、水平方向にｎ行の画素の行列（画素行列）を有する。撮像素子２ａ，２ｂは、シーケンサ３によって、同じ行が選択され、その行内のｎ個の画素の画素信号が電圧・パルス幅変換回路アレイ４ａ，４ｂに並列に出力される。
【００１９】
電圧・パルス幅変換回路アレイ４ａ，４ｂは、それぞれ、ｎ個の電圧・パルス幅変換回路８が並列に配列された構成を有する。各電圧・パルス幅変換回路８には、それぞれ撮像素子２ａ，２ｂから出力される画素信号が入力される。電圧・パルス幅変換回路アレイ４ａ，４ｂのすべての電圧・パルス幅変換回路８には、同期制御回路１３（図１０参照）から、共通のランプ電圧が入力される。これにより、すべての電圧・パルス幅変換回路８は、同タイミングで画素信号をパルス幅画素信号に変換することができる。
【００２０】
パルス信号比較回路アレイ５ａ，５ｂは、それぞれ、ｎ−１個のパルス信号比較回路９が並列に配列された構成を有する。各パルス信号比較回路９には、隣接する２つの電圧・パルス幅変換回路８が出力するパルス幅画素信号が入力される。各パルス信号比較回路９は、入力された２つのパルス幅画素信号を比較し、２つのパルスの＋方向の差と−方向の差を各々比較パルス信号として出力する。
【００２１】
相関検知回路マトリックス６は、（ｎ−１）×（ｎ−１）個の相関検知回路１０が、（ｎ−１）行（ｎ−１）列の菱形状に配列された構成からなる。ここでは便宜上、左眼側のパルス信号比較回路アレイ５ａから出力される比較パルス信号が入力される斜辺を左斜辺と呼び、右眼側のパルス信号比較回路アレイ５ｂから出力される比較パルス信号が入力される斜辺を右斜辺と呼ぶ。
【００２２】
左斜辺に沿って上からｉ番目に属する相関検知回路１０には、左眼側のパルス信号比較回路アレイ５ａ内のｉ番目のパルス信号比較回路９が出力する比較パルス信号が入力される。右斜辺と平行に配列する相関検知回路１０には、左眼側のパルス信号比較回路アレイ５ａ内のパルス信号比較回路９が出力する比較パルス信号が共通に入力される。
【００２３】
右斜辺に沿って上からｊ番目に属する相関検知回路１０には、右眼側のパルス信号比較回路アレイ５ｂ内のｊ番目のパルス信号比較回路９が出力する比較パルス信号が入力される。左斜辺と平行に配列する相関検知回路１０には、右眼側のパルス信号比較回路アレイ５ｂ内のパルス信号比較回路９が出力する比較パルス信号が共通に入力される。
【００２４】
すべての相関検知回路１０には、共通のバイアス電圧Ｖbとリセット信号Ｒｅｓｅｔが与えられている。
【００２５】
縦方向に配列する相関検知回路１０には、列ごとに共通の読出線が接続されている。そしてこの読出線を介して、シーケンサ７から共通の読出信号Ｒｅａｄが入力される。また、横方向に配列する相関検知回路１０には、行ごとに共通の出力線が接続されている。各相関検知回路１０は、入力される比較パルス信号のパルス幅を電流値に変換して相関信号として出力線に出力する。各出力線の終端には、カレント・ミラー回路等の電流電圧変換回路１１が接続されている。各相関検知回路１０が出力する相関信号の電流値を、電圧値に変換して外部回路に出力する。
【００２６】
シーケンサ７は、シフト・レジスタ１２により構成されている。左側のシフト・レジスタ１２に読出信号が入力されると、１クロックごとに読み出し信号は右側のシフト・レジスタ１２に移動していく。従って、左側の列に属する相関検知回路１０から順次相関信号が読み出されていく。
【００２７】
次に、図９における電圧・パルス幅変換回路８の詳細について説明する。図１０は電圧・パルス幅変換回路８の構成を表す図である。本実施例における電圧・パルス幅変換回路８は、論理閾値可変調インバータ回路（ＶＴ−ＩＮＶ）により構成されている。
【００２８】
論理閾値可変調インバータ回路（ＶＴ−ＩＮＶ）は、制御ゲートに印加される利得係数制御電圧により利得係数を変調することが可能な、ＣＭＯＳ型インバータを備えており、この制御ゲートが、利得係数制御端子（ＣＮＴ）に接続された構成からなる。なお、電圧・パルス幅変換回路８における利得係数制御端子（ＣＮＴ）は、同期制御回路１３に接続されている。同期制御回路１３は、ランプ信号生成回路により構成されている。このランプ信号生成回路が発生するランプ電圧が、すべての電圧・パルス幅変換回路８の利得係数制御端子（ＣＮＴ）に対して共通に入力される。従って、すべての電圧・パルス幅変換回路８は、同タイミングで電圧・パルス幅変換を行う。
【００２９】
図１１は電圧・パルス幅変換回路８の動作例を示す図である。同期制御回路１３が出力するランプ電圧（Ｒａｍｐ Ｓｉｇ．）は、図１１の最上段に示したような鋸歯状となる。このランプ電圧が利得係数制御端子（ＣＮＴ）に入力されると、電圧・パルス幅変換回路８の論理閾値電圧Ｖinvは、図１１の点線で示したように変化する。すなわち、ランプ電圧の増加に伴って、論理閾値電圧Ｖinvは減少する。そして、論理閾値電圧Ｖinvが画素信号の電圧（Ａｎａｌｏｇ Ｖin）よりも小さくなったとき、電圧・パルス幅変換回路８の出力端子に出力されるパルス幅画素信号（ＯＵＴ）がＨレベルとなる。そして、ランプ電圧が再び最低レベルに戻ると、論理閾値電圧Ｖinvは最大となり、パルス幅画素信号（ＯＵＴ）がＬレベルとなる。
【００３０】
このように、パルス幅画素信号（ＯＵＴ）がＬレベルとなるタイミングはランプ電圧により決められるため一定である。しかし、パルス幅画素信号（ＯＵＴ）がＨレベルとなるタイミングは、画素信号の電圧が高いほど早く、画素信号の電圧が低いほど遅くなる。従って、パルス幅画素信号（ＯＵＴ）がＨレベルとなる時間（パルス幅画素信号のパルス幅）は、画素信号の電圧に比例する。すなわち、画素信号の電圧値はパルス幅画素信号のパルス幅に変換される。
【００３１】
次に、図９におけるパルス信号比較回路９の詳細について説明する。図１２はパルス信号比較回路９の構成を表す図である。このパルス信号比較回路９は、４つのインバータ４１，４２，４５，４６と２つのＡＮＤゲート４３，４４から構成されている。この回路は、入力端子ＩＮａ，ＩＮｂに対して、出力値（比較パルス信号）ＯＵＴ+，ＯＵＴ-として、次の値を出力する。
ＯＵＴ+＝ＩＮａ∧（／ＩＮｂ）
ＯＵＴ-＝ＩＮｂ∧（／ＩＮａ） ・・・・・・（数１）
ここで、（／ＩＮｂ）、（／ＩＮａ）は、それぞれＩＮｂ、ＩＮａの反転信号、∧は論理積を表す。
【００３２】
図１３はパルス信号比較回路９の動作例を表すタイムチャートである。入力端子ＩＮａ，ＩＮｂには、隣り合う電圧・パルス幅変換回路の出力（パルス幅画素信号）がそれぞれ入力される。各入力信号のパルスの終端（立ち下がり）は、ランプ電圧の立ち下がりエッジで決められるため一定の時刻に揃っている。一方、各入力信号のパルスの始端（立ち上がり）は、画素信号の大きさに比例して変化する。
【００３３】
入力端子ＩＮａの入力信号が入力端子ＩＮｂの入力信号よりも長い場合、入力端子ＩＮａの入力信号の方が入力端子ＩＮｂの入力信号より先に立ち上がる。ＩＮａ＝１，ＩＮｂ＝０のときには、（数１）よりＯＵＴ+＝１，ＯＵＴ-＝０である。また、ＩＮａ＝１，ＩＮｂ＝１のときには、（数１）よりＯＵＴ+＝０，ＯＵＴ-＝０である。従って、比較パルス信号ＯＵＴ+に、ＩＮａ−ＩＮｂの差分パルスが出力される。
【００３４】
一方、入力端子ＩＮｂの入力信号が入力端子ＩＮａの入力信号よりも長い場合、入力端子ＩＮｂの入力信号の方が入力端子ＩＮａの入力信号より先に立ち上がる。ＩＮａ＝０，ＩＮｂ＝１のときには、（数１）よりＯＵＴ+＝０，ＯＵＴ-＝１である。また、ＩＮａ＝１，ＩＮｂ＝１のときには、（数１）よりＯＵＴ+＝０，ＯＵＴ-＝０である。従って、比較パルス信号ＯＵＴ-に、ＩＮｂ−ＩＮａの差分パルスが出力される。
【００３５】
入力端子ＩＮｂの入力信号と入力端子ＩＮａの入力信号の長さが同じであれば、比較パルス信号ＯＵＴ+，ＯＵＴ-には、パルスは出力されない。
【００３６】
このように、アナログ電圧信号である画素信号の電圧値を、パルス幅画素信号のパルス幅に写像することで、簡単な論理回路を用いて画素値の差分演算を行うことが可能となる。
【００３７】
なお、この回路では、入力端子ＩＮｂの入力信号と入力端子ＩＮａの入力信号の相関が大きいほど短いパルスが出力される。
【００３８】
次に、図９における相関検知回路１０の詳細について説明する。図１４は相関検知回路１０の構成を表す図である。相関検知回路１０は、コンデンサ５０、電流スイッチ回路５１，５２、電流源５３、リセット・スイッチ５４、出力回路５５、及び読出スイッチ５６を備えている。
【００３９】
コンデンサ５０は、相関信号を発生するための電荷を蓄電する。電流スイッチ回路５１は、入力端子Ｒ＋，Ｌ＋から入力される入力信号の排他論理和の真理値に従って、導通／遮断制御がされ、導通状態においてコンデンサ５０に蓄電された電荷を一定電流で放電させる。電流スイッチ回路５２は、入力端子Ｒ−，Ｌ−から入力される入力信号の排他論理和の真理値に従って、導通／遮断制御がされ、導通状態においてコンデンサ５０に蓄電された電荷を一定電流で放電させる。電流源５３は、電流スイッチ回路５１，５２が導通状態となったときに、一定の放電電流を流すための回路である。リセット・スイッチ５４は、リセット信号（Ｒｅｓｅｔ）が入力されたときに導通状態となり、電源からコンデンサ５０に電荷を供給して、コンデンサ５０の両端電圧を電源電圧Ｖdとする。
【００４０】
出力回路５５は、コンデンサ５０の電圧に比例した電流を流す回路であり、コンデンサ５０の電圧を電流に変換して出力するための回路である。出力回路５５は、ＭＯＳトランジスタによって構成されている。ゲートにコンデンサ５０の電圧が入力され、ドレイン電流として出力される。これにより、コンデンサ５０の電圧は、漏洩電流が無視できるとすれば、出力中は一定である。従って、安定した相関信号を出力することを可能としている。読出スイッチ５６は、出力回路５５による電流出力のオン・オフを行うためのものである。
【００４１】
相関検知回路１０では、入力信号の相関程度をコンデンサ５０の蓄積電荷量で表現する。リセット直後は、蓄積電荷量は最大である。入力信号の相関程度が低いほど、多くの電荷を放電させ、コンデンサ５０の蓄積電荷量を減少させる。これにより、相関演算が実現される。放電電流は、電流スイッチ回路５１，５２の何れかを介してグランド側に流れる。
【００４２】
図１５は相関検知回路１０の動作例を表すタイムチャートである。まず、最初に、リセット信号（Ｒｅｓｅｔ）が０とされ（ｔ１）、コンデンサ５０の電圧Ｖｃが電源電圧Ｖdとされる。そして、リセット信号を１とした後（ｔ２）、Ｌ＋，Ｌ−に左眼側のパルス信号比較回路９が出力する比較パルス信号ＯＵＴ＋，ＯＵＴ−が入力され、Ｒ＋，Ｒ−に右眼側のパルス信号比較回路９が出力する比較パルス信号ＯＵＴ＋，ＯＵＴ−が入力される。
【００４３】
Ｒ＋とＬ＋の何れか一方が１で他方が０のとき（ｔ３〜ｔ４，ｔ５〜ｔ６，ｔ１０〜ｔ１１，ｔ１２〜ｔ１３）は、電流スイッチ回路５１が導通状態となる。従って、このとき、コンデンサ５０の電荷は放電され、コンデンサ５０の電圧は減少する。
【００４４】
Ｒ−とＬ−の何れか一方が１で他方が０のとき（ｔ２２〜ｔ２３，ｔ２４〜ｔ２５，ｔ２９〜ｔ３０，ｔ３１〜ｔ３２）は、電流スイッチ回路５２が導通状態となる。従って、このとき、コンデンサ５０の電荷は放電され、コンデンサ５０の電圧は減少する。
【００４５】
Ｒ＋，Ｌ＋がともに０またはともに１、かつ、Ｒ−，Ｌ−がともに０またはともに１のとき（ｔ１〜ｔ３，ｔ４〜ｔ５，ｔ６〜ｔ１０，ｔ１１〜ｔ１２，ｔ１３〜ｔ２２，ｔ２３〜ｔ２４，ｔ２５〜ｔ２９，ｔ３０〜ｔ３１，ｔ３２〜）は、電流スイッチ回路５１，５２はともに遮断状態となる。従って、このときはコンデンサ５０の電圧Ｖｃは一定である。
【００４６】
ランプ信号の立ち下がり後、コンデンサ５０の電圧Ｖｃが確定する。Ｒ＋とＬ＋の相関が小さい場合、またはＲ−とＬ−の相関が小さい場合には、最終的なコンデンサ５０の電圧Ｖｃは低くなる。逆に、Ｒ＋とＬ＋の相関が大きい場合、またはＲ−とＬ−の相関が大きい場合には、最終的なコンデンサ５０の電圧Ｖｃは高い状態に維持される。
【００４７】
コンデンサ５０の電圧Ｖｃの確定後、読出信号（ｒｅａｄ）が１となり（ｔ７，ｔ１４，ｔ１９，ｔ２６，ｔ３３）、読出スイッチ５６が導通状態となる。これにより、出力回路５５は、コンデンサ５０の電圧Ｖｃに比例した大きさの電流を出力する。
【００４８】
出力が終了した後、再びリセット信号が０とされ（ｔ８，ｔ１５，ｔ２０，ｔ２７）、同様の相関検知演算が繰り返される。
【００４９】
以上のように構成された本実施例に係る視差センサについて、以下その全体の動作を説明する。
【００５０】
図１６は視差センサ１の動作の一例を表すタイムチャートである。図１６では、説明の便宜上、ある２つの画素に着目して表示しているが、すべての画素において同様な動作が同時並行的に行われる。
【００５１】
まず、撮像素子２ａ，２ｂから画素信号ａ，ｂが出力される（ｔ０）。これにより、電圧・パルス幅変換回路アレイ４ａ，４ｂ内の各電圧・パルス幅変換回路８において、入力電圧が確定する。図１６の例では、画素信号ａの方が画素信号ｂよりも高い値となっている。
【００５２】
次に、相関検知回路１０に対してリセット信号（Ｒｅｓｅｔ）のパルスが入力され（ｔ１〜ｔ２）、コンデンサ５０の電圧ＶcがＶdに設定される。
【００５３】
次に、同期制御回路１３がランプ信号（Ｒａｍｐ Ｓｉｇ．）の出力を開始し、ランプ信号の電圧が徐々に増加する。これに伴って、各電圧・パルス幅変換回路８において論理閾値電圧Ｖinvは減少する。そして、図１６の例では画素信号ａの電圧の方が画素信号ｂの電圧よりも高いので、まず、左眼側の電圧・パルス幅変換回路８において、論理閾値電圧Ｖinvが画素信号ａの電圧よりも低くなる（ｔ３）。これにより、左眼側の電圧・パルス幅変換回路８の出力するパルス幅画素信号（ＡＰＷＣ ＯＵＴ−ａ）が１となる。このとき、右眼側の電圧・パルス幅変換回路８の出力するパルス幅画素信号（ＡＰＷＣ ＯＵＴ−ｂ）は０である。従って、パルス信号比較回路９の出力（比較パルス信号）ＤＩＦＣ ＯＵＴ＋が１となる。
【００５４】
更に時間が経過してランプ信号が増加すると、今度は右眼側の電圧・パルス幅変換回路８において、論理閾値電圧Ｖinvが画素信号ｂの電圧よりも低くなる（ｔ４）。これにより、右眼側の電圧・パルス幅変換回路８の出力するパルス幅画素信号（ＡＰＷＣ ＯＵＴ−ｂ）が１となる。このとき、左眼側の電圧・パルス幅変換回路８の出力するパルス幅画素信号（ＡＰＷＣ ＯＵＴ−ａ）は１である。従って、パルス信号比較回路９の出力（比較パルス信号）ＤＩＦＣ ＯＵＴ＋が０となる。このパルス信号比較回路９の出力（比較パルス信号）ＤＩＦＣ ＯＵＴ＋のパルス幅（ｔ３〜ｔ４）が画素間の相関を表す。
【００５５】
一方、このパルス信号比較回路９の出力（比較パルス信号）ＤＩＦＣ ＯＵＴ＋が１の間（ｔ３〜ｔ４）、電流スイッチ回路５１が導通状態となる。従って、この間はコンデンサ５０の電荷はスイッチ回路５１を介してグランドに放電される。そして、比較パルス信号ＤＩＦＣ ＯＵＴ＋が立ち下がった時点（ｔ４）で、コンデンサ５０の電圧Ｖcが確定する。その後、ランプ信号が立ち下がり（ｔ５）、ここですべての相関演算処理が終了する。
【００５６】
次に、読出期間に移る。読出期間（ｔ６）では、シーケンサ７のシフト・レジスタ１２に対してクロックＣＬＫが供給される。そして、最左端のシフト・レジスタ１２に対して、入力信号ＳＲｉｎとして一定期間１が入力される。
【００５７】
この入力信号ＳＲｉｎのパルス幅Ｔｓは、通常は、クロックＣＬＫに対して数倍の幅とされる。このパルス幅Ｔｓは、検知できる対象物の大きさに影響を与えるので、状況に応じて変更できるようにする。一般に、Ｔｓを大きくするほど、大きな対象物の認識が容易となり、細かいノイズが減少する。一方、Ｔｓを小さくすれば、小さな対象物が認識しやすくなるが、ノイズ量は多くなる。従って、Ｔｓを設定することで、高周波フィルタの周波数特性を設定できる。
【００５８】
入力信号ＳＲｉｎのパルスは、クロックＣＬＫに従って、左側のシフト・レジスタ１２から右側のシフト・レジスタ１２に向かって移動していく。シフト・レジスタ１２の出力は、読出信号（Ｒｅａｄ）として、各列の相関検知回路１０に入力される。従って、相関検知回路マトリックス６の各列の相関検知回路１０内のコンデンサ５０に保持された相関信号は、左から右に向かって順次読み出される。
【００５９】
図１７は特許文献１に記載された視差センサのパルス信号比較回路の他の構成を表す図である。なお、その他の構成については図１２の構成と同様であり、説明は省略する。
【００６０】
このパルス信号比較回路９’は、図１２のパルス信号比較回路９に対して、インバータ４１，４２の代わりにＡＮＤゲート４７，４８が用いられている点で相違している。ＡＮＤゲート４７，４８は、一方の側の入力端子には入力信号ＩＮａ，ＩＮｂが入力され、他方の側の入力端子には、選択信号Ｃｎａ，Ｃｎｂが入力される。Ｃｎａを０とすると、ＯＵＴ−には入力信号ＩＮｂがそのまま出力される。Ｃｎｂを０とすると、ＯＵＴ＋には入力信号ＩＮａがそのまま出力される。
【００６１】
これにより、パルス信号比較回路アレイ５ａ，５ｂにおいて、隣り合う信号の比較を行わず、電圧・パルス幅変換回路アレイ４ａ，４ｂの出力をそのまま相関検知回路マトリックス６に入力させることが可能となる。従って、この場合、相関検知回路マトリックス６では、左眼画像と右眼画像の画素をそのまま相関演算処理することができる。
【００６２】
従って、用途に応じて、選択信号Ｃｎａ，Ｃｎｂを操作して、画素信号の直接相関処理を行うか、画像の変化信号の相関処理を行うかを切り替えることが可能となる。
【００６３】
【特許文献１】特開２００５−２６５４５７号公報
【発明の開示】
【発明が解決しようとする課題】
【００６４】
上述した従来技術により得られる視差相関データは、図１８に例を示すように、対象物ａが存在する所に特徴的なパターンｃができるので、その特徴パターンｃの座標を検出することで、対象物の横方向の位置と奥行（対象物までの距離）を特定することができる。しかし、対象物ａの特徴パターンが存在する位置の画像の両斜め方向に、帯状のパターンｂ１，ｂ２が必ず現れるので、対象物ａの特徴パターンｃを検出するためには、パターンマッチング等の処理が必要となる。
そこで、本発明は、帯状のパターン等を削除して、対象物の特徴パターンのみを得ることのできる視差センサおよび視差画像の生成方法を提供することを目的とする。
【課題を解決するための手段】
【００６５】
前記課題を解決するため、本発明の視差センサは、対象物を撮像し、アナログ電圧信号である画素信号として第１画像を出力する第１の撮像素子と、
前記第１の撮像素子とは異なる角度から前記対象物を撮像し、アナログ電圧信号である画素信号として第２画像を出力する第２の撮像素子と、
前記第１及び第２の撮像素子から出力される画素信号の各々を、各画素信号の電圧値に比例する長さのパルス幅を有するパルス幅画素信号に変換する複数の電圧・パルス幅変換回路と、
すべての前記各電圧・パルス幅変換回路が同時並列的に各画素信号をパルス幅画素信号に変換するようにタイミング制御を行う同期制御回路と、
隣接する前記電圧・パルス幅変換回路が出力する２つのパルス幅画素信号を比較し、２つのパルス幅画素信号の＋方向の差と−方向の差をそれぞれ比較パルス信号として出力する複数のパルス信号比較回路と、
前記第１画像に対応する前記パルス信号比較回路の出力である比較パルス信号と前記第２画像に対応する前記パルス信号比較回路の出力である比較パルス信号のそれぞれの組み合わせからなる２つの比較パルス信号に対して、両者の排他論理和をとった差分パルスの全パルス長を、その全パルス長に比例する電圧値または電流値の信号に変換し、この信号を相関信号として出力する複数の相関検知回路と、
を備えている視差センサにおいて、
前記パルス信号比較回路の出力である比較パルス信号のパルス幅が一定の長さ以下であることを検知するゼロ信号検知回路と、そのゼロ信号検知回路の出力信号に従って前記比較パルス信号または予め決められた信号を選択し前記相関検知回路に出力する選択回路とからなるゼロ相関除去信号発生回路を備えたことを特徴とする。
【００６６】
また、本発明の視差画像の生成方法は、第１の撮像素子で対象物を撮像し、アナログ電圧信号である画素信号として第１画像を出力すると同時に、第２の撮像素子で前記第１の撮像素子とは異なる角度から前記対象物を撮像し、アナログ電圧信号である画素信号として第２画像を出力する第１のステップと、
前記第１及び第２の撮像素子が出力する各画素信号を、複数の電圧・パルス幅変換回路により、同時並列的に、その画素信号の電圧値に比例する長さのパルス幅を有するパルス幅画素信号に変換する第２のステップと、
隣接する前記電圧・パルス幅変換回路が出力する２つのパルス幅画素信号を比較し、２つのパルス幅画素信号の＋方向の差と−方向の差をそれぞれ比較パルス信号として出力する第３のステップと、
前記比較パルス信号のパルス幅が一定の長さ以下であることを検知したときに、前記比較パルス信号または予め決められた信号を選択して出力する第４のステップと、
複数の相関検知回路により、前記第１画像に対応する比較パルス信号、但し前記第４のステップにおいて予め決められた信号が選択されたときはその予め決められた信号と、前記第２画像に対応する比較パルス信号（但し前記第４のステップにおいて予め決められた信号が選択されたときはその予め決められた信号）のそれぞれの組み合わせからなる２つのパルス幅画素信号に対して、両者の排他論理和をとった差分パルスの全パルス長を、その全パルス長に比例する電圧値または電流値の信号に変換し、この信号を相関信号として出力する第５のステップと、
を有することを特徴とする。
【００６７】
本発明においては、相関回路に与えられるパルス信号のうちそのパルス幅がゼロ信号と見なすべき一定の長さより短い場合、すなわち隣接するパルス信号がほぼ等しいときに、そのパルス信号を変調することで、対象物以外の相関値を強制的に小さくする。その結果、対象物の相関パターンのみを残す。この機能を実現するために、一定の長さより短いパルス幅を検知する回路と、その出力信号によってパルス信号を強制的な予め与えられたパルス信号とする回路を備える。
本発明の回路構成は、回路面積と消費電力を共に従来より小さくできるので、二つのイメージセンサ機能とそれらの相関処理回路を一つのＬＳＩチップ内に集積することが可能になる。
従って、本発明の視差センサにより高速な測距が可能になり、レーダーに比べて大幅な装置コストと消費電力の低減が可能になる。この視差センサはパッシブ測距方式なのでアクティブ方式における信号干渉の問題が回避できるメリットがある。
また、前記ゼロ信号検知回路に、比較パルス信号をＭＯＳＦＥＴを介して入力し、そのＭＯＳＦＥＴのゲートに与える電圧値によって検知するパルス幅を調整する機能を備えることにより、複数のＡＰＷ変換回路やパルス信号比較回路を構成する多数のトランジスタ等の特性のばらつきにより生じるひげ状のパルスの除去を容易にすることができる。
【発明の効果】
【００６８】
本発明によれば、相関回路に与えられるパルス信号のうちそのパルス幅が一定の長さより短い場合に、そのパルス信号を変調して、対象物の相関パターンのみを残すことによって、相関データは対象物の部分のみ特徴的な値となるので、簡単な閾値処理だけでその位置を検出することが可能となり、後処理の演算コストを大幅に低減できる。その結果、装置のコストを低減できると共に処理時間も短縮できる。
【発明を実施するための最良の形態】
【００６９】
以下、本発明の実施の形態を、図１〜図６を用いて説明する。
図１は本発明の実施の形態に係る視差センサの構成を示す図、図２は本実施の形態に係るゼロ相関除去信号発生回路の構成を示す回路図、図３は本実施の形態に係るゼロ信号検知回路の構成を示す回路図、図４は本実施の形態に係るＲ−Ｓフリップフロップ回路の構成を示す回路図、図５は本実施の形態に係るゼロ相関除去機能を導入した相関検知回路の動作例を示すタイムチャート、図６は本実施の形態に係る相関データの例を示すチャートである。
図１に示すように、本実施の形態に係る視差センサ回路は、図８に示した特許文献１において提案された従来の視差センサ回路に、ゼロ相関除去信号発生回路アレイ１５ａ，１５ｂを設けたものである。その他の構成は従来の構成と同様であるので、同じ符号を付して説明を省略する。
【００７０】
本発明の特徴であるゼロ相関除去信号発生回路アレイ１５ａ，１５ｂをそれぞれ構成する（ｎ−１）個（但し、ｎは、左眼、右眼の撮像素子２ａ，２ｂを構成する画素の水平方向の行数）のゼロ相関除去信号発生回路１６の構成例を図２に示す。ゼロ相関除去信号発生回路１６は、ゼロ信号検知回路１６１と２個の選択回路１６２，１６３より構成されている。ゼロ信号検知回路１６１は、パルス信号比較回路９の出力である比較パルス信号ＯＵＴ＋，ＯＵＴ−のパルス幅が一定の長さ以下であることを検知するものであり、選択回路１６２，１６３は、ゼロ信号検知回路１６１の出力信号（ＳｅｔＯｕｔ）に従って比較パルス信号または予め決められた信号（Ｈ／Ｌ）を選択し、ＭＯＵＴ＋，ＭＯＵＴ−として次の相関検知回路１０に出力するものである。すなわち、選択回路１６２，１６３は、Ｓｅｌ端子に与えられるＳｅｔＯｕｔ出力が０のときはＸ端子に与えられる値、すなわち予め決められた値であるＨ／Ｌを出力し、ＳｅｔＯｕｔ出力が１のときはＹ端子に与えられる値、すなわちパルス信号比較回路９の出力であるＯＵＴ＋，ＯＵＴ−を出力する。
【００７１】
ゼロ信号検知回路１６１は、図３に示すように、ＮＯＲ回路１６１１と、ＮＯＴ回路１６１２とＭＯＳＦＥＴ１６１３と、Ｒ−Ｓフリップフロップ１６１４と、ＮＡＮＤ回路１６１５から構成されている。なお、ＭＯＳＦＥＴ１６１３は、そのゲートに与える電圧値によって検知するパルス幅を調整する機能をもたせたものであり、複数のＡＰＷ変調回路やパルス信号比較回路を構成する多数のトランジスタ等の特性のばらつきにより生じるひげ状のパルスの除去を容易にすることができる。
Ｒ−Ｓフリップフロップ１６１４の構成例を図４に示す。
このＲ−Ｓフリップフロップ１６１４の入出力の真理値表を表１に示す。
【００７２】
【表１】
【００７３】
以上の構成のゼロ相関除去信号発生回路１６の動作を、図５を用いて説明する。
まず、最初に、リセット信号Ｒｅｓｅｔ（Ｒｓｔはその反転信号）が０とされ（ｔ１）、相関検知回路１０（図１４参照）のコンデンサ５０の電圧Ｖｃが電源電圧Ｖdとされる。そして、リセット信号を１とした後（ｔ２）、左眼用のゼロ相関除去信号検知回路１６１のＡ，Ｂに左眼側のパルス信号比較回路９が出力する比較パルス信号ＯＵＴ＋（ＬＯＵＴ＋），ＯＵＴ−（ＬＯＵＴ−）が入力され、右眼用のゼロ相関除去信号検知回路１６１のＡ，Ｂに右眼側のパルス信号比較回路９が出力する比較パルス信号ＯＵＴ＋（ＲＯＵＴ＋），ＯＵＴ−（ＲＯＵＴ−）が入力される。
【００７４】
右眼側の比較パルス信号について説明すると、ＲＯＵＴ＋とＲＯＵＴ−の何れか一方が１で他方が０のとき（ｔ３〜ｔ５，ｔ１２〜ｔ１３，ｔ２１〜ｔ２２，ｔ３４〜ｔ３６，ｔ４４〜ｔ４５）は、Ｒ／Ｑはｔ３〜ｔ１０で０、ｔ１０〜ｔ１２で１、ｔ１２〜ｔ１９で０、ｔ１９〜ｔ２１で１、ｔ２１〜ｔ２６で０、ｔ２６〜ｔ３４で１、ｔ３４〜ｔ４０で０、ｔ４０〜ｔ４４で１、ｔ４４〜で０である。選択回路１６２，１６３の出力は、ＳｅｔＯｕｔ出力が１のとき（Ｒ／Ｑ出力が０またはＡｃｔ値が０のとき）はＲＯＵＴ＋，ＲＯＵＴ−がそのまま出力されるが、ＳｅｔＯｕｔ出力が０（Ｒ／Ｑ出力が１かつＡｃｔ値が１のとき）は予め決められたＲＨ／Ｌが出力される。
【００７５】
同様に、左眼側の比較パルス信号について説明すると、ＬＯＵＴ＋とＬＯＵＴ−の何れか一方が１で他方が０のとき（ｔ４〜ｔ６，ｔ１４〜ｔ１５，ｔ２１〜ｔ２２，ｔ３３〜ｔ３５，ｔ４２〜ｔ４３）は、Ｌ／Ｑは〜ｔ４で１、ｔ４〜ｔ１０で０、ｔ１０〜ｔ１４で１、ｔ１４〜ｔ１９で０、ｔ１９〜ｔ２１で１、ｔ２１〜ｔ２６で０、ｔ２６〜ｔ３３で１、ｔ３３〜ｔ４０で０、ｔ４０〜ｔ４２で１、ｔ４２〜で０である。選択回路１６２，１６３の出力は、ＳｅｔＯｕｔ出力が１のとき（Ｌ／Ｑ出力が０またはＡｃｔ値が０のとき）ＬＲＯＵＴ＋，ＬＯＵＴ−がそのまま出力されるが、ＳｅｔＯｕｔ出力が０（Ｌ／Ｑ出力が１かつＡｃｔ値が１のとき）は予め決められたＬＨ／Ｌが出力される。
【００７６】
以上のＲＭＯＵＴ＋，ＲＭＯＵＴ−，ＬＭＯＵＴ＋，ＬＭＯＵＴ−の出力が図１４の相関検知回路１０のＲ＋，Ｒ−，Ｌ＋，Ｌ−の端子に入力される。
まず、最初に、リセット信号（Ｒｅｓｅｔ）が０とされ（ｔ１）、コンデンサ５０の電圧Ｖｃが電源電圧Ｖdとされる。そして、リセット信号を１とした後（ｔ２）、Ｌ＋，Ｌ−に左眼側のゼロ相関除去信号検知回路１６１が出力する比較パルス信号ＬＭＯＵＴ＋，ＬＭＯＵＴ−が入力され、Ｒ＋，Ｒ−に右眼側のゼロ相関除去信号発生回路１６１が出力する比較パルス信号ＲＭＯＵＴ＋，ＲＭＯＵＴ−が入力される。
【００７７】
Ｒ＋とＬ＋の何れか一方が１で他方が０のとき（ｔ３〜ｔ４，ｔ５〜ｔ６，ｔ１２〜ｔ１３，ｔ１４〜ｔ１５）は、電流スイッチ回路５１が導通状態となる。従って、このとき、コンデンサ５０の電荷は放電され、コンデンサ５０の電圧は減少する。
【００７８】
Ｒ−とＬ−の何れか一方が１で他方が０のとき（ｔ２８〜ｔ２９，ｔ２９〜ｔ３１，ｔ３３〜ｔ３４，ｔ３５〜ｔ３６，ｔ４２〜ｔ４３，ｔ４４〜ｔ４５）は、電流スイッチ回路５２が導通状態となる。従って、このとき、コンデンサ５０の電荷は放電され、コンデンサ５０の電圧は減少する。
【００７９】
Ｒ＋，Ｌ＋がともに０またはともに１、かつ、Ｒ−，Ｌ−がともに０またはともに１のとき（ｔ１〜ｔ３，ｔ４〜ｔ５，ｔ２１〜ｔ２２，ｔ３４〜ｔ３５，ｔ３６〜ｔ４０，ｔ４３〜ｔ４４，ｔ４５〜）は、電流スイッチ回路５１，５２はともに遮断状態となる。従って、このときはコンデンサ５０の電圧Ｖｃは一定である。
【００８０】
ランプ信号の立ち下がり後、Ｒｅａｄ信号が立ち上がる迄に、コンデンサ５０の電圧Ｖｃが確定する。Ｒ＋とＬ＋の相関が小さい場合、またはＲ−とＬ−の相関が小さい場合には、最終的なコンデンサ５０の電圧Ｖｃは低くなる。逆に、Ｒ＋とＬ＋の相関が大きい場合、またはＲ−とＬ−の相関が大きい場合には、最終的なコンデンサ５０の電圧Ｖｃは高い状態に維持される。また、ゼロ相関除去信号発生回路によって、パルス信号がＨ／Ｌ信号に代えられて与えられた相関回路のＶｃは強制的に低い値となる。
【００８１】
コンデンサ５０の電圧Ｖｃの確定後、読出信号（ｒｅａｄ）が１となり（ｔ９，ｔ１８，ｔ２５，ｔ３０，ｔ３９，ｔ４７）、読出スイッチ５６が導通状態となる。これにより、出力回路５５は、コンデンサ５０の電圧Ｖｃに比例した大きさの電流を出力する。
【００８２】
出力が終了した後、再びリセット信号が０とされ（ｔ１０，ｔ１９，ｔ２６，ｔ３１，ｔ４０）、同様の相関検知演算が繰り返される。
【００８３】
以上のように、パルス信号比較回路９の＋と−の出力である比較パルス信号をゼロ信号検知回路１６１で検知したときは予め決められた信号を出力し、それ以外のときはその比較パルス信号を出力するようにしたので、相関データは対象物の部分のみ特徴的な値となる。したがって、簡単な閾値処理だけでその位置を検出することが可能となり、後処理の演算コストを大幅に低減できる。その結果、装置のコストを低減できると共に処理時間も短縮できる。
【００８４】
上述した本実施の形態の視差センサにより得られる視差相関データは、図６に例を示すように、対象物ａが存在する所に特徴的なパターンｃができるので、その特徴パターンｃの座標を検出することで、対象物の横方向の位置と奥行（対象物までの距離）を特定することができる。
【産業上の利用可能性】
【００８５】
本発明は、ステレオ視に基づいて距離情報を容易に抽出することができる視差センサおよび視差画像の生成方法として、３次元動き検知装置や監視装置等の分野に利用することができる。
【図面の簡単な説明】
【００８６】
【図１】本発明の実施の形態に係る視差センサの構成を表す図である。
【図２】本発明の実施の形態に係るゼロ相関除去信号発生回路の構成を示す回路図である。
【図３】本発明の実施の形態に係るゼロ信号検知回路の構成を示す回路図である。
【図４】本発明の実施の形態に係るＲ−Ｓフリップフロップ回路の構成を示す回路図である。
【図５】本発明の実施の形態に係るゼロ相関除去機能を導入した相関検知回路の動作例を示すタイムチャートである。
【図６】本発明の実施の形態に係る相関データの例を示すチャートである。
【図７】二眼視差による距離検出の原理を示す図である。
【図８】特許文献１において提案された視差センサの構成を示す図である。
【図９】図８の視差センサについてより詳細な回路構成を示した図である。
【図１０】電圧・パルス幅変換回路の構成を表す図である。
【図１１】電圧・パルス幅変換回路の動作例を示すタイムチャートである。
【図１２】パルス信号比較回路の構成を表す図である。
【図１３】パルス信号比較回路の動作例を表すタイムチャートである。
【図１４】相関検知回路の構成を表す図である。
【図１５】相関検知回路の動作例を表すタイムチャートである。
【図１６】視差センサの動作例を表すタイムチャートである。
【図１７】特許文献１記載の視差センサのパルス信号比較回路の他の構成を表す図である。
【図１８】特許文献１記載の視差センサによる相関データの例を示すチャートである。
【符号の説明】
【００８７】
１ 視差センサ
２ａ，２ｂ 撮像素子
３ シーケンサ
４ａ，４ｂ 電圧・パルス幅変換回路アレイ
５ａ，５ｂ パルス信号比較回路アレイ
６ 相関検知回路マトリックス
７ シーケンサ
８ 電圧・パルス幅変換回路
９，９’ パルス信号比較回路（ＤＩＦＣ）
１０ 相関検知回路（ＭＡＴＣ）
１１ 電流電圧変換回路（ＩＶＣ）
１２ シフト・レジスタ
１３ 同期制御回路
１５ａ，１５ｂ ゼロ相関除去信号発生回路アレイ
１６ ゼロ相関除去信号発生回路
１６１ ゼロ信号検知回路
１６２，１６３ 選択回路
１６１１ ＮＯＲ回路
１６１２ ＮＯＴ回路
１６１３ ＭＯＳＦＥＴ
１６１４ Ｒ−Ｓフリップフロップ
１６１５ ＮＡＮＤ回路
２１ チャネル・サイズ可変調ＭＯＳトランジスタ（ＶＳ−ＭＯＳ）
２２ ソース
２２ａ，２３ａ，２４ａ，２５ａ，２６ａ コンタクト・ホール
２３ ドレイン
２４ メイン・ゲート
２５，２６ 制御ゲート
２５ｂ，２６ｂ 隙間
３１ ＶＳ−ｐＭＯＳ
３２ ＶＳ−ｎＭＯＳ
４１，４２，４５，４６ インバータ
４３，４４，４７，４８ ＡＮＤゲート
５０ コンデンサ
５１，５２ 電流スイッチ回路
５３ 電流源
５４ リセット・スイッチ
５５ 出力回路
５６ 読出スイッチ
【特許請求の範囲】
【請求項１】
対象物を撮像し、アナログ電圧信号である画素信号として第１画像を出力する第１の撮像素子と、
前記第１の撮像素子とは異なる角度から前記対象物を撮像し、アナログ電圧信号である画素信号として第２画像を出力する第２の撮像素子と、
前記第１及び第２の撮像素子から出力される画素信号の各々を、各画素信号の電圧値に比例する長さのパルス幅を有するパルス幅画素信号に変換する複数の電圧・パルス幅変換回路と、
すべての前記各電圧・パルス幅変換回路が同時並列的に各画素信号をパルス幅画素信号に変換するようにタイミング制御を行う同期制御回路と、
隣接する前記電圧・パルス幅変換回路が出力する２つのパルス幅画素信号を比較し、２つのパルス幅画素信号の＋方向の差と−方向の差をそれぞれ比較パルス信号として出力する複数のパルス信号比較回路と、
前記第１画像に対応する前記パルス信号比較回路の出力である比較パルス信号と前記第２画像に対応する前記パルス信号比較回路の出力である比較パルス信号のそれぞれの組み合わせからなる２つの比較パルス信号に対して、両者の排他論理和をとった差分パルスの全パルス長を、その全パルス長に比例する電圧値または電流値の信号に変換し、この信号を相関信号として出力する複数の相関検知回路と、
を備えている視差センサにおいて、
前記パルス信号比較回路の出力である比較パルス信号のパルス幅が一定の長さ以下であることを検知するゼロ信号検知回路と、そのゼロ信号検知回路の出力信号に従って前記比較パルス信号または予め決められた信号を選択し前記相関検知回路に出力する選択回路とからなるゼロ相関除去信号発生回路１６を備えたことを特徴とする視差センサ。
【請求項２】
前記ゼロ信号検知回路に、比較パルス信号をＭＯＳＦＥＴを介して入力し、そのＭＯＳＦＥＴのゲートに与える電圧値によって検知するパルス幅を調整する機能を備えたことを特徴とする請求項１記載の視差センサ。
【請求項３】
第１の撮像素子で対象物を撮像し、アナログ電圧信号である画素信号として第１画像を出力すると同時に、第２の撮像素子で前記第１の撮像素子とは異なる角度から前記対象物を撮像し、アナログ電圧信号である画素信号として第２画像を出力する第１のステップと、
前記第１及び第２の撮像素子が出力する各画素信号を、複数の電圧・パルス幅変換回路により、同時並列的に、その画素信号の電圧値に比例する長さのパルス幅を有するパルス幅画素信号に変換する第２のステップと、
隣接する前記電圧・パルス幅変換回路が出力する２つのパルス幅画素信号を比較し、２つのパルス幅画素信号の＋方向の差と−方向の差をそれぞれ比較パルス信号として出力する第３のステップと、
前記比較パルス信号のパルス幅が一定の長さ以下であることを検知したときに、前記比較パルス信号または予め決められた信号を選択して出力する第４のステップと、
複数の相関検知回路により、前記第１画像に対応する比較パルス信号、但し前記第４のステップにおいて予め決められた信号が選択されたときはその予め決められた信号と、前記第２画像に対応する比較パルス信号、但し前記第４のステップにおいて予め決められた信号が選択されたときはその予め決められた信号のそれぞれの組み合わせからなる２つのパルス幅画素信号に対して、両者の排他論理和をとった差分パルスの全パルス長を、その全パルス長に比例する電圧値または電流値の信号に変換し、この信号を相関信号として出力する第５のステップと、
を有することを特徴とする視差画像の生成方法。
【請求項１】
対象物を撮像し、アナログ電圧信号である画素信号として第１画像を出力する第１の撮像素子と、
前記第１の撮像素子とは異なる角度から前記対象物を撮像し、アナログ電圧信号である画素信号として第２画像を出力する第２の撮像素子と、
前記第１及び第２の撮像素子から出力される画素信号の各々を、各画素信号の電圧値に比例する長さのパルス幅を有するパルス幅画素信号に変換する複数の電圧・パルス幅変換回路と、
すべての前記各電圧・パルス幅変換回路が同時並列的に各画素信号をパルス幅画素信号に変換するようにタイミング制御を行う同期制御回路と、
隣接する前記電圧・パルス幅変換回路が出力する２つのパルス幅画素信号を比較し、２つのパルス幅画素信号の＋方向の差と−方向の差をそれぞれ比較パルス信号として出力する複数のパルス信号比較回路と、
前記第１画像に対応する前記パルス信号比較回路の出力である比較パルス信号と前記第２画像に対応する前記パルス信号比較回路の出力である比較パルス信号のそれぞれの組み合わせからなる２つの比較パルス信号に対して、両者の排他論理和をとった差分パルスの全パルス長を、その全パルス長に比例する電圧値または電流値の信号に変換し、この信号を相関信号として出力する複数の相関検知回路と、
を備えている視差センサにおいて、
前記パルス信号比較回路の出力である比較パルス信号のパルス幅が一定の長さ以下であることを検知するゼロ信号検知回路と、そのゼロ信号検知回路の出力信号に従って前記比較パルス信号または予め決められた信号を選択し前記相関検知回路に出力する選択回路とからなるゼロ相関除去信号発生回路１６を備えたことを特徴とする視差センサ。
【請求項２】
前記ゼロ信号検知回路に、比較パルス信号をＭＯＳＦＥＴを介して入力し、そのＭＯＳＦＥＴのゲートに与える電圧値によって検知するパルス幅を調整する機能を備えたことを特徴とする請求項１記載の視差センサ。
【請求項３】
第１の撮像素子で対象物を撮像し、アナログ電圧信号である画素信号として第１画像を出力すると同時に、第２の撮像素子で前記第１の撮像素子とは異なる角度から前記対象物を撮像し、アナログ電圧信号である画素信号として第２画像を出力する第１のステップと、
前記第１及び第２の撮像素子が出力する各画素信号を、複数の電圧・パルス幅変換回路により、同時並列的に、その画素信号の電圧値に比例する長さのパルス幅を有するパルス幅画素信号に変換する第２のステップと、
隣接する前記電圧・パルス幅変換回路が出力する２つのパルス幅画素信号を比較し、２つのパルス幅画素信号の＋方向の差と−方向の差をそれぞれ比較パルス信号として出力する第３のステップと、
前記比較パルス信号のパルス幅が一定の長さ以下であることを検知したときに、前記比較パルス信号または予め決められた信号を選択して出力する第４のステップと、
複数の相関検知回路により、前記第１画像に対応する比較パルス信号、但し前記第４のステップにおいて予め決められた信号が選択されたときはその予め決められた信号と、前記第２画像に対応する比較パルス信号、但し前記第４のステップにおいて予め決められた信号が選択されたときはその予め決められた信号のそれぞれの組み合わせからなる２つのパルス幅画素信号に対して、両者の排他論理和をとった差分パルスの全パルス長を、その全パルス長に比例する電圧値または電流値の信号に変換し、この信号を相関信号として出力する第５のステップと、
を有することを特徴とする視差画像の生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図６】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図６】
【図１８】
【公開番号】特開２００９−２３６６６１（Ｐ２００９−２３６６６１Ａ）
【公開日】平成２１年１０月１５日（２００９．１０．１５）
【国際特許分類】
【出願番号】特願２００８−８２５９０（Ｐ２００８−８２５９０）
【出願日】平成２０年３月２７日（２００８．３．２７）
【出願人】（５０４１７４１３５）国立大学法人九州工業大学 (489)
【Ｆターム（参考）】
【公開日】平成２１年１０月１５日（２００９．１０．１５）
【国際特許分類】
【出願日】平成２０年３月２７日（２００８．３．２７）
【出願人】（５０４１７４１３５）国立大学法人九州工業大学 (489)
【Ｆターム（参考）】
[ Back to top ]