対象検知方法及び対象検知システム
【課題】本発明は、対象検知方法及び該方法が用いられる対象検知システムを提供する。
【解決手段】該方法は、同一シーンの深度図を撮像するとともに、撮像した深度図に基づいて該シーンの視差図を算出し、得られた視差図に基づいて前記シーンのＶ−視差図を取得し、Ｖ−視差図において道路に対応する斜線を検知するとともに、該斜線により視差図から道路を抽出することで、道路を含まないサブ視差図が得られ、Ｖ−視差図において縦線を検知し、前記サブ視差図から検知された各縦線に対応する全ての点を対象サブ視差図として抽出し、視差距離が所定値未満になり且つ重畳領域の比率が所定の閾値を超えた任意の対象サブ視差図同士の矩形フレームを１つの矩形フレーム対象領域に併合する。
【解決手段】該方法は、同一シーンの深度図を撮像するとともに、撮像した深度図に基づいて該シーンの視差図を算出し、得られた視差図に基づいて前記シーンのＶ−視差図を取得し、Ｖ−視差図において道路に対応する斜線を検知するとともに、該斜線により視差図から道路を抽出することで、道路を含まないサブ視差図が得られ、Ｖ−視差図において縦線を検知し、前記サブ視差図から検知された各縦線に対応する全ての点を対象サブ視差図として抽出し、視差距離が所定値未満になり且つ重畳領域の比率が所定の閾値を超えた任意の対象サブ視差図同士の矩形フレームを１つの矩形フレーム対象領域に併合する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象検知方法及び対象検知システムに関し、特に、車両用の道路検知方法及び道路対象検知システムに関する。
【背景技術】
【０００２】
都市化の発展と自動車の普及に伴い、交通運送問題が日増しに深刻になってきている。近年、車両増加速度が、道路と他の交通施設の増加速度よりも遥かに速くなっており、頻繁な交通事故や、増える一方の死亡者数や、莫大な財産損失等から、優れた安全性かつ一定の知能性を兼備した車両が求められ、知能車(Intelligent Vehicle)の概念がその機運に応じて次第に生まれつつある。同時に、無人、全自動、安全運転を最終目標とした知能車の研究がなされている。
【０００３】
従来技術においては、前述の機能を実現するために、運転手の車両に近接する対象（例えば、人や、他の車両）を検知するように、路面の視差図による集合化を行うとともに、運転手への警告や車両の移動状態の自動制御が可能な方法が提案されている。このような方法においては、３次元空間における同一対象領域内の点は近接しているとし、距離に応じた隣接点の集合化を行うともに、全体の視差図における集合化を行っている。しかしながら、該方法においては、全体の視差図における集合化を行い、１秒内に２フレームしか取得できないことから、非常に時間が掛かるのみならず、車両の突発状況への処置の効率が低く、きわめて強い実用性を有していない。他の従来技術においては、ＢＭＷ研究センターにより、車両検知及び識別システムが提案されている（VISIGRAPH 2010にて発表）。該システムにおいては、立体視覚による車両検知を行い、先ず、同一面のセグメントのmean-shiftグループ化により、車両を検知し、次に、U-V視覚方法により、異なる車両をカバー可能な車両仮説を生成している。ＢＭＷ研究センターの方法による処理速度は、2.5フレーム（3.2GHz，1GB RAMのデスクトップ、debug 環境下）となる。該方法では、mean-shift集合化方法による画像分割が行われ、u-v視差方法による対象検索が行われていることから、ＢＭＷ研究センターによる方法も、非常に時間のかかるものであった。
【０００４】
特許文献１（米国特許US7729512B2）には、移動対象を検知する立体画像処理方法が提案されている。該方法においては、周辺の輝度と異なる、かつ閾値を超えた点を特徴点とみなし、特徴点の視差が視差分布における閾値を超えた場合は、該点を内部移動対象特徴点に分類している。該方法では、集合化方法が用いられているが、該方法に用いられる輝度方法は、周辺環境と同一輝度を有する移動対照への検知は不可能であることから、対象検知の信頼性に劣っている。特に、該方法においては、対象が隣接した道端の木と同一の視差を有する場合は、該道端の木と同一の視差を有する対象の検知が不可能になる。
【０００５】
このため、運転の安全性を向上するための効果的な車両補助運転及び衝突前の警告が可能な、迅速かつ正確な道路対象検知方法及びシステムが求められている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、道路シーンの視差及びＶ−視差図による道路対象の検知が可能な、迅速かつ正確な道路対象検知方法及びシステムを提供する。
【０００７】
具体的に、双眼視覚の対象識別技術を用いた車両前方障害物の自動識別を行うものである。このために、Ｖ−視差と称されている算法が導入されている。Ｖ−視差により、障害物と道路面の区別工程の簡略化が可能になる。Ｖ−視差図においては、道路面の平面の縦断面が線分線形曲線として記述され、直交面における障害物が直交腺として投射される。このため、３Ｄ視差図における道路面と障害物の抽出は、Ｖ−視差図における２Ｄ線形抽出と簡略化される。このため、このような算法により、前方の、通行人や、車両や、壁等の面特徴を有する障害物の識別が可能になる。また、このような算法は、照度、陰影等のノイズに影響されず、都市の複雑な背景下の知能車両の障害物識別に適している。具体的に、双眼によるＶ−視差識別工程は、主に、Ｖ−視差図の構築、道路抽出、Ｖ−視差図からの、道路対象を表す縦線の抽出といった、３つの部分の内容が含まれている。
【課題を解決するための手段】
【０００８】
このため、本発明の一態様においては、２台のデプスカメラにより同一シーンの深度図を同時撮像するとともに、撮像した深度図に基づいて該シーンの視差図を算出するステップと、得られた視差図に基づいて、Ｖ−視差算法により、前記シーンのＶ−視差図を取得するステップと、Ｖ−視差図において道路に対応する斜線を検知するとともに、視差図からＶ−視差図において検知された斜線に対応する全ての点を削除することにより、道路を含まないサブ視差図が得られるステップと、Ｖ−視差図において縦線を検知するとともに、検知された各縦線に基づいて、前記道路を含まないサブ視差図から、検知された各縦線に対応する全ての点を対象サブ視差図として抽出するステップと、視差間隔が所定値未満になり、且つ重畳領域の比率が所定の閾値を超えた任意の対象サブ視差図同士の矩形フレームを１つの矩形フレーム対象領域として併合するステップとを含む、対象検知方法を提供する。
【０００９】
また、本発明の対象検知方法においては、前記Ｖ−視差図において道路に対応する斜線を検知することが、Ｈｏｆｆ変換により行われてもよい。
【００１０】
また、本発明の対象検知方法においては、Ｖ−視差図において縦線を検知することが、Ｖ−視差図から、０ではない同一階調度を有する連続点を検索することにより行われてもよい。
【００１１】
また、本発明の対象検知方法においては、前記Ｖ−視差図において道路に対応する斜線を検知するとともに、視差図からＶ−視差図において検知された斜線に対応する全ての点を削除することが、Ｈｏｆｆ変換により、Ｖ−視差図において斜線分を検知するステップと、Ｖ−視差図の横座標軸及び縦座標軸と交差するように、検知された斜線を延伸させるステップと、検知された斜線の横座標値に基づいて、線分をサブ線分に分割するステップと、各々のサブ線分に対応する視差図における、各々の視差値範囲内の点を視差図から削除するステップと、を含んでもよい。
【００１２】
また、本発明の対象検知方法においては、併合処理前に、各対象サブ視差図の点集合化処理を行うステップをさらに含んでもよい。
【００１３】
また、本発明の対象検知方法においては、点集合化処理前に、各対象サブ視差図を構成する点の平滑化処理を行うとともに、対象サブ視差図領域中の連結点を削除するステップをさらに含んでもよい。
【００１４】
また、本発明の他の態様においては、同一シーンの深度図を同時撮像するとともに、撮像した深度図に基づいて該シーンの視差図を算出する２台のデプスカメラと、得られた視差図に基づいて、Ｖ−視差算法により、前記シーンのＶ−視差図を取得するＶ−視差算出装置と、Ｖ−視差図において道路に対応する斜線を検知するとともに、視差図からＶ−視差図において検知された斜線に対応する全ての点を削除することにより、道路を含まないサブ視差図を取得する道路抽出装置と、Ｖ−視差図において縦線を検知するとともに、検知された各縦線に基づいて、前記道路を含まないサブ視差図から、検知された各縦線に対応する全ての点を対象サブ視差図として抽出する対象領域検知装置と、視差間隔が所定値未満になり、且つ重畳領域の比率が所定の閾値を超えた任意の対象サブ視差図同士の矩形フレームを１つの矩形フレーム対象領域として併合する対象領域併合装置と、を有する対象検知システムを提供する。
【００１５】
また、本発明の対象検知システムにおいては、前記対象領域検知装置が、Ｖ−視差図から、０ではない同一階調度を有する連続点を検索することにより縦線を検知してもよい。
【００１６】
また、本発明の対象検知システムにおいては、前記道路抽出装置が、Ｈｏｆｆ変換により、Ｖ−視差図において斜線分を検知し、Ｖ−視差図の横座標軸及び縦座標軸と交差するように、検知された斜線を延伸させ、検知された斜線の横座標値に基づいて、線分をサブ線分に分割し、各々のサブ線分に対応する視差図における、各々の視差値範囲内の点を視差図から削除するステップにより、前記Ｖ−視差図において道路に対応する斜線を検知するとともに、視差図からＶ−視差図において検知された斜線に対応する全ての点を削除してもよい。
【００１７】
また、本発明の対象検知システムにおいては、各対象サブ視差図を構成する点の平滑化処理を行うとともに、対象サブ視差図領域中の連結点を削除するノイズ処理装置と、ノイズ処理後の各対象サブ視差図の点集合化処理を行う点集合化装置をさらに有してもよい。
【発明の効果】
【００１８】
本発明の対象検知方法及びシステムによると、１７フレーム/ｓの処理速度が可能になることから、従来技術よりも、さらに処理速度を加速化することができる。なお、本発明の方法及びシステムにおいては、ｖ−視差図により対象を含むサブ視差図の検索を行ってから、簡単な集合化方法により、対象検知を行うため、検知精度を著しく向上することができる。また、本発明の方法は、輝度データを用いることなく、視差とＶ−視差図を用いるため、同一輝度を有する異なる対象の明確な区別が可能になる。
【図面の簡単な説明】
【００１９】
【図１】本発明の対象検知方法を用いたシステムの基本ブロック図である。
【図２】対象検知器１０４の配置ブロック図である。
【図３】道路検知器１０５の配置ブロック図である。
【図４】本発明による対象領域検知器のモジュール図である。
【図５】本発明による対象検知方法の全体フローチャートである。
【図６】本発明の対象検知方法及びシステムを用いた詳細例である。
【図７】視差図を示した図である。
【図８】Ｖ−視差図算出器１０３の視差図によるＶ−視差図の算出例を説明した図である。
【図９】Ｖ−視差図からの斜線の検知例を示した図である。
【図１０】Ｖ−視差図における斜線分割を示した図である。
【図１１】視差図からの道路抽出を示した図である。
【図１２】対象サブ視差図の抽出工程を示した図である。
【図１３】対象サブ視差図への平滑化処理工程を示した図である。
【図１４】対象サブ視差図への点集合化処理を示した図である。
【図１５】対象領域併合工程を示した図である。
【発明を実施するための形態】
【００２０】
本発明は、安全な自動車運転が可能になるように、道路中の対象を検知する検知方法及び検知システムを提供することを目的とする。以下、図面を参照して本発明の具体的な実施例について詳細に説明する。
【００２１】
図１は、本発明の対象検知方法を用いたシステムの基本ブロック図である。図１に示されたように、本発明の方法は、基本的に１つのＣＰＵにより実現してもよく、それぞれ独立し、かつ関連付けられている単独のモジュールの共同で実現してもよい。本発明の対象検知システムは、内部メモリ１０１とＣＰＵ１０２を有し、ＣＰＵ１０２は、Ｖ−視差図算出器１０３と対象検知器１０４を有し、内部メモリ１０１は、視差図が格納されている。該視差図は、２台の平行設定されたデプスカメラにより同時撮像された同一シーンの２つの深度図から得られたものである。図６は、本発明の対象検知方法及びシステムを用いた詳細例を示し多図である。該例においては、２つの平行設置されたデプスカメラが装着された自動車が示され、該２台の平行設置されたデプスカメラは、人間の両目のように、レンズ前の同一シーンの深度図を同時撮像することができる。撮像された深度図は、直接カメラ内のプロセッサで処理されるとともに、該シーンの視差図が出力され、内部メモリ１０１に格納されるようにしてもよい。または、撮像された深度図が、ＣＰＵ１０２に送信され、ＣＰＵ１０２により処理が施され、現在シーンの視差図が得られるとともに、内部メモリ１０１に格納されるようにしてもよい。図７は、視差図を示した図である。視差図の取得方法は、当業者が実施可能なものであるため、ここでは、視差図取得方法の説明は割愛する。
【００２２】
前述のＶ−視差図算出器１０３は、内部メモリ１０１から読み取った視差図をもとに、Ｖ−視差算出処理を行い、前記視差図のＶ−視差図を取得する。Ｖ−視差図の高さは、視差図の高さと等しく、幅は最大の視差値となり、視差図における各行(l)に対し、同一の視差値(v)を有する点の数（n）を算出することで、V-視差図における点p, pの横座標v、縦座標l、強度nが得られる。
【００２３】
図８は、Ｖ−視差図算出器１０３の視差図によるＶ−視差図の算出例を説明した図である。詳細工程としては、視差図における各行に対し、同一階調値を有する点の数を統計することで、Ｖ−視差図における点Ｐが得られる。得られたＶ−視差図の座標において、横座標ｘの値が点Ｐの階調値を表し、換言すると、視差図の同一行における同一階調値の点は、Ｖ−視差図において同一点で表されるとともに、該点Ｐの横座標が、該点Ｐの視差図における階調値となる。一方、得られたＶ−視差図の座標において、縦座標は、点Ｐの視差図における対応点の視差図における行を表し、Ｖ−視差図における点Ｐの図中の強度は、視差図の同一行における同一階調値を有する点の数を表している。道路に関しては、視差図における道路の同一行の各点の深度値が同一となることから、即ち、視差図における階調値が同一となることから、Ｖ−視差算出後に得られたＶ−視差図においては、１つの点（例えば、点Ｐ）が視差図における道路上の同一行の各点を表すことになる。視差図において、道路の深度値（即ち、階調値）は視差図における行数と反比例することから、Ｖ−視差図における道路を表す点からなる図形は、必ず斜線となる。
【００２４】
前記対象検知器１０４は、Ｖ−視差図算出器１０３から出力されたＶ−視差図に基づき、具体的な対象の検知を行う。図２は、対象検知器１０４の配置ブロック図である。前記対象検知器１０４は、道路検知器１０５と、対象領域検知器１０６と、対象領域併合器１０７を有する。
【００２５】
前記道路検知器１０５は、Ｖ−視差図における道路に該当する斜線を検知し、斜線上の各点に対し、視差図の同一行における視差値の、該点の横座標値で決められた範囲内の全ての点を削除し、最終的に道路を含まないサブ視差図が得られる。図３は、道路検知器１０５の配置ブロック図である。図３に示されたように、道路検知器１０５は、Ｖ−視差図斜線検知器１０８と、道路抽出器１０９を有している。先ず、Ｖ−視差図斜線検知器１０８は、Ｖ−視差図中の道路を表す斜線を検知する。通常、Ｈｏｆｆ変換を用いたＶ−視差図における斜線分の検知が行われる。ｘ座標軸とｙ座標軸と交差するように、該斜線を延伸する。図９は、Ｖ−視差図における斜線の検知例を示した図である。
【００２６】
Ｖ−視差図中の道路を表す斜線が検知されると、Ｖ−視差図中の水平座標軸と垂直座標軸と交差するように、検知された斜線を延伸する。次に、前記道路抽出器１０９は、延伸された斜線に基づき、斜線を構成する各点を視差図における対応点に回復し、これらの対応点が、視差図における道路部分の点となる。視差図における道路部分に回復後、原視差図から、検知された斜線に該当する道路部分を引き去ることで、視差図からの道路の抽出が可能になる。
【００２７】
実際に、道路とデプスカメラが完全に直交しないことがあるため、得られた深度値には誤差が生じるおそれがある。このため、通常、道路抽出の前に、より正確に全ての路面を決定できるように、視差値（即ち、Ｖ−視差図におけるｘ座標値で、斜線上の点の視差図における階調値や、深度値である。）による、斜線の分割を行う。このため、ｘ座標値により、線分をサブ線分に分割することになる。各サブ線分に対しては、道路が連続していることから、道路抽出用に異なる視差値範囲を用いることになる。出願人は、実験から、デプスカメラまでの距離dcが10ｍ未満になると、道路視差範囲が[D,D-2]（像素）となり、距離dcが10ｍより大きくかつ２０ｍより小さくなると、道路視差範囲が[D,D-1]となり、距離dcが20ｍを超えた場合は、同一の道路視差値D（像素）となることを見出した。
【００２８】
視差値D= f*T/(dc+f)において、fは、カメラの焦点距離であり、Tは、２つのカメラ間の距離（例えば、0-50ｃｍ）であり、dcは、カメラ対象までの距離である。
【００２９】
カメラまでの距離dcが10ｍである場合、前記式から、視差２７が得られる。距離dcが20ｍであると、視差15となる。そこで、
【数１】
が得られる。式中、Dは、視差値であり、単位は画素となる。
【００３０】
図１０は、Ｖ−視差図における斜線分割を示した図である。前記道路抽出器１０９は、分割された線分に基づき、視差図の道路を抽出する。所定のＶ−視差図中の斜線上の各点に対し、視差図における同一行から、区間範囲内の点を検索し、これらの点が道路点となる。図１１は、視差図からの道路抽出を示した図である。具体的に、Ｖ−視差図における分割された複数のサブ線分の斜線により、斜線に対応する道路の斜視図を取得し、その後、原視差図から、得られた道路の視差図を引き去ることで、道路上の対象のみを含むサブ視差図が得られる。
【００３１】
前記道路抽出器１０９は、道路抽出後に、対象を含むサブ視差図を対象領域検知器１０６へ出力する。前記対象領域検知器１０６は、具体的な対象の視差図における特徴に基づき、前記道路検知器１０５により出力されたサブ視差図から、疑似対象を抽出する。図４は、本発明による対象領域検知器のモジュール図である。前記対象領域検知器１０６は、縦線検知器１１０と、対象抽出器１１１と、ノイズ処理器１１２と、点集合化処理器１１３を有している。前記縦線検知器１１０は、Ｖ−視差図から縦線を検知する。Ｖ−視差図における各縦線は、１つの対象に対応している可能性がある。具体的に、Ｖ−視差図から、０ではない同じ階調値（同一のｘ座標値）を有する連続した点を検索する。これらの連続した点からなる線が、視差図における推定の対象となる。
【００３２】
前記対象抽出器１１１は、縦線検知器１１０から検知及び出力されたＶ−視差図における各縦線に基づき、前記道路検知器１０５により出力されたサブ視差図から、検出された縦線上の各点に対応する点を検索し、検索されたサブ視差図における対応点から、サブ視差図中の対象の視差図（以下、対象サブ視差図と称される）が構成され、次に、前記対象抽出器１１１が、検索された対象サブ視差図をサブ視差図から抽出し、ノイズ処理器１１２へ送信する。図１２は、対象サブ視差図の抽出工程を示した図である。図１２においては、対象の典型的なサブ視差図であることから、D=27の対象サブ視差図が示されている。
【００３３】
対象を含む可能性のある対象サブ視差図の抽出工程において、前記対象抽出器１１１により抽出及び出力されたＶ−視差図における縦線の各点において、そのうちの１点の視差をＤとすると、サブ視差図における同一行から、範囲(D, D+δ)の全ての点を検索し、これらの点が対象上の点である可能性がある。δ値は、視差値（視差値は、視差図における各点の強度値、或いは「階調値」となる）に応じた値となる。
【数２】
【００３４】
該式から、視差値Dが２０以上の場合は、δが2となり、視差値が２０未満になる場合は、δが０となることが分かる。このため、Ｖ−視差図における縦線上の１点を、視差図における同一行上の点に逆写像する場合、Dが２０以上であると、該点に対応するものは、同一のＤの点のみならず、視差図における同一行上の、強度値（或いは階調値）が(D, D+δ)範囲内の全ての点となる。一方、Dが２０未満であると、該点に対応するものは、同一のＤの点のみとなる。
【００３５】
次に、前記ノイズ処理器１１２は、前記対象抽出器１１１から出力された対象サブ視差図への平滑処理を行うとともに、対象サブ視差図領域中の連結点を削除する。平滑処理については、従来技術に複数の方法があり、当業者が選択し本発明に適用することができる。本発明においては、中間値フィルタ方法による平滑処理が用いられているが、他の平滑処理方法を用いてもよい。中間値フィルタ方法による平滑処理は、先ず、対象サブ視差図におけるあるサンプルウィンドーから奇数個のデータ（階調値）を選択し、並べ替え、並べ替え後の中間値を、ウィンドー中の全ての点の階調値の代わりに用いる。図１３は、対象サブ視差図への平滑化処理工程を示した図である。
【００３６】
次に、前記点集合化処理器１１３は、対象サブ視差図への点集合化処理を行う。図１４においては、各矩形における、互いに繋がっている点への集合化を行う。具体的に、対象サブ視差図におけるｘ座標軸間の距離と、ｙ座標軸間の距離の集合化を行う。各矩形における、互いに繋がっている点への集合化を行う。２つの点において、これらのｘ軸距離が２以下であり、かつｙ軸距離も２以下であると、これれの２点は同類に属している。任意の１点において、該任意の１点と、任意の既存のＣ類に属する１点とのｘ軸距離が２以下で、かつｙ軸距離も２以下であると、該任意の１点は、任意の既存のＣ類に属するものとなる。該任意の点が任意の既存のＣ類に属さない場合は、該任意の点をもとに、該任意の点を含む１つの新規類を生成する。前記点集合化処理器１１３は、前記点ん集合化後に、各対象を含む各矩形フレーム対象領域を出力する。
【００３７】
最後に、図１５に示すように、対象領域併合器１０７は、点集合化処理器１１３から出力された各対象領域の併合処理を行い、併合後の対象領域を出力する。
【００３８】
重畳領域比率が所定閾値よりも大きく、かつ視差距離が所定値未満になる対象領域を併合し、併合処理後の対象領域を最終に出力する。重畳面積と視差距離により、矩形対象領域の併合を行う。具体的に、任意の２つの矩形フレーム（x0，y0，w0，h0）,(x1，y1，w1，h1)において、（x0,y0）、（x1,y1）が、各矩形の左上角の点座標となり、w0、w1が、矩形対象領域の幅となり、h0、h1が、矩形対象領域の高さとなる。該２つの矩形対象領域のデプスカメラまでの距離の差の絶対値が、所定値（例えば、３ｍとしてもよく，0.5ｍ、1ｍ、1.5ｍ、または2ｍと設定してもよい）未満になると、該２つの矩形対象領域の重畳面積を算出し、該２つの矩形対象領域の重畳面積と、そのうちの面積の小さい矩形対象領域の面積との比が、所定比（例えば、0.65、0.7、或いは0.75）を超えた場合、該２つの矩形対象領域を併合し、併合後の矩形対象領域（min（x0，x1），min(y0，y1)，max(w0，w1)，max(h0，h1)）が得られる。ここで、min()は、２値のうちの最小値の関数であり、max（）は、２値のうちの最大値の関数である。
【００３９】
図５は、本発明による対象検知方法の全体フローチャートである。図５に示されたように、ステップＳ２０１において、前記Ｖ−視差図算出器１０３は、内部メモリ１０１から読み取った視差図をもとに、Ｖ−視差算出処理を行い、前記視差図のＶ−視差図を取得する。次に、ステップＳ２０２において、対象検知器１０４における道路検知器１０５が、Ｖ−視差図における道路を検知するとともに、視差図から、検知されたＶ−視差図中の道路に対応する視差画像を引き去ることで、原視差図のサブ視差図を取得する。次に、ステップＳ２０３において、対象検知器１０４における対象領域検知器１０６が、具体的な対象の視差図における特徴に基づき、前記道路検知器１０５から出力されたサブ視差図から疑似対象を抽出するとともに、点集合化処理を施す。最後に、ステップＳ２０４において、対象領域併合器１０７が、対象領域検知器１０６から出力された対象領域の併合を行い、併合後の対象領域を出力する。
【００４０】
図６は、本発明の対象検知方法及びシステムを用いた環境を示した図であり、双眼デプスカメラとＣＰＵ１０２が装着された自動車及び双眼デプスカメラで撮像された画像が含まれている。
【００４１】
本発明の以上の方法は、１つのコンピュータ（プロセッサ）で実行されてもよく、複数のコンピュータで分散的に実行されてもよい。なお、プログラムは、プログラムが実行される遠隔コンピュータに移送されてもよい。
【００４２】
以上の説明は、本発明の好適な実施例に過ぎない。当業者は、設計需要と他の要素に応じて、添付された特許請求範囲及びこれと同等物の範囲内の種々の修正や、組み合わせや、サブ組み合わせや、変更が可能なことは理解すべきである。
【先行技術文献】
【特許文献】
【００４３】
【特許文献１】米国特許第ＵＳ7729512Ｂ2号明細書
【技術分野】
【０００１】
本発明は、対象検知方法及び対象検知システムに関し、特に、車両用の道路検知方法及び道路対象検知システムに関する。
【背景技術】
【０００２】
都市化の発展と自動車の普及に伴い、交通運送問題が日増しに深刻になってきている。近年、車両増加速度が、道路と他の交通施設の増加速度よりも遥かに速くなっており、頻繁な交通事故や、増える一方の死亡者数や、莫大な財産損失等から、優れた安全性かつ一定の知能性を兼備した車両が求められ、知能車(Intelligent Vehicle)の概念がその機運に応じて次第に生まれつつある。同時に、無人、全自動、安全運転を最終目標とした知能車の研究がなされている。
【０００３】
従来技術においては、前述の機能を実現するために、運転手の車両に近接する対象（例えば、人や、他の車両）を検知するように、路面の視差図による集合化を行うとともに、運転手への警告や車両の移動状態の自動制御が可能な方法が提案されている。このような方法においては、３次元空間における同一対象領域内の点は近接しているとし、距離に応じた隣接点の集合化を行うともに、全体の視差図における集合化を行っている。しかしながら、該方法においては、全体の視差図における集合化を行い、１秒内に２フレームしか取得できないことから、非常に時間が掛かるのみならず、車両の突発状況への処置の効率が低く、きわめて強い実用性を有していない。他の従来技術においては、ＢＭＷ研究センターにより、車両検知及び識別システムが提案されている（VISIGRAPH 2010にて発表）。該システムにおいては、立体視覚による車両検知を行い、先ず、同一面のセグメントのmean-shiftグループ化により、車両を検知し、次に、U-V視覚方法により、異なる車両をカバー可能な車両仮説を生成している。ＢＭＷ研究センターの方法による処理速度は、2.5フレーム（3.2GHz，1GB RAMのデスクトップ、debug 環境下）となる。該方法では、mean-shift集合化方法による画像分割が行われ、u-v視差方法による対象検索が行われていることから、ＢＭＷ研究センターによる方法も、非常に時間のかかるものであった。
【０００４】
特許文献１（米国特許US7729512B2）には、移動対象を検知する立体画像処理方法が提案されている。該方法においては、周辺の輝度と異なる、かつ閾値を超えた点を特徴点とみなし、特徴点の視差が視差分布における閾値を超えた場合は、該点を内部移動対象特徴点に分類している。該方法では、集合化方法が用いられているが、該方法に用いられる輝度方法は、周辺環境と同一輝度を有する移動対照への検知は不可能であることから、対象検知の信頼性に劣っている。特に、該方法においては、対象が隣接した道端の木と同一の視差を有する場合は、該道端の木と同一の視差を有する対象の検知が不可能になる。
【０００５】
このため、運転の安全性を向上するための効果的な車両補助運転及び衝突前の警告が可能な、迅速かつ正確な道路対象検知方法及びシステムが求められている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、道路シーンの視差及びＶ−視差図による道路対象の検知が可能な、迅速かつ正確な道路対象検知方法及びシステムを提供する。
【０００７】
具体的に、双眼視覚の対象識別技術を用いた車両前方障害物の自動識別を行うものである。このために、Ｖ−視差と称されている算法が導入されている。Ｖ−視差により、障害物と道路面の区別工程の簡略化が可能になる。Ｖ−視差図においては、道路面の平面の縦断面が線分線形曲線として記述され、直交面における障害物が直交腺として投射される。このため、３Ｄ視差図における道路面と障害物の抽出は、Ｖ−視差図における２Ｄ線形抽出と簡略化される。このため、このような算法により、前方の、通行人や、車両や、壁等の面特徴を有する障害物の識別が可能になる。また、このような算法は、照度、陰影等のノイズに影響されず、都市の複雑な背景下の知能車両の障害物識別に適している。具体的に、双眼によるＶ−視差識別工程は、主に、Ｖ−視差図の構築、道路抽出、Ｖ−視差図からの、道路対象を表す縦線の抽出といった、３つの部分の内容が含まれている。
【課題を解決するための手段】
【０００８】
このため、本発明の一態様においては、２台のデプスカメラにより同一シーンの深度図を同時撮像するとともに、撮像した深度図に基づいて該シーンの視差図を算出するステップと、得られた視差図に基づいて、Ｖ−視差算法により、前記シーンのＶ−視差図を取得するステップと、Ｖ−視差図において道路に対応する斜線を検知するとともに、視差図からＶ−視差図において検知された斜線に対応する全ての点を削除することにより、道路を含まないサブ視差図が得られるステップと、Ｖ−視差図において縦線を検知するとともに、検知された各縦線に基づいて、前記道路を含まないサブ視差図から、検知された各縦線に対応する全ての点を対象サブ視差図として抽出するステップと、視差間隔が所定値未満になり、且つ重畳領域の比率が所定の閾値を超えた任意の対象サブ視差図同士の矩形フレームを１つの矩形フレーム対象領域として併合するステップとを含む、対象検知方法を提供する。
【０００９】
また、本発明の対象検知方法においては、前記Ｖ−視差図において道路に対応する斜線を検知することが、Ｈｏｆｆ変換により行われてもよい。
【００１０】
また、本発明の対象検知方法においては、Ｖ−視差図において縦線を検知することが、Ｖ−視差図から、０ではない同一階調度を有する連続点を検索することにより行われてもよい。
【００１１】
また、本発明の対象検知方法においては、前記Ｖ−視差図において道路に対応する斜線を検知するとともに、視差図からＶ−視差図において検知された斜線に対応する全ての点を削除することが、Ｈｏｆｆ変換により、Ｖ−視差図において斜線分を検知するステップと、Ｖ−視差図の横座標軸及び縦座標軸と交差するように、検知された斜線を延伸させるステップと、検知された斜線の横座標値に基づいて、線分をサブ線分に分割するステップと、各々のサブ線分に対応する視差図における、各々の視差値範囲内の点を視差図から削除するステップと、を含んでもよい。
【００１２】
また、本発明の対象検知方法においては、併合処理前に、各対象サブ視差図の点集合化処理を行うステップをさらに含んでもよい。
【００１３】
また、本発明の対象検知方法においては、点集合化処理前に、各対象サブ視差図を構成する点の平滑化処理を行うとともに、対象サブ視差図領域中の連結点を削除するステップをさらに含んでもよい。
【００１４】
また、本発明の他の態様においては、同一シーンの深度図を同時撮像するとともに、撮像した深度図に基づいて該シーンの視差図を算出する２台のデプスカメラと、得られた視差図に基づいて、Ｖ−視差算法により、前記シーンのＶ−視差図を取得するＶ−視差算出装置と、Ｖ−視差図において道路に対応する斜線を検知するとともに、視差図からＶ−視差図において検知された斜線に対応する全ての点を削除することにより、道路を含まないサブ視差図を取得する道路抽出装置と、Ｖ−視差図において縦線を検知するとともに、検知された各縦線に基づいて、前記道路を含まないサブ視差図から、検知された各縦線に対応する全ての点を対象サブ視差図として抽出する対象領域検知装置と、視差間隔が所定値未満になり、且つ重畳領域の比率が所定の閾値を超えた任意の対象サブ視差図同士の矩形フレームを１つの矩形フレーム対象領域として併合する対象領域併合装置と、を有する対象検知システムを提供する。
【００１５】
また、本発明の対象検知システムにおいては、前記対象領域検知装置が、Ｖ−視差図から、０ではない同一階調度を有する連続点を検索することにより縦線を検知してもよい。
【００１６】
また、本発明の対象検知システムにおいては、前記道路抽出装置が、Ｈｏｆｆ変換により、Ｖ−視差図において斜線分を検知し、Ｖ−視差図の横座標軸及び縦座標軸と交差するように、検知された斜線を延伸させ、検知された斜線の横座標値に基づいて、線分をサブ線分に分割し、各々のサブ線分に対応する視差図における、各々の視差値範囲内の点を視差図から削除するステップにより、前記Ｖ−視差図において道路に対応する斜線を検知するとともに、視差図からＶ−視差図において検知された斜線に対応する全ての点を削除してもよい。
【００１７】
また、本発明の対象検知システムにおいては、各対象サブ視差図を構成する点の平滑化処理を行うとともに、対象サブ視差図領域中の連結点を削除するノイズ処理装置と、ノイズ処理後の各対象サブ視差図の点集合化処理を行う点集合化装置をさらに有してもよい。
【発明の効果】
【００１８】
本発明の対象検知方法及びシステムによると、１７フレーム/ｓの処理速度が可能になることから、従来技術よりも、さらに処理速度を加速化することができる。なお、本発明の方法及びシステムにおいては、ｖ−視差図により対象を含むサブ視差図の検索を行ってから、簡単な集合化方法により、対象検知を行うため、検知精度を著しく向上することができる。また、本発明の方法は、輝度データを用いることなく、視差とＶ−視差図を用いるため、同一輝度を有する異なる対象の明確な区別が可能になる。
【図面の簡単な説明】
【００１９】
【図１】本発明の対象検知方法を用いたシステムの基本ブロック図である。
【図２】対象検知器１０４の配置ブロック図である。
【図３】道路検知器１０５の配置ブロック図である。
【図４】本発明による対象領域検知器のモジュール図である。
【図５】本発明による対象検知方法の全体フローチャートである。
【図６】本発明の対象検知方法及びシステムを用いた詳細例である。
【図７】視差図を示した図である。
【図８】Ｖ−視差図算出器１０３の視差図によるＶ−視差図の算出例を説明した図である。
【図９】Ｖ−視差図からの斜線の検知例を示した図である。
【図１０】Ｖ−視差図における斜線分割を示した図である。
【図１１】視差図からの道路抽出を示した図である。
【図１２】対象サブ視差図の抽出工程を示した図である。
【図１３】対象サブ視差図への平滑化処理工程を示した図である。
【図１４】対象サブ視差図への点集合化処理を示した図である。
【図１５】対象領域併合工程を示した図である。
【発明を実施するための形態】
【００２０】
本発明は、安全な自動車運転が可能になるように、道路中の対象を検知する検知方法及び検知システムを提供することを目的とする。以下、図面を参照して本発明の具体的な実施例について詳細に説明する。
【００２１】
図１は、本発明の対象検知方法を用いたシステムの基本ブロック図である。図１に示されたように、本発明の方法は、基本的に１つのＣＰＵにより実現してもよく、それぞれ独立し、かつ関連付けられている単独のモジュールの共同で実現してもよい。本発明の対象検知システムは、内部メモリ１０１とＣＰＵ１０２を有し、ＣＰＵ１０２は、Ｖ−視差図算出器１０３と対象検知器１０４を有し、内部メモリ１０１は、視差図が格納されている。該視差図は、２台の平行設定されたデプスカメラにより同時撮像された同一シーンの２つの深度図から得られたものである。図６は、本発明の対象検知方法及びシステムを用いた詳細例を示し多図である。該例においては、２つの平行設置されたデプスカメラが装着された自動車が示され、該２台の平行設置されたデプスカメラは、人間の両目のように、レンズ前の同一シーンの深度図を同時撮像することができる。撮像された深度図は、直接カメラ内のプロセッサで処理されるとともに、該シーンの視差図が出力され、内部メモリ１０１に格納されるようにしてもよい。または、撮像された深度図が、ＣＰＵ１０２に送信され、ＣＰＵ１０２により処理が施され、現在シーンの視差図が得られるとともに、内部メモリ１０１に格納されるようにしてもよい。図７は、視差図を示した図である。視差図の取得方法は、当業者が実施可能なものであるため、ここでは、視差図取得方法の説明は割愛する。
【００２２】
前述のＶ−視差図算出器１０３は、内部メモリ１０１から読み取った視差図をもとに、Ｖ−視差算出処理を行い、前記視差図のＶ−視差図を取得する。Ｖ−視差図の高さは、視差図の高さと等しく、幅は最大の視差値となり、視差図における各行(l)に対し、同一の視差値(v)を有する点の数（n）を算出することで、V-視差図における点p, pの横座標v、縦座標l、強度nが得られる。
【００２３】
図８は、Ｖ−視差図算出器１０３の視差図によるＶ−視差図の算出例を説明した図である。詳細工程としては、視差図における各行に対し、同一階調値を有する点の数を統計することで、Ｖ−視差図における点Ｐが得られる。得られたＶ−視差図の座標において、横座標ｘの値が点Ｐの階調値を表し、換言すると、視差図の同一行における同一階調値の点は、Ｖ−視差図において同一点で表されるとともに、該点Ｐの横座標が、該点Ｐの視差図における階調値となる。一方、得られたＶ−視差図の座標において、縦座標は、点Ｐの視差図における対応点の視差図における行を表し、Ｖ−視差図における点Ｐの図中の強度は、視差図の同一行における同一階調値を有する点の数を表している。道路に関しては、視差図における道路の同一行の各点の深度値が同一となることから、即ち、視差図における階調値が同一となることから、Ｖ−視差算出後に得られたＶ−視差図においては、１つの点（例えば、点Ｐ）が視差図における道路上の同一行の各点を表すことになる。視差図において、道路の深度値（即ち、階調値）は視差図における行数と反比例することから、Ｖ−視差図における道路を表す点からなる図形は、必ず斜線となる。
【００２４】
前記対象検知器１０４は、Ｖ−視差図算出器１０３から出力されたＶ−視差図に基づき、具体的な対象の検知を行う。図２は、対象検知器１０４の配置ブロック図である。前記対象検知器１０４は、道路検知器１０５と、対象領域検知器１０６と、対象領域併合器１０７を有する。
【００２５】
前記道路検知器１０５は、Ｖ−視差図における道路に該当する斜線を検知し、斜線上の各点に対し、視差図の同一行における視差値の、該点の横座標値で決められた範囲内の全ての点を削除し、最終的に道路を含まないサブ視差図が得られる。図３は、道路検知器１０５の配置ブロック図である。図３に示されたように、道路検知器１０５は、Ｖ−視差図斜線検知器１０８と、道路抽出器１０９を有している。先ず、Ｖ−視差図斜線検知器１０８は、Ｖ−視差図中の道路を表す斜線を検知する。通常、Ｈｏｆｆ変換を用いたＶ−視差図における斜線分の検知が行われる。ｘ座標軸とｙ座標軸と交差するように、該斜線を延伸する。図９は、Ｖ−視差図における斜線の検知例を示した図である。
【００２６】
Ｖ−視差図中の道路を表す斜線が検知されると、Ｖ−視差図中の水平座標軸と垂直座標軸と交差するように、検知された斜線を延伸する。次に、前記道路抽出器１０９は、延伸された斜線に基づき、斜線を構成する各点を視差図における対応点に回復し、これらの対応点が、視差図における道路部分の点となる。視差図における道路部分に回復後、原視差図から、検知された斜線に該当する道路部分を引き去ることで、視差図からの道路の抽出が可能になる。
【００２７】
実際に、道路とデプスカメラが完全に直交しないことがあるため、得られた深度値には誤差が生じるおそれがある。このため、通常、道路抽出の前に、より正確に全ての路面を決定できるように、視差値（即ち、Ｖ−視差図におけるｘ座標値で、斜線上の点の視差図における階調値や、深度値である。）による、斜線の分割を行う。このため、ｘ座標値により、線分をサブ線分に分割することになる。各サブ線分に対しては、道路が連続していることから、道路抽出用に異なる視差値範囲を用いることになる。出願人は、実験から、デプスカメラまでの距離dcが10ｍ未満になると、道路視差範囲が[D,D-2]（像素）となり、距離dcが10ｍより大きくかつ２０ｍより小さくなると、道路視差範囲が[D,D-1]となり、距離dcが20ｍを超えた場合は、同一の道路視差値D（像素）となることを見出した。
【００２８】
視差値D= f*T/(dc+f)において、fは、カメラの焦点距離であり、Tは、２つのカメラ間の距離（例えば、0-50ｃｍ）であり、dcは、カメラ対象までの距離である。
【００２９】
カメラまでの距離dcが10ｍである場合、前記式から、視差２７が得られる。距離dcが20ｍであると、視差15となる。そこで、
【数１】
が得られる。式中、Dは、視差値であり、単位は画素となる。
【００３０】
図１０は、Ｖ−視差図における斜線分割を示した図である。前記道路抽出器１０９は、分割された線分に基づき、視差図の道路を抽出する。所定のＶ−視差図中の斜線上の各点に対し、視差図における同一行から、区間範囲内の点を検索し、これらの点が道路点となる。図１１は、視差図からの道路抽出を示した図である。具体的に、Ｖ−視差図における分割された複数のサブ線分の斜線により、斜線に対応する道路の斜視図を取得し、その後、原視差図から、得られた道路の視差図を引き去ることで、道路上の対象のみを含むサブ視差図が得られる。
【００３１】
前記道路抽出器１０９は、道路抽出後に、対象を含むサブ視差図を対象領域検知器１０６へ出力する。前記対象領域検知器１０６は、具体的な対象の視差図における特徴に基づき、前記道路検知器１０５により出力されたサブ視差図から、疑似対象を抽出する。図４は、本発明による対象領域検知器のモジュール図である。前記対象領域検知器１０６は、縦線検知器１１０と、対象抽出器１１１と、ノイズ処理器１１２と、点集合化処理器１１３を有している。前記縦線検知器１１０は、Ｖ−視差図から縦線を検知する。Ｖ−視差図における各縦線は、１つの対象に対応している可能性がある。具体的に、Ｖ−視差図から、０ではない同じ階調値（同一のｘ座標値）を有する連続した点を検索する。これらの連続した点からなる線が、視差図における推定の対象となる。
【００３２】
前記対象抽出器１１１は、縦線検知器１１０から検知及び出力されたＶ−視差図における各縦線に基づき、前記道路検知器１０５により出力されたサブ視差図から、検出された縦線上の各点に対応する点を検索し、検索されたサブ視差図における対応点から、サブ視差図中の対象の視差図（以下、対象サブ視差図と称される）が構成され、次に、前記対象抽出器１１１が、検索された対象サブ視差図をサブ視差図から抽出し、ノイズ処理器１１２へ送信する。図１２は、対象サブ視差図の抽出工程を示した図である。図１２においては、対象の典型的なサブ視差図であることから、D=27の対象サブ視差図が示されている。
【００３３】
対象を含む可能性のある対象サブ視差図の抽出工程において、前記対象抽出器１１１により抽出及び出力されたＶ−視差図における縦線の各点において、そのうちの１点の視差をＤとすると、サブ視差図における同一行から、範囲(D, D+δ)の全ての点を検索し、これらの点が対象上の点である可能性がある。δ値は、視差値（視差値は、視差図における各点の強度値、或いは「階調値」となる）に応じた値となる。
【数２】
【００３４】
該式から、視差値Dが２０以上の場合は、δが2となり、視差値が２０未満になる場合は、δが０となることが分かる。このため、Ｖ−視差図における縦線上の１点を、視差図における同一行上の点に逆写像する場合、Dが２０以上であると、該点に対応するものは、同一のＤの点のみならず、視差図における同一行上の、強度値（或いは階調値）が(D, D+δ)範囲内の全ての点となる。一方、Dが２０未満であると、該点に対応するものは、同一のＤの点のみとなる。
【００３５】
次に、前記ノイズ処理器１１２は、前記対象抽出器１１１から出力された対象サブ視差図への平滑処理を行うとともに、対象サブ視差図領域中の連結点を削除する。平滑処理については、従来技術に複数の方法があり、当業者が選択し本発明に適用することができる。本発明においては、中間値フィルタ方法による平滑処理が用いられているが、他の平滑処理方法を用いてもよい。中間値フィルタ方法による平滑処理は、先ず、対象サブ視差図におけるあるサンプルウィンドーから奇数個のデータ（階調値）を選択し、並べ替え、並べ替え後の中間値を、ウィンドー中の全ての点の階調値の代わりに用いる。図１３は、対象サブ視差図への平滑化処理工程を示した図である。
【００３６】
次に、前記点集合化処理器１１３は、対象サブ視差図への点集合化処理を行う。図１４においては、各矩形における、互いに繋がっている点への集合化を行う。具体的に、対象サブ視差図におけるｘ座標軸間の距離と、ｙ座標軸間の距離の集合化を行う。各矩形における、互いに繋がっている点への集合化を行う。２つの点において、これらのｘ軸距離が２以下であり、かつｙ軸距離も２以下であると、これれの２点は同類に属している。任意の１点において、該任意の１点と、任意の既存のＣ類に属する１点とのｘ軸距離が２以下で、かつｙ軸距離も２以下であると、該任意の１点は、任意の既存のＣ類に属するものとなる。該任意の点が任意の既存のＣ類に属さない場合は、該任意の点をもとに、該任意の点を含む１つの新規類を生成する。前記点集合化処理器１１３は、前記点ん集合化後に、各対象を含む各矩形フレーム対象領域を出力する。
【００３７】
最後に、図１５に示すように、対象領域併合器１０７は、点集合化処理器１１３から出力された各対象領域の併合処理を行い、併合後の対象領域を出力する。
【００３８】
重畳領域比率が所定閾値よりも大きく、かつ視差距離が所定値未満になる対象領域を併合し、併合処理後の対象領域を最終に出力する。重畳面積と視差距離により、矩形対象領域の併合を行う。具体的に、任意の２つの矩形フレーム（x0，y0，w0，h0）,(x1，y1，w1，h1)において、（x0,y0）、（x1,y1）が、各矩形の左上角の点座標となり、w0、w1が、矩形対象領域の幅となり、h0、h1が、矩形対象領域の高さとなる。該２つの矩形対象領域のデプスカメラまでの距離の差の絶対値が、所定値（例えば、３ｍとしてもよく，0.5ｍ、1ｍ、1.5ｍ、または2ｍと設定してもよい）未満になると、該２つの矩形対象領域の重畳面積を算出し、該２つの矩形対象領域の重畳面積と、そのうちの面積の小さい矩形対象領域の面積との比が、所定比（例えば、0.65、0.7、或いは0.75）を超えた場合、該２つの矩形対象領域を併合し、併合後の矩形対象領域（min（x0，x1），min(y0，y1)，max(w0，w1)，max(h0，h1)）が得られる。ここで、min()は、２値のうちの最小値の関数であり、max（）は、２値のうちの最大値の関数である。
【００３９】
図５は、本発明による対象検知方法の全体フローチャートである。図５に示されたように、ステップＳ２０１において、前記Ｖ−視差図算出器１０３は、内部メモリ１０１から読み取った視差図をもとに、Ｖ−視差算出処理を行い、前記視差図のＶ−視差図を取得する。次に、ステップＳ２０２において、対象検知器１０４における道路検知器１０５が、Ｖ−視差図における道路を検知するとともに、視差図から、検知されたＶ−視差図中の道路に対応する視差画像を引き去ることで、原視差図のサブ視差図を取得する。次に、ステップＳ２０３において、対象検知器１０４における対象領域検知器１０６が、具体的な対象の視差図における特徴に基づき、前記道路検知器１０５から出力されたサブ視差図から疑似対象を抽出するとともに、点集合化処理を施す。最後に、ステップＳ２０４において、対象領域併合器１０７が、対象領域検知器１０６から出力された対象領域の併合を行い、併合後の対象領域を出力する。
【００４０】
図６は、本発明の対象検知方法及びシステムを用いた環境を示した図であり、双眼デプスカメラとＣＰＵ１０２が装着された自動車及び双眼デプスカメラで撮像された画像が含まれている。
【００４１】
本発明の以上の方法は、１つのコンピュータ（プロセッサ）で実行されてもよく、複数のコンピュータで分散的に実行されてもよい。なお、プログラムは、プログラムが実行される遠隔コンピュータに移送されてもよい。
【００４２】
以上の説明は、本発明の好適な実施例に過ぎない。当業者は、設計需要と他の要素に応じて、添付された特許請求範囲及びこれと同等物の範囲内の種々の修正や、組み合わせや、サブ組み合わせや、変更が可能なことは理解すべきである。
【先行技術文献】
【特許文献】
【００４３】
【特許文献１】米国特許第ＵＳ7729512Ｂ2号明細書
【特許請求の範囲】
【請求項１】
２台のデプスカメラにより同一シーンの深度図を同時撮像するとともに、撮像した深度図に基づいて該シーンの視差図を算出するステップと、
得られた視差図に基づいて、Ｖ−視差算法により、前記シーンのＶ−視差図を取得するステップと、
Ｖ−視差図において道路に対応する斜線を検知するとともに、視差図からＶ−視差図において検知された斜線に対応する全ての点を削除することにより、道路を含まないサブ視差図が得られるステップと、
Ｖ−視差図において縦線を検知するとともに、検知された各縦線に基づいて、前記道路を含まないサブ視差図から、検知された各縦線に対応する全ての点を対象サブ視差図として抽出するステップと、
視差間隔が所定値未満になり、且つ重畳領域の比率が所定の閾値を超えた任意の対象サブ視差図同士の矩形フレームを１つの矩形フレーム対象領域として併合するステップとを含む、対象検知方法。
【請求項２】
前記Ｖ−視差図において道路に対応する斜線を検知することが、Ｈｏｆｆ変換により行われる、請求項１に記載の対象検知方法。
【請求項３】
Ｖ−視差図において縦線を検知することが、Ｖ−視差図から、０ではない同一階調度を有する連続点を検索することにより行われる、請求項１に記載の対象検知方法。
【請求項４】
前記Ｖ−視差図において道路に対応する斜線を検知するとともに、視差図からＶ−視差図において検知された斜線に対応する全ての点を削除することが、
Ｈｏｆｆ変換により、Ｖ−視差図において斜線分を検知するステップと、
Ｖ−視差図の横座標軸及び縦座標軸と交差するように、検知された斜線を延伸させるステップと、
検知された斜線の横座標値に基づいて、線分をサブ線分に分割するステップと、
各々のサブ線分に対応する視差図における、各々の視差値範囲内の点を視差図から削除するステップと、を含む、請求項１に記載の対象検知方法。
【請求項５】
併合処理前に、各対象サブ視差図の点集合化処理を行うステップをさらに含む、請求項１に記載の対象検知方法。
【請求項６】
点集合化処理前に、各対象サブ視差図を構成する点の平滑化処理を行うとともに、対象サブ視差図領域中の連結点を削除するステップをさらに含む、請求項５に記載の対象検知方法。
【請求項７】
同一シーンの深度図を同時撮像するとともに、撮像した深度図に基づいて該シーンの視差図を算出する２台のデプスカメラと、
得られた視差図に基づいて、Ｖ−視差算法により、前記シーンのＶ−視差図を取得するＶ−視差算出装置と、
Ｖ−視差図において道路に対応する斜線を検知するとともに、視差図からＶ−視差図において検知された斜線に対応する全ての点を削除することにより、道路を含まないサブ視差図を取得する道路抽出装置と、
Ｖ−視差図において縦線を検知するとともに、検知された各縦線に基づいて、前記道路を含まないサブ視差図から、検知された各縦線に対応する全ての点を対象サブ視差図として抽出する対象領域検知装置と、
視差間隔が所定値未満になり、且つ重畳領域の比率が所定の閾値を超えた任意の対象サブ視差図同士の矩形フレームを１つの矩形フレーム対象領域として併合する対象領域併合装置と、を有する対象検知システム。
【請求項８】
前記対象領域検知装置は、Ｖ−視差図から、０ではない同一階調度を有する連続点を検索することにより、縦線を検知する、請求項７に記載の対象検知システム。
【請求項９】
前記道路抽出装置は、前記Ｖ−視差図において道路に対応する斜線を検知するとともに、視差図からＶ−視差図において検知された斜線に対応する全ての点を削除することが、
Ｈｏｆｆ変換により、Ｖ−視差図において斜線分を検知するステップと、
Ｖ−視差図の横座標軸及び縦座標軸と交差するように、検知された斜線を延伸させるステップと、
検知された斜線の横座標値に基づいて、線分をサブ線分に分割するステップと、
各々のサブ線分に対応する視差図における、各々の視差値範囲内の点を視差図から削除するステップと、を含む、請求項７に記載の対象検知システム。
【請求項１０】
各対象サブ視差図を構成する点の平滑化処理を行うとともに、対象サブ視差図領域中の連結点を削除するノイズ処理装置と、
ノイズ処理が行われた後で、各対象サブ視差図の点集合化処理を行う点集合化装置とをさらに含む、請求項７に記載の対象検知システム。
【請求項１】
２台のデプスカメラにより同一シーンの深度図を同時撮像するとともに、撮像した深度図に基づいて該シーンの視差図を算出するステップと、
得られた視差図に基づいて、Ｖ−視差算法により、前記シーンのＶ−視差図を取得するステップと、
Ｖ−視差図において道路に対応する斜線を検知するとともに、視差図からＶ−視差図において検知された斜線に対応する全ての点を削除することにより、道路を含まないサブ視差図が得られるステップと、
Ｖ−視差図において縦線を検知するとともに、検知された各縦線に基づいて、前記道路を含まないサブ視差図から、検知された各縦線に対応する全ての点を対象サブ視差図として抽出するステップと、
視差間隔が所定値未満になり、且つ重畳領域の比率が所定の閾値を超えた任意の対象サブ視差図同士の矩形フレームを１つの矩形フレーム対象領域として併合するステップとを含む、対象検知方法。
【請求項２】
前記Ｖ−視差図において道路に対応する斜線を検知することが、Ｈｏｆｆ変換により行われる、請求項１に記載の対象検知方法。
【請求項３】
Ｖ−視差図において縦線を検知することが、Ｖ−視差図から、０ではない同一階調度を有する連続点を検索することにより行われる、請求項１に記載の対象検知方法。
【請求項４】
前記Ｖ−視差図において道路に対応する斜線を検知するとともに、視差図からＶ−視差図において検知された斜線に対応する全ての点を削除することが、
Ｈｏｆｆ変換により、Ｖ−視差図において斜線分を検知するステップと、
Ｖ−視差図の横座標軸及び縦座標軸と交差するように、検知された斜線を延伸させるステップと、
検知された斜線の横座標値に基づいて、線分をサブ線分に分割するステップと、
各々のサブ線分に対応する視差図における、各々の視差値範囲内の点を視差図から削除するステップと、を含む、請求項１に記載の対象検知方法。
【請求項５】
併合処理前に、各対象サブ視差図の点集合化処理を行うステップをさらに含む、請求項１に記載の対象検知方法。
【請求項６】
点集合化処理前に、各対象サブ視差図を構成する点の平滑化処理を行うとともに、対象サブ視差図領域中の連結点を削除するステップをさらに含む、請求項５に記載の対象検知方法。
【請求項７】
同一シーンの深度図を同時撮像するとともに、撮像した深度図に基づいて該シーンの視差図を算出する２台のデプスカメラと、
得られた視差図に基づいて、Ｖ−視差算法により、前記シーンのＶ−視差図を取得するＶ−視差算出装置と、
Ｖ−視差図において道路に対応する斜線を検知するとともに、視差図からＶ−視差図において検知された斜線に対応する全ての点を削除することにより、道路を含まないサブ視差図を取得する道路抽出装置と、
Ｖ−視差図において縦線を検知するとともに、検知された各縦線に基づいて、前記道路を含まないサブ視差図から、検知された各縦線に対応する全ての点を対象サブ視差図として抽出する対象領域検知装置と、
視差間隔が所定値未満になり、且つ重畳領域の比率が所定の閾値を超えた任意の対象サブ視差図同士の矩形フレームを１つの矩形フレーム対象領域として併合する対象領域併合装置と、を有する対象検知システム。
【請求項８】
前記対象領域検知装置は、Ｖ−視差図から、０ではない同一階調度を有する連続点を検索することにより、縦線を検知する、請求項７に記載の対象検知システム。
【請求項９】
前記道路抽出装置は、前記Ｖ−視差図において道路に対応する斜線を検知するとともに、視差図からＶ−視差図において検知された斜線に対応する全ての点を削除することが、
Ｈｏｆｆ変換により、Ｖ−視差図において斜線分を検知するステップと、
Ｖ−視差図の横座標軸及び縦座標軸と交差するように、検知された斜線を延伸させるステップと、
検知された斜線の横座標値に基づいて、線分をサブ線分に分割するステップと、
各々のサブ線分に対応する視差図における、各々の視差値範囲内の点を視差図から削除するステップと、を含む、請求項７に記載の対象検知システム。
【請求項１０】
各対象サブ視差図を構成する点の平滑化処理を行うとともに、対象サブ視差図領域中の連結点を削除するノイズ処理装置と、
ノイズ処理が行われた後で、各対象サブ視差図の点集合化処理を行う点集合化装置とをさらに含む、請求項７に記載の対象検知システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１３−１０９７６０（Ｐ２０１３−１０９７６０Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１２−２５０９７１（Ｐ２０１２−２５０９７１）
【出願日】平成２４年１１月１５日（２０１２．１１．１５）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２４年１１月１５日（２０１２．１１．１５）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]