画像処理装置
【課題】画像データの情報量を有効に活用して、画像中の１つのグループとしてまとめるべき撮像対象を的確にグループ化することが可能な画像処理装置を提供する。
【解決手段】撮像手段２で撮像された画像Ｔを複数の領域ｒに分割する画像処理装置１において、画像Ｔ中の一の画素ｐi,jと隣接する画素ｐとの各画像データＤの差分ΔＤが第１閾値ΔＤth未満である場合には一の画素ｐi,jを隣接する画素ｐとグループ化し、最終的に得られた各グループｇをそれぞれの画像Ｔの各領域ｒとして画像Ｔを複数の領域ｒに分割する処理手段６と、一の画素ｐi,jを含むグループｇにおける画像データＤの平均値Ｄaveを算出する平均値算出手段７とを備え、処理手段６は、一の画素ｐi,jの画像データＤi,jと隣接する画素ｐが属するグループｇの前記平均値Ｄaveとの差分δＤが第２閾値δＤth以上である場合には一の画素ｐi,jと隣接する画素ｐとをグループ化しない。
【解決手段】撮像手段２で撮像された画像Ｔを複数の領域ｒに分割する画像処理装置１において、画像Ｔ中の一の画素ｐi,jと隣接する画素ｐとの各画像データＤの差分ΔＤが第１閾値ΔＤth未満である場合には一の画素ｐi,jを隣接する画素ｐとグループ化し、最終的に得られた各グループｇをそれぞれの画像Ｔの各領域ｒとして画像Ｔを複数の領域ｒに分割する処理手段６と、一の画素ｐi,jを含むグループｇにおける画像データＤの平均値Ｄaveを算出する平均値算出手段７とを備え、処理手段６は、一の画素ｐi,jの画像データＤi,jと隣接する画素ｐが属するグループｇの前記平均値Ｄaveとの差分δＤが第２閾値δＤth以上である場合には一の画素ｐi,jと隣接する画素ｐとをグループ化しない。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に係り、特に、撮像された撮像対象に応じて画像を複数の領域に分割する画像処理装置に関する。
【背景技術】
【０００２】
従来から、例えばＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等で撮像した画像中から物体等の撮像対象を抽出する技術や、画像検索等のための画像圧縮技術、或いは画像中の特徴量等を計算するための技術として、同じような輝度等の画像データを有する画素をグループ化して画像を単純化する技術が知られている。
【０００３】
例えば、特許文献１に記載のカラー画像の領域分割方法では、ＲＧＢ値で表された各画素の画像データから色相値（Ｈ）、明度値（Ｌ）および彩度値（Ｓ）を求め、例えば、１画素ごとに右画素、下画素との色相差や明度差、彩度差をそれぞれ算出し、全画素における色相差、明度差、彩度差の各平均値を算出して、その各平均値をＨＬＳ色空間の各軸方向の分割幅としてＨＬＳ色空間を分割する。
【０００４】
そして、分割されたＨＬＳ色空間の色空間分割領域に色分類番号を付し、各画素の色（Ｈ，Ｌ，Ｓ）に基づいて各画素を色分類番号でラベリングし、画像上で同じ色分類番号を有する画素群をグループ化して１つの領域とするように処理して、画像を領域分割するようになっている。特許文献１に記載のカラー画像の領域分割方法では、さらに、領域分割した各グループの情報やグループに属する画像データ等から、画像全体の色情報やテクスチャ情報、分割領域の大きさ、色情報、輪郭線の形状等を特徴量として抽出することが述べられている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−６７２４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、特許文献１に記載された画像の領域分割方法のように、各画素における色相差の平均値等に基づいてＨＬＳ色空間等を分割し、色空間等の各分割領域に付された色分類番号等に基づいて各画素のグループ化を行う場合、例えば、画像中に撮像された同一の撮像対象に属する各画素であり、その色や明るさ等の画像データが互いに僅かに異なっているだけであっても、画素にラベリングされた色分類番号が異なれば、別のグループにまとめられてしまう。そのため、同一の撮像対象に属する各画素を同一のグループにまとめることができないといった問題が生じ得る。
【０００７】
また、逆に、画像中に複数の撮像対象が撮像されている境界部分で、互いに別の撮像対象に属する２つの画素が隣接している場合に、それらの画素にラベリングされた色分類番号が同一であれば、それらの画素が同じグループにまとめられてしまう。そのため、別の撮像対象に属する各画素を、別々のグループにまとめることができず、撮像対象を分離して抽出できないといった問題も生じ得る。
【０００８】
これは、特許文献１に記載された手法の場合に限らず、例えば画像情報の圧縮処理において各画素の画像データを有限個の離散情報に近似して量子化して同一の離散情報に近似される画像データを同一のグループにまとめるような場合にも発生し得る問題である。このように、各画素の画像データを予め一律に定められた分類のしかたで分類してグループ化しようとすると、例えば画像中に撮像された個々の撮像対象を、同一の物体等の撮像対象については１つのグループにまとめ、別の撮像対象については互いに異なるグループにまとめるといった的確なグループ化を必ずしも十分に行えない虞があった。
【０００９】
また、例えば画像情報の圧縮処理等では、モノクロ画像で撮像された各画素の例えば２５６の輝度階調の画像データや、カラー画像で撮像された各画素の２５６（Ｒ）×２５６（Ｇ）×２５６（Ｂ）＝１６７７７２１６種類の画像データを、例えば数種類或いは数十種類のデータに圧縮して処理するため、画像データの情報量が著しく低下してしまう。そのため、画像データがもともと有している豊富な情報量を有効に使うことができない虞もある。
【００１０】
さらに、特許文献１に記載された画像の領域分割方法のようなグループ化処理を行う場合、１画像分の全画素の画像データを取り込んだ後でなければ処理を行うことができず、処理に時間がかかり、例えば１秒間に数フレーム分或いは数十フレーム分の画像の画像データが取り込まれ、次々と処理を行わなければならないような場合に、処理が間に合わなくなる。そのため、画像処理のリアルタイム性が損なわれる虞もある。
【００１１】
本発明は、このような事情に鑑みてなされたものであり、画像データの情報量を有効に活用して、画像中に撮像された物体のように１つのグループとしてまとめるべき撮像対象を的確にグループ化することが可能な画像処理装置を提供することを目的とする。また、このグループ化をリアルタイムに行うことが可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
前記の問題を解決するために、第１の発明は、
画像処理装置において、
撮像手段で撮像された画像を複数の領域に分割する画像処理装置であって、
前記画像中の一の画素とそれに隣接する画素との各画像データの差分が所定の第１閾値未満である場合には前記一の画素を前記隣接する画素とグループ化し、最終的に得られた各グループをそれぞれ前記画像の各領域として前記画像を複数の領域に分割する処理手段と、
前記一の画素を含む前記グループにおける前記画像データの平均値を算出する平均値算出手段と、
を備え、
前記処理手段は、さらに、前記一の画素の画像データと、前記隣接する画素が属する前記グループについて前記平均値算出手段で算出された前記平均値とを比較して、その差分が所定の第２閾値以上である場合には、前記一の画素と前記隣接する画素とをグループ化しないことを特徴とする。
【００１３】
第２の発明は、第１の発明の画像処理装置において、前記処理手段は、前記撮像手段から前記一の画素の画像データが送信されてくると、前記一の画素と同一の画像中の、前記一の画素より以前に前記画像データが送信された画素であって、前記一の画素に隣接する画素の前記画像データと、前記一の画素の画像データとを比較し、かつ、前記一の画素の画像データと、前記一の画素より以前に前記画像データが送信された前記隣接する画素が属する前記グループの前記平均値とを比較することを特徴とする。
【００１４】
第３の発明は、第１または第２の発明の画像処理装置において、前記処理手段は、隣接する前記画素の各画像データがいずれも所定の数値範囲内である場合には、前記一の画素と前記隣接する画素との各画像データの比較、および前記一の画素の画像データと前記グループの前記平均値との比較にかかわらず、前記画像データが前記数値範囲内にある前記隣接する画素同士を優先してグループ化することを特徴とする。
【００１５】
第４の発明は、第１から第３のいずれかの発明の画像処理装置において、前記処理手段は、隣接する前記画素の各画像データのうち、一方の画像データが所定の数値範囲内であり、他方の画像データが前記数値範囲外である場合には、前記一の画素と前記隣接する画素との各画像データの比較、および前記一の画素の画像データと前記グループの前記平均値との比較にかかわらず、前記隣接する画素同士をグループ化しないことを特徴とする。
【００１６】
第５の発明は、第１から第４のいずれかの発明の画像処理装置において、前記処理手段は、画像上で接していない２つの前記グループの画素間隔の最小値が所定の閾値以下であり、かつ、当該２つのグループの前記各平均値の差分が所定の閾値以下である場合には、当該２つのグループを１つのグループとして統合することを特徴とする。
【００１７】
第６の発明は、第１から第５のいずれかの発明の画像処理装置において、
前記撮像手段は、一対の画像を出力し、
前記撮像手段から出力された前記一対の画像に対してステレオマッチング処理を施して、前記一対の画像のうちの少なくとも一方の画像の画素に対応する実空間上の距離を検出する距離検出手段を備え、
前記処理手段は、前記一方の画像中の前記一の画素に対応する前記実空間上の距離と、前記一の画素に隣接する画素に対応する前記実空間上の距離との差分が、予め設定された閾値以上である場合には、前記一の画素と前記隣接する画素とをグループ化しないことを特徴とする。
【００１８】
第７の発明は、第６の発明の画像処理装置において、前記処理手段は、前記隣接する画素が属する前記グループに属する各画素に対応する前記実空間上の距離のうち前記一の画素に対応する前記実空間上の距離に最も近い前記実空間上の距離と、前記一の画素に対応する前記実空間上の距離との差分が前記閾値以上であるか否かを判定することを特徴とする。
【００１９】
第８の発明は、第６または第７の発明の画像処理装置において、前記処理手段は、前記隣接する画素が属する前記グループに属する各画素に対応する前記各実空間上の距離に基づいて前記各画素に対応する実空間上の各点の座標を算出し、前記各点の分布の傾きを算出し、前記傾きから推定される前記隣接する画素に対応する実空間上の距離と、前記一の画素に対応する前記実空間上の距離との差分が前記閾値以上であるか否かを判定することを特徴とする。
【００２０】
第９の発明は、第６から第８のいずれかの発明の画像処理装置において、
前記平均値算出手段は、前記グループに属する各画素に対応する前記実空間上の各距離の平均値、最大値、最小値のいずれかを算出し、
前記処理手段は、前記隣接する画素が属する前記グループについて前記平均値算出手段で算出された前記実空間上の距離の平均値、最大値、最小値のいずれかと、前記一の画素に対応する前記実空間上の距離とを比較して、その差分が所定の閾値以上である場合には、前記一の画素と前記隣接する画素とをグループ化しないことを特徴とする。
【００２１】
第１０の発明は、第６から第９のいずれかの発明の画像処理装置において、
前記撮像手段で撮像された画像から道路面を検出する路面検出手段を備え、
前記処理手段は、前記グループに属する各画素に対応する前記実空間上の各距離に基づいて前記各画素に対応する実空間上の各点の高さを算出し、前記路面検出手段が検出した前記道路面からの前記各点の高さが、所定の閾値以上の高さである場合には、前記グループを道路面上に存在する立体物として認識し、前記所定の閾値未満の高さである場合には、前記グループを道路面上に標示されたパターンとして認識することを特徴とする。
【００２２】
第１１の発明は、第１０の発明の画像処理装置において、前記処理手段は、前記一の画素に対応する実空間上の点の前記道路面からの高さと、前記隣接する画素が属する前記グループに属する各画素に対応する前記実空間上の各点の前記道路面からの高さのうち、一方が前記所定の閾値未満であり、かつ、他方が前記所定の閾値以上である場合には、前記一の画素と前記隣接する画素とをグループ化しないことを特徴とする。
【００２３】
第１２の発明は、第６から第１１のいずれかの発明の画像処理装置において、前記処理手段は、画像上で接していない２つの前記グループに属する各画素に対応する実空間上の各点の２つの分布において、異なる分布に属する２点の実空間上の間隔の最小値が所定の閾値以下の場合で、かつ、最大値が前記閾値よりも大きな値に予め設定された閾値以下である場合には、当該２つのグループを１つのグループとして統合することを特徴とする。
【００２４】
第１３の発明は、第１２の発明の画像処理装置において、前記処理手段は、画像上で接していない２つの前記グループのうち、一方の前記グループに属する各画素に対応する前記実空間上の各点の前記道路面からの高さが前記所定の閾値以上であり、かつ、他方の前記グループに属する各画素に対応する前記実空間上の各点の前記道路面からの高さが前記所定の閾値未満の高さである場合には、当該２つのグループを統合しないことを特徴とする。
【発明の効果】
【００２５】
第１の発明によれば、画像データを圧縮処理する等せずに豊富な情報量を有効に使い、一の画素（注目画素）の画像データとそれに隣接する画素の画像データとの差分（エッジ強度）のみならず、一の画素の画像データと、それに隣接する画素が属するグループの各画素の画像データの平均値との差分（平均値差分）に基づいて、一の画素と隣接する画素とをグループ化するか否かを判定する。
【００２６】
そのため、画像データの情報量を有効に活用して、画像中に撮像された１つのグループとしてまとめるべき撮像対象（例えば１つの物体）が撮像された画素を的確にグループ化し、１つのグループとしてまとめるべきでない撮像対象（例えば異なる物体）が撮像された画素はグループ化しないようにして、画像を的確に複数の領域に分割することが可能となる。また、そのため、画像中から、撮像対象を的確に分離して抽出することが可能となる。
【００２７】
第２の発明によれば、前記発明の効果に加え、撮像手段から処理手段に各画素の画像データが順次入力される場合に、画像データの入力と同時並行で各処理を実施し、一の画素と、それが入力されるより以前に入力されている画像データとを比較するように構成することで、１画像分の全画素の画像データの入力を待たずに処理することが可能となり、グループ化の処理をリアルタイムに行うことが可能となる。
【００２８】
第３の発明によれば、画像中で、画像データが所定の数値範囲内にある領域を的確に他の領域から分離して抽出することが可能となる。そのため、信号機の点灯している信号灯や先行車両のテールランプ等の光源のように高輝度に撮像されている画像中の領域や、トンネル等のように低輝度に撮像されている画像Ｔ中の領域等のように、撮像対象がそれに特有の数値範囲の画像データとして撮像される場合に、画像データが特有の数値範囲内にある領域を画像中から優先して抽出して、それらの撮像対象を的確に抽出することが可能となり、前記各発明の効果がより有効に発揮される。
【００２９】
第４の発明によれば、撮像対象が特有の数値範囲の画像データとして撮像される場合、一の画素と隣接する画素の一方の画像データが上記の数値範囲内であり、他方の画像データが数値範囲外にある場合に、隣接する画素同士をグループ化しないことで、画像データが所定の数値範囲内にある画素のみを的確にグループ化することが可能となり、画像中で、画像データが所定の数値範囲内にある領域を的確に他の領域から分離して抽出することが可能となる。そのため、特有の数値範囲の画像データが撮像される撮像対象を的確に抽出することが可能となり、前記各発明の効果がより有効に発揮される。
【００３０】
第５の発明によれば、画像中に撮像されている１つの撮像対象に対応して１つの領域として抽出されるべき領域がノイズ等により複数の領域に分割されてしまうような場合に、ノイズ等の影響を排除して、分割された複数の領域を本来の１つの領域に統合することが可能となり、前記各発明の効果がより的確に発揮される。
【００３１】
第６の発明によれば、前記各発明の効果に加え、隣接する画素同士の画像データが近接していてグループ化できるような場合であっても、ステレオカメラにより撮像された一対の画像に対してステレオマッチング処理を施して画像の各画素ごとに算出された隣接する画素の実空間上の各距離が同一の撮像対象とは見なせない程度に離れている場合に、隣接する画素をグループ化しないことで、同一の撮像対象に対応する画素ではない画素同士をグループ化することが回避され、撮像対象の実空間上の位置を区別して、画像中から撮像対象を的確に分離して抽出することが可能となる。
【００３２】
第７の発明によれば、一の画素に隣接する画素に対応する実空間上の距離の情報が算出されていない場合などには、一の画素に対応する実空間上の距離と、隣接する画素が属するグループに属する各画素に対応する実空間上の各距離のうち、一の画素に対応する実空間上の距離に最も近い実空間上の距離との差分を算出し、それに基づいて判定処理を行うことで、前記第６の発明の効果を的確に発揮することが可能となる。
【００３３】
第８の発明によれば、隣接する画素が属するグループに属する各画素に対応する実空間上の各点の分布の、高さ方向に対する距離方向の傾きや水平方向に対する距離方向の傾き等の傾きを算出し、それに基づいて当該隣接する画素に対応する実空間上の距離を推定し、それと一の画素に対応する実空間上の距離との差分を算出することで、一の画素に隣接する画素に対応する実空間上の距離の情報が算出されていないような場合でも的確に判定処理を行うことが可能となり、前記各発明の効果が的確に発揮される。
【００３４】
第９の発明によれば、前記各発明の効果に加え、平均値算出手段で、一の画素を含むグループに属する各画素の画像データの平均値等を算出する際に、同時に、一の画素に対応する実空間上の距離を算出し、グループに属する各画素に対応する実空間上の各距離の平均値や最大値、最小値を算出しておくように構成することで、処理手段における演算負荷を軽減することが可能となる。
【００３５】
また、平均値算出手段が算出したグループに属する各画素に対応する実空間上の各距離の平均値や最大値、最小値を用いて、処理手段で、一の画素と隣接する画素とをグループ化するか否かの判定処理を行うことで、迅速に処理を行うことが可能となるとともに、判定処理を的確に行うことが可能となる。
【００３６】
第１０の発明によれば、前記各発明の効果に加え、路面検出手段で道路面を検出し、道路面を基準として実空間上の高さが道路面よりも所定の閾値以上に高いグループを道路面上に存在する立体物として認識し、所定の閾値未満の高さであるグループを道路面上に標示されたパターンとして認識することで、立体物である撮像対象と道路面上に標示されたパターンである撮像対象とを異なる領域に分割し、的確に区別して抽出することが可能となる。
【００３７】
第１１の発明によれば、立体物であると認識される画素やグループと、道路面上に標示されたパターンであると認識される画素やグループとをグループ化してしまうことが回避され、立体物である撮像対象と道路面上に標示されたパターンである撮像対象とを異なる領域に分割して的確に区別して抽出することが可能となり、前記第１０の発明の効果が的確に発揮される。
【００３８】
第１２の発明によれば、例えば実空間上の大きさが予め分かっている撮像対象に対応する各画素をグループ化する際、画像中に撮像されている当該撮像対象に対応して１つの領域として抽出されるべき領域がノイズ等により複数の領域に分割されてしまうような場合に、ノイズ等の影響を排除して、分割された複数の領域を本来の１つの領域に統合することが可能となり、前記各発明の効果がより的確に発揮される。
【００３９】
第１３の発明によれば、前記第１２の発明において、画像上で接していない２つのグループを統合する際、一方のグループが立体物である撮像対象と認識され、他方のグループが道路面上に標示されたパターンであると認識される場合に、当該２つのグループを統合しないようにすることで、立体物と道路面上に標示されたパターンとを的確に分離して抽出することが可能となり、前記第１２の発明の効果がより的確に発揮される。
【図面の簡単な説明】
【００４０】
【図１】第１の実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】撮像手段で撮像される画像の例を示す図である。
【図３】処理手段や平均値算出手段における処理手順を示すフローチャートである。
【図４】処理手段や平均値算出手段における処理手順を示すフローチャートである。
【図５】入力された一の画素と既に入力されている左に隣接する画素とを説明する図である。
【図６】一の画素と左に隣接する画素が属するグループの例とを説明する図である。
【図７】入力された一の画素と既に入力されている下に隣接する画素とを説明する図である。
【図８】一の画素と下に隣接する画素が属するグループの例とを説明する図である。
【図９】（Ａ）２つの画素が一の画素の左および下に隣接するグループの例を説明する図であり、（Ｂ）一の画素が左に隣接する画素とグループ化されたため下に隣接する画素ともグループ化される例を説明する図である。
【図１０】（Ａ）一の画素の下に隣接する画素が属するグループと左に隣接する画素が属するグループが別のグループである例を説明する図であり、（Ｂ）２つのグループが一の画素とグループ化されて１つのグループになる例を説明する図である。
【図１１】孤立した状態となったグループの例を説明する図である。
【図１２】撮像手段により撮像された画像の具体例を示す写真である。
【図１３】図１２の画像が複数の領域に分割された具体例を示す写真である。
【図１４】第２の実施形態に係る画像処理装置の構成を示すブロック図である。
【図１５】距離検出手段のイメージプロセッサによるステレオマッチング処理を説明する図である。
【図１６】作成された距離画像の例を示す図である。
【図１７】基準画像の水平ライン上を探索して検出された車線候補点の例を説明する図である。
【図１８】自車両の左右に検出された車線の例を説明する図である。
【図１９】形成された車線モデルの例を説明する図であり、（Ａ）はＺ−Ｘ平面上の水平形状モデル、（Ｂ）はＺ−Ｙ平面上の道路高モデルを表す。
【図２０】グループに属する各画素に対応する実空間上の各点をＸ−Ｚ平面にプロットした例を説明する図である。
【図２１】グループに属する各画素に対応する実空間上の各点をＹ−Ｚ平面にプロットした例を説明する図である。
【図２２】所定の方向に広がりを持つグループの例を説明する図である。
【発明を実施するための形態】
【００４１】
以下、本発明に係る画像処理装置の実施の形態について、図面を参照して説明する。
【００４２】
［第１の実施の形態］
第１の実施形態に係る画像処理装置１は、図１に示すように、主に撮像手段２と処理部５とで構成されている。撮像手段２は、本実施形態では、例えばＣＣＤやＣＭＯＳセンサ等のイメージセンサが内蔵されたカメラ等の単眼の撮像手段が用いられているが、複数設けられた撮像手段のうちの単数または複数の撮像手段により撮像された単数または複数の画像に対して本発明に係る処理を施すように構成することも可能である。
【００４３】
なお、本実施形態では、撮像手段２を構成する図示しない各撮像素子によりモノクロ（白黒）の画像データＤが取得されるようになっており、１つの撮像素子が画像中の１画素に対応する。また、本実施形態では、後述するように、撮像手段２の各撮像素子（すなわち各画素）ごとに撮像された各画像データＤを、変換手段３でそれぞれ例えば２５６階調のグレースケールの輝度としてのデジタル値の画像データＤに変換する場合について説明する。しかし、本発明はこれに限定されず、撮像手段２の各撮像素子で例えばＲＧＢ値等で表されるカラーの画像データを撮像する場合についても本発明が適用される。
【００４４】
また、本実施形態では、撮像手段２は、例えば図２に示すような画像Ｔを撮像する場合、画像Ｔの各水平ラインｊの最も左側の撮像素子から順に右方向に走査し、また、走査する水平ラインｊを最も下側のラインから順に上方に切り替えながら撮像するようにして、各撮像素子で撮像された順に各画像データＤを変換手段３に順次送信するようになっている。
【００４５】
変換手段３は、Ａ／Ｄコンバータで構成されており、撮像手段２で各撮像素子（各画素）ごとに撮像された各画像データＤが順次送信されてくると、各画像データＤをそれぞれデジタル値の画像データＤに変換して画像補正部４に出力するようになっている。画像補正部４は、送信されてきた各画像データＤに対してずれやノイズの除去、輝度の補正等の画像補正を順次行い、画像補正した各画像データＤを処理部５に順次送信するようになっている。
【００４６】
処理部５は、本実施形態では、図示しないＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、入出力インターフェース等がバスに接続されたコンピュータで構成されている。処理部５は、処理手段６や平均値算出手段７を備えているが、さらに、他の処理を行うように構成することも可能である。
【００４７】
処理手段６は、本実施形態では、上記のように各撮像素子（各画素）の画像データＤが順次送信されてくると、隣接する画素同士の各画像データＤを比較し、また、一の画素の画像データＤと、後述するように隣接する画素が属するグループに属する各画素の各画像データＤについて平均値算出手段７で算出された平均値とを比較して、当該隣接する画素同士をグループ化するか否かを判定するようになっている。
【００４８】
そして、処理手段６は、このように、画像Ｔ中でグループ化可能な隣接画素同士をグループ化していき、画像Ｔの全画素について処理を終了した時点で、最終的に得られた各グループをそれぞれ画像Ｔの各領域とすることで、画像Ｔを複数の領域に分割するようになっている。
【００４９】
以下、この処理手段６や平均値算出手段７を含む処理部５での処理を、図３および図４に示すフローチャートに従って説明する。
【００５０】
なお、本実施形態では、前述したように、撮像手段２から各撮像素子（各画素）の画像データＤが順次出力され、変換手段３や画像補正部４でそれぞれ処理が行われ、処理された各画像データＤが、順次、処理部５に送信されるが、処理部５では、各画像データＤが順次入力するのと同時並行的に以下の処理が行われる。このように構成することで、１画像分の全画素の画像データＤの入力を待たず処理することが可能となるため、グループ化の処理をリアルタイムに行うことが可能となる。
【００５１】
また、以下の説明では、例えば図２に示した画像Ｔにおける画素について、画像Ｔの左下隅の画素を原点とし、右向きにｉ軸、上向きにｊ軸をとった場合の画素の座標（ｉ，ｊ）を用いて、画素ｐi,jのように表す。また、画素ｐi,jの画像データＤをＤi,jのように表す。
【００５２】
処理部５における処理では、まず、撮像手段２により撮像が開始されると（図３のステップＳ１）、処理手段６は、ｉおよびｊの値をそれぞれ０に設定する（ステップＳ２）。前述したように、撮像手段２で撮像された水平ライン０（すなわちｊ座標が０の各画素からなる水平ラインｊ）上の左端の画素ｐ0,0（すなわち原点の画素）の画像データＤ0,0の処理部５への入力が開始されると（ステップＳ３）、続いて、画素ｐ1,0、ｐ2,0、ｐ3,0、…の画像データＤ1,0、Ｄ2,0、Ｄ3,0、…が順次入力される。
【００５３】
そして、処理手段６は、水平ラインｊの右端の画素まで処理を完了していなければ（ステップＳ４；ＮＯ）、ｉ座標を１ずつインクリメントして（ステップＳ５）、注目する一の画素（以下、注目画素という。）を水平ラインｊ上の右隣の画素に移動させながら（ステップＳ６）、処理を続ける。
【００５４】
また、水平ラインｊの右端の画素まで処理を完了すると（ステップＳ４；ＹＥＳ）、画像Ｔの最上段の水平ラインまで処理が終了していなければ（ステップＳ７；ＮＯ）、処理を行う水平ラインｊを１行上方の水平ラインｊ＋１に移行させ、注目画素のｉ座標を０に設定して（ステップＳ８）、画素ｐ0,j+1を注目画素として（ステップＳ６）処理を行い、注目画素を画素ｐ0,j+1から順に右側に移動させながら処理を続行する。
【００５５】
次に、注目画素を画素ｐi,jに設定（ステップＳ６）した後の処理手段６における処理（図４のステップＳ９以降）について説明する。
【００５６】
処理手段６は、まず、注目画素ｐi,jと、図５に示すように注目画素ｐi,jが入力されるより以前に入力されていて注目画素ｐi,jの左に隣接する画素ｐi-1,jについて、下記の条件１や条件２を満たすか否かの判定を行う（ステップＳ９）。
【００５７】
［条件１］注目画素ｐi,jの画像データＤi,jと、左に隣接する画素ｐi-1,jの画像データＤi-1,jとの差分ΔＤleft（ｉ，ｊ）、すなわち、
ΔＤleft（ｉ，ｊ）＝｜Ｄi,j−Ｄi-1,j｜ …（１）
が、予め設定された第１閾値ΔＤth未満である。なお、以下、上記のような隣接する画素間の画像データＤの差分ΔＤをエッジ強度という。
【００５８】
［条件２］図６に示すように、注目画素ｐi,jの画像データＤi,jと、左に隣接する画素ｐi-1,jが属するグループｇに属する各画素の画像データＤの平均値Ｄave-leftとの差分δＤleft（ｉ，ｊ）、すなわち、
δＤleft（ｉ，ｊ）＝｜Ｄi,j−Ｄave-left｜ …（２）
が、予め設定された第２閾値δＤth未満である。
【００５９】
なお、以下、上記のように、注目画素ｐi,jの画像データＤi,jと、隣接する画素が属するグループｇの画像データＤの平均値Ｄaveとの差分δＤを平均値差分という。また、グループｇに属する各画素の画像データＤの平均値Ｄaveは、後述するように、平均値算出手段７で算出される（ステップＳ１６参照）。さらに、左に隣接する画素ｐi-1,jが属するグループｇが当該左に隣接する画素ｐi-1,jのみで構成されている場合もあり、その場合、グループｇに属する各画素の画像データＤの平均値Ｄave-leftは、当該左に隣接する画素ｐi-1,jの画像データＤi-1,jに等しい。
【００６０】
処理手段６は、条件１と条件２をともに満たすと判定した場合には（ステップＳ９；ＹＥＳ）、ステップＳ１０の判定処理に進み、条件１と条件２の少なくとも一方を満たさないと判定した場合には（ステップＳ９；ＮＯ）、ステップＳ１３の判定処理に進む。なお、上記の第１閾値ΔＤthと第２閾値δＤthとは同じ値に設定されても異なる値に設定されてもよく、それらの閾値の値は適宜設定される。
【００６１】
処理手段６は、ステップＳ９の判定処理で、条件１と条件２をともに満たすと判定すると（ステップＳ９；ＹＥＳ）、続いて、注目画素ｐi,jと、図７に示すように注目画素ｐi,jが入力されるより以前に入力されていて注目画素ｐi,jの下に隣接する画素ｐi,j-1について、上記と同様に、下記の条件３や条件４を満たすか否かの判定を行う（ステップＳ１０）。
【００６２】
［条件３］注目画素ｐi,jの画像データＤi,jと、下に隣接する画素ｐi,j-1の画像データＤi,j-1とのエッジ強度ΔＤlower（ｉ，ｊ）、すなわち、
ΔＤlower（ｉ，ｊ）＝｜Ｄi,j−Ｄi,j-1｜ …（３）
が、予め設定された前述した第１閾値ΔＤth未満である。
【００６３】
［条件４］図８に示すように、注目画素ｐi,jの画像データＤi,jと、下に隣接する画素ｐi,j-1が属するグループｇに属する各画素の画像データＤの平均値Ｄave-lowerとの平均値差分δＤlower（ｉ，ｊ）、すなわち、
δＤlower（ｉ，ｊ）＝｜Ｄi,j−Ｄave-lower｜ …（４）
が、予め設定された前述した第２閾値δＤth未満である。
【００６４】
なお、この場合も、下に隣接する画素ｐi,j-1が属するグループｇが当該下に隣接する画素ｐi,j-1のみで構成されている場合もあり、その場合、グループｇに属する各画素の画像データＤの平均値Ｄave-lowerは、当該下に隣接する画素ｐi,j-1の画像データＤi,j-1に等しい。
【００６５】
そして、処理手段６は、条件３と条件４の少なくとも一方を満たさないと判定した場合には（ステップＳ１０；ＮＯ）、注目画素ｐi,jを、下に隣接する画素ｐi,j-1とはグループ化しないが、ステップＳ９の判定処理で上記の条件１と条件２を満たすと判定しているため、注目画素ｐi,jを左に隣接する画素ｐi-1,jとグループ化する（ステップＳ１１）。
【００６６】
その際、例えば図５に示したように、左に隣接する画素ｐi-1,jが他の画素とグループ化されていなければ、注目画素ｐi,jと左に隣接する画素ｐi-1,jがグループ化されて、左右に隣接する２つの画素からなるグループが新たに形成される。また、例えば図６に示したように、左に隣接する画素ｐi-1,jが他の画素とグループ化されていてグループｇに属していれば、注目画素ｐi,jがグループｇに追加されるようにグループ化され、グループｇが注目画素ｐi,jの分だけ１画素分拡大する。
【００６７】
なお、左に隣接する画素ｐi-1,jが属するグループｇが例えば図９（Ａ）に示すような形状である場合に、ステップＳ１０の判定処理で、条件３と条件４の少なくとも一方を満たさないと判定されて（ステップＳ１０；ＮＯ）、注目画素ｐi,jが下に隣接する画素ｐi,j-1とグループ化されない場合でも、図９（Ｂ）に示すように、注目画素ｐi,jが左に隣接する画素ｐi-1,jとグループ化されることで（ステップＳ１１）、結果的に、注目画素ｐi,jが下に隣接する画素ｐi,j-1とグループ化される場合もある。
【００６８】
次に、処理手段６は、ステップＳ１０の判定処理で、条件３と条件４をともに満たすと判定した場合には（ステップＳ１０；ＹＥＳ）、注目画素ｐi,jを、下に隣接する画素ｐi,j-1および左に隣接する画素ｐi-1,jとグループ化する（ステップＳ１２）。
【００６９】
その際、例えば図７に示したように、下に隣接する画素ｐi,j-1や左に隣接する画素ｐi-1,jがともに他の画素とグループ化されていなければ、注目画素ｐi,jと下に隣接する画素ｐi,j-1と左に隣接する画素ｐi-1,jがグループ化されて３つの画素からなるグループが新たに形成される。また、例えば図６や図８に示したように、下に隣接する画素ｐi,j-1または左に隣接する画素ｐi-1,jのいずれか一方が他の画素とグループ化されていてグループｇに属していれば、注目画素ｐi,jとグループｇに属していない方の画素とがグループｇに追加されるようにグループ化されて、グループｇが２画素分拡大する。
【００７０】
また、例えば図１０（Ａ）に示すように、左に隣接する画素ｐi-1,jがグループｇ１に属し、下に隣接する画素ｐi,j-1が他のグループｇ２に属している場合、注目画素ｐi,jを下に隣接する画素ｐi,j-1および左に隣接する画素ｐi-1,jとグループ化すると（ステップＳ１２）、図１０（Ｂ）に示すように、注目画素ｐi,jを介してグループｇ１とグループｇ２とがグループ化されて１つのグループｇとなる。
【００７１】
一方、処理手段６は、ステップＳ９の判定処理で、条件１と条件２の少なくとも一方を満たさないと判定した場合には（ステップＳ９；ＮＯ）、ステップＳ１３の判定処理に進み、上記と同様に、条件３や条件４を満たすか否かの判定を行う（ステップＳ１３）。
【００７２】
そして、処理手段６は、条件３と条件４をともに満たすと判定した場合には（ステップＳ１３；ＹＥＳ）、ステップＳ９の判定処理で条件１と条件２の少なくとも一方を満たさないと判定しているため（ステップＳ９；ＮＯ）、注目画素ｐi,jを、左に隣接する画素ｐi-1,jとはグループ化せず、下に隣接する画素ｐi,j-1のみとグループ化する（ステップＳ１４）。
【００７３】
その際、注目画素ｐi,jを下に隣接する画素ｐi,j-1とグループ化すると（ステップＳ１４）、結果的に、左に隣接する画素ｐi-1,jとグループ化される場合があることは、図９（Ａ）、（Ｂ）に示したケースから容易に類推される。
【００７４】
処理手段６は、ステップＳ１１、Ｓ１２、Ｓ１４の処理で、注目画素ｐi,jを隣接する画素とグループ化すると、拡大したグループｇの画素数を更新し、グループｇの左端、右端の画素の各座標や上端、下端の画素の各座標に変更があれば更新する。また、例えば図１０（Ｂ）に示したように、複数のグループがグループ化されて１つのグループとされた場合には、１つにグループ化されたグループｇのグループ番号を、グループ化の対象となった複数のグループの各グループ番号のうちの例えば最も小さい番号を選択して更新する（ステップＳ１５）。
【００７５】
また、平均値算出手段７は、注目画素ｐi,jを追加して拡大したグループｇや、複数のグループをグループ化して１つとしたグループｇに属する各画素の画像データＤの平均値Ｄaveを算出して更新する（ステップＳ１６）。
【００７６】
処理手段６は、ステップＳ１５の処理を終了し、平均値算出手段７によりグループｇに属する各画素の画像データＤの平均値Ｄaveが算出され更新されると（ステップＳ１６）、ステップＳ４の判定処理以降の処理を続行する。
【００７７】
一方、処理手段６は、ステップＳ１３の判定処理で、条件３と条件４の少なくとも一方を満たさないと判定した場合には（ステップＳ１３；ＮＯ）、注目画素ｐi,jを、左に隣接する画素ｐi-1,jとも下に隣接する画素ｐi,j-1ともグループ化せず、注目画素ｐi,jのみが属する新たなグループとして登録する（ステップＳ１７）。
【００７８】
そして、処理手段６は、この新規のグループに新たなグループ番号を付し、グループの画素数を１とし、左右端、上下端の画素の各座標をそれぞれ注目画素ｐi,jの座標（ｉ，ｊ）として記録する。また、平均値算出手段７は、この新規のグループの画像データＤの平均値Ｄaveとして、当該注目画素ｐi,jの画像データＤi,jを記録する。
【００７９】
また、処理手段６は、ステップＳ１３の判定処理で条件３と条件４の少なくとも一方を満たさないと判定し（ステップＳ１３；ＮＯ）、注目画素ｐi,jを下に隣接する画素ｐi,j-1とグループ化しなかった結果、今後の処理で新たな画素が追加される可能性がなくなり、画像Ｔ上で孤立した状態となったグループｇが発生したか否かを判定する（ステップＳ１８）。
【００８０】
例えば、図８に示したグループｇの場合、今後の処理で、注目画素が同じ水平ラインｊ上のさらに右側に設定された際に注目画素がグループｇに追加される可能性がある。また、例えば図６に示したグループｇの場合、今後の処理で、処理される水平ラインｊが１行上方の水平ラインｊ＋１に移行した際に注目画素がグループｇに追加される可能性がある。そのため、これらのグループｇは、画像Ｔ上で孤立した状態にはなっていない。
【００８１】
しかし、例えば、図１１に示すようなグループｇの場合、今後の処理で、注目画素が同じ水平ラインｊ上のさらに右側に設定されても、或いは、処理される水平ラインｊが１行上方の水平ラインｊ＋１に移行されても、もはや注目画素がグループｇに追加される可能性はない。そのため、図１１に示したようなグループｇが、画像Ｔ上で孤立した状態となったグループｇとなる。
【００８２】
処理手段６は、このように、画像Ｔ上で孤立した状態となったグループｇが発生したと判定すると（ステップＳ１８；ＹＥＳ）、続いて、そのグループｇに属する全画素の画素数が予め設定された閾値以下か否かを判定し（ステップＳ１９）、画素数が閾値以下であると判定すると（ステップＳ１９；ＹＥＳ）、そのグループｇを登録されたグループの中から削除する（ステップＳ２０）。このような画素数が小さい孤立したグループは、画像Ｔ中に生じたノイズ等のように無視してよいグループであるからである。
【００８３】
また、処理手段６は、孤立したグループｇが発生していないと判定した場合や（ステップＳ１８；ＮＯ）、孤立したグループｇが発生してもその画素数が閾値より多く、比較的大きなグループである場合には（ステップＳ１９；ＮＯ）には、そのグループｇを登録されたグループの中から削除せず、ステップＳ４の判定処理以降の処理を続行する。
【００８４】
そして、水平ラインｊの右端の画素まで処理を完了し（図３のステップＳ４；ＹＥＳ）、画像Ｔの最上段の水平ラインまで処理が終了すると（ステップＳ７；ＹＥＳ）、処理手段６は、最終的に得られた各グループをそれぞれ画像Ｔの各領域として（ステップＳ２１）、画像Ｔを複数の領域に分割する。
【００８５】
処理手段６は、画像Ｔの１画像分の処理を終了すると、画像Ｔの各画素ｐi,jの各画像データＤi,jを図示しない記憶手段に保存するとともに、各領域（グループ）に属する各画素の各座標（ｉ，ｊ）や画素数、左右端の画素の各座標、上下端の画素の各座標、領域（グループ）の画像データＤの平均値Ｄave等の情報を、画像Ｔと対応付けて、画像Ｔの各画像データＤi,j等とともに記憶手段に保存する。また、必要に応じてそれらの情報を外部に出力する。
【００８６】
また、その際、例えば、各領域の左右端の画素位置の中間点をｉ座標とし、上限端の画素位置の中間点をｊ座標とする中心点を各領域ごとに算出し、上記の各情報とともに記憶手段に保存するとともに、必要に応じて外部に出力するように構成することも可能である。
【００８７】
次に、本実施形態に係る画像処理装置１の作用について説明する。
【００８８】
処理手段６により、注目画素ｐi,jと左や下に隣接する画素ｐi-1,j、ｐi,j-1とグループ化するか否かが決める際、前述した特許文献１に記載された画像の領域分割方法や従来の画像情報の圧縮処理等における手法では、予め一律に定められた分類のしかたで各画素ｐの画像データＤを分類し、その分類に従ってグループ化するか否かを決定した。そのため、隣接する画素ｐの各画像データＤの差異が僅かであっても、各画像データＤが異なる分類に属する場合には、隣接する画素ｐ同士を１つのグループにまとめることができない。
【００８９】
そのため、例えば、画像Ｔ中に物体等の同一の撮像対象が撮像されていても、隣接する画素ｐの各画像データＤが僅かに異なっているために同一の撮像対象が撮像された領域が複数の領域に分割される場合があった。
【００９０】
また、逆に、画像Ｔ中に複数の撮像対象が撮像されていて、その境界部分で、互いに別の撮像対象に属する２つの画素が隣接している場合に、各画素ｐの画像データＤが同じ分類であるとそれらの画素が１つのグループにまとめられてしまい、撮像対象を分離して抽出できない場合があった。
【００９１】
しかし、本実施形態に係る画像処理装置１では、予め一律に定められた分類の基準が設けられておらず、前述したように、処理手段６により、上記の条件１や条件３に従って、注目画素ｐi,jの画像データＤi,jと左や下に隣接する画素ｐi-1,j、ｐi,j-1の画像データＤi-1,j、Ｄi,j-1とが比較され、それらのエッジ強度ΔＤに基づいて隣接する画素同士をグループ化するか否かが決められる。
【００９２】
そのため、隣接する画素ｐの各画像データＤの差異が僅かであれば、隣接する画素ｐ同士を１つのグループにまとめることが可能となり、例えば、同一の撮像対象が撮像されている画像Ｔ中の領域内で、隣接する画素ｐの各画像データＤが僅かに異なっても、同一の撮像対象が撮像された領域を１つの領域にグループ化して抽出することが可能となる。
【００９３】
また、ＣＣＤカメラ等の撮像手段２で撮像された画像Ｔでは、特に、１つの撮像対象と他の撮像対象との境界部分において、当該１つの撮像対象が撮像されている領域の辺縁部分の画素ｐと、その画素ｐに隣接する画素であるが他の撮像対象が撮像されている領域内にあり、当該１つの撮像対象が撮像されている領域には含めるべきではない画素との間で、画像データＤの差異が僅かになる場合がある。
【００９４】
そして、このような場合に、上記の条件１や条件３のみに従って隣接する画素同士をグループ化してしまうと、１つの撮像対象に対応すべき領域が、他の撮像対象が撮像されている領域にまで拡大していき、個々の撮像対象が撮像された画像Ｔ上の領域を別々の領域に分割することができなくなる。
【００９５】
しかし、本実施形態に係る画像処理装置１では、上記の条件１や条件３だけでなく、条件２や条件４のように、注目画素ｐi,jと、左や下に隣接する画素ｐi-1,j、ｐi,j-1が属するグループｇとの間で平均値差分δＤを算出し、それに基づいて隣接する画素同士をグループ化するか否かを決定する。
【００９６】
このように構成すれば、隣接する画素同士の各画像データＤの差異が僅かであり、画像Ｔ内の限定された局所における画像データＤの差異が僅かであっても（すなわち、上記の条件１や条件３が満たされる場合であっても）、注目画素ｐi,jの画像データＤi,jが、隣接する画素が属するグループｇ、すなわち、画像Ｔ中で比較的大きな画素数を有する一定の領域（グループｇに相当する。）の画像データＤの平均値Ｄaveと有意に異なる値である場合には（すなわち、上記の条件２や条件４が満たされない場合には）、隣接する画素同士がグループ化されることが回避される。
【００９７】
そのため、１つの撮像対象に対応すべき領域が、他の撮像対象が撮像されている領域にまで拡大していくことが防止され、個々の撮像対象が撮像された画像Ｔ上の領域を、別々の領域に分割して的確に抽出することが可能となる。
【００９８】
さらに、本実施形態の画像データＤのように、例えば２５６の輝度階調で表された画像データを、圧縮処理等せずに上記の条件１〜条件４の判定等に用いることで、画像データＤが有する情報量を低下させることなく豊富な情報量を有効に使って判定を行うことが可能となり、隣接する画素同士をグループ化するか否かの判定を精密に行うことが可能となる。
【００９９】
そのため、例えば図１２に示すように撮像された画像Ｔに対して本実施形態に係る画像処理装置１で画像処理を行うと、図１３に示すように、複数の撮像対象が撮像された画像Ｔにおいて、１つの撮像対象の同じような輝度部分を的確に領域ｒに分割して抽出し、また、同じような輝度であっても異なる撮像対象については的確に領域ｒを分離して抽出することが可能となる。画像データを圧縮処理する等して情報量を低下させると、このように撮像対象を的確に分離して抽出することが困難になる。
【０１００】
なお、図１３では、分割された各領域が濃淡を付して示されており、また、上記のステップＳ２０の処理でグループｇの登録を削除された各画素が黒く表現されている。
【０１０１】
以上のように、本実施形態に係る画像処理装置１によれば、画像データを圧縮処理する等せずに豊富な情報量を有効に使い、注目画素（一の画素）ｐi,jの画像データＤi,jとそれに隣接する画素ｐi-1,j、ｐi,j-1の画像データＤi-1,j、Ｄi,j-1との差分（エッジ強度）ΔＤのみならず、注目画素ｐi,jの画像データＤi,jと、それに隣接する画素ｐi-1,j、ｐi,j-1が属するグループｇの各画素の画像データＤの平均値Ｄaveとの差分（平均値差分）δＤに基づいて、注目画素（一の画素）ｐi,jと隣接する画素ｐi-1,j、ｐi,j-1とをグループ化するか否かを判定するように構成した。
【０１０２】
そのため、画像データＤの情報量を有効に活用して、画像Ｔ中に撮像された撮像対象のように、１つのグループとしてまとめるべき撮像対象（例えば１つの物体）が撮像された画素を的確にグループ化し、１つのグループとしてまとめるべきでない撮像対象（例えば異なる物体）が撮像された画素はグループ化しないようにして、画像Ｔを的確に複数の領域に分割することが可能となる。また、そのため、画像Ｔ中から、撮像対象を的確に分離して抽出することが可能となる。
【０１０３】
また、本実施形態のように、撮像手段２から処理手段６に各画素ｐの画像データＤが順次入力される場合に、画像データＤの入力と同時並行で各処理を実施し、注目画素（一の画素）ｐi,jと、それが入力されるより以前に入力されている画像データＤとを比較するように構成すれば、１画像分の全画素の画像データＤの入力を待たずに入力と同時並行で処理を行うことが可能となるため、グループ化の処理をリアルタイムに行うことが可能となる。
【０１０４】
なお、本実施形態では、撮像手段２から、例えば図２に示した画像Ｔの同一の水平ラインｊ上では左端の画素から順に各画素ｐの画像データＤが出力され、また、最も下側の水平ラインｊから順に上方に切り替えながら画像データＤが出力されるように構成されているため、注目画素（一の画素）ｐi,jと比較される隣接する画素ｐを、先に入力されている左に隣接する画素ｐi-1,jや下に隣接する画素ｐi,j-1に設定したが、撮像手段２からの各画像データＤの送信順に従って比較される隣接する画素ｐが設定されることは言うまでもない。
【０１０５】
また、グループ化の処理にリアルタイム性が要求されない場合には、１画像分の全画素の画像データＤが入力された後にグループ化の処理を行うように構成することも可能である。その場合には、注目画素（一の画素）ｐi,jと比較される隣接する画素ｐの設定のしかたが予め定められ、それに従って、上記の本実施形態と同様の処理が行われる。
【０１０６】
さらに、本実施形態の画像処理装置１が、例えば車両に搭載されて用いられるような場合には、図１２や図１３に示したように、画像Ｔ中に先行車両や道路面、車線等が撮像されている領域を有効に分割して抽出することが可能となる。
【０１０７】
また、このような場合に、さらに、信号機の点灯している信号灯や先行車両のテールランプ等の光源のように高輝度に撮像されている画像Ｔ中の領域や、反対に、トンネル等のように低輝度に撮像されている画像Ｔ中の領域等のように、撮像対象がそれに特有の輝度範囲の画像データとして撮像される場合、画像データが特有の数値範囲内にある領域を画像Ｔ中から優先して抽出すれば、それらの撮像対象を的確に抽出することが可能となり、さらに有効なものとなる。
【０１０８】
そこで、例えば、図３および図４に示したフローチャートにおいて、注目画素を画素ｐi,jに設定した時点（ステップＳ６）で、注目画素（一の画素）ｐi,jの画像データＤi,jや、注目画素ｐi,jの左や下に隣接する画素ｐi-1,j、ｐi,j-1の画像データＤi-1,j、Ｄi,j-1がいずれも所定の数値範囲内である場合には、続くステップＳ９の判定処理以降の各処理を行う前に、前記数値範囲内にある注目画素ｐi,jや隣接する画素ｐi-1,j、ｐi,j-1同士を優先してグループ化するように構成することが可能である。
【０１０９】
すなわち、上記の信号灯やテールランプ等の光源のように、高輝度に撮像されている領域を抽出する場合には、上記の数値範囲は、例えば輝度が２００以上の数値範囲として設定され、また、上記のトンネル等のように、低輝度に撮像されている領域を抽出する場合には、上記の数値範囲は、例えば輝度が５０以下の数値範囲として設定される。また、数値範囲を、上限と下限とで区画された数値範囲として設定することも可能である。
【０１１０】
また、上記のように、注目画素（一の画素）ｐi,jの画像データＤi,jや左や下に隣接する画素ｐi-1,j、ｐi,j-1の画像データＤi-1,j、Ｄi,j-1が所定の数値範囲内である場合に、それらの隣接する画素同士を優先してグループ化するように構成する際に、逆に、隣接する画素ｐの各画像データＤのうち、一方の画像データＤが所定の数値範囲内であり、他方の画像データＤが数値範囲外である場合には、それらの隣接する画素同士をグループ化しないように構成することが好ましい。
【０１１１】
このように構成すれば、画像データＤが所定の数値範囲内にある画素ｐのみを的確にグループ化し、画像データＤが所定の数値範囲内にない画素ｐとはグループ化されないようにすることが可能となり、画像Ｔ中で、画像データＤが所定の数値範囲内にある領域を的確に他の領域から分離して抽出することが可能となる。
【０１１２】
一方、前述したように、本実施形態では、条件１〜条件４が満たされない場合には、隣接する画素同士をグループ化することなく的確に分割することが可能となるが、そのために、逆に、画像Ｔにノイズ等が入ると、例えば画像Ｔ中に撮像されている１つの撮像対象に対応して１つの領域として抽出されるべき領域が、そのノイズ等により複数の領域に分割されてしまう場合がある。
【０１１３】
この問題を解消するためには、例えば、画像Ｔ上で接していない２つのグループｇ１、ｇ２の画素間隔の最小値、すなわち２つのグループｇ１、ｇ２の辺縁部分同士を直線で結んだ場合にその直線上に並ぶ画素数の最小値が、所定の閾値以下であって近接しており、かつ、当該２つのグループｇ１、ｇ２に属する各画素の画像データＤの各平均値の差分が所定の閾値以下であってさほど差がない場合には、当該２つのグループｇ１、ｇ２を１つのグループｇとして統合するように構成することが可能である。
【０１１４】
また、本実施形態では、画像データＤとして、モノクロで、例えば２５６階調等のグレースケールに変換された輝度の画像データＤを用いる場合について説明したが、前述したように、本発明はこれに限定されず、例えばＲＧＢ値で表されるカラーの画像データを用いることも可能である。
【０１１５】
その際、各画素ｐの画像データＤを一般的に（Ｒ，Ｇ，Ｂ）と表し、特に注目画素ｐi,jの画像データＤを（Ｒi,j，Ｇi,j，Ｂi,j）、注目画素ｐi,jに隣接する画素の画像データＤを（Ｒ＊，Ｇ＊，Ｂ＊）と表す場合、例えば、上記の条件１や条件３における注目画素ｐi,jと隣接する画素ｐとの間のエッジ強度ΔＤ（ｉ，ｊ）を、例えば、
ΔＤ(i,j)＝｜Ｒi,j−Ｒ＊｜＋｜Ｇi,j−Ｇ＊｜＋｜Ｂi,j−Ｂ＊｜ …（５）
で算出することが可能である。
【０１１６】
また、上記の条件２や条件４における注目画素ｐi,jの画像データＤi,jと隣接する画素ｐが属するグループｇに属する各画素の画像データＤの平均値Ｄaveとの平均値差分δＤ（ｉ，ｊ）を、例えば、
δＤ(i,j)＝｜Ｒi,j−ΣＲ／ｎ｜＋｜Ｇi,j−ΣＧ／ｎ｜＋｜Ｂi,j−ΣＢ／ｎ｜
…（６）
で算出するように構成することが可能である。
【０１１７】
なお、上記（６）式において、Σはグループｇに属する全画素についての総和を表し、ｎはグループｇの画素数を表す。また、平均値算出手段７は、図４のステップＳ１６の処理において、グループｇに属する各画素の画像データＤの平均値Ｄaveを算出する際、平均値Ｄaveを（ΣＲ／ｎ，ΣＧ／ｎ，ΣＢ／ｎ）の形で算出して更新する。
【０１１８】
このように構成すれば、上記の本実施形態に係る画像処理装置１のように、モノクロの画像データＤを用いる場合と同様の有効な効果を奏することが可能となるとともに、最終的に得られた各グループに対応する画像Ｔ中の各領域に、対応するグループに属する各画素の画像データＤの平均値Ｄave（ΣＲ／ｎ，ΣＧ／ｎ，ΣＢ／ｎ）で表される色情報をそれぞれ対応付けることで、画像Ｔ中の各領域を色情報で把握したり分類したりすることが可能となる。
【０１１９】
また、各領域に色情報に基づいて、各領域に対応する撮像対象の色を特定したり、その撮像対象自体（例えば、信号機の点灯している信号灯が赤信号か黄信号か青信号か等）を特定したりすることも可能となる。
【０１２０】
［第２の実施の形態］
上記の第１の実施形態に係る画像処理装置１では、画像Ｔにおける画素ｐの輝度等の画像データＤのみに基づいて注目画素（一の画素）ｐi,jを隣接する画素ｐとグループ化するか否かを判定する場合について説明したが、さらに、撮像手段２としてステレオカメラを用い、撮像された一対の画像に対してステレオマッチング処理を施して画像の各画素ごとに実空間上の距離の情報を持たせるように構成すれば、注目画素（一の画素）ｐi,jを隣接する画素ｐとグループ化するか否かを判定する際に実空間上の距離の情報を加味して判定することが可能となる。
【０１２１】
そして、実空間上の距離の情報をも加味してグループ化の判定を行うように構成することで、画像を複数の領域に分割する際に、画像中に撮像された個々の撮像対象の実空間上の位置を区別して領域に分割することが可能となり、より的確に個々の撮像対象を区別して分割することが可能となる。第２の実施形態では、このように構成された画像処理装置１０について説明する。
【０１２２】
なお、以下では、画像処理装置１０を自動車等の車両に搭載し、自車両の前方を走行する先行車両等の撮像対象を撮像する場合について説明するが、これに限定されず、種々の用途に用いることができる。
【０１２３】
本実施形態に係る画像処理装置１０は、図１４に示すように、第１の実施形態における画像処理装置１（図１参照）と同様に、撮像手段２や変換手段３、画像補正部４、処理手段６や平均値算出手段７を有する処理部５等を備えて構成されるが、さらに、イメージプロセッサ１２等を有する距離検出手段１１等を備えている。
【０１２４】
なお、イメージプロセッサ１２等を含む処理部５の上流側の構成については、本願出願人により先に提出された特開２００６−７２４９５号公報等に詳述されており、構成の詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。
【０１２５】
本実施形態では、撮像手段２は、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵され、例えば車両のルームミラー近傍に車幅方向に所定の間隔をあけて取り付けられた一対のメインカメラ２ａおよびサブカメラ２ｂからなるステレオカメラであり、所定のサンプリング周期で撮像して、一対の画像を出力するように構成されている。
【０１２６】
一対のカメラのうち、メインカメラ２ａは運転者に近い側のカメラであり、例えば図２に示したような画像Ｔを撮像するようになっている。なお、以下では、このメインカメラ２ａで撮像された画像Ｔについて各画素ｐのグループ化の処理等を行う場合について説明する。また、サブカメラ２ｂで撮像された画像と区別するために、以下、メインカメラ２ａで撮像された画像Ｔを基準画像Ｔ、サブカメラ２ｂで撮像された画像を比較画像という。
【０１２７】
なお、本実施形態においても、撮像手段２のメインカメラ２ａおよびサブカメラ２ｂでは、それぞれモノクロの画像データＤが取得されるようになっているが、ＲＧＢ値等で表されるカラーの画像データを撮像する撮像手段を用いることも可能であり、その場合についても本発明が適用される。
【０１２８】
また、本実施形態においても、撮像手段２のメインカメラ２ａおよびサブカメラ２ｂで図２に示したような基準画像Ｔや比較画像を撮像する場合、基準画像Ｔ等の各水平ラインｊの最も左側の撮像素子から順に右方向に走査し、また、走査する水平ラインｊを最も下側のラインから順に上方に切り替えながら撮像するようにして、各撮像素子で撮像された順に基準画像Ｔと比較画像の各画像データＤがそれぞれ変換手段３に順次送信されるようになっている。
【０１２９】
変換手段３は、一対のＡ／Ｄコンバータ３ａ、３ｂで構成されており、撮像手段２のメインカメラ２ａおよびサブカメラ２ｂで各撮像素子（各画素）ごとに撮像された基準画像Ｔと比較画像の各画像データＤがそれぞれ順次送信されてくると、各画像データＤをそれぞれ例えば２５６階調のグレースケールの輝度としてのデジタル値の画像データＤに変換して画像補正部４に出力するようになっている。
【０１３０】
画像補正部４は、送信されてきた基準画像Ｔと比較画像の各画像データＤに対してずれやノイズの除去、輝度の補正等の画像補正をそれぞれ順次行い、画像補正した基準画像Ｔと比較画像の各画像データＤを画像データメモリ１４に順次格納するとともに、処理部５に順次送信するようになっている。また、画像補正部４は、画像補正した基準画像Ｔと比較画像の各画像データＤを距離検出手段１１にも順次送信するようになっている。
【０１３１】
距離検出手段１１のイメージプロセッサ１２では、基準画像Ｔと比較画像の各画像データに対して順次ステレオマッチング処理やフィルタリング処理を施して、実空間上の距離に対応する視差ｄｐを基準画像Ｔの各画素ごとに順次算出するようになっている。
【０１３２】
イメージプロセッサ１２におけるステレオマッチング処理では、基準画像Ｔと比較画像Ｔｃの各画像データＤが送信されてくると、図１５に示すように、基準画像Ｔ上に例えば３×３画素や４×４画素等の所定の画素数の基準画素ブロックＰＢを設定し、基準画素ブロックＰＢに対応する比較画像Ｔｃ中のエピポーララインＥＰＬ上の基準画素ブロックＰＢと同形の各比較画素ブロックＰＢｃについて、下記（７）式に従って当該基準画素ブロックＰＢとの輝度パターンの差異であるＳＡＤ値を算出し、ＳＡＤ値が最小の比較画素ブロックＰＢｃを特定するようになっている。
ＳＡＤ＝Σ｜Ｄ１s,t−Ｄ２s,t｜ …（７）
【０１３３】
なお、上記（７）式において、Ｄ１s,tは基準画素ブロックＰＢ中の各画素の画像データＤを表し、Ｄ２s,tは比較画素ブロックＰＢｃ中の各画素の画像データＤを表す。また、上記の総和は、基準画素ブロックＰＢや比較画素ブロックＰＢｃが例えば３×３画素の領域として設定される場合には１≦ｓ≦３、１≦ｔ≦３の範囲、４×４画素の領域として設定される場合には１≦ｓ≦４、１≦ｔ≦４の範囲の全画素について計算される。
【０１３４】
イメージプロセッサ１２は、このようにして基準画像Ｔの各基準画素ブロックＰＢについて、特定した比較画素ブロックＰＢｃの比較画像Ｔｃ上の位置と当該基準画素ブロックＰＢの基準画像Ｔ上の位置から視差ｄｐを順次算出するようになっている。以下、基準画像Ｔの各画素に視差ｄｐを割り当てた画像を距離画像という。また、このようにして各画素ごとに算出された視差ｄｐの情報すなわち距離画像は、距離検出手段１１の距離データメモリ１３に順次格納されるとともに、処理部５に順次送信されるようになっている。
【０１３５】
なお、実空間上で、前記一対のカメラ２ａ、２ｂの中央真下の道路面上の点を原点とし、自車両の車幅方向（すなわち水平方向）をＸ軸方向、車高方向（すなわち高さ方向）をＹ軸方向、車長方向（すなわち距離方向）をＺ軸方向とした場合、実空間上の点（Ｘ，Ｙ，Ｚ）と、距離画像上の画素の座標（ｉ，ｊ）および視差ｄｐとは、下記（８）〜（１０）式で表される三角測量の原理に基づく座標変換により一意に対応付けることができる。
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） …（８）
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …（９）
Ｚ＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ）） …（１０）
【０１３６】
上記各式において、ＣＤは一対のカメラの間隔、ＰＷは１画素当たりの視野角、ＣＨは一対のカメラの取り付け高さ、ＩＶおよびＪＶは自車両正面の無限遠点の距離画像上のｉ座標およびｊ座標、ＤＰは消失点視差を表す。
【０１３７】
また、イメージプロセッサ１２は、視差ｄｐの信頼性を向上させる目的から、上記のようなステレオマッチング処理で得られた視差ｄｐに対してフィルタリング処理を施し、有効とされた視差ｄｐのみを出力するようになっている。
【０１３８】
例えば、道路面の映像のみからなる特徴に乏しい４×４画素の基準画素ブロックＰＢに対して、比較画像Ｔｃ上でステレオマッチング処理を行っても、比較画像Ｔｃの道路面が撮像されている部分ではすべて相関が高くなるため、対応する比較画素ブロックＰＢｃが特定されて視差ｄｐが算出されてもその視差ｄｐの信頼性は低い。そのため、そのような視差ｄｐはフィルタリング処理を施して無効とし、視差ｄｐの値として０を出力するようになっている。
【０１３９】
したがって、基準画像Ｔの各画素に、有効に算出された視差ｄｐを割り当てて（すなわち対応付けて）距離画像Ｔｚを作成すると、距離画像Ｔｚは、例えば図１６に示すように、基準画像Ｔ上で有意な特徴を有する部分である撮像対象の辺縁部分（エッジ部分）等に有効な視差ｄｐが算出された画像となる。なお、距離画像Ｔｚの作成においては、上記（１０）式等に従って予め視差ｄｐを距離Ｚ等に換算し、距離Ｚ等を基準画像Ｔの各画素に割り当てて作成するように構成することも可能である。
【０１４０】
本実施形態では、処理部５の処理手段６や平均値算出手段７における各処理では、必要に応じて上記（１０）式等に従って距離画像Ｔｚの各画素における視差ｄｐが実空間上の距離Ｚに変換されて用いられる。
【０１４１】
本実施形態においても、処理部５は、図示しないＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されたコンピュータで構成されており、処理手段６や平均値算出手段７を備えている。そして、本実施形態では、さらに、自車両の左右に標示された車線を検出する車線検出手段１５や、道路面を検出する路面検出手段１６を備えている。なお、本発明では、追い越し禁止線や路側帯と車道とを区画する区画線等の道路面上に標示された連続線や破線を車線という。
【０１４２】
処理部５に、さらに、先行車両を検出する先行車両検出手段等を設けるように構成することも可能であり、必要に応じて、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類からの測定値が入力されるように構成することも可能である。
【０１４３】
ここで、本実施形態の処理部５の処理手段６や平均値算出手段７における処理について説明する前に、車線検出手段１５や路面検出手段１６について説明する。なお、本実施形態では、以下に説明するように、車線検出手段１５で道路面に標示された車線を検出し、その検出結果に基づいて路面検出手段１６で道路面を検出するように構成されているが、路面検出手段１６は、道路面を検出することができるものであれば以下に説明する形態に限定されない。
【０１４４】
車線検出手段１５は、撮像手段２により撮像された基準画像Ｔ中から自車両の左側および右側の車線を検出するようになっている。具体的には、車線検出手段１５は、図１７に示すように、基準画像Ｔを用いて、その１画素幅の水平ラインｊ上を例えば基準画像Ｔの中央から左右方向に探索し、輝度値が隣接する画素の輝度値から設定された閾値以上に大きく変化する画素を車線候補点ｃｒ、ｃｌとして検出する。
【０１４５】
そして、基準画像Ｔ上の水平ラインｊを１画素分ずつ上方にシフトさせながら、同様にして各水平ラインｊ上に車線候補点を検出していく。その際、車線検出手段１５は、検出した車線候補点の視差ｄｐ等に基づいて当該車線候補点が道路面上にないと判断した場合には当該車線候補点を車線候補点から除外する。なお、この場合の道路面は、前回のサンプリング周期で検出した道路面に基づいてその後の自車両の挙動等から今回のサンプリング周期における道路面の位置が推定される。そして、残った車線候補点のうち、自車両に近い側の車線候補点に基づいて車線をハフ変換等により直線で近似して自車両の左右にそれぞれ検出する。
【０１４６】
その際、ハフ変換では種々の直線が候補として算出されるが、例えば自車両の一方の側（例えば右側）に複数の車線が検出される場合には、自車両の他方（例えば左側）に検出した車線との整合性がある車線や、前回のサンプリング周期で検出した車線との整合性がある車線を選ぶ等して、自車両の左右にそれぞれ直線を選別する。
【０１４７】
このようにして、自車両に近い側に車線を直線状にそれぞれ検出すると、それより遠い側ではその直線に基づいて直線との位置関係等から車線候補点を選別して結ぶことで、図１８に示すように自車両の左側および右側にそれぞれ車線ＬＲ、ＬＬを検出するようになっている。なお、以上の車線検出手段１５の処理構成については、本願出願人が先に提出した特開２００６−３３１３８９号公報等に詳述されており、詳細な説明は同公報等を参照されたい。
【０１４８】
車線検出手段１５は、このようにして検出した左右の車線位置ＬＲ、ＬＬや車線候補点ｃｒ、ｃｌ等の情報を図示しないメモリに保存するようになっている。
【０１４９】
路面検出手段１６は、車線検出手段１５で検出された左右の車線位置ＬＲ、ＬＬや車線候補点の情報に基づいて車線モデルを三次元的に形成するようになっている。本実施形態では、路面検出手段１６は、図１９（Ａ）、（Ｂ）に示すように、自車両の左右の車線を所定区間ごとに三次元の直線式で近似し、それらを折れ線状に連結して表現した車線モデルを形成するようになっている。なお、図１９（Ａ）は、Ｚ−Ｘ平面上の車線モデルすなわち水平形状モデル、図１９（Ｂ）は、Ｚ−Ｙ平面上の車線モデルすなわち道路高モデルを表す。
【０１５０】
具体的には、路面検出手段１６は、自車両前方の実空間を自車両の位置からの例えば距離Ｚ７までの各区間に分け、車線検出手段１５が検出した車線候補点の実空間上の位置（Ｘ，Ｙ，Ｚ）に基づいてそれぞれの区間内の車線候補点を最小二乗法で直線近似し、各区間ごとに下記の（１１）〜（１４）式のパラメータａＲ、ｂＲ、ａＬ、ｂＬ、ｃＲ、ｄＲ、ｃＬ、ｄＬを算出して車線モデルを形成するようになっている。
【０１５１】
［水平形状モデル］
右車線 Ｘ＝ａＲ・Ｚ＋ｂＲ …（１１）
左車線 Ｘ＝ａＬ・Ｚ＋ｂＬ …（１２）
［道路高モデル］
右車線 Ｙ＝ｃＲ・Ｚ＋ｄＲ …（１３）
左車線 Ｙ＝ｃＬ・Ｚ＋ｄＬ …（１４）
【０１５２】
路面検出手段１６は、このようにして車線モデルを形成して、実空間上における道路面を検出するようになっている。路面検出手段１６は、このようにして形成した車線モデルすなわち算出した各区間のパラメータａＲ〜ｄＬをそれぞれメモリに保存するようになっている。
【０１５３】
処理手段６と平均値算出手段７は、本実施形態においても上記の第１の実施形態の場合と同様に、図３および図４に示すフローチャートに従って各処理を行うように構成されている。
【０１５４】
すなわち、撮像手段２のメインカメラ２ａから基準画像Ｔの各画素の画像データＤが順次送信されてくると、注目画素（一の画素）ｐi,jの画像データＤi,jと、左や下に隣接する画素ｐの画像データＤを比較して、条件１や条件３に基づいて注目画素ｐi,jと隣接する画素ｐとをグループ化するか否かを判定し、また、注目画素ｐi,jの画像データＤi,jと、隣接する画素ｐが属するグループｇに属する各画素の各画像データＤの平均値Ｄaveとを比較して、条件２や条件４に基づいて注目画素ｐi,jと隣接する画素ｐとをグループ化するか否かを判定するようになっている。
【０１５５】
また、本実施形態では、注目画素ｐi,jと隣接する画素ｐとをグループ化するか否かの判定処理（図４のステップＳ９、Ｓ１０、Ｓ１３）において、距離検出手段１１で基準画像Ｔの各画素ごとに算出した視差ｄｐ（すなわち実空間上の距離Ｚに対応する。）の情報や、路面検出手段１６により検出された実空間上における道路面の情報に基づいて、さらに厳しい条件を課してグループ化するか否かの判定を行うようになっている。
【０１５６】
具体的には、処理手段６は、図４のステップＳ９、Ｓ１０、Ｓ１３の判定処理において、注目画素ｐi,jに対応する実空間上の距離Ｚi,jと、注目画素ｐi,jの左または下に隣接する画素ｐに対応する実空間上の距離Ｚｐとの差分｜Ｚi,j−Ｚｐ｜が、予め設定された閾値以上である場合には、上記の条件１〜条件４が満たされる場合であっても、注目画素ｐi,jと隣接する画素ｐとをグループ化しないようになっている。
【０１５７】
これは、基準画像Ｔ上で、注目画素ｐi,jと隣接する画素ｐとが似たような輝度等の画像データＤを有する場合であっても、それらに対応する実空間上の各点が同一の撮像対象とは見なせない程度に離れている場合は、注目画素ｐi,jと隣接する画素ｐとは同一の撮像対象に対応する画素ではなく、別々の撮像対象に対応すると考えられるためである。
【０１５８】
そして、このように構成することで、基準画像Ｔ中に撮像された撮像対象のように、１つのグループとしてまとめるべき撮像対象（例えば１つの物体）が撮像された画素を的確にグループ化し、１つのグループとしてまとめるべきでない撮像対象（例えば異なる物体）が撮像された画素はグループ化しないようにして、基準画像Ｔを的確に複数の領域に分割することが可能となる。また、そのため、基準画像Ｔ中から、撮像対象を的確に分離して抽出することが可能となる。
【０１５９】
しかし、本実施形態では、前述した距離検出手段１１におけるフィルタリング処理によりステレオマッチング処理で算出された視差ｄｐが無効とされる等して、隣接する画素ｐに対応する実空間上の距離Ｚｐが算出されていない場合がある。そのような場合には、以下のような手法で判定処理を行うように構成することが可能である。
【０１６０】
［手法１］注目画素ｐi,jに対応する実空間上の距離Ｚi,jと、隣接する画素ｐが属するグループｇに属する各画素に対応する実空間上の各距離Ｚのうち注目画素ｐi,jに対応する実空間上の距離Ｚi,jに最も近い実空間上の距離Ｚとの差分｜Ｚi,j−Ｚ｜が、前記閾値以上であるか否かを判定する。
【０１６１】
この場合、注目画素ｐi,jに対応する実空間上の距離Ｚi,jに最も近い距離Ｚが閾値以上に離れていれば、注目画素ｐi,jと、隣接する画素ｐが属するグループｇとは同一の撮像対象に対応するものではなく、別々の撮像対象に対応すると考えられる。
【０１６２】
［手法２］隣接する画素ｐが属するグループｇに属する各画素に対応する各実空間上の距離Ｚに基づいて各画素に対応する実空間上の各点の座標（Ｘ，Ｙ，Ｚ）を算出し、各点の分布の高さ方向（Ｙ軸方向）に対する距離方向（Ｚ軸方向）の傾きや、水平方向（Ｘ軸方向）に対する距離方向の傾き、或いは所定の方向に対する距離方向の傾きを算出し、これらの傾きから隣接する画素ｐに対応する実空間上の距離Ｚｐを推定する。そして、この推定された距離Ｚｐと、注目画素ｐi,jに対応する実空間上の距離Ｚi,jとの差分が前記閾値以上であるか否かを判定する。
【０１６３】
具体的には、隣接する画素ｐが属するグループｇに属する各画素について、視差ｄｐが算出されていれば、上記（１０）式から各画素に対応する実空間上の距離Ｚをそれぞれ算出でき、また、距離Ｚと各画素の基準画像Ｔ上のｉ座標やｊ座標とに基づいて、上記（８）式や（９）式に従って各画素に対応する実空間上のＸ座標（水平方向の位置）やＹ座標（高さ）をそれぞれ算出できる。
【０１６４】
そして、グループｇに属する各画素に対応する実空間上の各点を上記のようにして算出した座標（Ｘ，Ｙ，Ｚ）に基づいて実空間上にプロットする。その際、各点をＸ−Ｚ平面にプロットすると、例えば図２０に示すようにプロットすることができ、各点の分布を直線近似する等して、各点の分布の水平方向（Ｘ軸方向）に対する距離方向（Ｚ軸方向）の傾きθを算出することができる。
【０１６５】
そこで、この傾きθに基づいて、隣接する画素ｐに対応する実空間上の点Ｐの距離Ｚｐを推定し、推定された距離Ｚｐと、注目画素ｐi,jに対応する実空間上の距離Ｚi,jとの差分が前記閾値未満で近接していれば注目画素ｐi,jと隣接する画素ｐとをグループ化し、閾値以上に離れていれば注目画素ｐi,jと隣接する画素ｐとをグループ化しない。
【０１６６】
また、グループｇに属する各画素に対応する実空間上の各点をＹ−Ｚ平面にプロットすると、例えば図２１に示すようにプロットすることができ、各点の分布を直線近似する等して、各点の分布の高さ方向（Ｙ軸方向）に対する距離方向（Ｚ軸方向）の傾きφを算出するように構成してもよい。
【０１６７】
そして、この傾きφに基づいて、隣接する画素ｐに対応する実空間上の点Ｐの距離Ｚｐを推定し、推定された距離Ｚｐと、注目画素ｐi,jに対応する実空間上の距離Ｚi,jとの差分が前記閾値未満で近接していれば注目画素ｐi,jと隣接する画素ｐとをグループ化し、閾値以上に離れていれば注目画素ｐi,jと隣接する画素ｐとをグループ化しない。
【０１６８】
なお、実空間上での水平方向（Ｘ軸方向）は基準画像Ｔ上の左右方向に対応するため、図２０に示したような各点をＸ−Ｚ平面にプロットして各点の分布の水平方向に対する距離方向の傾きθを算出する手法は、隣接する画素ｐが属するグループｇが基準画像Ｔ上で水平方向に広がりを持つグループである場合の注目画素ｐi,jと隣接する画素ｐとのグループ化の判定処理に用いることができる。
【０１６９】
また、実空間上での高さ方向（Ｙ軸方向）は基準画像Ｔ上の上下方向に対応するため、図２１に示したような各点をＹ−Ｚ平面にプロットして各点の分布の高さ方向に対する距離方向の傾きφを算出する手法は、隣接する画素ｐが属するグループｇが基準画像Ｔ上で上下方向に広がりを持つグループである場合の注目画素ｐi,jと隣接する画素ｐとのグループ化の判定処理に用いることができる。
【０１７０】
しかし、図２２に示すように、隣接する画素ｐ（図２２では下に隣接する画素ｐi,j-1）が属するグループｇが、基準画像Ｔ上で所定の方向（図２２では左下から右上に延びる方向）に広がりを持つグループである場合がある。このような場合には、上記と同様に、グループｇに属する各画素に対応する実空間上の各点を前記所定の方向とＺ軸とを含む平面に投影してプロットして、各点の分布の前記所定の方向に対する距離方向（Ｚ軸方向）の傾きを算出する。
【０１７１】
そして、この傾きに基づいて、隣接する画素ｐに対応する実空間上の点Ｐの距離Ｚｐを推定し、推定された距離Ｚｐと、注目画素ｐi,jに対応する実空間上の距離Ｚi,jとの差分が前記閾値未満で近接していれば注目画素ｐi,jと隣接する画素ｐとをグループ化し、閾値以上に離れていれば注目画素ｐi,jと隣接する画素ｐとをグループ化しないように構成することができる。
【０１７２】
なお、上記の［手法１］や［手法２］は、隣接する画素ｐに対応する実空間上の距離Ｚｐが算出されていない場合だけでなく、それが算出されている場合にも適用するように構成することも可能である。
【０１７３】
また、上記の［手法２］の場合、隣接する画素ｐが属するグループｇに属する各画素に対応する実空間上の各距離Ｚの最大値Ｚmaxと最小値Ｚminとの差ΔＺが所定の閾値以下で小さい場合や、各画素に対応する実空間上の各距離Ｚの分散σｚが所定の閾値以下で小さい場合には、グループｇに属する各画素に対応する実空間上の各点は、撮像手段２からほとんど同じ距離Ｚにある。
【０１７４】
そして、このような場合、各点の分布の水平方向（Ｘ軸方向）に対する距離方向（Ｚ軸方向）の傾きθ（図２０参照）や、高さ方向（Ｙ軸方向）に対する距離方向の傾きφ（図２１参照）はほとんど０であり、このような場合には、上記の［手法１］を用いる等して注目画素ｐi,jと隣接する画素ｐとをグループ化するか否かを十分に精度良く判定することができる。
【０１７５】
そのため、隣接する画素ｐが属するグループｇに属する各画素に対応する実空間上の各距離Ｚの最大値Ｚmaxと最小値Ｚminとの差分ΔＺや各距離Ｚの分散σｚが所定の閾値以下である場合には、前記［手法２］を実行せず、傾きθやφ等を算出しないように構成することで、処理手段６における演算負荷が軽減され、処理の高速化を図ることが可能となる。
【０１７６】
さらに、図４のステップＳ９、Ｓ１０、Ｓ１３の判定処理を行う際に、処理手段６がその度ごとに隣接する画素ｐが属するグループｇに属する各画素に対応する実空間上の各距離Ｚの最大値Ｚmaxや最小値Ｚminを求めたり、各距離Ｚの分散σｚを演算するように構成すると、処理手段６における演算負荷が非常に大きくなる。
【０１７７】
そのため、図４のステップＳ１６、Ｓ１７の処理で、平均値算出手段７が、新規のグループとして登録されたグループや、注目画素ｐi,jを追加して拡大したグループｇや、複数のグループをグループ化して１つとしたグループｇに属する各画素の画像データＤの平均値Ｄave等を算出して更新する際、同時に、注目画素ｐi,jに対応する実空間上の距離Ｚi,jを算出して、グループｇに属する各画素に対応する実空間上の各距離Ｚの分散σｚを算出して更新し、また、必要に応じてグループｇに属する各画素に対応する実空間上の距離Ｚの最大値Ｚmaxや最小値Ｚminを更新しておくように構成することが可能である。
【０１７８】
また、その際、それらの実空間上の距離Ｚの平均値Ｚaveも算出しておき、注目画素ｐi,jに対応する実空間上の距離Ｚi,jと、隣接する画素ｐが属するグループｇについて算出された実空間上の距離Ｚの平均値Ｚaveや最大値Ｚmax、最小値Ｚminとを比較して、その差分が所定の閾値以上である場合には、注目画素ｐi,jと隣接する画素ｐとをグループ化しないように構成することも可能である。
【０１７９】
一方、前述した路面検出手段１６により検出された実空間上における道路面の情報に基づいて、さらに厳しい条件を課してグループ化するか否かの判定を行うように構成することも可能である。この場合、例えば、以下のような手法で判定処理を行うように構成することができる。
【０１８０】
［手法３］まず、グループｇに属する各画素に対応する各実空間上の距離Ｚに基づいて各画素に対応する実空間上の各点の高さＹを算出する。そして、路面検出手段１６が検出した距離Ｚでの道路面の高さＹ＊に基づいて各点の道路面からの高さＹ−Ｙ＊を算出し、その高さＹ−Ｙ＊が所定の閾値以上の高さである場合には、グループｇを道路面上に存在する立体物として認識する。また、所定の閾値未満の高さである場合には、グループｇを道路面上に標示された車線や規制標示等のパターンとして認識する。
【０１８１】
実空間上の距離Ｚにおける道路面の高さＹ＊は、図１９（Ｂ）に示したように、各区間ごとに上記（１３）式および（１４）式で示される車線モデルから線形補間する等して求めることができる。また、用いられる車線モデルは、路面検出手段１６によって今回のサンプリング周期における車線モデルが検出されていればそれを用い、今回のサンプリング周期での車線モデルが検出されていなければ前回のサンプリング周期で検出した車線モデルに基づいてその後の自車両の挙動等から今回のサンプリング周期における車線モデルが推定されて用いられる。
【０１８２】
また、道路面からの高さの閾値は、画像処理装置１における車線モデルの検出精度や基準画像Ｔの各画素の視差ｄｐの検出精度等に基づいて、例えば道路面から１０ｃｍ等の値に適宜設定される。また、画素に対応する実空間上の点の道路面からの高さＹ−Ｙ＊が負の値として算出される場合があるが、その場合は、その点は道路面上にあるものとして扱われる。
【０１８３】
［手法４］そして、隣接する画素ｐが属するグループｇに属する各画素に対応する実空間上の各点の道路面からの高さＹ−Ｙ＊が前記所定の閾値以上の高さであり、注目画素（一の画素）ｐi,jに対応する実空間上の点の道路面からの高さＹi,j−Ｙ＊が前記所定の閾値未満である場合、または、反対に、隣接する画素ｐが属するグループｇに属する各画素に対応する実空間上の各点の道路面からの高さＹ−Ｙ＊が前記所定の閾値未満の高さであり、注目画素ｐi,jに対応する実空間上の点の道路面からの高さＹi,j−Ｙ＊が前記所定の閾値以上である場合には、注目画素ｐi,jと隣接する画素ｐとをグループ化しない。
【０１８４】
このようにして、注目画素ｐi,jと隣接する画素ｐのうち、一方が道路面上に存在する立体物として認識され、他方が道路面上に標示されたパターンとして認識されている場合に、それらをグループ化しないように構成することで、隣接する画素同士の画像データＤの差異が僅かであり、画像データＤの差異のみでは分割し難い場合であっても、道路面上に存在する立体物の一部が撮像された領域と、道路面上に標示されたパターンの一部が撮像された領域とを、基準画像Ｔ上で的確に分割して抽出することが可能となる。
【０１８５】
ところで、本実施形態においても、基準画像Ｔにノイズ等が入ると、例えば基準画像Ｔ中に撮像されている１つの撮像対象に対応して１つの領域として抽出されるべき領域が、そのノイズ等により複数の領域に分割されてしまう場合がある。
【０１８６】
そのため、本実施形態では、例えば、基準画像Ｔ中に検出された各グループのうち、基準画像Ｔ上で接していない２つのグループｇ１、ｇ２に属する各画素に対応する実空間上の各点の２つの分布において、一方の分布に属する１点と他方の分布に属する１点との実空間上の間隔を総当りして、その中の最小値が所定の閾値以下であり、また、その中の最大値がこの閾値よりも大きな値に予め設定された閾値以下である場合に、当該２つのグループｇ１、ｇ２を１つのグループｇとして統合するように構成することが可能である。
【０１８７】
しかし、その際、基準画像Ｔ上で接していない２つのグループｇ１、ｇ２のうち、一方のグループに属する各画素に対応する実空間上の各点の道路面からの高さＹ−Ｙ＊が前記［手法３］や［手法４］における所定の閾値以上の高さであって道路面上に存在する立体物として認識されており、他方のグループに属する各画素に対応する実空間上の各点の道路面からの高さＹ−Ｙ＊が前記所定の閾値未満の高さであって道路面上に標示された車線や規制標示等のパターンとして認識されている場合には、当該２つのグループを統合しないように構成することが好ましい。
【０１８８】
上記のように構成することで、基準画像Ｔに入り込んだノイズ等の影響で、本来１つの撮像対象に対応した１つの領域として抽出されるべき領域が分割されている場合に、それを的確に修復して、１つの撮像対象が撮像された基準画像Ｔ中の領域を１つの領域に的確に統合して抽出することが可能となるとともに、道路面上に存在する立体物と道路面上に標示されたパターンとを的確に分離して抽出することが可能となる。
【符号の説明】
【０１８９】
１ 画像処理装置
２ 撮像手段
６ 処理手段
７ 平均値算出手段
１１ 距離検出手段
１６ 路面検出手段
Ｄ、Ｄi,j、Ｄi-1,j、Ｄi,j-1 画像データ
Ｄave 画像データの平均値
ｇ、ｇ１、ｇ２ グループ
ｐ、ｐi-1,j、ｐi,j-1 隣接する画素
ｐi,j 注目画素（一の画素）
ｒ 領域
Ｔ 画像
Ｔ、Ｔｃ 基準画像、比較画像（一対の画像）
Ｙ 実空間上の高さ
Ｙ−Ｙ＊、Ｙi,j−Ｙ＊ 道路面からの高さ
Ｚ、Ｚi,j、Ｚｐ 実空間上の距離
Ｚave 実空間上の距離の平均値
Ｚmax 実空間上の距離の最大値
Ｚmin 実空間上の距離の最小値
｜Ｚi,j−Ｚｐ｜ 差分
ΔＤ エッジ強度（差分）
ΔＤth 第１閾値
δＤ 平均値差分（差分）
δＤth 第２閾値
ΔＺ 差分
θ 水平方向に対する距離方向の傾き
σｚ 実空間上の距離の分散
φ 高さ方向に対する距離方向の傾き
【技術分野】
【０００１】
本発明は、画像処理装置に係り、特に、撮像された撮像対象に応じて画像を複数の領域に分割する画像処理装置に関する。
【背景技術】
【０００２】
従来から、例えばＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等で撮像した画像中から物体等の撮像対象を抽出する技術や、画像検索等のための画像圧縮技術、或いは画像中の特徴量等を計算するための技術として、同じような輝度等の画像データを有する画素をグループ化して画像を単純化する技術が知られている。
【０００３】
例えば、特許文献１に記載のカラー画像の領域分割方法では、ＲＧＢ値で表された各画素の画像データから色相値（Ｈ）、明度値（Ｌ）および彩度値（Ｓ）を求め、例えば、１画素ごとに右画素、下画素との色相差や明度差、彩度差をそれぞれ算出し、全画素における色相差、明度差、彩度差の各平均値を算出して、その各平均値をＨＬＳ色空間の各軸方向の分割幅としてＨＬＳ色空間を分割する。
【０００４】
そして、分割されたＨＬＳ色空間の色空間分割領域に色分類番号を付し、各画素の色（Ｈ，Ｌ，Ｓ）に基づいて各画素を色分類番号でラベリングし、画像上で同じ色分類番号を有する画素群をグループ化して１つの領域とするように処理して、画像を領域分割するようになっている。特許文献１に記載のカラー画像の領域分割方法では、さらに、領域分割した各グループの情報やグループに属する画像データ等から、画像全体の色情報やテクスチャ情報、分割領域の大きさ、色情報、輪郭線の形状等を特徴量として抽出することが述べられている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−６７２４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、特許文献１に記載された画像の領域分割方法のように、各画素における色相差の平均値等に基づいてＨＬＳ色空間等を分割し、色空間等の各分割領域に付された色分類番号等に基づいて各画素のグループ化を行う場合、例えば、画像中に撮像された同一の撮像対象に属する各画素であり、その色や明るさ等の画像データが互いに僅かに異なっているだけであっても、画素にラベリングされた色分類番号が異なれば、別のグループにまとめられてしまう。そのため、同一の撮像対象に属する各画素を同一のグループにまとめることができないといった問題が生じ得る。
【０００７】
また、逆に、画像中に複数の撮像対象が撮像されている境界部分で、互いに別の撮像対象に属する２つの画素が隣接している場合に、それらの画素にラベリングされた色分類番号が同一であれば、それらの画素が同じグループにまとめられてしまう。そのため、別の撮像対象に属する各画素を、別々のグループにまとめることができず、撮像対象を分離して抽出できないといった問題も生じ得る。
【０００８】
これは、特許文献１に記載された手法の場合に限らず、例えば画像情報の圧縮処理において各画素の画像データを有限個の離散情報に近似して量子化して同一の離散情報に近似される画像データを同一のグループにまとめるような場合にも発生し得る問題である。このように、各画素の画像データを予め一律に定められた分類のしかたで分類してグループ化しようとすると、例えば画像中に撮像された個々の撮像対象を、同一の物体等の撮像対象については１つのグループにまとめ、別の撮像対象については互いに異なるグループにまとめるといった的確なグループ化を必ずしも十分に行えない虞があった。
【０００９】
また、例えば画像情報の圧縮処理等では、モノクロ画像で撮像された各画素の例えば２５６の輝度階調の画像データや、カラー画像で撮像された各画素の２５６（Ｒ）×２５６（Ｇ）×２５６（Ｂ）＝１６７７７２１６種類の画像データを、例えば数種類或いは数十種類のデータに圧縮して処理するため、画像データの情報量が著しく低下してしまう。そのため、画像データがもともと有している豊富な情報量を有効に使うことができない虞もある。
【００１０】
さらに、特許文献１に記載された画像の領域分割方法のようなグループ化処理を行う場合、１画像分の全画素の画像データを取り込んだ後でなければ処理を行うことができず、処理に時間がかかり、例えば１秒間に数フレーム分或いは数十フレーム分の画像の画像データが取り込まれ、次々と処理を行わなければならないような場合に、処理が間に合わなくなる。そのため、画像処理のリアルタイム性が損なわれる虞もある。
【００１１】
本発明は、このような事情に鑑みてなされたものであり、画像データの情報量を有効に活用して、画像中に撮像された物体のように１つのグループとしてまとめるべき撮像対象を的確にグループ化することが可能な画像処理装置を提供することを目的とする。また、このグループ化をリアルタイムに行うことが可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
前記の問題を解決するために、第１の発明は、
画像処理装置において、
撮像手段で撮像された画像を複数の領域に分割する画像処理装置であって、
前記画像中の一の画素とそれに隣接する画素との各画像データの差分が所定の第１閾値未満である場合には前記一の画素を前記隣接する画素とグループ化し、最終的に得られた各グループをそれぞれ前記画像の各領域として前記画像を複数の領域に分割する処理手段と、
前記一の画素を含む前記グループにおける前記画像データの平均値を算出する平均値算出手段と、
を備え、
前記処理手段は、さらに、前記一の画素の画像データと、前記隣接する画素が属する前記グループについて前記平均値算出手段で算出された前記平均値とを比較して、その差分が所定の第２閾値以上である場合には、前記一の画素と前記隣接する画素とをグループ化しないことを特徴とする。
【００１３】
第２の発明は、第１の発明の画像処理装置において、前記処理手段は、前記撮像手段から前記一の画素の画像データが送信されてくると、前記一の画素と同一の画像中の、前記一の画素より以前に前記画像データが送信された画素であって、前記一の画素に隣接する画素の前記画像データと、前記一の画素の画像データとを比較し、かつ、前記一の画素の画像データと、前記一の画素より以前に前記画像データが送信された前記隣接する画素が属する前記グループの前記平均値とを比較することを特徴とする。
【００１４】
第３の発明は、第１または第２の発明の画像処理装置において、前記処理手段は、隣接する前記画素の各画像データがいずれも所定の数値範囲内である場合には、前記一の画素と前記隣接する画素との各画像データの比較、および前記一の画素の画像データと前記グループの前記平均値との比較にかかわらず、前記画像データが前記数値範囲内にある前記隣接する画素同士を優先してグループ化することを特徴とする。
【００１５】
第４の発明は、第１から第３のいずれかの発明の画像処理装置において、前記処理手段は、隣接する前記画素の各画像データのうち、一方の画像データが所定の数値範囲内であり、他方の画像データが前記数値範囲外である場合には、前記一の画素と前記隣接する画素との各画像データの比較、および前記一の画素の画像データと前記グループの前記平均値との比較にかかわらず、前記隣接する画素同士をグループ化しないことを特徴とする。
【００１６】
第５の発明は、第１から第４のいずれかの発明の画像処理装置において、前記処理手段は、画像上で接していない２つの前記グループの画素間隔の最小値が所定の閾値以下であり、かつ、当該２つのグループの前記各平均値の差分が所定の閾値以下である場合には、当該２つのグループを１つのグループとして統合することを特徴とする。
【００１７】
第６の発明は、第１から第５のいずれかの発明の画像処理装置において、
前記撮像手段は、一対の画像を出力し、
前記撮像手段から出力された前記一対の画像に対してステレオマッチング処理を施して、前記一対の画像のうちの少なくとも一方の画像の画素に対応する実空間上の距離を検出する距離検出手段を備え、
前記処理手段は、前記一方の画像中の前記一の画素に対応する前記実空間上の距離と、前記一の画素に隣接する画素に対応する前記実空間上の距離との差分が、予め設定された閾値以上である場合には、前記一の画素と前記隣接する画素とをグループ化しないことを特徴とする。
【００１８】
第７の発明は、第６の発明の画像処理装置において、前記処理手段は、前記隣接する画素が属する前記グループに属する各画素に対応する前記実空間上の距離のうち前記一の画素に対応する前記実空間上の距離に最も近い前記実空間上の距離と、前記一の画素に対応する前記実空間上の距離との差分が前記閾値以上であるか否かを判定することを特徴とする。
【００１９】
第８の発明は、第６または第７の発明の画像処理装置において、前記処理手段は、前記隣接する画素が属する前記グループに属する各画素に対応する前記各実空間上の距離に基づいて前記各画素に対応する実空間上の各点の座標を算出し、前記各点の分布の傾きを算出し、前記傾きから推定される前記隣接する画素に対応する実空間上の距離と、前記一の画素に対応する前記実空間上の距離との差分が前記閾値以上であるか否かを判定することを特徴とする。
【００２０】
第９の発明は、第６から第８のいずれかの発明の画像処理装置において、
前記平均値算出手段は、前記グループに属する各画素に対応する前記実空間上の各距離の平均値、最大値、最小値のいずれかを算出し、
前記処理手段は、前記隣接する画素が属する前記グループについて前記平均値算出手段で算出された前記実空間上の距離の平均値、最大値、最小値のいずれかと、前記一の画素に対応する前記実空間上の距離とを比較して、その差分が所定の閾値以上である場合には、前記一の画素と前記隣接する画素とをグループ化しないことを特徴とする。
【００２１】
第１０の発明は、第６から第９のいずれかの発明の画像処理装置において、
前記撮像手段で撮像された画像から道路面を検出する路面検出手段を備え、
前記処理手段は、前記グループに属する各画素に対応する前記実空間上の各距離に基づいて前記各画素に対応する実空間上の各点の高さを算出し、前記路面検出手段が検出した前記道路面からの前記各点の高さが、所定の閾値以上の高さである場合には、前記グループを道路面上に存在する立体物として認識し、前記所定の閾値未満の高さである場合には、前記グループを道路面上に標示されたパターンとして認識することを特徴とする。
【００２２】
第１１の発明は、第１０の発明の画像処理装置において、前記処理手段は、前記一の画素に対応する実空間上の点の前記道路面からの高さと、前記隣接する画素が属する前記グループに属する各画素に対応する前記実空間上の各点の前記道路面からの高さのうち、一方が前記所定の閾値未満であり、かつ、他方が前記所定の閾値以上である場合には、前記一の画素と前記隣接する画素とをグループ化しないことを特徴とする。
【００２３】
第１２の発明は、第６から第１１のいずれかの発明の画像処理装置において、前記処理手段は、画像上で接していない２つの前記グループに属する各画素に対応する実空間上の各点の２つの分布において、異なる分布に属する２点の実空間上の間隔の最小値が所定の閾値以下の場合で、かつ、最大値が前記閾値よりも大きな値に予め設定された閾値以下である場合には、当該２つのグループを１つのグループとして統合することを特徴とする。
【００２４】
第１３の発明は、第１２の発明の画像処理装置において、前記処理手段は、画像上で接していない２つの前記グループのうち、一方の前記グループに属する各画素に対応する前記実空間上の各点の前記道路面からの高さが前記所定の閾値以上であり、かつ、他方の前記グループに属する各画素に対応する前記実空間上の各点の前記道路面からの高さが前記所定の閾値未満の高さである場合には、当該２つのグループを統合しないことを特徴とする。
【発明の効果】
【００２５】
第１の発明によれば、画像データを圧縮処理する等せずに豊富な情報量を有効に使い、一の画素（注目画素）の画像データとそれに隣接する画素の画像データとの差分（エッジ強度）のみならず、一の画素の画像データと、それに隣接する画素が属するグループの各画素の画像データの平均値との差分（平均値差分）に基づいて、一の画素と隣接する画素とをグループ化するか否かを判定する。
【００２６】
そのため、画像データの情報量を有効に活用して、画像中に撮像された１つのグループとしてまとめるべき撮像対象（例えば１つの物体）が撮像された画素を的確にグループ化し、１つのグループとしてまとめるべきでない撮像対象（例えば異なる物体）が撮像された画素はグループ化しないようにして、画像を的確に複数の領域に分割することが可能となる。また、そのため、画像中から、撮像対象を的確に分離して抽出することが可能となる。
【００２７】
第２の発明によれば、前記発明の効果に加え、撮像手段から処理手段に各画素の画像データが順次入力される場合に、画像データの入力と同時並行で各処理を実施し、一の画素と、それが入力されるより以前に入力されている画像データとを比較するように構成することで、１画像分の全画素の画像データの入力を待たずに処理することが可能となり、グループ化の処理をリアルタイムに行うことが可能となる。
【００２８】
第３の発明によれば、画像中で、画像データが所定の数値範囲内にある領域を的確に他の領域から分離して抽出することが可能となる。そのため、信号機の点灯している信号灯や先行車両のテールランプ等の光源のように高輝度に撮像されている画像中の領域や、トンネル等のように低輝度に撮像されている画像Ｔ中の領域等のように、撮像対象がそれに特有の数値範囲の画像データとして撮像される場合に、画像データが特有の数値範囲内にある領域を画像中から優先して抽出して、それらの撮像対象を的確に抽出することが可能となり、前記各発明の効果がより有効に発揮される。
【００２９】
第４の発明によれば、撮像対象が特有の数値範囲の画像データとして撮像される場合、一の画素と隣接する画素の一方の画像データが上記の数値範囲内であり、他方の画像データが数値範囲外にある場合に、隣接する画素同士をグループ化しないことで、画像データが所定の数値範囲内にある画素のみを的確にグループ化することが可能となり、画像中で、画像データが所定の数値範囲内にある領域を的確に他の領域から分離して抽出することが可能となる。そのため、特有の数値範囲の画像データが撮像される撮像対象を的確に抽出することが可能となり、前記各発明の効果がより有効に発揮される。
【００３０】
第５の発明によれば、画像中に撮像されている１つの撮像対象に対応して１つの領域として抽出されるべき領域がノイズ等により複数の領域に分割されてしまうような場合に、ノイズ等の影響を排除して、分割された複数の領域を本来の１つの領域に統合することが可能となり、前記各発明の効果がより的確に発揮される。
【００３１】
第６の発明によれば、前記各発明の効果に加え、隣接する画素同士の画像データが近接していてグループ化できるような場合であっても、ステレオカメラにより撮像された一対の画像に対してステレオマッチング処理を施して画像の各画素ごとに算出された隣接する画素の実空間上の各距離が同一の撮像対象とは見なせない程度に離れている場合に、隣接する画素をグループ化しないことで、同一の撮像対象に対応する画素ではない画素同士をグループ化することが回避され、撮像対象の実空間上の位置を区別して、画像中から撮像対象を的確に分離して抽出することが可能となる。
【００３２】
第７の発明によれば、一の画素に隣接する画素に対応する実空間上の距離の情報が算出されていない場合などには、一の画素に対応する実空間上の距離と、隣接する画素が属するグループに属する各画素に対応する実空間上の各距離のうち、一の画素に対応する実空間上の距離に最も近い実空間上の距離との差分を算出し、それに基づいて判定処理を行うことで、前記第６の発明の効果を的確に発揮することが可能となる。
【００３３】
第８の発明によれば、隣接する画素が属するグループに属する各画素に対応する実空間上の各点の分布の、高さ方向に対する距離方向の傾きや水平方向に対する距離方向の傾き等の傾きを算出し、それに基づいて当該隣接する画素に対応する実空間上の距離を推定し、それと一の画素に対応する実空間上の距離との差分を算出することで、一の画素に隣接する画素に対応する実空間上の距離の情報が算出されていないような場合でも的確に判定処理を行うことが可能となり、前記各発明の効果が的確に発揮される。
【００３４】
第９の発明によれば、前記各発明の効果に加え、平均値算出手段で、一の画素を含むグループに属する各画素の画像データの平均値等を算出する際に、同時に、一の画素に対応する実空間上の距離を算出し、グループに属する各画素に対応する実空間上の各距離の平均値や最大値、最小値を算出しておくように構成することで、処理手段における演算負荷を軽減することが可能となる。
【００３５】
また、平均値算出手段が算出したグループに属する各画素に対応する実空間上の各距離の平均値や最大値、最小値を用いて、処理手段で、一の画素と隣接する画素とをグループ化するか否かの判定処理を行うことで、迅速に処理を行うことが可能となるとともに、判定処理を的確に行うことが可能となる。
【００３６】
第１０の発明によれば、前記各発明の効果に加え、路面検出手段で道路面を検出し、道路面を基準として実空間上の高さが道路面よりも所定の閾値以上に高いグループを道路面上に存在する立体物として認識し、所定の閾値未満の高さであるグループを道路面上に標示されたパターンとして認識することで、立体物である撮像対象と道路面上に標示されたパターンである撮像対象とを異なる領域に分割し、的確に区別して抽出することが可能となる。
【００３７】
第１１の発明によれば、立体物であると認識される画素やグループと、道路面上に標示されたパターンであると認識される画素やグループとをグループ化してしまうことが回避され、立体物である撮像対象と道路面上に標示されたパターンである撮像対象とを異なる領域に分割して的確に区別して抽出することが可能となり、前記第１０の発明の効果が的確に発揮される。
【００３８】
第１２の発明によれば、例えば実空間上の大きさが予め分かっている撮像対象に対応する各画素をグループ化する際、画像中に撮像されている当該撮像対象に対応して１つの領域として抽出されるべき領域がノイズ等により複数の領域に分割されてしまうような場合に、ノイズ等の影響を排除して、分割された複数の領域を本来の１つの領域に統合することが可能となり、前記各発明の効果がより的確に発揮される。
【００３９】
第１３の発明によれば、前記第１２の発明において、画像上で接していない２つのグループを統合する際、一方のグループが立体物である撮像対象と認識され、他方のグループが道路面上に標示されたパターンであると認識される場合に、当該２つのグループを統合しないようにすることで、立体物と道路面上に標示されたパターンとを的確に分離して抽出することが可能となり、前記第１２の発明の効果がより的確に発揮される。
【図面の簡単な説明】
【００４０】
【図１】第１の実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】撮像手段で撮像される画像の例を示す図である。
【図３】処理手段や平均値算出手段における処理手順を示すフローチャートである。
【図４】処理手段や平均値算出手段における処理手順を示すフローチャートである。
【図５】入力された一の画素と既に入力されている左に隣接する画素とを説明する図である。
【図６】一の画素と左に隣接する画素が属するグループの例とを説明する図である。
【図７】入力された一の画素と既に入力されている下に隣接する画素とを説明する図である。
【図８】一の画素と下に隣接する画素が属するグループの例とを説明する図である。
【図９】（Ａ）２つの画素が一の画素の左および下に隣接するグループの例を説明する図であり、（Ｂ）一の画素が左に隣接する画素とグループ化されたため下に隣接する画素ともグループ化される例を説明する図である。
【図１０】（Ａ）一の画素の下に隣接する画素が属するグループと左に隣接する画素が属するグループが別のグループである例を説明する図であり、（Ｂ）２つのグループが一の画素とグループ化されて１つのグループになる例を説明する図である。
【図１１】孤立した状態となったグループの例を説明する図である。
【図１２】撮像手段により撮像された画像の具体例を示す写真である。
【図１３】図１２の画像が複数の領域に分割された具体例を示す写真である。
【図１４】第２の実施形態に係る画像処理装置の構成を示すブロック図である。
【図１５】距離検出手段のイメージプロセッサによるステレオマッチング処理を説明する図である。
【図１６】作成された距離画像の例を示す図である。
【図１７】基準画像の水平ライン上を探索して検出された車線候補点の例を説明する図である。
【図１８】自車両の左右に検出された車線の例を説明する図である。
【図１９】形成された車線モデルの例を説明する図であり、（Ａ）はＺ−Ｘ平面上の水平形状モデル、（Ｂ）はＺ−Ｙ平面上の道路高モデルを表す。
【図２０】グループに属する各画素に対応する実空間上の各点をＸ−Ｚ平面にプロットした例を説明する図である。
【図２１】グループに属する各画素に対応する実空間上の各点をＹ−Ｚ平面にプロットした例を説明する図である。
【図２２】所定の方向に広がりを持つグループの例を説明する図である。
【発明を実施するための形態】
【００４１】
以下、本発明に係る画像処理装置の実施の形態について、図面を参照して説明する。
【００４２】
［第１の実施の形態］
第１の実施形態に係る画像処理装置１は、図１に示すように、主に撮像手段２と処理部５とで構成されている。撮像手段２は、本実施形態では、例えばＣＣＤやＣＭＯＳセンサ等のイメージセンサが内蔵されたカメラ等の単眼の撮像手段が用いられているが、複数設けられた撮像手段のうちの単数または複数の撮像手段により撮像された単数または複数の画像に対して本発明に係る処理を施すように構成することも可能である。
【００４３】
なお、本実施形態では、撮像手段２を構成する図示しない各撮像素子によりモノクロ（白黒）の画像データＤが取得されるようになっており、１つの撮像素子が画像中の１画素に対応する。また、本実施形態では、後述するように、撮像手段２の各撮像素子（すなわち各画素）ごとに撮像された各画像データＤを、変換手段３でそれぞれ例えば２５６階調のグレースケールの輝度としてのデジタル値の画像データＤに変換する場合について説明する。しかし、本発明はこれに限定されず、撮像手段２の各撮像素子で例えばＲＧＢ値等で表されるカラーの画像データを撮像する場合についても本発明が適用される。
【００４４】
また、本実施形態では、撮像手段２は、例えば図２に示すような画像Ｔを撮像する場合、画像Ｔの各水平ラインｊの最も左側の撮像素子から順に右方向に走査し、また、走査する水平ラインｊを最も下側のラインから順に上方に切り替えながら撮像するようにして、各撮像素子で撮像された順に各画像データＤを変換手段３に順次送信するようになっている。
【００４５】
変換手段３は、Ａ／Ｄコンバータで構成されており、撮像手段２で各撮像素子（各画素）ごとに撮像された各画像データＤが順次送信されてくると、各画像データＤをそれぞれデジタル値の画像データＤに変換して画像補正部４に出力するようになっている。画像補正部４は、送信されてきた各画像データＤに対してずれやノイズの除去、輝度の補正等の画像補正を順次行い、画像補正した各画像データＤを処理部５に順次送信するようになっている。
【００４６】
処理部５は、本実施形態では、図示しないＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、入出力インターフェース等がバスに接続されたコンピュータで構成されている。処理部５は、処理手段６や平均値算出手段７を備えているが、さらに、他の処理を行うように構成することも可能である。
【００４７】
処理手段６は、本実施形態では、上記のように各撮像素子（各画素）の画像データＤが順次送信されてくると、隣接する画素同士の各画像データＤを比較し、また、一の画素の画像データＤと、後述するように隣接する画素が属するグループに属する各画素の各画像データＤについて平均値算出手段７で算出された平均値とを比較して、当該隣接する画素同士をグループ化するか否かを判定するようになっている。
【００４８】
そして、処理手段６は、このように、画像Ｔ中でグループ化可能な隣接画素同士をグループ化していき、画像Ｔの全画素について処理を終了した時点で、最終的に得られた各グループをそれぞれ画像Ｔの各領域とすることで、画像Ｔを複数の領域に分割するようになっている。
【００４９】
以下、この処理手段６や平均値算出手段７を含む処理部５での処理を、図３および図４に示すフローチャートに従って説明する。
【００５０】
なお、本実施形態では、前述したように、撮像手段２から各撮像素子（各画素）の画像データＤが順次出力され、変換手段３や画像補正部４でそれぞれ処理が行われ、処理された各画像データＤが、順次、処理部５に送信されるが、処理部５では、各画像データＤが順次入力するのと同時並行的に以下の処理が行われる。このように構成することで、１画像分の全画素の画像データＤの入力を待たず処理することが可能となるため、グループ化の処理をリアルタイムに行うことが可能となる。
【００５１】
また、以下の説明では、例えば図２に示した画像Ｔにおける画素について、画像Ｔの左下隅の画素を原点とし、右向きにｉ軸、上向きにｊ軸をとった場合の画素の座標（ｉ，ｊ）を用いて、画素ｐi,jのように表す。また、画素ｐi,jの画像データＤをＤi,jのように表す。
【００５２】
処理部５における処理では、まず、撮像手段２により撮像が開始されると（図３のステップＳ１）、処理手段６は、ｉおよびｊの値をそれぞれ０に設定する（ステップＳ２）。前述したように、撮像手段２で撮像された水平ライン０（すなわちｊ座標が０の各画素からなる水平ラインｊ）上の左端の画素ｐ0,0（すなわち原点の画素）の画像データＤ0,0の処理部５への入力が開始されると（ステップＳ３）、続いて、画素ｐ1,0、ｐ2,0、ｐ3,0、…の画像データＤ1,0、Ｄ2,0、Ｄ3,0、…が順次入力される。
【００５３】
そして、処理手段６は、水平ラインｊの右端の画素まで処理を完了していなければ（ステップＳ４；ＮＯ）、ｉ座標を１ずつインクリメントして（ステップＳ５）、注目する一の画素（以下、注目画素という。）を水平ラインｊ上の右隣の画素に移動させながら（ステップＳ６）、処理を続ける。
【００５４】
また、水平ラインｊの右端の画素まで処理を完了すると（ステップＳ４；ＹＥＳ）、画像Ｔの最上段の水平ラインまで処理が終了していなければ（ステップＳ７；ＮＯ）、処理を行う水平ラインｊを１行上方の水平ラインｊ＋１に移行させ、注目画素のｉ座標を０に設定して（ステップＳ８）、画素ｐ0,j+1を注目画素として（ステップＳ６）処理を行い、注目画素を画素ｐ0,j+1から順に右側に移動させながら処理を続行する。
【００５５】
次に、注目画素を画素ｐi,jに設定（ステップＳ６）した後の処理手段６における処理（図４のステップＳ９以降）について説明する。
【００５６】
処理手段６は、まず、注目画素ｐi,jと、図５に示すように注目画素ｐi,jが入力されるより以前に入力されていて注目画素ｐi,jの左に隣接する画素ｐi-1,jについて、下記の条件１や条件２を満たすか否かの判定を行う（ステップＳ９）。
【００５７】
［条件１］注目画素ｐi,jの画像データＤi,jと、左に隣接する画素ｐi-1,jの画像データＤi-1,jとの差分ΔＤleft（ｉ，ｊ）、すなわち、
ΔＤleft（ｉ，ｊ）＝｜Ｄi,j−Ｄi-1,j｜ …（１）
が、予め設定された第１閾値ΔＤth未満である。なお、以下、上記のような隣接する画素間の画像データＤの差分ΔＤをエッジ強度という。
【００５８】
［条件２］図６に示すように、注目画素ｐi,jの画像データＤi,jと、左に隣接する画素ｐi-1,jが属するグループｇに属する各画素の画像データＤの平均値Ｄave-leftとの差分δＤleft（ｉ，ｊ）、すなわち、
δＤleft（ｉ，ｊ）＝｜Ｄi,j−Ｄave-left｜ …（２）
が、予め設定された第２閾値δＤth未満である。
【００５９】
なお、以下、上記のように、注目画素ｐi,jの画像データＤi,jと、隣接する画素が属するグループｇの画像データＤの平均値Ｄaveとの差分δＤを平均値差分という。また、グループｇに属する各画素の画像データＤの平均値Ｄaveは、後述するように、平均値算出手段７で算出される（ステップＳ１６参照）。さらに、左に隣接する画素ｐi-1,jが属するグループｇが当該左に隣接する画素ｐi-1,jのみで構成されている場合もあり、その場合、グループｇに属する各画素の画像データＤの平均値Ｄave-leftは、当該左に隣接する画素ｐi-1,jの画像データＤi-1,jに等しい。
【００６０】
処理手段６は、条件１と条件２をともに満たすと判定した場合には（ステップＳ９；ＹＥＳ）、ステップＳ１０の判定処理に進み、条件１と条件２の少なくとも一方を満たさないと判定した場合には（ステップＳ９；ＮＯ）、ステップＳ１３の判定処理に進む。なお、上記の第１閾値ΔＤthと第２閾値δＤthとは同じ値に設定されても異なる値に設定されてもよく、それらの閾値の値は適宜設定される。
【００６１】
処理手段６は、ステップＳ９の判定処理で、条件１と条件２をともに満たすと判定すると（ステップＳ９；ＹＥＳ）、続いて、注目画素ｐi,jと、図７に示すように注目画素ｐi,jが入力されるより以前に入力されていて注目画素ｐi,jの下に隣接する画素ｐi,j-1について、上記と同様に、下記の条件３や条件４を満たすか否かの判定を行う（ステップＳ１０）。
【００６２】
［条件３］注目画素ｐi,jの画像データＤi,jと、下に隣接する画素ｐi,j-1の画像データＤi,j-1とのエッジ強度ΔＤlower（ｉ，ｊ）、すなわち、
ΔＤlower（ｉ，ｊ）＝｜Ｄi,j−Ｄi,j-1｜ …（３）
が、予め設定された前述した第１閾値ΔＤth未満である。
【００６３】
［条件４］図８に示すように、注目画素ｐi,jの画像データＤi,jと、下に隣接する画素ｐi,j-1が属するグループｇに属する各画素の画像データＤの平均値Ｄave-lowerとの平均値差分δＤlower（ｉ，ｊ）、すなわち、
δＤlower（ｉ，ｊ）＝｜Ｄi,j−Ｄave-lower｜ …（４）
が、予め設定された前述した第２閾値δＤth未満である。
【００６４】
なお、この場合も、下に隣接する画素ｐi,j-1が属するグループｇが当該下に隣接する画素ｐi,j-1のみで構成されている場合もあり、その場合、グループｇに属する各画素の画像データＤの平均値Ｄave-lowerは、当該下に隣接する画素ｐi,j-1の画像データＤi,j-1に等しい。
【００６５】
そして、処理手段６は、条件３と条件４の少なくとも一方を満たさないと判定した場合には（ステップＳ１０；ＮＯ）、注目画素ｐi,jを、下に隣接する画素ｐi,j-1とはグループ化しないが、ステップＳ９の判定処理で上記の条件１と条件２を満たすと判定しているため、注目画素ｐi,jを左に隣接する画素ｐi-1,jとグループ化する（ステップＳ１１）。
【００６６】
その際、例えば図５に示したように、左に隣接する画素ｐi-1,jが他の画素とグループ化されていなければ、注目画素ｐi,jと左に隣接する画素ｐi-1,jがグループ化されて、左右に隣接する２つの画素からなるグループが新たに形成される。また、例えば図６に示したように、左に隣接する画素ｐi-1,jが他の画素とグループ化されていてグループｇに属していれば、注目画素ｐi,jがグループｇに追加されるようにグループ化され、グループｇが注目画素ｐi,jの分だけ１画素分拡大する。
【００６７】
なお、左に隣接する画素ｐi-1,jが属するグループｇが例えば図９（Ａ）に示すような形状である場合に、ステップＳ１０の判定処理で、条件３と条件４の少なくとも一方を満たさないと判定されて（ステップＳ１０；ＮＯ）、注目画素ｐi,jが下に隣接する画素ｐi,j-1とグループ化されない場合でも、図９（Ｂ）に示すように、注目画素ｐi,jが左に隣接する画素ｐi-1,jとグループ化されることで（ステップＳ１１）、結果的に、注目画素ｐi,jが下に隣接する画素ｐi,j-1とグループ化される場合もある。
【００６８】
次に、処理手段６は、ステップＳ１０の判定処理で、条件３と条件４をともに満たすと判定した場合には（ステップＳ１０；ＹＥＳ）、注目画素ｐi,jを、下に隣接する画素ｐi,j-1および左に隣接する画素ｐi-1,jとグループ化する（ステップＳ１２）。
【００６９】
その際、例えば図７に示したように、下に隣接する画素ｐi,j-1や左に隣接する画素ｐi-1,jがともに他の画素とグループ化されていなければ、注目画素ｐi,jと下に隣接する画素ｐi,j-1と左に隣接する画素ｐi-1,jがグループ化されて３つの画素からなるグループが新たに形成される。また、例えば図６や図８に示したように、下に隣接する画素ｐi,j-1または左に隣接する画素ｐi-1,jのいずれか一方が他の画素とグループ化されていてグループｇに属していれば、注目画素ｐi,jとグループｇに属していない方の画素とがグループｇに追加されるようにグループ化されて、グループｇが２画素分拡大する。
【００７０】
また、例えば図１０（Ａ）に示すように、左に隣接する画素ｐi-1,jがグループｇ１に属し、下に隣接する画素ｐi,j-1が他のグループｇ２に属している場合、注目画素ｐi,jを下に隣接する画素ｐi,j-1および左に隣接する画素ｐi-1,jとグループ化すると（ステップＳ１２）、図１０（Ｂ）に示すように、注目画素ｐi,jを介してグループｇ１とグループｇ２とがグループ化されて１つのグループｇとなる。
【００７１】
一方、処理手段６は、ステップＳ９の判定処理で、条件１と条件２の少なくとも一方を満たさないと判定した場合には（ステップＳ９；ＮＯ）、ステップＳ１３の判定処理に進み、上記と同様に、条件３や条件４を満たすか否かの判定を行う（ステップＳ１３）。
【００７２】
そして、処理手段６は、条件３と条件４をともに満たすと判定した場合には（ステップＳ１３；ＹＥＳ）、ステップＳ９の判定処理で条件１と条件２の少なくとも一方を満たさないと判定しているため（ステップＳ９；ＮＯ）、注目画素ｐi,jを、左に隣接する画素ｐi-1,jとはグループ化せず、下に隣接する画素ｐi,j-1のみとグループ化する（ステップＳ１４）。
【００７３】
その際、注目画素ｐi,jを下に隣接する画素ｐi,j-1とグループ化すると（ステップＳ１４）、結果的に、左に隣接する画素ｐi-1,jとグループ化される場合があることは、図９（Ａ）、（Ｂ）に示したケースから容易に類推される。
【００７４】
処理手段６は、ステップＳ１１、Ｓ１２、Ｓ１４の処理で、注目画素ｐi,jを隣接する画素とグループ化すると、拡大したグループｇの画素数を更新し、グループｇの左端、右端の画素の各座標や上端、下端の画素の各座標に変更があれば更新する。また、例えば図１０（Ｂ）に示したように、複数のグループがグループ化されて１つのグループとされた場合には、１つにグループ化されたグループｇのグループ番号を、グループ化の対象となった複数のグループの各グループ番号のうちの例えば最も小さい番号を選択して更新する（ステップＳ１５）。
【００７５】
また、平均値算出手段７は、注目画素ｐi,jを追加して拡大したグループｇや、複数のグループをグループ化して１つとしたグループｇに属する各画素の画像データＤの平均値Ｄaveを算出して更新する（ステップＳ１６）。
【００７６】
処理手段６は、ステップＳ１５の処理を終了し、平均値算出手段７によりグループｇに属する各画素の画像データＤの平均値Ｄaveが算出され更新されると（ステップＳ１６）、ステップＳ４の判定処理以降の処理を続行する。
【００７７】
一方、処理手段６は、ステップＳ１３の判定処理で、条件３と条件４の少なくとも一方を満たさないと判定した場合には（ステップＳ１３；ＮＯ）、注目画素ｐi,jを、左に隣接する画素ｐi-1,jとも下に隣接する画素ｐi,j-1ともグループ化せず、注目画素ｐi,jのみが属する新たなグループとして登録する（ステップＳ１７）。
【００７８】
そして、処理手段６は、この新規のグループに新たなグループ番号を付し、グループの画素数を１とし、左右端、上下端の画素の各座標をそれぞれ注目画素ｐi,jの座標（ｉ，ｊ）として記録する。また、平均値算出手段７は、この新規のグループの画像データＤの平均値Ｄaveとして、当該注目画素ｐi,jの画像データＤi,jを記録する。
【００７９】
また、処理手段６は、ステップＳ１３の判定処理で条件３と条件４の少なくとも一方を満たさないと判定し（ステップＳ１３；ＮＯ）、注目画素ｐi,jを下に隣接する画素ｐi,j-1とグループ化しなかった結果、今後の処理で新たな画素が追加される可能性がなくなり、画像Ｔ上で孤立した状態となったグループｇが発生したか否かを判定する（ステップＳ１８）。
【００８０】
例えば、図８に示したグループｇの場合、今後の処理で、注目画素が同じ水平ラインｊ上のさらに右側に設定された際に注目画素がグループｇに追加される可能性がある。また、例えば図６に示したグループｇの場合、今後の処理で、処理される水平ラインｊが１行上方の水平ラインｊ＋１に移行した際に注目画素がグループｇに追加される可能性がある。そのため、これらのグループｇは、画像Ｔ上で孤立した状態にはなっていない。
【００８１】
しかし、例えば、図１１に示すようなグループｇの場合、今後の処理で、注目画素が同じ水平ラインｊ上のさらに右側に設定されても、或いは、処理される水平ラインｊが１行上方の水平ラインｊ＋１に移行されても、もはや注目画素がグループｇに追加される可能性はない。そのため、図１１に示したようなグループｇが、画像Ｔ上で孤立した状態となったグループｇとなる。
【００８２】
処理手段６は、このように、画像Ｔ上で孤立した状態となったグループｇが発生したと判定すると（ステップＳ１８；ＹＥＳ）、続いて、そのグループｇに属する全画素の画素数が予め設定された閾値以下か否かを判定し（ステップＳ１９）、画素数が閾値以下であると判定すると（ステップＳ１９；ＹＥＳ）、そのグループｇを登録されたグループの中から削除する（ステップＳ２０）。このような画素数が小さい孤立したグループは、画像Ｔ中に生じたノイズ等のように無視してよいグループであるからである。
【００８３】
また、処理手段６は、孤立したグループｇが発生していないと判定した場合や（ステップＳ１８；ＮＯ）、孤立したグループｇが発生してもその画素数が閾値より多く、比較的大きなグループである場合には（ステップＳ１９；ＮＯ）には、そのグループｇを登録されたグループの中から削除せず、ステップＳ４の判定処理以降の処理を続行する。
【００８４】
そして、水平ラインｊの右端の画素まで処理を完了し（図３のステップＳ４；ＹＥＳ）、画像Ｔの最上段の水平ラインまで処理が終了すると（ステップＳ７；ＹＥＳ）、処理手段６は、最終的に得られた各グループをそれぞれ画像Ｔの各領域として（ステップＳ２１）、画像Ｔを複数の領域に分割する。
【００８５】
処理手段６は、画像Ｔの１画像分の処理を終了すると、画像Ｔの各画素ｐi,jの各画像データＤi,jを図示しない記憶手段に保存するとともに、各領域（グループ）に属する各画素の各座標（ｉ，ｊ）や画素数、左右端の画素の各座標、上下端の画素の各座標、領域（グループ）の画像データＤの平均値Ｄave等の情報を、画像Ｔと対応付けて、画像Ｔの各画像データＤi,j等とともに記憶手段に保存する。また、必要に応じてそれらの情報を外部に出力する。
【００８６】
また、その際、例えば、各領域の左右端の画素位置の中間点をｉ座標とし、上限端の画素位置の中間点をｊ座標とする中心点を各領域ごとに算出し、上記の各情報とともに記憶手段に保存するとともに、必要に応じて外部に出力するように構成することも可能である。
【００８７】
次に、本実施形態に係る画像処理装置１の作用について説明する。
【００８８】
処理手段６により、注目画素ｐi,jと左や下に隣接する画素ｐi-1,j、ｐi,j-1とグループ化するか否かが決める際、前述した特許文献１に記載された画像の領域分割方法や従来の画像情報の圧縮処理等における手法では、予め一律に定められた分類のしかたで各画素ｐの画像データＤを分類し、その分類に従ってグループ化するか否かを決定した。そのため、隣接する画素ｐの各画像データＤの差異が僅かであっても、各画像データＤが異なる分類に属する場合には、隣接する画素ｐ同士を１つのグループにまとめることができない。
【００８９】
そのため、例えば、画像Ｔ中に物体等の同一の撮像対象が撮像されていても、隣接する画素ｐの各画像データＤが僅かに異なっているために同一の撮像対象が撮像された領域が複数の領域に分割される場合があった。
【００９０】
また、逆に、画像Ｔ中に複数の撮像対象が撮像されていて、その境界部分で、互いに別の撮像対象に属する２つの画素が隣接している場合に、各画素ｐの画像データＤが同じ分類であるとそれらの画素が１つのグループにまとめられてしまい、撮像対象を分離して抽出できない場合があった。
【００９１】
しかし、本実施形態に係る画像処理装置１では、予め一律に定められた分類の基準が設けられておらず、前述したように、処理手段６により、上記の条件１や条件３に従って、注目画素ｐi,jの画像データＤi,jと左や下に隣接する画素ｐi-1,j、ｐi,j-1の画像データＤi-1,j、Ｄi,j-1とが比較され、それらのエッジ強度ΔＤに基づいて隣接する画素同士をグループ化するか否かが決められる。
【００９２】
そのため、隣接する画素ｐの各画像データＤの差異が僅かであれば、隣接する画素ｐ同士を１つのグループにまとめることが可能となり、例えば、同一の撮像対象が撮像されている画像Ｔ中の領域内で、隣接する画素ｐの各画像データＤが僅かに異なっても、同一の撮像対象が撮像された領域を１つの領域にグループ化して抽出することが可能となる。
【００９３】
また、ＣＣＤカメラ等の撮像手段２で撮像された画像Ｔでは、特に、１つの撮像対象と他の撮像対象との境界部分において、当該１つの撮像対象が撮像されている領域の辺縁部分の画素ｐと、その画素ｐに隣接する画素であるが他の撮像対象が撮像されている領域内にあり、当該１つの撮像対象が撮像されている領域には含めるべきではない画素との間で、画像データＤの差異が僅かになる場合がある。
【００９４】
そして、このような場合に、上記の条件１や条件３のみに従って隣接する画素同士をグループ化してしまうと、１つの撮像対象に対応すべき領域が、他の撮像対象が撮像されている領域にまで拡大していき、個々の撮像対象が撮像された画像Ｔ上の領域を別々の領域に分割することができなくなる。
【００９５】
しかし、本実施形態に係る画像処理装置１では、上記の条件１や条件３だけでなく、条件２や条件４のように、注目画素ｐi,jと、左や下に隣接する画素ｐi-1,j、ｐi,j-1が属するグループｇとの間で平均値差分δＤを算出し、それに基づいて隣接する画素同士をグループ化するか否かを決定する。
【００９６】
このように構成すれば、隣接する画素同士の各画像データＤの差異が僅かであり、画像Ｔ内の限定された局所における画像データＤの差異が僅かであっても（すなわち、上記の条件１や条件３が満たされる場合であっても）、注目画素ｐi,jの画像データＤi,jが、隣接する画素が属するグループｇ、すなわち、画像Ｔ中で比較的大きな画素数を有する一定の領域（グループｇに相当する。）の画像データＤの平均値Ｄaveと有意に異なる値である場合には（すなわち、上記の条件２や条件４が満たされない場合には）、隣接する画素同士がグループ化されることが回避される。
【００９７】
そのため、１つの撮像対象に対応すべき領域が、他の撮像対象が撮像されている領域にまで拡大していくことが防止され、個々の撮像対象が撮像された画像Ｔ上の領域を、別々の領域に分割して的確に抽出することが可能となる。
【００９８】
さらに、本実施形態の画像データＤのように、例えば２５６の輝度階調で表された画像データを、圧縮処理等せずに上記の条件１〜条件４の判定等に用いることで、画像データＤが有する情報量を低下させることなく豊富な情報量を有効に使って判定を行うことが可能となり、隣接する画素同士をグループ化するか否かの判定を精密に行うことが可能となる。
【００９９】
そのため、例えば図１２に示すように撮像された画像Ｔに対して本実施形態に係る画像処理装置１で画像処理を行うと、図１３に示すように、複数の撮像対象が撮像された画像Ｔにおいて、１つの撮像対象の同じような輝度部分を的確に領域ｒに分割して抽出し、また、同じような輝度であっても異なる撮像対象については的確に領域ｒを分離して抽出することが可能となる。画像データを圧縮処理する等して情報量を低下させると、このように撮像対象を的確に分離して抽出することが困難になる。
【０１００】
なお、図１３では、分割された各領域が濃淡を付して示されており、また、上記のステップＳ２０の処理でグループｇの登録を削除された各画素が黒く表現されている。
【０１０１】
以上のように、本実施形態に係る画像処理装置１によれば、画像データを圧縮処理する等せずに豊富な情報量を有効に使い、注目画素（一の画素）ｐi,jの画像データＤi,jとそれに隣接する画素ｐi-1,j、ｐi,j-1の画像データＤi-1,j、Ｄi,j-1との差分（エッジ強度）ΔＤのみならず、注目画素ｐi,jの画像データＤi,jと、それに隣接する画素ｐi-1,j、ｐi,j-1が属するグループｇの各画素の画像データＤの平均値Ｄaveとの差分（平均値差分）δＤに基づいて、注目画素（一の画素）ｐi,jと隣接する画素ｐi-1,j、ｐi,j-1とをグループ化するか否かを判定するように構成した。
【０１０２】
そのため、画像データＤの情報量を有効に活用して、画像Ｔ中に撮像された撮像対象のように、１つのグループとしてまとめるべき撮像対象（例えば１つの物体）が撮像された画素を的確にグループ化し、１つのグループとしてまとめるべきでない撮像対象（例えば異なる物体）が撮像された画素はグループ化しないようにして、画像Ｔを的確に複数の領域に分割することが可能となる。また、そのため、画像Ｔ中から、撮像対象を的確に分離して抽出することが可能となる。
【０１０３】
また、本実施形態のように、撮像手段２から処理手段６に各画素ｐの画像データＤが順次入力される場合に、画像データＤの入力と同時並行で各処理を実施し、注目画素（一の画素）ｐi,jと、それが入力されるより以前に入力されている画像データＤとを比較するように構成すれば、１画像分の全画素の画像データＤの入力を待たずに入力と同時並行で処理を行うことが可能となるため、グループ化の処理をリアルタイムに行うことが可能となる。
【０１０４】
なお、本実施形態では、撮像手段２から、例えば図２に示した画像Ｔの同一の水平ラインｊ上では左端の画素から順に各画素ｐの画像データＤが出力され、また、最も下側の水平ラインｊから順に上方に切り替えながら画像データＤが出力されるように構成されているため、注目画素（一の画素）ｐi,jと比較される隣接する画素ｐを、先に入力されている左に隣接する画素ｐi-1,jや下に隣接する画素ｐi,j-1に設定したが、撮像手段２からの各画像データＤの送信順に従って比較される隣接する画素ｐが設定されることは言うまでもない。
【０１０５】
また、グループ化の処理にリアルタイム性が要求されない場合には、１画像分の全画素の画像データＤが入力された後にグループ化の処理を行うように構成することも可能である。その場合には、注目画素（一の画素）ｐi,jと比較される隣接する画素ｐの設定のしかたが予め定められ、それに従って、上記の本実施形態と同様の処理が行われる。
【０１０６】
さらに、本実施形態の画像処理装置１が、例えば車両に搭載されて用いられるような場合には、図１２や図１３に示したように、画像Ｔ中に先行車両や道路面、車線等が撮像されている領域を有効に分割して抽出することが可能となる。
【０１０７】
また、このような場合に、さらに、信号機の点灯している信号灯や先行車両のテールランプ等の光源のように高輝度に撮像されている画像Ｔ中の領域や、反対に、トンネル等のように低輝度に撮像されている画像Ｔ中の領域等のように、撮像対象がそれに特有の輝度範囲の画像データとして撮像される場合、画像データが特有の数値範囲内にある領域を画像Ｔ中から優先して抽出すれば、それらの撮像対象を的確に抽出することが可能となり、さらに有効なものとなる。
【０１０８】
そこで、例えば、図３および図４に示したフローチャートにおいて、注目画素を画素ｐi,jに設定した時点（ステップＳ６）で、注目画素（一の画素）ｐi,jの画像データＤi,jや、注目画素ｐi,jの左や下に隣接する画素ｐi-1,j、ｐi,j-1の画像データＤi-1,j、Ｄi,j-1がいずれも所定の数値範囲内である場合には、続くステップＳ９の判定処理以降の各処理を行う前に、前記数値範囲内にある注目画素ｐi,jや隣接する画素ｐi-1,j、ｐi,j-1同士を優先してグループ化するように構成することが可能である。
【０１０９】
すなわち、上記の信号灯やテールランプ等の光源のように、高輝度に撮像されている領域を抽出する場合には、上記の数値範囲は、例えば輝度が２００以上の数値範囲として設定され、また、上記のトンネル等のように、低輝度に撮像されている領域を抽出する場合には、上記の数値範囲は、例えば輝度が５０以下の数値範囲として設定される。また、数値範囲を、上限と下限とで区画された数値範囲として設定することも可能である。
【０１１０】
また、上記のように、注目画素（一の画素）ｐi,jの画像データＤi,jや左や下に隣接する画素ｐi-1,j、ｐi,j-1の画像データＤi-1,j、Ｄi,j-1が所定の数値範囲内である場合に、それらの隣接する画素同士を優先してグループ化するように構成する際に、逆に、隣接する画素ｐの各画像データＤのうち、一方の画像データＤが所定の数値範囲内であり、他方の画像データＤが数値範囲外である場合には、それらの隣接する画素同士をグループ化しないように構成することが好ましい。
【０１１１】
このように構成すれば、画像データＤが所定の数値範囲内にある画素ｐのみを的確にグループ化し、画像データＤが所定の数値範囲内にない画素ｐとはグループ化されないようにすることが可能となり、画像Ｔ中で、画像データＤが所定の数値範囲内にある領域を的確に他の領域から分離して抽出することが可能となる。
【０１１２】
一方、前述したように、本実施形態では、条件１〜条件４が満たされない場合には、隣接する画素同士をグループ化することなく的確に分割することが可能となるが、そのために、逆に、画像Ｔにノイズ等が入ると、例えば画像Ｔ中に撮像されている１つの撮像対象に対応して１つの領域として抽出されるべき領域が、そのノイズ等により複数の領域に分割されてしまう場合がある。
【０１１３】
この問題を解消するためには、例えば、画像Ｔ上で接していない２つのグループｇ１、ｇ２の画素間隔の最小値、すなわち２つのグループｇ１、ｇ２の辺縁部分同士を直線で結んだ場合にその直線上に並ぶ画素数の最小値が、所定の閾値以下であって近接しており、かつ、当該２つのグループｇ１、ｇ２に属する各画素の画像データＤの各平均値の差分が所定の閾値以下であってさほど差がない場合には、当該２つのグループｇ１、ｇ２を１つのグループｇとして統合するように構成することが可能である。
【０１１４】
また、本実施形態では、画像データＤとして、モノクロで、例えば２５６階調等のグレースケールに変換された輝度の画像データＤを用いる場合について説明したが、前述したように、本発明はこれに限定されず、例えばＲＧＢ値で表されるカラーの画像データを用いることも可能である。
【０１１５】
その際、各画素ｐの画像データＤを一般的に（Ｒ，Ｇ，Ｂ）と表し、特に注目画素ｐi,jの画像データＤを（Ｒi,j，Ｇi,j，Ｂi,j）、注目画素ｐi,jに隣接する画素の画像データＤを（Ｒ＊，Ｇ＊，Ｂ＊）と表す場合、例えば、上記の条件１や条件３における注目画素ｐi,jと隣接する画素ｐとの間のエッジ強度ΔＤ（ｉ，ｊ）を、例えば、
ΔＤ(i,j)＝｜Ｒi,j−Ｒ＊｜＋｜Ｇi,j−Ｇ＊｜＋｜Ｂi,j−Ｂ＊｜ …（５）
で算出することが可能である。
【０１１６】
また、上記の条件２や条件４における注目画素ｐi,jの画像データＤi,jと隣接する画素ｐが属するグループｇに属する各画素の画像データＤの平均値Ｄaveとの平均値差分δＤ（ｉ，ｊ）を、例えば、
δＤ(i,j)＝｜Ｒi,j−ΣＲ／ｎ｜＋｜Ｇi,j−ΣＧ／ｎ｜＋｜Ｂi,j−ΣＢ／ｎ｜
…（６）
で算出するように構成することが可能である。
【０１１７】
なお、上記（６）式において、Σはグループｇに属する全画素についての総和を表し、ｎはグループｇの画素数を表す。また、平均値算出手段７は、図４のステップＳ１６の処理において、グループｇに属する各画素の画像データＤの平均値Ｄaveを算出する際、平均値Ｄaveを（ΣＲ／ｎ，ΣＧ／ｎ，ΣＢ／ｎ）の形で算出して更新する。
【０１１８】
このように構成すれば、上記の本実施形態に係る画像処理装置１のように、モノクロの画像データＤを用いる場合と同様の有効な効果を奏することが可能となるとともに、最終的に得られた各グループに対応する画像Ｔ中の各領域に、対応するグループに属する各画素の画像データＤの平均値Ｄave（ΣＲ／ｎ，ΣＧ／ｎ，ΣＢ／ｎ）で表される色情報をそれぞれ対応付けることで、画像Ｔ中の各領域を色情報で把握したり分類したりすることが可能となる。
【０１１９】
また、各領域に色情報に基づいて、各領域に対応する撮像対象の色を特定したり、その撮像対象自体（例えば、信号機の点灯している信号灯が赤信号か黄信号か青信号か等）を特定したりすることも可能となる。
【０１２０】
［第２の実施の形態］
上記の第１の実施形態に係る画像処理装置１では、画像Ｔにおける画素ｐの輝度等の画像データＤのみに基づいて注目画素（一の画素）ｐi,jを隣接する画素ｐとグループ化するか否かを判定する場合について説明したが、さらに、撮像手段２としてステレオカメラを用い、撮像された一対の画像に対してステレオマッチング処理を施して画像の各画素ごとに実空間上の距離の情報を持たせるように構成すれば、注目画素（一の画素）ｐi,jを隣接する画素ｐとグループ化するか否かを判定する際に実空間上の距離の情報を加味して判定することが可能となる。
【０１２１】
そして、実空間上の距離の情報をも加味してグループ化の判定を行うように構成することで、画像を複数の領域に分割する際に、画像中に撮像された個々の撮像対象の実空間上の位置を区別して領域に分割することが可能となり、より的確に個々の撮像対象を区別して分割することが可能となる。第２の実施形態では、このように構成された画像処理装置１０について説明する。
【０１２２】
なお、以下では、画像処理装置１０を自動車等の車両に搭載し、自車両の前方を走行する先行車両等の撮像対象を撮像する場合について説明するが、これに限定されず、種々の用途に用いることができる。
【０１２３】
本実施形態に係る画像処理装置１０は、図１４に示すように、第１の実施形態における画像処理装置１（図１参照）と同様に、撮像手段２や変換手段３、画像補正部４、処理手段６や平均値算出手段７を有する処理部５等を備えて構成されるが、さらに、イメージプロセッサ１２等を有する距離検出手段１１等を備えている。
【０１２４】
なお、イメージプロセッサ１２等を含む処理部５の上流側の構成については、本願出願人により先に提出された特開２００６−７２４９５号公報等に詳述されており、構成の詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。
【０１２５】
本実施形態では、撮像手段２は、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵され、例えば車両のルームミラー近傍に車幅方向に所定の間隔をあけて取り付けられた一対のメインカメラ２ａおよびサブカメラ２ｂからなるステレオカメラであり、所定のサンプリング周期で撮像して、一対の画像を出力するように構成されている。
【０１２６】
一対のカメラのうち、メインカメラ２ａは運転者に近い側のカメラであり、例えば図２に示したような画像Ｔを撮像するようになっている。なお、以下では、このメインカメラ２ａで撮像された画像Ｔについて各画素ｐのグループ化の処理等を行う場合について説明する。また、サブカメラ２ｂで撮像された画像と区別するために、以下、メインカメラ２ａで撮像された画像Ｔを基準画像Ｔ、サブカメラ２ｂで撮像された画像を比較画像という。
【０１２７】
なお、本実施形態においても、撮像手段２のメインカメラ２ａおよびサブカメラ２ｂでは、それぞれモノクロの画像データＤが取得されるようになっているが、ＲＧＢ値等で表されるカラーの画像データを撮像する撮像手段を用いることも可能であり、その場合についても本発明が適用される。
【０１２８】
また、本実施形態においても、撮像手段２のメインカメラ２ａおよびサブカメラ２ｂで図２に示したような基準画像Ｔや比較画像を撮像する場合、基準画像Ｔ等の各水平ラインｊの最も左側の撮像素子から順に右方向に走査し、また、走査する水平ラインｊを最も下側のラインから順に上方に切り替えながら撮像するようにして、各撮像素子で撮像された順に基準画像Ｔと比較画像の各画像データＤがそれぞれ変換手段３に順次送信されるようになっている。
【０１２９】
変換手段３は、一対のＡ／Ｄコンバータ３ａ、３ｂで構成されており、撮像手段２のメインカメラ２ａおよびサブカメラ２ｂで各撮像素子（各画素）ごとに撮像された基準画像Ｔと比較画像の各画像データＤがそれぞれ順次送信されてくると、各画像データＤをそれぞれ例えば２５６階調のグレースケールの輝度としてのデジタル値の画像データＤに変換して画像補正部４に出力するようになっている。
【０１３０】
画像補正部４は、送信されてきた基準画像Ｔと比較画像の各画像データＤに対してずれやノイズの除去、輝度の補正等の画像補正をそれぞれ順次行い、画像補正した基準画像Ｔと比較画像の各画像データＤを画像データメモリ１４に順次格納するとともに、処理部５に順次送信するようになっている。また、画像補正部４は、画像補正した基準画像Ｔと比較画像の各画像データＤを距離検出手段１１にも順次送信するようになっている。
【０１３１】
距離検出手段１１のイメージプロセッサ１２では、基準画像Ｔと比較画像の各画像データに対して順次ステレオマッチング処理やフィルタリング処理を施して、実空間上の距離に対応する視差ｄｐを基準画像Ｔの各画素ごとに順次算出するようになっている。
【０１３２】
イメージプロセッサ１２におけるステレオマッチング処理では、基準画像Ｔと比較画像Ｔｃの各画像データＤが送信されてくると、図１５に示すように、基準画像Ｔ上に例えば３×３画素や４×４画素等の所定の画素数の基準画素ブロックＰＢを設定し、基準画素ブロックＰＢに対応する比較画像Ｔｃ中のエピポーララインＥＰＬ上の基準画素ブロックＰＢと同形の各比較画素ブロックＰＢｃについて、下記（７）式に従って当該基準画素ブロックＰＢとの輝度パターンの差異であるＳＡＤ値を算出し、ＳＡＤ値が最小の比較画素ブロックＰＢｃを特定するようになっている。
ＳＡＤ＝Σ｜Ｄ１s,t−Ｄ２s,t｜ …（７）
【０１３３】
なお、上記（７）式において、Ｄ１s,tは基準画素ブロックＰＢ中の各画素の画像データＤを表し、Ｄ２s,tは比較画素ブロックＰＢｃ中の各画素の画像データＤを表す。また、上記の総和は、基準画素ブロックＰＢや比較画素ブロックＰＢｃが例えば３×３画素の領域として設定される場合には１≦ｓ≦３、１≦ｔ≦３の範囲、４×４画素の領域として設定される場合には１≦ｓ≦４、１≦ｔ≦４の範囲の全画素について計算される。
【０１３４】
イメージプロセッサ１２は、このようにして基準画像Ｔの各基準画素ブロックＰＢについて、特定した比較画素ブロックＰＢｃの比較画像Ｔｃ上の位置と当該基準画素ブロックＰＢの基準画像Ｔ上の位置から視差ｄｐを順次算出するようになっている。以下、基準画像Ｔの各画素に視差ｄｐを割り当てた画像を距離画像という。また、このようにして各画素ごとに算出された視差ｄｐの情報すなわち距離画像は、距離検出手段１１の距離データメモリ１３に順次格納されるとともに、処理部５に順次送信されるようになっている。
【０１３５】
なお、実空間上で、前記一対のカメラ２ａ、２ｂの中央真下の道路面上の点を原点とし、自車両の車幅方向（すなわち水平方向）をＸ軸方向、車高方向（すなわち高さ方向）をＹ軸方向、車長方向（すなわち距離方向）をＺ軸方向とした場合、実空間上の点（Ｘ，Ｙ，Ｚ）と、距離画像上の画素の座標（ｉ，ｊ）および視差ｄｐとは、下記（８）〜（１０）式で表される三角測量の原理に基づく座標変換により一意に対応付けることができる。
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） …（８）
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …（９）
Ｚ＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ）） …（１０）
【０１３６】
上記各式において、ＣＤは一対のカメラの間隔、ＰＷは１画素当たりの視野角、ＣＨは一対のカメラの取り付け高さ、ＩＶおよびＪＶは自車両正面の無限遠点の距離画像上のｉ座標およびｊ座標、ＤＰは消失点視差を表す。
【０１３７】
また、イメージプロセッサ１２は、視差ｄｐの信頼性を向上させる目的から、上記のようなステレオマッチング処理で得られた視差ｄｐに対してフィルタリング処理を施し、有効とされた視差ｄｐのみを出力するようになっている。
【０１３８】
例えば、道路面の映像のみからなる特徴に乏しい４×４画素の基準画素ブロックＰＢに対して、比較画像Ｔｃ上でステレオマッチング処理を行っても、比較画像Ｔｃの道路面が撮像されている部分ではすべて相関が高くなるため、対応する比較画素ブロックＰＢｃが特定されて視差ｄｐが算出されてもその視差ｄｐの信頼性は低い。そのため、そのような視差ｄｐはフィルタリング処理を施して無効とし、視差ｄｐの値として０を出力するようになっている。
【０１３９】
したがって、基準画像Ｔの各画素に、有効に算出された視差ｄｐを割り当てて（すなわち対応付けて）距離画像Ｔｚを作成すると、距離画像Ｔｚは、例えば図１６に示すように、基準画像Ｔ上で有意な特徴を有する部分である撮像対象の辺縁部分（エッジ部分）等に有効な視差ｄｐが算出された画像となる。なお、距離画像Ｔｚの作成においては、上記（１０）式等に従って予め視差ｄｐを距離Ｚ等に換算し、距離Ｚ等を基準画像Ｔの各画素に割り当てて作成するように構成することも可能である。
【０１４０】
本実施形態では、処理部５の処理手段６や平均値算出手段７における各処理では、必要に応じて上記（１０）式等に従って距離画像Ｔｚの各画素における視差ｄｐが実空間上の距離Ｚに変換されて用いられる。
【０１４１】
本実施形態においても、処理部５は、図示しないＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されたコンピュータで構成されており、処理手段６や平均値算出手段７を備えている。そして、本実施形態では、さらに、自車両の左右に標示された車線を検出する車線検出手段１５や、道路面を検出する路面検出手段１６を備えている。なお、本発明では、追い越し禁止線や路側帯と車道とを区画する区画線等の道路面上に標示された連続線や破線を車線という。
【０１４２】
処理部５に、さらに、先行車両を検出する先行車両検出手段等を設けるように構成することも可能であり、必要に応じて、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類からの測定値が入力されるように構成することも可能である。
【０１４３】
ここで、本実施形態の処理部５の処理手段６や平均値算出手段７における処理について説明する前に、車線検出手段１５や路面検出手段１６について説明する。なお、本実施形態では、以下に説明するように、車線検出手段１５で道路面に標示された車線を検出し、その検出結果に基づいて路面検出手段１６で道路面を検出するように構成されているが、路面検出手段１６は、道路面を検出することができるものであれば以下に説明する形態に限定されない。
【０１４４】
車線検出手段１５は、撮像手段２により撮像された基準画像Ｔ中から自車両の左側および右側の車線を検出するようになっている。具体的には、車線検出手段１５は、図１７に示すように、基準画像Ｔを用いて、その１画素幅の水平ラインｊ上を例えば基準画像Ｔの中央から左右方向に探索し、輝度値が隣接する画素の輝度値から設定された閾値以上に大きく変化する画素を車線候補点ｃｒ、ｃｌとして検出する。
【０１４５】
そして、基準画像Ｔ上の水平ラインｊを１画素分ずつ上方にシフトさせながら、同様にして各水平ラインｊ上に車線候補点を検出していく。その際、車線検出手段１５は、検出した車線候補点の視差ｄｐ等に基づいて当該車線候補点が道路面上にないと判断した場合には当該車線候補点を車線候補点から除外する。なお、この場合の道路面は、前回のサンプリング周期で検出した道路面に基づいてその後の自車両の挙動等から今回のサンプリング周期における道路面の位置が推定される。そして、残った車線候補点のうち、自車両に近い側の車線候補点に基づいて車線をハフ変換等により直線で近似して自車両の左右にそれぞれ検出する。
【０１４６】
その際、ハフ変換では種々の直線が候補として算出されるが、例えば自車両の一方の側（例えば右側）に複数の車線が検出される場合には、自車両の他方（例えば左側）に検出した車線との整合性がある車線や、前回のサンプリング周期で検出した車線との整合性がある車線を選ぶ等して、自車両の左右にそれぞれ直線を選別する。
【０１４７】
このようにして、自車両に近い側に車線を直線状にそれぞれ検出すると、それより遠い側ではその直線に基づいて直線との位置関係等から車線候補点を選別して結ぶことで、図１８に示すように自車両の左側および右側にそれぞれ車線ＬＲ、ＬＬを検出するようになっている。なお、以上の車線検出手段１５の処理構成については、本願出願人が先に提出した特開２００６−３３１３８９号公報等に詳述されており、詳細な説明は同公報等を参照されたい。
【０１４８】
車線検出手段１５は、このようにして検出した左右の車線位置ＬＲ、ＬＬや車線候補点ｃｒ、ｃｌ等の情報を図示しないメモリに保存するようになっている。
【０１４９】
路面検出手段１６は、車線検出手段１５で検出された左右の車線位置ＬＲ、ＬＬや車線候補点の情報に基づいて車線モデルを三次元的に形成するようになっている。本実施形態では、路面検出手段１６は、図１９（Ａ）、（Ｂ）に示すように、自車両の左右の車線を所定区間ごとに三次元の直線式で近似し、それらを折れ線状に連結して表現した車線モデルを形成するようになっている。なお、図１９（Ａ）は、Ｚ−Ｘ平面上の車線モデルすなわち水平形状モデル、図１９（Ｂ）は、Ｚ−Ｙ平面上の車線モデルすなわち道路高モデルを表す。
【０１５０】
具体的には、路面検出手段１６は、自車両前方の実空間を自車両の位置からの例えば距離Ｚ７までの各区間に分け、車線検出手段１５が検出した車線候補点の実空間上の位置（Ｘ，Ｙ，Ｚ）に基づいてそれぞれの区間内の車線候補点を最小二乗法で直線近似し、各区間ごとに下記の（１１）〜（１４）式のパラメータａＲ、ｂＲ、ａＬ、ｂＬ、ｃＲ、ｄＲ、ｃＬ、ｄＬを算出して車線モデルを形成するようになっている。
【０１５１】
［水平形状モデル］
右車線 Ｘ＝ａＲ・Ｚ＋ｂＲ …（１１）
左車線 Ｘ＝ａＬ・Ｚ＋ｂＬ …（１２）
［道路高モデル］
右車線 Ｙ＝ｃＲ・Ｚ＋ｄＲ …（１３）
左車線 Ｙ＝ｃＬ・Ｚ＋ｄＬ …（１４）
【０１５２】
路面検出手段１６は、このようにして車線モデルを形成して、実空間上における道路面を検出するようになっている。路面検出手段１６は、このようにして形成した車線モデルすなわち算出した各区間のパラメータａＲ〜ｄＬをそれぞれメモリに保存するようになっている。
【０１５３】
処理手段６と平均値算出手段７は、本実施形態においても上記の第１の実施形態の場合と同様に、図３および図４に示すフローチャートに従って各処理を行うように構成されている。
【０１５４】
すなわち、撮像手段２のメインカメラ２ａから基準画像Ｔの各画素の画像データＤが順次送信されてくると、注目画素（一の画素）ｐi,jの画像データＤi,jと、左や下に隣接する画素ｐの画像データＤを比較して、条件１や条件３に基づいて注目画素ｐi,jと隣接する画素ｐとをグループ化するか否かを判定し、また、注目画素ｐi,jの画像データＤi,jと、隣接する画素ｐが属するグループｇに属する各画素の各画像データＤの平均値Ｄaveとを比較して、条件２や条件４に基づいて注目画素ｐi,jと隣接する画素ｐとをグループ化するか否かを判定するようになっている。
【０１５５】
また、本実施形態では、注目画素ｐi,jと隣接する画素ｐとをグループ化するか否かの判定処理（図４のステップＳ９、Ｓ１０、Ｓ１３）において、距離検出手段１１で基準画像Ｔの各画素ごとに算出した視差ｄｐ（すなわち実空間上の距離Ｚに対応する。）の情報や、路面検出手段１６により検出された実空間上における道路面の情報に基づいて、さらに厳しい条件を課してグループ化するか否かの判定を行うようになっている。
【０１５６】
具体的には、処理手段６は、図４のステップＳ９、Ｓ１０、Ｓ１３の判定処理において、注目画素ｐi,jに対応する実空間上の距離Ｚi,jと、注目画素ｐi,jの左または下に隣接する画素ｐに対応する実空間上の距離Ｚｐとの差分｜Ｚi,j−Ｚｐ｜が、予め設定された閾値以上である場合には、上記の条件１〜条件４が満たされる場合であっても、注目画素ｐi,jと隣接する画素ｐとをグループ化しないようになっている。
【０１５７】
これは、基準画像Ｔ上で、注目画素ｐi,jと隣接する画素ｐとが似たような輝度等の画像データＤを有する場合であっても、それらに対応する実空間上の各点が同一の撮像対象とは見なせない程度に離れている場合は、注目画素ｐi,jと隣接する画素ｐとは同一の撮像対象に対応する画素ではなく、別々の撮像対象に対応すると考えられるためである。
【０１５８】
そして、このように構成することで、基準画像Ｔ中に撮像された撮像対象のように、１つのグループとしてまとめるべき撮像対象（例えば１つの物体）が撮像された画素を的確にグループ化し、１つのグループとしてまとめるべきでない撮像対象（例えば異なる物体）が撮像された画素はグループ化しないようにして、基準画像Ｔを的確に複数の領域に分割することが可能となる。また、そのため、基準画像Ｔ中から、撮像対象を的確に分離して抽出することが可能となる。
【０１５９】
しかし、本実施形態では、前述した距離検出手段１１におけるフィルタリング処理によりステレオマッチング処理で算出された視差ｄｐが無効とされる等して、隣接する画素ｐに対応する実空間上の距離Ｚｐが算出されていない場合がある。そのような場合には、以下のような手法で判定処理を行うように構成することが可能である。
【０１６０】
［手法１］注目画素ｐi,jに対応する実空間上の距離Ｚi,jと、隣接する画素ｐが属するグループｇに属する各画素に対応する実空間上の各距離Ｚのうち注目画素ｐi,jに対応する実空間上の距離Ｚi,jに最も近い実空間上の距離Ｚとの差分｜Ｚi,j−Ｚ｜が、前記閾値以上であるか否かを判定する。
【０１６１】
この場合、注目画素ｐi,jに対応する実空間上の距離Ｚi,jに最も近い距離Ｚが閾値以上に離れていれば、注目画素ｐi,jと、隣接する画素ｐが属するグループｇとは同一の撮像対象に対応するものではなく、別々の撮像対象に対応すると考えられる。
【０１６２】
［手法２］隣接する画素ｐが属するグループｇに属する各画素に対応する各実空間上の距離Ｚに基づいて各画素に対応する実空間上の各点の座標（Ｘ，Ｙ，Ｚ）を算出し、各点の分布の高さ方向（Ｙ軸方向）に対する距離方向（Ｚ軸方向）の傾きや、水平方向（Ｘ軸方向）に対する距離方向の傾き、或いは所定の方向に対する距離方向の傾きを算出し、これらの傾きから隣接する画素ｐに対応する実空間上の距離Ｚｐを推定する。そして、この推定された距離Ｚｐと、注目画素ｐi,jに対応する実空間上の距離Ｚi,jとの差分が前記閾値以上であるか否かを判定する。
【０１６３】
具体的には、隣接する画素ｐが属するグループｇに属する各画素について、視差ｄｐが算出されていれば、上記（１０）式から各画素に対応する実空間上の距離Ｚをそれぞれ算出でき、また、距離Ｚと各画素の基準画像Ｔ上のｉ座標やｊ座標とに基づいて、上記（８）式や（９）式に従って各画素に対応する実空間上のＸ座標（水平方向の位置）やＹ座標（高さ）をそれぞれ算出できる。
【０１６４】
そして、グループｇに属する各画素に対応する実空間上の各点を上記のようにして算出した座標（Ｘ，Ｙ，Ｚ）に基づいて実空間上にプロットする。その際、各点をＸ−Ｚ平面にプロットすると、例えば図２０に示すようにプロットすることができ、各点の分布を直線近似する等して、各点の分布の水平方向（Ｘ軸方向）に対する距離方向（Ｚ軸方向）の傾きθを算出することができる。
【０１６５】
そこで、この傾きθに基づいて、隣接する画素ｐに対応する実空間上の点Ｐの距離Ｚｐを推定し、推定された距離Ｚｐと、注目画素ｐi,jに対応する実空間上の距離Ｚi,jとの差分が前記閾値未満で近接していれば注目画素ｐi,jと隣接する画素ｐとをグループ化し、閾値以上に離れていれば注目画素ｐi,jと隣接する画素ｐとをグループ化しない。
【０１６６】
また、グループｇに属する各画素に対応する実空間上の各点をＹ−Ｚ平面にプロットすると、例えば図２１に示すようにプロットすることができ、各点の分布を直線近似する等して、各点の分布の高さ方向（Ｙ軸方向）に対する距離方向（Ｚ軸方向）の傾きφを算出するように構成してもよい。
【０１６７】
そして、この傾きφに基づいて、隣接する画素ｐに対応する実空間上の点Ｐの距離Ｚｐを推定し、推定された距離Ｚｐと、注目画素ｐi,jに対応する実空間上の距離Ｚi,jとの差分が前記閾値未満で近接していれば注目画素ｐi,jと隣接する画素ｐとをグループ化し、閾値以上に離れていれば注目画素ｐi,jと隣接する画素ｐとをグループ化しない。
【０１６８】
なお、実空間上での水平方向（Ｘ軸方向）は基準画像Ｔ上の左右方向に対応するため、図２０に示したような各点をＸ−Ｚ平面にプロットして各点の分布の水平方向に対する距離方向の傾きθを算出する手法は、隣接する画素ｐが属するグループｇが基準画像Ｔ上で水平方向に広がりを持つグループである場合の注目画素ｐi,jと隣接する画素ｐとのグループ化の判定処理に用いることができる。
【０１６９】
また、実空間上での高さ方向（Ｙ軸方向）は基準画像Ｔ上の上下方向に対応するため、図２１に示したような各点をＹ−Ｚ平面にプロットして各点の分布の高さ方向に対する距離方向の傾きφを算出する手法は、隣接する画素ｐが属するグループｇが基準画像Ｔ上で上下方向に広がりを持つグループである場合の注目画素ｐi,jと隣接する画素ｐとのグループ化の判定処理に用いることができる。
【０１７０】
しかし、図２２に示すように、隣接する画素ｐ（図２２では下に隣接する画素ｐi,j-1）が属するグループｇが、基準画像Ｔ上で所定の方向（図２２では左下から右上に延びる方向）に広がりを持つグループである場合がある。このような場合には、上記と同様に、グループｇに属する各画素に対応する実空間上の各点を前記所定の方向とＺ軸とを含む平面に投影してプロットして、各点の分布の前記所定の方向に対する距離方向（Ｚ軸方向）の傾きを算出する。
【０１７１】
そして、この傾きに基づいて、隣接する画素ｐに対応する実空間上の点Ｐの距離Ｚｐを推定し、推定された距離Ｚｐと、注目画素ｐi,jに対応する実空間上の距離Ｚi,jとの差分が前記閾値未満で近接していれば注目画素ｐi,jと隣接する画素ｐとをグループ化し、閾値以上に離れていれば注目画素ｐi,jと隣接する画素ｐとをグループ化しないように構成することができる。
【０１７２】
なお、上記の［手法１］や［手法２］は、隣接する画素ｐに対応する実空間上の距離Ｚｐが算出されていない場合だけでなく、それが算出されている場合にも適用するように構成することも可能である。
【０１７３】
また、上記の［手法２］の場合、隣接する画素ｐが属するグループｇに属する各画素に対応する実空間上の各距離Ｚの最大値Ｚmaxと最小値Ｚminとの差ΔＺが所定の閾値以下で小さい場合や、各画素に対応する実空間上の各距離Ｚの分散σｚが所定の閾値以下で小さい場合には、グループｇに属する各画素に対応する実空間上の各点は、撮像手段２からほとんど同じ距離Ｚにある。
【０１７４】
そして、このような場合、各点の分布の水平方向（Ｘ軸方向）に対する距離方向（Ｚ軸方向）の傾きθ（図２０参照）や、高さ方向（Ｙ軸方向）に対する距離方向の傾きφ（図２１参照）はほとんど０であり、このような場合には、上記の［手法１］を用いる等して注目画素ｐi,jと隣接する画素ｐとをグループ化するか否かを十分に精度良く判定することができる。
【０１７５】
そのため、隣接する画素ｐが属するグループｇに属する各画素に対応する実空間上の各距離Ｚの最大値Ｚmaxと最小値Ｚminとの差分ΔＺや各距離Ｚの分散σｚが所定の閾値以下である場合には、前記［手法２］を実行せず、傾きθやφ等を算出しないように構成することで、処理手段６における演算負荷が軽減され、処理の高速化を図ることが可能となる。
【０１７６】
さらに、図４のステップＳ９、Ｓ１０、Ｓ１３の判定処理を行う際に、処理手段６がその度ごとに隣接する画素ｐが属するグループｇに属する各画素に対応する実空間上の各距離Ｚの最大値Ｚmaxや最小値Ｚminを求めたり、各距離Ｚの分散σｚを演算するように構成すると、処理手段６における演算負荷が非常に大きくなる。
【０１７７】
そのため、図４のステップＳ１６、Ｓ１７の処理で、平均値算出手段７が、新規のグループとして登録されたグループや、注目画素ｐi,jを追加して拡大したグループｇや、複数のグループをグループ化して１つとしたグループｇに属する各画素の画像データＤの平均値Ｄave等を算出して更新する際、同時に、注目画素ｐi,jに対応する実空間上の距離Ｚi,jを算出して、グループｇに属する各画素に対応する実空間上の各距離Ｚの分散σｚを算出して更新し、また、必要に応じてグループｇに属する各画素に対応する実空間上の距離Ｚの最大値Ｚmaxや最小値Ｚminを更新しておくように構成することが可能である。
【０１７８】
また、その際、それらの実空間上の距離Ｚの平均値Ｚaveも算出しておき、注目画素ｐi,jに対応する実空間上の距離Ｚi,jと、隣接する画素ｐが属するグループｇについて算出された実空間上の距離Ｚの平均値Ｚaveや最大値Ｚmax、最小値Ｚminとを比較して、その差分が所定の閾値以上である場合には、注目画素ｐi,jと隣接する画素ｐとをグループ化しないように構成することも可能である。
【０１７９】
一方、前述した路面検出手段１６により検出された実空間上における道路面の情報に基づいて、さらに厳しい条件を課してグループ化するか否かの判定を行うように構成することも可能である。この場合、例えば、以下のような手法で判定処理を行うように構成することができる。
【０１８０】
［手法３］まず、グループｇに属する各画素に対応する各実空間上の距離Ｚに基づいて各画素に対応する実空間上の各点の高さＹを算出する。そして、路面検出手段１６が検出した距離Ｚでの道路面の高さＹ＊に基づいて各点の道路面からの高さＹ−Ｙ＊を算出し、その高さＹ−Ｙ＊が所定の閾値以上の高さである場合には、グループｇを道路面上に存在する立体物として認識する。また、所定の閾値未満の高さである場合には、グループｇを道路面上に標示された車線や規制標示等のパターンとして認識する。
【０１８１】
実空間上の距離Ｚにおける道路面の高さＹ＊は、図１９（Ｂ）に示したように、各区間ごとに上記（１３）式および（１４）式で示される車線モデルから線形補間する等して求めることができる。また、用いられる車線モデルは、路面検出手段１６によって今回のサンプリング周期における車線モデルが検出されていればそれを用い、今回のサンプリング周期での車線モデルが検出されていなければ前回のサンプリング周期で検出した車線モデルに基づいてその後の自車両の挙動等から今回のサンプリング周期における車線モデルが推定されて用いられる。
【０１８２】
また、道路面からの高さの閾値は、画像処理装置１における車線モデルの検出精度や基準画像Ｔの各画素の視差ｄｐの検出精度等に基づいて、例えば道路面から１０ｃｍ等の値に適宜設定される。また、画素に対応する実空間上の点の道路面からの高さＹ−Ｙ＊が負の値として算出される場合があるが、その場合は、その点は道路面上にあるものとして扱われる。
【０１８３】
［手法４］そして、隣接する画素ｐが属するグループｇに属する各画素に対応する実空間上の各点の道路面からの高さＹ−Ｙ＊が前記所定の閾値以上の高さであり、注目画素（一の画素）ｐi,jに対応する実空間上の点の道路面からの高さＹi,j−Ｙ＊が前記所定の閾値未満である場合、または、反対に、隣接する画素ｐが属するグループｇに属する各画素に対応する実空間上の各点の道路面からの高さＹ−Ｙ＊が前記所定の閾値未満の高さであり、注目画素ｐi,jに対応する実空間上の点の道路面からの高さＹi,j−Ｙ＊が前記所定の閾値以上である場合には、注目画素ｐi,jと隣接する画素ｐとをグループ化しない。
【０１８４】
このようにして、注目画素ｐi,jと隣接する画素ｐのうち、一方が道路面上に存在する立体物として認識され、他方が道路面上に標示されたパターンとして認識されている場合に、それらをグループ化しないように構成することで、隣接する画素同士の画像データＤの差異が僅かであり、画像データＤの差異のみでは分割し難い場合であっても、道路面上に存在する立体物の一部が撮像された領域と、道路面上に標示されたパターンの一部が撮像された領域とを、基準画像Ｔ上で的確に分割して抽出することが可能となる。
【０１８５】
ところで、本実施形態においても、基準画像Ｔにノイズ等が入ると、例えば基準画像Ｔ中に撮像されている１つの撮像対象に対応して１つの領域として抽出されるべき領域が、そのノイズ等により複数の領域に分割されてしまう場合がある。
【０１８６】
そのため、本実施形態では、例えば、基準画像Ｔ中に検出された各グループのうち、基準画像Ｔ上で接していない２つのグループｇ１、ｇ２に属する各画素に対応する実空間上の各点の２つの分布において、一方の分布に属する１点と他方の分布に属する１点との実空間上の間隔を総当りして、その中の最小値が所定の閾値以下であり、また、その中の最大値がこの閾値よりも大きな値に予め設定された閾値以下である場合に、当該２つのグループｇ１、ｇ２を１つのグループｇとして統合するように構成することが可能である。
【０１８７】
しかし、その際、基準画像Ｔ上で接していない２つのグループｇ１、ｇ２のうち、一方のグループに属する各画素に対応する実空間上の各点の道路面からの高さＹ−Ｙ＊が前記［手法３］や［手法４］における所定の閾値以上の高さであって道路面上に存在する立体物として認識されており、他方のグループに属する各画素に対応する実空間上の各点の道路面からの高さＹ−Ｙ＊が前記所定の閾値未満の高さであって道路面上に標示された車線や規制標示等のパターンとして認識されている場合には、当該２つのグループを統合しないように構成することが好ましい。
【０１８８】
上記のように構成することで、基準画像Ｔに入り込んだノイズ等の影響で、本来１つの撮像対象に対応した１つの領域として抽出されるべき領域が分割されている場合に、それを的確に修復して、１つの撮像対象が撮像された基準画像Ｔ中の領域を１つの領域に的確に統合して抽出することが可能となるとともに、道路面上に存在する立体物と道路面上に標示されたパターンとを的確に分離して抽出することが可能となる。
【符号の説明】
【０１８９】
１ 画像処理装置
２ 撮像手段
６ 処理手段
７ 平均値算出手段
１１ 距離検出手段
１６ 路面検出手段
Ｄ、Ｄi,j、Ｄi-1,j、Ｄi,j-1 画像データ
Ｄave 画像データの平均値
ｇ、ｇ１、ｇ２ グループ
ｐ、ｐi-1,j、ｐi,j-1 隣接する画素
ｐi,j 注目画素（一の画素）
ｒ 領域
Ｔ 画像
Ｔ、Ｔｃ 基準画像、比較画像（一対の画像）
Ｙ 実空間上の高さ
Ｙ−Ｙ＊、Ｙi,j−Ｙ＊ 道路面からの高さ
Ｚ、Ｚi,j、Ｚｐ 実空間上の距離
Ｚave 実空間上の距離の平均値
Ｚmax 実空間上の距離の最大値
Ｚmin 実空間上の距離の最小値
｜Ｚi,j−Ｚｐ｜ 差分
ΔＤ エッジ強度（差分）
ΔＤth 第１閾値
δＤ 平均値差分（差分）
δＤth 第２閾値
ΔＺ 差分
θ 水平方向に対する距離方向の傾き
σｚ 実空間上の距離の分散
φ 高さ方向に対する距離方向の傾き
【特許請求の範囲】
【請求項１】
撮像手段で撮像された画像を複数の領域に分割する画像処理装置であって、
前記画像中の一の画素とそれに隣接する画素との各画像データの差分が所定の第１閾値未満である場合には前記一の画素を前記隣接する画素とグループ化し、最終的に得られた各グループをそれぞれ前記画像の各領域として前記画像を複数の領域に分割する処理手段と、
前記一の画素を含む前記グループにおける前記画像データの平均値を算出する平均値算出手段と、
を備え、
前記処理手段は、さらに、前記一の画素の画像データと、前記隣接する画素が属する前記グループについて前記平均値算出手段で算出された前記平均値とを比較して、その差分が所定の第２閾値以上である場合には、前記一の画素と前記隣接する画素とをグループ化しないことを特徴とする画像処理装置。
【請求項２】
前記処理手段は、前記撮像手段から前記一の画素の画像データが送信されてくると、前記一の画素と同一の画像中の、前記一の画素より以前に前記画像データが送信された画素であって、前記一の画素に隣接する画素の前記画像データと、前記一の画素の画像データとを比較し、かつ、前記一の画素の画像データと、前記一の画素より以前に前記画像データが送信された前記隣接する画素が属する前記グループの前記平均値とを比較することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記処理手段は、隣接する前記画素の各画像データがいずれも所定の数値範囲内である場合には、前記一の画素と前記隣接する画素との各画像データの比較、および前記一の画素の画像データと前記グループの前記平均値との比較にかかわらず、前記画像データが前記数値範囲内にある前記隣接する画素同士を優先してグループ化することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記処理手段は、隣接する前記画素の各画像データのうち、一方の画像データが所定の数値範囲内であり、他方の画像データが前記数値範囲外である場合には、前記一の画素と前記隣接する画素との各画像データの比較、および前記一の画素の画像データと前記グループの前記平均値との比較にかかわらず、前記隣接する画素同士をグループ化しないことを特徴とする請求項１から請求項３のいずれか一項に記載の画像処理装置。
【請求項５】
前記処理手段は、画像上で接していない２つの前記グループの画素間隔の最小値が所定の閾値以下であり、かつ、当該２つのグループの前記各平均値の差分が所定の閾値以下である場合には、当該２つのグループを１つのグループとして統合することを特徴とする請求項１から請求項４のいずれか一項に記載の画像処理装置。
【請求項６】
前記撮像手段は、一対の画像を出力し、
前記撮像手段から出力された前記一対の画像に対してステレオマッチング処理を施して、前記一対の画像のうちの少なくとも一方の画像の画素に対応する実空間上の距離を検出する距離検出手段を備え、
前記処理手段は、前記一方の画像中の前記一の画素に対応する前記実空間上の距離と、前記一の画素に隣接する画素に対応する前記実空間上の距離との差分が、予め設定された閾値以上である場合には、前記一の画素と前記隣接する画素とをグループ化しないことを特徴とする請求項１から請求項５のいずれか一項に記載の画像処理装置。
【請求項７】
前記処理手段は、前記隣接する画素が属する前記グループに属する各画素に対応する前記実空間上の距離のうち前記一の画素に対応する前記実空間上の距離に最も近い前記実空間上の距離と、前記一の画素に対応する前記実空間上の距離との差分が前記閾値以上であるか否かを判定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記処理手段は、前記隣接する画素が属する前記グループに属する各画素に対応する前記各実空間上の距離に基づいて前記各画素に対応する実空間上の各点の座標を算出し、前記各点の分布の傾きを算出し、前記傾きから推定される前記隣接する画素に対応する実空間上の距離と、前記一の画素に対応する前記実空間上の距離との差分が前記閾値以上であるか否かを判定することを特徴とする請求項６または請求項７に記載の画像処理装置。
【請求項９】
前記平均値算出手段は、前記グループに属する各画素に対応する前記実空間上の各距離の平均値、最大値、最小値のいずれかを算出し、
前記処理手段は、前記隣接する画素が属する前記グループについて前記平均値算出手段で算出された前記実空間上の距離の平均値、最大値、最小値のいずれかと、前記一の画素に対応する前記実空間上の距離とを比較して、その差分が所定の閾値以上である場合には、前記一の画素と前記隣接する画素とをグループ化しないことを特徴とする請求項６から請求項８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記撮像手段で撮像された画像から道路面を検出する路面検出手段を備え、
前記処理手段は、前記グループに属する各画素に対応する前記実空間上の各距離に基づいて前記各画素に対応する実空間上の各点の高さを算出し、前記路面検出手段が検出した前記道路面からの前記各点の高さが、所定の閾値以上の高さである場合には、前記グループを道路面上に存在する立体物として認識し、前記所定の閾値未満の高さである場合には、前記グループを道路面上に標示されたパターンとして認識することを特徴とする請求項６から請求項９のいずれか一項に記載の画像処理装置。
【請求項１１】
前記処理手段は、前記一の画素に対応する実空間上の点の前記道路面からの高さと、前記隣接する画素が属する前記グループに属する各画素に対応する前記実空間上の各点の前記道路面からの高さのうち、一方が前記所定の閾値未満であり、かつ、他方が前記所定の閾値以上である場合には、前記一の画素と前記隣接する画素とをグループ化しないことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記処理手段は、画像上で接していない２つの前記グループに属する各画素に対応する実空間上の各点の２つの分布において、異なる分布に属する２点の実空間上の間隔の最小値が所定の閾値以下の場合で、かつ、最大値が前記閾値よりも大きな値に予め設定された閾値以下である場合には、当該２つのグループを１つのグループとして統合することを特徴とする請求項６から請求項１１のいずれか一項に記載の画像処理装置。
【請求項１３】
前記処理手段は、画像上で接していない２つの前記グループのうち、一方の前記グループに属する各画素に対応する前記実空間上の各点の前記道路面からの高さが前記所定の閾値以上であり、かつ、他方の前記グループに属する各画素に対応する前記実空間上の各点の前記道路面からの高さが前記所定の閾値未満の高さである場合には、当該２つのグループを統合しないことを特徴とする請求項１２に記載の画像処理装置。
【請求項１】
撮像手段で撮像された画像を複数の領域に分割する画像処理装置であって、
前記画像中の一の画素とそれに隣接する画素との各画像データの差分が所定の第１閾値未満である場合には前記一の画素を前記隣接する画素とグループ化し、最終的に得られた各グループをそれぞれ前記画像の各領域として前記画像を複数の領域に分割する処理手段と、
前記一の画素を含む前記グループにおける前記画像データの平均値を算出する平均値算出手段と、
を備え、
前記処理手段は、さらに、前記一の画素の画像データと、前記隣接する画素が属する前記グループについて前記平均値算出手段で算出された前記平均値とを比較して、その差分が所定の第２閾値以上である場合には、前記一の画素と前記隣接する画素とをグループ化しないことを特徴とする画像処理装置。
【請求項２】
前記処理手段は、前記撮像手段から前記一の画素の画像データが送信されてくると、前記一の画素と同一の画像中の、前記一の画素より以前に前記画像データが送信された画素であって、前記一の画素に隣接する画素の前記画像データと、前記一の画素の画像データとを比較し、かつ、前記一の画素の画像データと、前記一の画素より以前に前記画像データが送信された前記隣接する画素が属する前記グループの前記平均値とを比較することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記処理手段は、隣接する前記画素の各画像データがいずれも所定の数値範囲内である場合には、前記一の画素と前記隣接する画素との各画像データの比較、および前記一の画素の画像データと前記グループの前記平均値との比較にかかわらず、前記画像データが前記数値範囲内にある前記隣接する画素同士を優先してグループ化することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記処理手段は、隣接する前記画素の各画像データのうち、一方の画像データが所定の数値範囲内であり、他方の画像データが前記数値範囲外である場合には、前記一の画素と前記隣接する画素との各画像データの比較、および前記一の画素の画像データと前記グループの前記平均値との比較にかかわらず、前記隣接する画素同士をグループ化しないことを特徴とする請求項１から請求項３のいずれか一項に記載の画像処理装置。
【請求項５】
前記処理手段は、画像上で接していない２つの前記グループの画素間隔の最小値が所定の閾値以下であり、かつ、当該２つのグループの前記各平均値の差分が所定の閾値以下である場合には、当該２つのグループを１つのグループとして統合することを特徴とする請求項１から請求項４のいずれか一項に記載の画像処理装置。
【請求項６】
前記撮像手段は、一対の画像を出力し、
前記撮像手段から出力された前記一対の画像に対してステレオマッチング処理を施して、前記一対の画像のうちの少なくとも一方の画像の画素に対応する実空間上の距離を検出する距離検出手段を備え、
前記処理手段は、前記一方の画像中の前記一の画素に対応する前記実空間上の距離と、前記一の画素に隣接する画素に対応する前記実空間上の距離との差分が、予め設定された閾値以上である場合には、前記一の画素と前記隣接する画素とをグループ化しないことを特徴とする請求項１から請求項５のいずれか一項に記載の画像処理装置。
【請求項７】
前記処理手段は、前記隣接する画素が属する前記グループに属する各画素に対応する前記実空間上の距離のうち前記一の画素に対応する前記実空間上の距離に最も近い前記実空間上の距離と、前記一の画素に対応する前記実空間上の距離との差分が前記閾値以上であるか否かを判定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記処理手段は、前記隣接する画素が属する前記グループに属する各画素に対応する前記各実空間上の距離に基づいて前記各画素に対応する実空間上の各点の座標を算出し、前記各点の分布の傾きを算出し、前記傾きから推定される前記隣接する画素に対応する実空間上の距離と、前記一の画素に対応する前記実空間上の距離との差分が前記閾値以上であるか否かを判定することを特徴とする請求項６または請求項７に記載の画像処理装置。
【請求項９】
前記平均値算出手段は、前記グループに属する各画素に対応する前記実空間上の各距離の平均値、最大値、最小値のいずれかを算出し、
前記処理手段は、前記隣接する画素が属する前記グループについて前記平均値算出手段で算出された前記実空間上の距離の平均値、最大値、最小値のいずれかと、前記一の画素に対応する前記実空間上の距離とを比較して、その差分が所定の閾値以上である場合には、前記一の画素と前記隣接する画素とをグループ化しないことを特徴とする請求項６から請求項８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記撮像手段で撮像された画像から道路面を検出する路面検出手段を備え、
前記処理手段は、前記グループに属する各画素に対応する前記実空間上の各距離に基づいて前記各画素に対応する実空間上の各点の高さを算出し、前記路面検出手段が検出した前記道路面からの前記各点の高さが、所定の閾値以上の高さである場合には、前記グループを道路面上に存在する立体物として認識し、前記所定の閾値未満の高さである場合には、前記グループを道路面上に標示されたパターンとして認識することを特徴とする請求項６から請求項９のいずれか一項に記載の画像処理装置。
【請求項１１】
前記処理手段は、前記一の画素に対応する実空間上の点の前記道路面からの高さと、前記隣接する画素が属する前記グループに属する各画素に対応する前記実空間上の各点の前記道路面からの高さのうち、一方が前記所定の閾値未満であり、かつ、他方が前記所定の閾値以上である場合には、前記一の画素と前記隣接する画素とをグループ化しないことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記処理手段は、画像上で接していない２つの前記グループに属する各画素に対応する実空間上の各点の２つの分布において、異なる分布に属する２点の実空間上の間隔の最小値が所定の閾値以下の場合で、かつ、最大値が前記閾値よりも大きな値に予め設定された閾値以下である場合には、当該２つのグループを１つのグループとして統合することを特徴とする請求項６から請求項１１のいずれか一項に記載の画像処理装置。
【請求項１３】
前記処理手段は、画像上で接していない２つの前記グループのうち、一方の前記グループに属する各画素に対応する前記実空間上の各点の前記道路面からの高さが前記所定の閾値以上であり、かつ、他方の前記グループに属する各画素に対応する前記実空間上の各点の前記道路面からの高さが前記所定の閾値未満の高さである場合には、当該２つのグループを統合しないことを特徴とする請求項１２に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図１２】
【図１３】
【公開番号】特開２０１０−２２４９２４（Ｐ２０１０−２２４９２４Ａ）
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願番号】特願２００９−７２１４８（Ｐ２００９−７２１４８）
【出願日】平成２１年３月２４日（２００９．３．２４）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願日】平成２１年３月２４日（２００９．３．２４）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
[ Back to top ]