通路検出プログラム、通路検出装置及び方法
【課題】入力画像から未舗装路上の通路を検出する。
【解決手段】記憶装置から読み出した方向パラメータの異なる複数の空間周波数フィルタを用いて入力画像における通路検出対象領域をフィルタリングすることにより、前記通路検出対象領域についての各方向の強度分布データを生成するフィルタリング機能と、前記フィルタリング機能によって生成された前記強度分布データを基に前記通路検出対象領域における各画素の模様方向を特定する模様方向特定機能と、前記模様方向特定機能による前記模様方向の特定結果を基に所定の統計処理を行うことにより、前記通路検出対象領域において通路が存在すると推定される通路領域を検出する通路領域検出機能とをコンピュータに実現させる通路検出プログラムを使用する。
【解決手段】記憶装置から読み出した方向パラメータの異なる複数の空間周波数フィルタを用いて入力画像における通路検出対象領域をフィルタリングすることにより、前記通路検出対象領域についての各方向の強度分布データを生成するフィルタリング機能と、前記フィルタリング機能によって生成された前記強度分布データを基に前記通路検出対象領域における各画素の模様方向を特定する模様方向特定機能と、前記模様方向特定機能による前記模様方向の特定結果を基に所定の統計処理を行うことにより、前記通路検出対象領域において通路が存在すると推定される通路領域を検出する通路領域検出機能とをコンピュータに実現させる通路検出プログラムを使用する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、走行路検出プログラム、走行路検出装置及び方法に関する。
【背景技術】
【０００２】
従来から、車載カメラで撮影した画像を基に通路を自動検出し、その検出結果を基に車両の運転状態を自動制御する技術が開発されている。近年では、災害救助車両や工事車両等のように危険地帯を走行する特殊車両に対して上記技術を導入し、これら特殊車両の完全無人化及び自動運転化を図ることにより、人的被害を最小限に抑えることの可能な車両制御システムの開発が進められている。また、通路を自動検出する技術を応用して、車両で屋外を巡回しながら地図を自動作成するシステムの開発も進められている。
【０００３】
上記のように通路を自動検出する技術としては、（１）撮影画像を用いたエッジ検出や段差検出によって路肩を検出する手法（下記特許文献１及び２参照）、（２）ステレオ画像計測法を用いて車両周囲の三次元形状を計測し、その計測結果を基に平面領域とそれ以外の領域（障害物）とを区別する手法（下記特許文献３〜５参照）、（３）撮影画像から白線を検出し、白線で区切られた領域を走行レーンとして判別する手法（下記特許文献６〜８参照）、などが挙げられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−３３１１４８号公報
【特許文献２】特開２００３−２３３８９９号公報
【特許文献３】特許第３３４０５９９号公報
【特許文献４】特開２００３−２７１９７５号公報
【特許文献５】特開２００６−５４６８１号公報
【特許文献６】特開平７−１０５４８７号公報
【特許文献７】特開２００１−１４３０８４号公報
【特許文献８】特開２００５−１４１５１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した災害救助車両や工事車両等の特殊車両は、整備された舗装路だけでなく、未舗装路や林道、川原などの荒地を走行する必要があるため、完全無人化及び自動運転化に当たっては、過去の通過車両が残した轍などの通路を自動検出し、その通路をなぞるように車両の運転制御を行なうことが最適な制御手法の１つとして挙げられる。また、地図の自動作成システムにおいても、未舗装路や林道、川原などで頻繁に車両が通過することにより自然発生する轍などの通路まで地図上に記載する場合があり、その場合には轍などの未舗装路上の通路を検出可能な技術が必要となる。
【０００６】
上記従来技術（特許文献１〜８）は、舗装路上の通路を自動検出する技術としては有効であるが、轍などの未舗装路上の通路を検出することは困難である。つまり、上記（１）の技術では、未舗装路の路肩に草むらのような端部に相当する領域が存在する必要があるが、そのような領域が存在するか否かは時と場所によって異なるため、使用時期と使用場所に制限が生じてしまう。また、上記（２）の技術では、林道などは元々起伏が激しく、また、うねっていることも多く、平面やある規則性を持った曲面とはならず、平面や数式で表される曲面で近似して通路領域とそれ以外の領域とを区別することは困難である（轍部分の起伏と路面の端の起伏とを区別することも困難である）。また、上記（３）の技術では、未舗装路には白線等の人工的な模様があるわけではないため、人工的な模様を用いた通路の切り分けは困難である。
【０００７】
本発明は、上述した事情に鑑みてなされたものであり、入力画像から未舗装路上の通路を検出可能な通路検出プログラム、通路検出装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明では、通路検出プログラムに係る第１の解決手段として、記憶装置から読み出した方向パラメータの異なる複数の空間周波数フィルタを用いて入力画像における通路検出対象領域をフィルタリングすることにより、前記通路検出対象領域についての各方向の強度分布データを生成するフィルタリング機能と、前記フィルタリング機能によって生成された前記強度分布データを基に前記通路検出対象領域における各画素の模様方向を特定する模様方向特定機能と、前記模様方向特定機能による前記模様方向の特定結果を基に所定の統計処理を行うことにより、前記通路検出対象領域において通路が存在すると推定される通路領域を検出する通路領域検出機能とをコンピュータに実現させることを特徴とする。
【０００９】
また、通路検出プログラムに係る第２の解決手段として、記憶装置から読み出した方向パラメータの異なる複数の空間周波数フィルタを用いて入力画像における通路検出対象領域をフィルタリングすることにより、前記通路検出対象領域についての各方向の強度分布データを生成するフィルタリング機能と、前記フィルタリング機能によって生成された前記強度分布データを基に前記通路検出対象領域における各画素の模様方向を特定する模様方向特定機能と、前記通路検出対象領域を奥行き方向に沿って複数に分割して得られる副検出対象領域ごとに、前記模様方向特定機能による前記模様方向の特定結果に基づいて所定の統計処理を行うことにより、前記副検出対象領域において通路が存在すると推定される通路領域を検出する通路領域検出機能とをコンピュータに実現させることを特徴とする。
【００１０】
また、通路検出プログラムに係る第３の解決手段として、上記第１の解決手段において、前記通路領域検出機能における前記統計処理は、前記通路検出対象領域における各画素のそれぞれを投票元画素として選択し、前記投票元画素を起点としてその模様方向に平行な直線上に存在する画素、または前記投票元画素を起点としてその模様方向に沿うように設定された投票対象領域に含まれる画素に対して投票を行う投票処理と、前記投票処理による投票結果を基に投票回数が最も大きい画素を消失点として特定する消失点特定処理と、前記消失点の投票元画素を有効投票画素として抽出する有効投票画素抽出処理と、前記通路検出対象領域において前記消失点を頂点とする領域を複数の小領域に分割し、各小領域の内、前記有効投票画素の比率が所定の閾値を超えた小領域を通路が存在すると推定される通路領域として特定する通路領域特定処理とを含むことを特徴とする。
【００１１】
また、通路検出プログラムに係る第４の解決手段として、上記第２の解決手段において、前記通路領域検出機能における前記統計処理は、前記副検出対象領域における各画素のそれぞれを投票元画素として選択し、前記投票元画素を起点としてその模様方向に平行な直線上に存在する画素、または前記投票元画素を起点としてその模様方向に沿うように設定された投票対象領域に含まれる画素に対して投票を行う投票処理と、前記投票処理による投票結果を基に投票回数が最も大きい画素を消失点として特定する消失点特定処理と、前記消失点の投票元画素を有効投票画素として抽出する有効投票画素抽出処理と、前記副検出対象領域において前記消失点を頂点とする領域を複数の小領域に分割し、各小領域の内、前記有効投票画素の比率が所定の閾値を超えた小領域を通路が存在すると推定される通路領域として特定する通路領域特定処理とを含むことを特徴とする。
【００１２】
また、通路検出プログラムに係る第５の解決手段として、上記第４の解決手段において、前記投票処理では、現在着目している副検出対象領域において、以前着目していた副検出対象領域について実施された前記通路領域特定処理によって特定された通路領域の終端側に、投票の重み付けを大きくした投票重み付け領域を設定することを特徴とする。
【００１３】
また、通路検出プログラムに係る第６の解決手段として、上記第５の解決手段において、現在着目している副検出対象領域について前記通路領域特定処理が終了した後に、以前着目していた副検出対象領域において、前記現在着目している副検出対象領域について実施された前記通路領域特定処理によって特定された通路領域の始端側に、投票の重み付けを大きくした投票重み付け領域を設定し、当該以前着目していた副検出対象領域について前記投票処理、消失点特定処理、有効投票画素抽出処理及び通路領域特定処理を再実施することで、当該以前着目していた副検出対象領域についての通路領域特定結果を修正することを特徴とする。
【００１４】
また、通路検出プログラムに係る第７の解決手段として、上記第５または第６の解決手段において、前記奥行き方向に沿った位置に応じて前記投票重み付け領域の大きさ、及び／または前記投票の重み付け量を変化させることを特徴とする。
【００１５】
また、通路検出プログラムに係る第８の解決手段として、上記第３〜第７のいずれかの解決手段において、前記通路検出対象領域のエッジ検出を行うことにより、前記通路検出対象領域に含まれる強エッジ領域を抽出する強エッジ領域抽出機能をさらに含み、前記通路領域検出機能における前記投票処理では、前記強エッジ領域抽出機能によって抽出された強エッジ領域の周辺の画素を前記投票元画素から除外することを特徴とする。
【００１６】
また、通路検出プログラムに係る第９の解決手段として、上記第１〜第８のいずれかの解決手段において、前記フィルタリング機能において、前記記憶装置から前記入力画像における奥行き方向の位置に応じた周波数パラメータを有すると共に方向パラメータの異なる複数の空間周波数フィルタを読み出して、前記通路検出対象領域をフィルタリングすることを特徴とする。
【００１７】
また、通路検出プログラムに係る第１０の解決手段として、上記第１〜第９のいずれかの解決手段において、前記空間周波数フィルタは、２次元ウェーブレットフィルタ、または２次元窓付きフーリエ変換を利用したフィルタであることを特徴とする。
また、通路検出プログラムに係る第１１の解決手段として、上記第１０の解決手段において、前記２次元ウェーブレットフィルタは、２次元ガボールフィルタであることを特徴とする。
【００１８】
一方、本発明では、通路検出装置に係る第１の解決手段として、方向パラメータの異なる複数の空間周波数フィルタを予め記憶する記憶装置と、前記記憶装置から読み出した前記空間周波数フィルタを用いて入力画像における通路検出対象領域をフィルタリングすることにより、前記通路検出対象領域についての各方向の強度分布データを生成するフィルタリング部と、前記フィルタリング部によって生成された前記強度分布データを基に前記通路検出対象領域における各画素の模様方向を特定する模様方向特定部と、前記模様方向特定部による前記模様方向の特定結果を基に所定の統計処理を行うことにより、前記通路検出対象領域において通路が存在すると推定される通路領域を検出する通路領域検出部とを備えることを特徴とする。
【００１９】
また、通路検出装置に係る第２の解決手段として、方向パラメータの異なる複数の空間周波数フィルタを予め記憶する記憶装置と、前記記憶装置から読み出した前記空間周波数フィルタを用いて入力画像における通路検出対象領域をフィルタリングすることにより、前記通路検出対象領域についての各方向の強度分布データを生成するフィルタリング部と、前記フィルタリング部によって生成された前記強度分布データを基に前記通路検出対象領域における各画素の模様方向を特定する模様方向特定部と、前記通路検出対象領域を奥行き方向に沿って複数に分割して得られる副検出対象領域ごとに、前記模様方向特定部による前記模様方向の特定結果に基づいて所定の統計処理を行うことにより、前記副検出対象領域において通路が存在すると推定される通路領域を検出する通路領域検出部とを備えることを特徴とする。
【００２０】
また、通路検出装置に係る第３の解決手段として、上記第１の解決手段において、前記通路領域検出部は、前記統計処理として、前記通路検出対象領域における各画素のそれぞれを投票元画素として選択し、前記投票元画素を起点としてその模様方向に平行な直線上に存在する画素、または前記投票元画素を起点としてその模様方向に沿うように設定された投票対象領域に含まれる画素に対して投票を行う投票処理と、前記投票処理による投票結果を基に投票回数が最も大きい画素を消失点として特定する消失点特定処理と、前記消失点の投票元画素を有効投票画素として抽出する有効投票画素抽出処理と、前記通路検出対象領域において前記消失点を頂点とする領域を複数の小領域に分割し、各小領域の内、前記有効投票画素の比率が所定の閾値を超えた小領域を通路が存在すると推定される通路領域として特定する通路領域特定処理とを行うことを特徴とする。
【００２１】
また、通路検出装置に係る第４の解決手段として、上記第２の解決手段において、前記通路領域検出部は、前記統計処理として、前記副検出対象領域における各画素のそれぞれを投票元画素として選択し、前記投票元画素を起点としてその模様方向に平行な直線上に存在する画素、または前記投票元画素を起点としてその模様方向に沿うように設定された投票対象領域に含まれる画素に対して投票を行う投票処理と、前記投票処理による投票結果を基に投票回数が最も大きい画素を消失点として特定する消失点特定処理と、前記消失点の投票元画素を有効投票画素として抽出する有効投票画素抽出処理と、前記副検出対象領域において前記消失点を頂点とする領域を複数の小領域に分割し、各小領域の内、前記有効投票画素の比率が所定の閾値を超えた小領域を通路が存在すると推定される通路領域として特定する通路領域特定処理とを行うことを特徴とする。
【００２２】
また、通路検出装置に係る第５の解決手段として、上記第４の解決手段において、前記通路領域検出部は、前記投票処理では、現在着目している副検出対象領域において、以前着目していた副検出対象領域について実施された前記通路領域特定処理によって特定された通路領域の終端側に、投票の重み付けを大きくした投票重み付け領域を設定することを特徴とする。
【００２３】
また、通路検出装置に係る第６の解決手段として、上記第５の解決手段において、前記通路領域検出部は、現在着目している副検出対象領域について前記通路領域特定処理が終了した後に、以前着目していた副検出対象領域において、前記現在着目している副検出対象領域について実施された前記通路領域特定処理によって特定された通路領域の始端側に、投票の重み付けを大きくした投票重み付け領域を設定し、当該以前着目していた副検出対象領域について前記投票処理、消失点特定処理、有効投票画素抽出処理及び通路領域特定処理を再実施することで、当該以前着目していた副検出対象領域についての通路領域特定結果を修正することを特徴とする。
【００２４】
また、通路検出装置に係る第７の解決手段として、上記第５または第６の解決手段において、前記通路領域検出部は、前記奥行き方向に沿った位置に応じて前記投票重み付け領域の大きさ、及び／または前記投票の重み付け量を変化させることを特徴とする。
【００２５】
また、通路検出装置に係る第８の解決手段として、上記第３〜第７のいずれかの解決手段において、前記通路検出対象領域のエッジ検出を行うことにより、前記通路検出対象領域に含まれる強エッジ領域を抽出する強エッジ領域抽出部をさらに備え、前記通路領域検出部は、前記投票処理において、前記強エッジ領域抽出部によって抽出された強エッジ領域の周辺の画素を前記投票元画素から除外することを特徴とする。
【００２６】
また、通路検出装置に係る第９の解決手段として、上記第１〜第８のいずれかの解決手段において、前記記憶装置は、入力画像における奥行き方向の位置に応じた周波数パラメータを有すると共に方向パラメータの異なる複数の空間周波数フィルタを予め記憶しており、前記フィルタリング部は、前記記憶装置から、前記通路検出対象領域におけるフィルタリング対象位置に対応する前記空間周波数フィルタを読み出してフィルタリングすることを特徴とする。
【００２７】
また、通路検出装置に係る第１０の解決手段として、上記第１〜第９のいずれかの解決手段において、前記空間周波数フィルタは、２次元ウェーブレットフィルタ、または２次元窓付きフーリエ変換を利用したフィルタであることを特徴とする。
また、通路検出装置に係る第１１の解決手段として、上記第１０の解決手段において、前記２次元ウェーブレットフィルタは、２次元ガボールフィルタであることを特徴とする。
【００２８】
さらに、本発明では、通路検出方法に係る第１の解決手段として、方向パラメータの異なる複数の空間周波数フィルタを用いて入力画像における通路検出対象領域をフィルタリングすることにより、前記通路検出対象領域についての各方向の強度分布データを生成するフィルタリング工程と、前記フィルタリング工程にて生成された前記強度分布データを基に前記通路検出対象領域における各画素の模様方向を特定する模様方向特定工程と、前記模様方向特定工程による前記模様方向の特定結果を基に所定の統計処理を行うことにより、前記通路検出対象領域において通路が存在すると推定される通路領域を検出する通路領域検出工程とを有することを特徴とする。
【００２９】
また、通路検出方法に係る第２の解決手段として、方向パラメータの異なる複数の空間周波数フィルタを用いて入力画像における通路検出対象領域をフィルタリングすることにより、前記通路検出対象領域についての各方向の強度分布データを生成するフィルタリング工程と、前記フィルタリング工程にて生成された前記強度分布データを基に前記通路検出対象領域における各画素の模様方向を特定する模様方向特定工程と、前記通路検出対象領域を奥行き方向に沿って複数に分割して得られる副検出対象領域ごとに、前記模様方向特定工程による前記模様方向の特定結果に基づいて所定の統計処理を行うことにより、前記副検出対象領域において通路が存在すると推定される通路領域を検出する通路領域検出工程とを有することを特徴とする。
【００３０】
また、通路検出方法に係る第３の解決手段として、上記第１の解決手段において、前記通路領域検出工程における前記統計処理は、前記通路検出対象領域における各画素のそれぞれを投票元画素として選択し、前記投票元画素を起点としてその模様方向に平行な直線上に存在する画素、または前記投票元画素を起点としてその模様方向に沿うように設定された投票対象領域に含まれる画素に対して投票を行う投票処理と、前記投票処理による投票結果を基に投票回数が最も大きい画素を消失点として特定する消失点特定処理と、前記消失点の投票元画素を有効投票画素として抽出する有効投票画素抽出処理と、前記通路検出対象領域において前記消失点を頂点とする領域を複数の小領域に分割し、各小領域の内、前記有効投票画素の比率が所定の閾値を超えた小領域を通路が存在すると推定される通路領域として特定する通路領域特定処理とを含むことを特徴とする。
【００３１】
また、通路検出方法に係る第４の解決手段として、上記第２の解決手段において、前記通路領域検出工程における前記統計処理は、前記副検出対象領域における各画素のそれぞれを投票元画素として選択し、前記投票元画素を起点としてその模様方向に平行な直線上に存在する画素、または前記投票元画素を起点としてその模様方向に沿うように設定された投票対象領域に含まれる画素に対して投票を行う投票処理と、前記投票処理による投票結果を基に投票回数が最も大きい画素を消失点として特定する消失点特定処理と、前記消失点の投票元画素を有効投票画素として抽出する有効投票画素抽出処理と、前記副検出対象領域において前記消失点を頂点とする領域を複数の小領域に分割し、各小領域の内、前記有効投票画素の比率が所定の閾値を超えた小領域を通路が存在すると推定される通路領域として特定する通路領域特定処理とを含むことを特徴とする。
【００３２】
また、通路検出方法に係る第５の解決手段として、上記第４の解決手段において、前記投票処理では、現在着目している副検出対象領域において、以前着目していた副検出対象領域について実施された前記通路領域特定処理によって特定された通路領域の終端側に、投票の重み付けを大きくした投票重み付け領域を設定することを特徴とする。
【００３３】
また、通路検出方法に係る第６の解決手段として、上記第５の解決手段において、現在着目している副検出対象領域について前記通路領域特定処理が終了した後に、以前着目していた副検出対象領域において、前記現在着目している副検出対象領域について実施された前記通路領域特定処理によって特定された通路領域の始端側に、投票の重み付けを大きくした投票重み付け領域を設定し、当該以前着目していた副検出対象領域について前記投票処理、消失点特定処理、有効投票画素抽出処理及び通路領域特定処理を再実施することで、当該以前着目していた副検出対象領域についての通路領域特定結果を修正することを特徴とする。
【００３４】
また、通路検出方法に係る第７の解決手段として、上記第５または第６の解決手段において、前記奥行き方向に沿った位置に応じて前記投票重み付け領域の大きさ、及び／または前記投票の重み付け量を変化させることを特徴とする。
【００３５】
また、通路検出方法に係る第８の解決手段として、上記第３〜第７のいずれかの解決手段において、前記通路検出対象領域のエッジ検出を行うことにより、前記通路検出対象領域に含まれる強エッジ領域を抽出する強エッジ領域抽出工程をさらに有し、前記通路領域検出工程における前記投票処理では、前記強エッジ領域抽出工程にて抽出された強エッジ領域の周辺の画素を前記投票元画素から除外することを特徴とする。
【００３６】
また、通路検出方法に係る第９の解決手段として、上記第１〜第８のいずれかの解決手段において、前記フィルタリング工程では、前記入力画像における奥行き方向の位置に応じた周波数パラメータを有すると共に方向パラメータの異なる複数の空間周波数フィルタを用いて前記通路検出対象領域をフィルタリングすることを特徴とする。
【００３７】
また、通路検出方法に係る第１０の解決手段として、上記第１〜第９のいずれかの解決手段において、前記空間周波数フィルタは、２次元ウェーブレットフィルタ、または２次元窓付きフーリエ変換を利用したフィルタであることを特徴とする。
また、通路検出方法に係る第１１の解決手段として、上記第１０の解決手段において、前記２次元ウェーブレットフィルタは、２次元ガボールフィルタであることを特徴とする。
【発明の効果】
【００３８】
本発明によれば、入力画像から未舗装路上の轍などの通路を検出することが可能となる。従って、本発明によって検出された通路をなぞるように車両の運転制御を行なうことにより、災害救助車両や工事車両等の特殊車両の完全無人化及び自動運転化を図ることができる。また、本発明を地図の自動作成システムに適用することにより、林道、川原などで頻繁に車両が通過することにより自然発生する轍などの通路まで地図上に記載することが可能となる。
【図面の簡単な説明】
【００３９】
【図１】本実施形態に係る通路検出装置１の機能ブロック図である。
【図２】本実施形態における入力画像及びその入力画像データの一例である。
【図３】本実施形態に係る通路検出装置１の動作フローチャートである。
【図４】本実施形態に係る通路検出装置１のフィルタリング機能に関する説明図である。
【図５】本実施形態に係る通路検出装置１の模様方向特定機能に関する説明図である。
【図６】本実施形態に係る通路検出装置１の通路領域検出機能における投票処理に関する第１説明図である。
【図７】本実施形態に係る通路検出装置１の通路領域検出機能における投票処理に関する第２説明図である。
【図８】本実施形態に係る通路検出装置１の通路領域検出機能における投票処理に関する第３説明図である。
【図９】本実施形態に係る通路検出装置１の通路領域検出機能における消失点特定処理に関する説明図である。
【図１０】本実施形態に係る通路検出装置１の通路領域検出機能における有効投票画素抽出処理に関する説明図である。
【図１１】本実施形態に係る通路検出装置１の通路領域検出機能における通路領域特定処理に関する説明図である。
【図１２】本実施形態に係る通路検出装置１の通路領域検出機能の変形例に関する第１説明図である。
【図１３】本実施形態に係る通路検出装置１の通路領域検出機能の変形例に関する第２説明図である。
【図１４】本実施形態に係る通路検出装置１の通路領域検出機能の変形例に関する第３説明図である。
【発明を実施するための形態】
【００４０】
以下、図面を参照して、本発明の一実施形態について説明する。
図１は、本実施形態に係る通路検出装置１の機能ブロック図である。本実施形態に係る通路検出装置１は、例えばＰＣ（Personal Computer）であり、Ａ／Ｄコンバータ１０、記憶装置２０、画像処理装置３０及びＲＡＭ(Random Access Memory)４０から構成されている。このような通路検出装置１は、例えば災害救助車両や工事車両等の特殊車両に搭載されており、車両の進行方向を撮影する車載カメラ（図示省略）から入力される画像信号（入力画像）を基に轍などの未舗装路上の通路を検出し、その通路検出結果を車両の運転状態を統合制御する運転制御装置（図示省略）に出力するものである。
【００４１】
Ａ／Ｄコンバータ１０は、不図示の車載カメラから入力される画像信号をデジタルデータに変換し、入力画像を示す入力画像データとして画像処理装置３０に出力する。なお、本実施形態では、車載カメラとして視野が約６０°のモノクロ撮影カメラを使用し、その解像度をＶＧＡ（横６４０×縦４８０画素）と想定する。つまり、上記の入力画像データは、入力画像を構成する横６４０×縦４８０個の各画素の輝度を示す輝度データの集合である。なお、車載カメラからデジタルデータ化された画像信号が出力される場合には、Ａ／Ｄコンバータ１０を省略しても良い。
【００４２】
記憶装置２０は、例えばＨＤＤ(Hard Disk Drive)であり、通路検出プログラムＰＧと、方向パラメータの異なる複数（ｎ個）の２次元ガボールフィルタ（以下、ガボールフィルタと略す）ＧＦ１〜ＧＦｎとを予め記憶しており、画像処理装置３０からの読み出し要求に応じて上記通路検出プログラムＰＧやガボールフィルタＧＦ１〜ＧＦｎを画像処理装置３０に出力する。
【００４３】
ここで、通路検出プログラムＰＧとは、画像処理装置３０によって読み出されて実行され、入力画像データを基に未舗装路上の通路を検出するための機能（フィルタリング機能、模様方向特定機能、強エッジ領域抽出機能、通路領域検出機能）を通路検出装置１に実現させるためのプログラムである。
【００４４】
また、ガボールフィルタとは、２次元ガウス関数と２次元平面上を一方向に伝播する正弦波関数とを乗じて得られる２次元ガボール関数を利用した空間周波数フィルタであり、２次元ウェーブレットフィルタの一形態である。横方向をＸ軸、縦方向をＹ軸とする２次元座標系を想定すると、２次元ガボール関数ＧＢ（ｘ、ｙ）は下記（１）式で表される。なお、下記（１）式において、ｕ０は波の角周波数、σはガウス関数の標準偏差（ガウス窓の幅）を示すパラメータである。また、２次元ガボール関数ＧＢ（ｘ、ｙ）は、波の方向を示すパラメータ（方向パラメータ）として角周波数ｕ０の偏角φを有している。
【００４５】
【数１】
【００４６】
上記のような２次元ガボール関数ＧＢ（ｘ、ｙ）を利用したガボールフィルタを用いて、入力画像データをフィルタリングすることにより、入力画像の周波数特性やテクスチャ（模様）方向特性を抽出することができる。具体的には、入力画像において、方向パラメータ（偏角φ）と平行なテクスチャ方向を有すると共に、周波数パラメータ（角周波数ｕ０）に近い周波数特性を有する領域が感度良く抽出される。
【００４７】
本実施形態では、上述したように、方向パラメータ（角周波数ｕ０の偏角φ）の異なるｎ個のガボールフィルタＧＦ１〜ＧＦｎを予め用意して記憶装置２０に記憶しておく。ここで、偏角φが等角度間隔で異なるようにガボールフィルタＧＦ１〜ＧＦｎを用意する。例えば、ｎ＝７２とすると、偏角φはπ／７２（rad）＝２．５°ずつ異なることになる。つまり、ガボールフィルタＧＦ１の方向パラメータφ１を０（rad）と設定し、ガボールフィルタＧＦ２の方向パラメータφ２をπ／７２（rad）＝２．５°と設定し、ガボールフィルタＧＦ３の方向パラメータφ３を２π／７２（rad）＝５°と設定し、以下同様に、ガボールフィルタＧＦｎの方向パラメータφｎを７１π／７２（rad）＝１７７．５°と設定する。
なお、ｎの値は入力画像の解像度や画像処理装置３０の処理能力に応じて適宜変更すれば良いが、例えばデジタル処理を考慮して８の倍数である３２〜９６の範囲で設定することが望ましい。
【００４８】
一方、各ガボールフィルタＧＦ１〜ＧＦｎの周波数パラメータ（角周波数ｕ０）と減衰パラメータ（標準偏差σ）は、各フィルタ共通の所定値に設定する。ここで、周波数パラメータは、検出対象の通路の幅に応じて設定する。例えば、波の波長（周期）が視野上で１．５度〜４度となるように角周波数ｕ０を計算して設定する。通路の撮影エリアが奥行き方向に１０ｍから２０ｍの領域である場合、角周波数ｕ０が３度の視野に相当するように設定すると、撮影対象上での波の山から谷間での距離は２５ｃｍ〜５０ｃｍとなり、車輪よりやや大きいサイズとなり、複数回車輪が通過した結果にできる車輪跡に近いサイズとなる。つまり、このように周波数パラメータを設定することにより、車輪跡のような轍が通路として感度良く抽出されやすくなる。また、減衰パラメータであるσは１〜０．５波長程度で設定すれば良い。
【００４９】
画像処理装置３０は、例えばＣＰＵ（Central Processing Unit）であり、記憶装置２０から読み出した通路検出プログラムＰＧに従って、入力画像データを基に所定の画像処理を行うことにより、未舗装路上の通路（例えば轍など）を検出するものである。また、この画像処理装置３０は、上記通路検出プログラムＰＧを実行することで実現される機能として、フィルタリング部３０ａ、模様方向特定部３０ｂ、強エッジ領域抽出部３０ｃ及び通路領域検出部３０ｄを有している。
【００５０】
フィルタリング部３０ａは、記憶装置２０からガボールフィルタＧＦ１〜ＧＦｎを読み出し、各ガボールフィルタＧＦ１〜ＧＦｎを用いて入力画像における通路検出対象領域をフィルタリングすることにより、通路検出対象領域についての各方向毎（φ１〜φｎ）の強度分布データを生成する。模様方向特定部３０ｂは、フィルタリング部３０ａによって生成された強度分布データを基に通路検出対象領域における各画素のテクスチャ（模様）方向を特定する。
【００５１】
強エッジ領域抽出部３０ｃは、通路検出対象領域のエッジ検出処理を行うことにより、通路検出対象領域に存在する強エッジ領域を抽出する。通路領域検出部３０ｄは、模様方向特定部３０ｂによる各画素のテクスチャ方向の特定結果と、強エッジ領域抽出部３０ｃによる強エッジ領域抽出結果とを基に所定の統計処理を行うことにより、通路検出対象領域において通路が存在すると推定される通路領域を検出し、その検出結果を通路検出結果として不図示の運転制御装置に出力する。
【００５２】
ＲＡＭ４０は、画像処理装置３０が各種画像処理を実行する上で必要なデータ（強度分布データやテクスチャ方向の特定結果、強エッジ領域抽出結果、統計データ等）や、上記の入力画像データを一時的に記憶するために使用される書換え可能な揮発性メモリである。
【００５３】
次に、上記のように構成された通路検出装置１の走行路検出動作、つまり画像処理装置３０が通路検出プログラムＰＧを実行することで実現されるフィルタリング部３０ａ、模様方向特定部３０ｂ、強エッジ領域抽出部３０ｃ及び通路領域検出部３０ｄの動作について説明する。
【００５４】
なお、車両は川原を走行しており、車載カメラから図２（ａ）に示すような轍が写り込んだ入力画像が得られたものと想定する。また、以下では、図２（ｂ）に示すように、入力画像の水平方向をＸ軸方向、垂直方向をＹ軸方向とし、入力画像の座標（Ｘ、Ｙ）＝（０、０）〜（６３９、４７９）の各画素に対応する輝度データをＢ（０、０）〜Ｂ（６３９、４７９）と表記する。つまり、入力画像データは、これら輝度データＢ（０、０）〜Ｂ（６３９、４７９）の集合である。このような入力画像データは、画像処理装置３０によってＲＡＭ４０に一旦記憶される。
【００５５】
図３は、画像処理装置３０の動作フローチャートである。この図３に示すように、まず、画像処理装置３０におけるフィルタリング部３０ａは、ＲＡＭ４０から入力画像における通路検出対象領域に相当する入力画像データを読み出すと共に、記憶装置２０からガボールフィルタＧＦ１〜ＧＦｎを読み出し、各ガボールフィルタＧＦ１〜ＧＦｎを用いて入力画像データをフィルタリングすることにより、各方向の強度分布データを生成する（ステップＳ１：フィルタリング工程）。
【００５６】
本実施形態では、入力画像の全領域が上記の通路検出対象領域に設定されている場合を例示して説明する。つまり、ＲＡＭ４０から入力画像の全領域に相当する入力画像データが読み出される。なお、入力画像から水平線を抽出可能である場合には、その水平線より下の領域（つまり地面の領域）を通路検出対象領域として設定しても良い。このように、確実に通路が存在すると推定される領域のみを通路検出対象領域とすることにより、以下で説明する画像処理装置３０の処理負荷を軽減でき、処理時間を短縮することができる。
【００５７】
以下、図４を参照して上記ステップＳ１について具体的に説明する。図４（ａ）に示すように、フィルタリング部３０ａは、ガボールフィルタＧＦ１〜ＧＦｎを用いたフィルタリング処理として、入力画像において、ある画素を中心画素とする畳み込み領域に含まれる各画素の輝度データと、ガボールフィルタ、つまり２次元ガボール関数ＧＢ（ｘ、ｙ）との畳み込み演算を行い、その演算結果をガボールフィルタの方向パラメータφに対応する中心画素の強度として取得する。
【００５８】
つまり、フィルタリング部３０ａは、まず、ある画素を中心画素とする畳み込み領域に含まれる各画素の輝度データとガボールフィルタＧＦ１との畳み込み演算を行い、その演算結果をガボールフィルタＧＦ１の方向パラメータφ１に対応する中心画素の強度として取得する。ここで、各ガボールフィルタＧＦ１〜ＧＦｎを、実数部のフィルタと虚数部のフィルタとに分けて作成しておくことにより、実数部のフィルタを用いて得られた強度と、虚数部のフィルタを用いて得られた強度とをそれぞれ２乗して加算し、その加算値の平方根を求めることで最終的な強度を取得することができる。
【００５９】
続いて、フィルタリング部３０ａは、ガボールフィルタＧＦ２に切り替えて同様に畳み込み演算を行い、その演算結果をガボールフィルタＧＦ２の方向パラメータφ２に対応する中心画素の強度として取得する。以下、同様に、フィルタリング部３０ａは、ガボールフィルタを順次切り替えながら畳み込み演算を行うことにより、その演算結果を各ガボールフィルタＧＦ１〜ＧＦｎの方向パラメータφ１〜φｎに対応する中心画素の強度として取得する。
【００６０】
フィルタリング部３０ａは、上記のようなフィルタリング処理を、入力画像の座標（０、０）〜（６３９、４７９）の各画素のそれぞれについて行うことにより、図４（ｂ）に示すような各方向の強度分布データを生成してＲＡＭ４０に記憶する。なお、図４（ｂ）では、座標（０、０）〜（６３９、４７９）の各画素のそれぞれを中心画素として得られた強度データをＩ（０、０）〜Ｉ（６３９、４７９）として表記している。
【００６１】
なお、図４（ａ）からわかるように、入力画像の端部に近い画素を中心画素とする場合、畳み込み領域が入力画像からはみ出てしまうため、この場合には予め設定した輝度データ（例えば白データ等）を入力画像からはみ出ている畳み込み領域の輝度データとして使用すれば良い。また、畳み込み領域の大きさは、検出対象の通路の大きさに応じて適宜変更すれば良いが、例えば幅２５ｃｍ〜５０ｃｍの車輪跡に相当する轍を検出対象とする場合には、その幅に相当する画素数（３２画素）以上の大きさ、例えば５０×５０画素の大きさとすることが望ましい。
【００６２】
次に、上記のようなステップＳ１が終了すると、画像処理装置３０における模様方向特定部３０ｂは、ＲＡＭ４０から各方向の強度分布データを読み出し、それら強度分布データを基に入力画像における各画素のテクスチャ（模様）方向を特定する（ステップＳ２：模様方向特定工程）。具体的には、例えば座標（０、０）の画素に着目した場合、各方向の強度分布データの中から強度データＩ（０、０）が最も大きいものを探索し、その最大の強度データＩ（０、０）を含む強度分布データに対応する方向を、座標（０、０）の画素のテクスチャ方向として特定する。例えば、方向φ３に対応する強度分布データに最大の強度データＩ（０、０）が含まれている場合、方向φ３が座標（０、０）の画素のテクスチャ方向となる。
【００６３】
模様方向特定部３０ｂは、上記のようなテクスチャ方向の特定処理を、座標（０、０）〜（６３９、４７９）の各画素について行うことにより、各画素のテクスチャ方向を特定し、その特定結果をＲＡＭ４０に記憶する。図５（ａ）は各画素のテクスチャ方向の特定結果であり、図５（ｂ）は入力画像とテクスチャ方向の特定結果とを重ねて表示したものである。なお、この図５では、説明の便宜上、テクスチャ方向の特定結果を、テクスチャ方向を指し示すベクトル線で表しているが、実際にはテクスチャ方向の特定結果は、その方向を表す値（例えばテクスチャ方向がφ１であればφ１の値）によって構成されている。
【００６４】
未舗装路上に存在する轍などの通路は、車両が複数回その場所を走行することにより、地面や草むらが踏み起こされたり、踏み固められたりした結果残るものであるため、図２に示すように、その痕跡は入力画像上において不連続且つ不明瞭な帯状やスジ状の疎らな領域として観察される。そこで、上述した入力画像の波の成分を抽出する機能を有するステップＳ１及びステップＳ２を実施することより、通路を形成する模様の間隔は不定でなだらかではあるが、通路の進行方向に平行な波の成分として捕らえることができる。
【００６５】
次に、上記のようなステップＳ２が終了すると、画像処理装置３０における強エッジ領域抽出部３０ｃは、入力画像データを基に所定のエッジ検出処理を行うことにより、入力画像に存在する強エッジ領域を抽出し、その抽出結果をＲＡＭ４０に記憶する（ステップＳ３：強エッジ領域検出工程）。ここで、エッジ検出処理としては公知の技術を採用することができる。例えば、Ｘ軸方向のソベルフィルタとＹ軸方向のソベルフィルタを適用して、それらの強度の２乗和が一定の閾値を超えた画素を探索し、その閾値を超えた画素から一定距離以内の領域を強エッジ領域として抽出する。
【００６６】
次に、上記のようなステップＳ３が終了すると、画像処理装置３０における通路領域検出部３０ｄは、模様方向特定部３０ｂによる各画素のテクスチャ方向の特定結果と、強エッジ領域抽出部３０ｃによる強エッジ領域抽出結果とを基に所定の統計処理を行うことにより、入力画像において通路が存在すると推定される通路領域を検出する（ステップＳ４：通路領域検出工程）。具体的には、通路領域検出部３０ｄは、ステップＳ４における統計処理として、投票処理（ステップＳ４ａ）、消失点特定処理（ステップＳ４ｂ）、有効投票画素抽出処理（ステップＳ４ｃ）及び通路領域特定処理（ステップＳ４ｄ）を行う。以下、それぞれの処理について詳細に説明する。
【００６７】
＜投票処理＞
まず、通路領域検出部３０ｄは、ステップＳ４ａの投票処理として、入力画像における各画素のそれぞれを投票元画素として順次選択し、当該投票元画素を起点としそのテクスチャ方向に平行な直線上に存在する画素に対して投票を行う。具体的には、通路領域検出部３０ｄは、まず、図６に示すように、ＲＡＭ４０のメモリ空間上に、投票回数を集計するための投票集計領域を入力画像と同サイズ（つまり、６４０×４８０画素数分の投票回数を集計可能なサイズ）で確保する。
【００６８】
そして、通路領域検出部３０ｄは、図７（ａ）に示すように、ある画素を投票元画素として選択した場合、模様方向特定部３０ｂによる各画素のテクスチャ方向の特定結果から投票元画素のテクスチャ方向を把握し、投票元画素を起点としそのテクスチャ方向に平行な直線上に存在する画素（投票対象画素）に対して投票を行い、その投票結果を図７（ｂ）に示すようにＲＡＭ４０上の投票集計領域に反映する。つまり、図７（ｂ）からわかるように、投票集計領域において投票対象画素に対応する記憶領域に投票値「１」が加算される。
【００６９】
通路領域検出部３０ｄは、上記のような投票処理を各画素について行い、その投票結果を順次ＲＡＭ４０上の投票集計領域に反映する。ここで、通路領域検出部３０ｄは、上記のような投票処理を行う際、強エッジ領域抽出部３０ｃによって抽出された強エッジ領域の周辺（たとえば２画素以内）に含まれる画素を投票元画素から除外する。この理由については後述する。
【００７０】
なお、上述の投票処理では、投票元画素を起点としそのテクスチャ方向に平行な直線上に存在する投票対象画素に対して投票を行う場合を説明したが、これに限らず、投票元画素を起点としてそのテクスチャ方向に沿うように設定された投票対象領域に含まれる画素（投票対象画素）に対して投票を行うようにしても良い。この投票対象領域は、例えば図８（ａ）に示すように、テクスチャ方向に平行な帯状（長方形状）のものでも良いし、また、図８（ｂ）に示すように、円弧状あるいは三角形状のものでも良い。
【００７１】
ここで、図８（ａ）に示すような帯状の投票対象領域を設定する場合には、上述したテクスチャ方向に平行な直線上に存在する投票対象画素に対して投票を行う場合と同様に、投票対象領域に含まれる投票対象画素のそれぞれに対して平等に投票すれば良い。つまり、ＲＡＭ４０上の投票集計領域において、各投票対象画素に対応する記憶領域に平等に投票値「１」を加算する。
【００７２】
一方、図８（ｂ）に示すような円弧状あるいは三角形状の投票対象領域を設定する場合には、投票元画素と投票対象画素との間の距離に応じて投票値を変更することが望ましい。具体的には、投票元画素から遠い距離に位置する投票対象画素の投票値を小さくする（例えば、投票値＝１／投票元画素からの距離）。つまり、投票元画素に近い位置の投票対象画素の投票値は「１」または「１」に近い値となるが、投票元画素から遠い位置の投票対象画素の投票値は「０．５」等の小数点以下の値となる。さらには、投票対象領域において同じ距離に位置する投票対象画素の総投票値が「１」となるように各投票対象画素の投票値を決定することが望ましい。つまり、例えば同じ距離に位置する投票対象画素が４つ存在すると仮定すると、それら４つの各投票対象画素に対する投票値をそれぞれ「０．２５」とする。
【００７３】
このように円弧状あるいは三角形状の投票対象領域を設定した場合に、投票元画素と投票対象画素との間の距離に応じて投票値を変更する理由は、投票元画素から遠い位置にある投票対象画素は、他の投票対象領域と重なり合う確率が高く、近い位置にある投票対象画素と比べて投票されやすい傾向にあり、後述する消失点を正確に特定することが困難となるためである。また、円弧状あるいは三角形状の投票対象領域を設定した場合、その中心角度（投票元画素を起点とする角度）は、ガボールフィルタＧＦ１〜ＧＦｎの方向パラメータφの変化分（つまりπ／７２（rad）＝２．５°）と同一にすることが望ましい。
【００７４】
＜消失点特定処理＞
続いて、通路領域検出部３０ｄは、ステップＳ４ｂの消失点特定処理として、図９に示すように、投票処理による投票結果（つまり、ＲＡＭ４０上の投票集計領域に集計された投票回数）を基に、投票回数が最も大きい画素を入力画像における消失点として特定する。轍などの通路の波模様は車両などから見ると完全に平行ではないが同じ消失点を共有していると推測される。このため、上記のような投票処理によって消失点と推測される位置（画素）に投票を行い、統計的に通路と平行している波模様が多い検出結果を活用することにより、消失点を特定することができる。
【００７５】
ここで、入力画像において通路以外に、例えば木や電柱、看板などのコントラストの高い物体が写り込んでいた場合、それらの模様は上記の投票回数の集計に大きな影響を及ぼすことになる。そこで、上述したように、投票処理を行う際には、強エッジ領域抽出部３０ｃによって抽出された強エッジ領域に含まれる画素を投票元画素から除外することにより、木や電柱、看板などのコントラストの高い物体の延長線上が消失点として特定されることを防止することができる。
【００７６】
＜有効投票画素抽出処理＞
続いて、通路領域検出部３０ｄは、ステップＳ４ｃの有効投票画素抽出処理として、消失点の投票元画素を有効投票画素として抽出する。つまり、消失点を向いているテクスチャ方向を有する画素が有効投票画素として抽出されることになる。図１０に、有効投票画素の抽出結果を示す。図１０において白領域が有効投票画素の集合領域である。
【００７７】
＜通路領域特定処理＞
続いて、通路領域検出部３０ｄは、ステップＳ４ｄの通路領域特定処理として、図１１に示すように、入力画像において消失点を頂点とする領域（この領域は円弧状でも良いし、三角形状でも良い）を複数の小領域に分割し、各小領域の内、有効投票画素の比率が所定の閾値を超えた小領域を通路が存在すると推定される通路領域として特定する。ここで、有効投票画素の比率は、小領域と有効投票画素との面積比率、つまり、小領域に含まれる有効投票画素数を小領域に含まれる全画素数で除算することで求めることができる。
【００７８】
入力画像において轍などの通路が写り込んでいる領域では、周囲と比べて高い比率で消失点を向いているテクスチャを含んでいると推測される。そこで、上記のような有効投票画素抽出処理及び通路領域特定処理を行うことにより、入力画像において通路が存在する通路領域と他の領域とを判別することができる。
【００７９】
なお、通路領域は轍などの通路に沿って検出されるものであるので、隣接する通路領域は、ある規則性を持って連続的または断続的に連なっているはずである。そこで、入力画像において、ある規則性を持った通路領域の集まりから孤立している通路領域はノイズとして捉え、そのような孤立領域は通路領域から除去することにより、通路の誤検出を防止することができる。
【００８０】
以上説明したように、本実施形態に係る通路検出装置１によれば、入力画像から未舗装路上の轍などの通路を検出することが可能となる。従って、本実施形態に係る通路検出装置１によって検出された通路（通路領域）をなぞるように車両の運転制御を行なうことにより、災害救助車両や工事車両等の特殊車両の完全無人化及び自動運転化を図ることができる。また、本実施形態に係る通路検出装置１を地図の自動作成システムに適用することにより、林道、川原などで頻繁に車両が通過することにより自然発生する轍などの通路まで地図上に記載することが可能となる。
【００８１】
なお、本発明は上記実施形態に限定されず、以下のような変形例が考えられる。
（１）上記実施形態では、図２に示すように、通路が水平線に向かって一直線に延びているような入力画像が得られた場合を例示して説明した。しかしながら、図１２に示すように、入力画像中の通路がカーブしている場合には、入力画像の奥行き毎に消失点が水平方向に変化することになる。このような場合、上記実施形態で説明したように、入力画像の全領域（通路検出対象領域の全領域）を一度に処理すると、正確な消失点を得ることができなくなる。
【００８２】
そこで、このような問題に対処するために、上記実施形態で説明したステップＳ４の処理（投票処理、消失点特定処理、有効投票画素抽出処理及び通路領域特定処理）を、図１２に示すように、通路領域検出対象領域（ここでは入力画像の全領域）を奥行き方向に沿って複数に分割して得られる副検出対象領域ごとに行うようにしても良い。このように、副検出対象領域毎に消失点を求め、その対応する奥行きごとに消失点に適合する有効投票画素を求めることで、それぞれの奥行きに対応した消失点と通路領域の切り出しを行うことができる。
【００８３】
ここで、２次元ウェーブレットフィルタを用いた場合、入力画像上で強い方向性を有する領域が轍などの通路領域として検出されるため、轍の外に生えている草や樹木、人工物の平行な成分を誤って検出してしまう可能性がある。そこで、上記のように、奥行き方向に沿って複数に分割して得られる副検出対象領域ごとに通路領域の特定を行う場合、以下に説明する処理を加えることで検出精度の向上を図ることができる。
【００８４】
実験の結果、轍検出（通路領域検出）の精度は各地点までの奥行き方向の距離に依存し、手前ほど精度が高いことが判明した。また、検出済みの轍（通路領域）と連続した領域はやはり轍（通路領域）である可能性が大きいと考えられる。そこで、入力画像を手前から奥へ数段階に分割し、最も手前側の副検出対象領域に存在する轍（通路領域）を最初に検出して、それを基準に以遠の轍（通路領域）を検出することとする。
【００８５】
図１３に示すように、まず、奥行き方向の最も手前側の副検出対象領域（ここでは第１副検出対象領域Ｗ１とする）について、上記実施形態で説明したステップＳ４の処理（投票処理、消失点特定処理、有効投票画素抽出処理及び通路領域特定処理）を行うことで第１副検出対象領域Ｗ１における通路領域特定結果を得る。なお、図１３では、通路領域の特定結果を第１副検出対象領域Ｗ１の消失点に向かう連続した直線として表している。
【００８６】
続いて、次段の副検出対象領域（ここでは第２副検出対象領域Ｗ２とする）について上記ステップＳ４の処理を行うが、この時の投票処理では、現在着目している副検出対象領域（つまり第２副検出対象領域Ｗ２）において、図１３に示すように、以前着目していた副検出対象領域（つまり第１副検出対象領域Ｗ１）について実施された通路領域特定処理によって特定された通路領域の終端側に、投票の重み付けを大きくした投票重み付け領域Ｗａを設定する。このような投票重み付け領域Ｗａは、通路領域の特定結果を表す各直線上のそれぞれの終端部を中心に設定した所定サイズの矩形領域から構成されている。この矩形領域の１つ当たりのサイズは、縦：０．０８×画素高さ、横：０．０３×画素幅、程度とする。
【００８７】
このように投票重み付け領域Ｗａを設定した第２副検出対象領域Ｗ２について上記ステップＳ４の投票処理を行う場合、投票重み付け領域Ｗａに存在する投票対象画素に対する投票には通常の３倍程度の重み付けを行う。例えば、１段目の第１副検出対象領域Ｗ１の投票処理において投票対象画素に対する投票値を「１」とした場合、第２副検出対象領域Ｗ２の投票重み付け領域Ｗａに存在する投票対象画素に対する投票値は「３」とする。
【００８８】
このような第２副検出対象領域Ｗ２についてステップＳ４の投票処理、消失点特定処理、有効投票画素抽出処理及び通路領域特定処理を行うことにより、前段の第１副検出対象領域Ｗ１について特定された通路領域の終端が、次段の第２副検出対象領域Ｗ２の通路領域の起点となりやすくなる。言い換えれば、前段の第１副検出対象領域Ｗ１の通路領域と次段の第２副検出対象領域Ｗ２の通路領域とが連続した通路領域として検出されやすくなり、入力画像中に轍などと平行に生えた草や樹木、人工物等が存在する場合であっても、精度良く轍などの通路領域を検出することができる。
【００８９】
上記のように第２副検出対象領域Ｗ２について通路領域の特定結果を得た後は、次段（３段目）の副検出対象領域について第２副対象領域Ｗ２と同様の処理を行う。なお、３段目の副検出対象領域では、投票重み付け領域を構成する矩形領域の１つ当たりのサイズを、２段目の第２副検出対象領域Ｗ２の半分、つまり、縦：０．０４×画素高さ、横：０．０１５×画素幅、程度とする。
【００９０】
また、３段目の副検出対象領域について上記ステップＳ４の投票処理を行う場合、投票重み付け領域に存在する投票対象画素に対する投票には通常の５倍程度の重み付けを行う。例えば、１段目の第１副検出対象領域Ｗ１の投票処理において投票対象画素に対する投票値を「１」とした場合、３段目の副検出対象領域の投票重み付け領域に存在する投票対象画素に対する投票値は「５」とする。このように奥行き方向に沿った位置に応じて投票重み付け領域の大きさ及び投票の重み付け量を変化させることにより、より精度良く通路領域の連続性を確保することができる。
【００９１】
以降、同様な処理を奥行き方向の最も遠い副検出対象領域まで行うことにより、各段の副検出対象領域で特定された通路領域が連続した通路領域として精度良く検出され、轍などの車両の走行痕を正確に検出することが可能となる。なお、４段目以降の副検出対象領域では、投票重み付け領域を構成する矩形領域の１つ当たりのサイズ及び投票の重み付け量を３段目の副検出対象領域と同一にすることが好ましい。
【００９２】
図１４（ａ）は、投票重み付け領域を使用しない場合における通路領域の特定結果を示すものである。この図１４（ａ）に示すように、投票重み付け領域を使用しない場合、本来、通行領域とすべき領域とは異なる領域を通行領域として特定してしまっていることがわかる。また、図１４（ｂ）は、投票重み付け領域を使用した場合における通路領域の特定結果を示すものである。この図１４（ｂ）に示すように、投票重み付け領域を使用した場合、本来、通行領域とすべき領域を正しく通行領域として特定していることがわかる。
【００９３】
なお、例えば、現在着目している副検出対象領域（例えば第２副検出対象領域Ｗ２）について通路領域特定処理が終了した後に、以前着目していた副検出対象領域（第１副検出対象領域Ｗ１）において、第２副検出対象領域Ｗ２について実施された通路領域特定処理によって特定された通路領域の始端側に、投票の重み付けを大きくした投票重み付け領域を設定し、当該第１副検出対象領域Ｗ１についてステップＳ４の投票処理、消失点特定処理、有効投票画素抽出処理及び通路領域特定処理を再実施することで、当該第１副検出対象領域Ｗ１についての通路領域特定結果を修正することも可能である。
【００９４】
（２）上記実施形態では、各ガボールフィルタＧＦ１〜ＧＦｎの周波数パラメータ（角周波数ｕ０）を固定値とする場合を例示した。これは、通路の撮影エリアが奥行き方向に１０ｍから２０ｍの領域である場合、角周波数ｕ０が視野中の３度に相当するように設定すると、撮影対象上での波の山から谷間での距離は２５ｃｍ〜５０ｃｍとなり、車輪よりやや大きいサイズとなり、複数回車輪が通過した結果にできる車輪跡に近いサイズとなるためである。しかしながら、図２の入力画像からわかるように、轍などの通路の幅は、奥行き方向の位置によって変化する。そこで、入力画像における奥行き方向の位置に応じて、各ガボールフィルタＧＦ１〜ＧＦｎの周波数パラメータを変更することが望ましい。
【００９５】
具体的には、記憶装置２０に、入力画像における奥行き方向の位置に応じた周波数パラメータを有すると共に方向パラメータの異なるガボールフィルタを予め記憶しておき、フィルタリング部３０ａに、記憶装置２０から通路検出対象領域におけるフィルタリング対象位置（つまり図４中の中心画素の位置）に対応する周波数パラメータを有するガボールフィルタを読み出してフィルタリングする機能を持たせれば良い。
【００９６】
（３）上記実施形態では、空間周波数フィルタとして２次元ガボールフィルタを用いた場合を例示したが、これに限らず、その他の２次元ウェーブレットフィルタや２次元窓付きフーリエ変換を利用したフィルタなどを空間周波数フィルタとして用いても良い。
【符号の説明】
【００９７】
１…通路検出装置、１０…Ａ／Ｄコンバータ、２０…記憶装置、３０…画像処理装置、４０…ＲＡＭ(Random Access Memory)、３０ａ…フィルタリング部、３０ｂ…模様方向特定部、３０ｃ…強エッジ領域抽出部、３０ｄ…通路領域検出部、ＰＧ…通路検出プログラム、ＧＦ１〜ＧＦｎ…ガボールフィルタ
【技術分野】
【０００１】
本発明は、走行路検出プログラム、走行路検出装置及び方法に関する。
【背景技術】
【０００２】
従来から、車載カメラで撮影した画像を基に通路を自動検出し、その検出結果を基に車両の運転状態を自動制御する技術が開発されている。近年では、災害救助車両や工事車両等のように危険地帯を走行する特殊車両に対して上記技術を導入し、これら特殊車両の完全無人化及び自動運転化を図ることにより、人的被害を最小限に抑えることの可能な車両制御システムの開発が進められている。また、通路を自動検出する技術を応用して、車両で屋外を巡回しながら地図を自動作成するシステムの開発も進められている。
【０００３】
上記のように通路を自動検出する技術としては、（１）撮影画像を用いたエッジ検出や段差検出によって路肩を検出する手法（下記特許文献１及び２参照）、（２）ステレオ画像計測法を用いて車両周囲の三次元形状を計測し、その計測結果を基に平面領域とそれ以外の領域（障害物）とを区別する手法（下記特許文献３〜５参照）、（３）撮影画像から白線を検出し、白線で区切られた領域を走行レーンとして判別する手法（下記特許文献６〜８参照）、などが挙げられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−３３１１４８号公報
【特許文献２】特開２００３−２３３８９９号公報
【特許文献３】特許第３３４０５９９号公報
【特許文献４】特開２００３−２７１９７５号公報
【特許文献５】特開２００６−５４６８１号公報
【特許文献６】特開平７−１０５４８７号公報
【特許文献７】特開２００１−１４３０８４号公報
【特許文献８】特開２００５−１４１５１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した災害救助車両や工事車両等の特殊車両は、整備された舗装路だけでなく、未舗装路や林道、川原などの荒地を走行する必要があるため、完全無人化及び自動運転化に当たっては、過去の通過車両が残した轍などの通路を自動検出し、その通路をなぞるように車両の運転制御を行なうことが最適な制御手法の１つとして挙げられる。また、地図の自動作成システムにおいても、未舗装路や林道、川原などで頻繁に車両が通過することにより自然発生する轍などの通路まで地図上に記載する場合があり、その場合には轍などの未舗装路上の通路を検出可能な技術が必要となる。
【０００６】
上記従来技術（特許文献１〜８）は、舗装路上の通路を自動検出する技術としては有効であるが、轍などの未舗装路上の通路を検出することは困難である。つまり、上記（１）の技術では、未舗装路の路肩に草むらのような端部に相当する領域が存在する必要があるが、そのような領域が存在するか否かは時と場所によって異なるため、使用時期と使用場所に制限が生じてしまう。また、上記（２）の技術では、林道などは元々起伏が激しく、また、うねっていることも多く、平面やある規則性を持った曲面とはならず、平面や数式で表される曲面で近似して通路領域とそれ以外の領域とを区別することは困難である（轍部分の起伏と路面の端の起伏とを区別することも困難である）。また、上記（３）の技術では、未舗装路には白線等の人工的な模様があるわけではないため、人工的な模様を用いた通路の切り分けは困難である。
【０００７】
本発明は、上述した事情に鑑みてなされたものであり、入力画像から未舗装路上の通路を検出可能な通路検出プログラム、通路検出装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明では、通路検出プログラムに係る第１の解決手段として、記憶装置から読み出した方向パラメータの異なる複数の空間周波数フィルタを用いて入力画像における通路検出対象領域をフィルタリングすることにより、前記通路検出対象領域についての各方向の強度分布データを生成するフィルタリング機能と、前記フィルタリング機能によって生成された前記強度分布データを基に前記通路検出対象領域における各画素の模様方向を特定する模様方向特定機能と、前記模様方向特定機能による前記模様方向の特定結果を基に所定の統計処理を行うことにより、前記通路検出対象領域において通路が存在すると推定される通路領域を検出する通路領域検出機能とをコンピュータに実現させることを特徴とする。
【０００９】
また、通路検出プログラムに係る第２の解決手段として、記憶装置から読み出した方向パラメータの異なる複数の空間周波数フィルタを用いて入力画像における通路検出対象領域をフィルタリングすることにより、前記通路検出対象領域についての各方向の強度分布データを生成するフィルタリング機能と、前記フィルタリング機能によって生成された前記強度分布データを基に前記通路検出対象領域における各画素の模様方向を特定する模様方向特定機能と、前記通路検出対象領域を奥行き方向に沿って複数に分割して得られる副検出対象領域ごとに、前記模様方向特定機能による前記模様方向の特定結果に基づいて所定の統計処理を行うことにより、前記副検出対象領域において通路が存在すると推定される通路領域を検出する通路領域検出機能とをコンピュータに実現させることを特徴とする。
【００１０】
また、通路検出プログラムに係る第３の解決手段として、上記第１の解決手段において、前記通路領域検出機能における前記統計処理は、前記通路検出対象領域における各画素のそれぞれを投票元画素として選択し、前記投票元画素を起点としてその模様方向に平行な直線上に存在する画素、または前記投票元画素を起点としてその模様方向に沿うように設定された投票対象領域に含まれる画素に対して投票を行う投票処理と、前記投票処理による投票結果を基に投票回数が最も大きい画素を消失点として特定する消失点特定処理と、前記消失点の投票元画素を有効投票画素として抽出する有効投票画素抽出処理と、前記通路検出対象領域において前記消失点を頂点とする領域を複数の小領域に分割し、各小領域の内、前記有効投票画素の比率が所定の閾値を超えた小領域を通路が存在すると推定される通路領域として特定する通路領域特定処理とを含むことを特徴とする。
【００１１】
また、通路検出プログラムに係る第４の解決手段として、上記第２の解決手段において、前記通路領域検出機能における前記統計処理は、前記副検出対象領域における各画素のそれぞれを投票元画素として選択し、前記投票元画素を起点としてその模様方向に平行な直線上に存在する画素、または前記投票元画素を起点としてその模様方向に沿うように設定された投票対象領域に含まれる画素に対して投票を行う投票処理と、前記投票処理による投票結果を基に投票回数が最も大きい画素を消失点として特定する消失点特定処理と、前記消失点の投票元画素を有効投票画素として抽出する有効投票画素抽出処理と、前記副検出対象領域において前記消失点を頂点とする領域を複数の小領域に分割し、各小領域の内、前記有効投票画素の比率が所定の閾値を超えた小領域を通路が存在すると推定される通路領域として特定する通路領域特定処理とを含むことを特徴とする。
【００１２】
また、通路検出プログラムに係る第５の解決手段として、上記第４の解決手段において、前記投票処理では、現在着目している副検出対象領域において、以前着目していた副検出対象領域について実施された前記通路領域特定処理によって特定された通路領域の終端側に、投票の重み付けを大きくした投票重み付け領域を設定することを特徴とする。
【００１３】
また、通路検出プログラムに係る第６の解決手段として、上記第５の解決手段において、現在着目している副検出対象領域について前記通路領域特定処理が終了した後に、以前着目していた副検出対象領域において、前記現在着目している副検出対象領域について実施された前記通路領域特定処理によって特定された通路領域の始端側に、投票の重み付けを大きくした投票重み付け領域を設定し、当該以前着目していた副検出対象領域について前記投票処理、消失点特定処理、有効投票画素抽出処理及び通路領域特定処理を再実施することで、当該以前着目していた副検出対象領域についての通路領域特定結果を修正することを特徴とする。
【００１４】
また、通路検出プログラムに係る第７の解決手段として、上記第５または第６の解決手段において、前記奥行き方向に沿った位置に応じて前記投票重み付け領域の大きさ、及び／または前記投票の重み付け量を変化させることを特徴とする。
【００１５】
また、通路検出プログラムに係る第８の解決手段として、上記第３〜第７のいずれかの解決手段において、前記通路検出対象領域のエッジ検出を行うことにより、前記通路検出対象領域に含まれる強エッジ領域を抽出する強エッジ領域抽出機能をさらに含み、前記通路領域検出機能における前記投票処理では、前記強エッジ領域抽出機能によって抽出された強エッジ領域の周辺の画素を前記投票元画素から除外することを特徴とする。
【００１６】
また、通路検出プログラムに係る第９の解決手段として、上記第１〜第８のいずれかの解決手段において、前記フィルタリング機能において、前記記憶装置から前記入力画像における奥行き方向の位置に応じた周波数パラメータを有すると共に方向パラメータの異なる複数の空間周波数フィルタを読み出して、前記通路検出対象領域をフィルタリングすることを特徴とする。
【００１７】
また、通路検出プログラムに係る第１０の解決手段として、上記第１〜第９のいずれかの解決手段において、前記空間周波数フィルタは、２次元ウェーブレットフィルタ、または２次元窓付きフーリエ変換を利用したフィルタであることを特徴とする。
また、通路検出プログラムに係る第１１の解決手段として、上記第１０の解決手段において、前記２次元ウェーブレットフィルタは、２次元ガボールフィルタであることを特徴とする。
【００１８】
一方、本発明では、通路検出装置に係る第１の解決手段として、方向パラメータの異なる複数の空間周波数フィルタを予め記憶する記憶装置と、前記記憶装置から読み出した前記空間周波数フィルタを用いて入力画像における通路検出対象領域をフィルタリングすることにより、前記通路検出対象領域についての各方向の強度分布データを生成するフィルタリング部と、前記フィルタリング部によって生成された前記強度分布データを基に前記通路検出対象領域における各画素の模様方向を特定する模様方向特定部と、前記模様方向特定部による前記模様方向の特定結果を基に所定の統計処理を行うことにより、前記通路検出対象領域において通路が存在すると推定される通路領域を検出する通路領域検出部とを備えることを特徴とする。
【００１９】
また、通路検出装置に係る第２の解決手段として、方向パラメータの異なる複数の空間周波数フィルタを予め記憶する記憶装置と、前記記憶装置から読み出した前記空間周波数フィルタを用いて入力画像における通路検出対象領域をフィルタリングすることにより、前記通路検出対象領域についての各方向の強度分布データを生成するフィルタリング部と、前記フィルタリング部によって生成された前記強度分布データを基に前記通路検出対象領域における各画素の模様方向を特定する模様方向特定部と、前記通路検出対象領域を奥行き方向に沿って複数に分割して得られる副検出対象領域ごとに、前記模様方向特定部による前記模様方向の特定結果に基づいて所定の統計処理を行うことにより、前記副検出対象領域において通路が存在すると推定される通路領域を検出する通路領域検出部とを備えることを特徴とする。
【００２０】
また、通路検出装置に係る第３の解決手段として、上記第１の解決手段において、前記通路領域検出部は、前記統計処理として、前記通路検出対象領域における各画素のそれぞれを投票元画素として選択し、前記投票元画素を起点としてその模様方向に平行な直線上に存在する画素、または前記投票元画素を起点としてその模様方向に沿うように設定された投票対象領域に含まれる画素に対して投票を行う投票処理と、前記投票処理による投票結果を基に投票回数が最も大きい画素を消失点として特定する消失点特定処理と、前記消失点の投票元画素を有効投票画素として抽出する有効投票画素抽出処理と、前記通路検出対象領域において前記消失点を頂点とする領域を複数の小領域に分割し、各小領域の内、前記有効投票画素の比率が所定の閾値を超えた小領域を通路が存在すると推定される通路領域として特定する通路領域特定処理とを行うことを特徴とする。
【００２１】
また、通路検出装置に係る第４の解決手段として、上記第２の解決手段において、前記通路領域検出部は、前記統計処理として、前記副検出対象領域における各画素のそれぞれを投票元画素として選択し、前記投票元画素を起点としてその模様方向に平行な直線上に存在する画素、または前記投票元画素を起点としてその模様方向に沿うように設定された投票対象領域に含まれる画素に対して投票を行う投票処理と、前記投票処理による投票結果を基に投票回数が最も大きい画素を消失点として特定する消失点特定処理と、前記消失点の投票元画素を有効投票画素として抽出する有効投票画素抽出処理と、前記副検出対象領域において前記消失点を頂点とする領域を複数の小領域に分割し、各小領域の内、前記有効投票画素の比率が所定の閾値を超えた小領域を通路が存在すると推定される通路領域として特定する通路領域特定処理とを行うことを特徴とする。
【００２２】
また、通路検出装置に係る第５の解決手段として、上記第４の解決手段において、前記通路領域検出部は、前記投票処理では、現在着目している副検出対象領域において、以前着目していた副検出対象領域について実施された前記通路領域特定処理によって特定された通路領域の終端側に、投票の重み付けを大きくした投票重み付け領域を設定することを特徴とする。
【００２３】
また、通路検出装置に係る第６の解決手段として、上記第５の解決手段において、前記通路領域検出部は、現在着目している副検出対象領域について前記通路領域特定処理が終了した後に、以前着目していた副検出対象領域において、前記現在着目している副検出対象領域について実施された前記通路領域特定処理によって特定された通路領域の始端側に、投票の重み付けを大きくした投票重み付け領域を設定し、当該以前着目していた副検出対象領域について前記投票処理、消失点特定処理、有効投票画素抽出処理及び通路領域特定処理を再実施することで、当該以前着目していた副検出対象領域についての通路領域特定結果を修正することを特徴とする。
【００２４】
また、通路検出装置に係る第７の解決手段として、上記第５または第６の解決手段において、前記通路領域検出部は、前記奥行き方向に沿った位置に応じて前記投票重み付け領域の大きさ、及び／または前記投票の重み付け量を変化させることを特徴とする。
【００２５】
また、通路検出装置に係る第８の解決手段として、上記第３〜第７のいずれかの解決手段において、前記通路検出対象領域のエッジ検出を行うことにより、前記通路検出対象領域に含まれる強エッジ領域を抽出する強エッジ領域抽出部をさらに備え、前記通路領域検出部は、前記投票処理において、前記強エッジ領域抽出部によって抽出された強エッジ領域の周辺の画素を前記投票元画素から除外することを特徴とする。
【００２６】
また、通路検出装置に係る第９の解決手段として、上記第１〜第８のいずれかの解決手段において、前記記憶装置は、入力画像における奥行き方向の位置に応じた周波数パラメータを有すると共に方向パラメータの異なる複数の空間周波数フィルタを予め記憶しており、前記フィルタリング部は、前記記憶装置から、前記通路検出対象領域におけるフィルタリング対象位置に対応する前記空間周波数フィルタを読み出してフィルタリングすることを特徴とする。
【００２７】
また、通路検出装置に係る第１０の解決手段として、上記第１〜第９のいずれかの解決手段において、前記空間周波数フィルタは、２次元ウェーブレットフィルタ、または２次元窓付きフーリエ変換を利用したフィルタであることを特徴とする。
また、通路検出装置に係る第１１の解決手段として、上記第１０の解決手段において、前記２次元ウェーブレットフィルタは、２次元ガボールフィルタであることを特徴とする。
【００２８】
さらに、本発明では、通路検出方法に係る第１の解決手段として、方向パラメータの異なる複数の空間周波数フィルタを用いて入力画像における通路検出対象領域をフィルタリングすることにより、前記通路検出対象領域についての各方向の強度分布データを生成するフィルタリング工程と、前記フィルタリング工程にて生成された前記強度分布データを基に前記通路検出対象領域における各画素の模様方向を特定する模様方向特定工程と、前記模様方向特定工程による前記模様方向の特定結果を基に所定の統計処理を行うことにより、前記通路検出対象領域において通路が存在すると推定される通路領域を検出する通路領域検出工程とを有することを特徴とする。
【００２９】
また、通路検出方法に係る第２の解決手段として、方向パラメータの異なる複数の空間周波数フィルタを用いて入力画像における通路検出対象領域をフィルタリングすることにより、前記通路検出対象領域についての各方向の強度分布データを生成するフィルタリング工程と、前記フィルタリング工程にて生成された前記強度分布データを基に前記通路検出対象領域における各画素の模様方向を特定する模様方向特定工程と、前記通路検出対象領域を奥行き方向に沿って複数に分割して得られる副検出対象領域ごとに、前記模様方向特定工程による前記模様方向の特定結果に基づいて所定の統計処理を行うことにより、前記副検出対象領域において通路が存在すると推定される通路領域を検出する通路領域検出工程とを有することを特徴とする。
【００３０】
また、通路検出方法に係る第３の解決手段として、上記第１の解決手段において、前記通路領域検出工程における前記統計処理は、前記通路検出対象領域における各画素のそれぞれを投票元画素として選択し、前記投票元画素を起点としてその模様方向に平行な直線上に存在する画素、または前記投票元画素を起点としてその模様方向に沿うように設定された投票対象領域に含まれる画素に対して投票を行う投票処理と、前記投票処理による投票結果を基に投票回数が最も大きい画素を消失点として特定する消失点特定処理と、前記消失点の投票元画素を有効投票画素として抽出する有効投票画素抽出処理と、前記通路検出対象領域において前記消失点を頂点とする領域を複数の小領域に分割し、各小領域の内、前記有効投票画素の比率が所定の閾値を超えた小領域を通路が存在すると推定される通路領域として特定する通路領域特定処理とを含むことを特徴とする。
【００３１】
また、通路検出方法に係る第４の解決手段として、上記第２の解決手段において、前記通路領域検出工程における前記統計処理は、前記副検出対象領域における各画素のそれぞれを投票元画素として選択し、前記投票元画素を起点としてその模様方向に平行な直線上に存在する画素、または前記投票元画素を起点としてその模様方向に沿うように設定された投票対象領域に含まれる画素に対して投票を行う投票処理と、前記投票処理による投票結果を基に投票回数が最も大きい画素を消失点として特定する消失点特定処理と、前記消失点の投票元画素を有効投票画素として抽出する有効投票画素抽出処理と、前記副検出対象領域において前記消失点を頂点とする領域を複数の小領域に分割し、各小領域の内、前記有効投票画素の比率が所定の閾値を超えた小領域を通路が存在すると推定される通路領域として特定する通路領域特定処理とを含むことを特徴とする。
【００３２】
また、通路検出方法に係る第５の解決手段として、上記第４の解決手段において、前記投票処理では、現在着目している副検出対象領域において、以前着目していた副検出対象領域について実施された前記通路領域特定処理によって特定された通路領域の終端側に、投票の重み付けを大きくした投票重み付け領域を設定することを特徴とする。
【００３３】
また、通路検出方法に係る第６の解決手段として、上記第５の解決手段において、現在着目している副検出対象領域について前記通路領域特定処理が終了した後に、以前着目していた副検出対象領域において、前記現在着目している副検出対象領域について実施された前記通路領域特定処理によって特定された通路領域の始端側に、投票の重み付けを大きくした投票重み付け領域を設定し、当該以前着目していた副検出対象領域について前記投票処理、消失点特定処理、有効投票画素抽出処理及び通路領域特定処理を再実施することで、当該以前着目していた副検出対象領域についての通路領域特定結果を修正することを特徴とする。
【００３４】
また、通路検出方法に係る第７の解決手段として、上記第５または第６の解決手段において、前記奥行き方向に沿った位置に応じて前記投票重み付け領域の大きさ、及び／または前記投票の重み付け量を変化させることを特徴とする。
【００３５】
また、通路検出方法に係る第８の解決手段として、上記第３〜第７のいずれかの解決手段において、前記通路検出対象領域のエッジ検出を行うことにより、前記通路検出対象領域に含まれる強エッジ領域を抽出する強エッジ領域抽出工程をさらに有し、前記通路領域検出工程における前記投票処理では、前記強エッジ領域抽出工程にて抽出された強エッジ領域の周辺の画素を前記投票元画素から除外することを特徴とする。
【００３６】
また、通路検出方法に係る第９の解決手段として、上記第１〜第８のいずれかの解決手段において、前記フィルタリング工程では、前記入力画像における奥行き方向の位置に応じた周波数パラメータを有すると共に方向パラメータの異なる複数の空間周波数フィルタを用いて前記通路検出対象領域をフィルタリングすることを特徴とする。
【００３７】
また、通路検出方法に係る第１０の解決手段として、上記第１〜第９のいずれかの解決手段において、前記空間周波数フィルタは、２次元ウェーブレットフィルタ、または２次元窓付きフーリエ変換を利用したフィルタであることを特徴とする。
また、通路検出方法に係る第１１の解決手段として、上記第１０の解決手段において、前記２次元ウェーブレットフィルタは、２次元ガボールフィルタであることを特徴とする。
【発明の効果】
【００３８】
本発明によれば、入力画像から未舗装路上の轍などの通路を検出することが可能となる。従って、本発明によって検出された通路をなぞるように車両の運転制御を行なうことにより、災害救助車両や工事車両等の特殊車両の完全無人化及び自動運転化を図ることができる。また、本発明を地図の自動作成システムに適用することにより、林道、川原などで頻繁に車両が通過することにより自然発生する轍などの通路まで地図上に記載することが可能となる。
【図面の簡単な説明】
【００３９】
【図１】本実施形態に係る通路検出装置１の機能ブロック図である。
【図２】本実施形態における入力画像及びその入力画像データの一例である。
【図３】本実施形態に係る通路検出装置１の動作フローチャートである。
【図４】本実施形態に係る通路検出装置１のフィルタリング機能に関する説明図である。
【図５】本実施形態に係る通路検出装置１の模様方向特定機能に関する説明図である。
【図６】本実施形態に係る通路検出装置１の通路領域検出機能における投票処理に関する第１説明図である。
【図７】本実施形態に係る通路検出装置１の通路領域検出機能における投票処理に関する第２説明図である。
【図８】本実施形態に係る通路検出装置１の通路領域検出機能における投票処理に関する第３説明図である。
【図９】本実施形態に係る通路検出装置１の通路領域検出機能における消失点特定処理に関する説明図である。
【図１０】本実施形態に係る通路検出装置１の通路領域検出機能における有効投票画素抽出処理に関する説明図である。
【図１１】本実施形態に係る通路検出装置１の通路領域検出機能における通路領域特定処理に関する説明図である。
【図１２】本実施形態に係る通路検出装置１の通路領域検出機能の変形例に関する第１説明図である。
【図１３】本実施形態に係る通路検出装置１の通路領域検出機能の変形例に関する第２説明図である。
【図１４】本実施形態に係る通路検出装置１の通路領域検出機能の変形例に関する第３説明図である。
【発明を実施するための形態】
【００４０】
以下、図面を参照して、本発明の一実施形態について説明する。
図１は、本実施形態に係る通路検出装置１の機能ブロック図である。本実施形態に係る通路検出装置１は、例えばＰＣ（Personal Computer）であり、Ａ／Ｄコンバータ１０、記憶装置２０、画像処理装置３０及びＲＡＭ(Random Access Memory)４０から構成されている。このような通路検出装置１は、例えば災害救助車両や工事車両等の特殊車両に搭載されており、車両の進行方向を撮影する車載カメラ（図示省略）から入力される画像信号（入力画像）を基に轍などの未舗装路上の通路を検出し、その通路検出結果を車両の運転状態を統合制御する運転制御装置（図示省略）に出力するものである。
【００４１】
Ａ／Ｄコンバータ１０は、不図示の車載カメラから入力される画像信号をデジタルデータに変換し、入力画像を示す入力画像データとして画像処理装置３０に出力する。なお、本実施形態では、車載カメラとして視野が約６０°のモノクロ撮影カメラを使用し、その解像度をＶＧＡ（横６４０×縦４８０画素）と想定する。つまり、上記の入力画像データは、入力画像を構成する横６４０×縦４８０個の各画素の輝度を示す輝度データの集合である。なお、車載カメラからデジタルデータ化された画像信号が出力される場合には、Ａ／Ｄコンバータ１０を省略しても良い。
【００４２】
記憶装置２０は、例えばＨＤＤ(Hard Disk Drive)であり、通路検出プログラムＰＧと、方向パラメータの異なる複数（ｎ個）の２次元ガボールフィルタ（以下、ガボールフィルタと略す）ＧＦ１〜ＧＦｎとを予め記憶しており、画像処理装置３０からの読み出し要求に応じて上記通路検出プログラムＰＧやガボールフィルタＧＦ１〜ＧＦｎを画像処理装置３０に出力する。
【００４３】
ここで、通路検出プログラムＰＧとは、画像処理装置３０によって読み出されて実行され、入力画像データを基に未舗装路上の通路を検出するための機能（フィルタリング機能、模様方向特定機能、強エッジ領域抽出機能、通路領域検出機能）を通路検出装置１に実現させるためのプログラムである。
【００４４】
また、ガボールフィルタとは、２次元ガウス関数と２次元平面上を一方向に伝播する正弦波関数とを乗じて得られる２次元ガボール関数を利用した空間周波数フィルタであり、２次元ウェーブレットフィルタの一形態である。横方向をＸ軸、縦方向をＹ軸とする２次元座標系を想定すると、２次元ガボール関数ＧＢ（ｘ、ｙ）は下記（１）式で表される。なお、下記（１）式において、ｕ０は波の角周波数、σはガウス関数の標準偏差（ガウス窓の幅）を示すパラメータである。また、２次元ガボール関数ＧＢ（ｘ、ｙ）は、波の方向を示すパラメータ（方向パラメータ）として角周波数ｕ０の偏角φを有している。
【００４５】
【数１】
【００４６】
上記のような２次元ガボール関数ＧＢ（ｘ、ｙ）を利用したガボールフィルタを用いて、入力画像データをフィルタリングすることにより、入力画像の周波数特性やテクスチャ（模様）方向特性を抽出することができる。具体的には、入力画像において、方向パラメータ（偏角φ）と平行なテクスチャ方向を有すると共に、周波数パラメータ（角周波数ｕ０）に近い周波数特性を有する領域が感度良く抽出される。
【００４７】
本実施形態では、上述したように、方向パラメータ（角周波数ｕ０の偏角φ）の異なるｎ個のガボールフィルタＧＦ１〜ＧＦｎを予め用意して記憶装置２０に記憶しておく。ここで、偏角φが等角度間隔で異なるようにガボールフィルタＧＦ１〜ＧＦｎを用意する。例えば、ｎ＝７２とすると、偏角φはπ／７２（rad）＝２．５°ずつ異なることになる。つまり、ガボールフィルタＧＦ１の方向パラメータφ１を０（rad）と設定し、ガボールフィルタＧＦ２の方向パラメータφ２をπ／７２（rad）＝２．５°と設定し、ガボールフィルタＧＦ３の方向パラメータφ３を２π／７２（rad）＝５°と設定し、以下同様に、ガボールフィルタＧＦｎの方向パラメータφｎを７１π／７２（rad）＝１７７．５°と設定する。
なお、ｎの値は入力画像の解像度や画像処理装置３０の処理能力に応じて適宜変更すれば良いが、例えばデジタル処理を考慮して８の倍数である３２〜９６の範囲で設定することが望ましい。
【００４８】
一方、各ガボールフィルタＧＦ１〜ＧＦｎの周波数パラメータ（角周波数ｕ０）と減衰パラメータ（標準偏差σ）は、各フィルタ共通の所定値に設定する。ここで、周波数パラメータは、検出対象の通路の幅に応じて設定する。例えば、波の波長（周期）が視野上で１．５度〜４度となるように角周波数ｕ０を計算して設定する。通路の撮影エリアが奥行き方向に１０ｍから２０ｍの領域である場合、角周波数ｕ０が３度の視野に相当するように設定すると、撮影対象上での波の山から谷間での距離は２５ｃｍ〜５０ｃｍとなり、車輪よりやや大きいサイズとなり、複数回車輪が通過した結果にできる車輪跡に近いサイズとなる。つまり、このように周波数パラメータを設定することにより、車輪跡のような轍が通路として感度良く抽出されやすくなる。また、減衰パラメータであるσは１〜０．５波長程度で設定すれば良い。
【００４９】
画像処理装置３０は、例えばＣＰＵ（Central Processing Unit）であり、記憶装置２０から読み出した通路検出プログラムＰＧに従って、入力画像データを基に所定の画像処理を行うことにより、未舗装路上の通路（例えば轍など）を検出するものである。また、この画像処理装置３０は、上記通路検出プログラムＰＧを実行することで実現される機能として、フィルタリング部３０ａ、模様方向特定部３０ｂ、強エッジ領域抽出部３０ｃ及び通路領域検出部３０ｄを有している。
【００５０】
フィルタリング部３０ａは、記憶装置２０からガボールフィルタＧＦ１〜ＧＦｎを読み出し、各ガボールフィルタＧＦ１〜ＧＦｎを用いて入力画像における通路検出対象領域をフィルタリングすることにより、通路検出対象領域についての各方向毎（φ１〜φｎ）の強度分布データを生成する。模様方向特定部３０ｂは、フィルタリング部３０ａによって生成された強度分布データを基に通路検出対象領域における各画素のテクスチャ（模様）方向を特定する。
【００５１】
強エッジ領域抽出部３０ｃは、通路検出対象領域のエッジ検出処理を行うことにより、通路検出対象領域に存在する強エッジ領域を抽出する。通路領域検出部３０ｄは、模様方向特定部３０ｂによる各画素のテクスチャ方向の特定結果と、強エッジ領域抽出部３０ｃによる強エッジ領域抽出結果とを基に所定の統計処理を行うことにより、通路検出対象領域において通路が存在すると推定される通路領域を検出し、その検出結果を通路検出結果として不図示の運転制御装置に出力する。
【００５２】
ＲＡＭ４０は、画像処理装置３０が各種画像処理を実行する上で必要なデータ（強度分布データやテクスチャ方向の特定結果、強エッジ領域抽出結果、統計データ等）や、上記の入力画像データを一時的に記憶するために使用される書換え可能な揮発性メモリである。
【００５３】
次に、上記のように構成された通路検出装置１の走行路検出動作、つまり画像処理装置３０が通路検出プログラムＰＧを実行することで実現されるフィルタリング部３０ａ、模様方向特定部３０ｂ、強エッジ領域抽出部３０ｃ及び通路領域検出部３０ｄの動作について説明する。
【００５４】
なお、車両は川原を走行しており、車載カメラから図２（ａ）に示すような轍が写り込んだ入力画像が得られたものと想定する。また、以下では、図２（ｂ）に示すように、入力画像の水平方向をＸ軸方向、垂直方向をＹ軸方向とし、入力画像の座標（Ｘ、Ｙ）＝（０、０）〜（６３９、４７９）の各画素に対応する輝度データをＢ（０、０）〜Ｂ（６３９、４７９）と表記する。つまり、入力画像データは、これら輝度データＢ（０、０）〜Ｂ（６３９、４７９）の集合である。このような入力画像データは、画像処理装置３０によってＲＡＭ４０に一旦記憶される。
【００５５】
図３は、画像処理装置３０の動作フローチャートである。この図３に示すように、まず、画像処理装置３０におけるフィルタリング部３０ａは、ＲＡＭ４０から入力画像における通路検出対象領域に相当する入力画像データを読み出すと共に、記憶装置２０からガボールフィルタＧＦ１〜ＧＦｎを読み出し、各ガボールフィルタＧＦ１〜ＧＦｎを用いて入力画像データをフィルタリングすることにより、各方向の強度分布データを生成する（ステップＳ１：フィルタリング工程）。
【００５６】
本実施形態では、入力画像の全領域が上記の通路検出対象領域に設定されている場合を例示して説明する。つまり、ＲＡＭ４０から入力画像の全領域に相当する入力画像データが読み出される。なお、入力画像から水平線を抽出可能である場合には、その水平線より下の領域（つまり地面の領域）を通路検出対象領域として設定しても良い。このように、確実に通路が存在すると推定される領域のみを通路検出対象領域とすることにより、以下で説明する画像処理装置３０の処理負荷を軽減でき、処理時間を短縮することができる。
【００５７】
以下、図４を参照して上記ステップＳ１について具体的に説明する。図４（ａ）に示すように、フィルタリング部３０ａは、ガボールフィルタＧＦ１〜ＧＦｎを用いたフィルタリング処理として、入力画像において、ある画素を中心画素とする畳み込み領域に含まれる各画素の輝度データと、ガボールフィルタ、つまり２次元ガボール関数ＧＢ（ｘ、ｙ）との畳み込み演算を行い、その演算結果をガボールフィルタの方向パラメータφに対応する中心画素の強度として取得する。
【００５８】
つまり、フィルタリング部３０ａは、まず、ある画素を中心画素とする畳み込み領域に含まれる各画素の輝度データとガボールフィルタＧＦ１との畳み込み演算を行い、その演算結果をガボールフィルタＧＦ１の方向パラメータφ１に対応する中心画素の強度として取得する。ここで、各ガボールフィルタＧＦ１〜ＧＦｎを、実数部のフィルタと虚数部のフィルタとに分けて作成しておくことにより、実数部のフィルタを用いて得られた強度と、虚数部のフィルタを用いて得られた強度とをそれぞれ２乗して加算し、その加算値の平方根を求めることで最終的な強度を取得することができる。
【００５９】
続いて、フィルタリング部３０ａは、ガボールフィルタＧＦ２に切り替えて同様に畳み込み演算を行い、その演算結果をガボールフィルタＧＦ２の方向パラメータφ２に対応する中心画素の強度として取得する。以下、同様に、フィルタリング部３０ａは、ガボールフィルタを順次切り替えながら畳み込み演算を行うことにより、その演算結果を各ガボールフィルタＧＦ１〜ＧＦｎの方向パラメータφ１〜φｎに対応する中心画素の強度として取得する。
【００６０】
フィルタリング部３０ａは、上記のようなフィルタリング処理を、入力画像の座標（０、０）〜（６３９、４７９）の各画素のそれぞれについて行うことにより、図４（ｂ）に示すような各方向の強度分布データを生成してＲＡＭ４０に記憶する。なお、図４（ｂ）では、座標（０、０）〜（６３９、４７９）の各画素のそれぞれを中心画素として得られた強度データをＩ（０、０）〜Ｉ（６３９、４７９）として表記している。
【００６１】
なお、図４（ａ）からわかるように、入力画像の端部に近い画素を中心画素とする場合、畳み込み領域が入力画像からはみ出てしまうため、この場合には予め設定した輝度データ（例えば白データ等）を入力画像からはみ出ている畳み込み領域の輝度データとして使用すれば良い。また、畳み込み領域の大きさは、検出対象の通路の大きさに応じて適宜変更すれば良いが、例えば幅２５ｃｍ〜５０ｃｍの車輪跡に相当する轍を検出対象とする場合には、その幅に相当する画素数（３２画素）以上の大きさ、例えば５０×５０画素の大きさとすることが望ましい。
【００６２】
次に、上記のようなステップＳ１が終了すると、画像処理装置３０における模様方向特定部３０ｂは、ＲＡＭ４０から各方向の強度分布データを読み出し、それら強度分布データを基に入力画像における各画素のテクスチャ（模様）方向を特定する（ステップＳ２：模様方向特定工程）。具体的には、例えば座標（０、０）の画素に着目した場合、各方向の強度分布データの中から強度データＩ（０、０）が最も大きいものを探索し、その最大の強度データＩ（０、０）を含む強度分布データに対応する方向を、座標（０、０）の画素のテクスチャ方向として特定する。例えば、方向φ３に対応する強度分布データに最大の強度データＩ（０、０）が含まれている場合、方向φ３が座標（０、０）の画素のテクスチャ方向となる。
【００６３】
模様方向特定部３０ｂは、上記のようなテクスチャ方向の特定処理を、座標（０、０）〜（６３９、４７９）の各画素について行うことにより、各画素のテクスチャ方向を特定し、その特定結果をＲＡＭ４０に記憶する。図５（ａ）は各画素のテクスチャ方向の特定結果であり、図５（ｂ）は入力画像とテクスチャ方向の特定結果とを重ねて表示したものである。なお、この図５では、説明の便宜上、テクスチャ方向の特定結果を、テクスチャ方向を指し示すベクトル線で表しているが、実際にはテクスチャ方向の特定結果は、その方向を表す値（例えばテクスチャ方向がφ１であればφ１の値）によって構成されている。
【００６４】
未舗装路上に存在する轍などの通路は、車両が複数回その場所を走行することにより、地面や草むらが踏み起こされたり、踏み固められたりした結果残るものであるため、図２に示すように、その痕跡は入力画像上において不連続且つ不明瞭な帯状やスジ状の疎らな領域として観察される。そこで、上述した入力画像の波の成分を抽出する機能を有するステップＳ１及びステップＳ２を実施することより、通路を形成する模様の間隔は不定でなだらかではあるが、通路の進行方向に平行な波の成分として捕らえることができる。
【００６５】
次に、上記のようなステップＳ２が終了すると、画像処理装置３０における強エッジ領域抽出部３０ｃは、入力画像データを基に所定のエッジ検出処理を行うことにより、入力画像に存在する強エッジ領域を抽出し、その抽出結果をＲＡＭ４０に記憶する（ステップＳ３：強エッジ領域検出工程）。ここで、エッジ検出処理としては公知の技術を採用することができる。例えば、Ｘ軸方向のソベルフィルタとＹ軸方向のソベルフィルタを適用して、それらの強度の２乗和が一定の閾値を超えた画素を探索し、その閾値を超えた画素から一定距離以内の領域を強エッジ領域として抽出する。
【００６６】
次に、上記のようなステップＳ３が終了すると、画像処理装置３０における通路領域検出部３０ｄは、模様方向特定部３０ｂによる各画素のテクスチャ方向の特定結果と、強エッジ領域抽出部３０ｃによる強エッジ領域抽出結果とを基に所定の統計処理を行うことにより、入力画像において通路が存在すると推定される通路領域を検出する（ステップＳ４：通路領域検出工程）。具体的には、通路領域検出部３０ｄは、ステップＳ４における統計処理として、投票処理（ステップＳ４ａ）、消失点特定処理（ステップＳ４ｂ）、有効投票画素抽出処理（ステップＳ４ｃ）及び通路領域特定処理（ステップＳ４ｄ）を行う。以下、それぞれの処理について詳細に説明する。
【００６７】
＜投票処理＞
まず、通路領域検出部３０ｄは、ステップＳ４ａの投票処理として、入力画像における各画素のそれぞれを投票元画素として順次選択し、当該投票元画素を起点としそのテクスチャ方向に平行な直線上に存在する画素に対して投票を行う。具体的には、通路領域検出部３０ｄは、まず、図６に示すように、ＲＡＭ４０のメモリ空間上に、投票回数を集計するための投票集計領域を入力画像と同サイズ（つまり、６４０×４８０画素数分の投票回数を集計可能なサイズ）で確保する。
【００６８】
そして、通路領域検出部３０ｄは、図７（ａ）に示すように、ある画素を投票元画素として選択した場合、模様方向特定部３０ｂによる各画素のテクスチャ方向の特定結果から投票元画素のテクスチャ方向を把握し、投票元画素を起点としそのテクスチャ方向に平行な直線上に存在する画素（投票対象画素）に対して投票を行い、その投票結果を図７（ｂ）に示すようにＲＡＭ４０上の投票集計領域に反映する。つまり、図７（ｂ）からわかるように、投票集計領域において投票対象画素に対応する記憶領域に投票値「１」が加算される。
【００６９】
通路領域検出部３０ｄは、上記のような投票処理を各画素について行い、その投票結果を順次ＲＡＭ４０上の投票集計領域に反映する。ここで、通路領域検出部３０ｄは、上記のような投票処理を行う際、強エッジ領域抽出部３０ｃによって抽出された強エッジ領域の周辺（たとえば２画素以内）に含まれる画素を投票元画素から除外する。この理由については後述する。
【００７０】
なお、上述の投票処理では、投票元画素を起点としそのテクスチャ方向に平行な直線上に存在する投票対象画素に対して投票を行う場合を説明したが、これに限らず、投票元画素を起点としてそのテクスチャ方向に沿うように設定された投票対象領域に含まれる画素（投票対象画素）に対して投票を行うようにしても良い。この投票対象領域は、例えば図８（ａ）に示すように、テクスチャ方向に平行な帯状（長方形状）のものでも良いし、また、図８（ｂ）に示すように、円弧状あるいは三角形状のものでも良い。
【００７１】
ここで、図８（ａ）に示すような帯状の投票対象領域を設定する場合には、上述したテクスチャ方向に平行な直線上に存在する投票対象画素に対して投票を行う場合と同様に、投票対象領域に含まれる投票対象画素のそれぞれに対して平等に投票すれば良い。つまり、ＲＡＭ４０上の投票集計領域において、各投票対象画素に対応する記憶領域に平等に投票値「１」を加算する。
【００７２】
一方、図８（ｂ）に示すような円弧状あるいは三角形状の投票対象領域を設定する場合には、投票元画素と投票対象画素との間の距離に応じて投票値を変更することが望ましい。具体的には、投票元画素から遠い距離に位置する投票対象画素の投票値を小さくする（例えば、投票値＝１／投票元画素からの距離）。つまり、投票元画素に近い位置の投票対象画素の投票値は「１」または「１」に近い値となるが、投票元画素から遠い位置の投票対象画素の投票値は「０．５」等の小数点以下の値となる。さらには、投票対象領域において同じ距離に位置する投票対象画素の総投票値が「１」となるように各投票対象画素の投票値を決定することが望ましい。つまり、例えば同じ距離に位置する投票対象画素が４つ存在すると仮定すると、それら４つの各投票対象画素に対する投票値をそれぞれ「０．２５」とする。
【００７３】
このように円弧状あるいは三角形状の投票対象領域を設定した場合に、投票元画素と投票対象画素との間の距離に応じて投票値を変更する理由は、投票元画素から遠い位置にある投票対象画素は、他の投票対象領域と重なり合う確率が高く、近い位置にある投票対象画素と比べて投票されやすい傾向にあり、後述する消失点を正確に特定することが困難となるためである。また、円弧状あるいは三角形状の投票対象領域を設定した場合、その中心角度（投票元画素を起点とする角度）は、ガボールフィルタＧＦ１〜ＧＦｎの方向パラメータφの変化分（つまりπ／７２（rad）＝２．５°）と同一にすることが望ましい。
【００７４】
＜消失点特定処理＞
続いて、通路領域検出部３０ｄは、ステップＳ４ｂの消失点特定処理として、図９に示すように、投票処理による投票結果（つまり、ＲＡＭ４０上の投票集計領域に集計された投票回数）を基に、投票回数が最も大きい画素を入力画像における消失点として特定する。轍などの通路の波模様は車両などから見ると完全に平行ではないが同じ消失点を共有していると推測される。このため、上記のような投票処理によって消失点と推測される位置（画素）に投票を行い、統計的に通路と平行している波模様が多い検出結果を活用することにより、消失点を特定することができる。
【００７５】
ここで、入力画像において通路以外に、例えば木や電柱、看板などのコントラストの高い物体が写り込んでいた場合、それらの模様は上記の投票回数の集計に大きな影響を及ぼすことになる。そこで、上述したように、投票処理を行う際には、強エッジ領域抽出部３０ｃによって抽出された強エッジ領域に含まれる画素を投票元画素から除外することにより、木や電柱、看板などのコントラストの高い物体の延長線上が消失点として特定されることを防止することができる。
【００７６】
＜有効投票画素抽出処理＞
続いて、通路領域検出部３０ｄは、ステップＳ４ｃの有効投票画素抽出処理として、消失点の投票元画素を有効投票画素として抽出する。つまり、消失点を向いているテクスチャ方向を有する画素が有効投票画素として抽出されることになる。図１０に、有効投票画素の抽出結果を示す。図１０において白領域が有効投票画素の集合領域である。
【００７７】
＜通路領域特定処理＞
続いて、通路領域検出部３０ｄは、ステップＳ４ｄの通路領域特定処理として、図１１に示すように、入力画像において消失点を頂点とする領域（この領域は円弧状でも良いし、三角形状でも良い）を複数の小領域に分割し、各小領域の内、有効投票画素の比率が所定の閾値を超えた小領域を通路が存在すると推定される通路領域として特定する。ここで、有効投票画素の比率は、小領域と有効投票画素との面積比率、つまり、小領域に含まれる有効投票画素数を小領域に含まれる全画素数で除算することで求めることができる。
【００７８】
入力画像において轍などの通路が写り込んでいる領域では、周囲と比べて高い比率で消失点を向いているテクスチャを含んでいると推測される。そこで、上記のような有効投票画素抽出処理及び通路領域特定処理を行うことにより、入力画像において通路が存在する通路領域と他の領域とを判別することができる。
【００７９】
なお、通路領域は轍などの通路に沿って検出されるものであるので、隣接する通路領域は、ある規則性を持って連続的または断続的に連なっているはずである。そこで、入力画像において、ある規則性を持った通路領域の集まりから孤立している通路領域はノイズとして捉え、そのような孤立領域は通路領域から除去することにより、通路の誤検出を防止することができる。
【００８０】
以上説明したように、本実施形態に係る通路検出装置１によれば、入力画像から未舗装路上の轍などの通路を検出することが可能となる。従って、本実施形態に係る通路検出装置１によって検出された通路（通路領域）をなぞるように車両の運転制御を行なうことにより、災害救助車両や工事車両等の特殊車両の完全無人化及び自動運転化を図ることができる。また、本実施形態に係る通路検出装置１を地図の自動作成システムに適用することにより、林道、川原などで頻繁に車両が通過することにより自然発生する轍などの通路まで地図上に記載することが可能となる。
【００８１】
なお、本発明は上記実施形態に限定されず、以下のような変形例が考えられる。
（１）上記実施形態では、図２に示すように、通路が水平線に向かって一直線に延びているような入力画像が得られた場合を例示して説明した。しかしながら、図１２に示すように、入力画像中の通路がカーブしている場合には、入力画像の奥行き毎に消失点が水平方向に変化することになる。このような場合、上記実施形態で説明したように、入力画像の全領域（通路検出対象領域の全領域）を一度に処理すると、正確な消失点を得ることができなくなる。
【００８２】
そこで、このような問題に対処するために、上記実施形態で説明したステップＳ４の処理（投票処理、消失点特定処理、有効投票画素抽出処理及び通路領域特定処理）を、図１２に示すように、通路領域検出対象領域（ここでは入力画像の全領域）を奥行き方向に沿って複数に分割して得られる副検出対象領域ごとに行うようにしても良い。このように、副検出対象領域毎に消失点を求め、その対応する奥行きごとに消失点に適合する有効投票画素を求めることで、それぞれの奥行きに対応した消失点と通路領域の切り出しを行うことができる。
【００８３】
ここで、２次元ウェーブレットフィルタを用いた場合、入力画像上で強い方向性を有する領域が轍などの通路領域として検出されるため、轍の外に生えている草や樹木、人工物の平行な成分を誤って検出してしまう可能性がある。そこで、上記のように、奥行き方向に沿って複数に分割して得られる副検出対象領域ごとに通路領域の特定を行う場合、以下に説明する処理を加えることで検出精度の向上を図ることができる。
【００８４】
実験の結果、轍検出（通路領域検出）の精度は各地点までの奥行き方向の距離に依存し、手前ほど精度が高いことが判明した。また、検出済みの轍（通路領域）と連続した領域はやはり轍（通路領域）である可能性が大きいと考えられる。そこで、入力画像を手前から奥へ数段階に分割し、最も手前側の副検出対象領域に存在する轍（通路領域）を最初に検出して、それを基準に以遠の轍（通路領域）を検出することとする。
【００８５】
図１３に示すように、まず、奥行き方向の最も手前側の副検出対象領域（ここでは第１副検出対象領域Ｗ１とする）について、上記実施形態で説明したステップＳ４の処理（投票処理、消失点特定処理、有効投票画素抽出処理及び通路領域特定処理）を行うことで第１副検出対象領域Ｗ１における通路領域特定結果を得る。なお、図１３では、通路領域の特定結果を第１副検出対象領域Ｗ１の消失点に向かう連続した直線として表している。
【００８６】
続いて、次段の副検出対象領域（ここでは第２副検出対象領域Ｗ２とする）について上記ステップＳ４の処理を行うが、この時の投票処理では、現在着目している副検出対象領域（つまり第２副検出対象領域Ｗ２）において、図１３に示すように、以前着目していた副検出対象領域（つまり第１副検出対象領域Ｗ１）について実施された通路領域特定処理によって特定された通路領域の終端側に、投票の重み付けを大きくした投票重み付け領域Ｗａを設定する。このような投票重み付け領域Ｗａは、通路領域の特定結果を表す各直線上のそれぞれの終端部を中心に設定した所定サイズの矩形領域から構成されている。この矩形領域の１つ当たりのサイズは、縦：０．０８×画素高さ、横：０．０３×画素幅、程度とする。
【００８７】
このように投票重み付け領域Ｗａを設定した第２副検出対象領域Ｗ２について上記ステップＳ４の投票処理を行う場合、投票重み付け領域Ｗａに存在する投票対象画素に対する投票には通常の３倍程度の重み付けを行う。例えば、１段目の第１副検出対象領域Ｗ１の投票処理において投票対象画素に対する投票値を「１」とした場合、第２副検出対象領域Ｗ２の投票重み付け領域Ｗａに存在する投票対象画素に対する投票値は「３」とする。
【００８８】
このような第２副検出対象領域Ｗ２についてステップＳ４の投票処理、消失点特定処理、有効投票画素抽出処理及び通路領域特定処理を行うことにより、前段の第１副検出対象領域Ｗ１について特定された通路領域の終端が、次段の第２副検出対象領域Ｗ２の通路領域の起点となりやすくなる。言い換えれば、前段の第１副検出対象領域Ｗ１の通路領域と次段の第２副検出対象領域Ｗ２の通路領域とが連続した通路領域として検出されやすくなり、入力画像中に轍などと平行に生えた草や樹木、人工物等が存在する場合であっても、精度良く轍などの通路領域を検出することができる。
【００８９】
上記のように第２副検出対象領域Ｗ２について通路領域の特定結果を得た後は、次段（３段目）の副検出対象領域について第２副対象領域Ｗ２と同様の処理を行う。なお、３段目の副検出対象領域では、投票重み付け領域を構成する矩形領域の１つ当たりのサイズを、２段目の第２副検出対象領域Ｗ２の半分、つまり、縦：０．０４×画素高さ、横：０．０１５×画素幅、程度とする。
【００９０】
また、３段目の副検出対象領域について上記ステップＳ４の投票処理を行う場合、投票重み付け領域に存在する投票対象画素に対する投票には通常の５倍程度の重み付けを行う。例えば、１段目の第１副検出対象領域Ｗ１の投票処理において投票対象画素に対する投票値を「１」とした場合、３段目の副検出対象領域の投票重み付け領域に存在する投票対象画素に対する投票値は「５」とする。このように奥行き方向に沿った位置に応じて投票重み付け領域の大きさ及び投票の重み付け量を変化させることにより、より精度良く通路領域の連続性を確保することができる。
【００９１】
以降、同様な処理を奥行き方向の最も遠い副検出対象領域まで行うことにより、各段の副検出対象領域で特定された通路領域が連続した通路領域として精度良く検出され、轍などの車両の走行痕を正確に検出することが可能となる。なお、４段目以降の副検出対象領域では、投票重み付け領域を構成する矩形領域の１つ当たりのサイズ及び投票の重み付け量を３段目の副検出対象領域と同一にすることが好ましい。
【００９２】
図１４（ａ）は、投票重み付け領域を使用しない場合における通路領域の特定結果を示すものである。この図１４（ａ）に示すように、投票重み付け領域を使用しない場合、本来、通行領域とすべき領域とは異なる領域を通行領域として特定してしまっていることがわかる。また、図１４（ｂ）は、投票重み付け領域を使用した場合における通路領域の特定結果を示すものである。この図１４（ｂ）に示すように、投票重み付け領域を使用した場合、本来、通行領域とすべき領域を正しく通行領域として特定していることがわかる。
【００９３】
なお、例えば、現在着目している副検出対象領域（例えば第２副検出対象領域Ｗ２）について通路領域特定処理が終了した後に、以前着目していた副検出対象領域（第１副検出対象領域Ｗ１）において、第２副検出対象領域Ｗ２について実施された通路領域特定処理によって特定された通路領域の始端側に、投票の重み付けを大きくした投票重み付け領域を設定し、当該第１副検出対象領域Ｗ１についてステップＳ４の投票処理、消失点特定処理、有効投票画素抽出処理及び通路領域特定処理を再実施することで、当該第１副検出対象領域Ｗ１についての通路領域特定結果を修正することも可能である。
【００９４】
（２）上記実施形態では、各ガボールフィルタＧＦ１〜ＧＦｎの周波数パラメータ（角周波数ｕ０）を固定値とする場合を例示した。これは、通路の撮影エリアが奥行き方向に１０ｍから２０ｍの領域である場合、角周波数ｕ０が視野中の３度に相当するように設定すると、撮影対象上での波の山から谷間での距離は２５ｃｍ〜５０ｃｍとなり、車輪よりやや大きいサイズとなり、複数回車輪が通過した結果にできる車輪跡に近いサイズとなるためである。しかしながら、図２の入力画像からわかるように、轍などの通路の幅は、奥行き方向の位置によって変化する。そこで、入力画像における奥行き方向の位置に応じて、各ガボールフィルタＧＦ１〜ＧＦｎの周波数パラメータを変更することが望ましい。
【００９５】
具体的には、記憶装置２０に、入力画像における奥行き方向の位置に応じた周波数パラメータを有すると共に方向パラメータの異なるガボールフィルタを予め記憶しておき、フィルタリング部３０ａに、記憶装置２０から通路検出対象領域におけるフィルタリング対象位置（つまり図４中の中心画素の位置）に対応する周波数パラメータを有するガボールフィルタを読み出してフィルタリングする機能を持たせれば良い。
【００９６】
（３）上記実施形態では、空間周波数フィルタとして２次元ガボールフィルタを用いた場合を例示したが、これに限らず、その他の２次元ウェーブレットフィルタや２次元窓付きフーリエ変換を利用したフィルタなどを空間周波数フィルタとして用いても良い。
【符号の説明】
【００９７】
１…通路検出装置、１０…Ａ／Ｄコンバータ、２０…記憶装置、３０…画像処理装置、４０…ＲＡＭ(Random Access Memory)、３０ａ…フィルタリング部、３０ｂ…模様方向特定部、３０ｃ…強エッジ領域抽出部、３０ｄ…通路領域検出部、ＰＧ…通路検出プログラム、ＧＦ１〜ＧＦｎ…ガボールフィルタ
【特許請求の範囲】
【請求項１】
記憶装置から読み出した方向パラメータの異なる複数の空間周波数フィルタを用いて入力画像における通路検出対象領域をフィルタリングすることにより、前記通路検出対象領域についての各方向の強度分布データを生成するフィルタリング機能と、
前記フィルタリング機能によって生成された前記強度分布データを基に前記通路検出対象領域における各画素の模様方向を特定する模様方向特定機能と、
前記模様方向特定機能による前記模様方向の特定結果を基に所定の統計処理を行うことにより、前記通路検出対象領域において通路が存在すると推定される通路領域を検出する通路領域検出機能と、
をコンピュータに実現させることを特徴とする通路検出プログラム。
【請求項２】
記憶装置から読み出した方向パラメータの異なる複数の空間周波数フィルタを用いて入力画像における通路検出対象領域をフィルタリングすることにより、前記通路検出対象領域についての各方向の強度分布データを生成するフィルタリング機能と、
前記フィルタリング機能によって生成された前記強度分布データを基に前記通路検出対象領域における各画素の模様方向を特定する模様方向特定機能と、
前記通路検出対象領域を奥行き方向に沿って複数に分割して得られる副検出対象領域ごとに、前記模様方向特定機能による前記模様方向の特定結果に基づいて所定の統計処理を行うことにより、前記副検出対象領域において通路が存在すると推定される通路領域を検出する通路領域検出機能と、
をコンピュータに実現させることを特徴とする通路検出プログラム。
【請求項３】
前記通路領域検出機能における前記統計処理は、
前記通路検出対象領域における各画素のそれぞれを投票元画素として選択し、前記投票元画素を起点としてその模様方向に平行な直線上に存在する画素、または前記投票元画素を起点としてその模様方向に沿うように設定された投票対象領域に含まれる画素に対して投票を行う投票処理と、
前記投票処理による投票結果を基に投票回数が最も大きい画素を消失点として特定する消失点特定処理と、
前記消失点の投票元画素を有効投票画素として抽出する有効投票画素抽出処理と、
前記通路検出対象領域において前記消失点を頂点とする領域を複数の小領域に分割し、各小領域の内、前記有効投票画素の比率が所定の閾値を超えた小領域を通路が存在すると推定される通路領域として特定する通路領域特定処理と、
を含むことを特徴とする請求項１記載の通路検出プログラム。
【請求項４】
前記通路領域検出機能における前記統計処理は、
前記副検出対象領域における各画素のそれぞれを投票元画素として選択し、前記投票元画素を起点としてその模様方向に平行な直線上に存在する画素、または前記投票元画素を起点としてその模様方向に沿うように設定された投票対象領域に含まれる画素に対して投票を行う投票処理と、
前記投票処理による投票結果を基に投票回数が最も大きい画素を消失点として特定する消失点特定処理と、
前記消失点の投票元画素を有効投票画素として抽出する有効投票画素抽出処理と、
前記副検出対象領域において前記消失点を頂点とする領域を複数の小領域に分割し、各小領域の内、前記有効投票画素の比率が所定の閾値を超えた小領域を通路が存在すると推定される通路領域として特定する通路領域特定処理と、
を含むことを特徴とする請求項２記載の通路検出プログラム。
【請求項５】
前記投票処理では、現在着目している副検出対象領域において、以前着目していた副検出対象領域について実施された前記通路領域特定処理によって特定された通路領域の終端側に、投票の重み付けを大きくした投票重み付け領域を設定することを特徴とする請求項４記載の通路検出プログラム。
【請求項６】
現在着目している副検出対象領域について前記通路領域特定処理が終了した後に、以前着目していた副検出対象領域において、前記現在着目している副検出対象領域について実施された前記通路領域特定処理によって特定された通路領域の始端側に、投票の重み付けを大きくした投票重み付け領域を設定し、当該以前着目していた副検出対象領域について前記投票処理、消失点特定処理、有効投票画素抽出処理及び通路領域特定処理を再実施することで、当該以前着目していた副検出対象領域についての通路領域特定結果を修正することを特徴とする請求項５記載の通路検出プログラム。
【請求項７】
前記奥行き方向に沿った位置に応じて前記投票重み付け領域の大きさ、及び／または前記投票の重み付け量を変化させることを特徴とする請求項５または６に記載の通路検出プログラム。
【請求項８】
前記通路検出対象領域のエッジ検出を行うことにより、前記通路検出対象領域に含まれる強エッジ領域を抽出する強エッジ領域抽出機能をさらに含み、
前記通路領域検出機能における前記投票処理では、前記強エッジ領域抽出機能によって抽出された強エッジ領域の周辺の画素を前記投票元画素から除外することを特徴とする請求項３〜７のいずれか一項に記載の通路検出プログラム。
【請求項９】
前記フィルタリング機能において、前記記憶装置から前記入力画像における奥行き方向の位置に応じた周波数パラメータを有すると共に方向パラメータの異なる複数の空間周波数フィルタを読み出して、前記通路検出対象領域をフィルタリングすることを特徴とする請求項１〜８のいずれか一項に記載の通路検出プログラム。
【請求項１０】
前記空間周波数フィルタは、２次元ウェーブレットフィルタ、または２次元窓付きフーリエ変換を利用したフィルタであることを特徴とする請求項１〜９のいずれか一項に記載の通路検出プログラム。
【請求項１１】
前記２次元ウェーブレットフィルタは、２次元ガボールフィルタであることを特徴とする請求項１０記載の通路検出プログラム。
【請求項１２】
方向パラメータの異なる複数の空間周波数フィルタを予め記憶する記憶装置と、
前記記憶装置から読み出した前記空間周波数フィルタを用いて入力画像における通路検出対象領域をフィルタリングすることにより、前記通路検出対象領域についての各方向の強度分布データを生成するフィルタリング部と、
前記フィルタリング部によって生成された前記強度分布データを基に前記通路検出対象領域における各画素の模様方向を特定する模様方向特定部と、
前記模様方向特定部による前記模様方向の特定結果を基に所定の統計処理を行うことにより、前記通路検出対象領域において通路が存在すると推定される通路領域を検出する通路領域検出部と、
を備えることを特徴とする通路検出装置。
【請求項１３】
方向パラメータの異なる複数の空間周波数フィルタを予め記憶する記憶装置と、
前記記憶装置から読み出した前記空間周波数フィルタを用いて入力画像における通路検出対象領域をフィルタリングすることにより、前記通路検出対象領域についての各方向の強度分布データを生成するフィルタリング部と、
前記フィルタリング部によって生成された前記強度分布データを基に前記通路検出対象領域における各画素の模様方向を特定する模様方向特定部と、
前記通路検出対象領域を奥行き方向に沿って複数に分割して得られる副検出対象領域ごとに、前記模様方向特定部による前記模様方向の特定結果に基づいて所定の統計処理を行うことにより、前記副検出対象領域において通路が存在すると推定される通路領域を検出する通路領域検出部と、
を備えることを特徴とする通路検出装置。
【請求項１４】
前記通路領域検出部は、前記統計処理として、
前記通路検出対象領域における各画素のそれぞれを投票元画素として選択し、前記投票元画素を起点としてその模様方向に平行な直線上に存在する画素、または前記投票元画素を起点としてその模様方向に沿うように設定された投票対象領域に含まれる画素に対して投票を行う投票処理と、
前記投票処理による投票結果を基に投票回数が最も大きい画素を消失点として特定する消失点特定処理と、
前記消失点の投票元画素を有効投票画素として抽出する有効投票画素抽出処理と、
前記通路検出対象領域において前記消失点を頂点とする領域を複数の小領域に分割し、各小領域の内、前記有効投票画素の比率が所定の閾値を超えた小領域を通路が存在すると推定される通路領域として特定する通路領域特定処理と、
を行うことを特徴とする請求項１２記載の通路検出装置。
【請求項１５】
前記通路領域検出部は、前記統計処理として、
前記副検出対象領域における各画素のそれぞれを投票元画素として選択し、前記投票元画素を起点としてその模様方向に平行な直線上に存在する画素、または前記投票元画素を起点としてその模様方向に沿うように設定された投票対象領域に含まれる画素に対して投票を行う投票処理と、
前記投票処理による投票結果を基に投票回数が最も大きい画素を消失点として特定する消失点特定処理と、
前記消失点の投票元画素を有効投票画素として抽出する有効投票画素抽出処理と、
前記副検出対象領域において前記消失点を頂点とする領域を複数の小領域に分割し、各小領域の内、前記有効投票画素の比率が所定の閾値を超えた小領域を通路が存在すると推定される通路領域として特定する通路領域特定処理と、
を行うことを特徴とする請求項１３記載の通路検出装置。
【請求項１６】
前記通路領域検出部は、前記投票処理では、現在着目している副検出対象領域において、以前着目していた副検出対象領域について実施された前記通路領域特定処理によって特定された通路領域の終端側に、投票の重み付けを大きくした投票重み付け領域を設定することを特徴とする請求項１５記載の通路検出装置。
【請求項１７】
前記通路領域検出部は、現在着目している副検出対象領域について前記通路領域特定処理が終了した後に、以前着目していた副検出対象領域において、前記現在着目している副検出対象領域について実施された前記通路領域特定処理によって特定された通路領域の始端側に、投票の重み付けを大きくした投票重み付け領域を設定し、当該以前着目していた副検出対象領域について前記投票処理、消失点特定処理、有効投票画素抽出処理及び通路領域特定処理を再実施することで、当該以前着目していた副検出対象領域についての通路領域特定結果を修正することを特徴とする請求項１６記載の通路検出装置。
【請求項１８】
前記通路領域検出部は、前記奥行き方向に沿った位置に応じて前記投票重み付け領域の大きさ、及び／または前記投票の重み付け量を変化させることを特徴とする請求項１６または１７に記載の通路検出装置。
【請求項１９】
前記通路検出対象領域のエッジ検出を行うことにより、前記通路検出対象領域に含まれる強エッジ領域を抽出する強エッジ領域抽出部をさらに備え、
前記通路領域検出部は、前記投票処理において、前記強エッジ領域抽出部によって抽出された強エッジ領域の周辺の画素を前記投票元画素から除外することを特徴とする請求項１４〜１８のいずれか一項に記載の通路検出装置。
【請求項２０】
前記記憶装置は、入力画像における奥行き方向の位置に応じた周波数パラメータを有すると共に方向パラメータの異なる複数の空間周波数フィルタを予め記憶しており、
前記フィルタリング部は、前記記憶装置から、前記通路検出対象領域におけるフィルタリング対象位置に対応する前記空間周波数フィルタを読み出してフィルタリングすることを特徴とする請求項１２〜１９のいずれか一項に記載の通路検出装置。
【請求項２１】
前記空間周波数フィルタは、２次元ウェーブレットフィルタ、または２次元窓付きフーリエ変換を利用したフィルタであることを特徴とする請求項１２〜２０のいずれか一項に記載の通路検出装置。
【請求項２２】
前記２次元ウェーブレットフィルタは、２次元ガボールフィルタであることを特徴とする請求項２１記載の通路検出装置。
【請求項２３】
方向パラメータの異なる複数の空間周波数フィルタを用いて入力画像における通路検出対象領域をフィルタリングすることにより、前記通路検出対象領域についての各方向の強度分布データを生成するフィルタリング工程と、
前記フィルタリング工程にて生成された前記強度分布データを基に前記通路検出対象領域における各画素の模様方向を特定する模様方向特定工程と、
前記模様方向特定工程による前記模様方向の特定結果を基に所定の統計処理を行うことにより、前記通路検出対象領域において通路が存在すると推定される通路領域を検出する通路領域検出工程と、
を有することを特徴とする通路検出方法。
【請求項２４】
方向パラメータの異なる複数の空間周波数フィルタを用いて入力画像における通路検出対象領域をフィルタリングすることにより、前記通路検出対象領域についての各方向の強度分布データを生成するフィルタリング工程と、
前記フィルタリング工程にて生成された前記強度分布データを基に前記通路検出対象領域における各画素の模様方向を特定する模様方向特定工程と、
前記通路検出対象領域を奥行き方向に沿って複数に分割して得られる副検出対象領域ごとに、前記模様方向特定工程による前記模様方向の特定結果に基づいて所定の統計処理を行うことにより、前記副検出対象領域において通路が存在すると推定される通路領域を検出する通路領域検出工程と、
を有することを特徴とする通路検出方法。
【請求項２５】
前記通路領域検出工程における前記統計処理は、
前記通路検出対象領域における各画素のそれぞれを投票元画素として選択し、前記投票元画素を起点としてその模様方向に平行な直線上に存在する画素、または前記投票元画素を起点としてその模様方向に沿うように設定された投票対象領域に含まれる画素に対して投票を行う投票処理と、
前記投票処理による投票結果を基に投票回数が最も大きい画素を消失点として特定する消失点特定処理と、
前記消失点の投票元画素を有効投票画素として抽出する有効投票画素抽出処理と、
前記通路検出対象領域において前記消失点を頂点とする領域を複数の小領域に分割し、各小領域の内、前記有効投票画素の比率が所定の閾値を超えた小領域を通路が存在すると推定される通路領域として特定する通路領域特定処理と、
を含むことを特徴とする請求項２３記載の通路検出方法。
【請求項２６】
前記通路領域検出工程における前記統計処理は、
前記副検出対象領域における各画素のそれぞれを投票元画素として選択し、前記投票元画素を起点としてその模様方向に平行な直線上に存在する画素、または前記投票元画素を起点としてその模様方向に沿うように設定された投票対象領域に含まれる画素に対して投票を行う投票処理と、
前記投票処理による投票結果を基に投票回数が最も大きい画素を消失点として特定する消失点特定処理と、
前記消失点の投票元画素を有効投票画素として抽出する有効投票画素抽出処理と、
前記副検出対象領域において前記消失点を頂点とする領域を複数の小領域に分割し、各小領域の内、前記有効投票画素の比率が所定の閾値を超えた小領域を通路が存在すると推定される通路領域として特定する通路領域特定処理と、
を含むことを特徴とする請求項２４記載の通路検出方法。
【請求項２７】
前記投票処理では、現在着目している副検出対象領域において、以前着目していた副検出対象領域について実施された前記通路領域特定処理によって特定された通路領域の終端側に、投票の重み付けを大きくした投票重み付け領域を設定することを特徴とする請求項２６記載の通路検出方法。
【請求項２８】
現在着目している副検出対象領域について前記通路領域特定処理が終了した後に、以前着目していた副検出対象領域において、前記現在着目している副検出対象領域について実施された前記通路領域特定処理によって特定された通路領域の始端側に、投票の重み付けを大きくした投票重み付け領域を設定し、当該以前着目していた副検出対象領域について前記投票処理、消失点特定処理、有効投票画素抽出処理及び通路領域特定処理を再実施することで、当該以前着目していた副検出対象領域についての通路領域特定結果を修正することを特徴とする請求項２７記載の通路検出方法。
【請求項２９】
前記奥行き方向に沿った位置に応じて前記投票重み付け領域の大きさ、及び／または前記投票の重み付け量を変化させることを特徴とする請求項２７または２８に記載の通路検出方法。
【請求項３０】
前記通路検出対象領域のエッジ検出を行うことにより、前記通路検出対象領域に含まれる強エッジ領域を抽出する強エッジ領域抽出工程をさらに有し、
前記通路領域検出工程における前記投票処理では、前記強エッジ領域抽出工程にて抽出された強エッジ領域の周辺の画素を前記投票元画素から除外することを特徴とする請求項２５〜２９のいずれか一項に記載の通路検出方法。
【請求項３１】
前記フィルタリング工程では、前記入力画像における奥行き方向の位置に応じた周波数パラメータを有すると共に方向パラメータの異なる複数の空間周波数フィルタを用いて前記通路検出対象領域をフィルタリングすることを特徴とする請求項２３〜３０のいずれか一項に記載の通路検出方法。
【請求項３２】
前記空間周波数フィルタは、２次元ウェーブレットフィルタ、または２次元窓付きフーリエ変換を利用したフィルタであることを特徴とする請求項２３〜３１のいずれか一項に記載の通路検出方法。
【請求項３３】
前記２次元ウェーブレットフィルタは、２次元ガボールフィルタであることを特徴とする請求項３２記載の通路検出方法。
【請求項１】
記憶装置から読み出した方向パラメータの異なる複数の空間周波数フィルタを用いて入力画像における通路検出対象領域をフィルタリングすることにより、前記通路検出対象領域についての各方向の強度分布データを生成するフィルタリング機能と、
前記フィルタリング機能によって生成された前記強度分布データを基に前記通路検出対象領域における各画素の模様方向を特定する模様方向特定機能と、
前記模様方向特定機能による前記模様方向の特定結果を基に所定の統計処理を行うことにより、前記通路検出対象領域において通路が存在すると推定される通路領域を検出する通路領域検出機能と、
をコンピュータに実現させることを特徴とする通路検出プログラム。
【請求項２】
記憶装置から読み出した方向パラメータの異なる複数の空間周波数フィルタを用いて入力画像における通路検出対象領域をフィルタリングすることにより、前記通路検出対象領域についての各方向の強度分布データを生成するフィルタリング機能と、
前記フィルタリング機能によって生成された前記強度分布データを基に前記通路検出対象領域における各画素の模様方向を特定する模様方向特定機能と、
前記通路検出対象領域を奥行き方向に沿って複数に分割して得られる副検出対象領域ごとに、前記模様方向特定機能による前記模様方向の特定結果に基づいて所定の統計処理を行うことにより、前記副検出対象領域において通路が存在すると推定される通路領域を検出する通路領域検出機能と、
をコンピュータに実現させることを特徴とする通路検出プログラム。
【請求項３】
前記通路領域検出機能における前記統計処理は、
前記通路検出対象領域における各画素のそれぞれを投票元画素として選択し、前記投票元画素を起点としてその模様方向に平行な直線上に存在する画素、または前記投票元画素を起点としてその模様方向に沿うように設定された投票対象領域に含まれる画素に対して投票を行う投票処理と、
前記投票処理による投票結果を基に投票回数が最も大きい画素を消失点として特定する消失点特定処理と、
前記消失点の投票元画素を有効投票画素として抽出する有効投票画素抽出処理と、
前記通路検出対象領域において前記消失点を頂点とする領域を複数の小領域に分割し、各小領域の内、前記有効投票画素の比率が所定の閾値を超えた小領域を通路が存在すると推定される通路領域として特定する通路領域特定処理と、
を含むことを特徴とする請求項１記載の通路検出プログラム。
【請求項４】
前記通路領域検出機能における前記統計処理は、
前記副検出対象領域における各画素のそれぞれを投票元画素として選択し、前記投票元画素を起点としてその模様方向に平行な直線上に存在する画素、または前記投票元画素を起点としてその模様方向に沿うように設定された投票対象領域に含まれる画素に対して投票を行う投票処理と、
前記投票処理による投票結果を基に投票回数が最も大きい画素を消失点として特定する消失点特定処理と、
前記消失点の投票元画素を有効投票画素として抽出する有効投票画素抽出処理と、
前記副検出対象領域において前記消失点を頂点とする領域を複数の小領域に分割し、各小領域の内、前記有効投票画素の比率が所定の閾値を超えた小領域を通路が存在すると推定される通路領域として特定する通路領域特定処理と、
を含むことを特徴とする請求項２記載の通路検出プログラム。
【請求項５】
前記投票処理では、現在着目している副検出対象領域において、以前着目していた副検出対象領域について実施された前記通路領域特定処理によって特定された通路領域の終端側に、投票の重み付けを大きくした投票重み付け領域を設定することを特徴とする請求項４記載の通路検出プログラム。
【請求項６】
現在着目している副検出対象領域について前記通路領域特定処理が終了した後に、以前着目していた副検出対象領域において、前記現在着目している副検出対象領域について実施された前記通路領域特定処理によって特定された通路領域の始端側に、投票の重み付けを大きくした投票重み付け領域を設定し、当該以前着目していた副検出対象領域について前記投票処理、消失点特定処理、有効投票画素抽出処理及び通路領域特定処理を再実施することで、当該以前着目していた副検出対象領域についての通路領域特定結果を修正することを特徴とする請求項５記載の通路検出プログラム。
【請求項７】
前記奥行き方向に沿った位置に応じて前記投票重み付け領域の大きさ、及び／または前記投票の重み付け量を変化させることを特徴とする請求項５または６に記載の通路検出プログラム。
【請求項８】
前記通路検出対象領域のエッジ検出を行うことにより、前記通路検出対象領域に含まれる強エッジ領域を抽出する強エッジ領域抽出機能をさらに含み、
前記通路領域検出機能における前記投票処理では、前記強エッジ領域抽出機能によって抽出された強エッジ領域の周辺の画素を前記投票元画素から除外することを特徴とする請求項３〜７のいずれか一項に記載の通路検出プログラム。
【請求項９】
前記フィルタリング機能において、前記記憶装置から前記入力画像における奥行き方向の位置に応じた周波数パラメータを有すると共に方向パラメータの異なる複数の空間周波数フィルタを読み出して、前記通路検出対象領域をフィルタリングすることを特徴とする請求項１〜８のいずれか一項に記載の通路検出プログラム。
【請求項１０】
前記空間周波数フィルタは、２次元ウェーブレットフィルタ、または２次元窓付きフーリエ変換を利用したフィルタであることを特徴とする請求項１〜９のいずれか一項に記載の通路検出プログラム。
【請求項１１】
前記２次元ウェーブレットフィルタは、２次元ガボールフィルタであることを特徴とする請求項１０記載の通路検出プログラム。
【請求項１２】
方向パラメータの異なる複数の空間周波数フィルタを予め記憶する記憶装置と、
前記記憶装置から読み出した前記空間周波数フィルタを用いて入力画像における通路検出対象領域をフィルタリングすることにより、前記通路検出対象領域についての各方向の強度分布データを生成するフィルタリング部と、
前記フィルタリング部によって生成された前記強度分布データを基に前記通路検出対象領域における各画素の模様方向を特定する模様方向特定部と、
前記模様方向特定部による前記模様方向の特定結果を基に所定の統計処理を行うことにより、前記通路検出対象領域において通路が存在すると推定される通路領域を検出する通路領域検出部と、
を備えることを特徴とする通路検出装置。
【請求項１３】
方向パラメータの異なる複数の空間周波数フィルタを予め記憶する記憶装置と、
前記記憶装置から読み出した前記空間周波数フィルタを用いて入力画像における通路検出対象領域をフィルタリングすることにより、前記通路検出対象領域についての各方向の強度分布データを生成するフィルタリング部と、
前記フィルタリング部によって生成された前記強度分布データを基に前記通路検出対象領域における各画素の模様方向を特定する模様方向特定部と、
前記通路検出対象領域を奥行き方向に沿って複数に分割して得られる副検出対象領域ごとに、前記模様方向特定部による前記模様方向の特定結果に基づいて所定の統計処理を行うことにより、前記副検出対象領域において通路が存在すると推定される通路領域を検出する通路領域検出部と、
を備えることを特徴とする通路検出装置。
【請求項１４】
前記通路領域検出部は、前記統計処理として、
前記通路検出対象領域における各画素のそれぞれを投票元画素として選択し、前記投票元画素を起点としてその模様方向に平行な直線上に存在する画素、または前記投票元画素を起点としてその模様方向に沿うように設定された投票対象領域に含まれる画素に対して投票を行う投票処理と、
前記投票処理による投票結果を基に投票回数が最も大きい画素を消失点として特定する消失点特定処理と、
前記消失点の投票元画素を有効投票画素として抽出する有効投票画素抽出処理と、
前記通路検出対象領域において前記消失点を頂点とする領域を複数の小領域に分割し、各小領域の内、前記有効投票画素の比率が所定の閾値を超えた小領域を通路が存在すると推定される通路領域として特定する通路領域特定処理と、
を行うことを特徴とする請求項１２記載の通路検出装置。
【請求項１５】
前記通路領域検出部は、前記統計処理として、
前記副検出対象領域における各画素のそれぞれを投票元画素として選択し、前記投票元画素を起点としてその模様方向に平行な直線上に存在する画素、または前記投票元画素を起点としてその模様方向に沿うように設定された投票対象領域に含まれる画素に対して投票を行う投票処理と、
前記投票処理による投票結果を基に投票回数が最も大きい画素を消失点として特定する消失点特定処理と、
前記消失点の投票元画素を有効投票画素として抽出する有効投票画素抽出処理と、
前記副検出対象領域において前記消失点を頂点とする領域を複数の小領域に分割し、各小領域の内、前記有効投票画素の比率が所定の閾値を超えた小領域を通路が存在すると推定される通路領域として特定する通路領域特定処理と、
を行うことを特徴とする請求項１３記載の通路検出装置。
【請求項１６】
前記通路領域検出部は、前記投票処理では、現在着目している副検出対象領域において、以前着目していた副検出対象領域について実施された前記通路領域特定処理によって特定された通路領域の終端側に、投票の重み付けを大きくした投票重み付け領域を設定することを特徴とする請求項１５記載の通路検出装置。
【請求項１７】
前記通路領域検出部は、現在着目している副検出対象領域について前記通路領域特定処理が終了した後に、以前着目していた副検出対象領域において、前記現在着目している副検出対象領域について実施された前記通路領域特定処理によって特定された通路領域の始端側に、投票の重み付けを大きくした投票重み付け領域を設定し、当該以前着目していた副検出対象領域について前記投票処理、消失点特定処理、有効投票画素抽出処理及び通路領域特定処理を再実施することで、当該以前着目していた副検出対象領域についての通路領域特定結果を修正することを特徴とする請求項１６記載の通路検出装置。
【請求項１８】
前記通路領域検出部は、前記奥行き方向に沿った位置に応じて前記投票重み付け領域の大きさ、及び／または前記投票の重み付け量を変化させることを特徴とする請求項１６または１７に記載の通路検出装置。
【請求項１９】
前記通路検出対象領域のエッジ検出を行うことにより、前記通路検出対象領域に含まれる強エッジ領域を抽出する強エッジ領域抽出部をさらに備え、
前記通路領域検出部は、前記投票処理において、前記強エッジ領域抽出部によって抽出された強エッジ領域の周辺の画素を前記投票元画素から除外することを特徴とする請求項１４〜１８のいずれか一項に記載の通路検出装置。
【請求項２０】
前記記憶装置は、入力画像における奥行き方向の位置に応じた周波数パラメータを有すると共に方向パラメータの異なる複数の空間周波数フィルタを予め記憶しており、
前記フィルタリング部は、前記記憶装置から、前記通路検出対象領域におけるフィルタリング対象位置に対応する前記空間周波数フィルタを読み出してフィルタリングすることを特徴とする請求項１２〜１９のいずれか一項に記載の通路検出装置。
【請求項２１】
前記空間周波数フィルタは、２次元ウェーブレットフィルタ、または２次元窓付きフーリエ変換を利用したフィルタであることを特徴とする請求項１２〜２０のいずれか一項に記載の通路検出装置。
【請求項２２】
前記２次元ウェーブレットフィルタは、２次元ガボールフィルタであることを特徴とする請求項２１記載の通路検出装置。
【請求項２３】
方向パラメータの異なる複数の空間周波数フィルタを用いて入力画像における通路検出対象領域をフィルタリングすることにより、前記通路検出対象領域についての各方向の強度分布データを生成するフィルタリング工程と、
前記フィルタリング工程にて生成された前記強度分布データを基に前記通路検出対象領域における各画素の模様方向を特定する模様方向特定工程と、
前記模様方向特定工程による前記模様方向の特定結果を基に所定の統計処理を行うことにより、前記通路検出対象領域において通路が存在すると推定される通路領域を検出する通路領域検出工程と、
を有することを特徴とする通路検出方法。
【請求項２４】
方向パラメータの異なる複数の空間周波数フィルタを用いて入力画像における通路検出対象領域をフィルタリングすることにより、前記通路検出対象領域についての各方向の強度分布データを生成するフィルタリング工程と、
前記フィルタリング工程にて生成された前記強度分布データを基に前記通路検出対象領域における各画素の模様方向を特定する模様方向特定工程と、
前記通路検出対象領域を奥行き方向に沿って複数に分割して得られる副検出対象領域ごとに、前記模様方向特定工程による前記模様方向の特定結果に基づいて所定の統計処理を行うことにより、前記副検出対象領域において通路が存在すると推定される通路領域を検出する通路領域検出工程と、
を有することを特徴とする通路検出方法。
【請求項２５】
前記通路領域検出工程における前記統計処理は、
前記通路検出対象領域における各画素のそれぞれを投票元画素として選択し、前記投票元画素を起点としてその模様方向に平行な直線上に存在する画素、または前記投票元画素を起点としてその模様方向に沿うように設定された投票対象領域に含まれる画素に対して投票を行う投票処理と、
前記投票処理による投票結果を基に投票回数が最も大きい画素を消失点として特定する消失点特定処理と、
前記消失点の投票元画素を有効投票画素として抽出する有効投票画素抽出処理と、
前記通路検出対象領域において前記消失点を頂点とする領域を複数の小領域に分割し、各小領域の内、前記有効投票画素の比率が所定の閾値を超えた小領域を通路が存在すると推定される通路領域として特定する通路領域特定処理と、
を含むことを特徴とする請求項２３記載の通路検出方法。
【請求項２６】
前記通路領域検出工程における前記統計処理は、
前記副検出対象領域における各画素のそれぞれを投票元画素として選択し、前記投票元画素を起点としてその模様方向に平行な直線上に存在する画素、または前記投票元画素を起点としてその模様方向に沿うように設定された投票対象領域に含まれる画素に対して投票を行う投票処理と、
前記投票処理による投票結果を基に投票回数が最も大きい画素を消失点として特定する消失点特定処理と、
前記消失点の投票元画素を有効投票画素として抽出する有効投票画素抽出処理と、
前記副検出対象領域において前記消失点を頂点とする領域を複数の小領域に分割し、各小領域の内、前記有効投票画素の比率が所定の閾値を超えた小領域を通路が存在すると推定される通路領域として特定する通路領域特定処理と、
を含むことを特徴とする請求項２４記載の通路検出方法。
【請求項２７】
前記投票処理では、現在着目している副検出対象領域において、以前着目していた副検出対象領域について実施された前記通路領域特定処理によって特定された通路領域の終端側に、投票の重み付けを大きくした投票重み付け領域を設定することを特徴とする請求項２６記載の通路検出方法。
【請求項２８】
現在着目している副検出対象領域について前記通路領域特定処理が終了した後に、以前着目していた副検出対象領域において、前記現在着目している副検出対象領域について実施された前記通路領域特定処理によって特定された通路領域の始端側に、投票の重み付けを大きくした投票重み付け領域を設定し、当該以前着目していた副検出対象領域について前記投票処理、消失点特定処理、有効投票画素抽出処理及び通路領域特定処理を再実施することで、当該以前着目していた副検出対象領域についての通路領域特定結果を修正することを特徴とする請求項２７記載の通路検出方法。
【請求項２９】
前記奥行き方向に沿った位置に応じて前記投票重み付け領域の大きさ、及び／または前記投票の重み付け量を変化させることを特徴とする請求項２７または２８に記載の通路検出方法。
【請求項３０】
前記通路検出対象領域のエッジ検出を行うことにより、前記通路検出対象領域に含まれる強エッジ領域を抽出する強エッジ領域抽出工程をさらに有し、
前記通路領域検出工程における前記投票処理では、前記強エッジ領域抽出工程にて抽出された強エッジ領域の周辺の画素を前記投票元画素から除外することを特徴とする請求項２５〜２９のいずれか一項に記載の通路検出方法。
【請求項３１】
前記フィルタリング工程では、前記入力画像における奥行き方向の位置に応じた周波数パラメータを有すると共に方向パラメータの異なる複数の空間周波数フィルタを用いて前記通路検出対象領域をフィルタリングすることを特徴とする請求項２３〜３０のいずれか一項に記載の通路検出方法。
【請求項３２】
前記空間周波数フィルタは、２次元ウェーブレットフィルタ、または２次元窓付きフーリエ変換を利用したフィルタであることを特徴とする請求項２３〜３１のいずれか一項に記載の通路検出方法。
【請求項３３】
前記２次元ウェーブレットフィルタは、２次元ガボールフィルタであることを特徴とする請求項３２記載の通路検出方法。
【図１】
【図３】
【図４】
【図６】
【図７】
【図１２】
【図２】
【図５】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１４】
【図３】
【図４】
【図６】
【図７】
【図１２】
【図２】
【図５】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１４】
【公開番号】特開２０１０−２２５１２５（Ｐ２０１０−２２５１２５Ａ）
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願番号】特願２００９−７４７９５（Ｐ２００９−７４７９５）
【出願日】平成２１年３月２５日（２００９．３．２５）
【出願人】（０００００００９９）株式会社ＩＨＩ (5,014)
【Ｆターム（参考）】
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願日】平成２１年３月２５日（２００９．３．２５）
【出願人】（０００００００９９）株式会社ＩＨＩ (5,014)
【Ｆターム（参考）】
[ Back to top ]