交通標識を分類するための方法およびデバイス
【課題】直線に延びる１つまたは複数のストライプを有する交通標識を分類するための改善された方法およびデバイスを提供すること。
【解決手段】交通標識を分類する方法は、交通標識上で直線に延びる少なくとも１つのグラフィカル特徴、特に、１つまたは複数の線またはストライプを交通標識が有するかどうかを確立することを含み、電子デバイスによって実行される後続のステップを包含し、電子デバイスは、交通標識の少なくとも一部分を表す画像データの一部分を識別し、画像データの部分の二次元スペクトル表現の係数を計算し、フーリエ空間における１つの線に沿って配置されているフーリエ空間座標に対して、二次元スペクトル表現の係数を決定し、線は、フーリエ空間において選択される方向を有し、電子デバイスは、決定された係数に基づいて、交通標識上で直線に延びている少なくとも１つのグラフィカル特徴を交通標識が有するかどうかを確立する。
【解決手段】交通標識を分類する方法は、交通標識上で直線に延びる少なくとも１つのグラフィカル特徴、特に、１つまたは複数の線またはストライプを交通標識が有するかどうかを確立することを含み、電子デバイスによって実行される後続のステップを包含し、電子デバイスは、交通標識の少なくとも一部分を表す画像データの一部分を識別し、画像データの部分の二次元スペクトル表現の係数を計算し、フーリエ空間における１つの線に沿って配置されているフーリエ空間座標に対して、二次元スペクトル表現の係数を決定し、線は、フーリエ空間において選択される方向を有し、電子デバイスは、決定された係数に基づいて、交通標識上で直線に延びている少なくとも１つのグラフィカル特徴を交通標識が有するかどうかを確立する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、交通標識を分類する方法および交通標識を分類するデバイスに関する。特に、本発明は、交通標識上で直線に延びる１つまたは複数のストライプを交通標識が有するかどうかを確立するように構成される、方法およびデバイスに関する。
【背景技術】
【０００２】
（関連技術）
現代の車両は、様々な異なるセンサが装備される。車両センサは、車両の環境の変数を検出するためのセンサのみならず、車両自体の状態に関連する変数を検出するためのセンサを含む。第２のタイプのセンサは、温度センサ、距離センサ、および、つい最近では、１つまたは数個のカメラをも含む。
【０００３】
車両は、単数または複数のカメラが装備され得、このようなカメラは、異なる位置に搭載され、車両の環境を監視するように構成される。このようなカメラは、車両の環境の特定の区域の画像を捕獲するために特別に設計され得る。単数または複数のカメラから得られるデータは、様々な目的のために用いられる。カメラによって捕獲される画像データが用いられ得る機能の基本的な部類は、運転者支援システムの分野である。運転者支援システムは、大きな範囲の機能を網羅する。例えば、車両の内側または外側においてあり得る緊急事態の場合における警告など、特定の情報を運転者に提供するシステムが存在する。他の運転者支援システムは、複雑または重大な運転状況において、制御機能に介入し、または制御機能を部分的に支配することによって、運転者の快適性をさらに強化する。後者の部類の運転者支援システムの実例は、アンチロックブレーキシステム（ＡＢＳ）、牽引力制御システム（ＰＣＳ）、および電子安定プログラム（ＥＳＰ）である。さらなるシステムは、適応クルーズコントロール、インテリジェント速度調節および予測安全システムを含む。
【０００４】
Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ（ＡＤＡＳ）におけるいくつかの機能は、交通標識の自動認識に基づき得、交通標識の自動認識は、カメラによって捕獲される画像データに含まれる交通標識が自動的に認識されることを可能にする。例示のために、速度制限標識および制限終了標識から利用可能な情報に基づいて、さらなる支持機能が運転者の快適性を強化するために提供され得る。このような支持機能は、速度制限違反が生じる場合に警告を出力すること、検出された速度制限に応答した車両確立への自動調節を実装すること、または他の支援機能を含み得る。交通標識に対する情報は、車両に搭載されて格納されるデジタルマップデータに含まれ得るが、交通標識情報を最新に保つためにマップデータの頻繁な更新が必要である。さらに、交通標識に対するこのような情報は、例えば道路建設工事の場合など、限定された期間に対してのみ確立される交通標識を収容するように適応されていないことがあり得る。それゆえ、交通標識に対する情報を含むデジタルマップデータの提供は、交通標識を分類するための方法およびデバイスに対する必要性を取り除かない。さらには、デジタルマップデータが、録画されたビデオ画像または類似のものに少なくとも部分的に基づいて生成される場合、交通標識の分類は、デジタルマップデータを生成する過程において実行されることが必要であり得る。
【０００５】
交通標識を認識する方法は、例えば、Ａｄａｂｏｏｓｔアルゴリズム、ニューラルネットワークまたはサポートベクターマシン（ＳＶＭ）などに基づく分類方法を用い得る。分類は、交通標識の完全な識別につながり得るが、分類はまた、交通標識が交通標識の１つまたは数個の部類に属するかどうかが確立されるように実装され得る。交通標識の自動認識に頼るＡＤＡＳにおけるいくつかの機能に対して、交通標識を分類するために必要な時間は重大であり得る。さらに、交通標識の自動認識に頼るＡＤＡＳにおけるいくつかの機能に対して、偽陽性の検出、つまり、交通標識が誤って交通標識の所定の部類に属するように分類される分類は、低くあるべきである。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
それゆえ、当該技術分野において、交通標識を分類するための改善された方法およびデバイスに対する要求がある。特に、当該技術分野において、交通標識上で本質的に直線に延びる１つまたは複数のストライプを交通標識が有するかどうかを確実に確立するように構成されている、交通標識を分類するための改善された方法およびデバイスに対する要求がある。さらに、当該技術分野において、交通標識の内部に１つまたは複数のストライプを有する交通標識を分類するように適応されているような方法およびデバイスに対する要求がある。
【課題を解決するための手段】
【０００７】
この要求は、独立請求項において規定されるような方法およびデバイスによって取扱われる。従属請求項は、好ましい実施形態または有利な実施形態を規定する。
【０００８】
本発明の一局面に従って、交通標識を分類する方法が提供され、この方法は、交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を交通標識が有するかどうかを確立することを含む。交通標識上で直線に延びる少なくとも１つのグラフィカル特徴は、例えば、交通標識上で直線に延びる１つまたは複数の線またはストライプであり得る。この方法において、交通標識の少なくとも一部分を表す画像データの一部分が識別される。画像データの部分の二次元スペクトル表現が計算される。二次元スペクトル表現の係数は、フーリエ空間における１つの線に沿って配置されるフーリエ空間座標に対して決定され、この線は、フーリエ空間において選択される方向を有する。決定された係数に基づいて、交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を交通標識が有するかどうかが確立される。
【０００９】
この方法において、交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を交通標識が有するかどうかを確立するために、画像データの部分のスペクトル表現に含まれる情報が利用される。画像データの部分は、第１の画像座標によって、および第２の画像座標によって識別される複数の部分に対して、それぞれ、画像座標のペアに関連付けられるカラー情報または輝度情報に対応し得る値を有する。例示のために、画像データの部分の画像座標の各ペアは、それに関連付けられるグレースケール値を有し得る。画像データの部分は、しかるに、第１の画像座標および第２の画像座標の二次元関数を表すと考えられ得る。二次元スペクトル表現は、画像データの部分に対して計算され得る。スペクトル表現の係数は、画像の特徴属性であり、画像の特徴属性は、画像認識において利用され得、および、効率的アルゴリズムを使用して計算され得る。
【００１０】
本明細書において使用されるように、および画像認識の技術分野における専門用語に従って、画像データの二次元スペクトル表現は、二次元関数として解釈される場合、直交基底関数において、二次元画像データの級数展開の係数を提供する。直交基底関数は、直交基底関数がそれぞれ、明確な空間周波数を有する画像座標の関数として周期的に変化するようなものであり得る。二次元スペクトル表現に対する実例は、二次元フーリエ変換、二次元コサイン変換、および二次元サイン変換を含み、このような変換の離散的変形および連続的変形があること、および、これらの方法変換は、高速フーリエ変換（ＦＦＴ）または他の効率的アルゴリズムなどの様々なアルゴリズムを使用して数値的に計算され得ることが理解される。
【００１１】
さらに、本明細書において使用されるように、および画像認識の技術分野における専門用語に従って、フーリエ空間という用語は、直交基底関数の空間周波数に対応する座標を有する空間を指し、この直交基底関数において、画像データの級数展開が計算される。フーリエ空間という用語は、二次元スペクトル表現が画像データの部分のフーリエ変換でなければならないことを暗示するのではないが、直交基底関数の空間周波数に対応する座標を有する空間を等価的に指し、この直交基底関数において、直交基底関数が例えばコサイン関数またはサイン関数である場合、画像データの級数展開が計算される。しばしば、フーリエ空間はまた、画像認識の分野において、ｋ空間としても参照される。例示のために、フーリエ空間における座標のペアｋ１、ｋ２は、スペクトル分解の基底関数に関連付けられ、この基底関数は、ｋ１によって決定される第１の画像座標軸ｘ１に沿って第１の空間周波数を有し、ｋ２によって決定される第２の画像座標軸ｘ２に沿って第２の空間周波数を有する。限定するよりはむしろ例示のため、フーリエ空間における座標のペアｋ１、ｋ２に関連付けられる基底関数は、ｋ１・ｘ１・π／Ｎ１の関数として変化するコサインと、ｋ２・ｘ２・π／Ｎ２の関数として変化するコサインとの積であり得、ここで、Ｎ１およびＮ２は、それぞれ、ｘ１方向およびｘ２方向に沿う全ての画像の点の数を示す。フーリエ空間における１つの線に沿って評価されるスペクトル表現の係数は、フーリエ空間における１つの線に沿って配置されるｋ１およびｋ２を有する一組のスペクトル表現の係数Ｕ（ｋ１，ｋ２）であり得る。
【００１２】
この方法において、フーリエ空間における線の方向であって、この方向に沿って二次元スペクトル表現の係数が決定される、方向は、少なくとも１つのグラフィカル特徴が（存在する場合に）交通標識上で延びる方向に基づいて選択され得る。ドイツにおける制限終了標識などの様々な交通標識は、特定の方向に直線に延びるグラフィカル特徴を有する（例えば、ドイツにおける制限終了標識上で正の水平方向から４５°の角度で延びる５つのストライプ）。交通標識上のグラフィカル特徴の既知のあり得る方向に基づいて、フーリエ空間における線の方向を選択することにより、検出感度は、所定の方向に沿って直線に延びるグラフィカル特徴を有する交通標識に対して、選択的に強化され得る。
【００１３】
この方法において、フーリエ空間における線の方向を選択することは、例えば下記のように実行され得る。画像空間における第１の方向に対してαの角度を有する方向に延びるグラフィカル特徴を交通標識が有するかどうかを確立することが意図される場合、角度αは既知である。例示のために、角度αは、第１の画像空間座標軸と、画像座標系の象限Ｉおよび象限ＩＶに位置を定めされる直線に延びるグラフィカル特徴の部分とによって囲まれる角度であり得る。それから、フーリエ空間における線の方向は、その方向がフーリエ空間における第１の方向に対してβの角度を囲むように選択され得る。例示のために、角度βは、第１のフーリエ空間座標軸と、フーリエ座標系の象限Ｉおよび象限ＩＶに位置を定めされるフーリエ空間における線の部分とによって囲まれる角度であり得る。フーリエ空間における線の方向は、８５°≦│β−α│≦９５°であるように、特に８８°≦│β−α│≦９２°であるように、特に８９°≦│β−α│≦９１°であるように選択され得る。言い換えれば、フーリエ空間における線の方向は、方向であって、この方向に沿ってグラフィカル特徴が（存在する場合に）画像空間における交通標識上で延びる、方向に対して、±５°の範囲内で直交するように選択され得る。それによって、特定の方向に沿って配置される直線に延びるグラフィカル特徴を有する交通標識を認識する際の感度が強化され得る。
【００１４】
この方法において、二次元スペクトル表現の係数は、フーリエ空間における１つの線に沿って配置されるフーリエ空間座標に対して決定され得、この線は、スペクトル分解の基底関数に関連付けられるフーリエ空間における点を通過し、この基底関数は、例えば定数関数など、画像空間におけるゆっくりとした空間変動を明示する。画像空間からフーリエ空間への変換の特定の実装に依存して、線は、例えば、（ｋ１，ｋ２）＝（０，０）、（ｋ１，ｋ２）＝（０，Ｎ２−１）、（ｋ１，ｋ２）＝（Ｎ１−１，０）、または類似の点を通過するように選択され得る。それによって、フーリエ空間における線に沿う二次元スペクトル表現の決定される係数は、画像データの部分に対してとられる線積分を指し得る。このような線積分は、交通標識上で直線に延びるグラフィカル特徴がある場所において、例えば、顕著なピークまたはディップなど、顕著な特徴を明示し得る。
【００１５】
この方法において、交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を交通標識が有するかどうかを確立することは、フーリエ空間における線からずれているフーリエ空間における点に対応する、二次元スペクトル表現の係数とは関係なく実行され得る。
【００１６】
この方法において、交通標識が少なくとも１つの直線状グラフィカル特徴を有するかどうかを確立することは、フーリエ空間における線に沿って配置される二次元の地理的表現の係数にのみ基づいて実行され得る。
【００１７】
この方法において、二次元スペクトル表現を計算するために、二次元離散コサイン変換、二次元離散サイン変換または二次元離散フーリエ変換が、画像データの部分に対して実行され得る。これらの方法の変換のうちの任意の１つを使用して決定される係数はまた、例えば、サポートベクターマシンにおいてなど、さらなる画像認識ステップにおける特徴属性としても使用され得る。さらに、このような変換は、効率的な態様において計算され得る。それによって、交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を交通標識が有するかどうかを確立するために必要な時間オーバーヘッドが適度に保たれ得る。
【００１８】
この方法において、画像空間における１つの線に沿う位置で評価される、画像データの部分のラドン変換の値は、交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を交通標識が有するかどうかを確立するために、決定された係数に基づいて推定され得る。画像データの部分のラドン変換は、画像データの部分に対する線積分を指し、直線に延びるグラフィカル特徴の存在が識別されることを可能にする。
【００１９】
この方法において、画像空間における関数は、交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を交通標識が有するかどうかを確立するために、二次元スペクトル表現の決定された係数をフーリエ空間から画像空間へ変換することによって計算され得る。フーリエ空間から、実の、つまり画像空間へ戻る変換を実行することによって、直線に延びるグラフィカル特徴の数、および／または、直線に延びるグラフィカル特徴の位置がより容易に識別され得る。
【００２０】
この方法において、画像空間における関数は、二次元スペクトル表現の係数に対して、一次元逆離散コサイン変換、一次元逆離散サイン変換または一次元逆フーリエ変換を実行することによって計算され得、ここで、二次元スペクトル表現の係数は、フーリエ空間における線に沿ってフーリエ空間座標に対して決定されている。それによって、画像データの部分のラドン変換に対する近似が生成され得る。
【００２１】
この方法において、交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を交通標識が有するかどうかを確立するために、閾値比較が画像空間における関数に対して実行され得る。閾値比較を使用して、交通標識上で直線に延びるグラフィカル特徴の有無の堅牢な識別が実装され得る。
【００２２】
この方法は、フーリエ空間における少なくとも別の線に沿って配置されるフーリエ空間座標に対する二次元スペクトル表現の係数を決定することをさらに包含し得る。その後、交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を交通標識が有するかどうかを確立することは、フーリエ空間における線に沿って配置されるフーリエ空間座標に対して決定された係数に基づいて、および、フーリエ空間における少なくとも別の線に沿って配置されるフーリエ空間座標に対して決定された係数に基づいて実行され得る。フーリエ空間における複数の異なる線に沿って配置されるフーリエ空間座標に対して決定されたスペクトル表現の係数に対する情報を利用することによって、交通標識上で様々な方向に沿って直線に延びるグラフィカル特徴を交通標識が有するかどうかが確立され得る。さらに、画像データにおいて直線に延びるグラフィカル特徴の象徴は、フーリエ空間における複数の異なる線に沿ってフーリエ空間座標に対して決定されたスペクトル表現の係数に対する情報を比較することによって識別され得る。なおもさらに、画像化された交通標識におけるずれ角度は（そのような角度は、水平軸に対する角度であって、理論的に予期される方向とは異なる角度を有する少なくとも１つのグラフィカル特徴につながり得る）、フーリエ空間における複数の異なる線に沿って決定されたスペクトル表現の係数に対する情報がいつ利用されるかということに対する説明となり得る。
【００２３】
この方法において、フーリエ空間における線に沿う二次元スペクトル表現の係数に基づいて、交通標識が制限終了標識であるかどうかが確立され得る。多くの国において、制限終了標識は、共通の特徴として、１つまたは数個の直線に延びる特徴を有する標識の部類である。例示のために、ドイツにおいて、制限終了標識は、水平軸に対して４５°の角度で延びる５本の平行線を有する円形の交通標識である。この方法は、それゆえ、交通標識が制限終了標識の部類に属するかどうかを識別するために利用され得る。
【００２４】
この方法は、交通標識のさらなる分類のために、少なくとも１つの画像認識モジュールに対して画像データの部分を提供することをさらに包含し得る。画像データの部分が提供される、この少なくとも１つの画像認識モジュールは、交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を交通標識が有するかどうかの確立の結果に基づいて、複数の画像認識モジュールから選択され得る。それによって、さらなる画像認識は、交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を交通標識が有するかどうかを確立することによって助けられ得る。
【００２５】
この方法において、交通標識のさらなる分類のために、画像データの部分が少なくとも１つの画像認識モジュールに提供される場合、二次元スペクトル表現の１つの係数または複数の係数もまた、各画像認識モジュールに提供され得る。この１つの係数または複数の係数は、各画像認識モジュールによって特徴属性として使用され得る。各画像認識モジュールは、提供された１つの係数または複数の係数に（少なくとも部分的に）基づいて、さらなる画像分類または画像認識を実行するように構成され得、これらの係数は、交通標識上で直線に延びる１つまたは複数の特徴を交通標識が有するかどうかを確立するために前もって利用されている。
【００２６】
本発明の別の局面に従って、コンピュータプログラム製品が提供され、このコンピュータプログラム製品は、その上に命令を格納しており、この命令は、電子デバイスのプロセッサによって実行される場合、電子デバイスに対して、任意の一局面または一実施形態に従う方法を実行するように指令する。コンピュータプログラム製品は、命令が格納される記憶媒体を備え得る。記憶媒体は、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／Ｗ、ＤＶＤ、持続型メモリ、フラッシュメモリ、半導体メモリ、およびハードドライブメモリなどのリムーバブルな記憶媒体を含むグループから選択され得る。
【００２７】
本発明の別の局面に従って、交通標識を分類するデバイスが提供される。デバイスは、画像データを受信するように構成される入力と、画像データを受信するための入力に連結される処理デバイスとを備える。処理デバイスは、交通標識の少なくとも一部分を表す画像データの一部分を識別し、画像データの部分の二次元スペクトル表現を計算し、フーリエ空間における１つの線に沿って配置されるフーリエ空間座標に対して、二次元スペクトル表現の係数を決定し、決定された係数に基づいて、交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を交通標識が有するかどうかを確立するように構成される。
【００２８】
上記の様々な局面および実施形態に従う方法に関して説明されてきたように、この構成を有するデバイスは、交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を交通標識が有するかどうかを確立するように適応される。この確立は、画像データの部分のスペクトル表現に基づき得る。スペクトル表現は、効率的に計算され得る。さらに、さらなる画像認識において、例えば、サポートベクターマシンにおける特徴属性として、スペクトル表現に含まれる情報が利用され得る。
【００２９】
デバイスは、デバイスに画像データを提供するために、入力に連結されるカメラをさらに備え得る。それによって、車両の環境における交通標識が分類され得る。
【００３０】
デバイスは、本明細書において説明される任意の一局面または一実施形態の方法を実行するように構成され得る。特に、処理デバイスは、様々な局面または実施形態に従う方法を参照して説明された様々な変換ステップおよび計算ステップを実行するように構成され得る。
【００３１】
本発明の別の局面に従って、車両のための運転者支援システムが提供され、運転者支援システムは、任意の一局面または一実施形態に従って交通標識を認識するデバイスを備える。それによって、車両に取り付けられた運転者支援システムによる交通標識の分類が助けられ得る。
【００３２】
本発明の様々な局面および実施形態に従う、方法およびデバイスは、交通標識を分類または認識することが望ましくまたは必要である全ての適用分野において利用され得る。車両に取り付けられた運転者支援システム、または、デジタルマップを生成するために利用され得る自動特徴抽出のための方法およびシステムが、可能な適用分野であることが予想される。しかしながら、本発明は、限定よりはむしろ例示のために言及されているこれらの特定用途に限定されない。
【００３３】
以上により、本発明は、以下の手段を提供する。
【００３４】
（項目１）
交通標識（２１；５１；６１；７１）を分類する方法であって、該方法は、該交通標識（２１；５１；６１；７１）上で直線に延びている少なくとも１つのグラフィカル特徴（２２）、特に、該交通標識（２１；５１；６１；７１）上で直線に延びている１つまたは複数の線またはストライプを、該交通標識（２１；５１；６１；７１）が有するかどうかを確立することを含み、
該方法は、電子デバイス（５）が、
該交通標識（２１；５１；６１；７１）の少なくとも一部分を表す画像データの一部分（２６）を識別するステップと、
該画像データの該一部分（２６）の二次元スペクトル表現の係数（３２；７２）を計算するステップと、
フーリエ空間（３１）において１つの線（３３）に沿って配置されているフーリエ空間座標に対して、該二次元スペクトル表現の該係数（３２；７２）を決定するステップであって、該線（３３）は、フーリエ空間（３１）において選択される方向を有する、ステップと、
該決定された係数（３２；７２）に基づいて、該交通標識（２１；５１；６１；７１）上で直線に延びている該少なくとも１つのグラフィカル特徴（２２）を該交通標識（２１；５１；６１；７１）が有するかどうかを確立するステップと
を実行することを包含する、方法。
【００３５】
（項目２）
フーリエ空間（３１）における上記線（３３）の方向は、１つの方向（２３）に基づいて選択され、上記少なくとも１つのグラフィカル特徴（２２）が存在する場合、該少なくとも１つのグラフィカル特徴（２２）が該１つの方向（２３）に沿って上記交通標識（２１；５１；６１；７１）上に延びている、上記項目のいずれかに記載の方法。
【００３６】
（項目３）
上記少なくとも１つのグラフィカル特徴（２２）が存在する場合、該少なくとも１つのグラフィカル特徴（２２）は、上記交通標識（２１；５１；６１；７１）上で、画像空間における第１の方向に対してαの角度（２４）を有する方向に直線に延び、フーリエ空間（３１）における上記線（３３）は、フーリエ空間における第１の方向に対してβの角度（３４）を有し、
フーリエ空間における該第１の方向は、画像空間における該第１の方向に関連付けられているスペクトル成分を表し、
フーリエ空間（３１）における該線（３３）の該方向は、８５°≦│β−α│≦９５°であるように、特に８８°≦│β−α│≦９２°であるように、特に８９°≦│β−α│≦９１°であるように選択される、上記項目のいずれかに記載の方法。
【００３７】
（項目４）
上記二次元スペクトル表現の上記係数（３２；７２）を計算するために、二次元離散コサイン変換、二次元離散サイン変換または二次元離散フーリエ変換が、上記画像データの上記一部分に対して実行される、上記項目のいずれかに記載の方法。
【００３８】
（項目５）
画像空間における１つの線（２５；５２，５３；６２〜６４）に沿う位置で評価された上記画像データの上記一部分のラドン変換の値は、上記交通標識（２１；５１；６１；７１）上で直線に延びている上記少なくとも１つのグラフィカル特徴（２２）を該交通標識（２１；５１；６１；７１）が有するかどうかを確立するために、上記決定された係数（３２；７２）に基づいて推定される、上記項目のいずれかに記載の方法。
【００３９】
（項目６）
画像空間における関数（３７；５４，５５；６５〜６７）は、上記交通標識（２１；５１；６１；７１）上で直線に延びている少なくとも１つのグラフィカル特徴（２２）を該交通標識（２１；５１；６１；７１）が有するかどうかを確立するために、上記決定された係数（３２；７２）をフーリエ空間（３１）から画像空間へ変換することによって計算される、上記項目のいずれかに記載の方法。
【００４０】
（項目７）
画像空間における上記関数（３７；５４，５５；６５〜６７）は、一次元逆離散コサイン変換、一次元逆離散サイン変換または一次元逆フーリエ変換を上記決定された係数（３２；７２）に対して実行することによって計算される、上記項目のいずれかに記載の方法。
【００４１】
（項目８）
上記交通標識（２１；５１；６１；７１）上で直線に延びている少なくとも１つのグラフィカル特徴（２２）を該交通標識（２１；５１；６１；７１）が有するかどうかを確立するために、閾値比較が画像空間における上記関数（３７；５４，５５；６５〜６７）に対して実行される、上記項目のいずれかに記載の方法。
【００４２】
（項目９）
フーリエ空間（３１）における少なくとも別の線（３５，３６）に沿って配置されているフーリエ空間座標に対する上記二次元スペクトル表現の係数を決定することをさらに包含し、
上記交通標識（２１；５１；６１；７１）上で直線に延びている上記少なくとも１つのグラフィカル特徴（２２）を該交通標識（２１；５１；６１；７１）が有するかどうかの確立することは、フーリエ空間（３１）における上記線（３３）に沿って配置されているフーリエ空間座標に対して決定された上記係数（３２；７２）に基づいて、かつ、フーリエ空間（３１）における該少なくとも別の線（３５，３６）に沿って配置されているフーリエ空間座標に対して決定された係数に基づいて実行される、上記項目のいずれかに記載の方法。
【００４３】
（項目１０）
上記決定された係数（３２；７２）に基づいて、上記交通標識（２１；５１；６１；７１）が制限終了標識であるかどうかを確立する、上記項目のいずれかに記載の方法。
【００４４】
（項目１１）
上記交通標識（２１；５１；６１；７１）のさらなる分類のために、少なくとも１つの画像認識モジュールに対して上記画像データの上記一部分（２６）を提供することをさらに包含し、
該画像データの該一部分（２６）が提供される該少なくとも１つの画像認識モジュールは、該交通標識（２１；５１；６１；７１）上で直線に延びている上記少なくとも１つのグラフィカル特徴（２２）を該交通標識（２１；５１；６１；７１）が有するかどうかを確立することの結果に基づいて、複数の画像認識モジュールから選択される、上記項目のいずれかに記載の方法。
【００４５】
（項目１２）
コンピュータ読み取り可能媒体であって、
該コンピュータ読み取り可能媒体は命令を格納し、該命令は、電子デバイス（２）のプロセッサ（４）によって実行される場合、該電子デバイス（２）に、上記項目のいずれかに記載の方法を実行するように指令する、コンピュータ読み取り可能媒体。
【００４６】
（項目１２ａ）
コンピュータプログラム製品であって、
該コンピュータプログラム製品は、該コンピュータプログラム製品上に命令を格納し、該命令は、電子デバイス（２）のプロセッサ（４）によって実行される場合、該電子デバイス（２）に対して、上記項目のいずれかに記載の方法を実行するように指令する、コンピュータプログラム製品。
【００４７】
（項目１３）
交通標識（２１；５１；６１；７１）を分類するデバイスであって、
画像データを受信するように構成されている入力（３）と、
該画像データを受信する該入力（３）に連結されている処理デバイス（４）と
を備え、
該処理デバイスは、
該交通標識（２１；５１；６１；７１）の少なくとも一部分を表す該画像データの一部分（２６）を識別することと、
該画像データの該一部分（２６）の二次元スペクトル表現の係数（３２；７２）を計算することと、
フーリエ空間（３１）における１つの線（３３）に沿って配置されているフーリエ空間座標に対して、該二次元スペクトル表現の係数（３２；７２）を決定することと、
該決定された係数（３２；７２）に基づいて、該交通標識（２１；５１；６１；７１）上で直線に延びている少なくとも１つのグラフィカル特徴（２２）を該交通標識（２１；５１；６１；７１）が有するかどうかを確立することと
を行うように構成されている、デバイス。
【００４８】
（項目１４）
上記デバイス（２）は、上記項目のいずれかに記載の方法を実行するように構成されている、上記項目のいずれかに記載のデバイス。
【００４９】
（項目１５）
車両のための運転者支援システムであって、
上記項目のいずれかに記載の交通標識（２１；５１；６１；７１）を認識するためのデバイス（２）を備えている、運転者支援システム。
【００５０】
（摘要）
交通標識（２１）上で直線に延びる少なくとも１つのグラフィカル特徴（２２）を交通標識（２１）が有するかどうかを確立するように構成される、方法およびデバイスが説明される。交通標識（２１）の少なくとも一部分を表す画像データの一部分が識別される。画像データの部分の二次元スペクトル表現の係数（３２）が計算される。二次元スペクトル表現の係数（３２）は、フーリエ空間（３１）における１つの線（３３）に沿って配置されるフーリエ空間座標に対して決定される。決定された係数（３２）に基づいて、交通標識（２１）上で直線に延びる少なくとも１つのグラフィカル特徴（２２）を交通標識（２１）が有するかどうかが確立される。
【００５１】
本発明の複数の実施形態は、添付の図面を参照してより詳細に説明される。
【図面の簡単な説明】
【００５２】
【図１】図１は、一実施形態に従って交通標識を分類するデバイスが装備された車両システムのブロック図である。
【図２Ａ】図２Ａおよび図２Ｂは、交通標識を表す画像データおよびそのような画像データの一部分の概略図である。
【図２Ｂ】図２Ａおよび図２Ｂは、交通標識を表す画像データおよびそのような画像データの一部分の概略図である。
【図３】図３は、一実施形態に従う、方法およびデバイスにおいて利用される、二次元スペクトル図の係数の概略図である。
【図４】図４は、別の実施形態に従う、方法およびデバイスにおいて利用される、二次元スペクトル図の係数の概略図である。
【図５】図５は、一実施形態に従う、方法およびデバイスにおける二次元スペクトル図の係数に基づいて計算される座標空間における関数の概略図である。
【図６】図６は、一実施形態に従う方法のフロー図である。
【図７Ａ】図７Ａは、交通標識の例示的画像データを示す。
【図７Ｂ】図７Ｂおよび図７Ｃは、一実施形態に従う、方法およびデバイスを用いて計算される例示的関数を示す。
【図７Ｃ】図７Ｂおよび図７Ｃは、一実施形態に従う、方法およびデバイスを用いて計算される例示的関数を示す。
【図８Ａ】図８Ａは、別の交通標識の例示的画像データを示す。
【図８Ｂ】図８Ｂは、一実施形態に従う、方法およびデバイスを用いて計算される例示的関数を示す。
【図９】図９は、一実施形態に従う、方法およびデバイスにおいて利用される交通標識を表す画像データの二次元スペクトル図の係数を例示する。
【図１０Ａ】図１０Ａは、さらなる複数の実施形態に従う方法を例示するグラフである。
【図１０Ｂ】図１０Ｂは、さらなる複数の実施形態に従う方法を例示するグラフである。
【図１０Ｃ】図１０Ｃは、さらなる複数の実施形態に従う方法を例示するグラフである。
【図１１】図１１は、別の実施形態に従う方法のフロー図である。
【発明を実施するための形態】
【００５３】
（好ましい実施形態の詳細な説明）
本発明の例示的実施形態は、以下の図面を参照して説明される。本発明が特定の実施形態に限定されないことは理解されるべきである。例示のために、いくつかの実施形態は、車両に搭載されて提供される運転者支援システムに関連して説明されるが、複数の実施形態に従う、方法およびデバイスはまた、デジタルマップを生成するための記録済み画像シーケンスの分析など他の分野の用途において実装され得る。さらに別に明確に述べられない限り、様々な実施形態の特徴は、互いに組み合わせられ得る。
【００５４】
交通標識を分類する方法およびデバイスが提供される。方法およびデバイスは、交通標識が交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を有するかどうかを確立するように構成される。限定するよりはむしろ例示のため、そのような交通標識の実例は、ドイツなど様々な国おける制限終了標識である。複数の実施形態に従って、画像データの一部分は、画像空間（すなわち、座標として画素を有する空間）からフーリエ空間（すなわち、座標として、一組の周期的に変化する正規直交基底関数の空間周波数を有する空間）への変換に従い得る。
【００５５】
様々な実施形態に従う方法およびデバイスにおいて、画像データまたは画像データの一部分は、画像空間からフーリエ空間への変換を実行するなどの様々な演算に従う。画像データの各画素は、各画素に少なくとも１つの値を関連付ける。画像データは、二次元のデータフィールドまたはより詳細に以下に説明される演算に従い得る信号であると解釈され得る。例示のために、様々な演算が実行され得る画像データの画素に関連付けられる値は、グレースケール画像のグレースケール値であり得る。画像データが、各画素に対してカラー情報を有する場合、ＲＧＢ、ＣＭＹＫまたは類似のものなどのカラーモデルのカラー要素は、そのカラー要素に対して様々な演算が実行される前にグレースケールに変換され得る。代わりに、様々な演算はまた、カラーモデルのカラー要素の値のうちの１つに対して実行され得る。
【００５６】
図１は、車両ボードネットワーク１０に連結された運転者支援デバイス１の概略図を示す。運転者支援デバイス１は画像認識デバイス２を含み、画像認識デバイス２は本明細書に説明される方法のうちの任意の１つに従って交通標識を分類するように構成される。運転者支援デバイス１は、二次元（２Ｄ）カメラ６と、三次元（３Ｄ）カメラ７と、ユーザインタフェース８とをさらに含む。画像認識デバイス２、２Ｄカメラ６およびＤカメラ７は、バス６を介して、互いにそして車両ボードネットワーク１０に連結される。車両ボードネットワーク１０は、車両の挙動に影響を及ぼすように適合される様々なコントローラまたは車両システム１１、１２を含み得る。コントローラまたは車両システム１１、１２の例は、アンチロックブレーキシステム（ＡＢＳ）と、牽引力制御システム（ＰＣＳ）と、電子安定プログラム（ＥＳＰ）とを含む。
【００５７】
２Ｄカメラ６は、運転者支援デバイス１が取り付けられた車両の環境の画像を捕獲するように適合される。２Ｄカメラは、電磁放射を受信し、車両の環境の画像を表す画像データを画像認識デバイス２に提供するように適合される電荷結合素子（ＣＣＤ）センサまたは別のセンサを含み得る。２Ｄカメラによって捕獲された画像は、複数の画素に関して、少なくとも、グレースケール情報または輝度情報に変換可能なグレースケール値またはカラー要素を含む。
【００５８】
３Ｄカメラ７は、車両の環境の３Ｄ画像を捕獲するように適合される。３Ｄ画像は、３Ｄカメラ７の視界（ＦＯＶ）の深度マップである。深度マップは、３Ｄ画像の画素にマッピングされる、３ＤカメラのＦＯＶにおける複数の方向に対する距離情報を含み得る。３Ｄカメラ７は、２Ｄカメラ６のＦＯＶとオーバーラップするＦＯＶを有する。３Ｄカメラ７は、例えばフォトニックミキサデバイス（ＰＤＭ）センサなどの飛行時間（ＴＯＦ）センサを含み得る。運転者支援システム１は、交通標識に対応する、２Ｄカメラによって提供される画像データの一部分を識別する際に利用され得る３Ｄカメラ７を有するように示されるが、３Ｄカメラは、他の複数の実施形態において省略され得る。
【００５９】
画像認識デバイス２は、バス９に連結されるインタフェース３を有し、２Ｄカメラ６から画像データ、および３Ｄカメラ７が備え付けられている場合、３Ｄカメラ７から３Ｄ画像データを受信する。画像認識デバイス２は、画像データを処理するように適合される１つ以上のプロセッサを含み得る処理デバイス４をさらに有する。画像認識デバイス２は、命令コードが格納され得る記憶媒体５をさらに有し、その命令コードは、処理デバイス４によって実行される場合、２Ｄカメラ６によって提供される画像データを処理デバイス４が処理するようにさせ、交通標識上で直線に延びる１つの線もしくはストライプまたは複数の線もしくはストライプなどの少なくとも１つのグラフィカル特徴を交通標識が有するかどうかを確立する。記憶媒体５は、例えば、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／Ｗ、ＤＶＤ、持続型メモリ、フラッシュメモリ、半導体メモリ、またはハードドライブメモリであり得る。
【００６０】
画像認識デバイス２は、処理デバイス４が、動作時、２Ｄ画像を表す画像データを受信し、画像データを処理し、交通標識の少なくとも一部分を表す画像データの一部分を識別し、交通標識が交通標識上で直線に延びる１つまたは複数のグラフィカル特徴を含むかどうかを確立するように構成される。処理デバイス４は、画像データの部分の二次元スペクトル表現を計算するために、画像データの部分において変換を実行するように構成され得る。変換は、例えば、離散コサイン変換、離散サイン変換または離散フーリエ変換であり得る。処理デバイス４は、離散フーリエ変換アルゴリズムなどの高速アルゴリズムを用いて変換を計算するように構成され得る。処理デバイス４は、フーリエ空間において１つまたは複数の線に沿って、スペクトル表現、すなわちスペクトルドメインに変換される画像データの部分の係数を評価するように構成され得る。
【００６１】
処理デバイス４は、交通標識の少なくとも一部分を表す画像データの一部分を識別するために、形状認識が実行され得るように構成され得る。一実装において、画像データにおける循環を有する交通標識を識別するために循環ハフ変換が実行され得る。別の実装において、３Ｄカメラ７によって提供される３Ｄ画像データは、交通標識を識別するために利用され得る。３Ｄ画像データは、深度マップを含み、それによって、車両の環境のセグメンテーションを提供する。３Ｄカメラ７によって提供される３Ｄ画像データは、２Ｄカメラ６によって提供される画像データにおいて交通標識に対応する大きさおよび／または形状を有する本質的に平面の物体を識別するために評価され得る。
【００６２】
処理デバイス４は、画像データの部分の二次元のスペクトル表現を計算するために、離散コサイン変換
【００６３】
【数１】
が計算されるように構成され得る。ここで、ｕ（ｎ１，ｎ２）は、画像空間において座標（ｎ１，ｎ２）を有する画素に関連付けられる、例えばグレースケール値などの値を表し、Ｎ１は、第１の空間方向での画像データの部分における全画素数を表し、Ｎ２は、第１の空間方向に直交する第２の空間方向での画像データの部分における全画素数を表し、ｋ１およびｋ２は、０≦ｋ１≦Ｎ１−１かつ０≦ｋ２≦Ｎ２−１で、式（１）におけるスペクトル表現のコサイン基底関数の空間変動周波数を表し、そしてＵ（ｋ１，ｋ２）は、ｘ１軸およびｘ２軸にそれぞれ沿う空間周波数ｋ１およびｋ２に関連付けられるコサイン関数における空間表現の係数である。離散コサイン変換の他の変数が公知であり、これらもまた用いられ得る。代わりにまたはさらに、処理デバイス４は、画像データの部分の二次元のスペクトル表現を計算するために、離散フーリエ変換
【００６４】
【数２】
が計算されるように構成され得、ここで、Ｕ（ｋ１，ｋ２）は、ｘ１軸およびｘ２軸にそれぞれ沿う空間周波数ｋ１およびｋ２に関連付けられる虚引数（ｉｍａｇｉｎａｒｙ ａｒｇｕｍｅｎｔ）を有する指数関数における空間表現の係数である。式（２）における他のすべての変数は、式（１）を参照して説明されるように定義される。
【００６５】
処理デバイス４は、交通標識が交通標識上で直線に延びる１つまたは複数のグラフィカル特徴を有するかどうかを確立するために、スペクトル表現Ｕ（ｋ１，ｋ２）の係数は、フーリエ空間において線に沿って位置を定められる（ｋ１，ｋ２）の値に対して分析されるように構成され得る。一実装において、処理デバイス４は、０≦ｋ１≦Ｎ１−１および
【００６６】
【数３】
に対する係数Ｕ（ｋ１，ｋ２）を分析するように構成され得、ここで、ｐおよびｑは、フーリエ空間における線であって、それに沿ってＵ（ｋ１，ｋ２）が評価される、フーリエ空間における線を特徴とする有理値である。ここで、ｆｌｏｏｒ（・）は、ｆｌｏｏｒ関数を示す。別の実装において、処理デバイス４は、０≦ｋ１≦Ｎ１−１および
【００６７】
【数４】
に対する係数Ｕ（ｋ１，ｋ２）を分析するように構成され得、ここで、ｐおよびｑは、フーリエ空間における線であって、それに沿ってＵ（ｋ１，ｋ２）が評価される、フーリエ空間における線を特徴とする有理値である。ここで、ｃｅｉｌｉｎｇ（・）は、ｃｅｉｌｉｎｇ関数を示す。画像空間座標の有限数に関して、上記に示されるように定義されるｋ２の値は、０≦ｋ２≦Ｎ２−１を満たすために、Ｎ２の倍数の減法によって０〜Ｎ２−１の範囲のドメインに変換される必要があり得ることは理解される。そのような技術は画像認識の分野において周知であるので、詳細な説明は省略され得る。
【００６８】
フーリエ空間における線であって、その線からスペクトル表現Ｕ（ｋ１，ｋ２）の係数がさらなる分析のためにとられる、線、すなわちパラメータｐおよびｑは、交通標識が街路に対して正しく配向されているとき、交通標識上で直線に延びるグラフィカル特徴の公知の配向に基づいて選択され得る。例示のために、画像空間座標系において交通標識全体にわたり傾きｐ’で延びる１つまたは複数の線を交通標識が有するか否かを確立することによって交通標識を分類することが所望される場合、パラメータｐおよびｑは、ｐ＝−１／ｐ’およびｑ＝０またはｑ＝Ｎ２−１であるように選択され得る。すなわち、フーリエ空間における線は、実空間におけるゆっくり変化する関数に関連付けられるフーリエ空間における点を通過し、画像空間における交通標識上でグラフィカル特徴が延びる方向に線が本質的に直交するように配向されるように選択され得る。図１０を参照してさらに説明されるように、フーリエ空間における線のそのような選択に関して、例えば一次元逆離散コサイン変換（ＩＤＣＴ）または一次元逆離散フーリエ変換を用いて、フーリエ空間における線に沿って位置を決められる（ｋ１，ｋ２）を有する値Ｕ（ｋ１，ｋ２）をフーリエ空間から戻るように画像空間に変換することによって、画像空間における、結果として生じる関数は、画像データの部分のラドン変換に対する推定を提供する。そのような実装において、交通標識上で直線に延びる特徴を交通標識が有するかどうかについての判定は、フーリエ空間における線に沿って配置される点に対するフーリエ係数に基づくが、フーリエ空間における線からずれた点に関連付けられるフーリエ係数とは関係がない。
【００６９】
さらなる例示のために、図２Ａに例示されるドイツにおける制限終了標識の場合のように、第１の画像空間座標軸に対して４５°の角度で延びる複数の線を交通標識が有するか否かを確立することによって交通標識を分類することが所望される場合、第１のフーリエ空間座標軸に対して１３５°に配向される線に沿って位置を定められる（ｋ１，ｋ２）の値に関連付けられるスペクトル表現Ｕ（ｋ１，ｋ２＝Ｎ２−１−ｋ１）の係数が分析され得る。処理デバイス４は、例えば一次元逆離散コサイン変換（ＩＤＣＴ）または一次元逆離散フーリエ変換を用いて、フーリエ空間から画像空間にＵ（ｋ１，ｋ２＝Ｎ２−１−ｋ１）を変換するように構成され得る。画像空間における結果として生じる関数は、交通標識上で４５°の角度で交通標識上で延びる１つまたは複数の線を示す顕著なディップまたはピークを示す（存在する場合）。
【００７０】
処理デバイス４はまた、交通標識上で直線に延びる、線またはストライプなどの１つまたは複数のグラフィカル特徴を交通標識が有するかどうかを判定するために、２つ以上の異なる線に位置を定められる（ｋ１，ｋ２）の値に対するスペクトル表現Ｕ（ｋ１，ｋ２）の係数が分析され得るように構成され得る。それによって、交通標識は、交通標識上で異なる方向に直線に延びるグラフィカル特徴を有する様々な部類の交通標識に従って分類され得る。
【００７１】
運転者支援システム１の画像認識デバイス５は、交通標識上で所定の方向に延びる複数の線を交通標識が有するか否かに従って、処理デバイス４が画像データをさらに分析するように構成され得る。例示のために、交通標識が制限の終了標識であると確立された場合、画像データは、例えば、サポートベクターマシン、ニューラルネットワークまたはＡｄａｂｏｏｓｔアルゴリズムなどの分級機に提供され得、交通標識がどのタイプの制限終了標識であるかを識別し得る。一実装において、処理デバイス４は、制限終了標識が特定の速度制限の終了またはすべての制限の終了を指示するかどうかを判定するように構成され得る。処理デバイス４によって実行されるさらなる分析はなおも、交通標識が交通標識上に直線に延びる１つまたは複数のグラフィカル特徴を有するかどうかを確立するように決定された画像データの部分のスペクトル表現に基づき得る。
【００７２】
運転者支援システム１の画像認識デバイス５は、画像認識処理の結果によって信号がユーザインタフェース８に出力されるように構成され得る。例示のため、ユーザインタフェース８が現在の速度制限が示される表示を含む場合、画像認識デバイス５は、制限終了標識が検出されたことを指示する情報をディスプレイコントローラに提供し得る。この情報に応答して、ディスプレイコントローラは、ユーザインタフェース８を介して速度制限情報出力を更新し得る。
【００７３】
図２〜図５を参照すると、画像認識２の処理デバイス４の動作は、例示的交通標識を参照してより詳細に説明される。
【００７４】
図２Ａは、交通標識２１を表す画像データを例示する。限定するよりはむしろ例示のため、ドイツにおいて用いられているような、全制限終了交通標識が、図２Ａに例示される。交通標識２１は、交通標識上で方向２３に延びる複数のストライプ２２を有する。交通標識が街路に対して交通標識の従来の配向を有する場合、方向２３は、画像空間において２４に示されるように正の横軸に対して４５°の角度αを囲む。角度αは、第１の画像空間座標軸によって囲まれる角度であり、方向であって、その方向に沿って交通標識上のグラフィカル特徴が直線に延び、画像空間座標系の象限ＩおよびＩＶ（上半分平面）にある、方向である。図２Ｂは、交通標識の内部に対応する画像データ２６の一部分を示す。交通標識および交通標識の内部の一部分は、例えば、３Ｄカメラ７によって提供される３Ｄ画像データに基づく循環ハフ変換または画像セグメンテーションを用いて画像データにおいて識別され得る。画像データがカラー情報を含む場合、画像データは、グレースケール表現に変換され得るが、グレースケール表現に変換される必要はない。図２Ｂに示される複数の線は、例えば、関数
【００７５】
【数５】
で表され得、離散ディラックのδ関数は指数が０である場合１の値を有し、そうでない場合０の値を有し、ここで、「ａ」はｘ２方向における隣接する線間の間隔を示す。画像データの部分２６は、Ｎ１画素がｘ１方向およびＮ２画素がｘ２方向である長方形を有するように選択され得る。画像データの部分２６は、Ｎ１＝Ｎ２である正方形を有するように選択され得る。
【００７６】
図３は、フーリエ空間３１において示されるグレースケール表現において、図２Ｂの画像データの部分２６のスペクトル表現の係数Ｕ（ｋ１，ｋ２）の絶対値を例示する。図３において、離散フーリエ変換によって決定される係数の絶対値│Ｕ（ｋ１，ｋ２）│が例示される。図３のグレースケール表現において、大きい値は暗い色で示され、一方、０の値は白で示される。フーリエ空間３１における係数の表現において例示されるように、有意のスペクトル重みは、画像データにおける複数のストライプ２２の方向に対して本質的に垂直の方向に直線に延びるフーリエ空間の領域３２においてのみ見出される。従って、係数Ｕ（ｋ１，ｋ２）は、フーリエ空間における線３３に沿って配置される（ｋ１，ｋ２）の値、例えばｋ２＝Ｎ２−１−ｋ１に対してさらに分析され得る。
【００７７】
フーリエ空間における線３３は、方向２３であって、その方向に沿ってストライプ２２が画像空間における交通標識上において延びる、方向２３に対して本質的に垂直であるように選択される。図３に例示されるように、線３３は角度βを囲み、角度βはフーリエ空間における正のｋ１軸に対して３４で示される。角度βは、フーリエ空間における正のｋ１軸とフーリエ空間座標系の象限ＩおよびＩＶにおける線３３と間で測定される。フーリエ空間における線３３は、８５°≦│β−α│≦９５°、特に８８°≦│β−α│≦９２°、特に８９°≦│β−α│≦９１°、特に
【００７８】
【数６】
であるように、方向を有する。
【００７９】
図３は、フーリエ空間における１つの線３３であって、その線３３からさらなる分析のためにスペクトル表現の係数がとられる、線３３を示すが、交通標識上で第１の方向に直線に延びる少なくとも１つのグラフィカル特徴が交通標識にあるかどうか、そして交通標識上で第１の方向とは異なる第２の方向に直線に延びる少なくとも１つのグラフィカル特徴が交通標識にあるかどうかを識別することが望まれ得る。さらに、例えば道路面に対して交通標識上のグラフィカル特徴の方向は交通標識が完璧に配向されている場合、理論的に知られ得るが、道路側からのカメラ６の様々な距離、画像獲得の光学的不完全さ、または交通標識自体の不正確な位置決めは、画像データにおける交通標識の画像の角度が変化するという影響を有し得る。そのような状況においてでさえ交通標識が１つ以上の直線に延びるグラフィカル特徴を有するかどうかを確立することが望まれ得る。複数の実施形態において、スペクトル表現の係数は、フーリエ空間における１つの線のみならず複数の線に沿って配置される空間周波数の値（ｋ１，ｋ２）に対してさらに分析され得る。
【００８０】
図４は、図２Ｂの画像データの部分２６の離散フーリエ変換の係数の絶対値を概略的に例示するフーリエ空間３１のグラフィカル表現である。フーリエ空間におけるさらなる線３５および３６が概略的に例示され、線３５および３６からスペクトル表現の係数がさらなる分析のためにとられ得る。例示のために、フーリエ空間における線３５は、０≦ｋ１≦Ｎ１−１で（ｋ１，ｋ２＝ｋ１）によって与えられ、フーリエ空間における線３６は、０≦ｋ２≦Ｎ２−１で（０，ｋ２）によって与えられる。例示のために、フーリエ空間における線３５のほとんどに沿って小さいスペクトル重みしかないので、処理デバイス４は、画像データの部分が画像データの部分２６において１３５°の角度で、すなわちフーリエ空間における線３５の方向に対して垂直に、直線に延びるグラフィカル特徴を有しないことを確立し得る。同様に、フーリエ空間における線３６のほとんどに沿って小さいスペクトル重みしかないので、処理デバイス４は、画像データの部分が画像データの部分２６において水平の方向に、すなわちフーリエ空間における線３６の方向に対して垂直に、直線に延びるグラフィカル特徴を有しないことを確立し得る。
【００８１】
代わりにまたはさらに、交通標識上で直線に延びる特徴があるかどうかを確立するように評価されるスペクトル表現の係数は、画像空間におけるグラフィカル特徴の予期される方向に対して垂直に延びる、フーリエ空間における線３３から小さい角度、例えば５°以下だけ角度がずれている線からとられ得る。そのような線に沿って配置される空間周波数で評価されるスペクトル表現の係数を分析することは、交通標識が交通標識の理論的に予期される配向に対して角度がずれている場合、分類することを助け得る。
【００８２】
図５は、画像空間における関数３７のグラフィカル表現である。関数ｆ（Ｘ）は、スペクトル表現の係数を変換することによって得られ、フーリエ空間における線に沿って空間周波数（ｋ１，ｋ２）の値に対して決定され、画像空間に戻る。画像空間における関数３７は、例えば、一次元逆離散フーリエ変換、一次元逆離散コサイン変換または一次元逆離散サイン変換を実行することによって処理デバイス４により計算され得る。画像空間における関数３７は、顕著なディップ３８を明示する。関数３７におけるディップ３８は、画像データにおけるグラフィカル特徴の方向２３に沿い、画像データの部分２６におけるグラフィカル特徴２６の方向に対して垂直に延びる線２５に沿った様々な位置に対して計算される線積分が、積分がグラフィカル特徴２２のうちの１つに沿って、すなわち平行な５つのストライプのうちの１つに沿って実行されるとき顕著な特徴を明示することを示す。フーリエ空間から、画像空間において関数ｆ（Ｘ）を計算するために用いられる画像空間に戻る変換の特定の実装によって、ｆ（Ｘ）におけるピークまたはディップの数および位置は、必ずしも、最初の画像データにおける直線に延びるグラフィカル特徴の数および位置と１対１の対応でなければならないということではない。しかしながら、ピークまたはディップなどの顕著な特徴は、ｆ（Ｘ）において識別され得、その顕著な特徴は、１つまたは複数の直線に延びるグラフィカル特徴が画像データの部分、すなわち交通標識に存在していることを処理デバイス４が確立することを可能にし、１つまたは複数の直線に延びるグラフィカル特徴は、フーリエ空間（このフーリエ空間からスペクトル表現の係数がｆ（Ｘ）を計算するために取られた）における方向に相互に関係する、画像空間における方向に沿って延びる。
【００８３】
処理デバイス４は、交通標識が交通標識上で所定の方向に直線に延びるグラフィカル特徴を有する交通標識の部類に入るかどうかを確立するためにｆ（Ｘ）に対する閾値比較を実行するように構成され得る。例示のために、閾値３８との比較が実行され得る。ｆ（Ｘ）がＸの少なくともいくつかの値に対して、すなわち少なくともいくつかの画像空間座標に対して閾値３８より小さい場合、処理デバイス４は、交通標識が交通標識上で所定の方向に直線に延びるグラフィカル特徴を有する交通標識の部類に入ると確立し得る。
【００８４】
図６は、一実施形態に従う方法のフロー図である。概して４１で示される方法は、図１の運転者支援デバイス１の画像認識デバイス２によって実行され得る。この方法において、交通標識の分類が実行される。交通標識を分類することは、交通標識が交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を有するかどうかを確立することを含む。
【００８５】
４２で、画像データが検索される。画像データは、運転者支援デバイス１の２Ｄカメラ６などの２Ｄカメラから検索され得る。代わりにまたはさらに、画像データは、例えば記録済み画像を自動的に評価する場合、記憶媒体から検索され得る。
【００８６】
４３で、交通標識を表現する画像データの一部分が識別される。交通標識を表現する部分は、適した画像セグメンテーション方法を使用して識別され得る。例示のために、円形の交通標識がその交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を有するかどうかを確立することによって交通標識を分類することが所望される場合、４３で識別することは、循環ハフ変換を計算することを含む。代わりにまたはさらに、画像データの部分を識別することは、例えば運転者支援デバイス１の３Ｄカメラ７など、３Ｄカメラによって提供される３Ｄ画像データに基づき得る。
【００８７】
４４で、画像データの部分の２次元スペクトル表現の係数が計算される。二次元スペクトル表現を計算することは、二次元離散フーリエ変換、二次元離散コサイン変換または二次元離散サイン変換を計算することを含み得る。
【００８８】
４５で、スペクトル表現の係数は、フーリエ空間における１つの線に沿って位置を定められるフーリエ空間座標に対して決定される。４４で係数が前もって計算されているとき、４５での決定は、スペクトル表現の係数を識別することによって実装され得、スペクトル表現のこれらの係数は、フーリエ空間における１つの線に沿って位置を定められる、フーリエ空間における所定の座標に関連付けられる。スペクトル表現の係数は、フーリエ空間において予め決定される方向を有する１つの線に沿って配置される、フーリエ空間における座標に対して決定され得る。フーリエ空間において予め決定される方向は、方向であって、少なくとも１つのグラフィカル特徴が（存在する場合に）交通標識上に有する、方向に基づいて決定される方向であり得る。代わりにまたはさらに、フーリエ空間において予め決定される方向は、互いに異なる複数の予め決定される方向のうちの１つであり得る。これらの複数の予め決定される方向は、これらの複数の予め決定される方向に沿ったフーリエ空間座標に対するスペクトル表現の係数に基づいて、交通標識が交通標識上で複数の異なる方向のうちの一方向に直線に延びる少なくとも１つのグラフィカル特徴を有する交通標識の部類に属するかどうかが確立され得るようなものであり得る。
【００８９】
４６で、画像空間における関数は、フーリエ空間座標に関連付けられるスペクトル表現の係数に基づいて計算され、このフーリエ空間座標は、フーリエ空間における１つの線に沿って配置される。スペクトル表現を計算するために、係数の一次元変換が計算され得る。例示のために、係数は変換に従い得、この変換は、一次元逆離散フーリエ変換、一次元逆離散コサイン変換または一次元逆離散サイン変換である。画像空間における関数を計算するために４６で用いられる変換は、２次元スペクトル表現を計算するために４４で用いられる変換の、一次元においてではあるが、逆であり得る。
【００９０】
４７で、フーリエ空間における少なくとも１つの他の線に対して係数が決定されるべきであるかどうかが判定される。この場合、他の線は４８で選択され、方法は４５に戻る。
【００９１】
４９で、交通標識が交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を有するかどうかが確立される。４９での確立は、４６で決定される画像空間における単数または複数の関数に基づいて実行され得る。４９での確立は、画像空間における単数または複数の関数が関数値において１つまたは複数の顕著な変化を有するかどうかを判定することを含み得る。閾値比較は、４６で決定される関数のうちのそれぞれに対して、関数が、予め決定された閾値よりも小さいかまたは大きい少なくともいくつかの関数値を有するかどうかを確立するように、それぞれ実行され得る。関数値において顕著な変化が生じる位置は、既知の交通標識において予期される線の位置に対して比較され得る。
【００９２】
さらなるステップが方法に含まれ得る。例示のために、画像空間に戻る一次元変換が計算される前に、フィルタリングがフーリエドメインにおいて実行され得る。フィルタリングは、ぼやけを補償するために実行され得る。フィルタリングは、４４で計算される２二次元スペクトル変換に対して、または、４５で決定される、フーリエ空間における線に沿う係数に対して実行され得る。｜ｆ｜−ｒａｍｐフィルタが使用され得る。
【００９３】
さらなる例示のために、閾値比較が実行される前に、４９で計算される画像空間における関数に対して、正規化が適用され得る。４９で計算される関数は、閾値比較を実行する前に、正規化される関数が１の最大値を有するように正規化され得る。
【００９４】
図７〜図９を参照すると、複数の実施形態に従う、方法およびデバイスは、例示的交通標識に関連してさらに説明される。
【００９５】
図７Ａは、ドイツにおいて使用されているような制限終了標識５１を例示する。図７Ｂは、交通標識５１を表す画像データに図６の方法を適用することによって決定されている、画像空間における関数５４、５５を示す。関数５４は、画像データの一部分に対して二次元離散コサイン変換を実行すること、ｋ１軸に対して１３５°に向けられる１つの線に沿って配置されるフーリエ空間座標に対する係数Ｕ（ｋ１，ｋ２）を決定すること、および画像空間に戻るそのように決定された係数に対して一次元逆離散コサイン変換を実行することによって決定される。関数５５は、ｋ１軸に対して０°（つまり、ｋ１軸に平行）に向けられる１つの線に沿って配置されるフーリエ空間座標に対する係数Ｕ（ｋ１，ｋ２）を決定すること、および画像空間に戻るそのように決定された係数に対して一次元逆離散コサイン変換を実行することによって決定される。関数５４は、顕著なディップ５６を示す。関数５５は、類似の挙動を示さない。関数５４と関数５５を比較することによって、交通標識が、図７Ａ中の５２で示される線に対して垂直に延びる線を有するが、交通標識上で図７Ａ中の５３で示される線に対して垂直の方向に直線に延びる線を有さないことが確立され得る。
【００９６】
図７Ｂにおいて理解され得るように、スペクトル表現の係数を計算するために画像データの部分に対して実行される変換の特定の実装に依存して、および逆の一次元変換に依存して、画像空間における関数５４における顕著なピークまたはディップの数および位置は、画像データにおいて直線に伸びるグラフィカル特徴の数および位置と常に同一である必要はない。特に、コサイン変換またはサイン変換が用いられる場合、オリジナルデータと比較していくらかの情報が失われ得、このことは、画像データに存在する各線が関数ｆ（Ｘ）における別個のピークまたはディップとして識別され得るのではないという効果を有し得る。しかしながら、所定の方向を有するこのようなグラフィカル特徴の有無は、画像空間における関数５４に基づいて確立され得る。
【００９７】
図７Ｃは、画像空間における関数５７を示し、関数５７は、フィルタリングおよび正規化が利用される場合、交通標識５１を表す画像データに対して図６の方法を適用することによって決定されている。より詳細には、ぼやけ効果を取扱うために、例示の関数５７は、ｋ１軸に対して１３５°に向けられる１つの線に沿って配置されるフーリエ空間座標に対する係数Ｕ（ｋ１，ｋ２）に対して｜ｆ｜−ｒａｍｐフィルタを適用することによって、フィルタされた係数を画像空間に変換することによって、および、画像空間における関数ｆ（Ｘ）の最大値が１であるように結果を正規化することによって計算されている。フィルタリングは、ｆ（Ｘ）における顕著な変動を抑制するが、図７Ａに示される線５２に対して垂直に延びる５つのストライプは、５９で示されるように、ｆ（Ｘ）が少なくとも一領域において小さな値を有することを生じさせる。画像空間における関数ｆ（Ｘ）の値は閾値５８と比較され得、これにより、交通標識５１が、図７Ａに示される線５２に対して垂直に向けられた直線に延びる特徴を有するかどうかを確立する。
【００９８】
図８Ａは、ドイツにおいて使用されているような追越し禁止終了標識６１を例示する。グレースケールの反転が画像データに対して実行されており、白色が高いグレースケール値に関連付けられる。図８Ｂは、画像空間における関数６５〜関数６７を示し、これらの関数は、交通標識６１を表す画像データに対して図６の方法を適用することによって決定されている。関数６５は、画像データの部分に対して二次元離散フーリエ変換を実行すること、ｋ１軸に対して１３５°に向けられる１つの線に沿って配置されるフーリエ空間座標に対する係数Ｕ（ｋ１，ｋ２）を決定すること、および画像空間に戻るそのように決定された係数に対して一次元逆離散フーリエ変換を実行することによって決定される。関数６６は、ｋ１軸に対して９０°（つまり、ｋ２軸に平行）に向けられる１つの線に沿って配置されるフーリエ空間座標に対する係数Ｕ（ｋ１，ｋ２）を決定すること、および画像空間に戻るそのように決定された係数に対して一次元逆離散フーリエ変換を実行することによって決定される。関数６７は、ｋ１軸に対して０°（つまり、ｋ１軸に平行）に向けられる１つの線に沿って配置されるフーリエ空間座標に対する係数Ｕ（ｋ１，ｋ２）を決定すること、および画像空間に戻るそのように決定された係数に対して一次元逆離散フーリエ変換を実行することによって決定される。関数６５は、画像データの部分６１における線の数および位置に対応する数および位置を有する顕著なピーク６８を示す。関数６６および関数６７はまた、交通標識におけるグレーの車のシンボルの存在に起因して、いくつかの変動を示すが、関数６５と同様の顕著なピークを示さない。関数６５を関数６６および関数６７と比較することによって、交通標識が、図８Ａ中の６２で示される線に対して垂直に延びる線を有するが、交通標識上で図８Ａ中の６３および６４で示される線に対して垂直の方向に直線に延びる、同程度の輝度および長さの線がないことが確立され得る。
【００９９】
図９は、ドイツにおいて使用されているような色反転された制限終了標識７１に対して離散二次元フーリエ変換を実行することによって得られる係数の絶対値｜Ｕ（ｋ１，ｋ２）｜を例示する。画像空間座標系は、画像空間座標系の原点が制限終了標識７１の左上隅にくるように選定されており、これによって、５つのストライプは、正のｘ１軸に対して１３５°の角度で延びる。図９において理解され得るように、フーリエスペクトル表現の有意のスペクトル重みは、フーリエ空間における線ｋ１＝ｋ２に沿って集中し、ここで、｜Ｕ（ｋ１，ｋ２）｜は高い値を有する。フーリエ空間における線ｋ１＝ｋ２に沿ってスペクトル表現の係数を分析することによって、ひいては、正のｘ１軸に対して１３５°の角度で延びる１つまたは複数のグラフィカル特徴を交通標識が有するかどうかが判定され得る。
【０１００】
図２〜図５および図７〜図９を参照して、方法およびデバイスの動作が例示的交通標識に関連して説明されてきたが、これらの方法およびデバイスは、概して、交通標識が交通標識上で直線に延びる１つまたは複数のグラフィカル特徴を有するかどうかを確立するために利用され得る。図１０を参照してより詳細に説明されるように、これらの方法およびデバイスは、フーリエ空間における１つの線に沿ってフーリエ空間座標に対するスペクトル表現の係数を分析するように構成され得る。
【０１０１】
図１０Ａは、交通標識上のグラフィカル特徴を表す二次元関数ｕ（ｘ１，ｘ２）の概略的な例示８１を示す。二次元フーリエ変換を実行することによって、ｕ（ｘ１，ｘ２）のスペクトル表現は、そのフーリエ変換Ｕ（ｋ１，ｋ２）によって提供される。フーリエ変換Ｕ（ｋ１，ｋ２）は、フーリエ空間における１つの線に沿って評価され得る。フーリエ空間における１つの線であって、ｋ１軸に対してφの角度を有し、（ｋ１，ｋ２）＝（０，０）を通過する線に沿ってフーリエ変換Ｕ（ｋ１，ｋ２）が評価されると仮定して、その線のフーリエ空間座標は、（ｋ１，ｋ２）＝ｋ・（ｃｏｓφ，ｓｉｎφ）のようにパラメータ化され得る。φの所定値に対して、この関数はまた、Ｕｐ（ｋ，φ）としても参照され得る。
【０１０２】
投影切断面定理（ｐｒｏｊｅｃｔｉｏｎ−ｓｌｉｃｅ ｔｈｅｏｒｅｍ）としても参照される、いわゆる中央断面定理（ｃｅｎｔｒａｌ ｓｌｉｃｅ ｔｈｅｏｒｅｍ）に従って、実空間（つまり画像空間）に戻るそのように決定された関数Ｕｐ（ｋ，φ）の逆フーリエ変換は、ｕ（ｘ１，ｘ２）のラドン変換を表す関数ｕｐ（Ｒ，φ）
【０１０３】
【数７】
を与え、ここで、ＲおよびＴは、ｘ１−ｘ２軸系に対して回転されている画像空間座標系を定義し、ただし、Ｒ＝ｃｏｓ（φ）・ｘ１＋ｓｉｎ（φ）・ｘ２およびＴ＝ｃｏｓ（φ）・ｘ２−ｓｉｎ（φ）・ｘ１、および、ここで、
ｕφ（Ｒ，Ｔ）＝ｕ（ｃｏｓ（φ）・Ｒ−ｓｉｎ（φ）・Ｔ，ｓｉｎ（φ）・Ｒ−ｃｏｓ（φ）・Ｔ） （５）
である。
【０１０４】
図１０Ｂを参照すると、Ｒ軸８２およびＴ軸が概略的に示されている。式（４）および式（５）から導かれ得るように、ｕｐ（Ｒ，φ）は、Ｒ軸８２上の一点上への線積分を表し、このＲ軸８２上の一点は、Ｔ軸に対して平行かつ当該Ｒ軸上の一点を通過する、１つの線に沿ってとられる。つまり、ｕｐ（Ｒ，φ）は、Ｒ軸８２上への関数ｕ（ｘ１，ｘ２）の射影を表す。例えば、Ｒ軸上の点Ｒ０８３でとられるｕｐ（Ｒ０，φ）は、線８４に沿ってのｕ（ｘ１，ｘ２）に対する線積分に等しい。定義上、ｕｐ（Ｒ，φ）は、ｕ（ｘ１，ｘ２）のラドン変換を表す。
【０１０５】
図１０Ｃは、Ｔ方向に沿ったこの平行射影を例示する。明確化のために、Ｒ軸は、画像空間座標系の原点からずれて示されている。図１０Ｃに概略的に例示される破線に対してそれぞれとられるｕ（ｘ１，ｘ２）に対する線積分は、８５で例示される関数ｕｐ（Ｒ，φ）を提供し、この関数は、フーリエ空間における１つの線に沿って評価されるｕ（ｘ１，ｘ２）の二次元フーリエ変換から決定され得る。線積分が、交通標識上で直線に、かつ射影Ｔの線に対して平行な方向に延びるグラフィカル特徴に沿ってとられる場合、線積分は、顕著なピークまたはディップを明示する。その結果、このような直線に延びるグラフィカル特徴は、式（４）に従って計算される関数ｕｐ（Ｒ，φ）から決定され得る。上記で説明されてきたように、直線に延びるグラフィカル特徴が交通標識上に存在するかどうかを確立するために、式（４）に示されるフーリエ変換の代わりに、コサイン変換またはサイン変換が用いられ得、結果として生じる画像空間関数はなおも、ラドン変換においてピークまたはディップが見出されるように、ピークまたはディップを明示する。
【０１０６】
上記の式（４）に関連して言及された中央断面定理は、例えば、ラドン変換が、ｕ（ｘ１，ｘ２）と、図１０Ｂに示されるディラックの線（Ｄｉｒａｃ ｌｉｎｅ）８２に関連付けられるディラックのデルタ関数との畳み込みであると考えられ得るという事項から、導出され得るということが理解される。フーリエ空間において、これらの２つの画像空間関数の畳み込みは、フーリエ変換の積に換言される。線８２に対応するディラックの線（Ｄｉｒａｃ ｌｉｎｅ）のフーリエ変換は、再びディラックの線（Ｄｉｒａｃ ｌｉｎｅ）であり、それゆえ、ｕ（ｘ１，ｘ２）のラドン変換は、ｕｐ（ｋ，φ）に対して、フーリエ空間から画像空間への一次元変換を実行することによって決定され得る。
【０１０７】
これらの方法およびデバイスにおいて、交通標識の分類は、交通標識が、交通標識上で直線に延びるグラフィカル特徴を有する交通標識の部類に属するか否かが確立された後、継続し得る。
【０１０８】
図１１は、概して９１で示される一実施形態に従う方法のフロー図である。この方法は、上述された任意の実施形態に従う運転者支援デバイスによって実行され得る。
【０１０９】
９２で、交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を交通標識が有するかどうかが確立される。９２での確立は、所定の一方向または複数の所定の方向のうちの一方向に沿って延びるグラフィカル特徴を有する交通標識のみが識別されるように実装され得る。９２での確立は、例えば、図６を参照して説明された方法のうちの１つを使用して実装され得る。
【０１１０】
交通標識上で所定の一方向または複数の所定の方向のうちの一方向に直線に延びる少なくとも１つのグラフィカル特徴を交通標識が有することが９２で確立される場合、９３で、画像データの部分は、第１の画像認識モジュールまたは分級機に提供される。交通標識上で所定の一方向または複数の所定の方向のうちの一方向に直線に延びる少なくとも１つのグラフィカル特徴を交通標識が有さないことが９２で確立される場合、９４で、画像データの部分は、第１の画像認識モジュールまたは分級機とは異なる第２の画像認識モジュールまたは分級機に提供される。第１の画像認識モジュールおよび第２の画像認識モジュールは、それぞれ、交通標識のさらなる分類を実行するように構成される。第１の画像認識モジュールおよび第２の画像認識モジュールは、それぞれ、サポートベクターマシン、ニューラルネットワーク、またはＡｄａｂｏｏｓｔアルゴリズムを使用して実装され得る。第１の画像認識モジュールおよび第２の画像認識モジュールは、評価される特徴属性に関して、および／または、画像認識モジュールの特定の実装に関して、互いに異なり得る。
【０１１１】
画像データの部分のさらなる分類は、９３または９４のそれぞれで、スペクトル表現の係数のうちの少なくとも１つに基づき得、この少なくとも１つの係数は、前もって９２で計算されている。９２で決定されるように、例えば離散コサイン変換または離散フーリエ変換などによって決定されるスペクトル表現の係数は、９３および９４での分類において使用され得る特徴属性である。
【０１１２】
９５で、運転者支援デバイスにおける作用は、９３または９４のそれぞれで実行されるさらなる画像認識の結果に基づいて初期化され得る。
【０１１３】
本発明の複数の実施形態が図面を参照して説明されてきたが、様々な改変および変更が他の実施形態において実装され得る。例示のために、フーリエ変換または離散フーリエ変換を実行することによって画像データの一部分のスペクトル表現を決定する、方法およびデバイスが説明されたが、スペクトル表現の係数を決定するために、離散コサイン変換などの他の変換が他の実施形態において利用され得る。さらなる例示のために、フーリエ空間における線であって、その線からスペクトル表現の係数がとられる線は、フーリエ空間における一点であって、スペクトル分解のゆっくり変化する基底関数に関連付けられる一点を通過するように示されたが、フーリエ空間における線はまた、例えば、１つまたは複数の破線状のストライプであって、それぞれ所定の周期性を明示するストライプを交通標識が交通標識上に有するかどうかを確立するために、そのような一点からずれることがあり得る。
【０１１４】
本発明の実施形態は、車両に搭載されて実行される画像認識において有利に利用され得ることが予期されるが、適用分野はそれに限定されない。むしろ、本発明の実施形態は、交通標識を分類することが望ましくまたは必要である、任意のシステムまたは用途において使用され得る。
【符号の説明】
【０１１５】
１ 運転者支援デバイス
２ 画像認識デバイス
３ 入力
４ 処理デバイス
５ 電子デバイス
６ 二次元（２Ｄ）カメラ
７ 三次元（３Ｄ）カメラ
８ ユーザインタフェース
９ バス
１０ 車両ボードネットワーク
１１、１２ コントローラまたは車両システム
２１、５１、６１、７１ 交通標識
２２ グラフィカル特徴
２３ 方向
２４、３４ 角度
２５、５２、５３、６２〜６４ 画像空間における線
２６ 画像データの一部分
３１ フーリエ空間
３２、７２ 二次元スペクトル表現の係数
３３、３５、３６ フーリエ空間における線
３７、５４、５５、６５〜６７ 画像空間における関数
３８、５６ ディップ
３９、５８ 閾値
【技術分野】
【０００１】
本発明は、交通標識を分類する方法および交通標識を分類するデバイスに関する。特に、本発明は、交通標識上で直線に延びる１つまたは複数のストライプを交通標識が有するかどうかを確立するように構成される、方法およびデバイスに関する。
【背景技術】
【０００２】
（関連技術）
現代の車両は、様々な異なるセンサが装備される。車両センサは、車両の環境の変数を検出するためのセンサのみならず、車両自体の状態に関連する変数を検出するためのセンサを含む。第２のタイプのセンサは、温度センサ、距離センサ、および、つい最近では、１つまたは数個のカメラをも含む。
【０００３】
車両は、単数または複数のカメラが装備され得、このようなカメラは、異なる位置に搭載され、車両の環境を監視するように構成される。このようなカメラは、車両の環境の特定の区域の画像を捕獲するために特別に設計され得る。単数または複数のカメラから得られるデータは、様々な目的のために用いられる。カメラによって捕獲される画像データが用いられ得る機能の基本的な部類は、運転者支援システムの分野である。運転者支援システムは、大きな範囲の機能を網羅する。例えば、車両の内側または外側においてあり得る緊急事態の場合における警告など、特定の情報を運転者に提供するシステムが存在する。他の運転者支援システムは、複雑または重大な運転状況において、制御機能に介入し、または制御機能を部分的に支配することによって、運転者の快適性をさらに強化する。後者の部類の運転者支援システムの実例は、アンチロックブレーキシステム（ＡＢＳ）、牽引力制御システム（ＰＣＳ）、および電子安定プログラム（ＥＳＰ）である。さらなるシステムは、適応クルーズコントロール、インテリジェント速度調節および予測安全システムを含む。
【０００４】
Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ（ＡＤＡＳ）におけるいくつかの機能は、交通標識の自動認識に基づき得、交通標識の自動認識は、カメラによって捕獲される画像データに含まれる交通標識が自動的に認識されることを可能にする。例示のために、速度制限標識および制限終了標識から利用可能な情報に基づいて、さらなる支持機能が運転者の快適性を強化するために提供され得る。このような支持機能は、速度制限違反が生じる場合に警告を出力すること、検出された速度制限に応答した車両確立への自動調節を実装すること、または他の支援機能を含み得る。交通標識に対する情報は、車両に搭載されて格納されるデジタルマップデータに含まれ得るが、交通標識情報を最新に保つためにマップデータの頻繁な更新が必要である。さらに、交通標識に対するこのような情報は、例えば道路建設工事の場合など、限定された期間に対してのみ確立される交通標識を収容するように適応されていないことがあり得る。それゆえ、交通標識に対する情報を含むデジタルマップデータの提供は、交通標識を分類するための方法およびデバイスに対する必要性を取り除かない。さらには、デジタルマップデータが、録画されたビデオ画像または類似のものに少なくとも部分的に基づいて生成される場合、交通標識の分類は、デジタルマップデータを生成する過程において実行されることが必要であり得る。
【０００５】
交通標識を認識する方法は、例えば、Ａｄａｂｏｏｓｔアルゴリズム、ニューラルネットワークまたはサポートベクターマシン（ＳＶＭ）などに基づく分類方法を用い得る。分類は、交通標識の完全な識別につながり得るが、分類はまた、交通標識が交通標識の１つまたは数個の部類に属するかどうかが確立されるように実装され得る。交通標識の自動認識に頼るＡＤＡＳにおけるいくつかの機能に対して、交通標識を分類するために必要な時間は重大であり得る。さらに、交通標識の自動認識に頼るＡＤＡＳにおけるいくつかの機能に対して、偽陽性の検出、つまり、交通標識が誤って交通標識の所定の部類に属するように分類される分類は、低くあるべきである。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
それゆえ、当該技術分野において、交通標識を分類するための改善された方法およびデバイスに対する要求がある。特に、当該技術分野において、交通標識上で本質的に直線に延びる１つまたは複数のストライプを交通標識が有するかどうかを確実に確立するように構成されている、交通標識を分類するための改善された方法およびデバイスに対する要求がある。さらに、当該技術分野において、交通標識の内部に１つまたは複数のストライプを有する交通標識を分類するように適応されているような方法およびデバイスに対する要求がある。
【課題を解決するための手段】
【０００７】
この要求は、独立請求項において規定されるような方法およびデバイスによって取扱われる。従属請求項は、好ましい実施形態または有利な実施形態を規定する。
【０００８】
本発明の一局面に従って、交通標識を分類する方法が提供され、この方法は、交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を交通標識が有するかどうかを確立することを含む。交通標識上で直線に延びる少なくとも１つのグラフィカル特徴は、例えば、交通標識上で直線に延びる１つまたは複数の線またはストライプであり得る。この方法において、交通標識の少なくとも一部分を表す画像データの一部分が識別される。画像データの部分の二次元スペクトル表現が計算される。二次元スペクトル表現の係数は、フーリエ空間における１つの線に沿って配置されるフーリエ空間座標に対して決定され、この線は、フーリエ空間において選択される方向を有する。決定された係数に基づいて、交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を交通標識が有するかどうかが確立される。
【０００９】
この方法において、交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を交通標識が有するかどうかを確立するために、画像データの部分のスペクトル表現に含まれる情報が利用される。画像データの部分は、第１の画像座標によって、および第２の画像座標によって識別される複数の部分に対して、それぞれ、画像座標のペアに関連付けられるカラー情報または輝度情報に対応し得る値を有する。例示のために、画像データの部分の画像座標の各ペアは、それに関連付けられるグレースケール値を有し得る。画像データの部分は、しかるに、第１の画像座標および第２の画像座標の二次元関数を表すと考えられ得る。二次元スペクトル表現は、画像データの部分に対して計算され得る。スペクトル表現の係数は、画像の特徴属性であり、画像の特徴属性は、画像認識において利用され得、および、効率的アルゴリズムを使用して計算され得る。
【００１０】
本明細書において使用されるように、および画像認識の技術分野における専門用語に従って、画像データの二次元スペクトル表現は、二次元関数として解釈される場合、直交基底関数において、二次元画像データの級数展開の係数を提供する。直交基底関数は、直交基底関数がそれぞれ、明確な空間周波数を有する画像座標の関数として周期的に変化するようなものであり得る。二次元スペクトル表現に対する実例は、二次元フーリエ変換、二次元コサイン変換、および二次元サイン変換を含み、このような変換の離散的変形および連続的変形があること、および、これらの方法変換は、高速フーリエ変換（ＦＦＴ）または他の効率的アルゴリズムなどの様々なアルゴリズムを使用して数値的に計算され得ることが理解される。
【００１１】
さらに、本明細書において使用されるように、および画像認識の技術分野における専門用語に従って、フーリエ空間という用語は、直交基底関数の空間周波数に対応する座標を有する空間を指し、この直交基底関数において、画像データの級数展開が計算される。フーリエ空間という用語は、二次元スペクトル表現が画像データの部分のフーリエ変換でなければならないことを暗示するのではないが、直交基底関数の空間周波数に対応する座標を有する空間を等価的に指し、この直交基底関数において、直交基底関数が例えばコサイン関数またはサイン関数である場合、画像データの級数展開が計算される。しばしば、フーリエ空間はまた、画像認識の分野において、ｋ空間としても参照される。例示のために、フーリエ空間における座標のペアｋ１、ｋ２は、スペクトル分解の基底関数に関連付けられ、この基底関数は、ｋ１によって決定される第１の画像座標軸ｘ１に沿って第１の空間周波数を有し、ｋ２によって決定される第２の画像座標軸ｘ２に沿って第２の空間周波数を有する。限定するよりはむしろ例示のため、フーリエ空間における座標のペアｋ１、ｋ２に関連付けられる基底関数は、ｋ１・ｘ１・π／Ｎ１の関数として変化するコサインと、ｋ２・ｘ２・π／Ｎ２の関数として変化するコサインとの積であり得、ここで、Ｎ１およびＮ２は、それぞれ、ｘ１方向およびｘ２方向に沿う全ての画像の点の数を示す。フーリエ空間における１つの線に沿って評価されるスペクトル表現の係数は、フーリエ空間における１つの線に沿って配置されるｋ１およびｋ２を有する一組のスペクトル表現の係数Ｕ（ｋ１，ｋ２）であり得る。
【００１２】
この方法において、フーリエ空間における線の方向であって、この方向に沿って二次元スペクトル表現の係数が決定される、方向は、少なくとも１つのグラフィカル特徴が（存在する場合に）交通標識上で延びる方向に基づいて選択され得る。ドイツにおける制限終了標識などの様々な交通標識は、特定の方向に直線に延びるグラフィカル特徴を有する（例えば、ドイツにおける制限終了標識上で正の水平方向から４５°の角度で延びる５つのストライプ）。交通標識上のグラフィカル特徴の既知のあり得る方向に基づいて、フーリエ空間における線の方向を選択することにより、検出感度は、所定の方向に沿って直線に延びるグラフィカル特徴を有する交通標識に対して、選択的に強化され得る。
【００１３】
この方法において、フーリエ空間における線の方向を選択することは、例えば下記のように実行され得る。画像空間における第１の方向に対してαの角度を有する方向に延びるグラフィカル特徴を交通標識が有するかどうかを確立することが意図される場合、角度αは既知である。例示のために、角度αは、第１の画像空間座標軸と、画像座標系の象限Ｉおよび象限ＩＶに位置を定めされる直線に延びるグラフィカル特徴の部分とによって囲まれる角度であり得る。それから、フーリエ空間における線の方向は、その方向がフーリエ空間における第１の方向に対してβの角度を囲むように選択され得る。例示のために、角度βは、第１のフーリエ空間座標軸と、フーリエ座標系の象限Ｉおよび象限ＩＶに位置を定めされるフーリエ空間における線の部分とによって囲まれる角度であり得る。フーリエ空間における線の方向は、８５°≦│β−α│≦９５°であるように、特に８８°≦│β−α│≦９２°であるように、特に８９°≦│β−α│≦９１°であるように選択され得る。言い換えれば、フーリエ空間における線の方向は、方向であって、この方向に沿ってグラフィカル特徴が（存在する場合に）画像空間における交通標識上で延びる、方向に対して、±５°の範囲内で直交するように選択され得る。それによって、特定の方向に沿って配置される直線に延びるグラフィカル特徴を有する交通標識を認識する際の感度が強化され得る。
【００１４】
この方法において、二次元スペクトル表現の係数は、フーリエ空間における１つの線に沿って配置されるフーリエ空間座標に対して決定され得、この線は、スペクトル分解の基底関数に関連付けられるフーリエ空間における点を通過し、この基底関数は、例えば定数関数など、画像空間におけるゆっくりとした空間変動を明示する。画像空間からフーリエ空間への変換の特定の実装に依存して、線は、例えば、（ｋ１，ｋ２）＝（０，０）、（ｋ１，ｋ２）＝（０，Ｎ２−１）、（ｋ１，ｋ２）＝（Ｎ１−１，０）、または類似の点を通過するように選択され得る。それによって、フーリエ空間における線に沿う二次元スペクトル表現の決定される係数は、画像データの部分に対してとられる線積分を指し得る。このような線積分は、交通標識上で直線に延びるグラフィカル特徴がある場所において、例えば、顕著なピークまたはディップなど、顕著な特徴を明示し得る。
【００１５】
この方法において、交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を交通標識が有するかどうかを確立することは、フーリエ空間における線からずれているフーリエ空間における点に対応する、二次元スペクトル表現の係数とは関係なく実行され得る。
【００１６】
この方法において、交通標識が少なくとも１つの直線状グラフィカル特徴を有するかどうかを確立することは、フーリエ空間における線に沿って配置される二次元の地理的表現の係数にのみ基づいて実行され得る。
【００１７】
この方法において、二次元スペクトル表現を計算するために、二次元離散コサイン変換、二次元離散サイン変換または二次元離散フーリエ変換が、画像データの部分に対して実行され得る。これらの方法の変換のうちの任意の１つを使用して決定される係数はまた、例えば、サポートベクターマシンにおいてなど、さらなる画像認識ステップにおける特徴属性としても使用され得る。さらに、このような変換は、効率的な態様において計算され得る。それによって、交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を交通標識が有するかどうかを確立するために必要な時間オーバーヘッドが適度に保たれ得る。
【００１８】
この方法において、画像空間における１つの線に沿う位置で評価される、画像データの部分のラドン変換の値は、交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を交通標識が有するかどうかを確立するために、決定された係数に基づいて推定され得る。画像データの部分のラドン変換は、画像データの部分に対する線積分を指し、直線に延びるグラフィカル特徴の存在が識別されることを可能にする。
【００１９】
この方法において、画像空間における関数は、交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を交通標識が有するかどうかを確立するために、二次元スペクトル表現の決定された係数をフーリエ空間から画像空間へ変換することによって計算され得る。フーリエ空間から、実の、つまり画像空間へ戻る変換を実行することによって、直線に延びるグラフィカル特徴の数、および／または、直線に延びるグラフィカル特徴の位置がより容易に識別され得る。
【００２０】
この方法において、画像空間における関数は、二次元スペクトル表現の係数に対して、一次元逆離散コサイン変換、一次元逆離散サイン変換または一次元逆フーリエ変換を実行することによって計算され得、ここで、二次元スペクトル表現の係数は、フーリエ空間における線に沿ってフーリエ空間座標に対して決定されている。それによって、画像データの部分のラドン変換に対する近似が生成され得る。
【００２１】
この方法において、交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を交通標識が有するかどうかを確立するために、閾値比較が画像空間における関数に対して実行され得る。閾値比較を使用して、交通標識上で直線に延びるグラフィカル特徴の有無の堅牢な識別が実装され得る。
【００２２】
この方法は、フーリエ空間における少なくとも別の線に沿って配置されるフーリエ空間座標に対する二次元スペクトル表現の係数を決定することをさらに包含し得る。その後、交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を交通標識が有するかどうかを確立することは、フーリエ空間における線に沿って配置されるフーリエ空間座標に対して決定された係数に基づいて、および、フーリエ空間における少なくとも別の線に沿って配置されるフーリエ空間座標に対して決定された係数に基づいて実行され得る。フーリエ空間における複数の異なる線に沿って配置されるフーリエ空間座標に対して決定されたスペクトル表現の係数に対する情報を利用することによって、交通標識上で様々な方向に沿って直線に延びるグラフィカル特徴を交通標識が有するかどうかが確立され得る。さらに、画像データにおいて直線に延びるグラフィカル特徴の象徴は、フーリエ空間における複数の異なる線に沿ってフーリエ空間座標に対して決定されたスペクトル表現の係数に対する情報を比較することによって識別され得る。なおもさらに、画像化された交通標識におけるずれ角度は（そのような角度は、水平軸に対する角度であって、理論的に予期される方向とは異なる角度を有する少なくとも１つのグラフィカル特徴につながり得る）、フーリエ空間における複数の異なる線に沿って決定されたスペクトル表現の係数に対する情報がいつ利用されるかということに対する説明となり得る。
【００２３】
この方法において、フーリエ空間における線に沿う二次元スペクトル表現の係数に基づいて、交通標識が制限終了標識であるかどうかが確立され得る。多くの国において、制限終了標識は、共通の特徴として、１つまたは数個の直線に延びる特徴を有する標識の部類である。例示のために、ドイツにおいて、制限終了標識は、水平軸に対して４５°の角度で延びる５本の平行線を有する円形の交通標識である。この方法は、それゆえ、交通標識が制限終了標識の部類に属するかどうかを識別するために利用され得る。
【００２４】
この方法は、交通標識のさらなる分類のために、少なくとも１つの画像認識モジュールに対して画像データの部分を提供することをさらに包含し得る。画像データの部分が提供される、この少なくとも１つの画像認識モジュールは、交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を交通標識が有するかどうかの確立の結果に基づいて、複数の画像認識モジュールから選択され得る。それによって、さらなる画像認識は、交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を交通標識が有するかどうかを確立することによって助けられ得る。
【００２５】
この方法において、交通標識のさらなる分類のために、画像データの部分が少なくとも１つの画像認識モジュールに提供される場合、二次元スペクトル表現の１つの係数または複数の係数もまた、各画像認識モジュールに提供され得る。この１つの係数または複数の係数は、各画像認識モジュールによって特徴属性として使用され得る。各画像認識モジュールは、提供された１つの係数または複数の係数に（少なくとも部分的に）基づいて、さらなる画像分類または画像認識を実行するように構成され得、これらの係数は、交通標識上で直線に延びる１つまたは複数の特徴を交通標識が有するかどうかを確立するために前もって利用されている。
【００２６】
本発明の別の局面に従って、コンピュータプログラム製品が提供され、このコンピュータプログラム製品は、その上に命令を格納しており、この命令は、電子デバイスのプロセッサによって実行される場合、電子デバイスに対して、任意の一局面または一実施形態に従う方法を実行するように指令する。コンピュータプログラム製品は、命令が格納される記憶媒体を備え得る。記憶媒体は、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／Ｗ、ＤＶＤ、持続型メモリ、フラッシュメモリ、半導体メモリ、およびハードドライブメモリなどのリムーバブルな記憶媒体を含むグループから選択され得る。
【００２７】
本発明の別の局面に従って、交通標識を分類するデバイスが提供される。デバイスは、画像データを受信するように構成される入力と、画像データを受信するための入力に連結される処理デバイスとを備える。処理デバイスは、交通標識の少なくとも一部分を表す画像データの一部分を識別し、画像データの部分の二次元スペクトル表現を計算し、フーリエ空間における１つの線に沿って配置されるフーリエ空間座標に対して、二次元スペクトル表現の係数を決定し、決定された係数に基づいて、交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を交通標識が有するかどうかを確立するように構成される。
【００２８】
上記の様々な局面および実施形態に従う方法に関して説明されてきたように、この構成を有するデバイスは、交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を交通標識が有するかどうかを確立するように適応される。この確立は、画像データの部分のスペクトル表現に基づき得る。スペクトル表現は、効率的に計算され得る。さらに、さらなる画像認識において、例えば、サポートベクターマシンにおける特徴属性として、スペクトル表現に含まれる情報が利用され得る。
【００２９】
デバイスは、デバイスに画像データを提供するために、入力に連結されるカメラをさらに備え得る。それによって、車両の環境における交通標識が分類され得る。
【００３０】
デバイスは、本明細書において説明される任意の一局面または一実施形態の方法を実行するように構成され得る。特に、処理デバイスは、様々な局面または実施形態に従う方法を参照して説明された様々な変換ステップおよび計算ステップを実行するように構成され得る。
【００３１】
本発明の別の局面に従って、車両のための運転者支援システムが提供され、運転者支援システムは、任意の一局面または一実施形態に従って交通標識を認識するデバイスを備える。それによって、車両に取り付けられた運転者支援システムによる交通標識の分類が助けられ得る。
【００３２】
本発明の様々な局面および実施形態に従う、方法およびデバイスは、交通標識を分類または認識することが望ましくまたは必要である全ての適用分野において利用され得る。車両に取り付けられた運転者支援システム、または、デジタルマップを生成するために利用され得る自動特徴抽出のための方法およびシステムが、可能な適用分野であることが予想される。しかしながら、本発明は、限定よりはむしろ例示のために言及されているこれらの特定用途に限定されない。
【００３３】
以上により、本発明は、以下の手段を提供する。
【００３４】
（項目１）
交通標識（２１；５１；６１；７１）を分類する方法であって、該方法は、該交通標識（２１；５１；６１；７１）上で直線に延びている少なくとも１つのグラフィカル特徴（２２）、特に、該交通標識（２１；５１；６１；７１）上で直線に延びている１つまたは複数の線またはストライプを、該交通標識（２１；５１；６１；７１）が有するかどうかを確立することを含み、
該方法は、電子デバイス（５）が、
該交通標識（２１；５１；６１；７１）の少なくとも一部分を表す画像データの一部分（２６）を識別するステップと、
該画像データの該一部分（２６）の二次元スペクトル表現の係数（３２；７２）を計算するステップと、
フーリエ空間（３１）において１つの線（３３）に沿って配置されているフーリエ空間座標に対して、該二次元スペクトル表現の該係数（３２；７２）を決定するステップであって、該線（３３）は、フーリエ空間（３１）において選択される方向を有する、ステップと、
該決定された係数（３２；７２）に基づいて、該交通標識（２１；５１；６１；７１）上で直線に延びている該少なくとも１つのグラフィカル特徴（２２）を該交通標識（２１；５１；６１；７１）が有するかどうかを確立するステップと
を実行することを包含する、方法。
【００３５】
（項目２）
フーリエ空間（３１）における上記線（３３）の方向は、１つの方向（２３）に基づいて選択され、上記少なくとも１つのグラフィカル特徴（２２）が存在する場合、該少なくとも１つのグラフィカル特徴（２２）が該１つの方向（２３）に沿って上記交通標識（２１；５１；６１；７１）上に延びている、上記項目のいずれかに記載の方法。
【００３６】
（項目３）
上記少なくとも１つのグラフィカル特徴（２２）が存在する場合、該少なくとも１つのグラフィカル特徴（２２）は、上記交通標識（２１；５１；６１；７１）上で、画像空間における第１の方向に対してαの角度（２４）を有する方向に直線に延び、フーリエ空間（３１）における上記線（３３）は、フーリエ空間における第１の方向に対してβの角度（３４）を有し、
フーリエ空間における該第１の方向は、画像空間における該第１の方向に関連付けられているスペクトル成分を表し、
フーリエ空間（３１）における該線（３３）の該方向は、８５°≦│β−α│≦９５°であるように、特に８８°≦│β−α│≦９２°であるように、特に８９°≦│β−α│≦９１°であるように選択される、上記項目のいずれかに記載の方法。
【００３７】
（項目４）
上記二次元スペクトル表現の上記係数（３２；７２）を計算するために、二次元離散コサイン変換、二次元離散サイン変換または二次元離散フーリエ変換が、上記画像データの上記一部分に対して実行される、上記項目のいずれかに記載の方法。
【００３８】
（項目５）
画像空間における１つの線（２５；５２，５３；６２〜６４）に沿う位置で評価された上記画像データの上記一部分のラドン変換の値は、上記交通標識（２１；５１；６１；７１）上で直線に延びている上記少なくとも１つのグラフィカル特徴（２２）を該交通標識（２１；５１；６１；７１）が有するかどうかを確立するために、上記決定された係数（３２；７２）に基づいて推定される、上記項目のいずれかに記載の方法。
【００３９】
（項目６）
画像空間における関数（３７；５４，５５；６５〜６７）は、上記交通標識（２１；５１；６１；７１）上で直線に延びている少なくとも１つのグラフィカル特徴（２２）を該交通標識（２１；５１；６１；７１）が有するかどうかを確立するために、上記決定された係数（３２；７２）をフーリエ空間（３１）から画像空間へ変換することによって計算される、上記項目のいずれかに記載の方法。
【００４０】
（項目７）
画像空間における上記関数（３７；５４，５５；６５〜６７）は、一次元逆離散コサイン変換、一次元逆離散サイン変換または一次元逆フーリエ変換を上記決定された係数（３２；７２）に対して実行することによって計算される、上記項目のいずれかに記載の方法。
【００４１】
（項目８）
上記交通標識（２１；５１；６１；７１）上で直線に延びている少なくとも１つのグラフィカル特徴（２２）を該交通標識（２１；５１；６１；７１）が有するかどうかを確立するために、閾値比較が画像空間における上記関数（３７；５４，５５；６５〜６７）に対して実行される、上記項目のいずれかに記載の方法。
【００４２】
（項目９）
フーリエ空間（３１）における少なくとも別の線（３５，３６）に沿って配置されているフーリエ空間座標に対する上記二次元スペクトル表現の係数を決定することをさらに包含し、
上記交通標識（２１；５１；６１；７１）上で直線に延びている上記少なくとも１つのグラフィカル特徴（２２）を該交通標識（２１；５１；６１；７１）が有するかどうかの確立することは、フーリエ空間（３１）における上記線（３３）に沿って配置されているフーリエ空間座標に対して決定された上記係数（３２；７２）に基づいて、かつ、フーリエ空間（３１）における該少なくとも別の線（３５，３６）に沿って配置されているフーリエ空間座標に対して決定された係数に基づいて実行される、上記項目のいずれかに記載の方法。
【００４３】
（項目１０）
上記決定された係数（３２；７２）に基づいて、上記交通標識（２１；５１；６１；７１）が制限終了標識であるかどうかを確立する、上記項目のいずれかに記載の方法。
【００４４】
（項目１１）
上記交通標識（２１；５１；６１；７１）のさらなる分類のために、少なくとも１つの画像認識モジュールに対して上記画像データの上記一部分（２６）を提供することをさらに包含し、
該画像データの該一部分（２６）が提供される該少なくとも１つの画像認識モジュールは、該交通標識（２１；５１；６１；７１）上で直線に延びている上記少なくとも１つのグラフィカル特徴（２２）を該交通標識（２１；５１；６１；７１）が有するかどうかを確立することの結果に基づいて、複数の画像認識モジュールから選択される、上記項目のいずれかに記載の方法。
【００４５】
（項目１２）
コンピュータ読み取り可能媒体であって、
該コンピュータ読み取り可能媒体は命令を格納し、該命令は、電子デバイス（２）のプロセッサ（４）によって実行される場合、該電子デバイス（２）に、上記項目のいずれかに記載の方法を実行するように指令する、コンピュータ読み取り可能媒体。
【００４６】
（項目１２ａ）
コンピュータプログラム製品であって、
該コンピュータプログラム製品は、該コンピュータプログラム製品上に命令を格納し、該命令は、電子デバイス（２）のプロセッサ（４）によって実行される場合、該電子デバイス（２）に対して、上記項目のいずれかに記載の方法を実行するように指令する、コンピュータプログラム製品。
【００４７】
（項目１３）
交通標識（２１；５１；６１；７１）を分類するデバイスであって、
画像データを受信するように構成されている入力（３）と、
該画像データを受信する該入力（３）に連結されている処理デバイス（４）と
を備え、
該処理デバイスは、
該交通標識（２１；５１；６１；７１）の少なくとも一部分を表す該画像データの一部分（２６）を識別することと、
該画像データの該一部分（２６）の二次元スペクトル表現の係数（３２；７２）を計算することと、
フーリエ空間（３１）における１つの線（３３）に沿って配置されているフーリエ空間座標に対して、該二次元スペクトル表現の係数（３２；７２）を決定することと、
該決定された係数（３２；７２）に基づいて、該交通標識（２１；５１；６１；７１）上で直線に延びている少なくとも１つのグラフィカル特徴（２２）を該交通標識（２１；５１；６１；７１）が有するかどうかを確立することと
を行うように構成されている、デバイス。
【００４８】
（項目１４）
上記デバイス（２）は、上記項目のいずれかに記載の方法を実行するように構成されている、上記項目のいずれかに記載のデバイス。
【００４９】
（項目１５）
車両のための運転者支援システムであって、
上記項目のいずれかに記載の交通標識（２１；５１；６１；７１）を認識するためのデバイス（２）を備えている、運転者支援システム。
【００５０】
（摘要）
交通標識（２１）上で直線に延びる少なくとも１つのグラフィカル特徴（２２）を交通標識（２１）が有するかどうかを確立するように構成される、方法およびデバイスが説明される。交通標識（２１）の少なくとも一部分を表す画像データの一部分が識別される。画像データの部分の二次元スペクトル表現の係数（３２）が計算される。二次元スペクトル表現の係数（３２）は、フーリエ空間（３１）における１つの線（３３）に沿って配置されるフーリエ空間座標に対して決定される。決定された係数（３２）に基づいて、交通標識（２１）上で直線に延びる少なくとも１つのグラフィカル特徴（２２）を交通標識（２１）が有するかどうかが確立される。
【００５１】
本発明の複数の実施形態は、添付の図面を参照してより詳細に説明される。
【図面の簡単な説明】
【００５２】
【図１】図１は、一実施形態に従って交通標識を分類するデバイスが装備された車両システムのブロック図である。
【図２Ａ】図２Ａおよび図２Ｂは、交通標識を表す画像データおよびそのような画像データの一部分の概略図である。
【図２Ｂ】図２Ａおよび図２Ｂは、交通標識を表す画像データおよびそのような画像データの一部分の概略図である。
【図３】図３は、一実施形態に従う、方法およびデバイスにおいて利用される、二次元スペクトル図の係数の概略図である。
【図４】図４は、別の実施形態に従う、方法およびデバイスにおいて利用される、二次元スペクトル図の係数の概略図である。
【図５】図５は、一実施形態に従う、方法およびデバイスにおける二次元スペクトル図の係数に基づいて計算される座標空間における関数の概略図である。
【図６】図６は、一実施形態に従う方法のフロー図である。
【図７Ａ】図７Ａは、交通標識の例示的画像データを示す。
【図７Ｂ】図７Ｂおよび図７Ｃは、一実施形態に従う、方法およびデバイスを用いて計算される例示的関数を示す。
【図７Ｃ】図７Ｂおよび図７Ｃは、一実施形態に従う、方法およびデバイスを用いて計算される例示的関数を示す。
【図８Ａ】図８Ａは、別の交通標識の例示的画像データを示す。
【図８Ｂ】図８Ｂは、一実施形態に従う、方法およびデバイスを用いて計算される例示的関数を示す。
【図９】図９は、一実施形態に従う、方法およびデバイスにおいて利用される交通標識を表す画像データの二次元スペクトル図の係数を例示する。
【図１０Ａ】図１０Ａは、さらなる複数の実施形態に従う方法を例示するグラフである。
【図１０Ｂ】図１０Ｂは、さらなる複数の実施形態に従う方法を例示するグラフである。
【図１０Ｃ】図１０Ｃは、さらなる複数の実施形態に従う方法を例示するグラフである。
【図１１】図１１は、別の実施形態に従う方法のフロー図である。
【発明を実施するための形態】
【００５３】
（好ましい実施形態の詳細な説明）
本発明の例示的実施形態は、以下の図面を参照して説明される。本発明が特定の実施形態に限定されないことは理解されるべきである。例示のために、いくつかの実施形態は、車両に搭載されて提供される運転者支援システムに関連して説明されるが、複数の実施形態に従う、方法およびデバイスはまた、デジタルマップを生成するための記録済み画像シーケンスの分析など他の分野の用途において実装され得る。さらに別に明確に述べられない限り、様々な実施形態の特徴は、互いに組み合わせられ得る。
【００５４】
交通標識を分類する方法およびデバイスが提供される。方法およびデバイスは、交通標識が交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を有するかどうかを確立するように構成される。限定するよりはむしろ例示のため、そのような交通標識の実例は、ドイツなど様々な国おける制限終了標識である。複数の実施形態に従って、画像データの一部分は、画像空間（すなわち、座標として画素を有する空間）からフーリエ空間（すなわち、座標として、一組の周期的に変化する正規直交基底関数の空間周波数を有する空間）への変換に従い得る。
【００５５】
様々な実施形態に従う方法およびデバイスにおいて、画像データまたは画像データの一部分は、画像空間からフーリエ空間への変換を実行するなどの様々な演算に従う。画像データの各画素は、各画素に少なくとも１つの値を関連付ける。画像データは、二次元のデータフィールドまたはより詳細に以下に説明される演算に従い得る信号であると解釈され得る。例示のために、様々な演算が実行され得る画像データの画素に関連付けられる値は、グレースケール画像のグレースケール値であり得る。画像データが、各画素に対してカラー情報を有する場合、ＲＧＢ、ＣＭＹＫまたは類似のものなどのカラーモデルのカラー要素は、そのカラー要素に対して様々な演算が実行される前にグレースケールに変換され得る。代わりに、様々な演算はまた、カラーモデルのカラー要素の値のうちの１つに対して実行され得る。
【００５６】
図１は、車両ボードネットワーク１０に連結された運転者支援デバイス１の概略図を示す。運転者支援デバイス１は画像認識デバイス２を含み、画像認識デバイス２は本明細書に説明される方法のうちの任意の１つに従って交通標識を分類するように構成される。運転者支援デバイス１は、二次元（２Ｄ）カメラ６と、三次元（３Ｄ）カメラ７と、ユーザインタフェース８とをさらに含む。画像認識デバイス２、２Ｄカメラ６およびＤカメラ７は、バス６を介して、互いにそして車両ボードネットワーク１０に連結される。車両ボードネットワーク１０は、車両の挙動に影響を及ぼすように適合される様々なコントローラまたは車両システム１１、１２を含み得る。コントローラまたは車両システム１１、１２の例は、アンチロックブレーキシステム（ＡＢＳ）と、牽引力制御システム（ＰＣＳ）と、電子安定プログラム（ＥＳＰ）とを含む。
【００５７】
２Ｄカメラ６は、運転者支援デバイス１が取り付けられた車両の環境の画像を捕獲するように適合される。２Ｄカメラは、電磁放射を受信し、車両の環境の画像を表す画像データを画像認識デバイス２に提供するように適合される電荷結合素子（ＣＣＤ）センサまたは別のセンサを含み得る。２Ｄカメラによって捕獲された画像は、複数の画素に関して、少なくとも、グレースケール情報または輝度情報に変換可能なグレースケール値またはカラー要素を含む。
【００５８】
３Ｄカメラ７は、車両の環境の３Ｄ画像を捕獲するように適合される。３Ｄ画像は、３Ｄカメラ７の視界（ＦＯＶ）の深度マップである。深度マップは、３Ｄ画像の画素にマッピングされる、３ＤカメラのＦＯＶにおける複数の方向に対する距離情報を含み得る。３Ｄカメラ７は、２Ｄカメラ６のＦＯＶとオーバーラップするＦＯＶを有する。３Ｄカメラ７は、例えばフォトニックミキサデバイス（ＰＤＭ）センサなどの飛行時間（ＴＯＦ）センサを含み得る。運転者支援システム１は、交通標識に対応する、２Ｄカメラによって提供される画像データの一部分を識別する際に利用され得る３Ｄカメラ７を有するように示されるが、３Ｄカメラは、他の複数の実施形態において省略され得る。
【００５９】
画像認識デバイス２は、バス９に連結されるインタフェース３を有し、２Ｄカメラ６から画像データ、および３Ｄカメラ７が備え付けられている場合、３Ｄカメラ７から３Ｄ画像データを受信する。画像認識デバイス２は、画像データを処理するように適合される１つ以上のプロセッサを含み得る処理デバイス４をさらに有する。画像認識デバイス２は、命令コードが格納され得る記憶媒体５をさらに有し、その命令コードは、処理デバイス４によって実行される場合、２Ｄカメラ６によって提供される画像データを処理デバイス４が処理するようにさせ、交通標識上で直線に延びる１つの線もしくはストライプまたは複数の線もしくはストライプなどの少なくとも１つのグラフィカル特徴を交通標識が有するかどうかを確立する。記憶媒体５は、例えば、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／Ｗ、ＤＶＤ、持続型メモリ、フラッシュメモリ、半導体メモリ、またはハードドライブメモリであり得る。
【００６０】
画像認識デバイス２は、処理デバイス４が、動作時、２Ｄ画像を表す画像データを受信し、画像データを処理し、交通標識の少なくとも一部分を表す画像データの一部分を識別し、交通標識が交通標識上で直線に延びる１つまたは複数のグラフィカル特徴を含むかどうかを確立するように構成される。処理デバイス４は、画像データの部分の二次元スペクトル表現を計算するために、画像データの部分において変換を実行するように構成され得る。変換は、例えば、離散コサイン変換、離散サイン変換または離散フーリエ変換であり得る。処理デバイス４は、離散フーリエ変換アルゴリズムなどの高速アルゴリズムを用いて変換を計算するように構成され得る。処理デバイス４は、フーリエ空間において１つまたは複数の線に沿って、スペクトル表現、すなわちスペクトルドメインに変換される画像データの部分の係数を評価するように構成され得る。
【００６１】
処理デバイス４は、交通標識の少なくとも一部分を表す画像データの一部分を識別するために、形状認識が実行され得るように構成され得る。一実装において、画像データにおける循環を有する交通標識を識別するために循環ハフ変換が実行され得る。別の実装において、３Ｄカメラ７によって提供される３Ｄ画像データは、交通標識を識別するために利用され得る。３Ｄ画像データは、深度マップを含み、それによって、車両の環境のセグメンテーションを提供する。３Ｄカメラ７によって提供される３Ｄ画像データは、２Ｄカメラ６によって提供される画像データにおいて交通標識に対応する大きさおよび／または形状を有する本質的に平面の物体を識別するために評価され得る。
【００６２】
処理デバイス４は、画像データの部分の二次元のスペクトル表現を計算するために、離散コサイン変換
【００６３】
【数１】
が計算されるように構成され得る。ここで、ｕ（ｎ１，ｎ２）は、画像空間において座標（ｎ１，ｎ２）を有する画素に関連付けられる、例えばグレースケール値などの値を表し、Ｎ１は、第１の空間方向での画像データの部分における全画素数を表し、Ｎ２は、第１の空間方向に直交する第２の空間方向での画像データの部分における全画素数を表し、ｋ１およびｋ２は、０≦ｋ１≦Ｎ１−１かつ０≦ｋ２≦Ｎ２−１で、式（１）におけるスペクトル表現のコサイン基底関数の空間変動周波数を表し、そしてＵ（ｋ１，ｋ２）は、ｘ１軸およびｘ２軸にそれぞれ沿う空間周波数ｋ１およびｋ２に関連付けられるコサイン関数における空間表現の係数である。離散コサイン変換の他の変数が公知であり、これらもまた用いられ得る。代わりにまたはさらに、処理デバイス４は、画像データの部分の二次元のスペクトル表現を計算するために、離散フーリエ変換
【００６４】
【数２】
が計算されるように構成され得、ここで、Ｕ（ｋ１，ｋ２）は、ｘ１軸およびｘ２軸にそれぞれ沿う空間周波数ｋ１およびｋ２に関連付けられる虚引数（ｉｍａｇｉｎａｒｙ ａｒｇｕｍｅｎｔ）を有する指数関数における空間表現の係数である。式（２）における他のすべての変数は、式（１）を参照して説明されるように定義される。
【００６５】
処理デバイス４は、交通標識が交通標識上で直線に延びる１つまたは複数のグラフィカル特徴を有するかどうかを確立するために、スペクトル表現Ｕ（ｋ１，ｋ２）の係数は、フーリエ空間において線に沿って位置を定められる（ｋ１，ｋ２）の値に対して分析されるように構成され得る。一実装において、処理デバイス４は、０≦ｋ１≦Ｎ１−１および
【００６６】
【数３】
に対する係数Ｕ（ｋ１，ｋ２）を分析するように構成され得、ここで、ｐおよびｑは、フーリエ空間における線であって、それに沿ってＵ（ｋ１，ｋ２）が評価される、フーリエ空間における線を特徴とする有理値である。ここで、ｆｌｏｏｒ（・）は、ｆｌｏｏｒ関数を示す。別の実装において、処理デバイス４は、０≦ｋ１≦Ｎ１−１および
【００６７】
【数４】
に対する係数Ｕ（ｋ１，ｋ２）を分析するように構成され得、ここで、ｐおよびｑは、フーリエ空間における線であって、それに沿ってＵ（ｋ１，ｋ２）が評価される、フーリエ空間における線を特徴とする有理値である。ここで、ｃｅｉｌｉｎｇ（・）は、ｃｅｉｌｉｎｇ関数を示す。画像空間座標の有限数に関して、上記に示されるように定義されるｋ２の値は、０≦ｋ２≦Ｎ２−１を満たすために、Ｎ２の倍数の減法によって０〜Ｎ２−１の範囲のドメインに変換される必要があり得ることは理解される。そのような技術は画像認識の分野において周知であるので、詳細な説明は省略され得る。
【００６８】
フーリエ空間における線であって、その線からスペクトル表現Ｕ（ｋ１，ｋ２）の係数がさらなる分析のためにとられる、線、すなわちパラメータｐおよびｑは、交通標識が街路に対して正しく配向されているとき、交通標識上で直線に延びるグラフィカル特徴の公知の配向に基づいて選択され得る。例示のために、画像空間座標系において交通標識全体にわたり傾きｐ’で延びる１つまたは複数の線を交通標識が有するか否かを確立することによって交通標識を分類することが所望される場合、パラメータｐおよびｑは、ｐ＝−１／ｐ’およびｑ＝０またはｑ＝Ｎ２−１であるように選択され得る。すなわち、フーリエ空間における線は、実空間におけるゆっくり変化する関数に関連付けられるフーリエ空間における点を通過し、画像空間における交通標識上でグラフィカル特徴が延びる方向に線が本質的に直交するように配向されるように選択され得る。図１０を参照してさらに説明されるように、フーリエ空間における線のそのような選択に関して、例えば一次元逆離散コサイン変換（ＩＤＣＴ）または一次元逆離散フーリエ変換を用いて、フーリエ空間における線に沿って位置を決められる（ｋ１，ｋ２）を有する値Ｕ（ｋ１，ｋ２）をフーリエ空間から戻るように画像空間に変換することによって、画像空間における、結果として生じる関数は、画像データの部分のラドン変換に対する推定を提供する。そのような実装において、交通標識上で直線に延びる特徴を交通標識が有するかどうかについての判定は、フーリエ空間における線に沿って配置される点に対するフーリエ係数に基づくが、フーリエ空間における線からずれた点に関連付けられるフーリエ係数とは関係がない。
【００６９】
さらなる例示のために、図２Ａに例示されるドイツにおける制限終了標識の場合のように、第１の画像空間座標軸に対して４５°の角度で延びる複数の線を交通標識が有するか否かを確立することによって交通標識を分類することが所望される場合、第１のフーリエ空間座標軸に対して１３５°に配向される線に沿って位置を定められる（ｋ１，ｋ２）の値に関連付けられるスペクトル表現Ｕ（ｋ１，ｋ２＝Ｎ２−１−ｋ１）の係数が分析され得る。処理デバイス４は、例えば一次元逆離散コサイン変換（ＩＤＣＴ）または一次元逆離散フーリエ変換を用いて、フーリエ空間から画像空間にＵ（ｋ１，ｋ２＝Ｎ２−１−ｋ１）を変換するように構成され得る。画像空間における結果として生じる関数は、交通標識上で４５°の角度で交通標識上で延びる１つまたは複数の線を示す顕著なディップまたはピークを示す（存在する場合）。
【００７０】
処理デバイス４はまた、交通標識上で直線に延びる、線またはストライプなどの１つまたは複数のグラフィカル特徴を交通標識が有するかどうかを判定するために、２つ以上の異なる線に位置を定められる（ｋ１，ｋ２）の値に対するスペクトル表現Ｕ（ｋ１，ｋ２）の係数が分析され得るように構成され得る。それによって、交通標識は、交通標識上で異なる方向に直線に延びるグラフィカル特徴を有する様々な部類の交通標識に従って分類され得る。
【００７１】
運転者支援システム１の画像認識デバイス５は、交通標識上で所定の方向に延びる複数の線を交通標識が有するか否かに従って、処理デバイス４が画像データをさらに分析するように構成され得る。例示のために、交通標識が制限の終了標識であると確立された場合、画像データは、例えば、サポートベクターマシン、ニューラルネットワークまたはＡｄａｂｏｏｓｔアルゴリズムなどの分級機に提供され得、交通標識がどのタイプの制限終了標識であるかを識別し得る。一実装において、処理デバイス４は、制限終了標識が特定の速度制限の終了またはすべての制限の終了を指示するかどうかを判定するように構成され得る。処理デバイス４によって実行されるさらなる分析はなおも、交通標識が交通標識上に直線に延びる１つまたは複数のグラフィカル特徴を有するかどうかを確立するように決定された画像データの部分のスペクトル表現に基づき得る。
【００７２】
運転者支援システム１の画像認識デバイス５は、画像認識処理の結果によって信号がユーザインタフェース８に出力されるように構成され得る。例示のため、ユーザインタフェース８が現在の速度制限が示される表示を含む場合、画像認識デバイス５は、制限終了標識が検出されたことを指示する情報をディスプレイコントローラに提供し得る。この情報に応答して、ディスプレイコントローラは、ユーザインタフェース８を介して速度制限情報出力を更新し得る。
【００７３】
図２〜図５を参照すると、画像認識２の処理デバイス４の動作は、例示的交通標識を参照してより詳細に説明される。
【００７４】
図２Ａは、交通標識２１を表す画像データを例示する。限定するよりはむしろ例示のため、ドイツにおいて用いられているような、全制限終了交通標識が、図２Ａに例示される。交通標識２１は、交通標識上で方向２３に延びる複数のストライプ２２を有する。交通標識が街路に対して交通標識の従来の配向を有する場合、方向２３は、画像空間において２４に示されるように正の横軸に対して４５°の角度αを囲む。角度αは、第１の画像空間座標軸によって囲まれる角度であり、方向であって、その方向に沿って交通標識上のグラフィカル特徴が直線に延び、画像空間座標系の象限ＩおよびＩＶ（上半分平面）にある、方向である。図２Ｂは、交通標識の内部に対応する画像データ２６の一部分を示す。交通標識および交通標識の内部の一部分は、例えば、３Ｄカメラ７によって提供される３Ｄ画像データに基づく循環ハフ変換または画像セグメンテーションを用いて画像データにおいて識別され得る。画像データがカラー情報を含む場合、画像データは、グレースケール表現に変換され得るが、グレースケール表現に変換される必要はない。図２Ｂに示される複数の線は、例えば、関数
【００７５】
【数５】
で表され得、離散ディラックのδ関数は指数が０である場合１の値を有し、そうでない場合０の値を有し、ここで、「ａ」はｘ２方向における隣接する線間の間隔を示す。画像データの部分２６は、Ｎ１画素がｘ１方向およびＮ２画素がｘ２方向である長方形を有するように選択され得る。画像データの部分２６は、Ｎ１＝Ｎ２である正方形を有するように選択され得る。
【００７６】
図３は、フーリエ空間３１において示されるグレースケール表現において、図２Ｂの画像データの部分２６のスペクトル表現の係数Ｕ（ｋ１，ｋ２）の絶対値を例示する。図３において、離散フーリエ変換によって決定される係数の絶対値│Ｕ（ｋ１，ｋ２）│が例示される。図３のグレースケール表現において、大きい値は暗い色で示され、一方、０の値は白で示される。フーリエ空間３１における係数の表現において例示されるように、有意のスペクトル重みは、画像データにおける複数のストライプ２２の方向に対して本質的に垂直の方向に直線に延びるフーリエ空間の領域３２においてのみ見出される。従って、係数Ｕ（ｋ１，ｋ２）は、フーリエ空間における線３３に沿って配置される（ｋ１，ｋ２）の値、例えばｋ２＝Ｎ２−１−ｋ１に対してさらに分析され得る。
【００７７】
フーリエ空間における線３３は、方向２３であって、その方向に沿ってストライプ２２が画像空間における交通標識上において延びる、方向２３に対して本質的に垂直であるように選択される。図３に例示されるように、線３３は角度βを囲み、角度βはフーリエ空間における正のｋ１軸に対して３４で示される。角度βは、フーリエ空間における正のｋ１軸とフーリエ空間座標系の象限ＩおよびＩＶにおける線３３と間で測定される。フーリエ空間における線３３は、８５°≦│β−α│≦９５°、特に８８°≦│β−α│≦９２°、特に８９°≦│β−α│≦９１°、特に
【００７８】
【数６】
であるように、方向を有する。
【００７９】
図３は、フーリエ空間における１つの線３３であって、その線３３からさらなる分析のためにスペクトル表現の係数がとられる、線３３を示すが、交通標識上で第１の方向に直線に延びる少なくとも１つのグラフィカル特徴が交通標識にあるかどうか、そして交通標識上で第１の方向とは異なる第２の方向に直線に延びる少なくとも１つのグラフィカル特徴が交通標識にあるかどうかを識別することが望まれ得る。さらに、例えば道路面に対して交通標識上のグラフィカル特徴の方向は交通標識が完璧に配向されている場合、理論的に知られ得るが、道路側からのカメラ６の様々な距離、画像獲得の光学的不完全さ、または交通標識自体の不正確な位置決めは、画像データにおける交通標識の画像の角度が変化するという影響を有し得る。そのような状況においてでさえ交通標識が１つ以上の直線に延びるグラフィカル特徴を有するかどうかを確立することが望まれ得る。複数の実施形態において、スペクトル表現の係数は、フーリエ空間における１つの線のみならず複数の線に沿って配置される空間周波数の値（ｋ１，ｋ２）に対してさらに分析され得る。
【００８０】
図４は、図２Ｂの画像データの部分２６の離散フーリエ変換の係数の絶対値を概略的に例示するフーリエ空間３１のグラフィカル表現である。フーリエ空間におけるさらなる線３５および３６が概略的に例示され、線３５および３６からスペクトル表現の係数がさらなる分析のためにとられ得る。例示のために、フーリエ空間における線３５は、０≦ｋ１≦Ｎ１−１で（ｋ１，ｋ２＝ｋ１）によって与えられ、フーリエ空間における線３６は、０≦ｋ２≦Ｎ２−１で（０，ｋ２）によって与えられる。例示のために、フーリエ空間における線３５のほとんどに沿って小さいスペクトル重みしかないので、処理デバイス４は、画像データの部分が画像データの部分２６において１３５°の角度で、すなわちフーリエ空間における線３５の方向に対して垂直に、直線に延びるグラフィカル特徴を有しないことを確立し得る。同様に、フーリエ空間における線３６のほとんどに沿って小さいスペクトル重みしかないので、処理デバイス４は、画像データの部分が画像データの部分２６において水平の方向に、すなわちフーリエ空間における線３６の方向に対して垂直に、直線に延びるグラフィカル特徴を有しないことを確立し得る。
【００８１】
代わりにまたはさらに、交通標識上で直線に延びる特徴があるかどうかを確立するように評価されるスペクトル表現の係数は、画像空間におけるグラフィカル特徴の予期される方向に対して垂直に延びる、フーリエ空間における線３３から小さい角度、例えば５°以下だけ角度がずれている線からとられ得る。そのような線に沿って配置される空間周波数で評価されるスペクトル表現の係数を分析することは、交通標識が交通標識の理論的に予期される配向に対して角度がずれている場合、分類することを助け得る。
【００８２】
図５は、画像空間における関数３７のグラフィカル表現である。関数ｆ（Ｘ）は、スペクトル表現の係数を変換することによって得られ、フーリエ空間における線に沿って空間周波数（ｋ１，ｋ２）の値に対して決定され、画像空間に戻る。画像空間における関数３７は、例えば、一次元逆離散フーリエ変換、一次元逆離散コサイン変換または一次元逆離散サイン変換を実行することによって処理デバイス４により計算され得る。画像空間における関数３７は、顕著なディップ３８を明示する。関数３７におけるディップ３８は、画像データにおけるグラフィカル特徴の方向２３に沿い、画像データの部分２６におけるグラフィカル特徴２６の方向に対して垂直に延びる線２５に沿った様々な位置に対して計算される線積分が、積分がグラフィカル特徴２２のうちの１つに沿って、すなわち平行な５つのストライプのうちの１つに沿って実行されるとき顕著な特徴を明示することを示す。フーリエ空間から、画像空間において関数ｆ（Ｘ）を計算するために用いられる画像空間に戻る変換の特定の実装によって、ｆ（Ｘ）におけるピークまたはディップの数および位置は、必ずしも、最初の画像データにおける直線に延びるグラフィカル特徴の数および位置と１対１の対応でなければならないということではない。しかしながら、ピークまたはディップなどの顕著な特徴は、ｆ（Ｘ）において識別され得、その顕著な特徴は、１つまたは複数の直線に延びるグラフィカル特徴が画像データの部分、すなわち交通標識に存在していることを処理デバイス４が確立することを可能にし、１つまたは複数の直線に延びるグラフィカル特徴は、フーリエ空間（このフーリエ空間からスペクトル表現の係数がｆ（Ｘ）を計算するために取られた）における方向に相互に関係する、画像空間における方向に沿って延びる。
【００８３】
処理デバイス４は、交通標識が交通標識上で所定の方向に直線に延びるグラフィカル特徴を有する交通標識の部類に入るかどうかを確立するためにｆ（Ｘ）に対する閾値比較を実行するように構成され得る。例示のために、閾値３８との比較が実行され得る。ｆ（Ｘ）がＸの少なくともいくつかの値に対して、すなわち少なくともいくつかの画像空間座標に対して閾値３８より小さい場合、処理デバイス４は、交通標識が交通標識上で所定の方向に直線に延びるグラフィカル特徴を有する交通標識の部類に入ると確立し得る。
【００８４】
図６は、一実施形態に従う方法のフロー図である。概して４１で示される方法は、図１の運転者支援デバイス１の画像認識デバイス２によって実行され得る。この方法において、交通標識の分類が実行される。交通標識を分類することは、交通標識が交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を有するかどうかを確立することを含む。
【００８５】
４２で、画像データが検索される。画像データは、運転者支援デバイス１の２Ｄカメラ６などの２Ｄカメラから検索され得る。代わりにまたはさらに、画像データは、例えば記録済み画像を自動的に評価する場合、記憶媒体から検索され得る。
【００８６】
４３で、交通標識を表現する画像データの一部分が識別される。交通標識を表現する部分は、適した画像セグメンテーション方法を使用して識別され得る。例示のために、円形の交通標識がその交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を有するかどうかを確立することによって交通標識を分類することが所望される場合、４３で識別することは、循環ハフ変換を計算することを含む。代わりにまたはさらに、画像データの部分を識別することは、例えば運転者支援デバイス１の３Ｄカメラ７など、３Ｄカメラによって提供される３Ｄ画像データに基づき得る。
【００８７】
４４で、画像データの部分の２次元スペクトル表現の係数が計算される。二次元スペクトル表現を計算することは、二次元離散フーリエ変換、二次元離散コサイン変換または二次元離散サイン変換を計算することを含み得る。
【００８８】
４５で、スペクトル表現の係数は、フーリエ空間における１つの線に沿って位置を定められるフーリエ空間座標に対して決定される。４４で係数が前もって計算されているとき、４５での決定は、スペクトル表現の係数を識別することによって実装され得、スペクトル表現のこれらの係数は、フーリエ空間における１つの線に沿って位置を定められる、フーリエ空間における所定の座標に関連付けられる。スペクトル表現の係数は、フーリエ空間において予め決定される方向を有する１つの線に沿って配置される、フーリエ空間における座標に対して決定され得る。フーリエ空間において予め決定される方向は、方向であって、少なくとも１つのグラフィカル特徴が（存在する場合に）交通標識上に有する、方向に基づいて決定される方向であり得る。代わりにまたはさらに、フーリエ空間において予め決定される方向は、互いに異なる複数の予め決定される方向のうちの１つであり得る。これらの複数の予め決定される方向は、これらの複数の予め決定される方向に沿ったフーリエ空間座標に対するスペクトル表現の係数に基づいて、交通標識が交通標識上で複数の異なる方向のうちの一方向に直線に延びる少なくとも１つのグラフィカル特徴を有する交通標識の部類に属するかどうかが確立され得るようなものであり得る。
【００８９】
４６で、画像空間における関数は、フーリエ空間座標に関連付けられるスペクトル表現の係数に基づいて計算され、このフーリエ空間座標は、フーリエ空間における１つの線に沿って配置される。スペクトル表現を計算するために、係数の一次元変換が計算され得る。例示のために、係数は変換に従い得、この変換は、一次元逆離散フーリエ変換、一次元逆離散コサイン変換または一次元逆離散サイン変換である。画像空間における関数を計算するために４６で用いられる変換は、２次元スペクトル表現を計算するために４４で用いられる変換の、一次元においてではあるが、逆であり得る。
【００９０】
４７で、フーリエ空間における少なくとも１つの他の線に対して係数が決定されるべきであるかどうかが判定される。この場合、他の線は４８で選択され、方法は４５に戻る。
【００９１】
４９で、交通標識が交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を有するかどうかが確立される。４９での確立は、４６で決定される画像空間における単数または複数の関数に基づいて実行され得る。４９での確立は、画像空間における単数または複数の関数が関数値において１つまたは複数の顕著な変化を有するかどうかを判定することを含み得る。閾値比較は、４６で決定される関数のうちのそれぞれに対して、関数が、予め決定された閾値よりも小さいかまたは大きい少なくともいくつかの関数値を有するかどうかを確立するように、それぞれ実行され得る。関数値において顕著な変化が生じる位置は、既知の交通標識において予期される線の位置に対して比較され得る。
【００９２】
さらなるステップが方法に含まれ得る。例示のために、画像空間に戻る一次元変換が計算される前に、フィルタリングがフーリエドメインにおいて実行され得る。フィルタリングは、ぼやけを補償するために実行され得る。フィルタリングは、４４で計算される２二次元スペクトル変換に対して、または、４５で決定される、フーリエ空間における線に沿う係数に対して実行され得る。｜ｆ｜−ｒａｍｐフィルタが使用され得る。
【００９３】
さらなる例示のために、閾値比較が実行される前に、４９で計算される画像空間における関数に対して、正規化が適用され得る。４９で計算される関数は、閾値比較を実行する前に、正規化される関数が１の最大値を有するように正規化され得る。
【００９４】
図７〜図９を参照すると、複数の実施形態に従う、方法およびデバイスは、例示的交通標識に関連してさらに説明される。
【００９５】
図７Ａは、ドイツにおいて使用されているような制限終了標識５１を例示する。図７Ｂは、交通標識５１を表す画像データに図６の方法を適用することによって決定されている、画像空間における関数５４、５５を示す。関数５４は、画像データの一部分に対して二次元離散コサイン変換を実行すること、ｋ１軸に対して１３５°に向けられる１つの線に沿って配置されるフーリエ空間座標に対する係数Ｕ（ｋ１，ｋ２）を決定すること、および画像空間に戻るそのように決定された係数に対して一次元逆離散コサイン変換を実行することによって決定される。関数５５は、ｋ１軸に対して０°（つまり、ｋ１軸に平行）に向けられる１つの線に沿って配置されるフーリエ空間座標に対する係数Ｕ（ｋ１，ｋ２）を決定すること、および画像空間に戻るそのように決定された係数に対して一次元逆離散コサイン変換を実行することによって決定される。関数５４は、顕著なディップ５６を示す。関数５５は、類似の挙動を示さない。関数５４と関数５５を比較することによって、交通標識が、図７Ａ中の５２で示される線に対して垂直に延びる線を有するが、交通標識上で図７Ａ中の５３で示される線に対して垂直の方向に直線に延びる線を有さないことが確立され得る。
【００９６】
図７Ｂにおいて理解され得るように、スペクトル表現の係数を計算するために画像データの部分に対して実行される変換の特定の実装に依存して、および逆の一次元変換に依存して、画像空間における関数５４における顕著なピークまたはディップの数および位置は、画像データにおいて直線に伸びるグラフィカル特徴の数および位置と常に同一である必要はない。特に、コサイン変換またはサイン変換が用いられる場合、オリジナルデータと比較していくらかの情報が失われ得、このことは、画像データに存在する各線が関数ｆ（Ｘ）における別個のピークまたはディップとして識別され得るのではないという効果を有し得る。しかしながら、所定の方向を有するこのようなグラフィカル特徴の有無は、画像空間における関数５４に基づいて確立され得る。
【００９７】
図７Ｃは、画像空間における関数５７を示し、関数５７は、フィルタリングおよび正規化が利用される場合、交通標識５１を表す画像データに対して図６の方法を適用することによって決定されている。より詳細には、ぼやけ効果を取扱うために、例示の関数５７は、ｋ１軸に対して１３５°に向けられる１つの線に沿って配置されるフーリエ空間座標に対する係数Ｕ（ｋ１，ｋ２）に対して｜ｆ｜−ｒａｍｐフィルタを適用することによって、フィルタされた係数を画像空間に変換することによって、および、画像空間における関数ｆ（Ｘ）の最大値が１であるように結果を正規化することによって計算されている。フィルタリングは、ｆ（Ｘ）における顕著な変動を抑制するが、図７Ａに示される線５２に対して垂直に延びる５つのストライプは、５９で示されるように、ｆ（Ｘ）が少なくとも一領域において小さな値を有することを生じさせる。画像空間における関数ｆ（Ｘ）の値は閾値５８と比較され得、これにより、交通標識５１が、図７Ａに示される線５２に対して垂直に向けられた直線に延びる特徴を有するかどうかを確立する。
【００９８】
図８Ａは、ドイツにおいて使用されているような追越し禁止終了標識６１を例示する。グレースケールの反転が画像データに対して実行されており、白色が高いグレースケール値に関連付けられる。図８Ｂは、画像空間における関数６５〜関数６７を示し、これらの関数は、交通標識６１を表す画像データに対して図６の方法を適用することによって決定されている。関数６５は、画像データの部分に対して二次元離散フーリエ変換を実行すること、ｋ１軸に対して１３５°に向けられる１つの線に沿って配置されるフーリエ空間座標に対する係数Ｕ（ｋ１，ｋ２）を決定すること、および画像空間に戻るそのように決定された係数に対して一次元逆離散フーリエ変換を実行することによって決定される。関数６６は、ｋ１軸に対して９０°（つまり、ｋ２軸に平行）に向けられる１つの線に沿って配置されるフーリエ空間座標に対する係数Ｕ（ｋ１，ｋ２）を決定すること、および画像空間に戻るそのように決定された係数に対して一次元逆離散フーリエ変換を実行することによって決定される。関数６７は、ｋ１軸に対して０°（つまり、ｋ１軸に平行）に向けられる１つの線に沿って配置されるフーリエ空間座標に対する係数Ｕ（ｋ１，ｋ２）を決定すること、および画像空間に戻るそのように決定された係数に対して一次元逆離散フーリエ変換を実行することによって決定される。関数６５は、画像データの部分６１における線の数および位置に対応する数および位置を有する顕著なピーク６８を示す。関数６６および関数６７はまた、交通標識におけるグレーの車のシンボルの存在に起因して、いくつかの変動を示すが、関数６５と同様の顕著なピークを示さない。関数６５を関数６６および関数６７と比較することによって、交通標識が、図８Ａ中の６２で示される線に対して垂直に延びる線を有するが、交通標識上で図８Ａ中の６３および６４で示される線に対して垂直の方向に直線に延びる、同程度の輝度および長さの線がないことが確立され得る。
【００９９】
図９は、ドイツにおいて使用されているような色反転された制限終了標識７１に対して離散二次元フーリエ変換を実行することによって得られる係数の絶対値｜Ｕ（ｋ１，ｋ２）｜を例示する。画像空間座標系は、画像空間座標系の原点が制限終了標識７１の左上隅にくるように選定されており、これによって、５つのストライプは、正のｘ１軸に対して１３５°の角度で延びる。図９において理解され得るように、フーリエスペクトル表現の有意のスペクトル重みは、フーリエ空間における線ｋ１＝ｋ２に沿って集中し、ここで、｜Ｕ（ｋ１，ｋ２）｜は高い値を有する。フーリエ空間における線ｋ１＝ｋ２に沿ってスペクトル表現の係数を分析することによって、ひいては、正のｘ１軸に対して１３５°の角度で延びる１つまたは複数のグラフィカル特徴を交通標識が有するかどうかが判定され得る。
【０１００】
図２〜図５および図７〜図９を参照して、方法およびデバイスの動作が例示的交通標識に関連して説明されてきたが、これらの方法およびデバイスは、概して、交通標識が交通標識上で直線に延びる１つまたは複数のグラフィカル特徴を有するかどうかを確立するために利用され得る。図１０を参照してより詳細に説明されるように、これらの方法およびデバイスは、フーリエ空間における１つの線に沿ってフーリエ空間座標に対するスペクトル表現の係数を分析するように構成され得る。
【０１０１】
図１０Ａは、交通標識上のグラフィカル特徴を表す二次元関数ｕ（ｘ１，ｘ２）の概略的な例示８１を示す。二次元フーリエ変換を実行することによって、ｕ（ｘ１，ｘ２）のスペクトル表現は、そのフーリエ変換Ｕ（ｋ１，ｋ２）によって提供される。フーリエ変換Ｕ（ｋ１，ｋ２）は、フーリエ空間における１つの線に沿って評価され得る。フーリエ空間における１つの線であって、ｋ１軸に対してφの角度を有し、（ｋ１，ｋ２）＝（０，０）を通過する線に沿ってフーリエ変換Ｕ（ｋ１，ｋ２）が評価されると仮定して、その線のフーリエ空間座標は、（ｋ１，ｋ２）＝ｋ・（ｃｏｓφ，ｓｉｎφ）のようにパラメータ化され得る。φの所定値に対して、この関数はまた、Ｕｐ（ｋ，φ）としても参照され得る。
【０１０２】
投影切断面定理（ｐｒｏｊｅｃｔｉｏｎ−ｓｌｉｃｅ ｔｈｅｏｒｅｍ）としても参照される、いわゆる中央断面定理（ｃｅｎｔｒａｌ ｓｌｉｃｅ ｔｈｅｏｒｅｍ）に従って、実空間（つまり画像空間）に戻るそのように決定された関数Ｕｐ（ｋ，φ）の逆フーリエ変換は、ｕ（ｘ１，ｘ２）のラドン変換を表す関数ｕｐ（Ｒ，φ）
【０１０３】
【数７】
を与え、ここで、ＲおよびＴは、ｘ１−ｘ２軸系に対して回転されている画像空間座標系を定義し、ただし、Ｒ＝ｃｏｓ（φ）・ｘ１＋ｓｉｎ（φ）・ｘ２およびＴ＝ｃｏｓ（φ）・ｘ２−ｓｉｎ（φ）・ｘ１、および、ここで、
ｕφ（Ｒ，Ｔ）＝ｕ（ｃｏｓ（φ）・Ｒ−ｓｉｎ（φ）・Ｔ，ｓｉｎ（φ）・Ｒ−ｃｏｓ（φ）・Ｔ） （５）
である。
【０１０４】
図１０Ｂを参照すると、Ｒ軸８２およびＴ軸が概略的に示されている。式（４）および式（５）から導かれ得るように、ｕｐ（Ｒ，φ）は、Ｒ軸８２上の一点上への線積分を表し、このＲ軸８２上の一点は、Ｔ軸に対して平行かつ当該Ｒ軸上の一点を通過する、１つの線に沿ってとられる。つまり、ｕｐ（Ｒ，φ）は、Ｒ軸８２上への関数ｕ（ｘ１，ｘ２）の射影を表す。例えば、Ｒ軸上の点Ｒ０８３でとられるｕｐ（Ｒ０，φ）は、線８４に沿ってのｕ（ｘ１，ｘ２）に対する線積分に等しい。定義上、ｕｐ（Ｒ，φ）は、ｕ（ｘ１，ｘ２）のラドン変換を表す。
【０１０５】
図１０Ｃは、Ｔ方向に沿ったこの平行射影を例示する。明確化のために、Ｒ軸は、画像空間座標系の原点からずれて示されている。図１０Ｃに概略的に例示される破線に対してそれぞれとられるｕ（ｘ１，ｘ２）に対する線積分は、８５で例示される関数ｕｐ（Ｒ，φ）を提供し、この関数は、フーリエ空間における１つの線に沿って評価されるｕ（ｘ１，ｘ２）の二次元フーリエ変換から決定され得る。線積分が、交通標識上で直線に、かつ射影Ｔの線に対して平行な方向に延びるグラフィカル特徴に沿ってとられる場合、線積分は、顕著なピークまたはディップを明示する。その結果、このような直線に延びるグラフィカル特徴は、式（４）に従って計算される関数ｕｐ（Ｒ，φ）から決定され得る。上記で説明されてきたように、直線に延びるグラフィカル特徴が交通標識上に存在するかどうかを確立するために、式（４）に示されるフーリエ変換の代わりに、コサイン変換またはサイン変換が用いられ得、結果として生じる画像空間関数はなおも、ラドン変換においてピークまたはディップが見出されるように、ピークまたはディップを明示する。
【０１０６】
上記の式（４）に関連して言及された中央断面定理は、例えば、ラドン変換が、ｕ（ｘ１，ｘ２）と、図１０Ｂに示されるディラックの線（Ｄｉｒａｃ ｌｉｎｅ）８２に関連付けられるディラックのデルタ関数との畳み込みであると考えられ得るという事項から、導出され得るということが理解される。フーリエ空間において、これらの２つの画像空間関数の畳み込みは、フーリエ変換の積に換言される。線８２に対応するディラックの線（Ｄｉｒａｃ ｌｉｎｅ）のフーリエ変換は、再びディラックの線（Ｄｉｒａｃ ｌｉｎｅ）であり、それゆえ、ｕ（ｘ１，ｘ２）のラドン変換は、ｕｐ（ｋ，φ）に対して、フーリエ空間から画像空間への一次元変換を実行することによって決定され得る。
【０１０７】
これらの方法およびデバイスにおいて、交通標識の分類は、交通標識が、交通標識上で直線に延びるグラフィカル特徴を有する交通標識の部類に属するか否かが確立された後、継続し得る。
【０１０８】
図１１は、概して９１で示される一実施形態に従う方法のフロー図である。この方法は、上述された任意の実施形態に従う運転者支援デバイスによって実行され得る。
【０１０９】
９２で、交通標識上で直線に延びる少なくとも１つのグラフィカル特徴を交通標識が有するかどうかが確立される。９２での確立は、所定の一方向または複数の所定の方向のうちの一方向に沿って延びるグラフィカル特徴を有する交通標識のみが識別されるように実装され得る。９２での確立は、例えば、図６を参照して説明された方法のうちの１つを使用して実装され得る。
【０１１０】
交通標識上で所定の一方向または複数の所定の方向のうちの一方向に直線に延びる少なくとも１つのグラフィカル特徴を交通標識が有することが９２で確立される場合、９３で、画像データの部分は、第１の画像認識モジュールまたは分級機に提供される。交通標識上で所定の一方向または複数の所定の方向のうちの一方向に直線に延びる少なくとも１つのグラフィカル特徴を交通標識が有さないことが９２で確立される場合、９４で、画像データの部分は、第１の画像認識モジュールまたは分級機とは異なる第２の画像認識モジュールまたは分級機に提供される。第１の画像認識モジュールおよび第２の画像認識モジュールは、それぞれ、交通標識のさらなる分類を実行するように構成される。第１の画像認識モジュールおよび第２の画像認識モジュールは、それぞれ、サポートベクターマシン、ニューラルネットワーク、またはＡｄａｂｏｏｓｔアルゴリズムを使用して実装され得る。第１の画像認識モジュールおよび第２の画像認識モジュールは、評価される特徴属性に関して、および／または、画像認識モジュールの特定の実装に関して、互いに異なり得る。
【０１１１】
画像データの部分のさらなる分類は、９３または９４のそれぞれで、スペクトル表現の係数のうちの少なくとも１つに基づき得、この少なくとも１つの係数は、前もって９２で計算されている。９２で決定されるように、例えば離散コサイン変換または離散フーリエ変換などによって決定されるスペクトル表現の係数は、９３および９４での分類において使用され得る特徴属性である。
【０１１２】
９５で、運転者支援デバイスにおける作用は、９３または９４のそれぞれで実行されるさらなる画像認識の結果に基づいて初期化され得る。
【０１１３】
本発明の複数の実施形態が図面を参照して説明されてきたが、様々な改変および変更が他の実施形態において実装され得る。例示のために、フーリエ変換または離散フーリエ変換を実行することによって画像データの一部分のスペクトル表現を決定する、方法およびデバイスが説明されたが、スペクトル表現の係数を決定するために、離散コサイン変換などの他の変換が他の実施形態において利用され得る。さらなる例示のために、フーリエ空間における線であって、その線からスペクトル表現の係数がとられる線は、フーリエ空間における一点であって、スペクトル分解のゆっくり変化する基底関数に関連付けられる一点を通過するように示されたが、フーリエ空間における線はまた、例えば、１つまたは複数の破線状のストライプであって、それぞれ所定の周期性を明示するストライプを交通標識が交通標識上に有するかどうかを確立するために、そのような一点からずれることがあり得る。
【０１１４】
本発明の実施形態は、車両に搭載されて実行される画像認識において有利に利用され得ることが予期されるが、適用分野はそれに限定されない。むしろ、本発明の実施形態は、交通標識を分類することが望ましくまたは必要である、任意のシステムまたは用途において使用され得る。
【符号の説明】
【０１１５】
１ 運転者支援デバイス
２ 画像認識デバイス
３ 入力
４ 処理デバイス
５ 電子デバイス
６ 二次元（２Ｄ）カメラ
７ 三次元（３Ｄ）カメラ
８ ユーザインタフェース
９ バス
１０ 車両ボードネットワーク
１１、１２ コントローラまたは車両システム
２１、５１、６１、７１ 交通標識
２２ グラフィカル特徴
２３ 方向
２４、３４ 角度
２５、５２、５３、６２〜６４ 画像空間における線
２６ 画像データの一部分
３１ フーリエ空間
３２、７２ 二次元スペクトル表現の係数
３３、３５、３６ フーリエ空間における線
３７、５４、５５、６５〜６７ 画像空間における関数
３８、５６ ディップ
３９、５８ 閾値
【特許請求の範囲】
【請求項１】
交通標識（２１；５１；６１；７１）を分類する方法であって、該方法は、該交通標識（２１；５１；６１；７１）上で直線に延びている少なくとも１つのグラフィカル特徴（２２）、特に、該交通標識（２１；５１；６１；７１）上で直線に延びている１つまたは複数の線またはストライプを、該交通標識（２１；５１；６１；７１）が有するかどうかを確立することを含み、
該方法は、電子デバイス（５）が、
該交通標識（２１；５１；６１；７１）の少なくとも一部分を表す画像データの一部分（２６）を識別するステップと、
該画像データの該一部分（２６）の二次元スペクトル表現の係数（３２；７２）を計算するステップと、
フーリエ空間（３１）において１つの線（３３）に沿って配置されているフーリエ空間座標に対して、該二次元スペクトル表現の該係数（３２；７２）を決定するステップであって、該線（３３）は、フーリエ空間（３１）において選択される方向を有する、ステップと、
該決定された係数（３２；７２）に基づいて、該交通標識（２１；５１；６１；７１）上で直線に延びている該少なくとも１つのグラフィカル特徴（２２）を該交通標識（２１；５１；６１；７１）が有するかどうかを確立するステップと
を実行することを包含する、方法。
【請求項２】
フーリエ空間（３１）における前記線（３３）の方向は、１つの方向（２３）に基づいて選択され、前記少なくとも１つのグラフィカル特徴（２２）が存在する場合、該少なくとも１つのグラフィカル特徴（２２）が該１つの方向（２３）に沿って前記交通標識（２１；５１；６１；７１）上に延びている、請求項１に記載の方法。
【請求項３】
前記少なくとも１つのグラフィカル特徴（２２）が存在する場合、該少なくとも１つのグラフィカル特徴（２２）は、前記交通標識（２１；５１；６１；７１）上で、画像空間における第１の方向に対してαの角度（２４）を有する方向に直線に延び、フーリエ空間（３１）における前記線（３３）は、フーリエ空間における第１の方向に対してβの角度（３４）を有し、
フーリエ空間における該第１の方向は、画像空間における該第１の方向に関連付けられているスペクトル成分を表し、
フーリエ空間（３１）における該線（３３）の該方向は、８５°≦│β−α│≦９５°であるように、特に８８°≦│β−α│≦９２°であるように、特に８９°≦│β−α│≦９１°であるように選択される、請求項２に記載の方法。
【請求項４】
前記二次元スペクトル表現の前記係数（３２；７２）を計算するために、二次元離散コサイン変換、二次元離散サイン変換または二次元離散フーリエ変換が、前記画像データの前記一部分に対して実行される、請求項１〜請求項３のいずれか１項に記載の方法。
【請求項５】
画像空間における１つの線（２５；５２，５３；６２〜６４）に沿う位置で評価された前記画像データの前記一部分のラドン変換の値は、前記交通標識（２１；５１；６１；７１）上で直線に延びている前記少なくとも１つのグラフィカル特徴（２２）を該交通標識（２１；５１；６１；７１）が有するかどうかを確立するために、前記決定された係数（３２；７２）に基づいて推定される、請求項１〜請求項４のいずれか１項に記載の方法。
【請求項６】
画像空間における関数（３７；５４，５５；６５〜６７）は、前記交通標識（２１；５１；６１；７１）上で直線に延びている少なくとも１つのグラフィカル特徴（２２）を該交通標識（２１；５１；６１；７１）が有するかどうかを確立するために、前記決定された係数（３２；７２）をフーリエ空間（３１）から画像空間へ変換することによって計算される、請求項１〜請求項５のいずれか１項に記載の方法。
【請求項７】
画像空間における前記関数（３７；５４，５５；６５〜６７）は、一次元逆離散コサイン変換、一次元逆離散サイン変換または一次元逆フーリエ変換を前記決定された係数（３２；７２）に対して実行することによって計算される、請求項６に記載の方法。
【請求項８】
前記交通標識（２１；５１；６１；７１）上で直線に延びている少なくとも１つのグラフィカル特徴（２２）を該交通標識（２１；５１；６１；７１）が有するかどうかを確立するために、閾値比較が画像空間における前記関数（３７；５４，５５；６５〜６７）に対して実行される、請求項６または請求項７に記載の方法。
【請求項９】
フーリエ空間（３１）における少なくとも別の線（３５，３６）に沿って配置されているフーリエ空間座標に対する前記二次元スペクトル表現の係数を決定することをさらに包含し、
前記交通標識（２１；５１；６１；７１）上で直線に延びている前記少なくとも１つのグラフィカル特徴（２２）を該交通標識（２１；５１；６１；７１）が有するかどうかの確立することは、フーリエ空間（３１）における前記線（３３）に沿って配置されているフーリエ空間座標に対して決定された前記係数（３２；７２）に基づいて、かつ、フーリエ空間（３１）における該少なくとも別の線（３５，３６）に沿って配置されているフーリエ空間座標に対して決定された係数に基づいて実行される、請求項１〜請求項８のいずれか１項に記載の方法。
【請求項１０】
前記決定された係数（３２；７２）に基づいて、前記交通標識（２１；５１；６１；７１）が制限終了標識であるかどうかを確立する、請求項１〜請求項９のいずれか１項に記載の方法。
【請求項１１】
前記交通標識（２１；５１；６１；７１）のさらなる分類のために、少なくとも１つの画像認識モジュールに対して前記画像データの前記一部分（２６）を提供することをさらに包含し、
該画像データの該一部分（２６）が提供される該少なくとも１つの画像認識モジュールは、該交通標識（２１；５１；６１；７１）上で直線に延びている前記少なくとも１つのグラフィカル特徴（２２）を該交通標識（２１；５１；６１；７１）が有するかどうかを確立することの結果に基づいて、複数の画像認識モジュールから選択される、請求項１〜請求項１０のいずれか１項に記載の方法。
【請求項１２】
コンピュータ読み取り可能媒体であって、
該コンピュータ読み取り可能媒体は命令を格納し、該命令は、電子デバイス（２）のプロセッサ（４）によって実行される場合、該電子デバイス（２）に、請求項１〜請求項１１のいずれか１項に記載の方法を実行するように指令する、コンピュータ読み取り可能媒体。
【請求項１３】
交通標識（２１；５１；６１；７１）を分類するデバイスであって、
画像データを受信するように構成されている入力（３）と、
該画像データを受信する該入力（３）に連結されている処理デバイス（４）と
を備え、
該処理デバイスは、
該交通標識（２１；５１；６１；７１）の少なくとも一部分を表す該画像データの一部分（２６）を識別することと、
該画像データの該一部分（２６）の二次元スペクトル表現の係数（３２；７２）を計算することと、
フーリエ空間（３１）における１つの線（３３）に沿って配置されているフーリエ空間座標に対して、該二次元スペクトル表現の係数（３２；７２）を決定することと、
該決定された係数（３２；７２）に基づいて、該交通標識（２１；５１；６１；７１）上で直線に延びている少なくとも１つのグラフィカル特徴（２２）を該交通標識（２１；５１；６１；７１）が有するかどうかを確立することと
を行うように構成されている、デバイス。
【請求項１４】
前記デバイス（２）は、請求項１〜請求項１１のいずれか１項に記載の方法を実行するように構成されている、請求項１３に記載のデバイス。
【請求項１５】
車両のための運転者支援システムであって、
請求項１３または請求項１４に記載の交通標識（２１；５１；６１；７１）を認識するためのデバイス（２）を備えている、運転者支援システム。
【請求項１】
交通標識（２１；５１；６１；７１）を分類する方法であって、該方法は、該交通標識（２１；５１；６１；７１）上で直線に延びている少なくとも１つのグラフィカル特徴（２２）、特に、該交通標識（２１；５１；６１；７１）上で直線に延びている１つまたは複数の線またはストライプを、該交通標識（２１；５１；６１；７１）が有するかどうかを確立することを含み、
該方法は、電子デバイス（５）が、
該交通標識（２１；５１；６１；７１）の少なくとも一部分を表す画像データの一部分（２６）を識別するステップと、
該画像データの該一部分（２６）の二次元スペクトル表現の係数（３２；７２）を計算するステップと、
フーリエ空間（３１）において１つの線（３３）に沿って配置されているフーリエ空間座標に対して、該二次元スペクトル表現の該係数（３２；７２）を決定するステップであって、該線（３３）は、フーリエ空間（３１）において選択される方向を有する、ステップと、
該決定された係数（３２；７２）に基づいて、該交通標識（２１；５１；６１；７１）上で直線に延びている該少なくとも１つのグラフィカル特徴（２２）を該交通標識（２１；５１；６１；７１）が有するかどうかを確立するステップと
を実行することを包含する、方法。
【請求項２】
フーリエ空間（３１）における前記線（３３）の方向は、１つの方向（２３）に基づいて選択され、前記少なくとも１つのグラフィカル特徴（２２）が存在する場合、該少なくとも１つのグラフィカル特徴（２２）が該１つの方向（２３）に沿って前記交通標識（２１；５１；６１；７１）上に延びている、請求項１に記載の方法。
【請求項３】
前記少なくとも１つのグラフィカル特徴（２２）が存在する場合、該少なくとも１つのグラフィカル特徴（２２）は、前記交通標識（２１；５１；６１；７１）上で、画像空間における第１の方向に対してαの角度（２４）を有する方向に直線に延び、フーリエ空間（３１）における前記線（３３）は、フーリエ空間における第１の方向に対してβの角度（３４）を有し、
フーリエ空間における該第１の方向は、画像空間における該第１の方向に関連付けられているスペクトル成分を表し、
フーリエ空間（３１）における該線（３３）の該方向は、８５°≦│β−α│≦９５°であるように、特に８８°≦│β−α│≦９２°であるように、特に８９°≦│β−α│≦９１°であるように選択される、請求項２に記載の方法。
【請求項４】
前記二次元スペクトル表現の前記係数（３２；７２）を計算するために、二次元離散コサイン変換、二次元離散サイン変換または二次元離散フーリエ変換が、前記画像データの前記一部分に対して実行される、請求項１〜請求項３のいずれか１項に記載の方法。
【請求項５】
画像空間における１つの線（２５；５２，５３；６２〜６４）に沿う位置で評価された前記画像データの前記一部分のラドン変換の値は、前記交通標識（２１；５１；６１；７１）上で直線に延びている前記少なくとも１つのグラフィカル特徴（２２）を該交通標識（２１；５１；６１；７１）が有するかどうかを確立するために、前記決定された係数（３２；７２）に基づいて推定される、請求項１〜請求項４のいずれか１項に記載の方法。
【請求項６】
画像空間における関数（３７；５４，５５；６５〜６７）は、前記交通標識（２１；５１；６１；７１）上で直線に延びている少なくとも１つのグラフィカル特徴（２２）を該交通標識（２１；５１；６１；７１）が有するかどうかを確立するために、前記決定された係数（３２；７２）をフーリエ空間（３１）から画像空間へ変換することによって計算される、請求項１〜請求項５のいずれか１項に記載の方法。
【請求項７】
画像空間における前記関数（３７；５４，５５；６５〜６７）は、一次元逆離散コサイン変換、一次元逆離散サイン変換または一次元逆フーリエ変換を前記決定された係数（３２；７２）に対して実行することによって計算される、請求項６に記載の方法。
【請求項８】
前記交通標識（２１；５１；６１；７１）上で直線に延びている少なくとも１つのグラフィカル特徴（２２）を該交通標識（２１；５１；６１；７１）が有するかどうかを確立するために、閾値比較が画像空間における前記関数（３７；５４，５５；６５〜６７）に対して実行される、請求項６または請求項７に記載の方法。
【請求項９】
フーリエ空間（３１）における少なくとも別の線（３５，３６）に沿って配置されているフーリエ空間座標に対する前記二次元スペクトル表現の係数を決定することをさらに包含し、
前記交通標識（２１；５１；６１；７１）上で直線に延びている前記少なくとも１つのグラフィカル特徴（２２）を該交通標識（２１；５１；６１；７１）が有するかどうかの確立することは、フーリエ空間（３１）における前記線（３３）に沿って配置されているフーリエ空間座標に対して決定された前記係数（３２；７２）に基づいて、かつ、フーリエ空間（３１）における該少なくとも別の線（３５，３６）に沿って配置されているフーリエ空間座標に対して決定された係数に基づいて実行される、請求項１〜請求項８のいずれか１項に記載の方法。
【請求項１０】
前記決定された係数（３２；７２）に基づいて、前記交通標識（２１；５１；６１；７１）が制限終了標識であるかどうかを確立する、請求項１〜請求項９のいずれか１項に記載の方法。
【請求項１１】
前記交通標識（２１；５１；６１；７１）のさらなる分類のために、少なくとも１つの画像認識モジュールに対して前記画像データの前記一部分（２６）を提供することをさらに包含し、
該画像データの該一部分（２６）が提供される該少なくとも１つの画像認識モジュールは、該交通標識（２１；５１；６１；７１）上で直線に延びている前記少なくとも１つのグラフィカル特徴（２２）を該交通標識（２１；５１；６１；７１）が有するかどうかを確立することの結果に基づいて、複数の画像認識モジュールから選択される、請求項１〜請求項１０のいずれか１項に記載の方法。
【請求項１２】
コンピュータ読み取り可能媒体であって、
該コンピュータ読み取り可能媒体は命令を格納し、該命令は、電子デバイス（２）のプロセッサ（４）によって実行される場合、該電子デバイス（２）に、請求項１〜請求項１１のいずれか１項に記載の方法を実行するように指令する、コンピュータ読み取り可能媒体。
【請求項１３】
交通標識（２１；５１；６１；７１）を分類するデバイスであって、
画像データを受信するように構成されている入力（３）と、
該画像データを受信する該入力（３）に連結されている処理デバイス（４）と
を備え、
該処理デバイスは、
該交通標識（２１；５１；６１；７１）の少なくとも一部分を表す該画像データの一部分（２６）を識別することと、
該画像データの該一部分（２６）の二次元スペクトル表現の係数（３２；７２）を計算することと、
フーリエ空間（３１）における１つの線（３３）に沿って配置されているフーリエ空間座標に対して、該二次元スペクトル表現の係数（３２；７２）を決定することと、
該決定された係数（３２；７２）に基づいて、該交通標識（２１；５１；６１；７１）上で直線に延びている少なくとも１つのグラフィカル特徴（２２）を該交通標識（２１；５１；６１；７１）が有するかどうかを確立することと
を行うように構成されている、デバイス。
【請求項１４】
前記デバイス（２）は、請求項１〜請求項１１のいずれか１項に記載の方法を実行するように構成されている、請求項１３に記載のデバイス。
【請求項１５】
車両のための運転者支援システムであって、
請求項１３または請求項１４に記載の交通標識（２１；５１；６１；７１）を認識するためのデバイス（２）を備えている、運転者支援システム。
【図１】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１０Ｃ】
【図１１】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１０Ｃ】
【図１１】
【公開番号】特開２０１１−１８７０４９（Ｐ２０１１−１８７０４９Ａ）
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願番号】特願２０１１−２２１７０（Ｐ２０１１−２２１７０）
【出願日】平成２３年２月３日（２０１１．２．３）
【出願人】（５０４１４７９３３）ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー (165)
【Ｆターム（参考）】
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願日】平成２３年２月３日（２０１１．２．３）
【出願人】（５０４１４７９３３）ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー (165)
【Ｆターム（参考）】
[ Back to top ]