特徴点判別装置
【課題】 抽出した特徴点が同一平面上に存在するか否かを精度よく判別できる特徴点判別装置を提供する。
【解決手段】 車両に搭載され、周囲環境を画像として撮像する車載カメラ1と、撮像された画像から特徴点を抽出する特徴点抽出部3と、抽出された特徴点の時間的対応を求める特徴点対応付け部4と、抽出された特徴点の中で所定の位置関係にある３つの特徴点を選択する特徴点選択部5と、選択された３つの特徴点が同一平面上に存在するか否かを判別する特徴点判別部6と、を備え、特徴点判別部6は、選択された特徴点の時間的対応に基づいて、選択された３つの特徴点によって形成される画像上の距離の比が時間的に不変である場合に、選択された３つの特徴点が全て同一平面上に存在すると判別する。
【解決手段】 車両に搭載され、周囲環境を画像として撮像する車載カメラ1と、撮像された画像から特徴点を抽出する特徴点抽出部3と、抽出された特徴点の時間的対応を求める特徴点対応付け部4と、抽出された特徴点の中で所定の位置関係にある３つの特徴点を選択する特徴点選択部5と、選択された３つの特徴点が同一平面上に存在するか否かを判別する特徴点判別部6と、を備え、特徴点判別部6は、選択された特徴点の時間的対応に基づいて、選択された３つの特徴点によって形成される画像上の距離の比が時間的に不変である場合に、選択された３つの特徴点が全て同一平面上に存在すると判別する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特徴点判別装置に関する。
【背景技術】
【０００２】
従来の特徴点判別装置では、単眼カメラで取得した視点位置の異なる複数の時系列画像の１つから３点以上の特徴点を抽出し、抽出した特徴点の各フレーム間での対応関係をテンプレートマッチングにより求め、画像中における平面領域の検出を行っている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２７２６６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術にあっては、各フレーム間の特徴点の対応関係を単純なテンプレートマッチングにより検出しているため、２つの物体がねじれの位置で重なった部分が特徴点として抽出される可能性がある。よって、抽出した特徴点が同一平面上に存在するか否かを精度よく判別できないため、平面領域の検出精度が低いという問題があった。
本発明の目的は、抽出した特徴点が同一平面上に存在するか否かを精度よく判別できる特徴点判別装置を提供することにある。
【課題を解決するための手段】
【０００５】
本発明では、抽出された所定の位置関係にある３つの特徴点を選択し、当該３つの特徴点の時間的対応に基づいて、３つの特徴点によって形成される画像上の距離の比が時間的に不変である場合に、選択された３つの特徴点が全て同一平面上に存在すると判別する。
【発明の効果】
【０００６】
選択した３つの特徴点が同一平面上に存在する場合には、３つの特徴点によって形成される画像上の距離の比は時間的に不変であるため、本発明によれば、抽出した特徴点が同一平面上に存在するか否かを精度よく判別できる。
【図面の簡単な説明】
【０００７】
【図１】実施例１の特徴点判別装置の構成図である。
【図２】実施例１の画像処理装置2で実行される特徴点判別処理の流れを示すフローチャートである。
【図３】実施例１の特徴点判別作用を示す撮像画像の一例である。
【図４】実施例１の特徴点判別作用を示す撮像画像の一例である。
【図５】実施例２の特徴点判別装置の構成図である。
【図６】実施例２の画像処理装置2で実行される特徴点判別処理の流れを示すフローチャートである。
【図７】縦エッジの横フロー算出方法を示す模式図である。
【図８】実施例２の特徴点判別作用を示す撮像画像の一例である。
【発明を実施するための形態】
【０００８】
以下に本発明の特徴点判別装置を実施するための形態を、図面に示す実施例に基づいて説明する。
【０００９】
〔実施例１〕
図１は、実施例１の特徴点判別装置の構成図であり、実施例１の特徴点判別装置は、車両（移動体）に搭載され、自車前方の走行環境を撮像する車載カメラ（撮像手段）1と、カメラ1で得られた時系列画像を処理する画像処理装置2とを備える。
画像処理装置2は、特徴点抽出部（特徴点抽出手段）3と、特徴点対応付け部（特徴点対応付け手段）4と、特徴点選択部（特徴点選択手段）5と、特徴点判別部（特徴点判別手段）6とを有する。
画像処理装置2は、カメラ1で得られた時系列画像上から抽出した特徴点から画像中における平面領域を検出し、自車前方の走行環境の状態を認識している。実施例１では、時系列画像上から抽出した特徴点が同一平面上に存在するか否かを精度よく判別することを狙いとし、画像処理装置2の各部において、以下に示す特徴点判別処理を実施する。なお、実施例１では、特徴点として、コーナー（２つのエッジの交点）を抽出する。
【００１０】
［特徴点判別処理］
図２は、実施例１の画像処理装置2で実行される特徴点判別処理の流れを示すフローチャートで、以下、各ステップについて説明する。なお、この処理は、例えば、車両のイグニッションスイッチがオンされたときに開始する。
ステップS101では、特徴点抽出部3において、カメラ1から画像を取得する。
ステップS102では、特徴点抽出部3において、取得した画像に対し、周知のHarrisオペレータと呼ばれるコーナー検出方法を用いてコーナーの検出を行う。
ステップS103では、特徴点対応付け部4において、周知のLucas & Kanade法を用い、時系列画像の過去２フレーム分以上の画像で検出コーナーの時間的な対応付けを行う。
【００１１】
ステップS104では、特徴点選択部5において、画像を縦方向に分割し、分割領域内から任意に３つのコーナー（３点）を選択する。すなわち、同一ライン上から３点を選択する。ここで、分割は細かい方が好ましいが、その分だけ処理に時間がかかるため、例えば、横画素数が３画素程度となるよう分割する。ここで、画像を横方向に分割し、分割領域内から任意の３点を選択してもよい。
ステップS105では、特徴点判別部6において、時系列画像の現フレームと過去１フレームの情報を利用して選択した３つのコーナー間の距離の比が時間的に不変か否かを判定し、YESの場合はステップS110に進み、NOの場合はステップS106へ進む。
【００１２】
ステップS106では、特徴点判別部6において、選択した３点のうち任意の２点を選択する。
ステップS107では、特徴点判別部6において、時系列画像の現フレームと過去２フレームの情報を利用して２点の移動量の比が時間的に不変か否かを判定し、YESの場合はステップS110に進み、NOの場合はステップS108へ進む。
【００１３】
ステップS108では、特徴点判別部6において、３点のうちステップS106で選択した２点とは異なる組み合わせで２点を選択する。
ステップS109では、特徴点判別部6において、時系列画像の現フレームと過去２フレームの情報を利用して２点の移動量の比が時間的に不変かを判定し、特徴点判別部6において、YESの場合はステップS110へ進み、NOの場合はステップS111へ進む。
ステップS110では、特徴点判別部6において、ステップS105、ステップS107またはステップS109のいずれかで判定を通過した（YESと判定された）コーナーを実際に同一平面上に存在するコーナーとして選択する。
【００１４】
ステップS111では、特徴点判別部6において、コーナーが選択可能なラインがあるか否かを判定し、YESの場合はステップS112へ進み、NOの場合はステップS104へ戻る。
ステップS112では、特徴点判別部6において、車両のイグニッションスイッチがオフであるか否かを判定し、YESの場合は本制御を終了し、NOの場合はステップS101へ戻る。
【００１５】
次に、作用を説明する。
［特徴点判別作用］
実施例１の特徴点判別処理では、同一ライン上（横３画素の範囲内）の３つのコーナーを選択し、現フレームと過去１フレームの情報を利用して選択した３つのコーナー間の距離の比が時間的に不変である場合、選択した３つのコーナーが同一平面上に存在するコーナーであると判別する。
図３において、P1(t),P2(t),P3(t)は縦方向に延在する物体11の同一平面上に存在するコーナーであって、P0(t)は縦方向に延在する物体11と横方向に延在する物体12とが重なって形成された特徴点とする。
【００１６】
ここで、３点P0(t),P2(t),P3(t)を選択した場合、３点によって形成される距離の比は、各フレーム間で変化する。このため、P0(t)−P2(t)間の距離をl1(t)、P2(t)−P3(t)間の距離をl2(t)とすると、現フレームと過去１フレームで下記の式(1)の関係が成立する。
l1(t):l2(t) ≠ l1(t-k):l2(t-k) …(1)
これに対し、３点P1(t),P2(t),P3(t)を選択した場合、３点によって形成される距離の比は、各フレーム間で一定である。このため、P1(t)−P2(t)間の距離をl3(t)、P2(t)−P3(t)間の距離をl4(t)とすると、現フレームと過去１フレームで下記の式(2)の関係が成立する。
l3(t):l4(t) = l3(t-k):l4(t-k) …(2)
よって、式(2)の関係を満足するか否かを判定することで、最小限の時系列画像（現フレームと過去１フレーム）を用いて、選択した３点が全て同一平面上に存在するか否かを精度よく判別できる。
【００１７】
実施例１の特徴点判別処理では、現フレームと過去２フレームの情報を利用して２点の移動量の比が時間的に不変である場合、選択した２つのコーナーが同一平面上に存在するコーナーであると判別する。
図４において、２点P1(t),P2(t)は物体11の同一平面上に存在するコーナーであり、この場合、２点の移動量の比は、各フレーム間で一定である。このため、P1(t)の移動量とP2(t)の移動量は、現フレームと過去２フレームで下記の式(3)の関係が成立する。
P1(t)-P1(t-k):P2(t)-P2(t-k) = P1(t)-P1(t-k):P2(t-k)-P2(t-2k) …(3)
よって、式(3)の関係を満足するか否かを判定することで、選択した２点が同一平面上に存在するか否かを精度よく判別できる。なお、現フレームと過去１フレームのみで比較した場合、２点が同一平面上に存在しない場合であっても式(3)の関係が成立するおそれがあるため、実施例１では、３つのフレームを用いて判別することで、判別精度の低下を抑制している。
【００１８】
次に、効果を説明する。
実施例１の特徴点判別装置にあっては、以下に列挙する効果を奏する。
(1) 車両に搭載され、周囲環境を画像として撮像する車載カメラ1と、撮像された画像から特徴点を抽出する特徴点抽出部3と、抽出された特徴点の時間的対応を求める特徴点対応付け部4と、抽出された特徴点の中で所定の位置関係にある３つの特徴点を選択する特徴点選択部5と、選択された特徴点の時間的対応に基づいて、選択された３つの特徴点によって形成される画像上の距離の比が時間的に不変である場合に、選択された３つの特徴点が全て同一平面上に存在すると判別する特徴点判別部6と、を備えた。よって、最小限の時系列画像（現フレームと過去１フレーム）を用いて、選択した３点が全て同一平面上に存在するか否かを精度よく判別できる。
【００１９】
(2) 特徴点抽出部3は、特徴点として撮像された画像中のコーナーを抽出する。よって、選択した３つのコーナーが全て同一平面上に存在するか否かを精度よく判別できる。
【００２０】
(3) 特徴点選択部5は、画像上を縦方向に分割した際に、同一の領域（３画素幅のライン上）に属している特徴点の中から所定の位置関係にある３つの特徴点を選択する。すなわち、同一の領域に存在するコーナーは同一平面上に存在する可能性が高いため、画像中に無数検出される特徴点の中から効率よく同一平面上に存在する可能性が高い３つの特徴点を選択できる。
【００２１】
(4) 特徴点判別部6は、選択された３つの特徴点に同一平面上に存在しない特徴点が存在すると判別された場合、そのうちの２つの特徴点を再度選択し、選択された２つの特徴点のフロー変化の比が不変であるとき、選択された２つの特徴点が同一平面上に存在すると判別する。よって、選択された３つの特徴点が同一平面上に存在しない場合であっても、３つの特徴点のうちの２つが同一平面上に存在するか否かを判別することにより、画像中における平面領域の検出に際し、再度特徴点の抽出や選択を実施する手間と時間を省くことができる。
【００２２】
〔実施例２〕
図５は、実施例２の特徴点判別装置の構成図であり、実施例１の特徴点判別装置は、図１に示した実施例１の構成に加え、横フロー算出部（横フロー算出手段）7と、縦フロー算出部（縦フロー算出手段）8とを備える。
横フロー算出部7は、撮像された画像上における縦エッジの画素に対し、２次元オプティカルフローを表す速度ベクトルの横方向成分を横方向の速度（横フロー）として算出する。
縦フロー算出部8は、撮像された画像上における横エッジの画素に対し、２次元オプティカルフローを表す速度ベクトルの縦方向成分を縦方向の速度（縦フロー）として算出する。
【００２３】
［特徴点判別処理］
図６は、実施例２の画像処理装置2で実行される特徴点判別処理の流れを示すフローチャートで、以下、各ステップについて説明する。なお、図２に示した実施例１の特徴点判別処理と同一の処理を行うステップには、同一のステップ番号を付して説明を省略する。
ステップS202では、特徴点抽出部3において、取得した画像に対し、縦方向エッジと横方向エッジの検出を行う。同時に、エッジの規格化処理として、検出したエッジ画像を２値画像に変換するエッジ２値化処理と、２値画像を幅１画素の線画像に変換する細線化処理と、細線化後の２値画像を幅３画素に膨張させる膨張処理とを行う。
【００２４】
ステップS203では、横フロー算出部7で縦エッジの横フローを算出すると共に、縦フロー算出部8で横エッジの縦フローを算出する。横フロー算出部7および縦フロー算出部8は、画像中の画素毎に、投票対象をエッジとする投票を時系列的に実施し、投票値に基づくエッジの移動状態からエッジのフローを算出する。投票は、エッジに該当する（アクティブな）画素の投票値に+1を加算（カウントアップ）し、エッジに該当しない画素の投票値をリセット（初期化）する。
図７に、縦エッジの横フロー算出方法の具体例を示す。図７(a)は時刻tにおける縦エッジおよび投票値の状態、図７(b)は時刻t後の時刻t+1における縦エッジおよび投票値の状態、図７(c)は時刻t+1後の時刻t+2における縦エッジおよび投票値の状態を示す図である。
【００２５】
まず、時刻tにおいて画像横方向へ３画素分に規格化されたエッジが、図７(a)に示す位置(X0-1,X0,X0+1)に検出されたとする。このとき、画像横方向X0-1で画像縦方向の任意画素において投票値を5、画像横方向X0で画像縦方向の任意画素において投票値を3、画像横方向X0+1で画像縦方向の任意位置において投票値を1とする。
その後、時刻t+1において再度同じ位置でエッジが検出されたとする。このとき、図７(b)に示すように、画像横方向X0-1について投票値を6、画像横方向X0について投票値を4、画像横方向X0+1について投票値を2とする。
そして、図７(c)のように、時刻t+2においてエッジ位置が右下がり斜め方向に１画素分だけシフトしたとする。このとき、画像横方向X0について投票値を5、画像横方向X0+1について投票値を3、画像横方向X0+2について投票値を1とする。さらに、エッジが検出されなくなった画素（画像横方向X0-1であって画像横方向に任意位置）について投票値をリセットする。
【００２６】
横フロー算出部7は、各画素の投票値に基づいてエッジの直交方向の速度を検出する。新たにエッジが検出された位置では投票値が1となり、その画素の周囲の投票値の中では最も小さな値となる（投票値0を除く）。つまり、エッジが移動する方向の投票値は小さく、エッジが移動する方向と反対方向のエッジの投票値は大きくなる。よって、投票値の勾配によりエッジの移動方向を求めることができる。このとき、勾配が小さいほどエッジの移動速度は高くなるため、エッジの移動速度（フロー）は、1/勾配で表すことができる。また、エッジの位置は、図７(b)の場合、画像横方向X0+1の投票値をh、画像横方向X0-1の投票値とhとの差をHとしたとき、X0+h/Hとなる。
なお、横エッジの縦フロー算出方法については縦エッジの横フロー算出方法と同様である。
【００２７】
ステップS204では、特徴点抽出部3において、特徴点対応付け部4において、縦エッジと横エッジの交点をコーナーとして検出する。
ステップS205では、特徴点対応付け部4において、縦横フロー情報（縦方向速度、横方向速度）に基づいて過去２フレーム分以上の画像で検出コーナーの時間的な対応付けを行う。
【００２８】
ステップS206では、特徴点選択部5において、縦エッジと横エッジから自車と正対する平面（正対平面）を検出する。ここで、縦エッジと横エッジとで長方形が形成されている場合、当該長方形は自車と正対する平面上にある。
ステップS207では、特徴点選択部5において、正対平面上のコーナーまたは同一フローに属する（同一フロー内）コーナーを任意に３点選択する。
ステップS214では、特徴点判別部6において、選択可能なコーナーがあるか否かを判定し、YESの場合はステップS112へ進み、NOの場合はステップS207へ戻る。
【００２９】
次に、作用を説明する。
［特徴点判別作用］
実施例２の特徴点判別処理では、図８に示すように、正対平面上または同一フロー内から３つのコーナーを選択し、実施例１と同様の手法を用いて３つまたは２つのコーナーの時系列画像の比較を行い、選択したコーナーが同一平面上に存在するか否かを判別する。
図８において、３点P1(t),P2(t),P3(t)は縦方向に延在する物体11の同一平面上であって、自車と正対する正対平面13上に存在するコーナーである。なお、２点P1(t),P2(t)は、同一ライン上に存在する。
【００３０】
３点P1(t),P2(t),P3(t)を選択した場合、３点によって形成される距離の比は、各フレーム間で一定である。このため、点P3(t)を点P2(t)の高さ（縦方向位置）に移動させた点をP4(t)とし、P1(t)−P2(t)間の距離をl1(t)、P3(t)−P4(t)間の距離をl2(t)とすると、現フレームと過去１フレームで下記の式(4)の関係が成立する。
l1(t):l2(t) = l1(t-k):l2(t-k) …(4)
よって、式(4)の関係を満足するか否かを判定することで、最小限の時系列画像を用いて、選択した３点が全て同一平面上に存在するか否かを精度よく判別できる。
【００３１】
ここで、正対平面上から選択したコーナーはいずれも自車に対して同一距離にあるため、同一平面上に存在する可能性が高い。また、同一フロー（同じ縦方向または横方向の速度をもつコーナー群）内から選択したコーナーも自車に対して同一距離に存在するため、同一平面上に存在する可能性が高い。よって、正対平面上または同一フロー内を探索領域とし、当該探索領域から３つのコーナーを選択することで、画像中に無数検出されるコーナーの中から効率よく同一平面上に存在する可能性が高い３つの特徴点を選択できる。
【００３２】
次に、効果を説明する。
実施例２の特徴点判別装置にあっては、実施例１の効果(1)〜(4)に加え、以下に列挙する効果を奏する。
(5) 撮像された画像上における縦エッジの画素に対し、横方向の速度を算出する横フロー算出部7と、撮像された画像上における横エッジの画素に対し、縦方向の速度を算出する縦フロー算出部8とを備え、特徴点選択部5は、同一フローに属する特徴点の中から所定の位置関係にある３つの特徴点を選択する。すなわち、同一フローに属する特徴点は同一平面上に存在する可能性が高いため、画像中に無数検出される特徴点の中から効率よく同一平面上に存在する可能性が高い３つの特徴点を選択できる。
【００３３】
(6) 撮像された画像上における縦エッジの画素に対し、横方向の速度を算出する横フロー算出部7と、撮像された画像上における横エッジの画素に対し、縦方向の速度を算出する縦フロー算出部8と、を備え、特徴点選択部5は、縦横フローに基づいた正対した平面上に存在する特徴点の中から３つの特徴点を選択する。すなわち、正対平面上に存在する特徴点は同一平面上に存在する可能性が高いため、画像中に無数検出される特徴点の中から効率よく同一平面上に存在する可能性が高い３つの特徴点を選択できる。
【００３４】
（他の実施例）
以上、本発明を実施するための形態を、実施例に基づいて説明したが、本発明の具体的な構成は、実施例に限定されるものではなく、発明の要旨を逸脱しない範囲の設計変更等があっても本発明に含まれる。
実施例では、画像上を縦方向に分割した際に、同一の領域に属している特徴点の中から所定の位置関係にある３つの特徴点を選択する例を示したが、画像上を横方向に分割した際に、同一の領域に属している特徴点の中から所定の位置関係にある３つの特徴点を選択する構成としてもよい。
実施例１では、横フロー算出手段と縦フロー算出手段の両方を設けた例を示したが、どちらか一方のみを設けた構成としてもよい。
【符号の説明】
【００３５】
1 車載カメラ（撮像手段）
2 画像処理装置
3 特徴点抽出部（特徴点抽出手段）
4 特徴点対応付け部（特徴点対応付け手段）
5 特徴点選択部（特徴点選択部）
6 特徴点判別部（特徴点判別部）
7 横フロー算出部（横フロー算出手段）
8 縦フロー算出部（縦フロー算出手段）
【技術分野】
【０００１】
本発明は、特徴点判別装置に関する。
【背景技術】
【０００２】
従来の特徴点判別装置では、単眼カメラで取得した視点位置の異なる複数の時系列画像の１つから３点以上の特徴点を抽出し、抽出した特徴点の各フレーム間での対応関係をテンプレートマッチングにより求め、画像中における平面領域の検出を行っている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２７２６６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術にあっては、各フレーム間の特徴点の対応関係を単純なテンプレートマッチングにより検出しているため、２つの物体がねじれの位置で重なった部分が特徴点として抽出される可能性がある。よって、抽出した特徴点が同一平面上に存在するか否かを精度よく判別できないため、平面領域の検出精度が低いという問題があった。
本発明の目的は、抽出した特徴点が同一平面上に存在するか否かを精度よく判別できる特徴点判別装置を提供することにある。
【課題を解決するための手段】
【０００５】
本発明では、抽出された所定の位置関係にある３つの特徴点を選択し、当該３つの特徴点の時間的対応に基づいて、３つの特徴点によって形成される画像上の距離の比が時間的に不変である場合に、選択された３つの特徴点が全て同一平面上に存在すると判別する。
【発明の効果】
【０００６】
選択した３つの特徴点が同一平面上に存在する場合には、３つの特徴点によって形成される画像上の距離の比は時間的に不変であるため、本発明によれば、抽出した特徴点が同一平面上に存在するか否かを精度よく判別できる。
【図面の簡単な説明】
【０００７】
【図１】実施例１の特徴点判別装置の構成図である。
【図２】実施例１の画像処理装置2で実行される特徴点判別処理の流れを示すフローチャートである。
【図３】実施例１の特徴点判別作用を示す撮像画像の一例である。
【図４】実施例１の特徴点判別作用を示す撮像画像の一例である。
【図５】実施例２の特徴点判別装置の構成図である。
【図６】実施例２の画像処理装置2で実行される特徴点判別処理の流れを示すフローチャートである。
【図７】縦エッジの横フロー算出方法を示す模式図である。
【図８】実施例２の特徴点判別作用を示す撮像画像の一例である。
【発明を実施するための形態】
【０００８】
以下に本発明の特徴点判別装置を実施するための形態を、図面に示す実施例に基づいて説明する。
【０００９】
〔実施例１〕
図１は、実施例１の特徴点判別装置の構成図であり、実施例１の特徴点判別装置は、車両（移動体）に搭載され、自車前方の走行環境を撮像する車載カメラ（撮像手段）1と、カメラ1で得られた時系列画像を処理する画像処理装置2とを備える。
画像処理装置2は、特徴点抽出部（特徴点抽出手段）3と、特徴点対応付け部（特徴点対応付け手段）4と、特徴点選択部（特徴点選択手段）5と、特徴点判別部（特徴点判別手段）6とを有する。
画像処理装置2は、カメラ1で得られた時系列画像上から抽出した特徴点から画像中における平面領域を検出し、自車前方の走行環境の状態を認識している。実施例１では、時系列画像上から抽出した特徴点が同一平面上に存在するか否かを精度よく判別することを狙いとし、画像処理装置2の各部において、以下に示す特徴点判別処理を実施する。なお、実施例１では、特徴点として、コーナー（２つのエッジの交点）を抽出する。
【００１０】
［特徴点判別処理］
図２は、実施例１の画像処理装置2で実行される特徴点判別処理の流れを示すフローチャートで、以下、各ステップについて説明する。なお、この処理は、例えば、車両のイグニッションスイッチがオンされたときに開始する。
ステップS101では、特徴点抽出部3において、カメラ1から画像を取得する。
ステップS102では、特徴点抽出部3において、取得した画像に対し、周知のHarrisオペレータと呼ばれるコーナー検出方法を用いてコーナーの検出を行う。
ステップS103では、特徴点対応付け部4において、周知のLucas & Kanade法を用い、時系列画像の過去２フレーム分以上の画像で検出コーナーの時間的な対応付けを行う。
【００１１】
ステップS104では、特徴点選択部5において、画像を縦方向に分割し、分割領域内から任意に３つのコーナー（３点）を選択する。すなわち、同一ライン上から３点を選択する。ここで、分割は細かい方が好ましいが、その分だけ処理に時間がかかるため、例えば、横画素数が３画素程度となるよう分割する。ここで、画像を横方向に分割し、分割領域内から任意の３点を選択してもよい。
ステップS105では、特徴点判別部6において、時系列画像の現フレームと過去１フレームの情報を利用して選択した３つのコーナー間の距離の比が時間的に不変か否かを判定し、YESの場合はステップS110に進み、NOの場合はステップS106へ進む。
【００１２】
ステップS106では、特徴点判別部6において、選択した３点のうち任意の２点を選択する。
ステップS107では、特徴点判別部6において、時系列画像の現フレームと過去２フレームの情報を利用して２点の移動量の比が時間的に不変か否かを判定し、YESの場合はステップS110に進み、NOの場合はステップS108へ進む。
【００１３】
ステップS108では、特徴点判別部6において、３点のうちステップS106で選択した２点とは異なる組み合わせで２点を選択する。
ステップS109では、特徴点判別部6において、時系列画像の現フレームと過去２フレームの情報を利用して２点の移動量の比が時間的に不変かを判定し、特徴点判別部6において、YESの場合はステップS110へ進み、NOの場合はステップS111へ進む。
ステップS110では、特徴点判別部6において、ステップS105、ステップS107またはステップS109のいずれかで判定を通過した（YESと判定された）コーナーを実際に同一平面上に存在するコーナーとして選択する。
【００１４】
ステップS111では、特徴点判別部6において、コーナーが選択可能なラインがあるか否かを判定し、YESの場合はステップS112へ進み、NOの場合はステップS104へ戻る。
ステップS112では、特徴点判別部6において、車両のイグニッションスイッチがオフであるか否かを判定し、YESの場合は本制御を終了し、NOの場合はステップS101へ戻る。
【００１５】
次に、作用を説明する。
［特徴点判別作用］
実施例１の特徴点判別処理では、同一ライン上（横３画素の範囲内）の３つのコーナーを選択し、現フレームと過去１フレームの情報を利用して選択した３つのコーナー間の距離の比が時間的に不変である場合、選択した３つのコーナーが同一平面上に存在するコーナーであると判別する。
図３において、P1(t),P2(t),P3(t)は縦方向に延在する物体11の同一平面上に存在するコーナーであって、P0(t)は縦方向に延在する物体11と横方向に延在する物体12とが重なって形成された特徴点とする。
【００１６】
ここで、３点P0(t),P2(t),P3(t)を選択した場合、３点によって形成される距離の比は、各フレーム間で変化する。このため、P0(t)−P2(t)間の距離をl1(t)、P2(t)−P3(t)間の距離をl2(t)とすると、現フレームと過去１フレームで下記の式(1)の関係が成立する。
l1(t):l2(t) ≠ l1(t-k):l2(t-k) …(1)
これに対し、３点P1(t),P2(t),P3(t)を選択した場合、３点によって形成される距離の比は、各フレーム間で一定である。このため、P1(t)−P2(t)間の距離をl3(t)、P2(t)−P3(t)間の距離をl4(t)とすると、現フレームと過去１フレームで下記の式(2)の関係が成立する。
l3(t):l4(t) = l3(t-k):l4(t-k) …(2)
よって、式(2)の関係を満足するか否かを判定することで、最小限の時系列画像（現フレームと過去１フレーム）を用いて、選択した３点が全て同一平面上に存在するか否かを精度よく判別できる。
【００１７】
実施例１の特徴点判別処理では、現フレームと過去２フレームの情報を利用して２点の移動量の比が時間的に不変である場合、選択した２つのコーナーが同一平面上に存在するコーナーであると判別する。
図４において、２点P1(t),P2(t)は物体11の同一平面上に存在するコーナーであり、この場合、２点の移動量の比は、各フレーム間で一定である。このため、P1(t)の移動量とP2(t)の移動量は、現フレームと過去２フレームで下記の式(3)の関係が成立する。
P1(t)-P1(t-k):P2(t)-P2(t-k) = P1(t)-P1(t-k):P2(t-k)-P2(t-2k) …(3)
よって、式(3)の関係を満足するか否かを判定することで、選択した２点が同一平面上に存在するか否かを精度よく判別できる。なお、現フレームと過去１フレームのみで比較した場合、２点が同一平面上に存在しない場合であっても式(3)の関係が成立するおそれがあるため、実施例１では、３つのフレームを用いて判別することで、判別精度の低下を抑制している。
【００１８】
次に、効果を説明する。
実施例１の特徴点判別装置にあっては、以下に列挙する効果を奏する。
(1) 車両に搭載され、周囲環境を画像として撮像する車載カメラ1と、撮像された画像から特徴点を抽出する特徴点抽出部3と、抽出された特徴点の時間的対応を求める特徴点対応付け部4と、抽出された特徴点の中で所定の位置関係にある３つの特徴点を選択する特徴点選択部5と、選択された特徴点の時間的対応に基づいて、選択された３つの特徴点によって形成される画像上の距離の比が時間的に不変である場合に、選択された３つの特徴点が全て同一平面上に存在すると判別する特徴点判別部6と、を備えた。よって、最小限の時系列画像（現フレームと過去１フレーム）を用いて、選択した３点が全て同一平面上に存在するか否かを精度よく判別できる。
【００１９】
(2) 特徴点抽出部3は、特徴点として撮像された画像中のコーナーを抽出する。よって、選択した３つのコーナーが全て同一平面上に存在するか否かを精度よく判別できる。
【００２０】
(3) 特徴点選択部5は、画像上を縦方向に分割した際に、同一の領域（３画素幅のライン上）に属している特徴点の中から所定の位置関係にある３つの特徴点を選択する。すなわち、同一の領域に存在するコーナーは同一平面上に存在する可能性が高いため、画像中に無数検出される特徴点の中から効率よく同一平面上に存在する可能性が高い３つの特徴点を選択できる。
【００２１】
(4) 特徴点判別部6は、選択された３つの特徴点に同一平面上に存在しない特徴点が存在すると判別された場合、そのうちの２つの特徴点を再度選択し、選択された２つの特徴点のフロー変化の比が不変であるとき、選択された２つの特徴点が同一平面上に存在すると判別する。よって、選択された３つの特徴点が同一平面上に存在しない場合であっても、３つの特徴点のうちの２つが同一平面上に存在するか否かを判別することにより、画像中における平面領域の検出に際し、再度特徴点の抽出や選択を実施する手間と時間を省くことができる。
【００２２】
〔実施例２〕
図５は、実施例２の特徴点判別装置の構成図であり、実施例１の特徴点判別装置は、図１に示した実施例１の構成に加え、横フロー算出部（横フロー算出手段）7と、縦フロー算出部（縦フロー算出手段）8とを備える。
横フロー算出部7は、撮像された画像上における縦エッジの画素に対し、２次元オプティカルフローを表す速度ベクトルの横方向成分を横方向の速度（横フロー）として算出する。
縦フロー算出部8は、撮像された画像上における横エッジの画素に対し、２次元オプティカルフローを表す速度ベクトルの縦方向成分を縦方向の速度（縦フロー）として算出する。
【００２３】
［特徴点判別処理］
図６は、実施例２の画像処理装置2で実行される特徴点判別処理の流れを示すフローチャートで、以下、各ステップについて説明する。なお、図２に示した実施例１の特徴点判別処理と同一の処理を行うステップには、同一のステップ番号を付して説明を省略する。
ステップS202では、特徴点抽出部3において、取得した画像に対し、縦方向エッジと横方向エッジの検出を行う。同時に、エッジの規格化処理として、検出したエッジ画像を２値画像に変換するエッジ２値化処理と、２値画像を幅１画素の線画像に変換する細線化処理と、細線化後の２値画像を幅３画素に膨張させる膨張処理とを行う。
【００２４】
ステップS203では、横フロー算出部7で縦エッジの横フローを算出すると共に、縦フロー算出部8で横エッジの縦フローを算出する。横フロー算出部7および縦フロー算出部8は、画像中の画素毎に、投票対象をエッジとする投票を時系列的に実施し、投票値に基づくエッジの移動状態からエッジのフローを算出する。投票は、エッジに該当する（アクティブな）画素の投票値に+1を加算（カウントアップ）し、エッジに該当しない画素の投票値をリセット（初期化）する。
図７に、縦エッジの横フロー算出方法の具体例を示す。図７(a)は時刻tにおける縦エッジおよび投票値の状態、図７(b)は時刻t後の時刻t+1における縦エッジおよび投票値の状態、図７(c)は時刻t+1後の時刻t+2における縦エッジおよび投票値の状態を示す図である。
【００２５】
まず、時刻tにおいて画像横方向へ３画素分に規格化されたエッジが、図７(a)に示す位置(X0-1,X0,X0+1)に検出されたとする。このとき、画像横方向X0-1で画像縦方向の任意画素において投票値を5、画像横方向X0で画像縦方向の任意画素において投票値を3、画像横方向X0+1で画像縦方向の任意位置において投票値を1とする。
その後、時刻t+1において再度同じ位置でエッジが検出されたとする。このとき、図７(b)に示すように、画像横方向X0-1について投票値を6、画像横方向X0について投票値を4、画像横方向X0+1について投票値を2とする。
そして、図７(c)のように、時刻t+2においてエッジ位置が右下がり斜め方向に１画素分だけシフトしたとする。このとき、画像横方向X0について投票値を5、画像横方向X0+1について投票値を3、画像横方向X0+2について投票値を1とする。さらに、エッジが検出されなくなった画素（画像横方向X0-1であって画像横方向に任意位置）について投票値をリセットする。
【００２６】
横フロー算出部7は、各画素の投票値に基づいてエッジの直交方向の速度を検出する。新たにエッジが検出された位置では投票値が1となり、その画素の周囲の投票値の中では最も小さな値となる（投票値0を除く）。つまり、エッジが移動する方向の投票値は小さく、エッジが移動する方向と反対方向のエッジの投票値は大きくなる。よって、投票値の勾配によりエッジの移動方向を求めることができる。このとき、勾配が小さいほどエッジの移動速度は高くなるため、エッジの移動速度（フロー）は、1/勾配で表すことができる。また、エッジの位置は、図７(b)の場合、画像横方向X0+1の投票値をh、画像横方向X0-1の投票値とhとの差をHとしたとき、X0+h/Hとなる。
なお、横エッジの縦フロー算出方法については縦エッジの横フロー算出方法と同様である。
【００２７】
ステップS204では、特徴点抽出部3において、特徴点対応付け部4において、縦エッジと横エッジの交点をコーナーとして検出する。
ステップS205では、特徴点対応付け部4において、縦横フロー情報（縦方向速度、横方向速度）に基づいて過去２フレーム分以上の画像で検出コーナーの時間的な対応付けを行う。
【００２８】
ステップS206では、特徴点選択部5において、縦エッジと横エッジから自車と正対する平面（正対平面）を検出する。ここで、縦エッジと横エッジとで長方形が形成されている場合、当該長方形は自車と正対する平面上にある。
ステップS207では、特徴点選択部5において、正対平面上のコーナーまたは同一フローに属する（同一フロー内）コーナーを任意に３点選択する。
ステップS214では、特徴点判別部6において、選択可能なコーナーがあるか否かを判定し、YESの場合はステップS112へ進み、NOの場合はステップS207へ戻る。
【００２９】
次に、作用を説明する。
［特徴点判別作用］
実施例２の特徴点判別処理では、図８に示すように、正対平面上または同一フロー内から３つのコーナーを選択し、実施例１と同様の手法を用いて３つまたは２つのコーナーの時系列画像の比較を行い、選択したコーナーが同一平面上に存在するか否かを判別する。
図８において、３点P1(t),P2(t),P3(t)は縦方向に延在する物体11の同一平面上であって、自車と正対する正対平面13上に存在するコーナーである。なお、２点P1(t),P2(t)は、同一ライン上に存在する。
【００３０】
３点P1(t),P2(t),P3(t)を選択した場合、３点によって形成される距離の比は、各フレーム間で一定である。このため、点P3(t)を点P2(t)の高さ（縦方向位置）に移動させた点をP4(t)とし、P1(t)−P2(t)間の距離をl1(t)、P3(t)−P4(t)間の距離をl2(t)とすると、現フレームと過去１フレームで下記の式(4)の関係が成立する。
l1(t):l2(t) = l1(t-k):l2(t-k) …(4)
よって、式(4)の関係を満足するか否かを判定することで、最小限の時系列画像を用いて、選択した３点が全て同一平面上に存在するか否かを精度よく判別できる。
【００３１】
ここで、正対平面上から選択したコーナーはいずれも自車に対して同一距離にあるため、同一平面上に存在する可能性が高い。また、同一フロー（同じ縦方向または横方向の速度をもつコーナー群）内から選択したコーナーも自車に対して同一距離に存在するため、同一平面上に存在する可能性が高い。よって、正対平面上または同一フロー内を探索領域とし、当該探索領域から３つのコーナーを選択することで、画像中に無数検出されるコーナーの中から効率よく同一平面上に存在する可能性が高い３つの特徴点を選択できる。
【００３２】
次に、効果を説明する。
実施例２の特徴点判別装置にあっては、実施例１の効果(1)〜(4)に加え、以下に列挙する効果を奏する。
(5) 撮像された画像上における縦エッジの画素に対し、横方向の速度を算出する横フロー算出部7と、撮像された画像上における横エッジの画素に対し、縦方向の速度を算出する縦フロー算出部8とを備え、特徴点選択部5は、同一フローに属する特徴点の中から所定の位置関係にある３つの特徴点を選択する。すなわち、同一フローに属する特徴点は同一平面上に存在する可能性が高いため、画像中に無数検出される特徴点の中から効率よく同一平面上に存在する可能性が高い３つの特徴点を選択できる。
【００３３】
(6) 撮像された画像上における縦エッジの画素に対し、横方向の速度を算出する横フロー算出部7と、撮像された画像上における横エッジの画素に対し、縦方向の速度を算出する縦フロー算出部8と、を備え、特徴点選択部5は、縦横フローに基づいた正対した平面上に存在する特徴点の中から３つの特徴点を選択する。すなわち、正対平面上に存在する特徴点は同一平面上に存在する可能性が高いため、画像中に無数検出される特徴点の中から効率よく同一平面上に存在する可能性が高い３つの特徴点を選択できる。
【００３４】
（他の実施例）
以上、本発明を実施するための形態を、実施例に基づいて説明したが、本発明の具体的な構成は、実施例に限定されるものではなく、発明の要旨を逸脱しない範囲の設計変更等があっても本発明に含まれる。
実施例では、画像上を縦方向に分割した際に、同一の領域に属している特徴点の中から所定の位置関係にある３つの特徴点を選択する例を示したが、画像上を横方向に分割した際に、同一の領域に属している特徴点の中から所定の位置関係にある３つの特徴点を選択する構成としてもよい。
実施例１では、横フロー算出手段と縦フロー算出手段の両方を設けた例を示したが、どちらか一方のみを設けた構成としてもよい。
【符号の説明】
【００３５】
1 車載カメラ（撮像手段）
2 画像処理装置
3 特徴点抽出部（特徴点抽出手段）
4 特徴点対応付け部（特徴点対応付け手段）
5 特徴点選択部（特徴点選択部）
6 特徴点判別部（特徴点判別部）
7 横フロー算出部（横フロー算出手段）
8 縦フロー算出部（縦フロー算出手段）
【特許請求の範囲】
【請求項１】
移動体に搭載され、周囲環境を画像として撮像する撮像手段と、
前記撮像された画像から特徴点を抽出する特徴点抽出手段と、
前記抽出された特徴点の時間的対応を求める特徴点対応付け手段と、
前記抽出された特徴点の中で所定の位置関係にある３つの特徴点を選択する特徴点選択手段と、
前記選択された特徴点の時間的対応に基づいて、前記選択された３つの特徴点によって形成される画像上の距離の比が時間的に不変である場合に、前記選択された３つの特徴点が全て同一平面上に存在すると判別する特徴点判別手段と、
を備えたことを特徴とする特徴点判別装置。
【請求項２】
請求項１に記載の特徴点判別装置において、
前記特徴点抽出手段は、前記特徴点として前記撮像された画像中のコーナーを抽出することを特徴とする特徴点判別装置。
【請求項３】
請求項１または請求項２に記載の特徴点判別装置において、
前記特徴点選択手段は、画像上を縦方向に分割した際に、同一の領域に属している特徴点の中から前記所定の位置関係にある３つの特徴点を選択する方法と、画像上を横方向に分割した際に、同一の領域に属している特徴点の中から前記所定の位置関係にある３つの特徴点を選択する方法の少なくとも一方を用いて３つの特徴点を選択することを特徴とする特徴点判別装置。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の特徴点判別装置において、
撮像された画像上における縦エッジの画素に対し、横方向の速度を算出する横フロー算出手段と、
撮像された画像上における横エッジの画素に対し、縦方向の速度を算出する縦フロー算出手段と、
の少なくとも一方を備え、
前記特徴点選択手段は、同一フローに属する特徴点の中から前記所定の位置関係にある３つの特徴点を選択することを特徴とする特徴点判別装置。
【請求項５】
請求項１ないし請求項３のいずれか１項に記載の特徴点判別装置において、
撮像された画像上における縦エッジの画素に対し、横方向の速度を算出する横フロー算出手段と、
撮像された画像上における横エッジの画素に対し、縦方向の速度を算出する縦フロー算出手段と、
を備え、
前記特徴点選択手段は、縦横フローに基づいた正対した平面上に存在する特徴点の中から３つの特徴点を選択することを特徴とする特徴点判別装置。
【請求項６】
請求項１ないし請求項５のいずれか１項に記載の特徴点判別装置において、
前記特徴点判別手段は、前記選択された３つの特徴点に同一平面上に存在しない特徴点が存在すると判別された場合、そのうちの２つの特徴点を再度選択し、選択された２つの特徴点のフロー変化の比が不変であるとき、選択された２つの特徴点が同一平面上に存在すると判別することを特徴とする特徴点判別装置。
【請求項１】
移動体に搭載され、周囲環境を画像として撮像する撮像手段と、
前記撮像された画像から特徴点を抽出する特徴点抽出手段と、
前記抽出された特徴点の時間的対応を求める特徴点対応付け手段と、
前記抽出された特徴点の中で所定の位置関係にある３つの特徴点を選択する特徴点選択手段と、
前記選択された特徴点の時間的対応に基づいて、前記選択された３つの特徴点によって形成される画像上の距離の比が時間的に不変である場合に、前記選択された３つの特徴点が全て同一平面上に存在すると判別する特徴点判別手段と、
を備えたことを特徴とする特徴点判別装置。
【請求項２】
請求項１に記載の特徴点判別装置において、
前記特徴点抽出手段は、前記特徴点として前記撮像された画像中のコーナーを抽出することを特徴とする特徴点判別装置。
【請求項３】
請求項１または請求項２に記載の特徴点判別装置において、
前記特徴点選択手段は、画像上を縦方向に分割した際に、同一の領域に属している特徴点の中から前記所定の位置関係にある３つの特徴点を選択する方法と、画像上を横方向に分割した際に、同一の領域に属している特徴点の中から前記所定の位置関係にある３つの特徴点を選択する方法の少なくとも一方を用いて３つの特徴点を選択することを特徴とする特徴点判別装置。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の特徴点判別装置において、
撮像された画像上における縦エッジの画素に対し、横方向の速度を算出する横フロー算出手段と、
撮像された画像上における横エッジの画素に対し、縦方向の速度を算出する縦フロー算出手段と、
の少なくとも一方を備え、
前記特徴点選択手段は、同一フローに属する特徴点の中から前記所定の位置関係にある３つの特徴点を選択することを特徴とする特徴点判別装置。
【請求項５】
請求項１ないし請求項３のいずれか１項に記載の特徴点判別装置において、
撮像された画像上における縦エッジの画素に対し、横方向の速度を算出する横フロー算出手段と、
撮像された画像上における横エッジの画素に対し、縦方向の速度を算出する縦フロー算出手段と、
を備え、
前記特徴点選択手段は、縦横フローに基づいた正対した平面上に存在する特徴点の中から３つの特徴点を選択することを特徴とする特徴点判別装置。
【請求項６】
請求項１ないし請求項５のいずれか１項に記載の特徴点判別装置において、
前記特徴点判別手段は、前記選択された３つの特徴点に同一平面上に存在しない特徴点が存在すると判別された場合、そのうちの２つの特徴点を再度選択し、選択された２つの特徴点のフロー変化の比が不変であるとき、選択された２つの特徴点が同一平面上に存在すると判別することを特徴とする特徴点判別装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−６５２３９（Ｐ２０１３−６５２３９Ａ）
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願番号】特願２０１１−２０４４２５（Ｐ２０１１−２０４４２５）
【出願日】平成２３年９月２０日（２０１１．９．２０）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願日】平成２３年９月２０日（２０１１．９．２０）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
[ Back to top ]