物体認識装置
【課題】 少ない演算量で、非検出対象のデータが混在しても安定して移動体周辺の物体の形状を認識することができ、両者の配置関係を求めて、この配置関係を良好に報知することのできる物体認識装置を提供する。
【解決手段】 移動体周辺に存在する物体を認識する物体認識装置であって、物体の表面形状情報を検出する物体検出手段1と、表面形状情報を構成する標本群から任意に抽出した標本に基づいて定めた形状モデルに対する標本群の一致度を演算して前記物体の輪郭形状を認識する形状認識手段2と、物体検出手段1及び形状認識手段2の検出及び認識結果に基づいて、移動体と物体との相対的な配置関係を演算する相対配置演算手段3と、この相対配置演算手段3の演算結果に基づいて、配置関係についてディスプレイへの表示又は音声により報知する報知手段5と、を備える。
【解決手段】 移動体周辺に存在する物体を認識する物体認識装置であって、物体の表面形状情報を検出する物体検出手段1と、表面形状情報を構成する標本群から任意に抽出した標本に基づいて定めた形状モデルに対する標本群の一致度を演算して前記物体の輪郭形状を認識する形状認識手段2と、物体検出手段1及び形状認識手段2の検出及び認識結果に基づいて、移動体と物体との相対的な配置関係を演算する相対配置演算手段3と、この相対配置演算手段3の演算結果に基づいて、配置関係についてディスプレイへの表示又は音声により報知する報知手段5と、を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、移動体周辺に存在する物体の輪郭形状を認識し、移動体と物体との相対的な配置関係を求めて、この配置関係について視覚的に、又は音声により報知する物体認識装置に関する。
【背景技術】
【0002】
このような装置としては、下記に示す特許文献1に記載されたような障害物検知装置がある。この装置は、車両(移動体)の周辺に存在する障害物を検知して警報を発するものである。この発明は、従来の装置が、単に車両と障害物との距離だけを測定して所定距離よりも短い場合にのみ、警報を発するように構成されているのに対してなされたものである。即ち、距離に基づく警報だけでは、運転者にとって車両の周りのどの物体が障害物か判り難いという問題に鑑みてなされたものである。これによると、車両に複数の障害物検知センサを搭載し、障害物までの距離を演算する。これら得られた演算結果より障害物の形状が直線(平板形状)か円形(凸面形状)かを推定して表示する。このように構成することにより、障害物との距離と、障害物の形状とを利用して報知している。
【0003】
【特許文献1】特開2003−194938号公報(第2−3頁、第1−7図)
【発明の開示】
【発明が解決しようとする課題】
【0004】
上記公知技術は、障害物の形状までも推定する点において、利用者にとって有益なものである。しかし、実際の計測においては、検出対象の物体(障害物)以外を検出した検出データが混在することが多い。そして、検出対象物以外の検出データは、ノイズ成分として作用するため、検出対象物の形状推定に際して誤認の原因となることが考えられる。即ち、障害物等の検出対象となる物体を検出する際の安定性が充分とはいえない。また、一般にこのようなノイズ除去の機能を具備すれば、演算量が増え、それに伴って処理時間の増大や装置の大規模化を招くことになる。
【0005】
本願発明は上記課題に鑑みてなされたもので、少ない演算量で、非検出対象のデータが混在しても安定して移動体周辺の物体の形状を認識することができ、両者の配置関係を求めて、この配置関係を良好に報知することのできる物体認識装置を提供することを目的としている。
【課題を解決するための手段】
【0006】
この目的を達成するための本発明に係る移動体周辺に存在する物体を認識する物体認識装置の特徴構成は、
前記物体の表面形状情報を検出する物体検出手段と、
前記表面形状情報を構成する標本群から任意に抽出した標本に基づいて定めた形状モデルに対する前記標本群の一致度を演算して前記物体の輪郭形状を認識する形状認識手段と、
前記物体検出手段及び前記形状認識手段の検出及び認識結果に基づいて、前記移動体と前記物体との相対的な配置関係を演算する相対配置演算手段と、
この相対配置演算手段の演算結果に基づいて、前記配置関係についてディスプレイへの表示又は音声により報知する報知手段と、
を備える点にある。
【0007】
この特徴構成によれば、物体検出手段が物体の表面形状情報を検出し、この表面形状情報に基づいて、形状認識手段が物体の輪郭形状を認識する。ここで、表面形状情報とは、移動体から見た物体の表面の形状を示す情報である。電波や超音波等を用いた反射型のセンサを用いてもよいし、可視光や赤外光等を利用して画像データを得るイメージセンサ、カメラ(動画、静止画を問わず)を用いてもよい。
【0008】
形状認識手段は、上記種々の物体検出手段より得られた標本群より、輪郭形状を認識する。ここで、標本群とは、表面形状情報を構成する個々のデータの集合体のことをいう。個々のデータとは、例えば、反射型のセンサを用いた場合には、障害物の各場所で反射された信号を受信して得られた各場所に対応した情報である。画像データを利用した場合には、エッジ抽出、三次元変換等の種々の画像処理により得られたデータを用いることができる。このように、形状認識手段の種類に依らず、物体の表面形状を表すデータを標本として扱い、この標本の集合体を標本群と称する。
【0009】
形状認識手段は、この標本群より任意に(ランダムに)いくつかの標本を抽出して、抽出した標本に基づいて形状モデルを定める。この形状モデルを定めるに際しては、抽出した標本より幾何学的に算出してもよいし、予め複数のテンプレートを用意して最適なものに当てはめる方法を用いてもよい。そして、標本群全体がこの形状モデルに対して、どの程度一致するかの一致度を演算する。この演算結果に基づいて、具現化された形状モデルが標本群に適合するものか否かを判定する。
【0010】
即ち、任意に抽出した標本にノイズ性の標本が含まれていた場合には、定めた形状モデルと標本群との一致度は低くなる。従って、この形状モデルは標本群に適合しないと判定できる。ノイズ性の標本を含まずに形状モデルを定めた場合には、一致度は高くなる。従って、形状モデルは標本群に適合すると判定できる。このように、少ない演算量で、ノイズ性の標本を除去して対象となる物体の輪郭形状を認識することができる。
【0011】
形状認識手段は、標本群よりも遥かに少ない標本数である、任意に抽出された標本より形状モデルを定めている。従って、標本の抽出や形状モデルを定める際に必要となる演算量は少ない。そのため、演算時間も短く、装置も大規模化しない。また、形状モデルに対する標本群の一致度は、各標本の空間上の座標を用いて、幾何学的に演算することができる。従って、この一致度の演算も少ない演算量で行うことができる。さらに、これらの演算量が少ないことより、繰り返し異なる形状モデルを定めて一致度を演算しても総演算量の増大を抑制することができる。その結果、高い精度で輪郭形状を認識することができる。
【0012】
上述したように、本発明によれば対象となる物体の輪郭形状を安定して得ることができる。そして、表面形状情報を得るに際して、物体検出手段と物体との距離や位置関係も情報として取得できている。移動体における物体検出手段の配置場所は既知であり、移動体の外形形状も既知である。従って、認識した輪郭形状等を用いて、移動体の各場所と物体の各場所との相対的な配置関係を演算することができる。その結果、相対的な配置関係より、移動体のどの部分と物体のどの部分とが接近しているか等を容易に知ることができる。そして、これをディスプレイへの表示や音声により、報知するようにしている。従って、移動体の操作者や監督者は、自分が想定しているよりも接近しているか否か等、物体との関係を知ることができる。
【0013】
このように、本特徴構成によれば、少ない演算量で、非検出対象のデータが混在しても安定して移動体周辺に存在する物体の形状を認識すると共に、移動体と物体との相対配置関係を報知することができる。
【0014】
ここで、前記物体検出手段が、前記物体の表面と前記移動体との距離に基づいて前記表面形状情報を検出するものであると好適である。
【0015】
対象となる物体の輪郭形状が、移動体からの遠近に関する形状、例えばいわゆる奥行きであるような場合、表面形状情報を物体と移動体との距離に基づいて検出すると好適である。このような場合、ノイズ性の標本が含まれない場合には、距離に基づいて検出された表面形状情報は、ほぼ認識したい輪郭形状を表す標本群となる。これにノイズ性の標本が含まれた場合でも、ノイズ性の標本を除去できれば、残った標本群はほぼ認識したい輪郭形状を示すものとなる。上述したように本発明によれば、形状モデルと標本群との一致度の演算により良好にノイズ性の標本を除去できる。従って、物体検出手段が物体の表面と移動体との距離に基づいて表面形状状態を検出するものであると、安定且つ正確な物体認識が可能となる。
【0016】
尚、前記表面形状情報が前記物体の外形輪郭を表すものであると好適である。
認識の対象となる物体は、壁等の平坦なものに限らず、段差を持つような場合もある。段差とは、車両のバンパー部とフロントやリヤのウィンドウ部、階段等である。外形輪郭は、物体の有するこのような段差を含め、その外側、即ち外形を示す表面形状である。物体と物体検出手段とが最も近い距離、即ち物体が物体検出手段側に突出した部分だけしか検出できなければ、バンパー部や階段の最下段のみが検出される。しかし、移動体が物体に対して突出した部分は、必ずしも物体が移動体側に突出した部分と一致しているとは限らない。移動体の利用者(監督者)は移動体の一部分と物体の一部分とが、過度に接近しないように操作又は監督することを望む。従って、場合によっては、認識したい輪郭形状は、物体が車両であれば、バンパー部に限らず、ウィンドウ部である場合もある。階段等の場合も同様である。従って、表面形状情報は単に対象となる物体が移動体側に最も突出した部分だけを対象とはせず、対象となる物体の種々の場所を対象とすることが好ましい。対象となる物体の外形輪郭を表す表面形状情報を得ることにより、用途に応じて、種々の場所に対する輪郭形状を認識するようにすると好ましい。
【0017】
さらに、前記相対配置演算手段が、前記移動体の移動状態を検出する移動状態検出手段の検出結果に基づいて前記配置関係を演算すると共に、この配置関係に基づいて前記移動体と前記物体との接近度合いを判定する判定手段を備えると好適である。
【0018】
移動状態検出手段によって移動体の移動状態を検出すると、近未来の移動体の位置を推定することができる。従って、移動状態検出手段の検出結果に基づいて、現在に留まらず未来の、物体と移動体との配置関係を演算することができる。既に両者の配置関係により、物体と移動体との各部分の接近度合いが知られているので、移動体の移動によりこの接近度合いの変化を演算することができる。その結果、移動体と物体との各部分の接近度合いを事前に予測することが可能となる。そして、この接近度合いを判定すると、例えば移動体と物体とが過度に接近したような場合に、迅速な対応が可能となる。
【0019】
ここで、さらに、前記判定手段により判定された前記接近度合いに基づいて、前記移動体の移動速度及び旋回方向の一方又は双方を制御する移動制御手段を備えると好適である。
【0020】
既に説明したように接近度合いを判定すると、例えば移動体と物体とが過度に接近したような場合に、迅速な対応につなげることができる。この対応として、上記のように、移動体の移動速度及び旋回方向の一方又は双方を制御するようにすると、好ましい。即ち、移動速度を制御すれば、過度に物体に接近する移動体の接近速度を遅くすることや、接近を停止することができる。また、旋回方向を制御すれば、物体に接近しない方向へ移動方向を変更することができる。
【0021】
本発明に係る物体認識装置の前記物体検出手段が、前記移動体の移動に伴って前記物体の前記表面形状情報を検出するものであると好適である。
【0022】
移動体の移動に伴って物体の表面形状情報を検出するように構成すると、移動体の移動方向に合わせて物体を検出することとなり、効率的な検出が可能となる。また、例えば物体検出手段を一方向に向けた固定的なセンサ(例えば、シングルビームセンサ)で構成することもできる。即ち、固定的に一方向しか検出できない物体検出手段であっても、移動体が動くことによって広い範囲を走査することができる。
【0023】
また、前記物体検出手段が、前記移動体の移動に拘らず前記物体に対する広角エリアを走査する走査手段を備え、得られた走査情報に基づいて前記物体の前記表面形状情報を検出するものであると好適である。
【0024】
この構成によれば、移動体が停止状態にあっても、広い範囲を走査して物体を検出することができる。その結果、例えば停止している移動体が移動を開始する際に物体の有無等の周囲の状況を考慮することができる。
【発明を実施するための最良の形態】
【0025】
〔第一実施形態〕
以下、本発明の好適な実施形態を、車両が他の車両を認識する場合を例として、図面に基づいて説明する。図1に示すように、移動体としての車両10には、側方に向けた距離センサ1(物体検出手段)が搭載されている。この距離センサ1は、例えばポイントセンサ、即ち、シングルービームセンサや超音波を利用したソナー等である。そして、車両10は、駐停車中の他の車両20(以下、駐車車両と称す。)のそばを図示X方向へ通過する際に、距離センサ1によって駐車車両20までの距離を計測する。駐車車両20は本発明の物体に相当するものである。尚、図1には、簡略のため、車両10の左側方にのみ距離センサ1を設けているが、当然両側方に設けていてもよい。
【0026】
距離センサ1は、車両10の移動に応じて駐車車両20との距離を計測する。このようにして得られた駐車車両20の表面形状情報は、車両10の移動距離に応じた離散的なデータである。尚、車両10の「移動距離に応じて」には、「所定時間間隔に応じて」の意味も含むものである。例えば、車両10が等速で移動する場合には、所定時間間隔に応じて計測すれば、移動距離に応じて測定することになる。移動体10の移動速度、移動距離、移動時間は、線形的に定まる。従って、結果として概ね均等に表面形状情報を得ることができる方法であれば、どのような方法を用いてもよい。このようにして、車両10は物体の表面形状情報を取得する(物体検出工程)。
【0027】
尚、距離センサ1は移動時間を計測するタイマ、移動距離を計測するエンコーダ、移動速度を計測する回転センサ等の付随するセンサを備えていてもよい。また、これらセンサを別に備え、情報を得るようにしていてもよい。
【0028】
図2は、本発明の第一実施形態に係る物体認識装置の概略ブロック図である。図2において、形状認識部2(形状認識手段)は、マイクロコンピュータ2A等の電子回路によって構成されている。形状認識部2内の各処理部は、必ずしも物理的に異なる電子回路を示すものではなく、機能としての処理部を示すものである。例えば、異なるプログラムを同一のCPUによって実行することにより、異なる機能を得るような場合も含むものである。
【0029】
図2に示すように距離センサ1によって測定された表面形状情報は、形状認識部2に入力される。入力された表面形状情報は、図1に示すX方向及びY方向を軸とする二次元平面にマッピングされて、標本記憶部2aに記憶される。この標本記憶部2aは、メモリで構成されている。本実施形態においては、マイクロコンピュータ2Aに内蔵する形態を示している。勿論、マイクロコンピュータ2Aとは別体のメモリを用いて、いわゆる外付けの形態としていてもよい。また、内蔵、外付けを問わず、レジスタ、ハードディスク等、他の記憶媒体を用いてもよい。
【0030】
マイクロコンピュータ2A内には、上記の他、相対配置演算部3(相対配置演算手段)を備えている。詳細は後述するが、上述したように車両10から見た駐車車両20の輪郭形状の認識に際して、距離センサ1を用いて駐車車両20の表面形状情報を取得している。従って、車両10と駐車車両20との距離情報も同時に得ることができている。相対配置演算部3は、この距離情報と、輪郭形状とを用いて、車両10と駐車車両20との相対配置を演算するものである。
【0031】
ここで、相対配置とは、車両10の各部と駐車車両20の各部との相対位置である。車両10の外形形状は、自己の形状であるため、既知である。そして、車両10から見た駐車車両20の輪郭形状は、下記に詳述する方法により良好に認識できる。これらにより、相対配置演算部3において図10に示すように車両10と駐車車両20との相対配置を演算する。尚、図10では理解を容易にするために、駐車車両20全体を点線で示しているが、実際には認識された輪郭形状Eと、車両10との相対配置を演算する。勿論、他の場所も含めて輪郭形状Eを認識している場合には、全ての相対配置を演算することができる。
【0032】
そして、この相対配置は、ディスプレイ5a等の報知手段5に表示される。ディスプレイ5aには、ナビゲーションシステム等のモニタを兼用することができる。ディスプレイ5aへの表示(報知)に際しては、車両10の外形と、認識した輪郭形状Eとを表示する。あるいは、輪郭形状Eに基づいて駐車車両20の全体をイラストとして表現し、車両10と駐車車両20との相対配置関係を表示してもよい。
【0033】
また、上記のように視覚的に表示することによる報知に限らず、音声(音響を含む)により報知してもよい。この音声は、ブザー5bや、チャイム等によって発することができる。また、ナビゲーションシステムには音声ガイドの機能を備えているものもある。従って、モニタの利用と同様、この音声ガイドの機能を兼用するようにしてもよい。
【0034】
以下、物体検出工程と、それに続いて物体の輪郭形状を認識する形状認識工程と、の詳細について説明する。
【0035】
初めに、物体検出工程について説明する。図3に示すように、距離センサ1によって駐車車両20上の表面形状情報Sが計測される。表面形状情報は、本実施形態において駐車車両20のバンパー部の外形形状に沿った形で離散的に得られた計測データである。ここで、これら離散的に得られたデータの一群を標本群S(ラージエス)と称する。標本群Sは、輪郭形状の認識対象となるデータセットである。また、データセットを構成する一点一点のデータを標本s(スモールエス)と称する。
【0036】
標本群Sは、標本記憶部2aの中で、図4に示すようにXYの二次元直交座標上にマッピングされる。尚、説明を容易にするため、図中には全ての標本sを示していない。図4に示した標本中、黒点で示す標本sをインライア、白抜き点で示す標本sをアウトライアと称する。図中、標本s1、s13等はインライアであり、標本s2、s7、s10はアウトライアである。詳細は後述するが、インライアは駐車車両20の輪郭形状を構成する標本である。アウトライアは駐車車両20の輪郭形状から外れたいわゆるノイズ性の標本である。
【0037】
以下、図7に示すフローチャートも利用して、得られた標本群Sより、駐車車両20の輪郭形状を認識する手順(形状認識工程)について説明する。
【0038】
標本抽出部2bは、標本群S(標本s1〜s13)より任意の標本si(iは標本番号)を数点抽出する(標本抽出工程、図7#1)。どの標本sを抽出するかについてはランダムに定まる。好適には乱数を用いる。例えば、マイクロコンピュータ2Aに乱数発生器(不図示)を設け、発生した乱数を標本番号とする標本siを抽出する。あるいは、マイクロコンピュータ2Aが実行する乱数発生プログラムによって標本番号を定めてもよい。
【0039】
また、抽出する標本数は、認識したい対象形状によって異なる。例えば直線の認識をする場合には2点であり、二次曲線であれば5点である。本実施形態においては、駐車車両20のバンパー形状を二次曲線に近似し、5点を抽出する。このようにして抽出された個々のデータ、標本sの集合は、データセットに対応する概念としてのサブセットである。
【0040】
続いて、このサブセット(ランダムに抽出した標本sの集合体)に基づいて形状モデル設定部2cが形状モデルを定める(形状モデル設定工程、図7#2)。
【0041】
図5は、図4の散布図に示す標本群Sから任意に抽出した標本siより定めた形状モデルL(第一の形状モデルL1)と標本群Sとの一致度を演算する説明図である。この第一の形状モデルL1は、標本s1、s5、s8、s11、s13の5つの標本sに基づいて定められたものである。この形状モデルLは、演算負荷の軽い線形計算により容易に求めることができる。または、予め数種類のテンプレート形状を用意しておき、これらテンプレート形状の中より最適なものを選択するようにして定めてもよい。
【0042】
また、図5に示すように、形状モデルLの接線に対して直交する両方向に所定距離離れた点を形状モデルLに沿って結び、点線B1及びB2を定める。この点線B1及びB2に挟まれた部分が有効範囲Wとなる。
【0043】
次に、一致度演算部2dにおいて、定めた形状モデルLと、標本群Sとの一致度を演算する。具体的には、上記のように定めた有効範囲Wの中に、標本群Sを構成する各標本siが、どの程度含まれるかによって一致度を算出する(一致度演算工程、図7#3)。
【0044】
図5に示した第一の曲線モデルL1に対する有効範囲Wの中には、標本s2、s7、s10のアウトライアを除く全ての標本sが含まれている。従って、第一の形状モデルL1の標本群Sに対する一致度は、77%(10/13)となる。つまり、第一の形状モデルL1は、標本群Sを構成する各標本sにより、高い支持率(77%)で合意(コンセンサス)を得たということができる。
【0045】
次に、主演算部2eにおいて、この一致度が所定のしきい値を超えているか否かを判定する(判定工程、図7#4)。そして、しきい値を超えている場合には抽出したサブセットより定めた形状モデル(第一の形状モデルL1)を認識結果として認定する(認定工程、図7#5)。即ち、第一の形状モデルL1を輪郭形状とする。例えば、しきい値が、75%と設定されているような場合には、第一の形状モデルL1を輪郭形状とする。しきい値を超えていない場合には、図7のフローチャートの処理#1に戻り、再度、別の標本sを抽出して新たなサブセットを構成し、同様の処理を行う。複数回処理#1〜#4を繰り返してもしきい値を超えないような場合には、対象となる物体(駐車車両20等)が無い、と判断する。この回数は、予め規定しておけばよい。
【0046】
尚、本実施形態においては、理解を容易にするために標本群Sを構成する標本sの総数を13ケとしている。しきい値の値(75%)も、本実施形態の説明を容易にするための値である。従って、標本数、一致度の判定しきい値共に、本発明を限定する値ではない。例えば、標本数が多ければ、アウトライアに対するインライアの数は相対的に多くなり、上記の例よりも高いしきい値を設定することもできる。
【0047】
図6に示した形状モデルL(第二の形状モデルL2)では、サブセットとして標本s2、s4、s7、s10、s13が抽出されている。上述したように標本s2、s7、s10は、駐車車両20の輪郭形状から外れたいわゆるノイズ性の標本である。従って、駐車車両20の輪郭形状から見た場合には、アウトライアとなるべき、標本である。そのため、図6に示すように、これらの標本s2、s7、s10を含むサブセットに基づいて定められた第二の形状モデルL2に対する有効範囲Wから外れる標本sが多数存在する。第一の形状モデルL1と同様の方法により一致度を演算すると、その一致度は38%(5/13)となる。つまり、第二の形状モデルL2は、標本群Sを構成する各標本sにより、高い支持率で合意(コンセンサス)を得られていないということになる。
【0048】
上記2つの形状モデルL1及びL2が抽出されるような場合、認識結果となる輪郭形状は第一の形状モデルL1となる。第一の形状モデルL1を定めるに際しては、ノイズ性の標本sである標本s2、s7、s10は、未使用である。これらノイズ性の標本は、アウトライアとして扱われ、除去されたこととなる。即ち、上記説明したような少ない演算量で、非検出対象のデータ(アウトライア)が混在してもこれを除去し、安定して物体の形状を認識することができる。
【0049】
このような方法を用いず、標本Sより輪郭形状を算出する方法は従来、種々提案されている。その一つは、最小自乗法である。最小自乗法では、データセットの全ての標本sを用いて、夫々の標本sが同一の重みとなって形状が計算される。その結果、上述したアウトライア(標本s2等)の影響を受けて、本来とは異なった輪郭形状を認識する。輪郭形状を認識した後に、データセット全体との一致度を再確認することも可能ではある。しかし、最小自乗法自体の演算負荷が比較的重い上、この再確認の結果により繰り返し最小自乗法による形状認識を行うとさらに演算負荷を重くすることになる。
【0050】
また別の方法として、特に直線の認識に好適なハフ(Hough)変換を利用する方法もある。ハフ変換はよく知られているように、直交座標(例えばXY平面)上に存在する直線は、極座標(ρ−θ空間)上では1点で交差する、という性質を利用したものである。その変換式は、
ρ=X・cosθ + Y・sinθ
である。上記式より、理解できるように極座標空間でρやθの範囲を広げたり、細かい分解能を得たりしようとすると、それだけ演算量が増大する。つまり、一次記憶手段としての、メモリは大容量が要求され、計算回数も多くなる。
【0051】
これら従来の演算に比べ、本発明の「表面形状情報を構成する標本群Sから任意に抽出した標本sに基づいて定めた形状モデルLに対する標本群Sの一致度を演算する」方法は、演算量が少なく、必要となるメモリ容量も少ない。
【0052】
〔第二実施形態〕
上記説明においては、形状モデルLと標本群Sとの一致度を調べ、この一致度が所定のしきい値を超えていれば、その形状モデルLを認識結果とする。つまり、最先にしきい値を超えた形状モデルLがそのまま認識結果となる。これに限らず、単にしきい値を超えただけで直ちにその形状モデルLを認識結果とはせず、複数個の形状モデルLを評価するようにしてもよい。具体的な手順については、以下に説明する。
【0053】
図8は、図4の散布図に示す標本群から輪郭形状を認識する第二の方法を説明するフローチャートである。この第二の方法では、サブセットを複数回抽出して形状モデルLを定め、その中で最も一致度の高かった形状モデルLを認識結果とするようにしている。以下、図8に基づいて、第二の方法について説明する。但し、処理#1〜#4は第一の方法である図7に示したフローチャートと同様であるので、説明を省略する。
【0054】
本第二の方法では、サブセットを複数回繰り返して抽出するので、繰り返し回数を一時記憶する。形状認識工程の開始に当たって、まず初めにこの一時記憶する繰り返し回数をクリアする(初期化工程、図8#0)。以下、第一実施形態と同様に、標本抽出工程(#1)にて、標本群Sよりランダムに標本sを抽出してサブセットを作る。次に、形状モデル設定工程(#2)にて、このサブセットに基づいて形状モデルLを定める。そして、一致度演算工程(#3)にて、形状モデルLと標本群Sとの一致度を演算し、判定工程(#4)にて、一致度が所定のしきい値を超えているか否かを判定する。
【0055】
判定の結果、しきい値を超えていた場合には、先に定めた形状モデルLとこの形状モデルLに対する一致度を一時記憶部(不図示)に記憶する(記憶工程、#41)。そして、一つの形状モデルLに対する評価が完了したので、繰り返し回数をインクリメントする(計数工程、#42)。判定の結果、しきい値を超えていなかった場合には、記憶工程(#41)を飛ばして、繰り返し回数をインクリメントする(#42)。
【0056】
次に、繰り返し回数が所定の回数に達したか否か(超えたか否かでもよい)を判定する(離脱判定工程、#43)。所定の回数に達していなければ、標本抽出工程(#1)に戻り、以下判定工程(#4)までを行って、新たな形状モデルLの評価を行う。所定の回数に達していた場合には、記憶されている形状モデルLの内、最も一致度の高かった形状モデルLを選択し、これを認識結果としての輪郭形状とする(認定工程、#51)。ここで、判定工程(#4)において一致度のしきい値を超えたものが一つも無かったような場合には、認定工程(#51)において該当無しと判断する。
【0057】
このように、図7に示す第一の方法、図8に示す第二の方法共に、サブセットに基づいて定めた形状モデルLを輪郭形状と認定している。一般に少ない標本数に基づいて定めた形状モデルLは、正確な輪郭形状を再現するものではない、とも考えられる。しかし、本発明においては、形状モデルLと標本群Sの全標本との一致度を評価している。従って、形状モデルLはほぼ正確に輪郭形状を再現(認識)できていると考えてよい。このように、サブセットを構成する少ない標本数から定めた形状モデルLが輪郭形状を再現できることは、演算量の削減に大きく貢献している。
【0058】
上述したように、形状モデルLをそのまま認識結果として輪郭形状と認定することは、演算量の削減に大きく貢献する。しかし、本発明はこれに限定されるものではない。マイクロコンピュータ2A等、演算手段の能力に余裕のある場合などでは、輪郭形状を再計算してもよい。
【0059】
例えば、一致度がしきい値を超えた形状モデルLを基準とすれば、標本群Sを構成する標本sの夫々をインライア、アウトライアとして定義することができる。認定工程では、このインライア、アウトライアを認定する。そして、インライアと認定された全ての標本sを対象として最小自乗法等を用いて形状を再計算する(再計算工程)。上述したように最小自乗法ではノイズ性の標本sの影響を受けて、形状を正しく再現できない場合がある。しかし、この再計算工程においては、ノイズ性の標本sはアウトライアとして除去されているため、正確な輪郭形状の再現が可能となる。
【0060】
〔第三実施形態〕
図9は、本発明の第三実施形態に係る物体認識装置の概略ブロック図である。 図9に示すように、車輪速センサ4aや舵角センサ4b等、車両10の移動状態を検出する移動状態検出手段4からの入力情報を加味すれば、近未来の相対配置を演算することもできる。つまり、輪郭形状Eが認識された現在の相対配置(図10参照)に留まらず、将来の相対配置関係を推定(予測)することができる。
【0061】
車輪速センサ4aは、車両10の各車輪部(前方右FR、前方左FL、後方右RR、後方左RL)に備えられたセンサである。これは例えば、ホールICを利用した回転センサである。舵角センサ4bは、車両10のステアリングの回転角度やタイヤの回動角度を検出するセンサである。あるいは、前述の車輪速センサ4aの各車輪部での計測結果(左右の車輪の回転数や回転速度の違い)に基づいて舵角を演算する演算装置であってもよい。
【0062】
これらのセンサにより検出した移動状態を加味して、現在及び未来における車両10と駐車車両20の輪郭形状Eとの相対位置関係を演算する。舵角センサ4bによって進行方向を推定し、車輪速センサ4aによって進行速度を推定する。そして、車両10の予想軌跡や、駐車車両20の輪郭形状Eと車両10との数秒後の相対配置関係を演算する。
【0063】
図11は、車両10と駐車車両20の輪郭形状Eとの相対配置関係の一例を示している。符号10Aは車両10の近未来の位置である。ここでは、移動する軌跡により、車両10の一部と、駐車車両20の輪郭形状Eとが、干渉する例を示している。輪郭形状Eと干渉するということは、車両10と駐車車両20とが接触する可能性を示しているといえる。
【0064】
そして、上述したようにこの相対配置や軌跡をディスプレイ5aやブザー5b、音声ガイド等の報知手段5を介して報知することができる。また、図11に示すように輪郭形状Eと、移動軌跡とが干渉するような場合には、注意や警告を促す報知を行うこともできる。さらに、ステアリング制御部6aやブレーキ制御部6b等の移動制御手段6によって干渉を防止することができる。つまり、ステアリング制御部6aで移動方向を変更したり、ブレーキ制御部6bで速度を低下させたりすることにより、未来の干渉、即ち車両10と駐車車両20との接触を防止することができる。
【0065】
〔その他の実施形態〕
上記説明においては、物体検出手段として、図1に示したような車両10の移動に伴って駐車車両20の表面形状情報を検出する距離センサ1を例として説明した。しかし、本発明に係る物体検出手段は、これに限定されることはない。距離センサ1は、車両10の移動に拘らず表面形状情報を出力し、後段の情報処理において、移動距離毎、経過時間毎に選別することも可能である。また、車両10の移動に拘らず駐車車両20に対する広角エリアを走査する走査手段を備え、得られた走査情報に基づいて表面形状情報を検出するものであってもよい。即ち、距離センサ1のようなポイントセンサに限らず、一次元センサ、二次元センサ、三次元センサ等、物体の形状を反映した信号(表面形状情報)を得られるセンサが使用できる。
【0066】
図12には、本発明に係る物体検出手段として一次元センサを用いる場合の例が示されている。ここでは、一次元センサの一例として、スキャン型レーザーセンサを用いている。図12に示すように、センサ位置(走査手段1aの位置)より放射状に物体(駐車車両20)が走査される。物体の各位置からのレーザー波の反射により、距離の分布を計測することができる。レーザー波を発射したときの方位角θをエンコーダ等により検出しておけば、図3に示したものと同様に表面形状情報を得ることができる。そして、XY直交座標にマッピングすることができる。
【0067】
一次元センサの他の例として、超音波方式のレーダ、光方式のレーダ、電波方式のレーダ、三角測量式の距離計等を用いてもよい。
【0068】
二次元センサとしては、水平・垂直方向に走査可能なスキャン型レーダがある。このスキャン型レーダを用いることにより、対象物体の水平方向の形状、垂直方向の形状に関する情報を得ることができる。
また、よく知られた二次元センサとしてはCCD(Charge Coupled Device)や、CIS(CMOS Image Sensor)を利用したカメラ等の画像入力手段もある。このカメラより得られた画像データより、輪郭線情報、交点情報等の各種特徴量を抽出し、表面形状に関する情報を得てもよい。
【0069】
三次元センサについても同様であり、例えばステレオ撮影した画像データ等を用いて、形状に関する情報を得てもよい。
【0070】
〔その他の利用形態〕
以上、本発明の実施形態を、駐車車両20を物体として、この輪郭形状を認識する方法及び装置とこれらの追加的特徴について説明した。この「物体」は、駐車車両や、建造物等の障害物に限らず、道路の走行レーンや、停止線、駐車枠等、種々のものが該当する。即ち、認識対象も立体物の輪郭形状に限定されるものではなく、平面模様の形状認識にも適用できるものである。
【0071】
また、図10、図11に示したように車両10が前進移動している場合だけでなく、図13に示すように後進して車両20aと20bとの間に駐車するような場合にも利用できる。勿論、図1のように前進移動した後、図13に示すように後進移動する、いわゆるスイッチバックの場合にも適用できる。この場合、駐車車両20a、20bの輪郭形状Eを確実に認識した後、両車両の間に進行することができる。
【図面の簡単な説明】
【0072】
【図1】本発明に係る物体認識装置を搭載した車両が他の車両を認識する場合の例を示す説明図
【図2】本発明の第一実施形態に係る物体認識装置の概略ブロック図
【図3】図1の駐車車両の表面形状情報を測定した結果を示す図
【図4】図3に示す測定結果を二次元直交座標上にマッピングした散布図
【図5】図4の散布図に示す標本群から任意に抽出した標本より定めた第一の形状モデルと標本群との一致度を演算する説明図
【図6】図4の散布図に示す標本群から任意に抽出した標本より定めた第二の形状モデルと標本群との一致度を演算する説明図
【図7】図4の散布図に示す標本群から輪郭形状を認識する第一の方法(第一実施形態)を説明するフローチャート
【図8】図4の散布図に示す標本群から輪郭形状を認識する第二の方法(第二実施形態)を説明するフローチャート
【図9】本発明の第三実施形態に係る物体認識装置の概略ブロック図
【図10】図2及び図9の相対配置演算部により算出された物体認識装置を搭載した車両と他の車両の輪郭形状との相対配置関係の一例を示す図
【図11】図9の相対配置演算部により算出された物体認識装置を搭載した車両と他の車両の輪郭形状との相対配置関係の一例(第三実施形態)を示す図
【図12】本発明に係る物体検出手段として一次元センサを用いる場合の例(他の実施形態)を示す図
【図13】図9の相対配置演算部により算出された物体認識装置を搭載した車両と他の車両の輪郭形状との相対配置関係の他の例(他の利用形態)を示す図
【符号の説明】
【0073】
1 距離センサ(物体検出手段)
2 形状認識部(形状認識手段)
2A マイクロコンピュータ
3 相対位置演算部(相対位置演算手段)
5 報知手段
5a ディスプレイ、 5b ブザー
S 標本群
s 標本
【技術分野】
【0001】
本発明は、移動体周辺に存在する物体の輪郭形状を認識し、移動体と物体との相対的な配置関係を求めて、この配置関係について視覚的に、又は音声により報知する物体認識装置に関する。
【背景技術】
【0002】
このような装置としては、下記に示す特許文献1に記載されたような障害物検知装置がある。この装置は、車両(移動体)の周辺に存在する障害物を検知して警報を発するものである。この発明は、従来の装置が、単に車両と障害物との距離だけを測定して所定距離よりも短い場合にのみ、警報を発するように構成されているのに対してなされたものである。即ち、距離に基づく警報だけでは、運転者にとって車両の周りのどの物体が障害物か判り難いという問題に鑑みてなされたものである。これによると、車両に複数の障害物検知センサを搭載し、障害物までの距離を演算する。これら得られた演算結果より障害物の形状が直線(平板形状)か円形(凸面形状)かを推定して表示する。このように構成することにより、障害物との距離と、障害物の形状とを利用して報知している。
【0003】
【特許文献1】特開2003−194938号公報(第2−3頁、第1−7図)
【発明の開示】
【発明が解決しようとする課題】
【0004】
上記公知技術は、障害物の形状までも推定する点において、利用者にとって有益なものである。しかし、実際の計測においては、検出対象の物体(障害物)以外を検出した検出データが混在することが多い。そして、検出対象物以外の検出データは、ノイズ成分として作用するため、検出対象物の形状推定に際して誤認の原因となることが考えられる。即ち、障害物等の検出対象となる物体を検出する際の安定性が充分とはいえない。また、一般にこのようなノイズ除去の機能を具備すれば、演算量が増え、それに伴って処理時間の増大や装置の大規模化を招くことになる。
【0005】
本願発明は上記課題に鑑みてなされたもので、少ない演算量で、非検出対象のデータが混在しても安定して移動体周辺の物体の形状を認識することができ、両者の配置関係を求めて、この配置関係を良好に報知することのできる物体認識装置を提供することを目的としている。
【課題を解決するための手段】
【0006】
この目的を達成するための本発明に係る移動体周辺に存在する物体を認識する物体認識装置の特徴構成は、
前記物体の表面形状情報を検出する物体検出手段と、
前記表面形状情報を構成する標本群から任意に抽出した標本に基づいて定めた形状モデルに対する前記標本群の一致度を演算して前記物体の輪郭形状を認識する形状認識手段と、
前記物体検出手段及び前記形状認識手段の検出及び認識結果に基づいて、前記移動体と前記物体との相対的な配置関係を演算する相対配置演算手段と、
この相対配置演算手段の演算結果に基づいて、前記配置関係についてディスプレイへの表示又は音声により報知する報知手段と、
を備える点にある。
【0007】
この特徴構成によれば、物体検出手段が物体の表面形状情報を検出し、この表面形状情報に基づいて、形状認識手段が物体の輪郭形状を認識する。ここで、表面形状情報とは、移動体から見た物体の表面の形状を示す情報である。電波や超音波等を用いた反射型のセンサを用いてもよいし、可視光や赤外光等を利用して画像データを得るイメージセンサ、カメラ(動画、静止画を問わず)を用いてもよい。
【0008】
形状認識手段は、上記種々の物体検出手段より得られた標本群より、輪郭形状を認識する。ここで、標本群とは、表面形状情報を構成する個々のデータの集合体のことをいう。個々のデータとは、例えば、反射型のセンサを用いた場合には、障害物の各場所で反射された信号を受信して得られた各場所に対応した情報である。画像データを利用した場合には、エッジ抽出、三次元変換等の種々の画像処理により得られたデータを用いることができる。このように、形状認識手段の種類に依らず、物体の表面形状を表すデータを標本として扱い、この標本の集合体を標本群と称する。
【0009】
形状認識手段は、この標本群より任意に(ランダムに)いくつかの標本を抽出して、抽出した標本に基づいて形状モデルを定める。この形状モデルを定めるに際しては、抽出した標本より幾何学的に算出してもよいし、予め複数のテンプレートを用意して最適なものに当てはめる方法を用いてもよい。そして、標本群全体がこの形状モデルに対して、どの程度一致するかの一致度を演算する。この演算結果に基づいて、具現化された形状モデルが標本群に適合するものか否かを判定する。
【0010】
即ち、任意に抽出した標本にノイズ性の標本が含まれていた場合には、定めた形状モデルと標本群との一致度は低くなる。従って、この形状モデルは標本群に適合しないと判定できる。ノイズ性の標本を含まずに形状モデルを定めた場合には、一致度は高くなる。従って、形状モデルは標本群に適合すると判定できる。このように、少ない演算量で、ノイズ性の標本を除去して対象となる物体の輪郭形状を認識することができる。
【0011】
形状認識手段は、標本群よりも遥かに少ない標本数である、任意に抽出された標本より形状モデルを定めている。従って、標本の抽出や形状モデルを定める際に必要となる演算量は少ない。そのため、演算時間も短く、装置も大規模化しない。また、形状モデルに対する標本群の一致度は、各標本の空間上の座標を用いて、幾何学的に演算することができる。従って、この一致度の演算も少ない演算量で行うことができる。さらに、これらの演算量が少ないことより、繰り返し異なる形状モデルを定めて一致度を演算しても総演算量の増大を抑制することができる。その結果、高い精度で輪郭形状を認識することができる。
【0012】
上述したように、本発明によれば対象となる物体の輪郭形状を安定して得ることができる。そして、表面形状情報を得るに際して、物体検出手段と物体との距離や位置関係も情報として取得できている。移動体における物体検出手段の配置場所は既知であり、移動体の外形形状も既知である。従って、認識した輪郭形状等を用いて、移動体の各場所と物体の各場所との相対的な配置関係を演算することができる。その結果、相対的な配置関係より、移動体のどの部分と物体のどの部分とが接近しているか等を容易に知ることができる。そして、これをディスプレイへの表示や音声により、報知するようにしている。従って、移動体の操作者や監督者は、自分が想定しているよりも接近しているか否か等、物体との関係を知ることができる。
【0013】
このように、本特徴構成によれば、少ない演算量で、非検出対象のデータが混在しても安定して移動体周辺に存在する物体の形状を認識すると共に、移動体と物体との相対配置関係を報知することができる。
【0014】
ここで、前記物体検出手段が、前記物体の表面と前記移動体との距離に基づいて前記表面形状情報を検出するものであると好適である。
【0015】
対象となる物体の輪郭形状が、移動体からの遠近に関する形状、例えばいわゆる奥行きであるような場合、表面形状情報を物体と移動体との距離に基づいて検出すると好適である。このような場合、ノイズ性の標本が含まれない場合には、距離に基づいて検出された表面形状情報は、ほぼ認識したい輪郭形状を表す標本群となる。これにノイズ性の標本が含まれた場合でも、ノイズ性の標本を除去できれば、残った標本群はほぼ認識したい輪郭形状を示すものとなる。上述したように本発明によれば、形状モデルと標本群との一致度の演算により良好にノイズ性の標本を除去できる。従って、物体検出手段が物体の表面と移動体との距離に基づいて表面形状状態を検出するものであると、安定且つ正確な物体認識が可能となる。
【0016】
尚、前記表面形状情報が前記物体の外形輪郭を表すものであると好適である。
認識の対象となる物体は、壁等の平坦なものに限らず、段差を持つような場合もある。段差とは、車両のバンパー部とフロントやリヤのウィンドウ部、階段等である。外形輪郭は、物体の有するこのような段差を含め、その外側、即ち外形を示す表面形状である。物体と物体検出手段とが最も近い距離、即ち物体が物体検出手段側に突出した部分だけしか検出できなければ、バンパー部や階段の最下段のみが検出される。しかし、移動体が物体に対して突出した部分は、必ずしも物体が移動体側に突出した部分と一致しているとは限らない。移動体の利用者(監督者)は移動体の一部分と物体の一部分とが、過度に接近しないように操作又は監督することを望む。従って、場合によっては、認識したい輪郭形状は、物体が車両であれば、バンパー部に限らず、ウィンドウ部である場合もある。階段等の場合も同様である。従って、表面形状情報は単に対象となる物体が移動体側に最も突出した部分だけを対象とはせず、対象となる物体の種々の場所を対象とすることが好ましい。対象となる物体の外形輪郭を表す表面形状情報を得ることにより、用途に応じて、種々の場所に対する輪郭形状を認識するようにすると好ましい。
【0017】
さらに、前記相対配置演算手段が、前記移動体の移動状態を検出する移動状態検出手段の検出結果に基づいて前記配置関係を演算すると共に、この配置関係に基づいて前記移動体と前記物体との接近度合いを判定する判定手段を備えると好適である。
【0018】
移動状態検出手段によって移動体の移動状態を検出すると、近未来の移動体の位置を推定することができる。従って、移動状態検出手段の検出結果に基づいて、現在に留まらず未来の、物体と移動体との配置関係を演算することができる。既に両者の配置関係により、物体と移動体との各部分の接近度合いが知られているので、移動体の移動によりこの接近度合いの変化を演算することができる。その結果、移動体と物体との各部分の接近度合いを事前に予測することが可能となる。そして、この接近度合いを判定すると、例えば移動体と物体とが過度に接近したような場合に、迅速な対応が可能となる。
【0019】
ここで、さらに、前記判定手段により判定された前記接近度合いに基づいて、前記移動体の移動速度及び旋回方向の一方又は双方を制御する移動制御手段を備えると好適である。
【0020】
既に説明したように接近度合いを判定すると、例えば移動体と物体とが過度に接近したような場合に、迅速な対応につなげることができる。この対応として、上記のように、移動体の移動速度及び旋回方向の一方又は双方を制御するようにすると、好ましい。即ち、移動速度を制御すれば、過度に物体に接近する移動体の接近速度を遅くすることや、接近を停止することができる。また、旋回方向を制御すれば、物体に接近しない方向へ移動方向を変更することができる。
【0021】
本発明に係る物体認識装置の前記物体検出手段が、前記移動体の移動に伴って前記物体の前記表面形状情報を検出するものであると好適である。
【0022】
移動体の移動に伴って物体の表面形状情報を検出するように構成すると、移動体の移動方向に合わせて物体を検出することとなり、効率的な検出が可能となる。また、例えば物体検出手段を一方向に向けた固定的なセンサ(例えば、シングルビームセンサ)で構成することもできる。即ち、固定的に一方向しか検出できない物体検出手段であっても、移動体が動くことによって広い範囲を走査することができる。
【0023】
また、前記物体検出手段が、前記移動体の移動に拘らず前記物体に対する広角エリアを走査する走査手段を備え、得られた走査情報に基づいて前記物体の前記表面形状情報を検出するものであると好適である。
【0024】
この構成によれば、移動体が停止状態にあっても、広い範囲を走査して物体を検出することができる。その結果、例えば停止している移動体が移動を開始する際に物体の有無等の周囲の状況を考慮することができる。
【発明を実施するための最良の形態】
【0025】
〔第一実施形態〕
以下、本発明の好適な実施形態を、車両が他の車両を認識する場合を例として、図面に基づいて説明する。図1に示すように、移動体としての車両10には、側方に向けた距離センサ1(物体検出手段)が搭載されている。この距離センサ1は、例えばポイントセンサ、即ち、シングルービームセンサや超音波を利用したソナー等である。そして、車両10は、駐停車中の他の車両20(以下、駐車車両と称す。)のそばを図示X方向へ通過する際に、距離センサ1によって駐車車両20までの距離を計測する。駐車車両20は本発明の物体に相当するものである。尚、図1には、簡略のため、車両10の左側方にのみ距離センサ1を設けているが、当然両側方に設けていてもよい。
【0026】
距離センサ1は、車両10の移動に応じて駐車車両20との距離を計測する。このようにして得られた駐車車両20の表面形状情報は、車両10の移動距離に応じた離散的なデータである。尚、車両10の「移動距離に応じて」には、「所定時間間隔に応じて」の意味も含むものである。例えば、車両10が等速で移動する場合には、所定時間間隔に応じて計測すれば、移動距離に応じて測定することになる。移動体10の移動速度、移動距離、移動時間は、線形的に定まる。従って、結果として概ね均等に表面形状情報を得ることができる方法であれば、どのような方法を用いてもよい。このようにして、車両10は物体の表面形状情報を取得する(物体検出工程)。
【0027】
尚、距離センサ1は移動時間を計測するタイマ、移動距離を計測するエンコーダ、移動速度を計測する回転センサ等の付随するセンサを備えていてもよい。また、これらセンサを別に備え、情報を得るようにしていてもよい。
【0028】
図2は、本発明の第一実施形態に係る物体認識装置の概略ブロック図である。図2において、形状認識部2(形状認識手段)は、マイクロコンピュータ2A等の電子回路によって構成されている。形状認識部2内の各処理部は、必ずしも物理的に異なる電子回路を示すものではなく、機能としての処理部を示すものである。例えば、異なるプログラムを同一のCPUによって実行することにより、異なる機能を得るような場合も含むものである。
【0029】
図2に示すように距離センサ1によって測定された表面形状情報は、形状認識部2に入力される。入力された表面形状情報は、図1に示すX方向及びY方向を軸とする二次元平面にマッピングされて、標本記憶部2aに記憶される。この標本記憶部2aは、メモリで構成されている。本実施形態においては、マイクロコンピュータ2Aに内蔵する形態を示している。勿論、マイクロコンピュータ2Aとは別体のメモリを用いて、いわゆる外付けの形態としていてもよい。また、内蔵、外付けを問わず、レジスタ、ハードディスク等、他の記憶媒体を用いてもよい。
【0030】
マイクロコンピュータ2A内には、上記の他、相対配置演算部3(相対配置演算手段)を備えている。詳細は後述するが、上述したように車両10から見た駐車車両20の輪郭形状の認識に際して、距離センサ1を用いて駐車車両20の表面形状情報を取得している。従って、車両10と駐車車両20との距離情報も同時に得ることができている。相対配置演算部3は、この距離情報と、輪郭形状とを用いて、車両10と駐車車両20との相対配置を演算するものである。
【0031】
ここで、相対配置とは、車両10の各部と駐車車両20の各部との相対位置である。車両10の外形形状は、自己の形状であるため、既知である。そして、車両10から見た駐車車両20の輪郭形状は、下記に詳述する方法により良好に認識できる。これらにより、相対配置演算部3において図10に示すように車両10と駐車車両20との相対配置を演算する。尚、図10では理解を容易にするために、駐車車両20全体を点線で示しているが、実際には認識された輪郭形状Eと、車両10との相対配置を演算する。勿論、他の場所も含めて輪郭形状Eを認識している場合には、全ての相対配置を演算することができる。
【0032】
そして、この相対配置は、ディスプレイ5a等の報知手段5に表示される。ディスプレイ5aには、ナビゲーションシステム等のモニタを兼用することができる。ディスプレイ5aへの表示(報知)に際しては、車両10の外形と、認識した輪郭形状Eとを表示する。あるいは、輪郭形状Eに基づいて駐車車両20の全体をイラストとして表現し、車両10と駐車車両20との相対配置関係を表示してもよい。
【0033】
また、上記のように視覚的に表示することによる報知に限らず、音声(音響を含む)により報知してもよい。この音声は、ブザー5bや、チャイム等によって発することができる。また、ナビゲーションシステムには音声ガイドの機能を備えているものもある。従って、モニタの利用と同様、この音声ガイドの機能を兼用するようにしてもよい。
【0034】
以下、物体検出工程と、それに続いて物体の輪郭形状を認識する形状認識工程と、の詳細について説明する。
【0035】
初めに、物体検出工程について説明する。図3に示すように、距離センサ1によって駐車車両20上の表面形状情報Sが計測される。表面形状情報は、本実施形態において駐車車両20のバンパー部の外形形状に沿った形で離散的に得られた計測データである。ここで、これら離散的に得られたデータの一群を標本群S(ラージエス)と称する。標本群Sは、輪郭形状の認識対象となるデータセットである。また、データセットを構成する一点一点のデータを標本s(スモールエス)と称する。
【0036】
標本群Sは、標本記憶部2aの中で、図4に示すようにXYの二次元直交座標上にマッピングされる。尚、説明を容易にするため、図中には全ての標本sを示していない。図4に示した標本中、黒点で示す標本sをインライア、白抜き点で示す標本sをアウトライアと称する。図中、標本s1、s13等はインライアであり、標本s2、s7、s10はアウトライアである。詳細は後述するが、インライアは駐車車両20の輪郭形状を構成する標本である。アウトライアは駐車車両20の輪郭形状から外れたいわゆるノイズ性の標本である。
【0037】
以下、図7に示すフローチャートも利用して、得られた標本群Sより、駐車車両20の輪郭形状を認識する手順(形状認識工程)について説明する。
【0038】
標本抽出部2bは、標本群S(標本s1〜s13)より任意の標本si(iは標本番号)を数点抽出する(標本抽出工程、図7#1)。どの標本sを抽出するかについてはランダムに定まる。好適には乱数を用いる。例えば、マイクロコンピュータ2Aに乱数発生器(不図示)を設け、発生した乱数を標本番号とする標本siを抽出する。あるいは、マイクロコンピュータ2Aが実行する乱数発生プログラムによって標本番号を定めてもよい。
【0039】
また、抽出する標本数は、認識したい対象形状によって異なる。例えば直線の認識をする場合には2点であり、二次曲線であれば5点である。本実施形態においては、駐車車両20のバンパー形状を二次曲線に近似し、5点を抽出する。このようにして抽出された個々のデータ、標本sの集合は、データセットに対応する概念としてのサブセットである。
【0040】
続いて、このサブセット(ランダムに抽出した標本sの集合体)に基づいて形状モデル設定部2cが形状モデルを定める(形状モデル設定工程、図7#2)。
【0041】
図5は、図4の散布図に示す標本群Sから任意に抽出した標本siより定めた形状モデルL(第一の形状モデルL1)と標本群Sとの一致度を演算する説明図である。この第一の形状モデルL1は、標本s1、s5、s8、s11、s13の5つの標本sに基づいて定められたものである。この形状モデルLは、演算負荷の軽い線形計算により容易に求めることができる。または、予め数種類のテンプレート形状を用意しておき、これらテンプレート形状の中より最適なものを選択するようにして定めてもよい。
【0042】
また、図5に示すように、形状モデルLの接線に対して直交する両方向に所定距離離れた点を形状モデルLに沿って結び、点線B1及びB2を定める。この点線B1及びB2に挟まれた部分が有効範囲Wとなる。
【0043】
次に、一致度演算部2dにおいて、定めた形状モデルLと、標本群Sとの一致度を演算する。具体的には、上記のように定めた有効範囲Wの中に、標本群Sを構成する各標本siが、どの程度含まれるかによって一致度を算出する(一致度演算工程、図7#3)。
【0044】
図5に示した第一の曲線モデルL1に対する有効範囲Wの中には、標本s2、s7、s10のアウトライアを除く全ての標本sが含まれている。従って、第一の形状モデルL1の標本群Sに対する一致度は、77%(10/13)となる。つまり、第一の形状モデルL1は、標本群Sを構成する各標本sにより、高い支持率(77%)で合意(コンセンサス)を得たということができる。
【0045】
次に、主演算部2eにおいて、この一致度が所定のしきい値を超えているか否かを判定する(判定工程、図7#4)。そして、しきい値を超えている場合には抽出したサブセットより定めた形状モデル(第一の形状モデルL1)を認識結果として認定する(認定工程、図7#5)。即ち、第一の形状モデルL1を輪郭形状とする。例えば、しきい値が、75%と設定されているような場合には、第一の形状モデルL1を輪郭形状とする。しきい値を超えていない場合には、図7のフローチャートの処理#1に戻り、再度、別の標本sを抽出して新たなサブセットを構成し、同様の処理を行う。複数回処理#1〜#4を繰り返してもしきい値を超えないような場合には、対象となる物体(駐車車両20等)が無い、と判断する。この回数は、予め規定しておけばよい。
【0046】
尚、本実施形態においては、理解を容易にするために標本群Sを構成する標本sの総数を13ケとしている。しきい値の値(75%)も、本実施形態の説明を容易にするための値である。従って、標本数、一致度の判定しきい値共に、本発明を限定する値ではない。例えば、標本数が多ければ、アウトライアに対するインライアの数は相対的に多くなり、上記の例よりも高いしきい値を設定することもできる。
【0047】
図6に示した形状モデルL(第二の形状モデルL2)では、サブセットとして標本s2、s4、s7、s10、s13が抽出されている。上述したように標本s2、s7、s10は、駐車車両20の輪郭形状から外れたいわゆるノイズ性の標本である。従って、駐車車両20の輪郭形状から見た場合には、アウトライアとなるべき、標本である。そのため、図6に示すように、これらの標本s2、s7、s10を含むサブセットに基づいて定められた第二の形状モデルL2に対する有効範囲Wから外れる標本sが多数存在する。第一の形状モデルL1と同様の方法により一致度を演算すると、その一致度は38%(5/13)となる。つまり、第二の形状モデルL2は、標本群Sを構成する各標本sにより、高い支持率で合意(コンセンサス)を得られていないということになる。
【0048】
上記2つの形状モデルL1及びL2が抽出されるような場合、認識結果となる輪郭形状は第一の形状モデルL1となる。第一の形状モデルL1を定めるに際しては、ノイズ性の標本sである標本s2、s7、s10は、未使用である。これらノイズ性の標本は、アウトライアとして扱われ、除去されたこととなる。即ち、上記説明したような少ない演算量で、非検出対象のデータ(アウトライア)が混在してもこれを除去し、安定して物体の形状を認識することができる。
【0049】
このような方法を用いず、標本Sより輪郭形状を算出する方法は従来、種々提案されている。その一つは、最小自乗法である。最小自乗法では、データセットの全ての標本sを用いて、夫々の標本sが同一の重みとなって形状が計算される。その結果、上述したアウトライア(標本s2等)の影響を受けて、本来とは異なった輪郭形状を認識する。輪郭形状を認識した後に、データセット全体との一致度を再確認することも可能ではある。しかし、最小自乗法自体の演算負荷が比較的重い上、この再確認の結果により繰り返し最小自乗法による形状認識を行うとさらに演算負荷を重くすることになる。
【0050】
また別の方法として、特に直線の認識に好適なハフ(Hough)変換を利用する方法もある。ハフ変換はよく知られているように、直交座標(例えばXY平面)上に存在する直線は、極座標(ρ−θ空間)上では1点で交差する、という性質を利用したものである。その変換式は、
ρ=X・cosθ + Y・sinθ
である。上記式より、理解できるように極座標空間でρやθの範囲を広げたり、細かい分解能を得たりしようとすると、それだけ演算量が増大する。つまり、一次記憶手段としての、メモリは大容量が要求され、計算回数も多くなる。
【0051】
これら従来の演算に比べ、本発明の「表面形状情報を構成する標本群Sから任意に抽出した標本sに基づいて定めた形状モデルLに対する標本群Sの一致度を演算する」方法は、演算量が少なく、必要となるメモリ容量も少ない。
【0052】
〔第二実施形態〕
上記説明においては、形状モデルLと標本群Sとの一致度を調べ、この一致度が所定のしきい値を超えていれば、その形状モデルLを認識結果とする。つまり、最先にしきい値を超えた形状モデルLがそのまま認識結果となる。これに限らず、単にしきい値を超えただけで直ちにその形状モデルLを認識結果とはせず、複数個の形状モデルLを評価するようにしてもよい。具体的な手順については、以下に説明する。
【0053】
図8は、図4の散布図に示す標本群から輪郭形状を認識する第二の方法を説明するフローチャートである。この第二の方法では、サブセットを複数回抽出して形状モデルLを定め、その中で最も一致度の高かった形状モデルLを認識結果とするようにしている。以下、図8に基づいて、第二の方法について説明する。但し、処理#1〜#4は第一の方法である図7に示したフローチャートと同様であるので、説明を省略する。
【0054】
本第二の方法では、サブセットを複数回繰り返して抽出するので、繰り返し回数を一時記憶する。形状認識工程の開始に当たって、まず初めにこの一時記憶する繰り返し回数をクリアする(初期化工程、図8#0)。以下、第一実施形態と同様に、標本抽出工程(#1)にて、標本群Sよりランダムに標本sを抽出してサブセットを作る。次に、形状モデル設定工程(#2)にて、このサブセットに基づいて形状モデルLを定める。そして、一致度演算工程(#3)にて、形状モデルLと標本群Sとの一致度を演算し、判定工程(#4)にて、一致度が所定のしきい値を超えているか否かを判定する。
【0055】
判定の結果、しきい値を超えていた場合には、先に定めた形状モデルLとこの形状モデルLに対する一致度を一時記憶部(不図示)に記憶する(記憶工程、#41)。そして、一つの形状モデルLに対する評価が完了したので、繰り返し回数をインクリメントする(計数工程、#42)。判定の結果、しきい値を超えていなかった場合には、記憶工程(#41)を飛ばして、繰り返し回数をインクリメントする(#42)。
【0056】
次に、繰り返し回数が所定の回数に達したか否か(超えたか否かでもよい)を判定する(離脱判定工程、#43)。所定の回数に達していなければ、標本抽出工程(#1)に戻り、以下判定工程(#4)までを行って、新たな形状モデルLの評価を行う。所定の回数に達していた場合には、記憶されている形状モデルLの内、最も一致度の高かった形状モデルLを選択し、これを認識結果としての輪郭形状とする(認定工程、#51)。ここで、判定工程(#4)において一致度のしきい値を超えたものが一つも無かったような場合には、認定工程(#51)において該当無しと判断する。
【0057】
このように、図7に示す第一の方法、図8に示す第二の方法共に、サブセットに基づいて定めた形状モデルLを輪郭形状と認定している。一般に少ない標本数に基づいて定めた形状モデルLは、正確な輪郭形状を再現するものではない、とも考えられる。しかし、本発明においては、形状モデルLと標本群Sの全標本との一致度を評価している。従って、形状モデルLはほぼ正確に輪郭形状を再現(認識)できていると考えてよい。このように、サブセットを構成する少ない標本数から定めた形状モデルLが輪郭形状を再現できることは、演算量の削減に大きく貢献している。
【0058】
上述したように、形状モデルLをそのまま認識結果として輪郭形状と認定することは、演算量の削減に大きく貢献する。しかし、本発明はこれに限定されるものではない。マイクロコンピュータ2A等、演算手段の能力に余裕のある場合などでは、輪郭形状を再計算してもよい。
【0059】
例えば、一致度がしきい値を超えた形状モデルLを基準とすれば、標本群Sを構成する標本sの夫々をインライア、アウトライアとして定義することができる。認定工程では、このインライア、アウトライアを認定する。そして、インライアと認定された全ての標本sを対象として最小自乗法等を用いて形状を再計算する(再計算工程)。上述したように最小自乗法ではノイズ性の標本sの影響を受けて、形状を正しく再現できない場合がある。しかし、この再計算工程においては、ノイズ性の標本sはアウトライアとして除去されているため、正確な輪郭形状の再現が可能となる。
【0060】
〔第三実施形態〕
図9は、本発明の第三実施形態に係る物体認識装置の概略ブロック図である。 図9に示すように、車輪速センサ4aや舵角センサ4b等、車両10の移動状態を検出する移動状態検出手段4からの入力情報を加味すれば、近未来の相対配置を演算することもできる。つまり、輪郭形状Eが認識された現在の相対配置(図10参照)に留まらず、将来の相対配置関係を推定(予測)することができる。
【0061】
車輪速センサ4aは、車両10の各車輪部(前方右FR、前方左FL、後方右RR、後方左RL)に備えられたセンサである。これは例えば、ホールICを利用した回転センサである。舵角センサ4bは、車両10のステアリングの回転角度やタイヤの回動角度を検出するセンサである。あるいは、前述の車輪速センサ4aの各車輪部での計測結果(左右の車輪の回転数や回転速度の違い)に基づいて舵角を演算する演算装置であってもよい。
【0062】
これらのセンサにより検出した移動状態を加味して、現在及び未来における車両10と駐車車両20の輪郭形状Eとの相対位置関係を演算する。舵角センサ4bによって進行方向を推定し、車輪速センサ4aによって進行速度を推定する。そして、車両10の予想軌跡や、駐車車両20の輪郭形状Eと車両10との数秒後の相対配置関係を演算する。
【0063】
図11は、車両10と駐車車両20の輪郭形状Eとの相対配置関係の一例を示している。符号10Aは車両10の近未来の位置である。ここでは、移動する軌跡により、車両10の一部と、駐車車両20の輪郭形状Eとが、干渉する例を示している。輪郭形状Eと干渉するということは、車両10と駐車車両20とが接触する可能性を示しているといえる。
【0064】
そして、上述したようにこの相対配置や軌跡をディスプレイ5aやブザー5b、音声ガイド等の報知手段5を介して報知することができる。また、図11に示すように輪郭形状Eと、移動軌跡とが干渉するような場合には、注意や警告を促す報知を行うこともできる。さらに、ステアリング制御部6aやブレーキ制御部6b等の移動制御手段6によって干渉を防止することができる。つまり、ステアリング制御部6aで移動方向を変更したり、ブレーキ制御部6bで速度を低下させたりすることにより、未来の干渉、即ち車両10と駐車車両20との接触を防止することができる。
【0065】
〔その他の実施形態〕
上記説明においては、物体検出手段として、図1に示したような車両10の移動に伴って駐車車両20の表面形状情報を検出する距離センサ1を例として説明した。しかし、本発明に係る物体検出手段は、これに限定されることはない。距離センサ1は、車両10の移動に拘らず表面形状情報を出力し、後段の情報処理において、移動距離毎、経過時間毎に選別することも可能である。また、車両10の移動に拘らず駐車車両20に対する広角エリアを走査する走査手段を備え、得られた走査情報に基づいて表面形状情報を検出するものであってもよい。即ち、距離センサ1のようなポイントセンサに限らず、一次元センサ、二次元センサ、三次元センサ等、物体の形状を反映した信号(表面形状情報)を得られるセンサが使用できる。
【0066】
図12には、本発明に係る物体検出手段として一次元センサを用いる場合の例が示されている。ここでは、一次元センサの一例として、スキャン型レーザーセンサを用いている。図12に示すように、センサ位置(走査手段1aの位置)より放射状に物体(駐車車両20)が走査される。物体の各位置からのレーザー波の反射により、距離の分布を計測することができる。レーザー波を発射したときの方位角θをエンコーダ等により検出しておけば、図3に示したものと同様に表面形状情報を得ることができる。そして、XY直交座標にマッピングすることができる。
【0067】
一次元センサの他の例として、超音波方式のレーダ、光方式のレーダ、電波方式のレーダ、三角測量式の距離計等を用いてもよい。
【0068】
二次元センサとしては、水平・垂直方向に走査可能なスキャン型レーダがある。このスキャン型レーダを用いることにより、対象物体の水平方向の形状、垂直方向の形状に関する情報を得ることができる。
また、よく知られた二次元センサとしてはCCD(Charge Coupled Device)や、CIS(CMOS Image Sensor)を利用したカメラ等の画像入力手段もある。このカメラより得られた画像データより、輪郭線情報、交点情報等の各種特徴量を抽出し、表面形状に関する情報を得てもよい。
【0069】
三次元センサについても同様であり、例えばステレオ撮影した画像データ等を用いて、形状に関する情報を得てもよい。
【0070】
〔その他の利用形態〕
以上、本発明の実施形態を、駐車車両20を物体として、この輪郭形状を認識する方法及び装置とこれらの追加的特徴について説明した。この「物体」は、駐車車両や、建造物等の障害物に限らず、道路の走行レーンや、停止線、駐車枠等、種々のものが該当する。即ち、認識対象も立体物の輪郭形状に限定されるものではなく、平面模様の形状認識にも適用できるものである。
【0071】
また、図10、図11に示したように車両10が前進移動している場合だけでなく、図13に示すように後進して車両20aと20bとの間に駐車するような場合にも利用できる。勿論、図1のように前進移動した後、図13に示すように後進移動する、いわゆるスイッチバックの場合にも適用できる。この場合、駐車車両20a、20bの輪郭形状Eを確実に認識した後、両車両の間に進行することができる。
【図面の簡単な説明】
【0072】
【図1】本発明に係る物体認識装置を搭載した車両が他の車両を認識する場合の例を示す説明図
【図2】本発明の第一実施形態に係る物体認識装置の概略ブロック図
【図3】図1の駐車車両の表面形状情報を測定した結果を示す図
【図4】図3に示す測定結果を二次元直交座標上にマッピングした散布図
【図5】図4の散布図に示す標本群から任意に抽出した標本より定めた第一の形状モデルと標本群との一致度を演算する説明図
【図6】図4の散布図に示す標本群から任意に抽出した標本より定めた第二の形状モデルと標本群との一致度を演算する説明図
【図7】図4の散布図に示す標本群から輪郭形状を認識する第一の方法(第一実施形態)を説明するフローチャート
【図8】図4の散布図に示す標本群から輪郭形状を認識する第二の方法(第二実施形態)を説明するフローチャート
【図9】本発明の第三実施形態に係る物体認識装置の概略ブロック図
【図10】図2及び図9の相対配置演算部により算出された物体認識装置を搭載した車両と他の車両の輪郭形状との相対配置関係の一例を示す図
【図11】図9の相対配置演算部により算出された物体認識装置を搭載した車両と他の車両の輪郭形状との相対配置関係の一例(第三実施形態)を示す図
【図12】本発明に係る物体検出手段として一次元センサを用いる場合の例(他の実施形態)を示す図
【図13】図9の相対配置演算部により算出された物体認識装置を搭載した車両と他の車両の輪郭形状との相対配置関係の他の例(他の利用形態)を示す図
【符号の説明】
【0073】
1 距離センサ(物体検出手段)
2 形状認識部(形状認識手段)
2A マイクロコンピュータ
3 相対位置演算部(相対位置演算手段)
5 報知手段
5a ディスプレイ、 5b ブザー
S 標本群
s 標本
【特許請求の範囲】
【請求項1】
移動体周辺に存在する物体を認識する物体認識装置であって、
前記物体の表面形状情報を検出する物体検出手段と、
前記表面形状情報を構成する標本群から任意に抽出した標本に基づいて定めた形状モデルに対する前記標本群の一致度を演算して前記物体の輪郭形状を認識する形状認識手段と、
前記物体検出手段及び前記形状認識手段の検出及び認識結果に基づいて、前記移動体と前記物体との相対的な配置関係を演算する相対配置演算手段と、
この相対配置演算手段の演算結果に基づいて、前記配置関係についてディスプレイへの表示又は音声により報知する報知手段と、
を備える物体認識装置。
【請求項2】
前記物体検出手段は、前記物体の表面と前記移動体との距離に基づいて前記表面形状情報を検出する請求項1に記載の物体認識装置。
【請求項3】
前記相対配置演算手段が、前記移動体の移動状態を検出する移動状態検出手段の検出結果に基づいて前記配置関係を演算すると共に、
この配置関係に基づいて前記移動体と前記物体との接近度合いを判定する判定手段を備える請求項1に記載の物体認識装置。
【請求項4】
前記判定手段により判定された前記接近度合いに基づいて、前記移動体の移動速度及び旋回方向の一方又は双方を制御する移動制御手段を備える請求項3に記載の物体認識装置。
【請求項5】
前記物体検出手段は、前記移動体の移動に伴って前記物体の前記表面形状情報を検出する請求項1〜4の何れか一項に記載の物体認識装置。
【請求項6】
前記物体検出手段は、前記移動体の移動に拘らず前記物体に対する広角エリアを走査する走査手段を備え、得られた走査情報に基づいて前記物体の前記表面形状情報を検出する請求項1〜4の何れか一項に記載の物体認識装置。
【請求項1】
移動体周辺に存在する物体を認識する物体認識装置であって、
前記物体の表面形状情報を検出する物体検出手段と、
前記表面形状情報を構成する標本群から任意に抽出した標本に基づいて定めた形状モデルに対する前記標本群の一致度を演算して前記物体の輪郭形状を認識する形状認識手段と、
前記物体検出手段及び前記形状認識手段の検出及び認識結果に基づいて、前記移動体と前記物体との相対的な配置関係を演算する相対配置演算手段と、
この相対配置演算手段の演算結果に基づいて、前記配置関係についてディスプレイへの表示又は音声により報知する報知手段と、
を備える物体認識装置。
【請求項2】
前記物体検出手段は、前記物体の表面と前記移動体との距離に基づいて前記表面形状情報を検出する請求項1に記載の物体認識装置。
【請求項3】
前記相対配置演算手段が、前記移動体の移動状態を検出する移動状態検出手段の検出結果に基づいて前記配置関係を演算すると共に、
この配置関係に基づいて前記移動体と前記物体との接近度合いを判定する判定手段を備える請求項1に記載の物体認識装置。
【請求項4】
前記判定手段により判定された前記接近度合いに基づいて、前記移動体の移動速度及び旋回方向の一方又は双方を制御する移動制御手段を備える請求項3に記載の物体認識装置。
【請求項5】
前記物体検出手段は、前記移動体の移動に伴って前記物体の前記表面形状情報を検出する請求項1〜4の何れか一項に記載の物体認識装置。
【請求項6】
前記物体検出手段は、前記移動体の移動に拘らず前記物体に対する広角エリアを走査する走査手段を備え、得られた走査情報に基づいて前記物体の前記表面形状情報を検出する請求項1〜4の何れか一項に記載の物体認識装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2006−234494(P2006−234494A)
【公開日】平成18年9月7日(2006.9.7)
【国際特許分類】
【出願番号】特願2005−47518(P2005−47518)
【出願日】平成17年2月23日(2005.2.23)
【出願人】(000000011)アイシン精機株式会社 (5,421)
【出願人】(304021277)国立大学法人 名古屋工業大学 (784)
【Fターム(参考)】
【公開日】平成18年9月7日(2006.9.7)
【国際特許分類】
【出願日】平成17年2月23日(2005.2.23)
【出願人】(000000011)アイシン精機株式会社 (5,421)
【出願人】(304021277)国立大学法人 名古屋工業大学 (784)
【Fターム(参考)】
[ Back to top ]