障害物計測方法、障害物計測装置及び障害物計測システム
【課題】高速・低速に関わらず、単位時間あたりの演算量が一定になり、単位時間あたりの演算量の上限が規定され、ハード処理・ソフト処理のいずれにおいてもコストダウンを達成可能な障害物計測方法、障害物計測装置及び障害物計測システムを提供する。
【解決手段】この障害物計測方法は、走行物体から障害物までの距離をステレオカメラにより計測する際に、障害物計測の対象領域及びステレオカメラによる画像のフレームレートまたは解像度を走行物体の速度に応じて変化させる。
【解決手段】この障害物計測方法は、走行物体から障害物までの距離をステレオカメラにより計測する際に、障害物計測の対象領域及びステレオカメラによる画像のフレームレートまたは解像度を走行物体の速度に応じて変化させる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、障害物までの距離を計測する障害物計測方法、障害物計測装置及び障害物計測システムに関する。
【背景技術】
【0002】
特許文献1は、複数の出力モードを有するステレオカメラを用いたステレオ式監視装置・方法を開示し、2つの出力モード(インターレース、ノンインターレース)を有するステレオカメラからの画像から距離データを算出し、対象物の距離または自車両の速度に応じて出力モードを切り替えることで、画像処理の負荷を抑えるようにしている。高速走行時は「ノンインターレース+画面上部」、低速走行時は「インターレース+全画面」で処理するので、あくまでも1フレーム中の情報量は同じである。また、2つの出力モードとしては、垂直画角を変えて、任意のラインを選択する方法もある。
【0003】
特許文献2は、車両の周囲の障害物や走路形状を画像情報により検出する車両用画像処理装置を開示し、ひとつの高速度カメラからの画像を、車両の走行状態(車速など)から高フレームレートで抽出する領域と低フレームレートで抽出する領域とに分割することで、画質を低下させず高フレームレートの画像を扱うことができるようにしている。または、高速カメラと低速カメラの2つの画像から領域を選択する。
【特許文献1】特開2003−304528号公報
【特許文献2】特開2003−259361号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
特許文献1の装置・方法は、画面内で複数の解像度を有せず、また、水平画角を変えず、フレームレートが一定であるので、距離算出の演算量が変わってしまう。特許文献2の装置は、同一画面内でフレームレートの異なる画像が存在し、また、ステレオカメラ構成ではなく、対象物の距離情報を得るものではない。
【0005】
一般に車両が高速走行するときは、高速道路など曲率半径の大きい道路を走行するため、画角端に注意すべき障害物が入ることは少ないが、低速走行するときは、主に一般道を走行することが多く交差点での車の飛び出しや歩行者の飛び出しが予想されるため、画角端に注意する必要がある。
【0006】
本発明は、上述のような従来技術の問題に鑑み、高速・低速に関わらず、単位時間あたりの演算量が一定になり、単位時間あたりの演算量の上限が規定され、ハード処理・ソフト処理のいずれにおいてもコストダウンを達成可能な障害物計測方法、障害物計測装置及び障害物計測システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本発明による第1の障害物計測方法は、走行物体から障害物までの距離をステレオカメラにより計測する障害物計測方法であって、前記障害物計測の対象領域及び前記ステレオカメラによる画像のフレームレートを前記走行物体の速度に応じて変化させることを特徴とする。
【0008】
この障害物計測方法によれば、走行物体の速度に応じて障害物計測を行う対象領域及びステレオカメラによる画像のフレームレートを変えることで、高速・低速に関わらず、単位時間あたりの演算量が一定になり、単位時間あたりの演算量の上限が規定され、距離計測(視差算出)の演算処理がハード処理・ソフト処理のいずれであってもコストダウンを達成できる。
【0009】
上記障害物計測方法において前記走行物体が比較的高速のとき前記対象領域を画面の一部に限定することで、前記フレームレートを大きくしても、単位時間あたりの演算量を、比較的低速のときに前記対象領域を画面のほぼ全域としてフレームレートを小さくした場合と同等にして一定にできるとともに、単位時間あたりの演算量の上限を規定することができる。
【0010】
また、前記走行物体が比較的低速のとき前記対象領域を画面のほぼ全体としても、前記フレームレートを小さくすることで、単位時間あたりの演算量を、上述の比較的高速の場合と同等にして一定にできるとともに、単位時間あたりの演算量の上限を規定することができる。
【0011】
高速走行時は、高速道路などの曲率半径の大きい道路を通行する場合が多く、計測対象エリアを画角端に設定するよりは、上述のように、前方車両との追突を回避するために画面中心部にまたは上部に計測対象エリアを設定することが重要であるとともに、検知してから回避行動に移るまでの時間が短いため高フレームレートで障害物を計測する必要がある。一方、低速走行時は主に一般道のように曲率半径の小さい道路や交差点などを走行する場合が多く、前方車両との追突を回避するとともに他の車両や歩行者などの飛び出しにも注意を払う必要があるため、上述のように計測対象領域を全域に設定することが重要となる。低速走行時は高速走行時と比較して、検知してから回避行動に移るまでに時間的に余裕があるため、低フレームレートで障害物を計測しても問題がない。
【0012】
本発明による第2の障害物計測方法は、走行物体から障害物までの距離をステレオカメラにより計測する障害物計測方法であって、前記障害物計測の対象領域及び前記ステレオカメラによる画像の解像度を前記走行物体の速度に応じて変化させることを特徴とする。
【0013】
この障害物計測方法によれば、走行物体の速度に応じて障害物計測を行う対象領域及びステレオカメラによる画像の解像度を変えることで、高速・低速に関わらず、単位時間あたりの演算量が一定になり、単位時間あたりの演算量の上限が規定され、距離計測(視差算出)の演算処理がハード処理・ソフト処理のいずれであってもコストダウンを達成できる。
【0014】
上記障害物計測方法において前記走行物体が比較的高速のとき前記対象領域を画面の一部に限定することで、前記解像度を大きくしても、単位時間あたりの演算量を、比較的低速のときに前記対象領域を画面のほぼ全域として解像度を小さくした場合と同等にして一定にできるとともに、単位時間あたりの演算量の上限を規定することができる。
【0015】
また、前記走行物体が比較的低速のとき前記対象領域を画面のほぼ全体としても、前記解像度を小さくすることで、単位時間あたりの演算量を、上述の比較的高速の場合と同等にして一定にできるとともに、単位時間あたりの演算量の上限を規定することができる。
【0016】
上述のように、高速走行時には3次元計測の対象領域を中心部に限定して高解像度で実行する。低速走行時には3次元計測の対象領域を画面全体に設定して低解像度で実行する。なお、低速走行時の回避行動に移ることのできる限界距離は、高速走行時より近距離であるため障害物の画面に占める面積が大きく、低解像度でも検知可能である。一方、高速走行時は、回避行動に移ることのできる限界距離が比較的遠距離にあるため、障害物の画面に占める面積が小さくなる。このため、確実に検知するためには高解像度にする必要がある。
【0017】
上記各障害物計測方法において前記距離計測における距離の算出をPOC法(位相限定相関法)を用いて行うことで、精度の高い計測が可能となる。
【0018】
なお、上記各障害物計測方法において、対象領域を速度に基づいて変更する場合、例えば、低速走行のとき、左右端の領域を対象領域に変更することで、画角端で飛び出しによる車や歩行者を重点的に計測し監視でき、また、高速走行のとき、上部領域を対象領域に変更することで、画角上部に限定して障害物の距離計測をすることができる。
【0019】
また、前記対象領域を前記速度及び前記障害物までの距離に基づいて変更することにより、対象領域を距離情報と速度から動的に設定することで道路状況や車の流れ等の変化に適切に対応できる。この場合、高速走行時には対象領域を遠距離に設定し、低速走行時には近距離に設定することが好ましい。
【0020】
この場合、前記対象領域を変更する際の前記障害物までの距離をSAD(差分絶対値和)法を用いて行うことが好ましい。
【0021】
本発明による第1の障害物計測装置は、走行物体から障害物までの距離をステレオカメラにより計測する障害物計測装置であって、前記障害物計測の対象領域を前記走行物体の速度に基づいて変更する手段と、前記ステレオカメラによる画像のフレームレートを前記速度に基づいて変化させる手段と、を備えることを特徴とする。
【0022】
この障害物計測装置によれば、走行物体の速度に応じて障害物計測を行う対象領域及びステレオカメラによる画像のフレームレートを変えることで、高速・低速に関わらず、単位時間あたりの演算量が一定になり、単位時間あたりの演算量の上限が規定され、距離計測(視差算出)の演算処理がハード処理・ソフト処理のいずれであってもコストダウンを達成できる。
【0023】
本発明による第2の障害物計測装置は、走行物体から障害物までの距離をステレオカメラにより計測する障害物計測装置であって、前記障害物計測の対象領域を前記走行物体の速度に基づいて変更する手段と、前記ステレオカメラによる画像の解像度を前記速度に基づいて変化させる手段と、を備えることを特徴とする。
【0024】
この障害物計測装置によれば、走行物体の速度に応じて障害物計測を行う対象領域及びステレオカメラによる画像の解像度を変えることで、高速・低速に関わらず、単位時間あたりの演算量が一定になり、単位時間あたりの演算量の上限が規定され、距離計測(視差算出)の演算処理がハード処理・ソフト処理のいずれであってもコストダウンを達成できる。
【0025】
上記各障害物計測装置は、上述の障害物計測方法を実行するように構成することができる。なお、上記各障害物計測装置は走行物体に搭載されることで距離計測を行うようにできる。
【0026】
本発明による障害物計測システムは、上述の障害物計測装置と、前記計測された距離情報に基づいて前記障害物に関する危険を判定する判定部と、前記危険と判定されたときに警告を発する警告部と、を備えることを特徴とする。
【0027】
この障害物計測システムによれば、警告部からの警告により危険に注意が向き、危険回避の操作を行うことができるとともに、障害物計測システムのコストダウンを実現できる。
【発明の効果】
【0028】
本発明の障害物計測方法、障害物計測装置及び障害物計測システムによれば、高速・低速に関わらず、単位時間あたりの演算量が一定になり、単位時間あたりの演算量の上限が規定され、距離計測(視差算出)の演算処理がハード処理・ソフト処理のいずれであってもコストダウンを達成できる。
【発明を実施するための最良の形態】
【0029】
以下、本発明を実施するための最良の形態について図面を用いて説明する。
【0030】
〈第1の実施の形態〉
【0031】
図1は第1の実施の形態の車両用の障害物計測装置を概略的に示すブロック図である。
図1に示すように、車両用の障害物計測装置10は、右カメラ11と、左カメラ12と、カメラ11,12からの画像情報を補正する画像補正部13と、カメラ11,12による画像情報からのカメラ画像について画像処理を行う画像処理部14と、3次元計測領域内の画像情報から障害物との間の距離データを算出する距離データ算出部15と、車両の速度を検出する車速センサ16と、を備え、車両に搭載される。
【0032】
右カメラ11及び左カメラ12は、それぞれレンズ等の光学系とCCDやCMOSイメージセンサ等からなる撮像素子とを備え、車両の前部に所定間隔に配置されてステレオカメラを構成し、車両前方に存在する歩行者や先行車両等の障害物の画像情報を電気信号として得る。
【0033】
画像補正部13は、カメラ11,12からの画像情報についてカメラ11,12のレンズの周辺部に生じるひずみ等を補正する。
【0034】
画像処理部14は補正された画像情報を画像処理し、画像処理部14の領域選択部14aは、画像内の障害物までの距離計測を行う3次元計測領域を車速センサ16で検出した車速に基づいて選択する。
【0035】
また、画像処理部14は、車速センサ16で検出した車速に基づいて画像のフレームレート(単位時間あたりに画像処理して画面を書き換える回数)を変更する。なお、車速センサ16は車両に搭載されているものを用いることができる。
【0036】
距離データ算出部15は、同一の障害物について右カメラ11から得られる右画像と左カメラ12から得られる左画像とが水平方向にずれて画面上に表示されるので、かかる右画像と左画像との水平位置のずれ(視差)に基づいて障害物までの距離を3次元的に算出できる。すなわち、視差と距離とは反比例の関係にあるので、視差を計測することで距離の計測が可能である。このような距離データの算出を距離データ算出部15は車速に基づいて選択された3次元計測領域内で実行するようになっている。
【0037】
距離データ算出部15は、上述の視差演算の方法として、具体的には、差分絶対値和(Sum of Absolute Difference:SAD)による相関法や位相限定相関法(Phase-Only Correlation:POC)を用いることができる。
【0038】
SAD法は、一般的によく用いられている視差計測法であり、例えば、新井元基、鷲見和彦、松山隆司による論文「画像のブロックマッチングにおける相関関数とサブピクセルの推定方式の最適化」(情報処理学会 研究報告 CVIM-144-5, pp.33-40, May 2004)や特開2000−283753号公報等を参照できる。
【0039】
POC法(位相限定相関法)は、デジタル信号に変換された画像信号をフーリエ変換し、位相信号と振幅信号を得て、位相信号だけを逆フーリエ変換することで得られた位相情報を用いる3次元計測法であり、位相成分のみを使用するため、精度の高いマッチングが可能であり、SAD法よりも距離計測の精度が高い。POC法は、例えば、福田康宏、安部正英、川又政征による論文「位相限定相関を用いた映像の位置ずれ補正のDSPによる実現」(計測自動制御学会東北支部 第215回研究集会(2004.5.27)資料番号215-3)等を参照できる。
【0040】
距離データ算出部15は、上述のSAD法、POC法による距離算出のための演算を集積素子等によりハード的に処理できるが、CPU(中央演算処理装置)によりソフト的に処理するようにしてもよい。この場合、CPUは所定のプログラムに従って所定の演算を実行する。
【0041】
図2は、図1の領域選択部14aで選択可能な3次元計測の領域A,B,Cを示す模式図である。
【0042】
図1の領域選択部14aは、図2に示す複数の領域A,B,Cから3次元計測を行う3次元計測領域を選択可能であり、例えば、車速s2>車速s1(図3(b)参照)とすると、車速センサ16で検出した車速がs2以上の高速であると最も狭い領域Aを選択し、s2以下でs1以上の中速であると中間の領域Bを選択し、s1以下の低速であると最も広い領域Cを選択する。
【0043】
次に、図1の画像処理部14及び領域選択部14aにおける車速に基づく3次元計測領域の選択及びフレームレートの変更の制御について図2,図3,図4を参照して説明する。
【0044】
図3は、図1の障害物計測装置10による制御における、フレーム(a)、車速(b)、実フレームレート(≒画像処理時間)(c)、及び3次元計測領域(d)の時間Tとの関係を模式的に示す図である。図4は、図1の障害物計測装置によるカメラ画像と3次元計測領域とを示す模式図であって、低速走行の場合(a)及び高速走行の場合(b)を示す。
【0045】
図1の障害物計測装置10を搭載した車両が図3の時間T0でスタートすると、図3(b)のように低速(s1以下)で時間T0〜T1まで走行し、この低速期間に図3(d)のように、図2の最も大きい領域Cを3次元計測領域として選択するとともに、図3(a)のフレームを図3(c)のように実フレームレートを小さく(画像処理時間を長く)変更して画像処理する。
【0046】
例えば、図4(a)のように、図1の障害物計測装置10を搭載した車両が道路1上を低速走行(車速<s1)すると、選択された最大の3次元計測領域Cが画面9のほぼ全体に設定され、領域C内において小さな実フレームレート(比較的長い画像処理時間)で車両の前方の先行車両2の画像が処理される。このように、低速走行時は、3次元計測領域を画面9のほぼ全体に設定して、比較的小さいフレームレートで実行する。
【0047】
次に、車速が増して中速(s2以下、s1以上)となると、図3の時間T2〜T3の中速期間に、図3(d)のように、図2の中間の領域Bを3次元計測領域として選択するとともに、図3(a)のフレームを図3(c)のように実フレームレートを中程度(画像処理時間を中程度)に変更して画像処理する。
【0048】
次に、車速が更に増して高速(s2以上)となると、図3の時間T4〜T5の高速期間に、図3(d)のように、図2の最も小さい領域Aを3次元計測領域として選択するとともに、図3(a)のフレームを図3(c)のように実フレームレートを大きく(画像処理時間を短く)変更して画像処理する。
【0049】
例えば、図1の障害物計測装置10を搭載した車両が道路1上を高速走行(車速>s2)すると、選択された最小の3次元計測領域Aが画面9のほぼ中心部(または上部)に設定され、領域A内において大きな実フレームレート(比較的短い処理時間)で車両の前方の先行車両2の画像が処理される。
【0050】
このように、車両の高速走行時には、3次元計測領域を画面9の中心部(または上部)に限定して比較的大きいフレームレートで実行する。このように小さな領域Aに限定しても、高速走行時は道路の直線性、平行性が保たれているため、問題ない。むしろ、道路形状が極端に上下、左右に蛇行している場合は、極端な高速走行は行わないから問題がないのである。
【0051】
上述の障害物計測装置10により車両と障害物との間の距離を計測するステップ(S01〜S08)について図5のフローチャートを参照して説明する。
【0052】
図1の障害物計測装置10を搭載した車両において障害物計測を開始すると、まず、右カメラ11及び左カメラ12から左右の画像が画像補正部13に入力し(S01)、画像を画像補正部13で補正する(S02)。
【0053】
そして、領域選択部14aは、車速センサ16で検出した車速がs2以上の高速であると(S03)、図2の最小の領域Aを3次元計測領域として選択する(S05)。また、車速がs2以下、s1以上の中速であると(S04)、図2の中間の領域Bを3次元計測領域として選択し(S06)、s1以下の低速であると(S04)、図2の最大の領域Cを3次元計測領域として選択する(S07)。また、領域Aが選択されるとフレームレートは大きく、領域Cが選択されるとフレームレートは小さく、領域Bが選択されるとフレームレートはその中間に設定される。
【0054】
次に、上述のようにして選択された領域A,BまたはCにおいて各フレームレートで画像を処理し、右カメラ11の右画像及び左カメラ12の左画像による水平位置の視差計測により障害物である先行車両までの距離を距離データ算出部15で算出する(S08)。
【0055】
なお、上述の障害物計測においてはPOC法を用い、また、同一の解像度で実行する。
【0056】
以上のように、図1の障害物計測装置10による障害物計測によれば、車両が低速のときは低フレームレートでかつ最大の領域Cで3次元距離計測を行うとともに、高速のときは高フレームレートでかつ最小の領域Aで3次元距離計測を行うので、車速が高速・低速に関わらず、単位時間あたりの視差算出の演算量が一定になり、単位時間あたりの演算量の上限が規定される。このため、視差算出がハード処理またはソフト処理のいずれであっても、その処理量がほぼ一定で大きくならないので、ハード処理もソフト処理もその規模が大きくならず、装置のコストダウンを実現できる。
【0057】
また、一般に高速走行時は、高速道路など曲率半径の大きい道路を走行するため、画角端に注意すべき障害物が入ることは少ないから、図2の最小の領域Aで障害物の3次元距離計測を行っても問題が生じ難い。一方、低速走行時は、主に一般道を走行することが多く交差点での車の飛び出しや歩行者の飛び出しが予想されるため、画角端に注意する必要があるが、図2の最大の領域Cで障害物の3次元距離計測を行うことで画角端における障害物を計測できる。
【0058】
〈第2の実施の形態〉
【0059】
図6は第2の実施の形態の車両用の障害物計測装置を概略的に示すブロック図である。
図7は図6の解像度変換部14bにより第1解像度変換Qで処理される領域(a)及び第2解像度変換Rで処理される領域(b)を示す模式図である。図8は、図6の障害物計測装置によるカメラ画像と3次元計測領域とを示す模式図であって、低速走行の場合(a)及び高速走行の場合(b)、(c)を示す。
【0060】
図6の障害物計測装置20は、図1と比べて、画像処理部14が解像度変換部14bを備える点で相違する以外は、図1と基本的に同様の構成であるので、相違点について主に説明する。
【0061】
解像度変換部14bは車速センサ16で検出した車速に基づいて画像の解像度を変換する。すなわち、車両が高速走行のとき(例えば、s1以上)、解像度変換部14bが図7(a)のように、第1解像度変換Qを行い、3次元計測を行う領域を図2の領域Aのように画面の中心部に限定して高解像度で画像処理を実行する。
【0062】
また、車両が低速走行のとき(例えば、s1以下)、解像度変換部14bが図7(b)のように、第2解像度変換Rを行い、3次元計測を行う領域を図2の領域Cのように画面全体で低解像度で画像処理を実行する。例えば、第2解像度変換Rでは画素を間引いて第1解像度変換Qの解像度よりも低い解像度にすることができる。
【0063】
図8(a)のように、車両が低速走行のときは、3次元計測を行う領域を図2の領域Cのように画面全体に設定し、画面全体において低解像度で一定のフレームレートに保持した状態で画像処理を行う。また、図8(b)のように、高速走行のときは、3次元計測を行う領域を図2の領域Aのように画面の中心部に限定して領域A内において高解像度で一定のフレームレートに保持した状態で画像処理を行う。この場合、図8(c)のように、高解像度で実行する中心部の領域A以外では低解像度で画像処理を行うことが好ましい。
【0064】
上述の障害物計測装置20により車両と障害物との間の距離を計測するステップ(S11〜S16)について図9のフローチャートを参照して説明する。
【0065】
図6の障害物計測装置20を搭載した車両において障害物計測を開始すると、まず、右カメラ11及び左カメラ12から左右の画像が画像補正部13に入力し(S11)、画像を画像補正部13で補正する(S12)。
【0066】
そして、解像度変換部14bは、車速センサ16で検出した車速がs1以上の高速であると(S13)、第1の解像度変換Qを行い、図8(b)、(c)のように、画面中心部の領域Aを3次元計測領域として高解像度で画像処理を行う(S14)。また、車速がs1以下の低速であると(S13)、第2の解像度変換Rを行い、図8(a)のように、画面全体の領域Cを3次元計測領域として低解像度で画像処理を行う(S15)。
【0067】
次に、上述の領域AまたはCにおいて右カメラ11の右画像及び左カメラ12の左画像による水平位置の視差計測により障害物である先行車両までの距離を距離データ算出部15で算出する(S16)。
【0068】
なお、上述の障害物計測においてはPOC法を用い、また、同一のフレームレートで実行する。
【0069】
以上のように、図6の障害物計測装置20による障害物計測によれば、車両が低速のときは低解像度でかつ画面全体の領域で3次元距離計測を行うとともに、高速のときは高解像度でかつ限定された領域で3次元距離計測を行うので、車速が高速・低速に関わらず、単位時間あたりの視差算出の演算量が一定になり、単位時間あたりの演算量の上限が規定される。このため、視差算出がハード処理またはソフト処理のいずれであっても、その処理量がほぼ一定で大きくならないので、ハード処理もソフト処理もその規模が大きくならず、装置のコストダウンを実現できる。
【0070】
また、車両が低速走行時に障害物に対する回避行動に移ることのできる限界距離は高速走行時よりも近距離であるため、対象物(先行車両2)の画面に占める面積が大きく、低解像度でも対象物を検知可能である。
【0071】
次に、図1,図6において、3次元計測領域を設定するときの別の例について図10(a)〜(c)を参照して説明する。
【0072】
図10は、図1,図6の障害物計測装置によるカメラ画像と3次元計測領域とを示す模式図であって、低速走行の場合(a)及び高速走行の場合(b)、(c)を示す。
【0073】
図10(a)の例は、車両が道路1上を低速で走行しているとき、3次元計測領域として画面9の左端領域Dと右端領域Eとを選択するようにしたものである。これにより、例えば一般道路での低速走行のとき、左端領域D及び右端領域Eの画角端において障害物の距離計測を行うことで、飛び出しによる車や歩行者を重点的に計測し監視できる。
【0074】
図10(b)の例は、車両が道路1上を高速で走行しているとき、3次元計測領域として画面9の上部領域Fを選択するようにしたものである。これにより、例えば高速道路での高速走行のとき、障害物の距離計測を画角上部に限定する。
【0075】
図10(c)の例は、車両が道路1上を走行しているとき、先行車両2までの距離データを得て、この距離データ及び車速から3次元計測領域を動的に設定するようにしたものである。この場合、3次元計測領域を高速走行時には遠距離範囲に、また、低速走行時には近距離範囲に設定することが好ましい。例えば、高速走行のとき、3次元計測領域として画面9の領域Gを設定した距離範囲(例えば、80〜100m)に限定する。
【0076】
上述のように、道路上の距離情報から判別して車速に応じて3次元計測領域を動的に変えることで、道路状況や車の流れ等の変化に応じて適切に3次元計測を行うことができる。なお、この場合の距離データの算出は、SAD法により行うことが好ましい。
【0077】
〈第3の実施の形態〉
【0078】
図11は第3の実施の形態の車両用の障害物計測システムを概略的に示すブロック図である。
【0079】
図11の障害物計測システム30は、図1または図6の障害物計測装置10または20と、障害物計測装置10,20の距離データ算出部15からの距離情報に基づいて例えば先行車両2との間の距離が設定距離以上か否かを判定する判定部31と、先行車両2との間の距離が設定距離以下のときに車両の操縦者に警告音や警告音声や警告ランプ等で危険を知らせる警告部32と、を備える。
【0080】
図11の障害物計測システム30によれば、先行車両2との間の距離が設定距離以下となり接近した場合、障害物計測装置10,20からの距離情報に基づく警告部32からの警告により操縦者は危険に注意が向き、危険回避の操作を行うことができるとともに、障害物計測装置10,20のコストダウンにより障害物計測システム30のコストダウンを実現できる。
【0081】
以上のように本発明を実施するための最良の形態について説明したが、本発明はこれらに限定されるものではなく、本発明の技術的思想の範囲内で各種の変形が可能である。例えば、図1,図6の障害物計測装置10,20または図11の障害物計測システム30は、自動車や電車等の自走車両に搭載して使用可能であるが、これらに限定されず、例えば、ロボット等に搭載してもよいことはもちろんである。
【0082】
また、図7〜図9では、画像処理の解像度を2段階に変更するようにしたが、3段階に変更するようにしてもよく、この場合、s1>s2とした場合、車速s1以上で高解像度、車速s2以下で低解像度、車速s1以下s2以上で中間の解像度とするようにできる。
【0083】
また、図11の障害物計測システム30では、先行車両2との間の距離が設定距離以下のとき、警告を発するようにしたが、例えば、自動的に減速するように車両を制御するようにしてもよい。
【図面の簡単な説明】
【0084】
【図1】第1の実施の形態の車両用の障害物計測装置を概略的に示すブロック図である。
【図2】図1の領域選択部14aで選択可能な3次元計測の領域A,B,Cを示す模式図である。
【図3】図1の障害物計測装置10による制御における、フレーム(a)、車速(b)、実フレームレート(≒画像処理時間)(c)、及び3次元計測領域(d)の時間Tとの関係を模式的に示す図である。
【図4】図1の障害物計測装置によるカメラ画像と3次元計測領域とを示す模式図であって、低速走行の場合(a)及び高速走行の場合(b)を示す。
【図5】図1の障害物計測装置10により車両と障害物との間の距離を計測するステップを説明するためのフローチャートである。
【図6】第2の実施の形態の車両用の障害物計測装置を概略的に示すブロック図である。
【図7】図6の解像度変換部14bにより第1解像度変換Qで処理される領域(a)及び第2解像度変換Rで処理される領域(b)を示す模式図である。
【図8】図6の障害物計測装置によるカメラ画像と3次元計測領域とを示す模式図であって、低速走行の場合(a)及び高速走行の場合(b)、(c)を示す。
【図9】図6の障害物計測装置20により車両と障害物との間の距離を計測するステップを説明するためのフローチャートである。
【図10】第1,第2の実施の形態において3次元計測領域を設定する別の例を説明するための図であり、図1,図6の障害物計測装置によるカメラ画像と3次元計測領域とを示す模式図であって、低速走行の場合(a)及び高速走行の場合(b)、(c)を示す。
【図11】第3の実施の形態の車両用の障害物計測システムを概略的に示すブロック図である。
【符号の説明】
【0085】
10,20 障害物計測装置
11 右カメラ
12 左カメラ
14 画像処理部
14a 領域選択部
14b 解像度変換部
15 距離データ算出部
16 車速センサ
30 障害物計測システム
31 判定部
32 警告部
A,B,C 3次元計測領域
D 左端領域
E 右端領域
F 上部領域
【技術分野】
【0001】
本発明は、障害物までの距離を計測する障害物計測方法、障害物計測装置及び障害物計測システムに関する。
【背景技術】
【0002】
特許文献1は、複数の出力モードを有するステレオカメラを用いたステレオ式監視装置・方法を開示し、2つの出力モード(インターレース、ノンインターレース)を有するステレオカメラからの画像から距離データを算出し、対象物の距離または自車両の速度に応じて出力モードを切り替えることで、画像処理の負荷を抑えるようにしている。高速走行時は「ノンインターレース+画面上部」、低速走行時は「インターレース+全画面」で処理するので、あくまでも1フレーム中の情報量は同じである。また、2つの出力モードとしては、垂直画角を変えて、任意のラインを選択する方法もある。
【0003】
特許文献2は、車両の周囲の障害物や走路形状を画像情報により検出する車両用画像処理装置を開示し、ひとつの高速度カメラからの画像を、車両の走行状態(車速など)から高フレームレートで抽出する領域と低フレームレートで抽出する領域とに分割することで、画質を低下させず高フレームレートの画像を扱うことができるようにしている。または、高速カメラと低速カメラの2つの画像から領域を選択する。
【特許文献1】特開2003−304528号公報
【特許文献2】特開2003−259361号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
特許文献1の装置・方法は、画面内で複数の解像度を有せず、また、水平画角を変えず、フレームレートが一定であるので、距離算出の演算量が変わってしまう。特許文献2の装置は、同一画面内でフレームレートの異なる画像が存在し、また、ステレオカメラ構成ではなく、対象物の距離情報を得るものではない。
【0005】
一般に車両が高速走行するときは、高速道路など曲率半径の大きい道路を走行するため、画角端に注意すべき障害物が入ることは少ないが、低速走行するときは、主に一般道を走行することが多く交差点での車の飛び出しや歩行者の飛び出しが予想されるため、画角端に注意する必要がある。
【0006】
本発明は、上述のような従来技術の問題に鑑み、高速・低速に関わらず、単位時間あたりの演算量が一定になり、単位時間あたりの演算量の上限が規定され、ハード処理・ソフト処理のいずれにおいてもコストダウンを達成可能な障害物計測方法、障害物計測装置及び障害物計測システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本発明による第1の障害物計測方法は、走行物体から障害物までの距離をステレオカメラにより計測する障害物計測方法であって、前記障害物計測の対象領域及び前記ステレオカメラによる画像のフレームレートを前記走行物体の速度に応じて変化させることを特徴とする。
【0008】
この障害物計測方法によれば、走行物体の速度に応じて障害物計測を行う対象領域及びステレオカメラによる画像のフレームレートを変えることで、高速・低速に関わらず、単位時間あたりの演算量が一定になり、単位時間あたりの演算量の上限が規定され、距離計測(視差算出)の演算処理がハード処理・ソフト処理のいずれであってもコストダウンを達成できる。
【0009】
上記障害物計測方法において前記走行物体が比較的高速のとき前記対象領域を画面の一部に限定することで、前記フレームレートを大きくしても、単位時間あたりの演算量を、比較的低速のときに前記対象領域を画面のほぼ全域としてフレームレートを小さくした場合と同等にして一定にできるとともに、単位時間あたりの演算量の上限を規定することができる。
【0010】
また、前記走行物体が比較的低速のとき前記対象領域を画面のほぼ全体としても、前記フレームレートを小さくすることで、単位時間あたりの演算量を、上述の比較的高速の場合と同等にして一定にできるとともに、単位時間あたりの演算量の上限を規定することができる。
【0011】
高速走行時は、高速道路などの曲率半径の大きい道路を通行する場合が多く、計測対象エリアを画角端に設定するよりは、上述のように、前方車両との追突を回避するために画面中心部にまたは上部に計測対象エリアを設定することが重要であるとともに、検知してから回避行動に移るまでの時間が短いため高フレームレートで障害物を計測する必要がある。一方、低速走行時は主に一般道のように曲率半径の小さい道路や交差点などを走行する場合が多く、前方車両との追突を回避するとともに他の車両や歩行者などの飛び出しにも注意を払う必要があるため、上述のように計測対象領域を全域に設定することが重要となる。低速走行時は高速走行時と比較して、検知してから回避行動に移るまでに時間的に余裕があるため、低フレームレートで障害物を計測しても問題がない。
【0012】
本発明による第2の障害物計測方法は、走行物体から障害物までの距離をステレオカメラにより計測する障害物計測方法であって、前記障害物計測の対象領域及び前記ステレオカメラによる画像の解像度を前記走行物体の速度に応じて変化させることを特徴とする。
【0013】
この障害物計測方法によれば、走行物体の速度に応じて障害物計測を行う対象領域及びステレオカメラによる画像の解像度を変えることで、高速・低速に関わらず、単位時間あたりの演算量が一定になり、単位時間あたりの演算量の上限が規定され、距離計測(視差算出)の演算処理がハード処理・ソフト処理のいずれであってもコストダウンを達成できる。
【0014】
上記障害物計測方法において前記走行物体が比較的高速のとき前記対象領域を画面の一部に限定することで、前記解像度を大きくしても、単位時間あたりの演算量を、比較的低速のときに前記対象領域を画面のほぼ全域として解像度を小さくした場合と同等にして一定にできるとともに、単位時間あたりの演算量の上限を規定することができる。
【0015】
また、前記走行物体が比較的低速のとき前記対象領域を画面のほぼ全体としても、前記解像度を小さくすることで、単位時間あたりの演算量を、上述の比較的高速の場合と同等にして一定にできるとともに、単位時間あたりの演算量の上限を規定することができる。
【0016】
上述のように、高速走行時には3次元計測の対象領域を中心部に限定して高解像度で実行する。低速走行時には3次元計測の対象領域を画面全体に設定して低解像度で実行する。なお、低速走行時の回避行動に移ることのできる限界距離は、高速走行時より近距離であるため障害物の画面に占める面積が大きく、低解像度でも検知可能である。一方、高速走行時は、回避行動に移ることのできる限界距離が比較的遠距離にあるため、障害物の画面に占める面積が小さくなる。このため、確実に検知するためには高解像度にする必要がある。
【0017】
上記各障害物計測方法において前記距離計測における距離の算出をPOC法(位相限定相関法)を用いて行うことで、精度の高い計測が可能となる。
【0018】
なお、上記各障害物計測方法において、対象領域を速度に基づいて変更する場合、例えば、低速走行のとき、左右端の領域を対象領域に変更することで、画角端で飛び出しによる車や歩行者を重点的に計測し監視でき、また、高速走行のとき、上部領域を対象領域に変更することで、画角上部に限定して障害物の距離計測をすることができる。
【0019】
また、前記対象領域を前記速度及び前記障害物までの距離に基づいて変更することにより、対象領域を距離情報と速度から動的に設定することで道路状況や車の流れ等の変化に適切に対応できる。この場合、高速走行時には対象領域を遠距離に設定し、低速走行時には近距離に設定することが好ましい。
【0020】
この場合、前記対象領域を変更する際の前記障害物までの距離をSAD(差分絶対値和)法を用いて行うことが好ましい。
【0021】
本発明による第1の障害物計測装置は、走行物体から障害物までの距離をステレオカメラにより計測する障害物計測装置であって、前記障害物計測の対象領域を前記走行物体の速度に基づいて変更する手段と、前記ステレオカメラによる画像のフレームレートを前記速度に基づいて変化させる手段と、を備えることを特徴とする。
【0022】
この障害物計測装置によれば、走行物体の速度に応じて障害物計測を行う対象領域及びステレオカメラによる画像のフレームレートを変えることで、高速・低速に関わらず、単位時間あたりの演算量が一定になり、単位時間あたりの演算量の上限が規定され、距離計測(視差算出)の演算処理がハード処理・ソフト処理のいずれであってもコストダウンを達成できる。
【0023】
本発明による第2の障害物計測装置は、走行物体から障害物までの距離をステレオカメラにより計測する障害物計測装置であって、前記障害物計測の対象領域を前記走行物体の速度に基づいて変更する手段と、前記ステレオカメラによる画像の解像度を前記速度に基づいて変化させる手段と、を備えることを特徴とする。
【0024】
この障害物計測装置によれば、走行物体の速度に応じて障害物計測を行う対象領域及びステレオカメラによる画像の解像度を変えることで、高速・低速に関わらず、単位時間あたりの演算量が一定になり、単位時間あたりの演算量の上限が規定され、距離計測(視差算出)の演算処理がハード処理・ソフト処理のいずれであってもコストダウンを達成できる。
【0025】
上記各障害物計測装置は、上述の障害物計測方法を実行するように構成することができる。なお、上記各障害物計測装置は走行物体に搭載されることで距離計測を行うようにできる。
【0026】
本発明による障害物計測システムは、上述の障害物計測装置と、前記計測された距離情報に基づいて前記障害物に関する危険を判定する判定部と、前記危険と判定されたときに警告を発する警告部と、を備えることを特徴とする。
【0027】
この障害物計測システムによれば、警告部からの警告により危険に注意が向き、危険回避の操作を行うことができるとともに、障害物計測システムのコストダウンを実現できる。
【発明の効果】
【0028】
本発明の障害物計測方法、障害物計測装置及び障害物計測システムによれば、高速・低速に関わらず、単位時間あたりの演算量が一定になり、単位時間あたりの演算量の上限が規定され、距離計測(視差算出)の演算処理がハード処理・ソフト処理のいずれであってもコストダウンを達成できる。
【発明を実施するための最良の形態】
【0029】
以下、本発明を実施するための最良の形態について図面を用いて説明する。
【0030】
〈第1の実施の形態〉
【0031】
図1は第1の実施の形態の車両用の障害物計測装置を概略的に示すブロック図である。
図1に示すように、車両用の障害物計測装置10は、右カメラ11と、左カメラ12と、カメラ11,12からの画像情報を補正する画像補正部13と、カメラ11,12による画像情報からのカメラ画像について画像処理を行う画像処理部14と、3次元計測領域内の画像情報から障害物との間の距離データを算出する距離データ算出部15と、車両の速度を検出する車速センサ16と、を備え、車両に搭載される。
【0032】
右カメラ11及び左カメラ12は、それぞれレンズ等の光学系とCCDやCMOSイメージセンサ等からなる撮像素子とを備え、車両の前部に所定間隔に配置されてステレオカメラを構成し、車両前方に存在する歩行者や先行車両等の障害物の画像情報を電気信号として得る。
【0033】
画像補正部13は、カメラ11,12からの画像情報についてカメラ11,12のレンズの周辺部に生じるひずみ等を補正する。
【0034】
画像処理部14は補正された画像情報を画像処理し、画像処理部14の領域選択部14aは、画像内の障害物までの距離計測を行う3次元計測領域を車速センサ16で検出した車速に基づいて選択する。
【0035】
また、画像処理部14は、車速センサ16で検出した車速に基づいて画像のフレームレート(単位時間あたりに画像処理して画面を書き換える回数)を変更する。なお、車速センサ16は車両に搭載されているものを用いることができる。
【0036】
距離データ算出部15は、同一の障害物について右カメラ11から得られる右画像と左カメラ12から得られる左画像とが水平方向にずれて画面上に表示されるので、かかる右画像と左画像との水平位置のずれ(視差)に基づいて障害物までの距離を3次元的に算出できる。すなわち、視差と距離とは反比例の関係にあるので、視差を計測することで距離の計測が可能である。このような距離データの算出を距離データ算出部15は車速に基づいて選択された3次元計測領域内で実行するようになっている。
【0037】
距離データ算出部15は、上述の視差演算の方法として、具体的には、差分絶対値和(Sum of Absolute Difference:SAD)による相関法や位相限定相関法(Phase-Only Correlation:POC)を用いることができる。
【0038】
SAD法は、一般的によく用いられている視差計測法であり、例えば、新井元基、鷲見和彦、松山隆司による論文「画像のブロックマッチングにおける相関関数とサブピクセルの推定方式の最適化」(情報処理学会 研究報告 CVIM-144-5, pp.33-40, May 2004)や特開2000−283753号公報等を参照できる。
【0039】
POC法(位相限定相関法)は、デジタル信号に変換された画像信号をフーリエ変換し、位相信号と振幅信号を得て、位相信号だけを逆フーリエ変換することで得られた位相情報を用いる3次元計測法であり、位相成分のみを使用するため、精度の高いマッチングが可能であり、SAD法よりも距離計測の精度が高い。POC法は、例えば、福田康宏、安部正英、川又政征による論文「位相限定相関を用いた映像の位置ずれ補正のDSPによる実現」(計測自動制御学会東北支部 第215回研究集会(2004.5.27)資料番号215-3)等を参照できる。
【0040】
距離データ算出部15は、上述のSAD法、POC法による距離算出のための演算を集積素子等によりハード的に処理できるが、CPU(中央演算処理装置)によりソフト的に処理するようにしてもよい。この場合、CPUは所定のプログラムに従って所定の演算を実行する。
【0041】
図2は、図1の領域選択部14aで選択可能な3次元計測の領域A,B,Cを示す模式図である。
【0042】
図1の領域選択部14aは、図2に示す複数の領域A,B,Cから3次元計測を行う3次元計測領域を選択可能であり、例えば、車速s2>車速s1(図3(b)参照)とすると、車速センサ16で検出した車速がs2以上の高速であると最も狭い領域Aを選択し、s2以下でs1以上の中速であると中間の領域Bを選択し、s1以下の低速であると最も広い領域Cを選択する。
【0043】
次に、図1の画像処理部14及び領域選択部14aにおける車速に基づく3次元計測領域の選択及びフレームレートの変更の制御について図2,図3,図4を参照して説明する。
【0044】
図3は、図1の障害物計測装置10による制御における、フレーム(a)、車速(b)、実フレームレート(≒画像処理時間)(c)、及び3次元計測領域(d)の時間Tとの関係を模式的に示す図である。図4は、図1の障害物計測装置によるカメラ画像と3次元計測領域とを示す模式図であって、低速走行の場合(a)及び高速走行の場合(b)を示す。
【0045】
図1の障害物計測装置10を搭載した車両が図3の時間T0でスタートすると、図3(b)のように低速(s1以下)で時間T0〜T1まで走行し、この低速期間に図3(d)のように、図2の最も大きい領域Cを3次元計測領域として選択するとともに、図3(a)のフレームを図3(c)のように実フレームレートを小さく(画像処理時間を長く)変更して画像処理する。
【0046】
例えば、図4(a)のように、図1の障害物計測装置10を搭載した車両が道路1上を低速走行(車速<s1)すると、選択された最大の3次元計測領域Cが画面9のほぼ全体に設定され、領域C内において小さな実フレームレート(比較的長い画像処理時間)で車両の前方の先行車両2の画像が処理される。このように、低速走行時は、3次元計測領域を画面9のほぼ全体に設定して、比較的小さいフレームレートで実行する。
【0047】
次に、車速が増して中速(s2以下、s1以上)となると、図3の時間T2〜T3の中速期間に、図3(d)のように、図2の中間の領域Bを3次元計測領域として選択するとともに、図3(a)のフレームを図3(c)のように実フレームレートを中程度(画像処理時間を中程度)に変更して画像処理する。
【0048】
次に、車速が更に増して高速(s2以上)となると、図3の時間T4〜T5の高速期間に、図3(d)のように、図2の最も小さい領域Aを3次元計測領域として選択するとともに、図3(a)のフレームを図3(c)のように実フレームレートを大きく(画像処理時間を短く)変更して画像処理する。
【0049】
例えば、図1の障害物計測装置10を搭載した車両が道路1上を高速走行(車速>s2)すると、選択された最小の3次元計測領域Aが画面9のほぼ中心部(または上部)に設定され、領域A内において大きな実フレームレート(比較的短い処理時間)で車両の前方の先行車両2の画像が処理される。
【0050】
このように、車両の高速走行時には、3次元計測領域を画面9の中心部(または上部)に限定して比較的大きいフレームレートで実行する。このように小さな領域Aに限定しても、高速走行時は道路の直線性、平行性が保たれているため、問題ない。むしろ、道路形状が極端に上下、左右に蛇行している場合は、極端な高速走行は行わないから問題がないのである。
【0051】
上述の障害物計測装置10により車両と障害物との間の距離を計測するステップ(S01〜S08)について図5のフローチャートを参照して説明する。
【0052】
図1の障害物計測装置10を搭載した車両において障害物計測を開始すると、まず、右カメラ11及び左カメラ12から左右の画像が画像補正部13に入力し(S01)、画像を画像補正部13で補正する(S02)。
【0053】
そして、領域選択部14aは、車速センサ16で検出した車速がs2以上の高速であると(S03)、図2の最小の領域Aを3次元計測領域として選択する(S05)。また、車速がs2以下、s1以上の中速であると(S04)、図2の中間の領域Bを3次元計測領域として選択し(S06)、s1以下の低速であると(S04)、図2の最大の領域Cを3次元計測領域として選択する(S07)。また、領域Aが選択されるとフレームレートは大きく、領域Cが選択されるとフレームレートは小さく、領域Bが選択されるとフレームレートはその中間に設定される。
【0054】
次に、上述のようにして選択された領域A,BまたはCにおいて各フレームレートで画像を処理し、右カメラ11の右画像及び左カメラ12の左画像による水平位置の視差計測により障害物である先行車両までの距離を距離データ算出部15で算出する(S08)。
【0055】
なお、上述の障害物計測においてはPOC法を用い、また、同一の解像度で実行する。
【0056】
以上のように、図1の障害物計測装置10による障害物計測によれば、車両が低速のときは低フレームレートでかつ最大の領域Cで3次元距離計測を行うとともに、高速のときは高フレームレートでかつ最小の領域Aで3次元距離計測を行うので、車速が高速・低速に関わらず、単位時間あたりの視差算出の演算量が一定になり、単位時間あたりの演算量の上限が規定される。このため、視差算出がハード処理またはソフト処理のいずれであっても、その処理量がほぼ一定で大きくならないので、ハード処理もソフト処理もその規模が大きくならず、装置のコストダウンを実現できる。
【0057】
また、一般に高速走行時は、高速道路など曲率半径の大きい道路を走行するため、画角端に注意すべき障害物が入ることは少ないから、図2の最小の領域Aで障害物の3次元距離計測を行っても問題が生じ難い。一方、低速走行時は、主に一般道を走行することが多く交差点での車の飛び出しや歩行者の飛び出しが予想されるため、画角端に注意する必要があるが、図2の最大の領域Cで障害物の3次元距離計測を行うことで画角端における障害物を計測できる。
【0058】
〈第2の実施の形態〉
【0059】
図6は第2の実施の形態の車両用の障害物計測装置を概略的に示すブロック図である。
図7は図6の解像度変換部14bにより第1解像度変換Qで処理される領域(a)及び第2解像度変換Rで処理される領域(b)を示す模式図である。図8は、図6の障害物計測装置によるカメラ画像と3次元計測領域とを示す模式図であって、低速走行の場合(a)及び高速走行の場合(b)、(c)を示す。
【0060】
図6の障害物計測装置20は、図1と比べて、画像処理部14が解像度変換部14bを備える点で相違する以外は、図1と基本的に同様の構成であるので、相違点について主に説明する。
【0061】
解像度変換部14bは車速センサ16で検出した車速に基づいて画像の解像度を変換する。すなわち、車両が高速走行のとき(例えば、s1以上)、解像度変換部14bが図7(a)のように、第1解像度変換Qを行い、3次元計測を行う領域を図2の領域Aのように画面の中心部に限定して高解像度で画像処理を実行する。
【0062】
また、車両が低速走行のとき(例えば、s1以下)、解像度変換部14bが図7(b)のように、第2解像度変換Rを行い、3次元計測を行う領域を図2の領域Cのように画面全体で低解像度で画像処理を実行する。例えば、第2解像度変換Rでは画素を間引いて第1解像度変換Qの解像度よりも低い解像度にすることができる。
【0063】
図8(a)のように、車両が低速走行のときは、3次元計測を行う領域を図2の領域Cのように画面全体に設定し、画面全体において低解像度で一定のフレームレートに保持した状態で画像処理を行う。また、図8(b)のように、高速走行のときは、3次元計測を行う領域を図2の領域Aのように画面の中心部に限定して領域A内において高解像度で一定のフレームレートに保持した状態で画像処理を行う。この場合、図8(c)のように、高解像度で実行する中心部の領域A以外では低解像度で画像処理を行うことが好ましい。
【0064】
上述の障害物計測装置20により車両と障害物との間の距離を計測するステップ(S11〜S16)について図9のフローチャートを参照して説明する。
【0065】
図6の障害物計測装置20を搭載した車両において障害物計測を開始すると、まず、右カメラ11及び左カメラ12から左右の画像が画像補正部13に入力し(S11)、画像を画像補正部13で補正する(S12)。
【0066】
そして、解像度変換部14bは、車速センサ16で検出した車速がs1以上の高速であると(S13)、第1の解像度変換Qを行い、図8(b)、(c)のように、画面中心部の領域Aを3次元計測領域として高解像度で画像処理を行う(S14)。また、車速がs1以下の低速であると(S13)、第2の解像度変換Rを行い、図8(a)のように、画面全体の領域Cを3次元計測領域として低解像度で画像処理を行う(S15)。
【0067】
次に、上述の領域AまたはCにおいて右カメラ11の右画像及び左カメラ12の左画像による水平位置の視差計測により障害物である先行車両までの距離を距離データ算出部15で算出する(S16)。
【0068】
なお、上述の障害物計測においてはPOC法を用い、また、同一のフレームレートで実行する。
【0069】
以上のように、図6の障害物計測装置20による障害物計測によれば、車両が低速のときは低解像度でかつ画面全体の領域で3次元距離計測を行うとともに、高速のときは高解像度でかつ限定された領域で3次元距離計測を行うので、車速が高速・低速に関わらず、単位時間あたりの視差算出の演算量が一定になり、単位時間あたりの演算量の上限が規定される。このため、視差算出がハード処理またはソフト処理のいずれであっても、その処理量がほぼ一定で大きくならないので、ハード処理もソフト処理もその規模が大きくならず、装置のコストダウンを実現できる。
【0070】
また、車両が低速走行時に障害物に対する回避行動に移ることのできる限界距離は高速走行時よりも近距離であるため、対象物(先行車両2)の画面に占める面積が大きく、低解像度でも対象物を検知可能である。
【0071】
次に、図1,図6において、3次元計測領域を設定するときの別の例について図10(a)〜(c)を参照して説明する。
【0072】
図10は、図1,図6の障害物計測装置によるカメラ画像と3次元計測領域とを示す模式図であって、低速走行の場合(a)及び高速走行の場合(b)、(c)を示す。
【0073】
図10(a)の例は、車両が道路1上を低速で走行しているとき、3次元計測領域として画面9の左端領域Dと右端領域Eとを選択するようにしたものである。これにより、例えば一般道路での低速走行のとき、左端領域D及び右端領域Eの画角端において障害物の距離計測を行うことで、飛び出しによる車や歩行者を重点的に計測し監視できる。
【0074】
図10(b)の例は、車両が道路1上を高速で走行しているとき、3次元計測領域として画面9の上部領域Fを選択するようにしたものである。これにより、例えば高速道路での高速走行のとき、障害物の距離計測を画角上部に限定する。
【0075】
図10(c)の例は、車両が道路1上を走行しているとき、先行車両2までの距離データを得て、この距離データ及び車速から3次元計測領域を動的に設定するようにしたものである。この場合、3次元計測領域を高速走行時には遠距離範囲に、また、低速走行時には近距離範囲に設定することが好ましい。例えば、高速走行のとき、3次元計測領域として画面9の領域Gを設定した距離範囲(例えば、80〜100m)に限定する。
【0076】
上述のように、道路上の距離情報から判別して車速に応じて3次元計測領域を動的に変えることで、道路状況や車の流れ等の変化に応じて適切に3次元計測を行うことができる。なお、この場合の距離データの算出は、SAD法により行うことが好ましい。
【0077】
〈第3の実施の形態〉
【0078】
図11は第3の実施の形態の車両用の障害物計測システムを概略的に示すブロック図である。
【0079】
図11の障害物計測システム30は、図1または図6の障害物計測装置10または20と、障害物計測装置10,20の距離データ算出部15からの距離情報に基づいて例えば先行車両2との間の距離が設定距離以上か否かを判定する判定部31と、先行車両2との間の距離が設定距離以下のときに車両の操縦者に警告音や警告音声や警告ランプ等で危険を知らせる警告部32と、を備える。
【0080】
図11の障害物計測システム30によれば、先行車両2との間の距離が設定距離以下となり接近した場合、障害物計測装置10,20からの距離情報に基づく警告部32からの警告により操縦者は危険に注意が向き、危険回避の操作を行うことができるとともに、障害物計測装置10,20のコストダウンにより障害物計測システム30のコストダウンを実現できる。
【0081】
以上のように本発明を実施するための最良の形態について説明したが、本発明はこれらに限定されるものではなく、本発明の技術的思想の範囲内で各種の変形が可能である。例えば、図1,図6の障害物計測装置10,20または図11の障害物計測システム30は、自動車や電車等の自走車両に搭載して使用可能であるが、これらに限定されず、例えば、ロボット等に搭載してもよいことはもちろんである。
【0082】
また、図7〜図9では、画像処理の解像度を2段階に変更するようにしたが、3段階に変更するようにしてもよく、この場合、s1>s2とした場合、車速s1以上で高解像度、車速s2以下で低解像度、車速s1以下s2以上で中間の解像度とするようにできる。
【0083】
また、図11の障害物計測システム30では、先行車両2との間の距離が設定距離以下のとき、警告を発するようにしたが、例えば、自動的に減速するように車両を制御するようにしてもよい。
【図面の簡単な説明】
【0084】
【図1】第1の実施の形態の車両用の障害物計測装置を概略的に示すブロック図である。
【図2】図1の領域選択部14aで選択可能な3次元計測の領域A,B,Cを示す模式図である。
【図3】図1の障害物計測装置10による制御における、フレーム(a)、車速(b)、実フレームレート(≒画像処理時間)(c)、及び3次元計測領域(d)の時間Tとの関係を模式的に示す図である。
【図4】図1の障害物計測装置によるカメラ画像と3次元計測領域とを示す模式図であって、低速走行の場合(a)及び高速走行の場合(b)を示す。
【図5】図1の障害物計測装置10により車両と障害物との間の距離を計測するステップを説明するためのフローチャートである。
【図6】第2の実施の形態の車両用の障害物計測装置を概略的に示すブロック図である。
【図7】図6の解像度変換部14bにより第1解像度変換Qで処理される領域(a)及び第2解像度変換Rで処理される領域(b)を示す模式図である。
【図8】図6の障害物計測装置によるカメラ画像と3次元計測領域とを示す模式図であって、低速走行の場合(a)及び高速走行の場合(b)、(c)を示す。
【図9】図6の障害物計測装置20により車両と障害物との間の距離を計測するステップを説明するためのフローチャートである。
【図10】第1,第2の実施の形態において3次元計測領域を設定する別の例を説明するための図であり、図1,図6の障害物計測装置によるカメラ画像と3次元計測領域とを示す模式図であって、低速走行の場合(a)及び高速走行の場合(b)、(c)を示す。
【図11】第3の実施の形態の車両用の障害物計測システムを概略的に示すブロック図である。
【符号の説明】
【0085】
10,20 障害物計測装置
11 右カメラ
12 左カメラ
14 画像処理部
14a 領域選択部
14b 解像度変換部
15 距離データ算出部
16 車速センサ
30 障害物計測システム
31 判定部
32 警告部
A,B,C 3次元計測領域
D 左端領域
E 右端領域
F 上部領域
【特許請求の範囲】
【請求項1】
走行物体から障害物までの距離をステレオカメラにより計測する障害物計測方法であって、
前記障害物計測の対象領域及び前記ステレオカメラによる画像のフレームレートを前記走行物体の速度に応じて変化させることを特徴とする障害物計測方法。
【請求項2】
前記走行物体が比較的高速のとき前記対象領域を画面の一部に限定し前記フレームレートを大きくする請求項1に記載の障害物計測方法。
【請求項3】
前記走行物体が比較的低速のとき前記対象領域を画面のほぼ全体とし前記フレームレートを小さくする請求項1に記載の障害物計測方法。
【請求項4】
走行物体から障害物までの距離をステレオカメラにより計測する障害物計測方法であって、
前記障害物計測の対象領域及び前記ステレオカメラによる画像の解像度を前記走行物体の速度に応じて変化させることを特徴とする障害物計測方法。
【請求項5】
前記走行物体が比較的高速のとき前記対象領域を画面の一部に限定し前記解像度を大きくする請求項4に記載の障害物計測方法。
【請求項6】
前記走行物体が比較的低速のとき前記対象領域を画面のほぼ全体とし前記解像度を小さくする請求項4に記載の障害物計測方法。
【請求項7】
前記距離計測における距離の算出をPOC法(位相限定相関法)を用いて行う請求項1乃至6のいずれか1項に記載の障害物計測方法。
【請求項8】
前記対象領域を前記速度及び前記障害物までの距離に基づいて変更する請求項1乃至7のいずれか1項に記載の障害物計測方法。
【請求項9】
前記対象領域を変更する際の前記障害物までの距離をSAD(差分絶対値和)法を用いて行う請求項8に記載の障害物計測方法。
【請求項10】
走行物体から障害物までの距離をステレオカメラにより計測する障害物計測装置であって、
前記障害物計測の対象領域を前記走行物体の速度に基づいて変更する手段と、
前記ステレオカメラによる画像のフレームレートを前記速度に基づいて変化させる手段と、を備えることを特徴とする障害物計測装置。
【請求項11】
走行物体から障害物までの距離をステレオカメラにより計測する障害物計測装置であって、
前記障害物計測の対象領域を前記走行物体の速度に基づいて変更する手段と、
前記ステレオカメラによる画像の解像度を前記速度に基づいて変化させる手段と、を備えることを特徴とする障害物計測装置。
【請求項12】
請求項1乃至9のいずれか1項に記載の障害物計測方法を実行するように構成された請求項10または11に記載の障害物計測装置。
【請求項13】
請求項10乃至12のいずれか1項に記載の障害物計測装置と、前記計測された距離情報に基づいて前記障害物に関する危険を判定する判定部と、前記危険と判定されたときに警告を発する警告部と、を備えることを特徴とする障害物計測システム。
【請求項1】
走行物体から障害物までの距離をステレオカメラにより計測する障害物計測方法であって、
前記障害物計測の対象領域及び前記ステレオカメラによる画像のフレームレートを前記走行物体の速度に応じて変化させることを特徴とする障害物計測方法。
【請求項2】
前記走行物体が比較的高速のとき前記対象領域を画面の一部に限定し前記フレームレートを大きくする請求項1に記載の障害物計測方法。
【請求項3】
前記走行物体が比較的低速のとき前記対象領域を画面のほぼ全体とし前記フレームレートを小さくする請求項1に記載の障害物計測方法。
【請求項4】
走行物体から障害物までの距離をステレオカメラにより計測する障害物計測方法であって、
前記障害物計測の対象領域及び前記ステレオカメラによる画像の解像度を前記走行物体の速度に応じて変化させることを特徴とする障害物計測方法。
【請求項5】
前記走行物体が比較的高速のとき前記対象領域を画面の一部に限定し前記解像度を大きくする請求項4に記載の障害物計測方法。
【請求項6】
前記走行物体が比較的低速のとき前記対象領域を画面のほぼ全体とし前記解像度を小さくする請求項4に記載の障害物計測方法。
【請求項7】
前記距離計測における距離の算出をPOC法(位相限定相関法)を用いて行う請求項1乃至6のいずれか1項に記載の障害物計測方法。
【請求項8】
前記対象領域を前記速度及び前記障害物までの距離に基づいて変更する請求項1乃至7のいずれか1項に記載の障害物計測方法。
【請求項9】
前記対象領域を変更する際の前記障害物までの距離をSAD(差分絶対値和)法を用いて行う請求項8に記載の障害物計測方法。
【請求項10】
走行物体から障害物までの距離をステレオカメラにより計測する障害物計測装置であって、
前記障害物計測の対象領域を前記走行物体の速度に基づいて変更する手段と、
前記ステレオカメラによる画像のフレームレートを前記速度に基づいて変化させる手段と、を備えることを特徴とする障害物計測装置。
【請求項11】
走行物体から障害物までの距離をステレオカメラにより計測する障害物計測装置であって、
前記障害物計測の対象領域を前記走行物体の速度に基づいて変更する手段と、
前記ステレオカメラによる画像の解像度を前記速度に基づいて変化させる手段と、を備えることを特徴とする障害物計測装置。
【請求項12】
請求項1乃至9のいずれか1項に記載の障害物計測方法を実行するように構成された請求項10または11に記載の障害物計測装置。
【請求項13】
請求項10乃至12のいずれか1項に記載の障害物計測装置と、前記計測された距離情報に基づいて前記障害物に関する危険を判定する判定部と、前記危険と判定されたときに警告を発する警告部と、を備えることを特徴とする障害物計測システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2013−108990(P2013−108990A)
【公開日】平成25年6月6日(2013.6.6)
【国際特許分類】
【出願番号】特願2012−271930(P2012−271930)
【出願日】平成24年12月13日(2012.12.13)
【分割の表示】特願2007−143734(P2007−143734)の分割
【原出願日】平成19年5月30日(2007.5.30)
【出願人】(000001270)コニカミノルタ株式会社 (4,463)
【Fターム(参考)】
【公開日】平成25年6月6日(2013.6.6)
【国際特許分類】
【出願日】平成24年12月13日(2012.12.13)
【分割の表示】特願2007−143734(P2007−143734)の分割
【原出願日】平成19年5月30日(2007.5.30)
【出願人】(000001270)コニカミノルタ株式会社 (4,463)
【Fターム(参考)】
[ Back to top ]