車両周辺映像を用いた車線離脱感知方法および装置
【課題】走行中の車両周辺の死角地帯をなくし、複数のカメラにより撮像される重複領域を自然に表示されるように補正処理することによって、車線離脱の有無をより正確に感知することができる。
【解決手段】本発明による車両周辺映像を用いた車線離脱感知方法は、走行中の車両に設置された複数のカメラを通じて撮像された映像をカメラに連結されるそれぞれのチャンネルを通じて入力を受ける段階、撮像映像をトップビュー形態に補正処理して複数の補正映像を生成する段階、複数の補正映像を合成して車両の周辺映像を生成する段階、車両の周辺映像から車線を抽出し、車両と抽出された車線との距離情報、または車両の進行方向と抽出された車線とがなす角度情報を算出して車線離脱を判断する段階、および車線離脱と判断される場合には警報を発生する段階を含む。
【解決手段】本発明による車両周辺映像を用いた車線離脱感知方法は、走行中の車両に設置された複数のカメラを通じて撮像された映像をカメラに連結されるそれぞれのチャンネルを通じて入力を受ける段階、撮像映像をトップビュー形態に補正処理して複数の補正映像を生成する段階、複数の補正映像を合成して車両の周辺映像を生成する段階、車両の周辺映像から車線を抽出し、車両と抽出された車線との距離情報、または車両の進行方向と抽出された車線とがなす角度情報を算出して車線離脱を判断する段階、および車線離脱と判断される場合には警報を発生する段階を含む。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、周辺映像生成方法および装置に関し、より詳しくは、車両の前方、後方、左側および右側に設置されたカメラを通じて撮像された映像を合成して車両の離脱有無を判断する車線離脱感知方法および装置に関する。
【背景技術】
【0002】
最近、自動車産業の発達に伴って1世帯に1台保有の時代という程度に自動車の普及は商用化されており、高速道路および道路運送網の拡充に伴って長距離を運転する運転者が大きく増加した。これによって、長距離運送が多いトラック運転者と長距離通勤者などは長時間運転による疲労、不注意、居眠り運転による車線離脱事故の危険に露出されている。
【0003】
一般に先端安全車両(Advanced Safety Vehicle、以下、「ASV」という)は、車両の安全度の向上のために先端電子技術と制御技術を適用した先端車両として、交通事故を減少させて交通量を増加させ、エネルギーを節約し、運転者の便宜を図るようになる。
【0004】
ASVは、車間距離を自動的に制御する定速走行装置(Adaptive Cruise Control、以下、「ACC」という)、車線離脱をモニターして警告する車線離脱警報システム(Lane Departure Warning System、以下、「LDWS」という)などを含む。
【0005】
特に、LDWSは、車両に付着されたカメラから前方道路の映像を感知して現在走行している車線を把握した後、運転者が不注意や居眠り運転などにより車線を離脱しようとすると警報音が鳴るようにする安全システムである。LDWSは、カメラを通じて撮像されたイメージに基づいて側面位置と側面速度、ステアリングアングル、車線幅、道路の屈曲などを総合的に分析し、分析結果、車線離脱が感知されると運転者に知らせるようにする。
【0006】
従来技術によれば、車両の両側サイドミラーに装着されたカメラにより撮像される後側方の左右映像から車線を抽出し、抽出された左右車線と車体の方向線とがなす角度などを計算して車線離脱の有無を検出した。他の従来技術によれば、車両の前方に装着されたカメラにより撮像される前方の映像と道路の映像から車線を認識し、認識された車線の傾け変化を抽出して車線離脱の有無を判断した。
【0007】
しかし、従来技術によれば、車両の左右側映像を単に組み合わせて表示することによって、映像間のオーバレイ処理が自然に行われず、現在車両の進行位置や経路離脱程度を正確に判断することができないという問題点があり、特に、車両の前方映像のみでは現在車両の離脱程度を正確に判断し難く、運転者が便利に走行状況を確認し難いという問題点がある。
【発明の概要】
【発明が解決しようとする課題】
【0008】
したがって、本発明が解決しようとする技術的課題は、車両に付着されたカメラから撮像された映像を最大限自然な映像に合成することによって、車線離脱を正確に感知し、運転者が便利に車線離脱の有無を認識することができるようにする車両周辺映像を用いた車線離脱感知方法および装置を提供することにある。
【課題を解決するための手段】
【0009】
このような技術的課題を解決するための本発明の一実施例による車両周辺映像を用いた車線離脱感知方法は、走行中の車両に設置された複数のカメラを通じて撮像された映像を前記カメラに連結されるそれぞれのチャンネルを通じて入力を受ける段階、前記撮像映像をトップビュー形態に補正処理して複数の補正映像を生成する段階、前記複数の補正映像を合成して前記車両の周辺映像を生成する段階、前記車両の周辺映像から車線を抽出し、前記車両と前記抽出された車線との距離情報、または前記車両の進行方向と前記抽出された車線とがなす角度情報を算出して車線離脱を判断する段階、および前記車線離脱と判断される場合には警報を発生する段階を含む。
【0010】
前記車両の周辺映像を生成する段階は、前記各チャンネル別領域情報と各領域を構成するピクセルに対する加重値情報を含むマスク映像を用いて前記複数の補正映像をオーバレイ処理して前記車両の周辺映像を生成することができる。
【0011】
前記カメラは、前記車両の左側および右側方向にそれぞれ1台ずつ設置されるか、または前記車両の前方および後方にそれぞれ1台ずつ設置されてもよい。
【0012】
前記カメラは、前記車両の前方、左側および右側方向にそれぞれ1台ずつ設置されてもよい。
【0013】
前記カメラは、前記車両の前方、後方、左側および右側方向にそれぞれ1台ずつ設置されてもよい。
【0014】
前記車線離脱を判断する段階は、前記車両の進行方向を示す進行方向線を前記車両の周辺に表示する段階、前記進行方向線と前記抽出された車線との距離を測定し、前記進行方向線と前記抽出された車線との交差角度を測定して前記距離情報または前記角度情報を生成する段階、および前記距離情報または前記角度情報が基準範囲を逸脱する場合には車線を離脱したと判断する段階を含む。
【0015】
本発明の他の実施例による車両周辺映像を用いた車線離脱感知装置は、走行中の車両に設置された複数のカメラを通じて撮像された映像を前記カメラに連結されるそれぞれのチャンネルを通じて入力を受ける映像入力部、前記撮像映像をトップビュー形態に補正処理して複数の補正映像を生成する映像処理部、前記複数の補正映像を合成して前記車両の周辺映像を生成する映像合成部、および前記車両の周辺映像から車線を抽出し、前記車両と前記抽出された車線との距離情報、または前記車両の進行方向と前記抽出された車線とがなす角度情報を算出し、算出された前記距離情報または前記角度情報から車線離脱を判断する車線離脱感知部を含む。
【0016】
本発明の他の実施例による車両周辺映像を用いた車線離脱感知システムは、走行中の車両に設置されて撮像された映像をそれぞれのチャンネルを通じて出力する複数のカメラ、入力された前記撮像映像をトップビュー形態に補正処理して複数の補正映像を生成し、前記複数の補正映像を合成して前記車両の周辺映像を生成する映像生成装置、前記車両の周辺映像から車線を抽出し、前記車両と前記抽出された車線との距離情報、または前記車両の進行方向と前記抽出された車線とがなす角度情報を算出して前記距離情報または前記角度情報から車線離脱を判断し、前記車線離脱と判断される場合には警報を発生する車線離脱感知装置、および前記周辺映像または警報画面をディスプレイする表示装置を含む。
【発明の効果】
【0017】
以上のように本発明によれば、走行中の車両周辺の死角地帯をなくし、複数のカメラにより撮像される重複領域を自然に表示されるように補正処理することによって、車線離脱の有無をより正確に感知することができる。また、走行中の運転者は走行中にサイドミラーやバックミラーに大きく依存することもなく車両周辺の状況と車線離脱情報を正確且つ迅速に認識することができ、飲酒運転や居眠り運転による事故を未然に防止することができる。
【図面の簡単な説明】
【0018】
【図1】本発明の実施例による車両に設置されたカメラを説明するための図面である。
【図2】本発明の実施例による車両に設置されたカメラを説明するための図面である。
【図3】本発明の実施例による車両に設置されたカメラを説明するための図面である。
【図4】本発明の実施例による車両に設置されたカメラを説明するための図面である。
【図5】本発明の実施例による車両周辺映像を用いた車線感知システムの構成を示した図面である。
【図6】本発明の実施例による周辺映像生成方法を示したフローチャートである。
【図7】本発明の実施例によるマスク映像を説明するための図面である。
【図8】本発明の実施例による重複領域がオーバレイ処理された周辺映像を示した例示図である。
【図9】本発明の実施例による車線離脱感知方法を示したフローチャートである。
【図10】本発明の実施例による車線離脱感知方法を説明するための車両周辺映像である。
【図11】本発明の実施例による車線離脱感知方法を説明するための車両周辺映像である。
【図12】本発明の実施例による車線離脱感知方法を説明するための車両周辺映像である。
【発明を実施するための形態】
【0019】
以下、添付図面を参照して本発明の実施例について本発明が属する技術分野で通常の知識を有する者が容易に実施することができるように詳しく説明する。
【0020】
本発明の実施例による車両周辺映像を用いた車線感知システムについて説明するに先立ち、車両に設置されるカメラについて説明する。
【0021】
図1乃至図4は、本発明の実施例による車両に設置されたカメラを説明するための図面である。本発明の実施例によれば、車両に設置された3次元空間上の4台のカメラ110、120、130、140を通じて撮像された映像を補正処理することによって、車両の360°周辺を運転者が確認することができるようにする。図1に示したように、車両の前方、後方、左側、右側にはそれぞれカメラ110、120、130、140が設置されており、車両の死角地帯を最小化するためにカメラは少なくとも180°以上の広角が必要である。また、車両周辺映像の品質を向上するためには、2台のカメラの重複する視野角の領域が少なくとも1000×1000mm2を維持するようにカメラの設置高さを設定するようにする。カメラの設置高さが高いほど良好な映像品質を確保することができる。このように各カメラが車両の死角地帯を解消することができる位置の選定と合成された周辺映像の画質低下を最小化することができる設置位置と視野角の設定が重要である。
【0022】
図2乃至図4を通じて車両(図1乃至図4ではセダン型自動車を例に挙げる)に4台のカメラが設置される位置をより詳しく説明する。図2に示したように、前方カメラ110は車両のボンネット中心に設置され、左側カメラ130と右側カメラ140はそれぞれ車両の両サイドミラーの外側または下側に位置するように設置される。また、図3に示したように、後方カメラ120は後方バンパーの上側の中央に設置される。ここで、前方カメラ110と後方カメラ120は地面方向の垂直線を基準に170°以上が撮像され得るように設置する。
【0023】
そして、図4に示したように、前方カメラ110の高さと後方カメラ120の高さは同一に維持するのが好ましく、同様に左側カメラ130と右側カメラ140の高さも同一に維持するのが好ましい。なぜなら、カメラの高さと角度(PAN/TILT)に応じて出力される映像のスケールおよび画質が異なるため、周辺映像合成時に重複領域で車線幅の広さが同一に表現されず、周辺事物の大きさが異質的に示される現象を最小化させるためである。また、左側カメラ130と右側カメラ140は地面方向の垂直線を基準に170°以上が撮像され得るように設置する。ここで、各カメラの設置位置は車種に応じて異なり、車両のデザインに応じて制約が発生することもある。
【0024】
一般に広角カメラはレンズ周辺部の光量が不足して画質の低下が発生し、レンズの中心部よりも周辺部に歪曲が多く発生する。また、カメラを通じて撮像された映像を視点変換する時、周辺部の映像は画質が大きく低下する。したがって、カメラレンズの中心部領域に形成された映像を使うために前方カメラ110と後方カメラ120の光軸が地平線と平行であり、左側カメラ130と右側カメラ140は地面と垂直になるように設置する。
【0025】
また、図2および図4に示したように、車両の前後方および左右側面から約1.5m離れた範囲まで撮像され得るようにカメラ110、120、130、140の高さを調節し、この時、カメラは地面に対する垂直軸から約30°〜60°程度まで撮像することができるようにする。
【0026】
一方、図1では、説明の便宜上、車両の前方、後方、左側および右側にそれぞれカメラを設置するものと示したが、本発明の実施例では2台以上のカメラを通じても実現が可能である。
【0027】
つまり、カメラは車両の左側および右側方向にそれぞれ1台ずつ設置されるか、または車両の前方および後方にそれぞれ1台ずつ設置されてもよい。また、カメラは車両の前方、左側および右側方向にそれぞれ1台ずつ設置されてもよい。
【0028】
図5は、本発明の実施例による車両周辺映像を用いた車線感知システムの構成を示した図面である。
【0029】
図5に示したように、車線感知システムは、複数のカメラ110、120、130、140、映像生成装置200、車線離脱感知装置300および表示装置400を含むことができる。
【0030】
複数のカメラ110、120、130、140は、それぞれ車両の前後方、左右側に設置され、広角レンズまたは魚眼レンズのように画角が大きいレンズを具備することができ、ピンホールカメラを含む。カメラ110、120、130、140は、170°以上の広い画角を有するレンズを通じて3次元の被写体を2次元の映像D1、D2、D3、D4で撮像し、撮像された映像はそれぞれ4個のチャンネルch1、ch2、ch3、ch4を通じて映像生成装置200に伝達される。
【0031】
映像生成装置200は、映像入力部210、映像処理部230、映像合成部250および制御部270を含む。
【0032】
映像入力部210は、複数のカメラ110、120、130、140を通じて撮影された映像D1、D2、D3、D4をそれぞれのチャンネルch1、ch2、ch3、ch4を通じて受信する。
【0033】
映像処理部230は、映像入力部210から受信された撮像映像D1、D2、D3、D4をルックアップテーブル(Look up Table)を通じて映像処理し、それぞれの撮像映像D1、D2、D3、D4から補正映像E1、E2、E3、E4を生成出力するようにする。ここで、ルックアップテーブルは、歪曲補正アルゴリズム、アフィン(Affine)変換アルゴリズム、視点変換アルゴリズムを適用して生成され得る。
【0034】
映像合成部250は、映像処理部230を通じて補正された補正映像E1、E2、E3、E4を受信し、受信された補正映像E1、E2、E3、E4を重ねるようにするオーバレイ(overlay)方式で合成処理する。ここで、映像合成部250は、マスク映像を用いてオーバレイ合成処理を行うが、マスク映像は、各チャンネルch1、ch2、ch3、ch4別領域情報と補正映像を構成するピクセルに対する加重値(weight)情報を有する。
【0035】
制御部270は、補正映像E1、E2、E3、E4の間に重複する領域に含まれるピクセルの加重値を調節して重複領域が自然に表示されるようにする。
【0036】
このように映像合成部250は、4個の補正映像E1、E2、E3、E4をオーバレイ方式で合成処理して車両の周辺360°を一目で見ることができる周辺映像を生成する。
【0037】
車線離脱感知装置300は、映像受信部310、車線認識部330、離脱判断部350および警報発生部370を含む。
【0038】
まず、映像受信部310は、映像生成装置200から生成された車両周辺の合成映像を受信する。受信される映像には走行中の車両のみならず、車両周辺の車線および障害物が表示される。
【0039】
車線認識部330は、車両周辺映像から車両の両側に位置する車線を認識し、車両の左右車線に対応する仮想車線を抽出する。
【0040】
離脱判断部350は、車両進行を示す仮想線と車線との間の距離および角度などを算出することによって、現在走行中の車両の車線離脱情報を生成する。
【0041】
警報発生部370は、車両が車線を離脱したと感知される場合、表示装置400に車線離脱情報を伝達したり、警告音またはハンドル振動を発生する機能を担当する。
【0042】
表示装置400は、映像生成装置200から生成された周辺映像をディスプレイすることができる装置であって、車線離脱感知装置300から車線離脱情報を受信する場合には、画面を警報モード画面に転換させるようにする。例えば、ディスプレイされる画面が点滅するようにしたり警報を表示する赤色に画面が転換されるようにする。表示装置400は、自動車内に設置された別途のディスプレイやナビゲーションを通じて具現されてもよく、映像生成装置200または車線離脱感知装置300内に含まれてもよい。
【0043】
図5では、説明の便宜上、映像生成装置200と車線離脱感知装置300をそれぞれの機能を担当する装置に分けて示したが、映像生成装置200に含まれる各構成要素は車線離脱感知装置300に含まれて車両周辺映像を用いた車線離脱感知装置に一体化して具現されてもよい。
【0044】
以下、図6乃至図8を通じて映像生成装置200が自動車の周辺映像を生成する方法について説明する。図6は、本発明の実施例による周辺映像生成方法を示したフローチャートである。
【0045】
まず、映像生成装置200は、カメラ110、120、130、140を通じて撮影された映像D1、D2、D3、D4を4個のチャンネルch1、ch2、ch3、ch4を通じてそれぞれ受信する(S310)。図1乃至図4を通じて説明したように、カメラ110、120、130、140の設置位置および高さに応じて撮像映像D1、D2、D3、D4の構図は変動するようになる。
【0046】
次に、映像生成装置200は、受信された撮像映像D1、D2、D3、D4をルックアップテーブルを通じて補正処理し(S320)、オーバレイ処理に適した補正映像E1、E2、E3、E4を生成する。ルックアップテーブルは、歪曲補正アルゴリズム、アフィン(Affine)変換アルゴリズム、視点変換アルゴリズムを適用したものであって、以下でそれぞれのアルゴリズムについて説明する。
【0047】
まず、歪曲補正アルゴリズムは、カメラレンズにより発生する幾何学的歪曲を補正するためのアルゴリズムである。実際広角レンズまたは魚眼レンズは完全な球形ではなく焦点距離が短いため、レンズの幾何学的歪曲、例えば、放射状歪曲や接線方向歪曲が発生することがある。このようなレンズの歪曲によって、撮影された映像中で直線は曲線に変形して現れることがある。つまり、レンズの歪曲を示す歪曲定数(k)が0よりも小さいピンクッション歪曲(pincushion distortion)が発生したりレンズ歪曲定数(k)が0よりも大きいバレル歪曲(barrel distortion)が発生することがある。
【0048】
したがって、歪曲補正アルゴリズムを通じてレンズの幾何学的歪曲映像を補正することができる。ここで、歪曲補正アルゴリズムは、補正パラメターと歪曲定数に関する関数で示すことができる。補正パラメターはカメラに装着されたレンズの焦点距離と光学中心座標を含むことができ、歪曲定数は放射状歪曲定数と接線方向歪曲定数を含むことができる。
【0049】
本発明の実施例によれば、下記の数1の式のような歪曲補正アルゴリズムを適用することができる。
【0050】
【数1】
【0051】
ここで、x’、y’は、映像平面上の補正指標イメージの座標を意味し、u、vは、3次元空間座標が投影されたレンズ平面上の座標を意味し、fxとfyは、レンズの焦点距離を意味し、cxとcyは、レンズの光学中心点座標を意味する。k1とk2は、放射状歪曲定数を意味し、p1とp2は、接線方向歪曲定数を意味し、r2=x’2+y’2を意味する。ここで、補正指標イメージは格子形に構成することもでき、レンズの幾何学的歪曲を補正するために使用されるイメージである。
【0052】
アフィン変換は2次元空間が1次式で示される点対応を意味し、回転(R)、移動(T)、スケール(S)変換を経る。一般にアフィン変換は次の数2の式のように表され得る。
【0053】
【数2】
【0054】
ここで、Wは、アフィン演算されて出力される2次元カラー映像データ、Aは、2次元カラー映像データの線形拡大および縮小、回転などを具現するための第1変換係数、Dは、入力されるフレーム単位の2次元カラー映像データ、Bは、入力される2次元カラー映像データ(D)の線形移動を具現するための第2変換係数をそれぞれ表す。
【0055】
視点変換アルゴリズムは、4個のチャンネルを通じて入力される撮像映像D1、D2、D3、D4をトップビュー視点に変換するようにする。つまり、入力映像D1、D2、D3、D4を上方から見下ろす映像に視点変換するようにする。
【0056】
そして、映像生成装置200は、マスク映像に貯蔵されたチャンネルch1、ch2、ch3、ch4別領域情報とピクセルに対する加重値(weight)情報を用いて補正映像E1、E2、E3、E4に対してオーバレイ処理を行う(S330)。ここで、映像生成装置200は、複数の補正映像の間に重複する領域に対してもマスク映像を用いてオーバレイ処理を行って最終的な車両の周辺映像を生成する(S340)。
【0057】
図7は、本発明の実施例によるマスク映像を説明するための図面である。
【0058】
本発明の実施例によれば、4個の補正映像E1、E2、E3、E4を一つの映像としてオーバレイ合成するためにマスク映像を用いる。
【0059】
マスク映像は、各チャンネルch1、ch2、ch3、ch4別の領域情報とそれぞれの領域に対応するピクセル値の情報を有し、図7に示したように9個の領域に区分される。図7に示したように、マスク映像は、チャンネルch1を通じて入力される前方カメラ110で撮像された映像は1、2、3領域にオーバレイされるように設定し、チャンネルch2を通じて入力される後方カメラ120で撮像された映像は7、8、9領域にオーバレイされるように設定する。また、マスク映像は、チャンネルch3を通じて入力される左側カメラ130で撮像された映像は1、4、7領域にオーバレイされるように設定し、チャンネルch4を通じて入力される右側カメラ140で撮像された映像は3、6、9領域にオーバレイされるように設定する。ここで、第1、3、7、9領域は複数のカメラにより重複撮影された重複領域である。つまり、第1領域は前方カメラ110と左側カメラ130により重複して撮影された重複領域であり、第3領域は前方カメラ110と右側カメラ140により重複して撮影された重複領域である。また、第7領域は後方カメラ120と左側カメラ130により重複して撮影された重複領域であり、第9領域は後方カメラ120と右側カメラ140により重複して撮影された重複領域である。
【0060】
制御部270は、重複撮影されない領域である第2、4、6、8領域に対応する映像をデスティネーション(destination)映像に該当する周辺映像の同一の領域に移動させる。そして、制御部270は、複数のカメラで重複撮影された重複領域である第1、3、7、9領域に対してマスク映像を用いたオーバレイ処理を行う。
【0061】
マスク映像は、色相の区分のために第2、4、6、8領域のそれぞれに対して色相の変化がない単色で表示されるようにする。また、車両の区別のために車両に該当する第5領域はR、G、Bピクセル値が調節可能であるように設定する。
【0062】
そして、マスク映像は、第1、3、7、9領域に含まれるそれぞれのピクセルが1から254の間の範囲のRピクセル値を有するように設定する。特にマスク映像は自然な色マッチングのために、図7に示したように第1、3、7、9領域に含まれる各ピクセルのRピクセル値を1から254の間でグラディエント加重値(Gradient weight)値に設定されるようにする。第1領域を例に挙げれば、第2領域に接する部分のピクセルのRピクセル値を1に設定し、第4領域に近いところに位置したピクセルであるほどRピクセル値を増加させ、第4領域に接する部分のピクセルのRピクセル値は254になるように設定する。
【0063】
同様に、図7に示したように第3領域では、第2領域に接する部分のピクセルのRピクセル値を1に設定し、第6領域に接する部分のピクセルのRピクセル値は254になるように設定する。また、第7領域では、第8領域に接する部分のピクセルのRピクセル値を1に設定し、第4領域に接する部分のピクセルのRピクセル値は254になるように設定する。そして、第9領域では、第8領域に接する部分のピクセルのRピクセル値を1に設定し、第6領域に接する部分のピクセルのRピクセル値は254になるように設定する。
【0064】
ここで、隣接したチャンネル間映像の重複する領域である第1、3、7、9領域は、各カメラの明るさまたは明度差により異質的に区分されて見えるため、制御部270は第1、3、7、9領域に含まれる各ピクセルに対して次の数3の式を適用してオーバレイ(overay)演算を行うことができる。
【0065】
【数3】
【0066】
数3の式中、I1(t)とI2(t)は、それぞれ二つのチャンネルを通じて入力される重複領域に対する映像情報を表し、αは、重複領域に含まれるピクセルに対する加重値を表し、I’(t+1)は、オーバレイ処理された映像情報を表す。
【0067】
特に、I1(t)は、前方に設置されたカメラ110または後方に設置されたカメラ120で撮像されてch1チャンネルまたはch2チャンネルを通じて入力される重複領域に対する映像情報を表し、I2(t)は、左側に設置されたカメラ130または右側に設置されたカメラ140で撮像されてch3チャンネルまたはch4チャンネルを通じて入力される重複領域に対する映像情報を表す。
【0068】
また、αは、重複領域に含まれるRピクセルに対する加重値であって、例えば、第1領域と第2領域が接する部分の場合には、αは0に近い値(1/255)になり、第1領域と第4領域が接する部分の場合には、αは1に近い値(254/255)になる。
【0069】
このように映像生成装置200は、補正映像E1、E2、E3、E4の間に発生した重複領域に対してマスク映像を通じてオーバレイ処理することによって、重複領域が自然に表示された周辺映像を生成することができる。
【0070】
図8は、本発明の実施例による重複領域がオーバレイ処理された周辺映像を示した例示図である。
【0071】
図8に示されているように、映像生成装置200は、カメラ110、120、130、140を通じて撮影された映像D1、D2、D3、D4を4個のチャンネルch1、ch2、ch3、ch4を通じてそれぞれ受信した後、マスク映像を用いて重複領域に対してオーバレイ処理を行うことによって、重複領域が自然に表示されて合成された周辺映像Eを生成することができる。
【0072】
このような方式で映像生成装置200が生成した自動車の周辺映像を用いて車線離脱感知装置300は、走行中の車両が車線を離脱しているかを判断することができるところ、以下で図9乃至図12を通じて車線離脱感知装置300が自動車の周辺映像を生成する方法について説明する。図9は、本発明の実施例による車線離脱感知方法を示したフローチャートであり、図10乃至図12は、本発明の実施例による車線離脱感知方法を説明するための車両周辺映像である。
【0073】
まず、車線離脱感知装置300が映像生成装置200から合成された車両周辺の映像を受信する(S610)。ここで走行中の車両の走行映像は、図10および図11に示したようにトップビュー形態に表示される。図10に示したように、車両710が道路上を走行している映像が現れ、走行中の車両710の両側には左右車線720、730がそれぞれ表示される。
【0074】
車線離脱感知装置300は、映像生成装置200から受信された車両周辺の合成映像から車線を抽出する(S620)。ここで、合成映像から車線を抽出する方法は、ハフ変換(hough transform)を用いることができる。ハフ変換は、2次元映像座標で特定の点などを用いて直線を検出するアルゴリズムである。したがって、車線離脱感知装置300は、図10に示した車線と画面の上端との交差点(a)と車線と画面の下端との交差点(b)の仮想座標を用いて左側車線を抽出する。同様に、車線と画面の上端との交差点(c)と車線と画面の下端との交差点(d)の仮想座標を用いて左側車線を抽出する。
【0075】
したがって、車線離脱感知装置300は、図10に示したように車両710が走行している道路の左右車線720、730に対応する左側仮想車線725および右側仮想車線735を抽出して合成映像に表示する。また、車線離脱感知装置300は、車両710の進行方向を示す仮想の進行方向線を車両の左右側にそれぞれ表示する(図面符号745、755)。つまり、車両の左側前輪と後輪を連結して仮想的な延長線である左側進行方向線745を生成して表示し、車両710の右側前輪と後輪を連結して仮想的な延長線である右側進行方向線755を生成して表示する。
【0076】
車線離脱感知装置300は、左右側仮想車線725、735と車両の左右側との間の距離e1、e2を測定し、左右側仮想車線725、735と左右側進行方向線745、755とがなす交差角度を測定する(S630)。つまり、車線離脱感知装置300は、車両の左側進行方向線745と左側仮想車線725との間の距離e1を測定し、左側進行方向線745と左側仮想車線725とが交差する地点での交差角度を測定する。同様に、車線離脱感知装置300は、車両の右側進行方向線755と右側仮想車線735との間の距離e2を測定し、右側進行方向線755と右側仮想車線735とが交差する地点での交差角度を測定する。
【0077】
そして、左右側仮想車線725、735と車両の左右側との間の距離e1、e2または左右側仮想車線725、735と左右側進行方向線745、755とがなす角度が基準範囲に含まれるか判断する(S640)。ここで、基準範囲は、運転者が発生した警報を認知して車線離脱方向に進行中である車両を正常方向に変更するのに所要される十分な時間を考慮して設定するようにする。
【0078】
図11および図12は、車線を離脱した車両の周辺映像を示した例示図である。図11に示したように、算出された左側仮想車線725と左側進行方向線745とがなす角度(θ)が基準角度よりも大きい場合には、車線離脱感知装置300は走行中の車両が車線を離脱したと判断する。
【0079】
一方、車両が車線に平行に走行する場合には、左右側仮想車線725、735と左右側進行方向線745、755とが交差する点が生じない。しかし、図12に示したように、左側進行方向線745と車両の左側仮想車線725との間の距離e1が基準距離よりも広かったり、右側進行方向線755と車両の右側仮想車線735との間の距離e2が基準距離よりも狭い場合には、車線離脱感知装置300は走行中の車両が車線を離脱していると判断する。また、左右側仮想車線725、735と左右側進行方向線745、755との間の距離e1、e2が漸次に減少していたり、漸次に増加する場合にも、車線離脱感知装置300は走行中の車両が車線を離脱していると判断する。
【0080】
車線離脱感知装置300は、走行中の車両が車線を離脱したと判断すると車線離脱警報信号を発生する(S650)。車両が車線を離脱したと感知される場合、車線離脱感知装置300は、表示装置400に車線離脱情報を伝達したり警告音またはハンドル振動を発生する機能を行う。車線離脱情報を受信した表示装置400は、ディスプレイされる画面が点滅するように設定したり警報を表示する赤色に画面が転換されるようにする。
【0081】
また、車線離脱感知装置300は、車両が車線を離脱すると直ちに警報信号を発生することもできるが、車両が車線を離脱する時間が一定期間以上である場合にのみ警報信号を発生するようにすることもできる。
【0082】
一方、本発明の実施例による車線離脱感知装置300は、単なる車両の車線離脱感知のみ行うのではなく、車両の前方にある物体、例えば、車両前方の車両、歩行者、各種障害物も感知することができる。つまり、トップビュー形態の車両周辺映像から前方物体の座標を抽出し、現在走行中の車両との距離の変化を感知する。したがって、車両と前方物体との距離が持続的に減る場合にも警報音を発生する。
【0083】
以上で本発明の好ましい実施例について詳しくは説明したが、本発明の権利範囲はこれに限定されるのではなく、特許請求の範囲で定義している本発明の基本概念を用いる当業者の多様な変形および改良形態も本発明の権利範囲に属する。
【産業上の利用可能性】
【0084】
以上のように本発明によれば、走行中の車両周辺の死角地帯をなくし、複数のカメラにより撮像される重複領域を自然に表示されるように補正処理することによって、車線離脱の有無をより正確に感知することができる。また、走行中の運転者は走行中にサイドミラーやバックミラーに大きく依存することもなく車両周辺の状況と車線離脱情報を正確且つ迅速に認識することができ、飲酒運転や居眠り運転による事故を未然に防止することができる。
【符号の説明】
【0085】
110、120、130、140…カメラ
200…映像生成装置
210…映像入力部
230…映像処理部
250…映像合成部
270…制御部
300…車線離脱感知装置
310…映像受信部
330…車線認識部
350…離脱判断部
370…警報発生部
400…表示装置
ch1、ch2、ch3、ch4…チャンネル
D1、D2、D3、D4…撮像映像
E1、E2、E3、E4…補正映像
【技術分野】
【0001】
本発明は、周辺映像生成方法および装置に関し、より詳しくは、車両の前方、後方、左側および右側に設置されたカメラを通じて撮像された映像を合成して車両の離脱有無を判断する車線離脱感知方法および装置に関する。
【背景技術】
【0002】
最近、自動車産業の発達に伴って1世帯に1台保有の時代という程度に自動車の普及は商用化されており、高速道路および道路運送網の拡充に伴って長距離を運転する運転者が大きく増加した。これによって、長距離運送が多いトラック運転者と長距離通勤者などは長時間運転による疲労、不注意、居眠り運転による車線離脱事故の危険に露出されている。
【0003】
一般に先端安全車両(Advanced Safety Vehicle、以下、「ASV」という)は、車両の安全度の向上のために先端電子技術と制御技術を適用した先端車両として、交通事故を減少させて交通量を増加させ、エネルギーを節約し、運転者の便宜を図るようになる。
【0004】
ASVは、車間距離を自動的に制御する定速走行装置(Adaptive Cruise Control、以下、「ACC」という)、車線離脱をモニターして警告する車線離脱警報システム(Lane Departure Warning System、以下、「LDWS」という)などを含む。
【0005】
特に、LDWSは、車両に付着されたカメラから前方道路の映像を感知して現在走行している車線を把握した後、運転者が不注意や居眠り運転などにより車線を離脱しようとすると警報音が鳴るようにする安全システムである。LDWSは、カメラを通じて撮像されたイメージに基づいて側面位置と側面速度、ステアリングアングル、車線幅、道路の屈曲などを総合的に分析し、分析結果、車線離脱が感知されると運転者に知らせるようにする。
【0006】
従来技術によれば、車両の両側サイドミラーに装着されたカメラにより撮像される後側方の左右映像から車線を抽出し、抽出された左右車線と車体の方向線とがなす角度などを計算して車線離脱の有無を検出した。他の従来技術によれば、車両の前方に装着されたカメラにより撮像される前方の映像と道路の映像から車線を認識し、認識された車線の傾け変化を抽出して車線離脱の有無を判断した。
【0007】
しかし、従来技術によれば、車両の左右側映像を単に組み合わせて表示することによって、映像間のオーバレイ処理が自然に行われず、現在車両の進行位置や経路離脱程度を正確に判断することができないという問題点があり、特に、車両の前方映像のみでは現在車両の離脱程度を正確に判断し難く、運転者が便利に走行状況を確認し難いという問題点がある。
【発明の概要】
【発明が解決しようとする課題】
【0008】
したがって、本発明が解決しようとする技術的課題は、車両に付着されたカメラから撮像された映像を最大限自然な映像に合成することによって、車線離脱を正確に感知し、運転者が便利に車線離脱の有無を認識することができるようにする車両周辺映像を用いた車線離脱感知方法および装置を提供することにある。
【課題を解決するための手段】
【0009】
このような技術的課題を解決するための本発明の一実施例による車両周辺映像を用いた車線離脱感知方法は、走行中の車両に設置された複数のカメラを通じて撮像された映像を前記カメラに連結されるそれぞれのチャンネルを通じて入力を受ける段階、前記撮像映像をトップビュー形態に補正処理して複数の補正映像を生成する段階、前記複数の補正映像を合成して前記車両の周辺映像を生成する段階、前記車両の周辺映像から車線を抽出し、前記車両と前記抽出された車線との距離情報、または前記車両の進行方向と前記抽出された車線とがなす角度情報を算出して車線離脱を判断する段階、および前記車線離脱と判断される場合には警報を発生する段階を含む。
【0010】
前記車両の周辺映像を生成する段階は、前記各チャンネル別領域情報と各領域を構成するピクセルに対する加重値情報を含むマスク映像を用いて前記複数の補正映像をオーバレイ処理して前記車両の周辺映像を生成することができる。
【0011】
前記カメラは、前記車両の左側および右側方向にそれぞれ1台ずつ設置されるか、または前記車両の前方および後方にそれぞれ1台ずつ設置されてもよい。
【0012】
前記カメラは、前記車両の前方、左側および右側方向にそれぞれ1台ずつ設置されてもよい。
【0013】
前記カメラは、前記車両の前方、後方、左側および右側方向にそれぞれ1台ずつ設置されてもよい。
【0014】
前記車線離脱を判断する段階は、前記車両の進行方向を示す進行方向線を前記車両の周辺に表示する段階、前記進行方向線と前記抽出された車線との距離を測定し、前記進行方向線と前記抽出された車線との交差角度を測定して前記距離情報または前記角度情報を生成する段階、および前記距離情報または前記角度情報が基準範囲を逸脱する場合には車線を離脱したと判断する段階を含む。
【0015】
本発明の他の実施例による車両周辺映像を用いた車線離脱感知装置は、走行中の車両に設置された複数のカメラを通じて撮像された映像を前記カメラに連結されるそれぞれのチャンネルを通じて入力を受ける映像入力部、前記撮像映像をトップビュー形態に補正処理して複数の補正映像を生成する映像処理部、前記複数の補正映像を合成して前記車両の周辺映像を生成する映像合成部、および前記車両の周辺映像から車線を抽出し、前記車両と前記抽出された車線との距離情報、または前記車両の進行方向と前記抽出された車線とがなす角度情報を算出し、算出された前記距離情報または前記角度情報から車線離脱を判断する車線離脱感知部を含む。
【0016】
本発明の他の実施例による車両周辺映像を用いた車線離脱感知システムは、走行中の車両に設置されて撮像された映像をそれぞれのチャンネルを通じて出力する複数のカメラ、入力された前記撮像映像をトップビュー形態に補正処理して複数の補正映像を生成し、前記複数の補正映像を合成して前記車両の周辺映像を生成する映像生成装置、前記車両の周辺映像から車線を抽出し、前記車両と前記抽出された車線との距離情報、または前記車両の進行方向と前記抽出された車線とがなす角度情報を算出して前記距離情報または前記角度情報から車線離脱を判断し、前記車線離脱と判断される場合には警報を発生する車線離脱感知装置、および前記周辺映像または警報画面をディスプレイする表示装置を含む。
【発明の効果】
【0017】
以上のように本発明によれば、走行中の車両周辺の死角地帯をなくし、複数のカメラにより撮像される重複領域を自然に表示されるように補正処理することによって、車線離脱の有無をより正確に感知することができる。また、走行中の運転者は走行中にサイドミラーやバックミラーに大きく依存することもなく車両周辺の状況と車線離脱情報を正確且つ迅速に認識することができ、飲酒運転や居眠り運転による事故を未然に防止することができる。
【図面の簡単な説明】
【0018】
【図1】本発明の実施例による車両に設置されたカメラを説明するための図面である。
【図2】本発明の実施例による車両に設置されたカメラを説明するための図面である。
【図3】本発明の実施例による車両に設置されたカメラを説明するための図面である。
【図4】本発明の実施例による車両に設置されたカメラを説明するための図面である。
【図5】本発明の実施例による車両周辺映像を用いた車線感知システムの構成を示した図面である。
【図6】本発明の実施例による周辺映像生成方法を示したフローチャートである。
【図7】本発明の実施例によるマスク映像を説明するための図面である。
【図8】本発明の実施例による重複領域がオーバレイ処理された周辺映像を示した例示図である。
【図9】本発明の実施例による車線離脱感知方法を示したフローチャートである。
【図10】本発明の実施例による車線離脱感知方法を説明するための車両周辺映像である。
【図11】本発明の実施例による車線離脱感知方法を説明するための車両周辺映像である。
【図12】本発明の実施例による車線離脱感知方法を説明するための車両周辺映像である。
【発明を実施するための形態】
【0019】
以下、添付図面を参照して本発明の実施例について本発明が属する技術分野で通常の知識を有する者が容易に実施することができるように詳しく説明する。
【0020】
本発明の実施例による車両周辺映像を用いた車線感知システムについて説明するに先立ち、車両に設置されるカメラについて説明する。
【0021】
図1乃至図4は、本発明の実施例による車両に設置されたカメラを説明するための図面である。本発明の実施例によれば、車両に設置された3次元空間上の4台のカメラ110、120、130、140を通じて撮像された映像を補正処理することによって、車両の360°周辺を運転者が確認することができるようにする。図1に示したように、車両の前方、後方、左側、右側にはそれぞれカメラ110、120、130、140が設置されており、車両の死角地帯を最小化するためにカメラは少なくとも180°以上の広角が必要である。また、車両周辺映像の品質を向上するためには、2台のカメラの重複する視野角の領域が少なくとも1000×1000mm2を維持するようにカメラの設置高さを設定するようにする。カメラの設置高さが高いほど良好な映像品質を確保することができる。このように各カメラが車両の死角地帯を解消することができる位置の選定と合成された周辺映像の画質低下を最小化することができる設置位置と視野角の設定が重要である。
【0022】
図2乃至図4を通じて車両(図1乃至図4ではセダン型自動車を例に挙げる)に4台のカメラが設置される位置をより詳しく説明する。図2に示したように、前方カメラ110は車両のボンネット中心に設置され、左側カメラ130と右側カメラ140はそれぞれ車両の両サイドミラーの外側または下側に位置するように設置される。また、図3に示したように、後方カメラ120は後方バンパーの上側の中央に設置される。ここで、前方カメラ110と後方カメラ120は地面方向の垂直線を基準に170°以上が撮像され得るように設置する。
【0023】
そして、図4に示したように、前方カメラ110の高さと後方カメラ120の高さは同一に維持するのが好ましく、同様に左側カメラ130と右側カメラ140の高さも同一に維持するのが好ましい。なぜなら、カメラの高さと角度(PAN/TILT)に応じて出力される映像のスケールおよび画質が異なるため、周辺映像合成時に重複領域で車線幅の広さが同一に表現されず、周辺事物の大きさが異質的に示される現象を最小化させるためである。また、左側カメラ130と右側カメラ140は地面方向の垂直線を基準に170°以上が撮像され得るように設置する。ここで、各カメラの設置位置は車種に応じて異なり、車両のデザインに応じて制約が発生することもある。
【0024】
一般に広角カメラはレンズ周辺部の光量が不足して画質の低下が発生し、レンズの中心部よりも周辺部に歪曲が多く発生する。また、カメラを通じて撮像された映像を視点変換する時、周辺部の映像は画質が大きく低下する。したがって、カメラレンズの中心部領域に形成された映像を使うために前方カメラ110と後方カメラ120の光軸が地平線と平行であり、左側カメラ130と右側カメラ140は地面と垂直になるように設置する。
【0025】
また、図2および図4に示したように、車両の前後方および左右側面から約1.5m離れた範囲まで撮像され得るようにカメラ110、120、130、140の高さを調節し、この時、カメラは地面に対する垂直軸から約30°〜60°程度まで撮像することができるようにする。
【0026】
一方、図1では、説明の便宜上、車両の前方、後方、左側および右側にそれぞれカメラを設置するものと示したが、本発明の実施例では2台以上のカメラを通じても実現が可能である。
【0027】
つまり、カメラは車両の左側および右側方向にそれぞれ1台ずつ設置されるか、または車両の前方および後方にそれぞれ1台ずつ設置されてもよい。また、カメラは車両の前方、左側および右側方向にそれぞれ1台ずつ設置されてもよい。
【0028】
図5は、本発明の実施例による車両周辺映像を用いた車線感知システムの構成を示した図面である。
【0029】
図5に示したように、車線感知システムは、複数のカメラ110、120、130、140、映像生成装置200、車線離脱感知装置300および表示装置400を含むことができる。
【0030】
複数のカメラ110、120、130、140は、それぞれ車両の前後方、左右側に設置され、広角レンズまたは魚眼レンズのように画角が大きいレンズを具備することができ、ピンホールカメラを含む。カメラ110、120、130、140は、170°以上の広い画角を有するレンズを通じて3次元の被写体を2次元の映像D1、D2、D3、D4で撮像し、撮像された映像はそれぞれ4個のチャンネルch1、ch2、ch3、ch4を通じて映像生成装置200に伝達される。
【0031】
映像生成装置200は、映像入力部210、映像処理部230、映像合成部250および制御部270を含む。
【0032】
映像入力部210は、複数のカメラ110、120、130、140を通じて撮影された映像D1、D2、D3、D4をそれぞれのチャンネルch1、ch2、ch3、ch4を通じて受信する。
【0033】
映像処理部230は、映像入力部210から受信された撮像映像D1、D2、D3、D4をルックアップテーブル(Look up Table)を通じて映像処理し、それぞれの撮像映像D1、D2、D3、D4から補正映像E1、E2、E3、E4を生成出力するようにする。ここで、ルックアップテーブルは、歪曲補正アルゴリズム、アフィン(Affine)変換アルゴリズム、視点変換アルゴリズムを適用して生成され得る。
【0034】
映像合成部250は、映像処理部230を通じて補正された補正映像E1、E2、E3、E4を受信し、受信された補正映像E1、E2、E3、E4を重ねるようにするオーバレイ(overlay)方式で合成処理する。ここで、映像合成部250は、マスク映像を用いてオーバレイ合成処理を行うが、マスク映像は、各チャンネルch1、ch2、ch3、ch4別領域情報と補正映像を構成するピクセルに対する加重値(weight)情報を有する。
【0035】
制御部270は、補正映像E1、E2、E3、E4の間に重複する領域に含まれるピクセルの加重値を調節して重複領域が自然に表示されるようにする。
【0036】
このように映像合成部250は、4個の補正映像E1、E2、E3、E4をオーバレイ方式で合成処理して車両の周辺360°を一目で見ることができる周辺映像を生成する。
【0037】
車線離脱感知装置300は、映像受信部310、車線認識部330、離脱判断部350および警報発生部370を含む。
【0038】
まず、映像受信部310は、映像生成装置200から生成された車両周辺の合成映像を受信する。受信される映像には走行中の車両のみならず、車両周辺の車線および障害物が表示される。
【0039】
車線認識部330は、車両周辺映像から車両の両側に位置する車線を認識し、車両の左右車線に対応する仮想車線を抽出する。
【0040】
離脱判断部350は、車両進行を示す仮想線と車線との間の距離および角度などを算出することによって、現在走行中の車両の車線離脱情報を生成する。
【0041】
警報発生部370は、車両が車線を離脱したと感知される場合、表示装置400に車線離脱情報を伝達したり、警告音またはハンドル振動を発生する機能を担当する。
【0042】
表示装置400は、映像生成装置200から生成された周辺映像をディスプレイすることができる装置であって、車線離脱感知装置300から車線離脱情報を受信する場合には、画面を警報モード画面に転換させるようにする。例えば、ディスプレイされる画面が点滅するようにしたり警報を表示する赤色に画面が転換されるようにする。表示装置400は、自動車内に設置された別途のディスプレイやナビゲーションを通じて具現されてもよく、映像生成装置200または車線離脱感知装置300内に含まれてもよい。
【0043】
図5では、説明の便宜上、映像生成装置200と車線離脱感知装置300をそれぞれの機能を担当する装置に分けて示したが、映像生成装置200に含まれる各構成要素は車線離脱感知装置300に含まれて車両周辺映像を用いた車線離脱感知装置に一体化して具現されてもよい。
【0044】
以下、図6乃至図8を通じて映像生成装置200が自動車の周辺映像を生成する方法について説明する。図6は、本発明の実施例による周辺映像生成方法を示したフローチャートである。
【0045】
まず、映像生成装置200は、カメラ110、120、130、140を通じて撮影された映像D1、D2、D3、D4を4個のチャンネルch1、ch2、ch3、ch4を通じてそれぞれ受信する(S310)。図1乃至図4を通じて説明したように、カメラ110、120、130、140の設置位置および高さに応じて撮像映像D1、D2、D3、D4の構図は変動するようになる。
【0046】
次に、映像生成装置200は、受信された撮像映像D1、D2、D3、D4をルックアップテーブルを通じて補正処理し(S320)、オーバレイ処理に適した補正映像E1、E2、E3、E4を生成する。ルックアップテーブルは、歪曲補正アルゴリズム、アフィン(Affine)変換アルゴリズム、視点変換アルゴリズムを適用したものであって、以下でそれぞれのアルゴリズムについて説明する。
【0047】
まず、歪曲補正アルゴリズムは、カメラレンズにより発生する幾何学的歪曲を補正するためのアルゴリズムである。実際広角レンズまたは魚眼レンズは完全な球形ではなく焦点距離が短いため、レンズの幾何学的歪曲、例えば、放射状歪曲や接線方向歪曲が発生することがある。このようなレンズの歪曲によって、撮影された映像中で直線は曲線に変形して現れることがある。つまり、レンズの歪曲を示す歪曲定数(k)が0よりも小さいピンクッション歪曲(pincushion distortion)が発生したりレンズ歪曲定数(k)が0よりも大きいバレル歪曲(barrel distortion)が発生することがある。
【0048】
したがって、歪曲補正アルゴリズムを通じてレンズの幾何学的歪曲映像を補正することができる。ここで、歪曲補正アルゴリズムは、補正パラメターと歪曲定数に関する関数で示すことができる。補正パラメターはカメラに装着されたレンズの焦点距離と光学中心座標を含むことができ、歪曲定数は放射状歪曲定数と接線方向歪曲定数を含むことができる。
【0049】
本発明の実施例によれば、下記の数1の式のような歪曲補正アルゴリズムを適用することができる。
【0050】
【数1】
【0051】
ここで、x’、y’は、映像平面上の補正指標イメージの座標を意味し、u、vは、3次元空間座標が投影されたレンズ平面上の座標を意味し、fxとfyは、レンズの焦点距離を意味し、cxとcyは、レンズの光学中心点座標を意味する。k1とk2は、放射状歪曲定数を意味し、p1とp2は、接線方向歪曲定数を意味し、r2=x’2+y’2を意味する。ここで、補正指標イメージは格子形に構成することもでき、レンズの幾何学的歪曲を補正するために使用されるイメージである。
【0052】
アフィン変換は2次元空間が1次式で示される点対応を意味し、回転(R)、移動(T)、スケール(S)変換を経る。一般にアフィン変換は次の数2の式のように表され得る。
【0053】
【数2】
【0054】
ここで、Wは、アフィン演算されて出力される2次元カラー映像データ、Aは、2次元カラー映像データの線形拡大および縮小、回転などを具現するための第1変換係数、Dは、入力されるフレーム単位の2次元カラー映像データ、Bは、入力される2次元カラー映像データ(D)の線形移動を具現するための第2変換係数をそれぞれ表す。
【0055】
視点変換アルゴリズムは、4個のチャンネルを通じて入力される撮像映像D1、D2、D3、D4をトップビュー視点に変換するようにする。つまり、入力映像D1、D2、D3、D4を上方から見下ろす映像に視点変換するようにする。
【0056】
そして、映像生成装置200は、マスク映像に貯蔵されたチャンネルch1、ch2、ch3、ch4別領域情報とピクセルに対する加重値(weight)情報を用いて補正映像E1、E2、E3、E4に対してオーバレイ処理を行う(S330)。ここで、映像生成装置200は、複数の補正映像の間に重複する領域に対してもマスク映像を用いてオーバレイ処理を行って最終的な車両の周辺映像を生成する(S340)。
【0057】
図7は、本発明の実施例によるマスク映像を説明するための図面である。
【0058】
本発明の実施例によれば、4個の補正映像E1、E2、E3、E4を一つの映像としてオーバレイ合成するためにマスク映像を用いる。
【0059】
マスク映像は、各チャンネルch1、ch2、ch3、ch4別の領域情報とそれぞれの領域に対応するピクセル値の情報を有し、図7に示したように9個の領域に区分される。図7に示したように、マスク映像は、チャンネルch1を通じて入力される前方カメラ110で撮像された映像は1、2、3領域にオーバレイされるように設定し、チャンネルch2を通じて入力される後方カメラ120で撮像された映像は7、8、9領域にオーバレイされるように設定する。また、マスク映像は、チャンネルch3を通じて入力される左側カメラ130で撮像された映像は1、4、7領域にオーバレイされるように設定し、チャンネルch4を通じて入力される右側カメラ140で撮像された映像は3、6、9領域にオーバレイされるように設定する。ここで、第1、3、7、9領域は複数のカメラにより重複撮影された重複領域である。つまり、第1領域は前方カメラ110と左側カメラ130により重複して撮影された重複領域であり、第3領域は前方カメラ110と右側カメラ140により重複して撮影された重複領域である。また、第7領域は後方カメラ120と左側カメラ130により重複して撮影された重複領域であり、第9領域は後方カメラ120と右側カメラ140により重複して撮影された重複領域である。
【0060】
制御部270は、重複撮影されない領域である第2、4、6、8領域に対応する映像をデスティネーション(destination)映像に該当する周辺映像の同一の領域に移動させる。そして、制御部270は、複数のカメラで重複撮影された重複領域である第1、3、7、9領域に対してマスク映像を用いたオーバレイ処理を行う。
【0061】
マスク映像は、色相の区分のために第2、4、6、8領域のそれぞれに対して色相の変化がない単色で表示されるようにする。また、車両の区別のために車両に該当する第5領域はR、G、Bピクセル値が調節可能であるように設定する。
【0062】
そして、マスク映像は、第1、3、7、9領域に含まれるそれぞれのピクセルが1から254の間の範囲のRピクセル値を有するように設定する。特にマスク映像は自然な色マッチングのために、図7に示したように第1、3、7、9領域に含まれる各ピクセルのRピクセル値を1から254の間でグラディエント加重値(Gradient weight)値に設定されるようにする。第1領域を例に挙げれば、第2領域に接する部分のピクセルのRピクセル値を1に設定し、第4領域に近いところに位置したピクセルであるほどRピクセル値を増加させ、第4領域に接する部分のピクセルのRピクセル値は254になるように設定する。
【0063】
同様に、図7に示したように第3領域では、第2領域に接する部分のピクセルのRピクセル値を1に設定し、第6領域に接する部分のピクセルのRピクセル値は254になるように設定する。また、第7領域では、第8領域に接する部分のピクセルのRピクセル値を1に設定し、第4領域に接する部分のピクセルのRピクセル値は254になるように設定する。そして、第9領域では、第8領域に接する部分のピクセルのRピクセル値を1に設定し、第6領域に接する部分のピクセルのRピクセル値は254になるように設定する。
【0064】
ここで、隣接したチャンネル間映像の重複する領域である第1、3、7、9領域は、各カメラの明るさまたは明度差により異質的に区分されて見えるため、制御部270は第1、3、7、9領域に含まれる各ピクセルに対して次の数3の式を適用してオーバレイ(overay)演算を行うことができる。
【0065】
【数3】
【0066】
数3の式中、I1(t)とI2(t)は、それぞれ二つのチャンネルを通じて入力される重複領域に対する映像情報を表し、αは、重複領域に含まれるピクセルに対する加重値を表し、I’(t+1)は、オーバレイ処理された映像情報を表す。
【0067】
特に、I1(t)は、前方に設置されたカメラ110または後方に設置されたカメラ120で撮像されてch1チャンネルまたはch2チャンネルを通じて入力される重複領域に対する映像情報を表し、I2(t)は、左側に設置されたカメラ130または右側に設置されたカメラ140で撮像されてch3チャンネルまたはch4チャンネルを通じて入力される重複領域に対する映像情報を表す。
【0068】
また、αは、重複領域に含まれるRピクセルに対する加重値であって、例えば、第1領域と第2領域が接する部分の場合には、αは0に近い値(1/255)になり、第1領域と第4領域が接する部分の場合には、αは1に近い値(254/255)になる。
【0069】
このように映像生成装置200は、補正映像E1、E2、E3、E4の間に発生した重複領域に対してマスク映像を通じてオーバレイ処理することによって、重複領域が自然に表示された周辺映像を生成することができる。
【0070】
図8は、本発明の実施例による重複領域がオーバレイ処理された周辺映像を示した例示図である。
【0071】
図8に示されているように、映像生成装置200は、カメラ110、120、130、140を通じて撮影された映像D1、D2、D3、D4を4個のチャンネルch1、ch2、ch3、ch4を通じてそれぞれ受信した後、マスク映像を用いて重複領域に対してオーバレイ処理を行うことによって、重複領域が自然に表示されて合成された周辺映像Eを生成することができる。
【0072】
このような方式で映像生成装置200が生成した自動車の周辺映像を用いて車線離脱感知装置300は、走行中の車両が車線を離脱しているかを判断することができるところ、以下で図9乃至図12を通じて車線離脱感知装置300が自動車の周辺映像を生成する方法について説明する。図9は、本発明の実施例による車線離脱感知方法を示したフローチャートであり、図10乃至図12は、本発明の実施例による車線離脱感知方法を説明するための車両周辺映像である。
【0073】
まず、車線離脱感知装置300が映像生成装置200から合成された車両周辺の映像を受信する(S610)。ここで走行中の車両の走行映像は、図10および図11に示したようにトップビュー形態に表示される。図10に示したように、車両710が道路上を走行している映像が現れ、走行中の車両710の両側には左右車線720、730がそれぞれ表示される。
【0074】
車線離脱感知装置300は、映像生成装置200から受信された車両周辺の合成映像から車線を抽出する(S620)。ここで、合成映像から車線を抽出する方法は、ハフ変換(hough transform)を用いることができる。ハフ変換は、2次元映像座標で特定の点などを用いて直線を検出するアルゴリズムである。したがって、車線離脱感知装置300は、図10に示した車線と画面の上端との交差点(a)と車線と画面の下端との交差点(b)の仮想座標を用いて左側車線を抽出する。同様に、車線と画面の上端との交差点(c)と車線と画面の下端との交差点(d)の仮想座標を用いて左側車線を抽出する。
【0075】
したがって、車線離脱感知装置300は、図10に示したように車両710が走行している道路の左右車線720、730に対応する左側仮想車線725および右側仮想車線735を抽出して合成映像に表示する。また、車線離脱感知装置300は、車両710の進行方向を示す仮想の進行方向線を車両の左右側にそれぞれ表示する(図面符号745、755)。つまり、車両の左側前輪と後輪を連結して仮想的な延長線である左側進行方向線745を生成して表示し、車両710の右側前輪と後輪を連結して仮想的な延長線である右側進行方向線755を生成して表示する。
【0076】
車線離脱感知装置300は、左右側仮想車線725、735と車両の左右側との間の距離e1、e2を測定し、左右側仮想車線725、735と左右側進行方向線745、755とがなす交差角度を測定する(S630)。つまり、車線離脱感知装置300は、車両の左側進行方向線745と左側仮想車線725との間の距離e1を測定し、左側進行方向線745と左側仮想車線725とが交差する地点での交差角度を測定する。同様に、車線離脱感知装置300は、車両の右側進行方向線755と右側仮想車線735との間の距離e2を測定し、右側進行方向線755と右側仮想車線735とが交差する地点での交差角度を測定する。
【0077】
そして、左右側仮想車線725、735と車両の左右側との間の距離e1、e2または左右側仮想車線725、735と左右側進行方向線745、755とがなす角度が基準範囲に含まれるか判断する(S640)。ここで、基準範囲は、運転者が発生した警報を認知して車線離脱方向に進行中である車両を正常方向に変更するのに所要される十分な時間を考慮して設定するようにする。
【0078】
図11および図12は、車線を離脱した車両の周辺映像を示した例示図である。図11に示したように、算出された左側仮想車線725と左側進行方向線745とがなす角度(θ)が基準角度よりも大きい場合には、車線離脱感知装置300は走行中の車両が車線を離脱したと判断する。
【0079】
一方、車両が車線に平行に走行する場合には、左右側仮想車線725、735と左右側進行方向線745、755とが交差する点が生じない。しかし、図12に示したように、左側進行方向線745と車両の左側仮想車線725との間の距離e1が基準距離よりも広かったり、右側進行方向線755と車両の右側仮想車線735との間の距離e2が基準距離よりも狭い場合には、車線離脱感知装置300は走行中の車両が車線を離脱していると判断する。また、左右側仮想車線725、735と左右側進行方向線745、755との間の距離e1、e2が漸次に減少していたり、漸次に増加する場合にも、車線離脱感知装置300は走行中の車両が車線を離脱していると判断する。
【0080】
車線離脱感知装置300は、走行中の車両が車線を離脱したと判断すると車線離脱警報信号を発生する(S650)。車両が車線を離脱したと感知される場合、車線離脱感知装置300は、表示装置400に車線離脱情報を伝達したり警告音またはハンドル振動を発生する機能を行う。車線離脱情報を受信した表示装置400は、ディスプレイされる画面が点滅するように設定したり警報を表示する赤色に画面が転換されるようにする。
【0081】
また、車線離脱感知装置300は、車両が車線を離脱すると直ちに警報信号を発生することもできるが、車両が車線を離脱する時間が一定期間以上である場合にのみ警報信号を発生するようにすることもできる。
【0082】
一方、本発明の実施例による車線離脱感知装置300は、単なる車両の車線離脱感知のみ行うのではなく、車両の前方にある物体、例えば、車両前方の車両、歩行者、各種障害物も感知することができる。つまり、トップビュー形態の車両周辺映像から前方物体の座標を抽出し、現在走行中の車両との距離の変化を感知する。したがって、車両と前方物体との距離が持続的に減る場合にも警報音を発生する。
【0083】
以上で本発明の好ましい実施例について詳しくは説明したが、本発明の権利範囲はこれに限定されるのではなく、特許請求の範囲で定義している本発明の基本概念を用いる当業者の多様な変形および改良形態も本発明の権利範囲に属する。
【産業上の利用可能性】
【0084】
以上のように本発明によれば、走行中の車両周辺の死角地帯をなくし、複数のカメラにより撮像される重複領域を自然に表示されるように補正処理することによって、車線離脱の有無をより正確に感知することができる。また、走行中の運転者は走行中にサイドミラーやバックミラーに大きく依存することもなく車両周辺の状況と車線離脱情報を正確且つ迅速に認識することができ、飲酒運転や居眠り運転による事故を未然に防止することができる。
【符号の説明】
【0085】
110、120、130、140…カメラ
200…映像生成装置
210…映像入力部
230…映像処理部
250…映像合成部
270…制御部
300…車線離脱感知装置
310…映像受信部
330…車線認識部
350…離脱判断部
370…警報発生部
400…表示装置
ch1、ch2、ch3、ch4…チャンネル
D1、D2、D3、D4…撮像映像
E1、E2、E3、E4…補正映像
【特許請求の範囲】
【請求項1】
走行中の車両に設置された複数のカメラを通じて撮像された映像を前記カメラに連結されるそれぞれのチャンネルを通じて入力を受ける段階、
前記撮像映像をトップビュー形態に補正処理して複数の補正映像を生成する段階、
前記複数の補正映像を合成して前記車両の周辺映像を生成する段階、
前記車両の周辺映像から車線を抽出し、前記車両と前記抽出された車線との距離情報、または前記車両の進行方向と前記抽出された車線とがなす角度情報を算出して車線離脱を判断する段階、および
前記車線離脱と判断される場合には警報を発生する段階を含むことを特徴とする、車両周辺映像を用いた車線離脱感知方法。
【請求項2】
前記車両の周辺映像を生成する段階は、
前記各チャンネル別領域情報と各領域を構成するピクセルに対する加重値情報を含むマスク映像を用いて前記複数の補正映像をオーバレイ処理して前記車両の周辺映像を生成することを特徴とする、請求項1に記載の車両周辺映像を用いた車線離脱感知方法。
【請求項3】
前記カメラは、前記車両の左側および右側方向にそれぞれ1台ずつ設置されるか、または前記車両の前方および後方にそれぞれ1台ずつ設置されることを特徴とする、請求項1に記載の車両周辺映像を用いた車線離脱感知方法。
【請求項4】
前記カメラは、前記車両の前方、左側および右側方向にそれぞれ1台ずつ設置されることを特徴とする、請求項1に記載の車両周辺映像を用いた車線離脱感知方法。
【請求項5】
前記カメラは、前記車両の前方、後方、左側および右側方向にそれぞれ1台ずつ設置されることを特徴とする、請求項1に記載の車両周辺映像を用いた車線離脱感知方法。
【請求項6】
前記車線離脱を判断する段階は、
前記車両の進行方向を示す進行方向線を前記車両の周辺に表示する段階、
前記進行方向線と前記抽出された車線との距離を測定し、前記進行方向線と前記抽出された車線との交差角度を測定して前記距離情報または前記角度情報を生成する段階、および
前記距離情報または前記角度情報が基準範囲を逸脱する場合には車線を離脱したと判断する段階を含むことを特徴とする、請求項1に記載の車両周辺映像を用いた車線離脱感知方法。
【請求項7】
走行中の車両に設置された複数のカメラを通じて撮像された映像を前記カメラに連結されるそれぞれのチャンネルを通じて入力を受ける映像入力部、
前記撮像映像をトップビュー形態に補正処理して複数の補正映像を生成する映像処理部、
前記複数の補正映像を合成して前記車両の周辺映像を生成する映像合成部、および
前記車両の周辺映像から車線を抽出し、前記車両と前記抽出された車線との距離情報、または前記車両の進行方向と前記抽出された車線とがなす角度情報を算出し、算出された前記距離情報または前記角度情報から車線離脱を判断する車線離脱感知部を含むことを特徴とする、車両周辺映像を用いた車線離脱感知装置。
【請求項8】
前記映像合成部は、
前記各チャンネル格別領域情報と各領域を構成するピクセルに対する加重値情報を含むマスク映像を用いて前記複数の補正映像をオーバレイ処理して前記車両の周辺映像を生成することを特徴とする、請求項7に記載の車両周辺映像を用いた車線離脱感知装置。
【請求項9】
前記カメラは、前記車両の左側および右側方向にそれぞれ1台ずつ設置されるか、または前記車両の前方および後方にそれぞれ1台ずつ設置されることを特徴とする、請求項7に記載の車両周辺映像を用いた車線離脱感知装置。
【請求項10】
前記カメラは、前記車両の前方、左側および右側方向にそれぞれ1台ずつ設置されることを特徴とする、請求項7に記載の車両周辺映像を用いた車線離脱感知装置。
【請求項11】
前記カメラは、前記車両の前方、後方、左側および右側方向にそれぞれ1台ずつ設置されることを特徴とする、請求項7に記載の車両周辺映像を用いた車線離脱感知装置。
【請求項12】
前記車線離脱と判断される場合には警報を発生する警報発生部をさらに含むことを特徴とする、請求項7に記載の車両周辺映像を用いた車線離脱感知装置。
【請求項13】
走行中の車両に設置されて撮像された映像をそれぞれのチャンネルを通じて出力する複数のカメラ、
入力された前記撮像映像をトップビュー形態に補正処理して複数の補正映像を生成し、前記複数の補正映像を合成して前記車両の周辺映像を生成する映像生成装置、
前記車両の周辺映像から車線を抽出し、前記車両と前記抽出された車線との距離情報、または前記車両の進行方向と前記抽出された車線とがなす角度情報を算出して前記距離情報または前記角度情報から車線離脱を判断し、前記車線離脱と判断される場合には警報を発生する車線離脱感知装置、および
前記周辺映像または警報画面をディスプレイする表示装置を含むことを特徴とする、車両周辺映像を用いた車線離脱感知システム。
【請求項14】
前記映像生成装置は、
前記各チャンネル別領域情報と各領域を構成するピクセルに対する加重値情報を含むマスク映像を用いて前記複数の補正映像をオーバレイ処理して前記車両の周辺映像を生成することを特徴とする、請求項13に記載の車両周辺映像を用いた車線離脱感知システム。
【請求項1】
走行中の車両に設置された複数のカメラを通じて撮像された映像を前記カメラに連結されるそれぞれのチャンネルを通じて入力を受ける段階、
前記撮像映像をトップビュー形態に補正処理して複数の補正映像を生成する段階、
前記複数の補正映像を合成して前記車両の周辺映像を生成する段階、
前記車両の周辺映像から車線を抽出し、前記車両と前記抽出された車線との距離情報、または前記車両の進行方向と前記抽出された車線とがなす角度情報を算出して車線離脱を判断する段階、および
前記車線離脱と判断される場合には警報を発生する段階を含むことを特徴とする、車両周辺映像を用いた車線離脱感知方法。
【請求項2】
前記車両の周辺映像を生成する段階は、
前記各チャンネル別領域情報と各領域を構成するピクセルに対する加重値情報を含むマスク映像を用いて前記複数の補正映像をオーバレイ処理して前記車両の周辺映像を生成することを特徴とする、請求項1に記載の車両周辺映像を用いた車線離脱感知方法。
【請求項3】
前記カメラは、前記車両の左側および右側方向にそれぞれ1台ずつ設置されるか、または前記車両の前方および後方にそれぞれ1台ずつ設置されることを特徴とする、請求項1に記載の車両周辺映像を用いた車線離脱感知方法。
【請求項4】
前記カメラは、前記車両の前方、左側および右側方向にそれぞれ1台ずつ設置されることを特徴とする、請求項1に記載の車両周辺映像を用いた車線離脱感知方法。
【請求項5】
前記カメラは、前記車両の前方、後方、左側および右側方向にそれぞれ1台ずつ設置されることを特徴とする、請求項1に記載の車両周辺映像を用いた車線離脱感知方法。
【請求項6】
前記車線離脱を判断する段階は、
前記車両の進行方向を示す進行方向線を前記車両の周辺に表示する段階、
前記進行方向線と前記抽出された車線との距離を測定し、前記進行方向線と前記抽出された車線との交差角度を測定して前記距離情報または前記角度情報を生成する段階、および
前記距離情報または前記角度情報が基準範囲を逸脱する場合には車線を離脱したと判断する段階を含むことを特徴とする、請求項1に記載の車両周辺映像を用いた車線離脱感知方法。
【請求項7】
走行中の車両に設置された複数のカメラを通じて撮像された映像を前記カメラに連結されるそれぞれのチャンネルを通じて入力を受ける映像入力部、
前記撮像映像をトップビュー形態に補正処理して複数の補正映像を生成する映像処理部、
前記複数の補正映像を合成して前記車両の周辺映像を生成する映像合成部、および
前記車両の周辺映像から車線を抽出し、前記車両と前記抽出された車線との距離情報、または前記車両の進行方向と前記抽出された車線とがなす角度情報を算出し、算出された前記距離情報または前記角度情報から車線離脱を判断する車線離脱感知部を含むことを特徴とする、車両周辺映像を用いた車線離脱感知装置。
【請求項8】
前記映像合成部は、
前記各チャンネル格別領域情報と各領域を構成するピクセルに対する加重値情報を含むマスク映像を用いて前記複数の補正映像をオーバレイ処理して前記車両の周辺映像を生成することを特徴とする、請求項7に記載の車両周辺映像を用いた車線離脱感知装置。
【請求項9】
前記カメラは、前記車両の左側および右側方向にそれぞれ1台ずつ設置されるか、または前記車両の前方および後方にそれぞれ1台ずつ設置されることを特徴とする、請求項7に記載の車両周辺映像を用いた車線離脱感知装置。
【請求項10】
前記カメラは、前記車両の前方、左側および右側方向にそれぞれ1台ずつ設置されることを特徴とする、請求項7に記載の車両周辺映像を用いた車線離脱感知装置。
【請求項11】
前記カメラは、前記車両の前方、後方、左側および右側方向にそれぞれ1台ずつ設置されることを特徴とする、請求項7に記載の車両周辺映像を用いた車線離脱感知装置。
【請求項12】
前記車線離脱と判断される場合には警報を発生する警報発生部をさらに含むことを特徴とする、請求項7に記載の車両周辺映像を用いた車線離脱感知装置。
【請求項13】
走行中の車両に設置されて撮像された映像をそれぞれのチャンネルを通じて出力する複数のカメラ、
入力された前記撮像映像をトップビュー形態に補正処理して複数の補正映像を生成し、前記複数の補正映像を合成して前記車両の周辺映像を生成する映像生成装置、
前記車両の周辺映像から車線を抽出し、前記車両と前記抽出された車線との距離情報、または前記車両の進行方向と前記抽出された車線とがなす角度情報を算出して前記距離情報または前記角度情報から車線離脱を判断し、前記車線離脱と判断される場合には警報を発生する車線離脱感知装置、および
前記周辺映像または警報画面をディスプレイする表示装置を含むことを特徴とする、車両周辺映像を用いた車線離脱感知システム。
【請求項14】
前記映像生成装置は、
前記各チャンネル別領域情報と各領域を構成するピクセルに対する加重値情報を含むマスク映像を用いて前記複数の補正映像をオーバレイ処理して前記車両の周辺映像を生成することを特徴とする、請求項13に記載の車両周辺映像を用いた車線離脱感知システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図9】
【図10】
【図11】
【図12】
【図8】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図9】
【図10】
【図11】
【図12】
【図8】
【公表番号】特表2012−527681(P2012−527681A)
【公表日】平成24年11月8日(2012.11.8)
【国際特許分類】
【出願番号】特願2012−511747(P2012−511747)
【出願日】平成21年12月24日(2009.12.24)
【国際出願番号】PCT/KR2009/007795
【国際公開番号】WO2010/134680
【国際公開日】平成22年11月25日(2010.11.25)
【出願人】(511164374)イメージネクスト シーオー エルティディ (2)
【Fターム(参考)】
【公表日】平成24年11月8日(2012.11.8)
【国際特許分類】
【出願日】平成21年12月24日(2009.12.24)
【国際出願番号】PCT/KR2009/007795
【国際公開番号】WO2010/134680
【国際公開日】平成22年11月25日(2010.11.25)
【出願人】(511164374)イメージネクスト シーオー エルティディ (2)
【Fターム(参考)】
[ Back to top ]