画像処理装置
【構成】カメラC_1〜C_4のうちカメラC_3およびC_4に注目したとき、カメラC_3およびC_4は、共通視野VW_34を部分的に有し、かつ路面に対して斜めに交差する方向の被写界を捉える。CPUは、カメラC_3およびC_4からそれぞれ出力された被写界像P_3およびP_4を取り込み、路面の上方から被写界を捉えた状態を表す鳥瞰画像を取り込まれた被写界像P_3およびP_4に基づいて作成する。CPUはまた、共通視野VW_34に障害物が存在するとき、鳥瞰画像上の障害物画像の姿勢を、カメラC_3およびC_4と障害物との位置関係に基づいて調整する。
【効果】共通視野VW_34における障害物の再現性が向上する。
【効果】共通視野VW_34における障害物の再現性が向上する。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、画像処理装置に関し、特に、基準面に対して斜めに交差する方向の被写界を捉えるカメラから出力された被写界像に基づいて基準面の上方から被写界を捉えた状態を表す鳥瞰画像を作成する、画像処理装置に関する。
【背景技術】
【0002】
この種の装置の一例が、特許文献1に開示されている。この背景技術によれば、4つのカメラは、隣り合う2つのカメラの視野が部分的に共通するように車両に搭載される。車両の周囲はこのようなカメラによって捉えられ、各々のカメラから出力された被写界像は鳥瞰画像に変換される。
【0003】
変換された鳥瞰画像のうち共通視野に対応する部分画像上には、境界線が割り当てられる。4つのカメラにそれぞれ対応する4つの鳥瞰画像は、このような境界線を参照したトリミング処理を経て、互いに合成される。ただし、共通視野から障害物(立体物)が検出された場合、境界線の位置は障害物画像を回避するように変更される。これによって、障害物画像の品質が維持される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2007−104373号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、隣り合う2つのカメラに共通する視野で障害物を捉えた場合、鳥瞰画像の性質上、一方のカメラに対応する鳥瞰画像に現れた障害物画像の姿勢は、他方のカメラに対応する鳥瞰画像に現れた障害物画像の姿勢と異なる。このため、合成鳥瞰画像に現れた障害物を捉えるカメラが境界線の変更に伴って変更されると、障害物画像の姿勢が不連続に変化してしまう。
【0006】
それゆえに、この発明の主たる目的は、共通視野における立体物の視認性を向上させることができる、画像処理装置を提供することである。
【課題を解決するための手段】
【0007】
この発明に従う画像処理装置(10:実施例で相当する参照符号。以下同じ)は、各々が共通視野を部分的に有しかつ基準面に斜めに交差する方向の被写界を捉える複数のカメラ(C_3, C_4)、複数のカメラからそれぞれ出力された複数の被写界像に基づいて基準面に対する鳥瞰画像を作成する作成手段(S3, S51~S59)、共通視野に存在する立体物と複数のカメラとの位置関係を判別する判別手段(S33~S35)、および作成手段によって作成された鳥瞰画像上の立体物画像の姿勢を判別手段の判別結果に基づいて調整する調整手段(S31, S37, S39, S41~S47, S65)を備える。
【0008】
好ましくは、判別手段は立体物が複数のカメラから被写界に向けて既定態様で延びる複数の基準線によって挟まれるか否かを判別し、調整手段は複数の基準線に沿うように立体物画像の姿勢を調整する。
【0009】
ある局面では、既定態様は複数の基準線が互いに平行である態様に相当する。
【0010】
他の局面では、立体物画像は複数のカメラの1つである基準カメラによって捉えられた立体物の鳥瞰画像に相当し、調整手段は、立体物が複数の基準線によって挟まれる視野に属するとき基準カメラと立体物とを結ぶ線を定義する定義手段(S41)、および定義手段によって定義された線と基準線との間の角度の相違を参照して立体物画像の姿勢を修正する修正手段(S43~S45)を含む。
【0011】
さらに好ましくは、調整手段は立体物が複数の基準線によって挟まれる視野から外れるとき複数のカメラのうち立体物により近いカメラを基準カメラとして選択する選択手段(S37, S39)を含む。
【0012】
好ましくは、立体物が特定条件に合致するとき調整手段の調整処理を制限する制限手段(S73)がさらに備えられる。
【発明の効果】
【0013】
この発明によれば、鳥瞰画像上の立体物画像の姿勢が、共通視野に存在する立体物と複数のカメラとの位置関係に基づいて調整される。これによって、立体物とカメラとの位置関係の変化に起因する立体物画像の姿勢の変化が抑制され、共通視野における立体物の視認性が向上する。
【0014】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【0015】
【図1】この発明の基本的構成を示すブロック図である。
【図2】この発明の一実施例の構成を示すブロック図である。
【図3】車両に取り付けられた複数のカメラによって捉えられる視野を示す図解図である。
【図4】(A)は前カメラの出力に基づく鳥瞰図画像の一例を示す図解図であり、(B)は右カメラの出力に基づく鳥瞰図画像の一例を示す図解図であり、(C)は左カメラの出力に基づく鳥瞰図画像の一例を示す図解図であり、(D)は後カメラの出力に基づく鳥瞰図画像の一例を示す図解図である。
【図5】全周鳥瞰図画像の作成動作の一部を示す図解図である。
【図6】作成された全周鳥瞰図画像の一例を示す図解図である。
【図7】表示装置によって表示される運転支援画像の一例を示す図解図である。
【図8】車両に取り付けられたカメラの角度を示す図解図である。
【図9】カメラ座標系と撮像面の座標系と世界座標系との関係を示す図解図である。
【図10】車両とその周辺に存在する障害物の一例を示す図解図である。
【図11】運転支援画像の作成動作の他の一部を示す図解図である。
【図12】障害物画像を再現する動作の一例を示す図解図である。
【図13】障害物画像の再現する動作の他の一例を示す図解図である。
【図14】障害物画像の再現する動作のその他の一例を示す図解図である。
【図15】(A)は姿勢調整前の障害物画像の再現状態を示す図解図であり、(B)は姿勢調整後の障害物画像の再現状態を示す図解図である。
【図16】図2実施例に適用されるCPUの動作の一部を示すフロー図である。
【図17】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図18】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図19】図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。
【図20】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図21】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図22】調整エリアの割り当て状態の他の一例を示す図解図である。
【図23】調整エリアの割り当て状態のその他の一例を示す図解図である。
【図24】調整エリアの割り当て状態のさらにその他の一例を示す図解図である。
【図25】その他の実施例に適用されるCPUの動作の一部を示すフロー図である。
【発明を実施するための形態】
【0016】
以下、この発明の実施の形態を図面を参照しながら説明する。
[基本的構成]
【0017】
図1を参照して、この発明の画像処理装置は、基本的に次のように構成される。複数のカメラ1,1,…の各々は、共通視野を部分的に有し、かつ基準面に斜めに交差する方向の被写界を捉える。作成手段2は、複数のカメラ1,1,…からそれぞれ出力された複数の被写界像に基づいて、基準面に対する鳥瞰画像を作成する。判別手段3は、共通視野に存在する立体物と複数のカメラ1,1,…との位置関係を判別する。調整手段4は、作成手段2によって作成された鳥瞰画像上の立体物画像の姿勢を、判別手段3の判別結果に基づいて調整する。
【0018】
カメラ1は、基準面に対して斜めに交差する方向の被写界を捉える。このため、基準面の上に立体物が存在する場合、立体物画像は、立体物とカメラ1とを結ぶ線に沿って倒れ込む姿勢で鳥瞰画像に現れる。さらに、立体物画像の姿勢は、立体物とカメラ1との位置関係の変化に起因して変化する。
【0019】
この発明によれば、鳥瞰画像上の立体物画像の姿勢が、共通視野に存在する立体物と複数のカメラ1,1,…との位置関係に基づいて調整される。これによって、立体物とカメラ1との位置関係の変化に起因する立体物画像の姿勢の変化が抑制され、共通視野における立体物の視認性が向上する。
[実施例]
【0020】
図2に示すこの実施例の操縦支援装置10は、4個のカメラC_1〜C_4を含む。カメラC_1〜C_4はそれぞれ、共通のタイミング信号に同期して被写界像P_1〜P_4を1/30秒毎に出力する。出力された被写界像P_1〜P_4は、画像処理回路12に与えられる。
【0021】
図3を参照して、カメラC_1は、カメラC_1の光軸が車両100の前方斜め下向きに延びる姿勢で、車両100の前部中央に設置される。カメラC_2は、カメラC_2の光軸が車両100の右方斜め下向きに延びる姿勢で、車両100の右側中央に設置される。カメラC_3は、カメラC_3の光軸が車両100の後方斜め下向きに延びる姿勢で、車両100の後部上側に設置される。カメラC_4は、カメラC_4の光軸が車両100の左方斜め下向きに延びる姿勢で、車両100の左側中央に設置される。車両100の周辺の被写界は、このようなカメラC_1〜C_4によって路面に斜め方向に交差する方向から捉えられる。
【0022】
カメラC_1は車両100の前方を捉える視野VW_1を有し、カメラC_2は車両100の右方向を捉える視野VW_2を有し、カメラC_3は車両100の後方を捉える視野VW_3を有し、そしてカメラC_4は車両100の左方向を捉える視野VW_4を有する。また、視野VW_1およびVW_2は共通視野VW_12を有し、視野VW_2およびVW_3は共通視野VW_23を有し、視野VW_3およびVW_4は共通視野VW_34を有し、そして視野VW_4およびVW_1は共通視野VW_41を有する。
【0023】
図2に戻って、画像処理回路12に設けられたCPU12pは、カメラC_1から出力された被写界像P_1に基づいて図4(A)に示す鳥瞰画像BEV_1を生成し、カメラC_2から出力された被写界像P_2に基づいて図4(B)に示す鳥瞰画像BEV_2を生成する。CPU12pはまた、カメラC_3から出力された被写界像P_3に基づいて図4(C)に示す鳥瞰画像BEV_3を生成し、カメラC_4から出力された被写界像P_4に基づいて図4(D)に示す鳥瞰画像BEV_4を生成する。
【0024】
鳥瞰画像BEV_1は視野VW_1を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰画像BEV_2は視野VW_2を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。また、鳥瞰画像BEV_3は視野VW_3を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰画像BEV_4は視野VW_4を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。
【0025】
図4(A)〜図4(D)によれば、鳥瞰画像BEV_1は鳥瞰座標系X1・Y1を有し、鳥瞰画像BEV_2は鳥瞰座標系X2・Y2を有し、鳥瞰画像BEV_3は鳥瞰座標系X3・Y3を有し、そして鳥瞰画像BEV_4は鳥瞰座標系X4・Y4を有する。このような鳥瞰画像BEV_1〜BEV_4は、メモリ12mのワークエリアW1に保持される。
【0026】
CPU12pは続いて、鳥瞰画像BEV_1〜BEV_4の各々から境界線BLよりも外方の一部の画像を削除し、削除の後に残った鳥瞰画像BEV_1〜BEV_4(図5参照)を回転/移動処理によって互いに結合する。この結果、図6に示す全周鳥瞰画像がメモリ12mのワークエリアW2内に得られる。
【0027】
図6において、斜線で示す重複エリアOL_12が共通視野VW_12を再現するエリアに相当し、斜線で示す重複エリアOL_23が共通視野VW_23を再現するエリアに相当する。また、斜線で示す重複エリアOL_34が共通視野VW_34を再現するエリアに相当し、斜線で示す重複エリアOL_41が共通視野VW_41を再現するエリアに相当する。
【0028】
運転席に設置された表示装置16は、重複エリアOL_12〜OL_41が四隅に位置する一部の画像D1をワークエリアW2上の全周鳥瞰画像から抽出し、車両100の上部を模した車両画像D2を抽出された画像D1の中央に貼り付ける。この結果、図7に示す運転支援画像がモニタ画面に表示される。
【0029】
次に、鳥瞰画像BEV_1〜BEV_4の作成要領について説明する。ただし、鳥瞰画像BEV_1〜BEV_4はいずれも同じ要領で作成されるため、鳥瞰画像BEV_1〜BEV_4を代表して鳥瞰画像BEV3の作成要領を説明する。
【0030】
図8を参照して、カメラC_3は車両100の後部に後方斜め下向きに配置される。カメラC_3の俯角を“θd”とすると、図7に示す角度θは“180°−θd”に相当する。また、角度θは、90°<θ<180°の範囲で定義される。
【0031】
図9は、カメラ座標系X・Y・Zと、カメラC_3の撮像面Sの座標系Xp・Ypと、世界座標系Xw・Yw・Zwとの関係を示す。カメラ座標系X・Y・Zは、X軸,Y軸およびZ軸を座標軸とする三次元の座標系である。座標系Xp・Ypは、Xp軸およびYp軸を座標軸とする二次元の座標系である。世界座標系Xw・Yw・Zwは、Xw軸,Yw軸およびZw軸を座標軸とする三次元の座標系である。
【0032】
カメラ座標系X・Y・Zでは、カメラC3の光学的中心を原点Oとして、光軸方向にZ軸が定義され、Z軸に直交しかつ路面に平行な方向にX軸が定義され、そしてZ軸およびX軸に直交する方向にY軸が定義される。撮像面Sの座標系Xp・Ypでは、撮像面Sの中心を原点として、撮像面Sの横方向にXp軸が定義され、撮像面Sの縦方向にYp軸が定義される。
【0033】
世界座標系Xw・Yw・Zwでは、カメラ座標系XYZの原点Oを通る鉛直線と路面との交点を原点Owとして、路面と垂直な方向にYw軸が定義され、カメラ座標系X・Y・ZのX軸と平行な方向にXw軸が定義され、そしてXw軸およびYw軸に直交する方向にZw軸が定義される。また、Xw軸からX軸までの距離は“h”であり、Zw軸およびZ軸によって形成される鈍角が上述の角度θに相当する。
【0034】
カメラ座標系X・Y・Zにおける座標を(x,y,z)と表記した場合、“x”,“y”および“z”はそれぞれ、カメラ座標系X・Y・ZにおけるX軸成分,Y軸成分およびZ軸成分を示す。撮像面Sの座標系Xp・Ypにおける座標を(xp,yp)と表記した場合、“xp”および“yp”はそれぞれ、撮像面Sの座標系Xp・YpにおけるXp軸成分およびYp軸成分を示す。世界座標系Xw・Yw・Zwにおける座標を(xw,yw,zw)と表記した場合、“xw”,“yw”および“zw”はそれぞれ、世界座標系Xw・Yw・ZwにおけるXw軸成分,Yw軸成分およびZw軸成分を示す。
【0035】
カメラ座標系X・Y・Zの座標(x,y,z)と世界座標系Xw・Yw・Zwの座標(xw,yw,zw)との間の変換式は、数1で表される。
【数1】
【0036】
ここで、カメラC_3の焦点距離を“f”とすると、撮像面Sの座標系Xp・Ypの座標(xp,yp)とカメラ座標系X・Y・Zの座標(x,y,z)との間の変換式は、数2で表される。
【数2】
【0037】
また、数1および数2に基づいて数3が得られる。数3は、撮像面Sの座標系Xp・Ypの座標(xp,yp)と二次元路面座標系Xw・Zwの座標(xw,zw)との間の変換式を示す。
【数3】
【0038】
また、図4(C)に示す鳥瞰画像BEV_3の座標系である鳥瞰座標系X3・Y3が定義される。鳥瞰座標系X3・Y3は、X3軸及びY3軸を座標軸とする二次元の座標系である。鳥瞰座標系X3・Y3における座標を(x3,y3)と表記した場合、鳥瞰画像BEV_3を形成する各画素の位置は座標(x3,y3)によって表される。“x3”および“y3”はそれぞれ、鳥瞰座標系X3・Y3におけるX3軸成分およびY3軸成分を示す。
【0039】
路面を表す二次元座標系Xw・Zwから鳥瞰座標系X3・Y3への投影は、いわゆる平行投影に相当する。仮想カメラつまり仮想視点の高さを“H”とすると、二次元座標系Xw・Zwの座標(xw,zw)と鳥瞰座標系X3・Y3の座標(x3,y3)との間の変換式は、数4で表される。仮想カメラの高さHは予め決められている。
【数4】
【0040】
さらに、数4に基づいて数5が得られ、数5および数3に基づいて数6が得られ、そして数6に基づいて数7が得られる。数7は、撮像面Sの座標系Xp・Ypの座標(xp,yp)を鳥瞰座標系X3・Y3の座標(x3,y3)に変換するための変換式に相当する。
【数5】
【数6】
【数7】
【0041】
撮像面Sの座標系Xp・Ypの座標(xp,yp)は、カメラC_3によって捉えられた被写界像P_3の座標を表す。したがって、カメラC3からの被写界像P_3は、数7を用いることによって鳥瞰画像BEV_3に変換される。実際には、被写界像P_3はまずレンズ歪み補正などの画像処理を施され、その後に数7によって鳥瞰画像BEV_3に変換される。
【0042】
図10および図11を参照して、車両100の左後方の共通視野VW_34に障害物(立体物)200が存在する場合、カメラC_3で捉えられた障害物は障害物画像OBJ_3として鳥瞰画像BEV_3に現れ、カメラC_4で捉えられた障害物は障害物画像OBJ_4として鳥瞰画像BEV_3に現れる。
【0043】
障害物画像OBJ_3およびOBJ_4の姿勢は、カメラC_3の視点とカメラC_4の視点との相違に起因して、互いに相違する。つまり、障害物画像OBJ_3はカメラC_3と障害物200の底部とを結ぶ連結線CL_3に沿って倒れ込むように再現され、障害物画像OBJ_4はカメラC_4と障害物200の底部とを結ぶ連結線CL_4に沿って倒れ込むように再現される。
【0044】
このような障害物200を全周鳥瞰画像上で表示するとき、CPU12pは、次のような処理を実行する。
【0045】
処理の前提として、基準線RF1aは、カメラC_1から共通視野VW_41に向かって、重複エリアOL_41上の境界線BLと平行に延びる。基準線RF1bは、カメラC_1から共通視野VW_12に向かって、重複エリアOL_12上の境界線BLと平行に延びる。基準線RF2aは、カメラC_2から共通視野VW_12に向かって、重複エリアOL_12上の境界線BLと平行に延びる。基準線RF2bは、カメラC_2から共通視野VW_23に向かって、重複エリアOL_23上の境界線BLと平行に延びる。
【0046】
基準線RF3aは、カメラC_3から共通視野VW_23に向かって、重複エリアOL_23上の境界線BLと平行に延びる。基準線RF3bは、カメラC_3から共通視野VW_34に向かって、重複エリアOL_34上の境界線BLと平行に延びる。基準線RF4aは、カメラC_4から共通視野VW_34に向かって、重複エリアOL_34上の境界線BLと平行に延びる。基準線RF4bは、カメラC_4から共通視野VW_41に向かって、重複エリアOL_41上の境界線BLと平行に延びる。
【0047】
また、調整エリアBRG_12は車両100の右前方に帯状に延びる態様で重複エリアOL_12に割り当てられ、調整エリアBRG_23は車両100の右後方に帯状に延びる態様で重複エリアOL_23に割り当てられる。調整エリアBRG_34は車両100の左後方に帯状に延びる態様で重複エリアOL_34に割り当てられ、調整エリアBRG_41は車両100の左前方に帯状に延びる態様で重複エリアOL_41に割り当てられる。
【0048】
調整エリアBRG_12の幅方向のエッジは基準線RF1bおよびRF2aに平行に延び、調整エリアBRG_23の幅方向のエッジは基準線RF2bおよびRF3aに平行に延びる。また、調整エリアBRG_34の幅方向のエッジは基準線RF3bおよびRF4aに平行に延び、調整エリアBRG_41の幅方向のエッジは基準線RF4bおよびRF1aに平行に延びる。
【0049】
障害物200を全周鳥瞰画像上に再現するにあたっては、まず、何らかの障害物が存在するか否かが共通視野VW_12〜VW_41の各々について判別される。障害物200は共通視野VW_34に存在し、対応する障害物画像OBJ_3およびOBJ_4が鳥瞰画像BEV_3およびBEV_4にそれぞれ再現される。このため、障害物画像OBJ_3が鳥瞰画像BEV_3から切り出され、障害物画像OBJ_4が鳥瞰画像BEV_4から切り出される。続いて、障害物200の底部に相当する座標が調整エリアBRG_34に対してどのような位置関係にあるかが判別される。
【0050】
図12の上段に示すように障害物200の底部に相当する座標が調整エリアBRG_34よりもカメラC_3側に存在するときは、障害物画像OBJ_3が共通視野VW_34における選択画像S_34として決定される。また、図13の上段に示すように障害物200の底部に相当する座標が調整エリアBRG_34よりもカメラC_4側に存在するときは、障害物画像OBJ_4が共通視野VW_34における選択画像S_34として決定される。
【0051】
さらに、図14に示すように、障害物200の底部に相当する座標が調整エリアBRG_34上に存在するときは、カメラC_4と障害物200の底部とを結ぶ連結線CL_4が鳥瞰画像BEV_4上で定義される。さらに、定義された連結線CL_4の角度と共通視野VW_34に割り当てられた境界線BLの角度(つまり基準線RF3bおよびRF4aの角度)との相違が、“Δθ”として算出される。
【0052】
障害物画像OBJ_4の姿勢は、算出された相違Δθを参照して、境界線BL(つまり基準線RF3bおよびRF4a)に沿うように修正される。このような修正処理の結果、障害物画像OBJ_4が倒れ込む方向は、図14の下段に示すように、境界線BL(つまり基準線RF3bおよびRF4a)の長さ方向と一致する。修正された姿勢を有する障害物画像OBJ_4はその後、共通視野VW_34における選択画像S_34として決定される。
【0053】
なお、障害物200の底部に相当する座標が図15(A)に示す要領で調整エリアBRG_34内を遷移したとき、障害物画像OBJ_4の姿勢は図15(B)に示す要領で修正される。
【0054】
全周鳥瞰画像を作成するにあたっては、境界線BLよりも外方の画像が鳥瞰画像BEV_1〜BEV_4の各々から削除され、削除の後に残った鳥瞰画像BEV_1〜BEV_4が互いに結合される(図5〜図6参照)。選択画像S_34は結合画像に貼り付けられ、これによって全周鳥瞰画像が完成する。完成した全周鳥瞰画像の重複エリアOL_34には、図12の下段,図13の下段または図14の下段に示す要領で障害物画像OBJ_3またはOBJ_4が再現される。
【0055】
CPU12pは、具体的には図16〜図21に示すフロー図に従う処理を実行する。なお、これらのフロー図に対応する制御プログラムは、フラッシュメモリ14(図1参照)に記憶される。
【0056】
図16に示すステップS1では、カメラC_1〜C_4から被写界像P_1〜P_4を取り込む。ステップS3では、取り込まれた被写界像P_1〜P_4に基づいて鳥瞰画像BEV_1〜BEV_4を作成する。作成された鳥瞰画像BEV_1〜BEV_4は、ワークエリアW1に確保される。ステップS5では、障害物検知処理を実行する。ステップS7では、ステップS3で作成された鳥瞰画像BEV_1〜BEV_4に基づいて全周鳥瞰画像を作成する。作成された全周鳥瞰画像は、ワークエリアW2に確保される。表示装置16のモニタ画面には、ワークエリアW2に確保された全周鳥瞰画像に基づく運転支援画像が表示される。ステップS7の処理が完了すると、ステップS1に戻る。
【0057】
ステップS5に示す障害物検知処理は、図17〜図18に示すサブルーチンに従う。まずステップS11で変数MおよびNをそれぞれ“1”および“2”に設定する。ここで、変数Mは“1”→“2”→“3”→“4”の順で更新される変数であり、変数Nは“2”→“3”→“4”→“1”の順で更新される変数である。
【0058】
ステップS13では、カメラC_Mの出力に基づく鳥瞰画像BEV_MとカメラC_Nの出力に基づく鳥瞰画像BEV_Nとに基づいて、共通視野VW_MNにおける差分画像を作成する。ステップS15では、共通視野VW_MNに障害物が存在するか否かを、ステップS13で作成された差分画像に基づいて判別する。
【0059】
共通視野VW_MNから障害物が検出されなければ、ステップS17でフラグFLG_MNを“0”に設定し、ステップS23に進む。一方、共通視野VW_MNから障害物が検出されれば、ステップS19でフラグFLG_MNを“1”に設定し、ステップS21で障害物画像処理を実行し、その後にステップS23に進む。
【0060】
ステップS23では、変数Mが“4”を示すか否かを判別する。変数Mが“4”に満たなければ、変数MおよびNをステップS25で更新してからステップS13に戻る。これに対して、変数Mが“4”であれば、上階層のルーチンに復帰する。
【0061】
図17に示すステップS21の障害物画像処理は、図18〜図19に示すサブルーチンに従って実行される。まずステップS31で、障害物画像OBJ_Mを鳥瞰画像BEV_Mから切り出すとともに、障害物画像OBJ_Nを鳥瞰画像BEV_Nから切り出す。
【0062】
ステップS33では、障害物の底部に相当する座標が調整エリアBRG_MNよりもカメラC_M側に存在するか否かを判別する。また、ステップS35では、障害物の底部に相当する座標が調整エリアBRG_MNよりもカメラC_N側に存在するか否かを判別する。
【0063】
ステップS33でYESであればステップS37に進み、障害物画像OBJ_Mを選択画像S_MNとして決定する。ステップS33でNOである一方、ステップSステップS35でYESであれば、ステップS39に進み、障害物画像OBJ_Nを選択画像S_MNとして決定する。ステップS37またはS39の処理が完了すると、上階層のルーチンに復帰する。
【0064】
ステップS33およびS35のいずれもNOであれば、ステップS41以降の処理に進む。ステップS41では、カメラC_Nと障害物の底部とを結ぶ連結線CL_Nを鳥瞰画像BEV_N上で定義する。ステップS43では、ステップS41で定義された連結線CL_Nと境界線BL_MNとの角度の相違を“Δθ”として算出する。ステップS45では、算出された相違Δθを参照して障害物画像OBJ_Nの姿勢を修正する。ステップS47では、修正された姿勢を有する障害物画像OBJ_Nを選択画像S_MNとして決定する。ステップS47の処理が完了すると、上階層のルーチンに復帰する。
【0065】
図16に示すステップS7の全周鳥瞰作成処理は、図20〜図21に示すサブルーチンに従う。まずステップS51で変数Mを“1”に設定する。上述と同様、変数Mは“1”→“2”→“3”→“4”の順で更新される変数である。ステップS53では、境界線よりも外方の画像を鳥瞰画像BEV_Mから削除し、ステップS55では変数Mが“4”に達したか否かを判別する。変数Mが“4”に満たなければ、ステップS57で変数Mを更新してからステップS53に戻る。一方、変数Mが“4”を示していればステップS59に進み、ステップS53で加工された鳥瞰画像BEV_1〜BEV_4を座標変換によって互いに結合する。
【0066】
結合画像が完成すると、ステップS61で変数MおよびNをそれぞれ“1”および“2”に設定する。上述と同様、変数Mは“1”→“2”→“3”→“4”の順で更新される変数であり、変数Nは“2”→“3”→“4”→“1”の順で更新される変数である。
【0067】
ステップS63ではフラグFLG_MNが“1”であるか否かを判別し、判別結果がNOであればそのままステップS67に進む一方、判別結果がYESであれば選択画像S_MNをステップS59で作成された結合画像に貼り付ける。ステップS67では変数Mが“4”に達したか否かを判別し、NOであればステップS69で変数MおよびNを更新してからステップS63に戻る一方、YESであれば上階層のルーチンに復帰する。
【0068】
以上の説明から分かるように、カメラC_1〜C_4のうちカメラC_3およびC_4に注目したとき、カメラC_3およびC_4は、共通視野VW_34を部分的に有し、かつ路面に対して斜めに交差する方向の被写界を捉える。CPU12pは、カメラC_3およびC_4からそれぞれ出力された被写界像P_3およびP_4を取り込み(S1)、路面に対する鳥瞰画像を取り込まれた被写界像P_3およびP_4に基づいて作成する(S3, S7)。CPU12pはまた、共通視野VW_34に障害物が存在するとき、鳥瞰画像に現れる障害物画像の姿勢を、カメラC_3およびC_4から被写界に向けて互いに平行に延びる基準線RF3bおよびRF4aに沿うように調整する(S15, S21)。
【0069】
カメラC_3およびC_4の各々は、路面に対して斜めに交差する方向の被写界を捉える。このため、路面の上に障害物が存在する場合、障害物画像は、カメラC_3またはC_4と障害物とを結ぶ線に沿って倒れ込む姿勢で鳥瞰画像に現れる。さらに、障害物画像の姿勢は、立体物とカメラC_3またはC_4との位置関係の変化に起因して変化する。
【0070】
この実施例によれば、共通視野VW_34から障害物が検出されたとき、鳥瞰画像に現れる障害物画像の姿勢が、カメラC_3およびC_4から被写界に向けて互いに平行に延びる基準線RF3bおよびRF4aに沿うように調整される。これによって、障害物とカメラC_3またはC_4との位置関係の変化に起因する障害物画像の姿勢の変化が抑制され、共通視野VW_34における障害物の視認性が向上する。
【0071】
なお、この実施例では、鳥瞰画像BEV_1〜BEV_4を結合するにあたって、境界線BLよりも外方の一部の画像を削除するようにしている(図5参照)。しかし、共通視野を表す2つの部分画像を均等な重み付け量で合成するようにしてもよい。
【0072】
また、この実施例では、基準線RFMbおよびRFNaを重複エリアOL_MN上の境界線BLに平行に延ばすようにしている(M:1→2→3→4,N:2→3→4→1)。しかし、基準線RFMbおよびRFNaは互いに平行であればよく、必ずしも重複エリアOL_MN上の境界線BLと平行である必要はない。たとえば、基準線RF3bおよびRF4aは、図22に示すように定義するようにしてもよい。
【0073】
さらに、図23または図24に示すように基準線RFMbおよびRFNaを互いに平行とならないように延ばす場合には、障害物と境界線BLとの最短距離を算出して図15のような姿勢調整を行うのが好ましい。
【0074】
また、この実施例では、共通視野VW_MNから障害物が発見されると、障害物の大きさに関係なく、障害物画像処理が実行される(図17参照)。しかし、障害物が住宅やビルのように巨大である場合、障害物画像の姿勢を修正すると、障害物の再現性が逆に低下するおそれがある。
【0075】
このような懸念は、図25に示すステップS71〜S73の処理を追加することで解消することができる。図25を参照して、ステップS71では障害物のサイズを検出し、ステップS73では検出されたサイズが閾値THszを下回るか否かを判別する。判別結果がNOであればステップS19に進み、判別結果がYESであればステップS21に進む。
【0076】
また、この実施例では、共通視野VW_MNについて作成した差分画像に基づいて共通視野VW_MNから障害物を検出するようにしている(図17のステップS13〜S15参照)。しかし、障害物の検出にあたっては、ステレオ視手法またはオプティカルフロー手法を用いてもよく、さらには超音波センサ,ミリ波センサまたはマイクロ波センサを用いるようにしてもよい。
【0077】
さらに、この実施例では、障害物の底部に相当する座標が調整エリアBRG_MN内に存在するとき、カメラC_Nに対応する障害物画像OBJ_Nの姿勢を修正し、修正された姿勢を有する障害物画像OBJ_Nを選択画像S_MNとして決定するようにしている。
【0078】
しかし、障害物画像OBJ_MおよびOBJ_Nのいずれにこのような処理を施すかは、カメラC_MおよびC_Nの間の高さの相違,カメラC_MおよびC_Nの各々から障害物までの距離の相違,カメラC_MおよびC_Nの各々からの障害物の見え方に基づいて決定するようにしてもよい。また、基準線RFMbおよびRFNaに沿うように障害物画像OBJ_MおよびOBJ_Nの両方の姿勢を修正し、修正された姿勢を有する障害物画像OBJ_MおよびOBJ_Nを合成し、そして合成障害物画像を選択画像S_MNとして決定するようにしてもよい。
【0079】
なお、電柱,標識,自転車,バイク,自動販売機などは、視点によって見え方が明らかに相違する。したがって、電柱,標識,自転車,バイク,自動販売機などの特定の障害物を予め登録しておき、登録障害物については視認性を基準に選択画像を決定するようにすれば、障害物の再現性の低下を回避することができる。
【0080】
また、この実施例では、鳥瞰画像から切り出した障害物画像を全周鳥瞰画像に貼り付けるようにしている(図18のステップS31,S37,S39〜S47,図21のステップS65参照)。しかし、鳥瞰画像への変換を施される前の被写界像に現れた障害物画像を全周鳥瞰画像に貼り付けるようにしてもよい。
【0081】
上述の実施例に関する注釈事項を以下に示す。この注釈事項は、矛盾がない限り、上述の実施例に任意に組み合わせることが可能である。
【0082】
実施例で述べたような撮影画像から鳥瞰図画像を生成する座標変換は、一般に透視投影変換と呼ばれる。この透視投影変換を用いるのではなく、公知の平面射影変換によって撮影画像から鳥瞰図画像を生成するようにしてもよい。平面射影変換を用いる場合、撮影画像上の各画素の座標値を鳥瞰図画像上の各画素の座標値に変換するためのホモグラフィ行列(座標変換行列)をカメラ校正処理の段階で予め求めておく。ホモグラフィ行列の求め方は公知である。そして、画像変換を行う際に、ホモグラフィ行列に基づいて撮影画像を鳥瞰図画像に変換すればよい。いずれにせよ、撮影画像を鳥瞰図画像上に投影することによって撮影画像が鳥瞰図画像に変換される。
【符号の説明】
【0083】
10 …操縦支援装置
C1〜C4 …カメラ
12 …画像処理回路
12p …CPU
12m …メモリ
14 …フラシュメモリ
16 …表示装置
100 …車両
200 …障害物
【技術分野】
【0001】
この発明は、画像処理装置に関し、特に、基準面に対して斜めに交差する方向の被写界を捉えるカメラから出力された被写界像に基づいて基準面の上方から被写界を捉えた状態を表す鳥瞰画像を作成する、画像処理装置に関する。
【背景技術】
【0002】
この種の装置の一例が、特許文献1に開示されている。この背景技術によれば、4つのカメラは、隣り合う2つのカメラの視野が部分的に共通するように車両に搭載される。車両の周囲はこのようなカメラによって捉えられ、各々のカメラから出力された被写界像は鳥瞰画像に変換される。
【0003】
変換された鳥瞰画像のうち共通視野に対応する部分画像上には、境界線が割り当てられる。4つのカメラにそれぞれ対応する4つの鳥瞰画像は、このような境界線を参照したトリミング処理を経て、互いに合成される。ただし、共通視野から障害物(立体物)が検出された場合、境界線の位置は障害物画像を回避するように変更される。これによって、障害物画像の品質が維持される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2007−104373号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、隣り合う2つのカメラに共通する視野で障害物を捉えた場合、鳥瞰画像の性質上、一方のカメラに対応する鳥瞰画像に現れた障害物画像の姿勢は、他方のカメラに対応する鳥瞰画像に現れた障害物画像の姿勢と異なる。このため、合成鳥瞰画像に現れた障害物を捉えるカメラが境界線の変更に伴って変更されると、障害物画像の姿勢が不連続に変化してしまう。
【0006】
それゆえに、この発明の主たる目的は、共通視野における立体物の視認性を向上させることができる、画像処理装置を提供することである。
【課題を解決するための手段】
【0007】
この発明に従う画像処理装置(10:実施例で相当する参照符号。以下同じ)は、各々が共通視野を部分的に有しかつ基準面に斜めに交差する方向の被写界を捉える複数のカメラ(C_3, C_4)、複数のカメラからそれぞれ出力された複数の被写界像に基づいて基準面に対する鳥瞰画像を作成する作成手段(S3, S51~S59)、共通視野に存在する立体物と複数のカメラとの位置関係を判別する判別手段(S33~S35)、および作成手段によって作成された鳥瞰画像上の立体物画像の姿勢を判別手段の判別結果に基づいて調整する調整手段(S31, S37, S39, S41~S47, S65)を備える。
【0008】
好ましくは、判別手段は立体物が複数のカメラから被写界に向けて既定態様で延びる複数の基準線によって挟まれるか否かを判別し、調整手段は複数の基準線に沿うように立体物画像の姿勢を調整する。
【0009】
ある局面では、既定態様は複数の基準線が互いに平行である態様に相当する。
【0010】
他の局面では、立体物画像は複数のカメラの1つである基準カメラによって捉えられた立体物の鳥瞰画像に相当し、調整手段は、立体物が複数の基準線によって挟まれる視野に属するとき基準カメラと立体物とを結ぶ線を定義する定義手段(S41)、および定義手段によって定義された線と基準線との間の角度の相違を参照して立体物画像の姿勢を修正する修正手段(S43~S45)を含む。
【0011】
さらに好ましくは、調整手段は立体物が複数の基準線によって挟まれる視野から外れるとき複数のカメラのうち立体物により近いカメラを基準カメラとして選択する選択手段(S37, S39)を含む。
【0012】
好ましくは、立体物が特定条件に合致するとき調整手段の調整処理を制限する制限手段(S73)がさらに備えられる。
【発明の効果】
【0013】
この発明によれば、鳥瞰画像上の立体物画像の姿勢が、共通視野に存在する立体物と複数のカメラとの位置関係に基づいて調整される。これによって、立体物とカメラとの位置関係の変化に起因する立体物画像の姿勢の変化が抑制され、共通視野における立体物の視認性が向上する。
【0014】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【0015】
【図1】この発明の基本的構成を示すブロック図である。
【図2】この発明の一実施例の構成を示すブロック図である。
【図3】車両に取り付けられた複数のカメラによって捉えられる視野を示す図解図である。
【図4】(A)は前カメラの出力に基づく鳥瞰図画像の一例を示す図解図であり、(B)は右カメラの出力に基づく鳥瞰図画像の一例を示す図解図であり、(C)は左カメラの出力に基づく鳥瞰図画像の一例を示す図解図であり、(D)は後カメラの出力に基づく鳥瞰図画像の一例を示す図解図である。
【図5】全周鳥瞰図画像の作成動作の一部を示す図解図である。
【図6】作成された全周鳥瞰図画像の一例を示す図解図である。
【図7】表示装置によって表示される運転支援画像の一例を示す図解図である。
【図8】車両に取り付けられたカメラの角度を示す図解図である。
【図9】カメラ座標系と撮像面の座標系と世界座標系との関係を示す図解図である。
【図10】車両とその周辺に存在する障害物の一例を示す図解図である。
【図11】運転支援画像の作成動作の他の一部を示す図解図である。
【図12】障害物画像を再現する動作の一例を示す図解図である。
【図13】障害物画像の再現する動作の他の一例を示す図解図である。
【図14】障害物画像の再現する動作のその他の一例を示す図解図である。
【図15】(A)は姿勢調整前の障害物画像の再現状態を示す図解図であり、(B)は姿勢調整後の障害物画像の再現状態を示す図解図である。
【図16】図2実施例に適用されるCPUの動作の一部を示すフロー図である。
【図17】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図18】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図19】図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。
【図20】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図21】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図22】調整エリアの割り当て状態の他の一例を示す図解図である。
【図23】調整エリアの割り当て状態のその他の一例を示す図解図である。
【図24】調整エリアの割り当て状態のさらにその他の一例を示す図解図である。
【図25】その他の実施例に適用されるCPUの動作の一部を示すフロー図である。
【発明を実施するための形態】
【0016】
以下、この発明の実施の形態を図面を参照しながら説明する。
[基本的構成]
【0017】
図1を参照して、この発明の画像処理装置は、基本的に次のように構成される。複数のカメラ1,1,…の各々は、共通視野を部分的に有し、かつ基準面に斜めに交差する方向の被写界を捉える。作成手段2は、複数のカメラ1,1,…からそれぞれ出力された複数の被写界像に基づいて、基準面に対する鳥瞰画像を作成する。判別手段3は、共通視野に存在する立体物と複数のカメラ1,1,…との位置関係を判別する。調整手段4は、作成手段2によって作成された鳥瞰画像上の立体物画像の姿勢を、判別手段3の判別結果に基づいて調整する。
【0018】
カメラ1は、基準面に対して斜めに交差する方向の被写界を捉える。このため、基準面の上に立体物が存在する場合、立体物画像は、立体物とカメラ1とを結ぶ線に沿って倒れ込む姿勢で鳥瞰画像に現れる。さらに、立体物画像の姿勢は、立体物とカメラ1との位置関係の変化に起因して変化する。
【0019】
この発明によれば、鳥瞰画像上の立体物画像の姿勢が、共通視野に存在する立体物と複数のカメラ1,1,…との位置関係に基づいて調整される。これによって、立体物とカメラ1との位置関係の変化に起因する立体物画像の姿勢の変化が抑制され、共通視野における立体物の視認性が向上する。
[実施例]
【0020】
図2に示すこの実施例の操縦支援装置10は、4個のカメラC_1〜C_4を含む。カメラC_1〜C_4はそれぞれ、共通のタイミング信号に同期して被写界像P_1〜P_4を1/30秒毎に出力する。出力された被写界像P_1〜P_4は、画像処理回路12に与えられる。
【0021】
図3を参照して、カメラC_1は、カメラC_1の光軸が車両100の前方斜め下向きに延びる姿勢で、車両100の前部中央に設置される。カメラC_2は、カメラC_2の光軸が車両100の右方斜め下向きに延びる姿勢で、車両100の右側中央に設置される。カメラC_3は、カメラC_3の光軸が車両100の後方斜め下向きに延びる姿勢で、車両100の後部上側に設置される。カメラC_4は、カメラC_4の光軸が車両100の左方斜め下向きに延びる姿勢で、車両100の左側中央に設置される。車両100の周辺の被写界は、このようなカメラC_1〜C_4によって路面に斜め方向に交差する方向から捉えられる。
【0022】
カメラC_1は車両100の前方を捉える視野VW_1を有し、カメラC_2は車両100の右方向を捉える視野VW_2を有し、カメラC_3は車両100の後方を捉える視野VW_3を有し、そしてカメラC_4は車両100の左方向を捉える視野VW_4を有する。また、視野VW_1およびVW_2は共通視野VW_12を有し、視野VW_2およびVW_3は共通視野VW_23を有し、視野VW_3およびVW_4は共通視野VW_34を有し、そして視野VW_4およびVW_1は共通視野VW_41を有する。
【0023】
図2に戻って、画像処理回路12に設けられたCPU12pは、カメラC_1から出力された被写界像P_1に基づいて図4(A)に示す鳥瞰画像BEV_1を生成し、カメラC_2から出力された被写界像P_2に基づいて図4(B)に示す鳥瞰画像BEV_2を生成する。CPU12pはまた、カメラC_3から出力された被写界像P_3に基づいて図4(C)に示す鳥瞰画像BEV_3を生成し、カメラC_4から出力された被写界像P_4に基づいて図4(D)に示す鳥瞰画像BEV_4を生成する。
【0024】
鳥瞰画像BEV_1は視野VW_1を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰画像BEV_2は視野VW_2を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。また、鳥瞰画像BEV_3は視野VW_3を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰画像BEV_4は視野VW_4を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。
【0025】
図4(A)〜図4(D)によれば、鳥瞰画像BEV_1は鳥瞰座標系X1・Y1を有し、鳥瞰画像BEV_2は鳥瞰座標系X2・Y2を有し、鳥瞰画像BEV_3は鳥瞰座標系X3・Y3を有し、そして鳥瞰画像BEV_4は鳥瞰座標系X4・Y4を有する。このような鳥瞰画像BEV_1〜BEV_4は、メモリ12mのワークエリアW1に保持される。
【0026】
CPU12pは続いて、鳥瞰画像BEV_1〜BEV_4の各々から境界線BLよりも外方の一部の画像を削除し、削除の後に残った鳥瞰画像BEV_1〜BEV_4(図5参照)を回転/移動処理によって互いに結合する。この結果、図6に示す全周鳥瞰画像がメモリ12mのワークエリアW2内に得られる。
【0027】
図6において、斜線で示す重複エリアOL_12が共通視野VW_12を再現するエリアに相当し、斜線で示す重複エリアOL_23が共通視野VW_23を再現するエリアに相当する。また、斜線で示す重複エリアOL_34が共通視野VW_34を再現するエリアに相当し、斜線で示す重複エリアOL_41が共通視野VW_41を再現するエリアに相当する。
【0028】
運転席に設置された表示装置16は、重複エリアOL_12〜OL_41が四隅に位置する一部の画像D1をワークエリアW2上の全周鳥瞰画像から抽出し、車両100の上部を模した車両画像D2を抽出された画像D1の中央に貼り付ける。この結果、図7に示す運転支援画像がモニタ画面に表示される。
【0029】
次に、鳥瞰画像BEV_1〜BEV_4の作成要領について説明する。ただし、鳥瞰画像BEV_1〜BEV_4はいずれも同じ要領で作成されるため、鳥瞰画像BEV_1〜BEV_4を代表して鳥瞰画像BEV3の作成要領を説明する。
【0030】
図8を参照して、カメラC_3は車両100の後部に後方斜め下向きに配置される。カメラC_3の俯角を“θd”とすると、図7に示す角度θは“180°−θd”に相当する。また、角度θは、90°<θ<180°の範囲で定義される。
【0031】
図9は、カメラ座標系X・Y・Zと、カメラC_3の撮像面Sの座標系Xp・Ypと、世界座標系Xw・Yw・Zwとの関係を示す。カメラ座標系X・Y・Zは、X軸,Y軸およびZ軸を座標軸とする三次元の座標系である。座標系Xp・Ypは、Xp軸およびYp軸を座標軸とする二次元の座標系である。世界座標系Xw・Yw・Zwは、Xw軸,Yw軸およびZw軸を座標軸とする三次元の座標系である。
【0032】
カメラ座標系X・Y・Zでは、カメラC3の光学的中心を原点Oとして、光軸方向にZ軸が定義され、Z軸に直交しかつ路面に平行な方向にX軸が定義され、そしてZ軸およびX軸に直交する方向にY軸が定義される。撮像面Sの座標系Xp・Ypでは、撮像面Sの中心を原点として、撮像面Sの横方向にXp軸が定義され、撮像面Sの縦方向にYp軸が定義される。
【0033】
世界座標系Xw・Yw・Zwでは、カメラ座標系XYZの原点Oを通る鉛直線と路面との交点を原点Owとして、路面と垂直な方向にYw軸が定義され、カメラ座標系X・Y・ZのX軸と平行な方向にXw軸が定義され、そしてXw軸およびYw軸に直交する方向にZw軸が定義される。また、Xw軸からX軸までの距離は“h”であり、Zw軸およびZ軸によって形成される鈍角が上述の角度θに相当する。
【0034】
カメラ座標系X・Y・Zにおける座標を(x,y,z)と表記した場合、“x”,“y”および“z”はそれぞれ、カメラ座標系X・Y・ZにおけるX軸成分,Y軸成分およびZ軸成分を示す。撮像面Sの座標系Xp・Ypにおける座標を(xp,yp)と表記した場合、“xp”および“yp”はそれぞれ、撮像面Sの座標系Xp・YpにおけるXp軸成分およびYp軸成分を示す。世界座標系Xw・Yw・Zwにおける座標を(xw,yw,zw)と表記した場合、“xw”,“yw”および“zw”はそれぞれ、世界座標系Xw・Yw・ZwにおけるXw軸成分,Yw軸成分およびZw軸成分を示す。
【0035】
カメラ座標系X・Y・Zの座標(x,y,z)と世界座標系Xw・Yw・Zwの座標(xw,yw,zw)との間の変換式は、数1で表される。
【数1】
【0036】
ここで、カメラC_3の焦点距離を“f”とすると、撮像面Sの座標系Xp・Ypの座標(xp,yp)とカメラ座標系X・Y・Zの座標(x,y,z)との間の変換式は、数2で表される。
【数2】
【0037】
また、数1および数2に基づいて数3が得られる。数3は、撮像面Sの座標系Xp・Ypの座標(xp,yp)と二次元路面座標系Xw・Zwの座標(xw,zw)との間の変換式を示す。
【数3】
【0038】
また、図4(C)に示す鳥瞰画像BEV_3の座標系である鳥瞰座標系X3・Y3が定義される。鳥瞰座標系X3・Y3は、X3軸及びY3軸を座標軸とする二次元の座標系である。鳥瞰座標系X3・Y3における座標を(x3,y3)と表記した場合、鳥瞰画像BEV_3を形成する各画素の位置は座標(x3,y3)によって表される。“x3”および“y3”はそれぞれ、鳥瞰座標系X3・Y3におけるX3軸成分およびY3軸成分を示す。
【0039】
路面を表す二次元座標系Xw・Zwから鳥瞰座標系X3・Y3への投影は、いわゆる平行投影に相当する。仮想カメラつまり仮想視点の高さを“H”とすると、二次元座標系Xw・Zwの座標(xw,zw)と鳥瞰座標系X3・Y3の座標(x3,y3)との間の変換式は、数4で表される。仮想カメラの高さHは予め決められている。
【数4】
【0040】
さらに、数4に基づいて数5が得られ、数5および数3に基づいて数6が得られ、そして数6に基づいて数7が得られる。数7は、撮像面Sの座標系Xp・Ypの座標(xp,yp)を鳥瞰座標系X3・Y3の座標(x3,y3)に変換するための変換式に相当する。
【数5】
【数6】
【数7】
【0041】
撮像面Sの座標系Xp・Ypの座標(xp,yp)は、カメラC_3によって捉えられた被写界像P_3の座標を表す。したがって、カメラC3からの被写界像P_3は、数7を用いることによって鳥瞰画像BEV_3に変換される。実際には、被写界像P_3はまずレンズ歪み補正などの画像処理を施され、その後に数7によって鳥瞰画像BEV_3に変換される。
【0042】
図10および図11を参照して、車両100の左後方の共通視野VW_34に障害物(立体物)200が存在する場合、カメラC_3で捉えられた障害物は障害物画像OBJ_3として鳥瞰画像BEV_3に現れ、カメラC_4で捉えられた障害物は障害物画像OBJ_4として鳥瞰画像BEV_3に現れる。
【0043】
障害物画像OBJ_3およびOBJ_4の姿勢は、カメラC_3の視点とカメラC_4の視点との相違に起因して、互いに相違する。つまり、障害物画像OBJ_3はカメラC_3と障害物200の底部とを結ぶ連結線CL_3に沿って倒れ込むように再現され、障害物画像OBJ_4はカメラC_4と障害物200の底部とを結ぶ連結線CL_4に沿って倒れ込むように再現される。
【0044】
このような障害物200を全周鳥瞰画像上で表示するとき、CPU12pは、次のような処理を実行する。
【0045】
処理の前提として、基準線RF1aは、カメラC_1から共通視野VW_41に向かって、重複エリアOL_41上の境界線BLと平行に延びる。基準線RF1bは、カメラC_1から共通視野VW_12に向かって、重複エリアOL_12上の境界線BLと平行に延びる。基準線RF2aは、カメラC_2から共通視野VW_12に向かって、重複エリアOL_12上の境界線BLと平行に延びる。基準線RF2bは、カメラC_2から共通視野VW_23に向かって、重複エリアOL_23上の境界線BLと平行に延びる。
【0046】
基準線RF3aは、カメラC_3から共通視野VW_23に向かって、重複エリアOL_23上の境界線BLと平行に延びる。基準線RF3bは、カメラC_3から共通視野VW_34に向かって、重複エリアOL_34上の境界線BLと平行に延びる。基準線RF4aは、カメラC_4から共通視野VW_34に向かって、重複エリアOL_34上の境界線BLと平行に延びる。基準線RF4bは、カメラC_4から共通視野VW_41に向かって、重複エリアOL_41上の境界線BLと平行に延びる。
【0047】
また、調整エリアBRG_12は車両100の右前方に帯状に延びる態様で重複エリアOL_12に割り当てられ、調整エリアBRG_23は車両100の右後方に帯状に延びる態様で重複エリアOL_23に割り当てられる。調整エリアBRG_34は車両100の左後方に帯状に延びる態様で重複エリアOL_34に割り当てられ、調整エリアBRG_41は車両100の左前方に帯状に延びる態様で重複エリアOL_41に割り当てられる。
【0048】
調整エリアBRG_12の幅方向のエッジは基準線RF1bおよびRF2aに平行に延び、調整エリアBRG_23の幅方向のエッジは基準線RF2bおよびRF3aに平行に延びる。また、調整エリアBRG_34の幅方向のエッジは基準線RF3bおよびRF4aに平行に延び、調整エリアBRG_41の幅方向のエッジは基準線RF4bおよびRF1aに平行に延びる。
【0049】
障害物200を全周鳥瞰画像上に再現するにあたっては、まず、何らかの障害物が存在するか否かが共通視野VW_12〜VW_41の各々について判別される。障害物200は共通視野VW_34に存在し、対応する障害物画像OBJ_3およびOBJ_4が鳥瞰画像BEV_3およびBEV_4にそれぞれ再現される。このため、障害物画像OBJ_3が鳥瞰画像BEV_3から切り出され、障害物画像OBJ_4が鳥瞰画像BEV_4から切り出される。続いて、障害物200の底部に相当する座標が調整エリアBRG_34に対してどのような位置関係にあるかが判別される。
【0050】
図12の上段に示すように障害物200の底部に相当する座標が調整エリアBRG_34よりもカメラC_3側に存在するときは、障害物画像OBJ_3が共通視野VW_34における選択画像S_34として決定される。また、図13の上段に示すように障害物200の底部に相当する座標が調整エリアBRG_34よりもカメラC_4側に存在するときは、障害物画像OBJ_4が共通視野VW_34における選択画像S_34として決定される。
【0051】
さらに、図14に示すように、障害物200の底部に相当する座標が調整エリアBRG_34上に存在するときは、カメラC_4と障害物200の底部とを結ぶ連結線CL_4が鳥瞰画像BEV_4上で定義される。さらに、定義された連結線CL_4の角度と共通視野VW_34に割り当てられた境界線BLの角度(つまり基準線RF3bおよびRF4aの角度)との相違が、“Δθ”として算出される。
【0052】
障害物画像OBJ_4の姿勢は、算出された相違Δθを参照して、境界線BL(つまり基準線RF3bおよびRF4a)に沿うように修正される。このような修正処理の結果、障害物画像OBJ_4が倒れ込む方向は、図14の下段に示すように、境界線BL(つまり基準線RF3bおよびRF4a)の長さ方向と一致する。修正された姿勢を有する障害物画像OBJ_4はその後、共通視野VW_34における選択画像S_34として決定される。
【0053】
なお、障害物200の底部に相当する座標が図15(A)に示す要領で調整エリアBRG_34内を遷移したとき、障害物画像OBJ_4の姿勢は図15(B)に示す要領で修正される。
【0054】
全周鳥瞰画像を作成するにあたっては、境界線BLよりも外方の画像が鳥瞰画像BEV_1〜BEV_4の各々から削除され、削除の後に残った鳥瞰画像BEV_1〜BEV_4が互いに結合される(図5〜図6参照)。選択画像S_34は結合画像に貼り付けられ、これによって全周鳥瞰画像が完成する。完成した全周鳥瞰画像の重複エリアOL_34には、図12の下段,図13の下段または図14の下段に示す要領で障害物画像OBJ_3またはOBJ_4が再現される。
【0055】
CPU12pは、具体的には図16〜図21に示すフロー図に従う処理を実行する。なお、これらのフロー図に対応する制御プログラムは、フラッシュメモリ14(図1参照)に記憶される。
【0056】
図16に示すステップS1では、カメラC_1〜C_4から被写界像P_1〜P_4を取り込む。ステップS3では、取り込まれた被写界像P_1〜P_4に基づいて鳥瞰画像BEV_1〜BEV_4を作成する。作成された鳥瞰画像BEV_1〜BEV_4は、ワークエリアW1に確保される。ステップS5では、障害物検知処理を実行する。ステップS7では、ステップS3で作成された鳥瞰画像BEV_1〜BEV_4に基づいて全周鳥瞰画像を作成する。作成された全周鳥瞰画像は、ワークエリアW2に確保される。表示装置16のモニタ画面には、ワークエリアW2に確保された全周鳥瞰画像に基づく運転支援画像が表示される。ステップS7の処理が完了すると、ステップS1に戻る。
【0057】
ステップS5に示す障害物検知処理は、図17〜図18に示すサブルーチンに従う。まずステップS11で変数MおよびNをそれぞれ“1”および“2”に設定する。ここで、変数Mは“1”→“2”→“3”→“4”の順で更新される変数であり、変数Nは“2”→“3”→“4”→“1”の順で更新される変数である。
【0058】
ステップS13では、カメラC_Mの出力に基づく鳥瞰画像BEV_MとカメラC_Nの出力に基づく鳥瞰画像BEV_Nとに基づいて、共通視野VW_MNにおける差分画像を作成する。ステップS15では、共通視野VW_MNに障害物が存在するか否かを、ステップS13で作成された差分画像に基づいて判別する。
【0059】
共通視野VW_MNから障害物が検出されなければ、ステップS17でフラグFLG_MNを“0”に設定し、ステップS23に進む。一方、共通視野VW_MNから障害物が検出されれば、ステップS19でフラグFLG_MNを“1”に設定し、ステップS21で障害物画像処理を実行し、その後にステップS23に進む。
【0060】
ステップS23では、変数Mが“4”を示すか否かを判別する。変数Mが“4”に満たなければ、変数MおよびNをステップS25で更新してからステップS13に戻る。これに対して、変数Mが“4”であれば、上階層のルーチンに復帰する。
【0061】
図17に示すステップS21の障害物画像処理は、図18〜図19に示すサブルーチンに従って実行される。まずステップS31で、障害物画像OBJ_Mを鳥瞰画像BEV_Mから切り出すとともに、障害物画像OBJ_Nを鳥瞰画像BEV_Nから切り出す。
【0062】
ステップS33では、障害物の底部に相当する座標が調整エリアBRG_MNよりもカメラC_M側に存在するか否かを判別する。また、ステップS35では、障害物の底部に相当する座標が調整エリアBRG_MNよりもカメラC_N側に存在するか否かを判別する。
【0063】
ステップS33でYESであればステップS37に進み、障害物画像OBJ_Mを選択画像S_MNとして決定する。ステップS33でNOである一方、ステップSステップS35でYESであれば、ステップS39に進み、障害物画像OBJ_Nを選択画像S_MNとして決定する。ステップS37またはS39の処理が完了すると、上階層のルーチンに復帰する。
【0064】
ステップS33およびS35のいずれもNOであれば、ステップS41以降の処理に進む。ステップS41では、カメラC_Nと障害物の底部とを結ぶ連結線CL_Nを鳥瞰画像BEV_N上で定義する。ステップS43では、ステップS41で定義された連結線CL_Nと境界線BL_MNとの角度の相違を“Δθ”として算出する。ステップS45では、算出された相違Δθを参照して障害物画像OBJ_Nの姿勢を修正する。ステップS47では、修正された姿勢を有する障害物画像OBJ_Nを選択画像S_MNとして決定する。ステップS47の処理が完了すると、上階層のルーチンに復帰する。
【0065】
図16に示すステップS7の全周鳥瞰作成処理は、図20〜図21に示すサブルーチンに従う。まずステップS51で変数Mを“1”に設定する。上述と同様、変数Mは“1”→“2”→“3”→“4”の順で更新される変数である。ステップS53では、境界線よりも外方の画像を鳥瞰画像BEV_Mから削除し、ステップS55では変数Mが“4”に達したか否かを判別する。変数Mが“4”に満たなければ、ステップS57で変数Mを更新してからステップS53に戻る。一方、変数Mが“4”を示していればステップS59に進み、ステップS53で加工された鳥瞰画像BEV_1〜BEV_4を座標変換によって互いに結合する。
【0066】
結合画像が完成すると、ステップS61で変数MおよびNをそれぞれ“1”および“2”に設定する。上述と同様、変数Mは“1”→“2”→“3”→“4”の順で更新される変数であり、変数Nは“2”→“3”→“4”→“1”の順で更新される変数である。
【0067】
ステップS63ではフラグFLG_MNが“1”であるか否かを判別し、判別結果がNOであればそのままステップS67に進む一方、判別結果がYESであれば選択画像S_MNをステップS59で作成された結合画像に貼り付ける。ステップS67では変数Mが“4”に達したか否かを判別し、NOであればステップS69で変数MおよびNを更新してからステップS63に戻る一方、YESであれば上階層のルーチンに復帰する。
【0068】
以上の説明から分かるように、カメラC_1〜C_4のうちカメラC_3およびC_4に注目したとき、カメラC_3およびC_4は、共通視野VW_34を部分的に有し、かつ路面に対して斜めに交差する方向の被写界を捉える。CPU12pは、カメラC_3およびC_4からそれぞれ出力された被写界像P_3およびP_4を取り込み(S1)、路面に対する鳥瞰画像を取り込まれた被写界像P_3およびP_4に基づいて作成する(S3, S7)。CPU12pはまた、共通視野VW_34に障害物が存在するとき、鳥瞰画像に現れる障害物画像の姿勢を、カメラC_3およびC_4から被写界に向けて互いに平行に延びる基準線RF3bおよびRF4aに沿うように調整する(S15, S21)。
【0069】
カメラC_3およびC_4の各々は、路面に対して斜めに交差する方向の被写界を捉える。このため、路面の上に障害物が存在する場合、障害物画像は、カメラC_3またはC_4と障害物とを結ぶ線に沿って倒れ込む姿勢で鳥瞰画像に現れる。さらに、障害物画像の姿勢は、立体物とカメラC_3またはC_4との位置関係の変化に起因して変化する。
【0070】
この実施例によれば、共通視野VW_34から障害物が検出されたとき、鳥瞰画像に現れる障害物画像の姿勢が、カメラC_3およびC_4から被写界に向けて互いに平行に延びる基準線RF3bおよびRF4aに沿うように調整される。これによって、障害物とカメラC_3またはC_4との位置関係の変化に起因する障害物画像の姿勢の変化が抑制され、共通視野VW_34における障害物の視認性が向上する。
【0071】
なお、この実施例では、鳥瞰画像BEV_1〜BEV_4を結合するにあたって、境界線BLよりも外方の一部の画像を削除するようにしている(図5参照)。しかし、共通視野を表す2つの部分画像を均等な重み付け量で合成するようにしてもよい。
【0072】
また、この実施例では、基準線RFMbおよびRFNaを重複エリアOL_MN上の境界線BLに平行に延ばすようにしている(M:1→2→3→4,N:2→3→4→1)。しかし、基準線RFMbおよびRFNaは互いに平行であればよく、必ずしも重複エリアOL_MN上の境界線BLと平行である必要はない。たとえば、基準線RF3bおよびRF4aは、図22に示すように定義するようにしてもよい。
【0073】
さらに、図23または図24に示すように基準線RFMbおよびRFNaを互いに平行とならないように延ばす場合には、障害物と境界線BLとの最短距離を算出して図15のような姿勢調整を行うのが好ましい。
【0074】
また、この実施例では、共通視野VW_MNから障害物が発見されると、障害物の大きさに関係なく、障害物画像処理が実行される(図17参照)。しかし、障害物が住宅やビルのように巨大である場合、障害物画像の姿勢を修正すると、障害物の再現性が逆に低下するおそれがある。
【0075】
このような懸念は、図25に示すステップS71〜S73の処理を追加することで解消することができる。図25を参照して、ステップS71では障害物のサイズを検出し、ステップS73では検出されたサイズが閾値THszを下回るか否かを判別する。判別結果がNOであればステップS19に進み、判別結果がYESであればステップS21に進む。
【0076】
また、この実施例では、共通視野VW_MNについて作成した差分画像に基づいて共通視野VW_MNから障害物を検出するようにしている(図17のステップS13〜S15参照)。しかし、障害物の検出にあたっては、ステレオ視手法またはオプティカルフロー手法を用いてもよく、さらには超音波センサ,ミリ波センサまたはマイクロ波センサを用いるようにしてもよい。
【0077】
さらに、この実施例では、障害物の底部に相当する座標が調整エリアBRG_MN内に存在するとき、カメラC_Nに対応する障害物画像OBJ_Nの姿勢を修正し、修正された姿勢を有する障害物画像OBJ_Nを選択画像S_MNとして決定するようにしている。
【0078】
しかし、障害物画像OBJ_MおよびOBJ_Nのいずれにこのような処理を施すかは、カメラC_MおよびC_Nの間の高さの相違,カメラC_MおよびC_Nの各々から障害物までの距離の相違,カメラC_MおよびC_Nの各々からの障害物の見え方に基づいて決定するようにしてもよい。また、基準線RFMbおよびRFNaに沿うように障害物画像OBJ_MおよびOBJ_Nの両方の姿勢を修正し、修正された姿勢を有する障害物画像OBJ_MおよびOBJ_Nを合成し、そして合成障害物画像を選択画像S_MNとして決定するようにしてもよい。
【0079】
なお、電柱,標識,自転車,バイク,自動販売機などは、視点によって見え方が明らかに相違する。したがって、電柱,標識,自転車,バイク,自動販売機などの特定の障害物を予め登録しておき、登録障害物については視認性を基準に選択画像を決定するようにすれば、障害物の再現性の低下を回避することができる。
【0080】
また、この実施例では、鳥瞰画像から切り出した障害物画像を全周鳥瞰画像に貼り付けるようにしている(図18のステップS31,S37,S39〜S47,図21のステップS65参照)。しかし、鳥瞰画像への変換を施される前の被写界像に現れた障害物画像を全周鳥瞰画像に貼り付けるようにしてもよい。
【0081】
上述の実施例に関する注釈事項を以下に示す。この注釈事項は、矛盾がない限り、上述の実施例に任意に組み合わせることが可能である。
【0082】
実施例で述べたような撮影画像から鳥瞰図画像を生成する座標変換は、一般に透視投影変換と呼ばれる。この透視投影変換を用いるのではなく、公知の平面射影変換によって撮影画像から鳥瞰図画像を生成するようにしてもよい。平面射影変換を用いる場合、撮影画像上の各画素の座標値を鳥瞰図画像上の各画素の座標値に変換するためのホモグラフィ行列(座標変換行列)をカメラ校正処理の段階で予め求めておく。ホモグラフィ行列の求め方は公知である。そして、画像変換を行う際に、ホモグラフィ行列に基づいて撮影画像を鳥瞰図画像に変換すればよい。いずれにせよ、撮影画像を鳥瞰図画像上に投影することによって撮影画像が鳥瞰図画像に変換される。
【符号の説明】
【0083】
10 …操縦支援装置
C1〜C4 …カメラ
12 …画像処理回路
12p …CPU
12m …メモリ
14 …フラシュメモリ
16 …表示装置
100 …車両
200 …障害物
【特許請求の範囲】
【請求項1】
各々が共通視野を部分的に有しかつ基準面に斜めに交差する方向の被写界を捉える複数のカメラ、
前記複数のカメラからそれぞれ出力された複数の被写界像に基づいて前記基準面に対する鳥瞰画像を作成する作成手段、
前記共通視野に存在する立体物と前記複数のカメラとの位置関係を判別する判別手段、および
前記作成手段によって作成された鳥瞰画像上の立体物画像の姿勢を前記判別手段の判別結果に基づいて調整する調整手段を備える、画像処理装置。
【請求項2】
前記判別手段は前記立体物が前記複数のカメラから前記被写界に向けて既定態様で延びる複数の基準線によって挟まれるか否かを判別し、
前記調整手段は前記複数の基準線に沿うように前記立体物画像の姿勢を調整する、請求項1記載の画像処理装置。
【請求項3】
前記既定態様は前記複数の基準線が互いに平行である態様に相当する、請求項2記載の画像処理装置。
【請求項4】
前記立体物画像は前記複数のカメラの1つである基準カメラによって捉えられた前記立体物の鳥瞰画像に相当し、
前記調整手段は、前記立体物が前記複数の基準線によって挟まれる視野に属するとき前記基準カメラと前記立体物とを結ぶ線を定義する定義手段、および前記定義手段によって定義された線と前記基準線との間の角度の相違を参照して前記立体物画像の姿勢を修正する修正手段を含む、請求項2または3記載の画像処理装置。
【請求項5】
前記調整手段は前記立体物が前記複数の基準線によって挟まれる視野から外れるとき前記複数のカメラのうち前記立体物により近いカメラを前記基準カメラとして選択する選択手段を含む、請求項4記載の画像処理装置。
【請求項6】
前記立体物が特定条件に合致するとき前記調整手段の調整処理を制限する制限手段をさらに備える、請求項1ないし5のいずれかに記載の画像処理装置。
【請求項1】
各々が共通視野を部分的に有しかつ基準面に斜めに交差する方向の被写界を捉える複数のカメラ、
前記複数のカメラからそれぞれ出力された複数の被写界像に基づいて前記基準面に対する鳥瞰画像を作成する作成手段、
前記共通視野に存在する立体物と前記複数のカメラとの位置関係を判別する判別手段、および
前記作成手段によって作成された鳥瞰画像上の立体物画像の姿勢を前記判別手段の判別結果に基づいて調整する調整手段を備える、画像処理装置。
【請求項2】
前記判別手段は前記立体物が前記複数のカメラから前記被写界に向けて既定態様で延びる複数の基準線によって挟まれるか否かを判別し、
前記調整手段は前記複数の基準線に沿うように前記立体物画像の姿勢を調整する、請求項1記載の画像処理装置。
【請求項3】
前記既定態様は前記複数の基準線が互いに平行である態様に相当する、請求項2記載の画像処理装置。
【請求項4】
前記立体物画像は前記複数のカメラの1つである基準カメラによって捉えられた前記立体物の鳥瞰画像に相当し、
前記調整手段は、前記立体物が前記複数の基準線によって挟まれる視野に属するとき前記基準カメラと前記立体物とを結ぶ線を定義する定義手段、および前記定義手段によって定義された線と前記基準線との間の角度の相違を参照して前記立体物画像の姿勢を修正する修正手段を含む、請求項2または3記載の画像処理装置。
【請求項5】
前記調整手段は前記立体物が前記複数の基準線によって挟まれる視野から外れるとき前記複数のカメラのうち前記立体物により近いカメラを前記基準カメラとして選択する選択手段を含む、請求項4記載の画像処理装置。
【請求項6】
前記立体物が特定条件に合致するとき前記調整手段の調整処理を制限する制限手段をさらに備える、請求項1ないし5のいずれかに記載の画像処理装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【公開番号】特開2010−245803(P2010−245803A)
【公開日】平成22年10月28日(2010.10.28)
【国際特許分類】
【出願番号】特願2009−91779(P2009−91779)
【出願日】平成21年4月6日(2009.4.6)
【出願人】(000001889)三洋電機株式会社 (18,308)
【Fターム(参考)】
【公開日】平成22年10月28日(2010.10.28)
【国際特許分類】
【出願日】平成21年4月6日(2009.4.6)
【出願人】(000001889)三洋電機株式会社 (18,308)
【Fターム(参考)】
[ Back to top ]