操縦支援装置
【構成】カメラＣ＿１〜Ｃ＿４の各々は、車両に斜め下向きの姿勢で設けられて、車両の周辺の被写界を捉える。ＣＰＵ１２ｐは、カメラＣ＿１〜Ｃ＿４の各々から出力された被写界像を鳥瞰画像に変換し、変換された鳥瞰画像からエッジを抽出する。ＣＰＵ１２ｐはまた、抽出されたエッジによって描かれる線の角度情報を抽出されたエッジ上の複数の位置に対応して検出し、検出された角度情報のうち検出回数が基準を上回る特定角度情報に対応して警告のような操縦支援処理を実行する。
【効果】操縦支援のための負荷を低減することができる。
【効果】操縦支援のための負荷を低減することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、操縦支援装置に関し、特に、移動体に斜め下向きの姿勢で設けられて移動体の周辺の被写界を捉えるカメラから出力された被写界像に基づいて操縦者の操作を支援する、操縦支援装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、車両の前部に搭載されたカメラから出力された路面画像が、俯瞰変換ユニットによって俯瞰画像に変換される。強度プロファイル作成ユニットは、俯瞰画像に現れる路面の路幅方向における複数の位置で、路幅方向に直交する方向の輝度を積分する。レーンマーカ検出ユニットは、強度プロファイル作成ユニットによって検出された積分輝度の分布に基づいて、路面に設置されたレーンマーカの位置を検出する。これによって、車両がレーンから逸脱したときに速やかに警報を発生することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１４５８５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、背景技術では、路幅方向における複数の位置で路幅方向に直交する方向の輝度を積分する必要があり、過負荷が懸念される。
【０００５】
それゆえに、この発明の主たる目的は、操縦支援のための負荷を低減することができる、操縦支援装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う操縦支援装置(10：実施例で相当する参照符号。以下同じ)は、移動体(100)に斜め下向きの姿勢で設けられて移動体の周辺の被写界を捉える撮像手段(C_1~C_4)から出力された被写界像を鳥瞰画像に変換する変換手段(S5)、変換手段によって変換された鳥瞰画像からエッジを抽出する抽出手段(S15)、抽出手段によって抽出されたエッジによって描かれる線の角度情報を抽出手段によって抽出されたエッジ上の複数の位置に対応して検出する検出手段(S17~S25)、および検出手段によって検出された角度情報のうち検出回数が基準を上回る特定角度情報に対応して操縦支援処理を実行する処理手段(S31, S35, S51, S53)を備える。
【０００７】
好ましくは、操縦支援処理は操縦者に向けて警告を発生する警告処理(S35)を含む。
【０００８】
好ましくは、操縦支援処理は特定角度情報を有する線を描くエッジを障害物検知のための判別対象から排除する排除処理(S53)を含む。
【０００９】
好ましくは、検出手段は角度情報の分布状態を表すヒストグラムを作成する作成手段(S21)を含み、処理手段は作成手段によって作成されたヒストグラムを参照して操縦支援処理を実行する。
【００１０】
好ましくは、撮像手段は各々が被写界像を出力する複数のカメラ(C_1~C_4)を含み、抽出手段の抽出処理のために注目するカメラを複数のカメラの間で循環的に更新する更新手段(S13, S39, S41)がさらに備えられる。
【００１１】
この発明に従う操縦支援方法は、操縦支援装置(10)によって実行される操縦支援方法であって、移動体(100)に斜め下向きの姿勢で設けられて移動体の周辺の被写界を捉える撮像手段(C_1~C_4)から出力された被写界像を鳥瞰画像に変換する変換ステップ(S5)、変換ステップによって変換された鳥瞰画像からエッジを抽出する抽出ステップ(S15)、抽出ステップによって抽出されたエッジによって描かれる線の角度情報を抽出ステップによって抽出されたエッジ上の複数の位置に対応して検出する検出ステップ(S17~S25)、および検出ステップによって検出された角度情報のうち検出回数が基準を上回る特定角度情報に対応して操縦支援処理を実行する処理ステップ(S31, S35, S51, S53)を備える。
【発明の効果】
【００１２】
この発明によれば、検出手段によって検出される角度情報は、直線を描くエッジ上の複数の位置が指定された場合に、互いに一致する。また、同じ角度情報の検出回数は、エッジによって描かれる直線の長さが増大するほど増大する。したがって、操縦支援処理は、基準に相当する長さを上回る長さを有する直線状の路面ペイントが撮像手段によって捉えられたときに実行される。また、エッジによって描かれる線の角度情報はエッジ上の複数の位置で検出され、操縦支援処理は検出回数が基準を上回る角度情報に対応して実行される。これによって、操縦支援のための負荷を低減することができる。
【００１３】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１４】
【図１】この発明の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】（Ａ）は車両の正面を眺めた状態を示す図解図であり、（Ｂ）は車両の右側面を眺めた状態を示す図解図であり、（Ｃ）は車両の背面を眺めた状態を示す図解図であり、（Ｄ）は車両の左側面を眺めた状態を示す図解図である。
【図４】車両に取り付けられた複数のカメラによって捉えられる視野の一例を示す図解図である。
【図５】（Ａ）は前カメラの出力に基づく鳥瞰画像の一例を示す図解図であり、（Ｂ）は右カメラの出力に基づく鳥瞰画像の一例を示す図解図であり、（Ｃ）は左カメラの出力に基づく鳥瞰画像の一例を示す図解図であり、（Ｄ）は後カメラの出力に基づく鳥瞰画像の一例を示す図解図である。
【図６】図５（Ａ）〜図５（Ｄ）に示す鳥瞰画像に基づく全周鳥瞰画像の一例を示す図解図である。
【図７】表示装置によって表示される操縦支援画像の一例を示す図解図である。
【図８】車両に取り付けられたカメラの角度を示す図解図である。
【図９】カメラ座標系と撮像面の座標系と世界座標系との関係を示す図解図である。
【図１０】車両とその近傍の路面ペイントの一例を示す斜視図である。
【図１１】全周鳥瞰図画像の他の一例を示す図解図である。
【図１２】（Ａ）は再現画像の一部を示す図解図であり、（Ｂ）は（Ａ）に示す再現画像に対応する差分画像の一部を示す図解図である。
【図１３】図１２（Ｂ）に示す差分画像上に定義された法線ベクトルの一例を示す図解図である。
【図１４】角度方向に対する法線ベクトルの分布状態の一例を示すヒストグラムである。
【図１５】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１６】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１７】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１８】他の実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１９】車両とその近傍の障害物および路面ペイントの一例を示す斜視図である。
【図２０】全周鳥瞰図画像のその他の一例を示す図解図である。
【発明を実施するための形態】
【００１５】
［基本的構成］
図１を参照して、この発明の操縦支援装置は、基本的に次のように構成される。撮像手段１は、移動体に斜め下向きの姿勢で設けられて、移動体の周辺の被写界を捉える。変換手段２は、撮像手段１から出力された被写界像を鳥瞰画像に変換する。抽出手段３は、変換手段２によって変換された鳥瞰画像からエッジを抽出する。検出手段４は、抽出手段３によって抽出されたエッジによって描かれる線の角度情報を、抽出手段３によって抽出されたエッジ上の複数の位置に対応して検出する。処理手段５は、検出手段４によって検出された角度情報のうち検出回数が基準を上回る特定角度情報に対応して操縦支援処理を実行する。
【００１６】
したがって、検出手段４によって検出される角度情報は、直線を描くエッジ上の複数の位置が指定された場合に、互いに一致する。また、同じ角度情報の検出回数は、エッジによって描かれる直線の長さが増大するほど増大する。したがって、操縦支援処理は、基準に相当する長さを上回る長さを有する直線状の路面ペイントが撮像手段１によって捉えられたときに実行される。
【００１７】
また、エッジによって描かれる線の角度情報はエッジ上の複数の位置で検出され、操縦支援処理は検出回数が基準を上回る角度情報に対応して実行される。これによって、操縦支援のための負荷を低減することができる。
［実施例］
【００１８】
図２に示すこの実施例の操縦支援装置１０は、４個のカメラＣ＿１〜Ｃ＿４を含む。カメラＣ＿１〜Ｃ＿４はそれぞれ、共通の垂直同期信号Ｖｓｙｎｃに応答して、被写界像Ｐ＿１〜Ｐ＿４を１／３０秒毎に出力する。出力された被写界像Ｐ＿１〜Ｐ＿４は、画像処理回路１２によって取り込まれる。取り込まれた被写界像Ｐ＿１〜Ｐ＿４はそれぞれ、ＳＤＲＡＭ１２ｍのワークエリアＦ１〜Ｆ４に書き込まれる。
【００１９】
図３（Ａ）〜図３（Ｄ）を参照して、操縦支援装置１０は、地面を走行する車両１００に搭載される。具体的には、カメラＣ＿１は、車両１００の前方斜め下を向く姿勢で、車両１００の前部のほぼ中央に設置される。カメラＣ＿２は、車両１００の右斜め下を向く姿勢で、車両１００の右側の幅方向ほぼ中央でかつ高さ方向上側に設置される。
【００２０】
カメラＣ＿３は、車両１００の後方斜め下を向く姿勢で、車両１００の後部の幅方向ほぼ中央でかつ高さ方向上側に設置される。カメラＣ＿４は、車両１００の左斜め下を向く姿勢で、車両１００の左側の幅方向ほぼ中央でかつ高さ方向上側に設置される。
【００２１】
車両１００とその周辺の地面とを鳥瞰した状態を図４に示す。図４によれば、カメラＣ＿１は車両１００の前方を捉える視野ＶＷ＿１を有し、カメラＣ＿２は車両１００の右方向を捉える視野ＶＷ＿２を有し、カメラＣ＿３は車両１００の後方を捉える視野ＶＷ＿３を有し、そしてカメラＣ＿４は車両１００の左方向を捉える視野ＶＷ＿４を有する。また、視野ＶＷ＿１およびＶＷ＿２は共通視野ＶＷ＿１２を有し、視野ＶＷ＿２およびＶＷ＿３は共通視野ＶＷ＿２３を有し、視野ＶＷ＿３およびＶＷ＿４は共通視野ＶＷ＿３４を有し、そして視野ＶＷ＿４およびＶＷ＿１は共通視野ＶＷ＿４１を有する。
【００２２】
図２に戻って、画像処理回路１２に設けられたＣＰＵ１２ｐは、ワークエリアＦ１に格納された被写界像Ｐ＿１に基づいて図５（Ａ）に示す鳥瞰画像ＢＥＶ＿１を生成し、ワークエリアＦ２に格納された被写界像Ｐ＿２に基づいて図５（Ｂ）に示す鳥瞰画像ＢＥＶ＿２を生成する。ＣＰＵ１２ｐはまた、ワークエリアＦ３に格納された被写界像Ｐ＿３に基づいて図５（Ｃ）に示す鳥瞰画像ＢＥＶ＿３を生成し、ワークエリアＦ４に格納された被写界像Ｐ＿４に基づいて図５（Ｄ）に示す鳥瞰画像ＢＥＶ＿４を生成する。鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４もまた、ワークエリアＦ１〜Ｆ４に格納される。
【００２３】
鳥瞰画像ＢＥＶ＿１は視野ＶＷ＿１を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰画像ＢＥＶ＿２は視野ＶＷ＿２を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。また、鳥瞰画像ＢＥＶ＿３は視野ＶＷ＿３を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰画像ＢＥＶ＿４は視野ＶＷ＿４を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。
【００２４】
図５（Ａ）〜図５（Ｄ）によれば、鳥瞰画像ＢＥＶ＿１は鳥瞰座標系Ｘ１・Ｙ１を有し、鳥瞰画像ＢＥＶ＿２は鳥瞰座標系Ｘ２・Ｙ２を有し、鳥瞰画像ＢＥＶ＿３は鳥瞰座標系Ｘ３・Ｙ３を有し、そして鳥瞰画像ＢＥＶ＿４は鳥瞰座標系Ｘ４・Ｙ４を有する。
【００２５】
ＣＰＵ１２ｐは続いて、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４を互いに結合するべく、鳥瞰画像ＢＥＶ＿２〜ＢＥＶ＿４を鳥瞰画像ＢＥＶ＿１を基準として回転および／または移動させる。鳥瞰画像ＢＥＶ＿２〜ＢＥＶ＿４の座標は、図６に示す全周鳥瞰画像を描くように、ワークエリアＦ２〜Ｆ４上で変換される。
【００２６】
図６において、重複エリアＯＬ＿１２は共通視野ＶＷ＿１２を再現するエリアに相当し、重複エリアＯＬ＿２３は共通視野ＶＷ＿２３を再現するエリアに相当する。また、重複エリアＯＬ＿３４は共通視野ＶＷ＿３４を再現するエリアに相当し、そして重複エリアＯＬ＿４１は共通視野ＶＷ＿４１を再現するエリアに相当する。
【００２７】
さらに、固有エリアＯＲ＿１は視野ＶＷ１のうち共通視野ＶＷ＿４１およびＶＷ＿１２を除く一部の視野を再現するエリアに相当し、固有エリアＯＲ＿２は視野ＶＷ２のうち共通視野ＶＷ＿１２およびＶＷ＿２３を除く一部の視野を再現するエリアに相当する。また、固有エリアＯＲ＿３は視野ＶＷ３のうち共通視野ＶＷ＿２３およびＶＷ＿３４を除く一部の視野を再現するエリアに相当し、固有エリアＯＲ＿４は視野ＶＷ４のうち共通視野ＶＷ＿３４およびＶＷ＿４１を除く一部の視野を再現するエリアに相当する。
【００２８】
車両１００の運転席に設置された表示装置１４は、重複エリアＯＬ＿１２〜ＯＬ＿４１が四隅に位置する区画ＢＫ１を定義し、定義された区画ＢＬＫ１に属する一部の鳥瞰画像をワークエリアＦ１〜Ｆ４の各々から読み出す。表示装置１４はさらに、読み出された鳥瞰画像を互いに結合し、これによって得られた全周鳥瞰画像の中央に車両１００の上部を模したグラフィック画像Ｇ１を貼り付ける。この結果、図７に示す操縦支援画像がモニタ画面に表示される。
【００２９】
次に、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４の作成要領について説明する。ただし、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４はいずれも同じ要領で作成されるため、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４を代表して鳥瞰画像ＢＥＶ３の作成要領を説明する。
【００３０】
図８を参照して、カメラＣ＿３は車両１００の後部に後方斜め下向きに配置される。カメラＣ＿３の俯角を“θｄ”とすると、図８に示す角度θは“１８０°−θｄ”に相当する。また、角度θは、９０°＜θ＜１８０°の範囲で定義される。
【００３１】
図９は、カメラ座標系Ｘ・Ｙ・Ｚと、カメラＣ＿３の撮像面Ｓの座標系Ｘｐ・Ｙｐと、世界座標系Ｘｗ・Ｙｗ・Ｚｗとの関係を示す。カメラ座標系Ｘ・Ｙ・Ｚは、Ｘ軸，Ｙ軸およびＺ軸を座標軸とする三次元の座標系である。座標系Ｘｐ・Ｙｐは、Ｘｐ軸およびＹｐ軸を座標軸とする二次元の座標系である。世界座標系Ｘｗ・Ｙｗ・Ｚｗは、Ｘｗ軸，Ｙｗ軸およびＺｗ軸を座標軸とする三次元の座標系である。
【００３２】
カメラ座標系Ｘ・Ｙ・Ｚでは、カメラＣ３の光学的中心を原点Ｏとして、光軸方向にＺ軸が定義され、Ｚ軸に直交しかつ地面に平行な方向にＸ軸が定義され、そしてＺ軸およびＸ軸に直交する方向にＹ軸が定義される。撮像面Ｓの座標系Ｘｐ・Ｙｐでは、撮像面Ｓの中心を原点として、撮像面Ｓの横方向にＸｐ軸が定義され、撮像面Ｓの縦方向にＹｐ軸が定義される。
【００３３】
世界座標系Ｘｗ・Ｙｗ・Ｚｗでは、カメラ座標系ＸＹＺの原点Ｏを通る鉛直線と地面との交点を原点Ｏｗとして、地面と垂直な方向にＹｗ軸が定義され、カメラ座標系Ｘ・Ｙ・ＺのＸ軸と平行な方向にＸｗ軸が定義され、そしてＸｗ軸およびＹｗ軸に直交する方向にＺｗ軸が定義される。また、Ｘｗ軸からＸ軸までの距離は“ｈ”であり、Ｚｗ軸およびＺ軸によって形成される鈍角が上述の角度θに相当する。
【００３４】
カメラ座標系Ｘ・Ｙ・Ｚにおける座標を（ｘ，ｙ，ｚ）と表記した場合、“ｘ”，“ｙ”および“ｚ”はそれぞれ、カメラ座標系Ｘ・Ｙ・ＺにおけるＸ軸成分，Ｙ軸成分およびＺ軸成分を示す。撮像面Ｓの座標系Ｘｐ・Ｙｐにおける座標を（ｘｐ，ｙｐ）と表記した場合、“ｘｐ”および“ｙｐ”はそれぞれ、撮像面Ｓの座標系Ｘｐ・ＹｐにおけるＸｐ軸成分およびＹｐ軸成分を示す。世界座標系Ｘｗ・Ｙｗ・Ｚｗにおける座標を（ｘｗ，ｙｗ，ｚｗ）と表記した場合、“ｘｗ”，“ｙｗ”および“ｚｗ”はそれぞれ、世界座標系Ｘｗ・Ｙｗ・ＺｗにおけるＸｗ軸成分，Ｙｗ軸成分およびＺｗ軸成分を示す。
【００３５】
カメラ座標系Ｘ・Ｙ・Ｚの座標（ｘ，ｙ，ｚ）と世界座標系Ｘｗ・Ｙｗ・Ｚｗの座標（ｘｗ，ｙｗ，ｚｗ）との間の変換式は、数１で表される。
【数１】
【００３６】
ここで、カメラＣ＿３の焦点距離を“ｆ”とすると、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）とカメラ座標系Ｘ・Ｙ・Ｚの座標（ｘ，ｙ，ｚ）との間の変換式は、数２で表される。
【数２】
【００３７】
また、数１および数２に基づいて数３が得られる。数３は、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）と二次元地面座標系Ｘｗ・Ｚｗの座標（ｘｗ，ｚｗ）との間の変換式を示す。
【数３】
【００３８】
また、図５（Ｃ）に示す鳥瞰画像ＢＥＶ＿３の座標系である鳥瞰座標系Ｘ３・Ｙ３が定義される。鳥瞰座標系Ｘ３・Ｙ３は、Ｘ３軸及びＹ３軸を座標軸とする二次元の座標系である。鳥瞰座標系Ｘ３・Ｙ３における座標を（ｘ３，ｙ３）と表記した場合、鳥瞰画像ＢＥＶ＿３を形成する各画素の位置は座標（ｘ３，ｙ３）によって表される。“ｘ３”および“ｙ３”はそれぞれ、鳥瞰座標系Ｘ３・Ｙ３におけるＸ３軸成分およびＹ３軸成分を示す。
【００３９】
地面を表す二次元座標系Ｘｗ・Ｚｗから鳥瞰座標系Ｘ３・Ｙ３への投影は、いわゆる平行投影に相当する。仮想カメラつまり仮想視点の高さを“Ｈ”とすると、二次元座標系Ｘｗ・Ｚｗの座標（ｘｗ，ｚｗ）と鳥瞰座標系Ｘ３・Ｙ３の座標（ｘ３，ｙ３）との間の変換式は、数４で表される。仮想カメラの高さＨは予め決められている。
【数４】
【００４０】
さらに、数４に基づいて数５が得られ、数５および数３に基づいて数６が得られ、そして数６に基づいて数７が得られる。数７は、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）を鳥瞰座標系Ｘ３・Ｙ３の座標（ｘ３，ｙ３）に変換するための変換式に相当する。
【数５】
【数６】
【数７】
【００４１】
撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）は、カメラＣ＿３によって捉えられた被写界像Ｐ＿３の座標を表す。したがって、カメラＣ３からの被写界像Ｐ＿３は、数７を用いることによって鳥瞰画像ＢＥＶ＿３に変換される。実際には、被写界像Ｐ＿３はまずレンズ歪み補正などの画像処理を施され、その後に数７によって鳥瞰画像ＢＥＶ＿３に変換される。
【００４２】
横断歩道のような路面ペイント２００が図１０に示す要領で車両１００の周辺の地面に描かれている場合には、図１１に示す全周鳥瞰画像が上述の区画ＢＫ１に対応して作成される。
【００４３】
以下の説明では、図１１に示す全周鳥瞰画像のうち、図６に示す固有エリアＯＲ＿１に対応して再現される一部の画像を“再現画像ＲＥＰ＿１”と定義し、図６に示す固有エリアＯＲ＿２に対応して再現される一部の画像を“再現画像ＲＥＰ＿２”と定義する。同様に、図１１に示す鳥瞰画像のうち、図６に示す固有エリアＯＲ＿３に対応して再現される一部の画像を“再現画像ＲＥＰ＿３”と定義し、図６に示す固有エリアＯＲ＿４に対応して再現される一部の画像を“再現画像ＲＥＰ＿４”と定義する。
【００４４】
画像処理回路１２では、垂直同期信号Ｖｓｙｎｃに応答して変数Ｍが“１”〜“４”の各々に設定され、各々の数値に対応して以下の処理が実行される。
【００４５】
まず、再現画像ＲＥＰ＿Ｍのフレーム間差分を表す差分画像ＤＥＦ＿Ｍが、差分算出処理によって作成される。この結果、図１２（Ａ）に示す再現画像ＲＥＰ＿２については、図１２（Ｂ）に示す差分画像ＤＥＦ＿２が作成される。
【００４６】
車両１００が動いているときは、前フレームの差分画像ＲＥＰ＿Ｌと現フレームの差分画像ＲＥＰ＿Ｌとの間で車両１００の動きを考慮した位置合わせを行う位置合わせ処理が、差分算出処理に先立って実行される。したがって、路面ペイント２００のような平面的な模様を表す鳥瞰画像は、原理的には、位置合わせ処理によってフレーム間で互いに一致する。しかし、実際には、鳥瞰画像への変換処理の誤差やフレーム間の位置合わせの誤差が生じるため、路面ペイント２００のエッジ（輪郭）に相当する高輝度成分が差分画像ＤＥＦ＿２に現れる。
【００４７】
続いて、差分画像ＤＥＦ＿Ｍに現れたエッジ上のある座標が指定され、指定座標に法線ベクトルが割り当てられる。法線ベクトルは、指定座標においてエッジを描く線と直交するベクトルであり、エッジを描く線の指定座標における角度情報に相当する。座標指定および法線ベクトルの割り当ては、エッジ上の複数の座標に注目して実行される。したがって、図１２（Ｂ）に示す差分画像ＤＥＦ＿２については、図１３に示す要領で複数の法線ベクトルが割り当てられる。
【００４８】
こうして割り当てられた法線ベクトルの角度方向における分布状態は、ヒストグラムによって表現される。図１３に示すように法線ベクトルが割り当てられた場合、ヒストグラムは図１４に示す特性を示す。図１４によれば、法線ベクトルの割り当て回数は、路面ペイントのエッジを描く２つの直線にそれぞれ対応する２つの角度で急激に増大する。
【００４９】
ヒストグラムが完成すると、角度θ＿Ｎ（Ｎ：１，２，…Ｎｍａｘ）に対応する法線ベクトルの割り当て回数が“Ｔ＿Ｎ”として検出される。検出された割り当て回数Ｔ＿Ｎは基準値ＲＥＦと比較され、Ｔ＿Ｎ＞ＲＥＦとなる角度θ＿Ｎが検出されると、操縦支援処理のために警告がスピーカ１６から発生される。なお、角度θ＿Ｎおよびθ＿Ｎ−１の差分はたとえば１°に相当する。
【００５０】
ＣＰＵ１２ｐは、具体的には図１５に示す画像作成タスクおよび図１６〜図１７に示す路面ペイント検知タスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ１８（図２参照）に記憶される。
【００５１】
図１５を参照して、垂直同期信号Ｖｓｙｎｃが発生するとステップＳ１からステップＳ３に進み、カメラＣ＿１〜Ｃ＿４から被写界像Ｐ＿１〜Ｐ＿４をそれぞれ取り込む。取り込まれた被写界像Ｐ＿１〜Ｐ＿４はそれぞれ、ワークエリアＦ１〜Ｆ４に格納される。ステップＳ５では、取り込まれた被写界像Ｐ＿１〜Ｐ＿４に基づいて鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４を作成する。ステップＳ７では、鳥瞰画像ＢＥＶ＿２〜ＢＥＶ＿４に座標変換を施し、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４を互いに結合する。表示装置１６のモニタ画面には、座標変換によって結合された全周鳥瞰画像の一部とこれに多重されたグラフィック画像Ｇ１が、操縦支援画像として表示される。ステップＳ７の処理が完了すると、ステップＳ１に戻る。
【００５２】
図１６を参照して、ステップＳ１１では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別する。判別結果がＮＯからＹＥＳに更新されると、ステップＳ１３で変数Ｍを“１”に設定する。ステップＳ１５では、前フレームの再現画像ＲＥＰ＿Ｍと現フレームの差分画像ＲＥＰ＿Ｍとの差分を表す差分画像ＤＥＦ＿Ｍを作成するべく、差分算出処理を実行する。差分画像ＤＥＦ＿Ｍには、カメラＣ＿Ｍで捉えられた物体のエッジ（輪郭成分）に相当する高輝度成分が現れる。
【００５３】
ステップＳ１７では差分画像ＤＥＦ＿Ｍに現れたエッジ上のある座標を指定し、ステップＳ１９では指定座標に法線ベクトルを割り当てる。ステップＳ２１では、ステップＳ１９で割り当てられた法線ベクトルの角度を参照してヒストグラムを作成ないし更新する。作成ないし更新されたヒストグラムは、角度方向における法線ベクトルの割り当て回数の分布状態を示す。
【００５４】
ステップＳ２３では、エッジ上での座標指定が完了したか否かを判別する。判別結果がＮＯであれば、ステップＳ２５でエッジ上の他の座標を指定し、その後にステップＳ１９に戻る。判別結果がＹＥＳであれば、ステップＳ２７に進む。したがって、ステップＳ１９〜Ｓ２１の処理はエッジ上の複数の座標に注目して実行される。
【００５５】
ステップＳ２７では、変数Ｎを“１”に設定する。ステップＳ２９では、ヒストグラムを参照して、角度θ＿Ｎに対応する法線ベクトルの割り当て回数を“Ｔ＿Ｎ”として検出する。ステップＳ３１では検出された割り当て回数Ｔ＿Ｎが基準値ＲＥＦを上回るか否かを判別し、ステップＳ３３では変数Ｎが最大値Ｎｍａｘに達したか否かを判別する。
【００５６】
ステップＳ３１でＹＥＳであればステップＳ３５に進み、操縦支援処理のために警告をスピーカ１６から発生する。ステップＳ３５の処理が完了すると、ステップＳ３９に進む。ステップＳ３１でＮＯでかつステップＳ３３でＹＥＳであれば、そのままステップＳ３９に進む。ステップＳ３１およびＳ３３のいずれもＮＯであれば、ステップＳ３７で変数Ｎをインクリメントし、その後にステップＳ２９に戻る。なお、変数Ｎのインクリメントによって、角度θ＿Ｎはたとえば１°増大する。
【００５７】
ステップＳ３９では変数Ｍが“４”に達したか否かを判別し、ＹＥＳであればそのままステップＳ１１に戻る一方、ＮＯであればステップＳ４１で変数ＭをインクリメントしてからステップＳ１５に戻る。
【００５８】
以上の説明から分かるように、カメラＣ＿１〜Ｃ＿４の各々は、車両１００に斜め下向きの姿勢で設けられて、車両１００の周辺の被写界を捉える。ＣＰＵ１２ｐは、カメラＣ＿１〜Ｃ＿４の各々から出力された被写界像を鳥瞰画像に変換し(S5)、変換された鳥瞰画像からエッジを抽出する(S15)。ＣＰＵ１２ｐはまた、抽出されたエッジによって描かれる線の角度情報を抽出されたエッジ上の複数の位置に対応して検出し(S17~S25)、検出された角度情報のうち検出回数が基準を上回る特定角度情報に対応して警告のような操縦支援処理を実行する(S31, S35)。
【００５９】
したがって、検出される角度情報は、直線を描くエッジ上の複数の位置が指定された場合に、互いに一致する。また、同じ角度情報の検出回数は、エッジによって描かれる直線の長さが増大するほど増大する。したがって、操縦支援処理は、基準に相当する長さを上回る長さを有する直線状の路面ペイントがカメラＣ＿１〜Ｃ＿４のいずれかによって捉えられたときに実行される。
【００６０】
また、エッジによって描かれる線の角度情報はエッジ上の複数の位置で検出され、操縦支援処理は検出回数が基準を上回る角度情報に対応して実行される。これによって、操縦支援処理にかかる負荷を低減することができる。
【００６１】
なお、この実施例では、直線で描かれた路面ペイントとして横断歩道を想定しているが、路面ペイントとしては、高速道路のレーンマーカや駐車場の駐車スペースマーカなども想定できる。
【００６２】
また、この実施例では、スピーカを利用して可聴的に警告を発生するようにしているが、モニタ画面を利用して可視的に警告を発生するようにしてもよい。
【００６３】
さらに、この実施例では、操縦を支援するために警告の発生するようにしているが、立体的な障害物の検知精度を確保するために、直線状の路面ペイントを表す画像のエッジを障害物の検知のための判別対象から排除する処理を操縦支援処理として実行するようにしてもよい。この場合、好ましくは、図１７に示す処理に代えて図１８に示す処理が実行される。
【００６４】
なお、図１８に示す処理のうち図１７に示す処理と同じ処理には同じステップ番号を割り当て、重複した説明は極力省略する。また、鳥瞰画像に基づいて障害物を検知する処理には公知技術を採用することとし、障害物検知処理に関する詳細な説明は省略する。
【００６５】
図１８を参照して、ステップＳ３１でＹＥＳであれば、角度θ＿Ｎをレジスタ（図示せず）に設定する。ステップＳ３３でＹＥＳと判別されるとステップＳ５３に進み、レジスタに設定された角度に対応するエッジ成分を障害物検知のための判別対象から排除する。このような処理が、操縦支援処理に相当する。操縦支援処理が完了すると、ステップＳ３９に進む。
【００６６】
この結果、図１９に示すように障害物３００が車両１００の周辺に存在する場合に、障害物３００を表す画像を図２０に示す鳥瞰画像から高精度で検知することができる。
【００６７】
上述の実施例に関する注釈事項を以下に示す。この注釈事項は、矛盾がない限り、上述の実施例に任意に組み合わせることが可能である。
【００６８】
実施例で述べたような撮影画像から鳥瞰画像を生成する座標変換は、一般に透視投影変換と呼ばれる。この透視投影変換を用いるのではなく、公知の平面射影変換によって撮影画像から鳥瞰画像を生成するようにしてもよい。平面射影変換を用いる場合、撮影画像上の各画素の座標値を鳥瞰画像上の各画素の座標値に変換するためのホモグラフィ行列（座標変換行列）をカメラ校正処理の段階で予め求めておく。ホモグラフィ行列の求め方は公知である。そして、画像変換を行う際に、ホモグラフィ行列に基づいて撮影画像を鳥瞰画像に変換すればよい。いずれにせよ、撮影画像を鳥瞰画像上に投影することによって撮影画像が鳥瞰画像に変換される。
【符号の説明】
【００６９】
１０ …操縦支援装置
Ｃ＿１〜Ｃ＿４ …カメラ
１２ …画像処理回路
１２ｐ …ＣＰＵ
１２ｍ …ＳＤＲＡＭ
１４ …表示装置
１６ …スピーカ
１６ …フラッシュメモリ
１００ …車両
【技術分野】
【０００１】
この発明は、操縦支援装置に関し、特に、移動体に斜め下向きの姿勢で設けられて移動体の周辺の被写界を捉えるカメラから出力された被写界像に基づいて操縦者の操作を支援する、操縦支援装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、車両の前部に搭載されたカメラから出力された路面画像が、俯瞰変換ユニットによって俯瞰画像に変換される。強度プロファイル作成ユニットは、俯瞰画像に現れる路面の路幅方向における複数の位置で、路幅方向に直交する方向の輝度を積分する。レーンマーカ検出ユニットは、強度プロファイル作成ユニットによって検出された積分輝度の分布に基づいて、路面に設置されたレーンマーカの位置を検出する。これによって、車両がレーンから逸脱したときに速やかに警報を発生することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１４５８５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、背景技術では、路幅方向における複数の位置で路幅方向に直交する方向の輝度を積分する必要があり、過負荷が懸念される。
【０００５】
それゆえに、この発明の主たる目的は、操縦支援のための負荷を低減することができる、操縦支援装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う操縦支援装置(10：実施例で相当する参照符号。以下同じ)は、移動体(100)に斜め下向きの姿勢で設けられて移動体の周辺の被写界を捉える撮像手段(C_1~C_4)から出力された被写界像を鳥瞰画像に変換する変換手段(S5)、変換手段によって変換された鳥瞰画像からエッジを抽出する抽出手段(S15)、抽出手段によって抽出されたエッジによって描かれる線の角度情報を抽出手段によって抽出されたエッジ上の複数の位置に対応して検出する検出手段(S17~S25)、および検出手段によって検出された角度情報のうち検出回数が基準を上回る特定角度情報に対応して操縦支援処理を実行する処理手段(S31, S35, S51, S53)を備える。
【０００７】
好ましくは、操縦支援処理は操縦者に向けて警告を発生する警告処理(S35)を含む。
【０００８】
好ましくは、操縦支援処理は特定角度情報を有する線を描くエッジを障害物検知のための判別対象から排除する排除処理(S53)を含む。
【０００９】
好ましくは、検出手段は角度情報の分布状態を表すヒストグラムを作成する作成手段(S21)を含み、処理手段は作成手段によって作成されたヒストグラムを参照して操縦支援処理を実行する。
【００１０】
好ましくは、撮像手段は各々が被写界像を出力する複数のカメラ(C_1~C_4)を含み、抽出手段の抽出処理のために注目するカメラを複数のカメラの間で循環的に更新する更新手段(S13, S39, S41)がさらに備えられる。
【００１１】
この発明に従う操縦支援方法は、操縦支援装置(10)によって実行される操縦支援方法であって、移動体(100)に斜め下向きの姿勢で設けられて移動体の周辺の被写界を捉える撮像手段(C_1~C_4)から出力された被写界像を鳥瞰画像に変換する変換ステップ(S5)、変換ステップによって変換された鳥瞰画像からエッジを抽出する抽出ステップ(S15)、抽出ステップによって抽出されたエッジによって描かれる線の角度情報を抽出ステップによって抽出されたエッジ上の複数の位置に対応して検出する検出ステップ(S17~S25)、および検出ステップによって検出された角度情報のうち検出回数が基準を上回る特定角度情報に対応して操縦支援処理を実行する処理ステップ(S31, S35, S51, S53)を備える。
【発明の効果】
【００１２】
この発明によれば、検出手段によって検出される角度情報は、直線を描くエッジ上の複数の位置が指定された場合に、互いに一致する。また、同じ角度情報の検出回数は、エッジによって描かれる直線の長さが増大するほど増大する。したがって、操縦支援処理は、基準に相当する長さを上回る長さを有する直線状の路面ペイントが撮像手段によって捉えられたときに実行される。また、エッジによって描かれる線の角度情報はエッジ上の複数の位置で検出され、操縦支援処理は検出回数が基準を上回る角度情報に対応して実行される。これによって、操縦支援のための負荷を低減することができる。
【００１３】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１４】
【図１】この発明の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】（Ａ）は車両の正面を眺めた状態を示す図解図であり、（Ｂ）は車両の右側面を眺めた状態を示す図解図であり、（Ｃ）は車両の背面を眺めた状態を示す図解図であり、（Ｄ）は車両の左側面を眺めた状態を示す図解図である。
【図４】車両に取り付けられた複数のカメラによって捉えられる視野の一例を示す図解図である。
【図５】（Ａ）は前カメラの出力に基づく鳥瞰画像の一例を示す図解図であり、（Ｂ）は右カメラの出力に基づく鳥瞰画像の一例を示す図解図であり、（Ｃ）は左カメラの出力に基づく鳥瞰画像の一例を示す図解図であり、（Ｄ）は後カメラの出力に基づく鳥瞰画像の一例を示す図解図である。
【図６】図５（Ａ）〜図５（Ｄ）に示す鳥瞰画像に基づく全周鳥瞰画像の一例を示す図解図である。
【図７】表示装置によって表示される操縦支援画像の一例を示す図解図である。
【図８】車両に取り付けられたカメラの角度を示す図解図である。
【図９】カメラ座標系と撮像面の座標系と世界座標系との関係を示す図解図である。
【図１０】車両とその近傍の路面ペイントの一例を示す斜視図である。
【図１１】全周鳥瞰図画像の他の一例を示す図解図である。
【図１２】（Ａ）は再現画像の一部を示す図解図であり、（Ｂ）は（Ａ）に示す再現画像に対応する差分画像の一部を示す図解図である。
【図１３】図１２（Ｂ）に示す差分画像上に定義された法線ベクトルの一例を示す図解図である。
【図１４】角度方向に対する法線ベクトルの分布状態の一例を示すヒストグラムである。
【図１５】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１６】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１７】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１８】他の実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１９】車両とその近傍の障害物および路面ペイントの一例を示す斜視図である。
【図２０】全周鳥瞰図画像のその他の一例を示す図解図である。
【発明を実施するための形態】
【００１５】
［基本的構成］
図１を参照して、この発明の操縦支援装置は、基本的に次のように構成される。撮像手段１は、移動体に斜め下向きの姿勢で設けられて、移動体の周辺の被写界を捉える。変換手段２は、撮像手段１から出力された被写界像を鳥瞰画像に変換する。抽出手段３は、変換手段２によって変換された鳥瞰画像からエッジを抽出する。検出手段４は、抽出手段３によって抽出されたエッジによって描かれる線の角度情報を、抽出手段３によって抽出されたエッジ上の複数の位置に対応して検出する。処理手段５は、検出手段４によって検出された角度情報のうち検出回数が基準を上回る特定角度情報に対応して操縦支援処理を実行する。
【００１６】
したがって、検出手段４によって検出される角度情報は、直線を描くエッジ上の複数の位置が指定された場合に、互いに一致する。また、同じ角度情報の検出回数は、エッジによって描かれる直線の長さが増大するほど増大する。したがって、操縦支援処理は、基準に相当する長さを上回る長さを有する直線状の路面ペイントが撮像手段１によって捉えられたときに実行される。
【００１７】
また、エッジによって描かれる線の角度情報はエッジ上の複数の位置で検出され、操縦支援処理は検出回数が基準を上回る角度情報に対応して実行される。これによって、操縦支援のための負荷を低減することができる。
［実施例］
【００１８】
図２に示すこの実施例の操縦支援装置１０は、４個のカメラＣ＿１〜Ｃ＿４を含む。カメラＣ＿１〜Ｃ＿４はそれぞれ、共通の垂直同期信号Ｖｓｙｎｃに応答して、被写界像Ｐ＿１〜Ｐ＿４を１／３０秒毎に出力する。出力された被写界像Ｐ＿１〜Ｐ＿４は、画像処理回路１２によって取り込まれる。取り込まれた被写界像Ｐ＿１〜Ｐ＿４はそれぞれ、ＳＤＲＡＭ１２ｍのワークエリアＦ１〜Ｆ４に書き込まれる。
【００１９】
図３（Ａ）〜図３（Ｄ）を参照して、操縦支援装置１０は、地面を走行する車両１００に搭載される。具体的には、カメラＣ＿１は、車両１００の前方斜め下を向く姿勢で、車両１００の前部のほぼ中央に設置される。カメラＣ＿２は、車両１００の右斜め下を向く姿勢で、車両１００の右側の幅方向ほぼ中央でかつ高さ方向上側に設置される。
【００２０】
カメラＣ＿３は、車両１００の後方斜め下を向く姿勢で、車両１００の後部の幅方向ほぼ中央でかつ高さ方向上側に設置される。カメラＣ＿４は、車両１００の左斜め下を向く姿勢で、車両１００の左側の幅方向ほぼ中央でかつ高さ方向上側に設置される。
【００２１】
車両１００とその周辺の地面とを鳥瞰した状態を図４に示す。図４によれば、カメラＣ＿１は車両１００の前方を捉える視野ＶＷ＿１を有し、カメラＣ＿２は車両１００の右方向を捉える視野ＶＷ＿２を有し、カメラＣ＿３は車両１００の後方を捉える視野ＶＷ＿３を有し、そしてカメラＣ＿４は車両１００の左方向を捉える視野ＶＷ＿４を有する。また、視野ＶＷ＿１およびＶＷ＿２は共通視野ＶＷ＿１２を有し、視野ＶＷ＿２およびＶＷ＿３は共通視野ＶＷ＿２３を有し、視野ＶＷ＿３およびＶＷ＿４は共通視野ＶＷ＿３４を有し、そして視野ＶＷ＿４およびＶＷ＿１は共通視野ＶＷ＿４１を有する。
【００２２】
図２に戻って、画像処理回路１２に設けられたＣＰＵ１２ｐは、ワークエリアＦ１に格納された被写界像Ｐ＿１に基づいて図５（Ａ）に示す鳥瞰画像ＢＥＶ＿１を生成し、ワークエリアＦ２に格納された被写界像Ｐ＿２に基づいて図５（Ｂ）に示す鳥瞰画像ＢＥＶ＿２を生成する。ＣＰＵ１２ｐはまた、ワークエリアＦ３に格納された被写界像Ｐ＿３に基づいて図５（Ｃ）に示す鳥瞰画像ＢＥＶ＿３を生成し、ワークエリアＦ４に格納された被写界像Ｐ＿４に基づいて図５（Ｄ）に示す鳥瞰画像ＢＥＶ＿４を生成する。鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４もまた、ワークエリアＦ１〜Ｆ４に格納される。
【００２３】
鳥瞰画像ＢＥＶ＿１は視野ＶＷ＿１を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰画像ＢＥＶ＿２は視野ＶＷ＿２を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。また、鳥瞰画像ＢＥＶ＿３は視野ＶＷ＿３を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰画像ＢＥＶ＿４は視野ＶＷ＿４を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。
【００２４】
図５（Ａ）〜図５（Ｄ）によれば、鳥瞰画像ＢＥＶ＿１は鳥瞰座標系Ｘ１・Ｙ１を有し、鳥瞰画像ＢＥＶ＿２は鳥瞰座標系Ｘ２・Ｙ２を有し、鳥瞰画像ＢＥＶ＿３は鳥瞰座標系Ｘ３・Ｙ３を有し、そして鳥瞰画像ＢＥＶ＿４は鳥瞰座標系Ｘ４・Ｙ４を有する。
【００２５】
ＣＰＵ１２ｐは続いて、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４を互いに結合するべく、鳥瞰画像ＢＥＶ＿２〜ＢＥＶ＿４を鳥瞰画像ＢＥＶ＿１を基準として回転および／または移動させる。鳥瞰画像ＢＥＶ＿２〜ＢＥＶ＿４の座標は、図６に示す全周鳥瞰画像を描くように、ワークエリアＦ２〜Ｆ４上で変換される。
【００２６】
図６において、重複エリアＯＬ＿１２は共通視野ＶＷ＿１２を再現するエリアに相当し、重複エリアＯＬ＿２３は共通視野ＶＷ＿２３を再現するエリアに相当する。また、重複エリアＯＬ＿３４は共通視野ＶＷ＿３４を再現するエリアに相当し、そして重複エリアＯＬ＿４１は共通視野ＶＷ＿４１を再現するエリアに相当する。
【００２７】
さらに、固有エリアＯＲ＿１は視野ＶＷ１のうち共通視野ＶＷ＿４１およびＶＷ＿１２を除く一部の視野を再現するエリアに相当し、固有エリアＯＲ＿２は視野ＶＷ２のうち共通視野ＶＷ＿１２およびＶＷ＿２３を除く一部の視野を再現するエリアに相当する。また、固有エリアＯＲ＿３は視野ＶＷ３のうち共通視野ＶＷ＿２３およびＶＷ＿３４を除く一部の視野を再現するエリアに相当し、固有エリアＯＲ＿４は視野ＶＷ４のうち共通視野ＶＷ＿３４およびＶＷ＿４１を除く一部の視野を再現するエリアに相当する。
【００２８】
車両１００の運転席に設置された表示装置１４は、重複エリアＯＬ＿１２〜ＯＬ＿４１が四隅に位置する区画ＢＫ１を定義し、定義された区画ＢＬＫ１に属する一部の鳥瞰画像をワークエリアＦ１〜Ｆ４の各々から読み出す。表示装置１４はさらに、読み出された鳥瞰画像を互いに結合し、これによって得られた全周鳥瞰画像の中央に車両１００の上部を模したグラフィック画像Ｇ１を貼り付ける。この結果、図７に示す操縦支援画像がモニタ画面に表示される。
【００２９】
次に、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４の作成要領について説明する。ただし、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４はいずれも同じ要領で作成されるため、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４を代表して鳥瞰画像ＢＥＶ３の作成要領を説明する。
【００３０】
図８を参照して、カメラＣ＿３は車両１００の後部に後方斜め下向きに配置される。カメラＣ＿３の俯角を“θｄ”とすると、図８に示す角度θは“１８０°−θｄ”に相当する。また、角度θは、９０°＜θ＜１８０°の範囲で定義される。
【００３１】
図９は、カメラ座標系Ｘ・Ｙ・Ｚと、カメラＣ＿３の撮像面Ｓの座標系Ｘｐ・Ｙｐと、世界座標系Ｘｗ・Ｙｗ・Ｚｗとの関係を示す。カメラ座標系Ｘ・Ｙ・Ｚは、Ｘ軸，Ｙ軸およびＺ軸を座標軸とする三次元の座標系である。座標系Ｘｐ・Ｙｐは、Ｘｐ軸およびＹｐ軸を座標軸とする二次元の座標系である。世界座標系Ｘｗ・Ｙｗ・Ｚｗは、Ｘｗ軸，Ｙｗ軸およびＺｗ軸を座標軸とする三次元の座標系である。
【００３２】
カメラ座標系Ｘ・Ｙ・Ｚでは、カメラＣ３の光学的中心を原点Ｏとして、光軸方向にＺ軸が定義され、Ｚ軸に直交しかつ地面に平行な方向にＸ軸が定義され、そしてＺ軸およびＸ軸に直交する方向にＹ軸が定義される。撮像面Ｓの座標系Ｘｐ・Ｙｐでは、撮像面Ｓの中心を原点として、撮像面Ｓの横方向にＸｐ軸が定義され、撮像面Ｓの縦方向にＹｐ軸が定義される。
【００３３】
世界座標系Ｘｗ・Ｙｗ・Ｚｗでは、カメラ座標系ＸＹＺの原点Ｏを通る鉛直線と地面との交点を原点Ｏｗとして、地面と垂直な方向にＹｗ軸が定義され、カメラ座標系Ｘ・Ｙ・ＺのＸ軸と平行な方向にＸｗ軸が定義され、そしてＸｗ軸およびＹｗ軸に直交する方向にＺｗ軸が定義される。また、Ｘｗ軸からＸ軸までの距離は“ｈ”であり、Ｚｗ軸およびＺ軸によって形成される鈍角が上述の角度θに相当する。
【００３４】
カメラ座標系Ｘ・Ｙ・Ｚにおける座標を（ｘ，ｙ，ｚ）と表記した場合、“ｘ”，“ｙ”および“ｚ”はそれぞれ、カメラ座標系Ｘ・Ｙ・ＺにおけるＸ軸成分，Ｙ軸成分およびＺ軸成分を示す。撮像面Ｓの座標系Ｘｐ・Ｙｐにおける座標を（ｘｐ，ｙｐ）と表記した場合、“ｘｐ”および“ｙｐ”はそれぞれ、撮像面Ｓの座標系Ｘｐ・ＹｐにおけるＸｐ軸成分およびＹｐ軸成分を示す。世界座標系Ｘｗ・Ｙｗ・Ｚｗにおける座標を（ｘｗ，ｙｗ，ｚｗ）と表記した場合、“ｘｗ”，“ｙｗ”および“ｚｗ”はそれぞれ、世界座標系Ｘｗ・Ｙｗ・ＺｗにおけるＸｗ軸成分，Ｙｗ軸成分およびＺｗ軸成分を示す。
【００３５】
カメラ座標系Ｘ・Ｙ・Ｚの座標（ｘ，ｙ，ｚ）と世界座標系Ｘｗ・Ｙｗ・Ｚｗの座標（ｘｗ，ｙｗ，ｚｗ）との間の変換式は、数１で表される。
【数１】
【００３６】
ここで、カメラＣ＿３の焦点距離を“ｆ”とすると、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）とカメラ座標系Ｘ・Ｙ・Ｚの座標（ｘ，ｙ，ｚ）との間の変換式は、数２で表される。
【数２】
【００３７】
また、数１および数２に基づいて数３が得られる。数３は、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）と二次元地面座標系Ｘｗ・Ｚｗの座標（ｘｗ，ｚｗ）との間の変換式を示す。
【数３】
【００３８】
また、図５（Ｃ）に示す鳥瞰画像ＢＥＶ＿３の座標系である鳥瞰座標系Ｘ３・Ｙ３が定義される。鳥瞰座標系Ｘ３・Ｙ３は、Ｘ３軸及びＹ３軸を座標軸とする二次元の座標系である。鳥瞰座標系Ｘ３・Ｙ３における座標を（ｘ３，ｙ３）と表記した場合、鳥瞰画像ＢＥＶ＿３を形成する各画素の位置は座標（ｘ３，ｙ３）によって表される。“ｘ３”および“ｙ３”はそれぞれ、鳥瞰座標系Ｘ３・Ｙ３におけるＸ３軸成分およびＹ３軸成分を示す。
【００３９】
地面を表す二次元座標系Ｘｗ・Ｚｗから鳥瞰座標系Ｘ３・Ｙ３への投影は、いわゆる平行投影に相当する。仮想カメラつまり仮想視点の高さを“Ｈ”とすると、二次元座標系Ｘｗ・Ｚｗの座標（ｘｗ，ｚｗ）と鳥瞰座標系Ｘ３・Ｙ３の座標（ｘ３，ｙ３）との間の変換式は、数４で表される。仮想カメラの高さＨは予め決められている。
【数４】
【００４０】
さらに、数４に基づいて数５が得られ、数５および数３に基づいて数６が得られ、そして数６に基づいて数７が得られる。数７は、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）を鳥瞰座標系Ｘ３・Ｙ３の座標（ｘ３，ｙ３）に変換するための変換式に相当する。
【数５】
【数６】
【数７】
【００４１】
撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）は、カメラＣ＿３によって捉えられた被写界像Ｐ＿３の座標を表す。したがって、カメラＣ３からの被写界像Ｐ＿３は、数７を用いることによって鳥瞰画像ＢＥＶ＿３に変換される。実際には、被写界像Ｐ＿３はまずレンズ歪み補正などの画像処理を施され、その後に数７によって鳥瞰画像ＢＥＶ＿３に変換される。
【００４２】
横断歩道のような路面ペイント２００が図１０に示す要領で車両１００の周辺の地面に描かれている場合には、図１１に示す全周鳥瞰画像が上述の区画ＢＫ１に対応して作成される。
【００４３】
以下の説明では、図１１に示す全周鳥瞰画像のうち、図６に示す固有エリアＯＲ＿１に対応して再現される一部の画像を“再現画像ＲＥＰ＿１”と定義し、図６に示す固有エリアＯＲ＿２に対応して再現される一部の画像を“再現画像ＲＥＰ＿２”と定義する。同様に、図１１に示す鳥瞰画像のうち、図６に示す固有エリアＯＲ＿３に対応して再現される一部の画像を“再現画像ＲＥＰ＿３”と定義し、図６に示す固有エリアＯＲ＿４に対応して再現される一部の画像を“再現画像ＲＥＰ＿４”と定義する。
【００４４】
画像処理回路１２では、垂直同期信号Ｖｓｙｎｃに応答して変数Ｍが“１”〜“４”の各々に設定され、各々の数値に対応して以下の処理が実行される。
【００４５】
まず、再現画像ＲＥＰ＿Ｍのフレーム間差分を表す差分画像ＤＥＦ＿Ｍが、差分算出処理によって作成される。この結果、図１２（Ａ）に示す再現画像ＲＥＰ＿２については、図１２（Ｂ）に示す差分画像ＤＥＦ＿２が作成される。
【００４６】
車両１００が動いているときは、前フレームの差分画像ＲＥＰ＿Ｌと現フレームの差分画像ＲＥＰ＿Ｌとの間で車両１００の動きを考慮した位置合わせを行う位置合わせ処理が、差分算出処理に先立って実行される。したがって、路面ペイント２００のような平面的な模様を表す鳥瞰画像は、原理的には、位置合わせ処理によってフレーム間で互いに一致する。しかし、実際には、鳥瞰画像への変換処理の誤差やフレーム間の位置合わせの誤差が生じるため、路面ペイント２００のエッジ（輪郭）に相当する高輝度成分が差分画像ＤＥＦ＿２に現れる。
【００４７】
続いて、差分画像ＤＥＦ＿Ｍに現れたエッジ上のある座標が指定され、指定座標に法線ベクトルが割り当てられる。法線ベクトルは、指定座標においてエッジを描く線と直交するベクトルであり、エッジを描く線の指定座標における角度情報に相当する。座標指定および法線ベクトルの割り当ては、エッジ上の複数の座標に注目して実行される。したがって、図１２（Ｂ）に示す差分画像ＤＥＦ＿２については、図１３に示す要領で複数の法線ベクトルが割り当てられる。
【００４８】
こうして割り当てられた法線ベクトルの角度方向における分布状態は、ヒストグラムによって表現される。図１３に示すように法線ベクトルが割り当てられた場合、ヒストグラムは図１４に示す特性を示す。図１４によれば、法線ベクトルの割り当て回数は、路面ペイントのエッジを描く２つの直線にそれぞれ対応する２つの角度で急激に増大する。
【００４９】
ヒストグラムが完成すると、角度θ＿Ｎ（Ｎ：１，２，…Ｎｍａｘ）に対応する法線ベクトルの割り当て回数が“Ｔ＿Ｎ”として検出される。検出された割り当て回数Ｔ＿Ｎは基準値ＲＥＦと比較され、Ｔ＿Ｎ＞ＲＥＦとなる角度θ＿Ｎが検出されると、操縦支援処理のために警告がスピーカ１６から発生される。なお、角度θ＿Ｎおよびθ＿Ｎ−１の差分はたとえば１°に相当する。
【００５０】
ＣＰＵ１２ｐは、具体的には図１５に示す画像作成タスクおよび図１６〜図１７に示す路面ペイント検知タスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ１８（図２参照）に記憶される。
【００５１】
図１５を参照して、垂直同期信号Ｖｓｙｎｃが発生するとステップＳ１からステップＳ３に進み、カメラＣ＿１〜Ｃ＿４から被写界像Ｐ＿１〜Ｐ＿４をそれぞれ取り込む。取り込まれた被写界像Ｐ＿１〜Ｐ＿４はそれぞれ、ワークエリアＦ１〜Ｆ４に格納される。ステップＳ５では、取り込まれた被写界像Ｐ＿１〜Ｐ＿４に基づいて鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４を作成する。ステップＳ７では、鳥瞰画像ＢＥＶ＿２〜ＢＥＶ＿４に座標変換を施し、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４を互いに結合する。表示装置１６のモニタ画面には、座標変換によって結合された全周鳥瞰画像の一部とこれに多重されたグラフィック画像Ｇ１が、操縦支援画像として表示される。ステップＳ７の処理が完了すると、ステップＳ１に戻る。
【００５２】
図１６を参照して、ステップＳ１１では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別する。判別結果がＮＯからＹＥＳに更新されると、ステップＳ１３で変数Ｍを“１”に設定する。ステップＳ１５では、前フレームの再現画像ＲＥＰ＿Ｍと現フレームの差分画像ＲＥＰ＿Ｍとの差分を表す差分画像ＤＥＦ＿Ｍを作成するべく、差分算出処理を実行する。差分画像ＤＥＦ＿Ｍには、カメラＣ＿Ｍで捉えられた物体のエッジ（輪郭成分）に相当する高輝度成分が現れる。
【００５３】
ステップＳ１７では差分画像ＤＥＦ＿Ｍに現れたエッジ上のある座標を指定し、ステップＳ１９では指定座標に法線ベクトルを割り当てる。ステップＳ２１では、ステップＳ１９で割り当てられた法線ベクトルの角度を参照してヒストグラムを作成ないし更新する。作成ないし更新されたヒストグラムは、角度方向における法線ベクトルの割り当て回数の分布状態を示す。
【００５４】
ステップＳ２３では、エッジ上での座標指定が完了したか否かを判別する。判別結果がＮＯであれば、ステップＳ２５でエッジ上の他の座標を指定し、その後にステップＳ１９に戻る。判別結果がＹＥＳであれば、ステップＳ２７に進む。したがって、ステップＳ１９〜Ｓ２１の処理はエッジ上の複数の座標に注目して実行される。
【００５５】
ステップＳ２７では、変数Ｎを“１”に設定する。ステップＳ２９では、ヒストグラムを参照して、角度θ＿Ｎに対応する法線ベクトルの割り当て回数を“Ｔ＿Ｎ”として検出する。ステップＳ３１では検出された割り当て回数Ｔ＿Ｎが基準値ＲＥＦを上回るか否かを判別し、ステップＳ３３では変数Ｎが最大値Ｎｍａｘに達したか否かを判別する。
【００５６】
ステップＳ３１でＹＥＳであればステップＳ３５に進み、操縦支援処理のために警告をスピーカ１６から発生する。ステップＳ３５の処理が完了すると、ステップＳ３９に進む。ステップＳ３１でＮＯでかつステップＳ３３でＹＥＳであれば、そのままステップＳ３９に進む。ステップＳ３１およびＳ３３のいずれもＮＯであれば、ステップＳ３７で変数Ｎをインクリメントし、その後にステップＳ２９に戻る。なお、変数Ｎのインクリメントによって、角度θ＿Ｎはたとえば１°増大する。
【００５７】
ステップＳ３９では変数Ｍが“４”に達したか否かを判別し、ＹＥＳであればそのままステップＳ１１に戻る一方、ＮＯであればステップＳ４１で変数ＭをインクリメントしてからステップＳ１５に戻る。
【００５８】
以上の説明から分かるように、カメラＣ＿１〜Ｃ＿４の各々は、車両１００に斜め下向きの姿勢で設けられて、車両１００の周辺の被写界を捉える。ＣＰＵ１２ｐは、カメラＣ＿１〜Ｃ＿４の各々から出力された被写界像を鳥瞰画像に変換し(S5)、変換された鳥瞰画像からエッジを抽出する(S15)。ＣＰＵ１２ｐはまた、抽出されたエッジによって描かれる線の角度情報を抽出されたエッジ上の複数の位置に対応して検出し(S17~S25)、検出された角度情報のうち検出回数が基準を上回る特定角度情報に対応して警告のような操縦支援処理を実行する(S31, S35)。
【００５９】
したがって、検出される角度情報は、直線を描くエッジ上の複数の位置が指定された場合に、互いに一致する。また、同じ角度情報の検出回数は、エッジによって描かれる直線の長さが増大するほど増大する。したがって、操縦支援処理は、基準に相当する長さを上回る長さを有する直線状の路面ペイントがカメラＣ＿１〜Ｃ＿４のいずれかによって捉えられたときに実行される。
【００６０】
また、エッジによって描かれる線の角度情報はエッジ上の複数の位置で検出され、操縦支援処理は検出回数が基準を上回る角度情報に対応して実行される。これによって、操縦支援処理にかかる負荷を低減することができる。
【００６１】
なお、この実施例では、直線で描かれた路面ペイントとして横断歩道を想定しているが、路面ペイントとしては、高速道路のレーンマーカや駐車場の駐車スペースマーカなども想定できる。
【００６２】
また、この実施例では、スピーカを利用して可聴的に警告を発生するようにしているが、モニタ画面を利用して可視的に警告を発生するようにしてもよい。
【００６３】
さらに、この実施例では、操縦を支援するために警告の発生するようにしているが、立体的な障害物の検知精度を確保するために、直線状の路面ペイントを表す画像のエッジを障害物の検知のための判別対象から排除する処理を操縦支援処理として実行するようにしてもよい。この場合、好ましくは、図１７に示す処理に代えて図１８に示す処理が実行される。
【００６４】
なお、図１８に示す処理のうち図１７に示す処理と同じ処理には同じステップ番号を割り当て、重複した説明は極力省略する。また、鳥瞰画像に基づいて障害物を検知する処理には公知技術を採用することとし、障害物検知処理に関する詳細な説明は省略する。
【００６５】
図１８を参照して、ステップＳ３１でＹＥＳであれば、角度θ＿Ｎをレジスタ（図示せず）に設定する。ステップＳ３３でＹＥＳと判別されるとステップＳ５３に進み、レジスタに設定された角度に対応するエッジ成分を障害物検知のための判別対象から排除する。このような処理が、操縦支援処理に相当する。操縦支援処理が完了すると、ステップＳ３９に進む。
【００６６】
この結果、図１９に示すように障害物３００が車両１００の周辺に存在する場合に、障害物３００を表す画像を図２０に示す鳥瞰画像から高精度で検知することができる。
【００６７】
上述の実施例に関する注釈事項を以下に示す。この注釈事項は、矛盾がない限り、上述の実施例に任意に組み合わせることが可能である。
【００６８】
実施例で述べたような撮影画像から鳥瞰画像を生成する座標変換は、一般に透視投影変換と呼ばれる。この透視投影変換を用いるのではなく、公知の平面射影変換によって撮影画像から鳥瞰画像を生成するようにしてもよい。平面射影変換を用いる場合、撮影画像上の各画素の座標値を鳥瞰画像上の各画素の座標値に変換するためのホモグラフィ行列（座標変換行列）をカメラ校正処理の段階で予め求めておく。ホモグラフィ行列の求め方は公知である。そして、画像変換を行う際に、ホモグラフィ行列に基づいて撮影画像を鳥瞰画像に変換すればよい。いずれにせよ、撮影画像を鳥瞰画像上に投影することによって撮影画像が鳥瞰画像に変換される。
【符号の説明】
【００６９】
１０ …操縦支援装置
Ｃ＿１〜Ｃ＿４ …カメラ
１２ …画像処理回路
１２ｐ …ＣＰＵ
１２ｍ …ＳＤＲＡＭ
１４ …表示装置
１６ …スピーカ
１６ …フラッシュメモリ
１００ …車両
【特許請求の範囲】
【請求項１】
移動体に斜め下向きの姿勢で設けられて前記移動体の周辺の被写界を捉える撮像手段から出力された被写界像を鳥瞰画像に変換する変換手段、
前記変換手段によって変換された鳥瞰画像からエッジを抽出する抽出手段、
前記抽出手段によって抽出されたエッジによって描かれる線の角度情報を前記抽出手段によって抽出されたエッジ上の複数の位置に対応して検出する検出手段、および
前記検出手段によって検出された角度情報のうち検出回数が基準を上回る特定角度情報に対応して操縦支援処理を実行する処理手段を備える、操縦支援装置。
【請求項２】
前記操縦支援処理は操縦者に向けて警告を発生する警告処理を含む、請求項１記載の操縦支援装置。
【請求項３】
前記操縦支援処理は前記特定角度情報を有する線を描くエッジを障害物検知のための判別対象から排除する排除処理を含む、請求項１または２記載の操縦支援装置。
【請求項４】
前記検出手段は前記角度情報の分布状態を表すヒストグラムを作成する作成手段を含み、
前記処理手段は前記作成手段によって作成されたヒストグラムを参照して前記操縦支援処理を実行する、請求項１ないし３のいずれかに記載の操縦支援装置。
【請求項５】
前記撮像手段は各々が前記被写界像を出力する複数のカメラを含み、
前記抽出手段の抽出処理のために注目するカメラを前記複数のカメラの間で循環的に更新する更新手段をさらに備える、請求項１ないし４のいずれかに記載の操縦支援装置。
【請求項６】
操縦支援装置によって実行される操縦支援方法であって、
移動体に斜め下向きの姿勢で設けられて前記移動体の周辺の被写界を捉える撮像手段から出力された被写界像を鳥瞰画像に変換する変換ステップ、
前記変換ステップによって変換された鳥瞰画像からエッジを抽出する抽出ステップ、
前記抽出ステップによって抽出されたエッジによって描かれる線の角度情報を前記抽出ステップによって抽出されたエッジ上の複数の位置に対応して検出する検出ステップ、および
前記検出ステップによって検出された角度情報のうち検出回数が基準を上回る特定角度情報に対応して操縦支援処理を実行する処理ステップを備える、操縦支援方法。
【請求項１】
移動体に斜め下向きの姿勢で設けられて前記移動体の周辺の被写界を捉える撮像手段から出力された被写界像を鳥瞰画像に変換する変換手段、
前記変換手段によって変換された鳥瞰画像からエッジを抽出する抽出手段、
前記抽出手段によって抽出されたエッジによって描かれる線の角度情報を前記抽出手段によって抽出されたエッジ上の複数の位置に対応して検出する検出手段、および
前記検出手段によって検出された角度情報のうち検出回数が基準を上回る特定角度情報に対応して操縦支援処理を実行する処理手段を備える、操縦支援装置。
【請求項２】
前記操縦支援処理は操縦者に向けて警告を発生する警告処理を含む、請求項１記載の操縦支援装置。
【請求項３】
前記操縦支援処理は前記特定角度情報を有する線を描くエッジを障害物検知のための判別対象から排除する排除処理を含む、請求項１または２記載の操縦支援装置。
【請求項４】
前記検出手段は前記角度情報の分布状態を表すヒストグラムを作成する作成手段を含み、
前記処理手段は前記作成手段によって作成されたヒストグラムを参照して前記操縦支援処理を実行する、請求項１ないし３のいずれかに記載の操縦支援装置。
【請求項５】
前記撮像手段は各々が前記被写界像を出力する複数のカメラを含み、
前記抽出手段の抽出処理のために注目するカメラを前記複数のカメラの間で循環的に更新する更新手段をさらに備える、請求項１ないし４のいずれかに記載の操縦支援装置。
【請求項６】
操縦支援装置によって実行される操縦支援方法であって、
移動体に斜め下向きの姿勢で設けられて前記移動体の周辺の被写界を捉える撮像手段から出力された被写界像を鳥瞰画像に変換する変換ステップ、
前記変換ステップによって変換された鳥瞰画像からエッジを抽出する抽出ステップ、
前記抽出ステップによって抽出されたエッジによって描かれる線の角度情報を前記抽出ステップによって抽出されたエッジ上の複数の位置に対応して検出する検出ステップ、および
前記検出ステップによって検出された角度情報のうち検出回数が基準を上回る特定角度情報に対応して操縦支援処理を実行する処理ステップを備える、操縦支援方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１０−２４５８０２（Ｐ２０１０−２４５８０２Ａ）
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願番号】特願２００９−９１７７８（Ｐ２００９−９１７７８）
【出願日】平成２１年４月６日（２００９．４．６）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願日】平成２１年４月６日（２００９．４．６）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]