外界認識装置
【課題】処理負荷の低減と検出精度の向上を図ることができる外界認識装置を提供する。
【解決手段】車両１０に設置された複数のカメラ２０１〜２０３で撮像される車両周囲の画像を利用して認識対象Ｐを認識する外界認識装置は、入力されるパラメータに応じて、前記各画像の座標変換と合成を行い、合成画像を作成する合成変換部１０４と、合成変換部１０４で作成された合成画像に対して画像処理を行い、認識対象を認識する認識部と１０５と、認識部１０５によって認識された認識結果に基づいてパラメータを生成するパラメータ生成部１０８を有する。
【解決手段】車両１０に設置された複数のカメラ２０１〜２０３で撮像される車両周囲の画像を利用して認識対象Ｐを認識する外界認識装置は、入力されるパラメータに応じて、前記各画像の座標変換と合成を行い、合成画像を作成する合成変換部１０４と、合成変換部１０４で作成された合成画像に対して画像処理を行い、認識対象を認識する認識部と１０５と、認識部１０５によって認識された認識結果に基づいてパラメータを生成するパラメータ生成部１０８を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
車両に搭載された複数のカメラで撮像される車両周囲の画像から認識対象を認識する外界認識装置に関する。
【背景技術】
【０００２】
車両を駐車場に駐車させる際に、路面に描かれた白線や他車両のない空間を認識することにより、自動的に駐車可能な駐車スペースを認識し、周囲の状況を察知した上で、駐車動作を支援する方法が知られている。
【０００３】
例えば、車両の操舵状態を検出する操舵状態検出手段と、カメラからの画像を元に画像認識により駐車区画を検出する駐車区画検出手段と、操舵状態検出手段からの情報により車両の走行予想軌跡を算出する走行予想軌跡算出手段と、走行予想軌跡と駐車区画の情報により駐車を補助する情報を運転者に提供する報知手段を備えた駐車補助装置が提案されている（例えば特許文献１を参照）。
【０００４】
また、近年、駐車動作時に車両と駐車区画との相対位置を容易に把握することを目的として、複数のカメラからの画像を合成し、車両を真上から撮像したのと同等の俯瞰画像を作成する技術が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−３３９１９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、複数のカメラで撮像した複数の画像を元に画像認識により駐車枠を検出しようとすると、情報量が多く、処理負荷が大きくなり、処理速度が低下するという問題がある。
【０００７】
また、上記した俯瞰画像を元に画像認識により駐車区画を検出する場合には、全体の情報量は少なくなるが、その分だけ画像の解像度が低下し、駐車区画の検出精度が低下するという問題がある。
【０００８】
本発明は上記の問題点に鑑みてなされたものであり、その目的は、処理負荷の低減と検出精度の向上を図ることができる外界認識装置を提供することである。
【課題を解決するための手段】
【０００９】
上記の課題を解決する本発明の外界認識装置は、入力されるパラメータに応じて、各画像の座標変換と合成を行い、合成画像を作成し、その合成画像に対して画像処理を行い、認識対象を認識し、その認識結果に基づいてパラメータを生成する。
【発明の効果】
【００１０】
本発明によれば、入力されるパラメータに応じて、各画像の座標変換と合成を行い、合成画像を作成し、その合成画像に対して画像処理を行い、認識対象を認識し、その認識結果に基づいてパラメータを生成するので、合成変換部で、認識部が認識対象を認識するのに必要な合成画像を作成させることができ、認識部で認識対象を精度良く認識させることができる。
【００１１】
従って、例えば、認識対象を含む部分の解像度が高く且つ認識対象を含まない部分の解像度が低い合成画像を作成することができる。従って、認識対象を精度良く認識させることができ、また、認識部における認識処理の負荷を低減することができる。
【図面の簡単な説明】
【００１２】
【図１】第１実施の形態に係わる外界認識装置のシステム構成図。
【図２】車両に搭載されるカメラの配置例を示す図。
【図３】第１実施の形態における駐車支援方法の一例を説明するフローチャート。
【図４】駐車場内の走行例を示す図。
【図５】図４の状態における左側方カメラの画像を示す図。
【図６】図４の状態における右側方カメラの画像を示す図。
【図７】合成変換部によって作成される合成画像の一例を示す図。
【図８】合成画像を作成する方法を説明するフローチャート。
【図９】図８の各ステップで得られる画像の一例を示す図。
【図１０】仮想カメラの視点位置を示す図。
【図１１】駐車場内の走行例を示す図。
【図１２】合成変換部によって作成される合成画像の一例を示す図。
【図１３】画像内から白線を見つける方法を説明する図。
【図１４】駐車動作を示す図。
【図１５】駐車動作を示す図。
【図１６】駐車動作を示す図。
【図１７】駐車動作を示す図。
【図１８】合成変換部によって作成される合成画像の一例を示す図。
【図１９】合成変換部によって作成される合成画像の一例を示す図。
【図２０】合成変換部によって作成される合成画像の一例を示す図。
【図２１】合成変換部によって作成される合成画像の一例を示す図。
【図２２】駐車動作を示す図。
【図２３】合成変換部によって作成される合成画像の一例を示す図。
【図２４】駐車支援方法の他の例を説明するフローチャート。
【図２５】駐車支援方法の他の例を説明するフローチャート。
【図２６】駐車場内の走行例を示す図。
【図２７】第２実施の形態における外界認識装置のシステム構成図。
【図２８】俯瞰変換によって、人物などがカメラ視点から放射方向に伸張する様子を示した図。
【図２９】駐車場内の走行例を示す図。
【図３０】合成変換部によって作成される合成画像の一例を示す図。
【図３１】駐車場内の走行例を示す図。
【図３２】合成変換部によって作成される合成画像の一例を示す図。
【図３３】パラメータ生成部におけるパラメータの例を示す図。
【図３４】各画像入力部からの映像を示す図。
【図３５】幾何変換マップを用いて入力画像領域を出力画像領域に割り付ける方法と、該方法による割付後の出力画像を示す図。
【発明を実施するための形態】
【００１３】
（第１実施形態）
以下、第１の実施の形態に係わる外界認識装置について図面を用いて説明する。
図１は、本実施の形態に係わる外界認識装置の構成を示すブロック図である。本実施の形態では、外界認識装置１００は、駐車支援装置によって車両を駐車スペースに駐車させる際に、駐車スペースを認識するのに用いられている。
【００１４】
外界認識装置１００は、車両に搭載されるコンピュータを備えており、プログラムの実行により、図１に示すように、複数の画像入力部１０１〜１０３と、画像入力部１０１〜１０３から入力された複数の画像を合成変換する合成変換部１０４と、合成変換部１０４によって合成変換された合成画像を元に画像処理により予め設定された認識対象を認識する認識部１０５と、車両の状態・外部環境・内部環境を観測するセンサ１０６と、車両に搭載されている照明１０７と、認識部１０５の認識結果に応じて合成変換部１０４による合成変換方法のパラメータを生成するパラメータ生成部１０８と、認識結果やセンサ情報を入力として、必要に応じて情報を重畳描画して表示する表示部１０９と、認識結果やセンサ情報に基づいて制御を行う制御部１１０の各機能が構成される。
【００１５】
画像入力部１０１〜１０３は、自車周囲を撮像してその画像を合成変換部１０４に入力する。例えば、ＣＣＤとレンズを有するカメラによって構成される。
【００１６】
合成変換部１０４は、画像入力部１０１〜１０３から入力した各画像に対して、後述するパラメータ生成部１０８からのパラメータに応じて、拡大・縮小・回転・写像等の変換処理を行うとともに、複数の画像を写像してより少ない枚数の画像に納める合成処理を行い、これら合成変換処理により作成された合成画像を認識部１０５に送る。尚、本実施の形態では、合成変換部１０４から認識部１０５に入力される画像が１入力の場合を例に説明しているが、複数画像が入力される場合でも本質的に同じである。
【００１７】
認識部１０５は、合成変換部１０４によって作成された合成画像に対して画像処理を行い、合成画像に写っている白線、トラロープ、パレット式駐車場のパレットなどの駐車枠を画像認識する。また、認識部１０５は、車両の状態・外部環境・内部環境を観測するセンサ１０６に対して、駐車状態に応じてセンサ情報の取得要求を出す。
【００１８】
そして、センサ１０６から取得したセンサ情報に応じて、より詳しくは複数の画像を写像してより少ない枚数の画像に納める際（合成処理する際）に、どの画像を重視して解像度を割り当てるかを、パラメータ生成部１０８に指令する。さらに、認識部１０５は、画像認識の結果によって、駐車枠線等の認識対象が見えにくくなっている状況を判定し、照明部１０７へ点灯・消灯・照射範囲などの指令を出す。
【００１９】
パラメータ生成部１０８では、認識部１０５からの指示により、各画像に対する変換方法を変更し、合成変換部１０４に対して合成変換のパラメータを送る。パラメータ生成部では、少なくとも、画像入力部１０１〜１０３のいずれの映像を用いるか、その映像中で使用する入力画像領域，各入力画像領域を割り付ける出力画像上での領域，各領域の幾何変換マップ，をパラメータとして持つ。
【００２０】
このパラメータの例を図３３〜図３５を用いて説明する。図３３に示すパラメータ３００６は、図３５（Ｂ）に示す出力画像３００４を作成するためのパラメータ例である。例えば、図３４に示す画像入力部１０１からの映像３００１、画像入力部１０２からの映像３００２、画像入力部１０３からの映像３００３に対して、パラメータ３００６は、使用する映像を画像入力部１０１と画像入力部１０２からの映像と設定し、入力画像領域を領域３０１１、領域３０１２と設定している。
【００２１】
そして、これらの入力画像領域３０１１、３０１２を、図３５（Ｂ）の出力画像３００４上の出力画像領域３０２１と出力画像領域３０２２に割り付ける設定となっている。そして、映像３００１と出力画像領域３０２１との座標変換、および映像３００２と出力画像領域の３０２２との座標変換を行うためのマップとして、幾何変換マップ３００５が指定されている。
【００２２】
図３５（Ａ）に示すように、幾何変換マップ３００５では、一部の対応付けのみを点線の矢印で示しているが、実際には領域と領域の対応関係を密に定義している変換テーブルである。パラメータは後述する自車の状態と周囲環境の状態などにより、必要に応じて切り替えられるものである。
【００２３】
パラメータ生成部１０８は、前述したパラメータの組を複数保持しておき、認識部１０５からの指示により、このパラメータの組を切り替えることができる。また、切り替えの際にパラメータ間が滑らかに切り替わるように中間的なパラメータを生成する機能を持っていても良い。
【００２４】
例えば、生成する出力画像が図９から図１４のようになるようにパラメータが変更された場合、出力画像領域の変換マップを切り替える代わりに、１０フレーム程度の複数フレームにかけて、幾何変換マップの出力座標を補間して滑らかに変化させる。この幾何変換マップの補間は一般的にはモーフィング技術と呼ばれるものがあるため、ここでは詳細には述べない。これにより、ユーザにとっての見やすさを向上し、切り替わりによる周囲状況把握の混乱を防ぐことができるようになる。
【００２５】
表示部１０９は、認識部１０５からの認識結果やセンサ情報を入力として、必要に応じて情報を重畳描画して表示する。また、制御部１１０では、認識部１０５での認識結果やセンサ情報に基づいて、ハンドル制御や加速・制動制御を行い、自動駐車を行う。
【００２６】
図２は、車両に搭載されるカメラの配置例を示す図である。車両１０には、３つの車載カメラ２０１〜２０３が搭載されており、画像入力部１０１が左サイドカメラ２０１、画像入力部１０２が右サイドカメラ２０２、画像入力部２０３がリヤカメラ２０３である。また、車両１０には、照明１０７として、自車周辺を照らすためのライトがドアミラー部に内蔵されて搭載されている（図示していない）。
【００２７】
上記した外界認識装置１００を用いた駐車支援方法として、手動、半自動、完全自動の３種類に大きく分けることができる。図３は、手動による駐車支援方法を説明する図、図４は、半自動による駐車支援方法を説明する図、図５は、完全自動による駐車支援方法を説明する図である。
【００２８】
手動の場合、図３に示すように、運転者によって目標とする駐車スペースＰが指定されると、駐車支援装置は、その目標駐車スペースＰまでの誘導経路を表示部１０９に表示し、更に自車１０の舵角情報を重畳して表示したり、音声でハンドルをどちら側にどのくらい回すのかを指示したりすることで、停止位置やシフトポジションの変更を行うタイミングを運転者に教える。運転者は、指示に従ってハンドルやアクセル、ブレーキ等を操作することで、車両１０を目標駐車スペース内に駐車することができる。目標とするスペースＰを運転手が指定する方法としては、以下の複数の方法が考えられる。例えば、タッチパネル機能を持つカーナビゲーションのモニタに自車周囲映像を映し出しておき、運転手が指で触ることによって目標とする駐車スペースを指定する方法が考えられる。また、同様にカーナビゲーションのモニタに自車周囲映像を映し出すとともに、その映像に重畳して数字もしくはアルファベット等の文字を表示しておき、目標とする駐車スペースＰに近い数字もしくは、アルファベット等の文字を運転手に発話させ、その音声を認識することによって目標とする駐車スペースＰを指定することができる。音声を認識する方法については、公知の技術があるため、ここでは特に述べない。あるいは、頭部方向や視線方向を計測する方法を用いて運転手の目標とする駐車スペースＰを指定してもよい。運転席付近に設置したカメラによって、運転手の頭部方向を観測しておき、目標とする駐車枠の方向を向かせることで駐車枠を指定する方法である。通常、駐車スペースに異物が落ちていないか確認する必要があるため、運転手に目視で確認させると同時に、駐車支援システムに目標とする駐車スペースを指定することで、スムーズに駐車支援システムの動作開始を行わせることが可能となる。
【００２９】
半自動の場合、図４に示すように、運転者によって目標とする駐車スペースＰが指定されると、駐車支援装置は、自車１０の舵角を制御する点が手動の場合と異なる。車両１０のアクセルおよびブレーキの操作は、運転者自身によって行われる。尚、表示部１０９に誘導経路を表示させてもよい。
【００３０】
完全自動の場合、図５に示すように、運転者に目標とする駐車スペースＰを選択させると、駐車支援装置は、車両１０の誘導経路を計算し、車両１０の舵角と速度を適切に制御しながら、車両１０を経路に沿って移動させ、目標駐車スペース内に駐車させる。
【００３１】
上記した各駐車支援方法は、自車周囲の環境を認識するために、白線などで描かれた駐車枠線２０を認識し、表示部１０９により運転者に駐車可能な駐車スペースＰを提示して選択させ、選択された駐車スペースＰの位置までの誘導経路を計算している。上記３つの方法に対して、駐車支援装置が行う誘導経路の計算自体は、これまで多くの研究や発明がなされているため、ここでは詳細の説明を省く。
【００３２】
手動による駐車支援動作の流れを示す図３に従って説明する。
【００３３】
［駐車支援開始判定］
車両１０の走行中に、駐車支援が必要な状況か否かが定期的に判定される（ステップＳ３０１）。駐車支援が必要な状況か否かは、予め設定された支援開始条件に基づいて判断され、支援開始条件を満たしている場合には、駐車支援処理が開始される。
【００３４】
例えば、車速を支援開始条件として設定し、定期的に車速を観測して、車速が予め設定された閾値よりも低下した場合に、駐車支援が必要な状況と判断して駐車支援処理を開始してもよい。または、カーナビゲーションシステムの地図情報と自車位置情報を利用して、自車１０が駐車場に入ったことを認識して、駐車支援処理を開始してもよい。
【００３５】
他には、駐車場付近に備えられたビーコンによって駐車可能区域に近づいたことを検知し、あるいは、運転者によるスイッチ操作や音声認識、視線観測による入力等に基づいて、駐車支援処理を開始してもよい。
【００３６】
［初期枠検知処理］
駐車支援開始判定により駐車支援開始の判定がなされると、例えば自車１０の近傍や駐車場内における駐車スペースの候補が表示部１０９によって表示され、運転者に提示される（ステップＳ３０２）。駐車スペースの候補は、例えば画像認識による駐車枠認識結果や、測距センサによる駐車空間認識結果に基づいて検出され、表示部１０９によって車載モニタにその画像とともに重畳表示される。
【００３７】
［駐車目標設定処理］
上記した初期枠検知処理のステップＳ３０２によって、運転者に提示された駐車スペースの中から、任意の駐車スペースを、目標とする駐車スペースＰとして選択させる（ステップＳ３０３）。目標とする駐車スペースＰを選択する方法は、例えば車載モニタのタッチパネルのほか、運転者や同乗者の視線方向を観測したり、音声を認識したりしてもよい。
【００３８】
［目標枠追跡処理］
上記した駐車目標設定処理のステップＳ３０３によって、目標とする駐車スペースＰが選択されると、その選択された駐車スペースＰに自車１０を誘導するために、画像認識やデッドレコニング、測距センサにより、自車１０と駐車枠線２０との相対位置の変化を追跡する処理が行われる（ステップＳ３０４）。この追跡結果に応じて、車両１０をどのように動かせばよいかを運転者に示して、車両１０を駐車スペースＰに誘導する（ステップＳ３０５）。
【００３９】
そして、画像認識やデッドレコニングにより駐車スペースＰまで自車１０が到達したかどうかを判定し（ステップＳ３０６）、到達していると判定された場合には駐車完了と判断する（ステップＳ３０６でＹＥＳ）。
【００４０】
一方、到達していないと判定された場合には、駐車完了とは判断されず（ステップＳ３０６でＮＯ）、次に、画像認識やデッドレコニング、測距センサ１０６によって、自車位置が誘導経路から外れているか否か、あるいはこのままでは障害物に接触するか否かが判断される（ステップＳ３０７）。
【００４１】
ここで、自車位置が誘導経路から外れている等と判断された場合には（ステップＳ３０７でＹＥＳ）、誘導経路の微調整及び修正を行い（ステップＳ３０８）、引き続き、駐車スペースＰへの誘導を行う。また、誘導経路から外れていない等と判断された場合には（ステップＳ３０７でＮＯ）、引き続き、駐車スペースＰへの誘導が行われる。
【００４２】
次に、半自動による駐車支援動作の流れを示す図４に従って説明する。尚、図３と同様の処理については、同一の符号を付することでその詳細な説明を省略し、異なる処理についてのみ説明する。
【００４３】
［目標枠追跡処理］
半自動駐車制御では、ステップＳ３０４で自車１０に対する駐車スペースＰの相対位置変化を追跡した結果に基づき、制御部１１０による車両１０の舵角制御が行われる（ステップＳ３１１）。
【００４４】
この舵角制御によって、誘導経路に合うように自車１０の舵角が適切に制御される。運転者は、ハンドル操作を行わず、アクセルペダルとブレーキペダルを操作するだけで、自車１０を誘導経路に沿って移動させることができ、最終的に駐車スペースＰに駐車させることができる。
【００４５】
また、ステップＳ３０７で自車位置が誘導経路から外れていると判断された場合には（ステップＳ３０７でＹＥＳ）、制御部１１０によって舵角を微調整する制御が行われ、引き続き、駐車スペースＰ内への誘導が行われる。
【００４６】
次に、完全自動による駐車支援動作の流れを示す図５に従って説明する。尚、図３と同様の処理については、同一の符号を付することでその詳細な説明を省略し、異なる処理についてのみ説明する。
【００４７】
［目標枠追跡処理］
完全自動駐車制御では、ステップＳ３０４で自車１０に対する駐車スペースＰの相対位置変化を追跡した結果に基づき、制御部１１０による車両１０の舵角・速度制御が行われる（ステップＳ３２１）。
【００４８】
この舵角・速度制御によって、誘導経路に合うように自車１０の舵角が適切に制御され、また、車速が制御される。これにより、運転者は、ハンドル、アクセルペダル、ブレーキペダルを操作することなく、自車１０が誘導経路に沿って自動的に移動され、最終的に駐車スペースＰに駐車される。また、駐車制御の途中で、何らかの理由により駐車支援を中断すると判断された場合には（ステップＳ３２２でＹＥＳ）、そのまま自動駐車制御が終了される。
【００４９】
図３から図５で説明した各駐車支援方法において、特に駐車支援の動作開始直後は、装置側では運転者が自車１０をどの駐車スペースに入れたいと望んでいるか分からないため、複数の駐車スペース候補を提示して選択させることになる。従って、自車周囲を広く見渡して、より多くの駐車枠の候補を見つけ、ユーザに提示することが望ましい。
【００５０】
図６は、駐車場内の走行例を示す図である。駐車支援の動作開始時点では、例えば図６に示すように、自車１０の走行経路の左右に駐車スペースがあることが多いので、自車１０を駐車させる駐車スペースを見つけるためには、自車１０の側方を観測するように設置されている車載カメラ２０１、２０２の画像を用いるのがよい。
【００５１】
前述したように、本実施の形態では、認識部１０５に入力される画像を１入力であることを仮定しているため、車載カメラ２０１、２０２により撮像した２つの画像を１つの画像に合成する必要がある。
【００５２】
図６に示す状況の場合、車載カメラ２０１からは図７の画像が、車載カメラ２０２からは図８の画像が得られている。自車１０の周囲には、他の駐車車両４０２〜４０４やラバーコーン４０５〜４０８等の障害物がある。
【００５３】
このような駐車場の状態において、自車１０の周囲を広く見渡し、より多くの駐車スペースＰの候補を見つけてユーザに提示するためには、例えば図９に示すような合成画像９１５を認識部１０５に与えることが好ましい。
【００５４】
図９に示す合成画像９１５は、画像入力部１０１〜１０３から入力した画像を合成変換部１０４で合成変換することによって作成される。ただし、例えば他車両の陰のように、立体物に遮蔽されるために画像入力部１０１〜１０３では観測できない領域４０９については、情報が欠落するため不正確な合成画像９１５となる。この観測できない領域４０９は、遮蔽している他車両の画像を路面の代わりに伸張して画像に貼り付けたり、レンジファインダやステレオカメラによって得られた距離情報に基づいて、欠落している情報であることを明示的に表示する。図１０は、合成画像の作成方法を説明するフローチャート、図１１は、図１０の各ステップで得られる画像の一例を示す図である。
【００５５】
まず、画像取得処理（ステップＳ８０１）において、図１１に示すように、各車載カメラ２０１〜２０３の画像９１１、９２１を取得し、歪み補正処理（ステップＳ８０２）でレンズ特性などの光学系歪みを補正した画像９１２、９２２を作成し、俯瞰変換処理（ステップＳ８０３）で仮想的に上方からの視点に変換した俯瞰画像９１３、９２３を作成する。
【００５６】
例えば、図１２に模式的に示すように、実際のカメラ位置１００１、１００２と、道路面１００３との相対関係が分かっている場合には、画像９１１、９２１に対して座標変換を行うことで、仮想的なカメラ位置１００４から撮像した俯瞰画像９１３、９２３を作成することができる。
【００５７】
尚、上記した座標変換の方法としては、例えば特開２００６−３３３００９号公報に示されるように、実カメラで撮像された画像が格納されているメモリから読み出したデータを、事前にメモリ等に記憶させておいた変換テーブルに基づいて、俯瞰画像用メモリに画素毎に順次コピーすることで座標変換を行う方法がある。この変換テーブルとは、カメラによって撮像された実画像データを俯瞰画像データに変換するために、俯瞰画像データ上の各点が実画像上のどの点と同一であるかを示す２次元テーブルであり、カメラのレンズの光学特性並びに車両に対する取り付け位置および取り付け角度に基づいて一意に決定されるものである。
【００５８】
このとき、変換テーブルはカメラの車両に対する取り付け位置および取り付け角度に基づいて決められている一方で、実環境においては、乗員や貨物の積載重量変化や、加減速や旋回に起因する車体揺動や、温度や経年によるタイヤ空気圧変化の影響で、路面に対するカメラの相対的な高さおよび角度は変化してしまう。
【００５９】
道路に対する車両状態の変動には、長期的な変動と短期的な変動の２種類がある。長期的な変動は、積載重量の変化やタイヤ空気変動によるカメラの位置姿勢の変化であり、毎回の走行中には変化しない特徴を持つ。一方、短期的な変動は、道路面の凹凸や勾配変化、加減速に起因する車体の揺動に伴うカメラの位置姿勢の変化であり、短時間で収束する特徴を持つ。
【００６０】
この変化の影響により正確な俯瞰変換を行えず、例えば長方形の駐車枠線が台形として観測されるなど見かけの変形が生じる。見かけの変形が生じた場合、そのままでは駐車枠検知処理の認識性能が低下する。このため、路面に対する車両姿勢を計測するために、自動車の積載重量変化や車体揺動・タイヤ空気圧変化の状態を、車高センサ・車体ロールセンサ・タイヤ空気圧センサなどのセンサ１０６により観測し、適宜調整を行うことで認識性能を保つ必要がある。
【００６１】
これらのセンサ出力を時系列で観測することにより、長期的な変動と短期的な変動とを切り分けることができる。例えば、ある時刻ｔにおけるセンサ１０６からの出力値をＯ（ｔ）とする。認識部１０５では、前々回の出力値Ｏ（ｔ−２Ｎ）から前回の出力値Ｏ（ｔ−Ｎ）の標本分散をＳ１、前回の出力値Ｏ（ｔ−Ｎ）から今回の出力値Ｏ（ｔ）の標本分散をＳ２とすると、Ｓ２≧ｋ×Ｓ１であれば短期的な変動、そうでなければ長期的な変動と判断することができる。ここでｋ（≧１）は実験的に決める定数である。
【００６２】
長期的な変動に対しては、認識部１０５は、センサ１０６の出力値から車体の揺動の程度を計算し、カメラの位置姿勢の変化量を算出する。このカメラの位置姿勢の変化量をパラメータ生成部１０８に送る。パラメータ生成部１０８では、カメラの位置姿勢の変化量に基づいて俯瞰変換画像にアフィン変換を施すことができる。例えば台形として観測されている駐車枠線は、本来は長方形であり、２組の平行線で構成されているはずであるため、例えば特開２００２−１４０６９６号公報に記載されている方法を用いることで、自動調整を行うことができる。特開２００２−１４０６９６号公報の実施例には、カメラ角度のブレと、カメラ高さの変化を求める方法が記載されており、この方法により求めたカメラ角度のブレおよびカメラ高さの変化がカメラの姿勢位置の変化量としてパラメータ生成部１０８に送られる。
【００６３】
一方、短期的な変動に対しては、センサ１０６と画像入力部１０１〜１０３では、画像情報を取得する時間間隔とタイミングおよび遅延時間が異なるため、カメラ角度のブレとカメラ高さの変化を求めても、適切なタイミングで精度良い補正を行うことができない。この場合は、パラメータ生成部１０８のパラメータを変更する代わりに、認識部１０５での認識条件を調整することで認識性能を保つ。すなわち、センサ１０６からの出力値の標本分散を用いて、分散値が大きい場合には画像認識の認識パラメータを変更し、認識の条件を緩和する。例えば、後述する駐車スペースＰを認識する際、駐車枠が変形していて台形に見えるような場合でも認識するように、白線の直線成分で囲まれていると判定する時の直線の平行性および直角性の判定条件を緩める。
【００６４】
アフィン変換処理（ステップＳ８０４）では、各駐車状態において画像認識に必要な特徴を保存するように画像の変形を行う。駐車支援の動作開始直後は、複数の駐車スペースは自車１０の進行方向に沿って並んでおり、運転者が目標とする駐車スペースを選択する際には進行方向に対する位置が重要である。
【００６５】
また、駐車スペースＰを形成する駐車枠線２０の幅は、一般的に６ｃｍから１５ｃｍであり、この線幅を潰さないように画像を縮小するのがよい。今回の場合、自車１０の進行方向に直交する方向にのみ縮小を行った画像９０４を作成することで、駐車枠線２０の前方ライン２１と後方ライン２３を潰さないように縮小している。
【００６６】
こうして一定の大きさに変換された複数の画像９１４、９２４を、画像統合処理（Ｓ８０５）において、１枚の統合画像にまとめることで合成画像９１５を作成する。なお、前述した画像処理ステップＳ８０１〜Ｓ８０５を順に行う必要はなく、歪み補正処理（Ｓ８０２）と俯瞰変換処理（Ｓ８０３）を合わせた変換マップを事前に準備しておくことで、一括した処理を行うこともできる。
【００６７】
この合成画像の作成方法は、ソナーセンサやミリ波レーダ、レーザレンジファインダといった測距センサ１０６からの出力によっても適切に変えることができる。例えば、図１３に示すように、自車１０の片側（進行方向右側）に壁１１０１が続いていることが観測されている場合は、そちら側に駐車することはない。
【００６８】
このような場合は、前述したように自車１０の上方から見た俯瞰画像９１３は作成するが、その中心を自車１０にする必要はなく、図１４に示すように、壁１１０１のない左側の表示領域１２０１を広げ、右側の表示領域１２０２を狭めた合成画像１２００を作成してもよい。これにより、例えば図９に示すような車両１０の右側に位置する駐車スペースの候補の中に、障害物を観測できるようになる場合もあり、より適切な駐車支援が行えるようになる。
【００６９】
なお、自車１０の片側に壁や駐車車両等の障害物が存在しているか否かの判定は、図１３に示すように、自車１０から複数方向に向かって、もしくは自車１０の移動中に複数回、ソナーセンサやミリ波センサ、レーザーレーダ等の障害物センサで距離計測を行い、計測された距離１１０２、１１０３、１１０４が直線と見なせるか否かで判別することができる。
【００７０】
また、カーナビゲーションシステムや通信による駐車場情報などの事前知識が利用できる場合は、駐車可能な駐車スペースがある側や、駐車場の通用口側など利便性の高い駐車スペースのある領域を重視して合成画像を作成してもよい。
【００７１】
次に、俯瞰画像に画像処理を施して俯瞰画像の中から駐車枠線を見つける方法について説明する。俯瞰画像から白線を見つける方法は様々な方法が提案されているが、ここでは白線エッジ角度の連結を用いる方法について図１５を用いて説明する。
【００７２】
図１５において、図１５（ａ）を入力画像１３０１とする。まず、入力画像１３０１に示される白線１３１１のエッジ角度を求める。ここでは、図１５（ｂ）に示す横方向のＳｏｂｅｌオペレータ１３０２、及び図１５（ｃ）に示す縦方向のＳｏｂｅｌオペレータ１３０３を、入力画像１３０１の画素にそれぞれ適用して、図１５（ｄ）に示される横方向のエッジ強度（ΔＩ／Δｘ）１３０４と、図１５（ｅ）に示される縦方向のエッジ強度（ΔＩ／Δｙ）１３０５をそれぞれ算出する。
【００７３】
そして、縦方向のエッジ強度１３０５を横方向のエッジ強度１３０４で除した値をエッジの傾きとみなし、その逆正接を計算することで、図１５（ｆ）に示される白線エッジ角度１３０６（θ＝ａｔａｎ｛（ΔＩ／Δｙ）／（ΔＩ／Δｘ）｝）を得ることができる。
【００７４】
この白線エッジ角度１３０６が類似しているエッジ点を周囲とグループ化することで、白線１３１１の直線成分を抽出することができる。白線エッジ角度１３０６の類似性は、例えば近傍のエッジ点のエッジ方向の差が所定の角度以内である場合に類似していると見なせばよい。
【００７５】
抽出された白線１３１１の直線成分で少なくとも２方向を囲まれていることが観測された領域は駐車スペースＰの候補となる。直線成分を囲む際の判定条件は、例えば、２本の直線成分の間隔と、角度の平行性と、端点の位置ずれが既定値範囲であれば、囲んでいると判定する。例えば、直線成分の間隔は抽出されている線分の端点からもう一方の直線に対して垂線をおろし、その垂線の長さの平均値から計算できる。角度の平行性は、抽出されている２本の線分をベクトルＶａ，Ｖｂ、その線分間の角度をθとすると、次の式が成り立つ。ｃｏｓθ＝＜Ｖａ，Ｖｂ＞／（‖Ｖａ‖×‖Ｖｂ‖）。この式よりθを求め、｜θ｜≦θｔであれば平行であると判定できる。ここでθｔは実験的に求められる閾値である。このとき、認識部１０５で車体姿勢が短期的な変動をしていると判定した場合には、｜θ｜≦（θｔ＋ｍ×Ｓ２）であれば平行であると判断する。ただしｍは調整用に実験的に決められる定数である。また、端点の位置ずれは、抽出されている線分の端点からもう一方の直線に対して垂線をおろし、その交点ともう一方の端点までの距離を位置ずれと定義する。
【００７６】
この駐車スペース候補の領域に対して、駐車枠線２０の各辺２１、２２、２３の長さが想定している駐車スペースＰの大きさの範囲内に入っていることを評価し、駐車スペースＰの大きさと明らかに異なる領域は候補から除外する。上記した方法によって、俯瞰画像から駐車スペースＰを検出することができる。
【００７７】
また、白線２４以外の、例えばトラロープも駐車スペースＰの区切りとして使われる。トラロープは、通常、黄色と黒色の縞模様になっているため、色抽出を行い、規定の周期で交互の色で連続していることを手がかりに抽出することができる。
【００７８】
例えば、色抽出の場合、ＨＳＩ表色系において所定の部分空間内に含まれる画素を抽出し、抽出された画素の座標に対しフーリエ変換を行い、所定の周波数領域での連続領域を抽出し、抽出後の座標に対して直線近似をすることで、トラロープを抽出することができる。尚、抽出方法の詳細については、本発明の本質的部分ではないため、省略する。
【００７９】
また、駐車枠線２０以外の例えば規制表示や案内表示などの路面標示を認識することで、より高度な駐車支援を行うこともできる。例えば、図１６は、駐車禁止区域２６０１と身障者用スペース２６０２のある駐車場の図である。
【００８０】
駐車禁止区域２６０１は、白線２４が所定の間隔で複数本並んでおり、かつ駐車スペースＰの並び方向に対して傾いていることを条件に認識することができる。この駐車禁止区域２６０１には、自車１０も他車４１１等も駐車できないが、駐車途中の経路として一時的に通過することができるため、この区域を利用する誘導経路を生成することで、より柔軟な駐車動作を行うことができる。
【００８１】
また、駐車禁止区域２６０１には、他車４１１が停車することがないため、最終的な駐車位置として、この区域２６０１側に、自車１０を寄せて停めることができる。これにより、自車１０の周囲に多くのスペースを確保することができ、車両１０のドアを大きく開くことができ、乗降車が容易になるという利点がある。
【００８２】
また、身障者用スペース２６０２は、前述した手法により駐車スペースＰを認識した後、その内部領域に対して、身障者用スペース２６０２を表す図形を、テンプレートマッチング法を用いてその一致度を判定することで認識する。なお、この身障者用スペース２６０２を表す図形は、事前にそのバリエーションを含めて外界認識装置１００の記憶手段に登録しておく。
【００８３】
次に、経路誘導時に必要な駐車スペースＰの位置の認識方法について説明する。
外界認識装置１００において、駐車スペースＰまでの誘導経路を正確に算出するためには、車両１０に対する駐車スペースＰの位置および方位を正確に認識し、駐車スペースＰに対して偏りなく、また、周囲の障害物等にぶつかりにくい状態で経路誘導を行うことが望ましい。
【００８４】
この経路誘導時に、車両１０の周囲で注意を払わなくてはならない部位は、駐車動作の段階と、駐車スペースと自車１０の相対関係によって変化する。以下、駐車動作の段階に応じて、どのような合成画像を認識部１０５に与えるかを順に説明する。
【００８５】
例えば、図１７〜図２０に示すように、自車１０の左後方の駐車スペースが、目標とする駐車スペースとして選択された場合、駐車動作の段階としては、後退動作（図１７）、急旋回動作（図１８）、平行性調整動作（図１９）、停車位置調整動作（図２０）の４段階がある。
【００８６】
後退動作中は、図１７に示すように、駐車スペースＰまで後退する際の位置精度を高めるため、自車１０の後方を観測して自車移動量を計測しつつ、後側方を観測して駐車スペースＰの方向を計測する必要がある。従って、認識部１０５は、図２１のように、パラメータ生成部１０８に対して、自車１０の後方と後側方の俯瞰画像１８０１、１８０２をまとめて示すように指令を与える。
【００８７】
次に、急旋回動作中は、図１８に示すように、自車１０の内輪側１５０１が駐車枠線２０や左隣の駐車車両（図示せず）に当たらないかを監視することが重要であるとともに、どのタイミングでハンドルきり角を戻せばよいかを精密に判定する必要がある。また、自車１０の最も外側の角１５０２が、駐車スペースＰと通路を挟んで対向する側の壁や駐車車両に当たらないかを監視する必要がある。
【００８８】
従って、認識部１０５は、図２２に示すように、注目が必要な領域の画像１９０１、１９０２を合成変換部１０４がまとめて示すように、パラメータ生成部１０８に指令を与える。
【００８９】
また、車両１０にソナーセンサやレンジファインダのようなセンサ１０６が搭載されており、センサ１０６によって周囲の障害物を認識した結果、衝突の危険性がないと判断された場合には、認識部１０５は、パラメータ生成部１０８に対して、自車１０の内輪側の画像１９０１のみをより高解像度で示すように指令を与える。
【００９０】
そして、衝突の危険性が一定以上あると判断された場合には、自車１０の最も外側の角である右前端部を含む画像１９０２の解像度を増やすようにパラメータ生成部１０８に指令を与える。
【００９１】
また、車両１０には、車速センサ、車輪速センサ、対地速度センサ等の自車１０の動く速度が分かるセンサ１０６が搭載されており、認識部１０５は、パラメータ生成部１０８に対して、自車１０の挙動と周囲の障害物の有無に応じて、認識範囲を広げるように指令を与える。
【００９２】
次に、平行性調整動作中の場合は、図１９に示すように、駐車目標位置までの距離が短く、大幅に経路を修正することは困難である。しかしながら、自車１０の姿勢状態が駐車スペースＰの側方ライン２２と平行になるように、ハンドル角度を調整する必要があることから、自車１０と自車側方１６０１の側方ライン２２との角度を算出することが重要である。従って、図２３のように、自車１０の後側方を遠方まで観測できる画像を合成変換部１０４から与えられるように、認識部１０５は、パラメータ生成部１０８に指令を与える。
【００９３】
次に、停車位置調整動作中の場合は、図２０に示すように、自車１０は、直進後退をしており、駐車枠線２０や縁石、輪留めから適切な停車位置を探す必要があり、これらの目印から車両１０までの距離を計測する必要がある。従って、図２４に示すように、自車１０から停車位置までの距離が計測しやすい俯瞰画像２４０１を合成変換部１０４から与えられるように、認識部１０５は、パラメータ生成部１０８に指令を与える。
【００９４】
また、認識部１０５は、夜間などにおいて画像のコントラストが低下している状況や、外乱光の影響によって駐車枠線２０等の認識対象が見えにくくなっている状況を判定し、照明１０７を制御する。
【００９５】
例えば、前述した図１８に示すような急旋回中に駐車スペースＰの駐車枠線２０を認識する場合に、デッドレコニングおよび外界センサ１０６によって、車両１０の内輪側１５０１の近辺に存在する駐車枠端が、画像上のどの付近に映されているかが分かっているが、その近傍では検出できず且つ近傍領域のコントラストが低いときは、照明１０７で車両１０の内輪側１５０１を照らし出すように点灯させ、かかる領域を再度撮像して、コントラストの改善された画像を認識部１０５に与えるのがよい。
【００９６】
また、店舗や街灯、自販機などを光源として、路面や水溜まり上に駐車枠端に似た明暗パターンが投影される場合がある。このような場合、駐車枠端が写っているべき画面上の位置が、デッドレコニングおよび外界センサ１０６により計算される位置からずれて、正確に認識対象が得られていない可能性がある。従って、照明１０７を点灯して外乱光の影響を軽減した画像を認識部１０５に与える。
【００９７】
路面標示と外乱光による明暗パターンでは、照明１０７の点灯前後におけるコントラスト変化の度合いが異なるため、照明１０７を点灯していない状態の画像と比較することで、前述した外乱光の影響による誤認識を防ぐことができる。
【００９８】
一方、前述した平行性調整動作中の状態で、ステアリング操作のミスや車両挙動の誤差などによって経路設定から逸脱し、図２５に示すように、駐車枠線２０の車両後側方に位置する側方ライン２２を踏んでいる場合には、この側方ライン２２を画像認識により認識することは困難である。
【００９９】
かかる場合、自車１０の側方に位置する駐車枠線２０の前方ライン２１を認識し、前方ライン２１に対して直交する方向に自車１０を誘導することで、目標駐車スペースＰ内で側方ライン２２に対して自車を平行に駐車することができる。この場合の認識部１０５に与える画像は、例えば図２６に示すように、自車１０の左側方を撮像し、駐車枠線２０がより遠くまで見えるように俯瞰しない画像にするとよい。
【０１００】
このように、駐車状態に応じて使用するカメラ２０１〜２０３およびカメラ画像の合成変換方法のパラメータを調整することで、駐車スペースＰの候補を運転者に提示する段階（図３〜図５のステップＳ３０２）においては、より多くの駐車スペースＰをユーザに提示できる。そして、目標枠追跡処理（図３〜図５のステップＳ３０４以降）においては、目標駐車スペースＰの位置および方位をより正確に認識できる。こうして認識された駐車スペースＰに基づいて、手動、半自動、完全自動による駐車動作支援が行われる。
【０１０１】
なお、上記実施の形態では、手動駐車による駐車支援装置の流れを仮定して説明したが、半自動駐車および自動駐車においても、同様である。すなわち、運転者に判断させる部分が計算機による判断に置き換わる以外は、各駐車状態に応じて認識部１０５に適切な画像を入力する必要があり、本発明の方法を適用することができる。
【０１０２】
また、上記実施の形態では、認識部１０５に入力される画像が１入力、車載カメラ２０１〜２０３が３台である場合を例に説明したが、複数入力の場合や、車載カメラが２台もしくは４台以上であっても同様に、実際の画像をそのまま認識部１０５に入力する代わりに、状況に応じた合成変換方法を適用することができる。
【０１０３】
例えば、車載カメラが２台であり、認識部１０５において４入力が可能である場合を考える。このとき、図３のステップＳ３０２における初期枠検知の段階で、２台のカメラからそれぞれの俯瞰変換なし画像と俯瞰変換あり画像の４画像を入力する。これにより、俯瞰変換なし画像では、より遠くまでの画像を観測することができ、俯瞰変換あり画像では歪みが少ないため高精度に駐車枠位置を認識することができる。
【０１０４】
また、以上に説明した構成に加え、図２７に示すように画像選択部２７０１を備えていてもよい。この場合、まず、画像入力部１０１〜１０３で撮像された自車周囲の画像を、それぞれ合成変換部１０４に送る。
【０１０５】
合成変換部１０４では、画像入力部１０１〜１０３から送られてきた複数の画像に対して、パラメータ生成部１０８で生成されたパラメータに応じて拡大・縮小・回転・写像の変換を行うとともに、複数の画像を写像してより少ない枚数の画像に納める変換を行い、変換して作成した合成画像を画像選択部２７０１に送る。
【０１０６】
画像選択部２７０１では、パラメータ生成部１０８からのパラメータに応じて、各画像入力部１０１〜１０３からの画像を、そのまま認識部１０５に入力するか、合成変換部１０４で変換合成して合成画像としてから認識部１０５に入力するかを切り替える。
【０１０７】
認識部１０５では、画像入力部１０１〜１０３で取得した画像、又は、合成変換部１０４で作成された合成画像を元に画像認識を行い、白線２２、トラロープ、パレット式駐車場のパレット境界などの駐車スペースＰの境界を認識する。
【０１０８】
また、認識部１０５は、車両１０の状態・外部環境・内部環境を観測するセンサ１０６に対し、駐車状態に応じてセンサ情報の取得要求を出力し、センサ１０６から供給される情報に応じて、複数の画像を写像してより少ない枚数の画像に納める際にどの画像を重視して解像度を割り当てるかを、パラメータ生成部１０８に対して指令を出す。
【０１０９】
さらに、認識部１０５は、画像認識の結果によって認識対象が見えにくくなっている状況を判定し、照明１０７へ点灯・消灯・照射範囲などの指令を出す。パラメータ生成部１０８では、認識部１０５の指示により、各画像に対する変換方法を変更し、合成変換部１０４および画像選択部２７０１に対して合成変換のパラメータを送る。
【０１１０】
表示部１０９では、認識部１０５からの認識結果やセンサ情報を入力として、必要に応じて情報を重畳描画して表示する。また、制御部１１０では、認識部１０５での認識結果やセンサ情報に基づいて、ハンドル制御や加速・制動制御を行い、自動駐車を行う。
【０１１１】
上記した外界認識装置１００は、車両１０に設置された複数のカメラ２０１〜２０３で撮像される車両周囲の画像を利用して駐車スペースＰの駐車枠線２０を認識するものであって、入力されるパラメータに応じて、各画像の座標変換と合成を行い、合成画像を作成し、その作成された合成画像に対して画像処理を行い、駐車枠線２０を認識し、その認識された駐車枠線２０と車両１０との相対位置に基づいて、合成変換用のパラメータを生成する。
【０１１２】
従って、駐車枠Ｐを認識するのに必要な合成画像を作成することができ、駐車枠線２０を精度良く認識させることができる。従って、例えば、駐車動作に影響を与える可能性が高い箇所の解像度を高く設定した合成画像を作成し、精度良く認識させることができる。また、駐車動作に影響を与える可能性が低い箇所の解像度を低く設定した合成画像を作成し、認識部１０５における認識処理の負荷を低減することができる。
【０１１３】
本発明は、上述の実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。
【０１１４】
（第２実施の形態）
図２７は、本実施の形態に係わる外界認識装置の構成を示すブロック図である。第１の実施形態とは、外界認識装置１００が、駐車スペースではなく自車周囲の物体の移動状態を認識するために用いられる点が異なる。以下、第１の実施の形態との差異を中心に説明する。
【０１１５】
図２８は俯瞰画像取得手段１の画像を説明する図である。図２８(a)は空間中において、車両３０の後部に備え付けられたカメラ３１が、立体物３２をカメラ３１の視界３３に捉えた状況の一例である。立体物３２は直立した人物である。カメラ３１は人物の腰ほどの高さに備え付けられてあり、カメラ３１の視界３３は立体物３２の脚部３２ｄおよび胴部３２ｃと腕部３２ｂの下の部分が収まっている。
【０１１６】
図２８（ｂ）において３８は俯瞰画像、３４はカメラ３１の視点、３５は立体物３２の俯瞰画像３８内の像、３６ａおよび３６ｂはカメラ３１の視点３４からのある放射方向の直線を表す。図２８（ｂ）において、立体物３２の左および右の輪郭は、カメラ３１の視点３４からみたカメラ３１の放射方向３６ａおよび３６ｂに沿って伸長する。俯瞰変換は画像上の像を地上面に投影する変換であるため、画像上の像が空間中においてすべて地上面にあるときは歪まないが、画像上に写る立体物の地上面から高いところほど歪みが大きくなり、カメラ視点からの放射方向に沿って画像の外側に伸張する特性を持つためである。
【０１１７】
立体物３２の像３５の移動状態を観測し、その結果によってパラメータ生成部１０８への出力内容を変更する。具体的には以下のようにおこなう。
【０１１８】
図２９は自車が駐車のため後方に移動している状況を表しており、自車周囲にいる人物の像３５は自車から離れる方向に移動している。このような場合には、自車が人物と衝突する可能性は低いため、このような人物は危険ではない。しかしながら、人物が駐車枠線２０を隠し続けており、精確な駐車動作を行う上で、人物領域を含めて画像を撮像するのは適切ではない。このため、自車右側方の映像を観測する領域を増すことで、駐車スペースＰの位置を高精度に認識できる。このときの出力画像は例えば図３０のようになるようにパラメータを生成する。
【０１１９】
一方、図３１は、自車が駐車のため後方に移動している状況を表しており、自車周囲にいる人物の像３５も後方に移動している。このような場合には、自車の進行方向および移動人物の進行方向である自車左後方が危険である。また、現時点では人物の像３５が駐車枠線２０を一時的に隠しているが、すぐに枠線が見えるようになると予想される。このため、図３２のように自車左後方を拡大した映像を出力画像として生成するためのパラメータを生成するのが好適である。なお、人物の像３５の移動を計測する手法に関しては、例えば特開２００５−１２３９６８号公報に開示されている技術を用いて実現することができる。
【０１２０】
従って、車両の周辺で移動する、人物、動物、他車両などの移動状態の認識結果から、観測したい対象が隠されていて見えない状態がすぐに解消されるのかを判断することで、状況に即したパラメータ生成を行い、駐車枠Ｐを認識するのに必要な合成画像を作成することができる。これにより、周囲で人物、動物、他車両が存在し、移動していても、駐車枠線２０を精度良く認識させることができる。また、駐車動作に影響を与える可能性が低い箇所の解像度を低く設定した合成画像を作成し、認識部１０５における認識処理の負荷を低減することができる。
【０１２１】
本発明は、上述の実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。
【符号の説明】
【０１２２】
１０ 車両
２０ 駐車枠線
２１ 前方ライン
２２ 側方ライン
２３ 後方ライン
１０１〜１０３ 画像入力部
１０４ 合成変換部
１０５ 認識部
１０６ センサ
１０７ 照明部
１０８ パラメータ生成部
１０９ 表示部
１１０ 制御部
２０１ 左サイドカメラ
２０２ 右サイドカメラ
２０３ リヤカメラ
Ｐ 駐車スペース
【技術分野】
【０００１】
車両に搭載された複数のカメラで撮像される車両周囲の画像から認識対象を認識する外界認識装置に関する。
【背景技術】
【０００２】
車両を駐車場に駐車させる際に、路面に描かれた白線や他車両のない空間を認識することにより、自動的に駐車可能な駐車スペースを認識し、周囲の状況を察知した上で、駐車動作を支援する方法が知られている。
【０００３】
例えば、車両の操舵状態を検出する操舵状態検出手段と、カメラからの画像を元に画像認識により駐車区画を検出する駐車区画検出手段と、操舵状態検出手段からの情報により車両の走行予想軌跡を算出する走行予想軌跡算出手段と、走行予想軌跡と駐車区画の情報により駐車を補助する情報を運転者に提供する報知手段を備えた駐車補助装置が提案されている（例えば特許文献１を参照）。
【０００４】
また、近年、駐車動作時に車両と駐車区画との相対位置を容易に把握することを目的として、複数のカメラからの画像を合成し、車両を真上から撮像したのと同等の俯瞰画像を作成する技術が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−３３９１９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、複数のカメラで撮像した複数の画像を元に画像認識により駐車枠を検出しようとすると、情報量が多く、処理負荷が大きくなり、処理速度が低下するという問題がある。
【０００７】
また、上記した俯瞰画像を元に画像認識により駐車区画を検出する場合には、全体の情報量は少なくなるが、その分だけ画像の解像度が低下し、駐車区画の検出精度が低下するという問題がある。
【０００８】
本発明は上記の問題点に鑑みてなされたものであり、その目的は、処理負荷の低減と検出精度の向上を図ることができる外界認識装置を提供することである。
【課題を解決するための手段】
【０００９】
上記の課題を解決する本発明の外界認識装置は、入力されるパラメータに応じて、各画像の座標変換と合成を行い、合成画像を作成し、その合成画像に対して画像処理を行い、認識対象を認識し、その認識結果に基づいてパラメータを生成する。
【発明の効果】
【００１０】
本発明によれば、入力されるパラメータに応じて、各画像の座標変換と合成を行い、合成画像を作成し、その合成画像に対して画像処理を行い、認識対象を認識し、その認識結果に基づいてパラメータを生成するので、合成変換部で、認識部が認識対象を認識するのに必要な合成画像を作成させることができ、認識部で認識対象を精度良く認識させることができる。
【００１１】
従って、例えば、認識対象を含む部分の解像度が高く且つ認識対象を含まない部分の解像度が低い合成画像を作成することができる。従って、認識対象を精度良く認識させることができ、また、認識部における認識処理の負荷を低減することができる。
【図面の簡単な説明】
【００１２】
【図１】第１実施の形態に係わる外界認識装置のシステム構成図。
【図２】車両に搭載されるカメラの配置例を示す図。
【図３】第１実施の形態における駐車支援方法の一例を説明するフローチャート。
【図４】駐車場内の走行例を示す図。
【図５】図４の状態における左側方カメラの画像を示す図。
【図６】図４の状態における右側方カメラの画像を示す図。
【図７】合成変換部によって作成される合成画像の一例を示す図。
【図８】合成画像を作成する方法を説明するフローチャート。
【図９】図８の各ステップで得られる画像の一例を示す図。
【図１０】仮想カメラの視点位置を示す図。
【図１１】駐車場内の走行例を示す図。
【図１２】合成変換部によって作成される合成画像の一例を示す図。
【図１３】画像内から白線を見つける方法を説明する図。
【図１４】駐車動作を示す図。
【図１５】駐車動作を示す図。
【図１６】駐車動作を示す図。
【図１７】駐車動作を示す図。
【図１８】合成変換部によって作成される合成画像の一例を示す図。
【図１９】合成変換部によって作成される合成画像の一例を示す図。
【図２０】合成変換部によって作成される合成画像の一例を示す図。
【図２１】合成変換部によって作成される合成画像の一例を示す図。
【図２２】駐車動作を示す図。
【図２３】合成変換部によって作成される合成画像の一例を示す図。
【図２４】駐車支援方法の他の例を説明するフローチャート。
【図２５】駐車支援方法の他の例を説明するフローチャート。
【図２６】駐車場内の走行例を示す図。
【図２７】第２実施の形態における外界認識装置のシステム構成図。
【図２８】俯瞰変換によって、人物などがカメラ視点から放射方向に伸張する様子を示した図。
【図２９】駐車場内の走行例を示す図。
【図３０】合成変換部によって作成される合成画像の一例を示す図。
【図３１】駐車場内の走行例を示す図。
【図３２】合成変換部によって作成される合成画像の一例を示す図。
【図３３】パラメータ生成部におけるパラメータの例を示す図。
【図３４】各画像入力部からの映像を示す図。
【図３５】幾何変換マップを用いて入力画像領域を出力画像領域に割り付ける方法と、該方法による割付後の出力画像を示す図。
【発明を実施するための形態】
【００１３】
（第１実施形態）
以下、第１の実施の形態に係わる外界認識装置について図面を用いて説明する。
図１は、本実施の形態に係わる外界認識装置の構成を示すブロック図である。本実施の形態では、外界認識装置１００は、駐車支援装置によって車両を駐車スペースに駐車させる際に、駐車スペースを認識するのに用いられている。
【００１４】
外界認識装置１００は、車両に搭載されるコンピュータを備えており、プログラムの実行により、図１に示すように、複数の画像入力部１０１〜１０３と、画像入力部１０１〜１０３から入力された複数の画像を合成変換する合成変換部１０４と、合成変換部１０４によって合成変換された合成画像を元に画像処理により予め設定された認識対象を認識する認識部１０５と、車両の状態・外部環境・内部環境を観測するセンサ１０６と、車両に搭載されている照明１０７と、認識部１０５の認識結果に応じて合成変換部１０４による合成変換方法のパラメータを生成するパラメータ生成部１０８と、認識結果やセンサ情報を入力として、必要に応じて情報を重畳描画して表示する表示部１０９と、認識結果やセンサ情報に基づいて制御を行う制御部１１０の各機能が構成される。
【００１５】
画像入力部１０１〜１０３は、自車周囲を撮像してその画像を合成変換部１０４に入力する。例えば、ＣＣＤとレンズを有するカメラによって構成される。
【００１６】
合成変換部１０４は、画像入力部１０１〜１０３から入力した各画像に対して、後述するパラメータ生成部１０８からのパラメータに応じて、拡大・縮小・回転・写像等の変換処理を行うとともに、複数の画像を写像してより少ない枚数の画像に納める合成処理を行い、これら合成変換処理により作成された合成画像を認識部１０５に送る。尚、本実施の形態では、合成変換部１０４から認識部１０５に入力される画像が１入力の場合を例に説明しているが、複数画像が入力される場合でも本質的に同じである。
【００１７】
認識部１０５は、合成変換部１０４によって作成された合成画像に対して画像処理を行い、合成画像に写っている白線、トラロープ、パレット式駐車場のパレットなどの駐車枠を画像認識する。また、認識部１０５は、車両の状態・外部環境・内部環境を観測するセンサ１０６に対して、駐車状態に応じてセンサ情報の取得要求を出す。
【００１８】
そして、センサ１０６から取得したセンサ情報に応じて、より詳しくは複数の画像を写像してより少ない枚数の画像に納める際（合成処理する際）に、どの画像を重視して解像度を割り当てるかを、パラメータ生成部１０８に指令する。さらに、認識部１０５は、画像認識の結果によって、駐車枠線等の認識対象が見えにくくなっている状況を判定し、照明部１０７へ点灯・消灯・照射範囲などの指令を出す。
【００１９】
パラメータ生成部１０８では、認識部１０５からの指示により、各画像に対する変換方法を変更し、合成変換部１０４に対して合成変換のパラメータを送る。パラメータ生成部では、少なくとも、画像入力部１０１〜１０３のいずれの映像を用いるか、その映像中で使用する入力画像領域，各入力画像領域を割り付ける出力画像上での領域，各領域の幾何変換マップ，をパラメータとして持つ。
【００２０】
このパラメータの例を図３３〜図３５を用いて説明する。図３３に示すパラメータ３００６は、図３５（Ｂ）に示す出力画像３００４を作成するためのパラメータ例である。例えば、図３４に示す画像入力部１０１からの映像３００１、画像入力部１０２からの映像３００２、画像入力部１０３からの映像３００３に対して、パラメータ３００６は、使用する映像を画像入力部１０１と画像入力部１０２からの映像と設定し、入力画像領域を領域３０１１、領域３０１２と設定している。
【００２１】
そして、これらの入力画像領域３０１１、３０１２を、図３５（Ｂ）の出力画像３００４上の出力画像領域３０２１と出力画像領域３０２２に割り付ける設定となっている。そして、映像３００１と出力画像領域３０２１との座標変換、および映像３００２と出力画像領域の３０２２との座標変換を行うためのマップとして、幾何変換マップ３００５が指定されている。
【００２２】
図３５（Ａ）に示すように、幾何変換マップ３００５では、一部の対応付けのみを点線の矢印で示しているが、実際には領域と領域の対応関係を密に定義している変換テーブルである。パラメータは後述する自車の状態と周囲環境の状態などにより、必要に応じて切り替えられるものである。
【００２３】
パラメータ生成部１０８は、前述したパラメータの組を複数保持しておき、認識部１０５からの指示により、このパラメータの組を切り替えることができる。また、切り替えの際にパラメータ間が滑らかに切り替わるように中間的なパラメータを生成する機能を持っていても良い。
【００２４】
例えば、生成する出力画像が図９から図１４のようになるようにパラメータが変更された場合、出力画像領域の変換マップを切り替える代わりに、１０フレーム程度の複数フレームにかけて、幾何変換マップの出力座標を補間して滑らかに変化させる。この幾何変換マップの補間は一般的にはモーフィング技術と呼ばれるものがあるため、ここでは詳細には述べない。これにより、ユーザにとっての見やすさを向上し、切り替わりによる周囲状況把握の混乱を防ぐことができるようになる。
【００２５】
表示部１０９は、認識部１０５からの認識結果やセンサ情報を入力として、必要に応じて情報を重畳描画して表示する。また、制御部１１０では、認識部１０５での認識結果やセンサ情報に基づいて、ハンドル制御や加速・制動制御を行い、自動駐車を行う。
【００２６】
図２は、車両に搭載されるカメラの配置例を示す図である。車両１０には、３つの車載カメラ２０１〜２０３が搭載されており、画像入力部１０１が左サイドカメラ２０１、画像入力部１０２が右サイドカメラ２０２、画像入力部２０３がリヤカメラ２０３である。また、車両１０には、照明１０７として、自車周辺を照らすためのライトがドアミラー部に内蔵されて搭載されている（図示していない）。
【００２７】
上記した外界認識装置１００を用いた駐車支援方法として、手動、半自動、完全自動の３種類に大きく分けることができる。図３は、手動による駐車支援方法を説明する図、図４は、半自動による駐車支援方法を説明する図、図５は、完全自動による駐車支援方法を説明する図である。
【００２８】
手動の場合、図３に示すように、運転者によって目標とする駐車スペースＰが指定されると、駐車支援装置は、その目標駐車スペースＰまでの誘導経路を表示部１０９に表示し、更に自車１０の舵角情報を重畳して表示したり、音声でハンドルをどちら側にどのくらい回すのかを指示したりすることで、停止位置やシフトポジションの変更を行うタイミングを運転者に教える。運転者は、指示に従ってハンドルやアクセル、ブレーキ等を操作することで、車両１０を目標駐車スペース内に駐車することができる。目標とするスペースＰを運転手が指定する方法としては、以下の複数の方法が考えられる。例えば、タッチパネル機能を持つカーナビゲーションのモニタに自車周囲映像を映し出しておき、運転手が指で触ることによって目標とする駐車スペースを指定する方法が考えられる。また、同様にカーナビゲーションのモニタに自車周囲映像を映し出すとともに、その映像に重畳して数字もしくはアルファベット等の文字を表示しておき、目標とする駐車スペースＰに近い数字もしくは、アルファベット等の文字を運転手に発話させ、その音声を認識することによって目標とする駐車スペースＰを指定することができる。音声を認識する方法については、公知の技術があるため、ここでは特に述べない。あるいは、頭部方向や視線方向を計測する方法を用いて運転手の目標とする駐車スペースＰを指定してもよい。運転席付近に設置したカメラによって、運転手の頭部方向を観測しておき、目標とする駐車枠の方向を向かせることで駐車枠を指定する方法である。通常、駐車スペースに異物が落ちていないか確認する必要があるため、運転手に目視で確認させると同時に、駐車支援システムに目標とする駐車スペースを指定することで、スムーズに駐車支援システムの動作開始を行わせることが可能となる。
【００２９】
半自動の場合、図４に示すように、運転者によって目標とする駐車スペースＰが指定されると、駐車支援装置は、自車１０の舵角を制御する点が手動の場合と異なる。車両１０のアクセルおよびブレーキの操作は、運転者自身によって行われる。尚、表示部１０９に誘導経路を表示させてもよい。
【００３０】
完全自動の場合、図５に示すように、運転者に目標とする駐車スペースＰを選択させると、駐車支援装置は、車両１０の誘導経路を計算し、車両１０の舵角と速度を適切に制御しながら、車両１０を経路に沿って移動させ、目標駐車スペース内に駐車させる。
【００３１】
上記した各駐車支援方法は、自車周囲の環境を認識するために、白線などで描かれた駐車枠線２０を認識し、表示部１０９により運転者に駐車可能な駐車スペースＰを提示して選択させ、選択された駐車スペースＰの位置までの誘導経路を計算している。上記３つの方法に対して、駐車支援装置が行う誘導経路の計算自体は、これまで多くの研究や発明がなされているため、ここでは詳細の説明を省く。
【００３２】
手動による駐車支援動作の流れを示す図３に従って説明する。
【００３３】
［駐車支援開始判定］
車両１０の走行中に、駐車支援が必要な状況か否かが定期的に判定される（ステップＳ３０１）。駐車支援が必要な状況か否かは、予め設定された支援開始条件に基づいて判断され、支援開始条件を満たしている場合には、駐車支援処理が開始される。
【００３４】
例えば、車速を支援開始条件として設定し、定期的に車速を観測して、車速が予め設定された閾値よりも低下した場合に、駐車支援が必要な状況と判断して駐車支援処理を開始してもよい。または、カーナビゲーションシステムの地図情報と自車位置情報を利用して、自車１０が駐車場に入ったことを認識して、駐車支援処理を開始してもよい。
【００３５】
他には、駐車場付近に備えられたビーコンによって駐車可能区域に近づいたことを検知し、あるいは、運転者によるスイッチ操作や音声認識、視線観測による入力等に基づいて、駐車支援処理を開始してもよい。
【００３６】
［初期枠検知処理］
駐車支援開始判定により駐車支援開始の判定がなされると、例えば自車１０の近傍や駐車場内における駐車スペースの候補が表示部１０９によって表示され、運転者に提示される（ステップＳ３０２）。駐車スペースの候補は、例えば画像認識による駐車枠認識結果や、測距センサによる駐車空間認識結果に基づいて検出され、表示部１０９によって車載モニタにその画像とともに重畳表示される。
【００３７】
［駐車目標設定処理］
上記した初期枠検知処理のステップＳ３０２によって、運転者に提示された駐車スペースの中から、任意の駐車スペースを、目標とする駐車スペースＰとして選択させる（ステップＳ３０３）。目標とする駐車スペースＰを選択する方法は、例えば車載モニタのタッチパネルのほか、運転者や同乗者の視線方向を観測したり、音声を認識したりしてもよい。
【００３８】
［目標枠追跡処理］
上記した駐車目標設定処理のステップＳ３０３によって、目標とする駐車スペースＰが選択されると、その選択された駐車スペースＰに自車１０を誘導するために、画像認識やデッドレコニング、測距センサにより、自車１０と駐車枠線２０との相対位置の変化を追跡する処理が行われる（ステップＳ３０４）。この追跡結果に応じて、車両１０をどのように動かせばよいかを運転者に示して、車両１０を駐車スペースＰに誘導する（ステップＳ３０５）。
【００３９】
そして、画像認識やデッドレコニングにより駐車スペースＰまで自車１０が到達したかどうかを判定し（ステップＳ３０６）、到達していると判定された場合には駐車完了と判断する（ステップＳ３０６でＹＥＳ）。
【００４０】
一方、到達していないと判定された場合には、駐車完了とは判断されず（ステップＳ３０６でＮＯ）、次に、画像認識やデッドレコニング、測距センサ１０６によって、自車位置が誘導経路から外れているか否か、あるいはこのままでは障害物に接触するか否かが判断される（ステップＳ３０７）。
【００４１】
ここで、自車位置が誘導経路から外れている等と判断された場合には（ステップＳ３０７でＹＥＳ）、誘導経路の微調整及び修正を行い（ステップＳ３０８）、引き続き、駐車スペースＰへの誘導を行う。また、誘導経路から外れていない等と判断された場合には（ステップＳ３０７でＮＯ）、引き続き、駐車スペースＰへの誘導が行われる。
【００４２】
次に、半自動による駐車支援動作の流れを示す図４に従って説明する。尚、図３と同様の処理については、同一の符号を付することでその詳細な説明を省略し、異なる処理についてのみ説明する。
【００４３】
［目標枠追跡処理］
半自動駐車制御では、ステップＳ３０４で自車１０に対する駐車スペースＰの相対位置変化を追跡した結果に基づき、制御部１１０による車両１０の舵角制御が行われる（ステップＳ３１１）。
【００４４】
この舵角制御によって、誘導経路に合うように自車１０の舵角が適切に制御される。運転者は、ハンドル操作を行わず、アクセルペダルとブレーキペダルを操作するだけで、自車１０を誘導経路に沿って移動させることができ、最終的に駐車スペースＰに駐車させることができる。
【００４５】
また、ステップＳ３０７で自車位置が誘導経路から外れていると判断された場合には（ステップＳ３０７でＹＥＳ）、制御部１１０によって舵角を微調整する制御が行われ、引き続き、駐車スペースＰ内への誘導が行われる。
【００４６】
次に、完全自動による駐車支援動作の流れを示す図５に従って説明する。尚、図３と同様の処理については、同一の符号を付することでその詳細な説明を省略し、異なる処理についてのみ説明する。
【００４７】
［目標枠追跡処理］
完全自動駐車制御では、ステップＳ３０４で自車１０に対する駐車スペースＰの相対位置変化を追跡した結果に基づき、制御部１１０による車両１０の舵角・速度制御が行われる（ステップＳ３２１）。
【００４８】
この舵角・速度制御によって、誘導経路に合うように自車１０の舵角が適切に制御され、また、車速が制御される。これにより、運転者は、ハンドル、アクセルペダル、ブレーキペダルを操作することなく、自車１０が誘導経路に沿って自動的に移動され、最終的に駐車スペースＰに駐車される。また、駐車制御の途中で、何らかの理由により駐車支援を中断すると判断された場合には（ステップＳ３２２でＹＥＳ）、そのまま自動駐車制御が終了される。
【００４９】
図３から図５で説明した各駐車支援方法において、特に駐車支援の動作開始直後は、装置側では運転者が自車１０をどの駐車スペースに入れたいと望んでいるか分からないため、複数の駐車スペース候補を提示して選択させることになる。従って、自車周囲を広く見渡して、より多くの駐車枠の候補を見つけ、ユーザに提示することが望ましい。
【００５０】
図６は、駐車場内の走行例を示す図である。駐車支援の動作開始時点では、例えば図６に示すように、自車１０の走行経路の左右に駐車スペースがあることが多いので、自車１０を駐車させる駐車スペースを見つけるためには、自車１０の側方を観測するように設置されている車載カメラ２０１、２０２の画像を用いるのがよい。
【００５１】
前述したように、本実施の形態では、認識部１０５に入力される画像を１入力であることを仮定しているため、車載カメラ２０１、２０２により撮像した２つの画像を１つの画像に合成する必要がある。
【００５２】
図６に示す状況の場合、車載カメラ２０１からは図７の画像が、車載カメラ２０２からは図８の画像が得られている。自車１０の周囲には、他の駐車車両４０２〜４０４やラバーコーン４０５〜４０８等の障害物がある。
【００５３】
このような駐車場の状態において、自車１０の周囲を広く見渡し、より多くの駐車スペースＰの候補を見つけてユーザに提示するためには、例えば図９に示すような合成画像９１５を認識部１０５に与えることが好ましい。
【００５４】
図９に示す合成画像９１５は、画像入力部１０１〜１０３から入力した画像を合成変換部１０４で合成変換することによって作成される。ただし、例えば他車両の陰のように、立体物に遮蔽されるために画像入力部１０１〜１０３では観測できない領域４０９については、情報が欠落するため不正確な合成画像９１５となる。この観測できない領域４０９は、遮蔽している他車両の画像を路面の代わりに伸張して画像に貼り付けたり、レンジファインダやステレオカメラによって得られた距離情報に基づいて、欠落している情報であることを明示的に表示する。図１０は、合成画像の作成方法を説明するフローチャート、図１１は、図１０の各ステップで得られる画像の一例を示す図である。
【００５５】
まず、画像取得処理（ステップＳ８０１）において、図１１に示すように、各車載カメラ２０１〜２０３の画像９１１、９２１を取得し、歪み補正処理（ステップＳ８０２）でレンズ特性などの光学系歪みを補正した画像９１２、９２２を作成し、俯瞰変換処理（ステップＳ８０３）で仮想的に上方からの視点に変換した俯瞰画像９１３、９２３を作成する。
【００５６】
例えば、図１２に模式的に示すように、実際のカメラ位置１００１、１００２と、道路面１００３との相対関係が分かっている場合には、画像９１１、９２１に対して座標変換を行うことで、仮想的なカメラ位置１００４から撮像した俯瞰画像９１３、９２３を作成することができる。
【００５７】
尚、上記した座標変換の方法としては、例えば特開２００６−３３３００９号公報に示されるように、実カメラで撮像された画像が格納されているメモリから読み出したデータを、事前にメモリ等に記憶させておいた変換テーブルに基づいて、俯瞰画像用メモリに画素毎に順次コピーすることで座標変換を行う方法がある。この変換テーブルとは、カメラによって撮像された実画像データを俯瞰画像データに変換するために、俯瞰画像データ上の各点が実画像上のどの点と同一であるかを示す２次元テーブルであり、カメラのレンズの光学特性並びに車両に対する取り付け位置および取り付け角度に基づいて一意に決定されるものである。
【００５８】
このとき、変換テーブルはカメラの車両に対する取り付け位置および取り付け角度に基づいて決められている一方で、実環境においては、乗員や貨物の積載重量変化や、加減速や旋回に起因する車体揺動や、温度や経年によるタイヤ空気圧変化の影響で、路面に対するカメラの相対的な高さおよび角度は変化してしまう。
【００５９】
道路に対する車両状態の変動には、長期的な変動と短期的な変動の２種類がある。長期的な変動は、積載重量の変化やタイヤ空気変動によるカメラの位置姿勢の変化であり、毎回の走行中には変化しない特徴を持つ。一方、短期的な変動は、道路面の凹凸や勾配変化、加減速に起因する車体の揺動に伴うカメラの位置姿勢の変化であり、短時間で収束する特徴を持つ。
【００６０】
この変化の影響により正確な俯瞰変換を行えず、例えば長方形の駐車枠線が台形として観測されるなど見かけの変形が生じる。見かけの変形が生じた場合、そのままでは駐車枠検知処理の認識性能が低下する。このため、路面に対する車両姿勢を計測するために、自動車の積載重量変化や車体揺動・タイヤ空気圧変化の状態を、車高センサ・車体ロールセンサ・タイヤ空気圧センサなどのセンサ１０６により観測し、適宜調整を行うことで認識性能を保つ必要がある。
【００６１】
これらのセンサ出力を時系列で観測することにより、長期的な変動と短期的な変動とを切り分けることができる。例えば、ある時刻ｔにおけるセンサ１０６からの出力値をＯ（ｔ）とする。認識部１０５では、前々回の出力値Ｏ（ｔ−２Ｎ）から前回の出力値Ｏ（ｔ−Ｎ）の標本分散をＳ１、前回の出力値Ｏ（ｔ−Ｎ）から今回の出力値Ｏ（ｔ）の標本分散をＳ２とすると、Ｓ２≧ｋ×Ｓ１であれば短期的な変動、そうでなければ長期的な変動と判断することができる。ここでｋ（≧１）は実験的に決める定数である。
【００６２】
長期的な変動に対しては、認識部１０５は、センサ１０６の出力値から車体の揺動の程度を計算し、カメラの位置姿勢の変化量を算出する。このカメラの位置姿勢の変化量をパラメータ生成部１０８に送る。パラメータ生成部１０８では、カメラの位置姿勢の変化量に基づいて俯瞰変換画像にアフィン変換を施すことができる。例えば台形として観測されている駐車枠線は、本来は長方形であり、２組の平行線で構成されているはずであるため、例えば特開２００２−１４０６９６号公報に記載されている方法を用いることで、自動調整を行うことができる。特開２００２−１４０６９６号公報の実施例には、カメラ角度のブレと、カメラ高さの変化を求める方法が記載されており、この方法により求めたカメラ角度のブレおよびカメラ高さの変化がカメラの姿勢位置の変化量としてパラメータ生成部１０８に送られる。
【００６３】
一方、短期的な変動に対しては、センサ１０６と画像入力部１０１〜１０３では、画像情報を取得する時間間隔とタイミングおよび遅延時間が異なるため、カメラ角度のブレとカメラ高さの変化を求めても、適切なタイミングで精度良い補正を行うことができない。この場合は、パラメータ生成部１０８のパラメータを変更する代わりに、認識部１０５での認識条件を調整することで認識性能を保つ。すなわち、センサ１０６からの出力値の標本分散を用いて、分散値が大きい場合には画像認識の認識パラメータを変更し、認識の条件を緩和する。例えば、後述する駐車スペースＰを認識する際、駐車枠が変形していて台形に見えるような場合でも認識するように、白線の直線成分で囲まれていると判定する時の直線の平行性および直角性の判定条件を緩める。
【００６４】
アフィン変換処理（ステップＳ８０４）では、各駐車状態において画像認識に必要な特徴を保存するように画像の変形を行う。駐車支援の動作開始直後は、複数の駐車スペースは自車１０の進行方向に沿って並んでおり、運転者が目標とする駐車スペースを選択する際には進行方向に対する位置が重要である。
【００６５】
また、駐車スペースＰを形成する駐車枠線２０の幅は、一般的に６ｃｍから１５ｃｍであり、この線幅を潰さないように画像を縮小するのがよい。今回の場合、自車１０の進行方向に直交する方向にのみ縮小を行った画像９０４を作成することで、駐車枠線２０の前方ライン２１と後方ライン２３を潰さないように縮小している。
【００６６】
こうして一定の大きさに変換された複数の画像９１４、９２４を、画像統合処理（Ｓ８０５）において、１枚の統合画像にまとめることで合成画像９１５を作成する。なお、前述した画像処理ステップＳ８０１〜Ｓ８０５を順に行う必要はなく、歪み補正処理（Ｓ８０２）と俯瞰変換処理（Ｓ８０３）を合わせた変換マップを事前に準備しておくことで、一括した処理を行うこともできる。
【００６７】
この合成画像の作成方法は、ソナーセンサやミリ波レーダ、レーザレンジファインダといった測距センサ１０６からの出力によっても適切に変えることができる。例えば、図１３に示すように、自車１０の片側（進行方向右側）に壁１１０１が続いていることが観測されている場合は、そちら側に駐車することはない。
【００６８】
このような場合は、前述したように自車１０の上方から見た俯瞰画像９１３は作成するが、その中心を自車１０にする必要はなく、図１４に示すように、壁１１０１のない左側の表示領域１２０１を広げ、右側の表示領域１２０２を狭めた合成画像１２００を作成してもよい。これにより、例えば図９に示すような車両１０の右側に位置する駐車スペースの候補の中に、障害物を観測できるようになる場合もあり、より適切な駐車支援が行えるようになる。
【００６９】
なお、自車１０の片側に壁や駐車車両等の障害物が存在しているか否かの判定は、図１３に示すように、自車１０から複数方向に向かって、もしくは自車１０の移動中に複数回、ソナーセンサやミリ波センサ、レーザーレーダ等の障害物センサで距離計測を行い、計測された距離１１０２、１１０３、１１０４が直線と見なせるか否かで判別することができる。
【００７０】
また、カーナビゲーションシステムや通信による駐車場情報などの事前知識が利用できる場合は、駐車可能な駐車スペースがある側や、駐車場の通用口側など利便性の高い駐車スペースのある領域を重視して合成画像を作成してもよい。
【００７１】
次に、俯瞰画像に画像処理を施して俯瞰画像の中から駐車枠線を見つける方法について説明する。俯瞰画像から白線を見つける方法は様々な方法が提案されているが、ここでは白線エッジ角度の連結を用いる方法について図１５を用いて説明する。
【００７２】
図１５において、図１５（ａ）を入力画像１３０１とする。まず、入力画像１３０１に示される白線１３１１のエッジ角度を求める。ここでは、図１５（ｂ）に示す横方向のＳｏｂｅｌオペレータ１３０２、及び図１５（ｃ）に示す縦方向のＳｏｂｅｌオペレータ１３０３を、入力画像１３０１の画素にそれぞれ適用して、図１５（ｄ）に示される横方向のエッジ強度（ΔＩ／Δｘ）１３０４と、図１５（ｅ）に示される縦方向のエッジ強度（ΔＩ／Δｙ）１３０５をそれぞれ算出する。
【００７３】
そして、縦方向のエッジ強度１３０５を横方向のエッジ強度１３０４で除した値をエッジの傾きとみなし、その逆正接を計算することで、図１５（ｆ）に示される白線エッジ角度１３０６（θ＝ａｔａｎ｛（ΔＩ／Δｙ）／（ΔＩ／Δｘ）｝）を得ることができる。
【００７４】
この白線エッジ角度１３０６が類似しているエッジ点を周囲とグループ化することで、白線１３１１の直線成分を抽出することができる。白線エッジ角度１３０６の類似性は、例えば近傍のエッジ点のエッジ方向の差が所定の角度以内である場合に類似していると見なせばよい。
【００７５】
抽出された白線１３１１の直線成分で少なくとも２方向を囲まれていることが観測された領域は駐車スペースＰの候補となる。直線成分を囲む際の判定条件は、例えば、２本の直線成分の間隔と、角度の平行性と、端点の位置ずれが既定値範囲であれば、囲んでいると判定する。例えば、直線成分の間隔は抽出されている線分の端点からもう一方の直線に対して垂線をおろし、その垂線の長さの平均値から計算できる。角度の平行性は、抽出されている２本の線分をベクトルＶａ，Ｖｂ、その線分間の角度をθとすると、次の式が成り立つ。ｃｏｓθ＝＜Ｖａ，Ｖｂ＞／（‖Ｖａ‖×‖Ｖｂ‖）。この式よりθを求め、｜θ｜≦θｔであれば平行であると判定できる。ここでθｔは実験的に求められる閾値である。このとき、認識部１０５で車体姿勢が短期的な変動をしていると判定した場合には、｜θ｜≦（θｔ＋ｍ×Ｓ２）であれば平行であると判断する。ただしｍは調整用に実験的に決められる定数である。また、端点の位置ずれは、抽出されている線分の端点からもう一方の直線に対して垂線をおろし、その交点ともう一方の端点までの距離を位置ずれと定義する。
【００７６】
この駐車スペース候補の領域に対して、駐車枠線２０の各辺２１、２２、２３の長さが想定している駐車スペースＰの大きさの範囲内に入っていることを評価し、駐車スペースＰの大きさと明らかに異なる領域は候補から除外する。上記した方法によって、俯瞰画像から駐車スペースＰを検出することができる。
【００７７】
また、白線２４以外の、例えばトラロープも駐車スペースＰの区切りとして使われる。トラロープは、通常、黄色と黒色の縞模様になっているため、色抽出を行い、規定の周期で交互の色で連続していることを手がかりに抽出することができる。
【００７８】
例えば、色抽出の場合、ＨＳＩ表色系において所定の部分空間内に含まれる画素を抽出し、抽出された画素の座標に対しフーリエ変換を行い、所定の周波数領域での連続領域を抽出し、抽出後の座標に対して直線近似をすることで、トラロープを抽出することができる。尚、抽出方法の詳細については、本発明の本質的部分ではないため、省略する。
【００７９】
また、駐車枠線２０以外の例えば規制表示や案内表示などの路面標示を認識することで、より高度な駐車支援を行うこともできる。例えば、図１６は、駐車禁止区域２６０１と身障者用スペース２６０２のある駐車場の図である。
【００８０】
駐車禁止区域２６０１は、白線２４が所定の間隔で複数本並んでおり、かつ駐車スペースＰの並び方向に対して傾いていることを条件に認識することができる。この駐車禁止区域２６０１には、自車１０も他車４１１等も駐車できないが、駐車途中の経路として一時的に通過することができるため、この区域を利用する誘導経路を生成することで、より柔軟な駐車動作を行うことができる。
【００８１】
また、駐車禁止区域２６０１には、他車４１１が停車することがないため、最終的な駐車位置として、この区域２６０１側に、自車１０を寄せて停めることができる。これにより、自車１０の周囲に多くのスペースを確保することができ、車両１０のドアを大きく開くことができ、乗降車が容易になるという利点がある。
【００８２】
また、身障者用スペース２６０２は、前述した手法により駐車スペースＰを認識した後、その内部領域に対して、身障者用スペース２６０２を表す図形を、テンプレートマッチング法を用いてその一致度を判定することで認識する。なお、この身障者用スペース２６０２を表す図形は、事前にそのバリエーションを含めて外界認識装置１００の記憶手段に登録しておく。
【００８３】
次に、経路誘導時に必要な駐車スペースＰの位置の認識方法について説明する。
外界認識装置１００において、駐車スペースＰまでの誘導経路を正確に算出するためには、車両１０に対する駐車スペースＰの位置および方位を正確に認識し、駐車スペースＰに対して偏りなく、また、周囲の障害物等にぶつかりにくい状態で経路誘導を行うことが望ましい。
【００８４】
この経路誘導時に、車両１０の周囲で注意を払わなくてはならない部位は、駐車動作の段階と、駐車スペースと自車１０の相対関係によって変化する。以下、駐車動作の段階に応じて、どのような合成画像を認識部１０５に与えるかを順に説明する。
【００８５】
例えば、図１７〜図２０に示すように、自車１０の左後方の駐車スペースが、目標とする駐車スペースとして選択された場合、駐車動作の段階としては、後退動作（図１７）、急旋回動作（図１８）、平行性調整動作（図１９）、停車位置調整動作（図２０）の４段階がある。
【００８６】
後退動作中は、図１７に示すように、駐車スペースＰまで後退する際の位置精度を高めるため、自車１０の後方を観測して自車移動量を計測しつつ、後側方を観測して駐車スペースＰの方向を計測する必要がある。従って、認識部１０５は、図２１のように、パラメータ生成部１０８に対して、自車１０の後方と後側方の俯瞰画像１８０１、１８０２をまとめて示すように指令を与える。
【００８７】
次に、急旋回動作中は、図１８に示すように、自車１０の内輪側１５０１が駐車枠線２０や左隣の駐車車両（図示せず）に当たらないかを監視することが重要であるとともに、どのタイミングでハンドルきり角を戻せばよいかを精密に判定する必要がある。また、自車１０の最も外側の角１５０２が、駐車スペースＰと通路を挟んで対向する側の壁や駐車車両に当たらないかを監視する必要がある。
【００８８】
従って、認識部１０５は、図２２に示すように、注目が必要な領域の画像１９０１、１９０２を合成変換部１０４がまとめて示すように、パラメータ生成部１０８に指令を与える。
【００８９】
また、車両１０にソナーセンサやレンジファインダのようなセンサ１０６が搭載されており、センサ１０６によって周囲の障害物を認識した結果、衝突の危険性がないと判断された場合には、認識部１０５は、パラメータ生成部１０８に対して、自車１０の内輪側の画像１９０１のみをより高解像度で示すように指令を与える。
【００９０】
そして、衝突の危険性が一定以上あると判断された場合には、自車１０の最も外側の角である右前端部を含む画像１９０２の解像度を増やすようにパラメータ生成部１０８に指令を与える。
【００９１】
また、車両１０には、車速センサ、車輪速センサ、対地速度センサ等の自車１０の動く速度が分かるセンサ１０６が搭載されており、認識部１０５は、パラメータ生成部１０８に対して、自車１０の挙動と周囲の障害物の有無に応じて、認識範囲を広げるように指令を与える。
【００９２】
次に、平行性調整動作中の場合は、図１９に示すように、駐車目標位置までの距離が短く、大幅に経路を修正することは困難である。しかしながら、自車１０の姿勢状態が駐車スペースＰの側方ライン２２と平行になるように、ハンドル角度を調整する必要があることから、自車１０と自車側方１６０１の側方ライン２２との角度を算出することが重要である。従って、図２３のように、自車１０の後側方を遠方まで観測できる画像を合成変換部１０４から与えられるように、認識部１０５は、パラメータ生成部１０８に指令を与える。
【００９３】
次に、停車位置調整動作中の場合は、図２０に示すように、自車１０は、直進後退をしており、駐車枠線２０や縁石、輪留めから適切な停車位置を探す必要があり、これらの目印から車両１０までの距離を計測する必要がある。従って、図２４に示すように、自車１０から停車位置までの距離が計測しやすい俯瞰画像２４０１を合成変換部１０４から与えられるように、認識部１０５は、パラメータ生成部１０８に指令を与える。
【００９４】
また、認識部１０５は、夜間などにおいて画像のコントラストが低下している状況や、外乱光の影響によって駐車枠線２０等の認識対象が見えにくくなっている状況を判定し、照明１０７を制御する。
【００９５】
例えば、前述した図１８に示すような急旋回中に駐車スペースＰの駐車枠線２０を認識する場合に、デッドレコニングおよび外界センサ１０６によって、車両１０の内輪側１５０１の近辺に存在する駐車枠端が、画像上のどの付近に映されているかが分かっているが、その近傍では検出できず且つ近傍領域のコントラストが低いときは、照明１０７で車両１０の内輪側１５０１を照らし出すように点灯させ、かかる領域を再度撮像して、コントラストの改善された画像を認識部１０５に与えるのがよい。
【００９６】
また、店舗や街灯、自販機などを光源として、路面や水溜まり上に駐車枠端に似た明暗パターンが投影される場合がある。このような場合、駐車枠端が写っているべき画面上の位置が、デッドレコニングおよび外界センサ１０６により計算される位置からずれて、正確に認識対象が得られていない可能性がある。従って、照明１０７を点灯して外乱光の影響を軽減した画像を認識部１０５に与える。
【００９７】
路面標示と外乱光による明暗パターンでは、照明１０７の点灯前後におけるコントラスト変化の度合いが異なるため、照明１０７を点灯していない状態の画像と比較することで、前述した外乱光の影響による誤認識を防ぐことができる。
【００９８】
一方、前述した平行性調整動作中の状態で、ステアリング操作のミスや車両挙動の誤差などによって経路設定から逸脱し、図２５に示すように、駐車枠線２０の車両後側方に位置する側方ライン２２を踏んでいる場合には、この側方ライン２２を画像認識により認識することは困難である。
【００９９】
かかる場合、自車１０の側方に位置する駐車枠線２０の前方ライン２１を認識し、前方ライン２１に対して直交する方向に自車１０を誘導することで、目標駐車スペースＰ内で側方ライン２２に対して自車を平行に駐車することができる。この場合の認識部１０５に与える画像は、例えば図２６に示すように、自車１０の左側方を撮像し、駐車枠線２０がより遠くまで見えるように俯瞰しない画像にするとよい。
【０１００】
このように、駐車状態に応じて使用するカメラ２０１〜２０３およびカメラ画像の合成変換方法のパラメータを調整することで、駐車スペースＰの候補を運転者に提示する段階（図３〜図５のステップＳ３０２）においては、より多くの駐車スペースＰをユーザに提示できる。そして、目標枠追跡処理（図３〜図５のステップＳ３０４以降）においては、目標駐車スペースＰの位置および方位をより正確に認識できる。こうして認識された駐車スペースＰに基づいて、手動、半自動、完全自動による駐車動作支援が行われる。
【０１０１】
なお、上記実施の形態では、手動駐車による駐車支援装置の流れを仮定して説明したが、半自動駐車および自動駐車においても、同様である。すなわち、運転者に判断させる部分が計算機による判断に置き換わる以外は、各駐車状態に応じて認識部１０５に適切な画像を入力する必要があり、本発明の方法を適用することができる。
【０１０２】
また、上記実施の形態では、認識部１０５に入力される画像が１入力、車載カメラ２０１〜２０３が３台である場合を例に説明したが、複数入力の場合や、車載カメラが２台もしくは４台以上であっても同様に、実際の画像をそのまま認識部１０５に入力する代わりに、状況に応じた合成変換方法を適用することができる。
【０１０３】
例えば、車載カメラが２台であり、認識部１０５において４入力が可能である場合を考える。このとき、図３のステップＳ３０２における初期枠検知の段階で、２台のカメラからそれぞれの俯瞰変換なし画像と俯瞰変換あり画像の４画像を入力する。これにより、俯瞰変換なし画像では、より遠くまでの画像を観測することができ、俯瞰変換あり画像では歪みが少ないため高精度に駐車枠位置を認識することができる。
【０１０４】
また、以上に説明した構成に加え、図２７に示すように画像選択部２７０１を備えていてもよい。この場合、まず、画像入力部１０１〜１０３で撮像された自車周囲の画像を、それぞれ合成変換部１０４に送る。
【０１０５】
合成変換部１０４では、画像入力部１０１〜１０３から送られてきた複数の画像に対して、パラメータ生成部１０８で生成されたパラメータに応じて拡大・縮小・回転・写像の変換を行うとともに、複数の画像を写像してより少ない枚数の画像に納める変換を行い、変換して作成した合成画像を画像選択部２７０１に送る。
【０１０６】
画像選択部２７０１では、パラメータ生成部１０８からのパラメータに応じて、各画像入力部１０１〜１０３からの画像を、そのまま認識部１０５に入力するか、合成変換部１０４で変換合成して合成画像としてから認識部１０５に入力するかを切り替える。
【０１０７】
認識部１０５では、画像入力部１０１〜１０３で取得した画像、又は、合成変換部１０４で作成された合成画像を元に画像認識を行い、白線２２、トラロープ、パレット式駐車場のパレット境界などの駐車スペースＰの境界を認識する。
【０１０８】
また、認識部１０５は、車両１０の状態・外部環境・内部環境を観測するセンサ１０６に対し、駐車状態に応じてセンサ情報の取得要求を出力し、センサ１０６から供給される情報に応じて、複数の画像を写像してより少ない枚数の画像に納める際にどの画像を重視して解像度を割り当てるかを、パラメータ生成部１０８に対して指令を出す。
【０１０９】
さらに、認識部１０５は、画像認識の結果によって認識対象が見えにくくなっている状況を判定し、照明１０７へ点灯・消灯・照射範囲などの指令を出す。パラメータ生成部１０８では、認識部１０５の指示により、各画像に対する変換方法を変更し、合成変換部１０４および画像選択部２７０１に対して合成変換のパラメータを送る。
【０１１０】
表示部１０９では、認識部１０５からの認識結果やセンサ情報を入力として、必要に応じて情報を重畳描画して表示する。また、制御部１１０では、認識部１０５での認識結果やセンサ情報に基づいて、ハンドル制御や加速・制動制御を行い、自動駐車を行う。
【０１１１】
上記した外界認識装置１００は、車両１０に設置された複数のカメラ２０１〜２０３で撮像される車両周囲の画像を利用して駐車スペースＰの駐車枠線２０を認識するものであって、入力されるパラメータに応じて、各画像の座標変換と合成を行い、合成画像を作成し、その作成された合成画像に対して画像処理を行い、駐車枠線２０を認識し、その認識された駐車枠線２０と車両１０との相対位置に基づいて、合成変換用のパラメータを生成する。
【０１１２】
従って、駐車枠Ｐを認識するのに必要な合成画像を作成することができ、駐車枠線２０を精度良く認識させることができる。従って、例えば、駐車動作に影響を与える可能性が高い箇所の解像度を高く設定した合成画像を作成し、精度良く認識させることができる。また、駐車動作に影響を与える可能性が低い箇所の解像度を低く設定した合成画像を作成し、認識部１０５における認識処理の負荷を低減することができる。
【０１１３】
本発明は、上述の実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。
【０１１４】
（第２実施の形態）
図２７は、本実施の形態に係わる外界認識装置の構成を示すブロック図である。第１の実施形態とは、外界認識装置１００が、駐車スペースではなく自車周囲の物体の移動状態を認識するために用いられる点が異なる。以下、第１の実施の形態との差異を中心に説明する。
【０１１５】
図２８は俯瞰画像取得手段１の画像を説明する図である。図２８(a)は空間中において、車両３０の後部に備え付けられたカメラ３１が、立体物３２をカメラ３１の視界３３に捉えた状況の一例である。立体物３２は直立した人物である。カメラ３１は人物の腰ほどの高さに備え付けられてあり、カメラ３１の視界３３は立体物３２の脚部３２ｄおよび胴部３２ｃと腕部３２ｂの下の部分が収まっている。
【０１１６】
図２８（ｂ）において３８は俯瞰画像、３４はカメラ３１の視点、３５は立体物３２の俯瞰画像３８内の像、３６ａおよび３６ｂはカメラ３１の視点３４からのある放射方向の直線を表す。図２８（ｂ）において、立体物３２の左および右の輪郭は、カメラ３１の視点３４からみたカメラ３１の放射方向３６ａおよび３６ｂに沿って伸長する。俯瞰変換は画像上の像を地上面に投影する変換であるため、画像上の像が空間中においてすべて地上面にあるときは歪まないが、画像上に写る立体物の地上面から高いところほど歪みが大きくなり、カメラ視点からの放射方向に沿って画像の外側に伸張する特性を持つためである。
【０１１７】
立体物３２の像３５の移動状態を観測し、その結果によってパラメータ生成部１０８への出力内容を変更する。具体的には以下のようにおこなう。
【０１１８】
図２９は自車が駐車のため後方に移動している状況を表しており、自車周囲にいる人物の像３５は自車から離れる方向に移動している。このような場合には、自車が人物と衝突する可能性は低いため、このような人物は危険ではない。しかしながら、人物が駐車枠線２０を隠し続けており、精確な駐車動作を行う上で、人物領域を含めて画像を撮像するのは適切ではない。このため、自車右側方の映像を観測する領域を増すことで、駐車スペースＰの位置を高精度に認識できる。このときの出力画像は例えば図３０のようになるようにパラメータを生成する。
【０１１９】
一方、図３１は、自車が駐車のため後方に移動している状況を表しており、自車周囲にいる人物の像３５も後方に移動している。このような場合には、自車の進行方向および移動人物の進行方向である自車左後方が危険である。また、現時点では人物の像３５が駐車枠線２０を一時的に隠しているが、すぐに枠線が見えるようになると予想される。このため、図３２のように自車左後方を拡大した映像を出力画像として生成するためのパラメータを生成するのが好適である。なお、人物の像３５の移動を計測する手法に関しては、例えば特開２００５−１２３９６８号公報に開示されている技術を用いて実現することができる。
【０１２０】
従って、車両の周辺で移動する、人物、動物、他車両などの移動状態の認識結果から、観測したい対象が隠されていて見えない状態がすぐに解消されるのかを判断することで、状況に即したパラメータ生成を行い、駐車枠Ｐを認識するのに必要な合成画像を作成することができる。これにより、周囲で人物、動物、他車両が存在し、移動していても、駐車枠線２０を精度良く認識させることができる。また、駐車動作に影響を与える可能性が低い箇所の解像度を低く設定した合成画像を作成し、認識部１０５における認識処理の負荷を低減することができる。
【０１２１】
本発明は、上述の実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。
【符号の説明】
【０１２２】
１０ 車両
２０ 駐車枠線
２１ 前方ライン
２２ 側方ライン
２３ 後方ライン
１０１〜１０３ 画像入力部
１０４ 合成変換部
１０５ 認識部
１０６ センサ
１０７ 照明部
１０８ パラメータ生成部
１０９ 表示部
１１０ 制御部
２０１ 左サイドカメラ
２０２ 右サイドカメラ
２０３ リヤカメラ
Ｐ 駐車スペース
【特許請求の範囲】
【請求項１】
車両に設置された複数のカメラで撮像される車両周囲の画像を利用して認識対象を認識する外界認識装置であって、
入力されるパラメータに応じて、前記各画像の座標変換と合成を行い、合成画像を作成する合成変換部と、
該合成変換部で作成された合成画像に対して画像処理を行い、前記認識対象を認識する認識部と、
該認識部によって認識された認識結果に基づいて、前記パラメータを生成するパラメータ生成部と、
を有することを特徴とする外界認識装置。
【請求項２】
車両に設置された複数のカメラで撮像される車両周囲の画像を利用して認識対象を認識する外界認識装置であって、
入力されるパラメータに応じて、前記各画像の座標変換と合成を行い、合成画像を作成する合成変換部と、
前記パラメータに応じて、前記カメラで撮像した撮像画像と前記合成変換部で合成変換した合成画像のうち少なくとも１つ以上の画像を選択する画像選択部と、
該画像選択部によって選択された前記画像に対して画像処理を行い、前記認識対象を認識する認識部と、
該認識部によって認識された認識結果に基づいて、前記パラメータを生成するパラメータ生成部と、
を有することを特徴とする外界認識装置。
【請求項３】
前記認識部は、車高センサ、車体ロールセンサ、タイヤ空気圧センサの少なくとも一つから前記車両の車両姿勢を計測するセンサ信号を入力することを特徴とする請求項１又は請求項２に記載の外界認識装置。
【請求項４】
前記認識部は、車速センサ、車輪速度センサ、対地速度センサの少なくとも一つから車両移動を計測するセンサ信号を入力とすることを特徴とする請求項１又は請求項２に記載の外界認識装置。
【請求項５】
前記認識部は、ソナーセンサ、レーザレンジファインダ、ミリ波センサ、ステレオカメラの少なくとも一つから、前記車両と障害物との間の距離を計測するセンサ信号を入力とすることを特徴とする請求項１又は請求項２に記載の外界認識装置。
【請求項６】
前記認識対象は、駐車枠、規制表示、案内表示などの路面標示であることを特徴とする請求項１又は請求項２に記載の外界認識装置。
【請求項７】
前記認識部は、前記車両の周辺で移動する人物、動物、他車両などの移動状態の認識結果を前記パラメータ生成部に出力することを特徴とする請求項１又は請求項２に記載の外界認識装置。
【請求項８】
前記合成変換部は、前記複数のカメラで撮像した画像を選択的に入力して、同一画面内に同一縮尺以下で写像することで出力画像を作成することを特徴とする請求項１又は請求項２に記載の外界認識装置。
【請求項９】
前記車両の周囲を照明可能な照明手段を有し、
前記認識部は、画像認識の結果、前記認識対象が見えにくくなっていると判定した場合に、前記照明手段に該当箇所を照明する指令を出すことを特徴とする請求項１又は請求項２に記載の外界認識装置。
【請求項１０】
コンピュータに、
複数の車載カメラで撮像した画像を取得させる画像取得工程と、
入力されるパラメータに応じて前記画像の座標変換と合成を行う合成変換工程と、
前記合成変換された画像に対する画像処理により認識対象を認識させる認識工程と、
該認識対象の認識結果に応じて前記パラメータを生成するパラメータ生成工程を行わせることを特徴とする外界認識プログラム。
【請求項１１】
コンピュータに、
複数の車載カメラで撮像した画像を取得させる画像取得工程と、
入力されるパラメータに基づいて、前記画像取得工程で取得された画像の座標変換と合成を行う合成変換工程と、
車両に対する前記認識対象の相対位置に基づいて、前記画像取得工程で取得された画像と、前記合成変換工程で作成された合成画像のいずれを用いるかを選択させる選択工程と、
該選択工程で選択された画像に対して画像処理を行い、認識対象を認識させる認識工程と、
該認識対象の認識結果に応じて前記パラメータを生成するパラメータ生成工程を行わせることを特徴とする外界認識プログラム。
【請求項１】
車両に設置された複数のカメラで撮像される車両周囲の画像を利用して認識対象を認識する外界認識装置であって、
入力されるパラメータに応じて、前記各画像の座標変換と合成を行い、合成画像を作成する合成変換部と、
該合成変換部で作成された合成画像に対して画像処理を行い、前記認識対象を認識する認識部と、
該認識部によって認識された認識結果に基づいて、前記パラメータを生成するパラメータ生成部と、
を有することを特徴とする外界認識装置。
【請求項２】
車両に設置された複数のカメラで撮像される車両周囲の画像を利用して認識対象を認識する外界認識装置であって、
入力されるパラメータに応じて、前記各画像の座標変換と合成を行い、合成画像を作成する合成変換部と、
前記パラメータに応じて、前記カメラで撮像した撮像画像と前記合成変換部で合成変換した合成画像のうち少なくとも１つ以上の画像を選択する画像選択部と、
該画像選択部によって選択された前記画像に対して画像処理を行い、前記認識対象を認識する認識部と、
該認識部によって認識された認識結果に基づいて、前記パラメータを生成するパラメータ生成部と、
を有することを特徴とする外界認識装置。
【請求項３】
前記認識部は、車高センサ、車体ロールセンサ、タイヤ空気圧センサの少なくとも一つから前記車両の車両姿勢を計測するセンサ信号を入力することを特徴とする請求項１又は請求項２に記載の外界認識装置。
【請求項４】
前記認識部は、車速センサ、車輪速度センサ、対地速度センサの少なくとも一つから車両移動を計測するセンサ信号を入力とすることを特徴とする請求項１又は請求項２に記載の外界認識装置。
【請求項５】
前記認識部は、ソナーセンサ、レーザレンジファインダ、ミリ波センサ、ステレオカメラの少なくとも一つから、前記車両と障害物との間の距離を計測するセンサ信号を入力とすることを特徴とする請求項１又は請求項２に記載の外界認識装置。
【請求項６】
前記認識対象は、駐車枠、規制表示、案内表示などの路面標示であることを特徴とする請求項１又は請求項２に記載の外界認識装置。
【請求項７】
前記認識部は、前記車両の周辺で移動する人物、動物、他車両などの移動状態の認識結果を前記パラメータ生成部に出力することを特徴とする請求項１又は請求項２に記載の外界認識装置。
【請求項８】
前記合成変換部は、前記複数のカメラで撮像した画像を選択的に入力して、同一画面内に同一縮尺以下で写像することで出力画像を作成することを特徴とする請求項１又は請求項２に記載の外界認識装置。
【請求項９】
前記車両の周囲を照明可能な照明手段を有し、
前記認識部は、画像認識の結果、前記認識対象が見えにくくなっていると判定した場合に、前記照明手段に該当箇所を照明する指令を出すことを特徴とする請求項１又は請求項２に記載の外界認識装置。
【請求項１０】
コンピュータに、
複数の車載カメラで撮像した画像を取得させる画像取得工程と、
入力されるパラメータに応じて前記画像の座標変換と合成を行う合成変換工程と、
前記合成変換された画像に対する画像処理により認識対象を認識させる認識工程と、
該認識対象の認識結果に応じて前記パラメータを生成するパラメータ生成工程を行わせることを特徴とする外界認識プログラム。
【請求項１１】
コンピュータに、
複数の車載カメラで撮像した画像を取得させる画像取得工程と、
入力されるパラメータに基づいて、前記画像取得工程で取得された画像の座標変換と合成を行う合成変換工程と、
車両に対する前記認識対象の相対位置に基づいて、前記画像取得工程で取得された画像と、前記合成変換工程で作成された合成画像のいずれを用いるかを選択させる選択工程と、
該選択工程で選択された画像に対して画像処理を行い、認識対象を認識させる認識工程と、
該認識対象の認識結果に応じて前記パラメータを生成するパラメータ生成工程を行わせることを特徴とする外界認識プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【公開番号】特開２０１１−３０１４０（Ｐ２０１１−３０１４０Ａ）
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願番号】特願２００９−１７６２７６（Ｐ２００９−１７６２７６）
【出願日】平成２１年７月２９日（２００９．７．２９）
【出願人】（５０９１８６５７９）日立オートモティブシステムズ株式会社 (2,205)
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願日】平成２１年７月２９日（２００９．７．２９）
【出願人】（５０９１８６５７９）日立オートモティブシステムズ株式会社 (2,205)
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
[ Back to top ]