車両周囲監視装置および車両周囲監視方法
【課題】高精度の障害物検出を低コストで実現する事ができる車両周囲監視装置を提供する事。
【解決手段】車両周囲監視装置100は、車両の車載カメラによる撮影画像に対して画像認識を行い、撮影画像とは別の基準カメラで障害物を撮影して得られた基準画像との間の形状の一致性に基づいて車両の周囲の障害物の検出を行う装置であって、撮影画像を、基準カメラの視点に対応する位置から見たときの見え方に近似した画像に変換する画像変換部140と、変換された撮影画像に対して基準画像に基づく画像認識を行い、障害物の検出を行う画像認識部150とを有する。
【解決手段】車両周囲監視装置100は、車両の車載カメラによる撮影画像に対して画像認識を行い、撮影画像とは別の基準カメラで障害物を撮影して得られた基準画像との間の形状の一致性に基づいて車両の周囲の障害物の検出を行う装置であって、撮影画像を、基準カメラの視点に対応する位置から見たときの見え方に近似した画像に変換する画像変換部140と、変換された撮影画像に対して基準画像に基づく画像認識を行い、障害物の検出を行う画像認識部150とを有する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両の周囲の障害物を車載カメラによる撮影画像から検出する車両周囲監視装置および車両周囲監視方法に関する。
【背景技術】
【0002】
車両運転中の安全および安心に対する社会ニーズの高まりの中、特に車両後退時の事故防止のために後方視界を確保する装置の搭載が急務とされている。このような装置として、従来、車両後方を撮影した映像をリアルタイムに運転者に提示する装置がある。ところが、単に撮影映像を提示するだけでは、運転者が映像中の内容を見落としたり、映像確認自体を行わないおそれがある。
【0003】
そこで、車両周辺にいる歩行者等の障害物(以下単に「障害物」という)を撮影映像から検出して警告を発する車両周囲監視装置が存在する(例えば特許文献1参照)。
【0004】
特許文献1記載の車両周囲監視装置(以下「従来装置」という)は、基準カメラで障害物を撮影したときの障害物の画像(以下「基準画像」という)を基準として、車載カメラの撮影画像に対し、パターンマッチングを行う。パターンマッチングは、あらかじめ認識対象とする対象物(ここでは、例えば子供)の画像データを収集して学習したデータベースを作成しておき、これらのデータベースと入力画像との比較を行う識別器によって、対象物を検出する画像認識手法である。従来装置は、このパターンマッチングにより、撮影映像から障害物を検出し、撮影映像の提示と併せて映像および音声等による警告を適宜行う。これにより、従来装置は、障害物が存在するとき、運転者に障害物の存在を知らせる事ができる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2009−70344号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、車載カメラの取付位置が異なる場合、同一の位置にある同一の障害物であっても、撮影映像における障害物の見え方は異なる。
【0007】
図1は、車載カメラの取付位置の高さの違いによる見え方の違いを示す図である。図2は、車載カメラの取付位置の左右方向の位置(車両の左右方向中心を基準とする位置)の違いによる見え方の違いを示す図である。
【0008】
図1(A)および図2(A)に示すように、車両10の真後ろに、人間11が車両10に正面を向けて立っているものとする。そして、図1(A)に示すように、人間11の腰あたりの高さに位置する車載カメラ12と、人間11の頭よりも上の高さに位置する車載カメラ13とを想定する。この場合、図1(B)に示すように、車載カメラ12の撮影画像21における人間11の画像22は、頭から足までの各部の大きさのバランスが、実際のバランスとほぼ同一となる。これに対し、図1(C)に示すように、車載カメラ13の撮影画像23における人間11の画像24は、実際のバランスよりも頭が大きくなる等、画像22とは大きく異なったものとなる。
【0009】
また、図2(A)に示すように、車両10の内部側から見て車両10後部左側に位置する車載カメラ14と、車両10の内部側から見て車両10後部右側に位置する車載カメラ15とを想定する。この場合、図2(B)に示すように、車載カメラ14の撮影画像25における人間11の画像26は、人間11を右側から見た状態となる。これに対し、図2(C)に示すように、車載カメラ15の撮影画像27における人間11の画像28は、人間を左側から見た状態となる。
【0010】
このように、車両に対して同一の位置にある同一の障害物であっても、車載カメラの取付位置が異なると、その画像の撮影映像における状態は異なる。また、この違いは、車両により近い障害物ほど顕著となる。したがって、上述の従来装置を用いる場合、障害物に対して車載カメラの取付位置と同一の位置から撮影された基準画像の識別器を用意する必要がある。
【0011】
ところが、従来装置を採用して車両運転の安全性確保を目的とする障害物検出を行うとすると、多大な労力およびコストが掛かるという課題がある。
【0012】
理由は以下の通りである。障害物には、大人、子供、自転車、ポール等、複数の種類が存在する。また、車載カメラに対する障害物の向き(前向き、横向き等)や姿勢(立ち姿勢、座り姿勢等)は、通常、不特定である。したがって、障害物のあらゆる種類、向き、および姿勢等に対応した、多数の基準画像および識別器が必要である。
【0013】
その上、車載カメラの取付位置は、車種の違い等により異なる。従来技術において高い認識精度を確保するためには、車載カメラの取付位置が異なる場合毎に、上述の多数の基準画像の撮影を行い、多数の識別器を生成しなければならない。特に、複数車種に共通の装置として従来装置を用意する場合には、膨大な工数が必要となるだけでなく、膨大な量の識別器を格納するための容量の大きいデータベースが必要となる。
【0014】
本発明の目的は、高精度の障害物検出を低コストで実現する事ができる車両周囲監視装置および車両周囲監視方法を提供する事である。
【課題を解決するための手段】
【0015】
本発明の車両周囲監視装置は、車両の車載カメラによる撮影画像に対して画像認識を行い、前記撮影画像と別のカメラで障害物を撮影して得られた基準画像との間の形状の一致性に基づいて前記車両の周囲の障害物の検出を行う車両周囲監視装置であって、前記撮影画像を、前記別のカメラの視点に対応する位置から見たときの見え方に近似した画像に変換する画像変換部と、変換された前記撮影画像に対して前記基準画像に基づく画像認識を行い、前記障害物の検出を行う画像認識部とを有する。
【0016】
本発明の車両周囲監視装置は、車両の車載カメラによる撮影画像に対して画像認識を行い、前記撮影画像と別のカメラで障害物を撮影して得られた基準画像との間の形状の一致性に基づいて前記車両の周囲の障害物の検出を行う車両周囲監視装置であって、前記基準画像を、前記車載カメラの視点に対応する位置から見たときの見え方に近似した画像に変換する画像変換部と、前記撮影画像に対して前記変換された基準画像に基づく画像認識を行い、前記障害物の検出を行う画像認識部とを有する。
【0017】
本発明の車両周囲監視方法は、車両の車載カメラによる撮影画像に対して画像認識を行い、前記撮影画像と別のカメラで障害物を撮影して得られた基準画像との間の形状の一致性に基づいて前記車両の周囲の障害物の検出を行う車両周囲監視方法であって、前記撮影画像を、前記別のカメラの視点に対応する位置から見たときの見え方に近似した画像に変換するステップと、変換された前記撮影画像に対して前記基準画像に基づく画像認識を行い、前記障害物の検出を行うステップとを有する。
【発明の効果】
【0018】
本発明によれば、必要な基準画像の数を最小限に抑える事ができ、高精度の障害物検出を低コストで実現する事ができる。
【図面の簡単な説明】
【0019】
【図1】車載カメラの取付位置の高さの違いによる見え方の違いを示す図
【図2】車載カメラの取付位置の左右方向の違いによる見え方の違いを示す図
【図3】本発明の一実施の形態に係る車両周囲監視装置の構成を示すブロック図
【図4】本実施の形態におけるカメラパラメータの構成の一例を示す図
【図5】本実施の形態における基準カメラの取付位置の一例および基準カメラパラメータを説明するための図
【図6】本実施の形態における車載カメラの取付位置の一例および車載カメラパラメータを説明するための図
【図7】本実施の形態において用いられる画像認識システムの概要を示すフローチャート
【図8】本実施の形態において用いられるHaar−Like特徴を示す図
【図9】本実施の形態において用いられるHaar−Like特徴のパターンを示す図
【図10】本実施の形態に係る車両周囲監視装置の動作を示すフローチャート
【図11】本実施の形態における画像変換処理を示すフローチャート
【図12】本実施の形態における空間モデルの一例の模式図
【図13】本実施の形態における空間モデルの他の例の模式図
【図14】本実施の形態における各座標系の関係を説明する模式図
【図15】本実施の形態における座標変換に用いられるパラメータを示す図
【図16】本実施の形態における画像認識処理の一例の概要を示す模式図
【発明を実施するための形態】
【0020】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
【0021】
図3は、本発明の一実施の形態に係る車両周囲監視装置の構成を示すブロック図である。本実施の形態は、本発明を、車両内部に設置された車載カメラのECU(electronic control unit:電子制御ユニット)に適用した例である。
【0022】
図3において、車両周囲監視装置100は、画像入力部110、画像認識データベース120、カメラパラメータ格納部130、画像変換部140、画像認識部150、および警告部160を有する。
【0023】
画像入力部110は、例えば、図2(A)に示すような位置および向きで車両に取り付けられた車載カメラと、ECU内に配置された信号処理部とを有する(いずれも図示せず)。車載カメラは、車両の周囲の映像を撮影し、所定の方式(例えばNTSC方式)の映像信号を信号処理部へ出力する。信号処理部は、入力された映像信号を、後段の各部での内部処理に適した所定のデータ形式(RGB、YUV等)のデータにデコードし、内部のメモリに格納する。デコード後のデータは、時系列の複数の画像フレームのデータから構成される。
【0024】
画像認識データベース120は、車載カメラで撮影された画像から障害物の検出を行う際に用いられる識別器を予め格納する。この識別器は、後述の学習フェーズにおいて、基準カメラで障害物を撮影して得られた画像(以下「基準画像」という)から、障害物の画像(以下適宜「障害物」という)の画像特徴量に基づいて生成されるものである。ここで用いられる画像特徴量は、障害物の輪郭の特徴を表すHaar−Like(ハールライク)特徴量とする。
【0025】
カメラパラメータ格納部130は、車載カメラの取付位置に関する車載カメラパラメータと、前記基準カメラの取付位置に関する基準カメラパラメータとを含むカメラパラメータを、予め格納する。
【0026】
図4は、カメラパラメータの構成の一例を示す図である。図5は、基準カメラの取付位置の一例および基準カメラパラメータを説明するための図である。図6は、車載カメラの取付位置の一例および車載カメラパラメータを説明するための図である。
【0027】
図4に示すように、カメラパラメータ210には、基準カメラパラメータ211および車載カメラパラメータ212が含まれる。基準カメラパラメータ211および車載カメラパラメータ212は、それぞれ、X座標、Y座標、Z座標、角度α、および角度βの各パラメータを含む。
【0028】
図5に示すように、基準カメラパラメータ211のXYZ座標「x0,y0,z0」は、車両221を基準とするXYZ座標系における、基準カメラ222の位置の座標値である。この座標系は、車両221の中心真下の床面の点を原点Oとし、車両221の右方向、上方向、および後ろ方向を、順にX軸正方向、Y軸正方向、およびZ軸正方向とする。また、基準カメラパラメータ211の角度α「α0」は、基準カメラ222の光軸223のZ軸に対する水平角(例えばX軸正方向側を正とする)である。また、基準カメラパラメータ211の角度β「β0」は、基準カメラ222の光軸223の仰俯角(例えばY軸正方向側を正とする)である。
【0029】
同様に、図6に示すように、車載カメラパラメータ212のXYZ座標「x1,y1,z1」は、車両231を基準とするXYZ座標系における、車載カメラ232の位置の座標値である。この座標系は、車両231の中心真下の床面の点を原点Oとし、車両231の右方向、上方向、および後ろ方向を、順にX軸正方向、Y軸正方向、およびZ軸正方向とする。また、車載カメラパラメータ212の角度α「α1」は、車載カメラ232の光軸233のZ軸方向に対する水平角(例えばX軸方向側を正とする)である。また、車載カメラパラメータ212の角度β「β1」は、車載カメラ232の光軸233の仰俯角(例えばY軸方向側を正とする)である。
【0030】
なお、カメラパラメータは、図示しないが、対応するカメラの画角や画素数等の情報も含む。各カメラパラメータは、後述の画像変換処理に用いられる。
【0031】
画像変換部140は、画像入力部110に格納された静止画像の画像データ(以下「撮影画像」という)を読み出す。そして、画像変換部140は、読み出した撮影画像に対し、基準画像の視点(基準カメラの視点)に対応する位置から見たときの見え方に近似した画像に変換する幾何変換処理(以下「画像変換処理」という)を行い、変換後の画像(以下「視点変換画像」という)を、画像認識部150へ出力する。
【0032】
具体的には、画像変換部140は、カメラパラメータ格納部130を参照し、車載カメラパラメータに基づいて撮影画像を所定の空間モデルにマッピングする。そして、画像変換部140は、マッピングされた撮影画像(以下「マッピング画像」という)を、基準カメラパラメータに基づいて、基準カメラから見たときの画像に変換する。マッピングおよび視点変換画像への変換の詳細については後述する。
【0033】
画像認識部150は、画像変換部140から入力される視点変換画像を警告部160に転送すると共に、視点変換画像から、画像認識データベース120に格納された識別器を用いて、障害物の検出を行う。具体的には、画像認識部150は、視点変換画像を検出窓で走査しながら、識別器を用いて、検出窓内から検出される画像特徴量と、基準画像の画像特徴量との一致度を求める。そして、求めた一致度の高さに基づいて検出窓に障害物が含まれているか否かを判定する。そして、画像認識部150は、障害物を検出したとき、その旨および視点変換画像における障害物の位置を示す障害物検出信号を、警告部160へ出力する。
【0034】
警告部160は、液晶ディスプレイ等の表示装置およびラウドスピーカ等の音声出力装置(いずれも図示せず)を有し、画像認識部150から入力される視点変換画像を表示する。また、警告部160は、画像認識部150から障害物検出信号が入力されたとき、つまり、視点変換画像に障害物が存在すると判定されたとき、表示画像上の障害物の位置において警告表示を行うと共に、音声またはビープ音による警告音を発生させる。
【0035】
車両周囲監視装置100は、CPU(central processing unit)、制御プログラムを格納したROM(read only memory)等の記憶媒体、RAM(random access memory)等の作業用メモリ、各種データを格納するためのハードディスク等の記憶媒体等により実現する事ができる。この場合、上記した各部の機能は、CPUが制御プログラムを実行する事により実現される。
【0036】
このような構成を有する車両周囲監視装置100は、基準画像の視点に対応する位置から見たときの見え方に近似した画像に撮影画像を変換し、変換後の視点変換画像に対して、基準画像とのパターンマッチングを行う。これにより、車両毎に車載カメラの取付位置が異なる場合でも、その差異を吸収し、同一の識別器に基づいてそれぞれ高精度の障害物検出を行う事が可能となる。したがって、用意すべき識別器の数を最小限に抑える事ができ、ひいては必要な基準画像の数を最小限に抑える事ができる。また、車載カメラの取付位置が異なる複数の車両で、同一内容の画像認識データベース120とする場合に、画像認識データベース120の容量を小さくする事ができる。すなわち、車両周囲監視装置100は、高精度の障害物検出を、低コストで実現する事ができる。
【0037】
また、車両周囲監視装置100は、障害物が映っていると判定されたときに適切な警告を行うので、運転者に対して周辺の安全確認を行うよう注意喚起する事ができる。
【0038】
ここで、車両周囲監視装置100の動作についての説明に先立って、本実施の形態で用いられる画像認識システムの概要について説明する。
【0039】
図7は、本実施の形態で用いられる画像認識システムの概要を示すフローチャートである。
【0040】
本実施の形態で用いられる画像認識システムで行われる処理は、大きく分けて、識別器を学習する学習フェーズと、生成された識別器を使用して画像認識を行う認識フェーズとに分かれる。学習フェーズでは、認識させたい対象を学習する処理が行われ、認識フェーズでは、撮影画像が学習した対象であるか否かを判定する処理が行われる。
【0041】
学習フェーズでは、正解画像(障害物を含む画像)と非正解画像(障害物を含まない画像)とを含む学習画像が準備され(S1100)、学習画像から画像特徴量が抽出される(S1200)。そして、抽出された画像特徴量に基づいて識別器が学習され(S1300)、学習結果である識別器の学習データが記憶される(S1400)。
【0042】
そして、認識フェーズでは、撮影画像が入力され(S1500)、撮影画像から画像特徴量が抽出される(S1600)。そして、抽出された画像特徴量に対して学習データが適用されて画像認識が行われ(S1700)、認識結果が出力される(S1800)。
【0043】
各処理の詳細について説明する。学習フェーズのステップS1100では、基準画像のデータとしては、様々な向きの障害物(歩行者)の画像データが収集される。例えば、障害物の種類毎に、正面、斜め左前、左、斜め左後ろ、後ろ、斜め右後ろ、右、および斜め右前の8方向のそれぞれからその障害物を撮影した画像が、基準画像として収集される。この結果、後段のステップS1400において、障害物毎に、8個の識別器が作成される事になる。そして、ステップS1700において、撮影画像に映っている障害物が車載カメラに対してどの方向を向いていても、検出する事が可能となり、障害物の検出精度を高める事が可能となる。
【0044】
ステップS1200では、各学習画像に対して、画素データ列からより学習に適した特徴量データへと変換する変換処理が行われる。
【0045】
図8は、Haar−Like特徴を示す図である。また、図9は、Haar−Like特徴のパターンを示す図である。
【0046】
まず、図8に示すように、検出窓310の中の画像311に対して、白黒パターンであるHaar−Like特徴312が置かれる。そして、Haar−Like特徴312が置かれたときの、黒領域の画素値と白領域の画素値とが取得される。Haar−Like特徴312は、図9(A)に示すEdge特徴、図9(B)に示すLine特徴、図9(C)に示すCenter−surround特徴という3つの種類に分かれる複数のパターンを有する。検出窓310内の位置とHaar−Like特徴312との組み合わせは、約数万〜約10万通りとなり、上述の画素値は、これらの組み合わせのそれぞれについて取得される。
【0047】
そして、検出窓310内の全ての位置および全てのHaar−Like特徴312についての、黒領域の画素値の合計値から白領域の画素値の合計値を引いた差分が、Haar−Like特徴量として取得される。
【0048】
そして、ステップS1300において、Haar−Like特徴量が正解画像と非正解画像との間で十分に区別される値となるように、Haar−Like特徴312毎の画素値に対する重み付けが決定される。すなわち、正解画像に特徴的なパターンに該当するHaar−Like特徴312の重みが高くなるように、重み付けが決定される。これにより、ステップS1400において、重み付けされたHaar−Like特徴312が、学習データとして生成される。重み付けされた個々のHaar−Like特徴312は、AdaBoostの弱識別器の役割を果たす。
【0049】
そして、認識フェーズのステップS1700において、弱識別器をカスケード連結(複数連結)して得られるAdaBoostの強識別器を、撮影画像から抽出された画像特徴量に適用して、障害物の有無を検出する画像認識が行われる。
【0050】
本実施の形態では、以上説明した画像認識システムの処理のうち、学習フェーズの処理は、車両周囲監視装置100の外部(例えばネットワーク上のサーバ)においてオフラインで予め実施される。そして、認識フェーズの処理は、車両周囲監視装置100上で車両周囲の撮影映像に基づいてリアルタイムに実施される。
【0051】
以下、車両周囲監視装置100の動作について説明する。
【0052】
図10は、車両周囲監視装置100の動作を示すフローチャートである。車両周囲監視装置100は、例えば、車両のシフト(ギア)がリバースレンジに切り替わったとき、画像入力部110において車両後方の画像の撮影と、以下に説明する処理とを開始する。
【0053】
まず、ステップS2100において、画像変換部140は、画像入力部110から、1フレーム分の撮影画像を取得する。なお、画像入力部110が、1フレーム分の画像を撮影する毎に、直ちにその撮影画像を画像変換部140へ出力するようにしても良い。
【0054】
そして、ステップS2200において、画像変換部140は、入力された撮影画像に対して画像変換処理を行う。
【0055】
図11は、画像変換処理を示すフローチャートである。
【0056】
まず、ステップS2210において、画像変換部140は、カメラパラメータ格納部130から、基準パラメータおよび車載カメラパラメータ(図4参照)を読み出す。
【0057】
そして、ステップS2220において、画像変換部140は、車載カメラパラメータの座標系に対して、空間モデルを作成する。なお、基準カメラパラメータの座標系と車載カメラパラメータの座標系は、上述の通り、障害物の位置を基準としたときには同一の座標系といえる。このため、画像変換部140は、これらの座標系を同一座標系として扱う(以下「ワールド座標系」という)。
【0058】
図12は、空間モデルの一例の模式図である。また、図13は、空間モデルの他の例の模式図である。
【0059】
空間モデルは、例えば、図12に示すような椀形状(球形状の部分)の仮想的な曲面(擬似円筒モデル)410、または、図13に示すような床面に対して鉛直方向に立つ円筒形状の仮想的な曲面(円筒モデル)420である。空間モデルは、基準カメラの位置を曲率中心とする曲面であり、基準カメラの視界および車載カメラの視界の両方をカバーする範囲について少なくとも定められる事が望ましい。また、基準カメラの位置からの空間モデルの各点の距離は、その方向において認識精度を特に向上させたい障害物までの距離とする事が望ましい。以下、基準カメラの位置に相当する点を「仮想視点」といい、車載カメラの位置に相当する点を「カメラ視点」という。
【0060】
なお、空間モデルの形状は上述の例に限定されず、例えば平面であっても良い。また、実際には、単純なモデルでは、複雑な3次元形状を持つ物体の歪が大きくなる等の問題がある。したがって、空間モデルは、複数の平面の組み合わせ、平面と曲面との組み合わせとしても良い。
【0061】
そして、ステップ2230において、画像変換部140は、撮影画像を、カメラ視点を起点として、空間モデルにマッピングする。画像変換部140は、マッピングに際し、撮影画像の各点の座標系変換を行う。
【0062】
図14は、各座標系の関係を説明する模式図である。
【0063】
ここで、カメラ視点Oeの位置および向きを基準とする座標系を、「視点座標系」というものとする。また、カメラ視点Oeのワールド座標系での座標を、位置ベクトルTvで示し、カメラ視点Oeの向き(視線の向き)を、視点座標系の向きをワールド座標系の向きへ一致させる回転を表す3行3列の回転行列Rvで表すものとする。
【0064】
ある点の視点座標が(Vxe,Vye,Vze)であるとき、その点のワールド座標(Xw,Yw,Zw)は、以下の式(1)を用いて求める事ができる。
【数1】
但し、
【数2】
【0065】
図15は、カメラ視点の位置および向き(車載カメラの位置および向き)を定義するパラメータを示す図である。
【0066】
図15に示すように、カメラ視点Oeの視線の向き(車載カメラ470の向き)の、ワールド座標系Y−Z平面に対する水平回転の角度(方位角)を、αvと置く。カメラ視点Oeの視線の向きが、ワールド座標系X−Z平面に対して成す傾きの角度(仰角)を、βvと置く。車載カメラ470の光軸周りの回転(Twist)を、γvと置く。このとき、回転行列Rvは、以下の式(3)で表される。
【数3】
【0067】
一方、視点座標(Vxe,Vye,Vze)のうち、パラメータVxe、Vyeと、カメラ視点Oeを基準に投影面に透視投影したときの投影面上の2次元座標(以下「画像座標」という)Uv、Vvとの関係は、車載カメラの焦点距離fvを用いて、以下の式(4)および式(5)で表される。
【数4】
【数5】
【0068】
焦点距離fvは、投影面をフィルムやCCDとしたときのフィルムまたはCCDの大きさに対応する「mm」もしくは「インチ」、または、撮影画像のサイズに対応する「画素」を単位として表される。ここでは、投影面は、投影中心を中心として幅2、高さ2に正規化されているものとする。
【0069】
撮影画像の右上から(Sv,Tv)の位置にある画素に対応する画像座標(Uv,Vv)は、撮影画像の横幅の画素数をWv、撮影画像の縦幅の画素数をHvと置くと、以下の式(6)および式(7)で表される。
【数6】
【数7】
【0070】
以上の式(1)〜式(7)より、撮影画像の任意の画素(Sv,Tv)に対応する点のワールド座標(Xw,Yw,Zw)は、以下の式(8)により求める事ができる。
【数8】
【0071】
但し、式(8)では、撮影画像の任意の画素(Sv,Tv)に対応する点の奥行き値Vzeが未定である。言い換えると、撮影画像に写る障害物までの、対応画素からの奥行き値を定める必要がある。カメラ視点Oeから見える障害物の3次元形状が分かれば、この奥行き値を取得する事ができるが、一般には困難である。
【0072】
そこで、画像変換部140は、図12および図13に示すような空間モデルを、カメラ視点Oeから見える障害物の形状として仮定する事により、上記奥行き値Vzeを決定し、撮影画像の画素とワールド座標系の座標との関係を決定する。
【0073】
図12に示す擬似円筒モデルは、ワールド座標系において、椀形状の中心点の座標を(Xc,Yc,Zc)、X軸、Y軸、およびZ軸方向の半径をそれぞれa、b、cと置くと、例えば以下の式(9)で表わされる。
【数9】
【0074】
また、図13に示す円筒モデルは、ワールド座標系において、円筒形状の中心点の座標を(Xc,Yc,Zc)、X軸およびZ軸方向の半径をそれぞれa、cと置くと、例えば以下の式(10)で表わされる。なお、空間モデルの数式化は、XZ平面上での回転を考える事により、X軸、Z軸以外に軸を持つ空間モデルにも容易に拡張する事ができる。
【数10】
【0075】
例えば、式(9)または式(10)を用いて上述の式(8)からVzeを消去する事により、撮影画像の各画素(Sv,Tv)と空間モデルにおける対応位置との対応関係を求めることができる。画像変換部140は、例えば、上記の各式を用いて予め算出された撮影画像の各画素と空間モデルの位置との対応関係を用いて、撮影画像を空間モデルにマッピングし、マッピング画像を生成する。
【0076】
そして、ステップS2240において、画像変換部140は、マッピング画像を仮想視点から(基準カメラから)見たときの画像に視点変換し、視点変換画像を生成する。具体的には、画像変換部140は、例えば、撮影画像をマッピング画像へ変換する演算と真逆の演算を基準カメラを基準として行うことにより予め算出された、空間モデルの位置と基準画像の各画素との対応関係を用いて、マッピング画像を視点変換画像に変換する。そして、画像変換部140は、生成した視点変換画像を画像認識部150へ出力し、処理を図10へ戻す。
【0077】
図10のステップS2300において、画像認識部150は、入力された視点変換画像に対して、画像認識処理を行い、障害物の検出を行う。
【0078】
図16は、画像認識部150が行う画像認識処理の一例の概要を示す模式図である。
【0079】
図16に示すように、画像認識データベース120には、学習フェーズにおいて、1つの基準カメラ(または、同一の取付位置および取付向きにあるとみなされる複数の基準カメラ)で撮影された複数の学習画像510から学習された複数の識別器のデータが、格納されている。ここでは、識別器を、対応する基準画像のパターンで模式的に図示している。
【0080】
画像認識部150は、視点変換画像530を検出窓540で走査しながら、画像認識データベース120に格納された識別器を用いて、検出窓540内の画像特徴量550と、基準画像から検出される画像特徴量との一致度を求める。そして、画像認識部150は、一致度が高いとき、つまり、カスケード接続された全ての弱識別器において拒否されなかった場合には、該当する検出窓540に障害物560が含まれていると判定する。
【0081】
なお、画像認識部150は、検出窓540を固定サイズとし、視点変換画像530をリサイズしながら、検出窓540の走査を行う。具体的には、例えば、画像認識部150は、横32画素×縦64画素の検出窓540で、視点変換画像530の左上から右下まで順に走査していき、それぞれの検出窓540の位置で、識別処理を行っていく。これは、元の撮影画像における障害物の大きさは、撮影カメラから障害物までの距離に応じて様々であるからである。障害物としての人間の全体画像が基準画像として用いられていた場合、図16に示す例では3段階リサイズされた視点変換画像で初めて障害物560は検出窓540に収まるため、この段階で障害物560が検出される事になる。なお、リサイズ時の縮小率は縦横共に20%ずつが望ましく、その場合は、8段階程度のリサイズが行われる事が望ましい。
【0082】
そして、ステップS2400において、画像認識部150は、画像認識の結果、障害物を検出したか否かを判断する。画像認識部150は、障害物を検出した場合には(S2400:YES、)、障害物検出信号を、警告部160へ出力して、ステップS2500へ進む。また、画像認識部150は、障害物を検出しなかった場合には(S2400:NO)、その次のステップS2600へ進む。
【0083】
ステップS2500において、警告部160は、障害物検出信号から視点変換画像における障害物の位置を取得し、表示する視点変換画像のその位置に警告表示を行うと共に、音声またはビープ音による警告音を発生させる。
【0084】
そして、ステップS2600において、画像変換部140は、ユーザの電源オフ操作や、車両のシフト(ギア)の切り替え信号等により、処理の終了を指示されたか否かを判断する。画像変換部140は、処理の終了を指示されていない場合には(S2600:NO)、ステップS2100へ戻り、次の1フレーム分の撮影画像に対する処理に移る。また、画像変換部140は、処理の終了を指示された場合には(S2600:YES)、一連の処理を終了する。
【0085】
このような処理により、車両周囲監視装置100は、車両後方の映像の表示と、画像認識による障害物検出および警告とを、リアルタイムに行う事ができる。また、車両周囲監視装置100は、撮影画像を、識別器の生成に用いられた基準画像の視点から見たときの画像に視点変換してから、障害物検出を行うので、視点の違いによる障害物画像の違いを吸収する事ができる。
【0086】
以上説明したように、本実施の形態に係る車両周囲監視装置100は、画像認識および基準画像との画像特徴量の一致度に基づく障害物検出を行う際に、基準画像の視点に対応する位置から見たときの見え方に近似した画像に撮影画像を変換してから、当該障害物検出を行う。これにより、車両周囲監視装置100は、車両によって車載カメラの取付位置および取付向きが異なる場合でも、同一の識別器を使って高精度に障害物検出を行う事ができる。すなわち、車両周囲監視装置100は、必要な基準画像の数および識別器の数をそれぞれ最小限に抑える事ができ、高精度の障害物検出を低コストで実現する事ができる。
【0087】
また、車両周囲監視装置100は、車載カメラパラメータに基づいて撮影画像を所定の空間モデルにマッピングし、基準カメラパラメータに基づいてマッピング画像を基準カメラから見たときの画像に変換する。これにより、簡易な処理で、近似的に、上述の視点変換を行う事ができる。
【0088】
また、車両周囲監視装置100は、マッピングを行う空間モデルとして、基準カメラの位置を曲率中心とする曲面を採用するので、精度の高い視点変換を行う事ができる。
【0089】
なお、以上説明した本実施の形態では、車載カメラのECUに表示装置および音声出力装置を含む各装置部が配置されているものとして説明したが、これらの装置部は、当該ECUの外部に配置されてもよい。この場合には、ECUに、外部のデバイスや装置と通信可能に接続するインタフェースを設ける必要がある。
【0090】
また、本実施の形態では、本発明を、Haar−Like特徴量を用いた障害物検出に適用する例について説明したが、これに限定されない。本発明は、例えば、オブジェクトの輪郭を構成するエッジの傾きに基づいた画像特徴量であるHOG(histogram of oriented gradient)特徴量を用いた障害物検出に適用しても、同様の効果が得られる。すなわち、本発明は、形状の一致性に基づいて判定を行う各種の障害物検出に適用する事ができる。
【0091】
また、車両周囲監視装置は、車両の周囲の障害物の立体モデルをリアルタイムに計測する事が可能であれば、必ずしも撮影映像を射影するための空間モデルを用いなくても良い。この場合、車両周囲監視装置は、例えば、ワールド座標系にその障害物の立体モデルを配置し、立体モデルの各点を、基準カメラの視平面に射影し、ワールド座標系から基準画像の画像座標系への変換を行えば良い。
【0092】
また、本実施の形態に係る車両周囲監視装置と識別器を生成する装置とを含むシステムでは、撮影画像を基準カメラの位置に合わせて視点変換するとしたが、逆に、基準画像を車載カメラの位置に合わせて視点変換しても良い。この場合には、画像認識の判定基準となる識別器を生成する画像認識データ生成装置は、オフラインで、撮影した基準画像に対して、複数の車両の車載カメラのそれぞれの位置に合わせる視点変換を施し、視点変換後の基準画像に基づいて、車両毎の識別器を生成する。そして、車両周囲監視装置は、ネットワークを介して画像認識データ生成装置にアクセスし、自己が取り付けられた車両に対応する識別器を取得すれば良い。そして、車両周囲監視装置は、撮影画像に対する画像変換処理を行う事なく、取得した識別器を用いて、障害物検出を行えば良い。このような構成によっても、車載カメラの位置毎に撮影を行う必要がなくなるので、システム全体の低コスト化、特に車両周囲監視装置の低コスト化を図る事ができる。
【0093】
なお、視点変換後の基準画像に基づく識別器の生成を、車両周囲監視装置側で行うようにしても良い。この場合、例えば、画像変換部は、基準画像を取得し、基準画像を、前記車載カメラの視点に対応する位置から見たときの見え方に近似した画像に変換する。そして、画像認識部は、視点変換されていない撮影画像に対して視点変換された基準画像に基づく画像認識を行い、障害物の検出を行う。
【産業上の利用可能性】
【0094】
本発明に係る車両周囲監視装置および車両周囲監視方法は、高精度の障害物検出を低コストで実現する事ができる車両周囲監視装置および車両周囲監視方法として有用である。
【符号の説明】
【0095】
100 車両周囲監視装置
110 画像入力部
120 画像認識データベース
130 カメラパラメータ格納部
140 画像変換部
150 画像認識部
160 警告部
【技術分野】
【0001】
本発明は、車両の周囲の障害物を車載カメラによる撮影画像から検出する車両周囲監視装置および車両周囲監視方法に関する。
【背景技術】
【0002】
車両運転中の安全および安心に対する社会ニーズの高まりの中、特に車両後退時の事故防止のために後方視界を確保する装置の搭載が急務とされている。このような装置として、従来、車両後方を撮影した映像をリアルタイムに運転者に提示する装置がある。ところが、単に撮影映像を提示するだけでは、運転者が映像中の内容を見落としたり、映像確認自体を行わないおそれがある。
【0003】
そこで、車両周辺にいる歩行者等の障害物(以下単に「障害物」という)を撮影映像から検出して警告を発する車両周囲監視装置が存在する(例えば特許文献1参照)。
【0004】
特許文献1記載の車両周囲監視装置(以下「従来装置」という)は、基準カメラで障害物を撮影したときの障害物の画像(以下「基準画像」という)を基準として、車載カメラの撮影画像に対し、パターンマッチングを行う。パターンマッチングは、あらかじめ認識対象とする対象物(ここでは、例えば子供)の画像データを収集して学習したデータベースを作成しておき、これらのデータベースと入力画像との比較を行う識別器によって、対象物を検出する画像認識手法である。従来装置は、このパターンマッチングにより、撮影映像から障害物を検出し、撮影映像の提示と併せて映像および音声等による警告を適宜行う。これにより、従来装置は、障害物が存在するとき、運転者に障害物の存在を知らせる事ができる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2009−70344号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、車載カメラの取付位置が異なる場合、同一の位置にある同一の障害物であっても、撮影映像における障害物の見え方は異なる。
【0007】
図1は、車載カメラの取付位置の高さの違いによる見え方の違いを示す図である。図2は、車載カメラの取付位置の左右方向の位置(車両の左右方向中心を基準とする位置)の違いによる見え方の違いを示す図である。
【0008】
図1(A)および図2(A)に示すように、車両10の真後ろに、人間11が車両10に正面を向けて立っているものとする。そして、図1(A)に示すように、人間11の腰あたりの高さに位置する車載カメラ12と、人間11の頭よりも上の高さに位置する車載カメラ13とを想定する。この場合、図1(B)に示すように、車載カメラ12の撮影画像21における人間11の画像22は、頭から足までの各部の大きさのバランスが、実際のバランスとほぼ同一となる。これに対し、図1(C)に示すように、車載カメラ13の撮影画像23における人間11の画像24は、実際のバランスよりも頭が大きくなる等、画像22とは大きく異なったものとなる。
【0009】
また、図2(A)に示すように、車両10の内部側から見て車両10後部左側に位置する車載カメラ14と、車両10の内部側から見て車両10後部右側に位置する車載カメラ15とを想定する。この場合、図2(B)に示すように、車載カメラ14の撮影画像25における人間11の画像26は、人間11を右側から見た状態となる。これに対し、図2(C)に示すように、車載カメラ15の撮影画像27における人間11の画像28は、人間を左側から見た状態となる。
【0010】
このように、車両に対して同一の位置にある同一の障害物であっても、車載カメラの取付位置が異なると、その画像の撮影映像における状態は異なる。また、この違いは、車両により近い障害物ほど顕著となる。したがって、上述の従来装置を用いる場合、障害物に対して車載カメラの取付位置と同一の位置から撮影された基準画像の識別器を用意する必要がある。
【0011】
ところが、従来装置を採用して車両運転の安全性確保を目的とする障害物検出を行うとすると、多大な労力およびコストが掛かるという課題がある。
【0012】
理由は以下の通りである。障害物には、大人、子供、自転車、ポール等、複数の種類が存在する。また、車載カメラに対する障害物の向き(前向き、横向き等)や姿勢(立ち姿勢、座り姿勢等)は、通常、不特定である。したがって、障害物のあらゆる種類、向き、および姿勢等に対応した、多数の基準画像および識別器が必要である。
【0013】
その上、車載カメラの取付位置は、車種の違い等により異なる。従来技術において高い認識精度を確保するためには、車載カメラの取付位置が異なる場合毎に、上述の多数の基準画像の撮影を行い、多数の識別器を生成しなければならない。特に、複数車種に共通の装置として従来装置を用意する場合には、膨大な工数が必要となるだけでなく、膨大な量の識別器を格納するための容量の大きいデータベースが必要となる。
【0014】
本発明の目的は、高精度の障害物検出を低コストで実現する事ができる車両周囲監視装置および車両周囲監視方法を提供する事である。
【課題を解決するための手段】
【0015】
本発明の車両周囲監視装置は、車両の車載カメラによる撮影画像に対して画像認識を行い、前記撮影画像と別のカメラで障害物を撮影して得られた基準画像との間の形状の一致性に基づいて前記車両の周囲の障害物の検出を行う車両周囲監視装置であって、前記撮影画像を、前記別のカメラの視点に対応する位置から見たときの見え方に近似した画像に変換する画像変換部と、変換された前記撮影画像に対して前記基準画像に基づく画像認識を行い、前記障害物の検出を行う画像認識部とを有する。
【0016】
本発明の車両周囲監視装置は、車両の車載カメラによる撮影画像に対して画像認識を行い、前記撮影画像と別のカメラで障害物を撮影して得られた基準画像との間の形状の一致性に基づいて前記車両の周囲の障害物の検出を行う車両周囲監視装置であって、前記基準画像を、前記車載カメラの視点に対応する位置から見たときの見え方に近似した画像に変換する画像変換部と、前記撮影画像に対して前記変換された基準画像に基づく画像認識を行い、前記障害物の検出を行う画像認識部とを有する。
【0017】
本発明の車両周囲監視方法は、車両の車載カメラによる撮影画像に対して画像認識を行い、前記撮影画像と別のカメラで障害物を撮影して得られた基準画像との間の形状の一致性に基づいて前記車両の周囲の障害物の検出を行う車両周囲監視方法であって、前記撮影画像を、前記別のカメラの視点に対応する位置から見たときの見え方に近似した画像に変換するステップと、変換された前記撮影画像に対して前記基準画像に基づく画像認識を行い、前記障害物の検出を行うステップとを有する。
【発明の効果】
【0018】
本発明によれば、必要な基準画像の数を最小限に抑える事ができ、高精度の障害物検出を低コストで実現する事ができる。
【図面の簡単な説明】
【0019】
【図1】車載カメラの取付位置の高さの違いによる見え方の違いを示す図
【図2】車載カメラの取付位置の左右方向の違いによる見え方の違いを示す図
【図3】本発明の一実施の形態に係る車両周囲監視装置の構成を示すブロック図
【図4】本実施の形態におけるカメラパラメータの構成の一例を示す図
【図5】本実施の形態における基準カメラの取付位置の一例および基準カメラパラメータを説明するための図
【図6】本実施の形態における車載カメラの取付位置の一例および車載カメラパラメータを説明するための図
【図7】本実施の形態において用いられる画像認識システムの概要を示すフローチャート
【図8】本実施の形態において用いられるHaar−Like特徴を示す図
【図9】本実施の形態において用いられるHaar−Like特徴のパターンを示す図
【図10】本実施の形態に係る車両周囲監視装置の動作を示すフローチャート
【図11】本実施の形態における画像変換処理を示すフローチャート
【図12】本実施の形態における空間モデルの一例の模式図
【図13】本実施の形態における空間モデルの他の例の模式図
【図14】本実施の形態における各座標系の関係を説明する模式図
【図15】本実施の形態における座標変換に用いられるパラメータを示す図
【図16】本実施の形態における画像認識処理の一例の概要を示す模式図
【発明を実施するための形態】
【0020】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
【0021】
図3は、本発明の一実施の形態に係る車両周囲監視装置の構成を示すブロック図である。本実施の形態は、本発明を、車両内部に設置された車載カメラのECU(electronic control unit:電子制御ユニット)に適用した例である。
【0022】
図3において、車両周囲監視装置100は、画像入力部110、画像認識データベース120、カメラパラメータ格納部130、画像変換部140、画像認識部150、および警告部160を有する。
【0023】
画像入力部110は、例えば、図2(A)に示すような位置および向きで車両に取り付けられた車載カメラと、ECU内に配置された信号処理部とを有する(いずれも図示せず)。車載カメラは、車両の周囲の映像を撮影し、所定の方式(例えばNTSC方式)の映像信号を信号処理部へ出力する。信号処理部は、入力された映像信号を、後段の各部での内部処理に適した所定のデータ形式(RGB、YUV等)のデータにデコードし、内部のメモリに格納する。デコード後のデータは、時系列の複数の画像フレームのデータから構成される。
【0024】
画像認識データベース120は、車載カメラで撮影された画像から障害物の検出を行う際に用いられる識別器を予め格納する。この識別器は、後述の学習フェーズにおいて、基準カメラで障害物を撮影して得られた画像(以下「基準画像」という)から、障害物の画像(以下適宜「障害物」という)の画像特徴量に基づいて生成されるものである。ここで用いられる画像特徴量は、障害物の輪郭の特徴を表すHaar−Like(ハールライク)特徴量とする。
【0025】
カメラパラメータ格納部130は、車載カメラの取付位置に関する車載カメラパラメータと、前記基準カメラの取付位置に関する基準カメラパラメータとを含むカメラパラメータを、予め格納する。
【0026】
図4は、カメラパラメータの構成の一例を示す図である。図5は、基準カメラの取付位置の一例および基準カメラパラメータを説明するための図である。図6は、車載カメラの取付位置の一例および車載カメラパラメータを説明するための図である。
【0027】
図4に示すように、カメラパラメータ210には、基準カメラパラメータ211および車載カメラパラメータ212が含まれる。基準カメラパラメータ211および車載カメラパラメータ212は、それぞれ、X座標、Y座標、Z座標、角度α、および角度βの各パラメータを含む。
【0028】
図5に示すように、基準カメラパラメータ211のXYZ座標「x0,y0,z0」は、車両221を基準とするXYZ座標系における、基準カメラ222の位置の座標値である。この座標系は、車両221の中心真下の床面の点を原点Oとし、車両221の右方向、上方向、および後ろ方向を、順にX軸正方向、Y軸正方向、およびZ軸正方向とする。また、基準カメラパラメータ211の角度α「α0」は、基準カメラ222の光軸223のZ軸に対する水平角(例えばX軸正方向側を正とする)である。また、基準カメラパラメータ211の角度β「β0」は、基準カメラ222の光軸223の仰俯角(例えばY軸正方向側を正とする)である。
【0029】
同様に、図6に示すように、車載カメラパラメータ212のXYZ座標「x1,y1,z1」は、車両231を基準とするXYZ座標系における、車載カメラ232の位置の座標値である。この座標系は、車両231の中心真下の床面の点を原点Oとし、車両231の右方向、上方向、および後ろ方向を、順にX軸正方向、Y軸正方向、およびZ軸正方向とする。また、車載カメラパラメータ212の角度α「α1」は、車載カメラ232の光軸233のZ軸方向に対する水平角(例えばX軸方向側を正とする)である。また、車載カメラパラメータ212の角度β「β1」は、車載カメラ232の光軸233の仰俯角(例えばY軸方向側を正とする)である。
【0030】
なお、カメラパラメータは、図示しないが、対応するカメラの画角や画素数等の情報も含む。各カメラパラメータは、後述の画像変換処理に用いられる。
【0031】
画像変換部140は、画像入力部110に格納された静止画像の画像データ(以下「撮影画像」という)を読み出す。そして、画像変換部140は、読み出した撮影画像に対し、基準画像の視点(基準カメラの視点)に対応する位置から見たときの見え方に近似した画像に変換する幾何変換処理(以下「画像変換処理」という)を行い、変換後の画像(以下「視点変換画像」という)を、画像認識部150へ出力する。
【0032】
具体的には、画像変換部140は、カメラパラメータ格納部130を参照し、車載カメラパラメータに基づいて撮影画像を所定の空間モデルにマッピングする。そして、画像変換部140は、マッピングされた撮影画像(以下「マッピング画像」という)を、基準カメラパラメータに基づいて、基準カメラから見たときの画像に変換する。マッピングおよび視点変換画像への変換の詳細については後述する。
【0033】
画像認識部150は、画像変換部140から入力される視点変換画像を警告部160に転送すると共に、視点変換画像から、画像認識データベース120に格納された識別器を用いて、障害物の検出を行う。具体的には、画像認識部150は、視点変換画像を検出窓で走査しながら、識別器を用いて、検出窓内から検出される画像特徴量と、基準画像の画像特徴量との一致度を求める。そして、求めた一致度の高さに基づいて検出窓に障害物が含まれているか否かを判定する。そして、画像認識部150は、障害物を検出したとき、その旨および視点変換画像における障害物の位置を示す障害物検出信号を、警告部160へ出力する。
【0034】
警告部160は、液晶ディスプレイ等の表示装置およびラウドスピーカ等の音声出力装置(いずれも図示せず)を有し、画像認識部150から入力される視点変換画像を表示する。また、警告部160は、画像認識部150から障害物検出信号が入力されたとき、つまり、視点変換画像に障害物が存在すると判定されたとき、表示画像上の障害物の位置において警告表示を行うと共に、音声またはビープ音による警告音を発生させる。
【0035】
車両周囲監視装置100は、CPU(central processing unit)、制御プログラムを格納したROM(read only memory)等の記憶媒体、RAM(random access memory)等の作業用メモリ、各種データを格納するためのハードディスク等の記憶媒体等により実現する事ができる。この場合、上記した各部の機能は、CPUが制御プログラムを実行する事により実現される。
【0036】
このような構成を有する車両周囲監視装置100は、基準画像の視点に対応する位置から見たときの見え方に近似した画像に撮影画像を変換し、変換後の視点変換画像に対して、基準画像とのパターンマッチングを行う。これにより、車両毎に車載カメラの取付位置が異なる場合でも、その差異を吸収し、同一の識別器に基づいてそれぞれ高精度の障害物検出を行う事が可能となる。したがって、用意すべき識別器の数を最小限に抑える事ができ、ひいては必要な基準画像の数を最小限に抑える事ができる。また、車載カメラの取付位置が異なる複数の車両で、同一内容の画像認識データベース120とする場合に、画像認識データベース120の容量を小さくする事ができる。すなわち、車両周囲監視装置100は、高精度の障害物検出を、低コストで実現する事ができる。
【0037】
また、車両周囲監視装置100は、障害物が映っていると判定されたときに適切な警告を行うので、運転者に対して周辺の安全確認を行うよう注意喚起する事ができる。
【0038】
ここで、車両周囲監視装置100の動作についての説明に先立って、本実施の形態で用いられる画像認識システムの概要について説明する。
【0039】
図7は、本実施の形態で用いられる画像認識システムの概要を示すフローチャートである。
【0040】
本実施の形態で用いられる画像認識システムで行われる処理は、大きく分けて、識別器を学習する学習フェーズと、生成された識別器を使用して画像認識を行う認識フェーズとに分かれる。学習フェーズでは、認識させたい対象を学習する処理が行われ、認識フェーズでは、撮影画像が学習した対象であるか否かを判定する処理が行われる。
【0041】
学習フェーズでは、正解画像(障害物を含む画像)と非正解画像(障害物を含まない画像)とを含む学習画像が準備され(S1100)、学習画像から画像特徴量が抽出される(S1200)。そして、抽出された画像特徴量に基づいて識別器が学習され(S1300)、学習結果である識別器の学習データが記憶される(S1400)。
【0042】
そして、認識フェーズでは、撮影画像が入力され(S1500)、撮影画像から画像特徴量が抽出される(S1600)。そして、抽出された画像特徴量に対して学習データが適用されて画像認識が行われ(S1700)、認識結果が出力される(S1800)。
【0043】
各処理の詳細について説明する。学習フェーズのステップS1100では、基準画像のデータとしては、様々な向きの障害物(歩行者)の画像データが収集される。例えば、障害物の種類毎に、正面、斜め左前、左、斜め左後ろ、後ろ、斜め右後ろ、右、および斜め右前の8方向のそれぞれからその障害物を撮影した画像が、基準画像として収集される。この結果、後段のステップS1400において、障害物毎に、8個の識別器が作成される事になる。そして、ステップS1700において、撮影画像に映っている障害物が車載カメラに対してどの方向を向いていても、検出する事が可能となり、障害物の検出精度を高める事が可能となる。
【0044】
ステップS1200では、各学習画像に対して、画素データ列からより学習に適した特徴量データへと変換する変換処理が行われる。
【0045】
図8は、Haar−Like特徴を示す図である。また、図9は、Haar−Like特徴のパターンを示す図である。
【0046】
まず、図8に示すように、検出窓310の中の画像311に対して、白黒パターンであるHaar−Like特徴312が置かれる。そして、Haar−Like特徴312が置かれたときの、黒領域の画素値と白領域の画素値とが取得される。Haar−Like特徴312は、図9(A)に示すEdge特徴、図9(B)に示すLine特徴、図9(C)に示すCenter−surround特徴という3つの種類に分かれる複数のパターンを有する。検出窓310内の位置とHaar−Like特徴312との組み合わせは、約数万〜約10万通りとなり、上述の画素値は、これらの組み合わせのそれぞれについて取得される。
【0047】
そして、検出窓310内の全ての位置および全てのHaar−Like特徴312についての、黒領域の画素値の合計値から白領域の画素値の合計値を引いた差分が、Haar−Like特徴量として取得される。
【0048】
そして、ステップS1300において、Haar−Like特徴量が正解画像と非正解画像との間で十分に区別される値となるように、Haar−Like特徴312毎の画素値に対する重み付けが決定される。すなわち、正解画像に特徴的なパターンに該当するHaar−Like特徴312の重みが高くなるように、重み付けが決定される。これにより、ステップS1400において、重み付けされたHaar−Like特徴312が、学習データとして生成される。重み付けされた個々のHaar−Like特徴312は、AdaBoostの弱識別器の役割を果たす。
【0049】
そして、認識フェーズのステップS1700において、弱識別器をカスケード連結(複数連結)して得られるAdaBoostの強識別器を、撮影画像から抽出された画像特徴量に適用して、障害物の有無を検出する画像認識が行われる。
【0050】
本実施の形態では、以上説明した画像認識システムの処理のうち、学習フェーズの処理は、車両周囲監視装置100の外部(例えばネットワーク上のサーバ)においてオフラインで予め実施される。そして、認識フェーズの処理は、車両周囲監視装置100上で車両周囲の撮影映像に基づいてリアルタイムに実施される。
【0051】
以下、車両周囲監視装置100の動作について説明する。
【0052】
図10は、車両周囲監視装置100の動作を示すフローチャートである。車両周囲監視装置100は、例えば、車両のシフト(ギア)がリバースレンジに切り替わったとき、画像入力部110において車両後方の画像の撮影と、以下に説明する処理とを開始する。
【0053】
まず、ステップS2100において、画像変換部140は、画像入力部110から、1フレーム分の撮影画像を取得する。なお、画像入力部110が、1フレーム分の画像を撮影する毎に、直ちにその撮影画像を画像変換部140へ出力するようにしても良い。
【0054】
そして、ステップS2200において、画像変換部140は、入力された撮影画像に対して画像変換処理を行う。
【0055】
図11は、画像変換処理を示すフローチャートである。
【0056】
まず、ステップS2210において、画像変換部140は、カメラパラメータ格納部130から、基準パラメータおよび車載カメラパラメータ(図4参照)を読み出す。
【0057】
そして、ステップS2220において、画像変換部140は、車載カメラパラメータの座標系に対して、空間モデルを作成する。なお、基準カメラパラメータの座標系と車載カメラパラメータの座標系は、上述の通り、障害物の位置を基準としたときには同一の座標系といえる。このため、画像変換部140は、これらの座標系を同一座標系として扱う(以下「ワールド座標系」という)。
【0058】
図12は、空間モデルの一例の模式図である。また、図13は、空間モデルの他の例の模式図である。
【0059】
空間モデルは、例えば、図12に示すような椀形状(球形状の部分)の仮想的な曲面(擬似円筒モデル)410、または、図13に示すような床面に対して鉛直方向に立つ円筒形状の仮想的な曲面(円筒モデル)420である。空間モデルは、基準カメラの位置を曲率中心とする曲面であり、基準カメラの視界および車載カメラの視界の両方をカバーする範囲について少なくとも定められる事が望ましい。また、基準カメラの位置からの空間モデルの各点の距離は、その方向において認識精度を特に向上させたい障害物までの距離とする事が望ましい。以下、基準カメラの位置に相当する点を「仮想視点」といい、車載カメラの位置に相当する点を「カメラ視点」という。
【0060】
なお、空間モデルの形状は上述の例に限定されず、例えば平面であっても良い。また、実際には、単純なモデルでは、複雑な3次元形状を持つ物体の歪が大きくなる等の問題がある。したがって、空間モデルは、複数の平面の組み合わせ、平面と曲面との組み合わせとしても良い。
【0061】
そして、ステップ2230において、画像変換部140は、撮影画像を、カメラ視点を起点として、空間モデルにマッピングする。画像変換部140は、マッピングに際し、撮影画像の各点の座標系変換を行う。
【0062】
図14は、各座標系の関係を説明する模式図である。
【0063】
ここで、カメラ視点Oeの位置および向きを基準とする座標系を、「視点座標系」というものとする。また、カメラ視点Oeのワールド座標系での座標を、位置ベクトルTvで示し、カメラ視点Oeの向き(視線の向き)を、視点座標系の向きをワールド座標系の向きへ一致させる回転を表す3行3列の回転行列Rvで表すものとする。
【0064】
ある点の視点座標が(Vxe,Vye,Vze)であるとき、その点のワールド座標(Xw,Yw,Zw)は、以下の式(1)を用いて求める事ができる。
【数1】
但し、
【数2】
【0065】
図15は、カメラ視点の位置および向き(車載カメラの位置および向き)を定義するパラメータを示す図である。
【0066】
図15に示すように、カメラ視点Oeの視線の向き(車載カメラ470の向き)の、ワールド座標系Y−Z平面に対する水平回転の角度(方位角)を、αvと置く。カメラ視点Oeの視線の向きが、ワールド座標系X−Z平面に対して成す傾きの角度(仰角)を、βvと置く。車載カメラ470の光軸周りの回転(Twist)を、γvと置く。このとき、回転行列Rvは、以下の式(3)で表される。
【数3】
【0067】
一方、視点座標(Vxe,Vye,Vze)のうち、パラメータVxe、Vyeと、カメラ視点Oeを基準に投影面に透視投影したときの投影面上の2次元座標(以下「画像座標」という)Uv、Vvとの関係は、車載カメラの焦点距離fvを用いて、以下の式(4)および式(5)で表される。
【数4】
【数5】
【0068】
焦点距離fvは、投影面をフィルムやCCDとしたときのフィルムまたはCCDの大きさに対応する「mm」もしくは「インチ」、または、撮影画像のサイズに対応する「画素」を単位として表される。ここでは、投影面は、投影中心を中心として幅2、高さ2に正規化されているものとする。
【0069】
撮影画像の右上から(Sv,Tv)の位置にある画素に対応する画像座標(Uv,Vv)は、撮影画像の横幅の画素数をWv、撮影画像の縦幅の画素数をHvと置くと、以下の式(6)および式(7)で表される。
【数6】
【数7】
【0070】
以上の式(1)〜式(7)より、撮影画像の任意の画素(Sv,Tv)に対応する点のワールド座標(Xw,Yw,Zw)は、以下の式(8)により求める事ができる。
【数8】
【0071】
但し、式(8)では、撮影画像の任意の画素(Sv,Tv)に対応する点の奥行き値Vzeが未定である。言い換えると、撮影画像に写る障害物までの、対応画素からの奥行き値を定める必要がある。カメラ視点Oeから見える障害物の3次元形状が分かれば、この奥行き値を取得する事ができるが、一般には困難である。
【0072】
そこで、画像変換部140は、図12および図13に示すような空間モデルを、カメラ視点Oeから見える障害物の形状として仮定する事により、上記奥行き値Vzeを決定し、撮影画像の画素とワールド座標系の座標との関係を決定する。
【0073】
図12に示す擬似円筒モデルは、ワールド座標系において、椀形状の中心点の座標を(Xc,Yc,Zc)、X軸、Y軸、およびZ軸方向の半径をそれぞれa、b、cと置くと、例えば以下の式(9)で表わされる。
【数9】
【0074】
また、図13に示す円筒モデルは、ワールド座標系において、円筒形状の中心点の座標を(Xc,Yc,Zc)、X軸およびZ軸方向の半径をそれぞれa、cと置くと、例えば以下の式(10)で表わされる。なお、空間モデルの数式化は、XZ平面上での回転を考える事により、X軸、Z軸以外に軸を持つ空間モデルにも容易に拡張する事ができる。
【数10】
【0075】
例えば、式(9)または式(10)を用いて上述の式(8)からVzeを消去する事により、撮影画像の各画素(Sv,Tv)と空間モデルにおける対応位置との対応関係を求めることができる。画像変換部140は、例えば、上記の各式を用いて予め算出された撮影画像の各画素と空間モデルの位置との対応関係を用いて、撮影画像を空間モデルにマッピングし、マッピング画像を生成する。
【0076】
そして、ステップS2240において、画像変換部140は、マッピング画像を仮想視点から(基準カメラから)見たときの画像に視点変換し、視点変換画像を生成する。具体的には、画像変換部140は、例えば、撮影画像をマッピング画像へ変換する演算と真逆の演算を基準カメラを基準として行うことにより予め算出された、空間モデルの位置と基準画像の各画素との対応関係を用いて、マッピング画像を視点変換画像に変換する。そして、画像変換部140は、生成した視点変換画像を画像認識部150へ出力し、処理を図10へ戻す。
【0077】
図10のステップS2300において、画像認識部150は、入力された視点変換画像に対して、画像認識処理を行い、障害物の検出を行う。
【0078】
図16は、画像認識部150が行う画像認識処理の一例の概要を示す模式図である。
【0079】
図16に示すように、画像認識データベース120には、学習フェーズにおいて、1つの基準カメラ(または、同一の取付位置および取付向きにあるとみなされる複数の基準カメラ)で撮影された複数の学習画像510から学習された複数の識別器のデータが、格納されている。ここでは、識別器を、対応する基準画像のパターンで模式的に図示している。
【0080】
画像認識部150は、視点変換画像530を検出窓540で走査しながら、画像認識データベース120に格納された識別器を用いて、検出窓540内の画像特徴量550と、基準画像から検出される画像特徴量との一致度を求める。そして、画像認識部150は、一致度が高いとき、つまり、カスケード接続された全ての弱識別器において拒否されなかった場合には、該当する検出窓540に障害物560が含まれていると判定する。
【0081】
なお、画像認識部150は、検出窓540を固定サイズとし、視点変換画像530をリサイズしながら、検出窓540の走査を行う。具体的には、例えば、画像認識部150は、横32画素×縦64画素の検出窓540で、視点変換画像530の左上から右下まで順に走査していき、それぞれの検出窓540の位置で、識別処理を行っていく。これは、元の撮影画像における障害物の大きさは、撮影カメラから障害物までの距離に応じて様々であるからである。障害物としての人間の全体画像が基準画像として用いられていた場合、図16に示す例では3段階リサイズされた視点変換画像で初めて障害物560は検出窓540に収まるため、この段階で障害物560が検出される事になる。なお、リサイズ時の縮小率は縦横共に20%ずつが望ましく、その場合は、8段階程度のリサイズが行われる事が望ましい。
【0082】
そして、ステップS2400において、画像認識部150は、画像認識の結果、障害物を検出したか否かを判断する。画像認識部150は、障害物を検出した場合には(S2400:YES、)、障害物検出信号を、警告部160へ出力して、ステップS2500へ進む。また、画像認識部150は、障害物を検出しなかった場合には(S2400:NO)、その次のステップS2600へ進む。
【0083】
ステップS2500において、警告部160は、障害物検出信号から視点変換画像における障害物の位置を取得し、表示する視点変換画像のその位置に警告表示を行うと共に、音声またはビープ音による警告音を発生させる。
【0084】
そして、ステップS2600において、画像変換部140は、ユーザの電源オフ操作や、車両のシフト(ギア)の切り替え信号等により、処理の終了を指示されたか否かを判断する。画像変換部140は、処理の終了を指示されていない場合には(S2600:NO)、ステップS2100へ戻り、次の1フレーム分の撮影画像に対する処理に移る。また、画像変換部140は、処理の終了を指示された場合には(S2600:YES)、一連の処理を終了する。
【0085】
このような処理により、車両周囲監視装置100は、車両後方の映像の表示と、画像認識による障害物検出および警告とを、リアルタイムに行う事ができる。また、車両周囲監視装置100は、撮影画像を、識別器の生成に用いられた基準画像の視点から見たときの画像に視点変換してから、障害物検出を行うので、視点の違いによる障害物画像の違いを吸収する事ができる。
【0086】
以上説明したように、本実施の形態に係る車両周囲監視装置100は、画像認識および基準画像との画像特徴量の一致度に基づく障害物検出を行う際に、基準画像の視点に対応する位置から見たときの見え方に近似した画像に撮影画像を変換してから、当該障害物検出を行う。これにより、車両周囲監視装置100は、車両によって車載カメラの取付位置および取付向きが異なる場合でも、同一の識別器を使って高精度に障害物検出を行う事ができる。すなわち、車両周囲監視装置100は、必要な基準画像の数および識別器の数をそれぞれ最小限に抑える事ができ、高精度の障害物検出を低コストで実現する事ができる。
【0087】
また、車両周囲監視装置100は、車載カメラパラメータに基づいて撮影画像を所定の空間モデルにマッピングし、基準カメラパラメータに基づいてマッピング画像を基準カメラから見たときの画像に変換する。これにより、簡易な処理で、近似的に、上述の視点変換を行う事ができる。
【0088】
また、車両周囲監視装置100は、マッピングを行う空間モデルとして、基準カメラの位置を曲率中心とする曲面を採用するので、精度の高い視点変換を行う事ができる。
【0089】
なお、以上説明した本実施の形態では、車載カメラのECUに表示装置および音声出力装置を含む各装置部が配置されているものとして説明したが、これらの装置部は、当該ECUの外部に配置されてもよい。この場合には、ECUに、外部のデバイスや装置と通信可能に接続するインタフェースを設ける必要がある。
【0090】
また、本実施の形態では、本発明を、Haar−Like特徴量を用いた障害物検出に適用する例について説明したが、これに限定されない。本発明は、例えば、オブジェクトの輪郭を構成するエッジの傾きに基づいた画像特徴量であるHOG(histogram of oriented gradient)特徴量を用いた障害物検出に適用しても、同様の効果が得られる。すなわち、本発明は、形状の一致性に基づいて判定を行う各種の障害物検出に適用する事ができる。
【0091】
また、車両周囲監視装置は、車両の周囲の障害物の立体モデルをリアルタイムに計測する事が可能であれば、必ずしも撮影映像を射影するための空間モデルを用いなくても良い。この場合、車両周囲監視装置は、例えば、ワールド座標系にその障害物の立体モデルを配置し、立体モデルの各点を、基準カメラの視平面に射影し、ワールド座標系から基準画像の画像座標系への変換を行えば良い。
【0092】
また、本実施の形態に係る車両周囲監視装置と識別器を生成する装置とを含むシステムでは、撮影画像を基準カメラの位置に合わせて視点変換するとしたが、逆に、基準画像を車載カメラの位置に合わせて視点変換しても良い。この場合には、画像認識の判定基準となる識別器を生成する画像認識データ生成装置は、オフラインで、撮影した基準画像に対して、複数の車両の車載カメラのそれぞれの位置に合わせる視点変換を施し、視点変換後の基準画像に基づいて、車両毎の識別器を生成する。そして、車両周囲監視装置は、ネットワークを介して画像認識データ生成装置にアクセスし、自己が取り付けられた車両に対応する識別器を取得すれば良い。そして、車両周囲監視装置は、撮影画像に対する画像変換処理を行う事なく、取得した識別器を用いて、障害物検出を行えば良い。このような構成によっても、車載カメラの位置毎に撮影を行う必要がなくなるので、システム全体の低コスト化、特に車両周囲監視装置の低コスト化を図る事ができる。
【0093】
なお、視点変換後の基準画像に基づく識別器の生成を、車両周囲監視装置側で行うようにしても良い。この場合、例えば、画像変換部は、基準画像を取得し、基準画像を、前記車載カメラの視点に対応する位置から見たときの見え方に近似した画像に変換する。そして、画像認識部は、視点変換されていない撮影画像に対して視点変換された基準画像に基づく画像認識を行い、障害物の検出を行う。
【産業上の利用可能性】
【0094】
本発明に係る車両周囲監視装置および車両周囲監視方法は、高精度の障害物検出を低コストで実現する事ができる車両周囲監視装置および車両周囲監視方法として有用である。
【符号の説明】
【0095】
100 車両周囲監視装置
110 画像入力部
120 画像認識データベース
130 カメラパラメータ格納部
140 画像変換部
150 画像認識部
160 警告部
【特許請求の範囲】
【請求項1】
車両の車載カメラによる撮影画像に対して画像認識を行い、前記撮影画像と別のカメラで障害物を撮影して得られた基準画像との間の形状の一致性に基づいて前記車両の周囲の障害物の検出を行う車両周囲監視装置であって、
前記撮影画像を、前記別のカメラの視点に対応する位置から見たときの見え方に近似した画像に変換する画像変換部と、
変換された前記撮影画像に対して前記基準画像に基づく画像認識を行い、前記障害物の検出を行う画像認識部と、を有する、
車両周囲監視装置。
【請求項2】
前記画像変換部は、
前記車載カメラの取付位置に関する車載カメラパラメータと、前記基準画像を撮影した基準カメラの取付位置に関する基準カメラパラメータとを取得し、前記車載カメラパラメータに基づいて、前記撮影画像を所定の空間モデルにマッピングし、前記基準カメラパラメータに基づいて、マッピングされた前記撮影画像を前記基準カメラに対応する位置から見たときの画像に変換する、
請求項1記載の車両周囲監視装置。
【請求項3】
前記所定の空間モデルは、前記障害物の位置を基準として配置された、前記基準カメラに対応する位置を曲率中心とする曲面である、
請求項2記載の車両周囲監視装置。
【請求項4】
前記曲面は、球形状の部分または円筒形状の部分である、
請求項3記載の車両周囲監視装置。
【請求項5】
前記曲面の前記曲率中心からの距離は、前記障害物の前記基準カメラに対応する位置からの距離に等しい、
請求項3記載の車両周囲監視装置。
【請求項6】
車両の車載カメラによる撮影画像に対して画像認識を行い、前記撮影画像と別のカメラで障害物を撮影して得られた基準画像との間の形状の一致性に基づいて前記車両の周囲の障害物の検出を行う車両周囲監視装置であって、
前記基準画像を、前記車載カメラの視点に対応する位置から見たときの見え方に近似した画像に変換する画像変換部と、
前記撮影画像に対して前記変換された基準画像に基づく画像認識を行い、前記障害物の検出を行う画像認識部と、を有する、
車両周囲監視装置。
【請求項7】
車両の車載カメラによる撮影画像に対して画像認識を行い、前記撮影画像と別のカメラで障害物を撮影して得られた基準画像との間の形状の一致性に基づいて前記車両の周囲の障害物の検出を行う車両周囲監視方法であって、
前記撮影画像を、前記別のカメラの視点に対応する位置から見たときの見え方に近似した画像に変換するステップと、
変換された前記撮影画像に対して前記基準画像に基づく画像認識を行い、前記障害物の検出を行うステップと、を有する、
車両周囲監視方法。
【請求項1】
車両の車載カメラによる撮影画像に対して画像認識を行い、前記撮影画像と別のカメラで障害物を撮影して得られた基準画像との間の形状の一致性に基づいて前記車両の周囲の障害物の検出を行う車両周囲監視装置であって、
前記撮影画像を、前記別のカメラの視点に対応する位置から見たときの見え方に近似した画像に変換する画像変換部と、
変換された前記撮影画像に対して前記基準画像に基づく画像認識を行い、前記障害物の検出を行う画像認識部と、を有する、
車両周囲監視装置。
【請求項2】
前記画像変換部は、
前記車載カメラの取付位置に関する車載カメラパラメータと、前記基準画像を撮影した基準カメラの取付位置に関する基準カメラパラメータとを取得し、前記車載カメラパラメータに基づいて、前記撮影画像を所定の空間モデルにマッピングし、前記基準カメラパラメータに基づいて、マッピングされた前記撮影画像を前記基準カメラに対応する位置から見たときの画像に変換する、
請求項1記載の車両周囲監視装置。
【請求項3】
前記所定の空間モデルは、前記障害物の位置を基準として配置された、前記基準カメラに対応する位置を曲率中心とする曲面である、
請求項2記載の車両周囲監視装置。
【請求項4】
前記曲面は、球形状の部分または円筒形状の部分である、
請求項3記載の車両周囲監視装置。
【請求項5】
前記曲面の前記曲率中心からの距離は、前記障害物の前記基準カメラに対応する位置からの距離に等しい、
請求項3記載の車両周囲監視装置。
【請求項6】
車両の車載カメラによる撮影画像に対して画像認識を行い、前記撮影画像と別のカメラで障害物を撮影して得られた基準画像との間の形状の一致性に基づいて前記車両の周囲の障害物の検出を行う車両周囲監視装置であって、
前記基準画像を、前記車載カメラの視点に対応する位置から見たときの見え方に近似した画像に変換する画像変換部と、
前記撮影画像に対して前記変換された基準画像に基づく画像認識を行い、前記障害物の検出を行う画像認識部と、を有する、
車両周囲監視装置。
【請求項7】
車両の車載カメラによる撮影画像に対して画像認識を行い、前記撮影画像と別のカメラで障害物を撮影して得られた基準画像との間の形状の一致性に基づいて前記車両の周囲の障害物の検出を行う車両周囲監視方法であって、
前記撮影画像を、前記別のカメラの視点に対応する位置から見たときの見え方に近似した画像に変換するステップと、
変換された前記撮影画像に対して前記基準画像に基づく画像認識を行い、前記障害物の検出を行うステップと、を有する、
車両周囲監視方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【公開番号】特開2011−210087(P2011−210087A)
【公開日】平成23年10月20日(2011.10.20)
【国際特許分類】
【出願番号】特願2010−78492(P2010−78492)
【出願日】平成22年3月30日(2010.3.30)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】
【公開日】平成23年10月20日(2011.10.20)
【国際特許分類】
【出願日】平成22年3月30日(2010.3.30)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】
[ Back to top ]