車両周辺監視用画像生成装置
【課題】魚眼レンズのような広角レンズを用いた撮影画像であっても、車両周辺監視に適したモニタ表示画像を作成することができる画像生成装置の提供。
【解決手段】広角レンズを装着した車載カメラ１によって取得された車両周辺の撮影画像を入力する画像入力部５１と、撮影画像の横方向に延びる歪み補正基線によって上下方向で区分けされた撮影画像領域に対して個別に、広角レンズの縦方向のレンズ歪みを補正する画素単位の歪み補正量の強度を設定する補正強度設定部５５と、補正強度設定部５５によって設定された歪み補正強度に基づいて撮影画像に対する歪み補正を実行する歪み補正実行部５４と、歪み補正実行部５４によって補正された撮影画像からモニタ表示画像を出力するモニタ表示画像出力部５８とが備えられている。
【解決手段】広角レンズを装着した車載カメラ１によって取得された車両周辺の撮影画像を入力する画像入力部５１と、撮影画像の横方向に延びる歪み補正基線によって上下方向で区分けされた撮影画像領域に対して個別に、広角レンズの縦方向のレンズ歪みを補正する画素単位の歪み補正量の強度を設定する補正強度設定部５５と、補正強度設定部５５によって設定された歪み補正強度に基づいて撮影画像に対する歪み補正を実行する歪み補正実行部５４と、歪み補正実行部５４によって補正された撮影画像からモニタ表示画像を出力するモニタ表示画像出力部５８とが備えられている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラによって撮影された車両周辺の撮影画像に所定の画像処理を施して車室内のモニタに表示するためのモニタ表示画像を生成する車両周辺監視用画像生成装置に関する。
【背景技術】
【０００２】
車両に搭載するカメラの位置や台数は制限されているが、その制限下においてできるだけ撮影死角をなくすために、一度に車両周辺のできるだけ広い範囲を捉えることができる、魚眼レンズを含む広角レンズが装着されている。しかしながら、魚眼レンズのような広角レンズを用いた撮影画像では被写体は円形に歪み、その歪みは周辺に近づくほど増していく。このようなレンズ歪みは、レンズ特性に合わせた補正パラメータに従った補正により解消することができるが、あまり強く歪み補正をかけると、せっかく写しこんだ周辺領域が見えなくなってしまうという不都合が生じる。
【０００３】
縦列駐車時や車庫入れ時などに要求される車両の周辺監視画像においては、実空間における車体の縁部とこの車体の縁部に平行な直線とが、可能な限りそのままの平行関係で表示されることが望まれる。このような要望に答えるべく、特許文献１では、車体の縁部を含む撮影画像に対して、実空間と同様の平行感となるような歪補正処理を施してモニタ表示する周辺監視装置が記載されている。具体的には、この周辺監視装置は、撮影画像に車体の縁部を含むように設置されたカメラによって撮影された撮影画像において車体の縁部に沿った第１軸と、この第１軸と直交する第２軸とを設定する座標軸設定部と、撮影画像に対して第１軸方向は略固定としつつ、前記第２軸方向をこの第２軸からの距離に依存した非線形的に増加する拡大率で拡大処理する歪補正処理部とを備え、この歪補正処理部により歪補正処理された撮影画像を表示装置に表示する。
【０００４】
しかしながら、この周辺監視装置における歪補正処理は、撮影画像を構成する横画素列をその縦方向位置に応じて異なる拡大率で引き延ばすだけの変形であるので、魚眼レンズなど超広角レンズのレンズ歪補正としては、不十分である。また、補正パラメータが縦方向位置によって一義的に決定される拡大率であり、この拡大率によって各横画素列が拡大されるだけなので所望の歪み補正ができない可能性がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９‐０１２６５２号公報（段落番号〔００１５−００３８〕、図２）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記実情から、魚眼レンズのような広角レンズを用いた撮影画像であっても、車両周辺監視に適したモニタ表示画像を作成することができる車両周辺監視用画像生成装置が要望されている。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明による車両周辺監視用画像生成装置は、広角レンズを装着した車載カメラによって取得された車両周辺の撮影画像を入力する画像入力部と、前記撮影画像の横方向に延びる歪み補正基線によって上下方向で区分けされた撮影画像領域に対して個別に、前記広角レンズの縦方向のレンズ歪みを補正する画素単位の歪み補正量の強度を設定する補正強度設定部と、前記補正強度設定部によって設定された歪み補正強度に基づいて前記撮影画像に対する歪み補正を実行する歪み補正実行部と、前記歪み補正実行部によって補正された撮影画像からモニタ表示画像を出力するモニタ表示画像出力部とを備えている。
【０００８】
この構成によると、補正対象となる撮影画像はまず、歪み補正基線を通じて上下方向で区分けされ撮影画像領域に対して、個別に、当該撮影画像に使用された広角レンズの縦方向のレンズ歪みを補正する補正量に対する強度が設定される。つまり、広角レンズのレンズ特性と撮影方向（カメラ取り付け姿勢によって決まる）とによりレンズ歪みを補正すべき補正量は算定できるが、この補正量をどの程度施すかをこの補正強度で決定される。したがって、上下方向で区分けされた撮影画像領域毎に異なる補正強度を設定することで、カメラに近い領域と遠い領域とで異なる強度の補正を行うことができる。これにより、モニタ表示画像を通じて運転者が特に確認したい被写体のカメラからの距離によって異なる適切な補正に対処することができる。なお、縦方向のレンズ歪みに対して歪み補正が行われるのは、これにより湾曲化された横方向の線が直線化されることから、運転者にとっては好ましい遠近感が確保されるからである。
【０００９】
歪み補正を画素単位で行うために、本発明の好適な実施形態の１つでは、前記歪み補正量と前記歪み補正強度によって決定される画素単位の歪み補正用マッピングデータから構成されるマッピングテーブルが前記補正強度設定部によって選定され、当該選定されたマッピングテーブルを用いて前記歪み補正が実行される。予めレンズ歪みの補正量とその補正量の適用度合いとしての撮影画像領域毎の補正強度とから補正後画像が決まる。従って、撮影画像である補正前画像とモニタ表示画像としての補正後画像の比較を行い、補正前画像の各画素が補正後画像におけるどの画素位置に来るかを予め算定しておき、歪み補正用マッピングデータを求めておく。この補正用マッピングデータをテーブル化したものがマッピングテーブルであり、このマッピングテーブルを用いることで、撮影画像の画素をモニタ表示画像の画素に転送することで、モニタ表示画像が生成される。撮影画像の画素と表示画像の画素が対応しない場合、つまり転送先にできた画素の隙間は補間演算で穴埋めするとよい。
【００１０】
個別にその補正強度が設定できる撮影画像の区分け数は多い方が、運転者にとってより見易いモニタ表示画像に適応させやすい。このため、本発明の好適な実施形態では、前記歪み補正基線が複数設定されるように構成されている。
【００１１】
車から離れた撮影画像領域に関しては、広角レンズの特徴であるできるだけ広範囲の撮影範囲をそのまま生かすことが好ましい。従って、本発明の好適な実施形態の１つでは、車両から遠い周辺領域を写している撮影画像領域ほど前記歪み補正強度が小さく設定される。その際、車両から遠い周辺領域を写している撮影画像領域に対して設定される前記歪み補正強度がゼロとして、歪み補正を行わないことも場合によっては効果的である。
【００１２】
比較的広い視野(画像)が要求される前方ビュー、車体近くでは歪みのない視野が要求されるサイドビュー、比較的正確は遠近感が要求される後方ビューといったように、車両の全周囲のうちでもその監視画面に要求される画像形態が異なっている。このためには、本発明の好適な実施形態の１つでは、前記撮影画像には、車両前方の周辺を写した前方撮影画像と、車両側方の周辺を写した側方撮影画像と、車両後方の周辺を写した後方撮影画像が含まれており、それぞれの撮影画像に対して個別に歪み補正基線の設定または歪み補正強度の設定あるいはその両方を設定することができるように構成するとよい。またこのような前方撮影画像、側方撮影画像、後方撮影画像を組み合わせて車両の全周囲をカバーするモニタ表示画像を生成して、モニタに表示することも本発明の枠内で可能である。
【図面の簡単な説明】
【００１３】
【図１】本発明による車両周辺監視用画像生成装置で採用された歪み補正の基本原理を説明する模式図である。
【図２】本発明による車両周辺監視装置を搭載した車両の運転電子系の一部を示す機能ブロック図である。
【図３】車両周辺監視装置を構成する画像処理モジュールの機能ブロック図である。
【図４】マッピングテーブルによる歪み補正の過程を図解した模式図である。
【発明を実施するための形態】
【００１４】
本発明の具体的な実施形態を説明する前に、本発明で採用されている広角レンズ（魚眼レンズを含む）歪みの補正処理の基本原理を図１の模式図を用いて説明する。図１では、説明を分かり易くするために、車載カメラによって写される被写体としての原風景を格子で示しており、白丸の格子点は撮影中心を示している。撮影画像は、この原風景を魚眼レンズに相当する広角レンズを装着したカメラによって取得されたもので、その歪みを分かり易くするために、原風景と撮影画像における対応する特定の位置(画素)を黒丸で示している。
【００１５】
撮影画像に対するレンズ歪み補正は、装着されている広角レンズの特性に合わせた補正パラメータに基づいて、その縦方向のレンズ歪みを解消（湾曲化された横方向の線を直線化する）するように撮影画像の画素を移動する。但し、レンズ歪みを完全に取り除くとせっかくの広角レンズの効果がなくなるので、その補正の度合い、つまり補正強度が設定される。ここでは、補正強度が「ゼロ」で補正されないものとし、補正強度「１」で完全補正、つまり広角レンズによって曲線となった直線を再び直線とする補正が施されるものとする。この発明では、そのような歪み補正の度合い、つまり補正強度が撮影画像の横方向に延びるように設定された歪み補正基線（以下単に補正基線と略称する）によって上下に区分けされた領域、例えば、図１の真ん中の例では第１撮影画像領域と第２撮影画像領域とで異なるように設定されている。一般的には、車両の近くでは物体との正確な距離感を把握するために補正強度を大きくし、直線は直線らしく示すようにし、例えばバンパはできるだけ実際の形状に近い直線で表示されるようにする。また、車両からはなれた領域では、個別の物体の正確な位置よりむしろ大きな視野が重要となるので、その補正強度はゼロに近いものとして、広角レンズの効果をできるだけ享受する。このため、通常の歪み補正では、第１撮影画像領域の補正強度は大きく設定され、第２撮影画像領域の補正強度が小さく設定される。但し、その逆なる歪み補正、第１撮影画像領域の補正強度は小さく設定され、第２撮影画像領域の補正強度が大きく設定される歪み補正が本発明から排除されているわけではない。
【００１６】
この歪み補正の補正強度が個別に設定される撮影画像領域は、１つの補正基線によって区分けされるものに限定されるわけではない。複数の補正基線を設定し、撮影画像を３つ以上の撮影画像領域に区分けし、それぞれに補正強度を設定してもよい。例えば、図１の下方の例では、２つの補正基線によって、撮影画像は、第１撮影画像領域と第２撮影画像領域と第３撮影画像領域とに区分けられ、そこに下から上にかけて小さくなっている補正強度が設定されている。従って、補正された撮影画像では、下方領域ではほとんど格子横線は直線化され、上方領域では、格子横線は曲線のままであり、広い撮影視野を維持している。
【００１７】
なお、この図１で例示された歪み補正では、撮影画像の縦方向のレンズ歪みに対する歪み補正が行われているが、本発明では、同時に、横方向のレンズ歪みに対する歪み補正、つまり湾曲した縦方向の線を直線化する補正をおこなうことを排除しているわけではない。
【００１８】
以下、本発明の具体的な実施形態を図面に基づいて説明する。図２は、本発明による車両周辺監視用画像生成装置を組み込んだ車両周辺監視装置の運転電子系の一部を示す機能ブロック図である。
この両周辺監視装置を搭載した車両には、４つの車載カメラ１、つまり、フロントカメラ１ａ、バックカメラ１ｄ、左サイドカメラ１ｂ、右サイドカメラ１ｃが装備されている。これらの車載カメラ１からの撮影画像から、前方ビュー画像、後方ビュー画像、サイドビュー画像、俯瞰画像、さらにはそれらを組み合わせたマルチビュー画像が作成される。以下の説明において、適宜、これらの車載カメラ１ａ、１ｂ、１ｃ、１ｄを単にカメラ１と総称する場合がある。車両周辺監視制御が動作する際には、カメラ１による撮影画像ないしは当該撮影画像を用いて生成される俯瞰画像がモニタ表示される。カメラ１は車両周辺を時系列に撮影して得られて撮影画像をデジタル変換してリアルタイムに出力するデジタルカメラである。カメラ１は、魚眼レンズに相当の広角レンズを装着している。
【００１９】
この車両電子系を構成する処理モジュール２３には、運転操作や車両走行の状態を検出する車両状態検出センサ群と接続されており、車両状態検出センサ群からの信号入力をそのまま、あるいは評価して出力する。車両状態検出センサ群には、図示していないが、ステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサ、シフトレバーのシフト位置を判別するシフト位置センサ、アクセルペダルの操作量を計測するアクセルセンサ、ブレーキペダルの操作量を検出するブレーキセンサ、自車の走行距離を検出する距離センサなどが含まれる。
【００２０】
車両周辺監視装置の中核をなす運転支援画像処理ユニット２０には、ハードウエア又はソフトウエアあるいはその両方の形態で構築される種々の機能部が含まれるが、本発明に特に関係する機能部としては、画像処理モジュール５０、操作入力処理部６０、通信インターフェース７０、表示制御部７１、音声処理モジュール７２などが備えられている。操作入力処理部６０は、タッチパネル２１Ｔやその他のスイッチ類を通じて運転者によって入力された操作指令に基づいて、運転支援画像処理ユニット２０内に構築された各機能部に制御指令を与える。通信インターフェース７０は車載ＬＡＮのための入出力インターフェースとして用いられており、処理モジュール２３、タッチパネル２１Ｔ、パワーステアリングユニットＰＳ、変速機構Ｔ、ブレーキ装置ＢＫなどの制御ユニットとデータ伝送可能に接続されている。その他、視覚情報の出力デバイスとしてモニタ２１、音声情報の出力デバイスとしてスピーカ２２も搭載されている。画像処理モジュール５０で生成されたモニタ表示画像は表示制御部７１でビデオ信号に変換されてモニタ２１に送られる。音声処理モジュール７２で生成された音声ガイドや緊急時の警告音などはスピーカ２２で鳴らされる。
【００２１】
図３に、運転支援画像処理ユニット２０の画像処理モジュール５０の機能ブロック図が示されている。画像処理モジュール５０は、自車周辺を撮影するカメラ１によって取得された撮影画像から各種のモニタ表示画像を生成する機能を有している。
【００２２】
画像処理モジュール５０は、撮影画像メモリ５１、前処理部５２、テンプレート画像出力部５３、表示画像生成部５４、マッピングテーブル設定部５５、マッピングテーブル５６、表示画像選択部５７、モニタ表示画像出力部５８、フレームメモリ５９を含んでいる。カメラ１によって取得された撮影画像は画像入力部としての撮影画像メモリ５１に展開され、前処理部５２はカメラ１によって個々に取得された撮影画像間の輝度バランスやカラーバランス等を調整する。
【００２３】
テンプレート画像出力部５３は、生成されたモニタ表示画像をモニタ２１に表示する際の表示レイアウトに合わせた画像フレームとしてテンプレート画像を出力する。例えば、周辺俯瞰画像をモニタ表示画像として生成する際の自車の位置を明示するために自車の俯瞰画像などがテンプレート画像に含まれる。自車の俯瞰画像は、写真でもよいし、イラストなどでもよい。また、テンプレート画像は、前方ビュー画面や後方ビュー画面など各種ビュー画面におけるマスクとしても利用される。
【００２４】
マッピングテーブル設定部５５は、表示画像生成部５４によって生成されるモニタ表示画像のためのマッピングデータを演算し、マッピングテーブル５６に設定する。この実施形態では、マッピングテーブル設定部５５は、撮影画像の横方向に延びる補正基線によって上下方向で区分けされた撮影画像領域に対して個別に、当該撮影画像を出力したカメラに装着された広角レンズの縦方向のレンズ歪みを補正する画素単位の歪み補正量の強度を設定する補正強度設定部としても機能する。つまり、マッピングテーブル５６に設定されるマッピングデータは、図１を用いて説明したレンズ歪みを補正す補正量を調整する補正強度を1つのパラメータとして演算されている。従って、このマッピングデータは、撮影画像からモニタ表示画像に変換する際に、歪み補正を考慮した上での当該撮影画像の画素とモニタ表示画像の画素との対応関係を表すデータである。また、このマッピングテーブル５６は、前方ビュー画面や後方ビュー画面など各種ビュー画面のためのモニタ表示画像に共通的に用いられるので、モニタ表示画像の画素位置に相当する位置アドレスに、処理対象となる撮影画像から取り出される対応画素の座標位置だけでなく当該撮影画像のカメラを識別する識別子も含まれている。
【００２５】
従って、マッピングテーブル５６は、モニタ２１に表示される全てのモニタ表示画像に対応するサイズを有するメモリから構成され、マッピングテーブル設定部５５によって書き込み、書き換えられるマッピングデータを記憶している。
【００２６】
表示画像生成部５４は、マッピングテーブル５６を用いて、モニタ２１に表示するための所定のモニタ表示画像を撮影画像メモリ５１に展開された撮影画像を変換元画像として生成する。その際、マッピングテーブル５６に設定されるマッピングデータは、撮影画像に対して上下方向で区分けされた撮影画像領域毎に設定された補正強度でレンズ歪みを補正することも考慮して作成されているので、このマッピングテーブル５６を用いた生成において同時に歪み補正も実行される。従って、この表示画像生成部５４は歪み補正実行部としても機能する。
【００２７】
表示画像選択部５７は、操作入力処理部６０を介して送られてくるマニュアル制御指令や図示されていない車両運転制御ユニットから送られてくる制御指令に基づいて、モニタ２１に表示する車両周辺監視画面を決定し、それに用いられるテンプレート画像の出力やモニタ表示画像の生成をテンプレート画像出力部５３や表示画像生成部５４に要求する。
【００２８】
次に歪み補正実行部としても機能する表示画像生成部５４による、マッピングテーブル５６を用いての歪み補正の過程が図４に図解されている。この図解された例では、表示ビュー画面の選択を指令する表示ビュー選択指令を通じて、前方撮影画像に基づくモニタ表示画像をモニタ２１に表示することが表示画像選択部５７に要求される。同時に、デフォルトで設定されているかあるいはマニュアルで設定された前方撮影画像のための歪み補正種別を指定する補正コードも表示画像選択部５７に与えられる。この歪み補正種別は、補正基線によって区分けされる撮影画像領域と、その撮影画像領域に対して個別に設定された補正強度によって規定されている。具体的な一例としては、複数段階の補正強度に基づいて撮影画像の種類（カメラ１の種類）毎に予めマッピングデータ群を作成し格納しておく。さらに、そこから、利用する撮影画像の種類（前方撮影画像）に適合するとともに撮影画像領域毎に設定されている補正強度に適合するマッピングデータ群を抽出し、このマッピングデータ群を区分けされた撮影画像領域に適用するように組み合わせてマッピングテーブル５６に設定する。これにより、マッピングテーブル５６は、所定の歪み補正を実行するために用いられるマッピングデータ群で設定された前方ビュー用マッピングテーブルとなる。つまり、前方撮影画像を歪み補正しながらモニタ表示画像に画像変換するこの前方ビュー用マッピングテーブルの各要素に設定される各マッピングデータは、目標とするモニタ表示画像の各画素が前方撮影画像のどの画素を転送させるかを規定しているが、場合によっては複数の画素の補間値を規定することも可能である。
【００２９】
モニタ表示画像出力部５８は、テンプレート画像出力部５３から出力されたテンプレート画像、つまり画像枠に表示画像生成部５４によって生成されたモニタ表示画像等をはめ込む合成処理を行い、最終的なモニタ表示画像を生成して、フレームメモリ５９に転送する。フレームメモリ５９に転送されたモニタ表示画像は、表示制御部７１によって、モニタ２１に表示される。
【００３０】
〔別実施の形態〕
（１）上述した実施形態では、表示画像生成部５４が歪み補正実行部としても機能していたが、歪み補正実行部を表示画像生成部５４から独立させて構成してもよい。そのような歪み補正実行部は、歪み補正のためだけのマッピングデータをマッピングテーブル５６に設定し、当該マッピングテーブル５６を用いて、撮影画像メモリ５１に展開している撮影画像に対して歪み補正を行う。補正された撮影画像は表示画像生成部５４によってモニタ表示画像の生成のための元画像として用いられる。
（２）補正基線や補正強度は予め所定のものを設定しておいてユーザが選択できるようにしてもよいし、ユーザが任意に設定できるようにしてもよい。
（３）本発明には、特定の１つのカメラからの撮影画像を変換元画像として歪み補正をしながらモニタ表示画像を生成する画像変換だけでなく、複数のカメラからの撮影画像を変換元画像として用いて、上方視点からの全周囲俯瞰画像を生成することも含まれている。また、フロントカメラ、バックカメラ、左・右サイドカメラからの撮影画像を元画像とする俯瞰画像、及びフロントカメラからの撮影画像を元画像とする前方ビュー画像を組み合わせたようなモニタ表示画像を、同様なマッピングテーブル５６を用いて生成することも可能である。
（４）上述した実施形態では、特に画像処理モジュール５０に構築されているテンプレート画像出力部５３、表示画像生成部５４、マッピングテーブル設定部５５、表示画像選択部５８、モニタ表示画像出力部５８などは、説明を分かり易くするためにそれらが果たす機能がブロック化されているが、このブロック化の形態は任意に変更することができる。例えば、テンプレート画像出力部５とモニタ表示画像出力部５８とを一体化してもよいし、テンプレート画像もマッピングテーブルを用いて生成するようにしてもよい。さらには、マッピングテーブル設定部５５と表示画像選択部５８を一体化してもよい
【産業上の利用可能性】
【００３１】
本発明は、撮影画像に基づくモニタ表示画像を用いて車両周辺の監視を行う全ての技術に利用することができる。
【符号の説明】
【００３２】
１：カメラ
２１：モニタ
５０：画像処理モジュール
５１：撮影画像メモリ（画像入力部）
５３：テンプレート画像出力部
５４：表示画像生成部（歪み補正実行部）
５５：マッピングテーブル設定部（補正強度設定部）
５６：マッピングテーブル
５７：表示画像選択部
５８：モニタ表示画像出力部
５９：フレームメモリ
６０：操作入力処理部
７１： 表示制御部
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラによって撮影された車両周辺の撮影画像に所定の画像処理を施して車室内のモニタに表示するためのモニタ表示画像を生成する車両周辺監視用画像生成装置に関する。
【背景技術】
【０００２】
車両に搭載するカメラの位置や台数は制限されているが、その制限下においてできるだけ撮影死角をなくすために、一度に車両周辺のできるだけ広い範囲を捉えることができる、魚眼レンズを含む広角レンズが装着されている。しかしながら、魚眼レンズのような広角レンズを用いた撮影画像では被写体は円形に歪み、その歪みは周辺に近づくほど増していく。このようなレンズ歪みは、レンズ特性に合わせた補正パラメータに従った補正により解消することができるが、あまり強く歪み補正をかけると、せっかく写しこんだ周辺領域が見えなくなってしまうという不都合が生じる。
【０００３】
縦列駐車時や車庫入れ時などに要求される車両の周辺監視画像においては、実空間における車体の縁部とこの車体の縁部に平行な直線とが、可能な限りそのままの平行関係で表示されることが望まれる。このような要望に答えるべく、特許文献１では、車体の縁部を含む撮影画像に対して、実空間と同様の平行感となるような歪補正処理を施してモニタ表示する周辺監視装置が記載されている。具体的には、この周辺監視装置は、撮影画像に車体の縁部を含むように設置されたカメラによって撮影された撮影画像において車体の縁部に沿った第１軸と、この第１軸と直交する第２軸とを設定する座標軸設定部と、撮影画像に対して第１軸方向は略固定としつつ、前記第２軸方向をこの第２軸からの距離に依存した非線形的に増加する拡大率で拡大処理する歪補正処理部とを備え、この歪補正処理部により歪補正処理された撮影画像を表示装置に表示する。
【０００４】
しかしながら、この周辺監視装置における歪補正処理は、撮影画像を構成する横画素列をその縦方向位置に応じて異なる拡大率で引き延ばすだけの変形であるので、魚眼レンズなど超広角レンズのレンズ歪補正としては、不十分である。また、補正パラメータが縦方向位置によって一義的に決定される拡大率であり、この拡大率によって各横画素列が拡大されるだけなので所望の歪み補正ができない可能性がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９‐０１２６５２号公報（段落番号〔００１５−００３８〕、図２）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記実情から、魚眼レンズのような広角レンズを用いた撮影画像であっても、車両周辺監視に適したモニタ表示画像を作成することができる車両周辺監視用画像生成装置が要望されている。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明による車両周辺監視用画像生成装置は、広角レンズを装着した車載カメラによって取得された車両周辺の撮影画像を入力する画像入力部と、前記撮影画像の横方向に延びる歪み補正基線によって上下方向で区分けされた撮影画像領域に対して個別に、前記広角レンズの縦方向のレンズ歪みを補正する画素単位の歪み補正量の強度を設定する補正強度設定部と、前記補正強度設定部によって設定された歪み補正強度に基づいて前記撮影画像に対する歪み補正を実行する歪み補正実行部と、前記歪み補正実行部によって補正された撮影画像からモニタ表示画像を出力するモニタ表示画像出力部とを備えている。
【０００８】
この構成によると、補正対象となる撮影画像はまず、歪み補正基線を通じて上下方向で区分けされ撮影画像領域に対して、個別に、当該撮影画像に使用された広角レンズの縦方向のレンズ歪みを補正する補正量に対する強度が設定される。つまり、広角レンズのレンズ特性と撮影方向（カメラ取り付け姿勢によって決まる）とによりレンズ歪みを補正すべき補正量は算定できるが、この補正量をどの程度施すかをこの補正強度で決定される。したがって、上下方向で区分けされた撮影画像領域毎に異なる補正強度を設定することで、カメラに近い領域と遠い領域とで異なる強度の補正を行うことができる。これにより、モニタ表示画像を通じて運転者が特に確認したい被写体のカメラからの距離によって異なる適切な補正に対処することができる。なお、縦方向のレンズ歪みに対して歪み補正が行われるのは、これにより湾曲化された横方向の線が直線化されることから、運転者にとっては好ましい遠近感が確保されるからである。
【０００９】
歪み補正を画素単位で行うために、本発明の好適な実施形態の１つでは、前記歪み補正量と前記歪み補正強度によって決定される画素単位の歪み補正用マッピングデータから構成されるマッピングテーブルが前記補正強度設定部によって選定され、当該選定されたマッピングテーブルを用いて前記歪み補正が実行される。予めレンズ歪みの補正量とその補正量の適用度合いとしての撮影画像領域毎の補正強度とから補正後画像が決まる。従って、撮影画像である補正前画像とモニタ表示画像としての補正後画像の比較を行い、補正前画像の各画素が補正後画像におけるどの画素位置に来るかを予め算定しておき、歪み補正用マッピングデータを求めておく。この補正用マッピングデータをテーブル化したものがマッピングテーブルであり、このマッピングテーブルを用いることで、撮影画像の画素をモニタ表示画像の画素に転送することで、モニタ表示画像が生成される。撮影画像の画素と表示画像の画素が対応しない場合、つまり転送先にできた画素の隙間は補間演算で穴埋めするとよい。
【００１０】
個別にその補正強度が設定できる撮影画像の区分け数は多い方が、運転者にとってより見易いモニタ表示画像に適応させやすい。このため、本発明の好適な実施形態では、前記歪み補正基線が複数設定されるように構成されている。
【００１１】
車から離れた撮影画像領域に関しては、広角レンズの特徴であるできるだけ広範囲の撮影範囲をそのまま生かすことが好ましい。従って、本発明の好適な実施形態の１つでは、車両から遠い周辺領域を写している撮影画像領域ほど前記歪み補正強度が小さく設定される。その際、車両から遠い周辺領域を写している撮影画像領域に対して設定される前記歪み補正強度がゼロとして、歪み補正を行わないことも場合によっては効果的である。
【００１２】
比較的広い視野(画像)が要求される前方ビュー、車体近くでは歪みのない視野が要求されるサイドビュー、比較的正確は遠近感が要求される後方ビューといったように、車両の全周囲のうちでもその監視画面に要求される画像形態が異なっている。このためには、本発明の好適な実施形態の１つでは、前記撮影画像には、車両前方の周辺を写した前方撮影画像と、車両側方の周辺を写した側方撮影画像と、車両後方の周辺を写した後方撮影画像が含まれており、それぞれの撮影画像に対して個別に歪み補正基線の設定または歪み補正強度の設定あるいはその両方を設定することができるように構成するとよい。またこのような前方撮影画像、側方撮影画像、後方撮影画像を組み合わせて車両の全周囲をカバーするモニタ表示画像を生成して、モニタに表示することも本発明の枠内で可能である。
【図面の簡単な説明】
【００１３】
【図１】本発明による車両周辺監視用画像生成装置で採用された歪み補正の基本原理を説明する模式図である。
【図２】本発明による車両周辺監視装置を搭載した車両の運転電子系の一部を示す機能ブロック図である。
【図３】車両周辺監視装置を構成する画像処理モジュールの機能ブロック図である。
【図４】マッピングテーブルによる歪み補正の過程を図解した模式図である。
【発明を実施するための形態】
【００１４】
本発明の具体的な実施形態を説明する前に、本発明で採用されている広角レンズ（魚眼レンズを含む）歪みの補正処理の基本原理を図１の模式図を用いて説明する。図１では、説明を分かり易くするために、車載カメラによって写される被写体としての原風景を格子で示しており、白丸の格子点は撮影中心を示している。撮影画像は、この原風景を魚眼レンズに相当する広角レンズを装着したカメラによって取得されたもので、その歪みを分かり易くするために、原風景と撮影画像における対応する特定の位置(画素)を黒丸で示している。
【００１５】
撮影画像に対するレンズ歪み補正は、装着されている広角レンズの特性に合わせた補正パラメータに基づいて、その縦方向のレンズ歪みを解消（湾曲化された横方向の線を直線化する）するように撮影画像の画素を移動する。但し、レンズ歪みを完全に取り除くとせっかくの広角レンズの効果がなくなるので、その補正の度合い、つまり補正強度が設定される。ここでは、補正強度が「ゼロ」で補正されないものとし、補正強度「１」で完全補正、つまり広角レンズによって曲線となった直線を再び直線とする補正が施されるものとする。この発明では、そのような歪み補正の度合い、つまり補正強度が撮影画像の横方向に延びるように設定された歪み補正基線（以下単に補正基線と略称する）によって上下に区分けされた領域、例えば、図１の真ん中の例では第１撮影画像領域と第２撮影画像領域とで異なるように設定されている。一般的には、車両の近くでは物体との正確な距離感を把握するために補正強度を大きくし、直線は直線らしく示すようにし、例えばバンパはできるだけ実際の形状に近い直線で表示されるようにする。また、車両からはなれた領域では、個別の物体の正確な位置よりむしろ大きな視野が重要となるので、その補正強度はゼロに近いものとして、広角レンズの効果をできるだけ享受する。このため、通常の歪み補正では、第１撮影画像領域の補正強度は大きく設定され、第２撮影画像領域の補正強度が小さく設定される。但し、その逆なる歪み補正、第１撮影画像領域の補正強度は小さく設定され、第２撮影画像領域の補正強度が大きく設定される歪み補正が本発明から排除されているわけではない。
【００１６】
この歪み補正の補正強度が個別に設定される撮影画像領域は、１つの補正基線によって区分けされるものに限定されるわけではない。複数の補正基線を設定し、撮影画像を３つ以上の撮影画像領域に区分けし、それぞれに補正強度を設定してもよい。例えば、図１の下方の例では、２つの補正基線によって、撮影画像は、第１撮影画像領域と第２撮影画像領域と第３撮影画像領域とに区分けられ、そこに下から上にかけて小さくなっている補正強度が設定されている。従って、補正された撮影画像では、下方領域ではほとんど格子横線は直線化され、上方領域では、格子横線は曲線のままであり、広い撮影視野を維持している。
【００１７】
なお、この図１で例示された歪み補正では、撮影画像の縦方向のレンズ歪みに対する歪み補正が行われているが、本発明では、同時に、横方向のレンズ歪みに対する歪み補正、つまり湾曲した縦方向の線を直線化する補正をおこなうことを排除しているわけではない。
【００１８】
以下、本発明の具体的な実施形態を図面に基づいて説明する。図２は、本発明による車両周辺監視用画像生成装置を組み込んだ車両周辺監視装置の運転電子系の一部を示す機能ブロック図である。
この両周辺監視装置を搭載した車両には、４つの車載カメラ１、つまり、フロントカメラ１ａ、バックカメラ１ｄ、左サイドカメラ１ｂ、右サイドカメラ１ｃが装備されている。これらの車載カメラ１からの撮影画像から、前方ビュー画像、後方ビュー画像、サイドビュー画像、俯瞰画像、さらにはそれらを組み合わせたマルチビュー画像が作成される。以下の説明において、適宜、これらの車載カメラ１ａ、１ｂ、１ｃ、１ｄを単にカメラ１と総称する場合がある。車両周辺監視制御が動作する際には、カメラ１による撮影画像ないしは当該撮影画像を用いて生成される俯瞰画像がモニタ表示される。カメラ１は車両周辺を時系列に撮影して得られて撮影画像をデジタル変換してリアルタイムに出力するデジタルカメラである。カメラ１は、魚眼レンズに相当の広角レンズを装着している。
【００１９】
この車両電子系を構成する処理モジュール２３には、運転操作や車両走行の状態を検出する車両状態検出センサ群と接続されており、車両状態検出センサ群からの信号入力をそのまま、あるいは評価して出力する。車両状態検出センサ群には、図示していないが、ステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサ、シフトレバーのシフト位置を判別するシフト位置センサ、アクセルペダルの操作量を計測するアクセルセンサ、ブレーキペダルの操作量を検出するブレーキセンサ、自車の走行距離を検出する距離センサなどが含まれる。
【００２０】
車両周辺監視装置の中核をなす運転支援画像処理ユニット２０には、ハードウエア又はソフトウエアあるいはその両方の形態で構築される種々の機能部が含まれるが、本発明に特に関係する機能部としては、画像処理モジュール５０、操作入力処理部６０、通信インターフェース７０、表示制御部７１、音声処理モジュール７２などが備えられている。操作入力処理部６０は、タッチパネル２１Ｔやその他のスイッチ類を通じて運転者によって入力された操作指令に基づいて、運転支援画像処理ユニット２０内に構築された各機能部に制御指令を与える。通信インターフェース７０は車載ＬＡＮのための入出力インターフェースとして用いられており、処理モジュール２３、タッチパネル２１Ｔ、パワーステアリングユニットＰＳ、変速機構Ｔ、ブレーキ装置ＢＫなどの制御ユニットとデータ伝送可能に接続されている。その他、視覚情報の出力デバイスとしてモニタ２１、音声情報の出力デバイスとしてスピーカ２２も搭載されている。画像処理モジュール５０で生成されたモニタ表示画像は表示制御部７１でビデオ信号に変換されてモニタ２１に送られる。音声処理モジュール７２で生成された音声ガイドや緊急時の警告音などはスピーカ２２で鳴らされる。
【００２１】
図３に、運転支援画像処理ユニット２０の画像処理モジュール５０の機能ブロック図が示されている。画像処理モジュール５０は、自車周辺を撮影するカメラ１によって取得された撮影画像から各種のモニタ表示画像を生成する機能を有している。
【００２２】
画像処理モジュール５０は、撮影画像メモリ５１、前処理部５２、テンプレート画像出力部５３、表示画像生成部５４、マッピングテーブル設定部５５、マッピングテーブル５６、表示画像選択部５７、モニタ表示画像出力部５８、フレームメモリ５９を含んでいる。カメラ１によって取得された撮影画像は画像入力部としての撮影画像メモリ５１に展開され、前処理部５２はカメラ１によって個々に取得された撮影画像間の輝度バランスやカラーバランス等を調整する。
【００２３】
テンプレート画像出力部５３は、生成されたモニタ表示画像をモニタ２１に表示する際の表示レイアウトに合わせた画像フレームとしてテンプレート画像を出力する。例えば、周辺俯瞰画像をモニタ表示画像として生成する際の自車の位置を明示するために自車の俯瞰画像などがテンプレート画像に含まれる。自車の俯瞰画像は、写真でもよいし、イラストなどでもよい。また、テンプレート画像は、前方ビュー画面や後方ビュー画面など各種ビュー画面におけるマスクとしても利用される。
【００２４】
マッピングテーブル設定部５５は、表示画像生成部５４によって生成されるモニタ表示画像のためのマッピングデータを演算し、マッピングテーブル５６に設定する。この実施形態では、マッピングテーブル設定部５５は、撮影画像の横方向に延びる補正基線によって上下方向で区分けされた撮影画像領域に対して個別に、当該撮影画像を出力したカメラに装着された広角レンズの縦方向のレンズ歪みを補正する画素単位の歪み補正量の強度を設定する補正強度設定部としても機能する。つまり、マッピングテーブル５６に設定されるマッピングデータは、図１を用いて説明したレンズ歪みを補正す補正量を調整する補正強度を1つのパラメータとして演算されている。従って、このマッピングデータは、撮影画像からモニタ表示画像に変換する際に、歪み補正を考慮した上での当該撮影画像の画素とモニタ表示画像の画素との対応関係を表すデータである。また、このマッピングテーブル５６は、前方ビュー画面や後方ビュー画面など各種ビュー画面のためのモニタ表示画像に共通的に用いられるので、モニタ表示画像の画素位置に相当する位置アドレスに、処理対象となる撮影画像から取り出される対応画素の座標位置だけでなく当該撮影画像のカメラを識別する識別子も含まれている。
【００２５】
従って、マッピングテーブル５６は、モニタ２１に表示される全てのモニタ表示画像に対応するサイズを有するメモリから構成され、マッピングテーブル設定部５５によって書き込み、書き換えられるマッピングデータを記憶している。
【００２６】
表示画像生成部５４は、マッピングテーブル５６を用いて、モニタ２１に表示するための所定のモニタ表示画像を撮影画像メモリ５１に展開された撮影画像を変換元画像として生成する。その際、マッピングテーブル５６に設定されるマッピングデータは、撮影画像に対して上下方向で区分けされた撮影画像領域毎に設定された補正強度でレンズ歪みを補正することも考慮して作成されているので、このマッピングテーブル５６を用いた生成において同時に歪み補正も実行される。従って、この表示画像生成部５４は歪み補正実行部としても機能する。
【００２７】
表示画像選択部５７は、操作入力処理部６０を介して送られてくるマニュアル制御指令や図示されていない車両運転制御ユニットから送られてくる制御指令に基づいて、モニタ２１に表示する車両周辺監視画面を決定し、それに用いられるテンプレート画像の出力やモニタ表示画像の生成をテンプレート画像出力部５３や表示画像生成部５４に要求する。
【００２８】
次に歪み補正実行部としても機能する表示画像生成部５４による、マッピングテーブル５６を用いての歪み補正の過程が図４に図解されている。この図解された例では、表示ビュー画面の選択を指令する表示ビュー選択指令を通じて、前方撮影画像に基づくモニタ表示画像をモニタ２１に表示することが表示画像選択部５７に要求される。同時に、デフォルトで設定されているかあるいはマニュアルで設定された前方撮影画像のための歪み補正種別を指定する補正コードも表示画像選択部５７に与えられる。この歪み補正種別は、補正基線によって区分けされる撮影画像領域と、その撮影画像領域に対して個別に設定された補正強度によって規定されている。具体的な一例としては、複数段階の補正強度に基づいて撮影画像の種類（カメラ１の種類）毎に予めマッピングデータ群を作成し格納しておく。さらに、そこから、利用する撮影画像の種類（前方撮影画像）に適合するとともに撮影画像領域毎に設定されている補正強度に適合するマッピングデータ群を抽出し、このマッピングデータ群を区分けされた撮影画像領域に適用するように組み合わせてマッピングテーブル５６に設定する。これにより、マッピングテーブル５６は、所定の歪み補正を実行するために用いられるマッピングデータ群で設定された前方ビュー用マッピングテーブルとなる。つまり、前方撮影画像を歪み補正しながらモニタ表示画像に画像変換するこの前方ビュー用マッピングテーブルの各要素に設定される各マッピングデータは、目標とするモニタ表示画像の各画素が前方撮影画像のどの画素を転送させるかを規定しているが、場合によっては複数の画素の補間値を規定することも可能である。
【００２９】
モニタ表示画像出力部５８は、テンプレート画像出力部５３から出力されたテンプレート画像、つまり画像枠に表示画像生成部５４によって生成されたモニタ表示画像等をはめ込む合成処理を行い、最終的なモニタ表示画像を生成して、フレームメモリ５９に転送する。フレームメモリ５９に転送されたモニタ表示画像は、表示制御部７１によって、モニタ２１に表示される。
【００３０】
〔別実施の形態〕
（１）上述した実施形態では、表示画像生成部５４が歪み補正実行部としても機能していたが、歪み補正実行部を表示画像生成部５４から独立させて構成してもよい。そのような歪み補正実行部は、歪み補正のためだけのマッピングデータをマッピングテーブル５６に設定し、当該マッピングテーブル５６を用いて、撮影画像メモリ５１に展開している撮影画像に対して歪み補正を行う。補正された撮影画像は表示画像生成部５４によってモニタ表示画像の生成のための元画像として用いられる。
（２）補正基線や補正強度は予め所定のものを設定しておいてユーザが選択できるようにしてもよいし、ユーザが任意に設定できるようにしてもよい。
（３）本発明には、特定の１つのカメラからの撮影画像を変換元画像として歪み補正をしながらモニタ表示画像を生成する画像変換だけでなく、複数のカメラからの撮影画像を変換元画像として用いて、上方視点からの全周囲俯瞰画像を生成することも含まれている。また、フロントカメラ、バックカメラ、左・右サイドカメラからの撮影画像を元画像とする俯瞰画像、及びフロントカメラからの撮影画像を元画像とする前方ビュー画像を組み合わせたようなモニタ表示画像を、同様なマッピングテーブル５６を用いて生成することも可能である。
（４）上述した実施形態では、特に画像処理モジュール５０に構築されているテンプレート画像出力部５３、表示画像生成部５４、マッピングテーブル設定部５５、表示画像選択部５８、モニタ表示画像出力部５８などは、説明を分かり易くするためにそれらが果たす機能がブロック化されているが、このブロック化の形態は任意に変更することができる。例えば、テンプレート画像出力部５とモニタ表示画像出力部５８とを一体化してもよいし、テンプレート画像もマッピングテーブルを用いて生成するようにしてもよい。さらには、マッピングテーブル設定部５５と表示画像選択部５８を一体化してもよい
【産業上の利用可能性】
【００３１】
本発明は、撮影画像に基づくモニタ表示画像を用いて車両周辺の監視を行う全ての技術に利用することができる。
【符号の説明】
【００３２】
１：カメラ
２１：モニタ
５０：画像処理モジュール
５１：撮影画像メモリ（画像入力部）
５３：テンプレート画像出力部
５４：表示画像生成部（歪み補正実行部）
５５：マッピングテーブル設定部（補正強度設定部）
５６：マッピングテーブル
５７：表示画像選択部
５８：モニタ表示画像出力部
５９：フレームメモリ
６０：操作入力処理部
７１： 表示制御部
【特許請求の範囲】
【請求項１】
広角レンズを装着した車載カメラによって取得された車両周辺の撮影画像を入力する画像入力部と、
前記撮影画像の横方向に延びる歪み補正基線によって上下方向で区分けされた撮影画像領域に対して個別に、前記広角レンズの縦方向のレンズ歪みを補正する画素単位の歪み補正量の強度を設定する補正強度設定部と、
前記補正強度設定部によって設定された歪み補正強度に基づいて前記撮影画像に対する歪み補正を実行する歪み補正実行部と、
前記歪み補正実行部によって補正された撮影画像からモニタ表示画像を出力するモニタ表示画像出力部と、
を備えた車両周辺監視用画像生成装置。
【請求項２】
前記歪み補正量と前記歪み補正強度によって決定される画素単位の歪み補正用マッピングデータから構成されるマッピングテーブルが前記補正強度設定部によって選定され、当該選定されたマッピングテーブルを用いて前記歪み補正が実行される請求項１に記載の車両周辺監視用画像生成装置。
【請求項３】
前記歪み補正基線が複数設定される請求項１または２に記載の車両周辺監視用画像生成装置。
【請求項４】
車両から遠い周辺領域を写している撮影画像領域ほど前記歪み補正強度が小さく設定される請求項１から３のいずれか一項に記載の車両周辺監視用画像生成装置。
【請求項５】
車両から遠い周辺領域を写している撮影画像領域に対して設定される前記歪み補正強度が歪み補正なしの値に設定される請求項１から４のいずれか一項に記載の車両周辺監視用画像生成装置。
【請求項６】
前記撮影画像には、車両前方の周辺を写した前方撮影画像と、車両側方の周辺を写した側方撮影画像と、車両後方の周辺を写した後方撮影画像が含まれており、それぞれの撮影画像に対して個別に歪み補正基線の設定または歪み補正強度の設定あるいはその両方の設定がなされる請求項１から５のいずれか一項に記載の車両周辺監視用画像生成装置。
【請求項１】
広角レンズを装着した車載カメラによって取得された車両周辺の撮影画像を入力する画像入力部と、
前記撮影画像の横方向に延びる歪み補正基線によって上下方向で区分けされた撮影画像領域に対して個別に、前記広角レンズの縦方向のレンズ歪みを補正する画素単位の歪み補正量の強度を設定する補正強度設定部と、
前記補正強度設定部によって設定された歪み補正強度に基づいて前記撮影画像に対する歪み補正を実行する歪み補正実行部と、
前記歪み補正実行部によって補正された撮影画像からモニタ表示画像を出力するモニタ表示画像出力部と、
を備えた車両周辺監視用画像生成装置。
【請求項２】
前記歪み補正量と前記歪み補正強度によって決定される画素単位の歪み補正用マッピングデータから構成されるマッピングテーブルが前記補正強度設定部によって選定され、当該選定されたマッピングテーブルを用いて前記歪み補正が実行される請求項１に記載の車両周辺監視用画像生成装置。
【請求項３】
前記歪み補正基線が複数設定される請求項１または２に記載の車両周辺監視用画像生成装置。
【請求項４】
車両から遠い周辺領域を写している撮影画像領域ほど前記歪み補正強度が小さく設定される請求項１から３のいずれか一項に記載の車両周辺監視用画像生成装置。
【請求項５】
車両から遠い周辺領域を写している撮影画像領域に対して設定される前記歪み補正強度が歪み補正なしの値に設定される請求項１から４のいずれか一項に記載の車両周辺監視用画像生成装置。
【請求項６】
前記撮影画像には、車両前方の周辺を写した前方撮影画像と、車両側方の周辺を写した側方撮影画像と、車両後方の周辺を写した後方撮影画像が含まれており、それぞれの撮影画像に対して個別に歪み補正基線の設定または歪み補正強度の設定あるいはその両方の設定がなされる請求項１から５のいずれか一項に記載の車両周辺監視用画像生成装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１３−１１０７１２（Ｐ２０１３−１１０７１２Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５６５３０（Ｐ２０１１−２５６５３０）
【出願日】平成２３年１１月２４日（２０１１．１１．２４）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月２４日（２０１１．１１．２４）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
[ Back to top ]