画像表示装置及びそのカメラ取り付け角度算出方法
【目的】カメラの取り付け角度を少ない処理量で算出でき、かつ、精度の高いカメラ取り付け角度の測定を可能にする「画像表示装置及びそのカメラ取り付け角度算出方法」を提供することである。
【構成】車両周辺画像を複数のカメラで取り込み、各カメラで撮影した画像に所定の画像処理を施して合成することにより車両上方の視点から眺めた合成画像を表示する画像表示装置においてカメラ取り付け角度を算出する際、合成画像における各カメラの撮影画像領域IMA〜IMDに基づいて、各カメラの取り付け角度算出に際して画像処理する矩形領域 (左カメラの場合は矩形領域ABCD)を非マスク領域としてそれぞれ決定し、車両周辺にキャリブレーションパターンCBPTを配置し、該キャリブレーションパターンを所定のカメラで撮影し、該カメラの撮影画像のうち非マスク領域内のキャリブレーションパターンを用いてカメラ取り付け角度を算出する。
【構成】車両周辺画像を複数のカメラで取り込み、各カメラで撮影した画像に所定の画像処理を施して合成することにより車両上方の視点から眺めた合成画像を表示する画像表示装置においてカメラ取り付け角度を算出する際、合成画像における各カメラの撮影画像領域IMA〜IMDに基づいて、各カメラの取り付け角度算出に際して画像処理する矩形領域 (左カメラの場合は矩形領域ABCD)を非マスク領域としてそれぞれ決定し、車両周辺にキャリブレーションパターンCBPTを配置し、該キャリブレーションパターンを所定のカメラで撮影し、該カメラの撮影画像のうち非マスク領域内のキャリブレーションパターンを用いてカメラ取り付け角度を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像表示装置及びそのカメラ取り付け角度算出方法に関わり、特に、車両周辺画像を複数のカメラで取り込み、各カメラで撮影した画像に所定の画像処理を施して合成することにより車両上方の視点から眺めた合成画像を表示する画像表示装置及びそのカメラ取り付け角度算出方法に関する。
【背景技術】
【０００２】
車庫入れや駐車等に際して運転手を支援するため支援システムが研究され、実用化されている。かかる支援システムとして車両周辺画像を複数のカメラで取り込み、各カメラで撮影した画像を合成して車両上方の視点から眺めた合成画像(トップビュー画像)をフレームメモリに描画し、該フレームメモリより画像データを読み出してモニターに表示するトップビューシステムが知られている(特許文献1参照)。
このトップビューシステムは、図１８（A），（B)に示すように、車両周囲を撮影する複数の魚眼カメラ１a〜１dを車両２のフロント、両サイド、リアに装着し、画像合成処理部３が各カメラ１a〜１dから取り込んだ画像を用いて、図１８（C）に示す車両上方所定の位置（仮想視点）４から車両の方向を眺めた風景の合成画像を作成してモニター５に表示し、これにより駐車、車庫入れなどを支援する。
画像合成処理部３は合成に際して、マッピングテーブルを用いて各カメラで撮影した画像部分をフレームメモリにマッピングして表示する。図１９は各魚眼カメラ１a〜１dで撮影した魚眼図形IMa〜IMdを画面対応のフレームメモリ６にマッピングする場合の説明図である。魚眼図形IMa〜IMdはフレームメモリ６の対応する領域６a〜６dにそれぞれマッピングされ、また、予め撮影されて保存されている車両画像７はフレームメモリ６の中央部にマッピングされ、これによりフレームメモリ６に１画面のトップビュー画像が生成される。
【０００３】
図２０はマッピング法の説明図であり、車両２に取り付けた魚眼カメラ１a〜１dにより車両前方の風景、車両左側の風景、車両右側の風景、車両後方の風景を撮影する。各魚眼カメラ１a〜１dはそれぞれ魚眼レンズにより前方１８０0の範囲にわたって風景を撮影することができ、カメラ１aはラインＦＦより前方の風景を撮影し、カメラ１bはラインＬＬより左側の車両左側風景を撮影し、カメラ１cはラインＲＲより右側の車両右側風景を撮影し、カメラ１dはラインＢＢより後方の車両後方風景を撮影する。
図２０（Ｂ）に示すようにカメラ１bで車両左側の地面に描かれた矩形の格子模様を撮影すると図２０(Ｃ)示すように魚眼で見た図形（魚眼図形という）になる。
各カメラで撮影した魚眼図形を歪補正後に地面の平面上に投影することによりトップビュー画像を得ることができる。矩形図形６と魚眼図形７において同一番号を付した領域は対応しており、矩形図形６における領域１〜６は魚眼図形７では領域１〜６になる。したがって、矩形図形６の領域１〜６の画像を記憶すべきフレームメモリ位置に、該領域に対応する魚眼図形７の領域１〜６の画像（実際には歪補正後の画像）を記憶し、同様に、全カメラで撮影した画像をフレームメモリに描画して読み出せば、魚眼カメラ１a〜１dで撮影した画像を地面の平面上に投影した図形に視点変換してモニターに表示することが可能になる。
【０００４】
以上のようにトップビュー技術は魚眼カメラの映像を取得し、上から車両を見下ろす図になる様に、各魚眼画像に歪補正を行って合成している。図２１は各魚眼カメラ１a〜１dで撮影した魚眼図形IMa〜IMdに歪補正処理、画像切り出し処理、視点変換処理を施して合成した合成画像例であり、BLRは左画像IMbとリア画像IMdの画像境界線、BLFは左画像IMbとフロント画像IMaの画像境界線、BRRは右画像IMcとリア画像IMdの画像境界線、BRFは右画像IMcとフロント画像IMaの画像境界線である。
【０００５】
トップビュー画像を正確に作成して表示するには、カメラを車両の一定位置に、かつ一定角度で取り付ける必要がある。しかし、全ての車両についてそのようにカメラを取り付けるには手間がかかると共に、車種によって取り付け位置や角度が変わるため困難がつきまとう。このため、カメラ取り付け角度や取り付け位置を自動的に測定し、実際の取り付け角度や取り付け位置に基づいてカメラ撮影画像に補正処理を施すことが行われている。具体的には、図２２に示すように、所定数のブロブを等間隔にマトリクス状に配列したキャリブレーションパターンＣＢＰＴを車両ＣＲの周辺に配置し、該キャリブレーションパターンＣＢＰＴをカメラ１ａ〜１ｄで撮影し、該カメラの撮影画像ＰＴa〜ＰＴｂ内のキャリブレーションパターンを検出する。ついで、該キャリブレーションパターンに含まれるブロブ(キャリブレーションパターン内の黒丸)ＢＢの位置やブロブ間距離等を求め、これらに基づいて、カメラ取り付け角度や取り付け位置を認識して保存し、該カメラ取り付け角度や取り付け位置に基づいて実際のカメラ撮影画像に補正処理を施す。
従来、カメラ取り付け角度や取り付け位置の測定に際して、カメラで撮影された画像全体に対して画像処理を行ってキャリブレーションパターン、該キャリブレーションパターンに含まれるブロブの検出処理を行っている。しかし、画面全体について処理するため、キャリブレーションパターン以外の画像がノイズとなって取り付け角度や取り付け位置の測定精度が劣化する。例えば、図２３に示すように車体に映りこんだキャリブレーションパターンＣＢＰＴ′が魚眼カメラにより取り込まれるため、該パターンＣＢＰＴ′がノイズとなって精度が劣化する。また、画面全体について処理してターゲットとなるキャリブレーションパターンを検出するため、処理量が多くなり、処理能力の低いＥＣＵ（Electric Control Unit）では処理に時間を要する問題があった。
なお従来技術として、キャリブレーションパターンを用いて車両に取り付けられた撮影手段の光軸調整を行なうものがある(特許文献２)。しかし、この従来技術は、ＥＣＵの画像計測手段が撮影手段で取り込んだ画面全体よりキャリブレーションパターンを検出してＨ、αを求めて光軸調整するものであり上記問題を解決するものではない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許３３００３３４号
【特許文献２】特開２００１−１１６５１５号項公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
以上から本発明の目的は、車両上方の視点から眺めた合成画像(TOPVIEW)を表示する画像表示装置において、カメラの取り付け角度を少ない処理量で算出できるようにすることである。
本発明の別の目的は、キャリブレーションパターン以外の映像がノイズとして影響しないようにして精度の高いカメラ取り付け角度の測定を可能にすることである。
本発明の別の目的は、カメラ取り付け角度測定のための処理対象画像部分を非マスク領域として自動決定するが、該非マスク領域にキャリブレーションパターンの全体が含まれない場合には、該非マスク領域を拡大或いはシフトしてカメラ取り付け角度の測定を可能にすることである。
【課題を解決するための手段】
【０００８】
本発明は、車両周辺画像を複数のカメラで取り込み、各カメラで撮影した画像に所定の画像処理を施して合成することにより車両上方の視点から眺めた合成画像を表示する画像表示装置及びそのカメラ取り付け角度算出方法である。
・カメラ取り付け角度算出方法
本発明のカメラ取り付け角度算出方法は、前記合成画像における各カメラの撮影画像領域に基づいて、各カメラの取り付け角度算出に際して画像処理する領域を非マスク領域としてそれぞれ決定するステップ、車両周辺にキャリブレーションパターンを配置するステップ、該キャリブレーションパターンを所定のカメラで撮影するステップ、該カメラの撮影画像のうち前記非マスク領域内のキャリブレーションパターン画像を用いてカメラ取り付け角度を算出するステップ、を有している。
本発明のカメラ取り付け角度算出方法は、前記キャリブレーションパターンが所定数のブロブを等間隔にマトリクス状に配列したパターンであるとき、前記非マスク領域内のキャリブレーションパターン画像内に存在するブロブの数を検出するステップ、該ブロブ数が前記所定数より少なければ、前記非マスク領域を拡大或いはシフトするステップ、を有している。
・画像表示装置
本発明の画像表示装置は、前記合成画像における各カメラの撮影画像領域に基づいて、各カメラの取り付け角度算出に際して画像処理する領域を非マスク領域としてそれぞれ決定する非マスク領域決定部、車両周辺に配置されたキャリブレーションパターンの所定カメラによる撮影画像のうち該カメラの前記非マスク領域内のキャリブレーションパターン画像を用いてカメラ取り付け角度を算出するカメラ取り付け角度算出部、各カメラの取り付け角度に基づいて各カメラで撮影した車両周辺画像に所定の画像処理を施して合成する画像処理部、を備えている。
前記画像処理部は、前記キャリブレーションパターンが所定数のブロブを等間隔にマトリクス状に配列したパターンであるとき、前記非マスク領域内のキャリブレーションパターン画像内に存在するブロブの数を検出する手段を備え、前記非マスク領域決定部は該ブロブ数が前記所定数より少なければ、前記非マスク領域を拡大或いはシフトする手段、を備えている。
【発明の効果】
【０００９】
本発明によれば、トップビュー画像における各カメラの撮影画像領域に基づいて、各カメラの取り付け角度算出に際して画像処理する領域を非マスク領域としてそれぞれ決定し、該非マスク領域内の画像のみを処理してキャリブレーションパターンを検出し、該キャリブレーションパターンに基づいてカメラ取り付け角度を算出するようにしたから、非マスク領域外の映像がノイズとして影響しないようにでき、精度の高いカメラ取り付け角度の測定が可能になった。又、本発明によれば、少ない処理量でカメラの取り付け角度の算出が可能となった。
本発明によれば、キャリブレーションパターンが所定数のブロブを等間隔にマトリクス状に配列したパターンであるとき、非マスク領域内のキャリブレーションパターン内に存在するブロブの数を検出し、該ブロブ数が所定数より少なければ、非マスク領域を拡大或いはシフトするようにしたから、処理量を少なくでき、又、ノイズの影響を軽減でき、しかも確実にカメラ取り付け角度の測定が可能になった。
【図面の簡単な説明】
【００１０】
【図１】本発明の概略説明図である。
【図２】本発明の概略説明図である。
【図３】５×５のブロブを等間隔にマトリクス状に有するキャリブレーションパターンCBPTを車両の前後左右に１個づつ配置してカメラ取り付け角度及びカメラ取り付け位置を測定する場合の説明図である。
【図４】フロントカメラ、左カメラ、右カメラ、リアカメラのそれぞれで撮影した撮影画像よりマスク領域を削除した画像、すなわち、非マスク領域の画像示す説明図である。
【図５】本発明のトップビュー画像を表示する画像表示装置の構成図である。
【図６】魚眼画像の説明図である。
【図７】魚眼カメラモデル図である。
【図８】左カメラの画像切り出し位置の説明図である。
【図９】カメラ取付角/取付位置検出部の構成図である。
【図１０】画像処理する領域(非マスク領域)の説明図である。
【図１１】マスク領域データ保存部の非マスク領域データ保存例である。
【図１２】マスク領域決定部の非マスク領域特定処理フローである。
【図１３】座標変換説明図である。
【図１４】カメラ取り付け角度Rv，Rh，Rr決定処理の説明図である。
【図１５】カメラ取付角/取付位置検出部の変形例ある。
【図１６】変形例の動作説明図である。
【図１７】変形例の処理フローである。
【図１８】トップビューシステムの説明図である。
【図１９】各魚眼カメラで撮影した魚眼図形を画面対応のフレームメモリにマッピングする場合の説明図である。
【図２０】マッピング法の説明図である。
【図２１】各魚眼カメラで撮影した魚眼図形に歪補正処理、画像切り出し処理、視点変換処理を施して合成した合成画像例である。
【図２２】キャリブレーションパターンを用いてカメラ取付角度を算出する為の説明図である。
【図２３】従来の問題点説明図である。
【発明を実施するための形態】
【００１１】
（Ａ）本発明の概略
図１は及び図２は本発明の概略説明図である。
従来は、カメラ取り付け角度及び取り付け位置の算出に際して画面全体のカメラ撮影画像を処理の対象とした。しかし、本発明は、トップビュー画像(図１(A)参照)における各カメラの撮影画像領域IMA,IMB,IMC,IMDに基づいて画像処理する領域(非マスク領域)をそれぞれ決定し、該非マスク領域内の画像のみを処理してキャリブレーションパターンを検出し、該キャリブレーションパターンに基づいてカメラ取り付け角度及び取り付け位置を算出する。なお、画像境界線BLF、BRF、BLR、BRRのうち、２つの画像境界線で挟まれた領域が各カメラの撮影画像領域IMA,IMB,IMC,IMDであるが、これら領域を矩形領域で近似して非マスク領域とする。例えば、左カメラ１ｂの撮影画像領域IMBを矩形領域ABCDに近似し、該矩形領域ABCDを左カメラ１ｂの非マスク領域とする。実際には、該矩形領域ABCDを図１(B)に示すように魚眼座標系に座標変換して得られた魚眼座標系の形状ABCDが非マスク領域となり、該非マスク領域内の撮影画像についてのみ画像処理してキャリブレーションパターンCBPTを検出し、該キャリブレーションパターンに基づいてカメラ取り付け角度及び取り付け位置を算出する。なお、左右には４×２個のブロブを有するキャリブレーションパターンCBPTが２つ配置されている。
図２は左カメラで撮影した撮影画像(図２(A))よりマスク領域を削除した画像、すなわち、非マスク領域の画像(図２（B）)の説明図である。このように本発明では、非マスク領域の画像のみを処理対象とするため処理量を少なくでき、又、ノイズの影響を軽減できる。
図３は５×５のブロブを等間隔にマトリクス状に有するキャリブレーションパターンCBPTを車両の前後左右に１個づつ配置してカメラ取り付け角度及びカメラ取り付け位置を測定する場合の説明図であり、図１に対応する。図４はフロントカメラ、左カメラ、右カメラ、リアカメラのそれぞれで撮影した撮影画像(図４(A)〜（D）の左)よりマスク領域を削除した画像、すなわち、非マスク領域の画像(図４(A)〜（D）の右)示す説明図である。
【００１２】
（Ｂ）画像表示装置の構成
図５は本発明のトップビュー画像を表示する画像表示装置の構成図であり、車両の前部、左、右側部及び後部に魚眼カメラ１a，１b，１c，１dを取り付け（図１８（B）参照）、車両前方の風景、車両左側の風景、車両右側の風景、車両後方の風景をそれぞれ撮影し、カメラ対応の画像メモリ１１a〜１１dに記憶する。歪補正部１２a〜１２dは魚眼カメラ１a〜１dで撮影した魚眼画像の歪を補正して内蔵のメモリに保存する。図６は魚眼画像の説明図であり、歪補正部１２a〜１２dは歪部分(曲線)を本来の直線となるように歪補正する。なお、BDYは車両のボディが映りこんだ部分である。
【００１３】
図７は魚眼カメラモデル図であり、魚眼レンズFEに魚眼座標系X-Y-Zが設定され（Zは光軸）、該光軸Ｚに垂直に画像平面(ｘ−ｙ座標系)が設定されている。画像平面(ｘ−ｙ座標系)の画像原点はｏ（Cx，Cy）である。魚眼レンズFEにより計測平面A上のポイント(計測点)Pが画像平面ｘ−ｙ上のポイントpに撮影される。ただし、計測点PをＸ−Ｙ平面に投影したポイントＰ″とするとき直線P″OとＸ軸がなす角度をφ、光軸Ｚと入射光の角度をθとすれば、画像平面ｘ−ｙにおいて線分opとx軸のなす角度はφ、線分opの長さはr(θ)である。r(θ)は画像の点pと原点o間の距離で歪曲収差を意味し、
【数１】
である。ただし、レンズ光学設計の違いにより上式は変わる。このr(θ)を用いて次式
【数２】
により魚眼画像の画像平面上のポイントp(x、y)の座標値が得られる。
【００１４】
歪補正部１２a〜１２dは、DX，DYを歪補正した時の補正量とすれば、ある点ｘ，ｙにおける補正量DX，DYは
【数３】
となり、上式により歪補正を行う。
カメラ取り付け角度、取り付け位置が変わると上記θが変化する。このため、カメラ取付角/取付位置検出部１０は、各カメラ1a〜1dの車両への取り付け角度及び取り付け位置を後述する方法により検出して歪補正部１２a〜１２dに入力する。
画像切り出し位置制御部１３は、隣接画像の境界線BLR、BLF、BRR、BRF(図１（A）参照)の位置を決定し、２つの境界線でそれぞれ囲まれた画像部分を画像切り出し位置として決定して各画像切り出し部１４a〜１４dに入力する。図8は左カメラの画像切り出し位置の説明図であり、LIMは歪補正画像である。
【００１５】
画像切り出し部１４a〜１４dは、歪補正部１２a〜１２dの内蔵メモリに保存されている歪補正画像より指定された切り出し領域の画像を切り出して視点変換部１５a〜１５dに入力する。図７において、カメラ画像平面Bと計測平面Aが平行であれば視点変換する必要はないが、実測ではそのようなことはなく、視点変換部１５a〜１５dは視点変換を行なう必要がある。視点変換部１５a〜１５dは、切り取られた歪補正画像から、カメラ取り付け情報(取り付け角度、取り付け位置)、仮想視点情報を用いてトップビュー画像を作成するための視点変換を実行する。
具体的には、視点変換部１５a〜１５dは、カメラの取り付け情報(X1，Y1，Z1，Rx1，Ry1，Rz1)と仮想視点情報(X2，Y2，Z2，Rx2，Ry2，Rz2)の差を(tx，ty，tx，trx，try，trz)とすれば、次式
【数４】
により視点変換を施し、変換結果を内蔵の画像メモリMEMに保存する。すなわち、取り付け情報から上式を適用することで視点変換を行なう。
【００１６】
マッピング部１６はマッピングテーブルMTBを用いて視点変換部１５a〜１５d内蔵の画像メモリMEMから視点変換された画像データを読み出してフレームメモリ１８に書き込む。マッピングテーブル保存部１７は、 視点変換部１５a〜１５d内蔵の画像メモリMEMに保存されている視点変換された図形を画面対応のフレームメモリ１８にマッピングするためのマッピングテーブルMTBを保存する。マッピング部１６はマッピングテーブルMTBをラスタース方向にスキャンし、順番に画素毎に所定の画像メモリMEMとそのアドレスを読み出し、該画像メモリの該アドレスから視点変換された画像データを読み出してフレームメモリ１８に書き込む。全画素について上記の書き込み処理が完了すれば、フレームメモリ１８に車両周辺画像データがマッピングされたことになる。車両画像保持部１９は予め車両画像を保存しているから、画像合成部２０は該車両画像と画面対応のフレームメモリ１８の車両周辺画像を合成してモニター２１に表示する。
【００１７】
（Ｃ）カメラ取付角/取付位置検出部
図９はカメラ取付角/取付位置検出部１０の構成図である。
マスク領域決定部５１は、予め、トップビュー画像(図１０参照)における各カメラの撮影画像領域IMA,IMB,IMC,IMDに基づいて画像処理する領域(非マスク領域)をそれぞれ決定し、該非マスク領域データ(或いはマスク領域データ)をマスク領域データ保存部５２に保存する。画像境界線BLF、BRF、BLR、BRRのうち、２つの画像境界線で挟まれた領域が各カメラの撮影画像領域IMA,IMB,IMC,IMDであるが、これら領域を矩形に近似して非マスク領域とする。例えば、左カメラ１ｂの撮影画像領域IMBを矩形に近似し、該矩形領域の四隅PAL，PBL，PCL，PDLの座標により左カメラ１ｂの非マスク領域を特定し、他のカメラの非マスク領域も同様に特定する。図１１はマスク領域データ保存部５２の非マスク領域データ保存例であり、各カメラ（フロントカメラ、左カメラ、右カメラ、リアカメラ)毎に非マスク領域データが記憶される。
【００１８】
図１２はマスク領域決定部５１の非マスク領域特定処理フローであり、i=1とし(ステップ１０１)、ついで、トップビュー表画面における第iカメラの表示範囲(矩形領域) の四隅ポイントPAi，PBi，PCi，PDiの座標を非マスク領域特定データとして設定し(ステップ１０２)、マスク領域データ保存部５２に保存し(ステップ１０３)、ついで、全カメラについて非マスク領域を決定したかチェックし(ステップ１０４)、「YES」であれば処理を終了し、「NO」であればiを歩進し(ステップ１０５)、ステップ１０２以降の処理を繰り返す。
【００１９】
図９に戻り、画像処理部５３は各カメラのキャリブレーションパターン撮影画像を取り込み、着目カメラ(左カメラとする)の非マスク領域データをマスク領域データ保存部５２から読み出し、該データが示す矩形領域を魚眼座標系の非マスク領域に変換し、該非マスク領域内の画像部分のみを処理対象画像とする。ついで、画像処理部５３は該画像部分を切り出して画像処理し、キャリブレーションパターンにおける各ブロブの中心座標値(魚眼座標系)を検出してブロブ中心位置座標記憶部５４に保存する。なお、図３に示すように、５×５のブロブを等間隔にマトリクス状に有するキャリブレーションパターンCBPTを車両の前後左右の一定位置に１個づつ配置して各カメラ１ａ〜１ｄで撮影し、撮影画像を画像処理部５３に入力するものとする。
【００２０】
ついで、座標変換部座標系５５は各ブロブの中心座標値を魚眼座標系から地面をX-Y平面とする基準座標系に変換し、ブロブ中心位置座標記憶部５６に保存する。図１３は座標変換説明図であり、X-Y-Zは基準座標系、U-V-Sは魚眼座標系である。Tx，Ty，Tzを魚眼座標系U-V-Sと基準座標系X-Y-Zの原点間の距離、Rx，Ry，Rzを基準座標系X-Y-Zに対する魚眼カメラの各軸周りの回転量とすれば、次式が成立する。ただし(u，v，s)はブロブの魚眼座標系における中心座標値で既知、λは基準座標系の単位を実際のブロブ間距離からmmに変換するための係数である。
【数５】
図１３の（B）より、カメラの光軸がX-Y平面状のポイントPに向いているときのX軸周りの回転量はRv（＝Rx）、Y軸周りの回転量はRh（＝Ry）、Z軸周りの回転量はRr（＝Rz）である。
【００２１】
以後、ブロブ間距離調整部５７、ブロブ位置調整部５８、カメラ取付情報調整部５９はブロブ間の各軸方向距離が実際の各軸方向距離と等しくなるように、かつブロブ位置が実際のブロブ位置と等しくなるようにRv，Rh，Rr，Tx，Ty，Tzを決定する。すなわち、最初に、ブロブ間距離調整部５７およびカメラ取付情報調整部５９は、Tx，Ty，Tzを固定した状態でRv,Rh,Rrを変更しながら各ブロブの中心座標値を(5)式を用いて計算し、各ブロブ間の各軸方向距離を計算し、各ブロブ間の各軸方向距離が等しくなるRv,Rh,Rrを求め、これらRv,Rh,Rrをカメラ取り付け角度として出力する。また、ブロブ位置調整部５８およびカメラ取付情報調整部５９は、(5)式より各ブロブの中心座標値を計算し、実際のブロブの中心位置(既知)と等しくなるTx，Ty，Tzを求め、カメラ取り付け位置として出力する。
具体的には、Rrを変更することにより図１４（A）に示すようにブロブの傾斜を調整することができ、Rhを変更することにより図１４（B）に示すようにブロブ間の垂直方向(X軸方向)の距離を調整することができ、Rvを変更することにより図１４（C）に示すようにブロブ間の水平方向(Y軸方向)の距離を調整することができる。
【００２２】
したがって、最初、ブロブ傾斜調整量決定部５７aはTx，Ty，Tzを一定値(例えば０)としたときの各ブロブの中心座標値を用いてブロブ傾斜角度を計算する。図１４(A)の左側に示すようにブロブが傾斜している場合には右側に示すように傾斜角=０となるようにRrを調整し、調整量ΔRrをカメラ取付情報調整部５９に入力する。カメラ取付情報調整部５９はRr=Rr+ΔRrにより、新Rrを計算して座標変換部５５に入力する。これにより、座標変換部５５は(５)式により各ブロブの中心座標値を計算し、ブロブ傾斜調整量決定部５７aは、該各ブロブの中心座標値を用いてブロブ傾斜角度を計算する。以後、該ブロブ傾斜角度が零となるまで以上の処理を継続してRrの調整を行なう。
【００２３】
ブロブ傾斜角度が零となるようにRrの調整が終了すれば、ブロブ間距離算出部５７bは各ブロブ間のX軸方向の距離を計算し、ブロブ間距離調整完了決定部５７dは各ブロブ間のX軸方向距離が等しいか調べ、等しくなければブロブ間距離調整量決定部５７cに調整指示信号を入力する。これにより、ブロブ間距離調整量決定部５７cはRhを調整し、調整量ΔRhをカメラ取付情報調整部５９に入力する。カメラ取付情報調整部５９はRx=Rx+ΔRhにより、新Rxを計算して座標変換部５５に入力する。これにより、座標変換部５５は(５)式により各ブロブの中心座標値を計算し、ブロブ間距離算出部５７aは各ブロブの中心座標値を用いて各ブロブ間のX軸方向距離を計算し、各ブロブ間のX軸方向距離が等しくなるまでRhの調整を行なう。
【００２４】
Rhの調整が完了すれば、ブロブ間距離算出部５７bは各ブロブ間のY軸方向の距離を計算し、ブロブ間距離調整完了決定部５７dは各ブロブ間のY軸方向距離が等しいか調べ、等しくなければブロブ間距離調整量決定部５７cに調整指示信号を入力する。これにより、ブロブ間距離調整量決定部５７cはRvを調整し、調整量ΔRvをカメラ取付情報調整部５９に入力する。カメラ取付情報調整部５９はRy=Ry+ΔRvにより、新Ryを計算して座標変換部５５に入力する。これにより、座標変換部５５は(５)式により各ブロブの中心座標値を計算し、ブロブ間距離算出部５７aは各ブロブの中心座標値を用いて各ブロブ間のY軸方向距離を計算し、各ブロブ間のY軸方向距離が等しくなるまでRvの調整を行なう。
以上により、Rv，Rh，Rrの調整が完了すれば、ブロブ間距離調整完了決定部５７ｄは取り付け角度調整完了信号DAJEDを出力する。
【００２５】
位置調整部５８は取り付け角度調整完了信号DAJEDが発生すると、実際のブロブ中心位置(Xs,Ys)と等しくなるTx，Tyを(5)式より求め、又、ブロブのサイズ(あるいはブロブ間距離)が実際のブロブサイズ(あるいはブロブ間距離)と等しくなるようにTzを調整し、カメラ取り付け位置として出力する。
しかる後、カメラ取付情報調整部５９は算出したカメラ取り付け角度Rｘ，Ry，Rz及びカメラ取付位置Tx，Ty，Tzを図５の各歪補正部１２a〜１２d、視点変換部１４a〜１４dに入力する。
【００２６】
（D）カメラ取付角/取付位置検出部の変形例
以上では、カメラ取り付け角度が想定誤差範囲内の場合であり、非マスク領域内の画像部分にキャリブレーションパターンの５×５個の全ブロブが存在する場合である。しかし、取付角度が想定範囲を越えて車両に取り付けられると非マスク領域内の画像部分にキャリブレーションパターンの５×５個の全ブロブが存在せず、一部ブロブを検出できなくなる。かかる場合には、取り付け角度、取り付け位置を正しく測定できなくなる。
図１５はカメラ取付角/取付位置検出部１０の変形例であり、取付角度が想定範囲を越えた場合にも対応できるようになっており、図９の構成と同一部分には同一符号を付している。異なる部分は、画像処理部５３が５×５(=２５)の全ブロブを検出したか判断し、検出してなければ非マスク拡大信号MELをマスク領域決定部５１に入力している点、マスク領域決定部５１が非マスク拡大信号MELの入力があると非マスク領域を全ブロブが検出できるように拡大する点である。
【００２７】
図１６は変形例の動作説明図であり、(A)はカメラ取付角度が想定範囲を越えて車両に取り付けられたため、非マスク領域内の画像部分にキャリブレーションパターンの５×５個の全ブロブが存在せず、一部ブロブ(図では１０個のブロブ)を検出できなくなった場合である。かかる場合、(B)に示すように２５個の全ブロブが検出できるように、すなわち、ブロブが隠れている方向に非マスクを拡大する
【００２８】
図１７は変形例の処理フローである。
所定の魚眼カメラが撮影した魚眼画像を画像処理部５３が取り込み(ステップ２０１)、該カメラ(左カメラとする)の非マスク領域データをマスク領域データ保存部５２から読み出し、該データが示す矩形領域を魚眼座標系の非マスク領域に変換し、該非マスク領域内の画像部分のみを処理対象画像とする(画像マスキングステップ２０２)。ついで、画像処理部５３は該画像部分を切り出して画像処理し、キャリブレーションパターンにおける各ブロブを検出し、その数が設定数(=２５個)と一致するかチェックし(ステップ２０３)、ブロブ数が少なければ、ブロブが隠れている方向とブロブ不足を示す非マスク拡大信号MELをマスク領域決定部５１に入力する。これにより、マスク領域決定部５１はブロブが隠れている方向に非マスク領域を拡大し、マスク領域データの非マスク領域データを更新する(ステップ２０４)。
【００２９】
画像処理部５３は新たな非マスクデータが示す矩形領域を魚眼座標系の非マスク領域に変換し、該非マスク領域内の画像部分のみを処理対象画像とする(画像マスキングステップ２０２)。画像処理部５３は該画像部分を切り出して画像処理し、キャリブレーションパターンにおける各ブロブを検出し、その数が設定数(=２５個)と一致すれば、以後は図９と同様の処理によりカメラ取付角度、カメラ取付位置を算出し(ステップ２０５)、該取付情報を用いてトップビューの作成計算処理を行う(ステップ２０６)。
なお、ステップ２０３において、検出されるブロブ数が多い場合には、隣接するキャリブレーションパターンのブロブを検出しているため、該ブロブを処理対象から除外してステップ２０５以降の処理を行う。
なお、以上の変形例では非マスク領域を拡大したが、全ブロブが検出できるように非マスク領域をブロブが隠れている方向にシフトすることもできる。このようにすれば拡大する場合に比べ処理対象画像を少なくできる利点がある。
【００３０】
以上本発明によれば、カメラのトップビュー表示領域のみをパターン認識範囲としたから、すなわち、カメラのトップビュー表示領域のみをカメラ取付情報の測定対象範囲としたから、該範囲外の映像がノイズとして影響しないようにでき、精度の高いカメラ取り付け角度の測定が可能になった。又、本発明によれば、処理対象画像を減少でき、処理時間を短縮することができる。
又、本発明によれば、非マスク領域内のキャリブレーションパターン内に存在するブロブの数を検出し、該ブロブ数が所定数より少なければ、非マスク領域を拡大或いはシフトするようにしたから、カメラ取付角度が想定範囲を越えて車両に取り付けられた場合であっても確実にカメラ取り付け角度の測定が可能になった。
実施例では非マスク領域を矩形に近似したが必ずしも矩形領域に近似する必要はなく、又、別の形状に近似することもできる。
【符号の説明】
【００３１】
IMA〜IMD 各カメラの撮影画像領域
ABCD 矩形領域 (左カメラの場合は矩形領域)
CBPT キャリブレーションパターン
【技術分野】
【０００１】
本発明は画像表示装置及びそのカメラ取り付け角度算出方法に関わり、特に、車両周辺画像を複数のカメラで取り込み、各カメラで撮影した画像に所定の画像処理を施して合成することにより車両上方の視点から眺めた合成画像を表示する画像表示装置及びそのカメラ取り付け角度算出方法に関する。
【背景技術】
【０００２】
車庫入れや駐車等に際して運転手を支援するため支援システムが研究され、実用化されている。かかる支援システムとして車両周辺画像を複数のカメラで取り込み、各カメラで撮影した画像を合成して車両上方の視点から眺めた合成画像(トップビュー画像)をフレームメモリに描画し、該フレームメモリより画像データを読み出してモニターに表示するトップビューシステムが知られている(特許文献1参照)。
このトップビューシステムは、図１８（A），（B)に示すように、車両周囲を撮影する複数の魚眼カメラ１a〜１dを車両２のフロント、両サイド、リアに装着し、画像合成処理部３が各カメラ１a〜１dから取り込んだ画像を用いて、図１８（C）に示す車両上方所定の位置（仮想視点）４から車両の方向を眺めた風景の合成画像を作成してモニター５に表示し、これにより駐車、車庫入れなどを支援する。
画像合成処理部３は合成に際して、マッピングテーブルを用いて各カメラで撮影した画像部分をフレームメモリにマッピングして表示する。図１９は各魚眼カメラ１a〜１dで撮影した魚眼図形IMa〜IMdを画面対応のフレームメモリ６にマッピングする場合の説明図である。魚眼図形IMa〜IMdはフレームメモリ６の対応する領域６a〜６dにそれぞれマッピングされ、また、予め撮影されて保存されている車両画像７はフレームメモリ６の中央部にマッピングされ、これによりフレームメモリ６に１画面のトップビュー画像が生成される。
【０００３】
図２０はマッピング法の説明図であり、車両２に取り付けた魚眼カメラ１a〜１dにより車両前方の風景、車両左側の風景、車両右側の風景、車両後方の風景を撮影する。各魚眼カメラ１a〜１dはそれぞれ魚眼レンズにより前方１８０0の範囲にわたって風景を撮影することができ、カメラ１aはラインＦＦより前方の風景を撮影し、カメラ１bはラインＬＬより左側の車両左側風景を撮影し、カメラ１cはラインＲＲより右側の車両右側風景を撮影し、カメラ１dはラインＢＢより後方の車両後方風景を撮影する。
図２０（Ｂ）に示すようにカメラ１bで車両左側の地面に描かれた矩形の格子模様を撮影すると図２０(Ｃ)示すように魚眼で見た図形（魚眼図形という）になる。
各カメラで撮影した魚眼図形を歪補正後に地面の平面上に投影することによりトップビュー画像を得ることができる。矩形図形６と魚眼図形７において同一番号を付した領域は対応しており、矩形図形６における領域１〜６は魚眼図形７では領域１〜６になる。したがって、矩形図形６の領域１〜６の画像を記憶すべきフレームメモリ位置に、該領域に対応する魚眼図形７の領域１〜６の画像（実際には歪補正後の画像）を記憶し、同様に、全カメラで撮影した画像をフレームメモリに描画して読み出せば、魚眼カメラ１a〜１dで撮影した画像を地面の平面上に投影した図形に視点変換してモニターに表示することが可能になる。
【０００４】
以上のようにトップビュー技術は魚眼カメラの映像を取得し、上から車両を見下ろす図になる様に、各魚眼画像に歪補正を行って合成している。図２１は各魚眼カメラ１a〜１dで撮影した魚眼図形IMa〜IMdに歪補正処理、画像切り出し処理、視点変換処理を施して合成した合成画像例であり、BLRは左画像IMbとリア画像IMdの画像境界線、BLFは左画像IMbとフロント画像IMaの画像境界線、BRRは右画像IMcとリア画像IMdの画像境界線、BRFは右画像IMcとフロント画像IMaの画像境界線である。
【０００５】
トップビュー画像を正確に作成して表示するには、カメラを車両の一定位置に、かつ一定角度で取り付ける必要がある。しかし、全ての車両についてそのようにカメラを取り付けるには手間がかかると共に、車種によって取り付け位置や角度が変わるため困難がつきまとう。このため、カメラ取り付け角度や取り付け位置を自動的に測定し、実際の取り付け角度や取り付け位置に基づいてカメラ撮影画像に補正処理を施すことが行われている。具体的には、図２２に示すように、所定数のブロブを等間隔にマトリクス状に配列したキャリブレーションパターンＣＢＰＴを車両ＣＲの周辺に配置し、該キャリブレーションパターンＣＢＰＴをカメラ１ａ〜１ｄで撮影し、該カメラの撮影画像ＰＴa〜ＰＴｂ内のキャリブレーションパターンを検出する。ついで、該キャリブレーションパターンに含まれるブロブ(キャリブレーションパターン内の黒丸)ＢＢの位置やブロブ間距離等を求め、これらに基づいて、カメラ取り付け角度や取り付け位置を認識して保存し、該カメラ取り付け角度や取り付け位置に基づいて実際のカメラ撮影画像に補正処理を施す。
従来、カメラ取り付け角度や取り付け位置の測定に際して、カメラで撮影された画像全体に対して画像処理を行ってキャリブレーションパターン、該キャリブレーションパターンに含まれるブロブの検出処理を行っている。しかし、画面全体について処理するため、キャリブレーションパターン以外の画像がノイズとなって取り付け角度や取り付け位置の測定精度が劣化する。例えば、図２３に示すように車体に映りこんだキャリブレーションパターンＣＢＰＴ′が魚眼カメラにより取り込まれるため、該パターンＣＢＰＴ′がノイズとなって精度が劣化する。また、画面全体について処理してターゲットとなるキャリブレーションパターンを検出するため、処理量が多くなり、処理能力の低いＥＣＵ（Electric Control Unit）では処理に時間を要する問題があった。
なお従来技術として、キャリブレーションパターンを用いて車両に取り付けられた撮影手段の光軸調整を行なうものがある(特許文献２)。しかし、この従来技術は、ＥＣＵの画像計測手段が撮影手段で取り込んだ画面全体よりキャリブレーションパターンを検出してＨ、αを求めて光軸調整するものであり上記問題を解決するものではない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許３３００３３４号
【特許文献２】特開２００１−１１６５１５号項公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
以上から本発明の目的は、車両上方の視点から眺めた合成画像(TOPVIEW)を表示する画像表示装置において、カメラの取り付け角度を少ない処理量で算出できるようにすることである。
本発明の別の目的は、キャリブレーションパターン以外の映像がノイズとして影響しないようにして精度の高いカメラ取り付け角度の測定を可能にすることである。
本発明の別の目的は、カメラ取り付け角度測定のための処理対象画像部分を非マスク領域として自動決定するが、該非マスク領域にキャリブレーションパターンの全体が含まれない場合には、該非マスク領域を拡大或いはシフトしてカメラ取り付け角度の測定を可能にすることである。
【課題を解決するための手段】
【０００８】
本発明は、車両周辺画像を複数のカメラで取り込み、各カメラで撮影した画像に所定の画像処理を施して合成することにより車両上方の視点から眺めた合成画像を表示する画像表示装置及びそのカメラ取り付け角度算出方法である。
・カメラ取り付け角度算出方法
本発明のカメラ取り付け角度算出方法は、前記合成画像における各カメラの撮影画像領域に基づいて、各カメラの取り付け角度算出に際して画像処理する領域を非マスク領域としてそれぞれ決定するステップ、車両周辺にキャリブレーションパターンを配置するステップ、該キャリブレーションパターンを所定のカメラで撮影するステップ、該カメラの撮影画像のうち前記非マスク領域内のキャリブレーションパターン画像を用いてカメラ取り付け角度を算出するステップ、を有している。
本発明のカメラ取り付け角度算出方法は、前記キャリブレーションパターンが所定数のブロブを等間隔にマトリクス状に配列したパターンであるとき、前記非マスク領域内のキャリブレーションパターン画像内に存在するブロブの数を検出するステップ、該ブロブ数が前記所定数より少なければ、前記非マスク領域を拡大或いはシフトするステップ、を有している。
・画像表示装置
本発明の画像表示装置は、前記合成画像における各カメラの撮影画像領域に基づいて、各カメラの取り付け角度算出に際して画像処理する領域を非マスク領域としてそれぞれ決定する非マスク領域決定部、車両周辺に配置されたキャリブレーションパターンの所定カメラによる撮影画像のうち該カメラの前記非マスク領域内のキャリブレーションパターン画像を用いてカメラ取り付け角度を算出するカメラ取り付け角度算出部、各カメラの取り付け角度に基づいて各カメラで撮影した車両周辺画像に所定の画像処理を施して合成する画像処理部、を備えている。
前記画像処理部は、前記キャリブレーションパターンが所定数のブロブを等間隔にマトリクス状に配列したパターンであるとき、前記非マスク領域内のキャリブレーションパターン画像内に存在するブロブの数を検出する手段を備え、前記非マスク領域決定部は該ブロブ数が前記所定数より少なければ、前記非マスク領域を拡大或いはシフトする手段、を備えている。
【発明の効果】
【０００９】
本発明によれば、トップビュー画像における各カメラの撮影画像領域に基づいて、各カメラの取り付け角度算出に際して画像処理する領域を非マスク領域としてそれぞれ決定し、該非マスク領域内の画像のみを処理してキャリブレーションパターンを検出し、該キャリブレーションパターンに基づいてカメラ取り付け角度を算出するようにしたから、非マスク領域外の映像がノイズとして影響しないようにでき、精度の高いカメラ取り付け角度の測定が可能になった。又、本発明によれば、少ない処理量でカメラの取り付け角度の算出が可能となった。
本発明によれば、キャリブレーションパターンが所定数のブロブを等間隔にマトリクス状に配列したパターンであるとき、非マスク領域内のキャリブレーションパターン内に存在するブロブの数を検出し、該ブロブ数が所定数より少なければ、非マスク領域を拡大或いはシフトするようにしたから、処理量を少なくでき、又、ノイズの影響を軽減でき、しかも確実にカメラ取り付け角度の測定が可能になった。
【図面の簡単な説明】
【００１０】
【図１】本発明の概略説明図である。
【図２】本発明の概略説明図である。
【図３】５×５のブロブを等間隔にマトリクス状に有するキャリブレーションパターンCBPTを車両の前後左右に１個づつ配置してカメラ取り付け角度及びカメラ取り付け位置を測定する場合の説明図である。
【図４】フロントカメラ、左カメラ、右カメラ、リアカメラのそれぞれで撮影した撮影画像よりマスク領域を削除した画像、すなわち、非マスク領域の画像示す説明図である。
【図５】本発明のトップビュー画像を表示する画像表示装置の構成図である。
【図６】魚眼画像の説明図である。
【図７】魚眼カメラモデル図である。
【図８】左カメラの画像切り出し位置の説明図である。
【図９】カメラ取付角/取付位置検出部の構成図である。
【図１０】画像処理する領域(非マスク領域)の説明図である。
【図１１】マスク領域データ保存部の非マスク領域データ保存例である。
【図１２】マスク領域決定部の非マスク領域特定処理フローである。
【図１３】座標変換説明図である。
【図１４】カメラ取り付け角度Rv，Rh，Rr決定処理の説明図である。
【図１５】カメラ取付角/取付位置検出部の変形例ある。
【図１６】変形例の動作説明図である。
【図１７】変形例の処理フローである。
【図１８】トップビューシステムの説明図である。
【図１９】各魚眼カメラで撮影した魚眼図形を画面対応のフレームメモリにマッピングする場合の説明図である。
【図２０】マッピング法の説明図である。
【図２１】各魚眼カメラで撮影した魚眼図形に歪補正処理、画像切り出し処理、視点変換処理を施して合成した合成画像例である。
【図２２】キャリブレーションパターンを用いてカメラ取付角度を算出する為の説明図である。
【図２３】従来の問題点説明図である。
【発明を実施するための形態】
【００１１】
（Ａ）本発明の概略
図１は及び図２は本発明の概略説明図である。
従来は、カメラ取り付け角度及び取り付け位置の算出に際して画面全体のカメラ撮影画像を処理の対象とした。しかし、本発明は、トップビュー画像(図１(A)参照)における各カメラの撮影画像領域IMA,IMB,IMC,IMDに基づいて画像処理する領域(非マスク領域)をそれぞれ決定し、該非マスク領域内の画像のみを処理してキャリブレーションパターンを検出し、該キャリブレーションパターンに基づいてカメラ取り付け角度及び取り付け位置を算出する。なお、画像境界線BLF、BRF、BLR、BRRのうち、２つの画像境界線で挟まれた領域が各カメラの撮影画像領域IMA,IMB,IMC,IMDであるが、これら領域を矩形領域で近似して非マスク領域とする。例えば、左カメラ１ｂの撮影画像領域IMBを矩形領域ABCDに近似し、該矩形領域ABCDを左カメラ１ｂの非マスク領域とする。実際には、該矩形領域ABCDを図１(B)に示すように魚眼座標系に座標変換して得られた魚眼座標系の形状ABCDが非マスク領域となり、該非マスク領域内の撮影画像についてのみ画像処理してキャリブレーションパターンCBPTを検出し、該キャリブレーションパターンに基づいてカメラ取り付け角度及び取り付け位置を算出する。なお、左右には４×２個のブロブを有するキャリブレーションパターンCBPTが２つ配置されている。
図２は左カメラで撮影した撮影画像(図２(A))よりマスク領域を削除した画像、すなわち、非マスク領域の画像(図２（B）)の説明図である。このように本発明では、非マスク領域の画像のみを処理対象とするため処理量を少なくでき、又、ノイズの影響を軽減できる。
図３は５×５のブロブを等間隔にマトリクス状に有するキャリブレーションパターンCBPTを車両の前後左右に１個づつ配置してカメラ取り付け角度及びカメラ取り付け位置を測定する場合の説明図であり、図１に対応する。図４はフロントカメラ、左カメラ、右カメラ、リアカメラのそれぞれで撮影した撮影画像(図４(A)〜（D）の左)よりマスク領域を削除した画像、すなわち、非マスク領域の画像(図４(A)〜（D）の右)示す説明図である。
【００１２】
（Ｂ）画像表示装置の構成
図５は本発明のトップビュー画像を表示する画像表示装置の構成図であり、車両の前部、左、右側部及び後部に魚眼カメラ１a，１b，１c，１dを取り付け（図１８（B）参照）、車両前方の風景、車両左側の風景、車両右側の風景、車両後方の風景をそれぞれ撮影し、カメラ対応の画像メモリ１１a〜１１dに記憶する。歪補正部１２a〜１２dは魚眼カメラ１a〜１dで撮影した魚眼画像の歪を補正して内蔵のメモリに保存する。図６は魚眼画像の説明図であり、歪補正部１２a〜１２dは歪部分(曲線)を本来の直線となるように歪補正する。なお、BDYは車両のボディが映りこんだ部分である。
【００１３】
図７は魚眼カメラモデル図であり、魚眼レンズFEに魚眼座標系X-Y-Zが設定され（Zは光軸）、該光軸Ｚに垂直に画像平面(ｘ−ｙ座標系)が設定されている。画像平面(ｘ−ｙ座標系)の画像原点はｏ（Cx，Cy）である。魚眼レンズFEにより計測平面A上のポイント(計測点)Pが画像平面ｘ−ｙ上のポイントpに撮影される。ただし、計測点PをＸ−Ｙ平面に投影したポイントＰ″とするとき直線P″OとＸ軸がなす角度をφ、光軸Ｚと入射光の角度をθとすれば、画像平面ｘ−ｙにおいて線分opとx軸のなす角度はφ、線分opの長さはr(θ)である。r(θ)は画像の点pと原点o間の距離で歪曲収差を意味し、
【数１】
である。ただし、レンズ光学設計の違いにより上式は変わる。このr(θ)を用いて次式
【数２】
により魚眼画像の画像平面上のポイントp(x、y)の座標値が得られる。
【００１４】
歪補正部１２a〜１２dは、DX，DYを歪補正した時の補正量とすれば、ある点ｘ，ｙにおける補正量DX，DYは
【数３】
となり、上式により歪補正を行う。
カメラ取り付け角度、取り付け位置が変わると上記θが変化する。このため、カメラ取付角/取付位置検出部１０は、各カメラ1a〜1dの車両への取り付け角度及び取り付け位置を後述する方法により検出して歪補正部１２a〜１２dに入力する。
画像切り出し位置制御部１３は、隣接画像の境界線BLR、BLF、BRR、BRF(図１（A）参照)の位置を決定し、２つの境界線でそれぞれ囲まれた画像部分を画像切り出し位置として決定して各画像切り出し部１４a〜１４dに入力する。図8は左カメラの画像切り出し位置の説明図であり、LIMは歪補正画像である。
【００１５】
画像切り出し部１４a〜１４dは、歪補正部１２a〜１２dの内蔵メモリに保存されている歪補正画像より指定された切り出し領域の画像を切り出して視点変換部１５a〜１５dに入力する。図７において、カメラ画像平面Bと計測平面Aが平行であれば視点変換する必要はないが、実測ではそのようなことはなく、視点変換部１５a〜１５dは視点変換を行なう必要がある。視点変換部１５a〜１５dは、切り取られた歪補正画像から、カメラ取り付け情報(取り付け角度、取り付け位置)、仮想視点情報を用いてトップビュー画像を作成するための視点変換を実行する。
具体的には、視点変換部１５a〜１５dは、カメラの取り付け情報(X1，Y1，Z1，Rx1，Ry1，Rz1)と仮想視点情報(X2，Y2，Z2，Rx2，Ry2，Rz2)の差を(tx，ty，tx，trx，try，trz)とすれば、次式
【数４】
により視点変換を施し、変換結果を内蔵の画像メモリMEMに保存する。すなわち、取り付け情報から上式を適用することで視点変換を行なう。
【００１６】
マッピング部１６はマッピングテーブルMTBを用いて視点変換部１５a〜１５d内蔵の画像メモリMEMから視点変換された画像データを読み出してフレームメモリ１８に書き込む。マッピングテーブル保存部１７は、 視点変換部１５a〜１５d内蔵の画像メモリMEMに保存されている視点変換された図形を画面対応のフレームメモリ１８にマッピングするためのマッピングテーブルMTBを保存する。マッピング部１６はマッピングテーブルMTBをラスタース方向にスキャンし、順番に画素毎に所定の画像メモリMEMとそのアドレスを読み出し、該画像メモリの該アドレスから視点変換された画像データを読み出してフレームメモリ１８に書き込む。全画素について上記の書き込み処理が完了すれば、フレームメモリ１８に車両周辺画像データがマッピングされたことになる。車両画像保持部１９は予め車両画像を保存しているから、画像合成部２０は該車両画像と画面対応のフレームメモリ１８の車両周辺画像を合成してモニター２１に表示する。
【００１７】
（Ｃ）カメラ取付角/取付位置検出部
図９はカメラ取付角/取付位置検出部１０の構成図である。
マスク領域決定部５１は、予め、トップビュー画像(図１０参照)における各カメラの撮影画像領域IMA,IMB,IMC,IMDに基づいて画像処理する領域(非マスク領域)をそれぞれ決定し、該非マスク領域データ(或いはマスク領域データ)をマスク領域データ保存部５２に保存する。画像境界線BLF、BRF、BLR、BRRのうち、２つの画像境界線で挟まれた領域が各カメラの撮影画像領域IMA,IMB,IMC,IMDであるが、これら領域を矩形に近似して非マスク領域とする。例えば、左カメラ１ｂの撮影画像領域IMBを矩形に近似し、該矩形領域の四隅PAL，PBL，PCL，PDLの座標により左カメラ１ｂの非マスク領域を特定し、他のカメラの非マスク領域も同様に特定する。図１１はマスク領域データ保存部５２の非マスク領域データ保存例であり、各カメラ（フロントカメラ、左カメラ、右カメラ、リアカメラ)毎に非マスク領域データが記憶される。
【００１８】
図１２はマスク領域決定部５１の非マスク領域特定処理フローであり、i=1とし(ステップ１０１)、ついで、トップビュー表画面における第iカメラの表示範囲(矩形領域) の四隅ポイントPAi，PBi，PCi，PDiの座標を非マスク領域特定データとして設定し(ステップ１０２)、マスク領域データ保存部５２に保存し(ステップ１０３)、ついで、全カメラについて非マスク領域を決定したかチェックし(ステップ１０４)、「YES」であれば処理を終了し、「NO」であればiを歩進し(ステップ１０５)、ステップ１０２以降の処理を繰り返す。
【００１９】
図９に戻り、画像処理部５３は各カメラのキャリブレーションパターン撮影画像を取り込み、着目カメラ(左カメラとする)の非マスク領域データをマスク領域データ保存部５２から読み出し、該データが示す矩形領域を魚眼座標系の非マスク領域に変換し、該非マスク領域内の画像部分のみを処理対象画像とする。ついで、画像処理部５３は該画像部分を切り出して画像処理し、キャリブレーションパターンにおける各ブロブの中心座標値(魚眼座標系)を検出してブロブ中心位置座標記憶部５４に保存する。なお、図３に示すように、５×５のブロブを等間隔にマトリクス状に有するキャリブレーションパターンCBPTを車両の前後左右の一定位置に１個づつ配置して各カメラ１ａ〜１ｄで撮影し、撮影画像を画像処理部５３に入力するものとする。
【００２０】
ついで、座標変換部座標系５５は各ブロブの中心座標値を魚眼座標系から地面をX-Y平面とする基準座標系に変換し、ブロブ中心位置座標記憶部５６に保存する。図１３は座標変換説明図であり、X-Y-Zは基準座標系、U-V-Sは魚眼座標系である。Tx，Ty，Tzを魚眼座標系U-V-Sと基準座標系X-Y-Zの原点間の距離、Rx，Ry，Rzを基準座標系X-Y-Zに対する魚眼カメラの各軸周りの回転量とすれば、次式が成立する。ただし(u，v，s)はブロブの魚眼座標系における中心座標値で既知、λは基準座標系の単位を実際のブロブ間距離からmmに変換するための係数である。
【数５】
図１３の（B）より、カメラの光軸がX-Y平面状のポイントPに向いているときのX軸周りの回転量はRv（＝Rx）、Y軸周りの回転量はRh（＝Ry）、Z軸周りの回転量はRr（＝Rz）である。
【００２１】
以後、ブロブ間距離調整部５７、ブロブ位置調整部５８、カメラ取付情報調整部５９はブロブ間の各軸方向距離が実際の各軸方向距離と等しくなるように、かつブロブ位置が実際のブロブ位置と等しくなるようにRv，Rh，Rr，Tx，Ty，Tzを決定する。すなわち、最初に、ブロブ間距離調整部５７およびカメラ取付情報調整部５９は、Tx，Ty，Tzを固定した状態でRv,Rh,Rrを変更しながら各ブロブの中心座標値を(5)式を用いて計算し、各ブロブ間の各軸方向距離を計算し、各ブロブ間の各軸方向距離が等しくなるRv,Rh,Rrを求め、これらRv,Rh,Rrをカメラ取り付け角度として出力する。また、ブロブ位置調整部５８およびカメラ取付情報調整部５９は、(5)式より各ブロブの中心座標値を計算し、実際のブロブの中心位置(既知)と等しくなるTx，Ty，Tzを求め、カメラ取り付け位置として出力する。
具体的には、Rrを変更することにより図１４（A）に示すようにブロブの傾斜を調整することができ、Rhを変更することにより図１４（B）に示すようにブロブ間の垂直方向(X軸方向)の距離を調整することができ、Rvを変更することにより図１４（C）に示すようにブロブ間の水平方向(Y軸方向)の距離を調整することができる。
【００２２】
したがって、最初、ブロブ傾斜調整量決定部５７aはTx，Ty，Tzを一定値(例えば０)としたときの各ブロブの中心座標値を用いてブロブ傾斜角度を計算する。図１４(A)の左側に示すようにブロブが傾斜している場合には右側に示すように傾斜角=０となるようにRrを調整し、調整量ΔRrをカメラ取付情報調整部５９に入力する。カメラ取付情報調整部５９はRr=Rr+ΔRrにより、新Rrを計算して座標変換部５５に入力する。これにより、座標変換部５５は(５)式により各ブロブの中心座標値を計算し、ブロブ傾斜調整量決定部５７aは、該各ブロブの中心座標値を用いてブロブ傾斜角度を計算する。以後、該ブロブ傾斜角度が零となるまで以上の処理を継続してRrの調整を行なう。
【００２３】
ブロブ傾斜角度が零となるようにRrの調整が終了すれば、ブロブ間距離算出部５７bは各ブロブ間のX軸方向の距離を計算し、ブロブ間距離調整完了決定部５７dは各ブロブ間のX軸方向距離が等しいか調べ、等しくなければブロブ間距離調整量決定部５７cに調整指示信号を入力する。これにより、ブロブ間距離調整量決定部５７cはRhを調整し、調整量ΔRhをカメラ取付情報調整部５９に入力する。カメラ取付情報調整部５９はRx=Rx+ΔRhにより、新Rxを計算して座標変換部５５に入力する。これにより、座標変換部５５は(５)式により各ブロブの中心座標値を計算し、ブロブ間距離算出部５７aは各ブロブの中心座標値を用いて各ブロブ間のX軸方向距離を計算し、各ブロブ間のX軸方向距離が等しくなるまでRhの調整を行なう。
【００２４】
Rhの調整が完了すれば、ブロブ間距離算出部５７bは各ブロブ間のY軸方向の距離を計算し、ブロブ間距離調整完了決定部５７dは各ブロブ間のY軸方向距離が等しいか調べ、等しくなければブロブ間距離調整量決定部５７cに調整指示信号を入力する。これにより、ブロブ間距離調整量決定部５７cはRvを調整し、調整量ΔRvをカメラ取付情報調整部５９に入力する。カメラ取付情報調整部５９はRy=Ry+ΔRvにより、新Ryを計算して座標変換部５５に入力する。これにより、座標変換部５５は(５)式により各ブロブの中心座標値を計算し、ブロブ間距離算出部５７aは各ブロブの中心座標値を用いて各ブロブ間のY軸方向距離を計算し、各ブロブ間のY軸方向距離が等しくなるまでRvの調整を行なう。
以上により、Rv，Rh，Rrの調整が完了すれば、ブロブ間距離調整完了決定部５７ｄは取り付け角度調整完了信号DAJEDを出力する。
【００２５】
位置調整部５８は取り付け角度調整完了信号DAJEDが発生すると、実際のブロブ中心位置(Xs,Ys)と等しくなるTx，Tyを(5)式より求め、又、ブロブのサイズ(あるいはブロブ間距離)が実際のブロブサイズ(あるいはブロブ間距離)と等しくなるようにTzを調整し、カメラ取り付け位置として出力する。
しかる後、カメラ取付情報調整部５９は算出したカメラ取り付け角度Rｘ，Ry，Rz及びカメラ取付位置Tx，Ty，Tzを図５の各歪補正部１２a〜１２d、視点変換部１４a〜１４dに入力する。
【００２６】
（D）カメラ取付角/取付位置検出部の変形例
以上では、カメラ取り付け角度が想定誤差範囲内の場合であり、非マスク領域内の画像部分にキャリブレーションパターンの５×５個の全ブロブが存在する場合である。しかし、取付角度が想定範囲を越えて車両に取り付けられると非マスク領域内の画像部分にキャリブレーションパターンの５×５個の全ブロブが存在せず、一部ブロブを検出できなくなる。かかる場合には、取り付け角度、取り付け位置を正しく測定できなくなる。
図１５はカメラ取付角/取付位置検出部１０の変形例であり、取付角度が想定範囲を越えた場合にも対応できるようになっており、図９の構成と同一部分には同一符号を付している。異なる部分は、画像処理部５３が５×５(=２５)の全ブロブを検出したか判断し、検出してなければ非マスク拡大信号MELをマスク領域決定部５１に入力している点、マスク領域決定部５１が非マスク拡大信号MELの入力があると非マスク領域を全ブロブが検出できるように拡大する点である。
【００２７】
図１６は変形例の動作説明図であり、(A)はカメラ取付角度が想定範囲を越えて車両に取り付けられたため、非マスク領域内の画像部分にキャリブレーションパターンの５×５個の全ブロブが存在せず、一部ブロブ(図では１０個のブロブ)を検出できなくなった場合である。かかる場合、(B)に示すように２５個の全ブロブが検出できるように、すなわち、ブロブが隠れている方向に非マスクを拡大する
【００２８】
図１７は変形例の処理フローである。
所定の魚眼カメラが撮影した魚眼画像を画像処理部５３が取り込み(ステップ２０１)、該カメラ(左カメラとする)の非マスク領域データをマスク領域データ保存部５２から読み出し、該データが示す矩形領域を魚眼座標系の非マスク領域に変換し、該非マスク領域内の画像部分のみを処理対象画像とする(画像マスキングステップ２０２)。ついで、画像処理部５３は該画像部分を切り出して画像処理し、キャリブレーションパターンにおける各ブロブを検出し、その数が設定数(=２５個)と一致するかチェックし(ステップ２０３)、ブロブ数が少なければ、ブロブが隠れている方向とブロブ不足を示す非マスク拡大信号MELをマスク領域決定部５１に入力する。これにより、マスク領域決定部５１はブロブが隠れている方向に非マスク領域を拡大し、マスク領域データの非マスク領域データを更新する(ステップ２０４)。
【００２９】
画像処理部５３は新たな非マスクデータが示す矩形領域を魚眼座標系の非マスク領域に変換し、該非マスク領域内の画像部分のみを処理対象画像とする(画像マスキングステップ２０２)。画像処理部５３は該画像部分を切り出して画像処理し、キャリブレーションパターンにおける各ブロブを検出し、その数が設定数(=２５個)と一致すれば、以後は図９と同様の処理によりカメラ取付角度、カメラ取付位置を算出し(ステップ２０５)、該取付情報を用いてトップビューの作成計算処理を行う(ステップ２０６)。
なお、ステップ２０３において、検出されるブロブ数が多い場合には、隣接するキャリブレーションパターンのブロブを検出しているため、該ブロブを処理対象から除外してステップ２０５以降の処理を行う。
なお、以上の変形例では非マスク領域を拡大したが、全ブロブが検出できるように非マスク領域をブロブが隠れている方向にシフトすることもできる。このようにすれば拡大する場合に比べ処理対象画像を少なくできる利点がある。
【００３０】
以上本発明によれば、カメラのトップビュー表示領域のみをパターン認識範囲としたから、すなわち、カメラのトップビュー表示領域のみをカメラ取付情報の測定対象範囲としたから、該範囲外の映像がノイズとして影響しないようにでき、精度の高いカメラ取り付け角度の測定が可能になった。又、本発明によれば、処理対象画像を減少でき、処理時間を短縮することができる。
又、本発明によれば、非マスク領域内のキャリブレーションパターン内に存在するブロブの数を検出し、該ブロブ数が所定数より少なければ、非マスク領域を拡大或いはシフトするようにしたから、カメラ取付角度が想定範囲を越えて車両に取り付けられた場合であっても確実にカメラ取り付け角度の測定が可能になった。
実施例では非マスク領域を矩形に近似したが必ずしも矩形領域に近似する必要はなく、又、別の形状に近似することもできる。
【符号の説明】
【００３１】
IMA〜IMD 各カメラの撮影画像領域
ABCD 矩形領域 (左カメラの場合は矩形領域)
CBPT キャリブレーションパターン
【特許請求の範囲】
【請求項１】
車両周辺画像を複数のカメラで取り込み、各カメラで撮影した画像に所定の画像処理を施して合成することにより車両上方の視点から眺めた合成画像を表示する画像表示装置におけるカメラ取り付け角度算出方法において、
前記合成画像における各カメラの撮影画像領域に基づいて、各カメラの取り付け角度算出に際して画像処理する領域を非マスク領域としてそれぞれ決定し、
車両周辺にキャリブレーションパターンを配置し、
該キャリブレーションパターンを所定のカメラで撮影し、
該カメラの撮影画像のうち前記非マスク領域内のキャリブレーションパターン画像を用いてカメラ取り付け角度を算出する、
ことを特徴とするカメラ取り付け角度算出方法。
【請求項２】
前記キャリブレーションパターンは所定数のブロブを等間隔にマトリクス状に配列したパターンであり、前記非マスク領域内のキャリブレーションパターン画像内に存在するブロブの数を検出し、
該ブロブ数が前記所定数より少なければ、前記非マスク領域を拡大或いはシフトする、
ことを特徴とする請求項１記載のカメラ取り付け角度算出方法。
【請求項３】
車両周辺画像を複数のカメラで取り込み、各カメラで撮影した画像に所定の画像処理を施して合成することにより車両上方の視点から眺めた合成画像を表示する画像表示装置において、
前記合成画像における各カメラの撮影画像領域に基づいて、各カメラの取り付け角度算出に際して画像処理する領域を非マスク領域としてそれぞれ決定する非マスク領域決定部、
車両周辺に配置されたキャリブレーションパターンの所定カメラによる撮影画像のうち該カメラの前記非マスク領域内のキャリブレーションパターン画像を用いてカメラ取り付け角度を算出するカメラ取り付け角度算出部、
各カメラの取り付け角度に基づいて各カメラで撮影した車両周辺画像に所定の画像処理を施して合成する画像処理部、
を備えたことを特徴とする画像表示装置。
【請求項４】
前記画像処理部は、前記キャリブレーションパターンが所定数のブロブを等間隔にマトリクス状に配列したパターンであるとき、前記非マスク領域内のキャリブレーションパターン画像内に存在するブロブの数を検出する手段を備え、前記非マスク領域決定部は該ブロブ数が前記所定数より少なければ、前記非マスク領域を拡大或いはシフトする手段、
を備えることを特徴とする請求項３記載の画像表示装置。
【請求項１】
車両周辺画像を複数のカメラで取り込み、各カメラで撮影した画像に所定の画像処理を施して合成することにより車両上方の視点から眺めた合成画像を表示する画像表示装置におけるカメラ取り付け角度算出方法において、
前記合成画像における各カメラの撮影画像領域に基づいて、各カメラの取り付け角度算出に際して画像処理する領域を非マスク領域としてそれぞれ決定し、
車両周辺にキャリブレーションパターンを配置し、
該キャリブレーションパターンを所定のカメラで撮影し、
該カメラの撮影画像のうち前記非マスク領域内のキャリブレーションパターン画像を用いてカメラ取り付け角度を算出する、
ことを特徴とするカメラ取り付け角度算出方法。
【請求項２】
前記キャリブレーションパターンは所定数のブロブを等間隔にマトリクス状に配列したパターンであり、前記非マスク領域内のキャリブレーションパターン画像内に存在するブロブの数を検出し、
該ブロブ数が前記所定数より少なければ、前記非マスク領域を拡大或いはシフトする、
ことを特徴とする請求項１記載のカメラ取り付け角度算出方法。
【請求項３】
車両周辺画像を複数のカメラで取り込み、各カメラで撮影した画像に所定の画像処理を施して合成することにより車両上方の視点から眺めた合成画像を表示する画像表示装置において、
前記合成画像における各カメラの撮影画像領域に基づいて、各カメラの取り付け角度算出に際して画像処理する領域を非マスク領域としてそれぞれ決定する非マスク領域決定部、
車両周辺に配置されたキャリブレーションパターンの所定カメラによる撮影画像のうち該カメラの前記非マスク領域内のキャリブレーションパターン画像を用いてカメラ取り付け角度を算出するカメラ取り付け角度算出部、
各カメラの取り付け角度に基づいて各カメラで撮影した車両周辺画像に所定の画像処理を施して合成する画像処理部、
を備えたことを特徴とする画像表示装置。
【請求項４】
前記画像処理部は、前記キャリブレーションパターンが所定数のブロブを等間隔にマトリクス状に配列したパターンであるとき、前記非マスク領域内のキャリブレーションパターン画像内に存在するブロブの数を検出する手段を備え、前記非マスク領域決定部は該ブロブ数が前記所定数より少なければ、前記非マスク領域を拡大或いはシフトする手段、
を備えることを特徴とする請求項３記載の画像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２０１０−１８３２６５（Ｐ２０１０−１８３２６５Ａ）
【公開日】平成２２年８月１９日（２０１０．８．１９）
【国際特許分類】
【出願番号】特願２００９−２３８４０（Ｐ２００９−２３８４０）
【出願日】平成２１年２月４日（２００９．２．４）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
【公開日】平成２２年８月１９日（２０１０．８．１９）
【国際特許分類】
【出願日】平成２１年２月４日（２００９．２．４）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
[ Back to top ]