車両周辺監視装置
【課題】カメラの取り付け位置に応じて、カメラ毎に最適な視野と解像度の領域設定を行うこと。
【解決手段】複数のカメラ１〜４は、それぞれ広角レンズ１１〜４１と撮像素子１２〜４２と信号処理部１３〜４３を有する。画像処理部５は、複数のカメラが出力する複数の撮影画像１４〜４４に対し画像処理を行い、モニタ６へ表示する。複数のカメラから出力され画像処理部５で処理される複数の撮影画像のうち少なくとも１つの撮影画像２４は、広角レンズ２１のレンズ歪みの中心Ｐが撮影画像２４の中心Ｑから所定量ｄ’だけ変位するように設定する。
【解決手段】複数のカメラ１〜４は、それぞれ広角レンズ１１〜４１と撮像素子１２〜４２と信号処理部１３〜４３を有する。画像処理部５は、複数のカメラが出力する複数の撮影画像１４〜４４に対し画像処理を行い、モニタ６へ表示する。複数のカメラから出力され画像処理部５で処理される複数の撮影画像のうち少なくとも１つの撮影画像２４は、広角レンズ２１のレンズ歪みの中心Ｐが撮影画像２４の中心Ｑから所定量ｄ’だけ変位するように設定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に設置した複数のカメラで車両周囲を撮像し、これに画像処理を施しモニタに表示する車両周辺監視装置に関する。
【背景技術】
【０００２】
近年、車両に設置した複数のカメラで車両の周囲を死角なく撮像し、視点変換等の画像処理を行うことで視認性の高い表示画像を生成してモニタで表示することで、運転者に対する運転支援や事故防止などを目指す車両周辺監視装置が実用化されてきている。
【０００３】
本装置の関連技術として、例えば特許文献１では、車両の四方に設置したカメラで車両の周囲を撮影し、撮影した画像を俯瞰画像に変換すると共に繋ぎ合わせることで、１つの連続した俯瞰画像として表示するシステムが開示される。その際、俯瞰表示画像の繋ぎ目部分に対応する領域に障害物が存在することが検知された場合には、俯瞰表示画像の繋ぎ目部分となる位置を変化させて、障害物が存在する位置で不連続性が生じない俯瞰画像を表示する構成が述べられている。
【０００４】
また特許文献２では、画像を撮像する撮像素子と、撮像素子の画角を規定するレンズとを備え、撮像素子の受光面の中心をレンズの光軸より上方向にずらして配置する構成が開示される。そしてこの構成によれば、撮像範囲をレンズの上軸よりも下方にずらすことができ、デザイン性を損なわず、車両の一部から車両周辺を撮像することができると述べられている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−４１７９１号公報
【特許文献２】特開２００８−５４０３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
車両周辺監視装置に設置するカメラには、撮像範囲を広くとるため広角レンズが用いられることが多い。広角レンズを使用した場合、レンズ中心部は画像歪みが小さく解像度が高い画像となるが視野角は狭くなる。一方、レンズ周辺部は視野角が広いが画像歪みが大きく解像度が低い画像となる。また、複数のカメラを車両に設置する車両周辺監視装置では、車両の形状によってカメラの取り付け可能な位置が制限される。これらの要因により、カメラの画角内であっても広角レンズとの位置関係により、得られる画像の解像度や視野範囲に差が生じる。その結果、監視対象領域に存在する被写体の解像度が十分でなく、視認性が低下したり画像認識性能が低下したりする恐れがある。
【０００７】
そこで本発明では、カメラの取り付け位置に応じて、カメラ毎に最適な視野と解像度の領域設定を行うことができる車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、車両に設置した複数のカメラで車両周辺を撮像しモニタに表示する車両周辺監視装置であって、複数のカメラはそれぞれ広角レンズと撮像素子と信号処理部を有し、複数のカメラが出力する複数の撮影画像に対し画像処理を行い、モニタへ表示する表示画像を生成する画像処理部を備え、複数のカメラから出力され画像処理部で処理される複数の撮影画像のうち少なくとも１つの撮影画像は、広角レンズのレンズ歪みの中心が撮影画像の中心から所定量だけ変位していることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、カメラの取り付け位置に応じて、カメラ毎に最適な視野と解像度の領域設定を行うことができる。これにより、監視領域に存在する被写体の解像度が向上し、被写体の視認性や画像認識性能を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施例に係る車両周辺監視装置を示す構成図。
【図２】本実施例における撮影画像の視野と解像度の関係を示す図。
【図３】周辺減光補正部５２による周辺減光処理を説明する図。
【図４】歪み補正部５３による歪み補正処理を説明する図。
【図５】本発明の第２の実施例に係る車両周辺監視装置を示す構成図。
【図６】本実施例における画像切出し処理を説明する図。
【図７】本発明の第３の実施例に係る車両周辺監視装置を示す構成図。
【図８】本発明の第４の実施例に係る車両周辺監視装置を示す構成図。
【発明を実施するための形態】
【００１１】
以下、図面を用いて本発明の実施例を説明する。
【実施例１】
【００１２】
図１は、本発明の第１の実施例に係る車両周辺監視装置を示す構成図である。本実施例の車両周辺監視装置は、車両の四方に広角なカメラを設置して車両の周囲を撮像し、車両の上方から下向きに設置したと仮定した仮想カメラの視点に各々の撮影画像を視点変換し、俯瞰画像として合成しモニタへ表示する構成である。
【００１３】
撮像部として、１は車両の前方に設置された第１のカメラ、２は車両の右側方に設置された第２のカメラ、３は車両の左側方に設置された第３のカメラ、４は車両の後方に設置された第４のカメラである。各カメラ１〜４は、それぞれ、広角レンズ１１〜４１、撮像素子１２〜４２、信号処理部１３〜４３を有する。各カメラ１〜４から出力される撮影画像の例をそれぞれ画像１４〜４４で示す。５は各カメラからの画像を処理する画像処理部である。画像処理部５において、５１は歪み中心位置格納部、５２は周辺減光補正部、５３は歪み補正部、５４は視点変換部である。６は画像処理された画像を表示するモニタ（画像表示部）で、６１はモニタ６に表示される画像の例である。以下、各部の構成と動作を説明する。
【００１４】
第１のカメラ１は、広角レンズ１１、撮像素子１２、信号処理部１３の他に、不図示のアイリス、シャッタ、ＣＤＳ、ＡＧＣ、タイミングジェネレータなどにより構成される。カメラ１では、広角レンズ１１を介して受光した光学像を光電変換し、得られた信号に対し信号処理を行い、撮影画像１４のような画像信号を出力する。他のカメラ２〜４も同様に構成され、広角レンズを介して受光した光学像を光電変換し、得られた信号に対し信号処理を行い撮影画像２４〜４４のような画像信号を出力する。なお、各カメラ１〜４の出力する撮影画像１４〜４４において、レンズ歪みの度合いを点線で示している。
【００１５】
本実施例では、車両の前方に設置された第１のカメラ１、および車両の後方に設置された第４のカメラ４においては、図中に点線で示した広角レンズ１１，４１の光軸Ｐが撮像素子１２，４２の中心Ｑを通るように配置されている。そのため、カメラ１およびカメラ４の出力する撮影画像１４，４４は、レンズ歪み中心Ｐと画像中心Ｑとが一致し、レンズ歪みは画像中心Ｑに対し点対称に分布する。一方で、車両の右側方に設置された第２のカメラ２においては、広角レンズ２１の光軸Ｐを撮像素子２２の中心Ｑに対し、車両前方方向に所定量ｄずらして配置されている。そのため、カメラ２の出力する撮影画像２４は、レンズ歪み中心Ｐが画像中心Ｑよりも所定量ｄ’だけ左側にシフトし、画像中心Ｑに対し右側のレンズ歪みの度合いが大きくなるような指向性を持った分布となる。同様に、車両の左側方に設置された第３のカメラ３においては、広角レンズ３１の光軸Ｐを撮像素子３２の中心Ｑに対し、車両前方方向に所定量ｄずらして配置されている。そのため、カメラ３の出力する撮影画像３４は、レンズ歪み中心Ｐが画像中心Ｑよりも所定量ｄ’だけ右側にシフトし、画像中心Ｑに対し左側のレンズ歪みの度合いが大きくなるような指向性を持った分布となる。
【００１６】
画像処理部５は、４台のカメラ１〜４から出力される４つの撮影画像１４〜４４に対し画像処理を行い、表示画像を生成してモニタ６に出力する。画像処理部５において、歪み中心位置格納部５１は、各カメラ１〜４の出力する各々の撮影画像１４〜４４におけるレンズ歪み中心Ｐの画像中心Ｑからの変位量ｄ１〜ｄ４を格納し、周辺減光補正部５２、歪み補正部５３、視点変換部５４に出力する。ここに各カメラのレンズ歪み中心変位量ｄ１〜ｄ４は、予めカメラ毎に測定して、測定値をＥＥＰＲＯＭやＦＬＡＳＨ等の記録媒体に格納しておく。または、画像処理により撮影画像からレンズ歪みの中心Ｐを検出し、画像中心Ｑからの変位量ｄ１〜ｄ４を推定して記録媒体に格納しても良い。あるいは、各カメラ１〜４がそれぞれ不図示の記録媒体を備えてそれぞれのカメラの変位量ｄ１〜ｄ４を格納しても良い。そして電源投入時に、歪み中心位置格納部５１が各々のカメラと通信して変位量ｄ１〜ｄ４を取得し、周辺減光補正部５２、歪み補正部５３、視点変換部５４に出力する形態としても良い。この形態では、カメラ側で自己の変位量ｄ１〜ｄ４の情報を有するため、例えば故障等でカメラの一部を交換した場合でも、歪み中心位置格納部５１は格納している変位量の情報を更新する必要がない。
【００１７】
周辺減光補正部５２は、各カメラ１〜４の出力する撮影画像１４〜４４に対し、歪み中心位置格納部５１より取得したそれぞれのレンズ歪み中心変位量ｄ１〜ｄ４の情報を用いて、周辺減光補正処理を行う。なお、周辺減光補正処理の詳細は図３を用いて後述する。
【００１８】
歪み補正部５３は、周辺減光補正処理を実施したそれぞれの撮影画像１４〜４４に対し、歪み中心位置格納部５１より取得したそれぞれのレンズ歪み中心変位量ｄ１〜ｄ４の情報を用いて、歪み補正処理を行う。なお、歪み補正処理の詳細は図４を用いて後述する。
【００１９】
視点変換部５４は、歪み補正処理を行ったそれぞれの撮影画像１４〜４４に対し、歪み中心位置格納部５１より取得したそれぞれのレンズ歪み中心変位量ｄ１〜ｄ４の情報を用いて、視点変換処理や画像合成処理を行い、表示画像としてモニタ６に出力する。
【００２０】
なお、周辺減光補正処理や歪み補正処理や視点変換処理の処理順序はこれに限定せずに、例えば処理の一部を省略したり、歪み補正処理と視点変換処理を同時に行っても良い。また、画像認識による障害物検出や、文字や予め用意した別の画像の重畳表示などを行って監視機能の向上を図っても良い。
【００２１】
モニタ（画像表示部）６は、画像処理部５の出力する表示画像を例えば符号６１に示す表示形態にてユーザに対し提示する。ここに表示画像６１は、車両の四方に設置されたカメラ１〜４の出力した撮影画像をもとに、駐車支援のための俯瞰画像として合成し表示した例であり、四方の台形に囲まれた４つの領域が各カメラ１〜４の出力した撮影画像に相当する。その際、カメラ毎にその設置位置に応じてレンズ歪みの指向性と視野角をそれぞれ最適に設定して撮影し、それらの画像を合成してユーザに提示するようにしている。
【００２２】
なお、画像処理部５の周辺減光補正処理や歪み補正処理や視点変換処理や画像合成処理は、例えばＥＣＵ（電子制御ユニット）やカーナビゲーションシステムに搭載されたＳｏＣ（System-on-a-Chip）や、専用のＬＳＩ、ＡＳＩＣ等によって行われる。
【００２３】
図２は、本実施例における撮影画像の視野と解像度の関係を示す図である。（ａ）は各カメラの設置位置と撮影範囲を示す図、（ｂ）は第１のカメラ１の出力する撮影画像１４の例を示す図、（ｃ）と（ｄ）は第２のカメラ２の出力する撮影画像２４の２つの例を示す図である。
【００２４】
（ａ）で示すように４台のカメラは車両９の前後左右に１台ずつ設置され、第１のカメラ１は車両の前方に、第２のカメラ２は車両の右側方に、第３のカメラ３は車両の左側方に、第４のカメラ４は車両の後方に設置される。特に左右のカメラ２，３は、車両フロント部のサイドミラー近辺に設置され、車両後方を斜め方向に撮影するように取り付けられている。各カメラの撮像範囲、すなわち視野を破線で示すが、各カメラの撮像範囲は境界部で互いに重なり合うようにしている。
【００２５】
（ｂ）は第１のカメラ１で撮影した撮影画像の例であり、レンズ歪みの度合いを点線で示している。カメラ１は、広角レンズの光軸Ｐと撮像素子の中心Ｑが一致するように配置することで、撮影画像はレンズ歪み中心Ｐと画像中心Ｑとのずれがなく（変位量ｄ１＝０）、レンズ歪みは画像中心Ｑに対して点対称に分布する。すなわち、画像中心Ｑ付近では高解像度の被写体の画像が、画像周辺部（左右側面）では広視野な画像が得られる。第１のカメラ１は車両前方に対して正面向きに設置されており、これにより車両前方全体を均一に見渡す撮影画像を取得することが可能である。その際監視対象として優先すべき前方視野中央部の解像度が高くなるので、適切な設定といえる。
【００２６】
（ｃ）は第２のカメラ２で撮影した撮影画像の例であり、レンズ歪みの度合いを点線で図示している。カメラ２においては、広角レンズの光軸Ｐを撮像素子の中心Ｑに対し車両前方方向にずれているので、撮影画像中のレンズ歪みの中心Ｐは画像中心Ｑよりも左側にシフトし（変位量ｄ２＝ｄ’）、レンズ歪みの分布は画像中心Ｑに対し右側の領域が大きくなる指向性を有している。すなわち、画像左側では高解像度の被写体の画像が、画像右側では広視野な画像が得られる。さらに第２のカメラ２は車両右側方において斜め後方を向いて設置されているので、カメラに近い画面左側ではより高解像度な画像が得られ、カメラより遠い画面右側ではより広視野な画像が得られることになる。この例ではカメラ２は車両右側方のサイドミラー近辺に取り付けられているので、車両側面のうち運転席に近い領域の被写体を大きく撮影し解像度の高い画像が得られる。このように、カメラの設置位置が制限されていても、画面内の解像度と視野の配置を監視目的に合わせて好適に設定することができる。
【００２７】
これに対し（ｄ）は、（ｃ）と逆の構成にした場合である。第２のカメラ２において、広角レンズの光軸Ｐを撮像素子の中心Ｑに対し、車両後方方向にずらした場合で、撮影画像中のレンズ歪みの中心Ｐが画像中心Ｑよりも右側にシフトする（変位量ｄ２＝−ｄ’）。この場合は、画像中心Ｑに対し左側の領域のレンズ歪みの度合いが大きくなるように指向性を有している。その結果、カメラに近い画面左側では視野が狭くなる欠点を広視野化させ、カメラより遠い画面右側では被写体が小さく解像度が低下する欠点を高解像度化させることで、画像全体としてバランスのとれた性能を得ることができる。（ｃ）と（ｄ）のいずれの構成を選択するかは、監視目的に合わせて適宜設定すれば良い。
【００２８】
また、（ｃ）と（ｄ）ではレンズ歪みの中心Ｐを画像中心Ｑに対し左右方向にのみずらしているが、例えばカメラが水平に対し俯角を持って設置している場合にはさらにレンズ歪みの中心Ｐを画像中心Ｑに対し上方向にずらすことにより、カメラから遠方に対して視野を広げた画像を取得することができる。このように、カメラ毎にレンズ歪みの中心Ｐの画像中心Ｑからの変位の方向と変位の量とを定めることにより、カメラの設置位置に応じて最適な画角の画像を取得することができる。
【００２９】
次に、本実施例における周辺減光補正部５２と歪み補正部５３の動作について説明する。
図３は、周辺減光補正部５２による周辺減光処理を説明する図である。（ａ）はカメラ１のようにレンズ歪みの中心と画像中心が一致している場合、（ｂ）はカメラ２のようにレンズ歪みの中心が画像中心からずれている（変位ｄ）場合の例である。周辺減光処理では、レンズ周辺部の画像がレンズ中心部の画像に比べて輝度が低くなるので（周辺減光作用）、周辺部の画像の輝度を増大するよう補正するものである。画像中における周辺減光の割合は、一般にレンズ歪みの中心Ｐからの距離によって決まる。
【００３０】
（ａ）の例では、レンズ歪みの中心Ｐは画像中心Ｑと一致し、それらの画像上の座標を（ｘｏ，ｙｏ）とする。座標（ｘｏ，ｙｏ）での画像輝度を基準として、任意の座標（ｘ，ｙ）における周辺減光の割合（シェーディング量）を関数ｆ（ｘ，ｙ）で表す。関数ｆ（ｘ，ｙ）は座標（ｘｏ，ｙｏ）を中心に放射状に減衰する特性を示す。この関数ｆ（ｘ，ｙ）を予め測定しておき、その逆数１／ｆ（ｘ，ｙ）を補正式とすれば良い。周辺減光補正部５２は補正式１／ｆ（ｘ，ｙ）に従って各座標の輝度を補正（増大）することで、画面内を均一な輝度とすることができる。
【００３１】
（ｂ）の例では、画像中心Ｑ（ｘｏ，ｙｏ）に対しレンズ歪みの中心Ｐが（−ｄ，０）だけずれており、Ｐの座標は（ｘｏ−ｄ，ｙｏ）となる。このとき、画像上の任意の座標（ｘ，ｙ）における周辺減光の割合は、Ｐ位置を中心に前記（ａ）における周辺減光と同様に変化するから、ｆ（ｘ＋ｄ，ｙ）と表わされる。よって、（ｂ）における周辺減光の補正式は１／ｆ（ｘ＋ｄ，ｙ）となり、（ａ）における補正式を距離ｄだけずらして適用すれば良い。
【００３２】
なお、周辺減光補正部５２が周辺減光補正を実行する際には、予め周辺減光の補正式１／ｆ（ｘ，ｙ）の係数を求めてＦＬＡＳＨやＳＤＲＡＭ等の記録媒体に保存しておく。または、撮影画像の座標毎の補正量を予め求めておき、ルックアップテーブル形式で記録媒体に保存して用いても良い。
【００３３】
図４は、歪み補正部５３による歪み補正処理を説明する図である。（ａ）はカメラ１のようにレンズ歪みの中心と画像中心が一致している場合、（ｂ）はカメラ２のようにレンズ歪みの中心が画像中心からずれている（変位ｄ）場合の例である。レンズ歪みによる撮影画像の歪み量は、一般的にレンズ歪みの中心Ｐに対する位置によって決まり、歪み補正処理ではこれを座標変換で補正する。
【００３４】
（ａ）の例では、レンズ歪みの中心Ｐは画像中心Ｑと一致し、それらの画像上の座標を（ｘｏ，ｙｏ）とする。画像上のある座標（ｘ，ｙ）に対し歪み補正（座標変換）を施した後の対応座標を（ｘ’，ｙ’）で表している。補正前後の座標の対応は、予め校正によりレンズ歪みの特性を測定することで取得可能であり、レンズ歪みの中心Ｐに対する位置関係で決まる。そして歪み補正では、補正前の座標（ｘ、ｙ）における画素値を補正後の座標（ｘ’，ｙ’）の画素値として変換すれば良い。
【００３５】
（ｂ）の例では、画像中心Ｑ（ｘｏ，ｙｏ）に対しレンズ歪みの中心Ｐが（−ｄ，０）だけずれており、Ｐの座標は（ｘｏ−ｄ，ｙｏ）となる。このとき、補正前後の座標の対応はレンズ歪みの中心Ｐを基準とするので、補正前の画像上の座標（ｘ−ｄ，ｙ）は補正後の画像上の座標（ｘ’−ｄ，ｙ）に対応する。そして歪み補正では、補正前の座標（ｘ−ｄ，ｙ）における画素値を補正後の座標（ｘ’−ｄ，ｙ）の画素値として変換すれば良い。よって、（ｂ）における歪み補正は、（ａ）における座標変換の対応関係を距離ｄだけずらして適用すれば良い。
【００３６】
なお、歪み補正部５３がレンズ歪みの補正を実行する際には、予めレンズ歪みの特性を関数近似して求め、補正時に用いる座標変換式の係数をＦＬＡＳＨやＳＤＲＡＭ等の記録媒体に保存しておく。または、撮影画像における補正前後の座標の対応関係を求めておき、ルックアップテーブル形式で記録媒体に保存して用いても良い。
【００３７】
本実施例によれば、車両の四方に設置されたカメラ毎に異なる方向、変位量でレンズ歪みの中心Ｐを画像中心Ｑからずらすことで、カメラ設置位置に最適な画角の画像を取得することができる。その結果、生成した表示画像の視認性が向上し、また、撮影画像や生成した表示画像を元に画像認識を行う場合は、画像認識の認識性能が向上する。
【実施例２】
【００３８】
図５は、本発明の第２の実施例に係る車両周辺監視装置を示す構成図である。本実施例の車両周辺監視装置は、実施例１（図１）で示した構成に対し、画像処理部５の中に画像切出し部５５を追加している。また、実施例１（図１）においては、第２のカメラ２と第３のカメラ３においてレンズの光軸と撮像素子の中心とをずらして配置していたが、本実施例では、第１のカメラ１から第４のカメラ４の全てにおいて、レンズの光軸が撮像素子の中心を通るように配置している。以下、実施例１と異なる構成と動作について説明する。
【００３９】
画像切出し部５５は、第１のカメラ１から第４のカメラ４の出力する撮影画像１４〜４４に対し、歪み中心位置格納部５１より取得したそれぞれの撮影画像に対応する変位量ｄ１〜ｄ４の情報を用いて画像切出し処理を行う。すなわち、各撮影画像に対し、レンズ歪みの中心Ｐが画像中心Ｑから所定の変位量ｄ１〜ｄ４となるように画像を切り出す。切出し後の各画像を１４’〜４４’に示し、画像切出し後の画像中心をＱ’で示す。画像切出し処理は、各カメラ１〜４の出力する撮影画像の画素数が周辺減光補正部５２以降で必要な画素数より十分多い場合は、等倍で切出し処理を行う。十分に多くない場合には、切出し処理後にデジタル拡大処理を行えば良い。これにより、レンズの光軸と撮像素子の中心とをずらしたときと同様に、撮影画像のレンズ歪みの中心Ｐと画像中心Ｑ’との間に変位ｄ１〜ｄ４を持たせることを、信号処理のみで実現できる。そのため、第１のカメラ１から第４のカメラ４について同一の仕様のカメラを使用することができ、汎用性が向上するという利点がある。画像切出し部５５の画像切出し処理は、例えばＥＣＵやカーナビゲーションシステムに搭載されたＳｏＣや、専用のＬＳＩ、ＡＳＩＣ等によって行われる。
【００４０】
ここで画像切出し部５５は、歪み中心位置格納部５１とともに各カメラ１〜４の信号処理部１３〜４３においてそれぞれ所有する形態としても良い。そして各信号処理部１３〜４３は、各カメラ１〜４がレンズを介して受光した光学像を画像信号として出力する過程で、信号処理により所望の領域を切出し、切出し後の撮影画像を出力する。この場合の画像切出し処理は、例えば各カメラ１〜４にそれぞれ内蔵された信号処理ＤＳＰや専用のＬＳＩなどによって実行される。この形態によれば、画像処理部５において画像切出し処理を行う必要が無いため、画像処理部５の処理負荷の軽減を図ることが可能である。さらにまた、周辺減光補正部５２や歪み補正処理部５３などのカメラ毎に実施する処理について各カメラ１〜４の信号処理部１３〜４３で行えば、画像処理部５の処理負荷をさらに軽減することができる。
【００４１】
図６は、本実施例における画像切出し処理を説明する図である。（ａ）はカメラ１が出力する撮影画像に対する切出し画像の例、（ｂ）はカメラ２が出力する撮影画像に対する切出し画像の例である。なお、図中の点線はレンズ歪みの度合いを示し、破線１５，２５は画像切出しの範囲を示す。
【００４２】
カメラ１とカメラ２は同一仕様であるため、それらの出力する撮影画像１４，２４は同様のレンズ歪みの特性を有し、レンズ歪みの中心Ｐは画像中心Ｑと一致する。（ａ）で示すように、画像切出し部５５はカメラ１の出力する撮影画像１４に対しては、切出し画像１４’の画像中心Ｑ’がレンズ歪みの中心Ｐと一致するように画像切出し範囲１５を設定し切出しを行う。その結果切出し後の画像１４’は、レンズ歪みは切出し後の画像中心Ｑ’に対して点対称であり、画像中心付近では被写体の高解像度な画像が、画像周辺部では広視野な画像となる。
【００４３】
一方（ｂ）で示すように、カメラ２の出力する撮影画像２４に対しては、切出し画像２４’の画像中心Ｑ’がレンズ歪みの中心Ｐよりも右側にｄだけずれるように画像切出し範囲２５を設定し切出しを行う。その結果切出し後の画像２４’は、画像中心Ｑ’に対し右側の領域がレンズ歪みの度合いが大きくなるような指向性を持ち、画像の左側では被写体の高解像度な画像が、画像の右側では広視野な画像となる。このように、画像中心Ｑ’をレンズ歪みの中心Ｐからずらすように画像切出しを行うことで、信号処理のみでカメラの設置位置毎に異なる画角の画像を取得することができる。
【００４４】
本実施例における周辺減光補正部５２は、実施例１の場合と同様に、共通の補正式を画像の切出し位置に応じてずらして使用することができる。あるいは、撮像画像の切出し可能な範囲の全体について座標毎の補正量を予め求めておき、ルックアップテーブル形式で記録媒体に保存して用いても良い。この場合、画像切り出し範囲が変わった際にルックアップテーブルの読出しアドレスをそれに合わせて変更するだけで、変更後の切り出し画像に適切な周辺減光が実施可能であり、演算コストの低減が図れる。
【００４５】
本実施例における歪み補正部５３は、実施例１の場合と同様に、共通の座標変換式を画像の切出し位置に応じてずらして使用することができる。あるいは、撮像画像の切出し可能な範囲の全体について、予め補正前後の座標の対応付けを求めておき、ルックアップテーブル形式で記録媒体に保存して用いても良い。この場合、画像切り出し範囲が変わった際にルックアップテーブルの読出しアドレスをそれに合わせて変更するだけで、変更後の切り出し画像に適切な歪み補正が実施可能であり、演算コストの低減が図れる。
【００４６】
本実施例においても、車両の四方に設置されたカメラ毎に異なる方向、変位量でレンズ歪みの中心Ｐを画像中心Ｑ’からずらすことで、カメラ設置位置に最適な画角の画像を取得することができる。その結果、生成した表示画像の視認性が向上し、また、撮影画像や生成した表示画像を元に画像認識を行う場合は、画像認識の認識性能が向上する。さらに、信号処理のみでレンズ歪みの中心を画像中心との変位が実現できるため、全てのカメラに同一仕様のカメラを採用することができ実用性に優れる。
【実施例３】
【００４７】
図７は、本発明の第３の実施例に係る車両周辺監視装置を示す構成図である。本実施例の車両周辺監視装置は、実施例１（図１）で示した構成に対し、設定入力部７とカメラ制御部８を追加している。
【００４８】
設定入力部７は、キーボードやマウスやタッチパネル等の入力端末とモニタ等の画像表示端末を備える。設定入力部７は、歪み中心位置格納部５１から各カメラ１〜４におけるレンズ歪みの中心Ｐの画像中心Ｑからの変位量ｄ１〜ｄ４の情報を取得し、画像表示端末に表示する。ユーザは画像表示端末を見ながら、入力端末を用いて変位量ｄ１〜ｄ４の設定を変更することができる。設定入力部７はユーザにより設定変更がなされると、変更された変位量情報をカメラ制御部８と歪み中心位置格納部５１に出力する。ここでユーザとは、例えば運転者や校正の担当者など車両周辺監視装置を操作する全ての人物を指す。
【００４９】
カメラ制御部８は、設定入力部７から出力されるユーザの設定した変位量情報を基に、対応する各カメラ１〜４に対しレンズまたは撮像素子の配置（位置関係）を変更するための制御信号を出力する。なお、現在の配置を継続する場合は制御信号を出力しない。各カメラ１〜４は制御信号を受けると、図示しないアクチュエータによりそれぞれのレンズまたは撮像素子をシフトさせることで、ユーザの設定した変位量を実現する。
【００５０】
歪み中心位置格納部５１は、設定入力部７から出力される変位量情報を基づき、格納している変位量情報を更新する。そのとき、各カメラ１〜４の出力する各々の撮影画像に画像処理を行ってレンズ歪みの実際の中心位置を推定し、アクチュエータの動作で発生する微小な誤差を修正することで精度の高い変位情報を取得することができる。周辺減光補正部５２、歪み補正部５３、視点変換部５４は、歪み中心位置格納部５１の出力する更新した変位量の情報を用いてそれぞれ処理を行う。
【００５１】
本実施例によれば、ユーザは、車両の四方に設置されたカメラ毎に異なる方向、変位量でレンズ歪みの中心を画像中心から任意の位置にずらすことが可能である。また、ユーザが設定を変更する毎に、設定変更後の撮影画像から合成された俯瞰画像が直ちにモニタ６に表示される。ユーザは俯瞰画像を見て視認性の改善効果を確認しながら、カメラ毎に最適な変位量と方向にレンズ歪みの中心をずらすことが可能となり、操作性が向上する。そのため、工場出荷時や出荷後の校正が容易になる。
【実施例４】
【００５２】
図８は、本発明の第４の実施例に係る車両周辺監視装置を示す構成図である。本実施例の車両周辺監視装置は、実施例２（図５）で示した構成に対し、設定入力部７を追加している。
設定入力部７は、キーボードやマウスやタッチパネル等の入力端末とモニタ等の画像表示端末を備える。設定入力部７は、歪み中心位置格納部５１から、画像切出し部５５が各カメラ１〜４の撮影画像に対し画像切出し処理を行う際のレンズ歪みの中心Ｐの画像中心Ｑからの変位量ｄ１〜ｄ４の情報を取得し、画像表示端末に表示する。ユーザは画像表示端末を見ながら、入力端末を用いて変位量ｄ１〜ｄ４の設定を変更することができる。設定入力部７はユーザにより設定変更がなされると、変更された変位量情報を歪み中心位置格納部５１に出力する。
【００５３】
歪み中心位置格納部５１は、設定入力部７から出力される変位量情報を基づき、格納している変位量情報を更新する。画像切出し部５５、周辺減光補正部５２、歪み補正部５３、視点変換部５４は、歪み中心位置格納部５１の出力する更新した変位量の情報に従いそれぞれ処理を行う。
【００５４】
本実施例によれば、ユーザは、車両の四方に設置されたカメラ毎に異なる方向、変位量でレンズ歪みの中心を画像中心から任意の位置にずらすことが可能である。また、ユーザが設定を変更する毎に、設定変更後の撮影画像から合成された俯瞰画像が直ちにモニタ６に表示される。ユーザは俯瞰画像を見て視認性の改善効果を確認しながら、カメラ毎に最適な変位量と方向にレンズ歪みの中心をずらすことが可能となり、操作性が向上する。そのため、工場出荷時や出荷後の校正が容易になる。さらに本実施例では、信号処理のみでレンズ歪みの中心を画像中心との変位が実現できるため、全てのカメラに同一仕様のカメラを採用することができ実用性に優れる。
【００５５】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
【産業上の利用可能性】
【００５６】
本発明は複数のカメラを用いた車両周辺監視システムだけでなく、複数のカメラを用いた広域監視システムなどにも利用可能である。
【符号の説明】
【００５７】
１〜４…第１〜第４のカメラ、
１１，２１，３１，４１…広角レンズ、
１２，２２，３２，４２…撮像素子、
１３，２３，３３，４３…信号処理部、
１４，２４，３４，４４…撮影画像の例、
５…画像処理部、
５１…歪み中心位置格納部、
５２…周辺減光補正部、
５３…歪み補正部、
５４…視点変換部、
５５…画像切出し部、
６…モニタ、
６１…表示画像の例、
７…設定入力部、
８…カメラ制御部、
９…車両。
【技術分野】
【０００１】
本発明は、車両に設置した複数のカメラで車両周囲を撮像し、これに画像処理を施しモニタに表示する車両周辺監視装置に関する。
【背景技術】
【０００２】
近年、車両に設置した複数のカメラで車両の周囲を死角なく撮像し、視点変換等の画像処理を行うことで視認性の高い表示画像を生成してモニタで表示することで、運転者に対する運転支援や事故防止などを目指す車両周辺監視装置が実用化されてきている。
【０００３】
本装置の関連技術として、例えば特許文献１では、車両の四方に設置したカメラで車両の周囲を撮影し、撮影した画像を俯瞰画像に変換すると共に繋ぎ合わせることで、１つの連続した俯瞰画像として表示するシステムが開示される。その際、俯瞰表示画像の繋ぎ目部分に対応する領域に障害物が存在することが検知された場合には、俯瞰表示画像の繋ぎ目部分となる位置を変化させて、障害物が存在する位置で不連続性が生じない俯瞰画像を表示する構成が述べられている。
【０００４】
また特許文献２では、画像を撮像する撮像素子と、撮像素子の画角を規定するレンズとを備え、撮像素子の受光面の中心をレンズの光軸より上方向にずらして配置する構成が開示される。そしてこの構成によれば、撮像範囲をレンズの上軸よりも下方にずらすことができ、デザイン性を損なわず、車両の一部から車両周辺を撮像することができると述べられている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−４１７９１号公報
【特許文献２】特開２００８−５４０３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
車両周辺監視装置に設置するカメラには、撮像範囲を広くとるため広角レンズが用いられることが多い。広角レンズを使用した場合、レンズ中心部は画像歪みが小さく解像度が高い画像となるが視野角は狭くなる。一方、レンズ周辺部は視野角が広いが画像歪みが大きく解像度が低い画像となる。また、複数のカメラを車両に設置する車両周辺監視装置では、車両の形状によってカメラの取り付け可能な位置が制限される。これらの要因により、カメラの画角内であっても広角レンズとの位置関係により、得られる画像の解像度や視野範囲に差が生じる。その結果、監視対象領域に存在する被写体の解像度が十分でなく、視認性が低下したり画像認識性能が低下したりする恐れがある。
【０００７】
そこで本発明では、カメラの取り付け位置に応じて、カメラ毎に最適な視野と解像度の領域設定を行うことができる車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、車両に設置した複数のカメラで車両周辺を撮像しモニタに表示する車両周辺監視装置であって、複数のカメラはそれぞれ広角レンズと撮像素子と信号処理部を有し、複数のカメラが出力する複数の撮影画像に対し画像処理を行い、モニタへ表示する表示画像を生成する画像処理部を備え、複数のカメラから出力され画像処理部で処理される複数の撮影画像のうち少なくとも１つの撮影画像は、広角レンズのレンズ歪みの中心が撮影画像の中心から所定量だけ変位していることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、カメラの取り付け位置に応じて、カメラ毎に最適な視野と解像度の領域設定を行うことができる。これにより、監視領域に存在する被写体の解像度が向上し、被写体の視認性や画像認識性能を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施例に係る車両周辺監視装置を示す構成図。
【図２】本実施例における撮影画像の視野と解像度の関係を示す図。
【図３】周辺減光補正部５２による周辺減光処理を説明する図。
【図４】歪み補正部５３による歪み補正処理を説明する図。
【図５】本発明の第２の実施例に係る車両周辺監視装置を示す構成図。
【図６】本実施例における画像切出し処理を説明する図。
【図７】本発明の第３の実施例に係る車両周辺監視装置を示す構成図。
【図８】本発明の第４の実施例に係る車両周辺監視装置を示す構成図。
【発明を実施するための形態】
【００１１】
以下、図面を用いて本発明の実施例を説明する。
【実施例１】
【００１２】
図１は、本発明の第１の実施例に係る車両周辺監視装置を示す構成図である。本実施例の車両周辺監視装置は、車両の四方に広角なカメラを設置して車両の周囲を撮像し、車両の上方から下向きに設置したと仮定した仮想カメラの視点に各々の撮影画像を視点変換し、俯瞰画像として合成しモニタへ表示する構成である。
【００１３】
撮像部として、１は車両の前方に設置された第１のカメラ、２は車両の右側方に設置された第２のカメラ、３は車両の左側方に設置された第３のカメラ、４は車両の後方に設置された第４のカメラである。各カメラ１〜４は、それぞれ、広角レンズ１１〜４１、撮像素子１２〜４２、信号処理部１３〜４３を有する。各カメラ１〜４から出力される撮影画像の例をそれぞれ画像１４〜４４で示す。５は各カメラからの画像を処理する画像処理部である。画像処理部５において、５１は歪み中心位置格納部、５２は周辺減光補正部、５３は歪み補正部、５４は視点変換部である。６は画像処理された画像を表示するモニタ（画像表示部）で、６１はモニタ６に表示される画像の例である。以下、各部の構成と動作を説明する。
【００１４】
第１のカメラ１は、広角レンズ１１、撮像素子１２、信号処理部１３の他に、不図示のアイリス、シャッタ、ＣＤＳ、ＡＧＣ、タイミングジェネレータなどにより構成される。カメラ１では、広角レンズ１１を介して受光した光学像を光電変換し、得られた信号に対し信号処理を行い、撮影画像１４のような画像信号を出力する。他のカメラ２〜４も同様に構成され、広角レンズを介して受光した光学像を光電変換し、得られた信号に対し信号処理を行い撮影画像２４〜４４のような画像信号を出力する。なお、各カメラ１〜４の出力する撮影画像１４〜４４において、レンズ歪みの度合いを点線で示している。
【００１５】
本実施例では、車両の前方に設置された第１のカメラ１、および車両の後方に設置された第４のカメラ４においては、図中に点線で示した広角レンズ１１，４１の光軸Ｐが撮像素子１２，４２の中心Ｑを通るように配置されている。そのため、カメラ１およびカメラ４の出力する撮影画像１４，４４は、レンズ歪み中心Ｐと画像中心Ｑとが一致し、レンズ歪みは画像中心Ｑに対し点対称に分布する。一方で、車両の右側方に設置された第２のカメラ２においては、広角レンズ２１の光軸Ｐを撮像素子２２の中心Ｑに対し、車両前方方向に所定量ｄずらして配置されている。そのため、カメラ２の出力する撮影画像２４は、レンズ歪み中心Ｐが画像中心Ｑよりも所定量ｄ’だけ左側にシフトし、画像中心Ｑに対し右側のレンズ歪みの度合いが大きくなるような指向性を持った分布となる。同様に、車両の左側方に設置された第３のカメラ３においては、広角レンズ３１の光軸Ｐを撮像素子３２の中心Ｑに対し、車両前方方向に所定量ｄずらして配置されている。そのため、カメラ３の出力する撮影画像３４は、レンズ歪み中心Ｐが画像中心Ｑよりも所定量ｄ’だけ右側にシフトし、画像中心Ｑに対し左側のレンズ歪みの度合いが大きくなるような指向性を持った分布となる。
【００１６】
画像処理部５は、４台のカメラ１〜４から出力される４つの撮影画像１４〜４４に対し画像処理を行い、表示画像を生成してモニタ６に出力する。画像処理部５において、歪み中心位置格納部５１は、各カメラ１〜４の出力する各々の撮影画像１４〜４４におけるレンズ歪み中心Ｐの画像中心Ｑからの変位量ｄ１〜ｄ４を格納し、周辺減光補正部５２、歪み補正部５３、視点変換部５４に出力する。ここに各カメラのレンズ歪み中心変位量ｄ１〜ｄ４は、予めカメラ毎に測定して、測定値をＥＥＰＲＯＭやＦＬＡＳＨ等の記録媒体に格納しておく。または、画像処理により撮影画像からレンズ歪みの中心Ｐを検出し、画像中心Ｑからの変位量ｄ１〜ｄ４を推定して記録媒体に格納しても良い。あるいは、各カメラ１〜４がそれぞれ不図示の記録媒体を備えてそれぞれのカメラの変位量ｄ１〜ｄ４を格納しても良い。そして電源投入時に、歪み中心位置格納部５１が各々のカメラと通信して変位量ｄ１〜ｄ４を取得し、周辺減光補正部５２、歪み補正部５３、視点変換部５４に出力する形態としても良い。この形態では、カメラ側で自己の変位量ｄ１〜ｄ４の情報を有するため、例えば故障等でカメラの一部を交換した場合でも、歪み中心位置格納部５１は格納している変位量の情報を更新する必要がない。
【００１７】
周辺減光補正部５２は、各カメラ１〜４の出力する撮影画像１４〜４４に対し、歪み中心位置格納部５１より取得したそれぞれのレンズ歪み中心変位量ｄ１〜ｄ４の情報を用いて、周辺減光補正処理を行う。なお、周辺減光補正処理の詳細は図３を用いて後述する。
【００１８】
歪み補正部５３は、周辺減光補正処理を実施したそれぞれの撮影画像１４〜４４に対し、歪み中心位置格納部５１より取得したそれぞれのレンズ歪み中心変位量ｄ１〜ｄ４の情報を用いて、歪み補正処理を行う。なお、歪み補正処理の詳細は図４を用いて後述する。
【００１９】
視点変換部５４は、歪み補正処理を行ったそれぞれの撮影画像１４〜４４に対し、歪み中心位置格納部５１より取得したそれぞれのレンズ歪み中心変位量ｄ１〜ｄ４の情報を用いて、視点変換処理や画像合成処理を行い、表示画像としてモニタ６に出力する。
【００２０】
なお、周辺減光補正処理や歪み補正処理や視点変換処理の処理順序はこれに限定せずに、例えば処理の一部を省略したり、歪み補正処理と視点変換処理を同時に行っても良い。また、画像認識による障害物検出や、文字や予め用意した別の画像の重畳表示などを行って監視機能の向上を図っても良い。
【００２１】
モニタ（画像表示部）６は、画像処理部５の出力する表示画像を例えば符号６１に示す表示形態にてユーザに対し提示する。ここに表示画像６１は、車両の四方に設置されたカメラ１〜４の出力した撮影画像をもとに、駐車支援のための俯瞰画像として合成し表示した例であり、四方の台形に囲まれた４つの領域が各カメラ１〜４の出力した撮影画像に相当する。その際、カメラ毎にその設置位置に応じてレンズ歪みの指向性と視野角をそれぞれ最適に設定して撮影し、それらの画像を合成してユーザに提示するようにしている。
【００２２】
なお、画像処理部５の周辺減光補正処理や歪み補正処理や視点変換処理や画像合成処理は、例えばＥＣＵ（電子制御ユニット）やカーナビゲーションシステムに搭載されたＳｏＣ（System-on-a-Chip）や、専用のＬＳＩ、ＡＳＩＣ等によって行われる。
【００２３】
図２は、本実施例における撮影画像の視野と解像度の関係を示す図である。（ａ）は各カメラの設置位置と撮影範囲を示す図、（ｂ）は第１のカメラ１の出力する撮影画像１４の例を示す図、（ｃ）と（ｄ）は第２のカメラ２の出力する撮影画像２４の２つの例を示す図である。
【００２４】
（ａ）で示すように４台のカメラは車両９の前後左右に１台ずつ設置され、第１のカメラ１は車両の前方に、第２のカメラ２は車両の右側方に、第３のカメラ３は車両の左側方に、第４のカメラ４は車両の後方に設置される。特に左右のカメラ２，３は、車両フロント部のサイドミラー近辺に設置され、車両後方を斜め方向に撮影するように取り付けられている。各カメラの撮像範囲、すなわち視野を破線で示すが、各カメラの撮像範囲は境界部で互いに重なり合うようにしている。
【００２５】
（ｂ）は第１のカメラ１で撮影した撮影画像の例であり、レンズ歪みの度合いを点線で示している。カメラ１は、広角レンズの光軸Ｐと撮像素子の中心Ｑが一致するように配置することで、撮影画像はレンズ歪み中心Ｐと画像中心Ｑとのずれがなく（変位量ｄ１＝０）、レンズ歪みは画像中心Ｑに対して点対称に分布する。すなわち、画像中心Ｑ付近では高解像度の被写体の画像が、画像周辺部（左右側面）では広視野な画像が得られる。第１のカメラ１は車両前方に対して正面向きに設置されており、これにより車両前方全体を均一に見渡す撮影画像を取得することが可能である。その際監視対象として優先すべき前方視野中央部の解像度が高くなるので、適切な設定といえる。
【００２６】
（ｃ）は第２のカメラ２で撮影した撮影画像の例であり、レンズ歪みの度合いを点線で図示している。カメラ２においては、広角レンズの光軸Ｐを撮像素子の中心Ｑに対し車両前方方向にずれているので、撮影画像中のレンズ歪みの中心Ｐは画像中心Ｑよりも左側にシフトし（変位量ｄ２＝ｄ’）、レンズ歪みの分布は画像中心Ｑに対し右側の領域が大きくなる指向性を有している。すなわち、画像左側では高解像度の被写体の画像が、画像右側では広視野な画像が得られる。さらに第２のカメラ２は車両右側方において斜め後方を向いて設置されているので、カメラに近い画面左側ではより高解像度な画像が得られ、カメラより遠い画面右側ではより広視野な画像が得られることになる。この例ではカメラ２は車両右側方のサイドミラー近辺に取り付けられているので、車両側面のうち運転席に近い領域の被写体を大きく撮影し解像度の高い画像が得られる。このように、カメラの設置位置が制限されていても、画面内の解像度と視野の配置を監視目的に合わせて好適に設定することができる。
【００２７】
これに対し（ｄ）は、（ｃ）と逆の構成にした場合である。第２のカメラ２において、広角レンズの光軸Ｐを撮像素子の中心Ｑに対し、車両後方方向にずらした場合で、撮影画像中のレンズ歪みの中心Ｐが画像中心Ｑよりも右側にシフトする（変位量ｄ２＝−ｄ’）。この場合は、画像中心Ｑに対し左側の領域のレンズ歪みの度合いが大きくなるように指向性を有している。その結果、カメラに近い画面左側では視野が狭くなる欠点を広視野化させ、カメラより遠い画面右側では被写体が小さく解像度が低下する欠点を高解像度化させることで、画像全体としてバランスのとれた性能を得ることができる。（ｃ）と（ｄ）のいずれの構成を選択するかは、監視目的に合わせて適宜設定すれば良い。
【００２８】
また、（ｃ）と（ｄ）ではレンズ歪みの中心Ｐを画像中心Ｑに対し左右方向にのみずらしているが、例えばカメラが水平に対し俯角を持って設置している場合にはさらにレンズ歪みの中心Ｐを画像中心Ｑに対し上方向にずらすことにより、カメラから遠方に対して視野を広げた画像を取得することができる。このように、カメラ毎にレンズ歪みの中心Ｐの画像中心Ｑからの変位の方向と変位の量とを定めることにより、カメラの設置位置に応じて最適な画角の画像を取得することができる。
【００２９】
次に、本実施例における周辺減光補正部５２と歪み補正部５３の動作について説明する。
図３は、周辺減光補正部５２による周辺減光処理を説明する図である。（ａ）はカメラ１のようにレンズ歪みの中心と画像中心が一致している場合、（ｂ）はカメラ２のようにレンズ歪みの中心が画像中心からずれている（変位ｄ）場合の例である。周辺減光処理では、レンズ周辺部の画像がレンズ中心部の画像に比べて輝度が低くなるので（周辺減光作用）、周辺部の画像の輝度を増大するよう補正するものである。画像中における周辺減光の割合は、一般にレンズ歪みの中心Ｐからの距離によって決まる。
【００３０】
（ａ）の例では、レンズ歪みの中心Ｐは画像中心Ｑと一致し、それらの画像上の座標を（ｘｏ，ｙｏ）とする。座標（ｘｏ，ｙｏ）での画像輝度を基準として、任意の座標（ｘ，ｙ）における周辺減光の割合（シェーディング量）を関数ｆ（ｘ，ｙ）で表す。関数ｆ（ｘ，ｙ）は座標（ｘｏ，ｙｏ）を中心に放射状に減衰する特性を示す。この関数ｆ（ｘ，ｙ）を予め測定しておき、その逆数１／ｆ（ｘ，ｙ）を補正式とすれば良い。周辺減光補正部５２は補正式１／ｆ（ｘ，ｙ）に従って各座標の輝度を補正（増大）することで、画面内を均一な輝度とすることができる。
【００３１】
（ｂ）の例では、画像中心Ｑ（ｘｏ，ｙｏ）に対しレンズ歪みの中心Ｐが（−ｄ，０）だけずれており、Ｐの座標は（ｘｏ−ｄ，ｙｏ）となる。このとき、画像上の任意の座標（ｘ，ｙ）における周辺減光の割合は、Ｐ位置を中心に前記（ａ）における周辺減光と同様に変化するから、ｆ（ｘ＋ｄ，ｙ）と表わされる。よって、（ｂ）における周辺減光の補正式は１／ｆ（ｘ＋ｄ，ｙ）となり、（ａ）における補正式を距離ｄだけずらして適用すれば良い。
【００３２】
なお、周辺減光補正部５２が周辺減光補正を実行する際には、予め周辺減光の補正式１／ｆ（ｘ，ｙ）の係数を求めてＦＬＡＳＨやＳＤＲＡＭ等の記録媒体に保存しておく。または、撮影画像の座標毎の補正量を予め求めておき、ルックアップテーブル形式で記録媒体に保存して用いても良い。
【００３３】
図４は、歪み補正部５３による歪み補正処理を説明する図である。（ａ）はカメラ１のようにレンズ歪みの中心と画像中心が一致している場合、（ｂ）はカメラ２のようにレンズ歪みの中心が画像中心からずれている（変位ｄ）場合の例である。レンズ歪みによる撮影画像の歪み量は、一般的にレンズ歪みの中心Ｐに対する位置によって決まり、歪み補正処理ではこれを座標変換で補正する。
【００３４】
（ａ）の例では、レンズ歪みの中心Ｐは画像中心Ｑと一致し、それらの画像上の座標を（ｘｏ，ｙｏ）とする。画像上のある座標（ｘ，ｙ）に対し歪み補正（座標変換）を施した後の対応座標を（ｘ’，ｙ’）で表している。補正前後の座標の対応は、予め校正によりレンズ歪みの特性を測定することで取得可能であり、レンズ歪みの中心Ｐに対する位置関係で決まる。そして歪み補正では、補正前の座標（ｘ、ｙ）における画素値を補正後の座標（ｘ’，ｙ’）の画素値として変換すれば良い。
【００３５】
（ｂ）の例では、画像中心Ｑ（ｘｏ，ｙｏ）に対しレンズ歪みの中心Ｐが（−ｄ，０）だけずれており、Ｐの座標は（ｘｏ−ｄ，ｙｏ）となる。このとき、補正前後の座標の対応はレンズ歪みの中心Ｐを基準とするので、補正前の画像上の座標（ｘ−ｄ，ｙ）は補正後の画像上の座標（ｘ’−ｄ，ｙ）に対応する。そして歪み補正では、補正前の座標（ｘ−ｄ，ｙ）における画素値を補正後の座標（ｘ’−ｄ，ｙ）の画素値として変換すれば良い。よって、（ｂ）における歪み補正は、（ａ）における座標変換の対応関係を距離ｄだけずらして適用すれば良い。
【００３６】
なお、歪み補正部５３がレンズ歪みの補正を実行する際には、予めレンズ歪みの特性を関数近似して求め、補正時に用いる座標変換式の係数をＦＬＡＳＨやＳＤＲＡＭ等の記録媒体に保存しておく。または、撮影画像における補正前後の座標の対応関係を求めておき、ルックアップテーブル形式で記録媒体に保存して用いても良い。
【００３７】
本実施例によれば、車両の四方に設置されたカメラ毎に異なる方向、変位量でレンズ歪みの中心Ｐを画像中心Ｑからずらすことで、カメラ設置位置に最適な画角の画像を取得することができる。その結果、生成した表示画像の視認性が向上し、また、撮影画像や生成した表示画像を元に画像認識を行う場合は、画像認識の認識性能が向上する。
【実施例２】
【００３８】
図５は、本発明の第２の実施例に係る車両周辺監視装置を示す構成図である。本実施例の車両周辺監視装置は、実施例１（図１）で示した構成に対し、画像処理部５の中に画像切出し部５５を追加している。また、実施例１（図１）においては、第２のカメラ２と第３のカメラ３においてレンズの光軸と撮像素子の中心とをずらして配置していたが、本実施例では、第１のカメラ１から第４のカメラ４の全てにおいて、レンズの光軸が撮像素子の中心を通るように配置している。以下、実施例１と異なる構成と動作について説明する。
【００３９】
画像切出し部５５は、第１のカメラ１から第４のカメラ４の出力する撮影画像１４〜４４に対し、歪み中心位置格納部５１より取得したそれぞれの撮影画像に対応する変位量ｄ１〜ｄ４の情報を用いて画像切出し処理を行う。すなわち、各撮影画像に対し、レンズ歪みの中心Ｐが画像中心Ｑから所定の変位量ｄ１〜ｄ４となるように画像を切り出す。切出し後の各画像を１４’〜４４’に示し、画像切出し後の画像中心をＱ’で示す。画像切出し処理は、各カメラ１〜４の出力する撮影画像の画素数が周辺減光補正部５２以降で必要な画素数より十分多い場合は、等倍で切出し処理を行う。十分に多くない場合には、切出し処理後にデジタル拡大処理を行えば良い。これにより、レンズの光軸と撮像素子の中心とをずらしたときと同様に、撮影画像のレンズ歪みの中心Ｐと画像中心Ｑ’との間に変位ｄ１〜ｄ４を持たせることを、信号処理のみで実現できる。そのため、第１のカメラ１から第４のカメラ４について同一の仕様のカメラを使用することができ、汎用性が向上するという利点がある。画像切出し部５５の画像切出し処理は、例えばＥＣＵやカーナビゲーションシステムに搭載されたＳｏＣや、専用のＬＳＩ、ＡＳＩＣ等によって行われる。
【００４０】
ここで画像切出し部５５は、歪み中心位置格納部５１とともに各カメラ１〜４の信号処理部１３〜４３においてそれぞれ所有する形態としても良い。そして各信号処理部１３〜４３は、各カメラ１〜４がレンズを介して受光した光学像を画像信号として出力する過程で、信号処理により所望の領域を切出し、切出し後の撮影画像を出力する。この場合の画像切出し処理は、例えば各カメラ１〜４にそれぞれ内蔵された信号処理ＤＳＰや専用のＬＳＩなどによって実行される。この形態によれば、画像処理部５において画像切出し処理を行う必要が無いため、画像処理部５の処理負荷の軽減を図ることが可能である。さらにまた、周辺減光補正部５２や歪み補正処理部５３などのカメラ毎に実施する処理について各カメラ１〜４の信号処理部１３〜４３で行えば、画像処理部５の処理負荷をさらに軽減することができる。
【００４１】
図６は、本実施例における画像切出し処理を説明する図である。（ａ）はカメラ１が出力する撮影画像に対する切出し画像の例、（ｂ）はカメラ２が出力する撮影画像に対する切出し画像の例である。なお、図中の点線はレンズ歪みの度合いを示し、破線１５，２５は画像切出しの範囲を示す。
【００４２】
カメラ１とカメラ２は同一仕様であるため、それらの出力する撮影画像１４，２４は同様のレンズ歪みの特性を有し、レンズ歪みの中心Ｐは画像中心Ｑと一致する。（ａ）で示すように、画像切出し部５５はカメラ１の出力する撮影画像１４に対しては、切出し画像１４’の画像中心Ｑ’がレンズ歪みの中心Ｐと一致するように画像切出し範囲１５を設定し切出しを行う。その結果切出し後の画像１４’は、レンズ歪みは切出し後の画像中心Ｑ’に対して点対称であり、画像中心付近では被写体の高解像度な画像が、画像周辺部では広視野な画像となる。
【００４３】
一方（ｂ）で示すように、カメラ２の出力する撮影画像２４に対しては、切出し画像２４’の画像中心Ｑ’がレンズ歪みの中心Ｐよりも右側にｄだけずれるように画像切出し範囲２５を設定し切出しを行う。その結果切出し後の画像２４’は、画像中心Ｑ’に対し右側の領域がレンズ歪みの度合いが大きくなるような指向性を持ち、画像の左側では被写体の高解像度な画像が、画像の右側では広視野な画像となる。このように、画像中心Ｑ’をレンズ歪みの中心Ｐからずらすように画像切出しを行うことで、信号処理のみでカメラの設置位置毎に異なる画角の画像を取得することができる。
【００４４】
本実施例における周辺減光補正部５２は、実施例１の場合と同様に、共通の補正式を画像の切出し位置に応じてずらして使用することができる。あるいは、撮像画像の切出し可能な範囲の全体について座標毎の補正量を予め求めておき、ルックアップテーブル形式で記録媒体に保存して用いても良い。この場合、画像切り出し範囲が変わった際にルックアップテーブルの読出しアドレスをそれに合わせて変更するだけで、変更後の切り出し画像に適切な周辺減光が実施可能であり、演算コストの低減が図れる。
【００４５】
本実施例における歪み補正部５３は、実施例１の場合と同様に、共通の座標変換式を画像の切出し位置に応じてずらして使用することができる。あるいは、撮像画像の切出し可能な範囲の全体について、予め補正前後の座標の対応付けを求めておき、ルックアップテーブル形式で記録媒体に保存して用いても良い。この場合、画像切り出し範囲が変わった際にルックアップテーブルの読出しアドレスをそれに合わせて変更するだけで、変更後の切り出し画像に適切な歪み補正が実施可能であり、演算コストの低減が図れる。
【００４６】
本実施例においても、車両の四方に設置されたカメラ毎に異なる方向、変位量でレンズ歪みの中心Ｐを画像中心Ｑ’からずらすことで、カメラ設置位置に最適な画角の画像を取得することができる。その結果、生成した表示画像の視認性が向上し、また、撮影画像や生成した表示画像を元に画像認識を行う場合は、画像認識の認識性能が向上する。さらに、信号処理のみでレンズ歪みの中心を画像中心との変位が実現できるため、全てのカメラに同一仕様のカメラを採用することができ実用性に優れる。
【実施例３】
【００４７】
図７は、本発明の第３の実施例に係る車両周辺監視装置を示す構成図である。本実施例の車両周辺監視装置は、実施例１（図１）で示した構成に対し、設定入力部７とカメラ制御部８を追加している。
【００４８】
設定入力部７は、キーボードやマウスやタッチパネル等の入力端末とモニタ等の画像表示端末を備える。設定入力部７は、歪み中心位置格納部５１から各カメラ１〜４におけるレンズ歪みの中心Ｐの画像中心Ｑからの変位量ｄ１〜ｄ４の情報を取得し、画像表示端末に表示する。ユーザは画像表示端末を見ながら、入力端末を用いて変位量ｄ１〜ｄ４の設定を変更することができる。設定入力部７はユーザにより設定変更がなされると、変更された変位量情報をカメラ制御部８と歪み中心位置格納部５１に出力する。ここでユーザとは、例えば運転者や校正の担当者など車両周辺監視装置を操作する全ての人物を指す。
【００４９】
カメラ制御部８は、設定入力部７から出力されるユーザの設定した変位量情報を基に、対応する各カメラ１〜４に対しレンズまたは撮像素子の配置（位置関係）を変更するための制御信号を出力する。なお、現在の配置を継続する場合は制御信号を出力しない。各カメラ１〜４は制御信号を受けると、図示しないアクチュエータによりそれぞれのレンズまたは撮像素子をシフトさせることで、ユーザの設定した変位量を実現する。
【００５０】
歪み中心位置格納部５１は、設定入力部７から出力される変位量情報を基づき、格納している変位量情報を更新する。そのとき、各カメラ１〜４の出力する各々の撮影画像に画像処理を行ってレンズ歪みの実際の中心位置を推定し、アクチュエータの動作で発生する微小な誤差を修正することで精度の高い変位情報を取得することができる。周辺減光補正部５２、歪み補正部５３、視点変換部５４は、歪み中心位置格納部５１の出力する更新した変位量の情報を用いてそれぞれ処理を行う。
【００５１】
本実施例によれば、ユーザは、車両の四方に設置されたカメラ毎に異なる方向、変位量でレンズ歪みの中心を画像中心から任意の位置にずらすことが可能である。また、ユーザが設定を変更する毎に、設定変更後の撮影画像から合成された俯瞰画像が直ちにモニタ６に表示される。ユーザは俯瞰画像を見て視認性の改善効果を確認しながら、カメラ毎に最適な変位量と方向にレンズ歪みの中心をずらすことが可能となり、操作性が向上する。そのため、工場出荷時や出荷後の校正が容易になる。
【実施例４】
【００５２】
図８は、本発明の第４の実施例に係る車両周辺監視装置を示す構成図である。本実施例の車両周辺監視装置は、実施例２（図５）で示した構成に対し、設定入力部７を追加している。
設定入力部７は、キーボードやマウスやタッチパネル等の入力端末とモニタ等の画像表示端末を備える。設定入力部７は、歪み中心位置格納部５１から、画像切出し部５５が各カメラ１〜４の撮影画像に対し画像切出し処理を行う際のレンズ歪みの中心Ｐの画像中心Ｑからの変位量ｄ１〜ｄ４の情報を取得し、画像表示端末に表示する。ユーザは画像表示端末を見ながら、入力端末を用いて変位量ｄ１〜ｄ４の設定を変更することができる。設定入力部７はユーザにより設定変更がなされると、変更された変位量情報を歪み中心位置格納部５１に出力する。
【００５３】
歪み中心位置格納部５１は、設定入力部７から出力される変位量情報を基づき、格納している変位量情報を更新する。画像切出し部５５、周辺減光補正部５２、歪み補正部５３、視点変換部５４は、歪み中心位置格納部５１の出力する更新した変位量の情報に従いそれぞれ処理を行う。
【００５４】
本実施例によれば、ユーザは、車両の四方に設置されたカメラ毎に異なる方向、変位量でレンズ歪みの中心を画像中心から任意の位置にずらすことが可能である。また、ユーザが設定を変更する毎に、設定変更後の撮影画像から合成された俯瞰画像が直ちにモニタ６に表示される。ユーザは俯瞰画像を見て視認性の改善効果を確認しながら、カメラ毎に最適な変位量と方向にレンズ歪みの中心をずらすことが可能となり、操作性が向上する。そのため、工場出荷時や出荷後の校正が容易になる。さらに本実施例では、信号処理のみでレンズ歪みの中心を画像中心との変位が実現できるため、全てのカメラに同一仕様のカメラを採用することができ実用性に優れる。
【００５５】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
【産業上の利用可能性】
【００５６】
本発明は複数のカメラを用いた車両周辺監視システムだけでなく、複数のカメラを用いた広域監視システムなどにも利用可能である。
【符号の説明】
【００５７】
１〜４…第１〜第４のカメラ、
１１，２１，３１，４１…広角レンズ、
１２，２２，３２，４２…撮像素子、
１３，２３，３３，４３…信号処理部、
１４，２４，３４，４４…撮影画像の例、
５…画像処理部、
５１…歪み中心位置格納部、
５２…周辺減光補正部、
５３…歪み補正部、
５４…視点変換部、
５５…画像切出し部、
６…モニタ、
６１…表示画像の例、
７…設定入力部、
８…カメラ制御部、
９…車両。
【特許請求の範囲】
【請求項１】
車両に設置した複数のカメラで車両周辺を撮像しモニタに表示する車両周辺監視装置において、
前記複数のカメラはそれぞれ広角レンズと撮像素子と信号処理部を有し、
前記複数のカメラが出力する複数の撮影画像に対し画像処理を行い、前記モニタへ表示する表示画像を生成する画像処理部を備え、
前記複数のカメラから出力され前記画像処理部で処理される複数の撮影画像のうち少なくとも１つの撮影画像は、前記広角レンズのレンズ歪みの中心が該撮影画像の中心から所定量だけ変位していることを特徴とする車両周辺監視装置。
【請求項２】
請求項１に記載の車両周辺監視装置において、
前記複数のカメラのうち少なくとも１つは、前記広角レンズの光軸と前記撮像素子の中心とをずらして配置することで、該カメラから出力される撮影画像のレンズ歪みの中心を撮影画像中心から変位させることを特徴とする車両周辺監視装置。
【請求項３】
請求項１に記載の車両周辺監視装置において、
前記画像処理部は、前記複数のカメラから出力される撮影画像に対し前記表示画像を生成するための画像領域を切り出す画像切出し部を有し、
該画像切出し部は、少なくとも１つのカメラから出力される撮影画像に対し、レンズ歪みの中心と画像中心が一致しないように画像領域を切り出すことで、切出し後の画像のレンズ歪みの中心を画像中心から変位させることを特徴とする車両周辺監視装置。
【請求項４】
請求項２に記載の車両周辺監視装置において、
前記複数のカメラが出力する各撮影画像におけるレンズ歪みの中心の画像中心からの変位量をカメラ毎に設定する設定入力部と、
該設定入力部より設定された変位量の情報を基に対応する前記カメラの前記広角レンズまたは前記撮像素子の配置を制御するカメラ制御部を備えることを特徴とする車両周辺監視装置。
【請求項５】
請求項３に記載の車両周辺監視装置において、
前記画像切出し部に対し、前記複数のカメラが出力する各撮影画像から画像領域を切り出す際のレンズ歪みの中心の画像中心からの変位量をカメラ毎に設定する設定入力部を備えることを特徴とする車両周辺監視装置。
【請求項６】
請求項１から５のいずれか１項に記載の車両周辺監視装置において、
前記画像処理部は、前記複数のカメラから出力される各撮影画像に対するレンズ歪みの中心の画像中心からの変位情報を格納する歪み中心位置格納部を有し、
前記画像処理部は該変位情報を用いて、前記複数のカメラが出力する各撮影画像に対し周辺減光補正とレンズ歪みの補正と視点変換処理を行うことを特徴とする車両周辺監視装置。
【請求項７】
複数のカメラで所定の監視領域を撮像する監視装置において、
前記複数のカメラはそれぞれ広角レンズを介して撮影した複数の撮影画像を出力し、
前記複数のカメラが出力する複数の撮影画像に対し画像処理を行う画像処理部を備え、
前記複数のカメラから出力される各撮影画像は、各カメラの設置位置に応じて、前記広角レンズのレンズ歪みの中心が該撮影画像の中心から所定量だけ変位していることを特徴とする監視装置。
【請求項１】
車両に設置した複数のカメラで車両周辺を撮像しモニタに表示する車両周辺監視装置において、
前記複数のカメラはそれぞれ広角レンズと撮像素子と信号処理部を有し、
前記複数のカメラが出力する複数の撮影画像に対し画像処理を行い、前記モニタへ表示する表示画像を生成する画像処理部を備え、
前記複数のカメラから出力され前記画像処理部で処理される複数の撮影画像のうち少なくとも１つの撮影画像は、前記広角レンズのレンズ歪みの中心が該撮影画像の中心から所定量だけ変位していることを特徴とする車両周辺監視装置。
【請求項２】
請求項１に記載の車両周辺監視装置において、
前記複数のカメラのうち少なくとも１つは、前記広角レンズの光軸と前記撮像素子の中心とをずらして配置することで、該カメラから出力される撮影画像のレンズ歪みの中心を撮影画像中心から変位させることを特徴とする車両周辺監視装置。
【請求項３】
請求項１に記載の車両周辺監視装置において、
前記画像処理部は、前記複数のカメラから出力される撮影画像に対し前記表示画像を生成するための画像領域を切り出す画像切出し部を有し、
該画像切出し部は、少なくとも１つのカメラから出力される撮影画像に対し、レンズ歪みの中心と画像中心が一致しないように画像領域を切り出すことで、切出し後の画像のレンズ歪みの中心を画像中心から変位させることを特徴とする車両周辺監視装置。
【請求項４】
請求項２に記載の車両周辺監視装置において、
前記複数のカメラが出力する各撮影画像におけるレンズ歪みの中心の画像中心からの変位量をカメラ毎に設定する設定入力部と、
該設定入力部より設定された変位量の情報を基に対応する前記カメラの前記広角レンズまたは前記撮像素子の配置を制御するカメラ制御部を備えることを特徴とする車両周辺監視装置。
【請求項５】
請求項３に記載の車両周辺監視装置において、
前記画像切出し部に対し、前記複数のカメラが出力する各撮影画像から画像領域を切り出す際のレンズ歪みの中心の画像中心からの変位量をカメラ毎に設定する設定入力部を備えることを特徴とする車両周辺監視装置。
【請求項６】
請求項１から５のいずれか１項に記載の車両周辺監視装置において、
前記画像処理部は、前記複数のカメラから出力される各撮影画像に対するレンズ歪みの中心の画像中心からの変位情報を格納する歪み中心位置格納部を有し、
前記画像処理部は該変位情報を用いて、前記複数のカメラが出力する各撮影画像に対し周辺減光補正とレンズ歪みの補正と視点変換処理を行うことを特徴とする車両周辺監視装置。
【請求項７】
複数のカメラで所定の監視領域を撮像する監視装置において、
前記複数のカメラはそれぞれ広角レンズを介して撮影した複数の撮影画像を出力し、
前記複数のカメラが出力する複数の撮影画像に対し画像処理を行う画像処理部を備え、
前記複数のカメラから出力される各撮影画像は、各カメラの設置位置に応じて、前記広角レンズのレンズ歪みの中心が該撮影画像の中心から所定量だけ変位していることを特徴とする監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−１５６６７２（Ｐ２０１２−１５６６７２Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−１２７００（Ｐ２０１１−１２７００）
【出願日】平成２３年１月２５日（２０１１．１．２５）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１月２５日（２０１１．１．２５）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
[ Back to top ]