カメラ姿勢パラメータ推定装置
【課題】広角カメラの姿勢パラメータを容易にかつ正確に推定する技術を実現する。
【解決手段】カメラ姿勢パラメータ推定装置は、半球以上の視野を有する広角カメラにより得られる広角画像から、実空間における、相互に平行な少なくとも２つの第１直線及び第２直線と、第１直線及び第２直線と垂直な関係を有する１つの第３直線とから構成される特定パターンを形成し得る各線分をそれぞれ取得するパターン取得手段と、このパターン取得手段により取得された特定パターンを形成し得る各線分を用いて上記広角画像に対する２組の消失点ペアを決定する決定手段と、この決定手段で決定された２組の消失点ペアを用いて地面に対する広角カメラの姿勢パラメータを推定する推定手段と、を備える。
【解決手段】カメラ姿勢パラメータ推定装置は、半球以上の視野を有する広角カメラにより得られる広角画像から、実空間における、相互に平行な少なくとも２つの第１直線及び第２直線と、第１直線及び第２直線と垂直な関係を有する１つの第３直線とから構成される特定パターンを形成し得る各線分をそれぞれ取得するパターン取得手段と、このパターン取得手段により取得された特定パターンを形成し得る各線分を用いて上記広角画像に対する２組の消失点ペアを決定する決定手段と、この決定手段で決定された２組の消失点ペアを用いて地面に対する広角カメラの姿勢パラメータを推定する推定手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、広角カメラの姿勢パラメータ推定技術に関する。
【背景技術】
【０００２】
近年、運転操作の安全性を高めることを目的として、魚眼カメラ等のような広角レンズを用いた複数のカメラを搭載し、車両の周囲を死角なくモニタリングするカメラシステムを搭載する車両が存在する。このようなカメラシステムは、車両の複数箇所に設置された各カメラによって撮影された画像を用いて、車両の周辺画像を生成し、生成された画像を表示装置に表示させる。表示装置に表示される周辺画像を見ることにより、運転者は、容易かつ安全に運転操作をすることができる。
【０００３】
車両内部の表示装置の表示領域は大きさに制限があるため、各カメラで撮影された複数の画像から生成される周辺画像を運転者にとって見易く瞬時に把握可能に表示させることは重要である。このような課題を解決する手法が例えば以下の特許文献１により提案されている。
【０００４】
また、上述のようなカメラシステムにおいて、車両の周辺画像として、車両を上空から見下ろしたように描いたトップビュー（以降、鳥瞰図とも表記する）を生成するシステムが存在する。鳥瞰図によれば、運転者は、死角なく、車両の周囲の状況を瞬時に把握することができる。
【０００５】
しかしながら、複数の魚眼カメラを持つカメラシステムにおいて鳥瞰図を生成するためには、予め、各魚眼カメラをそれぞれ校正する必要がある。
【０００６】
校正の対象となり得るカメラのパラメータは、一般的には、内部パラメータ及び外部パラメータに区別される。内部パラメータには、主点（principal point）、焦点距離（focal length）、レンズ歪み（lens distortion）等が含まれる。このような内部パラメータは、カメラの環境で変化しないため、予め測定され製造プロセス等において設定される。
【０００７】
一方、外部パラメータはワールド座標系（world coordinate system）に対するカメラ
の方向（orientation）と位置（position）であり、カメラ姿勢（pose）パラメータとも
呼ばれる。このようなカメラ姿勢パラメータを校正するための手法は各種提案されている。例えば、車のボンネット（hood）上に置かれた複数のマーカを用いて自動車のアプリケーションにおけるステレオビジョンシステムを較正する手法が提案されている（下記非特許文献１参照）。また、車両の前の地面に置かれた複数の円パターンを用いることにより外部パラメータを校正することが提案されている（下記非特許文献２参照）。更に、車載カメラで検出された平行の車線マーキングを用いることにより前方カメラの方向を校正する方法が提案されている（下記非特許文献３参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００９−２０６７４７号公報
【非特許文献】
【０００９】
【非特許文献１】A. Broggi, M. Bertozzi and A. Fascioli, “Self-calibration of a stereo system for automotive applications”, Proc. of IEEE conference on Robotics and Automation, pp.3698-3703, 2001
【非特許文献２】S. Hold, C. Nunn, A. Kummert, and S. Muller-Schnerders, “Effi-cient and robust extrinsic camera calibration procedure for lane departure warning”, Proc. of Intelligent Vehicle Symposium, pp.382-387, 2009
【非特許文献３】A. Catala-Part, J. Rataj and R. Reulke, “Self-calibration system for the orientation of a vehicle camera”, ISPR Commission V Sympo-sium on Image Engineering and Vision Metrology, pp.68-73, 2006
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、上述のような従来のカメラ較正方法は、従来のピンホールカメラモデルに基づいた限定された視野（FOV(Field Of View)）の一般的なカメラに対して適用される方法であり、全方向カメラや魚眼カメラのような半球より広視野の広角カメラにそのまま適用することができない。
【００１１】
そこで、従来の広角カメラを用いた車載カメラシステムでは、図２４に示されるように、地上の予め決められた正確な位置に設置された複数のマーカを用いてカメラの姿勢パラメータを校正する方法が採用されている。図２４は、車両の後部に搭載された１つの広角カメラの姿勢パラメータを校正するための従来手法を示す図である。図２４の例によれば、車両の幅方向の中心線上の車両後部から５０センチメートル（ｃｍ）、１メートル（ｍ）、２（ｍ）の各位置にそれぞれ１つずつのマーカを設置し、更に、車両の両サイドの面と平行で車両幅間隔離された２つの線上の車両後部から１（ｍ）の各位置に１つずつのマーカを設置する必要がある。
【００１２】
このように従来手法では、複数のマーカを準備しなければならず、かつ、予め決められた正確な位置に各マーカを配置しなければならないため、カメラの校正に多大なる負担がかかっていた。
【００１３】
本発明の一態様に係る課題は、このような問題点に鑑み、広角カメラの姿勢パラメータを容易にかつ正確に推定する技術を実現することにある。
【課題を解決するための手段】
【００１４】
本発明の各態様では、上述した課題を解決するために、それぞれ以下の構成を採用する。
【００１５】
第１の態様は、カメラ姿勢パラメータ推定装置に関する。第１の態様に係るカメラ姿勢パラメータ推定装置は、半球以上の視野を有する広角カメラにより得られる広角画像から、実空間における、相互に平行な少なくとも２つの第１直線及び第２直線と、第１直線及び第２直線と垂直な関係を有する１つの第３直線とから構成される特定パターンを形成し得る各線分をそれぞれ取得するパターン取得手段と、このパターン取得手段により取得された特定パターンを形成し得る各線分を用いて上記広角画像に対する２組の消失点ペアを決定する決定手段と、この決定手段で決定された２組の消失点ペアを用いて地面に対する広角カメラの姿勢パラメータを推定する推定手段と、を備える。
【００１６】
第１の態様では、広角カメラから得られる広角画像から実空間における特定パターンに対応する各線分が取得され、この取得された各線分から広角画像に対する２組の消失点ペアが決定され、この２組の消失点ペアから広角カメラの姿勢パラメータが推定される。
【００１７】
従って、第１の態様によれば、当該広角カメラにより当該特定パターンが撮像されさえすれば、広角カメラの姿勢パラメータを容易にかつ正確に推定することができる。
【００１８】
当該特定パターンは、実空間における、相互に平行な少なくとも２つの第１直線及び第２直線と、第１直線及び第２直線と垂直な関係を有する１つの第３直線とから構成される。このような特定パターンは、駐車場の駐車ラインや建物の壁面のライン等のように一般的に実空間に存在するものが利用されればよいため、従来のようにカメラの校正に費やされる負担を大きく軽減させることができる。
【００１９】
上記第１の態様において好ましくは、上記決定手段が、上記特定パターンに対応する各線分のうち第１直線に対応する線分と第２直線に対応する線分とを用いて、広角画像が広角カメラの内部パラメータを用いてマッピングされた球面画像に対する１組の消失点ペアを前記広角画像の１組の消失点ペアとして決定し、この決定された１つの消失点とその球面画像の中心とを結ぶ線を法線とする平面から１つの消失線を決定し、その平面と平行な関係となる第３直線のその球面画像への投影平面からもう１つの消失線を決定し、決定された２つの消失線の交点から更に１組の消失点ペアを決定するようにしてもよい。
【００２０】
これにより、少ない情報で広角画像に対する２組の消失点ペアを決定することができ、正確に、カメラ姿勢パラメータを推定することができる。
【００２１】
また、上記第１の態様において好ましくは、上記パターン取得手段が、第１直線及び第２直線、並びに、第１直線及び第２直線と垂直な関係を有す第３直線とは異なる第４直線から構成される他の特定パターンを形成し得る各線分を更にそれぞれ取得し、上記決定手段が、第４直線を用いて第３直線と同様に新たな１組の消失点ペアを決定し、この新たに決定された１組の消失点ペアと、第３直線を用いて決定された１組の消失点ペアとの平均により１組の消失点ペアを決定するようにしてもよい。
【００２２】
このようにすれば、一層正確に２組の消失点ペアを決定することができる。
【００２３】
また、上記第１の態様において、複数の広角カメラを対象に各広角カメラの姿勢パラメータを推定することも可能である。この場合、上記パターン取得手段が、複数の広角カメラから得られる各広角画像からそれぞれ、特定パターンに対応する各線分を取得し、上記決定手段が、２組の消失点ペアを前記各広角画像についてそれぞれ決定し、上記推定手段が、各広角画像に対する各２組の消失点ペアをそれぞれ用いて、各広角カメラの姿勢パラメータをそれぞれ推定する。そして、この態様においては、当該第１の態様に係るカメラ姿勢パラメータ推定装置が、複数の広角カメラのうち重複する視野領域を有する少なくとも２つの隣接広角カメラから得られる各広角画像内のその重複する視野領域に対応する画像領域を上記推定手段により推定されたその隣接広角カメラの各姿勢パラメータを用いて特定し、この特定された各画像領域の画像情報を用いてその隣接広角カメラの各姿勢パラメータを補整する補整手段を更に備えるようにしてもよい。
【００２４】
これによれば、複数の広角カメラに関する各姿勢パラメータが推定され、この推定された各姿勢パラメータが、重複する視野領域を有する少なくとも２つの隣接広角カメラの間の相対的情報により更に洗練される。よって、第１の態様によれば、複数の広角カメラの姿勢パラメータを正確に推定することが可能である。
【００２５】
また、この複数の広角カメラを対象とした態様において、上記補整手段が、特定された各画像領域の画像データ間の相関値が最大化される値となるように隣接広角カメラの各姿勢パラメータを補整するようにしてもよい。
【００２６】
第２の態様は、複数の広角カメラと、上述のようなパラメータ推定装置と、各広角カメラから得られる各広角画像から画像データを生成する画像生成装置とを含むカメラシステムに関する。このカメラシステムでは、当該画像生成装置が、上述の第１の態様のような
パラメータ推定装置により推定された複数の広角カメラの各姿勢パラメータを用いて、複数の広角画像から前記複数の広角カメラが搭載された車両を中心とする鳥瞰図を示す画像データを生成する生成手段と、この生成手段により生成された画像データに応じた鳥瞰図を参照したユーザにより入力されるその鳥瞰図における車両の傾き情報を取得する傾き情報取得手段と、その傾き情報を複数の広角カメラの各姿勢パラメータに反映させる反映手段と、を備える。
【００２７】
第２の態様によれば、ユーザにより入力される傾き情報に基づいて車両の地面に対する傾きを複数の広角カメラの各姿勢パラメータに反映させることができ、一層適切な鳥瞰図を出力することができるようになり、車両の運転者に安全な運転操作を提供することができる。
【００２８】
なお、本発明の他の態様としては、以上の何れかの構成を実現するカメラ姿勢パラメータの推定方法であってもよいし、そのような方法を実行するプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記憶媒体であってもよい。
【発明の効果】
【００２９】
本発明の各態様によれば、広角カメラの姿勢パラメータを容易にかつ正確に校正する技術を提供することができる。
【図面の簡単な説明】
【００３０】
【図１】実施例１におけるパラメータ推定装置を含むカメラシステムの構成を示す模式図。
【図２】実施例１におけるパラメータ推定装置が搭載される車両の上面図を示す模式図。
【図３】実施例１における広角画像の例を示す図。
【図４】実施例１における出力画像（鳥瞰図）の例を示す図。
【図５】画像平面とカメラレンズとの間の関連を示すモデルを示す図。
【図６】球面画像及び球面投影を示す図。
【図７】直線Ｌの単位球面上への投影を示す図。
【図８】線分の検出例を示す図。
【図９】消失点決定部における消失点決定のアルゴリズムを示す図。
【図１０】消失点決定部における消失点決定のアルゴリズムを示す図。
【図１１】球面画像におけるＨパターンと消失点との関係を示す図。
【図１２】実施例１におけるパラメータ推定装置の動作例を示すフローチャート。
【図１３】実施例２におけるパラメータ推定装置が搭載される車両の上面図を示す模式図を示す図。
【図１４】実施例２におけるパラメータ推定装置を含むカメラシステムの構成を示す模式図を示す図。
【図１５】各車載カメラ７から得られる広角画像の例を示す図。
【図１６】実施例２における出力画像（鳥瞰図）の例を示す図。
【図１７】各車載カメラから取得された広角画像からの線分検出の例を示す図。
【図１８】実施例２においてカメラ姿勢パラメータの補整の繰り返し回数に対し計算された相関値を示すグラフ。
【図１９】実施例２におけるパラメータ推定装置の動作例を示すフローチャートである。
【図２０】パラメータ補整部により補整される前の姿勢パラメータにより生成された鳥瞰図の例を示す図。
【図２１】実施例２におけるカメラシステムで出力される鳥瞰図の例を示す図。
【図２２】実施例２の変形例としてのカメラシステムの構成を示す模式図。
【図２３】本変形例において微調整された姿勢パラメータを用いて生成された出力画像の例を示す図。
【図２４】車両の後部に搭載された１つの広角カメラの姿勢パラメータを校正するための従来手法を示す図。
【発明を実施するための形態】
【００３１】
以下、本発明の一実施形態としてのパラメータ推定装置について具体例を挙げ説明する。実施形態としてのパラメータ推定装置は、車両に搭載され、その車両に設置された広角カメラの姿勢パラメータを推定する。なお、本実施形態におけるパラメータ推定装置は、搭載される車両の種類を限定するものではない。以下に挙げた各実施例はそれぞれ例示であり、本発明は以下の各実施例の構成に限定されない。
【００３２】
以下の各実施例では、駐車ラインが地面に付されている駐車場に本実施形態におけるパラメータ推定装置を搭載する車両が駐車している状態でカメラの姿勢パラメータが推定される例を示す。当該パラメータ推定装置によりパラメータ推定が行われる際には、当該車両が任意の駐車スペースに車両の進行方向と両サイドの駐車ラインとが略平行となるように駐車される。この略平行とは、完全な平行が好ましいが完全な平行でなくとも許容されることを意味する。以降、本実施形態におけるパラメータ推定装置によりパラメータ推定が行われる際の車両の姿勢を基本姿勢とも表記する。本実施形態におけるパラメータ推定装置は、基本姿勢で駐車される車両に設置されるカメラで撮影される駐車ラインを用いて車載カメラの姿勢パラメータを推定する。
【実施例１】
【００３３】
以下、実施形態としてのパラメータ推定装置の第１実施例について説明する。
【００３４】
［システム構成］
図１は、実施例１におけるパラメータ推定装置を含むカメラシステムの構成を示す模式図である。図２は、実施例１におけるパラメータ推定装置が搭載される車両の上面図を示す模式図である。カメラシステム１は、図１に示されるように、車載カメラ７、実施例１におけるパラメータ推定装置１０、周辺画像生成装置２０、表示装置３０等で構成される。カメラシステム１は、車両５に搭載され、車両５の周辺を映し出す画像（映像）を車両５の運転者に提供する。
【００３５】
車載カメラ７は、図２に示されるように、車両５の後方部に１つ設置される。車載カメラ７は、魚眼レンズ等のような半球以上の視野を有する広角レンズを有する広角カメラである。車載カメラ７は、少なくとも車両５の後部より後方の領域（図２で示す長鎖線）を視野領域とする。車載カメラ７で撮像された映像の信号は、周辺画像生成装置２０へ送られる。なお、本発明は、車載カメラ７を設置する厳密な位置を限定するものではない。
【００３６】
周辺画像生成装置２０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、入出力インタフェース等で構成され、例え
ば、ソフトウェア的又はハードウェア的な起動指示に応じて電力が投入され起動される。周辺画像生成装置２０は、ＲＯＭに記録されたプログラムを実行することにより、以下のような処理を実行する。
【００３７】
周辺画像生成装置２０は、車載カメラ７から映像信号を受け、この映像信号から画像データを取得する。以降、車載カメラ７から得られる画像データを広角画像とも表記する。周辺画像生成装置２０は、この広角画像を車載カメラ７の内部パラメータ及び外部パラメータを用いて変換することにより、車両５の周辺を映し出す画像データを生成する。この
画像データは、例えば、車載カメラ７の視野領域を車両５の上空から見下ろしたように見せる鳥瞰図として生成される。図３は、実施例１における広角画像の例を示す図であり、図４は、実施例１における出力画像（鳥瞰図）の例を示す図である。
【００３８】
車載カメラ７の内部パラメータは、製造時等に予め測定され、周辺画像生成装置２０が読み出し可能なメモリに予め格納されている。一方で、外部パラメータ（姿勢パラメータ）は、その初期値が当該メモリに予め格納されており、任意のタイミングでパラメータ推定装置１０により校正される。この任意のタイミングとは、例えば、電力投入開始時、ハードウェア的又はソフトウェア的な操作が行なわれた時などである。なお、本発明は、このような車載カメラ７の姿勢パラメータの校正タイミングを限定するものではない。
【００３９】
表示装置３０は、周辺画像生成装置２０により生成された画像データを受け、図４に示すような鳥瞰図をディスプレイ（表示面）に表示させる。運転者は、この表示装置３０の表示面に映し出された車両後方の映像を参照することにより、死角及び見え難い車両後方の状況を正確に認識することができ、結果、安全な運転操作を行うことができる。
【００４０】
本発明は、周辺画像生成装置２０のハードウェア構成及び画像データの変換手法を限定するものではないため、上述のように説明を簡略化している。また、図１では、パラメータ推定装置１０と周辺画像生成装置２０とは別々のハードウェアとして実現される例が示されるが、両者はそれぞれソフトウェアモジュールとして実現されるようにしてもよい。
【００４１】
［装置構成］
パラメータ推定装置１０は、特定パターン取得部１１、消失点決定部１２、パラメータ推定部１３等を有する。これら各処理部はそれぞれ、ハードウェア回路として実現されてもよいし、ソフトウェアモジュールとして実現されてもよい。ソフトウェアモジュールとして実現される場合には、パラメータ推定装置１０のＣＰＵにおいてメモリに格納されるプログラムが実行されることにより実現される。なお、本発明は、このようなパラメータ推定装置１０のハードウェア構成を限定するものではない。
【００４２】
パラメータ推定装置１０は、上述したような任意のタイミングで起動され、車載カメラ７の姿勢パラメータを推定し、この推定された姿勢パラメータにより周辺画像生成装置２０に格納される姿勢パラメータを更新する。パラメータ推定装置１０は、起動されると、車載カメラ７から映像信号を受ける。
【００４３】
パラメータ推定装置１０は、ピンホールカメラモデルでは半球以上の視野を持つ広角カメラで撮像された画像を扱うことができないため、車載カメラ７から取得される広角画像を球面カメラモデルを用いることにより処理する。つまり、パラメータ推定装置１０は、広角画像を球面画像にマッピングする。
【００４４】
図５は、画像平面とカメラレンズとの間の関連を示すモデルを示す図である。図５では、カメラ座標系における点Ｐ（Ｘ，Ｙ，Ｚ）の光線方向が球面座標（θ，φ）で示され、画像平面上の投影座標が（ｒｉ，φｉ）で示される。例えば、一般的な魚眼レンズに関しては、以下のような射影タイプが利用される。
【００４５】
等距離射影（Equidistant Projection）：ｒｉ＝ｆθ
直交射影（Orthogonal Projection）：ｒｉ＝ｆ ｓｉｎθ
立体射影（Stereographic Projection）：ｒｉ＝２ｆ ｔａｎ（θ／２）
等立体角射影（Equal Area Projection）：ｒｉ＝２ｆ ｓｉｎ（θ／２）
実際のカメラは物理的には理想的な投影モデルには従わない。光軸が画像中心を通らないかもしれない。また、１ピクセルの縦及び横のサイズが等しくならず、実レンズの半径
方向歪み（radial distortion）及び偏心歪み（decentering distortion）が存在するか
もしれない。そこで、以下の（式１）及び（式２）で示すようなカメラ歪みモデルが利用される。以下の（式１）及び（式２）におけるθ、φ、ｒｉ、φｉは図５で示すとおりであり、半径方向歪み及び偏心歪みの各パラメータが（ｋ１，ｋ３，ｋ５，Ｐ１，Ｐ２）で示される。
【００４６】
【数１】
【００４７】
光心（ｘＣ，ｙＣ）のシフトパラメータ、アスペクト比αが用いられることにより、画像平面上の投影座標（ｒｉ，φｉ）は、入力された広角画像の直交座標系での射影点の座標である（ｘｆ，ｙｆ）にマッピングされる。従って、カメラ座標系における点Ｐ（Ｘ，Ｙ，Ｚ）と広角画像上の点（ｘｆ，ｙｆ）との対応関係は以下の（式３）のように示される。
【００４８】
【数２】
【００４９】
（式３）により、広角画像における任意の点がカメラ内部パラメータを用いることにより単位球面画像にマッピングされる。このような空間点の球面画像への投影は球面投影と呼ばれる。図６は、球面画像及び球面投影を示す図である。
【００５０】
点Ｐ（Ｘ，Ｙ，Ｚ）の球面画像座標系に関する座標がＭＣ＝［Ｘ Ｙ Ｚ］Ｔとすれば、単位球面画像における点Ｐの投影はｍ＝［ｓｉｎθｃｏｓφ ｓｉｎθｓｉｎφ ｃｏｓθ］Ｔとして表わすことができる。これにより、球面画像座標系における座標ＭＣと投影座標ｍとの関係はｍ＝λＭＣ≒ＭＣである。この関係は、ｍがスケール因子を除いてＭＣと等しいことを意味する。
【００５１】
このような球面モデルでは、図７に示すように、直線Ｌは単位球面上に大円の円弧ｌとして投影される。図７は、直線Ｌの単位球面上への投影を示す図である。図７に示すｎは、直線Ｌの投影平面の単位法線ベクトルとされる。ここで、点ｐが円弧ｌ上にあると仮定し、点ｐがｐ＝［ｓｉｎθｃｏｓφ ｓｉｎθｓｉｎφ ｃｏｓθ］と示され、単位法線ベクトルｎがｎ＝［ａ ｂ ｃ］と示されると、直線の投影平面の方程式は以下の（式４）のようになる。ここで、θ及びφは、球面座標系における極角及び方位角である。
【００５２】
【数３】
【００５３】
ここで、同じ直線に属している点は同じ投影平面に存在することから、球面空間におけるハフ変換は、球面画像中の空間直線の投影点を用いることにより、空間直線の投影平面の法線ベクトルを決定するのに利用され得る。
【００５４】
以下、上述のような球面カメラモデルを用いて処理するパラメータ推定装置１０の各処理部について説明する。
【００５５】
特定パターン取得部１１は、車載カメラ７から送られた映像信号を受信すると、この映像信号から広角画像を取得する。この広角画像には、図３に示すように複数の駐車ラインや駐車場のその他の風景が映し出されている。以降、車両５が基本姿勢で駐車されている場合における、車両５の進行方向と略平行な駐車ラインをサイドライン４１と表記し、車両５の進行方向と略垂直な駐車ラインをリアライン４２と表記する。なお、一般的な駐車場では、サイドライン４１とリアライン４２とは直行するように駐車ラインが引かれている。
【００５６】
特定パターン取得部１１は、このような広角画像から実空間における特定のパターンに対応する線分を検出する。この特定のパターンは、少なくとも２本の平行な線分（以降、平行線群と表記する）及びこれらに垂直な１本の線分（以降、垂直線と表記する）から構成される。この特定のパターンは、以降、各線分の形状に基づいてＨパターンと表記する。特定パターン取得部１１は、広角画像を内部パラメータを用いることにより単位球面画像にマッピングし、上述したような球面カメラモデルに基づくアルゴリズムを用いて上述のような平行線群に対応する広角画像内の各線分及び垂直線に対応する広角画像内の線分を検出する。なお、広角画像から線分を検出する手法については周知な手法（例えば、特開２００９−２８８８８５号公報参照）を用いればよいため、ここでは説明を簡略化する。
【００５７】
特定パターン取得部１１は、広角画像から複数のエッジ点を抽出し、各エッジ点について勾配方向（gradient direction）をそれぞれ計算する。この勾配方向とはエッジ点の輝度の勾配を示す。特定パターン取得部１１は、算出された各勾配方向に基づいて、各エッジ点を２つのグループに分類する。１つのグループは、０度から１８０度までの勾配方向を持つエッジ点の集合であり、もう１つのグループは、残りの勾配方向を持つエッジ点の集合である。この分類処理により、例えば、広角画像に含まれる各駐車ラインの対向する各境界線がそれぞれ異なるグループに属することになる。
【００５８】
特定パターン取得部１１は、各グループに属するエッジ点の集合からそれぞれ線分を抽出する。この線分の抽出には上述したように例えばハフ変換技術が利用される。特定パターン取得部１１は、ハフ変換技術を用いて空間直線に対応する球面画像上の大円を抽出する。図８は、線分の検出例を示す図である。図８の例によれば、サイドライン４１から抽出された境界線の線分４１Ａ及び４１Ｂがそれぞれ異なるグループに分類される。同様に、リアライン４２から抽出された境界線の線分４２Ａ及び４２Ｂがそれぞれ異なるグループに分類される。
【００５９】
特定パターン取得部１１は、抽出された線分のうち車両５に近く広角画像の縦方向（図８の縦方向）に長い線分を当該平行線群に対応する線分として特定し、車両５に近く横方
向（図８の横方向）に長い線分を当該垂直線に対応する線分として特定する。このとき、特定パターン取得部１１は、口角画像の縦方向に長い線分については上記１つのグループに関し２本以上特定する。即ち、２本以上の各サイドラインからそれぞれ得られた線分が特定される。
【００６０】
図８によれば、例えば、特定パターン取得部１１は、図面左側（車両５の右サイド）のサイドライン４１から抽出された線分４１Ａと、図面右側（車両５の左サイド）のサイドライン４１から抽出された線分４１Ａとを当該平行線群に対応する各線分として特定する。特定パターン取得部１１は、更に、当該垂直線に対応する線分として線分４２Ａ及び４２Ｂの少なくとも一方を特定する。特定パターン取得部１１は、このように特定されたＨパターンに対応する各線分についての情報を当該広角画像と共に消失点決定部１２へ送る。特定パターン取得部１１は、上記（式４）を用いて決定される各線分の投影平面の法線ベクトルを各線分についての情報として消失点決定部１２に送るようにしてもよい。この法線ベクトルの決定は最小２乗法が利用される。
【００６１】
消失点決定部１２は、特定パターン取得部１１から得られるＨパターンに対応する各線分についての情報を用いて、当該広角画像内の２組の消失点ペアを決定する。具体的には、まず、消失点決定部１２は、当該平行線群に対応する各線分から１対の消失点ペアを決定する。次に、消失点決定部１２は、当該垂直線に対応する線分と当該平行線群に対応する各線分との関係から１対の消失点ペアを決定する。図９及び１０は、消失点決定部１２における消失点決定のアルゴリズムを示す図である。
【００６２】
図９には、仮想球面カメラによって観察された実空間中の３本の平行線群が示されている。図９に示すように、これら平行線群は、球面画像中の１対の消失点をもたらす。
【００６３】
消失線は、無限空間における平行な平面群の交わるところとして定義される。球面画像では、この消失線は、図１０に示すように、平行平面の交差する箇所であり球面画像の中心を通る大円に対応する。そして、平行平面と平行な線の一対の消失点は、その線と当該平面の消失線との交差点として決定することができる。つまり、１つの線における一対の消失点は、その線を含む平行線群、又は、その線と平行な平面の消失線によって決定され得る。
【００６４】
図１１は、球面画像におけるＨパターンと消失点との関係を示す図である。図１１には、２つの平行線ｌＳ１及びｌＳ２、並びに、その２つの線に垂直な別の線ｌＲから構成されるＨパターンが示されている。消失点決定部１２は、Ｈパターン中の２つの平行線ｌＳ１及びｌＳ２から一対の消失点ＶＳ及びＶ’Ｓを決定する。
【００６５】
原点からＶＳへの法線ベクトルｎを以て、球面画像の中心を通る平面Πを決定する。この平面の球面画像との交点は大円ＣＶをもたらす。この大円ＣＶは、平面Πを含む並行平面の消失線である。線ｌＲは平面Πと平行であるから、線ｌＲの球面画像への投影平面と平面Πとの交点ＶＲ及びＶ’Ｒが線ｌＲの一対の消失点となる。これにより、消失点決定部１２は、Ｈパターンから２組の消失点を得ることができる。
【００６６】
以下、消失点決定部１２の処理をより具体的に説明する。消失点決定部１２は、Ｈパターンを形成する各線分（平行線ｌＳ１及びｌＳ２、並びに、垂直線ｌＲ）の投影平面の各法線ベクトルをそれぞれ特定パターン決定部１１から受ける。ここでは、各法線ベクトルをそれぞれｎＳ１、ｎＳ２、ｎＲで示す。
【００６７】
消失点決定部１２は、各法線ベクトルを用いて２つの平行線ｌＳ１及びｌＳ２における一対の消失点ペア（ＶＳ及びＶ’Ｓ）を以下の（式５）のように算出する。
【００６８】
【数４】
【００６９】
ここで、原点を通りｎ（＝ｎＳ１×ｎＳ２）を法線ベクトルとする平面Πの消失線（大円ＣＶ）は以下の（式６）のように示される。また、垂直線ｌＲの投影平面の単位球面画像との交点は以下の（式７）のように示される。
【００７０】
【数５】
【００７１】
消失点決定部１２は、（式６）及び（式７）の解として、垂直線ｌＲに関する一対の消失点ＶＲ及びＶ’Ｒを算出する。具体的には、ｘ＝ｔａｎθｃｏｓφ及びｙ＝ｔａｎθｓｉｎφとし、（式６）及び（式７）の両辺がｃｏｓθで除算され、以下の（式８）が得られる。更に、（式８）の方程式の解により、下記（式９）が得られ、結果、（式１０）が得られる。
【００７２】
【数６】
【００７３】
消失点決定部１２は、φの値を用いてθの値を算出し、そして、垂直線ｌＲに関する一対の消失点ペアを決定する。この消失点ペアの位置は、その単位球面上における極座標（θ、φ）で決まり、その直交座標は（ｓｉｎθｃｏｓφ，ｓｉｎθｓｉｎφ，ｃｏｓθ）と（−ｓｉｎθｃｏｓφ，−ｓｉｎθｓｉｎφ，−ｃｏｓθ）で求められる。
【００７４】
消失点決定部１２は、特定パターン取得部１１から２つの垂直線（図８に示す線分４２Ａ及び４２Ｂ）の情報を得ている場合には、各垂直線について上述のようにそれぞれ一対の消失点ペアを決定し、これらの平均値を最終的な垂直線に関する一対の消失点ペアとしてもよい。
【００７５】
パラメータ推定部１３は、消失点決定部１２により決定された２組の消失点ペアの情報を用いて、車載カメラ７の地面（世界座標系）に対する姿勢パラメータを推定する。広角画像において検出された２組の消失点ペアからカメラ姿勢パラメータを推定する手法については周知な手法が採用されればよいため、ここでは説明を簡略化する。
【００７６】
パラメータ推定部１３は、２組の消失点ペアから地面に対する回転行列（rotational matrix）を推定する。更に、パラメータ推定部１３は、広角画像中のサイドラインとリア
ラインとの交点を１つの世界座標系の原点に設定し、この原点及び２組の消失点ペアに基づいて並進ベクトル（translational vector）を推定する。推定された回転行列はカメラ方位（orientation）を示し、推定された並進ベクトルはカメラ位置（displacement）を
示す。パラメータ推定部１３は、このように推定された回転行列及び並進ベクトルを含む姿勢パラメータを周辺画像生成装置２０へ送る。
【００７７】
［動作例］
以下、実施例１におけるパラメータ推定装置１の動作例を図１２を用いて説明する。図１２は、実施例１におけるパラメータ推定装置１の動作例を示すフローチャートである。
【００７８】
特定パターン取得部１１は、車載カメラ７から送られた映像信号を受信すると、この映像信号から広角画像を取得する（Ｓ１２１）。特定パターン取得部１１は、このような広角画像から実空間における特定のパターン（Ｈパターン）に対応する各線分を検出する（１２２）。具体的には、特定パターン取得部１１は、Ｈパターンを構成する少なくとも２本の平行線群に対応する各線分と、当該平行線群と垂直な垂直線に対応する線分とを検出する。
【００７９】
消失点決定部１２は、特定パターン取得部１１からＨパターンに対応する各線分を取得する。消失点決定部１２は、当該平行線群に対応する各線分から１組の消失点ペアを決定する（Ｓ１２３）。これは、広角画像が前記広角カメラの内部パラメータを用いてマッピングされた球面画像に対する１組の消失点ペアとして決定される。
【００８０】
次に、消失点決定部１２は、当該平行線群に対応する各線分から決定された消失点ペアと当該垂直線に対応する線分との関係からもう１組の消失点ペアを決定する（Ｓ１２４）。具体的には、上述のように決定された１つの消失点と当該球面画像の中心とを結ぶ線を法線とする平面から１つの消失線を決定し、その平面と平行な関係となる垂直線のその球面画像への投影平面からもう１つの消失線を決定し、決定された２つの消失線の交点からそのもう１組の消失点ペアを決定する。
【００８１】
パラメータ推定部１２は、消失点決定部１２により決定された当該広角画像における２組の消失点ペアを用いて、車載カメラ７の姿勢パラメータを推定する（Ｓ１２５）。具体的には、パラメータ推定部１３は、２組の消失点ペアから地面に対する回転行列を推定し、更に、広角画像中のサイドラインとリアラインとの交点を１つの世界座標系の原点に設定し、この原点及び２組の消失点ペアに基づいて並進ベクトルを推定する。
【００８２】
［実施例１における作用及び効果］
上述したような実施例１におけるパラメータ推定装置１では、車載カメラ７により車両５の周辺環境として駐車場の駐車ラインが撮像されることで得られる広角画像から、特定パターン取得部１１が実空間上でのＨパターンに対応する線分を検出する。実施例１では、世界座標系でのＨパターンとして、駐車場の地面に付されている駐車ラインのうち、少なくとも２本の平行線群とこれらに垂直な１本の垂直線とに対応する各線分が当該広角画像から検出される。
【００８３】
続いて、消失点決定部１２がこのように検出された実空間上のＨパターンに対応する各線分を用いて広角画像中の２組の消失点ペアを決定する。続いて、パラメータ推定部１３が、このように決定された２組の消失点ペアを利用して車載カメラ７の姿勢パラメータのうちの回転行列を推定し、かつ、垂直線と平行線群との交点に設定される原点及び２組の消失点ペアを用いて車載カメラ７の姿勢パラメータのうちの並進ベクトルを推定する。
【００８４】
これにより、周辺画像生成装置２０では、パラメータ推定部１３から得られた姿勢パラメータが外部パラメータとして用いられ、車載カメラ７から得られる広角画像から図４に示すような車両５の周辺を映し出す画像データが生成される。
【００８５】
このように実施例１のパラメータ推定装置１によれば、特定パターンを持つ駐車ラインが付された駐車場に対象車両５を駐車しさえすれば、簡単にかつ正確に、車載カメラ７の外部パラメータを校正することができる。通常の駐車場には上述のようなＨパターンが存在しているので、実施例１によれば、従来手法のように、複数のマーカを準備し、かつ、予め決められた正確な位置に各マーカを配置する等といった負担の大きい作業を必要としない。また、駐車ラインのＨパターンは必ずしも平行線群と垂直線とが直交している状態で車載カメラ７に撮像される必要はなく、その交点にトラフィックコーンのような障害物が置かれていたりその交点付近のラインが消されていたとしても姿勢パラメータを推定可能であることは言うまでもない。このような場合には、広角画像から検出された各線分をその方向に応じて延長させて交点を導くようにすればよい。
【００８６】
更に、従来は、球面カメラモデルにおいて、消失点は、２つ以上の平行線群の交点として決定されていたところ、実施例１では、Ｈパターンから２組の消失点ペアを決定することができるため、姿勢パラメータを校正するためのシーンの制限を一層緩くすることができる。
【実施例２】
【００８７】
実施例１では１つの車載カメラ７の姿勢パラメータを推定対象としていた。そこで、実施例２として、３つの車載カメラ７の各姿勢パラメータを推定対象とする例を以下に示す。以下、実施例１と異なる内容を中心に実施例２におけるパラメータ推定装置について説明する。
【００８８】
図１３は、実施例２におけるパラメータ推定装置が搭載される車両の上面図を示す模式図である。図１４は、実施例２におけるパラメータ推定装置を含むカメラシステムの構成を示す模式図である。実施例２におけるカメラシステム１は、３つの車載カメラ７、実施例２におけるパラメータ推定装置１０、周辺画像生成装置２０、表示装置３０等で構成される。
【００８９】
実施例２では、車両５に３つの車載カメラ７が車両の後部（７Ｂ）、左サイド（７Ｌ）及び右サイド（７Ｒ）にそれぞれ設定される。各車載カメラ７は、実施例１と同様に広角カメラである。以降、車載カメラ７Ｂ、７Ｒ及び７Ｌをそれぞれリアカメラ、右カメラ、左カメラとも表記する。なお、本発明は、車載カメラ７Ｂ、７Ｒ及び７Ｌを設置する厳密な各位置を限定するものではない。
【００９０】
図１５は、各車載カメラ７から得られる広角画像の例を示す図である。具体的には、図１５（Ａ）は、左カメラ７Ｌから得られる広角画像の例を示し、図１５（Ｂ）は、リアカメラ７Ｂから得られる広角画像の例を示し、図１５（Ｃ）は、右カメラ７Ｒから得られる広角画像の例を示す。図１５（Ａ）及び（Ｃ）に示されるように、左カメラ７Ｌ及び右カメラ７Ｒから得られる各広角画像では、リアライン４２が図面に対して縦方向に長く延びており、サイドライン４１が図面に対して横方向に長く伸びている。逆に、図１５（Ｂ）に示されるリアカメラ７Ｂから得られる広角画像では、リアライン４２が図面に対して横方向に長く延びており、サイドライン４１が図面に対して縦方向に長く伸びている。
【００９１】
図１３及び１５から分かるように、リアカメラ７Ｂは、少なくとも車両５の後部より後方の領域（図１３で示す長鎖線７Ｂ−ＦＯＶ）を視野領域とする。右カメラ７Ｒは、少なくとも車両５の右側面より右方向の領域（図１３で示す長鎖線７Ｒ−ＦＯＶ）を視野領域とする。左カメラ７Ｌは、少なくとも車両５の左側面より左方向の領域（図１３で示す長鎖線７Ｌ−ＦＯＶ）を視野領域とする。よって、実施例２では、右カメラ７Ｒとリアカメラ７Ｂとの間には、重複する視野領域（図１３で斜線で示される領域ＯＬ−ＦＯＶ−Ｒ）が存在し、左カメラ７Ｌとリアカメラ７Ｂとの間には、重複する視野領域（図１３で斜線
で示される領域ＯＬ−ＦＯＶ−Ｌ）が存在する。
【００９２】
周辺画像生成装置２０は、３つの車載カメラ７からそれぞれ映像信号を受け、各映像信号から各広角画像をそれぞれ取得する。周辺画像生成装置２０は、各広角画像を各車載カメラ７の内部パラメータ及び外部パラメータを用いてそれぞれ変換することにより、車両５の周辺を映し出す画像データを生成する。図１６は、実施例２における出力画像（鳥瞰図）の例を示す図である。なお、図１５の例のような複数の車載カメラ７から得られた広角画像から図１６に示すような画像データを生成する具体的手法については周知な手法が利用されればよいため、ここでは説明を省略する。
【００９３】
周辺画像生成装置２０により生成された画像データは、表示装置３０のディスプレイに表示される。これにより、運転者は、この表示装置３０の表示面に映し出された映像を参照することにより、見え易い前方以外の各方向の状況を正確に認識することができ、結果、安全な運転操作を行うことができる。
【００９４】
周辺画像生成装置２０は、３つの各車載カメラ７についてそれぞれ内部パラメータ及び外部パラメータを読み出し可能なメモリに格納する。各カメラの内部パラメータについては、実施例１と同様に、製造時等に予め測定され格納されている。各カメラの外部パラメータ（姿勢パラメータ）は、その初期値が当該メモリに予めそれぞれ格納されており、任意のタイミングでパラメータ推定装置１０によりそれぞれ校正される。
【００９５】
［装置構成］
実施例２におけるパラメータ推定装置１０は、各車載カメラ７について、特定パターン取得部１１、消失点決定部１２及びパラメータ推定部１３のセットをそれぞれ有する。具体的には、リアカメラ７Ｂから得られる広角画像を処理するセットとして特定パターン取得部１１Ｂ、消失点決定部１２Ｂ及びパラメータ推定部１３Ｂが備えられ、右カメラ７Ｒから得られる広角画像を処理するセットとして特定パターン取得部１１Ｒ、消失点決定部１２Ｒ及びパラメータ推定部１３Ｒが備えられ、左カメラ７Ｌから得られる広角画像を処理するセットとして特定パターン取得部１１Ｌ、消失点決定部１２Ｌ及びパラメータ推定部１３Ｌが備えられる。
【００９６】
特定パターン取得部１１Ｂ、消失点決定部１２Ｂ及びパラメータ推定部１３Ｂは、実施例１と同様の手法により、リアカメラ７Ｂから得られる広角画像からリアカメラ７Ｂの姿勢パラメータを推定する。同様に、特定パターン取得部１１Ｒ、消失点決定部１２Ｒ及びパラメータ推定部１３Ｒは、実施例１と同様の手法により、右カメラ７Ｒから得られる広角画像から右カメラ７Ｒの姿勢パラメータを推定する。同様に、特定パターン取得部１１Ｌ、消失点決定部１２Ｌ及びパラメータ推定部１３Ｌは、実施例１と同様の手法により、左カメラ７Ｌから得られる広角画像からリアカメラ７Ｌの姿勢パラメータを推定する。
【００９７】
図１７は、各車載カメラから取得された広角画像からの線分検出の例を示す図である。上述したように、リアカメラ７Ｂから取得された広角画像と、他のカメラ７Ｌ及び７Ｂから得られた広角画像とでは、リアライン４２及びサイドライン４１の伸びる方向が異なる。そこで、特定パターン取得部１１Ｂは、実施例１と同様に、実空間におけるＨパターンに対応する各線分を検出すればよいが、特定パターン取得部１１Ｒ及び１１Ｌは、実施例１とは若干異なる。特定パターン取得部１１Ｒ及び１１Ｌはそれぞれ、抽出された線分のうち車両５に近く広角画像の縦方向（図１７の縦方向）に長い線分を当該垂直線として特定し、車両５に近く横方向（図１７の横方向）に長い線分を当該平行線群として特定する。なお、特定パターン取得部１１Ｒ及び１１Ｌのその他の処理については、実施例１と同様である。
【００９８】
なお、図１４の例では、各車載カメラ７についてそれぞれ特定パターン取得部１１、消失点決定部１２及びパラメータ推定部１３のセットを設ける例を示したが、本発明はこのような構成に限定するものではない。特定パターン取得部１１、消失点決定部１２及びパラメータ推定部１３が１つずつ設けられるようにしてもよい。
【００９９】
実施例２におけるパラメータ推定装置１０は、更に、パラメータ補整部１５を有する。パラメータ補整部１５は、各パラメータ推定部１３Ｂ、１３Ｌ及び１３Ｒにより推定された各姿勢パラメータを、右カメラ７Ｒとリアカメラ７Ｂとの間、及び、左カメラ７Ｌとリアカメラ７Ｂとの間の各相対姿勢に関し補整する。
【０１００】
上述したように、実施例２では、隣接する２つの車載カメラ７の間には重複する視野領域ＯＬ−ＦＯＶ−Ｒ及びＯＬ−ＦＯＶ−Ｌがある。パラメータ補整部１５は、各パラメータ推定部１３により推定された各姿勢パラメータを用いて、隣接する車載カメラ７のうちの一方から得られた広角画像上のピクセルを他方から得られた広角画像上にマッピングする。これにより、右カメラ７Ｒから得られた広角画像内の視野領域ＯＬ−ＦＯＶ−Ｒに対応する領域、及び、左カメラ７Ｌから得られた広角画像内の視野領域ＯＬ−ＦＯＶ−Ｌに対応する領域がそれぞれリアカメラ７Ｂから得られた広角画像にマッピングされる。
【０１０１】
以下、隣接する車載カメラ７から得られた広角画像間のマッピング処理についてより詳細に説明する。パラメータ補整部１５は、パラメータ推定部１３Ｌ及び１３Ｂから左カメラ７Ｌの姿勢パラメータ（Ｒｌｇ，Ｔｌｇ）及びリアカメラ７Ｂの姿勢パラメータ（Ｒｂｇ，Ｔｂｇ）を取得する。このとき、左カメラ７Ｌから得られた広角画像及びリアカメラ７Ｂから得られた広角画像における地上点Ｐｇの射影がそれぞれｘｌ及びｘｂｌであると想定すると、以下の式が成立する。
【０１０２】
【数７】
【０１０３】
ｓ（ｘｌ）及びｓ（ｘｂｌ）はそれぞれ単位球面画像における対応点ｘｌ及びｘｂｌの座標を示し、各内部パラメータにより上記（式３）を用いて算出される。λｌ及びλｂは、世界座標系のｘ軸及びｙ軸が地上平面に設定されたときに地上点Ｐｇのｚ座標がゼロとなるという地上平面の制約により決定されるスケール因子である。
【０１０４】
上記（式１１）によれば、下記（式１２）が得られ、最終的に、下記（式１３）が得られる。Ｒｂｇ−１はＲｂｇの逆行列を示す。また、ｓ−１は、ｓの逆演算を示し、カメラの内部パラメータによって単位球面画像の点から広角画像の点を算出することを意味する。
【０１０５】
【数８】
【０１０６】
パラメータ補整部１５は、例えば上記（式１３）においてカメラ姿勢パラメータ及び既知の内部パラメータを用いることにより、左カメラ７Ｌから得られた広角画像における地上点Ｐｇに対応する点ｘｌをリアカメラ７Ｂから得られた広角画像における地上点Ｐｇに対応する点ｘｂｌにマッピングする。なお、上述の説明では、左カメラ７Ｌ及びリアカメラ７Ｂから得られた各広角画像間のマッピング処理について示したが、右カメラ７Ｒ及びリアカメラ７Ｂから得られた各広角画像間のマッピング処理の同様であるためここでは説明を省略する。
【０１０７】
以降、説明を簡単にするために、上記（式１３）を用いたマッピング処理を以下の（式１４）のように示す。同様に、右カメラ７Ｒから得られた広角画像及びリアカメラ７Ｂから得られた広角画像における地上点Ｐｇ２の射影がそれぞれｘｒ及びｘｂｒであると想定し、右カメラ７Ｒ及びリアカメラ７Ｂから得られた各広角画像間のマッピング処理を以下の（式１５）のように示す。
【０１０８】
【数９】
【０１０９】
ここで、ｘｌ、ｘｒ、ｘｂｌ及びｘｂｒの明るさをＬｌ（ｘｌ）、Ｌｒ（ｘｒ）、Ｌｂ（ｘｂｌ）、Ｌｂ（ｘｂｒ）で示した場合、以下の（式１６）によって、隣接する２つの車載カメラ間で重複する視野領域に対応する重複画像領域の同一性を計算することができる。Ω１及びΩ２は、左カメラ７Ｌ及びリアカメラ７Ｂの間、並びに、右カメラ７Ｒ及びリアカメラ７Ｂの間の地上の重複画像領域を示し、Ｌｌ（上線付き）、Ｌｒ（上線付き）、Ｌｂ（上線付き）は、それぞれ左カメラ、右カメラ及びリアカメラから取得された各広角画像における重複領域の画素値の平均値を示す。
【０１１０】
【数１０】
【０１１１】
パラメータ補整部１５は、例えば上記（式１６）を用いることにより、重複する視野領域に対応する重複画像領域が、リアカメラ７Ｂ、右カメラ７Ｌ、リアカメラ７Ｂからそれぞれ得られる各広角画像の間で近似するように、各カメラの姿勢パラメータをそれぞれ補整する。パラメータ補整部１５は、例えば、シンプレックス法（simplex method）を用いることにより（式１６）の値を最大化することにより各姿勢パラメータを補整する。具体的には、Ψｌｂ及びΨｒｂには（式１３）に示すように各姿勢パラメータが含まれているため、（式１６）が最大化されたときに得られるΨｌｂ及びΨｒｂから、補整された各姿勢パラメータを取得する。
【０１１２】
図１８は、実施例２においてカメラ姿勢パラメータの補整の繰り返し回数に対し計算された相関値を示すグラフである。相関値は（式１６）を用いて計算される。パラメータ補整部１５は、例えば（式１６）で算出される相関値が０．８より大きくなった場合に処理を終了する。図１８の例では、補整前の相関値が０．６９であり、補整後の相関値が０．８となっている。パラメータ補整部１５は、このように洗練された各姿勢パラメータをそれぞれ周辺画像生成部２０へ送る。
【０１１３】
［動作例］
以下、実施例２におけるパラメータ推定装置１の動作例を図１９を用いて説明する。図１９は、実施例２におけるパラメータ推定装置１の動作例を示すフローチャートである。
【０１１４】
特定パターン取得部１１Ｒ、１１Ｂ及び１１Ｌは、各車載カメラ７から得られる各広角画像から実施例１と同様の手法によりＨパターンに対応する平行線群及び垂直線を特定する（Ｓ１２１及びＳ１２２）。続いて、消失点決定部１２Ｒ、１２Ｂ及び１２Ｌは、これら特定された各線分を用いて実施例１と同様の手法により各広角画像についての２組の消失点ペアをそれぞれ決定する（Ｓ１２３及びＳ１２４）。パラメータ推定部１３Ｒ、１３Ｂ及び１３Ｌは、これら決定された２組ずつの消失点ペアに基づいて実施例１と同様の手法により各車載カメラ７の姿勢パラメータをそれぞれ推定する（Ｓ１２５）。
【０１１５】
実施例２では、続いて、パラメータ補整部１５が、複数の車載カメラ７のうち重複する視野領域を有する各車載カメラ７から得られる各広角画像における当該重複領域に対応する画像領域の画像データ（ピクセルデータ）を、推定された各姿勢パラメータを用いて対応付ける（Ｓ１９１）。具体的には、左カメラ７Ｌ及びリアカメラ７Ｂから得られた各広角画像間の対応付け（マッピング）処理、及び、右カメラ７Ｒ及びリアカメラ７Ｂから得
られた各広角画像間の対応付け処理がそれぞれ行われる。
【０１１６】
パラメータ補整部１５は、当該車載カメラ７間で重複する視野領域に対応する重複画像領域の画像データ（ピクセルデータ）の相関を計算する（Ｓ１９２）。パラメータ補整部１５は、この相関値が最大化するような値で当該各姿勢パラメータを補整する（Ｓ１９３）。これにより、各姿勢パラメータが、右カメラ７Ｒとリアカメラ７Ｂとの間、及び、左カメラ７Ｌとリアカメラ７Ｂとの間の各相対姿勢に関し補整される。
【０１１７】
［実施例２における作用及び効果］
上述したような実施例２では、車両５の後部、右側面及び左側面に設置されたリアカメラ７Ｂ、右カメラ７Ｒ及び左カメラ７Ｌからそれぞれ広角画像が取得され、各広角画像に含まれる駐車ラインのＨパターンに対応する線分を用いて実施例１と同様の手法によりリアカメラ７Ｂ、右カメラ７Ｒ及び左カメラ７Ｌの姿勢パラメータがそれぞれ推定される。
【０１１８】
実施例２におけるパラメータ推定装置１０では、更に、パラメータ補整部１５により、実施例１と同様の手法により推定された３つの車載カメラ７の各姿勢パラメータが隣接する２つのカメラ間の相対姿勢に関し洗練される。具体的には、各パラメータ推定部１３でそれぞれ推定された各姿勢パラメータ及び予め決められた内部パラメータが利用されることにより、隣接する２つのカメラの一方から得られる広角画像の点が他方から得られる広角画像の点にマッピングされる。このマッピングされた各広角画像の点の相関値が隣接する２つのカメラの重複視野領域に対応する画像領域において最大化されるように各姿勢パラメータが決定される。このように、実施例２によれば、隣接するカメラ間における地面の重複領域を使ってカメラ間で相対的な姿勢を洗練することができる。
【０１１９】
図２０は、パラメータ補整部１５により補整される前の姿勢パラメータにより生成された鳥瞰図の例を示す図である。図２１は、実施例２におけるカメラシステムで出力される鳥瞰図の例を示す図である。図２０及び２１では、下図の丸で囲まれた部分の拡大図が各上図でそれぞれ示されている。図２０の鳥瞰図では、隣接するカメラ間の重複視野領域に相当する箇所において視覚的矛盾が見受けられる。ところが、図２１の鳥瞰図では、その視覚的矛盾が解消されていることが分かる。このように、実施例２によれば、視覚的一貫性を持つ出力画像を生成することができる。
【０１２０】
［変形例］
上述したように、実施例１及び２におけるパラメータ推定装置１０によれば、簡単にかつ正確に車載カメラ７の姿勢パラメータ（外部パラメータ）を推定し、校正することができる。しかしながら、実施例１及び２では地上のＨパターンに対するカメラ姿勢が推定されるが、車両５に対するカメラ姿勢を必ずしも推定しているとは限らない。ところが、最終的な出力画像（鳥瞰図）は車両５を中心に示した画像であるため、その出力画像において車両５の側面が駐車ラインのサイドラインと平行とならない場合があり得る（図２１の下図参照）。この場合、地上に対するカメラ姿勢に回転変位が生ずる可能性がある。
【０１２１】
そこで、上述の実施例１及び２におけるカメラシステム１を、ユーザとの対話型インタフェースを介してこのような車両５を中心とするカメラ姿勢が微調整され得るように構成してもよい。図２２は、実施例２の変形例としてのカメラシステムの構成を示す模式図である。なお、図２２には実施例２の変形例を示したが、実施例１にも同様の変形例を適用することが可能であることは言うまでもない。
【０１２２】
本変形例では、周辺画像生成装置２０に微調整処理部２５が設けられる。微調整処理部２５は、例えば、周辺画像生成装置２０内のＲＯＭに格納されたプログラムがＣＰＵで実行されることにより実現される。微調整処理部２５は、周辺画像生成装置２０が生成した
鳥瞰図のような出力画像にユーザの操作メニューとして微調整用インタフェースを付加する。
【０１２３】
運転者等のユーザは、表示装置３０に表示された出力画像において車両５の側面が駐車ラインのサイドラインと平行となっていないと判断した場合には、その操作メニューとしての微調整用インタフェースを入力装置３５を介して操作する。この微調整用インタフェースは、出力画像の中心を回転中心として、長方形の出力画像の縦の両サイドが、その画像に現れる車の両サイドと並行になるように、出力画像を時計回り又は反時計周りに回転する角度を変えることができるインタフェースである。なお、このインタフェースの形態は限定されない。
【０１２４】
微調整処理部２５は、入力装置３５から得られるデータに基づいてユーザ操作に対応する回転角度を取得し、この回転角度をパラメータ推定装置１０で推定された姿勢パラメータの回転行列に反映させる。これにより、周辺画像生成装置２０は、この更新された姿勢パラメータを用いて再度出力画像を生成し、表示装置３０へ出力させる。
【０１２５】
当該ユーザは、表示装置３０の表示部に表示される出力画像を見ながら、回転角度を当該インタフェースを用いて車両５の側面が駐車ラインのサイドラインと平行となるように調整する。
【０１２６】
図２３は、本変形例において微調整された姿勢パラメータを用いて生成された出力画像の例を示す図である。図２３には、図２１の下図に示す出力画像内における車両５の傾きが調整されていることが示されている。
【０１２７】
このように本変形例によれば、このようなユーザとの対話型インタフェースを提供することにより、車両５に対するカメラ姿勢パラメータについても正確に決めることができ、一層正確な姿勢パラメータを取得することが可能となる。
【０１２８】
また、上述の各実施例では、車載カメラ１台及び３台を用いた形態を示したが、本発明は車載カメラの台数を限定するものではない。車両５の前方に設置されたカメラを含む４台の車載カメラを用いる形態であってもよいし、それ以上の台数のカメラを用いる形態であってもよい。
【０１２９】
また、上述の各実施例では、地上に付された駐車ラインを実世界における特定パターン（Ｈパターン）として利用する例を示したが、本発明はこのような形態に限定するものではない。予め少なくとも２本の平行な線分（以降、平行線群と表記する）及びこれらに垂直な１本の線分（以降、垂直線と表記する）から構成されるとして知られているものであり、車載カメラ７で撮像可能なものであれば、例えば、建物の壁面と地面、壁面と天井面、そのような形状を有する模型などが利用されてもよい。
【符号の説明】
【０１３０】
１ カメラシステム
５ 車両
７、７Ｂ、７Ｌ、７Ｒ 車載カメラ（リアカメラ、左カメラ、右カメラ）
１０ パラメータ推定装置
１１、１１Ｂ、１１Ｌ、１１Ｒ 特定パターン取得部
１２、１２Ｂ、１２Ｌ、１２Ｒ 消失点決定部
１３、１３Ｂ、１３Ｌ、１３Ｒ パラメータ推定部
２０ 周辺画像生成装置
２５ 微調整処理部
３０ 表示装置
３５ 入力装置
【技術分野】
【０００１】
本発明は、広角カメラの姿勢パラメータ推定技術に関する。
【背景技術】
【０００２】
近年、運転操作の安全性を高めることを目的として、魚眼カメラ等のような広角レンズを用いた複数のカメラを搭載し、車両の周囲を死角なくモニタリングするカメラシステムを搭載する車両が存在する。このようなカメラシステムは、車両の複数箇所に設置された各カメラによって撮影された画像を用いて、車両の周辺画像を生成し、生成された画像を表示装置に表示させる。表示装置に表示される周辺画像を見ることにより、運転者は、容易かつ安全に運転操作をすることができる。
【０００３】
車両内部の表示装置の表示領域は大きさに制限があるため、各カメラで撮影された複数の画像から生成される周辺画像を運転者にとって見易く瞬時に把握可能に表示させることは重要である。このような課題を解決する手法が例えば以下の特許文献１により提案されている。
【０００４】
また、上述のようなカメラシステムにおいて、車両の周辺画像として、車両を上空から見下ろしたように描いたトップビュー（以降、鳥瞰図とも表記する）を生成するシステムが存在する。鳥瞰図によれば、運転者は、死角なく、車両の周囲の状況を瞬時に把握することができる。
【０００５】
しかしながら、複数の魚眼カメラを持つカメラシステムにおいて鳥瞰図を生成するためには、予め、各魚眼カメラをそれぞれ校正する必要がある。
【０００６】
校正の対象となり得るカメラのパラメータは、一般的には、内部パラメータ及び外部パラメータに区別される。内部パラメータには、主点（principal point）、焦点距離（focal length）、レンズ歪み（lens distortion）等が含まれる。このような内部パラメータは、カメラの環境で変化しないため、予め測定され製造プロセス等において設定される。
【０００７】
一方、外部パラメータはワールド座標系（world coordinate system）に対するカメラ
の方向（orientation）と位置（position）であり、カメラ姿勢（pose）パラメータとも
呼ばれる。このようなカメラ姿勢パラメータを校正するための手法は各種提案されている。例えば、車のボンネット（hood）上に置かれた複数のマーカを用いて自動車のアプリケーションにおけるステレオビジョンシステムを較正する手法が提案されている（下記非特許文献１参照）。また、車両の前の地面に置かれた複数の円パターンを用いることにより外部パラメータを校正することが提案されている（下記非特許文献２参照）。更に、車載カメラで検出された平行の車線マーキングを用いることにより前方カメラの方向を校正する方法が提案されている（下記非特許文献３参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００９−２０６７４７号公報
【非特許文献】
【０００９】
【非特許文献１】A. Broggi, M. Bertozzi and A. Fascioli, “Self-calibration of a stereo system for automotive applications”, Proc. of IEEE conference on Robotics and Automation, pp.3698-3703, 2001
【非特許文献２】S. Hold, C. Nunn, A. Kummert, and S. Muller-Schnerders, “Effi-cient and robust extrinsic camera calibration procedure for lane departure warning”, Proc. of Intelligent Vehicle Symposium, pp.382-387, 2009
【非特許文献３】A. Catala-Part, J. Rataj and R. Reulke, “Self-calibration system for the orientation of a vehicle camera”, ISPR Commission V Sympo-sium on Image Engineering and Vision Metrology, pp.68-73, 2006
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、上述のような従来のカメラ較正方法は、従来のピンホールカメラモデルに基づいた限定された視野（FOV(Field Of View)）の一般的なカメラに対して適用される方法であり、全方向カメラや魚眼カメラのような半球より広視野の広角カメラにそのまま適用することができない。
【００１１】
そこで、従来の広角カメラを用いた車載カメラシステムでは、図２４に示されるように、地上の予め決められた正確な位置に設置された複数のマーカを用いてカメラの姿勢パラメータを校正する方法が採用されている。図２４は、車両の後部に搭載された１つの広角カメラの姿勢パラメータを校正するための従来手法を示す図である。図２４の例によれば、車両の幅方向の中心線上の車両後部から５０センチメートル（ｃｍ）、１メートル（ｍ）、２（ｍ）の各位置にそれぞれ１つずつのマーカを設置し、更に、車両の両サイドの面と平行で車両幅間隔離された２つの線上の車両後部から１（ｍ）の各位置に１つずつのマーカを設置する必要がある。
【００１２】
このように従来手法では、複数のマーカを準備しなければならず、かつ、予め決められた正確な位置に各マーカを配置しなければならないため、カメラの校正に多大なる負担がかかっていた。
【００１３】
本発明の一態様に係る課題は、このような問題点に鑑み、広角カメラの姿勢パラメータを容易にかつ正確に推定する技術を実現することにある。
【課題を解決するための手段】
【００１４】
本発明の各態様では、上述した課題を解決するために、それぞれ以下の構成を採用する。
【００１５】
第１の態様は、カメラ姿勢パラメータ推定装置に関する。第１の態様に係るカメラ姿勢パラメータ推定装置は、半球以上の視野を有する広角カメラにより得られる広角画像から、実空間における、相互に平行な少なくとも２つの第１直線及び第２直線と、第１直線及び第２直線と垂直な関係を有する１つの第３直線とから構成される特定パターンを形成し得る各線分をそれぞれ取得するパターン取得手段と、このパターン取得手段により取得された特定パターンを形成し得る各線分を用いて上記広角画像に対する２組の消失点ペアを決定する決定手段と、この決定手段で決定された２組の消失点ペアを用いて地面に対する広角カメラの姿勢パラメータを推定する推定手段と、を備える。
【００１６】
第１の態様では、広角カメラから得られる広角画像から実空間における特定パターンに対応する各線分が取得され、この取得された各線分から広角画像に対する２組の消失点ペアが決定され、この２組の消失点ペアから広角カメラの姿勢パラメータが推定される。
【００１７】
従って、第１の態様によれば、当該広角カメラにより当該特定パターンが撮像されさえすれば、広角カメラの姿勢パラメータを容易にかつ正確に推定することができる。
【００１８】
当該特定パターンは、実空間における、相互に平行な少なくとも２つの第１直線及び第２直線と、第１直線及び第２直線と垂直な関係を有する１つの第３直線とから構成される。このような特定パターンは、駐車場の駐車ラインや建物の壁面のライン等のように一般的に実空間に存在するものが利用されればよいため、従来のようにカメラの校正に費やされる負担を大きく軽減させることができる。
【００１９】
上記第１の態様において好ましくは、上記決定手段が、上記特定パターンに対応する各線分のうち第１直線に対応する線分と第２直線に対応する線分とを用いて、広角画像が広角カメラの内部パラメータを用いてマッピングされた球面画像に対する１組の消失点ペアを前記広角画像の１組の消失点ペアとして決定し、この決定された１つの消失点とその球面画像の中心とを結ぶ線を法線とする平面から１つの消失線を決定し、その平面と平行な関係となる第３直線のその球面画像への投影平面からもう１つの消失線を決定し、決定された２つの消失線の交点から更に１組の消失点ペアを決定するようにしてもよい。
【００２０】
これにより、少ない情報で広角画像に対する２組の消失点ペアを決定することができ、正確に、カメラ姿勢パラメータを推定することができる。
【００２１】
また、上記第１の態様において好ましくは、上記パターン取得手段が、第１直線及び第２直線、並びに、第１直線及び第２直線と垂直な関係を有す第３直線とは異なる第４直線から構成される他の特定パターンを形成し得る各線分を更にそれぞれ取得し、上記決定手段が、第４直線を用いて第３直線と同様に新たな１組の消失点ペアを決定し、この新たに決定された１組の消失点ペアと、第３直線を用いて決定された１組の消失点ペアとの平均により１組の消失点ペアを決定するようにしてもよい。
【００２２】
このようにすれば、一層正確に２組の消失点ペアを決定することができる。
【００２３】
また、上記第１の態様において、複数の広角カメラを対象に各広角カメラの姿勢パラメータを推定することも可能である。この場合、上記パターン取得手段が、複数の広角カメラから得られる各広角画像からそれぞれ、特定パターンに対応する各線分を取得し、上記決定手段が、２組の消失点ペアを前記各広角画像についてそれぞれ決定し、上記推定手段が、各広角画像に対する各２組の消失点ペアをそれぞれ用いて、各広角カメラの姿勢パラメータをそれぞれ推定する。そして、この態様においては、当該第１の態様に係るカメラ姿勢パラメータ推定装置が、複数の広角カメラのうち重複する視野領域を有する少なくとも２つの隣接広角カメラから得られる各広角画像内のその重複する視野領域に対応する画像領域を上記推定手段により推定されたその隣接広角カメラの各姿勢パラメータを用いて特定し、この特定された各画像領域の画像情報を用いてその隣接広角カメラの各姿勢パラメータを補整する補整手段を更に備えるようにしてもよい。
【００２４】
これによれば、複数の広角カメラに関する各姿勢パラメータが推定され、この推定された各姿勢パラメータが、重複する視野領域を有する少なくとも２つの隣接広角カメラの間の相対的情報により更に洗練される。よって、第１の態様によれば、複数の広角カメラの姿勢パラメータを正確に推定することが可能である。
【００２５】
また、この複数の広角カメラを対象とした態様において、上記補整手段が、特定された各画像領域の画像データ間の相関値が最大化される値となるように隣接広角カメラの各姿勢パラメータを補整するようにしてもよい。
【００２６】
第２の態様は、複数の広角カメラと、上述のようなパラメータ推定装置と、各広角カメラから得られる各広角画像から画像データを生成する画像生成装置とを含むカメラシステムに関する。このカメラシステムでは、当該画像生成装置が、上述の第１の態様のような
パラメータ推定装置により推定された複数の広角カメラの各姿勢パラメータを用いて、複数の広角画像から前記複数の広角カメラが搭載された車両を中心とする鳥瞰図を示す画像データを生成する生成手段と、この生成手段により生成された画像データに応じた鳥瞰図を参照したユーザにより入力されるその鳥瞰図における車両の傾き情報を取得する傾き情報取得手段と、その傾き情報を複数の広角カメラの各姿勢パラメータに反映させる反映手段と、を備える。
【００２７】
第２の態様によれば、ユーザにより入力される傾き情報に基づいて車両の地面に対する傾きを複数の広角カメラの各姿勢パラメータに反映させることができ、一層適切な鳥瞰図を出力することができるようになり、車両の運転者に安全な運転操作を提供することができる。
【００２８】
なお、本発明の他の態様としては、以上の何れかの構成を実現するカメラ姿勢パラメータの推定方法であってもよいし、そのような方法を実行するプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記憶媒体であってもよい。
【発明の効果】
【００２９】
本発明の各態様によれば、広角カメラの姿勢パラメータを容易にかつ正確に校正する技術を提供することができる。
【図面の簡単な説明】
【００３０】
【図１】実施例１におけるパラメータ推定装置を含むカメラシステムの構成を示す模式図。
【図２】実施例１におけるパラメータ推定装置が搭載される車両の上面図を示す模式図。
【図３】実施例１における広角画像の例を示す図。
【図４】実施例１における出力画像（鳥瞰図）の例を示す図。
【図５】画像平面とカメラレンズとの間の関連を示すモデルを示す図。
【図６】球面画像及び球面投影を示す図。
【図７】直線Ｌの単位球面上への投影を示す図。
【図８】線分の検出例を示す図。
【図９】消失点決定部における消失点決定のアルゴリズムを示す図。
【図１０】消失点決定部における消失点決定のアルゴリズムを示す図。
【図１１】球面画像におけるＨパターンと消失点との関係を示す図。
【図１２】実施例１におけるパラメータ推定装置の動作例を示すフローチャート。
【図１３】実施例２におけるパラメータ推定装置が搭載される車両の上面図を示す模式図を示す図。
【図１４】実施例２におけるパラメータ推定装置を含むカメラシステムの構成を示す模式図を示す図。
【図１５】各車載カメラ７から得られる広角画像の例を示す図。
【図１６】実施例２における出力画像（鳥瞰図）の例を示す図。
【図１７】各車載カメラから取得された広角画像からの線分検出の例を示す図。
【図１８】実施例２においてカメラ姿勢パラメータの補整の繰り返し回数に対し計算された相関値を示すグラフ。
【図１９】実施例２におけるパラメータ推定装置の動作例を示すフローチャートである。
【図２０】パラメータ補整部により補整される前の姿勢パラメータにより生成された鳥瞰図の例を示す図。
【図２１】実施例２におけるカメラシステムで出力される鳥瞰図の例を示す図。
【図２２】実施例２の変形例としてのカメラシステムの構成を示す模式図。
【図２３】本変形例において微調整された姿勢パラメータを用いて生成された出力画像の例を示す図。
【図２４】車両の後部に搭載された１つの広角カメラの姿勢パラメータを校正するための従来手法を示す図。
【発明を実施するための形態】
【００３１】
以下、本発明の一実施形態としてのパラメータ推定装置について具体例を挙げ説明する。実施形態としてのパラメータ推定装置は、車両に搭載され、その車両に設置された広角カメラの姿勢パラメータを推定する。なお、本実施形態におけるパラメータ推定装置は、搭載される車両の種類を限定するものではない。以下に挙げた各実施例はそれぞれ例示であり、本発明は以下の各実施例の構成に限定されない。
【００３２】
以下の各実施例では、駐車ラインが地面に付されている駐車場に本実施形態におけるパラメータ推定装置を搭載する車両が駐車している状態でカメラの姿勢パラメータが推定される例を示す。当該パラメータ推定装置によりパラメータ推定が行われる際には、当該車両が任意の駐車スペースに車両の進行方向と両サイドの駐車ラインとが略平行となるように駐車される。この略平行とは、完全な平行が好ましいが完全な平行でなくとも許容されることを意味する。以降、本実施形態におけるパラメータ推定装置によりパラメータ推定が行われる際の車両の姿勢を基本姿勢とも表記する。本実施形態におけるパラメータ推定装置は、基本姿勢で駐車される車両に設置されるカメラで撮影される駐車ラインを用いて車載カメラの姿勢パラメータを推定する。
【実施例１】
【００３３】
以下、実施形態としてのパラメータ推定装置の第１実施例について説明する。
【００３４】
［システム構成］
図１は、実施例１におけるパラメータ推定装置を含むカメラシステムの構成を示す模式図である。図２は、実施例１におけるパラメータ推定装置が搭載される車両の上面図を示す模式図である。カメラシステム１は、図１に示されるように、車載カメラ７、実施例１におけるパラメータ推定装置１０、周辺画像生成装置２０、表示装置３０等で構成される。カメラシステム１は、車両５に搭載され、車両５の周辺を映し出す画像（映像）を車両５の運転者に提供する。
【００３５】
車載カメラ７は、図２に示されるように、車両５の後方部に１つ設置される。車載カメラ７は、魚眼レンズ等のような半球以上の視野を有する広角レンズを有する広角カメラである。車載カメラ７は、少なくとも車両５の後部より後方の領域（図２で示す長鎖線）を視野領域とする。車載カメラ７で撮像された映像の信号は、周辺画像生成装置２０へ送られる。なお、本発明は、車載カメラ７を設置する厳密な位置を限定するものではない。
【００３６】
周辺画像生成装置２０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、入出力インタフェース等で構成され、例え
ば、ソフトウェア的又はハードウェア的な起動指示に応じて電力が投入され起動される。周辺画像生成装置２０は、ＲＯＭに記録されたプログラムを実行することにより、以下のような処理を実行する。
【００３７】
周辺画像生成装置２０は、車載カメラ７から映像信号を受け、この映像信号から画像データを取得する。以降、車載カメラ７から得られる画像データを広角画像とも表記する。周辺画像生成装置２０は、この広角画像を車載カメラ７の内部パラメータ及び外部パラメータを用いて変換することにより、車両５の周辺を映し出す画像データを生成する。この
画像データは、例えば、車載カメラ７の視野領域を車両５の上空から見下ろしたように見せる鳥瞰図として生成される。図３は、実施例１における広角画像の例を示す図であり、図４は、実施例１における出力画像（鳥瞰図）の例を示す図である。
【００３８】
車載カメラ７の内部パラメータは、製造時等に予め測定され、周辺画像生成装置２０が読み出し可能なメモリに予め格納されている。一方で、外部パラメータ（姿勢パラメータ）は、その初期値が当該メモリに予め格納されており、任意のタイミングでパラメータ推定装置１０により校正される。この任意のタイミングとは、例えば、電力投入開始時、ハードウェア的又はソフトウェア的な操作が行なわれた時などである。なお、本発明は、このような車載カメラ７の姿勢パラメータの校正タイミングを限定するものではない。
【００３９】
表示装置３０は、周辺画像生成装置２０により生成された画像データを受け、図４に示すような鳥瞰図をディスプレイ（表示面）に表示させる。運転者は、この表示装置３０の表示面に映し出された車両後方の映像を参照することにより、死角及び見え難い車両後方の状況を正確に認識することができ、結果、安全な運転操作を行うことができる。
【００４０】
本発明は、周辺画像生成装置２０のハードウェア構成及び画像データの変換手法を限定するものではないため、上述のように説明を簡略化している。また、図１では、パラメータ推定装置１０と周辺画像生成装置２０とは別々のハードウェアとして実現される例が示されるが、両者はそれぞれソフトウェアモジュールとして実現されるようにしてもよい。
【００４１】
［装置構成］
パラメータ推定装置１０は、特定パターン取得部１１、消失点決定部１２、パラメータ推定部１３等を有する。これら各処理部はそれぞれ、ハードウェア回路として実現されてもよいし、ソフトウェアモジュールとして実現されてもよい。ソフトウェアモジュールとして実現される場合には、パラメータ推定装置１０のＣＰＵにおいてメモリに格納されるプログラムが実行されることにより実現される。なお、本発明は、このようなパラメータ推定装置１０のハードウェア構成を限定するものではない。
【００４２】
パラメータ推定装置１０は、上述したような任意のタイミングで起動され、車載カメラ７の姿勢パラメータを推定し、この推定された姿勢パラメータにより周辺画像生成装置２０に格納される姿勢パラメータを更新する。パラメータ推定装置１０は、起動されると、車載カメラ７から映像信号を受ける。
【００４３】
パラメータ推定装置１０は、ピンホールカメラモデルでは半球以上の視野を持つ広角カメラで撮像された画像を扱うことができないため、車載カメラ７から取得される広角画像を球面カメラモデルを用いることにより処理する。つまり、パラメータ推定装置１０は、広角画像を球面画像にマッピングする。
【００４４】
図５は、画像平面とカメラレンズとの間の関連を示すモデルを示す図である。図５では、カメラ座標系における点Ｐ（Ｘ，Ｙ，Ｚ）の光線方向が球面座標（θ，φ）で示され、画像平面上の投影座標が（ｒｉ，φｉ）で示される。例えば、一般的な魚眼レンズに関しては、以下のような射影タイプが利用される。
【００４５】
等距離射影（Equidistant Projection）：ｒｉ＝ｆθ
直交射影（Orthogonal Projection）：ｒｉ＝ｆ ｓｉｎθ
立体射影（Stereographic Projection）：ｒｉ＝２ｆ ｔａｎ（θ／２）
等立体角射影（Equal Area Projection）：ｒｉ＝２ｆ ｓｉｎ（θ／２）
実際のカメラは物理的には理想的な投影モデルには従わない。光軸が画像中心を通らないかもしれない。また、１ピクセルの縦及び横のサイズが等しくならず、実レンズの半径
方向歪み（radial distortion）及び偏心歪み（decentering distortion）が存在するか
もしれない。そこで、以下の（式１）及び（式２）で示すようなカメラ歪みモデルが利用される。以下の（式１）及び（式２）におけるθ、φ、ｒｉ、φｉは図５で示すとおりであり、半径方向歪み及び偏心歪みの各パラメータが（ｋ１，ｋ３，ｋ５，Ｐ１，Ｐ２）で示される。
【００４６】
【数１】
【００４７】
光心（ｘＣ，ｙＣ）のシフトパラメータ、アスペクト比αが用いられることにより、画像平面上の投影座標（ｒｉ，φｉ）は、入力された広角画像の直交座標系での射影点の座標である（ｘｆ，ｙｆ）にマッピングされる。従って、カメラ座標系における点Ｐ（Ｘ，Ｙ，Ｚ）と広角画像上の点（ｘｆ，ｙｆ）との対応関係は以下の（式３）のように示される。
【００４８】
【数２】
【００４９】
（式３）により、広角画像における任意の点がカメラ内部パラメータを用いることにより単位球面画像にマッピングされる。このような空間点の球面画像への投影は球面投影と呼ばれる。図６は、球面画像及び球面投影を示す図である。
【００５０】
点Ｐ（Ｘ，Ｙ，Ｚ）の球面画像座標系に関する座標がＭＣ＝［Ｘ Ｙ Ｚ］Ｔとすれば、単位球面画像における点Ｐの投影はｍ＝［ｓｉｎθｃｏｓφ ｓｉｎθｓｉｎφ ｃｏｓθ］Ｔとして表わすことができる。これにより、球面画像座標系における座標ＭＣと投影座標ｍとの関係はｍ＝λＭＣ≒ＭＣである。この関係は、ｍがスケール因子を除いてＭＣと等しいことを意味する。
【００５１】
このような球面モデルでは、図７に示すように、直線Ｌは単位球面上に大円の円弧ｌとして投影される。図７は、直線Ｌの単位球面上への投影を示す図である。図７に示すｎは、直線Ｌの投影平面の単位法線ベクトルとされる。ここで、点ｐが円弧ｌ上にあると仮定し、点ｐがｐ＝［ｓｉｎθｃｏｓφ ｓｉｎθｓｉｎφ ｃｏｓθ］と示され、単位法線ベクトルｎがｎ＝［ａ ｂ ｃ］と示されると、直線の投影平面の方程式は以下の（式４）のようになる。ここで、θ及びφは、球面座標系における極角及び方位角である。
【００５２】
【数３】
【００５３】
ここで、同じ直線に属している点は同じ投影平面に存在することから、球面空間におけるハフ変換は、球面画像中の空間直線の投影点を用いることにより、空間直線の投影平面の法線ベクトルを決定するのに利用され得る。
【００５４】
以下、上述のような球面カメラモデルを用いて処理するパラメータ推定装置１０の各処理部について説明する。
【００５５】
特定パターン取得部１１は、車載カメラ７から送られた映像信号を受信すると、この映像信号から広角画像を取得する。この広角画像には、図３に示すように複数の駐車ラインや駐車場のその他の風景が映し出されている。以降、車両５が基本姿勢で駐車されている場合における、車両５の進行方向と略平行な駐車ラインをサイドライン４１と表記し、車両５の進行方向と略垂直な駐車ラインをリアライン４２と表記する。なお、一般的な駐車場では、サイドライン４１とリアライン４２とは直行するように駐車ラインが引かれている。
【００５６】
特定パターン取得部１１は、このような広角画像から実空間における特定のパターンに対応する線分を検出する。この特定のパターンは、少なくとも２本の平行な線分（以降、平行線群と表記する）及びこれらに垂直な１本の線分（以降、垂直線と表記する）から構成される。この特定のパターンは、以降、各線分の形状に基づいてＨパターンと表記する。特定パターン取得部１１は、広角画像を内部パラメータを用いることにより単位球面画像にマッピングし、上述したような球面カメラモデルに基づくアルゴリズムを用いて上述のような平行線群に対応する広角画像内の各線分及び垂直線に対応する広角画像内の線分を検出する。なお、広角画像から線分を検出する手法については周知な手法（例えば、特開２００９−２８８８８５号公報参照）を用いればよいため、ここでは説明を簡略化する。
【００５７】
特定パターン取得部１１は、広角画像から複数のエッジ点を抽出し、各エッジ点について勾配方向（gradient direction）をそれぞれ計算する。この勾配方向とはエッジ点の輝度の勾配を示す。特定パターン取得部１１は、算出された各勾配方向に基づいて、各エッジ点を２つのグループに分類する。１つのグループは、０度から１８０度までの勾配方向を持つエッジ点の集合であり、もう１つのグループは、残りの勾配方向を持つエッジ点の集合である。この分類処理により、例えば、広角画像に含まれる各駐車ラインの対向する各境界線がそれぞれ異なるグループに属することになる。
【００５８】
特定パターン取得部１１は、各グループに属するエッジ点の集合からそれぞれ線分を抽出する。この線分の抽出には上述したように例えばハフ変換技術が利用される。特定パターン取得部１１は、ハフ変換技術を用いて空間直線に対応する球面画像上の大円を抽出する。図８は、線分の検出例を示す図である。図８の例によれば、サイドライン４１から抽出された境界線の線分４１Ａ及び４１Ｂがそれぞれ異なるグループに分類される。同様に、リアライン４２から抽出された境界線の線分４２Ａ及び４２Ｂがそれぞれ異なるグループに分類される。
【００５９】
特定パターン取得部１１は、抽出された線分のうち車両５に近く広角画像の縦方向（図８の縦方向）に長い線分を当該平行線群に対応する線分として特定し、車両５に近く横方
向（図８の横方向）に長い線分を当該垂直線に対応する線分として特定する。このとき、特定パターン取得部１１は、口角画像の縦方向に長い線分については上記１つのグループに関し２本以上特定する。即ち、２本以上の各サイドラインからそれぞれ得られた線分が特定される。
【００６０】
図８によれば、例えば、特定パターン取得部１１は、図面左側（車両５の右サイド）のサイドライン４１から抽出された線分４１Ａと、図面右側（車両５の左サイド）のサイドライン４１から抽出された線分４１Ａとを当該平行線群に対応する各線分として特定する。特定パターン取得部１１は、更に、当該垂直線に対応する線分として線分４２Ａ及び４２Ｂの少なくとも一方を特定する。特定パターン取得部１１は、このように特定されたＨパターンに対応する各線分についての情報を当該広角画像と共に消失点決定部１２へ送る。特定パターン取得部１１は、上記（式４）を用いて決定される各線分の投影平面の法線ベクトルを各線分についての情報として消失点決定部１２に送るようにしてもよい。この法線ベクトルの決定は最小２乗法が利用される。
【００６１】
消失点決定部１２は、特定パターン取得部１１から得られるＨパターンに対応する各線分についての情報を用いて、当該広角画像内の２組の消失点ペアを決定する。具体的には、まず、消失点決定部１２は、当該平行線群に対応する各線分から１対の消失点ペアを決定する。次に、消失点決定部１２は、当該垂直線に対応する線分と当該平行線群に対応する各線分との関係から１対の消失点ペアを決定する。図９及び１０は、消失点決定部１２における消失点決定のアルゴリズムを示す図である。
【００６２】
図９には、仮想球面カメラによって観察された実空間中の３本の平行線群が示されている。図９に示すように、これら平行線群は、球面画像中の１対の消失点をもたらす。
【００６３】
消失線は、無限空間における平行な平面群の交わるところとして定義される。球面画像では、この消失線は、図１０に示すように、平行平面の交差する箇所であり球面画像の中心を通る大円に対応する。そして、平行平面と平行な線の一対の消失点は、その線と当該平面の消失線との交差点として決定することができる。つまり、１つの線における一対の消失点は、その線を含む平行線群、又は、その線と平行な平面の消失線によって決定され得る。
【００６４】
図１１は、球面画像におけるＨパターンと消失点との関係を示す図である。図１１には、２つの平行線ｌＳ１及びｌＳ２、並びに、その２つの線に垂直な別の線ｌＲから構成されるＨパターンが示されている。消失点決定部１２は、Ｈパターン中の２つの平行線ｌＳ１及びｌＳ２から一対の消失点ＶＳ及びＶ’Ｓを決定する。
【００６５】
原点からＶＳへの法線ベクトルｎを以て、球面画像の中心を通る平面Πを決定する。この平面の球面画像との交点は大円ＣＶをもたらす。この大円ＣＶは、平面Πを含む並行平面の消失線である。線ｌＲは平面Πと平行であるから、線ｌＲの球面画像への投影平面と平面Πとの交点ＶＲ及びＶ’Ｒが線ｌＲの一対の消失点となる。これにより、消失点決定部１２は、Ｈパターンから２組の消失点を得ることができる。
【００６６】
以下、消失点決定部１２の処理をより具体的に説明する。消失点決定部１２は、Ｈパターンを形成する各線分（平行線ｌＳ１及びｌＳ２、並びに、垂直線ｌＲ）の投影平面の各法線ベクトルをそれぞれ特定パターン決定部１１から受ける。ここでは、各法線ベクトルをそれぞれｎＳ１、ｎＳ２、ｎＲで示す。
【００６７】
消失点決定部１２は、各法線ベクトルを用いて２つの平行線ｌＳ１及びｌＳ２における一対の消失点ペア（ＶＳ及びＶ’Ｓ）を以下の（式５）のように算出する。
【００６８】
【数４】
【００６９】
ここで、原点を通りｎ（＝ｎＳ１×ｎＳ２）を法線ベクトルとする平面Πの消失線（大円ＣＶ）は以下の（式６）のように示される。また、垂直線ｌＲの投影平面の単位球面画像との交点は以下の（式７）のように示される。
【００７０】
【数５】
【００７１】
消失点決定部１２は、（式６）及び（式７）の解として、垂直線ｌＲに関する一対の消失点ＶＲ及びＶ’Ｒを算出する。具体的には、ｘ＝ｔａｎθｃｏｓφ及びｙ＝ｔａｎθｓｉｎφとし、（式６）及び（式７）の両辺がｃｏｓθで除算され、以下の（式８）が得られる。更に、（式８）の方程式の解により、下記（式９）が得られ、結果、（式１０）が得られる。
【００７２】
【数６】
【００７３】
消失点決定部１２は、φの値を用いてθの値を算出し、そして、垂直線ｌＲに関する一対の消失点ペアを決定する。この消失点ペアの位置は、その単位球面上における極座標（θ、φ）で決まり、その直交座標は（ｓｉｎθｃｏｓφ，ｓｉｎθｓｉｎφ，ｃｏｓθ）と（−ｓｉｎθｃｏｓφ，−ｓｉｎθｓｉｎφ，−ｃｏｓθ）で求められる。
【００７４】
消失点決定部１２は、特定パターン取得部１１から２つの垂直線（図８に示す線分４２Ａ及び４２Ｂ）の情報を得ている場合には、各垂直線について上述のようにそれぞれ一対の消失点ペアを決定し、これらの平均値を最終的な垂直線に関する一対の消失点ペアとしてもよい。
【００７５】
パラメータ推定部１３は、消失点決定部１２により決定された２組の消失点ペアの情報を用いて、車載カメラ７の地面（世界座標系）に対する姿勢パラメータを推定する。広角画像において検出された２組の消失点ペアからカメラ姿勢パラメータを推定する手法については周知な手法が採用されればよいため、ここでは説明を簡略化する。
【００７６】
パラメータ推定部１３は、２組の消失点ペアから地面に対する回転行列（rotational matrix）を推定する。更に、パラメータ推定部１３は、広角画像中のサイドラインとリア
ラインとの交点を１つの世界座標系の原点に設定し、この原点及び２組の消失点ペアに基づいて並進ベクトル（translational vector）を推定する。推定された回転行列はカメラ方位（orientation）を示し、推定された並進ベクトルはカメラ位置（displacement）を
示す。パラメータ推定部１３は、このように推定された回転行列及び並進ベクトルを含む姿勢パラメータを周辺画像生成装置２０へ送る。
【００７７】
［動作例］
以下、実施例１におけるパラメータ推定装置１の動作例を図１２を用いて説明する。図１２は、実施例１におけるパラメータ推定装置１の動作例を示すフローチャートである。
【００７８】
特定パターン取得部１１は、車載カメラ７から送られた映像信号を受信すると、この映像信号から広角画像を取得する（Ｓ１２１）。特定パターン取得部１１は、このような広角画像から実空間における特定のパターン（Ｈパターン）に対応する各線分を検出する（１２２）。具体的には、特定パターン取得部１１は、Ｈパターンを構成する少なくとも２本の平行線群に対応する各線分と、当該平行線群と垂直な垂直線に対応する線分とを検出する。
【００７９】
消失点決定部１２は、特定パターン取得部１１からＨパターンに対応する各線分を取得する。消失点決定部１２は、当該平行線群に対応する各線分から１組の消失点ペアを決定する（Ｓ１２３）。これは、広角画像が前記広角カメラの内部パラメータを用いてマッピングされた球面画像に対する１組の消失点ペアとして決定される。
【００８０】
次に、消失点決定部１２は、当該平行線群に対応する各線分から決定された消失点ペアと当該垂直線に対応する線分との関係からもう１組の消失点ペアを決定する（Ｓ１２４）。具体的には、上述のように決定された１つの消失点と当該球面画像の中心とを結ぶ線を法線とする平面から１つの消失線を決定し、その平面と平行な関係となる垂直線のその球面画像への投影平面からもう１つの消失線を決定し、決定された２つの消失線の交点からそのもう１組の消失点ペアを決定する。
【００８１】
パラメータ推定部１２は、消失点決定部１２により決定された当該広角画像における２組の消失点ペアを用いて、車載カメラ７の姿勢パラメータを推定する（Ｓ１２５）。具体的には、パラメータ推定部１３は、２組の消失点ペアから地面に対する回転行列を推定し、更に、広角画像中のサイドラインとリアラインとの交点を１つの世界座標系の原点に設定し、この原点及び２組の消失点ペアに基づいて並進ベクトルを推定する。
【００８２】
［実施例１における作用及び効果］
上述したような実施例１におけるパラメータ推定装置１では、車載カメラ７により車両５の周辺環境として駐車場の駐車ラインが撮像されることで得られる広角画像から、特定パターン取得部１１が実空間上でのＨパターンに対応する線分を検出する。実施例１では、世界座標系でのＨパターンとして、駐車場の地面に付されている駐車ラインのうち、少なくとも２本の平行線群とこれらに垂直な１本の垂直線とに対応する各線分が当該広角画像から検出される。
【００８３】
続いて、消失点決定部１２がこのように検出された実空間上のＨパターンに対応する各線分を用いて広角画像中の２組の消失点ペアを決定する。続いて、パラメータ推定部１３が、このように決定された２組の消失点ペアを利用して車載カメラ７の姿勢パラメータのうちの回転行列を推定し、かつ、垂直線と平行線群との交点に設定される原点及び２組の消失点ペアを用いて車載カメラ７の姿勢パラメータのうちの並進ベクトルを推定する。
【００８４】
これにより、周辺画像生成装置２０では、パラメータ推定部１３から得られた姿勢パラメータが外部パラメータとして用いられ、車載カメラ７から得られる広角画像から図４に示すような車両５の周辺を映し出す画像データが生成される。
【００８５】
このように実施例１のパラメータ推定装置１によれば、特定パターンを持つ駐車ラインが付された駐車場に対象車両５を駐車しさえすれば、簡単にかつ正確に、車載カメラ７の外部パラメータを校正することができる。通常の駐車場には上述のようなＨパターンが存在しているので、実施例１によれば、従来手法のように、複数のマーカを準備し、かつ、予め決められた正確な位置に各マーカを配置する等といった負担の大きい作業を必要としない。また、駐車ラインのＨパターンは必ずしも平行線群と垂直線とが直交している状態で車載カメラ７に撮像される必要はなく、その交点にトラフィックコーンのような障害物が置かれていたりその交点付近のラインが消されていたとしても姿勢パラメータを推定可能であることは言うまでもない。このような場合には、広角画像から検出された各線分をその方向に応じて延長させて交点を導くようにすればよい。
【００８６】
更に、従来は、球面カメラモデルにおいて、消失点は、２つ以上の平行線群の交点として決定されていたところ、実施例１では、Ｈパターンから２組の消失点ペアを決定することができるため、姿勢パラメータを校正するためのシーンの制限を一層緩くすることができる。
【実施例２】
【００８７】
実施例１では１つの車載カメラ７の姿勢パラメータを推定対象としていた。そこで、実施例２として、３つの車載カメラ７の各姿勢パラメータを推定対象とする例を以下に示す。以下、実施例１と異なる内容を中心に実施例２におけるパラメータ推定装置について説明する。
【００８８】
図１３は、実施例２におけるパラメータ推定装置が搭載される車両の上面図を示す模式図である。図１４は、実施例２におけるパラメータ推定装置を含むカメラシステムの構成を示す模式図である。実施例２におけるカメラシステム１は、３つの車載カメラ７、実施例２におけるパラメータ推定装置１０、周辺画像生成装置２０、表示装置３０等で構成される。
【００８９】
実施例２では、車両５に３つの車載カメラ７が車両の後部（７Ｂ）、左サイド（７Ｌ）及び右サイド（７Ｒ）にそれぞれ設定される。各車載カメラ７は、実施例１と同様に広角カメラである。以降、車載カメラ７Ｂ、７Ｒ及び７Ｌをそれぞれリアカメラ、右カメラ、左カメラとも表記する。なお、本発明は、車載カメラ７Ｂ、７Ｒ及び７Ｌを設置する厳密な各位置を限定するものではない。
【００９０】
図１５は、各車載カメラ７から得られる広角画像の例を示す図である。具体的には、図１５（Ａ）は、左カメラ７Ｌから得られる広角画像の例を示し、図１５（Ｂ）は、リアカメラ７Ｂから得られる広角画像の例を示し、図１５（Ｃ）は、右カメラ７Ｒから得られる広角画像の例を示す。図１５（Ａ）及び（Ｃ）に示されるように、左カメラ７Ｌ及び右カメラ７Ｒから得られる各広角画像では、リアライン４２が図面に対して縦方向に長く延びており、サイドライン４１が図面に対して横方向に長く伸びている。逆に、図１５（Ｂ）に示されるリアカメラ７Ｂから得られる広角画像では、リアライン４２が図面に対して横方向に長く延びており、サイドライン４１が図面に対して縦方向に長く伸びている。
【００９１】
図１３及び１５から分かるように、リアカメラ７Ｂは、少なくとも車両５の後部より後方の領域（図１３で示す長鎖線７Ｂ−ＦＯＶ）を視野領域とする。右カメラ７Ｒは、少なくとも車両５の右側面より右方向の領域（図１３で示す長鎖線７Ｒ−ＦＯＶ）を視野領域とする。左カメラ７Ｌは、少なくとも車両５の左側面より左方向の領域（図１３で示す長鎖線７Ｌ−ＦＯＶ）を視野領域とする。よって、実施例２では、右カメラ７Ｒとリアカメラ７Ｂとの間には、重複する視野領域（図１３で斜線で示される領域ＯＬ−ＦＯＶ−Ｒ）が存在し、左カメラ７Ｌとリアカメラ７Ｂとの間には、重複する視野領域（図１３で斜線
で示される領域ＯＬ−ＦＯＶ−Ｌ）が存在する。
【００９２】
周辺画像生成装置２０は、３つの車載カメラ７からそれぞれ映像信号を受け、各映像信号から各広角画像をそれぞれ取得する。周辺画像生成装置２０は、各広角画像を各車載カメラ７の内部パラメータ及び外部パラメータを用いてそれぞれ変換することにより、車両５の周辺を映し出す画像データを生成する。図１６は、実施例２における出力画像（鳥瞰図）の例を示す図である。なお、図１５の例のような複数の車載カメラ７から得られた広角画像から図１６に示すような画像データを生成する具体的手法については周知な手法が利用されればよいため、ここでは説明を省略する。
【００９３】
周辺画像生成装置２０により生成された画像データは、表示装置３０のディスプレイに表示される。これにより、運転者は、この表示装置３０の表示面に映し出された映像を参照することにより、見え易い前方以外の各方向の状況を正確に認識することができ、結果、安全な運転操作を行うことができる。
【００９４】
周辺画像生成装置２０は、３つの各車載カメラ７についてそれぞれ内部パラメータ及び外部パラメータを読み出し可能なメモリに格納する。各カメラの内部パラメータについては、実施例１と同様に、製造時等に予め測定され格納されている。各カメラの外部パラメータ（姿勢パラメータ）は、その初期値が当該メモリに予めそれぞれ格納されており、任意のタイミングでパラメータ推定装置１０によりそれぞれ校正される。
【００９５】
［装置構成］
実施例２におけるパラメータ推定装置１０は、各車載カメラ７について、特定パターン取得部１１、消失点決定部１２及びパラメータ推定部１３のセットをそれぞれ有する。具体的には、リアカメラ７Ｂから得られる広角画像を処理するセットとして特定パターン取得部１１Ｂ、消失点決定部１２Ｂ及びパラメータ推定部１３Ｂが備えられ、右カメラ７Ｒから得られる広角画像を処理するセットとして特定パターン取得部１１Ｒ、消失点決定部１２Ｒ及びパラメータ推定部１３Ｒが備えられ、左カメラ７Ｌから得られる広角画像を処理するセットとして特定パターン取得部１１Ｌ、消失点決定部１２Ｌ及びパラメータ推定部１３Ｌが備えられる。
【００９６】
特定パターン取得部１１Ｂ、消失点決定部１２Ｂ及びパラメータ推定部１３Ｂは、実施例１と同様の手法により、リアカメラ７Ｂから得られる広角画像からリアカメラ７Ｂの姿勢パラメータを推定する。同様に、特定パターン取得部１１Ｒ、消失点決定部１２Ｒ及びパラメータ推定部１３Ｒは、実施例１と同様の手法により、右カメラ７Ｒから得られる広角画像から右カメラ７Ｒの姿勢パラメータを推定する。同様に、特定パターン取得部１１Ｌ、消失点決定部１２Ｌ及びパラメータ推定部１３Ｌは、実施例１と同様の手法により、左カメラ７Ｌから得られる広角画像からリアカメラ７Ｌの姿勢パラメータを推定する。
【００９７】
図１７は、各車載カメラから取得された広角画像からの線分検出の例を示す図である。上述したように、リアカメラ７Ｂから取得された広角画像と、他のカメラ７Ｌ及び７Ｂから得られた広角画像とでは、リアライン４２及びサイドライン４１の伸びる方向が異なる。そこで、特定パターン取得部１１Ｂは、実施例１と同様に、実空間におけるＨパターンに対応する各線分を検出すればよいが、特定パターン取得部１１Ｒ及び１１Ｌは、実施例１とは若干異なる。特定パターン取得部１１Ｒ及び１１Ｌはそれぞれ、抽出された線分のうち車両５に近く広角画像の縦方向（図１７の縦方向）に長い線分を当該垂直線として特定し、車両５に近く横方向（図１７の横方向）に長い線分を当該平行線群として特定する。なお、特定パターン取得部１１Ｒ及び１１Ｌのその他の処理については、実施例１と同様である。
【００９８】
なお、図１４の例では、各車載カメラ７についてそれぞれ特定パターン取得部１１、消失点決定部１２及びパラメータ推定部１３のセットを設ける例を示したが、本発明はこのような構成に限定するものではない。特定パターン取得部１１、消失点決定部１２及びパラメータ推定部１３が１つずつ設けられるようにしてもよい。
【００９９】
実施例２におけるパラメータ推定装置１０は、更に、パラメータ補整部１５を有する。パラメータ補整部１５は、各パラメータ推定部１３Ｂ、１３Ｌ及び１３Ｒにより推定された各姿勢パラメータを、右カメラ７Ｒとリアカメラ７Ｂとの間、及び、左カメラ７Ｌとリアカメラ７Ｂとの間の各相対姿勢に関し補整する。
【０１００】
上述したように、実施例２では、隣接する２つの車載カメラ７の間には重複する視野領域ＯＬ−ＦＯＶ−Ｒ及びＯＬ−ＦＯＶ−Ｌがある。パラメータ補整部１５は、各パラメータ推定部１３により推定された各姿勢パラメータを用いて、隣接する車載カメラ７のうちの一方から得られた広角画像上のピクセルを他方から得られた広角画像上にマッピングする。これにより、右カメラ７Ｒから得られた広角画像内の視野領域ＯＬ−ＦＯＶ−Ｒに対応する領域、及び、左カメラ７Ｌから得られた広角画像内の視野領域ＯＬ−ＦＯＶ−Ｌに対応する領域がそれぞれリアカメラ７Ｂから得られた広角画像にマッピングされる。
【０１０１】
以下、隣接する車載カメラ７から得られた広角画像間のマッピング処理についてより詳細に説明する。パラメータ補整部１５は、パラメータ推定部１３Ｌ及び１３Ｂから左カメラ７Ｌの姿勢パラメータ（Ｒｌｇ，Ｔｌｇ）及びリアカメラ７Ｂの姿勢パラメータ（Ｒｂｇ，Ｔｂｇ）を取得する。このとき、左カメラ７Ｌから得られた広角画像及びリアカメラ７Ｂから得られた広角画像における地上点Ｐｇの射影がそれぞれｘｌ及びｘｂｌであると想定すると、以下の式が成立する。
【０１０２】
【数７】
【０１０３】
ｓ（ｘｌ）及びｓ（ｘｂｌ）はそれぞれ単位球面画像における対応点ｘｌ及びｘｂｌの座標を示し、各内部パラメータにより上記（式３）を用いて算出される。λｌ及びλｂは、世界座標系のｘ軸及びｙ軸が地上平面に設定されたときに地上点Ｐｇのｚ座標がゼロとなるという地上平面の制約により決定されるスケール因子である。
【０１０４】
上記（式１１）によれば、下記（式１２）が得られ、最終的に、下記（式１３）が得られる。Ｒｂｇ−１はＲｂｇの逆行列を示す。また、ｓ−１は、ｓの逆演算を示し、カメラの内部パラメータによって単位球面画像の点から広角画像の点を算出することを意味する。
【０１０５】
【数８】
【０１０６】
パラメータ補整部１５は、例えば上記（式１３）においてカメラ姿勢パラメータ及び既知の内部パラメータを用いることにより、左カメラ７Ｌから得られた広角画像における地上点Ｐｇに対応する点ｘｌをリアカメラ７Ｂから得られた広角画像における地上点Ｐｇに対応する点ｘｂｌにマッピングする。なお、上述の説明では、左カメラ７Ｌ及びリアカメラ７Ｂから得られた各広角画像間のマッピング処理について示したが、右カメラ７Ｒ及びリアカメラ７Ｂから得られた各広角画像間のマッピング処理の同様であるためここでは説明を省略する。
【０１０７】
以降、説明を簡単にするために、上記（式１３）を用いたマッピング処理を以下の（式１４）のように示す。同様に、右カメラ７Ｒから得られた広角画像及びリアカメラ７Ｂから得られた広角画像における地上点Ｐｇ２の射影がそれぞれｘｒ及びｘｂｒであると想定し、右カメラ７Ｒ及びリアカメラ７Ｂから得られた各広角画像間のマッピング処理を以下の（式１５）のように示す。
【０１０８】
【数９】
【０１０９】
ここで、ｘｌ、ｘｒ、ｘｂｌ及びｘｂｒの明るさをＬｌ（ｘｌ）、Ｌｒ（ｘｒ）、Ｌｂ（ｘｂｌ）、Ｌｂ（ｘｂｒ）で示した場合、以下の（式１６）によって、隣接する２つの車載カメラ間で重複する視野領域に対応する重複画像領域の同一性を計算することができる。Ω１及びΩ２は、左カメラ７Ｌ及びリアカメラ７Ｂの間、並びに、右カメラ７Ｒ及びリアカメラ７Ｂの間の地上の重複画像領域を示し、Ｌｌ（上線付き）、Ｌｒ（上線付き）、Ｌｂ（上線付き）は、それぞれ左カメラ、右カメラ及びリアカメラから取得された各広角画像における重複領域の画素値の平均値を示す。
【０１１０】
【数１０】
【０１１１】
パラメータ補整部１５は、例えば上記（式１６）を用いることにより、重複する視野領域に対応する重複画像領域が、リアカメラ７Ｂ、右カメラ７Ｌ、リアカメラ７Ｂからそれぞれ得られる各広角画像の間で近似するように、各カメラの姿勢パラメータをそれぞれ補整する。パラメータ補整部１５は、例えば、シンプレックス法（simplex method）を用いることにより（式１６）の値を最大化することにより各姿勢パラメータを補整する。具体的には、Ψｌｂ及びΨｒｂには（式１３）に示すように各姿勢パラメータが含まれているため、（式１６）が最大化されたときに得られるΨｌｂ及びΨｒｂから、補整された各姿勢パラメータを取得する。
【０１１２】
図１８は、実施例２においてカメラ姿勢パラメータの補整の繰り返し回数に対し計算された相関値を示すグラフである。相関値は（式１６）を用いて計算される。パラメータ補整部１５は、例えば（式１６）で算出される相関値が０．８より大きくなった場合に処理を終了する。図１８の例では、補整前の相関値が０．６９であり、補整後の相関値が０．８となっている。パラメータ補整部１５は、このように洗練された各姿勢パラメータをそれぞれ周辺画像生成部２０へ送る。
【０１１３】
［動作例］
以下、実施例２におけるパラメータ推定装置１の動作例を図１９を用いて説明する。図１９は、実施例２におけるパラメータ推定装置１の動作例を示すフローチャートである。
【０１１４】
特定パターン取得部１１Ｒ、１１Ｂ及び１１Ｌは、各車載カメラ７から得られる各広角画像から実施例１と同様の手法によりＨパターンに対応する平行線群及び垂直線を特定する（Ｓ１２１及びＳ１２２）。続いて、消失点決定部１２Ｒ、１２Ｂ及び１２Ｌは、これら特定された各線分を用いて実施例１と同様の手法により各広角画像についての２組の消失点ペアをそれぞれ決定する（Ｓ１２３及びＳ１２４）。パラメータ推定部１３Ｒ、１３Ｂ及び１３Ｌは、これら決定された２組ずつの消失点ペアに基づいて実施例１と同様の手法により各車載カメラ７の姿勢パラメータをそれぞれ推定する（Ｓ１２５）。
【０１１５】
実施例２では、続いて、パラメータ補整部１５が、複数の車載カメラ７のうち重複する視野領域を有する各車載カメラ７から得られる各広角画像における当該重複領域に対応する画像領域の画像データ（ピクセルデータ）を、推定された各姿勢パラメータを用いて対応付ける（Ｓ１９１）。具体的には、左カメラ７Ｌ及びリアカメラ７Ｂから得られた各広角画像間の対応付け（マッピング）処理、及び、右カメラ７Ｒ及びリアカメラ７Ｂから得
られた各広角画像間の対応付け処理がそれぞれ行われる。
【０１１６】
パラメータ補整部１５は、当該車載カメラ７間で重複する視野領域に対応する重複画像領域の画像データ（ピクセルデータ）の相関を計算する（Ｓ１９２）。パラメータ補整部１５は、この相関値が最大化するような値で当該各姿勢パラメータを補整する（Ｓ１９３）。これにより、各姿勢パラメータが、右カメラ７Ｒとリアカメラ７Ｂとの間、及び、左カメラ７Ｌとリアカメラ７Ｂとの間の各相対姿勢に関し補整される。
【０１１７】
［実施例２における作用及び効果］
上述したような実施例２では、車両５の後部、右側面及び左側面に設置されたリアカメラ７Ｂ、右カメラ７Ｒ及び左カメラ７Ｌからそれぞれ広角画像が取得され、各広角画像に含まれる駐車ラインのＨパターンに対応する線分を用いて実施例１と同様の手法によりリアカメラ７Ｂ、右カメラ７Ｒ及び左カメラ７Ｌの姿勢パラメータがそれぞれ推定される。
【０１１８】
実施例２におけるパラメータ推定装置１０では、更に、パラメータ補整部１５により、実施例１と同様の手法により推定された３つの車載カメラ７の各姿勢パラメータが隣接する２つのカメラ間の相対姿勢に関し洗練される。具体的には、各パラメータ推定部１３でそれぞれ推定された各姿勢パラメータ及び予め決められた内部パラメータが利用されることにより、隣接する２つのカメラの一方から得られる広角画像の点が他方から得られる広角画像の点にマッピングされる。このマッピングされた各広角画像の点の相関値が隣接する２つのカメラの重複視野領域に対応する画像領域において最大化されるように各姿勢パラメータが決定される。このように、実施例２によれば、隣接するカメラ間における地面の重複領域を使ってカメラ間で相対的な姿勢を洗練することができる。
【０１１９】
図２０は、パラメータ補整部１５により補整される前の姿勢パラメータにより生成された鳥瞰図の例を示す図である。図２１は、実施例２におけるカメラシステムで出力される鳥瞰図の例を示す図である。図２０及び２１では、下図の丸で囲まれた部分の拡大図が各上図でそれぞれ示されている。図２０の鳥瞰図では、隣接するカメラ間の重複視野領域に相当する箇所において視覚的矛盾が見受けられる。ところが、図２１の鳥瞰図では、その視覚的矛盾が解消されていることが分かる。このように、実施例２によれば、視覚的一貫性を持つ出力画像を生成することができる。
【０１２０】
［変形例］
上述したように、実施例１及び２におけるパラメータ推定装置１０によれば、簡単にかつ正確に車載カメラ７の姿勢パラメータ（外部パラメータ）を推定し、校正することができる。しかしながら、実施例１及び２では地上のＨパターンに対するカメラ姿勢が推定されるが、車両５に対するカメラ姿勢を必ずしも推定しているとは限らない。ところが、最終的な出力画像（鳥瞰図）は車両５を中心に示した画像であるため、その出力画像において車両５の側面が駐車ラインのサイドラインと平行とならない場合があり得る（図２１の下図参照）。この場合、地上に対するカメラ姿勢に回転変位が生ずる可能性がある。
【０１２１】
そこで、上述の実施例１及び２におけるカメラシステム１を、ユーザとの対話型インタフェースを介してこのような車両５を中心とするカメラ姿勢が微調整され得るように構成してもよい。図２２は、実施例２の変形例としてのカメラシステムの構成を示す模式図である。なお、図２２には実施例２の変形例を示したが、実施例１にも同様の変形例を適用することが可能であることは言うまでもない。
【０１２２】
本変形例では、周辺画像生成装置２０に微調整処理部２５が設けられる。微調整処理部２５は、例えば、周辺画像生成装置２０内のＲＯＭに格納されたプログラムがＣＰＵで実行されることにより実現される。微調整処理部２５は、周辺画像生成装置２０が生成した
鳥瞰図のような出力画像にユーザの操作メニューとして微調整用インタフェースを付加する。
【０１２３】
運転者等のユーザは、表示装置３０に表示された出力画像において車両５の側面が駐車ラインのサイドラインと平行となっていないと判断した場合には、その操作メニューとしての微調整用インタフェースを入力装置３５を介して操作する。この微調整用インタフェースは、出力画像の中心を回転中心として、長方形の出力画像の縦の両サイドが、その画像に現れる車の両サイドと並行になるように、出力画像を時計回り又は反時計周りに回転する角度を変えることができるインタフェースである。なお、このインタフェースの形態は限定されない。
【０１２４】
微調整処理部２５は、入力装置３５から得られるデータに基づいてユーザ操作に対応する回転角度を取得し、この回転角度をパラメータ推定装置１０で推定された姿勢パラメータの回転行列に反映させる。これにより、周辺画像生成装置２０は、この更新された姿勢パラメータを用いて再度出力画像を生成し、表示装置３０へ出力させる。
【０１２５】
当該ユーザは、表示装置３０の表示部に表示される出力画像を見ながら、回転角度を当該インタフェースを用いて車両５の側面が駐車ラインのサイドラインと平行となるように調整する。
【０１２６】
図２３は、本変形例において微調整された姿勢パラメータを用いて生成された出力画像の例を示す図である。図２３には、図２１の下図に示す出力画像内における車両５の傾きが調整されていることが示されている。
【０１２７】
このように本変形例によれば、このようなユーザとの対話型インタフェースを提供することにより、車両５に対するカメラ姿勢パラメータについても正確に決めることができ、一層正確な姿勢パラメータを取得することが可能となる。
【０１２８】
また、上述の各実施例では、車載カメラ１台及び３台を用いた形態を示したが、本発明は車載カメラの台数を限定するものではない。車両５の前方に設置されたカメラを含む４台の車載カメラを用いる形態であってもよいし、それ以上の台数のカメラを用いる形態であってもよい。
【０１２９】
また、上述の各実施例では、地上に付された駐車ラインを実世界における特定パターン（Ｈパターン）として利用する例を示したが、本発明はこのような形態に限定するものではない。予め少なくとも２本の平行な線分（以降、平行線群と表記する）及びこれらに垂直な１本の線分（以降、垂直線と表記する）から構成されるとして知られているものであり、車載カメラ７で撮像可能なものであれば、例えば、建物の壁面と地面、壁面と天井面、そのような形状を有する模型などが利用されてもよい。
【符号の説明】
【０１３０】
１ カメラシステム
５ 車両
７、７Ｂ、７Ｌ、７Ｒ 車載カメラ（リアカメラ、左カメラ、右カメラ）
１０ パラメータ推定装置
１１、１１Ｂ、１１Ｌ、１１Ｒ 特定パターン取得部
１２、１２Ｂ、１２Ｌ、１２Ｒ 消失点決定部
１３、１３Ｂ、１３Ｌ、１３Ｒ パラメータ推定部
２０ 周辺画像生成装置
２５ 微調整処理部
３０ 表示装置
３５ 入力装置
【特許請求の範囲】
【請求項１】
半球以上の視野を有する広角カメラにより得られる広角画像から、実空間における、相互に平行な少なくとも２つの第１直線及び第２直線と、該第１直線及び該第２直線と垂直な関係を有する１つの第３直線とから構成される特定パターンに対応する各線分をそれぞれ取得するパターン取得手段と、
前記パターン取得手段により取得された前記特定パターンに対応する各線分を用いて前記広角画像に対する２組の消失点ペアを決定する決定手段と、
前記決定手段で決定された２組の消失点ペアを用いて地面に対する前記広角カメラの姿勢パラメータを推定する推定手段と、
を備えることを特徴とするカメラ姿勢パラメータ推定装置。
【請求項２】
前記決定手段は、前記特定パターンに対応する各線分のうち前記第１直線に対応する線分と前記第２直線に対応する線分とを用いて、前記広角画像が前記広角カメラの内部パラメータを用いてマッピングされた球面画像に対する１組の消失点ペアを前記広角画像の１組の消失点ペアとして決定し、この決定された１つの消失点とその球面画像の中心とを結ぶ線を法線とする平面から１つの消失線を決定し、その平面と平行な関係となる前記第３直線のその球面画像への投影平面からもう１つの消失線を決定し、決定された２つの消失線の交点から更に１組の消失点ペアを決定する、
ことを特徴とする請求項１に記載のカメラ姿勢パラメータ推定装置。
【請求項３】
前記パターン取得手段は、前記第１直線及び前記第２直線、並びに、該第１直線及び該第２直線と垂直な関係を有す前記第３直線とは異なる第４直線から構成される他の特定パターンを形成し得る各線分を更にそれぞれ取得し、
前記決定手段は、前記第４直線を用いて前記第３直線と同様に新たな１組の消失点ペアを決定し、この新たに決定された１組の消失点ペアと、前記第３直線を用いて決定された１組の消失点ペアとの平均により１組の消失点ペアを決定する、
ことを特徴とする請求項１又は２に記載のカメラ姿勢パラメータ推定装置。
【請求項４】
前記パターン取得手段は、複数の広角カメラから得られる各広角画像からそれぞれ、前記特定パターンに対応する各線分を取得し、
前記決定手段は、２組の消失点ペアを前記各広角画像についてそれぞれ決定し、
前記推定手段は、前記各広角画像に対する各２組の消失点ペアをそれぞれ用いて、前記各広角カメラの姿勢パラメータをそれぞれ推定し、
前記カメラ姿勢パラメータ推定装置は、
前記複数の広角カメラのうち重複する視野領域を有する少なくとも２つの隣接広角カメラから得られる各広角画像内のその重複する視野領域に対応する画像領域を前記推定手段により推定されたその隣接広角カメラの各姿勢パラメータを用いて特定し、この特定された各画像領域の画像情報を用いてその隣接広角カメラの各姿勢パラメータを補整する補整手段、
を更に備えることを特徴とする請求項１から３のいずれか１項に記載のカメラ姿勢パラメータ推定装置。
【請求項５】
前記補整手段は、前記特定された各画像領域の画像データ間の相関値が最大化される値となるように前記隣接広角カメラの各姿勢パラメータを補整することを特徴とする請求項４に記載のカメラ姿勢パラメータ推定装置。
【請求項６】
車両の側面及び後部に少なくとも設置され半球以上の視野を有する複数の広角カメラと各広角カメラの姿勢パラメータをそれぞれ推定するパラメータ推定装置と前記各広角カメラから得られる各広角画像から画像データを生成する画像生成装置とを含むカメラシステ
ムにおいて、
前記パラメータ推定装置は、
前記複数の広角カメラによりそれぞれ得られる各広角画像から、実空間における、相互に平行な少なくとも２つの第１直線及び第２直線と、該第１直線及び該第２直線と垂直な関係を有する１つの第３直線とから構成される特定パターンに対応する各線分をそれぞれ取得するパターン取得手段と、
前記パターン取得手段により取得された前記特定パターンに対応する各線分を用いて前記各広角画像に対する２組ずつの消失点ペアをそれぞれ決定する決定手段と、
前記決定手段で決定された２組ずつの消失点ペアをそれぞれ用いて地面に対する前記各広角カメラの姿勢パラメータをそれぞれ推定する推定手段と、
を備え、
前記画像生成装置は、
前記パラメータ推定装置により推定された前記複数の広角カメラの各姿勢パラメータを用いて、前記複数の広角画像から前記複数の広角カメラが搭載された車両を中心とする鳥瞰図を示す画像データを生成する生成手段と、
前記生成手段により生成された画像データに応じた鳥瞰図を参照したユーザにより入力されるその鳥瞰図における車両の傾き情報を取得する傾き情報取得手段と、
前記傾き情報を前記複数の広角カメラの各姿勢パラメータに反映させる反映手段と、
を備えることを特徴とするカメラシステム。
【請求項７】
コンピュータが、
半球以上の視野を有する広角カメラにより得られる広角画像から、実空間における、相互に平行な少なくとも２つの第１直線及び第２直線と、該第１直線及び該第２直線と垂直な関係を有する１つの第３直線とから構成される特定パターンに対応する各線分をそれぞれ取得し、
前記取得された前記特定パターンを形成し得る各線分を用いて前記広角画像に対する２組の消失点ペアを決定し、
前記決定された２組の消失点ペアを用いて地面に対する前記広角カメラの姿勢パラメータを推定する、
ことを特徴とするカメラ姿勢パラメータ推定方法。
【請求項８】
半球以上の視野を有する広角カメラにより得られる広角画像から、実空間における、相互に平行な少なくとも２つの第１直線及び第２直線と、該第１直線及び該第２直線と垂直な関係を有する１つの第３直線とから構成される特定パターンに対応する各線分をそれぞれ取得し、
前記取得された前記特定パターンを形成し得る各線分を用いて前記広角画像に対する２組の消失点ペアを決定し、
前記決定された２組の消失点ペアを用いて地面に対する前記広角カメラの姿勢パラメータを推定する、
ことをコンピュータに実行させることを特徴とするカメラ姿勢パラメータ推定プログラム。
【請求項１】
半球以上の視野を有する広角カメラにより得られる広角画像から、実空間における、相互に平行な少なくとも２つの第１直線及び第２直線と、該第１直線及び該第２直線と垂直な関係を有する１つの第３直線とから構成される特定パターンに対応する各線分をそれぞれ取得するパターン取得手段と、
前記パターン取得手段により取得された前記特定パターンに対応する各線分を用いて前記広角画像に対する２組の消失点ペアを決定する決定手段と、
前記決定手段で決定された２組の消失点ペアを用いて地面に対する前記広角カメラの姿勢パラメータを推定する推定手段と、
を備えることを特徴とするカメラ姿勢パラメータ推定装置。
【請求項２】
前記決定手段は、前記特定パターンに対応する各線分のうち前記第１直線に対応する線分と前記第２直線に対応する線分とを用いて、前記広角画像が前記広角カメラの内部パラメータを用いてマッピングされた球面画像に対する１組の消失点ペアを前記広角画像の１組の消失点ペアとして決定し、この決定された１つの消失点とその球面画像の中心とを結ぶ線を法線とする平面から１つの消失線を決定し、その平面と平行な関係となる前記第３直線のその球面画像への投影平面からもう１つの消失線を決定し、決定された２つの消失線の交点から更に１組の消失点ペアを決定する、
ことを特徴とする請求項１に記載のカメラ姿勢パラメータ推定装置。
【請求項３】
前記パターン取得手段は、前記第１直線及び前記第２直線、並びに、該第１直線及び該第２直線と垂直な関係を有す前記第３直線とは異なる第４直線から構成される他の特定パターンを形成し得る各線分を更にそれぞれ取得し、
前記決定手段は、前記第４直線を用いて前記第３直線と同様に新たな１組の消失点ペアを決定し、この新たに決定された１組の消失点ペアと、前記第３直線を用いて決定された１組の消失点ペアとの平均により１組の消失点ペアを決定する、
ことを特徴とする請求項１又は２に記載のカメラ姿勢パラメータ推定装置。
【請求項４】
前記パターン取得手段は、複数の広角カメラから得られる各広角画像からそれぞれ、前記特定パターンに対応する各線分を取得し、
前記決定手段は、２組の消失点ペアを前記各広角画像についてそれぞれ決定し、
前記推定手段は、前記各広角画像に対する各２組の消失点ペアをそれぞれ用いて、前記各広角カメラの姿勢パラメータをそれぞれ推定し、
前記カメラ姿勢パラメータ推定装置は、
前記複数の広角カメラのうち重複する視野領域を有する少なくとも２つの隣接広角カメラから得られる各広角画像内のその重複する視野領域に対応する画像領域を前記推定手段により推定されたその隣接広角カメラの各姿勢パラメータを用いて特定し、この特定された各画像領域の画像情報を用いてその隣接広角カメラの各姿勢パラメータを補整する補整手段、
を更に備えることを特徴とする請求項１から３のいずれか１項に記載のカメラ姿勢パラメータ推定装置。
【請求項５】
前記補整手段は、前記特定された各画像領域の画像データ間の相関値が最大化される値となるように前記隣接広角カメラの各姿勢パラメータを補整することを特徴とする請求項４に記載のカメラ姿勢パラメータ推定装置。
【請求項６】
車両の側面及び後部に少なくとも設置され半球以上の視野を有する複数の広角カメラと各広角カメラの姿勢パラメータをそれぞれ推定するパラメータ推定装置と前記各広角カメラから得られる各広角画像から画像データを生成する画像生成装置とを含むカメラシステ
ムにおいて、
前記パラメータ推定装置は、
前記複数の広角カメラによりそれぞれ得られる各広角画像から、実空間における、相互に平行な少なくとも２つの第１直線及び第２直線と、該第１直線及び該第２直線と垂直な関係を有する１つの第３直線とから構成される特定パターンに対応する各線分をそれぞれ取得するパターン取得手段と、
前記パターン取得手段により取得された前記特定パターンに対応する各線分を用いて前記各広角画像に対する２組ずつの消失点ペアをそれぞれ決定する決定手段と、
前記決定手段で決定された２組ずつの消失点ペアをそれぞれ用いて地面に対する前記各広角カメラの姿勢パラメータをそれぞれ推定する推定手段と、
を備え、
前記画像生成装置は、
前記パラメータ推定装置により推定された前記複数の広角カメラの各姿勢パラメータを用いて、前記複数の広角画像から前記複数の広角カメラが搭載された車両を中心とする鳥瞰図を示す画像データを生成する生成手段と、
前記生成手段により生成された画像データに応じた鳥瞰図を参照したユーザにより入力されるその鳥瞰図における車両の傾き情報を取得する傾き情報取得手段と、
前記傾き情報を前記複数の広角カメラの各姿勢パラメータに反映させる反映手段と、
を備えることを特徴とするカメラシステム。
【請求項７】
コンピュータが、
半球以上の視野を有する広角カメラにより得られる広角画像から、実空間における、相互に平行な少なくとも２つの第１直線及び第２直線と、該第１直線及び該第２直線と垂直な関係を有する１つの第３直線とから構成される特定パターンに対応する各線分をそれぞれ取得し、
前記取得された前記特定パターンを形成し得る各線分を用いて前記広角画像に対する２組の消失点ペアを決定し、
前記決定された２組の消失点ペアを用いて地面に対する前記広角カメラの姿勢パラメータを推定する、
ことを特徴とするカメラ姿勢パラメータ推定方法。
【請求項８】
半球以上の視野を有する広角カメラにより得られる広角画像から、実空間における、相互に平行な少なくとも２つの第１直線及び第２直線と、該第１直線及び該第２直線と垂直な関係を有する１つの第３直線とから構成される特定パターンに対応する各線分をそれぞれ取得し、
前記取得された前記特定パターンを形成し得る各線分を用いて前記広角画像に対する２組の消失点ペアを決定し、
前記決定された２組の消失点ペアを用いて地面に対する前記広角カメラの姿勢パラメータを推定する、
ことをコンピュータに実行させることを特徴とするカメラ姿勢パラメータ推定プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１１−２１５０６３（Ｐ２０１１−２１５０６３Ａ）
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願番号】特願２０１０−８４８１９（Ｐ２０１０−８４８１９）
【出願日】平成２２年４月１日（２０１０．４．１）
【出願人】（５０４１５０４６１）国立大学法人鳥取大学 (271)
【Ｆターム（参考）】
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願日】平成２２年４月１日（２０１０．４．１）
【出願人】（５０４１５０４６１）国立大学法人鳥取大学 (271)
【Ｆターム（参考）】
[ Back to top ]