説明

車載カメラの較正装置及び方法

【課題】較正指標を用いた車載カメラの較正を簡易な操作で実施可能な車載カメラの較正装置及び方法を提供する。
【解決手段】本発明に係る車載カメラの較正装置(100)は、較正指標(8)を撮像する撮像部(1)と、重畳表示する較正用マーカ(14)の表示位置を指示する指示手段(5)と、較正用マーカが指定された位置に重畳表示されるように画像処理する画像信号処理手段(3)とを備える。そして、較正用マーカ(14)が、較正指標(8)が有する2点に重なるように表示された場合の較正用マーカ(14)の表示位置に基づいて、車載カメラの取り付け角度を算出して較正を行う。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車載カメラの車体への取り付け角度を、較正指標を撮像することにより算出して較正を行う車載カメラの較正装置及び方法の技術分野に関する。
【背景技術】
【0002】
近年、自動車をはじめとする各種車両にはドライバーの視界確保の補助を行うことによって運転支援をすべく、車載カメラが取り付けられることがある。車載カメラの撮像画像は例えばナビゲーション装置などのディスプレイに表示されることによりドライバーに認知され、表示画面上には必要に応じて走行予測経路などを示すグラフィックデータが重畳表示される。例えば、車両後方の視界確保のためにバックカメラが搭載される場合、車両の後退時のステアリングの操舵角に基づいて走行予測経路を示すグラフィックデータがリアルタイムで重畳表示されることがある。
【0003】
このような車載カメラは作業員によって車体に取り付けられるが、一般的に、その取付精度には少なからず誤差が含まれる。車載カメラの撮像画像に重畳表示されるグラフィックデータの表示位置は、車載カメラの取り付け精度に影響を受けやすく、取付誤差が大きい場合にはグラフィックデータの表示位置が本来の位置からずれてしまい、ドライバーに誤った情報を提供してしまうおそれがある。そこで、この種の車載カメラでは、車外に用意した較正指標を車載カメラで撮像して、撮像画像における較正指標の表示位置を評価することによって、車載カメラの車体への取り付け角度を算出し、較正が行われる。
【0004】
従来、車載カメラの較正で較正指標には一般的に立体物が用いられていたが、較正を実施する作業員や現場における簡易性や作業性に鑑み、特許文献1では較正指標として立体物に代えて平面に配置した2次元指標を用いた較正方法の一例が開示されている。特許文献1では、2次元指標を車載カメラで撮像した際に、オペレータが表示位置を操作可能なウィンドウを撮像画像に重畳表示させ、該ウィンドウ内に較正指標が入るようにウィンドウの表示位置を調整することにより、較正に必要なパラメータ(取り付けられた車載カメラのロール、パン、チルト角)の算出を行っている。特許文献1におけるウィンドウの表示位置の操作はユーザインターフェースを介して行われる。このユーザインターフェースには、ウィンドウを上方・下方・左方・右方に移動、及び、左回転・右回転するように操作ボタンが設けられており、オペレータが表示画面を見ながらウィンドウの表示位置を操作することで、ウィンドウ内に較正指標が入るように調整される。
【0005】
ここで、図8は特許文献1におけるウィンドウの表示位置の調整方法を簡潔に示す模式図である。尚、図8では車載カメラをバックカメラとして車両の後方バンパーに取り付けた際の撮像画像上にウィンドウが重畳表示されたディスプレイ画面20を示している。図8において、符号21は車両の後方バンパー、符号22は車載カメラによって撮像された走行面上に予め設置されている線状の較正指標、符号23は車載カメラの撮像画像に重畳表示されるウィンドウを示している。また、符号24はオペレータがウィンドウ23の重畳表示位置を操作可能なユーザインターフェースを示しており、各ボタンを操作することにより、それぞれ上下左右方向に移動、及び、左右回転させることができるようになっている。
【0006】
図8(a)は初期状態を示しており、較正指標22はウィンドウ23外に表示されている。オペレータは図8(b)〜(g)に順次示すように操作ボタン24を操作することで、較正指標21がウィンドウ23内に収まるように、ウィンドウ23の表示位置を移動させる。図8(b)(c)では、ウィンドウ23の表示位置をそれぞれ左方向、上方向に順に移動させて較正指標22とウィンドウ23の大まかな位置調整をした後、図8(d)に示すように、ウィンドウ23を左回転させて較正指標22をウィンドウ23内に収まるように調整がなされている。ここで、図(b)〜(d)に示した操作を一度行うだけでは較正指標22がウィンドウ23内に精度良く収めることは現実的には困難であり、実際には図(e)〜(g)に示すように、再度、ウィンドウ23を上下方向、左右方向に移動させた後に回転させることによって、ウィンドウ23の表示位置の微調整を繰り返し、最適化を図る必要がある。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2001−245326号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
上記特許文献1では、ウィンドウ23の表示位置の調整は、上下左右方向に加えて左右の回転も伴うため、ウィンドウ23の表示位置を指示するためのユーザインターフェースの構成が複雑であり、オペレータの操作負担も大きい。また図8に示したように、一度の調整作業でウィンドウ23内に較正指標22を精度よく収めることは困難であり、数回に亘って調整を繰り返す必要があり、オペレータに調整技量を求めたり、作業負担が大きいという問題点がある。
【0009】
本発明は上記問題点に鑑みなされたものであり、較正指標を用いた車載カメラの較正を簡易な操作で実施可能な車載カメラの較正装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明に係る車載カメラの較正装置は上記課題を解決するために、車載カメラの車体への取り付け角度を、較正指標を撮像することにより算出して較正を行う車載カメラの較正装置であって、平面上の互いに離れた2点を有する較正指標を含む撮像画像を取得する撮像部と、前記取得した撮像画像に較正用マーカが重畳表示されるように、画像信号を処理する画像信号処理手段と、前記撮像画像における前記較正用マーカの重畳表示位置を指示する指示手段とを備え、前記較正用マーカが前記較正指標の2点に重なるように重畳表示された際の前記較正用マーカの表示位置に基づいて、前記車載カメラの取り付け角度を算出することを特徴とする。
【0011】
本発明に係る車載カメラの較正装置によれば、微調整の繰り返しなどの煩雑な操作を伴うことなく、容易に較正用マーカの表示位置を較正指標が示す2点に重なるように調整し、車載カメラの取り付け角度を算出して車載カメラの較正を行うことができる。特に、較正用マーカの表示位置調整において回転動作が伴うことなく、単に上下左右方向に移動させるだけで調整できるので、オペレータの操作負担が少なく、容易に較正を行うことができる。
【0012】
またバックカメラなどの車載カメラでは撮像範囲を広く確保するために画角が広い広角レンズが使用される。このような広角レンズは歪みが大きく、特に撮像画像の周辺領域では被写体像が大きく変形してしまう場合がある。このような場合、上記特許文献1では撮像画像に含まれる較正指標22の像もまた大きく変形してしまい、ウィンドウ23内に収めることができない場合も想定される。その点本発明では、較正用マーカを較正指標が示す2点に重ねるように移動するだけで済むので、撮像部に広角レンズを用いた場合であっても、較正指標の位置に較正用マーカを容易、且つ、正確に移動させることができる。
【0013】
また、本発明では較正作業時に較正用マーカをリアルタイムで画面上に表示のための演算量の削減も見込むことができる。つまり、本発明では較正作業時には較正用マーカを上下左右に画像上で平行移動するだけで、位置調整終了後にまとめて較正データの演算を行う。そのため、上記特許文献1のように、較正用マーカを画面上にリアルタイム表示するための特別な演算は不要となり、較正作業時の処理は軽減され、較正用マーカの画面上への表示時間を要することもなくなる。
【0014】
好ましくは、前記較正用マーカは、前記較正指標の互いに離れた2点に対応するように前記撮像画像上に2つ表示され、その各々の表示位置は前記指示手段によって独立に制御可能であるとよい。これによれば、撮像画像上における2つの較正用マーカの表示位置を独立に制御することができるので、オペレータは各較正用マーカを構成指標が示す2点に容易に重ねるよう操作できる。
【0015】
また、前記較正用マーカは互いに交差する線分からなり、その交点が該較正用マーカの表示位置を示すとよい。このように較正用マーカを構成すると較正用マーカのサイズを大きく確保できるので、オペレータにとってディスプレイなどの表示画面上で較正マーカを容易に視認させ、操作性を向上させることができる。特に、交点が較正用マーカの表示位置を示すようにすることで、オペレータが較正用マーカの正確な表示位置を感覚的に把握することが可能となるので、較正指標が示す2点に重なるように較正用マーカを正確に移動させることができるようになる。
【0016】
また、前記較正指標は、前記互いに離れた2点間を結ぶ線分として形成されているとよい。この場合、較正指標が示す2点は線分の両端となるため、オペレータに較正用マーカが示す2点を感覚的、且つ、容易に認識させることができる。
【0017】
本発明に係る車載カメラの較正方法は上記課題を解決するために、車載カメラの車体への取り付け角度を、較正指標を撮像することにより算出して較正を行う車載カメラの較正方法であって、平面上の互いに離れた2点を有する較正指標を含む撮像画像を取得する撮像工程と、前記取得した撮像画像に較正用マーカを重畳表示する重畳表示工程と、前記較正用マーカが前記較正指標が示す2点に重なるように、前記較正用マーカの重畳表示位置を指示する指示工程と、前記較正指標の2点に重なるように表示された前記較正用マーカの表示位置に基づいて、前記車載カメラの取り付け角度を算出する算出工程とを備えたことを特徴とする。
【0018】
本発明に係る車載カメラの較正方法は、上述の較正装置(上記各種態様を含む)によって好適に実現することができる。
【0019】
また本発明に係る車載カメラは、車載カメラの車体への取り付け角度を、較正指標を撮像することにより算出して較正が可能な車載カメラであって、平面上の互いに離れた2点を有する較正指標を含む撮像画像を取得する撮像部と、前記取得した撮像画像に較正用マーカが重畳表示されるように、画像信号を処理する画像信号処理手段と、前記撮像画像における前記較正用マーカの重畳表示位置の指示を受け付ける指示受付手段とを備え、前記較正用マーカが前記較正指標の2点に重なるように重畳表示された際の前記較正用マーカの表示位置に基づいて、前記取り付け角度を算出することを特徴とする。
【0020】
本発明に係る車載カメラは、上述の較正装置(上記各種態様を含む)を備えることによって好適に実現することができる。
【図面の簡単な説明】
【0021】
【図1】本実施例に係る車載カメラの較正装置の全体構成を示すブロック図である。
【図2】ユーザインターフェースである指示装置の操作部の一例である。
【図3】較正時に撮像部によって撮像される較正指標の形状のバリエーションである。
【図4】CPUにおける制御内容を段階的に示すフローチャートである。
【図5】本実施例に係る較正装置における較正用マーカの操作例である。
【図6】車両に設置される撮像部と較正指標の位置関係を示したものである。
【図7】ワールド座標系の回転移動例を示したものである。
【図8】背景技術のウィンドウ表示位置の調整方法を示す模式図である。
【発明を実施するための形態】
【0022】
図1は本実施例に係る車載カメラの較正装置100の全体構成を示すブロック図である。車体に取り付けられた車載カメラである撮像部1は、CMOSセンサやCCDなどの撮像素子を備えてなり、不図示のレンズを通じて入射した被写体光を電気信号に変換する。映像処理部2は、撮像部1から出力された電気信号を処理することにより、例えばプログレッシブ又はインターレース形式のデジタル画像を表示するための映像信号を生成する。グラフィック重畳回路3は、撮像部1で取得した撮像画像上の所定位置に、後述する較正作業実施時に用いられる較正用マーカがグラフィックデータとして重畳表示されるように、映像処理部2から入力された映像信号を処理する。
【0023】
撮像画像に重畳表示される較正用マーカの表示は、CPU4からの指示に基づいて制御される。特に較正用マーカの表示位置は、オペレータが操作可能なユーザインターフェースである指示装置5を介して、CPU4によって制御されるように構成されている。この指示装置5は撮像画像上における較正用マーカの表示位置を移動させるための指示を入力可能な操作部5aを備えている。
【0024】
尚、本発明の車載カメラの較正装置における車載カメラの構成については特に限定は無く、例えば、撮像部1、映像処理部2、グラフィック重畳回路3、CPU4、映像出力回路6を含む構成であってもよい。
【0025】
図2はユーザインターフェースである指示装置5の操作部5aの一例である。操作部5aには較正開始時にON操作されるスタートボタン9、較正用マーカを上下左右方向に移動するための移動ボタン10、較正用マーカの移動完了時にON操作される位置確定ボタン11、較正実施時にONされる実行ボタン12が配置されている。尚、操作部5aの形態としては図2の例に限定されることなく、例えばマウス、キーボード、ジョイスティック、タッチパネルなどの各種形態をとってもよい。
【0026】
再び図1に戻って、グラフィック重畳回路3にて較正用マーカが重畳された撮像画像は、映像出力回路6によって表示用に適したフォーマット(例えばNTSCなど)の画像信号に変換される。そして、変換後の画像信号が表示手段であるディスプレイ7に入力されることによって、画面上に表示される。
【0027】
ここで図3は較正時に撮像部1によって撮像される較正指標8の形状のバリエーションを示したものである。本実施例で用いられる較正指標8は、平面上に所定間隔で互いに離れた2点A、Bを示すように形成されている。
【0028】
図3(a)の例では、較正指標8は平面上の2点A、B間を結ぶ線分として形成されており、較正指標8が示す2点A、Bが線分の両端に位置するため、ディスプレイ7上に表示された際にオペレータにとって容易に認識することができる。尚、図3(a)では2点A、Bを示すために較正指標8の両端に黒丸表示を設けているが、このような黒丸表示は不要であってもよいし、線幅を広く設けてオペレータへの視認性を高めるようにしてもよい。また、図3(b)に示すように、較正指標8は両端に2点A、Bが含まれるように枠状に設けてもよい。
【0029】
このように本実施例で用いられる較正指標8のバリエーションが様々考えられるが、以下の説明では、図3(a)に示す形状(両端の黒丸表示は省略した形状)の較正指標8を用いた場合を例に説明することとする。
【0030】
続いて、図4を参照してCPU4における制御内容について具体的に説明する。図4はCPU4における制御内容を段階的に示すフローチャートである。
【0031】
まずCPU4は、較正を行うために指示装置5に較正用マーカの位置変更の要求があったか否かを判定する(ステップS101)。この要求の有無に関する判定は、指示装置5の操作部5aに設けられたスタートボタン9がオペレータによってON操作されたことを検知することによって判定される。
【0032】
スタートボタン9のON操作が検知された場合、CPU4はオペレータによって上下左右方向に対応する移動ボタン10のいずれかがON操作されているかを検知し(ステップS101)、ON操作されている移動ボタンの種類に応じて、較正用マーカの表示位置を移動させる(ステップS102)。この較正用マーカの移動操作は、オペレータがディスプレイ7の画面上に表示される較正用マーカの位置を確認しながらリアルタイムに行われる。
尚、ステップS101にて要求がなかった場合(ステップS101:NO)、CPU4は処理をステップS102を省略して、後述するステップS103に進める。
【0033】
ここで図5は本実施例に係る較正装置100における較正用マーカの操作例である。図5(a)は初期状態を示しており、表示画面20上には撮像部1によって取得された撮像画像(較正装置100が搭載された車体の後部バンパー21と車両の後方路面上に設けられた較正指標8とが写り込んでいる)と、該撮像画像上に重畳表示された2つの較正用マーカ14a、14bが表示されている。
【0034】
較正用マーカ14a、14bはディスプレイ7上に表示された較正指標8に対応するように2つ表示されており、その各々の表示位置は指示装置5に設けられた移動ボタン10を操作することによって独立に制御可能に構成されている。これにより、撮像画像上における2つの較正用マーカ14a、14bの表示位置を独立に制御することができるので、オペレータは各較正用マーカ14a、14bを較正指標8が示す2点A、Bに容易に重ねるよう操作できる。
【0035】
まずオペレータは2つの較正用マーカ14a、14bのうち、表示画面上で左側に表示されている較正用マーカ14aを選択する。そして、左方向に対応する移動ボタン10をON操作し、図5(b)に示すように較正用マーカ14aを左側に移動し、較正指標8の左端Aと左右方向の座標を合わせる。続いて、オペレータは上方向に対応する操作ボタン10をON操作し、図5(c)に示すように較正用マーカ14aを上側に移動し、較正指標8の左端Aと上下方向の座標を合わせる。
【0036】
次にオペレータは2つの較正用マーカのうち、表示画面上で右側に表示されている較正用マーカ14bを選択する。そして上述の較正用マーカ14aの場合に倣って、左方向に対応する移動ボタン10をON操作し、図5(d)に示すように較正用マーカ14bを左側に移動し、較正指標の右端Bと左右方向の座標を合わせる。続いて、オペレータは上方向に対応する操作ボタン10をON操作し、図5(e)に示すように較正用マーカ14bを上側に移動し、較正指標の右端Bと上下方向の座標を合わせる。
【0037】
このように本実施例の較正装置100では、較正用マーカ14a、14bを撮像画像上で上下左右方向に移動させるだけで較正指標8が示す2点A、Bに重なるように調整できる。すなわち、背景技術のように較正用マーカを回転動作させるなど複雑な調整を行う必要がないので(図8を参照)、較正マーカの位置を繰り返しながら調整する手間が不要となり、オペレータの操作負担を効果的に軽減することができる。また、指示装置5の操作部5aに配置される移動ボタン10も、回転動作がない分だけ簡略化することができ、コスト的にも優れている。
【0038】
再び図4に戻って、CPU4は較正用マーカ14a、14bの表示位置の変更が完了したか否かを判定する(ステップS103)。この判定は、操作部5aに設けられた確定ボタン11がオペレータによってON操作されたか否かによって判定される。そして、オペレータによって実行ボタン12がON操作されると、確定した較正用マーカ14a、14bの表示位置に基づいて較正パラメータ(車載カメラのロール・パン・チルト角)が算出され、較正が実施される(ステップS104)。
尚、ステップS103にて較正用マーカ14a、14bの位置決定がなされない場合(ステップS103:NO)、CPU4は処理をステップS101に戻し、上述の処理を繰り返す。
【0039】
続いて上記ステップS104で行われる較正パラメータの算出方法について説明する。図6は車両に設置される撮像部1(車載カメラ)と較正指標8の位置関係を示したものである。撮像部1は車両の後部に設置されており、撮像部1の設置位置は絶対座標であるワールド座標系(Xw、Yw、Zw)における点(tx、ty、tz)で表わされている。尚、このワールド座標系(Xw、Yw、Zw)の原点は、図6の例では車両後部バンパーの端部中央0に設定された場合を示しているが、系全体の位置を一義的に規定可能である限りにおいて空間の任意の点に設定してもよいことは言うまでもない。
【0040】
撮像部1の位置を基準とした系の相対的な位置関係はカメラ座標系(Xc、Yc、Zc)で表わすことができる。このカメラ座標系(Xc、Yc、Zc)は、撮像部1のワールド座標(tx、ty、tz)を原点とした相対座標系(ワールド座標系に対する平行移動と回転移動)として表される。ここで、図7はワールド座標系(Xw、Yw、Zw)の回転移動例を示したものであり、図7(a)〜(c)はそれぞれ、Zwを軸とする回転(パン)、Ywを軸とする回転(ロール)、Xwを軸とする回転(チルト)を示している。パンの回転角度をα、ロールの回転角度をβ、チルトの回転角度をγとすると、カメラ座標系(Xc、Yc、Zc)とワールド座標系(Xw, Yw, Zw)との関係は次式




で表される。
【0041】
ここで、撮像部1のレンズへの被写体光の入射角θと、撮像部1が備える撮像素子上における像高yとの関係は、例えばピンホール系のレンズを用いている場合、次式


で表される。尚、式(2)において、fはレンズの焦点距離を表わしている。また、レンズの入射角θは次式


と算出される。
【0042】
一方、像高yに基づいて画像座標系(xi,yi)は、次式


で表される。ここで、Xmax、Ymaxは左右方向及び上下方向の画像サイズ、pix_x、pix_yは左右方向及び上下方向のセンサピクセルサイズであり、


である。較正点のワールド座標系での座標は既知であるので、図5に示す一連の指示装置5の操作によって2つの較正点A、Bの画像上の座標が決まれば、式(1)―(5)より、パン・ロール・チルトのそれぞれの設置角度を算出することができる。
【0043】
以上説明したように、本実施例に係る車載カメラの較正装置によれば、微調整の繰り返しなどの煩雑な操作を伴うことなく、容易に較正用マーカ14a、14bの表示位置を較正指標8が示す2点A、Bに重なるように調整し、撮像部1(車載カメラ)の取り付け角度(パン・ロール・チルト)を算出して較正を行うことができる。特に、較正用マーカ14a、14bの表示位置調整において回転動作が伴うことなく、単に上下左右方向に移動させるだけで調整できるので、オペレータの操作負担が少なく、容易に較正を行うことができる。
【産業上の利用可能性】
【0044】
本発明は、車載カメラの車体への取り付け角度を、較正指標を撮像することにより算出して較正を行う車載カメラの較正装置及び方法に利用可能である。
【符号の説明】
【0045】
1 撮像部
2 映像処理部
3 グラフィック重畳回路
4 CPU
5 指示装置
6 映像出力回路
7 ディスプレイ
8 較正指標
9 スタートボタン
10 移動ボタン
11 位置確定ボタン
12 実行ボタン
14 較正用マーカ
20 表示画面
21 後部バンパー
100 較正装置

【特許請求の範囲】
【請求項1】
車載カメラの車体への取り付け角度を、較正指標を撮像することにより算出して較正を行う車載カメラの較正装置であって、
平面上の互いに離れた2点を有する較正指標を含む撮像画像を取得する撮像部と、
前記取得した撮像画像に較正用マーカが重畳表示されるように、画像信号を処理する画像信号処理手段と、
前記撮像画像における前記較正用マーカの重畳表示位置を指示する指示手段と
を備え、
前記較正用マーカが前記較正指標の2点に重なるように重畳表示された際の前記較正用マーカの表示位置に基づいて、前記車載カメラの取り付け角度を算出することを特徴とする車載カメラの較正装置。
【請求項2】
前記較正用マーカは、前記較正指標の互いに離れた2点に対応するように前記撮像画像上に2つ表示され、その各々の表示位置は前記指示手段によって独立に制御可能であることを特徴とする請求項1に記載の車載カメラの較正装置。
【請求項3】
前記較正用マーカは互いに交差する線分からなり、その交点が該較正用マーカの表示位置を示すことを特徴とする請求項1又は2に記載の車載カメラの較正装置。
【請求項4】
前記較正指標は、前記互いに離れた2点間を結ぶ線分として形成されていることを特徴とする請求項1から3のいずれか一項に記載の車載カメラの較正装置。
【請求項5】
車載カメラの車体への取り付け角度を、較正指標を撮像することにより算出して較正を行う車載カメラの較正方法であって、
平面上の互いに離れた2点を有する較正指標を含む撮像画像を取得する撮像工程と、
前記取得した撮像画像に較正用マーカを重畳表示する重畳表示工程と、
前記較正用マーカが前記較正指標が示す2点に重なるように、前記較正用マーカの重畳表示位置を指示する指示工程と、
前記較正指標の2点に重なるように表示された前記較正用マーカの表示位置に基づいて、前記車載カメラの取り付け角度を算出する算出工程と
を備えたことを特徴とする車載カメラの較正方法。
【請求項6】
車載カメラの車体への取り付け角度を、較正指標を撮像することにより算出して較正が可能な車載カメラであって、
平面上の互いに離れた2点を有する較正指標を含む撮像画像を取得する撮像部と、
前記取得した撮像画像に較正用マーカが重畳表示されるように、画像信号を処理する画像信号処理手段と、
前記撮像画像における前記較正用マーカの重畳表示位置の指示を受け付ける指示受付手段と
を備え、
前記較正用マーカが前記較正指標の2点に重なるように重畳表示された際の前記較正用マーカの表示位置に基づいて、前記取り付け角度を算出することを特徴とする車載カメラ。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2013−62692(P2013−62692A)
【公開日】平成25年4月4日(2013.4.4)
【国際特許分類】
【出願番号】特願2011−200005(P2011−200005)
【出願日】平成23年9月13日(2011.9.13)
【出願人】(000006633)京セラ株式会社 (13,660)
【Fターム(参考)】