ステレオカメラ及びステレオカメラの校正方法
【課題】障害物までの距離を測距するステレオカメラが取り付けられたガラスに歪みが発生しても、光軸のずれによる測距精度の低下を抑制する。
【解決手段】フロントガラス１０の上部内面に、独立した左右一対のカメラ１２Ｌ及び１２Ｒを取り付けると共に、カメラ１２Ｌ及び１２Ｒの間に位置するフロントガラス１０の内面に、歪み検出方向が異なるように配置された２つの歪みセンサ１６及び１８を取り付ける。そして、制御装置２０は、歪みセンサ１６及び１８で検出した歪みＡ及びＢと補正値とを関連付けた補正マップを参照し、カメラ１２Ｌ及び１２Ｒで撮像された一対の画像について、矩形領域の部分画像を切り出す位置を補正値だけずらすことで、光軸のずれを校正して測距精度の低下を抑制する。
【解決手段】フロントガラス１０の上部内面に、独立した左右一対のカメラ１２Ｌ及び１２Ｒを取り付けると共に、カメラ１２Ｌ及び１２Ｒの間に位置するフロントガラス１０の内面に、歪み検出方向が異なるように配置された２つの歪みセンサ１６及び１８を取り付ける。そして、制御装置２０は、歪みセンサ１６及び１８で検出した歪みＡ及びＢと補正値とを関連付けた補正マップを参照し、カメラ１２Ｌ及び１２Ｒで撮像された一対の画像について、矩形領域の部分画像を切り出す位置を補正値だけずらすことで、光軸のずれを校正して測距精度の低下を抑制する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、左右のカメラ映像の視差を利用して障害物までの距離を測距する、ステレオカメラ及びその校正方法に関する。
【背景技術】
【０００２】
ステレオカメラは、所定間隔を隔てて配設された左右一対のカメラ（撮像素子）を有し、左右のカメラ映像の視差から障害物までの距離を測距する。この場合、左右のカメラの光軸がずれると測距精度が低下するため、特開２０１１−１２３０７８号公報（特許文献１）に記載されるように、例えば、アルミニウム合金などのプレート（ステー）で左右のカメラを連結し、光軸がずれないようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１２３０７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年では、例えば、車両のバリエーションの多様化を図るため、ガラス面に左右のカメラを独立して貼り付けるステレオカメラが開発されている。ガラス面に左右のカメラを独立して貼り付ける場合、左右のカメラがプレートによって連結されていないことから、ガラスの歪みによって左右のカメラの光軸にずれが生じ、測距精度が低下してしまうおそれがある。ここで、ガラスに歪みが生じる原因としては、例えば、工場ラインでのフロントガラス組付時に発生する応力、乗員の重量バランスで発生する車体の歪み、経年変化で発生する車体の歪みなどが想定される。
【０００５】
本発明は、測距精度の低下を抑制した、ステレオカメラ及びその校正方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
このため、ガラス面に独立して取り付けられた一対の撮像素子により撮像された一対の画像の位置を、一対の撮像素子の間に位置するガラス面に取り付けられた歪みセンサにより検出されたガラスの歪みに応じて補正する。
【発明の効果】
【０００７】
ガラスの歪みに伴って一対の撮像素子の光軸が変化しても、撮像結果の観察位置が動的に校正されるため、測距精度の低下を抑制することができる。
【図面の簡単な説明】
【０００８】
【図１】ステレオカメラの一例を示す概要図である。
【図２】歪みセンサの一例を示し、（Ａ）は取付角度の説明図、（Ｂ）は取付角度によって変化するセンサ出力の説明図である。
【図３】測距精度に影響を及ぼすフロントガラスの歪み及び歪みセンサの出力を示し、（Ａ）は右斜めの歪みの説明図、（Ｂ）は左斜めの歪みの説明図、（Ｃ）は左右方向の歪みの説明図である。
【図４】制御装置の内部構造の一例を示すブロック図である。
【図５】補正マップの一例を示す説明図である。
【図６】補正値学習に使用するテクスチャシートの説明図。
【図７】カメラ画像の視差の説明図である。
【図８】補正値学習処理の一例を示すフローチャートである。
【図９】補正値の技術的意義の説明図である。
【図１０】位置ずれ補正処理の一例を示すフローチャートである。
【図１１】位置ずれ補正方法の説明図である。
【図１２】ステレオカメラの変形例を示す概要図である。
【図１３】歪みセンサの他の配置方法の説明図である。
【発明を実施するための形態】
【０００９】
以下、添付された図面を参照し、本発明を実施するための実施形態について詳述する。
図１は、車両前方の障害物までの距離を測距するステレオカメラの一例を示す。
フロントガラス１０の上部内面には、その幅方向（左右方向）に所定距離である基線長ｂ[ｍ]隔てた状態で、左右一対のカメラ１２Ｌ及び１２Ｒが取り付けられる。左右のカメラ１２Ｌ及び１２Ｒは、物理的に独立した状態で、例えば、接着剤などを使用して、その筐体がフロントガラス１０の内面に取り付けられる。カメラ１２Ｌ及び１２Ｒは、雨天時などにフロントガラス１０が汚れることを考慮し、ワイパ１４の払拭エリア１０Ａ内に配置される。カメラ１２Ｌ及び１２Ｒは、例えば、ＣＣＤ（Charge Coupled Device）などのイメージセンサであって、所定の焦点距離ｆ[ｍ]及び画素ピッチＦ[ｍ／pixel]を有している。
【００１０】
左右のカメラ１２Ｌ及び１２Ｒの間、即ち、各カメラ１２Ｌ及び１２Ｒの撮像方向の中心である光軸を結んだ線分上又はその付近には、フロントガラス１０の歪みを検出する一対の歪みセンサ１６及び１８が取り付けられる。歪みセンサ１６及び１８は、直交する２方向の歪みを検出可能な半導体センサであって、図２（Ａ）に示すように、左右方向に歪みが発生している場合、図示の取付角度を０度として時計周りに回転させると、同図（Ｂ）に示すようなセンサ出力（歪み信号）を出力する。
【００１１】
フロントガラス１０に生じる歪みのうち、左右のカメラ１２Ｌ及び１２Ｒによる測距精度に影響を及ぼすものは、左右のカメラ１２Ｌ及び１２Ｒの光軸間の距離である基線長ｂを変化させる歪みである。この歪みは、図３（Ａ）に示すような右方が上位となった右斜めの歪み、同図（Ｂ）に示すような左方が上位となった左斜めの歪み、同図（Ｃ）に示すような左右方向の歪みに集約される。ここで、各歪みによる歪みセンサ１６及び１８のセンサ出力は、歪みセンサ１６のセンサ出力を歪みＡ、歪みセンサ１８のセンサ出力を歪みＢで表すと、右方のグラフのようになる。なお、右斜めの歪み及び左斜めの歪みは、図３（Ｃ）に示す左右方向の歪みに回転が加わったものである。
【００１２】
このため、一対の歪みセンサ１６及び１８のうち、例えば、一方の歪みセンサ１６は、その歪み検出方向の１つがフロントガラス１０の左右方向を向くように取り付けられ、他方の歪みセンサ１８は、その歪み検出方向の１つがフロントガラス１０の左右方向に対して所定角度（例えば、４５度）回転した状態で取り付けられる。要するに、一対の歪みセンサ１６及び１８を、歪み検出方向が異なる状態で配置する。一対の歪みセンサ１６及び１８は、左右のカメラ１２Ｌ及び１２Ｒの取付位置におけるフロントガラス１０の歪みの平均が検出可能な、カメラ１２Ｌと１２Ｒとを結んだ線分の中央に取り付けられることが望ましいが、その配線などを考慮して、一方のカメラの近傍に取り付けるようにしてもよい。但し、検出した歪みを無線で出力可能な歪みセンサであれば、カメラ１２Ｌと１２Ｒとを結んだ線分の中央に取り付けることが容易である。このような歪みセンサとして、特開２００６−２２０５７４号に記載されているような回転体力学量計測装置が知られている。
【００１３】
なお、所定角度で交差する歪み検出方向を有する歪みセンサであれば、カメラ１２Ｌ及び１２Ｒの間に１つの歪みセンサが取り付けられていればよい。
そして、左右のカメラ１２Ｌ及び１２Ｒの出力信号（カメラ画像）、及び、一対の歪みセンサ１６及び１８の出力信号（歪み）は、マイクロコンピュータ又は制御回路などを内蔵した制御装置２０に入力される。制御装置２０は、フロントガラス１０の歪みに基づいてカメラ画像の位置を補正すると共に、補正したカメラ画像に基づいて障害物までの距離を測距する。
【００１４】
制御装置２０には、図４に示すように、不揮発性メモリとしてのフラッシュＲＯＭ（Read Only Memory）２０Ａと、補正値学習部２０Ｂ（学習手段）と、位置ずれ補正部２０Ｃ（補正手段）と、障害物測距部２０Ｄと、が備えられている。補正値学習部２０Ｂ、位置ずれ補正部２０Ｃ及び障害物測距部２０Ｄは、マイクロコンピュータ又は制御回路によって実現される。
【００１５】
フラッシュＲＯＭ２０Ａは、左右のカメラ１２Ｌ及び１２Ｒにより撮像されたカメラ画像の位置を補正するための補正値、具体的には、一方のカメラ画像の位置ずれを補正する補正値（Ｘ，Ｙ）が設定された補正マップＸ及び補正マップＹを保持する。補正マップＸ及び補正マップＹは、図５に示すように、一対の歪みセンサ１６及び１８のうち、一方の歪みセンサが検出した歪みをＡ、他方の歪みセンサが検出した歪みをＢとしたときの補正値Ｘ又はＹが設定されるものである。本実施形態では、説明の都合上、歪みセンサ１６が検出した歪みをＡ、歪みセンサ１８が検出した歪みをＢとするが、この逆であってもよい。
【００１６】
補正値学習部２０Ｂは、フロントガラス１０に外力を作用させて歪みを発生させつつ、図６に示すように、左右のカメラ１２Ｌ及び１２Ｒにより基準点が付されたテクスチャシート３０を撮像し、基準点の位置から補正値（Ｘ，Ｙ）を学習する。そして、補正値学習部２０Ｂは、一対の歪みセンサ１６及び１８の歪み信号Ａ及びＢと補正値（Ｘ，Ｙ）とを関連付けて、補正マップＸ及びＹに書き込む。なお、補正値（Ｘ，Ｙ）の学習方法などの詳細については後述する。
【００１７】
位置ずれ補正部２０Ｃは、フラッシュＲＯＭ２０Ａに格納された補正マップＸ及びＹを参照し、一対の歪みセンサ１６及び１８の歪み信号に応じた補正値を用いて、左右のカメラ１２Ｌ及び１２Ｒにより撮像されたカメラ画像の位置ずれを補正する。なお、カメラ画像の位置ずれ補正方法の詳細についても後述する。
【００１８】
障害物測距部２０Ｄは、位置ずれ補正部２０Ｃにより補正された左右のカメラ画像の視差に基づいて、障害物までの距離を測距する。具体的には、障害物測距部２０Ｄは、図７に示すように、左右のカメラ１２Ｌ及び１２Ｒで撮像した左右のカメラ画像の一方について、例えば、エッジ抽出などで特徴点を抽出する。また、障害物測距部２０Ｄは、例えば、パターンマッチングを行うことで、左右のカメラ画像の他方について、特徴点に該当する部分を抽出する。そして、障害物測距部２０Ｄは、カメラ画像の特徴点の位置偏差（Ｘb−Ｘa）から、視差δ［pixel］（＝Ｆ（Ｘb−Ｘa）、Ｆ：画素ピッチ）を求め、次式を使用して障害物までの距離Ｚを算出する。
Ｚ＝ｂｆ／δ （ｂ：基線長、ｆ：焦点距離）
【００１９】
図８は、制御装置２０において、例えば、外部から学習指示が入力されたことを契機として、補正値学習部２０Ｂが実行する、補正値学習処理の一例を示す。なお、補正値学習処理と並行して、作業者が、フロントガラス１０に取り付けたカメラ１２Ｌ及び１２Ｒをテクスチャシート３０に対向させつつ、フロントガラス１０に対して多方向に外力を作用させるものとする。ここで、フロントガラス１０は、ここに外力を作用させ易くするため、車体に取り付ける前の単独状態であることが望ましい。
【００２０】
ステップ１（図では「Ｓ１」と略記する。以下同様。）では、補正値学習部２０Ｂが、歪みセンサ１６から歪みＡを読み込むと共に、歪みセンサ１８から歪みＢを読み込む。
ステップ２では、補正値学習部２０Ｂが、左右のカメラ１２Ｌ及び１２Ｒからカメラ画像を夫々読み込む。そして、補正値学習部２０Ｂは、例えば、左右のカメラ画像を解析することで、カメラ画像（Ｒ）における基準点の位置座標（ＸR，ＹR）、及び、カメラ画像（Ｌ）における基準点の位置座標（ＸL，ＹL）を求める。
【００２１】
ステップ３では、補正値学習部２０Ｂが、例えば、「Ｘ＝ＸR−ＸL，Ｙ＝ＹR−ＹL」という式から、補正値（Ｘ，Ｙ）を算出する。ここで、補正値（Ｘ，Ｙ）は、図９に示すように、カメラ画像（Ｒ）とカメラ画像（Ｌ）とのずれを表す。
【００２２】
ステップ４では、補正値学習部２０Ｂが、補正マップＸ及びＹについて、歪みＡ及びＢにより特定される区画に補正値Ｘ及びＹを夫々書き込むことで、補正値を記録する。なお、歪みＡ及びＢにより特定される区画に補正値が既に記録されている場合には、例えば、記録済みの補正値と補正値Ｘ及びＹとの相加平均を記録すればよい。
【００２３】
ステップ５では、補正値学習部２０Ｂが、例えば、補正マップＸ及びＹのすべての区画に補正値が書き込まれた否かを介して、補正値の学習が完了したか否かを判定する。そして、補正値学習部２０Ｂは、補正値の学習が完了したと判定すれば処理を終了させる一方（Ｙｅｓ）、補正値の学習が完了していないと判定すれば処理をステップ１へと戻す（Ｎｏ）。
【００２４】
かかる補正値学習処理によれば、フロントガラス１０に実際に外力を作用させて歪みを生じさせた状態で、左右のカメラ画像の位置ずれと歪みとを関連付けた、補正マップＸ及びＹが学習される。このため、フロントガラス１０の個々のばらつきを考慮した、補正値を得ることができる。
【００２５】
図１０は、フロントガラス１０が車体に取り付けられた状態で、制御装置２０が起動されたことを契機として、位置ずれ補正部２０Ｃが所定時間ごとに繰り返し実行する、位置ずれ補正処理の一例を示す。なお、位置ずれ補正処理を実行する所定時間は、例えば、車両前方に位置する障害物までの距離を測距する時間間隔とすればよい。
【００２６】
ステップ１１では、位置ずれ補正部２０Ｃが、歪みセンサ１６から歪みＡを読み込むと共に、歪みセンサ１８から歪みＢを読み込む。
ステップ１２では、位置ずれ補正部２０Ｃが、左右のカメラ１２Ｌ及び１２Ｒからカメラ画像を夫々読み込む。
【００２７】
ステップ１３では、位置ずれ補正部２０Ｃが、フラッシュＲＯＭ２０Ａの補正マップＸ及びＹを参照し、歪みＡ及びＢで特定される区画から補正値（Ｘ，Ｙ）を読み込む。
ステップ１４では、位置ずれ補正部２０Ｃが、図１１に示すように、カメラ画像（Ｌ）について、例えば、所定位置から所定の幅Ｗ及び高さＨを有する矩形領域４０の部分画像を切り出して障害物測距部２０Ｄに出力する。また、位置ずれ補正部２０Ｃが、図１１に示すように、カメラ画像（Ｒ）について、例えば、所定位置を補正値（Ｘ，Ｙ）だけ平行移動した位置から、矩形領域４０の部分画像を切り出して障害物測距部２０Ｄに出力する。
【００２８】
かかる位置ずれ補正処理によれば、左右のカメラ１２Ｌ及び１２Ｒにより撮像されたカメラ画像（Ｌ）及び（Ｒ）について、フロントガラス１０に生じている歪みＡ及びＢに関連付けられた補正量（Ｘ，Ｙ）に基づいて、カメラ１２Ｌ及び１２Ｒの光軸のずれを打ち消した部分画像が切り出される。そして、この切り出された部分画像に基づいて、障害物測距部２０Ｄが障害物までの距離を算出する。従って、フロントガラス１０に歪みが生じ、左右のカメラ１２Ｌ及び１２Ｒの光軸が変化していても、障害物までの測距精度を向上させることができる。
【００２９】
ステレオカメラは、図１２に示すように、軽量なプラスチック材などからなる透明プレート５０に対して、左右のカメラ１２Ｌ及び１２Ｒ並びに一対の歪みセンサ１６及び１８を取り付けたアセンブリとしてもよい。この場合には、このアセンブリに対して外力を作用させて歪みを発生させつつ、補正値学習処理を実行する。そして、補正値学習処理が完了したステレオカメラを、例えば、接着剤などでフロントガラス１０の上部内面に取り付ける。要するに、左右のカメラ１２Ｌ及び１２Ｒ並びに一対の歪みセンサ１６及び１８は、透明プレート５０を介在させて、フロントガラス１０に取り付けられる。
【００３０】
このようにすれば、車両６０の組立ラインにおいて、補正値が学習済みであるステレオカメラを取り付ければよく、組立時間の短縮を図ることができる。また、透明プレート５０はフロントガラス１０より小さいため、ここに外力を作用させる労力が少なくて済み、作業者の労力を軽減することができる。
【００３１】
なお、フロントガラス１０又は透明プレート５０に取り付ける歪みセンサ１６及び１８は、１組に限らず、図１３に示すように、左右のカメラ１２Ｌ及び１２Ｒの近傍に２組取り付けるようにしてもよい。この場合には、各カメラについて、その近傍に取り付けられた一対の歪みセンサの歪み信号を使用して、補正値学習処理及び位置ずれ補正処理を実行すればよい。また、２組の歪みセンサを使用する場合には、必ずしも、左右のカメラ１２Ｌ及び１２Ｒの間に歪みセンサを配置する必要はなく、各カメラ１２Ｌ及び１２Ｒの外方などの近傍に配置されていてもよい。
【００３２】
ステレオカメラは、車両のフロントガラス１０に限らず、例えば、リヤガラスなどに取り付けるようにしてもよい。要するに、ステレオカメラの前方に位置する障害物までの距離を測距する必要がある場所であれば、透明であることを条件として、どこに取り付けてもよい。
【符号の説明】
【００３３】
１０ フロントガラス
１２Ｌ，１２Ｒ カメラ
１６ 歪みセンサ
１８ 歪みセンサ
２０ 制御装置
２０Ａ フラッシュＲＯＭ
２０Ｂ 補正値学習部（学習手段）
２０Ｃ 位置ずれ補正部（補正手段）
３０ テクスチャシート
４０ 矩形領域
５０ 透明プレート
６０ 車両
【技術分野】
【０００１】
本発明は、左右のカメラ映像の視差を利用して障害物までの距離を測距する、ステレオカメラ及びその校正方法に関する。
【背景技術】
【０００２】
ステレオカメラは、所定間隔を隔てて配設された左右一対のカメラ（撮像素子）を有し、左右のカメラ映像の視差から障害物までの距離を測距する。この場合、左右のカメラの光軸がずれると測距精度が低下するため、特開２０１１−１２３０７８号公報（特許文献１）に記載されるように、例えば、アルミニウム合金などのプレート（ステー）で左右のカメラを連結し、光軸がずれないようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１２３０７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年では、例えば、車両のバリエーションの多様化を図るため、ガラス面に左右のカメラを独立して貼り付けるステレオカメラが開発されている。ガラス面に左右のカメラを独立して貼り付ける場合、左右のカメラがプレートによって連結されていないことから、ガラスの歪みによって左右のカメラの光軸にずれが生じ、測距精度が低下してしまうおそれがある。ここで、ガラスに歪みが生じる原因としては、例えば、工場ラインでのフロントガラス組付時に発生する応力、乗員の重量バランスで発生する車体の歪み、経年変化で発生する車体の歪みなどが想定される。
【０００５】
本発明は、測距精度の低下を抑制した、ステレオカメラ及びその校正方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
このため、ガラス面に独立して取り付けられた一対の撮像素子により撮像された一対の画像の位置を、一対の撮像素子の間に位置するガラス面に取り付けられた歪みセンサにより検出されたガラスの歪みに応じて補正する。
【発明の効果】
【０００７】
ガラスの歪みに伴って一対の撮像素子の光軸が変化しても、撮像結果の観察位置が動的に校正されるため、測距精度の低下を抑制することができる。
【図面の簡単な説明】
【０００８】
【図１】ステレオカメラの一例を示す概要図である。
【図２】歪みセンサの一例を示し、（Ａ）は取付角度の説明図、（Ｂ）は取付角度によって変化するセンサ出力の説明図である。
【図３】測距精度に影響を及ぼすフロントガラスの歪み及び歪みセンサの出力を示し、（Ａ）は右斜めの歪みの説明図、（Ｂ）は左斜めの歪みの説明図、（Ｃ）は左右方向の歪みの説明図である。
【図４】制御装置の内部構造の一例を示すブロック図である。
【図５】補正マップの一例を示す説明図である。
【図６】補正値学習に使用するテクスチャシートの説明図。
【図７】カメラ画像の視差の説明図である。
【図８】補正値学習処理の一例を示すフローチャートである。
【図９】補正値の技術的意義の説明図である。
【図１０】位置ずれ補正処理の一例を示すフローチャートである。
【図１１】位置ずれ補正方法の説明図である。
【図１２】ステレオカメラの変形例を示す概要図である。
【図１３】歪みセンサの他の配置方法の説明図である。
【発明を実施するための形態】
【０００９】
以下、添付された図面を参照し、本発明を実施するための実施形態について詳述する。
図１は、車両前方の障害物までの距離を測距するステレオカメラの一例を示す。
フロントガラス１０の上部内面には、その幅方向（左右方向）に所定距離である基線長ｂ[ｍ]隔てた状態で、左右一対のカメラ１２Ｌ及び１２Ｒが取り付けられる。左右のカメラ１２Ｌ及び１２Ｒは、物理的に独立した状態で、例えば、接着剤などを使用して、その筐体がフロントガラス１０の内面に取り付けられる。カメラ１２Ｌ及び１２Ｒは、雨天時などにフロントガラス１０が汚れることを考慮し、ワイパ１４の払拭エリア１０Ａ内に配置される。カメラ１２Ｌ及び１２Ｒは、例えば、ＣＣＤ（Charge Coupled Device）などのイメージセンサであって、所定の焦点距離ｆ[ｍ]及び画素ピッチＦ[ｍ／pixel]を有している。
【００１０】
左右のカメラ１２Ｌ及び１２Ｒの間、即ち、各カメラ１２Ｌ及び１２Ｒの撮像方向の中心である光軸を結んだ線分上又はその付近には、フロントガラス１０の歪みを検出する一対の歪みセンサ１６及び１８が取り付けられる。歪みセンサ１６及び１８は、直交する２方向の歪みを検出可能な半導体センサであって、図２（Ａ）に示すように、左右方向に歪みが発生している場合、図示の取付角度を０度として時計周りに回転させると、同図（Ｂ）に示すようなセンサ出力（歪み信号）を出力する。
【００１１】
フロントガラス１０に生じる歪みのうち、左右のカメラ１２Ｌ及び１２Ｒによる測距精度に影響を及ぼすものは、左右のカメラ１２Ｌ及び１２Ｒの光軸間の距離である基線長ｂを変化させる歪みである。この歪みは、図３（Ａ）に示すような右方が上位となった右斜めの歪み、同図（Ｂ）に示すような左方が上位となった左斜めの歪み、同図（Ｃ）に示すような左右方向の歪みに集約される。ここで、各歪みによる歪みセンサ１６及び１８のセンサ出力は、歪みセンサ１６のセンサ出力を歪みＡ、歪みセンサ１８のセンサ出力を歪みＢで表すと、右方のグラフのようになる。なお、右斜めの歪み及び左斜めの歪みは、図３（Ｃ）に示す左右方向の歪みに回転が加わったものである。
【００１２】
このため、一対の歪みセンサ１６及び１８のうち、例えば、一方の歪みセンサ１６は、その歪み検出方向の１つがフロントガラス１０の左右方向を向くように取り付けられ、他方の歪みセンサ１８は、その歪み検出方向の１つがフロントガラス１０の左右方向に対して所定角度（例えば、４５度）回転した状態で取り付けられる。要するに、一対の歪みセンサ１６及び１８を、歪み検出方向が異なる状態で配置する。一対の歪みセンサ１６及び１８は、左右のカメラ１２Ｌ及び１２Ｒの取付位置におけるフロントガラス１０の歪みの平均が検出可能な、カメラ１２Ｌと１２Ｒとを結んだ線分の中央に取り付けられることが望ましいが、その配線などを考慮して、一方のカメラの近傍に取り付けるようにしてもよい。但し、検出した歪みを無線で出力可能な歪みセンサであれば、カメラ１２Ｌと１２Ｒとを結んだ線分の中央に取り付けることが容易である。このような歪みセンサとして、特開２００６−２２０５７４号に記載されているような回転体力学量計測装置が知られている。
【００１３】
なお、所定角度で交差する歪み検出方向を有する歪みセンサであれば、カメラ１２Ｌ及び１２Ｒの間に１つの歪みセンサが取り付けられていればよい。
そして、左右のカメラ１２Ｌ及び１２Ｒの出力信号（カメラ画像）、及び、一対の歪みセンサ１６及び１８の出力信号（歪み）は、マイクロコンピュータ又は制御回路などを内蔵した制御装置２０に入力される。制御装置２０は、フロントガラス１０の歪みに基づいてカメラ画像の位置を補正すると共に、補正したカメラ画像に基づいて障害物までの距離を測距する。
【００１４】
制御装置２０には、図４に示すように、不揮発性メモリとしてのフラッシュＲＯＭ（Read Only Memory）２０Ａと、補正値学習部２０Ｂ（学習手段）と、位置ずれ補正部２０Ｃ（補正手段）と、障害物測距部２０Ｄと、が備えられている。補正値学習部２０Ｂ、位置ずれ補正部２０Ｃ及び障害物測距部２０Ｄは、マイクロコンピュータ又は制御回路によって実現される。
【００１５】
フラッシュＲＯＭ２０Ａは、左右のカメラ１２Ｌ及び１２Ｒにより撮像されたカメラ画像の位置を補正するための補正値、具体的には、一方のカメラ画像の位置ずれを補正する補正値（Ｘ，Ｙ）が設定された補正マップＸ及び補正マップＹを保持する。補正マップＸ及び補正マップＹは、図５に示すように、一対の歪みセンサ１６及び１８のうち、一方の歪みセンサが検出した歪みをＡ、他方の歪みセンサが検出した歪みをＢとしたときの補正値Ｘ又はＹが設定されるものである。本実施形態では、説明の都合上、歪みセンサ１６が検出した歪みをＡ、歪みセンサ１８が検出した歪みをＢとするが、この逆であってもよい。
【００１６】
補正値学習部２０Ｂは、フロントガラス１０に外力を作用させて歪みを発生させつつ、図６に示すように、左右のカメラ１２Ｌ及び１２Ｒにより基準点が付されたテクスチャシート３０を撮像し、基準点の位置から補正値（Ｘ，Ｙ）を学習する。そして、補正値学習部２０Ｂは、一対の歪みセンサ１６及び１８の歪み信号Ａ及びＢと補正値（Ｘ，Ｙ）とを関連付けて、補正マップＸ及びＹに書き込む。なお、補正値（Ｘ，Ｙ）の学習方法などの詳細については後述する。
【００１７】
位置ずれ補正部２０Ｃは、フラッシュＲＯＭ２０Ａに格納された補正マップＸ及びＹを参照し、一対の歪みセンサ１６及び１８の歪み信号に応じた補正値を用いて、左右のカメラ１２Ｌ及び１２Ｒにより撮像されたカメラ画像の位置ずれを補正する。なお、カメラ画像の位置ずれ補正方法の詳細についても後述する。
【００１８】
障害物測距部２０Ｄは、位置ずれ補正部２０Ｃにより補正された左右のカメラ画像の視差に基づいて、障害物までの距離を測距する。具体的には、障害物測距部２０Ｄは、図７に示すように、左右のカメラ１２Ｌ及び１２Ｒで撮像した左右のカメラ画像の一方について、例えば、エッジ抽出などで特徴点を抽出する。また、障害物測距部２０Ｄは、例えば、パターンマッチングを行うことで、左右のカメラ画像の他方について、特徴点に該当する部分を抽出する。そして、障害物測距部２０Ｄは、カメラ画像の特徴点の位置偏差（Ｘb−Ｘa）から、視差δ［pixel］（＝Ｆ（Ｘb−Ｘa）、Ｆ：画素ピッチ）を求め、次式を使用して障害物までの距離Ｚを算出する。
Ｚ＝ｂｆ／δ （ｂ：基線長、ｆ：焦点距離）
【００１９】
図８は、制御装置２０において、例えば、外部から学習指示が入力されたことを契機として、補正値学習部２０Ｂが実行する、補正値学習処理の一例を示す。なお、補正値学習処理と並行して、作業者が、フロントガラス１０に取り付けたカメラ１２Ｌ及び１２Ｒをテクスチャシート３０に対向させつつ、フロントガラス１０に対して多方向に外力を作用させるものとする。ここで、フロントガラス１０は、ここに外力を作用させ易くするため、車体に取り付ける前の単独状態であることが望ましい。
【００２０】
ステップ１（図では「Ｓ１」と略記する。以下同様。）では、補正値学習部２０Ｂが、歪みセンサ１６から歪みＡを読み込むと共に、歪みセンサ１８から歪みＢを読み込む。
ステップ２では、補正値学習部２０Ｂが、左右のカメラ１２Ｌ及び１２Ｒからカメラ画像を夫々読み込む。そして、補正値学習部２０Ｂは、例えば、左右のカメラ画像を解析することで、カメラ画像（Ｒ）における基準点の位置座標（ＸR，ＹR）、及び、カメラ画像（Ｌ）における基準点の位置座標（ＸL，ＹL）を求める。
【００２１】
ステップ３では、補正値学習部２０Ｂが、例えば、「Ｘ＝ＸR−ＸL，Ｙ＝ＹR−ＹL」という式から、補正値（Ｘ，Ｙ）を算出する。ここで、補正値（Ｘ，Ｙ）は、図９に示すように、カメラ画像（Ｒ）とカメラ画像（Ｌ）とのずれを表す。
【００２２】
ステップ４では、補正値学習部２０Ｂが、補正マップＸ及びＹについて、歪みＡ及びＢにより特定される区画に補正値Ｘ及びＹを夫々書き込むことで、補正値を記録する。なお、歪みＡ及びＢにより特定される区画に補正値が既に記録されている場合には、例えば、記録済みの補正値と補正値Ｘ及びＹとの相加平均を記録すればよい。
【００２３】
ステップ５では、補正値学習部２０Ｂが、例えば、補正マップＸ及びＹのすべての区画に補正値が書き込まれた否かを介して、補正値の学習が完了したか否かを判定する。そして、補正値学習部２０Ｂは、補正値の学習が完了したと判定すれば処理を終了させる一方（Ｙｅｓ）、補正値の学習が完了していないと判定すれば処理をステップ１へと戻す（Ｎｏ）。
【００２４】
かかる補正値学習処理によれば、フロントガラス１０に実際に外力を作用させて歪みを生じさせた状態で、左右のカメラ画像の位置ずれと歪みとを関連付けた、補正マップＸ及びＹが学習される。このため、フロントガラス１０の個々のばらつきを考慮した、補正値を得ることができる。
【００２５】
図１０は、フロントガラス１０が車体に取り付けられた状態で、制御装置２０が起動されたことを契機として、位置ずれ補正部２０Ｃが所定時間ごとに繰り返し実行する、位置ずれ補正処理の一例を示す。なお、位置ずれ補正処理を実行する所定時間は、例えば、車両前方に位置する障害物までの距離を測距する時間間隔とすればよい。
【００２６】
ステップ１１では、位置ずれ補正部２０Ｃが、歪みセンサ１６から歪みＡを読み込むと共に、歪みセンサ１８から歪みＢを読み込む。
ステップ１２では、位置ずれ補正部２０Ｃが、左右のカメラ１２Ｌ及び１２Ｒからカメラ画像を夫々読み込む。
【００２７】
ステップ１３では、位置ずれ補正部２０Ｃが、フラッシュＲＯＭ２０Ａの補正マップＸ及びＹを参照し、歪みＡ及びＢで特定される区画から補正値（Ｘ，Ｙ）を読み込む。
ステップ１４では、位置ずれ補正部２０Ｃが、図１１に示すように、カメラ画像（Ｌ）について、例えば、所定位置から所定の幅Ｗ及び高さＨを有する矩形領域４０の部分画像を切り出して障害物測距部２０Ｄに出力する。また、位置ずれ補正部２０Ｃが、図１１に示すように、カメラ画像（Ｒ）について、例えば、所定位置を補正値（Ｘ，Ｙ）だけ平行移動した位置から、矩形領域４０の部分画像を切り出して障害物測距部２０Ｄに出力する。
【００２８】
かかる位置ずれ補正処理によれば、左右のカメラ１２Ｌ及び１２Ｒにより撮像されたカメラ画像（Ｌ）及び（Ｒ）について、フロントガラス１０に生じている歪みＡ及びＢに関連付けられた補正量（Ｘ，Ｙ）に基づいて、カメラ１２Ｌ及び１２Ｒの光軸のずれを打ち消した部分画像が切り出される。そして、この切り出された部分画像に基づいて、障害物測距部２０Ｄが障害物までの距離を算出する。従って、フロントガラス１０に歪みが生じ、左右のカメラ１２Ｌ及び１２Ｒの光軸が変化していても、障害物までの測距精度を向上させることができる。
【００２９】
ステレオカメラは、図１２に示すように、軽量なプラスチック材などからなる透明プレート５０に対して、左右のカメラ１２Ｌ及び１２Ｒ並びに一対の歪みセンサ１６及び１８を取り付けたアセンブリとしてもよい。この場合には、このアセンブリに対して外力を作用させて歪みを発生させつつ、補正値学習処理を実行する。そして、補正値学習処理が完了したステレオカメラを、例えば、接着剤などでフロントガラス１０の上部内面に取り付ける。要するに、左右のカメラ１２Ｌ及び１２Ｒ並びに一対の歪みセンサ１６及び１８は、透明プレート５０を介在させて、フロントガラス１０に取り付けられる。
【００３０】
このようにすれば、車両６０の組立ラインにおいて、補正値が学習済みであるステレオカメラを取り付ければよく、組立時間の短縮を図ることができる。また、透明プレート５０はフロントガラス１０より小さいため、ここに外力を作用させる労力が少なくて済み、作業者の労力を軽減することができる。
【００３１】
なお、フロントガラス１０又は透明プレート５０に取り付ける歪みセンサ１６及び１８は、１組に限らず、図１３に示すように、左右のカメラ１２Ｌ及び１２Ｒの近傍に２組取り付けるようにしてもよい。この場合には、各カメラについて、その近傍に取り付けられた一対の歪みセンサの歪み信号を使用して、補正値学習処理及び位置ずれ補正処理を実行すればよい。また、２組の歪みセンサを使用する場合には、必ずしも、左右のカメラ１２Ｌ及び１２Ｒの間に歪みセンサを配置する必要はなく、各カメラ１２Ｌ及び１２Ｒの外方などの近傍に配置されていてもよい。
【００３２】
ステレオカメラは、車両のフロントガラス１０に限らず、例えば、リヤガラスなどに取り付けるようにしてもよい。要するに、ステレオカメラの前方に位置する障害物までの距離を測距する必要がある場所であれば、透明であることを条件として、どこに取り付けてもよい。
【符号の説明】
【００３３】
１０ フロントガラス
１２Ｌ，１２Ｒ カメラ
１６ 歪みセンサ
１８ 歪みセンサ
２０ 制御装置
２０Ａ フラッシュＲＯＭ
２０Ｂ 補正値学習部（学習手段）
２０Ｃ 位置ずれ補正部（補正手段）
３０ テクスチャシート
４０ 矩形領域
５０ 透明プレート
６０ 車両
【特許請求の範囲】
【請求項１】
所定距離を隔てつつ、ガラス面に独立して取り付けられる一対の撮像素子と、
前記一対の撮像素子の間に位置するガラス面に取り付けられ、前記ガラスに生じた歪みを検出する歪みセンサと、
前記一対の撮像素子により撮像された一対の画像の位置を、前記歪みセンサにより検出された歪みに応じて補正する補正手段と、
を有することを特徴とするステレオカメラ。
【請求項２】
前記補正手段は、前記一対の画像の一方について、所定位置から所定の幅及び高さを有する矩形領域の部分画像を切り出す一方、前記一対の画像の他方について、前記所定位置を前記歪みに応じた補正値だけ平行移動した位置から前記矩形領域の部分画像を切り出すことで、前記一対の画像の位置を補正する、ことを特徴とする請求項１に記載のステレオカメラ。
【請求項３】
前記ガラスの歪みと前記補正値とを関連付けて保持する補正マップを更に有し、
前記補正手段は、前記補正マップを参照し、前記歪みセンサにより検出された歪みに応じた補正値を決定する、ことを特徴とする請求項２に記載のステレオカメラ。
【請求項４】
前記補正マップは、前記一対の撮像素子を結んだ線分が延びる第１の方向と、前記第１の方向に対して直交する第２の方向と、について前記補正値を夫々保持する、ことを特徴とする請求項３に記載のステレオカメラ。
【請求項５】
前記歪みセンサは、歪み検出方向が異なるように配置された、一対のセンサからなる、ことを特徴とする請求項１〜請求項４のいずれか１つに記載のステレオカメラ。
【請求項６】
前記歪みセンサは、前記一対の撮像素子を結んだ線分の中央付近に配置されている、ことを特徴とする請求項１〜請求項５のいずれか１つに記載のステレオカメラ。
【請求項７】
前記左右一対の撮像素子及び前記歪みセンサは、透明なプレートを介在させて、前記ガラス面に取り付けられている、ことを特徴とする請求項１〜請求項６のいずれか１つに記載のステレオカメラ。
【請求項８】
前記ガラスは、車両のフロントガラスであって、
前記一対の撮像素子は、前記フロントガラスの上部内面に車幅方向に沿って配置されている、ことを特徴とする請求項１〜請求項７のいずれか１つに記載のステレオカメラ。
【請求項９】
前記一対の撮像素子により撮像された一対の画像における基準点のずれから、前記補正マップを学習する学習手段を更に有する、ことを特徴とする請求項３又は請求項４に記載のステレオカメラ。
【請求項１０】
ガラス面に独立して取り付けられた一対の撮像素子により撮像された一対の画像の位置を、前記一対の撮像素子の間に位置するガラス面に取り付けられた歪みセンサにより検出されたガラスの歪みに応じて補正する、ことを特徴とするステレオカメラの校正方法。
【請求項１】
所定距離を隔てつつ、ガラス面に独立して取り付けられる一対の撮像素子と、
前記一対の撮像素子の間に位置するガラス面に取り付けられ、前記ガラスに生じた歪みを検出する歪みセンサと、
前記一対の撮像素子により撮像された一対の画像の位置を、前記歪みセンサにより検出された歪みに応じて補正する補正手段と、
を有することを特徴とするステレオカメラ。
【請求項２】
前記補正手段は、前記一対の画像の一方について、所定位置から所定の幅及び高さを有する矩形領域の部分画像を切り出す一方、前記一対の画像の他方について、前記所定位置を前記歪みに応じた補正値だけ平行移動した位置から前記矩形領域の部分画像を切り出すことで、前記一対の画像の位置を補正する、ことを特徴とする請求項１に記載のステレオカメラ。
【請求項３】
前記ガラスの歪みと前記補正値とを関連付けて保持する補正マップを更に有し、
前記補正手段は、前記補正マップを参照し、前記歪みセンサにより検出された歪みに応じた補正値を決定する、ことを特徴とする請求項２に記載のステレオカメラ。
【請求項４】
前記補正マップは、前記一対の撮像素子を結んだ線分が延びる第１の方向と、前記第１の方向に対して直交する第２の方向と、について前記補正値を夫々保持する、ことを特徴とする請求項３に記載のステレオカメラ。
【請求項５】
前記歪みセンサは、歪み検出方向が異なるように配置された、一対のセンサからなる、ことを特徴とする請求項１〜請求項４のいずれか１つに記載のステレオカメラ。
【請求項６】
前記歪みセンサは、前記一対の撮像素子を結んだ線分の中央付近に配置されている、ことを特徴とする請求項１〜請求項５のいずれか１つに記載のステレオカメラ。
【請求項７】
前記左右一対の撮像素子及び前記歪みセンサは、透明なプレートを介在させて、前記ガラス面に取り付けられている、ことを特徴とする請求項１〜請求項６のいずれか１つに記載のステレオカメラ。
【請求項８】
前記ガラスは、車両のフロントガラスであって、
前記一対の撮像素子は、前記フロントガラスの上部内面に車幅方向に沿って配置されている、ことを特徴とする請求項１〜請求項７のいずれか１つに記載のステレオカメラ。
【請求項９】
前記一対の撮像素子により撮像された一対の画像における基準点のずれから、前記補正マップを学習する学習手段を更に有する、ことを特徴とする請求項３又は請求項４に記載のステレオカメラ。
【請求項１０】
ガラス面に独立して取り付けられた一対の撮像素子により撮像された一対の画像の位置を、前記一対の撮像素子の間に位置するガラス面に取り付けられた歪みセンサにより検出されたガラスの歪みに応じて補正する、ことを特徴とするステレオカメラの校正方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−７２８３９（Ｐ２０１３−７２８３９Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２１４１２１（Ｐ２０１１−２１４１２１）
【出願日】平成２３年９月２９日（２０１１．９．２９）
【出願人】（５０９１８６５７９）日立オートモティブシステムズ株式会社 (2,205)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２９日（２０１１．９．２９）
【出願人】（５０９１８６５７９）日立オートモティブシステムズ株式会社 (2,205)
【Ｆターム（参考）】
[ Back to top ]