ステレオカメラシステム及び該システムを備える車両
【課題】外部の物体を利用することなく、簡単な構成にて、画像データの位置補正処理を高精度にて行う、汎用性の高いステレオカメラシステム及び該システムを備える車両を提供する。
【解決手段】ステレオカメラシステム(100)は、第１カメラ(20a)、第２カメラ(20b)、及び、基台(30)からなるステレオカメラユニット(70)と、第１カメラ(20a)及び第２カメラ(20b)が出力する第１画像データ及び第２画像データの少なくとも一方に、位置補正処理を行う制御装置(40)とを備える。第１カメラ(20a)及び第２カメラ(20b)の視野に、ステレオカメラユニット(70)の一部がそれぞれ含まれ、制御装置(40)は、第１画像データ及び第２画像データに含まれるステレオカメラユニット(70)の一部の画像に対応するデータに基づいて位置補正処理を行う。
【解決手段】ステレオカメラシステム(100)は、第１カメラ(20a)、第２カメラ(20b)、及び、基台(30)からなるステレオカメラユニット(70)と、第１カメラ(20a)及び第２カメラ(20b)が出力する第１画像データ及び第２画像データの少なくとも一方に、位置補正処理を行う制御装置(40)とを備える。第１カメラ(20a)及び第２カメラ(20b)の視野に、ステレオカメラユニット(70)の一部がそれぞれ含まれ、制御装置(40)は、第１画像データ及び第２画像データに含まれるステレオカメラユニット(70)の一部の画像に対応するデータに基づいて位置補正処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオカメラシステム及び該システムを備える車両に関する。
【背景技術】
【０００２】
ステレオカメラシステムは、例えば車両に取り付けられ、車両前方の障害物までの距離を測定するのに使用されている。
ステレオカメラシステムは、２台のカメラによって得られた２つの画像の視差を利用して距離を算出する。このため、２台のカメラ間の相対的な位置関係にずれがあると、正しい距離を求めることができない。また、当初、２台のカメラ間の相対的な位置関係にずれが無いとしても、部品の経時的な変形等によりずれが生じてしまう。
【０００３】
そこで、ステレオカメラシステムでは、カメラ間の相対的な位置関係のずれを、機械的にではなく、情報処理技術によって補正することが行われている。
例えば、特許文献１が開示するステレオカメラシステムでは、２台のカメラ間の位置姿勢を規定するキャリブレーションパラメータのずれに基づくキャリブレーションずれが、既知特徴又は自然特徴を用いて補正される。
【０００４】
既知特徴は、ある座標系で相対位置が特定されている特徴であり、例えば車両の場合には、ナンバープレートの４つのコーナーや、車両のボンネット上で形状が変化している点や、フロントガラスに配置した黒丸のマーカである。
自然特徴は、撮影された画像内から抽出される特徴であり、自然特徴間の幾何学的距離等の性質は、予め既知ではない。
【０００５】
特許文献１が開示するキャリブレーションずれ補正方法によれば、撮影画像から既知特徴又は自然特徴が抽出され、既知特徴又は自然特徴に対応する制約式が求められる。そして、制約式、計測誤差共分散行列、及び、カルマンゲインに基づいて、キャリブレーションパラメータの推定平均値及び推定誤差共分散行列の更新が行われる。推定誤差共分散行列が示す個々のパラメータの分散が小さくなることで、ずれが補正されたキャリブレーションパラメータが得られる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−３５４２５７号公報（例えば、段落番号０１３０〜０２００、図８、及び、図９等）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１が開示するキャリブレーションずれ補正方法において、既知特徴を用いる場合、既知特徴間の幾何学的距離を予め入力しなければならない。車両のボンネット上で形状が変化している点のように、車種に固有の特徴を既知特徴として用いる場合、車種毎に異なる幾何学的距離を入力しなければならず、補正のための準備作業が煩雑である。
【０００８】
一方、特許文献１が開示するキャリブレーションずれ補正方法において、自然特徴を用いた場合、既知特徴を用いる場合に比べて拘束条件が少ないため、制約式が複雑である。このため、既知特徴を用いる場合に比べて、計算が複雑であり、補正の精度が低下する虞がある。
【０００９】
本発明は上記した事情に鑑みてなされ、その目的とするところは、外部の物体を利用することなく、簡単な構成にて、画像データの位置補正処理を高精度にて行う、汎用性の高いステレオカメラシステム及び該システムを備える車両を提供することにある。
【課題を解決するための手段】
【００１０】
上記の課題を解決するため、本発明は以下の解決手段を採用する。
解決手段１：本発明の一態様によれば、第１カメラ、第２カメラ、並びに、第１カメラ及び第２カメラが設置される基台を有するステレオカメラユニットと、前記第１カメラが出力する第１画像データ及び前記第２カメラが出力する第２画像データの少なくとも一方に位置補正処理を行ったうえで、前記第１画像データ及び第２画像データに基づき、前記第１画像データ及び前記第２画像データ中の物体の距離を判定する制御装置とを備えるステレオカメラシステムであって、前記第１カメラ及び前記第２カメラの視野に、前記ステレオカメラユニットの一部がそれぞれ含まれ、前記制御装置は、前記第１画像データ及び前記第２画像データに含まれる前記ステレオカメラユニットの一部の画像に対応するデータに基づいて前記位置補正処理を行うことを特徴とするステレオカメラシステムが提供される。
【００１１】
解決手段１のステレオカメラシステムでは、第１カメラ及び第２カメラの視野に、ステレオカメラユニットの一部がそれぞれ含まれ、第１画像データ及び第２画像データに含まれるステレオカメラユニットの一部の画像に対応するデータに基づいて位置補正処理が行われる。
このステレオカメラシステムは、外部の物体を位置補正処理に使用しないので、位置補正処理に用いられる物体の幾何学的情報を、使用環境に応じて変更する必要がない。
一方、ステレオカメラユニットの一部の幾何学的情報は既知であり、外部の物体を位置補正処理に用いる場合と同様に、高精度にて位置補正処理が実行される。
【００１２】
解決手段２：好ましくは、前記第１カメラの視野に、前記ステレオカメラユニットの一部として前記第２カメラの一部が含まれ、前記第２カメラの視野に、前記ステレオカメラユニットの一部として前記第１カメラの一部が含まれ、前記制御装置は、前記第１画像データに含まれる前記第２カメラの一部の画像に対応するデータに基づき、前記第１画像データに位置補正処理を行い、前記第２画像データに含まれる前記第１カメラの一部の画像に対応するデータに基づき、前記第２画像データに位置補正処理を行う。
【００１３】
解決手段２のステレオカメラシステムでは、第１画像データに含まれる第２カメラの一部の画像に対応するデータに基づき、第１画像データに位置補正処理が行われ、第２画像データに含まれる第１カメラの一部の画像に対応するデータに基づき、第２画像データに位置補正処理が行われる。
従って、第２カメラに対する第１カメラの位置関係のずれ、及び、第２カメラに対する第１カメラの位置関係のずれが直接的且つ確実に把握され、位置補正処理がより高精度にて行われる。
【００１４】
解決手段３：好ましくは、前記第１カメラ及び前記第２カメラのうち少なくとも一方の筐体には、他方のカメラの視野に含まれる部位に、前記筐体とは輝度の異なるキャリブレーションマークが付与されている。
解決手段３のステレオカメラシステムでは、筐体とは輝度の異なるキャリブレーションマークを用いることによって、第１カメラ及び第２カメラの筐体の色や形状に関係なく、位置補正処理が高精度にて行われる。
【００１５】
解決手段４：好ましくは、前記第１カメラ及び第２カメラの画角は１８０°を超えている。
解決手段４のステレオカメラシステムでは、第１カメラ及び第２カメラの画角が１８０°を超えていることによって、簡単な構成にて、第１カメラ及び第２カメラの視野に、他方の一部が含まれる。
【００１６】
解決手段５：好ましくは、前記制御装置は、外部からの命令に基づいて、前記位置補正処理に使用される補正用パラメータを前記ステレオカメラユニットの一部の画像に対応するデータに基づいて演算する。
【００１７】
解決手段５のステレオカメラシステムでは、外部からの命令に応じて、いつでも、位置補正処理に使用される補正用パラメータが演算される。つまり、補正用パラメータは適宜更新可能である。このため、第１カメラと第２カメラの間の相対的な位置関係に経時的にずれが生じたとしても、高精度にて位置補正処理が行われる。
【００１８】
解決手段６：本発明の他の態様によれば、解決手段５に記載のステレオカメラシステムを備える車両であって、前記外部からの命令は、人によって入力されるか、前記車両のエンジンの起動に連動して入力されるか、又は、前記車両のギアの変更に連動して入力されることを特徴とする車両が提供される。
【００１９】
解決手段６の車両によれば、人からの命令によって補正用パラメータを演算させられる。このため、必要なときにいつでも位置補正処理が行われ、ステレオカメラシステムが直ぐに使用に供される。あるいは、エンジンの起動時又はギアの変更時に補正用パラメータが演算されることにより、常に、高精度にて位置補正処理が行われる。
【発明の効果】
【００２０】
本発明によれば、外部の物体を利用することなく、簡単な構成にて、画像データの位置補正処理を高精度にて行う、汎用性の高いステレオカメラシステム及び該システムを備える車両が提供される。このステレオカメラシステムによれば、物体までの距離の測定が高精度にて行われ、該システムを備える車両では、安全運転が実現される。
【図面の簡単な説明】
【００２１】
【図１】車両に適用された一実施形態に係るステレオカメラシステムの構成を概略的に示すブロック図である。
【図２】図１のステレオカメラシステムに適用されたステレオカメラユニットの概略的な正面図である。
【図３】図２のステレオカメラユニットの概略的な上面図である。
【図４】図２のステレオカメラユニットを構成する第１カメラ及び第２カメラによって撮影される画像を概略的に示す図である。
【図５】図１のステレオカメラシステムの制御装置が実行する後方監視用プログラムを概略的に示すフローチャートである。
【図６】図１のステレオカメラシステムの制御装置が実行する第１画像のための補正用パラメータ決定プログラムを概略的に示すフローチャートである。
【図７】図１のステレオカメラシステムの制御装置が実行する第２画像のための補正用パラメータ決定プログラムを概略的に示すフローチャートである。
【図８】図６及び図７中のロール角補正用パラメータ決定ルーチンを概略的に示すフローチャートである。
【図９】図６及び図７中のピッチ角補正用パラメータ決定ルーチンを概略的に示すフローチャートである。
【図１０】図６及び図７中のヨー角補正用パラメータ決定ルーチンを概略的に示すフローチャートである。
【図１１】変形例に係る第１カメラ及び第２カメラを概略的に示す斜視図である。
【図１２】図１１の第１カメラ及び第２カメラによって撮影される画像を概略的に示す図である。
【図１３】変形例に係るステレオカメラユニットを示す概略的な上面図である。
【図１４】変形例に係るステレオカメラシステムの概略的な構成を示すブロック図である。
【発明を実施するための形態】
【００２２】
以下、本発明の実施形態について図面を参照しながら説明する。
図１は、車両１０に適用された一実施形態のステレオカメラシステム１００の概略的な構成を示している。
ステレオカメラシステム１００は、第１カメラ２０ａ、第２カメラ２０ｂｂ、基台３０、制御装置４０、画像表示装置５０、及び、必要に応じてスピーカー６０を有する。
【００２３】
〔カメラ〕
第１カメラ２０ａ及び第２カメラ２０ｂは、撮像素子を有するデジタルカメラであり、撮影範囲に対応するデジタルの第１画像データ及び第２画像データをそれぞれ生成する。
図２に示したように、第１カメラ２０ａ及び第２カメラ２０ｂは、互いに平行になるように基台３０に固定され、基台３０が車両に固定される。第１カメラ２０ａ、第２カメラ２０ｂ、及び、基台３０は、１つのステレオカメラユニット７０を構成している。
【００２４】
基台３０は、例えば、第１カメラ２０ａ及び第２カメラ２０ｂが、車両の後方を向くように配置される。つまり、本実施形態では、ステレオカメラシステム１００は、車両後方を監視するために用いられる。具体的には、基台３０は、車両１０のトランクリッド若しくはリアゲート、リアバンパー周辺、又は、車両１０の天井等に取り付けられる。基台３０は、車両１０の幅方向では、略中央に取り付けられる。
【００２５】
基台３０は、例えば断面Ｌ字形状の金属製のブラケットであり、基台３０に対し、第１カメラ２０ａ及び第２カメラ２０ｂは、ボルト若しくは螺子等を用いて固定されている。また、基台３０は、車両１０に対し、ボルト若しくは螺子等を用いて固定されている。
【００２６】
図３に示したように、第１カメラ２０ａ及び第２カメラ２０ｂの画角は１８０°を超えており、例えば１９０°である。画角で分類すれば、第１カメラ２０ａ及び第２カメラ２０ｂは、超広角又は魚眼カメラである。第１カメラ２０ａ及び第２カメラ２０ｂの各々の画角は、隣の第２カメラ２０ｂ及び第１カメラ２０ａの画像を位置補正処理に利用する場合は１８０°以上であることが望ましい。
【００２７】
第１カメラ２０ａ及び第２カメラ２０ｂは互いに平行に配置されている。図４の右側は、第１カメラ２０ａによってそれぞれ取得された第１画像データを表示したものであり、図４の左側は、第２カメラ２０ｂによって取得された第２画像データを示している。
図４に示したように、第１カメラ２０ａの視野には、第２カメラ２０ｂの一部が含まれており、第２カメラ２０ｂの視野には、第１カメラ２０ａの一部が含まれている。
なお、図４では、第２カメラ２０ｂ及び第１カメラ２０ａの一部の画像のみを示し、他の画像は省略した。
【００２８】
〔制御装置〕
制御装置４０は、例えば、マイクロコンピュータによって構成され、ＣＰＵ（中央演算処理装置）及びメモリ等を含む。制御装置４０は、第１カメラ２０ａ及び第２カメラ２０ｂに電気的に接続されており、第１カメラ２０ａによって撮影された画像のデータ（第１画像データ）及び第２カメラ２０ｂによって撮影された画像のデータ（第２画像データ）を読み込む。
【００２９】
そして制御装置４０は、読み込んだ第１画像データ及び第２画像データに、位置補正処理を実行した上で、第１画像データ及び第２画像データのうち例えば第１画像データを画像表示装置５０に表示させる。画像表示装置５０は、例えば、液晶ディスプレイであり、車両１０のインストルメントパネル（ダッシュボード）の中央に設置される。なお、画像データを表示させるとは、画像データに対応する画像を表示させるということである。
【００３０】
一方、制御装置４０は、第１画像データ及び第２画像データに障害物が写っている場合には、位置補正処置が施された第１画像データと第２画像データの間における、障害物の視差を利用して、障害物までの距離を測定する。そして、障害物までの距離に応じて、即ち危険度に応じて、スピーカー６０に警報音を発生させる。
また、制御装置４０は、警報表示として、例えば、障害物を囲む赤枠を画像表示装置５０に表示させる。
【００３１】
ここで、位置補正処理では、第１カメラ２０ａと第２カメラ２０ｂの間の相対的な位置関係のずれに基づく、第１画像データ及び第２画像データの回転が補正される。即ち、第１カメラ２０ａ及び第２カメラ２０ｂは、互いに平行になるように機械的に固定されるが、寸法公差や、経時的な部品の変形等によって、現実には平行からずれてしまう。
そして、このずれに起因して、第１画像データ及び第２画像データが回転してしまう。なお、第１画像データ及び第２画像データが回転するとは、第１画像データ及び第２画像データの画像が回転するということである。
【００３２】
具体的には、第１画像データ及び第２画像データの回転には、第１カメラ２０ａ及び第２カメラ２０ｂの各々の光軸の回りでのロール、第１カメラと第２カメラの離間方向に平行な軸の回りでのピッチ、及び、光軸及び第１カメラと第２カメラの離間方向に直交する軸の回りでのヨーがある。
【００３３】
制御装置４０は、第１画像データ及び第２画像データの各々のロールを補正するためのロール角補正用パラメータθｒ、ピッチを補正するためのピッチ角補正用パラメータθｐ、及び、ヨーを補正するためのヨー角補正用パラメータθｙを決定し、決定したロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙを用いて、第１画像データ及び第２画像データの各々を回転させる位置補正処理を行う。
【００３４】
具体的には、制御装置４０は、第１画像データのためのロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙを決定する場合、変化量Δθｒ，Δθｐ，Δθｒだけ異なる、複数組のロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙの候補値を用いて第１画像データを回転させ、各回転後の第１画像データに含まれる第２カメラ２０ｂの筐体の形状に対応する判定用データを、予め入力された基準データと比較する。
【００３５】
そして、判定用データと基準データとの差が閾値よりも小さくなったときのロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙの組を、位置補正処理用のロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙに設定する。
【００３６】
同様に、制御装置４０は、第２画像データのためのロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙを決定する場合、変化量Δθｒ，Δθｐ，Δθｒだけ異なる、複数組のロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙの候補値を用いて第２画像データを回転させ、各回転後の第２画像データに含まれる第１カメラ２０ａの筐体の形状に対応する判定用データを、予め入力された基準データと比較する。
【００３７】
そして、判定用データと基準データとの差が閾値よりも小さくなったときのロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙの組を、位置補正処理用のロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙに設定する。
【００３８】
〔後方監視用プログラム〕
以下、上述した一実施形態のステレオカメラシステム１００の動作について、説明する。図５は、制御装置４０が実行する、後方監視用のプログラムを概略的に示すフローチャートである。後方監視用のプログラムは、例えば、車両１０のギアがバックギアに設定されたときに実行される。
【００３９】
具体的には、制御装置４０は、初期設定として、第１画像データ及び第２画像データの各々のためのロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙを読み込む（ステップＳ１０）。
【００４０】
それから、制御装置４０は、第１カメラ２０ａ及び第２カメラ２０ｂによって取得された第１画像データ及び第２画像データを読み込む（ステップＳ２０）。そして、制御装置４０は、読み込んだ第１画像データ及び第２画像データの各々に対し、ステップＳ１０で読み込んだロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙを用いて、位置補正処理を施す（ステップＳ３０）。
【００４１】
この後、制御装置４０は、第１画像データ及び第２画像データのうち例えば第１画像データを画像表示装置５０に表示させる（ステップＳ４０）。また、制御装置４０は、位置補正処理が施された第１画像データ及び第２画像データ中に障害物が存在するか否か判定する（ステップＳ５０）。そして、障害物が存在すれば、障害物までの距離を測定し、必要に応じてスピーカー６０に警報音を発生させるとともに、画像表示装置５０に警報を表示させる（ステップＳ６０）。
かくして制御装置４０は、ギアがバックギアに設定されている間、上述したステップＳ１０〜Ｓ５０及び必要に応じてＳ６０を繰り返し実行する。
【００４２】
次に、制御装置４０が実行する、第１画像データ及び第２画像データのためのロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙを決定する補正用パラメータ決定プログラムについて説明する。
【００４３】
〔第１画像のための補正用パラメータ決定プログラム〕
図６は、第１画像データのための補正用パラメータ決定プログラムを概略的に示すフローチャートである。補正用パラメータ決定プログラムは、例えば、車両１０のエンジンが起動されると実行される。
【００４４】
第１画像データのための補正用パラメータ決定プログラムでは、まず制御装置４０が、初期設定として、第１基準データを読み込む（ステップＳ１００）。第１基準データは、第１カメラ２０ａが第２カメラ２０ｂに対して理想的に平行であるときに、第１画像データに含まれる第２カメラ２０ｂの筐体の外形形状に対応するデータである。なお第１基準データは、予め適当なときに、制御装置４０に記憶させられる。
【００４５】
次に、制御装置４０は、第１カメラ２０ａに撮影を実行させ、第１画像データを読み込む（ステップＳ１１０）。
そして、制御装置４０は、第１画像データから、第２カメラ２０ｂの筐体及び筐体の近傍が写っている領域のデータ（第１領域データ）を抽出する（ステップＳ１２０）。第１領域データの抽出は、第２カメラ２０ｂの筐体が外れていなければよく、例えば、図４の右側の画像のうち、左端側のデータが第１領域データとして抽出される。
【００４６】
この後、制御装置４０は、第１領域データを輝度に基づいて２値化し、２値化された第１領域データから、低輝度の領域のデータ（判定用データ）を抽出する（ステップＳ１３０）。第２カメラ２０ｂの筐体の色は、通常、黒色等の低輝度の色であるため、判定用データは、第２カメラ２０ｂの筐体の外形形状に対応する。
【００４７】
それから、制御装置４０は、ロール角補正用パラメータ決定ルーチン（ステップＳ１４０）、ピッチ角補正用パラメータ決定ルーチン（ステップＳ１５０）、及び、ヨー角補正用パラメータ決定ルーチン（ステップＳ１６０）を順次、若しくは、並列的に実行し、第１画像のためのロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙを決定する。
【００４８】
〔第２画像のための補正用パラメータ決定プログラム〕
図７は、第２画像データのための補正用パラメータ決定プログラムを概略的に示すフローチャートである。第２画像データのための補正用パラメータ決定プログラムも、例えば、車両１０のエンジンが起動されると実行される。
【００４９】
第２画像データのための補正用パラメータ決定プログラムでは、まず制御装置４０が、初期設定として、第２基準データを読み込む（ステップＳ２００）。第２基準データは、第２カメラ２０ｂが第１カメラ２０ａに対して理想的に平行であるときに、第２画像データに含まれる第１カメラ２０ａの筐体の外形形状に対応するデータである。なお第２基準データは、予め適当なときに、制御装置４０に記憶させられる。
【００５０】
次に、制御装置４０は、第２カメラ２０ｂに撮影を実行させ、第２画像データを読み込む（ステップＳ２１０）。
そして、制御装置４０は、第２画像データから、第１カメラ２０ａの筐体及び筐体の近傍が写っている領域のデータ（第２領域データ）を抽出する（ステップＳ２２０）。第２領域データの抽出は、第１カメラ２０ａの筐体が外れていなければよく、例えば、図４の左側の画像のうち、右端側のデータが第２領域データとして抽出される。
【００５１】
この後、制御装置４０は、第２領域データを輝度に基づいて２値化し、２値化された第２領域データから、低輝度の領域のデータ（判定用データ）を抽出する（ステップＳ２３０）。第１カメラ２０ａの筐体の色は、通常、黒色等の低輝度の色であるため、判定用データは、第１カメラ２０ａの筐体の外形形状に対応する。
【００５２】
それから、制御装置４０は、ロール角補正用パラメータ決定ルーチン（ステップＳ１４０）、ピッチ角補正用パラメータ決定ルーチン（ステップＳ１５０）、ヨー角補正用パラメータ決定ルーチン（ステップＳ１６０）を順次、若しくは、並列的に実行し、第２画像のためのロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙを決定する。
【００５３】
〔ロール角補正用パラメータ決定ルーチン〕
図８は、ロール角補正用パラメータ決定ルーチンＳ１４０の内容を概略的に示すフローチャートである。
図８に示したように、ロール角補正用パラメータ決定ルーチンＳ１４０では、まず制御装置４０は、現在のロール角補正用パラメータθｒを読み込む（ステップＳ３００）。初めてロール角補正用パラメータ決定ルーチンＳ１４０を行うときには、現在のロール角補正用パラメータθｒは、予め設定された適当な初期値である。
【００５４】
それから、制御装置４０は、ロール角補正用パラメータ決定ループＳ３１０を実行する。
ロール角補正用パラメータ決定ループＳ３１０では、変数は、ロール角補正用パラメータθｒであり、変数の初期値としては、例えば、現在のロール角補正用パラメータθｒが用いられる。変数の増分、即ち変化量Δθｒは、例えば−１．０°，−０．５°，０．５°，１．０°である。なお、初期値も含めると、変化量Δθｒは、−１．０°，０．５°，０°，０．５°，１．０°である。
【００５５】
ロール角補正用パラメータ決定ループＳ３１０内では、初期値に変化量Δθｒを加えた値だけ、判定用データがロール回転させられる（ステップＳ３２０）。そして、ロール回転させられた判定用データと基準データの間の輝度差ΔＩが演算される（ステップＳ３３０）。輝度差ΔＩは、判定用データと基準準データの間での画素毎の輝度の差の二乗の総和である。輝度差ΔＩの計算は、輝度差ΔＩが所定の閾値εよりも小さくなるまで、変数を変えながら繰り返され、輝度差ΔＩが所定の閾値εよりも小さくなると、ロール角補正用パラメータ決定ループＳ３１０が終了する（ステップＳ３４０）。
つまり、輝度差ΔＩを用いて判定用データと基準データの間のパターンの類似度を判定し、類似度が高くなると、ロール角補正用パラメータ決定ループＳ３１０が終了する。
【００５６】
それから、制御装置４０は、現在のロール角補正用パラメータθｒに、輝度差ΔＩが所定の閾値εより小さくなったときの変化量Δθｒを足した値を、新しいロール角補正用パラメータθｒに設定する（ステップＳ３５０）。これにより、ロール角補正用パラメータ決定ルーチンＳ１４０が終了する。
【００５７】
〔ピッチ角補正用パラメータ決定ルーチン〕
図９は、ピッチ角補正用パラメータ決定ルーチンＳ１５０の内容を概略的に示すフローチャートである。
図９に示したように、ピッチ角補正用パラメータ決定ルーチンＳ１５０では、まず制御装置４０は、現在のピッチ角補正用パラメータθｐを読み込む（ステップＳ４００）。初めてピッチ角補正用パラメータ決定ルーチンＳ１５０を行うときには、現在のピッチ角補正用パラメータθｐは、予め設定された適当な初期値である。
【００５８】
それから、制御装置４０は、ピッチ角補正用パラメータ決定ループＳ４１０を実行する。
ピッチ角補正用パラメータ決定ループＳ４１０では、変数は、ピッチ角補正用パラメータθｐであり、変数の初期値としては、例えば、現在のピッチ角補正用パラメータθｐが用いられる。変数の増分、即ち変化量Δθｐは、例えば−１．０°，−０．５°，０．５°，１．０°である。なお、初期値も含めると、変化量Δθｐは、−１．０°，０．５°，０°，０．５°，１．０°である。
【００５９】
ピッチ角補正用パラメータ決定ループＳ４１０内では、初期値に変化量Δθｐを加えた値だけ、判定用データがピッチ回転させられる（ステップＳ４２０）。そして、ピッチ回転させられた判定用データと基準データの間の輝度差ΔＩが演算される（ステップＳ４３０）。輝度差ΔＩは、判定用データと基準準データの間での画素毎の輝度の差の二乗の総和である。輝度差ΔＩの計算は、輝度差ΔＩが所定の閾値εよりも小さくなるまで、変数を変えながら繰り返され、輝度差ΔＩが所定の閾値εよりも小さくなると、ピッチ角補正用パラメータ決定ループＳ４１０が終了する（ステップＳ４４０）。
つまり、輝度差ΔＩを用いて判定用データと基準データの間のパターンの類似度を判定し、類似度が高くなると、ピッチ角補正用パラメータ決定ループＳ４１０が終了する。
【００６０】
それから、制御装置４０は、現在のピッチ角補正用パラメータθｐに、輝度差ΔＩが所定の閾値εより小さくなったときの変化量Δθｐを足した値を、新しいピッチ角補正用パラメータθｐに設定する（ステップＳ４５０）。これにより、ピッチ角補正用パラメータ決定ルーチンＳ１５０が終了する。
【００６１】
〔ヨー角補正用パラメータ決定ルーチン〕
図１０は、ヨー角補正用パラメータ決定ルーチンＳ１６０の内容を概略的に示すフローチャートである。
図１０に示したように、ヨー角補正用パラメータ決定ルーチンＳ１６０では、まず制御装置４０は、現在のヨー角補正用パラメータθｙを読み込む（ステップＳ５００）。初めてヨー角補正用パラメータ決定ルーチンＳ１６０を行うときには、現在のヨー角補正用パラメータθｙは、予め設定された適当な初期値である。
【００６２】
それから、制御装置４０は、ヨー角補正用パラメータ決定ループＳ５１０を実行する。
ヨー角補正用パラメータ決定ループＳ５１０では、変数は、ヨー角補正用パラメータθｙであり、変数の初期値としては、例えば、現在のヨー角補正用パラメータθｙが用いられる。変数の増分、即ち変化量Δθｙは、例えば、−１．０°，−０．５°，０．５°，１．０°である。なお、初期値も含めると、変化量Δθｙは、−１．０°，０．５°，０°，０．５°，１．０°である。
【００６３】
ヨー角補正用パラメータ決定ループＳ５１０内では、初期値に変化量Δθｙを加えた値だけ、判定用データがヨー回転させられる（ステップＳ５２０）。そして、ヨー回転させられた判定用データと基準データの間の輝度差ΔＩが演算される（ステップＳ５３０）。輝度差ΔＩは、判定用データと基準準データの間での画素毎の輝度の差の二乗の総和である。輝度差ΔＩの計算は、輝度差ΔＩが所定の閾値εよりも小さくなるまで、変数を変えながら繰り返され、輝度差ΔＩが所定の閾値εよりも小さくなると、ヨー角補正用パラメータ決定ループＳ５１０が終了する（ステップＳ５４０）。
つまり、輝度差ΔＩを用いて判定用データと基準データの間のパターンの類似度を判定し、類似度が高くなると、ヨー角補正用パラメータ決定ループＳ５１０が終了する。
【００６４】
それから、制御装置４０は、現在のヨー角補正用パラメータθｙに、輝度差ΔＩが所定の閾値εより小さくなったときの変化量Δθｙを足した値を、新しいヨー角補正用パラメータθｙに設定する（ステップＳ５５０）。これにより、ヨー角補正用パラメータ決定ルーチンＳ１６０が終了する。
【００６５】
かくして、ロール角補正用パラメータ決定ルーチンＳ１４０、ピッチ角補正用パラメータ決定ルーチンＳ１５０、及び、ヨー角補正用パラメータ決定ルーチンＳ１６０が終了すると、第１画像データ及び第２画像データの各々の位置補正処理Ｓ３０に用いられる、ロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙの３つが互いに独立して全て決定される。
【００６６】
上述した一実施形態のステレオカメラシステム１００では、第１カメラ２０ａ及び第２カメラ２０ｂの視野に、第２カメラ２０ｂ及び第１カメラ２０ａの一部がそれぞれ含まれる。そして、第１画像データ及び第２画像データにそれぞれ含まれる第２カメラ２０ｂ及び第１カメラ２０ａの一部の画像に対応する判定用データに基づいて、位置補正処理Ｓ３０が行われる。
【００６７】
このステレオカメラシステム１００は、外部の物体を位置補正処理Ｓ３０に使用しないので、位置補正処理Ｓ３０に用いられる物体の幾何学的情報を、使用環境に応じて変更する必要がない。
一方、第２カメラ２０ｂ及び第１カメラ２０ａの一部の幾何学的情報は既知であり、外部の物体を位置補正処理に用いる場合と同様に、高精度にて位置補正処理Ｓ３０が実行される。
【００６８】
また、上述した一実施形態のステレオカメラシステム１００では、第１画像データに含まれる第２カメラ２０ｂの一部の画像に対応する判定用データに基づき、第１画像データに位置補正処理Ｓ３０が行われ、第２画像データに含まれる第１カメラ２０ａの一部の画像に対応する判定用データに基づき、第２画像データに位置補正処理Ｓ３０が行われる。
【００６９】
従って、第２カメラ２０ｂに対する第１カメラ２０ａの位置関係のずれ、及び、第２カメラ２０ｂに対する第１カメラ２０ａの位置関係のずれが直接的且つ確実に把握され、位置補正処理Ｓ３０がより高精度にて行われる。
更に、上述した一実施形態のステレオカメラシステム１００では、第１カメラ２０ａ及び第２カメラ２０ｂの画角が１８０°を超えていることによって、簡単な構成にて、第１カメラ２０ａ及び第２カメラ２０ｂの視野に、他方の一部が含まれる。
【００７０】
一方、上述した一実施形態のステレオカメラシステム１００が適用された車両１０によれば、エンジンの起動時に、ロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙが演算されることにより、たとえ経時的に基台３０が変形したとしても、高精度にて位置補正処理Ｓ３０が行われる。
その上、上述した一実施形態のステレオカメラシステム１００が適用された車両１０によれば、第１カメラ２０ａ及び第２カメラ２０ｃの画角は広いため、車両１０の後尾の側方に存在する障害物も検出され、安全な運転が実現される。
【００７１】
本発明は上述した一実施形態に限定されることはなく、一実施形態に種々の変更を加えた形態も含む。
【００７２】
例えば、上述した一実施形態のステレオカメラシステム１００では、ロール角補正用パラメータ決定ループＳ３１０、ピッチ角補正用パラメータ決定ループＳ４１０、及び、ヨー角補正用パラメータ決定ループＳ５１０での変数の変化量Δθｒ，Δθｐ，Δθｙは、いずれも−１．０°，０．５°，０°，０．５°，１．０°であったが、変化量Δθｒ，Δθｙ，Δθｐの範囲や間隔は、同一である必要はなく、適当に選択することができる。
【００７３】
また、ロール角補正用パラメータ決定ループＳ３１０、ピッチ角補正用パラメータ決定ループＳ４１０、及び、ヨー角補正用パラメータ決定ループＳ５１０の終了条件を規定する閾値εについても、同一である必要はなく、適当に選択することができる。
また、上述した一実施形態においては、第１カメラ２０ａ及び第２カメラ２０ｂの各々のＸ軸、Ｙ軸及びＺ軸を中心とした回転変位に基づく誤差を補正するようにしたが、これに限られるものではなく、第１カメラ２０ａ及び第２カメラ２０ｂの各々のＸ軸、Ｙ軸及びＺ軸に沿った平行変位に基づく誤差を補正するようにしてもよい。
【００７４】
上述した一実施形態のステレオカメラシステム１００では、第１画像データ及び第２画像データの両方に対し、位置補正処理Ｓ３０が行われていたが、必要性に応じて、一方にのみ位置補正処理Ｓ３０が行われるようにしてもよい。
【００７５】
上述した一実施形態のステレオカメラシステム１００では、第１カメラ２０ａ及び第２カメラ２０ｂの筐体の形状を利用して、位置補正処理Ｓ３０が行われていたが、第１カメラ２０ａ及び第２カメラ２０ｂの外表面に、図１１に示したように、筐体とは輝度の異なるキャリブレーションマークを付与してもよい。
【００７６】
キャリブレーションマークは、好ましくは、複数のドット２２からなるドットパターンであり、例えばペイント又はシールによって付与される。図１２に示したように、キャリブレーションマークとしてのドット２２は、他方の視野に入る筐体の部位に付与される。なお図１２でも、第２カメラ２０ｂ及び第１カメラ２０ａの一部の画像のみを示し、他の画像は省略した。
【００７７】
この場合、複数のドット２２の存在によって判定用データ及び基準データにおける輝度の変化が大きくなるので、変化量Δθｒ，Δθｐ，Δθｙが不適切な場合に輝度差ΔＩが大きくなる一方、変化量Δθｒ，Δθｐ，Δθｙが適切な場合に輝度差ΔＩが小さくなる。このため、適切な変化量Δθｒ，Δθｐ，Δθｙを決定し易く、第１カメラ２０ａ及び第２カメラ２０ｂの筐体の色や形状に関係なく、位置補正処理Ｓ３０が高精度にて行われる。
なお、ドット２２の数、大きさ、形状、及び、配列は適当に選択することができる。
【００７８】
上述した一実施形態のステレオカメラシステム１００では、第１カメラ２０ａ及び第２カメラ２０ｂの画角が１８０°を超えており、第１カメラ２０ａ及び第２カメラ２０ｂの一部の画像に対応する判定用データが、ロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙの決定に使用されたが、図１３に示したように、画角が１８０°以下の第１カメラ８０ａ及び第２カメラ８０ｂを用いてもよい。
【００７９】
この場合、基台３０は、第１カメラ８０ａと第２カメラ８０ｂの間に設けられた壁３２を有し、壁３２の先端が、第１カメラ８０ａ及び第２カメラ８０ｂの視野に入る。従って、壁３２の先端の画像に対応する判定用データを用いて、ロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙの決定することができる。
【００８０】
更に述べれば、ステレオカメラユニット７０の一部が第１カメラ８０ａ及び第２カメラ８０ｂの視野に入っていれば、当該部分の画像に対応するデータを用いて、ロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙを決定することができる。
なお当然のことながら、この場合の基準データは、第１カメラ８０ａと第２カメラ８０ｂが理想的に平行なときの、ステレオカメラユニット７０の一部の画像に対応するデータである。
【００８１】
上述した一実施形態のステレオカメラシステム１００では、エンジンの起動信号が外部からの命令として制御装置４０に入力され、これをトリガーとして、ロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｐが決定・更新されたが、他の外部からの命令に基づいて決定・更新されるようにしてもよい。
【００８２】
例えば、車両のギアがバックギアに設定されたときに、これをトリガーとして、ロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｐが決定・更新されるようにしてもよい。つまり、後方監視用プログラムが実行される度に決定・更新されるようにしてもよい。
【００８３】
あるいは、図１４に示したように、人によって操作される、制御装置４０に電気的に接続された入力装置９０を設け、入力装置９０を介して、ロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｐを決定・更新させる命令が制御装置４０に入力されるようにしてもよい。
この場合、人の要求に応じて、いつでも、ロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｐが決定・更新可能である。このため、いつでも必要なときに高精度にて位置補正処理Ｓ３０が行われ、ステレオカメラシステム１００が直ぐに使用に供される。
【００８４】
具体的には、入力装置９０を用いることによって、ステレオカメラシステム１００が適用された車両１０に関係する誰であっても、例えば、車両１０の製造者、整備員、販売員又は乗員が、ロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｐを演算させられる。
なお、入力装置９０は、制御装置４０又は画像表示装置５０に一体に組み込まれていてもよい。
【００８５】
上述した一実施形態では、障害物が存在すると判定したときに、警報音や警報表示によって、運転者に注意を促したけれども、より積極的に、車両１０を停止させるようにしてもよい。つまり、ステレオカメラシステム１００を車両１０の自動制御に利用してもよい。
【００８６】
上述した一実施形態では、ステレオカメラシステム１００は、画像表示装置５０をカーナビゲーションシステムと共有してもよい。これにより、画像表示装置５０の設置スペースやコストの削減が図られる。
なお、ステレオカメラシステム１００がカーナビゲーションシステムと画像表示装置５０を共有している場合には、制御装置４０は、車両１０のギアがバックギアに設定されたときのみ、第１画像データ又は第２画像データを画像表示装置５０に表示させ、それ以外のときは、カーナビゲーションシステムが地図等を画像表示装置５０に表示させるようにしてもよい。
【００８７】
その他、図示とともに示した構成やプログラムは、いずれも好ましい例であり、本発明の実施に際してこれらを適宜変更可能であることはいうまでもない。
最後に本発明に係るステレオカメラシステムは、車両の前方監視に使用してもよいのは勿論、車両以外にも適用可能であり、例えば、工場の生産ラインにおいて、製品の形状検査等に用いてもよい。
【符号の説明】
【００８８】
１００ ステレオカメラシステム
１０ 車両
２０ａ 第１カメラ
２０ｂ 第２カメラ
３０ 基台
４０ 制御装置
５０ 画像表示装置
７０ ステレオカメラユニット
【技術分野】
【０００１】
本発明は、ステレオカメラシステム及び該システムを備える車両に関する。
【背景技術】
【０００２】
ステレオカメラシステムは、例えば車両に取り付けられ、車両前方の障害物までの距離を測定するのに使用されている。
ステレオカメラシステムは、２台のカメラによって得られた２つの画像の視差を利用して距離を算出する。このため、２台のカメラ間の相対的な位置関係にずれがあると、正しい距離を求めることができない。また、当初、２台のカメラ間の相対的な位置関係にずれが無いとしても、部品の経時的な変形等によりずれが生じてしまう。
【０００３】
そこで、ステレオカメラシステムでは、カメラ間の相対的な位置関係のずれを、機械的にではなく、情報処理技術によって補正することが行われている。
例えば、特許文献１が開示するステレオカメラシステムでは、２台のカメラ間の位置姿勢を規定するキャリブレーションパラメータのずれに基づくキャリブレーションずれが、既知特徴又は自然特徴を用いて補正される。
【０００４】
既知特徴は、ある座標系で相対位置が特定されている特徴であり、例えば車両の場合には、ナンバープレートの４つのコーナーや、車両のボンネット上で形状が変化している点や、フロントガラスに配置した黒丸のマーカである。
自然特徴は、撮影された画像内から抽出される特徴であり、自然特徴間の幾何学的距離等の性質は、予め既知ではない。
【０００５】
特許文献１が開示するキャリブレーションずれ補正方法によれば、撮影画像から既知特徴又は自然特徴が抽出され、既知特徴又は自然特徴に対応する制約式が求められる。そして、制約式、計測誤差共分散行列、及び、カルマンゲインに基づいて、キャリブレーションパラメータの推定平均値及び推定誤差共分散行列の更新が行われる。推定誤差共分散行列が示す個々のパラメータの分散が小さくなることで、ずれが補正されたキャリブレーションパラメータが得られる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−３５４２５７号公報（例えば、段落番号０１３０〜０２００、図８、及び、図９等）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１が開示するキャリブレーションずれ補正方法において、既知特徴を用いる場合、既知特徴間の幾何学的距離を予め入力しなければならない。車両のボンネット上で形状が変化している点のように、車種に固有の特徴を既知特徴として用いる場合、車種毎に異なる幾何学的距離を入力しなければならず、補正のための準備作業が煩雑である。
【０００８】
一方、特許文献１が開示するキャリブレーションずれ補正方法において、自然特徴を用いた場合、既知特徴を用いる場合に比べて拘束条件が少ないため、制約式が複雑である。このため、既知特徴を用いる場合に比べて、計算が複雑であり、補正の精度が低下する虞がある。
【０００９】
本発明は上記した事情に鑑みてなされ、その目的とするところは、外部の物体を利用することなく、簡単な構成にて、画像データの位置補正処理を高精度にて行う、汎用性の高いステレオカメラシステム及び該システムを備える車両を提供することにある。
【課題を解決するための手段】
【００１０】
上記の課題を解決するため、本発明は以下の解決手段を採用する。
解決手段１：本発明の一態様によれば、第１カメラ、第２カメラ、並びに、第１カメラ及び第２カメラが設置される基台を有するステレオカメラユニットと、前記第１カメラが出力する第１画像データ及び前記第２カメラが出力する第２画像データの少なくとも一方に位置補正処理を行ったうえで、前記第１画像データ及び第２画像データに基づき、前記第１画像データ及び前記第２画像データ中の物体の距離を判定する制御装置とを備えるステレオカメラシステムであって、前記第１カメラ及び前記第２カメラの視野に、前記ステレオカメラユニットの一部がそれぞれ含まれ、前記制御装置は、前記第１画像データ及び前記第２画像データに含まれる前記ステレオカメラユニットの一部の画像に対応するデータに基づいて前記位置補正処理を行うことを特徴とするステレオカメラシステムが提供される。
【００１１】
解決手段１のステレオカメラシステムでは、第１カメラ及び第２カメラの視野に、ステレオカメラユニットの一部がそれぞれ含まれ、第１画像データ及び第２画像データに含まれるステレオカメラユニットの一部の画像に対応するデータに基づいて位置補正処理が行われる。
このステレオカメラシステムは、外部の物体を位置補正処理に使用しないので、位置補正処理に用いられる物体の幾何学的情報を、使用環境に応じて変更する必要がない。
一方、ステレオカメラユニットの一部の幾何学的情報は既知であり、外部の物体を位置補正処理に用いる場合と同様に、高精度にて位置補正処理が実行される。
【００１２】
解決手段２：好ましくは、前記第１カメラの視野に、前記ステレオカメラユニットの一部として前記第２カメラの一部が含まれ、前記第２カメラの視野に、前記ステレオカメラユニットの一部として前記第１カメラの一部が含まれ、前記制御装置は、前記第１画像データに含まれる前記第２カメラの一部の画像に対応するデータに基づき、前記第１画像データに位置補正処理を行い、前記第２画像データに含まれる前記第１カメラの一部の画像に対応するデータに基づき、前記第２画像データに位置補正処理を行う。
【００１３】
解決手段２のステレオカメラシステムでは、第１画像データに含まれる第２カメラの一部の画像に対応するデータに基づき、第１画像データに位置補正処理が行われ、第２画像データに含まれる第１カメラの一部の画像に対応するデータに基づき、第２画像データに位置補正処理が行われる。
従って、第２カメラに対する第１カメラの位置関係のずれ、及び、第２カメラに対する第１カメラの位置関係のずれが直接的且つ確実に把握され、位置補正処理がより高精度にて行われる。
【００１４】
解決手段３：好ましくは、前記第１カメラ及び前記第２カメラのうち少なくとも一方の筐体には、他方のカメラの視野に含まれる部位に、前記筐体とは輝度の異なるキャリブレーションマークが付与されている。
解決手段３のステレオカメラシステムでは、筐体とは輝度の異なるキャリブレーションマークを用いることによって、第１カメラ及び第２カメラの筐体の色や形状に関係なく、位置補正処理が高精度にて行われる。
【００１５】
解決手段４：好ましくは、前記第１カメラ及び第２カメラの画角は１８０°を超えている。
解決手段４のステレオカメラシステムでは、第１カメラ及び第２カメラの画角が１８０°を超えていることによって、簡単な構成にて、第１カメラ及び第２カメラの視野に、他方の一部が含まれる。
【００１６】
解決手段５：好ましくは、前記制御装置は、外部からの命令に基づいて、前記位置補正処理に使用される補正用パラメータを前記ステレオカメラユニットの一部の画像に対応するデータに基づいて演算する。
【００１７】
解決手段５のステレオカメラシステムでは、外部からの命令に応じて、いつでも、位置補正処理に使用される補正用パラメータが演算される。つまり、補正用パラメータは適宜更新可能である。このため、第１カメラと第２カメラの間の相対的な位置関係に経時的にずれが生じたとしても、高精度にて位置補正処理が行われる。
【００１８】
解決手段６：本発明の他の態様によれば、解決手段５に記載のステレオカメラシステムを備える車両であって、前記外部からの命令は、人によって入力されるか、前記車両のエンジンの起動に連動して入力されるか、又は、前記車両のギアの変更に連動して入力されることを特徴とする車両が提供される。
【００１９】
解決手段６の車両によれば、人からの命令によって補正用パラメータを演算させられる。このため、必要なときにいつでも位置補正処理が行われ、ステレオカメラシステムが直ぐに使用に供される。あるいは、エンジンの起動時又はギアの変更時に補正用パラメータが演算されることにより、常に、高精度にて位置補正処理が行われる。
【発明の効果】
【００２０】
本発明によれば、外部の物体を利用することなく、簡単な構成にて、画像データの位置補正処理を高精度にて行う、汎用性の高いステレオカメラシステム及び該システムを備える車両が提供される。このステレオカメラシステムによれば、物体までの距離の測定が高精度にて行われ、該システムを備える車両では、安全運転が実現される。
【図面の簡単な説明】
【００２１】
【図１】車両に適用された一実施形態に係るステレオカメラシステムの構成を概略的に示すブロック図である。
【図２】図１のステレオカメラシステムに適用されたステレオカメラユニットの概略的な正面図である。
【図３】図２のステレオカメラユニットの概略的な上面図である。
【図４】図２のステレオカメラユニットを構成する第１カメラ及び第２カメラによって撮影される画像を概略的に示す図である。
【図５】図１のステレオカメラシステムの制御装置が実行する後方監視用プログラムを概略的に示すフローチャートである。
【図６】図１のステレオカメラシステムの制御装置が実行する第１画像のための補正用パラメータ決定プログラムを概略的に示すフローチャートである。
【図７】図１のステレオカメラシステムの制御装置が実行する第２画像のための補正用パラメータ決定プログラムを概略的に示すフローチャートである。
【図８】図６及び図７中のロール角補正用パラメータ決定ルーチンを概略的に示すフローチャートである。
【図９】図６及び図７中のピッチ角補正用パラメータ決定ルーチンを概略的に示すフローチャートである。
【図１０】図６及び図７中のヨー角補正用パラメータ決定ルーチンを概略的に示すフローチャートである。
【図１１】変形例に係る第１カメラ及び第２カメラを概略的に示す斜視図である。
【図１２】図１１の第１カメラ及び第２カメラによって撮影される画像を概略的に示す図である。
【図１３】変形例に係るステレオカメラユニットを示す概略的な上面図である。
【図１４】変形例に係るステレオカメラシステムの概略的な構成を示すブロック図である。
【発明を実施するための形態】
【００２２】
以下、本発明の実施形態について図面を参照しながら説明する。
図１は、車両１０に適用された一実施形態のステレオカメラシステム１００の概略的な構成を示している。
ステレオカメラシステム１００は、第１カメラ２０ａ、第２カメラ２０ｂｂ、基台３０、制御装置４０、画像表示装置５０、及び、必要に応じてスピーカー６０を有する。
【００２３】
〔カメラ〕
第１カメラ２０ａ及び第２カメラ２０ｂは、撮像素子を有するデジタルカメラであり、撮影範囲に対応するデジタルの第１画像データ及び第２画像データをそれぞれ生成する。
図２に示したように、第１カメラ２０ａ及び第２カメラ２０ｂは、互いに平行になるように基台３０に固定され、基台３０が車両に固定される。第１カメラ２０ａ、第２カメラ２０ｂ、及び、基台３０は、１つのステレオカメラユニット７０を構成している。
【００２４】
基台３０は、例えば、第１カメラ２０ａ及び第２カメラ２０ｂが、車両の後方を向くように配置される。つまり、本実施形態では、ステレオカメラシステム１００は、車両後方を監視するために用いられる。具体的には、基台３０は、車両１０のトランクリッド若しくはリアゲート、リアバンパー周辺、又は、車両１０の天井等に取り付けられる。基台３０は、車両１０の幅方向では、略中央に取り付けられる。
【００２５】
基台３０は、例えば断面Ｌ字形状の金属製のブラケットであり、基台３０に対し、第１カメラ２０ａ及び第２カメラ２０ｂは、ボルト若しくは螺子等を用いて固定されている。また、基台３０は、車両１０に対し、ボルト若しくは螺子等を用いて固定されている。
【００２６】
図３に示したように、第１カメラ２０ａ及び第２カメラ２０ｂの画角は１８０°を超えており、例えば１９０°である。画角で分類すれば、第１カメラ２０ａ及び第２カメラ２０ｂは、超広角又は魚眼カメラである。第１カメラ２０ａ及び第２カメラ２０ｂの各々の画角は、隣の第２カメラ２０ｂ及び第１カメラ２０ａの画像を位置補正処理に利用する場合は１８０°以上であることが望ましい。
【００２７】
第１カメラ２０ａ及び第２カメラ２０ｂは互いに平行に配置されている。図４の右側は、第１カメラ２０ａによってそれぞれ取得された第１画像データを表示したものであり、図４の左側は、第２カメラ２０ｂによって取得された第２画像データを示している。
図４に示したように、第１カメラ２０ａの視野には、第２カメラ２０ｂの一部が含まれており、第２カメラ２０ｂの視野には、第１カメラ２０ａの一部が含まれている。
なお、図４では、第２カメラ２０ｂ及び第１カメラ２０ａの一部の画像のみを示し、他の画像は省略した。
【００２８】
〔制御装置〕
制御装置４０は、例えば、マイクロコンピュータによって構成され、ＣＰＵ（中央演算処理装置）及びメモリ等を含む。制御装置４０は、第１カメラ２０ａ及び第２カメラ２０ｂに電気的に接続されており、第１カメラ２０ａによって撮影された画像のデータ（第１画像データ）及び第２カメラ２０ｂによって撮影された画像のデータ（第２画像データ）を読み込む。
【００２９】
そして制御装置４０は、読み込んだ第１画像データ及び第２画像データに、位置補正処理を実行した上で、第１画像データ及び第２画像データのうち例えば第１画像データを画像表示装置５０に表示させる。画像表示装置５０は、例えば、液晶ディスプレイであり、車両１０のインストルメントパネル（ダッシュボード）の中央に設置される。なお、画像データを表示させるとは、画像データに対応する画像を表示させるということである。
【００３０】
一方、制御装置４０は、第１画像データ及び第２画像データに障害物が写っている場合には、位置補正処置が施された第１画像データと第２画像データの間における、障害物の視差を利用して、障害物までの距離を測定する。そして、障害物までの距離に応じて、即ち危険度に応じて、スピーカー６０に警報音を発生させる。
また、制御装置４０は、警報表示として、例えば、障害物を囲む赤枠を画像表示装置５０に表示させる。
【００３１】
ここで、位置補正処理では、第１カメラ２０ａと第２カメラ２０ｂの間の相対的な位置関係のずれに基づく、第１画像データ及び第２画像データの回転が補正される。即ち、第１カメラ２０ａ及び第２カメラ２０ｂは、互いに平行になるように機械的に固定されるが、寸法公差や、経時的な部品の変形等によって、現実には平行からずれてしまう。
そして、このずれに起因して、第１画像データ及び第２画像データが回転してしまう。なお、第１画像データ及び第２画像データが回転するとは、第１画像データ及び第２画像データの画像が回転するということである。
【００３２】
具体的には、第１画像データ及び第２画像データの回転には、第１カメラ２０ａ及び第２カメラ２０ｂの各々の光軸の回りでのロール、第１カメラと第２カメラの離間方向に平行な軸の回りでのピッチ、及び、光軸及び第１カメラと第２カメラの離間方向に直交する軸の回りでのヨーがある。
【００３３】
制御装置４０は、第１画像データ及び第２画像データの各々のロールを補正するためのロール角補正用パラメータθｒ、ピッチを補正するためのピッチ角補正用パラメータθｐ、及び、ヨーを補正するためのヨー角補正用パラメータθｙを決定し、決定したロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙを用いて、第１画像データ及び第２画像データの各々を回転させる位置補正処理を行う。
【００３４】
具体的には、制御装置４０は、第１画像データのためのロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙを決定する場合、変化量Δθｒ，Δθｐ，Δθｒだけ異なる、複数組のロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙの候補値を用いて第１画像データを回転させ、各回転後の第１画像データに含まれる第２カメラ２０ｂの筐体の形状に対応する判定用データを、予め入力された基準データと比較する。
【００３５】
そして、判定用データと基準データとの差が閾値よりも小さくなったときのロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙの組を、位置補正処理用のロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙに設定する。
【００３６】
同様に、制御装置４０は、第２画像データのためのロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙを決定する場合、変化量Δθｒ，Δθｐ，Δθｒだけ異なる、複数組のロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙの候補値を用いて第２画像データを回転させ、各回転後の第２画像データに含まれる第１カメラ２０ａの筐体の形状に対応する判定用データを、予め入力された基準データと比較する。
【００３７】
そして、判定用データと基準データとの差が閾値よりも小さくなったときのロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙの組を、位置補正処理用のロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙに設定する。
【００３８】
〔後方監視用プログラム〕
以下、上述した一実施形態のステレオカメラシステム１００の動作について、説明する。図５は、制御装置４０が実行する、後方監視用のプログラムを概略的に示すフローチャートである。後方監視用のプログラムは、例えば、車両１０のギアがバックギアに設定されたときに実行される。
【００３９】
具体的には、制御装置４０は、初期設定として、第１画像データ及び第２画像データの各々のためのロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙを読み込む（ステップＳ１０）。
【００４０】
それから、制御装置４０は、第１カメラ２０ａ及び第２カメラ２０ｂによって取得された第１画像データ及び第２画像データを読み込む（ステップＳ２０）。そして、制御装置４０は、読み込んだ第１画像データ及び第２画像データの各々に対し、ステップＳ１０で読み込んだロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙを用いて、位置補正処理を施す（ステップＳ３０）。
【００４１】
この後、制御装置４０は、第１画像データ及び第２画像データのうち例えば第１画像データを画像表示装置５０に表示させる（ステップＳ４０）。また、制御装置４０は、位置補正処理が施された第１画像データ及び第２画像データ中に障害物が存在するか否か判定する（ステップＳ５０）。そして、障害物が存在すれば、障害物までの距離を測定し、必要に応じてスピーカー６０に警報音を発生させるとともに、画像表示装置５０に警報を表示させる（ステップＳ６０）。
かくして制御装置４０は、ギアがバックギアに設定されている間、上述したステップＳ１０〜Ｓ５０及び必要に応じてＳ６０を繰り返し実行する。
【００４２】
次に、制御装置４０が実行する、第１画像データ及び第２画像データのためのロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙを決定する補正用パラメータ決定プログラムについて説明する。
【００４３】
〔第１画像のための補正用パラメータ決定プログラム〕
図６は、第１画像データのための補正用パラメータ決定プログラムを概略的に示すフローチャートである。補正用パラメータ決定プログラムは、例えば、車両１０のエンジンが起動されると実行される。
【００４４】
第１画像データのための補正用パラメータ決定プログラムでは、まず制御装置４０が、初期設定として、第１基準データを読み込む（ステップＳ１００）。第１基準データは、第１カメラ２０ａが第２カメラ２０ｂに対して理想的に平行であるときに、第１画像データに含まれる第２カメラ２０ｂの筐体の外形形状に対応するデータである。なお第１基準データは、予め適当なときに、制御装置４０に記憶させられる。
【００４５】
次に、制御装置４０は、第１カメラ２０ａに撮影を実行させ、第１画像データを読み込む（ステップＳ１１０）。
そして、制御装置４０は、第１画像データから、第２カメラ２０ｂの筐体及び筐体の近傍が写っている領域のデータ（第１領域データ）を抽出する（ステップＳ１２０）。第１領域データの抽出は、第２カメラ２０ｂの筐体が外れていなければよく、例えば、図４の右側の画像のうち、左端側のデータが第１領域データとして抽出される。
【００４６】
この後、制御装置４０は、第１領域データを輝度に基づいて２値化し、２値化された第１領域データから、低輝度の領域のデータ（判定用データ）を抽出する（ステップＳ１３０）。第２カメラ２０ｂの筐体の色は、通常、黒色等の低輝度の色であるため、判定用データは、第２カメラ２０ｂの筐体の外形形状に対応する。
【００４７】
それから、制御装置４０は、ロール角補正用パラメータ決定ルーチン（ステップＳ１４０）、ピッチ角補正用パラメータ決定ルーチン（ステップＳ１５０）、及び、ヨー角補正用パラメータ決定ルーチン（ステップＳ１６０）を順次、若しくは、並列的に実行し、第１画像のためのロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙを決定する。
【００４８】
〔第２画像のための補正用パラメータ決定プログラム〕
図７は、第２画像データのための補正用パラメータ決定プログラムを概略的に示すフローチャートである。第２画像データのための補正用パラメータ決定プログラムも、例えば、車両１０のエンジンが起動されると実行される。
【００４９】
第２画像データのための補正用パラメータ決定プログラムでは、まず制御装置４０が、初期設定として、第２基準データを読み込む（ステップＳ２００）。第２基準データは、第２カメラ２０ｂが第１カメラ２０ａに対して理想的に平行であるときに、第２画像データに含まれる第１カメラ２０ａの筐体の外形形状に対応するデータである。なお第２基準データは、予め適当なときに、制御装置４０に記憶させられる。
【００５０】
次に、制御装置４０は、第２カメラ２０ｂに撮影を実行させ、第２画像データを読み込む（ステップＳ２１０）。
そして、制御装置４０は、第２画像データから、第１カメラ２０ａの筐体及び筐体の近傍が写っている領域のデータ（第２領域データ）を抽出する（ステップＳ２２０）。第２領域データの抽出は、第１カメラ２０ａの筐体が外れていなければよく、例えば、図４の左側の画像のうち、右端側のデータが第２領域データとして抽出される。
【００５１】
この後、制御装置４０は、第２領域データを輝度に基づいて２値化し、２値化された第２領域データから、低輝度の領域のデータ（判定用データ）を抽出する（ステップＳ２３０）。第１カメラ２０ａの筐体の色は、通常、黒色等の低輝度の色であるため、判定用データは、第１カメラ２０ａの筐体の外形形状に対応する。
【００５２】
それから、制御装置４０は、ロール角補正用パラメータ決定ルーチン（ステップＳ１４０）、ピッチ角補正用パラメータ決定ルーチン（ステップＳ１５０）、ヨー角補正用パラメータ決定ルーチン（ステップＳ１６０）を順次、若しくは、並列的に実行し、第２画像のためのロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙを決定する。
【００５３】
〔ロール角補正用パラメータ決定ルーチン〕
図８は、ロール角補正用パラメータ決定ルーチンＳ１４０の内容を概略的に示すフローチャートである。
図８に示したように、ロール角補正用パラメータ決定ルーチンＳ１４０では、まず制御装置４０は、現在のロール角補正用パラメータθｒを読み込む（ステップＳ３００）。初めてロール角補正用パラメータ決定ルーチンＳ１４０を行うときには、現在のロール角補正用パラメータθｒは、予め設定された適当な初期値である。
【００５４】
それから、制御装置４０は、ロール角補正用パラメータ決定ループＳ３１０を実行する。
ロール角補正用パラメータ決定ループＳ３１０では、変数は、ロール角補正用パラメータθｒであり、変数の初期値としては、例えば、現在のロール角補正用パラメータθｒが用いられる。変数の増分、即ち変化量Δθｒは、例えば−１．０°，−０．５°，０．５°，１．０°である。なお、初期値も含めると、変化量Δθｒは、−１．０°，０．５°，０°，０．５°，１．０°である。
【００５５】
ロール角補正用パラメータ決定ループＳ３１０内では、初期値に変化量Δθｒを加えた値だけ、判定用データがロール回転させられる（ステップＳ３２０）。そして、ロール回転させられた判定用データと基準データの間の輝度差ΔＩが演算される（ステップＳ３３０）。輝度差ΔＩは、判定用データと基準準データの間での画素毎の輝度の差の二乗の総和である。輝度差ΔＩの計算は、輝度差ΔＩが所定の閾値εよりも小さくなるまで、変数を変えながら繰り返され、輝度差ΔＩが所定の閾値εよりも小さくなると、ロール角補正用パラメータ決定ループＳ３１０が終了する（ステップＳ３４０）。
つまり、輝度差ΔＩを用いて判定用データと基準データの間のパターンの類似度を判定し、類似度が高くなると、ロール角補正用パラメータ決定ループＳ３１０が終了する。
【００５６】
それから、制御装置４０は、現在のロール角補正用パラメータθｒに、輝度差ΔＩが所定の閾値εより小さくなったときの変化量Δθｒを足した値を、新しいロール角補正用パラメータθｒに設定する（ステップＳ３５０）。これにより、ロール角補正用パラメータ決定ルーチンＳ１４０が終了する。
【００５７】
〔ピッチ角補正用パラメータ決定ルーチン〕
図９は、ピッチ角補正用パラメータ決定ルーチンＳ１５０の内容を概略的に示すフローチャートである。
図９に示したように、ピッチ角補正用パラメータ決定ルーチンＳ１５０では、まず制御装置４０は、現在のピッチ角補正用パラメータθｐを読み込む（ステップＳ４００）。初めてピッチ角補正用パラメータ決定ルーチンＳ１５０を行うときには、現在のピッチ角補正用パラメータθｐは、予め設定された適当な初期値である。
【００５８】
それから、制御装置４０は、ピッチ角補正用パラメータ決定ループＳ４１０を実行する。
ピッチ角補正用パラメータ決定ループＳ４１０では、変数は、ピッチ角補正用パラメータθｐであり、変数の初期値としては、例えば、現在のピッチ角補正用パラメータθｐが用いられる。変数の増分、即ち変化量Δθｐは、例えば−１．０°，−０．５°，０．５°，１．０°である。なお、初期値も含めると、変化量Δθｐは、−１．０°，０．５°，０°，０．５°，１．０°である。
【００５９】
ピッチ角補正用パラメータ決定ループＳ４１０内では、初期値に変化量Δθｐを加えた値だけ、判定用データがピッチ回転させられる（ステップＳ４２０）。そして、ピッチ回転させられた判定用データと基準データの間の輝度差ΔＩが演算される（ステップＳ４３０）。輝度差ΔＩは、判定用データと基準準データの間での画素毎の輝度の差の二乗の総和である。輝度差ΔＩの計算は、輝度差ΔＩが所定の閾値εよりも小さくなるまで、変数を変えながら繰り返され、輝度差ΔＩが所定の閾値εよりも小さくなると、ピッチ角補正用パラメータ決定ループＳ４１０が終了する（ステップＳ４４０）。
つまり、輝度差ΔＩを用いて判定用データと基準データの間のパターンの類似度を判定し、類似度が高くなると、ピッチ角補正用パラメータ決定ループＳ４１０が終了する。
【００６０】
それから、制御装置４０は、現在のピッチ角補正用パラメータθｐに、輝度差ΔＩが所定の閾値εより小さくなったときの変化量Δθｐを足した値を、新しいピッチ角補正用パラメータθｐに設定する（ステップＳ４５０）。これにより、ピッチ角補正用パラメータ決定ルーチンＳ１５０が終了する。
【００６１】
〔ヨー角補正用パラメータ決定ルーチン〕
図１０は、ヨー角補正用パラメータ決定ルーチンＳ１６０の内容を概略的に示すフローチャートである。
図１０に示したように、ヨー角補正用パラメータ決定ルーチンＳ１６０では、まず制御装置４０は、現在のヨー角補正用パラメータθｙを読み込む（ステップＳ５００）。初めてヨー角補正用パラメータ決定ルーチンＳ１６０を行うときには、現在のヨー角補正用パラメータθｙは、予め設定された適当な初期値である。
【００６２】
それから、制御装置４０は、ヨー角補正用パラメータ決定ループＳ５１０を実行する。
ヨー角補正用パラメータ決定ループＳ５１０では、変数は、ヨー角補正用パラメータθｙであり、変数の初期値としては、例えば、現在のヨー角補正用パラメータθｙが用いられる。変数の増分、即ち変化量Δθｙは、例えば、−１．０°，−０．５°，０．５°，１．０°である。なお、初期値も含めると、変化量Δθｙは、−１．０°，０．５°，０°，０．５°，１．０°である。
【００６３】
ヨー角補正用パラメータ決定ループＳ５１０内では、初期値に変化量Δθｙを加えた値だけ、判定用データがヨー回転させられる（ステップＳ５２０）。そして、ヨー回転させられた判定用データと基準データの間の輝度差ΔＩが演算される（ステップＳ５３０）。輝度差ΔＩは、判定用データと基準準データの間での画素毎の輝度の差の二乗の総和である。輝度差ΔＩの計算は、輝度差ΔＩが所定の閾値εよりも小さくなるまで、変数を変えながら繰り返され、輝度差ΔＩが所定の閾値εよりも小さくなると、ヨー角補正用パラメータ決定ループＳ５１０が終了する（ステップＳ５４０）。
つまり、輝度差ΔＩを用いて判定用データと基準データの間のパターンの類似度を判定し、類似度が高くなると、ヨー角補正用パラメータ決定ループＳ５１０が終了する。
【００６４】
それから、制御装置４０は、現在のヨー角補正用パラメータθｙに、輝度差ΔＩが所定の閾値εより小さくなったときの変化量Δθｙを足した値を、新しいヨー角補正用パラメータθｙに設定する（ステップＳ５５０）。これにより、ヨー角補正用パラメータ決定ルーチンＳ１６０が終了する。
【００６５】
かくして、ロール角補正用パラメータ決定ルーチンＳ１４０、ピッチ角補正用パラメータ決定ルーチンＳ１５０、及び、ヨー角補正用パラメータ決定ルーチンＳ１６０が終了すると、第１画像データ及び第２画像データの各々の位置補正処理Ｓ３０に用いられる、ロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙの３つが互いに独立して全て決定される。
【００６６】
上述した一実施形態のステレオカメラシステム１００では、第１カメラ２０ａ及び第２カメラ２０ｂの視野に、第２カメラ２０ｂ及び第１カメラ２０ａの一部がそれぞれ含まれる。そして、第１画像データ及び第２画像データにそれぞれ含まれる第２カメラ２０ｂ及び第１カメラ２０ａの一部の画像に対応する判定用データに基づいて、位置補正処理Ｓ３０が行われる。
【００６７】
このステレオカメラシステム１００は、外部の物体を位置補正処理Ｓ３０に使用しないので、位置補正処理Ｓ３０に用いられる物体の幾何学的情報を、使用環境に応じて変更する必要がない。
一方、第２カメラ２０ｂ及び第１カメラ２０ａの一部の幾何学的情報は既知であり、外部の物体を位置補正処理に用いる場合と同様に、高精度にて位置補正処理Ｓ３０が実行される。
【００６８】
また、上述した一実施形態のステレオカメラシステム１００では、第１画像データに含まれる第２カメラ２０ｂの一部の画像に対応する判定用データに基づき、第１画像データに位置補正処理Ｓ３０が行われ、第２画像データに含まれる第１カメラ２０ａの一部の画像に対応する判定用データに基づき、第２画像データに位置補正処理Ｓ３０が行われる。
【００６９】
従って、第２カメラ２０ｂに対する第１カメラ２０ａの位置関係のずれ、及び、第２カメラ２０ｂに対する第１カメラ２０ａの位置関係のずれが直接的且つ確実に把握され、位置補正処理Ｓ３０がより高精度にて行われる。
更に、上述した一実施形態のステレオカメラシステム１００では、第１カメラ２０ａ及び第２カメラ２０ｂの画角が１８０°を超えていることによって、簡単な構成にて、第１カメラ２０ａ及び第２カメラ２０ｂの視野に、他方の一部が含まれる。
【００７０】
一方、上述した一実施形態のステレオカメラシステム１００が適用された車両１０によれば、エンジンの起動時に、ロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙが演算されることにより、たとえ経時的に基台３０が変形したとしても、高精度にて位置補正処理Ｓ３０が行われる。
その上、上述した一実施形態のステレオカメラシステム１００が適用された車両１０によれば、第１カメラ２０ａ及び第２カメラ２０ｃの画角は広いため、車両１０の後尾の側方に存在する障害物も検出され、安全な運転が実現される。
【００７１】
本発明は上述した一実施形態に限定されることはなく、一実施形態に種々の変更を加えた形態も含む。
【００７２】
例えば、上述した一実施形態のステレオカメラシステム１００では、ロール角補正用パラメータ決定ループＳ３１０、ピッチ角補正用パラメータ決定ループＳ４１０、及び、ヨー角補正用パラメータ決定ループＳ５１０での変数の変化量Δθｒ，Δθｐ，Δθｙは、いずれも−１．０°，０．５°，０°，０．５°，１．０°であったが、変化量Δθｒ，Δθｙ，Δθｐの範囲や間隔は、同一である必要はなく、適当に選択することができる。
【００７３】
また、ロール角補正用パラメータ決定ループＳ３１０、ピッチ角補正用パラメータ決定ループＳ４１０、及び、ヨー角補正用パラメータ決定ループＳ５１０の終了条件を規定する閾値εについても、同一である必要はなく、適当に選択することができる。
また、上述した一実施形態においては、第１カメラ２０ａ及び第２カメラ２０ｂの各々のＸ軸、Ｙ軸及びＺ軸を中心とした回転変位に基づく誤差を補正するようにしたが、これに限られるものではなく、第１カメラ２０ａ及び第２カメラ２０ｂの各々のＸ軸、Ｙ軸及びＺ軸に沿った平行変位に基づく誤差を補正するようにしてもよい。
【００７４】
上述した一実施形態のステレオカメラシステム１００では、第１画像データ及び第２画像データの両方に対し、位置補正処理Ｓ３０が行われていたが、必要性に応じて、一方にのみ位置補正処理Ｓ３０が行われるようにしてもよい。
【００７５】
上述した一実施形態のステレオカメラシステム１００では、第１カメラ２０ａ及び第２カメラ２０ｂの筐体の形状を利用して、位置補正処理Ｓ３０が行われていたが、第１カメラ２０ａ及び第２カメラ２０ｂの外表面に、図１１に示したように、筐体とは輝度の異なるキャリブレーションマークを付与してもよい。
【００７６】
キャリブレーションマークは、好ましくは、複数のドット２２からなるドットパターンであり、例えばペイント又はシールによって付与される。図１２に示したように、キャリブレーションマークとしてのドット２２は、他方の視野に入る筐体の部位に付与される。なお図１２でも、第２カメラ２０ｂ及び第１カメラ２０ａの一部の画像のみを示し、他の画像は省略した。
【００７７】
この場合、複数のドット２２の存在によって判定用データ及び基準データにおける輝度の変化が大きくなるので、変化量Δθｒ，Δθｐ，Δθｙが不適切な場合に輝度差ΔＩが大きくなる一方、変化量Δθｒ，Δθｐ，Δθｙが適切な場合に輝度差ΔＩが小さくなる。このため、適切な変化量Δθｒ，Δθｐ，Δθｙを決定し易く、第１カメラ２０ａ及び第２カメラ２０ｂの筐体の色や形状に関係なく、位置補正処理Ｓ３０が高精度にて行われる。
なお、ドット２２の数、大きさ、形状、及び、配列は適当に選択することができる。
【００７８】
上述した一実施形態のステレオカメラシステム１００では、第１カメラ２０ａ及び第２カメラ２０ｂの画角が１８０°を超えており、第１カメラ２０ａ及び第２カメラ２０ｂの一部の画像に対応する判定用データが、ロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙの決定に使用されたが、図１３に示したように、画角が１８０°以下の第１カメラ８０ａ及び第２カメラ８０ｂを用いてもよい。
【００７９】
この場合、基台３０は、第１カメラ８０ａと第２カメラ８０ｂの間に設けられた壁３２を有し、壁３２の先端が、第１カメラ８０ａ及び第２カメラ８０ｂの視野に入る。従って、壁３２の先端の画像に対応する判定用データを用いて、ロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙの決定することができる。
【００８０】
更に述べれば、ステレオカメラユニット７０の一部が第１カメラ８０ａ及び第２カメラ８０ｂの視野に入っていれば、当該部分の画像に対応するデータを用いて、ロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｙを決定することができる。
なお当然のことながら、この場合の基準データは、第１カメラ８０ａと第２カメラ８０ｂが理想的に平行なときの、ステレオカメラユニット７０の一部の画像に対応するデータである。
【００８１】
上述した一実施形態のステレオカメラシステム１００では、エンジンの起動信号が外部からの命令として制御装置４０に入力され、これをトリガーとして、ロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｐが決定・更新されたが、他の外部からの命令に基づいて決定・更新されるようにしてもよい。
【００８２】
例えば、車両のギアがバックギアに設定されたときに、これをトリガーとして、ロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｐが決定・更新されるようにしてもよい。つまり、後方監視用プログラムが実行される度に決定・更新されるようにしてもよい。
【００８３】
あるいは、図１４に示したように、人によって操作される、制御装置４０に電気的に接続された入力装置９０を設け、入力装置９０を介して、ロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｐを決定・更新させる命令が制御装置４０に入力されるようにしてもよい。
この場合、人の要求に応じて、いつでも、ロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｐが決定・更新可能である。このため、いつでも必要なときに高精度にて位置補正処理Ｓ３０が行われ、ステレオカメラシステム１００が直ぐに使用に供される。
【００８４】
具体的には、入力装置９０を用いることによって、ステレオカメラシステム１００が適用された車両１０に関係する誰であっても、例えば、車両１０の製造者、整備員、販売員又は乗員が、ロール角補正用パラメータθｒ、ピッチ角補正用パラメータθｐ、及び、ヨー角補正用パラメータθｐを演算させられる。
なお、入力装置９０は、制御装置４０又は画像表示装置５０に一体に組み込まれていてもよい。
【００８５】
上述した一実施形態では、障害物が存在すると判定したときに、警報音や警報表示によって、運転者に注意を促したけれども、より積極的に、車両１０を停止させるようにしてもよい。つまり、ステレオカメラシステム１００を車両１０の自動制御に利用してもよい。
【００８６】
上述した一実施形態では、ステレオカメラシステム１００は、画像表示装置５０をカーナビゲーションシステムと共有してもよい。これにより、画像表示装置５０の設置スペースやコストの削減が図られる。
なお、ステレオカメラシステム１００がカーナビゲーションシステムと画像表示装置５０を共有している場合には、制御装置４０は、車両１０のギアがバックギアに設定されたときのみ、第１画像データ又は第２画像データを画像表示装置５０に表示させ、それ以外のときは、カーナビゲーションシステムが地図等を画像表示装置５０に表示させるようにしてもよい。
【００８７】
その他、図示とともに示した構成やプログラムは、いずれも好ましい例であり、本発明の実施に際してこれらを適宜変更可能であることはいうまでもない。
最後に本発明に係るステレオカメラシステムは、車両の前方監視に使用してもよいのは勿論、車両以外にも適用可能であり、例えば、工場の生産ラインにおいて、製品の形状検査等に用いてもよい。
【符号の説明】
【００８８】
１００ ステレオカメラシステム
１０ 車両
２０ａ 第１カメラ
２０ｂ 第２カメラ
３０ 基台
４０ 制御装置
５０ 画像表示装置
７０ ステレオカメラユニット
【特許請求の範囲】
【請求項１】
第１カメラ、第２カメラ、並びに、第１カメラ及び第２カメラが設置される基台を有するステレオカメラユニットと、
前記第１カメラが出力する第１画像データ及び前記第２カメラが出力する第２画像データの少なくとも一方に位置補正処理を行ったうえで、前記第１画像データ及び第２画像データに基づき、前記第１画像データ及び前記第２画像データ中の物体の距離を判定する制御装置とを備えるステレオカメラシステムであって、
前記第１カメラ及び前記第２カメラの視野に、前記ステレオカメラユニットの一部がそれぞれ含まれ、
前記制御装置は、前記第１画像データ及び前記第２画像データに含まれる前記ステレオカメラユニットの一部の画像に対応するデータに基づいて前記位置補正処理を行う
ことを特徴とするステレオカメラシステム。
【請求項２】
前記第１カメラの視野に、前記ステレオカメラユニットの一部として前記第２カメラの一部が含まれ、
前記第２カメラの視野に、前記ステレオカメラユニットの一部として前記第１カメラの一部が含まれ、
前記制御装置は、
前記第１画像データに含まれる前記第２カメラの一部の画像に対応するデータに基づき、前記第１画像データに位置補正処理を行い、
前記第２画像データに含まれる前記第１カメラの一部の画像に対応するデータに基づき、前記第２画像データに位置補正処理を行う
ことを特徴とする請求項１記載のステレオカメラシステム。
【請求項３】
前記第１カメラ及び前記第２カメラのうち少なくとも一方の筐体には、他方のカメラの視野に含まれる部位に、前記筐体とは輝度の異なるキャリブレーションマークが付与されている
ことを特徴とする請求項２に記載のステレオカメラシステム。
【請求項４】
前記第１カメラ及び第２カメラの画角は１８０°を超えていることを特徴とする請求項２又は３に記載のステレオカメラシステム。
【請求項５】
前記制御装置は、外部からの命令に基づいて、前記位置補正処理に使用される補正用パラメータを前記ステレオカメラユニットの一部の画像に対応するデータに基づいて演算することを特徴とする請求項１乃至４の何れか一項に記載のステレオカメラシステム。
【請求項６】
請求項５に記載のステレオカメラシステムを備える車両であって、
前記外部からの命令は、人によって入力されるか、前記車両のエンジンの起動に連動して入力されるか、又は、前記車両のギアの変更に連動して入力されることを特徴とする車両。
【請求項１】
第１カメラ、第２カメラ、並びに、第１カメラ及び第２カメラが設置される基台を有するステレオカメラユニットと、
前記第１カメラが出力する第１画像データ及び前記第２カメラが出力する第２画像データの少なくとも一方に位置補正処理を行ったうえで、前記第１画像データ及び第２画像データに基づき、前記第１画像データ及び前記第２画像データ中の物体の距離を判定する制御装置とを備えるステレオカメラシステムであって、
前記第１カメラ及び前記第２カメラの視野に、前記ステレオカメラユニットの一部がそれぞれ含まれ、
前記制御装置は、前記第１画像データ及び前記第２画像データに含まれる前記ステレオカメラユニットの一部の画像に対応するデータに基づいて前記位置補正処理を行う
ことを特徴とするステレオカメラシステム。
【請求項２】
前記第１カメラの視野に、前記ステレオカメラユニットの一部として前記第２カメラの一部が含まれ、
前記第２カメラの視野に、前記ステレオカメラユニットの一部として前記第１カメラの一部が含まれ、
前記制御装置は、
前記第１画像データに含まれる前記第２カメラの一部の画像に対応するデータに基づき、前記第１画像データに位置補正処理を行い、
前記第２画像データに含まれる前記第１カメラの一部の画像に対応するデータに基づき、前記第２画像データに位置補正処理を行う
ことを特徴とする請求項１記載のステレオカメラシステム。
【請求項３】
前記第１カメラ及び前記第２カメラのうち少なくとも一方の筐体には、他方のカメラの視野に含まれる部位に、前記筐体とは輝度の異なるキャリブレーションマークが付与されている
ことを特徴とする請求項２に記載のステレオカメラシステム。
【請求項４】
前記第１カメラ及び第２カメラの画角は１８０°を超えていることを特徴とする請求項２又は３に記載のステレオカメラシステム。
【請求項５】
前記制御装置は、外部からの命令に基づいて、前記位置補正処理に使用される補正用パラメータを前記ステレオカメラユニットの一部の画像に対応するデータに基づいて演算することを特徴とする請求項１乃至４の何れか一項に記載のステレオカメラシステム。
【請求項６】
請求項５に記載のステレオカメラシステムを備える車両であって、
前記外部からの命令は、人によって入力されるか、前記車両のエンジンの起動に連動して入力されるか、又は、前記車両のギアの変更に連動して入力されることを特徴とする車両。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−３２３４９（Ｐ２０１２−３２３４９Ａ）
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願番号】特願２０１０−１７４０８７（Ｐ２０１０−１７４０８７）
【出願日】平成２２年８月３日（２０１０．８．３）
【出願人】（００００１００９８）アルプス電気株式会社 (4,263)
【Ｆターム（参考）】
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願日】平成２２年８月３日（２０１０．８．３）
【出願人】（００００１００９８）アルプス電気株式会社 (4,263)
【Ｆターム（参考）】
[ Back to top ]