画像処理装置
【課題】ＬＵＴを用いて画像の歪みを補正する従来の方法よりも必要な記憶容量を少なく抑えつつ、温度変化に対応した歪み補正処理を行うことを課題とする。
【解決手段】係数を変更すれば所定の温度範囲にわたって撮像画像中における歪み補正処理前の画像位置を理想位置へ変換できる多項式からなる歪み補正式の当該係数を、互いに異なる複数の特定温度ｔ１，ｔ２，ｔ３ごとに、補正係数Ｐ１，Ｐ２，Ｐ３として補正係数記憶部２２Ａ，２２Ｂに格納しておく。歪み補正処理部２５は、温度センサ２１Ａ，２１Ｂにより検知した温度に基づいて、その検知温度で撮像画像の歪み度合いを示す指標値（ずれ量）が最も小さくなる補正係数を補正係数記憶部から読み出し、読み出した補正係数を用いて上記歪み補正式により歪み補正処理を行う。
【解決手段】係数を変更すれば所定の温度範囲にわたって撮像画像中における歪み補正処理前の画像位置を理想位置へ変換できる多項式からなる歪み補正式の当該係数を、互いに異なる複数の特定温度ｔ１，ｔ２，ｔ３ごとに、補正係数Ｐ１，Ｐ２，Ｐ３として補正係数記憶部２２Ａ，２２Ｂに格納しておく。歪み補正処理部２５は、温度センサ２１Ａ，２１Ｂにより検知した温度に基づいて、その検知温度で撮像画像の歪み度合いを示す指標値（ずれ量）が最も小さくなる補正係数を補正係数記憶部から読み出し、読み出した補正係数を用いて上記歪み補正式により歪み補正処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、温度検知手段により検知した検知結果に応じて、撮像手段により撮像して得た撮像画像の歪みを補正する歪み補正処理を行う画像処理装置に関するものである。
【背景技術】
【０００２】
従来、複数のカメラで撮像された物体の結像位置の差（視差）により距離情報を得る測距技術（例えばステレオカメラなど）が、ロボットや車両のブレーキ制御などに広く用いられている。このような測距技術において高精度の距離情報を得るためには、視差をサブピクセル精度で求める必要がある。このような測距技術に限らず、カメラで撮影された画像は、一般に、カメラの製造誤差（部品の組み付け誤差、レンズのディストーション、レンズのチルト、光軸ずれ等）などによって歪みが発生する。このようなカメラの製造誤差はカメラごとに異なるため、画像の歪み方（画像上の各地点における歪み方向や歪み量）は、その撮像に用いるカメラごとに異なったものとなる。特に測距技術においては、このような画像の歪みはそのまま視差誤差となり、計測誤差に与える影響が大きいため、高精度な画像歪みの補正が要求される。
【０００３】
従来の歪み補正方法の多くは、予め決められた特定の温度環境下で適正に補正できるように歪み補正処理を行うものであった。しかしながら、撮像環境の温度が異なれば、その撮像画像における画像の歪み方が異なってくる。温度変化範囲が大きい環境下（例えば自動車の車内環境）で使用され得るカメラ（車載カメラやモバイル機器搭載カメラなど）では、適正に補正できる特定の温度から大きく外れた温度環境下で撮像されることが想定される。このような温度環境下で撮像された画像は、従来の歪み補正処理を行っても、許容範囲を超える画像の歪みが残ってしまう場合があるので、温度変化に対応した歪み補正処理が必要とされる。
【０００４】
特許文献１には、温度変化に対応した歪み補正処理を行う画像処理方法が開示されている。この画像処理方法は、カメラのレンズ光学系とイメージセンサと画像処理部との内の少なくともいずれかの近傍に温度センサを配置し、イメージセンサからの撮像画像情報について歪み補正値を用いた歪み補正処理を行う際、温度センサの検知温度を歪み補正値に反映させるものである。この画像処理方法では、イメージセンサによって得た撮像画像において、温度による歪み補正値の影響度合いが画像全体で均一ではなく、対応する画素がイメージセンサ中央から離れているほど温度による影響度合いが強く出ることを考慮して、画素ごとの歪み補正値を決定する。具体的には、温度変化量に対応した各画素の歪み補正値をＬＵＴとして記憶しておき、検知した温度変化に応じた各画素の歪み補正値を、ＬＵＴを参照して決定する。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載の画像処理方法のように、温度に応じた各画素の歪み補正値をＬＵＴにより決定する歪み補正方法では、ＬＵＴを保持しておくための記憶容量が比較的大きくなり、その記憶手段のコストが高くなるという問題があった。
【０００６】
本発明は、上記問題に鑑みなされたものであり、その目的とするところは、ＬＵＴを用いて画像の歪みを補正する従来の方法よりも必要な記憶容量を少なく抑えつつ、温度変化に対応した歪み補正処理を行うことができる画像処理装置を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１の発明は、温度検知手段により検知した温度に応じて、撮像手段により撮像して得た撮像画像の歪みを補正する歪み補正処理を行う画像処理装置において、係数を変更すれば所定の温度範囲にわたって撮像画像中における歪み補正処理前の画像位置を理想位置へ変換できる多項式からなる歪み補正式の当該係数を、補正係数として記憶する補正係数記憶手段と、上記補正係数記憶手段に記憶されている補正係数と上記温度検知手段により検知した温度とに基づいて、上記歪み補正式により上記歪み補正処理を行う歪み補正処理手段とを有することを特徴とするものである。
また、請求項２の発明は、請求項１の画像処理装置において、上記補正係数記憶手段は、互いに異なる複数の特定温度ごとに定められた係数を、上記補正係数として記憶しており、上記歪み補正処理手段は、上記補正係数記憶手段に記憶されている複数の補正係数の中から上記温度検知手段により検知した温度に基づいて補正係数を選択し、選択した補正係数を用いて上記歪み補正式により上記歪み補正処理を行うことを特徴とするものである。
また、請求項３の発明は、請求項２の画像処理装置において、上記歪み補正処理手段は、上記補正係数記憶手段に記憶されている複数の補正係数の中から、上記温度検知手段により検知した温度で撮像画像の歪み度合いを示す指標値が最も小さくなる補正係数を選択することを特徴とするものである。
また、請求項４の発明は、請求項３の画像処理装置において、上記所定の温度範囲内で、上記複数の特定温度にそれぞれ対応する複数の補正係数のうち上記指標値が最も小さくなる補正係数が該複数の補正係数のうちの別の補正係数に切り替わる温度を変更閾値として記憶する変更閾値記憶手段を有し、上記歪み補正処理手段は、上記温度検知手段により検知した温度と上記変更閾値記憶手段に記憶された変更閾値とに基づいて、該温度で上記指標値が最も小さくなる補正係数を特定し、特定した補正係数を上記補正係数記憶手段から読み出すことを特徴とするものである。
また、請求項５の発明は、請求項３又は４の画像処理装置において、上記補正係数記憶手段は、上記複数の特定温度ごとに、かつ、上記撮像画像を区分して得られる複数の画像領域ごとに、補正係数を記憶しており、上記歪み補正処理手段は、上記温度検知手段により検知した温度と処理対象の画像領域とに基づいて、該温度で上記指標値が最も小さくなる補正係数であって該画像領域に対応した補正係数を上記歪み補正式記憶手段から読み出し、読み出した補正係数を用いて該画像領域についての上記歪み補正処理を行うことを特徴とするものである。
また、請求項６の発明は、請求項３乃至５のいずれか１項に記載の画像処理装置において、上記指標値として、校正用撮像画像について歪み補正処理を行った後の歪み補正後画像中の校正基準座標の位置と理想位置とのズレ量を用いることを特徴とするものである。
また、請求項７の発明は、請求項６の画像処理装置において、上記校正用撮像画像は、上記撮像手段の向きを変えながら該撮像手段に対して略平行光を照射して得られる撮像手段の出力画像であり、上記校正基準座標の位置は、上記出力画像中の集光点位置であることを特徴とするものである。
また、請求項８の発明は、請求項１の画像処理装置において、上記補正係数記憶手段は、温度の関数である係数を、上記補正係数として記憶しており、上記歪み補正処理手段は、上記温度検知手段により検知した温度を用いて上記補正係数記憶手段に記憶されている補正係数に係る関数を解き、その解を係数として用いて上記歪み補正式により上記歪み補正処理を行うことを特徴とするものである。
また、請求項９の発明は、温度検知手段により検知した温度に応じて、撮像手段により撮像して得た撮像画像の歪みを補正する歪み補正処理を行う画像処理装置において、互いに異なる温度条件下で撮像画像中における歪み補正処理前の画像位置を理想位置へ変換できる歪み補正式を記憶する補正式記憶手段と、上記補正式記憶手段に記憶されている歪み補正式と上記温度検知手段により検知した温度とに基づいて上記歪み補正処理を行う歪み補正処理手段とを有することを特徴とするものである。
また、請求項１０の発明は、請求項１乃至９のいずれか１項に記載の画像処理装置において、複数の撮像手段によりそれぞれ撮像された複数の撮像画像を用いて所定の画像処理を行う画像処理手段を有し、上記補正係数記憶手段は、上記複数の特定温度に対応した補正係数を、上記複数の撮像手段ごとに記憶しており、上記歪み補正処理手段は、上記複数の撮像画像について個別に上記歪み補正処理を行うことを特徴とするものである。
【０００８】
本発明者らは、歪み補正処理前の座標を理想座標へ変換するための歪み補正式を予め求めてこれを記憶しておき、その歪み補正式を用いて画像の歪みを補正する歪み補正方法に着目した。この場合、その歪み補正式を記憶するために必要な記憶容量は、ＬＵＴを記憶するために必要な記憶容量よりも少なく抑えることができる。歪み補正式を用いた従来の歪み補正方法は、その歪み補正式の係数を温度変化に応じて変化させるようなものではなく、温度変化に関係なく係数が固定された歪み補正式を用いるものであった。そこで、本発明者らは、歪み補正式を用いた従来の歪み補正方法を応用して、必要な記憶容量を少なく抑えつつ温度変化に対応した歪み補正処理を実現すべく、本発明をなしたものである。
請求項１に係る発明においては、係数を変更すれば所定の温度範囲にわたって撮像画像中における歪み補正処理前の画像位置を理想位置へ変換できる多項式からなる歪み補正式の当該係数を、当該所定の温度範囲にわたって求め、求めた係数に基づく補正係数を補正係数記憶手段に記憶しておく。例えば、当該所定の温度範囲内における互いに異なる複数の特定温度下で歪み補正式の係数をそれぞれ求め、求めた各特定温度についての係数を補正係数としたり、求めた各特定温度についての係数を温度の関数で表現し、その関数を補正係数としたりする。このような補正係数を記憶するのに必要な記憶容量は、ＬＵＴを用いる場合よりもずっと少なくて済む。そして、撮像画像の歪みを補正する際には、この補正係数を用いて歪み補正処理を行うので、温度が変化しても適切に画像の歪みを補正することが可能となる。
また、請求項９に係る発明においても、互いに異なる温度条件下で撮像画像中における歪み補正処理前の画像位置を理想位置へ変換できる歪み補正式を求めておき、その歪み補正式を補正式記憶手段に記憶しておく。例えば、当該所定の温度範囲内における互いに異なる複数の特定温度下で歪み補正式をそれぞれ求め、求めた各特定温度に対応する歪み補正式を記憶したり、求めた各特定温度の歪み補正式から温度の関数で表現した歪み補正式を算出し、これを記憶したりする。このような歪み補正式を記憶するのに必要な記憶容量も、ＬＵＴを用いる場合よりもずっと少なくて済む。そして、撮像画像の歪みを補正する際には、これらの歪み補正式の中から選択した歪み補正式を用いて歪み補正処理を行うので、温度が変化しても適切に画像の歪みを補正することが可能となる。
【発明の効果】
【０００９】
以上、本発明によれば、ＬＵＴを用いて画像の歪みを補正する従来の方法よりも必要な記憶容量を少なく抑えつつ、温度変化に対応した歪み補正処理を行うことができるという優れた効果が得られる。
【図面の簡単な説明】
【００１０】
【図１】実施形態における画像処理装置の概要を示すブロック図である。
【図２】（ａ）〜（ｃ）は、同じ設計値のもとに作製された３つのカメラにおける画像歪みの様子を示すために、室温時における歪み量及び歪み方向をベクトル（図中矢印）によって示した説明図である。
【図３】同画像処理装置の補正係数記憶部に予め格納しておく補正係数と、同画像処理装置の閾値温度記憶部に予め格納しておく閾値温度を求める事前計測システムを説明するためのブロック図である。
【図４】レーザーキャリブレーション装置の一例を示す説明図である。
【図５】チャート撮影装置の一例を示す説明図である。
【図６】各補正係数Ｐ１，Ｐ２，Ｐ３について各任意温度ｔでのずれ量をプロットして得たグラフである。
【図７】歪み補正式の第１項の係数ｆ１について、横軸に温度をとり縦軸に係数の値をとって複数の温度についてプロットしたときのグラフである。
【発明を実施するための形態】
【００１１】
以下、本発明を、２つの撮像手段を備えたステレオカメラで撮像して得られる２つの撮像画像の歪み補正処理を行う画像処理装置に適用した一実施形態について説明する。
図１は、本実施形態における画像処理装置の概要を示すブロック図である。
本画像処理装置は、第１カメラ１１と第２カメラ１２によって撮像した２つの撮像画像データが入力されると、その２つの撮像画像データそれぞれについて歪み補正処理を行い、歪み補正後における２つの撮像画像データを用いて視差を求めて距離を算出するものである。歪み補正処理は、カメラごとに用意した閾値温度と、各カメラに対応した温度センサで検知した温度とを補正係数選択部２４Ａ，２４Ｂに入力し、これらの情報に基づいて補正係数選択部２４Ａ，２４Ｂがカメラごとに用意された補正係数記憶部２２Ａ，２２Ｂ内の補正係数の中から検知温度に適した補正係数を選択する。そして、選択した補正係数を用いて歪み補正処理部２５が撮像画像の歪みを補正する処理を行う。
【００１２】
補正係数選択部２４Ａ，２４Ｂに格納されている複数の補正係数は、複数の温度にそれぞれ対応する補正パラメータであり、目的に応じて各温度につきｔｅｌｅ領域、ｗｉｄｅ領域に関して別々の補正係数として格納してもよい。例えば、ｔｅｌｅ領域に関しては温度変化に対する歪み補正を高精度に行いたいが、ｗｉｄｅ領域に関してはそこまで精度を求めない場合には、ｔｅｌｅ領域については補正係数を多く格納し、ｗｉｄｅ領域についての補正係数は少なくするなど、目的に応じて調整することができる。
【００１３】
本実施形態においては、このような補正係数として、歪み補正前後の関係を表した歪み補正式の係数を用いている。この歪み補正式は、その係数を変更すれば、所定の温度範囲にわたって撮像画像中における歪み補正処理前の画像位置を理想位置へ変換できる多項式であり、その係数が補正係数として用いられる。
【００１４】
図２（ａ）〜（ｃ）は、同じ設計値のもとに作製された３つのカメラにおける画像歪みの様子を示すために、室温時における歪み量及び歪み方向をベクトル（図中矢印）によって示した説明図である。この説明図では、矢印の始点が理想ピンホール座標であり、終点が実測座標である。
図２（ａ）〜（ｃ）を見ると、同じ温度でも、３つのカメラの間で歪み方がそれぞれ異なることがわかる。これは、同じ設計値で作製されたカメラでも、その製造誤差（部品の組み付け誤差、レンズのディストーション、レンズのチルト、光軸ずれ等）などによって、撮像画像の歪み方が異なってくることを意味する。特に、本実施形態の画像処理装置のように、２つのカメラでそれぞれ撮像した２つの撮像画像の視差を利用して距離を求める画像処理を行う場合、各撮像画像の歪みはそのまま視差誤差となり、計測誤差に与える影響が大きいため、高精度な画像歪みの補正が要求される。
【００１５】
このような画像の歪みは、いずれのカメラについても、入力を理想ピンホール座標、出力を歪み座標とした共通の多項式（例えば５次の多項式）で表すことができる。ただし、カメラごとの歪み方の違いによって、当該共通の多項式の係数が異なってくる。また、これらのカメラについて温度を変化させた場合、その温度変化に応じた歪み方は、更にカメラごとに異なったものとなる。このように温度を変化させた場合も、各温度について共通の多項式で画像の歪みを表すことができる。この場合、当該共通の多項式における係数が温度によって変化する。すなわち、いずれのカメラについても、係数を変更することで、共通の多項式（歪み補正式）を用いた同じ演算処理により、カメラごとの歪み方及び温度に応じた画像歪みの補正を行うことができる。これは、カメラごとに、それぞれ最適化された係数を予め保持しておくことで、この演算処理をソフトウェア処理する場合にはいずれもカメラでも同じ計算プログラムを使用できることを意味し、この演算処理をハードウェア処理する場合にはいずれのカメラでも同じ演算回路を使用できることを意味する。したがって、同じ設計値で作製された３つのカメラについては、同じ計算プログラムあるいは同じ演算回路を使用して画像歪みの補正を実現することができ、カメラごとに異なる計算プログラムあるいは演算回路を用意する必要がない。
【００１６】
４次の多項式からなる歪み補正式は、例えば下記の式（１）及び式（２）のように表現できる。ただし、ここで、ｘとｙは正規化座標であり、δｘは正規化座標（ｘ，ｙ）に位置する画素のｘ方向についての歪み量であり、δｙは正規化座標（ｘ，ｙ）に位置する画素のｙ方向についての歪み量である。また、ｆ１〜ｆｋ及びｇ１〜ｇｋは、歪み補正式の係数であり、座標位置の違い、温度の違い、カメラの違いなどによって、異なった値をとる。
【数１】
【数２】
【００１７】
図３は、図１に示した補正係数記憶部２２Ａ，２２Ｂに予め格納しておく補正係数と、閾値温度記憶部２３Ａ，２３Ｂに予め格納しておく閾値温度を求める事前計測システムを説明するためのブロック図である。
この事前計測システムは、補正係数ｆ１〜ｆｋ，ｇ１〜ｇｋを計測する補正係数計測部３０と、閾値温度を計測する閾値温度計測部４０とから構成されている。本実施形態においては、カメラ１１，１２ごとに補正係数計測部３０で計測し、これにより得た補正係数ｆ１〜ｆｋ，ｇ１〜ｇｋの群（以下、補正係数Ｐｉとする。）を補正係数記憶部２２Ａ，２２Ｂに格納しておくとともに、カメラ１１，１２ごとに閾値温度計測部４０で計測し、これにより得た閾値温度ｔｋｊ閾値温度記憶部２３Ａ，２３Ｂに格納しておく。なお、符号ｉ及び符号ｊは自然数からなる区分記号である。
【００１８】
補正係数計測部３０は、補正係数算出部３１で構成されている。補正係数算出部３１は、ある一定温度ｔｉで撮像された校正基準画像を入力とし、その入力画像中の校正基準点の座標とこれに対応する理想座標との関係から、温度ｔｉにおける補正係数Ｐｉを出力する。この補正係数算出部３１により、ある温度ｔｉとこれに対応する補正係数Ｐｉとのセットが得られるが、何種類のセットを求めるかは、最終的に要求される歪み補正の精度に応じて適宜決定される。
【００１９】
閾値温度計測部４０は、歪み補正処理部４１と、補正後座標検出部４２と、ずれ量算出部４３と、閾値温度算出部４４とから構成されている。この閾値温度計測部４０は、本実施形態における画像処理装置に内蔵されていてもよいし、別の装置としてもよい。以下の説明では、別の装置である場合について説明する。
【００２０】
歪み補正処理部４１は、温度ｔｉのときの補正係数Ｐｉを用いて、任意の温度ｔで撮影された校正基準画像に対し、本実施形態における画像処理装置の歪み補正処理部２５と同じように歪み補正処理を実行する。歪み補正処理部４１は、各補正係数Ｐｉが入力され、それぞれの補正係数Ｐｉを用いて歪み補正処理を実行した後の歪み補正画像を出力する。よって、歪み補正処理部４１からは、補正係数Ｐｉそれぞれに対応した複数の歪み補正画像が出力されることになる。なお、ここでいう任意温度ｔは、所定の温度範囲内から選択された複数の温度のいずれかであり、ｔ≠ｔｉの温度も含まれる。
【００２１】
補正後座標検出部４２は、各補正係数Ｐｉを用いて歪み補正処理した任意温度ｔにおける歪み補正画像を入力とし、その歪み補正画像中の校正基準点の座標（補正後座標）を検出する。補正後座標検出部４２からは、補正係数Ｐｉごとに、任意温度ｔでの歪み補正画像の補正後座標が出力されることになる。
ずれ量算出部４３は、各補正係数Ｐｉについての任意温度ｔにおける歪み補正画像中の補正後座標を入力とし、その補正後座標に対応した校正基準画像中の校正基準点の座標と当該補正後座標とのずれ量を算出する。ずれ量算出部４３からは、補正係数Ｐｉごとに、任意温度ｔでのずれ量が出力されることになる。
閾値温度算出部４４では、補正係数Ｐｉ及びこれに対応する任意温度ｔでのずれ量を入力とし、各補正係数Ｐｉのうち、当該ずれ量が最小である補正係数Ｐｉを任意温度ｔごとに求める。そして、所定の温度範囲内において、ずれ量が最小である補正係数Ｐｉの種類が切り替わる温度を特定し、その温度を閾値温度ｔｋｊとして出力する。
【００２２】
以下、上記事前計測システムにおいて、補正係数Ｐｉ及び閾値温度ｔｋｊを計測する方法について、具体的に説明する。
なお、以下の説明では、所定の温度範囲内に分布した互いに異なる３種類の温度ｔ１，ｔ２，ｔ３に対応する３つの補正係数Ｐ１，Ｐ２，Ｐ３を用いる場合（ｉ＝１，２，３）について説明する。なお、
また、以下の説明では、第１カメラ１１についての処理を例に挙げて説明するが、第２カメラ１２についても同様である。
【００２３】
まず、３種類の温度ｔ１，ｔ２，ｔ３で一定となった各温度環境下において、第１カメラ１１により校正基準画像を撮像する。具体的には、第１カメラ１１を恒温槽に入れ、それぞれの温度ｔ１，ｔ２，ｔ３で一定となった状態で、校正基準画像を撮像する。校正基準画像の撮像方法としては、図４に示すようなレーザーキャリブレーション装置を用いてもよいし、図５に示すようなチャート撮影装置を用いてもよい。レーザーキャリブレーション装置は、チャート撮影装置と比較して装置の規模が小さく、位置調整が必要なく、高精度にずれ量を求めることができる点で好ましいので、本実施形態ではレーザーキャリブレーション装置を用いることとする。図４に示すレーザーキャリブレーション装置は、レーザー光源５１を固定配置し、ステージの上に第１カメラ１１を載せてステージを回転させ、そのときの第１カメラ１１内のセンサ上に結像するスポット位置を求める装置である。このようにして得た各温度ｔ１，ｔ２，ｔ３における校正基準画像の撮像画像に基づき、補正係数計測部３０の補正係数算出部３１は、そのスポット位置（当該撮像画像中における校正基準点）の座標と、理想座標（当該校正基準点が位置すべき本来の座標）との関係から、各温度ｔ１，ｔ２，ｔ３における各補正係数Ｐ１，Ｐ２，Ｐ３を求める。
【００２４】
次に、このようにして求めた各補正係数Ｐ１，Ｐ２，Ｐ３を、閾値温度計測部４０の歪み補正処理部４１での歪み補正処理に用いることができるようにする。本実施形態では、高速処理を実現するためにハードウェア処理で歪み補正処理を実行するので、各補正係数Ｐ１，Ｐ２，Ｐ３を用いた歪み補正式を実現できるように演算回路の動作プログラムを書き換えても良いし、その動作プログラムがＲＯＭから補正係数を読み込で実行するものであれば当該ＲＯＭに各補正係数Ｐ１，Ｐ２，Ｐ３を格納してもよい。
【００２５】
続いて、第１カメラ１１を恒温槽の中に入れ、所定の温度範囲内で温度を変化させ、図５に示したように、前方においたチャート画像６０などの校正基準画像を任意温度ｔごとに撮像し、各任意温度ｔについての撮像画像を得る。ここで得る撮像画像は、補正係数Ｐ１，Ｐ２，Ｐ３間におけるずれ量の大小関係を比較するために用いられるものであり、正確なずれ量を求める必要はないので、チャート画像に対する第１カメラ１１の位置あわせは厳密に行う必要がない。このようにして校正基準画像（チャート画像）を撮像して得た撮像画像は、閾値温度計測部４０の歪み補正処理部４１に入力される。歪み補正処理部４１では、入力された各任意温度ｔでの撮像画像に対し、各補正係数Ｐ１，Ｐ２，Ｐ３を用いて歪み補正処理を実行する。これにより、各補正係数Ｐ１，Ｐ２，Ｐ３それぞれについて、各任意温度ｔでの歪み補正画像が得られる。
【００２６】
このようにして得た各歪み補正画像について、補正後座標検出部４２によりその歪み補正画像中の校正基準点（チャート画像中の格子点）の座標（補正後座標）を検出し、その補正後座標とこれに対応した校正基準画像中の校正基準点の座標（理想座標）とのずれ量を算出する。なお、本実施形態では、例えば補正係数Ｐ１を用いて歪み補正処理を行った場合、温度ｔ１のときの補正後座標を基準座標（ｘ０、ｙ０）とし、その基準座標と各任意温度ｔにおける補正後座標とのずれ量を用いる。他の補正係数Ｐ２，Ｐ３についても同様である。以下の説明におけるずれ量は、実際の歪み量（各任意温度ｔにおける補正後座標と理想座標とのずれ量）ではない。すなわち、本実施形態のように、例えば、補正係数Ｐ１だったら温度ｔ１のときの校正基準点の座標を基準座標とし、補正係数Ｐ２だったら温度ｔ２のときの校正基準点の座標を基準座標として、それぞれずれ量を求める場合、温度ｔ１のときも温度ｔ２のときも画像歪みは完全にゼロになるまで補正できてはいないので、温度ｔ１のときのずれ量と温度ｔ２のときのずれ量との間にはばらつきが生じる。しかしながら、この値は上述した歪み補正式を用いれば計算で求めることができるので、精度として必要であれば求めてもよい。実際の歪み量は、当該ずれ量に対して基準座標（ｘ０、ｙ０）の理想座標に対するずれ量を加算したものとなる。
【００２７】
ここで求めるずれ量は、その目的に応じて、例えば座標間の距離でもよいし、ｘ方向又はｙ方向のいずれかのずれ量でもよい。例えば単眼カメラの歪みを補正したいという目的の場合には、座標間の距離をずれ量として用いるのが好ましい。一方、複眼カメラで３次元情報を得ることが目的の場合には、測距精度に関係する視差方向に関する誤差となりうるのはｘ方向で、カメラ間での画像マッチングのときに問題となるのがｙ方向である。このような場合には、例えば、より高い精度が求められる目標測距に関連するｘ方向のみのずれ量を用いるようにしてもよい。
また、ずれ量は、各格子点（校正基準点）におけるずれ量の画像全体の積算値でもよいし、平均値でもよいし、最小値あるいは最大値でもよい。積算値や平均値を用いる場合、例えばｔｅｌｅ領域のみに注目しているのであれば、ｔｅｌｅ領域のずれ量よりもｗｉｄｅ領域のずれ量の重みを軽くしてするなどしてもよい。
また、ずれ量の許容範囲を決めておき、その許容範囲を超えていないかを確認しても良い。
【００２８】
ここで、仮に、例えば単一の補正係数Ｐ１を用いた歪み補正処理によって、所定の温度範囲にわたる全任意温度ｔでのずれ量を許容範囲内に収めることができているのであれば、歪み補正処理で用いる歪み補正式の係数を当該補正係数Ｐ１に固定してもよい。しかしながら、実際には、単一の補正係数Ｐ１では、所定の温度範囲の全域にわたって、ずれ量を許容範囲内に収めることはできない場合がある。また、仮に、例えば単一の補正係数Ｐ１を用いた歪み補正処理によって所定の温度範囲にわたる全任意温度ｔでのずれ量を許容範囲内に収めることができる場合でも、温度によっては別の補正係数を用いた方がずれ量を小さくできる場合がある。
【００２９】
図６は、各補正係数Ｐ１，Ｐ２，Ｐ３について、各任意温度ｔでのずれ量をプロットして得たグラフである。
このグラフに示すとおり、各補正係数Ｐ１，Ｐ２，Ｐ３を歪み補正処理に使用したとき、所定の温度範囲にわたるずれ量の変化は、補正係数Ｐ１，Ｐ２，Ｐ３ごとに異なるものとなる。具体的には、所定の温度範囲について温度が低い方から各補正係数Ｐ１，Ｐ２，Ｐ３のずれ量を見ると、温度ｔｋ１に至るまでは補正係数Ｐ１を使用したときのずれ量が一番小さくなる。これは、温度ｔｋ１までは、補正係数Ｐ１，Ｐ２，Ｐ３のうち補正係数Ｐ１を使用することで、画像歪みを最も小さく補正できることを意味する。一方、図６のグラフに示すように、温度ｔｋ１を越えると、補正係数Ｐ１よりも補正係数Ｐ２を用いた方がずれ量を小さくできることがわかる。本実施形態では、このようにずれ量を最小にできる補正係数が切り替わる温度ｔｋ１を閾値温度算出部４４により算出し、これを閾値温度ｔｋ１として第１閾値温度記憶部２３Ａに格納する。
【００３０】
また、図６のグラフに示すように、温度ｔｋ１を越えた後、温度ｔｋ２に至るまでは、補正係数Ｐ１，Ｐ２，Ｐ３のうち補正係数Ｐ２を使用することで画像歪みを最も小さく補正できるが、温度ｔｋ２を越えると、補正係数Ｐ２よりも補正係数Ｐ３を用いた方がずれ量を小さくできる。本実施形態では、この温度ｔｋ２も閾値温度ｔｋ２として第１閾値温度記憶部２３Ａに格納する。
【００３１】
以上のようにして求めた第１カメラ１１についての補正係数Ｐ１，Ｐ２，Ｐ３は、第１補正係数記憶部２２Ａに格納され、第１カメラ１１についての閾値温度ｔｋ１，ｔｋ２は、第１閾値温度記憶部２３Ａに格納される。また、第２カメラ１１についても、同様にして補正係数Ｐ１，Ｐ２，Ｐ３及び閾値温度ｔｋ１，ｔｋ２を求め、これらをそれぞれ第２補正係数記憶部２２Ｂ及び第２閾値温度記憶部２３Ｂに格納される。
【００３２】
本実施形態においては、このようにして求めた補正係数Ｐ１，Ｐ２，Ｐ３及び閾値温度ｔｋ１，ｔｋ２を利用して、２つのカメラ１１，１２で撮像した２つの撮像画像の歪み補正処理を行い、その補正後画像から視差を求めて距離を算出することになる。以下、図１を用いて具体的に説明する。
【００３３】
第１カメラ１１と第２カメラ１２によって撮像した２つの撮像画像データが歪み補正処理部２５に入力されると、歪み補正処理部２５は、第１補正係数選択部２４Ａ及び第２補正係数選択部２４Ｂに、それぞれ、各カメラ１１，１２の撮像画像についての歪み補正処理に用いる補正係数を要求する。
【００３４】
この要求を受けた第１補正係数選択部２４Ａは、まず、第１温度センサ２１Ａから、第１カメラ１１の内部又はその周囲の温度を取得する。そして、第１閾値温度記憶部２３Ａに格納されている２つの閾値温度ｔｋ１，ｔｋ２と、第１温度センサ２１Ａから取得した検知温度とを比較する。この比較の結果、検知温度が閾値温度ｔｋ１以下であれば、第１補正係数記憶部２２Ａから補正係数Ｐ１（３つの補正係数Ｐ１，Ｐ２，Ｐ３のうち、閾値温度ｔｋ１以下の温度範囲で最も高精度に歪み補正できる補正係数）を読み出し、この補正係数Ｐ１を歪み補正処理部２５に渡す。また、検知温度が閾値温度ｔｋ１よりも大きくかつ閾値温度ｔｋ２以下であれば、第１補正係数記憶部２２Ａから補正係数Ｐ２を読み出し、この補正係数Ｐ２を歪み補正処理部２５に渡す。また、検知温度が閾値温度ｔｋ２よりも大きい場合には、第１補正係数記憶部２２Ａから補正係数Ｐ３を読み出し、この補正係数Ｐ３を歪み補正処理部２５に渡す。
【００３５】
同様に、この要求を受けた第２補正係数選択部２４Ｂは、第２温度センサ２１Ｂから、第２カメラ１２の内部又はその周囲の温度を取得する。そして、第２閾値温度記憶部２３Ｂに格納されている２つの閾値温度ｔｋ１，ｔｋ２と、第２温度センサ２１Ｂから取得した検知温度とを比較する。この比較の結果、検知温度が閾値温度ｔｋ１以下であれば、第２補正係数記憶部２２Ｂから補正係数Ｐ１（３つの補正係数Ｐ１，Ｐ２，Ｐ３のうち、閾値温度ｔｋ１以下の温度範囲で最も高精度に歪み補正できる補正係数）を読み出し、この補正係数Ｐ１を歪み補正処理部２５に渡す。また、検知温度が閾値温度ｔｋ１よりも大きくかつ閾値温度ｔｋ２以下であれば、第２補正係数記憶部２２Ｂから補正係数Ｐ２を読み出し、この補正係数Ｐ２を歪み補正処理部２５に渡す。また、検知温度が閾値温度ｔｋ２よりも大きい場合には、第２補正係数記憶部２２Ｂから補正係数Ｐ３を読み出し、この補正係数Ｐ３を歪み補正処理部２５に渡す。
【００３６】
なお、第１補正係数記憶部２２Ａに格納されている３つの補正係数Ｐ１，Ｐ２，Ｐ３と、第２補正係数記憶部２２Ｂに格納されている３つの補正係数Ｐ１，Ｐ２，Ｐ３とは、通常、互いに異なっている。また、第１閾値温度記憶部２３Ａに格納されている２つの閾値温度ｔｋ１，ｔｋ２と、第２閾値温度記憶部２３Ｂに格納されている２つの閾値温度ｔｋ１，ｔｋ２とは、通常、互いに異なる温度となる。ここでは、歪み補正処理部２５に、第１補正係数選択部２４Ａから補正係数Ｐ１が受け渡され、第２補正係数選択部２４Ｂから補正係数Ｐ２が受け渡されたものとする。
【００３７】
各補正係数選択部２４Ａ，２４Ｂからそれぞれ補正係数を受け取った歪み補正処理部２５は、まず、第１カメラ１１からの撮像画像データについて、第１補正係数選択部２４Ａから受け取った補正係数Ｐ１を用いた歪み補正式に沿って歪み補正処理を行い、その補正後画像を視差画像生成部２６へ出力する。また、第２カメラ１２からの撮像画像データについては、第２補正係数選択部２４Ｂから受け取った補正係数Ｐ２を用いた歪み補正式に沿って歪み補正処理を行い、その補正後画像を視差画像生成部２６へ出力する。視差画像生成部２６は、入力された２つの補正後画像から、公知の方法により視差情報を算出し、その算出結果を距離算出部２７へ出力する。距離算出部２７では、入力された視差情報より公知の方法を用いて距離を算出する。
【００３８】
以上、本実施形態の画像処理装置は、温度検知手段としての第１温度センサ２１Ａ及び第２温度センサ２１Ｂにより検知した温度に応じて、撮像手段である第１カメラ１１及び第２カメラ１２により撮像して得た撮像画像の歪みを補正する歪み補正処理を行う画像処理装置である。この画像処理装置は、係数を変更すれば所定の温度範囲にわたって撮像画像中における歪み補正処理前の画像位置を理想位置へ変換するための多項式からなる歪み補正式の当該係数を、互いに異なる複数の特定温度ｔ１，ｔ２，ｔ３ごとに、補正係数Ｐ１，Ｐ２，Ｐ３として記憶する補正係数記憶手段としての第１補正係数記憶部２２Ａ及び第２補正係数記憶部２２Ｂと、温度センサ２１Ａ，２１Ｂにより検知した温度に基づいて選択される補正係数Ｐ１，Ｐ２，Ｐ３を第１補正係数記憶部２２Ａ及び第２補正係数記憶部２２Ｂから読み出し、読み出した補正係数Ｐ１，Ｐ２，Ｐ３を用いて上記歪み補正式により歪み補正処理を行う歪み補正処理手段としての歪み補正処理部２５とを有している。このような構成により、その補正係数Ｐ１，Ｐ２，Ｐ３を記憶するのに必要な記憶容量は、ＬＵＴを用いて歪み補正処理を行う場合よりも、ずっと少なくて済む。しかも、温度が変化しても適切に画像の歪みを補正することが可能である。
特に、本実施形態では、温度センサ２１Ａ，２１Ｂにより検知した温度で撮像画像の歪み度合いを示す指標値であるずれ量が最も小さくなるような補正係数Ｐ１，Ｐ２，Ｐ３を選択して歪み補正処理を行うので、温度が変化しても適切に画像の歪みを安定して補正することができる。
また、本実施形態においては、所定の温度範囲内で、複数の特定温度ｔ１，ｔ２，ｔ３にそれぞれ対応する複数の補正係数Ｐ１，Ｐ２，Ｐ３のうちずれ量が最も小さくなる補正係数が当該複数の補正係数Ｐ１，Ｐ２，Ｐ３のうちの別の補正係数に切り替わる温度を変更閾値である閾値温度ｔｋ１，ｔｋ２として記憶する変更閾値記憶手段としての第１閾値温度記憶部２３Ａ及び第２閾値温度記憶部２３Ｂを設け、歪み補正処理部２５は、温度センサ２１Ａ，２１Ｂにより検知した温度と、第１閾値温度記憶部２３Ａ及び第２閾値温度記憶部２３Ｂに記憶された閾値温度ｔｋ１，ｔｋ２とに基づいて、その検知温度でずれ量が最も小さくなる補正係数Ｐ１，Ｐ２，Ｐ３を特定し、特定した補正係数Ｐ１，Ｐ２，Ｐ３を第１補正係数記憶部２２Ａ及び第２補正係数記憶部２２Ｂから読み出すように構成されている。これにより、より簡素で、より少ない記憶容量で、温度変化に対応した適切な画像歪み補正を実現することができる。
なお、本実施形態において、第１補正係数記憶部２２Ａ及び第２補正係数記憶部２２Ｂに、複数の特定温度ｔ１，ｔ２，ｔ３ごとに、かつ、撮像画像を区分して得られる複数の画像領域ごとに、補正係数を記憶しておき、歪み補正処理部２５が、温度センサ２１Ａ，２１Ｂにより検知した温度と処理対象の画像領域とに基づいて、その検知温度でずれ量が最も小さくなる補正係数であって当該画像領域に対応した補正係数を第１補正係数記憶部２２Ａ及び第２補正係数記憶部２２Ｂから読み出し、読み出した補正係数を用いて当該画像領域についての歪み補正処理を行うように構成してもよい。同じ撮像画像でも、その画像領域によって最適な補正係数が異なってくる（例えば画像中心付近の画像領域と画像端部付近の画像領域との間では最適な補正係数が異なってくる）。このように構成すれば、最適な補正係数が異なる画像領域について、全画像領域について同じ補正係数を用いる場合よりも、より適切な歪み補正を行うことができるので、画像全体として、より高精度な歪み補正処理を実現することができる。
また、本実施形態においては、撮像画像の歪み度合いを示す指標値として、校正用撮像画像である校正基準座標について歪み補正処理を行った後の歪み補正後画像中の校正基準点の座標位置と理想位置（具体的には、理想位置に代えて、この理想位置に換算できる基準座標（ｘ０、ｙ０））とのズレ量を用いる。このような指標値を用いることで、より適切な補正係数を選択して歪み補正処理を実行することができる。
特に、本実施形態では、レーザーキャリブレーション装置を用いて、カメラ１１，１２の向きを変えながらカメラ１１，１２に対して略平行光を照射して得られるカメラ１１，１２の出力画像を上記校正用撮像画像として用い、校正基準点の座標位置を、その出力画像中の集光点位置としている。これにより、より正確な撮像画像の歪み度合いを求めることができる。
また、本実施形態の画像処理装置は、複数のカメラ１１，１２によりそれぞれ撮像された複数の撮像画像を用いて視差情報を利用した距離測定を行うための画像処理を実行する画像処理手段としての視差画像生成部２６及び距離算出部２７を有し、第１補正係数記憶部２２Ａ及び第２補正係数記憶部２２Ｂには、複数の特定温度ｔ１，ｔ２，ｔ３に対応した補正係数Ｐ１，Ｐ２，Ｐ３がカメラ１１，１２ごとに記憶されていて、歪み補正処理部２５では、各カメラ１１，１２で撮像して得た２つの撮像画像について個別に歪み補正処理を行う。このように、複数のカメラ１１，１２でそれぞれ撮像した複数の撮像画像の視差を利用して距離を求める画像処理を行う場合、各撮像画像の歪みはそのまま視差誤差となり、計測誤差に与える影響が大きいため、特に高精度な画像歪みの補正が要求される。ここで、画像の歪み方は、上述したとおり、同じ設計値で作成されたものであってもカメラ１１，１２ごとに異なってくる。本実施形態のように、カメラ１１，１２ごとに最適化された補正係数を用いて各カメラ１１，１２について個別に歪み補正処理を行うことで、これらのカメラ１１，１２について同じ補正係数を用いる場合よりも、各カメラ１１，１２の撮像画像の歪みを高精度に補正することができる。よって、より正確な距離計測が可能となる。
【００３９】
なお、本実施形態では、複数の特定温度ｔ１，ｔ２，ｔ３について、それぞれ、補正係数ｆ１〜ｆｋ，ｇ１〜ｇｋを求める必要がある。これらの補正係数を求めるには、一般に、上記式（１）及び（２）における正規化座標（ｘ，ｙ）及び歪み量δｘ，δｙの値を既知データとし、画像全体で同じ歪み補正式となるように補正係数の最適化が行われる。本実施形態では、複数の特定温度ｔ１，ｔ２，ｔ３ごとに定めた係数ｆ１〜ｆｋ，ｇ１〜ｇｋの群を、補正係数Ｐ１，Ｐ２，Ｐ３として記憶しておき、これらの補正係数Ｐ１，Ｐ２，Ｐ３の中から検知温度に適した補正係数を選択し、選択した補正係数を上記式（１）及び（２）に示す歪み補正式に代入して歪み補正処理を行う。本発明は、この方法に限らず、例えば、下記のような方法であってもよい。
すなわち、歪み補正式は、その係数を温度の関数（ｆ1（ｔ），ｆ2（ｔ），・・・，ｆk（ｔ）、ｇ1（ｔ），ｇ2（ｔ），・・・，ｇk（ｔ））で表現することが可能であり、この場合の歪み補正式は、例えば下記の式（３）及び式（４）のように表現できる。
【数３】
【数４】
【００４０】
具体的に説明すると、例えば、歪み補正式の係数を最適化によって求めた後、複数の温度ごとの係数の値を、係数ごとに求める。例えば、歪み補正式の第１項の係数ｆ１について、横軸に温度をとり、縦軸に係数の値をとって、複数の温度についてプロットしたときのグラフは、図７に示すようなものとなる。この場合、温度tと係数ｆ１との関係式を最適化などによって求めれば、歪み補正式の第１項についての係数を温度の関数ｆ１（ｔ）で表現することができる。このように歪み補正式の係数を温度の関数とし、これを補正係数として記憶するようにすれば、複数の特定温度ｔ１，ｔ２，ｔ３ごとに補正係数ｆ１〜ｆｋ，ｇ１〜ｇｋの群である補正係数Ｐ１，Ｐ２，Ｐ３を記憶する場合よりも、その記憶容量を小さくすることが可能であるとともに、より高精度な歪み補正が可能となる。
【００４１】
なお、本実施形態では、歪み補正式の係数（補正係数）を記憶しておく例について説明したが、互いに異なる温度条件下で撮像画像中における歪み補正処理前の画像位置を理想位置へ変換できる複数種類の歪み補正式を補正式記憶手段に記憶しておくようにしてもよい。この場合でも、必要な記憶容量を、ＬＵＴを用いる場合よりもずっと少なくすることができる。
【符号の説明】
【００４２】
１１，１２ カメラ
２１Ａ，２１Ｂ 温度センサ
２２Ａ，２２Ｂ 補正係数記憶部
２３Ａ，２３Ｂ 閾値温度記憶部
２４Ａ，２４Ｂ 補正係数選択部
２５ 補正処理部
２６ 視差画像生成部
２７ 距離算出部
３０ 補正係数計測部
３１ 補正係数算出部
４０ 閾値温度計測部
４１ 補正処理部
４２ 補正後座標検出部
４３ ずれ量算出部
４４ 閾値温度算出部
【先行技術文献】
【特許文献】
【００４３】
【特許文献１】特開２０１０−２６９９４号公報
【技術分野】
【０００１】
本発明は、温度検知手段により検知した検知結果に応じて、撮像手段により撮像して得た撮像画像の歪みを補正する歪み補正処理を行う画像処理装置に関するものである。
【背景技術】
【０００２】
従来、複数のカメラで撮像された物体の結像位置の差（視差）により距離情報を得る測距技術（例えばステレオカメラなど）が、ロボットや車両のブレーキ制御などに広く用いられている。このような測距技術において高精度の距離情報を得るためには、視差をサブピクセル精度で求める必要がある。このような測距技術に限らず、カメラで撮影された画像は、一般に、カメラの製造誤差（部品の組み付け誤差、レンズのディストーション、レンズのチルト、光軸ずれ等）などによって歪みが発生する。このようなカメラの製造誤差はカメラごとに異なるため、画像の歪み方（画像上の各地点における歪み方向や歪み量）は、その撮像に用いるカメラごとに異なったものとなる。特に測距技術においては、このような画像の歪みはそのまま視差誤差となり、計測誤差に与える影響が大きいため、高精度な画像歪みの補正が要求される。
【０００３】
従来の歪み補正方法の多くは、予め決められた特定の温度環境下で適正に補正できるように歪み補正処理を行うものであった。しかしながら、撮像環境の温度が異なれば、その撮像画像における画像の歪み方が異なってくる。温度変化範囲が大きい環境下（例えば自動車の車内環境）で使用され得るカメラ（車載カメラやモバイル機器搭載カメラなど）では、適正に補正できる特定の温度から大きく外れた温度環境下で撮像されることが想定される。このような温度環境下で撮像された画像は、従来の歪み補正処理を行っても、許容範囲を超える画像の歪みが残ってしまう場合があるので、温度変化に対応した歪み補正処理が必要とされる。
【０００４】
特許文献１には、温度変化に対応した歪み補正処理を行う画像処理方法が開示されている。この画像処理方法は、カメラのレンズ光学系とイメージセンサと画像処理部との内の少なくともいずれかの近傍に温度センサを配置し、イメージセンサからの撮像画像情報について歪み補正値を用いた歪み補正処理を行う際、温度センサの検知温度を歪み補正値に反映させるものである。この画像処理方法では、イメージセンサによって得た撮像画像において、温度による歪み補正値の影響度合いが画像全体で均一ではなく、対応する画素がイメージセンサ中央から離れているほど温度による影響度合いが強く出ることを考慮して、画素ごとの歪み補正値を決定する。具体的には、温度変化量に対応した各画素の歪み補正値をＬＵＴとして記憶しておき、検知した温度変化に応じた各画素の歪み補正値を、ＬＵＴを参照して決定する。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載の画像処理方法のように、温度に応じた各画素の歪み補正値をＬＵＴにより決定する歪み補正方法では、ＬＵＴを保持しておくための記憶容量が比較的大きくなり、その記憶手段のコストが高くなるという問題があった。
【０００６】
本発明は、上記問題に鑑みなされたものであり、その目的とするところは、ＬＵＴを用いて画像の歪みを補正する従来の方法よりも必要な記憶容量を少なく抑えつつ、温度変化に対応した歪み補正処理を行うことができる画像処理装置を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１の発明は、温度検知手段により検知した温度に応じて、撮像手段により撮像して得た撮像画像の歪みを補正する歪み補正処理を行う画像処理装置において、係数を変更すれば所定の温度範囲にわたって撮像画像中における歪み補正処理前の画像位置を理想位置へ変換できる多項式からなる歪み補正式の当該係数を、補正係数として記憶する補正係数記憶手段と、上記補正係数記憶手段に記憶されている補正係数と上記温度検知手段により検知した温度とに基づいて、上記歪み補正式により上記歪み補正処理を行う歪み補正処理手段とを有することを特徴とするものである。
また、請求項２の発明は、請求項１の画像処理装置において、上記補正係数記憶手段は、互いに異なる複数の特定温度ごとに定められた係数を、上記補正係数として記憶しており、上記歪み補正処理手段は、上記補正係数記憶手段に記憶されている複数の補正係数の中から上記温度検知手段により検知した温度に基づいて補正係数を選択し、選択した補正係数を用いて上記歪み補正式により上記歪み補正処理を行うことを特徴とするものである。
また、請求項３の発明は、請求項２の画像処理装置において、上記歪み補正処理手段は、上記補正係数記憶手段に記憶されている複数の補正係数の中から、上記温度検知手段により検知した温度で撮像画像の歪み度合いを示す指標値が最も小さくなる補正係数を選択することを特徴とするものである。
また、請求項４の発明は、請求項３の画像処理装置において、上記所定の温度範囲内で、上記複数の特定温度にそれぞれ対応する複数の補正係数のうち上記指標値が最も小さくなる補正係数が該複数の補正係数のうちの別の補正係数に切り替わる温度を変更閾値として記憶する変更閾値記憶手段を有し、上記歪み補正処理手段は、上記温度検知手段により検知した温度と上記変更閾値記憶手段に記憶された変更閾値とに基づいて、該温度で上記指標値が最も小さくなる補正係数を特定し、特定した補正係数を上記補正係数記憶手段から読み出すことを特徴とするものである。
また、請求項５の発明は、請求項３又は４の画像処理装置において、上記補正係数記憶手段は、上記複数の特定温度ごとに、かつ、上記撮像画像を区分して得られる複数の画像領域ごとに、補正係数を記憶しており、上記歪み補正処理手段は、上記温度検知手段により検知した温度と処理対象の画像領域とに基づいて、該温度で上記指標値が最も小さくなる補正係数であって該画像領域に対応した補正係数を上記歪み補正式記憶手段から読み出し、読み出した補正係数を用いて該画像領域についての上記歪み補正処理を行うことを特徴とするものである。
また、請求項６の発明は、請求項３乃至５のいずれか１項に記載の画像処理装置において、上記指標値として、校正用撮像画像について歪み補正処理を行った後の歪み補正後画像中の校正基準座標の位置と理想位置とのズレ量を用いることを特徴とするものである。
また、請求項７の発明は、請求項６の画像処理装置において、上記校正用撮像画像は、上記撮像手段の向きを変えながら該撮像手段に対して略平行光を照射して得られる撮像手段の出力画像であり、上記校正基準座標の位置は、上記出力画像中の集光点位置であることを特徴とするものである。
また、請求項８の発明は、請求項１の画像処理装置において、上記補正係数記憶手段は、温度の関数である係数を、上記補正係数として記憶しており、上記歪み補正処理手段は、上記温度検知手段により検知した温度を用いて上記補正係数記憶手段に記憶されている補正係数に係る関数を解き、その解を係数として用いて上記歪み補正式により上記歪み補正処理を行うことを特徴とするものである。
また、請求項９の発明は、温度検知手段により検知した温度に応じて、撮像手段により撮像して得た撮像画像の歪みを補正する歪み補正処理を行う画像処理装置において、互いに異なる温度条件下で撮像画像中における歪み補正処理前の画像位置を理想位置へ変換できる歪み補正式を記憶する補正式記憶手段と、上記補正式記憶手段に記憶されている歪み補正式と上記温度検知手段により検知した温度とに基づいて上記歪み補正処理を行う歪み補正処理手段とを有することを特徴とするものである。
また、請求項１０の発明は、請求項１乃至９のいずれか１項に記載の画像処理装置において、複数の撮像手段によりそれぞれ撮像された複数の撮像画像を用いて所定の画像処理を行う画像処理手段を有し、上記補正係数記憶手段は、上記複数の特定温度に対応した補正係数を、上記複数の撮像手段ごとに記憶しており、上記歪み補正処理手段は、上記複数の撮像画像について個別に上記歪み補正処理を行うことを特徴とするものである。
【０００８】
本発明者らは、歪み補正処理前の座標を理想座標へ変換するための歪み補正式を予め求めてこれを記憶しておき、その歪み補正式を用いて画像の歪みを補正する歪み補正方法に着目した。この場合、その歪み補正式を記憶するために必要な記憶容量は、ＬＵＴを記憶するために必要な記憶容量よりも少なく抑えることができる。歪み補正式を用いた従来の歪み補正方法は、その歪み補正式の係数を温度変化に応じて変化させるようなものではなく、温度変化に関係なく係数が固定された歪み補正式を用いるものであった。そこで、本発明者らは、歪み補正式を用いた従来の歪み補正方法を応用して、必要な記憶容量を少なく抑えつつ温度変化に対応した歪み補正処理を実現すべく、本発明をなしたものである。
請求項１に係る発明においては、係数を変更すれば所定の温度範囲にわたって撮像画像中における歪み補正処理前の画像位置を理想位置へ変換できる多項式からなる歪み補正式の当該係数を、当該所定の温度範囲にわたって求め、求めた係数に基づく補正係数を補正係数記憶手段に記憶しておく。例えば、当該所定の温度範囲内における互いに異なる複数の特定温度下で歪み補正式の係数をそれぞれ求め、求めた各特定温度についての係数を補正係数としたり、求めた各特定温度についての係数を温度の関数で表現し、その関数を補正係数としたりする。このような補正係数を記憶するのに必要な記憶容量は、ＬＵＴを用いる場合よりもずっと少なくて済む。そして、撮像画像の歪みを補正する際には、この補正係数を用いて歪み補正処理を行うので、温度が変化しても適切に画像の歪みを補正することが可能となる。
また、請求項９に係る発明においても、互いに異なる温度条件下で撮像画像中における歪み補正処理前の画像位置を理想位置へ変換できる歪み補正式を求めておき、その歪み補正式を補正式記憶手段に記憶しておく。例えば、当該所定の温度範囲内における互いに異なる複数の特定温度下で歪み補正式をそれぞれ求め、求めた各特定温度に対応する歪み補正式を記憶したり、求めた各特定温度の歪み補正式から温度の関数で表現した歪み補正式を算出し、これを記憶したりする。このような歪み補正式を記憶するのに必要な記憶容量も、ＬＵＴを用いる場合よりもずっと少なくて済む。そして、撮像画像の歪みを補正する際には、これらの歪み補正式の中から選択した歪み補正式を用いて歪み補正処理を行うので、温度が変化しても適切に画像の歪みを補正することが可能となる。
【発明の効果】
【０００９】
以上、本発明によれば、ＬＵＴを用いて画像の歪みを補正する従来の方法よりも必要な記憶容量を少なく抑えつつ、温度変化に対応した歪み補正処理を行うことができるという優れた効果が得られる。
【図面の簡単な説明】
【００１０】
【図１】実施形態における画像処理装置の概要を示すブロック図である。
【図２】（ａ）〜（ｃ）は、同じ設計値のもとに作製された３つのカメラにおける画像歪みの様子を示すために、室温時における歪み量及び歪み方向をベクトル（図中矢印）によって示した説明図である。
【図３】同画像処理装置の補正係数記憶部に予め格納しておく補正係数と、同画像処理装置の閾値温度記憶部に予め格納しておく閾値温度を求める事前計測システムを説明するためのブロック図である。
【図４】レーザーキャリブレーション装置の一例を示す説明図である。
【図５】チャート撮影装置の一例を示す説明図である。
【図６】各補正係数Ｐ１，Ｐ２，Ｐ３について各任意温度ｔでのずれ量をプロットして得たグラフである。
【図７】歪み補正式の第１項の係数ｆ１について、横軸に温度をとり縦軸に係数の値をとって複数の温度についてプロットしたときのグラフである。
【発明を実施するための形態】
【００１１】
以下、本発明を、２つの撮像手段を備えたステレオカメラで撮像して得られる２つの撮像画像の歪み補正処理を行う画像処理装置に適用した一実施形態について説明する。
図１は、本実施形態における画像処理装置の概要を示すブロック図である。
本画像処理装置は、第１カメラ１１と第２カメラ１２によって撮像した２つの撮像画像データが入力されると、その２つの撮像画像データそれぞれについて歪み補正処理を行い、歪み補正後における２つの撮像画像データを用いて視差を求めて距離を算出するものである。歪み補正処理は、カメラごとに用意した閾値温度と、各カメラに対応した温度センサで検知した温度とを補正係数選択部２４Ａ，２４Ｂに入力し、これらの情報に基づいて補正係数選択部２４Ａ，２４Ｂがカメラごとに用意された補正係数記憶部２２Ａ，２２Ｂ内の補正係数の中から検知温度に適した補正係数を選択する。そして、選択した補正係数を用いて歪み補正処理部２５が撮像画像の歪みを補正する処理を行う。
【００１２】
補正係数選択部２４Ａ，２４Ｂに格納されている複数の補正係数は、複数の温度にそれぞれ対応する補正パラメータであり、目的に応じて各温度につきｔｅｌｅ領域、ｗｉｄｅ領域に関して別々の補正係数として格納してもよい。例えば、ｔｅｌｅ領域に関しては温度変化に対する歪み補正を高精度に行いたいが、ｗｉｄｅ領域に関してはそこまで精度を求めない場合には、ｔｅｌｅ領域については補正係数を多く格納し、ｗｉｄｅ領域についての補正係数は少なくするなど、目的に応じて調整することができる。
【００１３】
本実施形態においては、このような補正係数として、歪み補正前後の関係を表した歪み補正式の係数を用いている。この歪み補正式は、その係数を変更すれば、所定の温度範囲にわたって撮像画像中における歪み補正処理前の画像位置を理想位置へ変換できる多項式であり、その係数が補正係数として用いられる。
【００１４】
図２（ａ）〜（ｃ）は、同じ設計値のもとに作製された３つのカメラにおける画像歪みの様子を示すために、室温時における歪み量及び歪み方向をベクトル（図中矢印）によって示した説明図である。この説明図では、矢印の始点が理想ピンホール座標であり、終点が実測座標である。
図２（ａ）〜（ｃ）を見ると、同じ温度でも、３つのカメラの間で歪み方がそれぞれ異なることがわかる。これは、同じ設計値で作製されたカメラでも、その製造誤差（部品の組み付け誤差、レンズのディストーション、レンズのチルト、光軸ずれ等）などによって、撮像画像の歪み方が異なってくることを意味する。特に、本実施形態の画像処理装置のように、２つのカメラでそれぞれ撮像した２つの撮像画像の視差を利用して距離を求める画像処理を行う場合、各撮像画像の歪みはそのまま視差誤差となり、計測誤差に与える影響が大きいため、高精度な画像歪みの補正が要求される。
【００１５】
このような画像の歪みは、いずれのカメラについても、入力を理想ピンホール座標、出力を歪み座標とした共通の多項式（例えば５次の多項式）で表すことができる。ただし、カメラごとの歪み方の違いによって、当該共通の多項式の係数が異なってくる。また、これらのカメラについて温度を変化させた場合、その温度変化に応じた歪み方は、更にカメラごとに異なったものとなる。このように温度を変化させた場合も、各温度について共通の多項式で画像の歪みを表すことができる。この場合、当該共通の多項式における係数が温度によって変化する。すなわち、いずれのカメラについても、係数を変更することで、共通の多項式（歪み補正式）を用いた同じ演算処理により、カメラごとの歪み方及び温度に応じた画像歪みの補正を行うことができる。これは、カメラごとに、それぞれ最適化された係数を予め保持しておくことで、この演算処理をソフトウェア処理する場合にはいずれもカメラでも同じ計算プログラムを使用できることを意味し、この演算処理をハードウェア処理する場合にはいずれのカメラでも同じ演算回路を使用できることを意味する。したがって、同じ設計値で作製された３つのカメラについては、同じ計算プログラムあるいは同じ演算回路を使用して画像歪みの補正を実現することができ、カメラごとに異なる計算プログラムあるいは演算回路を用意する必要がない。
【００１６】
４次の多項式からなる歪み補正式は、例えば下記の式（１）及び式（２）のように表現できる。ただし、ここで、ｘとｙは正規化座標であり、δｘは正規化座標（ｘ，ｙ）に位置する画素のｘ方向についての歪み量であり、δｙは正規化座標（ｘ，ｙ）に位置する画素のｙ方向についての歪み量である。また、ｆ１〜ｆｋ及びｇ１〜ｇｋは、歪み補正式の係数であり、座標位置の違い、温度の違い、カメラの違いなどによって、異なった値をとる。
【数１】
【数２】
【００１７】
図３は、図１に示した補正係数記憶部２２Ａ，２２Ｂに予め格納しておく補正係数と、閾値温度記憶部２３Ａ，２３Ｂに予め格納しておく閾値温度を求める事前計測システムを説明するためのブロック図である。
この事前計測システムは、補正係数ｆ１〜ｆｋ，ｇ１〜ｇｋを計測する補正係数計測部３０と、閾値温度を計測する閾値温度計測部４０とから構成されている。本実施形態においては、カメラ１１，１２ごとに補正係数計測部３０で計測し、これにより得た補正係数ｆ１〜ｆｋ，ｇ１〜ｇｋの群（以下、補正係数Ｐｉとする。）を補正係数記憶部２２Ａ，２２Ｂに格納しておくとともに、カメラ１１，１２ごとに閾値温度計測部４０で計測し、これにより得た閾値温度ｔｋｊ閾値温度記憶部２３Ａ，２３Ｂに格納しておく。なお、符号ｉ及び符号ｊは自然数からなる区分記号である。
【００１８】
補正係数計測部３０は、補正係数算出部３１で構成されている。補正係数算出部３１は、ある一定温度ｔｉで撮像された校正基準画像を入力とし、その入力画像中の校正基準点の座標とこれに対応する理想座標との関係から、温度ｔｉにおける補正係数Ｐｉを出力する。この補正係数算出部３１により、ある温度ｔｉとこれに対応する補正係数Ｐｉとのセットが得られるが、何種類のセットを求めるかは、最終的に要求される歪み補正の精度に応じて適宜決定される。
【００１９】
閾値温度計測部４０は、歪み補正処理部４１と、補正後座標検出部４２と、ずれ量算出部４３と、閾値温度算出部４４とから構成されている。この閾値温度計測部４０は、本実施形態における画像処理装置に内蔵されていてもよいし、別の装置としてもよい。以下の説明では、別の装置である場合について説明する。
【００２０】
歪み補正処理部４１は、温度ｔｉのときの補正係数Ｐｉを用いて、任意の温度ｔで撮影された校正基準画像に対し、本実施形態における画像処理装置の歪み補正処理部２５と同じように歪み補正処理を実行する。歪み補正処理部４１は、各補正係数Ｐｉが入力され、それぞれの補正係数Ｐｉを用いて歪み補正処理を実行した後の歪み補正画像を出力する。よって、歪み補正処理部４１からは、補正係数Ｐｉそれぞれに対応した複数の歪み補正画像が出力されることになる。なお、ここでいう任意温度ｔは、所定の温度範囲内から選択された複数の温度のいずれかであり、ｔ≠ｔｉの温度も含まれる。
【００２１】
補正後座標検出部４２は、各補正係数Ｐｉを用いて歪み補正処理した任意温度ｔにおける歪み補正画像を入力とし、その歪み補正画像中の校正基準点の座標（補正後座標）を検出する。補正後座標検出部４２からは、補正係数Ｐｉごとに、任意温度ｔでの歪み補正画像の補正後座標が出力されることになる。
ずれ量算出部４３は、各補正係数Ｐｉについての任意温度ｔにおける歪み補正画像中の補正後座標を入力とし、その補正後座標に対応した校正基準画像中の校正基準点の座標と当該補正後座標とのずれ量を算出する。ずれ量算出部４３からは、補正係数Ｐｉごとに、任意温度ｔでのずれ量が出力されることになる。
閾値温度算出部４４では、補正係数Ｐｉ及びこれに対応する任意温度ｔでのずれ量を入力とし、各補正係数Ｐｉのうち、当該ずれ量が最小である補正係数Ｐｉを任意温度ｔごとに求める。そして、所定の温度範囲内において、ずれ量が最小である補正係数Ｐｉの種類が切り替わる温度を特定し、その温度を閾値温度ｔｋｊとして出力する。
【００２２】
以下、上記事前計測システムにおいて、補正係数Ｐｉ及び閾値温度ｔｋｊを計測する方法について、具体的に説明する。
なお、以下の説明では、所定の温度範囲内に分布した互いに異なる３種類の温度ｔ１，ｔ２，ｔ３に対応する３つの補正係数Ｐ１，Ｐ２，Ｐ３を用いる場合（ｉ＝１，２，３）について説明する。なお、
また、以下の説明では、第１カメラ１１についての処理を例に挙げて説明するが、第２カメラ１２についても同様である。
【００２３】
まず、３種類の温度ｔ１，ｔ２，ｔ３で一定となった各温度環境下において、第１カメラ１１により校正基準画像を撮像する。具体的には、第１カメラ１１を恒温槽に入れ、それぞれの温度ｔ１，ｔ２，ｔ３で一定となった状態で、校正基準画像を撮像する。校正基準画像の撮像方法としては、図４に示すようなレーザーキャリブレーション装置を用いてもよいし、図５に示すようなチャート撮影装置を用いてもよい。レーザーキャリブレーション装置は、チャート撮影装置と比較して装置の規模が小さく、位置調整が必要なく、高精度にずれ量を求めることができる点で好ましいので、本実施形態ではレーザーキャリブレーション装置を用いることとする。図４に示すレーザーキャリブレーション装置は、レーザー光源５１を固定配置し、ステージの上に第１カメラ１１を載せてステージを回転させ、そのときの第１カメラ１１内のセンサ上に結像するスポット位置を求める装置である。このようにして得た各温度ｔ１，ｔ２，ｔ３における校正基準画像の撮像画像に基づき、補正係数計測部３０の補正係数算出部３１は、そのスポット位置（当該撮像画像中における校正基準点）の座標と、理想座標（当該校正基準点が位置すべき本来の座標）との関係から、各温度ｔ１，ｔ２，ｔ３における各補正係数Ｐ１，Ｐ２，Ｐ３を求める。
【００２４】
次に、このようにして求めた各補正係数Ｐ１，Ｐ２，Ｐ３を、閾値温度計測部４０の歪み補正処理部４１での歪み補正処理に用いることができるようにする。本実施形態では、高速処理を実現するためにハードウェア処理で歪み補正処理を実行するので、各補正係数Ｐ１，Ｐ２，Ｐ３を用いた歪み補正式を実現できるように演算回路の動作プログラムを書き換えても良いし、その動作プログラムがＲＯＭから補正係数を読み込で実行するものであれば当該ＲＯＭに各補正係数Ｐ１，Ｐ２，Ｐ３を格納してもよい。
【００２５】
続いて、第１カメラ１１を恒温槽の中に入れ、所定の温度範囲内で温度を変化させ、図５に示したように、前方においたチャート画像６０などの校正基準画像を任意温度ｔごとに撮像し、各任意温度ｔについての撮像画像を得る。ここで得る撮像画像は、補正係数Ｐ１，Ｐ２，Ｐ３間におけるずれ量の大小関係を比較するために用いられるものであり、正確なずれ量を求める必要はないので、チャート画像に対する第１カメラ１１の位置あわせは厳密に行う必要がない。このようにして校正基準画像（チャート画像）を撮像して得た撮像画像は、閾値温度計測部４０の歪み補正処理部４１に入力される。歪み補正処理部４１では、入力された各任意温度ｔでの撮像画像に対し、各補正係数Ｐ１，Ｐ２，Ｐ３を用いて歪み補正処理を実行する。これにより、各補正係数Ｐ１，Ｐ２，Ｐ３それぞれについて、各任意温度ｔでの歪み補正画像が得られる。
【００２６】
このようにして得た各歪み補正画像について、補正後座標検出部４２によりその歪み補正画像中の校正基準点（チャート画像中の格子点）の座標（補正後座標）を検出し、その補正後座標とこれに対応した校正基準画像中の校正基準点の座標（理想座標）とのずれ量を算出する。なお、本実施形態では、例えば補正係数Ｐ１を用いて歪み補正処理を行った場合、温度ｔ１のときの補正後座標を基準座標（ｘ０、ｙ０）とし、その基準座標と各任意温度ｔにおける補正後座標とのずれ量を用いる。他の補正係数Ｐ２，Ｐ３についても同様である。以下の説明におけるずれ量は、実際の歪み量（各任意温度ｔにおける補正後座標と理想座標とのずれ量）ではない。すなわち、本実施形態のように、例えば、補正係数Ｐ１だったら温度ｔ１のときの校正基準点の座標を基準座標とし、補正係数Ｐ２だったら温度ｔ２のときの校正基準点の座標を基準座標として、それぞれずれ量を求める場合、温度ｔ１のときも温度ｔ２のときも画像歪みは完全にゼロになるまで補正できてはいないので、温度ｔ１のときのずれ量と温度ｔ２のときのずれ量との間にはばらつきが生じる。しかしながら、この値は上述した歪み補正式を用いれば計算で求めることができるので、精度として必要であれば求めてもよい。実際の歪み量は、当該ずれ量に対して基準座標（ｘ０、ｙ０）の理想座標に対するずれ量を加算したものとなる。
【００２７】
ここで求めるずれ量は、その目的に応じて、例えば座標間の距離でもよいし、ｘ方向又はｙ方向のいずれかのずれ量でもよい。例えば単眼カメラの歪みを補正したいという目的の場合には、座標間の距離をずれ量として用いるのが好ましい。一方、複眼カメラで３次元情報を得ることが目的の場合には、測距精度に関係する視差方向に関する誤差となりうるのはｘ方向で、カメラ間での画像マッチングのときに問題となるのがｙ方向である。このような場合には、例えば、より高い精度が求められる目標測距に関連するｘ方向のみのずれ量を用いるようにしてもよい。
また、ずれ量は、各格子点（校正基準点）におけるずれ量の画像全体の積算値でもよいし、平均値でもよいし、最小値あるいは最大値でもよい。積算値や平均値を用いる場合、例えばｔｅｌｅ領域のみに注目しているのであれば、ｔｅｌｅ領域のずれ量よりもｗｉｄｅ領域のずれ量の重みを軽くしてするなどしてもよい。
また、ずれ量の許容範囲を決めておき、その許容範囲を超えていないかを確認しても良い。
【００２８】
ここで、仮に、例えば単一の補正係数Ｐ１を用いた歪み補正処理によって、所定の温度範囲にわたる全任意温度ｔでのずれ量を許容範囲内に収めることができているのであれば、歪み補正処理で用いる歪み補正式の係数を当該補正係数Ｐ１に固定してもよい。しかしながら、実際には、単一の補正係数Ｐ１では、所定の温度範囲の全域にわたって、ずれ量を許容範囲内に収めることはできない場合がある。また、仮に、例えば単一の補正係数Ｐ１を用いた歪み補正処理によって所定の温度範囲にわたる全任意温度ｔでのずれ量を許容範囲内に収めることができる場合でも、温度によっては別の補正係数を用いた方がずれ量を小さくできる場合がある。
【００２９】
図６は、各補正係数Ｐ１，Ｐ２，Ｐ３について、各任意温度ｔでのずれ量をプロットして得たグラフである。
このグラフに示すとおり、各補正係数Ｐ１，Ｐ２，Ｐ３を歪み補正処理に使用したとき、所定の温度範囲にわたるずれ量の変化は、補正係数Ｐ１，Ｐ２，Ｐ３ごとに異なるものとなる。具体的には、所定の温度範囲について温度が低い方から各補正係数Ｐ１，Ｐ２，Ｐ３のずれ量を見ると、温度ｔｋ１に至るまでは補正係数Ｐ１を使用したときのずれ量が一番小さくなる。これは、温度ｔｋ１までは、補正係数Ｐ１，Ｐ２，Ｐ３のうち補正係数Ｐ１を使用することで、画像歪みを最も小さく補正できることを意味する。一方、図６のグラフに示すように、温度ｔｋ１を越えると、補正係数Ｐ１よりも補正係数Ｐ２を用いた方がずれ量を小さくできることがわかる。本実施形態では、このようにずれ量を最小にできる補正係数が切り替わる温度ｔｋ１を閾値温度算出部４４により算出し、これを閾値温度ｔｋ１として第１閾値温度記憶部２３Ａに格納する。
【００３０】
また、図６のグラフに示すように、温度ｔｋ１を越えた後、温度ｔｋ２に至るまでは、補正係数Ｐ１，Ｐ２，Ｐ３のうち補正係数Ｐ２を使用することで画像歪みを最も小さく補正できるが、温度ｔｋ２を越えると、補正係数Ｐ２よりも補正係数Ｐ３を用いた方がずれ量を小さくできる。本実施形態では、この温度ｔｋ２も閾値温度ｔｋ２として第１閾値温度記憶部２３Ａに格納する。
【００３１】
以上のようにして求めた第１カメラ１１についての補正係数Ｐ１，Ｐ２，Ｐ３は、第１補正係数記憶部２２Ａに格納され、第１カメラ１１についての閾値温度ｔｋ１，ｔｋ２は、第１閾値温度記憶部２３Ａに格納される。また、第２カメラ１１についても、同様にして補正係数Ｐ１，Ｐ２，Ｐ３及び閾値温度ｔｋ１，ｔｋ２を求め、これらをそれぞれ第２補正係数記憶部２２Ｂ及び第２閾値温度記憶部２３Ｂに格納される。
【００３２】
本実施形態においては、このようにして求めた補正係数Ｐ１，Ｐ２，Ｐ３及び閾値温度ｔｋ１，ｔｋ２を利用して、２つのカメラ１１，１２で撮像した２つの撮像画像の歪み補正処理を行い、その補正後画像から視差を求めて距離を算出することになる。以下、図１を用いて具体的に説明する。
【００３３】
第１カメラ１１と第２カメラ１２によって撮像した２つの撮像画像データが歪み補正処理部２５に入力されると、歪み補正処理部２５は、第１補正係数選択部２４Ａ及び第２補正係数選択部２４Ｂに、それぞれ、各カメラ１１，１２の撮像画像についての歪み補正処理に用いる補正係数を要求する。
【００３４】
この要求を受けた第１補正係数選択部２４Ａは、まず、第１温度センサ２１Ａから、第１カメラ１１の内部又はその周囲の温度を取得する。そして、第１閾値温度記憶部２３Ａに格納されている２つの閾値温度ｔｋ１，ｔｋ２と、第１温度センサ２１Ａから取得した検知温度とを比較する。この比較の結果、検知温度が閾値温度ｔｋ１以下であれば、第１補正係数記憶部２２Ａから補正係数Ｐ１（３つの補正係数Ｐ１，Ｐ２，Ｐ３のうち、閾値温度ｔｋ１以下の温度範囲で最も高精度に歪み補正できる補正係数）を読み出し、この補正係数Ｐ１を歪み補正処理部２５に渡す。また、検知温度が閾値温度ｔｋ１よりも大きくかつ閾値温度ｔｋ２以下であれば、第１補正係数記憶部２２Ａから補正係数Ｐ２を読み出し、この補正係数Ｐ２を歪み補正処理部２５に渡す。また、検知温度が閾値温度ｔｋ２よりも大きい場合には、第１補正係数記憶部２２Ａから補正係数Ｐ３を読み出し、この補正係数Ｐ３を歪み補正処理部２５に渡す。
【００３５】
同様に、この要求を受けた第２補正係数選択部２４Ｂは、第２温度センサ２１Ｂから、第２カメラ１２の内部又はその周囲の温度を取得する。そして、第２閾値温度記憶部２３Ｂに格納されている２つの閾値温度ｔｋ１，ｔｋ２と、第２温度センサ２１Ｂから取得した検知温度とを比較する。この比較の結果、検知温度が閾値温度ｔｋ１以下であれば、第２補正係数記憶部２２Ｂから補正係数Ｐ１（３つの補正係数Ｐ１，Ｐ２，Ｐ３のうち、閾値温度ｔｋ１以下の温度範囲で最も高精度に歪み補正できる補正係数）を読み出し、この補正係数Ｐ１を歪み補正処理部２５に渡す。また、検知温度が閾値温度ｔｋ１よりも大きくかつ閾値温度ｔｋ２以下であれば、第２補正係数記憶部２２Ｂから補正係数Ｐ２を読み出し、この補正係数Ｐ２を歪み補正処理部２５に渡す。また、検知温度が閾値温度ｔｋ２よりも大きい場合には、第２補正係数記憶部２２Ｂから補正係数Ｐ３を読み出し、この補正係数Ｐ３を歪み補正処理部２５に渡す。
【００３６】
なお、第１補正係数記憶部２２Ａに格納されている３つの補正係数Ｐ１，Ｐ２，Ｐ３と、第２補正係数記憶部２２Ｂに格納されている３つの補正係数Ｐ１，Ｐ２，Ｐ３とは、通常、互いに異なっている。また、第１閾値温度記憶部２３Ａに格納されている２つの閾値温度ｔｋ１，ｔｋ２と、第２閾値温度記憶部２３Ｂに格納されている２つの閾値温度ｔｋ１，ｔｋ２とは、通常、互いに異なる温度となる。ここでは、歪み補正処理部２５に、第１補正係数選択部２４Ａから補正係数Ｐ１が受け渡され、第２補正係数選択部２４Ｂから補正係数Ｐ２が受け渡されたものとする。
【００３７】
各補正係数選択部２４Ａ，２４Ｂからそれぞれ補正係数を受け取った歪み補正処理部２５は、まず、第１カメラ１１からの撮像画像データについて、第１補正係数選択部２４Ａから受け取った補正係数Ｐ１を用いた歪み補正式に沿って歪み補正処理を行い、その補正後画像を視差画像生成部２６へ出力する。また、第２カメラ１２からの撮像画像データについては、第２補正係数選択部２４Ｂから受け取った補正係数Ｐ２を用いた歪み補正式に沿って歪み補正処理を行い、その補正後画像を視差画像生成部２６へ出力する。視差画像生成部２６は、入力された２つの補正後画像から、公知の方法により視差情報を算出し、その算出結果を距離算出部２７へ出力する。距離算出部２７では、入力された視差情報より公知の方法を用いて距離を算出する。
【００３８】
以上、本実施形態の画像処理装置は、温度検知手段としての第１温度センサ２１Ａ及び第２温度センサ２１Ｂにより検知した温度に応じて、撮像手段である第１カメラ１１及び第２カメラ１２により撮像して得た撮像画像の歪みを補正する歪み補正処理を行う画像処理装置である。この画像処理装置は、係数を変更すれば所定の温度範囲にわたって撮像画像中における歪み補正処理前の画像位置を理想位置へ変換するための多項式からなる歪み補正式の当該係数を、互いに異なる複数の特定温度ｔ１，ｔ２，ｔ３ごとに、補正係数Ｐ１，Ｐ２，Ｐ３として記憶する補正係数記憶手段としての第１補正係数記憶部２２Ａ及び第２補正係数記憶部２２Ｂと、温度センサ２１Ａ，２１Ｂにより検知した温度に基づいて選択される補正係数Ｐ１，Ｐ２，Ｐ３を第１補正係数記憶部２２Ａ及び第２補正係数記憶部２２Ｂから読み出し、読み出した補正係数Ｐ１，Ｐ２，Ｐ３を用いて上記歪み補正式により歪み補正処理を行う歪み補正処理手段としての歪み補正処理部２５とを有している。このような構成により、その補正係数Ｐ１，Ｐ２，Ｐ３を記憶するのに必要な記憶容量は、ＬＵＴを用いて歪み補正処理を行う場合よりも、ずっと少なくて済む。しかも、温度が変化しても適切に画像の歪みを補正することが可能である。
特に、本実施形態では、温度センサ２１Ａ，２１Ｂにより検知した温度で撮像画像の歪み度合いを示す指標値であるずれ量が最も小さくなるような補正係数Ｐ１，Ｐ２，Ｐ３を選択して歪み補正処理を行うので、温度が変化しても適切に画像の歪みを安定して補正することができる。
また、本実施形態においては、所定の温度範囲内で、複数の特定温度ｔ１，ｔ２，ｔ３にそれぞれ対応する複数の補正係数Ｐ１，Ｐ２，Ｐ３のうちずれ量が最も小さくなる補正係数が当該複数の補正係数Ｐ１，Ｐ２，Ｐ３のうちの別の補正係数に切り替わる温度を変更閾値である閾値温度ｔｋ１，ｔｋ２として記憶する変更閾値記憶手段としての第１閾値温度記憶部２３Ａ及び第２閾値温度記憶部２３Ｂを設け、歪み補正処理部２５は、温度センサ２１Ａ，２１Ｂにより検知した温度と、第１閾値温度記憶部２３Ａ及び第２閾値温度記憶部２３Ｂに記憶された閾値温度ｔｋ１，ｔｋ２とに基づいて、その検知温度でずれ量が最も小さくなる補正係数Ｐ１，Ｐ２，Ｐ３を特定し、特定した補正係数Ｐ１，Ｐ２，Ｐ３を第１補正係数記憶部２２Ａ及び第２補正係数記憶部２２Ｂから読み出すように構成されている。これにより、より簡素で、より少ない記憶容量で、温度変化に対応した適切な画像歪み補正を実現することができる。
なお、本実施形態において、第１補正係数記憶部２２Ａ及び第２補正係数記憶部２２Ｂに、複数の特定温度ｔ１，ｔ２，ｔ３ごとに、かつ、撮像画像を区分して得られる複数の画像領域ごとに、補正係数を記憶しておき、歪み補正処理部２５が、温度センサ２１Ａ，２１Ｂにより検知した温度と処理対象の画像領域とに基づいて、その検知温度でずれ量が最も小さくなる補正係数であって当該画像領域に対応した補正係数を第１補正係数記憶部２２Ａ及び第２補正係数記憶部２２Ｂから読み出し、読み出した補正係数を用いて当該画像領域についての歪み補正処理を行うように構成してもよい。同じ撮像画像でも、その画像領域によって最適な補正係数が異なってくる（例えば画像中心付近の画像領域と画像端部付近の画像領域との間では最適な補正係数が異なってくる）。このように構成すれば、最適な補正係数が異なる画像領域について、全画像領域について同じ補正係数を用いる場合よりも、より適切な歪み補正を行うことができるので、画像全体として、より高精度な歪み補正処理を実現することができる。
また、本実施形態においては、撮像画像の歪み度合いを示す指標値として、校正用撮像画像である校正基準座標について歪み補正処理を行った後の歪み補正後画像中の校正基準点の座標位置と理想位置（具体的には、理想位置に代えて、この理想位置に換算できる基準座標（ｘ０、ｙ０））とのズレ量を用いる。このような指標値を用いることで、より適切な補正係数を選択して歪み補正処理を実行することができる。
特に、本実施形態では、レーザーキャリブレーション装置を用いて、カメラ１１，１２の向きを変えながらカメラ１１，１２に対して略平行光を照射して得られるカメラ１１，１２の出力画像を上記校正用撮像画像として用い、校正基準点の座標位置を、その出力画像中の集光点位置としている。これにより、より正確な撮像画像の歪み度合いを求めることができる。
また、本実施形態の画像処理装置は、複数のカメラ１１，１２によりそれぞれ撮像された複数の撮像画像を用いて視差情報を利用した距離測定を行うための画像処理を実行する画像処理手段としての視差画像生成部２６及び距離算出部２７を有し、第１補正係数記憶部２２Ａ及び第２補正係数記憶部２２Ｂには、複数の特定温度ｔ１，ｔ２，ｔ３に対応した補正係数Ｐ１，Ｐ２，Ｐ３がカメラ１１，１２ごとに記憶されていて、歪み補正処理部２５では、各カメラ１１，１２で撮像して得た２つの撮像画像について個別に歪み補正処理を行う。このように、複数のカメラ１１，１２でそれぞれ撮像した複数の撮像画像の視差を利用して距離を求める画像処理を行う場合、各撮像画像の歪みはそのまま視差誤差となり、計測誤差に与える影響が大きいため、特に高精度な画像歪みの補正が要求される。ここで、画像の歪み方は、上述したとおり、同じ設計値で作成されたものであってもカメラ１１，１２ごとに異なってくる。本実施形態のように、カメラ１１，１２ごとに最適化された補正係数を用いて各カメラ１１，１２について個別に歪み補正処理を行うことで、これらのカメラ１１，１２について同じ補正係数を用いる場合よりも、各カメラ１１，１２の撮像画像の歪みを高精度に補正することができる。よって、より正確な距離計測が可能となる。
【００３９】
なお、本実施形態では、複数の特定温度ｔ１，ｔ２，ｔ３について、それぞれ、補正係数ｆ１〜ｆｋ，ｇ１〜ｇｋを求める必要がある。これらの補正係数を求めるには、一般に、上記式（１）及び（２）における正規化座標（ｘ，ｙ）及び歪み量δｘ，δｙの値を既知データとし、画像全体で同じ歪み補正式となるように補正係数の最適化が行われる。本実施形態では、複数の特定温度ｔ１，ｔ２，ｔ３ごとに定めた係数ｆ１〜ｆｋ，ｇ１〜ｇｋの群を、補正係数Ｐ１，Ｐ２，Ｐ３として記憶しておき、これらの補正係数Ｐ１，Ｐ２，Ｐ３の中から検知温度に適した補正係数を選択し、選択した補正係数を上記式（１）及び（２）に示す歪み補正式に代入して歪み補正処理を行う。本発明は、この方法に限らず、例えば、下記のような方法であってもよい。
すなわち、歪み補正式は、その係数を温度の関数（ｆ1（ｔ），ｆ2（ｔ），・・・，ｆk（ｔ）、ｇ1（ｔ），ｇ2（ｔ），・・・，ｇk（ｔ））で表現することが可能であり、この場合の歪み補正式は、例えば下記の式（３）及び式（４）のように表現できる。
【数３】
【数４】
【００４０】
具体的に説明すると、例えば、歪み補正式の係数を最適化によって求めた後、複数の温度ごとの係数の値を、係数ごとに求める。例えば、歪み補正式の第１項の係数ｆ１について、横軸に温度をとり、縦軸に係数の値をとって、複数の温度についてプロットしたときのグラフは、図７に示すようなものとなる。この場合、温度tと係数ｆ１との関係式を最適化などによって求めれば、歪み補正式の第１項についての係数を温度の関数ｆ１（ｔ）で表現することができる。このように歪み補正式の係数を温度の関数とし、これを補正係数として記憶するようにすれば、複数の特定温度ｔ１，ｔ２，ｔ３ごとに補正係数ｆ１〜ｆｋ，ｇ１〜ｇｋの群である補正係数Ｐ１，Ｐ２，Ｐ３を記憶する場合よりも、その記憶容量を小さくすることが可能であるとともに、より高精度な歪み補正が可能となる。
【００４１】
なお、本実施形態では、歪み補正式の係数（補正係数）を記憶しておく例について説明したが、互いに異なる温度条件下で撮像画像中における歪み補正処理前の画像位置を理想位置へ変換できる複数種類の歪み補正式を補正式記憶手段に記憶しておくようにしてもよい。この場合でも、必要な記憶容量を、ＬＵＴを用いる場合よりもずっと少なくすることができる。
【符号の説明】
【００４２】
１１，１２ カメラ
２１Ａ，２１Ｂ 温度センサ
２２Ａ，２２Ｂ 補正係数記憶部
２３Ａ，２３Ｂ 閾値温度記憶部
２４Ａ，２４Ｂ 補正係数選択部
２５ 補正処理部
２６ 視差画像生成部
２７ 距離算出部
３０ 補正係数計測部
３１ 補正係数算出部
４０ 閾値温度計測部
４１ 補正処理部
４２ 補正後座標検出部
４３ ずれ量算出部
４４ 閾値温度算出部
【先行技術文献】
【特許文献】
【００４３】
【特許文献１】特開２０１０−２６９９４号公報
【特許請求の範囲】
【請求項１】
温度検知手段により検知した温度に応じて、撮像手段により撮像して得た撮像画像の歪みを補正する歪み補正処理を行う画像処理装置において、
係数を変更すれば所定の温度範囲にわたって撮像画像中における歪み補正処理前の画像位置を理想位置へ変換できる多項式からなる歪み補正式の当該係数を、補正係数として記憶する補正係数記憶手段と、
上記補正係数記憶手段に記憶されている補正係数と上記温度検知手段により検知した温度とに基づいて、上記歪み補正式により上記歪み補正処理を行う歪み補正処理手段とを有することを特徴とする画像処理装置。
【請求項２】
請求項１の画像処理装置において、
上記補正係数記憶手段は、互いに異なる複数の特定温度ごとに定められた係数を、上記補正係数として記憶しており、
上記歪み補正処理手段は、上記補正係数記憶手段に記憶されている複数の補正係数の中から上記温度検知手段により検知した温度に基づいて補正係数を選択し、選択した補正係数を用いて上記歪み補正式により上記歪み補正処理を行うことを特徴とする画像処理装置。
【請求項３】
請求項２の画像処理装置において、
上記歪み補正処理手段は、上記補正係数記憶手段に記憶されている複数の補正係数の中から、上記温度検知手段により検知した温度で撮像画像の歪み度合いを示す指標値が最も小さくなる補正係数を選択することを特徴とする画像処理装置。
【請求項４】
請求項３の画像処理装置において、
上記所定の温度範囲内で、上記複数の特定温度にそれぞれ対応する複数の補正係数のうち上記指標値が最も小さくなる補正係数が該複数の補正係数のうちの別の補正係数に切り替わる温度を変更閾値として記憶する変更閾値記憶手段を有し、
上記歪み補正処理手段は、上記温度検知手段により検知した温度と上記変更閾値記憶手段に記憶された変更閾値とに基づいて、該温度で上記指標値が最も小さくなる補正係数を特定し、特定した補正係数を上記補正係数記憶手段から読み出すことを特徴とする画像処理装置。
【請求項５】
請求項３又は４の画像処理装置において、
上記補正係数記憶手段は、上記複数の特定温度ごとに、かつ、上記撮像画像を区分して得られる複数の画像領域ごとに、補正係数を記憶しており、
上記歪み補正処理手段は、上記温度検知手段により検知した温度と処理対象の画像領域とに基づいて、該温度で上記指標値が最も小さくなる補正係数であって該画像領域に対応した補正係数を上記歪み補正式記憶手段から読み出し、読み出した補正係数を用いて該画像領域についての上記歪み補正処理を行うことを特徴とする画像処理装置。
【請求項６】
請求項３乃至５のいずれか１項に記載の画像処理装置において、
上記指標値として、校正用撮像画像について歪み補正処理を行った後の歪み補正後画像中の校正基準座標の位置と理想位置とのズレ量を用いることを特徴とする画像処理装置。
【請求項７】
請求項６の画像処理装置において、
上記校正用撮像画像は、上記撮像手段の向きを変えながら該撮像手段に対して略平行光を照射して得られる撮像手段の出力画像であり、
上記校正基準座標の位置は、上記出力画像中の集光点位置であることを特徴とする画像処理装置。
【請求項８】
請求項１の画像処理装置において、
上記補正係数記憶手段は、温度の関数である係数を、上記補正係数として記憶しており、
上記歪み補正処理手段は、上記温度検知手段により検知した温度を用いて上記補正係数記憶手段に記憶されている補正係数に係る関数を解き、その解を係数として用いて上記歪み補正式により上記歪み補正処理を行うことを特徴とする画像処理装置。
【請求項９】
温度検知手段により検知した温度に応じて、撮像手段により撮像して得た撮像画像の歪みを補正する歪み補正処理を行う画像処理装置において、
互いに異なる温度条件下で撮像画像中における歪み補正処理前の画像位置を理想位置へ変換できる歪み補正式を記憶する補正式記憶手段と、
上記補正式記憶手段に記憶されている歪み補正式と上記温度検知手段により検知した温度とに基づいて上記歪み補正処理を行う歪み補正処理手段とを有することを特徴とする画像処理装置。
【請求項１０】
請求項１乃至９のいずれか１項に記載の画像処理装置において、
複数の撮像手段によりそれぞれ撮像された複数の撮像画像を用いて所定の画像処理を行う画像処理手段を有し、
上記補正係数記憶手段は、上記複数の特定温度に対応した補正係数を、上記複数の撮像手段ごとに記憶しており、
上記歪み補正処理手段は、上記複数の撮像画像について個別に上記歪み補正処理を行うことを特徴とする画像処理装置。
【請求項１】
温度検知手段により検知した温度に応じて、撮像手段により撮像して得た撮像画像の歪みを補正する歪み補正処理を行う画像処理装置において、
係数を変更すれば所定の温度範囲にわたって撮像画像中における歪み補正処理前の画像位置を理想位置へ変換できる多項式からなる歪み補正式の当該係数を、補正係数として記憶する補正係数記憶手段と、
上記補正係数記憶手段に記憶されている補正係数と上記温度検知手段により検知した温度とに基づいて、上記歪み補正式により上記歪み補正処理を行う歪み補正処理手段とを有することを特徴とする画像処理装置。
【請求項２】
請求項１の画像処理装置において、
上記補正係数記憶手段は、互いに異なる複数の特定温度ごとに定められた係数を、上記補正係数として記憶しており、
上記歪み補正処理手段は、上記補正係数記憶手段に記憶されている複数の補正係数の中から上記温度検知手段により検知した温度に基づいて補正係数を選択し、選択した補正係数を用いて上記歪み補正式により上記歪み補正処理を行うことを特徴とする画像処理装置。
【請求項３】
請求項２の画像処理装置において、
上記歪み補正処理手段は、上記補正係数記憶手段に記憶されている複数の補正係数の中から、上記温度検知手段により検知した温度で撮像画像の歪み度合いを示す指標値が最も小さくなる補正係数を選択することを特徴とする画像処理装置。
【請求項４】
請求項３の画像処理装置において、
上記所定の温度範囲内で、上記複数の特定温度にそれぞれ対応する複数の補正係数のうち上記指標値が最も小さくなる補正係数が該複数の補正係数のうちの別の補正係数に切り替わる温度を変更閾値として記憶する変更閾値記憶手段を有し、
上記歪み補正処理手段は、上記温度検知手段により検知した温度と上記変更閾値記憶手段に記憶された変更閾値とに基づいて、該温度で上記指標値が最も小さくなる補正係数を特定し、特定した補正係数を上記補正係数記憶手段から読み出すことを特徴とする画像処理装置。
【請求項５】
請求項３又は４の画像処理装置において、
上記補正係数記憶手段は、上記複数の特定温度ごとに、かつ、上記撮像画像を区分して得られる複数の画像領域ごとに、補正係数を記憶しており、
上記歪み補正処理手段は、上記温度検知手段により検知した温度と処理対象の画像領域とに基づいて、該温度で上記指標値が最も小さくなる補正係数であって該画像領域に対応した補正係数を上記歪み補正式記憶手段から読み出し、読み出した補正係数を用いて該画像領域についての上記歪み補正処理を行うことを特徴とする画像処理装置。
【請求項６】
請求項３乃至５のいずれか１項に記載の画像処理装置において、
上記指標値として、校正用撮像画像について歪み補正処理を行った後の歪み補正後画像中の校正基準座標の位置と理想位置とのズレ量を用いることを特徴とする画像処理装置。
【請求項７】
請求項６の画像処理装置において、
上記校正用撮像画像は、上記撮像手段の向きを変えながら該撮像手段に対して略平行光を照射して得られる撮像手段の出力画像であり、
上記校正基準座標の位置は、上記出力画像中の集光点位置であることを特徴とする画像処理装置。
【請求項８】
請求項１の画像処理装置において、
上記補正係数記憶手段は、温度の関数である係数を、上記補正係数として記憶しており、
上記歪み補正処理手段は、上記温度検知手段により検知した温度を用いて上記補正係数記憶手段に記憶されている補正係数に係る関数を解き、その解を係数として用いて上記歪み補正式により上記歪み補正処理を行うことを特徴とする画像処理装置。
【請求項９】
温度検知手段により検知した温度に応じて、撮像手段により撮像して得た撮像画像の歪みを補正する歪み補正処理を行う画像処理装置において、
互いに異なる温度条件下で撮像画像中における歪み補正処理前の画像位置を理想位置へ変換できる歪み補正式を記憶する補正式記憶手段と、
上記補正式記憶手段に記憶されている歪み補正式と上記温度検知手段により検知した温度とに基づいて上記歪み補正処理を行う歪み補正処理手段とを有することを特徴とする画像処理装置。
【請求項１０】
請求項１乃至９のいずれか１項に記載の画像処理装置において、
複数の撮像手段によりそれぞれ撮像された複数の撮像画像を用いて所定の画像処理を行う画像処理手段を有し、
上記補正係数記憶手段は、上記複数の特定温度に対応した補正係数を、上記複数の撮像手段ごとに記憶しており、
上記歪み補正処理手段は、上記複数の撮像画像について個別に上記歪み補正処理を行うことを特徴とする画像処理装置。
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【公開番号】特開２０１２−１４７２８１（Ｐ２０１２−１４７２８１Ａ）
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願番号】特願２０１１−４４９８（Ｐ２０１１−４４９８）
【出願日】平成２３年１月１３日（２０１１．１．１３）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願日】平成２３年１月１３日（２０１１．１．１３）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]