説明

画像処理装置及び画像処理方法

【課題】画面内でのスポット形状の違いに基づく視差を補正することにより、より高精度な視差検出、すなわち、より高精度な距離検出を可能とする画像処理装置及び画像処理方法を提供する。
【解決手段】画像処理装置は、複数の視点から撮像した複数の画像を入力する入力手段と、前記複数の画像間の視差を算出する視差算出手段を備える画像処理装置であって、前記視差算出手段により算出された視差を、画像内の像位置に応じたスポット形状に基づいて補正する視差補正手段を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ステレオカメラで撮影した画像を処理する画像処理装置及び画像処理方法に関する。
【背景技術】
【0002】
理想的なカメラであれば、点光源を被写体として撮影すれば、撮像面上の点光源像は輝点となるはずだが、現実のカメラでは、結像レンズ系のMTF特性などのため、撮影された点光源像は一定の広がりを持つ。この点光源像の広がりの分布形状を、ここではスポット形状と呼ぶ。スポット形状の例を図10に示す。本図の左側は、縦横軸が画面上の縦横方向位置を表し、輝度分布を等高線で表したものである。また、本図の右側は、左側の図のX軸断面を表したものである。
【0003】
一般に、スポット形状は図10(a)のような釣鐘型の形状をとる。この形状を決定する要素としては、レンズ系設計、入射光の波長およびレンズ組み付け公差による個体差などがあり、また画面上の位置によっても変化する。一般に画面中央付近では、図10(a)のような対称な形をとるが、光軸から離れるに従い、図10(b)のような非対称な形をとる場合が多い。
【0004】
ここで、このようなスポット形状の変化が、ステレオカメラの視差検出に与える影響を考える。例えば、光学歪みやカメラ組み付け誤差は無いもの、あるいは完全に補正されているもの、およびスポット形状の違いだけを考慮すると仮定し、ステレオカメラ70と3つの点光源被写体A、B、Cを図11のように配置して撮影した場合、被写体A、Bはどちらも左カメラ71の正面にあるが、Aは遠方(無限遠)、Bはカメラ近傍にあることがわかる。また被写体Cは、右カメラ72から見てBと同じ方向の遠方にあることがわかる。
【0005】
したがって、図12に示すように、撮影される2枚のステレオ画像では、左カメラ画像81では、A、Bともに画面中央に写り(A1、B1)、Cだけ左側に写ることとなる(C1)。一方、右カメラ画像82では、Aは画面中央に(A2)、BとCは画面左側に写ることとなる(B2、C2)。
【0006】
図13に、2種類のスポット形状の例を示す。ここでは理解を容易にするため、横方向の1次元のみを考え、図12のような三角形型を仮定する。図13(a)は左右対称型91を示し、図13(b)は非対称型92を示す。左カメラ71、右カメラ72とも、画面中央付近では(a)の対称型、画面左端付近では(b)の非対称型のスポットを持つとする。すなわち、図12で示したA1、B1、A2は図13(a)の、図12で示したC1、B2、C2は図13(b)のスポット形状になるものとする。
【0007】
次に、図14に、2種類のスポット形状の自己、および相互相関の計算結果を示す。図14に示すa−aが図13(a)で示した対称型スポットの自己相関、図14に示すb−bが図13(b)で示した非対象型スポットの自己相関、図14に示すa−bが2種類のスポットの相互相関を示す。図14から、a−a、b−bはx=0で相関値が最小になるが、a−bの最小値はx<0にあることがわかる。これは対称型スポットの相関91と非対象型スポットの相関92が最大になるのは、二つのスポットのピーク位置が一致する配置ではなく、図15のように、ピーク位置がわずかに(dだけ)ずれた配置になることを示している。このズレ量dは非対象型スポットの重心位置とも異なっていることがわかる。
【0008】
図12のステレオ画像では、被写体Aは左右の画像とも画面中央に写っているため、スポット形状は両方とも図13(a)で示した対称型であり、視差の計測の過程では、図14で示したa−aの形の相関係数が得られる。カメラ内部外部パラメータは完全に補正されていると仮定しているので、無限遠の被写体Aの視差は0となる。同様に被写体Cは、スポット形状は両方とも図13(b)で示した非対称型であり、図14で示したb−bの形の移動相関から、視差0と求められる。
【0009】
ところが被写体Bの場合は、左カメラ画像81ではスポット形状は図13(a)で示した対称型となり、右カメラ画像82では図13(b)で示した非対称型となるため、相関値を最小とする対応点位置は、二つのスポットのピーク位置の差から、図15で示したdの分だけずれた値が得られてしまう。
【0010】
なお、図14では相関関数を示したが、図16(a)に、ステレオ視差演算でよく利用されるSAD(差分絶対値和)により演算された値を、図16(b)に、SSD(差分二乗和)により演算された値を示す。図13(a)で示した対称型スポットと図13(b)で示した非対称スポット間の差分最小値は、図14と同様に0からずれた位置となっており、これらの評価値を利用した場合でも、計算される視差値は相関を利用した場合と同様の誤差を含むことがわかる。
【0011】
そこで、上記のような対応点位置の座標の差として算出した視差をテーブル参照により補正する技術が特許文献1に開示されている。特許文献1に係る発明は、カメラの歪曲特性や、カメラ取り付け位置のばらつきを補正することを目的とし、画像位置を、歪曲や組み付け誤差の無い理想的な座標値に修正する手段を設けたものである。
【発明の概要】
【発明が解決しようとする課題】
【0012】
しかし、特許文献1に示されるような技術を利用して、例え歪曲特性やカメラ取り付け位置ずれなどを、スポットピーク位置やスポット重心位置を基準とした理想像位置に完全に補正したとしても、スポット形状の違いにより、視差演算の結果に誤差が生じてしまう。
【0013】
そこで、本発明はこのような画面内でのスポット形状の違いに基づく視差を補正することにより、より高精度な視差検出、すなわちより高精度な距離検出を可能とする画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0014】
上記課題を解決するため、本発明の画像処理装置は、複数の視点から撮像した複数の画像を入力する入力手段と、前記複数の画像間の視差を算出する視差算出手段を備える画像処理装置であって、前記視差算出手段により算出された視差を、画像内の像位置に応じたスポット形状に基づいて補正する視差補正手段を備えることを特徴とする。
【発明の効果】
【0015】
本発明によれば、スポット形状の違いを考慮して視差を補正するので、高精度な視差演算を実現することができる。
【図面の簡単な説明】
【0016】
【図1】本発明の第1実施形態の画像処理装置を示すブロック図である。
【図2】本発明の第1実施形態に関し、スポット形状テーブルのための画像の領域分割を示す図である。
【図3】本発明の第1実施形態に関し、スポット形状計測装置の構成を示す概略図である。
【図4】本発明の第1実施形態に関し、レーザスポット撮影画像から積算した1次元輝度分布データを示す図である。
【図5】本発明の第1実施形態に関し、1/N画素単位での輝度分布データを示す図である。
【図6】本発明の第1実施形態に関し、相関バイアステーブルの例を示す図である。
【図7】本発明の実施形態に関し、画像処理を説明するフロー図である。
【図8】本発明の第2実施形態の画像処理装置を示すブロック図である。
【図9】本発明の第2実施形態に関し、標準スポット基準のバイアス値同士の差分による近似を示す図である。
【図10】一般的なスポット形状として、(a)対称型スポット形状、(b)非対称型スポット形状を示す図である。
【図11】ステレオカメラと被写体の配置関係を示す図である。
【図12】図10において、左右カメラが撮影する被写体のステレオ画像を示す図である。
【図13】1次元のみで捉えた、(a)対称型スポット形状、(b)非対称型スポット形状を示す図である。
【図14】図13に示した(a)対称型スポット形状、(b)非対称型スポット形状の自己/相互相関の計算結果を示す図である。
【図15】図13に示した(a)対称型スポット形状、(b)非対称型スポット形状の相互相関が最大となる配置を示す図である。
【図16】上記2種類(対称/非対称)のスポット形状の、(a)SAD(差分絶対値和)、(b)SSD(差分二乗和)により演算された値を示す図である。
【発明を実施するための形態】
【0017】
[第1実施形態]
本発明の第1実施形態の画像処理装置1について、図1〜図6を用いて説明する。図1は、本実施形態の画像処理装置1を示す概略ブロック図である。一般的な平行等位の2台1組からなるステレオカメラで撮影した二つの画像が、図の左側から図示しない入力手段を介して画像処理装置1へ入力される(入力される画像を、それぞれ基準画像、比較画像とする)。なお、ここでは各カメラでの撮影画像が持つ歪曲特性やカメラ2台の相対位置のずれ等は各カメラ内で補正されており、入力されるステレオ画像は水平なエピポーラ線を持つものとする。
【0018】
まず、図1について、視差算出手段としての対応点探索部11、視差補正手段としての相関バイアステーブル12及び視差補正部13について、以下順に説明する。なお、相関バイアステーブル12は、視差補正手段がさらに備える視差バイアス値決定手段として機能するものである。
【0019】
対応点探索部11は、一般的なステレオカメラと同様に左右のカメラ画像の対応点を探索する。つまり、基準画像を領域分割し、(1)ラスタスキャン順に基準画像中の1領域を基準領域として選択する。(2)比較画像において、(1)で選択した基準領域と同じ位置からエピポーラ線上に一画素ずつ比較領域を移動しながら、基準領域と各比較領域の画素値の正規化相関を計算する。(3)相関係数が最も大きくなる比較領域の位置を対応点位置とする。
【0020】
対応点探索部11による上記処理においては、基準領域の中心の位置座標(基準点位置)、対応する比較領域の中心の位置座標(対応点位置)及び視差(二つのx軸座標の差)の3つの情報を基準領域ごとに出力するものである。なお、ここでは対応点位置として画素単位の座標値を求めるが、最大相関位置の近傍位置の相関値から補間演算により画素単位以下の精度で対応点位置を求めることもできる。また、相関係数の最大値の代わりに、差分絶対値和(SAD)や差分二乗和(SSD)の最小値を利用してもよい。
【0021】
相関バイアステーブル12は、予め計測した、画像面上の各位置でのスポット形状に応じた相関ピーク位置のずれ量を記録したテーブルである。その内容と設定方法は後述する。相関バイアステーブル12は、基準点、および対応点の位置座標を入力し、その組み合わせでのずれ量(視差バイアス)を出力する。
【0022】
視差補正部13は、対応点探索部11の出力する視差に、相関バイアステーブル12の出力する視差バイアスを加算し、スポット形状の違いによる視差の誤差を補正する。
【0023】
以下に、本実施形態について、スポット形状の計測からバイアス値の決定に至るまでの処理を説明する。相関バイアステーブル12は、画像面内の位置情報から、その位置でのスポット形状に応じた視差補正値(バイアス値)を取得するために利用する。画像面を図2のように(ここでは横5×縦3に)領域分割し、領域ごとの代表スポット形状を計測し対応するバイアス値を記録しておく。
【0024】
スポット形状の計測について、図3を用いて以下説明する。図3は、領域分割された画像面の各位置のスポット形状を計測するスポット形状計測装置20の構成を示す概略図である。垂直軸及び水平軸の2軸回りのカメラ回転台22にスポット形状計測カメラ21を設置し、図の左方から図示しない発光装置により平行なレーザー光を入射する。このように設置し回転台の角度を調整することで、画像面上の任意の位置にレーザー光のスポットを形成することができる。
【0025】
各領域の中央、例えば図2の領域:0のスポット形状を計測する場合には、図中A点にレーザスポットが写るように回転台22の角度を調整し画像を撮影する。ここでは、x軸方向の視差を問題にしているので、得られた画像をy軸方向に積算し1次元のスポット形状を表す輝度分布データを作成する。図4に、レーザスポット撮影画像から1次元輝度分布データを計算した結果を示す。
【0026】
図4の上段に、レーザスポット画像の一部であるレーザスポット画像31から得られた1次元輝度分布データを示す。また、図4の中段に、この1次元輝度分布データを縦方向に積算した結果を縦方向積算結果32として示す。さらに、図4の下段には、縦方向積算結果32をグラフ33として示す。
【0027】
なお、図5に示すように1/N画素相当カメラを利用し水平回転軸廻りに回転させるごとに、N枚の画像を撮影してデータを並べ替えれば1/N画素単位でのスポット形状データを計測ことができる。なお、図5においては、1枚目の画像41に対し、2枚目の画像42は、1/2画素をずらして撮影したことによる1/2画素単位の輝度分布データを算出した結果をグラフ43で表している。その他、多数の測定値の平均や、レンズ設計データによるスポット形状モデルフィッティングなど、一般的なデータ処理方法により計測データの精度を向上させることができる。
【0028】
次に、バイアス値の決定について図6を用いて以下説明する。各領域で計測されたスポット形状同士の相互相関関数を計算し、二つの領域の組合せに対して補正量を記録しておく。図6は、その補正量を記録した相関バイアステーブル12の例を示したものである。ここでは、縦軸が基準画像の領域番号、横軸が比較画像の領域番号を表し、各欄の数字が左右画像のスポット形状の相互相関のピーク位置のずれ量(画素単位)を示す。したがって、通常のステレオ対応点探索の結果得られる視差量に、この相関バイアステーブル12の例から読み取ったバイアス値を加算することによりスポット形状の変化による視差量の誤差を補正することができる。
【0029】
上述した、本実施形態の画像処理の流れについて図7を用いて説明する。まず、ステレオカメラで撮影された基準画像及び比較画像を入力する(ステップS1)。基準画像及び比較画像は上述したようにスポット形状として計測されたものを使用する。次に、基準画像と比較画像の視差を算出する(ステップS2)。つまり、この視差は上述した対応点探索部11により出力される。さらに、左右画像のスポット形状の相互相関のピーク位置のずれ量であるバイアス値を相関バイアステーブル12に記録する(ステップS3)。そして、ステップS2で得た視差量に、相関バイアステーブル12から読み取ったバイアス値を加算する(ステップS4)。
【0030】
なお、レンズ組み付け公差等によるカメラ個体差も含めて補正するために、カメラ個体ごとにスポット形状、視差バイアス値を計測し記録しておくものとする。ただしスポット形状分布はレンズ設計にのみに依存して、同じモデルのカメラ個体はすべて同じ特性を持つものとみなし、各個体の計測工程を省略して、1つの相関バイアステーブルを、同じモデルのすべてのカメラで利用することもできる。
【0031】
[第2実施形態]
本発明の第2実施形態について、図8及び9を用いて説明する。図8は、第2実施形態の画像処理装置50を示す概略ブロック図である。なお、第1実施形態と同様の構成については、その説明を省略する。第1実施形態と異なる点としては、第2実施形態の対応点探索部51は入力画像1及び入力画像2の内容に応じ、基準点位置・対応点位置・視差のセットを出力するものである。
【0032】
また、本実施形態のバイアステーブルは予め特徴点位置に応じた視差補正量を画面領域ごとに記録しておく。ここでは、第1実施形態の相関バイアステーブル12とは異なり、二つの領域の組合せではなく一つの領域情報に対してひとつのバイアス値を対応づける1次元テーブルを二つ使う(第1バイアステーブル52、第2バイアステーブル53)。入力する対応点座標を含む領域に対応づけられた視差バイアス1、視差バイアス2をそれぞれ出力する。また、視差補正部54は対応点探索部51の出力する視差に視差バイアス1及び視差バイアス2を加算し補正する。
【0033】
第2実施形態のバイアステーブルの設定について、図9を用いて説明する。まず、標準的なスポット形状として、例えばレンズ設計値からシミュレートされる理想的な画面中央の対称型スポット(標準スポット形状61)を用意する。その上で、第1実施形態と同様に、実際のカメラの各画像領域でのスポット形状を計測し、計測されたスポット形状(Xタイプ62、Yタイプ63)と標準スポット形状61との間の相関バイアス量を、その画像領域のバイアス値としてバイアステーブルに記録する。ただし、入力画像2用の第2バイアステーブル53では、符号を反転して記録しておく。これにより、第2実施形態の視差補正部54では、各スポット形状に対応したバイアス量の差分が視差に加算されることになる。
【0034】
第2実施形態の第1バイアステーブル52及び第2バイアステーブル53では、標準スポット形状61と各スポット形状(Xタイプ62、Yタイプ63)のバイアス値だけが利用され、形状の異なる非対称型スポット同士(Xタイプ62とYタイプ63同士)の相関バイアス量は直接は計算されていない。ただし、図9に示す通り、一般にスポット形状の偏りが大きくなるほど(Yタイプの方がXタイプより)バイアス値も大きくなる傾向がある(V0>V1)ため、非対称型スポット同士の相関バイアス量は、標準スポットとのバイアス値(視差バイアス65と視差バイアス64)同士の差分V0-1(視差バイアス66)として近似できる。
【0035】
そのため第2実施形態では、第1実施形態のような2次元の相関バイアステーブルを利用しなくても、同じスポット形状同士の視差は補正量が0であり、スポット形状に違いが大きいほど補正量が大きくなるという、第1実施形態の補正に類似した効果が期待できる。なお、第2実施形態の画像処理の流れは上記の通りバイアス値の記録手法が異なるものであるが第1実施形態に準ずるものである。
【0036】
本発明によれば、テーブル参照やバイアス値加算という手段を用いるので、簡単な構成で、スポット形状を考慮した視差補正を実現することができる。
【0037】
なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。
【符号の説明】
【0038】
1、50 画像処理装置
11、51 対応点探索部
12 相関バイアステーブル
13、54 視差補正部
20 スポット形状計測装置
21 スポット形状計測カメラ
22 カメラ回転台
52 第1バイアステーブル
53 第2バイアステーブル
【先行技術文献】
【特許文献】
【0039】
【特許文献1】特許第3261115号公報

【特許請求の範囲】
【請求項1】
複数の視点から撮像した複数の画像を入力する入力手段と、前記複数の画像間の視差を算出する視差算出手段を備える画像処理装置であって、
前記視差算出手段により算出された視差を、画像内の像位置に応じたスポット形状に基づいて補正する視差補正手段を備えることを特徴とする画像処理装置。
【請求項2】
前記視差補正手段は、スポット形状に基づいて視差バイアス値を決定する視差バイアス値決定手段をさらに備え、前記視差バイアス値決定手段により決定された視差バイアス値を前記視差算出手段により算出された視差に加算することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記視差バイアス値決定手段は、画像面を領域分割し、特徴点の属する領域に応じた視差バイアス値を決定することを特徴とする請求項2に記載の画像処理装置。
【請求項4】
複数の視点から撮像した複数の画像を入力する入力ステップと、前記複数の画像間の視差を算出する視差算出ステップを備える画像処理方法であって、
前記視差算出ステップにより算出された視差を、画像内の像位置に応じたスポット形状に基づいて補正する視差補正ステップを備えることを特徴とする画像処理方法。
【請求項5】
前記視差補正ステップは、スポット形状に基づいて視差バイアス値を決定する視差バイアス値決定ステップをさらに備え、前記視差バイアス値決定ステップにより決定された視差バイアス値を前記視差算出ステップにより算出された視差に加算することを特徴とする請求項4に記載の画像処理方法。
【請求項6】
前記視差バイアス値決定ステップは、画像面を領域分割し、特徴点の属する領域に応じた視差バイアス値を決定することを特徴とする請求項5に記載の画像処理方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate


【公開番号】特開2013−65179(P2013−65179A)
【公開日】平成25年4月11日(2013.4.11)
【国際特許分類】
【出願番号】特願2011−203091(P2011−203091)
【出願日】平成23年9月16日(2011.9.16)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】