ステレオカメラ装置、視差画像生成方法
【課題】広い視野角と視野内の特定領域では高い測距精度を両立したステレオカメラ装置を提供すること。
【解決手段】二つの撮像手段Ｃ０、Ｃ１と、画像データを等距離射影画像に投影する二つの光学系２１と、二つの等距離射影画像から第一の変形画像データ及び第二の変形画像データを生成する第一の画像生成手段３１，３３と、二つの等距離射影画像の所定領域から第三の変形画像データ及び第四の変形画像データを生成する第二の画像生成手段３２，３４と、第一の変形画像データと第二の変形画像データから第一の視差画像を生成する第一の視差画像生成手段３５と、第三の変形画像データと第四の変形画像データから第二の視差画像を生成する第二の視差画像生成手段３６と、第一の変形画像データと第三の変形画像データの倍率により定まる第一の視差画像の画素の画素値を、第二の視差画像の画素の画素値で置き換える画像合成手段３７と、を有する。
【解決手段】二つの撮像手段Ｃ０、Ｃ１と、画像データを等距離射影画像に投影する二つの光学系２１と、二つの等距離射影画像から第一の変形画像データ及び第二の変形画像データを生成する第一の画像生成手段３１，３３と、二つの等距離射影画像の所定領域から第三の変形画像データ及び第四の変形画像データを生成する第二の画像生成手段３２，３４と、第一の変形画像データと第二の変形画像データから第一の視差画像を生成する第一の視差画像生成手段３５と、第三の変形画像データと第四の変形画像データから第二の視差画像を生成する第二の視差画像生成手段３６と、第一の変形画像データと第三の変形画像データの倍率により定まる第一の視差画像の画素の画素値を、第二の視差画像の画素の画素値で置き換える画像合成手段３７と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視差画像を生成するステレオカメラ装置に関する。
【背景技術】
【０００２】
画像処理技術の向上と高性能なカメラが比較的安価になってきたため、カメラの応用技術が実用化されるようになってきた。例えば、車両にステレオカメラを搭載し、ステレオカメラが撮影した距離画像から画像処理部が障害物までの距離を計測する。検出された距離を利用して、車両は衝突防止や車間距離制御のために運転者に警告を発したり、車両に制動を加えるなどの運転支援を行うことが可能になる。
【０００３】
図１は平行配置したステレオカメラによる距離計測の原理を説明するための図である。
カメラＣ０とＣ１が距離Ｂだけ離れて設置されている。カメラＣ０とＣ１の焦点距離、光学中心、撮像面は下記のとおりである。
焦点距離：f、
光学中心：O0、O1
撮像面：s0、s1
カメラＣ０の光学中心O0から光軸方向に距離dだけ離れた位置にある被写体Ａの像は、直線Ａ−O0と撮像面s0との交点であるP0に像を結ぶ。一方カメラＣ１では、同じ被写体Ａが、撮像面s1上の位置P1に像を結ぶ。ここで、カメラＣ１の光学中心O1を通り、直線Ａ−O0と平行な直線と、撮像面s1との交点をP0'とし、点P0'とP1との距離をpとする。
【０００４】
P0'は、カメラＣ０上の像P0と同じ位置であり、距離pは、同じ被写体の像の、二つ
のカメラで撮影した画像上での位置のずれ量を表し、これを視差と呼ぶ。
三角形:Ａ-O0-O1、三角形O1- P0'-P1は相似なので、
d ＝ Ｂｆ／p
が得られる。カメラＣ０とＣ１の距離Ｂ（基線長）と焦点距離fが既知ならば、視差pから距離dを求めることができる。
【０００５】
ここで、このようはカメラの結像光学系は、カメラ外部にある被写体の像を撮像面上に投影するしくみである。カメラの結像光学系には、どの位置(方向) にある被写体を、撮像面上のどの位置に投影するか、という点で多くの方式がある。そのうちよく利用される、中心射影と等距離射影について説明する。
【０００６】
Ａ．中心射影
図２（ａ）は中心射影を説明する図の一例である。中心射影とは、カメラ光軸から角度θだけ離れた方向に存在する被写体を、撮像面中心(光軸との交点) からf・tan(θ) だけ離れた位置に投影する方式である。ここでf は光学系の焦点距離である。
【０００７】
中心射影には、三次元空間内の直線が画像上直線に写るという特徴がある。通常のカメラレンズはほぼこの中心射影特性を持つよう設計されている。特にステレオカメラでは、エピポーラ線が直線になるため、対応点探索が容易になるという大きな利点となる。しかしtan(θ) はθ=90°で発散するため、90 度以上の視野は投影できず、また90 度に近い広角の視野を投影する場合に非常に広い撮像面が必要になる。
【０００８】
Ｂ．等距離射影
図２（ｂ）は等距離射影を説明する図の一例である。等距離射影とは、カメラ光軸から角度θだけ離れた方向に存在する被写体を、撮像面中心からf・θだけ離れた位置に投影する方式である。
【０００９】
等距離射影は中心射影のように90 度で発散するようなことはなく、広い視野を表現することができる。そのため多くの魚眼レンズはこの特性を持つ。しかし等距離射影のステレオカメラではエピポーラ線が曲線となるので、対応点探索は非常に複雑な処理を必要とする
複雑な対応点探索を避けるため、撮影された等距離射影画像を中心射影画像に変換することが考えられる（例えば、特許文献１参照。）。特許文献１に記載のステレオマッチング装置は、参照座標メモリに格納されている入力画像（等距離射影画像）のピクセルと出力画像（中心射影画像）のピクセルとの関係に基づいて画像変換を行う。
【００１０】
また、撮影された等距離射影画像を円筒面に射影する画像処理装置が提案されている（例えば、特許文献２参照。）。特許文献２記載の画像処理装置は、魚眼カメラ（またはピンホールカメラ）で撮影した広角画像を、ステレオベースラインを軸とする円筒面に再投影した後、ステレオ距離計測を実施する。円筒面は、ベースラインと直交する方向には円形状となるので、縦方向には等距離射影と同様に広い視野を自然に投影することができる。
【００１１】
さらに、円筒形状の投影面形状によって、エピポーラ線は水平な直線となり、中心射影画像でのステレオマッチングと同様に高速処理が可能である。
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、特許文献２に開示された画像処理装置は、円筒面を利用して広い視野角と平行エピポーラ線を両立することができるが、この方法による広い視野角は、画面上の縦方向についてしか成り立たないという問題がある。すなわち、投影により得られた画像は、画面上エピポーラ線と直交する方向（縦方向と呼ぶ）については等距離射影と同等な投影特性を持つために広い視野角を実現できるが、画面上でエピポーラ線と平行な方向（横方向）に関しては中心射影と同等な特性を持つため、視野角を広くとることは（中心射影と同様に）困難である。ステレオマッチング処理を容易にするためにエピポーラ線を横方向の直線とする限り、広い視野角をとることができるのは縦方向に限定される。
【００１３】
ところで、ステレオ測距の距離精度は基線長×焦点距離に比例して向上する。よって、距離精度を向上させるには、基線長か焦点距離を大きくとればよいことになる。また、距離精度は対象距離に反比例して劣化するので、距離精度を良くすることは（同じ精度のまま）測距範囲を広げることとも等価である。
【００１４】
しかし、同じ撮像素子（撮像面積）を利用する限り、焦点距離を長くすることは視野を狭くすることになる。したがって視野角と分解能（測距精度）はトレードオフの関係にある。
【００１５】
そこで、広い視野角と高い分解能を両立させるため、
・ 高い距離精度かつ狭い視野のステレオペア
・ 広い視野かつ低い距離精度のステレオペア
という２つのペア、合計４つの撮像手段を備えた画像処理装置を考案することも検討される。例えば、ステレオカメラを自動車に搭載して障害物を発見するために利用する場合、自動車の進行方向には、前方道路上にある遠距離の障害物を発見したいが、進行方向と直交する方向では、あまり遠距離の物体を検知する必要性は低い。画像処理装置が４つの撮像手段を有していれば、このように広い視野を持ち、かつ、その一部だけを高精度に距離計測したい用途に好適である。
【００１６】
しかしながら、２つのペアのステレオカメラを利用するために４つのカメラが必要になるのでは、コスト像や装置の大型化をもたらす。
【００１７】
また、２つのペアのステレオカメラの間に微小ながら視差が存在するため、二つのステレオペアの測距結果を合成する際に、単純な貼り合わせでは画像上の位置ずれが生じ、ずれを無くすためには追加の補正処理が必要となる。
【００１８】
１つのペアのステレオカメラだけで、広い視野角と高い分解能を両立させる際の問題点を説明する。例えば、片側視野80 度(両側視野160 度) の等距離射影特性を持つレンズと、縦横1000画素の撮像素子を持つ２つカメラからなるステレオ測距システムを考える。ここで、視野中心の片側20 度(両側40 度) の視野領域で、特に高精度な距離計測が必要なものとする。
【００１９】
等距離射影では、図２（ｂ）で説明したように、被写体角度と画像上距離が比例するので、両側視野160度で1000画素をカバーするとして、
1000 * (40 /160) = 250
より、片側20 度の注視領域は、1000x1000 画素の全画面中、中央250x250 画素領域に写ることになる。図３（ａ）は1000x1000 画素における中央250x250 画素を模式的に示す図の一例である。
【００２０】
次に、従来技術(例えば、特許文献１) と同様に、この等距離射影画像を中心射影画像に変換することを考える。
tan(20°) ≒ 0.35
tan(80°) ≒ 5.67
tan(20°)/ tan(80°) ≒ 0.064
なので、1000x1000 画素の等距離射影画像を同じ1000x1000 画素の中心射影画像に変換すると、中央の視野20 度領域は、64x64 画素の大きさになる。図３（ｂ）は1000x1000 画素における中央64x64画素を模式的に示す図の一例である。
【００２１】
図３（ａ）と（ｂ）を比較すると分かるように、中心射影画像への変換は縦横約1/4 の縮小（面積では１／１６）となり、その分距離計測精度が落ちてしまうことを意味している。
【００２２】
中心領域を縮小せずにほぼ等倍となるように、等距離射影画像の中央250x250 画素を中心射影画像の中央250x250 画素に変換すると、約４倍拡大することになるので、画面全体は4000x4000の画素が必要になる。すなわち、処理すべき画素数が、元の画像の16 倍に増えてしまうことになる。このため距離計測に必要な演算量も増え、例えば同じフレームレートで距離計測処理を実行するためには、10 倍以上の演算速度が必要となってしまう。
【００２３】
このように、視野が90 度に近い広角（魚眼）レンズで撮影した等距離射影画像を、単純に中心射影画像に変換すると、
・視野中央付近の計測精度が劣化する
・画面全体の画素数が増え、必要な演算量、処理速度が膨大になる
のいずれかの問題が生じてしまう。
【００２４】
本発明は、上記課題に鑑み、１つのペアのステレオカメラだけで、広い視野角と視野内の特定領域では高い測距精度を両立し、対応点探索も容易なステレオカメラ装置を提供することを目的とする。
【課題を解決するための手段】
【００２５】
上記課題に鑑み、本発明は、光軸が並行に配置された二つの撮像手段と、二つの前記撮像手段が撮影した画像データを等距離射影画像に投影する２つの光学系と、二つの前記等距離射影画像からエピポーラ線が直線になる第一の変形画像データ及び第二の変形画像データを生成する第一の画像生成手段と、二つの前記等距離射影画像の所定領域から前記第一の変形画像データ及び第二の変形画像データよりも倍率が大きくエピポーラ線が直線になる第三の変形画像データ及び第四の変形画像データを生成する第二の画像生成手段と、前記第一の変形画像データと前記第二の変形画像データを比較して画素に視差情報が配置された第一の視差画像を生成する第一の視差画像生成手段と、前記第三の変形画像データと前記第四の変形画像データを比較して画素に視差情報が配置された第二の視差画像を生成する第二の視差画像生成手段と、前記第一の変形画像データ又は第二の変形画像データと、前記第三の変形画像データ又は第四の変形画像データの倍率により定まる前記第一の視差画像の画素の画素値を、前記第二の視差画像の画素の画素値で置き換える画像合成手段と、を有するステレオカメラ装置を提供する。
【発明の効果】
【００２６】
１つのペアのステレオカメラだけで、広い視野角と視野内の特定領域では高い測距精度を両立し、対応点探索も容易なステレオカメラ装置を提供することができる。
【図面の簡単な説明】
【００２７】
【図１】平行配置したステレオカメラによる距離計測の原理を説明するための図である。
【図２】中心射影、等距離射影を説明する図の一例である。
【図３】1000x1000 画素における中央250x250 画素、中央64x64画素を模式的に示す図の一例である。
【図４】本実施形態の測距方法の概略を説明する図の一例である。
【図５】カメラＣ０，Ｃ１の該略構成図の一例である。
【図６】ステレオカメラ装置の機能ブロック図の一例である。
【図７】撮影画像の変形処理を説明する図の一例である。
【図８】等距離射影の座標と中心射影画像の座標の対応を説明する図の一例である。
【図９】視差画像合成処理の手順の一例を示すフローチャート図である。
【図１０】等距離射影画像の円筒面撮像面への投影を模式的に示す図の一例である。
【発明を実施するための形態】
【００２８】
以下、本発明を実施するための形態について図面を参照しながら説明する。
図４は、本実施形態の測距方法の概略を説明する図の一例である。
（１）左右のカメラはそれぞれ等距離射影画像を撮影する。これにより、広い視野角の撮影画像が得られる。
（２）ステレオカメラは、等距離射影画像の全体を中心射影画像Ａに変換する。
（３）ステレオカメラは、等距離射影画像の中心部を中心射影画像Ｂに変換する。中心部の大きさは（２）の中心射影画像Ａの４倍程度の倍率を有するように決定する（図１の（１）撮影画像の点線領域）。図１の斜線部の各矩形は同程度の視野領域を示すが、中心射影画像Ｂでは、中心射影画像Ａよりも、同じ視野領域が4倍の解像度をもって大きく撮影される。
（４）ステレオカメラは中心射影画像Ａ、Ｂのそれぞれの視差画像を生成する。すると、中心射影画像Ａでは広視野角の視差画像が、中心射影画像Ｂでは狭視野角の高分解能な視差画像が、それぞれ得られたことになる。
（５）ステレオカメラは、中心射影画像Ａのうち、中心射影画像Ｂに対応する狭視野角の視差画像を中心射影画像Ｂで置き換える。こうすることで、広角画像（中心射影画像Ａ）の視野範囲の全画素について視差画像が得られ、そのうち中央付近の 画素については、高精度に視差を求めることができる。
【００２９】
このように本実施形態のステレオカメラは、１つのペアのステレオカメラだけで、広い視野角と視野内の特定領域で高い測距精度を両立し、対応点探索も容易なステレオカメラ装置を提供することができる。
【００３０】
〔構成〕
図５は、ステレオカメラ１００の該略構成図の一例を示す。カメラ部１１０には右カメラＣ１と左カメラＣ０が配置されている。右カメラＣ１と左カメラＣ０は、同じレンズ、同じＣＭＯＳイメージセンサを有し、右カメラＣ１と左カメラＣ０は互いの光軸が平行に、かつ、二つの撮像面が同一平面になるように配置されている。左カメラＣ０と右カメラＣ１は同じレンズ２１、絞り２２、ＣＭＯＳイメージセンサ２３を有する。
【００３１】
ＣＭＯＳイメージセンサ２３は、カメラ制御部１３が出力する、制御信号を入力として動作する。ＣＭＯＳイメージセンサ２３は1000x1000 画素のモノクロイメージセンサであるとし、レンズ２１は、上下左右共に片側80 度、両側160 度の視野の像を、等距離射影方式でＣＭＯＳイメージセンサ２３の撮像領域内に結像する特性を持つ。
【００３２】
なお、レンズ特性は等距離射影特性に限られず、等立体角射影や正射影など、魚眼レンズとして利用されるレンズや、強い樽型の歪曲収差を持つ中心射影特性などをもつレンズでもよい。いずれのレンズも等距離射影と同様に、中心射影に比べ画像周辺の拡大率が小さいため、本実施形態と同等の効果が得られる。
【００３３】
さらに、歪曲の小さい中心射影特性を持つレンズを利用した場合でも、変形画像の画素数を小さくすることで、同傾向の効果が得られる。
【００３４】
ＣＭＯＳイメージセンサ２３が出力した画像信号は、ＣＤＳ２４に出力され相関二重サンプリングによるノイズ除去が行われ、ＡＧＣ２５により信号強度に応じて利得制御され、Ａ／Ｄ２６によりＡ／Ｄ変換される。画像信号はＣＭＯＳイメージセンサ２３の全体を記憶可能なフレームメモリ２７に記憶される。
【００３５】
フレームメモリ２７に記憶された画像信号はデジタル信号処理部２８により、距離の算出等が行われ、仕様によってはフォーマット変換され液晶などの表示手段に表示される。デジタル信号処理部２８は、ＤＳＰ、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備えたＬＳＩである。後述する機能ブロックは、例えばこのデジタル信号処理部２８により、ハード的又はソフト的に提供される。なお、カメラ制御部１３をデジタル信号処理部２８に配置してもよく、図示する構成は一例である。
【００３６】
デジタル信号処理部２８は、水平同期信号ＨＤ、垂直同期信号ＶＤ及びクロック信号の各パルスをカメラ制御部１３に出力する。または、カメラ制御部１３が水平同期信号ＨＤ及び垂直同期信号ＶＤを生成することも可能である。カメラ制御部１３は、タイミングジェネレータやクロックドライバを有し、ＨＤ，ＶＤ及びクロック信号からＣＭＯＳイメージセンサ２３を駆動するための制御信号を生成する。
【００３７】
図６は、ステレオカメラ１００の機能ブロック図の一例を示す。ステレオカメラ１００は、
・画像を撮影する、平行配置された２台のカメラ（左カメラＣ０，右カメラＣ１）
・２台のカメラで撮影された画像から、広角画像及び望遠画像をそれぞれ生成する４つの画像生成部（右広角画像生成部３１、右望遠画像生成部３２、左広角画像生成部３３、左望遠画像生成部３４）
・左右の広角画像、及び、左右の望遠画像から、それぞれの視差を検出する二つの視差検出部（広角視差検出部３５、望遠視差検出部３６）
・２つの視差検出処理部の出力する広角視差画像及び望遠視差画像を合成し、最終的な視差画像を出力する視差画像合成部３７
を有する。以下、それぞれの構成と動作を説明する。
【００３８】
〔４つの画像生成部〕
右広角画像生成部３１、右望遠画像生成部３２、左広角画像生成部３３、及び、左望遠画像生成部３４は、それぞれ右カメラＣ１又は左カメラＣ０が出力する撮影画像を変形処理して中心射影画像を出力する。
【００３９】
＜広角画像及び望遠画像の生成＞
図７は、広角画像及び望遠画像の生成を説明する図の一例である。右広角画像生成部３１は、右カメラＣ１の撮影画像から、撮影画像と同じ、上下左右片側80 度の視野範囲を持つ1000x1000画素の中心射影画像（以下、右広角画像という）を生成する。同様に、左広角画像生成部３３は、左カメラＣ０の撮影画像から、撮影画像と同じ、上下左右片側80 度の視野範囲を持つ1000x1000画素の中心射影画像（以下、左広角画像という）を生成する。
【００４０】
また、右望遠画像生成部３２は、右カメラＣ１の撮影画像の中心部から、右広角画像に対して4倍の倍率を持つ1000x1000 画素の中心射影画像（以下、右望遠画像という）を生成する。同様に、左望遠画像生成部３４は、左カメラＣ０の撮影画像の中心部から、左広角画像に対して4倍の倍率を持つ1000x1000 画素の中心射影画像（以下、左望遠画像という）を生成する。
【００４１】
図３で説明したように、等距離射影画像の片側20 度の視野領域は、中心射影画像では等距離射影画像の約1/4倍の大きさに縮小される。したがって、右広角画像又は左広角画像の片側20 度の視野領域の４倍の倍率の右望遠画像又は左望遠画像は、その20 度視野領域の大きさが右カメラＣ１の撮影画像又は左カメラＣ０の撮影画像の20度視野領域とほぼ等倍（＝（1/4）×4）になる。したがって、撮影画像に含まれる狭視野の情報を捨てることなく望遠画像に含めることができる。
【００４２】
右望遠画像を生成するため右望遠画像生成部３２は、右カメラＣ１の撮影画像の20度視野領域が、右望遠画像において250×250画素を占めるように、撮影画像の中心部の画素を中心射影画像に変換する。tanｘ／tan80＝0.25からｘを求めると約55度（約0.95rad）の視野角が得られるので、右望遠画像生成部３２は、右カメラＣ１の撮影画像の55度視野領域を中心射影画像に変換する。左望遠画像生成部３４についても同様である。
【００４３】
＜等距離射影から中心射影画像への変換＞
図８は、等距離射影の座標と中心射影画像の座標の対応を説明する図の一例である。（ｘ、ｙ）を中心射影画像の画素位置、（ｘ0、ｙ0）を等距離射影画像の画素位置、投影中心からの被写体方向をθ、前側焦点面における光軸からの被写体方向をφとして（θ、φ）を被写体方向で表す。
【００４４】
中心射影画像の画素位置(x, y) に対応する被写体方向(θ, φ) は、
θ = arctan(√(x2 + y2)/f)
φ = arctan(y/x)
である。
【００４５】
また、被写体方向(θ, φ) に対応する、等距離射影画像上の位置(x0, y0) は、
x0 = fθ cos(φ)
y0 = fθ sin(φ)
となる。
【００４６】
この座標変換式に従って画像を変形することで、右カメラＣ１及び左カメラＣ０が撮影した等距離射影画像を中心射影画像へ変換することができる。または、等距離射影画像と中心射影画像を画素毎に対応づけるテーブルを用いて変換してもよい。
【００４７】
なお、本実施形態では、説明を簡単にするため、右カメラＣ１及び左カメラＣ０は等距離射影特性のレンズを持ち平行に配置されている、としたが、現実のカメラではレンズの歪曲収差や、カメラ間の配置ずれなどが避けられない。これらの特性のずれは、撮影画像が理想的な等距離射影画像とは異なる形状を持つことで現れる。そこで、これらのずれを予め計測しておき、４つの画像生成処理部でこのずれを補正することが望ましい。
【００４８】
＜視差検出処理＞
広角視差検出部３５と望遠視差検出部３６は、一般的なステレオマッチング処理により、左右画像の視差を検出する。つまり、各画素位置について以下の処理を行う。
・ 有効ブロック選択
濃淡変化の少ない領域では視差が検出できないので、濃淡変化の激しい領域だけ選択する。具体的には、広角視差検出部３５と望遠視差検出部３６は、基準画像（ここでは左画像を基準とする）の隣接画素値間の差分の絶対値を近傍4x4画素ブロック内で合計し、所定の閾値以上のブロックを抽出して、次の最大相関位置検出ステップに出力する。閾値未満の画素位置は、その画素位置では視差が検出できなかったことを表す255 を視差画像の画素値とする（以下、無効画素と呼ぶ)。
・最大相関位置検出
広角視差検出部３５と望遠視差検出部３６は、右画像のうち、基準となる左画像上のブロック位置から、左方向へ1 画素ずつずらしながら、左右の画像の4x4 画素ブロック間の相関値を計算する。探索範囲は100 画素とし、探索範囲内で最大の相関を持つずらし量（画素単位）を、その画素位置の視差として出力する。この結果、視差画像は0 以上100 以下の画素値をとる（ただし無効画素は255）。
【００４９】
ただし、望遠画像については、広角画像への合成のため後に1/4 に縮小されるので、全画素に対してではなく、基準画像の縦横４画素おきに1 画素ずつ取り出し、右画像で１画素ずつずらしながら画素単位で視差を検出する。このように視差を検出する画素数を1/4にすることで計算負荷を低減し処理時間を短縮できる。
【００５０】
ここで、望遠視差画像は、広角視差画像の４倍の分解能で視差が検出されたもの（1/4画素単位の視差が得られている）となるので、被写体との距離を高精度に算出することを可能にする。
【００５１】
以上の視差検出処理により、広角視差検出部３５は1000x1000 画素の広角視差画像を出力し、望遠視差検出部３６は（入力1000x1000 画素のうち縦横４画素に１画素だけ視差を求めたので）250x250 画素の望遠視差画像を出力する。なお、１画素は例えば8bitの濃淡を有するものとする。
【００５２】
なお、視差を画素単位で検出するのでなく、相関値がピーク付近のいくつかの画素の相関値（好ましくは隣接した画素の）を2 次曲線で補間するなどの周知の技術を利用して、画素単位以下の分解能で視差を検出することもできる。そのような場合でも、２つの望遠画像と２つの広角画像で同じ画素精度の視差検出を行えば、望遠画像の倍率分だけ望遠視差画像の分解能はよくなる。
【００５３】
＜視差合成処理＞
視差画像合成部３７は、広角視差検出部３５と望遠視差検出部３６がそれぞれ出力する広角視差画像と望遠視差画像を入力に、それらを合成して最終的な視差画像を出力する。
【００５４】
画像生成処理で説明した通り、望遠画像は、広角画像に対して約４倍の倍率を持つ。
したがって1000x1000 画素の広角画像のうち、中央250x250 画素の部分が、250x250画素の望遠視差全体に相当する。そこで、1000x1000 画素の広角視差画像の中央250x250画素の領域に、望遠視差画像をはめ込むことで２つの視差画像を合成する。
【００５５】
また、右望遠画像と左望遠画像から求められた1 画素の視差は、右広角画像と左広角画像から求められた視差に対し1/4画素に相当する。このため、視差画像合成部３７は、視差の画素単位を合わせるため、右広角画像と左広角画像から求められた視差量を4 倍し、1/4 画素単位の整数値で視差を表した視差画像を生成する。
【００５６】
図９は、視差画像合成処理の手順の一例を示すフローチャート図である。視差画像合成部３７は、1000x1000 画素の広域視差画像の全画素位置について、この処理を実行し各画素の画素値（視差情報）を決定する。
・Ｓ１０
まず、視差画像合成部３７は、着目している広域視差画像の画素位置が、20度視野に相当する望遠視差画像の範囲内にあるか否かを判定する。広域視差画像の中央250x250 画素が、望遠視差画像に含まれているので、i,jが以下の条件を満たす場合、広域視差画像の画素位置が中央250x250 画素のいずれかであることになる。
【００５７】
「375 ≦ i < 624」かつ「375 ≦ｊ <624」
・Ｓ２０
着目している広域視差画像の画素位置が、20度視野領域に相当する望遠視差画像の範囲内にある場合（Ｓ１０のＹｅｓ）、視差画像合成部３７は、望遠視差画像の画素位置k,lを計算する。望遠視差画像はすでに250×250画素に縮小されているので、広域視差画像の中央250x250 画素については（i,j）と（k,l）は１対１に対応する。
k = i − 375
l = j − 375
・Ｓ３０
次に、視差画像合成部３７は、望遠視差画像が有効か否かを判定する。画素に格納されている画素値が２５５の場合は望遠視差画像が無効なので、望遠視差画像の画素値を参照すればよい。
【００５８】
・Ｓ４０
望遠視差画像が有効だった場合（Ｓ３０のＹｅｓ）、視差画像合成部３７は、その望遠視差画像の画素値をそのまま出力視差画像の画素値として採用する。
【００５９】
・Ｓ５０
望遠視差画像の範囲内でない場合（Ｓ１０のＮｏ）、及び、望遠視差画像が有効でなかった場合（Ｓ３０のＮｏ）、視差画像合成部３７は、位置i,jの広角視差画像の画素の画素値を４倍した値を出力視差画素値として採用する。
【００６０】
このような合成処理により、広角画像（中心射影画像）の視野範囲の全画素について1/4 画素単位の視差画像が得られ、そのうち中央250x250 画素については、拡大した望遠画像に基づいて特に高精度に視差を求めることができる。
【００６１】
〔その他の構成例〕
＜円筒面へ再投影＞
上記の実施形態では撮影画像を中心射影画像へ変換したが、円筒面撮像面へ投影しても
よい。図１０（ａ）は等距離射影画像の円筒面撮像面への投影を模式的に示す図の一例である。図示するように右カメラＣ１及び左カメラＣ０で撮影された広角の撮影画像は、縦方向が円形状の円筒面に投影される。
ｄ＝ｆ・θ
このように、円筒面に投影された円当面撮像画像は縦方向には元々広い視野を持つので、望遠画像は画像中央部を横方向にのみ拡大すればよい。図１０（ｂ）は、円筒面撮像画像と望遠画像の一例を示す図である。右望遠画像生成部３２と左望遠画像生成部３４は円筒面撮像画面の、縦方向の中央部を含む幅広な領域（以下、横幅広領域という）を、1000×1000画素の望遠画像（中心射影画像）に変換する。1000×1000画素になるように横幅広領域を決定してもよいし、所望の横幅広領域を決定しておき1000×1000画素内の有効画素に配置してもよい。
【００６２】
このような望遠画像に対し、望遠視差検出部３６は、横幅広領域のサイズに合わせて、基準画像（左望遠画像）の例えば横方向には1画素ずつ縦方向にはｎ画素毎に１画素ずつ画素を取り出して、右画像を１画素ずつずらしながら相関値を求めることで視差画像を生成する。
【００６３】
そして、視差画像合成部３７が視差画像を円筒面撮像画像の横幅広領域に合成することで、縦方向に広い視野で測距が可能で、かつ、横方向に高精度に視差を求めることができるステレオカメラ１００が得られる。なお、等距離射影画像の投影方向を90度変更して、横方向に広い視野を得ておき縦長領域の望遠画像を生成してもよい。
【００６４】
＜２種類以上の視野画像＞
上記の実施形態では、左カメラＣ０と右カメラＣ１が撮影した撮像画像を、望遠(20 度視野) と広角(80度視野) の２つの画像に変形処理したが、たとえば20 度、40 度、80 度といった３種類又はそれ以上の種類の視野をもつ画像に変形処理することもできる。この場合、中心の画素ほど視差精度が高く、かつ、広い視野の視差画像が得られる。なお、視差画像合成部３７は、より倍率の高い画像による視差画像を優先的に採用すればよく、より倍率の高い画像がない領域では倍率に応じて視差を変倍すればよい。
【符号の説明】
【００６５】
２１ レンズ
２２ 絞り
２３ ＣＭＯＳイメージセンサ
２７ フレームメモリ
２８ デジタル信号処理部
３１ 右広角画像生成部
３２ 右望遠画像生成部
３３ 左広角画像生成部
３４ 左望遠画像生成部
３５ 広角視差検出部
３６ 望遠視差検出部
３７ 視差画像合成部
１００ ステレオカメラ
【先行技術文献】
【特許文献】
【００６６】
【特許文献１】特開２００８-２６０８８号公報
【特許文献２】特開２００９-１３９２４６号公報
【技術分野】
【０００１】
本発明は、視差画像を生成するステレオカメラ装置に関する。
【背景技術】
【０００２】
画像処理技術の向上と高性能なカメラが比較的安価になってきたため、カメラの応用技術が実用化されるようになってきた。例えば、車両にステレオカメラを搭載し、ステレオカメラが撮影した距離画像から画像処理部が障害物までの距離を計測する。検出された距離を利用して、車両は衝突防止や車間距離制御のために運転者に警告を発したり、車両に制動を加えるなどの運転支援を行うことが可能になる。
【０００３】
図１は平行配置したステレオカメラによる距離計測の原理を説明するための図である。
カメラＣ０とＣ１が距離Ｂだけ離れて設置されている。カメラＣ０とＣ１の焦点距離、光学中心、撮像面は下記のとおりである。
焦点距離：f、
光学中心：O0、O1
撮像面：s0、s1
カメラＣ０の光学中心O0から光軸方向に距離dだけ離れた位置にある被写体Ａの像は、直線Ａ−O0と撮像面s0との交点であるP0に像を結ぶ。一方カメラＣ１では、同じ被写体Ａが、撮像面s1上の位置P1に像を結ぶ。ここで、カメラＣ１の光学中心O1を通り、直線Ａ−O0と平行な直線と、撮像面s1との交点をP0'とし、点P0'とP1との距離をpとする。
【０００４】
P0'は、カメラＣ０上の像P0と同じ位置であり、距離pは、同じ被写体の像の、二つ
のカメラで撮影した画像上での位置のずれ量を表し、これを視差と呼ぶ。
三角形:Ａ-O0-O1、三角形O1- P0'-P1は相似なので、
d ＝ Ｂｆ／p
が得られる。カメラＣ０とＣ１の距離Ｂ（基線長）と焦点距離fが既知ならば、視差pから距離dを求めることができる。
【０００５】
ここで、このようはカメラの結像光学系は、カメラ外部にある被写体の像を撮像面上に投影するしくみである。カメラの結像光学系には、どの位置(方向) にある被写体を、撮像面上のどの位置に投影するか、という点で多くの方式がある。そのうちよく利用される、中心射影と等距離射影について説明する。
【０００６】
Ａ．中心射影
図２（ａ）は中心射影を説明する図の一例である。中心射影とは、カメラ光軸から角度θだけ離れた方向に存在する被写体を、撮像面中心(光軸との交点) からf・tan(θ) だけ離れた位置に投影する方式である。ここでf は光学系の焦点距離である。
【０００７】
中心射影には、三次元空間内の直線が画像上直線に写るという特徴がある。通常のカメラレンズはほぼこの中心射影特性を持つよう設計されている。特にステレオカメラでは、エピポーラ線が直線になるため、対応点探索が容易になるという大きな利点となる。しかしtan(θ) はθ=90°で発散するため、90 度以上の視野は投影できず、また90 度に近い広角の視野を投影する場合に非常に広い撮像面が必要になる。
【０００８】
Ｂ．等距離射影
図２（ｂ）は等距離射影を説明する図の一例である。等距離射影とは、カメラ光軸から角度θだけ離れた方向に存在する被写体を、撮像面中心からf・θだけ離れた位置に投影する方式である。
【０００９】
等距離射影は中心射影のように90 度で発散するようなことはなく、広い視野を表現することができる。そのため多くの魚眼レンズはこの特性を持つ。しかし等距離射影のステレオカメラではエピポーラ線が曲線となるので、対応点探索は非常に複雑な処理を必要とする
複雑な対応点探索を避けるため、撮影された等距離射影画像を中心射影画像に変換することが考えられる（例えば、特許文献１参照。）。特許文献１に記載のステレオマッチング装置は、参照座標メモリに格納されている入力画像（等距離射影画像）のピクセルと出力画像（中心射影画像）のピクセルとの関係に基づいて画像変換を行う。
【００１０】
また、撮影された等距離射影画像を円筒面に射影する画像処理装置が提案されている（例えば、特許文献２参照。）。特許文献２記載の画像処理装置は、魚眼カメラ（またはピンホールカメラ）で撮影した広角画像を、ステレオベースラインを軸とする円筒面に再投影した後、ステレオ距離計測を実施する。円筒面は、ベースラインと直交する方向には円形状となるので、縦方向には等距離射影と同様に広い視野を自然に投影することができる。
【００１１】
さらに、円筒形状の投影面形状によって、エピポーラ線は水平な直線となり、中心射影画像でのステレオマッチングと同様に高速処理が可能である。
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、特許文献２に開示された画像処理装置は、円筒面を利用して広い視野角と平行エピポーラ線を両立することができるが、この方法による広い視野角は、画面上の縦方向についてしか成り立たないという問題がある。すなわち、投影により得られた画像は、画面上エピポーラ線と直交する方向（縦方向と呼ぶ）については等距離射影と同等な投影特性を持つために広い視野角を実現できるが、画面上でエピポーラ線と平行な方向（横方向）に関しては中心射影と同等な特性を持つため、視野角を広くとることは（中心射影と同様に）困難である。ステレオマッチング処理を容易にするためにエピポーラ線を横方向の直線とする限り、広い視野角をとることができるのは縦方向に限定される。
【００１３】
ところで、ステレオ測距の距離精度は基線長×焦点距離に比例して向上する。よって、距離精度を向上させるには、基線長か焦点距離を大きくとればよいことになる。また、距離精度は対象距離に反比例して劣化するので、距離精度を良くすることは（同じ精度のまま）測距範囲を広げることとも等価である。
【００１４】
しかし、同じ撮像素子（撮像面積）を利用する限り、焦点距離を長くすることは視野を狭くすることになる。したがって視野角と分解能（測距精度）はトレードオフの関係にある。
【００１５】
そこで、広い視野角と高い分解能を両立させるため、
・ 高い距離精度かつ狭い視野のステレオペア
・ 広い視野かつ低い距離精度のステレオペア
という２つのペア、合計４つの撮像手段を備えた画像処理装置を考案することも検討される。例えば、ステレオカメラを自動車に搭載して障害物を発見するために利用する場合、自動車の進行方向には、前方道路上にある遠距離の障害物を発見したいが、進行方向と直交する方向では、あまり遠距離の物体を検知する必要性は低い。画像処理装置が４つの撮像手段を有していれば、このように広い視野を持ち、かつ、その一部だけを高精度に距離計測したい用途に好適である。
【００１６】
しかしながら、２つのペアのステレオカメラを利用するために４つのカメラが必要になるのでは、コスト像や装置の大型化をもたらす。
【００１７】
また、２つのペアのステレオカメラの間に微小ながら視差が存在するため、二つのステレオペアの測距結果を合成する際に、単純な貼り合わせでは画像上の位置ずれが生じ、ずれを無くすためには追加の補正処理が必要となる。
【００１８】
１つのペアのステレオカメラだけで、広い視野角と高い分解能を両立させる際の問題点を説明する。例えば、片側視野80 度(両側視野160 度) の等距離射影特性を持つレンズと、縦横1000画素の撮像素子を持つ２つカメラからなるステレオ測距システムを考える。ここで、視野中心の片側20 度(両側40 度) の視野領域で、特に高精度な距離計測が必要なものとする。
【００１９】
等距離射影では、図２（ｂ）で説明したように、被写体角度と画像上距離が比例するので、両側視野160度で1000画素をカバーするとして、
1000 * (40 /160) = 250
より、片側20 度の注視領域は、1000x1000 画素の全画面中、中央250x250 画素領域に写ることになる。図３（ａ）は1000x1000 画素における中央250x250 画素を模式的に示す図の一例である。
【００２０】
次に、従来技術(例えば、特許文献１) と同様に、この等距離射影画像を中心射影画像に変換することを考える。
tan(20°) ≒ 0.35
tan(80°) ≒ 5.67
tan(20°)/ tan(80°) ≒ 0.064
なので、1000x1000 画素の等距離射影画像を同じ1000x1000 画素の中心射影画像に変換すると、中央の視野20 度領域は、64x64 画素の大きさになる。図３（ｂ）は1000x1000 画素における中央64x64画素を模式的に示す図の一例である。
【００２１】
図３（ａ）と（ｂ）を比較すると分かるように、中心射影画像への変換は縦横約1/4 の縮小（面積では１／１６）となり、その分距離計測精度が落ちてしまうことを意味している。
【００２２】
中心領域を縮小せずにほぼ等倍となるように、等距離射影画像の中央250x250 画素を中心射影画像の中央250x250 画素に変換すると、約４倍拡大することになるので、画面全体は4000x4000の画素が必要になる。すなわち、処理すべき画素数が、元の画像の16 倍に増えてしまうことになる。このため距離計測に必要な演算量も増え、例えば同じフレームレートで距離計測処理を実行するためには、10 倍以上の演算速度が必要となってしまう。
【００２３】
このように、視野が90 度に近い広角（魚眼）レンズで撮影した等距離射影画像を、単純に中心射影画像に変換すると、
・視野中央付近の計測精度が劣化する
・画面全体の画素数が増え、必要な演算量、処理速度が膨大になる
のいずれかの問題が生じてしまう。
【００２４】
本発明は、上記課題に鑑み、１つのペアのステレオカメラだけで、広い視野角と視野内の特定領域では高い測距精度を両立し、対応点探索も容易なステレオカメラ装置を提供することを目的とする。
【課題を解決するための手段】
【００２５】
上記課題に鑑み、本発明は、光軸が並行に配置された二つの撮像手段と、二つの前記撮像手段が撮影した画像データを等距離射影画像に投影する２つの光学系と、二つの前記等距離射影画像からエピポーラ線が直線になる第一の変形画像データ及び第二の変形画像データを生成する第一の画像生成手段と、二つの前記等距離射影画像の所定領域から前記第一の変形画像データ及び第二の変形画像データよりも倍率が大きくエピポーラ線が直線になる第三の変形画像データ及び第四の変形画像データを生成する第二の画像生成手段と、前記第一の変形画像データと前記第二の変形画像データを比較して画素に視差情報が配置された第一の視差画像を生成する第一の視差画像生成手段と、前記第三の変形画像データと前記第四の変形画像データを比較して画素に視差情報が配置された第二の視差画像を生成する第二の視差画像生成手段と、前記第一の変形画像データ又は第二の変形画像データと、前記第三の変形画像データ又は第四の変形画像データの倍率により定まる前記第一の視差画像の画素の画素値を、前記第二の視差画像の画素の画素値で置き換える画像合成手段と、を有するステレオカメラ装置を提供する。
【発明の効果】
【００２６】
１つのペアのステレオカメラだけで、広い視野角と視野内の特定領域では高い測距精度を両立し、対応点探索も容易なステレオカメラ装置を提供することができる。
【図面の簡単な説明】
【００２７】
【図１】平行配置したステレオカメラによる距離計測の原理を説明するための図である。
【図２】中心射影、等距離射影を説明する図の一例である。
【図３】1000x1000 画素における中央250x250 画素、中央64x64画素を模式的に示す図の一例である。
【図４】本実施形態の測距方法の概略を説明する図の一例である。
【図５】カメラＣ０，Ｃ１の該略構成図の一例である。
【図６】ステレオカメラ装置の機能ブロック図の一例である。
【図７】撮影画像の変形処理を説明する図の一例である。
【図８】等距離射影の座標と中心射影画像の座標の対応を説明する図の一例である。
【図９】視差画像合成処理の手順の一例を示すフローチャート図である。
【図１０】等距離射影画像の円筒面撮像面への投影を模式的に示す図の一例である。
【発明を実施するための形態】
【００２８】
以下、本発明を実施するための形態について図面を参照しながら説明する。
図４は、本実施形態の測距方法の概略を説明する図の一例である。
（１）左右のカメラはそれぞれ等距離射影画像を撮影する。これにより、広い視野角の撮影画像が得られる。
（２）ステレオカメラは、等距離射影画像の全体を中心射影画像Ａに変換する。
（３）ステレオカメラは、等距離射影画像の中心部を中心射影画像Ｂに変換する。中心部の大きさは（２）の中心射影画像Ａの４倍程度の倍率を有するように決定する（図１の（１）撮影画像の点線領域）。図１の斜線部の各矩形は同程度の視野領域を示すが、中心射影画像Ｂでは、中心射影画像Ａよりも、同じ視野領域が4倍の解像度をもって大きく撮影される。
（４）ステレオカメラは中心射影画像Ａ、Ｂのそれぞれの視差画像を生成する。すると、中心射影画像Ａでは広視野角の視差画像が、中心射影画像Ｂでは狭視野角の高分解能な視差画像が、それぞれ得られたことになる。
（５）ステレオカメラは、中心射影画像Ａのうち、中心射影画像Ｂに対応する狭視野角の視差画像を中心射影画像Ｂで置き換える。こうすることで、広角画像（中心射影画像Ａ）の視野範囲の全画素について視差画像が得られ、そのうち中央付近の 画素については、高精度に視差を求めることができる。
【００２９】
このように本実施形態のステレオカメラは、１つのペアのステレオカメラだけで、広い視野角と視野内の特定領域で高い測距精度を両立し、対応点探索も容易なステレオカメラ装置を提供することができる。
【００３０】
〔構成〕
図５は、ステレオカメラ１００の該略構成図の一例を示す。カメラ部１１０には右カメラＣ１と左カメラＣ０が配置されている。右カメラＣ１と左カメラＣ０は、同じレンズ、同じＣＭＯＳイメージセンサを有し、右カメラＣ１と左カメラＣ０は互いの光軸が平行に、かつ、二つの撮像面が同一平面になるように配置されている。左カメラＣ０と右カメラＣ１は同じレンズ２１、絞り２２、ＣＭＯＳイメージセンサ２３を有する。
【００３１】
ＣＭＯＳイメージセンサ２３は、カメラ制御部１３が出力する、制御信号を入力として動作する。ＣＭＯＳイメージセンサ２３は1000x1000 画素のモノクロイメージセンサであるとし、レンズ２１は、上下左右共に片側80 度、両側160 度の視野の像を、等距離射影方式でＣＭＯＳイメージセンサ２３の撮像領域内に結像する特性を持つ。
【００３２】
なお、レンズ特性は等距離射影特性に限られず、等立体角射影や正射影など、魚眼レンズとして利用されるレンズや、強い樽型の歪曲収差を持つ中心射影特性などをもつレンズでもよい。いずれのレンズも等距離射影と同様に、中心射影に比べ画像周辺の拡大率が小さいため、本実施形態と同等の効果が得られる。
【００３３】
さらに、歪曲の小さい中心射影特性を持つレンズを利用した場合でも、変形画像の画素数を小さくすることで、同傾向の効果が得られる。
【００３４】
ＣＭＯＳイメージセンサ２３が出力した画像信号は、ＣＤＳ２４に出力され相関二重サンプリングによるノイズ除去が行われ、ＡＧＣ２５により信号強度に応じて利得制御され、Ａ／Ｄ２６によりＡ／Ｄ変換される。画像信号はＣＭＯＳイメージセンサ２３の全体を記憶可能なフレームメモリ２７に記憶される。
【００３５】
フレームメモリ２７に記憶された画像信号はデジタル信号処理部２８により、距離の算出等が行われ、仕様によってはフォーマット変換され液晶などの表示手段に表示される。デジタル信号処理部２８は、ＤＳＰ、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備えたＬＳＩである。後述する機能ブロックは、例えばこのデジタル信号処理部２８により、ハード的又はソフト的に提供される。なお、カメラ制御部１３をデジタル信号処理部２８に配置してもよく、図示する構成は一例である。
【００３６】
デジタル信号処理部２８は、水平同期信号ＨＤ、垂直同期信号ＶＤ及びクロック信号の各パルスをカメラ制御部１３に出力する。または、カメラ制御部１３が水平同期信号ＨＤ及び垂直同期信号ＶＤを生成することも可能である。カメラ制御部１３は、タイミングジェネレータやクロックドライバを有し、ＨＤ，ＶＤ及びクロック信号からＣＭＯＳイメージセンサ２３を駆動するための制御信号を生成する。
【００３７】
図６は、ステレオカメラ１００の機能ブロック図の一例を示す。ステレオカメラ１００は、
・画像を撮影する、平行配置された２台のカメラ（左カメラＣ０，右カメラＣ１）
・２台のカメラで撮影された画像から、広角画像及び望遠画像をそれぞれ生成する４つの画像生成部（右広角画像生成部３１、右望遠画像生成部３２、左広角画像生成部３３、左望遠画像生成部３４）
・左右の広角画像、及び、左右の望遠画像から、それぞれの視差を検出する二つの視差検出部（広角視差検出部３５、望遠視差検出部３６）
・２つの視差検出処理部の出力する広角視差画像及び望遠視差画像を合成し、最終的な視差画像を出力する視差画像合成部３７
を有する。以下、それぞれの構成と動作を説明する。
【００３８】
〔４つの画像生成部〕
右広角画像生成部３１、右望遠画像生成部３２、左広角画像生成部３３、及び、左望遠画像生成部３４は、それぞれ右カメラＣ１又は左カメラＣ０が出力する撮影画像を変形処理して中心射影画像を出力する。
【００３９】
＜広角画像及び望遠画像の生成＞
図７は、広角画像及び望遠画像の生成を説明する図の一例である。右広角画像生成部３１は、右カメラＣ１の撮影画像から、撮影画像と同じ、上下左右片側80 度の視野範囲を持つ1000x1000画素の中心射影画像（以下、右広角画像という）を生成する。同様に、左広角画像生成部３３は、左カメラＣ０の撮影画像から、撮影画像と同じ、上下左右片側80 度の視野範囲を持つ1000x1000画素の中心射影画像（以下、左広角画像という）を生成する。
【００４０】
また、右望遠画像生成部３２は、右カメラＣ１の撮影画像の中心部から、右広角画像に対して4倍の倍率を持つ1000x1000 画素の中心射影画像（以下、右望遠画像という）を生成する。同様に、左望遠画像生成部３４は、左カメラＣ０の撮影画像の中心部から、左広角画像に対して4倍の倍率を持つ1000x1000 画素の中心射影画像（以下、左望遠画像という）を生成する。
【００４１】
図３で説明したように、等距離射影画像の片側20 度の視野領域は、中心射影画像では等距離射影画像の約1/4倍の大きさに縮小される。したがって、右広角画像又は左広角画像の片側20 度の視野領域の４倍の倍率の右望遠画像又は左望遠画像は、その20 度視野領域の大きさが右カメラＣ１の撮影画像又は左カメラＣ０の撮影画像の20度視野領域とほぼ等倍（＝（1/4）×4）になる。したがって、撮影画像に含まれる狭視野の情報を捨てることなく望遠画像に含めることができる。
【００４２】
右望遠画像を生成するため右望遠画像生成部３２は、右カメラＣ１の撮影画像の20度視野領域が、右望遠画像において250×250画素を占めるように、撮影画像の中心部の画素を中心射影画像に変換する。tanｘ／tan80＝0.25からｘを求めると約55度（約0.95rad）の視野角が得られるので、右望遠画像生成部３２は、右カメラＣ１の撮影画像の55度視野領域を中心射影画像に変換する。左望遠画像生成部３４についても同様である。
【００４３】
＜等距離射影から中心射影画像への変換＞
図８は、等距離射影の座標と中心射影画像の座標の対応を説明する図の一例である。（ｘ、ｙ）を中心射影画像の画素位置、（ｘ0、ｙ0）を等距離射影画像の画素位置、投影中心からの被写体方向をθ、前側焦点面における光軸からの被写体方向をφとして（θ、φ）を被写体方向で表す。
【００４４】
中心射影画像の画素位置(x, y) に対応する被写体方向(θ, φ) は、
θ = arctan(√(x2 + y2)/f)
φ = arctan(y/x)
である。
【００４５】
また、被写体方向(θ, φ) に対応する、等距離射影画像上の位置(x0, y0) は、
x0 = fθ cos(φ)
y0 = fθ sin(φ)
となる。
【００４６】
この座標変換式に従って画像を変形することで、右カメラＣ１及び左カメラＣ０が撮影した等距離射影画像を中心射影画像へ変換することができる。または、等距離射影画像と中心射影画像を画素毎に対応づけるテーブルを用いて変換してもよい。
【００４７】
なお、本実施形態では、説明を簡単にするため、右カメラＣ１及び左カメラＣ０は等距離射影特性のレンズを持ち平行に配置されている、としたが、現実のカメラではレンズの歪曲収差や、カメラ間の配置ずれなどが避けられない。これらの特性のずれは、撮影画像が理想的な等距離射影画像とは異なる形状を持つことで現れる。そこで、これらのずれを予め計測しておき、４つの画像生成処理部でこのずれを補正することが望ましい。
【００４８】
＜視差検出処理＞
広角視差検出部３５と望遠視差検出部３６は、一般的なステレオマッチング処理により、左右画像の視差を検出する。つまり、各画素位置について以下の処理を行う。
・ 有効ブロック選択
濃淡変化の少ない領域では視差が検出できないので、濃淡変化の激しい領域だけ選択する。具体的には、広角視差検出部３５と望遠視差検出部３６は、基準画像（ここでは左画像を基準とする）の隣接画素値間の差分の絶対値を近傍4x4画素ブロック内で合計し、所定の閾値以上のブロックを抽出して、次の最大相関位置検出ステップに出力する。閾値未満の画素位置は、その画素位置では視差が検出できなかったことを表す255 を視差画像の画素値とする（以下、無効画素と呼ぶ)。
・最大相関位置検出
広角視差検出部３５と望遠視差検出部３６は、右画像のうち、基準となる左画像上のブロック位置から、左方向へ1 画素ずつずらしながら、左右の画像の4x4 画素ブロック間の相関値を計算する。探索範囲は100 画素とし、探索範囲内で最大の相関を持つずらし量（画素単位）を、その画素位置の視差として出力する。この結果、視差画像は0 以上100 以下の画素値をとる（ただし無効画素は255）。
【００４９】
ただし、望遠画像については、広角画像への合成のため後に1/4 に縮小されるので、全画素に対してではなく、基準画像の縦横４画素おきに1 画素ずつ取り出し、右画像で１画素ずつずらしながら画素単位で視差を検出する。このように視差を検出する画素数を1/4にすることで計算負荷を低減し処理時間を短縮できる。
【００５０】
ここで、望遠視差画像は、広角視差画像の４倍の分解能で視差が検出されたもの（1/4画素単位の視差が得られている）となるので、被写体との距離を高精度に算出することを可能にする。
【００５１】
以上の視差検出処理により、広角視差検出部３５は1000x1000 画素の広角視差画像を出力し、望遠視差検出部３６は（入力1000x1000 画素のうち縦横４画素に１画素だけ視差を求めたので）250x250 画素の望遠視差画像を出力する。なお、１画素は例えば8bitの濃淡を有するものとする。
【００５２】
なお、視差を画素単位で検出するのでなく、相関値がピーク付近のいくつかの画素の相関値（好ましくは隣接した画素の）を2 次曲線で補間するなどの周知の技術を利用して、画素単位以下の分解能で視差を検出することもできる。そのような場合でも、２つの望遠画像と２つの広角画像で同じ画素精度の視差検出を行えば、望遠画像の倍率分だけ望遠視差画像の分解能はよくなる。
【００５３】
＜視差合成処理＞
視差画像合成部３７は、広角視差検出部３５と望遠視差検出部３６がそれぞれ出力する広角視差画像と望遠視差画像を入力に、それらを合成して最終的な視差画像を出力する。
【００５４】
画像生成処理で説明した通り、望遠画像は、広角画像に対して約４倍の倍率を持つ。
したがって1000x1000 画素の広角画像のうち、中央250x250 画素の部分が、250x250画素の望遠視差全体に相当する。そこで、1000x1000 画素の広角視差画像の中央250x250画素の領域に、望遠視差画像をはめ込むことで２つの視差画像を合成する。
【００５５】
また、右望遠画像と左望遠画像から求められた1 画素の視差は、右広角画像と左広角画像から求められた視差に対し1/4画素に相当する。このため、視差画像合成部３７は、視差の画素単位を合わせるため、右広角画像と左広角画像から求められた視差量を4 倍し、1/4 画素単位の整数値で視差を表した視差画像を生成する。
【００５６】
図９は、視差画像合成処理の手順の一例を示すフローチャート図である。視差画像合成部３７は、1000x1000 画素の広域視差画像の全画素位置について、この処理を実行し各画素の画素値（視差情報）を決定する。
・Ｓ１０
まず、視差画像合成部３７は、着目している広域視差画像の画素位置が、20度視野に相当する望遠視差画像の範囲内にあるか否かを判定する。広域視差画像の中央250x250 画素が、望遠視差画像に含まれているので、i,jが以下の条件を満たす場合、広域視差画像の画素位置が中央250x250 画素のいずれかであることになる。
【００５７】
「375 ≦ i < 624」かつ「375 ≦ｊ <624」
・Ｓ２０
着目している広域視差画像の画素位置が、20度視野領域に相当する望遠視差画像の範囲内にある場合（Ｓ１０のＹｅｓ）、視差画像合成部３７は、望遠視差画像の画素位置k,lを計算する。望遠視差画像はすでに250×250画素に縮小されているので、広域視差画像の中央250x250 画素については（i,j）と（k,l）は１対１に対応する。
k = i − 375
l = j − 375
・Ｓ３０
次に、視差画像合成部３７は、望遠視差画像が有効か否かを判定する。画素に格納されている画素値が２５５の場合は望遠視差画像が無効なので、望遠視差画像の画素値を参照すればよい。
【００５８】
・Ｓ４０
望遠視差画像が有効だった場合（Ｓ３０のＹｅｓ）、視差画像合成部３７は、その望遠視差画像の画素値をそのまま出力視差画像の画素値として採用する。
【００５９】
・Ｓ５０
望遠視差画像の範囲内でない場合（Ｓ１０のＮｏ）、及び、望遠視差画像が有効でなかった場合（Ｓ３０のＮｏ）、視差画像合成部３７は、位置i,jの広角視差画像の画素の画素値を４倍した値を出力視差画素値として採用する。
【００６０】
このような合成処理により、広角画像（中心射影画像）の視野範囲の全画素について1/4 画素単位の視差画像が得られ、そのうち中央250x250 画素については、拡大した望遠画像に基づいて特に高精度に視差を求めることができる。
【００６１】
〔その他の構成例〕
＜円筒面へ再投影＞
上記の実施形態では撮影画像を中心射影画像へ変換したが、円筒面撮像面へ投影しても
よい。図１０（ａ）は等距離射影画像の円筒面撮像面への投影を模式的に示す図の一例である。図示するように右カメラＣ１及び左カメラＣ０で撮影された広角の撮影画像は、縦方向が円形状の円筒面に投影される。
ｄ＝ｆ・θ
このように、円筒面に投影された円当面撮像画像は縦方向には元々広い視野を持つので、望遠画像は画像中央部を横方向にのみ拡大すればよい。図１０（ｂ）は、円筒面撮像画像と望遠画像の一例を示す図である。右望遠画像生成部３２と左望遠画像生成部３４は円筒面撮像画面の、縦方向の中央部を含む幅広な領域（以下、横幅広領域という）を、1000×1000画素の望遠画像（中心射影画像）に変換する。1000×1000画素になるように横幅広領域を決定してもよいし、所望の横幅広領域を決定しておき1000×1000画素内の有効画素に配置してもよい。
【００６２】
このような望遠画像に対し、望遠視差検出部３６は、横幅広領域のサイズに合わせて、基準画像（左望遠画像）の例えば横方向には1画素ずつ縦方向にはｎ画素毎に１画素ずつ画素を取り出して、右画像を１画素ずつずらしながら相関値を求めることで視差画像を生成する。
【００６３】
そして、視差画像合成部３７が視差画像を円筒面撮像画像の横幅広領域に合成することで、縦方向に広い視野で測距が可能で、かつ、横方向に高精度に視差を求めることができるステレオカメラ１００が得られる。なお、等距離射影画像の投影方向を90度変更して、横方向に広い視野を得ておき縦長領域の望遠画像を生成してもよい。
【００６４】
＜２種類以上の視野画像＞
上記の実施形態では、左カメラＣ０と右カメラＣ１が撮影した撮像画像を、望遠(20 度視野) と広角(80度視野) の２つの画像に変形処理したが、たとえば20 度、40 度、80 度といった３種類又はそれ以上の種類の視野をもつ画像に変形処理することもできる。この場合、中心の画素ほど視差精度が高く、かつ、広い視野の視差画像が得られる。なお、視差画像合成部３７は、より倍率の高い画像による視差画像を優先的に採用すればよく、より倍率の高い画像がない領域では倍率に応じて視差を変倍すればよい。
【符号の説明】
【００６５】
２１ レンズ
２２ 絞り
２３ ＣＭＯＳイメージセンサ
２７ フレームメモリ
２８ デジタル信号処理部
３１ 右広角画像生成部
３２ 右望遠画像生成部
３３ 左広角画像生成部
３４ 左望遠画像生成部
３５ 広角視差検出部
３６ 望遠視差検出部
３７ 視差画像合成部
１００ ステレオカメラ
【先行技術文献】
【特許文献】
【００６６】
【特許文献１】特開２００８-２６０８８号公報
【特許文献２】特開２００９-１３９２４６号公報
【特許請求の範囲】
【請求項１】
光軸が並行に配置された二つの撮像手段と、
二つの前記撮像手段が撮影した画像データを等距離射影画像に投影する二つの光学系と、
二つの前記等距離射影画像からエピポーラ線が直線になる第一の変形画像データ及び第二の変形画像データを生成する第一の画像生成手段と、
二つの前記等距離射影画像の所定領域から前記第一の変形画像データ及び第二の変形画像データよりも倍率が大きくエピポーラ線が直線になる第三の変形画像データ及び第四の変形画像データを生成する第二の画像生成手段と、
前記第一の変形画像データと前記第二の変形画像データを比較して画素に視差情報が配置された第一の視差画像を生成する第一の視差画像生成手段と、
前記第三の変形画像データと前記第四の変形画像データを比較して画素に視差情報が配置された第二の視差画像を生成する第二の視差画像生成手段と、
前記第一の変形画像データ又は第二の変形画像データと、前記第三の変形画像データ又は第四の変形画像データの倍率により定まる前記第一の視差画像の画素の画素値を、前記第二の視差画像の画素の画素値で置き換える画像合成手段と、
を有するステレオカメラ装置。
【請求項２】
前記第二の視差画像生成手段は、基準画像となる前記第三の変形画像データ又は前記第四の変形画像データの画素値を前記倍率に応じて所定数の画素毎に抽出し、比較対象の前記第三の変形画像データ又は前記第四の変形画像データの画素値と一画素毎に画素値の相関情報を求めることで、前記第二の視差画像を生成する、
ことを特徴とする請求項１記載のステレオカメラ装置。
【請求項３】
二つの前記等距離射影画像の所定領域から前記第三の変形画像データ及び第四の変形画像データよりも第二の倍率が大きくエピポーラ線が直線になる第五の変形画像データ及び第六の変形画像データを生成する第三の画像生成手段、を有し、
前記画像合成手段は、前記第二の視差画像よりも優先して、前記第五の変形画像データと前記第六の変形画像データを比較して得られた第三の視差画像によって、前記第二の倍率により定まる前記第一の視差画像の画素の画素値を置き換える、
ことを特徴とする請求項１又は２記載のステレオカメラ装置。
【請求項４】
二つの前記光学系は、等距離射影画像、等立体角射影若しくは正射影の特性を備えたレンズ、又は、樽型の歪曲収差を持つ中心射影特性の特性を備えたレンズを有する、
ことを特徴とする請求項１〜３いずれか１項記載のステレオカメラ装置。
【請求項５】
前記第一の画像生成手段は、二つの前記等距離射影画像を円筒面に投影した円筒面画像データを生成し、
前記第二の画像生成手段は、二つの前記円筒面画像データの縦方向中央部を含み横幅が縦幅よりも広い所定領域から、前記円筒面画像データよりも倍率が大きい前記第三の変形画像データ及び前記第四の変形画像データを生成する、
ことを特徴とする請求項１項記載のステレオカメラ装置。
【請求項６】
光軸が並行に配置された二つの撮像手段と、
二つの前記撮像手段が撮影した画像データを等距離射影画像に投影する２つの光学系と、を有するステレオカメラ装置の視差画像生成方法であって、
第一の画像生成手段が、二つの前記等距離射影画像からエピポーラ線が直線になる第一の変形画像データ及び第二の変形画像データを生成するステップと、
第二の画像生成手段が、二つの前記等距離射影画像の所定領域から前記第一の変形画像データ及び第二の変形画像データよりも倍率が大きくエピポーラ線が直線になる第三の変形画像データ及び第四の変形画像データを生成するステップと、
第一の視差画像生成手段が、前記第一の変形画像データと前記第二の変形画像データを比較して画素に視差情報が配置された第一の視差画像を生成するステップと、
第二の視差画像生成手段が、前記第三の変形画像データと前記第四の変形画像データを比較して画素に視差情報が配置された第二の視差画像を生成するステップと、
画像合成手段が、前記第一の変形画像データ又は第二の変形画像データと、前記第三の変形画像データ又は第四の変形画像データの倍率により定まる前記第一の視差画像の画素の画素値を、前記第二の視差画像の画素の画素値で置き換えるステップと、
を有する視差画像生成方法。
【請求項１】
光軸が並行に配置された二つの撮像手段と、
二つの前記撮像手段が撮影した画像データを等距離射影画像に投影する二つの光学系と、
二つの前記等距離射影画像からエピポーラ線が直線になる第一の変形画像データ及び第二の変形画像データを生成する第一の画像生成手段と、
二つの前記等距離射影画像の所定領域から前記第一の変形画像データ及び第二の変形画像データよりも倍率が大きくエピポーラ線が直線になる第三の変形画像データ及び第四の変形画像データを生成する第二の画像生成手段と、
前記第一の変形画像データと前記第二の変形画像データを比較して画素に視差情報が配置された第一の視差画像を生成する第一の視差画像生成手段と、
前記第三の変形画像データと前記第四の変形画像データを比較して画素に視差情報が配置された第二の視差画像を生成する第二の視差画像生成手段と、
前記第一の変形画像データ又は第二の変形画像データと、前記第三の変形画像データ又は第四の変形画像データの倍率により定まる前記第一の視差画像の画素の画素値を、前記第二の視差画像の画素の画素値で置き換える画像合成手段と、
を有するステレオカメラ装置。
【請求項２】
前記第二の視差画像生成手段は、基準画像となる前記第三の変形画像データ又は前記第四の変形画像データの画素値を前記倍率に応じて所定数の画素毎に抽出し、比較対象の前記第三の変形画像データ又は前記第四の変形画像データの画素値と一画素毎に画素値の相関情報を求めることで、前記第二の視差画像を生成する、
ことを特徴とする請求項１記載のステレオカメラ装置。
【請求項３】
二つの前記等距離射影画像の所定領域から前記第三の変形画像データ及び第四の変形画像データよりも第二の倍率が大きくエピポーラ線が直線になる第五の変形画像データ及び第六の変形画像データを生成する第三の画像生成手段、を有し、
前記画像合成手段は、前記第二の視差画像よりも優先して、前記第五の変形画像データと前記第六の変形画像データを比較して得られた第三の視差画像によって、前記第二の倍率により定まる前記第一の視差画像の画素の画素値を置き換える、
ことを特徴とする請求項１又は２記載のステレオカメラ装置。
【請求項４】
二つの前記光学系は、等距離射影画像、等立体角射影若しくは正射影の特性を備えたレンズ、又は、樽型の歪曲収差を持つ中心射影特性の特性を備えたレンズを有する、
ことを特徴とする請求項１〜３いずれか１項記載のステレオカメラ装置。
【請求項５】
前記第一の画像生成手段は、二つの前記等距離射影画像を円筒面に投影した円筒面画像データを生成し、
前記第二の画像生成手段は、二つの前記円筒面画像データの縦方向中央部を含み横幅が縦幅よりも広い所定領域から、前記円筒面画像データよりも倍率が大きい前記第三の変形画像データ及び前記第四の変形画像データを生成する、
ことを特徴とする請求項１項記載のステレオカメラ装置。
【請求項６】
光軸が並行に配置された二つの撮像手段と、
二つの前記撮像手段が撮影した画像データを等距離射影画像に投影する２つの光学系と、を有するステレオカメラ装置の視差画像生成方法であって、
第一の画像生成手段が、二つの前記等距離射影画像からエピポーラ線が直線になる第一の変形画像データ及び第二の変形画像データを生成するステップと、
第二の画像生成手段が、二つの前記等距離射影画像の所定領域から前記第一の変形画像データ及び第二の変形画像データよりも倍率が大きくエピポーラ線が直線になる第三の変形画像データ及び第四の変形画像データを生成するステップと、
第一の視差画像生成手段が、前記第一の変形画像データと前記第二の変形画像データを比較して画素に視差情報が配置された第一の視差画像を生成するステップと、
第二の視差画像生成手段が、前記第三の変形画像データと前記第四の変形画像データを比較して画素に視差情報が配置された第二の視差画像を生成するステップと、
画像合成手段が、前記第一の変形画像データ又は第二の変形画像データと、前記第三の変形画像データ又は第四の変形画像データの倍率により定まる前記第一の視差画像の画素の画素値を、前記第二の視差画像の画素の画素値で置き換えるステップと、
を有する視差画像生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１９８０７７（Ｐ２０１２−１９８０７７Ａ）
【公開日】平成２４年１０月１８日（２０１２．１０．１８）
【国際特許分類】
【出願番号】特願２０１１−６１７２９（Ｐ２０１１−６１７２９）
【出願日】平成２３年３月１８日（２０１１．３．１８）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２４年１０月１８日（２０１２．１０．１８）
【国際特許分類】
【出願日】平成２３年３月１８日（２０１１．３．１８）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]