説明

ステレオ撮像装置

【課題】輝度差が大きい場面で、撮像する全フレームにおいて、視差画像を含む視差情報を得ることができるステレオ撮像装置を提供することである。
【解決手段】第1の画像と第1の画像と露光時間が異なる第2の画像を取得する画像取得部と、取得した第1の画像及び第2の画像の一方の画像に輝度補正を行うゲイン・オフセット補正部102と、輝度補正部で補正された一方の画像と他方の画像から視差を計算し、視差画像及び視差情報を出力する視差計算部103と、取得した第1の画像及び第2の画像を合成して合成画像を生成し、出力する合成画像生成部105と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の撮像素子を有するステレオ撮像装置に関する。
【背景技術】
【0002】
近年、ステレオカメラなど複数のカメラを用いて歩行者や車両などの障害物を検出する障害物検出装置が実用化されている。ステレオカメラとは、同時刻に撮像された複数の画像上における同一対象物の位置ずれ(視差)を、テンプレートマッチングにより算出し、算出した視差をもとに対象物の実空間上の位置を、周知の変換式により算出する装置である。
【0003】
このステレオカメラは、左右2つの撮像素子で撮像した1対の画像を用いて、対象物の距離を算出し、対象物の認識を行うものである。
【0004】
このステレオカメラを用いて、輝度差の大きい場面の画像を記録し、その画像の再生時に部分的にとびやつぶれによる輝度差が観賞者の感知できないという問題を解決するステレオ撮影可能であることが特許文献1に開示されている。
【0005】
また、ステレオカメラではないが、特許文献2には、広ダイナミックレンジな立体画像や高精度な距離情報を得ることができる撮像装置が開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2000−56414号公報
【特許文献2】特開2003−18617号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
一般的なダイナミックレンジ(たとえば60dB前後)の撮像素子では、輝度差が大きい場面、たとえば、夜間の道路面と先行車のブレーキランプを同時に撮像する場面や、トンネルの出入り口でのトンネル内とトンネル外を同時に撮像する場面においては、高輝度部分に露光をあわせると、その他の部分が暗くなる(以降、黒つぶれと呼ぶ。)。逆に、低輝度部分に露光をあわせると、高輝度部分が白く飽和してしまう(以降、白とびと呼ぶ。)。
【0008】
こうした問題において、前記特許文献1のような従来技術では、ステレオ撮影可能なカメラにおいて、左右のカメラで露光時間を変えて撮像することができるが、左右の画像を合成出力することで左右の画像の明るさがなるべく等しく見えるように加工しているだけであり、視差画像を含む視差情報を得ることはできない。
【0009】
さらに、ステレオ撮像装置における視差画像を含む視差情報を得るためには、2つの画像で同一輝度の画像が必要であるが、前記特許文献2のような従来技術では撮像するフレームごとに、長時間露光画像と短時間露光画像とを合成して、広ダイナミックレンジ画像を合成することはできるが、この場合、長時間露光画像と短時間露光画像を得るのに、少なくても、2フレーム以上が必要である。高速走行時は、撮像する時間が異なると、得られる画像の変化、すなわち撮像シーンの変化が大きくなり、視差画像を含む視差情報を正しく求めることは難しい。
【0010】
本発明の目的は、輝度差が大きい場面で、撮像する全フレームにおいて、視差画像を含む視差情報を得ることができるステレオ撮像装置を提供することである。
【課題を解決するための手段】
【0011】
上記課題を解決するために本発明のスレテオ撮像装置は、第1の画像と第1の画像と露光時間が異なる第2の画像を取得する画像取得部と、取得した第1の画像及び第2の画像の一方の画像に輝度補正を行う輝度補正部と、輝度補正部で補正された一方の画像と他方の画像から視差を計算し、視差画像及び視差情報を出力する視差計算部と、取得した第1の画像及び第2の画像を合成して合成画像を生成し、出力する合成画像生成部と、を備える構成とする。
【発明の効果】
【0012】
本発明は、輝度差が大きい場面で、撮像する全フレームにおいて、視差画像を含む視差情報を得ることができるステレオ撮像装置を提供できる。
【図面の簡単な説明】
【0013】
【図1】本発明に係るステレオ撮像装置の一実施例を示す図である。
【図2】図1の各工程における画像の例を示した図である。
【図3】本発明に係るステレオ撮像装置の他の実施例を示す図である。
【発明を実施するための形態】
【0014】
以下、実施例を図面を用いて説明する。
【実施例1】
【0015】
本実施例では、ステレオ撮像装置100について図1、図2を用いて説明する。
【0016】
撮像素子を含む2つの画像を取得する装置として、たとえば、カメラモジュールがある。以降、左カメラ110(第1の撮像素子)と右カメラ111(第2の撮像素子)と呼ぶ。
【0017】
左カメラ110と右カメラ111は、それぞれで異なる露光時間で撮像することができる。よって、同時に撮像したときに得られる画像(同一フレーム画像と呼ぶ)として、左カメラ110と右カメラ111とで、明るい画像200(第1の画像)と暗い画像210(第1の画像より暗い第2の画像)を撮像できる。撮像状況や撮像対象によっては、常時、左右カメラにおいて異なる露光時間で撮像してもよいし、場合によっては、左右カメラにおいて同一の露光時間で撮像してもよい。本発明を説明する上で、以降、左カメラ110は明るい画像を得られる長い露光時間(第1の露光時間)で、右カメラ111は暗い画像を得られる短い露光時間(第1の露光時間より短い第2の露光時間)で設定されて、撮像されるものとする。
【0018】
左カメラ110と右カメラ111で撮像された明るい画像200、暗い画像210を画像取得部で取得し、取得した明るい画像200、暗い画像210の明暗画像を視差演算部101と画像合成部104に入力する。視差演算部101では、画像の輝度補正ができる輝度補正部であるゲイン・オフセット補正部102に入力される。このゲイン・オフセット補正部102は、明るい画像200と暗い画像210の輝度を合わせる。予め、左カメラ110と右カメラ111の露光時間を記憶しているので、そこから求められるゲイン値およびオフセット補正値により、左右の明暗画像の輝度を合わせる補正をする。輝度差が合った左画像201と右画像211を用いて、視差計算部103にてステレオ視差画像220および視差情報221を算出する。
【0019】
一方で、画像合成部104に入力された左右の明暗画像を元に、合成画像生成部105にて、「白とび」と「黒つぶれ」を補完し合い、広ダイナミックレンジ画像230を生成する。ここで、合成画像生成のための情報として、視差計算部103で算出した視差情報221を用いて、左カメラ110で撮像した明るい画像と、右カメラ111から撮像した暗い画像において、合成画像を生成するのに適した画像領域を選択して、当該画像において「白とび」と「黒つぶれ」を補完することもできる。
【0020】
前記構成にて、左カメラ110からの明るい画像200、右カメラ111からの暗い画像210、ステレオ視差画像220、および、広ダイナミックレンジ画像230を生成することができる。
【0021】
ここで、左カメラ110からの明るい画像200(第1の画像)と、右カメラ111からの暗い画像210(第2の画像)と、ステレオ視差画像220(視差画像)と、広ダイナミックレンジ画像230(合成画像)と、のいずれかを画像セレクタ部106にて選択して、出力する。
【0022】
たとえば、後段の画像処理部112では、画像処理アプリケーションに適した画像を、前記の中から、画像セレクタ部106にて選択して、画像処理を行うことができる。
【0023】
以上のように、本発明のステレオ撮像装置によれば、撮像素子がもつダイナミックレンジ性能以上の広ダイナミックレンジ画像を1フレームの撮像画像から合成して生成して、かつ、従来同様の視差画像を含む視差情報を得ることができるため、1つのステレオ撮像装置にて、多機能画像処理を実現できる。
【実施例2】
【0024】
本実施例では、第1の実施例とは異なり、画像判定・画像選択が行えるステレオ撮像装置の例を説明する。
【0025】
図3は、実施例2におけるステレオ撮像装置400を示す構成図の例である。
【0026】
図1のステレオ撮像装置100のうち、すでに説明した図1に示された同一の符号を付された構成と、同一の機能を有する部分については、説明を省略する。
【0027】
図3のステレオ撮像装置400では、図1のステレオ撮像装置100に、画像判定部401を備える。画像判定部401の結果が左カメラ110と右カメラ111、および画像セレクタ部106に接続される。また、画像セレクタ部106には、外部の画像選択部411が接続される。
【0028】
ステレオ撮像装置100と同様に、明るい画像200(第1の画像)と、暗い画像210(第1の画像より暗い第2の画像)、および、広ダイナミックレンジ画像230を元に、画像判定部401にて、画像処理部112で必要になる画像を決定し、画像判定部401からの情報により、画像セレクタ部106において、画像を選択する。
【0029】
画像セレクタ部106では、画像判定部401からの指示で選択する他に、外部の画像選択部411からの画像選択指令に基づいて、画像を選択することもできる。
【0030】
また、画像判定部401で、撮像状況における露光時間を決定し、左カメラ110と右カメラ111の露光時間を直接制御することもできる。つまり、撮像素子の露光時間を決定し、撮像素子へ決定された露光時間を出力する。これにより、左右の露光時間調整機能に加えて、フレームごとに露光時間を調整し、フレームごとにも明るい画像と暗い画像を撮像することができる。さらに、たとえば、スモールライト点灯情報などの外部要因412(外部要因情報)から、撮像シーンが夜間である(全体的に暗い画像になっていると)認識させて、明るい画像と暗い画像を得るための露光時間を制御することもできる。
【0031】
前記のように、左カメラ110と右カメラ111の露光時間を、同一フレームで明るい画像と暗い画像を取得することができ、かつ、異なるフレーム間で明るい画像と暗い画像を取得することもできる。
【0032】
以上のように、本発明によれば、当該ステレオ撮像装置で得られた画像のなかから、画像処理アプリケーションに最適な画像を選択することができて、たとえば、1台のステレオ撮像装置で多機能を実現できる。
【0033】
必要に応じて、左カメラ110と右カメラ111の同一フレームにおける露光時間をそれぞれ制御し、かつ、異なるフレームにおける露光時間を制御できる一方で、常時、露光時間を固定することも可能であり、その場合は、従来と同等の機能も実現できる。
【実施例3】
【0034】
本実施例では、2つ以上の撮像素子を有するステレオ撮像装置の例を説明する。
【0035】
図1のステレオ撮像装置100、および、図3のステレオ撮像装置400で説明した構成において、たとえば、左カメラ110と右カメラ111に加えて、第三、第四のカメラ(第3の撮像素子、第4の撮像素子)を備えても、前記説明した手法と同様にして、多種多様な画像を生成することが可能である。さらに、たとえば、単眼カメラを複数組み合わせた場合にも適用できる。
【符号の説明】
【0036】
100、400 ステレオ撮像装置
102 ゲイン・オフセット補正部
103 視差計算部
105 合成画像生成部
106 画像セレクタ部
110 左カメラ
111 右カメラ
112 画像処理部
200 明るい画像
210 暗い画像
220 視差画像
221 視差情報
230 広ダイナミックレンジ画像
401 画像判定部
411 画像選択部
412 外部要因

【特許請求の範囲】
【請求項1】
第1の画像と前記第1の画像と露光時間が異なる第2の画像を取得する画像取得部と、
取得した前記第1の画像及び前記第2の画像の一方の画像に輝度補正を行う輝度補正部と、
前記輝度補正部で補正された前記一方の画像と他方の画像から視差を計算し、視差画像及び視差情報を出力する視差計算部と、
取得した前記第1の画像及び前記第2の画像を合成して合成画像を生成し、出力する合成画像生成部と、を有するステレオ撮像装置。
【請求項2】
請求項1記載の撮像装置において、
前記合成画像生成部は、取得した前記第1の画像及び前記第2の画像と前記視差情報から合成画像を生成するステレオ撮像装置。
【請求項3】
請求項1記載の撮像装置において、
前記第1の画像と、前記第1の画像と露光時間が異なる第2の画像と、前記視差画像と、前記合成画像と、のいずれかを選択して、出力する画像セレクタ部と、を有するステレオ撮像装置。
【請求項4】
請求項3記載の撮像装置において、
前記第1の画像と、前記第1の画像と露光時間が異なる第2の画像と、前記合成画像と、が入力され、入力された画像のいずれかを決定する画像判定部を有し、
前記画像セレクタ部は、前記画像判定部で決定された画像を選択するステレオ撮像装置。
【請求項5】
請求項3記載の撮像装置において、
前記画像セレクタ部は、外部から入力された画像選択指令に基づいて、画像を選択するステレオ撮像装置。
【請求項6】
請求項1記載の撮像装置において、
前記第1の画像と、前記第1の画像と露光時間が異なる第2の画像と、前記合成画像と、が入力され、入力された画像のいずれかを決定する画像判定部を有し、
前記画像判定部は、撮像素子の露光時間を決定し、撮像素子へ決定された露光時間を出力するステレオ撮像装置。
【請求項7】
請求項6記載の撮像装置において、
前記画像判定部は、フレーム単位で、撮像素子の露光時間を決定するステレオ撮像装置。
【請求項8】
請求項6記載の撮像装置において、
前記画像判定部は、外部から入力された外部要因情報に基づいて、撮像素子の露光時間を決定するステレオ撮像装置。
【請求項9】
請求項1記載の撮像装置において、
前記画像取得部は、少なくとも3つ以上の複数の画像を取得するステレオ撮像装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate


【公開番号】特開2013−88587(P2013−88587A)
【公開日】平成25年5月13日(2013.5.13)
【国際特許分類】
【出願番号】特願2011−228432(P2011−228432)
【出願日】平成23年10月18日(2011.10.18)
【出願人】(509186579)日立オートモティブシステムズ株式会社 (2,205)
【Fターム(参考)】