撮像装置および撮像方法
【課題】 同一時刻に撮影された視差を有し、かつ露光量の異なる画像から広ダイナミックレンジ画像の生成と被写体までの測距を同時に行うことができる撮像装置を提供する。
【解決手段】 撮像装置１は、視差を有しかつ露光量の異なる複数の画像を生成するカメラ１００，１０１と、複数の画像の明るさを露光量に基づいて調整する画像輝度調整部２００，２０１と、明るさが調整された複数の画像を用いて画像のマッチングを行い、マッチング情報を求めるマッチング部２１，２２と、所定の被写体までの距離をマッチング情報に基づいて求める距離算出部３１と、マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行う位置校正部２４と、位置校正部２４で位置校正された異なる露光量の複数の画像を合成して、カメラ１００，１０１にて撮像された画像より広いダイナミックレンジを有する画像を生成する広ダイナミックレンジ画像生成部３２とを備える。
【解決手段】 撮像装置１は、視差を有しかつ露光量の異なる複数の画像を生成するカメラ１００，１０１と、複数の画像の明るさを露光量に基づいて調整する画像輝度調整部２００，２０１と、明るさが調整された複数の画像を用いて画像のマッチングを行い、マッチング情報を求めるマッチング部２１，２２と、所定の被写体までの距離をマッチング情報に基づいて求める距離算出部３１と、マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行う位置校正部２４と、位置校正部２４で位置校正された異なる露光量の複数の画像を合成して、カメラ１００，１０１にて撮像された画像より広いダイナミックレンジを有する画像を生成する広ダイナミックレンジ画像生成部３２とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視差を有しかつ露光量の異なる複数枚の画像を撮像する撮像装置に関し、より詳しくは被写体までの測距および複数枚の画像を合成した広ダイナミックレンジ画像の生成機能を有する撮像装置に関する。
【背景技術】
【０００２】
近年、監視用カメラや車載用カメラなどに代表されるように、セキュリティ、インフラ、安心安全といった幅広い用途でディジタルカメラの使用が急速に拡大している。こうした用途で使用される場合、一般的な家庭で使用されるディジタルカメラに対する性能要求（高画質、高解像度など）とは異なり、例えば、どのような環境下でも黒潰れや白飛びがなく被写体を確実に撮像するためのダイナミックレンジの広さや、センシング用途として被写体までの距離を測定する測距機能が必要とされる。
【０００３】
広ダイナミックレンジ画像の生成は、異なる露光量で撮影された複数枚の画像を合成する方法が一般的であり、従来から種々の手法が提案されている。また、視差のある複数枚の画像を用いて、画像中の被写体までの距離を測定するには、画像間で被写体のマッチングを行い、それぞれの画像における被写体の撮像位置を元に三角測量の原理を用いる手法が一般的である。画像間のマッチング手法についても従来から種々の方法が提案されている。
【０００４】
このように広ダイナミックレンジ画像の生成手法と測距手法が、それぞれ独立して種々の手法が提案されている中で、視差を有しかつ露光量が異なる複数枚の画像から広ダイナミックレンジ画像の生成と測距の両方を行う手法も提案されている。例えば、特許文献１に記載された撮像装置は、視差を有しかつ露光量の等しい複数枚の画像と、視差のない露光量の異なる複数枚の画像を撮像する手段を備えている。この撮像装置は、前者の画像から被写体までの距離を測定し、後者の画像から広ダイナミックレンジ画像を生成することで、距離情報と広ダイナミックレンジ画像の両方を得ている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−１８６１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来手法においては、被写体までの測距のために、視差を有しかつ露光量の等しい画像を２枚必要とし、広ダイナミックレンジ画像生成のために、視差のない露光量の異なる画像を２枚とするため、合計４枚の画像が最低でも必要となる。
【０００７】
一般的なステレオカメラで撮影することを考えると、映像１フレームの撮影で視差のある露光量の等しい画像を２枚撮影できるので、ある時刻におけるｔフレーム目に露光量ｎで撮影し、次のｔ＋１フレーム目に露光量ｍで撮影することになる。このとき距離情報は同一フレームで撮影される２枚の画像から測定できる。しかし、広ダイナミックレンジ画像を生成するためにはｎフレーム目に撮影した画像とｎ＋１フレーム目に撮影した画像を合成する必要があるので、合成する２枚の画像には撮影時間の差がある。被写体が動くようなシーンでは動きによる残像が発生するという課題があった。
【０００８】
また、映像１フレームの撮影で視差があり露光量も異なる画像が２枚撮影できるステレオカメラを使用する場合、ある時刻におけるｔフレーム目にカメラＡで露光量ｎ、カメラＢで露光量ｍとして撮影し、ｔ＋１フレーム目にカメラＡで露光量ｍ、カメラＢで露光量ｎとして撮影する。このとき、広ダイナミックレンジ画像は同一フレームで撮影される２枚の画像から生成できる。しかし、測距は、異なるフレームに撮影した画像で行うため撮影時間の差がある。被写体が動くようなシーンでは、被写体がフレーム間で移動してしまうことから、被写体までの距離が正しく算出できないという課題があった。
【０００９】
本発明は、従来の問題を解決するためになされたもので、広ダイナミックレンジ画像の生成と、被写体までの測距を同時に行う撮像装置および撮像方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の撮像装置は、複数の撮像素子が異なる露光量で撮像を行って、視差を有しかつ露光量の異なる画像を生成する撮像部と、前記撮像部による撮像により得られた複数の画像の明るさを、それぞれの画像の撮像に用いられた露光量に基づいて調整する画像輝度調整部と、明るさが調整された視差を有する複数の画像を用いて、前記画像のマッチングを行い、視差を有する画像間において対応する領域を特定するマッチング情報を求めるマッチング部と、所定の被写体までの距離を、前記被写体の画像を構成する領域のマッチング情報に基づいて求める距離算出部と、前記マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行う位置校正部と、前記位置校正部で位置校正された異なる露光量の複数の画像を合成して、前記撮像部にて撮像された画像より広いダイナミックレンジを有する画像を生成する広ダイナミックレンジ画像生成部とを備えた構成を有する。
【００１１】
この構成により、広ダイナミックレンジ画像の生成と被写体までの測距を同時に行うことができる。
【００１２】
本発明の撮像装置において、前記画像輝度調整部は、それぞれの画像の撮像に用いられた露光量の比を用いて画像の明るさを調整する構成を有する。
【００１３】
この構成により、視差を有しかつ露光量が異なる複数の画像から、露光量の相違による明るさの違いを調整した視差を有する画像を求めることができる。
【００１４】
本発明の撮像装置において、前記撮像部は撮像によって視差を有しかつ露光量の異なる第１画像および第２画像を生成し、前記画像輝度調整部は、前記第１画像の明るさを前記第２画像の露光量に基づいて調整した調整済み第１画像と、前記第２画像の明るさを前記第１画像の露光量に基づいて調整した調整済み第２画像を生成し、前記マッチング部は、前記第１画像と前記調整済み第２画像とのマッチングを行って第１のマッチング情報を求め、前記調整済み第１画像と前記第２画像とのマッチングを行って第２のマッチング情報を求め、前記第１のマッチング情報と前記第２のマッチング情報を統合して、前記マッチング情報を求める構成を有する。
【００１５】
この構成により、第１のマッチング情報と第２のマッチング情報とを用いて適切にマッチング情報を生成することができる。
【００１６】
本発明の撮像装置において、前記マッチング部は、前記第１画像と前記調整済み第２画像とのマッチング、および、前記調整済み第１画像と前記第２画像とのマッチングによって、対応する領域が求まらなかった領域について、当該領域の周囲の領域の対応情報を用いた補間処理によって対応関係を求める構成を有する。
【００１７】
この構成により、画像輝度を調整した画像のマッチングによって完全な対応関係が求まらない領域についても、周囲の領域のマッチング情報を補間することによってマッチング情報を求めることができる。
【００１８】
本発明の撮像方法は、複数の撮像素子が異なる露光量で撮像を行って、視差を有しかつ露光量の異なる画像を生成するステップと、撮像により得られた複数の画像の明るさを、それぞれの画像の撮像に用いられた露光量に基づいて調整するステップと、明るさが調整された視差を有する複数の画像を用いて、前記画像のマッチングを行い、視差を有する画像間において対応する領域を特定するマッチング情報を求めるステップと、所定の被写体までの距離を、前記被写体の画像を構成する領域のマッチング情報に基づいて求めるステップと、前記マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行うステップと、前記位置校正部で位置校正された異なる露光量の複数の画像を合成して、前記撮像部にて撮像された画像より広いダイナミックレンジを有する画像を生成するステップとを備えた構成を有する。
【００１９】
本発明のプログラムは、異なる露光量で撮像された視差を有する複数の画像に基づいて画像を生成するために、コンピュータに、複数の画像の明るさを、それぞれの画像の撮像に用いられた露光量に基づいて調整するステップと、明るさが調整された視差を有する複数の画像を用いて、前記画像のマッチングを行い、視差を有する画像間において対応する領域を特定するマッチング情報を求めるステップと、所定の被写体までの距離を、前記被写体の画像を構成する領域のマッチング情報に基づいて求めるステップと、前記マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行うステップと、前記位置校正部で位置校正された異なる露光量の複数の画像を合成して、前記撮像部にて撮像された画像より広いダイナミックレンジを有する画像を生成するステップとを実行させる構成を有する。
【００２０】
この構成により、本発明の撮像方法およびプログラムは、広ダイナミックレンジ画像の生成と被写体までの測距を同時に行うことができる。本発明の撮像装置の各種の構成を、本発明の撮像方法およびプログラムに適用することも可能である。
【発明の効果】
【００２１】
本発明によれば、広ダイナミックレンジ画像の生成と被写体までの測距を同時に行うことができるという優れた効果を有する。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施の形態における撮像装置の概略構成を示すブロック図
【図２】本発明の実施の形態における通常の露光制御を示す図
【図３】本発明の実施の形態における露光制御を示す図
【図４】本発明の実施の形態における撮像部１００の画像に対する画像露光変換を示す図
【図５】本発明の実施の形態における撮像部１０１の画像に対する画像露光変換を示す図
【図６】本発明の実施の形態における画像マッチングの流れを示す図
【図７】本発明の実施の形態におけるマッチング補間処理の動作フロー図
【図８】（ａ）画像を構成する各画素におけるマッチング情報ｍを示す図（ｂ）画像を構成する各画素におけるマッチング情報ｎを示す図（ｃ）統合されたマッチング情報を示す図
【図９】本発明の実施の形態におけるマッチング情報の補間処理を示すブロック図
【図１０】本発明の実施の形態における画像の位置校正を示すブロック図
【図１１】本発明の実施の形態における広ダイナミックレンジ画像生成を示すブロック図
【発明を実施するための形態】
【００２３】
以下に、本発明の実施の形態の撮像装置について、図面を参照しながら説明する。
図１は、実施の形態の撮像装置１の構成を示す図である。撮像装置１は、被写体を撮像して映像信号を出力する基本的な撮像処理を行うカメラ１００およびカメラ１０１と、カメラ１００とカメラ１０１に対して所定の露光比になるようにそれぞれの露光量を制御する露光制御部３０と、カメラ１００から出力される画像とその画像に対して輝度調整した画像を画像バッファに保存する画像露光変換部２００と、カメラ１０１から出力される画像とその画像に対して輝度調整した画像を画像バッファに保存する画像露光変換部２０１と、画像露光変換部２００および画像露光変換部２０１で保存された画像から露光量が仮想的に等しい画像間でマッチングを取り、マッチングによって得られたマッチング情報を元にマッチング情報の統合と補間処理を行い、かつ、統合されたマッチング情報をもとにカメラ１０１で撮像された画像に対してカメラ１００で撮像された画像と視差がなくなるように位置校正を行う画像視差校正部３００と、カメラ１００で撮像された画像と画像視差校正部３００で求めたマッチング情報から画像に映る被写体までの撮像装置からの距離を算出する距離算出部３１と、カメラ１００で撮像された画像と画像視差校正部３００で位置校正を行った画像を合成して広ダイナミックレンジ画像を生成する広ダイナミックレンジ画像生成部３２とを備えている。なお、カメラ１００とカメラ１０１は、所定の距離だけ間隔をあけて水平に設置されている。カメラ１００とカメラ１０１は、本発明の「撮像部」を構成する。
【００２４】
カメラ１００は、レンズ１０と、絞り１１と、撮像素子１２と、Ａ／Ｄ変換器１３と、映像信号処理部１４とを備えている。カメラ１００は、露光制御部３０で指定された露光量（露光量ｍとする）となるように絞りやシャッタースピード（図示しない）を調整し、撮像する。レンズ１０から入射する被写体からの光を絞り１１で絞り、撮像素子１２に結像する。撮像素子１２は、結像した像を光電変換してアナログ信号を出力する。Ａ／Ｄ変換器１３は、撮像素子１２から出力されたアナログ信号をデジタル信号に変換する。映像信号処理部１４は、Ａ／Ｄ変換されたデジタル信号から映像信号を生成するための信号処理を行う。映像信号処理部１４は、輝度信号生成、色信号生成、アパーチャ信号生成などの信号処理のほか、ＯＢ減算やホワイトバランス調整、ノイズ低減など一般的な映像用の信号処理を行う。
【００２５】
カメラ１０１は、カメラ１００と同じ構成を有する。露光制御部３０で指定された露光量（露光量ｎとする）となるように絞りやシャッタースピードを調整し、撮像する。
【００２６】
次に、カメラ１００およびカメラ１０１の露光量を制御する露光制御部３０について説明する。まず、露光量の通常の制御方法について図２を参照しながら説明する。通常、露光制御は、画面の輝度値があらかじめ定めた目標輝度値と等しくなるようにする。例えば、フレームｔ（露光量ａとする）における画面輝度値を求める。画面輝度値としては、画面全体の平均値を用いてもよいし、画面の中央に重み付けしたような値を用いてもよい。
【００２７】
画面輝度値とあらかじめ定めた目標輝度値を比較し、画面輝度値が目標輝度値よりも小さければ、フレームｔ＋１（露光量ｂとする）ではフレームｔよりも明るくなるように、ｂ＞ａとする。撮像動作としては、露光量が大きくなるように絞りを開けたりシャッタースピードを遅くしたりして露光量を増やす。反対に、画面輝度値が目標輝度値よりも大きければ、フレームｔよりも暗くなるようにｂ＜ａとする。撮像動作としては、絞りを絞ったりシャッタースピードを速くしたりして露光量を減らす。また、画面輝度値と目標輝度値が等しいとき、露光量aは適正露光であるのでｂ＝ａとする。以上が一般的な露光制御である。
【００２８】
本実施の形態では露光量の異なる画像を合成して、明るい被写体から暗い被写体までを撮影できる広ダイナミックレンジ画像を生成するので、カメラ１００とカメラ１０１における露光量は異なる露光量とする。
【００２９】
図３は、本実施の形態の露光制御について説明するための図である。例えば、フレームｔにおけるカメラ１００の露光量をｍｔとしたとき、カメラ１０１の露光量ｎｔは露光量ｍｔの１／指定比になるように与える。指定比は任意の値でよいが、ここでは指定比＝８として説明すると、露光量ｎｔはｍｔ／８となる。すなわち、露光量ｎｔは露光量ｍｔと比較して露光量が１／８であるので、カメラ１０１で撮像された画像はカメラ１００の画像に比べて８倍暗くなる。言い換えれば、カメラ１０１で撮像可能な被写体の照度の上限はカメラ１００での８倍相当となる。
【００３０】
これにより、例えばカメラ１００では太陽のように非常に明るくて白飛びしていた被写体が、カメラ１０１では適当な明るさで撮像可能となる。逆に、カメラ１００では適当な明るさで撮像できていた木や人などの被写体がカメラ１０１では暗く撮像される。また、カメラ１００では前述した通常の露光制御を行い次フレームｔ＋１の露光量ｍｔ＋１を求めるが、カメラ１０１の露光量はカメラ１００の露光量を基準に算出できるので、カメラ１０１では通常の露光制御は行わずカメラ１００で求めた露光量ｍｔ＋１を元に、ｎｔ＋１＝ｍｔ＋１／指定比で求める。なお、指定比が大きいほど広ダイナミックレンジな画像が生成できるが、露光量が大きく異なる画像の合成が必要となるため画質面などで課題があり、ダイナミックレンジの拡大と画質劣化の弊害の両方を考慮し適度な指定比を設定する必要がある。
【００３１】
このような明るさの関係で撮像される２枚の画像を合成することで明るい被写体から暗い被写体まで適切な明るさで撮像されている広ダイナミックレンジ画像が生成できる。
【００３２】
図１に戻って、画像露光変換部２００は、画像輝度調整部１５と、画像バッファ１６と、画像バッファ１７とを備える。
【００３３】
図４は、画像露光変換部２００について説明するための図である。画像露光変換部２００の画像輝度調整部１５は、カメラ１００で撮像された画像に対して、露光制御部３０から入力されるカメラ１００とカメラ１０１の露光比をゲインとして乗ずる。ここで、カメラ１００の露光量をｍ、カメラ１０１の露光量をｎとしたとき、ゲインはｎ／ｍとなる。これにより、カメラ１００で撮像された露光量ｍの画像から、カメラ１０１で撮像された露光量ｎ相当の画像を仮想的に生成することができる。これらの２枚の画像をそれぞれ画像バッファ１６，１７に保存する。
【００３４】
図５は、画像露光変換部２０１について説明するための図である。画像露光変換部２０１は、画像露光変換部２００と同じ構成を有する。画像露光変換部２０１の画像輝度調整部１５は、カメラ１０１で撮像された画像に対して、露光制御部３０から入力されるカメラ１００とカメラ１０１の露光比ｍ／ｎをゲインとして乗ずる。これにより、カメラ１０１で撮像された露光量ｎの画像から、カメラ１００で撮像された露光量ｍ相当の画像を仮想的に生成することができる。これらの２枚の画像をそれぞれ画像バッファ１６，１７に保存する。
【００３５】
図１に戻って、画像視差校正部３００は、マッチング部２１，２２、マッチング補間部２３、位置校正部２４を備える。
【００３６】
図６は、画像のマッチングについて説明するための図である。画像露光変換部２００の画像バッファ１６にはカメラ１００で撮像された画像（露光量ｍ）が保存され、画像バッファ１７には輝度調整された画像（露光量ｎ相当）の保存されている。また、画像露光変換部２０１の画像バッファ１６にはカメラ１０１で撮像された画像（露光量ｎ）が保存され、画像バッファ１７には輝度調整された画像（露光量ｍ相当）が保存されている。画像視差校正部３００にこれらの画像４枚を入力する。
【００３７】
マッチング部２１は画像（露光量ｍ）と画像（露光量ｍ相当）の２枚で画像マッチングを行い、マッチング部２２は画像（露光量ｎ）と画像（露光量ｎ相当）の２枚で画像マッチングを行う。すなわち、同じ露光量で撮影した視差のある画像同士でマッチングを行う。ここで２枚の画像間におけるマッチング手法については既知の方法を適用するものとし、本発明は、特定のマッチング手法に限定するものではない。このマッチングにより、画像間における画素の対応が取れる。この対応を示す情報をマッチング情報という。画像（露光量ｍ）および画像（露光量ｍ相当）でマッチングした結果をマッチング情報ｍとし、画像（露光量ｎ）および画像（露光量ｎ相当）でマッチングした結果をマッチング情報ｎとする。マッチング補間部２３でマッチング情報ｍとマッチング情報ｎを統合し補間することで、画像中の各画素におけるマッチング情報ＡＬＬを生成する。
【００３８】
図７はマッチング情報ＡＬＬを生成するフローチャートである。図７を参照して、マッチング補間部２３の処理について説明する。まず、マッチング補間部２３は、マッチング情報ｍとマッチング情報ｎを元に、マッチング情報を統合する処理（ｓ１０）を行う。以下のフローは統合後のマッチング情報を元に行う。次に、マッチング補間部２３は、画面中の全画素を対象にして以下の処理を行う（ｓ１１〜ｓ１６）。すなわち、最初に画素０を注目画素とし（ｓ１１）、注目画素を対象に以下に示す処理（ｓ１２〜ｓ１６）を行い、続いて注目画素となる画素を順次インクリメントすることによって、全画素を対象とした処理を行う。以下では、注目画素をｐとして説明する。
【００３９】
マッチング補間部２３は、注目画素ｐにマッチング情報が求まっているか否かを判定し（ｓ１２）、既にマッチング情報が求まっている場合は次の画素の処理に移る（ｓ１５）。マッチング情報が求まっていない場合、注目画素ｐの周辺画素でマッチング情報が求まっている画素を探索し（ｓ１３）、周辺画素のマッチング情報を補間することで注目画素ｐのマッチング情報を求め、補間して求めたマッチング情報を注目画素ｐに付与する（ｓ１４）。これにより注目画素ｐのマッチング情報が求まるので次の画素の処理に移る（ｓ１５）。全ての画素を注目画素として処理し終わったら処理を終了する（ｓ１６）。処理の終了段階で全ての画素にマッチング情報が付与された状態になる。
【００４０】
図８（ａ）〜図８（ｃ）は、図７のフローチャートにおけるマッチング統合処理（ｓ１０）について説明するための図である。図８（ａ）〜図８（ｃ）では、説明の便宜上、画像を水平４画素、垂直３画素の計１２画素に簡略化した模式図を示している。なお、説明時は、画素の左上から右側へ順番に画素０、画素１、画素２、画素３、さらに１段下がって左から右へ順番に、画素５、画素６・・・、画素１１と呼ぶ。また、各画素中に記載する（ｘ，ｙ）がマッチング情報であり、画像間で対応する画素の座標値または相対座標値となる。
【００４１】
図８（ａ）は、各画素におけるマッチング情報ｍ、すなわち露光量ｍと露光量ｍ相当の画像から求めたマッチングの状態を示した図である。図８（ａ）では、マッチング情報ｍは画素０、画素１、画素３、画素４、画素７、画素８で求まっており、その他の画素ではマッチング情報が求まっていないことを示している。
【００４２】
図８（ｂ）は、各画素におけるマッチング情報ｎ、すなわち露光量ｎと露光量ｎ相当の画像から求めたマッチングの状態を示した図である。図８（ｂ）では、マッチング情報ｎは画素０、画素２、画素６、画素９、画素１０、画素１１で求まっており、その他の画素ではマッチング情報が求まっていないことを示している。
【００４３】
図８（ｃ）は、上記のようなマッチング情報ｍとマッチング情報ｎを統合した結果を示す図である。図８（ｃ）で示したマッチング情報の統合では、マッチング情報ｍとマッチング情報ｎのいずれか一方だけでマッチング情報が求まっている画素については、そのマッチング情報をそのまま適用する。図では画素１、画素２、画素３、画素４、画素６、画素７、画素８、画素９、画素１０、画素１１がそれに該当する。マッチング情報ｍとマッチング情報ｎの両方でマッチング情報が求まっている画素については、２つのマッチング情報の平均値を統合後のマッチング情報としている。図８（ｃ）では、画素０がそれに該当する。なお、ここでは平均値を使っているが、どちらかのマッチング情報を優先して統合後のマッチング情報としてもよい。マッチング情報ｍとマッチング情報ｎの両方でマッチング情報が求まっていない画素については、統合処理の時点ではマッチング情報は求まらない。図８（ｃ）では画素５がそれに該当する。
【００４４】
図９は、図７のフローチャートにおけるマッチング情報の補間処理（ｓ１２〜ｓ１４）について説明するための図である。図９は、図８（ｃ）におけるマッチング情報の統合結果を示した図であり、マッチング情報の統合時点では画素５についてマッチング情報が付与されていない。マッチング情報の補間処理では、マッチング情報が付与されていない画素について、その周辺に位置する画素からマッチング情報が付与されている画素を探索する。図９に示す例では、画素５の周辺画素である画素２、画素４、画素６、画素８に対してマッチング情報が付与されている。図９では、画素５のマッチング情報（ｘ５、ｙ５）を、周辺４画素にそれぞれ付与されているマッチング情報を元に補間して算出する例を示している。このようにマッチング情報の統合時点でマッチング情報が付与されていない画素に対して、周辺画素のマッチング情報を補間して付与することで、全ての画素に対してマッチング情報を付与する。以上、マッチング補間部２３について説明した。なお、ここでは周辺４画素を対象に補間した例を示したが、更に広範囲の画素を参照してもよいし、単純に上下左右のいずれかの画素のマッチング情報を割り当ててもよい。
【００４５】
図１０は、位置校正部２４について説明するための図である。位置校正部２４では、カメラ１０１で撮像された画像（露光量ｎ）を、カメラ１００で撮像された画像（露光量ｍ）との視差がなくなるように位置校正を行う。既にマッチング部２１、２２およびマッチング補間部２３の処理により、カメラ１００で撮像された画像とカメラ１０１で撮像された画像について、画素単位で画像間の対応を取ったマッチング情報ＡＬＬが求められているので、このマッチング情報を使って位置校正を行う。位置校正の結果、カメラ１０１で撮像された画像（露光量ｎ）はカメラ１００で撮像された画像（露光量ｍ）と視差のない画像になる。すなわち、露光量が異なる視差のない２枚の画像が生成される。
【００４６】
次に、距離算出部３１では、カメラ１００で撮像された画像とマッチング情報ＡＬＬを使って、カメラ１００から画像中の被写体までの距離を算出する。カメラ１００とカメラ１０１は、あらかじめ所定の距離間隔をあけて水平に設置されているので、被写体までの距離の算出方法については既知の三角測量法を適用することで距離を求めることができる。なお、マッチング情報はカメラ１０１で撮像された画像に対しても適用できるし、広ダイナミックレンジ画像生成部３２で生成された広ダイナミックレンジ画像に対しても同様に適用することができるので、カメラ１００で撮像された被写体に限定するものではない。
【００４７】
広ダイナミックレンジ画像生成部３２では、カメラ１００で撮像された画像（露光量ｍ）と、カメラ１０１で撮像され位置校正部２４で位置校正した画像（露光量ｎ）の２枚を合成して、露光量ｍと露光量ｎでそれぞれ適切な明るさで撮像した画像となる広ダイナミックレンジ画像を生成する（図１１参照）。露光量の異なる２枚の画像の合成方法は既知の手法を適用する。既知の手法としては、例えば特許文献１で引用されている特許第４１６３３５３号等に記載された手法がある。
【００４８】
このように本実施の形態の撮像装置によれば、同一時刻に撮影された視差を有しかつ露光量の異なる画像から、仮想的に露光量を同じにした画像を生成することで、広ダイナミックレンジ画像の生成と被写体までの測距を同時に行うことができる。
【００４９】
上記した実施の形態の撮像装置において、画像露光変換部２００、２０１、画像視差校正部３００、距離算出部３１、広ダイナミックレンジ画像生成部３２は、プログラムをコンピュータで実行することによって実現してもよい。このようなプログラムも本発明の範囲に含まれる。
【産業上の利用可能性】
【００５０】
以上のように、本発明に係る撮像装置は、同一時刻に撮影された視差を有し、かつ露光量の異なる画像から、広ダイナミックレンジ画像の生成と被写体までの測距を同時に行うことができるという優れた効果を有し、広ダイナミックレンジ画像と距離情報を必要とするセンシング系のカメラシステム等に有用である。
【符号の説明】
【００５１】
１ 撮像装置
１０ レンズ
１１ 絞り
１２ 撮像素子
１３ Ａ／Ｄ変換器
１４ 映像信号処理部
１５ 画像輝度調整部
１６、１７ 画像バッファ
２１、２２ マッチング部
２３ マッチング補間部
２４ 位置校正部
３０ 露光制御部
３１ 距離算出部
３２ 広ダイナミックレンジ画像生成部
１００、１０１ カメラ
２００、２０１ 画像露光変換部
３００ 画像視差校正部
【技術分野】
【０００１】
本発明は、視差を有しかつ露光量の異なる複数枚の画像を撮像する撮像装置に関し、より詳しくは被写体までの測距および複数枚の画像を合成した広ダイナミックレンジ画像の生成機能を有する撮像装置に関する。
【背景技術】
【０００２】
近年、監視用カメラや車載用カメラなどに代表されるように、セキュリティ、インフラ、安心安全といった幅広い用途でディジタルカメラの使用が急速に拡大している。こうした用途で使用される場合、一般的な家庭で使用されるディジタルカメラに対する性能要求（高画質、高解像度など）とは異なり、例えば、どのような環境下でも黒潰れや白飛びがなく被写体を確実に撮像するためのダイナミックレンジの広さや、センシング用途として被写体までの距離を測定する測距機能が必要とされる。
【０００３】
広ダイナミックレンジ画像の生成は、異なる露光量で撮影された複数枚の画像を合成する方法が一般的であり、従来から種々の手法が提案されている。また、視差のある複数枚の画像を用いて、画像中の被写体までの距離を測定するには、画像間で被写体のマッチングを行い、それぞれの画像における被写体の撮像位置を元に三角測量の原理を用いる手法が一般的である。画像間のマッチング手法についても従来から種々の方法が提案されている。
【０００４】
このように広ダイナミックレンジ画像の生成手法と測距手法が、それぞれ独立して種々の手法が提案されている中で、視差を有しかつ露光量が異なる複数枚の画像から広ダイナミックレンジ画像の生成と測距の両方を行う手法も提案されている。例えば、特許文献１に記載された撮像装置は、視差を有しかつ露光量の等しい複数枚の画像と、視差のない露光量の異なる複数枚の画像を撮像する手段を備えている。この撮像装置は、前者の画像から被写体までの距離を測定し、後者の画像から広ダイナミックレンジ画像を生成することで、距離情報と広ダイナミックレンジ画像の両方を得ている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−１８６１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来手法においては、被写体までの測距のために、視差を有しかつ露光量の等しい画像を２枚必要とし、広ダイナミックレンジ画像生成のために、視差のない露光量の異なる画像を２枚とするため、合計４枚の画像が最低でも必要となる。
【０００７】
一般的なステレオカメラで撮影することを考えると、映像１フレームの撮影で視差のある露光量の等しい画像を２枚撮影できるので、ある時刻におけるｔフレーム目に露光量ｎで撮影し、次のｔ＋１フレーム目に露光量ｍで撮影することになる。このとき距離情報は同一フレームで撮影される２枚の画像から測定できる。しかし、広ダイナミックレンジ画像を生成するためにはｎフレーム目に撮影した画像とｎ＋１フレーム目に撮影した画像を合成する必要があるので、合成する２枚の画像には撮影時間の差がある。被写体が動くようなシーンでは動きによる残像が発生するという課題があった。
【０００８】
また、映像１フレームの撮影で視差があり露光量も異なる画像が２枚撮影できるステレオカメラを使用する場合、ある時刻におけるｔフレーム目にカメラＡで露光量ｎ、カメラＢで露光量ｍとして撮影し、ｔ＋１フレーム目にカメラＡで露光量ｍ、カメラＢで露光量ｎとして撮影する。このとき、広ダイナミックレンジ画像は同一フレームで撮影される２枚の画像から生成できる。しかし、測距は、異なるフレームに撮影した画像で行うため撮影時間の差がある。被写体が動くようなシーンでは、被写体がフレーム間で移動してしまうことから、被写体までの距離が正しく算出できないという課題があった。
【０００９】
本発明は、従来の問題を解決するためになされたもので、広ダイナミックレンジ画像の生成と、被写体までの測距を同時に行う撮像装置および撮像方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の撮像装置は、複数の撮像素子が異なる露光量で撮像を行って、視差を有しかつ露光量の異なる画像を生成する撮像部と、前記撮像部による撮像により得られた複数の画像の明るさを、それぞれの画像の撮像に用いられた露光量に基づいて調整する画像輝度調整部と、明るさが調整された視差を有する複数の画像を用いて、前記画像のマッチングを行い、視差を有する画像間において対応する領域を特定するマッチング情報を求めるマッチング部と、所定の被写体までの距離を、前記被写体の画像を構成する領域のマッチング情報に基づいて求める距離算出部と、前記マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行う位置校正部と、前記位置校正部で位置校正された異なる露光量の複数の画像を合成して、前記撮像部にて撮像された画像より広いダイナミックレンジを有する画像を生成する広ダイナミックレンジ画像生成部とを備えた構成を有する。
【００１１】
この構成により、広ダイナミックレンジ画像の生成と被写体までの測距を同時に行うことができる。
【００１２】
本発明の撮像装置において、前記画像輝度調整部は、それぞれの画像の撮像に用いられた露光量の比を用いて画像の明るさを調整する構成を有する。
【００１３】
この構成により、視差を有しかつ露光量が異なる複数の画像から、露光量の相違による明るさの違いを調整した視差を有する画像を求めることができる。
【００１４】
本発明の撮像装置において、前記撮像部は撮像によって視差を有しかつ露光量の異なる第１画像および第２画像を生成し、前記画像輝度調整部は、前記第１画像の明るさを前記第２画像の露光量に基づいて調整した調整済み第１画像と、前記第２画像の明るさを前記第１画像の露光量に基づいて調整した調整済み第２画像を生成し、前記マッチング部は、前記第１画像と前記調整済み第２画像とのマッチングを行って第１のマッチング情報を求め、前記調整済み第１画像と前記第２画像とのマッチングを行って第２のマッチング情報を求め、前記第１のマッチング情報と前記第２のマッチング情報を統合して、前記マッチング情報を求める構成を有する。
【００１５】
この構成により、第１のマッチング情報と第２のマッチング情報とを用いて適切にマッチング情報を生成することができる。
【００１６】
本発明の撮像装置において、前記マッチング部は、前記第１画像と前記調整済み第２画像とのマッチング、および、前記調整済み第１画像と前記第２画像とのマッチングによって、対応する領域が求まらなかった領域について、当該領域の周囲の領域の対応情報を用いた補間処理によって対応関係を求める構成を有する。
【００１７】
この構成により、画像輝度を調整した画像のマッチングによって完全な対応関係が求まらない領域についても、周囲の領域のマッチング情報を補間することによってマッチング情報を求めることができる。
【００１８】
本発明の撮像方法は、複数の撮像素子が異なる露光量で撮像を行って、視差を有しかつ露光量の異なる画像を生成するステップと、撮像により得られた複数の画像の明るさを、それぞれの画像の撮像に用いられた露光量に基づいて調整するステップと、明るさが調整された視差を有する複数の画像を用いて、前記画像のマッチングを行い、視差を有する画像間において対応する領域を特定するマッチング情報を求めるステップと、所定の被写体までの距離を、前記被写体の画像を構成する領域のマッチング情報に基づいて求めるステップと、前記マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行うステップと、前記位置校正部で位置校正された異なる露光量の複数の画像を合成して、前記撮像部にて撮像された画像より広いダイナミックレンジを有する画像を生成するステップとを備えた構成を有する。
【００１９】
本発明のプログラムは、異なる露光量で撮像された視差を有する複数の画像に基づいて画像を生成するために、コンピュータに、複数の画像の明るさを、それぞれの画像の撮像に用いられた露光量に基づいて調整するステップと、明るさが調整された視差を有する複数の画像を用いて、前記画像のマッチングを行い、視差を有する画像間において対応する領域を特定するマッチング情報を求めるステップと、所定の被写体までの距離を、前記被写体の画像を構成する領域のマッチング情報に基づいて求めるステップと、前記マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行うステップと、前記位置校正部で位置校正された異なる露光量の複数の画像を合成して、前記撮像部にて撮像された画像より広いダイナミックレンジを有する画像を生成するステップとを実行させる構成を有する。
【００２０】
この構成により、本発明の撮像方法およびプログラムは、広ダイナミックレンジ画像の生成と被写体までの測距を同時に行うことができる。本発明の撮像装置の各種の構成を、本発明の撮像方法およびプログラムに適用することも可能である。
【発明の効果】
【００２１】
本発明によれば、広ダイナミックレンジ画像の生成と被写体までの測距を同時に行うことができるという優れた効果を有する。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施の形態における撮像装置の概略構成を示すブロック図
【図２】本発明の実施の形態における通常の露光制御を示す図
【図３】本発明の実施の形態における露光制御を示す図
【図４】本発明の実施の形態における撮像部１００の画像に対する画像露光変換を示す図
【図５】本発明の実施の形態における撮像部１０１の画像に対する画像露光変換を示す図
【図６】本発明の実施の形態における画像マッチングの流れを示す図
【図７】本発明の実施の形態におけるマッチング補間処理の動作フロー図
【図８】（ａ）画像を構成する各画素におけるマッチング情報ｍを示す図（ｂ）画像を構成する各画素におけるマッチング情報ｎを示す図（ｃ）統合されたマッチング情報を示す図
【図９】本発明の実施の形態におけるマッチング情報の補間処理を示すブロック図
【図１０】本発明の実施の形態における画像の位置校正を示すブロック図
【図１１】本発明の実施の形態における広ダイナミックレンジ画像生成を示すブロック図
【発明を実施するための形態】
【００２３】
以下に、本発明の実施の形態の撮像装置について、図面を参照しながら説明する。
図１は、実施の形態の撮像装置１の構成を示す図である。撮像装置１は、被写体を撮像して映像信号を出力する基本的な撮像処理を行うカメラ１００およびカメラ１０１と、カメラ１００とカメラ１０１に対して所定の露光比になるようにそれぞれの露光量を制御する露光制御部３０と、カメラ１００から出力される画像とその画像に対して輝度調整した画像を画像バッファに保存する画像露光変換部２００と、カメラ１０１から出力される画像とその画像に対して輝度調整した画像を画像バッファに保存する画像露光変換部２０１と、画像露光変換部２００および画像露光変換部２０１で保存された画像から露光量が仮想的に等しい画像間でマッチングを取り、マッチングによって得られたマッチング情報を元にマッチング情報の統合と補間処理を行い、かつ、統合されたマッチング情報をもとにカメラ１０１で撮像された画像に対してカメラ１００で撮像された画像と視差がなくなるように位置校正を行う画像視差校正部３００と、カメラ１００で撮像された画像と画像視差校正部３００で求めたマッチング情報から画像に映る被写体までの撮像装置からの距離を算出する距離算出部３１と、カメラ１００で撮像された画像と画像視差校正部３００で位置校正を行った画像を合成して広ダイナミックレンジ画像を生成する広ダイナミックレンジ画像生成部３２とを備えている。なお、カメラ１００とカメラ１０１は、所定の距離だけ間隔をあけて水平に設置されている。カメラ１００とカメラ１０１は、本発明の「撮像部」を構成する。
【００２４】
カメラ１００は、レンズ１０と、絞り１１と、撮像素子１２と、Ａ／Ｄ変換器１３と、映像信号処理部１４とを備えている。カメラ１００は、露光制御部３０で指定された露光量（露光量ｍとする）となるように絞りやシャッタースピード（図示しない）を調整し、撮像する。レンズ１０から入射する被写体からの光を絞り１１で絞り、撮像素子１２に結像する。撮像素子１２は、結像した像を光電変換してアナログ信号を出力する。Ａ／Ｄ変換器１３は、撮像素子１２から出力されたアナログ信号をデジタル信号に変換する。映像信号処理部１４は、Ａ／Ｄ変換されたデジタル信号から映像信号を生成するための信号処理を行う。映像信号処理部１４は、輝度信号生成、色信号生成、アパーチャ信号生成などの信号処理のほか、ＯＢ減算やホワイトバランス調整、ノイズ低減など一般的な映像用の信号処理を行う。
【００２５】
カメラ１０１は、カメラ１００と同じ構成を有する。露光制御部３０で指定された露光量（露光量ｎとする）となるように絞りやシャッタースピードを調整し、撮像する。
【００２６】
次に、カメラ１００およびカメラ１０１の露光量を制御する露光制御部３０について説明する。まず、露光量の通常の制御方法について図２を参照しながら説明する。通常、露光制御は、画面の輝度値があらかじめ定めた目標輝度値と等しくなるようにする。例えば、フレームｔ（露光量ａとする）における画面輝度値を求める。画面輝度値としては、画面全体の平均値を用いてもよいし、画面の中央に重み付けしたような値を用いてもよい。
【００２７】
画面輝度値とあらかじめ定めた目標輝度値を比較し、画面輝度値が目標輝度値よりも小さければ、フレームｔ＋１（露光量ｂとする）ではフレームｔよりも明るくなるように、ｂ＞ａとする。撮像動作としては、露光量が大きくなるように絞りを開けたりシャッタースピードを遅くしたりして露光量を増やす。反対に、画面輝度値が目標輝度値よりも大きければ、フレームｔよりも暗くなるようにｂ＜ａとする。撮像動作としては、絞りを絞ったりシャッタースピードを速くしたりして露光量を減らす。また、画面輝度値と目標輝度値が等しいとき、露光量aは適正露光であるのでｂ＝ａとする。以上が一般的な露光制御である。
【００２８】
本実施の形態では露光量の異なる画像を合成して、明るい被写体から暗い被写体までを撮影できる広ダイナミックレンジ画像を生成するので、カメラ１００とカメラ１０１における露光量は異なる露光量とする。
【００２９】
図３は、本実施の形態の露光制御について説明するための図である。例えば、フレームｔにおけるカメラ１００の露光量をｍｔとしたとき、カメラ１０１の露光量ｎｔは露光量ｍｔの１／指定比になるように与える。指定比は任意の値でよいが、ここでは指定比＝８として説明すると、露光量ｎｔはｍｔ／８となる。すなわち、露光量ｎｔは露光量ｍｔと比較して露光量が１／８であるので、カメラ１０１で撮像された画像はカメラ１００の画像に比べて８倍暗くなる。言い換えれば、カメラ１０１で撮像可能な被写体の照度の上限はカメラ１００での８倍相当となる。
【００３０】
これにより、例えばカメラ１００では太陽のように非常に明るくて白飛びしていた被写体が、カメラ１０１では適当な明るさで撮像可能となる。逆に、カメラ１００では適当な明るさで撮像できていた木や人などの被写体がカメラ１０１では暗く撮像される。また、カメラ１００では前述した通常の露光制御を行い次フレームｔ＋１の露光量ｍｔ＋１を求めるが、カメラ１０１の露光量はカメラ１００の露光量を基準に算出できるので、カメラ１０１では通常の露光制御は行わずカメラ１００で求めた露光量ｍｔ＋１を元に、ｎｔ＋１＝ｍｔ＋１／指定比で求める。なお、指定比が大きいほど広ダイナミックレンジな画像が生成できるが、露光量が大きく異なる画像の合成が必要となるため画質面などで課題があり、ダイナミックレンジの拡大と画質劣化の弊害の両方を考慮し適度な指定比を設定する必要がある。
【００３１】
このような明るさの関係で撮像される２枚の画像を合成することで明るい被写体から暗い被写体まで適切な明るさで撮像されている広ダイナミックレンジ画像が生成できる。
【００３２】
図１に戻って、画像露光変換部２００は、画像輝度調整部１５と、画像バッファ１６と、画像バッファ１７とを備える。
【００３３】
図４は、画像露光変換部２００について説明するための図である。画像露光変換部２００の画像輝度調整部１５は、カメラ１００で撮像された画像に対して、露光制御部３０から入力されるカメラ１００とカメラ１０１の露光比をゲインとして乗ずる。ここで、カメラ１００の露光量をｍ、カメラ１０１の露光量をｎとしたとき、ゲインはｎ／ｍとなる。これにより、カメラ１００で撮像された露光量ｍの画像から、カメラ１０１で撮像された露光量ｎ相当の画像を仮想的に生成することができる。これらの２枚の画像をそれぞれ画像バッファ１６，１７に保存する。
【００３４】
図５は、画像露光変換部２０１について説明するための図である。画像露光変換部２０１は、画像露光変換部２００と同じ構成を有する。画像露光変換部２０１の画像輝度調整部１５は、カメラ１０１で撮像された画像に対して、露光制御部３０から入力されるカメラ１００とカメラ１０１の露光比ｍ／ｎをゲインとして乗ずる。これにより、カメラ１０１で撮像された露光量ｎの画像から、カメラ１００で撮像された露光量ｍ相当の画像を仮想的に生成することができる。これらの２枚の画像をそれぞれ画像バッファ１６，１７に保存する。
【００３５】
図１に戻って、画像視差校正部３００は、マッチング部２１，２２、マッチング補間部２３、位置校正部２４を備える。
【００３６】
図６は、画像のマッチングについて説明するための図である。画像露光変換部２００の画像バッファ１６にはカメラ１００で撮像された画像（露光量ｍ）が保存され、画像バッファ１７には輝度調整された画像（露光量ｎ相当）の保存されている。また、画像露光変換部２０１の画像バッファ１６にはカメラ１０１で撮像された画像（露光量ｎ）が保存され、画像バッファ１７には輝度調整された画像（露光量ｍ相当）が保存されている。画像視差校正部３００にこれらの画像４枚を入力する。
【００３７】
マッチング部２１は画像（露光量ｍ）と画像（露光量ｍ相当）の２枚で画像マッチングを行い、マッチング部２２は画像（露光量ｎ）と画像（露光量ｎ相当）の２枚で画像マッチングを行う。すなわち、同じ露光量で撮影した視差のある画像同士でマッチングを行う。ここで２枚の画像間におけるマッチング手法については既知の方法を適用するものとし、本発明は、特定のマッチング手法に限定するものではない。このマッチングにより、画像間における画素の対応が取れる。この対応を示す情報をマッチング情報という。画像（露光量ｍ）および画像（露光量ｍ相当）でマッチングした結果をマッチング情報ｍとし、画像（露光量ｎ）および画像（露光量ｎ相当）でマッチングした結果をマッチング情報ｎとする。マッチング補間部２３でマッチング情報ｍとマッチング情報ｎを統合し補間することで、画像中の各画素におけるマッチング情報ＡＬＬを生成する。
【００３８】
図７はマッチング情報ＡＬＬを生成するフローチャートである。図７を参照して、マッチング補間部２３の処理について説明する。まず、マッチング補間部２３は、マッチング情報ｍとマッチング情報ｎを元に、マッチング情報を統合する処理（ｓ１０）を行う。以下のフローは統合後のマッチング情報を元に行う。次に、マッチング補間部２３は、画面中の全画素を対象にして以下の処理を行う（ｓ１１〜ｓ１６）。すなわち、最初に画素０を注目画素とし（ｓ１１）、注目画素を対象に以下に示す処理（ｓ１２〜ｓ１６）を行い、続いて注目画素となる画素を順次インクリメントすることによって、全画素を対象とした処理を行う。以下では、注目画素をｐとして説明する。
【００３９】
マッチング補間部２３は、注目画素ｐにマッチング情報が求まっているか否かを判定し（ｓ１２）、既にマッチング情報が求まっている場合は次の画素の処理に移る（ｓ１５）。マッチング情報が求まっていない場合、注目画素ｐの周辺画素でマッチング情報が求まっている画素を探索し（ｓ１３）、周辺画素のマッチング情報を補間することで注目画素ｐのマッチング情報を求め、補間して求めたマッチング情報を注目画素ｐに付与する（ｓ１４）。これにより注目画素ｐのマッチング情報が求まるので次の画素の処理に移る（ｓ１５）。全ての画素を注目画素として処理し終わったら処理を終了する（ｓ１６）。処理の終了段階で全ての画素にマッチング情報が付与された状態になる。
【００４０】
図８（ａ）〜図８（ｃ）は、図７のフローチャートにおけるマッチング統合処理（ｓ１０）について説明するための図である。図８（ａ）〜図８（ｃ）では、説明の便宜上、画像を水平４画素、垂直３画素の計１２画素に簡略化した模式図を示している。なお、説明時は、画素の左上から右側へ順番に画素０、画素１、画素２、画素３、さらに１段下がって左から右へ順番に、画素５、画素６・・・、画素１１と呼ぶ。また、各画素中に記載する（ｘ，ｙ）がマッチング情報であり、画像間で対応する画素の座標値または相対座標値となる。
【００４１】
図８（ａ）は、各画素におけるマッチング情報ｍ、すなわち露光量ｍと露光量ｍ相当の画像から求めたマッチングの状態を示した図である。図８（ａ）では、マッチング情報ｍは画素０、画素１、画素３、画素４、画素７、画素８で求まっており、その他の画素ではマッチング情報が求まっていないことを示している。
【００４２】
図８（ｂ）は、各画素におけるマッチング情報ｎ、すなわち露光量ｎと露光量ｎ相当の画像から求めたマッチングの状態を示した図である。図８（ｂ）では、マッチング情報ｎは画素０、画素２、画素６、画素９、画素１０、画素１１で求まっており、その他の画素ではマッチング情報が求まっていないことを示している。
【００４３】
図８（ｃ）は、上記のようなマッチング情報ｍとマッチング情報ｎを統合した結果を示す図である。図８（ｃ）で示したマッチング情報の統合では、マッチング情報ｍとマッチング情報ｎのいずれか一方だけでマッチング情報が求まっている画素については、そのマッチング情報をそのまま適用する。図では画素１、画素２、画素３、画素４、画素６、画素７、画素８、画素９、画素１０、画素１１がそれに該当する。マッチング情報ｍとマッチング情報ｎの両方でマッチング情報が求まっている画素については、２つのマッチング情報の平均値を統合後のマッチング情報としている。図８（ｃ）では、画素０がそれに該当する。なお、ここでは平均値を使っているが、どちらかのマッチング情報を優先して統合後のマッチング情報としてもよい。マッチング情報ｍとマッチング情報ｎの両方でマッチング情報が求まっていない画素については、統合処理の時点ではマッチング情報は求まらない。図８（ｃ）では画素５がそれに該当する。
【００４４】
図９は、図７のフローチャートにおけるマッチング情報の補間処理（ｓ１２〜ｓ１４）について説明するための図である。図９は、図８（ｃ）におけるマッチング情報の統合結果を示した図であり、マッチング情報の統合時点では画素５についてマッチング情報が付与されていない。マッチング情報の補間処理では、マッチング情報が付与されていない画素について、その周辺に位置する画素からマッチング情報が付与されている画素を探索する。図９に示す例では、画素５の周辺画素である画素２、画素４、画素６、画素８に対してマッチング情報が付与されている。図９では、画素５のマッチング情報（ｘ５、ｙ５）を、周辺４画素にそれぞれ付与されているマッチング情報を元に補間して算出する例を示している。このようにマッチング情報の統合時点でマッチング情報が付与されていない画素に対して、周辺画素のマッチング情報を補間して付与することで、全ての画素に対してマッチング情報を付与する。以上、マッチング補間部２３について説明した。なお、ここでは周辺４画素を対象に補間した例を示したが、更に広範囲の画素を参照してもよいし、単純に上下左右のいずれかの画素のマッチング情報を割り当ててもよい。
【００４５】
図１０は、位置校正部２４について説明するための図である。位置校正部２４では、カメラ１０１で撮像された画像（露光量ｎ）を、カメラ１００で撮像された画像（露光量ｍ）との視差がなくなるように位置校正を行う。既にマッチング部２１、２２およびマッチング補間部２３の処理により、カメラ１００で撮像された画像とカメラ１０１で撮像された画像について、画素単位で画像間の対応を取ったマッチング情報ＡＬＬが求められているので、このマッチング情報を使って位置校正を行う。位置校正の結果、カメラ１０１で撮像された画像（露光量ｎ）はカメラ１００で撮像された画像（露光量ｍ）と視差のない画像になる。すなわち、露光量が異なる視差のない２枚の画像が生成される。
【００４６】
次に、距離算出部３１では、カメラ１００で撮像された画像とマッチング情報ＡＬＬを使って、カメラ１００から画像中の被写体までの距離を算出する。カメラ１００とカメラ１０１は、あらかじめ所定の距離間隔をあけて水平に設置されているので、被写体までの距離の算出方法については既知の三角測量法を適用することで距離を求めることができる。なお、マッチング情報はカメラ１０１で撮像された画像に対しても適用できるし、広ダイナミックレンジ画像生成部３２で生成された広ダイナミックレンジ画像に対しても同様に適用することができるので、カメラ１００で撮像された被写体に限定するものではない。
【００４７】
広ダイナミックレンジ画像生成部３２では、カメラ１００で撮像された画像（露光量ｍ）と、カメラ１０１で撮像され位置校正部２４で位置校正した画像（露光量ｎ）の２枚を合成して、露光量ｍと露光量ｎでそれぞれ適切な明るさで撮像した画像となる広ダイナミックレンジ画像を生成する（図１１参照）。露光量の異なる２枚の画像の合成方法は既知の手法を適用する。既知の手法としては、例えば特許文献１で引用されている特許第４１６３３５３号等に記載された手法がある。
【００４８】
このように本実施の形態の撮像装置によれば、同一時刻に撮影された視差を有しかつ露光量の異なる画像から、仮想的に露光量を同じにした画像を生成することで、広ダイナミックレンジ画像の生成と被写体までの測距を同時に行うことができる。
【００４９】
上記した実施の形態の撮像装置において、画像露光変換部２００、２０１、画像視差校正部３００、距離算出部３１、広ダイナミックレンジ画像生成部３２は、プログラムをコンピュータで実行することによって実現してもよい。このようなプログラムも本発明の範囲に含まれる。
【産業上の利用可能性】
【００５０】
以上のように、本発明に係る撮像装置は、同一時刻に撮影された視差を有し、かつ露光量の異なる画像から、広ダイナミックレンジ画像の生成と被写体までの測距を同時に行うことができるという優れた効果を有し、広ダイナミックレンジ画像と距離情報を必要とするセンシング系のカメラシステム等に有用である。
【符号の説明】
【００５１】
１ 撮像装置
１０ レンズ
１１ 絞り
１２ 撮像素子
１３ Ａ／Ｄ変換器
１４ 映像信号処理部
１５ 画像輝度調整部
１６、１７ 画像バッファ
２１、２２ マッチング部
２３ マッチング補間部
２４ 位置校正部
３０ 露光制御部
３１ 距離算出部
３２ 広ダイナミックレンジ画像生成部
１００、１０１ カメラ
２００、２０１ 画像露光変換部
３００ 画像視差校正部
【特許請求の範囲】
【請求項１】
複数の撮像素子が異なる露光量で撮像を行って、視差を有しかつ露光量の異なる画像を生成する撮像部と、
前記撮像部による撮像により得られた複数の画像の明るさを、それぞれの画像の撮像に用いられた露光量に基づいて調整する画像輝度調整部と、
明るさが調整された視差を有する複数の画像を用いて、前記画像のマッチングを行い、視差を有する画像間において対応する領域を特定するマッチング情報を求めるマッチング部と、
所定の被写体までの距離を、前記被写体の画像を構成する領域のマッチング情報に基づいて求める距離算出部と、
前記マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行う位置校正部と、
前記位置校正部で位置校正された異なる露光量の複数の画像を合成して、前記撮像部にて撮像された画像より広いダイナミックレンジを有する画像を生成する広ダイナミックレンジ画像生成部と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記画像輝度調整部は、それぞれの画像の撮像に用いられた露光量の比を用いて画像の明るさを調整することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像部は、撮像によって、視差を有しかつ露光量の異なる第１画像および第２画像を生成し、
前記画像輝度調整部は、前記第１画像の明るさを前記第２画像の露光量に基づいて調整した調整済み第１画像と、前記第２画像の明るさを前記第１画像の露光量に基づいて調整した調整済み第２画像を生成し、
前記マッチング部は、前記第１画像と前記調整済み第２画像とのマッチングを行って第１のマッチング情報を求め、前記調整済み第１画像と前記第２画像とのマッチングを行って第２のマッチング情報を求め、前記第１のマッチング情報と前記第２のマッチング情報を統合して、前記マッチング情報を求める請求項１または２に記載の撮像装置。
【請求項４】
前記マッチング部は、前記第１画像と前記調整済み第２画像とのマッチング、および、前記調整済み第１画像と前記第２画像とのマッチングによって、対応する領域が求まらなかった領域について、当該領域の周囲の領域の対応情報を用いた補間処理によって対応関係を求める請求項３に記載の撮像装置。
【請求項５】
複数の撮像素子が異なる露光量で撮像を行って、視差を有しかつ露光量の異なる画像を生成するステップと、
撮像により得られた複数の画像の明るさを、それぞれの画像の撮像に用いられた露光量に基づいて調整するステップと、
明るさが調整された視差を有する複数の画像を用いて、前記画像のマッチングを行い、視差を有する画像間において対応する領域を特定するマッチング情報を求めるステップと、
所定の被写体までの距離を、前記被写体の画像を構成する領域のマッチング情報に基づいて求めるステップと、
前記マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行うステップと、
前記位置校正部で位置校正された異なる露光量の複数の画像を合成して、前記撮像部にて撮像された画像より広いダイナミックレンジを有する画像を生成するステップと、
を備えたことを特徴とする撮像方法。
【請求項６】
異なる露光量で撮像された視差を有する複数の画像に基づいて画像を生成するために、コンピュータに、
複数の画像の明るさを、それぞれの画像の撮像に用いられた露光量に基づいて調整するステップと、
明るさが調整された視差を有する複数の画像を用いて、前記画像のマッチングを行い、視差を有する画像間において対応する領域を特定するマッチング情報を求めるステップと、
所定の被写体までの距離を、前記被写体の画像を構成する領域のマッチング情報に基づいて求めるステップと、
前記マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行うステップと、
前記位置校正部で位置校正された異なる露光量の複数の画像を合成して、前記撮像部にて撮像された画像より広いダイナミックレンジを有する画像を生成するステップと、
を実行させることを特徴とするプログラム。
【請求項１】
複数の撮像素子が異なる露光量で撮像を行って、視差を有しかつ露光量の異なる画像を生成する撮像部と、
前記撮像部による撮像により得られた複数の画像の明るさを、それぞれの画像の撮像に用いられた露光量に基づいて調整する画像輝度調整部と、
明るさが調整された視差を有する複数の画像を用いて、前記画像のマッチングを行い、視差を有する画像間において対応する領域を特定するマッチング情報を求めるマッチング部と、
所定の被写体までの距離を、前記被写体の画像を構成する領域のマッチング情報に基づいて求める距離算出部と、
前記マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行う位置校正部と、
前記位置校正部で位置校正された異なる露光量の複数の画像を合成して、前記撮像部にて撮像された画像より広いダイナミックレンジを有する画像を生成する広ダイナミックレンジ画像生成部と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記画像輝度調整部は、それぞれの画像の撮像に用いられた露光量の比を用いて画像の明るさを調整することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像部は、撮像によって、視差を有しかつ露光量の異なる第１画像および第２画像を生成し、
前記画像輝度調整部は、前記第１画像の明るさを前記第２画像の露光量に基づいて調整した調整済み第１画像と、前記第２画像の明るさを前記第１画像の露光量に基づいて調整した調整済み第２画像を生成し、
前記マッチング部は、前記第１画像と前記調整済み第２画像とのマッチングを行って第１のマッチング情報を求め、前記調整済み第１画像と前記第２画像とのマッチングを行って第２のマッチング情報を求め、前記第１のマッチング情報と前記第２のマッチング情報を統合して、前記マッチング情報を求める請求項１または２に記載の撮像装置。
【請求項４】
前記マッチング部は、前記第１画像と前記調整済み第２画像とのマッチング、および、前記調整済み第１画像と前記第２画像とのマッチングによって、対応する領域が求まらなかった領域について、当該領域の周囲の領域の対応情報を用いた補間処理によって対応関係を求める請求項３に記載の撮像装置。
【請求項５】
複数の撮像素子が異なる露光量で撮像を行って、視差を有しかつ露光量の異なる画像を生成するステップと、
撮像により得られた複数の画像の明るさを、それぞれの画像の撮像に用いられた露光量に基づいて調整するステップと、
明るさが調整された視差を有する複数の画像を用いて、前記画像のマッチングを行い、視差を有する画像間において対応する領域を特定するマッチング情報を求めるステップと、
所定の被写体までの距離を、前記被写体の画像を構成する領域のマッチング情報に基づいて求めるステップと、
前記マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行うステップと、
前記位置校正部で位置校正された異なる露光量の複数の画像を合成して、前記撮像部にて撮像された画像より広いダイナミックレンジを有する画像を生成するステップと、
を備えたことを特徴とする撮像方法。
【請求項６】
異なる露光量で撮像された視差を有する複数の画像に基づいて画像を生成するために、コンピュータに、
複数の画像の明るさを、それぞれの画像の撮像に用いられた露光量に基づいて調整するステップと、
明るさが調整された視差を有する複数の画像を用いて、前記画像のマッチングを行い、視差を有する画像間において対応する領域を特定するマッチング情報を求めるステップと、
所定の被写体までの距離を、前記被写体の画像を構成する領域のマッチング情報に基づいて求めるステップと、
前記マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行うステップと、
前記位置校正部で位置校正された異なる露光量の複数の画像を合成して、前記撮像部にて撮像された画像より広いダイナミックレンジを有する画像を生成するステップと、
を実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−２５４１７０（Ｐ２０１１−２５４１７０Ａ）
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願番号】特願２０１０−１２５１９５（Ｐ２０１０−１２５１９５）
【出願日】平成２２年５月３１日（２０１０．５．３１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願日】平成２２年５月３１日（２０１０．５．３１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]