撮像装置
【課題】ダイナミックレンジを広げつつ、適切な露出で高画質な合成画像を得ることができる撮像装置を提供する。
【解決手段】撮像装置1は、複数の撮像系2と、複数の撮像系2により撮像した複数の画像の視差を算出する視差算出部3と、複数の画像中の被写体の明るさの大小関係及び位置関係を判定する判定部4と、判定部4の判定結果に基づいて複数の撮像系2をそれぞれ異なる露出に制御可能な露出制御部5と、視差算出部3が算出した視差と露出制御部5が設定した露出に基づいて複数の画像を合成する画像合成部6とを備える
【解決手段】撮像装置1は、複数の撮像系2と、複数の撮像系2により撮像した複数の画像の視差を算出する視差算出部3と、複数の画像中の被写体の明るさの大小関係及び位置関係を判定する判定部4と、判定部4の判定結果に基づいて複数の撮像系2をそれぞれ異なる露出に制御可能な露出制御部5と、視差算出部3が算出した視差と露出制御部5が設定した露出に基づいて複数の画像を合成する画像合成部6とを備える
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、同一被写体を異なる視点で撮像する複数の撮像系を備えた撮像装置に関する。
【背景技術】
【0002】
近年、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置の高機能化や高画質化が進んでいる。撮像画像の画質を決める要因の1つとして、ダイナミックレンジがある。カメラにおけるダイナミックレンジとは識別可能な最大輝度と最小輝度の比である。現在市販されている一般的なデジタルカメラに搭載されているCCDやCMOSなどの撮像素子のダイナミックレンジは高いものでも2000:1程度である。一方、被写体の最大輝度と最小輝度の比は、シーンによっては100000:1以上あり、そのようなシーンを撮像する場合、明部に露出を合わせると暗部の光量が不足し黒潰れし、暗部に露出を合わせると明部が飽和し白飛びしてしまうという問題がある。
【0003】
黒潰れや白飛びによる画質劣化を防ぐには、ダイナミックレンジを拡大する必要がある。センサ自体のダイナミックレンジを拡大する以外に、例えば、特許文献1には、露出の異なる複数の画像を合成することでダイナミックレンジを拡大する技術が提案されている。この方法では、同一の撮像系で複数回撮像するため、被写体が動体である場合には合成に用いる複数の画像にずれが生じ、合成が困難になるという問題があった。
【0004】
また、動被写体撮像時のずれを回避するため、例えば、特許文献2では、複数の撮像系で被写体を同時に撮像した画像を合成する多眼式カメラが提案されている。この多眼式カメラは、被写体像の光束を受光して撮影するCCDと、CCDに被写体像を導くための複数の撮影光学系とを備え、複数の撮影光学系にそれぞれ異なる可視光透過率の光学フィルタが装着され、複数の撮影光学系からの複数の被写体像が同時に撮影される。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平10−336525号公報
【特許文献2】特開2002−281361号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上記特許文献2の方法は次のような課題を有している。すなわち、可視光透過率の異なるフィルタを各撮像系に備えることによって各撮像系を異なる露出に設定しているが、フィルタの可視光透過率は固定であるため、撮像するシーンに対して各撮像系の露出差が必ずしも適切にはならない。また、視点の異なる複数の画像を合成に用いる場合には、複数の画像間に視差が発生する。例えば、手前の被写体ほど視差は大きくなり、遠方にある被写体ほど視差は小さくなる。しかし、特許文献2の方法では、この視差について考慮されていないため、視点の異なる複数の画像を単純に合成してしまうと、各被写体画像に位置ずれなどが発生し合成がうまくいかない可能性がある。
【0007】
本発明は、上述のごとき実情に鑑みてなされたもので、ダイナミックレンジを広げつつ、適切な露出で高画質な合成画像を得ることができる撮像装置を提供すること、を目的とする。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明の第1の技術手段は、複数の撮像系と、該複数の撮像系により撮像された複数の画像の視差を算出する視差算出部と、前記複数の画像中の被写体の明るさの大小関係及び位置関係を判定する判定部と、前記判定部の判定結果に基づき複数の撮像系をそれぞれ異なる露出に制御可能な露出制御部と、前記視差と前記露出に基づいて前記複数の画像を合成する画像合成部とを備えることを特徴とする。
【0009】
第2の技術手段は、第1の技術手段において、前記判定部により明るい被写体と暗い被写体とが左右に配置されていると判定された場合、前記露出制御部は、一方の撮像系の露出を明るい被写体に合わせ、他方の撮像系の露出を暗い被写体に合うよう制御することを特徴とする。
【0010】
第3の技術手段は、第2の技術手段において、前記複数の画像は、前記一方の撮像系により明るい被写体に露出を合わせて撮像された第1の画像と、前記他方の撮像系により暗い被写体に露出を合わせて撮像された第2の画像とで構成され、前記視差算出部は、前記第1の画像と前記第2の画像とから視差を算出し、前記画像合成部は、前記視差算出部により算出された視差に基づいて画像合成する際に、前記第1の画像または前記第2の画像のいずれか一方を基準画像とし、前記基準画像の画素値が所定範囲にある領域に対しては前記基準画像の画素値を用い、また、前記基準画像の画素値が所定範囲にない領域に対しては他方の画像の前記領域に対応する領域の画素値を用いて画像合成することを特徴とする。
【0011】
第4の技術手段は、第1の技術手段において、前記判定部により明るい被写体と暗い被写体とが前後に配置されていると判定された場合、前記露出制御部は、前記画像合成部が前記複数の画像を合成する際に基準となる基準画像を撮像する撮像系の露出を後景側の被写体に合わせ、他方の撮像系の露出を前景側の被写体に合うよう制御することを特徴とする。
【0012】
第5の技術手段は、第4の技術手段において、前記複数の画像は、前記基準となる画像を撮像する撮像系により後景側の被写体に露出を合わせて撮像された第1の画像と、前記他方の撮像系により前景側の被写体に露出を合わせて撮像された第2の画像とで構成され、前記視差算出部は、前記第1の画像と前記第2の画像とから視差を算出し、前記画像合成部は、前記視差算出部により算出された視差に基づいて画像合成する際に、前記第1の画像の画素値が所定範囲にある領域に対しては前記第1の画像の画素値を用い、また、前記第1の画像の画素値が所定範囲にない領域に対しては前記第2の画像の前記領域に対応する領域の画素値を用いて画像合成することを特徴とする。
【0013】
第6の技術手段は、第1の技術手段において、前記判定部により明るい被写体と暗い被写体とが奥行き方向に交互に配置されていると判定された場合、前記露出制御部は、前記画像合成部が前記複数の画像を合成する際に基準となる画像を撮像する撮像系の露出を手前の被写体とは明るさの異なる被写体に合わせ、他方の撮像系の露出を手前の被写体に合うよう制御することを特徴とする。
【0014】
第7の技術手段は、第6の技術手段において、前記複数の画像は、前記基準となる画像を撮像する撮像系により手前の被写体とは明るさの異なる被写体に露出を合わせて撮像された第1の画像と、前記他方の撮像系により手前の被写体に露出を合わせて撮像された第2の画像とで構成され、前記視差算出部は、前記第1の画像と前記第2の画像とから視差を算出し、前記画像合成部は、前記視差算出部により算出された視差に基づいて画像合成する際に、前記第1の画像の画素値が所定範囲にある領域に対しては前記第1の画像の画素値を用い、また、前記第1の画像の画素値が所定範囲にない領域に対しては前記第2の画像の前記領域に対応する領域の画素値を用いて画像合成することを特徴とする。
【0015】
第8の技術手段は、第2、第4、第6のいずれか1の技術手段において、前記露出制御部は、前記複数の撮像系を同じ露出に制御し、前記視差算出部は、前記露出制御部により同じ露出に制御された前記複数の撮像系により撮像された複数の画像の視差を算出し、前記判定部は、前記複数の画素の画素値に基づいて各被写体の明るさの大小関係を判定し、前記視差算出部により算出された各被写体の視差に基づいて各被写体の位置関係を判定することを特徴とする。
【発明の効果】
【0016】
本発明によれば、視点の異なる複数の画像を撮像する際に、各撮像系毎の露出を被写体に応じて適切に制御すると共に、得られた複数の画像を視差に基づいて合成することにより、ダイナミックレンジを広げつつ、暗部から明部まで露出の合った高画質な合成画像を得ることが可能となる。
【図面の簡単な説明】
【0017】
【図1】本発明の一実施形態に係る撮像装置の構成例を示すブロック図である。
【図2】本発明の撮像装置による画像合成方法の一例を説明するためのフロー図である。
【図3】左右に配置された2つの撮像系を用いて、左右に配置された明るい被写体(明部)と暗い被写体(暗部)を撮像する場合の一例を模式的に示した図である。
【図4】撮像系2Lの露出を明被写体に合わせて撮像した画像と、同じく撮像系2Lの露出を暗被写体に合わせて撮像した画像とを示す図である。
【図5】撮像系2Lの露出を明被写体に合わせて撮像した画像と、撮像系2Rの露出を暗被写体に合わせて撮像した画像を示す図である。
【図6】左右2つの画像の対応する点の明るさが一致するよう左側の画像の画素値を補正した補正画像を示す図である。
【図7】明被写体、暗被写体共に適切な露出で撮像された合成画像の一例を示す図である。
【図8】撮像系2L,2Rの撮像可能な輝度範囲を示す図である。
【図9】左右に配置された2つの撮像系を用いて、前後に配置された明被写体(明部)と暗被写体(暗部)を撮像する場合の一例を模式的に示した図である。
【図10】撮像系2Lの露出を明被写体に合わせて撮像した画像と撮像系2Rの露出を暗被写体に合わせて撮像した画像を示す図である。
【図11】明部から暗部まで適切な露出で撮像された合成画像を示す図である。
【図12】撮像系2Lの露出を暗被写体に合わせて撮像した画像と撮像系2Rの露出を明被写体に合わせて撮像した画像を示す図である。
【図13】合成画像の一例を示す図である。
【図14】あるシーンの各視差における明るさの平均値の一例を示す図である。
【図15】あるシーンの各明るさにおける平均視差の一例を示す図である。
【図16】左右に配置された2つの撮像系を用いて、手前側から明被写体、暗被写体、明被写体の順に配置されている被写体を撮像する場合の一例を模式的に示す図である。
【図17】撮像系2Lの露出を明被写体に合わせて撮像した画像と撮像系2Rの露出を暗被写体に合わせて撮像した画像を示す図である。
【図18】撮像系2Lの露出を明被写体に合わせて撮像した画像と撮像系2Rの露出を暗被写体に合わせて撮像した画像を示す図である。
【図19】合成画像の一例を示す図である。
【図20】撮像系2Lの露出を暗被写体に合わせて撮像した画像と撮像系2Rの露出を明被写体に合わせて撮像した画像を示す図である。
【図21】撮像系2Lの露出を暗被写体に合わせて撮像した画像と撮像系2Rの露出を明被写体に合わせて撮像した画像を示す図である。
【図22】合成画像の一例を示す図である。
【発明を実施するための形態】
【0018】
以下、添付図面を参照しながら、本発明の撮像装置に係る好適な実施の形態について説明する。
【0019】
図1は、本発明の一実施形態に係る撮像装置の構成例を示すブロック図である。図中、1は撮像装置を示す。撮像装置1は、同一被写体を異なる視点で撮像する複数の撮像系2を備える。この撮像系2は、本例では左右に2つ配置され、固体撮像素子としてのCCD(Charge Coupled Device)と、CCDに被写体像を導くための撮影光学系とで構成される。また、撮像装置1は、複数の撮像系2により撮像された複数の画像の視差を算出する視差算出部3と、複数の画像中の被写体の明るさの大小関係及び位置関係を判定する判定部4と、判定部4の判定結果に基づき複数の撮像系2をそれぞれ異なる露出に制御可能な露出制御部5と、視差算出部3で算出した視差と露出制御部5で設定した露出に基づいて複数の画像を合成する画像合成部6とを備える。
【0020】
すなわち、判定部4は、同一被写体に含まれる2つ以上の被写体に対して各被写体の明るさの大小関係及び各被写体の位置関係を判定する。露出制御部5は、判定部4の判定結果に基づいて複数の撮像系2をそれぞれ異なる露出に制御する。視差算出部3は、露出制御部5で異なる露出に制御された複数の撮像系2により撮像された複数の画像から視差を算出する。画像合成部6は、視差算出部3で算出した視差に基づいて複数の画像を合成する。
【0021】
図2は、本発明の撮像装置による画像合成方法の一例を説明するためのフロー図である。まず、撮像装置1の露出制御部5は、左右2つの撮像系2L,2Rを同じ露出に制御し、これら2つの撮像系2L,2Rにより同一被写体を撮像する(ステップS1)。この同一被写体には明るさの異なる2つ以上の被写体が含まれているものとする。また、ステップS1で撮像された同一被写体の左右の画像情報は視差算出部3及び判定部4に入力される。次に、視差算出部3は、撮像系2L,2Rにより入力された左右の画像情報から各被写体の視差を算出する(ステップS2)。この視差の算出には例えば後述するブロックマッチング法を利用することができる。
【0022】
次に、判定部4は、撮像系2L,2Rより入力された左右の画像情報から例えば画素値(RGB値)を取得し、取得した画素値に基づいて各被写体の明るさの大小関係を判定すると共に、視差算出部3で算出された各被写体の視差に基づいて各被写体の位置関係(配置関係ともいう)を判定する(ステップS3)。各被写体の明るさの大小関係は、各被写体毎の画素値(RGB)をY値(YCbCr)に変換し、例えば各被写体の明るさの平均値を比較することで、相対的に明るい被写体と暗い被写体とを判定できる。また、各被写体の配置関係は、撮像系2L,2Rから見て、手前の被写体ほど視差が大きく、遠方の被写体ほど視差が小さいという関係から、各被写体の視差が異なっていれば、各被写体は前後に配置されており、また、各被写体の視差が同じであれば、各被写体は左右に配置されていると判定できる。
【0023】
次に、判定部4による判定の結果(ステップS4)、左右に明るい被写体と暗い被写体が配置されていると判定された場合(図中、左右明暗の場合)、露出制御部5は、一方の撮像系の露出を明るい被写体に合わせ、他方の撮像系の露出を暗い被写体に合わせる(ステップS5)。また、前後に明るい被写体と暗い被写体が配置されていると判定された場合(図中、前後明暗の場合)、露出制御部5は、一方の撮像系の露出を後景側の明るい被写体(又は暗い被写体)に合わせ、他方の撮像系の露出を前景側の暗い被写体(又は明るい被写体)に合わせる(ステップS6)。そして、ステップS5またはステップS6で異なる露出に制御された撮像系2L,2Rにより同一被写体を撮像する。この同一被写体を撮像して得られた左右の画像情報は視差算出部3及び画像合成部6に入力される。
【0024】
次に、視差算出部3は、撮像系2L,2Rにより入力された左右の画像情報から各被写体の視差を算出する(ステップS7)。そして、画像合成部6は、視差算出部3で算出された各被写体の視差に基づいて撮像系2L,2Rにより入力された左右2つの画像情報を1つの画像に合成する(ステップS8)。このフローにおいて、ステップS1では、撮像系2L,2Rを同じ露出に設定しているが、これは、視差をより正しく算出し、この視差に基づいて撮像系2L,2Rに最適な露出を設定するためである。また、ステップS8で画像合成処理に用いる視差は、各フレームにおいて異なる露出で撮像された左右画像から算出されるものである。つまり、最初の1フレームのみ各撮像系毎に最適な露出を設定するために同じ露出で行う撮像と、さらに、決定した各撮像系毎の異なる露出に基づき合成画像を得るために行う撮像と計2回撮像されるが、2フレーム以降は同じ露出での撮像は必要ないため、各撮像系毎の異なる露出による1回のみの撮像となる。
【0025】
<第1の実施形態>
本発明の第1の実施形態では、判定部4により明るい被写体と暗い被写体とが左右に配置されていると判定された場合、露出制御部5は、一方の撮像系の露出を明るい被写体に合わせ、他方の撮像系の露出を暗い被写体に合わせて制御する。なお、判定部4は、図2のフローで説明したように、同じ露出で撮像した左右の画像情報から各被写体の明るさと視差を取得し、これに基づいて各被写体の明るさの大小関係と各被写体の配置関係を判定してもよいし、あるいは、各被写体の明るさを輝度計などの測光センサを用いて取得し、各被写体までの距離情報を測距センサにより取得してもよい。また、距離情報については、焦点距離や撮像素子(CCDセンサ)の画素ピッチ等の撮像系の仕様が既知であれば、各被写体の視差から算出してもよい。このようにして得られた被写体の明るさ及び距離情報に基づいて、各被写体の明るさの大小関係と各被写体の配置関係を判定してもよい。
【0026】
そして、上記により異なる露出に制御された撮像系2L,2Rによって同一の被写体が撮像される。従って、画像合成に用いる複数の画像は、一方の撮像系により明るい被写体に露出を合わせて撮像された第1の画像と、他方の撮像系により暗い被写体に露出を合わせて撮像された第2の画像とで構成される。視差算出部3は、第1の画像と第2の画像とから視差を算出し、画像合成部6は、視差算出部3により算出された視差に基づいて画像合成する際に、第1の画像または第2の画像のいずれか一方を基準画像とし、基準画像の画素値が所定範囲にある領域に対しては基準画像の画素値を用い、また、基準画像の画素値が所定範囲にない領域に対しては他方の画像の当該領域に対応する領域の画素値を用いて画像合成する。以下、第1の実施形態について具体例を示して説明する。
【0027】
図3は、左右に配置された2つの撮像系2L,2Rを用いて、左右に配置された明るい被写体(明部)と暗い被写体(暗部)を撮像する場合の一例を模式的に示した図である。図中、10aは明るい被写体(以下、明被写体)、10bは暗い被写体(以下、暗被写体)を示す。また、図4に、撮像系2Lの露出を明被写体10aに合わせて撮像した画像2L1と、同じく撮像系2Lの露出を暗被写体10bに合わせて撮像した画像2L2とを示す。明被写体10aと暗被写体10bの輝度比が撮像系2Lのダイナミックレンジより広いため、露出を明被写体10aに合わせると画像2L1に示すように暗被写体画像10bLが黒潰れし、露出を暗被写体10bに合わせると画像2L2に示すように明被写体画像10aLが白飛びしてしまう。
【0028】
そこで、本実施形態では、一方の撮像系2Lの露出を明被写体10aに合わせて撮像し、他方の撮像系2Rの露出を暗被写体10bに合わせて撮像し、両方の撮像画像を合成することにより、明部から暗部まで白飛びや黒潰れのない露出の合った画像を得るようにしている。
【0029】
図5に、撮像系2Lの露出を明被写体10aに合わせて撮像した画像2L1と、撮像系2Rの露出を暗被写体10bに合わせて撮像した画像2R1を示す。画像2L1と画像2R1は本発明の第1の画像と第2の画像に相当するものとする。露出の設定方法は、既知の技術として、例えば、画像の平均画素値が所定の値となるようにする方法や、画像の最大画素値あるいは最小画素値が所定の値となるようにする方法などが知られている。また、画像合成用の視差をより正しく算出するためには、撮像系2Lの撮像画像に黒潰れ領域がなく、撮像系2Rの撮像画像に白飛び領域がないほうがよいため、両撮像系の露出差をあまり大きくとらないほうが望ましい。露出は、撮像装置1の絞り、感度、シャッタ速度等を制御することで設定することが出来る。複数の撮像系2L,2Rの露出を独立に制御することで、撮像するシーンに適した露出差に設定することが出来る。
【0030】
次に、画像合成に用いる視差の算出方法について述べる。図5の画像2L1と画像2R1とでは被写体像の位置が異なるように、視点の異なる撮像系2L,2Rで撮像された画像には視差がある。例えば、光軸が平行な2つの撮像系で撮像した場合、手前にある被写体ほど視差が大きくなり、遠方にある被写体ほど視差が小さくなり、無限遠にある被写体の視差はゼロとなる。従って、画像合成の際には視差を補正して合成する必要がある。なお、本例の場合、2つの被写体10a,10bは、撮像系2L,2Rから等距離にあるため、それぞれの視差は等しいと判定される。従って、2つの被写体10a,10bのいずれか一方の視差を算出すればよい。
【0031】
視差を算出する方法としては、例えば、公知の技術として、ブロックマッチング法がある。ブロックマッチング法とは、画像間の類似度を評価する方法であり、一方の画像からある領域を選択し、その領域と最も類似度の高い領域を他方の画像から選択し、一方の画像から選択された領域と他方の画像から選択された最も類似度の高い領域との位置のずれが視差となる。類似度の評価には様々な評価関数が用いられる。例えば、SAD(Sum of Absolute Difference)と言われる、両画像の画素値または輝度値の差異の絶対値の総和が最小となる領域を最も類似度の高い領域として選択する方法がある。
【0032】
ここで、異なる露出設定で撮像された画像の輝度値や画素値を用いてブロックマッチングを行う場合は、露出差を考慮し、2つの画像の対応する点の明るさが一致するよう一方の画像の輝度値や画素値を補正してからマッチングをするとよい。例えば、画像2L1と画像2R1の露出差ΔEVが2EV(Exposure Value)であり、両画像の画素値がセンサに入射する光量に対して線形である場合は、画像2L1の画素値に2のΔEV乗を掛けることで、2つの画像の対応する画素の明るさを一致させることが出来る。
【0033】
図6に、画像2L1と画像2R1の対応する点の明るさが一致するよう画像2L1の画素値を補正した画像2L1′を示す。このようにして、明るさの一致した画像2L1′と画像2R1とを用いてブロックマッチングを行えばよい。なお、EVとは、log2{(絞り値の2乗)/(シャッタ速度)}で与えられる露出設定値であり、絞り値が1.0、シャッタ速度が1.0秒のときの状態が0.0EVである。
【0034】
次に、画像を合成する方法について述べる。露出の異なる複数の画像を合成する場合、いずれか一方の画像を基準画像とし、この基準画像において適切な露出で撮像された領域については、基準画像の画素値を用い、基準画像において露出が適切でない領域については、他方の画像の当該領域に対応する領域の画素値を用いることで、明部から暗部まで適切な露出で撮像された画像を合成することが出来る。例えば、図5の画像2L1と画像2R1を、画像2L1を基準として合成する場合、明被写体10aについては画像2L1の明被写体画像10aLの画素値をそのまま用い、暗被写体10bについては画像2R1の暗被写体画像10bRの画素値を用いることで、図7に示すように、明被写体10a、暗被写体10b共に適切な露出で撮像された合成画像2LR1を得ることが出来る。
【0035】
基準画像において適切な露出で撮像されているか否かを判断する方法としては、例えば、8ビットの画像(最大画素値が255)とした場合、画素値RGBの最大値が例えば250以上である場合、又は、画素値RGBの最小値が例えば5以下である場合に露出が適切でないと判定することができる。露出が適切であるか否かを判断するための閾値については、撮像系の仕様、特性等を考慮して適切な閾値を設定すればよい。なお、画像合成する際には、ブロックマッチング法により視差を算出する場合と同様、露出差を考慮する必要がある。例えば、画像2R1の画素を合成に用いる場合は、画像2R1の画素値を2のΔEV乗で割ることで、画像2L1の対応する画素の明るさと一致させることができる。
【0036】
ここで、ブロックマッチング法による視差算出についてより詳細に説明する。前述のように、画像合成時に、異なる露出設定で撮像された画像の画素値を用いてブロックマッチング法により視差を算出する場合、画像間の露出差を考慮し、両画像の対応する点の明るさが一致するよう一方の画像の輝度値または画素値を補正してからマッチングをするとよい。しかしながら、両画像の露出差が大きい場合には以下に述べる問題が生じる。
【0037】
図8に、撮像系2L,2Rの撮像可能な輝度範囲を示す。撮像2Lの露出は明部に、撮像系2Rの露出は暗部に合わせて撮像している。図中、暗部(低輝度部分)は撮像系2Lでは黒潰れしており、明部(高輝度部分)は撮像系2Rでは白飛びしており、斜線(ハッチング)部は両撮像系2L,2Rで重複する輝度範囲である。この斜線部の輝度範囲においては、両撮像系で撮像された画像の露出差を補正することでブロックマッチングを行い、視差を算出することが出来る。しかしながら、撮像系2Lにおける黒潰れ領域では、画素値が0であれば補正不可能であり、0でなくともノイズが多いために補正しても正しい視差を算出することが困難な場合がある。また、同様に、撮像系2Rにおける白飛び領域では、画素値が255であれば適切に補正することが出来ず、正しい視差を算出することが困難な場合がある。
【0038】
従って、画像合成時に正しい視差を算出するためには、両撮像系ともに黒潰れ領域または白飛び領域がなるべく発生しないように撮像時の露出が適切に制御されることが望ましい。具体的には、両撮像系における撮像可能輝度範囲の重複部分が多くなるように、両撮像系の露出差を小さく制御することが考えられる。なお、両撮像系に対して適切な露出を設定するために、各被写体の明るさと視差(距離)が必要となる。このため本実施形態では、まず、両撮像系2L,2Rを同じ露出に設定して同一被写体を撮像し、得られた左右の撮像画像から各被写体の明るさと視差を算出する。そして、算出した明るさと視差に基づいて両撮像系2L,2Rの露出をシーンに合わせて適切に制御する。このように同じ露出に設定することで、より正しい視差を求めることができる。
【0039】
なお、白飛び領域、黒潰れ領域のように視差を正しく算出できない可能性がある領域については、例えば、その周辺領域において視差を正しく算出できていると判断できる領域の視差の値を用いて補間することで算出してもよい。
【0040】
また、撮像するシーンが急激に変化した場合は、視差の算出が困難になったり、露出の設定が適切でなくなったりする可能性がある。そこで、撮像するシーンが急激に変化した場合は、一旦撮像系2L,2Rを同じ露出設定にし、明るさと視差を算出した後、再度、それぞれの撮像系2L,2Rの露出を適切に設定してもよい。
【0041】
<第2の実施形態>
本発明の第2の実施形態では、判定部4により明るい被写体と暗い被写体とが前後に配置されていると判定された場合、露出制御部5は、一方の撮像系の露出を後景側の被写体に合わせ、他方の撮像系の露出を前景側の被写体に合わせて制御する。そして、異なる露出に制御された撮像系2L,2Rにより同一の被写体が撮像される。従って、画像合成に用いる複数の画像は、一方の撮像系により後景側の被写体に露出を合わせて撮像された第1の画像と、他方の撮像系により前景側の被写体に露出を合わせて撮像された第2の画像とで構成される。視差算出部3は、第1の画像と第2の画像とから視差を算出し、画像合成部6は、視差算出部3により算出された視差に基づいて画像合成する際に、第1の画像を基準画像とし、基準画像の画素値が所定範囲にある領域に対しては基準画像の画素値を用い、また、基準画像の画素値が所定範囲にない領域に対しては第2の画像の当該領域に対応する領域の画素値を用いて画像合成する。以下、第2の実施形態について具体例を示して説明する。
【0042】
図9は、左右に配置された2つの撮像系2L、2Rを用いて、前後に配置された明被写体(明部)と暗被写体(暗部)を撮像する場合の一例を模式的に示した図である。図中、11aは明被写体、11bは暗被写体を示す。また、図10に、撮像系2Lの露出を明被写体11aに合わせて撮像した画像2L2と撮像系2Rの露出を暗被写体11bに合わせて撮像した画像2R2を示す。図10において、前景側の明被写体11aに合わせた画像2L2を基準とし、画像2L2と画像2R2を合成する際に、画像2L2で白飛びや黒潰れしていない適切な露出で撮像されている明被写体11aは画像2L2の明被写体画像11aLの画素値を用い、また、画像2L2で適切な露出で撮像されていない暗被写体11bは画像2R2の暗被写体画像11bRの画素値を用いればよい。これにより、図11に示すような、明部から暗部まで適切な露出で撮像された合成画像2LR2が得られる。
【0043】
しかしながら、図11の合成画像2LR2では明被写体画像11aLの左側がオクルージョン領域Oになっており、画質が劣化するという問題がある。このオクルージョン領域Oは、図10の画像2L2では暗被写体11bが撮像されているが、画像2R2では明被写体11aが撮像されており、暗被写体11bは明被写体11aの影になっている。このように、一方の撮像系では撮像されており、他方の撮像系では撮像されていない領域をオクルージョンという。図11に白色で示すオクルージョン領域Oは、図10の画像2L2では黒潰れしているため、合成には適切な露出で撮像されている画像2R2の画素値を用いるのが好適であるが、画像2R2ではオクルージョンになっているため対応する領域に画素が存在しない。したがって、画像を合成する際、誤った画素値を合成に用いたり、露出の合っていない画像2L2の画素値を用いたりする必要があるため、画質が劣化する。
【0044】
これに対して、図12に、撮像系2Lの露出を暗被写体11bに合わせて撮像した画像2L2と撮像系2Rの露出を明被写体11aに合わせて撮像した画像2R2を示す。また、図13に画像2L2と画像2R2の合成画像を示す。図12の例の場合、上記の図10の例と異なり、遠景側の暗被写体11bに露出を合わせた画像2L2(第1の画像に相当)が基準となり、暗被写体11bは適切な露出で撮像されている画像2L2の暗被写体画像11bLの画素値を用い、また、画像2L2で適切な露出で撮像されていない明被写体11aは画像2R2(第2の画像に相当)の明被写体画像11aRの画素値を用いる。この際、図11に示すオクルージョン領域Oには、画像2L2の暗被写体画像11bLの画素が存在するため、図13に示すようにオクルージョンによる劣化は生じない。
【0045】
すなわち、図12において、画像2L2では、明被写体画像11aLの領域が適切な露出で撮像されておらず白飛び領域となっている。一方、画像2R2では、明被写体画像11aRの領域が適切な露出で撮像されている。画像2L2の明被写体画像11aLと画像2R2の明被写体画像11aRとは視差分だけずれているが、画像2L2と画像2R2間では各被写体の視差が算出されているため、画像2R2においてこの視差分だけずらした領域の画素値が明被写体画像11aRの領域の画素値に対応することになる。このようにして、画像2L2の明被写体画像11aLの領域に、画像2R2の明被写体画像11aRの領域の画素値を割り当てて、画像合成を行うことで、オクルージョンの発生を防止することができる。
【0046】
以上より、明るさの異なる2つの被写体が前後にある場合には、基準となる撮像系の露出を遠い側にある被写体に合わせて撮像し、他方の撮像系の露出を近い側にある被写体に合わせて撮像することで、画像合成時にオクルージョンに起因する画質の劣化を回避することが出来る。
【0047】
次に、明るさの異なる2つの被写体が前後にある場合における露出の設定方法について説明する。上述のように、明るさの異なる2つの被写体が前後にある場合は、基準となる撮像系の露出を遠い側(後景側)にある被写体に合わせ、他方の撮像系の露出を近い側(前景側)にある被写体に合わせて撮像することで、画質劣化のない画像合成を行うことができる。この際、被写体の明るさと被写体までの距離情報が必要となる。
【0048】
明るさについては、例えば、CCDセンサに入射する光量に対して線形な値を持つRAWデータを用いて算出することで、おおよその輝度値を算出することが出来る。また、画像の画素値(RGB値)を用いて明るさを算出してもよい。画素値を用いる場合、正確な輝度を算出することは容易ではないが、被写体の明るさの大小の傾向を知ることは出来るため、露出を設定する際に必要な情報としては十分である。また、輝度計などの測光センサを用いてもよい。
【0049】
距離情報については、例えば、測距センサや、視差を利用して算出する方法などがある。視差を利用する場合、例えば、光軸が平行となるよう2つの撮像系を配置して撮像した場合、手前にある被写体ほど視差が大きくなり、遠方にある被写体ほど視差が小さくなり、無限遠にある被写体の視差はゼロとなる。したがって、視差の大小により被写体の前後関係を判定することが出来る。また、焦点距離やセンサの画素ピッチ等の撮像系の仕様が既知であれば、視差値から被写体までの距離を算出することも出来る。
【0050】
次に、被写体の明るさと距離情報に基づいて撮像系の露出を設定する方法について述べる。本実施形態では、基準の撮像系の露出を後景に合わせ、他方の撮像系の露出を前景に合わせるため、例えば、各視差における明るさの平均値の情報より、ある視差値を閾値として前景と後景に分割すればよい。図14に、あるシーンの各視差における明るさの平均値の一例を示す。この例においては、視差1から6は明るさの平均値が小さく、視差7以上は明るさの平均値が大きい。したがって、前景は明るく、後景は暗いと言える。そこで、基準の撮像系の露出を後景、例えば視差6以下の領域を適切な露出(ここでは暗い被写体に合わせた露出)で撮像するよう設定し、他方の撮像系の露出を前景、例えば視差7以上の領域を適切な露出(ここでは明るい被写体に合わせた露出)で撮像するよう設定すればよい。
【0051】
また、各明るさにおける平均視差の情報より前景と後景に分割してもよい。図15に、あるシーンの各明るさにおける平均視差の一例を示す。本例においては、明るい領域の平均視差が小さく、暗い領域の平均視差が大きいことから、前景は暗く、後景は明るいと判断することが出来る。したがって、基準の撮像系の露出を明部(後景)に合わせ、他方の撮像系の露出を暗部(前景)に合わせればよい。また、基準の撮像系の露出を最小視差の領域に合わせ、他方の撮像系の露出を最小視差以外の領域に合わせてもよい。また、基準の撮像系を最大視差以外の領域に合わせ、他方の撮像系を最大視差の領域に合わせてもよい。
【0052】
<第3の実施形態>
本発明の第3の実施形態では、判定部4により明るい被写体と暗い被写体とが奥行き方向に交互に配置されていると判定された場合、露出制御部5は、一方の撮像系の露出を明るい被写体に合わせ、他方の撮像系の露出を暗い被写体に合わせて制御する。そして、異なる露出に制御された撮像系2L,2Rにより同一の被写体が撮像される。従って、画像合成に用いる複数の画像は、一方の撮像系により明るい被写体に露出を合わせて撮像された第1の画像と、他方の撮像系により暗い被写体に露出を合わせて撮像された第2の画像とで構成される。視差算出部3は、第1の画像と第2の画像とから視差を算出し、画像合成部6は、視差算出部3により算出された視差に基づいて画像合成する際に、第1の画像と第2の画像のうち、手前から2番目の被写体に露出を合わせた一方の画像を基準画像とし、基準画像の画素値が所定範囲にある領域に対しては基準画像の画素値を用い、また、基準画像の画素値が所定範囲にない領域に対しては他方の画像の当該領域に対応する領域の画素値を用いて画像合成する。以下、第3の実施形態について具体例を示して説明する。
【0053】
図16は、左右に配置された2つの撮像系2L,2Rを用いて、手前側から明被写体、暗被写体、明被写体の順に配置されている被写体を撮像する場合の一例を模式的に示す図である。図中、12aは明被写体、12bは暗被写体、12cは明被写体を示す。図17に、撮像系2Lの露出を明被写体12a,12cに合わせて撮像した画像2L3と、撮像系2Rの露出を暗被写体12bに合わせて撮像した画像2R3を示す。図17において、画像2L3では暗被写体画像12bLが黒潰れしており、画像2R3では明被写体画像12aRと明被写体画像12cRが白飛びしている。画像2L3と画像2R3を合成に用いる際、明被写体12a,12cは画像2L3の明被写体画像12aL,12cLの画素値を用い、暗被写体12bは画像2R3暗被写体画像12bRの画素値を用いればよい。
【0054】
また、図18の画像2L3′は、図17の画像2L3で適正な露出で撮像された領域(12aL,12cL)を薄いグレーで示し、黒潰れしている領域(12bL)を斜線で示したものである。また、図18の画像2R3′は、図17の画像2R3で適正な露出で撮像された領域(12bR)を濃いグレーで示し、白飛びしている領域(12aR,12cR)を斜線で示したものである。
【0055】
ここで、暗被写体12bの一部は明被写体12aの影となり、明被写体12cの一部は暗被写体12bの影となる。この際、画像2L3の領域12bLは黒潰れしているため、画像2R3の領域12bRの画素値を用いることが望ましいが、画像2R3の領域12bRの一部には白飛び領域12aRがあり、対応する画素が存在しない。従って、図17の画像2L3と画像2R3とを画像合成すると、図19に示すようなオクルージョン領域O1(斜線の領域)が発生する。
【0056】
すなわち、図17において、画像2L3では、暗被写体画像12bLの領域が適切な露出で撮像されておらず黒潰れ領域となっている。一方、画像2R3では、暗被写体画像12bRの領域が適切な露出で撮像されている。画像2L2の暗被写体画像12bLと画像2R2の暗被写体画像12bRとはそれぞれの視差分だけずれているが、画像2L3と画像2R3間では各被写体の視差が算出されているため、画像2R3においてこの視差分だけずらした領域の画素値が暗被写体画像12bRの領域の画素値に対応することになる。このようにして、画像2L3の暗被写体画像12bLの領域に、画像2R3の暗被写体画像12bRの領域の画素値を割り当てて、画像合成を行うが、画像2R3の暗被写体画像12bRの領域の一部には白飛び領域12aRがあり、対応する画素が存在しないため、画像合成したときにオクルージョン(図19)となる。
【0057】
これに対して、図20に、撮像系2Lの露出を暗被写体12bに合わせて撮像した画像2L3(第2の画像に相当)と、撮像系2Rの露出を明被写体12a,12cに合わせて撮像した画像2R3(第1の画像に相当)を示す。図20において、画像2L3では明被写体画像12aL,12cLが白飛びしており、画像2R3では暗被写体画像12bRが黒潰れしている。画像2L3と画像2R3を合成に用いる際、暗被写体12bは画像2L3の暗被写体画像12bLの画素値を用い、明被写体12a,12cは画像2R3の明被写体画像12aR,12cRの画素値を用いればよい。
【0058】
また、図21の画像2L3′は、図20の画像2L3で適正な露出で撮像された領域(12bL)を濃いグレーで示し、白飛びしている領域(12aL,12cL)を斜線で示したものである。また、図21の画像2R3′は、図20の画像2R3で適正な露出で撮像された領域(12aR,12cR)を薄いグレーで示し、黒潰れしている領域(12bR)を斜線で示したものである。
【0059】
ここで、図17の例と同様に、暗被写体12bの一部は明被写体12aの影となり、明被写体12cの一部は暗被写体12bの影となる。この際、画像2L3の領域12aL,12cLは白飛びしているため、画像2R3の領域12aR,12cRの画素値を用いることが望ましいが、画像2R3の領域12cRの一部には黒潰れ領域12bRがあり、対応する画素が存在しない。従って、図20の画像2L3と画像2R3とを画像合成すると、図22に示すようなオクルージョン領域O2(斜線の領域)が発生する。
【0060】
すなわち、図20において、画像2L3では、明被写体画像12aL,12cLの領域が適切な露出で撮像されておらず白飛び領域となっている。一方、画像2R3では、明被写体画像12aR,12cRの領域が適切な露出で撮像されている。画像2L2の明被写体画像12aL,12cLと画像2R2の明被写体画像12aR,12cRとはそれぞれの視差分だけずれているが、画像2L3と画像2R3間では各被写体の視差が算出されているため、画像2R3においてこの視差分だけずらした領域の画素値が明被写体画像12aR,12cRの領域の画素値に対応することになる。このようにして、画像2L3の明被写体画像12aL,12cLの領域に、画像2R3の明被写体画像12aR、12cRの領域の画素値を割り当てて、画像合成を行うが、画像2R3の明被写体画像12cRの領域の一部には黒潰れ領域12bRがあり、対応する画素が存在しないため、画像合成したときにオクルージョン(図22)となる。
【0061】
以上より、撮像系2Lの露出を暗被写体12bに合わせ、撮像系2Rの露出を明被写体12a,12cに合わせて撮像した場合も、あるいは、撮像系2Lの露出を明被写体12a,12cに合わせ、撮像系2Rの露出を暗被写体12bに合わせて撮像した場合も、画像合成時にオクルージョンが発生し、画質が劣化する可能性があると言える。しかしながら、図19と図22に示すように、オクルージョン領域は手前にある被写体ほど発生する可能性が高く、また、その領域も大きくなる。図19と図22に斜線で示すオクルージョン領域O1,O2の大きさが異なることからも明らかなように、基準となる撮像系2Lの露出を暗被写体12bに合わせ、撮像系2Rの露出を明被写体部12a,12cに合わせて撮像した方(図22の例)が、オクルージョン領域が小さく、画質劣化を抑えることが出来る。すなわち、画像2L3と画像2R3のうち、手前から2番目の暗被写体12bに露出を合わせた画像2L3を基準画像とすることで、オクルージョン領域の影響を小さくすることが可能となる。
【0062】
また、図16の例とは逆に、手前側から暗被写体、明被写体、暗被写体の順に並んでいる場合についても、基準とする撮像系2Lの露出を手前から2番目の明被写体に合わせ、撮像系2Rの露出を暗被写体に合わせて撮像した方が、オクルージョンにより画質が劣化する領域を小さく抑えることが出来るといえる。つまり、撮像系から見て、手前側から明被写体、暗被写体、明被写体の順に並んでいても、あるいは、手前側から暗被写体、明被写体、暗被写体の順に並んでいても、基準とする撮像系の露出を手前から2番目の被写体に合わせることで、画像を合成した際にオクルージョンにより画質が劣化する領域を低減することが出来る。
【符号の説明】
【0063】
1…撮像装置、2…撮像系、3…視差算出部、4…判定部、5…露出制御部、6…画像合成部。
【技術分野】
【0001】
本発明は、同一被写体を異なる視点で撮像する複数の撮像系を備えた撮像装置に関する。
【背景技術】
【0002】
近年、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置の高機能化や高画質化が進んでいる。撮像画像の画質を決める要因の1つとして、ダイナミックレンジがある。カメラにおけるダイナミックレンジとは識別可能な最大輝度と最小輝度の比である。現在市販されている一般的なデジタルカメラに搭載されているCCDやCMOSなどの撮像素子のダイナミックレンジは高いものでも2000:1程度である。一方、被写体の最大輝度と最小輝度の比は、シーンによっては100000:1以上あり、そのようなシーンを撮像する場合、明部に露出を合わせると暗部の光量が不足し黒潰れし、暗部に露出を合わせると明部が飽和し白飛びしてしまうという問題がある。
【0003】
黒潰れや白飛びによる画質劣化を防ぐには、ダイナミックレンジを拡大する必要がある。センサ自体のダイナミックレンジを拡大する以外に、例えば、特許文献1には、露出の異なる複数の画像を合成することでダイナミックレンジを拡大する技術が提案されている。この方法では、同一の撮像系で複数回撮像するため、被写体が動体である場合には合成に用いる複数の画像にずれが生じ、合成が困難になるという問題があった。
【0004】
また、動被写体撮像時のずれを回避するため、例えば、特許文献2では、複数の撮像系で被写体を同時に撮像した画像を合成する多眼式カメラが提案されている。この多眼式カメラは、被写体像の光束を受光して撮影するCCDと、CCDに被写体像を導くための複数の撮影光学系とを備え、複数の撮影光学系にそれぞれ異なる可視光透過率の光学フィルタが装着され、複数の撮影光学系からの複数の被写体像が同時に撮影される。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平10−336525号公報
【特許文献2】特開2002−281361号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上記特許文献2の方法は次のような課題を有している。すなわち、可視光透過率の異なるフィルタを各撮像系に備えることによって各撮像系を異なる露出に設定しているが、フィルタの可視光透過率は固定であるため、撮像するシーンに対して各撮像系の露出差が必ずしも適切にはならない。また、視点の異なる複数の画像を合成に用いる場合には、複数の画像間に視差が発生する。例えば、手前の被写体ほど視差は大きくなり、遠方にある被写体ほど視差は小さくなる。しかし、特許文献2の方法では、この視差について考慮されていないため、視点の異なる複数の画像を単純に合成してしまうと、各被写体画像に位置ずれなどが発生し合成がうまくいかない可能性がある。
【0007】
本発明は、上述のごとき実情に鑑みてなされたもので、ダイナミックレンジを広げつつ、適切な露出で高画質な合成画像を得ることができる撮像装置を提供すること、を目的とする。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明の第1の技術手段は、複数の撮像系と、該複数の撮像系により撮像された複数の画像の視差を算出する視差算出部と、前記複数の画像中の被写体の明るさの大小関係及び位置関係を判定する判定部と、前記判定部の判定結果に基づき複数の撮像系をそれぞれ異なる露出に制御可能な露出制御部と、前記視差と前記露出に基づいて前記複数の画像を合成する画像合成部とを備えることを特徴とする。
【0009】
第2の技術手段は、第1の技術手段において、前記判定部により明るい被写体と暗い被写体とが左右に配置されていると判定された場合、前記露出制御部は、一方の撮像系の露出を明るい被写体に合わせ、他方の撮像系の露出を暗い被写体に合うよう制御することを特徴とする。
【0010】
第3の技術手段は、第2の技術手段において、前記複数の画像は、前記一方の撮像系により明るい被写体に露出を合わせて撮像された第1の画像と、前記他方の撮像系により暗い被写体に露出を合わせて撮像された第2の画像とで構成され、前記視差算出部は、前記第1の画像と前記第2の画像とから視差を算出し、前記画像合成部は、前記視差算出部により算出された視差に基づいて画像合成する際に、前記第1の画像または前記第2の画像のいずれか一方を基準画像とし、前記基準画像の画素値が所定範囲にある領域に対しては前記基準画像の画素値を用い、また、前記基準画像の画素値が所定範囲にない領域に対しては他方の画像の前記領域に対応する領域の画素値を用いて画像合成することを特徴とする。
【0011】
第4の技術手段は、第1の技術手段において、前記判定部により明るい被写体と暗い被写体とが前後に配置されていると判定された場合、前記露出制御部は、前記画像合成部が前記複数の画像を合成する際に基準となる基準画像を撮像する撮像系の露出を後景側の被写体に合わせ、他方の撮像系の露出を前景側の被写体に合うよう制御することを特徴とする。
【0012】
第5の技術手段は、第4の技術手段において、前記複数の画像は、前記基準となる画像を撮像する撮像系により後景側の被写体に露出を合わせて撮像された第1の画像と、前記他方の撮像系により前景側の被写体に露出を合わせて撮像された第2の画像とで構成され、前記視差算出部は、前記第1の画像と前記第2の画像とから視差を算出し、前記画像合成部は、前記視差算出部により算出された視差に基づいて画像合成する際に、前記第1の画像の画素値が所定範囲にある領域に対しては前記第1の画像の画素値を用い、また、前記第1の画像の画素値が所定範囲にない領域に対しては前記第2の画像の前記領域に対応する領域の画素値を用いて画像合成することを特徴とする。
【0013】
第6の技術手段は、第1の技術手段において、前記判定部により明るい被写体と暗い被写体とが奥行き方向に交互に配置されていると判定された場合、前記露出制御部は、前記画像合成部が前記複数の画像を合成する際に基準となる画像を撮像する撮像系の露出を手前の被写体とは明るさの異なる被写体に合わせ、他方の撮像系の露出を手前の被写体に合うよう制御することを特徴とする。
【0014】
第7の技術手段は、第6の技術手段において、前記複数の画像は、前記基準となる画像を撮像する撮像系により手前の被写体とは明るさの異なる被写体に露出を合わせて撮像された第1の画像と、前記他方の撮像系により手前の被写体に露出を合わせて撮像された第2の画像とで構成され、前記視差算出部は、前記第1の画像と前記第2の画像とから視差を算出し、前記画像合成部は、前記視差算出部により算出された視差に基づいて画像合成する際に、前記第1の画像の画素値が所定範囲にある領域に対しては前記第1の画像の画素値を用い、また、前記第1の画像の画素値が所定範囲にない領域に対しては前記第2の画像の前記領域に対応する領域の画素値を用いて画像合成することを特徴とする。
【0015】
第8の技術手段は、第2、第4、第6のいずれか1の技術手段において、前記露出制御部は、前記複数の撮像系を同じ露出に制御し、前記視差算出部は、前記露出制御部により同じ露出に制御された前記複数の撮像系により撮像された複数の画像の視差を算出し、前記判定部は、前記複数の画素の画素値に基づいて各被写体の明るさの大小関係を判定し、前記視差算出部により算出された各被写体の視差に基づいて各被写体の位置関係を判定することを特徴とする。
【発明の効果】
【0016】
本発明によれば、視点の異なる複数の画像を撮像する際に、各撮像系毎の露出を被写体に応じて適切に制御すると共に、得られた複数の画像を視差に基づいて合成することにより、ダイナミックレンジを広げつつ、暗部から明部まで露出の合った高画質な合成画像を得ることが可能となる。
【図面の簡単な説明】
【0017】
【図1】本発明の一実施形態に係る撮像装置の構成例を示すブロック図である。
【図2】本発明の撮像装置による画像合成方法の一例を説明するためのフロー図である。
【図3】左右に配置された2つの撮像系を用いて、左右に配置された明るい被写体(明部)と暗い被写体(暗部)を撮像する場合の一例を模式的に示した図である。
【図4】撮像系2Lの露出を明被写体に合わせて撮像した画像と、同じく撮像系2Lの露出を暗被写体に合わせて撮像した画像とを示す図である。
【図5】撮像系2Lの露出を明被写体に合わせて撮像した画像と、撮像系2Rの露出を暗被写体に合わせて撮像した画像を示す図である。
【図6】左右2つの画像の対応する点の明るさが一致するよう左側の画像の画素値を補正した補正画像を示す図である。
【図7】明被写体、暗被写体共に適切な露出で撮像された合成画像の一例を示す図である。
【図8】撮像系2L,2Rの撮像可能な輝度範囲を示す図である。
【図9】左右に配置された2つの撮像系を用いて、前後に配置された明被写体(明部)と暗被写体(暗部)を撮像する場合の一例を模式的に示した図である。
【図10】撮像系2Lの露出を明被写体に合わせて撮像した画像と撮像系2Rの露出を暗被写体に合わせて撮像した画像を示す図である。
【図11】明部から暗部まで適切な露出で撮像された合成画像を示す図である。
【図12】撮像系2Lの露出を暗被写体に合わせて撮像した画像と撮像系2Rの露出を明被写体に合わせて撮像した画像を示す図である。
【図13】合成画像の一例を示す図である。
【図14】あるシーンの各視差における明るさの平均値の一例を示す図である。
【図15】あるシーンの各明るさにおける平均視差の一例を示す図である。
【図16】左右に配置された2つの撮像系を用いて、手前側から明被写体、暗被写体、明被写体の順に配置されている被写体を撮像する場合の一例を模式的に示す図である。
【図17】撮像系2Lの露出を明被写体に合わせて撮像した画像と撮像系2Rの露出を暗被写体に合わせて撮像した画像を示す図である。
【図18】撮像系2Lの露出を明被写体に合わせて撮像した画像と撮像系2Rの露出を暗被写体に合わせて撮像した画像を示す図である。
【図19】合成画像の一例を示す図である。
【図20】撮像系2Lの露出を暗被写体に合わせて撮像した画像と撮像系2Rの露出を明被写体に合わせて撮像した画像を示す図である。
【図21】撮像系2Lの露出を暗被写体に合わせて撮像した画像と撮像系2Rの露出を明被写体に合わせて撮像した画像を示す図である。
【図22】合成画像の一例を示す図である。
【発明を実施するための形態】
【0018】
以下、添付図面を参照しながら、本発明の撮像装置に係る好適な実施の形態について説明する。
【0019】
図1は、本発明の一実施形態に係る撮像装置の構成例を示すブロック図である。図中、1は撮像装置を示す。撮像装置1は、同一被写体を異なる視点で撮像する複数の撮像系2を備える。この撮像系2は、本例では左右に2つ配置され、固体撮像素子としてのCCD(Charge Coupled Device)と、CCDに被写体像を導くための撮影光学系とで構成される。また、撮像装置1は、複数の撮像系2により撮像された複数の画像の視差を算出する視差算出部3と、複数の画像中の被写体の明るさの大小関係及び位置関係を判定する判定部4と、判定部4の判定結果に基づき複数の撮像系2をそれぞれ異なる露出に制御可能な露出制御部5と、視差算出部3で算出した視差と露出制御部5で設定した露出に基づいて複数の画像を合成する画像合成部6とを備える。
【0020】
すなわち、判定部4は、同一被写体に含まれる2つ以上の被写体に対して各被写体の明るさの大小関係及び各被写体の位置関係を判定する。露出制御部5は、判定部4の判定結果に基づいて複数の撮像系2をそれぞれ異なる露出に制御する。視差算出部3は、露出制御部5で異なる露出に制御された複数の撮像系2により撮像された複数の画像から視差を算出する。画像合成部6は、視差算出部3で算出した視差に基づいて複数の画像を合成する。
【0021】
図2は、本発明の撮像装置による画像合成方法の一例を説明するためのフロー図である。まず、撮像装置1の露出制御部5は、左右2つの撮像系2L,2Rを同じ露出に制御し、これら2つの撮像系2L,2Rにより同一被写体を撮像する(ステップS1)。この同一被写体には明るさの異なる2つ以上の被写体が含まれているものとする。また、ステップS1で撮像された同一被写体の左右の画像情報は視差算出部3及び判定部4に入力される。次に、視差算出部3は、撮像系2L,2Rにより入力された左右の画像情報から各被写体の視差を算出する(ステップS2)。この視差の算出には例えば後述するブロックマッチング法を利用することができる。
【0022】
次に、判定部4は、撮像系2L,2Rより入力された左右の画像情報から例えば画素値(RGB値)を取得し、取得した画素値に基づいて各被写体の明るさの大小関係を判定すると共に、視差算出部3で算出された各被写体の視差に基づいて各被写体の位置関係(配置関係ともいう)を判定する(ステップS3)。各被写体の明るさの大小関係は、各被写体毎の画素値(RGB)をY値(YCbCr)に変換し、例えば各被写体の明るさの平均値を比較することで、相対的に明るい被写体と暗い被写体とを判定できる。また、各被写体の配置関係は、撮像系2L,2Rから見て、手前の被写体ほど視差が大きく、遠方の被写体ほど視差が小さいという関係から、各被写体の視差が異なっていれば、各被写体は前後に配置されており、また、各被写体の視差が同じであれば、各被写体は左右に配置されていると判定できる。
【0023】
次に、判定部4による判定の結果(ステップS4)、左右に明るい被写体と暗い被写体が配置されていると判定された場合(図中、左右明暗の場合)、露出制御部5は、一方の撮像系の露出を明るい被写体に合わせ、他方の撮像系の露出を暗い被写体に合わせる(ステップS5)。また、前後に明るい被写体と暗い被写体が配置されていると判定された場合(図中、前後明暗の場合)、露出制御部5は、一方の撮像系の露出を後景側の明るい被写体(又は暗い被写体)に合わせ、他方の撮像系の露出を前景側の暗い被写体(又は明るい被写体)に合わせる(ステップS6)。そして、ステップS5またはステップS6で異なる露出に制御された撮像系2L,2Rにより同一被写体を撮像する。この同一被写体を撮像して得られた左右の画像情報は視差算出部3及び画像合成部6に入力される。
【0024】
次に、視差算出部3は、撮像系2L,2Rにより入力された左右の画像情報から各被写体の視差を算出する(ステップS7)。そして、画像合成部6は、視差算出部3で算出された各被写体の視差に基づいて撮像系2L,2Rにより入力された左右2つの画像情報を1つの画像に合成する(ステップS8)。このフローにおいて、ステップS1では、撮像系2L,2Rを同じ露出に設定しているが、これは、視差をより正しく算出し、この視差に基づいて撮像系2L,2Rに最適な露出を設定するためである。また、ステップS8で画像合成処理に用いる視差は、各フレームにおいて異なる露出で撮像された左右画像から算出されるものである。つまり、最初の1フレームのみ各撮像系毎に最適な露出を設定するために同じ露出で行う撮像と、さらに、決定した各撮像系毎の異なる露出に基づき合成画像を得るために行う撮像と計2回撮像されるが、2フレーム以降は同じ露出での撮像は必要ないため、各撮像系毎の異なる露出による1回のみの撮像となる。
【0025】
<第1の実施形態>
本発明の第1の実施形態では、判定部4により明るい被写体と暗い被写体とが左右に配置されていると判定された場合、露出制御部5は、一方の撮像系の露出を明るい被写体に合わせ、他方の撮像系の露出を暗い被写体に合わせて制御する。なお、判定部4は、図2のフローで説明したように、同じ露出で撮像した左右の画像情報から各被写体の明るさと視差を取得し、これに基づいて各被写体の明るさの大小関係と各被写体の配置関係を判定してもよいし、あるいは、各被写体の明るさを輝度計などの測光センサを用いて取得し、各被写体までの距離情報を測距センサにより取得してもよい。また、距離情報については、焦点距離や撮像素子(CCDセンサ)の画素ピッチ等の撮像系の仕様が既知であれば、各被写体の視差から算出してもよい。このようにして得られた被写体の明るさ及び距離情報に基づいて、各被写体の明るさの大小関係と各被写体の配置関係を判定してもよい。
【0026】
そして、上記により異なる露出に制御された撮像系2L,2Rによって同一の被写体が撮像される。従って、画像合成に用いる複数の画像は、一方の撮像系により明るい被写体に露出を合わせて撮像された第1の画像と、他方の撮像系により暗い被写体に露出を合わせて撮像された第2の画像とで構成される。視差算出部3は、第1の画像と第2の画像とから視差を算出し、画像合成部6は、視差算出部3により算出された視差に基づいて画像合成する際に、第1の画像または第2の画像のいずれか一方を基準画像とし、基準画像の画素値が所定範囲にある領域に対しては基準画像の画素値を用い、また、基準画像の画素値が所定範囲にない領域に対しては他方の画像の当該領域に対応する領域の画素値を用いて画像合成する。以下、第1の実施形態について具体例を示して説明する。
【0027】
図3は、左右に配置された2つの撮像系2L,2Rを用いて、左右に配置された明るい被写体(明部)と暗い被写体(暗部)を撮像する場合の一例を模式的に示した図である。図中、10aは明るい被写体(以下、明被写体)、10bは暗い被写体(以下、暗被写体)を示す。また、図4に、撮像系2Lの露出を明被写体10aに合わせて撮像した画像2L1と、同じく撮像系2Lの露出を暗被写体10bに合わせて撮像した画像2L2とを示す。明被写体10aと暗被写体10bの輝度比が撮像系2Lのダイナミックレンジより広いため、露出を明被写体10aに合わせると画像2L1に示すように暗被写体画像10bLが黒潰れし、露出を暗被写体10bに合わせると画像2L2に示すように明被写体画像10aLが白飛びしてしまう。
【0028】
そこで、本実施形態では、一方の撮像系2Lの露出を明被写体10aに合わせて撮像し、他方の撮像系2Rの露出を暗被写体10bに合わせて撮像し、両方の撮像画像を合成することにより、明部から暗部まで白飛びや黒潰れのない露出の合った画像を得るようにしている。
【0029】
図5に、撮像系2Lの露出を明被写体10aに合わせて撮像した画像2L1と、撮像系2Rの露出を暗被写体10bに合わせて撮像した画像2R1を示す。画像2L1と画像2R1は本発明の第1の画像と第2の画像に相当するものとする。露出の設定方法は、既知の技術として、例えば、画像の平均画素値が所定の値となるようにする方法や、画像の最大画素値あるいは最小画素値が所定の値となるようにする方法などが知られている。また、画像合成用の視差をより正しく算出するためには、撮像系2Lの撮像画像に黒潰れ領域がなく、撮像系2Rの撮像画像に白飛び領域がないほうがよいため、両撮像系の露出差をあまり大きくとらないほうが望ましい。露出は、撮像装置1の絞り、感度、シャッタ速度等を制御することで設定することが出来る。複数の撮像系2L,2Rの露出を独立に制御することで、撮像するシーンに適した露出差に設定することが出来る。
【0030】
次に、画像合成に用いる視差の算出方法について述べる。図5の画像2L1と画像2R1とでは被写体像の位置が異なるように、視点の異なる撮像系2L,2Rで撮像された画像には視差がある。例えば、光軸が平行な2つの撮像系で撮像した場合、手前にある被写体ほど視差が大きくなり、遠方にある被写体ほど視差が小さくなり、無限遠にある被写体の視差はゼロとなる。従って、画像合成の際には視差を補正して合成する必要がある。なお、本例の場合、2つの被写体10a,10bは、撮像系2L,2Rから等距離にあるため、それぞれの視差は等しいと判定される。従って、2つの被写体10a,10bのいずれか一方の視差を算出すればよい。
【0031】
視差を算出する方法としては、例えば、公知の技術として、ブロックマッチング法がある。ブロックマッチング法とは、画像間の類似度を評価する方法であり、一方の画像からある領域を選択し、その領域と最も類似度の高い領域を他方の画像から選択し、一方の画像から選択された領域と他方の画像から選択された最も類似度の高い領域との位置のずれが視差となる。類似度の評価には様々な評価関数が用いられる。例えば、SAD(Sum of Absolute Difference)と言われる、両画像の画素値または輝度値の差異の絶対値の総和が最小となる領域を最も類似度の高い領域として選択する方法がある。
【0032】
ここで、異なる露出設定で撮像された画像の輝度値や画素値を用いてブロックマッチングを行う場合は、露出差を考慮し、2つの画像の対応する点の明るさが一致するよう一方の画像の輝度値や画素値を補正してからマッチングをするとよい。例えば、画像2L1と画像2R1の露出差ΔEVが2EV(Exposure Value)であり、両画像の画素値がセンサに入射する光量に対して線形である場合は、画像2L1の画素値に2のΔEV乗を掛けることで、2つの画像の対応する画素の明るさを一致させることが出来る。
【0033】
図6に、画像2L1と画像2R1の対応する点の明るさが一致するよう画像2L1の画素値を補正した画像2L1′を示す。このようにして、明るさの一致した画像2L1′と画像2R1とを用いてブロックマッチングを行えばよい。なお、EVとは、log2{(絞り値の2乗)/(シャッタ速度)}で与えられる露出設定値であり、絞り値が1.0、シャッタ速度が1.0秒のときの状態が0.0EVである。
【0034】
次に、画像を合成する方法について述べる。露出の異なる複数の画像を合成する場合、いずれか一方の画像を基準画像とし、この基準画像において適切な露出で撮像された領域については、基準画像の画素値を用い、基準画像において露出が適切でない領域については、他方の画像の当該領域に対応する領域の画素値を用いることで、明部から暗部まで適切な露出で撮像された画像を合成することが出来る。例えば、図5の画像2L1と画像2R1を、画像2L1を基準として合成する場合、明被写体10aについては画像2L1の明被写体画像10aLの画素値をそのまま用い、暗被写体10bについては画像2R1の暗被写体画像10bRの画素値を用いることで、図7に示すように、明被写体10a、暗被写体10b共に適切な露出で撮像された合成画像2LR1を得ることが出来る。
【0035】
基準画像において適切な露出で撮像されているか否かを判断する方法としては、例えば、8ビットの画像(最大画素値が255)とした場合、画素値RGBの最大値が例えば250以上である場合、又は、画素値RGBの最小値が例えば5以下である場合に露出が適切でないと判定することができる。露出が適切であるか否かを判断するための閾値については、撮像系の仕様、特性等を考慮して適切な閾値を設定すればよい。なお、画像合成する際には、ブロックマッチング法により視差を算出する場合と同様、露出差を考慮する必要がある。例えば、画像2R1の画素を合成に用いる場合は、画像2R1の画素値を2のΔEV乗で割ることで、画像2L1の対応する画素の明るさと一致させることができる。
【0036】
ここで、ブロックマッチング法による視差算出についてより詳細に説明する。前述のように、画像合成時に、異なる露出設定で撮像された画像の画素値を用いてブロックマッチング法により視差を算出する場合、画像間の露出差を考慮し、両画像の対応する点の明るさが一致するよう一方の画像の輝度値または画素値を補正してからマッチングをするとよい。しかしながら、両画像の露出差が大きい場合には以下に述べる問題が生じる。
【0037】
図8に、撮像系2L,2Rの撮像可能な輝度範囲を示す。撮像2Lの露出は明部に、撮像系2Rの露出は暗部に合わせて撮像している。図中、暗部(低輝度部分)は撮像系2Lでは黒潰れしており、明部(高輝度部分)は撮像系2Rでは白飛びしており、斜線(ハッチング)部は両撮像系2L,2Rで重複する輝度範囲である。この斜線部の輝度範囲においては、両撮像系で撮像された画像の露出差を補正することでブロックマッチングを行い、視差を算出することが出来る。しかしながら、撮像系2Lにおける黒潰れ領域では、画素値が0であれば補正不可能であり、0でなくともノイズが多いために補正しても正しい視差を算出することが困難な場合がある。また、同様に、撮像系2Rにおける白飛び領域では、画素値が255であれば適切に補正することが出来ず、正しい視差を算出することが困難な場合がある。
【0038】
従って、画像合成時に正しい視差を算出するためには、両撮像系ともに黒潰れ領域または白飛び領域がなるべく発生しないように撮像時の露出が適切に制御されることが望ましい。具体的には、両撮像系における撮像可能輝度範囲の重複部分が多くなるように、両撮像系の露出差を小さく制御することが考えられる。なお、両撮像系に対して適切な露出を設定するために、各被写体の明るさと視差(距離)が必要となる。このため本実施形態では、まず、両撮像系2L,2Rを同じ露出に設定して同一被写体を撮像し、得られた左右の撮像画像から各被写体の明るさと視差を算出する。そして、算出した明るさと視差に基づいて両撮像系2L,2Rの露出をシーンに合わせて適切に制御する。このように同じ露出に設定することで、より正しい視差を求めることができる。
【0039】
なお、白飛び領域、黒潰れ領域のように視差を正しく算出できない可能性がある領域については、例えば、その周辺領域において視差を正しく算出できていると判断できる領域の視差の値を用いて補間することで算出してもよい。
【0040】
また、撮像するシーンが急激に変化した場合は、視差の算出が困難になったり、露出の設定が適切でなくなったりする可能性がある。そこで、撮像するシーンが急激に変化した場合は、一旦撮像系2L,2Rを同じ露出設定にし、明るさと視差を算出した後、再度、それぞれの撮像系2L,2Rの露出を適切に設定してもよい。
【0041】
<第2の実施形態>
本発明の第2の実施形態では、判定部4により明るい被写体と暗い被写体とが前後に配置されていると判定された場合、露出制御部5は、一方の撮像系の露出を後景側の被写体に合わせ、他方の撮像系の露出を前景側の被写体に合わせて制御する。そして、異なる露出に制御された撮像系2L,2Rにより同一の被写体が撮像される。従って、画像合成に用いる複数の画像は、一方の撮像系により後景側の被写体に露出を合わせて撮像された第1の画像と、他方の撮像系により前景側の被写体に露出を合わせて撮像された第2の画像とで構成される。視差算出部3は、第1の画像と第2の画像とから視差を算出し、画像合成部6は、視差算出部3により算出された視差に基づいて画像合成する際に、第1の画像を基準画像とし、基準画像の画素値が所定範囲にある領域に対しては基準画像の画素値を用い、また、基準画像の画素値が所定範囲にない領域に対しては第2の画像の当該領域に対応する領域の画素値を用いて画像合成する。以下、第2の実施形態について具体例を示して説明する。
【0042】
図9は、左右に配置された2つの撮像系2L、2Rを用いて、前後に配置された明被写体(明部)と暗被写体(暗部)を撮像する場合の一例を模式的に示した図である。図中、11aは明被写体、11bは暗被写体を示す。また、図10に、撮像系2Lの露出を明被写体11aに合わせて撮像した画像2L2と撮像系2Rの露出を暗被写体11bに合わせて撮像した画像2R2を示す。図10において、前景側の明被写体11aに合わせた画像2L2を基準とし、画像2L2と画像2R2を合成する際に、画像2L2で白飛びや黒潰れしていない適切な露出で撮像されている明被写体11aは画像2L2の明被写体画像11aLの画素値を用い、また、画像2L2で適切な露出で撮像されていない暗被写体11bは画像2R2の暗被写体画像11bRの画素値を用いればよい。これにより、図11に示すような、明部から暗部まで適切な露出で撮像された合成画像2LR2が得られる。
【0043】
しかしながら、図11の合成画像2LR2では明被写体画像11aLの左側がオクルージョン領域Oになっており、画質が劣化するという問題がある。このオクルージョン領域Oは、図10の画像2L2では暗被写体11bが撮像されているが、画像2R2では明被写体11aが撮像されており、暗被写体11bは明被写体11aの影になっている。このように、一方の撮像系では撮像されており、他方の撮像系では撮像されていない領域をオクルージョンという。図11に白色で示すオクルージョン領域Oは、図10の画像2L2では黒潰れしているため、合成には適切な露出で撮像されている画像2R2の画素値を用いるのが好適であるが、画像2R2ではオクルージョンになっているため対応する領域に画素が存在しない。したがって、画像を合成する際、誤った画素値を合成に用いたり、露出の合っていない画像2L2の画素値を用いたりする必要があるため、画質が劣化する。
【0044】
これに対して、図12に、撮像系2Lの露出を暗被写体11bに合わせて撮像した画像2L2と撮像系2Rの露出を明被写体11aに合わせて撮像した画像2R2を示す。また、図13に画像2L2と画像2R2の合成画像を示す。図12の例の場合、上記の図10の例と異なり、遠景側の暗被写体11bに露出を合わせた画像2L2(第1の画像に相当)が基準となり、暗被写体11bは適切な露出で撮像されている画像2L2の暗被写体画像11bLの画素値を用い、また、画像2L2で適切な露出で撮像されていない明被写体11aは画像2R2(第2の画像に相当)の明被写体画像11aRの画素値を用いる。この際、図11に示すオクルージョン領域Oには、画像2L2の暗被写体画像11bLの画素が存在するため、図13に示すようにオクルージョンによる劣化は生じない。
【0045】
すなわち、図12において、画像2L2では、明被写体画像11aLの領域が適切な露出で撮像されておらず白飛び領域となっている。一方、画像2R2では、明被写体画像11aRの領域が適切な露出で撮像されている。画像2L2の明被写体画像11aLと画像2R2の明被写体画像11aRとは視差分だけずれているが、画像2L2と画像2R2間では各被写体の視差が算出されているため、画像2R2においてこの視差分だけずらした領域の画素値が明被写体画像11aRの領域の画素値に対応することになる。このようにして、画像2L2の明被写体画像11aLの領域に、画像2R2の明被写体画像11aRの領域の画素値を割り当てて、画像合成を行うことで、オクルージョンの発生を防止することができる。
【0046】
以上より、明るさの異なる2つの被写体が前後にある場合には、基準となる撮像系の露出を遠い側にある被写体に合わせて撮像し、他方の撮像系の露出を近い側にある被写体に合わせて撮像することで、画像合成時にオクルージョンに起因する画質の劣化を回避することが出来る。
【0047】
次に、明るさの異なる2つの被写体が前後にある場合における露出の設定方法について説明する。上述のように、明るさの異なる2つの被写体が前後にある場合は、基準となる撮像系の露出を遠い側(後景側)にある被写体に合わせ、他方の撮像系の露出を近い側(前景側)にある被写体に合わせて撮像することで、画質劣化のない画像合成を行うことができる。この際、被写体の明るさと被写体までの距離情報が必要となる。
【0048】
明るさについては、例えば、CCDセンサに入射する光量に対して線形な値を持つRAWデータを用いて算出することで、おおよその輝度値を算出することが出来る。また、画像の画素値(RGB値)を用いて明るさを算出してもよい。画素値を用いる場合、正確な輝度を算出することは容易ではないが、被写体の明るさの大小の傾向を知ることは出来るため、露出を設定する際に必要な情報としては十分である。また、輝度計などの測光センサを用いてもよい。
【0049】
距離情報については、例えば、測距センサや、視差を利用して算出する方法などがある。視差を利用する場合、例えば、光軸が平行となるよう2つの撮像系を配置して撮像した場合、手前にある被写体ほど視差が大きくなり、遠方にある被写体ほど視差が小さくなり、無限遠にある被写体の視差はゼロとなる。したがって、視差の大小により被写体の前後関係を判定することが出来る。また、焦点距離やセンサの画素ピッチ等の撮像系の仕様が既知であれば、視差値から被写体までの距離を算出することも出来る。
【0050】
次に、被写体の明るさと距離情報に基づいて撮像系の露出を設定する方法について述べる。本実施形態では、基準の撮像系の露出を後景に合わせ、他方の撮像系の露出を前景に合わせるため、例えば、各視差における明るさの平均値の情報より、ある視差値を閾値として前景と後景に分割すればよい。図14に、あるシーンの各視差における明るさの平均値の一例を示す。この例においては、視差1から6は明るさの平均値が小さく、視差7以上は明るさの平均値が大きい。したがって、前景は明るく、後景は暗いと言える。そこで、基準の撮像系の露出を後景、例えば視差6以下の領域を適切な露出(ここでは暗い被写体に合わせた露出)で撮像するよう設定し、他方の撮像系の露出を前景、例えば視差7以上の領域を適切な露出(ここでは明るい被写体に合わせた露出)で撮像するよう設定すればよい。
【0051】
また、各明るさにおける平均視差の情報より前景と後景に分割してもよい。図15に、あるシーンの各明るさにおける平均視差の一例を示す。本例においては、明るい領域の平均視差が小さく、暗い領域の平均視差が大きいことから、前景は暗く、後景は明るいと判断することが出来る。したがって、基準の撮像系の露出を明部(後景)に合わせ、他方の撮像系の露出を暗部(前景)に合わせればよい。また、基準の撮像系の露出を最小視差の領域に合わせ、他方の撮像系の露出を最小視差以外の領域に合わせてもよい。また、基準の撮像系を最大視差以外の領域に合わせ、他方の撮像系を最大視差の領域に合わせてもよい。
【0052】
<第3の実施形態>
本発明の第3の実施形態では、判定部4により明るい被写体と暗い被写体とが奥行き方向に交互に配置されていると判定された場合、露出制御部5は、一方の撮像系の露出を明るい被写体に合わせ、他方の撮像系の露出を暗い被写体に合わせて制御する。そして、異なる露出に制御された撮像系2L,2Rにより同一の被写体が撮像される。従って、画像合成に用いる複数の画像は、一方の撮像系により明るい被写体に露出を合わせて撮像された第1の画像と、他方の撮像系により暗い被写体に露出を合わせて撮像された第2の画像とで構成される。視差算出部3は、第1の画像と第2の画像とから視差を算出し、画像合成部6は、視差算出部3により算出された視差に基づいて画像合成する際に、第1の画像と第2の画像のうち、手前から2番目の被写体に露出を合わせた一方の画像を基準画像とし、基準画像の画素値が所定範囲にある領域に対しては基準画像の画素値を用い、また、基準画像の画素値が所定範囲にない領域に対しては他方の画像の当該領域に対応する領域の画素値を用いて画像合成する。以下、第3の実施形態について具体例を示して説明する。
【0053】
図16は、左右に配置された2つの撮像系2L,2Rを用いて、手前側から明被写体、暗被写体、明被写体の順に配置されている被写体を撮像する場合の一例を模式的に示す図である。図中、12aは明被写体、12bは暗被写体、12cは明被写体を示す。図17に、撮像系2Lの露出を明被写体12a,12cに合わせて撮像した画像2L3と、撮像系2Rの露出を暗被写体12bに合わせて撮像した画像2R3を示す。図17において、画像2L3では暗被写体画像12bLが黒潰れしており、画像2R3では明被写体画像12aRと明被写体画像12cRが白飛びしている。画像2L3と画像2R3を合成に用いる際、明被写体12a,12cは画像2L3の明被写体画像12aL,12cLの画素値を用い、暗被写体12bは画像2R3暗被写体画像12bRの画素値を用いればよい。
【0054】
また、図18の画像2L3′は、図17の画像2L3で適正な露出で撮像された領域(12aL,12cL)を薄いグレーで示し、黒潰れしている領域(12bL)を斜線で示したものである。また、図18の画像2R3′は、図17の画像2R3で適正な露出で撮像された領域(12bR)を濃いグレーで示し、白飛びしている領域(12aR,12cR)を斜線で示したものである。
【0055】
ここで、暗被写体12bの一部は明被写体12aの影となり、明被写体12cの一部は暗被写体12bの影となる。この際、画像2L3の領域12bLは黒潰れしているため、画像2R3の領域12bRの画素値を用いることが望ましいが、画像2R3の領域12bRの一部には白飛び領域12aRがあり、対応する画素が存在しない。従って、図17の画像2L3と画像2R3とを画像合成すると、図19に示すようなオクルージョン領域O1(斜線の領域)が発生する。
【0056】
すなわち、図17において、画像2L3では、暗被写体画像12bLの領域が適切な露出で撮像されておらず黒潰れ領域となっている。一方、画像2R3では、暗被写体画像12bRの領域が適切な露出で撮像されている。画像2L2の暗被写体画像12bLと画像2R2の暗被写体画像12bRとはそれぞれの視差分だけずれているが、画像2L3と画像2R3間では各被写体の視差が算出されているため、画像2R3においてこの視差分だけずらした領域の画素値が暗被写体画像12bRの領域の画素値に対応することになる。このようにして、画像2L3の暗被写体画像12bLの領域に、画像2R3の暗被写体画像12bRの領域の画素値を割り当てて、画像合成を行うが、画像2R3の暗被写体画像12bRの領域の一部には白飛び領域12aRがあり、対応する画素が存在しないため、画像合成したときにオクルージョン(図19)となる。
【0057】
これに対して、図20に、撮像系2Lの露出を暗被写体12bに合わせて撮像した画像2L3(第2の画像に相当)と、撮像系2Rの露出を明被写体12a,12cに合わせて撮像した画像2R3(第1の画像に相当)を示す。図20において、画像2L3では明被写体画像12aL,12cLが白飛びしており、画像2R3では暗被写体画像12bRが黒潰れしている。画像2L3と画像2R3を合成に用いる際、暗被写体12bは画像2L3の暗被写体画像12bLの画素値を用い、明被写体12a,12cは画像2R3の明被写体画像12aR,12cRの画素値を用いればよい。
【0058】
また、図21の画像2L3′は、図20の画像2L3で適正な露出で撮像された領域(12bL)を濃いグレーで示し、白飛びしている領域(12aL,12cL)を斜線で示したものである。また、図21の画像2R3′は、図20の画像2R3で適正な露出で撮像された領域(12aR,12cR)を薄いグレーで示し、黒潰れしている領域(12bR)を斜線で示したものである。
【0059】
ここで、図17の例と同様に、暗被写体12bの一部は明被写体12aの影となり、明被写体12cの一部は暗被写体12bの影となる。この際、画像2L3の領域12aL,12cLは白飛びしているため、画像2R3の領域12aR,12cRの画素値を用いることが望ましいが、画像2R3の領域12cRの一部には黒潰れ領域12bRがあり、対応する画素が存在しない。従って、図20の画像2L3と画像2R3とを画像合成すると、図22に示すようなオクルージョン領域O2(斜線の領域)が発生する。
【0060】
すなわち、図20において、画像2L3では、明被写体画像12aL,12cLの領域が適切な露出で撮像されておらず白飛び領域となっている。一方、画像2R3では、明被写体画像12aR,12cRの領域が適切な露出で撮像されている。画像2L2の明被写体画像12aL,12cLと画像2R2の明被写体画像12aR,12cRとはそれぞれの視差分だけずれているが、画像2L3と画像2R3間では各被写体の視差が算出されているため、画像2R3においてこの視差分だけずらした領域の画素値が明被写体画像12aR,12cRの領域の画素値に対応することになる。このようにして、画像2L3の明被写体画像12aL,12cLの領域に、画像2R3の明被写体画像12aR、12cRの領域の画素値を割り当てて、画像合成を行うが、画像2R3の明被写体画像12cRの領域の一部には黒潰れ領域12bRがあり、対応する画素が存在しないため、画像合成したときにオクルージョン(図22)となる。
【0061】
以上より、撮像系2Lの露出を暗被写体12bに合わせ、撮像系2Rの露出を明被写体12a,12cに合わせて撮像した場合も、あるいは、撮像系2Lの露出を明被写体12a,12cに合わせ、撮像系2Rの露出を暗被写体12bに合わせて撮像した場合も、画像合成時にオクルージョンが発生し、画質が劣化する可能性があると言える。しかしながら、図19と図22に示すように、オクルージョン領域は手前にある被写体ほど発生する可能性が高く、また、その領域も大きくなる。図19と図22に斜線で示すオクルージョン領域O1,O2の大きさが異なることからも明らかなように、基準となる撮像系2Lの露出を暗被写体12bに合わせ、撮像系2Rの露出を明被写体部12a,12cに合わせて撮像した方(図22の例)が、オクルージョン領域が小さく、画質劣化を抑えることが出来る。すなわち、画像2L3と画像2R3のうち、手前から2番目の暗被写体12bに露出を合わせた画像2L3を基準画像とすることで、オクルージョン領域の影響を小さくすることが可能となる。
【0062】
また、図16の例とは逆に、手前側から暗被写体、明被写体、暗被写体の順に並んでいる場合についても、基準とする撮像系2Lの露出を手前から2番目の明被写体に合わせ、撮像系2Rの露出を暗被写体に合わせて撮像した方が、オクルージョンにより画質が劣化する領域を小さく抑えることが出来るといえる。つまり、撮像系から見て、手前側から明被写体、暗被写体、明被写体の順に並んでいても、あるいは、手前側から暗被写体、明被写体、暗被写体の順に並んでいても、基準とする撮像系の露出を手前から2番目の被写体に合わせることで、画像を合成した際にオクルージョンにより画質が劣化する領域を低減することが出来る。
【符号の説明】
【0063】
1…撮像装置、2…撮像系、3…視差算出部、4…判定部、5…露出制御部、6…画像合成部。
【特許請求の範囲】
【請求項1】
複数の撮像系と、該複数の撮像系により撮像された複数の画像の視差を算出する視差算出部と、前記複数の画像中の被写体の明るさの大小関係及び位置関係を判定する判定部と、前記判定部の判定結果に基づき複数の撮像系をそれぞれ異なる露出に制御可能な露出制御部と、前記視差と前記露出に基づいて前記複数の画像を合成する画像合成部とを備えることを特徴とする撮像装置。
【請求項2】
請求項1に記載の撮像装置において、前記判定部により明るい被写体と暗い被写体とが左右に配置されていると判定された場合、前記露出制御部は、一方の撮像系の露出を明るい被写体に合わせ、他方の撮像系の露出を暗い被写体に合うよう制御することを特徴とする撮像装置。
【請求項3】
請求項2に記載の撮像装置において、前記複数の画像は、前記一方の撮像系により明るい被写体に露出を合わせて撮像された第1の画像と、前記他方の撮像系により暗い被写体に露出を合わせて撮像された第2の画像とで構成され、前記視差算出部は、前記第1の画像と前記第2の画像とから視差を算出し、前記画像合成部は、前記視差算出部により算出された視差に基づいて画像合成する際に、前記第1の画像または前記第2の画像のいずれか一方を基準画像とし、前記基準画像の画素値が所定範囲にある領域に対しては前記基準画像の画素値を用い、また、前記基準画像の画素値が所定範囲にない領域に対しては他方の画像の前記領域に対応する領域の画素値を用いて画像合成することを特徴とする撮像装置。
【請求項4】
請求項1に記載の撮像装置において、前記判定部により明るい被写体と暗い被写体とが前後に配置されていると判定された場合、前記露出制御部は、前記画像合成部が前記複数の画像を合成する際に基準となる基準画像を撮像する撮像系の露出を後景側の被写体に合わせ、他方の撮像系の露出を前景側の被写体に合うよう制御することを特徴とする撮像装置。
【請求項5】
請求項4に記載の撮像装置において、前記複数の画像は、前記基準となる画像を撮像する撮像系により後景側の被写体に露出を合わせて撮像された第1の画像と、前記他方の撮像系により前景側の被写体に露出を合わせて撮像された第2の画像とで構成され、前記視差算出部は、前記第1の画像と前記第2の画像とから視差を算出し、前記画像合成部は、前記視差算出部により算出された視差に基づいて画像合成する際に、前記第1の画像の画素値が所定範囲にある領域に対しては前記第1の画像の画素値を用い、また、前記第1の画像の画素値が所定範囲にない領域に対しては前記第2の画像の前記領域に対応する領域の画素値を用いて画像合成することを特徴とする撮像装置。
【請求項6】
請求項1に記載の撮像装置において、前記判定部により明るい被写体と暗い被写体とが奥行き方向に交互に配置されていると判定された場合、前記露出制御部は、前記画像合成部が前記複数の画像を合成する際に基準となる画像を撮像する撮像系の露出を手前の被写体とは明るさの異なる被写体に合わせ、他方の撮像系の露出を手前の被写体に合うよう制御することを特徴とする撮像装置。
【請求項7】
請求項6に記載の撮像装置において、前記複数の画像は、前記基準となる画像を撮像する撮像系により手前の被写体とは明るさの異なる被写体に露出を合わせて撮像された第1の画像と、前記他方の撮像系により手前の被写体に露出を合わせて撮像された第2の画像とで構成され、前記視差算出部は、前記第1の画像と前記第2の画像とから視差を算出し、前記画像合成部は、前記視差算出部により算出された視差に基づいて画像合成する際に、前記第1の画像の画素値が所定範囲にある領域に対しては前記第1の画像の画素値を用い、また、前記第1の画像の画素値が所定範囲にない領域に対しては前記第2の画像の前記領域に対応する領域の画素値を用いて画像合成することを特徴とする撮像装置。
【請求項8】
請求項2、4、6のいずれか1項に記載の撮像装置において、前記露出制御部は、前記複数の撮像系を同じ露出に制御し、前記視差算出部は、前記露出制御部により同じ露出に制御された前記複数の撮像系により撮像された複数の画像の視差を算出し、前記判定部は、前記複数の画素の画素値に基づいて各被写体の明るさの大小関係を判定し、前記視差算出部により算出された各被写体の視差に基づいて各被写体の位置関係を判定することを特徴とする撮像装置。
【請求項1】
複数の撮像系と、該複数の撮像系により撮像された複数の画像の視差を算出する視差算出部と、前記複数の画像中の被写体の明るさの大小関係及び位置関係を判定する判定部と、前記判定部の判定結果に基づき複数の撮像系をそれぞれ異なる露出に制御可能な露出制御部と、前記視差と前記露出に基づいて前記複数の画像を合成する画像合成部とを備えることを特徴とする撮像装置。
【請求項2】
請求項1に記載の撮像装置において、前記判定部により明るい被写体と暗い被写体とが左右に配置されていると判定された場合、前記露出制御部は、一方の撮像系の露出を明るい被写体に合わせ、他方の撮像系の露出を暗い被写体に合うよう制御することを特徴とする撮像装置。
【請求項3】
請求項2に記載の撮像装置において、前記複数の画像は、前記一方の撮像系により明るい被写体に露出を合わせて撮像された第1の画像と、前記他方の撮像系により暗い被写体に露出を合わせて撮像された第2の画像とで構成され、前記視差算出部は、前記第1の画像と前記第2の画像とから視差を算出し、前記画像合成部は、前記視差算出部により算出された視差に基づいて画像合成する際に、前記第1の画像または前記第2の画像のいずれか一方を基準画像とし、前記基準画像の画素値が所定範囲にある領域に対しては前記基準画像の画素値を用い、また、前記基準画像の画素値が所定範囲にない領域に対しては他方の画像の前記領域に対応する領域の画素値を用いて画像合成することを特徴とする撮像装置。
【請求項4】
請求項1に記載の撮像装置において、前記判定部により明るい被写体と暗い被写体とが前後に配置されていると判定された場合、前記露出制御部は、前記画像合成部が前記複数の画像を合成する際に基準となる基準画像を撮像する撮像系の露出を後景側の被写体に合わせ、他方の撮像系の露出を前景側の被写体に合うよう制御することを特徴とする撮像装置。
【請求項5】
請求項4に記載の撮像装置において、前記複数の画像は、前記基準となる画像を撮像する撮像系により後景側の被写体に露出を合わせて撮像された第1の画像と、前記他方の撮像系により前景側の被写体に露出を合わせて撮像された第2の画像とで構成され、前記視差算出部は、前記第1の画像と前記第2の画像とから視差を算出し、前記画像合成部は、前記視差算出部により算出された視差に基づいて画像合成する際に、前記第1の画像の画素値が所定範囲にある領域に対しては前記第1の画像の画素値を用い、また、前記第1の画像の画素値が所定範囲にない領域に対しては前記第2の画像の前記領域に対応する領域の画素値を用いて画像合成することを特徴とする撮像装置。
【請求項6】
請求項1に記載の撮像装置において、前記判定部により明るい被写体と暗い被写体とが奥行き方向に交互に配置されていると判定された場合、前記露出制御部は、前記画像合成部が前記複数の画像を合成する際に基準となる画像を撮像する撮像系の露出を手前の被写体とは明るさの異なる被写体に合わせ、他方の撮像系の露出を手前の被写体に合うよう制御することを特徴とする撮像装置。
【請求項7】
請求項6に記載の撮像装置において、前記複数の画像は、前記基準となる画像を撮像する撮像系により手前の被写体とは明るさの異なる被写体に露出を合わせて撮像された第1の画像と、前記他方の撮像系により手前の被写体に露出を合わせて撮像された第2の画像とで構成され、前記視差算出部は、前記第1の画像と前記第2の画像とから視差を算出し、前記画像合成部は、前記視差算出部により算出された視差に基づいて画像合成する際に、前記第1の画像の画素値が所定範囲にある領域に対しては前記第1の画像の画素値を用い、また、前記第1の画像の画素値が所定範囲にない領域に対しては前記第2の画像の前記領域に対応する領域の画素値を用いて画像合成することを特徴とする撮像装置。
【請求項8】
請求項2、4、6のいずれか1項に記載の撮像装置において、前記露出制御部は、前記複数の撮像系を同じ露出に制御し、前記視差算出部は、前記露出制御部により同じ露出に制御された前記複数の撮像系により撮像された複数の画像の視差を算出し、前記判定部は、前記複数の画素の画素値に基づいて各被写体の明るさの大小関係を判定し、前記視差算出部により算出された各被写体の視差に基づいて各被写体の位置関係を判定することを特徴とする撮像装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【公開番号】特開2012−124622(P2012−124622A)
【公開日】平成24年6月28日(2012.6.28)
【国際特許分類】
【出願番号】特願2010−272130(P2010−272130)
【出願日】平成22年12月7日(2010.12.7)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
【公開日】平成24年6月28日(2012.6.28)
【国際特許分類】
【出願日】平成22年12月7日(2010.12.7)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
[ Back to top ]