説明

ステレオ画像処理装置、画像処理方法及びプログラム

【課題】 撮影画像の画質及び距離画像の精度を向上することのできるステレオ画像処理装置を提供する。
【解決手段】 マッチング回路18は、増幅回路16から出力される2つの映像信号に対して周知のマッチング処理を行い、画像のずれ量を示す信号を出力する。距離画像生成回路20は、マッチング回路18からの出力を受けて、撮影対象物までの距離を測定して距離画像を生成する。加算回路22は、増幅回路16から出力される映像信号の一方に対して、画像のずれ量に相当する分だけ画像をずらした後に、2つの映像信号を加算することで、低輝度域や中輝度域におけるノイズ成分を低減する。加算回路22からの出力信号に対し、非線形処理回路24による非線形処理が施され、監視用画像が出力される。また、増幅制御回路28では、増幅回路16から出力される映像信号のレベルが所定範囲内に入るように、増幅回路16での増幅率を制御する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮影を行って撮影画像を取得するとともに、ステレオ測距を行って撮影対象物の距離を測定するステレオ画像処理装置に関するものである。
【背景技術】
【0002】
複数の撮像手段を用いて得られた複数の撮像画像に対し、ステレオマッチング処理を施して撮影対象物までの距離を測定するステレオ画像処理装置が知られており、車載カメラ装置や監視カメラ装置に適用されている。
【0003】
このようなステレオ画像処理装置の一例を図7に示す。このステレオ画像処理装置100では、一対の撮影レンズ102、撮像素子104、増幅回路106により、同一の撮影対象物について、異なる位置から撮影された2つの映像信号が生成される。一方の映像信号A1は、非線形処理回路108において、映像出力用の非線形処理によって主に低輝度・中輝度域の成分が増幅された後、輪郭補正回路110において輪郭補正処理が施され、監視用画像を示す映像信号が出力される。
【0004】
また、増幅回路106から出力された2つの映像信号A1,B1は、ステレオ画像処理回路112に送られて、ここで測距演算処理(ステレオマッチング処理)が施され、画像内の撮影対象物に対する距離を示す距離画像信号が出力される。このようなステレオカメラ装置を用いることで、非線形処理の影響を受けることのない距離画像を生成することができる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2009−121870号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記の従来のステレオカメラ装置では、撮像素子から出力された映像信号が、直接、非線形処理回路に入力されるため、低・中輝度域の信号に対するノイズ成分もそのまま増幅されてしまい、監視用画像の画質劣化につながるという問題があった。
【0007】
また、撮影対象物が明るい場合(すなわち、映像信号の輝度が高い場合)には、撮像により得られた画像に白潰れが生じてしまうことがある。このような場合では、画像信号間のマッチングを精度良く行うことができなくなり、結果として距離画像の精度が悪くなってしまう。
【0008】
一方、撮影対象物が暗い場合(映像信号の輝度が低い場合)には、一定程度の明るさの監視用画像を得るために増幅回路における増幅率を高くすることが好ましい。この場合、ノイズ成分の増幅も顕著になるため、画像マッチングの精度が低下してしまい、距離画像の精度が低下する問題も生じていた。
【0009】
本発明は、上記背景に鑑みなされたものであり、観察用画像と距離画像の双方の画質を向上することが可能なステレオ画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明のステレオ画像処理装置は、撮影対象物を撮影したときに撮影手段から得られる複数の映像信号に対して、前記映像信号の一つとの間でマッチング処理を行い、画像のずれ量を示すずれ量信号を出力するマッチング手段と、前記ずれ量に相当する分だけ前記映像信号が示す画像をずらした後に、前記複数の映像信号を加算処理する加算手段と、前記加算手段において加算処理された前記映像信号に対して、入力信号レベルと出力信号レベルが非線形関係を有する映像出力用の非線形処理を行う非線形処理手段と、前記マッチング手段からの出力を用いて、前記撮影対象物までの距離を測定する測距演算を行う測距演算手段を備える。
【0011】
この構成により、複数の映像信号が加算されて、低輝度及び中輝度域におけるノイズ成分が低減されるので、非線形処理を施した後の画像の画質を向上することができる。
【0012】
本発明のステレオ画像処理装置は、前記撮影手段から出力される信号のレベルを増幅する増幅手段と、前記増幅手段における増幅率を変化させる増幅制御手段とを更に備える。
【0013】
この構成により、被写体の輝度が高い場合であっても、撮像で得られる画像に白潰れが生じることがなくなり、撮影画像の画質向上、距離画像の精度向上を図ることができる。
【0014】
本発明のステレオ画像処理装置において、前記増幅制御手段は、前記映像信号のレベルが所定範囲内になるように前記増幅率の制御を行い、前記マッチング手段は、前記映像信号のレベルが前記所定範囲外である場合には、前記マッチング処理を行わないことを特徴とする。
【0015】
この構成により、被写体が明るい場合や暗い場合であっても、マッチング処理及び加算処理で入力される映像信号のレベルが一定程度に保たれるから、撮影画像の画質向上、距離画像の精度向上を図ることができる。
【0016】
本発明のステレオ画像処理装置において、前記増幅制御手段は、複数の異なる増幅率を定めるとともに、一定時間毎に前記増幅手段における増幅率を切り替えることを特徴とする。
【0017】
この構成により、低輝度域から高輝度域のそれぞれ適した増幅率で増幅された映像信号が出力され、マッチング処理及び加算処理が行われるから、撮影画像のダイナミックレンジを広げることができるとともに、距離画像の精度が向上する。
【0018】
本発明のステレオ画像処理方法は、撮影対象物を撮影したときに撮影手段から得られる複数の映像信号に対して、前記映像信号の一つとの間でマッチング処理を行い、画像のずれ量を示すずれ量信号を出力するステップと、前記ずれ量に相当する分だけ前記映像信号が示す画像をずらした後に、前記複数の映像信号を加算処理するステップと、前記加算手段において加算処理された前記映像信号に対して、入力信号レベルと出力信号レベルが非線形関係を有する映像出力用の非線形処理を行うステップと、前記マッチング手段からの出力を用いて、前記撮影対象物までの距離を測定するステップを備える。この構成によっても、上記と同様の効果を得ることができる。
【0019】
本発明のステレオ画像処理プログラムは、コンピュータに対し、撮影対象物を撮影したときに撮影手段から得られる複数の映像信号に対して、前記映像信号の一つとの間でマッチング処理を行い、画像のずれ量を示すずれ量信号を出力するステップと、前記ずれ量に相当する分だけ前記映像信号が示す画像をずらした後に、前記複数の映像信号を加算処理するステップと、前記加算手処理が施された前記映像信号に対して、入力信号レベルと出力信号レベルが非線形関係を有する映像出力用の非線形処理を行うステップと、前記マッチング処理による出力を用いて、前記撮影対象物までの距離を測定するステップを実行させることを特徴とする。この構成によっても、上記と同様の効果を得ることができる。
【発明の効果】
【0020】
本発明によれば、監視用画像の画質が向上するとともに、距離画像の精度が向上する。
【図面の簡単な説明】
【0021】
【図1】本発明のステレオ画像処理装置を適用した、ステレオカメラ装置の構成を示すブロック図である。
【図2】第1実施形態に係るステレオカメラ装置の動作を示すフローチャートである。
【図3】第2実施形態に係るステレオカメラ装置の動作を示す説明図である。
【図4】第3実施形態に係るステレオカメラ装置の構成を示すブロック図である。
【図5】第3実施形態に係るステレオカメラ装置の動作を示すフローチャートである。
【図6】第4実施形態に係るステレオカメラ装置の動作を示すフローチャートである。
【図7】従来のステレオカメラ装置の構成を示すブロック図である。
【発明を実施するための形態】
【0022】
以下、本発明の画像処理装置を監視用カメラに適用した場合の実施形態につき、図面を参照して説明する。以下では、監視用カメラを例として説明するが、本発明はこれに限定されるものではなく、例えば車両間の距離を測定可能な車載用カメラ装置にも適用することができる。
【0023】
(第1の実施形態)
図1は、本発明の第1の実施形態に係るステレオ画像処理装置の構成を示すブロック図である。本実施形態のステレオ画像処理装置を含むステレオカメラ装置は、光路上に配置された一対の撮影レンズ(撮影レンズA,B)12及び撮像素子(撮像素子A,B)14を備える。この撮像素子14は、例えばCCDやCMOSの個体撮像素子が用いられ、撮影レンズ12を通過する光学像を電気信号(画像信号)に変換する。
【0024】
ステレオ画像処理装置10は、増幅回路(増幅回路A,B)16、マッチング回路18,距離画像生成回路20,加算回路22,非線形処理回路24,輪郭補正回路26と、増幅制御回路28を備えている。
【0025】
増幅回路16は、後述する増幅制御回路28から入力される増幅率信号に基づき、撮像素子14からの信号を増幅して映像信号を出力する。2つの増幅回路16から出力される各映像信号は、マッチング回路18,加算回路22及び増幅制御回路28に入力される。
【0026】
マッチング回路18は、増幅回路16からの2つの映像信号に対し、周知の画像マッチング処理を行うことで、これらの映像信号による画像間のずれ量を検出し、ずれ量を示す信号を出力する。たとえば、画像の特徴点を検出して,これら特徴点の画像内の位置を比較することで、画像間のずれ量を検出することができる。
【0027】
距離画像生成回路20は、マッチング回路18から出力された、2つの画像のずれ量を示す信号を用いて、例えば公知の三角測量の方法を適用することで、撮影対象物までの距離を測定する測距演算を行って、距離画像を出力する。ここで、距離画像とは、例えば画像の濃淡で撮影対象物までの距離を示す画像である。例えば、撮影対象物までの距離が遠いほど、その対象物に対応する色の濃度が薄く表示され、距離が近いほどその色の濃度が濃く表示される。
【0028】
加算回路22には、増幅回路16からの2つの映像信号と、マッチング回路18から出力された、画像のずれ量を示す信号が入力される。加算回路22は、これら2つの映像信号の一方に対し、ずれ量に相当する分だけ画素の位置をシフトした後、他方の映像信号と加算処理を行う。2つの映像信号を加算することで、低輝度・中輝度域における映像信号のノイズ成分を低減することができる。なお、本発明において、加算処理とは、2つの映像信号を加算する処理の他、2つの映像信号の加算平均を行う処理も含まれる。
【0029】
非線形処理回路24は、加算回路22において加算処理が施された映像信号に対して、周知の非線形処理を施す。ここで、非線形処理とは、例えばガンマ補正処理のように、入力信号のレベルと出力信号のレベルの関係が非線形となるような信号処理をいう。例えば、ガンマ値を0.45とした非線形処理(ガンマ処理)を施すことにより、増幅回路16から出力された映像信号のレベルと、図示しないモニタに表示される監視用画像の発光レベルとの関係を線形にすることができる。また、輪郭補正回路26は、画像の先鋭感を強調するための信号処理である。これら非線形処理及び輪郭補正処理を施すことにより、撮影画像の画質が向上された監視用画像が出力される。
【0030】
増幅制御回路28は、増幅回路16から出力される映像信号の輝度レベルを検出するとともに、輝度レベルが所定範囲に入るように、増幅回路16における増幅率を算出する。例えば、増幅回路16からの映像信号の輝度レベルが所定範囲の上限を超えている場合は、増幅回路16の増幅率が高すぎると判断し、増幅率を下げる増幅率信号を増幅回路16に送る。逆に、増幅回路16からの映像信号の輝度レベルが所定範囲の下限を下回る場合は、増幅率を上げる増幅率信号を増幅回路16に送る。これらの増幅回路16の増幅率の調整は、個々の増幅回路16に対して行われる。なお、増幅制御回路28における増幅率の調整は、一定時間毎に行うことができる。
【0031】
本実施の形態におけるこれらの画像処理は、ステレオ画像処理装置に備えられたメモリやHDDに格納されるプログラムによって実現されていても良い。
【0032】
上記構成によるステレオ画像処理装置について、図2を用いてその動作を説明する。
【0033】
第1実施形態のステレオ画像処理装置を用いて撮影対象物を撮影すると、2つの撮像素子14からの信号が2つの増幅回路16によってそれぞれ増幅される(S11)。これにより、増幅処理済みの映像信号が増幅回路16から出力される。
【0034】
増幅回路16から出力された2つの映像信号は、マッチング回路18に送られて、ここで周知のステレオマッチング処理が施され、画像のずれ量を示す信号が距離画像生成回路20に出力される(S12)。距離画像生成回路20では、このずれ量を示す信号に基づき公知の三角測量による測距演算を行い、撮影対象物までの距離を示す距離画像を生成する(S13)。
【0035】
増幅回路16から出力された2つの画像信号と、マッチング回路18から出力されたずれ量信号は、加算回路22にも送られる。加算回路22では、入力される一方の映像信号に対し、ずれ量に相当する分だけ画像の位置をシフトした後、他方の映像信号と加算処理を行う(S14)。これにより、低輝度及び中輝度域のノイズが低減されるため、監視用画像のS/N比を向上することができる。
【0036】
加算回路22から出力された映像信号に対して、非線形処理回路26及び輪郭補正回路28において、それぞれ、非線形処理及び輪郭処理が施される(S15)。これにより、低輝度の階調性と先鋭感を重視した見栄えの良い監視用画像を得ることができる。
【0037】
増幅回路16から出力された2つの映像信号は、増幅制御回路28にも入力される。増幅制御回路28では、各々の映像信号に対して、その出力レベルが一定の範囲内であるか否かを判定し、所定範囲外である場合は、増幅回路16の増幅率を変更するようにフィードバックをかける(S16)。これにより、映像信号の輝度レベルが一定の範囲内に確実に入るようになり、被写体が暗い場合や明るい場合であっても、監視用画像の画質を向上させることができる。
【0038】
(第2の実施形態)
次に、本発明の第2の実施形態に係るステレオ画像処理装置について、図3を用いて説明する。なお、ここでは、前記第1の実施形態と異なる部分についてのみ説明を加えることとし、前記第1の実施形態と同じ構成部分については、その説明を省略する。
【0039】
第2の実施形態に係るステレオ画像処理装置では、増幅制御回路28において、低輝度域の被写体に適した増幅率A1、中輝度域の被写体に適した増幅率A2、高輝度域の被写体に適した増幅率A3が予め定められている。これら増幅率A1〜A3の関係は、A1>A2>A3となっており、高輝度域の画像に白潰れが生じるのを抑制する。
【0040】
増幅制御回路28は、増幅回路16における増幅率をA1に設定する。増幅回路16において、低輝度域の画像に適した増幅率A1にて増幅された映像信号S1を出力する。次いで、増幅制御回路28は、増幅回路16における増幅率をA2に設定し、時刻T1からT2の間に、増幅回路16において、中輝度域の画像に適した増幅率A2で増幅された映像信号S2を出力する。その後、増幅制御回路28は、増幅回路における増幅率をA3に設定し、時刻T2からT3の間に、増幅回路16において、高輝度域用の増幅率A3で増幅された映像信号S3を出力する。これら増幅処理がされた各映像信号S1〜S3は、順次、マッチング回路18に送られる。
【0041】
マッチング回路18では、時刻T1からT2の間に、増幅率A1で増幅された2つの映像信号S1に対してマッチング処理が施され、画像のずれ量を示す信号が出力される。同様に、時刻T2からT3の間に、増幅率A2で増幅処理された2つの映像信号S2に対してマッチング処理が施され、時刻T3からT4の間に映像信号S3に対してマッチング処理が施される。マッチング処理により得られたずれ量信号は、加算回路22に送られる。
【0042】
そして、異なる増幅率で増幅された映像信号S1,S2、S3は、順次、加算回路22においてずれ量を示す信号に基づき画像のシフトが行われた後、加算処理が施され、次いで、非線形処理及び輪郭補正が施されて監視用画像が出力される。同様に、マッチング処理が施された映像信号S1,S2、S3は、距離画像生成回路20に送られて測距処理が施され、距離画像が出力される。
【0043】
また、映像信号S1〜S3は、増幅制御回路28に送られて、出力レベルが所定範囲に入るようにフィードバック処理が施される。
【0044】
この第2の実施形態に係るステレオ画像処理装置によれば、低輝度、中輝度、高輝度の被写体に適した増幅率で映像信号を増幅処理するようにしたので、高輝度域の白潰れや低輝度域のノイズをさらに抑制することができる。これにより、監視用画像のダイナミックレンジを広げることができるとともに、距離画像の精度が向上する。
【0045】
(第3の実施形態)
次に、本発明の第3の実施形態に係るステレオ画像処理装置について、図4及び図5を用いて説明する。図4に示すように、このステレオ画像処理装置30では、増幅制御回路28において、映像信号のレベルが所定範囲内であると判定し、増幅制御回路28からマッチング回路18に対し、画像マッチングを指示する信号が送信される。
【0046】
図5のフローチャートで示すように、まず、撮像素子14において被写体を撮像し、次いで、増幅回路16において映像信号が増幅される(S11)。増幅回路16から出力された2つの映像信号は、増幅制御回路28に送られ、映像信号の出力レベルが所定範囲内であるか否かが判定される(S20)。映像信号のレベルが所定範囲内である場合には、増幅制御回路28から、画像マッチングを指示する信号がマッチング回路18に送られ、これら映像信号を用いて距離画像及び監視用画像が生成される(S12〜S15)。距離画像及び監視用画像を生成するステップについては、前記第1の実施形態で説明したのと同様であるから、詳細な説明は省略する。
【0047】
一方、増幅回路16から出力された映像信号のレベルが所定範囲外であると判定すると、増幅制御回路28は、増幅回路16における増幅率を変更する信号を送る(S21)。そして、変更後の増幅率において、再び画像取得及び信号増幅の処理を行い(S11)、出力された映像信号のレベルが所定範囲内であるか否かを判定する(S12)。
【0048】
この第3の実施形態に係るステレオ画像処理装置によれば、信号レベルが所定の範囲内になる場合にのみ、監視用画像及び距離画像を生成するようにしたから、低輝度や高輝度の被写体であっても黒つぶれや白飛びの発生が抑制されてダイナミックレンジの大きな監視用画像を得ることができるとともに、距離画像の精度の向上を図ることができる。
【0049】
(第4の実施形態)
次に、本発明の第4の実施形態に係るステレオ画像処理装置について、図6を用いて説明する。まず、増幅制御回路28は、低輝度の被写体に適した増幅率を決定し、増幅回路16での増幅率を設定する(S31)。次いで、ステレオ画像処理装置は、前記第1の実施形態で説明したのと同様の方法にて、距離画像及び監視用画像を生成し、これを出力する(S32)。これにより、低輝度域における距離画像及び監視用画像の画質が向上する。
【0050】
次に、増幅制御回路28は、中輝度の被写体に適した増幅率を決定し、増幅回路16での増幅率を設定する(S33)。そして、前述したのと同様に、距離画像及び監視用画像を出力する(S34)。その後、増幅制御回路28は、高輝度の被写体に適した増幅率を設定し(S35)、距離画像及び監視用画像を出力する(S36)。
【0051】
このようにして低輝度域、中輝度域、高輝度域の被写体に適した増幅率で増幅されるので、低輝度域から高輝度域にわたって、監視用画像の画質及び距離画像の精度が向上する。
【0052】
上記実施形態では、2つの撮像素子を用いる例について説明したが、本発明における撮像素子の数はこれに限定されるものではなく、例えば、3つ以上の撮像素子を使用しても良い。また、撮像素子が1つであっても良く、その場合には、1つの撮像素子から2画面を切り出してステレオ画像処理を行うことができる。
【産業上の利用可能性】
【0053】
以上のように、本発明に係るステレオ画像処理装置によれば、測距精度が向上するとともに、撮影画像の画質を向上するという効果を有し、例えば、車載式や監視用のステレオカメラ装置として有用である。
【符号の説明】
【0054】
10,30,100 ステレオ画像処理装置
12,102 撮影レンズ
14,104 撮像素子
16,106 増幅回路
18 マッチング回路
20 距離画像生成回路
22 加算回路
24,108 非線形処理回路
26,110 輪郭補正回路
28 増幅制御回路
112 ステレオ画像処理回路


【特許請求の範囲】
【請求項1】
撮影対象物を撮影したときに撮影手段から得られる複数の映像信号に対して、前記映像信号の一つとの間でマッチング処理を行い、画像のずれ量を示すずれ量信号を出力するマッチング手段と、
前記ずれ量に相当する分だけ前記映像信号が示す画像をずらした後に、前記複数の映像信号を加算処理する加算手段と、
前記加算手段において加算処理された前記映像信号に対して、入力信号レベルと出力信号レベルが非線形関係を有する映像出力用の非線形処理を行う非線形処理手段と、
前記マッチング手段からの出力を用いて、前記撮影対象物までの距離を測定する測距演算を行う測距演算手段と、
を備えたことを特徴とするステレオ画像処理装置。
【請求項2】
前記撮影手段から出力される信号のレベルを増幅する増幅手段と、前記増幅手段における増幅率を変化させる増幅制御手段とを備えたことを特徴とする、請求項1記載のステレオ画像処理装置。
【請求項3】
前記増幅制御手段は、前記映像信号のレベルが所定範囲内になるように前記増幅率の制御を行い、前記マッチング手段は、前記映像信号のレベルが前記所定範囲外である場合には、前記マッチング処理を行わないことを特徴とする、請求項2記載のステレオ画像処理装置。
【請求項4】
前記増幅制御手段は、複数の異なる増幅率を定めるとともに、一定時間毎に前記増幅手段における増幅率を切り替えることを特徴とする、請求項2記載のステレオ画像処理装置。
【請求項5】
撮影対象物を撮影したときに撮影手段から得られる複数の映像信号に対して、前記映像信号の一つとの間でマッチング処理を行い、画像のずれ量を示すずれ量信号を出力するステップと、
前記ずれ量に相当する分だけ前記映像信号が示す画像をずらした後に、前記複数の映像信号を加算処理するステップと、
前記加算手段において加算処理された前記映像信号に対して、入力信号レベルと出力信号レベルが非線形関係を有する映像出力用の非線形処理を行うステップと、
前記マッチング手段からの出力を用いて、前記撮影対象物までの距離を測定するステップと、
を備えたことを特徴とするステレオ画像処理方法。
【請求項6】
前記撮影で得られる信号のレベルを増幅する増幅ステップと、前記増幅ステップにおける増幅率を変化させる増幅制御ステップを備えたことを特徴とする、請求項5記載のステレオ画像処理方法。
【請求項7】
前記増幅制御ステップは、前記映像信号のレベルが所定範囲内になるように前記増幅率の制御を行い、前記マッチングステップは、前記映像信号のレベルが前記所定範囲外である場合には、前記マッチング処理を行わないことを特徴とする、請求項5記載のステレオ画像処理方法。
【請求項8】
前記増幅制御ステップは、複数の異なる増幅率を定めるとともに、一定時間毎に前記増幅ステップにおける増幅率を切り替えることを特徴とする、請求項5記載のステレオ画像処理方法。
【請求項9】
ステレオ画像処理装置用のプログラムであって、コンピュータに対し、
撮影対象物を撮影したときに撮影手段から得られる複数の映像信号に対して、前記映像信号の一つとの間でマッチング処理を行い、画像のずれ量を示すずれ量信号を出力するステップと、
前記ずれ量に相当する分だけ前記映像信号が示す画像をずらした後に、前記複数の映像信号を加算処理するステップと、
前記加算処理が施された前記映像信号に対して、入力信号レベルと出力信号レベルが非線形関係を有する映像出力用の非線形処理を行うステップと、
前記マッチング処理による出力を用いて、前記撮影対象物までの距離を測定するステップと、
を実行させることを特徴とするプログラム。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2011−249948(P2011−249948A)
【公開日】平成23年12月8日(2011.12.8)
【国際特許分類】
【出願番号】特願2010−118889(P2010−118889)
【出願日】平成22年5月25日(2010.5.25)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】