ステレオ画像処理装置、ステレオ画像処理方法、及び、ステレオ画像処理プログラム

【課題】広角レンズを使用した場合でも、当該周辺部でも鮮鋭感がある優れた画像が得られるだけではなく、測距精度も高い技術を提供すること。
【解決手段】ステレオ画像処理装置は、撮影レンズ１０１、１０２および撮像素子１０３、１０４を備える２組の映像信号出力部と、信号処理回路１０５と、周辺解像補正回路１０６と、測距回路１０７を備えている。映像信号出力部からの映像信号は、信号処理回路１０５に出力される。信号処理回路１０５は、この映像信号に信号処理を行い周辺解像補正回路１０６に出力する。周辺解像補正回路１０６は、複数ある映像信号出力部のそれぞれに対応付けられて設けられており、映像信号出力部からの出力信号である映像信号に補正を加えて鮮鋭化する。測距回路１０７は、上述の映像信号補正部のそれぞれにより補正が加えられた複数の映像信号に基づいて、撮像内の各画素と被写体と距離を演算して測距値を求める。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明はステレオマッチングを利用したステレオ画像処理技術に関する。
【背景技術】
【０００２】
臨場感のある立体画像を得る手段としてのステレオカメラが知られており、従来のステレオカメラでは、複数の撮影レンズの焦点を合わせるために、フォーカスレンズの位置を移動させて撮像を行なっている。
【０００３】
図７は、従来のステレオカメラの構成概略を示したブロック図である。図中、符号１００１と１００２は撮影レンズであり、符号１０１０と１０１１はフォーカスレンズである。撮影レンズ１００１、１００２は同じレンズ構成を有しており、何れも無限遠からのマクロ撮影が可能である。
【０００４】
これら撮影レンズ１００１、１００２のそれぞれの前方には撮像素子１００３、１００４が設けられており、撮影により得られた信号は、画像信号入力回路１００５によりＡ／Ｄ変換処理が行なわれる。Ａ／Ｄ変換処理後の信号は画像処理回路１００６とフォーカス評価回路１００７に出力され、画像処理回路１００６ではγ補正などの画質補正が行なわれ、フォーカス評価回路１００７では被写体の高周波成分のコントラスト成分を抽出することで鮮鋭度の割り出しが行われる。
【０００５】
システムコントローラ１００８は、フォーカス評価回路１００７により割り出しされた鮮鋭度が高くなるようにモータドライバー１００９を駆動する。例えば、フォーカスレンズ１０１０からは遠距離での鮮鋭感が得られるように、一方、フォーカスレンズ１０１１からは近距離での鮮鋭感が得られるように、レンズの位置調整を行っておく。そして、鮮鋭感が高い方のフォーカスレンズの位置に他方のフォーカスレンズを移動することにより、鮮鋭感に優れたステレオ画像を得る。
【０００６】
また、２つのカメラの配置や角度の位置関係が定まっている場合、被写体の空間的な位置、距離は一方のカメラからの被写体への直線と他方のカメラからの被写体への直線の交点として特定することができる。３次元形状復元方法のひとつとしてステレオマッチング法が知られている。この方法は、相対的な位置関係が定まっている２台のカメラを左右に配置させ、これらのカメラで撮影された１組の画像を用い、一方のカメラで撮影された画像が他方のカメラで撮影された画像のどの部分に対応するのかを求め、当該対応関係に基づいて各点の３次元的位置を推測する方法である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００５−７００７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ステレオ測距における基準となる画像に対する他画像の対応点を求めるためのパターンマッチングの精度向上のためには、基準となる画像の輪郭位置に対する他画像の対応点を精度よく探索できるように両画像の輪郭部の画像の濃度勾配や画像レベルが類似していることが望ましい。
【０００９】
従来技術により、解像度が高く輪郭が鮮鋭化されている画像が撮影される場合には、基準となる画像と他画像の輪郭部の濃度勾配や画像レベルは類似している。このため、画像間のパターンマッチングを高い精度で行なうことが可能である。
【００１０】
しかしながら、従来の技術において、撮影レンズとして広角レンズを用いる場合には、以下のような不都合が生じる。広角レンズでは、レンズの中心部に対して周辺部の解像度が低下する。その結果、レンズ中心部の撮影画像部分のみが鮮鋭化されることになる。ここで、２つの広角レンズの光軸を互いに非平行に配置して広い視野の画像（例えば監視画像）を得るようにした構成のカメラを想定すると、一方の広角レンズの中心部で撮影される被写体は、他方の広角レンズではレンズ周辺部で撮影されるといったことが起こり得る。このとき、広角レンズの周辺部で撮影された画像はボケが生じ易いから、２つの広角レンズのそれぞれから得られた２つの被写体画像は、輪郭部における濃度勾配や画像レベルが類似しなくなる場合が生じる。このような状態でステレオ測距を行なうと、画像輪郭の対応点の位置にばらつきが生じ、測距結果がばらついてパターンマッチングの精度は低下してしまう。
【００１１】
図８は、上述した従来技術の問題点を、具体例により説明するための図である。図８（Ａ）は広角レンズであるフォーカスレンズ１０１０とフォーカスレンズ１０１１の光軸を非平行に配置した場合のそれぞれの視野角と星印の被写体位置との関係を示した図である。また、図８（Ｂ）および図８（Ｃ）はそれぞれ、図８（Ａ）に示したもののうちの、フォーカスレンズ１０１０の視野を抜き出した図および、フォーカスレンズ１０１１の視野を抜き出した図である。
【００１２】
図８（Ａ）に示したように、２つの広角レンズを使用することにより画角を広げることができ、この場合画角１８０度になる図になっている。両フォーカスレンズの視野が重なる部分については撮像素子１００３と撮像素子１００４から出力される画像をαブレンド等で合成し、視野が重ならない画像はそのままはめ込むことによって画角１８０度の画像を得ることが可能である。周辺部の解像度が低下する広角レンズを使用した場合には合成後の画像周辺部はボケてしまう。
【００１３】
図８（Ｂ）に示したように、フォーカスレンズ１０１０の視野では光軸がθだけ傾いている。この図によれば、被写体の位置がレンズの中心部に近いため、鮮鋭感のある濃度勾配が急峻な画像が得られる。
【００１４】
一方、図８（Ｃ）に示したように、はフォーカスレンズ１０１１の視野では、フォーカスレンズ１０１０の場合とは反対方向に、光軸がθだけ傾いている。この図によれば、被写体の位置がレンズ周辺部に位置しているため、濃度勾配が緩やかなボケた画像が得られてしまう。
【００１５】
このように、同じ被写体を撮影した場合でも、広角レンズを非平行に配置することによって撮影画像の鮮鋭感は異なる。即ち、輪郭の濃度勾配や画像レベルが異なる場合が発生し、ボケた画像ではどの位置が輪郭かが不明確になり、対応点の位置がばらついて一定せず、その結果、測距結果がばらついてパターンマッチングの精度は低下してしまう。
【００１６】
本発明は、このような従来技術の問題点に鑑みてなされたもので、その目的とするところは、周辺部で撮影された画像の解像度が低下する広角レンズを使用した場合でも、当該周辺部で撮影された画像に鮮鋭感がある優れた画像が得られるだけではなく、測距精度も高い技術を提供することにある。
【課題を解決するための手段】
【００１７】
上述の課題を解決するために、本発明に係る第１の態様のステレオ画像処理装置は、レンズと該レンズと対を成す撮像素子を備えた複数の映像信号出力部と、
前記複数の映像信号出力部のそれぞれに対応付けられて設けられ、前記映像信号出力部からの出力信号である映像信号に補正を加えて鮮鋭化するための複数の映像信号補正部と、前記映像信号補正部のそれぞれにより補正が加えられた複数の映像信号に基づいて、撮像内の各画素と被写体と距離を演算して測距値を求める測距部とを備え、前記複数の映像信号出力部のレンズは、同一の被写体が画角内に入り且つ光軸が互いに非平行に配置されており、前記映像信号補正部は何れも、前記映像信号出力部より出力された映像信号に対する補正用の高周波信号を生成する補正用高周波信号生成部と、前記測距部の演算結果を受けて、前記撮像内の特定のエリア内に含まれる各画素の測距値の分布から測距値のばらつきを評価する測距値ばらつき評価部と、前記測距値のばらつきが小さくなるように前記補正用高周波信号の振幅を調整する振幅調整部と、を備えている。
【００１８】
また、本発明に係る第１の態様のステレオ画像処理方法は、レンズと該レンズと対を成す撮像素子を備えた複数の映像信号出力部であって、前記複数の映像信号出力部のレンズは、同一の被写体が画角内に入り且つ光軸が互いに非平行に配置されている複数の映像信号出力部と、前記複数の映像信号出力部のそれぞれに対応付けられて設けられ、前記映像信号出力部からの出力信号である映像信号に補正を加えて鮮鋭化するための複数の映像信号補正部とを備えたステレオ画像処理装置を用いてステレオ画像を処理する方法であって、下記の各ステップを備えている。
前記映像信号補正部のそれぞれにより補正が加えられた複数の映像信号に基づいて、撮像内の各画素と被写体と距離を演算して測距値を求める測距ステップ：
前記映像信号出力部より出力された映像信号に対する補正用の高周波信号を生成する補正用高周波信号生成ステップ：
前記測距ステップの演算結果を受けて、前記撮像内の特定のエリア内に含まれる各画素の測距値の分布から測距値のばらつきを評価する測距値ばらつき評価ステップ：
前記測距値のばらつきが小さくなるように前記補正用高周波信号の振幅を調整する振幅調整ステップ：
【００１９】
第１の態様の構成により、距離分布を求める特定エリアを定めることにより、測距評価のサンプル数を増やして距離のばらつきの評価精度を向上させることができるとともに、測距のばらつきが抑えられるように映像信号が補正されるため、測距精度向上が可能となる。特に同一フレームの画像にて距離評価を行ない、映像信号の補正をフレーム毎に行なうことにより、測距の時間方向の分解能を高くすることができる。
【００２０】
本発明に係る第２の態様のステレオ画像処理装置は、レンズと該レンズと対を成す撮像素子を備えた複数の映像信号出力部と、前記複数の映像信号出力部のそれぞれに対応付けられて設けられ、前記映像信号出力部からの出力信号である映像信号に補正を加えて鮮鋭化するための複数の映像信号補正部と、前記映像信号補正部のそれぞれにより補正が加えられた複数の映像信号に基づいて、撮像内の各画素と被写体と距離を演算して測距値を求める測距部とを備え、前記複数の映像信号出力部のレンズは、同一の被写体が画角内に入り且つ光軸が互いに非平行に配置されており、前記映像信号補正部は何れも、前記映像信号出力部より出力された映像信号に対する補正用の高周波信号を生成する補正用高周波信号生成部と、前記測距部の演算結果を受けて、複数のフレームにおける撮像内の特定の画素の測距値の分布から測距値のばらつきを評価する測距値ばらつき評価部と、前記測距値のばらつきが小さくなるように前記補正用高周波信号の振幅を調整する振幅調整部と、を備えている。
【００２１】
また、本発明に係る第２の態様のステレオ画像処理方法は、レンズと該レンズと対を成す撮像素子を備えた複数の映像信号出力部であって、前記複数の映像信号出力部のレンズは、同一の被写体が画角内に入り且つ光軸が互いに非平行に配置されている複数の映像信号出力部と、前記複数の映像信号出力部のそれぞれに対応付けられて設けられ、前記映像信号出力部からの出力信号である映像信号に補正を加えて鮮鋭化するための複数の映像信号補正部とを備えたステレオ画像処理装置を用いてステレオ画像を処理する方法であって、下記の各ステップを備えている。
前記映像信号補正部のそれぞれにより補正が加えられた複数の映像信号に基づいて、撮像内の各画素と被写体と距離を演算して測距値を求める測距ステップ：
前記映像信号出力部より出力された映像信号に対する補正用の高周波信号を生成する補正用高周波信号生成ステップ：
前記測距ステップの演算結果を受けて、複数のフレームにおける撮像内の特定の画素の測距値の分布から測距値のばらつきを評価する測距値ばらつき評価ステップ：
前記測距値のばらつきが小さくなるように前記補正用高周波信号の振幅を調整する振幅調整ステップ：
【００２２】
第２の態様の構成により、撮影フレーム数が多いほどサンプル数が多くなり、距離のばらつきを評価する精度が向上させることができるとともに、測距のばらつきが抑えられるように映像信号が補正されるため、測距精度向上が可能となる。特に空間分解能を高くした上で測距精度向上が可能となる。
【００２３】
本発明に係る第３の態様のステレオ画像処理装置は、レンズと該レンズと対を成す撮像素子を備えた複数の映像信号出力部と、前記複数の映像信号出力部のそれぞれに対応付けられて設けられ、前記映像信号出力部からの出力信号である映像信号に補正を加えて鮮鋭化するための複数の映像信号補正部と、前記映像信号補正部のそれぞれにより補正が加えられた複数の映像信号に基づいて、撮像内の各画素と被写体と距離を演算して測距値を求める測距部とを備え、前記複数の映像信号出力部のレンズは、同一の被写体が画角内に入り且つ光軸が互いに非平行に配置されており、前記映像信号補正部は何れも、前記映像信号出力部より出力された映像信号に対する補正用の高周波信号を生成する補正用高周波信号生成部と、前記測距部の演算結果を受けて、前記撮像内の特定のエリア内に含まれる各画素の測距値の分布から測距値のばらつきを評価する測距値ばらつき評価部と、前記各画素の前記レンズの光軸からの距離を算出する距離算出部と、前記距離算出部で算出された距離と前記測距値のばらつきに基づいて前記補正用高周波信号の振幅を調整する振幅調整部と、を備えている。
【００２４】
また、本発明に係る第３の態様のステレオ画像処理方法は、レンズと該レンズと対を成す撮像素子を備えた複数の映像信号出力部であって、前記複数の映像信号出力部のレンズは、同一の被写体が画角内に入り且つ光軸が互いに非平行に配置されている複数の映像信号出力部と、前記複数の映像信号出力部のそれぞれに対応付けられて設けられ、前記映像信号出力部からの出力信号である映像信号に補正を加えて鮮鋭化するための複数の映像信号補正部とを備えたステレオ画像処理装置を用いてステレオ画像を処理する方法であって、下記の各ステップを備えている。
前記映像信号補正部のそれぞれにより補正が加えられた複数の映像信号に基づいて、撮像内の各画素と被写体と距離を演算して測距値を求める測距ステップ：
前記映像信号出力部より出力された映像信号に対する補正用の高周波信号を生成する補正用高周波信号生成ステップ：
前記測距ステップの演算結果を受けて、前記撮像内の特定のエリア内に含まれる各画素の測距値の分布から測距値のばらつきを評価する測距値ばらつき評価ステップ：
前記各画素の前記レンズの光軸からの距離を算出する距離算出ステップ：
前記距離算出ステップで算出された距離と前記測距値のばらつきに基づいて前記補正用高周波信号の振幅を調整する振幅調整ステップ：
【００２５】
本発明に係る第４の態様のステレオ画像処理装置は、レンズと該レンズと対を成す撮像素子を備えた複数の映像信号出力部と、前記複数の映像信号出力部のそれぞれに対応付けられて設けられ、前記映像信号出力部からの出力信号である映像信号に補正を加えて鮮鋭化するための複数の映像信号補正部と、前記映像信号補正部のそれぞれにより補正が加えられた複数の映像信号に基づいて、撮像内の各画素と被写体と距離を演算して測距値を求める測距部とを備え、前記複数の映像信号出力部のレンズは、同一の被写体が画角内に入り且つ光軸が互いに非平行に配置されており、前記映像信号補正部は何れも、前記映像信号出力部より出力された映像信号に対する補正用の高周波信号を生成する補正用高周波信号生成部と、前記測距部の演算結果を受けて、複数のフレームにおける撮像内の特定の画素の測距値の分布から測距値のばらつきを評価する測距値ばらつき評価部と、前記各画素の前記レンズの光軸からの距離を算出する距離算出部と、前記距離算出部で算出された距離と前記測距値のばらつきに基づいて前記補正用高周波信号の振幅を調整する振幅調整部と、を備えている。
【００２６】
また、本発明に係る第４の態様のステレオ画像処理方法は、レンズと該レンズと対を成す撮像素子を備えた複数の映像信号出力部であって、前記複数の映像信号出力部のレンズは、同一の被写体が画角内に入り且つ光軸が互いに非平行に配置されている複数の映像信号出力部と、前記複数の映像信号出力部のそれぞれに対応付けられて設けられ、前記映像信号出力部からの出力信号である映像信号に補正を加えて鮮鋭化するための複数の映像信号補正部とを備えたステレオ画像処理装置を用いてステレオ画像を処理する方法であって、下記の各ステップを備えている。
前記映像信号補正部のそれぞれにより補正が加えられた複数の映像信号に基づいて、撮像内の各画素と被写体と距離を演算して測距値を求める測距ステップ：
前記映像信号出力部より出力された映像信号に対する補正用の高周波信号を生成する補正用高周波信号生成ステップ：
前記測距ステップの演算結果を受けて、複数のフレームにおける撮像内の特定の画素の測距値の分布から測距値のばらつきを評価する測距値ばらつき評価ステップ：
前記各画素の前記レンズの光軸からの距離を算出する距離算出ステップ：
前記距離算出ステップで算出された距離と前記測距値のばらつきに基づいて前記補正用高周波信号の振幅を調整する振幅調整ステップ：
【００２７】
第３および第４の態様の構成により、レンズ周辺の鮮鋭感が向上するので測距精度が向上するとともに画質のよい画像も同時に得ることが可能となる。
【発明の効果】
【００２８】
本発明によれば、周辺部の解像度が低下する広角レンズを使用する場合でもレンズ光軸から周辺部まで画像を鮮鋭化する制御を行なうことができる。これにより、レンズ中心部の撮影被写体で撮影された被写体輪郭部の濃度勾配や画像レベルを一方のレンズのレンズ周辺部で撮影される被写体の輪郭部の濃度勾配や画像レベルに類似させることができる。その結果、パターンマッチングの対応点位置のばらつき、即ち測距演算結果のばらつきが少なく測距精度を向上させることができ、鮮鋭感のある監視画像も同時に得ることが可能になる。
【図面の簡単な説明】
【００２９】
【図１】本発明に係るステレオ画像処理装置の構成例を説明するためのブロック図
【図２】周辺解像補正回路の構成例を説明するためのブロック図
【図３】本発明の実施例１における、補正信号のゲイン制御を示す特性図
【図４】本発明の実施例１における、測距評価と補正信号のゲイン調整を示すフローチャート
【図５】本発明の実施例２おける、ステレオ画像処理方法のフローチャート
【図６】本発明の実施例３における、測距評価と補正信号のゲイン調整を示すフローチャート
【図７】従来のステレオカメラの構成を示すブロック図
【図８】従来技術の問題点を具体例により説明するための図
【発明を実施するための形態】
【００３０】
以下に、図面を参照して、本発明を実施するための形態について説明する。なお、以降の説明では、映像信号出力部を２組備える場合について説明するが、本発明は、映像信号出力部が３組以上ある場合にも同様に適用することができる。
【００３１】
図１は、本発明に係るステレオ画像処理装置の構成例を説明するためのブロック図である。このステレオ画像処理装置は、撮影レンズ１０１、１０２および撮像素子１０３、１０４を備える２組の映像信号出力部と、信号処理回路１０５と、周辺解像補正回路１０６と、測距回路１０７を備えている。
【００３２】
上述したように、映像信号出力部は複数設けられており、それぞれの映像信号出力部は、レンズと該レンズと対を成す撮像素子を備えている。このような複数の映像信号出力部のレンズは、同一の被写体が画角内に入り且つ光軸が互いに非平行に配置されている。この図では、映像信号出力部のレンズ１０１、１０２は、同一の被写体が画角内に入るように配置され且つ互いに平行な２本の光軸ＯＡ１、ＯＡ２から、それぞれ角度θずらして配置されている。
【００３３】
映像信号出力部で撮影された画像は、映像信号として信号処理回路１０５に出力される。信号処理回路１０５は、この映像信号に、増幅とＡ／Ｄ変換などの信号処理を行い、周辺解像補正回路１０６に出力する。
【００３４】
周辺解像補正回路１０６は、複数ある映像信号出力部のそれぞれに対応付けられて設けられており、映像信号出力部からの出力信号である映像信号に補正を加えて鮮鋭化するための手段である。
【００３５】
測距回路１０７は、上述の映像信号補正部のそれぞれにより補正が加えられた複数の映像信号に基づいて、撮像内の各画素と被写体と距離を演算して測距値を求める測距部である。
【００３６】
図２は、周辺解像補正回路１０６の構成例を説明するためのブロック図である。なお、図１に示したステレオ画像処理装置は２組の映像信号出力部を備えているため、これら映像信号出力部に対応させて周辺解像補正回路も２組設けられているが、周辺解像補正回路の構成は同一であるため、一方の周辺解像補正回路の構成についてのみ説明し、他方の周辺解像補正回路の構成についての説明は省略する。
【００３７】
周辺解像補正回路１０６は、補正信号生成回路２０１と、測距評価回路２０２と、距離算出回路２０３と、信号調整回路２０４と、加算回路２０５を備えている。
【００３８】
補正信号生成回路２０１は、映像信号出力部より出力された映像信号に対する補正用の高周波信号を生成する手段である。
【００３９】
測距評価回路２０２は、上述の測距回路１０７の演算結果を受けて、撮像内の特定のエリア内に含まれる各画素の測距値の分布から測距値のばらつきを評価したり、複数のフレームにおける撮像内の特定の画素の測距値の分布から測距値のばらつきを評価したりする、測距値ばらつき評価手段である。ここで、ばらつきの評価とは、測距値のばらつき度合いであり、例えば分散値である。
【００４０】
信号調整回路２０４は、上述した測距値のばらつきが小さくなるように、補正用高周波信号の振幅を調整する振幅調整部であり、振幅調整後の補正用高周波信号は、加算回路２０５により本線に加算され、撮影された画像の鮮鋭感が調整される。
【００４１】
距離算出回路２０３は、各画素がレンズの光軸からどの程度の距離にあるかを算出する距離算出部である。この距離算出回路２０３を用いる構成とした場合には、上述した補正用高周波信号の振幅調整は、測距値のばらつきの程度に加え、当該距離算出回路２０３で算出された距離に基づいて行うことができる。
【００４２】
以下に、実施例により、本発明で実行される処理の手順について説明する。なお、当該処理の内容は、ステレオ画像を処理するための方法であって、その各処理（ステップ）をコンピュータを用いて実行することができることは明らかである。また、かかるプログラムは、レンズと該レンズと対を成す撮像素子を備えた複数の映像信号出力部であって、これら複数の映像信号出力部のレンズは、同一の被写体が画角内に入り且つ光軸が互いに非平行に配置されている複数の映像信号出力部と、該複数の映像信号出力部のそれぞれに対応付けられて設けられ、映像信号出力部からの出力信号である映像信号に補正を加えて鮮鋭化するための複数の映像信号補正部とを備えたステレオ画像処理装置を用いてステレオ画像を処理するためのプログラムであって、コンピュータに下記の各処理を実行させるためのステレオ画像処理プログラムである。
【実施例１】
【００４３】
図３は、本発明の実施例１における、補正信号のゲイン制御を示す特性図である。
【００４４】
図４は、本発明の実施例１における、測距評価と補正信号のゲイン調整を示すフローチャートである。
【００４５】
距離算出回路２０３により、処理画素の光軸中心からの距離あるいは距離の自乗値が求められる、この値は、図３に示した特性図の横軸（距離値）となる。
【００４６】
ここで、距離値ｒは、光軸中心となる画素の水平、垂直位置をそれぞれX0,Y0とし、補正処理対象となる画素の水平、垂直位置をそれぞれX,Yとすると、下記の式（１）あるいは式（２）となる。
【００４７】
【数１】

【００４８】
【数２】

【００４９】
図３に示したように、この距離値が大きくなるにつれて、補正信号のゲイン（縦軸）を大きくするように制御する。
【００５０】
信号調整回路２０４は、この特性に則って、処理画素の光軸中心からの距離値が大きくなるのに応じて、補正用の高周波信号の振幅を大きくし（Ｇ１を大きくし）、レンズ周辺部の鮮鋭感を向上させるようにする。
【００５１】
一方、測距評価回路２０２は、図４に示した処理を実行する。先ず、測距回路１０７から順次出力される測距演算結果のうち、撮像内の特定のエリア内に含まれる各画素の測距演算結果のばらつきを評価するため、その特定エリア内での距離分散値Ｖｔを計算する（Ｓ４０１）。
【００５２】
ここで、上述の特定エリアが、例えば画素の水平、垂直位置（Xa,Ya）、（Xb,Yb）を対角とする長方形領域エリアであるとする。この長方形領域エリア内の各画素位置に対応する、測距回路１０７により計算された測距値をＤ(X,Y)とすると、エリア内の画素数、エリア内の測距値の平均値、および、距離分散値は、それぞれ、下記の式（３）、式（４）、および、式（５）となる。
【００５３】
【数３】

【００５４】
【数４】

【００５５】
【数５】

【００５６】
次に、信号調整回路２０４における補正ゲイン値Ｇ２をΔｇ＋だけ増加させ（Ｓ４０２）、増加したゲインを反映させた測距値の距離分散値Ｖｔ＋１を式４、式５により計算する（Ｓ４０３）。ゲイン増加前と後とで距離分散値を比較し（Ｓ４０４）、差がある閾値ＴＨよりも小さければ（Ｓ４０４：Ｙｅｓ）、再び補正ゲインを増加させるようにＳ４０１に戻る。
【００５７】
一方、距離分散値がある閾値ＴＨ以上になれば（Ｓ４０４：Ｎｏ）、測距値のばらつき度合いが大きくなったと判断し、再度、距離分散値Ｖｔを計算し（Ｓ４０５）、補正ゲインＧ２をΔｇ−だけ減少させ（Ｓ４０６）、この補正ゲインＧ２減少後の距離分散値Ｖｔ＋１を、式（４）および式（５）から求め（Ｓ４０７）、ステップＳ４０４に戻って再び測距値のばらつき度合いを評価する。
【００５８】
上述の手順により、測距値のばらつきが一定以内になるように補正ゲインＧ２を制御して高周波信号にＧ２を乗じて補正信号を調整する。このようにして、レンズ周辺部で撮影された輪郭部の鮮鋭感を補正する制御を行ない、一方のレンズ中心部に近く撮影された輪郭部の濃度勾配や画像レベルに類似させる。これにより、パターンマッチングの対応点位置のばらつきが低減され、測距精度を向上させることができる。
【実施例２】
【００５９】
図５は、本発明の実施例２おける、ステレオ画像処理方法のフローチャートである。
【００６０】
先ず、撮像素子から出力された映像信号を鮮鋭化するための補正用高周波信号を生成し（Ｓ５０１）、上述した光軸中心からの距離値を、式（１）あるいは式（２）により計算する（Ｓ５０２）
【００６１】
次に、上記距離値に基づいて、図３で示した特性となる補正ゲインＧ１を求める（Ｓ５０３）。そして、この補正ゲインＧ１と、図４を用いて説明した手順で求められる補正ゲインＧ２との積を、総合補正ゲインとして求める（Ｓ５０４）。
【００６２】
続いて、ステップＳ５０１で生成した補正用高周波信号と上記総合補正ゲインを乗算し（Ｓ５０５）、本線信号にゲイン調整済みの補正用高周波信号を加算する（Ｓ５０６）。このような手順により、レンズ周辺部の画像を鮮鋭化して画質のよい画像を得るとともに、鮮鋭感を調整して測距精度を向上させることができる。
【実施例３】
【００６３】
図６は、本発明の実施例３おける、測距評価と補正信号のゲイン調整を示すフローチャートである。
【００６４】
測距回路１０７から順次出力される測距演算結果のうち、画像上のある空間位置(ｉ,ｊ)（水平位置ｉと垂直位置ｊ）における測距演算のばらつきを評価するため、Ｎフレーム分の距離分散値Ｖ_Ｎを計算する（Ｓ６０１）。
【００６５】
測距回路１０７により計算された時間ｔにおける該空間位置の距離値をＤ_ｔ(ｉ,j)とすると、Ｎフレームの測距値の平均値および距離分散値は、それぞれ、下記の式（６）および式（７）となる。
【００６６】
【数６】

【００６７】
【数７】

【００６８】
次に、信号調整回路２０４における補正ゲイン値Ｇ２をΔｇ＋だけ増加させ（Ｓ６０２）、増加したゲインを反映させた測距値の距離分散値Ｖ’_Ｎ(I,j)を、上記の式（６）、式（７）により計算する（Ｓ６０３）。
【００６９】
続いて、ゲイン増加前と後とで距離分散値を比較し（Ｓ６０４）、この差がある閾値ＴＨよりも小さければ（Ｓ６０４：Ｙｅｓ）、再び補正ゲインを増加させるようにステップＳ６０１に戻る。
【００７０】
一方、距離分散値がある閾値ＴＨ以上になれば（Ｓ６０４：Ｎｏ）、測距値のばらつき度合いが大きくなったと判断し、再度、距離分散値Ｖ_Ｎ(I,j)を計算し（Ｓ６０５）、補正ゲインＧ２をΔｇ−だけ減少させ（Ｓ６０６）、この補正ゲインＧ２減少後の距離分散値Ｖ’_Ｎ(I,j)を、式（６）および式（７）から求め（Ｓ６０７）、ステップＳ６０４に戻って再び測距値のばらつき度合いを評価する。
【００７１】
このようにして測距値のばらつきが一定以内になるように補正ゲインＧ２を制御して高周波信号にＧ２を乗じて補正信号を調整する。このような手順により映像信号を補正することで、測距精度を向上させることができる。このようにして、空間分解能を高くした測距精度向上が可能となる。
【００７２】
なお、上記の実施例では、補正用高周波信号は撮像素子から出力された映像信号にハイパスフィルタを施して高周波信号を抜き出して生成する方法を説明しているが、これは例示であり、補正用高周波信号の生成方法を限定するものではない。また、ばらつき度合いの評価には分散値を計算する例を示したが、他の評価尺度を利用した評価方法でも本発明の補正制御は実現可能である。さらに、撮影レンズ１０１，１０２の配置角度は、両方とも同じθでなくてもよい。
【００７３】
上述した各手順は、プログラムにより、コンピュータに実行させることができる。すなわち、本発明はステレオ画像処理プログラムに及び、このプログラムは、本発明に係るステレオ画像処理装置を用いてステレオ画像を処理するためのプログラムである。
【産業上の利用可能性】
【００７４】
本発明にかかるステレオ画像処理装置は、レンズ光軸から周辺部まで画像を鮮鋭化させ、画質のよい監視用画像を得るとともに、かつ測距値のばらつきが少なく測距精度を向上させることできるステレオ画像処理装置、ステレオ画像処理方法として有益である。
【符号の説明】
【００７５】
１０１、１０２撮影レンズ
１０３、１０４撮像素子
１０５信号処理回路
１０６周辺解像補正回路
１０７測距回路
２０１補正信号生成回路
２０２測距評価回路
２０３距離算出回路
２０４信号調整回路
２０５加算回路
１００１、１００２撮影レンズ
１００３、１００４撮像素子
１００５画像信号入力回路
１００６画像処理回路
１００７フォーカス評価回路
１００８システムコントローラ
１００９モータードライバー
１０１０、１０１１フォーカスレンズ

【特許請求の範囲】
【請求項１】
レンズと該レンズと対を成す撮像素子を備えた複数の映像信号出力部と、
前記複数の映像信号出力部のそれぞれに対応付けられて設けられ、前記映像信号出力部からの出力信号である映像信号に補正を加えて鮮鋭化するための複数の映像信号補正部と、
前記映像信号補正部のそれぞれにより補正が加えられた複数の映像信号に基づいて、撮像内の各画素と被写体と距離を演算して測距値を求める測距部とを備え、
前記複数の映像信号出力部のレンズは、同一の被写体が画角内に入り且つ光軸が互いに非平行に配置されており、
前記映像信号補正部は何れも、
前記映像信号出力部より出力された映像信号に対する補正用の高周波信号を生成する補正用高周波信号生成部と、
前記測距部の演算結果を受けて、前記撮像内の特定のエリア内に含まれる各画素の測距値の分布から測距値のばらつきを評価する測距値ばらつき評価部と、
前記測距値のばらつきが小さくなるように前記補正用高周波信号の振幅を調整する振幅調整部と、
を備えているステレオ画像処理装置。
【請求項２】
レンズと該レンズと対を成す撮像素子を備えた複数の映像信号出力部と、
前記複数の映像信号出力部のそれぞれに対応付けられて設けられ、前記映像信号出力部からの出力信号である映像信号に補正を加えて鮮鋭化するための複数の映像信号補正部と、
前記映像信号補正部のそれぞれにより補正が加えられた複数の映像信号に基づいて、撮像内の各画素と被写体と距離を演算して測距値を求める測距部とを備え、
前記複数の映像信号出力部のレンズは、同一の被写体が画角内に入り且つ光軸が互いに非平行に配置されており、
前記映像信号補正部は何れも、
前記映像信号出力部より出力された映像信号に対する補正用の高周波信号を生成する補正用高周波信号生成部と、
前記測距部の演算結果を受けて、複数のフレームにおける撮像内の特定の画素の測距値の分布から測距値のばらつきを評価する測距値ばらつき評価部と、
前記測距値のばらつきが小さくなるように前記補正用高周波信号の振幅を調整する振幅調整部と、
を備えているステレオ画像処理装置。
【請求項３】
レンズと該レンズと対を成す撮像素子を備えた複数の映像信号出力部と、
前記複数の映像信号出力部のそれぞれに対応付けられて設けられ、前記映像信号出力部からの出力信号である映像信号に補正を加えて鮮鋭化するための複数の映像信号補正部と、
前記映像信号補正部のそれぞれにより補正が加えられた複数の映像信号に基づいて、撮像内の各画素と被写体と距離を演算して測距値を求める測距部とを備え、
前記複数の映像信号出力部のレンズは、同一の被写体が画角内に入り且つ光軸が互いに非平行に配置されており、
前記映像信号補正部は何れも、
前記映像信号出力部より出力された映像信号に対する補正用の高周波信号を生成する補正用高周波信号生成部と、
前記測距部の演算結果を受けて、前記撮像内の特定のエリア内に含まれる各画素の測距値の分布から測距値のばらつきを評価する測距値ばらつき評価部と、
前記各画素の前記レンズの光軸からの距離を算出する距離算出部と、
前記距離算出部で算出された距離と前記測距値のばらつきに基づいて前記補正用高周波信号の振幅を調整する振幅調整部と、
を備えているステレオ画像処理装置。
【請求項４】
レンズと該レンズと対を成す撮像素子を備えた複数の映像信号出力部と、
前記複数の映像信号出力部のそれぞれに対応付けられて設けられ、前記映像信号出力部からの出力信号である映像信号に補正を加えて鮮鋭化するための複数の映像信号補正部と、
前記映像信号補正部のそれぞれにより補正が加えられた複数の映像信号に基づいて、撮像内の各画素と被写体と距離を演算して測距値を求める測距部とを備え、
前記複数の映像信号出力部のレンズは、同一の被写体が画角内に入り且つ光軸が互いに非平行に配置されており、
前記映像信号補正部は何れも、
前記映像信号出力部より出力された映像信号に対する補正用の高周波信号を生成する補正用高周波信号生成部と、
前記測距部の演算結果を受けて、複数のフレームにおける撮像内の特定の画素の測距値の分布から測距値のばらつきを評価する測距値ばらつき評価部と、
前記各画素の前記レンズの光軸からの距離を算出する距離算出部と、
前記距離算出部で算出された距離と前記測距値のばらつきに基づいて前記補正用高周波信号の振幅を調整する振幅調整部と、
を備えているステレオ画像処理装置。
【請求項５】
レンズと該レンズと対を成す撮像素子を備えた複数の映像信号出力部であって、前記複数の映像信号出力部のレンズは、同一の被写体が画角内に入り且つ光軸が互いに非平行に配置されている複数の映像信号出力部と、前記複数の映像信号出力部のそれぞれに対応付けられて設けられ、前記映像信号出力部からの出力信号である映像信号に補正を加えて鮮鋭化するための複数の映像信号補正部とを備えたステレオ画像処理装置を用いてステレオ画像を処理する方法であって、下記の各ステップを備えているステレオ画像処理方法。
前記映像信号補正部のそれぞれにより補正が加えられた複数の映像信号に基づいて、撮像内の各画素と被写体と距離を演算して測距値を求める測距ステップ：
前記映像信号出力部より出力された映像信号に対する補正用の高周波信号を生成する補正用高周波信号生成ステップ：
前記測距ステップの演算結果を受けて、前記撮像内の特定のエリア内に含まれる各画素の測距値の分布から測距値のばらつきを評価する測距値ばらつき評価ステップ：
前記測距値のばらつきが小さくなるように前記補正用高周波信号の振幅を調整する振幅調整ステップ：
【請求項６】
レンズと該レンズと対を成す撮像素子を備えた複数の映像信号出力部であって、前記複数の映像信号出力部のレンズは、同一の被写体が画角内に入り且つ光軸が互いに非平行に配置されている複数の映像信号出力部と、前記複数の映像信号出力部のそれぞれに対応付けられて設けられ、前記映像信号出力部からの出力信号である映像信号に補正を加えて鮮鋭化するための複数の映像信号補正部とを備えたステレオ画像処理装置を用いてステレオ画像を処理する方法であって、下記の各ステップを備えているステレオ画像処理方法。
前記映像信号補正部のそれぞれにより補正が加えられた複数の映像信号に基づいて、撮像内の各画素と被写体と距離を演算して測距値を求める測距ステップ：
前記映像信号出力部より出力された映像信号に対する補正用の高周波信号を生成する補正用高周波信号生成ステップ：
前記測距ステップの演算結果を受けて、複数のフレームにおける撮像内の特定の画素の測距値の分布から測距値のばらつきを評価する測距値ばらつき評価ステップ：
前記測距値のばらつきが小さくなるように前記補正用高周波信号の振幅を調整する振幅調整ステップ：
【請求項７】
レンズと該レンズと対を成す撮像素子を備えた複数の映像信号出力部であって、前記複数の映像信号出力部のレンズは、同一の被写体が画角内に入り且つ光軸が互いに非平行に配置されている複数の映像信号出力部と、前記複数の映像信号出力部のそれぞれに対応付けられて設けられ、前記映像信号出力部からの出力信号である映像信号に補正を加えて鮮鋭化するための複数の映像信号補正部とを備えたステレオ画像処理装置を用いてステレオ画像を処理する方法であって、下記の各ステップを備えているステレオ画像処理方法。
前記映像信号補正部のそれぞれにより補正が加えられた複数の映像信号に基づいて、撮像内の各画素と被写体と距離を演算して測距値を求める測距ステップ：
前記映像信号出力部より出力された映像信号に対する補正用の高周波信号を生成する補正用高周波信号生成ステップ：
前記測距ステップの演算結果を受けて、前記撮像内の特定のエリア内に含まれる各画素の測距値の分布から測距値のばらつきを評価する測距値ばらつき評価ステップ：
前記各画素の前記レンズの光軸からの距離を算出する距離算出ステップ：
前記距離算出ステップで算出された距離と前記測距値のばらつきに基づいて前記補正用高周波信号の振幅を調整する振幅調整ステップ：
【請求項８】
レンズと該レンズと対を成す撮像素子を備えた複数の映像信号出力部であって、前記複数の映像信号出力部のレンズは、同一の被写体が画角内に入り且つ光軸が互いに非平行に配置されている複数の映像信号出力部と、前記複数の映像信号出力部のそれぞれに対応付けられて設けられ、前記映像信号出力部からの出力信号である映像信号に補正を加えて鮮鋭化するための複数の映像信号補正部とを備えたステレオ画像処理装置を用いてステレオ画像を処理する方法であって、下記の各ステップを備えているステレオ画像処理方法。
前記映像信号補正部のそれぞれにより補正が加えられた複数の映像信号に基づいて、撮像内の各画素と被写体と距離を演算して測距値を求める測距ステップ：
前記映像信号出力部より出力された映像信号に対する補正用の高周波信号を生成する補正用高周波信号生成ステップ：
前記測距ステップの演算結果を受けて、複数のフレームにおける撮像内の特定の画素の測距値の分布から測距値のばらつきを評価する測距値ばらつき評価ステップ：
前記各画素の前記レンズの光軸からの距離を算出する距離算出ステップ：
前記距離算出ステップで算出された距離と前記測距値のばらつきに基づいて前記補正用高周波信号の振幅を調整する振幅調整ステップ：
【請求項９】
レンズと該レンズと対を成す撮像素子を備えた複数の映像信号出力部であって、前記複数の映像信号出力部のレンズは、同一の被写体が画角内に入り且つ光軸が互いに非平行に配置されている複数の映像信号出力部と、前記複数の映像信号出力部のそれぞれに対応付けられて設けられ、前記映像信号出力部からの出力信号である映像信号に補正を加えて鮮鋭化するための複数の映像信号補正部とを備えたステレオ画像処理装置を用いてステレオ画像を処理するためのプログラムであって、コンピュータに下記の各ステップを実行させるためのステレオ画像処理プログラム。
前記映像信号補正部のそれぞれにより補正が加えられた複数の映像信号に基づいて、撮像内の各画素と被写体と距離を演算して測距値を求める測距ステップ：
前記映像信号出力部より出力された映像信号に対する補正用の高周波信号を生成する補正用高周波信号生成ステップ：
前記測距ステップの演算結果を受けて、前記撮像内の特定のエリア内に含まれる各画素の測距値の分布から測距値のばらつきを評価する測距値ばらつき評価ステップ：
前記測距値のばらつきが小さくなるように前記補正用高周波信号の振幅を調整する振幅調整ステップ：
【請求項１０】
レンズと該レンズと対を成す撮像素子を備えた複数の映像信号出力部であって、前記複数の映像信号出力部のレンズは、同一の被写体が画角内に入り且つ光軸が互いに非平行に配置されている複数の映像信号出力部と、前記複数の映像信号出力部のそれぞれに対応付けられて設けられ、前記映像信号出力部からの出力信号である映像信号に補正を加えて鮮鋭化するための複数の映像信号補正部とを備えたステレオ画像処理装置を用いてステレオ画像を処理するためのプログラムであって、コンピュータに下記の各ステップを実行させるためのステレオ画像処理プログラム。
前記映像信号補正部のそれぞれにより補正が加えられた複数の映像信号に基づいて、撮像内の各画素と被写体と距離を演算して測距値を求める測距ステップ：
前記映像信号出力部より出力された映像信号に対する補正用の高周波信号を生成する補正用高周波信号生成ステップ：
前記測距ステップの演算結果を受けて、複数のフレームにおける撮像内の特定の画素の測距値の分布から測距値のばらつきを評価する測距値ばらつき評価ステップ：
前記測距値のばらつきが小さくなるように前記補正用高周波信号の振幅を調整する振幅調整ステップ：
【請求項１１】
レンズと該レンズと対を成す撮像素子を備えた複数の映像信号出力部であって、前記複数の映像信号出力部のレンズは、同一の被写体が画角内に入り且つ光軸が互いに非平行に配置されている複数の映像信号出力部と、前記複数の映像信号出力部のそれぞれに対応付けられて設けられ、前記映像信号出力部からの出力信号である映像信号に補正を加えて鮮鋭化するための複数の映像信号補正部とを備えたステレオ画像処理装置を用いてステレオ画像を処理するためのプログラムであって、コンピュータに下記の各ステップを実行させるためのステレオ画像処理プログラム。
前記映像信号補正部のそれぞれにより補正が加えられた複数の映像信号に基づいて、撮像内の各画素と被写体と距離を演算して測距値を求める測距ステップ：
前記映像信号出力部より出力された映像信号に対する補正用の高周波信号を生成する補正用高周波信号生成ステップ：
前記測距ステップの演算結果を受けて、前記撮像内の特定のエリア内に含まれる各画素の測距値の分布から測距値のばらつきを評価する測距値ばらつき評価ステップ：
前記各画素の前記レンズの光軸からの距離を算出する距離算出ステップ：
前記距離算出ステップで算出された距離と前記測距値のばらつきに基づいて前記補正用高周波信号の振幅を調整する振幅調整ステップ：
【請求項１２】
レンズと該レンズと対を成す撮像素子を備えた複数の映像信号出力部であって、前記複数の映像信号出力部のレンズは、同一の被写体が画角内に入り且つ光軸が互いに非平行に配置されている複数の映像信号出力部と、前記複数の映像信号出力部のそれぞれに対応付けられて設けられ、前記映像信号出力部からの出力信号である映像信号に補正を加えて鮮鋭化するための複数の映像信号補正部とを備えたステレオ画像処理装置を用いてステレオ画像を処理するためのプログラムであって、コンピュータに下記の各ステップを実行させるためのステレオ画像処理プログラム。
前記映像信号補正部のそれぞれにより補正が加えられた複数の映像信号に基づいて、撮像内の各画素と被写体と距離を演算して測距値を求める測距ステップ：
前記映像信号出力部より出力された映像信号に対する補正用の高周波信号を生成する補正用高周波信号生成ステップ：
前記測距ステップの演算結果を受けて、複数のフレームにおける撮像内の特定の画素の測距値の分布から測距値のばらつきを評価する測距値ばらつき評価ステップ：
前記各画素の前記レンズの光軸からの距離を算出する距離算出ステップ：
前記距離算出ステップで算出された距離と前記測距値のばらつきに基づいて前記補正用高周波信号の振幅を調整する振幅調整ステップ：

【図１】