画像処理装置、周辺監視システム、および、プログラム
【課題】高精度と高速性とを両立させた対応点探索を行う３次元画像処理技術を提供する。
【解決手段】撮像部２は、入射光量に応じて線形変換特性と対数変換特性との間で光電変換特性が切り換わるマルチモード撮影制御部２０１を備える。画像処理装置は、この撮像部２で撮像されたステレオ画像信号を入力し、当該ステレオ画像信号に含まれる複数の画像間の空間的対応関係を決定して撮像対象体の３次元画像情報を得る。撮像された画像のうち、線形変換特性で光電変換された領域については、高精度の第１の対応点探索方法を適用し、対数変換特性で光電変換された領域については、高速の第２の対応点探索方法を適用して、３次元画像情報を得る。画像領域の種類ごとに異なる特性の対応点探索方法を使い分けることによって、高精度と高速性とを両立させる。
【解決手段】撮像部２は、入射光量に応じて線形変換特性と対数変換特性との間で光電変換特性が切り換わるマルチモード撮影制御部２０１を備える。画像処理装置は、この撮像部２で撮像されたステレオ画像信号を入力し、当該ステレオ画像信号に含まれる複数の画像間の空間的対応関係を決定して撮像対象体の３次元画像情報を得る。撮像された画像のうち、線形変換特性で光電変換された領域については、高精度の第１の対応点探索方法を適用し、対数変換特性で光電変換された領域については、高速の第２の対応点探索方法を適用して、３次元画像情報を得る。画像領域の種類ごとに異なる特性の対応点探索方法を使い分けることによって、高精度と高速性とを両立させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関するもので、特に、ステレオ画像の対応点探索技術に関する。
【背景技術】
【０００２】
近年、車やロボットのように自走するシステムが安全に走行する事を目的として、システムにカメラを搭載することにより、前方や周辺に存在する衝突の可能性のある対象物を検出し、衝突可能性の有無を自動で判定するシステムの開発が進められている。
【０００３】
対象物体との衝突可能性判定をするにあたっては、１台のカメラにより算出するような手法を適用することも可能であるが、移動速度が小さい場合（相対速度が小さい）や、対象物が遠くに存在するような場合では、精度良く検出することが出来ない可能性がある。また、対象物体の種類（車種・人）などの判別や抽出が必要となり、処理も複雑となる。
【０００４】
これらの問題を解決する方法として、ステレオカメラにより距離情報を算出し、算出した距離情報を基に、対象物体との衝突可能性の判定を行う方法（例えば、特許文献１）、物体検出・周辺監視方法（例えば、特許文献１および特許文献２）が提案されている。これらの距離情報を用いた衝突可能性における解析の利点は、対象物の時間方向での位置を精度良く抽出することができる点にあり、対象物の移動速度、距離から高精度に衝突可能性の判定を行う事が出来る。
【０００５】
また、ステレオカメラから距離情報を算出する場合、対応点探索精度が重要となるが、様々な対応点探索方法が提案されている（例えば、特許文献３ないし特許文献６）。
【０００６】
一方、ステレオカメラなどの撮像素子において、ダイナミックレンジを広くすることを目指して、入射光量に対して線形的に変換した電気信号と、入射光量に対して対数的に変換した電気信号との出力が可能な撮像素子（以下、Linear-Log特性を持つセンサと称する）が提案されてきているが、Linear-Log特性を持つセンサの補正方法として、距離計測システムも提案されている（例えば、特許文献７）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−１３４０３５号公報
【特許文献２】特開２００６−５４５０４号公報
【特許文献３】特開２００８−８９４０２号公報
【特許文献４】特開２００９−１４６２９６号公報
【特許文献５】特開２００８−２１６１２６号公報
【特許文献６】特開２００８−２３６２７６号公報
【特許文献７】特開２００８−０４６００４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
広ダイナミックレンジのLinear-Log特性を持つセンサ出力では、例えば、対向車のライトなどの影響による露出オーバー領域を含むような領域に対して画像補正を行ったうえで、対応点探索を行う事が精度向上に繋がると考えられる。
【０００９】
しかしながら、Linear-Log特性をもつセンサ出力において、対数変換特性領域では、輝度差が少なく、細かい変化は潰れてしまうという特徴を持つため、周波数特性による対応点探索の精度が低下する。また、温度などの条件変化により変曲点が画素ごとにばらつくため、変曲点付近において、対応点探索精度の低下をもたらす。
【００１０】
したがって、従来の技術では、露出オーバー領域を含むような画像において、装置や処理が複雑化するなどの原因により、精度良く対応点探索を行う事が難しい状況にある。
【００１１】
本発明は、このような事情に鑑みてなされたものであり、高精度と高速性とを両立させた対応点探索を行うことが可能な画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、請求項１の発明は、入射光量に応じて線形変換特性と対数変換特性との間で光電変換特性が切り換わるステレオ撮像手段を用いて撮像されたステレオ画像信号を入力し、前記ステレオ画像信号に含まれる複数の画像間の空間的対応関係を決定して撮像対象体の３次元画像情報を得る画像処理装置であって、(a)前記ステレオ画像信号のうち、線形変換特性で得られた画像領域としての線形領域には、第１の対応点探索方法を適用して前記複数の画像間の対応点探索を行い、対数変換特性で得られた画像領域としての対数領域には、第２の対応点探索方法を適用して前記複数の画像間の対応点探索を行なう対応点探索手段と、(b)前記対応点探索手段による対応点探索結果に基づいて、撮像対象体の３次元画像情報を得る手段とを備え、前記第１の対応点探索方法として、前記第２の対応点探索方法よりも高精度の探索結果を与える方法が採用される一方、前記第２の対応点探索方法として、前記第１の対応点探索方法よりも高速に探索結果を与える方法が採用されていることを特徴とする。
【００１３】
また、請求項２の発明は、請求項１に記載の画像処理装置であって、前記画像処理装置が、前記ステレオ画像の各画像領域の特徴量に基づいて、前記ステレオ画像の各画像領域が線形領域であるか対数領域であるかを判定する特性判定手段をさらに備え、前記対応点探索手段は、前記特性判定手段の判定結果に基づいて、画像領域ごとに、前記第１と第２の対応点探索方法とのいずれか一方を選択して適用することを特徴とする。
【００１４】
また、請求項３の発明は、請求項２に記載の画像処理装置であって、前記ステレオ撮像手段に、入射光量にかかわらず線形変換特性で光電変換する線形撮像モードでの撮像と、入射光量に応じて線形変換特性と対数変換特性との間で光電変換特性が変化する複合撮像モードでの撮像とを、周期的に切り替えて実行させるマルチモード撮影制御手段をさらに備え、前記特性判定手段は、前記複合撮像モードで得たステレオ画像の各画像領域が線形領域であるか対数領域であるかについての判定を、前記線形撮像モードで得たステレオ画像に基づいて実行することを特徴とする。
【００１５】
また、請求項４の発明は、請求項３に記載の画像処理装置であって、前記特性判定手段が、前記線形撮像モードで得られた画像における露出オーバー領域を検出する手段と、前記複合撮像モードで得られた画像において、前記露出オーバー領域に対応する対応領域を特定する手段とを備え、前記対応点探索手段は、前記複合撮像モードで得られた画像のうち、前記対応領域については前記第２の対応点探索方法によって対応点探索を行い、残余の領域については前記第１の対応点探索方法によって対応点探索を行うことを特徴とする。
【００１６】
また、請求項５の発明は、請求項３または請求項４に記載の画像処理装置であって、
前記線形撮像モードと前記複合撮像モードとは同一の撮像素子の時間差でのモード切り換えであり、前記対応点探索手段は、前記線形撮像モードの連続２回以上の撮像結果を時間的に外挿することにより、前記複合撮像モードにおける前記対応領域の場所を推定することを特徴とする。
【００１７】
また、請求項６の発明は、請求項１に記載の画像処理装置であって、前記対応点探索決定手段が、前記第１の対応点探索方法による対応点探索を部分的に行うとともに、当該部分的な対応点探索によって得られる対応点の信頼度を示す指標値を求める手段と、前記指標値が所定の閾値以上となっている場合には前記第１の対応点探索方法を継続する一方、前記指標値が前記閾値未満のときには前記第２の対応点探索方法に切り換える手段と、を備えることを特徴とする。
【００１８】
また、請求項７の発明は、請求項１ないし請求項６の何れかに記載の画像処理装置であって、前記第１の対応点探索方法は、前記複数の画像の周波数特性に基づいて、サブピクセル精度での対応点探索を行う方法であることを特徴とする。
【００１９】
また、請求項８の発明は、請求項１ないし請求項６の何れかに記載の画像処理装置であって、前記第２の対応点探索方法は、前記複数の画像の輝度値の相互関係に基づいて、対応点探索を行う方法であることを特徴とする。
【００２０】
また、請求項９の発明は、請求項１ないし請求項６の何れかに記載の画像処理装置であって、前記第２の対応点探索方法は、前記複数の画像の周波数特性に基づいて、ピクセル精度で対応点探索を行う方法であることを特徴とする。
【００２１】
また、請求項１０の発明は、請求項１ないし請求項９の何れかに記載の画像処理装置と、前記撮影対象体の３次元画像情報に基づいて、前記撮影対象体が所定の条件を満足するか否かの判定を行う対象体判定手段と、前記対象体判定手段により前記撮影対象体が前記所定の条件に満足すると判定されたときに、警告を行う警告手段とを備えることを特徴とする周辺監視システムである。
【００２２】
また、請求項１１の発明は、請求項３ないし請求項５のいずれかに記載の画像処理装置と、前記撮影対象体の３次元画像情報に基づいて、前記撮影対象体が所定の条件を満足するか否かの判定を行う対象体判定手段と、前記対象体判定手段により前記撮影対象体が前記所定の条件に満足すると判定されたときに、警告を行う警告手段とを備え、前記ステレオ画像における前記撮影対象体が、前記線形領域および前記対数領域のうちの一方の領域だけに局在している場合には、前記マルチモード撮影制御手段は、前記線形撮像モードおよび前記複合撮像モードのうち、当該局在領域に対応する一方の撮像モードでの撮像割合を増加させることを特徴とする周辺監視システムである。
【００２３】
また、請求項１２の発明は、請求項１０または請求項１１に記載の周辺監視システムであって、前記警告手段が、前記複合撮影モードでの撮像で得た画像を所定の画面表示手段に表示させる表示制御手段を備えることを特徴とする。
【００２４】
また、請求項１３の発明は、コンピュータにインストールされて実行されることによって、前記コンピュータを、請求項１ないし請求項９いずれかに記載の画像処理装置として機能させることを特徴とするプログラムである。
【００２５】
また、請求項１４の発明は、請求項１３に記載のプログラムであって、前記プログラムを前記コンピュータで実行させることにより、前記コンピュータを、請求項１０ないし請求項１２いずれかに記載の周辺監視システム用の画像処理装置として機能させることを特徴とする。
【発明の効果】
【００２６】
請求項１ないし請求項１４の発明によれば、線形変換特性と対数変換特性とのそれぞれの特性に応じて、ステレオ画像の各画像領域につき、高精度の対応点探索処理と、高速性な対応点探索処理とを適切に使い分けることが可能となる。その結果、高精度と高速性とを両立させた対応点探索を行うことが可能となる。
【００２７】
請求項３の発明によれば、線形撮像モードのステレオ画像に基づいて、複合撮像モードのステレオ画像の各画像領域が線形領域であるか対数領域であるかを判定するため、複合撮像モードでの領域判定が正確になる。
【００２８】
請求項４の発明によれば、線形撮像モードにおける露出オーバー領域が、複合撮影モードでは対数領域になることが多いという関係を利用するため、複合撮影モードでの領域判定が容易かつ正確となる。
【００２９】
請求項５の発明によれば、線形撮像モードの連続２回以上の撮像結果を時間的に外挿して、複合撮像モードにおける対応領域の場所を推定することにより、被写体に動きがある場合の領域判定が容易かつ正確となる。
【００３０】
請求項６の発明によれば、第１の対応点探索方法により部分的に対応点探索を実施し、算出された対応点の信頼度に基づいて、第２の対応点探索方法による対応点探索を実施するか否かを決定することで、効率的かつ精度良く対応点探索を行うことができる。
【００３１】
請求項１０ないし請求項１２の発明によれば、撮影対象体が所定の条件を満足するか否かの判定において、正確性と高速性とを組み合わせた結果を得ることができる。
【００３２】
請求項１１の発明によれば、撮影対象体が、線形領域および対数領域のうちの一方の領域だけに局在している場合に、その局在領域に対応する光電変換特性での撮影の比重を高めるため、効率的に対応点探索を行うことができる。
【００３３】
請求項１２の発明によれば、複合撮影モードでの撮像結果で画面表示を行うため、視覚的に見やすい効果を得ることができる。
【図面の簡単な説明】
【００３４】
【図１】一実施形態に係る画像処理システムの概略構成を示す図である。
【図２】Linear-Log特性を例示する図である。
【図３】変曲点が画素ごとにばらつく様子を説明する図である。
【図４】撮像モードを変えて、撮像された画像の変化を説明する図である。
【図５】一実施形態に係る演算制御部の機能的な構成例を示す図である。
【図６】時系列で得られるステレオ画像の一例を説明する図である。
【図７】特性の判定方法について説明する図である。
【図８】POC処理の流れを説明する図である。
【図９】POC関数について説明する図である。
【図１０】特性領域に応じた対応点探索について説明する図である。
【図１１】一実施形態に係る対応点探索動作のフローを示すフローチャートである。
【図１２】一実施形態に係る対応点探索動作のフローを示すフローチャートである。
【発明を実施するための形態】
【００３５】
＜１．画像処理システムの概要＞
図１は、本発明の一実施形態に係る画像処理システムの概略構成を示す図である。画像処理システム１は、多視点カメラシステムとして構成されており、撮像部２として２眼のステレオカメラ２０を備えるほか、ステレオカメラ２０に対してデータの送受信が可能に接続される画像処理装置３を備える。
【００３６】
ステレオカメラ２０は、撮像素子２１ａ、２２ａをそれぞれ有する２つの撮像系２１，２２から構成されている。撮像系２１，２２は、カメラ正面の被写体（撮像の対象体）ＯＢを、同じタイミングで異なる視点から撮像するように構成される。撮像系２１，２２による同じタイミングの撮像によって得られる２つの画像信号（以下「画像」と略称する）は、データ線ＣＢを介して画像処理装置３に送信される。
【００３７】
以下では、撮像系２１の撮像によって取得される画像を「第１撮像画像」Ｇ１と称し、撮像系２２の撮像によって取得される画像を「第２撮像画像」Ｇ２と称する。つまり、第１および第２撮像画像Ｇ１，Ｇ２は、同一の被写体ＯＢが異なる視点からそれぞれ捉えられた画像の組を成す。
【００３８】
ここでは、説明を簡素化するために、ステレオカメラ２０の収差は良好に補正されているとする。また、撮像系２１，２２は所定方向に沿って離隔配置され、撮像系２１，２２の光軸が略平行（好ましくは完全に平行）に設定される状態を前提にする。さらに、撮像系２１，２２の撮像素子２１ａ、２２ａは、Linear-Log特性を持つ。
【００３９】
画像処理装置３は、例えばパーソナルコンピュータ（パソコン）のような情報処理装置で構成され、マウスやキーボード等を含む操作部３１と、液晶ディスプレイ等で構成されるディスプレイ３２と、スピーカ３３と、ステレオカメラ２０からのデータを受信するインターフェース(Ｉ／Ｆ)３７とを備える。また、画像処理装置３は、記憶装置３４と演算制御部３６とを有する。
【００４０】
記憶装置３４は、例えばハードディスク等で構成され、ステレオカメラ２０の撮像によって得られる第１および第２撮像画像Ｇ１，Ｇ２を記憶する。また、記憶装置３４には、後述される変曲点制御を行うためのプログラムＰＧ等が格納される。
【００４１】
入出力部３５は、例えば可搬性ディスクドライブを備えて構成され、光ディスク等の可搬性記憶媒体をセットして、演算制御部３６との間でデータの授受を行う。
【００４２】
演算制御部３６は、プロセッサとして働くＣＰＵ３６ａと、情報を一時的に記憶するメモリ３６ｂとを有し、画像処理装置３の各部を統括的に制御する。演算制御部３６では、記憶部３４内のプログラムＰＧが読み込まれて実行されることで、各種機能や各種情報処理等が実現される。なお、メモリ３６ｂには、可搬性記憶媒体に記憶されているプログラムデータを、入出力部３５を介して格納させることができる。この格納されたプログラムは、画像処理装置３の動作に適宜反映可能である。
【００４３】
演算制御部３６は、後述する対応点探索動作によって得られる情報を基に、撮影対象体との距離を算出し、ディスプレイ３２により、特定の被写体ＯＢの画像を可視的に出力する。なお、演算制御部３６で算出された距離情報に基づいて、衝突するなど危険と判断された場合には、スピーカ３３により警告を行う。
【００４４】
＜１−１．Linear-Log特性の一般的性質と前提事情＞
この実施形態における撮像素子２１ａ、２２ａの変曲点制御の詳細を説明する準備として、この実施形態の前提となるLinear-Log特性の一般的性質と、それに伴って生じる事情、すなわち従来技術で生じていた事情を説明しておく。
【００４５】
Linear-Log特性を持つ撮像素子を以下では「L-L特性センサ」と略称することにすると、L-L特性センサでは、撮像素子の画素に相当する各フォトダイオードで発生した光電流を、ＭＯＳＦＥＴを通して積分回路に与え出力信号を得ている。低照度時には線形変換特性（Linear特性）となり、フォトダイオードで発生した光電流の時間積分値（入射光量）に比例する出力信号が得られ、高照度時には対数変換特性（Log特性）となり、フォトダイオードで発生した光電流の時間積分値（入射光量）に対数的に依存する出力電圧が得られる。それらの境界（臨界点）としての変曲点は、非撮像時のＭＯＳＦＥＴのゲート電圧と、撮像時のＭＯＳＦＥＴのゲート電圧との差を変更することによって移動させることができる。変曲点の制御信号は、このようなゲート電圧差を可変に設定する信号である。
【００４６】
図２は、ステレオカメラ２０からの画像信号を例示する図である。図２で示されるように、線形変換特性のみ有するセンサでは、入射光量に係わらず、輝度を線形変換特性で出力するので、破線で示されるように出力限界値ＭＯを超えると露出オーバー領域となる。一方、Linear-Log特性を持つセンサ（以下「L-L特性センサ」と略称）では、入射光量がα以下の場合には輝度を線形変換特性で出力するが、入射光量がα以上の場合には対数変換特性に変換して出力するため、入射光量がかなり高い領域まで出力限界値ＭＯを超えない。また、この時、入射光量がαに相当する点（入射光量＝α，出力＝Ｈ）、すなわち、線形変換特性から対数変換特性に変更される点が変曲点ＣＰとなる。
【００４７】
その一方で、L-L特性センサでは、下記(I)(II)のような課題が存在する。
【００４８】
(I) 温度などの条件変化により変曲点が画素ごとにばらつく特徴をもつ。このことから、変曲点付近において対応点探索精度の低下をもたらす課題がある。
【００４９】
図３は、変曲点が画素ごとにばらつく様子を説明する図である。図３で示されるように、変曲点ＣＰの位置が変動し、対数変換特性領域における係数ｃ１，ｃ２，ｃ３、および、変曲点のオフセット値ｄ１，ｄ２，ｄ３がばらつくことになる。したがって、温度などの外的条件の変化に伴い、線形変換特性領域から対数変換特性領域に移る変曲点ＣＰの位置（α、Ｈ）の変動、および、対数変換特性領域の傾きと係数とがセンサごとにばらつく現象が発生する。これは、変曲点付近において対応点探索精度の低下をもたらす結果となる。
【００５０】
(II) 対数変換特性領域では、入射光量の変動幅に対応する輝度の変動幅が小さいという特徴をもつ。このことから、周波数特性による対応点探索の精度低下に繋がる。
【００５１】
図４は、撮像系２１，２２によって撮像された第１および第２撮像画像Ｇ１，Ｇ２である。図４（ａ）は、入射光量に応じて線形変換特性と対数変換特性との間で光電変換特性が変化する複合撮像モードで高輝度の被写体を撮像したものであるのに対し、図４（ｂ）は、入射光量にかかわらず線形変換特性で光電変換する線形撮像モードで高輝度の被写体を撮像したものである。図４（ａ）で示されるように、第１および第２撮像画像Ｇ１，Ｇ２共に、部分的に潰れることがなく被写体ＯＢの画像が得られているのに対し、図４（ｂ）では、第１および第２撮像画像Ｇ１，Ｇ２ともに、高照度の露出オーバー領域では、被写体ＯＢの画像の細かい変化が潰れてしまっている。
【００５２】
このように、露出オーバー領域が存在する高照度時の撮影としては、例えば、夜間のようなシーンで、対向車のライトにより露出オーバーしてしまう事態が想定される。車載の周辺監視においては、このような領域こそ、衝突可能性のある物体を検出することが重要な領域といえる。しかしながら、線形変換特性のみを持つセンサでは、露出オーバー領域は、画像が潰れて出力されるため、基準画像と参照画像との間で対応点探索を行う際、高精度な探索結果が得られない。この結果、被写体ＯＢの距離情報を誤って算出してしまうことに繋がる。
【００５３】
一方、L-Lセンサでは、露出オーバーとなる領域を対数変換特性により画像補正を行うことより、露出オーバー領域が無くなり、周辺監視制度を高めることが可能である（図４（ａ）参照）。しかしながら、対数変換特性領域は輝度差が少ない故、線形変換特性領域と比べて高精度な画像は得られず、また図３に示すように、温度などの条件変化により変曲点が画素ごとにばらつく課題もある。
【００５４】
このような背景の下、本発明では、L-Lセンサにおいて、線形変換特性領域と対数変換特性領域とで、互いに異なる対応点探索法を用いる。
【００５５】
＜２．画像処理システムの機能構成＞
本発明の実施形態の説明に戻る。画像処理装置３は、入射光量に応じて線形変換特性と対数変換特性との間で光電変換特性が切り換わるステレオカメラ２０を用いて撮像されたステレオ画像信号を入力し、当該ステレオ画像信号に含まれる複数の画像間の空間的対応関係を決定して撮像対象体の３次元画像情報を得ることを特徴とする。ここでは、とりわけ、対応点探索動作を実行するために演算制御部３６で実現される機能的な構成を説明する。
【００５６】
図５は、演算制御部３６の機能的な構成を示す図である。なお、ここでは、演算制御部３６の機能的な構成が、プログラムＰＧの実行によって実現されるものとして説明するが、専用のハードウエア構成で実現されても良い。
【００５７】
図５で示されるように、撮像部２からデータを受信して、演算制御部３６は、機能的な構成として、ステレオ画像取得部３６１、特性判定部３６２、対応点探索部３６３、距離情報算出部３６４、対象体候補検出部３６５、対象体判定部３６６、および、警告部３６７を有する。以降、各処理について図５を参照しながら説明する。
【００５８】
＜２−１．撮像部２＞
撮像部２は、自動車の前方空間を撮像可能に自動車の所定位置に設置される。この撮像部２は、ステレオ画像を取得し、画像処理装置３に画像信号を送信する役割を持つ。また、入射光量にかかわらず線形変換特性で光電変換する線形撮像モードでの撮像と、入射光量に応じて線形変換特性と対数変換特性との間で光電変換特性が変化する複合撮像モードでの撮像とを、周期的に切り替えて実行させるマルチモード撮影制御部２０１を備える。図１では、ステレオカメラ２０の撮像系２１，２２のセンサに該当する。なお、撮像部２は予めキャリブレーションされており、カメラのパラメタは既知であることを前提条件とする。
【００５９】
＜２−２．ステレオ画像取得部３６１＞
ステレオ画像取得部３６１では、撮像部２によって送信された画像信号を取得する。ここで、対応点探索動作では、第１撮像画像Ｇ１が基準となる画像（以下「基準画像」とも称する）とされ、第２撮像画像Ｇ２が参照される画像（以下「参照画像」とも称する）とされる。そこで、第１撮像画像Ｇ１を基準画像Ｇ１と称し、第２撮像画像Ｇ２を参照画像Ｇ２と称する。
【００６０】
なお、ステレオ画像取得部３６１では、厳密には、基準画像Ｇ１および参照画像Ｇ２を示すデータが取得されるが、本明細書では、基準画像Ｇ１を示すデータと該データに基づいて表示される基準画像Ｇ１そのものとを「基準画像Ｇ１」と総称し、参照画像Ｇ２を示すデータと該データに基づいて表示される参照画像Ｇ２そのものとを参照画像Ｇ２と総称する。
【００６１】
図６は、時系列で得られるステレオ画像の一例を示した図である。図６に示すように、取得されたステレオ画像は、例えば、マルチモード撮影制御部２０１で撮影を行った基準画像Ｇ１（Ａ0，Ａ1，Ａ2，…）と参照画像Ｇ２（Ｂ0，Ｂ1，Ｂ2，…）との撮影タイミングは互いに同期している。そして基準画像Ｇ１と参照画像Ｇ２とのうち、対応するフレームの画像の相互間では同じ特性の画像を取得する。すなわち、基準画像Ａ0が線形変換特性で撮像される場合には、参照画像Ｂ0もまた線形変換特性で撮像され、基準画像Ａ1がLinear-Log変換特性で撮像される場合には、参照画像Ｂ0もまたLinear-Log変換特性で撮像される。
【００６２】
また、
・線形変換特性で撮像された画像を、「線形モード画像」と、
・Linear-Log特性で撮像された画像を、「複合モード画像」と、
それぞれ呼ぶことにすれば、この実施形態では、基準画像Ｇ１と参照画像Ｇ２とのいずれについても、線形モード画像Ａ0，Ａ2，…（Ｂ0，Ｂ2，…）と、複合モード画像Ａ1，Ａ3，…（Ｂ1，Ｂ3，…）とが、一定の時間間隔Δｔで１フレームずつ交互に取得されるように、周期的に撮像フレームを切り替える。
【００６３】
この実施形態では、撮像素子２１ａ、２２ａのそれぞれが、線形撮像モードと複合撮像モードとのいずれでも撮像可能な素子で構成され、タイミング制御信号に基づいてフレームごとに線形撮像モードと複合撮像モードとに切り替えることにより、線形モード画像と複合モード画像とを取得する。
【００６４】
これに関しては、後述する対象体判定部３６６の判定結果に基づいて、どちらかのフレームのウェイトが重くなるようにしてもよい。この場合、たとえば単位時間あたりの線形変換特性画像とLinear-Log特性画像とのフレーム比を、ｍ：ｎ（ｍ，ｎは互いに異なる正整数）として、連続する（ｍ＋ｎ）フレームを１周期とする繰返しでの撮像を行う。
【００６５】
＜２−３．特性判定部３６２＞
特性判定部３６２では、ステレオ画像Ｇ１，Ｇ２の各画像領域の特徴量に基づいて、これらステレオ画像Ｇ１，Ｇ２のうち、複合モード画像の各画像領域が、
・線形変換特性で光電変換された領域（以下「線形領域」）であるか、
・対数変換特性で光電変換された領域（以下「対数領域」）であるか、
を判定する。
【００６６】
そこではまず、線形モード画像Ａ0，Ａ2，…（Ｂ0，Ｂ2，…）における各画像領域の露光状態に基づく予備的判定を行い、それに基づいて、それぞれの次フレームの複合モード画像Ａ1，Ａ3，…（Ｂ1，Ｂ3，…）の各画像領域が、線形領域であるかそれとも対数領域であるかを推定する。すなわち、この態様におけるステレオ画像Ｇ１，Ｇ２の各画像領域の特徴量としては輝度を採用していることになる。
【００６７】
複合モード画像Ａ1，Ａ3，…（Ｂ1，Ｂ3，…）では、既に線形変換特性と対数変換特性とが空間的に混在した状態で変換されているため、それらの画像自身の解析から、どの領域がどのような光電変換特性を得たものであるかの判定を行うのは複雑である。これに対して、線形モード画像Ａ0，Ａ2，…（Ｂ0，Ｂ2，…）では、画像の全領域が線形変換特性で変換されているため、
・着目する画像領域が望ましい画像表現性を実現していれば、当該領域は線形変換特性が適合しており、複合モード画像でも線形変換特性で変換される領域であると判定し、
・着目する画像領域の画像表現性が不足していれば、その領域は線形変換特性には不適であるために、複合モード画像では対数変換特性で変換される領域である、
と判定できることになる。
【００６８】
一般には撮像システムと被写体とは相対的に移動しているため、線形モード画像での領域タイプ判定の結果を、次のフレームの複合モード画像における特性タイプ判定に適用すると誤差が生じる。たとえば線形モード画像で対向車のヘッドライトによって露出オーバーとなっている領域の範囲と、次の複合モード画像でのヘッドライト範囲とは厳密には同じではない。しかしながら、高速フレームレートでの撮像では、時間的に隣接するフレーム間での被写体の移動量は比較的少ないため、そのような誤差は実用上の支障とはならない。
【００６９】
ただし、ある程度以上の時間スパンで考えると撮像系に対する被写体の相対位置が変化するため、１つのフレームの線形モード画像で得た特性タイプ判定の結果は、次に得た複合モード画像の領域タイプ判定にだけ使用し、新たな線形モード画像を取得したときには、それによって特性判定を更新する。これよって、誤差の蓄積を防止できる。
【００７０】
図７はこのような原理に基づく特性判定をより具体的に説明する図である。ここでは基準画像Ｇ１について説明するが、参照画像Ｇ２についても同様である。
【００７１】
図７において、時刻Ｔ，Ｔ＋Δｔ，Ｔ＋３Δｔ，…で撮像されるフレームでは線形モード画像Ａ0，Ａ2，…が得られ、時刻Ｔ＋２Δｔ，Ｔ＋４Δｔ，Ｔ＋６Δｔ，…で撮像されるフレームでは複合モード画像Ａ1，Ａ3，…が得られる。
【００７２】
そして、時刻Ｔにおける線形モード画像Ａ0の各領域（各空間部分）が、
・露出オーバーしていない領域（以下「適正露出領域」）ＬＮ0と、
・露出オーバーしている領域（以下「過剰露出領域」）ＬＧ0と、
のいずれであるかの判定を行う。
【００７３】
このうち、適正露出領域ＬＮ0は、当該領域に含まれる画素の多くが撮像素子２１ａ、２２aの出力限界値（上限値）ＭＯ未満となっているような領域である。また、過剰露出領域ＬＧ0は、入射光量が過多であるために、当該領域に含まれる画素の全部または圧倒的多数（所定閾値以上の割合の画素）が撮像素子２１ａ、２２aの輝度出力の上限値ＭＯと一致しているような領域である。これらの領域区分は相補的であるから、適正露出領域ＬＮ0を検出してそれ以外を過剰露出領域ＬＧ0としてもよく、その逆に、過剰露出領域ＬＧ0を検出してそれ以外を適正露出領域ＬＮ0としてよい。
【００７４】
これらのうち、適正露出領域ＬＮ0では線形変換が有効に機能していることになるから、その領域については線形モード画像においても複合モード画像においても画像精度が高いが、線形モード画像において過剰露出領域ＬＧ0となっている領域では画像情報の多くが失われており、同一の被写体を複合モード画像で撮影したフレームにおいても画像精度はあまり高くない領域と推定できる。すなわち、線形モード画像とは異なり、複合モード画像では対数変換が機能するから、過剰露出領域ＬＧ0においても画像が完全に潰れるわけではなく、画像上の濃淡は表現されている。しかしながら、複合モード画像においても、適正露出領域ＬＮ0に対応する線形領域ＬＮ1と比較すれば、過剰露出領域ＬＧ0に対応する対数領域ＬＧ1での画像情報の精度は低くなっていると推定することができる。
【００７５】
そこで、次のフレームに該当する時刻Ｔ＋Δｔで得た複合モード画像Ａ1においては、各画像領域を、
・時刻Ｔの線形モード画像Ａ0において判定された適正露出領域ＬＮ0に空間的に対応し、複合モード画像では線形領域ＬＮ1となっていると想定される領域と、
・時刻Ｔの線形モード画像Ａ0において判定された過剰露出領域ＬＧ0に空間的に対応し、複合モード画像Ａ1においては対数領域ＬＧ1となっていると想定される領域と、
に区分する。
【００７６】
これは、線形モード画像Ａ0における適正露出領域（または過剰露出領域）の画素分布に相当するビットマップパターンを作成して記憶しておき、それらをそのまま複合モード画像Ａ1の画素座標にあてはめることによって達成することができる。
【００７７】
以後も同様に、時刻Ｔ＋２Δｔで得られた線形モード画像Ａ2の各領域について特性判定を行って適正露出領域と過剰露出領域とを区分する。そして、次の時刻Ｔ＋３Δｔで得られる複合モード画像Ａ3については、線形モード画像Ａ2で区分された適正露出領域と過剰露出領域とに空間的に対応する部分を、それぞれ適正露出領域と過剰露出領域とする。
【００７８】
以上を繰り返すことで、ステレオ画像Ｇ１，Ｇ２のそれぞれの複合モード画像における各画像領域が、
・線形モード画像の適正露出領域に対応する領域（「線形領域」）であるか、
・線形モード画像の過剰露出領域に対応する領域（「対数領域」）であるか、
を判定することができる。すなわち、線形モード画像Ａ0，Ａ2，…で得られた画像における過剰露出領域の検出に基づいて、複合撮像モード画像Ａ1，Ａ3，…において、当該過剰露出領域に空間的に対応する対数領域を特定（推定）していることになる。これに伴って、各線形モード画像における適正露出領域と、それに対応する複合モード画像での線形領域もまた特定（推定）されてゆく。
【００７９】
これらにおいて、
・「適正露出領域」と「線形領域」とは、空間的に互いに対応しており、
・「過剰露出領域」と「対数領域」とは、空間的に互いに対応しているが、
これらのうちの「適正露出領域」と「過剰露出領域」とは、線形モード画像において露出がオーバーしているか否かとの点からの区分であり、「線形領域」と「対数領域」とは、複合モード画像において線形変換特性と対数変換特性とのいずれの光電変換特性で得られた画像領域であるかを区別するためのものであるため、別個の用語を使用することによって概念としての違いを表現している。
【００８０】
＜２−４．対応点探索部３６３＞
対応点探索部３６３では、ステレオ画像信号のうち、線形変換特性で得られた画像領域としての線形領域には、第１の対応点探索方法を適用して複数の画像間の対応点探索を行い、対数変換特性で得られた画像領域としての対数領域には、第２の対応点探索方法を適用して複数の画像間の対応点探索を行なう。対応点探索部３６３は、特性判定部３６２の判定結果に基づいて、画像領域ごとに、第１と第２の対応点探索方法とのいずれか一方を選択して適用する。
【００８１】
第１の対応点探索方法としては、第２の対応点探索方法と比較して高精度の探索結果を与える方法が採用され、第２の対応点探索方法としては、第１の対応点探索方法と比較して高速に探索結果を与える方法が採用される。これより、第１の対応点探索方法による処理部（以下、「第１の対応点探索処理部３６３ａと称する）では、第２の対応点探索方法による処理部（以下、「第２の対応点探索処理部３６３ｂ」と称する）よりも高精度の探索結果を与える。一方、第２の対応点探索処理部３６３ｂでは、第１の対応点探索処理部３６３ａよりも高速に探索結果を与える。
【００８２】
図４に戻り説明すると、図４（ａ）で示される複合撮像モードで得られた画像のうち、図４（ｂ）で示される線形モード画像の過剰露出領域に対応する対数領域については第２の対応点探索処理部３６３ｂによって対応点探索を行い、残余の領域（線形領域）については第１の対応点探索処理部３６３aによって対応点探索を行うことになる。
【００８３】
本実施形態では、具体的に、第１の対応点探索処理部３６３ａでは、基準画像Ｇ１および参照画像Ｇ２（一般には複数の画像）の周波数特性に基づいたサブピクセルレベルのPOC処理を採用し、第２の対応点探索処理部３６３ｂでは、基準画像Ｇ１および参照画像Ｇ２（一般には同様に複数の画像）の輝度値の相互関係に基づいたSAD処理の採用、または、ピクセルレベルのPOC処理を採用する。ただし、上記の特性判定部３６２で関連付けされた線形モード画像と複合モード画像とを１セットとし、基準画像Ｇ１および参照画像Ｇ２のうち線形モード画像同士を使用した対応点探索結果と、複合モード画像同士を使用した対応点探索結果とを比較し、所定の精度判定条件で精度を判定して、より高い精度を持つ方を採用するようにしても良い。
【００８４】
以下、対応点探索処理としてのSAD手法およびPOC手法の概略を説明する。ここでは、現フレームの取得時刻をｔとし、現フレームより１フレーム前の前フレームの画像取得時刻をｔ−１とする。また、現フレームにおいて、基準画像Ｇ１に基準ウインドウｇ１（ｔ）を、参照画像Ｇ２に参照ウインドウｇ２（ｔ）をそれぞれ設定し、現フレームより１フレーム前の画像のウインドウはそれぞれ、ｇ１（ｔ−１）およびｇ２（ｔ−１）と表現する。ただし、ウインドウｇ１，ｇ２は図面上には表現されていない。
【００８５】
＜２−４−１．SAD（Sum of Absolute Difference）法を用いた対応点探索＞
SADは、基準ウインドウｇ１（ｔ−１）に対し、参照ウインドウｇ２（ｔ）を位置的にずらしながら、式（１）により得られる相関値から基準ウインドウｇ１内の画像と参照ウインドウｇ２内の画像との相関を求め、相関が最も高い値を示すときの参照ウインドウｇ２の中心点を、注目点ｇｐ１の対応点ｇｐ２として探索する手法である。式（１）に示すようにSADは、２枚の画像の画素値（各画素の輝度）をそのまま減算することで相関値を算出することができるため、計算量が少なく、高速処理が可能であるという特徴をもつ。
【００８６】
【数１】
【００８７】
ここで、Ｉｍ１は基準ウインドウｇ１内の画像の画素値を示し、Ｉｍ２は参照ウインドウｇ２内の画像の画素値を示す。Nはウインドウの水平方向のサイズを示し、Mはウインドウの垂直方向のサイズを示す。
【００８８】
＜２−４−２．POC（Phase Only Correlation）法を用いた対応点探索＞
POCは、基準画像Ｇ１、参照画像Ｇ２に設定したウインドウ内の画像を周波数分解し、振幅成分を抑制した信号の相関（すなわち位相成分の相関）に基づいて対応点を探索する手法である。
【００８９】
図８はPOC処理の流れを示す図であり、次の処理(ｉ)〜(vi)がこの順番で行われる。
【００９０】
(i) 基準画像Ｇ１に設定された計測点に中心が位置するように基準ウインドウｇ１（ｔ−１）が設定され、参照画像Ｇ２に参照ウインドウｇ２（ｔ）が設定される。
【００９１】
(ii) 基準ウインドウｇ１（ｔ−１）内の画像および参照ウインドウｇ２（ｔ）内の画像が離散フーリエ変換され、画像Ｇａ及び画像Ｇｂが得られる。
【００９２】
(iii) 離散フーリエ変換された画像Ｇａ及び画像Ｇｂを規格化（すなわち振幅成分を一定化）して、画像Ｇａ１及び画像Ｇｂ１が得られる。
【００９３】
(iv) 規格化された画像Ｇａ１及び画像Ｇｂ１が合成され、相関画像Ｒが得られる。
【００９４】
(v) 相関画像Ｒが逆離散フーリエ変換され、POC関数ｒが得られる。図９はPOC関数ｒを示すグラフであり、急峻な相関ピークＳを有し、画像マッチングにおけるロバスト性と推定精度とがSADに比べて高いことが知られている。そして、この相関ピークＳの高さは基準ウインドウｇ１（ｔ−１）内の画像および参照ウインドウｇ２（ｔ）内の画像の相関が高いほど大きくなる。したがって、相関ピークＳの位置を特定することで、基準ウインドウｇ１（ｔ−１）に対する参照ウインドウｇ２（ｔ）の位置ズレ量を算出することができる。
【００９５】
なお、POC関数ｒは、基準画像Ｇ１の画素単位、すなわち、ピクセルレベルで算出されているため、相関ピークの位置もピクセルレベルで求められるが、POC関数を補間し、サブピクセルレベルで相関ピークの位置を推定することも可能である。
【００９６】
ピクセルレベルのPOCと比較して、サブピクセルレベルでのPOCは、処理精度は向上する一方で処理速度は低下する。このため、サブピクセルレベルでのPOCを用いる場合には、ピクセルレベルでのPOCを対数領域に、サブピクセルレベルでのPOCは線形領域にそれぞれ使用するという組合せが好ましい。
【００９７】
（vi）参照ウインドウｇ２（ｔ）の中心点の座標に位置ズレ量を加算することにより得られる座標上の点が、注目点ｇｐ１に対する対応点ｇｐ２として算出することができる。
【００９８】
＜２−４−３．特性領域に応じた対応点探索＞
以下、特性判定部３６２で決められた線形領域および対数領域における対応点探索を、具体例を示しながら説明する。
【００９９】
図１０は、領域の特性区分に応じた対応点探索方法を説明する図である。図１０（ａ）では、入射光量にかかわらず線形変換特性で光電変換する線形撮像モードで撮像された画像信号であり、図１０（ｂ）では、入射光量に応じて線形変換特性と対数変換特性との間で光電変換特性が変化する複合撮像モードで撮像された画像信号を示す。図１０（ａ）の実線で示される適正露出領域に対応する線形領域は、サブピクセルレベルでのPOC処理により高精度な探索を実施することができる。
【０１００】
一方、図１０（ｂ）の複合撮像モードでは、出力点Ｌ１の位置は同じであるものの出力点Ｌ２の位置が移動し、図１０（ａ）の破線で示された過剰露出領域が図１０（ｂ）では、対数領域となるため、SAD処理、または、ピクセルレベルのPOC処理により対応点探索を可能とする。また出力点Ｌ１と出力点Ｌ２との中間に位置する変曲点ＣＰ付近では、図１０（ｃ）で示されるように、温度によるバラツキが生じやすい。このように、変曲点ＣＰ付近に関しては精度が低下する可能性があるので、サブピクセルレベルでのPOC処理ではなく、SAD処理、あるいは、ピクセルレベルでのPOC処理を行うことが望ましい。
【０１０１】
また、図１０（ｄ）は撮像素子２１ａによる基準画像Ｇ１の画像信号であり、図１０（ｅ）は撮像素子２２ａによる参照画像Ｇ２の画像信号を示す。このように、撮像素子２１ａと撮像素子２２ａとの変曲点が異なって設定されている場合においても、線形領域となる範囲は対応点探索を高精度に実施することができる。
【０１０２】
以上のことから、線形変換特性で出力が可能な出力限界値ＭＯ付近までは、線形変換特性で出力し、それ以上は、対数変換特性で出力することが対応点探索を行うという点では望ましい。したがって、POC処理によりサブピクセルレベルで高精度に対応点探索を行うことを基本とし、線形撮像モードで撮影不可能な範囲はSAD処理やPOC処理によるピクセルレベルの対応点探索を行うことで周辺監視の精度を高め、高速に処理を行うことが可能となる。
【０１０３】
＜２−５．距離情報算出部３６４＞
距離情報算出部３６４では、対応点探索部３６３により処理された対応点探索結果に基づいて、撮像部２から被写体までの距離情報を算出する。
【０１０４】
すなわち、同時刻に撮像された基準画像と参照画像とにおいて被写体各部の空間的対応関係が定まると、三角測量の原理によって撮像部２に対する被写体各部の３次元座標値が決定される。そして、このようにして得た３次元画像情報に基づいて、撮像部２から被写体各部への距離が算出される。
【０１０５】
そのようにして得た距離情報と、注目点の位置の時間的な変化量に相当するオプティカルフローとに基づいて、静止物体と移動物体との判別を行うこともできる。この部分については、例えば、特開２００６−１３４０３５公報等で公知である。
【０１０６】
＜２−６．対象体候補検出部３６５＞
図５の対象体候補検出部３６５では、距離情報算出部３６４により算出された距離情報に基づいて、撮影対象体の候補を検出する。
【０１０７】
＜２−７．対象体判定部３６６＞
対象体判定部３６６では、対象体候補検出部３６５により検出された撮影対象体（被写体）の３次元画像情報に基づいて、当該撮影対象体が所定の条件を満足するか否かの判定を行う。
【０１０８】
また、対象体判定部３６６は、判定の結果、衝突可能性のある物体が、（i）線形領域に存在した場合は、線形変換特性画像のウェイトを高めて撮影することを、（ii）対数領域に存在した場合は、対数変換特性画像のウェイトを高めて撮影することを、それぞれ撮像部２に指令し、取得する画像の設定変更をすることも可能である。すなわち、ステレオ画像における特定の被写体（特定の撮像対象体）が、線形領域および対数領域のうちの一方の領域だけに局在している場合には、撮像部２は、線形撮像モードおよび複合撮像モードのうち、局在領域に対応する一方の撮像モードでの撮像割合を増加させることができる。
【０１０９】
具体的には、走行中の車両から進行方向前方を撮像しているときには、車の進路空間に相当する範囲内またはその近傍にあり、かつ撮像部２からの距離が所定距離以下の対象体があれば、それは車両との衝突の可能性がある。
【０１１０】
そして、その対象体すなわち衝突懸念体が比較的暗いもの（たとえば黒っぽい服を着た歩行者）である場合には、衝突懸念体に対応する画像部分は線形領域に局在した状態となる。これは、前方の所定距離内にあると判定された被写体の画像部分の全部またはほとんど（たとえば８０％以上に設定された所定の閾値割合以上）が線形領域に重なると判定されることに対応しており、この場合には、線形変換特性の割合を高めるという処理を行う。
【０１１１】
その処理には２つの方法がある。その１は撮像フレーム割合の変更であり、たとえば１：１で線形モード画像と複合モード画像とを取得していたものを、衝突懸念体の局在が検出された後は、このフレーム比率を２：１や３：１とすることによって線形モード画像の取得頻度を相対的に高めるという方法である。危険状態が回避されるまで、一時的にすべてのフレームを線形モード画像としてもよい。
【０１１２】
その２は、複合モード画像での変曲点を上げる（入射光量が大きい側へ変曲点をシフトさせる）ことによって、複合モード画像内での線形領域を空間的に拡大するという方法である。後者の場合には、衝突懸念体が画面中を比較的高速で移動したときに、線形領域から対数領域に飛び出してしまい、対応点探索のための画像情報が急に劣化してしまうという事態を防止できる。
【０１１３】
逆に、衝突懸念体が明るいとき、たとえばヘッドライトを点灯している車両が近づいて来るような場合には、衝突懸念体に対応する画像部分は対数領域に局在している。そこで、そのような場合には、上記２つの方法に対応して、それぞれ複合モード画像の取得割合（フレーム割合）を増やすか、複合モード画像での変曲点を下げて、対数領域を増大させる。
【０１１４】
これらの対策をとることによって、最も着目すべき撮像対象体の情報の取得に適した光電変換特性を、動的に設定できる。
【０１１５】
このような特定の対象体としては、車両における衝突懸念体のほか、防犯監視カメラにおける人間の画像や、工業用カメラにおける生産ラインへの異物の侵入などがある。
【０１１６】
＜２−８．警告部３６７＞
警告部３６７では、対象体判定部３６６により撮影対象体が所定の条件に満足すると判定されたときに、警告を行う。例えば、得られた３次元画像情報に基づいて、画像中に存在する移動体（たとえば対向車）の移動速度と移動方向とを３次元的に算出し、自車の進路空間中にその移動体が侵入する可能性があるか否かを予測判定する。そして、対向車が衝突する可能性があると判定された場合などが想定される。この際に、スピーカ３３による警告音とともに撮像中の画像をディスプレイ３２に表示するようにしてもよい。ディスプレイ３２の表示に関しては、衝突の可能性のない場合でも常時表示するようにしても良い。この実施形態のように線形モード画像と複合モード画像とをフレーム切り替えしている場合には、潰れが少なく、視覚的に見やすい、Linear-Log特性画像（複合モード画像）をディスプレイ３２等の表示手段で表示させることが特に有効である。
【０１１７】
＜３．画像処理装置の基本動作＞
図１１および図１２は、画像処理システム１において実現される対応点探索動作のフローを例示するフローチャートである。既に各部の個別機能の説明は行ったため、ここでは全体の流れのみ説明する。
【０１１８】
まず、例えば、ユーザーによる操作部３１に対する操作に応じて、本動作フローが開始されて、図１１のステップＳ１に進む。
【０１１９】
ステップＳ１では、ステレオ画像取得部３６１によって、基準画像Ｇ１と参照画像Ｇ２とからなるステレオ画像が取得される。
【０１２０】
ステップＳ２では、特性判定部３６２によって、基準画像Ｇ１と参照画像Ｇ２との画像特性情報を取得する。
【０１２１】
ステップＳ３では、特性判定部３６２によって、基準画像Ｇ１と参照画像Ｇ２との両画像を関連づけることで、各領域が線形領域（適正露出領域）であるか、あるいは、対数領域（過剰露出領域）であるかの判定を行う。ここで、線形領域と判定された場合はステップＳ４へ進み、対数領域と判定された場合はステップＳ５へ進む。
【０１２２】
ステップＳ４では、ステップＳ３において（特性判定部３６２によって）線形領域と判定された領域については、対応点探索部３６３のうち第１の対応点探索処理部３６３ａが選択的に能動化され、サブピクセルレベルのPOC処理にて対応点探索が行われる。
【０１２３】
ステップＳ５では、ステップＳ３において（特性判定部３６２によって）対数領域と判定された領域については、対応点探索部３６３のうち第２の対応点探索処理部３６３ｂが選択的に能動化され、SAD処理、または、ピクセルレベルのPOC処理にて対応点探索が行われる。
【０１２４】
ステップＳ６では、距離情報算出部３６４によって、対応点探索部３６３により処理された基準画像Ｇ１の注目点ｇｐ１に対して参照画像Ｇ２の対応点ｇｐ２から、被写体ＯＢとの距離情報が算出される。
【０１２５】
ステップＳ７では、対象体候補検出部３６５によって、距離情報算出部３６４で得られた距離情報を基に、被写体ＯＢの候補が検出される。
【０１２６】
ステップＳ８では、対象体判定部３６６によって、対象体候補検出部３６５により検出された撮影対象体の３次元画像情報が、当該被写体ＯＢが所定の条件を満足するか否かの判定が行われる。
【０１２７】
ステップＳ９では、ステップＳ８において（対象体判定部３６６によって）危険と判定された場合は、ステップＳ１０に進み、そうでなければ、ステップＳ１１に進む。
【０１２８】
ステップＳ１０では、警告部３６７によって、対象体判定部３６６により衝突のある可能性があると判定された場合、警告が行われる。また、スピーカ３３による警告音とともにディスプレイ３２に警告表示を行う（ステップＳ１１）。
【０１２９】
ステップＳ１１では、対象体判定部３６６による危険性の有無に係わらず、ディスプレイ３２における複合モード画像の表示を継続する。
【０１３０】
ステップＳ１２では、画像取得を継続するか否かが判定される。画像取得を継続する場合は、ステップＳ１に進み、操作者の指示入力によって画像取得を終える場合は、本動作フローが終了される。
【０１３１】
＜４．変形例＞
以上、本発明の実施形態について説明してきたが、本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。
【０１３２】
※ 本実施形態では、説明の簡略化のために撮像部は２台構成となっているが、台数は２台に限られず、一般には、複数台の撮像部を持つ構成にこの発明は適用可能である。
【０１３３】
線形撮像モード専用の撮像素子と複合撮像モード専用の撮像素子とを別個に設けることもできる。この場合には、線形モード画像の特徴量を用いて複合モード画像の線形領域と対数領域とを判別するにあたって、これらの画像は同時刻で撮像されたものであるため、フレーム切り替え時間に相当する誤差を防止できる。
【０１３４】
※ 本実施形態では、ステレオ画像取得部３６１が、線形変換特性画像とLinear-Log特性画像とを切り替えて取得しているが、Linear-Log特性画像だけ取得するようにしても良い。
【０１３５】
すなわち、取得画像のうち比較的明るい部分と比較的暗い部分とが時間的にあまり変動しない場合には、取得画像のどの領域が線形領域であり、どの部分が対数領域であるかをあらかじめ知ることが可能である。このような例としては、たとえば、エレベータ内の監視カメラのように、照明による照度分布が事前にほぼわかっている場合がある。
【０１３６】
このような場合には、線形モード画像について適正露出領域と過剰露出領域とを判定し、それに基づいて複合モード画像での線形領域と対数領域とを動的に判定しなくても、半固定的に線形領域と対数領域とを設定し、それぞれに異なる対応点探索方法を適用することができる。
【０１３７】
※ 本実施形態では、特性判定部３６２が、線形領域と対数領域とを判定する方法について、露出オーバー領域を対数領域とみなして特性判定を行ったが、これに限られず、例えば下記の特定方法を利用することもできる。
【０１３８】
第１の判定方法では、時系列方向の情報をもとに被写体ＯＢの位置を予測する方法である。すなわち、画像処理装置３が線形撮像モードと複合撮像モードとは同一の撮像素子の時間差でのモード切り換えであるため、対応点探索部３６３は、線形撮像モードの連続２回以上の撮像結果を時間的に外挿することにより、複合撮像モードにおける対応領域の場所を推定することが行われる。
【０１３９】
図７を参照して説明する。時刻Ｔと時刻Ｔ＋２Δｔとの線形モード画像から、自走速度、操舵情報などの情報を算出する。その情報を基に、時刻Ｔ＋２Δｔと時刻Ｔ＋３Δｔとの間の期間では、自車の走行パラメタが変わらないという前提で、時刻Ｔ（または時刻Ｔ＋２Δｔ）の複合モード画像中の対数領域が、時刻Ｔ＋３Δｔのタイミングではどの位置に存在するかを予測（時間的に外挿）する。
【０１４０】
このような構成を採用すれば、既述した実施形態の場合と比較して、移動速度のファクタが考慮されるため、より精密な探索が可能である。
【０１４１】
第２の判定方法としては、実際に線形領域と対数領域とを判別して領域ごとに対応点探索を切り替えるのではなく、１つの対応点探索処理を一部について試行的に行った結果を基に、いずれの探索方法を全面的に行うかを決定する方法である。たとえば、複合モード画像の一部の領域をサンプリングし、それに対して対応点探索部３６３が、第１の対応点探索処理部３６３ａによる対応点探索を部分的に行うとともに、当該部分的な対応点探索によって得られる対応点の信頼度を示す指標値を求める。そして、当該指標値が所定の閾値以上となっている場合には第１の対応点探索処理部３６３ａによる処理を継続して複合モード画像の全体の対応点策を行う一方、当該指標値が当該閾値未満のときには、複合モード画像の残りの領域については第２の対応点探索処理部３６３ｂによる処理に切り換える。
【０１４２】
具体的には、時刻Ｔ＋Δｔで取得した画像に対し、ピクセルレベルのPOC処理を実施し、対応点探索結果から算出された信頼度を示す指標値により、SADで処理を行うように切り替えるか、継続してサブピクセルレベルのPOC処理を行うか否かの判定を行う。具体的には、信頼度を示す指標値として上記のPOC関数を用い、信頼度が低い（すなわちPOC関数のピークが所定の閾値未満）と判断されれば、対数領域とみなす。
【０１４３】
サンプリングは複合モード画像全体について１回であってもよく、複合モード画像を大まかに区域分けして、各区域ごとに１回のサンプリングであってもよい。たとえば画角を、中心部、左右側部、上部、下部のように区域分けし、上部のサンプリングと一方の対応点探索方法の試行によってよい結果が得られたときには、上部の全体についてはその対応点探索方法を採用する。中心部、左右側部、…についてはそれぞれ同様のことを行う。
【０１４４】
この第２の判定方法は、直接的な特性判定を行わず、対応点探索結果の良否によって画像領域が線形領域であるか対数領域であるかを間接的に推定する方法となっている。したがって、精度的には既述した実施形態の方が高いが、この第２の判定方法は、被写体の外形などに沿って細かく入り組んだ各領域ごとに特性判定を行わなくてすみ、大きめの領域に設定を行うことが可能になるため、全体としての処理速度は向上する。なお、無駄な処理を無くす目的で、複合モード画像で対数変換された領域のうち所定数以下の画素（典型的には数画素）からなる画素クラスターはノイズ領域とみなし、対応点探索方法を切り替える対象とはぜずに周囲と同じ方法で処理を行うようにしても良い。
【０１４５】
第３の判定方法としては、変曲点の位置情報などから線形変換特性領域と対数変換特性領域とを決定する方法である。具体的には、ステレオ画像取得部３６１で、Linear-Log特性画像だけを取得するような場合は、撮像部２より変曲点ＣＰの位置などの情報を取得し、出力値が、所定値より多いときは対数変換特性領域とし、所定値より小さいときは線形変換特性領域とすることも可能である。
【０１４６】
※ 本実施形態では、特徴量を輝度値としているが、これに限られず、例えば、周波数や物標検出結果などを特徴量とすることも可能である。
【符号の説明】
【０１４７】
１ 画像処理システム
２ 撮像部
３ 画像処理装置
２０ ステレオカメラ
２１ａ，２２ｂ 撮像素子
Ａ0，Ａ2，…（Ｂ0，Ｂ2，…） 線形モード画像
Ａ1，Ａ3，…（Ｂ1，Ｂ3，…） 複合モード画像
ＬＮ0，ＬＮ2，… 適正露出領域
ＬＮ1，ＬＮ3，… 線形領域
ＬＧ0，ＬＧ2，… 過剰露出領域
ＬＧ1，ＬＧ3，… 対数領域
ＣＰ 変曲点
Ｇ１ 基準画像
Ｇ２ 参照画像
【技術分野】
【０００１】
本発明は、画像処理技術に関するもので、特に、ステレオ画像の対応点探索技術に関する。
【背景技術】
【０００２】
近年、車やロボットのように自走するシステムが安全に走行する事を目的として、システムにカメラを搭載することにより、前方や周辺に存在する衝突の可能性のある対象物を検出し、衝突可能性の有無を自動で判定するシステムの開発が進められている。
【０００３】
対象物体との衝突可能性判定をするにあたっては、１台のカメラにより算出するような手法を適用することも可能であるが、移動速度が小さい場合（相対速度が小さい）や、対象物が遠くに存在するような場合では、精度良く検出することが出来ない可能性がある。また、対象物体の種類（車種・人）などの判別や抽出が必要となり、処理も複雑となる。
【０００４】
これらの問題を解決する方法として、ステレオカメラにより距離情報を算出し、算出した距離情報を基に、対象物体との衝突可能性の判定を行う方法（例えば、特許文献１）、物体検出・周辺監視方法（例えば、特許文献１および特許文献２）が提案されている。これらの距離情報を用いた衝突可能性における解析の利点は、対象物の時間方向での位置を精度良く抽出することができる点にあり、対象物の移動速度、距離から高精度に衝突可能性の判定を行う事が出来る。
【０００５】
また、ステレオカメラから距離情報を算出する場合、対応点探索精度が重要となるが、様々な対応点探索方法が提案されている（例えば、特許文献３ないし特許文献６）。
【０００６】
一方、ステレオカメラなどの撮像素子において、ダイナミックレンジを広くすることを目指して、入射光量に対して線形的に変換した電気信号と、入射光量に対して対数的に変換した電気信号との出力が可能な撮像素子（以下、Linear-Log特性を持つセンサと称する）が提案されてきているが、Linear-Log特性を持つセンサの補正方法として、距離計測システムも提案されている（例えば、特許文献７）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−１３４０３５号公報
【特許文献２】特開２００６−５４５０４号公報
【特許文献３】特開２００８−８９４０２号公報
【特許文献４】特開２００９−１４６２９６号公報
【特許文献５】特開２００８−２１６１２６号公報
【特許文献６】特開２００８−２３６２７６号公報
【特許文献７】特開２００８−０４６００４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
広ダイナミックレンジのLinear-Log特性を持つセンサ出力では、例えば、対向車のライトなどの影響による露出オーバー領域を含むような領域に対して画像補正を行ったうえで、対応点探索を行う事が精度向上に繋がると考えられる。
【０００９】
しかしながら、Linear-Log特性をもつセンサ出力において、対数変換特性領域では、輝度差が少なく、細かい変化は潰れてしまうという特徴を持つため、周波数特性による対応点探索の精度が低下する。また、温度などの条件変化により変曲点が画素ごとにばらつくため、変曲点付近において、対応点探索精度の低下をもたらす。
【００１０】
したがって、従来の技術では、露出オーバー領域を含むような画像において、装置や処理が複雑化するなどの原因により、精度良く対応点探索を行う事が難しい状況にある。
【００１１】
本発明は、このような事情に鑑みてなされたものであり、高精度と高速性とを両立させた対応点探索を行うことが可能な画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、請求項１の発明は、入射光量に応じて線形変換特性と対数変換特性との間で光電変換特性が切り換わるステレオ撮像手段を用いて撮像されたステレオ画像信号を入力し、前記ステレオ画像信号に含まれる複数の画像間の空間的対応関係を決定して撮像対象体の３次元画像情報を得る画像処理装置であって、(a)前記ステレオ画像信号のうち、線形変換特性で得られた画像領域としての線形領域には、第１の対応点探索方法を適用して前記複数の画像間の対応点探索を行い、対数変換特性で得られた画像領域としての対数領域には、第２の対応点探索方法を適用して前記複数の画像間の対応点探索を行なう対応点探索手段と、(b)前記対応点探索手段による対応点探索結果に基づいて、撮像対象体の３次元画像情報を得る手段とを備え、前記第１の対応点探索方法として、前記第２の対応点探索方法よりも高精度の探索結果を与える方法が採用される一方、前記第２の対応点探索方法として、前記第１の対応点探索方法よりも高速に探索結果を与える方法が採用されていることを特徴とする。
【００１３】
また、請求項２の発明は、請求項１に記載の画像処理装置であって、前記画像処理装置が、前記ステレオ画像の各画像領域の特徴量に基づいて、前記ステレオ画像の各画像領域が線形領域であるか対数領域であるかを判定する特性判定手段をさらに備え、前記対応点探索手段は、前記特性判定手段の判定結果に基づいて、画像領域ごとに、前記第１と第２の対応点探索方法とのいずれか一方を選択して適用することを特徴とする。
【００１４】
また、請求項３の発明は、請求項２に記載の画像処理装置であって、前記ステレオ撮像手段に、入射光量にかかわらず線形変換特性で光電変換する線形撮像モードでの撮像と、入射光量に応じて線形変換特性と対数変換特性との間で光電変換特性が変化する複合撮像モードでの撮像とを、周期的に切り替えて実行させるマルチモード撮影制御手段をさらに備え、前記特性判定手段は、前記複合撮像モードで得たステレオ画像の各画像領域が線形領域であるか対数領域であるかについての判定を、前記線形撮像モードで得たステレオ画像に基づいて実行することを特徴とする。
【００１５】
また、請求項４の発明は、請求項３に記載の画像処理装置であって、前記特性判定手段が、前記線形撮像モードで得られた画像における露出オーバー領域を検出する手段と、前記複合撮像モードで得られた画像において、前記露出オーバー領域に対応する対応領域を特定する手段とを備え、前記対応点探索手段は、前記複合撮像モードで得られた画像のうち、前記対応領域については前記第２の対応点探索方法によって対応点探索を行い、残余の領域については前記第１の対応点探索方法によって対応点探索を行うことを特徴とする。
【００１６】
また、請求項５の発明は、請求項３または請求項４に記載の画像処理装置であって、
前記線形撮像モードと前記複合撮像モードとは同一の撮像素子の時間差でのモード切り換えであり、前記対応点探索手段は、前記線形撮像モードの連続２回以上の撮像結果を時間的に外挿することにより、前記複合撮像モードにおける前記対応領域の場所を推定することを特徴とする。
【００１７】
また、請求項６の発明は、請求項１に記載の画像処理装置であって、前記対応点探索決定手段が、前記第１の対応点探索方法による対応点探索を部分的に行うとともに、当該部分的な対応点探索によって得られる対応点の信頼度を示す指標値を求める手段と、前記指標値が所定の閾値以上となっている場合には前記第１の対応点探索方法を継続する一方、前記指標値が前記閾値未満のときには前記第２の対応点探索方法に切り換える手段と、を備えることを特徴とする。
【００１８】
また、請求項７の発明は、請求項１ないし請求項６の何れかに記載の画像処理装置であって、前記第１の対応点探索方法は、前記複数の画像の周波数特性に基づいて、サブピクセル精度での対応点探索を行う方法であることを特徴とする。
【００１９】
また、請求項８の発明は、請求項１ないし請求項６の何れかに記載の画像処理装置であって、前記第２の対応点探索方法は、前記複数の画像の輝度値の相互関係に基づいて、対応点探索を行う方法であることを特徴とする。
【００２０】
また、請求項９の発明は、請求項１ないし請求項６の何れかに記載の画像処理装置であって、前記第２の対応点探索方法は、前記複数の画像の周波数特性に基づいて、ピクセル精度で対応点探索を行う方法であることを特徴とする。
【００２１】
また、請求項１０の発明は、請求項１ないし請求項９の何れかに記載の画像処理装置と、前記撮影対象体の３次元画像情報に基づいて、前記撮影対象体が所定の条件を満足するか否かの判定を行う対象体判定手段と、前記対象体判定手段により前記撮影対象体が前記所定の条件に満足すると判定されたときに、警告を行う警告手段とを備えることを特徴とする周辺監視システムである。
【００２２】
また、請求項１１の発明は、請求項３ないし請求項５のいずれかに記載の画像処理装置と、前記撮影対象体の３次元画像情報に基づいて、前記撮影対象体が所定の条件を満足するか否かの判定を行う対象体判定手段と、前記対象体判定手段により前記撮影対象体が前記所定の条件に満足すると判定されたときに、警告を行う警告手段とを備え、前記ステレオ画像における前記撮影対象体が、前記線形領域および前記対数領域のうちの一方の領域だけに局在している場合には、前記マルチモード撮影制御手段は、前記線形撮像モードおよび前記複合撮像モードのうち、当該局在領域に対応する一方の撮像モードでの撮像割合を増加させることを特徴とする周辺監視システムである。
【００２３】
また、請求項１２の発明は、請求項１０または請求項１１に記載の周辺監視システムであって、前記警告手段が、前記複合撮影モードでの撮像で得た画像を所定の画面表示手段に表示させる表示制御手段を備えることを特徴とする。
【００２４】
また、請求項１３の発明は、コンピュータにインストールされて実行されることによって、前記コンピュータを、請求項１ないし請求項９いずれかに記載の画像処理装置として機能させることを特徴とするプログラムである。
【００２５】
また、請求項１４の発明は、請求項１３に記載のプログラムであって、前記プログラムを前記コンピュータで実行させることにより、前記コンピュータを、請求項１０ないし請求項１２いずれかに記載の周辺監視システム用の画像処理装置として機能させることを特徴とする。
【発明の効果】
【００２６】
請求項１ないし請求項１４の発明によれば、線形変換特性と対数変換特性とのそれぞれの特性に応じて、ステレオ画像の各画像領域につき、高精度の対応点探索処理と、高速性な対応点探索処理とを適切に使い分けることが可能となる。その結果、高精度と高速性とを両立させた対応点探索を行うことが可能となる。
【００２７】
請求項３の発明によれば、線形撮像モードのステレオ画像に基づいて、複合撮像モードのステレオ画像の各画像領域が線形領域であるか対数領域であるかを判定するため、複合撮像モードでの領域判定が正確になる。
【００２８】
請求項４の発明によれば、線形撮像モードにおける露出オーバー領域が、複合撮影モードでは対数領域になることが多いという関係を利用するため、複合撮影モードでの領域判定が容易かつ正確となる。
【００２９】
請求項５の発明によれば、線形撮像モードの連続２回以上の撮像結果を時間的に外挿して、複合撮像モードにおける対応領域の場所を推定することにより、被写体に動きがある場合の領域判定が容易かつ正確となる。
【００３０】
請求項６の発明によれば、第１の対応点探索方法により部分的に対応点探索を実施し、算出された対応点の信頼度に基づいて、第２の対応点探索方法による対応点探索を実施するか否かを決定することで、効率的かつ精度良く対応点探索を行うことができる。
【００３１】
請求項１０ないし請求項１２の発明によれば、撮影対象体が所定の条件を満足するか否かの判定において、正確性と高速性とを組み合わせた結果を得ることができる。
【００３２】
請求項１１の発明によれば、撮影対象体が、線形領域および対数領域のうちの一方の領域だけに局在している場合に、その局在領域に対応する光電変換特性での撮影の比重を高めるため、効率的に対応点探索を行うことができる。
【００３３】
請求項１２の発明によれば、複合撮影モードでの撮像結果で画面表示を行うため、視覚的に見やすい効果を得ることができる。
【図面の簡単な説明】
【００３４】
【図１】一実施形態に係る画像処理システムの概略構成を示す図である。
【図２】Linear-Log特性を例示する図である。
【図３】変曲点が画素ごとにばらつく様子を説明する図である。
【図４】撮像モードを変えて、撮像された画像の変化を説明する図である。
【図５】一実施形態に係る演算制御部の機能的な構成例を示す図である。
【図６】時系列で得られるステレオ画像の一例を説明する図である。
【図７】特性の判定方法について説明する図である。
【図８】POC処理の流れを説明する図である。
【図９】POC関数について説明する図である。
【図１０】特性領域に応じた対応点探索について説明する図である。
【図１１】一実施形態に係る対応点探索動作のフローを示すフローチャートである。
【図１２】一実施形態に係る対応点探索動作のフローを示すフローチャートである。
【発明を実施するための形態】
【００３５】
＜１．画像処理システムの概要＞
図１は、本発明の一実施形態に係る画像処理システムの概略構成を示す図である。画像処理システム１は、多視点カメラシステムとして構成されており、撮像部２として２眼のステレオカメラ２０を備えるほか、ステレオカメラ２０に対してデータの送受信が可能に接続される画像処理装置３を備える。
【００３６】
ステレオカメラ２０は、撮像素子２１ａ、２２ａをそれぞれ有する２つの撮像系２１，２２から構成されている。撮像系２１，２２は、カメラ正面の被写体（撮像の対象体）ＯＢを、同じタイミングで異なる視点から撮像するように構成される。撮像系２１，２２による同じタイミングの撮像によって得られる２つの画像信号（以下「画像」と略称する）は、データ線ＣＢを介して画像処理装置３に送信される。
【００３７】
以下では、撮像系２１の撮像によって取得される画像を「第１撮像画像」Ｇ１と称し、撮像系２２の撮像によって取得される画像を「第２撮像画像」Ｇ２と称する。つまり、第１および第２撮像画像Ｇ１，Ｇ２は、同一の被写体ＯＢが異なる視点からそれぞれ捉えられた画像の組を成す。
【００３８】
ここでは、説明を簡素化するために、ステレオカメラ２０の収差は良好に補正されているとする。また、撮像系２１，２２は所定方向に沿って離隔配置され、撮像系２１，２２の光軸が略平行（好ましくは完全に平行）に設定される状態を前提にする。さらに、撮像系２１，２２の撮像素子２１ａ、２２ａは、Linear-Log特性を持つ。
【００３９】
画像処理装置３は、例えばパーソナルコンピュータ（パソコン）のような情報処理装置で構成され、マウスやキーボード等を含む操作部３１と、液晶ディスプレイ等で構成されるディスプレイ３２と、スピーカ３３と、ステレオカメラ２０からのデータを受信するインターフェース(Ｉ／Ｆ)３７とを備える。また、画像処理装置３は、記憶装置３４と演算制御部３６とを有する。
【００４０】
記憶装置３４は、例えばハードディスク等で構成され、ステレオカメラ２０の撮像によって得られる第１および第２撮像画像Ｇ１，Ｇ２を記憶する。また、記憶装置３４には、後述される変曲点制御を行うためのプログラムＰＧ等が格納される。
【００４１】
入出力部３５は、例えば可搬性ディスクドライブを備えて構成され、光ディスク等の可搬性記憶媒体をセットして、演算制御部３６との間でデータの授受を行う。
【００４２】
演算制御部３６は、プロセッサとして働くＣＰＵ３６ａと、情報を一時的に記憶するメモリ３６ｂとを有し、画像処理装置３の各部を統括的に制御する。演算制御部３６では、記憶部３４内のプログラムＰＧが読み込まれて実行されることで、各種機能や各種情報処理等が実現される。なお、メモリ３６ｂには、可搬性記憶媒体に記憶されているプログラムデータを、入出力部３５を介して格納させることができる。この格納されたプログラムは、画像処理装置３の動作に適宜反映可能である。
【００４３】
演算制御部３６は、後述する対応点探索動作によって得られる情報を基に、撮影対象体との距離を算出し、ディスプレイ３２により、特定の被写体ＯＢの画像を可視的に出力する。なお、演算制御部３６で算出された距離情報に基づいて、衝突するなど危険と判断された場合には、スピーカ３３により警告を行う。
【００４４】
＜１−１．Linear-Log特性の一般的性質と前提事情＞
この実施形態における撮像素子２１ａ、２２ａの変曲点制御の詳細を説明する準備として、この実施形態の前提となるLinear-Log特性の一般的性質と、それに伴って生じる事情、すなわち従来技術で生じていた事情を説明しておく。
【００４５】
Linear-Log特性を持つ撮像素子を以下では「L-L特性センサ」と略称することにすると、L-L特性センサでは、撮像素子の画素に相当する各フォトダイオードで発生した光電流を、ＭＯＳＦＥＴを通して積分回路に与え出力信号を得ている。低照度時には線形変換特性（Linear特性）となり、フォトダイオードで発生した光電流の時間積分値（入射光量）に比例する出力信号が得られ、高照度時には対数変換特性（Log特性）となり、フォトダイオードで発生した光電流の時間積分値（入射光量）に対数的に依存する出力電圧が得られる。それらの境界（臨界点）としての変曲点は、非撮像時のＭＯＳＦＥＴのゲート電圧と、撮像時のＭＯＳＦＥＴのゲート電圧との差を変更することによって移動させることができる。変曲点の制御信号は、このようなゲート電圧差を可変に設定する信号である。
【００４６】
図２は、ステレオカメラ２０からの画像信号を例示する図である。図２で示されるように、線形変換特性のみ有するセンサでは、入射光量に係わらず、輝度を線形変換特性で出力するので、破線で示されるように出力限界値ＭＯを超えると露出オーバー領域となる。一方、Linear-Log特性を持つセンサ（以下「L-L特性センサ」と略称）では、入射光量がα以下の場合には輝度を線形変換特性で出力するが、入射光量がα以上の場合には対数変換特性に変換して出力するため、入射光量がかなり高い領域まで出力限界値ＭＯを超えない。また、この時、入射光量がαに相当する点（入射光量＝α，出力＝Ｈ）、すなわち、線形変換特性から対数変換特性に変更される点が変曲点ＣＰとなる。
【００４７】
その一方で、L-L特性センサでは、下記(I)(II)のような課題が存在する。
【００４８】
(I) 温度などの条件変化により変曲点が画素ごとにばらつく特徴をもつ。このことから、変曲点付近において対応点探索精度の低下をもたらす課題がある。
【００４９】
図３は、変曲点が画素ごとにばらつく様子を説明する図である。図３で示されるように、変曲点ＣＰの位置が変動し、対数変換特性領域における係数ｃ１，ｃ２，ｃ３、および、変曲点のオフセット値ｄ１，ｄ２，ｄ３がばらつくことになる。したがって、温度などの外的条件の変化に伴い、線形変換特性領域から対数変換特性領域に移る変曲点ＣＰの位置（α、Ｈ）の変動、および、対数変換特性領域の傾きと係数とがセンサごとにばらつく現象が発生する。これは、変曲点付近において対応点探索精度の低下をもたらす結果となる。
【００５０】
(II) 対数変換特性領域では、入射光量の変動幅に対応する輝度の変動幅が小さいという特徴をもつ。このことから、周波数特性による対応点探索の精度低下に繋がる。
【００５１】
図４は、撮像系２１，２２によって撮像された第１および第２撮像画像Ｇ１，Ｇ２である。図４（ａ）は、入射光量に応じて線形変換特性と対数変換特性との間で光電変換特性が変化する複合撮像モードで高輝度の被写体を撮像したものであるのに対し、図４（ｂ）は、入射光量にかかわらず線形変換特性で光電変換する線形撮像モードで高輝度の被写体を撮像したものである。図４（ａ）で示されるように、第１および第２撮像画像Ｇ１，Ｇ２共に、部分的に潰れることがなく被写体ＯＢの画像が得られているのに対し、図４（ｂ）では、第１および第２撮像画像Ｇ１，Ｇ２ともに、高照度の露出オーバー領域では、被写体ＯＢの画像の細かい変化が潰れてしまっている。
【００５２】
このように、露出オーバー領域が存在する高照度時の撮影としては、例えば、夜間のようなシーンで、対向車のライトにより露出オーバーしてしまう事態が想定される。車載の周辺監視においては、このような領域こそ、衝突可能性のある物体を検出することが重要な領域といえる。しかしながら、線形変換特性のみを持つセンサでは、露出オーバー領域は、画像が潰れて出力されるため、基準画像と参照画像との間で対応点探索を行う際、高精度な探索結果が得られない。この結果、被写体ＯＢの距離情報を誤って算出してしまうことに繋がる。
【００５３】
一方、L-Lセンサでは、露出オーバーとなる領域を対数変換特性により画像補正を行うことより、露出オーバー領域が無くなり、周辺監視制度を高めることが可能である（図４（ａ）参照）。しかしながら、対数変換特性領域は輝度差が少ない故、線形変換特性領域と比べて高精度な画像は得られず、また図３に示すように、温度などの条件変化により変曲点が画素ごとにばらつく課題もある。
【００５４】
このような背景の下、本発明では、L-Lセンサにおいて、線形変換特性領域と対数変換特性領域とで、互いに異なる対応点探索法を用いる。
【００５５】
＜２．画像処理システムの機能構成＞
本発明の実施形態の説明に戻る。画像処理装置３は、入射光量に応じて線形変換特性と対数変換特性との間で光電変換特性が切り換わるステレオカメラ２０を用いて撮像されたステレオ画像信号を入力し、当該ステレオ画像信号に含まれる複数の画像間の空間的対応関係を決定して撮像対象体の３次元画像情報を得ることを特徴とする。ここでは、とりわけ、対応点探索動作を実行するために演算制御部３６で実現される機能的な構成を説明する。
【００５６】
図５は、演算制御部３６の機能的な構成を示す図である。なお、ここでは、演算制御部３６の機能的な構成が、プログラムＰＧの実行によって実現されるものとして説明するが、専用のハードウエア構成で実現されても良い。
【００５７】
図５で示されるように、撮像部２からデータを受信して、演算制御部３６は、機能的な構成として、ステレオ画像取得部３６１、特性判定部３６２、対応点探索部３６３、距離情報算出部３６４、対象体候補検出部３６５、対象体判定部３６６、および、警告部３６７を有する。以降、各処理について図５を参照しながら説明する。
【００５８】
＜２−１．撮像部２＞
撮像部２は、自動車の前方空間を撮像可能に自動車の所定位置に設置される。この撮像部２は、ステレオ画像を取得し、画像処理装置３に画像信号を送信する役割を持つ。また、入射光量にかかわらず線形変換特性で光電変換する線形撮像モードでの撮像と、入射光量に応じて線形変換特性と対数変換特性との間で光電変換特性が変化する複合撮像モードでの撮像とを、周期的に切り替えて実行させるマルチモード撮影制御部２０１を備える。図１では、ステレオカメラ２０の撮像系２１，２２のセンサに該当する。なお、撮像部２は予めキャリブレーションされており、カメラのパラメタは既知であることを前提条件とする。
【００５９】
＜２−２．ステレオ画像取得部３６１＞
ステレオ画像取得部３６１では、撮像部２によって送信された画像信号を取得する。ここで、対応点探索動作では、第１撮像画像Ｇ１が基準となる画像（以下「基準画像」とも称する）とされ、第２撮像画像Ｇ２が参照される画像（以下「参照画像」とも称する）とされる。そこで、第１撮像画像Ｇ１を基準画像Ｇ１と称し、第２撮像画像Ｇ２を参照画像Ｇ２と称する。
【００６０】
なお、ステレオ画像取得部３６１では、厳密には、基準画像Ｇ１および参照画像Ｇ２を示すデータが取得されるが、本明細書では、基準画像Ｇ１を示すデータと該データに基づいて表示される基準画像Ｇ１そのものとを「基準画像Ｇ１」と総称し、参照画像Ｇ２を示すデータと該データに基づいて表示される参照画像Ｇ２そのものとを参照画像Ｇ２と総称する。
【００６１】
図６は、時系列で得られるステレオ画像の一例を示した図である。図６に示すように、取得されたステレオ画像は、例えば、マルチモード撮影制御部２０１で撮影を行った基準画像Ｇ１（Ａ0，Ａ1，Ａ2，…）と参照画像Ｇ２（Ｂ0，Ｂ1，Ｂ2，…）との撮影タイミングは互いに同期している。そして基準画像Ｇ１と参照画像Ｇ２とのうち、対応するフレームの画像の相互間では同じ特性の画像を取得する。すなわち、基準画像Ａ0が線形変換特性で撮像される場合には、参照画像Ｂ0もまた線形変換特性で撮像され、基準画像Ａ1がLinear-Log変換特性で撮像される場合には、参照画像Ｂ0もまたLinear-Log変換特性で撮像される。
【００６２】
また、
・線形変換特性で撮像された画像を、「線形モード画像」と、
・Linear-Log特性で撮像された画像を、「複合モード画像」と、
それぞれ呼ぶことにすれば、この実施形態では、基準画像Ｇ１と参照画像Ｇ２とのいずれについても、線形モード画像Ａ0，Ａ2，…（Ｂ0，Ｂ2，…）と、複合モード画像Ａ1，Ａ3，…（Ｂ1，Ｂ3，…）とが、一定の時間間隔Δｔで１フレームずつ交互に取得されるように、周期的に撮像フレームを切り替える。
【００６３】
この実施形態では、撮像素子２１ａ、２２ａのそれぞれが、線形撮像モードと複合撮像モードとのいずれでも撮像可能な素子で構成され、タイミング制御信号に基づいてフレームごとに線形撮像モードと複合撮像モードとに切り替えることにより、線形モード画像と複合モード画像とを取得する。
【００６４】
これに関しては、後述する対象体判定部３６６の判定結果に基づいて、どちらかのフレームのウェイトが重くなるようにしてもよい。この場合、たとえば単位時間あたりの線形変換特性画像とLinear-Log特性画像とのフレーム比を、ｍ：ｎ（ｍ，ｎは互いに異なる正整数）として、連続する（ｍ＋ｎ）フレームを１周期とする繰返しでの撮像を行う。
【００６５】
＜２−３．特性判定部３６２＞
特性判定部３６２では、ステレオ画像Ｇ１，Ｇ２の各画像領域の特徴量に基づいて、これらステレオ画像Ｇ１，Ｇ２のうち、複合モード画像の各画像領域が、
・線形変換特性で光電変換された領域（以下「線形領域」）であるか、
・対数変換特性で光電変換された領域（以下「対数領域」）であるか、
を判定する。
【００６６】
そこではまず、線形モード画像Ａ0，Ａ2，…（Ｂ0，Ｂ2，…）における各画像領域の露光状態に基づく予備的判定を行い、それに基づいて、それぞれの次フレームの複合モード画像Ａ1，Ａ3，…（Ｂ1，Ｂ3，…）の各画像領域が、線形領域であるかそれとも対数領域であるかを推定する。すなわち、この態様におけるステレオ画像Ｇ１，Ｇ２の各画像領域の特徴量としては輝度を採用していることになる。
【００６７】
複合モード画像Ａ1，Ａ3，…（Ｂ1，Ｂ3，…）では、既に線形変換特性と対数変換特性とが空間的に混在した状態で変換されているため、それらの画像自身の解析から、どの領域がどのような光電変換特性を得たものであるかの判定を行うのは複雑である。これに対して、線形モード画像Ａ0，Ａ2，…（Ｂ0，Ｂ2，…）では、画像の全領域が線形変換特性で変換されているため、
・着目する画像領域が望ましい画像表現性を実現していれば、当該領域は線形変換特性が適合しており、複合モード画像でも線形変換特性で変換される領域であると判定し、
・着目する画像領域の画像表現性が不足していれば、その領域は線形変換特性には不適であるために、複合モード画像では対数変換特性で変換される領域である、
と判定できることになる。
【００６８】
一般には撮像システムと被写体とは相対的に移動しているため、線形モード画像での領域タイプ判定の結果を、次のフレームの複合モード画像における特性タイプ判定に適用すると誤差が生じる。たとえば線形モード画像で対向車のヘッドライトによって露出オーバーとなっている領域の範囲と、次の複合モード画像でのヘッドライト範囲とは厳密には同じではない。しかしながら、高速フレームレートでの撮像では、時間的に隣接するフレーム間での被写体の移動量は比較的少ないため、そのような誤差は実用上の支障とはならない。
【００６９】
ただし、ある程度以上の時間スパンで考えると撮像系に対する被写体の相対位置が変化するため、１つのフレームの線形モード画像で得た特性タイプ判定の結果は、次に得た複合モード画像の領域タイプ判定にだけ使用し、新たな線形モード画像を取得したときには、それによって特性判定を更新する。これよって、誤差の蓄積を防止できる。
【００７０】
図７はこのような原理に基づく特性判定をより具体的に説明する図である。ここでは基準画像Ｇ１について説明するが、参照画像Ｇ２についても同様である。
【００７１】
図７において、時刻Ｔ，Ｔ＋Δｔ，Ｔ＋３Δｔ，…で撮像されるフレームでは線形モード画像Ａ0，Ａ2，…が得られ、時刻Ｔ＋２Δｔ，Ｔ＋４Δｔ，Ｔ＋６Δｔ，…で撮像されるフレームでは複合モード画像Ａ1，Ａ3，…が得られる。
【００７２】
そして、時刻Ｔにおける線形モード画像Ａ0の各領域（各空間部分）が、
・露出オーバーしていない領域（以下「適正露出領域」）ＬＮ0と、
・露出オーバーしている領域（以下「過剰露出領域」）ＬＧ0と、
のいずれであるかの判定を行う。
【００７３】
このうち、適正露出領域ＬＮ0は、当該領域に含まれる画素の多くが撮像素子２１ａ、２２aの出力限界値（上限値）ＭＯ未満となっているような領域である。また、過剰露出領域ＬＧ0は、入射光量が過多であるために、当該領域に含まれる画素の全部または圧倒的多数（所定閾値以上の割合の画素）が撮像素子２１ａ、２２aの輝度出力の上限値ＭＯと一致しているような領域である。これらの領域区分は相補的であるから、適正露出領域ＬＮ0を検出してそれ以外を過剰露出領域ＬＧ0としてもよく、その逆に、過剰露出領域ＬＧ0を検出してそれ以外を適正露出領域ＬＮ0としてよい。
【００７４】
これらのうち、適正露出領域ＬＮ0では線形変換が有効に機能していることになるから、その領域については線形モード画像においても複合モード画像においても画像精度が高いが、線形モード画像において過剰露出領域ＬＧ0となっている領域では画像情報の多くが失われており、同一の被写体を複合モード画像で撮影したフレームにおいても画像精度はあまり高くない領域と推定できる。すなわち、線形モード画像とは異なり、複合モード画像では対数変換が機能するから、過剰露出領域ＬＧ0においても画像が完全に潰れるわけではなく、画像上の濃淡は表現されている。しかしながら、複合モード画像においても、適正露出領域ＬＮ0に対応する線形領域ＬＮ1と比較すれば、過剰露出領域ＬＧ0に対応する対数領域ＬＧ1での画像情報の精度は低くなっていると推定することができる。
【００７５】
そこで、次のフレームに該当する時刻Ｔ＋Δｔで得た複合モード画像Ａ1においては、各画像領域を、
・時刻Ｔの線形モード画像Ａ0において判定された適正露出領域ＬＮ0に空間的に対応し、複合モード画像では線形領域ＬＮ1となっていると想定される領域と、
・時刻Ｔの線形モード画像Ａ0において判定された過剰露出領域ＬＧ0に空間的に対応し、複合モード画像Ａ1においては対数領域ＬＧ1となっていると想定される領域と、
に区分する。
【００７６】
これは、線形モード画像Ａ0における適正露出領域（または過剰露出領域）の画素分布に相当するビットマップパターンを作成して記憶しておき、それらをそのまま複合モード画像Ａ1の画素座標にあてはめることによって達成することができる。
【００７７】
以後も同様に、時刻Ｔ＋２Δｔで得られた線形モード画像Ａ2の各領域について特性判定を行って適正露出領域と過剰露出領域とを区分する。そして、次の時刻Ｔ＋３Δｔで得られる複合モード画像Ａ3については、線形モード画像Ａ2で区分された適正露出領域と過剰露出領域とに空間的に対応する部分を、それぞれ適正露出領域と過剰露出領域とする。
【００７８】
以上を繰り返すことで、ステレオ画像Ｇ１，Ｇ２のそれぞれの複合モード画像における各画像領域が、
・線形モード画像の適正露出領域に対応する領域（「線形領域」）であるか、
・線形モード画像の過剰露出領域に対応する領域（「対数領域」）であるか、
を判定することができる。すなわち、線形モード画像Ａ0，Ａ2，…で得られた画像における過剰露出領域の検出に基づいて、複合撮像モード画像Ａ1，Ａ3，…において、当該過剰露出領域に空間的に対応する対数領域を特定（推定）していることになる。これに伴って、各線形モード画像における適正露出領域と、それに対応する複合モード画像での線形領域もまた特定（推定）されてゆく。
【００７９】
これらにおいて、
・「適正露出領域」と「線形領域」とは、空間的に互いに対応しており、
・「過剰露出領域」と「対数領域」とは、空間的に互いに対応しているが、
これらのうちの「適正露出領域」と「過剰露出領域」とは、線形モード画像において露出がオーバーしているか否かとの点からの区分であり、「線形領域」と「対数領域」とは、複合モード画像において線形変換特性と対数変換特性とのいずれの光電変換特性で得られた画像領域であるかを区別するためのものであるため、別個の用語を使用することによって概念としての違いを表現している。
【００８０】
＜２−４．対応点探索部３６３＞
対応点探索部３６３では、ステレオ画像信号のうち、線形変換特性で得られた画像領域としての線形領域には、第１の対応点探索方法を適用して複数の画像間の対応点探索を行い、対数変換特性で得られた画像領域としての対数領域には、第２の対応点探索方法を適用して複数の画像間の対応点探索を行なう。対応点探索部３６３は、特性判定部３６２の判定結果に基づいて、画像領域ごとに、第１と第２の対応点探索方法とのいずれか一方を選択して適用する。
【００８１】
第１の対応点探索方法としては、第２の対応点探索方法と比較して高精度の探索結果を与える方法が採用され、第２の対応点探索方法としては、第１の対応点探索方法と比較して高速に探索結果を与える方法が採用される。これより、第１の対応点探索方法による処理部（以下、「第１の対応点探索処理部３６３ａと称する）では、第２の対応点探索方法による処理部（以下、「第２の対応点探索処理部３６３ｂ」と称する）よりも高精度の探索結果を与える。一方、第２の対応点探索処理部３６３ｂでは、第１の対応点探索処理部３６３ａよりも高速に探索結果を与える。
【００８２】
図４に戻り説明すると、図４（ａ）で示される複合撮像モードで得られた画像のうち、図４（ｂ）で示される線形モード画像の過剰露出領域に対応する対数領域については第２の対応点探索処理部３６３ｂによって対応点探索を行い、残余の領域（線形領域）については第１の対応点探索処理部３６３aによって対応点探索を行うことになる。
【００８３】
本実施形態では、具体的に、第１の対応点探索処理部３６３ａでは、基準画像Ｇ１および参照画像Ｇ２（一般には複数の画像）の周波数特性に基づいたサブピクセルレベルのPOC処理を採用し、第２の対応点探索処理部３６３ｂでは、基準画像Ｇ１および参照画像Ｇ２（一般には同様に複数の画像）の輝度値の相互関係に基づいたSAD処理の採用、または、ピクセルレベルのPOC処理を採用する。ただし、上記の特性判定部３６２で関連付けされた線形モード画像と複合モード画像とを１セットとし、基準画像Ｇ１および参照画像Ｇ２のうち線形モード画像同士を使用した対応点探索結果と、複合モード画像同士を使用した対応点探索結果とを比較し、所定の精度判定条件で精度を判定して、より高い精度を持つ方を採用するようにしても良い。
【００８４】
以下、対応点探索処理としてのSAD手法およびPOC手法の概略を説明する。ここでは、現フレームの取得時刻をｔとし、現フレームより１フレーム前の前フレームの画像取得時刻をｔ−１とする。また、現フレームにおいて、基準画像Ｇ１に基準ウインドウｇ１（ｔ）を、参照画像Ｇ２に参照ウインドウｇ２（ｔ）をそれぞれ設定し、現フレームより１フレーム前の画像のウインドウはそれぞれ、ｇ１（ｔ−１）およびｇ２（ｔ−１）と表現する。ただし、ウインドウｇ１，ｇ２は図面上には表現されていない。
【００８５】
＜２−４−１．SAD（Sum of Absolute Difference）法を用いた対応点探索＞
SADは、基準ウインドウｇ１（ｔ−１）に対し、参照ウインドウｇ２（ｔ）を位置的にずらしながら、式（１）により得られる相関値から基準ウインドウｇ１内の画像と参照ウインドウｇ２内の画像との相関を求め、相関が最も高い値を示すときの参照ウインドウｇ２の中心点を、注目点ｇｐ１の対応点ｇｐ２として探索する手法である。式（１）に示すようにSADは、２枚の画像の画素値（各画素の輝度）をそのまま減算することで相関値を算出することができるため、計算量が少なく、高速処理が可能であるという特徴をもつ。
【００８６】
【数１】
【００８７】
ここで、Ｉｍ１は基準ウインドウｇ１内の画像の画素値を示し、Ｉｍ２は参照ウインドウｇ２内の画像の画素値を示す。Nはウインドウの水平方向のサイズを示し、Mはウインドウの垂直方向のサイズを示す。
【００８８】
＜２−４−２．POC（Phase Only Correlation）法を用いた対応点探索＞
POCは、基準画像Ｇ１、参照画像Ｇ２に設定したウインドウ内の画像を周波数分解し、振幅成分を抑制した信号の相関（すなわち位相成分の相関）に基づいて対応点を探索する手法である。
【００８９】
図８はPOC処理の流れを示す図であり、次の処理(ｉ)〜(vi)がこの順番で行われる。
【００９０】
(i) 基準画像Ｇ１に設定された計測点に中心が位置するように基準ウインドウｇ１（ｔ−１）が設定され、参照画像Ｇ２に参照ウインドウｇ２（ｔ）が設定される。
【００９１】
(ii) 基準ウインドウｇ１（ｔ−１）内の画像および参照ウインドウｇ２（ｔ）内の画像が離散フーリエ変換され、画像Ｇａ及び画像Ｇｂが得られる。
【００９２】
(iii) 離散フーリエ変換された画像Ｇａ及び画像Ｇｂを規格化（すなわち振幅成分を一定化）して、画像Ｇａ１及び画像Ｇｂ１が得られる。
【００９３】
(iv) 規格化された画像Ｇａ１及び画像Ｇｂ１が合成され、相関画像Ｒが得られる。
【００９４】
(v) 相関画像Ｒが逆離散フーリエ変換され、POC関数ｒが得られる。図９はPOC関数ｒを示すグラフであり、急峻な相関ピークＳを有し、画像マッチングにおけるロバスト性と推定精度とがSADに比べて高いことが知られている。そして、この相関ピークＳの高さは基準ウインドウｇ１（ｔ−１）内の画像および参照ウインドウｇ２（ｔ）内の画像の相関が高いほど大きくなる。したがって、相関ピークＳの位置を特定することで、基準ウインドウｇ１（ｔ−１）に対する参照ウインドウｇ２（ｔ）の位置ズレ量を算出することができる。
【００９５】
なお、POC関数ｒは、基準画像Ｇ１の画素単位、すなわち、ピクセルレベルで算出されているため、相関ピークの位置もピクセルレベルで求められるが、POC関数を補間し、サブピクセルレベルで相関ピークの位置を推定することも可能である。
【００９６】
ピクセルレベルのPOCと比較して、サブピクセルレベルでのPOCは、処理精度は向上する一方で処理速度は低下する。このため、サブピクセルレベルでのPOCを用いる場合には、ピクセルレベルでのPOCを対数領域に、サブピクセルレベルでのPOCは線形領域にそれぞれ使用するという組合せが好ましい。
【００９７】
（vi）参照ウインドウｇ２（ｔ）の中心点の座標に位置ズレ量を加算することにより得られる座標上の点が、注目点ｇｐ１に対する対応点ｇｐ２として算出することができる。
【００９８】
＜２−４−３．特性領域に応じた対応点探索＞
以下、特性判定部３６２で決められた線形領域および対数領域における対応点探索を、具体例を示しながら説明する。
【００９９】
図１０は、領域の特性区分に応じた対応点探索方法を説明する図である。図１０（ａ）では、入射光量にかかわらず線形変換特性で光電変換する線形撮像モードで撮像された画像信号であり、図１０（ｂ）では、入射光量に応じて線形変換特性と対数変換特性との間で光電変換特性が変化する複合撮像モードで撮像された画像信号を示す。図１０（ａ）の実線で示される適正露出領域に対応する線形領域は、サブピクセルレベルでのPOC処理により高精度な探索を実施することができる。
【０１００】
一方、図１０（ｂ）の複合撮像モードでは、出力点Ｌ１の位置は同じであるものの出力点Ｌ２の位置が移動し、図１０（ａ）の破線で示された過剰露出領域が図１０（ｂ）では、対数領域となるため、SAD処理、または、ピクセルレベルのPOC処理により対応点探索を可能とする。また出力点Ｌ１と出力点Ｌ２との中間に位置する変曲点ＣＰ付近では、図１０（ｃ）で示されるように、温度によるバラツキが生じやすい。このように、変曲点ＣＰ付近に関しては精度が低下する可能性があるので、サブピクセルレベルでのPOC処理ではなく、SAD処理、あるいは、ピクセルレベルでのPOC処理を行うことが望ましい。
【０１０１】
また、図１０（ｄ）は撮像素子２１ａによる基準画像Ｇ１の画像信号であり、図１０（ｅ）は撮像素子２２ａによる参照画像Ｇ２の画像信号を示す。このように、撮像素子２１ａと撮像素子２２ａとの変曲点が異なって設定されている場合においても、線形領域となる範囲は対応点探索を高精度に実施することができる。
【０１０２】
以上のことから、線形変換特性で出力が可能な出力限界値ＭＯ付近までは、線形変換特性で出力し、それ以上は、対数変換特性で出力することが対応点探索を行うという点では望ましい。したがって、POC処理によりサブピクセルレベルで高精度に対応点探索を行うことを基本とし、線形撮像モードで撮影不可能な範囲はSAD処理やPOC処理によるピクセルレベルの対応点探索を行うことで周辺監視の精度を高め、高速に処理を行うことが可能となる。
【０１０３】
＜２−５．距離情報算出部３６４＞
距離情報算出部３６４では、対応点探索部３６３により処理された対応点探索結果に基づいて、撮像部２から被写体までの距離情報を算出する。
【０１０４】
すなわち、同時刻に撮像された基準画像と参照画像とにおいて被写体各部の空間的対応関係が定まると、三角測量の原理によって撮像部２に対する被写体各部の３次元座標値が決定される。そして、このようにして得た３次元画像情報に基づいて、撮像部２から被写体各部への距離が算出される。
【０１０５】
そのようにして得た距離情報と、注目点の位置の時間的な変化量に相当するオプティカルフローとに基づいて、静止物体と移動物体との判別を行うこともできる。この部分については、例えば、特開２００６−１３４０３５公報等で公知である。
【０１０６】
＜２−６．対象体候補検出部３６５＞
図５の対象体候補検出部３６５では、距離情報算出部３６４により算出された距離情報に基づいて、撮影対象体の候補を検出する。
【０１０７】
＜２−７．対象体判定部３６６＞
対象体判定部３６６では、対象体候補検出部３６５により検出された撮影対象体（被写体）の３次元画像情報に基づいて、当該撮影対象体が所定の条件を満足するか否かの判定を行う。
【０１０８】
また、対象体判定部３６６は、判定の結果、衝突可能性のある物体が、（i）線形領域に存在した場合は、線形変換特性画像のウェイトを高めて撮影することを、（ii）対数領域に存在した場合は、対数変換特性画像のウェイトを高めて撮影することを、それぞれ撮像部２に指令し、取得する画像の設定変更をすることも可能である。すなわち、ステレオ画像における特定の被写体（特定の撮像対象体）が、線形領域および対数領域のうちの一方の領域だけに局在している場合には、撮像部２は、線形撮像モードおよび複合撮像モードのうち、局在領域に対応する一方の撮像モードでの撮像割合を増加させることができる。
【０１０９】
具体的には、走行中の車両から進行方向前方を撮像しているときには、車の進路空間に相当する範囲内またはその近傍にあり、かつ撮像部２からの距離が所定距離以下の対象体があれば、それは車両との衝突の可能性がある。
【０１１０】
そして、その対象体すなわち衝突懸念体が比較的暗いもの（たとえば黒っぽい服を着た歩行者）である場合には、衝突懸念体に対応する画像部分は線形領域に局在した状態となる。これは、前方の所定距離内にあると判定された被写体の画像部分の全部またはほとんど（たとえば８０％以上に設定された所定の閾値割合以上）が線形領域に重なると判定されることに対応しており、この場合には、線形変換特性の割合を高めるという処理を行う。
【０１１１】
その処理には２つの方法がある。その１は撮像フレーム割合の変更であり、たとえば１：１で線形モード画像と複合モード画像とを取得していたものを、衝突懸念体の局在が検出された後は、このフレーム比率を２：１や３：１とすることによって線形モード画像の取得頻度を相対的に高めるという方法である。危険状態が回避されるまで、一時的にすべてのフレームを線形モード画像としてもよい。
【０１１２】
その２は、複合モード画像での変曲点を上げる（入射光量が大きい側へ変曲点をシフトさせる）ことによって、複合モード画像内での線形領域を空間的に拡大するという方法である。後者の場合には、衝突懸念体が画面中を比較的高速で移動したときに、線形領域から対数領域に飛び出してしまい、対応点探索のための画像情報が急に劣化してしまうという事態を防止できる。
【０１１３】
逆に、衝突懸念体が明るいとき、たとえばヘッドライトを点灯している車両が近づいて来るような場合には、衝突懸念体に対応する画像部分は対数領域に局在している。そこで、そのような場合には、上記２つの方法に対応して、それぞれ複合モード画像の取得割合（フレーム割合）を増やすか、複合モード画像での変曲点を下げて、対数領域を増大させる。
【０１１４】
これらの対策をとることによって、最も着目すべき撮像対象体の情報の取得に適した光電変換特性を、動的に設定できる。
【０１１５】
このような特定の対象体としては、車両における衝突懸念体のほか、防犯監視カメラにおける人間の画像や、工業用カメラにおける生産ラインへの異物の侵入などがある。
【０１１６】
＜２−８．警告部３６７＞
警告部３６７では、対象体判定部３６６により撮影対象体が所定の条件に満足すると判定されたときに、警告を行う。例えば、得られた３次元画像情報に基づいて、画像中に存在する移動体（たとえば対向車）の移動速度と移動方向とを３次元的に算出し、自車の進路空間中にその移動体が侵入する可能性があるか否かを予測判定する。そして、対向車が衝突する可能性があると判定された場合などが想定される。この際に、スピーカ３３による警告音とともに撮像中の画像をディスプレイ３２に表示するようにしてもよい。ディスプレイ３２の表示に関しては、衝突の可能性のない場合でも常時表示するようにしても良い。この実施形態のように線形モード画像と複合モード画像とをフレーム切り替えしている場合には、潰れが少なく、視覚的に見やすい、Linear-Log特性画像（複合モード画像）をディスプレイ３２等の表示手段で表示させることが特に有効である。
【０１１７】
＜３．画像処理装置の基本動作＞
図１１および図１２は、画像処理システム１において実現される対応点探索動作のフローを例示するフローチャートである。既に各部の個別機能の説明は行ったため、ここでは全体の流れのみ説明する。
【０１１８】
まず、例えば、ユーザーによる操作部３１に対する操作に応じて、本動作フローが開始されて、図１１のステップＳ１に進む。
【０１１９】
ステップＳ１では、ステレオ画像取得部３６１によって、基準画像Ｇ１と参照画像Ｇ２とからなるステレオ画像が取得される。
【０１２０】
ステップＳ２では、特性判定部３６２によって、基準画像Ｇ１と参照画像Ｇ２との画像特性情報を取得する。
【０１２１】
ステップＳ３では、特性判定部３６２によって、基準画像Ｇ１と参照画像Ｇ２との両画像を関連づけることで、各領域が線形領域（適正露出領域）であるか、あるいは、対数領域（過剰露出領域）であるかの判定を行う。ここで、線形領域と判定された場合はステップＳ４へ進み、対数領域と判定された場合はステップＳ５へ進む。
【０１２２】
ステップＳ４では、ステップＳ３において（特性判定部３６２によって）線形領域と判定された領域については、対応点探索部３６３のうち第１の対応点探索処理部３６３ａが選択的に能動化され、サブピクセルレベルのPOC処理にて対応点探索が行われる。
【０１２３】
ステップＳ５では、ステップＳ３において（特性判定部３６２によって）対数領域と判定された領域については、対応点探索部３６３のうち第２の対応点探索処理部３６３ｂが選択的に能動化され、SAD処理、または、ピクセルレベルのPOC処理にて対応点探索が行われる。
【０１２４】
ステップＳ６では、距離情報算出部３６４によって、対応点探索部３６３により処理された基準画像Ｇ１の注目点ｇｐ１に対して参照画像Ｇ２の対応点ｇｐ２から、被写体ＯＢとの距離情報が算出される。
【０１２５】
ステップＳ７では、対象体候補検出部３６５によって、距離情報算出部３６４で得られた距離情報を基に、被写体ＯＢの候補が検出される。
【０１２６】
ステップＳ８では、対象体判定部３６６によって、対象体候補検出部３６５により検出された撮影対象体の３次元画像情報が、当該被写体ＯＢが所定の条件を満足するか否かの判定が行われる。
【０１２７】
ステップＳ９では、ステップＳ８において（対象体判定部３６６によって）危険と判定された場合は、ステップＳ１０に進み、そうでなければ、ステップＳ１１に進む。
【０１２８】
ステップＳ１０では、警告部３６７によって、対象体判定部３６６により衝突のある可能性があると判定された場合、警告が行われる。また、スピーカ３３による警告音とともにディスプレイ３２に警告表示を行う（ステップＳ１１）。
【０１２９】
ステップＳ１１では、対象体判定部３６６による危険性の有無に係わらず、ディスプレイ３２における複合モード画像の表示を継続する。
【０１３０】
ステップＳ１２では、画像取得を継続するか否かが判定される。画像取得を継続する場合は、ステップＳ１に進み、操作者の指示入力によって画像取得を終える場合は、本動作フローが終了される。
【０１３１】
＜４．変形例＞
以上、本発明の実施形態について説明してきたが、本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。
【０１３２】
※ 本実施形態では、説明の簡略化のために撮像部は２台構成となっているが、台数は２台に限られず、一般には、複数台の撮像部を持つ構成にこの発明は適用可能である。
【０１３３】
線形撮像モード専用の撮像素子と複合撮像モード専用の撮像素子とを別個に設けることもできる。この場合には、線形モード画像の特徴量を用いて複合モード画像の線形領域と対数領域とを判別するにあたって、これらの画像は同時刻で撮像されたものであるため、フレーム切り替え時間に相当する誤差を防止できる。
【０１３４】
※ 本実施形態では、ステレオ画像取得部３６１が、線形変換特性画像とLinear-Log特性画像とを切り替えて取得しているが、Linear-Log特性画像だけ取得するようにしても良い。
【０１３５】
すなわち、取得画像のうち比較的明るい部分と比較的暗い部分とが時間的にあまり変動しない場合には、取得画像のどの領域が線形領域であり、どの部分が対数領域であるかをあらかじめ知ることが可能である。このような例としては、たとえば、エレベータ内の監視カメラのように、照明による照度分布が事前にほぼわかっている場合がある。
【０１３６】
このような場合には、線形モード画像について適正露出領域と過剰露出領域とを判定し、それに基づいて複合モード画像での線形領域と対数領域とを動的に判定しなくても、半固定的に線形領域と対数領域とを設定し、それぞれに異なる対応点探索方法を適用することができる。
【０１３７】
※ 本実施形態では、特性判定部３６２が、線形領域と対数領域とを判定する方法について、露出オーバー領域を対数領域とみなして特性判定を行ったが、これに限られず、例えば下記の特定方法を利用することもできる。
【０１３８】
第１の判定方法では、時系列方向の情報をもとに被写体ＯＢの位置を予測する方法である。すなわち、画像処理装置３が線形撮像モードと複合撮像モードとは同一の撮像素子の時間差でのモード切り換えであるため、対応点探索部３６３は、線形撮像モードの連続２回以上の撮像結果を時間的に外挿することにより、複合撮像モードにおける対応領域の場所を推定することが行われる。
【０１３９】
図７を参照して説明する。時刻Ｔと時刻Ｔ＋２Δｔとの線形モード画像から、自走速度、操舵情報などの情報を算出する。その情報を基に、時刻Ｔ＋２Δｔと時刻Ｔ＋３Δｔとの間の期間では、自車の走行パラメタが変わらないという前提で、時刻Ｔ（または時刻Ｔ＋２Δｔ）の複合モード画像中の対数領域が、時刻Ｔ＋３Δｔのタイミングではどの位置に存在するかを予測（時間的に外挿）する。
【０１４０】
このような構成を採用すれば、既述した実施形態の場合と比較して、移動速度のファクタが考慮されるため、より精密な探索が可能である。
【０１４１】
第２の判定方法としては、実際に線形領域と対数領域とを判別して領域ごとに対応点探索を切り替えるのではなく、１つの対応点探索処理を一部について試行的に行った結果を基に、いずれの探索方法を全面的に行うかを決定する方法である。たとえば、複合モード画像の一部の領域をサンプリングし、それに対して対応点探索部３６３が、第１の対応点探索処理部３６３ａによる対応点探索を部分的に行うとともに、当該部分的な対応点探索によって得られる対応点の信頼度を示す指標値を求める。そして、当該指標値が所定の閾値以上となっている場合には第１の対応点探索処理部３６３ａによる処理を継続して複合モード画像の全体の対応点策を行う一方、当該指標値が当該閾値未満のときには、複合モード画像の残りの領域については第２の対応点探索処理部３６３ｂによる処理に切り換える。
【０１４２】
具体的には、時刻Ｔ＋Δｔで取得した画像に対し、ピクセルレベルのPOC処理を実施し、対応点探索結果から算出された信頼度を示す指標値により、SADで処理を行うように切り替えるか、継続してサブピクセルレベルのPOC処理を行うか否かの判定を行う。具体的には、信頼度を示す指標値として上記のPOC関数を用い、信頼度が低い（すなわちPOC関数のピークが所定の閾値未満）と判断されれば、対数領域とみなす。
【０１４３】
サンプリングは複合モード画像全体について１回であってもよく、複合モード画像を大まかに区域分けして、各区域ごとに１回のサンプリングであってもよい。たとえば画角を、中心部、左右側部、上部、下部のように区域分けし、上部のサンプリングと一方の対応点探索方法の試行によってよい結果が得られたときには、上部の全体についてはその対応点探索方法を採用する。中心部、左右側部、…についてはそれぞれ同様のことを行う。
【０１４４】
この第２の判定方法は、直接的な特性判定を行わず、対応点探索結果の良否によって画像領域が線形領域であるか対数領域であるかを間接的に推定する方法となっている。したがって、精度的には既述した実施形態の方が高いが、この第２の判定方法は、被写体の外形などに沿って細かく入り組んだ各領域ごとに特性判定を行わなくてすみ、大きめの領域に設定を行うことが可能になるため、全体としての処理速度は向上する。なお、無駄な処理を無くす目的で、複合モード画像で対数変換された領域のうち所定数以下の画素（典型的には数画素）からなる画素クラスターはノイズ領域とみなし、対応点探索方法を切り替える対象とはぜずに周囲と同じ方法で処理を行うようにしても良い。
【０１４５】
第３の判定方法としては、変曲点の位置情報などから線形変換特性領域と対数変換特性領域とを決定する方法である。具体的には、ステレオ画像取得部３６１で、Linear-Log特性画像だけを取得するような場合は、撮像部２より変曲点ＣＰの位置などの情報を取得し、出力値が、所定値より多いときは対数変換特性領域とし、所定値より小さいときは線形変換特性領域とすることも可能である。
【０１４６】
※ 本実施形態では、特徴量を輝度値としているが、これに限られず、例えば、周波数や物標検出結果などを特徴量とすることも可能である。
【符号の説明】
【０１４７】
１ 画像処理システム
２ 撮像部
３ 画像処理装置
２０ ステレオカメラ
２１ａ，２２ｂ 撮像素子
Ａ0，Ａ2，…（Ｂ0，Ｂ2，…） 線形モード画像
Ａ1，Ａ3，…（Ｂ1，Ｂ3，…） 複合モード画像
ＬＮ0，ＬＮ2，… 適正露出領域
ＬＮ1，ＬＮ3，… 線形領域
ＬＧ0，ＬＧ2，… 過剰露出領域
ＬＧ1，ＬＧ3，… 対数領域
ＣＰ 変曲点
Ｇ１ 基準画像
Ｇ２ 参照画像
【特許請求の範囲】
【請求項１】
入射光量に応じて線形変換特性と対数変換特性との間で光電変換特性が切り換わるステレオ撮像手段を用いて撮像されたステレオ画像信号を入力し、前記ステレオ画像信号に含まれる複数の画像間の空間的対応関係を決定して撮像対象体の３次元画像情報を得る画像処理装置であって、
(a) 前記ステレオ画像信号のうち、
線形変換特性で得られた画像領域としての線形領域には、第１の対応点探索方法を適用して前記複数の画像間の対応点探索を行い、
対数変換特性で得られた画像領域としての対数領域には、第２の対応点探索方法を適用して前記複数の画像間の対応点探索を行なう対応点探索手段と、
(b) 前記対応点探索手段による対応点探索結果に基づいて、撮像対象体の３次元画像情報を得る手段と、
を備え、
前記第１の対応点探索方法として、前記第２の対応点探索方法よりも高精度の探索結果を与える方法が採用される一方、
前記第２の対応点探索方法として、前記第１の対応点探索方法よりも高速に探索結果を与える方法が採用されていることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記画像処理装置が、
前記ステレオ画像の各画像領域の特徴量に基づいて、前記ステレオ画像の各画像領域が線形領域であるか対数領域であるかを判定する特性判定手段、
をさらに備え、
前記対応点探索手段は、
前記特性判定手段の判定結果に基づいて、画像領域ごとに、前記第１と第２の対応点探索方法とのいずれか一方を選択して適用することを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記ステレオ撮像手段に、
入射光量にかかわらず線形変換特性で光電変換する線形撮像モードでの撮像と、
入射光量に応じて線形変換特性と対数変換特性との間で光電変換特性が変化する複合撮像モードでの撮像とを、周期的に切り替えて実行させるマルチモード撮影制御手段、
をさらに備え、
前記特性判定手段は、
前記複合撮像モードで得たステレオ画像の各画像領域が線形領域であるか対数領域であるかについての判定を、前記線形撮像モードで得たステレオ画像に基づいて実行することを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記特性判定手段が、
前記線形撮像モードで得られた画像における露出オーバー領域を検出する手段と、
前記複合撮像モードで得られた画像において、前記露出オーバー領域に対応する対応領域を特定する手段と、
を備え、
前記対応点探索手段は、
前記複合撮像モードで得られた画像のうち、
前記対応領域については前記第２の対応点探索方法によって対応点探索を行い、
残余の領域については前記第１の対応点探索方法によって対応点探索を行うことを特徴とする画像処理装置。
【請求項５】
請求項３または請求項４に記載の画像処理装置であって、
前記線形撮像モードと前記複合撮像モードとは同一の撮像素子の時間差でのモード切り換えであり、
前記対応点探索手段は、
前記線形撮像モードの連続２回以上の撮像結果を時間的に外挿することにより、前記複合撮像モードにおける前記対応領域の場所を推定することを特徴とする画像処理装置。
【請求項６】
請求項１に記載の画像処理装置であって、
前記対応点探索決定手段が、
前記第１の対応点探索方法による対応点探索を部分的に行うとともに、当該部分的な対応点探索によって得られる対応点の信頼度を示す指標値を求める手段と、
前記指標値が所定の閾値以上となっている場合には前記第１の対応点探索方法を継続する一方、前記指標値が前記閾値未満のときには前記第２の対応点探索方法に切り換える手段と、
を備えることを特徴とする画像処理装置。
【請求項７】
請求項１ないし請求項６の何れかに記載の画像処理装置であって、
前記第１の対応点探索方法は、
前記複数の画像の周波数特性に基づいて、サブピクセル精度での対応点探索を行う方法であることを特徴とする画像処理装置。
【請求項８】
請求項１ないし請求項６の何れかに記載の画像処理装置であって、
前記第２の対応点探索方法は、
前記複数の画像の輝度値の相互関係に基づいて、対応点探索を行う方法であることを特徴とする画像処理装置。
【請求項９】
請求項１ないし請求項６の何れかに記載の画像処理装置であって、
前記第２の対応点探索方法は、
前記複数の画像の周波数特性に基づいて、ピクセル精度で対応点探索を行う方法であることを特徴とする画像処理装置。
【請求項１０】
請求項１ないし請求項９の何れかに記載の画像処理装置と、
前記撮影対象体の３次元画像情報に基づいて、前記撮影対象体が所定の条件を満足するか否かの判定を行う対象体判定手段と、
前記対象体判定手段により前記撮影対象体が前記所定の条件に満足すると判定されたときに、警告を行う警告手段と、
を備えることを特徴とする周辺監視システム。
【請求項１１】
請求項３ないし請求項５のいずれかに記載の画像処理装置と、
前記撮影対象体の３次元画像情報に基づいて、前記撮影対象体が所定の条件を満足するか否かの判定を行う対象体判定手段と、
前記対象体判定手段により前記撮影対象体が前記所定の条件に満足すると判定されたときに、警告を行う警告手段と、
を備え、
前記ステレオ画像における前記撮影対象体が、前記線形領域および前記対数領域のうちの一方の領域だけに局在している場合には、前記マルチモード撮影制御手段は、前記線形撮像モードおよび前記複合撮像モードのうち、当該局在領域に対応する一方の撮像モードでの撮像割合を増加させることを特徴とする周辺監視システム。
【請求項１２】
請求項１０または請求項１１に記載の周辺監視システムであって、
前記警告手段が、
前記複合撮影モードでの撮像で得た画像を所定の画面表示手段に表示させる表示制御手段、
を備えることを特徴とする周辺監視システム。
【請求項１３】
コンピュータにインストールされて実行されることによって、前記コンピュータを、請求項１ないし請求項９のいずれかに記載の画像処理装置として機能させることを特徴とするプログラム。
【請求項１４】
請求項１３に記載のプログラムであって、
前記プログラムを前記コンピュータで実行させることにより、前記コンピュータを、請求項１０ないし請求項１２のいずれかに記載の周辺監視システム用の画像処理装置として機能させることを特徴とするプログラム。
【請求項１】
入射光量に応じて線形変換特性と対数変換特性との間で光電変換特性が切り換わるステレオ撮像手段を用いて撮像されたステレオ画像信号を入力し、前記ステレオ画像信号に含まれる複数の画像間の空間的対応関係を決定して撮像対象体の３次元画像情報を得る画像処理装置であって、
(a) 前記ステレオ画像信号のうち、
線形変換特性で得られた画像領域としての線形領域には、第１の対応点探索方法を適用して前記複数の画像間の対応点探索を行い、
対数変換特性で得られた画像領域としての対数領域には、第２の対応点探索方法を適用して前記複数の画像間の対応点探索を行なう対応点探索手段と、
(b) 前記対応点探索手段による対応点探索結果に基づいて、撮像対象体の３次元画像情報を得る手段と、
を備え、
前記第１の対応点探索方法として、前記第２の対応点探索方法よりも高精度の探索結果を与える方法が採用される一方、
前記第２の対応点探索方法として、前記第１の対応点探索方法よりも高速に探索結果を与える方法が採用されていることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記画像処理装置が、
前記ステレオ画像の各画像領域の特徴量に基づいて、前記ステレオ画像の各画像領域が線形領域であるか対数領域であるかを判定する特性判定手段、
をさらに備え、
前記対応点探索手段は、
前記特性判定手段の判定結果に基づいて、画像領域ごとに、前記第１と第２の対応点探索方法とのいずれか一方を選択して適用することを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記ステレオ撮像手段に、
入射光量にかかわらず線形変換特性で光電変換する線形撮像モードでの撮像と、
入射光量に応じて線形変換特性と対数変換特性との間で光電変換特性が変化する複合撮像モードでの撮像とを、周期的に切り替えて実行させるマルチモード撮影制御手段、
をさらに備え、
前記特性判定手段は、
前記複合撮像モードで得たステレオ画像の各画像領域が線形領域であるか対数領域であるかについての判定を、前記線形撮像モードで得たステレオ画像に基づいて実行することを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記特性判定手段が、
前記線形撮像モードで得られた画像における露出オーバー領域を検出する手段と、
前記複合撮像モードで得られた画像において、前記露出オーバー領域に対応する対応領域を特定する手段と、
を備え、
前記対応点探索手段は、
前記複合撮像モードで得られた画像のうち、
前記対応領域については前記第２の対応点探索方法によって対応点探索を行い、
残余の領域については前記第１の対応点探索方法によって対応点探索を行うことを特徴とする画像処理装置。
【請求項５】
請求項３または請求項４に記載の画像処理装置であって、
前記線形撮像モードと前記複合撮像モードとは同一の撮像素子の時間差でのモード切り換えであり、
前記対応点探索手段は、
前記線形撮像モードの連続２回以上の撮像結果を時間的に外挿することにより、前記複合撮像モードにおける前記対応領域の場所を推定することを特徴とする画像処理装置。
【請求項６】
請求項１に記載の画像処理装置であって、
前記対応点探索決定手段が、
前記第１の対応点探索方法による対応点探索を部分的に行うとともに、当該部分的な対応点探索によって得られる対応点の信頼度を示す指標値を求める手段と、
前記指標値が所定の閾値以上となっている場合には前記第１の対応点探索方法を継続する一方、前記指標値が前記閾値未満のときには前記第２の対応点探索方法に切り換える手段と、
を備えることを特徴とする画像処理装置。
【請求項７】
請求項１ないし請求項６の何れかに記載の画像処理装置であって、
前記第１の対応点探索方法は、
前記複数の画像の周波数特性に基づいて、サブピクセル精度での対応点探索を行う方法であることを特徴とする画像処理装置。
【請求項８】
請求項１ないし請求項６の何れかに記載の画像処理装置であって、
前記第２の対応点探索方法は、
前記複数の画像の輝度値の相互関係に基づいて、対応点探索を行う方法であることを特徴とする画像処理装置。
【請求項９】
請求項１ないし請求項６の何れかに記載の画像処理装置であって、
前記第２の対応点探索方法は、
前記複数の画像の周波数特性に基づいて、ピクセル精度で対応点探索を行う方法であることを特徴とする画像処理装置。
【請求項１０】
請求項１ないし請求項９の何れかに記載の画像処理装置と、
前記撮影対象体の３次元画像情報に基づいて、前記撮影対象体が所定の条件を満足するか否かの判定を行う対象体判定手段と、
前記対象体判定手段により前記撮影対象体が前記所定の条件に満足すると判定されたときに、警告を行う警告手段と、
を備えることを特徴とする周辺監視システム。
【請求項１１】
請求項３ないし請求項５のいずれかに記載の画像処理装置と、
前記撮影対象体の３次元画像情報に基づいて、前記撮影対象体が所定の条件を満足するか否かの判定を行う対象体判定手段と、
前記対象体判定手段により前記撮影対象体が前記所定の条件に満足すると判定されたときに、警告を行う警告手段と、
を備え、
前記ステレオ画像における前記撮影対象体が、前記線形領域および前記対数領域のうちの一方の領域だけに局在している場合には、前記マルチモード撮影制御手段は、前記線形撮像モードおよび前記複合撮像モードのうち、当該局在領域に対応する一方の撮像モードでの撮像割合を増加させることを特徴とする周辺監視システム。
【請求項１２】
請求項１０または請求項１１に記載の周辺監視システムであって、
前記警告手段が、
前記複合撮影モードでの撮像で得た画像を所定の画面表示手段に表示させる表示制御手段、
を備えることを特徴とする周辺監視システム。
【請求項１３】
コンピュータにインストールされて実行されることによって、前記コンピュータを、請求項１ないし請求項９のいずれかに記載の画像処理装置として機能させることを特徴とするプログラム。
【請求項１４】
請求項１３に記載のプログラムであって、
前記プログラムを前記コンピュータで実行させることにより、前記コンピュータを、請求項１０ないし請求項１２のいずれかに記載の周辺監視システム用の画像処理装置として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−２３２９７５（Ｐ２０１１−２３２９７５Ａ）
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願番号】特願２０１０−１０３０８１（Ｐ２０１０−１０３０８１）
【出願日】平成２２年４月２８日（２０１０．４．２８）
【出願人】（３０３０００４０８）コニカミノルタオプト株式会社 (3,255)
【Ｆターム（参考）】
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願日】平成２２年４月２８日（２０１０．４．２８）
【出願人】（３０３０００４０８）コニカミノルタオプト株式会社 (3,255)
【Ｆターム（参考）】
[ Back to top ]