ステレオ画像処理装置
【課題】故障診断用のデータを記憶するメモリ容量を低減し、コスト低減を図りつつ診断効率を向上する。
【解決手段】システム監視部３０がテストデータ記憶部４０のトレーニングデータをデータセレクタ５ａ，５ｂを介してマッチング回路部１０の画像補正部１１ａ，１１ｂに入力し、診断を行う。トレーニングデータは、１フレーム中の縦４ライン分だけのデータを左右画像に対して用意し、縦４ライン分のトレーニングデータを縦方向に繰り返し使用して１フレーム分の診断を行う。マッチング回路部１０で処理されたデータとテストデータ記憶部４０のデータとを比較し、両者が一致すれば正常動作と判定し、両者が一致しない場合、異常発生と判断する。これにより、１フレーム全体の教師データが不要になり、メモリ容量を小規模化し、コストを低減することが可能となる。
【解決手段】システム監視部３０がテストデータ記憶部４０のトレーニングデータをデータセレクタ５ａ，５ｂを介してマッチング回路部１０の画像補正部１１ａ，１１ｂに入力し、診断を行う。トレーニングデータは、１フレーム中の縦４ライン分だけのデータを左右画像に対して用意し、縦４ライン分のトレーニングデータを縦方向に繰り返し使用して１フレーム分の診断を行う。マッチング回路部１０で処理されたデータとテストデータ記憶部４０のデータとを比較し、両者が一致すれば正常動作と判定し、両者が一致しない場合、異常発生と判断する。これにより、１フレーム全体の教師データが不要になり、メモリ容量を小規模化し、コストを低減することが可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオカメラで撮像した複数枚の画像間の相関を演算するマッチング回路部の異常の有無を診断する機能を有するテレオ画像処理装置に関する。
【背景技術】
【０００２】
従来、画像による三次元計測の技術として、ステレオカメラで対象物を異なる位置から撮像した複数の画像間の相関を求め、同一物体に対する視差からステレオカメラの取り付け位置や焦点距離等のカメラパラメータを用いて三角測量の原理により距離を求める、いわゆるステレオ法による技術が知られている。このステレオ法による画像処理技術は、例えば自動車等に適用され、車両に搭載したステレオカメラで車外風景を撮像し、ステレオ撮像した複数枚の画像をステレオ処理して車外の立体物を検出することにより、先行車に追従しながら車間距離を安全に維持したり、障害物との衝突を未然に回避するといった高度な制御を実現することができる。
【０００３】
このようなステレオ画像処理技術の適用においては、複数枚の画像間の相関を演算して対応点の視差を検出するステレオマッチング回路部の信頼性が最も重要であり、このステレオマッチング回路の故障を診断する必要がある。しかしながら、現在のところ、ステレオマッチング回路に特化して故障を診断する技術は確立されておらず、従来の画像処理装置における故障診断の技術を適用せざるを得ないのが現状である。
【０００４】
従来の画像処理装置の故障診断技術としては、例えば、特許文献１や特許文献２に開示の技術があり、これらの技術をステレオマッチング回路の診断に適用することが可能である。特許文献１は、試験用信号を故障監視対象回路に入力し、故障監視対象回路から出力される信号が、入力した試験用信号から推定して不適当な信号の場合、故障診断対象回路に故障があると判断するものである。また、特許文献２は、カラー複写機等の情報処理装置における画像処理部の故障診断に関して、所定のテストデータの入力による処理結果と、正常時に得られるであろう所定の期待値とを比較することにより、故障診断を行うものである。
【特許文献１】特開平１１−１５４１０１号公報
【特許文献２】特開２００４−２８７６７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前述の特許文献１や特許文献２の技術を適用することにより、ステレオマッチング回路の故障診断は可能であるものの、ステレオ画像処理においては、複数枚の画像間でマッチング処理を行うことから、処理すべき複数枚の画像に対応した膨大な試験用データが必要となる。
【０００６】
このため、従来の画像処理における故障診断の技術を一義的に適用するのみでは、試験用データを記憶するためのメモリ容量が増大し、コスト増加の要因となるばかりでなく、診断に要する時間が増大して診断効率が悪化する虞がある。
【０００７】
本発明は上記事情に鑑みてなされたもので、故障診断用のデータを記憶するメモリ容量を低減し、コスト低減を図りつつ診断効率を向上することのできるステレオ画像処理装置を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明による第１のステレオ画像処理装置は、ステレオカメラで撮像した複数枚の画像間の相関を所定のブロック毎に演算し、対応するブロック間の視差を演算するステレオ画像処理装置において、故障診断用のテストデータを、上記画像のフレーム中の上記ブロックのサイズに応じたデータとして記憶するテストデータ記憶手段と、上記相関を演算するマッチング回路部に所定の診断タイミングで上記テストデータを入力し、上記マッチング回路部の出力データが予め記憶した演算結果と一致するか否かにより、上記マッチング回路部の異常の有無を診断する診断手段とを備えることを特徴とする。
【０００９】
本発明による第２のステレオ画像処理装置は、ステレオカメラで撮像した複数枚の画像間の相関を所定のブロック毎に演算し、対応するブロック間の視差を演算するステレオ画像処理装置において、故障診断用のテストデータを、乱数データとして発生する乱数データ発生手段と、上記乱数データを遅延させるディレイ手段と、上記相関を演算するマッチング回路部に所定の診断タイミングで上記乱数データを入力すると共に、同じ乱数データを上記ディレイ手段で遅延させて上記マッチング回路部に入力し、上記マッチング回路部の出力データが一定値であるか否かにより、上記マッチング回路部の異常の有無を診断する診断手段とを備えることを特徴とする。
【００１０】
本発明による第３のステレオ画像処理装置は、ステレオカメラで撮像した複数枚の画像間の相関を所定のブロック毎に演算し、対応するブロック間の視差を演算するステレオ画像処理装置において、上記複数枚の画像のうちの一部の画像データを遅延するディレイ手段と、上記相関を演算するマッチング回路部に所定の診断タイミングで上記複数枚の画像のうちの一部の画像データを入力すると共に、同じ画像データを上記ディレイ手段で遅延させて上記マッチング回路部に入力し、上記マッチング回路部の出力データが一定値であるか否かにより、上記マッチング回路部の異常の有無を診断する診断手段とを備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、故障診断用のデータを記憶するメモリ容量を低減し、コスト低減を図りつつ診断効率を向上することができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して本発明の実施の形態を説明する。図１〜図５は本発明の実施の第１形態に係り、図１はステレオ画像処理装置の構成図、図２は動作モードの説明図、図３はトレーニングデータの適用を示す説明図、図４は演算結果を示す説明図、図５は図１のステレオ画像処理装置の変形例を示す構成図である。
【００１３】
本発明のステレオ画像処理装置は、ステレオマッチング回路部の動作を監視し、故障の有無を診断する機能を有するものであり、本形態においては、特に専用のハードウエアチップとして構成されるステレオマッチング回路部の異常を自己診断する。本形態におけるステレオ画像処理装置１は、図１に示すように、２台のカメラを所定の基線長で略平行に配置して構成されるステレオカメラに対して、２台のカメラのＣＣＤやＣＭＯＳ等の撮像素子２ａ，２ｂからの撮像信号に基づく画像データをマッチング処理する平行ステレオ法による画像処理装置である。
【００１４】
ステレオ画像処理装置１の構成としては、左右一対の画像間でステレオマッチングを行って視差を検出するマッチング回路部１０、マッチング回路部１０の処理結果に基づいて各種認識処理を行う認識処理部２０、マッチング回路部１０の動作を監視して異常の有無を診断する診断手段としてのシステム監視部３０、故障診断用のテストデータを記憶するテストデータ記憶手段としてのテストデータ記憶部４０を主要構成として備えている。テストデータ記憶部４０は、メモリ或いはハードディスク装置等によって構成される。
【００１５】
尚、システム監視部３０は、ステレオ画像処理装置１のマッチング回路部１０や認識処理部２０、その他の回路部と同一筐体内に設けるものに限定されることなく、外部装置として接続するようにしても良い。
【００１６】
各撮像素子２ａ，２ｂからの２系統のアナログ撮像信号は、それぞれ、ビデオプロセス回路３ａ，３ｂに入力され、ノイズ除去、ゲイン調整、γ補正等の処理が施されたビデオ信号がＡ／Ｄ変換器４ａ，４ｂに出力される。Ａ／Ｄ変換器４ａ，４ｂは、アナログビデオ信号を、例えば２５６階調のグレースケールのデジタル画像信号に変換し、このデジタル画像信号を、後述するデータセレクタ５ａ，５ｂを介してマッチング回路部１０の画像補正部１１ａ，１１ｂに出力する。
【００１７】
マッチング回路部１０は、ＦＰＧＡ（Field Programmable Gate Array）等の再構築可能な集積回路、或いはＡＳＩＣ（Application Specific Integrated Circuit）等の特定用途向けにカスタムメイドされる集積回路を用いた専用のファームウエアによって構成されるものである。マッチング回路部１０の機能は、２台のカメラの撮像素子２ａ，２ｂに対応した左右２系統の画像補正部１１ａ，１１ｂと、ステレオマッチング演算部１２と、視差算出部１３とを主として形成されている。
【００１８】
画像補正部１１ａ，１１ｂは、左右画像に対する光学的な感度補正、幾何学的な位置補正、ノイズ除去等を行うものであり、固有ゲインの相違等を補正するためのＬＵＴ（ルックアップテーブル)、カメラ光学系に発生するシェーディング現象による輝度低下を補正するためのシェーディング補正テーブル、各画像の低輝度部分のコントラストを改善するためのログ補正テーブル、２つのカメラ光学系の位置ずれを幾何学的に補正するアフィン変換回路、ノイズ除去用のフィルタ回路等から構成される。
【００１９】
画像補正部１１ａ，１１ｂで補正された左右画像は、画像データメモリ１５に出力されて認識処理における左右元画像として記憶されると共に、ステレオマッチング演算部１２に出力される。ステレオマッチング演算部１２は、例えば、演算器と加算器とをピラミッド状に接続したパイプライン構造の演算回路等を主として構成され、左右画像間の相関値を演算し、対応点を探索する。
【００２０】
左右画像間の相関演算は、例えば周知の領域探索法を用いて、一方の画像を基準画像、他方の画像を比較画像として、基準画像内の或る１つの点の周囲に小領域（ブロック）を設定し、比較画像内の或る点の周囲に同じ大きさの小領域を設け、比較画像上でブロックをずらしながら互いのブロックの相関演算を行う。
【００２１】
この相関演算における評価関数としては、基準画像のブロックと比較画像のブロックとの間のピクセル値（一般的に、各画素の輝度値）の差分（絶対値）の総和（ＳＡＤ；Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いる。ＳＡＤによる評価関数の値は、シティブロック距離と称されるものであり、ブロック間の相関が高い程（類似している程）、シティブロック距離の値が小さくなり、シティブロック距離が最小値を取るブロック間の水平方向のシフト量により、視差が与えられる。
【００２２】
シティブロック距離ＣＢは、画像平面上の位置を、水平方向をｉ座標、垂直方向をｊ座標とする直交座標で定義し、互いの相関度を探索するブロックを、ｉ×ｊ（ｉ＝０〜ｎ，ｊ＝０〜ｎ）の探索ブロックとするとき、以下の（１）式に示すように、基準画像の探索ブロックｍａｉｎ(i,j)と比較画像の探索ブロックｓｕｂ(i,j)とのＳＡＤ値を、ｉ軸上を所定のシフト値ずつずらしながら演算することにより得られる。
ＣＢ＝Σ│ｍａｉｎ(i,j)−ｓｕｂ(i,j)│…(1)
【００２３】
ステレオマッチング演算部１２では、例えば、４×４画素の探索ブロックを対象として、基準画像の探索ブロック（以下、「メインブロック」と記載する）に対して比較画像の探索ブロック（以下、「サブブロック」と記載する）の位置を水平ライン上を１画素ずつずらしながらＳＡＤ演算を行う。
【００２４】
尚、探索ブロック（小領域）間のステレオマッチングについての詳細は、本出願人の特許第３１６７７５２号に詳述されている。
【００２５】
視差算出部１３は、演算器やラッチを組み合わせた最小値検出回路を中心として構成され、ステレオマッチング演算部１２で演算したシティブロック距離が最小値となる点をメインブロックとサブブロックとの相関度が最も高い対応位置（一致点）として求め、この一致点におけるメインブロックとサブブロックとの１画素単位のズレ量（水平方向のメインブロックの位置ｉｍとサブブロックの位置ｉｓとの差）を視差として算出する。算出された視差すなわちズレ量は、画像座標系の対応する位置の輝度値に置き換えられて画像形態の距離画像として生成され、距離データメモリ１６に格納・記憶される。
【００２６】
認識処理部２０は、マイクロコンピュータによって構成され、画像データメモリ１５に格納された撮像元画像と距離データメモリ１６に格納された距離画像とを用いて、三次元の実空間における立体物の形状や種類、位置を認識する。例えば、自動車への適用においては、距離画像内から同一距離データの密集箇所を抽出する等して先行車を認識し、実空間における先行車までの距離を距離データを用いて算出すると共に、距離のフレーム間差分を取ることにより先行車の速度を算出する。認識処理部２０における認識結果は、図示しない他の車両制御装置等に出力され、車間距離制御や障害物回避制御等における制御データとして利用される。
【００２７】
一方、システム監視部３０は、マッチング回路部１０を中心とする画像処理システムとは独立してシステムの動作を監視するものであり、マイクロコンピュータやＦＰＧＡ等によって構成される。システム監視部３０による動作状態の監視は、主として、テストデータ記憶部４０のテストデータを用いたマッチング回路部１０の動作の検証であり、以下の（ａ），（ｂ），（ｃ）に示す条件を考慮し、これらのうちの少なくとも１つの条件に基づいて診断タイミングを決定する。
【００２８】
（ａ）回路素子の温度条件
マッチング回路部１０を形成するＦＰＧＡ（或いはＡＳＩＣ）のチップ温度（或いは雰囲気温度でも良い）を温度センサによって検出し、図２に示すように、温度に応じて、通常動作モード、セーフモード、フェイルモードの各動作モードを切り換える。ここで、通常動作モードは、正常動作を保証される温度（例えば８０°Ｃ）以下で、通常のステレオ画像処理を実行するモードであり、セーフモードは、動作が不安定となる虞がある温度（例えば、８０°Ｃ〜１００°Ｃ）でテストデータを用いた動作検証を行いながらステレオ画像処理を実行するモードである。また、フェイルモードは、動作保障温度（例えば、１００°Ｃ）を超えたとき、或いは超えそうなときに、撮像画像データに代えてテストデータを教師データとして用いることで、システムの動作状況を確認するモードであり、信頼性を向上することができる。
【００２９】
（ｂ）本ステレオ画像処理装置１を搭載するシステム全体の動作条件
本ステレオ画像処理装置１を車両に搭載して運転支援システムを構築する場合には、システム監視部３０によるマッチング回路部１０の検証タイミングを、システム全体の支援動作に影響がないタイミングとする必要がある。従って、その場合には、車両停止時、エンジン始動時、運転支援動作停止中に、テストデータを用いてマッチング回路部１０の動作を診断する。
【００３０】
（ｃ）撮像条件
夜間や逆光時等の条件下においては、ＣＣＤやＣＭＯＳ等の撮像素子２ａ，２ｂに入力される入射光の輝度が撮像素子のダイナミックレンジを外れ、入力データのそのものに意味がなく、処理をしても意味をなさない場合がある。このような場合には、撮像画像データに代えて、テストデータを教師データとして用いることで、システムの動作状態を確認することができる。
【００３１】
また、車両の場合には、例えばトンネルを走っていて出口にきた場合、カメラのシャッタースピードのコントロールが間に合わず、画像が飽和する時間が存在する。このような場合にも、撮像画像データを教師データに切り換えることで、システムの動作状態を確認する。
【００３２】
テストデータ記憶部４０には、マッチング回路部１０の故障診断に用いるテストデータとしてマッチング回路部１０に入力するトレーニングデータ、及びトレーニングデータの演算結果（マッチング回路部１０が正常動作しているときに得られる処理結果）である演算結果データが保持されている。
【００３３】
トレーニングデータは、予め設定された輝度値を有する画像データであり、例えば、０〜２５５階調の輝度をランダムに発生させたモザイク状の画像データとしてテストデータ記憶部４０に記憶されている。また、演算結果データは、トレーニングデータを教師データとしてマッチング回路部１０に入力したときに演算される視差データ（距離データ）であり、演算結果データとしてテストデータ記憶部４０に記憶されている。
【００３４】
システム監視部３０は、所定の診断タイミングでデータセレクタ５ａ，５ｂにデータ切換信号を出力し、テストデータ記憶部４０から読み出したトレーニングデータをデータセレクタ５ａ，５ｂからマッチング回路部１０の画像補正部１１ａ，１１ｂに入力する。システム監視部３０では、マッチング回路部１０で処理されて画像データメモリ１５及び距離データメモリ１６に書き込まれる内容と、テストデータ記憶部４０に保持しているトレーニングデータ及び演算結果データとを比較し、両者が一致すれば正常動作と判定し、両者が一致しない場合、異常発生と判断する。
【００３５】
この場合、テストデータ記憶部４０に保持されるトレーングデータは、カメラ撮像画像の１フレーム以上に対応する教師データとして保持しても良いが、左画像の１フレーム分の教師データ、右画像の１フレーム分の教師データ、及び左右の教師データの演算結果分の１フレーム分のデータを保存する必要があるため、メモリ容量の増大を招く。従って、本形態においては、ステレオマッチングの演算特性を考慮した必要最小限のデータ容量としている。
【００３６】
例えば、撮像画像の１フレームが縦４８０画素×横６４０画素の大きさである場合、図３に示すように、１フレーム中の縦４ライン分だけの教師データを左右画像に対して用意する。前述したように、マッチング回路部１０におけるステレオマッチング演算は、４×４画素の探索ブロックを対象として、基準画像の探索ブロックに対して比較画像の探索ブロックの位置を水平ライン上を１画素ずつずらしながらＳＡＤ演算を行っている。
【００３７】
従って、探索ブロックのサイズに対応して縦４ライン分のトレーニングデータをテストデータ記憶部４０に記憶し、このトレーニングデータを図３に示すように縦方向に繰り返し使用することで、フレームサイズの教師データを生成することができる。この縦４ライン分のトレーニングデータを用いた演算結果は、縦方向に同じ値であるため、図４に示すように、縦４ライン分の演算結果データを保持するのみで、マッチング回路部１０からの出力と繰り返し比較することにより、１フレーム分の診断を行うことができる。
【００３８】
このように、本実施形態においては、ステレオマッチング処理の特性を考慮したサイズのトレーニングデータとすることにより、フレームサイズの教師データを生成することができ、１フレーム全体の教師データが不要になるため、メモリ容量を小規模化することが可能となり、コストを低減することが可能となる。
【００３９】
尚、図１においては、認識処理部２０とシステム監視部３０とは、互いに独立した処理を行う例を示しているが、両者を互いに接続し、互いの異常を相互監視するようにしても良い。すなわち、図５に示すように、認識処理部２０とシステム監視部３０とを互いに双方向通信可能に接続すると共に、ＣＡＮ（Controller Area Network；コントローラ・エリア・ネットワーク）等のネットワークに対して、ＣＡＮデータセレクタ５０を介して接続する。
【００４０】
そして、一定時間毎に互いの状態を監視することにより、一方に異常が発生した場合でも、正常な他方が最低限の演算結果や情報を、ＣＡＮデータセレクタ５０を介して出力することが可能となり、システム全体の信頼性を向上させることが可能となる。
【００４１】
次に、本発明の実施の第２形態について説明する。図６は本発明の実施の第２形態に係り、ステレオ画像処理装置の構成図である。
【００４２】
第２形態は、故障診断用のテストデータとして、左右画像毎に予め決められたデータを保持することなく、同じトレーニングデータを左右に適用するものである。
【００４３】
図６に示すように、第２形態のステレオ画像処理装置１Ａは、第１形態のステレオ画像処理装置１に対して、システム監視部３０Ａを変更すると共に、テストデータを保持するテストデータ記憶部４０を廃止し、ディレイ回路４５を設けたものであり、他の構成は、第１形態と同様である。
【００４４】
図６においては、システム監視部３０Ａから、一方の撮像素子２ａの撮像系統のデータセレクタ５ａに、トレーニングデータを出力すると共に、この同じトレーニングデータをディレイ回路４５を介して他方の撮像素子２ｂの撮像系統のデータセレクタ５ｂに出力する例を示している。尚、ディレイ回路４５は、逆に、撮像素子２ａの撮像系統側に設けても良い。
【００４５】
システム監視部３０Ａは、診断手段としての機能に加え、トレーニングデータを乱数データとして発生する乱数データ発生手段としての機能を有しており、同じ乱数トレーニングデータが２つの経路を通ってマッチング回路部１０に入力される。一方の経路は、直接データセレクタ５ａに入力される経路であり、他方の経路は、ディレイ回路４５を通ってデータセレクタ５ｂに入力される経路である。ディレイ回路４５は、システム監視部３０Ａによって発生された乱数トレーニングデータに対して、水平方向すなわちステレオマッチングにおける一致点の探索方向に各乱数の位置が移動されたトレーニングデータを生成する。
【００４６】
これらの乱数トレーニングデータを、正常にステレオマッチング処理すると、演算結果は全てのブロックで或る一定の定数となる。或る一定の定数とは、ディレイ回路４５でのディレイ分に相当する値であり、システム監視部３０Ａは、この定数を演算結果データとして記憶・保持しておく。
【００４７】
システム監視部３０Ａは、診断タイミングでデータセレクタ５ａ，５ｂにデータ切換信号を出力し、マッチング回路部１０に、乱数トレーニングデータを直接及び遅延させて入力したとき、その演算結果がディレイ回路４５でのディレイ分に相当する一定の定数となるか否かを確認することにより、マッチング回路部１０が正常に動作しているか否かを診断し、乱数トレーニングデータの入力結果が一定の定数になったとき、正常であると判断する。
【００４８】
第２形態においては、システム監視部３０Ａにて乱数トレーニングデータを発生し、それを教師データとすることで、第１形態に比較して、診断のテストデータを保持するメモリ容量をより低減することができ、コストを低減しつつシステムの信頼性を向上させることが可能となる。
【００４９】
更に、第２形態においては、第１形態に比較して診断処理が簡素化されることから、システム監視部３０の機能を、認識処理部２０で実現するようにしても良く、部品点数を削減して、よりコスト低減を図ることが可能となる。
【００５０】
次に、本発明の実施の第３形態について説明する。図７は本発明の実施の第３形態に係り、ステレオ画像処理装置の構成図である。
【００５１】
第３形態は、故障診断用のテストデータとして、実際の撮像画像データを用いるものである。すなわち、図７に示すように、第３形態のステレオ画像処理装置１Ｂは、第１形態のステレオ画像処理装置１に対して、システム監視部３０、テストデータ記憶部４０、２系統の撮像系統に対応するデータセレクタ５ａ，５ｂを廃止し、認識処理部２０Ａに、通常のステレオ処理結果に基づく認識処理とマッチング回路１０の診断処理との２つの処理を実行する機能を備える。
【００５２】
認識処理部２０Ａによるマッチング回路１０の故障診断は、１つのデータセレクタ４６とディレイ回路４７とを用いて実施される。図７においては、一方の撮像系統のＡ／Ｄ変換器４ａの出力をマッチング回路部１０の画像補正部１１ａに入力すると共に、ディレイ回路４７を介してデータセレクタ４６へ入力し、他方の撮像系統のＡ／Ｄ変換器４ｂの出力をデータセレクタ４６へ入力し、データセレクタ４６の出力をマッチング回路部１０の画像補正部１１ｂに入力する例を示している。ディレイ回路４７は、Ａ／Ｄ変換器４ａから入力される画像に対して各画素位置が水平方向に移動された画像を生成する。尚、ディレイ回路４７及びデータセレクタ４６を挿入する撮像系統は、逆でも良い。
【００５３】
第３形態では、マッチング回路部１０への教師データとして一方の撮像素子の画像データを用いるようにしており、撮像画像データを直接マッチング回路部１０に入力する経路と、ディレイ回路４７及びデータセレクタ４６を経由して入力する経路の２つの経路が存在する。これらのデータを、マッチング回路部１０で処理を行うと、演算結果はすべてのブロックで、或る一定の定数となる。或る一定の定数とは、ディレイ回路４７のディレイ分に相当するものである。
【００５４】
認識処理部２０は、認識処理を行っていない所定の診断タイミングでデータセレクタ４６にデータ切換信号を出力し、一方の撮像素子２ａで撮像した画像データを、マッチング回路部１０の一方の画像補正部１１ａに入力すると共に、同じ画像データを、ディレイ回路４７で遅延させてデータセレクタ４６を介してマッチング回路部１０の他方の画像補正部１１ｂに入力する。
【００５５】
そして、認識処理部２０Ａは、マッチング回路部１０の演算結果がディレイ回路４７でのディレイ分に相当する或る定数であるか否かを確認することにより、マッチング回路部１０が正常に動作しているか確認する。マッチング回路部１０の演算結果がディレイ回路４７でのディレイ分に相当する定数であれば、マッチング回路部１０は正常であると判断する。
【００５６】
第３形態では、一方の撮像素子の画像データを分岐、遅延を持たせて教師データとすることにより、第１形態のようなテストデータ記憶部４０を必要とせず、且つシステム監視部３０も必要とせず、非常にコンパクトで低コストな構成としつつ、システムの信頼性を向上させることが可能となる。
【００５７】
この場合、ディレイ回路４７のディレイ量を固定値とすることなく、図７に破線で示すように、認識処理部２０Ａからディレイ回路４７に出力するコントロール信号によってディレイ量を可変できるようにしても良く、認識処理部２０Ａは、必要に応じて、フレーム毎にディレイ回路４７を制御し、ディレイ回路４７のディレイ量を変化させる。これらのデータをマッチング回路部１０で処理すると、演算結果は全てのブロックで、認識処理部２０Ａがディレイ回路４７に指示をしたディレイ量が解となる。
【００５８】
従って、認識処理部２０Ａは、マッチング回路部１０の演算結果がディレイ回路４７に指示したディレイ量に相当する定数であるかを確認することにより、マッチング回路部１０が正常に動作しているか否かを確認することができる。このディレイ回路４７のディレイ量を可変することにより、ステレオマッチングのマッチングポイント探索スキャン量の全ての演算検証が可能となり、システムの信頼性を更に向上させることが可能となる。
【図面の簡単な説明】
【００５９】
【図１】本発明の実施の第１形態に係り、ステレオ画像処理装置の構成図
【図２】同上、動作モードの説明図
【図３】同上、トレーニングデータの適用を示す説明図
【図４】同上、演算結果を示す説明図
【図５】同上、図１のステレオ画像処理装置の変形例を示す構成図
【図６】本発明の実施の第２形態に係り、ステレオ画像処理装置の構成図
【図７】本発明の実施の第３形態に係り、ステレオ画像処理装置の構成図
【符号の説明】
【００６０】
１，１Ａ，１Ｂ ステレオ画像処理装置
１０ マッチング回路部
２０，２０Ａ 認識処理部
３０，３０Ａ システム監視部
４０ テストデータ記憶部
４５，４７ ディレイ回路
【技術分野】
【０００１】
本発明は、ステレオカメラで撮像した複数枚の画像間の相関を演算するマッチング回路部の異常の有無を診断する機能を有するテレオ画像処理装置に関する。
【背景技術】
【０００２】
従来、画像による三次元計測の技術として、ステレオカメラで対象物を異なる位置から撮像した複数の画像間の相関を求め、同一物体に対する視差からステレオカメラの取り付け位置や焦点距離等のカメラパラメータを用いて三角測量の原理により距離を求める、いわゆるステレオ法による技術が知られている。このステレオ法による画像処理技術は、例えば自動車等に適用され、車両に搭載したステレオカメラで車外風景を撮像し、ステレオ撮像した複数枚の画像をステレオ処理して車外の立体物を検出することにより、先行車に追従しながら車間距離を安全に維持したり、障害物との衝突を未然に回避するといった高度な制御を実現することができる。
【０００３】
このようなステレオ画像処理技術の適用においては、複数枚の画像間の相関を演算して対応点の視差を検出するステレオマッチング回路部の信頼性が最も重要であり、このステレオマッチング回路の故障を診断する必要がある。しかしながら、現在のところ、ステレオマッチング回路に特化して故障を診断する技術は確立されておらず、従来の画像処理装置における故障診断の技術を適用せざるを得ないのが現状である。
【０００４】
従来の画像処理装置の故障診断技術としては、例えば、特許文献１や特許文献２に開示の技術があり、これらの技術をステレオマッチング回路の診断に適用することが可能である。特許文献１は、試験用信号を故障監視対象回路に入力し、故障監視対象回路から出力される信号が、入力した試験用信号から推定して不適当な信号の場合、故障診断対象回路に故障があると判断するものである。また、特許文献２は、カラー複写機等の情報処理装置における画像処理部の故障診断に関して、所定のテストデータの入力による処理結果と、正常時に得られるであろう所定の期待値とを比較することにより、故障診断を行うものである。
【特許文献１】特開平１１−１５４１０１号公報
【特許文献２】特開２００４−２８７６７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前述の特許文献１や特許文献２の技術を適用することにより、ステレオマッチング回路の故障診断は可能であるものの、ステレオ画像処理においては、複数枚の画像間でマッチング処理を行うことから、処理すべき複数枚の画像に対応した膨大な試験用データが必要となる。
【０００６】
このため、従来の画像処理における故障診断の技術を一義的に適用するのみでは、試験用データを記憶するためのメモリ容量が増大し、コスト増加の要因となるばかりでなく、診断に要する時間が増大して診断効率が悪化する虞がある。
【０００７】
本発明は上記事情に鑑みてなされたもので、故障診断用のデータを記憶するメモリ容量を低減し、コスト低減を図りつつ診断効率を向上することのできるステレオ画像処理装置を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明による第１のステレオ画像処理装置は、ステレオカメラで撮像した複数枚の画像間の相関を所定のブロック毎に演算し、対応するブロック間の視差を演算するステレオ画像処理装置において、故障診断用のテストデータを、上記画像のフレーム中の上記ブロックのサイズに応じたデータとして記憶するテストデータ記憶手段と、上記相関を演算するマッチング回路部に所定の診断タイミングで上記テストデータを入力し、上記マッチング回路部の出力データが予め記憶した演算結果と一致するか否かにより、上記マッチング回路部の異常の有無を診断する診断手段とを備えることを特徴とする。
【０００９】
本発明による第２のステレオ画像処理装置は、ステレオカメラで撮像した複数枚の画像間の相関を所定のブロック毎に演算し、対応するブロック間の視差を演算するステレオ画像処理装置において、故障診断用のテストデータを、乱数データとして発生する乱数データ発生手段と、上記乱数データを遅延させるディレイ手段と、上記相関を演算するマッチング回路部に所定の診断タイミングで上記乱数データを入力すると共に、同じ乱数データを上記ディレイ手段で遅延させて上記マッチング回路部に入力し、上記マッチング回路部の出力データが一定値であるか否かにより、上記マッチング回路部の異常の有無を診断する診断手段とを備えることを特徴とする。
【００１０】
本発明による第３のステレオ画像処理装置は、ステレオカメラで撮像した複数枚の画像間の相関を所定のブロック毎に演算し、対応するブロック間の視差を演算するステレオ画像処理装置において、上記複数枚の画像のうちの一部の画像データを遅延するディレイ手段と、上記相関を演算するマッチング回路部に所定の診断タイミングで上記複数枚の画像のうちの一部の画像データを入力すると共に、同じ画像データを上記ディレイ手段で遅延させて上記マッチング回路部に入力し、上記マッチング回路部の出力データが一定値であるか否かにより、上記マッチング回路部の異常の有無を診断する診断手段とを備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、故障診断用のデータを記憶するメモリ容量を低減し、コスト低減を図りつつ診断効率を向上することができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して本発明の実施の形態を説明する。図１〜図５は本発明の実施の第１形態に係り、図１はステレオ画像処理装置の構成図、図２は動作モードの説明図、図３はトレーニングデータの適用を示す説明図、図４は演算結果を示す説明図、図５は図１のステレオ画像処理装置の変形例を示す構成図である。
【００１３】
本発明のステレオ画像処理装置は、ステレオマッチング回路部の動作を監視し、故障の有無を診断する機能を有するものであり、本形態においては、特に専用のハードウエアチップとして構成されるステレオマッチング回路部の異常を自己診断する。本形態におけるステレオ画像処理装置１は、図１に示すように、２台のカメラを所定の基線長で略平行に配置して構成されるステレオカメラに対して、２台のカメラのＣＣＤやＣＭＯＳ等の撮像素子２ａ，２ｂからの撮像信号に基づく画像データをマッチング処理する平行ステレオ法による画像処理装置である。
【００１４】
ステレオ画像処理装置１の構成としては、左右一対の画像間でステレオマッチングを行って視差を検出するマッチング回路部１０、マッチング回路部１０の処理結果に基づいて各種認識処理を行う認識処理部２０、マッチング回路部１０の動作を監視して異常の有無を診断する診断手段としてのシステム監視部３０、故障診断用のテストデータを記憶するテストデータ記憶手段としてのテストデータ記憶部４０を主要構成として備えている。テストデータ記憶部４０は、メモリ或いはハードディスク装置等によって構成される。
【００１５】
尚、システム監視部３０は、ステレオ画像処理装置１のマッチング回路部１０や認識処理部２０、その他の回路部と同一筐体内に設けるものに限定されることなく、外部装置として接続するようにしても良い。
【００１６】
各撮像素子２ａ，２ｂからの２系統のアナログ撮像信号は、それぞれ、ビデオプロセス回路３ａ，３ｂに入力され、ノイズ除去、ゲイン調整、γ補正等の処理が施されたビデオ信号がＡ／Ｄ変換器４ａ，４ｂに出力される。Ａ／Ｄ変換器４ａ，４ｂは、アナログビデオ信号を、例えば２５６階調のグレースケールのデジタル画像信号に変換し、このデジタル画像信号を、後述するデータセレクタ５ａ，５ｂを介してマッチング回路部１０の画像補正部１１ａ，１１ｂに出力する。
【００１７】
マッチング回路部１０は、ＦＰＧＡ（Field Programmable Gate Array）等の再構築可能な集積回路、或いはＡＳＩＣ（Application Specific Integrated Circuit）等の特定用途向けにカスタムメイドされる集積回路を用いた専用のファームウエアによって構成されるものである。マッチング回路部１０の機能は、２台のカメラの撮像素子２ａ，２ｂに対応した左右２系統の画像補正部１１ａ，１１ｂと、ステレオマッチング演算部１２と、視差算出部１３とを主として形成されている。
【００１８】
画像補正部１１ａ，１１ｂは、左右画像に対する光学的な感度補正、幾何学的な位置補正、ノイズ除去等を行うものであり、固有ゲインの相違等を補正するためのＬＵＴ（ルックアップテーブル)、カメラ光学系に発生するシェーディング現象による輝度低下を補正するためのシェーディング補正テーブル、各画像の低輝度部分のコントラストを改善するためのログ補正テーブル、２つのカメラ光学系の位置ずれを幾何学的に補正するアフィン変換回路、ノイズ除去用のフィルタ回路等から構成される。
【００１９】
画像補正部１１ａ，１１ｂで補正された左右画像は、画像データメモリ１５に出力されて認識処理における左右元画像として記憶されると共に、ステレオマッチング演算部１２に出力される。ステレオマッチング演算部１２は、例えば、演算器と加算器とをピラミッド状に接続したパイプライン構造の演算回路等を主として構成され、左右画像間の相関値を演算し、対応点を探索する。
【００２０】
左右画像間の相関演算は、例えば周知の領域探索法を用いて、一方の画像を基準画像、他方の画像を比較画像として、基準画像内の或る１つの点の周囲に小領域（ブロック）を設定し、比較画像内の或る点の周囲に同じ大きさの小領域を設け、比較画像上でブロックをずらしながら互いのブロックの相関演算を行う。
【００２１】
この相関演算における評価関数としては、基準画像のブロックと比較画像のブロックとの間のピクセル値（一般的に、各画素の輝度値）の差分（絶対値）の総和（ＳＡＤ；Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いる。ＳＡＤによる評価関数の値は、シティブロック距離と称されるものであり、ブロック間の相関が高い程（類似している程）、シティブロック距離の値が小さくなり、シティブロック距離が最小値を取るブロック間の水平方向のシフト量により、視差が与えられる。
【００２２】
シティブロック距離ＣＢは、画像平面上の位置を、水平方向をｉ座標、垂直方向をｊ座標とする直交座標で定義し、互いの相関度を探索するブロックを、ｉ×ｊ（ｉ＝０〜ｎ，ｊ＝０〜ｎ）の探索ブロックとするとき、以下の（１）式に示すように、基準画像の探索ブロックｍａｉｎ(i,j)と比較画像の探索ブロックｓｕｂ(i,j)とのＳＡＤ値を、ｉ軸上を所定のシフト値ずつずらしながら演算することにより得られる。
ＣＢ＝Σ│ｍａｉｎ(i,j)−ｓｕｂ(i,j)│…(1)
【００２３】
ステレオマッチング演算部１２では、例えば、４×４画素の探索ブロックを対象として、基準画像の探索ブロック（以下、「メインブロック」と記載する）に対して比較画像の探索ブロック（以下、「サブブロック」と記載する）の位置を水平ライン上を１画素ずつずらしながらＳＡＤ演算を行う。
【００２４】
尚、探索ブロック（小領域）間のステレオマッチングについての詳細は、本出願人の特許第３１６７７５２号に詳述されている。
【００２５】
視差算出部１３は、演算器やラッチを組み合わせた最小値検出回路を中心として構成され、ステレオマッチング演算部１２で演算したシティブロック距離が最小値となる点をメインブロックとサブブロックとの相関度が最も高い対応位置（一致点）として求め、この一致点におけるメインブロックとサブブロックとの１画素単位のズレ量（水平方向のメインブロックの位置ｉｍとサブブロックの位置ｉｓとの差）を視差として算出する。算出された視差すなわちズレ量は、画像座標系の対応する位置の輝度値に置き換えられて画像形態の距離画像として生成され、距離データメモリ１６に格納・記憶される。
【００２６】
認識処理部２０は、マイクロコンピュータによって構成され、画像データメモリ１５に格納された撮像元画像と距離データメモリ１６に格納された距離画像とを用いて、三次元の実空間における立体物の形状や種類、位置を認識する。例えば、自動車への適用においては、距離画像内から同一距離データの密集箇所を抽出する等して先行車を認識し、実空間における先行車までの距離を距離データを用いて算出すると共に、距離のフレーム間差分を取ることにより先行車の速度を算出する。認識処理部２０における認識結果は、図示しない他の車両制御装置等に出力され、車間距離制御や障害物回避制御等における制御データとして利用される。
【００２７】
一方、システム監視部３０は、マッチング回路部１０を中心とする画像処理システムとは独立してシステムの動作を監視するものであり、マイクロコンピュータやＦＰＧＡ等によって構成される。システム監視部３０による動作状態の監視は、主として、テストデータ記憶部４０のテストデータを用いたマッチング回路部１０の動作の検証であり、以下の（ａ），（ｂ），（ｃ）に示す条件を考慮し、これらのうちの少なくとも１つの条件に基づいて診断タイミングを決定する。
【００２８】
（ａ）回路素子の温度条件
マッチング回路部１０を形成するＦＰＧＡ（或いはＡＳＩＣ）のチップ温度（或いは雰囲気温度でも良い）を温度センサによって検出し、図２に示すように、温度に応じて、通常動作モード、セーフモード、フェイルモードの各動作モードを切り換える。ここで、通常動作モードは、正常動作を保証される温度（例えば８０°Ｃ）以下で、通常のステレオ画像処理を実行するモードであり、セーフモードは、動作が不安定となる虞がある温度（例えば、８０°Ｃ〜１００°Ｃ）でテストデータを用いた動作検証を行いながらステレオ画像処理を実行するモードである。また、フェイルモードは、動作保障温度（例えば、１００°Ｃ）を超えたとき、或いは超えそうなときに、撮像画像データに代えてテストデータを教師データとして用いることで、システムの動作状況を確認するモードであり、信頼性を向上することができる。
【００２９】
（ｂ）本ステレオ画像処理装置１を搭載するシステム全体の動作条件
本ステレオ画像処理装置１を車両に搭載して運転支援システムを構築する場合には、システム監視部３０によるマッチング回路部１０の検証タイミングを、システム全体の支援動作に影響がないタイミングとする必要がある。従って、その場合には、車両停止時、エンジン始動時、運転支援動作停止中に、テストデータを用いてマッチング回路部１０の動作を診断する。
【００３０】
（ｃ）撮像条件
夜間や逆光時等の条件下においては、ＣＣＤやＣＭＯＳ等の撮像素子２ａ，２ｂに入力される入射光の輝度が撮像素子のダイナミックレンジを外れ、入力データのそのものに意味がなく、処理をしても意味をなさない場合がある。このような場合には、撮像画像データに代えて、テストデータを教師データとして用いることで、システムの動作状態を確認することができる。
【００３１】
また、車両の場合には、例えばトンネルを走っていて出口にきた場合、カメラのシャッタースピードのコントロールが間に合わず、画像が飽和する時間が存在する。このような場合にも、撮像画像データを教師データに切り換えることで、システムの動作状態を確認する。
【００３２】
テストデータ記憶部４０には、マッチング回路部１０の故障診断に用いるテストデータとしてマッチング回路部１０に入力するトレーニングデータ、及びトレーニングデータの演算結果（マッチング回路部１０が正常動作しているときに得られる処理結果）である演算結果データが保持されている。
【００３３】
トレーニングデータは、予め設定された輝度値を有する画像データであり、例えば、０〜２５５階調の輝度をランダムに発生させたモザイク状の画像データとしてテストデータ記憶部４０に記憶されている。また、演算結果データは、トレーニングデータを教師データとしてマッチング回路部１０に入力したときに演算される視差データ（距離データ）であり、演算結果データとしてテストデータ記憶部４０に記憶されている。
【００３４】
システム監視部３０は、所定の診断タイミングでデータセレクタ５ａ，５ｂにデータ切換信号を出力し、テストデータ記憶部４０から読み出したトレーニングデータをデータセレクタ５ａ，５ｂからマッチング回路部１０の画像補正部１１ａ，１１ｂに入力する。システム監視部３０では、マッチング回路部１０で処理されて画像データメモリ１５及び距離データメモリ１６に書き込まれる内容と、テストデータ記憶部４０に保持しているトレーニングデータ及び演算結果データとを比較し、両者が一致すれば正常動作と判定し、両者が一致しない場合、異常発生と判断する。
【００３５】
この場合、テストデータ記憶部４０に保持されるトレーングデータは、カメラ撮像画像の１フレーム以上に対応する教師データとして保持しても良いが、左画像の１フレーム分の教師データ、右画像の１フレーム分の教師データ、及び左右の教師データの演算結果分の１フレーム分のデータを保存する必要があるため、メモリ容量の増大を招く。従って、本形態においては、ステレオマッチングの演算特性を考慮した必要最小限のデータ容量としている。
【００３６】
例えば、撮像画像の１フレームが縦４８０画素×横６４０画素の大きさである場合、図３に示すように、１フレーム中の縦４ライン分だけの教師データを左右画像に対して用意する。前述したように、マッチング回路部１０におけるステレオマッチング演算は、４×４画素の探索ブロックを対象として、基準画像の探索ブロックに対して比較画像の探索ブロックの位置を水平ライン上を１画素ずつずらしながらＳＡＤ演算を行っている。
【００３７】
従って、探索ブロックのサイズに対応して縦４ライン分のトレーニングデータをテストデータ記憶部４０に記憶し、このトレーニングデータを図３に示すように縦方向に繰り返し使用することで、フレームサイズの教師データを生成することができる。この縦４ライン分のトレーニングデータを用いた演算結果は、縦方向に同じ値であるため、図４に示すように、縦４ライン分の演算結果データを保持するのみで、マッチング回路部１０からの出力と繰り返し比較することにより、１フレーム分の診断を行うことができる。
【００３８】
このように、本実施形態においては、ステレオマッチング処理の特性を考慮したサイズのトレーニングデータとすることにより、フレームサイズの教師データを生成することができ、１フレーム全体の教師データが不要になるため、メモリ容量を小規模化することが可能となり、コストを低減することが可能となる。
【００３９】
尚、図１においては、認識処理部２０とシステム監視部３０とは、互いに独立した処理を行う例を示しているが、両者を互いに接続し、互いの異常を相互監視するようにしても良い。すなわち、図５に示すように、認識処理部２０とシステム監視部３０とを互いに双方向通信可能に接続すると共に、ＣＡＮ（Controller Area Network；コントローラ・エリア・ネットワーク）等のネットワークに対して、ＣＡＮデータセレクタ５０を介して接続する。
【００４０】
そして、一定時間毎に互いの状態を監視することにより、一方に異常が発生した場合でも、正常な他方が最低限の演算結果や情報を、ＣＡＮデータセレクタ５０を介して出力することが可能となり、システム全体の信頼性を向上させることが可能となる。
【００４１】
次に、本発明の実施の第２形態について説明する。図６は本発明の実施の第２形態に係り、ステレオ画像処理装置の構成図である。
【００４２】
第２形態は、故障診断用のテストデータとして、左右画像毎に予め決められたデータを保持することなく、同じトレーニングデータを左右に適用するものである。
【００４３】
図６に示すように、第２形態のステレオ画像処理装置１Ａは、第１形態のステレオ画像処理装置１に対して、システム監視部３０Ａを変更すると共に、テストデータを保持するテストデータ記憶部４０を廃止し、ディレイ回路４５を設けたものであり、他の構成は、第１形態と同様である。
【００４４】
図６においては、システム監視部３０Ａから、一方の撮像素子２ａの撮像系統のデータセレクタ５ａに、トレーニングデータを出力すると共に、この同じトレーニングデータをディレイ回路４５を介して他方の撮像素子２ｂの撮像系統のデータセレクタ５ｂに出力する例を示している。尚、ディレイ回路４５は、逆に、撮像素子２ａの撮像系統側に設けても良い。
【００４５】
システム監視部３０Ａは、診断手段としての機能に加え、トレーニングデータを乱数データとして発生する乱数データ発生手段としての機能を有しており、同じ乱数トレーニングデータが２つの経路を通ってマッチング回路部１０に入力される。一方の経路は、直接データセレクタ５ａに入力される経路であり、他方の経路は、ディレイ回路４５を通ってデータセレクタ５ｂに入力される経路である。ディレイ回路４５は、システム監視部３０Ａによって発生された乱数トレーニングデータに対して、水平方向すなわちステレオマッチングにおける一致点の探索方向に各乱数の位置が移動されたトレーニングデータを生成する。
【００４６】
これらの乱数トレーニングデータを、正常にステレオマッチング処理すると、演算結果は全てのブロックで或る一定の定数となる。或る一定の定数とは、ディレイ回路４５でのディレイ分に相当する値であり、システム監視部３０Ａは、この定数を演算結果データとして記憶・保持しておく。
【００４７】
システム監視部３０Ａは、診断タイミングでデータセレクタ５ａ，５ｂにデータ切換信号を出力し、マッチング回路部１０に、乱数トレーニングデータを直接及び遅延させて入力したとき、その演算結果がディレイ回路４５でのディレイ分に相当する一定の定数となるか否かを確認することにより、マッチング回路部１０が正常に動作しているか否かを診断し、乱数トレーニングデータの入力結果が一定の定数になったとき、正常であると判断する。
【００４８】
第２形態においては、システム監視部３０Ａにて乱数トレーニングデータを発生し、それを教師データとすることで、第１形態に比較して、診断のテストデータを保持するメモリ容量をより低減することができ、コストを低減しつつシステムの信頼性を向上させることが可能となる。
【００４９】
更に、第２形態においては、第１形態に比較して診断処理が簡素化されることから、システム監視部３０の機能を、認識処理部２０で実現するようにしても良く、部品点数を削減して、よりコスト低減を図ることが可能となる。
【００５０】
次に、本発明の実施の第３形態について説明する。図７は本発明の実施の第３形態に係り、ステレオ画像処理装置の構成図である。
【００５１】
第３形態は、故障診断用のテストデータとして、実際の撮像画像データを用いるものである。すなわち、図７に示すように、第３形態のステレオ画像処理装置１Ｂは、第１形態のステレオ画像処理装置１に対して、システム監視部３０、テストデータ記憶部４０、２系統の撮像系統に対応するデータセレクタ５ａ，５ｂを廃止し、認識処理部２０Ａに、通常のステレオ処理結果に基づく認識処理とマッチング回路１０の診断処理との２つの処理を実行する機能を備える。
【００５２】
認識処理部２０Ａによるマッチング回路１０の故障診断は、１つのデータセレクタ４６とディレイ回路４７とを用いて実施される。図７においては、一方の撮像系統のＡ／Ｄ変換器４ａの出力をマッチング回路部１０の画像補正部１１ａに入力すると共に、ディレイ回路４７を介してデータセレクタ４６へ入力し、他方の撮像系統のＡ／Ｄ変換器４ｂの出力をデータセレクタ４６へ入力し、データセレクタ４６の出力をマッチング回路部１０の画像補正部１１ｂに入力する例を示している。ディレイ回路４７は、Ａ／Ｄ変換器４ａから入力される画像に対して各画素位置が水平方向に移動された画像を生成する。尚、ディレイ回路４７及びデータセレクタ４６を挿入する撮像系統は、逆でも良い。
【００５３】
第３形態では、マッチング回路部１０への教師データとして一方の撮像素子の画像データを用いるようにしており、撮像画像データを直接マッチング回路部１０に入力する経路と、ディレイ回路４７及びデータセレクタ４６を経由して入力する経路の２つの経路が存在する。これらのデータを、マッチング回路部１０で処理を行うと、演算結果はすべてのブロックで、或る一定の定数となる。或る一定の定数とは、ディレイ回路４７のディレイ分に相当するものである。
【００５４】
認識処理部２０は、認識処理を行っていない所定の診断タイミングでデータセレクタ４６にデータ切換信号を出力し、一方の撮像素子２ａで撮像した画像データを、マッチング回路部１０の一方の画像補正部１１ａに入力すると共に、同じ画像データを、ディレイ回路４７で遅延させてデータセレクタ４６を介してマッチング回路部１０の他方の画像補正部１１ｂに入力する。
【００５５】
そして、認識処理部２０Ａは、マッチング回路部１０の演算結果がディレイ回路４７でのディレイ分に相当する或る定数であるか否かを確認することにより、マッチング回路部１０が正常に動作しているか確認する。マッチング回路部１０の演算結果がディレイ回路４７でのディレイ分に相当する定数であれば、マッチング回路部１０は正常であると判断する。
【００５６】
第３形態では、一方の撮像素子の画像データを分岐、遅延を持たせて教師データとすることにより、第１形態のようなテストデータ記憶部４０を必要とせず、且つシステム監視部３０も必要とせず、非常にコンパクトで低コストな構成としつつ、システムの信頼性を向上させることが可能となる。
【００５７】
この場合、ディレイ回路４７のディレイ量を固定値とすることなく、図７に破線で示すように、認識処理部２０Ａからディレイ回路４７に出力するコントロール信号によってディレイ量を可変できるようにしても良く、認識処理部２０Ａは、必要に応じて、フレーム毎にディレイ回路４７を制御し、ディレイ回路４７のディレイ量を変化させる。これらのデータをマッチング回路部１０で処理すると、演算結果は全てのブロックで、認識処理部２０Ａがディレイ回路４７に指示をしたディレイ量が解となる。
【００５８】
従って、認識処理部２０Ａは、マッチング回路部１０の演算結果がディレイ回路４７に指示したディレイ量に相当する定数であるかを確認することにより、マッチング回路部１０が正常に動作しているか否かを確認することができる。このディレイ回路４７のディレイ量を可変することにより、ステレオマッチングのマッチングポイント探索スキャン量の全ての演算検証が可能となり、システムの信頼性を更に向上させることが可能となる。
【図面の簡単な説明】
【００５９】
【図１】本発明の実施の第１形態に係り、ステレオ画像処理装置の構成図
【図２】同上、動作モードの説明図
【図３】同上、トレーニングデータの適用を示す説明図
【図４】同上、演算結果を示す説明図
【図５】同上、図１のステレオ画像処理装置の変形例を示す構成図
【図６】本発明の実施の第２形態に係り、ステレオ画像処理装置の構成図
【図７】本発明の実施の第３形態に係り、ステレオ画像処理装置の構成図
【符号の説明】
【００６０】
１，１Ａ，１Ｂ ステレオ画像処理装置
１０ マッチング回路部
２０，２０Ａ 認識処理部
３０，３０Ａ システム監視部
４０ テストデータ記憶部
４５，４７ ディレイ回路
【特許請求の範囲】
【請求項１】
ステレオカメラで撮像した複数枚の画像間の相関を所定のブロック毎に演算し、対応するブロック間の視差を演算するステレオ画像処理装置において、
故障診断用のテストデータを、上記画像のフレーム中の上記ブロックのサイズに応じたデータとして記憶するテストデータ記憶手段と、
上記相関を演算するマッチング回路部に所定の診断タイミングで上記テストデータを入力し、上記マッチング回路部の出力データが予め記憶した演算結果と一致するか否かにより、上記マッチング回路部の異常の有無を診断する診断手段と
を備えることを特徴とするステレオ画像処理装置。
【請求項２】
ステレオカメラで撮像した複数枚の画像間の相関を所定のブロック毎に演算し、対応するブロック間の視差を演算するステレオ画像処理装置において、
故障診断用のテストデータを、乱数データとして発生する乱数データ発生手段と、
上記乱数データを遅延させるディレイ手段と、
上記相関を演算するマッチング回路部に所定の診断タイミングで上記乱数データを入力すると共に、同じ乱数データを上記ディレイ手段で遅延させて上記マッチング回路部に入力し、上記マッチング回路部の出力データが一定値であるか否かにより、上記マッチング回路部の異常の有無を診断する診断手段と
を備えることを特徴とするステレオ画像処理装置。
【請求項３】
ステレオカメラで撮像した複数枚の画像間の相関を所定のブロック毎に演算し、対応するブロック間の視差を演算するステレオ画像処理装置において、
上記複数枚の画像のうちの一部の画像データを遅延するディレイ手段と、
上記相関を演算するマッチング回路部に所定の診断タイミングで上記複数枚の画像のうちの一部の画像データを入力すると共に、同じ画像データを上記ディレイ手段で遅延させて上記マッチング回路部に入力し、上記マッチング回路部の出力データが一定値であるか否かにより、上記マッチング回路部の異常の有無を診断する診断手段と
を備えることを特徴とするステレオ画像処理装置。
【請求項４】
上記診断手段は、
上記ディレイ手段を制御して上記遅延量を可変し、上記マッチング回路部の出力データが上記遅延量に応じた一定値であるか否かにより、上記マッチング回路部の異常の有無を診断することを特徴とする請求項２又は３記載のステレオ画像処理装置。
【請求項５】
上記診断タイミングを、上記マッチング回路部の温度条件と上記ステレオカメラの撮像条件とシステムの動作条件との少なくとも１つに基づいて決定することを特徴とする請求項１〜４の何れか一に記載のステレオ画像処理装置。
【請求項１】
ステレオカメラで撮像した複数枚の画像間の相関を所定のブロック毎に演算し、対応するブロック間の視差を演算するステレオ画像処理装置において、
故障診断用のテストデータを、上記画像のフレーム中の上記ブロックのサイズに応じたデータとして記憶するテストデータ記憶手段と、
上記相関を演算するマッチング回路部に所定の診断タイミングで上記テストデータを入力し、上記マッチング回路部の出力データが予め記憶した演算結果と一致するか否かにより、上記マッチング回路部の異常の有無を診断する診断手段と
を備えることを特徴とするステレオ画像処理装置。
【請求項２】
ステレオカメラで撮像した複数枚の画像間の相関を所定のブロック毎に演算し、対応するブロック間の視差を演算するステレオ画像処理装置において、
故障診断用のテストデータを、乱数データとして発生する乱数データ発生手段と、
上記乱数データを遅延させるディレイ手段と、
上記相関を演算するマッチング回路部に所定の診断タイミングで上記乱数データを入力すると共に、同じ乱数データを上記ディレイ手段で遅延させて上記マッチング回路部に入力し、上記マッチング回路部の出力データが一定値であるか否かにより、上記マッチング回路部の異常の有無を診断する診断手段と
を備えることを特徴とするステレオ画像処理装置。
【請求項３】
ステレオカメラで撮像した複数枚の画像間の相関を所定のブロック毎に演算し、対応するブロック間の視差を演算するステレオ画像処理装置において、
上記複数枚の画像のうちの一部の画像データを遅延するディレイ手段と、
上記相関を演算するマッチング回路部に所定の診断タイミングで上記複数枚の画像のうちの一部の画像データを入力すると共に、同じ画像データを上記ディレイ手段で遅延させて上記マッチング回路部に入力し、上記マッチング回路部の出力データが一定値であるか否かにより、上記マッチング回路部の異常の有無を診断する診断手段と
を備えることを特徴とするステレオ画像処理装置。
【請求項４】
上記診断手段は、
上記ディレイ手段を制御して上記遅延量を可変し、上記マッチング回路部の出力データが上記遅延量に応じた一定値であるか否かにより、上記マッチング回路部の異常の有無を診断することを特徴とする請求項２又は３記載のステレオ画像処理装置。
【請求項５】
上記診断タイミングを、上記マッチング回路部の温度条件と上記ステレオカメラの撮像条件とシステムの動作条件との少なくとも１つに基づいて決定することを特徴とする請求項１〜４の何れか一に記載のステレオ画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００８−１９０８６８（Ｐ２００８−１９０８６８Ａ）
【公開日】平成２０年８月２１日（２００８．８．２１）
【国際特許分類】
【出願番号】特願２００７−２２１３５（Ｐ２００７−２２１３５）
【出願日】平成１９年１月３１日（２００７．１．３１）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
【公開日】平成２０年８月２１日（２００８．８．２１）
【国際特許分類】
【出願日】平成１９年１月３１日（２００７．１．３１）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
[ Back to top ]