車両周辺認識システム及び画像処理装置
【課題】 車両の外界を撮像して障害物、歩行者などの車両周辺を認識する車両周辺認識システム及び該車両周辺認識システムを構成する画像処理装置を提供する。
【解決手段】 ＥＣＵ２は、ビデオカメラ１ａで撮像した１フレーム分の撮像画像に対して二次元フーリエ変換を行い、二次元フーリエ変換した撮像画像をＥＣＵ３、４、５へ送信する。ＥＣＵ２は、標準パターンＨ１、Ｈ２、…Ｈｘを各ＥＣＵ２、３、４、５に割当て、各ＥＣＵ２、３、４、５において、二次元フーリエ変換後の撮像画像と標準パターンのフーリエ変換の共役複素数との積和演算（コンボリューション演算）、及び逆二次元フーリエ変換の演算を並列に行うことにより、各ＥＣＵ２、３、４、５における演算処理量を分散する。
【解決手段】 ＥＣＵ２は、ビデオカメラ１ａで撮像した１フレーム分の撮像画像に対して二次元フーリエ変換を行い、二次元フーリエ変換した撮像画像をＥＣＵ３、４、５へ送信する。ＥＣＵ２は、標準パターンＨ１、Ｈ２、…Ｈｘを各ＥＣＵ２、３、４、５に割当て、各ＥＣＵ２、３、４、５において、二次元フーリエ変換後の撮像画像と標準パターンのフーリエ変換の共役複素数との積和演算（コンボリューション演算）、及び逆二次元フーリエ変換の演算を並列に行うことにより、各ＥＣＵ２、３、４、５における演算処理量を分散する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の外界を撮像して障害物、歩行者などの車両周辺を認識する車両周辺認識システム及び該車両周辺認識システムを構成する画像処理装置に関する。
【背景技術】
【０００２】
自動車などの車両に、ボロメータ又は焦電型撮像素子を備えた遠赤外用のビデオカメラを搭載し、夜間走行時に車両前方の障害物、歩行者などを前記ビデオカメラで撮像し、撮像した撮像画像を画像処理用のＥＣＵで処理して障害物、歩行者などを認識して運転者に注意を促す監視システムが提案されている。
【０００３】
このようなシステムは、遠赤外用のビデオカメラで歩行者を撮像した場合に、熱源である歩行者は他の背景物に対して高い輝度を有することを利用して、固有空間法に基づき予め歩行者の特徴を表す基準パターンを記憶しておき、遠赤外用のビデオカメラが撮像した撮像画像と前記基準パターンとの固有ベクトルの相関演算を行って、相関演算の結果に基づいて撮像画像が前記標準パターンに類似するか否かを判断して歩行者などを認識している（特許文献１参照）。
【特許文献１】特開２００１−２０１５７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１の例にあっては、撮像画像と予め記憶した標準パターンとの固有ベクトルの相関演算は、非常に大きな演算処理能力を必要とする。また、精度良く歩行者を認識するには、多数の標準パターンを記憶しておき、撮像画像が何れの標準パターンに類似しているかを判断するため、標準パターンの数だけ相関演算を繰り返す必要がある。このため、リアルタイムで歩行者を認識するためには、高速なＤＳＰ（Digital Signal Processor）、又は大規模なＬＳＩが必要であり、画像処理用のＥＣＵのコストが高くなるという問題があった。
【０００５】
本発明は、斯かる事情に鑑みてなされたものであり、複数の画像処理装置を備え、撮像装置で撮像して得られた撮像画像を他の画像処理装置へ送信し、画像処理装置毎に異なる標準パターンを用いて、他の画像処理装置で受信した撮像画像が、前記標準パターンと類似しているか否かを判断する判断手段が判断した結果に基づいて車両周辺を認識するようにしてあることにより、各画像処理装置で必要な処理能力を低減して、従来に比べてコストを下げることができる車両周辺認識システム及び該車両周辺認識システムを構成する画像処理装置を提供することを目的とする。
【０００６】
また、本発明の他の目的は、撮像画像を送信した画像処理装置が、前記撮像画像が、前記標準パターンと類似しているか否かを判断するようにしてあることにより、さらに各画像処理装置で必要な処理能力を低減して、従来に比べてコストを下げることができる車両周辺認識システムを提供することにある。
【０００７】
また、本発明の他の目的は、撮像して得られた撮像画像が、前記標準パターンと類似しているか否かの判断を並列処理するようにしてあることにより、車両周辺の認識処理に必要な時間を低減することができる車両周辺認識システムを提供することにある。
【課題を解決するための手段】
【０００８】
第１発明に係る車両周辺認識システムは、車両の外界を撮像装置で撮像し、撮像して得られた撮像画像及び複数記憶してある標準パターンを画像処理装置で処理して車両周辺を認識する車両周辺認識システムにおいて、前記画像処理装置を複数備え、前記画像処理装置は、撮像して得られた撮像画像を他の画像処理装置との間で送受信する送受信手段と、前記画像処理装置毎に異なる標準パターンを用いて、前記送受信手段で受信した撮像画像が、前記標準パターンと類似しているか否かを判断する判断手段とを備え、前記画像処理装置は、撮像して得られた撮像画像を他の画像処理装置へ送信し、前記他の画像処理装置の判断手段が判断した結果に基づいて、車両周辺を認識するようにしてあることを特徴とする。
【０００９】
第２発明に係る車両周辺認識システムは、第１発明において、前記撮像画像を送信した画像処理装置の判断手段は、撮像して得られた撮像画像が、前記標準パターンと類似しているか否かを判断するようにしてあり、前記画像処理装置は、前記判断手段及び他の画像処理装置の判断手段が判断した結果に基づいて、車両周辺を認識するようにしてあることを特徴とする。
【００１０】
第３発明に係る車両周辺認識システムは、第１発明又は第２発明において、撮像して得られた撮像画像が、前記標準パターンと類似しているか否かの判断を並列処理するようにしてあることを特徴とする。
【００１１】
第４発明に係る画像処理装置は、取り込んだ撮像画像及び複数記憶してある標準パターンを処理して車両周辺を認識する画像処理装置において、取り込んだ撮像画像を他の画像処理装置との間で送受信する送受信手段と、前記画像処理装置毎に異なる標準パターンを用いて、前記送受信手段で受信した撮像画像が、前記標準パターンと類似しているか否かを判断する判断手段とを備え、前記判断手段が判断した結果に基づいて、車両周辺を認識するようにしてあることを特徴とする。
【００１２】
第１発明及び第４発明にあっては、画像処理装置を複数備え、撮像装置で撮像して得られた撮像画像を取得した画像処理装置は、前記撮像画像を他の画像処理装置へ送信する。画像処理装置毎に異なる標準パターンを用いて、他の画像処理装置は、受信した撮像画像が、前記標準パターンと類似しているか否かを判断し、判断結果を撮像画像を送信した画像処理装置へ出力する。前記画像処理装置は、出力された判断結果に基づいて、車両周辺を認識する。
【００１３】
第２発明にあっては、撮像画像を送信した画像処理装置は、撮像して得られた撮像画像が、前記標準パターンと類似しているか否かを判断手段で判断する。前記画像処理装置は、前記判断手段で判断した結果と、他の画像処理装置で判断された結果とに基づき、車両周辺の認識をする。
【００１４】
第３発明にあっては、撮像して得られた撮像画像が、前記標準パターンと類似しているか否かの判断を並列に処理する。
【発明の効果】
【００１５】
第１発明及び第４発明にあっては、複数の画像処理装置夫々で、撮像して得られた撮像画像が、画像処理装置毎に異なる標準パターンと類似するか否かを判断し、判断した結果に基づいて車両周辺を認識することにより、車両周辺の認識処理を複数の画像処理装置で分散させることができ、従来のように高速又は大規模な画像処理装置を必要とせず、車両周辺認識システムのコストを低減することができる。
【００１６】
第２発明にあっては、他の画像処理装置に加えて、撮像画像を送信した画像処理装置で、撮像画像と前記標準パターンとの類似判断を行うことにより、さらに処理を分散させることができ、各画像処理装置で必要な処理能力を低減してコストを下げることができる。
【００１７】
第３発明にあっては、撮像して得られた撮像画像と前記標準パターンとの類似判断を並列に処理することにより、車両周辺の認識処理に必要な時間を短縮することができ、リアルタイムで車両周辺の認識をすることができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明を実施の形態を示す図面に基づき説明する。図１は本発明に係る車両周辺認識システムの概要を示す模式図である。図において、１ａは車両に搭載され、夜間の歩行者、自転車に乗った人間などを認識する遠赤外用のビデオカメラである。ビデオカメラ１ａは、フロントグリルに配置してあり、ＩＥＥＥ１３９４に準拠した車載ＬＡＮ通信線７を介して歩行者認識用のＥＣＵ２に接続されている。
【００１９】
歩行者認識用のＥＣＵ２には、通信線７を介して遠赤外用のビデオカメラ１ｂ、１ｃ、１ｄに接続してある。ビデオカメラ１ｂは、車両後部のバンパーに設置してあり、車両後方の障害物などを認識する。ビデオカメラ１ｃは、車両の左側ドアミラーの下部に設置してあり、車両左側の接近車両、障害物などを認識する。ビデオカメラ１ｄは、車両の右側ドアミラーの下部に設置してあり、車両右側の接近車両、障害物などを認識する。
【００２０】
また、歩行者認識用のＥＣＵ２には、通信線７を介して障害物認識用のＥＣＵ３、接近車両認識用のＥＣＵ４、白線認識用のＥＣＵ５、音声又は効果音により警報を発する警報部及び操作部を有する表示装置６が接続されている。
【００２１】
各ＥＣＵを通信線７を介して接続することにより、例えば、歩行者認識用のＥＣＵ２は、ビデオカメラ１ａで撮像した撮像画像に基づいて、歩行者の認識処理を行い、障害物認識用のＥＣＵ３は、ビデオカメラ１ｂ、１ｃ、１ｄで撮像した撮像画像に基づいて、障害物の認識処理を行い、接近車両認識用のＥＣＵ４は、ビデオカメラ１ｃ、１ｄで撮像した撮像画像に基づいて、接近車両の認識処理を行い、白線認識用のＥＣＵ５は、ビデオカメラ１ｃ、１ｄで撮像した撮像画像に基づいて、白線の認識処理を行う。
【００２２】
図２は、ビデオカメラ１ａの構成を示すブロック図である。なお、ビデオカメラ１ｂ、１ｃ、１ｄも同様の構成を有するので説明は省略する。図において、１１は画像撮像部であり、光学信号を電気信号に変換する遠赤外線撮像素子が配置され、遠赤外線撮像素子は、入力された遠赤外光を、遠赤外光の強度に応じた輝度信号に変換し、信号処理部１２へ出力する。
【００２３】
信号処理部１２は、画像撮像部１１から入力された輝度信号に対して、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理などを行い、処理後の輝度信号を画像データとして一旦画像メモリ１３へ記憶する。
【００２４】
インタフェース部１４は、通信線７を介してＥＣＵ２、３、４、５と通信を行い、ＥＣＵ２、３、４、５から送信される指令に従って、画像メモリ１３に記憶された撮像画像をＥＣＵ２、３、４、５へ出力するための制御、ビデオカメラ１ａで撮像した画像の解像度による転送レートの変換、撮像画像からパケットデータの作成などを行う。また、インタフェース部１４は、制御部１５の制御に従って、画像メモリ１３に記憶された撮像画像をビデオカメラ１ａの識別番号とともにＥＣＵ２、３、４、５へ出力する。
【００２５】
制御部１５は、画像撮像部１１、信号処理部１２、インタフェース部１４の処理を制御する。例えば、ＥＣＵ２からの指令を解釈して、画像撮像部１１が撮像した撮像画像を画像メモリ１３に記憶する。また、記憶された撮像画像を読み出し、インタフェース部１４を介してＥＣＵ２へ出力する。
【００２６】
図３はＥＣＵ２の構成を示すブロック図である。図において、２１はインタフェース部であり、ビデオカメラ１ａ、１ｂ、１ｃ、１ｄに対する指令の送信、ビデオカメラ１ａ、１ｂ、１ｃ、１ｄからの撮像画像の受信などを行う。インタフェース部２１は、他のＥＣＵ３、４、５との間で通信を行い、他のＥＣＵ３、４、５との間で命令又はデータなどの送受信を行う。
【００２７】
入力部２５は、車両に搭載されたセンサ（例えば、速度センサ）からのセンサ信号、表示装置６に設けた操作部（例えば、歩行者認識処理の開始のスイッチ）からの信号などを受付ける。入力部２５は、受付けた信号を制御部２７へ出力する。
【００２８】
制御部２７は、インタフェース部２１を介してビデオカメラ１ａ、１ｂ、１ｃ、又は１ｄから入力された撮像画像夫々を１フレーム単位毎に画像メモリ２２に記憶する。また、制御部２７は、画像メモリ２２に記憶された撮像画像をフレーム単位で画像処理ＬＳＩ２６へ出力する。
【００２９】
制御部２７は、入力部２５に入力された信号に基づいて、後述する記憶部２３に記憶された各認識処理部の何れかを画像処理ＬＳＩ２６にロードすることにより、画像処理ＬＳＩ２６が所定の処理を行うように制御する。例えば、運転者が表示装置６に備えられた操作部を操作して歩行者認識処理を開始した場合、制御部２７は、入力部２５から入力された信号に基づいて、記憶部２３に記憶された歩行者認識処理部２３１を画像処理ＬＳＩ２６にロードする。
【００３０】
制御部２７は、記憶部２３に記憶してある標準パターンＨ１、Ｈ２、…ＨｘをＥＣＵ２、３、４、５にほぼ均等に割当てる。また、制御部２７は、画像処理ＬＳＩ２６で算出した相関度と、記憶部２３に記憶してある閾値ＴＨとを比較して、歩行者の抽出を行う。
【００３１】
記憶部２３は、歩行者を認識するための処理を特定する歩行者認識処理部２３１、障害物を認識するための処理を特定する障害物認識処理部２３２、接近車両を認識するための処理を特定する接近車両認識処理部２３３、路面上の白線を認識するための処理を特定する白線認識処理部２３４を記憶してある。
【００３２】
記憶部２３は、歩行者の輝度分布を示す標準パターンＨ１、Ｈ２、…Ｈｘを有する標準パターン部２３５を記憶してある。標準パターンＨ１、Ｈ２、…Ｈｘは歩行者の体形、子供と大人の区別、服装、歩行者の姿勢、位置などに応じて複数の異なるパターンである。
【００３３】
標準パターン部２３５は、障害物を認識するための標準パターン、接近車両を認識するための標準パターン、白線を認識するための標準パターンを有する。
【００３４】
画像処理ＬＳＩ２６は、論理ブロック、メモリ、内部レジスタなどを内蔵したＦＰＧＡ（Field Programmable Gate Array）により構成してある。ＦＰＧＡは、内蔵された各論理ブロック又はメモリに、記憶部２３に記憶された各認識処理部で特定される論理ビット列（アーキテクチャ・ビット）をロードすることにより、マッチドフィルタを用いた歩行者認識処理を行う。すなわち、二次元フーリエ変換された撮像画像と標準パターンのフーリエ変換の共役複素数との積和演算を行い、積和結果を逆二次元フーリエ変換して相関度（相関パワー）を算出し、算出した相関度の最大値を制御部２７へ出力する。また、ＦＰＧＡは、障害物認識処理部２３２、接近車両認識処理部２３３、又は白線認識処理部２３４で特定される論理ビット列をロードすることにより、障害物認識処理、接近車両認識処理、又は白線認識処理を行うこともできる。
【００３５】
画像処理ＬＳＩ２６は、画像メモリ２２に記憶された撮像画像をフレーム単位で読み出し、歩行者認識処理、障害物認識処理、接近車両認識処理、又は白線認識処理を行った結果の撮像画像を出力部２４へ出力する。画像処理ＬＳＩ２６は、同様の処理を画像メモリ２２に記憶された撮像画像に対してフレーム単位で繰り返し行う。
【００３６】
出力部２４は、画像処理ＬＳＩ２６から出力された処理後の撮像画像を表示装置６へ送信する。
【００３７】
表示装置６は、出力された撮像画像に基づき、車両周辺の状況をディスプレイに表示するとともに、歩行者が認識された場合は、認識された歩行者の周囲に枠を付して、運転者に歩行者の存在を促すべく強調表示をする。また、認識された接近車両、障害物、白線などを表示する。
【００３８】
表示装置６に備えられた警報部は、歩行者、接近車両、障害物が認識された場合に、音声又は警告音を発し、運転者に注意を促す。
【００３９】
ＥＣＵ３、４、５も同様の構成を有するので、説明は省略する。なお、ＥＣＵ２は、デフォルトで画像処理ＬＳＩ２６に歩行者認識処理部２３１で特定される論理ビット列がロードされ、歩行者認識のための画像処理を行う。ＥＣＵ３は、デフォルトで画像処理ＬＳＩに障害物認識処理部２３２で特定される論理ビット列がロードされ、障害物認識のための画像処理を行う。ＥＣＵ４は、デフォルトで画像処理ＬＳＩに接近車両認識処理部２３３で特定される論理ビット列がロードされ、接近車両認識のための画像処理を行う。ＥＣＵ５は、デフォルトで画像処理ＬＳＩに白線認識処理部２３４で特定される論理ビット列がロードされ、白線認識のための画像処理を行う。
【００４０】
図４はＥＣＵ間で使用する命令の構成を示す説明図である。命令は制御部２７で作成され、送信元のＥＣＵを特定する送信元アドレス、送信先のＥＣＵを特定する送信先アドレス、及び送信するデータ部から構成してある。また、データ部は、送信先のＥＣＵに対する命令部と、該命令部により使用される命令用のデータから構成してある。
【００４１】
命令部は、送信先のＥＣＵと通信開始を要求し、送信先のＥＣＵが要求に応じることができるか否かを確認する「通信開始」命令、標準パターン部２３５が有する標準パターンＨ１、Ｈ２、…Ｈｘを各ＥＣＵに割当てるための「標準パターン設定」命令、歩行者認識処理の開始を他のＥＣＵに要求する「歩行者認識開始」命令、他のＥＣＵの歩行者認識処理を終了させるための「歩行者認識終了」命令などを有する。
【００４２】
例えば、命令が「標準パターン設定」である場合は、制御部２７は、各ＥＣＵ夫々に割当てる標準パターン番号をデータとして作成する。これにより、制御部２７は、どのＥＣＵにどの標準パターンを割当てるかを特定する。
【００４３】
図５は標準パターンの割当て例を示す説明図である。図に示すように、制御部２７は、歩行者認識に用いられる標準パターンＨ１、Ｈ２、…ＨｘをＥＣＵ２、３、４、５でほぼ均等に割当てる。これにより、標準パターンＨ１、Ｈ２、…Ｈｘの何れかを割当てられたＥＣＵは、割当てられた標準パターンを使用して歩行者認識の処理を行う。
【００４４】
次に歩行者認識の処理について説明する。運転者が、表示装置６に備えられた操作部を操作して歩行者認識の開始スイッチをオンにした場合、歩行者認識の開始信号がＥＣＵ２の入力部２５を介して制御部２７に入力される。制御部２７は、インタフェース部２１を介して、初期コマンドをビデオカメラ１ａへ送出する。
【００４５】
初期コマンドを受信したビデオカメラ１ａは、画像撮像部１１から車両の外界の撮像を開始する。信号処理部１２は、撮像した撮像画像を一旦画像メモリ１３に記録した後に、１フレーム分の撮像画像毎にインタフェース部１４を介して、ＥＣＵ２へ送出し、送出された撮像画像は、一旦画像メモリ２２に記憶される。
【００４６】
制御部２７は、歩行者認識の開始信号を受け取った場合、他のＥＣＵ３、４、５に対して「通信開始」命令を送信する。これにより、他のＥＣＵ３、４、５がデフォルトの認識処理中であるか否かを確認する。例えば、運転者が障害物認識、接近車両認識、白線認識のいずれも開始していない場合は、ＥＣＵ２は、ＥＣＵ３、４、５夫々から歩行者認識処理を行うことができる確認信号を受信する。
【００４７】
制御部２７は、他のＥＣＵ３、４、５からの確認信号に基づいて、歩行者認識処理を並列に処理できるＥＣＵの数を算出し、算出した数に基づいて、標準パターンＨ１、Ｈ２、…Ｈｘをほぼ均等に割当てる割当て数を決定し、決定した数に基づいて、ＥＣＵ２、３、４、５に割当てる標準パターンの番号を決定し、決定した標準パターン番号を「標準パターン設定」命令とともに、他のＥＣＵ３、４、５へ送信する。
【００４８】
制御部２７は、画像メモリ２２に記憶された撮像画像をフレーム単位で画像処理ＬＳＩ２６へ出力する。
【００４９】
画像処理ＬＳＩ２６は、受け取った１フレーム分の撮像画像に輝度補正などのフィルタリング処理を行い、フィルタリング処理後の撮像画像に対して二次元フーリエ変換を行い、二次元フーリエ変換した撮像画像を制御部２７へ出力するとともに、二次元フーリエ変換した撮像画像と、ＥＣＵ２に割当てられた標準パターンのフーリエ変換の共役複素数との積和演算（コンボリューション演算）を標準パターン毎に行い、積和結果夫々を逆二次元フーリエ変換することにより標準パターン毎の相関度（相関パワー）を算出し、算出した相関度の最大値Ｍ２を内部レジスタに保持する。
【００５０】
制御部２７は、画像処理ＬＳＩ２６から出力された二次元フーリエ変換した撮像画像を「歩行者認識開始」命令とともに、ＥＣＵ３、４、５へ送信する。
【００５１】
「歩行者認識開始」命令を受信したＥＣＵ３は、受信した二次元フーリエ変換後の撮像画像と、ＥＣＵ３に割当てられた標準パターンのフーリエ変換の共役複素数との積和演算（コンボリューション演算）を標準パターン毎に行い、積和結果夫々を逆二次元フーリエ変換することにより標準パターン毎の相関度を算出し、算出した相関度の最大値Ｍ３をＥＣＵ２へ送信する。
【００５２】
「歩行者認識開始」命令を受信したＥＣＵ４は、受信した二次元フーリエ変換後の撮像画像と、ＥＣＵ４に割当てられた標準パターンのフーリエ変換の共役複素数との積和演算（コンボリューション演算）を標準パターン毎に行い、積和結果夫々を逆二次元フーリエ変換することにより標準パターン毎の相関度を算出し、算出した相関度の最大値Ｍ４をＥＣＵ２へ送信する。
【００５３】
「歩行者認識開始」命令を受信したＥＣＵ５は、受信した二次元フーリエ変換後の撮像画像と、ＥＣＵ５に割当てられた標準パターンのフーリエ変換の共役複素数との積和演算（コンボリューション演算）を標準パターン毎に行い、積和結果夫々を逆二次元フーリエ変換することにより標準パターン毎の相関度を算出し、算出した相関度の最大値Ｍ５をＥＣＵ２へ送信する。なお、ＥＣＵ２、３、４、５における相関度の算出は、並列に処理する。これにより、ＥＣＵ２がマスターとなり、ＥＣＵ３、４、５がスレーブとなって、標準パターン毎の相関度の算出演算を並列処理する。
【００５４】
ＥＣＵ２の制御部２７は、画像処理ＬＳＩ２６の内部レジスタに保持された相関度の最大値Ｍ２を取り出すとともに、取り出した相関度の最大値Ｍ２及びＥＣＵ３、４、５から受信した相関度の最大値Ｍ３、Ｍ４、Ｍ５を予め定められた閾値ＴＨと比較し、相関度の最大値Ｍ２、Ｍ３、Ｍ４、Ｍ５の何れかが閾値ＴＨより大きい場合は、歩行者が存在すると判定し、歩行者を抽出する。
【００５５】
画像処理ＬＳＩ２６は、制御部２７の判定結果に基づき、歩行者が抽出された撮像画像を、出力部２４を介して表示装置６へ送信する。
【００５６】
表示装置６は、出力部２４を介して出力された撮像画像に基づき、歩行者の状況をディスプレイに表示するとともに、抽出した歩行者の周囲に枠を付して、運転者に歩行者の存在を促すべく強調表示をする。
【００５７】
運転者が、表示装置６に備えられた操作部を操作して歩行者認識の開始スイッチをオフにした場合、制御部２７は、ＥＣＵ３、４、５に対して「歩行者認識終了」命令を送信し、ＥＣＵ３、４、５での歩行者認識処理を終了させる。
【００５８】
以上説明したように、本発明にあっては、標準パターンＨ１、Ｈ２、…Ｈｘを各ＥＣＵ２、３、４、５に割当て、各ＥＣＵ２、３、４、５において、二次元フーリエ変換後の撮像画像と標準パターンのフーリエ変換の共役複素数との積和演算（コンボリューション演算）、及び逆二次元フーリエ変換の演算を並列に行うことにより、各ＥＣＵ２、３、４、５における演算処理量を分散することができ、大規模なＬＳＩを必要としない。また、演算処理を並列に行うため、処理時間を短縮することができ、高速ＤＳＰなどの高価な画像処理装置を必要としない。また、ＥＣＵ３、４、５は、デフォルトで夫々の専用処理を行うものであるため、新たにＥＣＵを追加する必要がなく、既存のＥＣＵを有効利用してシステム全体のコストを低減することができる。
【００５９】
上述の実施の形態においては、歩行者認識処理は、マッチドフィルタを用いるものであったが、これに限定されるものではなく、他のテンプレートマッチング方法を用いる構成でもよい。例えば、撮像画像及び基準パターンが有する輝度値の間において、相関値を算出して、算出した相関値の大小に基づいて歩行者を認識する構成でもよい。
【００６０】
上述の実施の形態においては、標準パターンをＥＣＵ２、３、４、５の記憶部に記憶する構成であったが、これに限定されるものではなく、一のＥＣＵ（例えば、ＥＣＵ２のみ）に記憶する構成でもよく、また、ＥＣＵ外の記憶装置に標準パターンを記憶しておき、割当てた標準パターンを前記記憶装置から読み出し、各ＥＣＵに送信する構成でもよい。これにより、標準パターンを記憶するための記憶容量を削減することができる。また、予め各ＥＣＵに各ＥＣＵで処理するための標準パターンを分散して記憶しておく構成でもよい。
【００６１】
上述の実施の形態においては、標準パターンＨ１、Ｈ２、…Ｈｘを記憶する構成であったが、予め標準パターンＨ１、Ｈ２、…Ｈｘのフーリエ変換の共役複素数を記憶しておく構成でもよい。
【００６２】
上述の実施の形態においては、ＥＣＵ２、３、４、５を、通信線７を介して接続してある構成であったが、ＥＣＵの数は、これに限定されるものではない。
【００６３】
上述の実施の形態においては、歩行者認識処理を各ＥＣＵで並列処理する構成であったが、これに限定されるものではなく、障害物、接近車両などの車両周辺を認識する処理を並列処理する構成であってもよい。この場合は、夫々の処理に適した標準パターンを使用することができる。
【００６４】
上述の実施の形態においては、ビデオカメラと画像処理装置との接続は、ＩＥＥＥ１３９４に準拠した車載ＬＡＮ通信線を介して行われたが、これに限らず、Gigabit Ethernet(登録商標）等の規格に準拠した通信方式であってもよい。
【００６５】
上述の実施の形態においては、歩行者の認識処理を行う構成であったが、車両の周辺を認識する認識対象は、歩行者に限定されるものではなく、路面表示、標識、信号などの他の対象物を認識する構成であってもよい。
【図面の簡単な説明】
【００６６】
【図１】本発明に係る車両周辺認識システムの概要を示す模式図である。
【図２】ビデオカメラの構成を示すブロック図である。
【図３】ＥＣＵの構成を示すブロック図である。
【図４】ＥＣＵ間で使用する命令の構成を示す説明図である。
【図５】標準パターンの割当て例を示す説明図である。
【符号の説明】
【００６７】
１ａ、１ｂ、１ｃ、１ｄ ビデオカメラ
２、３、４、５ ＥＣＵ
６ 表示装置
２１ インタフェース部
２２ 画像メモリ
２３ 記憶部
２４ 出力部
２５ 入力部
２６ 画像処理ＬＳＩ
２７ 制御部
２３１ 歩行者認識処理部
２３５ 標準パターン
【技術分野】
【０００１】
本発明は、車両の外界を撮像して障害物、歩行者などの車両周辺を認識する車両周辺認識システム及び該車両周辺認識システムを構成する画像処理装置に関する。
【背景技術】
【０００２】
自動車などの車両に、ボロメータ又は焦電型撮像素子を備えた遠赤外用のビデオカメラを搭載し、夜間走行時に車両前方の障害物、歩行者などを前記ビデオカメラで撮像し、撮像した撮像画像を画像処理用のＥＣＵで処理して障害物、歩行者などを認識して運転者に注意を促す監視システムが提案されている。
【０００３】
このようなシステムは、遠赤外用のビデオカメラで歩行者を撮像した場合に、熱源である歩行者は他の背景物に対して高い輝度を有することを利用して、固有空間法に基づき予め歩行者の特徴を表す基準パターンを記憶しておき、遠赤外用のビデオカメラが撮像した撮像画像と前記基準パターンとの固有ベクトルの相関演算を行って、相関演算の結果に基づいて撮像画像が前記標準パターンに類似するか否かを判断して歩行者などを認識している（特許文献１参照）。
【特許文献１】特開２００１−２０１５７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１の例にあっては、撮像画像と予め記憶した標準パターンとの固有ベクトルの相関演算は、非常に大きな演算処理能力を必要とする。また、精度良く歩行者を認識するには、多数の標準パターンを記憶しておき、撮像画像が何れの標準パターンに類似しているかを判断するため、標準パターンの数だけ相関演算を繰り返す必要がある。このため、リアルタイムで歩行者を認識するためには、高速なＤＳＰ（Digital Signal Processor）、又は大規模なＬＳＩが必要であり、画像処理用のＥＣＵのコストが高くなるという問題があった。
【０００５】
本発明は、斯かる事情に鑑みてなされたものであり、複数の画像処理装置を備え、撮像装置で撮像して得られた撮像画像を他の画像処理装置へ送信し、画像処理装置毎に異なる標準パターンを用いて、他の画像処理装置で受信した撮像画像が、前記標準パターンと類似しているか否かを判断する判断手段が判断した結果に基づいて車両周辺を認識するようにしてあることにより、各画像処理装置で必要な処理能力を低減して、従来に比べてコストを下げることができる車両周辺認識システム及び該車両周辺認識システムを構成する画像処理装置を提供することを目的とする。
【０００６】
また、本発明の他の目的は、撮像画像を送信した画像処理装置が、前記撮像画像が、前記標準パターンと類似しているか否かを判断するようにしてあることにより、さらに各画像処理装置で必要な処理能力を低減して、従来に比べてコストを下げることができる車両周辺認識システムを提供することにある。
【０００７】
また、本発明の他の目的は、撮像して得られた撮像画像が、前記標準パターンと類似しているか否かの判断を並列処理するようにしてあることにより、車両周辺の認識処理に必要な時間を低減することができる車両周辺認識システムを提供することにある。
【課題を解決するための手段】
【０００８】
第１発明に係る車両周辺認識システムは、車両の外界を撮像装置で撮像し、撮像して得られた撮像画像及び複数記憶してある標準パターンを画像処理装置で処理して車両周辺を認識する車両周辺認識システムにおいて、前記画像処理装置を複数備え、前記画像処理装置は、撮像して得られた撮像画像を他の画像処理装置との間で送受信する送受信手段と、前記画像処理装置毎に異なる標準パターンを用いて、前記送受信手段で受信した撮像画像が、前記標準パターンと類似しているか否かを判断する判断手段とを備え、前記画像処理装置は、撮像して得られた撮像画像を他の画像処理装置へ送信し、前記他の画像処理装置の判断手段が判断した結果に基づいて、車両周辺を認識するようにしてあることを特徴とする。
【０００９】
第２発明に係る車両周辺認識システムは、第１発明において、前記撮像画像を送信した画像処理装置の判断手段は、撮像して得られた撮像画像が、前記標準パターンと類似しているか否かを判断するようにしてあり、前記画像処理装置は、前記判断手段及び他の画像処理装置の判断手段が判断した結果に基づいて、車両周辺を認識するようにしてあることを特徴とする。
【００１０】
第３発明に係る車両周辺認識システムは、第１発明又は第２発明において、撮像して得られた撮像画像が、前記標準パターンと類似しているか否かの判断を並列処理するようにしてあることを特徴とする。
【００１１】
第４発明に係る画像処理装置は、取り込んだ撮像画像及び複数記憶してある標準パターンを処理して車両周辺を認識する画像処理装置において、取り込んだ撮像画像を他の画像処理装置との間で送受信する送受信手段と、前記画像処理装置毎に異なる標準パターンを用いて、前記送受信手段で受信した撮像画像が、前記標準パターンと類似しているか否かを判断する判断手段とを備え、前記判断手段が判断した結果に基づいて、車両周辺を認識するようにしてあることを特徴とする。
【００１２】
第１発明及び第４発明にあっては、画像処理装置を複数備え、撮像装置で撮像して得られた撮像画像を取得した画像処理装置は、前記撮像画像を他の画像処理装置へ送信する。画像処理装置毎に異なる標準パターンを用いて、他の画像処理装置は、受信した撮像画像が、前記標準パターンと類似しているか否かを判断し、判断結果を撮像画像を送信した画像処理装置へ出力する。前記画像処理装置は、出力された判断結果に基づいて、車両周辺を認識する。
【００１３】
第２発明にあっては、撮像画像を送信した画像処理装置は、撮像して得られた撮像画像が、前記標準パターンと類似しているか否かを判断手段で判断する。前記画像処理装置は、前記判断手段で判断した結果と、他の画像処理装置で判断された結果とに基づき、車両周辺の認識をする。
【００１４】
第３発明にあっては、撮像して得られた撮像画像が、前記標準パターンと類似しているか否かの判断を並列に処理する。
【発明の効果】
【００１５】
第１発明及び第４発明にあっては、複数の画像処理装置夫々で、撮像して得られた撮像画像が、画像処理装置毎に異なる標準パターンと類似するか否かを判断し、判断した結果に基づいて車両周辺を認識することにより、車両周辺の認識処理を複数の画像処理装置で分散させることができ、従来のように高速又は大規模な画像処理装置を必要とせず、車両周辺認識システムのコストを低減することができる。
【００１６】
第２発明にあっては、他の画像処理装置に加えて、撮像画像を送信した画像処理装置で、撮像画像と前記標準パターンとの類似判断を行うことにより、さらに処理を分散させることができ、各画像処理装置で必要な処理能力を低減してコストを下げることができる。
【００１７】
第３発明にあっては、撮像して得られた撮像画像と前記標準パターンとの類似判断を並列に処理することにより、車両周辺の認識処理に必要な時間を短縮することができ、リアルタイムで車両周辺の認識をすることができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明を実施の形態を示す図面に基づき説明する。図１は本発明に係る車両周辺認識システムの概要を示す模式図である。図において、１ａは車両に搭載され、夜間の歩行者、自転車に乗った人間などを認識する遠赤外用のビデオカメラである。ビデオカメラ１ａは、フロントグリルに配置してあり、ＩＥＥＥ１３９４に準拠した車載ＬＡＮ通信線７を介して歩行者認識用のＥＣＵ２に接続されている。
【００１９】
歩行者認識用のＥＣＵ２には、通信線７を介して遠赤外用のビデオカメラ１ｂ、１ｃ、１ｄに接続してある。ビデオカメラ１ｂは、車両後部のバンパーに設置してあり、車両後方の障害物などを認識する。ビデオカメラ１ｃは、車両の左側ドアミラーの下部に設置してあり、車両左側の接近車両、障害物などを認識する。ビデオカメラ１ｄは、車両の右側ドアミラーの下部に設置してあり、車両右側の接近車両、障害物などを認識する。
【００２０】
また、歩行者認識用のＥＣＵ２には、通信線７を介して障害物認識用のＥＣＵ３、接近車両認識用のＥＣＵ４、白線認識用のＥＣＵ５、音声又は効果音により警報を発する警報部及び操作部を有する表示装置６が接続されている。
【００２１】
各ＥＣＵを通信線７を介して接続することにより、例えば、歩行者認識用のＥＣＵ２は、ビデオカメラ１ａで撮像した撮像画像に基づいて、歩行者の認識処理を行い、障害物認識用のＥＣＵ３は、ビデオカメラ１ｂ、１ｃ、１ｄで撮像した撮像画像に基づいて、障害物の認識処理を行い、接近車両認識用のＥＣＵ４は、ビデオカメラ１ｃ、１ｄで撮像した撮像画像に基づいて、接近車両の認識処理を行い、白線認識用のＥＣＵ５は、ビデオカメラ１ｃ、１ｄで撮像した撮像画像に基づいて、白線の認識処理を行う。
【００２２】
図２は、ビデオカメラ１ａの構成を示すブロック図である。なお、ビデオカメラ１ｂ、１ｃ、１ｄも同様の構成を有するので説明は省略する。図において、１１は画像撮像部であり、光学信号を電気信号に変換する遠赤外線撮像素子が配置され、遠赤外線撮像素子は、入力された遠赤外光を、遠赤外光の強度に応じた輝度信号に変換し、信号処理部１２へ出力する。
【００２３】
信号処理部１２は、画像撮像部１１から入力された輝度信号に対して、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理などを行い、処理後の輝度信号を画像データとして一旦画像メモリ１３へ記憶する。
【００２４】
インタフェース部１４は、通信線７を介してＥＣＵ２、３、４、５と通信を行い、ＥＣＵ２、３、４、５から送信される指令に従って、画像メモリ１３に記憶された撮像画像をＥＣＵ２、３、４、５へ出力するための制御、ビデオカメラ１ａで撮像した画像の解像度による転送レートの変換、撮像画像からパケットデータの作成などを行う。また、インタフェース部１４は、制御部１５の制御に従って、画像メモリ１３に記憶された撮像画像をビデオカメラ１ａの識別番号とともにＥＣＵ２、３、４、５へ出力する。
【００２５】
制御部１５は、画像撮像部１１、信号処理部１２、インタフェース部１４の処理を制御する。例えば、ＥＣＵ２からの指令を解釈して、画像撮像部１１が撮像した撮像画像を画像メモリ１３に記憶する。また、記憶された撮像画像を読み出し、インタフェース部１４を介してＥＣＵ２へ出力する。
【００２６】
図３はＥＣＵ２の構成を示すブロック図である。図において、２１はインタフェース部であり、ビデオカメラ１ａ、１ｂ、１ｃ、１ｄに対する指令の送信、ビデオカメラ１ａ、１ｂ、１ｃ、１ｄからの撮像画像の受信などを行う。インタフェース部２１は、他のＥＣＵ３、４、５との間で通信を行い、他のＥＣＵ３、４、５との間で命令又はデータなどの送受信を行う。
【００２７】
入力部２５は、車両に搭載されたセンサ（例えば、速度センサ）からのセンサ信号、表示装置６に設けた操作部（例えば、歩行者認識処理の開始のスイッチ）からの信号などを受付ける。入力部２５は、受付けた信号を制御部２７へ出力する。
【００２８】
制御部２７は、インタフェース部２１を介してビデオカメラ１ａ、１ｂ、１ｃ、又は１ｄから入力された撮像画像夫々を１フレーム単位毎に画像メモリ２２に記憶する。また、制御部２７は、画像メモリ２２に記憶された撮像画像をフレーム単位で画像処理ＬＳＩ２６へ出力する。
【００２９】
制御部２７は、入力部２５に入力された信号に基づいて、後述する記憶部２３に記憶された各認識処理部の何れかを画像処理ＬＳＩ２６にロードすることにより、画像処理ＬＳＩ２６が所定の処理を行うように制御する。例えば、運転者が表示装置６に備えられた操作部を操作して歩行者認識処理を開始した場合、制御部２７は、入力部２５から入力された信号に基づいて、記憶部２３に記憶された歩行者認識処理部２３１を画像処理ＬＳＩ２６にロードする。
【００３０】
制御部２７は、記憶部２３に記憶してある標準パターンＨ１、Ｈ２、…ＨｘをＥＣＵ２、３、４、５にほぼ均等に割当てる。また、制御部２７は、画像処理ＬＳＩ２６で算出した相関度と、記憶部２３に記憶してある閾値ＴＨとを比較して、歩行者の抽出を行う。
【００３１】
記憶部２３は、歩行者を認識するための処理を特定する歩行者認識処理部２３１、障害物を認識するための処理を特定する障害物認識処理部２３２、接近車両を認識するための処理を特定する接近車両認識処理部２３３、路面上の白線を認識するための処理を特定する白線認識処理部２３４を記憶してある。
【００３２】
記憶部２３は、歩行者の輝度分布を示す標準パターンＨ１、Ｈ２、…Ｈｘを有する標準パターン部２３５を記憶してある。標準パターンＨ１、Ｈ２、…Ｈｘは歩行者の体形、子供と大人の区別、服装、歩行者の姿勢、位置などに応じて複数の異なるパターンである。
【００３３】
標準パターン部２３５は、障害物を認識するための標準パターン、接近車両を認識するための標準パターン、白線を認識するための標準パターンを有する。
【００３４】
画像処理ＬＳＩ２６は、論理ブロック、メモリ、内部レジスタなどを内蔵したＦＰＧＡ（Field Programmable Gate Array）により構成してある。ＦＰＧＡは、内蔵された各論理ブロック又はメモリに、記憶部２３に記憶された各認識処理部で特定される論理ビット列（アーキテクチャ・ビット）をロードすることにより、マッチドフィルタを用いた歩行者認識処理を行う。すなわち、二次元フーリエ変換された撮像画像と標準パターンのフーリエ変換の共役複素数との積和演算を行い、積和結果を逆二次元フーリエ変換して相関度（相関パワー）を算出し、算出した相関度の最大値を制御部２７へ出力する。また、ＦＰＧＡは、障害物認識処理部２３２、接近車両認識処理部２３３、又は白線認識処理部２３４で特定される論理ビット列をロードすることにより、障害物認識処理、接近車両認識処理、又は白線認識処理を行うこともできる。
【００３５】
画像処理ＬＳＩ２６は、画像メモリ２２に記憶された撮像画像をフレーム単位で読み出し、歩行者認識処理、障害物認識処理、接近車両認識処理、又は白線認識処理を行った結果の撮像画像を出力部２４へ出力する。画像処理ＬＳＩ２６は、同様の処理を画像メモリ２２に記憶された撮像画像に対してフレーム単位で繰り返し行う。
【００３６】
出力部２４は、画像処理ＬＳＩ２６から出力された処理後の撮像画像を表示装置６へ送信する。
【００３７】
表示装置６は、出力された撮像画像に基づき、車両周辺の状況をディスプレイに表示するとともに、歩行者が認識された場合は、認識された歩行者の周囲に枠を付して、運転者に歩行者の存在を促すべく強調表示をする。また、認識された接近車両、障害物、白線などを表示する。
【００３８】
表示装置６に備えられた警報部は、歩行者、接近車両、障害物が認識された場合に、音声又は警告音を発し、運転者に注意を促す。
【００３９】
ＥＣＵ３、４、５も同様の構成を有するので、説明は省略する。なお、ＥＣＵ２は、デフォルトで画像処理ＬＳＩ２６に歩行者認識処理部２３１で特定される論理ビット列がロードされ、歩行者認識のための画像処理を行う。ＥＣＵ３は、デフォルトで画像処理ＬＳＩに障害物認識処理部２３２で特定される論理ビット列がロードされ、障害物認識のための画像処理を行う。ＥＣＵ４は、デフォルトで画像処理ＬＳＩに接近車両認識処理部２３３で特定される論理ビット列がロードされ、接近車両認識のための画像処理を行う。ＥＣＵ５は、デフォルトで画像処理ＬＳＩに白線認識処理部２３４で特定される論理ビット列がロードされ、白線認識のための画像処理を行う。
【００４０】
図４はＥＣＵ間で使用する命令の構成を示す説明図である。命令は制御部２７で作成され、送信元のＥＣＵを特定する送信元アドレス、送信先のＥＣＵを特定する送信先アドレス、及び送信するデータ部から構成してある。また、データ部は、送信先のＥＣＵに対する命令部と、該命令部により使用される命令用のデータから構成してある。
【００４１】
命令部は、送信先のＥＣＵと通信開始を要求し、送信先のＥＣＵが要求に応じることができるか否かを確認する「通信開始」命令、標準パターン部２３５が有する標準パターンＨ１、Ｈ２、…Ｈｘを各ＥＣＵに割当てるための「標準パターン設定」命令、歩行者認識処理の開始を他のＥＣＵに要求する「歩行者認識開始」命令、他のＥＣＵの歩行者認識処理を終了させるための「歩行者認識終了」命令などを有する。
【００４２】
例えば、命令が「標準パターン設定」である場合は、制御部２７は、各ＥＣＵ夫々に割当てる標準パターン番号をデータとして作成する。これにより、制御部２７は、どのＥＣＵにどの標準パターンを割当てるかを特定する。
【００４３】
図５は標準パターンの割当て例を示す説明図である。図に示すように、制御部２７は、歩行者認識に用いられる標準パターンＨ１、Ｈ２、…ＨｘをＥＣＵ２、３、４、５でほぼ均等に割当てる。これにより、標準パターンＨ１、Ｈ２、…Ｈｘの何れかを割当てられたＥＣＵは、割当てられた標準パターンを使用して歩行者認識の処理を行う。
【００４４】
次に歩行者認識の処理について説明する。運転者が、表示装置６に備えられた操作部を操作して歩行者認識の開始スイッチをオンにした場合、歩行者認識の開始信号がＥＣＵ２の入力部２５を介して制御部２７に入力される。制御部２７は、インタフェース部２１を介して、初期コマンドをビデオカメラ１ａへ送出する。
【００４５】
初期コマンドを受信したビデオカメラ１ａは、画像撮像部１１から車両の外界の撮像を開始する。信号処理部１２は、撮像した撮像画像を一旦画像メモリ１３に記録した後に、１フレーム分の撮像画像毎にインタフェース部１４を介して、ＥＣＵ２へ送出し、送出された撮像画像は、一旦画像メモリ２２に記憶される。
【００４６】
制御部２７は、歩行者認識の開始信号を受け取った場合、他のＥＣＵ３、４、５に対して「通信開始」命令を送信する。これにより、他のＥＣＵ３、４、５がデフォルトの認識処理中であるか否かを確認する。例えば、運転者が障害物認識、接近車両認識、白線認識のいずれも開始していない場合は、ＥＣＵ２は、ＥＣＵ３、４、５夫々から歩行者認識処理を行うことができる確認信号を受信する。
【００４７】
制御部２７は、他のＥＣＵ３、４、５からの確認信号に基づいて、歩行者認識処理を並列に処理できるＥＣＵの数を算出し、算出した数に基づいて、標準パターンＨ１、Ｈ２、…Ｈｘをほぼ均等に割当てる割当て数を決定し、決定した数に基づいて、ＥＣＵ２、３、４、５に割当てる標準パターンの番号を決定し、決定した標準パターン番号を「標準パターン設定」命令とともに、他のＥＣＵ３、４、５へ送信する。
【００４８】
制御部２７は、画像メモリ２２に記憶された撮像画像をフレーム単位で画像処理ＬＳＩ２６へ出力する。
【００４９】
画像処理ＬＳＩ２６は、受け取った１フレーム分の撮像画像に輝度補正などのフィルタリング処理を行い、フィルタリング処理後の撮像画像に対して二次元フーリエ変換を行い、二次元フーリエ変換した撮像画像を制御部２７へ出力するとともに、二次元フーリエ変換した撮像画像と、ＥＣＵ２に割当てられた標準パターンのフーリエ変換の共役複素数との積和演算（コンボリューション演算）を標準パターン毎に行い、積和結果夫々を逆二次元フーリエ変換することにより標準パターン毎の相関度（相関パワー）を算出し、算出した相関度の最大値Ｍ２を内部レジスタに保持する。
【００５０】
制御部２７は、画像処理ＬＳＩ２６から出力された二次元フーリエ変換した撮像画像を「歩行者認識開始」命令とともに、ＥＣＵ３、４、５へ送信する。
【００５１】
「歩行者認識開始」命令を受信したＥＣＵ３は、受信した二次元フーリエ変換後の撮像画像と、ＥＣＵ３に割当てられた標準パターンのフーリエ変換の共役複素数との積和演算（コンボリューション演算）を標準パターン毎に行い、積和結果夫々を逆二次元フーリエ変換することにより標準パターン毎の相関度を算出し、算出した相関度の最大値Ｍ３をＥＣＵ２へ送信する。
【００５２】
「歩行者認識開始」命令を受信したＥＣＵ４は、受信した二次元フーリエ変換後の撮像画像と、ＥＣＵ４に割当てられた標準パターンのフーリエ変換の共役複素数との積和演算（コンボリューション演算）を標準パターン毎に行い、積和結果夫々を逆二次元フーリエ変換することにより標準パターン毎の相関度を算出し、算出した相関度の最大値Ｍ４をＥＣＵ２へ送信する。
【００５３】
「歩行者認識開始」命令を受信したＥＣＵ５は、受信した二次元フーリエ変換後の撮像画像と、ＥＣＵ５に割当てられた標準パターンのフーリエ変換の共役複素数との積和演算（コンボリューション演算）を標準パターン毎に行い、積和結果夫々を逆二次元フーリエ変換することにより標準パターン毎の相関度を算出し、算出した相関度の最大値Ｍ５をＥＣＵ２へ送信する。なお、ＥＣＵ２、３、４、５における相関度の算出は、並列に処理する。これにより、ＥＣＵ２がマスターとなり、ＥＣＵ３、４、５がスレーブとなって、標準パターン毎の相関度の算出演算を並列処理する。
【００５４】
ＥＣＵ２の制御部２７は、画像処理ＬＳＩ２６の内部レジスタに保持された相関度の最大値Ｍ２を取り出すとともに、取り出した相関度の最大値Ｍ２及びＥＣＵ３、４、５から受信した相関度の最大値Ｍ３、Ｍ４、Ｍ５を予め定められた閾値ＴＨと比較し、相関度の最大値Ｍ２、Ｍ３、Ｍ４、Ｍ５の何れかが閾値ＴＨより大きい場合は、歩行者が存在すると判定し、歩行者を抽出する。
【００５５】
画像処理ＬＳＩ２６は、制御部２７の判定結果に基づき、歩行者が抽出された撮像画像を、出力部２４を介して表示装置６へ送信する。
【００５６】
表示装置６は、出力部２４を介して出力された撮像画像に基づき、歩行者の状況をディスプレイに表示するとともに、抽出した歩行者の周囲に枠を付して、運転者に歩行者の存在を促すべく強調表示をする。
【００５７】
運転者が、表示装置６に備えられた操作部を操作して歩行者認識の開始スイッチをオフにした場合、制御部２７は、ＥＣＵ３、４、５に対して「歩行者認識終了」命令を送信し、ＥＣＵ３、４、５での歩行者認識処理を終了させる。
【００５８】
以上説明したように、本発明にあっては、標準パターンＨ１、Ｈ２、…Ｈｘを各ＥＣＵ２、３、４、５に割当て、各ＥＣＵ２、３、４、５において、二次元フーリエ変換後の撮像画像と標準パターンのフーリエ変換の共役複素数との積和演算（コンボリューション演算）、及び逆二次元フーリエ変換の演算を並列に行うことにより、各ＥＣＵ２、３、４、５における演算処理量を分散することができ、大規模なＬＳＩを必要としない。また、演算処理を並列に行うため、処理時間を短縮することができ、高速ＤＳＰなどの高価な画像処理装置を必要としない。また、ＥＣＵ３、４、５は、デフォルトで夫々の専用処理を行うものであるため、新たにＥＣＵを追加する必要がなく、既存のＥＣＵを有効利用してシステム全体のコストを低減することができる。
【００５９】
上述の実施の形態においては、歩行者認識処理は、マッチドフィルタを用いるものであったが、これに限定されるものではなく、他のテンプレートマッチング方法を用いる構成でもよい。例えば、撮像画像及び基準パターンが有する輝度値の間において、相関値を算出して、算出した相関値の大小に基づいて歩行者を認識する構成でもよい。
【００６０】
上述の実施の形態においては、標準パターンをＥＣＵ２、３、４、５の記憶部に記憶する構成であったが、これに限定されるものではなく、一のＥＣＵ（例えば、ＥＣＵ２のみ）に記憶する構成でもよく、また、ＥＣＵ外の記憶装置に標準パターンを記憶しておき、割当てた標準パターンを前記記憶装置から読み出し、各ＥＣＵに送信する構成でもよい。これにより、標準パターンを記憶するための記憶容量を削減することができる。また、予め各ＥＣＵに各ＥＣＵで処理するための標準パターンを分散して記憶しておく構成でもよい。
【００６１】
上述の実施の形態においては、標準パターンＨ１、Ｈ２、…Ｈｘを記憶する構成であったが、予め標準パターンＨ１、Ｈ２、…Ｈｘのフーリエ変換の共役複素数を記憶しておく構成でもよい。
【００６２】
上述の実施の形態においては、ＥＣＵ２、３、４、５を、通信線７を介して接続してある構成であったが、ＥＣＵの数は、これに限定されるものではない。
【００６３】
上述の実施の形態においては、歩行者認識処理を各ＥＣＵで並列処理する構成であったが、これに限定されるものではなく、障害物、接近車両などの車両周辺を認識する処理を並列処理する構成であってもよい。この場合は、夫々の処理に適した標準パターンを使用することができる。
【００６４】
上述の実施の形態においては、ビデオカメラと画像処理装置との接続は、ＩＥＥＥ１３９４に準拠した車載ＬＡＮ通信線を介して行われたが、これに限らず、Gigabit Ethernet(登録商標）等の規格に準拠した通信方式であってもよい。
【００６５】
上述の実施の形態においては、歩行者の認識処理を行う構成であったが、車両の周辺を認識する認識対象は、歩行者に限定されるものではなく、路面表示、標識、信号などの他の対象物を認識する構成であってもよい。
【図面の簡単な説明】
【００６６】
【図１】本発明に係る車両周辺認識システムの概要を示す模式図である。
【図２】ビデオカメラの構成を示すブロック図である。
【図３】ＥＣＵの構成を示すブロック図である。
【図４】ＥＣＵ間で使用する命令の構成を示す説明図である。
【図５】標準パターンの割当て例を示す説明図である。
【符号の説明】
【００６７】
１ａ、１ｂ、１ｃ、１ｄ ビデオカメラ
２、３、４、５ ＥＣＵ
６ 表示装置
２１ インタフェース部
２２ 画像メモリ
２３ 記憶部
２４ 出力部
２５ 入力部
２６ 画像処理ＬＳＩ
２７ 制御部
２３１ 歩行者認識処理部
２３５ 標準パターン
【特許請求の範囲】
【請求項１】
車両の外界を撮像装置で撮像し、撮像して得られた撮像画像及び複数記憶してある標準パターンを画像処理装置で処理して車両周辺を認識する車両周辺認識システムにおいて、
前記画像処理装置を複数備え、
前記画像処理装置は、
撮像して得られた撮像画像を他の画像処理装置との間で送受信する送受信手段と、
前記画像処理装置毎に異なる標準パターンを用いて、前記送受信手段で受信した撮像画像が、前記標準パターンと類似しているか否かを判断する判断手段と
を備え、
前記画像処理装置は、
撮像して得られた撮像画像を他の画像処理装置へ送信し、
前記他の画像処理装置の判断手段が判断した結果に基づいて、車両周辺を認識するようにしてあることを特徴とする車両周辺認識システム。
【請求項２】
前記撮像画像を送信した画像処理装置の判断手段は、
撮像して得られた撮像画像が、前記標準パターンと類似しているか否かを判断するようにしてあり、
前記画像処理装置は、
前記判断手段及び他の画像処理装置の判断手段が判断した結果に基づいて、車両周辺を認識するようにしてあることを特徴とする請求項１に記載の車両周辺認識システム。
【請求項３】
撮像して得られた撮像画像が、前記標準パターンと類似しているか否かの判断を並列処理するようにしてあることを特徴とする請求項１又は請求項２に記載の車両周辺認識システム。
【請求項４】
取り込んだ撮像画像及び複数記憶してある標準パターンを処理して車両周辺を認識する画像処理装置において、
取り込んだ撮像画像を他の画像処理装置との間で送受信する送受信手段と、
前記画像処理装置毎に異なる標準パターンを用いて、前記送受信手段で受信した撮像画像が、前記標準パターンと類似しているか否かを判断する判断手段と
を備え、
前記判断手段が判断した結果に基づいて、車両周辺を認識するようにしてあることを特徴とする画像処理装置。
【請求項１】
車両の外界を撮像装置で撮像し、撮像して得られた撮像画像及び複数記憶してある標準パターンを画像処理装置で処理して車両周辺を認識する車両周辺認識システムにおいて、
前記画像処理装置を複数備え、
前記画像処理装置は、
撮像して得られた撮像画像を他の画像処理装置との間で送受信する送受信手段と、
前記画像処理装置毎に異なる標準パターンを用いて、前記送受信手段で受信した撮像画像が、前記標準パターンと類似しているか否かを判断する判断手段と
を備え、
前記画像処理装置は、
撮像して得られた撮像画像を他の画像処理装置へ送信し、
前記他の画像処理装置の判断手段が判断した結果に基づいて、車両周辺を認識するようにしてあることを特徴とする車両周辺認識システム。
【請求項２】
前記撮像画像を送信した画像処理装置の判断手段は、
撮像して得られた撮像画像が、前記標準パターンと類似しているか否かを判断するようにしてあり、
前記画像処理装置は、
前記判断手段及び他の画像処理装置の判断手段が判断した結果に基づいて、車両周辺を認識するようにしてあることを特徴とする請求項１に記載の車両周辺認識システム。
【請求項３】
撮像して得られた撮像画像が、前記標準パターンと類似しているか否かの判断を並列処理するようにしてあることを特徴とする請求項１又は請求項２に記載の車両周辺認識システム。
【請求項４】
取り込んだ撮像画像及び複数記憶してある標準パターンを処理して車両周辺を認識する画像処理装置において、
取り込んだ撮像画像を他の画像処理装置との間で送受信する送受信手段と、
前記画像処理装置毎に異なる標準パターンを用いて、前記送受信手段で受信した撮像画像が、前記標準パターンと類似しているか否かを判断する判断手段と
を備え、
前記判断手段が判断した結果に基づいて、車両周辺を認識するようにしてあることを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００６−１６３７２６（Ｐ２００６−１６３７２６Ａ）
【公開日】平成１８年６月２２日（２００６．６．２２）
【国際特許分類】
【出願番号】特願２００４−３５３１２７（Ｐ２００４−３５３１２７）
【出願日】平成１６年１２月６日（２００４．１２．６）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
【公開日】平成１８年６月２２日（２００６．６．２２）
【国際特許分類】
【出願日】平成１６年１２月６日（２００４．１２．６）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
[ Back to top ]