車両用画像処理システム及び画像処理装置
【課題】 車両の走行状態に応じて、車両前方の視認性が優れた車両用画像処理システム及び該車両用画像処理システムを構成する画像処理装置を提供する。
【解決手段】 画像処理装置３は、ビデオカメラ１、２から画角を受信し、速度センサ５から車両の速度を取得し、取得した速度と、受信した画角に関連付けられた閾値ＴＨとを比較する。画像処理装置３は、車両の速度が閾値ＴＨよりも小さい場合には、広角レンズを有するビデオカメラ１に対して撮像開始信号を送出するとともに、望遠レンズを有するビデオカメラ２に対してオフ信号を送出し、広角レンズを有するビデオカメラ１からの画像データを受信し、所定の歩行者認識処理を行い、画像処理後の画像データを表示装置４へ出力する。車両の速度が閾値ＴＨよりも大きい場合には、望遠レンズを有するビデオカメラ２に対して撮像開始信号を送出する。
【解決手段】 画像処理装置３は、ビデオカメラ１、２から画角を受信し、速度センサ５から車両の速度を取得し、取得した速度と、受信した画角に関連付けられた閾値ＴＨとを比較する。画像処理装置３は、車両の速度が閾値ＴＨよりも小さい場合には、広角レンズを有するビデオカメラ１に対して撮像開始信号を送出するとともに、望遠レンズを有するビデオカメラ２に対してオフ信号を送出し、広角レンズを有するビデオカメラ１からの画像データを受信し、所定の歩行者認識処理を行い、画像処理後の画像データを表示装置４へ出力する。車両の速度が閾値ＴＨよりも大きい場合には、望遠レンズを有するビデオカメラ２に対して撮像開始信号を送出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の外界を撮像装置で撮像し、撮像して得られた画像データを画像処理して表示する車両用画像処理システム及び該車両用画像処理システムを構成する画像処理装置に関する。
【背景技術】
【０００２】
車両に搭載した撮像装置で車両前方を撮像し、撮像して得られた画像データを画像処理して表示することにより、運転者の支援を行う前方監視システムが提案されている。このような前方監視システムは、運転者に車両前方の歩行者、障害物、又は車両などの対象物を的確に認識させることにより、車両の走行状態に応じて対象物を回避し、衝突又は接触などの危険を未然に防止するものである。
【０００３】
市街地又は交差点付近においては、歩行者又は車両が左右方向から急に飛び出てくることが想定されるため、運転者は車両を低速度で走行させ、車両前方の広い範囲に注意を払う必要がある。一方、高速道路又は郊外の道路においては、運転者は車両を高速度で走行させるため、車両周辺よりも車両前方の遠距離における危険を察知する必要がある。
【０００４】
そこで、車両の走行状態に応じて車両前方の対象物を容易に認識するため、ズームレンズを有するズーム機構を車両のフロントグリル周辺に配置し、車両の速度が基準値よりも遅い場合には、ズームレンズを駆動して基準画角よりも大きい画角にして車両周辺の広い範囲を認識し、一方、車両の速度が基準値よりも速い場合には、ズームレンズを駆動して基準画角よりも小さい画角にして車両前方の遠距離を認識する車両用画像認識装置が提案されている（特許文献１参照）。
【特許文献１】特開平７−１０５４８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の例にあっては、ステッピングモータによりズームレンズを駆動させるための可動部分を有する。該可動部分は、車両走行時に加わる振動、外気の温度変化、外気からの粉塵、雨などの車両特有の外的要因に対しては、車両の信頼性を損なう原因になり得る場合があった。このため、ズーム機構を車両に用いることは敬遠される傾向にあり、車両用画像認識装置の信頼性を向上するためにズーム機構に代わる機構が望まれていた。
【０００６】
また、ズーム機構は、ズームレンズを正確に駆動させるための高精度な可動部分が必要であり、部品コストが割高になるためコストを低減した機構が望まれていた。
【０００７】
さらに、ズーム機構は、１０枚以上のレンズを使用しており、レンズ夫々の光軸を一致させて配置することが困難であり、レンズ夫々の光軸が一致しないために夫々のレンズが有する収差がさらに重畳する場合がある。このため、光が正しい光路を通らず、レンズを収容する筐体内部で光の乱反射が生じる場合があった。また正しい光路を通らない光により画像の一部に白いぼやけが生じる場合、又は夫々のレンズが有する透過率が重畳され、多くのレンズを透過する過程で光の透過率が低下し、コントラストの低下により画質が劣化する場合があった。特に遠赤外カメラを用いる場合は、レンズの材質による透過率の低下が可視光カメラの場合よりも顕著になり、遠赤外の領域であっても視認性が優れた画像処理装置が望まれていた。
【０００８】
本発明は、斯かる事情に鑑みてなされたものであり、画角が異なる光学素子を有する撮像装置を複数設けておき、車両の速度に応じて前記撮像装置を切り替える切替手段を備えることにより、ズーム機構を用いることなく、車両の走行状態に応じて異なる画角で車両前方の外界を撮像することができる車両用画像処理システム、及び該車両用画像処理システムを構成する画像処理装置を提供することを目的とする。
【０００９】
また、本発明の他の目的は、画角及び閾値の大小を関連付けて記憶する記憶手段を設けておき、車両の速度と、受信した画角に関連付けられた閾値とを比較し、比較した結果に基づいて撮像装置を切り替える切替手段を備えることにより、画角が異なる撮像装置に取り替えた場合であっても、車両の走行状態に応じて異なる画角で車両前方の外界を撮像することができるとともに、画角の大きさに応じた閾値を用いて撮像装置を切り替えることができる車両用画像処理システムを提供することにある。
【００１０】
また、本発明の他の目的は、赤外光を透過する光学素子と、赤外光を撮像する赤外光用撮像素子とを備えることにより、夜間走行の場合であっても、車両の走行状態に応じて異なる画角で車両前方の外界を撮像することができる車両用画像処理システムを提供することにある。
【課題を解決するための手段】
【００１１】
第１発明に係る車両用画像処理システムは、車両の外界を撮像装置で撮像し、撮像して得られた画像データを画像処理装置で画像処理して表示する車両用画像処理システムにおいて、画角が異なる光学素子を有する撮像装置を複数備え、前記画像処理装置は、車両の速度を取得する取得手段と、該取得手段が取得した速度に応じて、前記撮像装置を切り替える切替手段とを有し、該切替手段が切り替えた撮像装置で外界を撮像するよう構成してあることを特徴とする。
【００１２】
第２発明に係る車両用画像処理システムは、第１発明において、前記画像処理装置は、 画角の大小を閾値の大小に関連付けて記憶する記憶手段と、前記光学素子の画角を受信する受信手段と、前記取得手段が取得した速度と、前記受信手段が受信した画角に関連付けられた閾値とを比較する比較手段とを備え、前記切替手段は、前記比較手段が比較した結果に基づいて、前記撮像装置を切り替えるよう構成してあることを特徴とする。
【００１３】
第３発明に係る車両用画像処理システムは、第１発明又は第２発明において、前記撮像装置は、赤外光を透過する光学素子と、透過した赤外光を撮像する赤外光用撮像素子とを備えたことを特徴とする。
【００１４】
第４発明に係る画像処理装置は、取り込んだ画像データを画像処理する画像処理装置において、車両の速度を取得する取得手段と、該取得手段が取得した速度に応じて、画像の取り込み先を切り替える切替手段とを備えたことを特徴とする。
【００１５】
第１発明及び第４発明にあっては、画角が異なる光学素子を有する撮像装置を複数備えている。例えば、画角が４０°〜５０°の標準画角よりも大きい画角の広角レンズを有する撮像装置と、標準画角よりも小さい画角の望遠レンズを有する撮像装置とを備えている。検出手段が車両の速度を検出し、検出した車両の速度が所定の速度よりも速い場合は、画角の小さい撮像装置に切り替える。これにより、車両前方の遠距離に存在する対象物を画面上で大きく表示させる。一方、車両の速度が所定の速度よりも遅い場合は、画角の大きい撮像装置に切り替える。これにより、車両前方の左右方向の広い範囲に存在する対象物を画面上で表示させる。ズーム機構を用いることなく、車両の速度に応じて画角が異なる光学素子を有する撮像装置を切り替える。また、画角が固定された光学素子は、ズーム機構の場合に比較して、使用するレンズの枚数は１〜５枚と少ないため、透過率は低下しない。
【００１６】
第２発明にあっては、予め異なる画角（広角及び望遠）の組毎に、画角及び閾値の大小を関連付けて記憶する記憶手段を備えている。受信手段は、車両に取り付けられた撮像装置が有する光学素子の画角を受信する。取得手段が取得した車両の速度と、受信した画角に関連付けられた閾値とを比較し、車両の速度が閾値よりも大きい場合は、画角の大きい光学素子を有する撮像装置に切り替える。一方、車両の速度が閾値よりも小さい場合は、画角の小さい光学素子を有する撮像装置に切り替える。これにより、撮像装置が新たに取り付けられた場合、又は画角が異なる撮像装置に取り替えられた場合であっても、画像処理装置は、前記撮像装置の光学素子が有する画角を受信し、受信した画角に応じた閾値を用いる。また、記憶手段が広角レンズと望遠レンズとの組み合わせ毎に閾値を関連付けて記憶している場合は、広角レンズの画角が大きいほど閾値を小さくしてあり、望遠レンズの画角が小さいほど閾値を大きくしてある。車両の速度が閾値より小さく、広角レンズの撮像装置に切り替えて走行している場合において、広角レンズの画角が大きいときは、車両の速度があまり速くならないうちに望遠レンズの撮像装置に切り替える。これにより、小さい速度で望遠レンズの撮像装置に切り替え、画角の大きい広角レンズが有する車両前方の遠方における視認性の低下を防止する。一方、車両の速度が閾値より大きく、望遠レンズの撮像装置に切り替えて走行している場合において、望遠レンズの画角が小さいときは、車両の速度があまり遅くならないうちに広角レンズの撮像装置に切り替える。これにより、大きい速度で広角レンズの撮像装置に切り替え、画角の小さい望遠レンズが有する車両前方周辺の広い範囲における視認性の低下を防止する。
【００１７】
第３発明にあっては、赤外光を透過する光学素子と、赤外光を撮像する赤外光用撮像素子とを備えることにより、車両前方に存在する熱源が発する赤外線を感知して画像を得る。人間は他の物体に比較して多くの熱源を発するため、赤外線画像内で他の物体より比較的高輝度を有する。これにより、可視光では車両前方の歩行者を認識しにくい夜間走行時においても、歩行者を認識する。
【発明の効果】
【００１８】
第１発明及び第４発明にあっては、ズーム機構を使用しないため車両特有の外的要因の影響を受けず、従来に比較して、より簡便な機構で車両の速度に応じた画角の撮像装置で車両前方を表示することができる。また、ズーム機構に代えて、使用するレンズの枚数が少なく、画角が固定された撮像装置を用いることにより、複雑なズーム機構に要するコストを省くことができ、従来に比べて部品コストの低減ができるとともに、透過率の低下又は画質の劣化を防止することができる。
【００１９】
第２発明にあっては、画角が異なる撮像装置に取り替えた場合であっても、撮像装置が有する画角を受信して、画角に応じた閾値を用いることができ、運転者の好みに応じた画角の撮像装置を使用することができる。また、撮像装置の画角に応じた閾値を用いることにより、撮像装置を切り替えるための速度が固定されず、車両前方の視認性を改善することができる。
【００２０】
第３発明にあっては、夜間走行時においても、車両走行状態に応じて画角を切り替えて歩行者を認識することができる。また、ズーム機構を用いていないため、透過率の低下又は画質の劣化を防止することができる。
【発明を実施するための最良の形態】
【００２１】
図１は本発明に係る車両用画像処理システムの概要を示す模式図である。図において、１及び２は車両に搭載され、夜間の歩行者、自転車に乗った人間などを認識する遠赤外用のビデオカメラである。ビデオカメラ１、２夫々は、垂直方向に適長の間隔を隔ててフロントグリルの中央部に並置されてあり、ＩＥＥＥ１３９４に準拠した車載ＬＡＮ通信線６を介して画像処理装置３に接続してある。画像処理装置３には、通信線６を介して操作部を有する表示装置４、及び車両の速度を検出する速度センサ５が接続してある。
【００２２】
図２は、ビデオカメラ１の構成を示す模式図である。図において、１１は画像撮像部であり、外界からの赤外光を受光するゲルマニウム製のレンズ１１０、１１１、１１２、及び１１３が光軸を一致して適長の離隔寸法を有して配置してある。レンズ１１３を透過した赤外光が結像する位置であって、前記光軸が撮像面の中心に位置するように焦電型撮像素子１１４が配置されている。これにより、昼夜を問わず歩行者が撮像される。
【００２３】
レンズ１１０、１１１、１１２、及び１１３の相対位置及び形状を変えることにより、レンズ群全体の画角を変更することができる。ビデオカメラ１は画角が約９０°の広角用のビデオカメラである。なお、ビデオカメラ２もビデオカメラ１と同様の構成を有し、画角が約２０°の望遠用のビデオカメラである。
【００２４】
レンズ１１０、１１１、１１２、及び１１３を透過した赤外光は、焦電型撮像素子１１４に入力される。焦電型撮像素子１１４は、入力された赤外光をＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）のアナログ信号に変換し、信号処理部１２へ出力する。
【００２５】
信号処理部１２は、焦電型撮像素子１１４から入力されたアナログ信号をデジタル信号に変換し、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理などを行う。さらに、ＲＧＢ信号をＹＵＶ（Ｙ：輝度、Ｕ、Ｖ：色差）信号に変換し、変換したＹＵＶ信号を画像データとして一旦画像メモリ１３へ記憶する。
【００２６】
インターフェース部１５は、車載ＬＡＮ通信線６を介して画像処理装置３と通信を行い、画像処理装置３から送信される指令に従って、画像メモリ１３に記憶された画像データを画像処理装置３へ出力する。
【００２７】
記憶部１６は、ビデオカメラ１に使用されたレンズ１１０、１１１、１１２、及び１１３から構成されるレンズ全体として設定された画角を記憶している。
【００２８】
制御部１４は、画像撮像部１１、信号処理部１２、インターフェース部１５の処理を制御する。例えば、画像処理装置３からの指令を解釈し、画像メモリ１３に記憶された画像データを読み出し、インターフェース部１５を介して画像処理装置３へ出力する。
【００２９】
図３は、画像処理装置３の構成を示すブロック図である。図において、３１はインターフェース部であり、速度センサ５からの車両の速度の受信、ビデオカメラ１、２の切り替え信号の送出、ビデオカメラ１、２に対する指令の転送、ビデオカメラ１、２からの画像データの転送などを行い、入力された画像データをフレーム単位で画像メモリ３２に記憶する。
【００３０】
速度比較部３３は、インターフェース部３１を介して入力されたビデオカメラ１、２の画角を受信して記憶する。また、速度比較部３３は、インターフェース部３１を介して入力された車両の速度を取得する。また、速度比較部３３は、受信した画角に基づいて、記憶部３６２から前記画角に関連付けられた閾値ＴＨを読み出す。また、速度比較部３３は、取得した車両の速度と、読み出した閾値ＴＨとを比較し、比較した結果に基づいて、ビデオカメラ１又は２の切り替え指示のためのオン・オフ指令を、インターフェース部３１を介してビデオカメラ１、２へ出力する。これにより、ビデオカメラ１、２のいずれか一方が撮像処理を行う。
【００３１】
画像処理部３６は、演算部３６１及び記憶部３６２を備えている。演算部３６１は画像メモリ３２に記憶された１フレーム分の画像データを読み出し、読み出した画像データの輝度分布に基づいて、歩行者としての特徴画像を抽出して歩行者の認識処理を行い、処理後の画像データを画像メモリ３２に記憶する。画像処理部３６は、上述の認識処理を１フレーム分の画像データに対して行った後は、同様の認識処理を前記１フレーム以降の各フレームについて行う。
【００３２】
記憶部３６２は、画角に関連付けられた閾値を示す閾値テーブル３６２ａを記憶している。図４は閾値テーブル３６２ａの構成を示す説明図である。図に示すように、標準レンズの画角（約４０°〜５０°）を境として、広角レンズ及び望遠レンズの画角の組合せに関連付けて、速度の閾値ＴＨを記憶してある。例えば、広角レンズの画角がθ１１であり、望遠レンズの画角がθ２１である場合は、閾値はＴＨ１である。広角レンズの画角はθ１１＞θ１２＞…の関係を有し、望遠レンズの画角はθ２１＞θ２２＞…の関係を有する。また、閾値はＴＨ１＜ＴＨ２＜…の関係を有し、ＴＨ１０＜ＴＨ１１＜…の関係を有する。
【００３３】
出力部３５は、画像処理部３６で処理された画像データを画像メモリ３２から読み出し、表示装置４へ出力することにより、表示装置４は歩行者が認識された画像データを表示する。
【００３４】
画像処理制御部３４は、インターフェース部３１から出力される画像データの画像メモリ３２への記憶、画像処理部３６の画像メモリ３２からの画像データの読み出し、認識処理された画像データの出力部３５への出力などの処理を制御する。
【００３５】
次にビデオカメラの切替動作について説明する。車両の走行時に運転者が、表示装置４に備えられた操作部を操作してビデオカメラ１、２の動作スイッチをオンにすると、動作信号を前記操作部から受信した画像処理装置３は、インターフェース部３１を介して、初期コマンドをビデオカメラ１、２へ送出する。
【００３６】
初期コマンドを受信したビデオカメラ１、２は、ビデオカメラ１、２に記憶された画角の情報を画像処理装置３へ送出する。速度比較部３３は、インターフェース部３１を介して入力されたビデオカメラ１、２の画角情報に基づいて、ビデオカメラ１、２の画角の組合せに対応する閾値ＴＨを記憶部３６２から読み出し、速度比較部３３内に記憶する。
【００３７】
速度比較部３３は、インターフェース部３１を介して、速度センサ５から車両の速度を取得し、取得した速度と閾値ＴＨとを比較する。速度比較部３３は、車両の速度が閾値ＴＨよりも小さい場合には、広角レンズを有するビデオカメラ１に対して撮像開始信号を送出するとともに、望遠レンズを有するビデオカメラ２に対してオフ信号を送出する。
【００３８】
撮像開始信号を受信したビデオカメラ１は、画像撮像部１１から車両の外界の撮像を開始する。信号処理部１２は、撮像した画像データに対して、ＲＧＢ信号からＹＵＶ信号に変換し、一旦画像メモリ１３に記録した後に、１フレーム分の画像データごとにインターフェース部１４を介して、画像処理装置３へ送出する。
【００３９】
一方、オフ信号を受信したビデオカメラ２は、撮像処理を停止し、画像処理装置３からの指令を待つ待ち状態に入る。
【００４０】
これにより、画像処理装置３は、車両の速度が閾値ＴＨよりも小さい場合は、広角レンズを有するビデオカメラ１からの画像データを受信し、所定の歩行者認識処理を行い、画像処理後の画像データを表示装置４へ出力する。
【００４１】
速度比較部３３は、所定の時間間隔で速度センサ５からの車両の速度を取得する。車両の速度が閾値ＴＨよりも大きくなった場合は、速度比較部３３は、広角レンズを有するビデオカメラ１に対してオフ信号を送出するとともに、望遠レンズを有するビデオカメラ２に対して撮像開始信号を送出する。
【００４２】
撮像処理を行っていたビデオカメラ１は、オフ信号を受信することにより、撮像処理を停止し、画像処理装置３からの指令を待つ待ち状態に入る。一方、待ち状態にあったビデオカメラ２は、画像撮像部１１から車両の外界の撮像を開始し、撮像した画像データを画像処理装置３へ送出する。
【００４３】
以上の通り、車両の速度に応じて、ビデオカメラ１、２を切り替える。これにより、閾値ＴＨより小さい速度で走行する場合は、広角レンズを有するビデオカメラ１により車両前方を撮像し、車両前方の広い範囲を撮像することができる。一方、閾値ＴＨより大きい速度で走行する場合は、望遠レンズを有するビデオカメラ２により車両前方の遠方を撮像して、車両前方の遠距離の対象物を表示装置４上で大きく表示することができる。
【００４４】
図５は画角及び撮像範囲の関係を示す説明図である。図に示すように広角レンズ（画角θ１）を有するビデオカメラ１で撮像する場合、車両前中央部から撮影角度θ１の範囲の対象物を認識することができる。特に市街地又は交差点付近では、横断歩道を渡る歩行者、道路わきを走行する自転車などを容易に認識することが可能になる。広角レンズを使用する場合、車両前方の遠距離にある対象物は、表示画面上で小さくなる傾向にあるが、車両速度が低速であるため、歩行者、車両などの対象物の認識をする上では支障は少ない。
【００４５】
また、図に示すように望遠レンズ（画角θ２）を有するビデオカメラ２で撮像する場合、車両前中央部から撮影角度θ２の範囲の対象物を認識することができる。特に郊外又は高速道路を走行する場合、比較的高速度で走行するため、車両の左右周辺よりも、遠方の対象物を早期に認識して危険を未然に回避することが重要であり、望遠レンズを用いることにより、広角レンズを用いた場合に比較して、遠方の対象物を表示装置４で大きく表示することができる。
【００４６】
図６は画角及び速度の閾値の関係を示す説明図である。図６（ａ）は画角θ２２の望遠レンズを有するビデオカメラ２を搭載し、速度の閾値がＴＨ２の場合、図６（ｂ）は画角θ２１（＞θ２２）の望遠レンズを有するビデオカメラ２を搭載し、速度の閾値はＴＨ１（＜ＴＨ２）の場合を示す。
【００４７】
望遠レンズの画角が小さい（画角θ２２）場合は、速度の閾値ＴＨ２が大きく（ＴＨ２＞ＴＨ１）、車両の速度があまり遅くならないうちに広角レンズの撮像装置に切り替える。車両の速度が閾値ＴＨ２である場合の車両の停止距離をＬ２、速度が閾値ＴＨ１である場合の停止距離をＬ１とすると、ＴＨ２＞ＴＨ１であるから、Ｌ２＞Ｌ１である。また、望遠レンズの画角が小さい（画角θ２２）場合は、長い停止距離Ｌ２（＞Ｌ１）を有して広角レンズの撮像装置に切り替える。したがって、望遠レンズの画角が小さい（画角θ２２）場合は、早めに広角レンズの撮像装置に切り替えることができ、画角の小さい望遠レンズが有する車両前方周辺の広い範囲における視認性の低下を防止できる。また、危険を回避するために長い停止距離を確保することができる。
【００４８】
広角レンズ及び望遠レンズの組合せに対応する閾値は、次のように算出することができる。広角レンズの画角をθ１、撮像した画像データの画素数をＮｗ、歩行者を認識するのに必要な最小画素数をＮｏ、人間の高さをＷとして、測定距離ｄを数１で算出する。
【００４９】
【数１】
【００５０】
ここで、Ｎｗは３２０×２４０、Ｎｏは４０×１６、Ｗ＝１を用いることができる。数１で算出した測定距離ｄを停止距離＋余裕距離として、停止距離＝速度×平均反応時間＋速度／（２×９．８×路面摩擦係数）から算出された速度を閾値として使用することができる。ここで、余裕距離は所定の数値を用いればよい。
【００５１】
上述の通り、本発明にあっては、画角が異なる複数のビデオカメラを設けておき、車両の速度に応じてビデオカメラを切り替えることにより、車両の速度が比較的低速度である場合には、広角レンズを有するビデオカメラにより撮像して、車両の前方の広い範囲の視認性を確保する。一方、車両の速度が速い場合には、望遠レンズを有するビデオカメラに切り替えて、車両前方のより遠方の視認性を確保する。ズーム機構のような高精度の機構を必要としないため、車両特有の外的要因の影響を受けず、従来に比較して、部品コストの低減ができるとともに、透過率の低下又は画質の劣化を防止することができる。
【００５２】
また、画角が異なる撮像装置に取り替えた場合であっても、撮像装置が有する画角を取得して、画角に応じた閾値を用いることができ、運転者の好みに応じた画角の撮像装置を使用することができる。さらに、撮像装置の画角に応じた閾値を用いることにより、撮像装置を切り替えるための速度が固定されず、車両前方の視認性を改善することができる。
【００５３】
上述の実施の形態においては、ビデオカメラ１、２は遠赤外用のビデオカメラであったが、これに限らず、可視光用のビデオカメラであってもよい。この場合は、レンズ１１０、１１１、１１２、及び１１３はガラス製のレンズであり、撮像素子１１４はＣＣＤである。
【００５４】
上述の実施の形態においては、車両の速度は、速度センサ５で検出する構成であったが、これに限られない。例えば、画像処理装置３において車両の速度を算出することも可能である。すなわち、路面表示又は白線を撮像した画像データから、路面表示又は白線に属する輝度の濃淡エッジを検出する。次にフレーム間において、同一の濃淡エッジの組合せを抽出し、抽出した濃淡エッジの１フレーム当たりの移動量を算出する。算出した移動量に基づいて、車両の速度を算出し、速度比較部３３が算出された速度を取得する構成でもよい。これにより、画像処理装置と速度センサとの間の通信線を省略することができる。
【００５５】
上述の実施の形態においては、ビデオカメラと画像処理装置との接続は、ＩＥＥＥ１３９４に準拠した車載ＬＡＮ通信線を介して行われたが、これに限らず、ＮＴＳＣに準拠した通信方式であってもよい。
【００５６】
上述の実施の形態においては、θ１１、θ２１のように画角の一点の値に関連付けて閾値ＴＨを記憶する構成であったが、これに限られるものではなく、例えば、θ１１〜θ１２、θ２１〜θ２２のように画角の所定の範囲に対応して閾値ＴＨを記憶する構成でもよい。
【図面の簡単な説明】
【００５７】
【図１】本発明に係る車両用画像処理システムの概要を示す模式図である。
【図２】ビデオカメラの構成を示す模式図である。
【図３】画像処理装置の構成を示すブロック図である。
【図４】閾値テーブルの構成を示す説明図である。
【図５】画角及び撮像範囲の関係を示す説明図である。
【図６】画角及び速度の閾値の関係を示す説明図である。
【符号の説明】
【００５８】
１、２ ビデオカメラ
３ 画像処理装置
４ 表示装置
５ 速度センサ
６ 通信線
１１ 画像撮像部
１２ 信号処理部
１３、３２ 画像メモリ
１４ 制御部
１５、３１ インターフェース部
３３ 速度比較部
３４ 画像処理制御部
３５ 出力部
３６ 画像処理部
３６２ａ 閾値テーブル
１１０、１１１、１１２、１１３ レンズ
１１４ 焦電型撮像素子
【技術分野】
【０００１】
本発明は、車両の外界を撮像装置で撮像し、撮像して得られた画像データを画像処理して表示する車両用画像処理システム及び該車両用画像処理システムを構成する画像処理装置に関する。
【背景技術】
【０００２】
車両に搭載した撮像装置で車両前方を撮像し、撮像して得られた画像データを画像処理して表示することにより、運転者の支援を行う前方監視システムが提案されている。このような前方監視システムは、運転者に車両前方の歩行者、障害物、又は車両などの対象物を的確に認識させることにより、車両の走行状態に応じて対象物を回避し、衝突又は接触などの危険を未然に防止するものである。
【０００３】
市街地又は交差点付近においては、歩行者又は車両が左右方向から急に飛び出てくることが想定されるため、運転者は車両を低速度で走行させ、車両前方の広い範囲に注意を払う必要がある。一方、高速道路又は郊外の道路においては、運転者は車両を高速度で走行させるため、車両周辺よりも車両前方の遠距離における危険を察知する必要がある。
【０００４】
そこで、車両の走行状態に応じて車両前方の対象物を容易に認識するため、ズームレンズを有するズーム機構を車両のフロントグリル周辺に配置し、車両の速度が基準値よりも遅い場合には、ズームレンズを駆動して基準画角よりも大きい画角にして車両周辺の広い範囲を認識し、一方、車両の速度が基準値よりも速い場合には、ズームレンズを駆動して基準画角よりも小さい画角にして車両前方の遠距離を認識する車両用画像認識装置が提案されている（特許文献１参照）。
【特許文献１】特開平７−１０５４８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の例にあっては、ステッピングモータによりズームレンズを駆動させるための可動部分を有する。該可動部分は、車両走行時に加わる振動、外気の温度変化、外気からの粉塵、雨などの車両特有の外的要因に対しては、車両の信頼性を損なう原因になり得る場合があった。このため、ズーム機構を車両に用いることは敬遠される傾向にあり、車両用画像認識装置の信頼性を向上するためにズーム機構に代わる機構が望まれていた。
【０００６】
また、ズーム機構は、ズームレンズを正確に駆動させるための高精度な可動部分が必要であり、部品コストが割高になるためコストを低減した機構が望まれていた。
【０００７】
さらに、ズーム機構は、１０枚以上のレンズを使用しており、レンズ夫々の光軸を一致させて配置することが困難であり、レンズ夫々の光軸が一致しないために夫々のレンズが有する収差がさらに重畳する場合がある。このため、光が正しい光路を通らず、レンズを収容する筐体内部で光の乱反射が生じる場合があった。また正しい光路を通らない光により画像の一部に白いぼやけが生じる場合、又は夫々のレンズが有する透過率が重畳され、多くのレンズを透過する過程で光の透過率が低下し、コントラストの低下により画質が劣化する場合があった。特に遠赤外カメラを用いる場合は、レンズの材質による透過率の低下が可視光カメラの場合よりも顕著になり、遠赤外の領域であっても視認性が優れた画像処理装置が望まれていた。
【０００８】
本発明は、斯かる事情に鑑みてなされたものであり、画角が異なる光学素子を有する撮像装置を複数設けておき、車両の速度に応じて前記撮像装置を切り替える切替手段を備えることにより、ズーム機構を用いることなく、車両の走行状態に応じて異なる画角で車両前方の外界を撮像することができる車両用画像処理システム、及び該車両用画像処理システムを構成する画像処理装置を提供することを目的とする。
【０００９】
また、本発明の他の目的は、画角及び閾値の大小を関連付けて記憶する記憶手段を設けておき、車両の速度と、受信した画角に関連付けられた閾値とを比較し、比較した結果に基づいて撮像装置を切り替える切替手段を備えることにより、画角が異なる撮像装置に取り替えた場合であっても、車両の走行状態に応じて異なる画角で車両前方の外界を撮像することができるとともに、画角の大きさに応じた閾値を用いて撮像装置を切り替えることができる車両用画像処理システムを提供することにある。
【００１０】
また、本発明の他の目的は、赤外光を透過する光学素子と、赤外光を撮像する赤外光用撮像素子とを備えることにより、夜間走行の場合であっても、車両の走行状態に応じて異なる画角で車両前方の外界を撮像することができる車両用画像処理システムを提供することにある。
【課題を解決するための手段】
【００１１】
第１発明に係る車両用画像処理システムは、車両の外界を撮像装置で撮像し、撮像して得られた画像データを画像処理装置で画像処理して表示する車両用画像処理システムにおいて、画角が異なる光学素子を有する撮像装置を複数備え、前記画像処理装置は、車両の速度を取得する取得手段と、該取得手段が取得した速度に応じて、前記撮像装置を切り替える切替手段とを有し、該切替手段が切り替えた撮像装置で外界を撮像するよう構成してあることを特徴とする。
【００１２】
第２発明に係る車両用画像処理システムは、第１発明において、前記画像処理装置は、 画角の大小を閾値の大小に関連付けて記憶する記憶手段と、前記光学素子の画角を受信する受信手段と、前記取得手段が取得した速度と、前記受信手段が受信した画角に関連付けられた閾値とを比較する比較手段とを備え、前記切替手段は、前記比較手段が比較した結果に基づいて、前記撮像装置を切り替えるよう構成してあることを特徴とする。
【００１３】
第３発明に係る車両用画像処理システムは、第１発明又は第２発明において、前記撮像装置は、赤外光を透過する光学素子と、透過した赤外光を撮像する赤外光用撮像素子とを備えたことを特徴とする。
【００１４】
第４発明に係る画像処理装置は、取り込んだ画像データを画像処理する画像処理装置において、車両の速度を取得する取得手段と、該取得手段が取得した速度に応じて、画像の取り込み先を切り替える切替手段とを備えたことを特徴とする。
【００１５】
第１発明及び第４発明にあっては、画角が異なる光学素子を有する撮像装置を複数備えている。例えば、画角が４０°〜５０°の標準画角よりも大きい画角の広角レンズを有する撮像装置と、標準画角よりも小さい画角の望遠レンズを有する撮像装置とを備えている。検出手段が車両の速度を検出し、検出した車両の速度が所定の速度よりも速い場合は、画角の小さい撮像装置に切り替える。これにより、車両前方の遠距離に存在する対象物を画面上で大きく表示させる。一方、車両の速度が所定の速度よりも遅い場合は、画角の大きい撮像装置に切り替える。これにより、車両前方の左右方向の広い範囲に存在する対象物を画面上で表示させる。ズーム機構を用いることなく、車両の速度に応じて画角が異なる光学素子を有する撮像装置を切り替える。また、画角が固定された光学素子は、ズーム機構の場合に比較して、使用するレンズの枚数は１〜５枚と少ないため、透過率は低下しない。
【００１６】
第２発明にあっては、予め異なる画角（広角及び望遠）の組毎に、画角及び閾値の大小を関連付けて記憶する記憶手段を備えている。受信手段は、車両に取り付けられた撮像装置が有する光学素子の画角を受信する。取得手段が取得した車両の速度と、受信した画角に関連付けられた閾値とを比較し、車両の速度が閾値よりも大きい場合は、画角の大きい光学素子を有する撮像装置に切り替える。一方、車両の速度が閾値よりも小さい場合は、画角の小さい光学素子を有する撮像装置に切り替える。これにより、撮像装置が新たに取り付けられた場合、又は画角が異なる撮像装置に取り替えられた場合であっても、画像処理装置は、前記撮像装置の光学素子が有する画角を受信し、受信した画角に応じた閾値を用いる。また、記憶手段が広角レンズと望遠レンズとの組み合わせ毎に閾値を関連付けて記憶している場合は、広角レンズの画角が大きいほど閾値を小さくしてあり、望遠レンズの画角が小さいほど閾値を大きくしてある。車両の速度が閾値より小さく、広角レンズの撮像装置に切り替えて走行している場合において、広角レンズの画角が大きいときは、車両の速度があまり速くならないうちに望遠レンズの撮像装置に切り替える。これにより、小さい速度で望遠レンズの撮像装置に切り替え、画角の大きい広角レンズが有する車両前方の遠方における視認性の低下を防止する。一方、車両の速度が閾値より大きく、望遠レンズの撮像装置に切り替えて走行している場合において、望遠レンズの画角が小さいときは、車両の速度があまり遅くならないうちに広角レンズの撮像装置に切り替える。これにより、大きい速度で広角レンズの撮像装置に切り替え、画角の小さい望遠レンズが有する車両前方周辺の広い範囲における視認性の低下を防止する。
【００１７】
第３発明にあっては、赤外光を透過する光学素子と、赤外光を撮像する赤外光用撮像素子とを備えることにより、車両前方に存在する熱源が発する赤外線を感知して画像を得る。人間は他の物体に比較して多くの熱源を発するため、赤外線画像内で他の物体より比較的高輝度を有する。これにより、可視光では車両前方の歩行者を認識しにくい夜間走行時においても、歩行者を認識する。
【発明の効果】
【００１８】
第１発明及び第４発明にあっては、ズーム機構を使用しないため車両特有の外的要因の影響を受けず、従来に比較して、より簡便な機構で車両の速度に応じた画角の撮像装置で車両前方を表示することができる。また、ズーム機構に代えて、使用するレンズの枚数が少なく、画角が固定された撮像装置を用いることにより、複雑なズーム機構に要するコストを省くことができ、従来に比べて部品コストの低減ができるとともに、透過率の低下又は画質の劣化を防止することができる。
【００１９】
第２発明にあっては、画角が異なる撮像装置に取り替えた場合であっても、撮像装置が有する画角を受信して、画角に応じた閾値を用いることができ、運転者の好みに応じた画角の撮像装置を使用することができる。また、撮像装置の画角に応じた閾値を用いることにより、撮像装置を切り替えるための速度が固定されず、車両前方の視認性を改善することができる。
【００２０】
第３発明にあっては、夜間走行時においても、車両走行状態に応じて画角を切り替えて歩行者を認識することができる。また、ズーム機構を用いていないため、透過率の低下又は画質の劣化を防止することができる。
【発明を実施するための最良の形態】
【００２１】
図１は本発明に係る車両用画像処理システムの概要を示す模式図である。図において、１及び２は車両に搭載され、夜間の歩行者、自転車に乗った人間などを認識する遠赤外用のビデオカメラである。ビデオカメラ１、２夫々は、垂直方向に適長の間隔を隔ててフロントグリルの中央部に並置されてあり、ＩＥＥＥ１３９４に準拠した車載ＬＡＮ通信線６を介して画像処理装置３に接続してある。画像処理装置３には、通信線６を介して操作部を有する表示装置４、及び車両の速度を検出する速度センサ５が接続してある。
【００２２】
図２は、ビデオカメラ１の構成を示す模式図である。図において、１１は画像撮像部であり、外界からの赤外光を受光するゲルマニウム製のレンズ１１０、１１１、１１２、及び１１３が光軸を一致して適長の離隔寸法を有して配置してある。レンズ１１３を透過した赤外光が結像する位置であって、前記光軸が撮像面の中心に位置するように焦電型撮像素子１１４が配置されている。これにより、昼夜を問わず歩行者が撮像される。
【００２３】
レンズ１１０、１１１、１１２、及び１１３の相対位置及び形状を変えることにより、レンズ群全体の画角を変更することができる。ビデオカメラ１は画角が約９０°の広角用のビデオカメラである。なお、ビデオカメラ２もビデオカメラ１と同様の構成を有し、画角が約２０°の望遠用のビデオカメラである。
【００２４】
レンズ１１０、１１１、１１２、及び１１３を透過した赤外光は、焦電型撮像素子１１４に入力される。焦電型撮像素子１１４は、入力された赤外光をＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）のアナログ信号に変換し、信号処理部１２へ出力する。
【００２５】
信号処理部１２は、焦電型撮像素子１１４から入力されたアナログ信号をデジタル信号に変換し、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理などを行う。さらに、ＲＧＢ信号をＹＵＶ（Ｙ：輝度、Ｕ、Ｖ：色差）信号に変換し、変換したＹＵＶ信号を画像データとして一旦画像メモリ１３へ記憶する。
【００２６】
インターフェース部１５は、車載ＬＡＮ通信線６を介して画像処理装置３と通信を行い、画像処理装置３から送信される指令に従って、画像メモリ１３に記憶された画像データを画像処理装置３へ出力する。
【００２７】
記憶部１６は、ビデオカメラ１に使用されたレンズ１１０、１１１、１１２、及び１１３から構成されるレンズ全体として設定された画角を記憶している。
【００２８】
制御部１４は、画像撮像部１１、信号処理部１２、インターフェース部１５の処理を制御する。例えば、画像処理装置３からの指令を解釈し、画像メモリ１３に記憶された画像データを読み出し、インターフェース部１５を介して画像処理装置３へ出力する。
【００２９】
図３は、画像処理装置３の構成を示すブロック図である。図において、３１はインターフェース部であり、速度センサ５からの車両の速度の受信、ビデオカメラ１、２の切り替え信号の送出、ビデオカメラ１、２に対する指令の転送、ビデオカメラ１、２からの画像データの転送などを行い、入力された画像データをフレーム単位で画像メモリ３２に記憶する。
【００３０】
速度比較部３３は、インターフェース部３１を介して入力されたビデオカメラ１、２の画角を受信して記憶する。また、速度比較部３３は、インターフェース部３１を介して入力された車両の速度を取得する。また、速度比較部３３は、受信した画角に基づいて、記憶部３６２から前記画角に関連付けられた閾値ＴＨを読み出す。また、速度比較部３３は、取得した車両の速度と、読み出した閾値ＴＨとを比較し、比較した結果に基づいて、ビデオカメラ１又は２の切り替え指示のためのオン・オフ指令を、インターフェース部３１を介してビデオカメラ１、２へ出力する。これにより、ビデオカメラ１、２のいずれか一方が撮像処理を行う。
【００３１】
画像処理部３６は、演算部３６１及び記憶部３６２を備えている。演算部３６１は画像メモリ３２に記憶された１フレーム分の画像データを読み出し、読み出した画像データの輝度分布に基づいて、歩行者としての特徴画像を抽出して歩行者の認識処理を行い、処理後の画像データを画像メモリ３２に記憶する。画像処理部３６は、上述の認識処理を１フレーム分の画像データに対して行った後は、同様の認識処理を前記１フレーム以降の各フレームについて行う。
【００３２】
記憶部３６２は、画角に関連付けられた閾値を示す閾値テーブル３６２ａを記憶している。図４は閾値テーブル３６２ａの構成を示す説明図である。図に示すように、標準レンズの画角（約４０°〜５０°）を境として、広角レンズ及び望遠レンズの画角の組合せに関連付けて、速度の閾値ＴＨを記憶してある。例えば、広角レンズの画角がθ１１であり、望遠レンズの画角がθ２１である場合は、閾値はＴＨ１である。広角レンズの画角はθ１１＞θ１２＞…の関係を有し、望遠レンズの画角はθ２１＞θ２２＞…の関係を有する。また、閾値はＴＨ１＜ＴＨ２＜…の関係を有し、ＴＨ１０＜ＴＨ１１＜…の関係を有する。
【００３３】
出力部３５は、画像処理部３６で処理された画像データを画像メモリ３２から読み出し、表示装置４へ出力することにより、表示装置４は歩行者が認識された画像データを表示する。
【００３４】
画像処理制御部３４は、インターフェース部３１から出力される画像データの画像メモリ３２への記憶、画像処理部３６の画像メモリ３２からの画像データの読み出し、認識処理された画像データの出力部３５への出力などの処理を制御する。
【００３５】
次にビデオカメラの切替動作について説明する。車両の走行時に運転者が、表示装置４に備えられた操作部を操作してビデオカメラ１、２の動作スイッチをオンにすると、動作信号を前記操作部から受信した画像処理装置３は、インターフェース部３１を介して、初期コマンドをビデオカメラ１、２へ送出する。
【００３６】
初期コマンドを受信したビデオカメラ１、２は、ビデオカメラ１、２に記憶された画角の情報を画像処理装置３へ送出する。速度比較部３３は、インターフェース部３１を介して入力されたビデオカメラ１、２の画角情報に基づいて、ビデオカメラ１、２の画角の組合せに対応する閾値ＴＨを記憶部３６２から読み出し、速度比較部３３内に記憶する。
【００３７】
速度比較部３３は、インターフェース部３１を介して、速度センサ５から車両の速度を取得し、取得した速度と閾値ＴＨとを比較する。速度比較部３３は、車両の速度が閾値ＴＨよりも小さい場合には、広角レンズを有するビデオカメラ１に対して撮像開始信号を送出するとともに、望遠レンズを有するビデオカメラ２に対してオフ信号を送出する。
【００３８】
撮像開始信号を受信したビデオカメラ１は、画像撮像部１１から車両の外界の撮像を開始する。信号処理部１２は、撮像した画像データに対して、ＲＧＢ信号からＹＵＶ信号に変換し、一旦画像メモリ１３に記録した後に、１フレーム分の画像データごとにインターフェース部１４を介して、画像処理装置３へ送出する。
【００３９】
一方、オフ信号を受信したビデオカメラ２は、撮像処理を停止し、画像処理装置３からの指令を待つ待ち状態に入る。
【００４０】
これにより、画像処理装置３は、車両の速度が閾値ＴＨよりも小さい場合は、広角レンズを有するビデオカメラ１からの画像データを受信し、所定の歩行者認識処理を行い、画像処理後の画像データを表示装置４へ出力する。
【００４１】
速度比較部３３は、所定の時間間隔で速度センサ５からの車両の速度を取得する。車両の速度が閾値ＴＨよりも大きくなった場合は、速度比較部３３は、広角レンズを有するビデオカメラ１に対してオフ信号を送出するとともに、望遠レンズを有するビデオカメラ２に対して撮像開始信号を送出する。
【００４２】
撮像処理を行っていたビデオカメラ１は、オフ信号を受信することにより、撮像処理を停止し、画像処理装置３からの指令を待つ待ち状態に入る。一方、待ち状態にあったビデオカメラ２は、画像撮像部１１から車両の外界の撮像を開始し、撮像した画像データを画像処理装置３へ送出する。
【００４３】
以上の通り、車両の速度に応じて、ビデオカメラ１、２を切り替える。これにより、閾値ＴＨより小さい速度で走行する場合は、広角レンズを有するビデオカメラ１により車両前方を撮像し、車両前方の広い範囲を撮像することができる。一方、閾値ＴＨより大きい速度で走行する場合は、望遠レンズを有するビデオカメラ２により車両前方の遠方を撮像して、車両前方の遠距離の対象物を表示装置４上で大きく表示することができる。
【００４４】
図５は画角及び撮像範囲の関係を示す説明図である。図に示すように広角レンズ（画角θ１）を有するビデオカメラ１で撮像する場合、車両前中央部から撮影角度θ１の範囲の対象物を認識することができる。特に市街地又は交差点付近では、横断歩道を渡る歩行者、道路わきを走行する自転車などを容易に認識することが可能になる。広角レンズを使用する場合、車両前方の遠距離にある対象物は、表示画面上で小さくなる傾向にあるが、車両速度が低速であるため、歩行者、車両などの対象物の認識をする上では支障は少ない。
【００４５】
また、図に示すように望遠レンズ（画角θ２）を有するビデオカメラ２で撮像する場合、車両前中央部から撮影角度θ２の範囲の対象物を認識することができる。特に郊外又は高速道路を走行する場合、比較的高速度で走行するため、車両の左右周辺よりも、遠方の対象物を早期に認識して危険を未然に回避することが重要であり、望遠レンズを用いることにより、広角レンズを用いた場合に比較して、遠方の対象物を表示装置４で大きく表示することができる。
【００４６】
図６は画角及び速度の閾値の関係を示す説明図である。図６（ａ）は画角θ２２の望遠レンズを有するビデオカメラ２を搭載し、速度の閾値がＴＨ２の場合、図６（ｂ）は画角θ２１（＞θ２２）の望遠レンズを有するビデオカメラ２を搭載し、速度の閾値はＴＨ１（＜ＴＨ２）の場合を示す。
【００４７】
望遠レンズの画角が小さい（画角θ２２）場合は、速度の閾値ＴＨ２が大きく（ＴＨ２＞ＴＨ１）、車両の速度があまり遅くならないうちに広角レンズの撮像装置に切り替える。車両の速度が閾値ＴＨ２である場合の車両の停止距離をＬ２、速度が閾値ＴＨ１である場合の停止距離をＬ１とすると、ＴＨ２＞ＴＨ１であるから、Ｌ２＞Ｌ１である。また、望遠レンズの画角が小さい（画角θ２２）場合は、長い停止距離Ｌ２（＞Ｌ１）を有して広角レンズの撮像装置に切り替える。したがって、望遠レンズの画角が小さい（画角θ２２）場合は、早めに広角レンズの撮像装置に切り替えることができ、画角の小さい望遠レンズが有する車両前方周辺の広い範囲における視認性の低下を防止できる。また、危険を回避するために長い停止距離を確保することができる。
【００４８】
広角レンズ及び望遠レンズの組合せに対応する閾値は、次のように算出することができる。広角レンズの画角をθ１、撮像した画像データの画素数をＮｗ、歩行者を認識するのに必要な最小画素数をＮｏ、人間の高さをＷとして、測定距離ｄを数１で算出する。
【００４９】
【数１】
【００５０】
ここで、Ｎｗは３２０×２４０、Ｎｏは４０×１６、Ｗ＝１を用いることができる。数１で算出した測定距離ｄを停止距離＋余裕距離として、停止距離＝速度×平均反応時間＋速度／（２×９．８×路面摩擦係数）から算出された速度を閾値として使用することができる。ここで、余裕距離は所定の数値を用いればよい。
【００５１】
上述の通り、本発明にあっては、画角が異なる複数のビデオカメラを設けておき、車両の速度に応じてビデオカメラを切り替えることにより、車両の速度が比較的低速度である場合には、広角レンズを有するビデオカメラにより撮像して、車両の前方の広い範囲の視認性を確保する。一方、車両の速度が速い場合には、望遠レンズを有するビデオカメラに切り替えて、車両前方のより遠方の視認性を確保する。ズーム機構のような高精度の機構を必要としないため、車両特有の外的要因の影響を受けず、従来に比較して、部品コストの低減ができるとともに、透過率の低下又は画質の劣化を防止することができる。
【００５２】
また、画角が異なる撮像装置に取り替えた場合であっても、撮像装置が有する画角を取得して、画角に応じた閾値を用いることができ、運転者の好みに応じた画角の撮像装置を使用することができる。さらに、撮像装置の画角に応じた閾値を用いることにより、撮像装置を切り替えるための速度が固定されず、車両前方の視認性を改善することができる。
【００５３】
上述の実施の形態においては、ビデオカメラ１、２は遠赤外用のビデオカメラであったが、これに限らず、可視光用のビデオカメラであってもよい。この場合は、レンズ１１０、１１１、１１２、及び１１３はガラス製のレンズであり、撮像素子１１４はＣＣＤである。
【００５４】
上述の実施の形態においては、車両の速度は、速度センサ５で検出する構成であったが、これに限られない。例えば、画像処理装置３において車両の速度を算出することも可能である。すなわち、路面表示又は白線を撮像した画像データから、路面表示又は白線に属する輝度の濃淡エッジを検出する。次にフレーム間において、同一の濃淡エッジの組合せを抽出し、抽出した濃淡エッジの１フレーム当たりの移動量を算出する。算出した移動量に基づいて、車両の速度を算出し、速度比較部３３が算出された速度を取得する構成でもよい。これにより、画像処理装置と速度センサとの間の通信線を省略することができる。
【００５５】
上述の実施の形態においては、ビデオカメラと画像処理装置との接続は、ＩＥＥＥ１３９４に準拠した車載ＬＡＮ通信線を介して行われたが、これに限らず、ＮＴＳＣに準拠した通信方式であってもよい。
【００５６】
上述の実施の形態においては、θ１１、θ２１のように画角の一点の値に関連付けて閾値ＴＨを記憶する構成であったが、これに限られるものではなく、例えば、θ１１〜θ１２、θ２１〜θ２２のように画角の所定の範囲に対応して閾値ＴＨを記憶する構成でもよい。
【図面の簡単な説明】
【００５７】
【図１】本発明に係る車両用画像処理システムの概要を示す模式図である。
【図２】ビデオカメラの構成を示す模式図である。
【図３】画像処理装置の構成を示すブロック図である。
【図４】閾値テーブルの構成を示す説明図である。
【図５】画角及び撮像範囲の関係を示す説明図である。
【図６】画角及び速度の閾値の関係を示す説明図である。
【符号の説明】
【００５８】
１、２ ビデオカメラ
３ 画像処理装置
４ 表示装置
５ 速度センサ
６ 通信線
１１ 画像撮像部
１２ 信号処理部
１３、３２ 画像メモリ
１４ 制御部
１５、３１ インターフェース部
３３ 速度比較部
３４ 画像処理制御部
３５ 出力部
３６ 画像処理部
３６２ａ 閾値テーブル
１１０、１１１、１１２、１１３ レンズ
１１４ 焦電型撮像素子
【特許請求の範囲】
【請求項１】
車両の外界を撮像装置で撮像し、撮像して得られた画像データを画像処理装置で画像処理して表示する車両用画像処理システムにおいて、
画角が異なる光学素子を有する撮像装置を複数備え、
前記画像処理装置は、
車両の速度を取得する取得手段と、
該取得手段が取得した速度に応じて、前記撮像装置を切り替える切替手段と
を有し、
該切替手段が切り替えた撮像装置で外界を撮像するよう構成してあることを特徴とする車両用画像処理システム。
【請求項２】
前記画像処理装置は、
画角の大小を閾値の大小に関連付けて記憶する記憶手段と、
前記光学素子の画角を受信する受信手段と、
前記取得手段が取得した速度と、前記受信手段が受信した画角に関連付けられた閾値とを比較する比較手段と
を備え、
前記切替手段は、前記比較手段が比較した結果に基づいて、前記撮像装置を切り替えるよう構成してあることを特徴とする請求項１に記載された車両用画像処理システム。
【請求項３】
前記撮像装置は、赤外光を透過する光学素子と、透過した赤外光を撮像する赤外光用撮像素子とを備えたことを特徴とする請求項１又は請求項２に記載された車両用画像処理システム。
【請求項４】
取り込んだ画像データを画像処理する画像処理装置において、
車両の速度を取得する取得手段と、
該取得手段が取得した速度に応じて、画像の取り込み先を切り替える切替手段と
を備えたことを特徴とする画像処理装置。
【請求項１】
車両の外界を撮像装置で撮像し、撮像して得られた画像データを画像処理装置で画像処理して表示する車両用画像処理システムにおいて、
画角が異なる光学素子を有する撮像装置を複数備え、
前記画像処理装置は、
車両の速度を取得する取得手段と、
該取得手段が取得した速度に応じて、前記撮像装置を切り替える切替手段と
を有し、
該切替手段が切り替えた撮像装置で外界を撮像するよう構成してあることを特徴とする車両用画像処理システム。
【請求項２】
前記画像処理装置は、
画角の大小を閾値の大小に関連付けて記憶する記憶手段と、
前記光学素子の画角を受信する受信手段と、
前記取得手段が取得した速度と、前記受信手段が受信した画角に関連付けられた閾値とを比較する比較手段と
を備え、
前記切替手段は、前記比較手段が比較した結果に基づいて、前記撮像装置を切り替えるよう構成してあることを特徴とする請求項１に記載された車両用画像処理システム。
【請求項３】
前記撮像装置は、赤外光を透過する光学素子と、透過した赤外光を撮像する赤外光用撮像素子とを備えたことを特徴とする請求項１又は請求項２に記載された車両用画像処理システム。
【請求項４】
取り込んだ画像データを画像処理する画像処理装置において、
車両の速度を取得する取得手段と、
該取得手段が取得した速度に応じて、画像の取り込み先を切り替える切替手段と
を備えたことを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００６−２４１２０（Ｐ２００６−２４１２０Ａ）
【公開日】平成１８年１月２６日（２００６．１．２６）
【国際特許分類】
【出願番号】特願２００４−２０３４４７（Ｐ２００４−２０３４４７）
【出願日】平成１６年７月９日（２００４．７．９）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
【公開日】平成１８年１月２６日（２００６．１．２６）
【国際特許分類】
【出願日】平成１６年７月９日（２００４．７．９）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
[ Back to top ]