物体検出装置、および、物体検出方法
【課題】車両に接近して車両と接触する可能性のある物体を正確に検出することを目的とする技術に関する。
【解決手段】
車両に接近する物体像を検出する検出領域中で検出された物体像のうち、自車線領域に像全体の所定割合を超える部分が含まれている物体像である注目物体像を検出した場合に、注目物体像を検出した旨を示す信号を出力する。これにより、車両に接触する可能性のある物体を正確に検出して、車両に所定動作をさせることで車両のユーザの安全を確保できる。
【解決手段】
車両に接近する物体像を検出する検出領域中で検出された物体像のうち、自車線領域に像全体の所定割合を超える部分が含まれている物体像である注目物体像を検出した場合に、注目物体像を検出した旨を示す信号を出力する。これにより、車両に接触する可能性のある物体を正確に検出して、車両に所定動作をさせることで車両のユーザの安全を確保できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺の物体の物体像を検出する技術に関する。
【背景技術】
【０００２】
従来、車両に備えられたカメラの撮影画像中の物体の物体像を検出した場合、車両に接近して車両と接触する可能性のある物体が存在するとして車両のユーザに物体の接近を報知するなどの車両に所定動作を行わせる技術がある。なお、本発明と関連する技術を説明する資料としては特許文献１がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第２７０１６５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、物体像を検出する領域が車両が走行中の自車線に対応する自車線領域以外の領域（例えば、自車線に隣接する車線領域）を含むことで、車両に接触する可能性のない物体を検出することがあった。つまり、単に隣接車線を走行する他車両が検出された場合も車両に所定動作を行わせることとなり、本来車両と接触する可能性のある物体として検出する必要のない対象を検出して車両に所定動作を行わせる場合があった。
【０００５】
また、車両に接触する可能性のない物体の物体像の検出を行わないようにするために、撮影画像中の自車線領域のみを物体像の検出領域とすると、車両と自車線領域内の物体との距離が近づいた場合に、車両と自車線領域内の物体との距離が離れている場合と比べて物体像が拡大される。その結果、車両に接近する物体の物体像が自車線領域からはみ出してしまい、自車線領域の物体の物体像を検出できない場合があった。
【０００６】
本発明は、上記課題に鑑みてなされたものであり、車両に接近して車両と接触する可能性のある物体を正確に検出する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、請求項１の発明は、車両の直進方向及び直進方向の逆方向のいずれかに略沿って光軸を向けた車載カメラの撮影画像を取得する取得手段と、前記撮影画像中の前記車両に接近する物体の物体像を検出する第１検出手段と、前記第１検出手段に検出された前記物体像のうち、前記撮影画像中の前記車両が走行中の車線に対応する自車線領域に像全体の所定割合を超える部分が含まれる物体像を注目物体像として検出する第２検出手段と、を備える。
【０００８】
また、請求項２の発明は、請求項１に記載の物体検出装置において、前記第２検出手段は、前記第１検出手段に検出された前記物体像から、前記自車線領域の外部に像全体の所定割合を超える部分が含まれる物体像を除外する除外手段と、前記第１検出手段に検出された前記物体像のうち、前記除外手段が除外した後に残った物体像を前記注目物体像として特定する特定手段と、を備える。
【０００９】
また、請求項３の発明は、請求項１または２に記載の物体検出装置において、前記第１検出手段は、所定時間ごとに撮影される複数の撮影画像において大きさが拡大する物体像を検出する。
【００１０】
また。請求項４の発明は、請求項１ないし３のいずれかに記載の物体検出装置において、前記第１検出手段は、前記撮影画像中の略左右中央にある特定領域に含まれる物体像を検出する。
【００１１】
また、請求項５の発明は、請求項１に記載の物体検出装置において、前記撮影画像中の前記車線を規定する区画線のライン像を検出する第３検出手段、をさらに備え、前記第２検出手段は、前記ライン像の形状に応じて前記自車線領域の範囲を変更する。
【００１２】
さらに、請求項６の発明は、（ａ）車両の直進方向及び直進方向の逆方向のいずれかに略沿って光軸を向けた車載カメラの撮影画像を取得する工程と、（ｂ）前記撮影画像中の前記車両に接近する物体の物体像を検出する工程と、（ｃ）前記工程（ｂ）により検出された前記物体像のうち、前記撮影画像中の前記車両が走行中の車線に対応する自車線領域に像全体の所定割合を超える部分が含まれる物体像を注目物体像として検出する工程と、を備える。
【発明の効果】
【００１３】
請求項１ないし６の発明によれば、第１検出手段に検出された物体像のうち、撮影画像中の車両が走行中の車線に対応する自車線領域に像全体の所定割合を超える部分が含まれる物体像である注目物体像が検出された場合に、その旨を示す信号を出力することで、車両に接触する可能性のある物体を正確に検出できる。
【００１４】
また、特に請求項２の発明によれば、第２検出手段が、第１検出手段に検出された物体像から、自車線領域の外部に像全体の所定割合を超える部分が含まれる物体像を除外して、第１検出手段に検出された物体像のうち、除外手段が除外した後に残った物体像を注目物体像として特定することで、車両に接触する可能性のない物体を除外することができる。
【００１５】
また、特に請求項３の発明によれば、第１検出手段は、所定時間ごとに撮影される複数の撮影画像において大きさが拡大する物体像を検出することで、車両に接近する物体を検出対象とすることができ、車両に接触する可能性のある物体を正確に検出できる。
【００１６】
また、特に請求項４の発明によれば、第１検出手段が、撮影画像中の略左右中央にある特定領域に含まれる物体像を検出することで、検出すべき対象範囲を狭くすることができ、物体を検出する処理負荷を軽減できる。
【００１７】
さらに、特に請求項５の発明によれば、第２検出手段は、ライン像の形状に応じて自車線領域の範囲を変更することで、自車線の物体を正確に検出できる。
【図面の簡単な説明】
【００１８】
【図１】図１は、第１の実施の形態の物体検出システムのブロック図である。
【図２】図２は、車載カメラが車両に配置される位置を示す図である。
【図３】図３は、バックカメラの撮影画像を示す図である。
【図４】図４は、画像中の検出領域を示す図である。
【図５】図５は、車両が走行中の車線に対応する領域を示す図である。
【図６】図６は、バックカメラにより走行中の車両の後方を撮影した撮影画像を示す図である。
【図７】図７は、バックカメラが画像を撮影した後、所定時間後にバックカメラにより連続的に撮影された撮影画像を示す図である。
【図８】図８は、領域内に含まれる物体像を示す図である。
【図９】図９は、第１の実施の形態の処理フローチャートである。
【図１０】図１０は、第１の実施の形態の処理フローチャートである。
【図１１】図１１は、第１の実施の形態の画像処理装置の処理フローチャートである。
【図１２】図１２は、第２の実施の形態の処理フローチャートである。
【図１３】図１３は、第２の実施の形態の処理フローチャートである。
【図１４】図１４は、第３の実施の形態の物体検出システムのブロック図である。
【図１５】図１５は、バックカメラの撮影画像を示す図である。
【図１６】図１６は、ライン像の形状に応じた領域の領域を示す図である。
【図１７】図１７は、第３の実施の形態の処理フローチャートである。
【図１８】図１８は、第３の実施の形態の処理フローチャートである。
【発明を実施するための形態】
【００１９】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２０】
＜１．第１の実施の形態＞
＜１−１．システム構成＞
図１は、物体検出システム１２０のブロック図である。この物体検出システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両９（図２に示す。）の周辺を撮影して画像を生成し、その生成した画像に基づいて、車両９に接近して接触する可能性のある物体の物体像（以下、「注目物体像」ともいう。）を検出する。そして、注目物体像が検出された旨の信号をナビゲーション装置２０に出力してユーザに報知する。また、車両ＥＣＵ８４に信号を出力して車両９のハザードランプ、および、ブレーキランプなどを点滅させて、車両９に接近する他の車両のユーザに車両の接近を報知する。これにより車両９のユーザ（代表的にはドライバ）の安全を確保する。
【００２１】
図１に示すように、物体検出システム１２０は、車両の周囲を撮影するカメラを備えている撮影部５と、撮影部５で取得された撮影画像を処理する画像処理装置１００とを主に備えている。
【００２２】
撮影部５は車両９に搭載されたカメラであるフロントカメラ５１、バックカメラ５２、左サイドカメラ５３、および、右サイドカメラ５４を備えている。なお、各カメラの車両９への搭載位置などの説明は後述する。
【００２３】
＜１−２．画像処理装置＞
画像処理装置１００は、本体部１０が撮影画像中の注目物体像を検出してその旨の信号を出力する機能を有するＥＣＵ（Electronic Control Unit）であり、車両の所定の位置に配置される。
【００２４】
画像処理装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して注目物体像を検出する画像処理部３を主に備えている。
【００２５】
画像処理部３は、各種の画像処理が可能なハードウェア回路として構成されており、画像取得部３１、物体検出部３２、出力検出部３３、および、画像送信部３４を主な機能として備えている。
【００２６】
画像取得部３１は、車両９の周辺を撮影する撮影部５の複数の車載カメラ５１、５２、５３、５４で取得された複数の撮影画像を取得する。
【００２７】
物体検出部３２は、撮影画像中の車両９に接近する物体の物体像を検出する。つまり、撮影部５により所定時間ごとに撮影される複数の撮影画像において大きさが拡大する物体像を車両９に接近する物体像として検出する。物体像の検出はエッジ検出により行われ、撮影画像中のエッジに囲まれた領域に物体像が存在することを検出する。
【００２８】
なお、物体検出部３２が物体像を検出する範囲は、撮影画像中の全体としてもよいし、撮影画像中の所定領域としてもよい。所定領域の例は、撮影画像中の略左右中央にある特定領域であり、具体的には車両９が走行中の車線に対応する自車線領域（例えば、図５に示す自車線領域ＭＥ）と、その外部（例えば、図５に示す除外領域ＮＥ）とを含む領域（例えば、図５に示す物体検出領域ＳＡ）である。このような所定領域は。後述する不揮発性メモリ４０に領域データ４ｂとして記録されており、物体検出部３２が物体像を検出する場合に画像制御部１１が不揮発性メモリ４０から読み出す処理を行う。
【００２９】
出力検出部３３は、物体検出部３２により検出された物体像のうち、自車線領域ＭＥに像の全体の所定割合（例えば５割）を超える部分が含まれる物体像を注目物体像として検出する。つまり、車両９に接近する物体像のうち、車両９が走行中の車線に対応する自車線領域ＭＥに物体像の一部分でなく多くの部分が含まれる場合に車両９と接触する可能性のある物体の物体像として出力検出部３３が検出する。
【００３０】
画像送信部３４は、画像処理部３で生成された画像情報をナビ通信部４１を介してナビゲーション装置２０に出力する。なお、画像の生成は、画像制御部１１の指示信号により画像処理部３が行う。
【００３１】
制御部１は、ＣＰＵ、ＲＡＭ、および、ＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す画像制御部１１、および、制御指示部１２は、このようにして実現される制御部１の機能のうちの一部を示している。
【００３２】
画像制御部１１は、画像処理部３によって実行される画像処理を制御する。例えば、撮影部５により撮影された撮影画像中の注目物体像を検出する処理を指示する。また、画像制御部１１は、画像処理部３により生成される画像の生成に必要な各種パラメータなどを指示する。
【００３３】
制御指示部１２は、画像処理部３の処理により注目物体像が検出された場合にその旨を示す信号をナビゲーション装置２０、および、車両ＥＣＵ８４の少なくとも一つに出力する指示を行う。制御指示部１２からの信号を受信したナビゲーション装置２０は、車両９のユーザに車両９に接近して接触する可能性のある物体が存在することを音声や画像などを用いて報知する。
【００３４】
また、制御指示部１２からの信号を受信した、車両ＥＣＵ８４は車両９のハザードランプおよびブレーキランプなどを点灯させて、車両９に接近している他の車両のユーザに対して車両の接近を報知する。
【００３５】
画像処理装置１００の本体部１０は、不揮発性メモリ４０、ナビ通信部４１、および、信号入出力部４２をさらに備えており、これらは制御部１に接続されている。
【００３６】
不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、車種別データ４ａが記憶されている。車種別データ４ａは、画像処理部３が画像を生成する際に必要となる車両の種別に応じたデータなどである。例えばカメラの設置位置、および、カメラの設置角度など情報である。
【００３７】
また、不揮発性メモリ４０には領域データ４ｂが記録されている。領域データ４ｂは、画像処理部３が撮影画像中の物体像を検出する際に用いられるデータであり、物体検出領域ＳＡ「以下、「検出領域ＳＡ」ともいう。」などのデータが記録されている。
【００３８】
ナビ通信部４１は、画像処理装置１００がナビゲーション装置２０との間で通信を行うための入出力のインターフェースである。
【００３９】
信号入出力部４２は、車両９に設けられた各種装置からの信号の入出力を行う際のインターフェースである。
【００４０】
シフトセンサ８１は、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。
【００４１】
ジャイロセンサ８２は、車両９の傾き変化の速度（角速度）の信号を制御部１に出力する。制御部１はジャイロセンサ８２から受信した信号により車両９の傾き変化を導出する。
【００４２】
操舵角センサ８３は、ユーザが操作したステアリングホイールの操作方向を制御部１に出力する。詳細には、操舵角センサ８３は、ユーザが操作したステアリングホイールの回転方向、回転角度、及び、回転速度を信号入出力部４２を介して制御部１に出力する。
【００４３】
車両ＥＣＵ８４は、車両本体の制御を行うＥＣＵであり、制御指示部１２からの信号に基づいて、車両９のハザードランプ、および、ブレーキランプの少なくとも一つを点滅させるなどの車両動作の制御を行う。
【００４４】
＜１−３．撮影部＞
次に、画像処理装置１００の撮影部５について詳細に説明する。撮影部５は、制御部１に電気的に接続され、制御部１からの信号に基づいて動作する。
【００４５】
撮影部５は、車載カメラであるフロントカメラ５１、バックカメラ５２、左サイドカメラ５３、および、右サイドカメラ５４を備えている。これらの車載カメラ５１、５２、５３、５４はそれぞれ、ＣＣＤやＣＭＯＳなどの撮像素子を備えており電子的に画像を取得する。
【００４６】
図２は、車載カメラ５１、５２、５３、５４が車両９に配置される位置を示す図である。なお、以下の説明においては、方向及び向きを示す際に、適宜、図中に示す３次元のＸＹＺ直交座標を用いる。このＸＹＺ軸は車両９に対して相対的に固定される。ここで、Ｘ軸方向は車両９の左右方向に沿い、Ｙ軸方向は車両９の直進方向（前後方向）に沿い、Ｚ軸方向は鉛直方向に沿っている。これにより、車両９の進行方向、および、進行方向とは逆方向の少なくとも一の方向の撮影画像を取得する。また、便宜上、＋Ｘ側を車両９の右側、＋Ｙ側を車両９の後側、＋Ｚ側を車両９の上側とする。
【００４７】
フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向（平面視でＹ軸方向の−Ｙ側）に略沿って向けられている。バックカメラ５２は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両９の直進方向の逆方向（平面視でＹ軸方向の＋Ｙ側）に略沿って向けられている。また、左サイドカメラ５３は、左のドアミラー９３に設けられており、その光軸５３ａは車両９の左方向（平面視で＋Ｘ軸方向）に沿って外部に向けられている。さらに、右サイドカメラ５４は、右のドアミラー９４に設けられており、その光軸５４ａは車両９の右方向（平面視で−Ｘ軸方向）に沿って外部に向けられている。なお、フロントカメラ５１やバックカメラ５２の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【００４８】
これらの車載カメラ５１、５２、５３、５４のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１、５２、５３、５４は１８０度以上の画角αを有している。このため、４つの車載カメラ５１、５２、５３、５４を利用することで、車両９の全周囲の撮影が可能となっている。
＜１−４．ナビゲーション装置＞
ナビゲーション装置２０は、主にユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行う操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ、および、ＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
【００４９】
ナビゲーション装置２０は、画像処理装置１００と通信可能に接続され、画像処理装置１００との間で各種の制御信号の送受信や、画像処理装置１００で生成された周辺画像の受信が可能となっている。ディスプレイ２１には、制御部２３の制御により、通常はナビゲーション装置２０単体の機能に基づく画像が表示されるが、所定の条件下で画像処理装置１００により生成された車両の周辺の様子を示す周辺画像が表示される。また、ディスプレイ２１に表示される撮影部５により撮影された画像は車両９の周辺領域をほぼリアルタイムに示すことになる。これにより、ナビゲーション装置２０は、画像処理装置１００で生成された周辺画像を受信して表示する表示装置としても機能する。
【００５０】
また、画像処理部３により注目物体像が検出された旨の信号を制御指示部１２からナビ通信部４１を介してナビゲーション装置２０が受信した場合は、車両９に物体が接近している旨の報知（例えば、画像および音声の少なくとも一つを用いた報知）を車両９のユーザに行う。
【００５１】
また、ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４１によって受け付けられて制御部１に入力される。
【００５２】
＜１−５注目物体像の検出＞
以下では、画像処理部３で行われる注目物体像の検出処理について説明する。図中の撮影画像はバックカメラ５２により撮影された画像である。図３は、バックカメラ５２の撮影画像ｐｈ（以下、「画像ｐｈ」ともいう。）を示す図である。画像ｐｈはバックカメラ５２により撮影され、画像処理部３の画像取得部３１により取得される。
【００５３】
画像ｐｈ中には略中央に車両９が走行中の車線に対応する自車線像ＭＬ、向かって左側に隣接車線像ＡＬ１、向かって右側に隣接車線像ＡＬ２が映し出されている。そして、自車線像ＭＬと隣接車線像ＡＬ１との間には車線を規定する区画線のライン像ＬＡが映し出されている。また、自車線像ＭＬと隣接車線像ＡＬ２との間には車線を規定する区画線のライン像ＬＢが映し出されている。
【００５４】
図４は、画像ｐｈ中の検出領域ＳＡを示す図である。検出領域ＳＡは、画像ｐｈ中の略左右中央にある領域に含まれる物体像を検出する矩形の領域である。つまり、検出領域ＳＡは、自車線像ＭＬ、隣接車線像ＡＬ１、および、隣接車線像ＡＬ２のそれぞれの車線上に存在する物体像を検出可能な領域である。このように画像ｐｈの全領域のうち物体像を検出する領域を特定領域（検出領域ＳＡ）に限定することで、物体像を検出する際の画像処理装置１００の処理負荷が軽減できる。なお、検出領域ＳＡの範囲を自車線像ＭＬおよび隣接車線像ＡＬ１およびＡＬ２の領域に限らず、画像ｐｈの全体領域と同じ範囲とすることも可能である。以下では、物体像を検出する範囲を検出領域ＳＡとした場合について説明を行う。
【００５５】
図５は、車両９が走行中の車線に対応する自車線領域ＭＥを示す図である。自車線領域ＭＥは検出領域ＳＡ内にあり、ライン像ＬＡおよびＬＢに囲まれた領域である。また、自車線領域ＭＥは出力検出部３３が注目物体像を検出する領域であり、画像制御部１１の指示信号に基づいて不揮発性メモリ４０に記録された領域データ４ｂが読み出され、自車線領域ＭＥが設定される。そして、検出領域ＳＡ内に車両９に接近する物体の物体像が存在し、当該物体像全体のうち所定割合を超える部分が自車線領域ＭＥに含まれる物体像を出力検出部３３が注目物体像として検出する。以下に示す図６〜図８では注目物体像の具体的な検出の方法について説明する。
【００５６】
図６は、バックカメラ５２により走行中の車両９の後方を撮影した撮影画像ｐｈ１（以下、「画像ｐｈ１」ともいう。）を示す図である。画像ｐｈ１を画像取得部３１が取得する。そして、画像制御部１１の指示信号に基づいて領域データ４ｂが読み出され、撮影画像中に設定された検出領域ＳＡ内の物体像を物体検出部３２が検出する。図６に示すように検出領域ＳＡ内には車両９と同一車線（自車線像ＭＬ）上で、車両９の後方を走行する車両像ＲＣと、隣接車線（隣接車線像ＡＬ１）上で、車両９の後方を走行する車両像ＡＣとが存在する。
【００５７】
車両像ＲＣおよび車両像ＡＣの物体像はエッジ検出処理により検出される。つまり、エッジに囲まれた領域がそれぞれの車両の物体像として物体検出部３２により検出される。そして、画像ｐｈ１中の車両像ＲＣに対応する物体領域ｄｅ１１に物体像が存在するとして物体検出部３２に検出され、車両像ＡＣに対応する物体領域ｄｅ１２に物体像が存在するとして物体検出部３２に検出される。
【００５８】
図７は、バックカメラ５２が図６の画像ｐｈ１を撮影した後、所定時間後（例えば１秒後）にバックカメラ５２により連続的に撮影された撮影画像ｐｈ２（以下、「画像ｐｈ２」ともいう。）を示す図である。画像ｐｈ２はバックカメラ５２が撮影した撮影画像を画像取得部３１が取得したものである。画像ｐｈ２に画像制御部１１の指示信号に基づいて領域データ４ｂが読み出され、設定された検出領域ＳＡ内の物体像を物体検出部３２が検出する。図７に示す検出領域ＳＡ内には、画像ｐｈ１と同様に車両像ＲＣおよび車両像ＡＣが映し出されており、車両像ＲＣおよび車両像ＡＣをエッジ検出により物体検出部３２が検出する。
【００５９】
そして、車両像ＲＣに対応する領域が物体領域ｄｅ２１として物体検出部３２により検出され、車両像ＡＣに対応する領域が物体領域ｄｅ２２として物体検出部３２により検出される。ここで、時間的に連続する画像ｐｈ１と画像ｐｈ２とはそれぞれ同一の物体像を検出している。そして、過去（画像ｐｈ１）に検出した物体像と比べて今回（画像ｐｈ２）検出した車両像を含む領域の大きさが拡大している。つまり、画像ｐｈ１の車両像ＲＣに対応する物体領域ｄｅ１１よりも画像ｐｈ２の車両像ＲＣに対応する物体領域ｄｅ２１の領域の面積が大きい。また、画像ｐｈ１の車両像ＡＣに対応する物体領域ｄｅ１２よりも画像ｐｈ２の車両像ＡＣに対応する物体領域ｄｅ２２の領域の面積が大きい。
【００６０】
このように所定時間ごとに撮影される連続した複数の撮影画像において大きさが拡大する物体像を物体検出部３２が検出した場合、車両９に接近する物体の物体像が存在するとしてこれらの物体像を検出する。なお、このような車両に接近する物体の物体像の検出は、上述のように時間的に連続する２つの撮影画像に基づいて行う以外に、時間的に連続する３つ以上の撮影画像に基づいて行ってもよい。
【００６１】
図８は、自車線領域ＭＥ内に含まれる物体像を示す図である。物体検出部３２により車両９に接近する物体の物体像として検出された車両像ＲＣおよび車両像ＡＣが、自車線領域ＭＥに所定割合（例えば５割）を超える部分が含まれている場合は出力検出部３３がこれら車両像を注目物体像として検出する。つまり、物体検出部３２により車両９に接近する物体像が検出されると、画像制御部１１の指示信号に基づいて、不揮発性メモリ４０から領域データ４ｂが読み出される。そして、設定された自車線領域ＭＥに物体像の所定割合を超える部分が含まれる場合に出力検出部３３が注目物体像を検出する。
【００６２】
図８では車両像ＲＣは、検出領域ＳＡ内で自車線領域ＭＥの外部の領域である除外領域ＮＥに像の一部が含まれているが、自車線領域ＭＥ内に車両像ＲＣの５割を超える部分が含まれている。そのため、自車線領域ＭＥ内に含まれている車両像ＲＣを注目物体像として出力検出部３３が検出する。また、車両像ＡＣは自車線領域ＭＥに含まれておらず、車両像の全部が自車線領域ＭＥの外部の除外領域ＮＥに含まれることから、出力検出部３３は注目物体像として検出しない。
【００６３】
そして、出力検出部３３が注目物体像を検出した場合、制御指示部１２がナビ通信部４１、および、信号入出力部４２を介して、注目物体像が検出された旨の信号をナビゲーション装置２０、および、車両ＥＣＵ８４に出力する。このように、車両９に接触する可能性のある物体を正確に検出して、車両９に所定動作をさせることで、車両９のユーザの安全を確保できる。
【００６４】
＜１−６．処理フローチャート＞
図９および図１０は、第１の実施の形態の画像処理装置１００の処理の流れを示す処理フローチャートである。画像処理装置１００は、車両９の撮影部５のカメラ画像を取得して（ステップＳ１０１）、ステップＳ１０２の処理に進む。
【００６５】
ステップＳ１０２では、画像処理装置１００は領域データ４ｂの検出領域ＳＡの範囲を走査し、領域中の物体像の検出処理を行い（ステップＳ１０２）、ステップＳ１０３の処理に進む。
【００６６】
ステップＳ１０３では、時間的に連続する撮影画像中に車両９に接近する物体の物体像が検出されているか否かを判定する（ステップＳ１０３）。時間的に連続する撮影画像中に車両９に接近する物体が検出された場合（ステップＳ１０３がＹｅｓ）は、ステップＳ１０４の処理に進む。なお、時間的に連続する撮影画像中に車両９に接近する物体の物体像が検出されていない場合（ステップＳ１０３がＮｏ）は、処理を終了する。処理終了後は図９のステップＳ１０１戻り、以降の処理を繰り返し行う。
【００６７】
ステップＳ１０４では、検出された接近物体の物体像の全部が自車線領域ＭＥに含まれる場合（ステップＳ１０４がＹｅｓ）は、ステップＳ１０６の処理に進み、注目物体像が検出された旨の信号を画像処理装置１００がナビゲーション装置２０、および、車両ＥＣＵ８４の少なくとも一つに出力する（ステップＳ１０６）。
【００６８】
ステップＳ１０４において、検出された接近物体の物体像の全体が自車線領域ＭＥに含まれない場合（ステップＳ１０４がＮｏ）は、ステップＳ１０５に進む。
【００６９】
ステップＳ１０５では、接近物体の物体像の５割を超える部分が自車線領域ＭＥに含まれる場合（ステップＳ１０５がＹｅｓ）は、ステップＳ１０６の処理に進み、注目物体が検出された旨の信号を画像処理装置１００がナビゲーション装置２０、および、車両ＥＣＵ８４の少なくとも一つに出力する（ステップＳ１０６）。
【００７０】
なお、ステップＳ１０５で接近物体の物体像の５割を超える部分が自車線領域ＭＥに含まれない場合（ステップＳ１０５がＮｏ）は処理を終了する。
【００７１】
＜第２の実施の形態＞
＜２−１．画像処理装置＞
次に、第２の実施の形態について説明する。第２の実施の形態における物体検出システム１２０ａの構成・処理は、第１の実施の形態の物体検出システム１２０と同様の処理を含み一部の処理が相違する。以下、第１の実施の形態との相違点を中心に説明する。図１１は第２の実施の形態のシステムブロック図である。第２の実施の形態では、図１１に示すように画像処理装置１００ａの本体部１０ａ内の画像処理部３ａに除外部３５ａが新たな機能として設けられている。
【００７２】
除外部３５ａは、物体検出部３２が検出した検出領域ＳＡ内の物体像のうち除外領域ＮＥに存在する物体像を除外する。詳細には、物体検出部３２に検出された物体像から、自車線領域ＭＥの外部の除外領域ＮＥに像全体の所定割合（例えば、５割）を超える部分が含まれる物体像を除外する。物体像の除外とは、例えば撮影画像中の物体検出部３２により検出された物体像について、出力検出部３３により検出される物体像の候補から削除されることをいう。
【００７３】
そして、除外部３５ａの処理により除外領域ＮＥ内に存在する物体が除外された後に残った物体像を注目物体像として、出力検出部３３が特定する。つまり、除外領域ＮＥの物体像を除外した後の検出領域ＳＡ内に含まれる物体像を像全体の所定割合（例えば、５割）を超える部分が自車線領域に含まれる注目物体像として出力検出部３３が検出する。そして、制御指示部１２が注目物体像が検出された旨の信号をナビゲーション装置２０、および、車両ＥＣＵ８４の少なくとも一つに出力する。これにより、車両９に接触する可能性のない物体を除外することができ、車両に接触する可能性のある物体が存在する場合にのみ必要な所定の動作を車両に行わせることで車両のユーザの安全を確保できる。
【００７４】
＜２−２．処理フローチャート＞
図１２および図１３は、第２の実施の形態の処理フローチャートである。図１２および図１３に示す第２の実施の形態の処理フローチャートは、図９および図１０に示す第１の実施の形態の処理フローチャートと同様の処理があり一部が相違する。以下では、相違点を中心に記載する。
【００７５】
撮影画像中の検出領域ＳＡ内で物体検出部３２が接近物体の物体像を検出した場合（ステップＳ１０３がＹｅｓ）、接近物体の像のうちのいずれか一の像の全体が除外領域ＮＥ内に含まれるか否かを判定する（ステップＳ１０４ａ）。除外領域ＮＥは画像制御部１１の指示信号により領域データ４ｂが読み出され、撮影画像の検出領域ＳＡ内に除外領域ＮＥが設定される。そして、接近物体の像の全体が除外領域ＮＥ内に含まれる場合（ステップＳ１０４ａがＹｅｓ）、当該物体像を除外部３５ａが除外して（ステップＳ１０７ａ）、ステップＳ１０８ａの処理に進む。
【００７６】
ステップＳ１０８ａでは、前述のステップＳ１０７ａの処理で一の物体像を除外した後に、検出領域ＳＡ内に物体検出部３２が検出した接近物体の像が存在する場合（ステップＳ１０８ａがＹｅｓ）は、ステップＳ１０４ａの処理に戻って、接近物体像が除外領域ＮＥ内に存在するか否かを判定して（ステップＳ１０４ａ）、以下の処理を継続して行う。なお、検出領域ＳＡ内に接近物体の物体像が存在しない場合（ステップＳ１０８ａがＮｏ）処理を終了する。
【００７７】
ステップＳ１０４ａに戻って、接近物体像の全体が除外領域ＮＥ内に含まれない場合（ステップＳ１０４ａがＮｏ）はステップＳ１０５ａの処理に進む。
【００７８】
ステップＳ１０５ａでは、接近物体像の所定割合（例えば、５割）を超える部分が除外領域ＮＥ内に含まれる場合（ステップＳ１０５ａがＹｅｓ）は、ステップＳ１０７ａの処理に進み、当該接近物体の物体像を除外し（ステップＳ１０７ａ）、その後ステップＳ１０８ａの処理を行う。
【００７９】
ステップＳ１０５ａにおいて、接近物体の物体像の所定割合を超える部分が除外領域ＮＥに含まれない場合（ステップＳ１０５ａがＮｏ）は、物体検出部３２により検出された接近物体の物体像を注目物体像として、注目物体像が検出された旨の信号を画像処理装置１００ａが出力する。
【００８０】
＜第３の実施の形態＞
＜３−１．画像処理装置＞
次に、第３の実施の形態について説明する。第３の実施の形態における物体検出システム１２０ｂの構成・処理は、第１の実施の形態の物体検出システム１２０とほぼ同様であるが一部の処理が相違する。以下、第１の実施の形態との相違点を中心に説明する。
【００８１】
図１４は第３の実施の形態の物体検出システム１２０ｂのブロック図である。図１４に示すように画像処理装置１００ｂの本体部１０ｂ内の画像処理部３ｂに出力検出部３３ｂ、および、ライン像検出部３６ｂが新たな機能として設けられている。
【００８２】
出力検出部３３ｂは、ライン像検出部３６ｂにより検出されたライン像の形状に応じて、自車線領域ＭＥの範囲を変更する。
【００８３】
ライン像検出部３６ｂは、撮影画像中の車線を規定する区画線のライン像を検出する。ライン像の検出はエッジ検出により行われる。
【００８４】
＜３−２．領域変更＞
図１５は、バックカメラ５２の撮影画像ｐｈ３（以下、「画像ｐｈ３」ともいう。）を示す図である。画像ｐｈ３はバックカメラ５２により撮影され、画像処理装置１００ｂの画像取得部３１により取得される。
【００８５】
画像ｐｈ３には略中央に位置する車両９が走行中の車線に対応する自車線像ＭＬ１と、向かって左側に位置する隣接車線像ＡＬ１１と、向かって右側に位置する隣接車線像ＡＬ１２とが映し出されている。そして、自車線像ＭＬ１と隣接車線像ＡＬ１１との間には車線を規定する区画線のライン像ＬＡａが映し出されている。また、自車線像ＭＬ１と隣接車線像ＡＬ１２との間には車線を規定する区画線のライン像ＬＢａとが映し出されている。
【００８６】
第１の実施の形態で説明した図３の自車線像ＭＬは、車両９が直進する場合、車両９の進行方向に対して略直線の車線であり、車線を規定する区画線のライン像ＬＡ、および、ＬＢは車両９の進行方向に対して略直線のライン像である。これに対して、第３の実施の形態のライン像ＬＡａおよびＬＢｂは、向かって左側（自車線像ＭＬ１に対して隣接車線像ＡＬ１１側にカーブしている。そのため、図３に示した自車線領域ＭＥを出力検出部３３ｂが注目物体を検出する領域として用いると、実際の自車線の位置とのずれが生じる。
【００８７】
このようなずれを解消するためにライン像検出部３６ｂが撮影画像ｐｈ３内の車線を規定する区画線のライン像（ライン像ＬＡａおよびＬＢｂ）を検出する。そして、検出されたライン像の形状に応じて領域内に含まれる接近物の物体像を検出する領域の範囲を出力検出部３３ｂが変更する。
【００８８】
図１６はライン像の形状に応じた自車線領域ＭＥ１の領域を示す図である。自車線領域ＭＥ１は検出領域ＳＡ内にあり、ライン像ＬＡａおよびＬＢｂに囲まれた領域である。自車線領域ＭＥ１内の接近物体像の全体の所定割合を超える部分が含まれる場合に当該物体像を出力検出部３３ｂが注目物体として検出する。これにより自車線領域ＭＥの物体像を正確に検出して、車両９に所定動作をさせることで車両９のユーザの安全を確保できる。
【００８９】
＜３−３．処理フローチャート＞
図１７および図１８は、第３の実施の形態の処理フローチャートである。図１７および図１８に示す第３の実施の形態の処理フローチャートは、図９および図１０に示す第１の実施の形態の処理フローチャートと同様の処理を含み一部が相違する。以下では、相違点を中心に記載する。
【００９０】
車両９への接近物体の物体像が物体検出部３２により検出された場合（ステップＳ１０３がＹｅｓ）、ライン像検出部３６ｂは、ライン像ＬＡａ、および、ＬＢｂを検出して（ステップＳ１０９ｂ）、ステップＳ１１０ｂの処理に進む。
【００９１】
ステップＳ１１０ｂでは、ライン像検出部３６ｂが検出したライン像の形状に変更がある場合（ステップＳ１１０ｂがＹｅｓ）は、ステップＳ１１１ｂの処理に進み、検出したライン像の形状に変更がない場合（ステップＳ１１０ｂがＮｏ）は、ステップＳ１０４の処理に進む。
【００９２】
ここで、ライン像検出部３６ｂが検出したライン像に変更がある場合とは、例えば、車両の進行方向に直線のライン像を基準値として予め不揮発性メモリ４０に記憶しておき、この基準値との誤差が所定値を超える場合に、ライン形状に変更があるとして、自車線領域ＭＥ１の変更が行われる。また、基準値との誤差が所定値を超えない倍に、ライン形状に変更がないとして、自車線領域ＭＥ１の変更は行われない。
【００９３】
ステップＳ１１１ｂでは、出力検出部３３ｂがライン形状に応じた自車線領域ＭＥ１を導出し、自車線領域ＭＥ１の範囲を変更する（ステップＳ１１０ｂ）。つまり、領域ＳＡ内でライン像検出部３６ｂに検出されたライン像に囲まれた領域を自車線領域ＭＥ１とする。そして、当該領域ＭＥ１内に像全体の所定割合を超える部分が含まれる注目物体像として、物体像を出力検出部３３ｂが検出する（ステップＳ１０５）。
【００９４】
＜変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。なお、上記実施の形態で説明した形態、および、以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【００９５】
上記実施の形態では、バックカメラ５２により撮影された画像を例に説明を行ったが、車両９の後方以外にも前方のカメラ画像、つまり、フロントカメラ５１により撮影された画像に基づいて車両９に接近する物体像のうち車両と接触する可能性のある物体像を検出して車両９に検出した旨の指示信号を出力するようにしてもよい。
【００９６】
また、上記第３の実施の形態では、ライン像検出部３６ｂが区画線のライン像を検出して、出力検出部３３ｂが自車線領域ＭＥ１の範囲を変更する処理について述べたが、ライン像検出部３６ｂが区画線のライン像を検出して、出力検出部３３ｂが除外領域ＮＥ１の範囲を変更するようにしてもよい。
【００９７】
また、上記第３の実施の形態では、自車線領域ＭＥ１の範囲の変更は、ライン像検出部３６ｂが区画線のライン像を検出してライン像の形状に応じて行うこととしたが、それ以外にも、車両９のジャイロセンサ８２からの信号に基づいて、車両９が走行する車線の曲率を検出し、当該曲率に基づいて自車線領域ＭＥ１の範囲を変更するようにしてもよい。
【００９８】
また、上記第３の実施の形態では、自車線領域ＭＥ１の範囲の変更は、ライン像検出部３６ｂが区画線のライン像を検出してライン像の形状に応じて行うこととしたが、それ以外にも、車両９の操舵角センサ８３からの信号に基づいて、ステアリングホイールの回転角度を検出し、当該回転角度に基づいて自車線領域ＭＥ１の範囲を変更するようにしてもよい。
【００９９】
また、上記実施の形態では、物体検出部３２が物体像を検出する方法としてエッジ検出を主として説明したが、それ以外の方法（例えば、パターンマッチング等）で物体像を検出してもよい。
【０１００】
また、上記実施の形態では、自車線領域ＭＥ１の範囲をカメラレンズの歪み形状、カメラを設置する位置、および、カメラを設置する角度の少なくとも一つに基づいて設定して領域データ４ｂとして予め不揮発性メモリ４０に記録してもよい。
【０１０１】
また、上記実施の形態では、除外領域の範囲をカメラレンズの歪み形状、カメラを設置する位置、および、カメラを設置する角度の少なくとも一つに基づいて設定して領域データ４ｂとして予め不揮発性メモリ４０に記録してもよい。
【０１０２】
また、上記実施の形態では、自車線領域の範囲を物体像として検出する対象とする車両９と物体との距離、物体の幅、物体の高さ、および、物体の形状の少なくとも一つに基づいて設定し、領域データと４ｂとして予め不揮発性メモリ４０に記録してもよい。
【０１０３】
また、上記実施の形態では、除外領域の範囲を物体像として検出する対象とする車両９と物体との距離、物体の幅、物体の高さ、および、物体の形状の少なくとも一つに基づいて設定し、領域データと４ｂとして予め不揮発性メモリ４０に記録してもよい。
【０１０４】
また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
【符号の説明】
【０１０５】
１・・・・・制御部
５・・・・・撮影部
１０・・・・本体部
１１・・・・画像制御部
１２・・・・制御指示部
【技術分野】
【０００１】
本発明は、車両周辺の物体の物体像を検出する技術に関する。
【背景技術】
【０００２】
従来、車両に備えられたカメラの撮影画像中の物体の物体像を検出した場合、車両に接近して車両と接触する可能性のある物体が存在するとして車両のユーザに物体の接近を報知するなどの車両に所定動作を行わせる技術がある。なお、本発明と関連する技術を説明する資料としては特許文献１がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第２７０１６５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、物体像を検出する領域が車両が走行中の自車線に対応する自車線領域以外の領域（例えば、自車線に隣接する車線領域）を含むことで、車両に接触する可能性のない物体を検出することがあった。つまり、単に隣接車線を走行する他車両が検出された場合も車両に所定動作を行わせることとなり、本来車両と接触する可能性のある物体として検出する必要のない対象を検出して車両に所定動作を行わせる場合があった。
【０００５】
また、車両に接触する可能性のない物体の物体像の検出を行わないようにするために、撮影画像中の自車線領域のみを物体像の検出領域とすると、車両と自車線領域内の物体との距離が近づいた場合に、車両と自車線領域内の物体との距離が離れている場合と比べて物体像が拡大される。その結果、車両に接近する物体の物体像が自車線領域からはみ出してしまい、自車線領域の物体の物体像を検出できない場合があった。
【０００６】
本発明は、上記課題に鑑みてなされたものであり、車両に接近して車両と接触する可能性のある物体を正確に検出する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、請求項１の発明は、車両の直進方向及び直進方向の逆方向のいずれかに略沿って光軸を向けた車載カメラの撮影画像を取得する取得手段と、前記撮影画像中の前記車両に接近する物体の物体像を検出する第１検出手段と、前記第１検出手段に検出された前記物体像のうち、前記撮影画像中の前記車両が走行中の車線に対応する自車線領域に像全体の所定割合を超える部分が含まれる物体像を注目物体像として検出する第２検出手段と、を備える。
【０００８】
また、請求項２の発明は、請求項１に記載の物体検出装置において、前記第２検出手段は、前記第１検出手段に検出された前記物体像から、前記自車線領域の外部に像全体の所定割合を超える部分が含まれる物体像を除外する除外手段と、前記第１検出手段に検出された前記物体像のうち、前記除外手段が除外した後に残った物体像を前記注目物体像として特定する特定手段と、を備える。
【０００９】
また、請求項３の発明は、請求項１または２に記載の物体検出装置において、前記第１検出手段は、所定時間ごとに撮影される複数の撮影画像において大きさが拡大する物体像を検出する。
【００１０】
また。請求項４の発明は、請求項１ないし３のいずれかに記載の物体検出装置において、前記第１検出手段は、前記撮影画像中の略左右中央にある特定領域に含まれる物体像を検出する。
【００１１】
また、請求項５の発明は、請求項１に記載の物体検出装置において、前記撮影画像中の前記車線を規定する区画線のライン像を検出する第３検出手段、をさらに備え、前記第２検出手段は、前記ライン像の形状に応じて前記自車線領域の範囲を変更する。
【００１２】
さらに、請求項６の発明は、（ａ）車両の直進方向及び直進方向の逆方向のいずれかに略沿って光軸を向けた車載カメラの撮影画像を取得する工程と、（ｂ）前記撮影画像中の前記車両に接近する物体の物体像を検出する工程と、（ｃ）前記工程（ｂ）により検出された前記物体像のうち、前記撮影画像中の前記車両が走行中の車線に対応する自車線領域に像全体の所定割合を超える部分が含まれる物体像を注目物体像として検出する工程と、を備える。
【発明の効果】
【００１３】
請求項１ないし６の発明によれば、第１検出手段に検出された物体像のうち、撮影画像中の車両が走行中の車線に対応する自車線領域に像全体の所定割合を超える部分が含まれる物体像である注目物体像が検出された場合に、その旨を示す信号を出力することで、車両に接触する可能性のある物体を正確に検出できる。
【００１４】
また、特に請求項２の発明によれば、第２検出手段が、第１検出手段に検出された物体像から、自車線領域の外部に像全体の所定割合を超える部分が含まれる物体像を除外して、第１検出手段に検出された物体像のうち、除外手段が除外した後に残った物体像を注目物体像として特定することで、車両に接触する可能性のない物体を除外することができる。
【００１５】
また、特に請求項３の発明によれば、第１検出手段は、所定時間ごとに撮影される複数の撮影画像において大きさが拡大する物体像を検出することで、車両に接近する物体を検出対象とすることができ、車両に接触する可能性のある物体を正確に検出できる。
【００１６】
また、特に請求項４の発明によれば、第１検出手段が、撮影画像中の略左右中央にある特定領域に含まれる物体像を検出することで、検出すべき対象範囲を狭くすることができ、物体を検出する処理負荷を軽減できる。
【００１７】
さらに、特に請求項５の発明によれば、第２検出手段は、ライン像の形状に応じて自車線領域の範囲を変更することで、自車線の物体を正確に検出できる。
【図面の簡単な説明】
【００１８】
【図１】図１は、第１の実施の形態の物体検出システムのブロック図である。
【図２】図２は、車載カメラが車両に配置される位置を示す図である。
【図３】図３は、バックカメラの撮影画像を示す図である。
【図４】図４は、画像中の検出領域を示す図である。
【図５】図５は、車両が走行中の車線に対応する領域を示す図である。
【図６】図６は、バックカメラにより走行中の車両の後方を撮影した撮影画像を示す図である。
【図７】図７は、バックカメラが画像を撮影した後、所定時間後にバックカメラにより連続的に撮影された撮影画像を示す図である。
【図８】図８は、領域内に含まれる物体像を示す図である。
【図９】図９は、第１の実施の形態の処理フローチャートである。
【図１０】図１０は、第１の実施の形態の処理フローチャートである。
【図１１】図１１は、第１の実施の形態の画像処理装置の処理フローチャートである。
【図１２】図１２は、第２の実施の形態の処理フローチャートである。
【図１３】図１３は、第２の実施の形態の処理フローチャートである。
【図１４】図１４は、第３の実施の形態の物体検出システムのブロック図である。
【図１５】図１５は、バックカメラの撮影画像を示す図である。
【図１６】図１６は、ライン像の形状に応じた領域の領域を示す図である。
【図１７】図１７は、第３の実施の形態の処理フローチャートである。
【図１８】図１８は、第３の実施の形態の処理フローチャートである。
【発明を実施するための形態】
【００１９】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２０】
＜１．第１の実施の形態＞
＜１−１．システム構成＞
図１は、物体検出システム１２０のブロック図である。この物体検出システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両９（図２に示す。）の周辺を撮影して画像を生成し、その生成した画像に基づいて、車両９に接近して接触する可能性のある物体の物体像（以下、「注目物体像」ともいう。）を検出する。そして、注目物体像が検出された旨の信号をナビゲーション装置２０に出力してユーザに報知する。また、車両ＥＣＵ８４に信号を出力して車両９のハザードランプ、および、ブレーキランプなどを点滅させて、車両９に接近する他の車両のユーザに車両の接近を報知する。これにより車両９のユーザ（代表的にはドライバ）の安全を確保する。
【００２１】
図１に示すように、物体検出システム１２０は、車両の周囲を撮影するカメラを備えている撮影部５と、撮影部５で取得された撮影画像を処理する画像処理装置１００とを主に備えている。
【００２２】
撮影部５は車両９に搭載されたカメラであるフロントカメラ５１、バックカメラ５２、左サイドカメラ５３、および、右サイドカメラ５４を備えている。なお、各カメラの車両９への搭載位置などの説明は後述する。
【００２３】
＜１−２．画像処理装置＞
画像処理装置１００は、本体部１０が撮影画像中の注目物体像を検出してその旨の信号を出力する機能を有するＥＣＵ（Electronic Control Unit）であり、車両の所定の位置に配置される。
【００２４】
画像処理装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して注目物体像を検出する画像処理部３を主に備えている。
【００２５】
画像処理部３は、各種の画像処理が可能なハードウェア回路として構成されており、画像取得部３１、物体検出部３２、出力検出部３３、および、画像送信部３４を主な機能として備えている。
【００２６】
画像取得部３１は、車両９の周辺を撮影する撮影部５の複数の車載カメラ５１、５２、５３、５４で取得された複数の撮影画像を取得する。
【００２７】
物体検出部３２は、撮影画像中の車両９に接近する物体の物体像を検出する。つまり、撮影部５により所定時間ごとに撮影される複数の撮影画像において大きさが拡大する物体像を車両９に接近する物体像として検出する。物体像の検出はエッジ検出により行われ、撮影画像中のエッジに囲まれた領域に物体像が存在することを検出する。
【００２８】
なお、物体検出部３２が物体像を検出する範囲は、撮影画像中の全体としてもよいし、撮影画像中の所定領域としてもよい。所定領域の例は、撮影画像中の略左右中央にある特定領域であり、具体的には車両９が走行中の車線に対応する自車線領域（例えば、図５に示す自車線領域ＭＥ）と、その外部（例えば、図５に示す除外領域ＮＥ）とを含む領域（例えば、図５に示す物体検出領域ＳＡ）である。このような所定領域は。後述する不揮発性メモリ４０に領域データ４ｂとして記録されており、物体検出部３２が物体像を検出する場合に画像制御部１１が不揮発性メモリ４０から読み出す処理を行う。
【００２９】
出力検出部３３は、物体検出部３２により検出された物体像のうち、自車線領域ＭＥに像の全体の所定割合（例えば５割）を超える部分が含まれる物体像を注目物体像として検出する。つまり、車両９に接近する物体像のうち、車両９が走行中の車線に対応する自車線領域ＭＥに物体像の一部分でなく多くの部分が含まれる場合に車両９と接触する可能性のある物体の物体像として出力検出部３３が検出する。
【００３０】
画像送信部３４は、画像処理部３で生成された画像情報をナビ通信部４１を介してナビゲーション装置２０に出力する。なお、画像の生成は、画像制御部１１の指示信号により画像処理部３が行う。
【００３１】
制御部１は、ＣＰＵ、ＲＡＭ、および、ＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す画像制御部１１、および、制御指示部１２は、このようにして実現される制御部１の機能のうちの一部を示している。
【００３２】
画像制御部１１は、画像処理部３によって実行される画像処理を制御する。例えば、撮影部５により撮影された撮影画像中の注目物体像を検出する処理を指示する。また、画像制御部１１は、画像処理部３により生成される画像の生成に必要な各種パラメータなどを指示する。
【００３３】
制御指示部１２は、画像処理部３の処理により注目物体像が検出された場合にその旨を示す信号をナビゲーション装置２０、および、車両ＥＣＵ８４の少なくとも一つに出力する指示を行う。制御指示部１２からの信号を受信したナビゲーション装置２０は、車両９のユーザに車両９に接近して接触する可能性のある物体が存在することを音声や画像などを用いて報知する。
【００３４】
また、制御指示部１２からの信号を受信した、車両ＥＣＵ８４は車両９のハザードランプおよびブレーキランプなどを点灯させて、車両９に接近している他の車両のユーザに対して車両の接近を報知する。
【００３５】
画像処理装置１００の本体部１０は、不揮発性メモリ４０、ナビ通信部４１、および、信号入出力部４２をさらに備えており、これらは制御部１に接続されている。
【００３６】
不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、車種別データ４ａが記憶されている。車種別データ４ａは、画像処理部３が画像を生成する際に必要となる車両の種別に応じたデータなどである。例えばカメラの設置位置、および、カメラの設置角度など情報である。
【００３７】
また、不揮発性メモリ４０には領域データ４ｂが記録されている。領域データ４ｂは、画像処理部３が撮影画像中の物体像を検出する際に用いられるデータであり、物体検出領域ＳＡ「以下、「検出領域ＳＡ」ともいう。」などのデータが記録されている。
【００３８】
ナビ通信部４１は、画像処理装置１００がナビゲーション装置２０との間で通信を行うための入出力のインターフェースである。
【００３９】
信号入出力部４２は、車両９に設けられた各種装置からの信号の入出力を行う際のインターフェースである。
【００４０】
シフトセンサ８１は、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。
【００４１】
ジャイロセンサ８２は、車両９の傾き変化の速度（角速度）の信号を制御部１に出力する。制御部１はジャイロセンサ８２から受信した信号により車両９の傾き変化を導出する。
【００４２】
操舵角センサ８３は、ユーザが操作したステアリングホイールの操作方向を制御部１に出力する。詳細には、操舵角センサ８３は、ユーザが操作したステアリングホイールの回転方向、回転角度、及び、回転速度を信号入出力部４２を介して制御部１に出力する。
【００４３】
車両ＥＣＵ８４は、車両本体の制御を行うＥＣＵであり、制御指示部１２からの信号に基づいて、車両９のハザードランプ、および、ブレーキランプの少なくとも一つを点滅させるなどの車両動作の制御を行う。
【００４４】
＜１−３．撮影部＞
次に、画像処理装置１００の撮影部５について詳細に説明する。撮影部５は、制御部１に電気的に接続され、制御部１からの信号に基づいて動作する。
【００４５】
撮影部５は、車載カメラであるフロントカメラ５１、バックカメラ５２、左サイドカメラ５３、および、右サイドカメラ５４を備えている。これらの車載カメラ５１、５２、５３、５４はそれぞれ、ＣＣＤやＣＭＯＳなどの撮像素子を備えており電子的に画像を取得する。
【００４６】
図２は、車載カメラ５１、５２、５３、５４が車両９に配置される位置を示す図である。なお、以下の説明においては、方向及び向きを示す際に、適宜、図中に示す３次元のＸＹＺ直交座標を用いる。このＸＹＺ軸は車両９に対して相対的に固定される。ここで、Ｘ軸方向は車両９の左右方向に沿い、Ｙ軸方向は車両９の直進方向（前後方向）に沿い、Ｚ軸方向は鉛直方向に沿っている。これにより、車両９の進行方向、および、進行方向とは逆方向の少なくとも一の方向の撮影画像を取得する。また、便宜上、＋Ｘ側を車両９の右側、＋Ｙ側を車両９の後側、＋Ｚ側を車両９の上側とする。
【００４７】
フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向（平面視でＹ軸方向の−Ｙ側）に略沿って向けられている。バックカメラ５２は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両９の直進方向の逆方向（平面視でＹ軸方向の＋Ｙ側）に略沿って向けられている。また、左サイドカメラ５３は、左のドアミラー９３に設けられており、その光軸５３ａは車両９の左方向（平面視で＋Ｘ軸方向）に沿って外部に向けられている。さらに、右サイドカメラ５４は、右のドアミラー９４に設けられており、その光軸５４ａは車両９の右方向（平面視で−Ｘ軸方向）に沿って外部に向けられている。なお、フロントカメラ５１やバックカメラ５２の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【００４８】
これらの車載カメラ５１、５２、５３、５４のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１、５２、５３、５４は１８０度以上の画角αを有している。このため、４つの車載カメラ５１、５２、５３、５４を利用することで、車両９の全周囲の撮影が可能となっている。
＜１−４．ナビゲーション装置＞
ナビゲーション装置２０は、主にユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行う操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ、および、ＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
【００４９】
ナビゲーション装置２０は、画像処理装置１００と通信可能に接続され、画像処理装置１００との間で各種の制御信号の送受信や、画像処理装置１００で生成された周辺画像の受信が可能となっている。ディスプレイ２１には、制御部２３の制御により、通常はナビゲーション装置２０単体の機能に基づく画像が表示されるが、所定の条件下で画像処理装置１００により生成された車両の周辺の様子を示す周辺画像が表示される。また、ディスプレイ２１に表示される撮影部５により撮影された画像は車両９の周辺領域をほぼリアルタイムに示すことになる。これにより、ナビゲーション装置２０は、画像処理装置１００で生成された周辺画像を受信して表示する表示装置としても機能する。
【００５０】
また、画像処理部３により注目物体像が検出された旨の信号を制御指示部１２からナビ通信部４１を介してナビゲーション装置２０が受信した場合は、車両９に物体が接近している旨の報知（例えば、画像および音声の少なくとも一つを用いた報知）を車両９のユーザに行う。
【００５１】
また、ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４１によって受け付けられて制御部１に入力される。
【００５２】
＜１−５注目物体像の検出＞
以下では、画像処理部３で行われる注目物体像の検出処理について説明する。図中の撮影画像はバックカメラ５２により撮影された画像である。図３は、バックカメラ５２の撮影画像ｐｈ（以下、「画像ｐｈ」ともいう。）を示す図である。画像ｐｈはバックカメラ５２により撮影され、画像処理部３の画像取得部３１により取得される。
【００５３】
画像ｐｈ中には略中央に車両９が走行中の車線に対応する自車線像ＭＬ、向かって左側に隣接車線像ＡＬ１、向かって右側に隣接車線像ＡＬ２が映し出されている。そして、自車線像ＭＬと隣接車線像ＡＬ１との間には車線を規定する区画線のライン像ＬＡが映し出されている。また、自車線像ＭＬと隣接車線像ＡＬ２との間には車線を規定する区画線のライン像ＬＢが映し出されている。
【００５４】
図４は、画像ｐｈ中の検出領域ＳＡを示す図である。検出領域ＳＡは、画像ｐｈ中の略左右中央にある領域に含まれる物体像を検出する矩形の領域である。つまり、検出領域ＳＡは、自車線像ＭＬ、隣接車線像ＡＬ１、および、隣接車線像ＡＬ２のそれぞれの車線上に存在する物体像を検出可能な領域である。このように画像ｐｈの全領域のうち物体像を検出する領域を特定領域（検出領域ＳＡ）に限定することで、物体像を検出する際の画像処理装置１００の処理負荷が軽減できる。なお、検出領域ＳＡの範囲を自車線像ＭＬおよび隣接車線像ＡＬ１およびＡＬ２の領域に限らず、画像ｐｈの全体領域と同じ範囲とすることも可能である。以下では、物体像を検出する範囲を検出領域ＳＡとした場合について説明を行う。
【００５５】
図５は、車両９が走行中の車線に対応する自車線領域ＭＥを示す図である。自車線領域ＭＥは検出領域ＳＡ内にあり、ライン像ＬＡおよびＬＢに囲まれた領域である。また、自車線領域ＭＥは出力検出部３３が注目物体像を検出する領域であり、画像制御部１１の指示信号に基づいて不揮発性メモリ４０に記録された領域データ４ｂが読み出され、自車線領域ＭＥが設定される。そして、検出領域ＳＡ内に車両９に接近する物体の物体像が存在し、当該物体像全体のうち所定割合を超える部分が自車線領域ＭＥに含まれる物体像を出力検出部３３が注目物体像として検出する。以下に示す図６〜図８では注目物体像の具体的な検出の方法について説明する。
【００５６】
図６は、バックカメラ５２により走行中の車両９の後方を撮影した撮影画像ｐｈ１（以下、「画像ｐｈ１」ともいう。）を示す図である。画像ｐｈ１を画像取得部３１が取得する。そして、画像制御部１１の指示信号に基づいて領域データ４ｂが読み出され、撮影画像中に設定された検出領域ＳＡ内の物体像を物体検出部３２が検出する。図６に示すように検出領域ＳＡ内には車両９と同一車線（自車線像ＭＬ）上で、車両９の後方を走行する車両像ＲＣと、隣接車線（隣接車線像ＡＬ１）上で、車両９の後方を走行する車両像ＡＣとが存在する。
【００５７】
車両像ＲＣおよび車両像ＡＣの物体像はエッジ検出処理により検出される。つまり、エッジに囲まれた領域がそれぞれの車両の物体像として物体検出部３２により検出される。そして、画像ｐｈ１中の車両像ＲＣに対応する物体領域ｄｅ１１に物体像が存在するとして物体検出部３２に検出され、車両像ＡＣに対応する物体領域ｄｅ１２に物体像が存在するとして物体検出部３２に検出される。
【００５８】
図７は、バックカメラ５２が図６の画像ｐｈ１を撮影した後、所定時間後（例えば１秒後）にバックカメラ５２により連続的に撮影された撮影画像ｐｈ２（以下、「画像ｐｈ２」ともいう。）を示す図である。画像ｐｈ２はバックカメラ５２が撮影した撮影画像を画像取得部３１が取得したものである。画像ｐｈ２に画像制御部１１の指示信号に基づいて領域データ４ｂが読み出され、設定された検出領域ＳＡ内の物体像を物体検出部３２が検出する。図７に示す検出領域ＳＡ内には、画像ｐｈ１と同様に車両像ＲＣおよび車両像ＡＣが映し出されており、車両像ＲＣおよび車両像ＡＣをエッジ検出により物体検出部３２が検出する。
【００５９】
そして、車両像ＲＣに対応する領域が物体領域ｄｅ２１として物体検出部３２により検出され、車両像ＡＣに対応する領域が物体領域ｄｅ２２として物体検出部３２により検出される。ここで、時間的に連続する画像ｐｈ１と画像ｐｈ２とはそれぞれ同一の物体像を検出している。そして、過去（画像ｐｈ１）に検出した物体像と比べて今回（画像ｐｈ２）検出した車両像を含む領域の大きさが拡大している。つまり、画像ｐｈ１の車両像ＲＣに対応する物体領域ｄｅ１１よりも画像ｐｈ２の車両像ＲＣに対応する物体領域ｄｅ２１の領域の面積が大きい。また、画像ｐｈ１の車両像ＡＣに対応する物体領域ｄｅ１２よりも画像ｐｈ２の車両像ＡＣに対応する物体領域ｄｅ２２の領域の面積が大きい。
【００６０】
このように所定時間ごとに撮影される連続した複数の撮影画像において大きさが拡大する物体像を物体検出部３２が検出した場合、車両９に接近する物体の物体像が存在するとしてこれらの物体像を検出する。なお、このような車両に接近する物体の物体像の検出は、上述のように時間的に連続する２つの撮影画像に基づいて行う以外に、時間的に連続する３つ以上の撮影画像に基づいて行ってもよい。
【００６１】
図８は、自車線領域ＭＥ内に含まれる物体像を示す図である。物体検出部３２により車両９に接近する物体の物体像として検出された車両像ＲＣおよび車両像ＡＣが、自車線領域ＭＥに所定割合（例えば５割）を超える部分が含まれている場合は出力検出部３３がこれら車両像を注目物体像として検出する。つまり、物体検出部３２により車両９に接近する物体像が検出されると、画像制御部１１の指示信号に基づいて、不揮発性メモリ４０から領域データ４ｂが読み出される。そして、設定された自車線領域ＭＥに物体像の所定割合を超える部分が含まれる場合に出力検出部３３が注目物体像を検出する。
【００６２】
図８では車両像ＲＣは、検出領域ＳＡ内で自車線領域ＭＥの外部の領域である除外領域ＮＥに像の一部が含まれているが、自車線領域ＭＥ内に車両像ＲＣの５割を超える部分が含まれている。そのため、自車線領域ＭＥ内に含まれている車両像ＲＣを注目物体像として出力検出部３３が検出する。また、車両像ＡＣは自車線領域ＭＥに含まれておらず、車両像の全部が自車線領域ＭＥの外部の除外領域ＮＥに含まれることから、出力検出部３３は注目物体像として検出しない。
【００６３】
そして、出力検出部３３が注目物体像を検出した場合、制御指示部１２がナビ通信部４１、および、信号入出力部４２を介して、注目物体像が検出された旨の信号をナビゲーション装置２０、および、車両ＥＣＵ８４に出力する。このように、車両９に接触する可能性のある物体を正確に検出して、車両９に所定動作をさせることで、車両９のユーザの安全を確保できる。
【００６４】
＜１−６．処理フローチャート＞
図９および図１０は、第１の実施の形態の画像処理装置１００の処理の流れを示す処理フローチャートである。画像処理装置１００は、車両９の撮影部５のカメラ画像を取得して（ステップＳ１０１）、ステップＳ１０２の処理に進む。
【００６５】
ステップＳ１０２では、画像処理装置１００は領域データ４ｂの検出領域ＳＡの範囲を走査し、領域中の物体像の検出処理を行い（ステップＳ１０２）、ステップＳ１０３の処理に進む。
【００６６】
ステップＳ１０３では、時間的に連続する撮影画像中に車両９に接近する物体の物体像が検出されているか否かを判定する（ステップＳ１０３）。時間的に連続する撮影画像中に車両９に接近する物体が検出された場合（ステップＳ１０３がＹｅｓ）は、ステップＳ１０４の処理に進む。なお、時間的に連続する撮影画像中に車両９に接近する物体の物体像が検出されていない場合（ステップＳ１０３がＮｏ）は、処理を終了する。処理終了後は図９のステップＳ１０１戻り、以降の処理を繰り返し行う。
【００６７】
ステップＳ１０４では、検出された接近物体の物体像の全部が自車線領域ＭＥに含まれる場合（ステップＳ１０４がＹｅｓ）は、ステップＳ１０６の処理に進み、注目物体像が検出された旨の信号を画像処理装置１００がナビゲーション装置２０、および、車両ＥＣＵ８４の少なくとも一つに出力する（ステップＳ１０６）。
【００６８】
ステップＳ１０４において、検出された接近物体の物体像の全体が自車線領域ＭＥに含まれない場合（ステップＳ１０４がＮｏ）は、ステップＳ１０５に進む。
【００６９】
ステップＳ１０５では、接近物体の物体像の５割を超える部分が自車線領域ＭＥに含まれる場合（ステップＳ１０５がＹｅｓ）は、ステップＳ１０６の処理に進み、注目物体が検出された旨の信号を画像処理装置１００がナビゲーション装置２０、および、車両ＥＣＵ８４の少なくとも一つに出力する（ステップＳ１０６）。
【００７０】
なお、ステップＳ１０５で接近物体の物体像の５割を超える部分が自車線領域ＭＥに含まれない場合（ステップＳ１０５がＮｏ）は処理を終了する。
【００７１】
＜第２の実施の形態＞
＜２−１．画像処理装置＞
次に、第２の実施の形態について説明する。第２の実施の形態における物体検出システム１２０ａの構成・処理は、第１の実施の形態の物体検出システム１２０と同様の処理を含み一部の処理が相違する。以下、第１の実施の形態との相違点を中心に説明する。図１１は第２の実施の形態のシステムブロック図である。第２の実施の形態では、図１１に示すように画像処理装置１００ａの本体部１０ａ内の画像処理部３ａに除外部３５ａが新たな機能として設けられている。
【００７２】
除外部３５ａは、物体検出部３２が検出した検出領域ＳＡ内の物体像のうち除外領域ＮＥに存在する物体像を除外する。詳細には、物体検出部３２に検出された物体像から、自車線領域ＭＥの外部の除外領域ＮＥに像全体の所定割合（例えば、５割）を超える部分が含まれる物体像を除外する。物体像の除外とは、例えば撮影画像中の物体検出部３２により検出された物体像について、出力検出部３３により検出される物体像の候補から削除されることをいう。
【００７３】
そして、除外部３５ａの処理により除外領域ＮＥ内に存在する物体が除外された後に残った物体像を注目物体像として、出力検出部３３が特定する。つまり、除外領域ＮＥの物体像を除外した後の検出領域ＳＡ内に含まれる物体像を像全体の所定割合（例えば、５割）を超える部分が自車線領域に含まれる注目物体像として出力検出部３３が検出する。そして、制御指示部１２が注目物体像が検出された旨の信号をナビゲーション装置２０、および、車両ＥＣＵ８４の少なくとも一つに出力する。これにより、車両９に接触する可能性のない物体を除外することができ、車両に接触する可能性のある物体が存在する場合にのみ必要な所定の動作を車両に行わせることで車両のユーザの安全を確保できる。
【００７４】
＜２−２．処理フローチャート＞
図１２および図１３は、第２の実施の形態の処理フローチャートである。図１２および図１３に示す第２の実施の形態の処理フローチャートは、図９および図１０に示す第１の実施の形態の処理フローチャートと同様の処理があり一部が相違する。以下では、相違点を中心に記載する。
【００７５】
撮影画像中の検出領域ＳＡ内で物体検出部３２が接近物体の物体像を検出した場合（ステップＳ１０３がＹｅｓ）、接近物体の像のうちのいずれか一の像の全体が除外領域ＮＥ内に含まれるか否かを判定する（ステップＳ１０４ａ）。除外領域ＮＥは画像制御部１１の指示信号により領域データ４ｂが読み出され、撮影画像の検出領域ＳＡ内に除外領域ＮＥが設定される。そして、接近物体の像の全体が除外領域ＮＥ内に含まれる場合（ステップＳ１０４ａがＹｅｓ）、当該物体像を除外部３５ａが除外して（ステップＳ１０７ａ）、ステップＳ１０８ａの処理に進む。
【００７６】
ステップＳ１０８ａでは、前述のステップＳ１０７ａの処理で一の物体像を除外した後に、検出領域ＳＡ内に物体検出部３２が検出した接近物体の像が存在する場合（ステップＳ１０８ａがＹｅｓ）は、ステップＳ１０４ａの処理に戻って、接近物体像が除外領域ＮＥ内に存在するか否かを判定して（ステップＳ１０４ａ）、以下の処理を継続して行う。なお、検出領域ＳＡ内に接近物体の物体像が存在しない場合（ステップＳ１０８ａがＮｏ）処理を終了する。
【００７７】
ステップＳ１０４ａに戻って、接近物体像の全体が除外領域ＮＥ内に含まれない場合（ステップＳ１０４ａがＮｏ）はステップＳ１０５ａの処理に進む。
【００７８】
ステップＳ１０５ａでは、接近物体像の所定割合（例えば、５割）を超える部分が除外領域ＮＥ内に含まれる場合（ステップＳ１０５ａがＹｅｓ）は、ステップＳ１０７ａの処理に進み、当該接近物体の物体像を除外し（ステップＳ１０７ａ）、その後ステップＳ１０８ａの処理を行う。
【００７９】
ステップＳ１０５ａにおいて、接近物体の物体像の所定割合を超える部分が除外領域ＮＥに含まれない場合（ステップＳ１０５ａがＮｏ）は、物体検出部３２により検出された接近物体の物体像を注目物体像として、注目物体像が検出された旨の信号を画像処理装置１００ａが出力する。
【００８０】
＜第３の実施の形態＞
＜３−１．画像処理装置＞
次に、第３の実施の形態について説明する。第３の実施の形態における物体検出システム１２０ｂの構成・処理は、第１の実施の形態の物体検出システム１２０とほぼ同様であるが一部の処理が相違する。以下、第１の実施の形態との相違点を中心に説明する。
【００８１】
図１４は第３の実施の形態の物体検出システム１２０ｂのブロック図である。図１４に示すように画像処理装置１００ｂの本体部１０ｂ内の画像処理部３ｂに出力検出部３３ｂ、および、ライン像検出部３６ｂが新たな機能として設けられている。
【００８２】
出力検出部３３ｂは、ライン像検出部３６ｂにより検出されたライン像の形状に応じて、自車線領域ＭＥの範囲を変更する。
【００８３】
ライン像検出部３６ｂは、撮影画像中の車線を規定する区画線のライン像を検出する。ライン像の検出はエッジ検出により行われる。
【００８４】
＜３−２．領域変更＞
図１５は、バックカメラ５２の撮影画像ｐｈ３（以下、「画像ｐｈ３」ともいう。）を示す図である。画像ｐｈ３はバックカメラ５２により撮影され、画像処理装置１００ｂの画像取得部３１により取得される。
【００８５】
画像ｐｈ３には略中央に位置する車両９が走行中の車線に対応する自車線像ＭＬ１と、向かって左側に位置する隣接車線像ＡＬ１１と、向かって右側に位置する隣接車線像ＡＬ１２とが映し出されている。そして、自車線像ＭＬ１と隣接車線像ＡＬ１１との間には車線を規定する区画線のライン像ＬＡａが映し出されている。また、自車線像ＭＬ１と隣接車線像ＡＬ１２との間には車線を規定する区画線のライン像ＬＢａとが映し出されている。
【００８６】
第１の実施の形態で説明した図３の自車線像ＭＬは、車両９が直進する場合、車両９の進行方向に対して略直線の車線であり、車線を規定する区画線のライン像ＬＡ、および、ＬＢは車両９の進行方向に対して略直線のライン像である。これに対して、第３の実施の形態のライン像ＬＡａおよびＬＢｂは、向かって左側（自車線像ＭＬ１に対して隣接車線像ＡＬ１１側にカーブしている。そのため、図３に示した自車線領域ＭＥを出力検出部３３ｂが注目物体を検出する領域として用いると、実際の自車線の位置とのずれが生じる。
【００８７】
このようなずれを解消するためにライン像検出部３６ｂが撮影画像ｐｈ３内の車線を規定する区画線のライン像（ライン像ＬＡａおよびＬＢｂ）を検出する。そして、検出されたライン像の形状に応じて領域内に含まれる接近物の物体像を検出する領域の範囲を出力検出部３３ｂが変更する。
【００８８】
図１６はライン像の形状に応じた自車線領域ＭＥ１の領域を示す図である。自車線領域ＭＥ１は検出領域ＳＡ内にあり、ライン像ＬＡａおよびＬＢｂに囲まれた領域である。自車線領域ＭＥ１内の接近物体像の全体の所定割合を超える部分が含まれる場合に当該物体像を出力検出部３３ｂが注目物体として検出する。これにより自車線領域ＭＥの物体像を正確に検出して、車両９に所定動作をさせることで車両９のユーザの安全を確保できる。
【００８９】
＜３−３．処理フローチャート＞
図１７および図１８は、第３の実施の形態の処理フローチャートである。図１７および図１８に示す第３の実施の形態の処理フローチャートは、図９および図１０に示す第１の実施の形態の処理フローチャートと同様の処理を含み一部が相違する。以下では、相違点を中心に記載する。
【００９０】
車両９への接近物体の物体像が物体検出部３２により検出された場合（ステップＳ１０３がＹｅｓ）、ライン像検出部３６ｂは、ライン像ＬＡａ、および、ＬＢｂを検出して（ステップＳ１０９ｂ）、ステップＳ１１０ｂの処理に進む。
【００９１】
ステップＳ１１０ｂでは、ライン像検出部３６ｂが検出したライン像の形状に変更がある場合（ステップＳ１１０ｂがＹｅｓ）は、ステップＳ１１１ｂの処理に進み、検出したライン像の形状に変更がない場合（ステップＳ１１０ｂがＮｏ）は、ステップＳ１０４の処理に進む。
【００９２】
ここで、ライン像検出部３６ｂが検出したライン像に変更がある場合とは、例えば、車両の進行方向に直線のライン像を基準値として予め不揮発性メモリ４０に記憶しておき、この基準値との誤差が所定値を超える場合に、ライン形状に変更があるとして、自車線領域ＭＥ１の変更が行われる。また、基準値との誤差が所定値を超えない倍に、ライン形状に変更がないとして、自車線領域ＭＥ１の変更は行われない。
【００９３】
ステップＳ１１１ｂでは、出力検出部３３ｂがライン形状に応じた自車線領域ＭＥ１を導出し、自車線領域ＭＥ１の範囲を変更する（ステップＳ１１０ｂ）。つまり、領域ＳＡ内でライン像検出部３６ｂに検出されたライン像に囲まれた領域を自車線領域ＭＥ１とする。そして、当該領域ＭＥ１内に像全体の所定割合を超える部分が含まれる注目物体像として、物体像を出力検出部３３ｂが検出する（ステップＳ１０５）。
【００９４】
＜変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。なお、上記実施の形態で説明した形態、および、以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【００９５】
上記実施の形態では、バックカメラ５２により撮影された画像を例に説明を行ったが、車両９の後方以外にも前方のカメラ画像、つまり、フロントカメラ５１により撮影された画像に基づいて車両９に接近する物体像のうち車両と接触する可能性のある物体像を検出して車両９に検出した旨の指示信号を出力するようにしてもよい。
【００９６】
また、上記第３の実施の形態では、ライン像検出部３６ｂが区画線のライン像を検出して、出力検出部３３ｂが自車線領域ＭＥ１の範囲を変更する処理について述べたが、ライン像検出部３６ｂが区画線のライン像を検出して、出力検出部３３ｂが除外領域ＮＥ１の範囲を変更するようにしてもよい。
【００９７】
また、上記第３の実施の形態では、自車線領域ＭＥ１の範囲の変更は、ライン像検出部３６ｂが区画線のライン像を検出してライン像の形状に応じて行うこととしたが、それ以外にも、車両９のジャイロセンサ８２からの信号に基づいて、車両９が走行する車線の曲率を検出し、当該曲率に基づいて自車線領域ＭＥ１の範囲を変更するようにしてもよい。
【００９８】
また、上記第３の実施の形態では、自車線領域ＭＥ１の範囲の変更は、ライン像検出部３６ｂが区画線のライン像を検出してライン像の形状に応じて行うこととしたが、それ以外にも、車両９の操舵角センサ８３からの信号に基づいて、ステアリングホイールの回転角度を検出し、当該回転角度に基づいて自車線領域ＭＥ１の範囲を変更するようにしてもよい。
【００９９】
また、上記実施の形態では、物体検出部３２が物体像を検出する方法としてエッジ検出を主として説明したが、それ以外の方法（例えば、パターンマッチング等）で物体像を検出してもよい。
【０１００】
また、上記実施の形態では、自車線領域ＭＥ１の範囲をカメラレンズの歪み形状、カメラを設置する位置、および、カメラを設置する角度の少なくとも一つに基づいて設定して領域データ４ｂとして予め不揮発性メモリ４０に記録してもよい。
【０１０１】
また、上記実施の形態では、除外領域の範囲をカメラレンズの歪み形状、カメラを設置する位置、および、カメラを設置する角度の少なくとも一つに基づいて設定して領域データ４ｂとして予め不揮発性メモリ４０に記録してもよい。
【０１０２】
また、上記実施の形態では、自車線領域の範囲を物体像として検出する対象とする車両９と物体との距離、物体の幅、物体の高さ、および、物体の形状の少なくとも一つに基づいて設定し、領域データと４ｂとして予め不揮発性メモリ４０に記録してもよい。
【０１０３】
また、上記実施の形態では、除外領域の範囲を物体像として検出する対象とする車両９と物体との距離、物体の幅、物体の高さ、および、物体の形状の少なくとも一つに基づいて設定し、領域データと４ｂとして予め不揮発性メモリ４０に記録してもよい。
【０１０４】
また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
【符号の説明】
【０１０５】
１・・・・・制御部
５・・・・・撮影部
１０・・・・本体部
１１・・・・画像制御部
１２・・・・制御指示部
【特許請求の範囲】
【請求項１】
車両の直進方向及び直進方向の逆方向のいずれかに略沿って光軸を向けた車載カメラの撮影画像を取得する取得手段と、
前記撮影画像中の前記車両に接近する物体の物体像を検出する第１検出手段と、
前記第１検出手段に検出された前記物体像のうち、前記撮影画像中の前記車両が走行中の車線に対応する自車線領域に像全体の所定割合を超える部分が含まれる物体像を注目物体像として検出する第２検出手段と、
を備えることを特徴とする物体検出装置。
【請求項２】
請求項１に記載の物体検出装置において、
前記第２検出手段は、
前記第１検出手段に検出された前記物体像から、前記自車線領域の外部に像全体の所定割合を超える部分が含まれる物体像を除外する除外手段と、
前記第１検出手段に検出された前記物体像のうち、前記除外手段が除外した後に残った物体像を前記注目物体像として特定する特定手段と、
を備えることを特徴とする物体検出装置。
【請求項３】
請求項１または２に記載の物体検出装置において、
前記第１検出手段は、所定時間ごとに撮影される複数の撮影画像において大きさが拡大する物体像を検出すること、
を特徴とする物体検出装置。
【請求項４】
請求項１ないし３のいずれかに記載の物体検出装置において、
前記第１検出手段は、前記撮影画像中の略左右中央にある特定領域に含まれる物体像を検出することを特徴とする物体検出装置。
【請求項５】
請求項１に記載の物体検出装置において、
前記撮影画像中の前記車線を規定する区画線のライン像を検出する第３検出手段、
をさらに備え、
前記第２検出手段は、前記ライン像の形状に応じて前記自車線領域の範囲を変更すること、
を特徴とする物体検出装置。
【請求項６】
（ａ）車両の直進方向及び直進方向の逆方向のいずれかに略沿って光軸を向けた車載カメラの撮影画像を取得する工程と、
（ｂ）前記撮影画像中の前記車両に接近する物体の物体像を検出する工程と、
（ｃ）前記工程（ｂ）により検出された前記物体像のうち、前記撮影画像中の前記車両が走行中の車線に対応する自車線領域に像全体の所定割合を超える部分が含まれる物体像を注目物体像として検出する工程と、
を備えることを特徴とする物体検出方法。
【請求項１】
車両の直進方向及び直進方向の逆方向のいずれかに略沿って光軸を向けた車載カメラの撮影画像を取得する取得手段と、
前記撮影画像中の前記車両に接近する物体の物体像を検出する第１検出手段と、
前記第１検出手段に検出された前記物体像のうち、前記撮影画像中の前記車両が走行中の車線に対応する自車線領域に像全体の所定割合を超える部分が含まれる物体像を注目物体像として検出する第２検出手段と、
を備えることを特徴とする物体検出装置。
【請求項２】
請求項１に記載の物体検出装置において、
前記第２検出手段は、
前記第１検出手段に検出された前記物体像から、前記自車線領域の外部に像全体の所定割合を超える部分が含まれる物体像を除外する除外手段と、
前記第１検出手段に検出された前記物体像のうち、前記除外手段が除外した後に残った物体像を前記注目物体像として特定する特定手段と、
を備えることを特徴とする物体検出装置。
【請求項３】
請求項１または２に記載の物体検出装置において、
前記第１検出手段は、所定時間ごとに撮影される複数の撮影画像において大きさが拡大する物体像を検出すること、
を特徴とする物体検出装置。
【請求項４】
請求項１ないし３のいずれかに記載の物体検出装置において、
前記第１検出手段は、前記撮影画像中の略左右中央にある特定領域に含まれる物体像を検出することを特徴とする物体検出装置。
【請求項５】
請求項１に記載の物体検出装置において、
前記撮影画像中の前記車線を規定する区画線のライン像を検出する第３検出手段、
をさらに備え、
前記第２検出手段は、前記ライン像の形状に応じて前記自車線領域の範囲を変更すること、
を特徴とする物体検出装置。
【請求項６】
（ａ）車両の直進方向及び直進方向の逆方向のいずれかに略沿って光軸を向けた車載カメラの撮影画像を取得する工程と、
（ｂ）前記撮影画像中の前記車両に接近する物体の物体像を検出する工程と、
（ｃ）前記工程（ｂ）により検出された前記物体像のうち、前記撮影画像中の前記車両が走行中の車線に対応する自車線領域に像全体の所定割合を超える部分が含まれる物体像を注目物体像として検出する工程と、
を備えることを特徴とする物体検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１２−１５３２８５（Ｐ２０１２−１５３２８５Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−１４９２１（Ｐ２０１１−１４９２１）
【出願日】平成２３年１月２７日（２０１１．１．２７）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１月２７日（２０１１．１．２７）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]