物体検出装置、および、物体検出方法
【課題】撮影画像中の物体の物体像を確実に検出することを目的とする技術に関する。
【解決手段】
撮影画像に基づいて、カメラの光軸の実際の方向を示す情報を導出し、カメラの光軸の基準の方向を示す情報とカメラの光軸の実際の方向を示す情報との差に応じて、撮影画像中において検出領域とする範囲を変更する。これにより、物体の物体像の検出領域を撮影画像中の適正な範囲に設定でき、検出対象とすべき物体の物体像を確実に検出できる。
【解決手段】
撮影画像に基づいて、カメラの光軸の実際の方向を示す情報を導出し、カメラの光軸の基準の方向を示す情報とカメラの光軸の実際の方向を示す情報との差に応じて、撮影画像中において検出領域とする範囲を変更する。これにより、物体の物体像の検出領域を撮影画像中の適正な範囲に設定でき、検出対象とすべき物体の物体像を確実に検出できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺の物体の物体像を検出する技術に関する。
【背景技術】
【０００２】
従来、車両に搭載され、光軸の方向が設定されたカメラで撮影された画像中の物体の物体像を検出する技術がある。そして、物体の物体像を検出する場合、検出処理の対象とする検出領域の範囲を撮影画像全体とすると画像処理装置の処理量および処理時間が増加する。そのため、検出領域は撮影画像中の検出対象とする物体の物体像の全体が現れる一部の範囲としていた。
【０００３】
なお、本発明と関連する技術を説明する資料としては特許文献１がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第２７０１６５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、経年変化などの影響により、車両に搭載されたカメラの光軸の方向が設定当初と比べて変更されることがあった。このような光軸の方向の変更に伴い撮影画像中において検出対象とすべき物体の物体像の全体が検出領域に含まれず、本来検出すべき物体の物体像を検出できない場合があった。
【０００６】
また、車両にカメラを搭載する場合、光軸の方向を定めるカメラの設置角度などの基準となるパラメータに基づいて、カメラを車両に搭載するキャリブレーション処理が行われる。キャリブレーション処理は工場などでユーザ（キャリブレーション処理に係る作業を行う作業員等）が手動で行うものである。そして、キャリブレーション処理が実行された場合に、カメラの基準のパラメータ値とカメラの実際のパラメータ値とを比較すると、２つのパラメータ値に差が生じているときがある。このような差の影響で、検出領域に物体の物体像の全体が含まれず、本来検出すべき物体の物体像を検出できない場合があった。
【０００７】
本発明は、上記課題に鑑みてなされたものであり、撮影画像中の物体の物体像を確実に検出する技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、請求項１の発明は、車両に搭載されたカメラの撮影画像を取得する取得手段と、前記撮影画像中の検出領域に存在する物体の物体像を検出する検出手段と、前記カメラの光軸の基準の方向を示す第１情報を記憶する記憶手段と、前記撮影画像に基づいて、前記カメラの光軸の実際の方向を示す第２情報を導出する導出手段と、前記第１情報と前記第２情報との差に応じて、前記撮影画像中において前記検出領域とする範囲を変更する変更手段と、を備える。
【０００９】
また、請求項２の発明は、請求項１に記載の物体検出装置において、前記第１情報及び前記第２情報は、時間的に連続して取得される複数の前記撮影画像において前記物体像が移動する軌跡の位置である。
【００１０】
また、請求項３の発明は、請求項１に記載の物体検出装置において、前記第１情報及び前記第２情報は、前記撮影画像における消失点の位置である。
【００１１】
また。請求項４の発明は、車両に搭載されたカメラの撮影画像を取得する取得手段と、前記撮影画像中の検出領域に存在する物体の物体像を検出する検出手段と、前記カメラの基準の第１パラメータと前記カメラの実際の第２パラメータとの差に応じて、前記撮影画像中において前記検出領域とする範囲を変更する変更手段と、を有する。
【００１２】
また、請求項５の発明は、請求項４に記載の物体検出装置において、前記第１パラメータ及び前記第２パラメータは、前記カメラの光軸の方向であり、前記変更手段は、前記検出領域の位置を変更する。
【００１３】
また、請求項６の発明は、請求項４に記載の物体検出装置において、前記第１パラメータ及び前記第２パラメータは、前記カメラの画角であり、前記変更手段は、前記検出領域の大きさを変更する。
【００１４】
また、請求項７の発明は、（ａ）車両に搭載されたカメラの撮影画像を取得する工程と、（ｂ）前記撮影画像中の検出領域に存在する物体の物体像を検出する工程と、（ｃ）前記カメラの光軸の基準の方向を示す第１情報を記憶する手段から前記第１情報を取得する工程と、（ｄ）前記撮影画像に基づいて、前記カメラの光軸の実際の方向を示す第２情報を導出する工程と、（ｅ）前記第１情報と前記第２情報との差に応じて、前記撮影画像中において前記検出領域とする範囲を変更する工程と、を備える。
【００１５】
また、請求項８の発明は、（ａ）車両に搭載されたカメラの撮影画像を取得する工程と、（ｂ）前記撮影画像中の検出領域に存在する物体の物体像を検出する工程と、（ｃ）前記カメラの基準の第１パラメータと前記カメラの実際の第２パラメータとの差に応じて、前記撮影画像中において前記検出領域とする範囲を変更する工程と、を有する。
【００１６】
また、請求項９の発明は、車両に搭載されたカメラの撮影画像を取得する取得手段と、前記撮影画像中の検出領域に存在する物体の物体像を検出する検出手段と、前記カメラの光軸のズレ量を検出する光軸ズレ検出手段と、前記光軸のズレ量に応じて、前記撮影画像中において前記検出領域とする範囲を変更する変更手段と、を備える。
【００１７】
さらに、請求項１０は、請求項９に記載の物体検出装置において、前記光軸ズレ検出手段は、前記カメラの光軸の基準の方向を示す第１情報を記憶する記憶手段と、前記撮影画像に基づいて、前記カメラの光軸の実際の方向を示す第２情報を導出する導出手段と、前記第１情報と前記第２情報との差を算出する算出手段を備える。
【発明の効果】
【００１８】
請求項１ないし８の発明によれば、第１情報と第２情報との差に応じて、撮影画像中において検出領域とする範囲を変更することで、物体の物体像の検出領域を撮影画像中の適正な範囲に設定でき、検出対象とすべき物体の物体像を確実に検出できる。
【００１９】
また、特に請求項２の発明によれば、第１情報及び前記第２情報は、時間的に連続して取得される複数の撮影画像において物体像が移動する軌跡の位置であることで、物体像の移動軌跡の位置に基づいて物体の物体像の検出領域を撮影画像中の適正な位置に設定でき、検出対象とすべき物体の物体像を確実に検出できる。
【００２０】
また、特に請求項３の発明によれば、第１情報及び前記第２情報は、前記撮影画像における消失点の位置であることで、物体像の消失点に基づいて物体の物体像の検出領域を撮影画像中の適正な範囲に設定でき、検出対象とすべき物体の物体像を確実に検出できる。
【００２１】
また、特に請求項４の発明によれば、カメラの基準の第１パラメータとカメラの実際の第２パラメータとの差に応じて、撮影画像中において検出領域とする範囲を変更することで、カメラの設定パラメータに応じて検出領域を撮影画像中の適正な範囲に設定でき、検出対象とすべき物体の物体像を確実に検出できる。
【００２２】
また、特に請求項５の発明によれば、変更手段が、検出領域の位置を変更することで、フロントカメラ５１の実際の設置角度を変更することなく、カメラの光軸の方向に応じた検出領域の位置を設定でき、検出対象とすべき物体の物体像を確実に検出できる。
【００２３】
さらに、特に請求項６の発明によれば、変更手段が、検出領域の大きさを変更することで、カメラの画角に応じた検出領域の大きさを設定でき、検出対象とすべき物体の物体像を確実に検出できる。
【図面の簡単な説明】
【００２４】
【図１】図１は、第１の実施の形態の物体検出システムのブロック図である。
【図２】図２は、車載カメラが車両に配置される位置を示す図である。
【図３】図３は、撮影画像中の検出領域の物体の物体像を検出する状態を示す図である。
【図４】図４は、撮影画像中の検出領域の物体の物体像を検出する状態を示す図である。
【図５】図５は、時間的に連続する複数の撮影画像を一の撮影画像として示した図である。
【図６】図６は、時間的に連続する複数の撮影画像を一の撮影画像として示した図である。
【図７】図７は、基準となる移動軌跡と実際の移動軌跡の撮影画像を示す図である。
【図８】図８は、検出領域の範囲変更を示す図である。
【図９】図９は、第１の実施の形態の画像処理装置の処理フローチャートである。
【図１０】図１０は、第１の実施の形態の画像処理装置の処理の流れを示す処理フローチャートである。
【図１１】図１１は、撮影画像中の検出領域の範囲を示す図である。
【図１２】図１２は、撮影画像中の検出領域の範囲を示す図である。
【図１３】図１３は、バックカメラの実際の光軸の方向を示す図である。
【図１４】図１４は、基準となる消失点と実際の消失点とを示す図である。
【図１５】図１５は、検出領域の範囲変更を示す図である。
【図１６】図１６は、第２の実施の形態の画像処理装置の処理の流れを示す処理フローチャートである。
【図１７】図１７は、第２の実施の形態の画像処理装置の処理の流れを示す処理フローチャートである。
【図１８】図１８は、第３の実施の形態の物体検出システムのブロック図である。
【図１９】図１９は、フロントカメラの設置に関する基準となるパラメータ値に合わせて車両にフロントカメラが設置された状態を撮影画像により示す図である。
【図２０】図２０は、フロントカメラの設置に関する基準となるパラメータ値と差が生じた状態でフロントカメラが車両に設置された状態を撮影画像により示す図である。
【図２１】図２１は、フロントカメラ５１の検出領域の調整を示した図である。
【図２２】図２２は、第３の実施の形態の画像処理装置の処理フローチャートである。
【図２３】図２３は、車両の検出領域に対応する撮影範囲を示す図である。
【図２４】図２４は撮影画像中の検出領域を示す図である。
【図２５】図２５は、車両に設置するフロントカメラを画角の異なるフロントカメラに変更した状態を示す図である。
【図２６】図２６は、フロントカメラの撮影画像の検出領域を示す図である。
【図２７】図２７は、検出領域の大きさを変更する処理を示す図である。
【図２８】図２８は、第４の実施の形態の画像処理装置の処理フローチャートである。
【発明を実施するための形態】
【００２５】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２６】
＜１．第１の実施の形態＞
＜１−１．システム構成＞
図１は、物体検出システム１２０のブロック図である。この物体検出システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両９（図２に示す。）の周辺を撮影して画像を生成し、その生成した画像に基づいて、撮影画像中の物体の物体像を検出する。物体検出システム１２０は、物体像を検出する検出処理を行う画像処理装置１００を備えている。この画像処理装置１００が検出する物体の物体像は、車両９に接近する物体の物体像である。撮影画像中の一部の領域を検出処理の対象とする検出領域（例えば、図３に示す撮影画像ｐｈ１の検出領域ＳＡ）として設定し、検出領域内の物体を画像処理装置１００が検出する。
【００２７】
矩形の領域である検出領域ＳＡ内に物体の物体像が検出された場合は、物体像が検出された旨の信号を画像処理装置１００が例えばナビゲーション装置のようにディスプレイを有する表示装置２０に出力してユーザに報知する。また、画像処理装置１００が車両ＥＣＵ８４に信号を出力して車両９のハザードランプ、および、ブレーキランプなどを点滅させて、車両９に接近する他の車両のユーザに車両の接近を報知する。これにより車両９のユーザ（代表的にはドライバ）の安全を確保する。
【００２８】
図１に示すように、物体検出システム１２０は、車両の周囲を撮影するカメラを備えている撮影部５と、撮影部５で取得された撮影画像を処理する画像処理装置１００とを主に備えている。
【００２９】
撮影部５は車両９に搭載されたカメラであるフロントカメラ５１、バックカメラ５２、左サイドカメラ５３、および、右サイドカメラ５４（以下、「カメラ５０」ともいう。）を備えている。なお、各カメラの車両９への搭載位置などの説明は後述する。
【００３０】
＜１−２．画像処理装置＞
画像処理装置１００は、本体部１０が撮影画像中の物体の物体像を検出してその旨の信号を出力する機能を有するＥＣＵ（Electronic Control Unit）であり、車両の所定の位置に配置される。
【００３１】
画像処理装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して物体の物体像を検出する画像処理部３とを主に備えている。
【００３２】
画像処理部３は、各種の画像処理が可能なハードウェア回路として構成されており、画像取得部３１、物体検出部３２、方向導出部３３、および、画像送信部３４を主な機能として備えている。なお、画像処理部３の各種処理は制御部１の指示信号に基づいて行われる。
【００３３】
画像取得部３１は、車両９の周辺を撮影する撮影部５のカメラ５０で取得された複数の撮影画像をカメラ５０から取得する。
【００３４】
物体検出部３２は、撮影画像中の検出領域ＳＡに存在する物体の物体像を検出する。物体像の検出はエッジ検出により行われ、検出領域ＳＡ内のエッジに囲まれた領域に物体の物体像が存在することを検出する。また、物体検出部３２は撮影部５により所定時間ごとに撮影される複数の撮影画像において大きさが拡大する物体像を車両９に接近する物体に対応する物体像として検出する。
【００３５】
なお、物体検出部３２が物体像を検出する検出領域は、撮影画像中の一部の領域となる。撮影画像中の検出領域は、例えば、撮影画像中において車線像を規定する区画線などの実際には平行の線の像が遠近法によって点に収束する（交わる）点である消失点（例えば、図３に示す消失点ＬＰ）を含み、消失点から出現する物体の物体像の全体を含む範囲の領域（例えば、図３に示す検出領域ＳＡ）に設定される。消失点は、理論的には無限遠点であり、物体の物体像の出現位置ともなる。
【００３６】
また、検出領域ＳＡは後述する不揮発性メモリ４０に領域データ４ｂとして記録されており、物体検出部３２が物体の物体像を検出する場合に、領域データ４ｂを画像生成処理を制御する画像制御部１１が不揮発性メモリ４０から読み出す。
【００３７】
方向導出部３３は、カメラ５０の光軸（図２に示す光軸５１ａ、５２ａ、５３ａ、５４ａ）の方向をカメラ５０が撮影した撮影画像に基づいて導出する。つまり、撮影された撮影画像に基づいて実際の光軸の方向を方向導出部３３が導出する。カメラ５０の光軸の導出処理については後に詳述する。
【００３８】
画像送信部３４は、画像処理部３で生成された画像情報を通信部４１を介して表示装置２０に出力する。
【００３９】
制御部１は、ＣＰＵ、ＲＡＭ、および、ＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す画像制御部１１、比較部１２は、および、範囲変更部１３はこのようにして実現される制御部１の機能のうちの一部を示している。
【００４０】
画像制御部１１は、画像処理部３によって実行される画像処理を制御する。例えば、検出領域ＳＡの物体の物体像を検出する処理の指示信号を画像制御部１１が画像処理部３に出力する。また、画像制御部１１は、画像処理部３により生成される画像の生成に必要な各種パラメータなどを指示する。
【００４１】
比較部１２は、方向導出部３３により導出されたカメラ５０の光軸の実際の方向と、不揮発性メモリ４０に記録された車種別データ４ａに含まれるカメラ５０の光軸の基準の方向との差を導出する処理を行う。カメラ５０の光軸の差の導出処理については後に詳述する。
【００４２】
範囲変更部１３は、比較部１２により導出されたカメラ５０の光軸の実際の方向とカメラ５０の光軸の基準の方向との差に応じて、撮影画像中において検出領域ＳＡとする範囲を変更する。例えば、経年変化の影響によりカメラ５０の現在の設置角度が車両９にカメラ５０を設置した当初の設置角度と差が生じている場合、範囲変更部１３が撮影画像中において検出領域ＳＡとする範囲を変更する。
【００４３】
ここで、カメラ５０の設置角度とは、カメラの上下方向（図２に示すＸＹＺ直交座標の±Ｚ方向）の角度であるチルト角、カメラ５０の水平方向（図２に示すＸＹＺ直交座標の±Ｘ方向および±Ｙ方向のいずれか）の角度であるパン角、および、カメラ５０の傾き角度であるロール角の角度である。
【００４４】
なお、検出領域ＳＡのデータは不揮発性メモリ４０内に領域データ４ｂとして記録されているため、変更前の領域データ４ｂの検出領域ＳＡの範囲のデータを変更後の検出領域（例えば、図８に示す検出領域ＳＡ１）の範囲のデータに制御部１が書き換える。そして、検出領域の範囲が変更された後に撮影画像中の物体の物体像の検出が行われる場合は、変更後の検出領域ＳＡ１の領域データ４ｂが不揮発性メモリ４０から画像制御部１１により読み出され、検出領域ＳＡ１の範囲で物体の物体像の検出を物体検出部３２が行う。
【００４５】
また、画像処理装置１００の本体部１０は、不揮発性メモリ４０、通信部４１、および、信号入出力部４２をさらに備えており、これらは制御部１に接続されている。
【００４６】
不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、車種別データ４ａが記憶されている。車種別データ４ａは、画像処理部３が画像を生成する際に必要となる車両の種別に応じたカメラ５０の設定パラメータ値を含むデータである。例えば、カメラ５０の設置角度、カメラ５０の設置位置などの情報である。つまり、車種別データ４ａは、カメラ５０の光軸の設置時における方向を示すデータを含んでいる。このカメラ５０の光軸の設置時における方向は、カメラ５０の光軸の基準の方向として利用される。
【００４７】
したがって、車種別データ４ａは、カメラ５０の光軸の実際の方向とカメラ５０の光軸の基準の方向との差を比較部１２が導出する場合に、不揮発性メモリ４０から読み出される。
【００４８】
また、不揮発性メモリ４０には領域データ４ｂが記憶されている。領域データ４ｂは、画像処理部３が撮影画像中の物体の物体像を検出する場合に用いられるデータであり、検出領域ＳＡなどのデータを含んでいる。
【００４９】
通信部４１は、画像処理装置１００が表示装置２０との間で通信を行うための入出力のインターフェースである。
【００５０】
信号入出力部４２は、車両９に設けられた各種装置からの信号の入出力を行う際のインターフェースである。
【００５１】
シフトセンサ８１は、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。
【００５２】
ジャイロセンサ８２は、車両９の傾き変化の速度（角速度）の信号を制御部１に出力する。制御部１はジャイロセンサ８２から受信した信号により車両９の傾き変化を導出する。
【００５３】
操舵角センサ８３は、ユーザが操作したステアリングホイールの操作方向を制御部１に出力する。詳細には、操舵角センサ８３は、ユーザが操作したステアリングホイールの回転方向、回転角度、及び、回転速度を信号入出力部４２を介して制御部１に出力する。
【００５４】
車両ＥＣＵ８４は、車両本体の制御を行うＥＣＵであり、制御部１からの信号に基づいて、車両９のハザードランプ、および、ブレーキランプの少なくとも一つを点滅させるなどの車両動作の制御を行う。
【００５５】
＜１−３．撮影部＞
次に、画像処理装置１００の撮影部５について詳細に説明する。撮影部５は、制御部１に電気的に接続され、制御部１からの信号に基づいて動作する。
【００５６】
撮影部５は、車載カメラであるフロントカメラ５１、バックカメラ５２、左サイドカメラ５３、および、右サイドカメラ５４を備えている。これらの車載カメラ５１、５２、５３、５４はそれぞれ、ＣＣＤやＣＭＯＳなどの撮像素子を備えており電子的に画像を取得する。
【００５７】
図２は、カメラ５０が車両９に配置される位置を示す図である。なお、以下の説明においては、方向及び向きを示す際に、適宜、図中に示す３次元のＸＹＺ直交座標を用いる。このＸＹＺ軸は車両９に対して相対的に固定される。ここで、Ｘ軸方向は車両９の左右方向に沿い、Ｙ軸方向は車両９の直進方向（前後方向）に沿い、Ｚ軸方向は鉛直方向に沿っている。また、便宜上、＋Ｘ側を車両９の右側、＋Ｙ側を車両９の後側、＋Ｚ側を車両９の上側とする。
【００５８】
フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向（平面視でＹ軸方向の−Ｙ側）に略沿って向けられている。バックカメラ５２は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両９の直進方向の逆方向（平面視でＹ軸方向の＋Ｙ側）に略沿って向けられている。また、左サイドカメラ５３は、左のドアミラー９３に設けられており、その光軸５３ａは車両９の左方向（平面視で＋Ｘ軸方向）に沿って外部に向けられている。さらに、右サイドカメラ５４は、右のドアミラー９４に設けられており、その光軸５４ａは車両９の右方向（平面視で−Ｘ軸方向）に沿って外部に向けられている。なお、フロントカメラ５１やバックカメラ５２の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【００５９】
カメラ５０のレンズとしては魚眼レンズなどが採用されており、カメラ５０は１８０度以上の画角αを有している。このため、４つの車載カメラ５１、５２、５３、５４を利用することで、車両９の全周囲の撮影が可能となっている。
【００６０】
＜１−４．表示装置＞
表示装置２０は、ナビゲーション案内を表示するディスプレイを有するナビゲーション装置、音楽のタイトル情報やテレビの映像などを表示するディスプレイを備えたオーディオ装置、ユーザが携帯し車両９内へ持ち込んで使用可能なスマートフォンなどである。
表示装置２０は、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行う操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面はユーザから視認可能なように、表示装置２０は車両のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ、および、ＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
【００６１】
表示装置２０は、画像処理装置１００と通信可能に接続され、画像処理装置１００との間で各種の制御信号の送受信や、画像処理装置１００で生成された周辺画像の受信が可能となっている。ディスプレイ２１には、制御部２３の制御により、通常は表示装置２０単体の機能に基づく画像が表示されるが、所定の条件下で画像処理装置１００により生成された車両の周辺の様子を示す周辺画像が表示される。また、ディスプレイ２１に表示される撮影部５により撮影された画像は車両９の周辺領域をほぼリアルタイムに示すことになる。これにより、表示装置２０は、画像処理装置１００で生成された周辺画像を受信して表示する表示装置としても機能する。
【００６２】
また、画像処理部３により検出領域ＳＡに物体の物体像が検出された旨の信号を制御部１から通信部４１を介して表示装置２０が受信した場合は、車両９に物体が接近している旨の報知（例えば、画像および音声の少なくとも一つを用いた報知）を車両９のユーザに行う。
【００６３】
また、表示装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号として通信部４１によって受け付けられて制御部１に入力される。
【００６４】
＜１−５．検出領域の範囲変更＞
次に、撮影画像中における検出領域の範囲変更について説明する。なお、以下では撮影画像中の方向および向きを示す際に、適宜、図中に示す２次元のｘｙ直交座標を用いる。このｘｙ軸は撮影画像に対して相対的に固定される。ここで、ｘ軸方向は撮影画像の左右方向であり、例えば図３の撮影画像ｐｈ１（以下、「画像ｐｈ１」ともいう。）に向かって右方向（＋ｘ方向）に消失点ＬＰが位置している、また、ｙ軸方向は撮影画像の上下方向である。なお、消失点ＬＰの位置は車両９の前方に位置する車線像ＣＬを規定する区画線のライン像ＡＬが点に収束する位置となる。
【００６５】
また、検出領域の範囲変更について、以下ではフロントカメラ５１の撮影画像の検出領域ＳＡの範囲変更について説明する。ここで、撮影画像中のどの範囲を検出領域とするのかは、車両の走行する外部環境および車両９のユーザに提供するシステムの形態の少なくとも一つに応じて異なり、車両９にカメラ５０を設定する際に撮影画像中の任意の一部の領域に設定が可能である。
【００６６】
図３および図４は撮影画像中の検出領域ＳＡに存在する物体像を検出する状態を示す図である。図３の画像ｐｈ１はフロントカメラ５１により撮影された画像であり、画像ｐｈ１中の検出領域ＳＡは消失点ＬＰを含む領域である。なお、消失点ＬＰは車線像ＣＬを規定する区画線のライン像ＡＬが点に収束する位置となっている。
【００６７】
また、画像ｐｈ１は見通しの悪い交差点で車両９のフロントカメラ５１に撮影された画像であり、現実の車両９の前方（図２に示す−Ｙ方向）の右方向（＋Ｘ方向）から車両９に接近する物体の物体像を検出するように検出領域ＳＡが設定されている。なお、画像ｐｈ１における検出領域ＳＡには物体の物体像はまだ検出されていない。
【００６８】
次に、撮影画像ｐｈ２（以下、「画像ｐｈ２」ともいう。）は、画像ｐｈ１が撮影された後に画像ｐｈ１と時間的に連続してフロントカメラ５１に撮影された画像である。画像ｐｈ２では、消失点ＬＰから出現した物体の物体像である車両像ＡＣ１が検出領域ＳＡに存在している。そして、車両像ＡＣ１を物体検出部３２がエッジ検出により検出する。これにより、物体検出部３２は、画像ｐｈ２において車両像ＡＣ１が存在する範囲である物体領域ｄｅ１を特定する。
【００６９】
図４の撮影画像ｐｈ３（以下、「画像ｐｈ３」ともいう。）は、画像ｐｈ２が撮影された後に画像ｐｈ２と時間的に連続してフロントカメラ５１に撮影された画像である。画像ｐｈ３では、車両像ＡＣ２を物体検出部３２がエッジ検出により検出する。これにより、物体検出部３２は、画像ｐｈ３において車両像ＡＣ２が存在する範囲である物体領域ｄｅ２を特定する。画像ｐｈ３の物体領域ｄｅ２は画像ｐｈ２の物体領域ｄｅ１と比べて領域の面積が大きい。これにより、車両像ＡＣ２に対応する物体である車両が車両９に接近していることを検出する。このように、物体検出部３２は、物体像が存在する範囲である物体領域が、時間的に連続する撮影画像において拡大する場合は、当該物体像が示す物体が車両９に接近していると判断する。
【００７０】
図５は、時間的に連続する複数の撮影画像を一の撮影画像に重ねて示した図である。つまり、撮影画像ｐｈ１１（以下、「画像ｐｈ１１」ともいう。）は、画像ｐｈ２および画像ｐｈ３を含む時間的に連続する複数の撮影画像を示している。そして、物体検出部３２により検出された検出領域ＳＡ内の車両像ＡＣ１に対応する物体領域ｄｅ１、および、車両像ＡＣ２に対応する物体領域ｄｅ２の撮影画像上の位置情報に基づいて、車両９に接近する物体の物体像が移動する軌跡を示す移動軌跡Ｔｒを方向導出部３３が導出する。
【００７１】
フロントカメラ５１の光軸が基準の方向にある場合において、時間的に連続して取得される複数の撮影画像に基づいて導出される移動軌跡Ｔｒは、基準となる移動軌跡ＴｒＳとして利用される。この移動軌跡ＴｒＳの位置は実質的にフロントカメラ５１の光軸の基準の方向を示す情報となり、予め車種別データ４ａとして不揮発性メモリ４０に記録される。
【００７２】
なお、画像ｐｈ１１中の車両像ＡＣ３および車両像ＡＣ４は、車両像ＡＣ１および車両像ＡＣ２に対応する車両と同一の車両の車両像であり、現実の車両９の前方（図２に示す−Ｙ方向）を右方向（＋Ｘ方向）から左方向（−Ｘ方向）に通過する車両の車両像である。このように画像ｐｈ１１に向かって右方向（＋ｘ方向）から車両像が出現して、画像ｐｈ１１に向かって左方向（−ｘ方向）に車両像が移動する場合は、検出領域ＳＡの位置を画像ｐｈ１１に向かって右側（＋ｘ側）に設けている。
【００７３】
これにより画像ｐｈ１１に向かって右側（＋ｘ側）に位置する消失点ＬＰから出現する物体の物体像を早期に物体検出部３２が検出でき、車両９に接近する物体の物体像の情報を車両９の各部に伝達できる。そして、車両９の前方を通過した車両像ＡＣ３、および、車両９から遠ざかる車両像ＡＣ４は車両との接触の危険性などはないため検出対象とはしない。
【００７４】
次に、経年変化などによりカメラの光軸の方向が基準の方向と差が生じている場合について説明する。図６は、時間的に連続する複数の撮影画像を一の撮影画像に重ねて示した図である。なお、図６の画像ｐｈ１２は図５の画像ｐｈ１１を撮影した車両９の位置と同じ位置で、異なるタイミングにおいて撮影したものである。
【００７５】
また、図６の画像ｐｈ１２が図５の画像ｐｈ１１と異なる点は、画像ｐｈ１２を撮影したフロントカメラ５１の光軸の方向が、基準の方向と比べて、車両９の上方向（図２に示す＋Ｚ方向）に傾いていることである。そのため、画像ｐｈ１２の検出領域ＳＡで物体検出部３２により検出された車両像ＡＣ１に対応する物体領域ｄｅ１１、および、車両像ＡＣ２に対応する物体領域ｄｅ１２は、画像ｐｈ１１の物体領域ｄｅ１、および、ｄｅ２と比べて検出領域ＳＡの外縁に近接している。
【００７６】
つまり、フロントカメラ５１の光軸の上方向（＋Ｚ方向）の傾きが更に大きくなれば車両像ＡＣ１およびＡＣ２の一部が検出領域ＳＡの領域外となり、車両像ＡＣ１およびＡＣ２が物体検出部３２に検出されない可能性がある。なお、画像ｐｈ１２では、車両像ＡＣ１およびＡＣ２の移動軌跡Ｔｒ１を方向導出部３３が導出する。この移動軌跡Ｔｒ１の位置は、実際の車両９のフロントカメラ５１の光軸の方向を示す情報となる。
【００７７】
図７は、基準となる移動軌跡ＴｒＳと実際の移動軌跡Ｔｒ１とを同一の撮影画像ｐｈ０（以下、「画像ｐｈ０」ともいう。）中に示す図である。図７には、フロントカメラ５１の光軸が基準の方向にある場合の基準の移動軌跡ＴｒＳと、光軸が傾いた場合の実際の移動軌跡Ｔｒ１とが示されている。光軸が基準である場合の消失点ＬＰは移動軌跡ＴｒＳの線上に、光軸が傾いた場合の消失点ＬＰ１は移動軌跡Ｔｒ１にそれぞれ位置している。
【００７８】
基準の移動軌跡ＴｒＳと実際の移動軌跡Ｔｒ１との差が生じる原因は、現実の車両９のフロントカメラ５１の光軸が上下方向（±Ｚ方向）に傾くことである。つまり、移動軌跡ＴｒＳの位置がフロントカメラ５１の光軸の基準の方向を示す情報に対応し、移動軌跡Ｔｒ１の位置がフロントカメラ５１の光軸の実際の方向を示す情報に対応する。そして、図７に示すように消失点ＬＰ１を含む実際の移動軌跡Ｔｒ１の位置は、基準となる移動軌跡ＴｒＳよりも画像ｐｈ０中の下方（−ｙ方向）位置にある。
【００７９】
比較部１２は、このような基準となる移動軌跡ＴｒＳの位置と実際の移動軌跡Ｔｒ１の位置とを比較し、その差に応じて差の値ｄｆを導出する。
【００８０】
図８は、検出領域ＳＡの範囲が変更されることを説明する図である。比較部１２が導出した移動軌跡の位置の差ｄｆに応じて、範囲変更部１３が撮影画像ｐｈ１２（以下、「画像ｐｈ１２」ともいう。）の検出領域ＳＡの範囲を変更する。詳細には、検出領域ＳＡの位置を画像ｐｈ１２中の下方向（−ｙ方向）に移動させ、検出領域ＳＡ１の位置に範囲変更部１３が変更する。これにより、物体の物体像の検出領域を撮影画像ｐｈ１２の適正な位置に設定でき、検出対象とする物体の物体像を確実に検出できる。なお、検出領域ＳＡの範囲変更の実施は、単純に比較部１２により導出された移動軌跡の位置の差の値に応じて行ってもよいし、比較部１２により導出された移動軌跡の位置の差の値が所定の閾値を超える場合に行うようにしてもよい。
【００８１】
なお、上述のように検出領域ＳＡの範囲変更を行う場合は、フロントカメラ５１の光軸の基準の方向は現実の車両９の車体が直進方向（例えば、−Ｙ方向）に走行、および、停止のいずれかの状態にある場合である。そのため、現実の車両９が直進方向に走行および停止のいずれかの状態にある場合に、撮影画像に基づいてカメラ５０の光軸の実際の方向を示す情報を導出することとなる。
【００８２】
＜１−６．処理フローチャート＞
図９および図１０は、第１の実施の形態の画像処理装置１００の処理の流れを示す処理フローチャートである。画像取得部３１は、車両９の撮影部５のカメラ画像を取得して（ステップＳ１０１）、ステップＳ１０２の処理に進む。
【００８３】
ステップＳ１０２では、物体検出部３２が領域データ４ｂの検出領域ＳＡの範囲を走査し、領域中の物体像の検出処理を行い（ステップＳ１０２）、ステップＳ１０３の処理に進む。
【００８４】
ステップＳ１０３では、時間的に連続する複数の撮影画像に基づいて、車両９に接近する物体の物体像が物体検出部３２により検出されるか否かが判断される。車両９に接近する物体の物体像が検出された場合（ステップＳ１０３がＹｅｓ）は、ステップＳ１０４の処理に進む。また、車両９に接近する物体の物体像が検出されない場合（ステップＳ１０３がＮｏ）は、処理を終了する。処理終了後は図９のステップＳ１０１に戻り、図９及び図１０に示す処理を繰り返し行う。
【００８５】
ステップＳ１０４では、時間的に連続して取得される複数の撮影画像において物体の物体像が実際に移動する軌跡である移動軌跡Ｔｒ１を方向導出部３３が導出する。つまり、フロントカメラ５１の光軸の実際の方向を示す情報を、撮影画像に基づいて方向導出部３３が導出して（ステップＳ１０４）、ステップＳ１０５の処理に進む。
【００８６】
ステップＳ１０５では、方向導出部３３が導出した実際の移動軌跡Ｔｒ１の画像ｐｈ１２における位置と、基準となる移動軌跡ＴｒＳの位置とを比較部１２が比較して両方の差の値ｄｆを導出して（ステップＳ１０５）、ステップＳ１０６の処理に進む。基準となる移動軌跡ＴｒＳは不揮発性メモリ４０に記録されている車種別データ４ａに含まれている。このため、比較部１２は、移動軌跡同士の比較を行う際に不揮発性メモリ４０から移動軌跡ＴｒＳを取得する。
【００８７】
ステップＳ１０６では、基準となる移動軌跡ＴｒＳと実際の移動軌跡Ｔｒ１との差の値ｄｆが所定の閾値を超えている場合（ステップＳ１０６がＹｅｓ）は、ステップＳ１０７の処理に進む。なお、ステップＳ１０６において、移動軌跡の差ｄｆの値が所定の閾値を超えていない場合（ステップＳ１０６がＮｏ）は、処理を終了する。
【００８８】
ステップＳ１０７では、移動軌跡の差ｄｆに応じて、撮影画像中の検出領域ＳＡの位置を検出領域ＳＡ１に変更する処理を範囲変更部１３が行う。これにより、物体像の移動軌跡の位置に基づいて物体の物体像の検出領域を撮影画像中の適正な位置に設定でき、検出対象とすべき物体の物体像を確実に検出できる。
＜第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態と第１の実施形態との相違点は次のとおりである。第１の実施の形態は、フロントカメラ５１における見通しの悪い交差点での車両９へ接近する物体の物体像を検出する場合の検出領域の範囲変更について説明した。これに対して第２の実施の形態では、バックカメラ５２において車両９の後方から接近する物体の物体像を検出する場合の検出領域の範囲の変更について説明する。なお、第２の実施の形態においては、物体検出システム１２０の構成は同一であり、その処理が一部相違する。以下では、処理の相違点を中心に説明する。
【００８９】
＜２−１．検出領域の範囲変更＞
図１１および図１２は撮影画像中の検出領域ＳＢの範囲を示す図である。図１１の撮影画像ｐｈ４（以下、「画像ｐｈ４」ともいう。）は、バックカメラ５２により撮影された画像であり、画像ｐｈ４中の検出領域ＳＢは物体の物体像を検出する領域である。また、検出領域ＳＢは消失点ＬＰ１１を含み、かつ、画像ｐｈ４の略中央の範囲が対象の領域である。なお、消失点ＬＰ１１の位置は車両９が走行する車線像ＭＬを規定する区画線のライン像ＡＬ１が点に収束する位置となっている。なお、画像ｐｈ４の検出領域ＳＢでは物体の物体像は検出されていない。
【００９０】
なお、バックカメラ５２により撮影される画像中の消失点の位置は、バックカメラ５２が車両９に搭載された際（バックカメラ５２の光軸が基準の方向にある場合）に予め取得され、制御部１により不揮発性メモリ４０の車種別データ４ａの一部として記憶される。このように取得される消失点の位置は、実質的にバックカメラ５２の光軸の基準の方向を示す情報となる。以降、図１１の画像ｐｈ４中の消失点ＬＰ１１を、バックカメラ５２の光軸の基準の方向を示す基準の消失点ＬＰ１１であるとして説明する。
【００９１】
次に、図１１の撮影画像ｐｈ５（以下、「画像ｐｈ５」ともいう。）は、画像ｐｈ４が撮影された後に画像ｐｈ４と時間的に連続してバックカメラ５２に撮影された画像である。画像ｐｈ５では、消失点ＬＰ１１から出現した物体の物体像である車両像ＡＣ１１が検出領域ＳＢに存在している。そして、車両像ＡＣ１１を物体検出部３２がエッジ検出により検出する。これにより、物体検出部３２は、画像ｐｈ５において、車両像ＡＣ１１が存在する範囲である物体領域ｄｅ２１を特定する。
【００９２】
図１２の撮影画像ｐｈ６（以下、「画像ｐｈ６」ともいう。）は、画像ｐｈ５が撮影された後に画像ｐｈ５と時間的に連続してバックカメラ５２に撮影された画像である。画像ｐｈ６では、車両像ＡＣ１２を物体検出部３２がエッジ検出により検出する。これにより、物体検出部３２は、車両像ＡＣ１２が存在する範囲である物体領域ｄｅ２２を特定する。画像ｐｈ６の物体領域ｄｅ２２は画像ｐｈ５の物体領域ｄｅ２１と比べて領域の面積が大きい。これにより、車両像ＡＣ１２に対応する物体である車両が車両９に接近していることを物体検出部３２が検出する。
【００９３】
次に、経年変化などによりバックカメラ５２の光軸の方向が基準の方向と差が生じている場合について説明する。図１３は、、図１１の画像ｐｈ４を撮影した車両９の位置と同じ位置で、異なるタイミングにおいてバックカメラ５２により撮影した撮影画像ｐｈ７（以下、「画像ｐｈ７」ともいう。）を示す図である。
【００９４】
画像ｐｈ７においては、図１１の基準の消失点ＬＰ１１の位置と比べて、消失点ＬＰ１２の位置が画像ｐｈ７に向かって右方向（＋ｘ方向）に移動している。つまり、バックカメラ５２の光軸の方向が、基準の方向と比べて、車両９の左側（図２に示す−Ｘ方向）に傾いている。これにより、検出領域ＳＢで検出される物体の物体像の大きさによっては、検出領域ＳＢ内に含まれず検出対象とすべき物体の物体像が確実に検出されない場合がある。
【００９５】
図１４は、基準となる消失点ＬＰ１１と実際の消失点ＬＰ１２と同一の撮影画像撮影画像ｐｈ００（以下、「画像ｐｈ００」ともいう。）中に示す図である。図１４には、バックカメラ５１の光軸が基準の方向にある場合の基準の消失点ＬＰ１１、および、光軸が傾いた場合の実際の消失点ＬＰ１２とが示されている。基準となる消失点ＬＰ１１の位置と実際の消失点ＬＰ１２の位置とは差が生じており、両者の差の値ｄｆ１を比較部１２が導出する。
【００９６】
図１５は、検出領域ＳＢの範囲が変更されることを説明する図である。比較部１２が導出した消失点の位置との差ｄｆ１に応じて、範囲変更部１３が撮影画像中の検出領域ＳＢの範囲を変更する。詳細には、図１４に示すように画像ｐｈ７における検出領域ＳＢの位置を画像ｐｈ７に向かって右方向（＋ｘ方向）に移動させ、検出領域ＳＢ１の位置に範囲変更部１３が変更する。これにより、物体の物体像の検出領域を撮影画像中の適正な位置に設定でき、検出対象とする物体の物体像を確実に検出できる。なお、検出領域ＳＢの範囲変更の実施は、単純に比較部１２により導出された消失点の位置の差の値に応じて行ってもよいし、比較部１２により導出された消失点の位置の差の値が所定の閾値を超える場合に行うようにしてもよい。
【００９７】
＜２−２．処理フローチャート＞
図１６および図１７は、第２の実施の形態の画像処理装置１００の処理の流れを示す処理フローチャートである。この処理は第１の実施の形態で説明した処理と一部の処理が相違し、残りの部分の処理が同一の処理である。そのため、処理が相違する点を中心について以下に説明する。
【００９８】
ステップＳ１０３では、時間的に連続する複数の撮影画像中に基づいて、車両９に接近する物体の物体像が検出されるか否かが判断される。車両９に接近する物体の物体像が検出された場合（ステップＳ１０３がＹｅｓ）は、ステップＳ１０４ａの処理に進む。
【００９９】
ステップＳ１０４ａでは、画像ｐｈ７における実際の消失点ＬＰ１２を方向導出部３３が導出する。つまり、バックカメラ５２の光軸の実際の方向を示す情報を、画像ｐｈ７に基づいて方向導出部３３が導出して（ステップＳ１０４）、ステップＳ１０５の処理に進む。
【０１００】
ステップＳ１０５ａでは、方向導出部３３が導出した実際の消失点ＬＰ１２の画像ｐｈ７における位置と、基準となる消失点ＬＰ１１の位置とを比較部１２が比較して両方の差の値ｄｆ１を導出して（ステップＳ１０５）、ステップＳ１０６の処理に進む。基準となる消失点ＬＰ１１は不揮発性メモリ４０に記録されている車種別データ４ａに含まれている。このため、比較部１２は、消失点同士の比較を行う際に不揮発性メモリ４０から基準となる消失点ＬＰ１１を取得する。
【０１０１】
ステップＳ１０６ａでは、基準となる消失点ＬＰ１１と消失点ＬＰ１２との差の値ｄｆ１が所定の閾値を超える場合（ステップＳ１０６がＹｅｓ）は、ステップＳ１０７の処理に進む。なお、ステップＳ１０６ａにおいて、基準となる消失点ＬＰ１１と消失点ＬＰ１２との差の値ｄｆ１が所定の閾値を超えない場合（ステップＳ１０６がＮｏ）は、処理を終了する。
【０１０２】
＜第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態と第１の実施形態との相違点は、次のとおりである。第１の実施の形態は、車両９の走行時にフロントカメラ５１により撮影された画像に基づいて、フロントカメラ５１の基準となる光軸の方向を示す情報と、フロントカメラ５１の実際の光軸の方向を示す情報との差の値に基づいて、物体の物体像を検出する検出領域ＳＡの範囲の変更について説明した。これに対して第３の実施の形態では、フロントカメラ５１を車両に搭載する際にフロントカメラ５１の設置に関する基準となるパラメータ値に対応するフロントカメラ５１の基準の光軸の方向と、フロントカメラ５１の設置に関する実際のパラメータ値に対応するフロントカメラ５１の実際の光軸の方向との差の値に基づいて物体の物体像の検出領域の範囲を変更する。なお、第３の実施の形態においては、物体検出システム１２０の構成、および、処理が一部相違する。以下では、相違点を中心に説明する。
【０１０３】
＜３−１．システム構成＞
図１８は第３の実施の形態の物体検出システム１２０ａのブロック図である。第３の実施の形態の物体検出システム１２０ａは第１の実施の形態の物体検出システム１２０に対して、新たに制御部１ａにキャリブレーション部１４が設けられている。
【０１０４】
キャリブレーション部１４は、フロントカメラ５１の設置に関する基準となるパラメータ値を不揮発性メモリ４０の車種別データ４ａから取得して、カメラの設置角度等の調整を行うキャリブレーション処理を行う。
【０１０５】
比較部１２ａは、キャリブレーション処理で取得されたフロントカメラ５１の設置に関する実際のパラメータ値とフロントカメラ５１の設置に関する基準となるパラメータ値との差の値を導出する。
【０１０６】
範囲変更部１３ａは、フロントカメラ５１の設置に関する実際のパラメータ値とフロントカメラ５１の設置に関する基準となるパラメータ値との差の値に応じて検出領域の大きさを変更する。
【０１０７】
＜３−２．検出領域の位置変更＞
図１９は、フロントカメラ５１の設置に関する基準となるパラメータ値に合わせて車両９にフロントカメラ５１が設置された状態を撮影画像ｐｈ８（以下、「画像ｐｈ８」ともいう。）により示す図である。図１９の画像ｐｈ８の略中央の領域は物体の物体像を検出する検出領域ＳＣとなっている。そして、検出領域ＳＣ内に存在する三角形の物体である指標ＭＡの像を物体検出部３２が検出し、物体領域ｄｅ１０１が指標ＭＡの位置に対応している。つまり、画像ｐｈ８では、工場などで車両９にフロントカメラ５１を設置する作業を行う作業員が、フロントカメラ５１の関する基準となるパラメータ値（例えば、フロントカメラ５１の車両９への基準となる設置角度）を手動で調整するキャリブレーション処理において、フロントカメラ５１の設置に関する基準となるパラメータ値に合わせてフロントカメラ５１の設置に関する実際のパラメータ値（例えば、フロントカメラ５１の車両９への実際の設置角度）を調整した状態を示している。
【０１０８】
図２０は、フロントカメラ５１の設置に関する基準となるパラメータ値（以下、「基準のパラメータ値」ともいう。）とフロントカメラ５１の設置に関する実際のパラメータ値（以下、「実際のパラメータ値」ともいう。）との差が生じた状態の撮影画像ｐｈ９（以下、「画像ｐｈ９」ともいう。）を示す図である。図２０の画像ｐｈ９の略中央は検出領域ＳＣの領域となっている。そして、画像ｐｈ９中に存在する指標ＭＡの像全体が検出領域ＳＣの領域に含まれていない。そのため、物体検出部３２は指標ＭＡの像を検出できない。つまり、画像ｐｈ９は、工場などで車両９にフロントカメラ５１を設置する作業を行う作業員が、実際のパラメータ値を手動で調整するキャリブレーション処理において、基準のパラメータ値と実際のパラメータ値との間に差が生じた状態でフロントカメラ５１を車両９に設置したことを示している。
【０１０９】
図２１は、フロントカメラ５１の検出領域の調整を示した図である。図２１の画像ｐｈ９の破線で示す矩形の検出領域ＳＣの画像ｐｈ９中の位置は、実際のパラメータ値に対応している。つまり、フロントカメラ５１の実際の光軸の方向に対応している。そして、実際のパラメータ値と基準のパラメータ値との差の値である差の値ｄｆ２を比較部１２ａが導出する。つまり、差の値ｄｆ２がフロントカメラ５１の基準となる光軸の方向とフロントカメラ５１の実際の光軸の方向との差の値に相当する。
【０１１０】
次に、差の値ｄｆ２に応じて範囲変更部１３ａが画像ｐｈ９の検出領域ＳＣの位置を異なる位置に変更する。つまり、検出領域ＳＣの位置を画像ｐｈ９において上方向（＋ｙ方向）の検出領域ＳＣ１の位置に変更する。これにより、フロントカメラ５１の実際の設置角度を変更することなく、カメラの設定パラメータに応じた検出領域の位置を設置でき、検出対象とすべき物体の物体像を確実に検出できる。
【０１１１】
なお、検出領域ＳＣの範囲変更の実施は、上述のように比較部１２ａにより導出された光軸の方向であるパラメータ値の差の値に応じて行ってもよいし、比較部１２ａにより導出されたパラメータ値の差の値が所定の閾値を超える場合に行うようにしてもよい。
【０１１２】
また、この第３の実施の形態においては図１９〜図２１を用いてフロントカメラ５１により撮影された画像に基づいてフロントカメラ５１の基準となるパラメータ値と実際のパラメータ値との差を導出し、検出領域ＳＣの位置を範囲変更部１３ａが変更する処理について説明した。しかしながら、実際にキャリブレーション処理を行う際には、フロントカメラ５１を用いて画像の撮影を行わずに処理を行ってもよい。
【０１１３】
つまり、キャリブレーション部１４がキャリブレーション処理を行う際、基準のパラメータ値と、フロントカメラ５１の実際のパラメータ値とを比較して両者の差の値を比較部１２ａが導出するようにしてもよい。そして、両者の差の値に基づいて範囲変更部１３が撮影画像中の検出領域ＳＣの位置を異なる位置に変更し、変更した検出領域ＳＣ１の位置情報を不揮発性メモリ４０に領域データ４ｂとして記録するようにしてもよい。次に説明する処理説明では、フロントカメラ５１による撮影画像を用いずに検出領域の範囲変更を行う処理について記載する。
【０１１４】
＜３−３．処理フローチャート＞
図２２は、第３の実施の形態の画像処理装置１００ａの処理フローチャートである。画像処理装置１００ａはキャリブレーション部１４によるキャリブレーション処理に伴うフロントカメラ５１の設置に関する実際のパラメータ値を取得して（ステップＳ２０１）、ステップＳ２０２の処理に進む。
【０１１５】
ステップＳ２０２では、キャリブレーション部１４が不揮発性メモリ４０の車種別データ４ａを読み出す。つまり、フロントカメラ５１の基準となるパラメータ値を不揮発性メモリ４０から読み出して（ステップＳ２０２）、ステップＳ２０３の処理に進む。
【０１１６】
ステップＳ２０３では、基準のパラメータ値と実際のパラメータ値との差の値を比較部１２ａが導出して（ステップＳ２０３）、ステップＳ２０４の処理に進む。
【０１１７】
ステップＳ２０４では、基準のパラメータ値と実際のパラメータ値との差の値が所定の閾値を超えている場合（ステップＳ２０４がＹｅｓ）は、ステップＳ２０５の処理に進む。なお、基準のパラメータ値と実際のパラメータ値との差の値が所定の閾値を超えていない場合（ステップＳ２０４がＮｏ）の場合は、処理を終了する。
【０１１８】
ステップＳ２０５では、画像ｐｈ９の検出領域ＳＣの位置を検出領域ＳＣ１の位置に範囲変更部１３ａが変更する。
【０１１９】
＜第４の実施の形態＞
次に、第４の実施の形態について説明する。第４の実施の形態と第３の実施の形態とは構成および処理の一部が相違する。第４の実施の形態と第３の実施形態との相違点は、次のとおりである。第３の実施の形態は、フロントカメラ５１の設置に関する基準となるパラメータ値と、フロントカメラ５１の設置に関する実際のパラメータ値との差の値に基づいて物体の物体像の検出領域の範囲を変更する処理について説明した。これに対して、第４の実施の形態では、フロントカメラ５１の基準となるカメラの画角（以下、「基準の画角」ともいう。）とフロントカメラ５１の実際のカメラの画角（以下、「実際の画角」ともいう。）との差の値に基づいて物体の物体像の検出範囲を変更する処理を行う。以下では、相違点を中心に説明する。
【０１２０】
＜４−１．検出領域の範囲変更＞
図２３は、車両９の検出領域（図２４に示す検出領域ＳＤ）に対応する撮影範囲ｓｄを示す図である。フロントカメラ５１の画角αに対応する撮影範囲ｓａ内には角度θに対応する撮影範囲ｓｄが含まれている。撮影範囲ｓｄは、次に説明する撮影画像（図２４に示す撮影画像ｐｈ１０）中の物体の物体像を検出する検出領域ＳＤに対応している。
【０１２１】
図２４は撮影画像ｐｈ１０（以下、「画像ｐｈ１０」ともいう。）中の検出領域ＳＤを示す図である。画像ｐｈ１０の略中央には矩形の検出領域ＳＤが設けられている。検出領域ＳＤ内の物体の物体像は、図２１に示した撮影範囲ｓｄの範囲内に存在している。
【０１２２】
また、複数の画素の集合領域である画像ｐｈ１０は、例えば１画素が図２３のフロントカメラ５１の画角α（例えば、画角１９０度）のうち、画角の約３度の範囲に対応している。そして、図２４の検出領域ＳＤの左右方向（±ｘ方向）の全ての画素の角度合計が撮影範囲ｓｄの角度θとなる。このように、撮影範囲ｓｄの角度θに対応する撮影画像中の検出領域ＳＤの範囲の情報は、フロントカメラ５１の基準のパラメータ値として車種別データ４ａに記録されている。
【０１２３】
次に、車両９に搭載するカメラの画角αが異なる値の画角（画角β（例えば、画角１３０度））の場合について説明する。図２５は、車両９に設置するフロントカメラ５１を画角の異なるフロントカメラ５１１に変更した状態を示す図である。両方の画角の関係はα＞βである。フロントカメラが画角αから画角βのカメラに変更されたことに伴い、車両９ａに搭載されたフロントカメラ５１１の画角βに対応する撮影範囲ｓｂは、画角αに対応する撮影範囲ｓａよりも小さい領域となる。
【０１２４】
ここで、画角βのフロントカメラ５１１と画角αのフロントカメラ５１とは物体を検出する撮影範囲は同じ範囲（撮影範囲ｓｄ）であるが、撮影範囲に対応する検出領域の大きさは異なるものとなる。つまり、画角βのフロントカメラ５１１と画角αのフロントカメラ５１との撮影画像における検出領域の大きさを同じ大きさとすると、画角βのフロントカメラ５１１の検出領域に対応する撮影範囲は、図２５に示す角度θ１に対応する撮影範囲ｓｄ１の範囲となり、本来検出対象とすべき角度θに対応する検出領域の範囲である撮影範囲ｓｄのよりも狭い範囲となる。なお、角度θとθ１との関係はθ＞θ１である。
【０１２５】
図２６は、画角βのフロントカメラ５１１の撮影画像ｐｈ１１（以下、「画像ｐｈ１１」ともいう。）の検出領域ＳＤ１を示す図である。図２６の検出領域ＳＤ１と図２４の検出領域ＳＤは撮影画像中における領域は同じ大きさである。ここで、検出領域ＳＤ１と検出領域ＳＤとの違いは、撮影画像中の±ｘ方向の１画素における角度の値である。つまり、図２４の画像ｐｈ１０の検出領域ＳＤでは、例えば１画素に相当する画素ＰＡの対応角度が約３度であったが、図２６の画像ｐｈ１１の検出領域ＳＤ１では、１画素に相当する画素ＳＢの対応角度が約１．８度となっている。これにより、撮影画像中の検出領域の大きさが同じ大きさであったとしても、実際の撮影範囲は図２３に示す撮影範囲ｓｄと図２５に示す撮影範囲ｓｄ１との差が生じる。
【０１２６】
そのため、車両９のキャリブレーション部１４がキャリブレーション処理を行う際に、フロントカメラ５１のカメラの画角について、基準の画角と実際の画角との間の差の値を比較部１２ａが導出して、検出領域ＳＤの大きさを変更する。なお、検出領域ＳＤの範囲変更の実施は、上述のように比較部１２ａにより導出された基準の画角と実際の画角との差の値に応じて行ってもよいし、比較部１２ａにより導出された基準の画角と実際の画角との差の値が所定の閾値を超える場合に行うようにしてもよい。
【０１２７】
図２７は、検出領域ＳＤ１の大きさを変更する処理を示す図である。画像ｐｈ１１の検出領域ＳＤの１大きさを範囲変更部１３ａが検出領域ＳＤ１よりも領域の面積が大きい検出領域ＳＤ２の大きさに変更する。つまり、検出領域ＳＤ１の左右方向（±ｘ方向）の領域を拡大する。変更後の検出領域ＳＤ２は、図２５に示した撮影領域ｓｄ１よりも範囲の広い図２３に示した撮影範囲ｓｄに対応した領域となる。これにより、カメラの設定パラメータに応じた検出領域の大きさを設定でき、検出対象とすべき物体の物体像を確実に検出できる。
【０１２８】
＜４−２．処理フローチャート＞
図２８は、第４の実施の形態の画像処理装置１００ａの処理フローチャートである。図２８に示す第４の実施の形態の処理フローチャートは、第３の実施の形態の処理フローチャートと一部が相違し、その他の部分は同一の処理である。以下では相違点を中心に説明する。
【０１２９】
画像処理装置１００ａはキャリブレーション部１４によるキャリブレーション処理に伴うフロントカメラ５１１の設置パラメータ値を取得する。つまり、フロントカメラ５１１の実際の画角の値を画像処理装置１００ａが取得して（ステップＳ２０１ａ）、ステップＳ２０２ａの処理に進む。
【０１３０】
ステップＳ２０２ａでは、キャリブレーション部１４が不揮発性メモリ４０の車種別データ４ａを読み出す。つまり、フロントカメラ５１１の基準となる画角の値の情報を読み出して（ステップＳ２０２）、ステップＳ２０３ａの処理に進む。
【０１３１】
ステップＳ２０３ａでは、基準の画角と実際の画角との差の値を比較部１２ａが導出して（ステップＳ２０３ａ）、ステップＳ２０４ａの処理に進む。
【０１３２】
ステップＳ２０４ａでは、基準の画角と実際の画角との差の値が所定の閾値を超えている場合（ステップＳ２０４がＹｅｓ）は、ステップＳ２０５の処理に進む。なお、フロントカメラ５１１の基準の画角と実際の画角との差の値が所定の閾値を超えていない場合（ステップＳ２０４ａがＮｏ）の場合は、処理を終了する。
【０１３３】
ステップＳ２０５ａでは、撮影範囲ｓｄ１に対応した検出領域ＳＤ１の大きさを撮影範囲ｓｄに対応した検出領域ＳＤ２の大きさに範囲変更部１３ａが変更する。
【０１３４】
＜変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。なお、上記実施の形態で説明した形態、および、以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【０１３５】
上記実施の形態では、主にフロントカメラ５１、および、バックカメラ５２における撮影画像の検出領域の範囲変更について述べたが、フロントカメラ５１、および、バックカメラ５２以外の左サイドカメラ５３、および、右サイドカメラ５４についても同様に検出領域の範囲を変更する処理が可能である。また、フロントカメラ５１を例とした実施の形態についてバックカメラ５２に置き換えて適用することも可能であり、バックカメラ５２を例とした実施の形態についてフロントカメラ５１に置き換えて適用することも可能である。
【０１３６】
また、上記第１の実施の形態では画像ｐｈ１１に向かって右側（＋ｘ側）の消失点から出現して車両９に接近する物体の物体像の検出について説明したが、画像ｐｈ１１に向かって左側（−ｘ側）の消失点から出現して車両９に接近する物体の物体像を検出するようにしてもよい。つまり、画像ｐｈ１１の検出領域ＳＡと略同じ大きさの検出領域を撮影画像中の消失点を含む領域に設定して物体検出部３２が物体像を検出する処理を行うようにしてもよい。
【０１３７】
また、第１の実施の形態、および、第２の実施の形態では、物体検出部３２が物体像を検出する方法としてエッジ検出を主として説明したが、それ以外の方法（例えば、パターンマッチング等）で物体像を検出してもよい。
【０１３８】
また、第１の実施の形態、および、第２の実施の形態では、カメラ５０の光軸の基準の方向は車両９の車体が直進方向（例えば、−Ｙ方向）に走行、および、停止のいずれかの状態にある場合を前提としていた。そのため撮影画像に基づいてカメラ５０の光軸の実際の方向を示す情報を導出する場合も、車両９が直進方向に走行および停止のいずれかの状態にある場合に実際の方向を示す情報を導出することとなる。これに対して、車両が直進方向に走行、および、停止のいずれかの状態にない場合は、ジャイロセンサ８２および操舵角センサ８３の少なくとも一つのセンサの情報から車両９のカメラ５０の光軸の基準の方向からのずれ量を制御部１が導出する。そして、当該ずれ量に基づいてカメラ５０の光軸の基準の方向を補正し、カメラ５０の補正した光軸の基準の方向とカメラ５０の光軸の実際の方向との差を比較部１２が導出して、検出領域の範囲を範囲変更部１３が変更するようにしてもよい。
【０１３９】
また、上記第１の実施の形態および第２の実施の形態では、時間的に連続する画像が２つの場合について述べたが、時間的に連続する画像が３つ以上の場合についても、物体の物体像の移動軌跡および消失点の少なくとも一つを方向導出部３３が導出できる。
【０１４０】
また、上記第１の実施の形態では、方向導出部３３がカメラ５０の光軸の方向をカメラ５０が撮影した画像に基づいて導出する。そして、比較部１２は方向導出部３３により導出されたカメラ５０の光軸の実際の方向と、不揮発性メモリ４０に記録された車種別データ４ａに含まれるカメラ５０の光軸の基準の方向との差を導出する処理を行って、検出領域ＳＡの範囲の変更を範囲変更部１３が行う。このように、検出領域ＳＡの範囲の変更は、カメラ５０の光軸のズレ量を検出し、カメラ５０の光軸のズレ量に応じて、範囲変更部１３が検出領域ＳＡの範囲を変更するようにしてもよい。
【０１４１】
また、上記第４の実施の形態では、フロントカメラ５１の画角が基準とする画角よりも狭い角度となった場合に、当該画角に応じて検出領域を大きくすることについて説明したが、フロントカメラ５１の画角が基準とする画角よりも広い角度となった場合に、当該画角に応じて検出領域を小さくする処理を行ってもよい。
【０１４２】
また、上記第４の実施の形態では、フロントカメラ５１の画角に応じて検出領域の大きさを変更する処理について述べたが、フロントカメラ５１の画角以外にもフロントカメラ５１のレンズの歪みの程度に応じて、検出領域の大きさを変更する処理を行ってもよい。
【符号の説明】
【０１４３】
１・・・・・制御部
５・・・・・撮影部
１０・・・・本体部
１１・・・・画像制御部
１２・・・・比較部
１３・・・・範囲変更部
【技術分野】
【０００１】
本発明は、車両周辺の物体の物体像を検出する技術に関する。
【背景技術】
【０００２】
従来、車両に搭載され、光軸の方向が設定されたカメラで撮影された画像中の物体の物体像を検出する技術がある。そして、物体の物体像を検出する場合、検出処理の対象とする検出領域の範囲を撮影画像全体とすると画像処理装置の処理量および処理時間が増加する。そのため、検出領域は撮影画像中の検出対象とする物体の物体像の全体が現れる一部の範囲としていた。
【０００３】
なお、本発明と関連する技術を説明する資料としては特許文献１がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第２７０１６５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、経年変化などの影響により、車両に搭載されたカメラの光軸の方向が設定当初と比べて変更されることがあった。このような光軸の方向の変更に伴い撮影画像中において検出対象とすべき物体の物体像の全体が検出領域に含まれず、本来検出すべき物体の物体像を検出できない場合があった。
【０００６】
また、車両にカメラを搭載する場合、光軸の方向を定めるカメラの設置角度などの基準となるパラメータに基づいて、カメラを車両に搭載するキャリブレーション処理が行われる。キャリブレーション処理は工場などでユーザ（キャリブレーション処理に係る作業を行う作業員等）が手動で行うものである。そして、キャリブレーション処理が実行された場合に、カメラの基準のパラメータ値とカメラの実際のパラメータ値とを比較すると、２つのパラメータ値に差が生じているときがある。このような差の影響で、検出領域に物体の物体像の全体が含まれず、本来検出すべき物体の物体像を検出できない場合があった。
【０００７】
本発明は、上記課題に鑑みてなされたものであり、撮影画像中の物体の物体像を確実に検出する技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、請求項１の発明は、車両に搭載されたカメラの撮影画像を取得する取得手段と、前記撮影画像中の検出領域に存在する物体の物体像を検出する検出手段と、前記カメラの光軸の基準の方向を示す第１情報を記憶する記憶手段と、前記撮影画像に基づいて、前記カメラの光軸の実際の方向を示す第２情報を導出する導出手段と、前記第１情報と前記第２情報との差に応じて、前記撮影画像中において前記検出領域とする範囲を変更する変更手段と、を備える。
【０００９】
また、請求項２の発明は、請求項１に記載の物体検出装置において、前記第１情報及び前記第２情報は、時間的に連続して取得される複数の前記撮影画像において前記物体像が移動する軌跡の位置である。
【００１０】
また、請求項３の発明は、請求項１に記載の物体検出装置において、前記第１情報及び前記第２情報は、前記撮影画像における消失点の位置である。
【００１１】
また。請求項４の発明は、車両に搭載されたカメラの撮影画像を取得する取得手段と、前記撮影画像中の検出領域に存在する物体の物体像を検出する検出手段と、前記カメラの基準の第１パラメータと前記カメラの実際の第２パラメータとの差に応じて、前記撮影画像中において前記検出領域とする範囲を変更する変更手段と、を有する。
【００１２】
また、請求項５の発明は、請求項４に記載の物体検出装置において、前記第１パラメータ及び前記第２パラメータは、前記カメラの光軸の方向であり、前記変更手段は、前記検出領域の位置を変更する。
【００１３】
また、請求項６の発明は、請求項４に記載の物体検出装置において、前記第１パラメータ及び前記第２パラメータは、前記カメラの画角であり、前記変更手段は、前記検出領域の大きさを変更する。
【００１４】
また、請求項７の発明は、（ａ）車両に搭載されたカメラの撮影画像を取得する工程と、（ｂ）前記撮影画像中の検出領域に存在する物体の物体像を検出する工程と、（ｃ）前記カメラの光軸の基準の方向を示す第１情報を記憶する手段から前記第１情報を取得する工程と、（ｄ）前記撮影画像に基づいて、前記カメラの光軸の実際の方向を示す第２情報を導出する工程と、（ｅ）前記第１情報と前記第２情報との差に応じて、前記撮影画像中において前記検出領域とする範囲を変更する工程と、を備える。
【００１５】
また、請求項８の発明は、（ａ）車両に搭載されたカメラの撮影画像を取得する工程と、（ｂ）前記撮影画像中の検出領域に存在する物体の物体像を検出する工程と、（ｃ）前記カメラの基準の第１パラメータと前記カメラの実際の第２パラメータとの差に応じて、前記撮影画像中において前記検出領域とする範囲を変更する工程と、を有する。
【００１６】
また、請求項９の発明は、車両に搭載されたカメラの撮影画像を取得する取得手段と、前記撮影画像中の検出領域に存在する物体の物体像を検出する検出手段と、前記カメラの光軸のズレ量を検出する光軸ズレ検出手段と、前記光軸のズレ量に応じて、前記撮影画像中において前記検出領域とする範囲を変更する変更手段と、を備える。
【００１７】
さらに、請求項１０は、請求項９に記載の物体検出装置において、前記光軸ズレ検出手段は、前記カメラの光軸の基準の方向を示す第１情報を記憶する記憶手段と、前記撮影画像に基づいて、前記カメラの光軸の実際の方向を示す第２情報を導出する導出手段と、前記第１情報と前記第２情報との差を算出する算出手段を備える。
【発明の効果】
【００１８】
請求項１ないし８の発明によれば、第１情報と第２情報との差に応じて、撮影画像中において検出領域とする範囲を変更することで、物体の物体像の検出領域を撮影画像中の適正な範囲に設定でき、検出対象とすべき物体の物体像を確実に検出できる。
【００１９】
また、特に請求項２の発明によれば、第１情報及び前記第２情報は、時間的に連続して取得される複数の撮影画像において物体像が移動する軌跡の位置であることで、物体像の移動軌跡の位置に基づいて物体の物体像の検出領域を撮影画像中の適正な位置に設定でき、検出対象とすべき物体の物体像を確実に検出できる。
【００２０】
また、特に請求項３の発明によれば、第１情報及び前記第２情報は、前記撮影画像における消失点の位置であることで、物体像の消失点に基づいて物体の物体像の検出領域を撮影画像中の適正な範囲に設定でき、検出対象とすべき物体の物体像を確実に検出できる。
【００２１】
また、特に請求項４の発明によれば、カメラの基準の第１パラメータとカメラの実際の第２パラメータとの差に応じて、撮影画像中において検出領域とする範囲を変更することで、カメラの設定パラメータに応じて検出領域を撮影画像中の適正な範囲に設定でき、検出対象とすべき物体の物体像を確実に検出できる。
【００２２】
また、特に請求項５の発明によれば、変更手段が、検出領域の位置を変更することで、フロントカメラ５１の実際の設置角度を変更することなく、カメラの光軸の方向に応じた検出領域の位置を設定でき、検出対象とすべき物体の物体像を確実に検出できる。
【００２３】
さらに、特に請求項６の発明によれば、変更手段が、検出領域の大きさを変更することで、カメラの画角に応じた検出領域の大きさを設定でき、検出対象とすべき物体の物体像を確実に検出できる。
【図面の簡単な説明】
【００２４】
【図１】図１は、第１の実施の形態の物体検出システムのブロック図である。
【図２】図２は、車載カメラが車両に配置される位置を示す図である。
【図３】図３は、撮影画像中の検出領域の物体の物体像を検出する状態を示す図である。
【図４】図４は、撮影画像中の検出領域の物体の物体像を検出する状態を示す図である。
【図５】図５は、時間的に連続する複数の撮影画像を一の撮影画像として示した図である。
【図６】図６は、時間的に連続する複数の撮影画像を一の撮影画像として示した図である。
【図７】図７は、基準となる移動軌跡と実際の移動軌跡の撮影画像を示す図である。
【図８】図８は、検出領域の範囲変更を示す図である。
【図９】図９は、第１の実施の形態の画像処理装置の処理フローチャートである。
【図１０】図１０は、第１の実施の形態の画像処理装置の処理の流れを示す処理フローチャートである。
【図１１】図１１は、撮影画像中の検出領域の範囲を示す図である。
【図１２】図１２は、撮影画像中の検出領域の範囲を示す図である。
【図１３】図１３は、バックカメラの実際の光軸の方向を示す図である。
【図１４】図１４は、基準となる消失点と実際の消失点とを示す図である。
【図１５】図１５は、検出領域の範囲変更を示す図である。
【図１６】図１６は、第２の実施の形態の画像処理装置の処理の流れを示す処理フローチャートである。
【図１７】図１７は、第２の実施の形態の画像処理装置の処理の流れを示す処理フローチャートである。
【図１８】図１８は、第３の実施の形態の物体検出システムのブロック図である。
【図１９】図１９は、フロントカメラの設置に関する基準となるパラメータ値に合わせて車両にフロントカメラが設置された状態を撮影画像により示す図である。
【図２０】図２０は、フロントカメラの設置に関する基準となるパラメータ値と差が生じた状態でフロントカメラが車両に設置された状態を撮影画像により示す図である。
【図２１】図２１は、フロントカメラ５１の検出領域の調整を示した図である。
【図２２】図２２は、第３の実施の形態の画像処理装置の処理フローチャートである。
【図２３】図２３は、車両の検出領域に対応する撮影範囲を示す図である。
【図２４】図２４は撮影画像中の検出領域を示す図である。
【図２５】図２５は、車両に設置するフロントカメラを画角の異なるフロントカメラに変更した状態を示す図である。
【図２６】図２６は、フロントカメラの撮影画像の検出領域を示す図である。
【図２７】図２７は、検出領域の大きさを変更する処理を示す図である。
【図２８】図２８は、第４の実施の形態の画像処理装置の処理フローチャートである。
【発明を実施するための形態】
【００２５】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２６】
＜１．第１の実施の形態＞
＜１−１．システム構成＞
図１は、物体検出システム１２０のブロック図である。この物体検出システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両９（図２に示す。）の周辺を撮影して画像を生成し、その生成した画像に基づいて、撮影画像中の物体の物体像を検出する。物体検出システム１２０は、物体像を検出する検出処理を行う画像処理装置１００を備えている。この画像処理装置１００が検出する物体の物体像は、車両９に接近する物体の物体像である。撮影画像中の一部の領域を検出処理の対象とする検出領域（例えば、図３に示す撮影画像ｐｈ１の検出領域ＳＡ）として設定し、検出領域内の物体を画像処理装置１００が検出する。
【００２７】
矩形の領域である検出領域ＳＡ内に物体の物体像が検出された場合は、物体像が検出された旨の信号を画像処理装置１００が例えばナビゲーション装置のようにディスプレイを有する表示装置２０に出力してユーザに報知する。また、画像処理装置１００が車両ＥＣＵ８４に信号を出力して車両９のハザードランプ、および、ブレーキランプなどを点滅させて、車両９に接近する他の車両のユーザに車両の接近を報知する。これにより車両９のユーザ（代表的にはドライバ）の安全を確保する。
【００２８】
図１に示すように、物体検出システム１２０は、車両の周囲を撮影するカメラを備えている撮影部５と、撮影部５で取得された撮影画像を処理する画像処理装置１００とを主に備えている。
【００２９】
撮影部５は車両９に搭載されたカメラであるフロントカメラ５１、バックカメラ５２、左サイドカメラ５３、および、右サイドカメラ５４（以下、「カメラ５０」ともいう。）を備えている。なお、各カメラの車両９への搭載位置などの説明は後述する。
【００３０】
＜１−２．画像処理装置＞
画像処理装置１００は、本体部１０が撮影画像中の物体の物体像を検出してその旨の信号を出力する機能を有するＥＣＵ（Electronic Control Unit）であり、車両の所定の位置に配置される。
【００３１】
画像処理装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して物体の物体像を検出する画像処理部３とを主に備えている。
【００３２】
画像処理部３は、各種の画像処理が可能なハードウェア回路として構成されており、画像取得部３１、物体検出部３２、方向導出部３３、および、画像送信部３４を主な機能として備えている。なお、画像処理部３の各種処理は制御部１の指示信号に基づいて行われる。
【００３３】
画像取得部３１は、車両９の周辺を撮影する撮影部５のカメラ５０で取得された複数の撮影画像をカメラ５０から取得する。
【００３４】
物体検出部３２は、撮影画像中の検出領域ＳＡに存在する物体の物体像を検出する。物体像の検出はエッジ検出により行われ、検出領域ＳＡ内のエッジに囲まれた領域に物体の物体像が存在することを検出する。また、物体検出部３２は撮影部５により所定時間ごとに撮影される複数の撮影画像において大きさが拡大する物体像を車両９に接近する物体に対応する物体像として検出する。
【００３５】
なお、物体検出部３２が物体像を検出する検出領域は、撮影画像中の一部の領域となる。撮影画像中の検出領域は、例えば、撮影画像中において車線像を規定する区画線などの実際には平行の線の像が遠近法によって点に収束する（交わる）点である消失点（例えば、図３に示す消失点ＬＰ）を含み、消失点から出現する物体の物体像の全体を含む範囲の領域（例えば、図３に示す検出領域ＳＡ）に設定される。消失点は、理論的には無限遠点であり、物体の物体像の出現位置ともなる。
【００３６】
また、検出領域ＳＡは後述する不揮発性メモリ４０に領域データ４ｂとして記録されており、物体検出部３２が物体の物体像を検出する場合に、領域データ４ｂを画像生成処理を制御する画像制御部１１が不揮発性メモリ４０から読み出す。
【００３７】
方向導出部３３は、カメラ５０の光軸（図２に示す光軸５１ａ、５２ａ、５３ａ、５４ａ）の方向をカメラ５０が撮影した撮影画像に基づいて導出する。つまり、撮影された撮影画像に基づいて実際の光軸の方向を方向導出部３３が導出する。カメラ５０の光軸の導出処理については後に詳述する。
【００３８】
画像送信部３４は、画像処理部３で生成された画像情報を通信部４１を介して表示装置２０に出力する。
【００３９】
制御部１は、ＣＰＵ、ＲＡＭ、および、ＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す画像制御部１１、比較部１２は、および、範囲変更部１３はこのようにして実現される制御部１の機能のうちの一部を示している。
【００４０】
画像制御部１１は、画像処理部３によって実行される画像処理を制御する。例えば、検出領域ＳＡの物体の物体像を検出する処理の指示信号を画像制御部１１が画像処理部３に出力する。また、画像制御部１１は、画像処理部３により生成される画像の生成に必要な各種パラメータなどを指示する。
【００４１】
比較部１２は、方向導出部３３により導出されたカメラ５０の光軸の実際の方向と、不揮発性メモリ４０に記録された車種別データ４ａに含まれるカメラ５０の光軸の基準の方向との差を導出する処理を行う。カメラ５０の光軸の差の導出処理については後に詳述する。
【００４２】
範囲変更部１３は、比較部１２により導出されたカメラ５０の光軸の実際の方向とカメラ５０の光軸の基準の方向との差に応じて、撮影画像中において検出領域ＳＡとする範囲を変更する。例えば、経年変化の影響によりカメラ５０の現在の設置角度が車両９にカメラ５０を設置した当初の設置角度と差が生じている場合、範囲変更部１３が撮影画像中において検出領域ＳＡとする範囲を変更する。
【００４３】
ここで、カメラ５０の設置角度とは、カメラの上下方向（図２に示すＸＹＺ直交座標の±Ｚ方向）の角度であるチルト角、カメラ５０の水平方向（図２に示すＸＹＺ直交座標の±Ｘ方向および±Ｙ方向のいずれか）の角度であるパン角、および、カメラ５０の傾き角度であるロール角の角度である。
【００４４】
なお、検出領域ＳＡのデータは不揮発性メモリ４０内に領域データ４ｂとして記録されているため、変更前の領域データ４ｂの検出領域ＳＡの範囲のデータを変更後の検出領域（例えば、図８に示す検出領域ＳＡ１）の範囲のデータに制御部１が書き換える。そして、検出領域の範囲が変更された後に撮影画像中の物体の物体像の検出が行われる場合は、変更後の検出領域ＳＡ１の領域データ４ｂが不揮発性メモリ４０から画像制御部１１により読み出され、検出領域ＳＡ１の範囲で物体の物体像の検出を物体検出部３２が行う。
【００４５】
また、画像処理装置１００の本体部１０は、不揮発性メモリ４０、通信部４１、および、信号入出力部４２をさらに備えており、これらは制御部１に接続されている。
【００４６】
不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、車種別データ４ａが記憶されている。車種別データ４ａは、画像処理部３が画像を生成する際に必要となる車両の種別に応じたカメラ５０の設定パラメータ値を含むデータである。例えば、カメラ５０の設置角度、カメラ５０の設置位置などの情報である。つまり、車種別データ４ａは、カメラ５０の光軸の設置時における方向を示すデータを含んでいる。このカメラ５０の光軸の設置時における方向は、カメラ５０の光軸の基準の方向として利用される。
【００４７】
したがって、車種別データ４ａは、カメラ５０の光軸の実際の方向とカメラ５０の光軸の基準の方向との差を比較部１２が導出する場合に、不揮発性メモリ４０から読み出される。
【００４８】
また、不揮発性メモリ４０には領域データ４ｂが記憶されている。領域データ４ｂは、画像処理部３が撮影画像中の物体の物体像を検出する場合に用いられるデータであり、検出領域ＳＡなどのデータを含んでいる。
【００４９】
通信部４１は、画像処理装置１００が表示装置２０との間で通信を行うための入出力のインターフェースである。
【００５０】
信号入出力部４２は、車両９に設けられた各種装置からの信号の入出力を行う際のインターフェースである。
【００５１】
シフトセンサ８１は、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。
【００５２】
ジャイロセンサ８２は、車両９の傾き変化の速度（角速度）の信号を制御部１に出力する。制御部１はジャイロセンサ８２から受信した信号により車両９の傾き変化を導出する。
【００５３】
操舵角センサ８３は、ユーザが操作したステアリングホイールの操作方向を制御部１に出力する。詳細には、操舵角センサ８３は、ユーザが操作したステアリングホイールの回転方向、回転角度、及び、回転速度を信号入出力部４２を介して制御部１に出力する。
【００５４】
車両ＥＣＵ８４は、車両本体の制御を行うＥＣＵであり、制御部１からの信号に基づいて、車両９のハザードランプ、および、ブレーキランプの少なくとも一つを点滅させるなどの車両動作の制御を行う。
【００５５】
＜１−３．撮影部＞
次に、画像処理装置１００の撮影部５について詳細に説明する。撮影部５は、制御部１に電気的に接続され、制御部１からの信号に基づいて動作する。
【００５６】
撮影部５は、車載カメラであるフロントカメラ５１、バックカメラ５２、左サイドカメラ５３、および、右サイドカメラ５４を備えている。これらの車載カメラ５１、５２、５３、５４はそれぞれ、ＣＣＤやＣＭＯＳなどの撮像素子を備えており電子的に画像を取得する。
【００５７】
図２は、カメラ５０が車両９に配置される位置を示す図である。なお、以下の説明においては、方向及び向きを示す際に、適宜、図中に示す３次元のＸＹＺ直交座標を用いる。このＸＹＺ軸は車両９に対して相対的に固定される。ここで、Ｘ軸方向は車両９の左右方向に沿い、Ｙ軸方向は車両９の直進方向（前後方向）に沿い、Ｚ軸方向は鉛直方向に沿っている。また、便宜上、＋Ｘ側を車両９の右側、＋Ｙ側を車両９の後側、＋Ｚ側を車両９の上側とする。
【００５８】
フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向（平面視でＹ軸方向の−Ｙ側）に略沿って向けられている。バックカメラ５２は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両９の直進方向の逆方向（平面視でＹ軸方向の＋Ｙ側）に略沿って向けられている。また、左サイドカメラ５３は、左のドアミラー９３に設けられており、その光軸５３ａは車両９の左方向（平面視で＋Ｘ軸方向）に沿って外部に向けられている。さらに、右サイドカメラ５４は、右のドアミラー９４に設けられており、その光軸５４ａは車両９の右方向（平面視で−Ｘ軸方向）に沿って外部に向けられている。なお、フロントカメラ５１やバックカメラ５２の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【００５９】
カメラ５０のレンズとしては魚眼レンズなどが採用されており、カメラ５０は１８０度以上の画角αを有している。このため、４つの車載カメラ５１、５２、５３、５４を利用することで、車両９の全周囲の撮影が可能となっている。
【００６０】
＜１−４．表示装置＞
表示装置２０は、ナビゲーション案内を表示するディスプレイを有するナビゲーション装置、音楽のタイトル情報やテレビの映像などを表示するディスプレイを備えたオーディオ装置、ユーザが携帯し車両９内へ持ち込んで使用可能なスマートフォンなどである。
表示装置２０は、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行う操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面はユーザから視認可能なように、表示装置２０は車両のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ、および、ＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
【００６１】
表示装置２０は、画像処理装置１００と通信可能に接続され、画像処理装置１００との間で各種の制御信号の送受信や、画像処理装置１００で生成された周辺画像の受信が可能となっている。ディスプレイ２１には、制御部２３の制御により、通常は表示装置２０単体の機能に基づく画像が表示されるが、所定の条件下で画像処理装置１００により生成された車両の周辺の様子を示す周辺画像が表示される。また、ディスプレイ２１に表示される撮影部５により撮影された画像は車両９の周辺領域をほぼリアルタイムに示すことになる。これにより、表示装置２０は、画像処理装置１００で生成された周辺画像を受信して表示する表示装置としても機能する。
【００６２】
また、画像処理部３により検出領域ＳＡに物体の物体像が検出された旨の信号を制御部１から通信部４１を介して表示装置２０が受信した場合は、車両９に物体が接近している旨の報知（例えば、画像および音声の少なくとも一つを用いた報知）を車両９のユーザに行う。
【００６３】
また、表示装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号として通信部４１によって受け付けられて制御部１に入力される。
【００６４】
＜１−５．検出領域の範囲変更＞
次に、撮影画像中における検出領域の範囲変更について説明する。なお、以下では撮影画像中の方向および向きを示す際に、適宜、図中に示す２次元のｘｙ直交座標を用いる。このｘｙ軸は撮影画像に対して相対的に固定される。ここで、ｘ軸方向は撮影画像の左右方向であり、例えば図３の撮影画像ｐｈ１（以下、「画像ｐｈ１」ともいう。）に向かって右方向（＋ｘ方向）に消失点ＬＰが位置している、また、ｙ軸方向は撮影画像の上下方向である。なお、消失点ＬＰの位置は車両９の前方に位置する車線像ＣＬを規定する区画線のライン像ＡＬが点に収束する位置となる。
【００６５】
また、検出領域の範囲変更について、以下ではフロントカメラ５１の撮影画像の検出領域ＳＡの範囲変更について説明する。ここで、撮影画像中のどの範囲を検出領域とするのかは、車両の走行する外部環境および車両９のユーザに提供するシステムの形態の少なくとも一つに応じて異なり、車両９にカメラ５０を設定する際に撮影画像中の任意の一部の領域に設定が可能である。
【００６６】
図３および図４は撮影画像中の検出領域ＳＡに存在する物体像を検出する状態を示す図である。図３の画像ｐｈ１はフロントカメラ５１により撮影された画像であり、画像ｐｈ１中の検出領域ＳＡは消失点ＬＰを含む領域である。なお、消失点ＬＰは車線像ＣＬを規定する区画線のライン像ＡＬが点に収束する位置となっている。
【００６７】
また、画像ｐｈ１は見通しの悪い交差点で車両９のフロントカメラ５１に撮影された画像であり、現実の車両９の前方（図２に示す−Ｙ方向）の右方向（＋Ｘ方向）から車両９に接近する物体の物体像を検出するように検出領域ＳＡが設定されている。なお、画像ｐｈ１における検出領域ＳＡには物体の物体像はまだ検出されていない。
【００６８】
次に、撮影画像ｐｈ２（以下、「画像ｐｈ２」ともいう。）は、画像ｐｈ１が撮影された後に画像ｐｈ１と時間的に連続してフロントカメラ５１に撮影された画像である。画像ｐｈ２では、消失点ＬＰから出現した物体の物体像である車両像ＡＣ１が検出領域ＳＡに存在している。そして、車両像ＡＣ１を物体検出部３２がエッジ検出により検出する。これにより、物体検出部３２は、画像ｐｈ２において車両像ＡＣ１が存在する範囲である物体領域ｄｅ１を特定する。
【００６９】
図４の撮影画像ｐｈ３（以下、「画像ｐｈ３」ともいう。）は、画像ｐｈ２が撮影された後に画像ｐｈ２と時間的に連続してフロントカメラ５１に撮影された画像である。画像ｐｈ３では、車両像ＡＣ２を物体検出部３２がエッジ検出により検出する。これにより、物体検出部３２は、画像ｐｈ３において車両像ＡＣ２が存在する範囲である物体領域ｄｅ２を特定する。画像ｐｈ３の物体領域ｄｅ２は画像ｐｈ２の物体領域ｄｅ１と比べて領域の面積が大きい。これにより、車両像ＡＣ２に対応する物体である車両が車両９に接近していることを検出する。このように、物体検出部３２は、物体像が存在する範囲である物体領域が、時間的に連続する撮影画像において拡大する場合は、当該物体像が示す物体が車両９に接近していると判断する。
【００７０】
図５は、時間的に連続する複数の撮影画像を一の撮影画像に重ねて示した図である。つまり、撮影画像ｐｈ１１（以下、「画像ｐｈ１１」ともいう。）は、画像ｐｈ２および画像ｐｈ３を含む時間的に連続する複数の撮影画像を示している。そして、物体検出部３２により検出された検出領域ＳＡ内の車両像ＡＣ１に対応する物体領域ｄｅ１、および、車両像ＡＣ２に対応する物体領域ｄｅ２の撮影画像上の位置情報に基づいて、車両９に接近する物体の物体像が移動する軌跡を示す移動軌跡Ｔｒを方向導出部３３が導出する。
【００７１】
フロントカメラ５１の光軸が基準の方向にある場合において、時間的に連続して取得される複数の撮影画像に基づいて導出される移動軌跡Ｔｒは、基準となる移動軌跡ＴｒＳとして利用される。この移動軌跡ＴｒＳの位置は実質的にフロントカメラ５１の光軸の基準の方向を示す情報となり、予め車種別データ４ａとして不揮発性メモリ４０に記録される。
【００７２】
なお、画像ｐｈ１１中の車両像ＡＣ３および車両像ＡＣ４は、車両像ＡＣ１および車両像ＡＣ２に対応する車両と同一の車両の車両像であり、現実の車両９の前方（図２に示す−Ｙ方向）を右方向（＋Ｘ方向）から左方向（−Ｘ方向）に通過する車両の車両像である。このように画像ｐｈ１１に向かって右方向（＋ｘ方向）から車両像が出現して、画像ｐｈ１１に向かって左方向（−ｘ方向）に車両像が移動する場合は、検出領域ＳＡの位置を画像ｐｈ１１に向かって右側（＋ｘ側）に設けている。
【００７３】
これにより画像ｐｈ１１に向かって右側（＋ｘ側）に位置する消失点ＬＰから出現する物体の物体像を早期に物体検出部３２が検出でき、車両９に接近する物体の物体像の情報を車両９の各部に伝達できる。そして、車両９の前方を通過した車両像ＡＣ３、および、車両９から遠ざかる車両像ＡＣ４は車両との接触の危険性などはないため検出対象とはしない。
【００７４】
次に、経年変化などによりカメラの光軸の方向が基準の方向と差が生じている場合について説明する。図６は、時間的に連続する複数の撮影画像を一の撮影画像に重ねて示した図である。なお、図６の画像ｐｈ１２は図５の画像ｐｈ１１を撮影した車両９の位置と同じ位置で、異なるタイミングにおいて撮影したものである。
【００７５】
また、図６の画像ｐｈ１２が図５の画像ｐｈ１１と異なる点は、画像ｐｈ１２を撮影したフロントカメラ５１の光軸の方向が、基準の方向と比べて、車両９の上方向（図２に示す＋Ｚ方向）に傾いていることである。そのため、画像ｐｈ１２の検出領域ＳＡで物体検出部３２により検出された車両像ＡＣ１に対応する物体領域ｄｅ１１、および、車両像ＡＣ２に対応する物体領域ｄｅ１２は、画像ｐｈ１１の物体領域ｄｅ１、および、ｄｅ２と比べて検出領域ＳＡの外縁に近接している。
【００７６】
つまり、フロントカメラ５１の光軸の上方向（＋Ｚ方向）の傾きが更に大きくなれば車両像ＡＣ１およびＡＣ２の一部が検出領域ＳＡの領域外となり、車両像ＡＣ１およびＡＣ２が物体検出部３２に検出されない可能性がある。なお、画像ｐｈ１２では、車両像ＡＣ１およびＡＣ２の移動軌跡Ｔｒ１を方向導出部３３が導出する。この移動軌跡Ｔｒ１の位置は、実際の車両９のフロントカメラ５１の光軸の方向を示す情報となる。
【００７７】
図７は、基準となる移動軌跡ＴｒＳと実際の移動軌跡Ｔｒ１とを同一の撮影画像ｐｈ０（以下、「画像ｐｈ０」ともいう。）中に示す図である。図７には、フロントカメラ５１の光軸が基準の方向にある場合の基準の移動軌跡ＴｒＳと、光軸が傾いた場合の実際の移動軌跡Ｔｒ１とが示されている。光軸が基準である場合の消失点ＬＰは移動軌跡ＴｒＳの線上に、光軸が傾いた場合の消失点ＬＰ１は移動軌跡Ｔｒ１にそれぞれ位置している。
【００７８】
基準の移動軌跡ＴｒＳと実際の移動軌跡Ｔｒ１との差が生じる原因は、現実の車両９のフロントカメラ５１の光軸が上下方向（±Ｚ方向）に傾くことである。つまり、移動軌跡ＴｒＳの位置がフロントカメラ５１の光軸の基準の方向を示す情報に対応し、移動軌跡Ｔｒ１の位置がフロントカメラ５１の光軸の実際の方向を示す情報に対応する。そして、図７に示すように消失点ＬＰ１を含む実際の移動軌跡Ｔｒ１の位置は、基準となる移動軌跡ＴｒＳよりも画像ｐｈ０中の下方（−ｙ方向）位置にある。
【００７９】
比較部１２は、このような基準となる移動軌跡ＴｒＳの位置と実際の移動軌跡Ｔｒ１の位置とを比較し、その差に応じて差の値ｄｆを導出する。
【００８０】
図８は、検出領域ＳＡの範囲が変更されることを説明する図である。比較部１２が導出した移動軌跡の位置の差ｄｆに応じて、範囲変更部１３が撮影画像ｐｈ１２（以下、「画像ｐｈ１２」ともいう。）の検出領域ＳＡの範囲を変更する。詳細には、検出領域ＳＡの位置を画像ｐｈ１２中の下方向（−ｙ方向）に移動させ、検出領域ＳＡ１の位置に範囲変更部１３が変更する。これにより、物体の物体像の検出領域を撮影画像ｐｈ１２の適正な位置に設定でき、検出対象とする物体の物体像を確実に検出できる。なお、検出領域ＳＡの範囲変更の実施は、単純に比較部１２により導出された移動軌跡の位置の差の値に応じて行ってもよいし、比較部１２により導出された移動軌跡の位置の差の値が所定の閾値を超える場合に行うようにしてもよい。
【００８１】
なお、上述のように検出領域ＳＡの範囲変更を行う場合は、フロントカメラ５１の光軸の基準の方向は現実の車両９の車体が直進方向（例えば、−Ｙ方向）に走行、および、停止のいずれかの状態にある場合である。そのため、現実の車両９が直進方向に走行および停止のいずれかの状態にある場合に、撮影画像に基づいてカメラ５０の光軸の実際の方向を示す情報を導出することとなる。
【００８２】
＜１−６．処理フローチャート＞
図９および図１０は、第１の実施の形態の画像処理装置１００の処理の流れを示す処理フローチャートである。画像取得部３１は、車両９の撮影部５のカメラ画像を取得して（ステップＳ１０１）、ステップＳ１０２の処理に進む。
【００８３】
ステップＳ１０２では、物体検出部３２が領域データ４ｂの検出領域ＳＡの範囲を走査し、領域中の物体像の検出処理を行い（ステップＳ１０２）、ステップＳ１０３の処理に進む。
【００８４】
ステップＳ１０３では、時間的に連続する複数の撮影画像に基づいて、車両９に接近する物体の物体像が物体検出部３２により検出されるか否かが判断される。車両９に接近する物体の物体像が検出された場合（ステップＳ１０３がＹｅｓ）は、ステップＳ１０４の処理に進む。また、車両９に接近する物体の物体像が検出されない場合（ステップＳ１０３がＮｏ）は、処理を終了する。処理終了後は図９のステップＳ１０１に戻り、図９及び図１０に示す処理を繰り返し行う。
【００８５】
ステップＳ１０４では、時間的に連続して取得される複数の撮影画像において物体の物体像が実際に移動する軌跡である移動軌跡Ｔｒ１を方向導出部３３が導出する。つまり、フロントカメラ５１の光軸の実際の方向を示す情報を、撮影画像に基づいて方向導出部３３が導出して（ステップＳ１０４）、ステップＳ１０５の処理に進む。
【００８６】
ステップＳ１０５では、方向導出部３３が導出した実際の移動軌跡Ｔｒ１の画像ｐｈ１２における位置と、基準となる移動軌跡ＴｒＳの位置とを比較部１２が比較して両方の差の値ｄｆを導出して（ステップＳ１０５）、ステップＳ１０６の処理に進む。基準となる移動軌跡ＴｒＳは不揮発性メモリ４０に記録されている車種別データ４ａに含まれている。このため、比較部１２は、移動軌跡同士の比較を行う際に不揮発性メモリ４０から移動軌跡ＴｒＳを取得する。
【００８７】
ステップＳ１０６では、基準となる移動軌跡ＴｒＳと実際の移動軌跡Ｔｒ１との差の値ｄｆが所定の閾値を超えている場合（ステップＳ１０６がＹｅｓ）は、ステップＳ１０７の処理に進む。なお、ステップＳ１０６において、移動軌跡の差ｄｆの値が所定の閾値を超えていない場合（ステップＳ１０６がＮｏ）は、処理を終了する。
【００８８】
ステップＳ１０７では、移動軌跡の差ｄｆに応じて、撮影画像中の検出領域ＳＡの位置を検出領域ＳＡ１に変更する処理を範囲変更部１３が行う。これにより、物体像の移動軌跡の位置に基づいて物体の物体像の検出領域を撮影画像中の適正な位置に設定でき、検出対象とすべき物体の物体像を確実に検出できる。
＜第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態と第１の実施形態との相違点は次のとおりである。第１の実施の形態は、フロントカメラ５１における見通しの悪い交差点での車両９へ接近する物体の物体像を検出する場合の検出領域の範囲変更について説明した。これに対して第２の実施の形態では、バックカメラ５２において車両９の後方から接近する物体の物体像を検出する場合の検出領域の範囲の変更について説明する。なお、第２の実施の形態においては、物体検出システム１２０の構成は同一であり、その処理が一部相違する。以下では、処理の相違点を中心に説明する。
【００８９】
＜２−１．検出領域の範囲変更＞
図１１および図１２は撮影画像中の検出領域ＳＢの範囲を示す図である。図１１の撮影画像ｐｈ４（以下、「画像ｐｈ４」ともいう。）は、バックカメラ５２により撮影された画像であり、画像ｐｈ４中の検出領域ＳＢは物体の物体像を検出する領域である。また、検出領域ＳＢは消失点ＬＰ１１を含み、かつ、画像ｐｈ４の略中央の範囲が対象の領域である。なお、消失点ＬＰ１１の位置は車両９が走行する車線像ＭＬを規定する区画線のライン像ＡＬ１が点に収束する位置となっている。なお、画像ｐｈ４の検出領域ＳＢでは物体の物体像は検出されていない。
【００９０】
なお、バックカメラ５２により撮影される画像中の消失点の位置は、バックカメラ５２が車両９に搭載された際（バックカメラ５２の光軸が基準の方向にある場合）に予め取得され、制御部１により不揮発性メモリ４０の車種別データ４ａの一部として記憶される。このように取得される消失点の位置は、実質的にバックカメラ５２の光軸の基準の方向を示す情報となる。以降、図１１の画像ｐｈ４中の消失点ＬＰ１１を、バックカメラ５２の光軸の基準の方向を示す基準の消失点ＬＰ１１であるとして説明する。
【００９１】
次に、図１１の撮影画像ｐｈ５（以下、「画像ｐｈ５」ともいう。）は、画像ｐｈ４が撮影された後に画像ｐｈ４と時間的に連続してバックカメラ５２に撮影された画像である。画像ｐｈ５では、消失点ＬＰ１１から出現した物体の物体像である車両像ＡＣ１１が検出領域ＳＢに存在している。そして、車両像ＡＣ１１を物体検出部３２がエッジ検出により検出する。これにより、物体検出部３２は、画像ｐｈ５において、車両像ＡＣ１１が存在する範囲である物体領域ｄｅ２１を特定する。
【００９２】
図１２の撮影画像ｐｈ６（以下、「画像ｐｈ６」ともいう。）は、画像ｐｈ５が撮影された後に画像ｐｈ５と時間的に連続してバックカメラ５２に撮影された画像である。画像ｐｈ６では、車両像ＡＣ１２を物体検出部３２がエッジ検出により検出する。これにより、物体検出部３２は、車両像ＡＣ１２が存在する範囲である物体領域ｄｅ２２を特定する。画像ｐｈ６の物体領域ｄｅ２２は画像ｐｈ５の物体領域ｄｅ２１と比べて領域の面積が大きい。これにより、車両像ＡＣ１２に対応する物体である車両が車両９に接近していることを物体検出部３２が検出する。
【００９３】
次に、経年変化などによりバックカメラ５２の光軸の方向が基準の方向と差が生じている場合について説明する。図１３は、、図１１の画像ｐｈ４を撮影した車両９の位置と同じ位置で、異なるタイミングにおいてバックカメラ５２により撮影した撮影画像ｐｈ７（以下、「画像ｐｈ７」ともいう。）を示す図である。
【００９４】
画像ｐｈ７においては、図１１の基準の消失点ＬＰ１１の位置と比べて、消失点ＬＰ１２の位置が画像ｐｈ７に向かって右方向（＋ｘ方向）に移動している。つまり、バックカメラ５２の光軸の方向が、基準の方向と比べて、車両９の左側（図２に示す−Ｘ方向）に傾いている。これにより、検出領域ＳＢで検出される物体の物体像の大きさによっては、検出領域ＳＢ内に含まれず検出対象とすべき物体の物体像が確実に検出されない場合がある。
【００９５】
図１４は、基準となる消失点ＬＰ１１と実際の消失点ＬＰ１２と同一の撮影画像撮影画像ｐｈ００（以下、「画像ｐｈ００」ともいう。）中に示す図である。図１４には、バックカメラ５１の光軸が基準の方向にある場合の基準の消失点ＬＰ１１、および、光軸が傾いた場合の実際の消失点ＬＰ１２とが示されている。基準となる消失点ＬＰ１１の位置と実際の消失点ＬＰ１２の位置とは差が生じており、両者の差の値ｄｆ１を比較部１２が導出する。
【００９６】
図１５は、検出領域ＳＢの範囲が変更されることを説明する図である。比較部１２が導出した消失点の位置との差ｄｆ１に応じて、範囲変更部１３が撮影画像中の検出領域ＳＢの範囲を変更する。詳細には、図１４に示すように画像ｐｈ７における検出領域ＳＢの位置を画像ｐｈ７に向かって右方向（＋ｘ方向）に移動させ、検出領域ＳＢ１の位置に範囲変更部１３が変更する。これにより、物体の物体像の検出領域を撮影画像中の適正な位置に設定でき、検出対象とする物体の物体像を確実に検出できる。なお、検出領域ＳＢの範囲変更の実施は、単純に比較部１２により導出された消失点の位置の差の値に応じて行ってもよいし、比較部１２により導出された消失点の位置の差の値が所定の閾値を超える場合に行うようにしてもよい。
【００９７】
＜２−２．処理フローチャート＞
図１６および図１７は、第２の実施の形態の画像処理装置１００の処理の流れを示す処理フローチャートである。この処理は第１の実施の形態で説明した処理と一部の処理が相違し、残りの部分の処理が同一の処理である。そのため、処理が相違する点を中心について以下に説明する。
【００９８】
ステップＳ１０３では、時間的に連続する複数の撮影画像中に基づいて、車両９に接近する物体の物体像が検出されるか否かが判断される。車両９に接近する物体の物体像が検出された場合（ステップＳ１０３がＹｅｓ）は、ステップＳ１０４ａの処理に進む。
【００９９】
ステップＳ１０４ａでは、画像ｐｈ７における実際の消失点ＬＰ１２を方向導出部３３が導出する。つまり、バックカメラ５２の光軸の実際の方向を示す情報を、画像ｐｈ７に基づいて方向導出部３３が導出して（ステップＳ１０４）、ステップＳ１０５の処理に進む。
【０１００】
ステップＳ１０５ａでは、方向導出部３３が導出した実際の消失点ＬＰ１２の画像ｐｈ７における位置と、基準となる消失点ＬＰ１１の位置とを比較部１２が比較して両方の差の値ｄｆ１を導出して（ステップＳ１０５）、ステップＳ１０６の処理に進む。基準となる消失点ＬＰ１１は不揮発性メモリ４０に記録されている車種別データ４ａに含まれている。このため、比較部１２は、消失点同士の比較を行う際に不揮発性メモリ４０から基準となる消失点ＬＰ１１を取得する。
【０１０１】
ステップＳ１０６ａでは、基準となる消失点ＬＰ１１と消失点ＬＰ１２との差の値ｄｆ１が所定の閾値を超える場合（ステップＳ１０６がＹｅｓ）は、ステップＳ１０７の処理に進む。なお、ステップＳ１０６ａにおいて、基準となる消失点ＬＰ１１と消失点ＬＰ１２との差の値ｄｆ１が所定の閾値を超えない場合（ステップＳ１０６がＮｏ）は、処理を終了する。
【０１０２】
＜第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態と第１の実施形態との相違点は、次のとおりである。第１の実施の形態は、車両９の走行時にフロントカメラ５１により撮影された画像に基づいて、フロントカメラ５１の基準となる光軸の方向を示す情報と、フロントカメラ５１の実際の光軸の方向を示す情報との差の値に基づいて、物体の物体像を検出する検出領域ＳＡの範囲の変更について説明した。これに対して第３の実施の形態では、フロントカメラ５１を車両に搭載する際にフロントカメラ５１の設置に関する基準となるパラメータ値に対応するフロントカメラ５１の基準の光軸の方向と、フロントカメラ５１の設置に関する実際のパラメータ値に対応するフロントカメラ５１の実際の光軸の方向との差の値に基づいて物体の物体像の検出領域の範囲を変更する。なお、第３の実施の形態においては、物体検出システム１２０の構成、および、処理が一部相違する。以下では、相違点を中心に説明する。
【０１０３】
＜３−１．システム構成＞
図１８は第３の実施の形態の物体検出システム１２０ａのブロック図である。第３の実施の形態の物体検出システム１２０ａは第１の実施の形態の物体検出システム１２０に対して、新たに制御部１ａにキャリブレーション部１４が設けられている。
【０１０４】
キャリブレーション部１４は、フロントカメラ５１の設置に関する基準となるパラメータ値を不揮発性メモリ４０の車種別データ４ａから取得して、カメラの設置角度等の調整を行うキャリブレーション処理を行う。
【０１０５】
比較部１２ａは、キャリブレーション処理で取得されたフロントカメラ５１の設置に関する実際のパラメータ値とフロントカメラ５１の設置に関する基準となるパラメータ値との差の値を導出する。
【０１０６】
範囲変更部１３ａは、フロントカメラ５１の設置に関する実際のパラメータ値とフロントカメラ５１の設置に関する基準となるパラメータ値との差の値に応じて検出領域の大きさを変更する。
【０１０７】
＜３−２．検出領域の位置変更＞
図１９は、フロントカメラ５１の設置に関する基準となるパラメータ値に合わせて車両９にフロントカメラ５１が設置された状態を撮影画像ｐｈ８（以下、「画像ｐｈ８」ともいう。）により示す図である。図１９の画像ｐｈ８の略中央の領域は物体の物体像を検出する検出領域ＳＣとなっている。そして、検出領域ＳＣ内に存在する三角形の物体である指標ＭＡの像を物体検出部３２が検出し、物体領域ｄｅ１０１が指標ＭＡの位置に対応している。つまり、画像ｐｈ８では、工場などで車両９にフロントカメラ５１を設置する作業を行う作業員が、フロントカメラ５１の関する基準となるパラメータ値（例えば、フロントカメラ５１の車両９への基準となる設置角度）を手動で調整するキャリブレーション処理において、フロントカメラ５１の設置に関する基準となるパラメータ値に合わせてフロントカメラ５１の設置に関する実際のパラメータ値（例えば、フロントカメラ５１の車両９への実際の設置角度）を調整した状態を示している。
【０１０８】
図２０は、フロントカメラ５１の設置に関する基準となるパラメータ値（以下、「基準のパラメータ値」ともいう。）とフロントカメラ５１の設置に関する実際のパラメータ値（以下、「実際のパラメータ値」ともいう。）との差が生じた状態の撮影画像ｐｈ９（以下、「画像ｐｈ９」ともいう。）を示す図である。図２０の画像ｐｈ９の略中央は検出領域ＳＣの領域となっている。そして、画像ｐｈ９中に存在する指標ＭＡの像全体が検出領域ＳＣの領域に含まれていない。そのため、物体検出部３２は指標ＭＡの像を検出できない。つまり、画像ｐｈ９は、工場などで車両９にフロントカメラ５１を設置する作業を行う作業員が、実際のパラメータ値を手動で調整するキャリブレーション処理において、基準のパラメータ値と実際のパラメータ値との間に差が生じた状態でフロントカメラ５１を車両９に設置したことを示している。
【０１０９】
図２１は、フロントカメラ５１の検出領域の調整を示した図である。図２１の画像ｐｈ９の破線で示す矩形の検出領域ＳＣの画像ｐｈ９中の位置は、実際のパラメータ値に対応している。つまり、フロントカメラ５１の実際の光軸の方向に対応している。そして、実際のパラメータ値と基準のパラメータ値との差の値である差の値ｄｆ２を比較部１２ａが導出する。つまり、差の値ｄｆ２がフロントカメラ５１の基準となる光軸の方向とフロントカメラ５１の実際の光軸の方向との差の値に相当する。
【０１１０】
次に、差の値ｄｆ２に応じて範囲変更部１３ａが画像ｐｈ９の検出領域ＳＣの位置を異なる位置に変更する。つまり、検出領域ＳＣの位置を画像ｐｈ９において上方向（＋ｙ方向）の検出領域ＳＣ１の位置に変更する。これにより、フロントカメラ５１の実際の設置角度を変更することなく、カメラの設定パラメータに応じた検出領域の位置を設置でき、検出対象とすべき物体の物体像を確実に検出できる。
【０１１１】
なお、検出領域ＳＣの範囲変更の実施は、上述のように比較部１２ａにより導出された光軸の方向であるパラメータ値の差の値に応じて行ってもよいし、比較部１２ａにより導出されたパラメータ値の差の値が所定の閾値を超える場合に行うようにしてもよい。
【０１１２】
また、この第３の実施の形態においては図１９〜図２１を用いてフロントカメラ５１により撮影された画像に基づいてフロントカメラ５１の基準となるパラメータ値と実際のパラメータ値との差を導出し、検出領域ＳＣの位置を範囲変更部１３ａが変更する処理について説明した。しかしながら、実際にキャリブレーション処理を行う際には、フロントカメラ５１を用いて画像の撮影を行わずに処理を行ってもよい。
【０１１３】
つまり、キャリブレーション部１４がキャリブレーション処理を行う際、基準のパラメータ値と、フロントカメラ５１の実際のパラメータ値とを比較して両者の差の値を比較部１２ａが導出するようにしてもよい。そして、両者の差の値に基づいて範囲変更部１３が撮影画像中の検出領域ＳＣの位置を異なる位置に変更し、変更した検出領域ＳＣ１の位置情報を不揮発性メモリ４０に領域データ４ｂとして記録するようにしてもよい。次に説明する処理説明では、フロントカメラ５１による撮影画像を用いずに検出領域の範囲変更を行う処理について記載する。
【０１１４】
＜３−３．処理フローチャート＞
図２２は、第３の実施の形態の画像処理装置１００ａの処理フローチャートである。画像処理装置１００ａはキャリブレーション部１４によるキャリブレーション処理に伴うフロントカメラ５１の設置に関する実際のパラメータ値を取得して（ステップＳ２０１）、ステップＳ２０２の処理に進む。
【０１１５】
ステップＳ２０２では、キャリブレーション部１４が不揮発性メモリ４０の車種別データ４ａを読み出す。つまり、フロントカメラ５１の基準となるパラメータ値を不揮発性メモリ４０から読み出して（ステップＳ２０２）、ステップＳ２０３の処理に進む。
【０１１６】
ステップＳ２０３では、基準のパラメータ値と実際のパラメータ値との差の値を比較部１２ａが導出して（ステップＳ２０３）、ステップＳ２０４の処理に進む。
【０１１７】
ステップＳ２０４では、基準のパラメータ値と実際のパラメータ値との差の値が所定の閾値を超えている場合（ステップＳ２０４がＹｅｓ）は、ステップＳ２０５の処理に進む。なお、基準のパラメータ値と実際のパラメータ値との差の値が所定の閾値を超えていない場合（ステップＳ２０４がＮｏ）の場合は、処理を終了する。
【０１１８】
ステップＳ２０５では、画像ｐｈ９の検出領域ＳＣの位置を検出領域ＳＣ１の位置に範囲変更部１３ａが変更する。
【０１１９】
＜第４の実施の形態＞
次に、第４の実施の形態について説明する。第４の実施の形態と第３の実施の形態とは構成および処理の一部が相違する。第４の実施の形態と第３の実施形態との相違点は、次のとおりである。第３の実施の形態は、フロントカメラ５１の設置に関する基準となるパラメータ値と、フロントカメラ５１の設置に関する実際のパラメータ値との差の値に基づいて物体の物体像の検出領域の範囲を変更する処理について説明した。これに対して、第４の実施の形態では、フロントカメラ５１の基準となるカメラの画角（以下、「基準の画角」ともいう。）とフロントカメラ５１の実際のカメラの画角（以下、「実際の画角」ともいう。）との差の値に基づいて物体の物体像の検出範囲を変更する処理を行う。以下では、相違点を中心に説明する。
【０１２０】
＜４−１．検出領域の範囲変更＞
図２３は、車両９の検出領域（図２４に示す検出領域ＳＤ）に対応する撮影範囲ｓｄを示す図である。フロントカメラ５１の画角αに対応する撮影範囲ｓａ内には角度θに対応する撮影範囲ｓｄが含まれている。撮影範囲ｓｄは、次に説明する撮影画像（図２４に示す撮影画像ｐｈ１０）中の物体の物体像を検出する検出領域ＳＤに対応している。
【０１２１】
図２４は撮影画像ｐｈ１０（以下、「画像ｐｈ１０」ともいう。）中の検出領域ＳＤを示す図である。画像ｐｈ１０の略中央には矩形の検出領域ＳＤが設けられている。検出領域ＳＤ内の物体の物体像は、図２１に示した撮影範囲ｓｄの範囲内に存在している。
【０１２２】
また、複数の画素の集合領域である画像ｐｈ１０は、例えば１画素が図２３のフロントカメラ５１の画角α（例えば、画角１９０度）のうち、画角の約３度の範囲に対応している。そして、図２４の検出領域ＳＤの左右方向（±ｘ方向）の全ての画素の角度合計が撮影範囲ｓｄの角度θとなる。このように、撮影範囲ｓｄの角度θに対応する撮影画像中の検出領域ＳＤの範囲の情報は、フロントカメラ５１の基準のパラメータ値として車種別データ４ａに記録されている。
【０１２３】
次に、車両９に搭載するカメラの画角αが異なる値の画角（画角β（例えば、画角１３０度））の場合について説明する。図２５は、車両９に設置するフロントカメラ５１を画角の異なるフロントカメラ５１１に変更した状態を示す図である。両方の画角の関係はα＞βである。フロントカメラが画角αから画角βのカメラに変更されたことに伴い、車両９ａに搭載されたフロントカメラ５１１の画角βに対応する撮影範囲ｓｂは、画角αに対応する撮影範囲ｓａよりも小さい領域となる。
【０１２４】
ここで、画角βのフロントカメラ５１１と画角αのフロントカメラ５１とは物体を検出する撮影範囲は同じ範囲（撮影範囲ｓｄ）であるが、撮影範囲に対応する検出領域の大きさは異なるものとなる。つまり、画角βのフロントカメラ５１１と画角αのフロントカメラ５１との撮影画像における検出領域の大きさを同じ大きさとすると、画角βのフロントカメラ５１１の検出領域に対応する撮影範囲は、図２５に示す角度θ１に対応する撮影範囲ｓｄ１の範囲となり、本来検出対象とすべき角度θに対応する検出領域の範囲である撮影範囲ｓｄのよりも狭い範囲となる。なお、角度θとθ１との関係はθ＞θ１である。
【０１２５】
図２６は、画角βのフロントカメラ５１１の撮影画像ｐｈ１１（以下、「画像ｐｈ１１」ともいう。）の検出領域ＳＤ１を示す図である。図２６の検出領域ＳＤ１と図２４の検出領域ＳＤは撮影画像中における領域は同じ大きさである。ここで、検出領域ＳＤ１と検出領域ＳＤとの違いは、撮影画像中の±ｘ方向の１画素における角度の値である。つまり、図２４の画像ｐｈ１０の検出領域ＳＤでは、例えば１画素に相当する画素ＰＡの対応角度が約３度であったが、図２６の画像ｐｈ１１の検出領域ＳＤ１では、１画素に相当する画素ＳＢの対応角度が約１．８度となっている。これにより、撮影画像中の検出領域の大きさが同じ大きさであったとしても、実際の撮影範囲は図２３に示す撮影範囲ｓｄと図２５に示す撮影範囲ｓｄ１との差が生じる。
【０１２６】
そのため、車両９のキャリブレーション部１４がキャリブレーション処理を行う際に、フロントカメラ５１のカメラの画角について、基準の画角と実際の画角との間の差の値を比較部１２ａが導出して、検出領域ＳＤの大きさを変更する。なお、検出領域ＳＤの範囲変更の実施は、上述のように比較部１２ａにより導出された基準の画角と実際の画角との差の値に応じて行ってもよいし、比較部１２ａにより導出された基準の画角と実際の画角との差の値が所定の閾値を超える場合に行うようにしてもよい。
【０１２７】
図２７は、検出領域ＳＤ１の大きさを変更する処理を示す図である。画像ｐｈ１１の検出領域ＳＤの１大きさを範囲変更部１３ａが検出領域ＳＤ１よりも領域の面積が大きい検出領域ＳＤ２の大きさに変更する。つまり、検出領域ＳＤ１の左右方向（±ｘ方向）の領域を拡大する。変更後の検出領域ＳＤ２は、図２５に示した撮影領域ｓｄ１よりも範囲の広い図２３に示した撮影範囲ｓｄに対応した領域となる。これにより、カメラの設定パラメータに応じた検出領域の大きさを設定でき、検出対象とすべき物体の物体像を確実に検出できる。
【０１２８】
＜４−２．処理フローチャート＞
図２８は、第４の実施の形態の画像処理装置１００ａの処理フローチャートである。図２８に示す第４の実施の形態の処理フローチャートは、第３の実施の形態の処理フローチャートと一部が相違し、その他の部分は同一の処理である。以下では相違点を中心に説明する。
【０１２９】
画像処理装置１００ａはキャリブレーション部１４によるキャリブレーション処理に伴うフロントカメラ５１１の設置パラメータ値を取得する。つまり、フロントカメラ５１１の実際の画角の値を画像処理装置１００ａが取得して（ステップＳ２０１ａ）、ステップＳ２０２ａの処理に進む。
【０１３０】
ステップＳ２０２ａでは、キャリブレーション部１４が不揮発性メモリ４０の車種別データ４ａを読み出す。つまり、フロントカメラ５１１の基準となる画角の値の情報を読み出して（ステップＳ２０２）、ステップＳ２０３ａの処理に進む。
【０１３１】
ステップＳ２０３ａでは、基準の画角と実際の画角との差の値を比較部１２ａが導出して（ステップＳ２０３ａ）、ステップＳ２０４ａの処理に進む。
【０１３２】
ステップＳ２０４ａでは、基準の画角と実際の画角との差の値が所定の閾値を超えている場合（ステップＳ２０４がＹｅｓ）は、ステップＳ２０５の処理に進む。なお、フロントカメラ５１１の基準の画角と実際の画角との差の値が所定の閾値を超えていない場合（ステップＳ２０４ａがＮｏ）の場合は、処理を終了する。
【０１３３】
ステップＳ２０５ａでは、撮影範囲ｓｄ１に対応した検出領域ＳＤ１の大きさを撮影範囲ｓｄに対応した検出領域ＳＤ２の大きさに範囲変更部１３ａが変更する。
【０１３４】
＜変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。なお、上記実施の形態で説明した形態、および、以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【０１３５】
上記実施の形態では、主にフロントカメラ５１、および、バックカメラ５２における撮影画像の検出領域の範囲変更について述べたが、フロントカメラ５１、および、バックカメラ５２以外の左サイドカメラ５３、および、右サイドカメラ５４についても同様に検出領域の範囲を変更する処理が可能である。また、フロントカメラ５１を例とした実施の形態についてバックカメラ５２に置き換えて適用することも可能であり、バックカメラ５２を例とした実施の形態についてフロントカメラ５１に置き換えて適用することも可能である。
【０１３６】
また、上記第１の実施の形態では画像ｐｈ１１に向かって右側（＋ｘ側）の消失点から出現して車両９に接近する物体の物体像の検出について説明したが、画像ｐｈ１１に向かって左側（−ｘ側）の消失点から出現して車両９に接近する物体の物体像を検出するようにしてもよい。つまり、画像ｐｈ１１の検出領域ＳＡと略同じ大きさの検出領域を撮影画像中の消失点を含む領域に設定して物体検出部３２が物体像を検出する処理を行うようにしてもよい。
【０１３７】
また、第１の実施の形態、および、第２の実施の形態では、物体検出部３２が物体像を検出する方法としてエッジ検出を主として説明したが、それ以外の方法（例えば、パターンマッチング等）で物体像を検出してもよい。
【０１３８】
また、第１の実施の形態、および、第２の実施の形態では、カメラ５０の光軸の基準の方向は車両９の車体が直進方向（例えば、−Ｙ方向）に走行、および、停止のいずれかの状態にある場合を前提としていた。そのため撮影画像に基づいてカメラ５０の光軸の実際の方向を示す情報を導出する場合も、車両９が直進方向に走行および停止のいずれかの状態にある場合に実際の方向を示す情報を導出することとなる。これに対して、車両が直進方向に走行、および、停止のいずれかの状態にない場合は、ジャイロセンサ８２および操舵角センサ８３の少なくとも一つのセンサの情報から車両９のカメラ５０の光軸の基準の方向からのずれ量を制御部１が導出する。そして、当該ずれ量に基づいてカメラ５０の光軸の基準の方向を補正し、カメラ５０の補正した光軸の基準の方向とカメラ５０の光軸の実際の方向との差を比較部１２が導出して、検出領域の範囲を範囲変更部１３が変更するようにしてもよい。
【０１３９】
また、上記第１の実施の形態および第２の実施の形態では、時間的に連続する画像が２つの場合について述べたが、時間的に連続する画像が３つ以上の場合についても、物体の物体像の移動軌跡および消失点の少なくとも一つを方向導出部３３が導出できる。
【０１４０】
また、上記第１の実施の形態では、方向導出部３３がカメラ５０の光軸の方向をカメラ５０が撮影した画像に基づいて導出する。そして、比較部１２は方向導出部３３により導出されたカメラ５０の光軸の実際の方向と、不揮発性メモリ４０に記録された車種別データ４ａに含まれるカメラ５０の光軸の基準の方向との差を導出する処理を行って、検出領域ＳＡの範囲の変更を範囲変更部１３が行う。このように、検出領域ＳＡの範囲の変更は、カメラ５０の光軸のズレ量を検出し、カメラ５０の光軸のズレ量に応じて、範囲変更部１３が検出領域ＳＡの範囲を変更するようにしてもよい。
【０１４１】
また、上記第４の実施の形態では、フロントカメラ５１の画角が基準とする画角よりも狭い角度となった場合に、当該画角に応じて検出領域を大きくすることについて説明したが、フロントカメラ５１の画角が基準とする画角よりも広い角度となった場合に、当該画角に応じて検出領域を小さくする処理を行ってもよい。
【０１４２】
また、上記第４の実施の形態では、フロントカメラ５１の画角に応じて検出領域の大きさを変更する処理について述べたが、フロントカメラ５１の画角以外にもフロントカメラ５１のレンズの歪みの程度に応じて、検出領域の大きさを変更する処理を行ってもよい。
【符号の説明】
【０１４３】
１・・・・・制御部
５・・・・・撮影部
１０・・・・本体部
１１・・・・画像制御部
１２・・・・比較部
１３・・・・範囲変更部
【特許請求の範囲】
【請求項１】
車両に搭載されたカメラの撮影画像を取得する取得手段と、
前記撮影画像中の検出領域に存在する物体の物体像を検出する検出手段と、
前記カメラの光軸の基準の方向を示す第１情報を記憶する記憶手段と、
前記撮影画像に基づいて、前記カメラの光軸の実際の方向を示す第２情報を導出する導出手段と、
前記第１情報と前記第２情報との差に応じて、前記撮影画像中において前記検出領域とする範囲を変更する変更手段と、
を備えることを特徴とする物体検出装置。
【請求項２】
請求項１に記載の物体検出装置において、
前記第１情報及び前記第２情報は、時間的に連続して取得される複数の前記撮影画像において前記物体像が移動する軌跡の位置であることを特徴とする物体検出装置。
【請求項３】
請求項１に記載の物体検出装置において、
前記第１情報及び前記第２情報は、前記撮影画像における消失点の位置であることを特徴とする物体検出装置。
【請求項４】
車両に搭載されたカメラからの撮影画像を取得する取得手段と、
前記撮影画像中の検出領域に存在する物体の物体像を検出する検出手段と、
前記カメラの基準の第１パラメータと前記カメラの実際の第２パラメータとの差に応じて、前記撮影画像中において前記検出領域とする範囲を変更する変更手段と、
を備えることを特徴とする物体検出装置。
【請求項５】
請求項４に記載の物体検出装置において、
前記第１パラメータ及び前記第２パラメータは、前記カメラの光軸の方向であり、
前記変更手段は、前記検出領域の位置を変更することを特徴とする物体検出装置。
【請求項６】
請求項４に記載の物体検出装置において、
前記第１パラメータ及び前記第２パラメータは、前記カメラの画角であり、
前記変更手段は、前記検出領域の大きさを変更することを特徴とする物体検出装置。
【請求項７】
（ａ）車両に搭載されたカメラの撮影画像を取得する工程と、
（ｂ）前記撮影画像中の検出領域に存在する物体の物体像を検出する工程と、
（ｃ）前記カメラの光軸の基準の方向を示す第１情報を記憶する手段から前記第１情報を取得する工程と、
（ｄ）前記撮影画像に基づいて、前記カメラの光軸の実際の方向を示す第２情報を導出する工程と、
（ｅ）前記第１情報と前記第２情報との差に応じて、前記撮影画像中において前記検出領域とする範囲を変更する工程と、
を備えることを特徴とする物体検出方法。
【請求項８】
（ａ）車両に搭載されたカメラの撮影画像を取得する工程と、
（ｂ）前記撮影画像中の検出領域に存在する物体の物体像を検出する工程と、
（ｃ）前記カメラの基準の第１パラメータと前記カメラの実際の第２パラメータとの差に応じて、前記撮影画像中において前記検出領域とする範囲を変更する工程と、
を有することを特徴とする物体検出方法。
【請求項９】
車両に搭載されたカメラの撮影画像を取得する取得手段と、
前記撮影画像中の検出領域に存在する物体の物体像を検出する検出手段と、
前記カメラの光軸のズレ量を検出する光軸ズレ検出手段と、
前記光軸のズレ量に応じて、前記撮影画像中において前記検出領域とする範囲を変更する変更手段と、
を備えることを特徴とする物体検出装置。
【請求項１０】
請求項９に記載の物体検出装置において、
前記光軸ズレ検出手段は、
前記カメラの光軸の基準の方向を示す第１情報を記憶する記憶手段と、
前記撮影画像に基づいて、前記カメラの光軸の実際の方向を示す第２情報を導出する導出手段と、
前記第１情報と前記第２情報との差を算出する算出手段と、
を備えることを特徴とする物体検出装置。
【請求項１】
車両に搭載されたカメラの撮影画像を取得する取得手段と、
前記撮影画像中の検出領域に存在する物体の物体像を検出する検出手段と、
前記カメラの光軸の基準の方向を示す第１情報を記憶する記憶手段と、
前記撮影画像に基づいて、前記カメラの光軸の実際の方向を示す第２情報を導出する導出手段と、
前記第１情報と前記第２情報との差に応じて、前記撮影画像中において前記検出領域とする範囲を変更する変更手段と、
を備えることを特徴とする物体検出装置。
【請求項２】
請求項１に記載の物体検出装置において、
前記第１情報及び前記第２情報は、時間的に連続して取得される複数の前記撮影画像において前記物体像が移動する軌跡の位置であることを特徴とする物体検出装置。
【請求項３】
請求項１に記載の物体検出装置において、
前記第１情報及び前記第２情報は、前記撮影画像における消失点の位置であることを特徴とする物体検出装置。
【請求項４】
車両に搭載されたカメラからの撮影画像を取得する取得手段と、
前記撮影画像中の検出領域に存在する物体の物体像を検出する検出手段と、
前記カメラの基準の第１パラメータと前記カメラの実際の第２パラメータとの差に応じて、前記撮影画像中において前記検出領域とする範囲を変更する変更手段と、
を備えることを特徴とする物体検出装置。
【請求項５】
請求項４に記載の物体検出装置において、
前記第１パラメータ及び前記第２パラメータは、前記カメラの光軸の方向であり、
前記変更手段は、前記検出領域の位置を変更することを特徴とする物体検出装置。
【請求項６】
請求項４に記載の物体検出装置において、
前記第１パラメータ及び前記第２パラメータは、前記カメラの画角であり、
前記変更手段は、前記検出領域の大きさを変更することを特徴とする物体検出装置。
【請求項７】
（ａ）車両に搭載されたカメラの撮影画像を取得する工程と、
（ｂ）前記撮影画像中の検出領域に存在する物体の物体像を検出する工程と、
（ｃ）前記カメラの光軸の基準の方向を示す第１情報を記憶する手段から前記第１情報を取得する工程と、
（ｄ）前記撮影画像に基づいて、前記カメラの光軸の実際の方向を示す第２情報を導出する工程と、
（ｅ）前記第１情報と前記第２情報との差に応じて、前記撮影画像中において前記検出領域とする範囲を変更する工程と、
を備えることを特徴とする物体検出方法。
【請求項８】
（ａ）車両に搭載されたカメラの撮影画像を取得する工程と、
（ｂ）前記撮影画像中の検出領域に存在する物体の物体像を検出する工程と、
（ｃ）前記カメラの基準の第１パラメータと前記カメラの実際の第２パラメータとの差に応じて、前記撮影画像中において前記検出領域とする範囲を変更する工程と、
を有することを特徴とする物体検出方法。
【請求項９】
車両に搭載されたカメラの撮影画像を取得する取得手段と、
前記撮影画像中の検出領域に存在する物体の物体像を検出する検出手段と、
前記カメラの光軸のズレ量を検出する光軸ズレ検出手段と、
前記光軸のズレ量に応じて、前記撮影画像中において前記検出領域とする範囲を変更する変更手段と、
を備えることを特徴とする物体検出装置。
【請求項１０】
請求項９に記載の物体検出装置において、
前記光軸ズレ検出手段は、
前記カメラの光軸の基準の方向を示す第１情報を記憶する記憶手段と、
前記撮影画像に基づいて、前記カメラの光軸の実際の方向を示す第２情報を導出する導出手段と、
前記第１情報と前記第２情報との差を算出する算出手段と、
を備えることを特徴とする物体検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【公開番号】特開２０１２−１６８８４５（Ｐ２０１２−１６８８４５Ａ）
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願番号】特願２０１１−３０６２９（Ｐ２０１１−３０６２９）
【出願日】平成２３年２月１６日（２０１１．２．１６）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願日】平成２３年２月１６日（２０１１．２．１６）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]