車載センサの補正装置および方法
【課題】レーダやカメラといった異なる種類のセンサを併用して周辺物の位置を検出するシステムの出荷後であっても、何れかのセンサに発生した位置ずれを適切に補正可能な「車載センサの補正装置および方法」を提供する。
【解決手段】カメラ１の撮影画像に対して画像認識処理を行うことで、撮影画像内における周辺車両のピクセル位置を検出する画像処理部２と、レーダ３により検出された周辺車両の位置を撮影画像内におけるピクセル位置に換算する情報処理部４と、両ピクセル位置の差分がなくなるような補正量を求め、この補正量に従ってカメラ１の向きを補正する補正処理部５とを設け、車両の走行中におけるレーダ３の検出結果に合わせてカメラ１の向きを補正することにより、システムの出荷後であっても、任意のタイミングで、カメラ１に発生した位置ずれがなくなるようにカメラ１の向きを適切に調整できるようにする。
【解決手段】カメラ１の撮影画像に対して画像認識処理を行うことで、撮影画像内における周辺車両のピクセル位置を検出する画像処理部２と、レーダ３により検出された周辺車両の位置を撮影画像内におけるピクセル位置に換算する情報処理部４と、両ピクセル位置の差分がなくなるような補正量を求め、この補正量に従ってカメラ１の向きを補正する補正処理部５とを設け、車両の走行中におけるレーダ３の検出結果に合わせてカメラ１の向きを補正することにより、システムの出荷後であっても、任意のタイミングで、カメラ１に発生した位置ずれがなくなるようにカメラ１の向きを適切に調整できるようにする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載センサの補正装置および方法に関し、特に、車載センサが正しい設置状態からずれた場合にそのずれがなくなるように車載センサの状態を調整する装置および方法に用いて好適なものである。
【背景技術】
【０００２】
近年、車両にカメラやレーダを搭載して自車両の周辺の物体を検出するシステムが提供されている。車載レーダを用いる方法では、車載レーダから例えばミリ波などの電波を出射するとともに、周辺物から反射してくる電波を受信する。そして、ミリ波の出射から受信までの伝搬時間やドップラー効果によって生じる周波数差などに基づいて、自車両から周辺物までの距離、方位などを測定する。
【０００３】
また、車載カメラを用いる方法では、カメラで撮影された画像に対して画像認識処理を行うことによって、撮影画像内における周辺物のピクセル位置を特定する。そして、カメラの設置位置、角度、レンズの画角といった情報を利用して、撮影画像内における周辺物のピクセル位置を実際の位置（自車両から周辺物までの距離、方位）に変換する。
【０００４】
車載レーダあるいは車載カメラを単独で使用することも可能であるが、その両方を使用し、異なる種類のセンサで検出した周辺物の位置情報を併用することにより、物体の位置の検出精度を高めることができる。このように、レーダとカメラといった複数種類のセンサからの位置情報を組み合わせて利用するシステムにおいては、各センサで検出した位置情報が適切に関連付けられる必要がある。
【０００５】
ところが、何からの原因でセンサの設置位置がずれた場合、各センサで検出した周辺物の位置情報の整合が取れなくなってしまう。そのため、どちらかのセンサが位置ずれを起こすと、異なる種類のセンサを併用していても、物体の位置の検出精度を高めることができなくなってしまう。したがって、センサが位置ずれを起こした場合には、その位置ずれがなくなるようにセンサの位置を調整する必要がある。
【０００６】
なお、車載レーダから発せられた光をレーザポインタ反射板で反射させ、レーザポインタ反射板に向けて車載カメラが撮影した映像をもとに、車載レーダの軸調整が完了した場合に光点が位置すべき点、すなわち軸調整前の光点の移動先となるレーザ調整目標点を計算することにより、車載レーダの取り付け方向を調整するようにした技術が存在する（例えば、特許文献１参照）。
【特許文献１】特開２００３−３１５４４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１に記載の技術は、メーカによる出荷時の調整を主眼としたものであり、出荷後にセンサの位置ずれが発生した場合に、その位置ずれがなくなるようにセンサの位置を適切に調整することはできないという問題があった。
【０００８】
本発明は、このような問題を解決するために成されたものであり、レーダやカメラといった異なる種類のセンサを併用して周辺物の位置を検出するシステムにおいて、システムの出荷後であっても、何れかのセンサに発生した位置ずれがなくなるようにセンサの位置（向き）を適切に調整できるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
上記した課題を解決するために、本発明では、カメラの撮影画像に対して画像認識処理を行うことで、撮影画像内における周辺物のピクセル位置を検出するとともに、レーダにより検出された周辺物の位置を撮影画像内におけるピクセル位置に換算し、両ピクセル位置の差分がなくなるような補正量を求め、この補正量に従ってレーダまたはカメラの向きを補正する。
【発明の効果】
【００１０】
上記のように構成した本発明によれば、レーダやカメラといった異なる種類の車載センサを併用して周辺物の位置を検出するシステムにおいて、例えば車両の走行中に実際にカメラによって撮影される画像の認識結果として得られる周辺物の位置と、車両の走行中に実際にレーダによって検出される周辺物の位置との差分から、レーダまたはカメラの補正量が求められることとなるので、システムの出荷後であっても、任意のタイミングで、何れかのセンサに発生した位置ずれがなくなるようにセンサの向きを適切に調整することができるようになる。
【発明を実施するための最良の形態】
【００１１】
（第１の実施形態）
以下、本発明の第１の実施形態を図面に基づいて説明する。図１は、第１の実施形態による車載センサの補正装置の機能構成例を示すブロック図である。図１において、１はカメラであり、例えば車両の後部に設置され、自車両の周辺を撮影する。自車両の後方に周辺車両がいれば、その周辺車両がカメラ１により撮影される。
【００１２】
２は画像処理部であり、カメラ１で撮影された画像に対して画像認識処理を行うことにより、撮影画像内における周辺車両のピクセル位置（これを「第１の位置」と称する）を検出する。また、画像処理部２は、カメラ１の設置位置、設置角度、レンズの画角といった情報を利用して、撮影画像内における周辺車両のピクセル位置を、周辺車両の実際の位置（自車両から周辺車両までの距離、方位）に変換する処理を行う。この変換処理は、公知の手法を適用して行うことが可能である。
【００１３】
３はレーダであり、これも車両の後部に設置されている。このレーダ３は、ミリ波等の電波を自車両の後方に出射するとともに、後方から反射して返ってくるミリ波を受信して、自車両の後方にいる周辺車両の位置（自車両からの距離および方向）や自車両との相対速度を検出する。なお、レーダ３としては、ミリ波レーダのほかに赤外線レーダあるいはその他のレーダを用いても良い。
【００１４】
４は情報処理部であり、レーダ３により検出された周辺車両の位置を、カメラ１により撮影された画像内におけるピクセル位置（これを「第２の位置」と称する）に換算する。具体的には、上述の画像処理部２が撮影画像内の周辺車両のピクセル位置を自車両から見た実際の位置に変換する演算とは逆の演算を行うことにより、レーダ３により検出された周辺車両の実際の位置を撮影画像内におけるピクセル位置に換算することが可能である。
【００１５】
５は補正処理部であり、画像処理部２により検出された第１の位置と、情報処理部４により検出された第２の位置との差分を検出し、その差分がなくなるようにカメラ１またはレーダ３の向きを補正する。本実施形態では、カメラ１の向きを補正するものとして説明する。すなわち、本実施形態のカメラ１は、例えばパン・チルト機能を搭載しており、カメラ１のレンズを水平方向および垂直方向に回転できるように構成されている。補正処理部５は、このカメラ１のパン・チルト機能を利用して、カメラ１の撮影方向を補正する。
【００１６】
なお、ここではカメラ１のレンズを動かす例について説明したが、これに限定されない。例えば、カメラ１自身をモータ駆動可能な雲台等に載せて、補正処理部５が当該雲台等のモータを駆動することにより、カメラ１自身を動かすようにしても良い。要は、カメラ１の撮影方向を変えられる手段であれば、何れも適用することが可能である。
【００１７】
ここで、補正処理部５の詳細について説明する。図１に示すように、補正処理部５は、表示制御部５ａと、操作情報入力部５ｂと、差分検出部５ｃと、補正制御部５ｄと、判定部５ｅとを備えている。表示制御部５ａは、カメラ１の撮影画像から検出された周辺車両の第１の位置と、レーダ３の受信情報から検出された周辺車両の第２の位置とを、表示装置１０の画面上で互いに識別可能に表示する。
【００１８】
図２および図３は、表示装置１０の画面表示例を示す図である。図２および図３において、太い実線で示す枠線２１ａ，２１ｂ，２１ｃ，３１ａ，３１ｂ，３１ｃは第１の位置を表すマークであり、黒い丸２２ａ，２２ｂ，２２ｃ，３２ａ，３２ｂは第２の位置を表すマークである。カメラ１に位置ずれがなく、カメラ１とレーダ３で検出した周辺車両の位置情報が適切に関連付けられている場合には、図２のように第１の位置２１ａ，２１ｂ，２１ｃと第２の位置２２ａ，２２ｂ，２２ｃとの整合が取れており、両位置は一致している。これに対して、何らかの原因によりカメラ１の位置（撮影方向）が正しい設定位置からずれると、図３のように第１の位置３１ａ，３１ｂ，３１ｃと第２の位置３２ａ，３２ｂとの整合が取れなくなる。
【００１９】
操作情報入力部５ｂは、表示制御部５ａにより画面上に表示された第１の位置と第２の位置とを関連付けるためのユーザによる操作を受け付ける。すなわち、図３のように第１の位置３１ａ，３１ｂ，３１ｃと第２の位置３２ａ，３２ｂとが一致していないときは、ユーザは、リモコンやタッチパネル等で構成される操作部１１を操作して、ある１つの第１の位置を選択するとともに、ある１つの第２の位置を選択することにより、１つの第１の位置と１つの第２の位置とを関連付ける。
【００２０】
例えば、操作部１１がリモコンで構成されている場合には、第１の位置３１ａの上にカーソルを移動させて決定ボタンを押した後、第２の位置３２ａの上にカーソルを移動させて決定ボタンを押すことにより、第１の位置３１ａと第２の位置３２ａとを関連付ける。また、操作部１１がタッチパネルで構成されているときは、第１の位置３１ａをタッチした後、第２の位置３２ａをタッチすることにより、第１の位置３１ａと第２の位置３２ａとを関連付ける。
【００２１】
操作情報入力部５ｂは、このような操作部１１の操作を通じた第１の位置と第２の位置との関連付け情報（第１の位置３１ａ，３１ｂ，３１ｃおよび第２の位置３２ａ，３２ｂの中でどれとどれが選択されたかを示す情報）を入力する。差分検出部５ｃは、操作情報入力部５ｂにより受け付けられた第１の位置と第２の位置との関連付け情報に基づいて、関連付けられた第１の位置と第２の位置との差分を検出する。
【００２２】
ここで、操作情報入力部５ｂは、図３のように第１の位置３１ａ，３１ｂ，３１ｃおよび第２の位置３２ａ，３２ｂがそれぞれ複数存在する場合に、関連付けられた１組の第１の位置と第２の位置との差分だけ第１の位置３１ａ，３１ｂ，３１ｃの全てまたは第２の位置３２ａ，３２ｂの全てを移動させると、複数の第１の位置３１ａ，３１ｂ，３１ｃと複数の第２の位置３２ａ，３２ｂとが一致する場合の関連付けのみを受け付ける。
【００２３】
例えば、上述のように第１の位置３１ａと第２の位置３２ａとを操作部１１の操作により関連付けた場合、その差分の量だけ第１の位置３１ａ，３１ｂ，３１ｃを移動させると、第２の位置３２ａ，３２ｂの全てが第１の位置３１ａ，３１ｂと一致する。操作情報入力部５ｂは、このような関連付けは受け付ける。ところが、第１の位置３１ｂと第２の位置３２ａとを操作部１１の操作により関連付けた場合、その差分の量だけ第１の位置３１ａ，３１ｂ，３１ｃを移動させると、第１の位置３１ｂと第２の位置３２ａとは一致するが、その他の位置が一致しなくなる。操作情報入力部５ｂは、このような関連付けは受け付けない。
【００２４】
補正制御部５ｄは、差分検出部５ｃにより検出された差分に基づいて、カメラ１の向きの補正量を算出し、算出した補正量の分だけカメラ１の向きを補正するように制御する。この場合の補正量は、例えば、カメラ１（またはそのレンズ）を水平方向にどれだけ回転させ、垂直方向にどれだけ回転させるかを表した情報である。補正制御部５ｄは、例えばカメラ１のパン・チルト機能を利用して、このような補正量に従ってカメラ１の撮影方向を補正する。あるいは、カメラ１が載せられている雲台のモータを駆動して、カメラ１を動かすことによって撮影方向を補正する。
【００２５】
以上のようなカメラ位置の補正処理は、例えば所定の条件が満たされたときにのみ行うようにすることが可能である。例えば、判定部５ｅは、地図データベース（ＤＢ）１２に格納されている地図データに基づいて、現在走行中の道路がある程度長い直線区間（例えば、１００メートル以上の直線区間）であるか否かを判定する。そして、直線区間であると判断された場合にのみカメラ１の位置ずれ補正を行うようにする。ここで、地図ＤＢ１２としては、ナビゲーション装置が備える公知のものを利用することが可能である。
【００２６】
判定部５ｅは、カメラ１（画像認識部２による画像認識の結果）およびレーダ３の双方によって自車両のほぼ真後ろに周辺車両の存在が検出されているか否かを更に判定するようにしても良い。この場合、カメラ１とレーダ３の双方によって自車両のほぼ真後ろに周辺車両の存在が検出されている場合は、カメラ１とレーダ３で検出した周辺車両の位置情報が適切に関連付けられていて、カメラ１に位置ずれがないと判断できるので、補正処理は行わない。一方、レーダ３によって自車両のほぼ真後ろに周辺車両の存在が検出されているにもかかわらず、カメラ１によって自車両のほぼ真後ろに周辺車両の存在が検出されていない場合は、カメラ１とレーダ３で検出した周辺車両の位置情報が適切に関連付けられておらず、カメラ１に位置ずれが発生していると判断できるので、補正処理を行う。
【００２７】
次に、上記のように構成した本実施形態による車載センサの補正装置の動作を説明する。図４は、第１の実施形態による車載センサの補正装置の動作例を示すフローチャートである。図４において、まず判定部５ｅは、地図ＤＢ１２に格納されている地図データに基づいて、現在走行中の道路がある程度長い直線区間であるか否かを判定する（ステップＳ１）。直線区間でない場合はステップＳ１に戻る。
【００２８】
現在走行中の道路が直線区間の場合は、判定部５ｅは、レーダ３によって自車両のほぼ真後ろに周辺車両の存在が検出されているか否かを判定する（ステップＳ２）。ここで、レーダ３によって自車両のほぼ真後ろに周辺車両の存在が検出されていない場合は、ステップＳ１に戻る。一方、レーダ３によって自車両のほぼ真後ろに周辺車両の存在が検出されている場合は、判定部５ｅは更に、カメラ１によって自車両のほぼ真後ろに周辺車両の存在が検出されているか否かを判定する（ステップＳ３）。
【００２９】
ここで、カメラ１によって自車両のほぼ真後ろに周辺車両の存在が検出されている場合は、カメラ１とレーダ３で検出した周辺車両の位置情報が適切に関連付けられていて、カメラ１に位置ずれがないと判断できるので、ステップＳ１に戻る。一方、カメラ１によって自車両のほぼ真後ろに周辺車両の存在が検出されていない場合は、カメラ１とレーダ３で検出した周辺車両の位置情報が適切に関連付けられておらず、カメラ１に位置ずれが発生していると判断できるので、ステップＳ４以降の補正処理を行う。
【００３０】
補正処理においてはまず、カメラ１で撮影された画像に対して画像処理部２により画像認識処理を行うことで、撮影画像内における周辺車両のピクセル位置を検出し、それを表す第１の位置情報を図示しないメモリに保存する（ステップＳ４）。次に、レーダ１により周辺車両の位置を検出し、それを情報処理部４により撮影画像内におけるピクセル位置に換算する。そして、そのピクセル位置を表す第２の位置情報を図示しないメモリに保存する（ステップＳ５）。
【００３１】
そして、表示制御部５ａは、ステップＳ４で図示しないメモリに格納された第１の位置を表すマーク３１ａ，３１ｂ，３１ｃと、ステップＳ５で図示しないメモリに格納された第２の位置を表すマーク３２ａ，３２ｂとを表示装置１０の画面上に表示する（ステップＳ６）。この表示を見てユーザは、操作部１１を操作して、第１の位置３１ａ，３１ｂ，３１ｃの中から１つを選択するとともに（ステップＳ７）、第２の位置３２ａ，３２ｂの中から１つを選択する（ステップＳ８）。これにより、１組の第１の位置と第２の位置とを関連付ける。
【００３２】
操作情報入力部５ｂは、このような関連付け情報を入力する。差分検出部５ｃは、関連付けられた１組の第１の位置と第２の位置との差分を検出する。そして、操作情報入力部５ｂは、その差分だけ第１の位置３１ａ，３１ｂ，３１ｃを移動させたときに、関連付けられた１組以外の第１の位置と第２の位置とが一致するか否かを判定する（ステップＳ９）。一致しない場合は、そのような関連付けは受け付けず、ステップＳ７の処理に戻る。
【００３３】
一方、１組以外の第１の位置と第２の位置も一致した場合は、補正制御部５ｄは、差分検出部５ｃにより検出された差分に基づいて、カメラ１の向きの補正量を算出し（ステップＳ１０）、算出した補正量の分だけカメラ１の向きを補正するように制御する（ステップＳ１１）。その後、再びステップＳ１に戻る。
【００３４】
以上詳しく説明したように、第１の実施形態では、カメラ１の撮影画像に対して画像認識処理を行うことで、撮影画像内における周辺車両のピクセル位置を検出するとともに、レーダ３により検出された周辺車両の位置を撮影画像内におけるピクセル位置に換算し、両ピクセル位置の差分がなくなるような補正量を求め、この補正量に従ってカメラ１の向きを補正するようにしている。
【００３５】
このような構成により、車両の走行中に実際にカメラ１によって撮影される周辺車両の位置とレーダ３によって検出される周辺車両の位置との差分から、カメラ１の補正量を求めることができる。これにより、システムの出荷後であっても、任意のタイミングで、カメラ１に発生した位置ずれがなくなるように、レーダ３の検出結果に合わせてカメラ１の向きを適切に調整することができるようになる。
【００３６】
（第２の実施形態）
次に、本発明の第２の実施形態を図面に基づいて説明する。図５は、第２の実施形態による車載センサの補正装置の機能構成例を示すブロック図である。なお、この図５において、図１に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。
【００３７】
図５に示すように、第２の実施形態では、図１に示した補正処理部５の代わりに補正処理部５５を備えている。補正処理部５５は、差分検出部５５ａと補正制御部５ｄと判定部５ｅとを備えている。また、第２の実施形態において、表示装置１０および操作部１１は、カメラ１の補正処理のためには必要でない。上述した第１の実施形態は、１組の第１の位置と第２の位置との関連付けをユーザが操作部１１を操作することによって行っていた。これに対して、第２の実施形態では、この関連付けを補正処理部５５が自動的に行うものである。
【００３８】
すなわち、差分検出部５５ａは、画像処理部２により検出された１つ以上の第１の位置の中から１つの第１の位置を選択するとともに、情報処理部４により検出された１つ以上の第２の位置の中から１つの第２の位置を選択することで、それら選択した第１の位置と第２の位置とを関連付ける。そして、関連付けた１組の第１の位置と第２の位置との差分を検出し、その差分だけ第１の位置の全てを移動させて、１つ以上の第１の位置と１つ以上の第２の位置とが一致するか否かを判定する。一致しなければ、関連付ける第１の位置と第２の位置との組み合わせを変更し、同様の処理を行う。そして、１つ以上の第１の位置と１つ以上の第２の位置とが一致した場合の差分を採用し、補正制御部５ｄに出力する。
【００３９】
以上のように構成した第２の実施形態による車載センサの補正装置の動作をフローチャートで表すと、図４とほぼ同様となる。ただし、第２の実施形態において、ステップＳ６の表示処理は不要である。また、ステップＳ７，Ｓ８の処理は、ユーザによる操作部１１の操作を通じて行うのではなく、差分検出部５５ａが自動的に行う。
【００４０】
なお、上記第１および第２の実施形態では、第１の位置と第２の位置との差分からカメラ１の補正量を求め、その補正量に従ってカメラ１の向きを補正する例について説明したが、これに限定されない。これとは逆に、第１の位置と第２の位置との差分からレーダ３の補正量を求め、その補正量に従ってレーダ３の向きを補正するようにしても良い。
【００４１】
例えば、レーダ３がバンパー等の内部に納まっている場合には、外部からの影響を受けにくく、レーダ３の位置ずれは起こりにくい。これに対して、カメラ１は少なくともレンズが外に出ている必要があるので、外部からの人の接触等により位置ずれを起こすことがある。この場合には、レーダ３の検出結果に合わせてカメラ１の向きを補正するのが有効である。
【００４２】
ただし、レーダ３の設置状態によっては、レーダ３も外部からの影響を受けて位置ずれを起こすことが考えられる。この場合には、カメラ１の撮影画像に対する画像認識処理の結果に合わせてレーダ３の向きを補正するのが有効である。
【００４３】
また、上記第１および第２の実施形態では、補正処理部５，５５がカメラ１の補正量を求め、カメラ１の向きを自動的に補正する例について説明したが、これに限定されない。例えば、画像処理部２により検出された第１の位置および情報処理部４により検出された第２の位置の差分を検出し、その差分またはその差分から算出したカメラ１の向きの補正量を表示装置１０の画面上に表示するようにしても良い。この場合、ユーザは、画面上に表示された差分または補正量を参考にして、カメラ１の向きを手動で補正する。このような構成をとる場合には、カメラ１は必ずしもパン・チルト機能を搭載している必要はなく、また、カメラ１をモータ駆動可能な雲台等に載せておく必要もない。
【００４４】
また、上記第１および第２の実施形態では、自車両の後部にカメラ１とレーダ３を設置する例について説明しているが、これに限定されない。例えば、自車両の前方あるいは側方にカメラ１とレーダ３を設定した場合にも、本発明を適用することが可能である。
【００４５】
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【産業上の利用可能性】
【００４６】
本発明は、車載センサが正しい位置からずれた場合にその位置ずれがなくなるように車載センサの位置を調整する装置および方法に有用である。
【図面の簡単な説明】
【００４７】
【図１】第１の実施形態による車載センサの補正装置の機能構成例を示すブロック図である。
【図２】カメラの位置ずれが発生していない場合に表示装置に表示される画面例を示す図である。
【図３】カメラの位置ずれが発生している場合に表示装置に表示される画面例を示す図である。
【図４】第１の実施形態による車載センサの補正装置の動作例を示すフローチャートである。
【図５】第２の実施形態による車載センサの補正装置の機能構成例を示すブロック図である。
【符号の説明】
【００４８】
１ カメラ
２ 画像処理部
３ レーダ
４ 情報処理部
５ 補正処理部
５ａ 表示制御部
５ｂ 操作情報入力部
５ｃ 差分検出部
５ｄ 補正制御部
５ｅ 判定部
１０ 表示装置
１１ 操作部
１２ 地図ＤＢ
２１ａ，２１ｂ，２１ｃ，３１ａ，３１ｂ，３１ｃ カメラにより検出された第１の位置
２２ａ，２２ｂ，２２ｃ，３２ａ，３２ｂ レーダにより検出された第２の位置
５５ 補正処理部
５５ａ 差分検出部
【技術分野】
【０００１】
本発明は、車載センサの補正装置および方法に関し、特に、車載センサが正しい設置状態からずれた場合にそのずれがなくなるように車載センサの状態を調整する装置および方法に用いて好適なものである。
【背景技術】
【０００２】
近年、車両にカメラやレーダを搭載して自車両の周辺の物体を検出するシステムが提供されている。車載レーダを用いる方法では、車載レーダから例えばミリ波などの電波を出射するとともに、周辺物から反射してくる電波を受信する。そして、ミリ波の出射から受信までの伝搬時間やドップラー効果によって生じる周波数差などに基づいて、自車両から周辺物までの距離、方位などを測定する。
【０００３】
また、車載カメラを用いる方法では、カメラで撮影された画像に対して画像認識処理を行うことによって、撮影画像内における周辺物のピクセル位置を特定する。そして、カメラの設置位置、角度、レンズの画角といった情報を利用して、撮影画像内における周辺物のピクセル位置を実際の位置（自車両から周辺物までの距離、方位）に変換する。
【０００４】
車載レーダあるいは車載カメラを単独で使用することも可能であるが、その両方を使用し、異なる種類のセンサで検出した周辺物の位置情報を併用することにより、物体の位置の検出精度を高めることができる。このように、レーダとカメラといった複数種類のセンサからの位置情報を組み合わせて利用するシステムにおいては、各センサで検出した位置情報が適切に関連付けられる必要がある。
【０００５】
ところが、何からの原因でセンサの設置位置がずれた場合、各センサで検出した周辺物の位置情報の整合が取れなくなってしまう。そのため、どちらかのセンサが位置ずれを起こすと、異なる種類のセンサを併用していても、物体の位置の検出精度を高めることができなくなってしまう。したがって、センサが位置ずれを起こした場合には、その位置ずれがなくなるようにセンサの位置を調整する必要がある。
【０００６】
なお、車載レーダから発せられた光をレーザポインタ反射板で反射させ、レーザポインタ反射板に向けて車載カメラが撮影した映像をもとに、車載レーダの軸調整が完了した場合に光点が位置すべき点、すなわち軸調整前の光点の移動先となるレーザ調整目標点を計算することにより、車載レーダの取り付け方向を調整するようにした技術が存在する（例えば、特許文献１参照）。
【特許文献１】特開２００３−３１５４４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１に記載の技術は、メーカによる出荷時の調整を主眼としたものであり、出荷後にセンサの位置ずれが発生した場合に、その位置ずれがなくなるようにセンサの位置を適切に調整することはできないという問題があった。
【０００８】
本発明は、このような問題を解決するために成されたものであり、レーダやカメラといった異なる種類のセンサを併用して周辺物の位置を検出するシステムにおいて、システムの出荷後であっても、何れかのセンサに発生した位置ずれがなくなるようにセンサの位置（向き）を適切に調整できるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
上記した課題を解決するために、本発明では、カメラの撮影画像に対して画像認識処理を行うことで、撮影画像内における周辺物のピクセル位置を検出するとともに、レーダにより検出された周辺物の位置を撮影画像内におけるピクセル位置に換算し、両ピクセル位置の差分がなくなるような補正量を求め、この補正量に従ってレーダまたはカメラの向きを補正する。
【発明の効果】
【００１０】
上記のように構成した本発明によれば、レーダやカメラといった異なる種類の車載センサを併用して周辺物の位置を検出するシステムにおいて、例えば車両の走行中に実際にカメラによって撮影される画像の認識結果として得られる周辺物の位置と、車両の走行中に実際にレーダによって検出される周辺物の位置との差分から、レーダまたはカメラの補正量が求められることとなるので、システムの出荷後であっても、任意のタイミングで、何れかのセンサに発生した位置ずれがなくなるようにセンサの向きを適切に調整することができるようになる。
【発明を実施するための最良の形態】
【００１１】
（第１の実施形態）
以下、本発明の第１の実施形態を図面に基づいて説明する。図１は、第１の実施形態による車載センサの補正装置の機能構成例を示すブロック図である。図１において、１はカメラであり、例えば車両の後部に設置され、自車両の周辺を撮影する。自車両の後方に周辺車両がいれば、その周辺車両がカメラ１により撮影される。
【００１２】
２は画像処理部であり、カメラ１で撮影された画像に対して画像認識処理を行うことにより、撮影画像内における周辺車両のピクセル位置（これを「第１の位置」と称する）を検出する。また、画像処理部２は、カメラ１の設置位置、設置角度、レンズの画角といった情報を利用して、撮影画像内における周辺車両のピクセル位置を、周辺車両の実際の位置（自車両から周辺車両までの距離、方位）に変換する処理を行う。この変換処理は、公知の手法を適用して行うことが可能である。
【００１３】
３はレーダであり、これも車両の後部に設置されている。このレーダ３は、ミリ波等の電波を自車両の後方に出射するとともに、後方から反射して返ってくるミリ波を受信して、自車両の後方にいる周辺車両の位置（自車両からの距離および方向）や自車両との相対速度を検出する。なお、レーダ３としては、ミリ波レーダのほかに赤外線レーダあるいはその他のレーダを用いても良い。
【００１４】
４は情報処理部であり、レーダ３により検出された周辺車両の位置を、カメラ１により撮影された画像内におけるピクセル位置（これを「第２の位置」と称する）に換算する。具体的には、上述の画像処理部２が撮影画像内の周辺車両のピクセル位置を自車両から見た実際の位置に変換する演算とは逆の演算を行うことにより、レーダ３により検出された周辺車両の実際の位置を撮影画像内におけるピクセル位置に換算することが可能である。
【００１５】
５は補正処理部であり、画像処理部２により検出された第１の位置と、情報処理部４により検出された第２の位置との差分を検出し、その差分がなくなるようにカメラ１またはレーダ３の向きを補正する。本実施形態では、カメラ１の向きを補正するものとして説明する。すなわち、本実施形態のカメラ１は、例えばパン・チルト機能を搭載しており、カメラ１のレンズを水平方向および垂直方向に回転できるように構成されている。補正処理部５は、このカメラ１のパン・チルト機能を利用して、カメラ１の撮影方向を補正する。
【００１６】
なお、ここではカメラ１のレンズを動かす例について説明したが、これに限定されない。例えば、カメラ１自身をモータ駆動可能な雲台等に載せて、補正処理部５が当該雲台等のモータを駆動することにより、カメラ１自身を動かすようにしても良い。要は、カメラ１の撮影方向を変えられる手段であれば、何れも適用することが可能である。
【００１７】
ここで、補正処理部５の詳細について説明する。図１に示すように、補正処理部５は、表示制御部５ａと、操作情報入力部５ｂと、差分検出部５ｃと、補正制御部５ｄと、判定部５ｅとを備えている。表示制御部５ａは、カメラ１の撮影画像から検出された周辺車両の第１の位置と、レーダ３の受信情報から検出された周辺車両の第２の位置とを、表示装置１０の画面上で互いに識別可能に表示する。
【００１８】
図２および図３は、表示装置１０の画面表示例を示す図である。図２および図３において、太い実線で示す枠線２１ａ，２１ｂ，２１ｃ，３１ａ，３１ｂ，３１ｃは第１の位置を表すマークであり、黒い丸２２ａ，２２ｂ，２２ｃ，３２ａ，３２ｂは第２の位置を表すマークである。カメラ１に位置ずれがなく、カメラ１とレーダ３で検出した周辺車両の位置情報が適切に関連付けられている場合には、図２のように第１の位置２１ａ，２１ｂ，２１ｃと第２の位置２２ａ，２２ｂ，２２ｃとの整合が取れており、両位置は一致している。これに対して、何らかの原因によりカメラ１の位置（撮影方向）が正しい設定位置からずれると、図３のように第１の位置３１ａ，３１ｂ，３１ｃと第２の位置３２ａ，３２ｂとの整合が取れなくなる。
【００１９】
操作情報入力部５ｂは、表示制御部５ａにより画面上に表示された第１の位置と第２の位置とを関連付けるためのユーザによる操作を受け付ける。すなわち、図３のように第１の位置３１ａ，３１ｂ，３１ｃと第２の位置３２ａ，３２ｂとが一致していないときは、ユーザは、リモコンやタッチパネル等で構成される操作部１１を操作して、ある１つの第１の位置を選択するとともに、ある１つの第２の位置を選択することにより、１つの第１の位置と１つの第２の位置とを関連付ける。
【００２０】
例えば、操作部１１がリモコンで構成されている場合には、第１の位置３１ａの上にカーソルを移動させて決定ボタンを押した後、第２の位置３２ａの上にカーソルを移動させて決定ボタンを押すことにより、第１の位置３１ａと第２の位置３２ａとを関連付ける。また、操作部１１がタッチパネルで構成されているときは、第１の位置３１ａをタッチした後、第２の位置３２ａをタッチすることにより、第１の位置３１ａと第２の位置３２ａとを関連付ける。
【００２１】
操作情報入力部５ｂは、このような操作部１１の操作を通じた第１の位置と第２の位置との関連付け情報（第１の位置３１ａ，３１ｂ，３１ｃおよび第２の位置３２ａ，３２ｂの中でどれとどれが選択されたかを示す情報）を入力する。差分検出部５ｃは、操作情報入力部５ｂにより受け付けられた第１の位置と第２の位置との関連付け情報に基づいて、関連付けられた第１の位置と第２の位置との差分を検出する。
【００２２】
ここで、操作情報入力部５ｂは、図３のように第１の位置３１ａ，３１ｂ，３１ｃおよび第２の位置３２ａ，３２ｂがそれぞれ複数存在する場合に、関連付けられた１組の第１の位置と第２の位置との差分だけ第１の位置３１ａ，３１ｂ，３１ｃの全てまたは第２の位置３２ａ，３２ｂの全てを移動させると、複数の第１の位置３１ａ，３１ｂ，３１ｃと複数の第２の位置３２ａ，３２ｂとが一致する場合の関連付けのみを受け付ける。
【００２３】
例えば、上述のように第１の位置３１ａと第２の位置３２ａとを操作部１１の操作により関連付けた場合、その差分の量だけ第１の位置３１ａ，３１ｂ，３１ｃを移動させると、第２の位置３２ａ，３２ｂの全てが第１の位置３１ａ，３１ｂと一致する。操作情報入力部５ｂは、このような関連付けは受け付ける。ところが、第１の位置３１ｂと第２の位置３２ａとを操作部１１の操作により関連付けた場合、その差分の量だけ第１の位置３１ａ，３１ｂ，３１ｃを移動させると、第１の位置３１ｂと第２の位置３２ａとは一致するが、その他の位置が一致しなくなる。操作情報入力部５ｂは、このような関連付けは受け付けない。
【００２４】
補正制御部５ｄは、差分検出部５ｃにより検出された差分に基づいて、カメラ１の向きの補正量を算出し、算出した補正量の分だけカメラ１の向きを補正するように制御する。この場合の補正量は、例えば、カメラ１（またはそのレンズ）を水平方向にどれだけ回転させ、垂直方向にどれだけ回転させるかを表した情報である。補正制御部５ｄは、例えばカメラ１のパン・チルト機能を利用して、このような補正量に従ってカメラ１の撮影方向を補正する。あるいは、カメラ１が載せられている雲台のモータを駆動して、カメラ１を動かすことによって撮影方向を補正する。
【００２５】
以上のようなカメラ位置の補正処理は、例えば所定の条件が満たされたときにのみ行うようにすることが可能である。例えば、判定部５ｅは、地図データベース（ＤＢ）１２に格納されている地図データに基づいて、現在走行中の道路がある程度長い直線区間（例えば、１００メートル以上の直線区間）であるか否かを判定する。そして、直線区間であると判断された場合にのみカメラ１の位置ずれ補正を行うようにする。ここで、地図ＤＢ１２としては、ナビゲーション装置が備える公知のものを利用することが可能である。
【００２６】
判定部５ｅは、カメラ１（画像認識部２による画像認識の結果）およびレーダ３の双方によって自車両のほぼ真後ろに周辺車両の存在が検出されているか否かを更に判定するようにしても良い。この場合、カメラ１とレーダ３の双方によって自車両のほぼ真後ろに周辺車両の存在が検出されている場合は、カメラ１とレーダ３で検出した周辺車両の位置情報が適切に関連付けられていて、カメラ１に位置ずれがないと判断できるので、補正処理は行わない。一方、レーダ３によって自車両のほぼ真後ろに周辺車両の存在が検出されているにもかかわらず、カメラ１によって自車両のほぼ真後ろに周辺車両の存在が検出されていない場合は、カメラ１とレーダ３で検出した周辺車両の位置情報が適切に関連付けられておらず、カメラ１に位置ずれが発生していると判断できるので、補正処理を行う。
【００２７】
次に、上記のように構成した本実施形態による車載センサの補正装置の動作を説明する。図４は、第１の実施形態による車載センサの補正装置の動作例を示すフローチャートである。図４において、まず判定部５ｅは、地図ＤＢ１２に格納されている地図データに基づいて、現在走行中の道路がある程度長い直線区間であるか否かを判定する（ステップＳ１）。直線区間でない場合はステップＳ１に戻る。
【００２８】
現在走行中の道路が直線区間の場合は、判定部５ｅは、レーダ３によって自車両のほぼ真後ろに周辺車両の存在が検出されているか否かを判定する（ステップＳ２）。ここで、レーダ３によって自車両のほぼ真後ろに周辺車両の存在が検出されていない場合は、ステップＳ１に戻る。一方、レーダ３によって自車両のほぼ真後ろに周辺車両の存在が検出されている場合は、判定部５ｅは更に、カメラ１によって自車両のほぼ真後ろに周辺車両の存在が検出されているか否かを判定する（ステップＳ３）。
【００２９】
ここで、カメラ１によって自車両のほぼ真後ろに周辺車両の存在が検出されている場合は、カメラ１とレーダ３で検出した周辺車両の位置情報が適切に関連付けられていて、カメラ１に位置ずれがないと判断できるので、ステップＳ１に戻る。一方、カメラ１によって自車両のほぼ真後ろに周辺車両の存在が検出されていない場合は、カメラ１とレーダ３で検出した周辺車両の位置情報が適切に関連付けられておらず、カメラ１に位置ずれが発生していると判断できるので、ステップＳ４以降の補正処理を行う。
【００３０】
補正処理においてはまず、カメラ１で撮影された画像に対して画像処理部２により画像認識処理を行うことで、撮影画像内における周辺車両のピクセル位置を検出し、それを表す第１の位置情報を図示しないメモリに保存する（ステップＳ４）。次に、レーダ１により周辺車両の位置を検出し、それを情報処理部４により撮影画像内におけるピクセル位置に換算する。そして、そのピクセル位置を表す第２の位置情報を図示しないメモリに保存する（ステップＳ５）。
【００３１】
そして、表示制御部５ａは、ステップＳ４で図示しないメモリに格納された第１の位置を表すマーク３１ａ，３１ｂ，３１ｃと、ステップＳ５で図示しないメモリに格納された第２の位置を表すマーク３２ａ，３２ｂとを表示装置１０の画面上に表示する（ステップＳ６）。この表示を見てユーザは、操作部１１を操作して、第１の位置３１ａ，３１ｂ，３１ｃの中から１つを選択するとともに（ステップＳ７）、第２の位置３２ａ，３２ｂの中から１つを選択する（ステップＳ８）。これにより、１組の第１の位置と第２の位置とを関連付ける。
【００３２】
操作情報入力部５ｂは、このような関連付け情報を入力する。差分検出部５ｃは、関連付けられた１組の第１の位置と第２の位置との差分を検出する。そして、操作情報入力部５ｂは、その差分だけ第１の位置３１ａ，３１ｂ，３１ｃを移動させたときに、関連付けられた１組以外の第１の位置と第２の位置とが一致するか否かを判定する（ステップＳ９）。一致しない場合は、そのような関連付けは受け付けず、ステップＳ７の処理に戻る。
【００３３】
一方、１組以外の第１の位置と第２の位置も一致した場合は、補正制御部５ｄは、差分検出部５ｃにより検出された差分に基づいて、カメラ１の向きの補正量を算出し（ステップＳ１０）、算出した補正量の分だけカメラ１の向きを補正するように制御する（ステップＳ１１）。その後、再びステップＳ１に戻る。
【００３４】
以上詳しく説明したように、第１の実施形態では、カメラ１の撮影画像に対して画像認識処理を行うことで、撮影画像内における周辺車両のピクセル位置を検出するとともに、レーダ３により検出された周辺車両の位置を撮影画像内におけるピクセル位置に換算し、両ピクセル位置の差分がなくなるような補正量を求め、この補正量に従ってカメラ１の向きを補正するようにしている。
【００３５】
このような構成により、車両の走行中に実際にカメラ１によって撮影される周辺車両の位置とレーダ３によって検出される周辺車両の位置との差分から、カメラ１の補正量を求めることができる。これにより、システムの出荷後であっても、任意のタイミングで、カメラ１に発生した位置ずれがなくなるように、レーダ３の検出結果に合わせてカメラ１の向きを適切に調整することができるようになる。
【００３６】
（第２の実施形態）
次に、本発明の第２の実施形態を図面に基づいて説明する。図５は、第２の実施形態による車載センサの補正装置の機能構成例を示すブロック図である。なお、この図５において、図１に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。
【００３７】
図５に示すように、第２の実施形態では、図１に示した補正処理部５の代わりに補正処理部５５を備えている。補正処理部５５は、差分検出部５５ａと補正制御部５ｄと判定部５ｅとを備えている。また、第２の実施形態において、表示装置１０および操作部１１は、カメラ１の補正処理のためには必要でない。上述した第１の実施形態は、１組の第１の位置と第２の位置との関連付けをユーザが操作部１１を操作することによって行っていた。これに対して、第２の実施形態では、この関連付けを補正処理部５５が自動的に行うものである。
【００３８】
すなわち、差分検出部５５ａは、画像処理部２により検出された１つ以上の第１の位置の中から１つの第１の位置を選択するとともに、情報処理部４により検出された１つ以上の第２の位置の中から１つの第２の位置を選択することで、それら選択した第１の位置と第２の位置とを関連付ける。そして、関連付けた１組の第１の位置と第２の位置との差分を検出し、その差分だけ第１の位置の全てを移動させて、１つ以上の第１の位置と１つ以上の第２の位置とが一致するか否かを判定する。一致しなければ、関連付ける第１の位置と第２の位置との組み合わせを変更し、同様の処理を行う。そして、１つ以上の第１の位置と１つ以上の第２の位置とが一致した場合の差分を採用し、補正制御部５ｄに出力する。
【００３９】
以上のように構成した第２の実施形態による車載センサの補正装置の動作をフローチャートで表すと、図４とほぼ同様となる。ただし、第２の実施形態において、ステップＳ６の表示処理は不要である。また、ステップＳ７，Ｓ８の処理は、ユーザによる操作部１１の操作を通じて行うのではなく、差分検出部５５ａが自動的に行う。
【００４０】
なお、上記第１および第２の実施形態では、第１の位置と第２の位置との差分からカメラ１の補正量を求め、その補正量に従ってカメラ１の向きを補正する例について説明したが、これに限定されない。これとは逆に、第１の位置と第２の位置との差分からレーダ３の補正量を求め、その補正量に従ってレーダ３の向きを補正するようにしても良い。
【００４１】
例えば、レーダ３がバンパー等の内部に納まっている場合には、外部からの影響を受けにくく、レーダ３の位置ずれは起こりにくい。これに対して、カメラ１は少なくともレンズが外に出ている必要があるので、外部からの人の接触等により位置ずれを起こすことがある。この場合には、レーダ３の検出結果に合わせてカメラ１の向きを補正するのが有効である。
【００４２】
ただし、レーダ３の設置状態によっては、レーダ３も外部からの影響を受けて位置ずれを起こすことが考えられる。この場合には、カメラ１の撮影画像に対する画像認識処理の結果に合わせてレーダ３の向きを補正するのが有効である。
【００４３】
また、上記第１および第２の実施形態では、補正処理部５，５５がカメラ１の補正量を求め、カメラ１の向きを自動的に補正する例について説明したが、これに限定されない。例えば、画像処理部２により検出された第１の位置および情報処理部４により検出された第２の位置の差分を検出し、その差分またはその差分から算出したカメラ１の向きの補正量を表示装置１０の画面上に表示するようにしても良い。この場合、ユーザは、画面上に表示された差分または補正量を参考にして、カメラ１の向きを手動で補正する。このような構成をとる場合には、カメラ１は必ずしもパン・チルト機能を搭載している必要はなく、また、カメラ１をモータ駆動可能な雲台等に載せておく必要もない。
【００４４】
また、上記第１および第２の実施形態では、自車両の後部にカメラ１とレーダ３を設置する例について説明しているが、これに限定されない。例えば、自車両の前方あるいは側方にカメラ１とレーダ３を設定した場合にも、本発明を適用することが可能である。
【００４５】
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【産業上の利用可能性】
【００４６】
本発明は、車載センサが正しい位置からずれた場合にその位置ずれがなくなるように車載センサの位置を調整する装置および方法に有用である。
【図面の簡単な説明】
【００４７】
【図１】第１の実施形態による車載センサの補正装置の機能構成例を示すブロック図である。
【図２】カメラの位置ずれが発生していない場合に表示装置に表示される画面例を示す図である。
【図３】カメラの位置ずれが発生している場合に表示装置に表示される画面例を示す図である。
【図４】第１の実施形態による車載センサの補正装置の動作例を示すフローチャートである。
【図５】第２の実施形態による車載センサの補正装置の機能構成例を示すブロック図である。
【符号の説明】
【００４８】
１ カメラ
２ 画像処理部
３ レーダ
４ 情報処理部
５ 補正処理部
５ａ 表示制御部
５ｂ 操作情報入力部
５ｃ 差分検出部
５ｄ 補正制御部
５ｅ 判定部
１０ 表示装置
１１ 操作部
１２ 地図ＤＢ
２１ａ，２１ｂ，２１ｃ，３１ａ，３１ｂ，３１ｃ カメラにより検出された第１の位置
２２ａ，２２ｂ，２２ｃ，３２ａ，３２ｂ レーダにより検出された第２の位置
５５ 補正処理部
５５ａ 差分検出部
【特許請求の範囲】
【請求項１】
電波を出射するとともに、周囲で反射して返ってくる電波を受信することで自車両の周辺に存在する周辺物の位置を検出するレーダと、
上記自車両の周辺を撮影するカメラと、
上記カメラで撮影された画像に対して画像認識処理を行うことで、撮影画像内における上記周辺物のピクセル位置を表す第１の位置を検出する画像処理部と、
上記レーダにより検出された上記周辺物の位置を、上記撮影画像内におけるピクセル位置を表す第２の位置に換算する情報処理部と、
上記画像処理部により検出された上記第１の位置および上記情報処理部により検出された上記第２の位置の差分を検出し、その差分がなくなるように上記レーダまたは上記カメラの向きを補正する補正処理部とを備えたことを特徴とする車載センサの補正装置。
【請求項２】
上記補正処理部は、上記第１の位置および上記第２の位置を画面上で互いに識別可能に表示する表示制御部と、
上記表示制御部により画面上に表示された上記第１の位置と上記第２の位置とを関連付けるためのユーザによる操作を受け付ける操作情報入力部と、
上記操作情報入力部により受け付けられた上記第１の位置と上記第２の位置との関連付け情報に基づいて、関連付けられた上記第１の位置と上記第２の位置との差分を検出する差分検出部と、
上記差分検出部により検出された差分に基づいて、上記レーダまたは上記カメラの向きの補正量を算出し、算出した補正量の分だけ上記レーダまたは上記カメラの向きを補正するように制御する補正制御部とを備えたことを特徴とする請求項１に記載の車載センサの補正装置。
【請求項３】
上記第１の位置および上記第２の位置がそれぞれ複数存在する場合に、上記操作情報入力部は、１つの上記第１の位置と１つの上記第２の位置とが関連付けられたときに、関連付けられた１組の上記第１の位置と上記第２の位置との差分だけ上記第１の位置の全てまたは上記第２の位置の全てを移動させると複数の上記第１の位置と複数の上記第２の位置とが一致する場合の関連付けのみを受け付けることを特徴とする請求項２に記載の車載センサの補正装置。
【請求項４】
上記補正処理部は、上記第１の位置および上記第２の位置がそれぞれ１つ以上存在する場合に、１つの上記第１の位置と１つの上記第２の位置とを関連付けたときに、関連付けた１組の上記第１の位置と上記第２の位置との差分だけ上記第１の位置の全てまたは上記第２の位置の全てを移動させると１つ以上の上記第１の位置と１つ以上の上記第２の位置とが一致する場合の上記差分を検出する差分検出部と、
上記差分検出部により検出された差分に基づいて、上記レーダまたは上記カメラの向きの補正量を算出し、算出した補正量の分だけ上記レーダまたは上記カメラの向きを補正するように制御する補正制御部とを備えたことを特徴とする請求項１に記載の車載センサの補正装置。
【請求項５】
地図データに基づいて、現在走行中の道路が直線区間であるか否かを判定する判定部を備え、
上記補正処理部は、上記判定部により上記直線区間であると判断されたときに上記レーダまたは上記カメラの向きを補正する処理を行うことを特徴とする請求項１〜４の何れか１項に記載の車載センサの補正装置。
【請求項６】
上記判定部は、上記レーダおよび上記カメラの双方によって上記自車両のほぼ真後ろに周辺物の存在が検出されているか否かを更に判定し、
上記補正処理部は、上記判定部により上記直線区間であると判断され、かつ、上記レーダおよび上記カメラの一方によって上記自車両のほぼ真後ろに周辺物の存在が検出されていないと判断したときに、上記レーダまたは上記カメラの向きを補正する処理を行うことを特徴とする請求項５に記載の車載センサの補正装置。
【請求項７】
電波を出射するとともに、周囲で反射して返ってくる電波を受信することで自車両の周辺に存在する周辺物の位置を検出するレーダと、
上記自車両の周辺を撮影するカメラと、
上記カメラで撮影された画像に対して画像認識処理を行うことで、撮影画像内における上記周辺物のピクセル位置を表す第１の位置を検出する画像処理部と、
上記レーダにより検出された上記周辺物の位置を、上記撮影画像内におけるピクセル位置を表す第２の位置に換算する情報処理部と、
上記画像処理部により検出された上記第１の位置および上記情報処理部により検出された上記第２の位置の差分を検出し、その差分またはその差分から算出した上記レーダまたは上記カメラの向きの補正量を画面上に表示する表示制御部とを備えたことを特徴とする車載センサの補正装置。
【請求項８】
自車両の周辺を撮影するカメラで撮影された画像に対して画像認識処理を行うことで、撮影画像内における上記周辺物のピクセル位置を表す第１の位置を検出する第１のステップと、
レーダにより上記自車両の周辺に存在する周辺物の位置を検出する第２のステップと、
上記第２のステップで上記レーダによって検出された上記周辺物の位置を、上記撮影画像内におけるピクセル位置を表す第２の位置に換算する第３のステップと、
上記第１のステップで検出された上記第１の位置および上記第３のステップで検出された上記第２の位置の差分を検出し、その差分がなくなるように上記レーダまたは上記カメラの向きを補正する第４のステップとを有することを特徴とする車載センサの補正方法。
【請求項１】
電波を出射するとともに、周囲で反射して返ってくる電波を受信することで自車両の周辺に存在する周辺物の位置を検出するレーダと、
上記自車両の周辺を撮影するカメラと、
上記カメラで撮影された画像に対して画像認識処理を行うことで、撮影画像内における上記周辺物のピクセル位置を表す第１の位置を検出する画像処理部と、
上記レーダにより検出された上記周辺物の位置を、上記撮影画像内におけるピクセル位置を表す第２の位置に換算する情報処理部と、
上記画像処理部により検出された上記第１の位置および上記情報処理部により検出された上記第２の位置の差分を検出し、その差分がなくなるように上記レーダまたは上記カメラの向きを補正する補正処理部とを備えたことを特徴とする車載センサの補正装置。
【請求項２】
上記補正処理部は、上記第１の位置および上記第２の位置を画面上で互いに識別可能に表示する表示制御部と、
上記表示制御部により画面上に表示された上記第１の位置と上記第２の位置とを関連付けるためのユーザによる操作を受け付ける操作情報入力部と、
上記操作情報入力部により受け付けられた上記第１の位置と上記第２の位置との関連付け情報に基づいて、関連付けられた上記第１の位置と上記第２の位置との差分を検出する差分検出部と、
上記差分検出部により検出された差分に基づいて、上記レーダまたは上記カメラの向きの補正量を算出し、算出した補正量の分だけ上記レーダまたは上記カメラの向きを補正するように制御する補正制御部とを備えたことを特徴とする請求項１に記載の車載センサの補正装置。
【請求項３】
上記第１の位置および上記第２の位置がそれぞれ複数存在する場合に、上記操作情報入力部は、１つの上記第１の位置と１つの上記第２の位置とが関連付けられたときに、関連付けられた１組の上記第１の位置と上記第２の位置との差分だけ上記第１の位置の全てまたは上記第２の位置の全てを移動させると複数の上記第１の位置と複数の上記第２の位置とが一致する場合の関連付けのみを受け付けることを特徴とする請求項２に記載の車載センサの補正装置。
【請求項４】
上記補正処理部は、上記第１の位置および上記第２の位置がそれぞれ１つ以上存在する場合に、１つの上記第１の位置と１つの上記第２の位置とを関連付けたときに、関連付けた１組の上記第１の位置と上記第２の位置との差分だけ上記第１の位置の全てまたは上記第２の位置の全てを移動させると１つ以上の上記第１の位置と１つ以上の上記第２の位置とが一致する場合の上記差分を検出する差分検出部と、
上記差分検出部により検出された差分に基づいて、上記レーダまたは上記カメラの向きの補正量を算出し、算出した補正量の分だけ上記レーダまたは上記カメラの向きを補正するように制御する補正制御部とを備えたことを特徴とする請求項１に記載の車載センサの補正装置。
【請求項５】
地図データに基づいて、現在走行中の道路が直線区間であるか否かを判定する判定部を備え、
上記補正処理部は、上記判定部により上記直線区間であると判断されたときに上記レーダまたは上記カメラの向きを補正する処理を行うことを特徴とする請求項１〜４の何れか１項に記載の車載センサの補正装置。
【請求項６】
上記判定部は、上記レーダおよび上記カメラの双方によって上記自車両のほぼ真後ろに周辺物の存在が検出されているか否かを更に判定し、
上記補正処理部は、上記判定部により上記直線区間であると判断され、かつ、上記レーダおよび上記カメラの一方によって上記自車両のほぼ真後ろに周辺物の存在が検出されていないと判断したときに、上記レーダまたは上記カメラの向きを補正する処理を行うことを特徴とする請求項５に記載の車載センサの補正装置。
【請求項７】
電波を出射するとともに、周囲で反射して返ってくる電波を受信することで自車両の周辺に存在する周辺物の位置を検出するレーダと、
上記自車両の周辺を撮影するカメラと、
上記カメラで撮影された画像に対して画像認識処理を行うことで、撮影画像内における上記周辺物のピクセル位置を表す第１の位置を検出する画像処理部と、
上記レーダにより検出された上記周辺物の位置を、上記撮影画像内におけるピクセル位置を表す第２の位置に換算する情報処理部と、
上記画像処理部により検出された上記第１の位置および上記情報処理部により検出された上記第２の位置の差分を検出し、その差分またはその差分から算出した上記レーダまたは上記カメラの向きの補正量を画面上に表示する表示制御部とを備えたことを特徴とする車載センサの補正装置。
【請求項８】
自車両の周辺を撮影するカメラで撮影された画像に対して画像認識処理を行うことで、撮影画像内における上記周辺物のピクセル位置を表す第１の位置を検出する第１のステップと、
レーダにより上記自車両の周辺に存在する周辺物の位置を検出する第２のステップと、
上記第２のステップで上記レーダによって検出された上記周辺物の位置を、上記撮影画像内におけるピクセル位置を表す第２の位置に換算する第３のステップと、
上記第１のステップで検出された上記第１の位置および上記第３のステップで検出された上記第２の位置の差分を検出し、その差分がなくなるように上記レーダまたは上記カメラの向きを補正する第４のステップとを有することを特徴とする車載センサの補正方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００７−１６３２５８（Ｐ２００７−１６３２５８Ａ）
【公開日】平成１９年６月２８日（２００７．６．２８）
【国際特許分類】
【出願番号】特願２００５−３５８９５０（Ｐ２００５−３５８９５０）
【出願日】平成１７年１２月１３日（２００５．１２．１３）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
【公開日】平成１９年６月２８日（２００７．６．２８）
【国際特許分類】
【出願日】平成１７年１２月１３日（２００５．１２．１３）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
[ Back to top ]