光軸検出装置、光軸検出システム、ターゲット、光軸検出方法
【課題】画像を撮像する複数の撮像装置の光軸のずれを検出する光軸検出装置において、撮像装置の光軸方向のずれを効率よく検出できるようにすることを目的とする。
【解決手段】撮像装置の前方に配置された複数種類のターゲットを認識する認識手段と、上記ターゲットを認識した位置に基づいて光軸のずれを検出する検出手段と、を備え、上記認識手段は、上記撮像装置で撮像した撮像画像の画素のうちから、上記撮像画像の一部の画素集合を選択し、当該一部の画素集合内の画素の輝度に関する所定の和算および減算からなる演算に基づいて、当該演算の結果が最大値または最小値となる上記画素集合を探索する探索手段を複数種類備え、上記探索手段が探索した上記最大値または最小値に基づいて、上記ターゲットを認識する。
【解決手段】撮像装置の前方に配置された複数種類のターゲットを認識する認識手段と、上記ターゲットを認識した位置に基づいて光軸のずれを検出する検出手段と、を備え、上記認識手段は、上記撮像装置で撮像した撮像画像の画素のうちから、上記撮像画像の一部の画素集合を選択し、当該一部の画素集合内の画素の輝度に関する所定の和算および減算からなる演算に基づいて、当該演算の結果が最大値または最小値となる上記画素集合を探索する探索手段を複数種類備え、上記探索手段が探索した上記最大値または最小値に基づいて、上記ターゲットを認識する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数台の撮像装置の光軸の検出に関する。
【背景技術】
【０００２】
従来より、車両の前方の安全確認や車両レーンの制御等のために、前方に向けて撮像装置（２次元画像を撮像する装置であって、入力する光は可視光、電波を問わない、以下、本願において撮像装置、カメラというときは同じ。）を設置している車両があった。このようなカメラを設置する場合、カメラの向き（光軸）を、ロール角、車両進行方向（ＦＯＥ、Ｆｏｃｕｓ Ｏｆ Ｅｘｐａｎｓｉｏｎ）について合わせる調整が必要である。このカメラの向きを合わせる方法として、画像の視野角ぎりぎりの内側に２点、中央に１点の格子のターゲットを車両の前方に設けて、カメラの向きを測定する方法があった（特許文献１等）。
【０００３】
また、近年、車両には、必要な画角（Ａｎｇｌｅ ｏｆ ｖｉｅｗ、即ち、カメラの視野角）に対応して、広角から狭角まで２台ないしそれ以上の台数のカメラを設けることがなされている。これらのカメラを設けた場合には、複数台のカメラの光軸を互いに合わせる必要がある。
【０００４】
図９を用いて、複数台のカメラの光軸を調整する従来の方法について説明する。図９（Ａ）は、光軸検出システムの全体図を３角法で表している。光軸検出システムは、メーカの出荷時、修理工場での修理時などに作業員により使用される。図９（Ａ）に示すように、光軸検出システムは、複数のターゲット１０１、および車両１００内に設けられた広角カメラ１２１、狭角カメラ１２２を備える。広角カメラ１２１、狭角カメラ１２２は、ターゲット１０１を撮像する。図９（Ｂ）は、広角カメラ１２１または狭角カメラ１２２が撮像した撮像画像１０４を表している。撮像画像１０４には、３つのターゲット１０１が写る。３つのターゲット１０１は、すべて同じ形状であり、２つの互いに交わる直線で分割された４領域のうち、１つの対角に位置する２領域は、輝度の高い白で塗られ、その他の２領域は輝度の低い黒で塗られている。３つのターゲット１０１のうちの中央のターゲットは撮像方向の縦方向、横方向を調整するための基準である。各カメラは、内部に、それぞれＥＣＵ（電子制御ユニット）を備えている。ＥＣＵは、中央のターゲットを用いて、ＦＯＥおよび撮像方向のずれを検出する。また、ターゲット１０１のうち、両端のターゲットは、撮像画像１０４内の両端ぎりぎり（即ち、広角カメラ１２１または狭角カメラ１２２の画角いっぱい）に配置されている。上記ＥＣＵは、両端のターゲットを用いて、広角カメラ１２１または狭角カメラ１２２の光軸のロール角１０２を検出する（ここで、ロール角１０２は、水平方向に対する広角画像２１０の取り付け角度の傾きを意味するものとする。以下、本願において同じ）。このように、両端のターゲット１０１が撮像画像１０４内の両端ぎりぎりに撮像されるようにするのは、ターゲット１０１間が離れている方が、ロール角１０２の測定精度を高めることができるためである。
【特許文献１】特開２００５−１４３０４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の方法では、以下のような問題があった。図９（Ｃ）、図９（Ｄ）、図９（Ｅ）を用いてこれを説明する。
【０００６】
図９（Ｃ）は、広角カメラ１２１の画角を示す。図９（Ｄ）は、狭角カメラ１２２の画角を示す。図９（Ｃ）に示すように、作業員は、広角カメラ１２１を調整するときは、ターゲット１０１を広角カメラ１２１の画角いっぱいになるよう、ターゲット１０１を設定する。これにより作業員は、ロール角１０２のずれを測定する。狭角カメラ１２２を調整するときは、作業員が狭角カメラ１２２の画角の範囲にターゲット１０１が入るようにターゲット１０１を移動するか、またはロボットがターゲットを移動していた。
【０００７】
しかし、調整の際に作業員がターゲットを移動させると、作業効率が低下する。また、ターゲットを細工したり、不要なターゲットを覆って検出されないようにしても、作業効率が低下する。また、パネルの表示を電光掲示板のように変更するのも大掛かりであり、そのための電力コストが必要になったり、故障したりする虞がある。
【０００８】
そこで、作業効率を高めるには、５つのターゲットを並べて検査することが考えられる。しかし、図９（Ｅ）に示すように、従来の方法では、上記ＥＣＵは５点のターゲットを区別できない。したがって、上記ＥＣＵは、５点のいずれのターゲットも検出してしまう。５点のターゲットからロール角を検出するための３点を選択するのは、５点のターゲットから３点を選択する処理が余分に必要であった。ここで、ＥＣＵに搭載するプログラムの容量は小さくとも貴重であり、その容量を小さく切り詰めることが求められ、かつ、処理負荷を軽減することが求められている。このような環境で余分な処理を行うことは、処理が不安定になったりする問題を引き起こす虞があった。
【０００９】
そこで、本発明は、撮像装置の光軸方向のずれを効率よく検出できるようにすることを目的とする。その目的の解決のために、ターゲットを置き換えなくても、撮像装置の光軸方向のずれを検出すること、および、必要なターゲットを選択する処理の負荷を軽減することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、以下の構成を備えることができる。
【００１１】
（１） 本発明は、
画像を撮像する複数の撮像装置の光軸のずれを検出する光軸検出装置において、
上記撮像装置の前方に配置された複数種類のターゲットを認識する認識手段と、
上記ターゲットを認識した位置に基づいて光軸のずれを検出する検出手段と、を備え、
上記認識手段は、上記撮像装置で撮像した撮像画像の画素のうちから、上記撮像画像の一部の画素集合を選択し、当該一部の画素集合内の画素の輝度に関する所定の和算および減算からなる演算に基づいて、当該演算の結果が最大値または最小値となる上記画素集合を探索する探索手段を複数種類備えることを特徴とする光軸検出装置である。
【００１２】
この構成では、認識手段の探索手段は、当該一部の画素集合内の（複数の）画素の輝度に関する所定の和算および減算からなる演算に基づいて、当該演算の結果が最大値または最小値となる上記画素集合を探索する。したがって、探索手段は、簡易な計算により、撮像画像のうち、ターゲットのパターンと合致する画素を探索できる。したがって、光軸検出装置は、ターゲットを複数配置したまま、所定の撮像装置に適したターゲットを選択できる。したがって、光軸検出装置は、ターゲットを置き換えなくても撮像装置の光軸方向の検出できる。また、図９（Ｅ）に示したようなターゲットを選択する処理をする必要がないから、処理の負担が軽減されうる。
【００１３】
なお、探索手段が複数種類あるとは、探索する演算、および探索方法（最大値を指標とするか、最小値を指標とするかという探索方法）が複数種類あるということである。探索する演算が同じでも上記探索方法のみが異なっていれば、探索手段が複数種類あるものとする。探索手段は、同一の装置内に設けることは要しない。例えば、略同一方向へ光軸を調整する必要性がある複数のカメラについて、探索手段が複数種類、存在すれば足り、別々の筐体に探索装置を設けてもよい。より具体的には、各カメラ内部のＥＣＵに探索手段をソフトウェアとして組み込んでもよい。探索手段が別々の装置内に組み込まれていても、探索手段の種類が異なる限り、全体として１つの光軸検出装置が組み込まれているということができ、その光軸検出装置は、本発明の効果を奏する。（２）以下の光軸検出装置、光軸検出システム、光軸検出方法も同様である。
【００１４】
また、撮像装置は、本発明に必須ではないが、撮像装置は、この構成の光軸検出装置と一体でもよい。
【００１５】
（２） 上記探索手段は、上記演算として、上記撮像画像のうちの一部の画素集合をＡｋ（ｋ＝１〜Ｎ、Ｎは自然数）とし、Ａｋのうちの所定のパターンで選択した画素集合Ｂｋの輝度の合計値Ｘと、上記画素集合Ａｋのうちの上記画素集合Ｂｋ以外の画素集合Ｃｋの輝度の合計値Ｙと、の差（Ｘ−Ｙ）を計算するようにしてもよい。
【００１６】
この構成では、所定のパターンで画素を選択し、輝度の合計の差を計算する。例えば、画素集合Ｂｋをターゲットの輝度の明るい部分に対応させ、画素集合Ｃｋを輝度の暗い部分に対応させるようにすれば、撮像画像のうち、差Ｘｋ−Ｙｋが最大となる画素集合は、そのターゲットと合致させることができる。また、画素集合Ｂｋをターゲットの輝度の暗い部分に対応させ、画素集合Ｃｋを輝度の明るい部分に対応させるようにすれば、撮像画像のうち、差Ｘｋ−Ｙｋが最小となる画素集合は、そのターゲットと合致する部分である。
【００１７】
したがって、探索手段は、このような簡易な計算により、撮像画像のうち、ターゲットのパターンと合致する画素を探索できる。輝度の差を計算するので、一方だけの合計ＸｋまたはＹｋを計算するよりも、コントラストを強めた画像で画像の合致を認識することができるので、耐ノイズ性能を向上できると期待できる。
【００１８】
（３） 上記複数種類の探索手段は、
上記差（Ｘ−Ｙ）が最大値となる上記画素集合を探索する第１の探索手段と、
上記第１の探索手段で用いた撮像画像を撮像した上記撮像装置と同じまたは異なる撮像装置で撮像した撮像画像について、上記差（Ｘ−Ｙ）が最小値となる上記画素集合を探索する第２の探索手段を備えるようにしてもよい。
【００１９】
この構成では、探索手段は、評価関数として、（Ｘ−Ｙ）を用い、評価方法として（Ｘ−Ｙ）の最大値、最小値を用いている。したがって、この探索手段によれば、（Ｘ−Ｙ）、（Ｙ−Ｘ）の評価関数を計算したことに等しい。したがって、Ｘ−Ｙの身の評価関数を用いるに比べて、２倍の数のターゲットを判別できる。この構成は、（４）に記載の補色関係のターゲットを用いた場合には、特に有効である。
【００２０】
なお、この構成から明らかなように、（Ｘ−Ｙ）は、第１の探索手段、第２の探索手段で使用する撮像画像は、同一の撮像装置で撮像したことを要しない。また、第１の探索手段、第２の探索手段は、結果的に上記で定義した探索と同等のことを行っていれば足り、例えば、差（Ｙ−Ｘ）が最大値となる画素集合を探索することは、結果的に、上記（３）の構成に示す、「差（Ｘ−Ｙ）が最小値となる画素集合を探索する」ことに帰着する。
【００２１】
（４） 複数の撮像装置の光軸のずれを検出する光軸ずれ検出装置において、
上記複数の種類の探索手段は、第１の探索手段、第２の探索手段を有し、
上記第１の探索手段、上記第２の探索手段は、
上記撮像画像のうちの一部の画素集合として、互いに縦横に隣接する４つの画素（当該画素を時計回りにＡ１、Ｂ１、Ｃ１、Ｄ１とする）を選択した場合に、上記４つの画素のうち対角に隣接する画素同士の輝度を足し算した２つの和（Ａ１＋Ｃ１）、（Ｂ１＋Ｄ１）同士の差の値を上記演算として計算する第１の計算手段、
または、
上記撮像画像のうちの一部の画素集合として、互いに縦横に隣接する４つの領域（当該４つの領域を時計回りにＡ２、Ｂ２、Ｃ２、Ｄ２とする）を選択した場合に、それぞれの領域Ａ、Ｂ、Ｃ、Ｄ内の画素の輝度の合計ａ、ｂ、ｃ、ｄを計算し、上記輝度の合計ａ、ｂ、ｃ、ｄを対角に隣接する領域について足し算した２つの和（ａ＋ｃ）、（ｂ＋ｄ）同士の差の値を上記演算として計算する第２の計算手段、のいずれかを備え、
上記第１の探索手段は、上記２つの和（Ａ１＋Ｃ１）、（Ｂ１＋Ｄ１）同士の差の値または上記２つの和（ａ＋ｃ）、（ｂ＋ｄ）同士の差の値が最大となる上記画素集合を上記撮像画像の画素の全体から選択し、
上記第２の探索手段は、上記２つの和（Ａ１＋Ｃ１）、（Ｂ１＋Ｄ１）同士の差の値または上記２つの和（ａ＋ｃ）、（ｂ＋ｄ）同士の差の値が最小となる上記画素集合を上記撮像画像の画素の全体から選択するようにしてもよい。
【００２２】
この構成では、特に、中心点の周囲を４分割された領域のうち、１つの対角が黒、他方の対角が白で配色されたターゲットの中心を認識するのに効果的である。ここで、ターゲットの４つの領域を右回りにＡ、Ｂ、Ｃ、Ｄとすると、４つの領域は、２方向に隣接している。即ち、Ａ、Ｃが隣接し、またＢ、Ｄが隣接している。この構成では、このようなターゲットを認識できるよう、探索手段は、２つの対角の画素の和（Ａ＋Ｃ、Ｂ＋Ｄの２つの和が存在する）を計算し、この和同士の引き算を行う。第２の計算手段は、４つの領域内の画素の合計ａ、ｂ、ｃ、ｄをそれぞれ計算し、上記合計ａ、ｂ、ｃ、ｄを足し算した２つの和ａ＋ｃ、ｂ＋ｄ同士の差の値を上記演算として計算する（以上は第２の計算手段を用いた場合の説明であるが、第１の計算手段を用いた場合は、上記２つの和（Ａ１＋Ｃ１）、（Ｂ１＋Ｄ１）同士の差の値を用いて以上の説明を適用する。）。したがって、上記４分割された領域を有するターゲットが２種類ある。２種類のターゲットの色合いが互いに補色関係にあるように配置されているターゲットに対して、認識手段は、第１の計算手段または第２の計算手段により、簡易な計算で、ターゲットを識別できる。第１の計算手段または第２の計算手段は、上記演算を１つの画素集合について１回のみ行えば足りる。第１の探索手段は、上記差の値が最大となる部分を選択することで、１種のターゲットを認識できる。第２の探索手段は、上記差の値が最小となる部分を選択することで、他の１種のターゲットを認識できる。
【００２３】
（５） 本発明は、
画像を撮像する複数の撮像装置のそれぞれの光軸のずれを検出するためのターゲットにおいて、
上記ターゲットは、配色が異なる複数種類のターゲットを含み、上記複数種類のターゲットのうち一部またはすべての、その配色が互いに補色関係にあることにより、上記配色が異なっていることを特徴とするターゲットである。
【００２４】
この構成において、配色とは、色の配置、色のパターン等を表す。この構成のターゲットによれば、上記複数種類のターゲットのうち、一部またはすべての種類の配色は、互いに補色関係にあるから、上記演算を１つの画素集合について１回のみ行えば足りる。即ち、このターゲットを用いて光軸のずれを検出すれば、光軸検出装置は、上記差の値が最大となる部分を選択することにより、１種のターゲットを認識できる。探索手段は、上記差の値が最小となる部分を選択することで、他の１種のターゲットを認識できる。
【００２５】
（６） 上記ターゲットには、第１種のターゲット、第２種のターゲットを含み、
上記第１種のターゲット、上記第２種のターゲットは、いずれも、互いに交差する２直線の交点を中心にして分割された４領域を有すると共に、当該４領域のうちの一方の互いに対角な２領域は、第１の輝度の色で着色され、他方の互いに対角な２領域が上記第１の輝度よりも輝度の低い第２の輝度の色で着色され、
上記第１種のターゲットは、上記４領域のうち、上記第１の輝度の領域の位置が、上記第２種のターゲットの上記第２の輝度の領域の位置と対応し、４分割された領域のうち、上記第２の輝度の領域の位置が、上記第２種のターゲットの第１の輝度の領域の位置と対応していることにより、上記第１種のターゲット、上記第２種のターゲットは、その配色が互いに上記補色関係にあるようにしてもよい。
【００２６】
この構成は、単に、従来のように４分割された領域に区分けされたターゲットを用いているのではなく、第１種のターゲット、第２種のターゲットを、一方の第１の輝度の部分の位置が他方の上記第１の輝度の部分よりも輝度の低い第２の輝度の部分の位置と対応するように構成している。これにより、上記第１種、第２種のターゲットの配色は、互いに上記補色関係にあるという特徴を有する。この構成の２種類のターゲットは互いに補色関係に構成されているので、光軸検出装置は、（４）と同様に、１回の演算で、２つのターゲットを識別できる。
【００２７】
（７） 上記第１種のターゲット、上記第２種のターゲットは、いずれも、上記４領域が、上記互いに交差する２直線の交点を中心にして、ほぼ縦横に均等に４分割されているようにしてもよい。
【００２８】
この構成のターゲットは、均等に４分割されているので、１種類のターゲットを回転するだけで、もう１種類のターゲットを構成できる。これらの２つのターゲットは、互いに補色関係にあり、上記（５）の効果を有するターゲットを簡易に構成できる。
【００２９】
（８） 本発明は、
撮像した画像に基づいて、光軸のずれを検出するためのターゲットにおいて、
上記ターゲットは、配色が異なる複数種類のターゲットを含み、
それぞれの種類の上記ターゲットは、１点を中心とする複数の円弧と、上記中心を端点とする複数の直線または上記中心を通る複数の直線と、により分割された複数の円弧領域が、第１の輝度の色と上記第１の輝度よりも輝度の低い第２の輝度の色とに配色がなされており、当該配色のパターンは、上記ターゲットの種類により互いに異なっていることを特徴とするターゲットである。
【００３０】
この構成のターゲットの配色のパターンは、上記ターゲットの種類により互いに異なっているので、光軸検出装置は、これらのパターンを識別し、必要なターゲットの位置を探索することができる。したがって、ターゲットを置き換えなくても撮像装置の光軸方向の検出できる。
【００３１】
なお、この構成では、複数の円弧領域の境界は、必ずしも第１の輝度の部分と低い部分で隣接していることを要さない。また、複数の円弧領域の境界線は、明示の線で分割されていなくてもよく、例えば、図６に示すように、輝度が同じ円弧領域同士が隣接する場合に、境界線が、別の輝度の色の直線で分割されている必要はない。
【００３２】
（９） 上記複数の直線は、上記複数種類のターゲットのいずれにおいても、上記１点の周囲を等分しており（この等分の数をｎ等分とする）、
上記複数種類のターゲットは、ｎ種類含み、１の種類のターゲットを３６０度／ｎずつ回転してｎ種類形成されているようにしてもよい。
【００３３】
この構成では、上記直線によりｎ等分された数のターゲットを、１つのターゲットを回転して構成しているので、ｎ種類の互いに異なるターゲットを容易に作成できる。
【００３４】
（１０） 本発明は、
画像を撮像する複数の撮像装置と、上記撮像装置のそれぞれの光軸のずれを検出する光軸ずれ検出システムにおいて、
上記（１）に記載の光軸検出装置と、
上記撮像装置の前方に配置された複数種類のターゲットと、を備え、
上記複数種類のターゲットは、それぞれ第１の輝度の色と上記第１の輝度よりも輝度の低い第２の輝度の色とに配色がなされ、かつ、上記ターゲットの種類に対応して、互いに上記配色が異なっており、
上記光軸検出装置の探索手段は、上記演算として、上記ターゲットの上記配色に対応して定めた所定のパターンの画素を選択して、その画素の輝度の和を計算することを特徴とする光軸検出システムである。
【００３５】
この構成の各種ターゲットは、互いに配色が異なっている。探索手段は、上記ターゲットの上記配色に対応して定めた所定のパターンの画素について輝度の和算を行う。したがって、探索手段は、例えば、この和算の大小等を対比することにより、ターゲットの配色パターンと合致する画素集合を選択できる。
【００３６】
（１１） 画像を撮像する複数の撮像装置と、上記撮像装置のそれぞれの光軸のずれを検出する光軸ずれ検出システムにおいて、
上記撮像装置の前方に配置された上記（６）に記載のターゲットと、
上記（４）に記載の光軸検出装置を備えるようにしてもよい。
【００３７】
この構成では、認識手段は、ターゲットのパターンに対応して定めた、対角同士の足し算引き算という簡易な計算式で、２種類の上記ターゲットを識別することができる。したがって、計算式が簡易であるため、ハードウェアの負担を軽減でき計算時間を短縮できる。また、補色関係にあるターゲットを用いているので、１つの計算式で、最大の部分と最小の部分を探索することにより、２種類の上記ターゲットを識別することができる。計算式の値が最大となる部分と最小となる部分を１つの撮像画像について探索する場合には、評価関数の計算を共用できる。この場合には、さらにハードウェアの負担を軽減でき、計算時間を短縮できる。
【００３８】
（１２） 画像を撮像する複数の撮像装置と、上記撮像装置のそれぞれの光軸のずれを検出する光軸ずれ検出システムにおいて、
上記撮像装置の前方に配置された上記（８）に記載のターゲットと、
上記（２）に記載の光軸検出装置を備え、
上記光軸検出装置の上記複数種類の探索手段は、それぞれ、上記複数種類のターゲットの上記第１の輝度、上記第２の輝度の配色パターンと対応して、上記画素集合Ｂｋ、Ｃｋが定められているようにしてもよい。
【００３９】
この構成では、上記（８）に記載のターゲットを用いている。また、この構成では、第１の輝度、上記第２の輝度の配色パターンと対応して、輝度の合計の差Ｘ−Ｙを計算することにより、光軸検出システムは、３種類以上のターゲットを識別できる。
【００４０】
（１３） 上記撮像装置は、それぞれ、異なる画角の撮像画像を撮像し、
上記複数種類のターゲットは、各々、上記撮像画像の両端に撮像されるように配置され、
上記認識手段は、撮像画像に含まれる複数種類のターゲットから、上記撮像画像の両端に撮像されるように配置されたターゲットを認識するようにしてもよい。
【００４１】
例えば撮像装置のロール角度のずれを検出する場合、その検出精度を向上させるために、画像内の外側よりぎりぎりの位置にターゲットが配置されるように、光軸検出システムを構成するのが望ましい。この場合、例えば、狭角画像、広角画像を撮像するために２つの撮像装置を設けた場合には、広角画像の内側に、狭角画像用のターゲットが配置されることになる。そして、狭角画像および広角画像を撮像するときにターゲットを置き換えないとすれば、広角画像から２種類のターゲットを認識する必要がある。
【００４２】
この構成では、ターゲットは、上記ターゲットの種類に対応して、互いに上記配色が異なっており、認識手段は配色が異なったターゲットを認識するから、広角画像から２種類のターゲットを認識することができ、ターゲットを置き換えなくて済む。
【００４３】
（１４） 本発明は、
画像を撮像する複数の撮像装置の光軸のずれを検出する光軸検出方法において、
上記撮像装置の光軸を検出するための複数のターゲットであって、それぞれ第１の輝度と、上記第１の輝度よりも輝度の低い第２の輝度とに配色がなされ、かつ、上記ターゲットの種類に対応して、互いに上記配色の仕方が異なっているターゲットを用いて、
上記撮像装置で撮像した撮像画像の画素のうちから、上記撮像画像のうちの一部の画素集合を選択し、当該一部の画素集合について定めた輝度に関する所定の和算および減算からなる演算を行い、当該演算の結果が最大値または最小値となる上記画素集合を探索する探索ステップと、
上記最大値または上記最小値をとる画素領域を選択することにより、１種類の上記ターゲットを認識するターゲット認識ステップと、を実行し、
上記探索ステップでは、上記演算として、上記ターゲットの上記配色に対応して定めた所定のパターンの画素について上記和算を行うことを特徴とする光軸検出方法としてもよい。
【００４４】
この構成は、（１０）の構成を方法にしたものである。
【００４５】
（１５） 画像を撮像する複数の撮像装置の光軸のずれを検出する光軸検出方法において、
上記ターゲットとして、上記（４）に記載のターゲットを用い、
上記探索ステップでは、上記演算の結果の最大値および最小値を各画素集合について計算し、
上記ターゲット認識ステップでは、上記最大値、上記最小値をとる画素集合を選択することにより、２種類の上記ターゲットを認識するようにしてもよい。
【００４６】
なお、以上に示した構成では、Ｎ、ｎ、Ａｋ、Ｂｋ、Ｘ、Ｙ、Ａ、Ｂ、Ｃ、Ｄ、Ａ１、Ｂ１、Ｃ１、Ｄ１、Ａ２、Ｂ２、Ｃ２、Ｄ２等の文字定数を発明の明確化のために用いたが、これらの数字はあくまで発明特定のための技術上、便宜上のものであり、発明の実施上、これらの名称を用いる必要はない。また、これらの文字定数は、必ずしも、実施形態の文字定数と対応するものでもないし、実施形態で定めた文字定数は、本発明を限定するものではない。
【発明の効果】
【００４７】
本発明によれば、簡易な構成により、必要なターゲットを選択することができ、ターゲットを置き換えなくても撮像装置の光軸方向の検出できる。したがって、本発明によれば、撮像装置の光軸方向のずれを効率よく検出できる。
【発明を実施するための最良の形態】
【００４８】
以下、図面を参照して、本発明に係る光軸検出システムの第１実施形態、第２実施形態について説明する。
【００４９】
（第１実施形態）
図１は、第１実施形態の光軸検出システムの概要を示している。図１（Ａ）は、光軸検出システムの全体を３角法で示している。図１（Ａ）の上が平面図、図１（Ａ）の下が側面図である。図１（Ａ）に示すように、光軸検出システムは、複数のターゲット１と、車両１０内に広角カメラ２１、狭角カメラ２２を備える。また、図１には図示しない光軸検出装置（図２参照）を車両１０内部に備える。
【００５０】
メーカまたは修理工場の作業員は、光軸を調整するとき、図１（Ａ）に示すように、予め、車両１０をターゲット１に正対させる。生産工場または修理工場には、車両１０の車輪の位置を微調整する正対装置（不図示）を備えており、これにより、作業員は、ターゲット１と、車両１０の向きを調整する。
【００５１】
図１（Ｂ）は、ターゲット１を正面から見た図である。図１（Ｂ）に示すように、ターゲット１は、第１ターゲット１１〜第５ターゲット１５を含む。なお、以下、適宜、複数のターゲットをまとめてターゲット１１〜１５などと称する。
【００５２】
ターゲット１は、いずれも、２つの互いに交わる直線で分割された４つの領域を有している。これら４つの領域のうち、１つの対角方向の２つの領域が輝度の高い白（本発明の「第１の輝度」に相当する。）に塗られ、他方の対角方向の２つの領域が輝度の低い黒（本発明の「第２の輝度」に相当する。）で塗られている。
【００５３】
本実施形態では、ターゲット１１〜１５は、２種類に分類される。ターゲット１１〜ターゲット１３は、第１−１種ターゲット（第１実施形態の１種のターゲット）であり、互いに同一の形状である。第４ターゲット１４、第５ターゲット１５は、第１−２種ターゲット（第１実施形態の２種のターゲット）であり、互いに同一の形状である。第１−２種ターゲットは、第１−１種ターゲットを９０度回転した形状になっている。第１−１種ターゲットは、中央および両端に配置されている。第１−２種ターゲットは、第１−１種ターゲットの間に配置されている。
【００５４】
図１（Ｃ）は、広角カメラ２１で撮像した広角画像２１０、狭角カメラ２２で撮像した狭角画像２２０を示している（以下では、適宜、広角カメラ２１、狭角カメラ２２等のカメラが撮像した画像を総称して撮像画像と称する。）。なお、図１（Ｃ）では、広角画像２１０、狭角画像２２０を、比較のために、同一平面に同一縮尺で表している。
【００５５】
作業員は、車両１０をターゲット１と正対させた後、車両１０内部の光軸検出装置（図２の光軸検出装置３０に相当する）を操作する。ここで、光軸検出装置の構成例としては、各カメラ（２１、２２）に備えられたＥＣＵにそれぞれ配置され、各ＥＣＵ全体で、１つの光軸検出装置を構成するようにしてもよい。各ＥＣＵは、別々のターゲットを認識するように構成されており、これにより、光軸検出装置は、各カメラの光軸検出を行う。
【００５６】
広角カメラ２１で第１ターゲット１１を撮像し、その位置を検出する。光軸検出装置は、撮像画像内の第１ターゲット１１の位置に基づいて、ＦＯＥ、即ち縦横方向の光軸を合わせる。そして、図１（Ｃ）に示すように、作業員は、第１−１種ターゲットのうちの外側のターゲットが広角画像２１０内の両端ぎりぎりに写るように、当該外側のターゲットが設定する。また、作業員は、第４ターゲット１４、第５ターゲット１５（第１−２種ターゲット）が狭角画像２２０内の両端ぎりぎりに写るように、第４ターゲット１４、第５ターゲット１５を設定する。このようにターゲット１が設定されていると、広角画像２１０には、すべてのターゲット１が写るが、狭角画像２２０には、第２ターゲット１２、第３ターゲット１３が写らない。広角カメラ２１の撮像画像には、２種類のターゲット（第１−１種ターゲット、第１−２種ターゲット）が写る。車両１０内部の光軸検出装置は、所定の計算式により、第１−１種のターゲットのみを認識し、広角画像２１０内の高さを検出する。これにより、画像処理部は、水平方向に対する広角画像２１０の取り付け角度の傾きを検出できる。
【００５７】
光軸検出装置が狭角カメラ２２についてロール角１０２を計算するときは、車両１０内の画像処理装置は、狭角画像２２０内の両端に位置する第４ターゲット１４、第５ターゲット１５の位置を検出し、狭角画像２２０内のターゲットの縦方向の位置を計算する。図１のようにターゲット１を配置すると、狭角画像２２０の両端には、第１−２種ターゲットの第４ターゲット１４、第５ターゲット１５しか写らない。画像処理部は、第１−２種ターゲットを認識する計算式により、第１−２種ターゲットを認識する。
【００５８】
図２は、車両１０内に備える光軸検出装置３０を示している。光軸検出装置３０は、光軸検出システムの一部であり、例えば、ＥＣＵ（電子制御ユニット）で構成する。光軸検出装置３０は、第１画像処理部３１、第２画像処理部３２、画像表示部４を備える。図２に示すように、広角カメラ２１は、車両前方の広角の範囲の画像、例えば画像２１１を撮像する。狭角カメラ２２は、広角カメラ２１よりも画角が狭い範囲の画像、例えば、画像２２１を撮像する。ただし、光軸を調整するときは、図１に示すようなターゲットを撮像する。
【００５９】
第１画像処理部３１は、広角カメラ２１で撮像した広角画像２１０から第１−１種のターゲットの位置を認識する。これにより、第１画像処理部３１は、ロール角１０２のずれを計算する。第１画像処理部３１は、広角カメラ２１で撮像した広角画像２１０から、第１−１種のターゲットの位置を認識する。これにより、第１画像処理部３１は、ロール角１０２のずれを計算する。画像表示部４は、第１画像処理部３１が計算した広角カメラ２１のロール角１０２のずれを、光軸検出装置の検出結果として表示する。
【００６０】
なお、図２では、広角カメラ２１、狭角カメラ２２と、第１画像処理部３１、第２画像処理部３２とを別々に構成したブロック図を示している。しかし、上記図１で説明したとおり、各カメラ（２１、２２）の内部にそれぞれ画像処理部（３１または３２）、画像表示部４を備えるようにしてもよい。
【００６１】
次に、図３を用いて、ターゲットの認識方法について説明する。図３は、広角画像２１０（図１（Ｃ）と同等）の画素を表している。広角カメラ２１は、画像を撮像すると、２次元に配列された画素それぞれについて、輝度を記憶する。第１画像処理部３１は、広角画像２１０から縦横に隣接する４つの画素の集合（画素集合５）を選択する。
【００６２】
なお、第１画像処理部３１により選択された画素の集合を本願では「画素集合５」と称する。この画素集合５をより一般化すると、本願にいう画素集合は、撮像画像のうちから選択した画素であり、ターゲットを含む画素の集合を探索するための所定の評価関数を計算する演算を行う対象となる画素である。この一般化した概念の画素集合は、本発明の「画素集合」に相当する。
【００６３】
本実施形態において、この画素集合５は、この４つの隣接する画素からなる。画素集合５の選択は、例えば、１画素ずつ４つの画素を選択する位置を移動しながら行えばよい。このとき、第１画像処理部３１は、選択可能なすべての画素集合５を各々選択する。
【００６４】
本実施形態では、説明の都合上、上記画素集合５の４つの画素のうち、左上の輝度の値をＡ、右上の輝度の値をＢ、右下の輝度の値をＣ、左下の輝度の値をＤとする。第１画像処理部３１は、ターゲット１の配色パターンとの合致を評価するための評価関数として、
Ａ＋Ｃ−（Ｂ＋Ｄ） （式１）
を計算する。
【００６５】
ここで、第１−１種のターゲットであるターゲット１１〜１３は、左上、右下の輝度が高い白で、左下、右上の輝度が低い黒で配色されている。したがって、第１画像処理部３１が、Ａ、Ｂ、Ｃ、Ｄとして第１−１種のターゲットの中心（上記２直線の交点）の周囲の４つの画素を選択してこの（式１）を計算したときは、（式１）の計算結果の値は、他の画素集合５を選択したときよりも大きくなる。したがって、この計算結果の値は、広角画像２１０内で最大となるはずである。したがって、第１画像処理部３１は、（式１）の値が最大となる画素集合５を選択することにより、第１種のターゲットの位置だけを選択的に認識できる。
【００６６】
また、第１−２種のターゲットである第４ターゲット１４、第５ターゲット１５は、左下、右上の輝度が高く、左上、右下の輝度が低いように配色されている。したがって、第１画像処理部３１が、Ａ、Ｂ、Ｃ、Ｄとして、第１−１種のターゲットの中心（上記２直線の交点）の周囲の４つの画素を選択して、この（式１）を計算したときは、（式１）の計算結果の値は、他の画素集合５を選択したときよりも小さくなり、この値は広角画像２１０内で最小となる。したがって、第１画像処理部３１は、（式１）の値が最大となる画素集合５を選択することにより、第２種のターゲットの位置だけを選択的に認識できる。
【００６７】
なお、以上では、第１画像処理部３１を用いて説明したが、第２画像処理部３２も同様に第１−１種のターゲット、第１−２種のターゲットを識別できる。ここで、狭角画像２２０にも、第１−１種のターゲット、第１−２種のターゲットが混在するが、第２画像処理部３２は、狭角画像２２０内のどのあたりにターゲットが存在するのかを指定する処理をすることなく、これらのターゲットを識別できる。
【００６８】
次に図４のフロー図を用いて、光軸検出システムの光軸検出処理について説明する。図４（Ａ）は、第１画像処理部３１の光軸検出処理を表している。図４（Ｂ）は、第２画像処理部３２の光軸検出処理を表している。
【００６９】
図４（Ａ）のＳＴ１において、第１画像処理部３１の処理の前提として、作業員は、予め車両１０をターゲット１に正対させておく。
【００７０】
ＳＴ２において、光軸検出装置３０は、広角カメラ２１でターゲット１を撮像する。
【００７１】
ＳＴ３において、第１画像処理部３１は、画素集合５を選択して選択した画素集合について（式１）の計算を行うという処理を繰り返す。
【００７２】
ＳＴ４において、第１画像処理部３１は、（式１）の値が最大となる画素集合を探索し、上位３点の画素集合を抽出する。この上位３点には、第１−１種のターゲットが含まれる。
【００７３】
なお、ＳＴ４は、本発明の「第１の探索手段」または「探索ステップ」に相当する。
【００７４】
ＳＴ５において、第１画像処理部３１は、ＳＴ４で探索したターゲットのうち、中央に位置するターゲットに基づいて、ＦＯＥ（Ｆｏｃｕｓ ＯＦ Ｅｘｐａｎｓｉｏｎ、消失点）のずれを計算する。また、第１画像処理部３１は、ＳＴ４で探索したターゲットのうち、中央に位置するターゲットの位置に基づいて、ロール角１０２のずれを計算する。その後、第１画像処理部３１のフローは終了する。その後、画像表示部４は、ＳＴ５で計算した値を計器部に表示する（または、ＳＴ５で計算した値は、車両１０に接続した光軸調整装置に表示されるようにしてもよい）。
【００７５】
図４（Ｂ）について説明する。
【００７６】
ＳＴ１は、図４（Ａ）と同じ処理である。
【００７７】
ＳＴ１２において、光軸検出装置３０は、狭角カメラ２２でターゲット１を撮像する。このとき、狭角画像２２０には、第１ターゲット１１、第２ターゲット１２、第３ターゲット１３が写る。
【００７８】
ＳＴ１３において、第２画像処理部３２は、ＳＴ３と同様に、画素集合５を選択して選択した画素集合について（式１）の計算を行うという処理を繰り返す。
【００７９】
ＳＴ１４１において、第２画像処理部３２は、（式１）の値が最大となる画素集合５を探索し、上位１点の画素集合５を抽出する。この上位１点には、第１−１種のターゲットである第１ターゲット１１のみが含まれる。
【００８０】
ＳＴ１４２において、第２画像処理部３２は、（式１）の値が最小となる画素集合５を探索し、下位２点の画素集合５を抽出する。この下位２点には、第１−２種のターゲットである第４ターゲット１４、第５ターゲット１５のみが含まれる。
【００８１】
なお、ＳＴ１４１は、本発明の「第１の探索手段」または「探索ステップ」に相当する。また、ＳＴ１４２は、本発明の「第２の探索手段」または「探索ステップ」に相当する。
【００８２】
ＳＴ１５において、第２画像処理部３２は、ＳＴ１４１で探索した中央に位置するターゲット１１に基づいて、ＦＯＥ（Ｆｏｃｕｓ ＯＦ Ｅｘｐａｎｓｉｏｎ、消失点）のずれを計算する。また、第２画像処理部３２は、ＳＴ１４２で探索した狭角画像２２０内の両端に位置する第４ターゲット１４、第５ターゲット１５の位置に基づいて、ロール角１０２のずれを計算する。
【００８３】
以上のとおり、本システムによれば、簡易な計算により、ターゲットの種類を区別できる。したがって、作業員は、ターゲット１を移動したり、隠したりする必要がない。したがって、光軸検出の作業効率を向上させることができる。また、第１画像処理部３１は、検出したターゲットを選別する必要がないから、第１画像処理部３１は、検出したターゲットの位置がどこにあるかの領域判定をする必要がない。したがって、第１画像処理部３１は、処理負荷を増加させることなく、必要なターゲットだけを検出できる。
【００８４】
第１実施形態の図４（Ｂ）のＳＴ１４１、ＳＴ１４２のように、同一の撮像画像について補色関係のターゲットを認識する場合には、第２画像処理部３２は、評価関数の最大値、最小値を計算することにより、第２画像処理部３２は、２つのターゲットを識別できる。したがって、評価関数を共用できる。この場合には、第２画像処理部３２は、評価関数を２つ計算する必要がないから、計算する時間を短縮でき、処理負荷を軽減できる。したがって、第２画像処理部３２は、よりすばやくターゲットを認識できる。
【００８５】
なお、以上では、第１画像処理部３１、第２画像処理部３２がそれぞれ広角画像２１０、狭角画像２２０を処理するとしたが、１つの画像処理部が行ってもよい。以下では、第１画像処理部３１、第２画像処理部３２のいずれかを代表して、または両方合わせたものを総称して、便宜的に画像処理部ということにする。即ち、画像処理部というときは、ターゲットの種類の数を問わず、ターゲットを認識する構成を指すものとする。
【００８６】
（第２実施形態）
次に図５〜図７を用いて、第１実施形態の応用に係る第２の実施形態の光軸検出システムについて説明する。第２実施形態では、第１実施形態とシステム構成は同じであるが、ターゲットの形状およびターゲットの評価関数が異なる。以下では、第１実施形態と同じ部分については、以上の説明を準用し、同じ符号を用いて説明する。
【００８７】
図５は、第２実施形態のターゲットの種類を表している。第２実施形態で用いるターゲットには、第２−１種ターゲット（第２実施形態）６１、第２−２種ターゲット（第２実施形態）６２、第２−３種ターゲット（第２実施形態）６３、第２−４種ターゲット（第２実施形態）６４のいずれかを含む。
【００８８】
なお、以下では、これらの第２実施形態のターゲットのうちのいずれか複数のターゲットを総称するときは、適宜、便宜上、「各種のターゲット６１〜６３」などと称する。
【００８９】
これらのターゲットは、それぞれ、１つの中心点の周囲の領域を４等分する直線により領域が分割されており、かつ、この中心点を中心とする４つの同心円で半径方向に４分割されている。これにより、各種のターゲット６１〜６４は、合計として、４×４＝１６の領域に分割されている。
【００９０】
また、第２−２種ターゲット６２は、第２−１種ターゲット６１を９０度回転したものであり、第２−３種ターゲット６３は、第２−２種ターゲット６２を９０度回転したものである。第２−４種ターゲット６４は、第２−３種ターゲット６３を９０度回転したものである。
【００９１】
第２実施形態の光軸検出システムには、これらの種類のターゲットを組み合わせて配置されており、画像処理部は、これらのターゲットの種類を識別する。画像処理部がこれらのターゲットを認識する場合、画像処理部は、撮像画像から所定の画素領域を選択する。この画素領域は、例えば長方形、正方形の領域とすることができる。画像処理部は、画素領域を１ドットずつ移動させながら、所定の評価関数を用いて、画素領域とターゲットの位置が合致している画素領域を探索する。
【００９２】
画像処理部が計算する評価関数には、画素領域内から２種類の所定のドット集合をそれぞれ選択し、各種類のドットの輝度を合計したものの差を計算するように設定されている。画像処理部がターゲットの輝度の配色パターンとマッチングできるように、この２種類の所定のドットの位置は、それぞれ、ターゲット内の第１の輝度の部分、低い部分の位置と対応している。
【００９３】
図６は、第２実施形態のターゲットに用いる評価関数を示す。図６の第２−１種ターゲット６１、第２−２種ターゲット６２は、図５のそれと対応している。
【００９４】
図６（Ａ）に示すように、画像処理部は、第２−１種ターゲット６１を認識するときは、｛画素領域のうち、ターゲットのうちの第１の輝度の部分［２］＋［３］＋［４］＋［５］＋［７］＋［８］＋［９］＋［１０］＋［１２］＋［１３］＋［１４］＋［１５］に対応する部分のドットを選択し、その選択したドットの輝度を合計したもの｝から、｛ターゲットのうちの上記第１の輝度の部分よりも輝度の低い第２の輝度の部分［１］＋［６］＋［１１］＋［１６］に対応する部分のドットを画素領域から選択し、その選択したドットの輝度を合計したもの｝を差し引いた値を評価関数として計算する。
【００９５】
図６（Ｂ）に示すように、画像処理部は、第２−２種ターゲット６２を認識するときは、｛ターゲットのうちの第１の輝度の部分［１］＋［３］＋［４］＋［５］＋［６］＋［８］＋［９］＋［１０］＋［１１］＋［１４］＋［１５］＋［１６］に対応する部分のドットを画素領域から選択し、その選択したドットの輝度を合計したもの｝から、｛画素領域のうち、ターゲットのうちの上記第１の輝度の部分よりも輝度の低い第２の輝度の部分［２］＋［７］＋［１２］＋［１３］に対応する部分のドットを選択し、その選択したドットの輝度を合計したもの｝を差し引いた値を評価関数として計算する。
【００９６】
なお、第２−３種ターゲット（第２実施形態）６３、第２−４種ターゲット（第２実施形態）６４を認識する場合についても、図６で示した評価関数を容易に応用できる。また、各種のターゲット６１〜６４のスケールと、撮像画像のスケールを合わせるには、広角カメラ２１、狭角カメラ２２等のカメラで、例えば、棒状、または直線状のものを撮像するようにしてもよい。この場合、画像処理部が、これらの棒状、または直線状のものを認識して、スケール調整してもよい。また、図５では、ターゲットのうち、輝度の高い領域が隣接している部分を線で区切っているが、必ずしも区切る必要はない。この点は、第１実施形態、以下の説明を含め、本願において同様とする。
【００９７】
次に、図７を用いて、ターゲットの配置例について説明する。図７（Ａ）の例では、第２−１種ターゲット６１は、中央および両端に設けられている。２つの第２−２種ターゲット６２を第２−１種ターゲット６１の間に設けられている。広角画像２１０には図７（Ａ）に示すすべてのターゲットが映し出されるように、これらのターゲットの位置を設定されている。また、狭角画像２２０には、２つの第２−２種ターゲット６２および中央に配置した第２−１種ターゲット６１が映し出されるように、これらのターゲットが設定されている。画像処理部は、図６で示した方法により、第２−１種ターゲット６１と第２−２種ターゲット６２を識別して、広角カメラ２１のロール角１０２を計算する。
【００９８】
図７（Ｂ）の例では、図７（Ｂ）に示す各種のターゲット６１〜６４を使用する前提として、光軸検出システムは、図１、図２の構成に加えて、さらに広角の第３のカメラ、第４のカメラ（不図示）を車両１０に備えている。光軸検出装置（第１実施形態の光軸検出装置３０に相当する）は、広角画像２１０（第１の画像とする）、狭角画像２２０（第２の画像とする）のほかに、さらに広角の第３の画像２３０、第３の画像２３より広角の第４の画像２４０を撮像する。
【００９９】
図７（Ｂ）は、図１（Ｃ）と同様、これらの４台のカメラが撮像した画像を比較のために、同一平面に同一縮尺で表している。図７（Ｂ）に示すターゲットを用いた光軸検出システムでは、図７（Ａ）に示すターゲットのほかに、第２−３種ターゲット（第２実施形態）６３、第２−４種ターゲット（第２実施形態）６４が、それぞれ第３の画像２３０、第４の画像２４０の撮像範囲内の一番外側に配置されている。光軸検出システムは、第２の画像から、第２−２種ターゲット６２を認識して、ロール角１０２を計算する。また、光軸検出システムは、第３の画像２３０から、第２−３種ターゲット６３を認識して、ロール角を検出する（ここでのロール角は、ロール角１０２と対応する。以下単にロール角というときは、同様である）。光軸検出システムは、第４の画像２４０から、第２−４種ターゲット６４を認識して、ロール角を検出する。
【０１００】
ここで、以上の実施形態のターゲットについて、補足説明を以下に行う。
【０１０１】
第２実施形態のターゲットを応用して、１つの種類のターゲットを回転して複数のターゲットを複数（＝ｎ個とする）作成するには、１つの方法として、（Ａ）ｎ個の同心円で領域を分割し、（Ｂ）この同心円の中心点の周囲を直線でｎ等分し、これら（Ａ）、（Ｂ）により、ｎの２乗個の領域に分割して、（Ｃ）ある円とその直近の外側の円との間の輪にできるｎ個の領域のうち１つの領域だけを輝度が低い／高い領域に配色し、かつ（Ｄ）３６０度／ｎずつ互いに違う角度で回転したターゲットを作成する方法が可能である。この場合において、ターゲットを認識する際の耐ノイズ性能を向上させるためには、ターゲットの上記のとおり分割した領域のうち、半径方向に隣接する領域が同じ輝度にならないようにするのが好ましい。
【０１０２】
また、光軸検出システムが、互いに補色関係にある２種類のターゲットを備えれば、光軸検出システムは、図６に示す評価関数と同様の評価関数で、２種類のターゲットを識別できる。本願において、互いに補色関係にある２種類のターゲットとは、便宜上、一方のターゲットにおいて輝度が高い第１の輝度に配色されている部分が、他方のターゲットにおいて、第１の輝度の部分よりも輝度が低い第２の輝度に配色されていることを指す。即ち互いに補色関係にある２種類のターゲットとは、２種類のターゲットが、その配色を互いに交換したことをいうものとし、必ずしも完全に補色関係にあることを要しないものとする。例えば、第１実施形態の第１−１種ターゲット、第１−２種ターゲットは、この補色関係にある。ここで、互いに補色関係にある２種類のターゲットＸ、Ｙの評価関数について考察すると、その一方のターゲットＸの評価関数は、他方の評価関数Ｙを正負逆にしたものに相当する。したがって、このようにターゲットを構成すれば、光軸検出システムは、１つの評価関数を計算し、その最小値、最大値を計算することにより、２種類のターゲットを識別できる。
【０１０３】
図８に、第２実施形態のターゲットの上記補色関係を応用する例を示す。第３−１種ターゲット６１０、第３−２種ターゲット６２０、第３−３種ターゲット６３０、第３−４種ターゲット６４０は、それぞれ、第２−１種ターゲット６１、第２−２種ターゲット６２、第２−３種ターゲット６３、第２−４種ターゲット６４と補色関係にある。光軸検出システムは、第２−１種ターゲット６１、第２−２種ターゲット６２、第２−３種ターゲット６３、第２−４種ターゲット６４の４つの評価関数を計算し、その最小値を計算する。これにより、光軸検出システムは、第３−１種ターゲット６１０、第３−２種ターゲット６２０、第３−３種ターゲット６３０、第３−４種ターゲット６４０を識別できる。したがって、これら第２−ｘ種、第３−ｘ種（ｘ＝１〜４）のターゲットを用いれば、画像処理部は、４つの評価関数で４×２＝８種類のターゲットを識別できる。
【０１０４】
さらに、上記補色関係を一般化すると、光軸検出システムは、上記ｎ個のターゲットを識別する評価関数で、２×ｎ種類のターゲットを識別できる。
【０１０５】
以上で示した第１実施形態、第２実施形態をさらに以下のように一般化することができる。即ち、本発明の実施形態の光軸検出システムは、ターゲット１を、予め定めた輝度が高い部分と輝度が低い部分に配色されている。この配色のパターンを、複数種類のターゲットを識別するため、光軸検出システムは、複数種類のターゲットを備える。画像処理部は、画素集合を選択したときに画素集合の中から所定の画素を選択して画素のきどを計算する計算式を予め記憶している。画像処理部は、画素集合を選択する。この画素集合は、例えば、撮像画像のうちの長方形または正方形の領域とすることができる。画像処理部は、ターゲットの輝度のパターン（即ち、第１の輝度の部分、上記第１の輝度の部分よりも輝度の低い第２の輝度の部分の配置のパターン）を検出できるように、この計算式を用いて、ターゲットのうちの第１の輝度の部分のパターンと同じパターンで画素を選択し、選択した画素の輝度の合計ＳＨを計算する。画像処理部は、画素集合のうち、ターゲットの上記第１の輝度の部分よりも輝度の低い第２の輝度の部分のパターンと同じパターンで画素を選択し、選択した画素の輝度の合計ＳＬを計算する。画像処理部が計算する計算式は、この２つの合計の差ＳＨ―ＳＬである。そして、画像処理部は、撮像画像から、画素集合の位置を１ドットずつ移動させながら、上記計算式による計算を行い、ターゲットとのバターンの合致を判断する。画像処理部は、上記第１の輝度の部分よりも輝度の低い第２の輝度の部分と高い分の差をパターンマッチングするので、上記第１の輝度の部分よりも輝度の低い第２の輝度の部分だけを入力するのに比べて、耐ノイズ性能を向上させることができる。
【０１０６】
例えば、図３に示す第１実施形態の例では、４つの画素からなる画素集合のＡ、Ｂ、Ｃ、Ｄのうち、Ａ、Ｃが、第１ターゲット１１内の第１の輝度の部分に対応している。当該第１の輝度の部分Ａ、Ｃの輝度の和がＳＨに相当する。４つの画素からなる画素集合のＡ、Ｂ、Ｃ、Ｄのうち、Ｂ、Ｄが、第１ターゲット１１内の上記第１の輝度の部分よりも輝度の低い第２の輝度の部分に対応している。４つの画素からなる画素集合の上記第１の輝度の部分よりも輝度の低い第２の輝度の部分Ｂ、Ｄの輝度の和がＳＬに相当する。
【０１０７】
なお、第１実施形態では、画像処理部は、Ａ、Ｂ、Ｃ、Ｄをそれぞれ１つの画素として計算したが、複数の画素の集合として、（式１）において、Ａ、Ｂ、Ｃ、Ｄを複数の画素の輝度の合計としてもよい。
【０１０８】
また、以上の実施形態では、ターゲットとして、白と黒を用いた。しかし、ターゲットは、他の色でもよく、第１のグレーと、第２のグレーを用いてもよい。ターゲットにグレーやその他の色を用いる場合において、上記の補色関係にある場合とは、ある２つのターゲット（ターゲットａ、ｂとする。）が、互いに、色を交換したものとすることができる。ターゲットａに対し、補色関係のターゲットｂを作成するには、ターゲットａについて、第１のグレーに配色されているものを第２のグレーに置き換え、ターゲットａのうち、第２のグレーに配色されているものを第１のグレーに置き換えることにより可能である。ただし、第１のグレーと、第２のグレーの色の輝度の差が大きい方が好ましい。したがって、白と黒をターゲットの配色として用いるのがより好ましい。
【０１０９】
また、ターゲットの着色方法は、印刷、ペイントなど、どのような方法でもよく、ターゲットが着色されていればよい。ターゲットの設置方法は、各種類のターゲットをそれぞれ立てて設置してもよいし、１枚のパネルに複数種類、複数のターゲットを貼り付けてもよい。各種類のターゲットをそれぞれ立てて設置する場合には、複数のターゲットの１まとまりをセットとしたものが、本発明の「ターゲット」に相当する。また、第１実施形態において、４つの四角を４つの扇形に代えて実施してもよい。第１実施形態では、中心点の周囲が４分割されていれば、周囲の形状を問わず、この実施形態の効果を奏しうる。
【産業上の利用可能性】
【０１１０】
本発明は、例えば、車両、船舶等の移動体に搭載する撮像装置に応用できる。
【図面の簡単な説明】
【０１１１】
【図１】本発明の第１実施形態に係る光軸検出システムの概要
【図２】本発明の第１実施形態に係る光軸検出装置の構成
【図３】本発明の第１実施形態に係るターゲットの認識方法
【図４】本発明の第１実施形態に係る光軸検出システムの光軸検出処理を行うフロー
【図５】本発明の第２実施形態に係るターゲットの種類
【図６】本発明の第２実施形態に係るターゲットを用いたターゲットの認識方法
【図７】本発明の第２実施形態に係るターゲットの配置例
【図８】本発明の第２実施形態に係るターゲットの応用例
【図９】従来の光軸検出システムの概要
【符号の説明】
【０１１２】
１…ターゲット
１０…車両
１１…第１ターゲット（第１−１種ターゲット、第１実施形態）
１２…第２ターゲット（第１−２種ターゲット、第１実施形態）
１３…第３ターゲット（第１−３種ターゲット、第１実施形態）
１４…第４ターゲット（第１−４種ターゲット、第１実施形態）
１５…第５ターゲット（第１−５種ターゲット、第１実施形態）
２１…広角カメラ
２２…狭角カメラ
２１０…広角画像（第１の画像）
２２０…狭角画像（第２の画像）
２３０…狭角画像（第３の画像）
２４０…狭角画像（第４の画像）
３０…光軸検出装置
３１…第１画像処理部
３２…第２画像処理部
４…画像表示部
５…画素集合
５１〜５４…部分
６１…第２−１種ターゲット（第２実施形態）
６２…第２−２種ターゲット（第２実施形態）
６３…第２−３種ターゲット（第２実施形態）
６４…第２−４種ターゲット（第２実施形態）
６１０…第３−１種ターゲット（第２実施形態の応用例）
６２０…第３−２種ターゲット（第２実施形態の応用例）
６３０…第３−３種ターゲット（第２実施形態の応用例）
６４０…第３−４種ターゲット（第２実施形態の応用例）
１００…車両
１０１…ターゲット
１０２…ロール角
１２１…広角カメラ
１２２…狭角カメラ
【技術分野】
【０００１】
本発明は、複数台の撮像装置の光軸の検出に関する。
【背景技術】
【０００２】
従来より、車両の前方の安全確認や車両レーンの制御等のために、前方に向けて撮像装置（２次元画像を撮像する装置であって、入力する光は可視光、電波を問わない、以下、本願において撮像装置、カメラというときは同じ。）を設置している車両があった。このようなカメラを設置する場合、カメラの向き（光軸）を、ロール角、車両進行方向（ＦＯＥ、Ｆｏｃｕｓ Ｏｆ Ｅｘｐａｎｓｉｏｎ）について合わせる調整が必要である。このカメラの向きを合わせる方法として、画像の視野角ぎりぎりの内側に２点、中央に１点の格子のターゲットを車両の前方に設けて、カメラの向きを測定する方法があった（特許文献１等）。
【０００３】
また、近年、車両には、必要な画角（Ａｎｇｌｅ ｏｆ ｖｉｅｗ、即ち、カメラの視野角）に対応して、広角から狭角まで２台ないしそれ以上の台数のカメラを設けることがなされている。これらのカメラを設けた場合には、複数台のカメラの光軸を互いに合わせる必要がある。
【０００４】
図９を用いて、複数台のカメラの光軸を調整する従来の方法について説明する。図９（Ａ）は、光軸検出システムの全体図を３角法で表している。光軸検出システムは、メーカの出荷時、修理工場での修理時などに作業員により使用される。図９（Ａ）に示すように、光軸検出システムは、複数のターゲット１０１、および車両１００内に設けられた広角カメラ１２１、狭角カメラ１２２を備える。広角カメラ１２１、狭角カメラ１２２は、ターゲット１０１を撮像する。図９（Ｂ）は、広角カメラ１２１または狭角カメラ１２２が撮像した撮像画像１０４を表している。撮像画像１０４には、３つのターゲット１０１が写る。３つのターゲット１０１は、すべて同じ形状であり、２つの互いに交わる直線で分割された４領域のうち、１つの対角に位置する２領域は、輝度の高い白で塗られ、その他の２領域は輝度の低い黒で塗られている。３つのターゲット１０１のうちの中央のターゲットは撮像方向の縦方向、横方向を調整するための基準である。各カメラは、内部に、それぞれＥＣＵ（電子制御ユニット）を備えている。ＥＣＵは、中央のターゲットを用いて、ＦＯＥおよび撮像方向のずれを検出する。また、ターゲット１０１のうち、両端のターゲットは、撮像画像１０４内の両端ぎりぎり（即ち、広角カメラ１２１または狭角カメラ１２２の画角いっぱい）に配置されている。上記ＥＣＵは、両端のターゲットを用いて、広角カメラ１２１または狭角カメラ１２２の光軸のロール角１０２を検出する（ここで、ロール角１０２は、水平方向に対する広角画像２１０の取り付け角度の傾きを意味するものとする。以下、本願において同じ）。このように、両端のターゲット１０１が撮像画像１０４内の両端ぎりぎりに撮像されるようにするのは、ターゲット１０１間が離れている方が、ロール角１０２の測定精度を高めることができるためである。
【特許文献１】特開２００５−１４３０４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の方法では、以下のような問題があった。図９（Ｃ）、図９（Ｄ）、図９（Ｅ）を用いてこれを説明する。
【０００６】
図９（Ｃ）は、広角カメラ１２１の画角を示す。図９（Ｄ）は、狭角カメラ１２２の画角を示す。図９（Ｃ）に示すように、作業員は、広角カメラ１２１を調整するときは、ターゲット１０１を広角カメラ１２１の画角いっぱいになるよう、ターゲット１０１を設定する。これにより作業員は、ロール角１０２のずれを測定する。狭角カメラ１２２を調整するときは、作業員が狭角カメラ１２２の画角の範囲にターゲット１０１が入るようにターゲット１０１を移動するか、またはロボットがターゲットを移動していた。
【０００７】
しかし、調整の際に作業員がターゲットを移動させると、作業効率が低下する。また、ターゲットを細工したり、不要なターゲットを覆って検出されないようにしても、作業効率が低下する。また、パネルの表示を電光掲示板のように変更するのも大掛かりであり、そのための電力コストが必要になったり、故障したりする虞がある。
【０００８】
そこで、作業効率を高めるには、５つのターゲットを並べて検査することが考えられる。しかし、図９（Ｅ）に示すように、従来の方法では、上記ＥＣＵは５点のターゲットを区別できない。したがって、上記ＥＣＵは、５点のいずれのターゲットも検出してしまう。５点のターゲットからロール角を検出するための３点を選択するのは、５点のターゲットから３点を選択する処理が余分に必要であった。ここで、ＥＣＵに搭載するプログラムの容量は小さくとも貴重であり、その容量を小さく切り詰めることが求められ、かつ、処理負荷を軽減することが求められている。このような環境で余分な処理を行うことは、処理が不安定になったりする問題を引き起こす虞があった。
【０００９】
そこで、本発明は、撮像装置の光軸方向のずれを効率よく検出できるようにすることを目的とする。その目的の解決のために、ターゲットを置き換えなくても、撮像装置の光軸方向のずれを検出すること、および、必要なターゲットを選択する処理の負荷を軽減することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、以下の構成を備えることができる。
【００１１】
（１） 本発明は、
画像を撮像する複数の撮像装置の光軸のずれを検出する光軸検出装置において、
上記撮像装置の前方に配置された複数種類のターゲットを認識する認識手段と、
上記ターゲットを認識した位置に基づいて光軸のずれを検出する検出手段と、を備え、
上記認識手段は、上記撮像装置で撮像した撮像画像の画素のうちから、上記撮像画像の一部の画素集合を選択し、当該一部の画素集合内の画素の輝度に関する所定の和算および減算からなる演算に基づいて、当該演算の結果が最大値または最小値となる上記画素集合を探索する探索手段を複数種類備えることを特徴とする光軸検出装置である。
【００１２】
この構成では、認識手段の探索手段は、当該一部の画素集合内の（複数の）画素の輝度に関する所定の和算および減算からなる演算に基づいて、当該演算の結果が最大値または最小値となる上記画素集合を探索する。したがって、探索手段は、簡易な計算により、撮像画像のうち、ターゲットのパターンと合致する画素を探索できる。したがって、光軸検出装置は、ターゲットを複数配置したまま、所定の撮像装置に適したターゲットを選択できる。したがって、光軸検出装置は、ターゲットを置き換えなくても撮像装置の光軸方向の検出できる。また、図９（Ｅ）に示したようなターゲットを選択する処理をする必要がないから、処理の負担が軽減されうる。
【００１３】
なお、探索手段が複数種類あるとは、探索する演算、および探索方法（最大値を指標とするか、最小値を指標とするかという探索方法）が複数種類あるということである。探索する演算が同じでも上記探索方法のみが異なっていれば、探索手段が複数種類あるものとする。探索手段は、同一の装置内に設けることは要しない。例えば、略同一方向へ光軸を調整する必要性がある複数のカメラについて、探索手段が複数種類、存在すれば足り、別々の筐体に探索装置を設けてもよい。より具体的には、各カメラ内部のＥＣＵに探索手段をソフトウェアとして組み込んでもよい。探索手段が別々の装置内に組み込まれていても、探索手段の種類が異なる限り、全体として１つの光軸検出装置が組み込まれているということができ、その光軸検出装置は、本発明の効果を奏する。（２）以下の光軸検出装置、光軸検出システム、光軸検出方法も同様である。
【００１４】
また、撮像装置は、本発明に必須ではないが、撮像装置は、この構成の光軸検出装置と一体でもよい。
【００１５】
（２） 上記探索手段は、上記演算として、上記撮像画像のうちの一部の画素集合をＡｋ（ｋ＝１〜Ｎ、Ｎは自然数）とし、Ａｋのうちの所定のパターンで選択した画素集合Ｂｋの輝度の合計値Ｘと、上記画素集合Ａｋのうちの上記画素集合Ｂｋ以外の画素集合Ｃｋの輝度の合計値Ｙと、の差（Ｘ−Ｙ）を計算するようにしてもよい。
【００１６】
この構成では、所定のパターンで画素を選択し、輝度の合計の差を計算する。例えば、画素集合Ｂｋをターゲットの輝度の明るい部分に対応させ、画素集合Ｃｋを輝度の暗い部分に対応させるようにすれば、撮像画像のうち、差Ｘｋ−Ｙｋが最大となる画素集合は、そのターゲットと合致させることができる。また、画素集合Ｂｋをターゲットの輝度の暗い部分に対応させ、画素集合Ｃｋを輝度の明るい部分に対応させるようにすれば、撮像画像のうち、差Ｘｋ−Ｙｋが最小となる画素集合は、そのターゲットと合致する部分である。
【００１７】
したがって、探索手段は、このような簡易な計算により、撮像画像のうち、ターゲットのパターンと合致する画素を探索できる。輝度の差を計算するので、一方だけの合計ＸｋまたはＹｋを計算するよりも、コントラストを強めた画像で画像の合致を認識することができるので、耐ノイズ性能を向上できると期待できる。
【００１８】
（３） 上記複数種類の探索手段は、
上記差（Ｘ−Ｙ）が最大値となる上記画素集合を探索する第１の探索手段と、
上記第１の探索手段で用いた撮像画像を撮像した上記撮像装置と同じまたは異なる撮像装置で撮像した撮像画像について、上記差（Ｘ−Ｙ）が最小値となる上記画素集合を探索する第２の探索手段を備えるようにしてもよい。
【００１９】
この構成では、探索手段は、評価関数として、（Ｘ−Ｙ）を用い、評価方法として（Ｘ−Ｙ）の最大値、最小値を用いている。したがって、この探索手段によれば、（Ｘ−Ｙ）、（Ｙ−Ｘ）の評価関数を計算したことに等しい。したがって、Ｘ−Ｙの身の評価関数を用いるに比べて、２倍の数のターゲットを判別できる。この構成は、（４）に記載の補色関係のターゲットを用いた場合には、特に有効である。
【００２０】
なお、この構成から明らかなように、（Ｘ−Ｙ）は、第１の探索手段、第２の探索手段で使用する撮像画像は、同一の撮像装置で撮像したことを要しない。また、第１の探索手段、第２の探索手段は、結果的に上記で定義した探索と同等のことを行っていれば足り、例えば、差（Ｙ−Ｘ）が最大値となる画素集合を探索することは、結果的に、上記（３）の構成に示す、「差（Ｘ−Ｙ）が最小値となる画素集合を探索する」ことに帰着する。
【００２１】
（４） 複数の撮像装置の光軸のずれを検出する光軸ずれ検出装置において、
上記複数の種類の探索手段は、第１の探索手段、第２の探索手段を有し、
上記第１の探索手段、上記第２の探索手段は、
上記撮像画像のうちの一部の画素集合として、互いに縦横に隣接する４つの画素（当該画素を時計回りにＡ１、Ｂ１、Ｃ１、Ｄ１とする）を選択した場合に、上記４つの画素のうち対角に隣接する画素同士の輝度を足し算した２つの和（Ａ１＋Ｃ１）、（Ｂ１＋Ｄ１）同士の差の値を上記演算として計算する第１の計算手段、
または、
上記撮像画像のうちの一部の画素集合として、互いに縦横に隣接する４つの領域（当該４つの領域を時計回りにＡ２、Ｂ２、Ｃ２、Ｄ２とする）を選択した場合に、それぞれの領域Ａ、Ｂ、Ｃ、Ｄ内の画素の輝度の合計ａ、ｂ、ｃ、ｄを計算し、上記輝度の合計ａ、ｂ、ｃ、ｄを対角に隣接する領域について足し算した２つの和（ａ＋ｃ）、（ｂ＋ｄ）同士の差の値を上記演算として計算する第２の計算手段、のいずれかを備え、
上記第１の探索手段は、上記２つの和（Ａ１＋Ｃ１）、（Ｂ１＋Ｄ１）同士の差の値または上記２つの和（ａ＋ｃ）、（ｂ＋ｄ）同士の差の値が最大となる上記画素集合を上記撮像画像の画素の全体から選択し、
上記第２の探索手段は、上記２つの和（Ａ１＋Ｃ１）、（Ｂ１＋Ｄ１）同士の差の値または上記２つの和（ａ＋ｃ）、（ｂ＋ｄ）同士の差の値が最小となる上記画素集合を上記撮像画像の画素の全体から選択するようにしてもよい。
【００２２】
この構成では、特に、中心点の周囲を４分割された領域のうち、１つの対角が黒、他方の対角が白で配色されたターゲットの中心を認識するのに効果的である。ここで、ターゲットの４つの領域を右回りにＡ、Ｂ、Ｃ、Ｄとすると、４つの領域は、２方向に隣接している。即ち、Ａ、Ｃが隣接し、またＢ、Ｄが隣接している。この構成では、このようなターゲットを認識できるよう、探索手段は、２つの対角の画素の和（Ａ＋Ｃ、Ｂ＋Ｄの２つの和が存在する）を計算し、この和同士の引き算を行う。第２の計算手段は、４つの領域内の画素の合計ａ、ｂ、ｃ、ｄをそれぞれ計算し、上記合計ａ、ｂ、ｃ、ｄを足し算した２つの和ａ＋ｃ、ｂ＋ｄ同士の差の値を上記演算として計算する（以上は第２の計算手段を用いた場合の説明であるが、第１の計算手段を用いた場合は、上記２つの和（Ａ１＋Ｃ１）、（Ｂ１＋Ｄ１）同士の差の値を用いて以上の説明を適用する。）。したがって、上記４分割された領域を有するターゲットが２種類ある。２種類のターゲットの色合いが互いに補色関係にあるように配置されているターゲットに対して、認識手段は、第１の計算手段または第２の計算手段により、簡易な計算で、ターゲットを識別できる。第１の計算手段または第２の計算手段は、上記演算を１つの画素集合について１回のみ行えば足りる。第１の探索手段は、上記差の値が最大となる部分を選択することで、１種のターゲットを認識できる。第２の探索手段は、上記差の値が最小となる部分を選択することで、他の１種のターゲットを認識できる。
【００２３】
（５） 本発明は、
画像を撮像する複数の撮像装置のそれぞれの光軸のずれを検出するためのターゲットにおいて、
上記ターゲットは、配色が異なる複数種類のターゲットを含み、上記複数種類のターゲットのうち一部またはすべての、その配色が互いに補色関係にあることにより、上記配色が異なっていることを特徴とするターゲットである。
【００２４】
この構成において、配色とは、色の配置、色のパターン等を表す。この構成のターゲットによれば、上記複数種類のターゲットのうち、一部またはすべての種類の配色は、互いに補色関係にあるから、上記演算を１つの画素集合について１回のみ行えば足りる。即ち、このターゲットを用いて光軸のずれを検出すれば、光軸検出装置は、上記差の値が最大となる部分を選択することにより、１種のターゲットを認識できる。探索手段は、上記差の値が最小となる部分を選択することで、他の１種のターゲットを認識できる。
【００２５】
（６） 上記ターゲットには、第１種のターゲット、第２種のターゲットを含み、
上記第１種のターゲット、上記第２種のターゲットは、いずれも、互いに交差する２直線の交点を中心にして分割された４領域を有すると共に、当該４領域のうちの一方の互いに対角な２領域は、第１の輝度の色で着色され、他方の互いに対角な２領域が上記第１の輝度よりも輝度の低い第２の輝度の色で着色され、
上記第１種のターゲットは、上記４領域のうち、上記第１の輝度の領域の位置が、上記第２種のターゲットの上記第２の輝度の領域の位置と対応し、４分割された領域のうち、上記第２の輝度の領域の位置が、上記第２種のターゲットの第１の輝度の領域の位置と対応していることにより、上記第１種のターゲット、上記第２種のターゲットは、その配色が互いに上記補色関係にあるようにしてもよい。
【００２６】
この構成は、単に、従来のように４分割された領域に区分けされたターゲットを用いているのではなく、第１種のターゲット、第２種のターゲットを、一方の第１の輝度の部分の位置が他方の上記第１の輝度の部分よりも輝度の低い第２の輝度の部分の位置と対応するように構成している。これにより、上記第１種、第２種のターゲットの配色は、互いに上記補色関係にあるという特徴を有する。この構成の２種類のターゲットは互いに補色関係に構成されているので、光軸検出装置は、（４）と同様に、１回の演算で、２つのターゲットを識別できる。
【００２７】
（７） 上記第１種のターゲット、上記第２種のターゲットは、いずれも、上記４領域が、上記互いに交差する２直線の交点を中心にして、ほぼ縦横に均等に４分割されているようにしてもよい。
【００２８】
この構成のターゲットは、均等に４分割されているので、１種類のターゲットを回転するだけで、もう１種類のターゲットを構成できる。これらの２つのターゲットは、互いに補色関係にあり、上記（５）の効果を有するターゲットを簡易に構成できる。
【００２９】
（８） 本発明は、
撮像した画像に基づいて、光軸のずれを検出するためのターゲットにおいて、
上記ターゲットは、配色が異なる複数種類のターゲットを含み、
それぞれの種類の上記ターゲットは、１点を中心とする複数の円弧と、上記中心を端点とする複数の直線または上記中心を通る複数の直線と、により分割された複数の円弧領域が、第１の輝度の色と上記第１の輝度よりも輝度の低い第２の輝度の色とに配色がなされており、当該配色のパターンは、上記ターゲットの種類により互いに異なっていることを特徴とするターゲットである。
【００３０】
この構成のターゲットの配色のパターンは、上記ターゲットの種類により互いに異なっているので、光軸検出装置は、これらのパターンを識別し、必要なターゲットの位置を探索することができる。したがって、ターゲットを置き換えなくても撮像装置の光軸方向の検出できる。
【００３１】
なお、この構成では、複数の円弧領域の境界は、必ずしも第１の輝度の部分と低い部分で隣接していることを要さない。また、複数の円弧領域の境界線は、明示の線で分割されていなくてもよく、例えば、図６に示すように、輝度が同じ円弧領域同士が隣接する場合に、境界線が、別の輝度の色の直線で分割されている必要はない。
【００３２】
（９） 上記複数の直線は、上記複数種類のターゲットのいずれにおいても、上記１点の周囲を等分しており（この等分の数をｎ等分とする）、
上記複数種類のターゲットは、ｎ種類含み、１の種類のターゲットを３６０度／ｎずつ回転してｎ種類形成されているようにしてもよい。
【００３３】
この構成では、上記直線によりｎ等分された数のターゲットを、１つのターゲットを回転して構成しているので、ｎ種類の互いに異なるターゲットを容易に作成できる。
【００３４】
（１０） 本発明は、
画像を撮像する複数の撮像装置と、上記撮像装置のそれぞれの光軸のずれを検出する光軸ずれ検出システムにおいて、
上記（１）に記載の光軸検出装置と、
上記撮像装置の前方に配置された複数種類のターゲットと、を備え、
上記複数種類のターゲットは、それぞれ第１の輝度の色と上記第１の輝度よりも輝度の低い第２の輝度の色とに配色がなされ、かつ、上記ターゲットの種類に対応して、互いに上記配色が異なっており、
上記光軸検出装置の探索手段は、上記演算として、上記ターゲットの上記配色に対応して定めた所定のパターンの画素を選択して、その画素の輝度の和を計算することを特徴とする光軸検出システムである。
【００３５】
この構成の各種ターゲットは、互いに配色が異なっている。探索手段は、上記ターゲットの上記配色に対応して定めた所定のパターンの画素について輝度の和算を行う。したがって、探索手段は、例えば、この和算の大小等を対比することにより、ターゲットの配色パターンと合致する画素集合を選択できる。
【００３６】
（１１） 画像を撮像する複数の撮像装置と、上記撮像装置のそれぞれの光軸のずれを検出する光軸ずれ検出システムにおいて、
上記撮像装置の前方に配置された上記（６）に記載のターゲットと、
上記（４）に記載の光軸検出装置を備えるようにしてもよい。
【００３７】
この構成では、認識手段は、ターゲットのパターンに対応して定めた、対角同士の足し算引き算という簡易な計算式で、２種類の上記ターゲットを識別することができる。したがって、計算式が簡易であるため、ハードウェアの負担を軽減でき計算時間を短縮できる。また、補色関係にあるターゲットを用いているので、１つの計算式で、最大の部分と最小の部分を探索することにより、２種類の上記ターゲットを識別することができる。計算式の値が最大となる部分と最小となる部分を１つの撮像画像について探索する場合には、評価関数の計算を共用できる。この場合には、さらにハードウェアの負担を軽減でき、計算時間を短縮できる。
【００３８】
（１２） 画像を撮像する複数の撮像装置と、上記撮像装置のそれぞれの光軸のずれを検出する光軸ずれ検出システムにおいて、
上記撮像装置の前方に配置された上記（８）に記載のターゲットと、
上記（２）に記載の光軸検出装置を備え、
上記光軸検出装置の上記複数種類の探索手段は、それぞれ、上記複数種類のターゲットの上記第１の輝度、上記第２の輝度の配色パターンと対応して、上記画素集合Ｂｋ、Ｃｋが定められているようにしてもよい。
【００３９】
この構成では、上記（８）に記載のターゲットを用いている。また、この構成では、第１の輝度、上記第２の輝度の配色パターンと対応して、輝度の合計の差Ｘ−Ｙを計算することにより、光軸検出システムは、３種類以上のターゲットを識別できる。
【００４０】
（１３） 上記撮像装置は、それぞれ、異なる画角の撮像画像を撮像し、
上記複数種類のターゲットは、各々、上記撮像画像の両端に撮像されるように配置され、
上記認識手段は、撮像画像に含まれる複数種類のターゲットから、上記撮像画像の両端に撮像されるように配置されたターゲットを認識するようにしてもよい。
【００４１】
例えば撮像装置のロール角度のずれを検出する場合、その検出精度を向上させるために、画像内の外側よりぎりぎりの位置にターゲットが配置されるように、光軸検出システムを構成するのが望ましい。この場合、例えば、狭角画像、広角画像を撮像するために２つの撮像装置を設けた場合には、広角画像の内側に、狭角画像用のターゲットが配置されることになる。そして、狭角画像および広角画像を撮像するときにターゲットを置き換えないとすれば、広角画像から２種類のターゲットを認識する必要がある。
【００４２】
この構成では、ターゲットは、上記ターゲットの種類に対応して、互いに上記配色が異なっており、認識手段は配色が異なったターゲットを認識するから、広角画像から２種類のターゲットを認識することができ、ターゲットを置き換えなくて済む。
【００４３】
（１４） 本発明は、
画像を撮像する複数の撮像装置の光軸のずれを検出する光軸検出方法において、
上記撮像装置の光軸を検出するための複数のターゲットであって、それぞれ第１の輝度と、上記第１の輝度よりも輝度の低い第２の輝度とに配色がなされ、かつ、上記ターゲットの種類に対応して、互いに上記配色の仕方が異なっているターゲットを用いて、
上記撮像装置で撮像した撮像画像の画素のうちから、上記撮像画像のうちの一部の画素集合を選択し、当該一部の画素集合について定めた輝度に関する所定の和算および減算からなる演算を行い、当該演算の結果が最大値または最小値となる上記画素集合を探索する探索ステップと、
上記最大値または上記最小値をとる画素領域を選択することにより、１種類の上記ターゲットを認識するターゲット認識ステップと、を実行し、
上記探索ステップでは、上記演算として、上記ターゲットの上記配色に対応して定めた所定のパターンの画素について上記和算を行うことを特徴とする光軸検出方法としてもよい。
【００４４】
この構成は、（１０）の構成を方法にしたものである。
【００４５】
（１５） 画像を撮像する複数の撮像装置の光軸のずれを検出する光軸検出方法において、
上記ターゲットとして、上記（４）に記載のターゲットを用い、
上記探索ステップでは、上記演算の結果の最大値および最小値を各画素集合について計算し、
上記ターゲット認識ステップでは、上記最大値、上記最小値をとる画素集合を選択することにより、２種類の上記ターゲットを認識するようにしてもよい。
【００４６】
なお、以上に示した構成では、Ｎ、ｎ、Ａｋ、Ｂｋ、Ｘ、Ｙ、Ａ、Ｂ、Ｃ、Ｄ、Ａ１、Ｂ１、Ｃ１、Ｄ１、Ａ２、Ｂ２、Ｃ２、Ｄ２等の文字定数を発明の明確化のために用いたが、これらの数字はあくまで発明特定のための技術上、便宜上のものであり、発明の実施上、これらの名称を用いる必要はない。また、これらの文字定数は、必ずしも、実施形態の文字定数と対応するものでもないし、実施形態で定めた文字定数は、本発明を限定するものではない。
【発明の効果】
【００４７】
本発明によれば、簡易な構成により、必要なターゲットを選択することができ、ターゲットを置き換えなくても撮像装置の光軸方向の検出できる。したがって、本発明によれば、撮像装置の光軸方向のずれを効率よく検出できる。
【発明を実施するための最良の形態】
【００４８】
以下、図面を参照して、本発明に係る光軸検出システムの第１実施形態、第２実施形態について説明する。
【００４９】
（第１実施形態）
図１は、第１実施形態の光軸検出システムの概要を示している。図１（Ａ）は、光軸検出システムの全体を３角法で示している。図１（Ａ）の上が平面図、図１（Ａ）の下が側面図である。図１（Ａ）に示すように、光軸検出システムは、複数のターゲット１と、車両１０内に広角カメラ２１、狭角カメラ２２を備える。また、図１には図示しない光軸検出装置（図２参照）を車両１０内部に備える。
【００５０】
メーカまたは修理工場の作業員は、光軸を調整するとき、図１（Ａ）に示すように、予め、車両１０をターゲット１に正対させる。生産工場または修理工場には、車両１０の車輪の位置を微調整する正対装置（不図示）を備えており、これにより、作業員は、ターゲット１と、車両１０の向きを調整する。
【００５１】
図１（Ｂ）は、ターゲット１を正面から見た図である。図１（Ｂ）に示すように、ターゲット１は、第１ターゲット１１〜第５ターゲット１５を含む。なお、以下、適宜、複数のターゲットをまとめてターゲット１１〜１５などと称する。
【００５２】
ターゲット１は、いずれも、２つの互いに交わる直線で分割された４つの領域を有している。これら４つの領域のうち、１つの対角方向の２つの領域が輝度の高い白（本発明の「第１の輝度」に相当する。）に塗られ、他方の対角方向の２つの領域が輝度の低い黒（本発明の「第２の輝度」に相当する。）で塗られている。
【００５３】
本実施形態では、ターゲット１１〜１５は、２種類に分類される。ターゲット１１〜ターゲット１３は、第１−１種ターゲット（第１実施形態の１種のターゲット）であり、互いに同一の形状である。第４ターゲット１４、第５ターゲット１５は、第１−２種ターゲット（第１実施形態の２種のターゲット）であり、互いに同一の形状である。第１−２種ターゲットは、第１−１種ターゲットを９０度回転した形状になっている。第１−１種ターゲットは、中央および両端に配置されている。第１−２種ターゲットは、第１−１種ターゲットの間に配置されている。
【００５４】
図１（Ｃ）は、広角カメラ２１で撮像した広角画像２１０、狭角カメラ２２で撮像した狭角画像２２０を示している（以下では、適宜、広角カメラ２１、狭角カメラ２２等のカメラが撮像した画像を総称して撮像画像と称する。）。なお、図１（Ｃ）では、広角画像２１０、狭角画像２２０を、比較のために、同一平面に同一縮尺で表している。
【００５５】
作業員は、車両１０をターゲット１と正対させた後、車両１０内部の光軸検出装置（図２の光軸検出装置３０に相当する）を操作する。ここで、光軸検出装置の構成例としては、各カメラ（２１、２２）に備えられたＥＣＵにそれぞれ配置され、各ＥＣＵ全体で、１つの光軸検出装置を構成するようにしてもよい。各ＥＣＵは、別々のターゲットを認識するように構成されており、これにより、光軸検出装置は、各カメラの光軸検出を行う。
【００５６】
広角カメラ２１で第１ターゲット１１を撮像し、その位置を検出する。光軸検出装置は、撮像画像内の第１ターゲット１１の位置に基づいて、ＦＯＥ、即ち縦横方向の光軸を合わせる。そして、図１（Ｃ）に示すように、作業員は、第１−１種ターゲットのうちの外側のターゲットが広角画像２１０内の両端ぎりぎりに写るように、当該外側のターゲットが設定する。また、作業員は、第４ターゲット１４、第５ターゲット１５（第１−２種ターゲット）が狭角画像２２０内の両端ぎりぎりに写るように、第４ターゲット１４、第５ターゲット１５を設定する。このようにターゲット１が設定されていると、広角画像２１０には、すべてのターゲット１が写るが、狭角画像２２０には、第２ターゲット１２、第３ターゲット１３が写らない。広角カメラ２１の撮像画像には、２種類のターゲット（第１−１種ターゲット、第１−２種ターゲット）が写る。車両１０内部の光軸検出装置は、所定の計算式により、第１−１種のターゲットのみを認識し、広角画像２１０内の高さを検出する。これにより、画像処理部は、水平方向に対する広角画像２１０の取り付け角度の傾きを検出できる。
【００５７】
光軸検出装置が狭角カメラ２２についてロール角１０２を計算するときは、車両１０内の画像処理装置は、狭角画像２２０内の両端に位置する第４ターゲット１４、第５ターゲット１５の位置を検出し、狭角画像２２０内のターゲットの縦方向の位置を計算する。図１のようにターゲット１を配置すると、狭角画像２２０の両端には、第１−２種ターゲットの第４ターゲット１４、第５ターゲット１５しか写らない。画像処理部は、第１−２種ターゲットを認識する計算式により、第１−２種ターゲットを認識する。
【００５８】
図２は、車両１０内に備える光軸検出装置３０を示している。光軸検出装置３０は、光軸検出システムの一部であり、例えば、ＥＣＵ（電子制御ユニット）で構成する。光軸検出装置３０は、第１画像処理部３１、第２画像処理部３２、画像表示部４を備える。図２に示すように、広角カメラ２１は、車両前方の広角の範囲の画像、例えば画像２１１を撮像する。狭角カメラ２２は、広角カメラ２１よりも画角が狭い範囲の画像、例えば、画像２２１を撮像する。ただし、光軸を調整するときは、図１に示すようなターゲットを撮像する。
【００５９】
第１画像処理部３１は、広角カメラ２１で撮像した広角画像２１０から第１−１種のターゲットの位置を認識する。これにより、第１画像処理部３１は、ロール角１０２のずれを計算する。第１画像処理部３１は、広角カメラ２１で撮像した広角画像２１０から、第１−１種のターゲットの位置を認識する。これにより、第１画像処理部３１は、ロール角１０２のずれを計算する。画像表示部４は、第１画像処理部３１が計算した広角カメラ２１のロール角１０２のずれを、光軸検出装置の検出結果として表示する。
【００６０】
なお、図２では、広角カメラ２１、狭角カメラ２２と、第１画像処理部３１、第２画像処理部３２とを別々に構成したブロック図を示している。しかし、上記図１で説明したとおり、各カメラ（２１、２２）の内部にそれぞれ画像処理部（３１または３２）、画像表示部４を備えるようにしてもよい。
【００６１】
次に、図３を用いて、ターゲットの認識方法について説明する。図３は、広角画像２１０（図１（Ｃ）と同等）の画素を表している。広角カメラ２１は、画像を撮像すると、２次元に配列された画素それぞれについて、輝度を記憶する。第１画像処理部３１は、広角画像２１０から縦横に隣接する４つの画素の集合（画素集合５）を選択する。
【００６２】
なお、第１画像処理部３１により選択された画素の集合を本願では「画素集合５」と称する。この画素集合５をより一般化すると、本願にいう画素集合は、撮像画像のうちから選択した画素であり、ターゲットを含む画素の集合を探索するための所定の評価関数を計算する演算を行う対象となる画素である。この一般化した概念の画素集合は、本発明の「画素集合」に相当する。
【００６３】
本実施形態において、この画素集合５は、この４つの隣接する画素からなる。画素集合５の選択は、例えば、１画素ずつ４つの画素を選択する位置を移動しながら行えばよい。このとき、第１画像処理部３１は、選択可能なすべての画素集合５を各々選択する。
【００６４】
本実施形態では、説明の都合上、上記画素集合５の４つの画素のうち、左上の輝度の値をＡ、右上の輝度の値をＢ、右下の輝度の値をＣ、左下の輝度の値をＤとする。第１画像処理部３１は、ターゲット１の配色パターンとの合致を評価するための評価関数として、
Ａ＋Ｃ−（Ｂ＋Ｄ） （式１）
を計算する。
【００６５】
ここで、第１−１種のターゲットであるターゲット１１〜１３は、左上、右下の輝度が高い白で、左下、右上の輝度が低い黒で配色されている。したがって、第１画像処理部３１が、Ａ、Ｂ、Ｃ、Ｄとして第１−１種のターゲットの中心（上記２直線の交点）の周囲の４つの画素を選択してこの（式１）を計算したときは、（式１）の計算結果の値は、他の画素集合５を選択したときよりも大きくなる。したがって、この計算結果の値は、広角画像２１０内で最大となるはずである。したがって、第１画像処理部３１は、（式１）の値が最大となる画素集合５を選択することにより、第１種のターゲットの位置だけを選択的に認識できる。
【００６６】
また、第１−２種のターゲットである第４ターゲット１４、第５ターゲット１５は、左下、右上の輝度が高く、左上、右下の輝度が低いように配色されている。したがって、第１画像処理部３１が、Ａ、Ｂ、Ｃ、Ｄとして、第１−１種のターゲットの中心（上記２直線の交点）の周囲の４つの画素を選択して、この（式１）を計算したときは、（式１）の計算結果の値は、他の画素集合５を選択したときよりも小さくなり、この値は広角画像２１０内で最小となる。したがって、第１画像処理部３１は、（式１）の値が最大となる画素集合５を選択することにより、第２種のターゲットの位置だけを選択的に認識できる。
【００６７】
なお、以上では、第１画像処理部３１を用いて説明したが、第２画像処理部３２も同様に第１−１種のターゲット、第１−２種のターゲットを識別できる。ここで、狭角画像２２０にも、第１−１種のターゲット、第１−２種のターゲットが混在するが、第２画像処理部３２は、狭角画像２２０内のどのあたりにターゲットが存在するのかを指定する処理をすることなく、これらのターゲットを識別できる。
【００６８】
次に図４のフロー図を用いて、光軸検出システムの光軸検出処理について説明する。図４（Ａ）は、第１画像処理部３１の光軸検出処理を表している。図４（Ｂ）は、第２画像処理部３２の光軸検出処理を表している。
【００６９】
図４（Ａ）のＳＴ１において、第１画像処理部３１の処理の前提として、作業員は、予め車両１０をターゲット１に正対させておく。
【００７０】
ＳＴ２において、光軸検出装置３０は、広角カメラ２１でターゲット１を撮像する。
【００７１】
ＳＴ３において、第１画像処理部３１は、画素集合５を選択して選択した画素集合について（式１）の計算を行うという処理を繰り返す。
【００７２】
ＳＴ４において、第１画像処理部３１は、（式１）の値が最大となる画素集合を探索し、上位３点の画素集合を抽出する。この上位３点には、第１−１種のターゲットが含まれる。
【００７３】
なお、ＳＴ４は、本発明の「第１の探索手段」または「探索ステップ」に相当する。
【００７４】
ＳＴ５において、第１画像処理部３１は、ＳＴ４で探索したターゲットのうち、中央に位置するターゲットに基づいて、ＦＯＥ（Ｆｏｃｕｓ ＯＦ Ｅｘｐａｎｓｉｏｎ、消失点）のずれを計算する。また、第１画像処理部３１は、ＳＴ４で探索したターゲットのうち、中央に位置するターゲットの位置に基づいて、ロール角１０２のずれを計算する。その後、第１画像処理部３１のフローは終了する。その後、画像表示部４は、ＳＴ５で計算した値を計器部に表示する（または、ＳＴ５で計算した値は、車両１０に接続した光軸調整装置に表示されるようにしてもよい）。
【００７５】
図４（Ｂ）について説明する。
【００７６】
ＳＴ１は、図４（Ａ）と同じ処理である。
【００７７】
ＳＴ１２において、光軸検出装置３０は、狭角カメラ２２でターゲット１を撮像する。このとき、狭角画像２２０には、第１ターゲット１１、第２ターゲット１２、第３ターゲット１３が写る。
【００７８】
ＳＴ１３において、第２画像処理部３２は、ＳＴ３と同様に、画素集合５を選択して選択した画素集合について（式１）の計算を行うという処理を繰り返す。
【００７９】
ＳＴ１４１において、第２画像処理部３２は、（式１）の値が最大となる画素集合５を探索し、上位１点の画素集合５を抽出する。この上位１点には、第１−１種のターゲットである第１ターゲット１１のみが含まれる。
【００８０】
ＳＴ１４２において、第２画像処理部３２は、（式１）の値が最小となる画素集合５を探索し、下位２点の画素集合５を抽出する。この下位２点には、第１−２種のターゲットである第４ターゲット１４、第５ターゲット１５のみが含まれる。
【００８１】
なお、ＳＴ１４１は、本発明の「第１の探索手段」または「探索ステップ」に相当する。また、ＳＴ１４２は、本発明の「第２の探索手段」または「探索ステップ」に相当する。
【００８２】
ＳＴ１５において、第２画像処理部３２は、ＳＴ１４１で探索した中央に位置するターゲット１１に基づいて、ＦＯＥ（Ｆｏｃｕｓ ＯＦ Ｅｘｐａｎｓｉｏｎ、消失点）のずれを計算する。また、第２画像処理部３２は、ＳＴ１４２で探索した狭角画像２２０内の両端に位置する第４ターゲット１４、第５ターゲット１５の位置に基づいて、ロール角１０２のずれを計算する。
【００８３】
以上のとおり、本システムによれば、簡易な計算により、ターゲットの種類を区別できる。したがって、作業員は、ターゲット１を移動したり、隠したりする必要がない。したがって、光軸検出の作業効率を向上させることができる。また、第１画像処理部３１は、検出したターゲットを選別する必要がないから、第１画像処理部３１は、検出したターゲットの位置がどこにあるかの領域判定をする必要がない。したがって、第１画像処理部３１は、処理負荷を増加させることなく、必要なターゲットだけを検出できる。
【００８４】
第１実施形態の図４（Ｂ）のＳＴ１４１、ＳＴ１４２のように、同一の撮像画像について補色関係のターゲットを認識する場合には、第２画像処理部３２は、評価関数の最大値、最小値を計算することにより、第２画像処理部３２は、２つのターゲットを識別できる。したがって、評価関数を共用できる。この場合には、第２画像処理部３２は、評価関数を２つ計算する必要がないから、計算する時間を短縮でき、処理負荷を軽減できる。したがって、第２画像処理部３２は、よりすばやくターゲットを認識できる。
【００８５】
なお、以上では、第１画像処理部３１、第２画像処理部３２がそれぞれ広角画像２１０、狭角画像２２０を処理するとしたが、１つの画像処理部が行ってもよい。以下では、第１画像処理部３１、第２画像処理部３２のいずれかを代表して、または両方合わせたものを総称して、便宜的に画像処理部ということにする。即ち、画像処理部というときは、ターゲットの種類の数を問わず、ターゲットを認識する構成を指すものとする。
【００８６】
（第２実施形態）
次に図５〜図７を用いて、第１実施形態の応用に係る第２の実施形態の光軸検出システムについて説明する。第２実施形態では、第１実施形態とシステム構成は同じであるが、ターゲットの形状およびターゲットの評価関数が異なる。以下では、第１実施形態と同じ部分については、以上の説明を準用し、同じ符号を用いて説明する。
【００８７】
図５は、第２実施形態のターゲットの種類を表している。第２実施形態で用いるターゲットには、第２−１種ターゲット（第２実施形態）６１、第２−２種ターゲット（第２実施形態）６２、第２−３種ターゲット（第２実施形態）６３、第２−４種ターゲット（第２実施形態）６４のいずれかを含む。
【００８８】
なお、以下では、これらの第２実施形態のターゲットのうちのいずれか複数のターゲットを総称するときは、適宜、便宜上、「各種のターゲット６１〜６３」などと称する。
【００８９】
これらのターゲットは、それぞれ、１つの中心点の周囲の領域を４等分する直線により領域が分割されており、かつ、この中心点を中心とする４つの同心円で半径方向に４分割されている。これにより、各種のターゲット６１〜６４は、合計として、４×４＝１６の領域に分割されている。
【００９０】
また、第２−２種ターゲット６２は、第２−１種ターゲット６１を９０度回転したものであり、第２−３種ターゲット６３は、第２−２種ターゲット６２を９０度回転したものである。第２−４種ターゲット６４は、第２−３種ターゲット６３を９０度回転したものである。
【００９１】
第２実施形態の光軸検出システムには、これらの種類のターゲットを組み合わせて配置されており、画像処理部は、これらのターゲットの種類を識別する。画像処理部がこれらのターゲットを認識する場合、画像処理部は、撮像画像から所定の画素領域を選択する。この画素領域は、例えば長方形、正方形の領域とすることができる。画像処理部は、画素領域を１ドットずつ移動させながら、所定の評価関数を用いて、画素領域とターゲットの位置が合致している画素領域を探索する。
【００９２】
画像処理部が計算する評価関数には、画素領域内から２種類の所定のドット集合をそれぞれ選択し、各種類のドットの輝度を合計したものの差を計算するように設定されている。画像処理部がターゲットの輝度の配色パターンとマッチングできるように、この２種類の所定のドットの位置は、それぞれ、ターゲット内の第１の輝度の部分、低い部分の位置と対応している。
【００９３】
図６は、第２実施形態のターゲットに用いる評価関数を示す。図６の第２−１種ターゲット６１、第２−２種ターゲット６２は、図５のそれと対応している。
【００９４】
図６（Ａ）に示すように、画像処理部は、第２−１種ターゲット６１を認識するときは、｛画素領域のうち、ターゲットのうちの第１の輝度の部分［２］＋［３］＋［４］＋［５］＋［７］＋［８］＋［９］＋［１０］＋［１２］＋［１３］＋［１４］＋［１５］に対応する部分のドットを選択し、その選択したドットの輝度を合計したもの｝から、｛ターゲットのうちの上記第１の輝度の部分よりも輝度の低い第２の輝度の部分［１］＋［６］＋［１１］＋［１６］に対応する部分のドットを画素領域から選択し、その選択したドットの輝度を合計したもの｝を差し引いた値を評価関数として計算する。
【００９５】
図６（Ｂ）に示すように、画像処理部は、第２−２種ターゲット６２を認識するときは、｛ターゲットのうちの第１の輝度の部分［１］＋［３］＋［４］＋［５］＋［６］＋［８］＋［９］＋［１０］＋［１１］＋［１４］＋［１５］＋［１６］に対応する部分のドットを画素領域から選択し、その選択したドットの輝度を合計したもの｝から、｛画素領域のうち、ターゲットのうちの上記第１の輝度の部分よりも輝度の低い第２の輝度の部分［２］＋［７］＋［１２］＋［１３］に対応する部分のドットを選択し、その選択したドットの輝度を合計したもの｝を差し引いた値を評価関数として計算する。
【００９６】
なお、第２−３種ターゲット（第２実施形態）６３、第２−４種ターゲット（第２実施形態）６４を認識する場合についても、図６で示した評価関数を容易に応用できる。また、各種のターゲット６１〜６４のスケールと、撮像画像のスケールを合わせるには、広角カメラ２１、狭角カメラ２２等のカメラで、例えば、棒状、または直線状のものを撮像するようにしてもよい。この場合、画像処理部が、これらの棒状、または直線状のものを認識して、スケール調整してもよい。また、図５では、ターゲットのうち、輝度の高い領域が隣接している部分を線で区切っているが、必ずしも区切る必要はない。この点は、第１実施形態、以下の説明を含め、本願において同様とする。
【００９７】
次に、図７を用いて、ターゲットの配置例について説明する。図７（Ａ）の例では、第２−１種ターゲット６１は、中央および両端に設けられている。２つの第２−２種ターゲット６２を第２−１種ターゲット６１の間に設けられている。広角画像２１０には図７（Ａ）に示すすべてのターゲットが映し出されるように、これらのターゲットの位置を設定されている。また、狭角画像２２０には、２つの第２−２種ターゲット６２および中央に配置した第２−１種ターゲット６１が映し出されるように、これらのターゲットが設定されている。画像処理部は、図６で示した方法により、第２−１種ターゲット６１と第２−２種ターゲット６２を識別して、広角カメラ２１のロール角１０２を計算する。
【００９８】
図７（Ｂ）の例では、図７（Ｂ）に示す各種のターゲット６１〜６４を使用する前提として、光軸検出システムは、図１、図２の構成に加えて、さらに広角の第３のカメラ、第４のカメラ（不図示）を車両１０に備えている。光軸検出装置（第１実施形態の光軸検出装置３０に相当する）は、広角画像２１０（第１の画像とする）、狭角画像２２０（第２の画像とする）のほかに、さらに広角の第３の画像２３０、第３の画像２３より広角の第４の画像２４０を撮像する。
【００９９】
図７（Ｂ）は、図１（Ｃ）と同様、これらの４台のカメラが撮像した画像を比較のために、同一平面に同一縮尺で表している。図７（Ｂ）に示すターゲットを用いた光軸検出システムでは、図７（Ａ）に示すターゲットのほかに、第２−３種ターゲット（第２実施形態）６３、第２−４種ターゲット（第２実施形態）６４が、それぞれ第３の画像２３０、第４の画像２４０の撮像範囲内の一番外側に配置されている。光軸検出システムは、第２の画像から、第２−２種ターゲット６２を認識して、ロール角１０２を計算する。また、光軸検出システムは、第３の画像２３０から、第２−３種ターゲット６３を認識して、ロール角を検出する（ここでのロール角は、ロール角１０２と対応する。以下単にロール角というときは、同様である）。光軸検出システムは、第４の画像２４０から、第２−４種ターゲット６４を認識して、ロール角を検出する。
【０１００】
ここで、以上の実施形態のターゲットについて、補足説明を以下に行う。
【０１０１】
第２実施形態のターゲットを応用して、１つの種類のターゲットを回転して複数のターゲットを複数（＝ｎ個とする）作成するには、１つの方法として、（Ａ）ｎ個の同心円で領域を分割し、（Ｂ）この同心円の中心点の周囲を直線でｎ等分し、これら（Ａ）、（Ｂ）により、ｎの２乗個の領域に分割して、（Ｃ）ある円とその直近の外側の円との間の輪にできるｎ個の領域のうち１つの領域だけを輝度が低い／高い領域に配色し、かつ（Ｄ）３６０度／ｎずつ互いに違う角度で回転したターゲットを作成する方法が可能である。この場合において、ターゲットを認識する際の耐ノイズ性能を向上させるためには、ターゲットの上記のとおり分割した領域のうち、半径方向に隣接する領域が同じ輝度にならないようにするのが好ましい。
【０１０２】
また、光軸検出システムが、互いに補色関係にある２種類のターゲットを備えれば、光軸検出システムは、図６に示す評価関数と同様の評価関数で、２種類のターゲットを識別できる。本願において、互いに補色関係にある２種類のターゲットとは、便宜上、一方のターゲットにおいて輝度が高い第１の輝度に配色されている部分が、他方のターゲットにおいて、第１の輝度の部分よりも輝度が低い第２の輝度に配色されていることを指す。即ち互いに補色関係にある２種類のターゲットとは、２種類のターゲットが、その配色を互いに交換したことをいうものとし、必ずしも完全に補色関係にあることを要しないものとする。例えば、第１実施形態の第１−１種ターゲット、第１−２種ターゲットは、この補色関係にある。ここで、互いに補色関係にある２種類のターゲットＸ、Ｙの評価関数について考察すると、その一方のターゲットＸの評価関数は、他方の評価関数Ｙを正負逆にしたものに相当する。したがって、このようにターゲットを構成すれば、光軸検出システムは、１つの評価関数を計算し、その最小値、最大値を計算することにより、２種類のターゲットを識別できる。
【０１０３】
図８に、第２実施形態のターゲットの上記補色関係を応用する例を示す。第３−１種ターゲット６１０、第３−２種ターゲット６２０、第３−３種ターゲット６３０、第３−４種ターゲット６４０は、それぞれ、第２−１種ターゲット６１、第２−２種ターゲット６２、第２−３種ターゲット６３、第２−４種ターゲット６４と補色関係にある。光軸検出システムは、第２−１種ターゲット６１、第２−２種ターゲット６２、第２−３種ターゲット６３、第２−４種ターゲット６４の４つの評価関数を計算し、その最小値を計算する。これにより、光軸検出システムは、第３−１種ターゲット６１０、第３−２種ターゲット６２０、第３−３種ターゲット６３０、第３−４種ターゲット６４０を識別できる。したがって、これら第２−ｘ種、第３−ｘ種（ｘ＝１〜４）のターゲットを用いれば、画像処理部は、４つの評価関数で４×２＝８種類のターゲットを識別できる。
【０１０４】
さらに、上記補色関係を一般化すると、光軸検出システムは、上記ｎ個のターゲットを識別する評価関数で、２×ｎ種類のターゲットを識別できる。
【０１０５】
以上で示した第１実施形態、第２実施形態をさらに以下のように一般化することができる。即ち、本発明の実施形態の光軸検出システムは、ターゲット１を、予め定めた輝度が高い部分と輝度が低い部分に配色されている。この配色のパターンを、複数種類のターゲットを識別するため、光軸検出システムは、複数種類のターゲットを備える。画像処理部は、画素集合を選択したときに画素集合の中から所定の画素を選択して画素のきどを計算する計算式を予め記憶している。画像処理部は、画素集合を選択する。この画素集合は、例えば、撮像画像のうちの長方形または正方形の領域とすることができる。画像処理部は、ターゲットの輝度のパターン（即ち、第１の輝度の部分、上記第１の輝度の部分よりも輝度の低い第２の輝度の部分の配置のパターン）を検出できるように、この計算式を用いて、ターゲットのうちの第１の輝度の部分のパターンと同じパターンで画素を選択し、選択した画素の輝度の合計ＳＨを計算する。画像処理部は、画素集合のうち、ターゲットの上記第１の輝度の部分よりも輝度の低い第２の輝度の部分のパターンと同じパターンで画素を選択し、選択した画素の輝度の合計ＳＬを計算する。画像処理部が計算する計算式は、この２つの合計の差ＳＨ―ＳＬである。そして、画像処理部は、撮像画像から、画素集合の位置を１ドットずつ移動させながら、上記計算式による計算を行い、ターゲットとのバターンの合致を判断する。画像処理部は、上記第１の輝度の部分よりも輝度の低い第２の輝度の部分と高い分の差をパターンマッチングするので、上記第１の輝度の部分よりも輝度の低い第２の輝度の部分だけを入力するのに比べて、耐ノイズ性能を向上させることができる。
【０１０６】
例えば、図３に示す第１実施形態の例では、４つの画素からなる画素集合のＡ、Ｂ、Ｃ、Ｄのうち、Ａ、Ｃが、第１ターゲット１１内の第１の輝度の部分に対応している。当該第１の輝度の部分Ａ、Ｃの輝度の和がＳＨに相当する。４つの画素からなる画素集合のＡ、Ｂ、Ｃ、Ｄのうち、Ｂ、Ｄが、第１ターゲット１１内の上記第１の輝度の部分よりも輝度の低い第２の輝度の部分に対応している。４つの画素からなる画素集合の上記第１の輝度の部分よりも輝度の低い第２の輝度の部分Ｂ、Ｄの輝度の和がＳＬに相当する。
【０１０７】
なお、第１実施形態では、画像処理部は、Ａ、Ｂ、Ｃ、Ｄをそれぞれ１つの画素として計算したが、複数の画素の集合として、（式１）において、Ａ、Ｂ、Ｃ、Ｄを複数の画素の輝度の合計としてもよい。
【０１０８】
また、以上の実施形態では、ターゲットとして、白と黒を用いた。しかし、ターゲットは、他の色でもよく、第１のグレーと、第２のグレーを用いてもよい。ターゲットにグレーやその他の色を用いる場合において、上記の補色関係にある場合とは、ある２つのターゲット（ターゲットａ、ｂとする。）が、互いに、色を交換したものとすることができる。ターゲットａに対し、補色関係のターゲットｂを作成するには、ターゲットａについて、第１のグレーに配色されているものを第２のグレーに置き換え、ターゲットａのうち、第２のグレーに配色されているものを第１のグレーに置き換えることにより可能である。ただし、第１のグレーと、第２のグレーの色の輝度の差が大きい方が好ましい。したがって、白と黒をターゲットの配色として用いるのがより好ましい。
【０１０９】
また、ターゲットの着色方法は、印刷、ペイントなど、どのような方法でもよく、ターゲットが着色されていればよい。ターゲットの設置方法は、各種類のターゲットをそれぞれ立てて設置してもよいし、１枚のパネルに複数種類、複数のターゲットを貼り付けてもよい。各種類のターゲットをそれぞれ立てて設置する場合には、複数のターゲットの１まとまりをセットとしたものが、本発明の「ターゲット」に相当する。また、第１実施形態において、４つの四角を４つの扇形に代えて実施してもよい。第１実施形態では、中心点の周囲が４分割されていれば、周囲の形状を問わず、この実施形態の効果を奏しうる。
【産業上の利用可能性】
【０１１０】
本発明は、例えば、車両、船舶等の移動体に搭載する撮像装置に応用できる。
【図面の簡単な説明】
【０１１１】
【図１】本発明の第１実施形態に係る光軸検出システムの概要
【図２】本発明の第１実施形態に係る光軸検出装置の構成
【図３】本発明の第１実施形態に係るターゲットの認識方法
【図４】本発明の第１実施形態に係る光軸検出システムの光軸検出処理を行うフロー
【図５】本発明の第２実施形態に係るターゲットの種類
【図６】本発明の第２実施形態に係るターゲットを用いたターゲットの認識方法
【図７】本発明の第２実施形態に係るターゲットの配置例
【図８】本発明の第２実施形態に係るターゲットの応用例
【図９】従来の光軸検出システムの概要
【符号の説明】
【０１１２】
１…ターゲット
１０…車両
１１…第１ターゲット（第１−１種ターゲット、第１実施形態）
１２…第２ターゲット（第１−２種ターゲット、第１実施形態）
１３…第３ターゲット（第１−３種ターゲット、第１実施形態）
１４…第４ターゲット（第１−４種ターゲット、第１実施形態）
１５…第５ターゲット（第１−５種ターゲット、第１実施形態）
２１…広角カメラ
２２…狭角カメラ
２１０…広角画像（第１の画像）
２２０…狭角画像（第２の画像）
２３０…狭角画像（第３の画像）
２４０…狭角画像（第４の画像）
３０…光軸検出装置
３１…第１画像処理部
３２…第２画像処理部
４…画像表示部
５…画素集合
５１〜５４…部分
６１…第２−１種ターゲット（第２実施形態）
６２…第２−２種ターゲット（第２実施形態）
６３…第２−３種ターゲット（第２実施形態）
６４…第２−４種ターゲット（第２実施形態）
６１０…第３−１種ターゲット（第２実施形態の応用例）
６２０…第３−２種ターゲット（第２実施形態の応用例）
６３０…第３−３種ターゲット（第２実施形態の応用例）
６４０…第３−４種ターゲット（第２実施形態の応用例）
１００…車両
１０１…ターゲット
１０２…ロール角
１２１…広角カメラ
１２２…狭角カメラ
【特許請求の範囲】
【請求項１】
画像を撮像する複数の撮像装置の光軸のずれを検出する光軸検出装置において、
前記撮像装置の前方に配置された複数種類のターゲットを認識する認識手段と、
前記ターゲットを認識した位置に基づいて光軸のずれを検出する検出手段と、を備え、
前記認識手段は、前記撮像装置で撮像した撮像画像の画素のうちから、前記撮像画像の一部の画素集合を選択し、当該一部の画素集合内の画素の輝度に関する所定の和算および減算からなる演算に基づいて、当該演算の結果が最大値または最小値となる前記画素集合を探索する探索手段を複数種類備えることを特徴とする光軸検出装置。
【請求項２】
前記探索手段は、前記演算として、前記撮像画像のうちの一部の画素集合をＡｋ（ｋ＝１〜Ｎ、Ｎは自然数）とし、Ａｋのうちの所定のパターンで選択した画素集合Ｂｋの輝度の合計値Ｘと、前記画素集合Ａｋのうちの前記画素集合Ｂｋ以外の画素集合Ｃｋの輝度の合計値Ｙと、の差（Ｘ−Ｙ）を計算することを特徴とする請求項１に記載の光軸検出装置。
【請求項３】
前記複数種類の探索手段は、
前記差（Ｘ−Ｙ）が最大値となる前記画素集合を探索する第１の探索手段と、
前記第１の探索手段で用いた撮像画像を撮像した前記撮像装置と同じまたは異なる撮像装置で撮像した撮像画像について、前記差（Ｘ−Ｙ）が最小値となる前記画素集合を探索する第２の探索手段を備えることを特徴とする請求項２に記載の光軸検出装置。
【請求項４】
複数の撮像装置の光軸のずれを検出する光軸ずれ検出装置において、
前記複数の種類の探索手段は、第１の探索手段、第２の探索手段を有し、
前記第１の探索手段、前記第２の探索手段は、
前記撮像画像のうちの一部の画素集合として、互いに縦横に隣接する４つの画素（当該画素を時計回りにＡ１、Ｂ１、Ｃ１、Ｄ１とする）を選択した場合に、前記４つの画素のうち対角に隣接する画素同士の輝度を足し算した２つの和（Ａ１＋Ｃ１）、（Ｂ１＋Ｄ１）同士の差の値を前記演算として計算する第１の計算手段、
または、
前記撮像画像のうちの一部の画素集合として、互いに縦横に隣接する４つの領域（当該４つの領域を時計回りにＡ２、Ｂ２、Ｃ２、Ｄ２とする）を選択した場合に、それぞれの領域Ａ、Ｂ、Ｃ、Ｄ内の画素の輝度の合計ａ、ｂ、ｃ、ｄを計算し、前記輝度の合計ａ、ｂ、ｃ、ｄを対角に隣接する領域について足し算した２つの和（ａ＋ｃ）、（ｂ＋ｄ）同士の差の値を前記演算として計算する第２の計算手段、のいずれかを備え、
前記第１の探索手段は、前記２つの和（Ａ１＋Ｃ１）、（Ｂ１＋Ｄ１）同士の差の値または前記２つの和（ａ＋ｃ）、（ｂ＋ｄ）同士の差の値が最大となる前記画素集合を前記撮像画像の画素の全体から選択し、
前記第２の探索手段は、前記２つの和（Ａ１＋Ｃ１）、（Ｂ１＋Ｄ１）同士の差の値または前記２つの和（ａ＋ｃ）、（ｂ＋ｄ）同士の差の値が最小となる前記画素集合を前記撮像画像の画素の全体から選択することを特徴とする請求項１に記載の光軸検出装置。
【請求項５】
画像を撮像する複数の撮像装置のそれぞれの光軸のずれを検出するためのターゲットにおいて、
前記ターゲットは、配色が異なる複数種類のターゲットを含み、前記複数種類のターゲットのうち一部またはすべての、その配色が互いに補色関係にあることにより、前記配色が異なっていることを特徴とするターゲット。
【請求項６】
前記ターゲットには、第１種のターゲット、第２種のターゲットを含み、
前記第１種のターゲット、前記第２種のターゲットは、いずれも、互いに交差する２直線の交点を中心にして分割された４領域を有すると共に、当該４領域のうちの一方の互いに対角な２領域は、第１の輝度の色で着色され、他方の互いに対角な２領域が前記第１の輝度よりも輝度の低い第２の輝度の色で着色され、
前記第１種のターゲットは、前記４領域のうち、前記第１の輝度の領域の位置が、前記第２種のターゲットの前記第２の輝度の領域の位置と対応し、４分割された領域のうち、前記第２の輝度の領域の位置が、前記第２種のターゲットの第１の輝度の領域の位置と対応していることにより、前記第１種のターゲット、前記第２種のターゲットは、その配色が互いに前記補色関係にあることを特徴とする請求項５に記載のターゲット。
【請求項７】
前記第１種のターゲット、前記第２種のターゲットは、いずれも、前記４領域が、前記互いに交差する２直線の交点を中心にして、ほぼ縦横に均等に４分割されていることを特徴とする請求項６に記載のターゲット。
【請求項８】
撮像した画像に基づいて、光軸のずれを検出するためのターゲットにおいて、
前記ターゲットは、配色が異なる複数種類のターゲットを含み、
それぞれの種類の前記ターゲットは、１点を中心とする複数の円弧と、前記中心を端点とする複数の直線または前記中心を通る複数の直線と、により分割された複数の円弧領域が、第１の輝度の色と前記第１の輝度よりも輝度の低い第２の輝度の色とに配色がなされており、当該配色のパターンは、前記ターゲットの種類により互いに異なっていることを特徴とするターゲット。
【請求項９】
前記複数の直線は、前記複数種類のターゲットのいずれにおいても、前記１点の周囲を等分しており（この等分の数をｎ等分とする）、
前記複数種類のターゲットは、ｎ種類含み、１の種類のターゲットを３６０度／ｎずつ回転してｎ種類形成されていることを特徴とする請求項８に記載のターゲット。
【請求項１０】
画像を撮像する複数の撮像装置と、前記撮像装置のそれぞれの光軸のずれを検出する光軸ずれ検出システムにおいて、
請求項１に記載の光軸検出装置と、
前記撮像装置の前方に配置された複数種類のターゲットと、を備え、
前記複数種類のターゲットは、それぞれ第１の輝度の色と前記第１の輝度よりも輝度の低い第２の輝度の色とに配色がなされ、かつ、前記ターゲットの種類に対応して、互いに前記配色が異なっており、
前記光軸検出装置の探索手段は、前記演算として、前記ターゲットの前記配色に対応して定めた所定のパターンの画素を選択して、その画素の輝度の和を計算することを特徴とする光軸検出システム。
【請求項１１】
画像を撮像する複数の撮像装置と、前記撮像装置のそれぞれの光軸のずれを検出する光軸ずれ検出システムにおいて、
前記撮像装置の前方に配置された請求項６に記載のターゲットと、
請求項４に記載の光軸検出装置を備えることを特徴とする光軸検出システム。
【請求項１２】
画像を撮像する複数の撮像装置と、前記撮像装置のそれぞれの光軸のずれを検出する光軸ずれ検出システムにおいて、
前記撮像装置の前方に配置された請求項８に記載のターゲットと、
請求項２に記載の光軸検出装置を備え、
前記光軸検出装置の前記複数種類の探索手段は、それぞれ、前記複数種類のターゲットの前記第１の輝度、前記第２の輝度の配色パターンと対応して、前記画素集合Ｂｋ、Ｃｋが定められていることを特徴とする光軸検出システム。
【請求項１３】
前記撮像装置は、それぞれ、異なる画角の撮像画像を撮像し、
前記複数種類のターゲットは、各々、前記撮像画像の両端に撮像されるように配置され、
前記認識手段は、撮像画像に含まれる複数種類のターゲットから、前記撮像画像の両端に撮像されるように配置されたターゲットを認識することを特徴とする請求項１０に記載の光軸検出システム。
【請求項１４】
画像を撮像する複数の撮像装置の光軸のずれを検出する光軸検出方法において、
前記撮像装置の光軸を検出するための複数のターゲットであって、それぞれ第１の輝度と、前記第１の輝度よりも輝度の低い第２の輝度とに配色がなされ、かつ、前記ターゲットの種類に対応して、互いに前記配色の仕方が異なっているターゲットを用いて、
前記撮像装置で撮像した撮像画像の画素のうちから、前記撮像画像のうちの一部の画素集合を選択し、当該一部の画素集合について定めた輝度に関する所定の和算および減算からなる演算を行い、当該演算の結果が最大値または最小値となる前記画素集合を探索する探索ステップと、
前記最大値または前記最小値をとる画素領域を選択することにより、１種類の前記ターゲットを認識するターゲット認識ステップと、を実行し、
前記探索ステップでは、前記演算として、前記ターゲットの前記配色に対応して定めた所定のパターンの画素について前記和算を行うことを特徴とする光軸検出方法。
【請求項１５】
画像を撮像する複数の撮像装置の光軸のずれを検出する光軸検出方法において、
前記ターゲットとして、請求項４に記載のターゲットを用い、
前記探索ステップでは、前記演算の結果の最大値および最小値を各画素集合について計算し、
前記ターゲット認識ステップでは、前記最大値、前記最小値をとる画素集合を選択することにより、２種類の前記ターゲットを認識することを特徴とする請求項１４に記載の光軸検出方法。
【請求項１】
画像を撮像する複数の撮像装置の光軸のずれを検出する光軸検出装置において、
前記撮像装置の前方に配置された複数種類のターゲットを認識する認識手段と、
前記ターゲットを認識した位置に基づいて光軸のずれを検出する検出手段と、を備え、
前記認識手段は、前記撮像装置で撮像した撮像画像の画素のうちから、前記撮像画像の一部の画素集合を選択し、当該一部の画素集合内の画素の輝度に関する所定の和算および減算からなる演算に基づいて、当該演算の結果が最大値または最小値となる前記画素集合を探索する探索手段を複数種類備えることを特徴とする光軸検出装置。
【請求項２】
前記探索手段は、前記演算として、前記撮像画像のうちの一部の画素集合をＡｋ（ｋ＝１〜Ｎ、Ｎは自然数）とし、Ａｋのうちの所定のパターンで選択した画素集合Ｂｋの輝度の合計値Ｘと、前記画素集合Ａｋのうちの前記画素集合Ｂｋ以外の画素集合Ｃｋの輝度の合計値Ｙと、の差（Ｘ−Ｙ）を計算することを特徴とする請求項１に記載の光軸検出装置。
【請求項３】
前記複数種類の探索手段は、
前記差（Ｘ−Ｙ）が最大値となる前記画素集合を探索する第１の探索手段と、
前記第１の探索手段で用いた撮像画像を撮像した前記撮像装置と同じまたは異なる撮像装置で撮像した撮像画像について、前記差（Ｘ−Ｙ）が最小値となる前記画素集合を探索する第２の探索手段を備えることを特徴とする請求項２に記載の光軸検出装置。
【請求項４】
複数の撮像装置の光軸のずれを検出する光軸ずれ検出装置において、
前記複数の種類の探索手段は、第１の探索手段、第２の探索手段を有し、
前記第１の探索手段、前記第２の探索手段は、
前記撮像画像のうちの一部の画素集合として、互いに縦横に隣接する４つの画素（当該画素を時計回りにＡ１、Ｂ１、Ｃ１、Ｄ１とする）を選択した場合に、前記４つの画素のうち対角に隣接する画素同士の輝度を足し算した２つの和（Ａ１＋Ｃ１）、（Ｂ１＋Ｄ１）同士の差の値を前記演算として計算する第１の計算手段、
または、
前記撮像画像のうちの一部の画素集合として、互いに縦横に隣接する４つの領域（当該４つの領域を時計回りにＡ２、Ｂ２、Ｃ２、Ｄ２とする）を選択した場合に、それぞれの領域Ａ、Ｂ、Ｃ、Ｄ内の画素の輝度の合計ａ、ｂ、ｃ、ｄを計算し、前記輝度の合計ａ、ｂ、ｃ、ｄを対角に隣接する領域について足し算した２つの和（ａ＋ｃ）、（ｂ＋ｄ）同士の差の値を前記演算として計算する第２の計算手段、のいずれかを備え、
前記第１の探索手段は、前記２つの和（Ａ１＋Ｃ１）、（Ｂ１＋Ｄ１）同士の差の値または前記２つの和（ａ＋ｃ）、（ｂ＋ｄ）同士の差の値が最大となる前記画素集合を前記撮像画像の画素の全体から選択し、
前記第２の探索手段は、前記２つの和（Ａ１＋Ｃ１）、（Ｂ１＋Ｄ１）同士の差の値または前記２つの和（ａ＋ｃ）、（ｂ＋ｄ）同士の差の値が最小となる前記画素集合を前記撮像画像の画素の全体から選択することを特徴とする請求項１に記載の光軸検出装置。
【請求項５】
画像を撮像する複数の撮像装置のそれぞれの光軸のずれを検出するためのターゲットにおいて、
前記ターゲットは、配色が異なる複数種類のターゲットを含み、前記複数種類のターゲットのうち一部またはすべての、その配色が互いに補色関係にあることにより、前記配色が異なっていることを特徴とするターゲット。
【請求項６】
前記ターゲットには、第１種のターゲット、第２種のターゲットを含み、
前記第１種のターゲット、前記第２種のターゲットは、いずれも、互いに交差する２直線の交点を中心にして分割された４領域を有すると共に、当該４領域のうちの一方の互いに対角な２領域は、第１の輝度の色で着色され、他方の互いに対角な２領域が前記第１の輝度よりも輝度の低い第２の輝度の色で着色され、
前記第１種のターゲットは、前記４領域のうち、前記第１の輝度の領域の位置が、前記第２種のターゲットの前記第２の輝度の領域の位置と対応し、４分割された領域のうち、前記第２の輝度の領域の位置が、前記第２種のターゲットの第１の輝度の領域の位置と対応していることにより、前記第１種のターゲット、前記第２種のターゲットは、その配色が互いに前記補色関係にあることを特徴とする請求項５に記載のターゲット。
【請求項７】
前記第１種のターゲット、前記第２種のターゲットは、いずれも、前記４領域が、前記互いに交差する２直線の交点を中心にして、ほぼ縦横に均等に４分割されていることを特徴とする請求項６に記載のターゲット。
【請求項８】
撮像した画像に基づいて、光軸のずれを検出するためのターゲットにおいて、
前記ターゲットは、配色が異なる複数種類のターゲットを含み、
それぞれの種類の前記ターゲットは、１点を中心とする複数の円弧と、前記中心を端点とする複数の直線または前記中心を通る複数の直線と、により分割された複数の円弧領域が、第１の輝度の色と前記第１の輝度よりも輝度の低い第２の輝度の色とに配色がなされており、当該配色のパターンは、前記ターゲットの種類により互いに異なっていることを特徴とするターゲット。
【請求項９】
前記複数の直線は、前記複数種類のターゲットのいずれにおいても、前記１点の周囲を等分しており（この等分の数をｎ等分とする）、
前記複数種類のターゲットは、ｎ種類含み、１の種類のターゲットを３６０度／ｎずつ回転してｎ種類形成されていることを特徴とする請求項８に記載のターゲット。
【請求項１０】
画像を撮像する複数の撮像装置と、前記撮像装置のそれぞれの光軸のずれを検出する光軸ずれ検出システムにおいて、
請求項１に記載の光軸検出装置と、
前記撮像装置の前方に配置された複数種類のターゲットと、を備え、
前記複数種類のターゲットは、それぞれ第１の輝度の色と前記第１の輝度よりも輝度の低い第２の輝度の色とに配色がなされ、かつ、前記ターゲットの種類に対応して、互いに前記配色が異なっており、
前記光軸検出装置の探索手段は、前記演算として、前記ターゲットの前記配色に対応して定めた所定のパターンの画素を選択して、その画素の輝度の和を計算することを特徴とする光軸検出システム。
【請求項１１】
画像を撮像する複数の撮像装置と、前記撮像装置のそれぞれの光軸のずれを検出する光軸ずれ検出システムにおいて、
前記撮像装置の前方に配置された請求項６に記載のターゲットと、
請求項４に記載の光軸検出装置を備えることを特徴とする光軸検出システム。
【請求項１２】
画像を撮像する複数の撮像装置と、前記撮像装置のそれぞれの光軸のずれを検出する光軸ずれ検出システムにおいて、
前記撮像装置の前方に配置された請求項８に記載のターゲットと、
請求項２に記載の光軸検出装置を備え、
前記光軸検出装置の前記複数種類の探索手段は、それぞれ、前記複数種類のターゲットの前記第１の輝度、前記第２の輝度の配色パターンと対応して、前記画素集合Ｂｋ、Ｃｋが定められていることを特徴とする光軸検出システム。
【請求項１３】
前記撮像装置は、それぞれ、異なる画角の撮像画像を撮像し、
前記複数種類のターゲットは、各々、前記撮像画像の両端に撮像されるように配置され、
前記認識手段は、撮像画像に含まれる複数種類のターゲットから、前記撮像画像の両端に撮像されるように配置されたターゲットを認識することを特徴とする請求項１０に記載の光軸検出システム。
【請求項１４】
画像を撮像する複数の撮像装置の光軸のずれを検出する光軸検出方法において、
前記撮像装置の光軸を検出するための複数のターゲットであって、それぞれ第１の輝度と、前記第１の輝度よりも輝度の低い第２の輝度とに配色がなされ、かつ、前記ターゲットの種類に対応して、互いに前記配色の仕方が異なっているターゲットを用いて、
前記撮像装置で撮像した撮像画像の画素のうちから、前記撮像画像のうちの一部の画素集合を選択し、当該一部の画素集合について定めた輝度に関する所定の和算および減算からなる演算を行い、当該演算の結果が最大値または最小値となる前記画素集合を探索する探索ステップと、
前記最大値または前記最小値をとる画素領域を選択することにより、１種類の前記ターゲットを認識するターゲット認識ステップと、を実行し、
前記探索ステップでは、前記演算として、前記ターゲットの前記配色に対応して定めた所定のパターンの画素について前記和算を行うことを特徴とする光軸検出方法。
【請求項１５】
画像を撮像する複数の撮像装置の光軸のずれを検出する光軸検出方法において、
前記ターゲットとして、請求項４に記載のターゲットを用い、
前記探索ステップでは、前記演算の結果の最大値および最小値を各画素集合について計算し、
前記ターゲット認識ステップでは、前記最大値、前記最小値をとる画素集合を選択することにより、２種類の前記ターゲットを認識することを特徴とする請求項１４に記載の光軸検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−１１２８８４（Ｐ２０１０−１１２８８４Ａ）
【公開日】平成２２年５月２０日（２０１０．５．２０）
【国際特許分類】
【出願番号】特願２００８−２８６９９６（Ｐ２００８−２８６９９６）
【出願日】平成２０年１１月７日（２００８．１１．７）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２２年５月２０日（２０１０．５．２０）
【国際特許分類】
【出願日】平成２０年１１月７日（２００８．１１．７）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]