周辺監視装置
【課題】対象物距離に関わらずに対象物の位置を高精度に算出する。
【解決手段】ナイトビジョンシステム１０は、撮像手段としての赤外線カメラ１６Ｒ及び１６Ｌと、該赤外線カメラ１６Ｒ及び１６Ｌの光学的な透視変換モデルとして近距離用のピンホールモデルに基づく第１の式及び遠距離用のピンホールモデルに基づく第２の式を備えるモデル記憶部９６と、実行のモードを選択するモード選択部５２とを有する。モード選択部５２が、エイミングターゲットを撮像することにより赤外線カメラ１６Ｒ及び１６Ｌの調整を行うエイミングモードを選択したときには、第１の式に基づいてエイミングターゲットの位置を検出し、モード選択部５２が、実対象物を撮像する通常モードを選択したときには第２の式に基づいて実対象物の位置を検出する。
【解決手段】ナイトビジョンシステム１０は、撮像手段としての赤外線カメラ１６Ｒ及び１６Ｌと、該赤外線カメラ１６Ｒ及び１６Ｌの光学的な透視変換モデルとして近距離用のピンホールモデルに基づく第１の式及び遠距離用のピンホールモデルに基づく第２の式を備えるモデル記憶部９６と、実行のモードを選択するモード選択部５２とを有する。モード選択部５２が、エイミングターゲットを撮像することにより赤外線カメラ１６Ｒ及び１６Ｌの調整を行うエイミングモードを選択したときには、第１の式に基づいてエイミングターゲットの位置を検出し、モード選択部５２が、実対象物を撮像する通常モードを選択したときには第２の式に基づいて実対象物の位置を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像手段によって対象物の位置を検出する周辺監視装置に関し、特に、光学的な透視変換モデルを用いることにより対象物の位置を検出する周辺監視装置に関する。
【背景技術】
【０００２】
例えば、車両に２台の撮像手段を搭載し、これらの撮像手段を用いて同一の対象物を撮像し、撮像された画像間の視差を利用して車両から対象物までの距離を計測し、あるいは、車両に対する対象物の実空間位置を計測し、ドライバに前方の障害物の有無等を報知するようにした車両周辺監視装置が開発されている（特許文献１参照）。
【０００３】
対象物の位置は、視差に基づいて対象物までの距離が求められた後に、該距離を撮像手段の光学的な透視変換モデルに適用することにより、画像上の像から特定される。
【０００４】
【特許文献１】特開２００３−２１６９３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
対象物の位置や距離を正確に計測するためには、撮像手段の取り付け角度が正確に求められていなければならない。特に、対象物が遠方に存在する場合には、撮像手段の取り付け角の僅かな差の影響により位置や距離の計測に大きな誤差が生じる。このため既知位置に配置されたターゲットを撮像手段により撮像し、得られた画像上のターゲット像に基づいて撮像手段の正確な取り付け角度を求めるためのエイミングを行うとよい。
【０００６】
ところで、車両の走行時に検出すべき対象物の距離は、比較的遠距離の範囲（例えば３０ｍ〜１００ｍ）として設定され、実際上対象物距離を無限遠とみなすことができる。対象物距離が無限遠である場合には簡略化された透視変換モデルを適用することが知られており、位置検出の手順が簡便化されて、演算を高速に行うことができる。
【０００７】
一方、エイミングが行われる検査場は一般的に室内であることが想定され、スペース上の問題から検査用のターゲットを車両から比較的近距離に配置することが望ましい。しかしながら、ターゲットを近距離に配置した場合、前記の簡略化された透視変換モデルでは求められる位置の誤差が大きい。
【０００８】
本発明はこのような課題を考慮してなされたものであり、対象物距離に関わらずに対象物の位置を高精度に算出することができ、特に対象物距離が長いときには簡便な手順によって対象物の位置を算出することのできる周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る周辺監視装置は、撮像手段によって対象物を撮像し、透視変換モデルを用いて前記対象物の実空間位置を算出する周辺監視装置において、対象物までの距離を検出する対象物距離検出手段と、前記対象物距離検出手段の検出結果に応じて前記透視変換モデルを選択する透視変換モデル選択手段とを備えることを特徴とする（請求項１記載の発明）。
【００１０】
このように、対象物距離応じて透視変換モデルを選択することにより、対象物の距離に関わらずに位置を高精度に算出することができる。
【００１１】
また、本発明に係る周辺監視装置は、対象物を撮像する撮像手段と、前記対象物までの対象物距離を検出する対象物距離検出手段と、前記撮像手段の光学的な透視変換モデルとして近距離用のピンホールモデルに基づく第１の式及び遠距離用のピンホールモデルに基づく第２の式を備えるモデル記憶部と、前記第１の式又は前記第２の式を用いて前記対象物の位置を検出する位置検出手段と、を有する周辺監視装置であって、前記位置検出手段は、前記対象物距離検出手段で検出された前記対象物距離が所定閾値以下であるときには前記第１の式に基づいて前記対象物の位置を検出し、前記所定閾値を超えるときには前記第２の式に基づいて前記対象物の位置を検出することを特徴とする（請求項２記載の発明）。
【００１２】
このように、対象物距離に基づいて近距離用のピンホールモデルに基づく第１の式と遠距離用のピンホールモデルに基づく第２の式を使い分けることにより、対象物距離に関わらずに対象物の位置を高精度に算出することができる。また、第２の式は対象物距離を無限遠とみなすことにより第１の式よりも簡略な形で表すことができ、対象物の位置を簡便に算出することができる。
【００１３】
また、本発明に係る周辺監視装置は、対象物を撮像する撮像手段と、前記撮像手段の光学的な透視変換モデルとして近距離用のピンホールモデルに基づく第１の式及び遠距離用のピンホールモデルに基づく第２の式を備えるモデル記憶手段と、前記第１の式又は前記第２の式を用いて前記対象物の位置を検出する位置検出手段と、実行モードを既知距離の検査用ターゲットを撮像することにより前記撮像手段の取付角度を検出する検査用モード、又は未知距離の実対象物を撮像する通常モードから選択するモード選択手段と、を有する周辺監視装置であって、前記モード選択手段が、前記検査用モードを選択したときには前記位置検出手段は前記第１の式に基づいて前記検査用ターゲットの位置を検出し、前記モード選択手段が、前記通常モードを選択したときには前記位置検出手段は前記第２の式に基づいて前記実対象物の位置を検出することを特徴とする（請求項３記載の発明）。
【００１４】
このように、エイミングモードと通常モードで第１の式と第２の式を使い分けることにより、モードに関わらずに対象物の位置を高精度に算出することができる。特に、エイミングモードでは近距離用のピンホールモデルに基づく第１の式を用いることから検査用ターゲットを近距離に配置することができ、室内でのエイミングが可能になる。また、通常モード時には、対象物距離を無限遠とみなすことにより第２の式を簡略な形で表すことができ、対象物の位置を簡便に算出することができる。第１の式及び第２の式は、それぞれ複数の式で表されていてもよい。
【発明の効果】
【００１５】
本発明に係る周辺監視装置によれば、対象物距離に基づいて複数のピンホールモデルを使い分けることにより、対象物距離に関わらずに対象物の位置を高精度に算出することができる。また、近距離用のピンホールモデルに基づく第１の式と遠距離用のピンホールモデルに基づく第２の式を設けてこれらの２つの式を使い分けることにより、第２の式は対象物距離を無限遠とみなすことにより第１の式よりも簡略な形で表すことができ、対象物の位置を簡便に算出することができる。
【００１６】
また、エイミングモード時と通常モード時で第１の式と第２の式を使い分けることにより、モードに関わらずに対象物の位置を高精度に算出することができる。通常モード時には、対象物距離を無限遠とみなすことにより第２の式を簡略な形で表すことができ、演算手順が簡略化される。
【発明を実施するための最良の形態】
【００１７】
以下、本発明に係る周辺監視装置について実施の形態を挙げ、添付の図１〜図２１を参照しながら説明する。
【００１８】
図１に示すように、本実施形態に係るナイトビジョンシステム（周辺監視装置）１０は、車両１２に搭載されたシステムであって、主要な制御部であるＥＣＵ（Electric Control Unit）１４と、左右一対の赤外線カメラ（撮像手段）１６Ｌ、１６Ｒと、検出結果画像を表示するためのＨＵＤ(Head Up Display)１８と、警報音等を発するスピーカ２０と、走行速度を検出する車速センサ２２と、走行時のヨーレートを検出するヨーレートセンサ２４と、日射センサ２６と、ヘッドライトスイッチ２８と、システムを起動又は停止させるメインスイッチ３０と、外部コンピュータシステムとの接続部３２とを有する。ナイトビジョンシステム１０を構成するこれらの機器間の接続には、他のシステムと兼用の車内通信網を用いてもよい。
【００１９】
赤外線カメラ１６Ｒ及び１６Ｌは、バンパ下部における横長グリル孔の右端部及び左端部に並行配置され、左右対称位置でそれぞれ前方を指向し、カメラ間距離（以下、基線長ともいう。）Ｂの間隔で設けられている。赤外線カメラ１６Ｒ及び１６Ｌは遠赤外線を検出することにより高温部ほど高輝度となる赤外線画像を撮像して、それぞれＥＣＵ１４に供給する。
【００２０】
ＨＵＤ１８はインスツルメントパネル上部のドライバの正面位置において前方視界を妨げないように設けられている。ＨＵＤ１８はシステムオフ状態ではインスツルメントパネル内に格納されており、日射センサ２６の情報から夜であると判断し、且つヘッドライトスイッチ２８の情報からヘッドライト（又はフォグライト）が点灯していると判断される状態でメインスイッチ３０をオンにするとポップアップする。ＨＵＤ１８の映像表示部は凹面ミラーで構成され、インスツルメントパネル内部からの映像を反射・投影する。ナイトビジョンシステム１０はメインスイッチ３０の操作に拘わらず、オートライト機能に連動して自動起動させてもよい。ＨＵＤ１８の表示輝度は適当なスイッチ操作によって調整可能としてもよい。
【００２１】
ＥＣＵ１４は、赤外線カメラ１６Ｒ、１６Ｌから得られたステレオ赤外線画像に基づいて、両画像の視差から熱源対象物を検出してＨＵＤ１８上で白いシルエットとして映し出す。さらに、熱源対象物の中から歩行者を特定すると、注意喚起のためにスピーカ２０から音を発すると同時に、ＨＵＤ１８上に映し出された歩行者を目立つ色の枠で囲んで強調表示する。この注意喚起機能は、所定の速度域において歩行者の位置に到達するまでの時間を予測し、充分な回避操作が行えるタイミングで注意喚起を行う。
【００２２】
赤外線カメラ１６Ｒ、１６Ｌは、遠方の熱源対象物の位置、距離及び形状を正確に判定するため、製作所における製造時、あるいは、定期点検時等において、後述する調整処理であるエイミング設定が行われる。
【００２３】
図２に示すように、ＥＣＵ１４は、赤外線カメラ１６Ｒ、１６Ｌにより撮像された赤外線画像をＡ／Ｄ変換してグレースケール画像を生成する画像入力部４０と、閾値に基づいてグレースケール画像から二値化画像を生成する二値化処理部４２と、グレースケール画像及び二値化画像を記憶する画像記憶部４４と、エイミングを行って処理結果をカメラパラメータ記憶部４６に記憶するエイミングモード実行部４８と、車速センサ２２等のセンサ及びカメラパラメータ記憶部４６を参照しながら通常の画像処理を行うとともにＨＵＤ１８及びスピーカ２０を制御する通常モード実行部５０と、接続部３２を介して外部のコンピュータシステムからの指示に基づき、エイミングモードか通常モードのいずれか一方を選択するモード選択部５２とを有する。
【００２４】
図３に示すように、画像記憶部４４には、右の赤外線カメラ１６Ｒが撮像した赤外線画像に基づく右グレースケール画像５４及び右二値化画像５６と、左の赤外線カメラ１６Ｌが撮像した赤外線画像に基づく左グレースケール画像５８が記憶される。これらの各画像は、車両１２の前方を撮像した横長のデジタル画像である。右グレースケール画像５４及び左グレースケール画像５８は各ピクセルの輝度が所定の階調（例えば、２５６階調）で表され、右二値化画像５６は各ピクセルの輝度が０又は１で表される二値の画像である。実際上、各画像は複数枚を同時に記憶可能である。
【００２５】
図２に戻り、エイミングモード実行部４８は、車両１２を製造する製作所内において外部コンピュータシステムとしてエイミングターゲット制御装置１００（図４参照）を用いてエイミングを行う製作所モード部７０と、サービスエイミング設定装置１２０（図５参照）を用いてサービス工場等でエイミングを行うサービスモード部７２を有し、これらの外部コンピュータシステムからの指示に基づいて製作所モード部７０又はサービスモード部７２のいずれか一方が選択実行される。
【００２６】
また、エイミングモード実行部４８は、エイミングの開始時に外部コンピュータシステムから所定のパラメータを入力するパラメータ入力部７４と、エイミングに必要な初期設定を行う初期設定部７６と、画像記憶部４４に記憶された左右のグレースケール画像５４、５８に対してテンプレートを用いたマッチングを行うテンプレートマッチング部７８と、赤外線カメラ１６Ｒ、１６Ｌにより撮像して得られた画像信号の輝度を調整するための輝度調整ＬＵＴを設定する輝度調整ＬＵＴ設定部８０と、赤外線カメラ１６Ｒ、１６Ｌの焦点距離、画素ピッチ等の固体差に起因して発生する映像歪みを補正する左右カメラ映像歪補正部８２と、赤外線カメラ１６Ｒ、１６Ｌの取付角（パン角、ピッチ角）を算出する左右カメラ取付角算出部８４と、画像から演算範囲を切り出すための基準となる切り出し座標を算出する左右カメラ映像切出座標算出部８６と、赤外線カメラ１６Ｒ、１６Ｌの光軸が平行に設定されていないことに起因する対象物画像の視差に含まれる誤差である視差オフセット値を算出する視差オフセット値算出部８８とを有する。
【００２７】
なお、視差オフセット値算出部８８は、赤外線カメラ１６Ｒ、１６Ｌで撮像された対象物の画像上の実視差を算出する実視差算出手段と、赤外線カメラ１６Ｒ、１６Ｌにより撮像された各画像を各パン角に従って切り出し、測距精度をさらに向上するために視差オフセット値を算出する視差補正値算出手段として機能する。
【００２８】
初期設定部７６は、対象物までの距離に応じて用意された６つのテンプレートＴＰ１、ＴＰ２、ＴＰ３、ＴＰ４、ＴＰ５、ＴＰ６（代表的にテンプレートＴＰとも示す。）から１つを選択するテンプレート設定部９４を有する。また、ＥＣＵ１４は、対象物の位置を求めるための透視変換モデルを数式として記憶するモデル記憶部９６を有し、エイミングモード実行部４８及び通常モード実行部５０は該透視変換モデルを用いて対象物の位置を算出する。モデル記憶部９６には、対象物が近距離である場合の近距離用モデルと遠距離である場合の遠距離用モデルが記憶されている。
【００２９】
ＥＣＵ１４は、主たる制御部としてのＣＰＵ（Central Processing Unit）と、記憶部としてのＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等を有しており、上記の各機能部は、ＣＰＵがプログラムを読み込み、記憶部等と協動しながらソフトウェア処理を実行することにより実現される。
【００３０】
図４に示すように、エイミングターゲット制御装置１００は、車両１２の位置決め装置１０２と、車両１２が位置決めされた状態で赤外線カメラ１６Ｒ、１６Ｌの前方既知の距離Ｚｆに設けられたゲート１０４と、前記接続部３２を介してＥＣＵ１４と通信を行うとともにゲート１０４を制御する主制御装置１０６とを有する。ゲート１０４は、車幅よりやや広い間隔で設けられた２本の支柱１０８と、左右端を支柱１０８に支持された横長のターゲット板１１０とを有し、該ターゲット板１１０は、主制御装置１０６の作用下に支柱１０８に沿って昇降可能である。ターゲット板１１０には、撮像する対象物としての８つのエイミングターゲット１１２ａ、１１２ｂ、１１２ｃ、１１２ｄ、１１２ｅ、１１２ｆ、１１２ｇ及び１１２ｈ（代表的にエイミングターゲット１１２とも示す。）が左から順に水平に配列されており、エイミングターゲット１１２ａ〜１１２ｈは熱源である。
【００３１】
左側のエイミングターゲット１１２ａ〜１１２ｄは比較的小さい間隔ｄ（ｄ＜Ｂ）で並んでおり左ターゲット群１１４を形成する。同様に、右側のエイミングターゲット１１２ｅ〜１１２ｈは間隔ｄで並んでおり右ターゲット群１１６を形成する。左ターゲット群１１４の右端であるエイミングターゲット１１２ｄと右ターゲット群１１６の左端であるエイミングターゲット１１２ｅの間隔は基線長Ｂに等しく、エイミングターゲット１１２ｄ及び１１２ｅは、赤外線カメラ１６Ｒ及び１６Ｌの正面位置に配置される。
【００３２】
なお、エイミングターゲット１１２ａ〜１１２ｈは発熱体のような熱源に限らず、例えば図５に示すように、熱の反射板としての小さい金属板（アルミニウム板等）１１８ａ〜１１８ｈを用いてもよい。このような金属板をターゲットとして用いることにより車両１２が発生、放射する熱（赤外線）が反射され、赤外線カメラ１６Ｒ及び１６Ｌで撮像することができる。この場合、ターゲットの点灯、消灯の切り換え操作が不要であり、しかも電力消費がなくて好適である。また、ターゲット板１１０として熱の反射率の低い材料を用いると、撮像された画像上で金属板１１８ａ〜１１８ｈとターゲット板１１０のコントラストが明りょうとなり好適である。
【００３３】
図６に示すように、サービスエイミング設定装置１２０は、エイミング設定時における車両１２の車輪位置を示す位置マーク１２２と、該位置マーク１２２に基づいて車両１２が位置決めされた状態で赤外線カメラ１６Ｒ、１６Ｌの前方所定距離（以下、対象物距離ともいう）Ｚの位置に設けられたヘッドライトテスタ１２４と、前記接続部３２を介してＥＣＵ１４と通信を行う主制御装置１２６とを有する。ヘッドライトテスタ１２４は、レール１２８に沿って車幅方向と並行に移動可能であるとともに、昇降台１３０が昇降可能な構成となっている。昇降台１３０にはターゲット板１３２が設けられ、該ターゲット板１３２には間隔ｄ（ｄ＜Ｂ）で水平に並んだ３つの熱源である撮像対象物としてのエイミングターゲット１３４ａ、１３４ｂ及び１３４ｃ（代表的にエイミングターゲット１３４とも示す。）が設けられている。エイミングターゲット１３４は前記エイミングターゲット１１２と同じものであり、又は略同じものを用いることができる。
【００３４】
次に、一般的な透視変換モデルＭ、及びモデル記憶部９６に記憶される近距離用モデル及び遠距離用モデルについて説明する。
【００３５】
図７に示すように、一般的な透視変換モデルＭは、高さＹの対象物Ｗを焦点距離ｆのレンズ１３８で撮像して高さｙの像を得る様子を示すモデルである。つまり、対象物Ｗの一端部である点Ｐａからレンズ中心Ｏに入光した光は直進し、光軸Ｃに並行に入光した光はレンズ１３８の点Ｏ’で屈折し、それぞれの光は点Ｐｂで集光する。対象物Ｗの他端部であり光軸Ｃ上の点Ｐａ’からレンズ中心Ｏに入光した光は、光軸Ｃ上をそのまま直進して点Ｐｂ’に至る。このようにして対象物Ｗはレンズ１３８を通して反対側の結像距離Ｆの箇所に高さｙの像ｗを結像する。図７から明らかなように、像ｗは対象物Ｗに対して倒立している。
【００３６】
ところで、三点Ｐａ、Ｐａ’、Ｏからなる三角形と三点Ｐｂ、Ｐｂ’、Ｏからなる三角形の相似関係、及び三点Ｏ、Ｏ’、Ｐｃからなる三角形と三点Ｐｂ、Ｐｂ’、Ｐｃからなる三角形の相似関係から以下の（１）式及び（２）が導き出される。ただし、点Ｐｃは、レンズ１３８からみて像ｗの方向で、光軸Ｃ上における焦点距離ｆの位置の点である。
ｙ／Ｙ＝Ｆ／Ｚ …（１）
ｙ／Ｙ＝（Ｆ−ｆ）／ｆ …（２）
【００３７】
この（１）式及び（２）式からｙ及びＹを消去すると次の（３）式が求められる。
Ｆ＝ｆＺ／（Ｚ−ｆ） …（３）
【００３８】
エイミングモード時には、対象物距離Ｚが既知距離であることから、後述するステップＳ８及びＳ３３においてはこの（３）式により結像距離Ｆが設定される。実際上、（３）式は後述の（７−１）〜（７−４）式に含まれるようにしてもよい。
【００３９】
対象物Ｗがレンズ１３８から十分遠方にある場合（Ｚ≫ｆである場合）には、（３）式は次の（４）式の近似式で表すことができる。
Ｆ≒ｆ（＝ｆＺ／Ｚ） …（４）
【００４０】
なお、対象物Ｗの幅Ｘについても高さＹと同様の透視変換モデルＭで表すことができ、幅Ｘに対して像ｗは幅ｘで表される。また、実際の像ｗは対象物Ｗに対してレンズ１３８の反対側に結像するが、モデルの単純化のために仮想の結像面Ｓを対象物Ｗと同じ側で、且つレンズ１３８から結像距離Ｆの位置に設けることができる。これにより、図８に示すように、対象物Ｗと像ｗはレンズ中心Ｏを基準として相似の正立像となり、対象物Ｗが結像面Ｓに透視変換される。
【００４１】
図８から明らかなように、結像面Ｓにおける像ｗの幅ｘ及び高さｙは次の（５）式及び（６）式で表される。
ｘ＝Ｆ／Ｚ・Ｘ／ｐ …（５）
ｙ＝Ｆ／Ｚ・Ｙ／ｐ …（６）
【００４２】
ここで、パラメータｐは結像面Ｓを実際のデジタル画像に適用する際の画素ピッチである。また、対象物Ｗが比較的近距離であるときは（４）式を適用すると誤差が無視できないため（３）式を（５）式及び（６）式に代入することになり、結局、対象物Ｗが比較的近距離であるときの透視変換モデルは、次の第１の式群である（７−１）〜（７−４）式で表される。
【００４３】
【数１】
【００４４】
この第１の式群は、モデル記憶部９６における近距離用モデルに含まれており、前記モード選択部５２が後述のステップＳ３でエイミングモードを選択したときにエイミングモード実行部４８により選択され、エイミングターゲット１１２又は１３４の位置を算出に供される。つまり、製作所エイミング時には既知の距離Ｚｆとして自動設定される値が対象物距離Ｚとして用いられ、サービスエイミング時には主制御装置１２６から入力された対象物距離Ｚが用いられる。各エイミングターゲット１１２又は１３４は、車幅方向の座標値であるＸ及び高さ方向の座標値であるＹが既知であることから、（７−１）式及び（７−２）式から結像面Ｓにおける像ｗの理論的な座標Ｐｂ（ｘ、ｙ）が求められる。なお、サービスエイミング時には、高さ座標Ｙは、カメラ高さＨ（図１参照）に基づいて補正される。
【００４５】
この後、理論的な座標Ｐｂ（ｘ、ｙ）と実際に得られたエイミングターゲット１１２の実画面上の座標と比較することによって、赤外線カメラ１６Ｒ及び１６Ｌの取り付け角度が求められる。また、実画面上の座標から（７−３）式及び（７−４）式を用いてエイミングターゲット１１２の理論的な座標を求め、既知の座標値Ｘ、Ｙと比較して赤外線カメラ１６Ｒ及び１６Ｌの取り付け角度を求めてもよい。
【００４６】
第１の式群は、結像距離Ｆを示す（３）式に基づいて設定されていることから、理論的な座標Ｐｂ（ｘ、ｙ）が正確に求められ、結果として赤外線カメラ１６Ｒ及び１６Ｌの取り付け角度を高精度に求めることができる。
【００４７】
一方、対象物Ｗが遠方であるときには近似式として（４）式を用いることができ、（５）式及び（６）式は次の第２の式群である（８−１）〜（８−４）式で表される。
【００４８】
【数２】
【００４９】
この第２の式群は、前記のモデル記憶部９６における遠距離用モデルに含まれており、前記モード選択部５２が後述のステップＳ３で通常モードを選択したときに通常モード実行部５０により選択され、対象物の位置を算出に供される。つまり、赤外線カメラ１６Ｒ又は１６Ｌにより得られた２つの画像の視差から対象物までの対象物距離Ｚを算出した後、画像上の座標から（８−３）式及び（８−４）式を用いて対象物の空間上の座標値Ｘ及びＹが求められる。一般的に、通常モードにおいては対象物距離Ｚが焦点距離ｆより十分に大きいことから前記（４）式の誤差は無視できるレベルであり、対象物の座標値Ｘ及びＹは（８−３）式及び（８−４）式により十分高精度に求められる。また、（８−３）式及び（８−４）式は、前記（７−３）式及び（７−４）式よりも簡便な式であることから高速計算が可能である。
【００５０】
なお、通常モードにおいても、求められた対象物距離Ｚが所定の閾値以下である場合には（７−３）式及び（７−４）式を用いるようにしてもよい。
【００５１】
次に、このように構成されるエイミングターゲット制御装置１００又はサービスエイミング設定装置１２０を用いてナイトビジョンシステム１０のエイミングを行う方法について説明する。
【００５２】
エイミングには、製作所内でエイミングターゲット制御装置１００を用いる製作所エイミングモードと、サービスエイミング設定装置１２０を用いるサービスエイミングモードがある。
【００５３】
製作所エイミングモードでは、位置決め装置１０２により車両１２の位置決めを行うとともに、主制御装置１０６を車両１２の接続部３２に接続しておく。主制御装置１０６はＥＣＵ１４に対して、エイミングターゲット制御装置１００を用いた製作所エイミングを実行するように指示を送出する。また、エイミングターゲット１１２ａ〜１１２ｈは、車両１２の種類に応じて規定の高さとなるように調整しておく。
【００５４】
サービスエイミングモードでは、位置マーク１２２に車両１２の各車輪を合わせて位置決めを行うとともに、主制御装置１２６を車両１２の接続部３２に接続しておく。主制御装置１２６は、ＥＣＵ１４に対して、サービスエイミング設定装置１２０を用いたサービスエイミングを実行するように指示を送出する。エイミングターゲット１３４ａ〜１３４ｃは、規定高さとなるように調整しておく。
【００５５】
図９及び図１１〜図１４に示す処理は、ＥＣＵ１４において主にエイミングモード実行部４８で実行される処理である。
【００５６】
先ず、図９のステップＳ１において、赤外線カメラ１６Ｒ、１６Ｌからステレオ赤外線画像入力し、画像入力部４０においてＡ／Ｄ変換して（ステップＳ２）グレースケール画像５４、５８を得る。このグレースケール画像５４及び５８は、所定のクリア指示又は上書き式があるまで画像記憶部４４に保持され、複数枚を記録可能である。また、グレースケール画像５４及び５８は、それぞれ二値化処理部４２で二値化され、右二値化画像５６が画像記憶部４４に記憶される。
【００５７】
ステップＳ３において、モード選択部５２は主制御装置１０６又は１２６からの指示に従い、エイミングモード又は通常モードのいずれを実行するのかを判断する。通常モードを実行する場合にはステップＳ５へ移り、エイミングモードを実行する場合にはステップＳ４へ移る。
【００５８】
ステップＳ５の通常モードでは、通常モード実行部５０の作用下に、カメラパラメータ記憶部４６に記憶されたカメラパラメータを参照し、後述するようにＨＵＤ１８及びスピーカ２０を制御して対象物の検出及び必要に応じた注意喚起を行う通常のモードを実行する。
【００５９】
ステップＳ５においては、モード選択部５２がエイミングターゲット制御装置１００又はサービスエイミング設定装置１２０のいずれの装置を用いるのか判断し、エイミングターゲット制御装置１００を用いると判断した場合にはステップＳ６へ移り、製作所モード部７０の作用下に製作所エイミングモードを実行する。また、サービスエイミング設定装置１２０を用いると判断した場合にはステップＳ３０（１２参照）へ移り、サービスモード部７２の作用下にサービスエイミングモードを実行する。以下、製作所エイミングモード及びサービスエイミングモードを順に説明する。
【００６０】
製作所エイミングモードでは、先ず、ステップＳ６において、赤外線カメラ１６Ｒ、１６Ｌからターゲット板１１０までの距離、つまり対象物距離Ｚを設定する。この場合、対象物距離Ｚは既知の距離Ｚｆとして自動的に設定される。
【００６１】
ステップＳ７において、テンプレート設定部９４の作用下に基準テンプレートを対象物距離Ｚに応じて選択する。図１０に示すように、テンプレートＴＰ１、ＴＰ２、ＴＰ３、ＴＰ４、ＴＰ５、ＴＰ６は規定距離に配置された１つの仮ターゲットを撮像した小さい画像データであって、規定距離は赤外線カメラ１６Ｒ及び１６Ｌから近い順に等間隔（又は等比間隔等）のＺ１、Ｚ２、Ｚ３、Ｚ４、Ｚ５及びＺ６として設定されている。テンプレートＴＰ１、ＴＰ２、ＴＰ３、ＴＰ４、ＴＰ５、ＴＰ６はＥＣＵ１４内のテンプレート記憶部９５に記憶されている。仮ターゲットとしてはエイミングターゲット１１２と同じものが用いられる。製作所エイミングモードでは、例えば既知の距離ＺｆがＺｆ＝Ｚ３であれば、テンプレートＴＰ３が基準テンプレートとして選択される。
【００６２】
ステップＳ８においては、透視変換モデルＭ（図７参照）に基づいて結像距離Ｆの設定を行う。
【００６３】
なお、ステップＳ６〜Ｓ８の処理は、初期設定部７６の作用下に行われ、所定の実行回数パラメータを参照しながら、エイミングが実行された最初の１回のみ実行される。
【００６４】
ステップＳ９（対象物抽出手段）において、ステップＳ７で選択した基準テンプレートに基づいてテンプレートマッチング処理を行う。すなわち、赤外線カメラ１６Ｒ、１６Ｌにより撮像されたエイミングターゲット１１２のグレースケール画像５４、５８と、テンプレートＴＰとの相関演算を行い、相関演算の結果が最小となるグレースケール画像の座標を算出して記憶する。（ステップＳ１０、ターゲット座標算出手段）。相関演算には、例えば、ピクセル毎の絶対値誤差の総和であるＳＡＤ値（Sum of Absolute Difference）が用いられる。
【００６５】
ステップＳ１１では、取得したグレースケール画像５４及び５８の枚数が所定の枚数Ｎ枚に達したか否かを確認し、Ｎ枚に達した場合には、ステップＳ１２へ移り、Ｎ枚未満である場合には、ステップＳ１へ戻りグレースケール画像５４、５８の取得を継続してターゲット座標の算出記憶処理を繰り返す。
【００６６】
ステップＳ１２において、算出されたＮ組のターゲット座標の平均値Ｐａｖｅを算出する処理を行い、ターゲット座標算出が正常に算出された場合にはステップＳ１４へ移り、算出されなかった場合にはステップＳ３へ戻るという分岐処理（ステップＳ１３）を行う。
【００６７】
図１１のステップＳ１４において、輝度調整ＬＵＴ設定処理を行う。この処理では、相関演算によるテンプレートマッチングを確実に実行できるよう、例えば、赤外線カメラ１６Ｒ及び１６Ｌにより検出されたエイミングターゲット１１２の輝度信号同士のレベルを比較し、各輝度レベルにおいて、相関演算の基準とする赤外線カメラ１６Ｒからの輝度信号が赤外線カメラ１６Ｌからの輝度信号よりも常に大きくなるように調整する輝度調整ＬＵＴを設定する。該輝度調整ＬＵＴ設定処理が正常に実行された場合にはステップＳ１６へ移る（ステップＳ１５）。
【００６８】
ステップＳ１６において、赤外線カメラ１６Ｒ、１６Ｌの焦点距離、画素ピッチ等の固体差に起因して発生する映像歪みを補正する映像歪補正値の算出処理を行う。映像歪補正値が正常に算出された場合にはステップＳ１８へ移る（ステップＳ１７）。
【００６９】
ステップＳ１８において、左右カメラ取り付け角であるパン角及びピッチ角（又はチルト角とも呼ばれる。）の算出処理を行い、該左右カメラ取り付け角が正常に算出された場合にはステップＳ２０へ移る（ステップＳ１９）。
【００７０】
ここで、パン角とは、２つの赤外線カメラ１６Ｒ及び１６Ｌの光軸は同じ高さ方向を指向していることから、赤外線カメラ１６Ｒ及び１６Ｌの両光軸を含むカメラ配列仮想面における旋回方向の角度であって視差が発生する方向ということができ、得られた画像上のｘ方向に相当する（図８参照）。また、ピッチ角とは、カメラ配列仮想面を基準として垂直な俯仰方向の角度ということができ、得られた画像上のｙ方向に相当する。
【００７１】
ステップＳ２０において、赤外線カメラ１６Ｒ、１６Ｌにより撮像された各画像から各画像から画像処理に用いられる範囲を切り出す基準の切り出し座標の算出処理を行い、該切り出し座標が正常に算出された場合にはステップＳ２２へ移る（ステップＳ２１）。
【００７２】
ステップＳ２２において、赤外線カメラ１６Ｒ、１６Ｌの光軸が平行に設定されていないことに起因する対象物画像の視差に含まれる誤差である視差オフセット値の算出処理を行う。視差オフセットが算出された場合にはステップＳ２４へ移る（ステップＳ２３）。
【００７３】
ステップＳ２４において、ステップＳ１４、Ｓ１６、Ｓ１８、Ｓ２０及びＳ２２の処理で求められた輝度調整ＬＵＴ、映像歪補正値、パン角及びピッチ角、切り出し座標、視差オフセット値をカメラパラメータ記憶部４６に記憶し、正しく記憶された場合には製作所エイミングモード（又はサービスエイミングモード）を終了する。このとき、ＥＣＵ１４は主制御装置１０６又は１２６に対してエイミングが終了した旨の信号を送出する。この後に通常モードを実行する場合には所定の再起動処理を行えばよい。なお、ステップＳ１７、Ｓ１９、Ｓ２１、Ｓ２３及びＳ２５における各分岐処理において判定結果が否定的であった場合には、ステップＳ１３の分岐処理における否定的な結果時と同様にステップＳ３へ戻ることになる。
【００７４】
次に、サービスエイミングモードの処理について説明する。サービスエイミングモードにおいては、前記の製作所エイミングと同様にステップＳ１〜Ｓ３の処理（９参照）が実行され、次のステップＳ４からステップＳ３０への分岐処理が行われ、サービスモード部７２の作用下に図１２〜図１４に示す処理が実行される。
【００７５】
図１２のステップＳ３０において、赤外線カメラ１６Ｒ、１６Ｌからターゲット板１３２までの距離、つまり対象物距離Ｚを入力設定する。この場合、対象物距離ＺはＺ１〜Ｚ７（＞Ｚ６）ｍまでの範囲の数値として主制御装置１２６から入力され、ＥＣＵ１４に供給される。対象物距離Ｚの入力は、計測しやすい箇所（例えば位置マーク１２２）を基準として入力し、所定のオフセット量を自動的に差し引いて求めるようにしてもよい。また、レーザ距離検出装置等を対象物距離検出手段として使用し、対象物距離Ｚを自動検出及び入力してもよい。
【００７６】
ステップＳ３１において、赤外線カメラ１６Ｒ及び１６Ｌの高さを確認し、カメラ高さＨ（図１参照）を入力する。
【００７７】
ステップＳ３２において、テンプレート設定部９４の作用下に、対象物距離Ｚに応じてテンプレートＴＰ１〜ＴＰ６のうち１つを基準テンプレートとして選択する。前記のようにテンプレートＴＰ１〜ＴＰ６は、仮ターゲットの撮像時の規定距離がＺ１〜Ｚ６ｍとして設定されている。このステップＳ３２においては、対応する規定距離が対象物距離Ｚ以下であり、且つ対象物距離Ｚに最も近いテンプレートを選択する。具体的には、対象物距離ＺがＺ１〜Ｚ２’、Ｚ２〜Ｚ３’、Ｚ３〜Ｚ４’、Ｚ４〜Ｚ５’、Ｚ５〜Ｚ６’、Ｚ６〜Ｚ７である場合に、順にテンプレートＴＰ１〜ＴＰ６が対応して選択される。ここで、Ｚ２’、Ｚ３’、Ｚ４’、Ｚ５'及びＺ６’は、それぞれＺ２、Ｚ３、Ｚ４、Ｚ５、Ｚ６よりも最小入力単位だけ小さい値である。一層具体的には、対象物距離Ｚが、Ｚ４〜Ｚ５’の間あるときには、テンプレートＴＰ４が選択される。
【００７８】
ステップＳ３３において、ステップＳ８と同様に結像距離Ｆの設定処理が行われる。なお、ステップＳ３０〜Ｓ３３の処理は、初期設定部７６の作用下に行われ、所定の実行回数パラメータを参照しながら、エイミングが実行された最初の１回のみ実行される。
【００７９】
ステップＳ３４において、ターゲット板１３２の位置確認が行われる。つまり、サービスエイミングモードではターゲット板１３２を中心位置ＰＣ、左位置ＰＬ及び右位置ＰＲ（図６参照）の順に配置してエイミングを行うため、ステップＳ３４が最初に実行されたときには、主制御装置１２６に対してターゲット板１３２を中心位置ＰＣに設定するように確認指示の信号を送出する。この信号を受けた主制御装置１２６では、モニタ画面上に「ターゲットを中心位置ＰＣに配置して、『Ｙ』キーを押してください。」等のメッセージを表示する。調整員はこのメッセージに応じてヘッドライトテスタ１２４を手動又は所定の駆動装置によってレール１２８に沿って移動させ、ターゲット板１３２を中心位置ＰＣに配置し、『Ｙ』キーを押す。
【００８０】
また、ステップＳ３４は繰り返し実行され、Ｎ回終了毎に、「ターゲットを左位置ＰＬに配置して、『Ｙ』キーを押してください。」、「ターゲットを右位置ＰＲに配置して、『Ｙ』キーを押してください。」等のメッセージを表示し、調整員に対してターゲット板１３２を左位置ＰＬ及び右位置ＰＲに配置するように促すとともに、配置後に「Ｙ」キーを入力させる。ターゲット板１３２が中心位置Ｐｃ、左位置ＰＬ及び右位置ＰＲに配置された後の初回時に、「Ｙ」キーが押されたことを確認してステップＳ３５に移り、これ以外の実行回ときには実質的な処理は行わない。
【００８１】
ステップＳ３５においては、その時点のターゲット板１３２の位置に応じて分岐処理が行われる。つまり、ターゲット板１３２が中心位置ＰＣに配置されているとき（初回〜Ｎ回目）にはステップＳ３６へ移り、左位置ＰＬに配置されているときにはステップＳ４１へ移り、右位置ＰＲに配置されているときにはステップＳ４６へ移る。
【００８２】
ステップＳ３６においては、ステップＳ９と同様にテンプレートマッチング処理を行う。
【００８３】
ステップＳ３７においては、ステップＳ１０と同様に、エイミングターゲット１３４のターゲット座標を算出して記憶する。
【００８４】
ステップＳ３８においては、ステップＳ１１と同様に、取得したグレースケール画像５４及び５８の枚数を確認し、Ｎ枚以上である場合にはステップＳ３９へ移り、Ｎ枚未満である場合にはステップＳ１へ戻る（２回目以降はＳ３〜Ｓ８若しくはＳ３０〜Ｓ３５はスキップする。）。
【００８５】
ステップＳ３９においては、中心位置ＰＣについて、ステップＳ１２と同様に、ターゲット座標の平均値Ｐａｖｅを算出する処理を行い、ターゲット座標が正常に算出された場合にはステップＳ１へ移り、算出されなかった場合にはステップＳ３へ戻るという分岐処理（ステップＳ４０）を行う。
【００８６】
同様にして、ターゲット板１３２を左位置ＰＬに配置し、図１３に示すステップＳ４１〜Ｓ４５が実行される。
【００８７】
また、ターゲット板１３２を右位置ＰＲに配置し、図１４に示すステップＳ４６〜Ｓ５０が実行される。
【００８８】
最後のステップＳ５０において、ターゲット座標が正常に算出されたと判断されたときには、ステップＳ１４（図１１参照）へ移り、それ以降は製作所エイミングモードと同様の処理が行われ、各カメラパラメータがカメラパラメータ記憶部４６に記憶される。
【００８９】
次に、選択された基準テンプレート（以下、テンプレートＴＰｓという。）を用いてテンプレートマッチングを行う処理であるステップＳ３６について図１５を参照しながら説明する。
【００９０】
図１５に示すように、選択されたテンプレートＴＰｓは、右グレースケール画像５４上において所定の順序で微少量ずつ縦方向及び横方向に動かされ、各位置においてパターンマッチングを行い、背景画像とのマッチング成立の正否を調べる。マッチングの成立判断には、前記のＳＡＤ値に基づいて判断される。
【００９１】
この場合、テンプレートＴＰｓにおける仮ターゲットの像１４０の大きさは、画像上の各エイミングターゲット１３４ａ〜１３４ｃの像の大きさ以上である。これは前記のステップＳ３２において、規定距離が対象物距離Ｚ以下であり、且つ対象物距離Ｚに最も近いテンプレートを選択しているためである。
【００９２】
図１５中の二点鎖線ＴＰ’で示すように、テンプレートＴＰｓがエイミングターゲット１３４ｃの位置に移動したとき、像１４０とエイミングターゲット１３４ｃはほぼ一致して高輝度部及び低輝度部が重なることとなり、ＳＡＤ値が十分小さい値となる。これによりマッチングが成立したと判断され、その時点のテンプレートＴＰｓの中心点からエイミングターゲット１３４ｃのターゲット座標が特定される。つまり、二点鎖線ＴＰ’範囲の中心点座標Ｐｂ（ｘ、ｙ）（図８参照）を、配列形式でＰｔ［ｉ］として所定の記憶部に記憶する（ステップＳ１０）。ここでパラメータｉは処理回数を示すカウンタであり、右グレースケール画像５４の枚数に応じてｉ＝１からｉ＝Ｎまでインクリメントされる。なお、実際上、各エイミングターゲット１３４ａ〜１３４ｃについてそれぞれターゲット座標を求めるが、説明を簡便にするため代表的に１つのターゲット座標Ｐｔ［ｉ］として示す。
【００９３】
また、ステップＳ１２における平均値Ｐａｖｅの算出は、次の（９）式により求められる。
【００９４】
【数３】
【００９５】
このような平均化の処理を行うことにより、赤外線カメラ１６Ｒ、１６Ｌもしくは撮像環境（温度等のゆらぎ）が多少不安定であっても、平均値Ｐａｖｅでは誤差が相殺され、ターゲット座標を正確に求めることができる。
【００９６】
ところで、サービスエイミングを行う場所は一般のサービス工場の検査場等が想定され、エイミングターゲット１３４ａ〜１３４ｃ以外の赤外線を放射又は反射する不要な熱源を完全に排除することは困難であって、これらの他の熱源が比較的弱いレベル又は小さい像として撮像されてしまう場合がある。例えば、右グレースケール画像５４上でエイミングターゲット１３４ｃの周辺に他の熱源（例えば、遠方の照明）１４２が存在し、該熱源１４２が画像上でエイミングターゲット１３４ｃよりも小さく撮像される場合がある。このような場合であっても、テンプレートＴＰｓの像１４０の大きさはエイミングターゲット１３４ｃの像の大きさ以上であることから、テンプレートＴＰｓが熱源１４２の位置に移動したときには、ＳＡＤ値は相当に大きい値となりエイミングターゲット１３４ｃとは明確に区別される。
【００９７】
なお、エイミングターゲット１３４ａ及び１３４ｂについても同様の処理によりターゲット座標Ｐｔ［ｉ］が特定され、平均値Ｐａｖｅが求められる。エイミングターゲット１３４ａ〜１３４ｃは、相対的な位置関係により識別可能である。
【００９８】
また、図１５ではヘッドライトテスタ１２４が中心位置ＰＣに配置されているときの右グレースケール画像５４の例について示したが、ヘッドライトテスタ１２４が右位置ＰＲ又は左位置ＰＬに配置されている場合や、左グレースケール画像５８についての同様の処理が行われる。また、製作所エイミングモードにおけるパターンマッチング処理であるステップＳ９についても同様の処理が行われる。
【００９９】
次に、赤外線カメラ１６Ｒ及び１６Ｌの取り付け角度算出処理であるステップＳ１８から左右カメラ映像切り出し座標算出処理であるステップＳ２０までの処理を、赤外線カメラ１６Ｒについての処理を例にして、図１６を参照しながら説明する。なお、説明の便宜上、図１６においてはステップＳ１８、Ｓ１９及びＳ２０を区別しないで示す。
【０１００】
先ず、図１６のステップＳ１０１において、ターゲットの空間座標を示す基準座標値Ｐ０を所定の記憶部（座標基準値記憶手段）から読み出す。
【０１０１】
ステップＳ１０２において、近距離モデルである（７−１）式及び（７−２）式用いて基準座標値Ｐ０を変換して画像上の基準座標Ｐ０’（ｘ０、ｙ０）を求める。エイミングモードでは予め近距離モデルが選択されており、比較的近距離のターゲットの座標を画像上に正確に透視変換することができる。
【０１０２】
また、基準座標値Ｐ０は実空間上の値として記憶しておくことにより、例えばターゲットの位置を変更するような場合に主制御装置１０６、１２６から入力する際に実測した座標をそのまま入力することができ、好適である。入力された実測値は近距離モデルに基づいて正確に変換される。
【０１０３】
ステップＳ１０３（取付角算出手段）において、画像上の基準座標値Ｐ０’とステップＳ１２で求められた平均値Ｐａｖｅとを比較演算して、パン角方向の差Δｘ及びピッチ角方向の差Δｙを求める。
【０１０４】
つまり、差Δｘ及びΔｙは、それぞれ基準座標値Ｐ０’に応じて赤外線カメラ１６Ｒのパン角及びピッチ角の設計基準値に対する誤差としての取付角を示していることになる。具体的には、設計基準値が０°として規定されていると、差Δｘが２°、差Δｙが１°に相当する値であると、パン角が２°、ピッチ角が１°として求められる。
【０１０５】
ステップＳ１０４において、図１７に示すように、右グレースケール画像５４上の基準領域１６０Ｒをｘ方向に差Δｘ、ｙ方向に差Δｙだけ移動させた切り出し領域１６２Ｒを求める。基準領域１６０Ｒは、基準座標値Ｐ０に基づいて設定されており、赤外線カメラ１６Ｒが正確に前方を指向している場合に画像処理に用いられる基準となる領域である。切り出し領域１６２Ｒを画像処理に用いることにより、赤外線カメラ１６Ｒの向きが正確に正面に指向するように機械的に調整したことと同じ効果が得られる。
【０１０６】
切り出し領域１６２Ｒとしては、基準領域１６０Ｒの端点Ｑ０を横方向に差Δｘ、縦方向に差Δｙだけ移動させて得られる端点Ｑ１の座標を代表的に記録しておけばよい。なお、詳細な説明を省略するが左の赤外線カメラ１６Ｌから得られる左グレースケール画像５８についても同様の処理が行われる。
【０１０７】
次に、左右独立的に設定された切り出し領域１６２Ｒと切り出し領域１６２Ｌとのピッチアラインメント調整であるステップＳ１０５〜Ｓ１０８を行う。ピッチアラインメント調整とは、実際に撮像された対象物に基づいて、切り出し領域１６２Ｒ及び１６２Ｌを関連付けて、ピッチ方向の整合性を確保するための処理である。以下の説明では、右グレースケール画像５４はターゲット板１３２が右位置ＰＲに配置されている際の画像であり、左グレースケール画像５８はターゲット板１３２が左位置ＰＬに配置されている際の画像とする。また、前記の通りターゲット板１３２は右位置ＰＲ及び左位置ＰＬのいずれの位置においても一定の高さに設定されている。
【０１０８】
先ず、ステップＳ１０５において、図１８に示すように、右グレースケール画像５４から抽出された切り出し領域１６２Ｒ内におけるエイミングターゲット１３４ａ、１３４ｂ、１３４ｃの各ｙ座表値であるｙｒ１、ｙｒ２及びｙｒ３を求め、さらにこれらの値の平均値ｙｒａ（＝（ｙｒ１＋ｙｒ２＋ｙｒ３）／３）を求める。
【０１０９】
ステップＳ１０６において、左グレースケール画像５８から抽出された切り出し領域１６２Ｌ内におけるエイミングターゲット１３４ａ、１３４ｂ、１３４ｃの各ｙ座表値であるｙｌ１、ｙｌ２及びｙｌ３を求め、さらにこれらの値の平均値ｙｌａ（＝（ｙｌ１＋ｙｌ２＋ｙｌ３）／３）を求める。
【０１１０】
ステップＳ１０７において、右の切り出し領域１６２Ｒにおける平均値ｙｒａに対する左の切り出し領域１６２Ｌにおける平均値ｙｌａの差分Δｙａを、Δｙａ←ｙｒａ−ｙｌａとして求める。
【０１１１】
ステップＳ１０８において、左の切り出し領域１６２Ｌをｙ方向（つまりピッチ方向）に差分Δｙａだけ移動させた修正画像領域を設定する。図１８に示す例では、ｙｒａ＜ｙｌａであることから差分Δｙａはマイナス値となり、切り出し領域１６２Ｌとしては画像下方に向かって移動して端点Ｑ２が端点Ｑ２’に移る。移動した切り出し領域１６２Ｌは代表的に端点Ｑ２’の座標値が記憶される。
【０１１２】
このようなピッチアラインメント調整によれば、実際に撮像されたエイミングターゲット１３４ａ〜１３４ｃに基づき、右の切り出し領域１６２Ｒに対してピッチ角が整合するように左の切り出し領域１６２Ｌを移動させるため、車体の歪みやカメラステーの製造誤差等を補償することができる。これにより、図１９に示すように、切り出し領域１６２Ｒ及び１６２Ｌを横に並べて配置したとき、同一対象物を撮像した場合における該対象物の像が切り出し領域１６２Ｒ及び１６２Ｌ内において相対的なｙ座標値（図１９ではｙｒａの値）が一致することになる。
【０１１３】
この結果、通常モードにおいて迅速且つ確実なパターンマッチングが可能となる。すなわち、図２０に示すように、基準画像としての右の切り出し領域１６２Ｒ内で所定の方法によって抽出された対象物の像１７０を含む小画像をテンプレートＴＰｒとして切り出し、比較画像としての左の切り出し領域１６２Ｌ内における同位置に配置する。次に、テンプレートＴＰｒを切り出し領域１６２Ｌ内においてプラスのｘ方向である右方向へ向かって移動させながらＳＡＤ等の相関演算によるテンプレートマッチングを行う。この際、切り出し領域１６２Ｌにおける像１７０とそれに対応する同一対象物の像１７２はｙ座標が一致していることから、テンプレートＴＰｒは視差に応じた適当な距離だけ移動し、図２０の破線位置に達したときに像１７２にマッチングすることになる。つまり、テンプレートＴＰｒはｙ方向にはほとんど移動させることなくマッチングが成立するため、検索領域をｙ方向に過大に広げる必要がなく、簡便且つ迅速な処理が可能となる。この際、ＳＡＤ値が非常に小さくなり、マッチング成立の判断が確実に行われる。また、ｙ座標が異なり像１７２に類似する他の像１７４に対してテンプレートＴＰｒがマッチングすることがなく、確実なマッチングが実現される。
【０１１４】
なお、図１６に示す処理では、ターゲット板１３２の位置を中心位置ＰＣに配置した状態で得られる画像に基づいて行ってもよい。ピッチアラインメント調整は、切り出し領域１６２Ｒ、１６２Ｌのいずれを基準としてもよく、又は所定の基準に基づいて切り出し領域１６２Ｒ、１６２Ｌの両方を移動させてもよい。さらに、エイミングターゲット制御装置１００のエイミングターゲット１１２ａ〜１１２ｈは同じ高さに設定されていることから、製作所エイミングモードにおいてもピッチアラインメント調整を行うことができる。この場合、右グレースケール画像５４における右ターゲット群１１６から平均値ｙｒａを求め、及び左グレースケール画像５８における左ターゲット群１１４から平均値ｙｌａを求めればよい。
【０１１５】
また、ピッチアラインメント調整は、検査用の撮像対象物であるエイミングターゲット１１２及び１３４に限らず、一般の適当な熱源を撮像することによって行ってもよい。この場合、熱源の距離及び高さは未知であっても、赤外線カメラ１６Ｒ及び１６Ｌにより同一の熱源を撮像することによりピッチアライメント調整を行うことができる。
【０１１６】
次に、エイミングが終了した後に行われる通常モードで実対象物を検出する処理の手順について説明する。この通常モードは、前記通常モード実行部５０の作用下に、微小時間毎に繰り返し実行される。
【０１１７】
先ず、図２１のステップＳ２０１において、赤外線カメラ１６Ｒ及び１６Ｌからステレオ赤外線画像を入力し、画像入力部４０及び二値化処理部４２の作用によって右グレースケール画像５４及び右二値化画像５６、左グレースケール画像５８が画像記憶部４４に記憶される。
【０１１８】
この後、右二値化画像５６に基づいて対象物の抽出処理を行い（ステップＳ２０２）、右グレースケール画像５４及び左グレースケール画像５８における視差を求め、該視差から各対象物までの距離を算出する（ステップＳ２０３、対象物距離検出手段）。パターンマッチングを行う際、右グレースケール画像５４における切り出し領域１６２Ｒ及び左グレースケール画像５８における切り出し領域１６２Ｌ上でマッチングを行うため迅速な処理が可能であって、しかも確実なマッチングを行うことができる。
【０１１９】
次いで、車両１２を基準として対象物の相対位置を算出し（ステップＳ２０４）、車両１２の挙動による所定の補正を行った後に各対象物の移動ベクトルを算出する（ステップＳ２０５）。この際、ＥＣＵ１４は、モデル記憶部９６に記録された遠距離モデルとしての（８−１）〜（８−４）式に基づいて実対象物の位置を正確且つ迅速に検出することができる。
【０１２０】
さらに、移動ベクトル等を参照しながら道路構造物や他の車両を識別して除外するとともに（ステップＳ２０６）、対象物の形状等から歩行者の判定を行う（ステップＳ２０７）。
【０１２１】
この後、右グレースケール画像５４をＨＵＤ１８に表示させ、ステップＳ２０７で検出された歩行者が所定範囲内に存在すると判断された場合には、歩行者を示す像の周りに強調枠を表示するとともにスピーカ２０から音を発して、注意喚起出力を行う（ステップＳ２０９）。
【０１２２】
上述したように、本実施の形態に係るナイトビジョンシステム１０では、エイミングモード時と通常モード時で第１の式群である（７−１）式〜（７−４）式と第２の式群である（８−１）式〜（８−４）式を使い分けることにより、モードに関わらずに対象物の位置を高精度に算出することができる。特に、エイミングモードは近距離用のピンホールモデルに基づいて行われるため、エイミングターゲット１１２（又は１３４）を近距離に配置することができ、室内でのエイミングが可能になる。通常モード時には、対象物距離を無限遠とみなすことにより第２の式群を簡略な形で表すことができ、演算手順が簡略化される。
【０１２３】
なお、ピンホールモデルは、遠距離用及び近距離用の２つに限らず、距離に応じて３つ以上のモデルを設けて選択してもよい。
【０１２４】
本発明に係る周辺監視装置は、上述の実施の形態に限らず、本発明の要旨を逸脱することなく、種々の構成を採り得ることはもちろんである。
【図面の簡単な説明】
【０１２５】
【図１】本実施の形態に係るナイトビジョンシステムの概略構成を車両とともに示したブロック構成図である。
【図２】ＥＣＵのブロック構成図である。
【図３】画像記憶部の記憶データの構成を示す図である。
【図４】エイミングターゲット制御装置及び車両を示す斜視図である。
【図５】ターゲット板の変形例に係る斜視図である。
【図６】サービスエイミング設定装置及び車両を示す斜視図である。
【図７】一般的な透視変換モデルのモデル図である。
【図８】透視変換モデルにより結像面に像が透視される様子を示すモデル図である。
【図９】エイミング設定を行う手順を示すフローチャート（その１）である。
【図１０】テンプレート記憶部の内容を示す図である。
【図１１】エイミング設定を行う手順を示すフローチャート（その２）である。
【図１２】エイミング設定を行う手順を示すフローチャート（その３）である。
【図１３】エイミング設定を行う手順を示すフローチャート（その４）である。
【図１４】エイミング設定を行う手順を示すフローチャート（その５）である。
【図１５】エイミングモードにおけるテンプレートマッチング処理を示す概念図である。
【図１６】取り付け角度算出処理及び左右カメラ映像切り出し座標算出処理の手順を示すフローチャートである。
【図１７】基準領域から切り出し領域を設定する処理を示す概念図である。
【図１８】左右の切り出し領域に対して行うピッチアラインメント調整処理を示す概念図である。
【図１９】ピッチアラインメント調整がなされた左右の切り出し領域の位置関係を示す図である。
【図２０】通常モードにおけるテンプレートマッチング処理を示す概念図である。
【図２１】通常モードの処理手順を示すフローチャートである。
【符号の説明】
【０１２６】
１０…ナイトビジョンシステム １２…車両
１４…ＥＣＵ １６Ｒ、１６Ｌ…赤外線カメラ
１８…ＨＵＤ ２０…スピーカ
４４…画像記憶部 ４６…カメラパラメータ記憶部
４８…エイミングモード実行部 ５０…通常モード実行部
５２…モード選択部 ５４…右グレースケール画像
５８…左グレースケール画像 ７０…製作所モード部
７２…サービスモード部 ７８…テンプレートマッチング部
９４…テンプレート設定部 ９６…モデル記憶部
１００…エイミングターゲット制御装置
１１２、１１２ａ〜１１２ｈ、１３４、１３４ａ〜１３４ｃ…エイミングターゲット
１２０…サービスエイミング設定装置 １２４…ヘッドライトテスタ
１３８…レンズ １６０Ｒ…基準領域
１６２Ｒ、１６２Ｌ…切り出し領域
Ｂ…基線長 Ｃ…光軸
Ｆ…結像距離 ｆ…焦点距離
Ｍ…透視変換モデル Ｐ０…基準座標値
ＰＣ…中心位置 ＰＬ…左位置
ＰＲ…右位置 Ｓ…結像面
ＴＰ、ＴＰ１〜ＴＰ６、ＴＰｒ、ＴＰｓ、ＴＰ’…テンプレート
ｙｌａ、ｙｒａ…平均値 Ｚ…対象物距離
【技術分野】
【０００１】
本発明は、撮像手段によって対象物の位置を検出する周辺監視装置に関し、特に、光学的な透視変換モデルを用いることにより対象物の位置を検出する周辺監視装置に関する。
【背景技術】
【０００２】
例えば、車両に２台の撮像手段を搭載し、これらの撮像手段を用いて同一の対象物を撮像し、撮像された画像間の視差を利用して車両から対象物までの距離を計測し、あるいは、車両に対する対象物の実空間位置を計測し、ドライバに前方の障害物の有無等を報知するようにした車両周辺監視装置が開発されている（特許文献１参照）。
【０００３】
対象物の位置は、視差に基づいて対象物までの距離が求められた後に、該距離を撮像手段の光学的な透視変換モデルに適用することにより、画像上の像から特定される。
【０００４】
【特許文献１】特開２００３−２１６９３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
対象物の位置や距離を正確に計測するためには、撮像手段の取り付け角度が正確に求められていなければならない。特に、対象物が遠方に存在する場合には、撮像手段の取り付け角の僅かな差の影響により位置や距離の計測に大きな誤差が生じる。このため既知位置に配置されたターゲットを撮像手段により撮像し、得られた画像上のターゲット像に基づいて撮像手段の正確な取り付け角度を求めるためのエイミングを行うとよい。
【０００６】
ところで、車両の走行時に検出すべき対象物の距離は、比較的遠距離の範囲（例えば３０ｍ〜１００ｍ）として設定され、実際上対象物距離を無限遠とみなすことができる。対象物距離が無限遠である場合には簡略化された透視変換モデルを適用することが知られており、位置検出の手順が簡便化されて、演算を高速に行うことができる。
【０００７】
一方、エイミングが行われる検査場は一般的に室内であることが想定され、スペース上の問題から検査用のターゲットを車両から比較的近距離に配置することが望ましい。しかしながら、ターゲットを近距離に配置した場合、前記の簡略化された透視変換モデルでは求められる位置の誤差が大きい。
【０００８】
本発明はこのような課題を考慮してなされたものであり、対象物距離に関わらずに対象物の位置を高精度に算出することができ、特に対象物距離が長いときには簡便な手順によって対象物の位置を算出することのできる周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る周辺監視装置は、撮像手段によって対象物を撮像し、透視変換モデルを用いて前記対象物の実空間位置を算出する周辺監視装置において、対象物までの距離を検出する対象物距離検出手段と、前記対象物距離検出手段の検出結果に応じて前記透視変換モデルを選択する透視変換モデル選択手段とを備えることを特徴とする（請求項１記載の発明）。
【００１０】
このように、対象物距離応じて透視変換モデルを選択することにより、対象物の距離に関わらずに位置を高精度に算出することができる。
【００１１】
また、本発明に係る周辺監視装置は、対象物を撮像する撮像手段と、前記対象物までの対象物距離を検出する対象物距離検出手段と、前記撮像手段の光学的な透視変換モデルとして近距離用のピンホールモデルに基づく第１の式及び遠距離用のピンホールモデルに基づく第２の式を備えるモデル記憶部と、前記第１の式又は前記第２の式を用いて前記対象物の位置を検出する位置検出手段と、を有する周辺監視装置であって、前記位置検出手段は、前記対象物距離検出手段で検出された前記対象物距離が所定閾値以下であるときには前記第１の式に基づいて前記対象物の位置を検出し、前記所定閾値を超えるときには前記第２の式に基づいて前記対象物の位置を検出することを特徴とする（請求項２記載の発明）。
【００１２】
このように、対象物距離に基づいて近距離用のピンホールモデルに基づく第１の式と遠距離用のピンホールモデルに基づく第２の式を使い分けることにより、対象物距離に関わらずに対象物の位置を高精度に算出することができる。また、第２の式は対象物距離を無限遠とみなすことにより第１の式よりも簡略な形で表すことができ、対象物の位置を簡便に算出することができる。
【００１３】
また、本発明に係る周辺監視装置は、対象物を撮像する撮像手段と、前記撮像手段の光学的な透視変換モデルとして近距離用のピンホールモデルに基づく第１の式及び遠距離用のピンホールモデルに基づく第２の式を備えるモデル記憶手段と、前記第１の式又は前記第２の式を用いて前記対象物の位置を検出する位置検出手段と、実行モードを既知距離の検査用ターゲットを撮像することにより前記撮像手段の取付角度を検出する検査用モード、又は未知距離の実対象物を撮像する通常モードから選択するモード選択手段と、を有する周辺監視装置であって、前記モード選択手段が、前記検査用モードを選択したときには前記位置検出手段は前記第１の式に基づいて前記検査用ターゲットの位置を検出し、前記モード選択手段が、前記通常モードを選択したときには前記位置検出手段は前記第２の式に基づいて前記実対象物の位置を検出することを特徴とする（請求項３記載の発明）。
【００１４】
このように、エイミングモードと通常モードで第１の式と第２の式を使い分けることにより、モードに関わらずに対象物の位置を高精度に算出することができる。特に、エイミングモードでは近距離用のピンホールモデルに基づく第１の式を用いることから検査用ターゲットを近距離に配置することができ、室内でのエイミングが可能になる。また、通常モード時には、対象物距離を無限遠とみなすことにより第２の式を簡略な形で表すことができ、対象物の位置を簡便に算出することができる。第１の式及び第２の式は、それぞれ複数の式で表されていてもよい。
【発明の効果】
【００１５】
本発明に係る周辺監視装置によれば、対象物距離に基づいて複数のピンホールモデルを使い分けることにより、対象物距離に関わらずに対象物の位置を高精度に算出することができる。また、近距離用のピンホールモデルに基づく第１の式と遠距離用のピンホールモデルに基づく第２の式を設けてこれらの２つの式を使い分けることにより、第２の式は対象物距離を無限遠とみなすことにより第１の式よりも簡略な形で表すことができ、対象物の位置を簡便に算出することができる。
【００１６】
また、エイミングモード時と通常モード時で第１の式と第２の式を使い分けることにより、モードに関わらずに対象物の位置を高精度に算出することができる。通常モード時には、対象物距離を無限遠とみなすことにより第２の式を簡略な形で表すことができ、演算手順が簡略化される。
【発明を実施するための最良の形態】
【００１７】
以下、本発明に係る周辺監視装置について実施の形態を挙げ、添付の図１〜図２１を参照しながら説明する。
【００１８】
図１に示すように、本実施形態に係るナイトビジョンシステム（周辺監視装置）１０は、車両１２に搭載されたシステムであって、主要な制御部であるＥＣＵ（Electric Control Unit）１４と、左右一対の赤外線カメラ（撮像手段）１６Ｌ、１６Ｒと、検出結果画像を表示するためのＨＵＤ(Head Up Display)１８と、警報音等を発するスピーカ２０と、走行速度を検出する車速センサ２２と、走行時のヨーレートを検出するヨーレートセンサ２４と、日射センサ２６と、ヘッドライトスイッチ２８と、システムを起動又は停止させるメインスイッチ３０と、外部コンピュータシステムとの接続部３２とを有する。ナイトビジョンシステム１０を構成するこれらの機器間の接続には、他のシステムと兼用の車内通信網を用いてもよい。
【００１９】
赤外線カメラ１６Ｒ及び１６Ｌは、バンパ下部における横長グリル孔の右端部及び左端部に並行配置され、左右対称位置でそれぞれ前方を指向し、カメラ間距離（以下、基線長ともいう。）Ｂの間隔で設けられている。赤外線カメラ１６Ｒ及び１６Ｌは遠赤外線を検出することにより高温部ほど高輝度となる赤外線画像を撮像して、それぞれＥＣＵ１４に供給する。
【００２０】
ＨＵＤ１８はインスツルメントパネル上部のドライバの正面位置において前方視界を妨げないように設けられている。ＨＵＤ１８はシステムオフ状態ではインスツルメントパネル内に格納されており、日射センサ２６の情報から夜であると判断し、且つヘッドライトスイッチ２８の情報からヘッドライト（又はフォグライト）が点灯していると判断される状態でメインスイッチ３０をオンにするとポップアップする。ＨＵＤ１８の映像表示部は凹面ミラーで構成され、インスツルメントパネル内部からの映像を反射・投影する。ナイトビジョンシステム１０はメインスイッチ３０の操作に拘わらず、オートライト機能に連動して自動起動させてもよい。ＨＵＤ１８の表示輝度は適当なスイッチ操作によって調整可能としてもよい。
【００２１】
ＥＣＵ１４は、赤外線カメラ１６Ｒ、１６Ｌから得られたステレオ赤外線画像に基づいて、両画像の視差から熱源対象物を検出してＨＵＤ１８上で白いシルエットとして映し出す。さらに、熱源対象物の中から歩行者を特定すると、注意喚起のためにスピーカ２０から音を発すると同時に、ＨＵＤ１８上に映し出された歩行者を目立つ色の枠で囲んで強調表示する。この注意喚起機能は、所定の速度域において歩行者の位置に到達するまでの時間を予測し、充分な回避操作が行えるタイミングで注意喚起を行う。
【００２２】
赤外線カメラ１６Ｒ、１６Ｌは、遠方の熱源対象物の位置、距離及び形状を正確に判定するため、製作所における製造時、あるいは、定期点検時等において、後述する調整処理であるエイミング設定が行われる。
【００２３】
図２に示すように、ＥＣＵ１４は、赤外線カメラ１６Ｒ、１６Ｌにより撮像された赤外線画像をＡ／Ｄ変換してグレースケール画像を生成する画像入力部４０と、閾値に基づいてグレースケール画像から二値化画像を生成する二値化処理部４２と、グレースケール画像及び二値化画像を記憶する画像記憶部４４と、エイミングを行って処理結果をカメラパラメータ記憶部４６に記憶するエイミングモード実行部４８と、車速センサ２２等のセンサ及びカメラパラメータ記憶部４６を参照しながら通常の画像処理を行うとともにＨＵＤ１８及びスピーカ２０を制御する通常モード実行部５０と、接続部３２を介して外部のコンピュータシステムからの指示に基づき、エイミングモードか通常モードのいずれか一方を選択するモード選択部５２とを有する。
【００２４】
図３に示すように、画像記憶部４４には、右の赤外線カメラ１６Ｒが撮像した赤外線画像に基づく右グレースケール画像５４及び右二値化画像５６と、左の赤外線カメラ１６Ｌが撮像した赤外線画像に基づく左グレースケール画像５８が記憶される。これらの各画像は、車両１２の前方を撮像した横長のデジタル画像である。右グレースケール画像５４及び左グレースケール画像５８は各ピクセルの輝度が所定の階調（例えば、２５６階調）で表され、右二値化画像５６は各ピクセルの輝度が０又は１で表される二値の画像である。実際上、各画像は複数枚を同時に記憶可能である。
【００２５】
図２に戻り、エイミングモード実行部４８は、車両１２を製造する製作所内において外部コンピュータシステムとしてエイミングターゲット制御装置１００（図４参照）を用いてエイミングを行う製作所モード部７０と、サービスエイミング設定装置１２０（図５参照）を用いてサービス工場等でエイミングを行うサービスモード部７２を有し、これらの外部コンピュータシステムからの指示に基づいて製作所モード部７０又はサービスモード部７２のいずれか一方が選択実行される。
【００２６】
また、エイミングモード実行部４８は、エイミングの開始時に外部コンピュータシステムから所定のパラメータを入力するパラメータ入力部７４と、エイミングに必要な初期設定を行う初期設定部７６と、画像記憶部４４に記憶された左右のグレースケール画像５４、５８に対してテンプレートを用いたマッチングを行うテンプレートマッチング部７８と、赤外線カメラ１６Ｒ、１６Ｌにより撮像して得られた画像信号の輝度を調整するための輝度調整ＬＵＴを設定する輝度調整ＬＵＴ設定部８０と、赤外線カメラ１６Ｒ、１６Ｌの焦点距離、画素ピッチ等の固体差に起因して発生する映像歪みを補正する左右カメラ映像歪補正部８２と、赤外線カメラ１６Ｒ、１６Ｌの取付角（パン角、ピッチ角）を算出する左右カメラ取付角算出部８４と、画像から演算範囲を切り出すための基準となる切り出し座標を算出する左右カメラ映像切出座標算出部８６と、赤外線カメラ１６Ｒ、１６Ｌの光軸が平行に設定されていないことに起因する対象物画像の視差に含まれる誤差である視差オフセット値を算出する視差オフセット値算出部８８とを有する。
【００２７】
なお、視差オフセット値算出部８８は、赤外線カメラ１６Ｒ、１６Ｌで撮像された対象物の画像上の実視差を算出する実視差算出手段と、赤外線カメラ１６Ｒ、１６Ｌにより撮像された各画像を各パン角に従って切り出し、測距精度をさらに向上するために視差オフセット値を算出する視差補正値算出手段として機能する。
【００２８】
初期設定部７６は、対象物までの距離に応じて用意された６つのテンプレートＴＰ１、ＴＰ２、ＴＰ３、ＴＰ４、ＴＰ５、ＴＰ６（代表的にテンプレートＴＰとも示す。）から１つを選択するテンプレート設定部９４を有する。また、ＥＣＵ１４は、対象物の位置を求めるための透視変換モデルを数式として記憶するモデル記憶部９６を有し、エイミングモード実行部４８及び通常モード実行部５０は該透視変換モデルを用いて対象物の位置を算出する。モデル記憶部９６には、対象物が近距離である場合の近距離用モデルと遠距離である場合の遠距離用モデルが記憶されている。
【００２９】
ＥＣＵ１４は、主たる制御部としてのＣＰＵ（Central Processing Unit）と、記憶部としてのＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等を有しており、上記の各機能部は、ＣＰＵがプログラムを読み込み、記憶部等と協動しながらソフトウェア処理を実行することにより実現される。
【００３０】
図４に示すように、エイミングターゲット制御装置１００は、車両１２の位置決め装置１０２と、車両１２が位置決めされた状態で赤外線カメラ１６Ｒ、１６Ｌの前方既知の距離Ｚｆに設けられたゲート１０４と、前記接続部３２を介してＥＣＵ１４と通信を行うとともにゲート１０４を制御する主制御装置１０６とを有する。ゲート１０４は、車幅よりやや広い間隔で設けられた２本の支柱１０８と、左右端を支柱１０８に支持された横長のターゲット板１１０とを有し、該ターゲット板１１０は、主制御装置１０６の作用下に支柱１０８に沿って昇降可能である。ターゲット板１１０には、撮像する対象物としての８つのエイミングターゲット１１２ａ、１１２ｂ、１１２ｃ、１１２ｄ、１１２ｅ、１１２ｆ、１１２ｇ及び１１２ｈ（代表的にエイミングターゲット１１２とも示す。）が左から順に水平に配列されており、エイミングターゲット１１２ａ〜１１２ｈは熱源である。
【００３１】
左側のエイミングターゲット１１２ａ〜１１２ｄは比較的小さい間隔ｄ（ｄ＜Ｂ）で並んでおり左ターゲット群１１４を形成する。同様に、右側のエイミングターゲット１１２ｅ〜１１２ｈは間隔ｄで並んでおり右ターゲット群１１６を形成する。左ターゲット群１１４の右端であるエイミングターゲット１１２ｄと右ターゲット群１１６の左端であるエイミングターゲット１１２ｅの間隔は基線長Ｂに等しく、エイミングターゲット１１２ｄ及び１１２ｅは、赤外線カメラ１６Ｒ及び１６Ｌの正面位置に配置される。
【００３２】
なお、エイミングターゲット１１２ａ〜１１２ｈは発熱体のような熱源に限らず、例えば図５に示すように、熱の反射板としての小さい金属板（アルミニウム板等）１１８ａ〜１１８ｈを用いてもよい。このような金属板をターゲットとして用いることにより車両１２が発生、放射する熱（赤外線）が反射され、赤外線カメラ１６Ｒ及び１６Ｌで撮像することができる。この場合、ターゲットの点灯、消灯の切り換え操作が不要であり、しかも電力消費がなくて好適である。また、ターゲット板１１０として熱の反射率の低い材料を用いると、撮像された画像上で金属板１１８ａ〜１１８ｈとターゲット板１１０のコントラストが明りょうとなり好適である。
【００３３】
図６に示すように、サービスエイミング設定装置１２０は、エイミング設定時における車両１２の車輪位置を示す位置マーク１２２と、該位置マーク１２２に基づいて車両１２が位置決めされた状態で赤外線カメラ１６Ｒ、１６Ｌの前方所定距離（以下、対象物距離ともいう）Ｚの位置に設けられたヘッドライトテスタ１２４と、前記接続部３２を介してＥＣＵ１４と通信を行う主制御装置１２６とを有する。ヘッドライトテスタ１２４は、レール１２８に沿って車幅方向と並行に移動可能であるとともに、昇降台１３０が昇降可能な構成となっている。昇降台１３０にはターゲット板１３２が設けられ、該ターゲット板１３２には間隔ｄ（ｄ＜Ｂ）で水平に並んだ３つの熱源である撮像対象物としてのエイミングターゲット１３４ａ、１３４ｂ及び１３４ｃ（代表的にエイミングターゲット１３４とも示す。）が設けられている。エイミングターゲット１３４は前記エイミングターゲット１１２と同じものであり、又は略同じものを用いることができる。
【００３４】
次に、一般的な透視変換モデルＭ、及びモデル記憶部９６に記憶される近距離用モデル及び遠距離用モデルについて説明する。
【００３５】
図７に示すように、一般的な透視変換モデルＭは、高さＹの対象物Ｗを焦点距離ｆのレンズ１３８で撮像して高さｙの像を得る様子を示すモデルである。つまり、対象物Ｗの一端部である点Ｐａからレンズ中心Ｏに入光した光は直進し、光軸Ｃに並行に入光した光はレンズ１３８の点Ｏ’で屈折し、それぞれの光は点Ｐｂで集光する。対象物Ｗの他端部であり光軸Ｃ上の点Ｐａ’からレンズ中心Ｏに入光した光は、光軸Ｃ上をそのまま直進して点Ｐｂ’に至る。このようにして対象物Ｗはレンズ１３８を通して反対側の結像距離Ｆの箇所に高さｙの像ｗを結像する。図７から明らかなように、像ｗは対象物Ｗに対して倒立している。
【００３６】
ところで、三点Ｐａ、Ｐａ’、Ｏからなる三角形と三点Ｐｂ、Ｐｂ’、Ｏからなる三角形の相似関係、及び三点Ｏ、Ｏ’、Ｐｃからなる三角形と三点Ｐｂ、Ｐｂ’、Ｐｃからなる三角形の相似関係から以下の（１）式及び（２）が導き出される。ただし、点Ｐｃは、レンズ１３８からみて像ｗの方向で、光軸Ｃ上における焦点距離ｆの位置の点である。
ｙ／Ｙ＝Ｆ／Ｚ …（１）
ｙ／Ｙ＝（Ｆ−ｆ）／ｆ …（２）
【００３７】
この（１）式及び（２）式からｙ及びＹを消去すると次の（３）式が求められる。
Ｆ＝ｆＺ／（Ｚ−ｆ） …（３）
【００３８】
エイミングモード時には、対象物距離Ｚが既知距離であることから、後述するステップＳ８及びＳ３３においてはこの（３）式により結像距離Ｆが設定される。実際上、（３）式は後述の（７−１）〜（７−４）式に含まれるようにしてもよい。
【００３９】
対象物Ｗがレンズ１３８から十分遠方にある場合（Ｚ≫ｆである場合）には、（３）式は次の（４）式の近似式で表すことができる。
Ｆ≒ｆ（＝ｆＺ／Ｚ） …（４）
【００４０】
なお、対象物Ｗの幅Ｘについても高さＹと同様の透視変換モデルＭで表すことができ、幅Ｘに対して像ｗは幅ｘで表される。また、実際の像ｗは対象物Ｗに対してレンズ１３８の反対側に結像するが、モデルの単純化のために仮想の結像面Ｓを対象物Ｗと同じ側で、且つレンズ１３８から結像距離Ｆの位置に設けることができる。これにより、図８に示すように、対象物Ｗと像ｗはレンズ中心Ｏを基準として相似の正立像となり、対象物Ｗが結像面Ｓに透視変換される。
【００４１】
図８から明らかなように、結像面Ｓにおける像ｗの幅ｘ及び高さｙは次の（５）式及び（６）式で表される。
ｘ＝Ｆ／Ｚ・Ｘ／ｐ …（５）
ｙ＝Ｆ／Ｚ・Ｙ／ｐ …（６）
【００４２】
ここで、パラメータｐは結像面Ｓを実際のデジタル画像に適用する際の画素ピッチである。また、対象物Ｗが比較的近距離であるときは（４）式を適用すると誤差が無視できないため（３）式を（５）式及び（６）式に代入することになり、結局、対象物Ｗが比較的近距離であるときの透視変換モデルは、次の第１の式群である（７−１）〜（７−４）式で表される。
【００４３】
【数１】
【００４４】
この第１の式群は、モデル記憶部９６における近距離用モデルに含まれており、前記モード選択部５２が後述のステップＳ３でエイミングモードを選択したときにエイミングモード実行部４８により選択され、エイミングターゲット１１２又は１３４の位置を算出に供される。つまり、製作所エイミング時には既知の距離Ｚｆとして自動設定される値が対象物距離Ｚとして用いられ、サービスエイミング時には主制御装置１２６から入力された対象物距離Ｚが用いられる。各エイミングターゲット１１２又は１３４は、車幅方向の座標値であるＸ及び高さ方向の座標値であるＹが既知であることから、（７−１）式及び（７−２）式から結像面Ｓにおける像ｗの理論的な座標Ｐｂ（ｘ、ｙ）が求められる。なお、サービスエイミング時には、高さ座標Ｙは、カメラ高さＨ（図１参照）に基づいて補正される。
【００４５】
この後、理論的な座標Ｐｂ（ｘ、ｙ）と実際に得られたエイミングターゲット１１２の実画面上の座標と比較することによって、赤外線カメラ１６Ｒ及び１６Ｌの取り付け角度が求められる。また、実画面上の座標から（７−３）式及び（７−４）式を用いてエイミングターゲット１１２の理論的な座標を求め、既知の座標値Ｘ、Ｙと比較して赤外線カメラ１６Ｒ及び１６Ｌの取り付け角度を求めてもよい。
【００４６】
第１の式群は、結像距離Ｆを示す（３）式に基づいて設定されていることから、理論的な座標Ｐｂ（ｘ、ｙ）が正確に求められ、結果として赤外線カメラ１６Ｒ及び１６Ｌの取り付け角度を高精度に求めることができる。
【００４７】
一方、対象物Ｗが遠方であるときには近似式として（４）式を用いることができ、（５）式及び（６）式は次の第２の式群である（８−１）〜（８−４）式で表される。
【００４８】
【数２】
【００４９】
この第２の式群は、前記のモデル記憶部９６における遠距離用モデルに含まれており、前記モード選択部５２が後述のステップＳ３で通常モードを選択したときに通常モード実行部５０により選択され、対象物の位置を算出に供される。つまり、赤外線カメラ１６Ｒ又は１６Ｌにより得られた２つの画像の視差から対象物までの対象物距離Ｚを算出した後、画像上の座標から（８−３）式及び（８−４）式を用いて対象物の空間上の座標値Ｘ及びＹが求められる。一般的に、通常モードにおいては対象物距離Ｚが焦点距離ｆより十分に大きいことから前記（４）式の誤差は無視できるレベルであり、対象物の座標値Ｘ及びＹは（８−３）式及び（８−４）式により十分高精度に求められる。また、（８−３）式及び（８−４）式は、前記（７−３）式及び（７−４）式よりも簡便な式であることから高速計算が可能である。
【００５０】
なお、通常モードにおいても、求められた対象物距離Ｚが所定の閾値以下である場合には（７−３）式及び（７−４）式を用いるようにしてもよい。
【００５１】
次に、このように構成されるエイミングターゲット制御装置１００又はサービスエイミング設定装置１２０を用いてナイトビジョンシステム１０のエイミングを行う方法について説明する。
【００５２】
エイミングには、製作所内でエイミングターゲット制御装置１００を用いる製作所エイミングモードと、サービスエイミング設定装置１２０を用いるサービスエイミングモードがある。
【００５３】
製作所エイミングモードでは、位置決め装置１０２により車両１２の位置決めを行うとともに、主制御装置１０６を車両１２の接続部３２に接続しておく。主制御装置１０６はＥＣＵ１４に対して、エイミングターゲット制御装置１００を用いた製作所エイミングを実行するように指示を送出する。また、エイミングターゲット１１２ａ〜１１２ｈは、車両１２の種類に応じて規定の高さとなるように調整しておく。
【００５４】
サービスエイミングモードでは、位置マーク１２２に車両１２の各車輪を合わせて位置決めを行うとともに、主制御装置１２６を車両１２の接続部３２に接続しておく。主制御装置１２６は、ＥＣＵ１４に対して、サービスエイミング設定装置１２０を用いたサービスエイミングを実行するように指示を送出する。エイミングターゲット１３４ａ〜１３４ｃは、規定高さとなるように調整しておく。
【００５５】
図９及び図１１〜図１４に示す処理は、ＥＣＵ１４において主にエイミングモード実行部４８で実行される処理である。
【００５６】
先ず、図９のステップＳ１において、赤外線カメラ１６Ｒ、１６Ｌからステレオ赤外線画像入力し、画像入力部４０においてＡ／Ｄ変換して（ステップＳ２）グレースケール画像５４、５８を得る。このグレースケール画像５４及び５８は、所定のクリア指示又は上書き式があるまで画像記憶部４４に保持され、複数枚を記録可能である。また、グレースケール画像５４及び５８は、それぞれ二値化処理部４２で二値化され、右二値化画像５６が画像記憶部４４に記憶される。
【００５７】
ステップＳ３において、モード選択部５２は主制御装置１０６又は１２６からの指示に従い、エイミングモード又は通常モードのいずれを実行するのかを判断する。通常モードを実行する場合にはステップＳ５へ移り、エイミングモードを実行する場合にはステップＳ４へ移る。
【００５８】
ステップＳ５の通常モードでは、通常モード実行部５０の作用下に、カメラパラメータ記憶部４６に記憶されたカメラパラメータを参照し、後述するようにＨＵＤ１８及びスピーカ２０を制御して対象物の検出及び必要に応じた注意喚起を行う通常のモードを実行する。
【００５９】
ステップＳ５においては、モード選択部５２がエイミングターゲット制御装置１００又はサービスエイミング設定装置１２０のいずれの装置を用いるのか判断し、エイミングターゲット制御装置１００を用いると判断した場合にはステップＳ６へ移り、製作所モード部７０の作用下に製作所エイミングモードを実行する。また、サービスエイミング設定装置１２０を用いると判断した場合にはステップＳ３０（１２参照）へ移り、サービスモード部７２の作用下にサービスエイミングモードを実行する。以下、製作所エイミングモード及びサービスエイミングモードを順に説明する。
【００６０】
製作所エイミングモードでは、先ず、ステップＳ６において、赤外線カメラ１６Ｒ、１６Ｌからターゲット板１１０までの距離、つまり対象物距離Ｚを設定する。この場合、対象物距離Ｚは既知の距離Ｚｆとして自動的に設定される。
【００６１】
ステップＳ７において、テンプレート設定部９４の作用下に基準テンプレートを対象物距離Ｚに応じて選択する。図１０に示すように、テンプレートＴＰ１、ＴＰ２、ＴＰ３、ＴＰ４、ＴＰ５、ＴＰ６は規定距離に配置された１つの仮ターゲットを撮像した小さい画像データであって、規定距離は赤外線カメラ１６Ｒ及び１６Ｌから近い順に等間隔（又は等比間隔等）のＺ１、Ｚ２、Ｚ３、Ｚ４、Ｚ５及びＺ６として設定されている。テンプレートＴＰ１、ＴＰ２、ＴＰ３、ＴＰ４、ＴＰ５、ＴＰ６はＥＣＵ１４内のテンプレート記憶部９５に記憶されている。仮ターゲットとしてはエイミングターゲット１１２と同じものが用いられる。製作所エイミングモードでは、例えば既知の距離ＺｆがＺｆ＝Ｚ３であれば、テンプレートＴＰ３が基準テンプレートとして選択される。
【００６２】
ステップＳ８においては、透視変換モデルＭ（図７参照）に基づいて結像距離Ｆの設定を行う。
【００６３】
なお、ステップＳ６〜Ｓ８の処理は、初期設定部７６の作用下に行われ、所定の実行回数パラメータを参照しながら、エイミングが実行された最初の１回のみ実行される。
【００６４】
ステップＳ９（対象物抽出手段）において、ステップＳ７で選択した基準テンプレートに基づいてテンプレートマッチング処理を行う。すなわち、赤外線カメラ１６Ｒ、１６Ｌにより撮像されたエイミングターゲット１１２のグレースケール画像５４、５８と、テンプレートＴＰとの相関演算を行い、相関演算の結果が最小となるグレースケール画像の座標を算出して記憶する。（ステップＳ１０、ターゲット座標算出手段）。相関演算には、例えば、ピクセル毎の絶対値誤差の総和であるＳＡＤ値（Sum of Absolute Difference）が用いられる。
【００６５】
ステップＳ１１では、取得したグレースケール画像５４及び５８の枚数が所定の枚数Ｎ枚に達したか否かを確認し、Ｎ枚に達した場合には、ステップＳ１２へ移り、Ｎ枚未満である場合には、ステップＳ１へ戻りグレースケール画像５４、５８の取得を継続してターゲット座標の算出記憶処理を繰り返す。
【００６６】
ステップＳ１２において、算出されたＮ組のターゲット座標の平均値Ｐａｖｅを算出する処理を行い、ターゲット座標算出が正常に算出された場合にはステップＳ１４へ移り、算出されなかった場合にはステップＳ３へ戻るという分岐処理（ステップＳ１３）を行う。
【００６７】
図１１のステップＳ１４において、輝度調整ＬＵＴ設定処理を行う。この処理では、相関演算によるテンプレートマッチングを確実に実行できるよう、例えば、赤外線カメラ１６Ｒ及び１６Ｌにより検出されたエイミングターゲット１１２の輝度信号同士のレベルを比較し、各輝度レベルにおいて、相関演算の基準とする赤外線カメラ１６Ｒからの輝度信号が赤外線カメラ１６Ｌからの輝度信号よりも常に大きくなるように調整する輝度調整ＬＵＴを設定する。該輝度調整ＬＵＴ設定処理が正常に実行された場合にはステップＳ１６へ移る（ステップＳ１５）。
【００６８】
ステップＳ１６において、赤外線カメラ１６Ｒ、１６Ｌの焦点距離、画素ピッチ等の固体差に起因して発生する映像歪みを補正する映像歪補正値の算出処理を行う。映像歪補正値が正常に算出された場合にはステップＳ１８へ移る（ステップＳ１７）。
【００６９】
ステップＳ１８において、左右カメラ取り付け角であるパン角及びピッチ角（又はチルト角とも呼ばれる。）の算出処理を行い、該左右カメラ取り付け角が正常に算出された場合にはステップＳ２０へ移る（ステップＳ１９）。
【００７０】
ここで、パン角とは、２つの赤外線カメラ１６Ｒ及び１６Ｌの光軸は同じ高さ方向を指向していることから、赤外線カメラ１６Ｒ及び１６Ｌの両光軸を含むカメラ配列仮想面における旋回方向の角度であって視差が発生する方向ということができ、得られた画像上のｘ方向に相当する（図８参照）。また、ピッチ角とは、カメラ配列仮想面を基準として垂直な俯仰方向の角度ということができ、得られた画像上のｙ方向に相当する。
【００７１】
ステップＳ２０において、赤外線カメラ１６Ｒ、１６Ｌにより撮像された各画像から各画像から画像処理に用いられる範囲を切り出す基準の切り出し座標の算出処理を行い、該切り出し座標が正常に算出された場合にはステップＳ２２へ移る（ステップＳ２１）。
【００７２】
ステップＳ２２において、赤外線カメラ１６Ｒ、１６Ｌの光軸が平行に設定されていないことに起因する対象物画像の視差に含まれる誤差である視差オフセット値の算出処理を行う。視差オフセットが算出された場合にはステップＳ２４へ移る（ステップＳ２３）。
【００７３】
ステップＳ２４において、ステップＳ１４、Ｓ１６、Ｓ１８、Ｓ２０及びＳ２２の処理で求められた輝度調整ＬＵＴ、映像歪補正値、パン角及びピッチ角、切り出し座標、視差オフセット値をカメラパラメータ記憶部４６に記憶し、正しく記憶された場合には製作所エイミングモード（又はサービスエイミングモード）を終了する。このとき、ＥＣＵ１４は主制御装置１０６又は１２６に対してエイミングが終了した旨の信号を送出する。この後に通常モードを実行する場合には所定の再起動処理を行えばよい。なお、ステップＳ１７、Ｓ１９、Ｓ２１、Ｓ２３及びＳ２５における各分岐処理において判定結果が否定的であった場合には、ステップＳ１３の分岐処理における否定的な結果時と同様にステップＳ３へ戻ることになる。
【００７４】
次に、サービスエイミングモードの処理について説明する。サービスエイミングモードにおいては、前記の製作所エイミングと同様にステップＳ１〜Ｓ３の処理（９参照）が実行され、次のステップＳ４からステップＳ３０への分岐処理が行われ、サービスモード部７２の作用下に図１２〜図１４に示す処理が実行される。
【００７５】
図１２のステップＳ３０において、赤外線カメラ１６Ｒ、１６Ｌからターゲット板１３２までの距離、つまり対象物距離Ｚを入力設定する。この場合、対象物距離ＺはＺ１〜Ｚ７（＞Ｚ６）ｍまでの範囲の数値として主制御装置１２６から入力され、ＥＣＵ１４に供給される。対象物距離Ｚの入力は、計測しやすい箇所（例えば位置マーク１２２）を基準として入力し、所定のオフセット量を自動的に差し引いて求めるようにしてもよい。また、レーザ距離検出装置等を対象物距離検出手段として使用し、対象物距離Ｚを自動検出及び入力してもよい。
【００７６】
ステップＳ３１において、赤外線カメラ１６Ｒ及び１６Ｌの高さを確認し、カメラ高さＨ（図１参照）を入力する。
【００７７】
ステップＳ３２において、テンプレート設定部９４の作用下に、対象物距離Ｚに応じてテンプレートＴＰ１〜ＴＰ６のうち１つを基準テンプレートとして選択する。前記のようにテンプレートＴＰ１〜ＴＰ６は、仮ターゲットの撮像時の規定距離がＺ１〜Ｚ６ｍとして設定されている。このステップＳ３２においては、対応する規定距離が対象物距離Ｚ以下であり、且つ対象物距離Ｚに最も近いテンプレートを選択する。具体的には、対象物距離ＺがＺ１〜Ｚ２’、Ｚ２〜Ｚ３’、Ｚ３〜Ｚ４’、Ｚ４〜Ｚ５’、Ｚ５〜Ｚ６’、Ｚ６〜Ｚ７である場合に、順にテンプレートＴＰ１〜ＴＰ６が対応して選択される。ここで、Ｚ２’、Ｚ３’、Ｚ４’、Ｚ５'及びＺ６’は、それぞれＺ２、Ｚ３、Ｚ４、Ｚ５、Ｚ６よりも最小入力単位だけ小さい値である。一層具体的には、対象物距離Ｚが、Ｚ４〜Ｚ５’の間あるときには、テンプレートＴＰ４が選択される。
【００７８】
ステップＳ３３において、ステップＳ８と同様に結像距離Ｆの設定処理が行われる。なお、ステップＳ３０〜Ｓ３３の処理は、初期設定部７６の作用下に行われ、所定の実行回数パラメータを参照しながら、エイミングが実行された最初の１回のみ実行される。
【００７９】
ステップＳ３４において、ターゲット板１３２の位置確認が行われる。つまり、サービスエイミングモードではターゲット板１３２を中心位置ＰＣ、左位置ＰＬ及び右位置ＰＲ（図６参照）の順に配置してエイミングを行うため、ステップＳ３４が最初に実行されたときには、主制御装置１２６に対してターゲット板１３２を中心位置ＰＣに設定するように確認指示の信号を送出する。この信号を受けた主制御装置１２６では、モニタ画面上に「ターゲットを中心位置ＰＣに配置して、『Ｙ』キーを押してください。」等のメッセージを表示する。調整員はこのメッセージに応じてヘッドライトテスタ１２４を手動又は所定の駆動装置によってレール１２８に沿って移動させ、ターゲット板１３２を中心位置ＰＣに配置し、『Ｙ』キーを押す。
【００８０】
また、ステップＳ３４は繰り返し実行され、Ｎ回終了毎に、「ターゲットを左位置ＰＬに配置して、『Ｙ』キーを押してください。」、「ターゲットを右位置ＰＲに配置して、『Ｙ』キーを押してください。」等のメッセージを表示し、調整員に対してターゲット板１３２を左位置ＰＬ及び右位置ＰＲに配置するように促すとともに、配置後に「Ｙ」キーを入力させる。ターゲット板１３２が中心位置Ｐｃ、左位置ＰＬ及び右位置ＰＲに配置された後の初回時に、「Ｙ」キーが押されたことを確認してステップＳ３５に移り、これ以外の実行回ときには実質的な処理は行わない。
【００８１】
ステップＳ３５においては、その時点のターゲット板１３２の位置に応じて分岐処理が行われる。つまり、ターゲット板１３２が中心位置ＰＣに配置されているとき（初回〜Ｎ回目）にはステップＳ３６へ移り、左位置ＰＬに配置されているときにはステップＳ４１へ移り、右位置ＰＲに配置されているときにはステップＳ４６へ移る。
【００８２】
ステップＳ３６においては、ステップＳ９と同様にテンプレートマッチング処理を行う。
【００８３】
ステップＳ３７においては、ステップＳ１０と同様に、エイミングターゲット１３４のターゲット座標を算出して記憶する。
【００８４】
ステップＳ３８においては、ステップＳ１１と同様に、取得したグレースケール画像５４及び５８の枚数を確認し、Ｎ枚以上である場合にはステップＳ３９へ移り、Ｎ枚未満である場合にはステップＳ１へ戻る（２回目以降はＳ３〜Ｓ８若しくはＳ３０〜Ｓ３５はスキップする。）。
【００８５】
ステップＳ３９においては、中心位置ＰＣについて、ステップＳ１２と同様に、ターゲット座標の平均値Ｐａｖｅを算出する処理を行い、ターゲット座標が正常に算出された場合にはステップＳ１へ移り、算出されなかった場合にはステップＳ３へ戻るという分岐処理（ステップＳ４０）を行う。
【００８６】
同様にして、ターゲット板１３２を左位置ＰＬに配置し、図１３に示すステップＳ４１〜Ｓ４５が実行される。
【００８７】
また、ターゲット板１３２を右位置ＰＲに配置し、図１４に示すステップＳ４６〜Ｓ５０が実行される。
【００８８】
最後のステップＳ５０において、ターゲット座標が正常に算出されたと判断されたときには、ステップＳ１４（図１１参照）へ移り、それ以降は製作所エイミングモードと同様の処理が行われ、各カメラパラメータがカメラパラメータ記憶部４６に記憶される。
【００８９】
次に、選択された基準テンプレート（以下、テンプレートＴＰｓという。）を用いてテンプレートマッチングを行う処理であるステップＳ３６について図１５を参照しながら説明する。
【００９０】
図１５に示すように、選択されたテンプレートＴＰｓは、右グレースケール画像５４上において所定の順序で微少量ずつ縦方向及び横方向に動かされ、各位置においてパターンマッチングを行い、背景画像とのマッチング成立の正否を調べる。マッチングの成立判断には、前記のＳＡＤ値に基づいて判断される。
【００９１】
この場合、テンプレートＴＰｓにおける仮ターゲットの像１４０の大きさは、画像上の各エイミングターゲット１３４ａ〜１３４ｃの像の大きさ以上である。これは前記のステップＳ３２において、規定距離が対象物距離Ｚ以下であり、且つ対象物距離Ｚに最も近いテンプレートを選択しているためである。
【００９２】
図１５中の二点鎖線ＴＰ’で示すように、テンプレートＴＰｓがエイミングターゲット１３４ｃの位置に移動したとき、像１４０とエイミングターゲット１３４ｃはほぼ一致して高輝度部及び低輝度部が重なることとなり、ＳＡＤ値が十分小さい値となる。これによりマッチングが成立したと判断され、その時点のテンプレートＴＰｓの中心点からエイミングターゲット１３４ｃのターゲット座標が特定される。つまり、二点鎖線ＴＰ’範囲の中心点座標Ｐｂ（ｘ、ｙ）（図８参照）を、配列形式でＰｔ［ｉ］として所定の記憶部に記憶する（ステップＳ１０）。ここでパラメータｉは処理回数を示すカウンタであり、右グレースケール画像５４の枚数に応じてｉ＝１からｉ＝Ｎまでインクリメントされる。なお、実際上、各エイミングターゲット１３４ａ〜１３４ｃについてそれぞれターゲット座標を求めるが、説明を簡便にするため代表的に１つのターゲット座標Ｐｔ［ｉ］として示す。
【００９３】
また、ステップＳ１２における平均値Ｐａｖｅの算出は、次の（９）式により求められる。
【００９４】
【数３】
【００９５】
このような平均化の処理を行うことにより、赤外線カメラ１６Ｒ、１６Ｌもしくは撮像環境（温度等のゆらぎ）が多少不安定であっても、平均値Ｐａｖｅでは誤差が相殺され、ターゲット座標を正確に求めることができる。
【００９６】
ところで、サービスエイミングを行う場所は一般のサービス工場の検査場等が想定され、エイミングターゲット１３４ａ〜１３４ｃ以外の赤外線を放射又は反射する不要な熱源を完全に排除することは困難であって、これらの他の熱源が比較的弱いレベル又は小さい像として撮像されてしまう場合がある。例えば、右グレースケール画像５４上でエイミングターゲット１３４ｃの周辺に他の熱源（例えば、遠方の照明）１４２が存在し、該熱源１４２が画像上でエイミングターゲット１３４ｃよりも小さく撮像される場合がある。このような場合であっても、テンプレートＴＰｓの像１４０の大きさはエイミングターゲット１３４ｃの像の大きさ以上であることから、テンプレートＴＰｓが熱源１４２の位置に移動したときには、ＳＡＤ値は相当に大きい値となりエイミングターゲット１３４ｃとは明確に区別される。
【００９７】
なお、エイミングターゲット１３４ａ及び１３４ｂについても同様の処理によりターゲット座標Ｐｔ［ｉ］が特定され、平均値Ｐａｖｅが求められる。エイミングターゲット１３４ａ〜１３４ｃは、相対的な位置関係により識別可能である。
【００９８】
また、図１５ではヘッドライトテスタ１２４が中心位置ＰＣに配置されているときの右グレースケール画像５４の例について示したが、ヘッドライトテスタ１２４が右位置ＰＲ又は左位置ＰＬに配置されている場合や、左グレースケール画像５８についての同様の処理が行われる。また、製作所エイミングモードにおけるパターンマッチング処理であるステップＳ９についても同様の処理が行われる。
【００９９】
次に、赤外線カメラ１６Ｒ及び１６Ｌの取り付け角度算出処理であるステップＳ１８から左右カメラ映像切り出し座標算出処理であるステップＳ２０までの処理を、赤外線カメラ１６Ｒについての処理を例にして、図１６を参照しながら説明する。なお、説明の便宜上、図１６においてはステップＳ１８、Ｓ１９及びＳ２０を区別しないで示す。
【０１００】
先ず、図１６のステップＳ１０１において、ターゲットの空間座標を示す基準座標値Ｐ０を所定の記憶部（座標基準値記憶手段）から読み出す。
【０１０１】
ステップＳ１０２において、近距離モデルである（７−１）式及び（７−２）式用いて基準座標値Ｐ０を変換して画像上の基準座標Ｐ０’（ｘ０、ｙ０）を求める。エイミングモードでは予め近距離モデルが選択されており、比較的近距離のターゲットの座標を画像上に正確に透視変換することができる。
【０１０２】
また、基準座標値Ｐ０は実空間上の値として記憶しておくことにより、例えばターゲットの位置を変更するような場合に主制御装置１０６、１２６から入力する際に実測した座標をそのまま入力することができ、好適である。入力された実測値は近距離モデルに基づいて正確に変換される。
【０１０３】
ステップＳ１０３（取付角算出手段）において、画像上の基準座標値Ｐ０’とステップＳ１２で求められた平均値Ｐａｖｅとを比較演算して、パン角方向の差Δｘ及びピッチ角方向の差Δｙを求める。
【０１０４】
つまり、差Δｘ及びΔｙは、それぞれ基準座標値Ｐ０’に応じて赤外線カメラ１６Ｒのパン角及びピッチ角の設計基準値に対する誤差としての取付角を示していることになる。具体的には、設計基準値が０°として規定されていると、差Δｘが２°、差Δｙが１°に相当する値であると、パン角が２°、ピッチ角が１°として求められる。
【０１０５】
ステップＳ１０４において、図１７に示すように、右グレースケール画像５４上の基準領域１６０Ｒをｘ方向に差Δｘ、ｙ方向に差Δｙだけ移動させた切り出し領域１６２Ｒを求める。基準領域１６０Ｒは、基準座標値Ｐ０に基づいて設定されており、赤外線カメラ１６Ｒが正確に前方を指向している場合に画像処理に用いられる基準となる領域である。切り出し領域１６２Ｒを画像処理に用いることにより、赤外線カメラ１６Ｒの向きが正確に正面に指向するように機械的に調整したことと同じ効果が得られる。
【０１０６】
切り出し領域１６２Ｒとしては、基準領域１６０Ｒの端点Ｑ０を横方向に差Δｘ、縦方向に差Δｙだけ移動させて得られる端点Ｑ１の座標を代表的に記録しておけばよい。なお、詳細な説明を省略するが左の赤外線カメラ１６Ｌから得られる左グレースケール画像５８についても同様の処理が行われる。
【０１０７】
次に、左右独立的に設定された切り出し領域１６２Ｒと切り出し領域１６２Ｌとのピッチアラインメント調整であるステップＳ１０５〜Ｓ１０８を行う。ピッチアラインメント調整とは、実際に撮像された対象物に基づいて、切り出し領域１６２Ｒ及び１６２Ｌを関連付けて、ピッチ方向の整合性を確保するための処理である。以下の説明では、右グレースケール画像５４はターゲット板１３２が右位置ＰＲに配置されている際の画像であり、左グレースケール画像５８はターゲット板１３２が左位置ＰＬに配置されている際の画像とする。また、前記の通りターゲット板１３２は右位置ＰＲ及び左位置ＰＬのいずれの位置においても一定の高さに設定されている。
【０１０８】
先ず、ステップＳ１０５において、図１８に示すように、右グレースケール画像５４から抽出された切り出し領域１６２Ｒ内におけるエイミングターゲット１３４ａ、１３４ｂ、１３４ｃの各ｙ座表値であるｙｒ１、ｙｒ２及びｙｒ３を求め、さらにこれらの値の平均値ｙｒａ（＝（ｙｒ１＋ｙｒ２＋ｙｒ３）／３）を求める。
【０１０９】
ステップＳ１０６において、左グレースケール画像５８から抽出された切り出し領域１６２Ｌ内におけるエイミングターゲット１３４ａ、１３４ｂ、１３４ｃの各ｙ座表値であるｙｌ１、ｙｌ２及びｙｌ３を求め、さらにこれらの値の平均値ｙｌａ（＝（ｙｌ１＋ｙｌ２＋ｙｌ３）／３）を求める。
【０１１０】
ステップＳ１０７において、右の切り出し領域１６２Ｒにおける平均値ｙｒａに対する左の切り出し領域１６２Ｌにおける平均値ｙｌａの差分Δｙａを、Δｙａ←ｙｒａ−ｙｌａとして求める。
【０１１１】
ステップＳ１０８において、左の切り出し領域１６２Ｌをｙ方向（つまりピッチ方向）に差分Δｙａだけ移動させた修正画像領域を設定する。図１８に示す例では、ｙｒａ＜ｙｌａであることから差分Δｙａはマイナス値となり、切り出し領域１６２Ｌとしては画像下方に向かって移動して端点Ｑ２が端点Ｑ２’に移る。移動した切り出し領域１６２Ｌは代表的に端点Ｑ２’の座標値が記憶される。
【０１１２】
このようなピッチアラインメント調整によれば、実際に撮像されたエイミングターゲット１３４ａ〜１３４ｃに基づき、右の切り出し領域１６２Ｒに対してピッチ角が整合するように左の切り出し領域１６２Ｌを移動させるため、車体の歪みやカメラステーの製造誤差等を補償することができる。これにより、図１９に示すように、切り出し領域１６２Ｒ及び１６２Ｌを横に並べて配置したとき、同一対象物を撮像した場合における該対象物の像が切り出し領域１６２Ｒ及び１６２Ｌ内において相対的なｙ座標値（図１９ではｙｒａの値）が一致することになる。
【０１１３】
この結果、通常モードにおいて迅速且つ確実なパターンマッチングが可能となる。すなわち、図２０に示すように、基準画像としての右の切り出し領域１６２Ｒ内で所定の方法によって抽出された対象物の像１７０を含む小画像をテンプレートＴＰｒとして切り出し、比較画像としての左の切り出し領域１６２Ｌ内における同位置に配置する。次に、テンプレートＴＰｒを切り出し領域１６２Ｌ内においてプラスのｘ方向である右方向へ向かって移動させながらＳＡＤ等の相関演算によるテンプレートマッチングを行う。この際、切り出し領域１６２Ｌにおける像１７０とそれに対応する同一対象物の像１７２はｙ座標が一致していることから、テンプレートＴＰｒは視差に応じた適当な距離だけ移動し、図２０の破線位置に達したときに像１７２にマッチングすることになる。つまり、テンプレートＴＰｒはｙ方向にはほとんど移動させることなくマッチングが成立するため、検索領域をｙ方向に過大に広げる必要がなく、簡便且つ迅速な処理が可能となる。この際、ＳＡＤ値が非常に小さくなり、マッチング成立の判断が確実に行われる。また、ｙ座標が異なり像１７２に類似する他の像１７４に対してテンプレートＴＰｒがマッチングすることがなく、確実なマッチングが実現される。
【０１１４】
なお、図１６に示す処理では、ターゲット板１３２の位置を中心位置ＰＣに配置した状態で得られる画像に基づいて行ってもよい。ピッチアラインメント調整は、切り出し領域１６２Ｒ、１６２Ｌのいずれを基準としてもよく、又は所定の基準に基づいて切り出し領域１６２Ｒ、１６２Ｌの両方を移動させてもよい。さらに、エイミングターゲット制御装置１００のエイミングターゲット１１２ａ〜１１２ｈは同じ高さに設定されていることから、製作所エイミングモードにおいてもピッチアラインメント調整を行うことができる。この場合、右グレースケール画像５４における右ターゲット群１１６から平均値ｙｒａを求め、及び左グレースケール画像５８における左ターゲット群１１４から平均値ｙｌａを求めればよい。
【０１１５】
また、ピッチアラインメント調整は、検査用の撮像対象物であるエイミングターゲット１１２及び１３４に限らず、一般の適当な熱源を撮像することによって行ってもよい。この場合、熱源の距離及び高さは未知であっても、赤外線カメラ１６Ｒ及び１６Ｌにより同一の熱源を撮像することによりピッチアライメント調整を行うことができる。
【０１１６】
次に、エイミングが終了した後に行われる通常モードで実対象物を検出する処理の手順について説明する。この通常モードは、前記通常モード実行部５０の作用下に、微小時間毎に繰り返し実行される。
【０１１７】
先ず、図２１のステップＳ２０１において、赤外線カメラ１６Ｒ及び１６Ｌからステレオ赤外線画像を入力し、画像入力部４０及び二値化処理部４２の作用によって右グレースケール画像５４及び右二値化画像５６、左グレースケール画像５８が画像記憶部４４に記憶される。
【０１１８】
この後、右二値化画像５６に基づいて対象物の抽出処理を行い（ステップＳ２０２）、右グレースケール画像５４及び左グレースケール画像５８における視差を求め、該視差から各対象物までの距離を算出する（ステップＳ２０３、対象物距離検出手段）。パターンマッチングを行う際、右グレースケール画像５４における切り出し領域１６２Ｒ及び左グレースケール画像５８における切り出し領域１６２Ｌ上でマッチングを行うため迅速な処理が可能であって、しかも確実なマッチングを行うことができる。
【０１１９】
次いで、車両１２を基準として対象物の相対位置を算出し（ステップＳ２０４）、車両１２の挙動による所定の補正を行った後に各対象物の移動ベクトルを算出する（ステップＳ２０５）。この際、ＥＣＵ１４は、モデル記憶部９６に記録された遠距離モデルとしての（８−１）〜（８−４）式に基づいて実対象物の位置を正確且つ迅速に検出することができる。
【０１２０】
さらに、移動ベクトル等を参照しながら道路構造物や他の車両を識別して除外するとともに（ステップＳ２０６）、対象物の形状等から歩行者の判定を行う（ステップＳ２０７）。
【０１２１】
この後、右グレースケール画像５４をＨＵＤ１８に表示させ、ステップＳ２０７で検出された歩行者が所定範囲内に存在すると判断された場合には、歩行者を示す像の周りに強調枠を表示するとともにスピーカ２０から音を発して、注意喚起出力を行う（ステップＳ２０９）。
【０１２２】
上述したように、本実施の形態に係るナイトビジョンシステム１０では、エイミングモード時と通常モード時で第１の式群である（７−１）式〜（７−４）式と第２の式群である（８−１）式〜（８−４）式を使い分けることにより、モードに関わらずに対象物の位置を高精度に算出することができる。特に、エイミングモードは近距離用のピンホールモデルに基づいて行われるため、エイミングターゲット１１２（又は１３４）を近距離に配置することができ、室内でのエイミングが可能になる。通常モード時には、対象物距離を無限遠とみなすことにより第２の式群を簡略な形で表すことができ、演算手順が簡略化される。
【０１２３】
なお、ピンホールモデルは、遠距離用及び近距離用の２つに限らず、距離に応じて３つ以上のモデルを設けて選択してもよい。
【０１２４】
本発明に係る周辺監視装置は、上述の実施の形態に限らず、本発明の要旨を逸脱することなく、種々の構成を採り得ることはもちろんである。
【図面の簡単な説明】
【０１２５】
【図１】本実施の形態に係るナイトビジョンシステムの概略構成を車両とともに示したブロック構成図である。
【図２】ＥＣＵのブロック構成図である。
【図３】画像記憶部の記憶データの構成を示す図である。
【図４】エイミングターゲット制御装置及び車両を示す斜視図である。
【図５】ターゲット板の変形例に係る斜視図である。
【図６】サービスエイミング設定装置及び車両を示す斜視図である。
【図７】一般的な透視変換モデルのモデル図である。
【図８】透視変換モデルにより結像面に像が透視される様子を示すモデル図である。
【図９】エイミング設定を行う手順を示すフローチャート（その１）である。
【図１０】テンプレート記憶部の内容を示す図である。
【図１１】エイミング設定を行う手順を示すフローチャート（その２）である。
【図１２】エイミング設定を行う手順を示すフローチャート（その３）である。
【図１３】エイミング設定を行う手順を示すフローチャート（その４）である。
【図１４】エイミング設定を行う手順を示すフローチャート（その５）である。
【図１５】エイミングモードにおけるテンプレートマッチング処理を示す概念図である。
【図１６】取り付け角度算出処理及び左右カメラ映像切り出し座標算出処理の手順を示すフローチャートである。
【図１７】基準領域から切り出し領域を設定する処理を示す概念図である。
【図１８】左右の切り出し領域に対して行うピッチアラインメント調整処理を示す概念図である。
【図１９】ピッチアラインメント調整がなされた左右の切り出し領域の位置関係を示す図である。
【図２０】通常モードにおけるテンプレートマッチング処理を示す概念図である。
【図２１】通常モードの処理手順を示すフローチャートである。
【符号の説明】
【０１２６】
１０…ナイトビジョンシステム １２…車両
１４…ＥＣＵ １６Ｒ、１６Ｌ…赤外線カメラ
１８…ＨＵＤ ２０…スピーカ
４４…画像記憶部 ４６…カメラパラメータ記憶部
４８…エイミングモード実行部 ５０…通常モード実行部
５２…モード選択部 ５４…右グレースケール画像
５８…左グレースケール画像 ７０…製作所モード部
７２…サービスモード部 ７８…テンプレートマッチング部
９４…テンプレート設定部 ９６…モデル記憶部
１００…エイミングターゲット制御装置
１１２、１１２ａ〜１１２ｈ、１３４、１３４ａ〜１３４ｃ…エイミングターゲット
１２０…サービスエイミング設定装置 １２４…ヘッドライトテスタ
１３８…レンズ １６０Ｒ…基準領域
１６２Ｒ、１６２Ｌ…切り出し領域
Ｂ…基線長 Ｃ…光軸
Ｆ…結像距離 ｆ…焦点距離
Ｍ…透視変換モデル Ｐ０…基準座標値
ＰＣ…中心位置 ＰＬ…左位置
ＰＲ…右位置 Ｓ…結像面
ＴＰ、ＴＰ１〜ＴＰ６、ＴＰｒ、ＴＰｓ、ＴＰ’…テンプレート
ｙｌａ、ｙｒａ…平均値 Ｚ…対象物距離
【特許請求の範囲】
【請求項１】
撮像手段によって対象物を撮像し、透視変換モデルを用いて前記対象物の実空間位置を算出する周辺監視装置において、
対象物までの距離を検出する対象物距離検出手段と、
前記対象物距離検出手段の検出結果に応じた前記透視変換モデルを選択する透視変換モデル選択手段と、
を備えることを特徴とする周辺監視装置。
【請求項２】
対象物を撮像する撮像手段と、
前記対象物までの対象物距離を検出する対象物距離検出手段と、
前記撮像手段の光学的な透視変換モデルとして近距離用のピンホールモデルに基づく第１の式及び遠距離用のピンホールモデルに基づく第２の式を備えるモデル記憶部と、
前記第１の式又は前記第２の式を用いて前記対象物の位置を検出する位置検出手段と、
を有する周辺監視装置であって、
前記位置検出手段は、前記対象物距離検出手段で検出された前記対象物距離が所定閾値以下であるときには前記第１の式に基づいて前記対象物の位置を検出し、前記所定閾値を超えるときには前記第２の式に基づいて前記対象物の位置を検出することを特徴とする周辺監視装置。
【請求項３】
対象物を撮像する撮像手段と、
前記撮像手段の光学的な透視変換モデルとして近距離用のピンホールモデルに基づく第１の式及び遠距離用のピンホールモデルに基づく第２の式を備えるモデル記憶手段と、
前記第１の式又は前記第２の式を用いて前記対象物の位置を検出する位置検出手段と、
実行モードを既知距離の検査用ターゲットを撮像することにより前記撮像手段の取付角度を検出する検査用モード、又は未知距離の実対象物を撮像する通常モードから選択するモード選択手段と、
を有する周辺監視装置であって、
前記モード選択手段が、前記検査用モードを選択したときには前記位置検出手段は前記第１の式に基づいて前記検査用ターゲットの位置を検出し、前記モード選択手段が、前記通常モードを選択したときには前記位置検出手段は前記第２の式に基づいて前記実対象物の位置を検出することを特徴とする周辺監視装置。
【請求項１】
撮像手段によって対象物を撮像し、透視変換モデルを用いて前記対象物の実空間位置を算出する周辺監視装置において、
対象物までの距離を検出する対象物距離検出手段と、
前記対象物距離検出手段の検出結果に応じた前記透視変換モデルを選択する透視変換モデル選択手段と、
を備えることを特徴とする周辺監視装置。
【請求項２】
対象物を撮像する撮像手段と、
前記対象物までの対象物距離を検出する対象物距離検出手段と、
前記撮像手段の光学的な透視変換モデルとして近距離用のピンホールモデルに基づく第１の式及び遠距離用のピンホールモデルに基づく第２の式を備えるモデル記憶部と、
前記第１の式又は前記第２の式を用いて前記対象物の位置を検出する位置検出手段と、
を有する周辺監視装置であって、
前記位置検出手段は、前記対象物距離検出手段で検出された前記対象物距離が所定閾値以下であるときには前記第１の式に基づいて前記対象物の位置を検出し、前記所定閾値を超えるときには前記第２の式に基づいて前記対象物の位置を検出することを特徴とする周辺監視装置。
【請求項３】
対象物を撮像する撮像手段と、
前記撮像手段の光学的な透視変換モデルとして近距離用のピンホールモデルに基づく第１の式及び遠距離用のピンホールモデルに基づく第２の式を備えるモデル記憶手段と、
前記第１の式又は前記第２の式を用いて前記対象物の位置を検出する位置検出手段と、
実行モードを既知距離の検査用ターゲットを撮像することにより前記撮像手段の取付角度を検出する検査用モード、又は未知距離の実対象物を撮像する通常モードから選択するモード選択手段と、
を有する周辺監視装置であって、
前記モード選択手段が、前記検査用モードを選択したときには前記位置検出手段は前記第１の式に基づいて前記検査用ターゲットの位置を検出し、前記モード選択手段が、前記通常モードを選択したときには前記位置検出手段は前記第２の式に基づいて前記実対象物の位置を検出することを特徴とする周辺監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２００６−１５３７７６（Ｐ２００６−１５３７７６Ａ）
【公開日】平成１８年６月１５日（２００６．６．１５）
【国際特許分類】
【出願番号】特願２００４−３４７７６４（Ｐ２００４−３４７７６４）
【出願日】平成１６年１１月３０日（２００４．１１．３０）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成１８年６月１５日（２００６．６．１５）
【国際特許分類】
【出願日】平成１６年１１月３０日（２００４．１１．３０）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]