撮像装置
【課題】１台のカメラによって、障害物候補の画像を撮像するとともに、風景画像も撮像し、位置ずれなく風景画像と障害物候補画像を重畳させる撮像装置を提供する。
【解決手段】赤外線カメラ１０には遠赤外線撮像手段１１と近赤外線撮像手段１２を備え、撮像手段切替部１８によって、遠赤外線画像と近赤外線画像を切り換える。そして、遠赤外線画像から、特徴量抽出部１５２により、障害物候補領域を特定し、その障害物候補領域を近赤外線画像に重畳し、表示モニター５０に表示する。
【解決手段】赤外線カメラ１０には遠赤外線撮像手段１１と近赤外線撮像手段１２を備え、撮像手段切替部１８によって、遠赤外線画像と近赤外線画像を切り換える。そして、遠赤外線画像から、特徴量抽出部１５２により、障害物候補領域を特定し、その障害物候補領域を近赤外線画像に重畳し、表示モニター５０に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載され、車両前方の対象物、例えば歩行者等を撮像する撮像装置に関する。
【背景技術】
【０００２】
近年、夜間車両走行時に、歩行者の認識を補助するものが実用化されはじめてきている。下記特許文献１にも、このような歩行者認識装置が開示されている。このようなシステムはナイトビューシステムやナイトビジョンシステムなどと呼ばれており、可視光カメラの画像に赤外線カメラの画像を重畳させて、歩行者を認識させるというものが多い。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３３８５９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、こうした従来のナイトビューシステムに用いられる撮像装置では、可視光カメラと赤外線カメラの２台を併用して用いるので、システムが複雑、高価になる場合が多く、また、２台のカメラを駆動するので、消費電力が大きいという問題点もあった。
そこで、本願発明の目的は、カメラを１台とすることで、安価で低消費電力の撮像装置を提供することにある。
【課題を解決するための手段】
【０００５】
（１）本発明の撮像装置は、
車両前方を撮像する撮像素子と、前記車両前方に近赤外線光を照射する近赤外線光源と、前記撮像素子による撮像画像を波長帯域フィルターによって遠赤外線画像と近赤外線画像に切り換える画像撮像手段と、前記遠赤外線画像に基づいて、障害物候補領域を特定する障害物候補領域特定手段と、前記障害物候補領域を前記近赤外線画像に重畳させる画像重畳処理部と、前記画像重畳処理部により生成された重畳画像を表示する画像表示部と、を有することを特徴とする。
上記構成によれば、単一の撮像手段により、近赤外線画像と遠赤外線画像を切り換えて撮像することができる。
【０００６】
（２）本発明の撮像装置は
（１）の構成に加えて、前記波長帯域フィルターは波長可変フィルターであることを特徴とする。
上記構成によれば、波長可変フィルターは撮像素子に対して固定された位置に配置できるので、近赤外線画像と遠赤外線画像を同一の光軸にすることができ、画像ずれがない。
【０００７】
（３）本発明の撮像装置は、
少なくとも（１）の構成に加えて、前記障害物候補領域をアラート記号に変換するアラート記号変換部を有し、前記アラート記号を前記障害物候補領域として前記近赤外線画像に重畳させることを特徴とする。
上記構成によれば、障害物をアラート記号に変換するので、視認性のよい画像生成が可能になる。
【０００８】
（４）本発明の撮像装置は、
少なくとも（１）の構成に加えて、前記近赤外線画像に基づいて、前記近赤外線光源の駆動を行なうことを特徴とする。
上記構成によれば、近赤外線光源を無駄なく最適に発光させることができる。
【０００９】
（５）本発明の撮像装置は、
少なくとも（１）の構成に加えて、前記撮像素子は焦電型撮像素子であることを特徴とする。
上記構成によれば、焦電型撮像素子を用いることで、近赤外線から遠赤外線まで幅広く撮像することができる。
【００１０】
（６）本発明の撮像装置は、
（３）の構成に加えて、前記障害物候補特定手段は、動的歩行者と静的歩行者を判別する判別手段を有し、動的歩行者のみを前記アラート記号に変換することを特徴とする。
上記構成によれば、危険な動的歩行者に注意喚起ができる画像を生成することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の撮像装置の構成を示すブロック図。
【図２】本発明の赤外線カメラで取得した近赤外線画像の図。
【図３】本発明の赤外線カメラで取得した遠赤外線画像の図。
【図４】本発明の撮像装置の動作原理を示すフロー図。
【図５】本発明の撮像装置において変換された変換画像の図。
【図６】本発明の表示モニターに表示される表示画像の図。
【図７】本発明の撮像装置において行なわれる画像処理のフロー図。
【発明を実施するための形態】
【００１２】
以下に、本発明の実施形態について、図面に基づいて説明する。本発明の撮像装置を用いて、ドライバーに情報を告知する構成を示す構成図を図１に示す。
【００１３】
この撮像装置１は、車両に搭載されており、車両前方を撮影する赤外線カメラ１０と、近赤外線光源２０、中央処理装置（ＣＰＵ）３０、表示モニター５０を備えている。この赤外線カメラ１０には、少なくとも、波長可変フィルター１０１と撮像素子１０２が設けられている。波長可変フィルター１０１の透過波長帯域を変更することで、遠赤外線のみを透過させたり、近赤外線のみを透過させたりすることを適宜行なうことができる。即ち、この赤外線カメラ１０は遠赤外線画像と近赤外線画像を切り換えて取得することができる構成になっている。そして、赤外線カメラ１０は、歩行者認識に関する演算処理を行なう中央処理装置（ＣＰＵ）３０が接続されている。このＣＰＵ３０は近赤外線光源２０の動作を制御する。
【００１４】
なお、赤外線カメラ１０は、熱分布を映し出す熱反応型の撮像素子１０２を備えており、植え込みの茂み程度の障害物であれば透過して人間を検知できる性能を備えている。また、赤外線カメラ１０は、昼間は太陽光から発せられる近赤外線により、近赤外線を取得することで、可視光画像に近い近赤外線画像を得ることができる。また、昼間だけでなく、夜間でも近赤外線光源２０を発光することで、近赤外線画像を得ることができる。
【００１５】
ＣＰＵ３０は、この赤外線カメラ１０の検出結果（画像、映像）を画像認識処理し、検出した物体が歩行者である確立を算出する機能を有している。ＣＰＵ３０には、ナビゲーションシステム４０が接続されており、ナビゲーションシステム４０からの各種情報をＣＰＵ３０が受信し、赤外線カメラ１０や近赤外線光源２０を最適に動作させることが可能である。また、ＣＰＵ３０には、最終的に乗員（運転者、ドライバー６０）に対して、特定の歩行者（目視困難歩行者）を告知するための表示モニター５０も接続されている。
【００１６】
図２は、赤外線カメラ１０によって取得した夜間における近赤外線画像１２ａである。夜間には、近赤外線光源２０を車両前方に発光させて、赤外線カメラ１０によって撮影する。図２から分かるように、近赤外線画像１２ａは可視光画像に近い画像が得られるものの、歩行者に関しては背景との区別がつきにくい。
【００１７】
図３は、赤外線カメラ１０による遠赤外線画像１１ａである。温度の高い物体ほど薄く（白く）表示される。図３から分かるように、遠赤外線画像１１ａでは、近赤外線画像１２ａと比較して、歩行者が明確に検出できる。しかしながら、背景が検出できない為に、この遠赤外線画像１１ａのみでは、歩行者が何処にいるのか判別できない。
【００１８】
以下、本発明の動作原理について、更に詳細に説明する。図４は本実施形態に係る撮像装置１のフロー図である。本実施の形態の対象の撮像装置１は、図４に示すように赤外線カメラ１０、ＣＰＵ３０、表示モニター５０を備えて構成されている。
【００１９】
まず、ＣＰＵ３０で生成される撮像切替信号出力部１５５により、赤外線カメラ１０の撮像手段切替部１８に切替信号が送信される。撮像手段切替部１８は、当該切替信号に基づき、赤外線カメラ１０が遠赤外線撮像手段１１と近赤外線撮像手段１２を切り替える機能をもっている。遠赤外線撮像手段１１は、波長が７〜１４μｍの赤外光に反応した画像を取得し、近赤外線撮像手段１２は、波長０．８〜３μｍの赤外光に反応した画像を取得する。
【００２０】
この遠赤外線撮像手段１１及び近赤外撮像手段１２は、同一の撮像素子１０２、同一の波長可変フィルター１０１、及び同一の光学レンズ群（図示しない）による光学系から構成されている為、視野角、焦点距離及び光軸が完全に一致した画像を取得する。
遠赤外線撮像手段１１で取得した遠赤外線画像１１ａは、赤外線カメラ１０に内蔵される障害物候補選出部１３に送信される。遠赤外線画像手段１１が所定タイミングで、遠赤外線画像１１ａを撮像した後、撮像手段切替部１８は、近赤外線撮像手段１２を駆動させる。これにより、それまで遠赤外線画像を取得していた赤外線カメラ１０は近赤外線画像の取得に切り替わり、近赤外線撮像手段１２によって、近赤外線画像１２ａを取得する。
【００２１】
ＣＰＵ３０は、前述した撮像切替信号出力部１５５と、テンプレート候補選出部１５１と、特徴量抽出部１５２と、テンプレート決定部１５３と、画像重畳処理部１５４と、近赤外線光源制御部１５６を備えている。
【００２２】
障害物候補選出部１３により、遠赤外線画像１１ａの特定部位（図３において白く表示される部位）を画像候補として選出し、ＣＰＵ３０において、テンプレート候補選出部１５１と特徴量抽出部１５２にて画像処理されることにより、車両前方の障害物候補となる物体の位置を特定する。言い換えると、障害物候補選出部１３とテンプレート候補選出部１５１と特徴量抽出部１５２の３つは車両前方の障害物候補の領域を特定する手段と言える。
【００２３】
車両が夜間走行中の時、ＣＰＵ３０に内蔵された近赤外線光源制御部１５６から近赤外線光源２０に発光命令信号を送信し、近赤外線光源２０を車両前方に向けて発光させる。車両が夜間走行しているか、昼間走行しているかの判別には、ナビゲーションシステム４０に設けられた時計機能から情報を受信しても良いし、撮像装置１に車外の照度計を別途設置して、その照度から判定しても良い。更に、そういった特別な判別手段を用いなくても、近赤外線光源２０を発光させない状態で、赤外線カメラ１０で車両前方の近赤外線画像を取得し、その画像の明るさを分析して判別しても良い。具体的には、取得した近赤外線画像の明るさが一定値よりも暗い場合は夜間と判別することができる。
【００２４】
本実施形態の特徴は、赤外線カメラ１０が、遠赤外線撮像手段１１と近赤外撮像手段１２を切り替えて駆動を行うところにある。まず、遠赤外線撮像手段１１により撮像された熱画像（温度情報を有する）である遠赤外線画像１１ａ（図３）から候補領域として、該熱画像内における高温領域および中温領域の位置とこれら候補領域の代表温度を抽出する。そして、撮像手段切替部１８が近赤外線仕様に切り替えることによって、近赤外撮像手段１２により風景熱画像であるところの近赤外線画像１２ａを取得する。
【００２５】
遠赤外線撮像手段１１から画像抽出された候補領域の位置に基づいて、濃淡画像または色画像（カラー画像）内に検出対象物を探索する検出領域を設定し、抽出された候補領域の温度に応じて、テンプレートマッチングを行う。このテンプレートマッチングはＣＰＵ３０に内蔵されたテンプレート候補選択部１５１によって処理される。
【００２６】
人体の温度と近似する領域は、ＣＰＵ３０に内蔵された特徴量抽出部１５２によって処理される。画像データ内において、人体の温度と近似する領域に存在する物体を歩行者として確定し、予め使用したテンプレートに組み込まれたアラート記号に置き換える。この処理は、ＣＰＵ３０に内蔵されるテンプレート決定部１５３によって処理される。言い換えると、テンプレート決定部１５３は、車両前方の障害物候補の領域をアラート記号に変換するアラート記号変換部と言うことができる。
【００２７】
図５は、図３の遠赤外線画像１１ａの中央部の白い領域を歩行者と認識し、アラート記号に変換した変換画像１１ｂである。そして、図２の近赤外線画像１２ａに、図５の変換画像１１ｂを重畳合成する処理を行い、図６に示す表示画像１２ｂを生成する。そして、表示モニター５０に表示画像１２ｂを表示する。
すなわち、近赤外線撮像手段１２が全体風景の撮像を行い、遠赤外線撮像手段１１が歩行者からの遠赤外線を検出して歩行者の位置を断定する。
【００２８】
遠赤外線は、温度差を利用する方式のため、確実に歩行者の体温を検知し確実に存在する領域を強調表示するため、さらに白色表示を行う。それに対して、近赤外線画像は画像が自然に近いものの、歩行者の存在を見分けることが難しい。車載の撮像装置の場合、車両前方に投射される近赤外線は車両の挙動や道路構造に関わらず一定の方向を向いているため、カーブなどを走行中は近赤外線の受光が低くなる可能性があり、歩行者が見え難くなる。
【００２９】
また、近赤外線画像は、対向車によるハレーションにより歩行者が見え難くなる場合や、歩行者の着衣と背景との近赤外線の反射率が同程度のときに歩行者と背景とのコントラストの低下が生じて歩行者が見え難くなる場合がある。このため、看板等を歩行者と誤認識する場合がある。
【００３０】
そこで、本実施形態では、遠赤外線方式により検知した歩行者領域を白で塗り潰して強調表示し、テンプレートとのパターンマッチングにより、歩行者と断定し、さらに、歩行者をパターンマッチングに付随するアラート記号に置き換え、近赤線外画像にアラート記号のみの重畳を行う。その場合、運転者に注意喚起を高めるために、アラート記号に取得した歩行者の動的情報を付加している。
つまり、歩行者が動的の場合、アラート記号を赤く枠組みを行い撮像した歩行者画像と同等の大きさにてアラート記号の表示を行い、注意をより高める。それに対して静的の場合、アラート記号を表示はしない。つまり運転者に必要以上の情報を与えなく、注意散漫にならないようにしている。
動的または静的の判断は、取得画像の歩行者の足の開き具合と両腕の開き状態で判断される。
【００３１】
本実施例では、遠赤外線撮像と近赤外線撮像の切替方法としては、波長可変フィルター１０１を用いている。
【００３２】
以下、ＣＰＵ３０の画像処理について、図７のフロー図を用いて説明する。
撮像装置１の電源投入でスタートすれば、赤外線カメラ１０、ＣＰＵ３０、表示モニター５０は起動し、ステップ（Ｓ１）において、処理に必要なパラメーターの初期設定を行う。
【００３３】
次に、ステップ（Ｓ２）において、車両進行方向前方を撮像して、図３に示すような遠赤外線画像１１ａを撮影して障害物候補選出部１３ に１フレームずつ順次記憶していく。
ここで、遠赤外線撮像手段１１は、検出対象物として人体を含めて考える場合には、７〜１４μｍの遠赤外線波長域に感度を有するものであれば良く、より遠距離（およそ２００ｍ先）の感度を得るため、焦電型赤外線センサーカメラであれば更に良い。
【００３４】
そして、ステップ（Ｓ３）において、近赤外線撮像手段１２により、車両進行方向前方を撮像して、図２に示すような前方車道画像であるところの近赤外線画像１２ａを撮影して風景画像設定部１４に１フレームずつ順次記憶していく。
【００３５】
本実施の形態では、近赤外撮像手段１２及び遠赤外撮像手段１１は、色情報が取得できるが、白黒を用いた場合について説明する。
なお、ステップ（Ｓ２）およびステップ（Ｓ３）の順序は、ステップ間の間隔が短ければ、どちらが先でも構わない。
【００３６】
次に、ステップ（Ｓ４）では、ステップ（Ｓ２）で得られた熱画像である遠赤外線画像１１ａから候補領域を抽出する。すなわち、対象物の特徴を表す温度領域を塊として抽出する。本実施の形態においては、検出対象物を先行車および歩行者（人物）として説明するものとする。これ以外のものを検出の対象とする場合には、その対象が有する温度情報を特徴量として、それぞれ本ステップにおいて処理対象に加えればよい。
【００３７】
まず、先行車両の場合は、マフラー領域が１００℃程度の高温になることを利用して、熱画像中から、例えば８０℃以上の温度情報を有する領域を探索して、その領域の位置情報と温度情報を検出する。
【００３８】
一方、歩行者の場合は、露出している顔及び首及び手の表面温度が３０℃程度の中温になることを利用して、熱画像中から例えば３０℃程度の温度情報を有する領域を探索して、その領域の位置情報と温度情報を検出する。ここで、各領域で検出される結果のうち、位置情報としては例えば塊の重心座標位置とすればよく、温度情報としては、例えば塊の平均温度とすればよい。また重心座標位置以外に、縦横比、充足率、実面積などの条件を満たす部位の存在を調べる。
【００３９】
これによって、歩行者の存在位置を画面上の２次元座標上で画面全体の幅と高さに対する割合で求める。なお、ここで、実際の表示処理では遠赤外線画像や近赤外線画像を表示モニター５０に表示し、その表示画面上で処理する訳ではなく、実際にはＣＰＵ３０が障害物候補選出部１３の画像フレームデータに対して実行する。
そして、ステップ（Ｓ５）では、ステップ（Ｓ４）で得られた各領域の位置情報と温度情報を対応付けした位置および温度リストを作成して以降の処理に進む。
【００４０】
次に、ステップ（Ｓ６）では、ステップ（Ｓ５）で作成したリストに基づいて、検出対象である先行車や歩行者の特徴量を示す温度情報が抽出されているかどうかを判定する。
リスト内に対象物の候補が一つも抽出されていない場合には、今回の赤外線カメラ１０による撮像画像の中には検出対象である先行車や歩行者が存在しないものと判断して、次回の処理のためにステップ（Ｓ２）に戻る。一方、リスト内に対象物の候補が一つ以上抽出されている場合には、次のステップ（Ｓ７）に進んで、ステップ（Ｓ５）で作成したリストの温度情報に基づいて、以降の処理で用いるためのテンプレート候補を選択する。具体的には、その候補領域の平均温度情報±ΔＴの範囲内の値を持つテンプレートを一つの候補領域内での対象物検出に用いるテンプレート候補とするものである。先行車存在候補領域に用いるテンプレートとして選択されるのは、テンプレートがもつ温度情報が１００±３℃となる。ただし、高温部分については、通常の走行環境内では特殊な存在であるため、予め、例えば８０℃以上の領域をテンプレートとして選択しても良い。一方、歩行者存在候補領域に用いるテンプレートとして選択されるのは、テンプレートがもつ温度情報が２８±３℃となる。高温部分については、外気温の影響を受けること等を考えると、同一の物体でも所定の範囲では温度が変化することを考慮する必要がある。また、今回の例では中温情報を有する対象物を歩行者としているが、例えば動的な動物（犬等）と区別するためには、本ステップで動物のテンプレートも候補として選択される。
【００４１】
検出領域毎に最適なテンプレートを決定し、テンプレートを用いて、赤外画像中でテンプレートマッチング処理を行う。
テンプレートマッチング処理は、温度情報を基点にして存在候補を検出し、検出候補に対してアラート記号に置き換える機構が備わっている。例えば、歩行者画像の場合、ピクト図のような記号に変換される。また、ピクト図を表示と同時に、警告音やピクト図に色彩をつけての表示でもかまわない。
【００４２】
すなわち、赤外画像中で、テンプレートマッチング処理を行い、各検出領域内での最終的な対象物の有無およびその位置を検出する。ステップ（Ｓ８）において、先行車存在候補領域については車両テンプレートが選択され、歩行者存在候補領域については、人テンプレートが選択されている。本ステップでは、先行車存在候補領域から先行車を検出する場合には、車両テンプレートを用いて、先行車存在候補領域と車両テンプレートでの濃度値（濃淡値）の相関演算によって先行車両の有無とその詳細な位置を検出する。また、歩行者存在候補領域から歩行者を検出する場合には、歩行者存在候補領域と人テンプレートでの濃度値の相関演算によって歩行者の有無とその詳細な位置を検出する。このような検出処理はステップ（Ｓ９）において行なわれる。本実施の形態では、テンプレートマッチング処理時にテンプレートマッチング処理を濃度値での相関演算で行っているが、本発明はこれに限定するものではなく、例えばエッジ画像をテンプレートとして持っておき、この相関値で最終的な対象物の有無とその位置を検出するようにしても構わない。
【００４３】
次に、ステップ（Ｓ１０）では、ステップ（Ｓ５）で作成されたリストにある領域の全てに対して検出処理が行われたかどうかを判定する。リストにある領域全ての処理が終了していなければ、処理領域を切り替えるために、ステップ（Ｓ８）に戻り、検出領域の設定を行う。リストにある領域全ての処理が終了していれば、それまでの処理結果を出力するために次のステップへ進む。
【００４４】
最後に、ステップ（Ｓ１１）では、図６の表示画像１２ｂに示すように、外部に接続されている表示モニター５０に、全体を近赤外線画像表示され、遠赤外線画像で詳細にテンプレートマッチングされた画像のアラート記号が表示され、今後注意が必要であろうという動的歩行者のみが大きく表示される。
【００４５】
このことより、アラートの目的別表示により、的確に運転者に表示され視認性向上とアラート記号の表示による処理時間短縮と処理方法の簡素化でコストの削減に寄与している。
表示モニター５０への表示後、次回以降の処理を行うためにステップ（Ｓ２）へ戻る。
【００４６】
上述したように、本実施形態では、赤外線画像を中心に、回りの風景を近赤外線画像にした場合、車道による危険のみを遠赤外線画像で検知し、アラート警報に置き換え表示するため、運転者にとっては視認性が向上され、判断がしやすくなった。また遠赤外線歩行者をアラート記号に置き換えることにより、画像処理速度が速くなった。
更に、遠赤外線と近赤外線の撮像を単一の撮像素子を用いて行なうことにより、撮像された画像がずれることがない。
【符号の説明】
【００４７】
１…撮像装置、１０…赤外線カメラ、２０…近赤外線光源、３０…ＣＰＵ、５０…表示モニター、１０１…波長可変フィルター、１０２…撮像素子、１１…遠赤外線撮像手段、１２…近赤外線撮像手段、１８…撮像手段切替部、１５２…特徴量抽出部、１５４…画像重畳処理部。
【技術分野】
【０００１】
本発明は、車両に搭載され、車両前方の対象物、例えば歩行者等を撮像する撮像装置に関する。
【背景技術】
【０００２】
近年、夜間車両走行時に、歩行者の認識を補助するものが実用化されはじめてきている。下記特許文献１にも、このような歩行者認識装置が開示されている。このようなシステムはナイトビューシステムやナイトビジョンシステムなどと呼ばれており、可視光カメラの画像に赤外線カメラの画像を重畳させて、歩行者を認識させるというものが多い。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３３８５９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、こうした従来のナイトビューシステムに用いられる撮像装置では、可視光カメラと赤外線カメラの２台を併用して用いるので、システムが複雑、高価になる場合が多く、また、２台のカメラを駆動するので、消費電力が大きいという問題点もあった。
そこで、本願発明の目的は、カメラを１台とすることで、安価で低消費電力の撮像装置を提供することにある。
【課題を解決するための手段】
【０００５】
（１）本発明の撮像装置は、
車両前方を撮像する撮像素子と、前記車両前方に近赤外線光を照射する近赤外線光源と、前記撮像素子による撮像画像を波長帯域フィルターによって遠赤外線画像と近赤外線画像に切り換える画像撮像手段と、前記遠赤外線画像に基づいて、障害物候補領域を特定する障害物候補領域特定手段と、前記障害物候補領域を前記近赤外線画像に重畳させる画像重畳処理部と、前記画像重畳処理部により生成された重畳画像を表示する画像表示部と、を有することを特徴とする。
上記構成によれば、単一の撮像手段により、近赤外線画像と遠赤外線画像を切り換えて撮像することができる。
【０００６】
（２）本発明の撮像装置は
（１）の構成に加えて、前記波長帯域フィルターは波長可変フィルターであることを特徴とする。
上記構成によれば、波長可変フィルターは撮像素子に対して固定された位置に配置できるので、近赤外線画像と遠赤外線画像を同一の光軸にすることができ、画像ずれがない。
【０００７】
（３）本発明の撮像装置は、
少なくとも（１）の構成に加えて、前記障害物候補領域をアラート記号に変換するアラート記号変換部を有し、前記アラート記号を前記障害物候補領域として前記近赤外線画像に重畳させることを特徴とする。
上記構成によれば、障害物をアラート記号に変換するので、視認性のよい画像生成が可能になる。
【０００８】
（４）本発明の撮像装置は、
少なくとも（１）の構成に加えて、前記近赤外線画像に基づいて、前記近赤外線光源の駆動を行なうことを特徴とする。
上記構成によれば、近赤外線光源を無駄なく最適に発光させることができる。
【０００９】
（５）本発明の撮像装置は、
少なくとも（１）の構成に加えて、前記撮像素子は焦電型撮像素子であることを特徴とする。
上記構成によれば、焦電型撮像素子を用いることで、近赤外線から遠赤外線まで幅広く撮像することができる。
【００１０】
（６）本発明の撮像装置は、
（３）の構成に加えて、前記障害物候補特定手段は、動的歩行者と静的歩行者を判別する判別手段を有し、動的歩行者のみを前記アラート記号に変換することを特徴とする。
上記構成によれば、危険な動的歩行者に注意喚起ができる画像を生成することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の撮像装置の構成を示すブロック図。
【図２】本発明の赤外線カメラで取得した近赤外線画像の図。
【図３】本発明の赤外線カメラで取得した遠赤外線画像の図。
【図４】本発明の撮像装置の動作原理を示すフロー図。
【図５】本発明の撮像装置において変換された変換画像の図。
【図６】本発明の表示モニターに表示される表示画像の図。
【図７】本発明の撮像装置において行なわれる画像処理のフロー図。
【発明を実施するための形態】
【００１２】
以下に、本発明の実施形態について、図面に基づいて説明する。本発明の撮像装置を用いて、ドライバーに情報を告知する構成を示す構成図を図１に示す。
【００１３】
この撮像装置１は、車両に搭載されており、車両前方を撮影する赤外線カメラ１０と、近赤外線光源２０、中央処理装置（ＣＰＵ）３０、表示モニター５０を備えている。この赤外線カメラ１０には、少なくとも、波長可変フィルター１０１と撮像素子１０２が設けられている。波長可変フィルター１０１の透過波長帯域を変更することで、遠赤外線のみを透過させたり、近赤外線のみを透過させたりすることを適宜行なうことができる。即ち、この赤外線カメラ１０は遠赤外線画像と近赤外線画像を切り換えて取得することができる構成になっている。そして、赤外線カメラ１０は、歩行者認識に関する演算処理を行なう中央処理装置（ＣＰＵ）３０が接続されている。このＣＰＵ３０は近赤外線光源２０の動作を制御する。
【００１４】
なお、赤外線カメラ１０は、熱分布を映し出す熱反応型の撮像素子１０２を備えており、植え込みの茂み程度の障害物であれば透過して人間を検知できる性能を備えている。また、赤外線カメラ１０は、昼間は太陽光から発せられる近赤外線により、近赤外線を取得することで、可視光画像に近い近赤外線画像を得ることができる。また、昼間だけでなく、夜間でも近赤外線光源２０を発光することで、近赤外線画像を得ることができる。
【００１５】
ＣＰＵ３０は、この赤外線カメラ１０の検出結果（画像、映像）を画像認識処理し、検出した物体が歩行者である確立を算出する機能を有している。ＣＰＵ３０には、ナビゲーションシステム４０が接続されており、ナビゲーションシステム４０からの各種情報をＣＰＵ３０が受信し、赤外線カメラ１０や近赤外線光源２０を最適に動作させることが可能である。また、ＣＰＵ３０には、最終的に乗員（運転者、ドライバー６０）に対して、特定の歩行者（目視困難歩行者）を告知するための表示モニター５０も接続されている。
【００１６】
図２は、赤外線カメラ１０によって取得した夜間における近赤外線画像１２ａである。夜間には、近赤外線光源２０を車両前方に発光させて、赤外線カメラ１０によって撮影する。図２から分かるように、近赤外線画像１２ａは可視光画像に近い画像が得られるものの、歩行者に関しては背景との区別がつきにくい。
【００１７】
図３は、赤外線カメラ１０による遠赤外線画像１１ａである。温度の高い物体ほど薄く（白く）表示される。図３から分かるように、遠赤外線画像１１ａでは、近赤外線画像１２ａと比較して、歩行者が明確に検出できる。しかしながら、背景が検出できない為に、この遠赤外線画像１１ａのみでは、歩行者が何処にいるのか判別できない。
【００１８】
以下、本発明の動作原理について、更に詳細に説明する。図４は本実施形態に係る撮像装置１のフロー図である。本実施の形態の対象の撮像装置１は、図４に示すように赤外線カメラ１０、ＣＰＵ３０、表示モニター５０を備えて構成されている。
【００１９】
まず、ＣＰＵ３０で生成される撮像切替信号出力部１５５により、赤外線カメラ１０の撮像手段切替部１８に切替信号が送信される。撮像手段切替部１８は、当該切替信号に基づき、赤外線カメラ１０が遠赤外線撮像手段１１と近赤外線撮像手段１２を切り替える機能をもっている。遠赤外線撮像手段１１は、波長が７〜１４μｍの赤外光に反応した画像を取得し、近赤外線撮像手段１２は、波長０．８〜３μｍの赤外光に反応した画像を取得する。
【００２０】
この遠赤外線撮像手段１１及び近赤外撮像手段１２は、同一の撮像素子１０２、同一の波長可変フィルター１０１、及び同一の光学レンズ群（図示しない）による光学系から構成されている為、視野角、焦点距離及び光軸が完全に一致した画像を取得する。
遠赤外線撮像手段１１で取得した遠赤外線画像１１ａは、赤外線カメラ１０に内蔵される障害物候補選出部１３に送信される。遠赤外線画像手段１１が所定タイミングで、遠赤外線画像１１ａを撮像した後、撮像手段切替部１８は、近赤外線撮像手段１２を駆動させる。これにより、それまで遠赤外線画像を取得していた赤外線カメラ１０は近赤外線画像の取得に切り替わり、近赤外線撮像手段１２によって、近赤外線画像１２ａを取得する。
【００２１】
ＣＰＵ３０は、前述した撮像切替信号出力部１５５と、テンプレート候補選出部１５１と、特徴量抽出部１５２と、テンプレート決定部１５３と、画像重畳処理部１５４と、近赤外線光源制御部１５６を備えている。
【００２２】
障害物候補選出部１３により、遠赤外線画像１１ａの特定部位（図３において白く表示される部位）を画像候補として選出し、ＣＰＵ３０において、テンプレート候補選出部１５１と特徴量抽出部１５２にて画像処理されることにより、車両前方の障害物候補となる物体の位置を特定する。言い換えると、障害物候補選出部１３とテンプレート候補選出部１５１と特徴量抽出部１５２の３つは車両前方の障害物候補の領域を特定する手段と言える。
【００２３】
車両が夜間走行中の時、ＣＰＵ３０に内蔵された近赤外線光源制御部１５６から近赤外線光源２０に発光命令信号を送信し、近赤外線光源２０を車両前方に向けて発光させる。車両が夜間走行しているか、昼間走行しているかの判別には、ナビゲーションシステム４０に設けられた時計機能から情報を受信しても良いし、撮像装置１に車外の照度計を別途設置して、その照度から判定しても良い。更に、そういった特別な判別手段を用いなくても、近赤外線光源２０を発光させない状態で、赤外線カメラ１０で車両前方の近赤外線画像を取得し、その画像の明るさを分析して判別しても良い。具体的には、取得した近赤外線画像の明るさが一定値よりも暗い場合は夜間と判別することができる。
【００２４】
本実施形態の特徴は、赤外線カメラ１０が、遠赤外線撮像手段１１と近赤外撮像手段１２を切り替えて駆動を行うところにある。まず、遠赤外線撮像手段１１により撮像された熱画像（温度情報を有する）である遠赤外線画像１１ａ（図３）から候補領域として、該熱画像内における高温領域および中温領域の位置とこれら候補領域の代表温度を抽出する。そして、撮像手段切替部１８が近赤外線仕様に切り替えることによって、近赤外撮像手段１２により風景熱画像であるところの近赤外線画像１２ａを取得する。
【００２５】
遠赤外線撮像手段１１から画像抽出された候補領域の位置に基づいて、濃淡画像または色画像（カラー画像）内に検出対象物を探索する検出領域を設定し、抽出された候補領域の温度に応じて、テンプレートマッチングを行う。このテンプレートマッチングはＣＰＵ３０に内蔵されたテンプレート候補選択部１５１によって処理される。
【００２６】
人体の温度と近似する領域は、ＣＰＵ３０に内蔵された特徴量抽出部１５２によって処理される。画像データ内において、人体の温度と近似する領域に存在する物体を歩行者として確定し、予め使用したテンプレートに組み込まれたアラート記号に置き換える。この処理は、ＣＰＵ３０に内蔵されるテンプレート決定部１５３によって処理される。言い換えると、テンプレート決定部１５３は、車両前方の障害物候補の領域をアラート記号に変換するアラート記号変換部と言うことができる。
【００２７】
図５は、図３の遠赤外線画像１１ａの中央部の白い領域を歩行者と認識し、アラート記号に変換した変換画像１１ｂである。そして、図２の近赤外線画像１２ａに、図５の変換画像１１ｂを重畳合成する処理を行い、図６に示す表示画像１２ｂを生成する。そして、表示モニター５０に表示画像１２ｂを表示する。
すなわち、近赤外線撮像手段１２が全体風景の撮像を行い、遠赤外線撮像手段１１が歩行者からの遠赤外線を検出して歩行者の位置を断定する。
【００２８】
遠赤外線は、温度差を利用する方式のため、確実に歩行者の体温を検知し確実に存在する領域を強調表示するため、さらに白色表示を行う。それに対して、近赤外線画像は画像が自然に近いものの、歩行者の存在を見分けることが難しい。車載の撮像装置の場合、車両前方に投射される近赤外線は車両の挙動や道路構造に関わらず一定の方向を向いているため、カーブなどを走行中は近赤外線の受光が低くなる可能性があり、歩行者が見え難くなる。
【００２９】
また、近赤外線画像は、対向車によるハレーションにより歩行者が見え難くなる場合や、歩行者の着衣と背景との近赤外線の反射率が同程度のときに歩行者と背景とのコントラストの低下が生じて歩行者が見え難くなる場合がある。このため、看板等を歩行者と誤認識する場合がある。
【００３０】
そこで、本実施形態では、遠赤外線方式により検知した歩行者領域を白で塗り潰して強調表示し、テンプレートとのパターンマッチングにより、歩行者と断定し、さらに、歩行者をパターンマッチングに付随するアラート記号に置き換え、近赤線外画像にアラート記号のみの重畳を行う。その場合、運転者に注意喚起を高めるために、アラート記号に取得した歩行者の動的情報を付加している。
つまり、歩行者が動的の場合、アラート記号を赤く枠組みを行い撮像した歩行者画像と同等の大きさにてアラート記号の表示を行い、注意をより高める。それに対して静的の場合、アラート記号を表示はしない。つまり運転者に必要以上の情報を与えなく、注意散漫にならないようにしている。
動的または静的の判断は、取得画像の歩行者の足の開き具合と両腕の開き状態で判断される。
【００３１】
本実施例では、遠赤外線撮像と近赤外線撮像の切替方法としては、波長可変フィルター１０１を用いている。
【００３２】
以下、ＣＰＵ３０の画像処理について、図７のフロー図を用いて説明する。
撮像装置１の電源投入でスタートすれば、赤外線カメラ１０、ＣＰＵ３０、表示モニター５０は起動し、ステップ（Ｓ１）において、処理に必要なパラメーターの初期設定を行う。
【００３３】
次に、ステップ（Ｓ２）において、車両進行方向前方を撮像して、図３に示すような遠赤外線画像１１ａを撮影して障害物候補選出部１３ に１フレームずつ順次記憶していく。
ここで、遠赤外線撮像手段１１は、検出対象物として人体を含めて考える場合には、７〜１４μｍの遠赤外線波長域に感度を有するものであれば良く、より遠距離（およそ２００ｍ先）の感度を得るため、焦電型赤外線センサーカメラであれば更に良い。
【００３４】
そして、ステップ（Ｓ３）において、近赤外線撮像手段１２により、車両進行方向前方を撮像して、図２に示すような前方車道画像であるところの近赤外線画像１２ａを撮影して風景画像設定部１４に１フレームずつ順次記憶していく。
【００３５】
本実施の形態では、近赤外撮像手段１２及び遠赤外撮像手段１１は、色情報が取得できるが、白黒を用いた場合について説明する。
なお、ステップ（Ｓ２）およびステップ（Ｓ３）の順序は、ステップ間の間隔が短ければ、どちらが先でも構わない。
【００３６】
次に、ステップ（Ｓ４）では、ステップ（Ｓ２）で得られた熱画像である遠赤外線画像１１ａから候補領域を抽出する。すなわち、対象物の特徴を表す温度領域を塊として抽出する。本実施の形態においては、検出対象物を先行車および歩行者（人物）として説明するものとする。これ以外のものを検出の対象とする場合には、その対象が有する温度情報を特徴量として、それぞれ本ステップにおいて処理対象に加えればよい。
【００３７】
まず、先行車両の場合は、マフラー領域が１００℃程度の高温になることを利用して、熱画像中から、例えば８０℃以上の温度情報を有する領域を探索して、その領域の位置情報と温度情報を検出する。
【００３８】
一方、歩行者の場合は、露出している顔及び首及び手の表面温度が３０℃程度の中温になることを利用して、熱画像中から例えば３０℃程度の温度情報を有する領域を探索して、その領域の位置情報と温度情報を検出する。ここで、各領域で検出される結果のうち、位置情報としては例えば塊の重心座標位置とすればよく、温度情報としては、例えば塊の平均温度とすればよい。また重心座標位置以外に、縦横比、充足率、実面積などの条件を満たす部位の存在を調べる。
【００３９】
これによって、歩行者の存在位置を画面上の２次元座標上で画面全体の幅と高さに対する割合で求める。なお、ここで、実際の表示処理では遠赤外線画像や近赤外線画像を表示モニター５０に表示し、その表示画面上で処理する訳ではなく、実際にはＣＰＵ３０が障害物候補選出部１３の画像フレームデータに対して実行する。
そして、ステップ（Ｓ５）では、ステップ（Ｓ４）で得られた各領域の位置情報と温度情報を対応付けした位置および温度リストを作成して以降の処理に進む。
【００４０】
次に、ステップ（Ｓ６）では、ステップ（Ｓ５）で作成したリストに基づいて、検出対象である先行車や歩行者の特徴量を示す温度情報が抽出されているかどうかを判定する。
リスト内に対象物の候補が一つも抽出されていない場合には、今回の赤外線カメラ１０による撮像画像の中には検出対象である先行車や歩行者が存在しないものと判断して、次回の処理のためにステップ（Ｓ２）に戻る。一方、リスト内に対象物の候補が一つ以上抽出されている場合には、次のステップ（Ｓ７）に進んで、ステップ（Ｓ５）で作成したリストの温度情報に基づいて、以降の処理で用いるためのテンプレート候補を選択する。具体的には、その候補領域の平均温度情報±ΔＴの範囲内の値を持つテンプレートを一つの候補領域内での対象物検出に用いるテンプレート候補とするものである。先行車存在候補領域に用いるテンプレートとして選択されるのは、テンプレートがもつ温度情報が１００±３℃となる。ただし、高温部分については、通常の走行環境内では特殊な存在であるため、予め、例えば８０℃以上の領域をテンプレートとして選択しても良い。一方、歩行者存在候補領域に用いるテンプレートとして選択されるのは、テンプレートがもつ温度情報が２８±３℃となる。高温部分については、外気温の影響を受けること等を考えると、同一の物体でも所定の範囲では温度が変化することを考慮する必要がある。また、今回の例では中温情報を有する対象物を歩行者としているが、例えば動的な動物（犬等）と区別するためには、本ステップで動物のテンプレートも候補として選択される。
【００４１】
検出領域毎に最適なテンプレートを決定し、テンプレートを用いて、赤外画像中でテンプレートマッチング処理を行う。
テンプレートマッチング処理は、温度情報を基点にして存在候補を検出し、検出候補に対してアラート記号に置き換える機構が備わっている。例えば、歩行者画像の場合、ピクト図のような記号に変換される。また、ピクト図を表示と同時に、警告音やピクト図に色彩をつけての表示でもかまわない。
【００４２】
すなわち、赤外画像中で、テンプレートマッチング処理を行い、各検出領域内での最終的な対象物の有無およびその位置を検出する。ステップ（Ｓ８）において、先行車存在候補領域については車両テンプレートが選択され、歩行者存在候補領域については、人テンプレートが選択されている。本ステップでは、先行車存在候補領域から先行車を検出する場合には、車両テンプレートを用いて、先行車存在候補領域と車両テンプレートでの濃度値（濃淡値）の相関演算によって先行車両の有無とその詳細な位置を検出する。また、歩行者存在候補領域から歩行者を検出する場合には、歩行者存在候補領域と人テンプレートでの濃度値の相関演算によって歩行者の有無とその詳細な位置を検出する。このような検出処理はステップ（Ｓ９）において行なわれる。本実施の形態では、テンプレートマッチング処理時にテンプレートマッチング処理を濃度値での相関演算で行っているが、本発明はこれに限定するものではなく、例えばエッジ画像をテンプレートとして持っておき、この相関値で最終的な対象物の有無とその位置を検出するようにしても構わない。
【００４３】
次に、ステップ（Ｓ１０）では、ステップ（Ｓ５）で作成されたリストにある領域の全てに対して検出処理が行われたかどうかを判定する。リストにある領域全ての処理が終了していなければ、処理領域を切り替えるために、ステップ（Ｓ８）に戻り、検出領域の設定を行う。リストにある領域全ての処理が終了していれば、それまでの処理結果を出力するために次のステップへ進む。
【００４４】
最後に、ステップ（Ｓ１１）では、図６の表示画像１２ｂに示すように、外部に接続されている表示モニター５０に、全体を近赤外線画像表示され、遠赤外線画像で詳細にテンプレートマッチングされた画像のアラート記号が表示され、今後注意が必要であろうという動的歩行者のみが大きく表示される。
【００４５】
このことより、アラートの目的別表示により、的確に運転者に表示され視認性向上とアラート記号の表示による処理時間短縮と処理方法の簡素化でコストの削減に寄与している。
表示モニター５０への表示後、次回以降の処理を行うためにステップ（Ｓ２）へ戻る。
【００４６】
上述したように、本実施形態では、赤外線画像を中心に、回りの風景を近赤外線画像にした場合、車道による危険のみを遠赤外線画像で検知し、アラート警報に置き換え表示するため、運転者にとっては視認性が向上され、判断がしやすくなった。また遠赤外線歩行者をアラート記号に置き換えることにより、画像処理速度が速くなった。
更に、遠赤外線と近赤外線の撮像を単一の撮像素子を用いて行なうことにより、撮像された画像がずれることがない。
【符号の説明】
【００４７】
１…撮像装置、１０…赤外線カメラ、２０…近赤外線光源、３０…ＣＰＵ、５０…表示モニター、１０１…波長可変フィルター、１０２…撮像素子、１１…遠赤外線撮像手段、１２…近赤外線撮像手段、１８…撮像手段切替部、１５２…特徴量抽出部、１５４…画像重畳処理部。
【特許請求の範囲】
【請求項１】
車両前方を撮像する撮像素子と、
前記車両前方に近赤外線光を照射する近赤外線光源と、
前記撮像素子による撮像画像を波長帯域フィルターによって遠赤外線画像と近赤外線画像に切り換える画像撮像手段と、
前記遠赤外線画像に基づいて、障害物候補領域を特定する障害物候補領域特定手段と、
前記障害物候補領域を前記近赤外線画像に重畳させる画像重畳処理部と、
前記画像重畳処理部により生成された重畳画像を表示する画像表示部と、
を有することを特徴とする撮像装置。
【請求項２】
前記波長帯域フィルターは波長可変フィルターであることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記障害物候補領域をアラート記号に変換するアラート記号変換部を有し、前記アラート記号を前記障害物候補領域として前記近赤外線画像に重畳させることを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記近赤外線画像に基づいて、前記近赤外線光源の駆動を行なうことを特徴とする請求項１から請求項３のいずれか一項に記載の撮像装置。
【請求項５】
前記撮像素子は焦電型撮像素子であることを特徴とする請求項１から請求項４のいずれか一項に記載の撮像装置。
【請求項６】
前記障害物候補特定手段は、動的歩行者と静的歩行者を判別する判別手段を有し、動的歩行者のみを前記アラート記号に変換することを特徴とする請求項３に記載の撮像装置。
【請求項１】
車両前方を撮像する撮像素子と、
前記車両前方に近赤外線光を照射する近赤外線光源と、
前記撮像素子による撮像画像を波長帯域フィルターによって遠赤外線画像と近赤外線画像に切り換える画像撮像手段と、
前記遠赤外線画像に基づいて、障害物候補領域を特定する障害物候補領域特定手段と、
前記障害物候補領域を前記近赤外線画像に重畳させる画像重畳処理部と、
前記画像重畳処理部により生成された重畳画像を表示する画像表示部と、
を有することを特徴とする撮像装置。
【請求項２】
前記波長帯域フィルターは波長可変フィルターであることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記障害物候補領域をアラート記号に変換するアラート記号変換部を有し、前記アラート記号を前記障害物候補領域として前記近赤外線画像に重畳させることを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記近赤外線画像に基づいて、前記近赤外線光源の駆動を行なうことを特徴とする請求項１から請求項３のいずれか一項に記載の撮像装置。
【請求項５】
前記撮像素子は焦電型撮像素子であることを特徴とする請求項１から請求項４のいずれか一項に記載の撮像装置。
【請求項６】
前記障害物候補特定手段は、動的歩行者と静的歩行者を判別する判別手段を有し、動的歩行者のみを前記アラート記号に変換することを特徴とする請求項３に記載の撮像装置。
【図１】
【図４】
【図７】
【図２】
【図３】
【図５】
【図６】
【図４】
【図７】
【図２】
【図３】
【図５】
【図６】
【公開番号】特開２０１２−１４２８３２（Ｐ２０１２−１４２８３２Ａ）
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願番号】特願２０１１−３９５（Ｐ２０１１−３９５）
【出願日】平成２３年１月５日（２０１１．１．５）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願日】平成２３年１月５日（２０１１．１．５）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]