画像処理装置、画像処理システム、カメラ、カメラシステム
【課題】表示画面内の対象物の存在を認識しやすい画像を提供し、危険予知を容易にすることができる画像処理装置、画像処理システム、カメラ、カメラシステム等を提供すること。
【解決手段】画像処理装置１００は、赤外線画像データを取得する画像取得部１１０と、画像取得部１１０により取得された赤外線画像データに基づく画像領域に対して、画像領域内での対象物を検出する画像処理を行うアラート表示領域と、画像領域内での対象物を検出する画像処理を行わないアラート非表示領域とを設定する領域設定部１２０と、アラート表示領域の赤外線画像データに基づいて、アラート表示領域における対象物の検出情報を含むアラート表示の画像処理を行ってアラート表示を含む表示用画像データを生成する処理部１３０とを含む。領域設定部１２０は、境界線を用いて画像領域を区画する設定パターンを決定し、境界線の位置及び形状のうちの少なくとも一つを定める。
【解決手段】画像処理装置１００は、赤外線画像データを取得する画像取得部１１０と、画像取得部１１０により取得された赤外線画像データに基づく画像領域に対して、画像領域内での対象物を検出する画像処理を行うアラート表示領域と、画像領域内での対象物を検出する画像処理を行わないアラート非表示領域とを設定する領域設定部１２０と、アラート表示領域の赤外線画像データに基づいて、アラート表示領域における対象物の検出情報を含むアラート表示の画像処理を行ってアラート表示を含む表示用画像データを生成する処理部１３０とを含む。領域設定部１２０は、境界線を用いて画像領域を区画する設定パターンを決定し、境界線の位置及び形状のうちの少なくとも一つを定める。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理システム、カメラ、カメラシステム等に関する。
【背景技術】
【０００２】
ドライバーにとって車外からの視覚情報は運転操作上きわめて重要である。しかしながら、夜間の低照度環境や対向車のライトのような強力な光源の存在によって眩惑されるような環境で運転しなければならない場合も多い。このような肉眼での視認性が悪い環境では、注意深いドライバーにとっても自車に接近する歩行者などの対象物の発見が遅れがちである。
【０００３】
このようなドライバー側の生理学的な問題をカバーするための技術として、照明の届かない低照度環境の風景を、赤外線を検出して結像させる走査部を用いて表示部に映し出す手法が、特許文献1に開示されている。
【０００４】
しかしながらこの手法では、赤外線画像の全画像を表示するため、その赤外線画像には注意する必要のない建物や植込み、空や雲なども強調されて映し出され、表示画面内の検出したい対象物、例えば歩行者等の存在が認識しにくいという課題がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−１３７０３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の幾つかの態様によれば、表示画面内の対象物の存在を認識しやすい画像を提供し、危険予知を容易にすることができる画像処理装置、画像処理システム、カメラ、カメラシステム等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、赤外線画像データを取得する画像取得部と、前記画像取得部により取得された前記赤外線画像データに基づく画像領域に対して、前記画像領域内での対象物を検出する画像処理を行うアラート表示領域と、前記画像領域内での前記対象物を検出する画像処理を行わないアラート非表示領域とを設定する領域設定部と、前記アラート表示領域の前記赤外線画像データに基づいて、前記アラート表示領域における前記対象物の検出情報を含むアラート表示の画像処理を行って前記アラート表示を含む表示用画像データを生成する処理部とを含み、前記領域設定部は、前記画像領域を前記アラート表示領域と前記アラート非表示領域とに分割し、前記画像領域における位置及び形状のうちの少なくとも一つが可変に設定される境界線を用いて前記画像領域を区画する設定パターンを決定し、決定された前記設定パターンにおいて前記境界線の前記画像領域における位置及び形状のうちの少なくとも一つを定める画像処理装置に関係する。
【０００８】
本発明の一態様によれば、領域設定部がアラート表示領域を設定し、処理部がアラート表示領域の赤外線画像データに基づいてアラート表示の画像処理を行って表示用画像データを生成することができる。また、領域設定部はアラート表示領域とアラート非表示領域との境界線の設定パターンを決定し、決定された設定パターンに対して境界線の位置又は形状のうちの少なくとも１つを設定することができるから、例えば車両の走行状況などに応じてアラート表示領域を設定することができる。その結果、歩行者等が存在する可能性が高い領域に対して画像処理を行い、それ以外の領域に対しては画像処理を行わないことができるから、処理時間を短縮し、効率の良い処理などが可能になる。さらに、例えば遠方の風景や空など不要な赤外線画像を表示しないことができるから、ドライバーの負担を軽減し、危険予知を容易にすることなどが可能になる。
【０００９】
また本発明の一態様では、前記赤外線画像データに基づく画像領域を分割する境界線を用いて前記画像領域を区画する第１の設定パターンを決定可能に備え、決定された前記設定パターンが前記第１の設定パターンである場合には、前記境界線により分割された画像領域のうち、一方の画像領域を前記アラート表示領域に設定し、他方の画像領域を前記アラート非表示領域に設定してもよい。
【００１０】
このようにすれば、例えば郊外の道路のように比較的スムーズに走行している状況などでは、第１の設定パターンにより赤外線画像データに基づく画像領域を分割して、境界線の上側の領域、即ち遠方の対象物が映し出される領域をアラート表示領域に設定することができるから、例えば肉眼で視認することが難しい遠方の歩行者や自転車等を検知することなどが可能になる。
【００１１】
また本発明の一態様では、前記領域設定部は、前記赤外線画像データに基づく画像領域を３分割し互いに交差しない２本の境界線を用いて前記画像領域を区画する第２の設定パターンを決定可能に備え、決定された前記設定パターンが前記第２の設定パターンである場合には、前記境界線により３分割された画像領域のうち、前記２本の境界線で挟まれる画像領域を前記アラート非表示領域に設定し、前記２本の境界線の外側の画像領域をアラート表示領域に設定してもよい。
【００１２】
このようにすれば、例えば市街地の道路を走行している状況などでは、第２の設定パターンにより赤外線画像データに基づく画像領域を３分割して、道路の左端及び右端に存在する対象物が映し出される領域をアラート表示領域に設定することができるから、例えば車両の直前を横断しようとする歩行者や自転車等を検知することなどが可能になる。
【００１３】
また本発明の一態様では、前記領域設定部は、前記境界線を、前記赤外線画像データに基づく画像領域において一部の領域を囲む閉曲線を境界線として用いて前記画像領域を区画する第３の設定パターンを決定可能に備え、決定された前記設定パターンが前記第３の設定パターンである場合には、前記閉曲線の内側領域を前記アラート表示領域に設定し、前記閉曲線の外側領域を前記アラート非表示領域に設定してもよい。
【００１４】
このようにすれば、例えば山間部のように交通量の少ない道路を走行している状況などでは、第３の設定パターンにより赤外線画像データに基づく画像領域において一部の領域を囲む閉曲線を設定して、画像領域の中央部などの領域をアラート表示領域に設定することができるから、例えば車両の遠方を横断しようとする歩行者等を検知することなどが可能になる。
【００１５】
また本発明の一態様では、前記赤外線画像データは、車両の外部領域の画像の画像データであり、前記領域設定部は、前記車両の走行状況情報に基づいて、前記設定パターンを決定し、決定された前記設定パターンにおいて前記境界線の前記画像領域における位置及び形状のうちの少なくとも一つを定めてもよい。
【００１６】
このようにすれば、領域設定部は、車両の走行状況に基づいてアラート表示領域を設定することができるから、例えば車両の速度などに応じて歩行者等の対象物が存在する可能性が高い領域をアラート表示領域として設定することなどが可能になる。
【００１７】
また本発明の一態様では、前記車両の走行状況情報は、全地球測位システムにより取得された前記車両の位置情報であってもよい。
【００１８】
このようにすれば、領域設定部は、全地球測位システムの車両位置情報に基づいて、例えば道路状況や交通状況などに応じて設定パターンを決定することができるから、リアルタイムに歩行者等の対象物が存在する可能性が高い領域をアラート表示領域として設定することなどが可能になる。
【００１９】
また本発明の一態様では、前記車両の走行状況情報は、前記車両の速度情報であってもよい。
【００２０】
このようにすれば、例えば車両速度が速いほど、より遠方の対象物を検知できるようにアラート表示領域を設定し、また車両速度が遅いほど、より近くの対象物を検知できるようにアラート表示領域を設定することなどが可能になる。
【００２１】
また本発明の一態様では、前記領域設定部は、ユーザーによる入力情報に基づいて、前記設定パターンを決定し、決定された前記設定パターンにおいて前記境界線の前記画像領域における位置及び形状のうちの少なくとも一つを定めてもよい。
【００２２】
このようにすれば、ユーザーが車両の走行状況や道路状況などを判断し、ユーザーの判断に基づいてアラート表示領域を設定することができる。
【００２３】
また本発明の一態様では、前記処理部は、前記アラート表示としてアラート記号を含む表示用画像データを生成してもよい。
【００２４】
このようにすれば、アラート記号を含む表示用画像データを用いてアラート表示をすることができるから、ドライバーの視認性を向上させることなどが可能になる。
【００２５】
また本発明の一態様では、走行モードと防犯モードとのモード切換設定を行うモード設定部をさらに含み、前記走行モードに設定されている場合には、前記領域設定部は、前記境界線を設定し、前記処理部は、前記アラート表示領域に対して、前記対象物を検出する前記画像処理を行って、前記画像処理の結果に基づいて前記アラート記号を含む表示用画像データを生成する処理を行い、前記防犯モードに設定されている場合には、前記領域設定部は、前記境界線を非設定にし、前記処理部は、前記画像取得部により取得された前記赤外線画像データの全画像領域に対して前記対象物を検出する前記画像処理を行ってもよい。
【００２６】
このようにすれば、車両の走行時には、モード設定部が走行モードに設定することにより、例えば道路を横断する歩行者等を検知してドライバーに知らせることができる。また、車両の駐車時には、モード設定部が防犯モードに設定することにより、例えば夜間の自宅への不審者の侵入などを検知し、ユーザーに通報することなどが可能になる。
【００２７】
また本発明の一態様では、前記画像取得部は、可視画像データを取得し、前記処理部は、前記アラート非表示領域には前記可視画像データに基づく表示用画像データを生成する処理を行ってもよい。
【００２８】
このようにすれば、表示部の画面に赤外線画像と可視画像とを並べて表示することができるから、ドライバー自身の肉眼視でとらえた情報と赤外線画像による情報との間に大きな差異があっても、ドライバーが状況を把握する際の負担を軽減することなどが可能になる。
【００２９】
また本発明の一態様では、前記領域設定部は、ヘッドライトの制御情報に基づいて、前記境界線を設定してもよい。
【００３０】
このようにすれば、例えばヘッドライトをハイビームに切り換えた場合には、より遠方の対象物を検知できるようにアラート表示領域を設定し、ロービームに切り換えた場合には、より近くの対象物を検知できるようにアラート表示領域を設定することなどが可能になる。
【００３１】
また本発明の一態様では、前記境界線を設定する複数の設定パターンを記憶する記憶部を含み、前記領域設定部は、前記記憶部から前記複数の設定パターンのうちのいずれか１つの設定パターンを選択して読み出し、読み出された前記設定パターンに基づいて前記境界線を設定してもよい。
【００３２】
このようにすれば、例えば予め複数の走行状況に対応する複数の設定パターンを記憶部に記憶しておくことができるから、走行状況に応じて最適な設定パターンを選択することなどが可能になる。
【００３３】
また本発明の一態様では、前記領域設定部は、前記赤外線画像データに基づく画像領域を３分割し互いに交差しない２本の境界線を用いて前記画像領域を区画する３分割の設定パターンを決定可能に備え、決定された前記設定パターンが前記３分割の設定パターンである場合には、前記境界線により３分割された画像領域のうち、前記２本の境界線で挟まれる画像領域を前記アラート非表示領域に設定し、前記２本の境界線の外側の画像領域をアラート表示領域に設定してもよい。
【００３４】
このようにすれば、例えば市街地の道路を走行している状況などでは、３分割の設定パターンにより赤外線画像データに基づく画像領域を３分割して、道路の左端及び右端に存在する対象物が映し出される領域をアラート表示領域に設定することができるから、例えば車両の直前を横断しようとする歩行者や自転車等を検知することなどが可能になる。
【００３５】
また本発明の一態様では、前記領域設定部は、前記赤外線画像データに基づく画像領域において一部の領域を囲む閉曲線を境界線として用いて前記画像領域を区画する閉曲線の設定パターンを決定可能に備え、決定された前記設定パターンが前記閉曲線の設定パターンである場合には、前記閉曲線の内側領域を前記アラート表示領域に設定し、前記閉曲線の外側領域を前記アラート非表示領域に設定してもよい。
【００３６】
このようにすれば、例えば山間部のように交通量の少ない道路を走行している状況などでは、閉曲線の設定パターンにより赤外線画像データに基づく画像領域において一部の領域を囲む閉曲線を設定して、画像領域の中央部などの領域をアラート表示領域に設定することができるから、例えば車両の遠方を横断しようとする歩行者等を検知することなどが可能になる。
【００３７】
本発明の他の態様は、上記いずれかに記載の画像処理装置と、赤外線画像撮像部とを含むカメラシステムに関係する。
【００３８】
本発明の他の態様は、上記いずれかに記載の画像処理装置と、赤外線画像撮像部と、前記画像処理装置と前記赤外線画像撮像部とが内部に配設された筐体とを含むカメラに関係する。
【００３９】
本発明の他の態様は、上記いずれかに記載の画像処理装置と、赤外線画像撮像部と、前記表示用画像データに基づく画像を表示する表示部とを含むカメラシステムに関係する。
【００４０】
本発明の他の態様は、上記いずれかに記載の画像処理装置と、赤外線画像撮像部と、前記表示用画像データに基づく画像を表示する表示部と、前記画像処理装置と前記赤外線画像撮像部と前記表示部とが内部に配設された筐体とを含むカメラに関係する。
【００４１】
本発明の他の態様は、赤外線画像データを取得する画像取得部と、前記画像取得部により取得された前記赤外線画像データに基づく画像領域に対して、前記画像領域内での対象物を検出する画像処理を行うアラート表示領域と、前記画像領域内での前記対象物を検出する画像処理を行わないアラート非表示領域とを設定する領域設定部と、前記アラート表示領域の前記赤外線画像データに基づいて、前記アラート表示領域における前記対象物の検出情報を含むアラート表示の画像処理を行って前記アラート表示を含む表示用画像データを生成する処理部とを含み、前記領域設定部は、前記画像領域を前記アラート表示領域と前記アラート非表示領域とに分割し、前記画像領域における位置及び形状のうちの少なくとも一つが可変に設定される境界線を用いて前記画像領域を区画する設定パターンを決定し、決定された前記設定パターンにおいて前記境界線の前記画像領域における位置及び形状のうちの少なくとも一つを定める画像処理システムに関係する。
【００４２】
本発明の他の態様は、上記いずれかに記載の画像処理装置と、前記表示用画像データに基づく画像を表示する表示部とを含む画像処理システムに関係する。
【図面の簡単な説明】
【００４３】
【図１】画像処理装置及びカメラシステム等の基本的な構成例。
【図２】図２（Ａ）〜図２（Ｃ）は、３つの走行状況におけるアラート表示領域の設定例。
【図３】画像処理装置における画像処理のフローチャート。
【図４】図４（Ａ）〜図４（Ｃ）は、３つの走行状況におけるアラート表示の例。
【図５】図５（Ａ）、図５（Ｂ）は、カメラシステムの構成例。
【図６】カメラシステムの防犯モードを説明する図。
【発明を実施するための形態】
【００４４】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００４５】
１．画像処理装置及びカメラシステム等の基本的な構成例
図１に画像処理装置１００（画像処理システム）及びカメラシステム２００等の基本的な構成例を示す。本実施形態の画像処理装置１００は、画像取得部１１０、領域設定部１２０、処理部１３０、モード設定部１４０及び記憶部１５０を含む。また、本実施形態のカメラシステム２００は、画像処理装置１００、赤外線画像撮像部２１０を含み、表示部２３０をさらに含んでもよい。なお、本実施形態の画像処理装置１００及びカメラシステム２００は、図１の構成に限定されず、その構成要素の一部を省略したり、他の構成要素に置き換えたり、他の構成要素を追加するなどの種々の変形実施が可能である。例えば、モード設定部１４０及び記憶部１５０は、どちらか一方又は両方を省略することができる。
【００４６】
本実施形態のカメラは、画像処理装置１００、赤外線画像撮像部２１０、筐体（図示せず）を含み、筐体の内部には画像処理装置１００と赤外線画像撮像部２１０とが配設される。本実施形態のカメラは、表示部２３０をさらに含み、筐体の内部には画像処理装置１００と赤外線画像撮像部２１０と表示部２３０とが配設されてもよい。
【００４７】
画像取得部１１０、領域設定部１２０、処理部１３０、モード設定部１４０は、例えばＣＰＵなどのプロセッサーやゲートアレイなどのＡＳＩＣにより実現することができる。また、記憶部１５０は、例えばＲＡＭ、フラッシュメモリー、或いはハードディスクドライブ（ＨＤＤ）などにより実現することができる。
【００４８】
画像取得部１１０は、赤外線画像撮像部２１０からの赤外線画像データを取得し、処理部１３０に対して赤外線画像データＰＩＲを出力する。この赤外線画像データは、例えば車両の外部領域の画像の画像データである。また、画像取得部１１０は、可視画像撮像部２２０からの可視画像データを取得し、処理部１３０に対して可視画像データＰＶを出力する。
【００４９】
領域設定部１２０は、画像取得部１１０により取得された赤外線画像データに基づく画像領域に対して、アラート表示領域及びアラート非表示領域を設定する。アラート表示領域は画像領域内での対象物を検出する画像処理を行う領域であり、アラート非表示領域は画像領域内での対象物を検出する画像処理を行わない領域である。具体的には、領域設定部１２０は、画像領域をアラート表示領域とアラート非表示領域とに分割し、画像領域における位置及び形状のうちの少なくとも一つが可変に設定される境界線を用いて画像領域を区画する設定パターンを決定する。そして決定された設定パターンにおいて境界線の画像領域における位置及び形状のうちの少なくとも一つを定める。
【００５０】
より具体的には、領域設定部１２０は、車両の走行状況情報や全地球測位システム（ＧＰＳ）により取得された車両位置情報やユーザーによる入力情報などに基づいて、設定パターンを決定し、決定された設定パターンにおいて境界線の画像領域における位置及び形状のうちの少なくとも一つを定めることができる。例えば、領域設定部１２０は、車両の速度情報やヘッドライトの制御情報などに基づいて、境界線を設定することができる。なお、走行状況に応じた境界線の設定については、後で説明する。
【００５１】
ここで画像領域とは、例えば２次元的に撮像素子が配置された赤外線画像撮像部２１０により撮像され、画像取得部１１０により所定の時間間隔で取得される１画面（フレーム）分の画像データである。即ち、１つの画像領域は、赤外線画像撮像部２１０により或るタイミングで撮像された１つの画面（フレーム）を構成する赤外線画像データである。
【００５２】
アラート表示領域は、画像領域、即ち赤外線画像データの１画面（１フレーム）毎に設定される領域であって、このアラート表示領域内の赤外線画像データに対してアラート表示のための画像処理が行われる。一方、アラート非表示領域は、赤外線画像データの１画面（１フレーム）毎に設定される領域であって、このアラート非表示領域内の赤外線画像データに対してはアラート表示のための画像処理が行われない。
【００５３】
処理部１３０は、領域設定部１２０からの境界線設定情報により設定されたアラート表示領域の赤外線画像データに基づいて、アラート表示領域における対象物の検出情報を含むアラート表示の画像処理を行ってアラート表示を含む表示用画像データを生成する。具体的には、処理部１３０は、アラート表示領域に対しては、対象物を検出する画像処理（テンプレートマッチング処理）を行って、画像処理の結果に基づいてアラート表示としてアラート記号を含む表示用画像データを生成する処理を行う。このアラート記号は、対象物が検出された位置に表示にされる。一方、アラート非表示領域に対しては、対象物を検出する画像処理を行わない。また、処理部１３０は、アラート表示領域には赤外線画像を表示する処理を行い、アラート非表示領域には可視画像データに基づく表示用画像データを生成する処理を行うことができる。アラート記号は、ドライバーに歩行者や自転車などの存在を知らせるための記号（シンボルマーク）であって、例えば赤外線画像と合成されて表示部２３０に表示される。視認性の良いアラート記号を表示することで、ドライバーの危険予知を容易にすることができる。なお、テンプレートマッチング処理及びアラート表示の詳細については、後述する。
【００５４】
処理部１３０は、テンプレートマッチング処理部１３１及び画像合成処理部１３２を含む。テンプレートマッチング処理部１３１は、画像取得部１１０からの赤外線画像データＰＩＲと領域設定部１２０からの境界線設定情報とに基づいて、アラート表示領域に対するテンプレートマッチング処理を行う。画像合成処理部１３２は、境界線設定情報とテンプレートマッチング処理結果とに基づいて、アラート記号、赤外線画像及び可視画像などを合成して表示する処理を行う。
【００５５】
モード設定部１４０は、走行モードと防犯モードとのモード切換設定を行う。画像処理装置１００が走行モードに設定されている場合には、領域設定部１２０はアラート表示領域とアラート非表示領域との境界線を設定し、処理部１３０はアラート表示領域に対して、対象物を検出する画像処理を行って、画像処理の結果に基づいてアラート記号を表示する処理を行う。一方、画像処理装置１００が防犯モードに設定されている場合には、領域設定部１２０は境界線を非設定にし、処理部１３０は画像取得部１１０により取得された赤外線画像データの全画像領域に対して対象物を検出する画像処理を行う。走行モードは、例えば車両の夜間走行時などに車両前方の歩行者等を検知してドライバーに警告を発するモードであり、防犯モードは、例えば車両が自宅に隣接して駐車している時に、自宅への侵入者等を検知して警告を発するモードである。
【００５６】
記憶部１５０は、アラート表示領域とアラート非表示領域との境界線を設定する複数の設定パターンを記憶する。領域設定部１２０は、記憶部１５０から複数の設定パターンのうちのいずれか１つの設定パターンを選択して読み出し、読み出された設定パターンに基づいて境界線を設定することができる、即ち、アラート表示領域を設定することができる。こうすることで、例えば予め複数の走行状況に対応する複数の設定パターンを記憶部１５０に記憶しておくことができるから、走行状況に応じて最適な設定パターンを選択することなどが可能になる。
【００５７】
赤外線画像撮像部２１０は、赤外線カメラであって、例えば波長が８〜１２μｍの遠赤外線に感度を有するものである。遠方（例えば２００ｍ先）の対象物を検出するために、焦電素子を用いた赤外線センサーカメラであれば、さらに良い。
【００５８】
可視画像撮像部２２０は、可視光領域に感度を有するカメラであって、例えば撮像素子としてＣＣＤやＣＭＯＳなどを用いるものである。このカメラは、高ダイナミックレンジ（ＨＤＲ：High Dynamic Range）形式の画像データに対応できるものが望ましい。ＨＤＲ形式対応のカメラでは、電子シャッター機能を用いて高速・低速の異なるシャッター時間で被写体の撮像を行い、その２種類の画像信号を信号処理して広いダイナミックレンジを持つ画像を得ることができる。こうすることで、例えば夜間の走行時において、通常は対向車のヘッドライトに妨げられて見えにくくなっている歩行者や対向車自身などを、明瞭に映し出すことができる。
【００５９】
表示部２３０は、赤外線画像、可視画像及びアラート記号などを含む画像を表示する。表示部２３０は、例えば液晶ディスプレイ、有機ＥＬディスプレイなどで実現することができる。
【００６０】
本実施形態の画像処理装置１００及びカメラシステム２００によれば、画像取得部１１０により取得された赤外線画像データに基づく画像領域に対してアラート表示領域を設定し、このアラート表示領域内の赤外線画像データに基づいて画像処理（テンプレートマッチング処理）を行って、歩行者などの対象物を検出することができる。このアラート表示領域は、車両の走行状況（例えば速度、位置など）に対応して可変に設定することができる。また、アラート表示領域をユーザーによる入力情報に基づいて設定することもできる。こうすることで、赤外線画像データに基づく画像領域のうちの一部、即ち歩行者などの対象物が存在する可能性の高い領域に対して、テンプレートマッチング処理を行えばよいから、画像処理の処理時間を短縮することができる。その結果、効率の良い画像処理装置を実現することが可能になる。
【００６１】
また、本実施形態の画像処理装置１００及びカメラシステム２００によれば、アラート表示領域において対象物を検出した場合に、赤外線画像データにアラート記号を合成して表示することができる。このようにすることで、ドライバーは視認性の良いアラート記号によって危険を予測することが容易になる。
【００６２】
さらに本実施形態の画像処理装置１００及びカメラシステム２００によれば、表示部２３０に表示する際に、表示画面のアラート表示領域には赤外線画像とアラート記号を表示し、表示画面のアラート非表示領域には可視画像を表示することができる。
【００６３】
ドライバー自身の肉眼視による情報と表示部２３０に表示された赤外線画像による情報との間には大きな差異がある。即ち、肉眼では視界が悪く遠方が視認できないが、赤外線画像には遠方が鮮明に映し出される。このような複雑な視覚情報に基づいて即座に正しく状況判断を行うことは、ドライバーにとって大きな負担になるおそれがある。本実施形態の画像処理装置１００によれば、１つの画面に赤外線画像と可視画像とを並べて表示することができるから、ドライバーの負担を軽減することができる。
【００６４】
２．アラート表示領域及び画像処理
図２（Ａ）〜図２（Ｃ）に、３つの走行状況におけるアラート表示領域の設定例を示す。図２（Ａ）は、例えば郊外の道路のように比較的スムーズに走行している状況において、設定パターンが第１の設定パターンに決定された場合の設定例である。図２（Ｂ）は、例えば市街地の道路を走行している状況において、設定パターンが第２の設定パターン（３分割の設定パターン）に決定された場合の設定例である。図２（Ｃ）は、例えば山間部のように交通量の少ない道路を走行している状況において、設定パターンが第３の設定パターン（閉曲線の設定パターン）に決定された場合の設定例である。図２（Ａ）〜図２（Ｃ）は、各走行状況における赤外線画像の１フレーム（画面）であり、道路の左端ＬＴ、道路の右端ＲＴ、センターラインＣＬを示す。
【００６５】
以下の説明において、車両に取り付けられた赤外線画像撮像部２１０（赤外線カメラ）からの赤外線画像において、鉛直方向（重力の方向）を「垂直方向」とし、鉛直方向と直交する方向を「水平方向」とする。或いは、道路面に対して垂直な方向を「垂直方向」とし、道路面に対して平行な方向を「水平方向」としてもよい。また、鉛直上向きを「上」、鉛直下向きを「下」とし、画像に向かって右手水平方向を「右」、左手水平方向を「左」とする。
【００６６】
図２（Ａ）の第１の設定パターンの場合には、領域設定部１２０は、赤外線画像データに基づく画像領域を分割する境界線ＢＬを用いて画像領域を区画する。例えば、図２（Ａ）に示すように、境界線ＢＬを水平方向に設定する。そして水平方向に設定された境界線ＢＬにより分割された画像領域のうち、上側の画像領域（広義には一方の画像領域）をアラート表示領域ＡＬＴに設定し、下側の画像領域（広義には他方の画像領域）をアラート非表示領域ＮＡＬＴに設定する。
【００６７】
図２（Ａ）に示す走行状況では、肉眼で視認することが難しい遠方（例えば４０ｍ以上前方）の歩行者や自転車等を検知することが重要になる。そこで、水平方向に境界線を設定し、その境界線の上側の領域、即ち遠方の対象物が映し出される領域をアラート表示領域ＡＬＴに設定する。一方、境界線の下側の領域は、アラート非表示領域ＮＡＬＴに設定される。こうすることで、例えば道路を横断しようとする歩行者（図２（Ａ）のＡ１）や自転車に乗った人（図２（Ａ）のＡ２）をテンプレートマッチング処理によって検出することができる。
【００６８】
図２（Ｂ）の第２の設定パターン（３分割の設定パターン）の場合には、領域設定部１２０は、赤外線画像データに基づく画像領域を３分割し互いに交差しない２本の境界線を用いて画像領域を区画する。例えば図２（Ｂ）に示すように、２本の境界線ＢＬ１、ＢＬ２を垂直方向に設定する。そして垂直方向に設定された境界線ＢＬ１、ＢＬ２により分割された画像領域のうち、左側の画像領域（広義には２本の境界線の外側の画像領域）を第１のアラート表示領域ＡＬＴ１に設定し、右側の画像領域（広義には２本の境界線の外側の画像領域）を第２のアラート表示領域ＡＬＴ２に設定し、中央の画像領域（広義には２本の境界線で挟まれる画像領域）をアラート非表示領域ＮＡＬＴに設定する処理を行う。
【００６９】
図２（Ｂ）に示す走行状況では、対向車のヘッドライトにより幻惑されやすい近距離において、道路脇から飛び出してくる歩行者や自転車等を検知することが重要になる。そこで、垂直方向に第１、第２の境界線ＢＬ１、ＢＬ２を設定し、第１の境界線ＢＬ１の左側の領域を第１のアラート表示領域ＡＬＴ１に、第２の境界線ＢＬ２の右側の領域を第２のアラート表示領域ＡＬＴ２にそれぞれ設定する。一方、２つの境界線に挟まれた領域、即ち中央の領域は、アラート非表示領域ＮＡＬＴに設定される。こうすることで、例えば車両の直前を横断しようとする歩行者（図２（Ｂ）のＢ１）や自転車に乗った人（図２（Ｂ）のＢ２）をテンプレートマッチング処理によって検出することができる。
【００７０】
図２（Ｃ）の第３の設定パターン（閉曲線の設定パターン）の場合には、領域設定部１２０は、赤外線画像データに基づく画像領域において一部の領域を囲む閉曲線を境界線として用いて画像領域を区画する。例えば図２（Ｂ）に示すように、閉曲線である境界線ＢＬを画像領域の中央部に設定する。そして閉曲線の内側領域をアラート表示領域ＡＬＴに設定し、閉曲線の外側領域をアラート非表示領域ＮＡＬＴに設定する処理を行う。ここで閉曲線とは、閉じた図形であればよく、例えば多角形であってもよい。
【００７１】
図２（Ｃ）に示す走行状況では、車両速度が速いことを考慮して、より遠方（例えば１００ｍ以上前方）の対象物を検知することが重要になる。そこで、画像領域の中央部などの限定された領域をアラート表示領域ＡＬＴに設定し、それ以外の領域（画像領域の周辺部）をアラート非表示領域ＮＡＬＴに設定する。こうすることで、例えば車両の遠方を横断しようとする歩行者（図２（Ｃ）のＣ１）等をテンプレートマッチング処理によって検出することができる。
【００７２】
なお、境界線の位置は、固定ではなく、例えば車両の速度情報やヘッドライトの制御情報などに基づいて可変に設定することができる。具体的には、例えば図２（Ａ）において、車両速度が速いほど境界線の位置を画像領域の上方にシフトさせてもよいし、或いは、ヘッドライトをハイビームに切り換えた時に、境界線の位置を画面の上方にシフトさせ、ロービームに切り換えた時に、境界線の位置を画像領域の下方にシフトさせてもよい。
【００７３】
また、ユーザー（ドライバー）による入力情報に基づいて、境界線の位置、形状等を可変に設定することもできる。具体的には、ドライバーが交通状況に応じて境界線設定情報を入力することにより、例えば図２（Ｂ）において、２つの境界線ＢＬ１、ＢＬ２の位置を左方又は右方にシフトさせたり、例えば図２（Ｃ）において、画像領域中央部のアラート表示領域ＡＬＴの位置又は大きさを変化させたりすることができる。
【００７４】
設定パターンは、上述した３つのパターンに限定されるものではなく、例えば水平方向の境界線と垂直方向の境界線とを組み合わせたパターンであってもよい。また、境界線は直線に限定されるものではなく、例えば折れ線や曲線などであってもよい。
【００７５】
図３は、本実施形態の画像処理装置１００における画像処理（テンプレートマッチング処理）のフローチャートである。このテンプレートマッチング処理は、処理部１３０に含まれるテンプレートマッチング処理部１３１により実行される。
【００７６】
最初のステップＳ１で、処理に必要なパラメータの初期設定を行う。次のステップＳ２で、画像取得部１１０が赤外線カメラ（赤外線画像撮像部）２１０からの赤外線画像を取得する。そして次のステップ３では、テンプレートマッチング処理部１３１が、領域設定部１２０からの境界線設定情報に基づいて、赤外線画像データ（熱画像データ）の１フレーム（１画面）毎にアラート表示領域を設定する。
【００７７】
次にステップＳ４では、アラート表示領域内の赤外線画像から検出候補領域を抽出する。具体的には、対象物の特徴を表す温度領域を塊として抽出する。ここでは例として、先行車両及び歩行者（人物）を検出対象とする場合について説明する。これ以外のものを検出の対象とする場合には、その対象が有する温度情報を特徴量として、それぞれ本ステップにおいて処理対象に加えればよい。
【００７８】
先行車両の場合は、マフラー領域が１００°Ｃ程度の高温になることを利用して、赤外線画像中から例えば８０°Ｃ以上の温度情報を有する領域を探索して、その領域の位置情報と温度情報を検出する。
【００７９】
一方、歩行者の場合は、露出している顔及び首の表面温度が３０°Ｃ程度の中温になることを利用して、熱画像中から例えば３０°Ｃ程度の温度情報を有する領域を探索して、その領域の位置情報と温度情報を検出する。ここで、各領域で検出される結果のうち、位置情報としては例えば塊の重心座標位置とすればよく、温度情報としては例えば塊の平均温度とすればよい。また重心座標位置以外に、縦横比、充足率、実面積などの条件を満たす部位の存在を調べる。これによって、歩行者の存在位置を画面上の２次元座標上で画面全体の幅と高さに対する割合で求める。
【００８０】
そして、ステップＳ５では、ステップＳ４で得られた各領域の位置情報と温度情報を対応付けした位置及び温度リストを作成して以降の処理に進む。
【００８１】
次のステップＳ６では、ステップＳ５で作成したリストに基づいて、検出候補があるか否か、即ち検出対象である先行車や歩行者の特徴量を示す温度情報が抽出されているか否かを判断する。リスト内に対象物の候補が一つも抽出されていない場合には、今回の赤外線画像の中には検出対象である先行車や歩行者が存在しないものと判断して、次のフレーム（画面）の処理のためにＳ２に戻る。
【００８２】
一方、リスト内に対象物の候補が一つ以上抽出されている場合には、次のステップＳ７で検出候補領域（存在候補領域）を設定し、続くステップＳ８で、ステップＳ５で作成したリストの温度情報に基づいて、以降の処理で用いるためのテンプレート候補を選択する。具体的には、その検出候補領域の平均温度情報±ΔＴの範囲内の値を持つテンプレートを、一つの検出候補領域内での対象物検出に用いるテンプレート候補とする。
【００８３】
例えば、先行車存在候補領域に用いるテンプレートとして選択されるのは、温度情報が１００±３°Ｃのテンプレートである。但し、高温部分については、通常の走行環境内では特殊な存在であるため、予め例えば８０°Ｃ以上の領域をテンプレートとして選択してもよい。一方、歩行者存在候補領域に用いるテンプレートとして選択されるのは、温度情報が２８±３°Ｃのテンプレートである。高温部分については、外気温の影響等を考えると、同一の物体でも所定の範囲では温度が変化することを考慮する必要がある。また、上記の例では中温情報を有する対象物を歩行者としているが、例えば動物（犬等）と区別するためには、本ステップで動物のテンプレートも候補として選択される。
【００８４】
このようにして検出候補領域毎に最適なテンプレートを決定し、次のステップＳ９では決定されたテンプレートを用いて、検出処理（テンプレートマッチング処理）を行う。即ち、赤外画像中でテンプレートマッチング処理を行い、各検出候補領域内での最終的な対象物の有無及びその位置を検出する。本ステップでは、先行車存在候補領域から先行車を検出する場合には、車体テンプレートを用いて、先行車存在候補領域と車体テンプレートでの濃度値（濃淡値）の相関演算によって先行車両の有無とその詳細な位置を検出する。また、歩行者存在候補領域から歩行者を検出する場合には、歩行者存在候補領域と人テンプレートでの濃度値の相関演算によって歩行者の有無とその詳細な位置を検出する。
【００８５】
なお、上記の説明では、テンプレートマッチング処理時にテンプレートマッチング処理を濃度値での相関演算で行っているが、本実施形態の画像処理装置１００は、これに限定されるものではなく、例えばエッジ画像をテンプレートとして持っておき、この相関値で最終的な対象物の有無とその位置を検出するようにしてもよい。
【００８６】
次に、ステップＳ１０では、ステップＳ５で作成されたリストにある検出候補領域の全てに対して検出処理が行われたかどうかを判断する。全ての検出候補領域に対して処理が終了していなければ、処理領域を切り替えるために、ステップＳ７に戻り、次の検出候補領域の設定を行う。リストにある領域の全てについて処理が終了していれば、それまでの処理結果を出力するために次のステップＳ１１へ進む。
【００８７】
ステップＳ１１では、テンプレートマッチング処理部１３１が上述した検出結果を画像合成処理部１３２に出力し、画像合成処理部１３２は、赤外線画像及びアラート記号をアラート表示領域に表示し、可視画像をアラート非表示領域に表示するように画像合成処理を行って、合成された画像データを表示部２３０に出力する。
【００８８】
図４（Ａ）〜図４（Ｃ）に、３つの設定パターンにおけるアラート表示の例を示す。図４（Ａ）〜図４（Ｃ）は、表示部２３０に表示された画像を示し、上述した第１の設定パターン（図２（Ａ））、第２の設定パターン（図２（Ｂ））、第３の設定パターン（図２（Ｃ））にそれぞれ対応する。
【００８９】
図４（Ａ）に示すように、歩行者及び自転車に乗っている人が検出された位置に、歩行者及び自転車の存在をドライバーに知らせるためのアラート記号ＡＭ１、ＡＭ２が赤外線画像と合成されてアラート表示領域ＡＬＴに表示される。また、アラート非表示領域ＮＡＬＴには、可視画像が表示される。
【００９０】
図４（Ｂ）では、第１のアラート表示領域ＡＬＴ１には、歩行者の存在を知らせるためのアラート記号ＡＭ１が赤外線画像と合成されて表示され、第２のアラート表示領域ＡＬＴ２には、自転車の存在を知らせるためのアラート記号ＡＭ２が赤外線画像と合成されて表示される。また、アラート非表示領域ＮＡＬＴには、可視画像が表示される。
【００９１】
図４（Ｃ）では、中央部のアラート表示領域ＡＬＴには、歩行者の存在を知らせるためのアラート記号ＡＭ１が赤外線画像と合成されて表示される。また、アラート非表示領域ＮＡＬＴには、可視画像が表示される。
【００９２】
以上説明したように、本実施形態の画像処理装置１００及びカメラシステム２００によれば、車両の走行状況に応じてアラート表示領域を可変に設定することができる。このようにすれば、赤外線画像のうちの歩行者等が存在する可能性が高い領域に対してテンプレートマッチング処理を行えばよいから、処理時間を短縮することができる。また、アラート表示領域において対象物を検出した場合に、赤外線画像にアラート記号を合成して表示することができる。このようにすることで、ドライバーは視認性の良いアラート記号によって危険を予測することが容易になる。さらに、表示部の画面に赤外線画像と可視画像とを並べて表示することができるから、ドライバー自身の肉眼視でとらえた情報と赤外線画像による情報との間に大きな差異があっても、ドライバーが状況を把握する際の負担を軽減することができる。その結果、処理効率が良く、またドライバーの状況判断を容易にすることなどが可能になる。
【００９３】
３．カメラシステム
図５（Ａ）、図５（Ｂ）に、本実施形態のカメラシステム２００の構成例を示す。カメラシステム２００は、画像処理装置１００、赤外線画像撮像部２１０を含み、表示部２３０をさらに含んでもよい。なお、本実施形態のカメラシステム２００は、図５（Ａ）、図５（Ｂ）の構成に限定されず、その構成要素の一部を省略したり、他の構成要素に置き換えたり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００９４】
図５（Ａ）は車両を上から見た平面図であり、図５（Ｂ）は車両の側面図である。赤外線画像撮像部（赤外線カメラ）２１０は、例えば車両のバンパー部分に設けられ、可視画像撮像部（可視カメラ）２２０は、例えば車両のルーフに設けられる。画像処理装置１００は、ダッシュボードなどのドライバーが操作しやすい位置に設けられ、表示部２３０はドライバーが視認しやすい位置に設けられる。なお、これら構成要素の位置は、図示される位置に限定されず、例えば赤外線画像撮像部（赤外線カメラ）２１０をルーフに設けてもよい。
【００９５】
図６は、本実施形態のカメラシステム２００の防犯モードを説明する図である。例えば夜間に自家用車を自宅近くに駐車する場合などに、カメラシステム２００を防犯モードに設定することにより、夜間の自宅への不審者の侵入などを検知することができる。走行モードと防犯モードとの切換は、モード設定部１４０が行う。
【００９６】
具体的には、車両のルーフ等に設けた赤外線画像撮像部（赤外線カメラ）２１０により自宅の周囲の赤外線画像を所定の時間間隔で撮像する。防犯モードに設定されている場合には、領域設定部１２０はアラート表示領域とアラート非表示領域との境界線を非設定にする。そして処理部１３０は赤外線画像の全画面に対して対象物を検出する画像処理（テンプレートマッチング処理）を行う。処理部１３０は、画像処理によって不審者を検出した場合には、ユーザーの携帯端末などに通報する処理を行う。
【００９７】
防犯モードにおける画像処理のフローは、図３に示したフローと同様である。但し、ステップＳ３では、赤外線画像の全画面をアラート表示領域に設定する。
【００９８】
なお、赤外線カメラ２１０をルーフレール等に設けて、赤外線カメラ２１０の位置を移動させたり、或いは赤外線カメラ２１０を回転できる台座に設けることで、赤外線カメラ２１０の光軸方向を可変に設定することができる。こうすることで、不審者が侵入するおそれがある方向に赤外線カメラ２１０の光軸方向を設定することなどが可能になる。
【００９９】
このように本実施形態のカメラシステム２００によれば、防犯モードに設定することにより、夜間の駐車時に自宅周辺の不審者などを検知することができるから、防犯用に専用のセキュリティシステム等を設置する必要がなくなるため、防犯コストの低減などが可能になる。
【０１００】
なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例は全て本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また画像処理装置、画像処理システム、カメラ、カメラシステムの構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１０１】
１００ 画像処理装置、１１０ 画像取得部、１２０ 領域設定部、１３０ 処理部、
１３１ テンプレートマッチング処理部、１３２ 画像合成処理部、
１４０ モード設定部、１５０ 記憶部、２００ カメラシステム、
２１０ 赤外線画像撮像部、２２０ 可視画像撮像部、２３０ 表示部、
ＡＬＴ アラート表示領域、ＮＡＬＴ アラート非表示領域、ＢＬ 境界線
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理システム、カメラ、カメラシステム等に関する。
【背景技術】
【０００２】
ドライバーにとって車外からの視覚情報は運転操作上きわめて重要である。しかしながら、夜間の低照度環境や対向車のライトのような強力な光源の存在によって眩惑されるような環境で運転しなければならない場合も多い。このような肉眼での視認性が悪い環境では、注意深いドライバーにとっても自車に接近する歩行者などの対象物の発見が遅れがちである。
【０００３】
このようなドライバー側の生理学的な問題をカバーするための技術として、照明の届かない低照度環境の風景を、赤外線を検出して結像させる走査部を用いて表示部に映し出す手法が、特許文献1に開示されている。
【０００４】
しかしながらこの手法では、赤外線画像の全画像を表示するため、その赤外線画像には注意する必要のない建物や植込み、空や雲なども強調されて映し出され、表示画面内の検出したい対象物、例えば歩行者等の存在が認識しにくいという課題がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−１３７０３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の幾つかの態様によれば、表示画面内の対象物の存在を認識しやすい画像を提供し、危険予知を容易にすることができる画像処理装置、画像処理システム、カメラ、カメラシステム等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、赤外線画像データを取得する画像取得部と、前記画像取得部により取得された前記赤外線画像データに基づく画像領域に対して、前記画像領域内での対象物を検出する画像処理を行うアラート表示領域と、前記画像領域内での前記対象物を検出する画像処理を行わないアラート非表示領域とを設定する領域設定部と、前記アラート表示領域の前記赤外線画像データに基づいて、前記アラート表示領域における前記対象物の検出情報を含むアラート表示の画像処理を行って前記アラート表示を含む表示用画像データを生成する処理部とを含み、前記領域設定部は、前記画像領域を前記アラート表示領域と前記アラート非表示領域とに分割し、前記画像領域における位置及び形状のうちの少なくとも一つが可変に設定される境界線を用いて前記画像領域を区画する設定パターンを決定し、決定された前記設定パターンにおいて前記境界線の前記画像領域における位置及び形状のうちの少なくとも一つを定める画像処理装置に関係する。
【０００８】
本発明の一態様によれば、領域設定部がアラート表示領域を設定し、処理部がアラート表示領域の赤外線画像データに基づいてアラート表示の画像処理を行って表示用画像データを生成することができる。また、領域設定部はアラート表示領域とアラート非表示領域との境界線の設定パターンを決定し、決定された設定パターンに対して境界線の位置又は形状のうちの少なくとも１つを設定することができるから、例えば車両の走行状況などに応じてアラート表示領域を設定することができる。その結果、歩行者等が存在する可能性が高い領域に対して画像処理を行い、それ以外の領域に対しては画像処理を行わないことができるから、処理時間を短縮し、効率の良い処理などが可能になる。さらに、例えば遠方の風景や空など不要な赤外線画像を表示しないことができるから、ドライバーの負担を軽減し、危険予知を容易にすることなどが可能になる。
【０００９】
また本発明の一態様では、前記赤外線画像データに基づく画像領域を分割する境界線を用いて前記画像領域を区画する第１の設定パターンを決定可能に備え、決定された前記設定パターンが前記第１の設定パターンである場合には、前記境界線により分割された画像領域のうち、一方の画像領域を前記アラート表示領域に設定し、他方の画像領域を前記アラート非表示領域に設定してもよい。
【００１０】
このようにすれば、例えば郊外の道路のように比較的スムーズに走行している状況などでは、第１の設定パターンにより赤外線画像データに基づく画像領域を分割して、境界線の上側の領域、即ち遠方の対象物が映し出される領域をアラート表示領域に設定することができるから、例えば肉眼で視認することが難しい遠方の歩行者や自転車等を検知することなどが可能になる。
【００１１】
また本発明の一態様では、前記領域設定部は、前記赤外線画像データに基づく画像領域を３分割し互いに交差しない２本の境界線を用いて前記画像領域を区画する第２の設定パターンを決定可能に備え、決定された前記設定パターンが前記第２の設定パターンである場合には、前記境界線により３分割された画像領域のうち、前記２本の境界線で挟まれる画像領域を前記アラート非表示領域に設定し、前記２本の境界線の外側の画像領域をアラート表示領域に設定してもよい。
【００１２】
このようにすれば、例えば市街地の道路を走行している状況などでは、第２の設定パターンにより赤外線画像データに基づく画像領域を３分割して、道路の左端及び右端に存在する対象物が映し出される領域をアラート表示領域に設定することができるから、例えば車両の直前を横断しようとする歩行者や自転車等を検知することなどが可能になる。
【００１３】
また本発明の一態様では、前記領域設定部は、前記境界線を、前記赤外線画像データに基づく画像領域において一部の領域を囲む閉曲線を境界線として用いて前記画像領域を区画する第３の設定パターンを決定可能に備え、決定された前記設定パターンが前記第３の設定パターンである場合には、前記閉曲線の内側領域を前記アラート表示領域に設定し、前記閉曲線の外側領域を前記アラート非表示領域に設定してもよい。
【００１４】
このようにすれば、例えば山間部のように交通量の少ない道路を走行している状況などでは、第３の設定パターンにより赤外線画像データに基づく画像領域において一部の領域を囲む閉曲線を設定して、画像領域の中央部などの領域をアラート表示領域に設定することができるから、例えば車両の遠方を横断しようとする歩行者等を検知することなどが可能になる。
【００１５】
また本発明の一態様では、前記赤外線画像データは、車両の外部領域の画像の画像データであり、前記領域設定部は、前記車両の走行状況情報に基づいて、前記設定パターンを決定し、決定された前記設定パターンにおいて前記境界線の前記画像領域における位置及び形状のうちの少なくとも一つを定めてもよい。
【００１６】
このようにすれば、領域設定部は、車両の走行状況に基づいてアラート表示領域を設定することができるから、例えば車両の速度などに応じて歩行者等の対象物が存在する可能性が高い領域をアラート表示領域として設定することなどが可能になる。
【００１７】
また本発明の一態様では、前記車両の走行状況情報は、全地球測位システムにより取得された前記車両の位置情報であってもよい。
【００１８】
このようにすれば、領域設定部は、全地球測位システムの車両位置情報に基づいて、例えば道路状況や交通状況などに応じて設定パターンを決定することができるから、リアルタイムに歩行者等の対象物が存在する可能性が高い領域をアラート表示領域として設定することなどが可能になる。
【００１９】
また本発明の一態様では、前記車両の走行状況情報は、前記車両の速度情報であってもよい。
【００２０】
このようにすれば、例えば車両速度が速いほど、より遠方の対象物を検知できるようにアラート表示領域を設定し、また車両速度が遅いほど、より近くの対象物を検知できるようにアラート表示領域を設定することなどが可能になる。
【００２１】
また本発明の一態様では、前記領域設定部は、ユーザーによる入力情報に基づいて、前記設定パターンを決定し、決定された前記設定パターンにおいて前記境界線の前記画像領域における位置及び形状のうちの少なくとも一つを定めてもよい。
【００２２】
このようにすれば、ユーザーが車両の走行状況や道路状況などを判断し、ユーザーの判断に基づいてアラート表示領域を設定することができる。
【００２３】
また本発明の一態様では、前記処理部は、前記アラート表示としてアラート記号を含む表示用画像データを生成してもよい。
【００２４】
このようにすれば、アラート記号を含む表示用画像データを用いてアラート表示をすることができるから、ドライバーの視認性を向上させることなどが可能になる。
【００２５】
また本発明の一態様では、走行モードと防犯モードとのモード切換設定を行うモード設定部をさらに含み、前記走行モードに設定されている場合には、前記領域設定部は、前記境界線を設定し、前記処理部は、前記アラート表示領域に対して、前記対象物を検出する前記画像処理を行って、前記画像処理の結果に基づいて前記アラート記号を含む表示用画像データを生成する処理を行い、前記防犯モードに設定されている場合には、前記領域設定部は、前記境界線を非設定にし、前記処理部は、前記画像取得部により取得された前記赤外線画像データの全画像領域に対して前記対象物を検出する前記画像処理を行ってもよい。
【００２６】
このようにすれば、車両の走行時には、モード設定部が走行モードに設定することにより、例えば道路を横断する歩行者等を検知してドライバーに知らせることができる。また、車両の駐車時には、モード設定部が防犯モードに設定することにより、例えば夜間の自宅への不審者の侵入などを検知し、ユーザーに通報することなどが可能になる。
【００２７】
また本発明の一態様では、前記画像取得部は、可視画像データを取得し、前記処理部は、前記アラート非表示領域には前記可視画像データに基づく表示用画像データを生成する処理を行ってもよい。
【００２８】
このようにすれば、表示部の画面に赤外線画像と可視画像とを並べて表示することができるから、ドライバー自身の肉眼視でとらえた情報と赤外線画像による情報との間に大きな差異があっても、ドライバーが状況を把握する際の負担を軽減することなどが可能になる。
【００２９】
また本発明の一態様では、前記領域設定部は、ヘッドライトの制御情報に基づいて、前記境界線を設定してもよい。
【００３０】
このようにすれば、例えばヘッドライトをハイビームに切り換えた場合には、より遠方の対象物を検知できるようにアラート表示領域を設定し、ロービームに切り換えた場合には、より近くの対象物を検知できるようにアラート表示領域を設定することなどが可能になる。
【００３１】
また本発明の一態様では、前記境界線を設定する複数の設定パターンを記憶する記憶部を含み、前記領域設定部は、前記記憶部から前記複数の設定パターンのうちのいずれか１つの設定パターンを選択して読み出し、読み出された前記設定パターンに基づいて前記境界線を設定してもよい。
【００３２】
このようにすれば、例えば予め複数の走行状況に対応する複数の設定パターンを記憶部に記憶しておくことができるから、走行状況に応じて最適な設定パターンを選択することなどが可能になる。
【００３３】
また本発明の一態様では、前記領域設定部は、前記赤外線画像データに基づく画像領域を３分割し互いに交差しない２本の境界線を用いて前記画像領域を区画する３分割の設定パターンを決定可能に備え、決定された前記設定パターンが前記３分割の設定パターンである場合には、前記境界線により３分割された画像領域のうち、前記２本の境界線で挟まれる画像領域を前記アラート非表示領域に設定し、前記２本の境界線の外側の画像領域をアラート表示領域に設定してもよい。
【００３４】
このようにすれば、例えば市街地の道路を走行している状況などでは、３分割の設定パターンにより赤外線画像データに基づく画像領域を３分割して、道路の左端及び右端に存在する対象物が映し出される領域をアラート表示領域に設定することができるから、例えば車両の直前を横断しようとする歩行者や自転車等を検知することなどが可能になる。
【００３５】
また本発明の一態様では、前記領域設定部は、前記赤外線画像データに基づく画像領域において一部の領域を囲む閉曲線を境界線として用いて前記画像領域を区画する閉曲線の設定パターンを決定可能に備え、決定された前記設定パターンが前記閉曲線の設定パターンである場合には、前記閉曲線の内側領域を前記アラート表示領域に設定し、前記閉曲線の外側領域を前記アラート非表示領域に設定してもよい。
【００３６】
このようにすれば、例えば山間部のように交通量の少ない道路を走行している状況などでは、閉曲線の設定パターンにより赤外線画像データに基づく画像領域において一部の領域を囲む閉曲線を設定して、画像領域の中央部などの領域をアラート表示領域に設定することができるから、例えば車両の遠方を横断しようとする歩行者等を検知することなどが可能になる。
【００３７】
本発明の他の態様は、上記いずれかに記載の画像処理装置と、赤外線画像撮像部とを含むカメラシステムに関係する。
【００３８】
本発明の他の態様は、上記いずれかに記載の画像処理装置と、赤外線画像撮像部と、前記画像処理装置と前記赤外線画像撮像部とが内部に配設された筐体とを含むカメラに関係する。
【００３９】
本発明の他の態様は、上記いずれかに記載の画像処理装置と、赤外線画像撮像部と、前記表示用画像データに基づく画像を表示する表示部とを含むカメラシステムに関係する。
【００４０】
本発明の他の態様は、上記いずれかに記載の画像処理装置と、赤外線画像撮像部と、前記表示用画像データに基づく画像を表示する表示部と、前記画像処理装置と前記赤外線画像撮像部と前記表示部とが内部に配設された筐体とを含むカメラに関係する。
【００４１】
本発明の他の態様は、赤外線画像データを取得する画像取得部と、前記画像取得部により取得された前記赤外線画像データに基づく画像領域に対して、前記画像領域内での対象物を検出する画像処理を行うアラート表示領域と、前記画像領域内での前記対象物を検出する画像処理を行わないアラート非表示領域とを設定する領域設定部と、前記アラート表示領域の前記赤外線画像データに基づいて、前記アラート表示領域における前記対象物の検出情報を含むアラート表示の画像処理を行って前記アラート表示を含む表示用画像データを生成する処理部とを含み、前記領域設定部は、前記画像領域を前記アラート表示領域と前記アラート非表示領域とに分割し、前記画像領域における位置及び形状のうちの少なくとも一つが可変に設定される境界線を用いて前記画像領域を区画する設定パターンを決定し、決定された前記設定パターンにおいて前記境界線の前記画像領域における位置及び形状のうちの少なくとも一つを定める画像処理システムに関係する。
【００４２】
本発明の他の態様は、上記いずれかに記載の画像処理装置と、前記表示用画像データに基づく画像を表示する表示部とを含む画像処理システムに関係する。
【図面の簡単な説明】
【００４３】
【図１】画像処理装置及びカメラシステム等の基本的な構成例。
【図２】図２（Ａ）〜図２（Ｃ）は、３つの走行状況におけるアラート表示領域の設定例。
【図３】画像処理装置における画像処理のフローチャート。
【図４】図４（Ａ）〜図４（Ｃ）は、３つの走行状況におけるアラート表示の例。
【図５】図５（Ａ）、図５（Ｂ）は、カメラシステムの構成例。
【図６】カメラシステムの防犯モードを説明する図。
【発明を実施するための形態】
【００４４】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００４５】
１．画像処理装置及びカメラシステム等の基本的な構成例
図１に画像処理装置１００（画像処理システム）及びカメラシステム２００等の基本的な構成例を示す。本実施形態の画像処理装置１００は、画像取得部１１０、領域設定部１２０、処理部１３０、モード設定部１４０及び記憶部１５０を含む。また、本実施形態のカメラシステム２００は、画像処理装置１００、赤外線画像撮像部２１０を含み、表示部２３０をさらに含んでもよい。なお、本実施形態の画像処理装置１００及びカメラシステム２００は、図１の構成に限定されず、その構成要素の一部を省略したり、他の構成要素に置き換えたり、他の構成要素を追加するなどの種々の変形実施が可能である。例えば、モード設定部１４０及び記憶部１５０は、どちらか一方又は両方を省略することができる。
【００４６】
本実施形態のカメラは、画像処理装置１００、赤外線画像撮像部２１０、筐体（図示せず）を含み、筐体の内部には画像処理装置１００と赤外線画像撮像部２１０とが配設される。本実施形態のカメラは、表示部２３０をさらに含み、筐体の内部には画像処理装置１００と赤外線画像撮像部２１０と表示部２３０とが配設されてもよい。
【００４７】
画像取得部１１０、領域設定部１２０、処理部１３０、モード設定部１４０は、例えばＣＰＵなどのプロセッサーやゲートアレイなどのＡＳＩＣにより実現することができる。また、記憶部１５０は、例えばＲＡＭ、フラッシュメモリー、或いはハードディスクドライブ（ＨＤＤ）などにより実現することができる。
【００４８】
画像取得部１１０は、赤外線画像撮像部２１０からの赤外線画像データを取得し、処理部１３０に対して赤外線画像データＰＩＲを出力する。この赤外線画像データは、例えば車両の外部領域の画像の画像データである。また、画像取得部１１０は、可視画像撮像部２２０からの可視画像データを取得し、処理部１３０に対して可視画像データＰＶを出力する。
【００４９】
領域設定部１２０は、画像取得部１１０により取得された赤外線画像データに基づく画像領域に対して、アラート表示領域及びアラート非表示領域を設定する。アラート表示領域は画像領域内での対象物を検出する画像処理を行う領域であり、アラート非表示領域は画像領域内での対象物を検出する画像処理を行わない領域である。具体的には、領域設定部１２０は、画像領域をアラート表示領域とアラート非表示領域とに分割し、画像領域における位置及び形状のうちの少なくとも一つが可変に設定される境界線を用いて画像領域を区画する設定パターンを決定する。そして決定された設定パターンにおいて境界線の画像領域における位置及び形状のうちの少なくとも一つを定める。
【００５０】
より具体的には、領域設定部１２０は、車両の走行状況情報や全地球測位システム（ＧＰＳ）により取得された車両位置情報やユーザーによる入力情報などに基づいて、設定パターンを決定し、決定された設定パターンにおいて境界線の画像領域における位置及び形状のうちの少なくとも一つを定めることができる。例えば、領域設定部１２０は、車両の速度情報やヘッドライトの制御情報などに基づいて、境界線を設定することができる。なお、走行状況に応じた境界線の設定については、後で説明する。
【００５１】
ここで画像領域とは、例えば２次元的に撮像素子が配置された赤外線画像撮像部２１０により撮像され、画像取得部１１０により所定の時間間隔で取得される１画面（フレーム）分の画像データである。即ち、１つの画像領域は、赤外線画像撮像部２１０により或るタイミングで撮像された１つの画面（フレーム）を構成する赤外線画像データである。
【００５２】
アラート表示領域は、画像領域、即ち赤外線画像データの１画面（１フレーム）毎に設定される領域であって、このアラート表示領域内の赤外線画像データに対してアラート表示のための画像処理が行われる。一方、アラート非表示領域は、赤外線画像データの１画面（１フレーム）毎に設定される領域であって、このアラート非表示領域内の赤外線画像データに対してはアラート表示のための画像処理が行われない。
【００５３】
処理部１３０は、領域設定部１２０からの境界線設定情報により設定されたアラート表示領域の赤外線画像データに基づいて、アラート表示領域における対象物の検出情報を含むアラート表示の画像処理を行ってアラート表示を含む表示用画像データを生成する。具体的には、処理部１３０は、アラート表示領域に対しては、対象物を検出する画像処理（テンプレートマッチング処理）を行って、画像処理の結果に基づいてアラート表示としてアラート記号を含む表示用画像データを生成する処理を行う。このアラート記号は、対象物が検出された位置に表示にされる。一方、アラート非表示領域に対しては、対象物を検出する画像処理を行わない。また、処理部１３０は、アラート表示領域には赤外線画像を表示する処理を行い、アラート非表示領域には可視画像データに基づく表示用画像データを生成する処理を行うことができる。アラート記号は、ドライバーに歩行者や自転車などの存在を知らせるための記号（シンボルマーク）であって、例えば赤外線画像と合成されて表示部２３０に表示される。視認性の良いアラート記号を表示することで、ドライバーの危険予知を容易にすることができる。なお、テンプレートマッチング処理及びアラート表示の詳細については、後述する。
【００５４】
処理部１３０は、テンプレートマッチング処理部１３１及び画像合成処理部１３２を含む。テンプレートマッチング処理部１３１は、画像取得部１１０からの赤外線画像データＰＩＲと領域設定部１２０からの境界線設定情報とに基づいて、アラート表示領域に対するテンプレートマッチング処理を行う。画像合成処理部１３２は、境界線設定情報とテンプレートマッチング処理結果とに基づいて、アラート記号、赤外線画像及び可視画像などを合成して表示する処理を行う。
【００５５】
モード設定部１４０は、走行モードと防犯モードとのモード切換設定を行う。画像処理装置１００が走行モードに設定されている場合には、領域設定部１２０はアラート表示領域とアラート非表示領域との境界線を設定し、処理部１３０はアラート表示領域に対して、対象物を検出する画像処理を行って、画像処理の結果に基づいてアラート記号を表示する処理を行う。一方、画像処理装置１００が防犯モードに設定されている場合には、領域設定部１２０は境界線を非設定にし、処理部１３０は画像取得部１１０により取得された赤外線画像データの全画像領域に対して対象物を検出する画像処理を行う。走行モードは、例えば車両の夜間走行時などに車両前方の歩行者等を検知してドライバーに警告を発するモードであり、防犯モードは、例えば車両が自宅に隣接して駐車している時に、自宅への侵入者等を検知して警告を発するモードである。
【００５６】
記憶部１５０は、アラート表示領域とアラート非表示領域との境界線を設定する複数の設定パターンを記憶する。領域設定部１２０は、記憶部１５０から複数の設定パターンのうちのいずれか１つの設定パターンを選択して読み出し、読み出された設定パターンに基づいて境界線を設定することができる、即ち、アラート表示領域を設定することができる。こうすることで、例えば予め複数の走行状況に対応する複数の設定パターンを記憶部１５０に記憶しておくことができるから、走行状況に応じて最適な設定パターンを選択することなどが可能になる。
【００５７】
赤外線画像撮像部２１０は、赤外線カメラであって、例えば波長が８〜１２μｍの遠赤外線に感度を有するものである。遠方（例えば２００ｍ先）の対象物を検出するために、焦電素子を用いた赤外線センサーカメラであれば、さらに良い。
【００５８】
可視画像撮像部２２０は、可視光領域に感度を有するカメラであって、例えば撮像素子としてＣＣＤやＣＭＯＳなどを用いるものである。このカメラは、高ダイナミックレンジ（ＨＤＲ：High Dynamic Range）形式の画像データに対応できるものが望ましい。ＨＤＲ形式対応のカメラでは、電子シャッター機能を用いて高速・低速の異なるシャッター時間で被写体の撮像を行い、その２種類の画像信号を信号処理して広いダイナミックレンジを持つ画像を得ることができる。こうすることで、例えば夜間の走行時において、通常は対向車のヘッドライトに妨げられて見えにくくなっている歩行者や対向車自身などを、明瞭に映し出すことができる。
【００５９】
表示部２３０は、赤外線画像、可視画像及びアラート記号などを含む画像を表示する。表示部２３０は、例えば液晶ディスプレイ、有機ＥＬディスプレイなどで実現することができる。
【００６０】
本実施形態の画像処理装置１００及びカメラシステム２００によれば、画像取得部１１０により取得された赤外線画像データに基づく画像領域に対してアラート表示領域を設定し、このアラート表示領域内の赤外線画像データに基づいて画像処理（テンプレートマッチング処理）を行って、歩行者などの対象物を検出することができる。このアラート表示領域は、車両の走行状況（例えば速度、位置など）に対応して可変に設定することができる。また、アラート表示領域をユーザーによる入力情報に基づいて設定することもできる。こうすることで、赤外線画像データに基づく画像領域のうちの一部、即ち歩行者などの対象物が存在する可能性の高い領域に対して、テンプレートマッチング処理を行えばよいから、画像処理の処理時間を短縮することができる。その結果、効率の良い画像処理装置を実現することが可能になる。
【００６１】
また、本実施形態の画像処理装置１００及びカメラシステム２００によれば、アラート表示領域において対象物を検出した場合に、赤外線画像データにアラート記号を合成して表示することができる。このようにすることで、ドライバーは視認性の良いアラート記号によって危険を予測することが容易になる。
【００６２】
さらに本実施形態の画像処理装置１００及びカメラシステム２００によれば、表示部２３０に表示する際に、表示画面のアラート表示領域には赤外線画像とアラート記号を表示し、表示画面のアラート非表示領域には可視画像を表示することができる。
【００６３】
ドライバー自身の肉眼視による情報と表示部２３０に表示された赤外線画像による情報との間には大きな差異がある。即ち、肉眼では視界が悪く遠方が視認できないが、赤外線画像には遠方が鮮明に映し出される。このような複雑な視覚情報に基づいて即座に正しく状況判断を行うことは、ドライバーにとって大きな負担になるおそれがある。本実施形態の画像処理装置１００によれば、１つの画面に赤外線画像と可視画像とを並べて表示することができるから、ドライバーの負担を軽減することができる。
【００６４】
２．アラート表示領域及び画像処理
図２（Ａ）〜図２（Ｃ）に、３つの走行状況におけるアラート表示領域の設定例を示す。図２（Ａ）は、例えば郊外の道路のように比較的スムーズに走行している状況において、設定パターンが第１の設定パターンに決定された場合の設定例である。図２（Ｂ）は、例えば市街地の道路を走行している状況において、設定パターンが第２の設定パターン（３分割の設定パターン）に決定された場合の設定例である。図２（Ｃ）は、例えば山間部のように交通量の少ない道路を走行している状況において、設定パターンが第３の設定パターン（閉曲線の設定パターン）に決定された場合の設定例である。図２（Ａ）〜図２（Ｃ）は、各走行状況における赤外線画像の１フレーム（画面）であり、道路の左端ＬＴ、道路の右端ＲＴ、センターラインＣＬを示す。
【００６５】
以下の説明において、車両に取り付けられた赤外線画像撮像部２１０（赤外線カメラ）からの赤外線画像において、鉛直方向（重力の方向）を「垂直方向」とし、鉛直方向と直交する方向を「水平方向」とする。或いは、道路面に対して垂直な方向を「垂直方向」とし、道路面に対して平行な方向を「水平方向」としてもよい。また、鉛直上向きを「上」、鉛直下向きを「下」とし、画像に向かって右手水平方向を「右」、左手水平方向を「左」とする。
【００６６】
図２（Ａ）の第１の設定パターンの場合には、領域設定部１２０は、赤外線画像データに基づく画像領域を分割する境界線ＢＬを用いて画像領域を区画する。例えば、図２（Ａ）に示すように、境界線ＢＬを水平方向に設定する。そして水平方向に設定された境界線ＢＬにより分割された画像領域のうち、上側の画像領域（広義には一方の画像領域）をアラート表示領域ＡＬＴに設定し、下側の画像領域（広義には他方の画像領域）をアラート非表示領域ＮＡＬＴに設定する。
【００６７】
図２（Ａ）に示す走行状況では、肉眼で視認することが難しい遠方（例えば４０ｍ以上前方）の歩行者や自転車等を検知することが重要になる。そこで、水平方向に境界線を設定し、その境界線の上側の領域、即ち遠方の対象物が映し出される領域をアラート表示領域ＡＬＴに設定する。一方、境界線の下側の領域は、アラート非表示領域ＮＡＬＴに設定される。こうすることで、例えば道路を横断しようとする歩行者（図２（Ａ）のＡ１）や自転車に乗った人（図２（Ａ）のＡ２）をテンプレートマッチング処理によって検出することができる。
【００６８】
図２（Ｂ）の第２の設定パターン（３分割の設定パターン）の場合には、領域設定部１２０は、赤外線画像データに基づく画像領域を３分割し互いに交差しない２本の境界線を用いて画像領域を区画する。例えば図２（Ｂ）に示すように、２本の境界線ＢＬ１、ＢＬ２を垂直方向に設定する。そして垂直方向に設定された境界線ＢＬ１、ＢＬ２により分割された画像領域のうち、左側の画像領域（広義には２本の境界線の外側の画像領域）を第１のアラート表示領域ＡＬＴ１に設定し、右側の画像領域（広義には２本の境界線の外側の画像領域）を第２のアラート表示領域ＡＬＴ２に設定し、中央の画像領域（広義には２本の境界線で挟まれる画像領域）をアラート非表示領域ＮＡＬＴに設定する処理を行う。
【００６９】
図２（Ｂ）に示す走行状況では、対向車のヘッドライトにより幻惑されやすい近距離において、道路脇から飛び出してくる歩行者や自転車等を検知することが重要になる。そこで、垂直方向に第１、第２の境界線ＢＬ１、ＢＬ２を設定し、第１の境界線ＢＬ１の左側の領域を第１のアラート表示領域ＡＬＴ１に、第２の境界線ＢＬ２の右側の領域を第２のアラート表示領域ＡＬＴ２にそれぞれ設定する。一方、２つの境界線に挟まれた領域、即ち中央の領域は、アラート非表示領域ＮＡＬＴに設定される。こうすることで、例えば車両の直前を横断しようとする歩行者（図２（Ｂ）のＢ１）や自転車に乗った人（図２（Ｂ）のＢ２）をテンプレートマッチング処理によって検出することができる。
【００７０】
図２（Ｃ）の第３の設定パターン（閉曲線の設定パターン）の場合には、領域設定部１２０は、赤外線画像データに基づく画像領域において一部の領域を囲む閉曲線を境界線として用いて画像領域を区画する。例えば図２（Ｂ）に示すように、閉曲線である境界線ＢＬを画像領域の中央部に設定する。そして閉曲線の内側領域をアラート表示領域ＡＬＴに設定し、閉曲線の外側領域をアラート非表示領域ＮＡＬＴに設定する処理を行う。ここで閉曲線とは、閉じた図形であればよく、例えば多角形であってもよい。
【００７１】
図２（Ｃ）に示す走行状況では、車両速度が速いことを考慮して、より遠方（例えば１００ｍ以上前方）の対象物を検知することが重要になる。そこで、画像領域の中央部などの限定された領域をアラート表示領域ＡＬＴに設定し、それ以外の領域（画像領域の周辺部）をアラート非表示領域ＮＡＬＴに設定する。こうすることで、例えば車両の遠方を横断しようとする歩行者（図２（Ｃ）のＣ１）等をテンプレートマッチング処理によって検出することができる。
【００７２】
なお、境界線の位置は、固定ではなく、例えば車両の速度情報やヘッドライトの制御情報などに基づいて可変に設定することができる。具体的には、例えば図２（Ａ）において、車両速度が速いほど境界線の位置を画像領域の上方にシフトさせてもよいし、或いは、ヘッドライトをハイビームに切り換えた時に、境界線の位置を画面の上方にシフトさせ、ロービームに切り換えた時に、境界線の位置を画像領域の下方にシフトさせてもよい。
【００７３】
また、ユーザー（ドライバー）による入力情報に基づいて、境界線の位置、形状等を可変に設定することもできる。具体的には、ドライバーが交通状況に応じて境界線設定情報を入力することにより、例えば図２（Ｂ）において、２つの境界線ＢＬ１、ＢＬ２の位置を左方又は右方にシフトさせたり、例えば図２（Ｃ）において、画像領域中央部のアラート表示領域ＡＬＴの位置又は大きさを変化させたりすることができる。
【００７４】
設定パターンは、上述した３つのパターンに限定されるものではなく、例えば水平方向の境界線と垂直方向の境界線とを組み合わせたパターンであってもよい。また、境界線は直線に限定されるものではなく、例えば折れ線や曲線などであってもよい。
【００７５】
図３は、本実施形態の画像処理装置１００における画像処理（テンプレートマッチング処理）のフローチャートである。このテンプレートマッチング処理は、処理部１３０に含まれるテンプレートマッチング処理部１３１により実行される。
【００７６】
最初のステップＳ１で、処理に必要なパラメータの初期設定を行う。次のステップＳ２で、画像取得部１１０が赤外線カメラ（赤外線画像撮像部）２１０からの赤外線画像を取得する。そして次のステップ３では、テンプレートマッチング処理部１３１が、領域設定部１２０からの境界線設定情報に基づいて、赤外線画像データ（熱画像データ）の１フレーム（１画面）毎にアラート表示領域を設定する。
【００７７】
次にステップＳ４では、アラート表示領域内の赤外線画像から検出候補領域を抽出する。具体的には、対象物の特徴を表す温度領域を塊として抽出する。ここでは例として、先行車両及び歩行者（人物）を検出対象とする場合について説明する。これ以外のものを検出の対象とする場合には、その対象が有する温度情報を特徴量として、それぞれ本ステップにおいて処理対象に加えればよい。
【００７８】
先行車両の場合は、マフラー領域が１００°Ｃ程度の高温になることを利用して、赤外線画像中から例えば８０°Ｃ以上の温度情報を有する領域を探索して、その領域の位置情報と温度情報を検出する。
【００７９】
一方、歩行者の場合は、露出している顔及び首の表面温度が３０°Ｃ程度の中温になることを利用して、熱画像中から例えば３０°Ｃ程度の温度情報を有する領域を探索して、その領域の位置情報と温度情報を検出する。ここで、各領域で検出される結果のうち、位置情報としては例えば塊の重心座標位置とすればよく、温度情報としては例えば塊の平均温度とすればよい。また重心座標位置以外に、縦横比、充足率、実面積などの条件を満たす部位の存在を調べる。これによって、歩行者の存在位置を画面上の２次元座標上で画面全体の幅と高さに対する割合で求める。
【００８０】
そして、ステップＳ５では、ステップＳ４で得られた各領域の位置情報と温度情報を対応付けした位置及び温度リストを作成して以降の処理に進む。
【００８１】
次のステップＳ６では、ステップＳ５で作成したリストに基づいて、検出候補があるか否か、即ち検出対象である先行車や歩行者の特徴量を示す温度情報が抽出されているか否かを判断する。リスト内に対象物の候補が一つも抽出されていない場合には、今回の赤外線画像の中には検出対象である先行車や歩行者が存在しないものと判断して、次のフレーム（画面）の処理のためにＳ２に戻る。
【００８２】
一方、リスト内に対象物の候補が一つ以上抽出されている場合には、次のステップＳ７で検出候補領域（存在候補領域）を設定し、続くステップＳ８で、ステップＳ５で作成したリストの温度情報に基づいて、以降の処理で用いるためのテンプレート候補を選択する。具体的には、その検出候補領域の平均温度情報±ΔＴの範囲内の値を持つテンプレートを、一つの検出候補領域内での対象物検出に用いるテンプレート候補とする。
【００８３】
例えば、先行車存在候補領域に用いるテンプレートとして選択されるのは、温度情報が１００±３°Ｃのテンプレートである。但し、高温部分については、通常の走行環境内では特殊な存在であるため、予め例えば８０°Ｃ以上の領域をテンプレートとして選択してもよい。一方、歩行者存在候補領域に用いるテンプレートとして選択されるのは、温度情報が２８±３°Ｃのテンプレートである。高温部分については、外気温の影響等を考えると、同一の物体でも所定の範囲では温度が変化することを考慮する必要がある。また、上記の例では中温情報を有する対象物を歩行者としているが、例えば動物（犬等）と区別するためには、本ステップで動物のテンプレートも候補として選択される。
【００８４】
このようにして検出候補領域毎に最適なテンプレートを決定し、次のステップＳ９では決定されたテンプレートを用いて、検出処理（テンプレートマッチング処理）を行う。即ち、赤外画像中でテンプレートマッチング処理を行い、各検出候補領域内での最終的な対象物の有無及びその位置を検出する。本ステップでは、先行車存在候補領域から先行車を検出する場合には、車体テンプレートを用いて、先行車存在候補領域と車体テンプレートでの濃度値（濃淡値）の相関演算によって先行車両の有無とその詳細な位置を検出する。また、歩行者存在候補領域から歩行者を検出する場合には、歩行者存在候補領域と人テンプレートでの濃度値の相関演算によって歩行者の有無とその詳細な位置を検出する。
【００８５】
なお、上記の説明では、テンプレートマッチング処理時にテンプレートマッチング処理を濃度値での相関演算で行っているが、本実施形態の画像処理装置１００は、これに限定されるものではなく、例えばエッジ画像をテンプレートとして持っておき、この相関値で最終的な対象物の有無とその位置を検出するようにしてもよい。
【００８６】
次に、ステップＳ１０では、ステップＳ５で作成されたリストにある検出候補領域の全てに対して検出処理が行われたかどうかを判断する。全ての検出候補領域に対して処理が終了していなければ、処理領域を切り替えるために、ステップＳ７に戻り、次の検出候補領域の設定を行う。リストにある領域の全てについて処理が終了していれば、それまでの処理結果を出力するために次のステップＳ１１へ進む。
【００８７】
ステップＳ１１では、テンプレートマッチング処理部１３１が上述した検出結果を画像合成処理部１３２に出力し、画像合成処理部１３２は、赤外線画像及びアラート記号をアラート表示領域に表示し、可視画像をアラート非表示領域に表示するように画像合成処理を行って、合成された画像データを表示部２３０に出力する。
【００８８】
図４（Ａ）〜図４（Ｃ）に、３つの設定パターンにおけるアラート表示の例を示す。図４（Ａ）〜図４（Ｃ）は、表示部２３０に表示された画像を示し、上述した第１の設定パターン（図２（Ａ））、第２の設定パターン（図２（Ｂ））、第３の設定パターン（図２（Ｃ））にそれぞれ対応する。
【００８９】
図４（Ａ）に示すように、歩行者及び自転車に乗っている人が検出された位置に、歩行者及び自転車の存在をドライバーに知らせるためのアラート記号ＡＭ１、ＡＭ２が赤外線画像と合成されてアラート表示領域ＡＬＴに表示される。また、アラート非表示領域ＮＡＬＴには、可視画像が表示される。
【００９０】
図４（Ｂ）では、第１のアラート表示領域ＡＬＴ１には、歩行者の存在を知らせるためのアラート記号ＡＭ１が赤外線画像と合成されて表示され、第２のアラート表示領域ＡＬＴ２には、自転車の存在を知らせるためのアラート記号ＡＭ２が赤外線画像と合成されて表示される。また、アラート非表示領域ＮＡＬＴには、可視画像が表示される。
【００９１】
図４（Ｃ）では、中央部のアラート表示領域ＡＬＴには、歩行者の存在を知らせるためのアラート記号ＡＭ１が赤外線画像と合成されて表示される。また、アラート非表示領域ＮＡＬＴには、可視画像が表示される。
【００９２】
以上説明したように、本実施形態の画像処理装置１００及びカメラシステム２００によれば、車両の走行状況に応じてアラート表示領域を可変に設定することができる。このようにすれば、赤外線画像のうちの歩行者等が存在する可能性が高い領域に対してテンプレートマッチング処理を行えばよいから、処理時間を短縮することができる。また、アラート表示領域において対象物を検出した場合に、赤外線画像にアラート記号を合成して表示することができる。このようにすることで、ドライバーは視認性の良いアラート記号によって危険を予測することが容易になる。さらに、表示部の画面に赤外線画像と可視画像とを並べて表示することができるから、ドライバー自身の肉眼視でとらえた情報と赤外線画像による情報との間に大きな差異があっても、ドライバーが状況を把握する際の負担を軽減することができる。その結果、処理効率が良く、またドライバーの状況判断を容易にすることなどが可能になる。
【００９３】
３．カメラシステム
図５（Ａ）、図５（Ｂ）に、本実施形態のカメラシステム２００の構成例を示す。カメラシステム２００は、画像処理装置１００、赤外線画像撮像部２１０を含み、表示部２３０をさらに含んでもよい。なお、本実施形態のカメラシステム２００は、図５（Ａ）、図５（Ｂ）の構成に限定されず、その構成要素の一部を省略したり、他の構成要素に置き換えたり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００９４】
図５（Ａ）は車両を上から見た平面図であり、図５（Ｂ）は車両の側面図である。赤外線画像撮像部（赤外線カメラ）２１０は、例えば車両のバンパー部分に設けられ、可視画像撮像部（可視カメラ）２２０は、例えば車両のルーフに設けられる。画像処理装置１００は、ダッシュボードなどのドライバーが操作しやすい位置に設けられ、表示部２３０はドライバーが視認しやすい位置に設けられる。なお、これら構成要素の位置は、図示される位置に限定されず、例えば赤外線画像撮像部（赤外線カメラ）２１０をルーフに設けてもよい。
【００９５】
図６は、本実施形態のカメラシステム２００の防犯モードを説明する図である。例えば夜間に自家用車を自宅近くに駐車する場合などに、カメラシステム２００を防犯モードに設定することにより、夜間の自宅への不審者の侵入などを検知することができる。走行モードと防犯モードとの切換は、モード設定部１４０が行う。
【００９６】
具体的には、車両のルーフ等に設けた赤外線画像撮像部（赤外線カメラ）２１０により自宅の周囲の赤外線画像を所定の時間間隔で撮像する。防犯モードに設定されている場合には、領域設定部１２０はアラート表示領域とアラート非表示領域との境界線を非設定にする。そして処理部１３０は赤外線画像の全画面に対して対象物を検出する画像処理（テンプレートマッチング処理）を行う。処理部１３０は、画像処理によって不審者を検出した場合には、ユーザーの携帯端末などに通報する処理を行う。
【００９７】
防犯モードにおける画像処理のフローは、図３に示したフローと同様である。但し、ステップＳ３では、赤外線画像の全画面をアラート表示領域に設定する。
【００９８】
なお、赤外線カメラ２１０をルーフレール等に設けて、赤外線カメラ２１０の位置を移動させたり、或いは赤外線カメラ２１０を回転できる台座に設けることで、赤外線カメラ２１０の光軸方向を可変に設定することができる。こうすることで、不審者が侵入するおそれがある方向に赤外線カメラ２１０の光軸方向を設定することなどが可能になる。
【００９９】
このように本実施形態のカメラシステム２００によれば、防犯モードに設定することにより、夜間の駐車時に自宅周辺の不審者などを検知することができるから、防犯用に専用のセキュリティシステム等を設置する必要がなくなるため、防犯コストの低減などが可能になる。
【０１００】
なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例は全て本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また画像処理装置、画像処理システム、カメラ、カメラシステムの構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１０１】
１００ 画像処理装置、１１０ 画像取得部、１２０ 領域設定部、１３０ 処理部、
１３１ テンプレートマッチング処理部、１３２ 画像合成処理部、
１４０ モード設定部、１５０ 記憶部、２００ カメラシステム、
２１０ 赤外線画像撮像部、２２０ 可視画像撮像部、２３０ 表示部、
ＡＬＴ アラート表示領域、ＮＡＬＴ アラート非表示領域、ＢＬ 境界線
【特許請求の範囲】
【請求項１】
赤外線画像データを取得する画像取得部と、
前記画像取得部により取得された前記赤外線画像データに基づく画像領域に対して、前記画像領域内での対象物を検出する画像処理を行うアラート表示領域と、前記画像領域内での前記対象物を検出する画像処理を行わないアラート非表示領域とを設定する領域設定部と、
前記アラート表示領域の前記赤外線画像データに基づいて、前記アラート表示領域における前記対象物の検出情報を含むアラート表示の画像処理を行って前記アラート表示を含む表示用画像データを生成する処理部とを含み、
前記領域設定部は、
前記画像領域を前記アラート表示領域と前記アラート非表示領域とに分割し、前記画像領域における位置及び形状のうちの少なくとも一つが可変に設定される境界線を用いて前記画像領域を区画する設定パターンを決定し、
決定された前記設定パターンにおいて前記境界線の前記画像領域における位置及び形状のうちの少なくとも一つを定めることを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記領域設定部は、
前記赤外線画像データに基づく画像領域を分割する境界線を用いて前記画像領域を区画する第１の設定パターンを決定可能に備え、
決定された前記設定パターンが前記第１の設定パターンである場合には、前記境界線により分割された画像領域のうち、一方の画像領域を前記アラート表示領域に設定し、他方の画像領域を前記アラート非表示領域に設定することを特徴とする画像処理装置。
【請求項３】
請求項２において、
前記領域設定部は、
前記赤外線画像データに基づく画像領域を３分割し互いに交差しない２本の境界線を用いて前記画像領域を区画する第２の設定パターンを決定可能に備え、
決定された前記設定パターンが前記第２の設定パターンである場合には、前記境界線により３分割された画像領域のうち、前記２本の境界線で挟まれる画像領域を前記アラート非表示領域に設定し、前記２本の境界線の外側の画像領域をアラート表示領域に設定することを特徴とする画像処理装置。
【請求項４】
請求項３において、
前記領域設定部は、
前記赤外線画像データに基づく画像領域において一部の領域を囲む閉曲線を境界線として用いて前記画像領域を区画する第３の設定パターンを決定可能に備え、
決定された前記設定パターンが前記第３の設定パターンである場合には、前記閉曲線の内側領域を前記アラート表示領域に設定し、前記閉曲線の外側領域を前記アラート非表示領域に設定することを特徴とする画像処理装置。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記赤外線画像データは、車両の外部領域の画像の画像データであり、
前記領域設定部は、
前記車両の走行状況情報に基づいて、前記設定パターンを決定し、決定された前記設定パターンにおいて前記境界線の前記画像領域における位置及び形状のうちの少なくとも一つを定めることを特徴とする画像処理装置。
【請求項６】
請求項５において、
前記車両の走行状況情報は、
全地球測位システムにより取得された前記車両の位置情報であることを特徴とする画像処理装置。
【請求項７】
請求項５において、
前記車両の走行状況情報は、
前記車両の速度情報であることを特徴とする画像処理装置。
【請求項８】
請求項１乃至７のいずれかにおいて、
前記領域設定部は、
ユーザーによる入力情報に基づいて、前記設定パターンを決定し、決定された前記設定パターンにおいて前記境界線の前記画像領域における位置及び形状のうちの少なくとも一つを定めることを特徴とする画像処理装置。
【請求項９】
請求項１乃至８のいずれかにおいて、
前記処理部は、
前記アラート表示としてアラート記号を含む表示用画像データを生成することを特徴とする画像処理装置。
【請求項１０】
請求項９において、
走行モードと防犯モードとのモード切換設定を行うモード設定部をさらに含み、
前記走行モードに設定されている場合には、
前記領域設定部は、前記境界線を設定し、
前記処理部は、前記アラート表示領域に対して、前記対象物を検出する前記画像処理を行って、前記画像処理の結果に基づいて前記アラート記号を含む表示用画像データを生成する処理を行い、
前記防犯モードに設定されている場合には、
前記領域設定部は、前記境界線を非設定にし、
前記処理部は、前記画像取得部により取得された前記赤外線画像データの全画像領域に対して前記対象物を検出する前記画像処理を行うことを特徴とする画像処理装置。
【請求項１１】
請求項９又は１０において、
前記画像取得部は、
可視画像データを取得し、
前記処理部は、
前記アラート非表示領域には前記可視画像データに基づく表示用画像データを生成する処理を行うことを特徴とする画像処理装置。
【請求項１２】
請求項１乃至１１のいずれかにおいて、
前記領域設定部は、ヘッドライトの制御情報に基づいて、前記境界線を設定することを特徴とする画像処理装置。
【請求項１３】
請求項１乃至１２のいずれかにおいて、
前記境界線を設定する複数の設定パターンを記憶する記憶部を含み、
前記領域設定部は、前記記憶部から前記複数の設定パターンのうちのいずれか１つの設定パターンを選択して読み出し、読み出された前記設定パターンに基づいて前記境界線を設定することを特徴とする画像処理装置。
【請求項１４】
請求項１において、
前記領域設定部は、
前記赤外線画像データに基づく画像領域を３分割し互いに交差しない２本の境界線を用いて前記画像領域を区画する３分割の設定パターンを決定可能に備え、
決定された前記設定パターンが前記３分割の設定パターンである場合には、前記境界線により３分割された画像領域のうち、前記２本の境界線で挟まれる画像領域を前記アラート非表示領域に設定し、前記２本の境界線の外側の画像領域をアラート表示領域に設定することを特徴とする画像処理装置。
【請求項１５】
請求項１において、
前記領域設定部は、
前記赤外線画像データに基づく画像領域において一部の領域を囲む閉曲線を境界線として用いて前記画像領域を区画する閉曲線の設定パターンを決定可能に備え、
決定された前記設定パターンが前記閉曲線の設定パターンである場合には、前記閉曲線の内側領域を前記アラート表示領域に設定し、前記閉曲線の外側領域を前記アラート非表示領域に設定することを特徴とする画像処理装置。
【請求項１６】
請求項１乃至１５のいずれかに記載の画像処理装置と、
赤外線画像撮像部とを含むことを特徴とするカメラシステム。
【請求項１７】
請求項１乃至１５のいずれかに記載の画像処理装置と、
赤外線画像撮像部と、
前記画像処理装置と前記赤外線画像撮像部とが内部に配設された筐体とを含むことを特徴とするカメラ。
【請求項１８】
請求項１乃至１５のいずれかに記載の画像処理装置と、
赤外線画像撮像部と、
前記表示用画像データに基づく画像を表示する表示部とを含むことを特徴とするカメラシステム。
【請求項１９】
請求項１乃至１５のいずれかに記載の画像処理装置と、
赤外線画像撮像部と、
前記表示用画像データに基づく画像を表示する表示部と、
前記画像処理装置と前記赤外線画像撮像部と前記表示部とが内部に配設された筐体とを含むことを特徴とするカメラ。
【請求項２０】
赤外線画像データを取得する画像取得部と、
前記画像取得部により取得された前記赤外線画像データに基づく画像領域に対して、前記画像領域内での対象物を検出する画像処理を行うアラート表示領域と、前記画像領域内での前記対象物を検出する画像処理を行わないアラート非表示領域とを設定する領域設定部と、
前記アラート表示領域の前記赤外線画像データに基づいて、前記アラート表示領域における前記対象物の検出情報を含むアラート表示の画像処理を行って前記アラート表示を含む表示用画像データを生成する処理部とを含み、
前記領域設定部は、
前記画像領域を前記アラート表示領域と前記アラート非表示領域とに分割し、前記画像領域における位置及び形状のうちの少なくとも一つが可変に設定される境界線を用いて前記画像領域を区画する設定パターンを決定し、
決定された前記設定パターンにおいて前記境界線の前記画像領域における位置及び形状のうちの少なくとも一つを定めることを特徴とする画像処理システム。
【請求項２１】
請求項１乃至１５のいずれかに記載の画像処理装置と、
前記表示用画像データに基づく画像を表示する表示部とを含むことを特徴とする画像処理システム。
【請求項１】
赤外線画像データを取得する画像取得部と、
前記画像取得部により取得された前記赤外線画像データに基づく画像領域に対して、前記画像領域内での対象物を検出する画像処理を行うアラート表示領域と、前記画像領域内での前記対象物を検出する画像処理を行わないアラート非表示領域とを設定する領域設定部と、
前記アラート表示領域の前記赤外線画像データに基づいて、前記アラート表示領域における前記対象物の検出情報を含むアラート表示の画像処理を行って前記アラート表示を含む表示用画像データを生成する処理部とを含み、
前記領域設定部は、
前記画像領域を前記アラート表示領域と前記アラート非表示領域とに分割し、前記画像領域における位置及び形状のうちの少なくとも一つが可変に設定される境界線を用いて前記画像領域を区画する設定パターンを決定し、
決定された前記設定パターンにおいて前記境界線の前記画像領域における位置及び形状のうちの少なくとも一つを定めることを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記領域設定部は、
前記赤外線画像データに基づく画像領域を分割する境界線を用いて前記画像領域を区画する第１の設定パターンを決定可能に備え、
決定された前記設定パターンが前記第１の設定パターンである場合には、前記境界線により分割された画像領域のうち、一方の画像領域を前記アラート表示領域に設定し、他方の画像領域を前記アラート非表示領域に設定することを特徴とする画像処理装置。
【請求項３】
請求項２において、
前記領域設定部は、
前記赤外線画像データに基づく画像領域を３分割し互いに交差しない２本の境界線を用いて前記画像領域を区画する第２の設定パターンを決定可能に備え、
決定された前記設定パターンが前記第２の設定パターンである場合には、前記境界線により３分割された画像領域のうち、前記２本の境界線で挟まれる画像領域を前記アラート非表示領域に設定し、前記２本の境界線の外側の画像領域をアラート表示領域に設定することを特徴とする画像処理装置。
【請求項４】
請求項３において、
前記領域設定部は、
前記赤外線画像データに基づく画像領域において一部の領域を囲む閉曲線を境界線として用いて前記画像領域を区画する第３の設定パターンを決定可能に備え、
決定された前記設定パターンが前記第３の設定パターンである場合には、前記閉曲線の内側領域を前記アラート表示領域に設定し、前記閉曲線の外側領域を前記アラート非表示領域に設定することを特徴とする画像処理装置。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記赤外線画像データは、車両の外部領域の画像の画像データであり、
前記領域設定部は、
前記車両の走行状況情報に基づいて、前記設定パターンを決定し、決定された前記設定パターンにおいて前記境界線の前記画像領域における位置及び形状のうちの少なくとも一つを定めることを特徴とする画像処理装置。
【請求項６】
請求項５において、
前記車両の走行状況情報は、
全地球測位システムにより取得された前記車両の位置情報であることを特徴とする画像処理装置。
【請求項７】
請求項５において、
前記車両の走行状況情報は、
前記車両の速度情報であることを特徴とする画像処理装置。
【請求項８】
請求項１乃至７のいずれかにおいて、
前記領域設定部は、
ユーザーによる入力情報に基づいて、前記設定パターンを決定し、決定された前記設定パターンにおいて前記境界線の前記画像領域における位置及び形状のうちの少なくとも一つを定めることを特徴とする画像処理装置。
【請求項９】
請求項１乃至８のいずれかにおいて、
前記処理部は、
前記アラート表示としてアラート記号を含む表示用画像データを生成することを特徴とする画像処理装置。
【請求項１０】
請求項９において、
走行モードと防犯モードとのモード切換設定を行うモード設定部をさらに含み、
前記走行モードに設定されている場合には、
前記領域設定部は、前記境界線を設定し、
前記処理部は、前記アラート表示領域に対して、前記対象物を検出する前記画像処理を行って、前記画像処理の結果に基づいて前記アラート記号を含む表示用画像データを生成する処理を行い、
前記防犯モードに設定されている場合には、
前記領域設定部は、前記境界線を非設定にし、
前記処理部は、前記画像取得部により取得された前記赤外線画像データの全画像領域に対して前記対象物を検出する前記画像処理を行うことを特徴とする画像処理装置。
【請求項１１】
請求項９又は１０において、
前記画像取得部は、
可視画像データを取得し、
前記処理部は、
前記アラート非表示領域には前記可視画像データに基づく表示用画像データを生成する処理を行うことを特徴とする画像処理装置。
【請求項１２】
請求項１乃至１１のいずれかにおいて、
前記領域設定部は、ヘッドライトの制御情報に基づいて、前記境界線を設定することを特徴とする画像処理装置。
【請求項１３】
請求項１乃至１２のいずれかにおいて、
前記境界線を設定する複数の設定パターンを記憶する記憶部を含み、
前記領域設定部は、前記記憶部から前記複数の設定パターンのうちのいずれか１つの設定パターンを選択して読み出し、読み出された前記設定パターンに基づいて前記境界線を設定することを特徴とする画像処理装置。
【請求項１４】
請求項１において、
前記領域設定部は、
前記赤外線画像データに基づく画像領域を３分割し互いに交差しない２本の境界線を用いて前記画像領域を区画する３分割の設定パターンを決定可能に備え、
決定された前記設定パターンが前記３分割の設定パターンである場合には、前記境界線により３分割された画像領域のうち、前記２本の境界線で挟まれる画像領域を前記アラート非表示領域に設定し、前記２本の境界線の外側の画像領域をアラート表示領域に設定することを特徴とする画像処理装置。
【請求項１５】
請求項１において、
前記領域設定部は、
前記赤外線画像データに基づく画像領域において一部の領域を囲む閉曲線を境界線として用いて前記画像領域を区画する閉曲線の設定パターンを決定可能に備え、
決定された前記設定パターンが前記閉曲線の設定パターンである場合には、前記閉曲線の内側領域を前記アラート表示領域に設定し、前記閉曲線の外側領域を前記アラート非表示領域に設定することを特徴とする画像処理装置。
【請求項１６】
請求項１乃至１５のいずれかに記載の画像処理装置と、
赤外線画像撮像部とを含むことを特徴とするカメラシステム。
【請求項１７】
請求項１乃至１５のいずれかに記載の画像処理装置と、
赤外線画像撮像部と、
前記画像処理装置と前記赤外線画像撮像部とが内部に配設された筐体とを含むことを特徴とするカメラ。
【請求項１８】
請求項１乃至１５のいずれかに記載の画像処理装置と、
赤外線画像撮像部と、
前記表示用画像データに基づく画像を表示する表示部とを含むことを特徴とするカメラシステム。
【請求項１９】
請求項１乃至１５のいずれかに記載の画像処理装置と、
赤外線画像撮像部と、
前記表示用画像データに基づく画像を表示する表示部と、
前記画像処理装置と前記赤外線画像撮像部と前記表示部とが内部に配設された筐体とを含むことを特徴とするカメラ。
【請求項２０】
赤外線画像データを取得する画像取得部と、
前記画像取得部により取得された前記赤外線画像データに基づく画像領域に対して、前記画像領域内での対象物を検出する画像処理を行うアラート表示領域と、前記画像領域内での前記対象物を検出する画像処理を行わないアラート非表示領域とを設定する領域設定部と、
前記アラート表示領域の前記赤外線画像データに基づいて、前記アラート表示領域における前記対象物の検出情報を含むアラート表示の画像処理を行って前記アラート表示を含む表示用画像データを生成する処理部とを含み、
前記領域設定部は、
前記画像領域を前記アラート表示領域と前記アラート非表示領域とに分割し、前記画像領域における位置及び形状のうちの少なくとも一つが可変に設定される境界線を用いて前記画像領域を区画する設定パターンを決定し、
決定された前記設定パターンにおいて前記境界線の前記画像領域における位置及び形状のうちの少なくとも一つを定めることを特徴とする画像処理システム。
【請求項２１】
請求項１乃至１５のいずれかに記載の画像処理装置と、
前記表示用画像データに基づく画像を表示する表示部とを含むことを特徴とする画像処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−４２４０４（Ｐ２０１３−４２４０４Ａ）
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願番号】特願２０１１−１７８６８６（Ｐ２０１１−１７８６８６）
【出願日】平成２３年８月１８日（２０１１．８．１８）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願日】平成２３年８月１８日（２０１１．８．１８）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]