画像処理装置、画像処理システム、カメラ及びカメラシステム
【課題】対象物を効率良く検出することができる画像処理装置、画像処理システム、カメラ及びカメラシステム等を提供すること。
【解決手段】画像処理装置１００は、赤外線画像データを取得する画像取得部１１０と、画像取得部１１０により取得された赤外線画像データに基づく画像領域に対して、画像領域を複数の領域に分割する境界線を設定し、境界線によって分割された複数の領域のうちの少なくとも１つの領域を画素密度変更領域ＡＲＭＤに設定する領域設定部１２０と、画素密度変更領域ＡＲＭＤの赤外線画像データの画素密度を低減する処理を行い、画素密度変更領域ＡＲＭＤを含む画像領域の赤外線画像データに基づいて対象物の検出処理を行い、検出処理の結果に基づいて表示用画像データを生成する処理部とを含む。
【解決手段】画像処理装置１００は、赤外線画像データを取得する画像取得部１１０と、画像取得部１１０により取得された赤外線画像データに基づく画像領域に対して、画像領域を複数の領域に分割する境界線を設定し、境界線によって分割された複数の領域のうちの少なくとも１つの領域を画素密度変更領域ＡＲＭＤに設定する領域設定部１２０と、画素密度変更領域ＡＲＭＤの赤外線画像データの画素密度を低減する処理を行い、画素密度変更領域ＡＲＭＤを含む画像領域の赤外線画像データに基づいて対象物の検出処理を行い、検出処理の結果に基づいて表示用画像データを生成する処理部とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理システム、カメラ及びカメラシステム等に関する。
【背景技術】
【０００２】
ドライバーにとって車外からの視覚情報は運転操作上きわめて重要である。しかしながら、夜間の低照度環境や対向車のライトのような強力な光源の存在によって眩惑されるような環境で運転しなければならない場合も多い。このような肉眼での視認性が悪い環境では、注意深いドライバーにとっても自車に接近する歩行者などの対象物の発見が遅れがちである。
【０００３】
このようなドライバー側の生理学的な問題をカバーするための技術として、赤外線カメラ及び可視カメラにより得られた画像から歩行者等を検出し、画像を加工して表示する手法が、特許文献1に開示されている。
【０００４】
しかしながらこの手法では、対象物を検出するための検出処理の演算処理負荷が大きくなるために、検出時間が長くなる、検出装置が高価になるなどの問題がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２３６３４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の幾つかの態様によれば、対象物を効率良く検出することができる画像処理装置、画像処理システム、カメラ及びカメラシステム等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、赤外線画像データを取得する画像取得部と、前記画像取得部により取得された前記赤外線画像データに基づく画像領域に対して、前記画像領域を複数の領域に分割する境界線を設定し、前記境界線によって分割された複数の領域のうちの少なくとも１つの領域を画素密度変更領域に設定する領域設定部と、前記画素密度変更領域の前記赤外線画像データの画素密度を低減する処理を行い、前記画素密度変更領域を含む前記画像領域の前記赤外線画像データに基づいて対象物の検出処理を行い、前記検出処理の結果に基づいて表示用画像データを生成する処理部とを含む画像処理装置に関係する。
【０００８】
本発明の一態様によれば、赤外線画像データ基づく画像領域に対して、例えば歩行者などの対象物が存在する可能性の低い領域を画素密度変更領域に設定し、その領域の赤外線画像データの画素密度を低減することができる。こうすることで、対象物の検出能力などを低下させずに、検出処理にかかる演算処理負担を低減することができる。その結果、検出時間を短縮したり、処理部の構成を簡素にすることなどが可能になり、効率の良い画像処理装置を実現することなどが可能になる。
【０００９】
また本発明の一態様では、前記領域設定部は、前記画像領域における位置及び形状のうちの少なくとも１つが可変に設定される前記境界線を用いて前記画像領域を区画する設定パターンを決定し、決定された前記設定パターンにおいて前記境界線の前記画像領域における位置及び形状のうちの少なくとも１つを定めてもよい。
【００１０】
このようにすれば、領域設定部は、決定された設定パターンにおいて境界線の画像領域における位置及び形状のうちの少なくとも１つを可変に設定することができるから、例えば車両の走行状況などに応じて適切な画素密度変更領域を設定することができる。
【００１１】
また本発明の一態様では、前記領域設定部は、前記画像領域を分割する前記境界線を用いて前記画像領域を区画する第１の設定パターンを決定可能に備え、決定された前記設定パターンが前記第１の設定パターンである場合には、前記境界線により分割された画像領域のうち、一方の画像領域を前記画素密度変更領域に設定してもよい。
【００１２】
このようにすれば、例えば郊外の道路のように、車両が比較的スムーズに走行している状況などでは、第１の設定パターンにより画像領域を分割することで、対象物が存在する可能性が低い境界線の下側の画像領域を画素密度変更領域に設定することができる。その結果、対象物の検出能力等を低下させずに、検出処理にかかる演算処理負担を低減することができる。
【００１３】
また本発明の一態様では、前記領域設定部は、前記画像領域を３分割し互いに交差しない２本の前記境界線を用いて前記画像領域を区画する第２の設定パターンを決定可能に備え、決定された前記設定パターンが前記第２の設定パターンである場合には、前記境界線により３分割された画像領域のうち、前記２本の境界線で挟まれる画像領域を前記画素密度変更領域に設定してもよい。
【００１４】
このようにすれば、例えば車両が市街地の道路を走行している状況などでは、第２の設定パターンにより画像領域を３分割することで、対象物が存在する可能性が低い２本の境界線で挟まれる画像領域を画素密度変更領域に設定することができる。その結果、対象物の検出能力等を低下させずに、検出処理にかかる演算処理負担を低減することができる。
【００１５】
また本発明の一態様では、前記領域設定部は、前記画像領域において一部の領域を囲む閉曲線を前記境界線として用いて前記画像領域を区画する第３の設定パターンを決定可能に備え、決定された前記設定パターンが前記第３の設定パターンである場合には、前記閉曲線の外側の前記画像領域を前記画素密度変更領域に設定してもよい。
【００１６】
このようにすれば、例えば山間部のように、車両が交通量の少ない道路を走行している状況などでは、第３の設定パターンにより閉曲線で画像領域を区画し、対象物が存在する可能性が低い閉曲線の外側の画像領域を画素密度変更領域に設定することができる。その結果、対象物の検出能力等を低下させずに、検出処理にかかる演算処理負担を低減することができる。
【００１７】
また本発明の一態様では、前記表示用画像データは、前記検出処理の結果に基づくアラート表示を含んでもよい。
【００１８】
このようにすれば、視認性の良いアラート記号を表示することで、ドライバーの危険予知を容易にすることができる。
【００１９】
また本発明の一態様では、前記赤外線画像データは、車両の外部領域の赤外線画像の画像データであり、前記領域設定部は、前記車両の走行状況情報に基づいて、前記設定パターンを決定し、決定された前記設定パターンにおいて前記境界線の前記画像領域における位置及び形状のうちの少なくとも１つを定めてもよい。
【００２０】
このようにすれば、領域設定部は、車両の走行状況に基づいて画素密度変更領域を設定することができるから、例えば車両の速度などに応じて歩行者等の対象物が存在する可能性が高い領域を除いた画像領域を画素密度変更領域として設定することなどが可能になる。
【００２１】
また本発明の一態様では、前記車両の走行状況情報は、前記車両の速度情報であってもよい。
【００２２】
このようにすれば、例えば車両速度が速いほど、より遠方の対象物を効率良く検出できるように画素密度変更領域を設定し、また車両速度が遅いほど、より近くの対象物を効率良く検出できるように画素密度変更領域を設定することなどが可能になる。
【００２３】
また本発明の一態様では、前記領域設定部は、ユーザーによる入力情報に基づいて、前記設定パターンを決定し、決定された前記設定パターンにおいて前記境界線の前記画像領域における位置及び形状のうちの少なくとも１つを定めてもよい。
【００２４】
このようにすれば、ユーザーが車両の走行状況や道路状況などを判断して、適切な画素密度変更領域を設定することができる。
【００２５】
また本発明の一態様では、走行モードと防犯モードとのモード切換設定を行うモード設定部をさらに含み、前記走行モードに設定されている場合には、前記領域設定部は、前記画素密度変更領域を設定し、前記処理部は、前記画素密度変更領域の前記赤外線画像データの画素密度を低減する処理を行い、前記画素密度変更領域を含む前記画像領域の前記赤外線画像データに基づいて前記検出処理を行い、前記検出処理の結果に基づくアラート表示を含む表示用画像データを生成する処理を行い、前記防犯モードに設定されている場合には、前記領域設定部は、前記境界線を非設定にし、前記処理部は、前記画像領域の全領域に対して前記赤外線画像データの画素密度を低減する処理を行い、前記画像領域の前記赤外線画像データに基づいて前記検出処理を行い、前記検出処理の結果に基づくアラート表示を含む表示用画像データを生成する処理を行ってもよい。
【００２６】
このようにすれば、車両の走行時には、モード設定部が走行モードに設定することにより、例えば道路を横断する歩行者等を効率良く検知してドライバーに知らせることができる。また、車両の駐車時には、モード設定部が防犯モードに設定することにより、例えば夜間の自宅への不審者の侵入などを検知し、ユーザーに通報することなどが可能になる。
【００２７】
また本発明の一態様では、前記処理部は、前記画素密度変更領域と前記画素密度変更領域以外の領域とでは、前記検出処理の内容を異ならせてもよい。
【００２８】
このようにすれば、対象物を検出するための検出処理として例えばテンプレートマッチング処理を行う場合に、画素密度変更領域に対しては精度の低いテンプレートを選択し、画素密度変更領域以外の領域に対しては精度の高いテンプレートを選択することができる。その結果、検出処理時間を短縮することができるから、対象物を効率良く検出することなどが可能になる。
【００２９】
また本発明の一態様では、前記処理部は、前記画素密度変更領域以外の領域での前記検出処理の結果に基づいて、前記画素密度変更領域での前記検出処理を行ってもよい。
【００３０】
このようにすれば、例えば画素密度変更領域以外の領域において対象物が検出された場合に、その検出結果に基づいて画素密度変更領域での検出処理を行うことができるから、効率の良い検出処理を行うことなどが可能になる。
【００３１】
また本発明の一態様では、前記画素密度変更領域以外の領域での前記検出処理の結果は、前記対象物の動きベクトルを含んでもよい。
【００３２】
このようにすれば、例えば画素密度変更領域以外の領域において対象物が検出された場合に、この対象物の動きベクトルに基づいて対象物の移動先を予測することができる。そして対象物が画素密度変更領域に移動することが予測された場合には、例えばその対象物に対応するテンプレートを予め選択することができる。その結果、画素密度変更領域において対象物を効率良く検出することなどが可能になる。
【００３３】
また本発明の一態様では、前記画像取得部は、可視画像データを取得し、前記処理部は、前記検出処理を行って、前記検出処理の結果に基づくアラート記号と前記可視画像データとを重畳して表示用画像データを生成する処理を行ってもよい。
【００３４】
このようにすれば、対象物が検出された場合に、その対象物に対応するアラート表示を可視画像に重畳して表示することができるから、ドライバーは視認性の良いアラート表示によって危険を察知することが容易になる。その結果、例えば夜間運転中のドライバーの負担を軽減することなどが可能になる。
【００３５】
本発明の他の態様は、上記いずれかに記載の画像処理装置と、赤外線画像撮像部とを含むカメラシステムに関係する。
【００３６】
本発明の他の態様は、上記いずれかに記載の画像処理装置と、赤外線画像撮像部と、前記画像処理装置と前記赤外線画像撮像部とが内部に配設された筐体とを含むカメラに関係する。
【００３７】
本発明の他の態様は、上記いずれかに記載の画像処理装置と、赤外線画像撮像部と、前記表示用画像データに基づく画像を表示する表示部とを含むカメラシステムに関係する。
【００３８】
本発明の他の態様は、上記いずれかに記載の画像処理装置と、赤外線画像撮像部と、前記表示用画像データに基づく画像を表示する表示部と前記画像処理装置と前記赤外線画像撮像部と前記表示部とが内部に配設された筐体とを含むカメラに関係する。
【００３９】
本発明の他の態様は、赤外線画像データを取得する画像取得部と、前記画像取得部により取得された前記赤外線画像データに基づく画像領域に対して、前記画像領域を複数の領域に分割する境界線を設定し、前記境界線によって分割された複数の領域のうち少なくとも１つの領域を画素密度変更領域に設定する領域設定部と、前記画素密度変更領域の前記赤外線画像データの画素密度を低減する処理を行い、前記画素密度変更領域を含む前記画像領域の前記赤外線画像データに基づいて対象物の検出処理を行い、前記検出処理の結果に基づいて表示用画像データを生成する処理部とを含む画像処理システムに関係する。
【００４０】
本発明の他の態様は、上記いずれかに記載の画像処理装置と、前記表示用画像データに基づく画像を表示する表示部とを含む画像処理システムに関係する。
【００４１】
本発明の他の態様は、赤外線撮像素子が２次元配列された撮像領域を備え、前記撮像領域の一部の領域では前記赤外線撮像素子の間隔が第１の間隔であり、前記撮像領域の前記一部の領域以外の領域では前記赤外線撮像素子の間隔が前記第１の間隔より広い第２の間隔である赤外線画像撮像部と、前記赤外線画像撮像部で撮像された赤外線画像データを取得する画像取得部と、前記画像取得部により取得された前記赤外線画像データのうちの前記撮像領域に対応した画像領域に対して前記赤外線画像データに基づいて対象物の検出処理を行い、前記検出処理の結果に基づいて表示用画像データを生成する処理部とを含むカメラに関係する。
【００４２】
本発明の他の態様によれば、画像取得部は、撮像領域の一部の領域では画素密度が高く、撮像領域の一部の領域以外の領域では画素密度が低い赤外線画像データを取得することができる。こうすることで、赤外線画像データの画素数を低減させることができるから、検出処理における演算処理負担を低減することができる。その結果、検出時間を短縮したり、処理部の構成を簡素にすることなどが可能になり、効率の良いカメラを実現することなどが可能になる。
【図面の簡単な説明】
【００４３】
【図１】画像処理装置、画像処理システム、カメラ及びカメラシステムの第１の構成例。
【図２】画像処理装置、画像処理システム、カメラ及びカメラシステムの第２の構成例。
【図３】画像処理装置、画像処理システム、カメラ及びカメラシステムの第３の構成例。
【図４】カメラの第４の構成例。
【図５】図５（Ａ）〜図５（Ｃ）は、３つの走行状況における画素密度変更領域の設定例。
【図６】図６（Ａ）、図６（Ｂ）は、第１の構成例による画素密度低減処理を説明する図。
【図７】第１の構成例による画素密度低減処理を説明する図。
【図８】図８（Ａ）、図８（Ｂ）は、第２の構成例による画素密度低減処理を説明する図。
【図９】図９（Ａ）、図９（Ｂ）は、第２の構成例による画素密度低減処理を説明する図。
【図１０】画像処理装置等における検出処理のフローチャート。
【図１１】図１１（Ａ）〜図１１（Ｃ）は、３つの走行状況におけるアラート表示の例。
【図１２】第３の構成例における防犯モードを説明する図。
【図１３】第３の構成例による防犯モードの処理のフローチャート。
【図１４】図１４（Ａ）、図１４（Ｂ）は、カメラシステムの車両への搭載例。
【発明を実施するための形態】
【００４４】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００４５】
１．画像処理装置、画像処理システム、カメラ及びカメラシステム
図１に、本実施形態の画像処理装置１００、画像処理システム２００、カメラ３００及びカメラシステム３１０の第１の構成例を示す。第１の構成例の画像処理装置１００は、画像取得部１１０、領域設定部１２０、処理部１３０を含み、記憶部１５０をさらに含んでもよい。画像処理システム２００は、画像処理装置１００及び表示部２３０を含む。カメラ３００は、画像処理装置１００、赤外線画像撮像部２１０、筐体（図示せず）を含み、表示部２３０をさらに含んでもよい。カメラシステム３１０は、画像処理装置１００及び赤外線画像撮像部２１０を含み、さらに表示部２３０を含んでもよい。また、画像処理システム２００は、画像取得部１１０、領域設定部１２０、処理部１３０を含む構成としてもよい。
【００４６】
なお、本実施形態の画像処理装置１００、画像処理システム２００、カメラ３００及びカメラシステム３１０は、図１の構成に限定されず、その構成要素の一部を省略したり、他の構成要素に置き換えたり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００４７】
画像取得部１１０、領域設定部１２０、処理部１３０は、例えばＣＰＵなどのプロセッサーやゲートアレイなどのＡＳＩＣにより実現することができる。また、記憶部１５０は、例えばＲＡＭ、フラッシュメモリー、或いはハードディスクドライブ（ＨＤＤ）などにより実現することができる。なお、記憶部１５０は、省略してもよい。
【００４８】
画像取得部１１０は、赤外線画像撮像部２１０からの赤外線画像を取得し、処理部１３０に対して赤外線画像データを出力する。赤外線画像データは、例えば車両の外部領域の赤外線画像の画像データである。
【００４９】
また、画像取得部１１０は、可視画像撮像部２２０からの可視画像データを取得し、処理部１３０に対して可視画像データを出力する。
【００５０】
領域設定部１２０は、画像取得部１１０により取得された赤外線画像データに基づく画像領域に対して、画像領域を複数の領域に分割する境界線を設定し、境界線によって分割された複数の領域のうちの少なくとも１つの領域を画素密度変更領域に設定する。具体的には、領域設定部１２０は、画像領域における位置及び形状のうちの少なくとも１つが可変に設定される境界線を用いて画像領域を区画する設定パターンを決定する。そして決定された設定パターンにおいて境界線の画像領域における位置及び形状のうちの少なくとも１つを定める。
【００５１】
より具体的には、領域設定部１２０は、車両の走行状況情報や全地球測位システム（ＧＰＳ）により取得された車両位置情報やユーザーによる入力情報などに基づいて、設定パターンを決定し、決定された設定パターンにおいて境界線の画像領域における位置及び形状のうちの少なくとも１つを定める。例えば、領域設定部１２０は、車両の速度情報やヘッドライトの制御情報などに基づいて設定パターンを決定し、境界線の位置及び形状のうちの少なくとも１つを定めることができる。なお、走行状況に応じた設定パターンについては、後で説明する。
【００５２】
ここで画像領域とは、例えば２次元的に撮像素子が配置された赤外線画像撮像部２１０により撮像され、画像取得部１１０により所定の時間間隔で取得される１画面（フレーム）分の画像データである。即ち、１つの画像領域は、赤外線画像撮像部２１０により或るタイミングで撮像された１つの画面（フレーム）を構成する赤外線画像データである。
【００５３】
処理部１３０は、画素密度変更領域の赤外線画像データの画素密度を低減する処理（画素密度低減処理）を行う。そして画素密度変更領域を含む画像領域の赤外線画像データに基づいて対象物の検出処理（テンプレートマッチング処理）を行い、検出処理の結果に基づいて表示用画像データを生成する。この表示用画像データは、検出処理の結果に基づくアラート表示を含んでもよい。また、処理部１３０は、検出処理を行って、検出処理の結果に基づくアラート記号と可視画像データとを重畳して表示用画像データを生成する処理を行う。
【００５４】
具体的には、処理部１３０は、領域設定部１２０により設定された画素密度変更領域ＡＲＭＤの赤外線画像データに対して画素密度を低減する処理を行う。この画素密度を低減する処理（画素密度低減処理）は、画像データ上で等価的に画素密度、即ち単位面積当たりの画素数を減少させる処理であって、例えば１画面（フレーム）を構成する画像データのうちの一定の領域（画素密度変更領域）内にある画素を間引く処理（間引き処理）である。一方、画素密度変更領域ＡＲＭＤを除く画像領域の赤外線画像データに対しては、画素密度低減処理を行わない。以下では、画素密度変更領域ＡＲＭＤを除く画像領域を画素密度非変更領域ＡＲＮＯとも呼ぶ。なお、画素密度低減処理については、後で詳細に説明する。
【００５５】
また処理部１３０は、画素密度変更領域ＡＲＭＤを含む画像領域の赤外線画像データ、即ち画素密度低減処理を行った後の赤外線画像データに基づいて、対象物の検出処理（テンプレートマッチング処理）を行う。即ち、画素密度変更領域ＡＲＭＤでは画素密度非変更領域ＡＲＮＯに比べて画素密度が低い赤外線画像データに基づいて、対象物（例えば歩行者、自転車など）を検出するための検出処理を行う。或いは、画素密度変更領域ＡＲＭＤでは画素密度が第１のしきい値よりも低く、画素密度非変更領域ＡＲＮＯでは画素密度が第２のしきい値よりも高い赤外線画像データに基づいて、対象物を検出するための検出処理を行う。ここで、第１のしきい値は第２のしきい値以下の値であって、第２のしきい値は赤外線画像撮像部２１０において実現可能な画素密度の範囲の値であってもよい。なお、第１、第２のしきい値は、同じ値であってもよい。
【００５６】
処理部１３０は、テンプレートマッチング処理部１３１、画像合成処理部１３２、メモリー１３３を含む。メモリー１３３は、画素密度変更領域ＡＲＭＤに対して画素密度低減処理（間引き処理）を行った後の赤外線画像データを記憶する。このようにすることで、メモリー１３３に記憶された赤外線画像データの画素密度変更領域ＡＲＭＤの画素密度は第１のしきい値よりも低く、画素密度非変更領域ＡＲＮＯの画素密度は第２のしきい値よりも高くなる。テンプレートマッチング処理部１３１は、メモリー１３３に記憶された間引き処理後の赤外線画像データに対して、対象物を検出するためのテンプレートマッチング処理を行う。
【００５７】
画像合成処理部１３２は、テンプレートマッチング処理結果に基づいて、可視画像データにアラート表示（アラート記号）などを重畳する処理を行う。画像合成処理部１３２は、必要に応じて他の情報をさらに合成（重畳）する処理を行ってもよい。また、画像合成処理部１３２は、アラート表示を赤外線画像データに重畳する処理を行ってもよいし、或いは可視画像データ、赤外線画像データ及びアラート表示などを合成（重畳）する処理を行ってもよい。
【００５８】
アラート表示は、ドライバーに歩行者や自転車などの存在を知らせるための記号（アラート記号）である。アラート表示が重畳された可視画像は、表示部２３０に表示される。視認性の良いアラート記号を表示することで、ドライバーの危険予知を容易にすることができる。なお、テンプレートマッチング処理及びアラート表示の詳細については、後述する。
【００５９】
記憶部１５０は、画素密度変更領域ＡＲＭＤと画素密度非変更領域ＡＲＮＯとの境界線を設定する複数の設定パターンを記憶する。領域設定部１２０は、記憶部１５０から複数の設定パターンのうちのいずれか１つの設定パターンを選択して読み出し、読み出された設定パターンに基づいて境界線を設定することができる。こうすることで、例えば予め複数の走行状況に対応する複数の設定パターンを記憶部１５０に記憶しておくことができるから、走行状況に応じて最適な設定パターンを選択することなどが可能になる。
【００６０】
赤外線画像撮像部２１０は、赤外線カメラであって、例えば波長が８〜１２μｍの遠赤外線に感度を有するものである。遠方（例えば２００ｍ先）の対象物を検出するために、焦電素子を用いた赤外線センサーカメラであれば、さらに良い。
【００６１】
可視画像撮像部２２０は、可視光領域に感度を有するカメラであって、例えば撮像素子としてＣＣＤやＣＭＯＳなどを用いるものである。このカメラは、高ダイナミックレンジ（ＨＤＲ：High Dynamic Range）形式の画像データに対応できるものが望ましい。ＨＤＲ形式対応のカメラでは、電子シャッター機能を用いて高速・低速の異なるシャッター時間で被写体の撮像を行い、その２種類の画像信号を信号処理して広いダイナミックレンジを持つ画像を得ることができる。こうすることで、例えば夜間の走行時において、通常は対向車のヘッドライトに妨げられて見えにくくなっている歩行者や対向車自身などを、明瞭に映し出すことができる。
【００６２】
表示部２３０は、赤外線画像、可視画像及びアラート記号などを含む画像を表示する。表示部２３０は、例えば液晶ディスプレイ、有機ＥＬディスプレイなどで実現することができる。
【００６３】
筐体は、図示していないが、その内部に画像処理装置１００と赤外線画像撮像部２１０とが配設される。
【００６４】
図１に示す第１の構成例の画像処理装置１００等によれば、テンプレートマッチング処理の対象となる赤外線画像データの画素数を低減させることができるから、検出処理における演算処理負担を低減することができる。また、対象物を検出した場合に、可視画像の対応する位置に視認性の良いアラート表示を重畳して表示することができるから、夜間運転中のドライバーの負担を軽減することなどが可能になる。
【００６５】
さらに領域設定部１２０が、車両の走行状況情報や車両位置情報やユーザーによる入力情報などに基づいて、設定パターンを決定し、決定された設定パターンにおいて境界線の画像領域における位置及び形状のうちの少なくとも１つを定めることができる。こうすることで、車両の走行状況などに応じて画素密度変更領域ＡＲＭＤ及び画素密度非変更領域ＡＲＮＯを可変に設定することができるから、多様な走行状況や交通状況などに対応して、歩行者などの対象物が存在する可能性の低い領域を画素密度変更領域ＡＲＭＤに設定し、歩行者などの対象物が存在する可能性の高い領域を画素密度非変更領域ＡＲＮＯに設定することができる。その結果、対象物の検出能力（検出精度）を低下させずに、演算処理負担を低減することができる。その結果、検出処理の処理時間を短縮したり、処理部１３０の回路構成を簡素にすることが可能になり、効率の良い画像処理装置等を実現することなどが可能になる。
【００６６】
図２に、本実施形態の画像処理装置１００、画像処理システム２００、カメラ３００及びカメラシステム３１０の第２の構成例を示す。第２の構成例の画像処理装置１００は、画像取得部１１０、領域設定部１２０、処理部１３０を含み、記憶部１５０をさらに含んでもよい。画像処理システム２００は、画像処理装置１００及び表示部２３０を含む。カメラ３００は、画像処理装置１００、赤外線画像撮像部２１０、筐体（図示せず）を含み、表示部２３０をさらに含んでもよい。カメラシステム３１０は、画像処理装置１００及び赤外線画像撮像部２１０を含み、さらに表示部２３０を含んでもよい。また、画像処理システム２００は、画像取得部１１０、領域設定部１２０、処理部１３０を含む構成としてもよい。
【００６７】
なお、本実施形態の画像処理装置１００、画像処理システム２００、カメラ３００及びカメラシステム３１０は、図２の構成に限定されず、その構成要素の一部を省略したり、他の構成要素に置き換えたり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００６８】
画像取得部１１０、領域設定部１２０、記憶部１５０は、第１の構成例（図１）で説明したものと同一であるから、ここでは詳細な説明を省略する。
【００６９】
処理部１３０は、画素密度変更領域の赤外線画像データの画素密度を低減する処理（画素密度低減処理）を行う。そして画素密度変更領域を含む画像領域の赤外線画像データに基づいて対象物の検出処理（テンプレートマッチング処理）を行い、検出処理の結果に基づいて表示用画像データを生成する。この表示用画像データは、検出処理の結果に基づくアラート表示を含んでもよい。また、処理部１３０は、検出処理を行って、検出処理の結果に基づくアラート記号と可視画像データとを重畳して表示用画像データを生成する処理を行う。
【００７０】
具体的には、処理部１３０は、領域設定部１２０により設定された画素密度変更領域ＡＲＭＤの赤外線画像データに対して画素密度を低減する処理を行う。この画素密度を低減する処理（画素密度低減処理）は、画像データ上で等価的に画素密度、即ち単位面積当たりの画素数を減少させる処理であって、例えば１画面（フレーム）を構成する画像データのうちの一定の領域（画素密度変更領域）内において、隣接する複数の画素に対応する画像データを混合演算して１つの画素に対応する画像データとする処理（画素混合演算処理）である。一方、画素密度変更領域ＡＲＭＤを除く画像領域（画素密度非変更領域）ＡＲＮＯの赤外線画像データに対しては、画素密度低減処理を行わない。なお、画素密度低減処理については、後で詳細に説明する。
【００７１】
また処理部１３０は、画素密度変更領域ＡＲＭＤを含む画像領域の赤外線画像データ、即ち画素密度低減処理を行った後の赤外線画像データに基づいて、対象物の検出処理（テンプレートマッチング処理）を行う。即ち、画素密度変更領域ＡＲＭＤでは画素密度非変更領域ＡＲＮＯに比べて画素密度が低い赤外線画像データに基づいて、対象物（例えば歩行者、自転車など）を検出するための検出処理を行う。或いは、画素密度変更領域ＡＲＭＤでは画素密度が第１のしきい値よりも低く、画素密度非変更領域ＡＲＮＯでは画素密度が第２のしきい値よりも高い赤外線画像データに基づいて、対象物を検出するための検出処理を行う。ここで、第１のしきい値は第２のしきい値以下の値であって、第２のしきい値は赤外線画像撮像部２１０において実現可能な画素密度の範囲の値であってもよい。なお、第１、第２のしきい値は、同じ値であってもよい。
【００７２】
処理部１３０は、テンプレートマッチング処理部１３１、画像合成処理部１３２、２つのメモリー１３３、１３５、混合演算処理部１３４を含む。メモリー１３５は、画像取得部１１０からの赤外線画像データを記憶する。混合演算処理部１３４は、メモリー１３５に記憶された赤外線画像データのうちの画素密度変更領域ＡＲＭＤに対応する画像データに対して、画素混合演算処理を行う。メモリー１３３は、画素混合演算処理を行った後の赤外線画像データを記憶する。このようにすることで、メモリー１３３に記憶された赤外線画像データの画素密度変更領域ＡＲＭＤの画素密度は第１のしきい値よりも低く、画素密度非変更領域ＡＲＮＯの画素密度は第２のしきい値よりも高くなる。テンプレートマッチング処理部１３１は、メモリー１３３に記憶された画素混合演算処理後の赤外線画像データに対して、対象物を検出するためのテンプレートマッチング処理を行う。
【００７３】
画像合成処理部１３２は、テンプレートマッチング処理結果に基づいて、可視画像データにアラート表示（アラート記号）などを重畳する処理を行う。画像合成処理部１３２は、必要に応じて他の情報をさらに合成（重畳）する処理を行ってもよい。また、画像合成処理部１３２は、アラート表示を赤外線画像データに重畳する処理を行ってもよいし、或いは可視画像データ、赤外線画像データ及びアラート表示などを合成（重畳）する処理を行ってもよい。
【００７４】
赤外線画像撮像部２１０、可視画像撮像部２２０、表示部２３０及び筐体（図示せず）は、第１の構成例（図１）で説明したものと同一であるから、ここでは詳細な説明を省略する。
【００７５】
図２に示す第２の構成例の画像処理装置１００等によれば、第１の構成例と同様に、テンプレートマッチング処理の対象となる赤外線画像データの画素数を低減させることができるから、検出処理における演算処理負担を低減することができる。また、対象物を検出した場合に、可視画像の対応する位置に視認性の良いアラート表示を重畳して表示することができるから、夜間運転中のドライバーの負担を軽減することなどが可能になる。
【００７６】
さらに第１の構成例と同様に、領域設定部１２０が、車両の走行状況情報や車両位置情報やユーザーによる入力情報などに基づいて、設定パターンを決定し、決定された設定パターンにおいて境界線の画像領域における位置及び形状のうちの少なくとも１つを定めることができる。こうすることで、車両の走行状況などに応じて画素密度変更領域ＡＲＭＤ及び画素密度非変更領域ＡＲＮＯを可変に設定することができるから、対象物の検出能力（検出精度）を低下させずに、効率の良い画像処理装置等を実現することなどが可能になる。
【００７７】
さらに第２の構成例では、画素密度低減処理として画素混合演算処理を行うことができるから、後述するように、画素密度変更領域ＡＲＭＤにおける感度（赤外線検出感度）の低下を防ぐことができる。
【００７８】
図３に、本実施形態の画像処理装置１００、画像処理システム２００、カメラ３００及びカメラシステム３１０の第３の構成例を示す。第３の構成例の画像処理装置１００は、画像取得部１１０、領域設定部１２０、処理部１３０、モード設定部１４０を含み、記憶部１５０をさらに含んでもよい。画像処理システム２００は、画像処理装置１００及び表示部２３０を含む。カメラ３００は、画像処理装置１００、赤外線画像撮像部２１０、筐体（図示せず）を含み、表示部２３０をさらに含んでもよい。カメラシステム３１０は、画像処理装置１００及び赤外線画像撮像部２１０を含み、さらに表示部２３０を含んでもよい。また、画像処理システム２００は、画像取得部１１０、領域設定部１２０、処理部１３０を含む構成としてもよい。
【００７９】
なお、本実施形態の画像処理装置１００、画像処理システム２００、カメラ３００及びカメラシステム３１０は、図３の構成に限定されず、その構成要素の一部を省略したり、他の構成要素に置き換えたり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００８０】
画像取得部１１０、領域設定部１２０、記憶部１５０は、第１の構成例（図１）で説明したものと同一であるから、ここでは詳細な説明を省略する。
【００８１】
処理部１３０は、第１の構成例（図１）又は第２の構成例（図２）で説明したものと同一であるから、ここでは詳細な説明を省略する。
【００８２】
モード設定部１４０は、走行モードと防犯モードとのモード切換設定を行う。走行モードは、車両の走行中に設定されるモードであって、例えば車両の夜間走行時などに車両前方の歩行者等を検出してドライバーに警告を発するモードである。また、防犯モードは、車両の駐車中に設定されるモードであって、例えば夜間に車両が自宅に隣接して駐車している時に、自宅への侵入者等を検出して警告を発するモードである。
【００８３】
画像処理装置１００が走行モードに設定されている場合には、領域設定部１２０は、上述したように設定パターンを決定し、決定された設定パターンにおいて境界線を決定して画素密度変更領域ＡＲＭＤを設定する。そして処理部１３０は画素密度変更領域ＡＲＭＤの赤外線画像データの画素密度を低減する処理を行い、画素密度変更領域ＡＲＭＤを含む画像領域の赤外線画像データに基づいて検出処理を行う。そして検出処理の結果に基づくアラート表示を含む表示用画像データを生成する処理を行う。
【００８４】
一方、画像処理装置１００が防犯モードに設定されている場合には、領域設定部１２０は境界線を非設定にする。そして処理部１３０は画像領域の全領域に対して赤外線画像データの画素密度を低減する処理を行い、画像領域の赤外線画像データに基づいて検出処理を行い、検出処理の結果に基づくアラート表示を含む表示用画像データを生成する処理を行う。そして検出処理によって不審者を検出した場合には、処理部１３０はユーザーの携帯端末などに通報する処理を行うことができる。なお、防犯モードの詳細については、後述する。
【００８５】
図３に示す第３の構成例の画像処理装置１００等によれば、走行モードに設定された場合には、第１、第２の構成例と同様に、テンプレートマッチング処理の対象となる赤外線画像データの画素数を低減させることができるから、検出処理における演算処理負担を低減することができる。また、対象物を検出した場合に、可視画像の対応する位置に視認性の良いアラート表示を重畳して表示することができるから、夜間運転中のドライバーの負担を軽減することなどが可能になる。
【００８６】
さらに第３の構成例では、防犯モードに設定することにより、夜間の駐車時に自宅周辺の不審者などを検出することができるから、防犯用に専用のセキュリティシステム等を設置する必要がなくなるため、防犯コストの低減などが可能になる。
【００８７】
図４に、本実施形態のカメラ３００の第４の構成例を示す。第４の構成例のカメラ３００は、赤外線画像撮像部２１０、画像取得部１１０、処理部１３０を含み、さらに表示部２３０を含んでもよい。なお、本実施形態のカメラ３００は、図４の構成に限定されず、その構成要素の一部を省略したり、他の構成要素に置き換えたり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００８８】
赤外線画像撮像部２１０は、赤外線カメラであって、例えば波長が８〜１２μｍの遠赤外線に感度を有するものである。遠方（例えば２００ｍ先）の対象物を検出するために、焦電素子を用いた赤外線センサーカメラであれば、さらに良い。
【００８９】
赤外線画像撮像部２１０は、赤外線撮像素子が二次元配列された撮像領域を備え、撮像領域の一部の領域ＩＲＨＤでは赤外線撮像素子の間隔が第１の間隔であり、撮像領域の一部の領域ＩＲＨＤ以外の撮像領域ＩＲＬＤでは赤外線撮像素子の間隔が第１の間隔より広い第２の間隔である。即ち、撮像領域ＩＲＨＤでは赤外線画像の画素密度が高く、撮像領域ＩＲＬＤでは赤外線画像の画素密度がＩＲＨＤに比べて低くなる。或いは、撮像領域ＩＲＨＤの画素密度は第１のしきい値よりも高く、撮像領域ＩＲＬＤの画素密度は第２のしきい値よりも低い。ここで、第１のしきい値は第２のしきい値以上の値であって、第１、第２のしきい値は共に赤外線画像撮像部２１０において実現可能な画素密度の範囲の値である。なお、第１、第２のしきい値は、同じ値であってもよい。
【００９０】
赤外線撮像素子の間隔とは、例えば赤外線画像撮像部２１０の撮像面において、１つの画素（赤外線センサー素子）とそれに隣接する画素との配置間隔である。画素密度とは、例えば赤外線画像撮像部２１０の撮像面における単位面積当たりの画素数である。
【００９１】
画像取得部１１０は、赤外線画像撮像部２１０で撮像された赤外線画像データを取得し、処理部１３０に対して赤外線画像データを出力する。
【００９２】
処理部１３０は、画像取得部１１０により取得された赤外線画像データのうちの撮像領域に対応した画像領域に対して、赤外線画像データに基づいて対象物の検出処理（テンプレートマッチング処理）を行い、検出処理の結果に基づいて表示用画像データを生成する。
【００９３】
処理部１３０は、テンプレートマッチング処理部１３１及び画像合成処理部１３２を含む。テンプレートマッチング処理部１３１は、画像取得部１１０からの赤外線画像データに基づいて、対象物を検出するためのテンプレートマッチング処理を行う。画像合成処理部１３２は、テンプレートマッチング処理結果に基づいて、赤外線画像にアラート表示（アラート記号）などを重畳する処理を行う。画像合成処理部１３２は、必要に応じて他の情報をさらに合成（重畳）する処理を行ってもよい。
【００９４】
画像取得部１１０及び処理部１３０は、例えばＣＰＵなどのプロセッサーやゲートアレイなどのＡＳＩＣにより実現することができる。
【００９５】
図４に示す第４の構成例のカメラ３００によれば、赤外線カメラ（赤外線画像撮像部）２１０により撮像された赤外線画像データに基づいて検出処理（テンプレートマッチング処理）を行って、歩行者などの対象物を検出することができる。この赤外線画像データの画像領域は、画素密度が高い撮像領域ＩＲＨＤに対応する画像領域と画素密度が低い撮像領域ＩＲＬＤに対応する画像領域とを含む。こうすることで、赤外線画像データの画素数を低減させることができるから、検出処理における演算処理負担を低減することができる。
【００９６】
例えば赤外線画像撮像部２１０の撮像領域において、歩行者などの対象物が撮像される可能性の高い領域を撮像領域ＩＲＨＤに設定し、対象物が撮像される可能性が低い領域を撮像領域ＩＲＬＤに設定することで、対象物の検出能力（検出精度）を低下させずに、演算処理負担を低減することができる。その結果、検出処理の処理時間を短縮したり、処理部１３０の回路構成を簡素にすることが可能になり、効率の良い制御システムを実現することなどが可能になる。
【００９７】
２．画素密度変更領域の設定及び検出処理
図５（Ａ）〜図５（Ｃ）に、３つの走行状況における画素密度変更領域ＡＲＭＤの設定例を示す。図５（Ａ）は、例えば郊外の道路のように比較的スムーズに走行している状況において、設定パターンが第１の設定パターンに決定された場合の設定例である。図５（Ｂ）は、例えば市街地の道路を走行している状況において、設定パターンが第２の設定パターンに決定された場合の設定例である。図５（Ｃ）は、例えば山間部のように交通量の少ない道路を走行している状況において、設定パターンが第３の設定パターンに決定された場合の設定例である。図５（Ａ）〜図５（Ｃ）は、各走行状況における赤外線画像の１フレーム（画面）であり、道路の左端ＬＴ、道路の右端ＲＴ、センターラインＣＬを示す。
【００９８】
以下の説明において、車両に取り付けられた赤外線画像撮像部２１０（赤外線カメラ）からの赤外線画像において、鉛直方向（重力の方向）を「垂直方向」とし、鉛直方向と直交する方向を「水平方向」とする。或いは、道路面に対して垂直な方向を「垂直方向」とし、道路面に対して平行な方向を「水平方向」としてもよい。また、鉛直上向きを「上」、鉛直下向きを「下」とし、画像に向かって右手水平方向を「右」、左手水平方向を「左」とする。
【００９９】
図５（Ａ）の第１の設定パターンの場合には、領域設定部１２０は、赤外線画像データに基づく画像領域を分割する境界線ＢＬを用いて画像領域を区画する。例えば、図５（Ａ）に示すように、境界線ＢＬを水平方向に設定する。そして水平方向に設定された境界線ＢＬにより分割された画像領域のうち、上側の画像領域（広義には一方の画像領域）を画素密度非変更領域ＡＲＮＯに設定し、下側の画像領域（広義には他方の画像領域）を画素密度変更領域ＡＲＭＤに設定する。
【０１００】
図５（Ａ）に示す走行状況では、夜間に肉眼で視認することが難しい遠方（例えば４０ｍ以上前方）の歩行者や自転車等を検出することが重要になる。そこで、水平方向に境界線ＢＬを設定し、その境界線ＢＬの上側の領域、即ち遠方の対象物が映し出される領域を画素密度非変更領域ＡＲＮＯに設定する。一方、境界線ＢＬの下側の領域は、画素密度変更領域ＡＲＭＤに設定される。こうすることで、例えば道路を横断しようとする歩行者（図５（Ａ）のＡ１）や自転車に乗った人（図５（Ａ）のＡ２）を画素密度が高い赤外線画像データを用いて検出することができる。
【０１０１】
図５（Ｂ）の第２の設定パターンの場合には、領域設定部１２０は、赤外線画像データに基づく画像領域を３分割し互いに交差しない２本の境界線を用いて画像領域を区画する。例えば図５（Ｂ）に示すように、２本の境界線ＢＬ１、ＢＬ２を垂直方向に設定する。そして垂直方向に設定された境界線ＢＬ１、ＢＬ２により３分割された画像領域のうち、中央の画像領域（広義には２本の境界線で挟まれる画像領域）を画素密度変更領域ＡＲＭＤに設定する。
【０１０２】
図５（Ｂ）に示す走行状況では、対向車のヘッドライトにより幻惑されやすい近距離において、道路脇から飛び出してくる歩行者や自転車等を検出することが重要になる。そこで、垂直方向に第１、第２の境界線ＢＬ１、ＢＬ２を設定し、第１の境界線ＢＬ１の左側の領域と第２の境界線ＢＬ２の右側の領域とを共に画素密度非変更領域ＡＲＮＯに設定する。一方、２つの境界線ＢＬ１、ＢＬ２に挟まれた領域、即ち中央の領域は、画素密度変更領域ＡＲＭＤに設定される。こうすることで、例えば車両の直前を横断しようとする歩行者（図５（Ｂ）のＢ１）や自転車に乗った人（図５（Ｂ）のＢ２）を画素密度が高い赤外線画像データを用いて検出することができる。
【０１０３】
図５（Ｃ）の第３の設定パターンの場合には、領域設定部１２０は、赤外線画像データに基づく画像領域において一部の領域を囲む閉曲線を境界線として用いて画像領域を区画する。例えば図５（Ｂ）に示すように、閉曲線である境界線ＢＬを画像領域の中央部に設定する。そして閉曲線の外側の画像領域を画素密度変更領域ＡＲＭＤに設定する。ここで閉曲線とは、閉じた図形であればよく、例えば多角形であってもよい。
【０１０４】
図５（Ｃ）に示す走行状況では、車両速度が速いことを考慮して、より遠方（例えば１００ｍ以上前方）の対象物を検出することが重要になる。そこで、画面の中央部などの限定された領域を画素密度非変更領域ＡＲＮＯに設定し、それ以外の領域（画面の周辺部）を画素密度変更領域ＡＲＭＤに設定する。こうすることで、例えば車両の遠方を横断しようとする歩行者（図５（Ｃ）のＣ１）等を画素密度が高い赤外線画像データを用いて検出することができる。
【０１０５】
なお、境界線の位置は固定ではなく、例えば車両の速度情報やヘッドライトの制御情報などに基づいて可変に設定することができる。具体的には、例えば図５（Ａ）において、車両速度が速いほど境界線の位置を画面の上方にシフトさせてもよいし、或いは、ヘッドライトをハイビームに切り換えた時に、境界線の位置を画面の上方にシフトさせ、ロービームに切り換えた時に、境界線の位置を画面の下方にシフトさせてもよい。
【０１０６】
また、ユーザー（ドライバー）による入力情報に基づいて、境界線の位置、形状等を可変に設定することもできる。具体的には、ドライバーが交通状況に応じて境界線設定情報を入力することにより、例えば図５（Ｂ）において、２つの境界線ＢＬ１、ＢＬ２の位置を左方又は右方にシフトさせたり、例えば図５（Ｃ）において、画面中央部の閉曲線（境界線）ＢＬの位置又は大きさを変化させたりすることができる。
【０１０７】
図６（Ａ）、図６（Ｂ）、図７は、画像処理装置１００の第１の構成例（図１）による画素密度低減処理（画素の間引き処理）を説明する図である。これらの図では、赤外線画像撮像部２１０から取得された１画面（フレーム）分の赤外線画像データが、１２行×１４列の画素に対応する場合を例として説明する。なお、以下の説明では、例えば第２行第３列の画素をＰ（２，３）と表記する。また、画素Ｐ（２，３）の画像データを読み出し、その画像データをメモリー１３３に記憶することを、便宜的に「Ｐ（２，３）を読み出す」と表記する。
【０１０８】
図６（Ａ）は、垂直方向に設定された２つの境界線ＢＬ１、ＢＬ２により分割された領域のうち、左側の領域と右側の領域とを共に画素密度非変更領域ＡＲＮＯに設定し、中央の領域（２つの境界線ＢＬ１、ＢＬ２により挟まれた領域）を画素密度変更領域ＡＲＭＤに設定する場合である。処理部１３０は、以下のように画素の間引き処理を行ってメモリー１３３に画像データを記憶する。なお、境界線ＢＬ１、ＢＬ２の位置は、図示したものに限定されず、他の位置に設定されてもよい。
【０１０９】
処理部１３０は、第１行の画素Ｐ（１，１）からＰ（１，４）までを順番に読み出す。次にＰ（１，５）を読み出さずにスキップして、Ｐ（１，６）を読み出す。次にＰ（１，７）を読み出さずにスキップして、Ｐ（１，８）を読み出す。次にＰ（１，９）を読み出さずにスキップして、Ｐ（１，１０）を読み出す。そしてＰ（１，１１）からＰ（１，１４）までを順番に読み出す。次に第２行の画素については、Ｐ（２，１）〜Ｐ（２，４）を読み出し、Ｐ（２，５）〜Ｐ（２，１０）をスキップし、Ｐ（２，１１）〜Ｐ（２，１４）を読み出す。そして第３行の画素については、１行目と同様に、Ｐ（３，１）〜Ｐ（３，４）、Ｐ（３，６）、Ｐ（３，８）、Ｐ（３，１０）、Ｐ（３，１１）〜Ｐ（３，１４）を読み出し、これ以外の画素をスキップする。第４行以降についても、上記と同様に画素の間引き処理を行う。
【０１１０】
このようにすることで、図６（Ａ）に示すように、画素密度非変更領域ＡＲＮＯについては画素が間引かれず、画素密度変更領域ＡＲＭＤについては画素数が１／４に減少し、即ち画素密度が１／４に低減される。図６（Ａ）で網掛けされた画素に対応する画像データがメモリー１３３に記憶される。
【０１１１】
図６（Ｂ）は、水平方向に設定された境界線ＢＬの上側の領域を画素密度非変更領域ＡＲＮＯに設定し、境界線ＢＬの下側の領域を画素密度変更領域ＡＲＭＤに設定する場合である。処理部１３０は、以下のように画素の間引き処理を行ってメモリー１３３に画像データを記憶する。なお、境界線ＢＬの位置は、図示したものに限定されず、他の位置に設定されてもよい。
【０１１２】
処理部１３０は、画素密度非変更領域ＡＲＮＯについては、間引き処理を行わずに第１行から第６行までの画素を順番に読み出す。そして画素密度変更領域ＡＲＭＤについては、奇数行では１つおきに画素を読み出し、偶数行では全ての画素をスキップする。例えば第７行では、Ｐ（７，２）、Ｐ（７，４）、Ｐ（７，６）、Ｐ（７，８）、Ｐ（７，１０）、Ｐ（７，１２）、Ｐ（７，１４）が読み出され、第８行では全ての画素がスキップされる。
【０１１３】
このようにすることで、図６（Ｂ）に示すように、画素密度非変更領域ＡＲＮＯについては画素が間引かれず、画素密度変更領域ＡＲＭＤについては画素数が１／４に減少し、即ち画素密度が１／４に低減される。図６（Ｂ）で網掛けされた画素に対応する画像データがメモリー１３３に記憶される。
【０１１４】
図７は、中央部に設定された境界線ＢＬに取り囲まれた領域を画素密度非変更領域ＡＲＮＯに設定し、中央部に設定された境界線ＢＬの外側の領域を画素密度変更領域ＡＲＭＤに設定する場合である。処理部１３０は、以下のように画素の間引き処理を行ってメモリー１３３に画像データを記憶する。なお、境界線ＢＬの位置は、図示したものに限定されず、他の位置に設定されてもよい。
【０１１５】
処理部１３０は、画素密度非変更領域ＡＲＮＯについては、全ての画素を読み出す。そして画素密度変更領域ＡＲＭＤについては、奇数行では１つおきに画素を読み出し、偶数行では全ての画素をスキップする。例えば第１行では、Ｐ（１，２）、Ｐ（１，４）、Ｐ（１，６）、Ｐ（１，８）、Ｐ（１，１０）、Ｐ（１，１２）、Ｐ（１，１４）が読み出され、第２行では全ての画素がスキップされる。第５行では、Ｐ（５，２）、Ｐ（５，４）、Ｐ（５，５）〜Ｐ（５，１０）、Ｐ（５，１２）、Ｐ（５，１４）が読み出される。
【０１１６】
このようにすることで、図７に示すように、画素密度非変更領域ＡＲＮＯについては画素が間引かれず、画素密度変更領域ＡＲＭＤについては画素数が１／４に減少し、即ち画素密度が１／４に低減される。図７で網掛けされた画素に対応する画像データがメモリー１３３に記憶される。
【０１１７】
図８（Ａ）、図８（Ｂ）、図９（Ａ）、図９（Ｂ）は、画像処理装置１００の第２の構成例（図２）による画素密度低減処理（画素混合演算処理）を説明する図である。これらの図では、赤外線画像撮像部２１０から取得された１画面（フレーム）分の赤外線画像データが、１２行×１４列の画素に対応する場合を例として説明する。なお、以下の説明では、例えば第２行第３列の画素をＰ（２，３）と表記する。
【０１１８】
図８（Ａ）に示すように、始めに処理部１３０は、全ての画素を読み出して、画像データをメモリー１３５に記憶する。そして以下に説明するように、画素混合演算処理を行って、その結果をメモリー１３３に記憶する。
【０１１９】
図８（Ｂ）は、垂直方向に設定された２つの境界線ＢＬ１、ＢＬ２により分割された領域のうち、左側の領域と右側の領域とを共に画素密度非変更領域ＡＲＮＯに設定し、中央の領域（２つの境界線ＢＬ１、ＢＬ２により挟まれた領域）を画素密度変更領域ＡＲＭＤに設定する場合である。なお、境界線ＢＬ１、ＢＬ２の位置は、図示したものに限定されず、他の位置に設定されてもよい。
【０１２０】
処理部１３０は、画素密度非変更領域ＡＲＮＯについては画素混合演算処理を行わずに、画像データをそのままメモリー１３３に記憶する。一方、画素密度変更領域ＡＲＭＤについては、４つの画素の画像データを混合演算処理し、その結果を１つの画素の画像データとしてメモリー１３３に記憶する。例えば、４つの画素Ｐ（１，７）、Ｐ（２，７）、Ｐ（１，８）、Ｐ（２，８）について画像データを混合演算処理し、その結果を１つの画素Ｐ（１，８）の画像データとしてメモリー１３３に記憶する。図８（Ｂ）では、混合演算処理の単位となる４つの画素をＡ、Ｂ、Ｃ、Ｄで示し、処理結果を画素Ｄの画像データとしてメモリー１３３に記憶する。このようにすることで、画素密度非変更領域ＡＲＮＯについては画素密度が変化せず、画素密度変更領域ＡＲＭＤについては画素数が１／４に減少し、即ち画素密度が１／４に低減される。
【０１２１】
図９（Ａ）は、水平方向に設定された境界線ＢＬの上側の領域を画素密度非変更領域ＡＲＮＯに設定し、境界線ＢＬの下側の領域を画素密度変更領域ＡＲＭＤに設定する場合である。なお、境界線ＢＬの位置は、図示したものに限定されず、他の位置に設定されてもよい。
【０１２２】
この場合も図８（Ｂ）と同様に、処理部１３０は、画素密度非変更領域ＡＲＮＯについては画素混合演算処理を行わずに、画像データをそのままメモリー１３３に記憶する。一方、画素密度変更領域ＡＲＭＤについては、４つの画素の画像データを混合演算処理し、その結果を１つの画素の画像データとしてメモリー１３３に記憶する。例えば、４つの画素Ｐ（９，１）、Ｐ（１０，１）、Ｐ（９，２）、Ｐ（１０，２）について画像データを混合演算処理し、その結果を１つの画素Ｐ（９，２）の画像データとしてメモリー１３３に記憶する。このようにすることで、画素密度非変更領域ＡＲＮＯについては画素密度が変化せず、画素密度変更領域ＡＲＭＤについては画素数が１／４に減少し、即ち画素密度が１／４に低減される。
【０１２３】
図９（Ｂ）は、中央部に設定された境界線ＢＬに取り囲まれた領域を画素密度非変更領域ＡＲＮＯに設定し、中央部に設定された境界線ＢＬの外側の領域を画素密度変更領域ＡＲＭＤに設定する場合である。なお、境界線ＢＬの位置は、図示したものに限定されず、他の位置に設定されてもよい。
【０１２４】
この場合も図８（Ｂ）、図９（Ａ）と同様に、処理部１３０は、画素密度非変更領域ＡＲＮＯについては画素混合演算処理を行わずに、画像データをそのままメモリー１３３に記憶する。一方、画素密度変更領域ＡＲＭＤについては、４つの画素の画像データを混合演算処理し、その結果を１つの画素の画像データとしてメモリー１３３に記憶する。例えば、４つの画素Ｐ（１，１）、Ｐ（２，１）、Ｐ（１，２）、Ｐ（２，２）について画像データを混合演算処理し、その結果を１つの画素Ｐ（１，２）の画像データとしてメモリー１３３に記憶する。このようにすることで、画素密度非変更領域ＡＲＮＯについては画素密度が変化せず、画素密度変更領域ＡＲＭＤについては画素数が１／４に減少し、即ち画素密度が１／４に低減される。
【０１２５】
以上説明した画素混合演算処理によれば、４つの画素Ａ、Ｂ、Ｃ、Ｄの画像データを混合して１つの画素Ｄの画像データとするから、１つの画素Ｄの感度を等価的に４倍にすることになる。従って、画素密度変更領域ＡＲＭＤにおいて、画素密度が１／４になっても、単位面積当たりの感度（赤外線検出感度）は変化しない。
【０１２６】
図１０は、本実施形態の画像処理装置１００等における検出処理（テンプレートマッチング処理）のフローチャートである。このテンプレートマッチング処理は、処理部１３０に含まれるテンプレートマッチング処理部１３１により実行される。
【０１２７】
最初のステップＳ１で、処理に必要なパラメーターの初期設定を行う。次のステップＳ２で、画像取得部１１０が赤外線カメラ（赤外線画像撮像部）２１０からの赤外線画像を取得する。そして次のステップ３では、領域設定部１２０からの境界線設定情報に基づいて、赤外線画像（熱画像）データの１フレーム（１画面）分のデータ毎に画素密度変更領域ＡＲＭＤが設定され、画素密度変更領域ＡＲＭＤの画像データに対して画素密度の低減処理が実行される。なお、カメラ３００の第４の構成例（図４）の場合には、赤外線画像撮像部２１０から取得された画像データが、画素密度が高い撮像領域ＩＲＨＤに対応する画像領域と画素密度が低い撮像領域ＩＲＬＤに対応する画像領域とを含むから、このステップ３を省略してもよい。
【０１２８】
次にステップＳ４では、画素密度低減処理後の赤外線画像データから検出候補領域を抽出する。具体的には、対象物の特徴を表す温度領域を塊として抽出する。ここでは例として、先行車両及び歩行者（人物）を検出対象とする場合について説明する。これ以外のものを検出の対象とする場合には、その対象が有する温度情報を特徴量として、それぞれ本ステップにおいて処理対象に加えればよい。
【０１２９】
先行車両の場合は、マフラー領域が１００°Ｃ程度の高温になることを利用して、赤外線画像中から例えば８０°Ｃ以上の温度情報を有する領域を探索して、その領域の位置情報と温度情報を検出する。
【０１３０】
一方、歩行者の場合は、露出している顔及び首の表面温度が３０°Ｃ程度の中温になることを利用して、熱画像中から例えば３０°Ｃ程度の温度情報を有する領域を探索して、その領域の位置情報と温度情報を検出する。ここで、各領域で検出される結果のうち、位置情報としては例えば塊の重心座標位置とすればよく、温度情報としては例えば塊の平均温度とすればよい。また重心座標位置以外に、縦横比、充足率、実面積などの条件を満たす部位の存在を調べる。これによって、歩行者の存在位置を画面上の２次元座標上で画面全体の幅と高さに対する割合で求める。
【０１３１】
そして、ステップＳ５では、ステップＳ４で得られた各領域の位置情報と温度情報を対応付けした位置及び温度リストを作成して以降の処理に進む。
【０１３２】
次のステップＳ６では、ステップＳ５で作成したリストに基づいて、検出候補があるか否か、即ち検出対象である先行車や歩行者の特徴量を示す温度情報が抽出されているか否かを判断する。リスト内に対象物の候補が１つも抽出されていない場合には、今回の赤外線画像の中には検出対象である先行車や歩行者が存在しないものと判断して、次のフレーム（画面）の処理のためにステップＳ２に戻る。
【０１３３】
一方、リスト内に対象物の候補が１つ以上抽出されている場合には、次のステップＳ７で検出候補領域（存在候補領域）を設定し、続くステップＳ８で、ステップＳ５で作成したリストの温度情報に基づいて、以降の処理で用いるためのテンプレート候補を選択する。具体的には、その検出候補領域の平均温度情報±ΔＴの範囲内の値を持つテンプレートを、１つの検出候補領域内での対象物検出に用いるテンプレート候補とする。
【０１３４】
例えば、先行車存在候補領域に用いるテンプレートとして選択されるのは、温度情報が１００±３°Ｃのテンプレートである。但し、高温部分については、通常の走行環境内では特殊な存在であるため、予め例えば８０°Ｃ以上の領域をテンプレートとして選択してもよい。一方、歩行者存在候補領域に用いるテンプレートとして選択されるのは、温度情報が２８±３°Ｃのテンプレートである。高温部分については、外気温の影響等を考えると、同一の物体でも所定の範囲では温度が変化することを考慮する必要がある。また、上記の例では中温情報を有する対象物を歩行者としているが、例えば動物（犬等）と区別するためには、本ステップで動物のテンプレートも候補として選択される。
【０１３５】
このようにして検出候補領域毎に最適なテンプレートを決定し、次のステップＳ９では決定されたテンプレートを用いて、検出処理（テンプレートマッチング処理）を行う。即ち、赤外画像中でテンプレートマッチング処理を行い、各検出候補領域内での最終的な対象物の有無及びその位置を検出する。本ステップでは、先行車存在候補領域から先行車を検出する場合には、車体テンプレートを用いて、先行車存在候補領域と車体テンプレートでの濃度値（濃淡値）の相関演算によって先行車両の有無とその詳細な位置を検出する。また、歩行者存在候補領域から歩行者を検出する場合には、歩行者存在候補領域と人テンプレートでの濃度値の相関演算によって歩行者の有無とその詳細な位置を検出する。
【０１３６】
なお、上記の説明では、テンプレートマッチング処理時にテンプレートマッチング処理を濃度値での相関演算で行っているが、本実施形態の画像処理装置１００等は、これに限定されるものではなく、例えばエッジ画像をテンプレートとして持っておき、この相関値で最終的な対象物の有無とその位置を検出するようにしてもよい。
【０１３７】
次に、ステップＳ１０では、ステップＳ５で作成されたリストにある検出候補領域の全てに対して検出処理が行われたかどうかを判断する。全ての検出候補領域に対して処理が終了していなければ、処理領域を切り替えるために、ステップＳ７に戻り、次の検出候補領域の設定を行う。リストにある領域の全てについて処理が終了していれば、それまでの処理結果を出力するために次のステップＳ１１へ進む。
【０１３８】
ステップＳ１１では、テンプレートマッチング処理部１３１が上述した検出結果を画像合成処理部１３２に出力する。対象物が検出された場合には、画像合成処理部１３２は、アラート表示を可視画像に重畳する処理を行って、表示部２３０に出力する。
【０１３９】
本実施形態の画像処理装置１００等によれば、処理部１３０は、画素密度変更領域ＡＲＭＤと画素密度変更領域以外の領域（即ち、画素密度非変更領域ＡＲＮＯ）とでは、対象物を検出するための検出処理の内容を異ならせることができる。具体的には、例えばステップＳ８のテンプレート選択において、画素密度非変更領域ＡＲＮＯの検出候補領域に対しては精度（解像度）の高いテンプレートを選択し、画素密度変更領域ＡＲＭＤの検出候補領域に対しては精度（解像度）の低いテンプレートを選択することができる。こうすることで、画素密度非変更領域ＡＲＮＯに対しては精度の高い検出処理が可能になり、画素密度変更領域ＡＲＭＤに対しては、精度は低下するが処理時間を短縮することができるから、より効率的な検出処理（テンプレートマッチング処理）を行うことができる。
【０１４０】
また本実施形態の画像処理装置１００等によれば、処理部１３０は、画素密度変更領域以外の領域（画素密度非変更領域ＡＲＮＯ）での検出処理の結果に基づいて、画素密度変更領域ＡＲＭＤでの検出処理を行うことができる。具体的には、処理部１３０は、画素密度非変更領域ＡＲＮＯでの検出処理で得られた対象物の動きベクトルに基づいて、画素密度変更領域ＡＲＭＤでの検出処理を行うことができる。この動きベクトルは、例えば歩行者など対象物が移動する場合に、対象物が移動する速さ及び方向を表すベクトルである。
【０１４１】
例えば、図５（Ｂ）のＢ１に示すように、画素密度非変更領域ＡＲＮＯで歩行者が検出された場合に、この歩行者の動きベクトルが右方向に向いている時には、処理部１３０は、この動きベクトルに基づいて歩行者が画素密度変更領域ＡＲＭＤに移動することを予測できる。そして予め歩行者の移動先に歩行者存在候補領域を設定し、人テンプレートを選択しておくことができる。こうすることで、画素密度変更領域ＡＲＭＤでの歩行者の検出処理時間を短縮することができる。
【０１４２】
さらに本実施形態の画像処理装置１００等によれば、処理部１３０は、画素密度非変更領域ＡＲＮＯで対象物が検出され、対象物が画素密度変更領域ＡＲＭＤに移動すると予測された場合には、画素密度変更領域ＡＲＭＤにおいて、予測されない場合に比べて画素密度が高い赤外線画像データに基づいて、検出処理を行うことができる。
【０１４３】
画素密度非変更領域ＡＲＮＯで対象物が検出された場合に、対象物が画素密度変更領域ＡＲＭＤに移動するか否かの予測は、例えばその対象物の動きベクトルなどに基づいて、処理部１３０の判定処理により実行される。
【０１４４】
例えば、図５（Ｂ）のＢ１に示すように、画素密度非変更領域ＡＲＮＯで歩行者が検出され、右方向への動きベクトルなどに基づいて、歩行者が画素密度変更領域ＡＲＭＤに移動することを予測する判定処理が行われた場合には、処理部１３０は、画素密度変更領域ＡＲＭＤの赤外線画像データに対して画素密度低減処理を行わない（省略する）ことができる。こうすることで、画素密度変更領域ＡＲＭＤに移動した対象物（歩行者など）に対しても、画素密度非変更領域ＡＲＮＯと同じ画素密度（広義には対象物が画素密度変更領域ＡＲＭＤに移動すると予測されない場合に比べて高い画素密度）を有する赤外線画像データに基づいて検出処理を行うことができるから、より正確に対象物の位置を検出することができる。
【０１４５】
図１１（Ａ）〜図１１（Ｃ）に、３つの走行状況におけるアラート表示の例を示す。図１１（Ａ）〜図１１（Ｃ）は、表示部２３０に表示された画像を示し、上述した第１の走行状況（図５（Ａ））、第２の走行状況（図５（Ｂ））、第３の走行状況（図５（Ｃ））にそれぞれ対応する。
【０１４６】
図１１（Ａ）に示すように、歩行者及び自転車に乗っている人が検出された位置に、歩行者及び自転車の存在をドライバーに知らせるためのアラート記号ＡＭ１、ＡＭ２が可視画像に重畳されて表示される。
【０１４７】
図１１（Ｂ）では、歩行者が検出された位置に、歩行者の存在を知らせるためのアラート記号ＡＭ１が可視画像に重畳されて表示され、また自転車が検出された位置に、自転車の存在を知らせるためのアラート記号ＡＭ２が可視画像に重畳されて表示される。
【０１４８】
図１１（Ｃ）では、中央部の歩行者が検出された位置に、歩行者の存在を知らせるためのアラート記号ＡＭ１が可視画像に重畳されて表示される。
【０１４９】
３．防犯モード
図１２は、本実施形態の画像処理装置１００等の第３の構成例（図３）における防犯モードを説明する図である。図１２に示すように、例えば夜間に自家用車を自宅近くに駐車する場合などに、画像処理装置１００等を防犯モードに設定することにより、夜間の自宅への不審者の侵入などを検出することができる。走行モードと防犯モードとの切換は、モード設定部１４０が行う。
【０１５０】
具体的には、車両のルーフ等に設けた赤外線画像撮像部（赤外線カメラ）２１０により自宅の周囲の赤外線画像を所定の時間間隔で撮像する。防犯モードに設定されている場合には、領域設定部１２０は境界線を非設定にし、処理部１３０は赤外線画像領域の全領域に対して赤外線画像データの画素密度を低減する処理を行う。そして処理部１３０は、画像領域の赤外線画像データに基づいて検出処理を行い、検出処理の結果に基づくアラート表示を含む表示用画像データを生成する処理を行う。処理部１３０は、検出処理によって不審者を検出した場合には、例えばユーザーの携帯端末などに通報する処理を行うことができる。
【０１５１】
防犯モードでは、走行モードに比べて、対象物の位置検出について高い精度は要求されない。不審者の存在を検出できればよいからである。従って、画像領域の全領域に対して画素密度を低減する処理を行うことで、検出処理における演算処理負担を低減することができる。その結果、防犯モードでの消費電力を低減することができるから、駐車時のバッテリーの消費を抑えることができる。
【０１５２】
なお、赤外線カメラ２１０をルーフレール等に設けて、赤外線カメラ２１０の位置を移動させたり、或いは赤外線カメラ２１０を回転できる台座に設けることで、赤外線カメラ２１０の光軸方向を可変に設定することができる。こうすることで、不審者が侵入するおそれがある方向に赤外線カメラ２１０の光軸方向を設定することなどが可能になる。
【０１５３】
図１３は、第３の構成例（図３）による防犯モードの処理のフローチャートである。この処理は画像取得部１１０及び処理部１３０により実行される。
【０１５４】
最初のステップＳ２１で、処理に必要なパラメーターの初期設定を行う。次のステップＳ２２で、設定されているモードが走行モードであるか、或いは防犯モードであるかを判断する。防犯モードに設定されている場合には、次のステップＳ２３が実行される。一方、走行モードに設定されている場合には、上述した走行モードのフローチャート（図１０）のステップＳ２以降の処理が実行される。
【０１５５】
ステップＳ２３では、画像取得部１１０が赤外線カメラ（赤外線画像撮像部）２１０からの赤外線画像データを取得する。そして次のステップＳ２４では、処理部１３０が赤外線画像データの画像領域の全領域に対して画素密度を低減する処理を行い、続いてステップＳ２５で対象物の検出処理（テンプレートマッチング処理）を実行する。この検出処理は、既に説明した図１０のステップＳ４〜Ｓ１０と同様の処理であるから、ここでは詳細な説明を省略する。なお、防犯モードでは、走行モードに比べて、対象物の位置検出について高い精度が要求されないから、精度（解像度）の低いテンプレートを選択することができる。
【０１５６】
検出処理が終了するとステップＳ２６に進み、対象物が検出されたか否かを判断する。対象物が検出された場合には、ステップＳ２７で例えばユーザーの携帯端末など外部に通知する処理を行う。
【０１５７】
対象物が検出されない場合には、ステップＳ２２に戻る。引き続き防犯モードに設定されている場合には、前回の赤外線画像データの取得時から一定時間経過後に、ステップＳ２３で次の赤外線画像データを取得する。一定の時間間隔で赤外線画像データを取得することで、消費電力を低減することができるから、駐車時のバッテリーの消費を抑えることができる。
【０１５８】
このように本実施形態の画像処理装置１００等の第３の構成例によれば、防犯モードに設定することにより、夜間の駐車時に自宅周辺の不審者などを検出することができるから、防犯用に専用のセキュリティシステム等を設置する必要がなくなるため、防犯コストの低減などが可能になる。また、防犯モードでは消費電力を低減することができるから、駐車時のバッテリーの消費を抑えることができる。
【０１５９】
４．カメラシステム
図１４（Ａ）、図１４（Ｂ）に、本実施形態のカメラシステム３１０の車両への搭載例を示す。図１４（Ａ）、図１４（Ｂ）に示すカメラシステム３１０は、画像処理装置１００、赤外線画像撮像部２１０、可視画像撮像部２２０、表示部２３０を含む。なお、本実施形態のカメラシステム３１０は、図１４（Ａ）、図１４（Ｂ）の構成に限定されず、その構成要素の一部を省略したり、他の構成要素に置き換えたり、他の構成要素を追加するなどの種々の変形実施が可能である。
【０１６０】
図１４（Ａ）は車両を上から見た平面図であり、図１４（Ｂ）は車両の側面図である。赤外線画像撮像部（赤外線カメラ）２１０は、例えば車両のバンパー部分に設けられ、可視画像撮像部（可視カメラ）２２０は、例えば車両のルーフに設けられる。画像処理装置１００は、ダッシュボードなどのドライバーが操作しやすい位置に設けられ、表示部２３０はドライバーが視認しやすい位置に設けられる。なお、これら構成要素の搭載位置は、図示される位置に限定されず、例えば赤外線画像撮像部（赤外線カメラ）２１０をルーフに設けてもよい。また、表示部２３０は、ヘッドアップディスプレイであってもよい。
【０１６１】
なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例は全て本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また画像処理装置、画像処理システム、カメラ及びカメラシステムの構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１６２】
１００ 画像処理装置、１１０ 画像取得部、１２０ 領域設定部、１３０ 処理部、
１３１ テンプレートマッチング処理部、１３２ 画像合成処理部、１３３ メモリー、
１３４ 混合演算処理部、１３５ メモリー、１４０ モード設定部、１５０ 記憶部、
２００ 画像処理システム、２１０ 赤外線画像撮像部、２２０ 可視画像撮像部、
２３０ 表示部、３００ カメラ、３１０ カメラシステム、
ＡＲＭＤ 画素密度変更領域、ＡＲＮＯ 画素密度非変更領域、ＢＬ 境界線
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理システム、カメラ及びカメラシステム等に関する。
【背景技術】
【０００２】
ドライバーにとって車外からの視覚情報は運転操作上きわめて重要である。しかしながら、夜間の低照度環境や対向車のライトのような強力な光源の存在によって眩惑されるような環境で運転しなければならない場合も多い。このような肉眼での視認性が悪い環境では、注意深いドライバーにとっても自車に接近する歩行者などの対象物の発見が遅れがちである。
【０００３】
このようなドライバー側の生理学的な問題をカバーするための技術として、赤外線カメラ及び可視カメラにより得られた画像から歩行者等を検出し、画像を加工して表示する手法が、特許文献1に開示されている。
【０００４】
しかしながらこの手法では、対象物を検出するための検出処理の演算処理負荷が大きくなるために、検出時間が長くなる、検出装置が高価になるなどの問題がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２３６３４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の幾つかの態様によれば、対象物を効率良く検出することができる画像処理装置、画像処理システム、カメラ及びカメラシステム等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、赤外線画像データを取得する画像取得部と、前記画像取得部により取得された前記赤外線画像データに基づく画像領域に対して、前記画像領域を複数の領域に分割する境界線を設定し、前記境界線によって分割された複数の領域のうちの少なくとも１つの領域を画素密度変更領域に設定する領域設定部と、前記画素密度変更領域の前記赤外線画像データの画素密度を低減する処理を行い、前記画素密度変更領域を含む前記画像領域の前記赤外線画像データに基づいて対象物の検出処理を行い、前記検出処理の結果に基づいて表示用画像データを生成する処理部とを含む画像処理装置に関係する。
【０００８】
本発明の一態様によれば、赤外線画像データ基づく画像領域に対して、例えば歩行者などの対象物が存在する可能性の低い領域を画素密度変更領域に設定し、その領域の赤外線画像データの画素密度を低減することができる。こうすることで、対象物の検出能力などを低下させずに、検出処理にかかる演算処理負担を低減することができる。その結果、検出時間を短縮したり、処理部の構成を簡素にすることなどが可能になり、効率の良い画像処理装置を実現することなどが可能になる。
【０００９】
また本発明の一態様では、前記領域設定部は、前記画像領域における位置及び形状のうちの少なくとも１つが可変に設定される前記境界線を用いて前記画像領域を区画する設定パターンを決定し、決定された前記設定パターンにおいて前記境界線の前記画像領域における位置及び形状のうちの少なくとも１つを定めてもよい。
【００１０】
このようにすれば、領域設定部は、決定された設定パターンにおいて境界線の画像領域における位置及び形状のうちの少なくとも１つを可変に設定することができるから、例えば車両の走行状況などに応じて適切な画素密度変更領域を設定することができる。
【００１１】
また本発明の一態様では、前記領域設定部は、前記画像領域を分割する前記境界線を用いて前記画像領域を区画する第１の設定パターンを決定可能に備え、決定された前記設定パターンが前記第１の設定パターンである場合には、前記境界線により分割された画像領域のうち、一方の画像領域を前記画素密度変更領域に設定してもよい。
【００１２】
このようにすれば、例えば郊外の道路のように、車両が比較的スムーズに走行している状況などでは、第１の設定パターンにより画像領域を分割することで、対象物が存在する可能性が低い境界線の下側の画像領域を画素密度変更領域に設定することができる。その結果、対象物の検出能力等を低下させずに、検出処理にかかる演算処理負担を低減することができる。
【００１３】
また本発明の一態様では、前記領域設定部は、前記画像領域を３分割し互いに交差しない２本の前記境界線を用いて前記画像領域を区画する第２の設定パターンを決定可能に備え、決定された前記設定パターンが前記第２の設定パターンである場合には、前記境界線により３分割された画像領域のうち、前記２本の境界線で挟まれる画像領域を前記画素密度変更領域に設定してもよい。
【００１４】
このようにすれば、例えば車両が市街地の道路を走行している状況などでは、第２の設定パターンにより画像領域を３分割することで、対象物が存在する可能性が低い２本の境界線で挟まれる画像領域を画素密度変更領域に設定することができる。その結果、対象物の検出能力等を低下させずに、検出処理にかかる演算処理負担を低減することができる。
【００１５】
また本発明の一態様では、前記領域設定部は、前記画像領域において一部の領域を囲む閉曲線を前記境界線として用いて前記画像領域を区画する第３の設定パターンを決定可能に備え、決定された前記設定パターンが前記第３の設定パターンである場合には、前記閉曲線の外側の前記画像領域を前記画素密度変更領域に設定してもよい。
【００１６】
このようにすれば、例えば山間部のように、車両が交通量の少ない道路を走行している状況などでは、第３の設定パターンにより閉曲線で画像領域を区画し、対象物が存在する可能性が低い閉曲線の外側の画像領域を画素密度変更領域に設定することができる。その結果、対象物の検出能力等を低下させずに、検出処理にかかる演算処理負担を低減することができる。
【００１７】
また本発明の一態様では、前記表示用画像データは、前記検出処理の結果に基づくアラート表示を含んでもよい。
【００１８】
このようにすれば、視認性の良いアラート記号を表示することで、ドライバーの危険予知を容易にすることができる。
【００１９】
また本発明の一態様では、前記赤外線画像データは、車両の外部領域の赤外線画像の画像データであり、前記領域設定部は、前記車両の走行状況情報に基づいて、前記設定パターンを決定し、決定された前記設定パターンにおいて前記境界線の前記画像領域における位置及び形状のうちの少なくとも１つを定めてもよい。
【００２０】
このようにすれば、領域設定部は、車両の走行状況に基づいて画素密度変更領域を設定することができるから、例えば車両の速度などに応じて歩行者等の対象物が存在する可能性が高い領域を除いた画像領域を画素密度変更領域として設定することなどが可能になる。
【００２１】
また本発明の一態様では、前記車両の走行状況情報は、前記車両の速度情報であってもよい。
【００２２】
このようにすれば、例えば車両速度が速いほど、より遠方の対象物を効率良く検出できるように画素密度変更領域を設定し、また車両速度が遅いほど、より近くの対象物を効率良く検出できるように画素密度変更領域を設定することなどが可能になる。
【００２３】
また本発明の一態様では、前記領域設定部は、ユーザーによる入力情報に基づいて、前記設定パターンを決定し、決定された前記設定パターンにおいて前記境界線の前記画像領域における位置及び形状のうちの少なくとも１つを定めてもよい。
【００２４】
このようにすれば、ユーザーが車両の走行状況や道路状況などを判断して、適切な画素密度変更領域を設定することができる。
【００２５】
また本発明の一態様では、走行モードと防犯モードとのモード切換設定を行うモード設定部をさらに含み、前記走行モードに設定されている場合には、前記領域設定部は、前記画素密度変更領域を設定し、前記処理部は、前記画素密度変更領域の前記赤外線画像データの画素密度を低減する処理を行い、前記画素密度変更領域を含む前記画像領域の前記赤外線画像データに基づいて前記検出処理を行い、前記検出処理の結果に基づくアラート表示を含む表示用画像データを生成する処理を行い、前記防犯モードに設定されている場合には、前記領域設定部は、前記境界線を非設定にし、前記処理部は、前記画像領域の全領域に対して前記赤外線画像データの画素密度を低減する処理を行い、前記画像領域の前記赤外線画像データに基づいて前記検出処理を行い、前記検出処理の結果に基づくアラート表示を含む表示用画像データを生成する処理を行ってもよい。
【００２６】
このようにすれば、車両の走行時には、モード設定部が走行モードに設定することにより、例えば道路を横断する歩行者等を効率良く検知してドライバーに知らせることができる。また、車両の駐車時には、モード設定部が防犯モードに設定することにより、例えば夜間の自宅への不審者の侵入などを検知し、ユーザーに通報することなどが可能になる。
【００２７】
また本発明の一態様では、前記処理部は、前記画素密度変更領域と前記画素密度変更領域以外の領域とでは、前記検出処理の内容を異ならせてもよい。
【００２８】
このようにすれば、対象物を検出するための検出処理として例えばテンプレートマッチング処理を行う場合に、画素密度変更領域に対しては精度の低いテンプレートを選択し、画素密度変更領域以外の領域に対しては精度の高いテンプレートを選択することができる。その結果、検出処理時間を短縮することができるから、対象物を効率良く検出することなどが可能になる。
【００２９】
また本発明の一態様では、前記処理部は、前記画素密度変更領域以外の領域での前記検出処理の結果に基づいて、前記画素密度変更領域での前記検出処理を行ってもよい。
【００３０】
このようにすれば、例えば画素密度変更領域以外の領域において対象物が検出された場合に、その検出結果に基づいて画素密度変更領域での検出処理を行うことができるから、効率の良い検出処理を行うことなどが可能になる。
【００３１】
また本発明の一態様では、前記画素密度変更領域以外の領域での前記検出処理の結果は、前記対象物の動きベクトルを含んでもよい。
【００３２】
このようにすれば、例えば画素密度変更領域以外の領域において対象物が検出された場合に、この対象物の動きベクトルに基づいて対象物の移動先を予測することができる。そして対象物が画素密度変更領域に移動することが予測された場合には、例えばその対象物に対応するテンプレートを予め選択することができる。その結果、画素密度変更領域において対象物を効率良く検出することなどが可能になる。
【００３３】
また本発明の一態様では、前記画像取得部は、可視画像データを取得し、前記処理部は、前記検出処理を行って、前記検出処理の結果に基づくアラート記号と前記可視画像データとを重畳して表示用画像データを生成する処理を行ってもよい。
【００３４】
このようにすれば、対象物が検出された場合に、その対象物に対応するアラート表示を可視画像に重畳して表示することができるから、ドライバーは視認性の良いアラート表示によって危険を察知することが容易になる。その結果、例えば夜間運転中のドライバーの負担を軽減することなどが可能になる。
【００３５】
本発明の他の態様は、上記いずれかに記載の画像処理装置と、赤外線画像撮像部とを含むカメラシステムに関係する。
【００３６】
本発明の他の態様は、上記いずれかに記載の画像処理装置と、赤外線画像撮像部と、前記画像処理装置と前記赤外線画像撮像部とが内部に配設された筐体とを含むカメラに関係する。
【００３７】
本発明の他の態様は、上記いずれかに記載の画像処理装置と、赤外線画像撮像部と、前記表示用画像データに基づく画像を表示する表示部とを含むカメラシステムに関係する。
【００３８】
本発明の他の態様は、上記いずれかに記載の画像処理装置と、赤外線画像撮像部と、前記表示用画像データに基づく画像を表示する表示部と前記画像処理装置と前記赤外線画像撮像部と前記表示部とが内部に配設された筐体とを含むカメラに関係する。
【００３９】
本発明の他の態様は、赤外線画像データを取得する画像取得部と、前記画像取得部により取得された前記赤外線画像データに基づく画像領域に対して、前記画像領域を複数の領域に分割する境界線を設定し、前記境界線によって分割された複数の領域のうち少なくとも１つの領域を画素密度変更領域に設定する領域設定部と、前記画素密度変更領域の前記赤外線画像データの画素密度を低減する処理を行い、前記画素密度変更領域を含む前記画像領域の前記赤外線画像データに基づいて対象物の検出処理を行い、前記検出処理の結果に基づいて表示用画像データを生成する処理部とを含む画像処理システムに関係する。
【００４０】
本発明の他の態様は、上記いずれかに記載の画像処理装置と、前記表示用画像データに基づく画像を表示する表示部とを含む画像処理システムに関係する。
【００４１】
本発明の他の態様は、赤外線撮像素子が２次元配列された撮像領域を備え、前記撮像領域の一部の領域では前記赤外線撮像素子の間隔が第１の間隔であり、前記撮像領域の前記一部の領域以外の領域では前記赤外線撮像素子の間隔が前記第１の間隔より広い第２の間隔である赤外線画像撮像部と、前記赤外線画像撮像部で撮像された赤外線画像データを取得する画像取得部と、前記画像取得部により取得された前記赤外線画像データのうちの前記撮像領域に対応した画像領域に対して前記赤外線画像データに基づいて対象物の検出処理を行い、前記検出処理の結果に基づいて表示用画像データを生成する処理部とを含むカメラに関係する。
【００４２】
本発明の他の態様によれば、画像取得部は、撮像領域の一部の領域では画素密度が高く、撮像領域の一部の領域以外の領域では画素密度が低い赤外線画像データを取得することができる。こうすることで、赤外線画像データの画素数を低減させることができるから、検出処理における演算処理負担を低減することができる。その結果、検出時間を短縮したり、処理部の構成を簡素にすることなどが可能になり、効率の良いカメラを実現することなどが可能になる。
【図面の簡単な説明】
【００４３】
【図１】画像処理装置、画像処理システム、カメラ及びカメラシステムの第１の構成例。
【図２】画像処理装置、画像処理システム、カメラ及びカメラシステムの第２の構成例。
【図３】画像処理装置、画像処理システム、カメラ及びカメラシステムの第３の構成例。
【図４】カメラの第４の構成例。
【図５】図５（Ａ）〜図５（Ｃ）は、３つの走行状況における画素密度変更領域の設定例。
【図６】図６（Ａ）、図６（Ｂ）は、第１の構成例による画素密度低減処理を説明する図。
【図７】第１の構成例による画素密度低減処理を説明する図。
【図８】図８（Ａ）、図８（Ｂ）は、第２の構成例による画素密度低減処理を説明する図。
【図９】図９（Ａ）、図９（Ｂ）は、第２の構成例による画素密度低減処理を説明する図。
【図１０】画像処理装置等における検出処理のフローチャート。
【図１１】図１１（Ａ）〜図１１（Ｃ）は、３つの走行状況におけるアラート表示の例。
【図１２】第３の構成例における防犯モードを説明する図。
【図１３】第３の構成例による防犯モードの処理のフローチャート。
【図１４】図１４（Ａ）、図１４（Ｂ）は、カメラシステムの車両への搭載例。
【発明を実施するための形態】
【００４４】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００４５】
１．画像処理装置、画像処理システム、カメラ及びカメラシステム
図１に、本実施形態の画像処理装置１００、画像処理システム２００、カメラ３００及びカメラシステム３１０の第１の構成例を示す。第１の構成例の画像処理装置１００は、画像取得部１１０、領域設定部１２０、処理部１３０を含み、記憶部１５０をさらに含んでもよい。画像処理システム２００は、画像処理装置１００及び表示部２３０を含む。カメラ３００は、画像処理装置１００、赤外線画像撮像部２１０、筐体（図示せず）を含み、表示部２３０をさらに含んでもよい。カメラシステム３１０は、画像処理装置１００及び赤外線画像撮像部２１０を含み、さらに表示部２３０を含んでもよい。また、画像処理システム２００は、画像取得部１１０、領域設定部１２０、処理部１３０を含む構成としてもよい。
【００４６】
なお、本実施形態の画像処理装置１００、画像処理システム２００、カメラ３００及びカメラシステム３１０は、図１の構成に限定されず、その構成要素の一部を省略したり、他の構成要素に置き換えたり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００４７】
画像取得部１１０、領域設定部１２０、処理部１３０は、例えばＣＰＵなどのプロセッサーやゲートアレイなどのＡＳＩＣにより実現することができる。また、記憶部１５０は、例えばＲＡＭ、フラッシュメモリー、或いはハードディスクドライブ（ＨＤＤ）などにより実現することができる。なお、記憶部１５０は、省略してもよい。
【００４８】
画像取得部１１０は、赤外線画像撮像部２１０からの赤外線画像を取得し、処理部１３０に対して赤外線画像データを出力する。赤外線画像データは、例えば車両の外部領域の赤外線画像の画像データである。
【００４９】
また、画像取得部１１０は、可視画像撮像部２２０からの可視画像データを取得し、処理部１３０に対して可視画像データを出力する。
【００５０】
領域設定部１２０は、画像取得部１１０により取得された赤外線画像データに基づく画像領域に対して、画像領域を複数の領域に分割する境界線を設定し、境界線によって分割された複数の領域のうちの少なくとも１つの領域を画素密度変更領域に設定する。具体的には、領域設定部１２０は、画像領域における位置及び形状のうちの少なくとも１つが可変に設定される境界線を用いて画像領域を区画する設定パターンを決定する。そして決定された設定パターンにおいて境界線の画像領域における位置及び形状のうちの少なくとも１つを定める。
【００５１】
より具体的には、領域設定部１２０は、車両の走行状況情報や全地球測位システム（ＧＰＳ）により取得された車両位置情報やユーザーによる入力情報などに基づいて、設定パターンを決定し、決定された設定パターンにおいて境界線の画像領域における位置及び形状のうちの少なくとも１つを定める。例えば、領域設定部１２０は、車両の速度情報やヘッドライトの制御情報などに基づいて設定パターンを決定し、境界線の位置及び形状のうちの少なくとも１つを定めることができる。なお、走行状況に応じた設定パターンについては、後で説明する。
【００５２】
ここで画像領域とは、例えば２次元的に撮像素子が配置された赤外線画像撮像部２１０により撮像され、画像取得部１１０により所定の時間間隔で取得される１画面（フレーム）分の画像データである。即ち、１つの画像領域は、赤外線画像撮像部２１０により或るタイミングで撮像された１つの画面（フレーム）を構成する赤外線画像データである。
【００５３】
処理部１３０は、画素密度変更領域の赤外線画像データの画素密度を低減する処理（画素密度低減処理）を行う。そして画素密度変更領域を含む画像領域の赤外線画像データに基づいて対象物の検出処理（テンプレートマッチング処理）を行い、検出処理の結果に基づいて表示用画像データを生成する。この表示用画像データは、検出処理の結果に基づくアラート表示を含んでもよい。また、処理部１３０は、検出処理を行って、検出処理の結果に基づくアラート記号と可視画像データとを重畳して表示用画像データを生成する処理を行う。
【００５４】
具体的には、処理部１３０は、領域設定部１２０により設定された画素密度変更領域ＡＲＭＤの赤外線画像データに対して画素密度を低減する処理を行う。この画素密度を低減する処理（画素密度低減処理）は、画像データ上で等価的に画素密度、即ち単位面積当たりの画素数を減少させる処理であって、例えば１画面（フレーム）を構成する画像データのうちの一定の領域（画素密度変更領域）内にある画素を間引く処理（間引き処理）である。一方、画素密度変更領域ＡＲＭＤを除く画像領域の赤外線画像データに対しては、画素密度低減処理を行わない。以下では、画素密度変更領域ＡＲＭＤを除く画像領域を画素密度非変更領域ＡＲＮＯとも呼ぶ。なお、画素密度低減処理については、後で詳細に説明する。
【００５５】
また処理部１３０は、画素密度変更領域ＡＲＭＤを含む画像領域の赤外線画像データ、即ち画素密度低減処理を行った後の赤外線画像データに基づいて、対象物の検出処理（テンプレートマッチング処理）を行う。即ち、画素密度変更領域ＡＲＭＤでは画素密度非変更領域ＡＲＮＯに比べて画素密度が低い赤外線画像データに基づいて、対象物（例えば歩行者、自転車など）を検出するための検出処理を行う。或いは、画素密度変更領域ＡＲＭＤでは画素密度が第１のしきい値よりも低く、画素密度非変更領域ＡＲＮＯでは画素密度が第２のしきい値よりも高い赤外線画像データに基づいて、対象物を検出するための検出処理を行う。ここで、第１のしきい値は第２のしきい値以下の値であって、第２のしきい値は赤外線画像撮像部２１０において実現可能な画素密度の範囲の値であってもよい。なお、第１、第２のしきい値は、同じ値であってもよい。
【００５６】
処理部１３０は、テンプレートマッチング処理部１３１、画像合成処理部１３２、メモリー１３３を含む。メモリー１３３は、画素密度変更領域ＡＲＭＤに対して画素密度低減処理（間引き処理）を行った後の赤外線画像データを記憶する。このようにすることで、メモリー１３３に記憶された赤外線画像データの画素密度変更領域ＡＲＭＤの画素密度は第１のしきい値よりも低く、画素密度非変更領域ＡＲＮＯの画素密度は第２のしきい値よりも高くなる。テンプレートマッチング処理部１３１は、メモリー１３３に記憶された間引き処理後の赤外線画像データに対して、対象物を検出するためのテンプレートマッチング処理を行う。
【００５７】
画像合成処理部１３２は、テンプレートマッチング処理結果に基づいて、可視画像データにアラート表示（アラート記号）などを重畳する処理を行う。画像合成処理部１３２は、必要に応じて他の情報をさらに合成（重畳）する処理を行ってもよい。また、画像合成処理部１３２は、アラート表示を赤外線画像データに重畳する処理を行ってもよいし、或いは可視画像データ、赤外線画像データ及びアラート表示などを合成（重畳）する処理を行ってもよい。
【００５８】
アラート表示は、ドライバーに歩行者や自転車などの存在を知らせるための記号（アラート記号）である。アラート表示が重畳された可視画像は、表示部２３０に表示される。視認性の良いアラート記号を表示することで、ドライバーの危険予知を容易にすることができる。なお、テンプレートマッチング処理及びアラート表示の詳細については、後述する。
【００５９】
記憶部１５０は、画素密度変更領域ＡＲＭＤと画素密度非変更領域ＡＲＮＯとの境界線を設定する複数の設定パターンを記憶する。領域設定部１２０は、記憶部１５０から複数の設定パターンのうちのいずれか１つの設定パターンを選択して読み出し、読み出された設定パターンに基づいて境界線を設定することができる。こうすることで、例えば予め複数の走行状況に対応する複数の設定パターンを記憶部１５０に記憶しておくことができるから、走行状況に応じて最適な設定パターンを選択することなどが可能になる。
【００６０】
赤外線画像撮像部２１０は、赤外線カメラであって、例えば波長が８〜１２μｍの遠赤外線に感度を有するものである。遠方（例えば２００ｍ先）の対象物を検出するために、焦電素子を用いた赤外線センサーカメラであれば、さらに良い。
【００６１】
可視画像撮像部２２０は、可視光領域に感度を有するカメラであって、例えば撮像素子としてＣＣＤやＣＭＯＳなどを用いるものである。このカメラは、高ダイナミックレンジ（ＨＤＲ：High Dynamic Range）形式の画像データに対応できるものが望ましい。ＨＤＲ形式対応のカメラでは、電子シャッター機能を用いて高速・低速の異なるシャッター時間で被写体の撮像を行い、その２種類の画像信号を信号処理して広いダイナミックレンジを持つ画像を得ることができる。こうすることで、例えば夜間の走行時において、通常は対向車のヘッドライトに妨げられて見えにくくなっている歩行者や対向車自身などを、明瞭に映し出すことができる。
【００６２】
表示部２３０は、赤外線画像、可視画像及びアラート記号などを含む画像を表示する。表示部２３０は、例えば液晶ディスプレイ、有機ＥＬディスプレイなどで実現することができる。
【００６３】
筐体は、図示していないが、その内部に画像処理装置１００と赤外線画像撮像部２１０とが配設される。
【００６４】
図１に示す第１の構成例の画像処理装置１００等によれば、テンプレートマッチング処理の対象となる赤外線画像データの画素数を低減させることができるから、検出処理における演算処理負担を低減することができる。また、対象物を検出した場合に、可視画像の対応する位置に視認性の良いアラート表示を重畳して表示することができるから、夜間運転中のドライバーの負担を軽減することなどが可能になる。
【００６５】
さらに領域設定部１２０が、車両の走行状況情報や車両位置情報やユーザーによる入力情報などに基づいて、設定パターンを決定し、決定された設定パターンにおいて境界線の画像領域における位置及び形状のうちの少なくとも１つを定めることができる。こうすることで、車両の走行状況などに応じて画素密度変更領域ＡＲＭＤ及び画素密度非変更領域ＡＲＮＯを可変に設定することができるから、多様な走行状況や交通状況などに対応して、歩行者などの対象物が存在する可能性の低い領域を画素密度変更領域ＡＲＭＤに設定し、歩行者などの対象物が存在する可能性の高い領域を画素密度非変更領域ＡＲＮＯに設定することができる。その結果、対象物の検出能力（検出精度）を低下させずに、演算処理負担を低減することができる。その結果、検出処理の処理時間を短縮したり、処理部１３０の回路構成を簡素にすることが可能になり、効率の良い画像処理装置等を実現することなどが可能になる。
【００６６】
図２に、本実施形態の画像処理装置１００、画像処理システム２００、カメラ３００及びカメラシステム３１０の第２の構成例を示す。第２の構成例の画像処理装置１００は、画像取得部１１０、領域設定部１２０、処理部１３０を含み、記憶部１５０をさらに含んでもよい。画像処理システム２００は、画像処理装置１００及び表示部２３０を含む。カメラ３００は、画像処理装置１００、赤外線画像撮像部２１０、筐体（図示せず）を含み、表示部２３０をさらに含んでもよい。カメラシステム３１０は、画像処理装置１００及び赤外線画像撮像部２１０を含み、さらに表示部２３０を含んでもよい。また、画像処理システム２００は、画像取得部１１０、領域設定部１２０、処理部１３０を含む構成としてもよい。
【００６７】
なお、本実施形態の画像処理装置１００、画像処理システム２００、カメラ３００及びカメラシステム３１０は、図２の構成に限定されず、その構成要素の一部を省略したり、他の構成要素に置き換えたり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００６８】
画像取得部１１０、領域設定部１２０、記憶部１５０は、第１の構成例（図１）で説明したものと同一であるから、ここでは詳細な説明を省略する。
【００６９】
処理部１３０は、画素密度変更領域の赤外線画像データの画素密度を低減する処理（画素密度低減処理）を行う。そして画素密度変更領域を含む画像領域の赤外線画像データに基づいて対象物の検出処理（テンプレートマッチング処理）を行い、検出処理の結果に基づいて表示用画像データを生成する。この表示用画像データは、検出処理の結果に基づくアラート表示を含んでもよい。また、処理部１３０は、検出処理を行って、検出処理の結果に基づくアラート記号と可視画像データとを重畳して表示用画像データを生成する処理を行う。
【００７０】
具体的には、処理部１３０は、領域設定部１２０により設定された画素密度変更領域ＡＲＭＤの赤外線画像データに対して画素密度を低減する処理を行う。この画素密度を低減する処理（画素密度低減処理）は、画像データ上で等価的に画素密度、即ち単位面積当たりの画素数を減少させる処理であって、例えば１画面（フレーム）を構成する画像データのうちの一定の領域（画素密度変更領域）内において、隣接する複数の画素に対応する画像データを混合演算して１つの画素に対応する画像データとする処理（画素混合演算処理）である。一方、画素密度変更領域ＡＲＭＤを除く画像領域（画素密度非変更領域）ＡＲＮＯの赤外線画像データに対しては、画素密度低減処理を行わない。なお、画素密度低減処理については、後で詳細に説明する。
【００７１】
また処理部１３０は、画素密度変更領域ＡＲＭＤを含む画像領域の赤外線画像データ、即ち画素密度低減処理を行った後の赤外線画像データに基づいて、対象物の検出処理（テンプレートマッチング処理）を行う。即ち、画素密度変更領域ＡＲＭＤでは画素密度非変更領域ＡＲＮＯに比べて画素密度が低い赤外線画像データに基づいて、対象物（例えば歩行者、自転車など）を検出するための検出処理を行う。或いは、画素密度変更領域ＡＲＭＤでは画素密度が第１のしきい値よりも低く、画素密度非変更領域ＡＲＮＯでは画素密度が第２のしきい値よりも高い赤外線画像データに基づいて、対象物を検出するための検出処理を行う。ここで、第１のしきい値は第２のしきい値以下の値であって、第２のしきい値は赤外線画像撮像部２１０において実現可能な画素密度の範囲の値であってもよい。なお、第１、第２のしきい値は、同じ値であってもよい。
【００７２】
処理部１３０は、テンプレートマッチング処理部１３１、画像合成処理部１３２、２つのメモリー１３３、１３５、混合演算処理部１３４を含む。メモリー１３５は、画像取得部１１０からの赤外線画像データを記憶する。混合演算処理部１３４は、メモリー１３５に記憶された赤外線画像データのうちの画素密度変更領域ＡＲＭＤに対応する画像データに対して、画素混合演算処理を行う。メモリー１３３は、画素混合演算処理を行った後の赤外線画像データを記憶する。このようにすることで、メモリー１３３に記憶された赤外線画像データの画素密度変更領域ＡＲＭＤの画素密度は第１のしきい値よりも低く、画素密度非変更領域ＡＲＮＯの画素密度は第２のしきい値よりも高くなる。テンプレートマッチング処理部１３１は、メモリー１３３に記憶された画素混合演算処理後の赤外線画像データに対して、対象物を検出するためのテンプレートマッチング処理を行う。
【００７３】
画像合成処理部１３２は、テンプレートマッチング処理結果に基づいて、可視画像データにアラート表示（アラート記号）などを重畳する処理を行う。画像合成処理部１３２は、必要に応じて他の情報をさらに合成（重畳）する処理を行ってもよい。また、画像合成処理部１３２は、アラート表示を赤外線画像データに重畳する処理を行ってもよいし、或いは可視画像データ、赤外線画像データ及びアラート表示などを合成（重畳）する処理を行ってもよい。
【００７４】
赤外線画像撮像部２１０、可視画像撮像部２２０、表示部２３０及び筐体（図示せず）は、第１の構成例（図１）で説明したものと同一であるから、ここでは詳細な説明を省略する。
【００７５】
図２に示す第２の構成例の画像処理装置１００等によれば、第１の構成例と同様に、テンプレートマッチング処理の対象となる赤外線画像データの画素数を低減させることができるから、検出処理における演算処理負担を低減することができる。また、対象物を検出した場合に、可視画像の対応する位置に視認性の良いアラート表示を重畳して表示することができるから、夜間運転中のドライバーの負担を軽減することなどが可能になる。
【００７６】
さらに第１の構成例と同様に、領域設定部１２０が、車両の走行状況情報や車両位置情報やユーザーによる入力情報などに基づいて、設定パターンを決定し、決定された設定パターンにおいて境界線の画像領域における位置及び形状のうちの少なくとも１つを定めることができる。こうすることで、車両の走行状況などに応じて画素密度変更領域ＡＲＭＤ及び画素密度非変更領域ＡＲＮＯを可変に設定することができるから、対象物の検出能力（検出精度）を低下させずに、効率の良い画像処理装置等を実現することなどが可能になる。
【００７７】
さらに第２の構成例では、画素密度低減処理として画素混合演算処理を行うことができるから、後述するように、画素密度変更領域ＡＲＭＤにおける感度（赤外線検出感度）の低下を防ぐことができる。
【００７８】
図３に、本実施形態の画像処理装置１００、画像処理システム２００、カメラ３００及びカメラシステム３１０の第３の構成例を示す。第３の構成例の画像処理装置１００は、画像取得部１１０、領域設定部１２０、処理部１３０、モード設定部１４０を含み、記憶部１５０をさらに含んでもよい。画像処理システム２００は、画像処理装置１００及び表示部２３０を含む。カメラ３００は、画像処理装置１００、赤外線画像撮像部２１０、筐体（図示せず）を含み、表示部２３０をさらに含んでもよい。カメラシステム３１０は、画像処理装置１００及び赤外線画像撮像部２１０を含み、さらに表示部２３０を含んでもよい。また、画像処理システム２００は、画像取得部１１０、領域設定部１２０、処理部１３０を含む構成としてもよい。
【００７９】
なお、本実施形態の画像処理装置１００、画像処理システム２００、カメラ３００及びカメラシステム３１０は、図３の構成に限定されず、その構成要素の一部を省略したり、他の構成要素に置き換えたり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００８０】
画像取得部１１０、領域設定部１２０、記憶部１５０は、第１の構成例（図１）で説明したものと同一であるから、ここでは詳細な説明を省略する。
【００８１】
処理部１３０は、第１の構成例（図１）又は第２の構成例（図２）で説明したものと同一であるから、ここでは詳細な説明を省略する。
【００８２】
モード設定部１４０は、走行モードと防犯モードとのモード切換設定を行う。走行モードは、車両の走行中に設定されるモードであって、例えば車両の夜間走行時などに車両前方の歩行者等を検出してドライバーに警告を発するモードである。また、防犯モードは、車両の駐車中に設定されるモードであって、例えば夜間に車両が自宅に隣接して駐車している時に、自宅への侵入者等を検出して警告を発するモードである。
【００８３】
画像処理装置１００が走行モードに設定されている場合には、領域設定部１２０は、上述したように設定パターンを決定し、決定された設定パターンにおいて境界線を決定して画素密度変更領域ＡＲＭＤを設定する。そして処理部１３０は画素密度変更領域ＡＲＭＤの赤外線画像データの画素密度を低減する処理を行い、画素密度変更領域ＡＲＭＤを含む画像領域の赤外線画像データに基づいて検出処理を行う。そして検出処理の結果に基づくアラート表示を含む表示用画像データを生成する処理を行う。
【００８４】
一方、画像処理装置１００が防犯モードに設定されている場合には、領域設定部１２０は境界線を非設定にする。そして処理部１３０は画像領域の全領域に対して赤外線画像データの画素密度を低減する処理を行い、画像領域の赤外線画像データに基づいて検出処理を行い、検出処理の結果に基づくアラート表示を含む表示用画像データを生成する処理を行う。そして検出処理によって不審者を検出した場合には、処理部１３０はユーザーの携帯端末などに通報する処理を行うことができる。なお、防犯モードの詳細については、後述する。
【００８５】
図３に示す第３の構成例の画像処理装置１００等によれば、走行モードに設定された場合には、第１、第２の構成例と同様に、テンプレートマッチング処理の対象となる赤外線画像データの画素数を低減させることができるから、検出処理における演算処理負担を低減することができる。また、対象物を検出した場合に、可視画像の対応する位置に視認性の良いアラート表示を重畳して表示することができるから、夜間運転中のドライバーの負担を軽減することなどが可能になる。
【００８６】
さらに第３の構成例では、防犯モードに設定することにより、夜間の駐車時に自宅周辺の不審者などを検出することができるから、防犯用に専用のセキュリティシステム等を設置する必要がなくなるため、防犯コストの低減などが可能になる。
【００８７】
図４に、本実施形態のカメラ３００の第４の構成例を示す。第４の構成例のカメラ３００は、赤外線画像撮像部２１０、画像取得部１１０、処理部１３０を含み、さらに表示部２３０を含んでもよい。なお、本実施形態のカメラ３００は、図４の構成に限定されず、その構成要素の一部を省略したり、他の構成要素に置き換えたり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００８８】
赤外線画像撮像部２１０は、赤外線カメラであって、例えば波長が８〜１２μｍの遠赤外線に感度を有するものである。遠方（例えば２００ｍ先）の対象物を検出するために、焦電素子を用いた赤外線センサーカメラであれば、さらに良い。
【００８９】
赤外線画像撮像部２１０は、赤外線撮像素子が二次元配列された撮像領域を備え、撮像領域の一部の領域ＩＲＨＤでは赤外線撮像素子の間隔が第１の間隔であり、撮像領域の一部の領域ＩＲＨＤ以外の撮像領域ＩＲＬＤでは赤外線撮像素子の間隔が第１の間隔より広い第２の間隔である。即ち、撮像領域ＩＲＨＤでは赤外線画像の画素密度が高く、撮像領域ＩＲＬＤでは赤外線画像の画素密度がＩＲＨＤに比べて低くなる。或いは、撮像領域ＩＲＨＤの画素密度は第１のしきい値よりも高く、撮像領域ＩＲＬＤの画素密度は第２のしきい値よりも低い。ここで、第１のしきい値は第２のしきい値以上の値であって、第１、第２のしきい値は共に赤外線画像撮像部２１０において実現可能な画素密度の範囲の値である。なお、第１、第２のしきい値は、同じ値であってもよい。
【００９０】
赤外線撮像素子の間隔とは、例えば赤外線画像撮像部２１０の撮像面において、１つの画素（赤外線センサー素子）とそれに隣接する画素との配置間隔である。画素密度とは、例えば赤外線画像撮像部２１０の撮像面における単位面積当たりの画素数である。
【００９１】
画像取得部１１０は、赤外線画像撮像部２１０で撮像された赤外線画像データを取得し、処理部１３０に対して赤外線画像データを出力する。
【００９２】
処理部１３０は、画像取得部１１０により取得された赤外線画像データのうちの撮像領域に対応した画像領域に対して、赤外線画像データに基づいて対象物の検出処理（テンプレートマッチング処理）を行い、検出処理の結果に基づいて表示用画像データを生成する。
【００９３】
処理部１３０は、テンプレートマッチング処理部１３１及び画像合成処理部１３２を含む。テンプレートマッチング処理部１３１は、画像取得部１１０からの赤外線画像データに基づいて、対象物を検出するためのテンプレートマッチング処理を行う。画像合成処理部１３２は、テンプレートマッチング処理結果に基づいて、赤外線画像にアラート表示（アラート記号）などを重畳する処理を行う。画像合成処理部１３２は、必要に応じて他の情報をさらに合成（重畳）する処理を行ってもよい。
【００９４】
画像取得部１１０及び処理部１３０は、例えばＣＰＵなどのプロセッサーやゲートアレイなどのＡＳＩＣにより実現することができる。
【００９５】
図４に示す第４の構成例のカメラ３００によれば、赤外線カメラ（赤外線画像撮像部）２１０により撮像された赤外線画像データに基づいて検出処理（テンプレートマッチング処理）を行って、歩行者などの対象物を検出することができる。この赤外線画像データの画像領域は、画素密度が高い撮像領域ＩＲＨＤに対応する画像領域と画素密度が低い撮像領域ＩＲＬＤに対応する画像領域とを含む。こうすることで、赤外線画像データの画素数を低減させることができるから、検出処理における演算処理負担を低減することができる。
【００９６】
例えば赤外線画像撮像部２１０の撮像領域において、歩行者などの対象物が撮像される可能性の高い領域を撮像領域ＩＲＨＤに設定し、対象物が撮像される可能性が低い領域を撮像領域ＩＲＬＤに設定することで、対象物の検出能力（検出精度）を低下させずに、演算処理負担を低減することができる。その結果、検出処理の処理時間を短縮したり、処理部１３０の回路構成を簡素にすることが可能になり、効率の良い制御システムを実現することなどが可能になる。
【００９７】
２．画素密度変更領域の設定及び検出処理
図５（Ａ）〜図５（Ｃ）に、３つの走行状況における画素密度変更領域ＡＲＭＤの設定例を示す。図５（Ａ）は、例えば郊外の道路のように比較的スムーズに走行している状況において、設定パターンが第１の設定パターンに決定された場合の設定例である。図５（Ｂ）は、例えば市街地の道路を走行している状況において、設定パターンが第２の設定パターンに決定された場合の設定例である。図５（Ｃ）は、例えば山間部のように交通量の少ない道路を走行している状況において、設定パターンが第３の設定パターンに決定された場合の設定例である。図５（Ａ）〜図５（Ｃ）は、各走行状況における赤外線画像の１フレーム（画面）であり、道路の左端ＬＴ、道路の右端ＲＴ、センターラインＣＬを示す。
【００９８】
以下の説明において、車両に取り付けられた赤外線画像撮像部２１０（赤外線カメラ）からの赤外線画像において、鉛直方向（重力の方向）を「垂直方向」とし、鉛直方向と直交する方向を「水平方向」とする。或いは、道路面に対して垂直な方向を「垂直方向」とし、道路面に対して平行な方向を「水平方向」としてもよい。また、鉛直上向きを「上」、鉛直下向きを「下」とし、画像に向かって右手水平方向を「右」、左手水平方向を「左」とする。
【００９９】
図５（Ａ）の第１の設定パターンの場合には、領域設定部１２０は、赤外線画像データに基づく画像領域を分割する境界線ＢＬを用いて画像領域を区画する。例えば、図５（Ａ）に示すように、境界線ＢＬを水平方向に設定する。そして水平方向に設定された境界線ＢＬにより分割された画像領域のうち、上側の画像領域（広義には一方の画像領域）を画素密度非変更領域ＡＲＮＯに設定し、下側の画像領域（広義には他方の画像領域）を画素密度変更領域ＡＲＭＤに設定する。
【０１００】
図５（Ａ）に示す走行状況では、夜間に肉眼で視認することが難しい遠方（例えば４０ｍ以上前方）の歩行者や自転車等を検出することが重要になる。そこで、水平方向に境界線ＢＬを設定し、その境界線ＢＬの上側の領域、即ち遠方の対象物が映し出される領域を画素密度非変更領域ＡＲＮＯに設定する。一方、境界線ＢＬの下側の領域は、画素密度変更領域ＡＲＭＤに設定される。こうすることで、例えば道路を横断しようとする歩行者（図５（Ａ）のＡ１）や自転車に乗った人（図５（Ａ）のＡ２）を画素密度が高い赤外線画像データを用いて検出することができる。
【０１０１】
図５（Ｂ）の第２の設定パターンの場合には、領域設定部１２０は、赤外線画像データに基づく画像領域を３分割し互いに交差しない２本の境界線を用いて画像領域を区画する。例えば図５（Ｂ）に示すように、２本の境界線ＢＬ１、ＢＬ２を垂直方向に設定する。そして垂直方向に設定された境界線ＢＬ１、ＢＬ２により３分割された画像領域のうち、中央の画像領域（広義には２本の境界線で挟まれる画像領域）を画素密度変更領域ＡＲＭＤに設定する。
【０１０２】
図５（Ｂ）に示す走行状況では、対向車のヘッドライトにより幻惑されやすい近距離において、道路脇から飛び出してくる歩行者や自転車等を検出することが重要になる。そこで、垂直方向に第１、第２の境界線ＢＬ１、ＢＬ２を設定し、第１の境界線ＢＬ１の左側の領域と第２の境界線ＢＬ２の右側の領域とを共に画素密度非変更領域ＡＲＮＯに設定する。一方、２つの境界線ＢＬ１、ＢＬ２に挟まれた領域、即ち中央の領域は、画素密度変更領域ＡＲＭＤに設定される。こうすることで、例えば車両の直前を横断しようとする歩行者（図５（Ｂ）のＢ１）や自転車に乗った人（図５（Ｂ）のＢ２）を画素密度が高い赤外線画像データを用いて検出することができる。
【０１０３】
図５（Ｃ）の第３の設定パターンの場合には、領域設定部１２０は、赤外線画像データに基づく画像領域において一部の領域を囲む閉曲線を境界線として用いて画像領域を区画する。例えば図５（Ｂ）に示すように、閉曲線である境界線ＢＬを画像領域の中央部に設定する。そして閉曲線の外側の画像領域を画素密度変更領域ＡＲＭＤに設定する。ここで閉曲線とは、閉じた図形であればよく、例えば多角形であってもよい。
【０１０４】
図５（Ｃ）に示す走行状況では、車両速度が速いことを考慮して、より遠方（例えば１００ｍ以上前方）の対象物を検出することが重要になる。そこで、画面の中央部などの限定された領域を画素密度非変更領域ＡＲＮＯに設定し、それ以外の領域（画面の周辺部）を画素密度変更領域ＡＲＭＤに設定する。こうすることで、例えば車両の遠方を横断しようとする歩行者（図５（Ｃ）のＣ１）等を画素密度が高い赤外線画像データを用いて検出することができる。
【０１０５】
なお、境界線の位置は固定ではなく、例えば車両の速度情報やヘッドライトの制御情報などに基づいて可変に設定することができる。具体的には、例えば図５（Ａ）において、車両速度が速いほど境界線の位置を画面の上方にシフトさせてもよいし、或いは、ヘッドライトをハイビームに切り換えた時に、境界線の位置を画面の上方にシフトさせ、ロービームに切り換えた時に、境界線の位置を画面の下方にシフトさせてもよい。
【０１０６】
また、ユーザー（ドライバー）による入力情報に基づいて、境界線の位置、形状等を可変に設定することもできる。具体的には、ドライバーが交通状況に応じて境界線設定情報を入力することにより、例えば図５（Ｂ）において、２つの境界線ＢＬ１、ＢＬ２の位置を左方又は右方にシフトさせたり、例えば図５（Ｃ）において、画面中央部の閉曲線（境界線）ＢＬの位置又は大きさを変化させたりすることができる。
【０１０７】
図６（Ａ）、図６（Ｂ）、図７は、画像処理装置１００の第１の構成例（図１）による画素密度低減処理（画素の間引き処理）を説明する図である。これらの図では、赤外線画像撮像部２１０から取得された１画面（フレーム）分の赤外線画像データが、１２行×１４列の画素に対応する場合を例として説明する。なお、以下の説明では、例えば第２行第３列の画素をＰ（２，３）と表記する。また、画素Ｐ（２，３）の画像データを読み出し、その画像データをメモリー１３３に記憶することを、便宜的に「Ｐ（２，３）を読み出す」と表記する。
【０１０８】
図６（Ａ）は、垂直方向に設定された２つの境界線ＢＬ１、ＢＬ２により分割された領域のうち、左側の領域と右側の領域とを共に画素密度非変更領域ＡＲＮＯに設定し、中央の領域（２つの境界線ＢＬ１、ＢＬ２により挟まれた領域）を画素密度変更領域ＡＲＭＤに設定する場合である。処理部１３０は、以下のように画素の間引き処理を行ってメモリー１３３に画像データを記憶する。なお、境界線ＢＬ１、ＢＬ２の位置は、図示したものに限定されず、他の位置に設定されてもよい。
【０１０９】
処理部１３０は、第１行の画素Ｐ（１，１）からＰ（１，４）までを順番に読み出す。次にＰ（１，５）を読み出さずにスキップして、Ｐ（１，６）を読み出す。次にＰ（１，７）を読み出さずにスキップして、Ｐ（１，８）を読み出す。次にＰ（１，９）を読み出さずにスキップして、Ｐ（１，１０）を読み出す。そしてＰ（１，１１）からＰ（１，１４）までを順番に読み出す。次に第２行の画素については、Ｐ（２，１）〜Ｐ（２，４）を読み出し、Ｐ（２，５）〜Ｐ（２，１０）をスキップし、Ｐ（２，１１）〜Ｐ（２，１４）を読み出す。そして第３行の画素については、１行目と同様に、Ｐ（３，１）〜Ｐ（３，４）、Ｐ（３，６）、Ｐ（３，８）、Ｐ（３，１０）、Ｐ（３，１１）〜Ｐ（３，１４）を読み出し、これ以外の画素をスキップする。第４行以降についても、上記と同様に画素の間引き処理を行う。
【０１１０】
このようにすることで、図６（Ａ）に示すように、画素密度非変更領域ＡＲＮＯについては画素が間引かれず、画素密度変更領域ＡＲＭＤについては画素数が１／４に減少し、即ち画素密度が１／４に低減される。図６（Ａ）で網掛けされた画素に対応する画像データがメモリー１３３に記憶される。
【０１１１】
図６（Ｂ）は、水平方向に設定された境界線ＢＬの上側の領域を画素密度非変更領域ＡＲＮＯに設定し、境界線ＢＬの下側の領域を画素密度変更領域ＡＲＭＤに設定する場合である。処理部１３０は、以下のように画素の間引き処理を行ってメモリー１３３に画像データを記憶する。なお、境界線ＢＬの位置は、図示したものに限定されず、他の位置に設定されてもよい。
【０１１２】
処理部１３０は、画素密度非変更領域ＡＲＮＯについては、間引き処理を行わずに第１行から第６行までの画素を順番に読み出す。そして画素密度変更領域ＡＲＭＤについては、奇数行では１つおきに画素を読み出し、偶数行では全ての画素をスキップする。例えば第７行では、Ｐ（７，２）、Ｐ（７，４）、Ｐ（７，６）、Ｐ（７，８）、Ｐ（７，１０）、Ｐ（７，１２）、Ｐ（７，１４）が読み出され、第８行では全ての画素がスキップされる。
【０１１３】
このようにすることで、図６（Ｂ）に示すように、画素密度非変更領域ＡＲＮＯについては画素が間引かれず、画素密度変更領域ＡＲＭＤについては画素数が１／４に減少し、即ち画素密度が１／４に低減される。図６（Ｂ）で網掛けされた画素に対応する画像データがメモリー１３３に記憶される。
【０１１４】
図７は、中央部に設定された境界線ＢＬに取り囲まれた領域を画素密度非変更領域ＡＲＮＯに設定し、中央部に設定された境界線ＢＬの外側の領域を画素密度変更領域ＡＲＭＤに設定する場合である。処理部１３０は、以下のように画素の間引き処理を行ってメモリー１３３に画像データを記憶する。なお、境界線ＢＬの位置は、図示したものに限定されず、他の位置に設定されてもよい。
【０１１５】
処理部１３０は、画素密度非変更領域ＡＲＮＯについては、全ての画素を読み出す。そして画素密度変更領域ＡＲＭＤについては、奇数行では１つおきに画素を読み出し、偶数行では全ての画素をスキップする。例えば第１行では、Ｐ（１，２）、Ｐ（１，４）、Ｐ（１，６）、Ｐ（１，８）、Ｐ（１，１０）、Ｐ（１，１２）、Ｐ（１，１４）が読み出され、第２行では全ての画素がスキップされる。第５行では、Ｐ（５，２）、Ｐ（５，４）、Ｐ（５，５）〜Ｐ（５，１０）、Ｐ（５，１２）、Ｐ（５，１４）が読み出される。
【０１１６】
このようにすることで、図７に示すように、画素密度非変更領域ＡＲＮＯについては画素が間引かれず、画素密度変更領域ＡＲＭＤについては画素数が１／４に減少し、即ち画素密度が１／４に低減される。図７で網掛けされた画素に対応する画像データがメモリー１３３に記憶される。
【０１１７】
図８（Ａ）、図８（Ｂ）、図９（Ａ）、図９（Ｂ）は、画像処理装置１００の第２の構成例（図２）による画素密度低減処理（画素混合演算処理）を説明する図である。これらの図では、赤外線画像撮像部２１０から取得された１画面（フレーム）分の赤外線画像データが、１２行×１４列の画素に対応する場合を例として説明する。なお、以下の説明では、例えば第２行第３列の画素をＰ（２，３）と表記する。
【０１１８】
図８（Ａ）に示すように、始めに処理部１３０は、全ての画素を読み出して、画像データをメモリー１３５に記憶する。そして以下に説明するように、画素混合演算処理を行って、その結果をメモリー１３３に記憶する。
【０１１９】
図８（Ｂ）は、垂直方向に設定された２つの境界線ＢＬ１、ＢＬ２により分割された領域のうち、左側の領域と右側の領域とを共に画素密度非変更領域ＡＲＮＯに設定し、中央の領域（２つの境界線ＢＬ１、ＢＬ２により挟まれた領域）を画素密度変更領域ＡＲＭＤに設定する場合である。なお、境界線ＢＬ１、ＢＬ２の位置は、図示したものに限定されず、他の位置に設定されてもよい。
【０１２０】
処理部１３０は、画素密度非変更領域ＡＲＮＯについては画素混合演算処理を行わずに、画像データをそのままメモリー１３３に記憶する。一方、画素密度変更領域ＡＲＭＤについては、４つの画素の画像データを混合演算処理し、その結果を１つの画素の画像データとしてメモリー１３３に記憶する。例えば、４つの画素Ｐ（１，７）、Ｐ（２，７）、Ｐ（１，８）、Ｐ（２，８）について画像データを混合演算処理し、その結果を１つの画素Ｐ（１，８）の画像データとしてメモリー１３３に記憶する。図８（Ｂ）では、混合演算処理の単位となる４つの画素をＡ、Ｂ、Ｃ、Ｄで示し、処理結果を画素Ｄの画像データとしてメモリー１３３に記憶する。このようにすることで、画素密度非変更領域ＡＲＮＯについては画素密度が変化せず、画素密度変更領域ＡＲＭＤについては画素数が１／４に減少し、即ち画素密度が１／４に低減される。
【０１２１】
図９（Ａ）は、水平方向に設定された境界線ＢＬの上側の領域を画素密度非変更領域ＡＲＮＯに設定し、境界線ＢＬの下側の領域を画素密度変更領域ＡＲＭＤに設定する場合である。なお、境界線ＢＬの位置は、図示したものに限定されず、他の位置に設定されてもよい。
【０１２２】
この場合も図８（Ｂ）と同様に、処理部１３０は、画素密度非変更領域ＡＲＮＯについては画素混合演算処理を行わずに、画像データをそのままメモリー１３３に記憶する。一方、画素密度変更領域ＡＲＭＤについては、４つの画素の画像データを混合演算処理し、その結果を１つの画素の画像データとしてメモリー１３３に記憶する。例えば、４つの画素Ｐ（９，１）、Ｐ（１０，１）、Ｐ（９，２）、Ｐ（１０，２）について画像データを混合演算処理し、その結果を１つの画素Ｐ（９，２）の画像データとしてメモリー１３３に記憶する。このようにすることで、画素密度非変更領域ＡＲＮＯについては画素密度が変化せず、画素密度変更領域ＡＲＭＤについては画素数が１／４に減少し、即ち画素密度が１／４に低減される。
【０１２３】
図９（Ｂ）は、中央部に設定された境界線ＢＬに取り囲まれた領域を画素密度非変更領域ＡＲＮＯに設定し、中央部に設定された境界線ＢＬの外側の領域を画素密度変更領域ＡＲＭＤに設定する場合である。なお、境界線ＢＬの位置は、図示したものに限定されず、他の位置に設定されてもよい。
【０１２４】
この場合も図８（Ｂ）、図９（Ａ）と同様に、処理部１３０は、画素密度非変更領域ＡＲＮＯについては画素混合演算処理を行わずに、画像データをそのままメモリー１３３に記憶する。一方、画素密度変更領域ＡＲＭＤについては、４つの画素の画像データを混合演算処理し、その結果を１つの画素の画像データとしてメモリー１３３に記憶する。例えば、４つの画素Ｐ（１，１）、Ｐ（２，１）、Ｐ（１，２）、Ｐ（２，２）について画像データを混合演算処理し、その結果を１つの画素Ｐ（１，２）の画像データとしてメモリー１３３に記憶する。このようにすることで、画素密度非変更領域ＡＲＮＯについては画素密度が変化せず、画素密度変更領域ＡＲＭＤについては画素数が１／４に減少し、即ち画素密度が１／４に低減される。
【０１２５】
以上説明した画素混合演算処理によれば、４つの画素Ａ、Ｂ、Ｃ、Ｄの画像データを混合して１つの画素Ｄの画像データとするから、１つの画素Ｄの感度を等価的に４倍にすることになる。従って、画素密度変更領域ＡＲＭＤにおいて、画素密度が１／４になっても、単位面積当たりの感度（赤外線検出感度）は変化しない。
【０１２６】
図１０は、本実施形態の画像処理装置１００等における検出処理（テンプレートマッチング処理）のフローチャートである。このテンプレートマッチング処理は、処理部１３０に含まれるテンプレートマッチング処理部１３１により実行される。
【０１２７】
最初のステップＳ１で、処理に必要なパラメーターの初期設定を行う。次のステップＳ２で、画像取得部１１０が赤外線カメラ（赤外線画像撮像部）２１０からの赤外線画像を取得する。そして次のステップ３では、領域設定部１２０からの境界線設定情報に基づいて、赤外線画像（熱画像）データの１フレーム（１画面）分のデータ毎に画素密度変更領域ＡＲＭＤが設定され、画素密度変更領域ＡＲＭＤの画像データに対して画素密度の低減処理が実行される。なお、カメラ３００の第４の構成例（図４）の場合には、赤外線画像撮像部２１０から取得された画像データが、画素密度が高い撮像領域ＩＲＨＤに対応する画像領域と画素密度が低い撮像領域ＩＲＬＤに対応する画像領域とを含むから、このステップ３を省略してもよい。
【０１２８】
次にステップＳ４では、画素密度低減処理後の赤外線画像データから検出候補領域を抽出する。具体的には、対象物の特徴を表す温度領域を塊として抽出する。ここでは例として、先行車両及び歩行者（人物）を検出対象とする場合について説明する。これ以外のものを検出の対象とする場合には、その対象が有する温度情報を特徴量として、それぞれ本ステップにおいて処理対象に加えればよい。
【０１２９】
先行車両の場合は、マフラー領域が１００°Ｃ程度の高温になることを利用して、赤外線画像中から例えば８０°Ｃ以上の温度情報を有する領域を探索して、その領域の位置情報と温度情報を検出する。
【０１３０】
一方、歩行者の場合は、露出している顔及び首の表面温度が３０°Ｃ程度の中温になることを利用して、熱画像中から例えば３０°Ｃ程度の温度情報を有する領域を探索して、その領域の位置情報と温度情報を検出する。ここで、各領域で検出される結果のうち、位置情報としては例えば塊の重心座標位置とすればよく、温度情報としては例えば塊の平均温度とすればよい。また重心座標位置以外に、縦横比、充足率、実面積などの条件を満たす部位の存在を調べる。これによって、歩行者の存在位置を画面上の２次元座標上で画面全体の幅と高さに対する割合で求める。
【０１３１】
そして、ステップＳ５では、ステップＳ４で得られた各領域の位置情報と温度情報を対応付けした位置及び温度リストを作成して以降の処理に進む。
【０１３２】
次のステップＳ６では、ステップＳ５で作成したリストに基づいて、検出候補があるか否か、即ち検出対象である先行車や歩行者の特徴量を示す温度情報が抽出されているか否かを判断する。リスト内に対象物の候補が１つも抽出されていない場合には、今回の赤外線画像の中には検出対象である先行車や歩行者が存在しないものと判断して、次のフレーム（画面）の処理のためにステップＳ２に戻る。
【０１３３】
一方、リスト内に対象物の候補が１つ以上抽出されている場合には、次のステップＳ７で検出候補領域（存在候補領域）を設定し、続くステップＳ８で、ステップＳ５で作成したリストの温度情報に基づいて、以降の処理で用いるためのテンプレート候補を選択する。具体的には、その検出候補領域の平均温度情報±ΔＴの範囲内の値を持つテンプレートを、１つの検出候補領域内での対象物検出に用いるテンプレート候補とする。
【０１３４】
例えば、先行車存在候補領域に用いるテンプレートとして選択されるのは、温度情報が１００±３°Ｃのテンプレートである。但し、高温部分については、通常の走行環境内では特殊な存在であるため、予め例えば８０°Ｃ以上の領域をテンプレートとして選択してもよい。一方、歩行者存在候補領域に用いるテンプレートとして選択されるのは、温度情報が２８±３°Ｃのテンプレートである。高温部分については、外気温の影響等を考えると、同一の物体でも所定の範囲では温度が変化することを考慮する必要がある。また、上記の例では中温情報を有する対象物を歩行者としているが、例えば動物（犬等）と区別するためには、本ステップで動物のテンプレートも候補として選択される。
【０１３５】
このようにして検出候補領域毎に最適なテンプレートを決定し、次のステップＳ９では決定されたテンプレートを用いて、検出処理（テンプレートマッチング処理）を行う。即ち、赤外画像中でテンプレートマッチング処理を行い、各検出候補領域内での最終的な対象物の有無及びその位置を検出する。本ステップでは、先行車存在候補領域から先行車を検出する場合には、車体テンプレートを用いて、先行車存在候補領域と車体テンプレートでの濃度値（濃淡値）の相関演算によって先行車両の有無とその詳細な位置を検出する。また、歩行者存在候補領域から歩行者を検出する場合には、歩行者存在候補領域と人テンプレートでの濃度値の相関演算によって歩行者の有無とその詳細な位置を検出する。
【０１３６】
なお、上記の説明では、テンプレートマッチング処理時にテンプレートマッチング処理を濃度値での相関演算で行っているが、本実施形態の画像処理装置１００等は、これに限定されるものではなく、例えばエッジ画像をテンプレートとして持っておき、この相関値で最終的な対象物の有無とその位置を検出するようにしてもよい。
【０１３７】
次に、ステップＳ１０では、ステップＳ５で作成されたリストにある検出候補領域の全てに対して検出処理が行われたかどうかを判断する。全ての検出候補領域に対して処理が終了していなければ、処理領域を切り替えるために、ステップＳ７に戻り、次の検出候補領域の設定を行う。リストにある領域の全てについて処理が終了していれば、それまでの処理結果を出力するために次のステップＳ１１へ進む。
【０１３８】
ステップＳ１１では、テンプレートマッチング処理部１３１が上述した検出結果を画像合成処理部１３２に出力する。対象物が検出された場合には、画像合成処理部１３２は、アラート表示を可視画像に重畳する処理を行って、表示部２３０に出力する。
【０１３９】
本実施形態の画像処理装置１００等によれば、処理部１３０は、画素密度変更領域ＡＲＭＤと画素密度変更領域以外の領域（即ち、画素密度非変更領域ＡＲＮＯ）とでは、対象物を検出するための検出処理の内容を異ならせることができる。具体的には、例えばステップＳ８のテンプレート選択において、画素密度非変更領域ＡＲＮＯの検出候補領域に対しては精度（解像度）の高いテンプレートを選択し、画素密度変更領域ＡＲＭＤの検出候補領域に対しては精度（解像度）の低いテンプレートを選択することができる。こうすることで、画素密度非変更領域ＡＲＮＯに対しては精度の高い検出処理が可能になり、画素密度変更領域ＡＲＭＤに対しては、精度は低下するが処理時間を短縮することができるから、より効率的な検出処理（テンプレートマッチング処理）を行うことができる。
【０１４０】
また本実施形態の画像処理装置１００等によれば、処理部１３０は、画素密度変更領域以外の領域（画素密度非変更領域ＡＲＮＯ）での検出処理の結果に基づいて、画素密度変更領域ＡＲＭＤでの検出処理を行うことができる。具体的には、処理部１３０は、画素密度非変更領域ＡＲＮＯでの検出処理で得られた対象物の動きベクトルに基づいて、画素密度変更領域ＡＲＭＤでの検出処理を行うことができる。この動きベクトルは、例えば歩行者など対象物が移動する場合に、対象物が移動する速さ及び方向を表すベクトルである。
【０１４１】
例えば、図５（Ｂ）のＢ１に示すように、画素密度非変更領域ＡＲＮＯで歩行者が検出された場合に、この歩行者の動きベクトルが右方向に向いている時には、処理部１３０は、この動きベクトルに基づいて歩行者が画素密度変更領域ＡＲＭＤに移動することを予測できる。そして予め歩行者の移動先に歩行者存在候補領域を設定し、人テンプレートを選択しておくことができる。こうすることで、画素密度変更領域ＡＲＭＤでの歩行者の検出処理時間を短縮することができる。
【０１４２】
さらに本実施形態の画像処理装置１００等によれば、処理部１３０は、画素密度非変更領域ＡＲＮＯで対象物が検出され、対象物が画素密度変更領域ＡＲＭＤに移動すると予測された場合には、画素密度変更領域ＡＲＭＤにおいて、予測されない場合に比べて画素密度が高い赤外線画像データに基づいて、検出処理を行うことができる。
【０１４３】
画素密度非変更領域ＡＲＮＯで対象物が検出された場合に、対象物が画素密度変更領域ＡＲＭＤに移動するか否かの予測は、例えばその対象物の動きベクトルなどに基づいて、処理部１３０の判定処理により実行される。
【０１４４】
例えば、図５（Ｂ）のＢ１に示すように、画素密度非変更領域ＡＲＮＯで歩行者が検出され、右方向への動きベクトルなどに基づいて、歩行者が画素密度変更領域ＡＲＭＤに移動することを予測する判定処理が行われた場合には、処理部１３０は、画素密度変更領域ＡＲＭＤの赤外線画像データに対して画素密度低減処理を行わない（省略する）ことができる。こうすることで、画素密度変更領域ＡＲＭＤに移動した対象物（歩行者など）に対しても、画素密度非変更領域ＡＲＮＯと同じ画素密度（広義には対象物が画素密度変更領域ＡＲＭＤに移動すると予測されない場合に比べて高い画素密度）を有する赤外線画像データに基づいて検出処理を行うことができるから、より正確に対象物の位置を検出することができる。
【０１４５】
図１１（Ａ）〜図１１（Ｃ）に、３つの走行状況におけるアラート表示の例を示す。図１１（Ａ）〜図１１（Ｃ）は、表示部２３０に表示された画像を示し、上述した第１の走行状況（図５（Ａ））、第２の走行状況（図５（Ｂ））、第３の走行状況（図５（Ｃ））にそれぞれ対応する。
【０１４６】
図１１（Ａ）に示すように、歩行者及び自転車に乗っている人が検出された位置に、歩行者及び自転車の存在をドライバーに知らせるためのアラート記号ＡＭ１、ＡＭ２が可視画像に重畳されて表示される。
【０１４７】
図１１（Ｂ）では、歩行者が検出された位置に、歩行者の存在を知らせるためのアラート記号ＡＭ１が可視画像に重畳されて表示され、また自転車が検出された位置に、自転車の存在を知らせるためのアラート記号ＡＭ２が可視画像に重畳されて表示される。
【０１４８】
図１１（Ｃ）では、中央部の歩行者が検出された位置に、歩行者の存在を知らせるためのアラート記号ＡＭ１が可視画像に重畳されて表示される。
【０１４９】
３．防犯モード
図１２は、本実施形態の画像処理装置１００等の第３の構成例（図３）における防犯モードを説明する図である。図１２に示すように、例えば夜間に自家用車を自宅近くに駐車する場合などに、画像処理装置１００等を防犯モードに設定することにより、夜間の自宅への不審者の侵入などを検出することができる。走行モードと防犯モードとの切換は、モード設定部１４０が行う。
【０１５０】
具体的には、車両のルーフ等に設けた赤外線画像撮像部（赤外線カメラ）２１０により自宅の周囲の赤外線画像を所定の時間間隔で撮像する。防犯モードに設定されている場合には、領域設定部１２０は境界線を非設定にし、処理部１３０は赤外線画像領域の全領域に対して赤外線画像データの画素密度を低減する処理を行う。そして処理部１３０は、画像領域の赤外線画像データに基づいて検出処理を行い、検出処理の結果に基づくアラート表示を含む表示用画像データを生成する処理を行う。処理部１３０は、検出処理によって不審者を検出した場合には、例えばユーザーの携帯端末などに通報する処理を行うことができる。
【０１５１】
防犯モードでは、走行モードに比べて、対象物の位置検出について高い精度は要求されない。不審者の存在を検出できればよいからである。従って、画像領域の全領域に対して画素密度を低減する処理を行うことで、検出処理における演算処理負担を低減することができる。その結果、防犯モードでの消費電力を低減することができるから、駐車時のバッテリーの消費を抑えることができる。
【０１５２】
なお、赤外線カメラ２１０をルーフレール等に設けて、赤外線カメラ２１０の位置を移動させたり、或いは赤外線カメラ２１０を回転できる台座に設けることで、赤外線カメラ２１０の光軸方向を可変に設定することができる。こうすることで、不審者が侵入するおそれがある方向に赤外線カメラ２１０の光軸方向を設定することなどが可能になる。
【０１５３】
図１３は、第３の構成例（図３）による防犯モードの処理のフローチャートである。この処理は画像取得部１１０及び処理部１３０により実行される。
【０１５４】
最初のステップＳ２１で、処理に必要なパラメーターの初期設定を行う。次のステップＳ２２で、設定されているモードが走行モードであるか、或いは防犯モードであるかを判断する。防犯モードに設定されている場合には、次のステップＳ２３が実行される。一方、走行モードに設定されている場合には、上述した走行モードのフローチャート（図１０）のステップＳ２以降の処理が実行される。
【０１５５】
ステップＳ２３では、画像取得部１１０が赤外線カメラ（赤外線画像撮像部）２１０からの赤外線画像データを取得する。そして次のステップＳ２４では、処理部１３０が赤外線画像データの画像領域の全領域に対して画素密度を低減する処理を行い、続いてステップＳ２５で対象物の検出処理（テンプレートマッチング処理）を実行する。この検出処理は、既に説明した図１０のステップＳ４〜Ｓ１０と同様の処理であるから、ここでは詳細な説明を省略する。なお、防犯モードでは、走行モードに比べて、対象物の位置検出について高い精度が要求されないから、精度（解像度）の低いテンプレートを選択することができる。
【０１５６】
検出処理が終了するとステップＳ２６に進み、対象物が検出されたか否かを判断する。対象物が検出された場合には、ステップＳ２７で例えばユーザーの携帯端末など外部に通知する処理を行う。
【０１５７】
対象物が検出されない場合には、ステップＳ２２に戻る。引き続き防犯モードに設定されている場合には、前回の赤外線画像データの取得時から一定時間経過後に、ステップＳ２３で次の赤外線画像データを取得する。一定の時間間隔で赤外線画像データを取得することで、消費電力を低減することができるから、駐車時のバッテリーの消費を抑えることができる。
【０１５８】
このように本実施形態の画像処理装置１００等の第３の構成例によれば、防犯モードに設定することにより、夜間の駐車時に自宅周辺の不審者などを検出することができるから、防犯用に専用のセキュリティシステム等を設置する必要がなくなるため、防犯コストの低減などが可能になる。また、防犯モードでは消費電力を低減することができるから、駐車時のバッテリーの消費を抑えることができる。
【０１５９】
４．カメラシステム
図１４（Ａ）、図１４（Ｂ）に、本実施形態のカメラシステム３１０の車両への搭載例を示す。図１４（Ａ）、図１４（Ｂ）に示すカメラシステム３１０は、画像処理装置１００、赤外線画像撮像部２１０、可視画像撮像部２２０、表示部２３０を含む。なお、本実施形態のカメラシステム３１０は、図１４（Ａ）、図１４（Ｂ）の構成に限定されず、その構成要素の一部を省略したり、他の構成要素に置き換えたり、他の構成要素を追加するなどの種々の変形実施が可能である。
【０１６０】
図１４（Ａ）は車両を上から見た平面図であり、図１４（Ｂ）は車両の側面図である。赤外線画像撮像部（赤外線カメラ）２１０は、例えば車両のバンパー部分に設けられ、可視画像撮像部（可視カメラ）２２０は、例えば車両のルーフに設けられる。画像処理装置１００は、ダッシュボードなどのドライバーが操作しやすい位置に設けられ、表示部２３０はドライバーが視認しやすい位置に設けられる。なお、これら構成要素の搭載位置は、図示される位置に限定されず、例えば赤外線画像撮像部（赤外線カメラ）２１０をルーフに設けてもよい。また、表示部２３０は、ヘッドアップディスプレイであってもよい。
【０１６１】
なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例は全て本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また画像処理装置、画像処理システム、カメラ及びカメラシステムの構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１６２】
１００ 画像処理装置、１１０ 画像取得部、１２０ 領域設定部、１３０ 処理部、
１３１ テンプレートマッチング処理部、１３２ 画像合成処理部、１３３ メモリー、
１３４ 混合演算処理部、１３５ メモリー、１４０ モード設定部、１５０ 記憶部、
２００ 画像処理システム、２１０ 赤外線画像撮像部、２２０ 可視画像撮像部、
２３０ 表示部、３００ カメラ、３１０ カメラシステム、
ＡＲＭＤ 画素密度変更領域、ＡＲＮＯ 画素密度非変更領域、ＢＬ 境界線
【特許請求の範囲】
【請求項１】
赤外線画像データを取得する画像取得部と、
前記画像取得部により取得された前記赤外線画像データに基づく画像領域に対して、前記画像領域を複数の領域に分割する境界線を設定し、前記境界線によって分割された複数の領域のうちの少なくとも１つの領域を画素密度変更領域に設定する領域設定部と、
前記画素密度変更領域の前記赤外線画像データの画素密度を低減する処理を行い、前記画素密度変更領域を含む前記画像領域の前記赤外線画像データに基づいて対象物の検出処理を行い、前記検出処理の結果に基づいて表示用画像データを生成する処理部とを含むことを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記領域設定部は、
前記画像領域における位置及び形状のうちの少なくとも１つが可変に設定される前記境界線を用いて前記画像領域を区画する設定パターンを決定し、
決定された前記設定パターンにおいて前記境界線の前記画像領域における位置及び形状のうちの少なくとも１つを定めることを特徴とする画像処理装置。
【請求項３】
請求項２において、
前記領域設定部は、
前記画像領域を分割する前記境界線を用いて前記画像領域を区画する第１の設定パターンを決定可能に備え、
決定された前記設定パターンが前記第１の設定パターンである場合には、前記境界線により分割された画像領域のうち、一方の画像領域を前記画素密度変更領域に設定することを特徴とする画像処理装置。
【請求項４】
請求項２又は３において、
前記領域設定部は、
前記画像領域を３分割し互いに交差しない２本の前記境界線を用いて前記画像領域を区画する第２の設定パターンを決定可能に備え、
決定された前記設定パターンが前記第２の設定パターンである場合には、前記境界線により３分割された画像領域のうち、前記２本の境界線で挟まれる画像領域を前記画素密度変更領域に設定することを特徴とする画像処理装置。
【請求項５】
請求項２乃至４のいずれかにおいて、
前記領域設定部は、
前記画像領域において一部の領域を囲む閉曲線を前記境界線として用いて前記画像領域を区画する第３の設定パターンを決定可能に備え、
決定された前記設定パターンが前記第３の設定パターンである場合には、前記閉曲線の外側の前記画像領域を前記画素密度変更領域に設定することを特徴とする画像処理装置。
【請求項６】
請求項２乃至５のいずれかにおいて、
前記表示用画像データは、前記検出処理の結果に基づくアラート表示を含むことを特徴とする画像処理装置。
【請求項７】
請求項２乃至６のいずれかにおいて、
前記赤外線画像データは、車両の外部領域の赤外線画像の画像データであり、
前記領域設定部は、
前記車両の走行状況情報に基づいて、前記設定パターンを決定し、決定された前記設定パターンにおいて前記境界線の前記画像領域における位置及び形状のうちの少なくとも１つを定めることを特徴とする画像処理装置。
【請求項８】
請求項７において、
前記車両の走行状況情報は、
前記車両の速度情報であることを特徴とする画像処理装置。
【請求項９】
請求項２乃至８のいずれかにおいて、
前記領域設定部は、
ユーザーによる入力情報に基づいて、前記設定パターンを決定し、決定された前記設定パターンにおいて前記境界線の前記画像領域における位置及び形状のうちの少なくとも１つを定めることを特徴とする画像処理装置。
【請求項１０】
請求項１乃至９のいずれかにおいて、
走行モードと防犯モードとのモード切換設定を行うモード設定部をさらに含み、
前記走行モードに設定されている場合には、
前記領域設定部は、前記画素密度変更領域を設定し、
前記処理部は、前記画素密度変更領域の前記赤外線画像データの画素密度を低減する処理を行い、前記画素密度変更領域を含む前記画像領域の前記赤外線画像データに基づいて前記検出処理を行い、前記検出処理の結果に基づくアラート表示を含む表示用画像データを生成する処理を行い、
前記防犯モードに設定されている場合には、
前記領域設定部は、前記境界線を非設定にし、
前記処理部は、前記画像領域の全領域に対して前記赤外線画像データの画素密度を低減する処理を行い、前記画像領域の前記赤外線画像データに基づいて前記検出処理を行い、前記検出処理の結果に基づくアラート表示を含む表示用画像データを生成する処理を行うことを特徴とする画像処理装置。
【請求項１１】
請求項１乃至１０のいずれかにおいて、
前記処理部は、
前記画素密度変更領域と前記画素密度変更領域以外の領域とでは、前記検出処理の内容を異ならせることを特徴とする画像処理装置。
【請求項１２】
請求項１１において、
前記処理部は、
前記画素密度変更領域以外の領域での前記検出処理の結果に基づいて、前記画素密度変更領域での前記検出処理を行うことを特徴とする画像処理装置。
【請求項１３】
請求項１２において、
前記画素密度変更領域以外の領域での前記検出処理の結果は、
前記対象物の動きベクトルを含むことを特徴とする画像処理装置。
【請求項１４】
請求項１乃至１３のいずれかにおいて、
前記画像取得部は、
可視画像データを取得し、
前記処理部は、
前記検出処理を行って、前記検出処理の結果に基づくアラート記号と前記可視画像データとを重畳して表示用画像データを生成する処理を行うことを特徴とする画像処理装置。
【請求項１５】
請求項１乃至１４のいずれかに記載の画像処理装置と、
赤外線画像撮像部とを含むことを特徴とするカメラシステム。
【請求項１６】
請求項１乃至１４のいずれかに記載の画像処理装置と、
赤外線画像撮像部と、
前記画像処理装置と前記赤外線画像撮像部とが内部に配設された筐体とを含むことを特徴とするカメラ。
【請求項１７】
請求項１乃至１４のいずれかに記載の画像処理装置と、
赤外線画像撮像部と、
前記表示用画像データに基づく画像を表示する表示部とを含むことを特徴とするカメラシステム。
【請求項１８】
請求項１乃至１４のいずれかに記載の画像処理装置と、
赤外線画像撮像部と、
前記表示用画像データに基づく画像を表示する表示部と
前記画像処理装置と前記赤外線画像撮像部と前記表示部とが内部に配設された筐体とを含むことを特徴とするカメラ。
【請求項１９】
赤外線画像データを取得する画像取得部と、
前記画像取得部により取得された前記赤外線画像データに基づく画像領域に対して、前記画像領域を複数の領域に分割する境界線を設定し、前記境界線によって分割された複数の領域のうち少なくとも１つの領域を画素密度変更領域に設定する領域設定部と、
前記画素密度変更領域の前記赤外線画像データの画素密度を低減する処理を行い、前記画素密度変更領域を含む前記画像領域の前記赤外線画像データに基づいて対象物の検出処理を行い、前記検出処理の結果に基づいて表示用画像データを生成する処理部とを含むことを特徴とする画像処理システム。
【請求項２０】
請求項１乃至１３のいずれかに記載の画像処理装置と、
前記表示用画像データに基づく画像を表示する表示部とを含むことを特徴とする画像処理システム。
【請求項２１】
赤外線撮像素子が二次元配列された撮像領域を備え、前記撮像領域の一部の領域では前記赤外線撮像素子の間隔が第１の間隔であり、前記撮像領域の前記一部の領域以外の領域では前記赤外線撮像素子の間隔が前記第１の間隔より広い第２の間隔である赤外線画像撮像部と、
前記赤外線画像撮像部で撮像された赤外線画像データを取得する画像取得部と、
前記画像取得部により取得された前記赤外線画像データの前記撮像領域に対応した画像領域に対して、前記赤外線画像データに基づいて対象物の検出処理を行い、前記検出処理の結果に基づいて表示用画像データを生成する処理部とを含むことを特徴とするカメラ。
【請求項１】
赤外線画像データを取得する画像取得部と、
前記画像取得部により取得された前記赤外線画像データに基づく画像領域に対して、前記画像領域を複数の領域に分割する境界線を設定し、前記境界線によって分割された複数の領域のうちの少なくとも１つの領域を画素密度変更領域に設定する領域設定部と、
前記画素密度変更領域の前記赤外線画像データの画素密度を低減する処理を行い、前記画素密度変更領域を含む前記画像領域の前記赤外線画像データに基づいて対象物の検出処理を行い、前記検出処理の結果に基づいて表示用画像データを生成する処理部とを含むことを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記領域設定部は、
前記画像領域における位置及び形状のうちの少なくとも１つが可変に設定される前記境界線を用いて前記画像領域を区画する設定パターンを決定し、
決定された前記設定パターンにおいて前記境界線の前記画像領域における位置及び形状のうちの少なくとも１つを定めることを特徴とする画像処理装置。
【請求項３】
請求項２において、
前記領域設定部は、
前記画像領域を分割する前記境界線を用いて前記画像領域を区画する第１の設定パターンを決定可能に備え、
決定された前記設定パターンが前記第１の設定パターンである場合には、前記境界線により分割された画像領域のうち、一方の画像領域を前記画素密度変更領域に設定することを特徴とする画像処理装置。
【請求項４】
請求項２又は３において、
前記領域設定部は、
前記画像領域を３分割し互いに交差しない２本の前記境界線を用いて前記画像領域を区画する第２の設定パターンを決定可能に備え、
決定された前記設定パターンが前記第２の設定パターンである場合には、前記境界線により３分割された画像領域のうち、前記２本の境界線で挟まれる画像領域を前記画素密度変更領域に設定することを特徴とする画像処理装置。
【請求項５】
請求項２乃至４のいずれかにおいて、
前記領域設定部は、
前記画像領域において一部の領域を囲む閉曲線を前記境界線として用いて前記画像領域を区画する第３の設定パターンを決定可能に備え、
決定された前記設定パターンが前記第３の設定パターンである場合には、前記閉曲線の外側の前記画像領域を前記画素密度変更領域に設定することを特徴とする画像処理装置。
【請求項６】
請求項２乃至５のいずれかにおいて、
前記表示用画像データは、前記検出処理の結果に基づくアラート表示を含むことを特徴とする画像処理装置。
【請求項７】
請求項２乃至６のいずれかにおいて、
前記赤外線画像データは、車両の外部領域の赤外線画像の画像データであり、
前記領域設定部は、
前記車両の走行状況情報に基づいて、前記設定パターンを決定し、決定された前記設定パターンにおいて前記境界線の前記画像領域における位置及び形状のうちの少なくとも１つを定めることを特徴とする画像処理装置。
【請求項８】
請求項７において、
前記車両の走行状況情報は、
前記車両の速度情報であることを特徴とする画像処理装置。
【請求項９】
請求項２乃至８のいずれかにおいて、
前記領域設定部は、
ユーザーによる入力情報に基づいて、前記設定パターンを決定し、決定された前記設定パターンにおいて前記境界線の前記画像領域における位置及び形状のうちの少なくとも１つを定めることを特徴とする画像処理装置。
【請求項１０】
請求項１乃至９のいずれかにおいて、
走行モードと防犯モードとのモード切換設定を行うモード設定部をさらに含み、
前記走行モードに設定されている場合には、
前記領域設定部は、前記画素密度変更領域を設定し、
前記処理部は、前記画素密度変更領域の前記赤外線画像データの画素密度を低減する処理を行い、前記画素密度変更領域を含む前記画像領域の前記赤外線画像データに基づいて前記検出処理を行い、前記検出処理の結果に基づくアラート表示を含む表示用画像データを生成する処理を行い、
前記防犯モードに設定されている場合には、
前記領域設定部は、前記境界線を非設定にし、
前記処理部は、前記画像領域の全領域に対して前記赤外線画像データの画素密度を低減する処理を行い、前記画像領域の前記赤外線画像データに基づいて前記検出処理を行い、前記検出処理の結果に基づくアラート表示を含む表示用画像データを生成する処理を行うことを特徴とする画像処理装置。
【請求項１１】
請求項１乃至１０のいずれかにおいて、
前記処理部は、
前記画素密度変更領域と前記画素密度変更領域以外の領域とでは、前記検出処理の内容を異ならせることを特徴とする画像処理装置。
【請求項１２】
請求項１１において、
前記処理部は、
前記画素密度変更領域以外の領域での前記検出処理の結果に基づいて、前記画素密度変更領域での前記検出処理を行うことを特徴とする画像処理装置。
【請求項１３】
請求項１２において、
前記画素密度変更領域以外の領域での前記検出処理の結果は、
前記対象物の動きベクトルを含むことを特徴とする画像処理装置。
【請求項１４】
請求項１乃至１３のいずれかにおいて、
前記画像取得部は、
可視画像データを取得し、
前記処理部は、
前記検出処理を行って、前記検出処理の結果に基づくアラート記号と前記可視画像データとを重畳して表示用画像データを生成する処理を行うことを特徴とする画像処理装置。
【請求項１５】
請求項１乃至１４のいずれかに記載の画像処理装置と、
赤外線画像撮像部とを含むことを特徴とするカメラシステム。
【請求項１６】
請求項１乃至１４のいずれかに記載の画像処理装置と、
赤外線画像撮像部と、
前記画像処理装置と前記赤外線画像撮像部とが内部に配設された筐体とを含むことを特徴とするカメラ。
【請求項１７】
請求項１乃至１４のいずれかに記載の画像処理装置と、
赤外線画像撮像部と、
前記表示用画像データに基づく画像を表示する表示部とを含むことを特徴とするカメラシステム。
【請求項１８】
請求項１乃至１４のいずれかに記載の画像処理装置と、
赤外線画像撮像部と、
前記表示用画像データに基づく画像を表示する表示部と
前記画像処理装置と前記赤外線画像撮像部と前記表示部とが内部に配設された筐体とを含むことを特徴とするカメラ。
【請求項１９】
赤外線画像データを取得する画像取得部と、
前記画像取得部により取得された前記赤外線画像データに基づく画像領域に対して、前記画像領域を複数の領域に分割する境界線を設定し、前記境界線によって分割された複数の領域のうち少なくとも１つの領域を画素密度変更領域に設定する領域設定部と、
前記画素密度変更領域の前記赤外線画像データの画素密度を低減する処理を行い、前記画素密度変更領域を含む前記画像領域の前記赤外線画像データに基づいて対象物の検出処理を行い、前記検出処理の結果に基づいて表示用画像データを生成する処理部とを含むことを特徴とする画像処理システム。
【請求項２０】
請求項１乃至１３のいずれかに記載の画像処理装置と、
前記表示用画像データに基づく画像を表示する表示部とを含むことを特徴とする画像処理システム。
【請求項２１】
赤外線撮像素子が二次元配列された撮像領域を備え、前記撮像領域の一部の領域では前記赤外線撮像素子の間隔が第１の間隔であり、前記撮像領域の前記一部の領域以外の領域では前記赤外線撮像素子の間隔が前記第１の間隔より広い第２の間隔である赤外線画像撮像部と、
前記赤外線画像撮像部で撮像された赤外線画像データを取得する画像取得部と、
前記画像取得部により取得された前記赤外線画像データの前記撮像領域に対応した画像領域に対して、前記赤外線画像データに基づいて対象物の検出処理を行い、前記検出処理の結果に基づいて表示用画像データを生成する処理部とを含むことを特徴とするカメラ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−４１４８１（Ｐ２０１３−４１４８１Ａ）
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願番号】特願２０１１−１７８７０５（Ｐ２０１１−１７８７０５）
【出願日】平成２３年８月１８日（２０１１．８．１８）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願日】平成２３年８月１８日（２０１１．８．１８）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]