車載カメラ制御装置、車載カメラ制御システム及び車載カメラシステム
【課題】 駐車時に消費電力を抑制しつつ、車両の周囲の監視対象物の監視をすることが可能な車載カメラ制御装置等の提供。
【解決手段】 車載カメラ制御装置は、赤外線画像データと可視画像データを取得する画像取得部１１０と、走行モードと防犯モードとを含む複数の処理モードのうちのいずれかの処理モードを、使用処理モードとして設定するモード設定部１３０と、処理部１２０とを含む。処理部１２０は、使用処理モードとして走行モードが設定されている場合には、可視画像撮像部２２０を通常駆動状態に設定し、可視画像データと赤外線画像データとに基づいて、報知用データの生成処理を行い、使用処理モードとして防犯モードが設定されている場合には、可視画像撮像部２２０を、動作オフ状態又は通常駆動状態よりも消費電力が低い省電力状態に設定し、赤外線画像データに基づく監視対象物の検出処理を行う。
【解決手段】 車載カメラ制御装置は、赤外線画像データと可視画像データを取得する画像取得部１１０と、走行モードと防犯モードとを含む複数の処理モードのうちのいずれかの処理モードを、使用処理モードとして設定するモード設定部１３０と、処理部１２０とを含む。処理部１２０は、使用処理モードとして走行モードが設定されている場合には、可視画像撮像部２２０を通常駆動状態に設定し、可視画像データと赤外線画像データとに基づいて、報知用データの生成処理を行い、使用処理モードとして防犯モードが設定されている場合には、可視画像撮像部２２０を、動作オフ状態又は通常駆動状態よりも消費電力が低い省電力状態に設定し、赤外線画像データに基づく監視対象物の検出処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラ制御装置、車載カメラ制御システム及び車載カメラシステム等に関係する。
【背景技術】
【０００２】
近年、犯罪の凶悪化、巧妙化に対応するために、防犯対策の強化が望まれており、各種防犯アイテムの充実が望まれている。
【０００３】
例えば住居の防犯に関して言えば、住居の扉や窓への不審者による不正な開閉が検知された時に、赤外線カメラによる撮像又はブザー等の警報を行い、住居人に報知する特許文献１に記載されているような従来技術がある。
【０００４】
しかしながら、単に、防犯アイテムを増加させるのでは、防犯システムの増加に伴い防犯システムに掛かる費用も高くなり、ユーザーの費用負担が増加するという問題がある。
【０００５】
一方で、車載赤外線カメラにより車体前方の近赤外線画像を撮像して表示するとともに、撮像画像から歩行者を検知して、その検知結果を近赤外線画像に重ね合わせて表示する車載用の暗視装置が実用化されている。このような暗視装置に用いられる歩行者検知技術として、特許文献２に記載される従来技術がある。
【０００６】
特許文献２の従来技術では、検知対象物における所定部位の形状と同一形状の部位が、該対象物中に連続して存在するか否かを探索し、同一形状の部位が連続して存在する場合には、該対象物は人工物であると判断して、該対象物を除外した残りの対象物から歩行者を認識する。
【０００７】
このような状況の中で、本出願人は、住居の侵入者防止用途と道路走行中の歩行者検知用途に、車載カメラを兼用して使う手法を検討している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００２−１５０４３８号公報
【特許文献２】特開２００５−３５２９７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
車両が走行中の場合には、車載カメラの撮像処理及び画像生成処理の駆動電力は、車バッテリーより供給されるため、問題は生じにくい。しかし、車両が駐車中の場合においては、車両のバッテリーや車載カメラが保持している電池により、撮像処理及び画像生成処理を行うため、車載カメラ等の消費電力をできるだけ抑える必要がある。
【００１０】
本発明の幾つかの態様によれば、駐車時に消費電力を抑制しつつ、車両の周囲の監視対象物の監視をすることが可能な車載カメラ制御装置、車載カメラ制御システム及び車載カメラシステム等を提供できる。
【課題を解決するための手段】
【００１１】
本発明の一態様は、赤外線画像データを赤外線画像撮像部から取得し、可視画像データを可視画像撮像部から取得する画像取得部と、走行モードと防犯モードとを含む複数の処理モードのうちのいずれかの処理モードを、使用処理モードとして設定するモード設定部と、設定された前記使用処理モードに従い処理を行う処理部と、を含み、前記処理部は、前記使用処理モードとして前記走行モードが設定されている場合には、前記可視画像撮像部を通常駆動状態に設定し、前記可視画像データと前記赤外線画像データとに基づいて、報知用データの生成処理を含む処理を行い、前記使用処理モードとして前記防犯モードが設定されている場合には、前記可視画像撮像部を、動作オフ状態又は前記通常駆動状態よりも消費電力が低い省電力状態に設定し、前記赤外線画像データに基づく監視対象物の検出処理を含む処理を行う車載カメラ制御装置に関係する。
【００１２】
本発明の一態様では、使用処理モードが走行モードに設定されている場合と、防犯モードに設定されている場合で、異なる処理を行うことができる。これにより、消費電力を抑制しつつ、車両及び車両の周囲の状況に応じた監視対象物の監視をすることが可能となる。
【００１３】
また、本発明の一態様では、前記モード設定部は、車両の走行状況情報を取得し、前記走行状況情報に基づいて、前記使用処理モードの設定処理を行ってもよい。
【００１４】
これにより、車両の走行状態によって、使用処理モードを切り替えることが可能となり、例えば、車両が非走行状態にある場合などに防犯モードに切り替えて、消費電力を抑制すること等が可能になる。
【００１５】
また、本発明の一態様では、前記モード設定部は、前記車両の前記走行状況情報に基づいて車速を求め、前記車速により前記車両の走行を検知した場合には、前記使用処理モードを前記走行モードに設定する処理を行い、前記車速により前記車両の走行を検知しなかった場合には、前記使用処理モードを前記防犯モードに設定する処理を行ってもよい。
【００１６】
これにより、例えば、車速により車両の走行が検出された場合には、走行モードを設定して、車両の前方の危険を監視すること等が可能となり、車速により車両の走行が検出されなかった場合には、防犯モードを設定して、住居等の監視をすること等が可能となる。
【００１７】
また、本発明の一態様では、前記赤外線画像データを記憶する記憶部を含み、前記処理部は、前記使用処理モードとして前記防犯モードが設定されている場合に、所与の時間間隔で前記赤外線画像データを保存し、保存された前記赤外線画像データに基づいて、前記防犯モードにおける監視エリアの監視処理を行ってもよい。
【００１８】
これにより、防犯モードが設定されており、可視画像撮像部が動作オフ状態である場合に、例えば赤外線画像撮像部の時間差成分の比較のみを行うこと等が可能となり、住居の侵入者などの監視対象物の検出を行いつつ、画像処理の計算量を大幅に低減させ、ひいては画像処理にかかる消費電力を削減すること等が可能となる。
【００１９】
また、本発明の一態様では、前記処理部は、前記監視処理として、前記記憶部に記憶された複数の前記赤外線画像データの中から、第１の赤外線画像データと、前記第１の赤外線画像データとは取得タイミングの異なる第２の赤外線画像データとを特定し、前記第１の赤外線画像データと前記第２の赤外線画像データとの比較処理を行い、前記比較処理の結果に基づいて前記監視対象物の検出処理を行い、前記検出処理の結果に基づいて防犯用報知データの生成処理を行ってもよい。
【００２０】
これにより、防犯モードが設定されている場合に、赤外線画像データのみを用いて、監視対象物を検出し、監視対象物が検出された場合には、防犯用報知データを生成して、住居への侵入者を撃退したり、ユーザーへ侵入者の存在を通知したりすること等が可能になる。
【００２１】
また、本発明の一態様では、前記処理部は、前記使用処理モードとして前記防犯モードが設定されており、前記車速を検知しなかった場合に、前記監視処理として、前記第１の赤外線画像データと前記第２の赤外線画像データとの前記比較処理を行い、前記比較処理の結果に基づいて前記監視対象物の検出処理を行い、前記検出処理の結果に基づいて前記防犯用報知データの生成処理を行ってもよい。
【００２２】
これにより、防犯モードを設定したまま、ユーザーが車両を動かしてしまった場合に起こる誤検出を回避すること等が可能となる。
【００２３】
また、本発明の一態様では、前記処理部は、前記防犯モードが設定されている場合には、前記赤外線画像撮像部のフレームレートを前記走行モードの設定時のフレームレートに比べて低く設定してもよい。
【００２４】
これにより、赤外線画像撮像部の駆動及び赤外線画像データの画像処理に用いる電力の消費を抑えること等が可能となる。
【００２５】
また、本発明の一態様では、前記処理部は、前記防犯モードが設定されている場合に、前記赤外線画像撮像部の方向及び位置のうち少なくとも一方が、前記走行モードが設定されている場合と異なるように、前記赤外線画像撮像部の方向及び位置のうち少なくとも一方を制御してもよい。
【００２６】
これにより、防犯モード設定時に、住居のドアや窓の方向を向くように、車両を駐車しなくても、赤外線画像撮像部の位置や方向を変更して、監視対象物の監視処理を行うこと等が可能になる。
【００２７】
また、本発明の一態様では、前記処理部は、前記防犯モードが設定されている場合に、ユーザーからの入力情報に基づいて、前記赤外線画像撮像部の方向及び位置のうち少なくとも一方を制御してもよい。
【００２８】
これにより、防犯モード設定時に、ユーザーのニーズに応じて、赤外線画像撮像部の位置や方向を変更すること等が可能になる。
【００２９】
また、本発明の一態様では、前記処理部は、前記走行モードが設定されている場合には、前記赤外線画像撮像部の方向を、車両の前方方向に設定し、前記防犯モードが設定されている場合には、前記赤外線画像撮像部の方向を、前記車両の前記前方方向とは異なる方向に設定してもよい。
【００３０】
これにより、走行モードが設定されている場合と防犯モードが設定されている場合で、赤外線画像撮像部が撮像する方向を変えること等が可能になる。
【００３１】
また、本発明の一態様では、前記処理部は、前記走行モードが設定されている場合に、前記赤外線画像データにより得られた情報に基づいて、対象物の検出処理を行って、前記可視画像データにより表される前記可視画像の加工処理を行ってもよい。
【００３２】
これにより、走行モードが設定されている場合に、ユーザーに対象物への注意を促すこと等が可能になる。
【００３３】
また、本発明の一態様では、前記処理部は、前記検出処理において前記対象物を検出した場合に、前記加工処理として、前記対象物が存在する位置に対応する前記可視画像上の位置に、アラート画像を重畳する処理を行ってもよい。
【００３４】
これにより、走行モードが設定されている場合に、よりユーザーに分かりやすい形式で、対象物への注意を促すこと等が可能になる。
【００３５】
また、本発明の他の態様は、赤外線画像データを赤外線画像撮像部から取得し、可視画像データを可視画像撮像部から取得する画像取得部と、走行モードと防犯モードとを含む複数の処理モードのうちのいずれかの処理モードを、使用処理モードとして設定するモード設定部と、設定された前記使用処理モードに従い処理を行う処理部と、を含み、前記処理部は、前記使用処理モードとして前記走行モードが設定されている場合には、前記可視画像撮像部を通常駆動状態に設定し、前記可視画像データと前記赤外線画像データとに基づいて、報知用データの生成処理を含む処理を行い、前記使用処理モードとして前記防犯モードが設定されている場合には、前記可視画像撮像部を、動作オフ状態又は前記通常駆動状態よりも消費電力が低い省電力状態に設定し、前記赤外線画像データに基づく監視対象物の検出処理を含む処理を行う車載カメラ制御システムに関係する。
【００３６】
また、本発明の他の態様は、前記車載カメラ制御装置と、前記赤外線画像撮像部と、前記可視画像撮像部とを含む車載カメラシステムに関係する。
【図面の簡単な説明】
【００３７】
【図１】本実施形態のシステム構成図。
【図２】図２（Ａ）は、赤外線画像撮像部及び可視画像撮像部の取付け位置を示す平面図であり、図２（Ｂ）は、赤外線画像撮像部及び可視画像撮像部の取付け位置を示す側面図。
【図３】本実施形態のハードウェア構成図
【図４】図４（Ａ）〜図４（Ｄ）は、走行モード設定時の処理の説明図。
【図５】図５（Ａ）〜図５（Ｃ）は、防犯モード設定時の処理の説明図。
【図６】図６（Ａ）、図６（Ｂ）は、アラート画像の説明図。
【図７】本実施形態の処理を説明するフローチャート。
【発明を実施するための形態】
【００３８】
以下、本実施形態について説明する。まず、本実施形態のシステム構成例を説明し、次に本実施形態の特徴について説明する。そして最後に、フローチャートを用いて本実施形態の処理の流れについて説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００３９】
１．システム構成例
まず、図１に本実施形態の車載カメラ制御装置及びこれを含む車載カメラシステムの構成例を示す。
【００４０】
車載カメラ制御装置１００は、画像取得部１１０と、処理部１２０と、モード設定部１３０と、記憶部１４０と、を含む。また、車載カメラ制御装置１００の機能は、例えば、複数の情報処理装置を含む車載カメラ制御システムによって実現されてもよい。さらに、車載カメラ制御装置１００を含む車載カメラシステム２００の例としては、赤外線画像撮像部２１０や、可視画像撮像部２２０、提示部２３０、センサー２４０などを含む車載カメラシステムなどが挙げられる。なお、車載カメラ制御装置１００及びこれを含む車載カメラシステム２００は、図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。例えば、車載カメラ制御装置１００の一部又は全部の機能を、赤外線画像撮像部２１０や、可視画像撮像部２２０により実現してもよい。また、本実施形態の車載カメラ制御装置１００の一部又は全部の機能は、通信により接続されたサーバにより実現されてもよい。車載カメラ制御システムの場合も同様である。
【００４１】
次に各部で行われる処理について説明する。
【００４２】
まず、画像取得部１１０は、赤外線画像撮像部２１０から赤外線画像を表す赤外線画像データを取得し、可視画像撮像部２２０から可視画像を表す可視画像データを取得する。
【００４３】
そして、処理部１２０は、モード設定部１３０により設定された使用処理モードに従い、記憶部１４０から得られるデータを用いて種々の処理を行う。
【００４４】
さらに、モード設定部１３０は、走行モードと防犯モードとを含む複数の処理モードのうちのいずれかの処理モードを、使用処理モードとして設定する。
【００４５】
なお、画像取得部１１０及び処理部１２０、モード設定部１３０の機能は、各種プロセッサー（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。
【００４６】
また、記憶部１４０は、データベースを記憶したり、処理部１２０等のワーク領域となるもので、その機能はＲＡＭ等のメモリーやＨＤＤ（ハードディスクドライブ）などにより実現できる。
【００４７】
そして、赤外線画像撮像部２１０は、赤外線画像を撮像する。赤外線画像は、遠赤外線画像及び中赤外線画像を含む。赤外線画像撮像部２１０は、検出対象物に人体を含める場合には、８〜１２μｍの遠赤外線波長域に感度を有するものであっても良く、より遠距離（およそ２００ｍ先）の感度を得る必要がある場合には、赤外線画像撮像部２１０として焦電型赤外線センサーカメラを用いることが望ましい。焦電型センサーカメラを使うことにより、遠距離から近距離までの熱画像（赤外線画像）を１つのセンサー膜で取得可能であり、人体の体温と他の静止物の境界線が明確に表示可能であるため、人体抽出には最適であり、さらに他の赤外線センサーより大幅にコストが低い。
【００４８】
また、本実施形態では、赤外線画像撮像部２１０は、住居侵入防止等の防犯目的において、使用されるが、この場合には、監視エリアは住居の窓及び扉を含むエリアとなる。したがって、この監視エリアへの侵入者を検知するためには、赤外線画像撮像部２１０は、前述したように８〜１２μｍの遠赤外線波長域に感度を有するものであることが望ましい。そのため、同一の赤外線画像撮像部を、走行時と住居防犯時に共用することもできる。さらに、車両の走行途中に歩行者を検知する場合に比べ、住居の防犯時に侵入者を検知する場合には、背景画像が時間的に変化せず、侵入者の有無だけを検知するだけで良いため、走行時に比べて画像処理が非常に簡単である。また、侵入者が撮像エリア内を通過する時間も歩行者に比べ長いため、フレームレートを低く設定して、間引き撮像を行いつつ、侵入者を検出することも可能であり、撮像時の電気消費量を抑えることが可能である。
【００４９】
一方、可視画像撮像部２２０は、可視画像を撮像する。可視画像撮像部２２０は、撮像素子としてＣＣＤやＣＭＯＳを用いているカメラであっても良く、また、白黒カメラでもカラーカメラでも良い。白黒カメラを使う場合には、可視画像として濃淡画像が撮像され、カラーカメラを使う場合には、可視画像として色画像が撮像される。
【００５０】
なお、赤外線画像撮像部２１０及び可視画像撮像部２２０は、画像処理用等に用いられるデバイス（プロセッサー）を含んでもよい。本実施形態においては、赤外線画像データまたは可視画像データを、そのまま車載カメラ制御装置１００に出力するが、これに限定されるものではない。例えば、車載カメラ制御装置１００の処理部の一部を、赤外線画像撮像部２１０又は可視画像撮像部２２０に持たせてもよい。その場合、赤外線画像又は可視画像に対して、画像処理が施された後の情報が車載カメラ制御装置１００に出力されることになる。
【００５１】
次に、図２（Ａ）、図２（Ｂ）に、赤外線画像撮像部及び可視画像撮像部等の取り付け位置の一例を示す。
【００５２】
赤外線画像撮像部２１０は、図２（Ａ）、図２（Ｂ）に示すように、レンズの光軸の水平成分方向ＨＬＬ１と車体中心線ＣＬ１がなすパン角がＰＡ１となり、レンズの光軸の垂直成分方向ＰＬＬ１と地上との水平線ＨＬ１がなすチルト角がＴＡ１となるように、車体のバンパーまたはグリル内に取り付けられる。ここで、赤外線画像撮像部２１０は、赤外線画像撮像部２１０を上下、左右に首振り駆動させる電動モーターを備えていてもよい。この場合には、車体進行方向前方の道路又は道路側面を撮像できるように回転角度を自由に調整できる。
【００５３】
可視画像撮像部２２０は、図２（Ａ）、図２（Ｂ）に示すように、レンズの光軸の水平成分方向ＨＬＬ２と車体中心線ＣＬ２がなすパン角がＰＡ２となり、レンズの光軸の垂直成分方向ＰＬＬ２と地上との水平線ＨＬ２がなすチルト角がＴＡ２となるように、フロントウィンドウ上部に取り付けられる。ここで、可視画像撮像部２２０も赤外線画像撮像部２１０と同様に、可視画像撮像部２２０を上下、左右に首振り駆動させる電動モーターを備えていてもよい。この場合には、車体進行方向前方の道路又は道路側面を撮像できるように回転角度を自由に調整できる。
【００５４】
なお、図２（Ａ）では、分かりやすいようにＰＡ１及びＰＡ２は０°以上となっているが、車体進行方向前方を撮像する際には、ＰＡ１＝ＰＡ２＝０°、ＴＡ１＝ＴＡ２とすることが望ましい。また、赤外線画像撮像部２１０及び可視画像撮像部２２０は、車体の側面に設置してもよいし、それぞれの撮像部を複数設置してもよい。
【００５５】
さらに、赤外線画像撮像部２１０及び可視画像撮像部２２０には、運転者が任意に撮影方向や撮影位置を決定するために、車内にセレクタスイッチが設置されており、セレクタスイッチにより、赤外線画像撮像部２１０又は可視画像撮像部２２０の駆動のＯＮ／ＯＦＦや、赤外線画像撮像部２１０や可視画像撮像部２２０の位置や方向を変更することができる。なお、図１及び図２（Ａ）、図２（Ｂ）においては、セレクタスイッチは省略されている。
【００５６】
次に、提示部２３０は、車載カメラ制御装置１００の処理結果をユーザーに示す。提示部２３０は、警報装置であってもよいし、ディスプレイであってもよい。
【００５７】
提示部２３０が警報装置である場合には、警報装置は、処理部１２０から得られる出力信号に基づいて、歩行者の有無や住居屋の侵入者を検知した場合に警報（音声）を発する。警報装置として車体のクラクション及びフロントライトを用いれば、住居への侵入者を検知した場合に、クラクションを鳴らしたり、フロントライトを点滅させたりすることができ、新たな設備を設ける必要がないという利点がある。
【００５８】
さらに、提示部２３０がディスプレイである場合には、ディスプレイは、処理部１２０が先行車や歩行者、又は住居への侵入者を検出した場合に、これらの位置を表す画像を表示したり、検出物の輪郭画像等を可視画像に重畳して生成された画像を、処理部１２０から取得し、これを表示してもよい。
【００５９】
最後に、センサー２４０は、車両の前輪の回転速度から車速を求める車速センサーであってもよく、加速度センサーやＧＰＳセンサーであってもよい。
【００６０】
また、図３に本実施形態のハードウェア構成図を示す。まず、図１の車載カメラ制御装置１００は、図３のＣＰＵ４５０とメモリー４７０により実現できる。ここで、図１の画像取得部１１０及び処理部１２０、モード設定部１３０は、図３のＣＰＵ４５０により実現でき、図１の記憶部１４０は、図３のメモリー４７０により実現できる。
【００６１】
そして、図１の車載カメラシステム２００は、図３の赤外線カメラ４１０と、可視カメラ４３０と、ＣＰＵ４５０と、メモリー４７０とを含んでいる。ここで、図１の赤外線画像撮像部２１０は、図３の赤外線カメラ４１０により実現され、電動モーター４２０を備えている。さらに、図１の可視画像撮像部２２０は、図３の可視カメラ４３０により実現され、電動モーター４４０を備えている。
【００６２】
また、図１の提示部２３０は、図３の警報装置４８０及びディスプレイ４９０により実現できる。そして、図１のセンサー２４０は、図３の車速センサー４６０により実現できる。
【００６３】
２．本実施形態の手法
以上の本実施形態では、赤外線画像データを赤外線画像撮像部２１０から取得し、可視画像データを可視画像撮像部２２０から取得する画像取得部１１０と、走行モードと防犯モードとを含む複数の処理モードのうちのいずれかの処理モードを、使用処理モードとして設定するモード設定部１３０と、設定された使用処理モードに従い処理を行う処理部１２０と、を含む。そして、処理部１２０は、使用処理モードとして走行モードが設定されている場合には、可視画像撮像部２２０を通常駆動状態に設定し、可視画像データと赤外線画像データとに基づいて、報知用データの生成処理を含む処理を行う。一方、処理部１２０は、使用処理モードとして防犯モードが設定されている場合には、可視画像撮像部２２０を、動作オフ状態又は通常駆動状態よりも消費電力が低い省電力状態に設定し、赤外線画像データに基づく監視対象物の検出処理を含む処理を行う。
【００６４】
これにより、使用処理モードが走行モードに設定されている場合と、防犯モードに設定されている場合で、異なる処理を行うことができる。
【００６５】
ここで、処理モードとは、モード設定部１３０により設定される車載カメラ制御装置１００の状態又は状態の総称であり、設定された処理モードによって、車載カメラ制御装置１００が行う一連の処理が決定付けられるものをいう。さらに、車載カメラ制御装置を制御する際に実際に使用される処理モードのことを、使用処理モードと呼ぶ。本実施形態では、使用処理モードは、少なくとも走行モード及び防犯モードのうちのいずれか一つを選択することができ、また他の処理モードに切り替えることができる。
【００６６】
ここで、走行モードとは、例えば車両が走行状態であると判断された時に、使用処理モードに設定される処理モードであり、防犯モードとは、例えば車両が非走行状態であると判断された時に、使用処理モードに設定される処理モードである。
【００６７】
走行モードが設定されている場合には、対象物が歩行者や先行車となり、これらの監視に最適な処理を行う。一方、防犯モードが設定されている場合には、監視対象物が住居等への侵入者となり、これらの監視に最適な処理を行う。すなわち、車両が走行中であるとか駐車中であるなどの車両の状況に応じた対象物の監視をすることが可能となる。
【００６８】
また、走行モードが設定されている場合には、可視画像データと赤外線画像データを取得するため、歩行者が多かったり、他の車両が多かったり等の車両の周囲の状況に応じた対象物の監視をすることが可能である。
【００６９】
例えば、図４（Ａ）に、車両ＣＡ１が走行しており、走行モードが設定されている場合の様子を示す。この時、車両ＣＡ１に設けられた赤外線画像撮像部２１０と、可視画像撮像部２２０のそれぞれが、車両の前方を撮像し、先行車ＣＡ２や歩行者ＷＰ１、自転車に乗っている人ＷＰ２などを撮像する。
【００７０】
ここで、赤外線画像データとは、赤外線画像撮像部２１０により撮像される赤外線画像（熱画像）を表す情報である。赤外線画像については、前述した通りである。例えば、赤外線画像の一例として、図４（Ａ）の車両ＣＡ１に設けられた赤外線画像撮像部２１０により撮像された赤外線画像ＩＩＭを、図４（Ｃ）に示す。赤外線画像ＩＩＭには、歩行者ＷＰ１や先行車ＣＡ２、自転車に乗った人ＷＰ２などが、温度が高い部分が色濃く映し出されている。赤外線画像は、風景等の識別には向かないが、温度分布等を識別することが容易であり、背景と対象物とを判別する場合に有用である。
【００７１】
また、可視画像データとは、可視画像撮像部２２０により撮像される可視画像を表す情報である。可視画像については、前述した通りである。例えば、可視画像の一例として、図４（Ａ）の車両ＣＡ１に設けられた可視画像撮像部２２０により撮像された可視画像ＶＩＭを、図４（Ｂ）に示す。可視画像ＶＩＭにも、歩行者ＷＰ１や先行車ＣＡ２、自転車に乗った人ＷＰ２などが映し出されている。可視画像ＶＩＭは、ユーザーが見た景色とほとんど相違がないため、一見して風景を含む画像の全体像を把握しやすい。逆に、可視画像のみを用いて、風景と対象物を区別することは困難である。そこで、本実施形態では、前述したような特徴を持つ赤外線画像を用いて、対象物を区別する。
【００７２】
さらに、走行モードが設定されている場合には、可視画像撮像部を通常駆動状態に設定し、可視画像データと赤外線画像データとに基づいて、報知用データを生成し、これを提示してユーザーに注意を促すことが可能である。
【００７３】
ここで、通常駆動状態とは、可視画像撮像部が起動された状態であり、省電力状態ではない通常の状態のことをいう。一方、省電力状態とは、可視画像撮像部が起動された状態であり、通常駆動状態よりも消費電力が低い状態のことをいう。さらに、動作オフ状態とは、可視画像撮像部が停止された状態である。可視画像撮像部は、少なくとも動作オフ状態と通常駆動状態のいずれかに状態を切り替えることができ、さらに省電力状態にも切り替えることができることが望ましい。
【００７４】
また、報知用データとは、走行モードが設定されている場合に、歩行者や先行車等の対象物の存在をユーザーに伝えるための情報である。例えば、報知用データは、前述したように、可視画像に歩行者や先行車等を表す画像を重畳して生成した画像のデータであったり、先行者と車間距離が短くなったことを通知する警告音などである。
【００７５】
例えば、図４（Ｄ）に、報知用データにより表される画像ＣＩＭを示す。画像ＣＩＭを生成する際には、例えば、図４（Ｃ）に示す赤外線画像ＩＩＭにより表される温度分布の特徴に基づいて、後述するようなテンプレートマッチング処理を行って、人（ＷＰ１とＷＰ２）と人以外（背景や先行車ＣＡ２）を区別する。そして、可視画像上において、人が位置する部分を囲うように、後述するアラート画像（ＡＬＩＭ１とＡＬＩＭ２）等を重畳させて、画像ＣＩＭを生成する。このような画像を提示することにより、歩行者に注意を払うように、ユーザーに警告する。
【００７６】
一方、防犯モードが設定されている場合には、可視画像撮像部２２０を、動作オフ状態又は通常駆動状態よりも消費電力が低い省電力状態に設定するため、可視画像撮像部２２０及び可視画像データの画像処理に用いられる電力等を抑制することが可能となる。
【００７７】
この場合、例えば、図５（Ａ）に示すように、赤外線画像撮像部２１０のみを駆動させて、住居等の監視を行う。図５（Ａ）は、防犯モードが設定されている場合の処理の様子を表すものであり、車両ＣＡが住居の前の駐車上に駐車されている様子を示している。図５（Ａ）では、車両ＣＡに設けられた赤外線画像撮像部２１０と可視画像撮像部２２０のうち、可視画像撮像部２２０の動作をオフにして、赤外線画像撮像部２１０のみを駆動させて、住居等へ侵入者が侵入する可能性が高いドアＤＲや窓ＷＤを撮像している。そして、取得した赤外線画像データに基づいて監視対象物の検出処理を行う。
【００７８】
よって、車両が非走行状態にある場合であっても、走行状態時に用いる車載カメラ制御装置を利用して、車両の周囲を監視することができる。
【００７９】
以上のように、走行モードが設定されている場合と、防犯モードが設定されている場合で、異なる処理を行い、消費電力を抑制しつつ、車両及び車両の周囲の状況に応じた監視対象物の監視をすることが可能となる。
【００８０】
また、モード設定部１３０は、車両の走行状況情報を取得し、走行状況情報に基づいて、前記使用処理モードの設定処理を行ってもよい。
【００８１】
ここで、走行状況情報とは、車両の走行状況に関する情報であり、例えば、車両が走行しているか否か、車体に振動があるか否か、振動がある場合の振動の大きさ、車速があるか否か、車速、車体内部及び外部の温度情報、走行時間などの情報のことをいう。走行状況情報は、センサー２４０により取得されてもよいし、赤外線画像撮像部２１０から得られる赤外線画像や可視画像撮像部２２０から得られる可視画像を比較すること等によって求めてもよい。
【００８２】
これにより、車両の走行状態によって、使用処理モードを切り替えることが可能となり、例えば、車両が非走行状態にある場合などに防犯モードに切り替えて、消費電力を抑制すること等が可能になる。
【００８３】
また、モード設定部１３０は、車両の走行状況情報に基づいて車速を求め、車速により車両の走行を検知した場合には、使用処理モードを走行モードに設定する処理を行い、車速により車両の走行を検知しなかった場合には、使用処理モードを防犯モードに設定する処理を行ってもよい。
【００８４】
これにより、例えば、車両の前輪の回転速度から車速を求め、車速により車両の走行が検出された場合には、走行モードを設定して、車両の前方の危険を監視すること等が可能となり、車速により車両の走行が検出されなかった場合には、防犯モードを設定して、住居等の監視をすること等が可能となる。そして、使用処理モードを切り替えることにより、無駄な動作を行うことがなくなり、消費電力を抑制すること等が可能となる。
【００８５】
また、本実施形態では、赤外線画像データを記憶する記憶部１４０を含んでもよい。そして、処理部１２０は、使用処理モードとして防犯モードが設定されている場合に、所与の時間間隔で赤外線画像データを保存し、保存された赤外線画像データに基づいて、防犯モードにおける監視エリアの監視処理を行ってもよい。
【００８６】
ここで、監視エリアとは、車載カメラシステム２００の監視対象物を検出するために、監視することが必要なエリアのことであり、例えば、赤外線画像撮像部２１０又は可視画像撮像部２２０により、撮像される範囲のこという。図５（Ａ）の例で言えば、赤外線画像撮像部２１０により撮像される住居のドアＤＲや窓ＷＤを含む範囲のことである。
【００８７】
監視処理とは、例えば、赤外線画像データの比較処理や防犯用報知データの生成処理等のこという。これらの処理については、後述する。
【００８８】
これにより、防犯モードが設定されており、可視画像撮像部２２０が動作オフ状態である場合に、例えば赤外線画像撮像部２１０の時間差成分の比較のみを行うこと等が可能となり、住居の侵入者などの監視対象物の検出を行いつつ、画像処理の計算量を大幅に低減させ、ひいては画像処理にかかる消費電力を削減すること等が可能となる。
【００８９】
また、処理部１２０は、監視処理として、記憶部１４０に記憶された複数の赤外線画像データの中から、第１の赤外線画像データと、第１の赤外線画像データとは取得タイミングの異なる第２の赤外線画像データとを特定し、第１の赤外線画像データと第２の赤外線画像データとの比較処理を行い、比較処理の結果に基づいて監視対象物の検出処理を行い、検出処理の結果に基づいて防犯用報知データの生成処理を行ってもよい。
【００９０】
ここで、第１の赤外線画像データと第２の赤外線画像データは、互いに異なるタイミングにおいて撮像された赤外線画像を表す赤外線画像データのことをいう。例えば、あるタイミング１についての赤外線画像データを取得し、これを第１の赤外線画像データとし、その後の所定周期毎に取得する赤外線画像データを、第２の赤外線画像データとして、比較処理を行っても良い。他にも、第１の赤外線画像データの次のタイミングに取得する赤外線画像データが第２の赤外線画像データであり、第２の赤外線画像データの次のタイミングに取得する赤外線画像データが第１の赤外線画像データであるとして、比較処理を行っても良い。
【００９１】
例えば、図５（Ａ）の例において、あるタイミングｔにおいて、赤外線画像撮像部２１０が撮像した赤外線画像を、図５（Ｂ）に示すＩＩＭ１とし、タイミング（ｔ＋１）に撮像した赤外線画像を図５（Ｃ）に示すＩＩＭ２とする。この場合には、まず赤外線画像ＩＩＭ１を示す赤外線画像データを、第１の赤外線画像データとして記憶部に保存しておき、赤外線画像ＩＩＭ２を示す赤外線画像データを取得した時点で、ＩＩＭ２の赤外線画像データを第２の赤外線画像データとして、第１の赤外線画像データと比較する。その結果、本例では、赤外線画像ＩＩＭ１には、監視対象物が何も映っていないが、赤外線画像ＩＩＭ２には、侵入者ＩＶらしき姿が確認されたとする。この場合には、図５（Ａ）において、タイミングｔでは、監視エリア外の位置Ｐ１にいた人物ＩＶが、タイミング（ｔ＋１）までの間に、位置Ｐ２に移動して監視エリア内に侵入したとして、この人物ＩＶを侵入者として認識する。そして、防犯用報知データを生成する。
【００９２】
また、防犯用報知データとは、防犯モードが設定されている場合に、住居等への侵入者等の監視対象物の存在を検知した時に、監視対象物を威嚇したり、ユーザー等に報知するために用いる情報である。例えば、防犯用報知データの一例としては、車のクラクションを鳴らす命令情報であったり、車両のヘッドライトを点灯させる命令情報であったり、その他にも侵入者を検知したことをユーザーに通知するための文字や画像データ等がある。
【００９３】
これにより、防犯モードが設定されている場合に、赤外線画像データのみを用いて、監視対象物を検出し、監視対象物が検出された場合には、防犯用報知データを生成して、住居への侵入者を撃退したり、ユーザーへ侵入者の存在を通知したりすること等が可能になる。
【００９４】
ここで、防犯モードが設定されている状態で、赤外線画像データに差異が検出された場合には、監視エリア内に何等かが侵入した可能性がある。若しくは、防犯モードを設定したまま、ユーザーが車両を動かしてしまい、車両の周囲の背景が変化した可能性もある。本来であれば、前者の場合のみを検知することが防犯モードの目的である。
【００９５】
そこで、処理部１２０は、使用処理モードとして防犯モードが設定されており、車速を検知しなかった場合に、監視処理として、第１の赤外線画像データと第２の赤外線画像データとの比較処理を行い、比較処理の結果に基づいて監視対象物の検出処理を行い、検出処理の結果に基づいて防犯用報知データの生成処理を行ってもよい。
【００９６】
これにより、防犯モードを設定したまま、ユーザーが車両を動かしてしまった場合に起こる誤検出を回避すること等が可能となる。
【００９７】
ここで、住居等への侵入者は、住居の様子を窺うために、一定箇所に留まることが多く、監視エリアの通過時間が歩行者等に対して長いことが分かっている。また、車両が駐車中の場合には、背景画像が時間的に変化しないため、走行モードの設定時に比べて画像処理が容易であり、フレームレートを高く設定する必要はない。
【００９８】
そこで、処理部１２０は、防犯モードが設定されている場合には、赤外線画像撮像部２１０のフレームレートを走行モードの設定時のフレームレートに比べて低く設定してもよい。
【００９９】
これにより、赤外線画像撮像部２１０の駆動及び赤外線画像データの画像処理に用いる電力の消費を抑えること等が可能となる。
【０１００】
また、処理部１２０は、防犯モードが設定されている場合に、赤外線画像撮像部２１０の方向及び位置のうち少なくとも一方が、走行モードが設定されている場合と異なるように、赤外線画像撮像部２１０の方向及び位置のうち少なくとも一方を制御してもよい。
【０１０１】
これにより、防犯モード設定時に、住居のドアや窓の方向を向くように、車両を駐車しなくても、赤外線画像撮像部２１０の位置や方向を変更して、監視対象物の監視処理を行うこと等が可能になる。
【０１０２】
また、処理部１２０は、防犯モードが設定されている場合に、ユーザーからの入力情報に基づいて、赤外線画像撮像部２１０の方向及び位置のうち少なくとも一方を制御してもよい。
【０１０３】
ここで、ユーザーからの入力情報とは、ユーザーがセレクタスイッチ等を用いて特定した赤外線画像撮像部２１０の位置や方向についての情報である。
【０１０４】
例えば、あらかじめ用意された赤外線画像撮像部２１０の位置及び方向の組み合わせの中から、適切な組み合わせをユーザーが選択し、セレクタスイッチを操作して、車載カメラ制御装置１００に入力する。そして、処理部１２０が、入力情報に基づいて、赤外線画像撮像部２１０の位置及び方向のうち、少なくとも一方を変化させる制御情報を、赤外線画像撮像部２１０に通知する。
【０１０５】
これにより、防犯モード設定時に、ユーザーのニーズに応じて、赤外線画像撮像部２１０の位置や方向を変更すること等が可能になる。
【０１０６】
また、処理部１２０は、走行モードが設定されている場合には、赤外線画像撮像部２１０の方向を、車両の前方方向に設定し、防犯モードが設定されている場合には、赤外線画像撮像部２１０の方向を、車両の前方方向とは異なる方向に設定してもよい。
【０１０７】
ここで、車両の前方方向は、車体の中心点から、車体の中心点よりも車体の前方にある車幅の中心点への方向（すなわち車体の真正面方向）だけでなく、所定の角度だけ水平方向にずらした方向も含むものとする。例えば、図２（Ａ）では車両中心線ＣＬ１の右方向が車両の前方方向となる。また、所定の角度とは、おおよそ±１０°程度の角度である。
【０１０８】
これにより、走行モードが設定されている場合と防犯モードが設定されている場合で、赤外線画像撮像部２１０が撮像する方向を変えること等が可能になる。したがって、一つの赤外線画像撮像部２１０を、走行時と非走行時で兼用すること等が可能になる。
【０１０９】
また、処理部１２０は、走行モードが設定されている場合に、赤外線画像データにより得られた情報に基づいて、対象物の検出処理を行って、可視画像データにより表される可視画像の加工処理を行ってもよい。
【０１１０】
ここで、加工処理とは、例えば、可視画像に対象物の輪郭画像等を重畳するなどして、新たな画像を生成すること等をいう。加工処理を行った後は、車内ディスプレイなどに加工後の画像を表示してもよい。具体的には、加工処理の例として、図４（Ｄ）に示した画像ＣＩＭを生成する処理などがある。図４（Ｄ）では、歩行者ＷＰ１や自転車に乗った人を強調する画像であるＡＬＩＭ１及びＡＬＩＭ２を、可視画像ＶＩＭに重畳して、画像ＣＩＭを生成している。
【０１１１】
これにより、走行モードが設定されている場合に、ユーザーに対象物への注意を促すこと等が可能になる。
【０１１２】
また、処理部１２０は、検出処理において対象物を検出した場合に、加工処理として、対象物が存在する位置に対応する可視画像上の位置に、アラート画像を重畳する処理を行ってもよい。
【０１１３】
ここで、アラート画像とは、ユーザーに対象物の存在を知らせるための画像である。アラート画像の例としては、エクスクラメーション・マ−クや、歩行者や先行車を表す模式図、危険が迫っていることを知らせる強調文字などがある。また、アラート画像と同時に、警告音等を発しても良い。
【０１１４】
具体的には、図４（Ｄ）に示す画像ＡＬＩＭ１やＡＬＩＭ２がアラート画像に該当する。他にも、図６（Ａ）に示す画像ＣＩＭ１上において、歩行者ＷＰ１の頭上に表示したＡＬＩＭ３のようなエクスクラメーション・マ−クや、図６（Ｂ）に示す画像ＣＩＭ２上において、歩行者ＷＰ１の輪郭を強調する画像ＡＬＩＭ４や、危険が迫っていることを文字や記号を用いて強調するＡＬＩＭ５のような帯画像などがある。
【０１１５】
これにより、走行モードが設定されている場合に、よりユーザーに分かりやすい形式で、対象物への注意を促すこと等が可能になる。
【０１１６】
なお本実施形態の車載カメラ制御装置等の機能は、プログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサーがプログラムを実行することで、本実施形態の車載カメラ制御装置等の機能が実現される。具体的には情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサーが実行する。ここで、情報記憶媒体（コンピューターにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリー（カード型メモリー、ＲＯＭ等）などにより実現できる。そしてＣＰＵ等のプロセッサーは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体には、本実施形態の各部としてコンピューター（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピューターに実行させるためのプログラム）が記憶される。
【０１１７】
３．処理の流れ
以下では、図７のフローチャートを用いて、本実施形態の処理の流れについて説明する。
【０１１８】
まず、パラメータの初期設定を行う（Ｓ０）。次に、車両の状態を把握するために、前輪の回転速度に基づいて車速を求める（Ｓ１）。ステップＳ１において、車速が０よりも大きい場合には、車両が走行中であると判断し、車速が０である場合には、車両が駐車中または停車中であると判断する。
【０１１９】
車両が走行中であると判断した場合には、赤外線画像撮像部及び可視画像撮像部を回転させる際に用いる各電動モーターの電源をＯＮにする（Ｓ２）。これにより、モーターが定位置にて励磁状態になる。その結果、わずかな振動があった場合には、モーター励磁により振動が吸収されて、赤外線画像撮像部及び可視画像撮像部の位置や方向がずれることはなく、走行途中等に大きな振動があった場合には、励磁力により赤外線画像撮像部及び可視画像撮像部を元の位置にいち早く戻すことができる。
【０１２０】
一方、ステップＳ１において、車両が停車中及び駐車中であると判断した場合には、赤外線画像撮像部及び可視画像撮像部を回転させる電動モーターの電源をＯＦＦにする（Ｓ１３）。これにより、手動で赤外線画像撮像部及び可視画像撮像部の位置を回転させることができるようになる。この場合の処理については、後述する。
【０１２１】
次に、ステップＳ２の処理後において、赤外線画像撮像部を用いて車体進行方向前方を撮像して、熱画像（赤外線画像）を取得する（Ｓ３）。そして、可視画像撮像部により車体進行方向前方を撮像して、可視画像を取得する（Ｓ４）。なお、ステップＳ３及びステップＳ４の順序は、ステップ間の間隔が短ければ、どちらが先でも構わない。また、場合によっては両方を並列に処理してしまうことも可能である。
【０１２２】
ここで、車両が走行中である場合に、像振れの無い画像を取得するためには、まず車載カメラの振動を検出し、その検出値に応じて像振れ抑制を行う必要がある。一般的に、走行中の車体の振動は、特別な段差がなければ、通常１Ｈｚないし２０Ｈｚの周波数を有している。本例では、加速度、角加速度、角速度、角変位等の変化量に基づいて、このような振動を検出する。そして、この検出情報に基づき撮影光軸を偏心させて、像振れ抑制を行う。
【０１２３】
次に、ステップＳ３で得られた熱画像から、所与の温度範囲以上の温度を有する領域を、検出対象物の候補領域として抽出する（Ｓ５）。
【０１２４】
例えば、検出対象物が先行車又は歩行者（人物）である場合について以下で説明する。まず、検出対象物が先行車である場合には、マフラー領域が１００℃程度の高温になることを利用して、所与の温度範囲を８０℃以上と設定する。そして、熱画像中から８０℃以上の温度を有する領域を探索し、その領域の位置情報と温度情報を検出する。
【０１２５】
一方、検出対象物が歩行者である場合には、露出している顔の表面温度が３０℃程度の中温になることを利用して、所与の温度範囲を２８℃以上３７℃未満と設定する。そして、熱画像中から２８℃以上３７℃未満の温度を有する領域を探索して、その領域の位置情報と温度情報を検出する。
【０１２６】
ここで、各領域で検出される結果のうち、位置情報は例えば候補領域の重心座標位置としてもよく、温度情報は例えば候補領域の平均温度としてもよい。
【０１２７】
なお、検出対象物が先行者及び歩行者以外のものを検出対象物とする場合には、その検出対象物が有すると想定される温度情報に基づいて、所与の温度範囲を設定して、上記のように検出処理を行えばよい。
【０１２８】
そして、ステップＳ５で得られた各候補領域の位置情報と温度情報を対応付けした位置及び温度リストを作成する（Ｓ６）。
【０１２９】
次に、ステップＳ６で作成したリスト内に、検出対象物に対する候補領域があるかどうかを判定する（Ｓ７）。リスト内に検出対象物の候補領域が一つも抽出されていない場合には、今回の赤外線画像撮像部より撮像された熱画像中には、検出対象物である先行車や歩行者が存在しないものと判断して、次回の処理のためにステップＳ３に戻る。
【０１３０】
一方、リスト内に検出対象物の候補領域が一つ以上ある場合には、ステップＳ６で作成したリストに基づいて、可視画像中に各候補領域を重ね合わせる（Ｓ８）。
【０１３１】
次に、ステップＳ８で可視画像に重畳した各候補領域について、テンプレートマッチング処理を行い、候補領域が検出対象物を表す領域であるか否かを判断する。
【０１３２】
テンプレートマッチング処理では、まず、ステップＳ６で作成したリストの温度情報に基づいて、テンプレートマッチング処理に使用するテンプレートを選択する（Ｓ９）。例えば、テンプレートにあらかじめ割り当てられた温度情報と、候補領域の平均温度との差が、所与の閾値（±ΔＴ）以内であるテンプレートを、使用するテンプレートとして選択する。なお、テンプレートは、検出対象物の温度分布の傾向を表すものであってもよい。
【０１３３】
具体例として、先行車用テンプレートに、例えば１００℃の温度情報が割り当てられており、所与の閾値ΔＴが±３℃である場合には、候補領域の平均温度が１００±３℃である場合に、先行車用テンプレートが使用するテンプレートとして選択される。
【０１３４】
一方、歩行者用テンプレートに、例えば２８℃の温度情報が割り当てられており、所与の閾値ΔＴが±３℃である場合には、候補領域の平均温度が２８±３℃である場合に、歩行者用テンプレートが使用するテンプレートとして選択される。なお、高温部分については、外気温の影響を受けること等を考えると、同一の物体でも所定の範囲で温度が変化することを考慮する必要がある。また、今回の例では中温情報を有する対象物を歩行者としているが、例えば似たような中温情報を有する対象物である動物（犬等）と区別するためには、本ステップで動物のテンプレートも使用するテンプレートとして選択され得る。
【０１３５】
そして、ステップＳ９で選択されたテンプレートと、候補領域とを比較して、候補領域が検出対象物を表す領域であるか否かを判断する（Ｓ１０）。例えば、候補領域がテンプレートと温度分布の傾向が似ている場合や、テンプレートに割り当てられた検出対象物の形状の輪郭と、候補領域の輪郭との誤差が所定の閾値よりも小さい場合等に、候補領域がテンプレートと同一の検出対象物に関するものであると判断し、検出対象物の位置を取得する。
【０１３６】
また、テンプレートマッチング処理の他の方法として、可視画像に基づいて、可視画像に重畳された候補領域内の濃度値（濃淡値）を求め、選択されたテンプレートの濃度値（濃淡値）との相関演算によって、候補領域が検出対象物を表す領域であるか否かを判断してもよい。また、他にも、テンプレートとしてエッジ画像を準備しておき、候補領域のエッジ情報を検出し、エッジ情報の相関演算を行うことにより、候補領域が検出対象物を表す領域であるか否かを判断してもよい。
【０１３７】
そして、ステップＳ６で作成されたリストにある全ての候補領域に対して、テンプレートマッチング処理が行われたか否かを判定する（Ｓ１１）。リストにある全ての候補領域に対してテンプレートマッチング処理が終了していない場合には、ステップＳ８に戻る。リストにある全ての候補領域に対してテンプレートマッチング処理が終了している場合には、外部機器に対して検出結果を出力する（Ｓ１２）。
【０１３８】
具体的には、歩行者の有無や衝突の危険があることを知らせるために、警報又は画像付きメールにて通報装置に出力する。また、検出結果の先行車や歩行者の位置を表示するために、本処理の検出結果を提示部（車内ディスプレイ）に出力してもよい。
【０１３９】
最後に、次回以降の処理を行うためにステップＳ１へ戻る。
【０１４０】
次に、ステップＳ１において、車両が住居にて停車し、車速センサーがゼロを感知した場合には、赤外線画像撮像部及び可視画像撮像部を回転させる各電動モーターの電源をＯＦＦにする（Ｓ１３）。これにより、赤外線画像撮像部及び可視画像撮像部の位置及び方向を任意に設定することが可能となる。
【０１４１】
また、車速がゼロとなったことを検知すると同時に、可視画像撮像部と赤外線画像撮像部の駆動源を停止する（Ｓ１４）。この時に、使用者が車内に設置されたセレクタスイッチをＯＮにすることにより（Ｓ１５）、赤外線画像撮像部のみが駆動され、撮像状態に入る（Ｓ１６）。この時、カウンターｉを初期化しておき、時間ｔにおいて、赤外線画像（熱画像）を撮像する。また、提示部（車内ディスプレイ）に赤外線画像を表示させながらセレクタスイッチを操作することにより、記憶部にあらかじめ記憶している赤外線画像撮像部の数種類の撮像位置及び撮影方向から、最適なカメラの位置や方向を指定して、電動モーターを駆動させることも可能である（Ｓ１７）。
【０１４２】
次に、セレクタスイッチをＯＮにしてから一定時間経過後に、赤外線画像撮像部により前方を撮像し、熱画像を取得する（Ｓ１８）。ここで、赤外線画像撮像部の感度は、落としても構わない。車体と監視対象物（窓・扉）の距離が近く、背景部と侵入者（監視対象物）の画像の重なりによる、輪郭ボケも少ないためである。
【０１４３】
そして、所定の時間経過後に、カウンターｉを更新して、赤外線画像撮像部により前方を撮像し、新たな熱画像を取得する（Ｓ１９）。
【０１４４】
ここで、熱画像取得途中に車速を検知した場合には（Ｓ２０）、走行モードに移行し、ステップＳ２以下の処理を行う。また、この際には、赤外線画像撮像部の設置位置が前方位置となるように赤外線画像撮像部を移動させる。
【０１４５】
一方、熱画像取得途中に車速を検知しなかった場合には、ステップＳ１８で得られた熱画像とステップＳ１９で得られた熱画像の温度特徴量の比較を行う（Ｓ２１）。
【０１４６】
温度特徴量の比較処理の結果、二つの熱画像間で温度特徴量の差がない場合には、監視対象物が検知されなかったと判断し、Ｓ１９の処理に戻る。
【０１４７】
一方、温度特徴量の比較処理の結果、二つの熱画像間で温度特徴量の差がある場合には、監視対象物が検知された可能性がある。したがって、この場合に例えば侵入者を検出する場合には、露出している人の顔の表面温度が３０℃程度の中温であることを利用して、熱画像中から３０℃程度の温度情報を有する領域を探索し、該当する温度情報の有無を検出し、侵入者の有無を判定する。
【０１４８】
そして、ステップＳ２１において、侵入者を検出した場合には、車体のクラクションやフロントライトの点滅を警報として出力する（Ｓ２２）。
【０１４９】
以上のように本実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、車載カメラ制御装置、車載カメラ制御システム及び車載カメラシステムの構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１５０】
１００ 車載カメラ制御装置、１１０ 画像取得部、１２０ 処理部、
１３０ モード設定部、１４０ 記憶部、２００ 車載カメラシステム、
２１０ 赤外線画像撮像部、２２０ 可視画像撮像部、２３０ 提示部、
２４０ センサー、４１０ 赤外線カメラ、４２０ 電動モーター、
４３０ 可視カメラ、４４０ 電動モーター、４５０ ＣＰＵ、
４６０ 車速センサー、４７０ メモリー、４８０ 警報装置、４９０ ディスプレイ
【技術分野】
【０００１】
本発明は、車載カメラ制御装置、車載カメラ制御システム及び車載カメラシステム等に関係する。
【背景技術】
【０００２】
近年、犯罪の凶悪化、巧妙化に対応するために、防犯対策の強化が望まれており、各種防犯アイテムの充実が望まれている。
【０００３】
例えば住居の防犯に関して言えば、住居の扉や窓への不審者による不正な開閉が検知された時に、赤外線カメラによる撮像又はブザー等の警報を行い、住居人に報知する特許文献１に記載されているような従来技術がある。
【０００４】
しかしながら、単に、防犯アイテムを増加させるのでは、防犯システムの増加に伴い防犯システムに掛かる費用も高くなり、ユーザーの費用負担が増加するという問題がある。
【０００５】
一方で、車載赤外線カメラにより車体前方の近赤外線画像を撮像して表示するとともに、撮像画像から歩行者を検知して、その検知結果を近赤外線画像に重ね合わせて表示する車載用の暗視装置が実用化されている。このような暗視装置に用いられる歩行者検知技術として、特許文献２に記載される従来技術がある。
【０００６】
特許文献２の従来技術では、検知対象物における所定部位の形状と同一形状の部位が、該対象物中に連続して存在するか否かを探索し、同一形状の部位が連続して存在する場合には、該対象物は人工物であると判断して、該対象物を除外した残りの対象物から歩行者を認識する。
【０００７】
このような状況の中で、本出願人は、住居の侵入者防止用途と道路走行中の歩行者検知用途に、車載カメラを兼用して使う手法を検討している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００２−１５０４３８号公報
【特許文献２】特開２００５−３５２９７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
車両が走行中の場合には、車載カメラの撮像処理及び画像生成処理の駆動電力は、車バッテリーより供給されるため、問題は生じにくい。しかし、車両が駐車中の場合においては、車両のバッテリーや車載カメラが保持している電池により、撮像処理及び画像生成処理を行うため、車載カメラ等の消費電力をできるだけ抑える必要がある。
【００１０】
本発明の幾つかの態様によれば、駐車時に消費電力を抑制しつつ、車両の周囲の監視対象物の監視をすることが可能な車載カメラ制御装置、車載カメラ制御システム及び車載カメラシステム等を提供できる。
【課題を解決するための手段】
【００１１】
本発明の一態様は、赤外線画像データを赤外線画像撮像部から取得し、可視画像データを可視画像撮像部から取得する画像取得部と、走行モードと防犯モードとを含む複数の処理モードのうちのいずれかの処理モードを、使用処理モードとして設定するモード設定部と、設定された前記使用処理モードに従い処理を行う処理部と、を含み、前記処理部は、前記使用処理モードとして前記走行モードが設定されている場合には、前記可視画像撮像部を通常駆動状態に設定し、前記可視画像データと前記赤外線画像データとに基づいて、報知用データの生成処理を含む処理を行い、前記使用処理モードとして前記防犯モードが設定されている場合には、前記可視画像撮像部を、動作オフ状態又は前記通常駆動状態よりも消費電力が低い省電力状態に設定し、前記赤外線画像データに基づく監視対象物の検出処理を含む処理を行う車載カメラ制御装置に関係する。
【００１２】
本発明の一態様では、使用処理モードが走行モードに設定されている場合と、防犯モードに設定されている場合で、異なる処理を行うことができる。これにより、消費電力を抑制しつつ、車両及び車両の周囲の状況に応じた監視対象物の監視をすることが可能となる。
【００１３】
また、本発明の一態様では、前記モード設定部は、車両の走行状況情報を取得し、前記走行状況情報に基づいて、前記使用処理モードの設定処理を行ってもよい。
【００１４】
これにより、車両の走行状態によって、使用処理モードを切り替えることが可能となり、例えば、車両が非走行状態にある場合などに防犯モードに切り替えて、消費電力を抑制すること等が可能になる。
【００１５】
また、本発明の一態様では、前記モード設定部は、前記車両の前記走行状況情報に基づいて車速を求め、前記車速により前記車両の走行を検知した場合には、前記使用処理モードを前記走行モードに設定する処理を行い、前記車速により前記車両の走行を検知しなかった場合には、前記使用処理モードを前記防犯モードに設定する処理を行ってもよい。
【００１６】
これにより、例えば、車速により車両の走行が検出された場合には、走行モードを設定して、車両の前方の危険を監視すること等が可能となり、車速により車両の走行が検出されなかった場合には、防犯モードを設定して、住居等の監視をすること等が可能となる。
【００１７】
また、本発明の一態様では、前記赤外線画像データを記憶する記憶部を含み、前記処理部は、前記使用処理モードとして前記防犯モードが設定されている場合に、所与の時間間隔で前記赤外線画像データを保存し、保存された前記赤外線画像データに基づいて、前記防犯モードにおける監視エリアの監視処理を行ってもよい。
【００１８】
これにより、防犯モードが設定されており、可視画像撮像部が動作オフ状態である場合に、例えば赤外線画像撮像部の時間差成分の比較のみを行うこと等が可能となり、住居の侵入者などの監視対象物の検出を行いつつ、画像処理の計算量を大幅に低減させ、ひいては画像処理にかかる消費電力を削減すること等が可能となる。
【００１９】
また、本発明の一態様では、前記処理部は、前記監視処理として、前記記憶部に記憶された複数の前記赤外線画像データの中から、第１の赤外線画像データと、前記第１の赤外線画像データとは取得タイミングの異なる第２の赤外線画像データとを特定し、前記第１の赤外線画像データと前記第２の赤外線画像データとの比較処理を行い、前記比較処理の結果に基づいて前記監視対象物の検出処理を行い、前記検出処理の結果に基づいて防犯用報知データの生成処理を行ってもよい。
【００２０】
これにより、防犯モードが設定されている場合に、赤外線画像データのみを用いて、監視対象物を検出し、監視対象物が検出された場合には、防犯用報知データを生成して、住居への侵入者を撃退したり、ユーザーへ侵入者の存在を通知したりすること等が可能になる。
【００２１】
また、本発明の一態様では、前記処理部は、前記使用処理モードとして前記防犯モードが設定されており、前記車速を検知しなかった場合に、前記監視処理として、前記第１の赤外線画像データと前記第２の赤外線画像データとの前記比較処理を行い、前記比較処理の結果に基づいて前記監視対象物の検出処理を行い、前記検出処理の結果に基づいて前記防犯用報知データの生成処理を行ってもよい。
【００２２】
これにより、防犯モードを設定したまま、ユーザーが車両を動かしてしまった場合に起こる誤検出を回避すること等が可能となる。
【００２３】
また、本発明の一態様では、前記処理部は、前記防犯モードが設定されている場合には、前記赤外線画像撮像部のフレームレートを前記走行モードの設定時のフレームレートに比べて低く設定してもよい。
【００２４】
これにより、赤外線画像撮像部の駆動及び赤外線画像データの画像処理に用いる電力の消費を抑えること等が可能となる。
【００２５】
また、本発明の一態様では、前記処理部は、前記防犯モードが設定されている場合に、前記赤外線画像撮像部の方向及び位置のうち少なくとも一方が、前記走行モードが設定されている場合と異なるように、前記赤外線画像撮像部の方向及び位置のうち少なくとも一方を制御してもよい。
【００２６】
これにより、防犯モード設定時に、住居のドアや窓の方向を向くように、車両を駐車しなくても、赤外線画像撮像部の位置や方向を変更して、監視対象物の監視処理を行うこと等が可能になる。
【００２７】
また、本発明の一態様では、前記処理部は、前記防犯モードが設定されている場合に、ユーザーからの入力情報に基づいて、前記赤外線画像撮像部の方向及び位置のうち少なくとも一方を制御してもよい。
【００２８】
これにより、防犯モード設定時に、ユーザーのニーズに応じて、赤外線画像撮像部の位置や方向を変更すること等が可能になる。
【００２９】
また、本発明の一態様では、前記処理部は、前記走行モードが設定されている場合には、前記赤外線画像撮像部の方向を、車両の前方方向に設定し、前記防犯モードが設定されている場合には、前記赤外線画像撮像部の方向を、前記車両の前記前方方向とは異なる方向に設定してもよい。
【００３０】
これにより、走行モードが設定されている場合と防犯モードが設定されている場合で、赤外線画像撮像部が撮像する方向を変えること等が可能になる。
【００３１】
また、本発明の一態様では、前記処理部は、前記走行モードが設定されている場合に、前記赤外線画像データにより得られた情報に基づいて、対象物の検出処理を行って、前記可視画像データにより表される前記可視画像の加工処理を行ってもよい。
【００３２】
これにより、走行モードが設定されている場合に、ユーザーに対象物への注意を促すこと等が可能になる。
【００３３】
また、本発明の一態様では、前記処理部は、前記検出処理において前記対象物を検出した場合に、前記加工処理として、前記対象物が存在する位置に対応する前記可視画像上の位置に、アラート画像を重畳する処理を行ってもよい。
【００３４】
これにより、走行モードが設定されている場合に、よりユーザーに分かりやすい形式で、対象物への注意を促すこと等が可能になる。
【００３５】
また、本発明の他の態様は、赤外線画像データを赤外線画像撮像部から取得し、可視画像データを可視画像撮像部から取得する画像取得部と、走行モードと防犯モードとを含む複数の処理モードのうちのいずれかの処理モードを、使用処理モードとして設定するモード設定部と、設定された前記使用処理モードに従い処理を行う処理部と、を含み、前記処理部は、前記使用処理モードとして前記走行モードが設定されている場合には、前記可視画像撮像部を通常駆動状態に設定し、前記可視画像データと前記赤外線画像データとに基づいて、報知用データの生成処理を含む処理を行い、前記使用処理モードとして前記防犯モードが設定されている場合には、前記可視画像撮像部を、動作オフ状態又は前記通常駆動状態よりも消費電力が低い省電力状態に設定し、前記赤外線画像データに基づく監視対象物の検出処理を含む処理を行う車載カメラ制御システムに関係する。
【００３６】
また、本発明の他の態様は、前記車載カメラ制御装置と、前記赤外線画像撮像部と、前記可視画像撮像部とを含む車載カメラシステムに関係する。
【図面の簡単な説明】
【００３７】
【図１】本実施形態のシステム構成図。
【図２】図２（Ａ）は、赤外線画像撮像部及び可視画像撮像部の取付け位置を示す平面図であり、図２（Ｂ）は、赤外線画像撮像部及び可視画像撮像部の取付け位置を示す側面図。
【図３】本実施形態のハードウェア構成図
【図４】図４（Ａ）〜図４（Ｄ）は、走行モード設定時の処理の説明図。
【図５】図５（Ａ）〜図５（Ｃ）は、防犯モード設定時の処理の説明図。
【図６】図６（Ａ）、図６（Ｂ）は、アラート画像の説明図。
【図７】本実施形態の処理を説明するフローチャート。
【発明を実施するための形態】
【００３８】
以下、本実施形態について説明する。まず、本実施形態のシステム構成例を説明し、次に本実施形態の特徴について説明する。そして最後に、フローチャートを用いて本実施形態の処理の流れについて説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００３９】
１．システム構成例
まず、図１に本実施形態の車載カメラ制御装置及びこれを含む車載カメラシステムの構成例を示す。
【００４０】
車載カメラ制御装置１００は、画像取得部１１０と、処理部１２０と、モード設定部１３０と、記憶部１４０と、を含む。また、車載カメラ制御装置１００の機能は、例えば、複数の情報処理装置を含む車載カメラ制御システムによって実現されてもよい。さらに、車載カメラ制御装置１００を含む車載カメラシステム２００の例としては、赤外線画像撮像部２１０や、可視画像撮像部２２０、提示部２３０、センサー２４０などを含む車載カメラシステムなどが挙げられる。なお、車載カメラ制御装置１００及びこれを含む車載カメラシステム２００は、図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。例えば、車載カメラ制御装置１００の一部又は全部の機能を、赤外線画像撮像部２１０や、可視画像撮像部２２０により実現してもよい。また、本実施形態の車載カメラ制御装置１００の一部又は全部の機能は、通信により接続されたサーバにより実現されてもよい。車載カメラ制御システムの場合も同様である。
【００４１】
次に各部で行われる処理について説明する。
【００４２】
まず、画像取得部１１０は、赤外線画像撮像部２１０から赤外線画像を表す赤外線画像データを取得し、可視画像撮像部２２０から可視画像を表す可視画像データを取得する。
【００４３】
そして、処理部１２０は、モード設定部１３０により設定された使用処理モードに従い、記憶部１４０から得られるデータを用いて種々の処理を行う。
【００４４】
さらに、モード設定部１３０は、走行モードと防犯モードとを含む複数の処理モードのうちのいずれかの処理モードを、使用処理モードとして設定する。
【００４５】
なお、画像取得部１１０及び処理部１２０、モード設定部１３０の機能は、各種プロセッサー（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。
【００４６】
また、記憶部１４０は、データベースを記憶したり、処理部１２０等のワーク領域となるもので、その機能はＲＡＭ等のメモリーやＨＤＤ（ハードディスクドライブ）などにより実現できる。
【００４７】
そして、赤外線画像撮像部２１０は、赤外線画像を撮像する。赤外線画像は、遠赤外線画像及び中赤外線画像を含む。赤外線画像撮像部２１０は、検出対象物に人体を含める場合には、８〜１２μｍの遠赤外線波長域に感度を有するものであっても良く、より遠距離（およそ２００ｍ先）の感度を得る必要がある場合には、赤外線画像撮像部２１０として焦電型赤外線センサーカメラを用いることが望ましい。焦電型センサーカメラを使うことにより、遠距離から近距離までの熱画像（赤外線画像）を１つのセンサー膜で取得可能であり、人体の体温と他の静止物の境界線が明確に表示可能であるため、人体抽出には最適であり、さらに他の赤外線センサーより大幅にコストが低い。
【００４８】
また、本実施形態では、赤外線画像撮像部２１０は、住居侵入防止等の防犯目的において、使用されるが、この場合には、監視エリアは住居の窓及び扉を含むエリアとなる。したがって、この監視エリアへの侵入者を検知するためには、赤外線画像撮像部２１０は、前述したように８〜１２μｍの遠赤外線波長域に感度を有するものであることが望ましい。そのため、同一の赤外線画像撮像部を、走行時と住居防犯時に共用することもできる。さらに、車両の走行途中に歩行者を検知する場合に比べ、住居の防犯時に侵入者を検知する場合には、背景画像が時間的に変化せず、侵入者の有無だけを検知するだけで良いため、走行時に比べて画像処理が非常に簡単である。また、侵入者が撮像エリア内を通過する時間も歩行者に比べ長いため、フレームレートを低く設定して、間引き撮像を行いつつ、侵入者を検出することも可能であり、撮像時の電気消費量を抑えることが可能である。
【００４９】
一方、可視画像撮像部２２０は、可視画像を撮像する。可視画像撮像部２２０は、撮像素子としてＣＣＤやＣＭＯＳを用いているカメラであっても良く、また、白黒カメラでもカラーカメラでも良い。白黒カメラを使う場合には、可視画像として濃淡画像が撮像され、カラーカメラを使う場合には、可視画像として色画像が撮像される。
【００５０】
なお、赤外線画像撮像部２１０及び可視画像撮像部２２０は、画像処理用等に用いられるデバイス（プロセッサー）を含んでもよい。本実施形態においては、赤外線画像データまたは可視画像データを、そのまま車載カメラ制御装置１００に出力するが、これに限定されるものではない。例えば、車載カメラ制御装置１００の処理部の一部を、赤外線画像撮像部２１０又は可視画像撮像部２２０に持たせてもよい。その場合、赤外線画像又は可視画像に対して、画像処理が施された後の情報が車載カメラ制御装置１００に出力されることになる。
【００５１】
次に、図２（Ａ）、図２（Ｂ）に、赤外線画像撮像部及び可視画像撮像部等の取り付け位置の一例を示す。
【００５２】
赤外線画像撮像部２１０は、図２（Ａ）、図２（Ｂ）に示すように、レンズの光軸の水平成分方向ＨＬＬ１と車体中心線ＣＬ１がなすパン角がＰＡ１となり、レンズの光軸の垂直成分方向ＰＬＬ１と地上との水平線ＨＬ１がなすチルト角がＴＡ１となるように、車体のバンパーまたはグリル内に取り付けられる。ここで、赤外線画像撮像部２１０は、赤外線画像撮像部２１０を上下、左右に首振り駆動させる電動モーターを備えていてもよい。この場合には、車体進行方向前方の道路又は道路側面を撮像できるように回転角度を自由に調整できる。
【００５３】
可視画像撮像部２２０は、図２（Ａ）、図２（Ｂ）に示すように、レンズの光軸の水平成分方向ＨＬＬ２と車体中心線ＣＬ２がなすパン角がＰＡ２となり、レンズの光軸の垂直成分方向ＰＬＬ２と地上との水平線ＨＬ２がなすチルト角がＴＡ２となるように、フロントウィンドウ上部に取り付けられる。ここで、可視画像撮像部２２０も赤外線画像撮像部２１０と同様に、可視画像撮像部２２０を上下、左右に首振り駆動させる電動モーターを備えていてもよい。この場合には、車体進行方向前方の道路又は道路側面を撮像できるように回転角度を自由に調整できる。
【００５４】
なお、図２（Ａ）では、分かりやすいようにＰＡ１及びＰＡ２は０°以上となっているが、車体進行方向前方を撮像する際には、ＰＡ１＝ＰＡ２＝０°、ＴＡ１＝ＴＡ２とすることが望ましい。また、赤外線画像撮像部２１０及び可視画像撮像部２２０は、車体の側面に設置してもよいし、それぞれの撮像部を複数設置してもよい。
【００５５】
さらに、赤外線画像撮像部２１０及び可視画像撮像部２２０には、運転者が任意に撮影方向や撮影位置を決定するために、車内にセレクタスイッチが設置されており、セレクタスイッチにより、赤外線画像撮像部２１０又は可視画像撮像部２２０の駆動のＯＮ／ＯＦＦや、赤外線画像撮像部２１０や可視画像撮像部２２０の位置や方向を変更することができる。なお、図１及び図２（Ａ）、図２（Ｂ）においては、セレクタスイッチは省略されている。
【００５６】
次に、提示部２３０は、車載カメラ制御装置１００の処理結果をユーザーに示す。提示部２３０は、警報装置であってもよいし、ディスプレイであってもよい。
【００５７】
提示部２３０が警報装置である場合には、警報装置は、処理部１２０から得られる出力信号に基づいて、歩行者の有無や住居屋の侵入者を検知した場合に警報（音声）を発する。警報装置として車体のクラクション及びフロントライトを用いれば、住居への侵入者を検知した場合に、クラクションを鳴らしたり、フロントライトを点滅させたりすることができ、新たな設備を設ける必要がないという利点がある。
【００５８】
さらに、提示部２３０がディスプレイである場合には、ディスプレイは、処理部１２０が先行車や歩行者、又は住居への侵入者を検出した場合に、これらの位置を表す画像を表示したり、検出物の輪郭画像等を可視画像に重畳して生成された画像を、処理部１２０から取得し、これを表示してもよい。
【００５９】
最後に、センサー２４０は、車両の前輪の回転速度から車速を求める車速センサーであってもよく、加速度センサーやＧＰＳセンサーであってもよい。
【００６０】
また、図３に本実施形態のハードウェア構成図を示す。まず、図１の車載カメラ制御装置１００は、図３のＣＰＵ４５０とメモリー４７０により実現できる。ここで、図１の画像取得部１１０及び処理部１２０、モード設定部１３０は、図３のＣＰＵ４５０により実現でき、図１の記憶部１４０は、図３のメモリー４７０により実現できる。
【００６１】
そして、図１の車載カメラシステム２００は、図３の赤外線カメラ４１０と、可視カメラ４３０と、ＣＰＵ４５０と、メモリー４７０とを含んでいる。ここで、図１の赤外線画像撮像部２１０は、図３の赤外線カメラ４１０により実現され、電動モーター４２０を備えている。さらに、図１の可視画像撮像部２２０は、図３の可視カメラ４３０により実現され、電動モーター４４０を備えている。
【００６２】
また、図１の提示部２３０は、図３の警報装置４８０及びディスプレイ４９０により実現できる。そして、図１のセンサー２４０は、図３の車速センサー４６０により実現できる。
【００６３】
２．本実施形態の手法
以上の本実施形態では、赤外線画像データを赤外線画像撮像部２１０から取得し、可視画像データを可視画像撮像部２２０から取得する画像取得部１１０と、走行モードと防犯モードとを含む複数の処理モードのうちのいずれかの処理モードを、使用処理モードとして設定するモード設定部１３０と、設定された使用処理モードに従い処理を行う処理部１２０と、を含む。そして、処理部１２０は、使用処理モードとして走行モードが設定されている場合には、可視画像撮像部２２０を通常駆動状態に設定し、可視画像データと赤外線画像データとに基づいて、報知用データの生成処理を含む処理を行う。一方、処理部１２０は、使用処理モードとして防犯モードが設定されている場合には、可視画像撮像部２２０を、動作オフ状態又は通常駆動状態よりも消費電力が低い省電力状態に設定し、赤外線画像データに基づく監視対象物の検出処理を含む処理を行う。
【００６４】
これにより、使用処理モードが走行モードに設定されている場合と、防犯モードに設定されている場合で、異なる処理を行うことができる。
【００６５】
ここで、処理モードとは、モード設定部１３０により設定される車載カメラ制御装置１００の状態又は状態の総称であり、設定された処理モードによって、車載カメラ制御装置１００が行う一連の処理が決定付けられるものをいう。さらに、車載カメラ制御装置を制御する際に実際に使用される処理モードのことを、使用処理モードと呼ぶ。本実施形態では、使用処理モードは、少なくとも走行モード及び防犯モードのうちのいずれか一つを選択することができ、また他の処理モードに切り替えることができる。
【００６６】
ここで、走行モードとは、例えば車両が走行状態であると判断された時に、使用処理モードに設定される処理モードであり、防犯モードとは、例えば車両が非走行状態であると判断された時に、使用処理モードに設定される処理モードである。
【００６７】
走行モードが設定されている場合には、対象物が歩行者や先行車となり、これらの監視に最適な処理を行う。一方、防犯モードが設定されている場合には、監視対象物が住居等への侵入者となり、これらの監視に最適な処理を行う。すなわち、車両が走行中であるとか駐車中であるなどの車両の状況に応じた対象物の監視をすることが可能となる。
【００６８】
また、走行モードが設定されている場合には、可視画像データと赤外線画像データを取得するため、歩行者が多かったり、他の車両が多かったり等の車両の周囲の状況に応じた対象物の監視をすることが可能である。
【００６９】
例えば、図４（Ａ）に、車両ＣＡ１が走行しており、走行モードが設定されている場合の様子を示す。この時、車両ＣＡ１に設けられた赤外線画像撮像部２１０と、可視画像撮像部２２０のそれぞれが、車両の前方を撮像し、先行車ＣＡ２や歩行者ＷＰ１、自転車に乗っている人ＷＰ２などを撮像する。
【００７０】
ここで、赤外線画像データとは、赤外線画像撮像部２１０により撮像される赤外線画像（熱画像）を表す情報である。赤外線画像については、前述した通りである。例えば、赤外線画像の一例として、図４（Ａ）の車両ＣＡ１に設けられた赤外線画像撮像部２１０により撮像された赤外線画像ＩＩＭを、図４（Ｃ）に示す。赤外線画像ＩＩＭには、歩行者ＷＰ１や先行車ＣＡ２、自転車に乗った人ＷＰ２などが、温度が高い部分が色濃く映し出されている。赤外線画像は、風景等の識別には向かないが、温度分布等を識別することが容易であり、背景と対象物とを判別する場合に有用である。
【００７１】
また、可視画像データとは、可視画像撮像部２２０により撮像される可視画像を表す情報である。可視画像については、前述した通りである。例えば、可視画像の一例として、図４（Ａ）の車両ＣＡ１に設けられた可視画像撮像部２２０により撮像された可視画像ＶＩＭを、図４（Ｂ）に示す。可視画像ＶＩＭにも、歩行者ＷＰ１や先行車ＣＡ２、自転車に乗った人ＷＰ２などが映し出されている。可視画像ＶＩＭは、ユーザーが見た景色とほとんど相違がないため、一見して風景を含む画像の全体像を把握しやすい。逆に、可視画像のみを用いて、風景と対象物を区別することは困難である。そこで、本実施形態では、前述したような特徴を持つ赤外線画像を用いて、対象物を区別する。
【００７２】
さらに、走行モードが設定されている場合には、可視画像撮像部を通常駆動状態に設定し、可視画像データと赤外線画像データとに基づいて、報知用データを生成し、これを提示してユーザーに注意を促すことが可能である。
【００７３】
ここで、通常駆動状態とは、可視画像撮像部が起動された状態であり、省電力状態ではない通常の状態のことをいう。一方、省電力状態とは、可視画像撮像部が起動された状態であり、通常駆動状態よりも消費電力が低い状態のことをいう。さらに、動作オフ状態とは、可視画像撮像部が停止された状態である。可視画像撮像部は、少なくとも動作オフ状態と通常駆動状態のいずれかに状態を切り替えることができ、さらに省電力状態にも切り替えることができることが望ましい。
【００７４】
また、報知用データとは、走行モードが設定されている場合に、歩行者や先行車等の対象物の存在をユーザーに伝えるための情報である。例えば、報知用データは、前述したように、可視画像に歩行者や先行車等を表す画像を重畳して生成した画像のデータであったり、先行者と車間距離が短くなったことを通知する警告音などである。
【００７５】
例えば、図４（Ｄ）に、報知用データにより表される画像ＣＩＭを示す。画像ＣＩＭを生成する際には、例えば、図４（Ｃ）に示す赤外線画像ＩＩＭにより表される温度分布の特徴に基づいて、後述するようなテンプレートマッチング処理を行って、人（ＷＰ１とＷＰ２）と人以外（背景や先行車ＣＡ２）を区別する。そして、可視画像上において、人が位置する部分を囲うように、後述するアラート画像（ＡＬＩＭ１とＡＬＩＭ２）等を重畳させて、画像ＣＩＭを生成する。このような画像を提示することにより、歩行者に注意を払うように、ユーザーに警告する。
【００７６】
一方、防犯モードが設定されている場合には、可視画像撮像部２２０を、動作オフ状態又は通常駆動状態よりも消費電力が低い省電力状態に設定するため、可視画像撮像部２２０及び可視画像データの画像処理に用いられる電力等を抑制することが可能となる。
【００７７】
この場合、例えば、図５（Ａ）に示すように、赤外線画像撮像部２１０のみを駆動させて、住居等の監視を行う。図５（Ａ）は、防犯モードが設定されている場合の処理の様子を表すものであり、車両ＣＡが住居の前の駐車上に駐車されている様子を示している。図５（Ａ）では、車両ＣＡに設けられた赤外線画像撮像部２１０と可視画像撮像部２２０のうち、可視画像撮像部２２０の動作をオフにして、赤外線画像撮像部２１０のみを駆動させて、住居等へ侵入者が侵入する可能性が高いドアＤＲや窓ＷＤを撮像している。そして、取得した赤外線画像データに基づいて監視対象物の検出処理を行う。
【００７８】
よって、車両が非走行状態にある場合であっても、走行状態時に用いる車載カメラ制御装置を利用して、車両の周囲を監視することができる。
【００７９】
以上のように、走行モードが設定されている場合と、防犯モードが設定されている場合で、異なる処理を行い、消費電力を抑制しつつ、車両及び車両の周囲の状況に応じた監視対象物の監視をすることが可能となる。
【００８０】
また、モード設定部１３０は、車両の走行状況情報を取得し、走行状況情報に基づいて、前記使用処理モードの設定処理を行ってもよい。
【００８１】
ここで、走行状況情報とは、車両の走行状況に関する情報であり、例えば、車両が走行しているか否か、車体に振動があるか否か、振動がある場合の振動の大きさ、車速があるか否か、車速、車体内部及び外部の温度情報、走行時間などの情報のことをいう。走行状況情報は、センサー２４０により取得されてもよいし、赤外線画像撮像部２１０から得られる赤外線画像や可視画像撮像部２２０から得られる可視画像を比較すること等によって求めてもよい。
【００８２】
これにより、車両の走行状態によって、使用処理モードを切り替えることが可能となり、例えば、車両が非走行状態にある場合などに防犯モードに切り替えて、消費電力を抑制すること等が可能になる。
【００８３】
また、モード設定部１３０は、車両の走行状況情報に基づいて車速を求め、車速により車両の走行を検知した場合には、使用処理モードを走行モードに設定する処理を行い、車速により車両の走行を検知しなかった場合には、使用処理モードを防犯モードに設定する処理を行ってもよい。
【００８４】
これにより、例えば、車両の前輪の回転速度から車速を求め、車速により車両の走行が検出された場合には、走行モードを設定して、車両の前方の危険を監視すること等が可能となり、車速により車両の走行が検出されなかった場合には、防犯モードを設定して、住居等の監視をすること等が可能となる。そして、使用処理モードを切り替えることにより、無駄な動作を行うことがなくなり、消費電力を抑制すること等が可能となる。
【００８５】
また、本実施形態では、赤外線画像データを記憶する記憶部１４０を含んでもよい。そして、処理部１２０は、使用処理モードとして防犯モードが設定されている場合に、所与の時間間隔で赤外線画像データを保存し、保存された赤外線画像データに基づいて、防犯モードにおける監視エリアの監視処理を行ってもよい。
【００８６】
ここで、監視エリアとは、車載カメラシステム２００の監視対象物を検出するために、監視することが必要なエリアのことであり、例えば、赤外線画像撮像部２１０又は可視画像撮像部２２０により、撮像される範囲のこという。図５（Ａ）の例で言えば、赤外線画像撮像部２１０により撮像される住居のドアＤＲや窓ＷＤを含む範囲のことである。
【００８７】
監視処理とは、例えば、赤外線画像データの比較処理や防犯用報知データの生成処理等のこという。これらの処理については、後述する。
【００８８】
これにより、防犯モードが設定されており、可視画像撮像部２２０が動作オフ状態である場合に、例えば赤外線画像撮像部２１０の時間差成分の比較のみを行うこと等が可能となり、住居の侵入者などの監視対象物の検出を行いつつ、画像処理の計算量を大幅に低減させ、ひいては画像処理にかかる消費電力を削減すること等が可能となる。
【００８９】
また、処理部１２０は、監視処理として、記憶部１４０に記憶された複数の赤外線画像データの中から、第１の赤外線画像データと、第１の赤外線画像データとは取得タイミングの異なる第２の赤外線画像データとを特定し、第１の赤外線画像データと第２の赤外線画像データとの比較処理を行い、比較処理の結果に基づいて監視対象物の検出処理を行い、検出処理の結果に基づいて防犯用報知データの生成処理を行ってもよい。
【００９０】
ここで、第１の赤外線画像データと第２の赤外線画像データは、互いに異なるタイミングにおいて撮像された赤外線画像を表す赤外線画像データのことをいう。例えば、あるタイミング１についての赤外線画像データを取得し、これを第１の赤外線画像データとし、その後の所定周期毎に取得する赤外線画像データを、第２の赤外線画像データとして、比較処理を行っても良い。他にも、第１の赤外線画像データの次のタイミングに取得する赤外線画像データが第２の赤外線画像データであり、第２の赤外線画像データの次のタイミングに取得する赤外線画像データが第１の赤外線画像データであるとして、比較処理を行っても良い。
【００９１】
例えば、図５（Ａ）の例において、あるタイミングｔにおいて、赤外線画像撮像部２１０が撮像した赤外線画像を、図５（Ｂ）に示すＩＩＭ１とし、タイミング（ｔ＋１）に撮像した赤外線画像を図５（Ｃ）に示すＩＩＭ２とする。この場合には、まず赤外線画像ＩＩＭ１を示す赤外線画像データを、第１の赤外線画像データとして記憶部に保存しておき、赤外線画像ＩＩＭ２を示す赤外線画像データを取得した時点で、ＩＩＭ２の赤外線画像データを第２の赤外線画像データとして、第１の赤外線画像データと比較する。その結果、本例では、赤外線画像ＩＩＭ１には、監視対象物が何も映っていないが、赤外線画像ＩＩＭ２には、侵入者ＩＶらしき姿が確認されたとする。この場合には、図５（Ａ）において、タイミングｔでは、監視エリア外の位置Ｐ１にいた人物ＩＶが、タイミング（ｔ＋１）までの間に、位置Ｐ２に移動して監視エリア内に侵入したとして、この人物ＩＶを侵入者として認識する。そして、防犯用報知データを生成する。
【００９２】
また、防犯用報知データとは、防犯モードが設定されている場合に、住居等への侵入者等の監視対象物の存在を検知した時に、監視対象物を威嚇したり、ユーザー等に報知するために用いる情報である。例えば、防犯用報知データの一例としては、車のクラクションを鳴らす命令情報であったり、車両のヘッドライトを点灯させる命令情報であったり、その他にも侵入者を検知したことをユーザーに通知するための文字や画像データ等がある。
【００９３】
これにより、防犯モードが設定されている場合に、赤外線画像データのみを用いて、監視対象物を検出し、監視対象物が検出された場合には、防犯用報知データを生成して、住居への侵入者を撃退したり、ユーザーへ侵入者の存在を通知したりすること等が可能になる。
【００９４】
ここで、防犯モードが設定されている状態で、赤外線画像データに差異が検出された場合には、監視エリア内に何等かが侵入した可能性がある。若しくは、防犯モードを設定したまま、ユーザーが車両を動かしてしまい、車両の周囲の背景が変化した可能性もある。本来であれば、前者の場合のみを検知することが防犯モードの目的である。
【００９５】
そこで、処理部１２０は、使用処理モードとして防犯モードが設定されており、車速を検知しなかった場合に、監視処理として、第１の赤外線画像データと第２の赤外線画像データとの比較処理を行い、比較処理の結果に基づいて監視対象物の検出処理を行い、検出処理の結果に基づいて防犯用報知データの生成処理を行ってもよい。
【００９６】
これにより、防犯モードを設定したまま、ユーザーが車両を動かしてしまった場合に起こる誤検出を回避すること等が可能となる。
【００９７】
ここで、住居等への侵入者は、住居の様子を窺うために、一定箇所に留まることが多く、監視エリアの通過時間が歩行者等に対して長いことが分かっている。また、車両が駐車中の場合には、背景画像が時間的に変化しないため、走行モードの設定時に比べて画像処理が容易であり、フレームレートを高く設定する必要はない。
【００９８】
そこで、処理部１２０は、防犯モードが設定されている場合には、赤外線画像撮像部２１０のフレームレートを走行モードの設定時のフレームレートに比べて低く設定してもよい。
【００９９】
これにより、赤外線画像撮像部２１０の駆動及び赤外線画像データの画像処理に用いる電力の消費を抑えること等が可能となる。
【０１００】
また、処理部１２０は、防犯モードが設定されている場合に、赤外線画像撮像部２１０の方向及び位置のうち少なくとも一方が、走行モードが設定されている場合と異なるように、赤外線画像撮像部２１０の方向及び位置のうち少なくとも一方を制御してもよい。
【０１０１】
これにより、防犯モード設定時に、住居のドアや窓の方向を向くように、車両を駐車しなくても、赤外線画像撮像部２１０の位置や方向を変更して、監視対象物の監視処理を行うこと等が可能になる。
【０１０２】
また、処理部１２０は、防犯モードが設定されている場合に、ユーザーからの入力情報に基づいて、赤外線画像撮像部２１０の方向及び位置のうち少なくとも一方を制御してもよい。
【０１０３】
ここで、ユーザーからの入力情報とは、ユーザーがセレクタスイッチ等を用いて特定した赤外線画像撮像部２１０の位置や方向についての情報である。
【０１０４】
例えば、あらかじめ用意された赤外線画像撮像部２１０の位置及び方向の組み合わせの中から、適切な組み合わせをユーザーが選択し、セレクタスイッチを操作して、車載カメラ制御装置１００に入力する。そして、処理部１２０が、入力情報に基づいて、赤外線画像撮像部２１０の位置及び方向のうち、少なくとも一方を変化させる制御情報を、赤外線画像撮像部２１０に通知する。
【０１０５】
これにより、防犯モード設定時に、ユーザーのニーズに応じて、赤外線画像撮像部２１０の位置や方向を変更すること等が可能になる。
【０１０６】
また、処理部１２０は、走行モードが設定されている場合には、赤外線画像撮像部２１０の方向を、車両の前方方向に設定し、防犯モードが設定されている場合には、赤外線画像撮像部２１０の方向を、車両の前方方向とは異なる方向に設定してもよい。
【０１０７】
ここで、車両の前方方向は、車体の中心点から、車体の中心点よりも車体の前方にある車幅の中心点への方向（すなわち車体の真正面方向）だけでなく、所定の角度だけ水平方向にずらした方向も含むものとする。例えば、図２（Ａ）では車両中心線ＣＬ１の右方向が車両の前方方向となる。また、所定の角度とは、おおよそ±１０°程度の角度である。
【０１０８】
これにより、走行モードが設定されている場合と防犯モードが設定されている場合で、赤外線画像撮像部２１０が撮像する方向を変えること等が可能になる。したがって、一つの赤外線画像撮像部２１０を、走行時と非走行時で兼用すること等が可能になる。
【０１０９】
また、処理部１２０は、走行モードが設定されている場合に、赤外線画像データにより得られた情報に基づいて、対象物の検出処理を行って、可視画像データにより表される可視画像の加工処理を行ってもよい。
【０１１０】
ここで、加工処理とは、例えば、可視画像に対象物の輪郭画像等を重畳するなどして、新たな画像を生成すること等をいう。加工処理を行った後は、車内ディスプレイなどに加工後の画像を表示してもよい。具体的には、加工処理の例として、図４（Ｄ）に示した画像ＣＩＭを生成する処理などがある。図４（Ｄ）では、歩行者ＷＰ１や自転車に乗った人を強調する画像であるＡＬＩＭ１及びＡＬＩＭ２を、可視画像ＶＩＭに重畳して、画像ＣＩＭを生成している。
【０１１１】
これにより、走行モードが設定されている場合に、ユーザーに対象物への注意を促すこと等が可能になる。
【０１１２】
また、処理部１２０は、検出処理において対象物を検出した場合に、加工処理として、対象物が存在する位置に対応する可視画像上の位置に、アラート画像を重畳する処理を行ってもよい。
【０１１３】
ここで、アラート画像とは、ユーザーに対象物の存在を知らせるための画像である。アラート画像の例としては、エクスクラメーション・マ−クや、歩行者や先行車を表す模式図、危険が迫っていることを知らせる強調文字などがある。また、アラート画像と同時に、警告音等を発しても良い。
【０１１４】
具体的には、図４（Ｄ）に示す画像ＡＬＩＭ１やＡＬＩＭ２がアラート画像に該当する。他にも、図６（Ａ）に示す画像ＣＩＭ１上において、歩行者ＷＰ１の頭上に表示したＡＬＩＭ３のようなエクスクラメーション・マ−クや、図６（Ｂ）に示す画像ＣＩＭ２上において、歩行者ＷＰ１の輪郭を強調する画像ＡＬＩＭ４や、危険が迫っていることを文字や記号を用いて強調するＡＬＩＭ５のような帯画像などがある。
【０１１５】
これにより、走行モードが設定されている場合に、よりユーザーに分かりやすい形式で、対象物への注意を促すこと等が可能になる。
【０１１６】
なお本実施形態の車載カメラ制御装置等の機能は、プログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサーがプログラムを実行することで、本実施形態の車載カメラ制御装置等の機能が実現される。具体的には情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサーが実行する。ここで、情報記憶媒体（コンピューターにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリー（カード型メモリー、ＲＯＭ等）などにより実現できる。そしてＣＰＵ等のプロセッサーは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体には、本実施形態の各部としてコンピューター（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピューターに実行させるためのプログラム）が記憶される。
【０１１７】
３．処理の流れ
以下では、図７のフローチャートを用いて、本実施形態の処理の流れについて説明する。
【０１１８】
まず、パラメータの初期設定を行う（Ｓ０）。次に、車両の状態を把握するために、前輪の回転速度に基づいて車速を求める（Ｓ１）。ステップＳ１において、車速が０よりも大きい場合には、車両が走行中であると判断し、車速が０である場合には、車両が駐車中または停車中であると判断する。
【０１１９】
車両が走行中であると判断した場合には、赤外線画像撮像部及び可視画像撮像部を回転させる際に用いる各電動モーターの電源をＯＮにする（Ｓ２）。これにより、モーターが定位置にて励磁状態になる。その結果、わずかな振動があった場合には、モーター励磁により振動が吸収されて、赤外線画像撮像部及び可視画像撮像部の位置や方向がずれることはなく、走行途中等に大きな振動があった場合には、励磁力により赤外線画像撮像部及び可視画像撮像部を元の位置にいち早く戻すことができる。
【０１２０】
一方、ステップＳ１において、車両が停車中及び駐車中であると判断した場合には、赤外線画像撮像部及び可視画像撮像部を回転させる電動モーターの電源をＯＦＦにする（Ｓ１３）。これにより、手動で赤外線画像撮像部及び可視画像撮像部の位置を回転させることができるようになる。この場合の処理については、後述する。
【０１２１】
次に、ステップＳ２の処理後において、赤外線画像撮像部を用いて車体進行方向前方を撮像して、熱画像（赤外線画像）を取得する（Ｓ３）。そして、可視画像撮像部により車体進行方向前方を撮像して、可視画像を取得する（Ｓ４）。なお、ステップＳ３及びステップＳ４の順序は、ステップ間の間隔が短ければ、どちらが先でも構わない。また、場合によっては両方を並列に処理してしまうことも可能である。
【０１２２】
ここで、車両が走行中である場合に、像振れの無い画像を取得するためには、まず車載カメラの振動を検出し、その検出値に応じて像振れ抑制を行う必要がある。一般的に、走行中の車体の振動は、特別な段差がなければ、通常１Ｈｚないし２０Ｈｚの周波数を有している。本例では、加速度、角加速度、角速度、角変位等の変化量に基づいて、このような振動を検出する。そして、この検出情報に基づき撮影光軸を偏心させて、像振れ抑制を行う。
【０１２３】
次に、ステップＳ３で得られた熱画像から、所与の温度範囲以上の温度を有する領域を、検出対象物の候補領域として抽出する（Ｓ５）。
【０１２４】
例えば、検出対象物が先行車又は歩行者（人物）である場合について以下で説明する。まず、検出対象物が先行車である場合には、マフラー領域が１００℃程度の高温になることを利用して、所与の温度範囲を８０℃以上と設定する。そして、熱画像中から８０℃以上の温度を有する領域を探索し、その領域の位置情報と温度情報を検出する。
【０１２５】
一方、検出対象物が歩行者である場合には、露出している顔の表面温度が３０℃程度の中温になることを利用して、所与の温度範囲を２８℃以上３７℃未満と設定する。そして、熱画像中から２８℃以上３７℃未満の温度を有する領域を探索して、その領域の位置情報と温度情報を検出する。
【０１２６】
ここで、各領域で検出される結果のうち、位置情報は例えば候補領域の重心座標位置としてもよく、温度情報は例えば候補領域の平均温度としてもよい。
【０１２７】
なお、検出対象物が先行者及び歩行者以外のものを検出対象物とする場合には、その検出対象物が有すると想定される温度情報に基づいて、所与の温度範囲を設定して、上記のように検出処理を行えばよい。
【０１２８】
そして、ステップＳ５で得られた各候補領域の位置情報と温度情報を対応付けした位置及び温度リストを作成する（Ｓ６）。
【０１２９】
次に、ステップＳ６で作成したリスト内に、検出対象物に対する候補領域があるかどうかを判定する（Ｓ７）。リスト内に検出対象物の候補領域が一つも抽出されていない場合には、今回の赤外線画像撮像部より撮像された熱画像中には、検出対象物である先行車や歩行者が存在しないものと判断して、次回の処理のためにステップＳ３に戻る。
【０１３０】
一方、リスト内に検出対象物の候補領域が一つ以上ある場合には、ステップＳ６で作成したリストに基づいて、可視画像中に各候補領域を重ね合わせる（Ｓ８）。
【０１３１】
次に、ステップＳ８で可視画像に重畳した各候補領域について、テンプレートマッチング処理を行い、候補領域が検出対象物を表す領域であるか否かを判断する。
【０１３２】
テンプレートマッチング処理では、まず、ステップＳ６で作成したリストの温度情報に基づいて、テンプレートマッチング処理に使用するテンプレートを選択する（Ｓ９）。例えば、テンプレートにあらかじめ割り当てられた温度情報と、候補領域の平均温度との差が、所与の閾値（±ΔＴ）以内であるテンプレートを、使用するテンプレートとして選択する。なお、テンプレートは、検出対象物の温度分布の傾向を表すものであってもよい。
【０１３３】
具体例として、先行車用テンプレートに、例えば１００℃の温度情報が割り当てられており、所与の閾値ΔＴが±３℃である場合には、候補領域の平均温度が１００±３℃である場合に、先行車用テンプレートが使用するテンプレートとして選択される。
【０１３４】
一方、歩行者用テンプレートに、例えば２８℃の温度情報が割り当てられており、所与の閾値ΔＴが±３℃である場合には、候補領域の平均温度が２８±３℃である場合に、歩行者用テンプレートが使用するテンプレートとして選択される。なお、高温部分については、外気温の影響を受けること等を考えると、同一の物体でも所定の範囲で温度が変化することを考慮する必要がある。また、今回の例では中温情報を有する対象物を歩行者としているが、例えば似たような中温情報を有する対象物である動物（犬等）と区別するためには、本ステップで動物のテンプレートも使用するテンプレートとして選択され得る。
【０１３５】
そして、ステップＳ９で選択されたテンプレートと、候補領域とを比較して、候補領域が検出対象物を表す領域であるか否かを判断する（Ｓ１０）。例えば、候補領域がテンプレートと温度分布の傾向が似ている場合や、テンプレートに割り当てられた検出対象物の形状の輪郭と、候補領域の輪郭との誤差が所定の閾値よりも小さい場合等に、候補領域がテンプレートと同一の検出対象物に関するものであると判断し、検出対象物の位置を取得する。
【０１３６】
また、テンプレートマッチング処理の他の方法として、可視画像に基づいて、可視画像に重畳された候補領域内の濃度値（濃淡値）を求め、選択されたテンプレートの濃度値（濃淡値）との相関演算によって、候補領域が検出対象物を表す領域であるか否かを判断してもよい。また、他にも、テンプレートとしてエッジ画像を準備しておき、候補領域のエッジ情報を検出し、エッジ情報の相関演算を行うことにより、候補領域が検出対象物を表す領域であるか否かを判断してもよい。
【０１３７】
そして、ステップＳ６で作成されたリストにある全ての候補領域に対して、テンプレートマッチング処理が行われたか否かを判定する（Ｓ１１）。リストにある全ての候補領域に対してテンプレートマッチング処理が終了していない場合には、ステップＳ８に戻る。リストにある全ての候補領域に対してテンプレートマッチング処理が終了している場合には、外部機器に対して検出結果を出力する（Ｓ１２）。
【０１３８】
具体的には、歩行者の有無や衝突の危険があることを知らせるために、警報又は画像付きメールにて通報装置に出力する。また、検出結果の先行車や歩行者の位置を表示するために、本処理の検出結果を提示部（車内ディスプレイ）に出力してもよい。
【０１３９】
最後に、次回以降の処理を行うためにステップＳ１へ戻る。
【０１４０】
次に、ステップＳ１において、車両が住居にて停車し、車速センサーがゼロを感知した場合には、赤外線画像撮像部及び可視画像撮像部を回転させる各電動モーターの電源をＯＦＦにする（Ｓ１３）。これにより、赤外線画像撮像部及び可視画像撮像部の位置及び方向を任意に設定することが可能となる。
【０１４１】
また、車速がゼロとなったことを検知すると同時に、可視画像撮像部と赤外線画像撮像部の駆動源を停止する（Ｓ１４）。この時に、使用者が車内に設置されたセレクタスイッチをＯＮにすることにより（Ｓ１５）、赤外線画像撮像部のみが駆動され、撮像状態に入る（Ｓ１６）。この時、カウンターｉを初期化しておき、時間ｔにおいて、赤外線画像（熱画像）を撮像する。また、提示部（車内ディスプレイ）に赤外線画像を表示させながらセレクタスイッチを操作することにより、記憶部にあらかじめ記憶している赤外線画像撮像部の数種類の撮像位置及び撮影方向から、最適なカメラの位置や方向を指定して、電動モーターを駆動させることも可能である（Ｓ１７）。
【０１４２】
次に、セレクタスイッチをＯＮにしてから一定時間経過後に、赤外線画像撮像部により前方を撮像し、熱画像を取得する（Ｓ１８）。ここで、赤外線画像撮像部の感度は、落としても構わない。車体と監視対象物（窓・扉）の距離が近く、背景部と侵入者（監視対象物）の画像の重なりによる、輪郭ボケも少ないためである。
【０１４３】
そして、所定の時間経過後に、カウンターｉを更新して、赤外線画像撮像部により前方を撮像し、新たな熱画像を取得する（Ｓ１９）。
【０１４４】
ここで、熱画像取得途中に車速を検知した場合には（Ｓ２０）、走行モードに移行し、ステップＳ２以下の処理を行う。また、この際には、赤外線画像撮像部の設置位置が前方位置となるように赤外線画像撮像部を移動させる。
【０１４５】
一方、熱画像取得途中に車速を検知しなかった場合には、ステップＳ１８で得られた熱画像とステップＳ１９で得られた熱画像の温度特徴量の比較を行う（Ｓ２１）。
【０１４６】
温度特徴量の比較処理の結果、二つの熱画像間で温度特徴量の差がない場合には、監視対象物が検知されなかったと判断し、Ｓ１９の処理に戻る。
【０１４７】
一方、温度特徴量の比較処理の結果、二つの熱画像間で温度特徴量の差がある場合には、監視対象物が検知された可能性がある。したがって、この場合に例えば侵入者を検出する場合には、露出している人の顔の表面温度が３０℃程度の中温であることを利用して、熱画像中から３０℃程度の温度情報を有する領域を探索し、該当する温度情報の有無を検出し、侵入者の有無を判定する。
【０１４８】
そして、ステップＳ２１において、侵入者を検出した場合には、車体のクラクションやフロントライトの点滅を警報として出力する（Ｓ２２）。
【０１４９】
以上のように本実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、車載カメラ制御装置、車載カメラ制御システム及び車載カメラシステムの構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１５０】
１００ 車載カメラ制御装置、１１０ 画像取得部、１２０ 処理部、
１３０ モード設定部、１４０ 記憶部、２００ 車載カメラシステム、
２１０ 赤外線画像撮像部、２２０ 可視画像撮像部、２３０ 提示部、
２４０ センサー、４１０ 赤外線カメラ、４２０ 電動モーター、
４３０ 可視カメラ、４４０ 電動モーター、４５０ ＣＰＵ、
４６０ 車速センサー、４７０ メモリー、４８０ 警報装置、４９０ ディスプレイ
【特許請求の範囲】
【請求項１】
赤外線画像データを赤外線画像撮像部から取得し、可視画像データを可視画像撮像部から取得する画像取得部と、
走行モードと防犯モードとを含む複数の処理モードのうちのいずれかの処理モードを、使用処理モードとして設定するモード設定部と、
設定された前記使用処理モードに従い処理を行う処理部と、
を含み、
前記処理部は、
前記使用処理モードとして前記走行モードが設定されている場合には、前記可視画像撮像部を通常駆動状態に設定し、前記可視画像データと前記赤外線画像データとに基づいて、報知用データの生成処理を含む処理を行い、
前記使用処理モードとして前記防犯モードが設定されている場合には、前記可視画像撮像部を、動作オフ状態又は前記通常駆動状態よりも消費電力が低い省電力状態に設定し、前記赤外線画像データに基づく監視対象物の検出処理を含む処理を行うことを特徴とする車載カメラ制御装置。
【請求項２】
請求項１において、
前記モード設定部は、
車両の走行状況情報を取得し、前記走行状況情報に基づいて、前記使用処理モードの設定処理を行うことを特徴とする車載カメラ制御装置。
【請求項３】
請求項２において、
前記モード設定部は、
前記車両の前記走行状況情報に基づいて車速を求め、
前記車速により前記車両の走行を検知した場合には、前記使用処理モードを前記走行モードに設定する処理を行い、
前記車速により前記車両の走行を検知しなかった場合には、前記使用処理モードを前記防犯モードに設定する処理を行うことを特徴とする車載カメラ制御装置。
【請求項４】
請求項１乃至３のいずれかにおいて、
前記赤外線画像データを記憶する記憶部を含み、
前記処理部は、
前記使用処理モードとして前記防犯モードが設定されている場合に、
所与の時間間隔で前記赤外線画像データを保存し、保存された前記赤外線画像データに基づいて、前記防犯モードにおける監視エリアの監視処理を行うことを特徴とする車載カメラ制御装置。
【請求項５】
請求項４において、
前記処理部は、
前記監視処理として、前記記憶部に記憶された複数の前記赤外線画像データの中から、第１の赤外線画像データと、前記第１の赤外線画像データとは取得タイミングの異なる第２の赤外線画像データとを特定し、前記第１の赤外線画像データと前記第２の赤外線画像データとの比較処理を行い、前記比較処理の結果に基づいて前記監視対象物の検出処理を行い、前記検出処理の結果に基づいて防犯用報知データの生成処理を行うことを特徴とする車載カメラ制御装置。
【請求項６】
請求項５において、
前記処理部は、
前記使用処理モードとして前記防犯モードが設定されており、前記車速を検知しなかった場合に、前記監視処理として、前記第１の赤外線画像データと前記第２の赤外線画像データとの前記比較処理を行い、前記比較処理の結果に基づいて前記監視対象物の検出処理を行い、前記検出処理の結果に基づいて前記防犯用報知データの生成処理を行うことを特徴とする車載カメラ制御装置。
【請求項７】
請求項１乃至６のいずれかにおいて、
前記処理部は、
前記防犯モードが設定されている場合には、前記赤外線画像撮像部のフレームレートを前記走行モードの設定時のフレームレートに比べて低く設定することを特徴とする車載カメラ制御装置。
【請求項８】
請求項１乃至７いずれかにおいて、
前記処理部は、
前記防犯モードが設定されている場合に、前記赤外線画像撮像部の方向及び位置のうち少なくとも一方が、前記走行モードが設定されている場合と異なるように、前記赤外線画像撮像部の方向及び位置のうち少なくとも一方を制御することを特徴とする車載カメラ制御装置。
【請求項９】
請求項８において、
前記処理部は、
前記防犯モードが設定されている場合に、ユーザーからの入力情報に基づいて、前記赤外線画像撮像部の方向及び位置のうち少なくとも一方を制御することを特徴とする車載カメラ制御装置。
【請求項１０】
請求項１乃至９のいずれかにおいて、
前記処理部は、
前記走行モードが設定されている場合には、前記赤外線画像撮像部の方向を、車両の前方方向に設定し、
前記防犯モードが設定されている場合には、前記赤外線画像撮像部の方向を、前記車両の前記前方方向とは異なる方向に設定することを特徴とする車載カメラ制御装置。
【請求項１１】
請求項１乃至１０のいずれかにおいて、
前記処理部は、
前記走行モードが設定されている場合に、前記赤外線画像データにより得られた情報に基づいて、対象物の検出処理を行って、前記可視画像データにより表される前記可視画像の加工処理を行うことを特徴とする車載カメラ制御装置。
【請求項１２】
請求項１１において、
前記処理部は、
前記検出処理において前記対象物を検出した場合に、前記加工処理として、前記対象物が存在する位置に対応する前記可視画像上の位置に、アラート画像を重畳する処理を行うことを特徴とする車載カメラ制御装置。
【請求項１３】
赤外線画像データを赤外線画像撮像部から取得し、可視画像データを可視画像撮像部から取得する画像取得部と、
走行モードと防犯モードとを含む複数の処理モードのうちのいずれかの処理モードを、使用処理モードとして設定するモード設定部と、
設定された前記使用処理モードに従い処理を行う処理部と、
を含み、
前記処理部は、
前記使用処理モードとして前記走行モードが設定されている場合には、前記可視画像撮像部を通常駆動状態に設定し、前記可視画像データと前記赤外線画像データとに基づいて、報知用データの生成処理を含む処理を行い、
前記使用処理モードとして前記防犯モードが設定されている場合には、前記可視画像撮像部を、動作オフ状態又は前記通常駆動状態よりも消費電力が低い省電力状態に設定し、前記赤外線画像データに基づく監視対象物の検出処理を含む処理を行うことを特徴とする車載カメラ制御システム。
【請求項１４】
請求項１乃至１２のいずれかに記載の車載カメラ制御装置と、
前記赤外線画像撮像部と、
前記可視画像撮像部と、
を含むことを特徴とする車載カメラシステム。
【請求項１】
赤外線画像データを赤外線画像撮像部から取得し、可視画像データを可視画像撮像部から取得する画像取得部と、
走行モードと防犯モードとを含む複数の処理モードのうちのいずれかの処理モードを、使用処理モードとして設定するモード設定部と、
設定された前記使用処理モードに従い処理を行う処理部と、
を含み、
前記処理部は、
前記使用処理モードとして前記走行モードが設定されている場合には、前記可視画像撮像部を通常駆動状態に設定し、前記可視画像データと前記赤外線画像データとに基づいて、報知用データの生成処理を含む処理を行い、
前記使用処理モードとして前記防犯モードが設定されている場合には、前記可視画像撮像部を、動作オフ状態又は前記通常駆動状態よりも消費電力が低い省電力状態に設定し、前記赤外線画像データに基づく監視対象物の検出処理を含む処理を行うことを特徴とする車載カメラ制御装置。
【請求項２】
請求項１において、
前記モード設定部は、
車両の走行状況情報を取得し、前記走行状況情報に基づいて、前記使用処理モードの設定処理を行うことを特徴とする車載カメラ制御装置。
【請求項３】
請求項２において、
前記モード設定部は、
前記車両の前記走行状況情報に基づいて車速を求め、
前記車速により前記車両の走行を検知した場合には、前記使用処理モードを前記走行モードに設定する処理を行い、
前記車速により前記車両の走行を検知しなかった場合には、前記使用処理モードを前記防犯モードに設定する処理を行うことを特徴とする車載カメラ制御装置。
【請求項４】
請求項１乃至３のいずれかにおいて、
前記赤外線画像データを記憶する記憶部を含み、
前記処理部は、
前記使用処理モードとして前記防犯モードが設定されている場合に、
所与の時間間隔で前記赤外線画像データを保存し、保存された前記赤外線画像データに基づいて、前記防犯モードにおける監視エリアの監視処理を行うことを特徴とする車載カメラ制御装置。
【請求項５】
請求項４において、
前記処理部は、
前記監視処理として、前記記憶部に記憶された複数の前記赤外線画像データの中から、第１の赤外線画像データと、前記第１の赤外線画像データとは取得タイミングの異なる第２の赤外線画像データとを特定し、前記第１の赤外線画像データと前記第２の赤外線画像データとの比較処理を行い、前記比較処理の結果に基づいて前記監視対象物の検出処理を行い、前記検出処理の結果に基づいて防犯用報知データの生成処理を行うことを特徴とする車載カメラ制御装置。
【請求項６】
請求項５において、
前記処理部は、
前記使用処理モードとして前記防犯モードが設定されており、前記車速を検知しなかった場合に、前記監視処理として、前記第１の赤外線画像データと前記第２の赤外線画像データとの前記比較処理を行い、前記比較処理の結果に基づいて前記監視対象物の検出処理を行い、前記検出処理の結果に基づいて前記防犯用報知データの生成処理を行うことを特徴とする車載カメラ制御装置。
【請求項７】
請求項１乃至６のいずれかにおいて、
前記処理部は、
前記防犯モードが設定されている場合には、前記赤外線画像撮像部のフレームレートを前記走行モードの設定時のフレームレートに比べて低く設定することを特徴とする車載カメラ制御装置。
【請求項８】
請求項１乃至７いずれかにおいて、
前記処理部は、
前記防犯モードが設定されている場合に、前記赤外線画像撮像部の方向及び位置のうち少なくとも一方が、前記走行モードが設定されている場合と異なるように、前記赤外線画像撮像部の方向及び位置のうち少なくとも一方を制御することを特徴とする車載カメラ制御装置。
【請求項９】
請求項８において、
前記処理部は、
前記防犯モードが設定されている場合に、ユーザーからの入力情報に基づいて、前記赤外線画像撮像部の方向及び位置のうち少なくとも一方を制御することを特徴とする車載カメラ制御装置。
【請求項１０】
請求項１乃至９のいずれかにおいて、
前記処理部は、
前記走行モードが設定されている場合には、前記赤外線画像撮像部の方向を、車両の前方方向に設定し、
前記防犯モードが設定されている場合には、前記赤外線画像撮像部の方向を、前記車両の前記前方方向とは異なる方向に設定することを特徴とする車載カメラ制御装置。
【請求項１１】
請求項１乃至１０のいずれかにおいて、
前記処理部は、
前記走行モードが設定されている場合に、前記赤外線画像データにより得られた情報に基づいて、対象物の検出処理を行って、前記可視画像データにより表される前記可視画像の加工処理を行うことを特徴とする車載カメラ制御装置。
【請求項１２】
請求項１１において、
前記処理部は、
前記検出処理において前記対象物を検出した場合に、前記加工処理として、前記対象物が存在する位置に対応する前記可視画像上の位置に、アラート画像を重畳する処理を行うことを特徴とする車載カメラ制御装置。
【請求項１３】
赤外線画像データを赤外線画像撮像部から取得し、可視画像データを可視画像撮像部から取得する画像取得部と、
走行モードと防犯モードとを含む複数の処理モードのうちのいずれかの処理モードを、使用処理モードとして設定するモード設定部と、
設定された前記使用処理モードに従い処理を行う処理部と、
を含み、
前記処理部は、
前記使用処理モードとして前記走行モードが設定されている場合には、前記可視画像撮像部を通常駆動状態に設定し、前記可視画像データと前記赤外線画像データとに基づいて、報知用データの生成処理を含む処理を行い、
前記使用処理モードとして前記防犯モードが設定されている場合には、前記可視画像撮像部を、動作オフ状態又は前記通常駆動状態よりも消費電力が低い省電力状態に設定し、前記赤外線画像データに基づく監視対象物の検出処理を含む処理を行うことを特徴とする車載カメラ制御システム。
【請求項１４】
請求項１乃至１２のいずれかに記載の車載カメラ制御装置と、
前記赤外線画像撮像部と、
前記可視画像撮像部と、
を含むことを特徴とする車載カメラシステム。
【図１】
【図２】
【図３】
【図６】
【図７】
【図４】
【図５】
【図２】
【図３】
【図６】
【図７】
【図４】
【図５】
【公開番号】特開２０１３−４２４０２（Ｐ２０１３−４２４０２Ａ）
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願番号】特願２０１１−１７８６７７（Ｐ２０１１−１７８６７７）
【出願日】平成２３年８月１８日（２０１１．８．１８）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願日】平成２３年８月１８日（２０１１．８．１８）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]