画像認識装置
【課題】車載式の画像認識装置において画像認識処理に係るトータル処理時間を短縮可能な技術を提供する。
【解決手段】車載されたカメラにより撮像された画像データへの画像認識処理の結果に基づき運転者に対して情報提供を行う画像認識装置であって、画像認識処理は、画像データに含まれる特定のターゲットを認識するターゲット認識処理と、ターゲット認識処理によるターゲットの認識を補助するためにターゲット認識処理に先行して行われる前段処理とを含んでいる。また、カメラは少なくとも、画像データを生成する画像センサと、画像センサが生成した画像データであって前段処理が施される前の元画像データに対して前段処理を施す前段処理部とを有する。
【解決手段】車載されたカメラにより撮像された画像データへの画像認識処理の結果に基づき運転者に対して情報提供を行う画像認識装置であって、画像認識処理は、画像データに含まれる特定のターゲットを認識するターゲット認識処理と、ターゲット認識処理によるターゲットの認識を補助するためにターゲット認識処理に先行して行われる前段処理とを含んでいる。また、カメラは少なくとも、画像データを生成する画像センサと、画像センサが生成した画像データであって前段処理が施される前の元画像データに対して前段処理を施す前段処理部とを有する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車載用の画像認識装置に関する。
【背景技術】
【0002】
従来、車載式のカメラにより得られた情報に基づいて運転者に対して情報提供を行い、運転者の安全運転を支援するための運転支援装置が公知である(例えば、特許文献1を参照)。運転支援装置の代表例としては、カメラが取得した画像データに基づいて自車両の周辺を監視し、歩行者や他車両との衝突の危険がある場合に運転者に対して警告を発し、または、これに併せてモニタ表示することで運転操作を支援するものが挙げられる。他にも、自車両が走行車線(走行レーン)から逸脱する可能性があるか否かを判定し、逸脱する可能性がある場合に警告を行う車線逸脱警報装置(LDW:Lane Departure Warning)や、車両を走行車線内に戻すように支援する機能も備える車線逸脱防止支援装置(LDP:Lane Departure Prevention)なども上記運転支援装置に含まれる。
【0003】
図1は、従来の車載用の画像認識装置100の概略構成を示す概略構成図である。同図に示すように、画像認識装置100は車両50に搭載されており、カメラ(カメラユニット)1と、認識処理ユニット2とから構成される。カメラ1は、画像センサ(撮像素子)11、アンプ12、バッファ13、データ送信部14、カメラ制御部15等を備える。
【0004】
一方、認識処理ユニット2は、CPU21、メモリ22、ASIC( Application Specific Integrated Circuit )23、GDC(グラフィックス・ディスプレイ・コントロ
ーラー:graphics display controller )24、データ受信部25等を備える。CPU21は、カメラ1のカメラ制御部15の他、車両50に搭載される表示モニタ51やスピーカ(警報器)52などと、コントローラー・エリア・ネットワーク( Controller Area Network :CAN)によって相互接続されている。
【0005】
カメラ1側の画像センサ11により生成された画像信号は、アンプ12を経てバッファ13一時記憶される。なお、図示はしていないが、実際には二つのバッファに画像信号が交互に送られるようになっている。そして、一方のバッファにある画像データがデータ送信部14から認識処理ユニット2のデータ受信部25に転送されると共にメモリ22に記憶されている間は、カメラ1側の他方のバッファに対して画像センサ11からの画像データが送られるようになっている。なお、バッファは、複数の機器やソフトウェアの間でデータをやり取りするときに、処理速度や転送速度の差を補うためにデータを一時的に保存しておく記憶装置や記憶領域である。
【0006】
ASIC23は電子部品の一種で、特定の用途向けに複数機能の回路を1つにまとめた集積回路の総称である。メモリ22に読み出された画像データは、例えば順次ASIC23において画像認識処理が施される。この画像認識処理は、いわゆるパターンマッチング処理などのような、画像データに含まれる特定のターゲット(例えば、他車両、通行人、道路標識、白線等)を検出するためのターゲット認識処理と、これに先行して行われる前段処理とに分けられる。
【0007】
前段処理は、ターゲット認識処理に係るターゲットの認識を補助する目的、すなわちターゲットの認識精度、認識性能を高めるために行われる画像処理である。一般的な画像認識アルゴリズムでは、ノイズによる誤認識を低減させて認識精度を向上させる目的で、画像データに対して輝度調整やガウシアン・フィルタ等によるノイズ低減処理を施した後、二値化処理を施すなどによって前段処理が行われる。
【0008】
GDC24は、一般に画像表示を担当する集積回路の総称である。前段処理が施された画像データ(以下、「前段処理済み画像データ」という)に対して先述のターゲット認識処理が施されることで得られたターゲットの認識結果は、GDC24を介して車両50の車室内に設けられる表示モニタ51に認識結果画像として表示される。例えば、認識結果画像では、他車両や通行人、或いは道路標識等のターゲット(認識対象)が存在する領域を色付き線で囲むなどの強調表示を行ってモニタ表示することで、運転者は危険を察知、回避したり、安全運転に有用な情報を得ることができる。また、車両50が通行人や他車両(先行車両、対向車両等)と接触する可能性がある場合には、車両50に設けられたスピーカ52から警告音が発せられるようになっている。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開2000−142221号公報
【特許文献2】特開2002−29331号公報
【特許文献3】特開2002−175597号公報
【特許文献4】特開2009−153219号公報
【特許文献5】特開2009−219144号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
ここで、カメラ1のシャッターがおりてから表示モニタ51に認識結果画像がモニタ出力されたり、スピーカ52からの警報出力が行われるなど、画像認識結果に基づく情報提供を行うまでの時間差(タイムラグ)はできるだけ少ないことが望まれる。このようなタイムラグの許容値としては、概ね30ms〜50ms程度と考えられる。
【0011】
ここで、画像認識装置100のスループットを、カメラ1のシャッターがおりてから画像認識結果が出力されるまでに要する時間(以下、「トータル処理時間」という)を基準に考えると、この処理時間は図2に示すようになる。すなわち、トータル処理時間は、カメラ1から認識処理ユニット2への転送時間T1、前段処理に要する前段処理時間T2、ターゲット認識処理に要するターゲット認識処理時間T3(前段処理時間T2と、ターゲット認識処理時間T3とを合わせて「画像認識時間」という)となる。厳密に言うと、トータル処理時間には上記T1〜T3の何れにも属さない時間、例えばカメラ1内での処理時間も存在すると考えられるが、そのような時間はここで挙げたものに比べて小さく、ここでは考えないものとする。
【0012】
図示のように、前段処理時間T2およびターゲット認識処理時間T3に比して転送時間T1が長く掛かることが多く、従来においては画像データの転送時間がネックとなって画像認識装置全体のスループットをあまり高くすることが困難となっていた。
【0013】
本件の目的は、本発明は上記実情に鑑みてなされたものであり、その目的は、車載式の画像認識装置において画像認識処理に係るトータル処理時間を短縮可能な技術を提供することにある。
【課題を解決するための手段】
【0014】
本発明は、上記課題を解決するために、以下の手段を採用する。すなわち、本発明は、車載されたカメラにより撮像された画像データへの画像認識処理の結果に基づき、運転者に対して情報提供を行う画像認識装置であって、前記画像認識処理は、前記画像データに含まれる特定のターゲットを認識するターゲット認識処理と、該ターゲット認識処理によるターゲットの認識を補助するために該ターゲット認識処理に先行して行われる所定の前
段処理とを含んでおり、前記カメラは少なくとも、画像データを生成する画像センサと、前記画像センサが生成した画像データであって前記前段処理が施される前の画像データである元画像データに対して前記前段処理を施す前段処理部と、を有する画像認識装置である。
【0015】
本発明によれば、画像センサが生成した元画像データに前段処理を施す前段処理部をカメラとは別体の装置(以下、外部装置とも称する)に配置するのではなく、カメラ内に設けることにより、カメラから外部装置に転送される前の画像データに対して前段処理を実施することができる。本発明において、前記カメラは、前記画像センサが生成した前記元画像データを一時記憶するバッファ部を更に有し、前記前段処理部は前記バッファ部における前記元画像データに対して前記前段処理を施すようにしても良い。本発明における前段処理とは、元画像データに対する輝度調整処理、ノイズ低減処理、二値化処理等を含めることができる。
【0016】
ここで、元画像データに前段処理を施した後の画像データを前段処理済み画像データとすると、この前段処理済み画像データは、元画像データに比べて容量が小さい。例えば、帯域27MHzのアナログ回線でNTSCフレーム(フレームサイズ720px×480lines)
とした場合に、二値化処理後の前段処理済み画像データの容量は元画像データの5%程度に相当する場合がある。そして、転送速度が同じ条件であれば、転送する画像データの容量が小さいほど、より短時間で転送することができる。従って、カメラから外部装置に元画像データを転送する場合に比べて、前段処理済み画像データを転送する場合の方が、その転送時間を短くすることができる。
【0017】
そして、本発明の構成では、カメラ側で前段処理を行うことにより低容量化した前段処理済み画像データを外部装置に転送して該外部装置にてターゲット認識処理を施し、あるいは、前段処理済み画像データにカメラ内でターゲット認識処理を施すなどの手法を採用することができるので、従来のようにカメラから外部装置に元画像データをいったん転送した後、前段処理とターゲット認識処理を順次行う場合に比べて、画像認識処理に係るトータル処理時間を短縮することができる。従って、カメラのシャッターがおりてから画像認識処理の結果に基づき運転者へ情報を提供するまでに要するタイムラグを低減することができる。
【0018】
例えば、本発明に係る画像認識装置の第一の形態として、前記カメラとは別体の認識処理ユニットを更に備え、前記カメラは、前記前段処理部が前記元画像データに前記前段処理を施した後の前段処理済み画像データを送信する送信部を更に有し、前記認識処理ユニットは、前記カメラの前記送信部から転送される前記前段処理済み画像データを受信する受信部と、前記受信部が受信した前記前段処理済み画像データを記憶するメモリ部と、前記メモリ部に記憶された前記前段処理済み画像データに対して前記ターゲット認識処理を施すターゲット認識処理部と、を有するものが挙げられる。
【0019】
上記第一の形態において、前記運転者に対して提供する情報のなかに、前記ターゲット認識処理部による前記ターゲットの認識結果が反映された画像表示が含まれる場合には、前記カメラの前記送信部から前記認識処理ユニットの前記受信部への前記元画像データの転送処理と、前記カメラにおける前記前段処理部での前記前段処理とが、並行して行われると良い。その際、前記元画像データの転送処理と前記前段処理部での前記前段処理が同時に開始されるとより好適である。
【0020】
また、上記第一の形態において、前記運転者に対して提供する情報のなかに、前記ターゲット認識処理部による前記ターゲットの認識結果が反映された画像表示が含まれない場合には、前記カメラの前記送信部から前記認識処理ユニットの前記受信部への前記元画像
データの転送は行わず、前記前段処理済み画像データを前記カメラの前記送信部から前記認識処理ユニットの前記受信部へと転送すると良い。運転者に上記画像情報を提供する必要がない場合には、元画像データを認識処理ユニットに転送する必要がない。そこで、元画像データの転送処理を省くことにより大幅にトータル処理時間を短縮することが可能となる。
【0021】
一方、この第一の形態では、認識処理ユニット側においてターゲット認識処理を行うため、前段処理済み画像データに関しては認識処理ユニットに転送する必要がある。その場合においても、前段処理済み画像データは元画像データに比べて容量が極めて小さいため、その転送に要する時間もそれに伴って短縮することができる結果、トータル処理時間の短縮が実現される。
【0022】
また、本発明に係る画像認識装置の第二の形態として、前記カメラは、前記前段処理済み画像データに対して前記ターゲット認識処理を施すターゲット認識処理部を更に有するものを挙げることができる。この構成では、前段処理部のみならず、ターゲット認識処理部もカメラ側に統合する。これにより、画像センサが生成した元画像データに対する前段処理、および、前段処理済み画像データに対するターゲット認識処理からなる一連の画像認識処理がカメラ内で完結するため、認識処理ユニットなどの外部装置に対する画像データの転送という処理が一切必要なく、トータル処理時間を飛躍的に短縮することが可能である。
【0023】
また、上述までのいずれかの画像認識装置において、前記前段処理部は、前記元画像データに対し前記前段処理を施す前に、画像データのフレーム領域から該前段処理を施す対象となる前段処理対象領域を絞り込む画像切り出し処理を施すようにしても良い。
【0024】
その場合、画像認識装置は、自車両の走行状態に関する走行情報、および該自車両の諸寸法に関する車両情報のうち少なくともいずれか一方を取得し、取得した情報に基づいて、前記前段処理部が前記前段処理を施す対象とする前段処理対象領域を決定する情報処理部を、更に備えても良い。
【発明の効果】
【0025】
本件によれば、車載式の画像認識装置に関する処理時間を短縮することができ、カメラのシャッターがおりてから画像認識処理結果に基づき運転者へ情報を提供するまでに要するタイムラグを短縮することができる。
【図面の簡単な説明】
【0026】
【図1】従来の車載用の画像認識装置の概略構成を示す概略構成図である。
【図2】画像認識装置におけるトータル処理時間を説明するための説明図である。
【図3】実施例1に係る画像認識装置の概略構成を示す図である。
【図4】実施例1に係る画像認識装置のバッファと周辺回路との接続状態を示す図である。
【図5】実施例1に係る画像認識処理のフローを示すフローチャートである。
【図6】実施形態におけるトータル処理時間を説明する説明図である。
【図7】実施例2に係る画像認識装置の概略構成を示す図である。
【図8】実施例2に係る画像認識装置のバッファと周辺回路との接続状態を示す図である。
【図9】実施例3に係る画像認識装置の概略構成を示す図である。
【図10】実施例3に係る画像認識装置のバッファと周辺回路との接続状態を示す図である。
【図11】実施例4に係る画像認識装置の概略構成を示す図である。
【図12】実施例4に係る画像認識装置のバッファと周辺回路との接続状態を示す図である。
【図13】実施例5に係る画像認識処理のフローを示すフローチャートである。
【図14】元画像データにおけるフレーム領域を表示した第一の図である。
【図15】実施例5の第一変形例に係る画像認識処理のフローを示すフローチャートである。
【図16】元画像データにおけるフレーム領域を表示した第二の図である。
【図17】実施例5の第三変形例に係る画像認識装置の概略構成を示す図である。
【発明を実施するための形態】
【0027】
以下、図面を参照して本実施形態に係る車載用の画像認識装置を例示的に説明する。ここでは、画像認識装置を車両の運転支援装置として適用する場合を例に説明するが、これに限定されるものではない。また、以下の実施形態に係る構成は例示であり、各構成要素の寸法、材質、形状、その相対配置等は、発明の技術的範囲をそれらのみに限定する趣旨のものではない。
【0028】
<実施例1>
図3は、実施例1に係る画像認識装置100Aの概略構成を示す図である。図1に示すものと同様の構成については、同じ符号を付けることで詳細な説明は省略する。画像認識装置100Aは、カメラ1Aおよび認識処理ユニット2Aを含んで構成されている。カメラ1Aは、グローバルシャッター方式のCCDカメラあるいはCMOSカメラであり、車両50の車室内のウインドシールド中央上部に、前方に光軸が合致するように配設されている。
【0029】
画像認識装置100Aは、カメラ1より撮像された画像データへの画像認識処理の結果に基づき、運転者に対して情報提供を行うことで運転を支援する。ここで、画像認識処理は、所定の前段処理とこの前段処理の施された後の画像データ(前段処理済み画像データ)に対して実施されるターゲット認識処理を含むものである。
【0030】
ターゲット認識処理は、前段処理の施された後の前段処理済み画像データに対して行われ、具体的には、いわゆるパターンマッチング処理によって、画像中におけるターゲットを認識する処理である。パターンマッチング処理は、画像の中から指定した標準パターン(テンプレート)と似ている位置を探し出すことにより特定のターゲットを認識する処理である。この特定のターゲットは、他車両(先行車両、対向車両等)、通行人、道路標識、白線等、種々のターゲットを対象とすることができる。具体的には、画像認識装置100Aは、ターゲット認識処理に使用する種々のテンプレートが格納されたデータベース(図示せず)を備えており、このデータベースにアクセスすることで画像内におけるターゲットを認識することができる。
【0031】
前段処理には、輝度調整処理、ノイズ低減処理、二値化処理等の一連の画像処理が含まれている。これらの各画像処理は周知であるため詳しい説明は省略するが、これら前段処理は、ターゲット認識処理によるターゲットの認識を補助する目的、すなわちターゲットの認識精度、認識性能を高めるために行う画像処理である。従って、時系列的には、前段処理は、必ずターゲット認識処理に先行して行われるといえる。
【0032】
認識処理ユニット2Aについて説明する。認識処理ユニット2Aは、CPU(中央演算装置)21、メモリ22、GDC24、データ受信部25、ターゲット認識処理部26を備える。ここでも、既に説明した電子部品については詳しい説明を省略する。ターゲット認識処理部26は、先述したターゲット認識処理を行う機能を有する電子回路であり、ここではASIC( Application Specific Integrated Circuit )として構成されている
。
【0033】
CPU21は、カメラ1Aのカメラ制御部15の他、車両50に搭載される表示モニタ51、スピーカ52、車両を制御するための電子制御ユニットであるECU( Electronic Control Unit )53と、コントローラー・エリア・ネットワーク(CAN)によって相互に接続されている。例えば、CPU21は、後述するカメラ1Aのカメラ制御部15に制御信号を出力して、カメラ1Aのシャッタースピードや絞り量などを調整する。
【0034】
一方、カメラ1Aは、画像センサ11、アンプ12、バッファ13、データ送信部14、カメラ制御部15、前段処理部16を備える。例えば、CCDやCMOSからなる画像センサ11は、不図示の撮影光学系を通過した光束を光電変換してアナログ画像信号を生成する。
【0035】
アンプ12は、入力されるアナログ画像信号のゲイン調整を行う。ゲイン調整が行われたアナログ画像信号は、アンプ12とバッファ13の間に介在する図示しないアナログデジタル変換器(以下、「AD変換器」と略称する)でアナログ信号からデジタル信号に変換された後、バッファ13に一時的に記憶される。
【0036】
アンプ12、バッファ13、および前段処理部16との接続関係、配置関係を詳しく説明すると、図4に示すように、アンプ12は、第一系統用アンプ121および第二系統アンプ122を有する。また、バッファ13は、第一系統用バッファ131A,131B(これらを包括的に示す際には「第一系統用バッファ131」と表記する)と、第二系統用バッファ132A,132B(これらを包括的に示す際には「第二系統用バッファ132」と表記する)を有する。
【0037】
第一系統用アンプ121および第二系統アンプ122は、それぞれ画像センサ11に接続されており、それぞれには、画像センサ11が生成した画像信号が、順次入力されるようになっている。そして、第一系統用アンプ121に対しては第一系統用バッファ131A,131Bが接続されている。また、第一系統用バッファ131A,131Bはデータ送信部14に接続されている。画像センサ11からの画像信号は、第一系統用アンプ121にてゲイン調整がなされた後、第一系統用バッファ131A,131Bにおいて一時的に記憶(貯留)されてからデータ送信部14に入力される。
【0038】
第一系統用バッファ131A,131Bには、第一系統用アンプ121からの画像信号が交互に送られる。図示のように、例えば、第一系統用アンプ121から最新のフレームに係る画像信号が第一系統用バッファ131Aに入力されると、その画像データは第一系統用バッファ131Aで一時的に記憶される(図4中、実線矢印aを参照)。その間に、第一系統用バッファ131Bにある前回のフレームに係る画像信号がデータ送信部14に送られ(図4中、実線矢印bを参照)、データ送信部14からデータ受信部25に転送され、メモリ22に記憶される。一方、次のフレームに係る画像データは、第一系統用バッファ131Bに入力され、一時的に記憶される(図4中、破線矢印cを参照)。その間に、第一系統用バッファ131Aに貯留されている画像データがデータ送信部14へと送られ(図4中、破線矢印dを参照)、更にはデータ送信部14からデータ受信部25に転送されると共にメモリ22に記憶される。
【0039】
一方、第二系統用アンプ122に対しては第二系統用バッファ132A,132Bが接続されている。また、第二系統用バッファ132A,132Bは前段処理部16を介してデータ送信部14に接続されている。前段処理部16は、先述した前段処理に係る各処理を行う機能を有する電子回路であり、ここではASIC( Application Specific Integrated Circuit )として構成されている。第二系統用バッファ132A,132Bは、画
像データの入力元、出力先が異なることを除いて、基本的な機能は第一系統用バッファ131A,131Bと共通する。
【0040】
第二系統用アンプ122から最新のフレームに係る画像信号が第二系統用バッファ132Aに入力されると、その画像データは第二系統用バッファ132Aで一時的に記憶される(図4中、実線矢印eを参照)。その間に、第二系統用バッファ132Bにある前回のフレームに係る画像データに対して前段処理部16が前段処理を施す(図4中、実線矢印fを参照)。そして、前段処理部16によって前段処理が施された後の画像データである前段処理済み画像データは、データ送信部14からデータ受信部25に転送され、メモリ22に記憶される。一方、次のフレームに係る画像データは、第二系統用バッファ132Bに入力され、一時的に記憶される(図4中、破線矢印gを参照)。その間に、第一系統用バッファ132Aに貯留されている画像データに対して前段処理部16が前段処理を施す(図4中、破線矢印hを参照)。その後、その前段処理済み画像データは、データ送信部14からデータ受信部25に転送され、メモリ22に記憶される。なお、バッファ13とデータ送信部14には、画像データをデジタル信号からアナログ信号に変換するデジタルアナログ変換器(図示せず)が設けられている。
【0041】
以上のように構成される本実施例の画像認識装置100Aでは、従来に比べてトータル処理時間の低減を図るべく、前段処理を行う前段処理部16(ASIC)を、カメラ1A側の回路に統合した点を特徴とする。図5は、実施例1に係る画像認識装置100Aが行う画像認識処理のフローを示すフローチャートである。このフローチャートは、例えばメモリ22内のROMに格納されたシーケンスプログラムをCPU21が実行することにより実現される。
【0042】
ステップS101では、画像センサ11が車両50の前方を撮像し、画像データ(画像信号)を生成する。画像センサ11は、予め設定されている周期毎に画像データを生成するところ、この実施形態ではフレームレートが30fps(frame per second)に設定されている。なお、画像センサ11の制御は、認識処理ユニット2AのCPU21からの制御信号に基づいてカメラ制御部15が画像センサ11を制御することで行われる。従って、図1では省略しているが、カメラ制御部15とカメラ1の他の電子部品とは適宜、電気回路等によって接続されている。
【0043】
ステップS102では、画像センサ11からの画像データが、第一系統用バッファ131(131A,131B)と、第二系統用バッファ132(132A,132B)のそれぞれに入力され、一時的に記憶される。画像データの詳細な流れについては、図4において既に説明済みのためここでは省略する。画像センサ11から送られてくる画像データは、前段処理が施されていないものであり、以下「元画像データ」と称する。
【0044】
ステップS103では、第一系統用バッファ131に一時記憶されている元画像データが、データ送信部14およびデータ受信部25を介して転送され、転送された元画像データがメモリ22に書き込まれる(記憶される)。ここで、メモリ22には、第一記憶領域〜第三記憶領域が設けられており、カメラ1A側から転送される元画像データは第一記憶領域に書き込まれる。
【0045】
また、本ステップでは、元画像データの転送処理と並行して、カメラ1A側において第二系統用バッファ132に一時記憶されている元画像データに対して、前段処理部16が先述した前段処理を施す。すなわち、前段処理部16は第二系統用バッファ132における元画像データに輝度調整処理、ノイズ低減処理、二値化処理を行う。第二系統用バッファ132は、画像センサ11が生成した元画像データを最初に一時記憶する記憶領域であり、本発明におけるバッファ部に対応している。
【0046】
図示の処理フローでは、元画像データの転送処理と前段処理部16での前段処理が同時に開始される。ここで、元画像データの転送処理と前段処理の双方が終了すると、次のステップS104において、前段処理部16が前段処理を施した後の画像データである前段処理済み画像データを、データ送信部14からデータ受信部25に転送し、データ受信部25に転送した前段処理済み画像データをメモリ22の第二記憶領域に書き込む。
【0047】
図2にも示したように、通常、転送時間T1は前段処理時間T2に比べて長くなる。従って、元画像データの転送処理が完了する前に、通常は前段処理が完了する。この場合、元画像データの転送処理が完了すると同時に、今度は第二系統用バッファ132にある前段処理済み画像データが、カメラ1Aから認識処理ユニット2Aに転送される。
【0048】
次に、ステップS105では、メモリ22の第二記憶領域に記憶されている前段処理済み画像データに対してターゲット認識処理部26がターゲット認識処理を施し、その結果を第三記憶領域に保存する。ターゲット認識処理の具体的内容については既述のため、ここでは省略する。本ステップの処理が終了すると、次のステップS106では、画像認識結果に基づく情報を運転者に提供することで安全運転を支援する。
【0049】
具体的には、ターゲット認識処理において、車両50の進路上に障害物となるターゲット、例えば通行人や他車両が存在する場合には、CPU21は、スピーカ52にその旨を報知するための警報を出力させる。ところで、画像認識装置100Aでは、運転者に対して提供する情報のなかに、ターゲット認識処理部26によるターゲットの認識結果が反映された画像表示が含まれている。ここで、メモリ22の第一記憶領域には元画像データが記憶され、第三記憶領域にはターゲットの認識結果が記憶されている。認識処理ユニット2AのGDC24は、第三記憶領域にある認識結果に基づいて、第一記憶領域に記憶している元画像データに対してターゲットの周囲を色付き線で囲む等による強調表示を施し、ターゲット認識結果を追記した画像(以下、認識結果画像という)として表示モニタ51に出力する。尚、認識結果画像は、ターゲットの認識結果が反映された画像情報に対応する。
【0050】
また、車両50の走行車線を区分する白線(区分標示線)をターゲットとして認識することによって、車両50が走行車線を逸脱する虞がある場合に警報を行う車線逸脱警報装置(LDW)、或いは車線逸脱を防止する車線逸脱防止支援装置(LDP)として機能させることもできる。この場合、車両50が走行車線を逸脱する虞があるとCPU21が判定した場合、スピーカ52にその旨を報知するための警報を出力させる。また、CPU21は、ECU53を介して、車両50のステアリング・ホイール(ハンドル)を振動させることで運転者に注意を喚起したり、操舵装置(図示せず)を制御させることで車両50が走行車線から逸脱しないようにすることも可能である。
【0051】
本ステップの処理が終了すると、画像認識処理に係るフローを一旦終了する。なお、本フローは、カメラ1Aのフレームレートに対応する周期毎に繰り返し行われる。
【0052】
以下、本実施例の画像認識装置100Aが実現する効果について、図6を参照して説明する。図6は、本実施形態におけるトータル処理時間を説明する説明図である。なお、同図には、本実施例に係るトータル処理時間のほか、後から参照するために後述する実施例2〜4に係るトータル処理時間も示している。
【0053】
従来の画像認識装置100では、常に、カメラ1から元画像データを認識処理ユニット2に転送し、認識処理ユニット2側で元画像データに対して前段処理をまず施し、その後、前段処理済み画像データに対してターゲット認識処理を実施して得られたターゲット認
識結果に基づいて運転者に情報提供を行っていたため、トータル処理時間Tsum0は常に、元画像データ転送時間T1+前段処理時間T2+ターゲット認識処理時間T3となっていた。
【0054】
これに対して、本実施例の画像認識装置100Aでは、前段処理部16をカメラ1A側に統合し、元画像データの転送処理と並行してカメラ1A側で前段処理を行うことが可能である。そして、元画像データの転送終了後、前段処理済み画像データをカメラ1Aから認識処理ユニット2Aに転送することになるが、その転送に要する前段処理後転送時間T1´は、元画像データの転送時間T1に比べて顕著に短い時間で済む。これは、元画像データに比べて前段処理済み画像データの容量が極めて小さいことによる。例えば、帯域27MHzのアナログ回線でNTSCフレーム(フレームサイズ720px×480lines)とした
場合に、二値化後の前段処理済み画像データの容量は元画像データの5%程度に相当するため、元画像データの転送時間T1に比べて前段処理後転送時間T1´を1/20程度に短縮することができる。
【0055】
画像認識装置100Aにおけるトータル処理時間Tsum1は、max(T1,T2)+前段処理後転送時間T1´+ターゲット認識処理時間T3となる。ここで、max(T1,T2)は、元画像データ転送時間T1と前段処理時間T2のうち長い方の所要時間を意味するものであり、通常は元画像データ転送時間T1である。従って、トータル処理時間Tsum1は、前段処理時間T2から前段処理後転送時間T1´を差し引いた時間だけ従来のトータル処理時間Tsum0に比べて、短縮することができる。例えば、T1=33ms、T2=11ms、T3=22ms、T1´=1.6msとすると、従来方式によるトータル処理時間Tsum0は66msとなるところ、本実施例の方式では、トータル処理時間Tsum1を56.6msまで短縮することができる。
【0056】
尚、元画像データの転送処理と前段処理部16での前段処理は、当該前段処理の終期が元画像データの転送処理の終期に対して遅くならない限り、必ずしも同時に開始させなくても構わない。但し、元画像データの転送処理及び前段処理の双方を同時に開始させることは前段処理部16に要求される処理速度の緩和に繋がるため、これによって回路の簡素化すなわち低コスト化の実現が可能となる。
【0057】
尚、上記のように画像認識処理に係るトータル処理時間を従来に比べて短縮できるということは、トータル処理時間の増大を伴わずに前段処理の内容を充実させたり(ノイズ低減処理に用いるフィルタを複数のパターン試みる等を例示できる)、ターゲット認識処理に費やすことの可能な時間を増大させることができることを意味する。そして、本実施例では、このようにすることでターゲット認識処理に関するターゲットの認識精度を好適に向上させることが可能である(後述する他の実施例についても同様である)。また、本実施例における画像認識装置100Aでは、カメラ1A内にバッファを備えているが、必ずしもバッファを備えている必要はない。例えば、画像センサ11からの元画像データはバッファを介さずデータ送信部14から転送されても良いし、バッファを介さずに前段処理部16による前段処理が施された後、同じくデータ送信部14から転送されても良い。
【0058】
<実施例2>
図7は、実施例2に係る画像認識装置100Bの概略構成を示す図である。図3に示すものと同様の構成については、同じ符号を付けることで詳細な説明は省略する。画像認識装置100Bが運転者に対して提供する情報のなかに、ターゲットの認識結果が反映された認識結果画像の画像表示が含まれていない。そのため、本実施例における車両50には実施例1で示したような表示モニタが備えられていない。
【0059】
また、画像認識装置100Bは、カメラ1Bとおよび認識処理ユニット2Bを含んで構
成されている。カメラ1Bおよび認識処理ユニット2Bの基本機能は、カメラ1Aとおよび認識処理ユニット2Aのそれぞれと同様であるが、ここではその相違点を中心に説明する。
【0060】
まず、認識処理ユニット2Bについては、表示モニタに画像を表示することがないため、GDCと、メモリ22における第一記憶領域を備えていない点を除けば実施例1に係る認識処理ユニット2Aと共通である。また、図8に示すように、カメラ1Bは、実施例1で説明した第一系統用アンプ121、および第一系統用バッファ131(131A,131B)が備えられていない。すなわち、画像センサ11には第二系統用アンプ122を経由して第二系統用バッファ132(132A,132B)が接続されている。また、第二系統用バッファ132(132A,132B)は、前段処理部16を介して、データ送信部14と接続されている。
【0061】
以上のように構成される画像認識装置100Bでは、画像認識処理において、カメラ1Bのデータ送信部14から認識処理ユニット2Bのデータ受信部25への元画像データの転送は行わず、前段処理済み画像データをデータ送信部14からデータ受信部25へと転送する。
【0062】
より詳しくは、画像センサ11が生成した元画像データは、アンプ12(第二系統用アンプ122)においてゲイン調整がなされた後、第二系統用バッファ132A,132Bに交互に入力され、これらに一時的に記憶される。そして、前段処理部16は、第二系統用バッファ132にある元画像データに対して先述した前段処理を施す。その後、前段処理済み画像データがデータ送信部14からデータ受信部25に転送され、メモリ22に書き込まれる。例えば、第二系統用バッファ132Aにある元画像データに対して前段処理を施し、そのデータを転送しつつメモリ22に書き込んでいる間は、次のフレームに対応する元画像データは第二系統用バッファ132Bに入力され、この第二系統用バッファ132Bで一時的に貯留される。
【0063】
認識処理ユニット1Bに転送された前段処理済み画像データは、ターゲット認識処理部26によってターゲット認識処理が実施される。そして、CPU21は、ターゲット認識処理の結果に基づいて運転者に情報提供を行う。運転者に提供する情報については、認識結果画像の画像表示が除外される他は実施例1と同様であり、ここでの説明を省略する。
【0064】
上記のように、画像認識装置100Bは、運転者に対して認識結果画像の画像表示を行う必要がないため、元画像データを認識処理ユニット1Bにわざわざ転送せずに、トータル処理時間の短縮を図るようにしている。画像認識装置100Bにおけるトータル処理時間Tsum2は、前段処理時間T2+前段処理後転送時間T1´+ターゲット認識処理時間T3となる。そのため、実施例1に係る画像認識装置100Aよりも更にトータル処理時間を短縮することができる。
【0065】
実施例1においても説明したように、例えば、T1=33ms、T2=11ms、T3=22ms、T1´=1.6msとすると、従来方式によるトータル処理時間Tsum0は66ms、実施例1に係るトータル処理時間Tsum1は56.6msとなるところ、実施例2に係る方式によればトータル処理時間Tsum2を34.6msまで短縮することができる。
【0066】
<実施例3>
図9は、実施例3に係る画像認識装置100Cの概略構成を示す図である。図3、7に示すものと同様の構成については、同じ符号を付けることで詳細な説明は省略する。画像認識装置100Cは、既述の実施例に係る認識処理ユニットの機能もカメラ1Cに統合し
ている。
【0067】
カメラ1Cは、画像センサ11、アンプ12、バッファ13、カメラ制御部15、前段処理部16、CPU21、GDC24、ターゲット認識処理部26を備える。図10には、バッファ13とその周辺回路との接続状態を示している。本実施例に係るカメラ1Cにおいても、カメラ1Aと同様に、アンプ12は第一系統用アンプ121および第二系統アンプ122を有する。また、バッファ13は、第一系統用バッファ131(131A,131B)と、第二系統用バッファ132(132A,132B)を有する。第一系統用アンプ121および第二系統アンプ122を経由した第一系統用バッファ131(131A,131B)、第二系統用バッファ132(132A,132B)への元画像データの入力態様については、実施例1における図4で説明したものと同様である。
【0068】
図10に示すように、第一系統用バッファ131(131A,131B)にはGDC24が接続されている。また、第二系統用バッファ132(132A,132B)には、前段処理部16、ターゲット認識処理部26、およびCPU21がそれぞれ接続されている。
【0069】
画像センサ11が生成した画像信号は、第一系統用バッファ131(131A,131B)と第二系統用バッファ132(132A,132B)のそれぞれに入力される。第一系統用バッファ131(131A,131B)に入力された元画像データは順次GDC24に送られ、該GDC24から表示モニタ51に出力される。一方、第二系統用バッファ132(132A,132B)に一時的に記憶された元画像データには、まず前段処理部16によって先述した前段処理が施され、その後の前段処理済み画像データにはターゲット認識処理部26によるターゲット認識処理が施される。
【0070】
次いで、CPU21は、ターゲット認識処理部26によるターゲットの認識結果を取得し、その認識結果に基づいて運転者に先述したような種々の情報提供を行う。例えば、CPU21は、車両50の進路上に障害物、通行人、他車両等が存在する場合には、スピーカ52から警報音を出力する。また、先述したように車両50が走行車線から逸脱する虞がある場合には、同じくスピーカ52から警報音を出力したり、ECU53を介してステアリング・ホイールや操舵装置を制御することで、車線からの逸脱を抑止するための制御を行う。
【0071】
本実施例に係る画像認識装置100Cでは、カメラ1Cが撮像した画像データに前段処理を行う前段処理部16に加えて、ターゲット認識処理を行うターゲット認識処理部26もカメラ1C側の回路に組み込み、統合した。この構成によれば、実施例1および2に係る認識処理ユニットのように、カメラ1Cから画像データを転送する必要が一切ない。従って、トータル処理時間を先述した実施例に比べて更に短縮することが可能である。
【0072】
従って、例えば、既述の実施例において説明したように、例えばT1=33ms、T2=11ms、T3=22ms、T1´=1.6msとすると、従来方式によるトータル処理時間Tsum0は66ms、実施例1に係るトータル処理時間Tsum1は56.6ms、実施例2に係るトータル処理時間Tsum2は34.6msとなるところ、実施例3に係る方式によればトータル処理時間Tsum3を前段処理時間T2+ターゲット認識処理時間T3の33msまで短縮することができる。
【0073】
<実施例4>
図11は、実施例4に係る画像認識装置100Dの概略構成を示す図である。図9に示すものと同様の構成については、同じ符号を付けることで詳細な説明は省略する。本実施例に係る画像認識装置100Dはカメラ1Dを主要な構成として備えている。そして、運
転者に提供する情報のなかに、カメラ1の撮像したモニタ表示画像が含まれない点で、実施例3に係る画像認識装置100Cと相違する。そのため、本実施例においては、カメラ1Dが撮像した画像を表示するためのGDC、表示モニタ等の装置が設けられていない。
【0074】
カメラ1Dは、画像センサ11、アンプ12、バッファ13、カメラ制御部15、前段処理部16、CPU21、ターゲット認識処理部26を備える。また、図12には、バッファ13とその周辺回路との接続状態を示している。本実施例に係るカメラ1Dは、カメラ1Bと同様、アンプ12は先述した第二系統アンプ122のみからなり、バッファ13は、第二系統用バッファ132(132A,132B)のみからなる。実施例3の画像認識装置100C(カメラ1C)が備えていた第一系統アンプおよび第一系統用バッファを画像認識装置100D(カメラ1D)が有していないのは、カメラ1Dの撮像した画像をモニタ表示する必要がないためである。
【0075】
そして、画像センサ11には第二系統用アンプ122を経由して第二系統用バッファ132(132A,132B)が接続され、この第二系統用バッファ132(132A,132B)には、前段処理部16、ターゲット認識処理部26、およびCPU21がそれぞれ接続されている。
【0076】
画像センサ11が生成した画像信号は第二系統用バッファ132(132A,132B)に順次入力され、この第二系統用バッファ132(132A,132B)に一時的に記憶された元画像データには、まず前段処理部16によって先述した前段処理が施され、その後の前段処理済み画像データにはターゲット認識処理部26によるターゲット認識処理が施される。そして、CPU21は、ターゲット認識処理部26によるターゲットの認識結果を取得し、その認識結果に基づいて運転者に先述したような種々の情報提供を行う。例えば、CPU21は、車両50の進路上に障害物、通行人、他車両等が存在する場合には、スピーカ52から警報音を出力する。また、車両50が走行車線から逸脱する虞がある場合には、スピーカ52から警報音を出力したり、ECU53を介してステアリング・ホイールや操舵装置を制御することで車線からの逸脱を抑止する制御を行う。
【0077】
そして、本実施例では、カメラの撮像した画像をモニタ表示するかどうかの違いがあるものの、前段処理を行う前段処理部16のみならずターゲット認識処理を行うターゲット認識処理部26もカメラ1D側に統合する構成を採用する点で実施例3に係る画像認識装置100Cと同様である。よって、カメラ1Dから外部装置に画像データを転送する必要が一切なく、トータル処理時間を上記画像認識装置100Cと同等とすることが可能である。
【0078】
<実施例5>
次に、実施例5について説明する。本実施例では、図3に示した画像認識装置100Aにおいて行われる画像切り出し処理を説明する。この画像切り出し処理は、前段処理部16が元画像データに対し前段処理を施す前に事前に行われる処理であって、元画像データのフレーム領域から該前段処理を施す対象となる前段処理対象領域を限定する(絞り込む)処理をいう。なお、ここでは、実施例1に係る画像認識装置100Aに画像切り出し処理を実施する場合を説明するが、当該処理は上述までのいずれの実施例に係る画像認識装置(100A〜100D)に対しても適用することができる。
【0079】
車載用の画像認識装置においては、カメラ1Aの撮像した画像のフレーム領域内に、必ずしもターゲット認識処理を行う必要のない領域(以下、「画像認識不要領域」という)が存在する。例えば、自車両50におけるボンネットの像や上空の像が映し出される部分の領域はそもそもターゲットが存在しないと考えられる。そのため、画像認識装置100Aでは、上記した画像認識不要領域に対しては、その領域内にターゲットが存在するのか
否かの検出を行わないことにした。
【0080】
以下、画像切り出し処理に係る具体的な処理内容について説明する。図13は、本実施例に係る画像認識処理のフローを示すフローチャートである。なお、図5で説明した処理フローにおいて同じ内容の処理が行われるステップについては、共通の符号を付すことでその説明を省略するものとする。
【0081】
ステップS101、S102の処理が終了すると、ステップS201に進む。ステップS201において、CPU21はECU53から車両50の車両情報を取得する。ここで、車両情報とは、車両50の諸寸法、形状等(車高、車幅、ボンネットの形状やその寸法、位置等)を含む情報である。
【0082】
ステップS202において、CPU21は、ステップS201で取得した車両情報をカメラ制御部15に受け渡す。言い換えると、本ステップでは、カメラ制御部15が車両情報をCPU21から取得する。
【0083】
図14は、カメラが取得した元画像データにおけるフレーム領域(フレームの全領域)Aaofを表示したものである。図中には、フレーム下部領域Abof、フレーム上部領域Atof、前段処理対象領域Atgt等が示されている。また、同図の符号Pohは地平線位置を示したものである。
【0084】
カメラ1Aの車室内での取り付け位置や、取り付け角度などは予め決まっているため、上述した車両情報に基づいて、車両50のボンネットの像が主に写り出されるフレーム下部領域Abofや、上空の像が主に映し出されるフレーム上部領域Atofを割り出すことができる。そこで、続くステップS203において、カメラ制御部15は、CPU21から取得した車両情報に基づいて、フレーム下部領域Abofおよびフレーム上部領域Atofを導出する。なお、図示のように、フレーム上部領域Atofは、地平線位置Pohに所定のマージン幅Mrgを加えた位置より上部の領域として求められる。
【0085】
ステップS204では、カメラ制御部15は、フレーム領域Aaofから画像認識不要領域(フレーム下部領域Abof、フレーム上部領域Atof)を除外した領域として前段処理対象領域Atgtを決定する。前段処理対象領域Atgtは、図14に示すように、フレーム下部領域Abofとフレーム上部領域Atofの間に挟まれている領域として求めることができる。本実施例では、前段処理対象領域Atgtを決定するカメラ制御部15が本発明の情報処理部に対応している。
【0086】
次に、ステップS205において、前段処理部16は、フレーム領域Aaofからカメラ制御部15が決定した前段処理対象領域Atgtだけ残し、その他の領域(画像認識不要領域)を元画像データから削除することで、画像切り出し処理を実施する。本ステップの処理が終了すると、ステップS103に進み、元画像データの転送処理と並行して、画像切り出し処理後の元画像データに対して前段処理部16が前段処理を施す。その後の各ステップの処理は既述した通りである。
【0087】
以上述べた画像切り出し処理によれば、前段処理を施す領域を限定することができるため、フレーム領域Aaof全体に前段処理を行う場合に比べて、前段処理に要する時間(つまり、前段処理時間T2)をより短縮することができ、以ってトータル処理時間を一層短くすることが可能である。言い換えると、トータル処理時間の増大を伴わずに、元画像デに対する前段処理をより一層念入りに行うことができる。つまり、例えば画像切り出し処理を行わない場合と前段処理に費やす時間を変更せず、ノイズ低減処理に用いるフィルタを複数のパターン試みる等、前段処理の内容を充実させるようにしても良い。これによ
り、前段処理済み画像データに対して行われるターゲット認識処理に関するターゲットの認識精度を向上させることができる。
【0088】
(第一変形例)
次に、本実施例に係る第一変形例について説明する。上記の例では、画像認識不要領域を車両情報に基づいて決定したが、第一変形例では走行情報に基づいて決定する。例えば、自車両50の前方に他車両や歩行者(例えば、道路を横断する通行人)、落下物等が存在する場合であっても、これらターゲットの自車両50からの距離が過度に遠い場合や、逆に過度に近い場合には、以下の理由によりターゲットに関する情報を運転者に提供する必要がないと考えられる。
【0089】
例えば、ターゲットが車両50から過度に遠い場合には、双方の距離が適正距離となってから運転者にターゲットの存在を知らしめれば情報提供を行えば良いと考えられる。また、このように、ターゲットがまだ車両50から遠いうちから警報などを行うと、運転者に不快感を与えたり、真に運転者にとって知らせるべき重要な情報と、あまり重要でない情報とが錯綜する虞がある。なお、上記の適正距離とは、画像認識処理の結果に基づく情報提供を運転者に行った場合に、運転者がその情報内容を把握(理解)し、危険が差し迫っている場合にはその危険を回避するための操作をする時間を充分に確保可能な距離である。
【0090】
一方、ターゲットが車両50から過度に近い場合には、たとえターゲットの存在を運転者に知らしめたとしても、運転者がターゲットに接触するまでに上記回避操作を行うことが困難と考えられる。そこで、第一変形例においては、自車両50との距離が過度に遠い位置、又は近い位置のターゲットは、ターゲット認識処理に係る対象から外すことにした。
【0091】
図15は、第一変形例に係る画像認識処理のフローを示すフローチャートである。なお、図13と同じ内容のステップについては、共通の符号を付すことでその説明を省略するものとする。
【0092】
ステップS101、S102の処理が終了すると、ステップS301に進む。ステップS301において、CPU21は図示しない車速センサから車両50の走行情報を取得する。ECU53には、図示しない車速センサが配線接続されており、車両50の車速に対応する信号がECU53に入力されるようになっている。CPU21は、ECU53にアクセスすることで、走行情報としての車速を取得する。
【0093】
ステップS302において、CPU21は、ステップS301で取得した車両情報と走行情報を、カメラ制御部15に受け渡す。言い換えると、本ステップでは、カメラ制御部15が走行情報(車速)をCPU21から取得する。
【0094】
次に、ステップS303において、カメラ制御部15は、遠方除外領域Afofおよび近接除外領域Anofを導出する。図16は、カメラが取得した元画像データにおけるフレーム領域Aaofを表示したものであり、遠方除外領域Afofおよび近接除外領域Anofが示されている。
【0095】
近接除外領域Anof(所定の近接領域に対応)は、ターゲットに対する車両の到達時間が、車両を運転者が操作してターゲットを回避するのに要する所定の第一設定時間Ptm1以下になる領域である。一方、遠方除外領域Afofは、ターゲットに対する車両の到達時間が、上記第一設定時間Ptm1よりも長い時間として設定された所定の第二設定時間Ptm2以上になる領域であり、ターゲットが車両50から遠くにあるうちに警報な
どを行うことによって運転者に不快感を与えたり、情報の錯綜が起こることを回避する観点から定められている。
【0096】
ここで、車両50の車速が速いほど、遠方除外領域Afofがより狭い領域として、近接除外領域Anofがより広い領域として導出される。言い換えると、車両50の車速が遅いほど、遠方除外領域Afofがより広い領域として、近接除外領域Anofがより狭い領域として導出される。車両50の車速が速いほど、車両50からより離れた位置に存在するターゲットも運転者に報知する必要があるため、遠方除外領域Afofに相当する領域を狭くするようにした。一方、車両50にターゲットが近接する場合、車両50の車速が速いほどターゲットを回避することが難しくなるため、近接除外領域Anofについては車両50の車速が速いほど対応する領域を拡大させるようにした。
【0097】
ステップS304において、カメラ制御部15は、フレーム領域Aaofから画像認識不要領域(遠方除外領域Afof、近接除外領域Anof)を除外した領域として前段処理対象領域Atgtを決定する。尚、図16に示すように、前段処理対象領域Atgtは実質的に、遠方除外領域Afofおよび近接除外領域Anofの間に挟まれた部分の領域として求めることができる。本変形例では、前段処理対象領域Atgtを決定するカメラ制御部15が本発明の情報処理部に対応している。
【0098】
次に、ステップS305において、前段処理部16は、フレーム領域Aaofからカメラ制御部15が決定した前段処理対象領域Atgtだけ残し、その他の領域(画像認識不要領域)を削除することで、画像切り出し処理を実施する。本ステップの処理が終了すると、ステップS103に進み、元画像データの転送処理と並行して、画像切り出し処理後の元画像データに対して前段処理部16が前段処理を施す。その後の各ステップの処理は既述した通りである。
【0099】
(第二変形例)
次に、第二変形例を説明する。この場合、CPU21は、車両50の舵角センサ(図示せず)が検出するステアリングの操作角度を取得する。なお、上記舵角センサはECU53と電気的に接続されており、ステアリングの操作角度に対応する信号がECU53に入力されるようになっている。CPU21は、ECU53にアクセスすることで、ステアリングの操作角度を取得することができる。そして、CPU21は、ステアリングが基準角度よりも左に操作されている場合には、車両50の右側方に位置する領域に存在するターゲットを認識する必要がないため、その領域を画像認識不要領域に設定して、画像切り出し処理を実施しても良い。逆に、ステアリングが基準角度よりも右に操作されている場合には、車両50の左側方に位置する領域に存在するターゲットを認識する必要がないため、その領域を画像認識不要領域に設定して、画像切り出し処理を実施しても良い。
【0100】
(第三変形例)
図17は、実施例5の第三変形例に係る画像認識装置100Eの概略構成を示す図である。図示の画像認識装置100Eは、カメラ1Eおよび認識処理ユニット2Aを含んで構成されている。この認識処理ユニット2Aは、図3に示したものと共通のハード構成となっている。また、カメラ1Eは、第二メモリ17を備える点以外は図3に示したカメラ1Aとハード構成は同等である。
【0101】
本実施例では、直近のフレームへの画像認識結果(ターゲット認識処理の結果)に基づいて、フレーム領域Aaof内においてターゲットが存在する可能性の高い領域(以下、「ターゲット存在領域」という)を決定し、このターゲット存在領域内のコントラストを増大させる処理(以下、「コントラスト増大処理」という)を、前段処理の前に実施する。ここでは、上述した画像切り出し処理の実施後、前段処理の実施前にコントラスト増大
処理を実施する場合を例に説明するが、画像切り出し処理の実施を省略することも可能である。
【0102】
各フレームの画像データに対するターゲット認識処理が完了すると、認識されたターゲットが引き続き存在する可能性が高い領域の座標(以下、「ターゲット領域座標」という)が、CPU21、カメラ制御部15を経て、順次、第二メモリ17に書き込まれるようになっている。このターゲット領域座標は、例えばターゲット認識処理によって認識されたターゲットを囲む矩形枠等に囲まれる領域の座標として置き換えても良い。
【0103】
図示のように、第二メモリ17は前段処理部16に接続されている。前段処理部16は、元画像データに画像切り出し処理を施した後、直近(一サイクル前)のフレームに対応するターゲット領域座標を第二メモリ17から読み出すことで、ターゲット存在領域を取得する。次いで、前段処理部16は、取得したターゲット存在領域内におけるコントラストを増大させることでコントラスト増大処理を実施する。これによれば、先行する画像認識処理の結果に基づいてターゲットが存在する可能性の高い画面内の領域を予測し、その領域内のコントラストを強めておくことができるので、ターゲット認識処理に係るターゲットの認識精度を向上させることができる。
【0104】
尚、コントラスト増大処理の対象となるターゲットの設定は、ターゲット認識処理において検出する優先度が高い動的なターゲット(他車両や歩行者等)に限定して行っても良い。これによれば、ターゲット認識処理の実施に際して、動的なターゲットに係る認識精度を優先して高めることが可能である。なお、本実施例に係る処理内容、および第一乃至第三変形例に係る処理内容は適宜、組み合わせて実施することができる。
【0105】
以上、本発明の実施形態を説明したが、本発明に係る画像認識装置はこれらに限らず、可能な限りこれらの組合せを含むことができる。また、本発明の本旨を逸脱しない範囲内において上記した実施形態には種々の変更を加えてもよい。例えば、本実施形態に係る前段処理、ターゲット認識処理はASICによって行うようにしたが、CPU等によって実施されても良いのは勿論である。
【符号の説明】
【0106】
1A,1B,1C,1D・・・カメラ
2A,2B,2C,2D・・・認識処理ユニット
11・・・画像センサ
12・・・アンプ
13・・・バッファ
14・・・データ送信部
15・・・カメラ制御部
16・・・前段処理部
21・・・CPU
22・・・メモリ
24・・・GDC
25・・・データ受信部
26・・・ターゲット認識処理部
50・・・車両
51・・・表示モニタ
52・・・スピーカ
53・・・ECU
100A,100B,100C,100D・・・画像認識装置
【技術分野】
【0001】
本発明は、車載用の画像認識装置に関する。
【背景技術】
【0002】
従来、車載式のカメラにより得られた情報に基づいて運転者に対して情報提供を行い、運転者の安全運転を支援するための運転支援装置が公知である(例えば、特許文献1を参照)。運転支援装置の代表例としては、カメラが取得した画像データに基づいて自車両の周辺を監視し、歩行者や他車両との衝突の危険がある場合に運転者に対して警告を発し、または、これに併せてモニタ表示することで運転操作を支援するものが挙げられる。他にも、自車両が走行車線(走行レーン)から逸脱する可能性があるか否かを判定し、逸脱する可能性がある場合に警告を行う車線逸脱警報装置(LDW:Lane Departure Warning)や、車両を走行車線内に戻すように支援する機能も備える車線逸脱防止支援装置(LDP:Lane Departure Prevention)なども上記運転支援装置に含まれる。
【0003】
図1は、従来の車載用の画像認識装置100の概略構成を示す概略構成図である。同図に示すように、画像認識装置100は車両50に搭載されており、カメラ(カメラユニット)1と、認識処理ユニット2とから構成される。カメラ1は、画像センサ(撮像素子)11、アンプ12、バッファ13、データ送信部14、カメラ制御部15等を備える。
【0004】
一方、認識処理ユニット2は、CPU21、メモリ22、ASIC( Application Specific Integrated Circuit )23、GDC(グラフィックス・ディスプレイ・コントロ
ーラー:graphics display controller )24、データ受信部25等を備える。CPU21は、カメラ1のカメラ制御部15の他、車両50に搭載される表示モニタ51やスピーカ(警報器)52などと、コントローラー・エリア・ネットワーク( Controller Area Network :CAN)によって相互接続されている。
【0005】
カメラ1側の画像センサ11により生成された画像信号は、アンプ12を経てバッファ13一時記憶される。なお、図示はしていないが、実際には二つのバッファに画像信号が交互に送られるようになっている。そして、一方のバッファにある画像データがデータ送信部14から認識処理ユニット2のデータ受信部25に転送されると共にメモリ22に記憶されている間は、カメラ1側の他方のバッファに対して画像センサ11からの画像データが送られるようになっている。なお、バッファは、複数の機器やソフトウェアの間でデータをやり取りするときに、処理速度や転送速度の差を補うためにデータを一時的に保存しておく記憶装置や記憶領域である。
【0006】
ASIC23は電子部品の一種で、特定の用途向けに複数機能の回路を1つにまとめた集積回路の総称である。メモリ22に読み出された画像データは、例えば順次ASIC23において画像認識処理が施される。この画像認識処理は、いわゆるパターンマッチング処理などのような、画像データに含まれる特定のターゲット(例えば、他車両、通行人、道路標識、白線等)を検出するためのターゲット認識処理と、これに先行して行われる前段処理とに分けられる。
【0007】
前段処理は、ターゲット認識処理に係るターゲットの認識を補助する目的、すなわちターゲットの認識精度、認識性能を高めるために行われる画像処理である。一般的な画像認識アルゴリズムでは、ノイズによる誤認識を低減させて認識精度を向上させる目的で、画像データに対して輝度調整やガウシアン・フィルタ等によるノイズ低減処理を施した後、二値化処理を施すなどによって前段処理が行われる。
【0008】
GDC24は、一般に画像表示を担当する集積回路の総称である。前段処理が施された画像データ(以下、「前段処理済み画像データ」という)に対して先述のターゲット認識処理が施されることで得られたターゲットの認識結果は、GDC24を介して車両50の車室内に設けられる表示モニタ51に認識結果画像として表示される。例えば、認識結果画像では、他車両や通行人、或いは道路標識等のターゲット(認識対象)が存在する領域を色付き線で囲むなどの強調表示を行ってモニタ表示することで、運転者は危険を察知、回避したり、安全運転に有用な情報を得ることができる。また、車両50が通行人や他車両(先行車両、対向車両等)と接触する可能性がある場合には、車両50に設けられたスピーカ52から警告音が発せられるようになっている。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開2000−142221号公報
【特許文献2】特開2002−29331号公報
【特許文献3】特開2002−175597号公報
【特許文献4】特開2009−153219号公報
【特許文献5】特開2009−219144号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
ここで、カメラ1のシャッターがおりてから表示モニタ51に認識結果画像がモニタ出力されたり、スピーカ52からの警報出力が行われるなど、画像認識結果に基づく情報提供を行うまでの時間差(タイムラグ)はできるだけ少ないことが望まれる。このようなタイムラグの許容値としては、概ね30ms〜50ms程度と考えられる。
【0011】
ここで、画像認識装置100のスループットを、カメラ1のシャッターがおりてから画像認識結果が出力されるまでに要する時間(以下、「トータル処理時間」という)を基準に考えると、この処理時間は図2に示すようになる。すなわち、トータル処理時間は、カメラ1から認識処理ユニット2への転送時間T1、前段処理に要する前段処理時間T2、ターゲット認識処理に要するターゲット認識処理時間T3(前段処理時間T2と、ターゲット認識処理時間T3とを合わせて「画像認識時間」という)となる。厳密に言うと、トータル処理時間には上記T1〜T3の何れにも属さない時間、例えばカメラ1内での処理時間も存在すると考えられるが、そのような時間はここで挙げたものに比べて小さく、ここでは考えないものとする。
【0012】
図示のように、前段処理時間T2およびターゲット認識処理時間T3に比して転送時間T1が長く掛かることが多く、従来においては画像データの転送時間がネックとなって画像認識装置全体のスループットをあまり高くすることが困難となっていた。
【0013】
本件の目的は、本発明は上記実情に鑑みてなされたものであり、その目的は、車載式の画像認識装置において画像認識処理に係るトータル処理時間を短縮可能な技術を提供することにある。
【課題を解決するための手段】
【0014】
本発明は、上記課題を解決するために、以下の手段を採用する。すなわち、本発明は、車載されたカメラにより撮像された画像データへの画像認識処理の結果に基づき、運転者に対して情報提供を行う画像認識装置であって、前記画像認識処理は、前記画像データに含まれる特定のターゲットを認識するターゲット認識処理と、該ターゲット認識処理によるターゲットの認識を補助するために該ターゲット認識処理に先行して行われる所定の前
段処理とを含んでおり、前記カメラは少なくとも、画像データを生成する画像センサと、前記画像センサが生成した画像データであって前記前段処理が施される前の画像データである元画像データに対して前記前段処理を施す前段処理部と、を有する画像認識装置である。
【0015】
本発明によれば、画像センサが生成した元画像データに前段処理を施す前段処理部をカメラとは別体の装置(以下、外部装置とも称する)に配置するのではなく、カメラ内に設けることにより、カメラから外部装置に転送される前の画像データに対して前段処理を実施することができる。本発明において、前記カメラは、前記画像センサが生成した前記元画像データを一時記憶するバッファ部を更に有し、前記前段処理部は前記バッファ部における前記元画像データに対して前記前段処理を施すようにしても良い。本発明における前段処理とは、元画像データに対する輝度調整処理、ノイズ低減処理、二値化処理等を含めることができる。
【0016】
ここで、元画像データに前段処理を施した後の画像データを前段処理済み画像データとすると、この前段処理済み画像データは、元画像データに比べて容量が小さい。例えば、帯域27MHzのアナログ回線でNTSCフレーム(フレームサイズ720px×480lines)
とした場合に、二値化処理後の前段処理済み画像データの容量は元画像データの5%程度に相当する場合がある。そして、転送速度が同じ条件であれば、転送する画像データの容量が小さいほど、より短時間で転送することができる。従って、カメラから外部装置に元画像データを転送する場合に比べて、前段処理済み画像データを転送する場合の方が、その転送時間を短くすることができる。
【0017】
そして、本発明の構成では、カメラ側で前段処理を行うことにより低容量化した前段処理済み画像データを外部装置に転送して該外部装置にてターゲット認識処理を施し、あるいは、前段処理済み画像データにカメラ内でターゲット認識処理を施すなどの手法を採用することができるので、従来のようにカメラから外部装置に元画像データをいったん転送した後、前段処理とターゲット認識処理を順次行う場合に比べて、画像認識処理に係るトータル処理時間を短縮することができる。従って、カメラのシャッターがおりてから画像認識処理の結果に基づき運転者へ情報を提供するまでに要するタイムラグを低減することができる。
【0018】
例えば、本発明に係る画像認識装置の第一の形態として、前記カメラとは別体の認識処理ユニットを更に備え、前記カメラは、前記前段処理部が前記元画像データに前記前段処理を施した後の前段処理済み画像データを送信する送信部を更に有し、前記認識処理ユニットは、前記カメラの前記送信部から転送される前記前段処理済み画像データを受信する受信部と、前記受信部が受信した前記前段処理済み画像データを記憶するメモリ部と、前記メモリ部に記憶された前記前段処理済み画像データに対して前記ターゲット認識処理を施すターゲット認識処理部と、を有するものが挙げられる。
【0019】
上記第一の形態において、前記運転者に対して提供する情報のなかに、前記ターゲット認識処理部による前記ターゲットの認識結果が反映された画像表示が含まれる場合には、前記カメラの前記送信部から前記認識処理ユニットの前記受信部への前記元画像データの転送処理と、前記カメラにおける前記前段処理部での前記前段処理とが、並行して行われると良い。その際、前記元画像データの転送処理と前記前段処理部での前記前段処理が同時に開始されるとより好適である。
【0020】
また、上記第一の形態において、前記運転者に対して提供する情報のなかに、前記ターゲット認識処理部による前記ターゲットの認識結果が反映された画像表示が含まれない場合には、前記カメラの前記送信部から前記認識処理ユニットの前記受信部への前記元画像
データの転送は行わず、前記前段処理済み画像データを前記カメラの前記送信部から前記認識処理ユニットの前記受信部へと転送すると良い。運転者に上記画像情報を提供する必要がない場合には、元画像データを認識処理ユニットに転送する必要がない。そこで、元画像データの転送処理を省くことにより大幅にトータル処理時間を短縮することが可能となる。
【0021】
一方、この第一の形態では、認識処理ユニット側においてターゲット認識処理を行うため、前段処理済み画像データに関しては認識処理ユニットに転送する必要がある。その場合においても、前段処理済み画像データは元画像データに比べて容量が極めて小さいため、その転送に要する時間もそれに伴って短縮することができる結果、トータル処理時間の短縮が実現される。
【0022】
また、本発明に係る画像認識装置の第二の形態として、前記カメラは、前記前段処理済み画像データに対して前記ターゲット認識処理を施すターゲット認識処理部を更に有するものを挙げることができる。この構成では、前段処理部のみならず、ターゲット認識処理部もカメラ側に統合する。これにより、画像センサが生成した元画像データに対する前段処理、および、前段処理済み画像データに対するターゲット認識処理からなる一連の画像認識処理がカメラ内で完結するため、認識処理ユニットなどの外部装置に対する画像データの転送という処理が一切必要なく、トータル処理時間を飛躍的に短縮することが可能である。
【0023】
また、上述までのいずれかの画像認識装置において、前記前段処理部は、前記元画像データに対し前記前段処理を施す前に、画像データのフレーム領域から該前段処理を施す対象となる前段処理対象領域を絞り込む画像切り出し処理を施すようにしても良い。
【0024】
その場合、画像認識装置は、自車両の走行状態に関する走行情報、および該自車両の諸寸法に関する車両情報のうち少なくともいずれか一方を取得し、取得した情報に基づいて、前記前段処理部が前記前段処理を施す対象とする前段処理対象領域を決定する情報処理部を、更に備えても良い。
【発明の効果】
【0025】
本件によれば、車載式の画像認識装置に関する処理時間を短縮することができ、カメラのシャッターがおりてから画像認識処理結果に基づき運転者へ情報を提供するまでに要するタイムラグを短縮することができる。
【図面の簡単な説明】
【0026】
【図1】従来の車載用の画像認識装置の概略構成を示す概略構成図である。
【図2】画像認識装置におけるトータル処理時間を説明するための説明図である。
【図3】実施例1に係る画像認識装置の概略構成を示す図である。
【図4】実施例1に係る画像認識装置のバッファと周辺回路との接続状態を示す図である。
【図5】実施例1に係る画像認識処理のフローを示すフローチャートである。
【図6】実施形態におけるトータル処理時間を説明する説明図である。
【図7】実施例2に係る画像認識装置の概略構成を示す図である。
【図8】実施例2に係る画像認識装置のバッファと周辺回路との接続状態を示す図である。
【図9】実施例3に係る画像認識装置の概略構成を示す図である。
【図10】実施例3に係る画像認識装置のバッファと周辺回路との接続状態を示す図である。
【図11】実施例4に係る画像認識装置の概略構成を示す図である。
【図12】実施例4に係る画像認識装置のバッファと周辺回路との接続状態を示す図である。
【図13】実施例5に係る画像認識処理のフローを示すフローチャートである。
【図14】元画像データにおけるフレーム領域を表示した第一の図である。
【図15】実施例5の第一変形例に係る画像認識処理のフローを示すフローチャートである。
【図16】元画像データにおけるフレーム領域を表示した第二の図である。
【図17】実施例5の第三変形例に係る画像認識装置の概略構成を示す図である。
【発明を実施するための形態】
【0027】
以下、図面を参照して本実施形態に係る車載用の画像認識装置を例示的に説明する。ここでは、画像認識装置を車両の運転支援装置として適用する場合を例に説明するが、これに限定されるものではない。また、以下の実施形態に係る構成は例示であり、各構成要素の寸法、材質、形状、その相対配置等は、発明の技術的範囲をそれらのみに限定する趣旨のものではない。
【0028】
<実施例1>
図3は、実施例1に係る画像認識装置100Aの概略構成を示す図である。図1に示すものと同様の構成については、同じ符号を付けることで詳細な説明は省略する。画像認識装置100Aは、カメラ1Aおよび認識処理ユニット2Aを含んで構成されている。カメラ1Aは、グローバルシャッター方式のCCDカメラあるいはCMOSカメラであり、車両50の車室内のウインドシールド中央上部に、前方に光軸が合致するように配設されている。
【0029】
画像認識装置100Aは、カメラ1より撮像された画像データへの画像認識処理の結果に基づき、運転者に対して情報提供を行うことで運転を支援する。ここで、画像認識処理は、所定の前段処理とこの前段処理の施された後の画像データ(前段処理済み画像データ)に対して実施されるターゲット認識処理を含むものである。
【0030】
ターゲット認識処理は、前段処理の施された後の前段処理済み画像データに対して行われ、具体的には、いわゆるパターンマッチング処理によって、画像中におけるターゲットを認識する処理である。パターンマッチング処理は、画像の中から指定した標準パターン(テンプレート)と似ている位置を探し出すことにより特定のターゲットを認識する処理である。この特定のターゲットは、他車両(先行車両、対向車両等)、通行人、道路標識、白線等、種々のターゲットを対象とすることができる。具体的には、画像認識装置100Aは、ターゲット認識処理に使用する種々のテンプレートが格納されたデータベース(図示せず)を備えており、このデータベースにアクセスすることで画像内におけるターゲットを認識することができる。
【0031】
前段処理には、輝度調整処理、ノイズ低減処理、二値化処理等の一連の画像処理が含まれている。これらの各画像処理は周知であるため詳しい説明は省略するが、これら前段処理は、ターゲット認識処理によるターゲットの認識を補助する目的、すなわちターゲットの認識精度、認識性能を高めるために行う画像処理である。従って、時系列的には、前段処理は、必ずターゲット認識処理に先行して行われるといえる。
【0032】
認識処理ユニット2Aについて説明する。認識処理ユニット2Aは、CPU(中央演算装置)21、メモリ22、GDC24、データ受信部25、ターゲット認識処理部26を備える。ここでも、既に説明した電子部品については詳しい説明を省略する。ターゲット認識処理部26は、先述したターゲット認識処理を行う機能を有する電子回路であり、ここではASIC( Application Specific Integrated Circuit )として構成されている
。
【0033】
CPU21は、カメラ1Aのカメラ制御部15の他、車両50に搭載される表示モニタ51、スピーカ52、車両を制御するための電子制御ユニットであるECU( Electronic Control Unit )53と、コントローラー・エリア・ネットワーク(CAN)によって相互に接続されている。例えば、CPU21は、後述するカメラ1Aのカメラ制御部15に制御信号を出力して、カメラ1Aのシャッタースピードや絞り量などを調整する。
【0034】
一方、カメラ1Aは、画像センサ11、アンプ12、バッファ13、データ送信部14、カメラ制御部15、前段処理部16を備える。例えば、CCDやCMOSからなる画像センサ11は、不図示の撮影光学系を通過した光束を光電変換してアナログ画像信号を生成する。
【0035】
アンプ12は、入力されるアナログ画像信号のゲイン調整を行う。ゲイン調整が行われたアナログ画像信号は、アンプ12とバッファ13の間に介在する図示しないアナログデジタル変換器(以下、「AD変換器」と略称する)でアナログ信号からデジタル信号に変換された後、バッファ13に一時的に記憶される。
【0036】
アンプ12、バッファ13、および前段処理部16との接続関係、配置関係を詳しく説明すると、図4に示すように、アンプ12は、第一系統用アンプ121および第二系統アンプ122を有する。また、バッファ13は、第一系統用バッファ131A,131B(これらを包括的に示す際には「第一系統用バッファ131」と表記する)と、第二系統用バッファ132A,132B(これらを包括的に示す際には「第二系統用バッファ132」と表記する)を有する。
【0037】
第一系統用アンプ121および第二系統アンプ122は、それぞれ画像センサ11に接続されており、それぞれには、画像センサ11が生成した画像信号が、順次入力されるようになっている。そして、第一系統用アンプ121に対しては第一系統用バッファ131A,131Bが接続されている。また、第一系統用バッファ131A,131Bはデータ送信部14に接続されている。画像センサ11からの画像信号は、第一系統用アンプ121にてゲイン調整がなされた後、第一系統用バッファ131A,131Bにおいて一時的に記憶(貯留)されてからデータ送信部14に入力される。
【0038】
第一系統用バッファ131A,131Bには、第一系統用アンプ121からの画像信号が交互に送られる。図示のように、例えば、第一系統用アンプ121から最新のフレームに係る画像信号が第一系統用バッファ131Aに入力されると、その画像データは第一系統用バッファ131Aで一時的に記憶される(図4中、実線矢印aを参照)。その間に、第一系統用バッファ131Bにある前回のフレームに係る画像信号がデータ送信部14に送られ(図4中、実線矢印bを参照)、データ送信部14からデータ受信部25に転送され、メモリ22に記憶される。一方、次のフレームに係る画像データは、第一系統用バッファ131Bに入力され、一時的に記憶される(図4中、破線矢印cを参照)。その間に、第一系統用バッファ131Aに貯留されている画像データがデータ送信部14へと送られ(図4中、破線矢印dを参照)、更にはデータ送信部14からデータ受信部25に転送されると共にメモリ22に記憶される。
【0039】
一方、第二系統用アンプ122に対しては第二系統用バッファ132A,132Bが接続されている。また、第二系統用バッファ132A,132Bは前段処理部16を介してデータ送信部14に接続されている。前段処理部16は、先述した前段処理に係る各処理を行う機能を有する電子回路であり、ここではASIC( Application Specific Integrated Circuit )として構成されている。第二系統用バッファ132A,132Bは、画
像データの入力元、出力先が異なることを除いて、基本的な機能は第一系統用バッファ131A,131Bと共通する。
【0040】
第二系統用アンプ122から最新のフレームに係る画像信号が第二系統用バッファ132Aに入力されると、その画像データは第二系統用バッファ132Aで一時的に記憶される(図4中、実線矢印eを参照)。その間に、第二系統用バッファ132Bにある前回のフレームに係る画像データに対して前段処理部16が前段処理を施す(図4中、実線矢印fを参照)。そして、前段処理部16によって前段処理が施された後の画像データである前段処理済み画像データは、データ送信部14からデータ受信部25に転送され、メモリ22に記憶される。一方、次のフレームに係る画像データは、第二系統用バッファ132Bに入力され、一時的に記憶される(図4中、破線矢印gを参照)。その間に、第一系統用バッファ132Aに貯留されている画像データに対して前段処理部16が前段処理を施す(図4中、破線矢印hを参照)。その後、その前段処理済み画像データは、データ送信部14からデータ受信部25に転送され、メモリ22に記憶される。なお、バッファ13とデータ送信部14には、画像データをデジタル信号からアナログ信号に変換するデジタルアナログ変換器(図示せず)が設けられている。
【0041】
以上のように構成される本実施例の画像認識装置100Aでは、従来に比べてトータル処理時間の低減を図るべく、前段処理を行う前段処理部16(ASIC)を、カメラ1A側の回路に統合した点を特徴とする。図5は、実施例1に係る画像認識装置100Aが行う画像認識処理のフローを示すフローチャートである。このフローチャートは、例えばメモリ22内のROMに格納されたシーケンスプログラムをCPU21が実行することにより実現される。
【0042】
ステップS101では、画像センサ11が車両50の前方を撮像し、画像データ(画像信号)を生成する。画像センサ11は、予め設定されている周期毎に画像データを生成するところ、この実施形態ではフレームレートが30fps(frame per second)に設定されている。なお、画像センサ11の制御は、認識処理ユニット2AのCPU21からの制御信号に基づいてカメラ制御部15が画像センサ11を制御することで行われる。従って、図1では省略しているが、カメラ制御部15とカメラ1の他の電子部品とは適宜、電気回路等によって接続されている。
【0043】
ステップS102では、画像センサ11からの画像データが、第一系統用バッファ131(131A,131B)と、第二系統用バッファ132(132A,132B)のそれぞれに入力され、一時的に記憶される。画像データの詳細な流れについては、図4において既に説明済みのためここでは省略する。画像センサ11から送られてくる画像データは、前段処理が施されていないものであり、以下「元画像データ」と称する。
【0044】
ステップS103では、第一系統用バッファ131に一時記憶されている元画像データが、データ送信部14およびデータ受信部25を介して転送され、転送された元画像データがメモリ22に書き込まれる(記憶される)。ここで、メモリ22には、第一記憶領域〜第三記憶領域が設けられており、カメラ1A側から転送される元画像データは第一記憶領域に書き込まれる。
【0045】
また、本ステップでは、元画像データの転送処理と並行して、カメラ1A側において第二系統用バッファ132に一時記憶されている元画像データに対して、前段処理部16が先述した前段処理を施す。すなわち、前段処理部16は第二系統用バッファ132における元画像データに輝度調整処理、ノイズ低減処理、二値化処理を行う。第二系統用バッファ132は、画像センサ11が生成した元画像データを最初に一時記憶する記憶領域であり、本発明におけるバッファ部に対応している。
【0046】
図示の処理フローでは、元画像データの転送処理と前段処理部16での前段処理が同時に開始される。ここで、元画像データの転送処理と前段処理の双方が終了すると、次のステップS104において、前段処理部16が前段処理を施した後の画像データである前段処理済み画像データを、データ送信部14からデータ受信部25に転送し、データ受信部25に転送した前段処理済み画像データをメモリ22の第二記憶領域に書き込む。
【0047】
図2にも示したように、通常、転送時間T1は前段処理時間T2に比べて長くなる。従って、元画像データの転送処理が完了する前に、通常は前段処理が完了する。この場合、元画像データの転送処理が完了すると同時に、今度は第二系統用バッファ132にある前段処理済み画像データが、カメラ1Aから認識処理ユニット2Aに転送される。
【0048】
次に、ステップS105では、メモリ22の第二記憶領域に記憶されている前段処理済み画像データに対してターゲット認識処理部26がターゲット認識処理を施し、その結果を第三記憶領域に保存する。ターゲット認識処理の具体的内容については既述のため、ここでは省略する。本ステップの処理が終了すると、次のステップS106では、画像認識結果に基づく情報を運転者に提供することで安全運転を支援する。
【0049】
具体的には、ターゲット認識処理において、車両50の進路上に障害物となるターゲット、例えば通行人や他車両が存在する場合には、CPU21は、スピーカ52にその旨を報知するための警報を出力させる。ところで、画像認識装置100Aでは、運転者に対して提供する情報のなかに、ターゲット認識処理部26によるターゲットの認識結果が反映された画像表示が含まれている。ここで、メモリ22の第一記憶領域には元画像データが記憶され、第三記憶領域にはターゲットの認識結果が記憶されている。認識処理ユニット2AのGDC24は、第三記憶領域にある認識結果に基づいて、第一記憶領域に記憶している元画像データに対してターゲットの周囲を色付き線で囲む等による強調表示を施し、ターゲット認識結果を追記した画像(以下、認識結果画像という)として表示モニタ51に出力する。尚、認識結果画像は、ターゲットの認識結果が反映された画像情報に対応する。
【0050】
また、車両50の走行車線を区分する白線(区分標示線)をターゲットとして認識することによって、車両50が走行車線を逸脱する虞がある場合に警報を行う車線逸脱警報装置(LDW)、或いは車線逸脱を防止する車線逸脱防止支援装置(LDP)として機能させることもできる。この場合、車両50が走行車線を逸脱する虞があるとCPU21が判定した場合、スピーカ52にその旨を報知するための警報を出力させる。また、CPU21は、ECU53を介して、車両50のステアリング・ホイール(ハンドル)を振動させることで運転者に注意を喚起したり、操舵装置(図示せず)を制御させることで車両50が走行車線から逸脱しないようにすることも可能である。
【0051】
本ステップの処理が終了すると、画像認識処理に係るフローを一旦終了する。なお、本フローは、カメラ1Aのフレームレートに対応する周期毎に繰り返し行われる。
【0052】
以下、本実施例の画像認識装置100Aが実現する効果について、図6を参照して説明する。図6は、本実施形態におけるトータル処理時間を説明する説明図である。なお、同図には、本実施例に係るトータル処理時間のほか、後から参照するために後述する実施例2〜4に係るトータル処理時間も示している。
【0053】
従来の画像認識装置100では、常に、カメラ1から元画像データを認識処理ユニット2に転送し、認識処理ユニット2側で元画像データに対して前段処理をまず施し、その後、前段処理済み画像データに対してターゲット認識処理を実施して得られたターゲット認
識結果に基づいて運転者に情報提供を行っていたため、トータル処理時間Tsum0は常に、元画像データ転送時間T1+前段処理時間T2+ターゲット認識処理時間T3となっていた。
【0054】
これに対して、本実施例の画像認識装置100Aでは、前段処理部16をカメラ1A側に統合し、元画像データの転送処理と並行してカメラ1A側で前段処理を行うことが可能である。そして、元画像データの転送終了後、前段処理済み画像データをカメラ1Aから認識処理ユニット2Aに転送することになるが、その転送に要する前段処理後転送時間T1´は、元画像データの転送時間T1に比べて顕著に短い時間で済む。これは、元画像データに比べて前段処理済み画像データの容量が極めて小さいことによる。例えば、帯域27MHzのアナログ回線でNTSCフレーム(フレームサイズ720px×480lines)とした
場合に、二値化後の前段処理済み画像データの容量は元画像データの5%程度に相当するため、元画像データの転送時間T1に比べて前段処理後転送時間T1´を1/20程度に短縮することができる。
【0055】
画像認識装置100Aにおけるトータル処理時間Tsum1は、max(T1,T2)+前段処理後転送時間T1´+ターゲット認識処理時間T3となる。ここで、max(T1,T2)は、元画像データ転送時間T1と前段処理時間T2のうち長い方の所要時間を意味するものであり、通常は元画像データ転送時間T1である。従って、トータル処理時間Tsum1は、前段処理時間T2から前段処理後転送時間T1´を差し引いた時間だけ従来のトータル処理時間Tsum0に比べて、短縮することができる。例えば、T1=33ms、T2=11ms、T3=22ms、T1´=1.6msとすると、従来方式によるトータル処理時間Tsum0は66msとなるところ、本実施例の方式では、トータル処理時間Tsum1を56.6msまで短縮することができる。
【0056】
尚、元画像データの転送処理と前段処理部16での前段処理は、当該前段処理の終期が元画像データの転送処理の終期に対して遅くならない限り、必ずしも同時に開始させなくても構わない。但し、元画像データの転送処理及び前段処理の双方を同時に開始させることは前段処理部16に要求される処理速度の緩和に繋がるため、これによって回路の簡素化すなわち低コスト化の実現が可能となる。
【0057】
尚、上記のように画像認識処理に係るトータル処理時間を従来に比べて短縮できるということは、トータル処理時間の増大を伴わずに前段処理の内容を充実させたり(ノイズ低減処理に用いるフィルタを複数のパターン試みる等を例示できる)、ターゲット認識処理に費やすことの可能な時間を増大させることができることを意味する。そして、本実施例では、このようにすることでターゲット認識処理に関するターゲットの認識精度を好適に向上させることが可能である(後述する他の実施例についても同様である)。また、本実施例における画像認識装置100Aでは、カメラ1A内にバッファを備えているが、必ずしもバッファを備えている必要はない。例えば、画像センサ11からの元画像データはバッファを介さずデータ送信部14から転送されても良いし、バッファを介さずに前段処理部16による前段処理が施された後、同じくデータ送信部14から転送されても良い。
【0058】
<実施例2>
図7は、実施例2に係る画像認識装置100Bの概略構成を示す図である。図3に示すものと同様の構成については、同じ符号を付けることで詳細な説明は省略する。画像認識装置100Bが運転者に対して提供する情報のなかに、ターゲットの認識結果が反映された認識結果画像の画像表示が含まれていない。そのため、本実施例における車両50には実施例1で示したような表示モニタが備えられていない。
【0059】
また、画像認識装置100Bは、カメラ1Bとおよび認識処理ユニット2Bを含んで構
成されている。カメラ1Bおよび認識処理ユニット2Bの基本機能は、カメラ1Aとおよび認識処理ユニット2Aのそれぞれと同様であるが、ここではその相違点を中心に説明する。
【0060】
まず、認識処理ユニット2Bについては、表示モニタに画像を表示することがないため、GDCと、メモリ22における第一記憶領域を備えていない点を除けば実施例1に係る認識処理ユニット2Aと共通である。また、図8に示すように、カメラ1Bは、実施例1で説明した第一系統用アンプ121、および第一系統用バッファ131(131A,131B)が備えられていない。すなわち、画像センサ11には第二系統用アンプ122を経由して第二系統用バッファ132(132A,132B)が接続されている。また、第二系統用バッファ132(132A,132B)は、前段処理部16を介して、データ送信部14と接続されている。
【0061】
以上のように構成される画像認識装置100Bでは、画像認識処理において、カメラ1Bのデータ送信部14から認識処理ユニット2Bのデータ受信部25への元画像データの転送は行わず、前段処理済み画像データをデータ送信部14からデータ受信部25へと転送する。
【0062】
より詳しくは、画像センサ11が生成した元画像データは、アンプ12(第二系統用アンプ122)においてゲイン調整がなされた後、第二系統用バッファ132A,132Bに交互に入力され、これらに一時的に記憶される。そして、前段処理部16は、第二系統用バッファ132にある元画像データに対して先述した前段処理を施す。その後、前段処理済み画像データがデータ送信部14からデータ受信部25に転送され、メモリ22に書き込まれる。例えば、第二系統用バッファ132Aにある元画像データに対して前段処理を施し、そのデータを転送しつつメモリ22に書き込んでいる間は、次のフレームに対応する元画像データは第二系統用バッファ132Bに入力され、この第二系統用バッファ132Bで一時的に貯留される。
【0063】
認識処理ユニット1Bに転送された前段処理済み画像データは、ターゲット認識処理部26によってターゲット認識処理が実施される。そして、CPU21は、ターゲット認識処理の結果に基づいて運転者に情報提供を行う。運転者に提供する情報については、認識結果画像の画像表示が除外される他は実施例1と同様であり、ここでの説明を省略する。
【0064】
上記のように、画像認識装置100Bは、運転者に対して認識結果画像の画像表示を行う必要がないため、元画像データを認識処理ユニット1Bにわざわざ転送せずに、トータル処理時間の短縮を図るようにしている。画像認識装置100Bにおけるトータル処理時間Tsum2は、前段処理時間T2+前段処理後転送時間T1´+ターゲット認識処理時間T3となる。そのため、実施例1に係る画像認識装置100Aよりも更にトータル処理時間を短縮することができる。
【0065】
実施例1においても説明したように、例えば、T1=33ms、T2=11ms、T3=22ms、T1´=1.6msとすると、従来方式によるトータル処理時間Tsum0は66ms、実施例1に係るトータル処理時間Tsum1は56.6msとなるところ、実施例2に係る方式によればトータル処理時間Tsum2を34.6msまで短縮することができる。
【0066】
<実施例3>
図9は、実施例3に係る画像認識装置100Cの概略構成を示す図である。図3、7に示すものと同様の構成については、同じ符号を付けることで詳細な説明は省略する。画像認識装置100Cは、既述の実施例に係る認識処理ユニットの機能もカメラ1Cに統合し
ている。
【0067】
カメラ1Cは、画像センサ11、アンプ12、バッファ13、カメラ制御部15、前段処理部16、CPU21、GDC24、ターゲット認識処理部26を備える。図10には、バッファ13とその周辺回路との接続状態を示している。本実施例に係るカメラ1Cにおいても、カメラ1Aと同様に、アンプ12は第一系統用アンプ121および第二系統アンプ122を有する。また、バッファ13は、第一系統用バッファ131(131A,131B)と、第二系統用バッファ132(132A,132B)を有する。第一系統用アンプ121および第二系統アンプ122を経由した第一系統用バッファ131(131A,131B)、第二系統用バッファ132(132A,132B)への元画像データの入力態様については、実施例1における図4で説明したものと同様である。
【0068】
図10に示すように、第一系統用バッファ131(131A,131B)にはGDC24が接続されている。また、第二系統用バッファ132(132A,132B)には、前段処理部16、ターゲット認識処理部26、およびCPU21がそれぞれ接続されている。
【0069】
画像センサ11が生成した画像信号は、第一系統用バッファ131(131A,131B)と第二系統用バッファ132(132A,132B)のそれぞれに入力される。第一系統用バッファ131(131A,131B)に入力された元画像データは順次GDC24に送られ、該GDC24から表示モニタ51に出力される。一方、第二系統用バッファ132(132A,132B)に一時的に記憶された元画像データには、まず前段処理部16によって先述した前段処理が施され、その後の前段処理済み画像データにはターゲット認識処理部26によるターゲット認識処理が施される。
【0070】
次いで、CPU21は、ターゲット認識処理部26によるターゲットの認識結果を取得し、その認識結果に基づいて運転者に先述したような種々の情報提供を行う。例えば、CPU21は、車両50の進路上に障害物、通行人、他車両等が存在する場合には、スピーカ52から警報音を出力する。また、先述したように車両50が走行車線から逸脱する虞がある場合には、同じくスピーカ52から警報音を出力したり、ECU53を介してステアリング・ホイールや操舵装置を制御することで、車線からの逸脱を抑止するための制御を行う。
【0071】
本実施例に係る画像認識装置100Cでは、カメラ1Cが撮像した画像データに前段処理を行う前段処理部16に加えて、ターゲット認識処理を行うターゲット認識処理部26もカメラ1C側の回路に組み込み、統合した。この構成によれば、実施例1および2に係る認識処理ユニットのように、カメラ1Cから画像データを転送する必要が一切ない。従って、トータル処理時間を先述した実施例に比べて更に短縮することが可能である。
【0072】
従って、例えば、既述の実施例において説明したように、例えばT1=33ms、T2=11ms、T3=22ms、T1´=1.6msとすると、従来方式によるトータル処理時間Tsum0は66ms、実施例1に係るトータル処理時間Tsum1は56.6ms、実施例2に係るトータル処理時間Tsum2は34.6msとなるところ、実施例3に係る方式によればトータル処理時間Tsum3を前段処理時間T2+ターゲット認識処理時間T3の33msまで短縮することができる。
【0073】
<実施例4>
図11は、実施例4に係る画像認識装置100Dの概略構成を示す図である。図9に示すものと同様の構成については、同じ符号を付けることで詳細な説明は省略する。本実施例に係る画像認識装置100Dはカメラ1Dを主要な構成として備えている。そして、運
転者に提供する情報のなかに、カメラ1の撮像したモニタ表示画像が含まれない点で、実施例3に係る画像認識装置100Cと相違する。そのため、本実施例においては、カメラ1Dが撮像した画像を表示するためのGDC、表示モニタ等の装置が設けられていない。
【0074】
カメラ1Dは、画像センサ11、アンプ12、バッファ13、カメラ制御部15、前段処理部16、CPU21、ターゲット認識処理部26を備える。また、図12には、バッファ13とその周辺回路との接続状態を示している。本実施例に係るカメラ1Dは、カメラ1Bと同様、アンプ12は先述した第二系統アンプ122のみからなり、バッファ13は、第二系統用バッファ132(132A,132B)のみからなる。実施例3の画像認識装置100C(カメラ1C)が備えていた第一系統アンプおよび第一系統用バッファを画像認識装置100D(カメラ1D)が有していないのは、カメラ1Dの撮像した画像をモニタ表示する必要がないためである。
【0075】
そして、画像センサ11には第二系統用アンプ122を経由して第二系統用バッファ132(132A,132B)が接続され、この第二系統用バッファ132(132A,132B)には、前段処理部16、ターゲット認識処理部26、およびCPU21がそれぞれ接続されている。
【0076】
画像センサ11が生成した画像信号は第二系統用バッファ132(132A,132B)に順次入力され、この第二系統用バッファ132(132A,132B)に一時的に記憶された元画像データには、まず前段処理部16によって先述した前段処理が施され、その後の前段処理済み画像データにはターゲット認識処理部26によるターゲット認識処理が施される。そして、CPU21は、ターゲット認識処理部26によるターゲットの認識結果を取得し、その認識結果に基づいて運転者に先述したような種々の情報提供を行う。例えば、CPU21は、車両50の進路上に障害物、通行人、他車両等が存在する場合には、スピーカ52から警報音を出力する。また、車両50が走行車線から逸脱する虞がある場合には、スピーカ52から警報音を出力したり、ECU53を介してステアリング・ホイールや操舵装置を制御することで車線からの逸脱を抑止する制御を行う。
【0077】
そして、本実施例では、カメラの撮像した画像をモニタ表示するかどうかの違いがあるものの、前段処理を行う前段処理部16のみならずターゲット認識処理を行うターゲット認識処理部26もカメラ1D側に統合する構成を採用する点で実施例3に係る画像認識装置100Cと同様である。よって、カメラ1Dから外部装置に画像データを転送する必要が一切なく、トータル処理時間を上記画像認識装置100Cと同等とすることが可能である。
【0078】
<実施例5>
次に、実施例5について説明する。本実施例では、図3に示した画像認識装置100Aにおいて行われる画像切り出し処理を説明する。この画像切り出し処理は、前段処理部16が元画像データに対し前段処理を施す前に事前に行われる処理であって、元画像データのフレーム領域から該前段処理を施す対象となる前段処理対象領域を限定する(絞り込む)処理をいう。なお、ここでは、実施例1に係る画像認識装置100Aに画像切り出し処理を実施する場合を説明するが、当該処理は上述までのいずれの実施例に係る画像認識装置(100A〜100D)に対しても適用することができる。
【0079】
車載用の画像認識装置においては、カメラ1Aの撮像した画像のフレーム領域内に、必ずしもターゲット認識処理を行う必要のない領域(以下、「画像認識不要領域」という)が存在する。例えば、自車両50におけるボンネットの像や上空の像が映し出される部分の領域はそもそもターゲットが存在しないと考えられる。そのため、画像認識装置100Aでは、上記した画像認識不要領域に対しては、その領域内にターゲットが存在するのか
否かの検出を行わないことにした。
【0080】
以下、画像切り出し処理に係る具体的な処理内容について説明する。図13は、本実施例に係る画像認識処理のフローを示すフローチャートである。なお、図5で説明した処理フローにおいて同じ内容の処理が行われるステップについては、共通の符号を付すことでその説明を省略するものとする。
【0081】
ステップS101、S102の処理が終了すると、ステップS201に進む。ステップS201において、CPU21はECU53から車両50の車両情報を取得する。ここで、車両情報とは、車両50の諸寸法、形状等(車高、車幅、ボンネットの形状やその寸法、位置等)を含む情報である。
【0082】
ステップS202において、CPU21は、ステップS201で取得した車両情報をカメラ制御部15に受け渡す。言い換えると、本ステップでは、カメラ制御部15が車両情報をCPU21から取得する。
【0083】
図14は、カメラが取得した元画像データにおけるフレーム領域(フレームの全領域)Aaofを表示したものである。図中には、フレーム下部領域Abof、フレーム上部領域Atof、前段処理対象領域Atgt等が示されている。また、同図の符号Pohは地平線位置を示したものである。
【0084】
カメラ1Aの車室内での取り付け位置や、取り付け角度などは予め決まっているため、上述した車両情報に基づいて、車両50のボンネットの像が主に写り出されるフレーム下部領域Abofや、上空の像が主に映し出されるフレーム上部領域Atofを割り出すことができる。そこで、続くステップS203において、カメラ制御部15は、CPU21から取得した車両情報に基づいて、フレーム下部領域Abofおよびフレーム上部領域Atofを導出する。なお、図示のように、フレーム上部領域Atofは、地平線位置Pohに所定のマージン幅Mrgを加えた位置より上部の領域として求められる。
【0085】
ステップS204では、カメラ制御部15は、フレーム領域Aaofから画像認識不要領域(フレーム下部領域Abof、フレーム上部領域Atof)を除外した領域として前段処理対象領域Atgtを決定する。前段処理対象領域Atgtは、図14に示すように、フレーム下部領域Abofとフレーム上部領域Atofの間に挟まれている領域として求めることができる。本実施例では、前段処理対象領域Atgtを決定するカメラ制御部15が本発明の情報処理部に対応している。
【0086】
次に、ステップS205において、前段処理部16は、フレーム領域Aaofからカメラ制御部15が決定した前段処理対象領域Atgtだけ残し、その他の領域(画像認識不要領域)を元画像データから削除することで、画像切り出し処理を実施する。本ステップの処理が終了すると、ステップS103に進み、元画像データの転送処理と並行して、画像切り出し処理後の元画像データに対して前段処理部16が前段処理を施す。その後の各ステップの処理は既述した通りである。
【0087】
以上述べた画像切り出し処理によれば、前段処理を施す領域を限定することができるため、フレーム領域Aaof全体に前段処理を行う場合に比べて、前段処理に要する時間(つまり、前段処理時間T2)をより短縮することができ、以ってトータル処理時間を一層短くすることが可能である。言い換えると、トータル処理時間の増大を伴わずに、元画像デに対する前段処理をより一層念入りに行うことができる。つまり、例えば画像切り出し処理を行わない場合と前段処理に費やす時間を変更せず、ノイズ低減処理に用いるフィルタを複数のパターン試みる等、前段処理の内容を充実させるようにしても良い。これによ
り、前段処理済み画像データに対して行われるターゲット認識処理に関するターゲットの認識精度を向上させることができる。
【0088】
(第一変形例)
次に、本実施例に係る第一変形例について説明する。上記の例では、画像認識不要領域を車両情報に基づいて決定したが、第一変形例では走行情報に基づいて決定する。例えば、自車両50の前方に他車両や歩行者(例えば、道路を横断する通行人)、落下物等が存在する場合であっても、これらターゲットの自車両50からの距離が過度に遠い場合や、逆に過度に近い場合には、以下の理由によりターゲットに関する情報を運転者に提供する必要がないと考えられる。
【0089】
例えば、ターゲットが車両50から過度に遠い場合には、双方の距離が適正距離となってから運転者にターゲットの存在を知らしめれば情報提供を行えば良いと考えられる。また、このように、ターゲットがまだ車両50から遠いうちから警報などを行うと、運転者に不快感を与えたり、真に運転者にとって知らせるべき重要な情報と、あまり重要でない情報とが錯綜する虞がある。なお、上記の適正距離とは、画像認識処理の結果に基づく情報提供を運転者に行った場合に、運転者がその情報内容を把握(理解)し、危険が差し迫っている場合にはその危険を回避するための操作をする時間を充分に確保可能な距離である。
【0090】
一方、ターゲットが車両50から過度に近い場合には、たとえターゲットの存在を運転者に知らしめたとしても、運転者がターゲットに接触するまでに上記回避操作を行うことが困難と考えられる。そこで、第一変形例においては、自車両50との距離が過度に遠い位置、又は近い位置のターゲットは、ターゲット認識処理に係る対象から外すことにした。
【0091】
図15は、第一変形例に係る画像認識処理のフローを示すフローチャートである。なお、図13と同じ内容のステップについては、共通の符号を付すことでその説明を省略するものとする。
【0092】
ステップS101、S102の処理が終了すると、ステップS301に進む。ステップS301において、CPU21は図示しない車速センサから車両50の走行情報を取得する。ECU53には、図示しない車速センサが配線接続されており、車両50の車速に対応する信号がECU53に入力されるようになっている。CPU21は、ECU53にアクセスすることで、走行情報としての車速を取得する。
【0093】
ステップS302において、CPU21は、ステップS301で取得した車両情報と走行情報を、カメラ制御部15に受け渡す。言い換えると、本ステップでは、カメラ制御部15が走行情報(車速)をCPU21から取得する。
【0094】
次に、ステップS303において、カメラ制御部15は、遠方除外領域Afofおよび近接除外領域Anofを導出する。図16は、カメラが取得した元画像データにおけるフレーム領域Aaofを表示したものであり、遠方除外領域Afofおよび近接除外領域Anofが示されている。
【0095】
近接除外領域Anof(所定の近接領域に対応)は、ターゲットに対する車両の到達時間が、車両を運転者が操作してターゲットを回避するのに要する所定の第一設定時間Ptm1以下になる領域である。一方、遠方除外領域Afofは、ターゲットに対する車両の到達時間が、上記第一設定時間Ptm1よりも長い時間として設定された所定の第二設定時間Ptm2以上になる領域であり、ターゲットが車両50から遠くにあるうちに警報な
どを行うことによって運転者に不快感を与えたり、情報の錯綜が起こることを回避する観点から定められている。
【0096】
ここで、車両50の車速が速いほど、遠方除外領域Afofがより狭い領域として、近接除外領域Anofがより広い領域として導出される。言い換えると、車両50の車速が遅いほど、遠方除外領域Afofがより広い領域として、近接除外領域Anofがより狭い領域として導出される。車両50の車速が速いほど、車両50からより離れた位置に存在するターゲットも運転者に報知する必要があるため、遠方除外領域Afofに相当する領域を狭くするようにした。一方、車両50にターゲットが近接する場合、車両50の車速が速いほどターゲットを回避することが難しくなるため、近接除外領域Anofについては車両50の車速が速いほど対応する領域を拡大させるようにした。
【0097】
ステップS304において、カメラ制御部15は、フレーム領域Aaofから画像認識不要領域(遠方除外領域Afof、近接除外領域Anof)を除外した領域として前段処理対象領域Atgtを決定する。尚、図16に示すように、前段処理対象領域Atgtは実質的に、遠方除外領域Afofおよび近接除外領域Anofの間に挟まれた部分の領域として求めることができる。本変形例では、前段処理対象領域Atgtを決定するカメラ制御部15が本発明の情報処理部に対応している。
【0098】
次に、ステップS305において、前段処理部16は、フレーム領域Aaofからカメラ制御部15が決定した前段処理対象領域Atgtだけ残し、その他の領域(画像認識不要領域)を削除することで、画像切り出し処理を実施する。本ステップの処理が終了すると、ステップS103に進み、元画像データの転送処理と並行して、画像切り出し処理後の元画像データに対して前段処理部16が前段処理を施す。その後の各ステップの処理は既述した通りである。
【0099】
(第二変形例)
次に、第二変形例を説明する。この場合、CPU21は、車両50の舵角センサ(図示せず)が検出するステアリングの操作角度を取得する。なお、上記舵角センサはECU53と電気的に接続されており、ステアリングの操作角度に対応する信号がECU53に入力されるようになっている。CPU21は、ECU53にアクセスすることで、ステアリングの操作角度を取得することができる。そして、CPU21は、ステアリングが基準角度よりも左に操作されている場合には、車両50の右側方に位置する領域に存在するターゲットを認識する必要がないため、その領域を画像認識不要領域に設定して、画像切り出し処理を実施しても良い。逆に、ステアリングが基準角度よりも右に操作されている場合には、車両50の左側方に位置する領域に存在するターゲットを認識する必要がないため、その領域を画像認識不要領域に設定して、画像切り出し処理を実施しても良い。
【0100】
(第三変形例)
図17は、実施例5の第三変形例に係る画像認識装置100Eの概略構成を示す図である。図示の画像認識装置100Eは、カメラ1Eおよび認識処理ユニット2Aを含んで構成されている。この認識処理ユニット2Aは、図3に示したものと共通のハード構成となっている。また、カメラ1Eは、第二メモリ17を備える点以外は図3に示したカメラ1Aとハード構成は同等である。
【0101】
本実施例では、直近のフレームへの画像認識結果(ターゲット認識処理の結果)に基づいて、フレーム領域Aaof内においてターゲットが存在する可能性の高い領域(以下、「ターゲット存在領域」という)を決定し、このターゲット存在領域内のコントラストを増大させる処理(以下、「コントラスト増大処理」という)を、前段処理の前に実施する。ここでは、上述した画像切り出し処理の実施後、前段処理の実施前にコントラスト増大
処理を実施する場合を例に説明するが、画像切り出し処理の実施を省略することも可能である。
【0102】
各フレームの画像データに対するターゲット認識処理が完了すると、認識されたターゲットが引き続き存在する可能性が高い領域の座標(以下、「ターゲット領域座標」という)が、CPU21、カメラ制御部15を経て、順次、第二メモリ17に書き込まれるようになっている。このターゲット領域座標は、例えばターゲット認識処理によって認識されたターゲットを囲む矩形枠等に囲まれる領域の座標として置き換えても良い。
【0103】
図示のように、第二メモリ17は前段処理部16に接続されている。前段処理部16は、元画像データに画像切り出し処理を施した後、直近(一サイクル前)のフレームに対応するターゲット領域座標を第二メモリ17から読み出すことで、ターゲット存在領域を取得する。次いで、前段処理部16は、取得したターゲット存在領域内におけるコントラストを増大させることでコントラスト増大処理を実施する。これによれば、先行する画像認識処理の結果に基づいてターゲットが存在する可能性の高い画面内の領域を予測し、その領域内のコントラストを強めておくことができるので、ターゲット認識処理に係るターゲットの認識精度を向上させることができる。
【0104】
尚、コントラスト増大処理の対象となるターゲットの設定は、ターゲット認識処理において検出する優先度が高い動的なターゲット(他車両や歩行者等)に限定して行っても良い。これによれば、ターゲット認識処理の実施に際して、動的なターゲットに係る認識精度を優先して高めることが可能である。なお、本実施例に係る処理内容、および第一乃至第三変形例に係る処理内容は適宜、組み合わせて実施することができる。
【0105】
以上、本発明の実施形態を説明したが、本発明に係る画像認識装置はこれらに限らず、可能な限りこれらの組合せを含むことができる。また、本発明の本旨を逸脱しない範囲内において上記した実施形態には種々の変更を加えてもよい。例えば、本実施形態に係る前段処理、ターゲット認識処理はASICによって行うようにしたが、CPU等によって実施されても良いのは勿論である。
【符号の説明】
【0106】
1A,1B,1C,1D・・・カメラ
2A,2B,2C,2D・・・認識処理ユニット
11・・・画像センサ
12・・・アンプ
13・・・バッファ
14・・・データ送信部
15・・・カメラ制御部
16・・・前段処理部
21・・・CPU
22・・・メモリ
24・・・GDC
25・・・データ受信部
26・・・ターゲット認識処理部
50・・・車両
51・・・表示モニタ
52・・・スピーカ
53・・・ECU
100A,100B,100C,100D・・・画像認識装置
【特許請求の範囲】
【請求項1】
車載されたカメラにより撮像された画像データへの画像認識処理の結果に基づき、運転者に対して情報提供を行う画像認識装置であって、
前記画像認識処理は、前記画像データに含まれる特定のターゲットを認識するターゲット認識処理と、該ターゲット認識処理によるターゲットの認識を補助するために該ターゲット認識処理に先行して行われる所定の前段処理とを含んでおり、
前記カメラは少なくとも、
画像データを生成する画像センサと、
前記画像センサが生成した画像データであって前記前段処理が施される前の画像データである元画像データに対して前記前段処理を施す前段処理部と、
を有する、画像認識装置。
【請求項2】
前記カメラは、前記画像センサが生成した前記元画像データを一時記憶するバッファ部を更に有し、
前記前段処理部は前記バッファ部における前記元画像データに対して前記前段処理を施す、請求項1に記載の画像認識装置。
【請求項3】
前記カメラとは別体の認識処理ユニットを更に備え、
前記カメラは、前記前段処理部が前記元画像データに前記前段処理を施した後の前段処理済み画像データを送信する送信部を更に有し、
前記認識処理ユニットは、前記カメラの前記送信部から転送される前記前段処理済み画像データを受信する受信部と、
前記受信部が受信した前記前段処理済み画像データを記憶するメモリ部と、
前記メモリ部に記憶された前記前段処理済み画像データに対して前記ターゲット認識処理を施すターゲット認識処理部と、
を有する、請求項1又は2に記載の画像認識装置。
【請求項4】
前記運転者に対して提供する情報のなかに、前記ターゲット認識処理部による前記ターゲットの認識結果が反映された画像表示が含まれる場合には、前記カメラの前記送信部から前記認識処理ユニットの前記受信部への前記元画像データの転送処理と、前記カメラにおける前記前段処理部での前記前段処理とが、並行して行われる、請求項3に記載の画像認識装置。
【請求項5】
前記元画像データの転送処理と前記前段処理部での前記前段処理が同時に開始される、請求項4に記載の画像認識装置。
【請求項6】
前記運転者に対して提供する情報のなかに、前記ターゲット認識処理部による前記ターゲットの認識結果が反映された画像表示が含まれない場合には、前記カメラの前記送信部から前記認識処理ユニットの前記受信部への前記元画像データの転送は行わず、前記前段処理済み画像データを前記カメラの前記送信部から前記認識処理ユニットの前記受信部へと転送する、請求項3に記載の画像認識装置。
【請求項7】
前記カメラは、前記前段処理済み画像データに対して前記ターゲット認識処理を施すターゲット認識処理部を更に有する、請求項1又は2に記載の画像認識装置。
【請求項8】
前記前段処理部は、前記元画像データに対し前記前段処理を施す前に、該元画像データのフレーム領域から該前段処理を施す対象となる前段処理対象領域を限定する画像切り出し処理を施す、請求項1から7のいずれか一項に記載の画像認識装置。
【請求項9】
自車両の走行状態に関する走行情報、および車両情報のうち少なくともいずれか一方を取得し、取得した情報に基づいて、前記前段処理部が前記前段処理を施す対象とする前段処理対象領域を決定する情報処理部を、更に備える、請求項8に記載の画像認識装置。
【請求項1】
車載されたカメラにより撮像された画像データへの画像認識処理の結果に基づき、運転者に対して情報提供を行う画像認識装置であって、
前記画像認識処理は、前記画像データに含まれる特定のターゲットを認識するターゲット認識処理と、該ターゲット認識処理によるターゲットの認識を補助するために該ターゲット認識処理に先行して行われる所定の前段処理とを含んでおり、
前記カメラは少なくとも、
画像データを生成する画像センサと、
前記画像センサが生成した画像データであって前記前段処理が施される前の画像データである元画像データに対して前記前段処理を施す前段処理部と、
を有する、画像認識装置。
【請求項2】
前記カメラは、前記画像センサが生成した前記元画像データを一時記憶するバッファ部を更に有し、
前記前段処理部は前記バッファ部における前記元画像データに対して前記前段処理を施す、請求項1に記載の画像認識装置。
【請求項3】
前記カメラとは別体の認識処理ユニットを更に備え、
前記カメラは、前記前段処理部が前記元画像データに前記前段処理を施した後の前段処理済み画像データを送信する送信部を更に有し、
前記認識処理ユニットは、前記カメラの前記送信部から転送される前記前段処理済み画像データを受信する受信部と、
前記受信部が受信した前記前段処理済み画像データを記憶するメモリ部と、
前記メモリ部に記憶された前記前段処理済み画像データに対して前記ターゲット認識処理を施すターゲット認識処理部と、
を有する、請求項1又は2に記載の画像認識装置。
【請求項4】
前記運転者に対して提供する情報のなかに、前記ターゲット認識処理部による前記ターゲットの認識結果が反映された画像表示が含まれる場合には、前記カメラの前記送信部から前記認識処理ユニットの前記受信部への前記元画像データの転送処理と、前記カメラにおける前記前段処理部での前記前段処理とが、並行して行われる、請求項3に記載の画像認識装置。
【請求項5】
前記元画像データの転送処理と前記前段処理部での前記前段処理が同時に開始される、請求項4に記載の画像認識装置。
【請求項6】
前記運転者に対して提供する情報のなかに、前記ターゲット認識処理部による前記ターゲットの認識結果が反映された画像表示が含まれない場合には、前記カメラの前記送信部から前記認識処理ユニットの前記受信部への前記元画像データの転送は行わず、前記前段処理済み画像データを前記カメラの前記送信部から前記認識処理ユニットの前記受信部へと転送する、請求項3に記載の画像認識装置。
【請求項7】
前記カメラは、前記前段処理済み画像データに対して前記ターゲット認識処理を施すターゲット認識処理部を更に有する、請求項1又は2に記載の画像認識装置。
【請求項8】
前記前段処理部は、前記元画像データに対し前記前段処理を施す前に、該元画像データのフレーム領域から該前段処理を施す対象となる前段処理対象領域を限定する画像切り出し処理を施す、請求項1から7のいずれか一項に記載の画像認識装置。
【請求項9】
自車両の走行状態に関する走行情報、および車両情報のうち少なくともいずれか一方を取得し、取得した情報に基づいて、前記前段処理部が前記前段処理を施す対象とする前段処理対象領域を決定する情報処理部を、更に備える、請求項8に記載の画像認識装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【公開番号】特開2012−120088(P2012−120088A)
【公開日】平成24年6月21日(2012.6.21)
【国際特許分類】
【出願番号】特願2010−270298(P2010−270298)
【出願日】平成22年12月3日(2010.12.3)
【出願人】(000237592)富士通テン株式会社 (3,383)
【Fターム(参考)】
【公開日】平成24年6月21日(2012.6.21)
【国際特許分類】
【出願日】平成22年12月3日(2010.12.3)
【出願人】(000237592)富士通テン株式会社 (3,383)
【Fターム(参考)】
[ Back to top ]