半導体集積回路およびその動作方法
【課題】道路白線の近傍を白い車両が走行している場合等において、道路白線の位置認識精度の低下を軽減する。
【解決手段】半導体集積回路１は、特に３次元画像処理機能１４を具備する。映像入力装置１０は、カメラ２で撮影される車両前方空間の映像信号を画像メモリ３に格納する。３次元画像処理機能１４は画像メモリ３の前方空間の３次元遠近画像を平面視２次元画像に変換して、画像メモリ３に格納する。画像処理ユニット１１、１２は、画像メモリ３の平面視２次元画像の１フレームの濃度累積処理により道路白線を認識する。道路白線の認識後、表示装置４の画面に表示される表示画像データに認識された前記道路白線としての表示直線を描画する。映像出力装置１３は、表示直線が描画された画像メモリ３の表示画像データを、表示装置４の画面に表示する。
【解決手段】半導体集積回路１は、特に３次元画像処理機能１４を具備する。映像入力装置１０は、カメラ２で撮影される車両前方空間の映像信号を画像メモリ３に格納する。３次元画像処理機能１４は画像メモリ３の前方空間の３次元遠近画像を平面視２次元画像に変換して、画像メモリ３に格納する。画像処理ユニット１１、１２は、画像メモリ３の平面視２次元画像の１フレームの濃度累積処理により道路白線を認識する。道路白線の認識後、表示装置４の画面に表示される表示画像データに認識された前記道路白線としての表示直線を描画する。映像出力装置１３は、表示直線が描画された画像メモリ３の表示画像データを、表示装置４の画面に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車に搭載可能な半導体集積回路およびその動作方法に関し、特に道路白線の近傍を白い車両が走行している場合等において、道路白線の位置認識精度の低下を軽減するのに有効な技術に関するものである。
【背景技術】
【０００２】
自動車等の運転者の判断操作の補助、全面的な自動運転等を目的として、従来から種々の走行路検出装置が提案されている。走行路検出装置の基本的な機能は、走行路面の画像を採取して、画像処理して道路白線の部分を際立てさせて、路面画像の座標系を使用して路面画像上の白線の位置を表示するものである。
【０００３】
下記特許文献１には、従来の道路白線認識装置では画像処理速度が遅く道路白線の認識に基づいて何らかの制御を実行しても適切な制御とならないと言う問題を解決するために、車速センサとヨーレイトセンサとの検出結果によって画像情報処理手段によって認識された道路白線認識情報を補正することが記載されている。尚、ヨーレイト(Yaw Rate)は、コーナリング中の自動車を真上から観測した際の車両の旋回方向への回転角の変化速度である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−２４３３２６号 公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明者等は本発明に先立って、車両前方カメラ情報から白線を認識する車載用半導体集積回路の開発に従事した。
【０００６】
本発明に先立って本発明者等は、上記非特許文献１に記載された技術に関して検討を行った。この技術によれば、カメラは車両の走行方向の道路を撮影して、撮影した画像を電子制御ユニット(ＥＣＵ)の画像処理手段に出力する。カメラでは遠近画像が撮影されるので、画像処理手段は画像処理によって遠近画像を平面視２次元画像に変換する。しかし、画像処理手段による処理時間が長くかかるので、この間に車両の移動や姿勢変化を生じると、画像処理手段から出力される道路白線認識情報は画像取得時点と異なるものとなる。従って、車速センサで検出された車速とヨーレイトセンサで検出されたヨーレイトとを算出手段に供給して車両の移動量と姿勢変化量とを算出して、画像処理手段で認識された道路白線位置に対して車両の移動量と姿勢変化量とに基づいて補正手段にて補正を行うものである。
【０００７】
しかし、本発明者等による検討によって、しかしながら上記非特許文献１に記載の技術では、車速センサやヨーレイトセンサの検出精度の問題が解決できないばかりか、移動量と姿勢変化量とに基づく補正処理のためのソフトプログラムの開発が困難であると言う問題が明らかとされた。また更にこのソフトプログラムの開発がされたとしても、プログラム制御が複雑であるので、補正手段での補正処理に時間が必要となって、やはり適切な制御とならないと言う問題も、本発明者等による検討によって明らかとされた。
【０００８】
また更に、本発明者等による検討によって、本発明に先立って検討された道路白線認識装置や走行路検出装置では、道路白線の近傍を白い車両が走行している場合には、道路白線の位置認識精度が低下すると言う問題が明らかとされた。
【０００９】
図１は、本発明に先立って本発明者等によって検討された車載用半導体集積回路の構成を示す図である。
【００１０】
図１に示す車載用半導体集積回路は、車両前方カメラ情報から白線を認識する機能を有するものである。図１に示すように、車載用半導体集積回路１は、車載カメラ２と画像メモリ３と表示装置４に電気的に接続可能とされ、車載用半導体集積回路１は、映像入力装置１０、画像処理ユニット１１、中央演算処理装置１２、映像出力装置１３を有して、画像処理ユニット１１は画像処理装置１１０と濃度累積メモリ１１１とを含んでいる。
【００１１】
図２は、図１に示した本発明に先立って本発明者等によって検討された車載用半導体集積回路による白線認識処理のフローを示す図である。
【００１２】
図２の最初に１フレーム分の画像の処理が開始されると、ステップ１で車両の前方空間は車載カメラ２によって撮像され、撮像された映像信号は車載用半導体集積回路１の映像入力装置１０に供給される。
【００１３】
従って次のステップ２で、映像入力装置１０は映像信号を受信した後、輝度信号Ｙと色差信号Ｕ(＝Ｙ−Ｂ)、Ｖ(＝Ｙ−Ｒ)とによるカラー画像もしくは白黒のグレースケール等の任意の画像データを生成して、車載用半導体集積回路１の外部に接続された画像メモリ３に格納する。
【００１４】
次のステップ３で、映像入力装置１０が1フレーム分の画像取込みを完了すると、中央演算処理装置１２に割り込み信号を送信する。すると割り込み信号を受け取った中央演算処理装置１２は、ステップ４で取り込まれた画像に対する白線認識の処理を開始する。次のステップ５で、中央演算処理装置１２は、画像処理ユニット１１に対してステップ４で取り込まれた遠近画像で一定の角度の直線に沿って濃度累積処理を開始するようレジスタ設定を実行する。濃度累積処理は、遠近画像の内部の一定の角度の直線に沿って、画素の輝度の統計分布を獲得する処理を意味するものである。
【００１５】
ステップ６では、画像処理ユニット１１の画像処理装置１１０は、画像メモリ３から遠近画像を読み出し、遠近画像の一定の角度の直線に沿った各画素の輝度分布を算出する。その後、画像処理ユニット１１の濃度累積メモリ１１１の対応する番地に、一定の角度の直線に沿った各画素の輝度分布が格納される。
【００１６】
図３は、図２に示す本発明に先立って本発明者等によって検討された白線認識処理のフローのステップ６で実行される濃度累積処理の様子を示す図である。
【００１７】
図３に示すように、車載カメラ２によって撮像された遠近画像３０で、一定の角度θの直線Ｌに沿った各画素の輝度分布が測定されることができる。直線Ｌは、Ｘ軸でのＸ切辺もしくはＹ軸でのＹ切辺と角度θとによって規定されることが可能となる。従って、遠近画像３０での濃度累積処理は、Ｘ軸でのＸ切辺またはＹ軸でのＹ切辺を最小値から最大値まで変化させ、角度θを最小値から最大値まで変化させることによって、遠近画像３０の全ての直線に沿った全画素の輝度分布が測定されることが可能となる。
【００１８】
このようにしてステップ６における1フレーム分の濃度累積処理が終了すると、次のステップ７で、画像認識処理装置１１０は動作終了を示す割り込み信号を中央演算処理装置１２に送信する。すると、割り込み信号を受信した中央演算処理装置１２は更に次のステップ８で、濃度累積メモリ１１１から測定結果を順次に読み出して、全ての測定結果の中で高い輝度の画素が多数存在する最高累積濃度の濃度累積メモリ１１１の番地を記録する。
【００１９】
ステップ８Ａでは、所定範囲の角度θの処理が終了したことを中央演算処理装置１２が確認すると、次のステップ９に移行して、全ての測定結果の中で高い輝度の画素が多数存在する最高累積濃度の直線を白線として認識して、画像メモリ３の遠近画像に対して白線としての直線を描画する。
【００２０】
次のステップ１０では、映像出力装置１３は、白線としての直線が描画された遠近画像である車両の前方映像を表示装置４に出力する。
【００２１】
しかし、図２に示す本発明に先立って検討された白線認識処理のフローでは、道路白線の近傍を白い車両が走行している場合には、道路白線の位置認識精度が低下すると言う問題があることが、本発明者等による検討によって明らかとされたものである。
【００２２】
図４は、図２に示した本発明に先立って検討された白線認識処理のフローでは、道路白線の近傍を白い車両が走行している場合には、道路白線の位置認識精度が低下することを説明する図である。
【００２３】
図４に示すように、車載カメラ２によって撮像された車両前方画像は遠近画像となっているので、車載カメラで撮像された車両前方画像には一定のパースペクティブ(perspective：遠近法)がかかっており、画像の上では手前の白線Ｌｎは面積が大きく、遠方の白線Ｌｆは面積が小さい。そのため、遠方にある白線Ｌｆの断片は累積濃度に寄与する率が小さく、また、手前にある白線Ｌｎの断片は面積が大きい。従って、遠方にある白線Ｌｆを横切る直線が少ないのに対して、手前にある白線Ｌｎを横切る直線が多くなる。その結果、遠方の白線Ｌｆの近くに白い車両等の物体Ｗが存在した場合には、高い輝度の画素が多数存在する最高累積濃度のピークがずれることになる。その結果、正確な白線位置Ａから物体Ｗの方向にずれた方向Ｂに、白線認識誤差が生じるものとなる。
【００２４】
本発明は、以上のような本発明に先立った本発明者等による検討の結果、なされたものである。
【００２５】
従って、本発明の目的とするところは、道路白線の近傍を白い車両が走行している場合等において、道路白線の位置認識精度の低下を軽減することにある。
【００２６】
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【００２７】
本願において開示される発明のうちの代表的なものについて簡単に説明すれば下記のとおりである。
【００２８】
すなわち、本発明の代表的な実施の形態は、映像入力装置(１０)と画像処理ユニット(１１、１２)と映像出力装置(１３)とを具備する半導体集積回路(１)である。
【００２９】
前記映像入力装置(１０)は車載カメラ(２)と接続され、前記カメラによって撮影される車両の前方空間の映像信号が供給され、前記映像信号を画像メモリ(３)に格納する。
【００３０】
前記画像処理ユニット(１１、１２)は、前記画像メモリ(３)に格納された前記映像信号に基づいて１フレームでの直線上の画素の輝度分布の獲得による濃度累積処理によって、前記１フレームに含まれる道路白線を認識する。
【００３１】
前記画像処理ユニット(１１、１２)は、前記道路白線を認識した後、前記映像出力装置(１３)によって表示装置(４)の画面に表示される前記画像メモリ(３)の表示画像データに認識された前記道路白線としての表示直線を描画する。
【００３２】
前記映像出力装置(１３)は、前記表示直線が描画された前記画像メモリ(３)の前記表示画像データを、前記表示装置(４)の前記画面に表示する。
【００３３】
前記半導体集積回路(１)は、前記画像メモリ(３)に格納された前記前方空間の前記映像信号の３次元遠近画像を平面視２次元画像に変換して、当該平面視２次元画像を前記画像メモリ(３)に格納する３次元画像処理機能(１４)を更に具備する。
【００３４】
前記画像処理ユニット(１１、１２)は、前記３次元画像処理機能(１４)によって変換され前記画像メモリ(３)に格納された前記平面視２次元画像で構成される前記１フレームでの前記濃度累積処理によって前記１フレームに含まれる道路白線を認識可能することを特徴とするものである(図５、図８、図９参照)。
【発明の効果】
【００３５】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記の通りである。
【００３６】
すなわち、本発明によれば、道路白線の近傍を白い車両が走行している場合等において、道路白線の位置認識精度の低下を軽減することができる。
【図面の簡単な説明】
【００３７】
【図１】図１は、本発明に先立って本発明者等によって検討された車載用半導体集積回路の構成を示す図である。
【図２】図２は、図１に示した本発明に先立って本発明者等によって検討された車載用半導体集積回路による白線認識処理のフローを示す図である。
【図３】図３は、図２に示す本発明に先立って本発明者等によって検討された白線認識処理のフローのステップ６で実行される濃度累積処理の様子を示す図である。
【図４】図４は、図２に示した本発明に先立って検討された白線認識処理のフローでは、道路白線の近傍を白い車両が走行している場合には、道路白線の位置認識精度が低下することを説明する図である。
【図５】図５は、本発明の実施の形態１による車載用半導体集積回路１の構成を示す図である。
【図６】図６は、図５に示した本発明の実施の形態１による車載用半導体集積回路１と車載カメラ２とを搭載した車両の走行中の撮影範囲を断面方向と平面方向とで示す図である。
【図７】図７は、図５に示した本発明の実施の形態１による車載用半導体集積回路１による白線認識処理のフローを示す図である。
【図８】図８は、図５に示した本発明の実施の形態１による車載用半導体集積回路１による白線認識処理のフローのステップ３で実行される遠近画像の逆パースペクティブの補正処理の様子を示す図である。
【図９】図９は、図５に示した本発明の実施の形態１による車載用半導体集積回路１による白線認識処理のフローでは、道路白線の近傍を白い車両が走行している場合等において道路白線の位置認識精度が低下しないことを説明する図である。
【図１０】図１０は、図５に示す本発明の実施の形態１の車載用半導体集積回路１による２本の白線間スペース測定機能によって前方路面の勾配検出が可能となることを説明する図である。
【図１１】図１１は、図１０で説明した図５に示す本発明の実施の形態１による車載用半導体集積回路１による前方路面の勾配検出機能を利用することで、車載用半導体集積回路１による前方路面勾配の変化に対して車両のエンジンやモータを自動制御することも可能となることを説明する図である。
【図１２】図１２は、本発明の実施の形態２による車載用半導体集積回路１の構成を示す図である。
【図１３】図１３は、図１２に示した本発明の実施の形態２による車載用半導体集積回路１を搭載した車両が２本の白線間の略中央の走行中の様子を平面で示す図である。
【図１４】図１４は、図１２に示した本発明の実施の形態２による車載用半導体集積回路１を搭載した車両が２本の白線間の右寄りを走行中の様子を平面で示す図である。
【図１５】図１５は、図１２に示した本発明の実施の形態２による車載用半導体集積回路１を搭載した車両が２本の白線の右側の１本の白線の左寄りを走行中の様子を平面で示す図である。
【図１６】図１６は、図１２に示した本発明の実施の形態２による車載用半導体集積回路１を搭載した車両が図１３に示すよう２本の白線間の略中央の走行中の場合に、２本の白線を認識するための白線認識処理の濃度累積処理の範囲を示す図である。
【図１７】図１７は、図１２に示した本発明の実施の形態２による車載用半導体集積回路１を搭載した車両が図１４に示すよう２本の白線間の右寄りを走行中の場合に、２本の白線を認識するための白線認識処理の濃度累積処理の範囲を示す図である。
【図１８】図１８は、図１２に示した本発明の実施の形態２による車載用半導体集積回路１を搭載した車両が図１４に示すよう２本の白線間の左寄りを走行中の場合に、２本の白線を認識するための白線認識処理の濃度累積処理の範囲を示す図である。
【発明を実施するための形態】
【００３８】
１．実施の形態の概要
まず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。
【００３９】
〔１〕本発明の代表的な実施の形態は、映像入力装置(１０)と画像処理ユニット(１１、１２)と映像出力装置(１３)とを具備する半導体集積回路(１)である。
【００４０】
前記映像入力装置(１０)はカメラ(２)と接続可能とされて、前記カメラによって撮影される車両の前方空間の映像信号が供給可能とされ、前記映像信号を画像メモリ(３)に格納可能とされる。
【００４１】
前記画像処理ユニット(１１、１２)は、前記画像メモリ(３)に格納された前記映像信号に基づいて１フレームでの直線上の画素の輝度分布の獲得による濃度累積処理によって、前記１フレームに含まれる道路白線を認識可能とされる。
【００４２】
前記画像処理ユニット(１１、１２)は、前記道路白線を認識した後、前記映像出力装置(１３)によって表示装置(４)の画面に表示される前記画像メモリ(３)の表示画像データに認識された前記道路白線としての表示直線を描画可能とされる。
【００４３】
前記映像出力装置(１３)は、前記表示直線が描画された前記画像メモリ(３)の前記表示画像データを、前記表示装置(４)の前記画面に表示可能とされる。
【００４４】
前記半導体集積回路(１)は、前記画像メモリ(３)に格納された前記前方空間の前記映像信号の３次元遠近画像を平面視２次元画像に変換して、当該平面視２次元画像を前記画像メモリ(３)に格納する３次元画像処理機能(１４)を更に具備する。
【００４５】
前記画像処理ユニット(１１、１２)は、前記３次元画像処理機能(１４)によって変換され前記画像メモリ(３)に格納された前記平面視２次元画像で構成される前記１フレームでの前記濃度累積処理によって前記１フレームに含まれる道路白線を認識可能とされたことを特徴とするものである(図５、図８、図９参照)。
【００４６】
前記実施の形態によれば、道路白線の近傍を白い車両が走行している場合等において、道路白線の位置認識精度の低下を軽減することができる。
【００４７】
好適な実施の形態は、前記画像処理ユニット(１１、１２)は、前記平面視２次元画像の手前の２本の白線間スペース(ＬＳｎ)と遠方の２本の白線間スペース(ＬＳｆ)とを比較することによって、前記車両の前記前方空間の路面の勾配を判断可能とされたことを特徴とするものである(図１０参照)。
【００４８】
他の好適な実施の形態は、前記路面の前記勾配に関する情報は、前記車両のスピードを制御するスピード制御装置(ＥＣＵ)に供給可能とされたことを特徴とするものである(図１０参照)。
【００４９】
更に他の好適な実施の形態は、前記３次元画像処理機能(１４)はハードウェアで構成された３Ｄグラフィック処理装置であることを特徴とするものである(図５参照)。
【００５０】
より好適な実施の形態による前記半導体集積回路(１)は、左面画像処理装置(１５)と右面画像処理装置(１６)とを更に具備する。
【００５１】
前記左面画像処理装置(１５)は前記車両の左方空間の映像信号を処理可能とされ、前記右面画像処理装置(１６)は前記車両の右方空間の映像信号を処理可能とされる(図１２参照)。
【００５２】
前記画像処理ユニット(１１、１２、１８)は、前記左面画像処理装置(１５)の左方処理情報(ＬＬ)と前記右面画像処理装置(１６)の左方処理情報(ＬＲ)とから、前記画像処理ユニット(１１、１２)によって認識される２本の白線に対しての前記車両の位置を判断可能とされたことを特徴とするものである(図１３、図１４、図１５参照)。
【００５３】
他のより好適な実施の形態は、前記画像処理ユニット(１１、１２、１８)によって判断された前記車両の位置の情報に基づき、前記２本の白線の認識処理のための前記画像処理ユニット(１１、１２)による前記濃度累積処理の範囲が制限されることを特徴とするものである(図１６、図１７、図１８参照)。
【００５４】
具体的な実施の形態は、前記左面画像処理装置(１５)の前記左方処理情報(ＬＬ)と前記右面画像処理装置(１６)の前記左方処理情報(ＬＲ)とのいずれかが前記画像処理ユニット(１１、１２)によって認識される前記２本の白線のいずれか一本と前記車両との間の距離が小さくなり過ぎることに応答して、前記画像処理ユニット(１１、１２、１８)は警報の生成を指示するものであることを特徴とするものである(図１２参照)。
【００５５】
より具体的な実施の形態は、前記車両の方向指示器が操作されたことを示す操作信号が前記半導体集積回路(１)に供給された場合には、前記画像処理ユニット(１１、１２、１８)は前記警報の生成を禁止することを特徴とするものである(図１２参照)。
【００５６】
最も具体的な実施の形態は、前記画像メモリ(３)は前記半導体集積回路(１)の半導体チップとは別のチップに集積化されたダイナミックランダムアクセスメモリであることを特徴とするものである。
【００５７】
他の最も具体的な実施の形態は、前記画像メモリ(３)は前記半導体集積回路(１)の半導体チップに集積化されたダイナミックランダムアクセスメモリであることを特徴とするものである。
【００５８】
〔２〕本発明の別の観点の代表的な実施の形態は、映像入力装置(１０)と画像処理ユニット(１１、１２)と映像出力装置(１３)とを具備する半導体集積回路(１)の動作方法である。
【００５９】
前記映像入力装置(１０)はカメラ(２)と接続可能とされて、前記カメラによって撮影される車両の前方空間の映像信号が供給可能とされ、前記映像信号を画像メモリ(３)に格納可能とされる。
【００６０】
前記画像処理ユニット(１１、１２)は、前記画像メモリ(３)に格納された前記映像信号に基づいて１フレームでの直線上の画素の輝度分布の獲得による濃度累積処理によって、前記１フレームに含まれる道路白線を認識可能とされる。
【００６１】
前記画像処理ユニット(１１、１２)は、前記道路白線を認識した後、前記映像出力装置(１３)によって表示装置(４)の画面に表示される前記画像メモリ(３)の表示画像データに認識された前記道路白線としての表示直線を描画可能とされる。
【００６２】
前記映像出力装置(１３)は、前記表示直線が描画された前記画像メモリ(３)の前記表示画像データを、前記表示装置(４)の前記画面に表示可能とされる。
【００６３】
前記半導体集積回路(１)は、前記画像メモリ(３)に格納された前記前方空間の前記映像信号の３次元遠近画像を平面視２次元画像に変換して、当該平面視２次元画像を前記画像メモリ(３)に格納する３次元画像処理機能(１４)を更に具備する。
【００６４】
前記画像処理ユニット(１１、１２)は、前記３次元画像処理機能(１４)によって変換され前記画像メモリ(３)に格納された前記平面視２次元画像で構成される前記１フレームでの前記濃度累積処理によって前記１フレームに含まれる道路白線を認識可能とされる。
【００６５】
前記動作方法は、
前記カメラによって撮影された前記車両の前方空間の前記映像信号を前記画像処理ユニット(１１、１２)によって前記画像メモリ(３)に格納するステップ(ＳＴＥＰ２)と、
前記画像メモリ(３)に格納された前記前方空間の前記映像信号の前記３次元遠近画像を前記３次元画像処理機能(１４)によって前記平面視２次元画像に変換して、前記平面視２次元画像を前記画像メモリ(３)に格納するステップ(ＳＴＥＰ３)と、
前記３次元画像処理機能(１４)によって変換され前記画像メモリ(３)に格納された前記平面視２次元画像で構成される前記１フレームでの前記画像処理ユニット(１１、１２)による前記濃度累積処理によって前記１フレームに含まれる前記道路白線を認識するステップ(ＳＴＥＰ４)と、
前記道路白線を認識した後、前記映像出力装置(１３)によって表示装置(４)の画面に表示される前記画像メモリ(３)の表示画像データに認識された前記道路白線としての前記表示直線を前記画像処理ユニット(１１、１２)によって描画するステップ(ＳＴＥＰ５)と、
前記表示直線が描画された前記画像メモリ(３)の前記表示画像データを、前記映像出力装置(１３)によって前記表示装置(４)の前記画面に表示するステップ(ＳＴＥＰ６)とを、
含むことを特徴とするものである(図７参照)。
【００６６】
前記実施の形態によれば、道路白線の近傍を白い車両が走行している場合等において、道路白線の位置認識精度の低下を軽減することができる。
【００６７】
２．実施の形態の詳細
次に、実施の形態について更に詳述する。尚、発明を実施するための最良の形態を説明するための全図において、前記の図と同一の機能を有する部品には同一の符号を付して、その繰り返しの説明は省略する。
【００６８】
［実施の形態１］
《車載用半導体集積回路の構成》
図５は、本発明の実施の形態１による車載用半導体集積回路１の構成を示す図である。
【００６９】
図５に示す本発明の実施の形態１による車載用半導体集積回路１は、図１に示した本発明に先立って本発明者等によって検討された車載用半導体集積回路１と同様に、車載カメラ２と画像メモリ３と表示装置４に電気的に接続可能とされ、車載用半導体集積回路１は、映像入力装置１０、画像処理ユニット１１、中央演算処理装置１２、映像出力装置１３を有して、画像処理ユニット１１は画像処理装置１１０と濃度累積メモリ１１１とを含んでいる。
【００７０】
図５に示す本発明の実施の形態１による車載用半導体集積回路１が、図１に示した本発明に先立って本発明者等によって検討された車載用半導体集積回路１と相違するのは、次の点である。
【００７１】
すなわち、図５に示す本発明の実施の形態１による車載用半導体集積回路１には、中央演算処理装置１２と接続され、画像メモリ３と接続可能に構成された３Ｄグラフィック処理装置１４が追加されている。３Ｄグラフィック処理装置１４は、中央演算処理装置１２よりのレジスタ設定に応答して、画像メモリ３に格納された遠近画像の逆パースペクティブ(逆遠近)の補正処理を実行することによって平面視２次元画像を生成する。従って、３Ｄグラフィック処理装置１４は、３次元画像(遠近画像)から平面視２次元画像(非遠近画像)を生成する機能を有するものである。
【００７２】
尚、画像メモリ３は同期型ダイナミックランダムアクセスメモリ(ＳＤＲＡＭ：Synchronous Dynamic Random Access Memory)によって構成される。また、映像出力装置１３と表示装置４とは、カーナビゲーションシステムで使用される映像出力装置と表示装置とを兼用使用することができる。また更に画像メモリ３は、カーナビゲーションシステムで使用される映像出力装置の表示情報を一時的に格納するためのバッファメモリを兼用使用することができる。
【００７３】
また、図５に示す車載用半導体集積回路１に追加された３Ｄグラフィック処理装置１４は、従来からカーナビゲーションシステムで使用されている３Ｄグラフィック処理装置と相違することに注意されたい。すなわち、カーナビゲーションシステムはＧＰＳ(全地球測位システム：Global Positioning System)やジャイロや車速パルス等の自立航法装置を利用して、自動車の運転中に現在位置や目的位置までの走行経路案内等の表示を行う電子装置である。ＧＰＳと自立航法装置を利用して現在位置の道路地図情報をＤＶＤ−ＲＯＭやＨＤＤ等の記憶装置から読み出して、読み出した２次元道路地図情報を３Ｄグラフィック処理装置によって遠近画像に変換して表示が行われるものである。このように、従来からカーナビゲーションシステムで使用されている３Ｄグラフィック処理装置は２次元地図情報から遠近画像への変換を実行するのに対して、図５に追加された３Ｄグラフィック処理装置１４は３次元画像(遠近画像)から平面視２次元画像(非遠近画像)を生成するものであり、両者の機能は基本的に相違している。
【００７４】
《車両の走行中の撮影範囲》
図６は、図５に示した本発明の実施の形態１による車載用半導体集積回路１と車載カメラ２とを搭載した車両の走行中の撮影範囲を断面方向と平面方向とで示す図である。
【００７５】
《白線認識処理のフロー》
図７は、図５に示した本発明の実施の形態１による車載用半導体集積回路１による白線認識処理のフローを示す図である。
【００７６】
図７の最初に１フレーム分の画像の処理が開始されると、ステップ１で車両の前方空間は車載カメラ２によって撮像され、撮像された映像信号は車載用半導体集積回路１の映像入力装置１０に供給される。
【００７７】
従って次のステップ２で、映像入力装置１０は映像信号を受信した後、輝度信号Ｙと色差信号Ｕ(＝Ｙ−Ｂ)、Ｖ(＝Ｙ−Ｒ)とによるカラー画像もしくは白黒のグレースケール等の任意の画像データを生成して、車載用半導体集積回路１の外部に接続された画像メモリ３に格納する。
【００７８】
次のステップ３で、映像入力装置１０が1フレーム分の画像取込みを完了すると、中央演算処理装置１２に割り込み信号を送信する。すると割り込み信号を受け取った中央演算処理装置１２は、３Ｄグラフィック処理装置１４へのレジスタ設定を実行する。このレジスタ設定に応答して、３Ｄグラフィック処理装置１４は、画像メモリ３に格納された遠近画像を読み出して、読み出した遠近画像の逆パースペクティブ(逆遠近)の補正処理を実行して平面視２次元画像を生成する。３Ｄグラフィック処理装置１４は、生成した平面視２次元画像を画像メモリ３に格納する。
【００７９】
次のステップ４で、３Ｄグラフィック処理装置１４は、平面視２次元画像の画像メモリ３への格納を割り込み信号として中央演算処理装置１２に送信する。すると割り込み信号を受け取った中央演算処理装置１２は、画像処理ユニット１１に対して白線認識の処理を指示する。その結果、画像処理ユニット１１は、画像メモリ３へ格納された非遠近の平面視２次元画像で一定の角度の直線に沿って濃度累積処理を開始するようレジスタ設定を実行する。濃度累積処理は、非遠近の平面視２次元画像の内部の一定の角度の直線に沿って、画素の輝度の統計分布を獲得する処理を意味するものである。
【００８０】
すると、画像処理ユニット１１の画像処理装置１１０は、画像メモリ３から非遠近の平面視２次元画像を読み出し、非遠近の平面視２次元画像の一定の角度の直線に沿った各画素の輝度分布を算出する。その後、画像処理ユニット１１の濃度累積メモリ１１１の対応する番地に、一定の角度の直線に沿った各画素の輝度分布が格納される。
【００８１】
このようにして1フレーム分の濃度累積処理が終了した後に、画像認識処理装置１１０は動作終了を示す割り込み信号を中央演算処理装置１２に送信する。すると割り込み信号を受信した中央演算処理装置１２は、濃度累積メモリ１１１から測定結果を順次に読み出して、全ての測定結果の中で高い輝度の画素が多数存在する最高累積濃度の濃度累積メモリ１１１の番地を記録する。
【００８２】
次のステップ５では、中央演算処理装置１２は全ての測定結果の中で高い輝度の画素が多数存在する最高累積濃度の直線を白線として認識して、画像メモリ３の遠近画像に対して白線としての直線を描画する。
【００８３】
次のステップ６では映像出力装置１３は、白線としての直線が描画された遠近画像である車両の前方映像を表示装置４に出力する。
【００８４】
《逆パースペクティブの補正処理》
図８は、図５に示した本発明の実施の形態１による車載用半導体集積回路１による白線認識処理のフローのステップ３で実行される遠近画像の逆パースペクティブの補正処理の様子を示す図である。
【００８５】
図８の上部には車両の前方空間は車載カメラ２によって撮像され画像メモリ３に格納された遠近画像が示され、図８の下部には３Ｄグラフィック処理装置１４による遠近画像の逆パースペクティブ補正処理により生成される平面視２次元画像が示されている。
【００８６】
《道路白線の位置認識精度》
図９は、図５に示した本発明の実施の形態１による車載用半導体集積回路１による白線認識処理のフローでは、道路白線の近傍を白い車両が走行している場合等において道路白線の位置認識精度が低下しないことを説明する図である。
【００８７】
図９に示すように、図７の白線認識処理のフローのステップ４では、画像メモリ３へ格納された非遠近の平面視２次元画像が使用される。従って、図９に示す非遠近の平面視２次元画像では、画像の上では手前の白線Ｌｎは面積と遠方の白線Ｌｆの面積とは同一である。そのため、遠方にある白線Ｌｆの断片の累積濃度の寄与率と手前の白線Ｌｎの断片の累積濃度の寄与率は、同一である。従って、遠方にある白線Ｌｆを横切る直線と手前にある白線Ｌｎを横切る直線とは、同一の数となる。その結果、遠方の白線Ｌｆの近くに白い車両等の物体Ｗが存在した場合等において、高い輝度の画素が多数存在する最高累積濃度のピークがずれることが軽減される。その結果、正確な白線位置Ａから物体Ｗの方向にずれた方向Ｂに、白線認識誤差が生じることが軽減されるものとなる。
【００８８】
《カーナビ遠近画像への白線追加》
図７で説明した白線認識処理フローのステップ４にて高精度で認識された白線は、ステップ５にて車載カメラ２によって撮影された画像メモリの遠近画像ではなくカーナビゲーションシステムの３Ｄグラフィック処理装置によって２次元地図情報から変換された遠近画像に白線として直線描画されることができる。この場合には、白線認識処理フローのステップ６で、映像出力装置１２は高精度で認識された白線が追加されたカーナビゲーションシステムによる遠近画像を表示装置４に出力するものである。
【００８９】
《前方路面の勾配検出機能》
図５に示す本発明の実施の形態１による車載用半導体集積回路１による白線認識機能を２本の白線間スペース測定に発展させることで、車載用半導体集積回路１による前方路面の勾配検出機能の実現も可能である。
【００９０】
図１０は、図５に示す本発明の実施の形態１の車載用半導体集積回路１による２本の白線間スペース測定機能によって前方路面の勾配検出が可能となることを説明する図である。
【００９１】
図１０は、図５に示した本発明の実施の形態１による車載用半導体集積回路１と車載カメラ２を搭載した車両が勾配路面の直前を走行中の様子を断面方向と平面方向とで示す図である。
【００９２】
図１０の上部には車両が上り勾配路面の直前を走行中に車載カメラ２によって上り勾配路面が撮像される様子が断面方向から示され、図１０の下部には車両が上り勾配路面の直前を走行中に車載カメラ２によって上り勾配路面が撮像される様子が平面方向から示されている。
【００９３】
図１０の上部に示すように、実際の上り勾配路面ＲＳを車載カメラ２によって撮影しても撮影された遠近画像では上り勾配路面が判別されないので、表示装置４には勾配の無い水平仮想画像路面ＶＳのように表示されてしまう。
【００９４】
図１０の下部に示すように、実際の上り勾配路面ＲＳでは手前の２本の白線間スペースＬＳｎと遠方の２本の白線間スペースＬＳｆとは同一の長さである。しかし、上り勾配路面ＲＳであるので、車載カメラ２と水平仮想画像路面ＶＳとの間の仮想距離よりも、車載カメラ２と実際の路面ＲＳとの間の距離が短いものとなる。従って、車載カメラ２によって撮影された遠近画像の３Ｄグラフィック処理装置１４による逆パースペクティブ補正処理によって生成される平面視２次元画像では、手前の２本の白線間スペースＬＳｎよりも遠方の２本の白線間スペースＬＳｆが長くなるものである。従って、図９に示す非遠近の平面視２次元画像にて、画面上部に表示される遠方の２本の白線間スペースＬＳｆと画面下部に表示される手前の２本の白線間スペースＬＳｎとを中央演算処理装置１２が比較することによって、車両前方の路面の勾配が判断されることが可能となる。
【００９５】
遠方の２本の白線間スペースＬＳｆが手前の２本の白線間スペースＬＳｎよりも長い場合には、中央演算処理装置１２は車両前方の路面が上り勾配であると判断する。遠方の２本の白線間スペースＬＳｆが手前の２本の白線間スペースＬＳｎと略等しい場合には、中央演算処理装置１２は車両前方の路面が略水平であると判断する。遠方の２本の白線間スペースＬＳｆが手前の２本の白線間スペースＬＳｎよりも短い場合には、中央演算処理装置１２は車両前方の路面が下り勾配であると判断する。
【００９６】
《面勾配の変化に対するスピード制御》
図１０で説明した図５に示す本発明の実施の形態１による車載用半導体集積回路１による前方路面の勾配検出機能を利用することで、車載用半導体集積回路１による前方路面勾配の変化に対して車両のエンジンやモータを自動制御することも可能である。
【００９７】
図１１は、図１０で説明した図５に示す本発明の実施の形態１による車載用半導体集積回路１による前方路面の勾配検出機能を利用することで、車載用半導体集積回路１による前方路面勾配の変化に対して車両のエンジンやモータを自動制御することも可能となることを説明する図である。
【００９８】
図１１に示すように車載用半導体集積回路１の前方路面の勾配検出情報信号がエンジン制御装置(ＥＣＵ)に供給されるので、ガソリン供給量が車両前方の路面勾配によって自動的に制御される。
【００９９】
車両前方の路面が上り勾配であると判断された場合には、車載用半導体集積回路１の前方路面の勾配検出情報信号によってガソリン供給量が増加され、車両のスピードが増加される。従って、この機能を利用することによって、高速道路の上り勾配で車両のスピードが減速することによる高速道路の渋滞の緩和が可能となる。車両前方の路面が下り勾配であると判断された場合には、車載用半導体集積回路１の前方路面の勾配検出情報信号によってガソリン供給量が減少され、エンジンブレーキが作動するので車両のスピードが減少される。従って、この機能を利用することによって、高速道路の下り勾配で車両のスピードが加速することによる高速道路の交通事故の低減が可能となる。
【０１００】
また、電気自動車やエンジンとモータの併用のハイブリッド車両の場合には、モータへの電気エネルギー供給量が車両前方の路面勾配によって自動的に制御されことによって、車両のスピードが制御可能となる。
【０１０１】
［実施の形態２］
《より好適な車載用半導体集積回路の構成》
図１２は、本発明の実施の形態２による車載用半導体集積回路１の構成を示す図である。
【０１０２】
図１２に示す本発明の実施の形態２による車載用半導体集積回路１は、図５に示す本発明の実施の形態１による車載用半導体集積回路１と同様に、車載カメラ２と画像メモリ３と表示装置４に電気的に接続可能とされ、車載用半導体集積回路１は、映像入力装置１０、画像処理ユニット１１、中央演算処理装置１２、映像出力装置１３を有して、画像処理ユニット１１は画像処理装置１１０と濃度累積メモリ１１１とを含んでいる。
【０１０３】
図１２に示す本発明の実施の形態２による車載用半導体集積回路１が、図５に示す本発明の実施の形態１による車載用半導体集積回路１と相違するのは、次の点である。
【０１０４】
すなわち、図１２に示す本発明の実施の形態２による車載用半導体集積回路１は、車両前方に搭載される車載カメラ２だけではなく、車両の左側と右側と後側とにそれぞれ搭載される左面カメラ２Ｌと右面カメラ２Ｒと後面カメラ２Ｂと電気的に接続可能とされている。更に、図１２に示す本発明の実施の形態２による車載用半導体集積回路１に、左面画像処理装置１５と右面画像処理装置１６と後面画像処理装置１７と自車位置判定装置１８とが追加されている。
【０１０５】
左面カメラ２Ｌと左面画像処理装置１５を使用して車両左側を撮影して表示装置４に車両左側の道路状況を把握して安全確認が可能となり、右面カメラ２Ｒと右面画像処理装置１６を使用して車両右側を撮影して表示装置４に車両右側の道路状況を把握して安全確認が可能となり、後面カメラ２Ｂと後面画像処理装置１７を使用して車両後側を撮影して表示装置４に車両後側の道路状況を把握して安全確認が可能となる。
【０１０６】
《濃度累積処理のデータ演算量の削減》
更に、図１２に示す本発明の実施の形態２による車載用半導体集積回路１では、左面画像処理装置１５と右面画像処理装置１６とに接続された自車位置判定装置１８による自車位置判定を利用して、白線認識処理のための濃度累積処理に際してのデータ演算量の削減が可能となる。すなわち、図１２に示す本発明の実施の形態２による車載用半導体集積回路１によれば、左面カメラ２Ｌと左面画像処理装置１５を使用して車両左側の白線と車両との左側距離の測定が可能となり、右面カメラ２Ｒと右面画像処理装置１６を使用して車両右側の白線と車両との右側距離の測定が可能となり、自車位置判定装置１８を使用して左側距離と右側距離との比較により自車が２本の白線間のどの位置に存在しているかを判定することが可能となる。
【０１０７】
図１３は、図１２に示した本発明の実施の形態２による車載用半導体集積回路１を搭載した車両が２本の白線間の略中央の走行中の様子を平面で示す図である。車両には、前面カメラ２と左面カメラ２Ｌと右面カメラ２Ｒと後面カメラ２Ｂとにそれぞれ対応するフロントカメラＦＣとレフトカメラＬＣとライトカメラＲＣとバックカメラＢＣとが搭載されている。図１２に示した本発明の実施の形態２による車載用半導体集積回路１によれば、自車位置判定装置１８を使用して左側距離ＬＬと右側距離ＬＲとが略等しく自車が２本の白線間の略中央の位置に存在していることを判定することが可能となる。
【０１０８】
図１６は、図１２に示した本発明の実施の形態２による車載用半導体集積回路１を搭載した車両が図１３に示すよう２本の白線間の略中央の走行中の場合に、２本の白線を認識するための白線認識処理の濃度累積処理の範囲を示す図である。
【０１０９】
図１６の上部に示すように、車載カメラ２によって撮像された車両の前方空間の遠近画像からも、車両が２本の白線間の略中央の走行中であることが理解される。図１６の下部に示したように、グラフィック処理装置１４により生成される平面視２次元画像で、左側の１本の白線認識処理の濃度累積処理の範囲と右側の１本の白線認識処理の濃度累積処理の範囲とは左右対称となることが理解される。それ以外の範囲は、白線認識処理の濃度累積処理の対象から削除されるので、２本の白線の白線認識処理の濃度累積処理に際してのデータ演算量の削減が可能となる。
【０１１０】
図１４は、図１２に示した本発明の実施の形態２による車載用半導体集積回路１を搭載した車両が２本の白線間の右寄りを走行中の様子を平面で示す図である。図１２に示した本発明の実施の形態２による車載用半導体集積回路１によれば、自車位置判定装置１８を使用して左側距離ＬＬよりも右側距離ＬＲが短く自車が２本の白線間の右寄りの位置に存在していることを判定することが可能となる。
【０１１１】
図１７は、図１２に示した本発明の実施の形態２による車載用半導体集積回路１を搭載した車両が図１４に示すよう２本の白線間の右寄りを走行中の場合に、２本の白線を認識するための白線認識処理の濃度累積処理の範囲を示す図である。
【０１１２】
図１７の上部に示すように、車載カメラ２によって撮像された車両の前方空間の遠近画像からも、車両が２本の白線間の右寄りを走行中であることが理解される。図１７の下部に示したように、グラフィック処理装置１４により生成される平面視２次元画像で、右側の１本の白線認識処理の濃度累積処理の範囲は略車両の進行方向に傾斜しているのに対して左側の１本の白線認識処理の濃度累積処理の範囲は略車両の進行方向と垂直の方向に傾斜していることが理解される。それ以外の範囲は、白線認識処理の濃度累積処理の対象から削除されるので、２本の白線の白線認識処理の濃度累積処理に際してのデータ演算量の削減が可能となる。
【０１１３】
図１５は、図１２に示した本発明の実施の形態２による車載用半導体集積回路１を搭載した車両が２本の白線の右側の１本の白線の左寄りを走行中の様子を平面で示す図である。図１２に示した本発明の実施の形態２による車載用半導体集積回路１によれば、自車位置判定装置１８を使用して左側距離ＬＬよりも右側距離ＬＲが長く自車が２本の白線間の左寄りの位置に存在していることを判定することが可能となる。
【０１１４】
図１８は、図１２に示した本発明の実施の形態２による車載用半導体集積回路１を搭載した車両が図１４に示すよう２本の白線間の左寄りを走行中の場合に、２本の白線を認識するための白線認識処理の濃度累積処理の範囲を示す図である。
【０１１５】
図１８の上部に示すように、車載カメラ２によって撮像された車両の前方空間の遠近画像からも、車両が２本の白線間の左寄りを走行中であることが理解される。図１８の下部に示したように、グラフィック処理装置１４により生成される平面視２次元画像で、左側の１本の白線認識処理の濃度累積処理の範囲は略車両の進行方向に傾斜しているのに対して右側の１本の白線認識処理の濃度累積処理の範囲は略車両の進行方向と垂直の方向に傾斜していることが理解される。それ以外の範囲は、白線認識処理の濃度累積処理の対象から削除され、２本の白線の白線認識処理の濃度累積処理に際してのデータ演算量の削減が可能となる。
【０１１６】
《カーナビ遠近画像への白線追加》
図１２に示す本発明の実施の形態２による車載用半導体集積回路１でも高精度で認識された白線は、車載カメラ２によって撮影された画像メモリの遠近画像ではなく、カーナビゲーションシステムの３Ｄグラフィック処理装置１４により２次元地図情報から変換された遠近画像に白線として直線描画されることができる。白線の直線描画の前に、カーナビゲーションシステムのＧＰＳや種々の自立航法装置を利用した運転中の現在位置を自車位置判定装置１８による自車位置判定情報で補正することで高精度の現在位置情報を得ることが可能となる。この高精度の現在位置情報に従って、道路地図情報をＤＶＤ−ＲＯＭやＨＤＤ等の記憶装置から読み出して、読み出した２次元道路地図情報を３Ｄグラフィック処理装置によって遠近画像に変換して表示を行う。この高精度の現在位置情報に従って生成されるカーナビゲーションシステムによる高精度遠近画像に白線の直線描画を行うことができる。
【０１１７】
《警報の生成》
更に、図１２に示す本発明の実施の形態２による車載用半導体集積回路１では、自車位置判定装置１８による自車位置判定を利用して、危険な運転状態で警報を生成することが可能である。
【０１１８】
例えば、図１３で左側距離ＬＬが小さくなりすぎるかまたはゼロとなると、中央演算処理装置１２は警報の生成のコマンドを音声生成ユニット(図示せず)に出力するものである。ただし、運転者の意図による走行車線(レーン)変更などの場合には、事前に方向指示器(ウインカー)の操作があるので、この操作信号が車載用半導体集積回路１に供給された場合には、警報生成は禁止されるものである。
【０１１９】
以上、本発明者によってなされた発明を種々の実施の形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
【０１２０】
例えば、３次元画像から平面２次元画像を生成する機能を有する３Ｄグラフィック処理装置１４は、ハードウェアのみに限定されるものではなく、ソフトウェア処理により実現されることも可能である。この場合には、中央演算処理装置１２はマルチプロセッサで構成され、その１個のプロセッサのソフトウェア処理によって３Ｄグラフィックソフトウェア処理が実現されることが可能である。
【０１２１】
また、車載用半導体集積回路１がロジックとＤＲＡＭとの混載半導体製造プロセスで製造される場合には、同期型ダイナミックランダムアクセスメモリ(ＳＤＲＡＭ)の画像メモリ３は車載用半導体集積回路１の半導体チップに集積化されることができる。
【０１２２】
また、更に車載用半導体集積回路１の半導体チップと画像メモリ３の同期型ダイナミックランダムアクセスメモリ(ＳＤＲＡＭ)の半導体チップとを１個の樹脂封止パッケージに搭載したシステムインパッケージ(ＳＩＰ：System-In Package)の構成を採用することも可能である。
【０１２３】
更に本発明は道路白線だけではなく、追い越し禁止を表示する道路の黄色線の認識にも適用できることは言うまでもない。
【符号の説明】
【０１２４】
１…車載用半導体集積回路
２…車載カメラ
３…画像メモリ
４…表示装置
１０…映像入力装置
１１…画像処理ユニット
１２…中央演算処理装置
１３…映像出力装置
１４…３Ｄグラフィック処理装置
１１０…画像処理装置
１１１…濃度累積メモリ
【技術分野】
【０００１】
本発明は、自動車に搭載可能な半導体集積回路およびその動作方法に関し、特に道路白線の近傍を白い車両が走行している場合等において、道路白線の位置認識精度の低下を軽減するのに有効な技術に関するものである。
【背景技術】
【０００２】
自動車等の運転者の判断操作の補助、全面的な自動運転等を目的として、従来から種々の走行路検出装置が提案されている。走行路検出装置の基本的な機能は、走行路面の画像を採取して、画像処理して道路白線の部分を際立てさせて、路面画像の座標系を使用して路面画像上の白線の位置を表示するものである。
【０００３】
下記特許文献１には、従来の道路白線認識装置では画像処理速度が遅く道路白線の認識に基づいて何らかの制御を実行しても適切な制御とならないと言う問題を解決するために、車速センサとヨーレイトセンサとの検出結果によって画像情報処理手段によって認識された道路白線認識情報を補正することが記載されている。尚、ヨーレイト(Yaw Rate)は、コーナリング中の自動車を真上から観測した際の車両の旋回方向への回転角の変化速度である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−２４３３２６号 公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明者等は本発明に先立って、車両前方カメラ情報から白線を認識する車載用半導体集積回路の開発に従事した。
【０００６】
本発明に先立って本発明者等は、上記非特許文献１に記載された技術に関して検討を行った。この技術によれば、カメラは車両の走行方向の道路を撮影して、撮影した画像を電子制御ユニット(ＥＣＵ)の画像処理手段に出力する。カメラでは遠近画像が撮影されるので、画像処理手段は画像処理によって遠近画像を平面視２次元画像に変換する。しかし、画像処理手段による処理時間が長くかかるので、この間に車両の移動や姿勢変化を生じると、画像処理手段から出力される道路白線認識情報は画像取得時点と異なるものとなる。従って、車速センサで検出された車速とヨーレイトセンサで検出されたヨーレイトとを算出手段に供給して車両の移動量と姿勢変化量とを算出して、画像処理手段で認識された道路白線位置に対して車両の移動量と姿勢変化量とに基づいて補正手段にて補正を行うものである。
【０００７】
しかし、本発明者等による検討によって、しかしながら上記非特許文献１に記載の技術では、車速センサやヨーレイトセンサの検出精度の問題が解決できないばかりか、移動量と姿勢変化量とに基づく補正処理のためのソフトプログラムの開発が困難であると言う問題が明らかとされた。また更にこのソフトプログラムの開発がされたとしても、プログラム制御が複雑であるので、補正手段での補正処理に時間が必要となって、やはり適切な制御とならないと言う問題も、本発明者等による検討によって明らかとされた。
【０００８】
また更に、本発明者等による検討によって、本発明に先立って検討された道路白線認識装置や走行路検出装置では、道路白線の近傍を白い車両が走行している場合には、道路白線の位置認識精度が低下すると言う問題が明らかとされた。
【０００９】
図１は、本発明に先立って本発明者等によって検討された車載用半導体集積回路の構成を示す図である。
【００１０】
図１に示す車載用半導体集積回路は、車両前方カメラ情報から白線を認識する機能を有するものである。図１に示すように、車載用半導体集積回路１は、車載カメラ２と画像メモリ３と表示装置４に電気的に接続可能とされ、車載用半導体集積回路１は、映像入力装置１０、画像処理ユニット１１、中央演算処理装置１２、映像出力装置１３を有して、画像処理ユニット１１は画像処理装置１１０と濃度累積メモリ１１１とを含んでいる。
【００１１】
図２は、図１に示した本発明に先立って本発明者等によって検討された車載用半導体集積回路による白線認識処理のフローを示す図である。
【００１２】
図２の最初に１フレーム分の画像の処理が開始されると、ステップ１で車両の前方空間は車載カメラ２によって撮像され、撮像された映像信号は車載用半導体集積回路１の映像入力装置１０に供給される。
【００１３】
従って次のステップ２で、映像入力装置１０は映像信号を受信した後、輝度信号Ｙと色差信号Ｕ(＝Ｙ−Ｂ)、Ｖ(＝Ｙ−Ｒ)とによるカラー画像もしくは白黒のグレースケール等の任意の画像データを生成して、車載用半導体集積回路１の外部に接続された画像メモリ３に格納する。
【００１４】
次のステップ３で、映像入力装置１０が1フレーム分の画像取込みを完了すると、中央演算処理装置１２に割り込み信号を送信する。すると割り込み信号を受け取った中央演算処理装置１２は、ステップ４で取り込まれた画像に対する白線認識の処理を開始する。次のステップ５で、中央演算処理装置１２は、画像処理ユニット１１に対してステップ４で取り込まれた遠近画像で一定の角度の直線に沿って濃度累積処理を開始するようレジスタ設定を実行する。濃度累積処理は、遠近画像の内部の一定の角度の直線に沿って、画素の輝度の統計分布を獲得する処理を意味するものである。
【００１５】
ステップ６では、画像処理ユニット１１の画像処理装置１１０は、画像メモリ３から遠近画像を読み出し、遠近画像の一定の角度の直線に沿った各画素の輝度分布を算出する。その後、画像処理ユニット１１の濃度累積メモリ１１１の対応する番地に、一定の角度の直線に沿った各画素の輝度分布が格納される。
【００１６】
図３は、図２に示す本発明に先立って本発明者等によって検討された白線認識処理のフローのステップ６で実行される濃度累積処理の様子を示す図である。
【００１７】
図３に示すように、車載カメラ２によって撮像された遠近画像３０で、一定の角度θの直線Ｌに沿った各画素の輝度分布が測定されることができる。直線Ｌは、Ｘ軸でのＸ切辺もしくはＹ軸でのＹ切辺と角度θとによって規定されることが可能となる。従って、遠近画像３０での濃度累積処理は、Ｘ軸でのＸ切辺またはＹ軸でのＹ切辺を最小値から最大値まで変化させ、角度θを最小値から最大値まで変化させることによって、遠近画像３０の全ての直線に沿った全画素の輝度分布が測定されることが可能となる。
【００１８】
このようにしてステップ６における1フレーム分の濃度累積処理が終了すると、次のステップ７で、画像認識処理装置１１０は動作終了を示す割り込み信号を中央演算処理装置１２に送信する。すると、割り込み信号を受信した中央演算処理装置１２は更に次のステップ８で、濃度累積メモリ１１１から測定結果を順次に読み出して、全ての測定結果の中で高い輝度の画素が多数存在する最高累積濃度の濃度累積メモリ１１１の番地を記録する。
【００１９】
ステップ８Ａでは、所定範囲の角度θの処理が終了したことを中央演算処理装置１２が確認すると、次のステップ９に移行して、全ての測定結果の中で高い輝度の画素が多数存在する最高累積濃度の直線を白線として認識して、画像メモリ３の遠近画像に対して白線としての直線を描画する。
【００２０】
次のステップ１０では、映像出力装置１３は、白線としての直線が描画された遠近画像である車両の前方映像を表示装置４に出力する。
【００２１】
しかし、図２に示す本発明に先立って検討された白線認識処理のフローでは、道路白線の近傍を白い車両が走行している場合には、道路白線の位置認識精度が低下すると言う問題があることが、本発明者等による検討によって明らかとされたものである。
【００２２】
図４は、図２に示した本発明に先立って検討された白線認識処理のフローでは、道路白線の近傍を白い車両が走行している場合には、道路白線の位置認識精度が低下することを説明する図である。
【００２３】
図４に示すように、車載カメラ２によって撮像された車両前方画像は遠近画像となっているので、車載カメラで撮像された車両前方画像には一定のパースペクティブ(perspective：遠近法)がかかっており、画像の上では手前の白線Ｌｎは面積が大きく、遠方の白線Ｌｆは面積が小さい。そのため、遠方にある白線Ｌｆの断片は累積濃度に寄与する率が小さく、また、手前にある白線Ｌｎの断片は面積が大きい。従って、遠方にある白線Ｌｆを横切る直線が少ないのに対して、手前にある白線Ｌｎを横切る直線が多くなる。その結果、遠方の白線Ｌｆの近くに白い車両等の物体Ｗが存在した場合には、高い輝度の画素が多数存在する最高累積濃度のピークがずれることになる。その結果、正確な白線位置Ａから物体Ｗの方向にずれた方向Ｂに、白線認識誤差が生じるものとなる。
【００２４】
本発明は、以上のような本発明に先立った本発明者等による検討の結果、なされたものである。
【００２５】
従って、本発明の目的とするところは、道路白線の近傍を白い車両が走行している場合等において、道路白線の位置認識精度の低下を軽減することにある。
【００２６】
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【００２７】
本願において開示される発明のうちの代表的なものについて簡単に説明すれば下記のとおりである。
【００２８】
すなわち、本発明の代表的な実施の形態は、映像入力装置(１０)と画像処理ユニット(１１、１２)と映像出力装置(１３)とを具備する半導体集積回路(１)である。
【００２９】
前記映像入力装置(１０)は車載カメラ(２)と接続され、前記カメラによって撮影される車両の前方空間の映像信号が供給され、前記映像信号を画像メモリ(３)に格納する。
【００３０】
前記画像処理ユニット(１１、１２)は、前記画像メモリ(３)に格納された前記映像信号に基づいて１フレームでの直線上の画素の輝度分布の獲得による濃度累積処理によって、前記１フレームに含まれる道路白線を認識する。
【００３１】
前記画像処理ユニット(１１、１２)は、前記道路白線を認識した後、前記映像出力装置(１３)によって表示装置(４)の画面に表示される前記画像メモリ(３)の表示画像データに認識された前記道路白線としての表示直線を描画する。
【００３２】
前記映像出力装置(１３)は、前記表示直線が描画された前記画像メモリ(３)の前記表示画像データを、前記表示装置(４)の前記画面に表示する。
【００３３】
前記半導体集積回路(１)は、前記画像メモリ(３)に格納された前記前方空間の前記映像信号の３次元遠近画像を平面視２次元画像に変換して、当該平面視２次元画像を前記画像メモリ(３)に格納する３次元画像処理機能(１４)を更に具備する。
【００３４】
前記画像処理ユニット(１１、１２)は、前記３次元画像処理機能(１４)によって変換され前記画像メモリ(３)に格納された前記平面視２次元画像で構成される前記１フレームでの前記濃度累積処理によって前記１フレームに含まれる道路白線を認識可能することを特徴とするものである(図５、図８、図９参照)。
【発明の効果】
【００３５】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記の通りである。
【００３６】
すなわち、本発明によれば、道路白線の近傍を白い車両が走行している場合等において、道路白線の位置認識精度の低下を軽減することができる。
【図面の簡単な説明】
【００３７】
【図１】図１は、本発明に先立って本発明者等によって検討された車載用半導体集積回路の構成を示す図である。
【図２】図２は、図１に示した本発明に先立って本発明者等によって検討された車載用半導体集積回路による白線認識処理のフローを示す図である。
【図３】図３は、図２に示す本発明に先立って本発明者等によって検討された白線認識処理のフローのステップ６で実行される濃度累積処理の様子を示す図である。
【図４】図４は、図２に示した本発明に先立って検討された白線認識処理のフローでは、道路白線の近傍を白い車両が走行している場合には、道路白線の位置認識精度が低下することを説明する図である。
【図５】図５は、本発明の実施の形態１による車載用半導体集積回路１の構成を示す図である。
【図６】図６は、図５に示した本発明の実施の形態１による車載用半導体集積回路１と車載カメラ２とを搭載した車両の走行中の撮影範囲を断面方向と平面方向とで示す図である。
【図７】図７は、図５に示した本発明の実施の形態１による車載用半導体集積回路１による白線認識処理のフローを示す図である。
【図８】図８は、図５に示した本発明の実施の形態１による車載用半導体集積回路１による白線認識処理のフローのステップ３で実行される遠近画像の逆パースペクティブの補正処理の様子を示す図である。
【図９】図９は、図５に示した本発明の実施の形態１による車載用半導体集積回路１による白線認識処理のフローでは、道路白線の近傍を白い車両が走行している場合等において道路白線の位置認識精度が低下しないことを説明する図である。
【図１０】図１０は、図５に示す本発明の実施の形態１の車載用半導体集積回路１による２本の白線間スペース測定機能によって前方路面の勾配検出が可能となることを説明する図である。
【図１１】図１１は、図１０で説明した図５に示す本発明の実施の形態１による車載用半導体集積回路１による前方路面の勾配検出機能を利用することで、車載用半導体集積回路１による前方路面勾配の変化に対して車両のエンジンやモータを自動制御することも可能となることを説明する図である。
【図１２】図１２は、本発明の実施の形態２による車載用半導体集積回路１の構成を示す図である。
【図１３】図１３は、図１２に示した本発明の実施の形態２による車載用半導体集積回路１を搭載した車両が２本の白線間の略中央の走行中の様子を平面で示す図である。
【図１４】図１４は、図１２に示した本発明の実施の形態２による車載用半導体集積回路１を搭載した車両が２本の白線間の右寄りを走行中の様子を平面で示す図である。
【図１５】図１５は、図１２に示した本発明の実施の形態２による車載用半導体集積回路１を搭載した車両が２本の白線の右側の１本の白線の左寄りを走行中の様子を平面で示す図である。
【図１６】図１６は、図１２に示した本発明の実施の形態２による車載用半導体集積回路１を搭載した車両が図１３に示すよう２本の白線間の略中央の走行中の場合に、２本の白線を認識するための白線認識処理の濃度累積処理の範囲を示す図である。
【図１７】図１７は、図１２に示した本発明の実施の形態２による車載用半導体集積回路１を搭載した車両が図１４に示すよう２本の白線間の右寄りを走行中の場合に、２本の白線を認識するための白線認識処理の濃度累積処理の範囲を示す図である。
【図１８】図１８は、図１２に示した本発明の実施の形態２による車載用半導体集積回路１を搭載した車両が図１４に示すよう２本の白線間の左寄りを走行中の場合に、２本の白線を認識するための白線認識処理の濃度累積処理の範囲を示す図である。
【発明を実施するための形態】
【００３８】
１．実施の形態の概要
まず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。
【００３９】
〔１〕本発明の代表的な実施の形態は、映像入力装置(１０)と画像処理ユニット(１１、１２)と映像出力装置(１３)とを具備する半導体集積回路(１)である。
【００４０】
前記映像入力装置(１０)はカメラ(２)と接続可能とされて、前記カメラによって撮影される車両の前方空間の映像信号が供給可能とされ、前記映像信号を画像メモリ(３)に格納可能とされる。
【００４１】
前記画像処理ユニット(１１、１２)は、前記画像メモリ(３)に格納された前記映像信号に基づいて１フレームでの直線上の画素の輝度分布の獲得による濃度累積処理によって、前記１フレームに含まれる道路白線を認識可能とされる。
【００４２】
前記画像処理ユニット(１１、１２)は、前記道路白線を認識した後、前記映像出力装置(１３)によって表示装置(４)の画面に表示される前記画像メモリ(３)の表示画像データに認識された前記道路白線としての表示直線を描画可能とされる。
【００４３】
前記映像出力装置(１３)は、前記表示直線が描画された前記画像メモリ(３)の前記表示画像データを、前記表示装置(４)の前記画面に表示可能とされる。
【００４４】
前記半導体集積回路(１)は、前記画像メモリ(３)に格納された前記前方空間の前記映像信号の３次元遠近画像を平面視２次元画像に変換して、当該平面視２次元画像を前記画像メモリ(３)に格納する３次元画像処理機能(１４)を更に具備する。
【００４５】
前記画像処理ユニット(１１、１２)は、前記３次元画像処理機能(１４)によって変換され前記画像メモリ(３)に格納された前記平面視２次元画像で構成される前記１フレームでの前記濃度累積処理によって前記１フレームに含まれる道路白線を認識可能とされたことを特徴とするものである(図５、図８、図９参照)。
【００４６】
前記実施の形態によれば、道路白線の近傍を白い車両が走行している場合等において、道路白線の位置認識精度の低下を軽減することができる。
【００４７】
好適な実施の形態は、前記画像処理ユニット(１１、１２)は、前記平面視２次元画像の手前の２本の白線間スペース(ＬＳｎ)と遠方の２本の白線間スペース(ＬＳｆ)とを比較することによって、前記車両の前記前方空間の路面の勾配を判断可能とされたことを特徴とするものである(図１０参照)。
【００４８】
他の好適な実施の形態は、前記路面の前記勾配に関する情報は、前記車両のスピードを制御するスピード制御装置(ＥＣＵ)に供給可能とされたことを特徴とするものである(図１０参照)。
【００４９】
更に他の好適な実施の形態は、前記３次元画像処理機能(１４)はハードウェアで構成された３Ｄグラフィック処理装置であることを特徴とするものである(図５参照)。
【００５０】
より好適な実施の形態による前記半導体集積回路(１)は、左面画像処理装置(１５)と右面画像処理装置(１６)とを更に具備する。
【００５１】
前記左面画像処理装置(１５)は前記車両の左方空間の映像信号を処理可能とされ、前記右面画像処理装置(１６)は前記車両の右方空間の映像信号を処理可能とされる(図１２参照)。
【００５２】
前記画像処理ユニット(１１、１２、１８)は、前記左面画像処理装置(１５)の左方処理情報(ＬＬ)と前記右面画像処理装置(１６)の左方処理情報(ＬＲ)とから、前記画像処理ユニット(１１、１２)によって認識される２本の白線に対しての前記車両の位置を判断可能とされたことを特徴とするものである(図１３、図１４、図１５参照)。
【００５３】
他のより好適な実施の形態は、前記画像処理ユニット(１１、１２、１８)によって判断された前記車両の位置の情報に基づき、前記２本の白線の認識処理のための前記画像処理ユニット(１１、１２)による前記濃度累積処理の範囲が制限されることを特徴とするものである(図１６、図１７、図１８参照)。
【００５４】
具体的な実施の形態は、前記左面画像処理装置(１５)の前記左方処理情報(ＬＬ)と前記右面画像処理装置(１６)の前記左方処理情報(ＬＲ)とのいずれかが前記画像処理ユニット(１１、１２)によって認識される前記２本の白線のいずれか一本と前記車両との間の距離が小さくなり過ぎることに応答して、前記画像処理ユニット(１１、１２、１８)は警報の生成を指示するものであることを特徴とするものである(図１２参照)。
【００５５】
より具体的な実施の形態は、前記車両の方向指示器が操作されたことを示す操作信号が前記半導体集積回路(１)に供給された場合には、前記画像処理ユニット(１１、１２、１８)は前記警報の生成を禁止することを特徴とするものである(図１２参照)。
【００５６】
最も具体的な実施の形態は、前記画像メモリ(３)は前記半導体集積回路(１)の半導体チップとは別のチップに集積化されたダイナミックランダムアクセスメモリであることを特徴とするものである。
【００５７】
他の最も具体的な実施の形態は、前記画像メモリ(３)は前記半導体集積回路(１)の半導体チップに集積化されたダイナミックランダムアクセスメモリであることを特徴とするものである。
【００５８】
〔２〕本発明の別の観点の代表的な実施の形態は、映像入力装置(１０)と画像処理ユニット(１１、１２)と映像出力装置(１３)とを具備する半導体集積回路(１)の動作方法である。
【００５９】
前記映像入力装置(１０)はカメラ(２)と接続可能とされて、前記カメラによって撮影される車両の前方空間の映像信号が供給可能とされ、前記映像信号を画像メモリ(３)に格納可能とされる。
【００６０】
前記画像処理ユニット(１１、１２)は、前記画像メモリ(３)に格納された前記映像信号に基づいて１フレームでの直線上の画素の輝度分布の獲得による濃度累積処理によって、前記１フレームに含まれる道路白線を認識可能とされる。
【００６１】
前記画像処理ユニット(１１、１２)は、前記道路白線を認識した後、前記映像出力装置(１３)によって表示装置(４)の画面に表示される前記画像メモリ(３)の表示画像データに認識された前記道路白線としての表示直線を描画可能とされる。
【００６２】
前記映像出力装置(１３)は、前記表示直線が描画された前記画像メモリ(３)の前記表示画像データを、前記表示装置(４)の前記画面に表示可能とされる。
【００６３】
前記半導体集積回路(１)は、前記画像メモリ(３)に格納された前記前方空間の前記映像信号の３次元遠近画像を平面視２次元画像に変換して、当該平面視２次元画像を前記画像メモリ(３)に格納する３次元画像処理機能(１４)を更に具備する。
【００６４】
前記画像処理ユニット(１１、１２)は、前記３次元画像処理機能(１４)によって変換され前記画像メモリ(３)に格納された前記平面視２次元画像で構成される前記１フレームでの前記濃度累積処理によって前記１フレームに含まれる道路白線を認識可能とされる。
【００６５】
前記動作方法は、
前記カメラによって撮影された前記車両の前方空間の前記映像信号を前記画像処理ユニット(１１、１２)によって前記画像メモリ(３)に格納するステップ(ＳＴＥＰ２)と、
前記画像メモリ(３)に格納された前記前方空間の前記映像信号の前記３次元遠近画像を前記３次元画像処理機能(１４)によって前記平面視２次元画像に変換して、前記平面視２次元画像を前記画像メモリ(３)に格納するステップ(ＳＴＥＰ３)と、
前記３次元画像処理機能(１４)によって変換され前記画像メモリ(３)に格納された前記平面視２次元画像で構成される前記１フレームでの前記画像処理ユニット(１１、１２)による前記濃度累積処理によって前記１フレームに含まれる前記道路白線を認識するステップ(ＳＴＥＰ４)と、
前記道路白線を認識した後、前記映像出力装置(１３)によって表示装置(４)の画面に表示される前記画像メモリ(３)の表示画像データに認識された前記道路白線としての前記表示直線を前記画像処理ユニット(１１、１２)によって描画するステップ(ＳＴＥＰ５)と、
前記表示直線が描画された前記画像メモリ(３)の前記表示画像データを、前記映像出力装置(１３)によって前記表示装置(４)の前記画面に表示するステップ(ＳＴＥＰ６)とを、
含むことを特徴とするものである(図７参照)。
【００６６】
前記実施の形態によれば、道路白線の近傍を白い車両が走行している場合等において、道路白線の位置認識精度の低下を軽減することができる。
【００６７】
２．実施の形態の詳細
次に、実施の形態について更に詳述する。尚、発明を実施するための最良の形態を説明するための全図において、前記の図と同一の機能を有する部品には同一の符号を付して、その繰り返しの説明は省略する。
【００６８】
［実施の形態１］
《車載用半導体集積回路の構成》
図５は、本発明の実施の形態１による車載用半導体集積回路１の構成を示す図である。
【００６９】
図５に示す本発明の実施の形態１による車載用半導体集積回路１は、図１に示した本発明に先立って本発明者等によって検討された車載用半導体集積回路１と同様に、車載カメラ２と画像メモリ３と表示装置４に電気的に接続可能とされ、車載用半導体集積回路１は、映像入力装置１０、画像処理ユニット１１、中央演算処理装置１２、映像出力装置１３を有して、画像処理ユニット１１は画像処理装置１１０と濃度累積メモリ１１１とを含んでいる。
【００７０】
図５に示す本発明の実施の形態１による車載用半導体集積回路１が、図１に示した本発明に先立って本発明者等によって検討された車載用半導体集積回路１と相違するのは、次の点である。
【００７１】
すなわち、図５に示す本発明の実施の形態１による車載用半導体集積回路１には、中央演算処理装置１２と接続され、画像メモリ３と接続可能に構成された３Ｄグラフィック処理装置１４が追加されている。３Ｄグラフィック処理装置１４は、中央演算処理装置１２よりのレジスタ設定に応答して、画像メモリ３に格納された遠近画像の逆パースペクティブ(逆遠近)の補正処理を実行することによって平面視２次元画像を生成する。従って、３Ｄグラフィック処理装置１４は、３次元画像(遠近画像)から平面視２次元画像(非遠近画像)を生成する機能を有するものである。
【００７２】
尚、画像メモリ３は同期型ダイナミックランダムアクセスメモリ(ＳＤＲＡＭ：Synchronous Dynamic Random Access Memory)によって構成される。また、映像出力装置１３と表示装置４とは、カーナビゲーションシステムで使用される映像出力装置と表示装置とを兼用使用することができる。また更に画像メモリ３は、カーナビゲーションシステムで使用される映像出力装置の表示情報を一時的に格納するためのバッファメモリを兼用使用することができる。
【００７３】
また、図５に示す車載用半導体集積回路１に追加された３Ｄグラフィック処理装置１４は、従来からカーナビゲーションシステムで使用されている３Ｄグラフィック処理装置と相違することに注意されたい。すなわち、カーナビゲーションシステムはＧＰＳ(全地球測位システム：Global Positioning System)やジャイロや車速パルス等の自立航法装置を利用して、自動車の運転中に現在位置や目的位置までの走行経路案内等の表示を行う電子装置である。ＧＰＳと自立航法装置を利用して現在位置の道路地図情報をＤＶＤ−ＲＯＭやＨＤＤ等の記憶装置から読み出して、読み出した２次元道路地図情報を３Ｄグラフィック処理装置によって遠近画像に変換して表示が行われるものである。このように、従来からカーナビゲーションシステムで使用されている３Ｄグラフィック処理装置は２次元地図情報から遠近画像への変換を実行するのに対して、図５に追加された３Ｄグラフィック処理装置１４は３次元画像(遠近画像)から平面視２次元画像(非遠近画像)を生成するものであり、両者の機能は基本的に相違している。
【００７４】
《車両の走行中の撮影範囲》
図６は、図５に示した本発明の実施の形態１による車載用半導体集積回路１と車載カメラ２とを搭載した車両の走行中の撮影範囲を断面方向と平面方向とで示す図である。
【００７５】
《白線認識処理のフロー》
図７は、図５に示した本発明の実施の形態１による車載用半導体集積回路１による白線認識処理のフローを示す図である。
【００７６】
図７の最初に１フレーム分の画像の処理が開始されると、ステップ１で車両の前方空間は車載カメラ２によって撮像され、撮像された映像信号は車載用半導体集積回路１の映像入力装置１０に供給される。
【００７７】
従って次のステップ２で、映像入力装置１０は映像信号を受信した後、輝度信号Ｙと色差信号Ｕ(＝Ｙ−Ｂ)、Ｖ(＝Ｙ−Ｒ)とによるカラー画像もしくは白黒のグレースケール等の任意の画像データを生成して、車載用半導体集積回路１の外部に接続された画像メモリ３に格納する。
【００７８】
次のステップ３で、映像入力装置１０が1フレーム分の画像取込みを完了すると、中央演算処理装置１２に割り込み信号を送信する。すると割り込み信号を受け取った中央演算処理装置１２は、３Ｄグラフィック処理装置１４へのレジスタ設定を実行する。このレジスタ設定に応答して、３Ｄグラフィック処理装置１４は、画像メモリ３に格納された遠近画像を読み出して、読み出した遠近画像の逆パースペクティブ(逆遠近)の補正処理を実行して平面視２次元画像を生成する。３Ｄグラフィック処理装置１４は、生成した平面視２次元画像を画像メモリ３に格納する。
【００７９】
次のステップ４で、３Ｄグラフィック処理装置１４は、平面視２次元画像の画像メモリ３への格納を割り込み信号として中央演算処理装置１２に送信する。すると割り込み信号を受け取った中央演算処理装置１２は、画像処理ユニット１１に対して白線認識の処理を指示する。その結果、画像処理ユニット１１は、画像メモリ３へ格納された非遠近の平面視２次元画像で一定の角度の直線に沿って濃度累積処理を開始するようレジスタ設定を実行する。濃度累積処理は、非遠近の平面視２次元画像の内部の一定の角度の直線に沿って、画素の輝度の統計分布を獲得する処理を意味するものである。
【００８０】
すると、画像処理ユニット１１の画像処理装置１１０は、画像メモリ３から非遠近の平面視２次元画像を読み出し、非遠近の平面視２次元画像の一定の角度の直線に沿った各画素の輝度分布を算出する。その後、画像処理ユニット１１の濃度累積メモリ１１１の対応する番地に、一定の角度の直線に沿った各画素の輝度分布が格納される。
【００８１】
このようにして1フレーム分の濃度累積処理が終了した後に、画像認識処理装置１１０は動作終了を示す割り込み信号を中央演算処理装置１２に送信する。すると割り込み信号を受信した中央演算処理装置１２は、濃度累積メモリ１１１から測定結果を順次に読み出して、全ての測定結果の中で高い輝度の画素が多数存在する最高累積濃度の濃度累積メモリ１１１の番地を記録する。
【００８２】
次のステップ５では、中央演算処理装置１２は全ての測定結果の中で高い輝度の画素が多数存在する最高累積濃度の直線を白線として認識して、画像メモリ３の遠近画像に対して白線としての直線を描画する。
【００８３】
次のステップ６では映像出力装置１３は、白線としての直線が描画された遠近画像である車両の前方映像を表示装置４に出力する。
【００８４】
《逆パースペクティブの補正処理》
図８は、図５に示した本発明の実施の形態１による車載用半導体集積回路１による白線認識処理のフローのステップ３で実行される遠近画像の逆パースペクティブの補正処理の様子を示す図である。
【００８５】
図８の上部には車両の前方空間は車載カメラ２によって撮像され画像メモリ３に格納された遠近画像が示され、図８の下部には３Ｄグラフィック処理装置１４による遠近画像の逆パースペクティブ補正処理により生成される平面視２次元画像が示されている。
【００８６】
《道路白線の位置認識精度》
図９は、図５に示した本発明の実施の形態１による車載用半導体集積回路１による白線認識処理のフローでは、道路白線の近傍を白い車両が走行している場合等において道路白線の位置認識精度が低下しないことを説明する図である。
【００８７】
図９に示すように、図７の白線認識処理のフローのステップ４では、画像メモリ３へ格納された非遠近の平面視２次元画像が使用される。従って、図９に示す非遠近の平面視２次元画像では、画像の上では手前の白線Ｌｎは面積と遠方の白線Ｌｆの面積とは同一である。そのため、遠方にある白線Ｌｆの断片の累積濃度の寄与率と手前の白線Ｌｎの断片の累積濃度の寄与率は、同一である。従って、遠方にある白線Ｌｆを横切る直線と手前にある白線Ｌｎを横切る直線とは、同一の数となる。その結果、遠方の白線Ｌｆの近くに白い車両等の物体Ｗが存在した場合等において、高い輝度の画素が多数存在する最高累積濃度のピークがずれることが軽減される。その結果、正確な白線位置Ａから物体Ｗの方向にずれた方向Ｂに、白線認識誤差が生じることが軽減されるものとなる。
【００８８】
《カーナビ遠近画像への白線追加》
図７で説明した白線認識処理フローのステップ４にて高精度で認識された白線は、ステップ５にて車載カメラ２によって撮影された画像メモリの遠近画像ではなくカーナビゲーションシステムの３Ｄグラフィック処理装置によって２次元地図情報から変換された遠近画像に白線として直線描画されることができる。この場合には、白線認識処理フローのステップ６で、映像出力装置１２は高精度で認識された白線が追加されたカーナビゲーションシステムによる遠近画像を表示装置４に出力するものである。
【００８９】
《前方路面の勾配検出機能》
図５に示す本発明の実施の形態１による車載用半導体集積回路１による白線認識機能を２本の白線間スペース測定に発展させることで、車載用半導体集積回路１による前方路面の勾配検出機能の実現も可能である。
【００９０】
図１０は、図５に示す本発明の実施の形態１の車載用半導体集積回路１による２本の白線間スペース測定機能によって前方路面の勾配検出が可能となることを説明する図である。
【００９１】
図１０は、図５に示した本発明の実施の形態１による車載用半導体集積回路１と車載カメラ２を搭載した車両が勾配路面の直前を走行中の様子を断面方向と平面方向とで示す図である。
【００９２】
図１０の上部には車両が上り勾配路面の直前を走行中に車載カメラ２によって上り勾配路面が撮像される様子が断面方向から示され、図１０の下部には車両が上り勾配路面の直前を走行中に車載カメラ２によって上り勾配路面が撮像される様子が平面方向から示されている。
【００９３】
図１０の上部に示すように、実際の上り勾配路面ＲＳを車載カメラ２によって撮影しても撮影された遠近画像では上り勾配路面が判別されないので、表示装置４には勾配の無い水平仮想画像路面ＶＳのように表示されてしまう。
【００９４】
図１０の下部に示すように、実際の上り勾配路面ＲＳでは手前の２本の白線間スペースＬＳｎと遠方の２本の白線間スペースＬＳｆとは同一の長さである。しかし、上り勾配路面ＲＳであるので、車載カメラ２と水平仮想画像路面ＶＳとの間の仮想距離よりも、車載カメラ２と実際の路面ＲＳとの間の距離が短いものとなる。従って、車載カメラ２によって撮影された遠近画像の３Ｄグラフィック処理装置１４による逆パースペクティブ補正処理によって生成される平面視２次元画像では、手前の２本の白線間スペースＬＳｎよりも遠方の２本の白線間スペースＬＳｆが長くなるものである。従って、図９に示す非遠近の平面視２次元画像にて、画面上部に表示される遠方の２本の白線間スペースＬＳｆと画面下部に表示される手前の２本の白線間スペースＬＳｎとを中央演算処理装置１２が比較することによって、車両前方の路面の勾配が判断されることが可能となる。
【００９５】
遠方の２本の白線間スペースＬＳｆが手前の２本の白線間スペースＬＳｎよりも長い場合には、中央演算処理装置１２は車両前方の路面が上り勾配であると判断する。遠方の２本の白線間スペースＬＳｆが手前の２本の白線間スペースＬＳｎと略等しい場合には、中央演算処理装置１２は車両前方の路面が略水平であると判断する。遠方の２本の白線間スペースＬＳｆが手前の２本の白線間スペースＬＳｎよりも短い場合には、中央演算処理装置１２は車両前方の路面が下り勾配であると判断する。
【００９６】
《面勾配の変化に対するスピード制御》
図１０で説明した図５に示す本発明の実施の形態１による車載用半導体集積回路１による前方路面の勾配検出機能を利用することで、車載用半導体集積回路１による前方路面勾配の変化に対して車両のエンジンやモータを自動制御することも可能である。
【００９７】
図１１は、図１０で説明した図５に示す本発明の実施の形態１による車載用半導体集積回路１による前方路面の勾配検出機能を利用することで、車載用半導体集積回路１による前方路面勾配の変化に対して車両のエンジンやモータを自動制御することも可能となることを説明する図である。
【００９８】
図１１に示すように車載用半導体集積回路１の前方路面の勾配検出情報信号がエンジン制御装置(ＥＣＵ)に供給されるので、ガソリン供給量が車両前方の路面勾配によって自動的に制御される。
【００９９】
車両前方の路面が上り勾配であると判断された場合には、車載用半導体集積回路１の前方路面の勾配検出情報信号によってガソリン供給量が増加され、車両のスピードが増加される。従って、この機能を利用することによって、高速道路の上り勾配で車両のスピードが減速することによる高速道路の渋滞の緩和が可能となる。車両前方の路面が下り勾配であると判断された場合には、車載用半導体集積回路１の前方路面の勾配検出情報信号によってガソリン供給量が減少され、エンジンブレーキが作動するので車両のスピードが減少される。従って、この機能を利用することによって、高速道路の下り勾配で車両のスピードが加速することによる高速道路の交通事故の低減が可能となる。
【０１００】
また、電気自動車やエンジンとモータの併用のハイブリッド車両の場合には、モータへの電気エネルギー供給量が車両前方の路面勾配によって自動的に制御されことによって、車両のスピードが制御可能となる。
【０１０１】
［実施の形態２］
《より好適な車載用半導体集積回路の構成》
図１２は、本発明の実施の形態２による車載用半導体集積回路１の構成を示す図である。
【０１０２】
図１２に示す本発明の実施の形態２による車載用半導体集積回路１は、図５に示す本発明の実施の形態１による車載用半導体集積回路１と同様に、車載カメラ２と画像メモリ３と表示装置４に電気的に接続可能とされ、車載用半導体集積回路１は、映像入力装置１０、画像処理ユニット１１、中央演算処理装置１２、映像出力装置１３を有して、画像処理ユニット１１は画像処理装置１１０と濃度累積メモリ１１１とを含んでいる。
【０１０３】
図１２に示す本発明の実施の形態２による車載用半導体集積回路１が、図５に示す本発明の実施の形態１による車載用半導体集積回路１と相違するのは、次の点である。
【０１０４】
すなわち、図１２に示す本発明の実施の形態２による車載用半導体集積回路１は、車両前方に搭載される車載カメラ２だけではなく、車両の左側と右側と後側とにそれぞれ搭載される左面カメラ２Ｌと右面カメラ２Ｒと後面カメラ２Ｂと電気的に接続可能とされている。更に、図１２に示す本発明の実施の形態２による車載用半導体集積回路１に、左面画像処理装置１５と右面画像処理装置１６と後面画像処理装置１７と自車位置判定装置１８とが追加されている。
【０１０５】
左面カメラ２Ｌと左面画像処理装置１５を使用して車両左側を撮影して表示装置４に車両左側の道路状況を把握して安全確認が可能となり、右面カメラ２Ｒと右面画像処理装置１６を使用して車両右側を撮影して表示装置４に車両右側の道路状況を把握して安全確認が可能となり、後面カメラ２Ｂと後面画像処理装置１７を使用して車両後側を撮影して表示装置４に車両後側の道路状況を把握して安全確認が可能となる。
【０１０６】
《濃度累積処理のデータ演算量の削減》
更に、図１２に示す本発明の実施の形態２による車載用半導体集積回路１では、左面画像処理装置１５と右面画像処理装置１６とに接続された自車位置判定装置１８による自車位置判定を利用して、白線認識処理のための濃度累積処理に際してのデータ演算量の削減が可能となる。すなわち、図１２に示す本発明の実施の形態２による車載用半導体集積回路１によれば、左面カメラ２Ｌと左面画像処理装置１５を使用して車両左側の白線と車両との左側距離の測定が可能となり、右面カメラ２Ｒと右面画像処理装置１６を使用して車両右側の白線と車両との右側距離の測定が可能となり、自車位置判定装置１８を使用して左側距離と右側距離との比較により自車が２本の白線間のどの位置に存在しているかを判定することが可能となる。
【０１０７】
図１３は、図１２に示した本発明の実施の形態２による車載用半導体集積回路１を搭載した車両が２本の白線間の略中央の走行中の様子を平面で示す図である。車両には、前面カメラ２と左面カメラ２Ｌと右面カメラ２Ｒと後面カメラ２Ｂとにそれぞれ対応するフロントカメラＦＣとレフトカメラＬＣとライトカメラＲＣとバックカメラＢＣとが搭載されている。図１２に示した本発明の実施の形態２による車載用半導体集積回路１によれば、自車位置判定装置１８を使用して左側距離ＬＬと右側距離ＬＲとが略等しく自車が２本の白線間の略中央の位置に存在していることを判定することが可能となる。
【０１０８】
図１６は、図１２に示した本発明の実施の形態２による車載用半導体集積回路１を搭載した車両が図１３に示すよう２本の白線間の略中央の走行中の場合に、２本の白線を認識するための白線認識処理の濃度累積処理の範囲を示す図である。
【０１０９】
図１６の上部に示すように、車載カメラ２によって撮像された車両の前方空間の遠近画像からも、車両が２本の白線間の略中央の走行中であることが理解される。図１６の下部に示したように、グラフィック処理装置１４により生成される平面視２次元画像で、左側の１本の白線認識処理の濃度累積処理の範囲と右側の１本の白線認識処理の濃度累積処理の範囲とは左右対称となることが理解される。それ以外の範囲は、白線認識処理の濃度累積処理の対象から削除されるので、２本の白線の白線認識処理の濃度累積処理に際してのデータ演算量の削減が可能となる。
【０１１０】
図１４は、図１２に示した本発明の実施の形態２による車載用半導体集積回路１を搭載した車両が２本の白線間の右寄りを走行中の様子を平面で示す図である。図１２に示した本発明の実施の形態２による車載用半導体集積回路１によれば、自車位置判定装置１８を使用して左側距離ＬＬよりも右側距離ＬＲが短く自車が２本の白線間の右寄りの位置に存在していることを判定することが可能となる。
【０１１１】
図１７は、図１２に示した本発明の実施の形態２による車載用半導体集積回路１を搭載した車両が図１４に示すよう２本の白線間の右寄りを走行中の場合に、２本の白線を認識するための白線認識処理の濃度累積処理の範囲を示す図である。
【０１１２】
図１７の上部に示すように、車載カメラ２によって撮像された車両の前方空間の遠近画像からも、車両が２本の白線間の右寄りを走行中であることが理解される。図１７の下部に示したように、グラフィック処理装置１４により生成される平面視２次元画像で、右側の１本の白線認識処理の濃度累積処理の範囲は略車両の進行方向に傾斜しているのに対して左側の１本の白線認識処理の濃度累積処理の範囲は略車両の進行方向と垂直の方向に傾斜していることが理解される。それ以外の範囲は、白線認識処理の濃度累積処理の対象から削除されるので、２本の白線の白線認識処理の濃度累積処理に際してのデータ演算量の削減が可能となる。
【０１１３】
図１５は、図１２に示した本発明の実施の形態２による車載用半導体集積回路１を搭載した車両が２本の白線の右側の１本の白線の左寄りを走行中の様子を平面で示す図である。図１２に示した本発明の実施の形態２による車載用半導体集積回路１によれば、自車位置判定装置１８を使用して左側距離ＬＬよりも右側距離ＬＲが長く自車が２本の白線間の左寄りの位置に存在していることを判定することが可能となる。
【０１１４】
図１８は、図１２に示した本発明の実施の形態２による車載用半導体集積回路１を搭載した車両が図１４に示すよう２本の白線間の左寄りを走行中の場合に、２本の白線を認識するための白線認識処理の濃度累積処理の範囲を示す図である。
【０１１５】
図１８の上部に示すように、車載カメラ２によって撮像された車両の前方空間の遠近画像からも、車両が２本の白線間の左寄りを走行中であることが理解される。図１８の下部に示したように、グラフィック処理装置１４により生成される平面視２次元画像で、左側の１本の白線認識処理の濃度累積処理の範囲は略車両の進行方向に傾斜しているのに対して右側の１本の白線認識処理の濃度累積処理の範囲は略車両の進行方向と垂直の方向に傾斜していることが理解される。それ以外の範囲は、白線認識処理の濃度累積処理の対象から削除され、２本の白線の白線認識処理の濃度累積処理に際してのデータ演算量の削減が可能となる。
【０１１６】
《カーナビ遠近画像への白線追加》
図１２に示す本発明の実施の形態２による車載用半導体集積回路１でも高精度で認識された白線は、車載カメラ２によって撮影された画像メモリの遠近画像ではなく、カーナビゲーションシステムの３Ｄグラフィック処理装置１４により２次元地図情報から変換された遠近画像に白線として直線描画されることができる。白線の直線描画の前に、カーナビゲーションシステムのＧＰＳや種々の自立航法装置を利用した運転中の現在位置を自車位置判定装置１８による自車位置判定情報で補正することで高精度の現在位置情報を得ることが可能となる。この高精度の現在位置情報に従って、道路地図情報をＤＶＤ−ＲＯＭやＨＤＤ等の記憶装置から読み出して、読み出した２次元道路地図情報を３Ｄグラフィック処理装置によって遠近画像に変換して表示を行う。この高精度の現在位置情報に従って生成されるカーナビゲーションシステムによる高精度遠近画像に白線の直線描画を行うことができる。
【０１１７】
《警報の生成》
更に、図１２に示す本発明の実施の形態２による車載用半導体集積回路１では、自車位置判定装置１８による自車位置判定を利用して、危険な運転状態で警報を生成することが可能である。
【０１１８】
例えば、図１３で左側距離ＬＬが小さくなりすぎるかまたはゼロとなると、中央演算処理装置１２は警報の生成のコマンドを音声生成ユニット(図示せず)に出力するものである。ただし、運転者の意図による走行車線(レーン)変更などの場合には、事前に方向指示器(ウインカー)の操作があるので、この操作信号が車載用半導体集積回路１に供給された場合には、警報生成は禁止されるものである。
【０１１９】
以上、本発明者によってなされた発明を種々の実施の形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
【０１２０】
例えば、３次元画像から平面２次元画像を生成する機能を有する３Ｄグラフィック処理装置１４は、ハードウェアのみに限定されるものではなく、ソフトウェア処理により実現されることも可能である。この場合には、中央演算処理装置１２はマルチプロセッサで構成され、その１個のプロセッサのソフトウェア処理によって３Ｄグラフィックソフトウェア処理が実現されることが可能である。
【０１２１】
また、車載用半導体集積回路１がロジックとＤＲＡＭとの混載半導体製造プロセスで製造される場合には、同期型ダイナミックランダムアクセスメモリ(ＳＤＲＡＭ)の画像メモリ３は車載用半導体集積回路１の半導体チップに集積化されることができる。
【０１２２】
また、更に車載用半導体集積回路１の半導体チップと画像メモリ３の同期型ダイナミックランダムアクセスメモリ(ＳＤＲＡＭ)の半導体チップとを１個の樹脂封止パッケージに搭載したシステムインパッケージ(ＳＩＰ：System-In Package)の構成を採用することも可能である。
【０１２３】
更に本発明は道路白線だけではなく、追い越し禁止を表示する道路の黄色線の認識にも適用できることは言うまでもない。
【符号の説明】
【０１２４】
１…車載用半導体集積回路
２…車載カメラ
３…画像メモリ
４…表示装置
１０…映像入力装置
１１…画像処理ユニット
１２…中央演算処理装置
１３…映像出力装置
１４…３Ｄグラフィック処理装置
１１０…画像処理装置
１１１…濃度累積メモリ
【特許請求の範囲】
【請求項１】
映像入力装置と画像処理ユニットと映像出力装置とを具備する半導体集積回路であって、
前記映像入力装置はカメラと接続可能とされて、前記カメラによって撮影される車両の前方空間の映像信号が供給可能とされ、前記映像信号を画像メモリに格納可能とされ、
前記画像処理ユニットは、前記画像メモリに格納された前記映像信号に基づいて１フレームでの直線上の画素の輝度分布の獲得による濃度累積処理によって、前記１フレームに含まれる道路白線を認識可能とされ、
前記画像処理ユニットは、前記道路白線を認識した後、前記映像出力装置によって表示装置の画面に表示される前記画像メモリの表示画像データに認識された前記道路白線としての表示直線を描画可能とされ、
前記映像出力装置は、前記表示直線が描画された前記画像メモリの前記表示画像データを、前記表示装置の前記画面に表示可能とされ、
前記半導体集積回路は、前記画像メモリに格納された前記前方空間の前記映像信号の３次元遠近画像を平面視２次元画像に変換して、当該平面視２次元画像を前記画像メモリに格納する３次元画像処理機能を更に具備して、
前記画像処理ユニットは、前記３次元画像処理機能によって変換され前記画像メモリに格納された前記平面視２次元画像で構成される前記１フレームでの前記濃度累積処理によって前記１フレームに含まれる道路白線を認識可能とされたことを特徴とする半導体集積回路。
【請求項２】
前記画像処理ユニットは、前記平面視２次元画像の手前の２本の白線間スペースと遠方の２本の白線間スペースとを比較することによって、前記車両の前記前方空間の路面の勾配を判断可能とされたことを特徴とする請求項１に記載の半導体集積回路。
【請求項３】
前記路面の前記勾配に関する情報は、前記車両のスピードを制御するスピード制御装置に供給可能とされたことを特徴と請求項２に記載の半導体集積回路。
【請求項４】
前記３次元画像処理機能はハードウェアで構成された３Ｄグラフィック処理装置であることを特徴とする請求項３に記載の半導体集積回路。
【請求項５】
前記半導体集積回路は、左面画像処理装置と右面画像処理装置とを更に具備して、
前記左面画像処理装置は前記車両の左方空間の映像信号を処理可能とされ、前記右面画像処理装置は前記車両の右方空間の映像信号を処理可能とされ、
前記画像処理ユニットは、前記左面画像処理装置の左方処理情報と前記右面画像処理装置の左方処理情報とから、前記画像処理ユニットによって認識される２本の白線に対しての前記車両の位置を判断可能とされたことを特徴とする請求項４に記載の半導体集積回路。
【請求項６】
前記画像処理ユニットによって判断された前記車両の位置の情報に基づき、前記２本の白線の認識処理のための前記画像処理ユニットによる前記濃度累積処理の範囲が制限されることを特徴とする請求項５に記載の半導体集積回路。
【請求項７】
前記左面画像処理装置の前記左方処理情報と前記右面画像処理装置の前記左方処理情報とのいずれかが前記画像処理ユニットによって認識される前記２本の白線のいずれか一本と前記車両との間の距離が小さくなり過ぎることに応答して、前記画像処理ユニットは警報の生成を指示するものであることを特徴とする請求項６に記載の半導体集積回路。
【請求項８】
前記車両の方向指示器が操作されたことを示す操作信号が前記半導体集積回路に供給された場合には、前記画像処理ユニットは前記警報の生成を禁止することを特徴とする請求項７に記載の半導体集積回路。
【請求項９】
前記画像メモリは前記半導体集積回路の半導体チップとは別のチップに集積化されたダイナミックランダムアクセスメモリであることを特徴とする請求項８に記載の半導体集積回路。
【請求項１０】
前記画像メモリは前記半導体集積回路の半導体チップに集積化されたダイナミックランダムアクセスメモリであることを特徴とする請求項８に記載の半導体集積回路。
【請求項１１】
映像入力装置と画像処理ユニットと映像出力装置とを具備する半導体集積回路の動作方法であって、
前記映像入力装置はカメラと接続可能とされて、前記カメラによって撮影される車両の前方空間の映像信号が供給可能とされ、前記映像信号を画像メモリに格納可能とされ、
前記画像処理ユニットは、前記画像メモリに格納された前記映像信号に基づいて１フレームでの直線上の画素の輝度分布の獲得による濃度累積処理によって、前記１フレームに含まれる道路白線を認識可能とされ、
前記画像処理ユニットは、前記道路白線を認識した後、前記映像出力装置によって表示装置の画面に表示される前記画像メモリの表示画像データに認識された前記道路白線としての表示直線を描画可能とされ、
前記映像出力装置は、前記表示直線が描画された前記画像メモリの前記表示画像データを、前記表示装置の前記画面に表示可能とされ、
前記半導体集積回路は、前記画像メモリに格納された前記前方空間の前記映像信号の３次元遠近画像を平面視２次元画像に変換して、当該平面視２次元画像を前記画像メモリに格納する３次元画像処理機能を更に具備して、
前記画像処理ユニットは、前記３次元画像処理機能によって変換され前記画像メモリに格納された前記平面視２次元画像で構成される前記１フレームでの前記濃度累積処理によって前記１フレームに含まれる道路白線を認識可能とされ、
前記動作方法は、
前記カメラによって撮影された前記車両の前方空間の前記映像信号を前記画像処理ユニットによって前記画像メモリに格納するステップと、
前記画像メモリに格納された前記前方空間の前記映像信号の前記３次元遠近画像を前記３次元画像処理機能によって前記平面視２次元画像に変換して、前記平面視２次元画像を前記画像メモリに格納するステップと、
前記３次元画像処理機能によって変換され前記画像メモリに格納された前記平面視２次元画像で構成される前記１フレームでの前記画像処理ユニットによる前記濃度累積処理によって前記１フレームに含まれる前記道路白線を認識するステップと、
前記道路白線を認識した後、前記映像出力装置によって表示装置の画面に表示される前記画像メモリの表示画像データに認識された前記道路白線としての前記表示直線を前記画像処理ユニットによって描画するステップと、
前記表示直線が描画された前記画像メモリの前記表示画像データを、前記映像出力装置によって前記表示装置の前記画面に表示するステップとを、
含むことを特徴とする半導体集積回路の動作方法。
【請求項１２】
前記画像処理ユニットは、前記平面視２次元画像の手前の２本の白線間スペースと遠方の２本の白線間スペースとを比較することによって、前記車両の前記前方空間の路面の勾配を判断可能とされたことを特徴とする請求項１１に記載の半導体集積回路の動作方法。
【請求項１３】
前記路面の前記勾配に関する情報は、前記車両のスピードを制御するスピード制御装置に供給可能とされたことを特徴と請求項１２に記載の半導体集積回路の動作方法。
【請求項１４】
前記３次元画像処理機能はハードウェアで構成された３Ｄグラフィック処理装置であることを特徴とする請求項１３に記載の半導体集積回路の動作方法。
【請求項１５】
前記半導体集積回路は、左面画像処理装置と右面画像処理装置とを更に具備して、
前記左面画像処理装置は前記車両の左方空間の映像信号を処理可能とされ、前記右面画像処理装置は前記車両の右方空間の映像信号を処理可能とされ、
前記画像処理ユニットは、前記左面画像処理装置の左方処理情報と前記右面画像処理装置の左方処理情報とから、前記画像処理ユニットによって認識される２本の白線に対しての前記車両の位置を判断可能とされたことを特徴とする請求項１４に記載の半導体集積回路の動作方法。
【請求項１６】
前記画像処理ユニットによって判断された前記車両の位置の情報に基づき、前記２本の白線の認識処理のための前記画像処理ユニットによる前記濃度累積処理の範囲が制限されることを特徴とする請求項１５に記載の半導体集積回路の動作方法。
【請求項１７】
前記左面画像処理装置の前記左方処理情報と前記右面画像処理装置の前記左方処理情報とのいずれかが前記画像処理ユニットによって認識される前記２本の白線のいずれか一本と前記車両との間の距離が小さくなり過ぎることに応答して、前記画像処理ユニットは警報の生成を指示するものであることを特徴とする請求項１６に記載の半導体集積回路の動作方法。
【請求項１８】
前記車両の方向指示器が操作されたことを示す操作信号が前記半導体集積回路に供給された場合には、前記画像処理ユニットは前記警報の生成を禁止することを特徴とする請求項１７に記載の半導体集積回路の動作方法。
【請求項１９】
前記画像メモリは前記半導体集積回路の半導体チップとは別のチップに集積化されたダイナミックランダムアクセスメモリであることを特徴とする請求項１８に記載の半導体集積回路の動作方法。
【請求項２０】
前記画像メモリは前記半導体集積回路の半導体チップに集積化されたダイナミックランダムアクセスメモリであることを特徴とする請求項１８に記載の半導体集積回路の動作方法。
【請求項１】
映像入力装置と画像処理ユニットと映像出力装置とを具備する半導体集積回路であって、
前記映像入力装置はカメラと接続可能とされて、前記カメラによって撮影される車両の前方空間の映像信号が供給可能とされ、前記映像信号を画像メモリに格納可能とされ、
前記画像処理ユニットは、前記画像メモリに格納された前記映像信号に基づいて１フレームでの直線上の画素の輝度分布の獲得による濃度累積処理によって、前記１フレームに含まれる道路白線を認識可能とされ、
前記画像処理ユニットは、前記道路白線を認識した後、前記映像出力装置によって表示装置の画面に表示される前記画像メモリの表示画像データに認識された前記道路白線としての表示直線を描画可能とされ、
前記映像出力装置は、前記表示直線が描画された前記画像メモリの前記表示画像データを、前記表示装置の前記画面に表示可能とされ、
前記半導体集積回路は、前記画像メモリに格納された前記前方空間の前記映像信号の３次元遠近画像を平面視２次元画像に変換して、当該平面視２次元画像を前記画像メモリに格納する３次元画像処理機能を更に具備して、
前記画像処理ユニットは、前記３次元画像処理機能によって変換され前記画像メモリに格納された前記平面視２次元画像で構成される前記１フレームでの前記濃度累積処理によって前記１フレームに含まれる道路白線を認識可能とされたことを特徴とする半導体集積回路。
【請求項２】
前記画像処理ユニットは、前記平面視２次元画像の手前の２本の白線間スペースと遠方の２本の白線間スペースとを比較することによって、前記車両の前記前方空間の路面の勾配を判断可能とされたことを特徴とする請求項１に記載の半導体集積回路。
【請求項３】
前記路面の前記勾配に関する情報は、前記車両のスピードを制御するスピード制御装置に供給可能とされたことを特徴と請求項２に記載の半導体集積回路。
【請求項４】
前記３次元画像処理機能はハードウェアで構成された３Ｄグラフィック処理装置であることを特徴とする請求項３に記載の半導体集積回路。
【請求項５】
前記半導体集積回路は、左面画像処理装置と右面画像処理装置とを更に具備して、
前記左面画像処理装置は前記車両の左方空間の映像信号を処理可能とされ、前記右面画像処理装置は前記車両の右方空間の映像信号を処理可能とされ、
前記画像処理ユニットは、前記左面画像処理装置の左方処理情報と前記右面画像処理装置の左方処理情報とから、前記画像処理ユニットによって認識される２本の白線に対しての前記車両の位置を判断可能とされたことを特徴とする請求項４に記載の半導体集積回路。
【請求項６】
前記画像処理ユニットによって判断された前記車両の位置の情報に基づき、前記２本の白線の認識処理のための前記画像処理ユニットによる前記濃度累積処理の範囲が制限されることを特徴とする請求項５に記載の半導体集積回路。
【請求項７】
前記左面画像処理装置の前記左方処理情報と前記右面画像処理装置の前記左方処理情報とのいずれかが前記画像処理ユニットによって認識される前記２本の白線のいずれか一本と前記車両との間の距離が小さくなり過ぎることに応答して、前記画像処理ユニットは警報の生成を指示するものであることを特徴とする請求項６に記載の半導体集積回路。
【請求項８】
前記車両の方向指示器が操作されたことを示す操作信号が前記半導体集積回路に供給された場合には、前記画像処理ユニットは前記警報の生成を禁止することを特徴とする請求項７に記載の半導体集積回路。
【請求項９】
前記画像メモリは前記半導体集積回路の半導体チップとは別のチップに集積化されたダイナミックランダムアクセスメモリであることを特徴とする請求項８に記載の半導体集積回路。
【請求項１０】
前記画像メモリは前記半導体集積回路の半導体チップに集積化されたダイナミックランダムアクセスメモリであることを特徴とする請求項８に記載の半導体集積回路。
【請求項１１】
映像入力装置と画像処理ユニットと映像出力装置とを具備する半導体集積回路の動作方法であって、
前記映像入力装置はカメラと接続可能とされて、前記カメラによって撮影される車両の前方空間の映像信号が供給可能とされ、前記映像信号を画像メモリに格納可能とされ、
前記画像処理ユニットは、前記画像メモリに格納された前記映像信号に基づいて１フレームでの直線上の画素の輝度分布の獲得による濃度累積処理によって、前記１フレームに含まれる道路白線を認識可能とされ、
前記画像処理ユニットは、前記道路白線を認識した後、前記映像出力装置によって表示装置の画面に表示される前記画像メモリの表示画像データに認識された前記道路白線としての表示直線を描画可能とされ、
前記映像出力装置は、前記表示直線が描画された前記画像メモリの前記表示画像データを、前記表示装置の前記画面に表示可能とされ、
前記半導体集積回路は、前記画像メモリに格納された前記前方空間の前記映像信号の３次元遠近画像を平面視２次元画像に変換して、当該平面視２次元画像を前記画像メモリに格納する３次元画像処理機能を更に具備して、
前記画像処理ユニットは、前記３次元画像処理機能によって変換され前記画像メモリに格納された前記平面視２次元画像で構成される前記１フレームでの前記濃度累積処理によって前記１フレームに含まれる道路白線を認識可能とされ、
前記動作方法は、
前記カメラによって撮影された前記車両の前方空間の前記映像信号を前記画像処理ユニットによって前記画像メモリに格納するステップと、
前記画像メモリに格納された前記前方空間の前記映像信号の前記３次元遠近画像を前記３次元画像処理機能によって前記平面視２次元画像に変換して、前記平面視２次元画像を前記画像メモリに格納するステップと、
前記３次元画像処理機能によって変換され前記画像メモリに格納された前記平面視２次元画像で構成される前記１フレームでの前記画像処理ユニットによる前記濃度累積処理によって前記１フレームに含まれる前記道路白線を認識するステップと、
前記道路白線を認識した後、前記映像出力装置によって表示装置の画面に表示される前記画像メモリの表示画像データに認識された前記道路白線としての前記表示直線を前記画像処理ユニットによって描画するステップと、
前記表示直線が描画された前記画像メモリの前記表示画像データを、前記映像出力装置によって前記表示装置の前記画面に表示するステップとを、
含むことを特徴とする半導体集積回路の動作方法。
【請求項１２】
前記画像処理ユニットは、前記平面視２次元画像の手前の２本の白線間スペースと遠方の２本の白線間スペースとを比較することによって、前記車両の前記前方空間の路面の勾配を判断可能とされたことを特徴とする請求項１１に記載の半導体集積回路の動作方法。
【請求項１３】
前記路面の前記勾配に関する情報は、前記車両のスピードを制御するスピード制御装置に供給可能とされたことを特徴と請求項１２に記載の半導体集積回路の動作方法。
【請求項１４】
前記３次元画像処理機能はハードウェアで構成された３Ｄグラフィック処理装置であることを特徴とする請求項１３に記載の半導体集積回路の動作方法。
【請求項１５】
前記半導体集積回路は、左面画像処理装置と右面画像処理装置とを更に具備して、
前記左面画像処理装置は前記車両の左方空間の映像信号を処理可能とされ、前記右面画像処理装置は前記車両の右方空間の映像信号を処理可能とされ、
前記画像処理ユニットは、前記左面画像処理装置の左方処理情報と前記右面画像処理装置の左方処理情報とから、前記画像処理ユニットによって認識される２本の白線に対しての前記車両の位置を判断可能とされたことを特徴とする請求項１４に記載の半導体集積回路の動作方法。
【請求項１６】
前記画像処理ユニットによって判断された前記車両の位置の情報に基づき、前記２本の白線の認識処理のための前記画像処理ユニットによる前記濃度累積処理の範囲が制限されることを特徴とする請求項１５に記載の半導体集積回路の動作方法。
【請求項１７】
前記左面画像処理装置の前記左方処理情報と前記右面画像処理装置の前記左方処理情報とのいずれかが前記画像処理ユニットによって認識される前記２本の白線のいずれか一本と前記車両との間の距離が小さくなり過ぎることに応答して、前記画像処理ユニットは警報の生成を指示するものであることを特徴とする請求項１６に記載の半導体集積回路の動作方法。
【請求項１８】
前記車両の方向指示器が操作されたことを示す操作信号が前記半導体集積回路に供給された場合には、前記画像処理ユニットは前記警報の生成を禁止することを特徴とする請求項１７に記載の半導体集積回路の動作方法。
【請求項１９】
前記画像メモリは前記半導体集積回路の半導体チップとは別のチップに集積化されたダイナミックランダムアクセスメモリであることを特徴とする請求項１８に記載の半導体集積回路の動作方法。
【請求項２０】
前記画像メモリは前記半導体集積回路の半導体チップに集積化されたダイナミックランダムアクセスメモリであることを特徴とする請求項１８に記載の半導体集積回路の動作方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１１−１１４５２４（Ｐ２０１１−１１４５２４Ａ）
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願番号】特願２００９−２６８４０５（Ｐ２００９−２６８４０５）
【出願日】平成２１年１１月２６日（２００９．１１．２６）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願日】平成２１年１１月２６日（２００９．１１．２６）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
[ Back to top ]