画像認識装置
【課題】 画像認識装置の信頼性を向上する。
【解決手段】 自動車などの車両に搭載したカメラ１によって走行方向前方を撮像し、道路の走行レーンを表示する白線を認識処理し、運転支援、自動運転を行う。条件検出手段は、カメラ１からの画像データを演算処理し、認識処理が不可能である条件、たとえば逆光、雨上がりなどによって画像が明るすぎるとき、夜間などで画像が暗すぎるとき、薄暮、雪などによって画像が低コントラストであるとき、さらに逆光などによるスミアが発生しているときなどの条件を検出する。報知手段１２は、このような認識処理が不可能である条件を報知する。したがってカメラ１が故障などして異常であったか、またはカメラへの入力画像が異常、または不適切であったかを判断することができる。
【解決手段】 自動車などの車両に搭載したカメラ１によって走行方向前方を撮像し、道路の走行レーンを表示する白線を認識処理し、運転支援、自動運転を行う。条件検出手段は、カメラ１からの画像データを演算処理し、認識処理が不可能である条件、たとえば逆光、雨上がりなどによって画像が明るすぎるとき、夜間などで画像が暗すぎるとき、薄暮、雪などによって画像が低コントラストであるとき、さらに逆光などによるスミアが発生しているときなどの条件を検出する。報知手段１２は、このような認識処理が不可能である条件を報知する。したがってカメラ１が故障などして異常であったか、またはカメラへの入力画像が異常、または不適切であったかを判断することができる。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、カメラによって撮像した画像データによって物体などの認識処理を行う画像認識装置に関し、特に自動車などの車両に搭載され、自動車の前方、側方または後方などに光軸が向けられて搭載された車載カメラからの画像データによって、たとえば道路に描かれた走行レーンを表す白線および他の車両の有無などを認識し、運転者に報知し、または車両の運転制御を行う運転支援、自動運転装置に好適に実施される画像認識装置に関する。
【０００２】
【従来の技術】このような運転支援、自動運転装置用画像認識装置では、認識する対象物体であるたとえば道路の白線または先行車両を、カメラからの画像データによって画像認識することができない場合、画像認識不可能であると判断している。
【０００３】図２０は、上述の先行技術の動作を説明するためのフローチャートである。ステップｇ１からステップｇ２に移り、カメラからの画像データをコンピュータなどによって実現される処理手段に入力する。ステップｇ３では、この画像データを用いて、道路上に描かれた走行レーンを表示する白線などの物体を認識する認識処理を行う。ステップｇ４において認識処理が可能であるとき、ステップｇ５において白線の認識が可能であることを表す信号を導出し、ステップｇ７では、その信号を用いて、運転支援、自動運転などのための動作が実施される。ステップｇ６では、白線の認識処理が不可能であることを表す信号が導出され、これによって運転支援、自動運転の動作が停止される。
【０００４】このような先行技術では、画像認識の処理が不可能である条件が、たとえば雨または雪などの周囲環境によるのか、またはカメラもしくはそのカメラからの画像データを認識処理する回路が故障して異常であるのかを判断することができない。したがって画像認識装置の信頼性が劣る結果になる。
【０００５】また画像認識装置の認識性能を向上させ、すなわち適用範囲を拡大すると、物体の認識率は向上するけれども、これと同時に、誤認識も増加することがある。したがって操作者は、カメラからの画像データの認識処理を適切に行うことができるか、または認識処理が不可能であるかを知る必要が生じる。
【０００６】特に前述の運転支援、自動運転装置では、カメラからの画像データの認識処理を適切に行うことができるかどうかを正確に判断することが、安全運転の観点から必要であり、さもなければ、運転支援、自動運転装置を使用することができなくなってしまう。
【０００７】
【発明が解決しようとする課題】本発明の目的は、たとえば運転支援、自動運転装置などの用途において、カメラによって撮像して得られる画像データを用いて対象物体の認識処理を行うことができるかどうかを判断する画像認識装置を提供することである。
【０００８】
【課題を解決するための手段】本発明は、カメラと、カメラからの画像データを演算処理し、認識処理が不可能である条件を検出する条件検出手段と、条件検出手段の出力に応答し、認識処理が不可能である条件を報知する報知手段と、条件検出手段の出力に応答し、認識処理が可能であるとき、カメラからの画像データの認識処理をする認識処理手段とを含むことを特徴とする画像認識装置である。
【０００９】本発明に従えば、条件検出手段によって、カメラからの画像データの認識処理を認識処理手段によって行うことができるかどうかを判断し、認識処理が不可能であるとき、その条件、すなわち原因を検出し、報知手段によって報知する。この報知手段は、液晶または陰極線管などの２次元表示面を有する目視表示手段であってもよく、または音声合成回路とスピーカとを有する音響表示手段であってもよく、その他の構成を有する報知手段であってもよい。したがってたとえば運転支援、自動運転装置用画像処理装置において、カメラによって撮像した先行車両を認識処理手段が認識処理することができない場合、先行車両がいないことによって認識できなかったのか、またはカメラからの画像データが異常でありもしくは動作が不適切であることによって認識できないのかを、操作者は、知ることができる。こうして画像認識装置の信頼性が確保される。
【００１０】また本発明は、カメラと、カメラからの画像データを演算処理し、認識処理が不可能である条件を検出する条件検出手段と、条件検出手段の出力に応答し、カメラへの入力画像を補正し、またはカメラからの画像データを補正する補正手段と、入力画像が補正手段によって補正されたカメラからの画像データ、または補正手段によって補正された画像データの認識処理をする認識処理手段とを含むことを特徴とする画像認識装置である。
【００１１】本発明に従えば、条件検出手段によって、カメラからの画像データを認識処理手段が認識処理することが不可能であると判断したとき、補正手段は、カメラへの入力画像を補正し、たとえば（ａ）カメラの絞りまたはシャッタ速度を適正値に変更して露光条件を補正し、または（ｂ）自動車の車室内にカメラが搭載され、車両の前方を撮像する構成において、フロントガラスの外周面を払拭するワイパを自動的に作動させて正常な前方の状況をカメラによって撮像することができるように補正する。補正手段はまた、カメラからの画像データを補正するように構成されてもよく、たとえば（ｃ）カメラからの画像データが、濃淡を表すアナログ信号である場合、条件検出手段によって画像データが低コントラストであることが判断されたとき、アナログ信号をデジタル信号に変換するアナログ／デジタル変換への感度を広げ、すなわちアナログ信号のわずかな差毎に、デジタル信号に変換するように構成し、こうしてカメラからの画像データを補正することができる。
【００１２】こうして入力画像が補正されたカメラからの画像データを用いて、またはカメラからの画像データを補正することによって、認識処理手段は、その画像データの認識処理を行うことができる。こうして条件検出手段によって画像データの認識処理が不可能であると判断されたとき、補正手段の働きによって、対応環境とされる利用領域を拡大し、画像認識装置の性能を向上させることができる。
【００１３】また本発明は、カメラと、カメラの周囲環境を検出するセンサと、カメラからの画像データの認識処理をする認識処理手段と、センサの出力に応答し、認識処理手段によって、カメラからの画像データの認識処理が不可能である条件を検出する条件検出手段と、条件検出手段の出力に応答し、認識処理が不可能である条件を報知する報知手段とを含むことを特徴とする画像認識装置である。
【００１４】本発明に従えば、センサによってカメラの周囲環境を検出し、このセンサによって検出された周囲環境が、認識処理手段によるカメラからの画像データの認識処理が不可能である条件であるかを、条件検出手段によって判断し、認識処理が不可能であるとき、報知手段によって認識処理が不可能である条件を検出して判断するために、カメラからの画像データを演算処理する必要がなく、センサの出力を用いるようにしたので、演算処理量を減少し、迅速な演算処理不可能条件の判断を行うことができる。
【００１５】また本発明は、条件検出手段は、センサの出力によって検出された条件と、カメラからの画像データを演算処理することによって検出された条件とが、一致したとき、その条件を表す出力を報知手段に与えることを特徴とする。
【００１６】本発明に従えば、認識処理手段による画像データの認識処理が不可能である条件を、センサの出力だけでなく、カメラからの画像データを演算処理することによってもまた検出する。こうして得られた認識処理不可能の条件が一致したとき、その認識処理不可能な条件を、報知手段によって報知するようにしたので、認識処理が不可能である条件の判断を高精度で達成することができるようになる。
【００１７】
【発明の実施の形態】図１は、本発明の実施の一形態の画像認識装置を備える運転支援、自動運転装置の全体の構成を示すブロック図である。カメラ１からの画像データは、マイクロコンピュータによって実現される処理回路２に与えられ、これによって制御回路３は、自動車の車体を走行駆動する内燃機関４を制御するとともに、制動手段５を制御する。カメラ１によって、自車よりも走行方向前方を走行している先行車両を検出し、その先行車両と自車との間の距離を処理手段２によって測定し、この距離が予め定める値に保たれるように、制御回路３は、内燃機関４と制動手段５とを制御し、こうして先行車両が走行すると、自車も走行し、また先行車両が停止すると自車も停止するように、自動運転が行われる。さらに処理手段２では、カメラ１によって撮像された画像データを認識処理し、車両の前方の道路に描かれた走行レーンを表す白線を検出する。この検出された白線が、車両の左右に短い周期で変動したとき、運転者が居眠りをしているものと判断して、たとえばブザーなどの音響表示手段によって音響を発生し、居眠り運転を防止し、運転支援を行う。
【００１８】図２は、自動車の車体６の簡略化した側面図である。運転者用座席７が設けられた車室８内には、車体６の背後である走行方向後方を見るためのルームミラーである反射鏡９が設けられ、この反射鏡９の走行方向前方（図２の左方）にはカメラ１が設けられる。さらにカメラ１の前方には、フロントガラス１０が配置される。フロントガラス１０の外表面は、ワイパ１１によって払拭することができる。
【００１９】図３は、処理手段２の動作を説明するためのフローチャートである。ステップａ１からステップａ２に移り、カメラ１によって撮像された車体６の走行方向前方の景色の画像データが処理回路２に入力される。ステップａ３では、カメラ１からの画像データを演算処理し、道路に描かれた白線である物体の認識処理が不可能である条件を検出して判断する。ステップａ４において白線である物体の認識処理が可能であるとき、ステップａ５では、その物体の認識処理を行う。ステップａ６では、物体の認識処理が行われ、その物体が認識されたかどうかが判断される。道路上の白線が検出されていれば、ステップａ７では、その物体である白線が認識されたことを表す信号が導出される。これとは逆に、白線である物体が認識されなければ、車体６は、道路の走行レーンを外れて走行しているおそれがあり、このとき白線が認識されていないことを表す信号を、ステップａ８において導出する。ステップａ９では、白線が認識されているとき、車体６は走行レーンを走行しているものと判断することができ、このとき制御回路３によって、内燃機関４および制動手段５を制御して自動運転動作を行うとともに、居眠り防止のための運転支援動作を行う。白線がステップａ８において認識されないとき、制御回路３による自動運転動作を停止する。
【００２０】ステップａ４においてステップａ５における物体の認識処理が不可能である条件を検出したとき、ステップａ９では、その認識処理が不可能である条件を、報知手段１２によって報知する。報知手段１２は、たとえば液晶または陰極線管などの２次元表示面に目視表示をする手段であってもよく、または音声合成回路とスピーカを備えた音響表示手段であってもよく、その他の報知を行う構成を有していてもよい。認識処理が不可能である条件というのは、たとえば表１に示される条件が挙げられる。
【００２１】
【表１】
【００２２】図４は、図１に示される処理手段２の動作の一部をさらに詳細に示すフローチャートである。図４のステップｂ２は、図３のステップａ３と同一であって、認識処理が不可能であるかどうかの判断を行うステップである。図３のステップａ４の具体的な動作は、図４のステップｂ３〜ｂ１０に示される。これらの各ステップｂ３〜ｂ１０の動作は、表２に示される画像の現象１〜８にそれぞれ対応する。
【００２３】
【表２】
【００２４】図５は、カメラ１によって撮像され報知手段１２の２次元表示面に表示された画像１６を示す正面図である。この２次元表示面１６の画面全体１７には、斜線を施して示す道路部分１８と、車体６の前部である自車ボデー部１９とが含まれる。
【００２５】図４のステップｂ２では、上述の表２に示される判断動作が行われる。次のステップｂ３では、カメラ１によって撮像された画像が、逆光、雨上がりなどの認識不可能条件によって、画像が明る過ぎるかが判断される。この判断のために表２の判断動作１ａ〜１ｃが実行される。
【００２６】図６は、判断動作１ａを説明するための図である。図６（１）に示されるように画面全体の画像が逆光によって明る過ぎると判断する際、図６（２）に示される濃度ヒストグラムを求める。この濃度ヒストグラムは、横軸が階調１（黒）〜２５６（白）であり、縦軸は、その濃度を有する画素数である。画面の各画素毎に、８ビットから成る画像データが得られる。図６（２）の濃度ヒストグラムでは、輝度値すなわち濃度の分布の傾向が、ほとんど白であることが判る。このような濃度ヒストグラムにおいて、たとえば濃度２０１以上の画素数が予め定める値以上であるとき、画像が明る過ぎると判断することができる。
【００２７】画面を構成する画素の輝度値すなわち濃度の階調というのは、画像のデータをデジタル値に変換したときの明るさ、すなわち濃淡度を示し、モノクロ画像の場合、１画素につき、８ビットの分解能０〜２５５の値によって輝度値が表される。濃度ヒストグラムは、画像の処理対象領域内の全画素を、各輝度値毎に分布状態を求めたグラフである。
【００２８】本発明の実施の他の形態では、画像が明る過ぎることを判断する判断動作１ｂでは、画面の一部分（たとえば図５に示される道路部分１８）の濃度ヒストグラムを求め、その輝度値の分布の傾向がほとんど白であるとき、画像が明る過ぎるものと判断する。本発明の実施のさらに他の形態では、判断動作１ｃにおいて、カメラ１の入力画像において、常に同じ状態の部分（たとえば図５の自車ボデー部１９）の平均濃度を演算して求め、この濃度値が通常走行時の平均濃度と比べ、予め定める差以上の差があるとき、画像が明る過ぎると判断する。
【００２９】図４のステップｂ４では、カメラ１によって撮像された画像が、認識不可能条件である夜間などによって、画像が暗過ぎるかが判断される。図７（１）は、夜間、カメラ１によって撮像された画像が暗過ぎる状態を示すための図である。図７（１）では、暗過ぎる画像を示し、図７（２）は、その図７（１）の画像の濃度ヒストグラムである。この画像が暗過ぎるための判断動作２ａは、画面全体の濃度ヒストグラムを、図７（２）に示されるようにして求め、その輝度値の分布の傾向がほとんど黒であるとき、画像が暗過ぎるものと判断する。すなわち濃度ヒストグラムにおいて、たとえば濃度５１未満における画素数が予め定める値以上であるとき、画像が暗過ぎるものと判断する。
【００３０】本発明の実施の他の形態の判断動作２ｂでは、画面の一部分（たとえば図５の道路部分１８）の濃度ヒストグラムを求め、その輝度値の分布の傾向がほとんど黒であるとき、画像が暗過ぎるものと判断する。
【００３１】本発明の実施のさらに他の形態の判断動作２ｃでは、カメラ１の入力画像における常に同じ状態の部分（たとえば図５の自車ボデー部１９）の平均濃度を求め、この濃度値が通常走行時の平均濃度と比べ、暗過ぎるとき、画像が暗過ぎるものと判断する。
【００３２】図４のステップｂ５では、画像が、薄暮、霧などによって低コントラストであるかが判断される。図８は、画像が低コントラストであるときの状態を示す図である。図８（１）は低コントラストの画像を示し、図８（２）はその画像の濃度ヒストグラムを示す。画像が低コントラストであると判断する判断動作３ａでは、画面全体の濃度ヒストグラムを求め、その輝度値の分布の傾向が、一部に集中しているとき、画面が低コントラストであるものと判断する。このために濃度ヒストグラムにおいて予め定める画素数以上を有する濃度の範囲が予め定める濃度値未満であるとき、低コントラストであるものと判断する。
【００３３】本発明の実施の他の形態では、画面が低コントラストであると判断する判断動作３ｂにおいて、画面の一部分（たとえば図５の道路部分１８）の濃度ヒストグラムを求め、その輝度値の分布の傾向が一部に集中するとき、低コントラストであるものと判断する。
【００３４】ステップｂ６では、カメラ１によって撮像された画像にスミアが発生していることを判断し、このようなスミアの発生は、逆光などの認識不可能条件において発生する。スミアというのは、次の図９（１）に示されるように、カメラ１の外光の影響で画面に発生する縦縞模様をいう。
【００３５】図９は、カメラ１によって撮像された画像にスミアが発生した状態を説明するための図である。図９（１）の画像では、スミアである縦縞模様２０が表示されている。この画像の垂直方向への濃度投影は図９（２）に示される。図９（２）において横軸は、画面の水平方向の位置であり、縦軸は垂直方向の各画素の濃度の合計値である濃度和を表す。スミアの発生を判断する判断動作４ａでは、画像全体の垂直方向への濃度投影を求め、その投影値の一部が参照符２１で示されるように突出しているとき、スミアが発生しているものと判断する。
【００３６】図１０は、図４のステップｂ２においてスミアが発生している判断動作４ａの具体的な動作を説明するための図である。ステップｃ１からステップｃ２に移り、図９（２）に示される画像全体の垂直方向への濃度投影において、水平方向（図９（２）の横方向）に各画素の位置毎に、まず、第１ピークｐ１が存在するかどうか、すなわち両側の濃度和よりも高い濃度和を有する位置であるかを判断する。次のステップｃ３では、その第１ピークｐ１の両側±Ｌの範囲を設定する。この±Ｌは、たとえば自己の画素の位置の両側に±１０画素分の範囲である。ステップｃ４では、この範囲±Ｌにおける第１ピークｐ１よりも高い、または低い第２ピークｐ２を求める。ステップｃ５では、第１および第２ピークｐ１，ｐ２の差ΔＰ（＝│ｐ１−ｐ２│）を演算して求める。ステップｃ６では、差Δｐが、予め定める値Δｐ１以上であるか（Δｐ≧Δｐ１）が判断される。差Δｐが、予め定める値Δｐ１以上であるとき、ステップｃ７では、スミアが発生したものと判断する。
【００３７】本発明の実施の他の形態では、スミアの発生を判断する判断動作４ｂにおいて、画面の一部分（たとえば図５の道路部分１８）の垂直方向への濃度投影を求め、その投影値の一部が突出しているとき、スミアの発生であると判断する。
【００３８】図４のステップｂ７では、画面が、霧、カメラ異常、フロントガラス１０の汚れなどの認識不可能条件によってぼやけており、すなわちぼんやりしていることが判断される。
【００３９】図１１は画面がぼんやりしている状態を説明するための図であり、図１２は同一被写体の画面が順光においてぼやけていない明瞭である状態を説明するための図である。図１１（１）に示されるぼやけた画面の画面全体の垂直方向への濃度投影は図１１（２）に示される。図１２（１）の明瞭な画面の画面全体の垂直方向への濃度投影は図１２（２）に示される。図１１（２）は、画面の水平方向の各画素位置に対応するエッジ値の垂直方向の和を示し、このことは図１２（２）においても同様である。画面がぼやけているかどうかの判断動作においては、エッジ抽出の手法が実行される。このエッジ値は、画像中で、輝度値が急激に変化する部分を取出した値であり、エッジ抽出を行うことによって、画像中の物体の輪郭線を抽出することができる。
【００４０】図１３は、エッジ値を抽出するための演算係数を示す図である。座標（ｉ，ｊ）のエッジ値をΔｆ（ｉ，ｊ）とし、濃度値をｆ（ｉ，ｊ）とすると、 Δｆ（ｉ，ｊ）＝ｆ（ｉ−１，ｊ−１）＋２ｆ（ｉ−１，ｊ）
＋ｆ（ｉ−１，ｊ＋１）−ｆ（ｉ＋１，ｊ−１）
−２ｆ（ｉ＋１，ｊ）−ｆ（ｉ＋１，ｊ＋１） …（１）
画面がぼやけているという判断動作５ａでは、画面全体の図１１（２）および図１２（２）に示されるエッジ画像を求め、予め定める所定数以上のエッジ値が得られないとき、画面がぼやけているものと判断する。本発明の実施の他の形態では、画面がぼやけていると判断する判断動作５ｂにおいて、画面の一部分（たとえば図５の道路部分１８）のエッジ画像を求め、所定数以上のエッジ値が得られないとき、画面がぼやけていると判断する。本発明の実施のさらに他の形態では、画面がぼやけていると判断する判断動作５ｃにおいて、常に輪郭線が得られる部分（たとえば図５の自車ボディ部１９と道路との境目部分）のエッジ値を求め、所定数以上のエッジ値が得られないとき、画面がぼやけているものと判断する。
【００４１】図１４は、図４のステップｂ８において、カメラ１による画像が、雨などがフロントガラス１０の外表面に付着するなどの認識不可能条件によって、にじんでいる状態を説明するための図である。図１４（１）では、にじんでいる画像が示され、図１４（２）では、図１４（１）における画像の垂直方向へのエッジ投影を示す。画像がにじんでいる際、判断動作６ａでは、認識した対象物体のエッジの長さおよび方向が不適切に歪んでいるとき、画像がにじんでいるものと判断する。エッジの長さは、図１４（２）において予め定めるエッジ和が、予め定める値以上である長さＬ１が得られたとき、画像がにじんでいるものと判断してもよい。
【００４２】図４のステップｂ９では、車両が移動しているのにもかかわらず、カメラ１によって撮像される画像が変化しない現象が生じたとき、カメラが故障などして異常であるなどの認識不可能条件を判断する判断動作７ａが行われる。この判断動作７ａでは、車体６の車輪速度を検出する検出手段からの出力が得られ、しかも順次的な複数画面の画像が変化していないとき、画像が変化なしと判断される。
【００４３】本発明の実施の他の形態では、表２において、車両が移動しているのにもかかわらず画像が変化無と判断する判断動作７ｂにおいて、画像全体の前回の入力画像との差分を求め、所定数以上の差分値が得られないとき、画像が変化無と判断する。差分というのは、時間的に隣り合う２枚の画像の対応する各画素の輝度値の差を求めた値であり、画像に変化が無ければ、または少なければ、差分値は零または小さい値になる。こうして前入力画像と今回の現在の画像との対応する画素毎の輝度値の差を求めて、レベル弁別することによって、画像が変化無であるものと判断することができる。
【００４４】本発明の実施のさらに他の形態では表２において、車両が移動しているのにもかかわらず、画像が変化無と判断する判断動作７ｃにおいて、画面の一部分（たとえば図５の道路部分１８）の前入力画像と現在の入力画像との差分を上述のように求め、所定数以上の差分値が得られないとき、画像が変化無と判断する。
【００４５】表２に示されるその他の画像の現象として、カメラの故障などに起因した異常である認識不可能条件を判断する判断動作８ａでは、カメラ１から得られる画像信号中に含まれる水平または垂直の同期信号のレベルが異常であり、判断動作８ｂでは、その画像信号中の映像信号のレベルが異常であり、判断動作８ｃでは、画像信号中の同期信号の間隔すなわち周期が異常であるとき、カメラ異常である認識不可能条件が発生したものと判断する。画像信号とは、映像信号と水平、垂直の同期信号とを含む複合映像信号である。ＮＴＳＣ（National TelevisionStandard Comittee）方式の同期信号では、白レベルおよび同期信号の上部分と底との値が定められ、また垂直同期信号の間隔は１６．７ｍｓｅｃであり、水平同期信号の間隔は６３．５μｓｅｃに定められている。
【００４６】上述の表２の画像の現象１〜８が、図４のステップｂ３〜ｂ１０で検出されたとき、認識処理が不可能である条件を、図３のステップａ９において報知手段１２によって報知される。
【００４７】図１５は、本発明の実施の他の形態の全体の構成を示すブロック図である。この実施の形態は、前述の図１〜図１４の実施の形態に類似し、対応する部分には同一の参照符を付す。この実施の形態では、前述の実施の形態における表２の画像の現象を判断して認識不可能条件を報知した後、すぐに画像認識不可能と判断するのではなく、カメラ１への入力画像を補正し、またはカメラからの画像データを補正し、これによって画像認識処理が可能である状態とする。図１５においてフロントガラス１０の外表面を払拭するワイパ１１の駆動手段が、処理回路２によって制御される。カメラ１からの画像データのアナログ信号は、アナログ／デジタル変換器２３においてデジタル信号に変換され、処理回路本体２４において前述と同様な演算処理動作が行われる。カメラ１の受光量調節手段２５は、処理手段２からの制御信号に応答し、カメラ１の絞りおよび／またはシャッタ速度を調整する。その他の構成と動作は、前述の実施の形態と同様である。
【００４８】図１６は、図１５に示される実施の形態の処理回路本体２４の動作を説明するためのフローチャートである。図１６のステップｄ２，ｄ４〜ｄ８は、前述の実施の形態における図３のステップａ２，ａ５〜ａ９と同様である。ステップｄ１からステップｄ２に移り、カメラ１の画像データがアナログ／デジタル（Ａ／Ｄ）変換器２３を経て処理回路本体２４に与えられる。ステップｄ３では、認識不可判断を行い、認識不可の場合に入力画像データを補正する。その補正後に、認識処理を行い、画像認識可能状態とし、またこのような補正後においても認識処理が不可能であるとき、その認識処理が不可能な領域を、認識処理領域から除外してもよい。ステップｄ４では、得られた補正後の画像データを認識処理し、たとえば道路の前記白線などの物体の認識処理を行う。認識不可能条件が存在しないとき、ステップｄ２で与えられたカメラ１からの画像データが、ステップｄ４においてそのまま認識処理される。その他の動作は、前述の実施の形態と同様である。
【００４９】図１７は、図１５および図１６に示される実施の形態において、図１６のステップｄ３のさらに具体的な動作を説明するためのフローチャートである。ステップｅ１〜ｅ５では、表３に示される画像の現象および画像の認識処理不可能条件１〜４，６を、表２の判断動作によって実行する。これらの画像の現象と認識不可能条件１〜４，６は、表２に示される画像の現象および認識不可能条件の参照符と同様である。
【００５０】
【表３】
【００５１】図１７のステップｅ１において画面が明る過ぎると判断されたときおよびステップｅ２において画面が暗過ぎると判断されたとき、ステップｅ６に移り、フラグａが論理「１」であるかが判断される。初期状態において、フラグａは論理「０」である。そこでステップｅ６からステップｅ７に移り、フラグａが論理「１」にされ、ステップｅ８では、カメラ１に備えられる絞りおよび／またはシャッタ速度が調整され、画像認識が可能な状態に調整される。その後再びステップｅ１，ｅ２に戻る。絞りおよび／またはシャッタ速度が調整されたにもかかわらず、画像が明る過ぎたり、または画像が暗過ぎたりしたとき、再びｅ６に移り、フラグａが論理「１」であるので、次のステップｅ９では、画像の全体の認識処理領域から、認識不可能条件を有する領域を外す。ステップｅ１０では、フラグａを論理「０」に戻す。こうして前述の図１６におけるステップｄ４で、物体の認識処理を行う。
【００５２】図１７のステップｅ３において、画像のコントラストが低いと判断されたとき、ステップｅ１１からステップｅ１２に移り、フラグｂが論理「１」とされ、次のステップｅ１３では、処理手段２に備えられているアナログ／デジタル変換器２３の感度を広げる。すなわちアナログ／デジタル変換器２３において、隣接するデジタル信号が表す入力アナログ信号のレベルの差を大きくし、コントラストを高くするように調整される。ステップｅ１３の次に、再びステップｅ１〜ｅ３に戻り、ステップｅ１１からステップｅ１４に移る。画面が依然として低コントラストであるとき、ステップｅ１４では、その認識不可能条件を有する領域を、画像全体の認識処理領域から外し、次のステップｅ１５では、フラグｂを論理「０」に戻す。こうして図１６のステップｄ４において物体の認識処理を行う。
【００５３】画像のスミアが発生したことが、ステップｅ４において判断されたとき、前述のステップｅ６に移る。ステップｅ４においてスミアの発生が検出されたとき、カメラ１に制御信号を送信し、スミアが発生しないようにレンズの絞りおよび／またはシャッタ速度を調整して変更する。この画像中にスミアが発生したとき、上述の調整動作によっては除外することができないとき、画像認識処理を行う際に、スミアが発生している領域を、認識処理領域から外す。これによってスミアが発生するときであっても、認識処理を行うことができる。
【００５４】ステップｅ５においてフロントガラス１０に雨滴が付着しているという認識不可能条件が判断されたとき、ステップｅ１６からステップｅ１７に移り、フラグｃが論理「１」とされる。ステップｅ１８では、ワイパ１１が駆動され、フロントガラス１０の外表面が払拭されて清浄化される。再びステップｅ５に戻り、ワイパ１１が駆動されたにもかかわらず、雨滴が付着しているという認識不可能条件が判断されると、ステップｅ１６からステップｅ１９に移り、その認識不可能条件が存在する領域が、画像の全体の認識処理領域から外される。ステップｅ２０では、フラグｃが論理「０」に戻される。その後物体の認識処理が図１６のステップｄ４において実行される。
【００５５】図１８は、本発明の実施のさらに他の形態の全体の構成を示すブロック図である。この実施の形態は前述の実施の形態に類似し、対応する部分には同一の参照符を付す。この実施の形態では、カメラ１の画像データを用いた認識処理不可能条件である周囲環境を判断するために、図１８の参照符２７〜３４で示される各種のセンサを用いる。各センサによる認識不可能条件は表４に示されるとおりである。
【００５６】
【表４】
【００５７】図１９は、図１８に示される処理回路２の動作を説明するためのフローチャートである。この図１９のステップｆ１においてワイパの動作を検出するセンサ２７がワイパの動作が行われない状態であることを検出し、または車体６に設けられた雨滴センサ２８が降雨状態を検出したとき、認識処理不可能条件を表す信号を導出する。
【００５８】ステップｆ２において路面の摩擦係数μをμセンサ２９によって検出し、その道路の摩擦係数μが、小さく、雨が降っている状態、雨上がりの状態または雪の状態である認識不可能条件を検出したとき、認識不可能条件を表す信号を導出する。これによって報知手段１２は、たとえば「道路状態不良のため、道路の白線が検出不可」と表示して報知する。
【００５９】ステップｆ３では、音センサ３０を用い、車体６に衝突する雨滴の音を検出する。音センサ３０によって雨滴の音が検出されるとき、認識不可能条件を表す信号を導出する。ステップｆ４では、車体６に設けられた高度計、湿度計、温度計を含むセンサ３１によって検出される高度、湿度および温度から霧が発生していること、したがって認識処理が不可能である条件を表す信号を導出する。
【００６０】ステップｆ８では、前述のステップｆ４において認識不可能条件である霧が発生していることが判断されたとき、ステップｆ８ではさらに、カメラ１からの画像データを演算処理し、前述の実施の形態と同様に認識処理が不可能である条件を検出して判断する。このステップｆ８において得られた画像データの演算処理による認識不可能条件が霧であることが判断され、したがってステップｆ４におけるセンサの出力によって検出された認識不可能条件である霧と一致したとき、その認識不可能条件を、ステップｆ９で報知手段１２によって報知する。ステップｆ８における各検出された条件が一致しないときには、認識処理を行うために、次のステップｆ５に移る。
【００６１】本発明の実施の他の形態では、ステップｆ８は省略され、ステップｆ４において認識不可能条件である霧が検出されたとき、認識処理を行わないようにして、ステップｆ９において報知を行うようにしてもよい。
【００６２】ステップｆ５において照度計３２によって、照度値が検出され、これによって認識不可能条件である逆光または真暗であることが検出されると、認識処理を行わず、この認識不可能条件である逆光または真暗であることが報知手段１２によって報知される。照度計の代わりに、指向性が高い日射センサが用いられ、日射強度が検出されるようにしてもよい。この日射センサによって、逆光または真暗である認識不可能条件を検出することができる。
【００６３】ステップｆ６では、時計の時刻と方位のセンサ３３によって、太陽の方向を推測し、これによってカメラ１が逆光であることを判断したとき、この認識不可能条件を報知手段１２によって報知し、認識処理を行わない。
【００６４】ステップｆ７では、ナビゲーション装置（略称ナビ）が備えている車両の現在位置を検出するＧＰＳ（Gloval Positioning System）装置からの衛星受信状態をセンサ３４によって検出し、受信できないとき、認識不可能条件であるトンネル内を走行中であることを報知手段１２によって報知し、認識処理を行わない。このＧＰＳ装置は、図１８において参照符３４で示されている。こうしてナビゲーションシステムでは、車両を、予め入力した目的地に到達するための経路を２次元表示面で表示し、しかも現在の自車位置をその２次元表示面上に表示された地図に表示する。このようなナビゲーション装置におけるＧＰＳ装置の出力を用いて、画像認識不可能条件を判断するので、認識不可能条件の判断のための構成を簡略化することができる。ナビゲーション装置に代えて、その他の各種の装置の構成の一部を、認識不可能条件の検出のために兼用するようにしてもよい。
【００６５】本発明の画像認識装置は、自動車などの車両に搭載されて実施されてもよいけれども、車両に搭載されずに、実施されてもよい。
【００６６】
【発明の効果】請求項１の本発明によれば、認識処理手段によるカメラからの画像データの認識処理が不可能であるとき、その不可能である条件、すなわち原因を、条件検出手段によって検出して判断し、報知手段によって報知されるので、カメラへの入力画像が異常であったかまたは不適切であったかどうかを操作者は判断することができ、こうして画像認識装置の信頼性を確保することができる。
【００６７】請求項２の本発明によれば、条件検出手段によって、認識処理が不可能である条件が検出されて判断されたとき、補正手段は、カメラへの入力画像を補正し、またはカメラから得られる画像データを補正し、これによって認識処理手段による対象物体の認識処理を可能にし、したがって対応環境とされる利用領域を拡大し、画像認識装置の性能を向上することができる。
【００６８】請求項３の本発明によれば、認識処理手段による物体の認識処理が不可能であるかどうかを、周囲環境を検出するセンサからの出力に基づいて条件検出手段が判断するようにしたので、カメラからの画像データの演算処理による認識不可能かどうかの判断を行う必要がなく、演算処理を軽減することができ、条件検出手段による認識処理が不可能である条件の検出判断を迅速に行うことができる。
【００６９】請求項４の本発明によれば、センサの出力によって検出された条件と、カメラからの画像データを演算処理することによって検出された認識処理手段の認識処理が不可能である条件とが、一致したとき、その一致した条件を報知手段によって出力するので、認識不可能の判断を高精度で行うことができ、画像認識装置の信頼性をさらに向上することができる。
【図面の簡単な説明】
【図１】本発明の実施の一形態の画像認識装置を備える運転支援、自動運転装置の全体の構成を示すブロック図である。
【図２】自動車の車体６の簡略化した側面図である。
【図３】処理手段２の動作を説明するためのフローチャートである。
【図４】は図１に示される処理手段２の動作の一部をさらに詳細に示すフローチャートである。
【図５】カメラ１によって撮像され報知手段１２の２次元表示面に表示された画像１６を示す正面図である。
【図６】カメラ１によって撮像された画像が明るすぎる状態を示す図である。
【図７】夜間、カメラ１によって撮像された画像が暗過ぎる状態を示すための図である。
【図８】画像が低コントラストであるときの状態を示す図である。
【図９】カメラ１によって撮像された画像にスミアが発生した状態を説明するための図である。
【図１０】図４のステップｂ２においてスミアが発生している判断動作４ａの具体的な動作を説明するための図である。
【図１１】画面がぼんやりしている状態を説明するための図である。
【図１２】同一被写体の画面が順光においてぼやけていない明瞭である状態を説明するための図である。
【図１３】エッジ値を抽出するための演算係数を示す図である。
【図１４】にじんでいる画像を説明するための図である。
【図１５】本発明の実施の他の形態の全体の構成を示すブロック図である。
【図１６】図１５に示される実施の形態の処理回路本体２４の動作を説明するためのフローチャートである。
【図１７】図１５および図１６に示される実施の形態において、図１６のステップｄ３のさらに具体的な動作を説明するためのフローチャートである。
【図１８】本発明の実施のさらに他の形態の全体の構成を示すブロック図である。
【図１９】図１８に示される処理回路２の動作を説明するためのフローチャートである。
【図２０】先行技術の動作を説明するためのフローチャートである。
【符号の説明】
１ カメラ
２ 処理回路
３ 制御回路
１０ フロントガラス
１１ ワイパ
１２ 報知手段
１６ 画像
２３ アナログ／デジタル変換器
２４ 処理回路本体
２５ 受光量調節手段
３２ 照度計
３３ 方位センサ
【０００１】
【発明の属する技術分野】本発明は、カメラによって撮像した画像データによって物体などの認識処理を行う画像認識装置に関し、特に自動車などの車両に搭載され、自動車の前方、側方または後方などに光軸が向けられて搭載された車載カメラからの画像データによって、たとえば道路に描かれた走行レーンを表す白線および他の車両の有無などを認識し、運転者に報知し、または車両の運転制御を行う運転支援、自動運転装置に好適に実施される画像認識装置に関する。
【０００２】
【従来の技術】このような運転支援、自動運転装置用画像認識装置では、認識する対象物体であるたとえば道路の白線または先行車両を、カメラからの画像データによって画像認識することができない場合、画像認識不可能であると判断している。
【０００３】図２０は、上述の先行技術の動作を説明するためのフローチャートである。ステップｇ１からステップｇ２に移り、カメラからの画像データをコンピュータなどによって実現される処理手段に入力する。ステップｇ３では、この画像データを用いて、道路上に描かれた走行レーンを表示する白線などの物体を認識する認識処理を行う。ステップｇ４において認識処理が可能であるとき、ステップｇ５において白線の認識が可能であることを表す信号を導出し、ステップｇ７では、その信号を用いて、運転支援、自動運転などのための動作が実施される。ステップｇ６では、白線の認識処理が不可能であることを表す信号が導出され、これによって運転支援、自動運転の動作が停止される。
【０００４】このような先行技術では、画像認識の処理が不可能である条件が、たとえば雨または雪などの周囲環境によるのか、またはカメラもしくはそのカメラからの画像データを認識処理する回路が故障して異常であるのかを判断することができない。したがって画像認識装置の信頼性が劣る結果になる。
【０００５】また画像認識装置の認識性能を向上させ、すなわち適用範囲を拡大すると、物体の認識率は向上するけれども、これと同時に、誤認識も増加することがある。したがって操作者は、カメラからの画像データの認識処理を適切に行うことができるか、または認識処理が不可能であるかを知る必要が生じる。
【０００６】特に前述の運転支援、自動運転装置では、カメラからの画像データの認識処理を適切に行うことができるかどうかを正確に判断することが、安全運転の観点から必要であり、さもなければ、運転支援、自動運転装置を使用することができなくなってしまう。
【０００７】
【発明が解決しようとする課題】本発明の目的は、たとえば運転支援、自動運転装置などの用途において、カメラによって撮像して得られる画像データを用いて対象物体の認識処理を行うことができるかどうかを判断する画像認識装置を提供することである。
【０００８】
【課題を解決するための手段】本発明は、カメラと、カメラからの画像データを演算処理し、認識処理が不可能である条件を検出する条件検出手段と、条件検出手段の出力に応答し、認識処理が不可能である条件を報知する報知手段と、条件検出手段の出力に応答し、認識処理が可能であるとき、カメラからの画像データの認識処理をする認識処理手段とを含むことを特徴とする画像認識装置である。
【０００９】本発明に従えば、条件検出手段によって、カメラからの画像データの認識処理を認識処理手段によって行うことができるかどうかを判断し、認識処理が不可能であるとき、その条件、すなわち原因を検出し、報知手段によって報知する。この報知手段は、液晶または陰極線管などの２次元表示面を有する目視表示手段であってもよく、または音声合成回路とスピーカとを有する音響表示手段であってもよく、その他の構成を有する報知手段であってもよい。したがってたとえば運転支援、自動運転装置用画像処理装置において、カメラによって撮像した先行車両を認識処理手段が認識処理することができない場合、先行車両がいないことによって認識できなかったのか、またはカメラからの画像データが異常でありもしくは動作が不適切であることによって認識できないのかを、操作者は、知ることができる。こうして画像認識装置の信頼性が確保される。
【００１０】また本発明は、カメラと、カメラからの画像データを演算処理し、認識処理が不可能である条件を検出する条件検出手段と、条件検出手段の出力に応答し、カメラへの入力画像を補正し、またはカメラからの画像データを補正する補正手段と、入力画像が補正手段によって補正されたカメラからの画像データ、または補正手段によって補正された画像データの認識処理をする認識処理手段とを含むことを特徴とする画像認識装置である。
【００１１】本発明に従えば、条件検出手段によって、カメラからの画像データを認識処理手段が認識処理することが不可能であると判断したとき、補正手段は、カメラへの入力画像を補正し、たとえば（ａ）カメラの絞りまたはシャッタ速度を適正値に変更して露光条件を補正し、または（ｂ）自動車の車室内にカメラが搭載され、車両の前方を撮像する構成において、フロントガラスの外周面を払拭するワイパを自動的に作動させて正常な前方の状況をカメラによって撮像することができるように補正する。補正手段はまた、カメラからの画像データを補正するように構成されてもよく、たとえば（ｃ）カメラからの画像データが、濃淡を表すアナログ信号である場合、条件検出手段によって画像データが低コントラストであることが判断されたとき、アナログ信号をデジタル信号に変換するアナログ／デジタル変換への感度を広げ、すなわちアナログ信号のわずかな差毎に、デジタル信号に変換するように構成し、こうしてカメラからの画像データを補正することができる。
【００１２】こうして入力画像が補正されたカメラからの画像データを用いて、またはカメラからの画像データを補正することによって、認識処理手段は、その画像データの認識処理を行うことができる。こうして条件検出手段によって画像データの認識処理が不可能であると判断されたとき、補正手段の働きによって、対応環境とされる利用領域を拡大し、画像認識装置の性能を向上させることができる。
【００１３】また本発明は、カメラと、カメラの周囲環境を検出するセンサと、カメラからの画像データの認識処理をする認識処理手段と、センサの出力に応答し、認識処理手段によって、カメラからの画像データの認識処理が不可能である条件を検出する条件検出手段と、条件検出手段の出力に応答し、認識処理が不可能である条件を報知する報知手段とを含むことを特徴とする画像認識装置である。
【００１４】本発明に従えば、センサによってカメラの周囲環境を検出し、このセンサによって検出された周囲環境が、認識処理手段によるカメラからの画像データの認識処理が不可能である条件であるかを、条件検出手段によって判断し、認識処理が不可能であるとき、報知手段によって認識処理が不可能である条件を検出して判断するために、カメラからの画像データを演算処理する必要がなく、センサの出力を用いるようにしたので、演算処理量を減少し、迅速な演算処理不可能条件の判断を行うことができる。
【００１５】また本発明は、条件検出手段は、センサの出力によって検出された条件と、カメラからの画像データを演算処理することによって検出された条件とが、一致したとき、その条件を表す出力を報知手段に与えることを特徴とする。
【００１６】本発明に従えば、認識処理手段による画像データの認識処理が不可能である条件を、センサの出力だけでなく、カメラからの画像データを演算処理することによってもまた検出する。こうして得られた認識処理不可能の条件が一致したとき、その認識処理不可能な条件を、報知手段によって報知するようにしたので、認識処理が不可能である条件の判断を高精度で達成することができるようになる。
【００１７】
【発明の実施の形態】図１は、本発明の実施の一形態の画像認識装置を備える運転支援、自動運転装置の全体の構成を示すブロック図である。カメラ１からの画像データは、マイクロコンピュータによって実現される処理回路２に与えられ、これによって制御回路３は、自動車の車体を走行駆動する内燃機関４を制御するとともに、制動手段５を制御する。カメラ１によって、自車よりも走行方向前方を走行している先行車両を検出し、その先行車両と自車との間の距離を処理手段２によって測定し、この距離が予め定める値に保たれるように、制御回路３は、内燃機関４と制動手段５とを制御し、こうして先行車両が走行すると、自車も走行し、また先行車両が停止すると自車も停止するように、自動運転が行われる。さらに処理手段２では、カメラ１によって撮像された画像データを認識処理し、車両の前方の道路に描かれた走行レーンを表す白線を検出する。この検出された白線が、車両の左右に短い周期で変動したとき、運転者が居眠りをしているものと判断して、たとえばブザーなどの音響表示手段によって音響を発生し、居眠り運転を防止し、運転支援を行う。
【００１８】図２は、自動車の車体６の簡略化した側面図である。運転者用座席７が設けられた車室８内には、車体６の背後である走行方向後方を見るためのルームミラーである反射鏡９が設けられ、この反射鏡９の走行方向前方（図２の左方）にはカメラ１が設けられる。さらにカメラ１の前方には、フロントガラス１０が配置される。フロントガラス１０の外表面は、ワイパ１１によって払拭することができる。
【００１９】図３は、処理手段２の動作を説明するためのフローチャートである。ステップａ１からステップａ２に移り、カメラ１によって撮像された車体６の走行方向前方の景色の画像データが処理回路２に入力される。ステップａ３では、カメラ１からの画像データを演算処理し、道路に描かれた白線である物体の認識処理が不可能である条件を検出して判断する。ステップａ４において白線である物体の認識処理が可能であるとき、ステップａ５では、その物体の認識処理を行う。ステップａ６では、物体の認識処理が行われ、その物体が認識されたかどうかが判断される。道路上の白線が検出されていれば、ステップａ７では、その物体である白線が認識されたことを表す信号が導出される。これとは逆に、白線である物体が認識されなければ、車体６は、道路の走行レーンを外れて走行しているおそれがあり、このとき白線が認識されていないことを表す信号を、ステップａ８において導出する。ステップａ９では、白線が認識されているとき、車体６は走行レーンを走行しているものと判断することができ、このとき制御回路３によって、内燃機関４および制動手段５を制御して自動運転動作を行うとともに、居眠り防止のための運転支援動作を行う。白線がステップａ８において認識されないとき、制御回路３による自動運転動作を停止する。
【００２０】ステップａ４においてステップａ５における物体の認識処理が不可能である条件を検出したとき、ステップａ９では、その認識処理が不可能である条件を、報知手段１２によって報知する。報知手段１２は、たとえば液晶または陰極線管などの２次元表示面に目視表示をする手段であってもよく、または音声合成回路とスピーカを備えた音響表示手段であってもよく、その他の報知を行う構成を有していてもよい。認識処理が不可能である条件というのは、たとえば表１に示される条件が挙げられる。
【００２１】
【表１】
【００２２】図４は、図１に示される処理手段２の動作の一部をさらに詳細に示すフローチャートである。図４のステップｂ２は、図３のステップａ３と同一であって、認識処理が不可能であるかどうかの判断を行うステップである。図３のステップａ４の具体的な動作は、図４のステップｂ３〜ｂ１０に示される。これらの各ステップｂ３〜ｂ１０の動作は、表２に示される画像の現象１〜８にそれぞれ対応する。
【００２３】
【表２】
【００２４】図５は、カメラ１によって撮像され報知手段１２の２次元表示面に表示された画像１６を示す正面図である。この２次元表示面１６の画面全体１７には、斜線を施して示す道路部分１８と、車体６の前部である自車ボデー部１９とが含まれる。
【００２５】図４のステップｂ２では、上述の表２に示される判断動作が行われる。次のステップｂ３では、カメラ１によって撮像された画像が、逆光、雨上がりなどの認識不可能条件によって、画像が明る過ぎるかが判断される。この判断のために表２の判断動作１ａ〜１ｃが実行される。
【００２６】図６は、判断動作１ａを説明するための図である。図６（１）に示されるように画面全体の画像が逆光によって明る過ぎると判断する際、図６（２）に示される濃度ヒストグラムを求める。この濃度ヒストグラムは、横軸が階調１（黒）〜２５６（白）であり、縦軸は、その濃度を有する画素数である。画面の各画素毎に、８ビットから成る画像データが得られる。図６（２）の濃度ヒストグラムでは、輝度値すなわち濃度の分布の傾向が、ほとんど白であることが判る。このような濃度ヒストグラムにおいて、たとえば濃度２０１以上の画素数が予め定める値以上であるとき、画像が明る過ぎると判断することができる。
【００２７】画面を構成する画素の輝度値すなわち濃度の階調というのは、画像のデータをデジタル値に変換したときの明るさ、すなわち濃淡度を示し、モノクロ画像の場合、１画素につき、８ビットの分解能０〜２５５の値によって輝度値が表される。濃度ヒストグラムは、画像の処理対象領域内の全画素を、各輝度値毎に分布状態を求めたグラフである。
【００２８】本発明の実施の他の形態では、画像が明る過ぎることを判断する判断動作１ｂでは、画面の一部分（たとえば図５に示される道路部分１８）の濃度ヒストグラムを求め、その輝度値の分布の傾向がほとんど白であるとき、画像が明る過ぎるものと判断する。本発明の実施のさらに他の形態では、判断動作１ｃにおいて、カメラ１の入力画像において、常に同じ状態の部分（たとえば図５の自車ボデー部１９）の平均濃度を演算して求め、この濃度値が通常走行時の平均濃度と比べ、予め定める差以上の差があるとき、画像が明る過ぎると判断する。
【００２９】図４のステップｂ４では、カメラ１によって撮像された画像が、認識不可能条件である夜間などによって、画像が暗過ぎるかが判断される。図７（１）は、夜間、カメラ１によって撮像された画像が暗過ぎる状態を示すための図である。図７（１）では、暗過ぎる画像を示し、図７（２）は、その図７（１）の画像の濃度ヒストグラムである。この画像が暗過ぎるための判断動作２ａは、画面全体の濃度ヒストグラムを、図７（２）に示されるようにして求め、その輝度値の分布の傾向がほとんど黒であるとき、画像が暗過ぎるものと判断する。すなわち濃度ヒストグラムにおいて、たとえば濃度５１未満における画素数が予め定める値以上であるとき、画像が暗過ぎるものと判断する。
【００３０】本発明の実施の他の形態の判断動作２ｂでは、画面の一部分（たとえば図５の道路部分１８）の濃度ヒストグラムを求め、その輝度値の分布の傾向がほとんど黒であるとき、画像が暗過ぎるものと判断する。
【００３１】本発明の実施のさらに他の形態の判断動作２ｃでは、カメラ１の入力画像における常に同じ状態の部分（たとえば図５の自車ボデー部１９）の平均濃度を求め、この濃度値が通常走行時の平均濃度と比べ、暗過ぎるとき、画像が暗過ぎるものと判断する。
【００３２】図４のステップｂ５では、画像が、薄暮、霧などによって低コントラストであるかが判断される。図８は、画像が低コントラストであるときの状態を示す図である。図８（１）は低コントラストの画像を示し、図８（２）はその画像の濃度ヒストグラムを示す。画像が低コントラストであると判断する判断動作３ａでは、画面全体の濃度ヒストグラムを求め、その輝度値の分布の傾向が、一部に集中しているとき、画面が低コントラストであるものと判断する。このために濃度ヒストグラムにおいて予め定める画素数以上を有する濃度の範囲が予め定める濃度値未満であるとき、低コントラストであるものと判断する。
【００３３】本発明の実施の他の形態では、画面が低コントラストであると判断する判断動作３ｂにおいて、画面の一部分（たとえば図５の道路部分１８）の濃度ヒストグラムを求め、その輝度値の分布の傾向が一部に集中するとき、低コントラストであるものと判断する。
【００３４】ステップｂ６では、カメラ１によって撮像された画像にスミアが発生していることを判断し、このようなスミアの発生は、逆光などの認識不可能条件において発生する。スミアというのは、次の図９（１）に示されるように、カメラ１の外光の影響で画面に発生する縦縞模様をいう。
【００３５】図９は、カメラ１によって撮像された画像にスミアが発生した状態を説明するための図である。図９（１）の画像では、スミアである縦縞模様２０が表示されている。この画像の垂直方向への濃度投影は図９（２）に示される。図９（２）において横軸は、画面の水平方向の位置であり、縦軸は垂直方向の各画素の濃度の合計値である濃度和を表す。スミアの発生を判断する判断動作４ａでは、画像全体の垂直方向への濃度投影を求め、その投影値の一部が参照符２１で示されるように突出しているとき、スミアが発生しているものと判断する。
【００３６】図１０は、図４のステップｂ２においてスミアが発生している判断動作４ａの具体的な動作を説明するための図である。ステップｃ１からステップｃ２に移り、図９（２）に示される画像全体の垂直方向への濃度投影において、水平方向（図９（２）の横方向）に各画素の位置毎に、まず、第１ピークｐ１が存在するかどうか、すなわち両側の濃度和よりも高い濃度和を有する位置であるかを判断する。次のステップｃ３では、その第１ピークｐ１の両側±Ｌの範囲を設定する。この±Ｌは、たとえば自己の画素の位置の両側に±１０画素分の範囲である。ステップｃ４では、この範囲±Ｌにおける第１ピークｐ１よりも高い、または低い第２ピークｐ２を求める。ステップｃ５では、第１および第２ピークｐ１，ｐ２の差ΔＰ（＝│ｐ１−ｐ２│）を演算して求める。ステップｃ６では、差Δｐが、予め定める値Δｐ１以上であるか（Δｐ≧Δｐ１）が判断される。差Δｐが、予め定める値Δｐ１以上であるとき、ステップｃ７では、スミアが発生したものと判断する。
【００３７】本発明の実施の他の形態では、スミアの発生を判断する判断動作４ｂにおいて、画面の一部分（たとえば図５の道路部分１８）の垂直方向への濃度投影を求め、その投影値の一部が突出しているとき、スミアの発生であると判断する。
【００３８】図４のステップｂ７では、画面が、霧、カメラ異常、フロントガラス１０の汚れなどの認識不可能条件によってぼやけており、すなわちぼんやりしていることが判断される。
【００３９】図１１は画面がぼんやりしている状態を説明するための図であり、図１２は同一被写体の画面が順光においてぼやけていない明瞭である状態を説明するための図である。図１１（１）に示されるぼやけた画面の画面全体の垂直方向への濃度投影は図１１（２）に示される。図１２（１）の明瞭な画面の画面全体の垂直方向への濃度投影は図１２（２）に示される。図１１（２）は、画面の水平方向の各画素位置に対応するエッジ値の垂直方向の和を示し、このことは図１２（２）においても同様である。画面がぼやけているかどうかの判断動作においては、エッジ抽出の手法が実行される。このエッジ値は、画像中で、輝度値が急激に変化する部分を取出した値であり、エッジ抽出を行うことによって、画像中の物体の輪郭線を抽出することができる。
【００４０】図１３は、エッジ値を抽出するための演算係数を示す図である。座標（ｉ，ｊ）のエッジ値をΔｆ（ｉ，ｊ）とし、濃度値をｆ（ｉ，ｊ）とすると、 Δｆ（ｉ，ｊ）＝ｆ（ｉ−１，ｊ−１）＋２ｆ（ｉ−１，ｊ）
＋ｆ（ｉ−１，ｊ＋１）−ｆ（ｉ＋１，ｊ−１）
−２ｆ（ｉ＋１，ｊ）−ｆ（ｉ＋１，ｊ＋１） …（１）
画面がぼやけているという判断動作５ａでは、画面全体の図１１（２）および図１２（２）に示されるエッジ画像を求め、予め定める所定数以上のエッジ値が得られないとき、画面がぼやけているものと判断する。本発明の実施の他の形態では、画面がぼやけていると判断する判断動作５ｂにおいて、画面の一部分（たとえば図５の道路部分１８）のエッジ画像を求め、所定数以上のエッジ値が得られないとき、画面がぼやけていると判断する。本発明の実施のさらに他の形態では、画面がぼやけていると判断する判断動作５ｃにおいて、常に輪郭線が得られる部分（たとえば図５の自車ボディ部１９と道路との境目部分）のエッジ値を求め、所定数以上のエッジ値が得られないとき、画面がぼやけているものと判断する。
【００４１】図１４は、図４のステップｂ８において、カメラ１による画像が、雨などがフロントガラス１０の外表面に付着するなどの認識不可能条件によって、にじんでいる状態を説明するための図である。図１４（１）では、にじんでいる画像が示され、図１４（２）では、図１４（１）における画像の垂直方向へのエッジ投影を示す。画像がにじんでいる際、判断動作６ａでは、認識した対象物体のエッジの長さおよび方向が不適切に歪んでいるとき、画像がにじんでいるものと判断する。エッジの長さは、図１４（２）において予め定めるエッジ和が、予め定める値以上である長さＬ１が得られたとき、画像がにじんでいるものと判断してもよい。
【００４２】図４のステップｂ９では、車両が移動しているのにもかかわらず、カメラ１によって撮像される画像が変化しない現象が生じたとき、カメラが故障などして異常であるなどの認識不可能条件を判断する判断動作７ａが行われる。この判断動作７ａでは、車体６の車輪速度を検出する検出手段からの出力が得られ、しかも順次的な複数画面の画像が変化していないとき、画像が変化なしと判断される。
【００４３】本発明の実施の他の形態では、表２において、車両が移動しているのにもかかわらず画像が変化無と判断する判断動作７ｂにおいて、画像全体の前回の入力画像との差分を求め、所定数以上の差分値が得られないとき、画像が変化無と判断する。差分というのは、時間的に隣り合う２枚の画像の対応する各画素の輝度値の差を求めた値であり、画像に変化が無ければ、または少なければ、差分値は零または小さい値になる。こうして前入力画像と今回の現在の画像との対応する画素毎の輝度値の差を求めて、レベル弁別することによって、画像が変化無であるものと判断することができる。
【００４４】本発明の実施のさらに他の形態では表２において、車両が移動しているのにもかかわらず、画像が変化無と判断する判断動作７ｃにおいて、画面の一部分（たとえば図５の道路部分１８）の前入力画像と現在の入力画像との差分を上述のように求め、所定数以上の差分値が得られないとき、画像が変化無と判断する。
【００４５】表２に示されるその他の画像の現象として、カメラの故障などに起因した異常である認識不可能条件を判断する判断動作８ａでは、カメラ１から得られる画像信号中に含まれる水平または垂直の同期信号のレベルが異常であり、判断動作８ｂでは、その画像信号中の映像信号のレベルが異常であり、判断動作８ｃでは、画像信号中の同期信号の間隔すなわち周期が異常であるとき、カメラ異常である認識不可能条件が発生したものと判断する。画像信号とは、映像信号と水平、垂直の同期信号とを含む複合映像信号である。ＮＴＳＣ（National TelevisionStandard Comittee）方式の同期信号では、白レベルおよび同期信号の上部分と底との値が定められ、また垂直同期信号の間隔は１６．７ｍｓｅｃであり、水平同期信号の間隔は６３．５μｓｅｃに定められている。
【００４６】上述の表２の画像の現象１〜８が、図４のステップｂ３〜ｂ１０で検出されたとき、認識処理が不可能である条件を、図３のステップａ９において報知手段１２によって報知される。
【００４７】図１５は、本発明の実施の他の形態の全体の構成を示すブロック図である。この実施の形態は、前述の図１〜図１４の実施の形態に類似し、対応する部分には同一の参照符を付す。この実施の形態では、前述の実施の形態における表２の画像の現象を判断して認識不可能条件を報知した後、すぐに画像認識不可能と判断するのではなく、カメラ１への入力画像を補正し、またはカメラからの画像データを補正し、これによって画像認識処理が可能である状態とする。図１５においてフロントガラス１０の外表面を払拭するワイパ１１の駆動手段が、処理回路２によって制御される。カメラ１からの画像データのアナログ信号は、アナログ／デジタル変換器２３においてデジタル信号に変換され、処理回路本体２４において前述と同様な演算処理動作が行われる。カメラ１の受光量調節手段２５は、処理手段２からの制御信号に応答し、カメラ１の絞りおよび／またはシャッタ速度を調整する。その他の構成と動作は、前述の実施の形態と同様である。
【００４８】図１６は、図１５に示される実施の形態の処理回路本体２４の動作を説明するためのフローチャートである。図１６のステップｄ２，ｄ４〜ｄ８は、前述の実施の形態における図３のステップａ２，ａ５〜ａ９と同様である。ステップｄ１からステップｄ２に移り、カメラ１の画像データがアナログ／デジタル（Ａ／Ｄ）変換器２３を経て処理回路本体２４に与えられる。ステップｄ３では、認識不可判断を行い、認識不可の場合に入力画像データを補正する。その補正後に、認識処理を行い、画像認識可能状態とし、またこのような補正後においても認識処理が不可能であるとき、その認識処理が不可能な領域を、認識処理領域から除外してもよい。ステップｄ４では、得られた補正後の画像データを認識処理し、たとえば道路の前記白線などの物体の認識処理を行う。認識不可能条件が存在しないとき、ステップｄ２で与えられたカメラ１からの画像データが、ステップｄ４においてそのまま認識処理される。その他の動作は、前述の実施の形態と同様である。
【００４９】図１７は、図１５および図１６に示される実施の形態において、図１６のステップｄ３のさらに具体的な動作を説明するためのフローチャートである。ステップｅ１〜ｅ５では、表３に示される画像の現象および画像の認識処理不可能条件１〜４，６を、表２の判断動作によって実行する。これらの画像の現象と認識不可能条件１〜４，６は、表２に示される画像の現象および認識不可能条件の参照符と同様である。
【００５０】
【表３】
【００５１】図１７のステップｅ１において画面が明る過ぎると判断されたときおよびステップｅ２において画面が暗過ぎると判断されたとき、ステップｅ６に移り、フラグａが論理「１」であるかが判断される。初期状態において、フラグａは論理「０」である。そこでステップｅ６からステップｅ７に移り、フラグａが論理「１」にされ、ステップｅ８では、カメラ１に備えられる絞りおよび／またはシャッタ速度が調整され、画像認識が可能な状態に調整される。その後再びステップｅ１，ｅ２に戻る。絞りおよび／またはシャッタ速度が調整されたにもかかわらず、画像が明る過ぎたり、または画像が暗過ぎたりしたとき、再びｅ６に移り、フラグａが論理「１」であるので、次のステップｅ９では、画像の全体の認識処理領域から、認識不可能条件を有する領域を外す。ステップｅ１０では、フラグａを論理「０」に戻す。こうして前述の図１６におけるステップｄ４で、物体の認識処理を行う。
【００５２】図１７のステップｅ３において、画像のコントラストが低いと判断されたとき、ステップｅ１１からステップｅ１２に移り、フラグｂが論理「１」とされ、次のステップｅ１３では、処理手段２に備えられているアナログ／デジタル変換器２３の感度を広げる。すなわちアナログ／デジタル変換器２３において、隣接するデジタル信号が表す入力アナログ信号のレベルの差を大きくし、コントラストを高くするように調整される。ステップｅ１３の次に、再びステップｅ１〜ｅ３に戻り、ステップｅ１１からステップｅ１４に移る。画面が依然として低コントラストであるとき、ステップｅ１４では、その認識不可能条件を有する領域を、画像全体の認識処理領域から外し、次のステップｅ１５では、フラグｂを論理「０」に戻す。こうして図１６のステップｄ４において物体の認識処理を行う。
【００５３】画像のスミアが発生したことが、ステップｅ４において判断されたとき、前述のステップｅ６に移る。ステップｅ４においてスミアの発生が検出されたとき、カメラ１に制御信号を送信し、スミアが発生しないようにレンズの絞りおよび／またはシャッタ速度を調整して変更する。この画像中にスミアが発生したとき、上述の調整動作によっては除外することができないとき、画像認識処理を行う際に、スミアが発生している領域を、認識処理領域から外す。これによってスミアが発生するときであっても、認識処理を行うことができる。
【００５４】ステップｅ５においてフロントガラス１０に雨滴が付着しているという認識不可能条件が判断されたとき、ステップｅ１６からステップｅ１７に移り、フラグｃが論理「１」とされる。ステップｅ１８では、ワイパ１１が駆動され、フロントガラス１０の外表面が払拭されて清浄化される。再びステップｅ５に戻り、ワイパ１１が駆動されたにもかかわらず、雨滴が付着しているという認識不可能条件が判断されると、ステップｅ１６からステップｅ１９に移り、その認識不可能条件が存在する領域が、画像の全体の認識処理領域から外される。ステップｅ２０では、フラグｃが論理「０」に戻される。その後物体の認識処理が図１６のステップｄ４において実行される。
【００５５】図１８は、本発明の実施のさらに他の形態の全体の構成を示すブロック図である。この実施の形態は前述の実施の形態に類似し、対応する部分には同一の参照符を付す。この実施の形態では、カメラ１の画像データを用いた認識処理不可能条件である周囲環境を判断するために、図１８の参照符２７〜３４で示される各種のセンサを用いる。各センサによる認識不可能条件は表４に示されるとおりである。
【００５６】
【表４】
【００５７】図１９は、図１８に示される処理回路２の動作を説明するためのフローチャートである。この図１９のステップｆ１においてワイパの動作を検出するセンサ２７がワイパの動作が行われない状態であることを検出し、または車体６に設けられた雨滴センサ２８が降雨状態を検出したとき、認識処理不可能条件を表す信号を導出する。
【００５８】ステップｆ２において路面の摩擦係数μをμセンサ２９によって検出し、その道路の摩擦係数μが、小さく、雨が降っている状態、雨上がりの状態または雪の状態である認識不可能条件を検出したとき、認識不可能条件を表す信号を導出する。これによって報知手段１２は、たとえば「道路状態不良のため、道路の白線が検出不可」と表示して報知する。
【００５９】ステップｆ３では、音センサ３０を用い、車体６に衝突する雨滴の音を検出する。音センサ３０によって雨滴の音が検出されるとき、認識不可能条件を表す信号を導出する。ステップｆ４では、車体６に設けられた高度計、湿度計、温度計を含むセンサ３１によって検出される高度、湿度および温度から霧が発生していること、したがって認識処理が不可能である条件を表す信号を導出する。
【００６０】ステップｆ８では、前述のステップｆ４において認識不可能条件である霧が発生していることが判断されたとき、ステップｆ８ではさらに、カメラ１からの画像データを演算処理し、前述の実施の形態と同様に認識処理が不可能である条件を検出して判断する。このステップｆ８において得られた画像データの演算処理による認識不可能条件が霧であることが判断され、したがってステップｆ４におけるセンサの出力によって検出された認識不可能条件である霧と一致したとき、その認識不可能条件を、ステップｆ９で報知手段１２によって報知する。ステップｆ８における各検出された条件が一致しないときには、認識処理を行うために、次のステップｆ５に移る。
【００６１】本発明の実施の他の形態では、ステップｆ８は省略され、ステップｆ４において認識不可能条件である霧が検出されたとき、認識処理を行わないようにして、ステップｆ９において報知を行うようにしてもよい。
【００６２】ステップｆ５において照度計３２によって、照度値が検出され、これによって認識不可能条件である逆光または真暗であることが検出されると、認識処理を行わず、この認識不可能条件である逆光または真暗であることが報知手段１２によって報知される。照度計の代わりに、指向性が高い日射センサが用いられ、日射強度が検出されるようにしてもよい。この日射センサによって、逆光または真暗である認識不可能条件を検出することができる。
【００６３】ステップｆ６では、時計の時刻と方位のセンサ３３によって、太陽の方向を推測し、これによってカメラ１が逆光であることを判断したとき、この認識不可能条件を報知手段１２によって報知し、認識処理を行わない。
【００６４】ステップｆ７では、ナビゲーション装置（略称ナビ）が備えている車両の現在位置を検出するＧＰＳ（Gloval Positioning System）装置からの衛星受信状態をセンサ３４によって検出し、受信できないとき、認識不可能条件であるトンネル内を走行中であることを報知手段１２によって報知し、認識処理を行わない。このＧＰＳ装置は、図１８において参照符３４で示されている。こうしてナビゲーションシステムでは、車両を、予め入力した目的地に到達するための経路を２次元表示面で表示し、しかも現在の自車位置をその２次元表示面上に表示された地図に表示する。このようなナビゲーション装置におけるＧＰＳ装置の出力を用いて、画像認識不可能条件を判断するので、認識不可能条件の判断のための構成を簡略化することができる。ナビゲーション装置に代えて、その他の各種の装置の構成の一部を、認識不可能条件の検出のために兼用するようにしてもよい。
【００６５】本発明の画像認識装置は、自動車などの車両に搭載されて実施されてもよいけれども、車両に搭載されずに、実施されてもよい。
【００６６】
【発明の効果】請求項１の本発明によれば、認識処理手段によるカメラからの画像データの認識処理が不可能であるとき、その不可能である条件、すなわち原因を、条件検出手段によって検出して判断し、報知手段によって報知されるので、カメラへの入力画像が異常であったかまたは不適切であったかどうかを操作者は判断することができ、こうして画像認識装置の信頼性を確保することができる。
【００６７】請求項２の本発明によれば、条件検出手段によって、認識処理が不可能である条件が検出されて判断されたとき、補正手段は、カメラへの入力画像を補正し、またはカメラから得られる画像データを補正し、これによって認識処理手段による対象物体の認識処理を可能にし、したがって対応環境とされる利用領域を拡大し、画像認識装置の性能を向上することができる。
【００６８】請求項３の本発明によれば、認識処理手段による物体の認識処理が不可能であるかどうかを、周囲環境を検出するセンサからの出力に基づいて条件検出手段が判断するようにしたので、カメラからの画像データの演算処理による認識不可能かどうかの判断を行う必要がなく、演算処理を軽減することができ、条件検出手段による認識処理が不可能である条件の検出判断を迅速に行うことができる。
【００６９】請求項４の本発明によれば、センサの出力によって検出された条件と、カメラからの画像データを演算処理することによって検出された認識処理手段の認識処理が不可能である条件とが、一致したとき、その一致した条件を報知手段によって出力するので、認識不可能の判断を高精度で行うことができ、画像認識装置の信頼性をさらに向上することができる。
【図面の簡単な説明】
【図１】本発明の実施の一形態の画像認識装置を備える運転支援、自動運転装置の全体の構成を示すブロック図である。
【図２】自動車の車体６の簡略化した側面図である。
【図３】処理手段２の動作を説明するためのフローチャートである。
【図４】は図１に示される処理手段２の動作の一部をさらに詳細に示すフローチャートである。
【図５】カメラ１によって撮像され報知手段１２の２次元表示面に表示された画像１６を示す正面図である。
【図６】カメラ１によって撮像された画像が明るすぎる状態を示す図である。
【図７】夜間、カメラ１によって撮像された画像が暗過ぎる状態を示すための図である。
【図８】画像が低コントラストであるときの状態を示す図である。
【図９】カメラ１によって撮像された画像にスミアが発生した状態を説明するための図である。
【図１０】図４のステップｂ２においてスミアが発生している判断動作４ａの具体的な動作を説明するための図である。
【図１１】画面がぼんやりしている状態を説明するための図である。
【図１２】同一被写体の画面が順光においてぼやけていない明瞭である状態を説明するための図である。
【図１３】エッジ値を抽出するための演算係数を示す図である。
【図１４】にじんでいる画像を説明するための図である。
【図１５】本発明の実施の他の形態の全体の構成を示すブロック図である。
【図１６】図１５に示される実施の形態の処理回路本体２４の動作を説明するためのフローチャートである。
【図１７】図１５および図１６に示される実施の形態において、図１６のステップｄ３のさらに具体的な動作を説明するためのフローチャートである。
【図１８】本発明の実施のさらに他の形態の全体の構成を示すブロック図である。
【図１９】図１８に示される処理回路２の動作を説明するためのフローチャートである。
【図２０】先行技術の動作を説明するためのフローチャートである。
【符号の説明】
１ カメラ
２ 処理回路
３ 制御回路
１０ フロントガラス
１１ ワイパ
１２ 報知手段
１６ 画像
２３ アナログ／デジタル変換器
２４ 処理回路本体
２５ 受光量調節手段
３２ 照度計
３３ 方位センサ
【特許請求の範囲】
【請求項１】 カメラと、カメラからの画像データを演算処理し、認識処理が不可能である条件を検出する条件検出手段と、条件検出手段の出力に応答し、認識処理が不可能である条件を報知する報知手段と、条件検出手段の出力に応答し、認識処理が可能であるとき、カメラからの画像データの認識処理をする認識処理手段とを含むことを特徴とする画像認識装置。
【請求項２】 カメラと、カメラからの画像データを演算処理し、認識処理が不可能である条件を検出する条件検出手段と、条件検出手段の出力に応答し、カメラへの入力画像を補正し、またはカメラからの画像データを補正する補正手段と、入力画像が補正手段によって補正されたカメラからの画像データ、または補正手段によって補正された画像データの認識処理をする認識処理手段とを含むことを特徴とする画像認識装置。
【請求項３】 カメラと、カメラの周囲環境を検出するセンサと、カメラからの画像データの認識処理をする認識処理手段と、センサの出力に応答し、認識処理手段によって、カメラからの画像データの認識処理が不可能である条件を検出する条件検出手段と、条件検出手段の出力に応答し、認識処理が不可能である条件を報知する報知手段とを含むことを特徴とする画像認識装置。
【請求項４】 条件検出手段は、センサの出力によって検出された条件と、カメラからの画像データを演算処理することによって検出された条件とが、一致したとき、その条件を表す出力を報知手段に与えることを特徴とする請求項３記載の画像認識装置。
【請求項１】 カメラと、カメラからの画像データを演算処理し、認識処理が不可能である条件を検出する条件検出手段と、条件検出手段の出力に応答し、認識処理が不可能である条件を報知する報知手段と、条件検出手段の出力に応答し、認識処理が可能であるとき、カメラからの画像データの認識処理をする認識処理手段とを含むことを特徴とする画像認識装置。
【請求項２】 カメラと、カメラからの画像データを演算処理し、認識処理が不可能である条件を検出する条件検出手段と、条件検出手段の出力に応答し、カメラへの入力画像を補正し、またはカメラからの画像データを補正する補正手段と、入力画像が補正手段によって補正されたカメラからの画像データ、または補正手段によって補正された画像データの認識処理をする認識処理手段とを含むことを特徴とする画像認識装置。
【請求項３】 カメラと、カメラの周囲環境を検出するセンサと、カメラからの画像データの認識処理をする認識処理手段と、センサの出力に応答し、認識処理手段によって、カメラからの画像データの認識処理が不可能である条件を検出する条件検出手段と、条件検出手段の出力に応答し、認識処理が不可能である条件を報知する報知手段とを含むことを特徴とする画像認識装置。
【請求項４】 条件検出手段は、センサの出力によって検出された条件と、カメラからの画像データを演算処理することによって検出された条件とが、一致したとき、その条件を表す出力を報知手段に与えることを特徴とする請求項３記載の画像認識装置。
【図１】
【図２】
【図３】
【図４】
【図１３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１５】
【図１２】
【図１４】
【図１６】
【図１８】
【図１７】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図１３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１５】
【図１２】
【図１４】
【図１６】
【図１８】
【図１７】
【図１９】
【図２０】
【公開番号】特開２０００−２０７５６３（Ｐ２０００−２０７５６３Ａ）
【公開日】平成１２年７月２８日（２０００．７．２８）
【国際特許分類】
【出願番号】特願平１１−１２３３３
【出願日】平成１１年１月２０日（１９９９．１．２０）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成１２年７月２８日（２０００．７．２８）
【国際特許分類】
【出願日】平成１１年１月２０日（１９９９．１．２０）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]