速度規制標識認識結果の通知方法
【課題】速度規制標識３２の認識正解率が１００％に達しないシステムにおいても、運転者に適切な制限速度情報の提供が行える速度規制標識認識結果の通知方法を提供する。
【解決手段】撮像部１で車両前方画像３０を撮像し、この車両前方画像３０内の速度規制標識３２を画像処理部２で自動認識し、この自動認識過程の前記車両前方画像３０内の速度規制標識３２部分の画像を第１画像５として表示すると共に、前記自動認識した結果から導かれたイメージ画像からなる第２画像６を並べて表示する。これにより、運転者が上記ペア画像５、及び６を比較でき、速度規制標識３２の内容に関して、正しい判断を行うことが出来る。
【解決手段】撮像部１で車両前方画像３０を撮像し、この車両前方画像３０内の速度規制標識３２を画像処理部２で自動認識し、この自動認識過程の前記車両前方画像３０内の速度規制標識３２部分の画像を第１画像５として表示すると共に、前記自動認識した結果から導かれたイメージ画像からなる第２画像６を並べて表示する。これにより、運転者が上記ペア画像５、及び６を比較でき、速度規制標識３２の内容に関して、正しい判断を行うことが出来る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両が走行中の道路に存在する速度規制標識を自動認識し、運転者に自動認識の結果を通知する速度規制標識認識結果の通知方法に関するものである。
【背景技術】
【０００２】
従来、速度規制標識を正しく認識するための手法は、種々提案されている。特許文献１では、ネットワークを利用した大規模なものが提案されている。これは、道路側から車両に対して道路交通標識、標示情報、事故や工事等による規制情報、及びその他の道路情報を認知しやすい形態で運転者に表示することにより、運転者の安全運転を支援するネットワーク型標識システムに関するものである。
【０００３】
この特許文献１の技術においては、道路交通標識及び道路交通標示等の視認性を良くして、時々刻々変化する道路状況や交通状況の配信を可能とし、必要な情報のみを運転者に通知する標識システムを提供するという課題の基に、次のような構成を有している。
【０００４】
即ち、センタ装置は、道路交通標識等の道路情報を一括管理し、かつ道路に設けられた有線ネットワークに接続されている。そして、道路に設けられた路側アンテナから、無線で車両に必要な情報が配信されている。車両の車載装置は、車載アンテナを通してセンタ装置からの配信情報を受信し、画像及び音声等の選択されたメディアで、運転者に情報を通知している。
【０００５】
また、特許文献２は、高度な画像処理装置を利用したものが提案されている。これは、車両に搭載されるビデオカメラによって撮影された画像より、リアルタイムに道路標識を抽出し認識する方法及びその装置を得るという課題の基に構成されたものである。そしてその構成は、画面に表示されたビデオ画像に、特別なスリットｆｉを設定し、ＨＳＶ変換処理部によるスリット上の画素データの色成分から、標識確率計算処理部が、道路標識の有無を検出している。道路標識が、スリット上に存在すると判断されたときは、検出エリア設定処理部が、そのスリット上の道路標識があると判定した範囲に、所定の大きさの検出エリアを設定している。そして、輪郭検出処理部が２値化によって抽出した道路標識の輪郭を抽出し、形状種類決定処理部が道路標識の輪郭から種類を決定し、標識認識処理部が、この決定した種類内で、エリア内での道路標識の絵画像の特徴に最も類似する標識を引当て、これをビデオカメラで検出した道路標識として認識するものである。
【０００６】
更に、特許文献３には、カラー画像を用いて道路標識等の対象物の認識性能を向上させる方法が開示されている。この方法は、撮像されたカラー画像から得られる色情報（色相、彩度、及び明度）、形状情報、並びにエッジ情報を用いて、使用色が、予め設定されている標識並びに使用色、形状及び大きさが不定である看板を認識するものである。このため、次のような構成を採用している。
【０００７】
この認識方法の実施装置は、カラー画像を取得する撮像部と、カラー画像をＨＳＩ（Hue Saturation Intensity）変換により、色相・彩度・明度の色情報に変換する標識・看板識別部を備えている。そして、抽出された標識領域内部を対象として、青、赤、及び白領域とする円形標識情報抽出部を備えている。更に、領域内の構成色数及び構成色の比率を求める円形標識認識部を備え、看板候補領域に対し、判別分析法によりクラス間分散を求める非看板領域棄却部を備えている。更に、看板候補領域に対して２値化処理を行い、４方向のラプラシアンフィルタを用いて、エッジを検出する文字列領域抽出部を備え、ディスプレイ上に表示させている。
【０００８】
次に、特許文献４は、複数パターンを認識させるための高速化手法について開示している。これは画像データ及び標示体パターンに基づく形状パターンマッチングにより、短い処理時間で、効率的に標示体の認識を行うと共に、認識率を向上させることが可能な標示体認識方法を提供することを課題としている。このために、標示体認識装置のマッチング手段は、認識率の高い標示体パターンから順に、マッチング領域との形状パターンマッチングを実行している。
【０００９】
さらに、標示体認識手段は、形状パターンマッチングの結果に基づいて、マッチング領域内に存在する標示体を認識している。そうして、認識済領域削除手段を備え、認識した標示体の領域を認識済領域としてマッチング領域から削除している。そして、マッチング領域設定手段は、マッチング領域から認識済領域を削除した残余領域を、新たなマッチング領域に設定し、形状パターンマッチングによる標示体の認識処理を繰り返し行うようにしている。
【００１０】
また、特許文献５には、ナンバープレートの文字及び数字をパターンマッチングにより時間をずらせて認識し、一回目と２回目のうちマッチング率の高いものを最終画像として採用するナンバープレート自動観測記録システム及び装置が記載されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２０００−２４２８８７号公報
【特許文献２】特開２０００−２９３６７０号公報
【特許文献３】特開２００６−２５９８８５号公報
【特許文献４】特開２００８−２３４１０２号公報
【特許文献５】特開２００３−２７１８９８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
上述のように、従来、多くの手法が提案されているが、大規模な処理システムを構築したり、処理負荷の高いものであったりしている。しかしながら、これでも画像認識技術を利用しているため、１００％の確実性を速度規制標識の認識に期待することができない。従って、認識正解率が１００％に達しないシステムにおいても、運転者の速度違反のリスクを軽減するできる方法が望まれる。
【００１３】
本発明は、このような従来の技術に存在する問題点に着目して成されたものであり、その目的は、認識率が低い状況でも、運転者に適切な制限速度情報の提供が行えるＨＭＩ（ヒューマンインターフェース）を備えた速度規制標識認識結果の通知方法の提供を実現することにある。
【００１４】
なお、従来技術として列挙された特許文献の記載内容は、この明細書に記載された技術的要素の説明として、参照によって導入ないし援用することができる。
【課題を解決するための手段】
【００１５】
本発明は上記目的を達成するために、下記の技術的手段を採用する。すなわち、請求項１に記載の発明では、撮像部（１）で車両前方画像（３０）を撮像し、この車両前方画像（３０）内の速度規制標識（３２）を画像処理部（２）で自動認識し、この自動認識過程の車両前方画像（３０）内の速度規制標識（３２）部分の画像を第１画像（５）としてディスプレイ（４）に表示すると共に、自動認識した結果から導かれた画像からなる第２画像（６）を表示し、これら第１画像（５）及び第２画像（６）を並べて表示したことを特徴としている。
【００１６】
この発明によれば、撮像部（１）で車両前方画像（３０）を撮像し、この車両前方画像（３０）内の速度規制標識（３２）部分を自動認識し、この自動認識過程の車両前方画像（３０）内の速度規制標識（３２）部分の画像を第１画像（５）として表示すると共に、自動認識した結果としての第２画像（６）を並べて表示しているから、つまり、ペア画像（５及び６）を表示しているから、運転者が上記ペア画像（５及び６）を比較でき、速度規制標識（３２）の内容に関して、正しい判断を行うことが出来る。
【００１７】
請求項２に記載の発明では、第２画像（６）は、自動認識結果に対応する速度規制標識モデル画像の少なくとも規制速度の数値を表示したイメージ画像からなることを特徴としている。
【００１８】
この発明によれば、自動認識した速度警告の結果を、単なる数値で表すので無く、イメージ画像で表示している。即ち、丸い円形の中に数値を表示して、現実の速度規制標識（３２）と類似の画像を第２画像（６）としているから、隣接する車両前方画像（３０）内の速度規制標識（３２）部分の画像である第１画像（５）と比較し易く、運転者が、自動認識結果のエラーを判断し易い。
【００１９】
請求項３に記載の発明では、第１画像（５）並びに第２画像（６）の背景画像として、速度規制標識（３２）が存在した撮像部（１）で撮像された車両前方画像（３０）を表示することを特徴としている。
【００２０】
この発明によれば、ペア画像（５及び６）と同時に、実際の車両前方の景色映像である車両前方画像（３０）を表示しているから、運転者に速度規制標識（３２）が設置された状況を見せることが出来、運転者の判断の参考に供することが出来る。
【００２１】
請求項４に記載の発明では、車両前方画像（３０）内の速度規制標識（３２）の画像処理部（２）での自動認識においては、車両前方画像（３０）内の速度規制標識（３２）部分の画像を２値化した２値化画像（５７）を膨張・収縮処理してパターンマッチングを行う処理を複数回行って、その中で、マッチング率の合計値が最も大きい認識結果が、自動認識された第２画像（６）として採用され、該第２画像（６）が第１画像（５）と並置されて表示されることを特徴としている。
【００２２】
この発明によれば、車両前方画像（３０）内の速度規制標識部分の画像を２値化した２値化画像（５７）を膨張・収縮処理してパターンマッチングを行うのが、一回のみでなく、複数回行われて、その中で、マッチング率の合計値が最も大きい認識結果が、第２画像（６）として採用されている。しかしながら、複数の標識パターンに対して２値化画像（５７）がマッチングした場合、つまり、ある特定の速度規制標識（３２）を８０と認識したり１３０と認識したりする場合には、画像処理の誤認識が発生している可能性が高い。そこで、第２画像（６）の表示のみで無く、第１画像（５）をも表示して、運転者に依存した画像認識が行われるから、最終的な誤認識を抑制できる。
【００２３】
請求項５に記載の発明では、マッチング率の合計値が、第１所定割合に満たない場合は、自動認識の対象が、速度規制標識（３２）以外であると判断することを特徴としている。
【００２４】
この発明によれば、マッチング率の合計値が第１所定割合（例えば５０％）より低い場合は、速度規制標識（３２）ではないとしているから、例えば、看板等により誤認識することが少ない。
【００２５】
請求項６に記載の発明では、マッチング率の合計値が、第１所定割合よりも大きい第２所定割合以上でない場合は、第１画像（５）及び第２画像（６）を並べて表示せず、第１画像（５）のみを単独で表示することを特徴としている。
【００２６】
この発明によれば、マッチング率の合計値が第２所定割合以上でない（例えば、７０％以上で無い場合）は、標識に対する外乱が大きく速度規制標識（３２）以外とは判断できないため、ペア表示を行わず、第１画像（５）のみを表示して運転者に判断を一任しているから、運転者の判断で、速度規制標識（３２）を正しく認識させることが出来る。
【００２７】
請求項７に記載の発明では、マッチング率の合計値が、第２所定割合以上である場合に、第１画像（５）及び第２画像（６）を並べて表示することを特徴としている。
【００２８】
この発明によれば、マッチング率の合計値が第１所定割合よりも大きい第２所定割合以上である場合（例えば、７０％以上である場合）に、第１画像（５）及び第２画像（６）を並べて表示するペア表示を行っているから、標識が速度規制標識（３２）である可能性が高い場合において、自動認識の結果を参考とした運転者の判断による速度規制標識（３２）の認識を行うことができる。
【００２９】
請求項８に記載の発明では、第１画像（５）は撮像部（１）で撮像した車両前方画像（３０）内の円形領域を抽出した画像のコントラスト比をアップした画像（５）、または、該コントラスト比をアップした画像（５）を２値化した画像（５７）から成ることを特徴としている。
【００３０】
この発明によれば、第１画像（５）は撮像部（１）によって撮像された実際の生データとなる画像に対して少なくともコントラスト比がアップされているから、運転者が正しく速度規制標識（３２）を確認することが出来る。
【００３１】
なお、特許請求の範囲および上記各手段に記載の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示す一例である。
【図面の簡単な説明】
【００３２】
【図１】本発明の一実施形態に使用する車両に搭載された速度規制標識認識装置の概要を示すブロック図である。
【図２】上記実施形態で認識する速度規制標識の一例の見え方を説明する説明図である。
【図３】上記実施形態において、撮像した画像から運転者に視認させる第１画像までの画像の変化を説明する説明図である。
【図４】上記実施形態の画像処理部における処理の流れを示し、円形領域抽出までのフローチャートである。
【図５】図４に続く上記処理の流れを示し、パターンマッチングまでのフローチャートである。
【図６】図５に続く上記処理の流れを示し、ペア表示がなされるまでのフローチャートである。
【図７】上記実施形態のディスプレイに実際に表示される上記ペア表示画像の一例を示す画面図である。
【発明を実施するための形態】
【００３３】
（一実施形態）
以下、本発明方法の一実施形態について説明する。図１は、本発明方法に使用する車両に搭載された速度規制標識認識装置の概要を示すブロック図である。道路標識には、大きく分けて案内標識、警戒標識、規制標識、指示標識の４種類がある。そして、上記規制標識の中の最高速度を規制するための速度規制標識に書かれた制限速度を認識して、運転者に通知及び警告する装置を図１が示している。この速度規制標識の認識は、基本的に次の３つのステップに分かれる。
【００３４】
第１ステップは、撮像した車両前方画像内の速度規制標識を見つけ出す。第２ステップは、見つけ出した速度規制標識に記載されている制限速度を認識する。第３ステップは、認識結果を運転者に通知するというものである。
【００３５】
第１ステップにおいては、速度規制標識の存在エリアを限定し、円形を探索する画像処理により速度規制標識を検出する。この認識処理においては、未検出を防ぐよう円形であれば、全てを検出するように処理を実施することで、１００％の検出を実現すことが可能である。
【００３６】
第２ステップにて、検出した円形内の画像を、パターンマッチングにより、速度規制標識内部に記載された速度制限値を認識するのであるが、この認識においては、誤認識が多く発生する。この誤認識を防ぐために、複数の認識方法を用いて、総合的に１００％の認識を目指す方法もあるが、処理コストがかかり、非常に高価なシステムとなってしまう。
【００３７】
また、たとえコストをかけても、１００％を達成することは非常に困難である。この誤認識によって間違った情報を運転者に伝えてしまい、機能を果たさないことになる。よって、以下の記述では上記問題に対処し得る一実施形態について説明する。
【００３８】
撮像部１は、車両前方の道路情報を撮像するビデオカメラ１から成る。このビデオカメラ１の位置は、ドアミラー近く、あるいは車両のフロントに設けられている。また、このビデオカメラ１は、既存のシステム（事故の瞬間を記録するドライブレコーダ、または車両の走行車線を認識して自動運転する車線認識システムを備えた自動走行装置等）のビデオカメラと兼用することが出来る。
【００３９】
画像処理部２は、撮像された画像情報を基に速度規制標識を認識する画像処理手順を実行する。そして出力部３は、認識した画像情報を運転者に的確に表示または警告する。上記画像処理部２は、速度規制標識を認識する画像処理手順として、以下の処理を実行する。
【００４０】
先ず、詳細な処理はフローチャートを用いて後述し、処理の概要を述べる。第１処理として、円形の検索処理２ａを行う。これには、公知の円ハフ（Hough）変換を利用する。第２処理２ｂとして、検出した円形の抽出を行う。第３処理２ｃとして、抽出された円形の２値化を行う。第４処理２ｄとして２値画像の膨張・収縮処理を行う。即ち、公知のように２値画像に対して膨張・収縮処理２ｄを行ってノイズ除去を行う。第５処理２ｅとしてパターンマッチング行う。
【００４１】
出力部３からの信号でディスプレイ４を介して運転者に視認させる適切な画像としては、上記の処理途中の画像（第１画像５）と共に、自動認識した結果の画像（第２画像６）を並置して表示する（これを本発明ではペア表示と称する）ことが、全体の認識の精度を向上させるために有効である。
【００４２】
なお、上記膨張・収縮処理２ｄとパターンマッチング２ｅの組み合わせは、複数回（この一実施形態では３回）繰り返す。パターンマッチング２ｅは、参照するモデルとなる速度規制標識モデルに対して、撮像された速度規制標識画像がマッチングするかどうかの判定を行う。
【００４３】
撮像された速度規制標識画像が、汚れ等により鮮明でなく、そのため、一つの速度規制標識画像（例えば８０）が、１３０及び８０等の複数種類の速度規制標識モデル（標識パターン）に対してマッチングが取れた場合においては、画像処理による誤認識が発生している可能性が高いといえる。わずかの画像データの差で、間違った判定をしてしまうためである。従って、複数回のパターンマッチングを行って、マッチングが複数取れた場合には、自動認識結果のみを信用せずに、運転者に依存した認識を行うことが必要である。
【００４４】
なお、パターンマッチングの具体的アルゴリズムは種々の公知のものを採用でき、パターンが速度規制標識モデルに合致した割合を表すマッチング率の計算方法についても種々の公知の方法を採用できる。
【００４５】
そして、各パターンのマッチング率の全てを合計（合算）することで得られる値が、最大値となる上記膨張・収縮処理とパターンマッチングの組み合わせが導いた結果が、自動認識結果として正しいものと判断する。つまり、この組み合わせで得られた最もマッチング率が高い結果を自動認識の結論として採用し、第２画像６を作成する。この自動認識した認識結果となる第２画像６と、画像処理過程の映像表示である第１画像５との両方からなる画像（上記ペア画像）を運転者に目視させる。
【００４６】
パターンマッチング率の合計値が５０％を割り込んだ場合には、想定している速度規制標識ではなかったと判断し、第１画像５及び第２画像６の表示を実施しない。
【００４７】
また、パターンマッチング率の合計値が５０％以上であるが７０％未満の場合には、コントラスト比をアップさせた撮像映像（第１画像５）のみを表示し、ペア表示は行わない。つまり、撮像画像のような速度規制標識が存在したことを運転者に伝達するのみとする。
【００４８】
自動認識の結果が、前回認識した認識結果と同じ結果の場合には、何も新たに表示しないことで、運転者への認識結果の表示を省略し、表示の煩わしさを軽減する。このような、ルールを適用して情報を運転者に伝達するヒューマンインターフェースを実行する。
【００４９】
次に、上記構成並びに処理を更に詳しく説明する。図１において、速度規制標識認識のために車載のナビゲーションＥＣＵ（電子的演算ユニット）１０内に画像処理部２を成す速度規制標識認識演算部２が備えられている。出力部３は表示用のディスプレイ４に接続されている。システム価格を下げるために、処理コストを低く抑える必要がある。このため、車載のナビゲーションシステムに本機能を組み込んでいるのである。そして、ビデオカメラ１からのカメラ映像を図示されないメモリに取り込み、画像処理部２による画像処理を実施している。この画像処理は、画像コントラストの調整を実施した上で、周知のようにエッジ抽出し、先鋭化処理を行う。そして、円ハフ変換により円形を見つけ出している。
【００５０】
次に、速度規制標識内の数字を自動認識する。数字と認識できない場合には、後述するように、速度規制標識以外の標識と判断し、処理を終了する。数字と認識されたもののみ、運転者に通知するようにしている。
【００５１】
図２は、この実施形態で認識する速度規制標識の一例の見え方を説明する説明図である。標識２０は８０Ｋｍの速度制限を表している綺麗な速度規制標識であり、このような場合は８０Ｋｍと認識できるので問題がない。ところが、標識２１は、汚れ、または、かすれが存在する場合の速度規制標識の一例あり、このような場合は、自動認識の結果は１３０と認識されたり、３０と認識されたり、正しく８０と認識されたりするため、問題が生じる。
【００５２】
運転者には、８０Ｋｍの速度表示が、注目すれば汚れていても判読できるものの、画像の自動認識の方は、１３０や３０に認識してしまう結果になる。従って、この画像の自動認識による表示、つまり、１３０や３０だけを運転者に伝達したのでは、大きな問題を生じる。なお、１３０という速度表示は国内では見かけないが、外国の道路では１３０マイルのように一般的に表示される。
【００５３】
図３は、この実施形態において、撮像部１（図１）で撮像した画像から最終的に運転者に第１画像５を視認させるまでの画像の変化を説明する説明図である。３０は、車載のビデオカメラで撮像した車両前方画像である。ここで、四角で囲まれた部分３１内に速度規制標識３２があり、この速度規制標識３２を後述のように画像処理して画像認識を行う。そして、図示しない車両運転席内のメータ近傍に、少なくとも後述する画像処理の過程の速度規制標識画像（第１画像５）を表示する。
【００５４】
次に、フローチャートについて図４乃至図６を用いて説明する。図４は、この実施形態の画像処理部における処理の流れを示し、円形領域抽出までのフローチャートである。図５は、図４に続く上記処理の流れを示し、パターンマッチングまでのフローチャートである。図６は、図５に続く上記処理の流れを示し、ペア表示がなされるまでのフローチャートである。
【００５５】
図４において、演算が開始されると、ステップＳ４１において、図１の車載のビデオカメラ１により車両前方画像３０（図３）を画像処理部２（図１）に入力する。そして、ステップＳ４２において、円ハフ（Hough）変換を行う。この円ハフ変換とは、直線や円の検出に用いられる周知の技法であり、P.V.C.Houghによって１９６２年に米国特許が取得されている。
【００５６】
そして、ステップＳ４３で円形検出が成されたかどうかを判定する。円形検出が無い場合は、ステップＳ４１に戻り、これらのステップＳ４１からステップＳ４３を繰り返している。円形検出があった場合は、ステップＳ４４にて円形領域の抽出を行う。
【００５７】
次に、図５のステップＳ５１において、円形領域のコントラスト比のアップ処理を行う。図５の５は、コントラスト比がアップされた抽出映像５（第１画像５）を示している。そして、ステップＳ５２で、このコントラスト比がアップされた抽出画像５を２値化する。５７は、２値化処理された映像データを示している。そして、ステップＳ５３において２値化処理された映像データに対して、周知の膨張・収縮処理（ノイズ除去処理）を行う。また、この膨張・収縮処理の後でパターンマッチングを行う。
【００５８】
なお、このフローチャートによる処理では、２値画像の膨張・収縮処理とパターンマッチングの組み合わせをステップＳ５３、ステップＳ５４及びステップＳ５５のように３回行っている。即ち、膨張・収縮処理を１回行ってパターンマッチングを行う過程を３回繰り返して行っている。
【００５９】
図５の５３ａは、ステップＳ５３の膨張・収縮処理でノイズが除去された画像データである。この実施形態においては、第１回目の膨張・収縮処理及びパターンマッチングにおいては、速度規制標識が８０と認識されたマッチング率が８０％であり、１３０と認識されたマッチング率が８５％であった場合を示している（合計マッチング率は１６５％）。
【００６０】
また、画像データ５４ａが得られる第２回目の膨張・収縮処理及びパターンマッチングにおいては、速度規制標識が８０と認識されたマッチング率が６０％であり、１３０と認識されたマッチング率が８５％であった場合を示している（合計マッチング率は１４５％）。
【００６１】
また、画像データ５５ａが得られる第３回目の膨張・収縮処理及びパターンマッチングにおいては、速度規制標識が８０と認識されたマッチング率が５０％であり、１３０と認識されたマッチング率が９０％であった場合を示している（合計マッチング率は１４０％）。
【００６２】
次に、図６のステップＳ６１において、上記合計マッチング率が、５０％以上あるかどうかを判定する。５０％以上でない場合は、標識が速度規制標識以外の標識（例えば、高さ制限、重量制限及び転回禁止等）であると判断して図４のステップＳ４１に戻る。
【００６３】
また、合計マッチング率が５０％以上である場合は、ステップＳ６２において、合計マッチング率が７０％以上であるか判定し、合計マッチング率が７０％以上でない場合は、ステップＳ６５において抽出画像５（第１画像５）のみを単独表示する。即ち、この場合は、速度規制標識への外乱が大きく速度警告以外と判断できないため、運転者に判断を託すために、抽出画像（第１画像５）のみを単独表示するのである。この抽出画像５は、ステップＳ５１（図５）でコントラスト比をアップした画像データ５である。
【００６４】
そして、このように抽出画像５（第１画像５）の単独表示を行った場合でも、運転者であれば、この表示を見て、直前の道路上に速度規制標識があって、８０Ｋｍ規制であると判断できる可能性が高い。また、見逃してしまった標識を確認できる。
【００６５】
また、ステップＳ６２において、マッチング率が７０％以上である場合は、ステップＳ６３において、今回の自動認識結果が、合計マッチング率が最大の１６５と成っているステップＳ５３（図５）におけるマッチング率８５％の１３０であると確定した上で、前回の自動認識結果と異なるか否かを判断する。前回の認識と異ならない、即ち、前回の認識も１３０であって、同一である場合は、ステップＳ６３においてＮＯと判断されて、図４のステップＳ４１にリターンし、再表示の煩わしさを低減する。
【００６６】
ステップＳ６３において、前回の認識と異なる場合のみ、ステップＳ６４に進む。このステップＳ６４では、マッチング率の合計が、最大の１６５と成っているステップＳ５３（図５）におけるマッチング率８５％の１３０という認識結果である第２画像６と、画像処理過程の第１画像５を並べて表示（ペア表示）する。
【００６７】
つまり、自動認識の結果として、合計マッチング率が最も高いマッチング過程において認識した結果の中で、高いマッチング率の方の認識結果、即ち１３０を選択する。この選択された認識結果から、速度規制標識モデル画像を図示されないメモリから読みだして作成した画像をディスプレイ４（図７）にて数秒程度、第２画像６として運転者前方に表示する。同時に、画像認識過程のステップＳ５１（図５）の第１画像５を並置して表示（ペア表示）する。また、これらの背景画像として、実際のビデオカメラ１(図１)で撮像した画像３０を表示する。
【００６８】
図７は、ディスプレイ４（図１）に実際に表示される画像の一例を示す画面図である。図７において、画面下右側は、画像認識過程の上記第１画像５である。また、画面下左は、自動認識結果から、速度規制標識モデル画像を図示されないメモリから読み出した画像からなる第２画像６である。更に、バックの映像は、ビデオカメラ１（図１）で撮像された背景画像３０（図３と同じ）である。
【００６９】
この結果、運転者は、１３０という今回の自動認識結果（第２画像６）が誤りであり、この速度規制標識の正しい認識が８０ｋｍの速度表示であることを判断することが出来る。
【００７０】
このように、画面左下にはシステムが自動認識した速度警告のイメージ画像である第２画像６を表示すると共に、右下には、マッチング率の最も高かった２値化画像である第１画像５を表示している。この両方を表示することにより、運転者が瞬時に速度規制標識の情報を認識できる。なお、このような表示が無かった場合には、運転者が速度規制標識自体に気付かない、あるいは、自動認識結果の表示のみであると、自動認識がエラーを起こした場合には、誤った結果で運転する状況に陥る可能性がある。しかしながら上述のようなペア表示を行うことにより、運転者が的確に規制速度の認識を行うことが出来る。
【００７１】
（その他の実施形態）
本発明は、上述した一実施形態にのみ限定されるものではなく、次のように変形または拡張することができる。例えば、速度違反の警告機能実現の場合には、車速を車両システム（メータＥＣＵ等）より受信して、自動認識速度と比較し、警告実施の必要の有無を判定する。即ち、車速が自動認識速度を越えている場合は、スピード違反の可能性があるため、これを運転者に警告するようにしても良い。この警告は、車両のヒューマンインターフェース、例えばメータ内の映像やメータからの警告音によって実施することが出来る。
【００７２】
次に、車両が上記一実施形態のように、ナビゲーションシステムを搭載している場合には、自車の現時点の走行道路が判断できるために、例えばナビゲーションシステム内の地図データでは、８０Ｋｍと記録されている走行道路において、自動認識の結果が１３０Ｋｍである場合は、自動認識結果に誤りがあるとナビゲーションシステム内で判断することが可能である。
【００７３】
速度規制標識に映りこんだ影や、光の反射による速度規制標識の誤認識の影響を避けるためにも、ナビゲーションシステム搭載車であれば、速度規制標識の自動認識結果と、認識ポイントの地図データにおける速度規制情報とが相違していれば、地図データにおける速度規制情報を優先し、自動認識結果を誤検出として、地図データにおける速度規制情報の方に補正して第２画像６（図７）を表示しても良い。
【００７４】
また、図１の画像処理部２に学習機能を持ったソフトウエアを使用することにより、自動認識を学習制御することも可能である。
【００７５】
更に第１画像５として、ステップＳ５１（図５）のコントラストアップ処理後の画像５を採用したが、ステップＳ５２の２値化後の画像５７を第１画像としても良い。また、第２画像６は、単に１３０または８０等の数字のみの表示としても良い。
【００７６】
また、ディスプレイはナビゲーションシステムと共用することが出来る。また、表示場所はメータパネル内であっても良い。
【符号の説明】
【００７７】
１ 撮像部
２ 画像処理部
３ 出力部
４ ディスプレイ
５または５７ 第１画像
６ 第２画像
３０ 車両前方画像
３２ 速度規制標識
Ｓ４２ 円ハフ変換を行うステップＳ４２
Ｓ４４ 円形領域の抽出を行うステップＳ４４
Ｓ５２ 抽出画像５を２値化するステップＳ５２
Ｓ５３、Ｓ５４及びＳ５５ 膨張・収縮処理とパターンマッチングの組み合わせ
【技術分野】
【０００１】
本発明は、車両が走行中の道路に存在する速度規制標識を自動認識し、運転者に自動認識の結果を通知する速度規制標識認識結果の通知方法に関するものである。
【背景技術】
【０００２】
従来、速度規制標識を正しく認識するための手法は、種々提案されている。特許文献１では、ネットワークを利用した大規模なものが提案されている。これは、道路側から車両に対して道路交通標識、標示情報、事故や工事等による規制情報、及びその他の道路情報を認知しやすい形態で運転者に表示することにより、運転者の安全運転を支援するネットワーク型標識システムに関するものである。
【０００３】
この特許文献１の技術においては、道路交通標識及び道路交通標示等の視認性を良くして、時々刻々変化する道路状況や交通状況の配信を可能とし、必要な情報のみを運転者に通知する標識システムを提供するという課題の基に、次のような構成を有している。
【０００４】
即ち、センタ装置は、道路交通標識等の道路情報を一括管理し、かつ道路に設けられた有線ネットワークに接続されている。そして、道路に設けられた路側アンテナから、無線で車両に必要な情報が配信されている。車両の車載装置は、車載アンテナを通してセンタ装置からの配信情報を受信し、画像及び音声等の選択されたメディアで、運転者に情報を通知している。
【０００５】
また、特許文献２は、高度な画像処理装置を利用したものが提案されている。これは、車両に搭載されるビデオカメラによって撮影された画像より、リアルタイムに道路標識を抽出し認識する方法及びその装置を得るという課題の基に構成されたものである。そしてその構成は、画面に表示されたビデオ画像に、特別なスリットｆｉを設定し、ＨＳＶ変換処理部によるスリット上の画素データの色成分から、標識確率計算処理部が、道路標識の有無を検出している。道路標識が、スリット上に存在すると判断されたときは、検出エリア設定処理部が、そのスリット上の道路標識があると判定した範囲に、所定の大きさの検出エリアを設定している。そして、輪郭検出処理部が２値化によって抽出した道路標識の輪郭を抽出し、形状種類決定処理部が道路標識の輪郭から種類を決定し、標識認識処理部が、この決定した種類内で、エリア内での道路標識の絵画像の特徴に最も類似する標識を引当て、これをビデオカメラで検出した道路標識として認識するものである。
【０００６】
更に、特許文献３には、カラー画像を用いて道路標識等の対象物の認識性能を向上させる方法が開示されている。この方法は、撮像されたカラー画像から得られる色情報（色相、彩度、及び明度）、形状情報、並びにエッジ情報を用いて、使用色が、予め設定されている標識並びに使用色、形状及び大きさが不定である看板を認識するものである。このため、次のような構成を採用している。
【０００７】
この認識方法の実施装置は、カラー画像を取得する撮像部と、カラー画像をＨＳＩ（Hue Saturation Intensity）変換により、色相・彩度・明度の色情報に変換する標識・看板識別部を備えている。そして、抽出された標識領域内部を対象として、青、赤、及び白領域とする円形標識情報抽出部を備えている。更に、領域内の構成色数及び構成色の比率を求める円形標識認識部を備え、看板候補領域に対し、判別分析法によりクラス間分散を求める非看板領域棄却部を備えている。更に、看板候補領域に対して２値化処理を行い、４方向のラプラシアンフィルタを用いて、エッジを検出する文字列領域抽出部を備え、ディスプレイ上に表示させている。
【０００８】
次に、特許文献４は、複数パターンを認識させるための高速化手法について開示している。これは画像データ及び標示体パターンに基づく形状パターンマッチングにより、短い処理時間で、効率的に標示体の認識を行うと共に、認識率を向上させることが可能な標示体認識方法を提供することを課題としている。このために、標示体認識装置のマッチング手段は、認識率の高い標示体パターンから順に、マッチング領域との形状パターンマッチングを実行している。
【０００９】
さらに、標示体認識手段は、形状パターンマッチングの結果に基づいて、マッチング領域内に存在する標示体を認識している。そうして、認識済領域削除手段を備え、認識した標示体の領域を認識済領域としてマッチング領域から削除している。そして、マッチング領域設定手段は、マッチング領域から認識済領域を削除した残余領域を、新たなマッチング領域に設定し、形状パターンマッチングによる標示体の認識処理を繰り返し行うようにしている。
【００１０】
また、特許文献５には、ナンバープレートの文字及び数字をパターンマッチングにより時間をずらせて認識し、一回目と２回目のうちマッチング率の高いものを最終画像として採用するナンバープレート自動観測記録システム及び装置が記載されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２０００−２４２８８７号公報
【特許文献２】特開２０００−２９３６７０号公報
【特許文献３】特開２００６−２５９８８５号公報
【特許文献４】特開２００８−２３４１０２号公報
【特許文献５】特開２００３−２７１８９８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
上述のように、従来、多くの手法が提案されているが、大規模な処理システムを構築したり、処理負荷の高いものであったりしている。しかしながら、これでも画像認識技術を利用しているため、１００％の確実性を速度規制標識の認識に期待することができない。従って、認識正解率が１００％に達しないシステムにおいても、運転者の速度違反のリスクを軽減するできる方法が望まれる。
【００１３】
本発明は、このような従来の技術に存在する問題点に着目して成されたものであり、その目的は、認識率が低い状況でも、運転者に適切な制限速度情報の提供が行えるＨＭＩ（ヒューマンインターフェース）を備えた速度規制標識認識結果の通知方法の提供を実現することにある。
【００１４】
なお、従来技術として列挙された特許文献の記載内容は、この明細書に記載された技術的要素の説明として、参照によって導入ないし援用することができる。
【課題を解決するための手段】
【００１５】
本発明は上記目的を達成するために、下記の技術的手段を採用する。すなわち、請求項１に記載の発明では、撮像部（１）で車両前方画像（３０）を撮像し、この車両前方画像（３０）内の速度規制標識（３２）を画像処理部（２）で自動認識し、この自動認識過程の車両前方画像（３０）内の速度規制標識（３２）部分の画像を第１画像（５）としてディスプレイ（４）に表示すると共に、自動認識した結果から導かれた画像からなる第２画像（６）を表示し、これら第１画像（５）及び第２画像（６）を並べて表示したことを特徴としている。
【００１６】
この発明によれば、撮像部（１）で車両前方画像（３０）を撮像し、この車両前方画像（３０）内の速度規制標識（３２）部分を自動認識し、この自動認識過程の車両前方画像（３０）内の速度規制標識（３２）部分の画像を第１画像（５）として表示すると共に、自動認識した結果としての第２画像（６）を並べて表示しているから、つまり、ペア画像（５及び６）を表示しているから、運転者が上記ペア画像（５及び６）を比較でき、速度規制標識（３２）の内容に関して、正しい判断を行うことが出来る。
【００１７】
請求項２に記載の発明では、第２画像（６）は、自動認識結果に対応する速度規制標識モデル画像の少なくとも規制速度の数値を表示したイメージ画像からなることを特徴としている。
【００１８】
この発明によれば、自動認識した速度警告の結果を、単なる数値で表すので無く、イメージ画像で表示している。即ち、丸い円形の中に数値を表示して、現実の速度規制標識（３２）と類似の画像を第２画像（６）としているから、隣接する車両前方画像（３０）内の速度規制標識（３２）部分の画像である第１画像（５）と比較し易く、運転者が、自動認識結果のエラーを判断し易い。
【００１９】
請求項３に記載の発明では、第１画像（５）並びに第２画像（６）の背景画像として、速度規制標識（３２）が存在した撮像部（１）で撮像された車両前方画像（３０）を表示することを特徴としている。
【００２０】
この発明によれば、ペア画像（５及び６）と同時に、実際の車両前方の景色映像である車両前方画像（３０）を表示しているから、運転者に速度規制標識（３２）が設置された状況を見せることが出来、運転者の判断の参考に供することが出来る。
【００２１】
請求項４に記載の発明では、車両前方画像（３０）内の速度規制標識（３２）の画像処理部（２）での自動認識においては、車両前方画像（３０）内の速度規制標識（３２）部分の画像を２値化した２値化画像（５７）を膨張・収縮処理してパターンマッチングを行う処理を複数回行って、その中で、マッチング率の合計値が最も大きい認識結果が、自動認識された第２画像（６）として採用され、該第２画像（６）が第１画像（５）と並置されて表示されることを特徴としている。
【００２２】
この発明によれば、車両前方画像（３０）内の速度規制標識部分の画像を２値化した２値化画像（５７）を膨張・収縮処理してパターンマッチングを行うのが、一回のみでなく、複数回行われて、その中で、マッチング率の合計値が最も大きい認識結果が、第２画像（６）として採用されている。しかしながら、複数の標識パターンに対して２値化画像（５７）がマッチングした場合、つまり、ある特定の速度規制標識（３２）を８０と認識したり１３０と認識したりする場合には、画像処理の誤認識が発生している可能性が高い。そこで、第２画像（６）の表示のみで無く、第１画像（５）をも表示して、運転者に依存した画像認識が行われるから、最終的な誤認識を抑制できる。
【００２３】
請求項５に記載の発明では、マッチング率の合計値が、第１所定割合に満たない場合は、自動認識の対象が、速度規制標識（３２）以外であると判断することを特徴としている。
【００２４】
この発明によれば、マッチング率の合計値が第１所定割合（例えば５０％）より低い場合は、速度規制標識（３２）ではないとしているから、例えば、看板等により誤認識することが少ない。
【００２５】
請求項６に記載の発明では、マッチング率の合計値が、第１所定割合よりも大きい第２所定割合以上でない場合は、第１画像（５）及び第２画像（６）を並べて表示せず、第１画像（５）のみを単独で表示することを特徴としている。
【００２６】
この発明によれば、マッチング率の合計値が第２所定割合以上でない（例えば、７０％以上で無い場合）は、標識に対する外乱が大きく速度規制標識（３２）以外とは判断できないため、ペア表示を行わず、第１画像（５）のみを表示して運転者に判断を一任しているから、運転者の判断で、速度規制標識（３２）を正しく認識させることが出来る。
【００２７】
請求項７に記載の発明では、マッチング率の合計値が、第２所定割合以上である場合に、第１画像（５）及び第２画像（６）を並べて表示することを特徴としている。
【００２８】
この発明によれば、マッチング率の合計値が第１所定割合よりも大きい第２所定割合以上である場合（例えば、７０％以上である場合）に、第１画像（５）及び第２画像（６）を並べて表示するペア表示を行っているから、標識が速度規制標識（３２）である可能性が高い場合において、自動認識の結果を参考とした運転者の判断による速度規制標識（３２）の認識を行うことができる。
【００２９】
請求項８に記載の発明では、第１画像（５）は撮像部（１）で撮像した車両前方画像（３０）内の円形領域を抽出した画像のコントラスト比をアップした画像（５）、または、該コントラスト比をアップした画像（５）を２値化した画像（５７）から成ることを特徴としている。
【００３０】
この発明によれば、第１画像（５）は撮像部（１）によって撮像された実際の生データとなる画像に対して少なくともコントラスト比がアップされているから、運転者が正しく速度規制標識（３２）を確認することが出来る。
【００３１】
なお、特許請求の範囲および上記各手段に記載の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示す一例である。
【図面の簡単な説明】
【００３２】
【図１】本発明の一実施形態に使用する車両に搭載された速度規制標識認識装置の概要を示すブロック図である。
【図２】上記実施形態で認識する速度規制標識の一例の見え方を説明する説明図である。
【図３】上記実施形態において、撮像した画像から運転者に視認させる第１画像までの画像の変化を説明する説明図である。
【図４】上記実施形態の画像処理部における処理の流れを示し、円形領域抽出までのフローチャートである。
【図５】図４に続く上記処理の流れを示し、パターンマッチングまでのフローチャートである。
【図６】図５に続く上記処理の流れを示し、ペア表示がなされるまでのフローチャートである。
【図７】上記実施形態のディスプレイに実際に表示される上記ペア表示画像の一例を示す画面図である。
【発明を実施するための形態】
【００３３】
（一実施形態）
以下、本発明方法の一実施形態について説明する。図１は、本発明方法に使用する車両に搭載された速度規制標識認識装置の概要を示すブロック図である。道路標識には、大きく分けて案内標識、警戒標識、規制標識、指示標識の４種類がある。そして、上記規制標識の中の最高速度を規制するための速度規制標識に書かれた制限速度を認識して、運転者に通知及び警告する装置を図１が示している。この速度規制標識の認識は、基本的に次の３つのステップに分かれる。
【００３４】
第１ステップは、撮像した車両前方画像内の速度規制標識を見つけ出す。第２ステップは、見つけ出した速度規制標識に記載されている制限速度を認識する。第３ステップは、認識結果を運転者に通知するというものである。
【００３５】
第１ステップにおいては、速度規制標識の存在エリアを限定し、円形を探索する画像処理により速度規制標識を検出する。この認識処理においては、未検出を防ぐよう円形であれば、全てを検出するように処理を実施することで、１００％の検出を実現すことが可能である。
【００３６】
第２ステップにて、検出した円形内の画像を、パターンマッチングにより、速度規制標識内部に記載された速度制限値を認識するのであるが、この認識においては、誤認識が多く発生する。この誤認識を防ぐために、複数の認識方法を用いて、総合的に１００％の認識を目指す方法もあるが、処理コストがかかり、非常に高価なシステムとなってしまう。
【００３７】
また、たとえコストをかけても、１００％を達成することは非常に困難である。この誤認識によって間違った情報を運転者に伝えてしまい、機能を果たさないことになる。よって、以下の記述では上記問題に対処し得る一実施形態について説明する。
【００３８】
撮像部１は、車両前方の道路情報を撮像するビデオカメラ１から成る。このビデオカメラ１の位置は、ドアミラー近く、あるいは車両のフロントに設けられている。また、このビデオカメラ１は、既存のシステム（事故の瞬間を記録するドライブレコーダ、または車両の走行車線を認識して自動運転する車線認識システムを備えた自動走行装置等）のビデオカメラと兼用することが出来る。
【００３９】
画像処理部２は、撮像された画像情報を基に速度規制標識を認識する画像処理手順を実行する。そして出力部３は、認識した画像情報を運転者に的確に表示または警告する。上記画像処理部２は、速度規制標識を認識する画像処理手順として、以下の処理を実行する。
【００４０】
先ず、詳細な処理はフローチャートを用いて後述し、処理の概要を述べる。第１処理として、円形の検索処理２ａを行う。これには、公知の円ハフ（Hough）変換を利用する。第２処理２ｂとして、検出した円形の抽出を行う。第３処理２ｃとして、抽出された円形の２値化を行う。第４処理２ｄとして２値画像の膨張・収縮処理を行う。即ち、公知のように２値画像に対して膨張・収縮処理２ｄを行ってノイズ除去を行う。第５処理２ｅとしてパターンマッチング行う。
【００４１】
出力部３からの信号でディスプレイ４を介して運転者に視認させる適切な画像としては、上記の処理途中の画像（第１画像５）と共に、自動認識した結果の画像（第２画像６）を並置して表示する（これを本発明ではペア表示と称する）ことが、全体の認識の精度を向上させるために有効である。
【００４２】
なお、上記膨張・収縮処理２ｄとパターンマッチング２ｅの組み合わせは、複数回（この一実施形態では３回）繰り返す。パターンマッチング２ｅは、参照するモデルとなる速度規制標識モデルに対して、撮像された速度規制標識画像がマッチングするかどうかの判定を行う。
【００４３】
撮像された速度規制標識画像が、汚れ等により鮮明でなく、そのため、一つの速度規制標識画像（例えば８０）が、１３０及び８０等の複数種類の速度規制標識モデル（標識パターン）に対してマッチングが取れた場合においては、画像処理による誤認識が発生している可能性が高いといえる。わずかの画像データの差で、間違った判定をしてしまうためである。従って、複数回のパターンマッチングを行って、マッチングが複数取れた場合には、自動認識結果のみを信用せずに、運転者に依存した認識を行うことが必要である。
【００４４】
なお、パターンマッチングの具体的アルゴリズムは種々の公知のものを採用でき、パターンが速度規制標識モデルに合致した割合を表すマッチング率の計算方法についても種々の公知の方法を採用できる。
【００４５】
そして、各パターンのマッチング率の全てを合計（合算）することで得られる値が、最大値となる上記膨張・収縮処理とパターンマッチングの組み合わせが導いた結果が、自動認識結果として正しいものと判断する。つまり、この組み合わせで得られた最もマッチング率が高い結果を自動認識の結論として採用し、第２画像６を作成する。この自動認識した認識結果となる第２画像６と、画像処理過程の映像表示である第１画像５との両方からなる画像（上記ペア画像）を運転者に目視させる。
【００４６】
パターンマッチング率の合計値が５０％を割り込んだ場合には、想定している速度規制標識ではなかったと判断し、第１画像５及び第２画像６の表示を実施しない。
【００４７】
また、パターンマッチング率の合計値が５０％以上であるが７０％未満の場合には、コントラスト比をアップさせた撮像映像（第１画像５）のみを表示し、ペア表示は行わない。つまり、撮像画像のような速度規制標識が存在したことを運転者に伝達するのみとする。
【００４８】
自動認識の結果が、前回認識した認識結果と同じ結果の場合には、何も新たに表示しないことで、運転者への認識結果の表示を省略し、表示の煩わしさを軽減する。このような、ルールを適用して情報を運転者に伝達するヒューマンインターフェースを実行する。
【００４９】
次に、上記構成並びに処理を更に詳しく説明する。図１において、速度規制標識認識のために車載のナビゲーションＥＣＵ（電子的演算ユニット）１０内に画像処理部２を成す速度規制標識認識演算部２が備えられている。出力部３は表示用のディスプレイ４に接続されている。システム価格を下げるために、処理コストを低く抑える必要がある。このため、車載のナビゲーションシステムに本機能を組み込んでいるのである。そして、ビデオカメラ１からのカメラ映像を図示されないメモリに取り込み、画像処理部２による画像処理を実施している。この画像処理は、画像コントラストの調整を実施した上で、周知のようにエッジ抽出し、先鋭化処理を行う。そして、円ハフ変換により円形を見つけ出している。
【００５０】
次に、速度規制標識内の数字を自動認識する。数字と認識できない場合には、後述するように、速度規制標識以外の標識と判断し、処理を終了する。数字と認識されたもののみ、運転者に通知するようにしている。
【００５１】
図２は、この実施形態で認識する速度規制標識の一例の見え方を説明する説明図である。標識２０は８０Ｋｍの速度制限を表している綺麗な速度規制標識であり、このような場合は８０Ｋｍと認識できるので問題がない。ところが、標識２１は、汚れ、または、かすれが存在する場合の速度規制標識の一例あり、このような場合は、自動認識の結果は１３０と認識されたり、３０と認識されたり、正しく８０と認識されたりするため、問題が生じる。
【００５２】
運転者には、８０Ｋｍの速度表示が、注目すれば汚れていても判読できるものの、画像の自動認識の方は、１３０や３０に認識してしまう結果になる。従って、この画像の自動認識による表示、つまり、１３０や３０だけを運転者に伝達したのでは、大きな問題を生じる。なお、１３０という速度表示は国内では見かけないが、外国の道路では１３０マイルのように一般的に表示される。
【００５３】
図３は、この実施形態において、撮像部１（図１）で撮像した画像から最終的に運転者に第１画像５を視認させるまでの画像の変化を説明する説明図である。３０は、車載のビデオカメラで撮像した車両前方画像である。ここで、四角で囲まれた部分３１内に速度規制標識３２があり、この速度規制標識３２を後述のように画像処理して画像認識を行う。そして、図示しない車両運転席内のメータ近傍に、少なくとも後述する画像処理の過程の速度規制標識画像（第１画像５）を表示する。
【００５４】
次に、フローチャートについて図４乃至図６を用いて説明する。図４は、この実施形態の画像処理部における処理の流れを示し、円形領域抽出までのフローチャートである。図５は、図４に続く上記処理の流れを示し、パターンマッチングまでのフローチャートである。図６は、図５に続く上記処理の流れを示し、ペア表示がなされるまでのフローチャートである。
【００５５】
図４において、演算が開始されると、ステップＳ４１において、図１の車載のビデオカメラ１により車両前方画像３０（図３）を画像処理部２（図１）に入力する。そして、ステップＳ４２において、円ハフ（Hough）変換を行う。この円ハフ変換とは、直線や円の検出に用いられる周知の技法であり、P.V.C.Houghによって１９６２年に米国特許が取得されている。
【００５６】
そして、ステップＳ４３で円形検出が成されたかどうかを判定する。円形検出が無い場合は、ステップＳ４１に戻り、これらのステップＳ４１からステップＳ４３を繰り返している。円形検出があった場合は、ステップＳ４４にて円形領域の抽出を行う。
【００５７】
次に、図５のステップＳ５１において、円形領域のコントラスト比のアップ処理を行う。図５の５は、コントラスト比がアップされた抽出映像５（第１画像５）を示している。そして、ステップＳ５２で、このコントラスト比がアップされた抽出画像５を２値化する。５７は、２値化処理された映像データを示している。そして、ステップＳ５３において２値化処理された映像データに対して、周知の膨張・収縮処理（ノイズ除去処理）を行う。また、この膨張・収縮処理の後でパターンマッチングを行う。
【００５８】
なお、このフローチャートによる処理では、２値画像の膨張・収縮処理とパターンマッチングの組み合わせをステップＳ５３、ステップＳ５４及びステップＳ５５のように３回行っている。即ち、膨張・収縮処理を１回行ってパターンマッチングを行う過程を３回繰り返して行っている。
【００５９】
図５の５３ａは、ステップＳ５３の膨張・収縮処理でノイズが除去された画像データである。この実施形態においては、第１回目の膨張・収縮処理及びパターンマッチングにおいては、速度規制標識が８０と認識されたマッチング率が８０％であり、１３０と認識されたマッチング率が８５％であった場合を示している（合計マッチング率は１６５％）。
【００６０】
また、画像データ５４ａが得られる第２回目の膨張・収縮処理及びパターンマッチングにおいては、速度規制標識が８０と認識されたマッチング率が６０％であり、１３０と認識されたマッチング率が８５％であった場合を示している（合計マッチング率は１４５％）。
【００６１】
また、画像データ５５ａが得られる第３回目の膨張・収縮処理及びパターンマッチングにおいては、速度規制標識が８０と認識されたマッチング率が５０％であり、１３０と認識されたマッチング率が９０％であった場合を示している（合計マッチング率は１４０％）。
【００６２】
次に、図６のステップＳ６１において、上記合計マッチング率が、５０％以上あるかどうかを判定する。５０％以上でない場合は、標識が速度規制標識以外の標識（例えば、高さ制限、重量制限及び転回禁止等）であると判断して図４のステップＳ４１に戻る。
【００６３】
また、合計マッチング率が５０％以上である場合は、ステップＳ６２において、合計マッチング率が７０％以上であるか判定し、合計マッチング率が７０％以上でない場合は、ステップＳ６５において抽出画像５（第１画像５）のみを単独表示する。即ち、この場合は、速度規制標識への外乱が大きく速度警告以外と判断できないため、運転者に判断を託すために、抽出画像（第１画像５）のみを単独表示するのである。この抽出画像５は、ステップＳ５１（図５）でコントラスト比をアップした画像データ５である。
【００６４】
そして、このように抽出画像５（第１画像５）の単独表示を行った場合でも、運転者であれば、この表示を見て、直前の道路上に速度規制標識があって、８０Ｋｍ規制であると判断できる可能性が高い。また、見逃してしまった標識を確認できる。
【００６５】
また、ステップＳ６２において、マッチング率が７０％以上である場合は、ステップＳ６３において、今回の自動認識結果が、合計マッチング率が最大の１６５と成っているステップＳ５３（図５）におけるマッチング率８５％の１３０であると確定した上で、前回の自動認識結果と異なるか否かを判断する。前回の認識と異ならない、即ち、前回の認識も１３０であって、同一である場合は、ステップＳ６３においてＮＯと判断されて、図４のステップＳ４１にリターンし、再表示の煩わしさを低減する。
【００６６】
ステップＳ６３において、前回の認識と異なる場合のみ、ステップＳ６４に進む。このステップＳ６４では、マッチング率の合計が、最大の１６５と成っているステップＳ５３（図５）におけるマッチング率８５％の１３０という認識結果である第２画像６と、画像処理過程の第１画像５を並べて表示（ペア表示）する。
【００６７】
つまり、自動認識の結果として、合計マッチング率が最も高いマッチング過程において認識した結果の中で、高いマッチング率の方の認識結果、即ち１３０を選択する。この選択された認識結果から、速度規制標識モデル画像を図示されないメモリから読みだして作成した画像をディスプレイ４（図７）にて数秒程度、第２画像６として運転者前方に表示する。同時に、画像認識過程のステップＳ５１（図５）の第１画像５を並置して表示（ペア表示）する。また、これらの背景画像として、実際のビデオカメラ１(図１)で撮像した画像３０を表示する。
【００６８】
図７は、ディスプレイ４（図１）に実際に表示される画像の一例を示す画面図である。図７において、画面下右側は、画像認識過程の上記第１画像５である。また、画面下左は、自動認識結果から、速度規制標識モデル画像を図示されないメモリから読み出した画像からなる第２画像６である。更に、バックの映像は、ビデオカメラ１（図１）で撮像された背景画像３０（図３と同じ）である。
【００６９】
この結果、運転者は、１３０という今回の自動認識結果（第２画像６）が誤りであり、この速度規制標識の正しい認識が８０ｋｍの速度表示であることを判断することが出来る。
【００７０】
このように、画面左下にはシステムが自動認識した速度警告のイメージ画像である第２画像６を表示すると共に、右下には、マッチング率の最も高かった２値化画像である第１画像５を表示している。この両方を表示することにより、運転者が瞬時に速度規制標識の情報を認識できる。なお、このような表示が無かった場合には、運転者が速度規制標識自体に気付かない、あるいは、自動認識結果の表示のみであると、自動認識がエラーを起こした場合には、誤った結果で運転する状況に陥る可能性がある。しかしながら上述のようなペア表示を行うことにより、運転者が的確に規制速度の認識を行うことが出来る。
【００７１】
（その他の実施形態）
本発明は、上述した一実施形態にのみ限定されるものではなく、次のように変形または拡張することができる。例えば、速度違反の警告機能実現の場合には、車速を車両システム（メータＥＣＵ等）より受信して、自動認識速度と比較し、警告実施の必要の有無を判定する。即ち、車速が自動認識速度を越えている場合は、スピード違反の可能性があるため、これを運転者に警告するようにしても良い。この警告は、車両のヒューマンインターフェース、例えばメータ内の映像やメータからの警告音によって実施することが出来る。
【００７２】
次に、車両が上記一実施形態のように、ナビゲーションシステムを搭載している場合には、自車の現時点の走行道路が判断できるために、例えばナビゲーションシステム内の地図データでは、８０Ｋｍと記録されている走行道路において、自動認識の結果が１３０Ｋｍである場合は、自動認識結果に誤りがあるとナビゲーションシステム内で判断することが可能である。
【００７３】
速度規制標識に映りこんだ影や、光の反射による速度規制標識の誤認識の影響を避けるためにも、ナビゲーションシステム搭載車であれば、速度規制標識の自動認識結果と、認識ポイントの地図データにおける速度規制情報とが相違していれば、地図データにおける速度規制情報を優先し、自動認識結果を誤検出として、地図データにおける速度規制情報の方に補正して第２画像６（図７）を表示しても良い。
【００７４】
また、図１の画像処理部２に学習機能を持ったソフトウエアを使用することにより、自動認識を学習制御することも可能である。
【００７５】
更に第１画像５として、ステップＳ５１（図５）のコントラストアップ処理後の画像５を採用したが、ステップＳ５２の２値化後の画像５７を第１画像としても良い。また、第２画像６は、単に１３０または８０等の数字のみの表示としても良い。
【００７６】
また、ディスプレイはナビゲーションシステムと共用することが出来る。また、表示場所はメータパネル内であっても良い。
【符号の説明】
【００７７】
１ 撮像部
２ 画像処理部
３ 出力部
４ ディスプレイ
５または５７ 第１画像
６ 第２画像
３０ 車両前方画像
３２ 速度規制標識
Ｓ４２ 円ハフ変換を行うステップＳ４２
Ｓ４４ 円形領域の抽出を行うステップＳ４４
Ｓ５２ 抽出画像５を２値化するステップＳ５２
Ｓ５３、Ｓ５４及びＳ５５ 膨張・収縮処理とパターンマッチングの組み合わせ
【特許請求の範囲】
【請求項１】
撮像部（１）で車両前方画像（３０）を撮像し、この車両前方画像（３０）内の速度規制標識（３２）を画像処理部（２）で自動認識し、この自動認識過程の前記車両前方画像（３０）内の速度規制標識（３２）部分の画像を第１画像（５）としてディスプレイ（４）に表示すると共に、前記自動認識した結果から導かれた画像からなる第２画像（６）を表示し、これら第１画像（５）及び第２画像（６）を並べて表示したことを特徴とする速度規制標識認識結果の通知方法。
【請求項２】
前記第２画像（６）は、自動認識結果に対応する速度規制標識モデル画像の少なくとも規制速度の数値を表示したイメージ画像からなることを特徴とする請求項１に記載の速度規制標識認識結果の通知方法。
【請求項３】
前記第１画像（５）並びに前記第２画像（６）の背景画像として、前記速度規制標識（３２）が存在した前記撮像部（１）で撮像された前記車両前方画像（３０）を表示することを特徴とする請求項１または２に記載の速度規制標識認識結果の通知方法。
【請求項４】
前記車両前方画像（３０）内の前記速度規制標識（３２）の前記画像処理部（２）での自動認識においては、前記車両前方画像（３０）内の前記速度規制標識（３２）部分の画像を２値化した２値化画像（５７）を膨張・収縮処理してパターンマッチングを行う処理を複数回行って、その中で、マッチング率の合計値が最も大きい認識結果が、自動認識された前記第２画像（６）として採用され、該第２画像（６）が前記第１画像（５）と並置されて表示されることを特徴とする請求項１乃至３のいずれか一項に記載の速度規制標識認識結果の通知方法。
【請求項５】
前記マッチング率の合計値が、第１所定割合に満たない場合は、前記自動認識の対象が、前記速度規制標識（３２）以外であると判断することを特徴とする請求項４に記載の速度規制標識認識結果の通知方法。
【請求項６】
前記マッチング率の合計値が、前記第１所定割合よりも大きい第２所定割合以上でない場合は、第１画像（５）及び第２画像（６）を並べて表示せず、前記第１画像（５）のみを単独で表示することを特徴とする請求項５に記載の速度規制標識認識結果の通知方法。
【請求項７】
前記マッチング率の合計値が、前記第２所定割合以上である場合に、第１画像（５）及び第２画像（６）を並べて表示することを特徴とする請求項６に記載の速度規制標識認識結果の通知方法。
【請求項８】
前記第１画像（５）は前記撮像部（１）で撮像した車両前方画像（３０）内の円形領域を抽出した画像のコントラスト比をアップした画像（５）、または、該コントラスト比をアップした画像（５）を２値化した画像（５７）から成ることを特徴とする請求項１乃至７のいずれか一項に記載の速度規制標識認識結果の通知方法。
【請求項１】
撮像部（１）で車両前方画像（３０）を撮像し、この車両前方画像（３０）内の速度規制標識（３２）を画像処理部（２）で自動認識し、この自動認識過程の前記車両前方画像（３０）内の速度規制標識（３２）部分の画像を第１画像（５）としてディスプレイ（４）に表示すると共に、前記自動認識した結果から導かれた画像からなる第２画像（６）を表示し、これら第１画像（５）及び第２画像（６）を並べて表示したことを特徴とする速度規制標識認識結果の通知方法。
【請求項２】
前記第２画像（６）は、自動認識結果に対応する速度規制標識モデル画像の少なくとも規制速度の数値を表示したイメージ画像からなることを特徴とする請求項１に記載の速度規制標識認識結果の通知方法。
【請求項３】
前記第１画像（５）並びに前記第２画像（６）の背景画像として、前記速度規制標識（３２）が存在した前記撮像部（１）で撮像された前記車両前方画像（３０）を表示することを特徴とする請求項１または２に記載の速度規制標識認識結果の通知方法。
【請求項４】
前記車両前方画像（３０）内の前記速度規制標識（３２）の前記画像処理部（２）での自動認識においては、前記車両前方画像（３０）内の前記速度規制標識（３２）部分の画像を２値化した２値化画像（５７）を膨張・収縮処理してパターンマッチングを行う処理を複数回行って、その中で、マッチング率の合計値が最も大きい認識結果が、自動認識された前記第２画像（６）として採用され、該第２画像（６）が前記第１画像（５）と並置されて表示されることを特徴とする請求項１乃至３のいずれか一項に記載の速度規制標識認識結果の通知方法。
【請求項５】
前記マッチング率の合計値が、第１所定割合に満たない場合は、前記自動認識の対象が、前記速度規制標識（３２）以外であると判断することを特徴とする請求項４に記載の速度規制標識認識結果の通知方法。
【請求項６】
前記マッチング率の合計値が、前記第１所定割合よりも大きい第２所定割合以上でない場合は、第１画像（５）及び第２画像（６）を並べて表示せず、前記第１画像（５）のみを単独で表示することを特徴とする請求項５に記載の速度規制標識認識結果の通知方法。
【請求項７】
前記マッチング率の合計値が、前記第２所定割合以上である場合に、第１画像（５）及び第２画像（６）を並べて表示することを特徴とする請求項６に記載の速度規制標識認識結果の通知方法。
【請求項８】
前記第１画像（５）は前記撮像部（１）で撮像した車両前方画像（３０）内の円形領域を抽出した画像のコントラスト比をアップした画像（５）、または、該コントラスト比をアップした画像（５）を２値化した画像（５７）から成ることを特徴とする請求項１乃至７のいずれか一項に記載の速度規制標識認識結果の通知方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−２０５１６０（Ｐ２０１０−２０５１６０Ａ）
【公開日】平成２２年９月１６日（２０１０．９．１６）
【国際特許分類】
【出願番号】特願２００９−５２４５４（Ｐ２００９−５２４５４）
【出願日】平成２１年３月５日（２００９．３．５）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２２年９月１６日（２０１０．９．１６）
【国際特許分類】
【出願日】平成２１年３月５日（２００９．３．５）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]