画像認識装置、画像認識方法、歩行者認識装置および車両制御装置
【課題】画像内に映し出される路面上に描かれた模様や記号などの路面標示を精度よく認識することで、画像内から判別の対象となる物体が存在する蓋然性の高い候補領域を予め精度よく特定することができ、車載のカメラで撮影された画像内の物体の認識精度を向上させることを課題とする。
【解決手段】カメラで撮影された入力画像内の白線（例えば、路面にペイントされた中央線など）を認識して、路面領域の切出しを行うとともに、道路に対応する基準データに基づいて、入力画像内の路面領域の中から道路外の領域を特定する。道路以外の領域を特定した入力画像を俯瞰した状態に画像変換し、路面標示の基準データに基づいて路面標示認識を行うとともに、路面標示以外の領域を歩行者認識の候補領域として特定する。
【解決手段】カメラで撮影された入力画像内の白線（例えば、路面にペイントされた中央線など）を認識して、路面領域の切出しを行うとともに、道路に対応する基準データに基づいて、入力画像内の路面領域の中から道路外の領域を特定する。道路以外の領域を特定した入力画像を俯瞰した状態に画像変換し、路面標示の基準データに基づいて路面標示認識を行うとともに、路面標示以外の領域を歩行者認識の候補領域として特定する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車載のカメラによって撮影された画像の画像認識を行う画像認識装置、画像認識方法、歩行者認識装置および車両制御装置に関する。
【背景技術】
【０００２】
従来より、車両走行の障害となる物体との衝突を回避することや適切な運転操作を行えるようにすること等を目的として、車載のカメラによって撮影された画像に画像処理を行う技術が開示されている。例えば、特許文献１では、車両上方に設定した仮想視点から見た合成画像を生成することで、路面上に描かれた模様や記号などの路面標示の形状のように、同一の形状であったとしてもそれぞれ異なって見えてしまう要因であったカメラの取付け位置や取付け角度に影響されることのない画像を運転者に提供して、車両走行の障害となる物体との衝突を回避することや適切な運転操作を行えるようする技術が開示されている。
【０００３】
また、同様に、車両走行の障害となる物体との衝突を回避すること等を目的として、車載のカメラによって撮影された画像の画像認識を行って、画像内から判別の対象となる物体が存在する蓋然性のある候補領域を検出する技術が開示されている。例えば、車両で走行する路面上に描かれた模様や記号などの路面表示の特徴を抽出して把握することでこれらを認識できるようにしておいて、路面上で認識できないものを判別の対象となる物体が存在する蓋然性の高い候補領域として検出する技術が開示されている。
【０００４】
【特許文献１】ＷＯ００／６４１７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記した従来の技術は、車両で走行する路面上に描かれた模様や記号を精度よく認識することができない場合があるという問題点があった。
【０００６】
すなわち、上記した従来の技術の一方は、車両上方に設定した仮想視点から見た合成画像を生成することで、路面上に描かれた模様や記号などの路面表示の形状のように、同一の形状であったとしてもそれぞれ異なって見えてしまう要因であったカメラの取付け位置や取付け角度に影響されることのない画像を運転者に提供するものであるので、そもそも車両で走行する路面上に描かれた模様や記号を認識するものではないという問題点があった。
【０００７】
上記した従来技術の他方は、車両の所定位置に取り付けられたカメラによって撮影された複数の画像に基づいて、路面上に描かれた模様や記号などの路面標示の特徴を抽出したデータを生成しておき、このデータに基づいて画像内の映し出された路面標示を把握するものであるので、同一の形状であったとしてもカメラの取付け位置や取付け角度によってそれぞれ異なって見える（例えば、様々な形状にゆがんで見える）路面標示の特徴を希釈化させずに抽出することが難しく、車両で走行する路面上に描かれた模様や記号を精度よく認識することができない場合があり、結果として、判別の対象となる物体が存在する蓋然性の高い候補領域を検出することができないという問題点があった。
【０００８】
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、画像内に映し出される路面上に描かれた模様や記号などの路面標示を精度よく認識することで、画像内から判別の対象となる物体が存在する蓋然性の高い候補領域を予め精度よく特定することができ、車載のカメラで撮影された画像内の物体の認識精度を向上させることが可能な画像認識装置、画像認識方法、歩行者認識装置および車両制御装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決し、目的を達成するため、請求項１に係る発明は、車載のカメラで撮影された画像内に映し出される路面標示の俯瞰形状に対応する基準データを記憶する基準データ記憶手段と、前記画像を俯瞰した状態の俯瞰画像に変換する画像変換手段と、前記基準データ記憶手段により記憶されている前記基準データに基づいて、前記画像変換手段により得られる前記俯瞰画像内の路面標示を認識する路面標示認識手段と、を備えたことを特徴とする。
【００１０】
また、請求項２に係る発明は、上記の発明において、前記画像変換手段により得られる前記俯瞰画像内から、当該俯瞰画像を回転するための基準とする回転基準対象を前記路面標示の中から検出する回転基準対象検出手段と、前記回転基準対象検出手段により前記回転基準対象として検出された路面標示を回転させることで、前記俯瞰画像を車両進行方向と一致させるように回転補正する回転補正手段と、をさらに備えたことを特徴とする。
【００１１】
また、請求項３に係る発明は、前記画像変換手段により得られる前記俯瞰画像内から、前記路面標示認識手段により路面標示と認識されなかった領域を物体認識の対象となる候補領域として特定し、当該画像変換手段により俯瞰画像に変更される前の元画像内の当該候補領域に対応する領域について物体認識を行う物体認識手段をさらに備えたことを特徴とする。
【００１２】
また、請求項４に係る発明は、前記画像内に映し出されている路面標示と路面との輝度差が所定の値となるように調整する輝度調整手段をさらに備えたことを特徴とする。
【００１３】
また、請求項５に係る発明は、車載のカメラで撮影された画像内に映し出される路面標示の俯瞰形状に対応する基準データを記憶する基準データ記憶工程と、前記画像を俯瞰した状態の俯瞰画像に変換する画像変換工程と、前記基準データ記憶工程により記憶されている前記基準データに基づいて、前記画像変換工程により得られる前記俯瞰画像内の路面標示を認識する路面標示認識工程と、を含んだことを特徴とする。
【００１４】
また、請求項６に係る発明は、車載のカメラで撮影された画像内に映し出される路面標示の俯瞰形状に対応する基準データを記憶する基準データ記憶手段と、前記画像を俯瞰した状態の俯瞰画像に変換する画像変換手段と、前記基準データ記憶手段により記憶されている前記基準データに基づいて、前記画像変換手段により得られる前記俯瞰画像内の路面標示を認識する路面標示認識手段と、前記画像変換手段により得られる前記俯瞰画像内から、前記路面標示認識手段により路面標示と認識されなかった領域を歩行者認識の対象となる候補領域として特定し、当該画像変換手段により俯瞰画像に変更される前の元画像内において、当該候補領域に対応する領域に歩行者認識を行う歩行者認識手段と、を備えたことを特徴とする。
【００１５】
また、請求項７に係る発明は、車載のカメラで撮影された画像内に映し出される路面標示の俯瞰形状に対応する基準データを記憶する基準データ記憶手段と、前記画像を俯瞰した状態の俯瞰画像に変換する画像変換手段と、前記基準データ記憶手段により記憶されている前記基準データに基づいて、前記画像変換手段により得られる前記俯瞰画像内の路面標示を認識する路面標示認識手段と、前記画像変換手段により得られる前記俯瞰画像内から、前記路面標示認識手段により路面標示と認識されなかった領域を歩行者認識の対象となる候補領域として特定し、当該画像変換手段により俯瞰画像に変更される前の元画像内において、当該候補領域に対応する領域に歩行者認識を行う歩行者認識手段と、前記歩行者認識手段により歩行者が認識された場合に、運転者に注意または警告を報知する報知制御、および／または車両の走行状態を制御する車両制御を実行する制御手段と、を備えたことを特徴とする。
【００１６】
また、請求項８に係る発明は、道路を含む入力画像を俯瞰した状態の俯瞰画像に変換する変換手段と、予め路面標示が俯瞰化された基準データと前記俯瞰画像との比較結果に基づいて、当該俯瞰画像内から当該路面標示以外の領域を歩行者認識の対象となる候補領域として特定する特定手段と、を備えたことを特徴とする。
【発明の効果】
【００１７】
請求項１または５の発明によれば、車載のカメラで撮影された画像内に映し出される路面標示の俯瞰形状に対応する基準データを記憶するとともに、この基準データに基づいて、撮影された画像を俯瞰した状態に変換した俯瞰画像内の路面標示を認識するので、車載のカメラの撮影方向や撮影角度に左右されることなく、画像内に映し出される路面標示（路面上に描かれた模様や記号など）を精度よく認識することが可能である。
【００１８】
また、請求項２の発明によれば、俯瞰画像を回転するための基準とする回転基準対象を路面標示の中から検出し（例えば、中央線や外側線などの白線などを検出し）、回転基準対象として検出された路面標示を回転させることで、俯瞰画像を車両進行方向と一致させるように回転補正するので、車両が斜めに走行する場合（例えば、道路を斜めに横切って走行する場合）などに撮影した画像内に映し出されている路面標示を認識しやすいように、俯瞰画像を回転補正して対応することができ、画像内に映し出される路面標示をより精度よく認識することが可能である。
【００１９】
また、請求項３の発明によれば、俯瞰画像内から、路面標示と認識されなかった領域を物体認識の対象となる候補領域として特定し、俯瞰画像に変更される前の元画像内の候補領域に対応する領域について物体認識を行うので、画像内から判別の対象となる物体（例えば、歩行者や犬や猫などの四足動物など）が存在する蓋然性の高い候補領域を予め精度よく特定することができ、車載のカメラで撮影された画像内の物体の認識精度を向上させることが可能である。
【００２０】
また、請求項４の発明によれば、画像内に映し出されている路面標示と路面との輝度差が所定の値となるように調整する（つまり、中央線や外側線などの白線などを基準として、路面上に描かれた模様や記号などの路面標示が明瞭となるように調整する）ので、例えば、路面標示のペイントの濃さや天候等の影響を緩和することができる結果、路面標示をより精度よく認識することが可能である。
【００２１】
また、請求項６の発明によれば、車載のカメラで撮影された画像内に映し出される路面標示の俯瞰形状に対応する基準データを記憶するとともに、この基準データに基づいて、撮影された画像を俯瞰した状態に変換した俯瞰画像内の路面標示を認識し、さらに、俯瞰画像内から、路面標示と認識されなかった領域を歩行者認識の対象となる候補領域として特定し、俯瞰画像に変更される前の元画像内の候補領域に対応する領域について歩行者認識を行うので、画像内から判別の対象となる歩行者が存在する蓋然性の高い候補領域を予め精度よく特定することができ、車載のカメラで撮影された画像内の歩行者認識精度を向上させることが可能である。
【００２２】
また、請求項７の発明によれば、車載のカメラで撮影された画像内に映し出される路面標示の俯瞰形状に対応する基準データを記憶するとともに、この基準データに基づいて、撮影された画像を俯瞰した状態に変換した俯瞰画像内の路面標示を認識し、さらに、俯瞰画像内から、路面標示と認識されなかった領域を歩行者認識の対象となる候補領域として特定し、俯瞰画像に変更される前の元画像内の候補領域に対応する領域について歩行者認識を行って、その結果歩行者を認識した場合には報知制御または車両制御を行うので、車載のカメラで撮影された画像内の歩行者認識精度を向上させることができる結果、適切な報知制御や車両制御を行うことができ、車両走行の障害となる物体との衝突を回避すること等が可能である。
【００２３】
また、請求項８の発明によれば、道路を含む入力画像を俯瞰した状態の俯瞰画像に変換し、予め路面標示が俯瞰化された基準データと俯瞰画像との比較結果に基づいて、俯瞰画像内から路面標示以外の領域を歩行者認識の対象となる候補領域として特定するので、例えば、路面標示を含む道路の画像を俯瞰化したデータを基準データとして予め保持し、この基準データと俯瞰画像との比較結果として抽出される差分から、歩行者認識の対象となる候補領域を特定することができ、路面標示認識を必要とすることなく簡易に候補領域を特定して歩行者認識の精度を向上させることが可能である。
【発明を実施するための最良の形態】
【００２４】
以下に添付図面を参照して、本発明に係る画像認識装置、画像認識方法、歩行者認識装置および車両制御装置の実施例を詳細に説明する。なお、以下では、本発明に係る画像認識装置および車両制御装置を搭載した車両を実施例１として説明した後に、本発明に含まれる他の実施例を説明する。
【実施例１】
【００２５】
以下の実施例１では、実施例１に係る概要および特徴、実施例１の構成および処理の流れを順に説明し、最後に実施例１による効果を説明する。
【００２６】
［概要および特徴（実施例１）］
まず最初に、図１を用いて、実施例１に係る概要および特徴を説明する。図１は、実施例１に係る概要および特徴と説明するための図である。
【００２７】
実施例１は、車両走行の障害となる物体との衝突を回避すること等を目的として、車載のカメラによって撮影された画像の画像認識を行うことを概要とするが、画像内に映し出される路面標示（路面上に描かれた模様や記号）を精度よく認識することで、画像内から判別の対象となる物体（例えば、歩行者）が存在する蓋然性の高い候補領域を予め精度よく特定することができ、車載のカメラで撮影された画像内の物体の認識精度を向上させることが可能である点に主たる特徴がある。
【００２８】
この主たる特徴について具体的に説明すると、図１に示すように、車載のカメラで撮影された画像内に映し出される路面標示の俯瞰形状（俯瞰した状態で把握される形状）に対応する基準データをあらかじめ記憶している。ここで、基準データとは、例えば、画像内に映し出される路面標示を俯瞰した状態で得られる形状の特徴を、サンプルとして採取した俯瞰画像から抽出して生成したデータをいう。
【００２９】
そして、カメラで撮影された入力画像内の白線（例えば、路面にペイントされた中央線など）を認識して、路面領域の切出しを行うとともに、道路に対応する基準データに基づいて、入力画像内の路面領域の中から道路外の領域を特定する。具体的には、車両制御装置は、入力画像内の白線位置を特定するとともに、認識した白線との位置関係から入力画像内の路面領域を切出した後、道路に対応する基準データに基づいて路面領域内で道路以外の領域を特定する。
【００３０】
次に、道路以外の領域を特定した入力画像を俯瞰した状態に画像変換し、路面標示の基準データに基づいて路面標示認識を行うとともに、路面標示以外の領域を歩行者認識の候補領域として特定する。具体的には、俯瞰画像内で路面標示（路面上の記号や模様）と認識されなかった路面標示以外の領域を歩行者認識の対象となる候補領域として特定する。
【００３１】
続いて、先ほど俯瞰画像において特定した候補領域に対応する元の画像（俯瞰画像に変換する前の入力画像）内の領域について歩行者認識を行う。なお、歩行者認識については、パターンマッチングやニューラルネットワークなどの手法を用いて行う。
【００３２】
そして、歩行者認識の結果に応じて報知制御や車両走行制御を行う。具体的には、例えば、歩行者認識の結果（例えば、「歩行者である」という判別結果）の他に、レーダ（例えば、ミリ波レーダ、光レーダなど）によって得られた物体に対する距離情報（車両から物体までの距離）を用いて、歩行者との衝突危険度を判定し、この判定結果に応じて報知制御や車両制御として車両走行制御を行う。
【００３３】
このようなことから、実施例１は、上述した主たる特徴のごとく、画像内に映し出される路面標示（路面上に描かれた模様や記号）を精度よく認識することで、画像内から判別の対象となる物体（例えば、歩行者）が存在する蓋然性の高い候補領域を予め精度よく特定することができ、車載のカメラで撮影された画像内の物体の認識精度を向上させることが可能である。また、実施例１は、車載のカメラで撮影された画像内の歩行者認識精度を向上させることができる結果、適切な報知制御や車両制御を行うことができ、車両走行の障害となる物体との衝突を回避すること等が可能である。
【００３４】
［車両の構成（実施例１）］
次に、図２を用いて、実施例１に係る画像認識装置および車両制御装置を搭載する車両の構成を説明する。図２は、実施例１に係る画像認識装置および車両制御装置を搭載する車両の構成を示すブロック図である。なお、以下では、本発明を実施するために必要な処理部のみを示し、他の処理部については記載を省略する。
【００３５】
同図に示すように、この車両は、車両制御装置１０、撮像装置（例えば、単眼カメラやステレオカメラ）１１、ナビ部１２、レーダ部１３、車内通知部１４および画像認識装置２０を搭載している。また、車両制御装置１０は、報知制御部１５および車両制御部１６から構成され、画像認識装置２０は、前処理部２１、記憶部２２および制御部（マイコン）２３から構成される。
【００３６】
ナビ（ナビゲーション）部１２は、ＧＰＳ（Global Positioning System）人工衛星と通信を行って、特定した自動車の位置と地図データとから走行経路の設定および誘導を行う手段である。また、ナビ部１２は、自動車の位置情報や道路形状、路幅、傾斜など車両運転操作に有用な各種の情報を、後述する車内通知部１４を介して運転者に供給する。
【００３７】
レーダ部１３は、レーダ（例えば、７６．５ＧＨｚのミリ波レーダや光レーダなど）を照射して、前方の車両や障害物（例えば、歩行者）との距離や速度、方向などを測定する手段である。具体的には、この実施例３おいて、レーダ部１３は、後述する衝突危険度判定部２３ｅから歩行者までの距離の測定指令を受け付けると、歩行者の足元（接地面）を認識し、その接地面から車両までの距離を取得した後、衝突危険度判定部２３ｅにその距離情報（車両から歩行者までの距離）を出力する。
【００３８】
車内通知部１４は、ナビ部１２や後述する報知制御部１５からの情報を通知する手段であり、モニタやスピーカなどで構成される。例えば、報知制御部１５からの指令を受け付けて、歩行者の存在を示す画像をモニタに出力したり、メッセージ音声やアラーム音をスピーカから出力したりする。
【００３９】
車両制御装置１０の報知制御部１５は、後述する衝突危険度判定部２３ｅから受け付けた衝突危険度の判定結果に応じて報知制御を行う処理部である。具体的には、例えば、この実施例３において、報知制御部１５は、内部的に保持する処理制御テーブル（図３参照）に基づいて、衝突危険度判定部２３ｅから受け付けた衝突危険度が「レベル１」である場合には、車内通知部１４に対して歩行者の存在を示す画像の出力を指令する。
【００４０】
車両制御装置１０の車両制御部１６は、後述する衝突危険度判定部２３ｅから受け付けた衝突危険度の判定結果に応じて車両制御を行う処理部である。具体的には、例えば、この実施例３において、車両制御部１６は、内部的に保持する処理制御テーブル（図３参照）に基づいて、衝突危険度判定部２３ｅから受け付けた衝突危険度が「レベル２」である場合には、ブレーキ制御のよる速度減速を実行し、衝突危険度判定部２３ｅから受け付けた衝突危険度が「レベル３」である場合には、ハンドル制御による衝突回避を実行する。
【００４１】
画像認識装置２０の前処理部２１は、撮像装置１１（例えば、単眼カメラやステレオカメラなど）から入力される入力画像に前処理を行う処理部であり、フィルタ部２１ａと輪郭抽出部２１ｂとから構成される。このうち、フィルタ部２１ａは、画像内に映し出された物体の輪郭を強調するための前処理（例えば、シャープネス、コントラスト調整、彩度調整）を行う手段である。また、輪郭抽出部２１ｂは、フィルタ部２１ａによって施されたフィルタリングに基づいて、画像内の物体の輪郭を抽出する手段である。
【００４２】
画像認識装置２０の記憶部２２は、制御部２３による各種処理に必要なデータおよびプログラムを記憶する記憶手段であり、特に本発明に密接に関連するものとしては、基準データ記憶部２２ａおよび判定テーブル２２ｂを備える。
【００４３】
基準データ記憶部２２ａは、後述する路面標示認識部２３ｃの路面標示認識処理に関する各種の情報を記憶する手段であり、具体的には、画像内に映し出される路面標示を俯瞰した状態で得られる形状の特徴を、サンプルとして採取した俯瞰画像から抽出して生成した基準データを記憶して構成される。
【００４４】
判定テーブル２２ｂは、後に詳述する衝突危険度判定部２３ｅにおける衝突危険度判定処理に用いられる判定テーブルを記憶する記憶手段である。具体的には、図４に例示するように、後に詳述する歩行者認識部２３ｄから「歩行者である」という認識結果を受け付けていない場合には危険度「０」、一方、歩行者認識部２３ｄから「歩行者である」という認識結果を受け付けている場合には、歩行者までの距離「３０ｍ以上」では危険度「レベル１」、距離「１０〜３０ｍ」で危険度「レベル２」、距離「１０ｍ未満」では危険度「レベル３」とするように規定して構成される。
【００４５】
制御部（マイコン）２３は、所定の制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する処理部（マイコン）であり、特に本発明に密接に関連するものとしては、白線認識部２３ａと、画像制御部２３ｂと、路面標示認識部２３ｃと、歩行者認識部２３ｄと、衝突危険度判定部２３ｅとを備える。
【００４６】
このうち、白線認識部２３ａは、撮像装置１０（例えば、単眼カメラやステレオカメラなど）から入力される入力画像から白線（例えば、中央線や外側線などの白線）を認識する処理部であり、認識結果を画像制御部２３ｂへ出力する。
【００４７】
画像制御部２３ｂは、撮像装置１０（例えば、単眼カメラやステレオカメラなど）から入力される入力画像に所定の処理を行う処理部であり、具体的には、白線認識部２３ａから受け付けた認識結果に基づいて、入力画像内の白線位置を特定するとともに、白線との位置関係から入力画像内の路面領域を切出した後、道路に対応する基準データに基づいて路面領域内で道路以外の領域を特定し、道路以外の領域を特定した入力画像を俯瞰した状態に画像変換する。そして、画像制御部２３ｂは、俯瞰画像を路面標示認識部２３ｃへ出力する。
【００４８】
ここで、座標変換の原理について簡単に説明すると、図５に例示するように、車載の撮像装置１１から入力される入力画像は、実空間の原図における所定の座標を投影面に射影変換にすることにより得られた画像である。従い、入力画像内の所定の座標を逆変換することにより、実空間の原図を俯瞰した状態の俯瞰図（俯瞰画像）を得ることができる。
【００４９】
すなわち、例えば、実空間の原図と投影面が平行でない場合、原図の座標（ｘ，ｙ）は投影面において次の式に示す座標（ｘ’，ｙ’）に変換されるが、この式の逆変換を行うことにより俯瞰画像を得ることができる。
【００５０】
ｘ’＝ｆx／ｚ＝ｆx／（ａ0ｘ+ｂ0ｙ+ｃ0）
【００５１】
ｙ’＝ｆy／ｚ＝ｆy／（ａ0ｘ+ｂ0ｙ+ｃ0）
【００５２】
路面表示認識部２３ｃは、画像制御部２３ｂから受け付けた俯瞰画像について、路面表示（路面上の記号や模様）の認識を行う処理部であり、具体的には、基準データ記憶部２２ａに記憶されている基準データを読み出して、基準データの特徴と所定の照合度が得られるものが俯瞰画像内にある場合には、それを路面標示として認識する。そして、路面標示認識部２３ｃは認識結果を歩行者認識部２３ｄへ出力する。
【００５３】
歩行者認識部２３ｄは、路面標示認識部２３ｃから受け付けた認識結果に応じて、俯瞰画像内から歩行者認識の対象となる候補領域を特定し、歩行者認識を行う処理部である。具体的には、俯瞰画像内で路面標示（路面上の記号や模様）と認識されなかった路面標示以外の領域を歩行者認識の対象となる候補領域として特定するとともに、俯瞰画像で特定した候補領域に対応する元の画像（俯瞰画像に変換する前の入力画像）内の領域について歩行者認識を行う。なお、歩行者認識については、パターンマッチングやニューラルネットワークなどの手法を用いて行う。そして、歩行者認識部２３ｄは、認識結果を衝突危険度判定部２３ｅへ出力する。
【００５４】
衝突危険度判定部２３ｅは、歩行者認識部２３ｄから受け付けた認識結果等に基づいて、衝突危険度を判定する処理部である。具体的には、衝突危険度判定部２３ｅは、歩行者認識部２３ｄから認識結果を受け付けると、判定テーブル２２ｂから衝突危険度判定テーブル（図４参照）を読み出す。また、歩行者認識部２３ｄから「歩行者である」という認識結果を受け付けた場合には、衝突危険度判定部２３ｅは、レーダ部１３に歩行者までの距離を測定するように指令する。そして、衝突危険度判定部２３ｅは、歩行者認識部２３ｄから受け付けた「歩行者である」という認識結果およびレーダ部１３から得た歩行者までの距離情報を衝突危険度判定テーブルにあてはめて衝突危険度（例えば、「レベル１」、「レベル２」など）を判定し、報知制御部１５および車両制御部１６に判定結果を出力する。
【００５５】
［画像制御装置のマイコン（制御部）および車両制御装置による処理（実施例１）］
続いて、図６を用いて、実施例１に係る画像制御装置のマイコン（制御部）および車両制御装置による処理を説明する。図６は、実施例１に係る画像制御装置のマイコン（制御部）および車両制御装置による処理の流れを示すフローチャートである。なお、以下に説明する処理は、画像が所定の画像フレーム（例えば、１フレーム）入力されるたびに繰り返し実行される。
【００５６】
同図に示すように、撮像装置１１から画像が入力されると（ステップＳ６０１肯定）、白線認識部２３ａは、入力画像から白線（例えば、中央線や外側線などの白線）を認識すし（ステップＳ６０２）、認識結果を画像制御部２３ｂへ出力する。
【００５７】
続いて、画像制御部２３ｂは、白線認識部２３ａから受け付けた認識結果に基づいて、入力画像内の白線位置を特定するとともに、白線との位置関係から入力画像内の路面領域を切出す（ステップＳ６０３）。次に、画像制御部２３ｂは、道路に対応する基準データに基づいて路面領域内で道路以外の領域を特定し（ステップＳ６０４）、道路以外の領域を特定した入力画像を俯瞰した状態に画像変換する（ステップＳ６０５）。そして、画像制御部２３ｂは、俯瞰画像を路面標示認識部２３ｃへ出力する。
【００５８】
画像制御部２３ｂから俯瞰画像を受け付けた路面標示認識部２３ｃは、路面標示認識処理を行う（ステップＳ６０６）。具体的には、基準データ記憶部２２ａに記憶されている基準データを読み出して、基準データの特徴と所定の照合度が得られるものが俯瞰画像内にある場合には、それを路面標示として認識する。そして、路面標示認識部２３ｃは認識結果を歩行者認識部２３ｄへ出力する。
【００５９】
続いて、歩行者認識部２３ｄは、路面標示認識部２３ｃから受け付けた認識結果に応じて、俯瞰画像内から歩行者認識の候補領域を特定する（ステップＳ６０７）。具体的には、俯瞰画像内で路面標示（路面上の記号や模様）と認識されなかった路面標示以外の領域を歩行者認識の対象となる候補領域として特定する。
【００６０】
次に、歩行者認識部２３ｄは、俯瞰画像で特定した候補領域に対応する元の画像（俯瞰画像に変換する前の入力画像）内の領域について歩行者認識を行う（ステップＳ６０８）。なお、歩行者認識については、パターンマッチングやニューラルネットワークなどの手法を用いて行う。そして、歩行者認識部２３ｄは、認識結果を衝突危険度判定部２３ｅへ出力する。
【００６１】
そして、衝突危険度判定部２３ｅは、歩行者認識部２３ｄから受け付けた認識結果等に基づいて、衝突危険度の判定を行う（ステップＳ６０９）。
【００６２】
具体的には、衝突危険度判定部２３ｅは、歩行者認識部２３ｄから認識結果を受け付けると、判定テーブル２２ｂから衝突危険度判定テーブル（図４参照）を読み出す。また、歩行者認識部２３ｄから「歩行者である」という認識結果を受け付けた場合には、衝突危険度判定部２３ｅは、レーダ部１３に歩行者までの距離を測定するように指令する。そして、衝突危険度判定部２３ｅは、歩行者認識部２３ｄから受け付けた「歩行者である」という認識結果およびレーダ部１３から得た歩行者までの距離情報を衝突危険度判定テーブルにあてはめて衝突危険度（例えば、「レベル１」、「レベル２」など）を判定し、報知制御部１５および車両制御部１６に判定結果を出力する。
【００６３】
衝突危険度判定部２３ｅから衝突危険度の判定結果を受け付けると、報知制御部１５および車両制御部１６は、その判定結果に応じて報知制御および車両走行制御をそれぞれ行う（ステップＳ６１０）。
【００６４】
具体的には、報知制御部１５は、例えば、内部的に保持する処理制御テーブル（図３参照）に基づいて、衝突危険度判定部２３ｅから受け付けた衝突危険度が「レベル１」である場合には、車内通知部１４に対して歩行者の存在を示す画像の出力を指令する。
【００６５】
同様に、車両制御部１６は、例えば、内部的に保持する処理制御テーブル（図３参照）に基づいて、衝突危険度判定部２３ｅから受け付けた衝突危険度が「レベル２」である場合には、ブレーキ制御のよる速度減速を実行し、衝突危険度判定部２３ｅから受け付けた衝突危険度が「レベル３」である場合には、ハンドル制御による衝突回避を実行する。
【００６６】
［実施例１に効果］
上述してきたように、実施例１によれば、車載のカメラで撮影された画像内に映し出される路面標示の俯瞰形状に対応する基準データを記憶するとともに、この基準データに基づいて、撮影された画像を俯瞰した状態に変換した俯瞰画像内の路面標示を認識するので、車載のカメラの撮影方向や撮影角度に左右されることなく、画像内に映し出される路面標示（路面上に描かれた模様や記号など）を精度よく認識することが可能である。
【００６７】
また、実施例１によれば、車載のカメラで撮影された画像内に映し出される路面標示の俯瞰形状に対応する基準データを記憶するとともに、この基準データに基づいて、撮影された画像を俯瞰した状態に変換した俯瞰画像内の路面標示を認識し、さらに、俯瞰画像内から、路面標示と認識されなかった領域を歩行者認識の対象となる候補領域として特定し、俯瞰画像に変更される前の元画像内の候補領域に対応する領域について歩行者認識を行うので、画像内から判別の対象となる歩行者が存在する蓋然性の高い候補領域を予め精度よく特定することができ、車載のカメラで撮影された画像内の歩行者認識精度を向上させることが可能である。
【００６８】
また、実施例１によれば、車載のカメラで撮影された画像内に映し出される路面標示の俯瞰形状に対応する基準データを記憶するとともに、この基準データに基づいて、撮影された画像を俯瞰した状態に変換した俯瞰画像内の路面標示を認識し、さらに、俯瞰画像内から、路面標示と認識されなかった領域を歩行者認識の対象となる候補領域として特定し、俯瞰画像に変更される前の元画像内の候補領域に対応する領域について歩行者認識を行って、その結果歩行者を認識した場合には報知制御または車両制御を行うので、車載のカメラで撮影された画像内の歩行者認識精度を向上させることができる結果、適切な報知制御や車両制御を行うことができ、車両走行の障害となる物体との衝突を回避すること等が可能である。
【００６９】
また、上記の実施例１において、路面標示認識部２３ｃによる路面標示認識の結果に応じて、歩行者認識部２３ｄは、俯瞰画像内から歩行者認識の対象となる候補領域を特定する場合を説明したが、本発明はこれに限定されるものではなく、背景差分（フレーム間差分）法によって候補領域を特定するようにしてもよい。例えば、１フレーム前の画像および現フレームの画像をそれぞれ俯瞰画像に変換するとともに、場合によっては、回転補正を施しておいて、１フレーム前の画像と現フレームとの差分をとり、差分が検出された領域を歩行者認識の対象となる候補領域として特定する。
【００７０】
これにより、背景差分法などによっても、画像内から判別の対象となる物体（例えば、歩行者）が存在する蓋然性のある候補領域を予め精度よく特定することが可能である。
【００７１】
また、上記の実施例１では、路面標示認識部２３ｃから受け付けた認識結果に応じて、俯瞰画像内から歩行者認識の対象となる候補領域を特定し、歩行者認識を行う場合を説明したが、本発明はこれに限定されるものではなく、例えば、俯瞰画像内で特定されて候補領域について、車両走行に影響を与える歩行者以外の物体（例えば、車両、犬や猫などの動物、樹木など）に関する認識を行うようにしてもよい。
【００７２】
このようなことから、画像内から判別の対象となる物体（例えば、歩行者や歩行者以外の車両、犬や猫などの動物、樹木など）が存在する蓋然性の高い候補領域を予め精度よく特定することができ、車載のカメラで撮影された画像内の物体の認識精度を向上させることが可能である。
【００７３】
また、上記の実施例１において、路面標示認識部２３ｃは、基準データ記憶部２２ａに記憶されている基準データの特徴と所定の照合度が得られるものが俯瞰画像内にある場合には、それを路面標示として認識する場合を説明したが、本発明はこれに限定されるものではない。
【００７４】
例えば、路面標示の俯瞰形状に基準データに対応するパターンを予め生成しておいて、パターンマッチングにより路面標示を認識するようにしてもよいし、あるいは、路面標示の俯瞰形状に基準データに対応するデータを予め学習させておいて、ニューラルネットワークにより路面標示を認識するようにしてもよい。
【００７５】
これによれば、路面標示の俯瞰形状に対応するパターンを生成し、俯瞰画像について路面標示認識をすることで、カメラの取付け位置や取付け角度の影響により同一の路面形状であっても異なって見えるため用意せざるを得なかったパターンの数を大幅に削減することができ、あるいは、学習の負荷を軽減することができることから、装置負荷を軽減することが可能であるとともに、路面標示を精度よく認識することが可能である。
【００７６】
また、上記の実施例１では、路面標示の俯瞰形状に基準データをあらかじめ所持することにより、路面領域内の路面標示を認識する場合を説明したが、本発明はこれに限定されるものではなく、路面標示を含む道路の俯瞰形状についての基準データを生成して予め所持し、この基準データに基づいて入力画像を俯瞰した俯瞰画像について道路および路面標示の認識を行うようにしてもよい。
【実施例２】
【００７７】
ところで、上記の実施例１の車両制御装置の画像制御部２３ｂにおいて俯瞰した状態に変換された俯瞰画像に、車両進行方向と一致するように回転補正を施してから路面標示認識をおこなうようにしてもよい。そこで、以下では、実施例２に係る画像認識装置の概要および特徴、実施例２に係る画像認識装置の構成および処理を順に説明し、最後に実施例２による効果を説明する。
【００７８】
［画像認識装置の概要および特徴（実施例２）］
まず最初に、図７を用いて、実施例２に係る画像認識装置の概要および特徴を説明する。図７は、実施例２に係る画像認識装置の概要および特徴を説明するための図である。
【００７９】
実施例２は、上記の実施例１と同様に、車両走行の障害となる物体との衝突を回避すること等を目的として、車載のカメラによって撮影された画像の画像認識を行うことを概要とするが、画像内に映し出される路面標示をより精度よく認識する点に主たる特徴がある。
【００８０】
この主たる特徴について具体的に説明すると、実施例２は、図７に示すように、カメラで撮影された入力画像内の白線（例えば、路面にペイントされた中央線など）を認識して、路面領域の切出しを行うとともに、俯瞰した状態の俯瞰画像に変換するが、さらに、俯瞰画像に対して車両進行方向と一致するように回転補正を施す。
【００８１】
具体的には、例えば、俯瞰画像内で認識した白線を俯瞰画像を回転するための基準とする回転基準対象として採用し、回転基準対象として採用された白線を回転させることで、俯瞰画像を車両進行方向と一致させるように回転補正する。
【００８２】
そして、実施例２に係る車両制御装置は、記憶している基準データに基づいて、俯瞰画像を回転補正した回転補正画像内の路面標示認識を行う。
【００８３】
このようなことから、実施例２に係る車両制御装置は、上述した主たる特徴の如く、車両が斜めに走行する場合（例えば、道路を斜めに横切って走行する場合）などに撮影した画像内に映し出されている路面標示を認識しやすいように、俯瞰画像を回転補正して対応することができ、画像内に映し出される路面標示をより精度よく認識することが可能である。
【００８４】
［画像認識装置の構成（実施例２）］
次に、上記の実施例１と同様に、図２を用いて、実施例２に係る画像認識装置の構成を説明する。実施例２に係る画像認識装置は、実施例１に係る車両制御装置と基本的には同様の構成であるが、以下に説明する点が異なる。
【００８５】
すなわち、画像認識装置２０の画像制御部２３ｂは、白線認識部２３ａから受け付けた認識結果に基づいて、入力画像内の白線位置を特定するとともに、白線との位置関係から入力画像内の路面領域を切出した後、道路に対応する基準データに基づいて路面領域内で道路以外の領域を特定し、道路以外の領域を特定した入力画像を俯瞰した状態に画像変換するだけでなく、さらに、俯瞰画像に対して車両進行方向と一致するように回転補正を行う。
【００８６】
具体的には、画像制御部２３ｂは、白線認識部２３ａの認識結果に基づいて俯瞰画像内で特定した白線を、俯瞰画像を回転するための基準とする回転基準対象として採用し、回転基準対象として採用された白線を回転させることで、俯瞰画像を車両進行方向と一致させるように回転補正する。そして、画像制御部２３ｂは、回転補正後の画像を路面標示認識部２３ｃへ出力する。
【００８７】
［画像認識装置による処理（実施例２）］
続いて、図８を用いて、実施例２に係る画像認識装置の制御部（マイコン）による処理を説明する。図８は、実施例２に係る画像認識装置の制御部（マイコン）による処理の流れを示すフローチャートである。なお、ステップＳ８０１からステップＳ８０５までの処理、およびステップＳ８０７の処理は、上記の実施例１で図６を用いて説明したＳ６０１からステップＳ６０６までの処理と同様の処理であるので説明を省略し、以下では、ステップＳ８０６の処理について説明する。
【００８８】
同図に示すように、白線認識部２３ａから受け付けた認識結果に基づいて、入力画像内の白線位置を特定するとともに、白線との位置関係から入力画像内の路面領域を切出した後、道路に対応する基準データに基づいて路面領域内で道路以外の領域を特定し、道路以外の領域を特定した入力画像を俯瞰した状態に画像変換した俯瞰画像について、画像制御部２３ｂは、車両進行方向と一致するように回転補正を行う（ステップＳ８０６）。
【００８９】
具体的には、画像制御部２３ｂは、白線認識部２３ａの認識結果に基づいて俯瞰画像内で特定した白線を、俯瞰画像を回転するための基準とする回転基準対象として採用し、回転基準対象として採用された白線を回転させることで、俯瞰画像を車両進行方向と一致させるように回転補正する。そして、画像制御部２３ｂは、回転補正後の画像を路面標示認識部２３ｃへ出力し、路面標示認識部２３ｃは、回転補正後の画像について路面標示認識を行う（ステップＳ８０７）。
【００９０】
［実施例２の効果］
上述してきたように、実施例２によれば、俯瞰画像を回転するための基準とする回転基準対象を路面標示の中から検出し（例えば、中央線や外側線などの白線などを検出し）、回転基準対象として検出された路面標示を回転させることで、俯瞰画像を車両進行方向と一致させるように回転補正するので、車両が斜めに走行する場合（例えば、道路を斜めに横切って走行する場合）などに撮影した画像内に映し出されている路面標示を認識しやすいように、俯瞰画像を回転補正して対応することができ、画像内に映し出される路面標示をより精度よく認識することが可能である。
【実施例３】
【００９１】
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
【００９２】
（１）コントラスト調整
上記の実施例おいて、画像内に映し出されている路面標示と路面との輝度差が所定の値となるように調整する（つまり、中央線や外側線などの白線などを基準として、路面上に描かれた模様や記号などの路面標示が明瞭となるように調整する）ようにしてもよい。
【００９３】
これにより、例えば、路面標示のペイントの濃さや天候等の影響を緩和することができる結果、路面標示をより精度よく認識することが可能である。
【００９４】
（２）路面標示認識結果に基づく報知制御や車両制御
なお、上記の実施例１において、路面標示認識を行う際に、その内容（例えば、一時停止や制限速度など）について把握するようにして、例えば、路面標示の内容が一時停止であると認識した場合には、間もなく一時停止であることを運転者に音声などで報知するとともに、ブレーキによる速度減速を行うようにしてもよい。
【００９５】
（３）装置構成等
また、図２および図８に示した車両制御装置１０の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、車両制御装置１０装置の分散・統合の具体的形態は図示のものに限られず、例えば、白線認識部２３ａと画像制御部２３ｂと路面標示認識部２３ｃとを統合し、あるいは、画像制御２３ｂに備えられた画像変換機能と回転補正機能とを分散するなど、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、車両制御装置１０にて行なわれる各処理機能（画像変換機能、路面標示認識機能、回転補正機能および歩行者認識機能）は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【産業上の利用可能性】
【００９６】
以上のように、本発明に係る画像認識装置、画像認識方法、歩行者認識装置および車両制御装置は、車両走行の障害となる物体との衝突を回避すること等を目的として、車載のカメラによって撮影された画像の画像認識を行う場合に有用であり、特に、画像内に映し出される路面上に描かれた模様や記号などの路面標示を精度よく認識することに適する。
【図面の簡単な説明】
【００９７】
【図１】実施例１に係る概要および特徴を説明するための図である。
【図２】実施例１に係る画像認識装置および車両制御装置を搭載する車両の構成を示すブロック図である。
【図３】処理制御テーブルの構成例を示す図である。
【図４】衝突危険度判定テーブルの構成例を示す図である。
【図５】座標変換の原理を説明するための図である。
【図６】実施例１に係る実施例１に係る画像制御装置のマイコン（制御部）および車両制御装置による処理の流れを示すフローチャートである。
【図７】実施例２に係る画像認識装置の概要および特徴を説明するための図である。
【図８】実施例２に係る画像制御装置のマイコン（制御部）による処理の流れを示すフローチャートである。
【符号の説明】
【００９８】
１０ 車両制御装置
１１ 撮像装置
１２ ナビ部
１３ レーダ部
１４ 車内通知部
１５ 報知制御部
１６ 車両制御部
１７ ハンドル
１８ ブレーキ
２０ 画像認識装置
２１ 前処理部
２１ａ フィルタ部
２１ｂ 輪郭抽出部
２２ 記憶部
２２ａ 基準データ記憶部
２２ｂ 判定テーブル
２３ 制御部（マイコン）
２３ａ 白線認識部
２３ｂ 画像制御部
２３ｃ 路面標示認識部
２３ｄ 歩行者認識部
２３ｅ 衝突危険度判定部
【技術分野】
【０００１】
この発明は、車載のカメラによって撮影された画像の画像認識を行う画像認識装置、画像認識方法、歩行者認識装置および車両制御装置に関する。
【背景技術】
【０００２】
従来より、車両走行の障害となる物体との衝突を回避することや適切な運転操作を行えるようにすること等を目的として、車載のカメラによって撮影された画像に画像処理を行う技術が開示されている。例えば、特許文献１では、車両上方に設定した仮想視点から見た合成画像を生成することで、路面上に描かれた模様や記号などの路面標示の形状のように、同一の形状であったとしてもそれぞれ異なって見えてしまう要因であったカメラの取付け位置や取付け角度に影響されることのない画像を運転者に提供して、車両走行の障害となる物体との衝突を回避することや適切な運転操作を行えるようする技術が開示されている。
【０００３】
また、同様に、車両走行の障害となる物体との衝突を回避すること等を目的として、車載のカメラによって撮影された画像の画像認識を行って、画像内から判別の対象となる物体が存在する蓋然性のある候補領域を検出する技術が開示されている。例えば、車両で走行する路面上に描かれた模様や記号などの路面表示の特徴を抽出して把握することでこれらを認識できるようにしておいて、路面上で認識できないものを判別の対象となる物体が存在する蓋然性の高い候補領域として検出する技術が開示されている。
【０００４】
【特許文献１】ＷＯ００／６４１７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記した従来の技術は、車両で走行する路面上に描かれた模様や記号を精度よく認識することができない場合があるという問題点があった。
【０００６】
すなわち、上記した従来の技術の一方は、車両上方に設定した仮想視点から見た合成画像を生成することで、路面上に描かれた模様や記号などの路面表示の形状のように、同一の形状であったとしてもそれぞれ異なって見えてしまう要因であったカメラの取付け位置や取付け角度に影響されることのない画像を運転者に提供するものであるので、そもそも車両で走行する路面上に描かれた模様や記号を認識するものではないという問題点があった。
【０００７】
上記した従来技術の他方は、車両の所定位置に取り付けられたカメラによって撮影された複数の画像に基づいて、路面上に描かれた模様や記号などの路面標示の特徴を抽出したデータを生成しておき、このデータに基づいて画像内の映し出された路面標示を把握するものであるので、同一の形状であったとしてもカメラの取付け位置や取付け角度によってそれぞれ異なって見える（例えば、様々な形状にゆがんで見える）路面標示の特徴を希釈化させずに抽出することが難しく、車両で走行する路面上に描かれた模様や記号を精度よく認識することができない場合があり、結果として、判別の対象となる物体が存在する蓋然性の高い候補領域を検出することができないという問題点があった。
【０００８】
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、画像内に映し出される路面上に描かれた模様や記号などの路面標示を精度よく認識することで、画像内から判別の対象となる物体が存在する蓋然性の高い候補領域を予め精度よく特定することができ、車載のカメラで撮影された画像内の物体の認識精度を向上させることが可能な画像認識装置、画像認識方法、歩行者認識装置および車両制御装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決し、目的を達成するため、請求項１に係る発明は、車載のカメラで撮影された画像内に映し出される路面標示の俯瞰形状に対応する基準データを記憶する基準データ記憶手段と、前記画像を俯瞰した状態の俯瞰画像に変換する画像変換手段と、前記基準データ記憶手段により記憶されている前記基準データに基づいて、前記画像変換手段により得られる前記俯瞰画像内の路面標示を認識する路面標示認識手段と、を備えたことを特徴とする。
【００１０】
また、請求項２に係る発明は、上記の発明において、前記画像変換手段により得られる前記俯瞰画像内から、当該俯瞰画像を回転するための基準とする回転基準対象を前記路面標示の中から検出する回転基準対象検出手段と、前記回転基準対象検出手段により前記回転基準対象として検出された路面標示を回転させることで、前記俯瞰画像を車両進行方向と一致させるように回転補正する回転補正手段と、をさらに備えたことを特徴とする。
【００１１】
また、請求項３に係る発明は、前記画像変換手段により得られる前記俯瞰画像内から、前記路面標示認識手段により路面標示と認識されなかった領域を物体認識の対象となる候補領域として特定し、当該画像変換手段により俯瞰画像に変更される前の元画像内の当該候補領域に対応する領域について物体認識を行う物体認識手段をさらに備えたことを特徴とする。
【００１２】
また、請求項４に係る発明は、前記画像内に映し出されている路面標示と路面との輝度差が所定の値となるように調整する輝度調整手段をさらに備えたことを特徴とする。
【００１３】
また、請求項５に係る発明は、車載のカメラで撮影された画像内に映し出される路面標示の俯瞰形状に対応する基準データを記憶する基準データ記憶工程と、前記画像を俯瞰した状態の俯瞰画像に変換する画像変換工程と、前記基準データ記憶工程により記憶されている前記基準データに基づいて、前記画像変換工程により得られる前記俯瞰画像内の路面標示を認識する路面標示認識工程と、を含んだことを特徴とする。
【００１４】
また、請求項６に係る発明は、車載のカメラで撮影された画像内に映し出される路面標示の俯瞰形状に対応する基準データを記憶する基準データ記憶手段と、前記画像を俯瞰した状態の俯瞰画像に変換する画像変換手段と、前記基準データ記憶手段により記憶されている前記基準データに基づいて、前記画像変換手段により得られる前記俯瞰画像内の路面標示を認識する路面標示認識手段と、前記画像変換手段により得られる前記俯瞰画像内から、前記路面標示認識手段により路面標示と認識されなかった領域を歩行者認識の対象となる候補領域として特定し、当該画像変換手段により俯瞰画像に変更される前の元画像内において、当該候補領域に対応する領域に歩行者認識を行う歩行者認識手段と、を備えたことを特徴とする。
【００１５】
また、請求項７に係る発明は、車載のカメラで撮影された画像内に映し出される路面標示の俯瞰形状に対応する基準データを記憶する基準データ記憶手段と、前記画像を俯瞰した状態の俯瞰画像に変換する画像変換手段と、前記基準データ記憶手段により記憶されている前記基準データに基づいて、前記画像変換手段により得られる前記俯瞰画像内の路面標示を認識する路面標示認識手段と、前記画像変換手段により得られる前記俯瞰画像内から、前記路面標示認識手段により路面標示と認識されなかった領域を歩行者認識の対象となる候補領域として特定し、当該画像変換手段により俯瞰画像に変更される前の元画像内において、当該候補領域に対応する領域に歩行者認識を行う歩行者認識手段と、前記歩行者認識手段により歩行者が認識された場合に、運転者に注意または警告を報知する報知制御、および／または車両の走行状態を制御する車両制御を実行する制御手段と、を備えたことを特徴とする。
【００１６】
また、請求項８に係る発明は、道路を含む入力画像を俯瞰した状態の俯瞰画像に変換する変換手段と、予め路面標示が俯瞰化された基準データと前記俯瞰画像との比較結果に基づいて、当該俯瞰画像内から当該路面標示以外の領域を歩行者認識の対象となる候補領域として特定する特定手段と、を備えたことを特徴とする。
【発明の効果】
【００１７】
請求項１または５の発明によれば、車載のカメラで撮影された画像内に映し出される路面標示の俯瞰形状に対応する基準データを記憶するとともに、この基準データに基づいて、撮影された画像を俯瞰した状態に変換した俯瞰画像内の路面標示を認識するので、車載のカメラの撮影方向や撮影角度に左右されることなく、画像内に映し出される路面標示（路面上に描かれた模様や記号など）を精度よく認識することが可能である。
【００１８】
また、請求項２の発明によれば、俯瞰画像を回転するための基準とする回転基準対象を路面標示の中から検出し（例えば、中央線や外側線などの白線などを検出し）、回転基準対象として検出された路面標示を回転させることで、俯瞰画像を車両進行方向と一致させるように回転補正するので、車両が斜めに走行する場合（例えば、道路を斜めに横切って走行する場合）などに撮影した画像内に映し出されている路面標示を認識しやすいように、俯瞰画像を回転補正して対応することができ、画像内に映し出される路面標示をより精度よく認識することが可能である。
【００１９】
また、請求項３の発明によれば、俯瞰画像内から、路面標示と認識されなかった領域を物体認識の対象となる候補領域として特定し、俯瞰画像に変更される前の元画像内の候補領域に対応する領域について物体認識を行うので、画像内から判別の対象となる物体（例えば、歩行者や犬や猫などの四足動物など）が存在する蓋然性の高い候補領域を予め精度よく特定することができ、車載のカメラで撮影された画像内の物体の認識精度を向上させることが可能である。
【００２０】
また、請求項４の発明によれば、画像内に映し出されている路面標示と路面との輝度差が所定の値となるように調整する（つまり、中央線や外側線などの白線などを基準として、路面上に描かれた模様や記号などの路面標示が明瞭となるように調整する）ので、例えば、路面標示のペイントの濃さや天候等の影響を緩和することができる結果、路面標示をより精度よく認識することが可能である。
【００２１】
また、請求項６の発明によれば、車載のカメラで撮影された画像内に映し出される路面標示の俯瞰形状に対応する基準データを記憶するとともに、この基準データに基づいて、撮影された画像を俯瞰した状態に変換した俯瞰画像内の路面標示を認識し、さらに、俯瞰画像内から、路面標示と認識されなかった領域を歩行者認識の対象となる候補領域として特定し、俯瞰画像に変更される前の元画像内の候補領域に対応する領域について歩行者認識を行うので、画像内から判別の対象となる歩行者が存在する蓋然性の高い候補領域を予め精度よく特定することができ、車載のカメラで撮影された画像内の歩行者認識精度を向上させることが可能である。
【００２２】
また、請求項７の発明によれば、車載のカメラで撮影された画像内に映し出される路面標示の俯瞰形状に対応する基準データを記憶するとともに、この基準データに基づいて、撮影された画像を俯瞰した状態に変換した俯瞰画像内の路面標示を認識し、さらに、俯瞰画像内から、路面標示と認識されなかった領域を歩行者認識の対象となる候補領域として特定し、俯瞰画像に変更される前の元画像内の候補領域に対応する領域について歩行者認識を行って、その結果歩行者を認識した場合には報知制御または車両制御を行うので、車載のカメラで撮影された画像内の歩行者認識精度を向上させることができる結果、適切な報知制御や車両制御を行うことができ、車両走行の障害となる物体との衝突を回避すること等が可能である。
【００２３】
また、請求項８の発明によれば、道路を含む入力画像を俯瞰した状態の俯瞰画像に変換し、予め路面標示が俯瞰化された基準データと俯瞰画像との比較結果に基づいて、俯瞰画像内から路面標示以外の領域を歩行者認識の対象となる候補領域として特定するので、例えば、路面標示を含む道路の画像を俯瞰化したデータを基準データとして予め保持し、この基準データと俯瞰画像との比較結果として抽出される差分から、歩行者認識の対象となる候補領域を特定することができ、路面標示認識を必要とすることなく簡易に候補領域を特定して歩行者認識の精度を向上させることが可能である。
【発明を実施するための最良の形態】
【００２４】
以下に添付図面を参照して、本発明に係る画像認識装置、画像認識方法、歩行者認識装置および車両制御装置の実施例を詳細に説明する。なお、以下では、本発明に係る画像認識装置および車両制御装置を搭載した車両を実施例１として説明した後に、本発明に含まれる他の実施例を説明する。
【実施例１】
【００２５】
以下の実施例１では、実施例１に係る概要および特徴、実施例１の構成および処理の流れを順に説明し、最後に実施例１による効果を説明する。
【００２６】
［概要および特徴（実施例１）］
まず最初に、図１を用いて、実施例１に係る概要および特徴を説明する。図１は、実施例１に係る概要および特徴と説明するための図である。
【００２７】
実施例１は、車両走行の障害となる物体との衝突を回避すること等を目的として、車載のカメラによって撮影された画像の画像認識を行うことを概要とするが、画像内に映し出される路面標示（路面上に描かれた模様や記号）を精度よく認識することで、画像内から判別の対象となる物体（例えば、歩行者）が存在する蓋然性の高い候補領域を予め精度よく特定することができ、車載のカメラで撮影された画像内の物体の認識精度を向上させることが可能である点に主たる特徴がある。
【００２８】
この主たる特徴について具体的に説明すると、図１に示すように、車載のカメラで撮影された画像内に映し出される路面標示の俯瞰形状（俯瞰した状態で把握される形状）に対応する基準データをあらかじめ記憶している。ここで、基準データとは、例えば、画像内に映し出される路面標示を俯瞰した状態で得られる形状の特徴を、サンプルとして採取した俯瞰画像から抽出して生成したデータをいう。
【００２９】
そして、カメラで撮影された入力画像内の白線（例えば、路面にペイントされた中央線など）を認識して、路面領域の切出しを行うとともに、道路に対応する基準データに基づいて、入力画像内の路面領域の中から道路外の領域を特定する。具体的には、車両制御装置は、入力画像内の白線位置を特定するとともに、認識した白線との位置関係から入力画像内の路面領域を切出した後、道路に対応する基準データに基づいて路面領域内で道路以外の領域を特定する。
【００３０】
次に、道路以外の領域を特定した入力画像を俯瞰した状態に画像変換し、路面標示の基準データに基づいて路面標示認識を行うとともに、路面標示以外の領域を歩行者認識の候補領域として特定する。具体的には、俯瞰画像内で路面標示（路面上の記号や模様）と認識されなかった路面標示以外の領域を歩行者認識の対象となる候補領域として特定する。
【００３１】
続いて、先ほど俯瞰画像において特定した候補領域に対応する元の画像（俯瞰画像に変換する前の入力画像）内の領域について歩行者認識を行う。なお、歩行者認識については、パターンマッチングやニューラルネットワークなどの手法を用いて行う。
【００３２】
そして、歩行者認識の結果に応じて報知制御や車両走行制御を行う。具体的には、例えば、歩行者認識の結果（例えば、「歩行者である」という判別結果）の他に、レーダ（例えば、ミリ波レーダ、光レーダなど）によって得られた物体に対する距離情報（車両から物体までの距離）を用いて、歩行者との衝突危険度を判定し、この判定結果に応じて報知制御や車両制御として車両走行制御を行う。
【００３３】
このようなことから、実施例１は、上述した主たる特徴のごとく、画像内に映し出される路面標示（路面上に描かれた模様や記号）を精度よく認識することで、画像内から判別の対象となる物体（例えば、歩行者）が存在する蓋然性の高い候補領域を予め精度よく特定することができ、車載のカメラで撮影された画像内の物体の認識精度を向上させることが可能である。また、実施例１は、車載のカメラで撮影された画像内の歩行者認識精度を向上させることができる結果、適切な報知制御や車両制御を行うことができ、車両走行の障害となる物体との衝突を回避すること等が可能である。
【００３４】
［車両の構成（実施例１）］
次に、図２を用いて、実施例１に係る画像認識装置および車両制御装置を搭載する車両の構成を説明する。図２は、実施例１に係る画像認識装置および車両制御装置を搭載する車両の構成を示すブロック図である。なお、以下では、本発明を実施するために必要な処理部のみを示し、他の処理部については記載を省略する。
【００３５】
同図に示すように、この車両は、車両制御装置１０、撮像装置（例えば、単眼カメラやステレオカメラ）１１、ナビ部１２、レーダ部１３、車内通知部１４および画像認識装置２０を搭載している。また、車両制御装置１０は、報知制御部１５および車両制御部１６から構成され、画像認識装置２０は、前処理部２１、記憶部２２および制御部（マイコン）２３から構成される。
【００３６】
ナビ（ナビゲーション）部１２は、ＧＰＳ（Global Positioning System）人工衛星と通信を行って、特定した自動車の位置と地図データとから走行経路の設定および誘導を行う手段である。また、ナビ部１２は、自動車の位置情報や道路形状、路幅、傾斜など車両運転操作に有用な各種の情報を、後述する車内通知部１４を介して運転者に供給する。
【００３７】
レーダ部１３は、レーダ（例えば、７６．５ＧＨｚのミリ波レーダや光レーダなど）を照射して、前方の車両や障害物（例えば、歩行者）との距離や速度、方向などを測定する手段である。具体的には、この実施例３おいて、レーダ部１３は、後述する衝突危険度判定部２３ｅから歩行者までの距離の測定指令を受け付けると、歩行者の足元（接地面）を認識し、その接地面から車両までの距離を取得した後、衝突危険度判定部２３ｅにその距離情報（車両から歩行者までの距離）を出力する。
【００３８】
車内通知部１４は、ナビ部１２や後述する報知制御部１５からの情報を通知する手段であり、モニタやスピーカなどで構成される。例えば、報知制御部１５からの指令を受け付けて、歩行者の存在を示す画像をモニタに出力したり、メッセージ音声やアラーム音をスピーカから出力したりする。
【００３９】
車両制御装置１０の報知制御部１５は、後述する衝突危険度判定部２３ｅから受け付けた衝突危険度の判定結果に応じて報知制御を行う処理部である。具体的には、例えば、この実施例３において、報知制御部１５は、内部的に保持する処理制御テーブル（図３参照）に基づいて、衝突危険度判定部２３ｅから受け付けた衝突危険度が「レベル１」である場合には、車内通知部１４に対して歩行者の存在を示す画像の出力を指令する。
【００４０】
車両制御装置１０の車両制御部１６は、後述する衝突危険度判定部２３ｅから受け付けた衝突危険度の判定結果に応じて車両制御を行う処理部である。具体的には、例えば、この実施例３において、車両制御部１６は、内部的に保持する処理制御テーブル（図３参照）に基づいて、衝突危険度判定部２３ｅから受け付けた衝突危険度が「レベル２」である場合には、ブレーキ制御のよる速度減速を実行し、衝突危険度判定部２３ｅから受け付けた衝突危険度が「レベル３」である場合には、ハンドル制御による衝突回避を実行する。
【００４１】
画像認識装置２０の前処理部２１は、撮像装置１１（例えば、単眼カメラやステレオカメラなど）から入力される入力画像に前処理を行う処理部であり、フィルタ部２１ａと輪郭抽出部２１ｂとから構成される。このうち、フィルタ部２１ａは、画像内に映し出された物体の輪郭を強調するための前処理（例えば、シャープネス、コントラスト調整、彩度調整）を行う手段である。また、輪郭抽出部２１ｂは、フィルタ部２１ａによって施されたフィルタリングに基づいて、画像内の物体の輪郭を抽出する手段である。
【００４２】
画像認識装置２０の記憶部２２は、制御部２３による各種処理に必要なデータおよびプログラムを記憶する記憶手段であり、特に本発明に密接に関連するものとしては、基準データ記憶部２２ａおよび判定テーブル２２ｂを備える。
【００４３】
基準データ記憶部２２ａは、後述する路面標示認識部２３ｃの路面標示認識処理に関する各種の情報を記憶する手段であり、具体的には、画像内に映し出される路面標示を俯瞰した状態で得られる形状の特徴を、サンプルとして採取した俯瞰画像から抽出して生成した基準データを記憶して構成される。
【００４４】
判定テーブル２２ｂは、後に詳述する衝突危険度判定部２３ｅにおける衝突危険度判定処理に用いられる判定テーブルを記憶する記憶手段である。具体的には、図４に例示するように、後に詳述する歩行者認識部２３ｄから「歩行者である」という認識結果を受け付けていない場合には危険度「０」、一方、歩行者認識部２３ｄから「歩行者である」という認識結果を受け付けている場合には、歩行者までの距離「３０ｍ以上」では危険度「レベル１」、距離「１０〜３０ｍ」で危険度「レベル２」、距離「１０ｍ未満」では危険度「レベル３」とするように規定して構成される。
【００４５】
制御部（マイコン）２３は、所定の制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する処理部（マイコン）であり、特に本発明に密接に関連するものとしては、白線認識部２３ａと、画像制御部２３ｂと、路面標示認識部２３ｃと、歩行者認識部２３ｄと、衝突危険度判定部２３ｅとを備える。
【００４６】
このうち、白線認識部２３ａは、撮像装置１０（例えば、単眼カメラやステレオカメラなど）から入力される入力画像から白線（例えば、中央線や外側線などの白線）を認識する処理部であり、認識結果を画像制御部２３ｂへ出力する。
【００４７】
画像制御部２３ｂは、撮像装置１０（例えば、単眼カメラやステレオカメラなど）から入力される入力画像に所定の処理を行う処理部であり、具体的には、白線認識部２３ａから受け付けた認識結果に基づいて、入力画像内の白線位置を特定するとともに、白線との位置関係から入力画像内の路面領域を切出した後、道路に対応する基準データに基づいて路面領域内で道路以外の領域を特定し、道路以外の領域を特定した入力画像を俯瞰した状態に画像変換する。そして、画像制御部２３ｂは、俯瞰画像を路面標示認識部２３ｃへ出力する。
【００４８】
ここで、座標変換の原理について簡単に説明すると、図５に例示するように、車載の撮像装置１１から入力される入力画像は、実空間の原図における所定の座標を投影面に射影変換にすることにより得られた画像である。従い、入力画像内の所定の座標を逆変換することにより、実空間の原図を俯瞰した状態の俯瞰図（俯瞰画像）を得ることができる。
【００４９】
すなわち、例えば、実空間の原図と投影面が平行でない場合、原図の座標（ｘ，ｙ）は投影面において次の式に示す座標（ｘ’，ｙ’）に変換されるが、この式の逆変換を行うことにより俯瞰画像を得ることができる。
【００５０】
ｘ’＝ｆx／ｚ＝ｆx／（ａ0ｘ+ｂ0ｙ+ｃ0）
【００５１】
ｙ’＝ｆy／ｚ＝ｆy／（ａ0ｘ+ｂ0ｙ+ｃ0）
【００５２】
路面表示認識部２３ｃは、画像制御部２３ｂから受け付けた俯瞰画像について、路面表示（路面上の記号や模様）の認識を行う処理部であり、具体的には、基準データ記憶部２２ａに記憶されている基準データを読み出して、基準データの特徴と所定の照合度が得られるものが俯瞰画像内にある場合には、それを路面標示として認識する。そして、路面標示認識部２３ｃは認識結果を歩行者認識部２３ｄへ出力する。
【００５３】
歩行者認識部２３ｄは、路面標示認識部２３ｃから受け付けた認識結果に応じて、俯瞰画像内から歩行者認識の対象となる候補領域を特定し、歩行者認識を行う処理部である。具体的には、俯瞰画像内で路面標示（路面上の記号や模様）と認識されなかった路面標示以外の領域を歩行者認識の対象となる候補領域として特定するとともに、俯瞰画像で特定した候補領域に対応する元の画像（俯瞰画像に変換する前の入力画像）内の領域について歩行者認識を行う。なお、歩行者認識については、パターンマッチングやニューラルネットワークなどの手法を用いて行う。そして、歩行者認識部２３ｄは、認識結果を衝突危険度判定部２３ｅへ出力する。
【００５４】
衝突危険度判定部２３ｅは、歩行者認識部２３ｄから受け付けた認識結果等に基づいて、衝突危険度を判定する処理部である。具体的には、衝突危険度判定部２３ｅは、歩行者認識部２３ｄから認識結果を受け付けると、判定テーブル２２ｂから衝突危険度判定テーブル（図４参照）を読み出す。また、歩行者認識部２３ｄから「歩行者である」という認識結果を受け付けた場合には、衝突危険度判定部２３ｅは、レーダ部１３に歩行者までの距離を測定するように指令する。そして、衝突危険度判定部２３ｅは、歩行者認識部２３ｄから受け付けた「歩行者である」という認識結果およびレーダ部１３から得た歩行者までの距離情報を衝突危険度判定テーブルにあてはめて衝突危険度（例えば、「レベル１」、「レベル２」など）を判定し、報知制御部１５および車両制御部１６に判定結果を出力する。
【００５５】
［画像制御装置のマイコン（制御部）および車両制御装置による処理（実施例１）］
続いて、図６を用いて、実施例１に係る画像制御装置のマイコン（制御部）および車両制御装置による処理を説明する。図６は、実施例１に係る画像制御装置のマイコン（制御部）および車両制御装置による処理の流れを示すフローチャートである。なお、以下に説明する処理は、画像が所定の画像フレーム（例えば、１フレーム）入力されるたびに繰り返し実行される。
【００５６】
同図に示すように、撮像装置１１から画像が入力されると（ステップＳ６０１肯定）、白線認識部２３ａは、入力画像から白線（例えば、中央線や外側線などの白線）を認識すし（ステップＳ６０２）、認識結果を画像制御部２３ｂへ出力する。
【００５７】
続いて、画像制御部２３ｂは、白線認識部２３ａから受け付けた認識結果に基づいて、入力画像内の白線位置を特定するとともに、白線との位置関係から入力画像内の路面領域を切出す（ステップＳ６０３）。次に、画像制御部２３ｂは、道路に対応する基準データに基づいて路面領域内で道路以外の領域を特定し（ステップＳ６０４）、道路以外の領域を特定した入力画像を俯瞰した状態に画像変換する（ステップＳ６０５）。そして、画像制御部２３ｂは、俯瞰画像を路面標示認識部２３ｃへ出力する。
【００５８】
画像制御部２３ｂから俯瞰画像を受け付けた路面標示認識部２３ｃは、路面標示認識処理を行う（ステップＳ６０６）。具体的には、基準データ記憶部２２ａに記憶されている基準データを読み出して、基準データの特徴と所定の照合度が得られるものが俯瞰画像内にある場合には、それを路面標示として認識する。そして、路面標示認識部２３ｃは認識結果を歩行者認識部２３ｄへ出力する。
【００５９】
続いて、歩行者認識部２３ｄは、路面標示認識部２３ｃから受け付けた認識結果に応じて、俯瞰画像内から歩行者認識の候補領域を特定する（ステップＳ６０７）。具体的には、俯瞰画像内で路面標示（路面上の記号や模様）と認識されなかった路面標示以外の領域を歩行者認識の対象となる候補領域として特定する。
【００６０】
次に、歩行者認識部２３ｄは、俯瞰画像で特定した候補領域に対応する元の画像（俯瞰画像に変換する前の入力画像）内の領域について歩行者認識を行う（ステップＳ６０８）。なお、歩行者認識については、パターンマッチングやニューラルネットワークなどの手法を用いて行う。そして、歩行者認識部２３ｄは、認識結果を衝突危険度判定部２３ｅへ出力する。
【００６１】
そして、衝突危険度判定部２３ｅは、歩行者認識部２３ｄから受け付けた認識結果等に基づいて、衝突危険度の判定を行う（ステップＳ６０９）。
【００６２】
具体的には、衝突危険度判定部２３ｅは、歩行者認識部２３ｄから認識結果を受け付けると、判定テーブル２２ｂから衝突危険度判定テーブル（図４参照）を読み出す。また、歩行者認識部２３ｄから「歩行者である」という認識結果を受け付けた場合には、衝突危険度判定部２３ｅは、レーダ部１３に歩行者までの距離を測定するように指令する。そして、衝突危険度判定部２３ｅは、歩行者認識部２３ｄから受け付けた「歩行者である」という認識結果およびレーダ部１３から得た歩行者までの距離情報を衝突危険度判定テーブルにあてはめて衝突危険度（例えば、「レベル１」、「レベル２」など）を判定し、報知制御部１５および車両制御部１６に判定結果を出力する。
【００６３】
衝突危険度判定部２３ｅから衝突危険度の判定結果を受け付けると、報知制御部１５および車両制御部１６は、その判定結果に応じて報知制御および車両走行制御をそれぞれ行う（ステップＳ６１０）。
【００６４】
具体的には、報知制御部１５は、例えば、内部的に保持する処理制御テーブル（図３参照）に基づいて、衝突危険度判定部２３ｅから受け付けた衝突危険度が「レベル１」である場合には、車内通知部１４に対して歩行者の存在を示す画像の出力を指令する。
【００６５】
同様に、車両制御部１６は、例えば、内部的に保持する処理制御テーブル（図３参照）に基づいて、衝突危険度判定部２３ｅから受け付けた衝突危険度が「レベル２」である場合には、ブレーキ制御のよる速度減速を実行し、衝突危険度判定部２３ｅから受け付けた衝突危険度が「レベル３」である場合には、ハンドル制御による衝突回避を実行する。
【００６６】
［実施例１に効果］
上述してきたように、実施例１によれば、車載のカメラで撮影された画像内に映し出される路面標示の俯瞰形状に対応する基準データを記憶するとともに、この基準データに基づいて、撮影された画像を俯瞰した状態に変換した俯瞰画像内の路面標示を認識するので、車載のカメラの撮影方向や撮影角度に左右されることなく、画像内に映し出される路面標示（路面上に描かれた模様や記号など）を精度よく認識することが可能である。
【００６７】
また、実施例１によれば、車載のカメラで撮影された画像内に映し出される路面標示の俯瞰形状に対応する基準データを記憶するとともに、この基準データに基づいて、撮影された画像を俯瞰した状態に変換した俯瞰画像内の路面標示を認識し、さらに、俯瞰画像内から、路面標示と認識されなかった領域を歩行者認識の対象となる候補領域として特定し、俯瞰画像に変更される前の元画像内の候補領域に対応する領域について歩行者認識を行うので、画像内から判別の対象となる歩行者が存在する蓋然性の高い候補領域を予め精度よく特定することができ、車載のカメラで撮影された画像内の歩行者認識精度を向上させることが可能である。
【００６８】
また、実施例１によれば、車載のカメラで撮影された画像内に映し出される路面標示の俯瞰形状に対応する基準データを記憶するとともに、この基準データに基づいて、撮影された画像を俯瞰した状態に変換した俯瞰画像内の路面標示を認識し、さらに、俯瞰画像内から、路面標示と認識されなかった領域を歩行者認識の対象となる候補領域として特定し、俯瞰画像に変更される前の元画像内の候補領域に対応する領域について歩行者認識を行って、その結果歩行者を認識した場合には報知制御または車両制御を行うので、車載のカメラで撮影された画像内の歩行者認識精度を向上させることができる結果、適切な報知制御や車両制御を行うことができ、車両走行の障害となる物体との衝突を回避すること等が可能である。
【００６９】
また、上記の実施例１において、路面標示認識部２３ｃによる路面標示認識の結果に応じて、歩行者認識部２３ｄは、俯瞰画像内から歩行者認識の対象となる候補領域を特定する場合を説明したが、本発明はこれに限定されるものではなく、背景差分（フレーム間差分）法によって候補領域を特定するようにしてもよい。例えば、１フレーム前の画像および現フレームの画像をそれぞれ俯瞰画像に変換するとともに、場合によっては、回転補正を施しておいて、１フレーム前の画像と現フレームとの差分をとり、差分が検出された領域を歩行者認識の対象となる候補領域として特定する。
【００７０】
これにより、背景差分法などによっても、画像内から判別の対象となる物体（例えば、歩行者）が存在する蓋然性のある候補領域を予め精度よく特定することが可能である。
【００７１】
また、上記の実施例１では、路面標示認識部２３ｃから受け付けた認識結果に応じて、俯瞰画像内から歩行者認識の対象となる候補領域を特定し、歩行者認識を行う場合を説明したが、本発明はこれに限定されるものではなく、例えば、俯瞰画像内で特定されて候補領域について、車両走行に影響を与える歩行者以外の物体（例えば、車両、犬や猫などの動物、樹木など）に関する認識を行うようにしてもよい。
【００７２】
このようなことから、画像内から判別の対象となる物体（例えば、歩行者や歩行者以外の車両、犬や猫などの動物、樹木など）が存在する蓋然性の高い候補領域を予め精度よく特定することができ、車載のカメラで撮影された画像内の物体の認識精度を向上させることが可能である。
【００７３】
また、上記の実施例１において、路面標示認識部２３ｃは、基準データ記憶部２２ａに記憶されている基準データの特徴と所定の照合度が得られるものが俯瞰画像内にある場合には、それを路面標示として認識する場合を説明したが、本発明はこれに限定されるものではない。
【００７４】
例えば、路面標示の俯瞰形状に基準データに対応するパターンを予め生成しておいて、パターンマッチングにより路面標示を認識するようにしてもよいし、あるいは、路面標示の俯瞰形状に基準データに対応するデータを予め学習させておいて、ニューラルネットワークにより路面標示を認識するようにしてもよい。
【００７５】
これによれば、路面標示の俯瞰形状に対応するパターンを生成し、俯瞰画像について路面標示認識をすることで、カメラの取付け位置や取付け角度の影響により同一の路面形状であっても異なって見えるため用意せざるを得なかったパターンの数を大幅に削減することができ、あるいは、学習の負荷を軽減することができることから、装置負荷を軽減することが可能であるとともに、路面標示を精度よく認識することが可能である。
【００７６】
また、上記の実施例１では、路面標示の俯瞰形状に基準データをあらかじめ所持することにより、路面領域内の路面標示を認識する場合を説明したが、本発明はこれに限定されるものではなく、路面標示を含む道路の俯瞰形状についての基準データを生成して予め所持し、この基準データに基づいて入力画像を俯瞰した俯瞰画像について道路および路面標示の認識を行うようにしてもよい。
【実施例２】
【００７７】
ところで、上記の実施例１の車両制御装置の画像制御部２３ｂにおいて俯瞰した状態に変換された俯瞰画像に、車両進行方向と一致するように回転補正を施してから路面標示認識をおこなうようにしてもよい。そこで、以下では、実施例２に係る画像認識装置の概要および特徴、実施例２に係る画像認識装置の構成および処理を順に説明し、最後に実施例２による効果を説明する。
【００７８】
［画像認識装置の概要および特徴（実施例２）］
まず最初に、図７を用いて、実施例２に係る画像認識装置の概要および特徴を説明する。図７は、実施例２に係る画像認識装置の概要および特徴を説明するための図である。
【００７９】
実施例２は、上記の実施例１と同様に、車両走行の障害となる物体との衝突を回避すること等を目的として、車載のカメラによって撮影された画像の画像認識を行うことを概要とするが、画像内に映し出される路面標示をより精度よく認識する点に主たる特徴がある。
【００８０】
この主たる特徴について具体的に説明すると、実施例２は、図７に示すように、カメラで撮影された入力画像内の白線（例えば、路面にペイントされた中央線など）を認識して、路面領域の切出しを行うとともに、俯瞰した状態の俯瞰画像に変換するが、さらに、俯瞰画像に対して車両進行方向と一致するように回転補正を施す。
【００８１】
具体的には、例えば、俯瞰画像内で認識した白線を俯瞰画像を回転するための基準とする回転基準対象として採用し、回転基準対象として採用された白線を回転させることで、俯瞰画像を車両進行方向と一致させるように回転補正する。
【００８２】
そして、実施例２に係る車両制御装置は、記憶している基準データに基づいて、俯瞰画像を回転補正した回転補正画像内の路面標示認識を行う。
【００８３】
このようなことから、実施例２に係る車両制御装置は、上述した主たる特徴の如く、車両が斜めに走行する場合（例えば、道路を斜めに横切って走行する場合）などに撮影した画像内に映し出されている路面標示を認識しやすいように、俯瞰画像を回転補正して対応することができ、画像内に映し出される路面標示をより精度よく認識することが可能である。
【００８４】
［画像認識装置の構成（実施例２）］
次に、上記の実施例１と同様に、図２を用いて、実施例２に係る画像認識装置の構成を説明する。実施例２に係る画像認識装置は、実施例１に係る車両制御装置と基本的には同様の構成であるが、以下に説明する点が異なる。
【００８５】
すなわち、画像認識装置２０の画像制御部２３ｂは、白線認識部２３ａから受け付けた認識結果に基づいて、入力画像内の白線位置を特定するとともに、白線との位置関係から入力画像内の路面領域を切出した後、道路に対応する基準データに基づいて路面領域内で道路以外の領域を特定し、道路以外の領域を特定した入力画像を俯瞰した状態に画像変換するだけでなく、さらに、俯瞰画像に対して車両進行方向と一致するように回転補正を行う。
【００８６】
具体的には、画像制御部２３ｂは、白線認識部２３ａの認識結果に基づいて俯瞰画像内で特定した白線を、俯瞰画像を回転するための基準とする回転基準対象として採用し、回転基準対象として採用された白線を回転させることで、俯瞰画像を車両進行方向と一致させるように回転補正する。そして、画像制御部２３ｂは、回転補正後の画像を路面標示認識部２３ｃへ出力する。
【００８７】
［画像認識装置による処理（実施例２）］
続いて、図８を用いて、実施例２に係る画像認識装置の制御部（マイコン）による処理を説明する。図８は、実施例２に係る画像認識装置の制御部（マイコン）による処理の流れを示すフローチャートである。なお、ステップＳ８０１からステップＳ８０５までの処理、およびステップＳ８０７の処理は、上記の実施例１で図６を用いて説明したＳ６０１からステップＳ６０６までの処理と同様の処理であるので説明を省略し、以下では、ステップＳ８０６の処理について説明する。
【００８８】
同図に示すように、白線認識部２３ａから受け付けた認識結果に基づいて、入力画像内の白線位置を特定するとともに、白線との位置関係から入力画像内の路面領域を切出した後、道路に対応する基準データに基づいて路面領域内で道路以外の領域を特定し、道路以外の領域を特定した入力画像を俯瞰した状態に画像変換した俯瞰画像について、画像制御部２３ｂは、車両進行方向と一致するように回転補正を行う（ステップＳ８０６）。
【００８９】
具体的には、画像制御部２３ｂは、白線認識部２３ａの認識結果に基づいて俯瞰画像内で特定した白線を、俯瞰画像を回転するための基準とする回転基準対象として採用し、回転基準対象として採用された白線を回転させることで、俯瞰画像を車両進行方向と一致させるように回転補正する。そして、画像制御部２３ｂは、回転補正後の画像を路面標示認識部２３ｃへ出力し、路面標示認識部２３ｃは、回転補正後の画像について路面標示認識を行う（ステップＳ８０７）。
【００９０】
［実施例２の効果］
上述してきたように、実施例２によれば、俯瞰画像を回転するための基準とする回転基準対象を路面標示の中から検出し（例えば、中央線や外側線などの白線などを検出し）、回転基準対象として検出された路面標示を回転させることで、俯瞰画像を車両進行方向と一致させるように回転補正するので、車両が斜めに走行する場合（例えば、道路を斜めに横切って走行する場合）などに撮影した画像内に映し出されている路面標示を認識しやすいように、俯瞰画像を回転補正して対応することができ、画像内に映し出される路面標示をより精度よく認識することが可能である。
【実施例３】
【００９１】
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
【００９２】
（１）コントラスト調整
上記の実施例おいて、画像内に映し出されている路面標示と路面との輝度差が所定の値となるように調整する（つまり、中央線や外側線などの白線などを基準として、路面上に描かれた模様や記号などの路面標示が明瞭となるように調整する）ようにしてもよい。
【００９３】
これにより、例えば、路面標示のペイントの濃さや天候等の影響を緩和することができる結果、路面標示をより精度よく認識することが可能である。
【００９４】
（２）路面標示認識結果に基づく報知制御や車両制御
なお、上記の実施例１において、路面標示認識を行う際に、その内容（例えば、一時停止や制限速度など）について把握するようにして、例えば、路面標示の内容が一時停止であると認識した場合には、間もなく一時停止であることを運転者に音声などで報知するとともに、ブレーキによる速度減速を行うようにしてもよい。
【００９５】
（３）装置構成等
また、図２および図８に示した車両制御装置１０の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、車両制御装置１０装置の分散・統合の具体的形態は図示のものに限られず、例えば、白線認識部２３ａと画像制御部２３ｂと路面標示認識部２３ｃとを統合し、あるいは、画像制御２３ｂに備えられた画像変換機能と回転補正機能とを分散するなど、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、車両制御装置１０にて行なわれる各処理機能（画像変換機能、路面標示認識機能、回転補正機能および歩行者認識機能）は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【産業上の利用可能性】
【００９６】
以上のように、本発明に係る画像認識装置、画像認識方法、歩行者認識装置および車両制御装置は、車両走行の障害となる物体との衝突を回避すること等を目的として、車載のカメラによって撮影された画像の画像認識を行う場合に有用であり、特に、画像内に映し出される路面上に描かれた模様や記号などの路面標示を精度よく認識することに適する。
【図面の簡単な説明】
【００９７】
【図１】実施例１に係る概要および特徴を説明するための図である。
【図２】実施例１に係る画像認識装置および車両制御装置を搭載する車両の構成を示すブロック図である。
【図３】処理制御テーブルの構成例を示す図である。
【図４】衝突危険度判定テーブルの構成例を示す図である。
【図５】座標変換の原理を説明するための図である。
【図６】実施例１に係る実施例１に係る画像制御装置のマイコン（制御部）および車両制御装置による処理の流れを示すフローチャートである。
【図７】実施例２に係る画像認識装置の概要および特徴を説明するための図である。
【図８】実施例２に係る画像制御装置のマイコン（制御部）による処理の流れを示すフローチャートである。
【符号の説明】
【００９８】
１０ 車両制御装置
１１ 撮像装置
１２ ナビ部
１３ レーダ部
１４ 車内通知部
１５ 報知制御部
１６ 車両制御部
１７ ハンドル
１８ ブレーキ
２０ 画像認識装置
２１ 前処理部
２１ａ フィルタ部
２１ｂ 輪郭抽出部
２２ 記憶部
２２ａ 基準データ記憶部
２２ｂ 判定テーブル
２３ 制御部（マイコン）
２３ａ 白線認識部
２３ｂ 画像制御部
２３ｃ 路面標示認識部
２３ｄ 歩行者認識部
２３ｅ 衝突危険度判定部
【特許請求の範囲】
【請求項１】
車載のカメラで撮影された画像内に映し出される路面標示の俯瞰形状に対応する基準データを記憶する基準データ記憶手段と、
前記画像を俯瞰した状態の俯瞰画像に変換する画像変換手段と、
前記基準データ記憶手段により記憶されている前記基準データに基づいて、前記画像変換手段により得られる前記俯瞰画像内の路面標示を認識する路面標示認識手段と、
を備えたことを特徴とする画像認識装置。
【請求項２】
前記画像変換手段により得られる前記俯瞰画像内から、当該俯瞰画像を回転するための基準とする回転基準対象を前記路面標示の中から検出する回転基準対象検出手段と、
前記回転基準対象検出手段により前記回転基準対象として検出された路面標示を回転させることで、前記俯瞰画像を車両進行方向と一致させるように回転補正する回転補正手段と、
をさらに備えたことを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記画像変換手段により得られる前記俯瞰画像内から、前記路面標示認識手段により路面標示と認識されなかった領域を物体認識の対象となる候補領域として特定し、当該画像変換手段により俯瞰画像に変更される前の元画像内の当該候補領域に対応する領域について物体認識を行う物体認識手段をさらに備えたことを特徴とする請求項１または２に記載の画像認識装置。
【請求項４】
前記画像内に映し出されている路面標示と路面との輝度差が所定の値となるように調整する輝度調整手段をさらに備えたことを特徴とする請求項１〜３のいずれか一つに記載の画像認識装置。
【請求項５】
車載のカメラで撮影された画像内に映し出される路面標示の俯瞰形状に対応する基準データを記憶する基準データ記憶工程と、
前記画像を俯瞰した状態の俯瞰画像に変換する画像変換工程と、
前記基準データ記憶工程により記憶されている前記基準データに基づいて、前記画像変換工程により得られる前記俯瞰画像内の路面標示を認識する路面標示認識工程と、
を含んだことを特徴とする画像認識方法。
【請求項６】
車載のカメラで撮影された画像内に映し出される路面標示の俯瞰形状に対応する基準データを記憶する基準データ記憶手段と、
前記画像を俯瞰した状態の俯瞰画像に変換する画像変換手段と、
前記基準データ記憶手段により記憶されている前記基準データに基づいて、前記画像変換手段により得られる前記俯瞰画像内の路面標示を認識する路面標示認識手段と、
前記画像変換手段により得られる前記俯瞰画像内から、前記路面標示認識手段により路面標示と認識されなかった領域を歩行者認識の対象となる候補領域として特定し、当該画像変換手段により俯瞰画像に変更される前の元画像内において、当該候補領域に対応する領域に歩行者認識を行う歩行者認識手段と、
を備えたことを特徴とする歩行者認識装置。
【請求項７】
車載のカメラで撮影された画像内に映し出される路面標示の俯瞰形状に対応する基準データを記憶する基準データ記憶手段と、
前記画像を俯瞰した状態の俯瞰画像に変換する画像変換手段と、
前記基準データ記憶手段により記憶されている前記基準データに基づいて、前記画像変換手段により得られる前記俯瞰画像内の路面標示を認識する路面標示認識手段と、
前記画像変換手段により得られる前記俯瞰画像内から、前記路面標示認識手段により路面標示と認識されなかった領域を歩行者認識の対象となる候補領域として特定し、当該画像変換手段により俯瞰画像に変更される前の元画像内において、当該候補領域に対応する領域に歩行者認識を行う歩行者認識手段と、
前記歩行者認識手段により歩行者が認識された場合に、運転者に注意または警告を報知する報知制御、および／または車両の走行状態を制御する車両制御を実行する制御手段と、
を備えたことを特徴とする車両制御装置。
【請求項８】
道路を含む入力画像を俯瞰した状態の俯瞰画像に変換する変換手段と、
予め路面標示が俯瞰化された基準データと前記俯瞰画像との比較結果に基づいて、当該俯瞰画像内から当該路面標示以外の領域を歩行者認識の対象となる候補領域として特定する特定手段と、
を備えたことを特徴とする歩行者認識装置。
【請求項１】
車載のカメラで撮影された画像内に映し出される路面標示の俯瞰形状に対応する基準データを記憶する基準データ記憶手段と、
前記画像を俯瞰した状態の俯瞰画像に変換する画像変換手段と、
前記基準データ記憶手段により記憶されている前記基準データに基づいて、前記画像変換手段により得られる前記俯瞰画像内の路面標示を認識する路面標示認識手段と、
を備えたことを特徴とする画像認識装置。
【請求項２】
前記画像変換手段により得られる前記俯瞰画像内から、当該俯瞰画像を回転するための基準とする回転基準対象を前記路面標示の中から検出する回転基準対象検出手段と、
前記回転基準対象検出手段により前記回転基準対象として検出された路面標示を回転させることで、前記俯瞰画像を車両進行方向と一致させるように回転補正する回転補正手段と、
をさらに備えたことを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記画像変換手段により得られる前記俯瞰画像内から、前記路面標示認識手段により路面標示と認識されなかった領域を物体認識の対象となる候補領域として特定し、当該画像変換手段により俯瞰画像に変更される前の元画像内の当該候補領域に対応する領域について物体認識を行う物体認識手段をさらに備えたことを特徴とする請求項１または２に記載の画像認識装置。
【請求項４】
前記画像内に映し出されている路面標示と路面との輝度差が所定の値となるように調整する輝度調整手段をさらに備えたことを特徴とする請求項１〜３のいずれか一つに記載の画像認識装置。
【請求項５】
車載のカメラで撮影された画像内に映し出される路面標示の俯瞰形状に対応する基準データを記憶する基準データ記憶工程と、
前記画像を俯瞰した状態の俯瞰画像に変換する画像変換工程と、
前記基準データ記憶工程により記憶されている前記基準データに基づいて、前記画像変換工程により得られる前記俯瞰画像内の路面標示を認識する路面標示認識工程と、
を含んだことを特徴とする画像認識方法。
【請求項６】
車載のカメラで撮影された画像内に映し出される路面標示の俯瞰形状に対応する基準データを記憶する基準データ記憶手段と、
前記画像を俯瞰した状態の俯瞰画像に変換する画像変換手段と、
前記基準データ記憶手段により記憶されている前記基準データに基づいて、前記画像変換手段により得られる前記俯瞰画像内の路面標示を認識する路面標示認識手段と、
前記画像変換手段により得られる前記俯瞰画像内から、前記路面標示認識手段により路面標示と認識されなかった領域を歩行者認識の対象となる候補領域として特定し、当該画像変換手段により俯瞰画像に変更される前の元画像内において、当該候補領域に対応する領域に歩行者認識を行う歩行者認識手段と、
を備えたことを特徴とする歩行者認識装置。
【請求項７】
車載のカメラで撮影された画像内に映し出される路面標示の俯瞰形状に対応する基準データを記憶する基準データ記憶手段と、
前記画像を俯瞰した状態の俯瞰画像に変換する画像変換手段と、
前記基準データ記憶手段により記憶されている前記基準データに基づいて、前記画像変換手段により得られる前記俯瞰画像内の路面標示を認識する路面標示認識手段と、
前記画像変換手段により得られる前記俯瞰画像内から、前記路面標示認識手段により路面標示と認識されなかった領域を歩行者認識の対象となる候補領域として特定し、当該画像変換手段により俯瞰画像に変更される前の元画像内において、当該候補領域に対応する領域に歩行者認識を行う歩行者認識手段と、
前記歩行者認識手段により歩行者が認識された場合に、運転者に注意または警告を報知する報知制御、および／または車両の走行状態を制御する車両制御を実行する制御手段と、
を備えたことを特徴とする車両制御装置。
【請求項８】
道路を含む入力画像を俯瞰した状態の俯瞰画像に変換する変換手段と、
予め路面標示が俯瞰化された基準データと前記俯瞰画像との比較結果に基づいて、当該俯瞰画像内から当該路面標示以外の領域を歩行者認識の対象となる候補領域として特定する特定手段と、
を備えたことを特徴とする歩行者認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００８−３４９８１（Ｐ２００８−３４９８１Ａ）
【公開日】平成２０年２月１４日（２００８．２．１４）
【国際特許分類】
【出願番号】特願２００６−２０３８２６（Ｐ２００６−２０３８２６）
【出願日】平成１８年７月２６日（２００６．７．２６）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成２０年２月１４日（２００８．２．１４）
【国際特許分類】
【出願日】平成１８年７月２６日（２００６．７．２６）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]