画像認識装置、画像認識方法、歩行者認識装置および車両制御装置
【課題】画像から検出された物体の判別精度を向上させることを課題とする。
【解決手段】入力画像から判別の候補となる候補物体を検出した場合には、ニューラルネットワーク手法を用いた大まかな判別（すなわち、検出された物体が判別の対象となる歩行者の可能性があるか否か判別）を行う。大まかな判別の結果、入力画像から検出された物体について歩行者の可能性があると判別した場合には、ニューラルネットワーク手法を用いた詳細な判別（すなわち、検出された物体が判別の対象である歩行者であるか否か判別）を行う。続いて、詳細な判別結果（例えば、「歩行者である」という判別結果）等に応じて、警告の報知や車両の制御を行う。
【解決手段】入力画像から判別の候補となる候補物体を検出した場合には、ニューラルネットワーク手法を用いた大まかな判別（すなわち、検出された物体が判別の対象となる歩行者の可能性があるか否か判別）を行う。大まかな判別の結果、入力画像から検出された物体について歩行者の可能性があると判別した場合には、ニューラルネットワーク手法を用いた詳細な判別（すなわち、検出された物体が判別の対象である歩行者であるか否か判別）を行う。続いて、詳細な判別結果（例えば、「歩行者である」という判別結果）等に応じて、警告の報知や車両の制御を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、単眼カメラで撮像された画像から判別の候補となる物体が検出された場合に、当該判別の候補となる物体を判別する画像認識装置などに関する。
【背景技術】
【０００２】
従来より、車両走行の障害となる物体との衝突を回避すること等を目的として、車載のカメラで撮像された画像内から検出された物体（例えば、歩行者）を判別する技術が提案されている。例えば、特許文献１では、所定のカメラ（例えば、可視光カメラ）で撮像された画像から判別対象となる物体を検出し、その物体に対して歩行者の輪郭パターンを用いたニューラルネットワークの物体判別手法を適用して、検出された物体が歩行者であるか等を判別する技術が開示されている。
【０００３】
【特許文献１】特開２００４−１４５６６０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上記した従来の技術は、画像から検出された物体の判別精度が低下する場合が考えられるという問題点があった。すなわち、上記した従来の技術は、画像から検出された物体に対して歩行者の輪郭パターンを用いたニューラルネットワークの物体判別手法を適用して、検出された物体が歩行者であるか等を判別するので、歩行者の輪郭と類似した形状の物体（例えば、歩行者の形状に類似した樹木など）を歩行者と判別する恐れがあり、物体の判別精度が低下する場合が考えられるという問題点があった。
【０００５】
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、画像から検出された物体の判別精度を向上させることが可能な画像認識装置、画像認識方法、歩行者認識装置および車両制御装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するため、請求項１に係る発明は、カメラで撮像された画像から判別の候補となる物体が検出された場合に、当該判別の候補となる物体について、当該判別の対象となる所定の物体を構成する所定の部位に関する判定を行って、その結果得られる判別値が所定の閾値を超えている場合には当該所定の物体であると判別する物体判別手段を備えたことを特徴とする。
【０００７】
また、請求項２に係る発明は、上記の発明において、前記物体判別手段は、前記画像から検出された判別の候補となる物体について、当該判別の対象となる所定の物体を構成する複数の所定の部位に関する判定をそれぞれ行って、その結果得られる各判別値を加算した合計値が所定の閾値を超えている場合には当該所定の物体であると判別することを特徴とする。
【０００８】
また、請求項３に係る発明は、上記の発明において、前記物体判別手段は、前記各判別値のいずれかに重み付けを行った上で、当該各判別値を加算した合計値が所定の閾値を超えている場合には当該所定の物体であると判別することを特徴とする。
【０００９】
また、請求項４に係る発明は、上記の発明において、前記物体判別手段は、複数の連続画像から検出された判別の候補となる同一物体について前記所定の部位の動作に関する判定を行って、その結果得られる判別値が所定の閾値を超えている場合には当該所定の物体であると判別することを特徴とする。
【００１０】
また、請求項５に係る発明は、上記の発明において、前記画像から検出された判別の候補となる物体について、当該判別の対象となる所定の物体である可能性を判別する可能性判別手段をさらに備え、前記物体判別手段は、前記可能性判別手段により前記判別の候補となる物体が前記所定の物体の可能性があると判別された場合には、当該判別の候補となる物体について、当該所定の物体を構成する所定の部位に関する判定を行って、その結果得られる判別値が所定の閾値を超えている場合には当該所定の物体であると判別することを特徴とする。
【００１１】
また、請求項６に係る発明は、上記の発明において、前記可能性判別手段は、前記判別の候補として前記画像から検出された物体の当該画像上の位置に応じた前記所定の部位に関する判定を行って、前記所定の物体の可能性がある物体を判別することを特徴とする。
【００１２】
また、請求項７に係る発明は、上記の発明において、前記物体判別手段は、所定の条件に応じた閾値を用いて、前記判別の候補となる物体を前記所定の物体であると判別することを特徴とする。
【００１３】
また、請求項８に係る発明は、上記の発明において、前記物体判別手段は、所定の環境条件に応じた前記所定の部位に関する判定を行って、前記判別の候補となる物体を前記所定の物体であると判別することを特徴とする。
【００１４】
また、請求項９に係る発明は、上記の発明において、前記物体判別手段は、前記判別の候補として前記画像から検出された物体の当該画像上の位置に応じて、当該判別の候補となる物体を前記所定の物体であると判別するか否かを決定することを特徴とする。
【００１５】
また、請求項１０に係る発明は、上記の発明において、前記物体判別手段により、前記画像から検出された判別の候補となる物体が、当該判別の対象となる所定の物体であると判別された場合に、当該画像から当該所定の物体が路上に侵入しようとしているか否かを判定する侵入判定手段をさらに備えたことを特徴とする。
【００１６】
また、請求項１１に係る発明は、上記の発明において、前記物体判定手段は、複数の連続画像から検出された判別の候補となる同一物体について、それぞれ別個の前記所定の部位に関する判定を行って、その結果得られる判別値がそれぞれ所定の閾値を超えている場合には当該所定の物体であると判別することを特徴とする。
【００１７】
また、請求項１２に係る発明は、上記の発明において、カメラで撮像された画像から判別の候補となる物体が検出された場合に、当該判別の候補となる物体について、当該判別の対象となる所定の物体を構成する所定の部位に関する判定を行って、その結果得られる判別値が所定の閾値を超えている場合には当該所定の物体であると判別する物体判別工程を含んだことを特徴とする。
【００１８】
また、請求項１３に係る発明は、上記の発明において、カメラで撮像された画像から判別の候補となる物体が検出された場合に、当該判別の候補となる物体について、当該判別の対象となる歩行者を構成する所定の部位に関する判定を行って、その結果得られる判別値が所定の閾値を超えている場合には歩行者であると判別する物体判別手段を備えたことを特徴とする。
【００１９】
また、請求項１４に係る発明は、カメラで撮像された画像から判別の候補となる物体が検出された場合に、当該判別の候補となる物体について、当該判別の対象となる所定の物体を構成する所定の部位に関する判定を行って、その結果得られる判別値が所定の閾値を超えている場合には当該所定の物体であると判別する物体判別手段による判別結果に応じて、警告の報知および／または車両の制御を行う制御手段を備えたことを特徴とする。
【発明の効果】
【００２０】
請求項１または１２の発明によれば、画像から検出された判別の候補となる物体について、判別の対象となる所定の物体を構成する所定の部位（例えば、判別の対象が歩行者であれば、頭、胴体あるいは手足など）に関する判定（例えば、ニューラルネットワーク手法やパターンマッチング手法による判定）を行って、その結果得られる判別値（例えば、出力値）が所定の閾値を超えている場合（すなわち、検出された物体の中に歩行者の頭らしきものが存在する可能性が高い場合）には所定の物体であると判別するので、例えば、頭、胴体あるいは手足などの歩行者の部位に関する判定を行うことにより、歩行者の全体形状と類似した形状を持つ物体（例えば、歩行者の形状に類似した樹木など）を歩行者と誤って判別する恐れがなく、画像から検出された物体の判別精度を向上させることが可能である。
【００２１】
また、請求項２の発明によれば、画像から検出された判別の候補となる物体について、例えば、判別の対象となる所定の物体を構成する複数の所定の部位（例えば、判別の対象が歩行者であれば、頭、胴体および手足など）に関する判定をそれぞれ行って、その結果得られる各判別値を加算した合計値が所定の閾値を超えている場合（すなわち、検出された物体の中に歩行者の頭、胴体および手足などが存在する可能性が高い場合）には歩行者であると判別するので、例えば、頭、胴体や手足などの歩行者の各部位に関する判定をそれぞれ行うことにより、画像から検出された物体を歩行者であるか否かを総合的に判別することができ、画像から検出された物体の判別精度をさらに向上させることが可能である。
【００２２】
また、請求項３の発明によれば、画像から検出された判別の候補となる物体について、判別の対象となる所定の物体を構成する複数の所定の部位に関する判定をそれぞれ行って、その結果得られる各判別値のいずれかに重み付け（例えば、距離が近い場合には、十分な情報が得られ個人差の少ない頭に関する判定の結果得られた出力値を２倍にする等）を行った上で、各判別値を加算した合計値が所定の閾値を超えている場合には所定の物体であると判別するので、画像から検出された物体の判別精度を簡易な操作で向上させることが可能である。
【００２３】
また、請求項４の発明によれば、複数の連続画像（例えば、現画像およびそれ以降に入力される数フレームの画像）から検出された判別の候補となる同一物体について、判別の対象となる所定の物体を構成する複数の所定の部位の動作に関する判定（例えば、判別の対象が歩行者であれば、前振りの手および後ろ振りの手に関する判定）をそれぞれ行って、その結果得られる判別値がそれぞれ所定の閾値を超えている場合（すなわち、検出された画像の中に前振りの手および後ろ振りの手が存在する可能性が高い場合）には所定の物体であると判別するので、例えば、画像から検出された物体を歩行者であるか否かを動作という要素を加味して判別することができ、画像から検出された物体の判別精度をさらに向上させることが可能である。
【００２４】
また、請求項５の発明によれば、画像から検出された判別の候補となる物体について、判別の対象となる所定の物体（例えば、歩行者）である可能性を判別（例えば、所定の部位に関する判定を行って、その結果得られる判別値が、簡易な判別のために予め低く設定された所定の閾値を超えているか否かで歩行者である可能性を判別）した後に、所定の物体の可能性があると判別された物体について、所定の物体を構成する所定の部位に関する判定を行って、その結果得られる判別値が所定の閾値（例えば、詳細な判別のために予め高く設定された閾値）を超えている場合には所定の物体であると判別するので、例えば、画像から検出された物体が判別の対象となる歩行者の可能性がある物体をあらかじめ判別した後に、例えば、頭、胴体や手足などの歩行者の部位に関する判定を行って、歩行者であるか否かを詳細に判別することにより、詳細な判別処理を無駄に実行することを防止することが可能である。
【００２５】
また、請求項６の発明によれば、判別の候補として画像から検出された物体の画像上の位置に応じた所定の物体（例えば、歩行者）の所定の部位に関する判定を行って、その結果得られる判別値が、例えば、簡易な判別のために予め低く設定された所定の閾値を超えている場合には、所定の物体の可能性がある物体として判別するので、候補物体が歩行者である可能性があるか否か判別するための判別パターンを使い分ける（例えば、画像上の位置から把握される検出された候補物体と車両との距離が近い場合には歩行者の頭のパターンを用い、候補物体までの距離が遠い場合には歩行者の全身パターンを用いる）ことができ、候補物体が歩行者である可能性があるか否か精度よく判別することができる結果、歩行者であるか否かを判別する処理を効率的に実行することが可能である。
【００２６】
また、請求項７の発明によれば、所定の条件に応じて閾値を変更するので、例えば、走行場所、走行速度や物体の検出位置などの条件に応じて閾値を変更することができる結果、画像から検出された物体の判別精度をさらに向上させることが可能である。
【００２７】
また、請求項８の発明によれば、所定の環境条件に応じて判別の対象となる所定の物体を構成する所定の部位に関する判定を実行するので、例えば、歩行者の服装の違いや時間帯における周囲の明るさなど、気温、天候や時間帯などの環境条件に応じた判定を実行することができる結果、画像から検出された物体の判別精度をさらに向上させることが可能である。
【００２８】
また、請求項９の発明によれば、判別の候補として画像から検出された物体の画像上の位置に応じて、判別の対象となる所定の物体を構成する所定の部位に関する判定を実行するか否かを決定するので、例えば、道路内で物体が検出された場合には詳細な判別処理を実行し、道路外で物体が検出された場合には詳細な判別処理を実行しないようにすることができ、詳細な判別処理を無駄に実行することを防止することが可能である。
【００２９】
また、請求項１０の発明によれば、画像から検出された判別の候補となる物体が、判別の対象となる所定の物体であると判別された場合に、例えば、現画像における歩行者の位置が次画像において路上に接近している場合や歩行者が道路へ向いている場合など、画像から所定の物体が路上に侵入しようとしているか否かを判定するので、画像から検出された物体を所定の物体であると判別するだけでなく、路上に侵入しようとしているか否かまで判定することが可能である。
【００３０】
また、請求項１１の発明によれば、複数の連続画像から検出された判別の候補となる同一物体について、それぞれ別個の前記所定の部位に関する判定を行って（例えば、現画像において頭に関する判定を行った場合には、次画像において手足に関する判定を行う）、その結果得られる判別値がそれぞれ所定の閾値を超えている場合には当該所定の物体であると判別するので、例えば、画像内に歩行者が鮮明に撮像されていない場合であっても、画像から検出された物体の判別精度を向上させることが可能である。
【００３１】
また、請求項１３の発明によれば、画像から検出された判別の候補となる物体について、判別の対象となる歩行者を構成する所定の部位に関する判定を行って、その結果得られる判別値が所定の閾値を超えている場合には歩行者であると判別するので、頭、胴体あるいは手足などの歩行者の部位に関する判定を行うことにより、歩行者の全体形状と類似した形状を持つ物体（例えば、歩行者の形状に類似した樹木など）を歩行者と誤って判別する恐れがなく、画像から検出された物体を歩行者であるか否か判別する判別精度を向上させることが可能である。
【００３２】
また、請求項１４の発明によれば、画像から検出された判別の候補となる物体について、判別の対象となる所定の物体を構成する所定の部位に関する判定を行って、その結果得られる判別値が所定の閾値を超えている場合には所定の物体であると判別し、その判別結果に応じて、警告の報知および／または車両の制御を行うので、画像から検出された物体を歩行者であるか否か精度よく判別することができる結果、警告の報知や車両の制御を効率的に行うことが可能である。
【発明を実施するための最良の形態】
【００３３】
以下に添付図面を参照して、本発明に係る画像認識装置、画像認識方法、歩行者認識装置および車両制御装置の実施例を詳細に説明する。なお、以下では、本発明に係る画像認識装置および車両制御装置を搭載した車両を実施例１として説明した後に、本発明に含まれる他の実施例を説明する。
【実施例１】
【００３４】
以下の実施例１では、本発明の実施例１に係る概要および特徴、実施例１の構成および処理の流れを順に説明し、最後に実施例１による効果を説明する。
【００３５】
［概要および特徴（実施例１）］
まず最初に、図１を用いて、実施例１の概要および特徴を説明する。図１は、実施例１の概要および特徴を説明するための図である。
【００３６】
同図に示すように、実施例１は、車載のカメラ（例えば、単眼カメラやステレオカメラなど）で撮像された画像から判別の候補となる物体が検出された場合に、判別の候補となる物体を判別するとともに所定の制御（報知制御や車両走行制御）を行うことを概要とするが、画像から検出された物体の判別精度を向上させる点に主たる特徴がある。なお、ここでは物体の判別の効率化を図るため、画像上の道路内に存在する物体のみを判別対象とする。
【００３７】
この主たる特徴について具体的に説明すると、例えば、単眼カメラにより撮像された画像が１フレーム入力されると、その入力画像から判別の候補となる候補物体を、例えば、顕著性算出法により検出する（図１の（１）参照）。ここで、顕著性算出法とは、学習プロセスによって予め生成して記憶している学習基底に基づいて、入力画像に顕著な特徴（例えば、道路や建物などの車両周囲の環境として一般的な背景以外）が検出されるか否かによって物体を検出する物体検出手法をいう。
【００３８】
そして、入力画像から判別の候補となる候補物体を検出した場合には、ニューラルネットワーク手法を用いた大まかな判別（すなわち、検出された物体が判別の対象となる歩行者の可能性があるか否か判別）を行う（図１の（２）参照）。ここで、ニューラルネットワーク手法とは、判別の対象となる物体（例えば、歩行者などの人間）について学習させた学習モデルを生成して記憶し、その学習モデルに未知の画像の画素値を入力した場合に出力される出力値に応じて物体の判別を行う手法である。
【００３９】
具体的には、例えば、図２に例示するように、判別の候補として検出された候補物体の輪郭の大きさおよび形状と、歩行者の全身のパターンの大きさおよび形状とを比較して、その一致度を示す判定出力値（例えば、Ａ）が、所定の判別閾値（例えば、Ｉ）を超えている場合（例えば、Ａ≧Ｉである場合）には、検出された候補物体を判別の対象となる歩行者の可能性があると判別する。すなわち、検出された物体について予め大まかな判別を行って、判別の対象となる歩行者の可能性を判別することにより、詳細な判別処理を無駄に実行することを防止する趣旨である。
【００４０】
大まかな判別の結果、入力画像から検出された物体について歩行者の可能性があると判別した場合には、続いて、ニューラルネットワーク手法を用いた詳細な判別（すなわち、検出された物体が判別の対象である歩行者であるか否か判別）を行う（図１の（３）参照）。
【００４１】
具体的には、例えば、図３に例示するように、大まかな判別により歩行者の可能性があると判別された物体の大きさおよび形状と、歩行者を構成する所定の部位（例えば、頭、胴体、手足など）のいずれかのパターン（例えば、頭）とを比較して、その一致度を示す判定出力値（例えば、Ｂ）が、所定の判別閾値（例えば、Ｇ）を超えている場合には歩行者であると判別する。
【００４２】
続いて、候補物体の判別結果等に応じて、警告の報知や車両の制御を行う（図１の（４）参照）。具体的には、候補物体を歩行者であると判別した場合に、例えば、画像上の位置から歩行者までの距離を算出して、歩行者との衝突危険度を判定し、この判定結果に応じて警告の報知や車両の制御を行う。なお、歩行者までの距離は、車載のレーダ（例えば、ミリ波レーダ、光レーダなど）によって取得するようにしてもよい。
【００４３】
このようなことから、上述した主たる特徴の如く、頭、胴体あるいは手足などの歩行者の部位に関する判定を行うことにより、歩行者の全体形状と類似した形状を持つ物体（例えば、歩行者の形状に類似した樹木など）を歩行者と誤って判別する恐れがなく、画像から検出された物体の判別精度を向上させることが可能であり、画像から検出された物体を歩行者であるか否か精度よく判別することができる結果、警告の報知や車両の制御を効率的に行うことが可能である。
【００４４】
［実施例１の構成］
次に、図４を用いて、実施例１に係る画像認識装置および車両制御装置の構成を説明する。図４は、実施例１に係る画像認識装置および車両制御装置の構成を示すブロック図である。同図に示すように、この車両は、車両制御装置１０、撮像装置（単眼カメラ）１１、ナビ部１２、レーダ部１３、車内通知部１４および画像認識装置２０を搭載している。また、車両制御装置１０は、報知制御部１５および車両制御部１６から構成され、画像認識装置２０は、前処理部２１、記憶部２２および制御部（マイコン）２３から構成される。
【００４５】
このうち、ナビ部１２は、ＧＰＳ（Global Positioning System）人工衛星と通信を行って、特定した自動車の位置と地図データとから走行経路の設定および誘導を行う手段である。また、ナビ部１２は、自動車の位置情報や道路形状、路幅、傾斜など車両運転操作に有用な各種の情報を、後述する車内通知部１４を介して運転者に供給する。
【００４６】
レーダ部１３は、レーダ（例えば、７６．５ＧＨｚのミリ波レーダや光レーダなど）を照射して、前方の車両や障害物（例えば、歩行者）との距離や速度、方向などを測定する手段である。例えば、このレーダ部１３は、車両前方に位置する歩行者の存在を検知すると、歩行者の足元（接地面）を自動的に認識して、その接地面から車両までの距離をレーダによって取得（測定）した後、衝突危険度判定部２３ｃにその距離情報（車両から歩行者までの距離）を出力する。
【００４７】
車内通知部１４は、ナビ部１２や後述する報知制御部１５からの情報を通知する手段であり、モニタやスピーカなどで構成される。例えば、この車内通知部１４は、報知制御部１５からの指令を受け付けて、歩行者の存在を示す画像をモニタに出力して運転者の注意を促したり、メッセージやアラーム音をスピーカから流すことにより運転者に対して警告を行ったりする。
【００４８】
車両制御装置１０の報知制御部１５は、後に詳述する衝突危険度判定部２３ｃからの指令を受け付けて、報知制御を行う処理部である。例えば、この報知制御部１５は、衝突危険度判定部２３ｃから運転者への注意や警告指令を受け付けた場合には、車内通知部１４に対して歩行者の存在を示す画像やアラーム音によって、運転者への注意や警告を行うように指令を出力する。なお、衝突危険度判定部２３ｃにおいて衝突危険度のみを判定するような構成とした場合には、報知制御部１５は、衝突危険度判定部２３ｃから受け付けた衝突危険度に応じて、報知制御の内容を自ら判断して実行するようにしてもよく、あるいは、画像認識装置２０において、衝突危険度判定部２３ｃを設けない構成とする場合には、報知制御部１５が自ら衝突危険度を判定して報知制御を実行するようにしてもよい。
【００４９】
車両制御装置１０の車両制御部１６は、衝突危険度判定部２３ｃからの指令を受け付けて、車両の制御（車両走行制御）を行う処理部である。例えば、車両制御部１６は、衝突危険度判定部２３ｃからブレーキ制御指令を受け付けた場合には、ブレーキ制御を実行して速度減速を行う。また、衝突危険度判定部２３ｃからハンドル制御指令を受け付けた場合には、車両制御部１６は、ハンドル制御を実行して衝突回避を行う。なお、衝突危険度判定部２３ｃにおいて衝突危険度のみを判定するような構成とした場合には、車両制御部１６は、衝突危険度判定部２３ｃから受け付けた衝突危険度に応じて、車両走行制御の内容を自ら判断して実行するようにしてもよく、あるいは、画像認識装置２０において、衝突危険度判定部２３ｃを設けない構成とする場合には、車両制御部１６が自ら衝突危険度を判定して車両走行制御を実行するようにしてもよい。
【００５０】
また、画像認識装置２０の前処理部２１は、撮像装置１１によって撮像された画像に前処理を行う処理部であり、フィルタ部２１ａと輪郭抽出部２１ｂとから構成される。このうち、フィルタ部２１ａは、画像内に映し出された物体の輪郭を強調するための前処理（例えば、シャープネス、コントラスト調整、彩度調整）を行う手段である。また、輪郭抽出部２１ｂは、フィルタ部２１ａによって施されたフィルタリングに基づいて、画像内の物体の輪郭を抽出する手段である。
【００５１】
画像認識装置２０の記憶部２２は、制御部２３による各種処理に必要なデータおよびプログラムを格納する格納手段（記憶手段）である。そして、特に本発明に密接に関連するものとしては、学習基底記憶部２２ａ、学習モデル記憶部２２ｂおよび衝突危険度判定テーブル２２ｃを備える。
【００５２】
このうち、学習基底記憶部２２ａは、後に詳述する物体検出部２３ａによる物体検出処理に必要な学習基底を記憶する記憶手段である。学習基底の生成について具体的に説明すると、まず、判別の対象となる物体（例えば、歩行者）が存在しない同一のオブジェクト（道路等を含む背景）を車両走行中に撮影した複数の学習用画像を入力して学習領域を切り出す（例えば、２０×２０ピクセル）。続いて、この切り出した学習領域をＮ次元のベクトル（Ｎは画素値であり、例えば、２０×２０ピクセルであれば４００次元）として扱い、このＮ次元ベクトルからなる学習領域内について主成分分析を行って、特徴ベクトル（Ｎ次元ベクトルの主成分）を抽出する。そして、入力される全ての学習画像に対して特徴ベクトルの抽出を行って、同一のオブジェクトに対して共通する特徴ベクトル成分から学習基底を生成して記憶する。
【００５３】
学習モデル記憶部２２ｂは、後に詳述する物体判別部２３ｂによる物体判別処理に必要な学習モデルを記憶する記憶手段である。具体的には、判別の対象となる物体である歩行者についてのパターン（歩行者の全身のパターンや歩行者を構成する各部位である頭、手足、胴体などのパターン）を様々な条件（例えば、車両からの距離、服装の変化が考えられる天候や歩行者が見えにくくなる時間帯等）に応じて予め学習して記憶する。
【００５４】
衝突危険度判定テーブル２２ｃは、後に詳述する衝突危険度判定部２３ｃによる衝突危険度判定処理に必要な判定テーブルを記憶する記憶手段である。具体的には、図５に例示するように、画像から検出され判別の候補となる物体（候補物体）が「歩行者でない」場合には、その候補物体までの距離にかかわらず（つまり「ＡＬＬ」）、危険度「０」、車両制御／報知制御「なし」とし、一方、候補物体が「歩行者である」場合には、その候補物体までの距離「３０ｍ以上」で、危険度「レベル１」、車両制御／報知制御「歩行者の存在を示す画像を出力」、距離「１０〜３０ｍ」で、危険度「レベル２」、車両制御／報知制御「ブレーキ制御による速度減速」、距離「１０ｍ未満」で、危険度「レベル３」、車両制御／報知制御「ハンドル制御による衝突回避」とするように規定して構成される。
【００５５】
なお、上記に示した衝突危険度判定テーブル２２ｃの構成はあくまで一例であり、例えば、候補物体が歩行者でない場合であっても、危険度の設定や車両制御あるいは報知制御を行うようにしてもよいし、候補物体までの距離の設定を車両の走行速度に対応させて自動的に更新（例えば、車両の速度が速い場合には衝突を回避できるように設定距離を長めに自動更新）するようにしてもよいし、車両制御あるいは報知制御の内容として別のもの（例えば、危険度レベルが高い場合には車両制御として「プリクラッシュ」や危険度レベルが中程度の場合には報知制御として「音声による警告」など）規定して採用するようにしてもよい。
【００５６】
画像処理装置２０の制御部（マイコン）２３は、所定の制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する処理部である。そして、特に本発明に密接に関連するものとしては、物体検出部２３ａと、物体判別部２３ｂと、衝突危険度判定部２３ｃとを備える。
【００５７】
このうち、物体検出部２３ａは、入力画像内から判別の候補となる候補物体を顕著性算出法によって検出する処理部である。具体的には、この物体検出部２３ａは、学習基底記憶部２２ａから学習基底を読み出し、撮像装置１１から現在入力されている入力画像と比較して、入力画像内に学習基底には見られない顕著な特徴（例えば、特異なベクトル）が現れている場合には、判別の候補となる候補物体が存在するものとしてその領域を画像内から検出する。なお、物体検出部２３ａは、顕著性算出法によって入力画像内から判別の候補となる物体を検出する場合に限られるものではなく、例えば、背景差分法による画像処理やエッジ抽出処理などによって検出するようにしてもよい。なお、物体検出部２３ａは、前処理部２１から入力される所定の画像フレーム（例えば、１フレームや数フレーム）ごとに候補物体の検出処理を行う。
【００５８】
物体判別部２３ｂは、物体検出部２３ａによって入力画像から検出された判別の候補となる候補物体が歩行者であるか否かニューラルネットワーク手法によって詳細に判別する処理部である。
【００５９】
具体的には、まず、この物体判別部２３ｂは、撮像装置１１から現在入力されている入力画像内の候補物体の輪郭および大きさと、学習モデル記憶部２２ｂに記憶しておいた歩行者を構成する所定の部位（例えば、頭、胴体、手足など）のいずれかのパターンの大きさおよび形状とを比較する判定（部位判定）を行って、その一致度（一致度合い）を示す判定出力値を求める。
【００６０】
そして、この物体判別部２３ｂは、判定出力値が所定の判別閾値（例えば、完全一致を１００％として７０％）を超えていれば、候補物体が歩行者を構成する所定の部位（例えば、頭、胴体、手足など）のいずれかであることから、候補物体を歩行者であると判別し、その判別結果（例えば、「歩行者である」という判別結果）を衝突危険度判定部２３ｃへ出力する。
【００６１】
また、この物体判別部２３ｂは、物体検出部２３ａにより検出された候補物体について、例えば、歩行者の全身のパターンの大きさおよび形状と、候補物体の輪郭の大きさおよび形状とを比較する判定（全身判定）を行って大まかに判別することにより、候補物体が歩行者である可能性があるか否か判別し、候補物体が歩行者である可能性がある場合には、さらに部位判定を行って詳細に判別するようにしてもよい。物体検出部２３ａにより検出された候補物体が複数ある場合には、歩行者であるか否か判別することにより、詳細に判別する対象が絞り込まれる。
【００６２】
具体的には、この物体判別部２３ｂは、学習モデル記憶部２２ｂに記憶しておいた歩行者の全身のパターンの大きさおよび形状と、候補物体の輪郭の大きさおよび形状とを比較して、その一致度を示す判定出力値が所定の判別閾値以上であれば（例えば、１００％を完全一致として３０％以上であれば）、候補物体が歩行者である可能性があるものと判別して、続いて、候補物体が歩行者であるか否か最終的な結論を得るため、学習モデル記憶部２２ｂに記憶しておいた歩行者を構成する所定の部位（例えば、頭、胴体、手足など）の各パターンとの一致度合いに関する部位判定を行って詳細に判別する。
【００６３】
全身のパターンのみとの比較から候補物体の判別を行うとすると、その候補物体が実際には歩行者であったとしても、候補物体が歩行者であるか否か判別するための判別閾値を高く設定した場合には、入力画像から少しあいまいな状態（形状）で検出された候補物体について「歩行者ではない」とする判別漏れが出る恐れがあり、また、判別閾値を下げると歩行者の形状に類似した樹木などの物体を歩行者と判別してしまう恐れがある。一方、歩行者を構成する所定の部位（例えば、頭、胴体、手足など）のいずれかのパターンのみとの比較から候補物体の判別を行うとすると、例えば、頭の形状に類似した物体を歩行者の頭と判別してしまう恐れがあり、また、入力画像から検出された候補物体が複数ある場合に、それらの全てに関し、歩行者を構成する所定の部位（例えば、頭、胴体、手足など）のいずれかのパターンについて判別処理の行うのでは効率が悪い。すなわち、大まかな判別により候補物体が歩行者であるか否かの判定を行った後、歩行者である可能性のある候補物体について詳細な判別を行う趣旨は、このような事態を鑑みたものである。なお、部位判定で候補物体の絞込みを行った後、全身判定を行うようにしてもよい。
【００６４】
また、物体判別部２３ｂにおいて実行される物体判別処理は、入力画像から検出された判別の候補となる候補物体をニューラルネットワーク手法によって判別する場合に限られるものではなく、歩行者についてのパターン（例えば、頭、胴体、手足などの歩行者を構成する所定の部位や全身などのテンプレート）を用いたパターンマッチング手法によって物体判別を実行する場合についても同様に適用できる。
【００６５】
衝突危険度判定部２３ｃは、物体判別部２３ｂによる判別結果等に基づいて、入力画像から検出された物体との衝突危険度を判定し、車両制御や報知制御の指令を出力する処理部である。具体的には、衝突危険度判定部２３ｃは、物体判別部２３ｂから判別結果を受け付けると、衝突危険度判定テーブル２２ｃから衝突危険度判定テーブル（図５参照）を読み出す。そして、衝突危険度判定部２３ｃは、物体判別部２３ｂから受け付けた判別結果、および画像上の位置から把握される歩行者までの距離（画像の上部に位置する場合は遠く、画像の下部に位置する場合は近い）もしくはレーダ部１３から受け付けた距離に応じて衝突危険度を判定し、所定の危険度であると判定した場合には、車両制御部１６に車両制御の指令を出力し、あるいは、報知制御部１５に報知制御の指令を出力する。
【００６６】
すなわち、例を挙げて説明すると、衝突危険度判定部２３ｃは、物体判別部２３ｂから「歩行者である」との判別結果を受け付けた場合以外には、衝突の危険度はないもの（危険度「レベル０」）と判定して特に車両制御や報知制御の指令を出力しない。一方、衝突危険度判定部２３ｃは、物体判別部２３ｂから「歩行者である」との判別結果を受け付けた場合には、画像上の位置から把握される歩行者までの距離に応じて、例えば、歩行者までの距離が遠い場合（例えば、３０ｍ以上である場合）には、衝突の危険度は低いもの（危険度「レベル１」）と判定して歩行者の存在を示す画像などによって運転者への注意や警告を行うように報知制御部１５に対して指令を出力し、また、歩行者までの距離が中程度に近い場合（例えば、１０ｍ以上３０ｍ未満である場合）には、衝突の危険度は中程度（レベル２）と判定してブレーキ制御による速度減速を行うように車両制御部１６に対して指令を出力し、さらに、歩行者までの距離が極めて近い場合（例えば、１０ｍ未満である場合）には、衝突の危険度は高いもの（レベル３）と判定してハンドル制御による衝突回避を行うように車両制御部１６に対して指令を出力する。なお、歩行者までの距離は、レーダ部１３（例えば、ミリ波レーダ、光レーダなど）から取得した距離情報に基づいて把握するようにしてもよい。
【００６７】
また、衝突危険度判定部２３ｃは、衝突危険度の判定のみを行って、衝突危険度の判定結果を報知制御部１５や車両制御部１６へ出力するようにしてもよい。この場合、報知制御部１５や車両制御部１６は、衝突危険度判定部２３ｃから受け付けた衝突危険度に応じて、報知制御の内容や車両制御の内容を各々が判断して実行する。
【００６８】
［画像認識装置および車両制御装置による処理（実施例１）］
次に、図６を用いて、実施例１に係る画像制御装置のマイコン（制御部）および車両制御装置による処理を説明する。図６は、実施例１に係る画像制御装置のマイコン（制御部）および車両制御装置による処理の流れを示すフローチャートである。なお、以下に説明する車両制御装置による処理は、画像が１フレーム入力されるたびに繰り返し実行される。
【００６９】
同図に示すように、画像が１フレーム入力されると（ステップＳ６０１肯定）、前処理部２１は入力画像に前処理を行う（ステップＳ６０２）。次に、物体検出部２３ａは、入力画像内から判別の候補となる候補物体を顕著性算出法によって検出する（ステップＳ６０３）。
【００７０】
具体的には、この物体検出部２３ａは、学習基底記憶部２２ａから学習基底を読み出し、撮像装置１１から現在入力されている入力画像と比較して、入力画像内に学習基底には見られない顕著な特徴（例えば、特異なベクトル）が現れている場合には、判別の候補となる候補物体が存在するものとしてその領域を画像内から検出する。
【００７１】
そして、物体判別部２３ｂは、物体検出部２３ａによって入力画像から検出された判別の候補となる候補物体の大きさおよび形状と、歩行者の全身のパターンの大きさおよび形状との一致度合いに関する判定（全身判定）を行って大まかに判別することにより、候補物体が歩行者である可能性があるか否か判別を行う（ステップＳ６０４）。
【００７２】
具体的には、物体判別部２３ｂは、学習モデル記憶部２２ｂに記憶しておいた歩行者の全身のパターンの大きさおよび形状と、候補物体の輪郭の大きさおよび形状とを比較して、その一致度を示す判定出力値が所定の判別閾値以上であれば（例えば、１００％を完全一致として３０％以上であれば）、候補物体が歩行者である可能性があるものと判別する。
【００７３】
その結果、候補物体について歩行者の可能性があるものと判別した場合には（ステップＳ６０４肯定）、物体判別部２３ｂは、候補物体が歩行者であるか否か最終的な結論を得るため、学習モデル記憶部２２ｂに記憶しておいた歩行者を構成する所定の部位（例えば、頭、胴体、手足など）の各パターンとの一致度合いに関する部位判定を行って詳細に判別する（ステップＳ６０５）。一方、候補物体を歩行者の可能性があるものと判別しなかった場合には（ステップＳ６０４否定）、物体判別部２３ｂは、次フレームの画像の入力を待機する。
【００７４】
具体的には、この物体判別部２３ｂは、候補物体の輪郭について、学習モデル記憶部２２ｂに記憶しておいた歩行者を構成する所定の部位（例えば、頭、胴体、手足など）の各パターンと略一致する部分があるか否かサーチを行い、略一致するパターンがある場合には、候補物体の輪郭の大きさおよび形状と、略一致したパターンの大きさおよび形状とを比較して、その一致度を示す判定出力値を求め、判定出力値が所定の判別閾値（例えば、完全一致を１００％として７０％）を超えていれば、候補物体が歩行者を構成する所定の部位（例えば、頭、胴体、手足など）のいずれかであることから、候補物体を歩行者であると判別する。
【００７５】
詳細に判別した結果、候補物体を歩行者であると判別した場合には（ステップＳ６０５肯定）、物体判別部２３ｂは、その判別結果（例えば、「歩行者である」という判別結果）を衝突危険度判定部２３ｃへ出力する（ステップＳ６０６）。一方、候補物体を歩行者であると判別しなかった場合には（ステップＳ６０５否定）、物体判別部２３ｂは、判別結果の出力は行わず、次フレームの画像の入力を待機する。
【００７６】
続いて、衝突危険度判定部２３ｃは、物体判別部２３ｂから受け付けた判別結果等に基づいて、入力画像から検出された候補物体との衝突危険度を判定し（ステップＳ６０７）、車両制御や報知制御の指令を出力する。具体的には、衝突危険度判定部２３ｃは、物体判別部２３ｂから判別結果を受け付けると、衝突危険度判定テーブル２２ｃから衝突危険度判定テーブル（図５参照）を読み出して、物体判別部２３ｂから受け付けた判別結果、および画像上の位置から把握される歩行者までの距離（画像の上部に位置する場合は遠く、画像の下部に位置する場合は近い）に応じて衝突危険度を判定し、車両制御部１６に車両制御の指令を出力し、あるいは、報知制御部１５に報知制御の指令を出力する。
【００７７】
すなわち、例を挙げて説明すると、衝突危険度判定部２３ｃは、物体判別部２３ｂから「歩行者である」との判別結果を受け付けた場合以外には、衝突の危険度はないもの（レベル０）と判定して特に車両制御や報知制御の指令を出力しない。一方、衝突危険度判定部２３ｃは、物体判別部２３ｂから「歩行者である」との判別結果を受け付けた場合には、画像上の位置から把握される歩行者までの距離に応じて、例えば、歩行者までの距離が遠い場合（例えば、３０ｍ以上である場合）には、衝突の危険度は低いもの（危険度「レベル１」）と判定して歩行者の存在を示す画像などによって運転者への注意や警告を行うように報知制御部１５に対して指令を出力し、また、歩行者までの距離が中程度に近い場合（例えば、１０ｍ以上３０ｍ未満である場合）には、衝突の危険度は中程度（危険度「レベル２」）と判定してブレーキ制御による速度減速を行うように車両制御部１６に対して指令を出力し、さらに、歩行者までの距離が極めて近い場合（例えば、１０ｍ未満である場合）には、衝突の危険度は高いもの（危険度「レベル３」）と判定してハンドル制御による衝突回避を行うように車両制御部１６に対して指令を出力する。
【００７８】
そして、衝突危険度判定部２３ｃから車両制御の指令を受け付けた車両制御部１６、あるいは報知制御の指令を受け付けた報知制御部１５は、それぞれ車両の制御（車両走行制御）あるいは警告の報知を行う（ステップＳ６０８）。なお、衝突危険度判定部２３ｃにおいて衝突危険度のみを判定するような構成とした場合には、報知制御部１５は、衝突危険度判定部２３ｃから受け付けた衝突危険度に応じて、報知制御の内容を自ら判断して実行するようにしてもよく、あるいは、報知制御部１５が自ら衝突危険度を判定して報知制御を実行するようにしてもよい。同様に、車両制御部１６は、衝突危険度判定部２３ｃから受け付けた衝突危険度に応じて、車両走行制御の内容を自ら判断して実行するようにしてもよく、あるいは、車両制御部１６が自ら衝突危険度を判定して車両走行制御を実行するようにしてもよい。
【００７９】
［実施例１の効果］
上述してきたように、実施例１によれば、画像から検出された判別の候補となる物体について、判別の対象となる所定の物体を構成する所定の部位（例えば、判別の対象が歩行者であれば、頭、胴体あるいは手足など）に関する判定（例えば、ニューラルネットワーク手法やパターンマッチング手法による判定）を行って、その結果得られる判別値（例えば、出力値）が所定の閾値を超えている場合（すなわち、検出された物体の中に歩行者の頭らしきものが存在する可能性が高い場合）には所定の物体であると判別するので、例えば、頭、胴体あるいは手足などの歩行者の部位に関する判定を行うことにより、歩行者の全体形状と類似した形状を持つ物体（例えば、歩行者の形状に類似した樹木など）を歩行者と誤って判別する恐れがなく、画像から検出された物体の判別精度を向上させることが可能である。
【００８０】
また、実施例１によれば、画像から検出された判別の候補となる物体について、判別の対象となる所定の物体（例えば、歩行者）である可能性を判別（例えば、所定の部位に関する判定を行って、その結果得られる判別値が、簡易な判別のために予め低く設定された所定の閾値を超えているか否かで歩行者である可能性を判別）した後に、所定の物体の可能性があると判別された物体について、所定の物体を構成する所定の部位に関する判定を行って、その結果得られる判別値が所定の閾値（例えば、詳細な判別のために予め高く設定された閾値）を超えている場合には所定の物体であると判別するので、例えば、画像から検出された物体が判別の対象となる歩行者の可能性がある物体をあらかじめ判別した後に、例えば、頭、胴体や手足などの歩行者の部位に関する判定を行って、歩行者であるか否かを詳細に判別することにより、詳細な判別処理を無駄に実行することを防止することが可能である。
【００８１】
また、実施例１によれば、画像から検出された判別の候補となる物体について、判別の対象となる所定の物体を構成する所定の部位に関する判定を行って、その結果得られる判別値が所定の閾値を超えている場合には所定の物体であると判別し、その判別結果に応じて、警告の報知および／または車両の制御を行うので、画像から検出された物体を歩行者であるか否か精度よく判別することができる結果、警告の報知や車両の制御を効率的に行うことが可能である。
【実施例２】
【００８２】
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では本発明に含まれる他の実施例を説明する。
【００８３】
（１）大まかな判別後、複数部位で詳細な判別
上記の実施例１では、大まかな判別により歩行者の可能性があると判別された候補物体について、歩行者を構成する所定の部位（例えば、頭）に関する判定を行って、その物体が歩行者であるか詳細に判別する場合を説明したが、本発明はこれに限定されるものではなく、歩行者を構成する複数の所定の部位（例えば、頭、手足、胴体）に関する判定をそれぞれ行って、歩行者であるか詳細に判別するようにしてもよい。
【００８４】
具体的には、物体判別部２３ｂは、例えば、図７に例示するように、学習モデル記憶部２２ｂに記憶しておいた歩行者の全身パターンを用いた大まかな判別により、歩行者の可能性があると判別された候補物体の輪郭および大きさと、学習モデル記憶部２２ｂに記憶しておいた歩行者を構成する複数の所定の部位（例えば、頭、手足、胴体）の全てのパターンの大きさおよび形状とを比較と比較する判定をそれぞれ行って、その結果得られる各判定出力値（例えば、頭についてＣ、胴体についてＤ、手についてＥ、足についてＦ）を加算した合計値が、所定の判別閾値（例えば、Ｈ）を超えている場合には歩行者であると判別する。
【００８５】
また、この物体判別部２３ｂは、候補物体の輪郭について、学習モデル記憶部２２ｂに記憶しておいた歩行者を構成する所定の部位（例えば、頭、胴体、手足など）の各パターンと略一致する部分があるか否かサーチを行い、略一致するパターンがある場合には、候補物体の輪郭の大きさおよび形状と、略一致したパターンの大きさおよび形状とを比較して、その一致度を示す判定出力値を求めて、その判定出力値が所定の判別閾値を超えていれば歩行者であると判別するようにしてもよい。
【００８６】
これにより、例えば、頭、胴体や手足などの歩行者の各部位に関する判定をそれぞれ行うことにより、画像から検出された物体を歩行者であるか否かを総合的に判別することができるとともに、判別処理を効率的に行うことができ、画像から検出された物体の判別精度をさらに向上させることが可能である。
【００８７】
（２）大まかな判別を行わずに詳細な判別
上記の実施例１では、歩行者の全身パターンなどを用いて歩行者の可能性がある候補物体を大まかに判別して絞り込んだ後に、絞り込んだ候補物体が歩行者であるか否か判別する場合を説明したが、本発明はこれに限定されるものではなく、入力画像から検出された判別の候補となる候補物体の輪郭および形状と、学習モデル記憶部２２ｂに記憶しておいた歩行者を構成する所定の部位（例えば、頭、胴体、手足など）のパターンの大きさおよび形状とを比較する判定（部位判定）を行って、その一致度（一致度合い）を示す判定出力値を求め、歩行者の可能性がある候補物体を大まかに判別して絞り込むことなく、はじめから歩行者であるか否か判別するようにしてもよい。
【００８８】
これにより、例えば、頭、胴体あるいは手足などの歩行者の部位に関する判定を行うことにより、歩行者の全体形状と類似した形状を持つ物体（例えば、歩行者の形状に類似した樹木など）を歩行者と誤って判別する恐れがなく、画像から検出された物体の判別を迅速に得ることが可能である。
【００８９】
（３）画像上の位置に応じた部位を用いて大まかに判別
上記の実施例１では、歩行者の全身パターンなどを用いて大まかな判別をおこなうことにより、検出した候補物体が歩行者の可能性である可能があるか判定する（絞り込む）場合を説明したが、本発明はこれに限定されるものではなく、候補物体が検出された画像上の位置（車両からの距離）に応じて、候補物体の輪郭および大きさと、学習モデル記憶部２２ｂに記憶しておいた歩行者を構成する所定の部位（例えば、頭、胴体、手足など）のいずれかのパターンの大きさおよび形状とを比較する判定（部位判定）を行って、その一致度（一致度合い）を示す判定出力値を求め、その判定出力値が所定の判別閾値を越えているか否かを判定することにより、歩行者の可能性があるか否か判別するようにしてもよい。
【００９０】
具体的には、この車両制御装置は、例えば、図８に例示するように、判別の候補として検出された物体と車両との距離（画像の上部に位置する場合は遠く、画像の下部に位置する場合は近い）を画像上の位置から把握し、その把握した距離に応じて、例えば、近距離であれば頭のパターン大きさおよび形状と候補物体の輪郭および大きさとを比較する判定を行い、遠距離であれば全身パターンの大きさおよび形状と候補物体の輪郭および大きさとを比較する判定を行って、その結果得られる各判定出力値が、所定の判別閾値を超えている場合には、歩行者の頭らしきもの、あるいは、歩行者の頭らしきものが存在する可能性が高いものとして、候補物体を歩行者の可能性があるものと判別する。
【００９１】
なお、候補物体が歩行者である可能性があるか否か判別する大まかな判別と、歩行者であるか否か判別する詳細な判別とでは、判別に用いる歩行者を構成する所定の部位（例えば、頭）のパターンが同じであっても、判別閾値が異なるため同様の処理ではない。
【００９２】
これにより、候補物体までの距離に応じて、候補物体が歩行者である可能性があるか否か判別するための判別パターンを使い分ける（例えば、画像上の位置から把握される検出された候補物体と車両との距離が近い場合には歩行者の頭のパターンを用い、候補物体までの距離が遠い場合には歩行者の全身パターンを用いる）ことができ、候補物体が歩行者である可能性があるか否か精度よく判別することができる結果、歩行者であるか否かを判別する処理を効率的に実行することが可能である。
【００９３】
（４）判定出力値への重み付け、多数決等を行って詳細な判別
また、上記の実施例１において、歩行者を構成する複数の所定の部位に関する判定の結果出力される各判定出力値に重み付けを行って（例えば、距離が近い場合には、十分な情報が得られ個人差の少ない頭パターンを用いた判定の結果得られる判定出力値を２倍にする等）、判別の候補として入力画像から検出された候補物体について、歩行者であるか否か詳細に判別するようにしてもよい。また、判定結果を、例えば、歩行者と判定すれば○、歩行者と判定しなければ×等で出力して、その判定結果の多数決によって、判別の候補として入力画像から検出された物体について、歩行者であるか否か詳細に判別するようにしてもよい。
【００９４】
このようなことから、画像から検出された物体の判別精度を簡易な操作で向上させることが可能である。
【００９５】
（５）動作の要素を加味して判別
また、上記の実施例１において、複数の連続画像（例えば、現画像およびそれ以降に入力される数フレームの画像）から検出された判別の候補となる同一候補物体について、候補物体の輪郭および大きさと、判別の対象となる歩行者を構成する、例えば、前振りの手のパターンの形状および大きさと、後ろ振りの手のパターンの形状および大きさとの比較を行って、その結果得られる判定出力値がそれぞれ所定の判別閾値を超えている場合には所定の物体であると判別するようにしてもよい。
【００９６】
このようなことから、例えば、画像から検出された物体を歩行者であるか否かを動作という要素を加味して判別することができ、画像から検出された物体の判別精度をさらに向上させることが可能である。
【００９７】
（６）所定の条件に応じて閾値の変更
また、上記の実施例１において、物体の判別に用いられる判別閾値を、走行場所（繁華街や郊外）、走行速度や物体の検出位置（道路の内外）などの条件に応じて変更するようにしてもよい。例えば、走行場所が繁華街である場合や車両の走行速度が速い場合には判別閾値を低く変更し、これとは反対に、走行場所が郊外である場合や車両の走行速度が遅い場合には判別閾値を高く変更する。
【００９８】
このようなことから、所定の条件に応じて閾値を変更することができる結果、画像から検出された物体の判別精度をさらに向上させることが可能である。
【００９９】
（７）所定の環境条件に応じた判別の実施
また、上記の実施例１において、例えば、歩行者の服装の違いや時間帯における周囲の明るさなど、気温、天候や時間帯などの条件に応じて学習させた学習モデルを予め用意し、気温、天候や時間帯などの環境条件に応じて最適な学習モデル用いて、物体判別部２３ｂに物体判別処理を実行させるようにしてもよい。
【０１００】
このようなことから、気温、天候や時間帯などの環境条件に応じた判定を実行することができる結果、画像から検出された物体の判別精度をさらに向上させることが可能である。
【０１０１】
（８）物体検出位置に応じて詳細な判定を実施するか否かを決定
また、上記の実施例１において、判別の候補として画像から検出された候補物体の画像上の位置（例えば、道路の内外）に応じて、候補物体が歩行者をであるか否か判別する詳細な判別処理を実行するか否かを決定するようにしてもよい。例えば、道路内で物体が検出された場合には詳細な判別処理を実行し、道路外で物体が検出された場合には詳細な判別処理を実行しないようにする。
【０１０２】
このようなことから、詳細な判別処理を無駄に実行することを防止することが可能である。
【０１０３】
（９）侵入の判定
また、上記の実施例１において、画像から検出された判別の候補となる候補物体が歩行者であると判別された場合に、画像から歩行者が路上に侵入しようとしているか否かを判定するようにしてもよい。例えば、図９に示すように、現画像における歩行者の位置が次画像において路上に接近している場合には、歩行者が路上に侵入しようとしているものと判定する。
【０１０４】
このようなことから、画像から検出された候補物体を歩行者と判別するだけでなく、路上に侵入しようとしているか否かまで判定することが可能である。
【０１０５】
（１０）大まかな判別後に入力された画像で詳細な判別を実施
上記の実施例１では、入力画像内から検出された判別の候補となる候補物体について、１フレームの入力画像内で歩行者であるか否か判別する場合を説明したが、本発明はこれに限定されるものではなく、例えば、複数の連続画像（例えば、現画像および次に入力される次画像）から検出された判別の候補となる同一候補物体について、それぞれ別個の歩行者を構成する所定の部位に関する判定を行って（例えば、現画像において頭に関する判定を行った場合には、次画像において手足に関する判定を行う）、歩行者であるか否かを判別するようにしてもよい。
【０１０６】
具体的には、図１０に例示するように、現に入力されている現画像から判別の候補となる物体を検出した場合には（図５の（１）参照）、物体判別部２３ｂは、候補物体の輪郭および大きさと、歩行者を構成する、例えば、頭のパターンの大きさおよび形状とを比較する判定（部位判定）を行って、歩行者であるか否か詳細に判別する。
【０１０７】
さらに、物体判別部２３ｂは、現画像の次に入力される次画像において、先ほどまで入力されていた現画像の物体検出位置付近に候補物体を新たに検出した場合には（図５の（３）参照）、新たに検出した候補物体の輪郭および大きさと、歩行者を構成する、例えば、現画像で用いたのとは別の手足等のパターンの大きさおよび形状とを比較する判定（部位判定）を行って、歩行者であるか否か詳細に判別する（図５の（４）参照）。その結果、現画像および次画像の双方において歩行者であると判別された場合には、画像から検出された物体を歩行者であると判別する。
【０１０８】
このようなことから、複数の画像においてそれぞれ行者の別個の歩部位に関する判定を行って歩行者であるか否かを判別する結果、画像から検出された物体の判別精度をさらに向上させることが可能である。
【０１０９】
（１１）装置構成等
また、図２に示した車両制御装置１０および画像認識装置２０の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、車両制御装置１０および画像認識装置２０の分散・統合の具体的形態は図示のものに限られず、例えば、報知制御部１５および車両制御部１６を統合し、物体判別部２３ｂを大まかな判別処理を行う機能と詳細な判別処理を行う機能に分散するなど、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、車両制御装置１０および画像認識装置２０にて行なわれる各処理機能（車両制御装置１０の車両制御機能や画像認識装置２０の物体検出機能および歩行者判別機能）は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【０１１０】
なお、本実施例で説明した各処理方法（図６参照）は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【産業上の利用可能性】
【０１１１】
以上のように、本発明に係る画像認識装置、画像認識方法、歩行者認識装置および車両制御装置は、カメラで撮像された画像から判別の候補となる物体が検出された場合に、当該判別の候補となる物体を判別する場合に有用であり、特に、画像から検出された物体の判別精度を向上させることに適する。
【図面の簡単な説明】
【０１１２】
【図１】実施例１の概要および特徴を説明するための図である。
【図２】実施例１の概要および特徴を説明するための図である。
【図３】実施例１の概要および特徴を説明するための図である。
【図４】実施例１に係る画像認識装置および車両制御装置の構成を示すブロック図である。
【図５】衝突危険度判定テーブルの構成例を示す図である。
【図６】実施例１に係る画像認識装置および車両制御装置の処理の流れを示すフローチャートである。
【図７】実施例２に係る歩行者部位判定の概要を説明するための図である。
【図８】実施例２に係る歩行者判別の概要を説明するための図である。
【図９】実施例２に係る歩行者判別の概要を説明するための図である。
【図１０】実施例２に係る歩行者全身判定の概要を説明するための図である。
【符号の説明】
【０１１３】
１０ 車両制御装置
１１ 撮像装置
１２ ナビ部
１３ レーダ部
１４ 車内通知部
１５ 報知制御部
１６ 車両制御部
１７ ブレーキ
１８ ハンドル
２０ 画像認識装置
２１ 前処理部
２１ａ フィルタ部
２１ｂ 輪郭抽出部
２２ 記憶部
２２ａ 学習規定記憶部
２２ｂ 学習モデル記憶部
２２ｃ 衝突危険度判定テーブル
２３ 制御部
２３ａ 物体検出部
２３ｂ 物体判別部
２３ｃ 衝突危険度判定部
【技術分野】
【０００１】
この発明は、単眼カメラで撮像された画像から判別の候補となる物体が検出された場合に、当該判別の候補となる物体を判別する画像認識装置などに関する。
【背景技術】
【０００２】
従来より、車両走行の障害となる物体との衝突を回避すること等を目的として、車載のカメラで撮像された画像内から検出された物体（例えば、歩行者）を判別する技術が提案されている。例えば、特許文献１では、所定のカメラ（例えば、可視光カメラ）で撮像された画像から判別対象となる物体を検出し、その物体に対して歩行者の輪郭パターンを用いたニューラルネットワークの物体判別手法を適用して、検出された物体が歩行者であるか等を判別する技術が開示されている。
【０００３】
【特許文献１】特開２００４−１４５６６０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上記した従来の技術は、画像から検出された物体の判別精度が低下する場合が考えられるという問題点があった。すなわち、上記した従来の技術は、画像から検出された物体に対して歩行者の輪郭パターンを用いたニューラルネットワークの物体判別手法を適用して、検出された物体が歩行者であるか等を判別するので、歩行者の輪郭と類似した形状の物体（例えば、歩行者の形状に類似した樹木など）を歩行者と判別する恐れがあり、物体の判別精度が低下する場合が考えられるという問題点があった。
【０００５】
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、画像から検出された物体の判別精度を向上させることが可能な画像認識装置、画像認識方法、歩行者認識装置および車両制御装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するため、請求項１に係る発明は、カメラで撮像された画像から判別の候補となる物体が検出された場合に、当該判別の候補となる物体について、当該判別の対象となる所定の物体を構成する所定の部位に関する判定を行って、その結果得られる判別値が所定の閾値を超えている場合には当該所定の物体であると判別する物体判別手段を備えたことを特徴とする。
【０００７】
また、請求項２に係る発明は、上記の発明において、前記物体判別手段は、前記画像から検出された判別の候補となる物体について、当該判別の対象となる所定の物体を構成する複数の所定の部位に関する判定をそれぞれ行って、その結果得られる各判別値を加算した合計値が所定の閾値を超えている場合には当該所定の物体であると判別することを特徴とする。
【０００８】
また、請求項３に係る発明は、上記の発明において、前記物体判別手段は、前記各判別値のいずれかに重み付けを行った上で、当該各判別値を加算した合計値が所定の閾値を超えている場合には当該所定の物体であると判別することを特徴とする。
【０００９】
また、請求項４に係る発明は、上記の発明において、前記物体判別手段は、複数の連続画像から検出された判別の候補となる同一物体について前記所定の部位の動作に関する判定を行って、その結果得られる判別値が所定の閾値を超えている場合には当該所定の物体であると判別することを特徴とする。
【００１０】
また、請求項５に係る発明は、上記の発明において、前記画像から検出された判別の候補となる物体について、当該判別の対象となる所定の物体である可能性を判別する可能性判別手段をさらに備え、前記物体判別手段は、前記可能性判別手段により前記判別の候補となる物体が前記所定の物体の可能性があると判別された場合には、当該判別の候補となる物体について、当該所定の物体を構成する所定の部位に関する判定を行って、その結果得られる判別値が所定の閾値を超えている場合には当該所定の物体であると判別することを特徴とする。
【００１１】
また、請求項６に係る発明は、上記の発明において、前記可能性判別手段は、前記判別の候補として前記画像から検出された物体の当該画像上の位置に応じた前記所定の部位に関する判定を行って、前記所定の物体の可能性がある物体を判別することを特徴とする。
【００１２】
また、請求項７に係る発明は、上記の発明において、前記物体判別手段は、所定の条件に応じた閾値を用いて、前記判別の候補となる物体を前記所定の物体であると判別することを特徴とする。
【００１３】
また、請求項８に係る発明は、上記の発明において、前記物体判別手段は、所定の環境条件に応じた前記所定の部位に関する判定を行って、前記判別の候補となる物体を前記所定の物体であると判別することを特徴とする。
【００１４】
また、請求項９に係る発明は、上記の発明において、前記物体判別手段は、前記判別の候補として前記画像から検出された物体の当該画像上の位置に応じて、当該判別の候補となる物体を前記所定の物体であると判別するか否かを決定することを特徴とする。
【００１５】
また、請求項１０に係る発明は、上記の発明において、前記物体判別手段により、前記画像から検出された判別の候補となる物体が、当該判別の対象となる所定の物体であると判別された場合に、当該画像から当該所定の物体が路上に侵入しようとしているか否かを判定する侵入判定手段をさらに備えたことを特徴とする。
【００１６】
また、請求項１１に係る発明は、上記の発明において、前記物体判定手段は、複数の連続画像から検出された判別の候補となる同一物体について、それぞれ別個の前記所定の部位に関する判定を行って、その結果得られる判別値がそれぞれ所定の閾値を超えている場合には当該所定の物体であると判別することを特徴とする。
【００１７】
また、請求項１２に係る発明は、上記の発明において、カメラで撮像された画像から判別の候補となる物体が検出された場合に、当該判別の候補となる物体について、当該判別の対象となる所定の物体を構成する所定の部位に関する判定を行って、その結果得られる判別値が所定の閾値を超えている場合には当該所定の物体であると判別する物体判別工程を含んだことを特徴とする。
【００１８】
また、請求項１３に係る発明は、上記の発明において、カメラで撮像された画像から判別の候補となる物体が検出された場合に、当該判別の候補となる物体について、当該判別の対象となる歩行者を構成する所定の部位に関する判定を行って、その結果得られる判別値が所定の閾値を超えている場合には歩行者であると判別する物体判別手段を備えたことを特徴とする。
【００１９】
また、請求項１４に係る発明は、カメラで撮像された画像から判別の候補となる物体が検出された場合に、当該判別の候補となる物体について、当該判別の対象となる所定の物体を構成する所定の部位に関する判定を行って、その結果得られる判別値が所定の閾値を超えている場合には当該所定の物体であると判別する物体判別手段による判別結果に応じて、警告の報知および／または車両の制御を行う制御手段を備えたことを特徴とする。
【発明の効果】
【００２０】
請求項１または１２の発明によれば、画像から検出された判別の候補となる物体について、判別の対象となる所定の物体を構成する所定の部位（例えば、判別の対象が歩行者であれば、頭、胴体あるいは手足など）に関する判定（例えば、ニューラルネットワーク手法やパターンマッチング手法による判定）を行って、その結果得られる判別値（例えば、出力値）が所定の閾値を超えている場合（すなわち、検出された物体の中に歩行者の頭らしきものが存在する可能性が高い場合）には所定の物体であると判別するので、例えば、頭、胴体あるいは手足などの歩行者の部位に関する判定を行うことにより、歩行者の全体形状と類似した形状を持つ物体（例えば、歩行者の形状に類似した樹木など）を歩行者と誤って判別する恐れがなく、画像から検出された物体の判別精度を向上させることが可能である。
【００２１】
また、請求項２の発明によれば、画像から検出された判別の候補となる物体について、例えば、判別の対象となる所定の物体を構成する複数の所定の部位（例えば、判別の対象が歩行者であれば、頭、胴体および手足など）に関する判定をそれぞれ行って、その結果得られる各判別値を加算した合計値が所定の閾値を超えている場合（すなわち、検出された物体の中に歩行者の頭、胴体および手足などが存在する可能性が高い場合）には歩行者であると判別するので、例えば、頭、胴体や手足などの歩行者の各部位に関する判定をそれぞれ行うことにより、画像から検出された物体を歩行者であるか否かを総合的に判別することができ、画像から検出された物体の判別精度をさらに向上させることが可能である。
【００２２】
また、請求項３の発明によれば、画像から検出された判別の候補となる物体について、判別の対象となる所定の物体を構成する複数の所定の部位に関する判定をそれぞれ行って、その結果得られる各判別値のいずれかに重み付け（例えば、距離が近い場合には、十分な情報が得られ個人差の少ない頭に関する判定の結果得られた出力値を２倍にする等）を行った上で、各判別値を加算した合計値が所定の閾値を超えている場合には所定の物体であると判別するので、画像から検出された物体の判別精度を簡易な操作で向上させることが可能である。
【００２３】
また、請求項４の発明によれば、複数の連続画像（例えば、現画像およびそれ以降に入力される数フレームの画像）から検出された判別の候補となる同一物体について、判別の対象となる所定の物体を構成する複数の所定の部位の動作に関する判定（例えば、判別の対象が歩行者であれば、前振りの手および後ろ振りの手に関する判定）をそれぞれ行って、その結果得られる判別値がそれぞれ所定の閾値を超えている場合（すなわち、検出された画像の中に前振りの手および後ろ振りの手が存在する可能性が高い場合）には所定の物体であると判別するので、例えば、画像から検出された物体を歩行者であるか否かを動作という要素を加味して判別することができ、画像から検出された物体の判別精度をさらに向上させることが可能である。
【００２４】
また、請求項５の発明によれば、画像から検出された判別の候補となる物体について、判別の対象となる所定の物体（例えば、歩行者）である可能性を判別（例えば、所定の部位に関する判定を行って、その結果得られる判別値が、簡易な判別のために予め低く設定された所定の閾値を超えているか否かで歩行者である可能性を判別）した後に、所定の物体の可能性があると判別された物体について、所定の物体を構成する所定の部位に関する判定を行って、その結果得られる判別値が所定の閾値（例えば、詳細な判別のために予め高く設定された閾値）を超えている場合には所定の物体であると判別するので、例えば、画像から検出された物体が判別の対象となる歩行者の可能性がある物体をあらかじめ判別した後に、例えば、頭、胴体や手足などの歩行者の部位に関する判定を行って、歩行者であるか否かを詳細に判別することにより、詳細な判別処理を無駄に実行することを防止することが可能である。
【００２５】
また、請求項６の発明によれば、判別の候補として画像から検出された物体の画像上の位置に応じた所定の物体（例えば、歩行者）の所定の部位に関する判定を行って、その結果得られる判別値が、例えば、簡易な判別のために予め低く設定された所定の閾値を超えている場合には、所定の物体の可能性がある物体として判別するので、候補物体が歩行者である可能性があるか否か判別するための判別パターンを使い分ける（例えば、画像上の位置から把握される検出された候補物体と車両との距離が近い場合には歩行者の頭のパターンを用い、候補物体までの距離が遠い場合には歩行者の全身パターンを用いる）ことができ、候補物体が歩行者である可能性があるか否か精度よく判別することができる結果、歩行者であるか否かを判別する処理を効率的に実行することが可能である。
【００２６】
また、請求項７の発明によれば、所定の条件に応じて閾値を変更するので、例えば、走行場所、走行速度や物体の検出位置などの条件に応じて閾値を変更することができる結果、画像から検出された物体の判別精度をさらに向上させることが可能である。
【００２７】
また、請求項８の発明によれば、所定の環境条件に応じて判別の対象となる所定の物体を構成する所定の部位に関する判定を実行するので、例えば、歩行者の服装の違いや時間帯における周囲の明るさなど、気温、天候や時間帯などの環境条件に応じた判定を実行することができる結果、画像から検出された物体の判別精度をさらに向上させることが可能である。
【００２８】
また、請求項９の発明によれば、判別の候補として画像から検出された物体の画像上の位置に応じて、判別の対象となる所定の物体を構成する所定の部位に関する判定を実行するか否かを決定するので、例えば、道路内で物体が検出された場合には詳細な判別処理を実行し、道路外で物体が検出された場合には詳細な判別処理を実行しないようにすることができ、詳細な判別処理を無駄に実行することを防止することが可能である。
【００２９】
また、請求項１０の発明によれば、画像から検出された判別の候補となる物体が、判別の対象となる所定の物体であると判別された場合に、例えば、現画像における歩行者の位置が次画像において路上に接近している場合や歩行者が道路へ向いている場合など、画像から所定の物体が路上に侵入しようとしているか否かを判定するので、画像から検出された物体を所定の物体であると判別するだけでなく、路上に侵入しようとしているか否かまで判定することが可能である。
【００３０】
また、請求項１１の発明によれば、複数の連続画像から検出された判別の候補となる同一物体について、それぞれ別個の前記所定の部位に関する判定を行って（例えば、現画像において頭に関する判定を行った場合には、次画像において手足に関する判定を行う）、その結果得られる判別値がそれぞれ所定の閾値を超えている場合には当該所定の物体であると判別するので、例えば、画像内に歩行者が鮮明に撮像されていない場合であっても、画像から検出された物体の判別精度を向上させることが可能である。
【００３１】
また、請求項１３の発明によれば、画像から検出された判別の候補となる物体について、判別の対象となる歩行者を構成する所定の部位に関する判定を行って、その結果得られる判別値が所定の閾値を超えている場合には歩行者であると判別するので、頭、胴体あるいは手足などの歩行者の部位に関する判定を行うことにより、歩行者の全体形状と類似した形状を持つ物体（例えば、歩行者の形状に類似した樹木など）を歩行者と誤って判別する恐れがなく、画像から検出された物体を歩行者であるか否か判別する判別精度を向上させることが可能である。
【００３２】
また、請求項１４の発明によれば、画像から検出された判別の候補となる物体について、判別の対象となる所定の物体を構成する所定の部位に関する判定を行って、その結果得られる判別値が所定の閾値を超えている場合には所定の物体であると判別し、その判別結果に応じて、警告の報知および／または車両の制御を行うので、画像から検出された物体を歩行者であるか否か精度よく判別することができる結果、警告の報知や車両の制御を効率的に行うことが可能である。
【発明を実施するための最良の形態】
【００３３】
以下に添付図面を参照して、本発明に係る画像認識装置、画像認識方法、歩行者認識装置および車両制御装置の実施例を詳細に説明する。なお、以下では、本発明に係る画像認識装置および車両制御装置を搭載した車両を実施例１として説明した後に、本発明に含まれる他の実施例を説明する。
【実施例１】
【００３４】
以下の実施例１では、本発明の実施例１に係る概要および特徴、実施例１の構成および処理の流れを順に説明し、最後に実施例１による効果を説明する。
【００３５】
［概要および特徴（実施例１）］
まず最初に、図１を用いて、実施例１の概要および特徴を説明する。図１は、実施例１の概要および特徴を説明するための図である。
【００３６】
同図に示すように、実施例１は、車載のカメラ（例えば、単眼カメラやステレオカメラなど）で撮像された画像から判別の候補となる物体が検出された場合に、判別の候補となる物体を判別するとともに所定の制御（報知制御や車両走行制御）を行うことを概要とするが、画像から検出された物体の判別精度を向上させる点に主たる特徴がある。なお、ここでは物体の判別の効率化を図るため、画像上の道路内に存在する物体のみを判別対象とする。
【００３７】
この主たる特徴について具体的に説明すると、例えば、単眼カメラにより撮像された画像が１フレーム入力されると、その入力画像から判別の候補となる候補物体を、例えば、顕著性算出法により検出する（図１の（１）参照）。ここで、顕著性算出法とは、学習プロセスによって予め生成して記憶している学習基底に基づいて、入力画像に顕著な特徴（例えば、道路や建物などの車両周囲の環境として一般的な背景以外）が検出されるか否かによって物体を検出する物体検出手法をいう。
【００３８】
そして、入力画像から判別の候補となる候補物体を検出した場合には、ニューラルネットワーク手法を用いた大まかな判別（すなわち、検出された物体が判別の対象となる歩行者の可能性があるか否か判別）を行う（図１の（２）参照）。ここで、ニューラルネットワーク手法とは、判別の対象となる物体（例えば、歩行者などの人間）について学習させた学習モデルを生成して記憶し、その学習モデルに未知の画像の画素値を入力した場合に出力される出力値に応じて物体の判別を行う手法である。
【００３９】
具体的には、例えば、図２に例示するように、判別の候補として検出された候補物体の輪郭の大きさおよび形状と、歩行者の全身のパターンの大きさおよび形状とを比較して、その一致度を示す判定出力値（例えば、Ａ）が、所定の判別閾値（例えば、Ｉ）を超えている場合（例えば、Ａ≧Ｉである場合）には、検出された候補物体を判別の対象となる歩行者の可能性があると判別する。すなわち、検出された物体について予め大まかな判別を行って、判別の対象となる歩行者の可能性を判別することにより、詳細な判別処理を無駄に実行することを防止する趣旨である。
【００４０】
大まかな判別の結果、入力画像から検出された物体について歩行者の可能性があると判別した場合には、続いて、ニューラルネットワーク手法を用いた詳細な判別（すなわち、検出された物体が判別の対象である歩行者であるか否か判別）を行う（図１の（３）参照）。
【００４１】
具体的には、例えば、図３に例示するように、大まかな判別により歩行者の可能性があると判別された物体の大きさおよび形状と、歩行者を構成する所定の部位（例えば、頭、胴体、手足など）のいずれかのパターン（例えば、頭）とを比較して、その一致度を示す判定出力値（例えば、Ｂ）が、所定の判別閾値（例えば、Ｇ）を超えている場合には歩行者であると判別する。
【００４２】
続いて、候補物体の判別結果等に応じて、警告の報知や車両の制御を行う（図１の（４）参照）。具体的には、候補物体を歩行者であると判別した場合に、例えば、画像上の位置から歩行者までの距離を算出して、歩行者との衝突危険度を判定し、この判定結果に応じて警告の報知や車両の制御を行う。なお、歩行者までの距離は、車載のレーダ（例えば、ミリ波レーダ、光レーダなど）によって取得するようにしてもよい。
【００４３】
このようなことから、上述した主たる特徴の如く、頭、胴体あるいは手足などの歩行者の部位に関する判定を行うことにより、歩行者の全体形状と類似した形状を持つ物体（例えば、歩行者の形状に類似した樹木など）を歩行者と誤って判別する恐れがなく、画像から検出された物体の判別精度を向上させることが可能であり、画像から検出された物体を歩行者であるか否か精度よく判別することができる結果、警告の報知や車両の制御を効率的に行うことが可能である。
【００４４】
［実施例１の構成］
次に、図４を用いて、実施例１に係る画像認識装置および車両制御装置の構成を説明する。図４は、実施例１に係る画像認識装置および車両制御装置の構成を示すブロック図である。同図に示すように、この車両は、車両制御装置１０、撮像装置（単眼カメラ）１１、ナビ部１２、レーダ部１３、車内通知部１４および画像認識装置２０を搭載している。また、車両制御装置１０は、報知制御部１５および車両制御部１６から構成され、画像認識装置２０は、前処理部２１、記憶部２２および制御部（マイコン）２３から構成される。
【００４５】
このうち、ナビ部１２は、ＧＰＳ（Global Positioning System）人工衛星と通信を行って、特定した自動車の位置と地図データとから走行経路の設定および誘導を行う手段である。また、ナビ部１２は、自動車の位置情報や道路形状、路幅、傾斜など車両運転操作に有用な各種の情報を、後述する車内通知部１４を介して運転者に供給する。
【００４６】
レーダ部１３は、レーダ（例えば、７６．５ＧＨｚのミリ波レーダや光レーダなど）を照射して、前方の車両や障害物（例えば、歩行者）との距離や速度、方向などを測定する手段である。例えば、このレーダ部１３は、車両前方に位置する歩行者の存在を検知すると、歩行者の足元（接地面）を自動的に認識して、その接地面から車両までの距離をレーダによって取得（測定）した後、衝突危険度判定部２３ｃにその距離情報（車両から歩行者までの距離）を出力する。
【００４７】
車内通知部１４は、ナビ部１２や後述する報知制御部１５からの情報を通知する手段であり、モニタやスピーカなどで構成される。例えば、この車内通知部１４は、報知制御部１５からの指令を受け付けて、歩行者の存在を示す画像をモニタに出力して運転者の注意を促したり、メッセージやアラーム音をスピーカから流すことにより運転者に対して警告を行ったりする。
【００４８】
車両制御装置１０の報知制御部１５は、後に詳述する衝突危険度判定部２３ｃからの指令を受け付けて、報知制御を行う処理部である。例えば、この報知制御部１５は、衝突危険度判定部２３ｃから運転者への注意や警告指令を受け付けた場合には、車内通知部１４に対して歩行者の存在を示す画像やアラーム音によって、運転者への注意や警告を行うように指令を出力する。なお、衝突危険度判定部２３ｃにおいて衝突危険度のみを判定するような構成とした場合には、報知制御部１５は、衝突危険度判定部２３ｃから受け付けた衝突危険度に応じて、報知制御の内容を自ら判断して実行するようにしてもよく、あるいは、画像認識装置２０において、衝突危険度判定部２３ｃを設けない構成とする場合には、報知制御部１５が自ら衝突危険度を判定して報知制御を実行するようにしてもよい。
【００４９】
車両制御装置１０の車両制御部１６は、衝突危険度判定部２３ｃからの指令を受け付けて、車両の制御（車両走行制御）を行う処理部である。例えば、車両制御部１６は、衝突危険度判定部２３ｃからブレーキ制御指令を受け付けた場合には、ブレーキ制御を実行して速度減速を行う。また、衝突危険度判定部２３ｃからハンドル制御指令を受け付けた場合には、車両制御部１６は、ハンドル制御を実行して衝突回避を行う。なお、衝突危険度判定部２３ｃにおいて衝突危険度のみを判定するような構成とした場合には、車両制御部１６は、衝突危険度判定部２３ｃから受け付けた衝突危険度に応じて、車両走行制御の内容を自ら判断して実行するようにしてもよく、あるいは、画像認識装置２０において、衝突危険度判定部２３ｃを設けない構成とする場合には、車両制御部１６が自ら衝突危険度を判定して車両走行制御を実行するようにしてもよい。
【００５０】
また、画像認識装置２０の前処理部２１は、撮像装置１１によって撮像された画像に前処理を行う処理部であり、フィルタ部２１ａと輪郭抽出部２１ｂとから構成される。このうち、フィルタ部２１ａは、画像内に映し出された物体の輪郭を強調するための前処理（例えば、シャープネス、コントラスト調整、彩度調整）を行う手段である。また、輪郭抽出部２１ｂは、フィルタ部２１ａによって施されたフィルタリングに基づいて、画像内の物体の輪郭を抽出する手段である。
【００５１】
画像認識装置２０の記憶部２２は、制御部２３による各種処理に必要なデータおよびプログラムを格納する格納手段（記憶手段）である。そして、特に本発明に密接に関連するものとしては、学習基底記憶部２２ａ、学習モデル記憶部２２ｂおよび衝突危険度判定テーブル２２ｃを備える。
【００５２】
このうち、学習基底記憶部２２ａは、後に詳述する物体検出部２３ａによる物体検出処理に必要な学習基底を記憶する記憶手段である。学習基底の生成について具体的に説明すると、まず、判別の対象となる物体（例えば、歩行者）が存在しない同一のオブジェクト（道路等を含む背景）を車両走行中に撮影した複数の学習用画像を入力して学習領域を切り出す（例えば、２０×２０ピクセル）。続いて、この切り出した学習領域をＮ次元のベクトル（Ｎは画素値であり、例えば、２０×２０ピクセルであれば４００次元）として扱い、このＮ次元ベクトルからなる学習領域内について主成分分析を行って、特徴ベクトル（Ｎ次元ベクトルの主成分）を抽出する。そして、入力される全ての学習画像に対して特徴ベクトルの抽出を行って、同一のオブジェクトに対して共通する特徴ベクトル成分から学習基底を生成して記憶する。
【００５３】
学習モデル記憶部２２ｂは、後に詳述する物体判別部２３ｂによる物体判別処理に必要な学習モデルを記憶する記憶手段である。具体的には、判別の対象となる物体である歩行者についてのパターン（歩行者の全身のパターンや歩行者を構成する各部位である頭、手足、胴体などのパターン）を様々な条件（例えば、車両からの距離、服装の変化が考えられる天候や歩行者が見えにくくなる時間帯等）に応じて予め学習して記憶する。
【００５４】
衝突危険度判定テーブル２２ｃは、後に詳述する衝突危険度判定部２３ｃによる衝突危険度判定処理に必要な判定テーブルを記憶する記憶手段である。具体的には、図５に例示するように、画像から検出され判別の候補となる物体（候補物体）が「歩行者でない」場合には、その候補物体までの距離にかかわらず（つまり「ＡＬＬ」）、危険度「０」、車両制御／報知制御「なし」とし、一方、候補物体が「歩行者である」場合には、その候補物体までの距離「３０ｍ以上」で、危険度「レベル１」、車両制御／報知制御「歩行者の存在を示す画像を出力」、距離「１０〜３０ｍ」で、危険度「レベル２」、車両制御／報知制御「ブレーキ制御による速度減速」、距離「１０ｍ未満」で、危険度「レベル３」、車両制御／報知制御「ハンドル制御による衝突回避」とするように規定して構成される。
【００５５】
なお、上記に示した衝突危険度判定テーブル２２ｃの構成はあくまで一例であり、例えば、候補物体が歩行者でない場合であっても、危険度の設定や車両制御あるいは報知制御を行うようにしてもよいし、候補物体までの距離の設定を車両の走行速度に対応させて自動的に更新（例えば、車両の速度が速い場合には衝突を回避できるように設定距離を長めに自動更新）するようにしてもよいし、車両制御あるいは報知制御の内容として別のもの（例えば、危険度レベルが高い場合には車両制御として「プリクラッシュ」や危険度レベルが中程度の場合には報知制御として「音声による警告」など）規定して採用するようにしてもよい。
【００５６】
画像処理装置２０の制御部（マイコン）２３は、所定の制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する処理部である。そして、特に本発明に密接に関連するものとしては、物体検出部２３ａと、物体判別部２３ｂと、衝突危険度判定部２３ｃとを備える。
【００５７】
このうち、物体検出部２３ａは、入力画像内から判別の候補となる候補物体を顕著性算出法によって検出する処理部である。具体的には、この物体検出部２３ａは、学習基底記憶部２２ａから学習基底を読み出し、撮像装置１１から現在入力されている入力画像と比較して、入力画像内に学習基底には見られない顕著な特徴（例えば、特異なベクトル）が現れている場合には、判別の候補となる候補物体が存在するものとしてその領域を画像内から検出する。なお、物体検出部２３ａは、顕著性算出法によって入力画像内から判別の候補となる物体を検出する場合に限られるものではなく、例えば、背景差分法による画像処理やエッジ抽出処理などによって検出するようにしてもよい。なお、物体検出部２３ａは、前処理部２１から入力される所定の画像フレーム（例えば、１フレームや数フレーム）ごとに候補物体の検出処理を行う。
【００５８】
物体判別部２３ｂは、物体検出部２３ａによって入力画像から検出された判別の候補となる候補物体が歩行者であるか否かニューラルネットワーク手法によって詳細に判別する処理部である。
【００５９】
具体的には、まず、この物体判別部２３ｂは、撮像装置１１から現在入力されている入力画像内の候補物体の輪郭および大きさと、学習モデル記憶部２２ｂに記憶しておいた歩行者を構成する所定の部位（例えば、頭、胴体、手足など）のいずれかのパターンの大きさおよび形状とを比較する判定（部位判定）を行って、その一致度（一致度合い）を示す判定出力値を求める。
【００６０】
そして、この物体判別部２３ｂは、判定出力値が所定の判別閾値（例えば、完全一致を１００％として７０％）を超えていれば、候補物体が歩行者を構成する所定の部位（例えば、頭、胴体、手足など）のいずれかであることから、候補物体を歩行者であると判別し、その判別結果（例えば、「歩行者である」という判別結果）を衝突危険度判定部２３ｃへ出力する。
【００６１】
また、この物体判別部２３ｂは、物体検出部２３ａにより検出された候補物体について、例えば、歩行者の全身のパターンの大きさおよび形状と、候補物体の輪郭の大きさおよび形状とを比較する判定（全身判定）を行って大まかに判別することにより、候補物体が歩行者である可能性があるか否か判別し、候補物体が歩行者である可能性がある場合には、さらに部位判定を行って詳細に判別するようにしてもよい。物体検出部２３ａにより検出された候補物体が複数ある場合には、歩行者であるか否か判別することにより、詳細に判別する対象が絞り込まれる。
【００６２】
具体的には、この物体判別部２３ｂは、学習モデル記憶部２２ｂに記憶しておいた歩行者の全身のパターンの大きさおよび形状と、候補物体の輪郭の大きさおよび形状とを比較して、その一致度を示す判定出力値が所定の判別閾値以上であれば（例えば、１００％を完全一致として３０％以上であれば）、候補物体が歩行者である可能性があるものと判別して、続いて、候補物体が歩行者であるか否か最終的な結論を得るため、学習モデル記憶部２２ｂに記憶しておいた歩行者を構成する所定の部位（例えば、頭、胴体、手足など）の各パターンとの一致度合いに関する部位判定を行って詳細に判別する。
【００６３】
全身のパターンのみとの比較から候補物体の判別を行うとすると、その候補物体が実際には歩行者であったとしても、候補物体が歩行者であるか否か判別するための判別閾値を高く設定した場合には、入力画像から少しあいまいな状態（形状）で検出された候補物体について「歩行者ではない」とする判別漏れが出る恐れがあり、また、判別閾値を下げると歩行者の形状に類似した樹木などの物体を歩行者と判別してしまう恐れがある。一方、歩行者を構成する所定の部位（例えば、頭、胴体、手足など）のいずれかのパターンのみとの比較から候補物体の判別を行うとすると、例えば、頭の形状に類似した物体を歩行者の頭と判別してしまう恐れがあり、また、入力画像から検出された候補物体が複数ある場合に、それらの全てに関し、歩行者を構成する所定の部位（例えば、頭、胴体、手足など）のいずれかのパターンについて判別処理の行うのでは効率が悪い。すなわち、大まかな判別により候補物体が歩行者であるか否かの判定を行った後、歩行者である可能性のある候補物体について詳細な判別を行う趣旨は、このような事態を鑑みたものである。なお、部位判定で候補物体の絞込みを行った後、全身判定を行うようにしてもよい。
【００６４】
また、物体判別部２３ｂにおいて実行される物体判別処理は、入力画像から検出された判別の候補となる候補物体をニューラルネットワーク手法によって判別する場合に限られるものではなく、歩行者についてのパターン（例えば、頭、胴体、手足などの歩行者を構成する所定の部位や全身などのテンプレート）を用いたパターンマッチング手法によって物体判別を実行する場合についても同様に適用できる。
【００６５】
衝突危険度判定部２３ｃは、物体判別部２３ｂによる判別結果等に基づいて、入力画像から検出された物体との衝突危険度を判定し、車両制御や報知制御の指令を出力する処理部である。具体的には、衝突危険度判定部２３ｃは、物体判別部２３ｂから判別結果を受け付けると、衝突危険度判定テーブル２２ｃから衝突危険度判定テーブル（図５参照）を読み出す。そして、衝突危険度判定部２３ｃは、物体判別部２３ｂから受け付けた判別結果、および画像上の位置から把握される歩行者までの距離（画像の上部に位置する場合は遠く、画像の下部に位置する場合は近い）もしくはレーダ部１３から受け付けた距離に応じて衝突危険度を判定し、所定の危険度であると判定した場合には、車両制御部１６に車両制御の指令を出力し、あるいは、報知制御部１５に報知制御の指令を出力する。
【００６６】
すなわち、例を挙げて説明すると、衝突危険度判定部２３ｃは、物体判別部２３ｂから「歩行者である」との判別結果を受け付けた場合以外には、衝突の危険度はないもの（危険度「レベル０」）と判定して特に車両制御や報知制御の指令を出力しない。一方、衝突危険度判定部２３ｃは、物体判別部２３ｂから「歩行者である」との判別結果を受け付けた場合には、画像上の位置から把握される歩行者までの距離に応じて、例えば、歩行者までの距離が遠い場合（例えば、３０ｍ以上である場合）には、衝突の危険度は低いもの（危険度「レベル１」）と判定して歩行者の存在を示す画像などによって運転者への注意や警告を行うように報知制御部１５に対して指令を出力し、また、歩行者までの距離が中程度に近い場合（例えば、１０ｍ以上３０ｍ未満である場合）には、衝突の危険度は中程度（レベル２）と判定してブレーキ制御による速度減速を行うように車両制御部１６に対して指令を出力し、さらに、歩行者までの距離が極めて近い場合（例えば、１０ｍ未満である場合）には、衝突の危険度は高いもの（レベル３）と判定してハンドル制御による衝突回避を行うように車両制御部１６に対して指令を出力する。なお、歩行者までの距離は、レーダ部１３（例えば、ミリ波レーダ、光レーダなど）から取得した距離情報に基づいて把握するようにしてもよい。
【００６７】
また、衝突危険度判定部２３ｃは、衝突危険度の判定のみを行って、衝突危険度の判定結果を報知制御部１５や車両制御部１６へ出力するようにしてもよい。この場合、報知制御部１５や車両制御部１６は、衝突危険度判定部２３ｃから受け付けた衝突危険度に応じて、報知制御の内容や車両制御の内容を各々が判断して実行する。
【００６８】
［画像認識装置および車両制御装置による処理（実施例１）］
次に、図６を用いて、実施例１に係る画像制御装置のマイコン（制御部）および車両制御装置による処理を説明する。図６は、実施例１に係る画像制御装置のマイコン（制御部）および車両制御装置による処理の流れを示すフローチャートである。なお、以下に説明する車両制御装置による処理は、画像が１フレーム入力されるたびに繰り返し実行される。
【００６９】
同図に示すように、画像が１フレーム入力されると（ステップＳ６０１肯定）、前処理部２１は入力画像に前処理を行う（ステップＳ６０２）。次に、物体検出部２３ａは、入力画像内から判別の候補となる候補物体を顕著性算出法によって検出する（ステップＳ６０３）。
【００７０】
具体的には、この物体検出部２３ａは、学習基底記憶部２２ａから学習基底を読み出し、撮像装置１１から現在入力されている入力画像と比較して、入力画像内に学習基底には見られない顕著な特徴（例えば、特異なベクトル）が現れている場合には、判別の候補となる候補物体が存在するものとしてその領域を画像内から検出する。
【００７１】
そして、物体判別部２３ｂは、物体検出部２３ａによって入力画像から検出された判別の候補となる候補物体の大きさおよび形状と、歩行者の全身のパターンの大きさおよび形状との一致度合いに関する判定（全身判定）を行って大まかに判別することにより、候補物体が歩行者である可能性があるか否か判別を行う（ステップＳ６０４）。
【００７２】
具体的には、物体判別部２３ｂは、学習モデル記憶部２２ｂに記憶しておいた歩行者の全身のパターンの大きさおよび形状と、候補物体の輪郭の大きさおよび形状とを比較して、その一致度を示す判定出力値が所定の判別閾値以上であれば（例えば、１００％を完全一致として３０％以上であれば）、候補物体が歩行者である可能性があるものと判別する。
【００７３】
その結果、候補物体について歩行者の可能性があるものと判別した場合には（ステップＳ６０４肯定）、物体判別部２３ｂは、候補物体が歩行者であるか否か最終的な結論を得るため、学習モデル記憶部２２ｂに記憶しておいた歩行者を構成する所定の部位（例えば、頭、胴体、手足など）の各パターンとの一致度合いに関する部位判定を行って詳細に判別する（ステップＳ６０５）。一方、候補物体を歩行者の可能性があるものと判別しなかった場合には（ステップＳ６０４否定）、物体判別部２３ｂは、次フレームの画像の入力を待機する。
【００７４】
具体的には、この物体判別部２３ｂは、候補物体の輪郭について、学習モデル記憶部２２ｂに記憶しておいた歩行者を構成する所定の部位（例えば、頭、胴体、手足など）の各パターンと略一致する部分があるか否かサーチを行い、略一致するパターンがある場合には、候補物体の輪郭の大きさおよび形状と、略一致したパターンの大きさおよび形状とを比較して、その一致度を示す判定出力値を求め、判定出力値が所定の判別閾値（例えば、完全一致を１００％として７０％）を超えていれば、候補物体が歩行者を構成する所定の部位（例えば、頭、胴体、手足など）のいずれかであることから、候補物体を歩行者であると判別する。
【００７５】
詳細に判別した結果、候補物体を歩行者であると判別した場合には（ステップＳ６０５肯定）、物体判別部２３ｂは、その判別結果（例えば、「歩行者である」という判別結果）を衝突危険度判定部２３ｃへ出力する（ステップＳ６０６）。一方、候補物体を歩行者であると判別しなかった場合には（ステップＳ６０５否定）、物体判別部２３ｂは、判別結果の出力は行わず、次フレームの画像の入力を待機する。
【００７６】
続いて、衝突危険度判定部２３ｃは、物体判別部２３ｂから受け付けた判別結果等に基づいて、入力画像から検出された候補物体との衝突危険度を判定し（ステップＳ６０７）、車両制御や報知制御の指令を出力する。具体的には、衝突危険度判定部２３ｃは、物体判別部２３ｂから判別結果を受け付けると、衝突危険度判定テーブル２２ｃから衝突危険度判定テーブル（図５参照）を読み出して、物体判別部２３ｂから受け付けた判別結果、および画像上の位置から把握される歩行者までの距離（画像の上部に位置する場合は遠く、画像の下部に位置する場合は近い）に応じて衝突危険度を判定し、車両制御部１６に車両制御の指令を出力し、あるいは、報知制御部１５に報知制御の指令を出力する。
【００７７】
すなわち、例を挙げて説明すると、衝突危険度判定部２３ｃは、物体判別部２３ｂから「歩行者である」との判別結果を受け付けた場合以外には、衝突の危険度はないもの（レベル０）と判定して特に車両制御や報知制御の指令を出力しない。一方、衝突危険度判定部２３ｃは、物体判別部２３ｂから「歩行者である」との判別結果を受け付けた場合には、画像上の位置から把握される歩行者までの距離に応じて、例えば、歩行者までの距離が遠い場合（例えば、３０ｍ以上である場合）には、衝突の危険度は低いもの（危険度「レベル１」）と判定して歩行者の存在を示す画像などによって運転者への注意や警告を行うように報知制御部１５に対して指令を出力し、また、歩行者までの距離が中程度に近い場合（例えば、１０ｍ以上３０ｍ未満である場合）には、衝突の危険度は中程度（危険度「レベル２」）と判定してブレーキ制御による速度減速を行うように車両制御部１６に対して指令を出力し、さらに、歩行者までの距離が極めて近い場合（例えば、１０ｍ未満である場合）には、衝突の危険度は高いもの（危険度「レベル３」）と判定してハンドル制御による衝突回避を行うように車両制御部１６に対して指令を出力する。
【００７８】
そして、衝突危険度判定部２３ｃから車両制御の指令を受け付けた車両制御部１６、あるいは報知制御の指令を受け付けた報知制御部１５は、それぞれ車両の制御（車両走行制御）あるいは警告の報知を行う（ステップＳ６０８）。なお、衝突危険度判定部２３ｃにおいて衝突危険度のみを判定するような構成とした場合には、報知制御部１５は、衝突危険度判定部２３ｃから受け付けた衝突危険度に応じて、報知制御の内容を自ら判断して実行するようにしてもよく、あるいは、報知制御部１５が自ら衝突危険度を判定して報知制御を実行するようにしてもよい。同様に、車両制御部１６は、衝突危険度判定部２３ｃから受け付けた衝突危険度に応じて、車両走行制御の内容を自ら判断して実行するようにしてもよく、あるいは、車両制御部１６が自ら衝突危険度を判定して車両走行制御を実行するようにしてもよい。
【００７９】
［実施例１の効果］
上述してきたように、実施例１によれば、画像から検出された判別の候補となる物体について、判別の対象となる所定の物体を構成する所定の部位（例えば、判別の対象が歩行者であれば、頭、胴体あるいは手足など）に関する判定（例えば、ニューラルネットワーク手法やパターンマッチング手法による判定）を行って、その結果得られる判別値（例えば、出力値）が所定の閾値を超えている場合（すなわち、検出された物体の中に歩行者の頭らしきものが存在する可能性が高い場合）には所定の物体であると判別するので、例えば、頭、胴体あるいは手足などの歩行者の部位に関する判定を行うことにより、歩行者の全体形状と類似した形状を持つ物体（例えば、歩行者の形状に類似した樹木など）を歩行者と誤って判別する恐れがなく、画像から検出された物体の判別精度を向上させることが可能である。
【００８０】
また、実施例１によれば、画像から検出された判別の候補となる物体について、判別の対象となる所定の物体（例えば、歩行者）である可能性を判別（例えば、所定の部位に関する判定を行って、その結果得られる判別値が、簡易な判別のために予め低く設定された所定の閾値を超えているか否かで歩行者である可能性を判別）した後に、所定の物体の可能性があると判別された物体について、所定の物体を構成する所定の部位に関する判定を行って、その結果得られる判別値が所定の閾値（例えば、詳細な判別のために予め高く設定された閾値）を超えている場合には所定の物体であると判別するので、例えば、画像から検出された物体が判別の対象となる歩行者の可能性がある物体をあらかじめ判別した後に、例えば、頭、胴体や手足などの歩行者の部位に関する判定を行って、歩行者であるか否かを詳細に判別することにより、詳細な判別処理を無駄に実行することを防止することが可能である。
【００８１】
また、実施例１によれば、画像から検出された判別の候補となる物体について、判別の対象となる所定の物体を構成する所定の部位に関する判定を行って、その結果得られる判別値が所定の閾値を超えている場合には所定の物体であると判別し、その判別結果に応じて、警告の報知および／または車両の制御を行うので、画像から検出された物体を歩行者であるか否か精度よく判別することができる結果、警告の報知や車両の制御を効率的に行うことが可能である。
【実施例２】
【００８２】
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では本発明に含まれる他の実施例を説明する。
【００８３】
（１）大まかな判別後、複数部位で詳細な判別
上記の実施例１では、大まかな判別により歩行者の可能性があると判別された候補物体について、歩行者を構成する所定の部位（例えば、頭）に関する判定を行って、その物体が歩行者であるか詳細に判別する場合を説明したが、本発明はこれに限定されるものではなく、歩行者を構成する複数の所定の部位（例えば、頭、手足、胴体）に関する判定をそれぞれ行って、歩行者であるか詳細に判別するようにしてもよい。
【００８４】
具体的には、物体判別部２３ｂは、例えば、図７に例示するように、学習モデル記憶部２２ｂに記憶しておいた歩行者の全身パターンを用いた大まかな判別により、歩行者の可能性があると判別された候補物体の輪郭および大きさと、学習モデル記憶部２２ｂに記憶しておいた歩行者を構成する複数の所定の部位（例えば、頭、手足、胴体）の全てのパターンの大きさおよび形状とを比較と比較する判定をそれぞれ行って、その結果得られる各判定出力値（例えば、頭についてＣ、胴体についてＤ、手についてＥ、足についてＦ）を加算した合計値が、所定の判別閾値（例えば、Ｈ）を超えている場合には歩行者であると判別する。
【００８５】
また、この物体判別部２３ｂは、候補物体の輪郭について、学習モデル記憶部２２ｂに記憶しておいた歩行者を構成する所定の部位（例えば、頭、胴体、手足など）の各パターンと略一致する部分があるか否かサーチを行い、略一致するパターンがある場合には、候補物体の輪郭の大きさおよび形状と、略一致したパターンの大きさおよび形状とを比較して、その一致度を示す判定出力値を求めて、その判定出力値が所定の判別閾値を超えていれば歩行者であると判別するようにしてもよい。
【００８６】
これにより、例えば、頭、胴体や手足などの歩行者の各部位に関する判定をそれぞれ行うことにより、画像から検出された物体を歩行者であるか否かを総合的に判別することができるとともに、判別処理を効率的に行うことができ、画像から検出された物体の判別精度をさらに向上させることが可能である。
【００８７】
（２）大まかな判別を行わずに詳細な判別
上記の実施例１では、歩行者の全身パターンなどを用いて歩行者の可能性がある候補物体を大まかに判別して絞り込んだ後に、絞り込んだ候補物体が歩行者であるか否か判別する場合を説明したが、本発明はこれに限定されるものではなく、入力画像から検出された判別の候補となる候補物体の輪郭および形状と、学習モデル記憶部２２ｂに記憶しておいた歩行者を構成する所定の部位（例えば、頭、胴体、手足など）のパターンの大きさおよび形状とを比較する判定（部位判定）を行って、その一致度（一致度合い）を示す判定出力値を求め、歩行者の可能性がある候補物体を大まかに判別して絞り込むことなく、はじめから歩行者であるか否か判別するようにしてもよい。
【００８８】
これにより、例えば、頭、胴体あるいは手足などの歩行者の部位に関する判定を行うことにより、歩行者の全体形状と類似した形状を持つ物体（例えば、歩行者の形状に類似した樹木など）を歩行者と誤って判別する恐れがなく、画像から検出された物体の判別を迅速に得ることが可能である。
【００８９】
（３）画像上の位置に応じた部位を用いて大まかに判別
上記の実施例１では、歩行者の全身パターンなどを用いて大まかな判別をおこなうことにより、検出した候補物体が歩行者の可能性である可能があるか判定する（絞り込む）場合を説明したが、本発明はこれに限定されるものではなく、候補物体が検出された画像上の位置（車両からの距離）に応じて、候補物体の輪郭および大きさと、学習モデル記憶部２２ｂに記憶しておいた歩行者を構成する所定の部位（例えば、頭、胴体、手足など）のいずれかのパターンの大きさおよび形状とを比較する判定（部位判定）を行って、その一致度（一致度合い）を示す判定出力値を求め、その判定出力値が所定の判別閾値を越えているか否かを判定することにより、歩行者の可能性があるか否か判別するようにしてもよい。
【００９０】
具体的には、この車両制御装置は、例えば、図８に例示するように、判別の候補として検出された物体と車両との距離（画像の上部に位置する場合は遠く、画像の下部に位置する場合は近い）を画像上の位置から把握し、その把握した距離に応じて、例えば、近距離であれば頭のパターン大きさおよび形状と候補物体の輪郭および大きさとを比較する判定を行い、遠距離であれば全身パターンの大きさおよび形状と候補物体の輪郭および大きさとを比較する判定を行って、その結果得られる各判定出力値が、所定の判別閾値を超えている場合には、歩行者の頭らしきもの、あるいは、歩行者の頭らしきものが存在する可能性が高いものとして、候補物体を歩行者の可能性があるものと判別する。
【００９１】
なお、候補物体が歩行者である可能性があるか否か判別する大まかな判別と、歩行者であるか否か判別する詳細な判別とでは、判別に用いる歩行者を構成する所定の部位（例えば、頭）のパターンが同じであっても、判別閾値が異なるため同様の処理ではない。
【００９２】
これにより、候補物体までの距離に応じて、候補物体が歩行者である可能性があるか否か判別するための判別パターンを使い分ける（例えば、画像上の位置から把握される検出された候補物体と車両との距離が近い場合には歩行者の頭のパターンを用い、候補物体までの距離が遠い場合には歩行者の全身パターンを用いる）ことができ、候補物体が歩行者である可能性があるか否か精度よく判別することができる結果、歩行者であるか否かを判別する処理を効率的に実行することが可能である。
【００９３】
（４）判定出力値への重み付け、多数決等を行って詳細な判別
また、上記の実施例１において、歩行者を構成する複数の所定の部位に関する判定の結果出力される各判定出力値に重み付けを行って（例えば、距離が近い場合には、十分な情報が得られ個人差の少ない頭パターンを用いた判定の結果得られる判定出力値を２倍にする等）、判別の候補として入力画像から検出された候補物体について、歩行者であるか否か詳細に判別するようにしてもよい。また、判定結果を、例えば、歩行者と判定すれば○、歩行者と判定しなければ×等で出力して、その判定結果の多数決によって、判別の候補として入力画像から検出された物体について、歩行者であるか否か詳細に判別するようにしてもよい。
【００９４】
このようなことから、画像から検出された物体の判別精度を簡易な操作で向上させることが可能である。
【００９５】
（５）動作の要素を加味して判別
また、上記の実施例１において、複数の連続画像（例えば、現画像およびそれ以降に入力される数フレームの画像）から検出された判別の候補となる同一候補物体について、候補物体の輪郭および大きさと、判別の対象となる歩行者を構成する、例えば、前振りの手のパターンの形状および大きさと、後ろ振りの手のパターンの形状および大きさとの比較を行って、その結果得られる判定出力値がそれぞれ所定の判別閾値を超えている場合には所定の物体であると判別するようにしてもよい。
【００９６】
このようなことから、例えば、画像から検出された物体を歩行者であるか否かを動作という要素を加味して判別することができ、画像から検出された物体の判別精度をさらに向上させることが可能である。
【００９７】
（６）所定の条件に応じて閾値の変更
また、上記の実施例１において、物体の判別に用いられる判別閾値を、走行場所（繁華街や郊外）、走行速度や物体の検出位置（道路の内外）などの条件に応じて変更するようにしてもよい。例えば、走行場所が繁華街である場合や車両の走行速度が速い場合には判別閾値を低く変更し、これとは反対に、走行場所が郊外である場合や車両の走行速度が遅い場合には判別閾値を高く変更する。
【００９８】
このようなことから、所定の条件に応じて閾値を変更することができる結果、画像から検出された物体の判別精度をさらに向上させることが可能である。
【００９９】
（７）所定の環境条件に応じた判別の実施
また、上記の実施例１において、例えば、歩行者の服装の違いや時間帯における周囲の明るさなど、気温、天候や時間帯などの条件に応じて学習させた学習モデルを予め用意し、気温、天候や時間帯などの環境条件に応じて最適な学習モデル用いて、物体判別部２３ｂに物体判別処理を実行させるようにしてもよい。
【０１００】
このようなことから、気温、天候や時間帯などの環境条件に応じた判定を実行することができる結果、画像から検出された物体の判別精度をさらに向上させることが可能である。
【０１０１】
（８）物体検出位置に応じて詳細な判定を実施するか否かを決定
また、上記の実施例１において、判別の候補として画像から検出された候補物体の画像上の位置（例えば、道路の内外）に応じて、候補物体が歩行者をであるか否か判別する詳細な判別処理を実行するか否かを決定するようにしてもよい。例えば、道路内で物体が検出された場合には詳細な判別処理を実行し、道路外で物体が検出された場合には詳細な判別処理を実行しないようにする。
【０１０２】
このようなことから、詳細な判別処理を無駄に実行することを防止することが可能である。
【０１０３】
（９）侵入の判定
また、上記の実施例１において、画像から検出された判別の候補となる候補物体が歩行者であると判別された場合に、画像から歩行者が路上に侵入しようとしているか否かを判定するようにしてもよい。例えば、図９に示すように、現画像における歩行者の位置が次画像において路上に接近している場合には、歩行者が路上に侵入しようとしているものと判定する。
【０１０４】
このようなことから、画像から検出された候補物体を歩行者と判別するだけでなく、路上に侵入しようとしているか否かまで判定することが可能である。
【０１０５】
（１０）大まかな判別後に入力された画像で詳細な判別を実施
上記の実施例１では、入力画像内から検出された判別の候補となる候補物体について、１フレームの入力画像内で歩行者であるか否か判別する場合を説明したが、本発明はこれに限定されるものではなく、例えば、複数の連続画像（例えば、現画像および次に入力される次画像）から検出された判別の候補となる同一候補物体について、それぞれ別個の歩行者を構成する所定の部位に関する判定を行って（例えば、現画像において頭に関する判定を行った場合には、次画像において手足に関する判定を行う）、歩行者であるか否かを判別するようにしてもよい。
【０１０６】
具体的には、図１０に例示するように、現に入力されている現画像から判別の候補となる物体を検出した場合には（図５の（１）参照）、物体判別部２３ｂは、候補物体の輪郭および大きさと、歩行者を構成する、例えば、頭のパターンの大きさおよび形状とを比較する判定（部位判定）を行って、歩行者であるか否か詳細に判別する。
【０１０７】
さらに、物体判別部２３ｂは、現画像の次に入力される次画像において、先ほどまで入力されていた現画像の物体検出位置付近に候補物体を新たに検出した場合には（図５の（３）参照）、新たに検出した候補物体の輪郭および大きさと、歩行者を構成する、例えば、現画像で用いたのとは別の手足等のパターンの大きさおよび形状とを比較する判定（部位判定）を行って、歩行者であるか否か詳細に判別する（図５の（４）参照）。その結果、現画像および次画像の双方において歩行者であると判別された場合には、画像から検出された物体を歩行者であると判別する。
【０１０８】
このようなことから、複数の画像においてそれぞれ行者の別個の歩部位に関する判定を行って歩行者であるか否かを判別する結果、画像から検出された物体の判別精度をさらに向上させることが可能である。
【０１０９】
（１１）装置構成等
また、図２に示した車両制御装置１０および画像認識装置２０の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、車両制御装置１０および画像認識装置２０の分散・統合の具体的形態は図示のものに限られず、例えば、報知制御部１５および車両制御部１６を統合し、物体判別部２３ｂを大まかな判別処理を行う機能と詳細な判別処理を行う機能に分散するなど、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、車両制御装置１０および画像認識装置２０にて行なわれる各処理機能（車両制御装置１０の車両制御機能や画像認識装置２０の物体検出機能および歩行者判別機能）は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【０１１０】
なお、本実施例で説明した各処理方法（図６参照）は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【産業上の利用可能性】
【０１１１】
以上のように、本発明に係る画像認識装置、画像認識方法、歩行者認識装置および車両制御装置は、カメラで撮像された画像から判別の候補となる物体が検出された場合に、当該判別の候補となる物体を判別する場合に有用であり、特に、画像から検出された物体の判別精度を向上させることに適する。
【図面の簡単な説明】
【０１１２】
【図１】実施例１の概要および特徴を説明するための図である。
【図２】実施例１の概要および特徴を説明するための図である。
【図３】実施例１の概要および特徴を説明するための図である。
【図４】実施例１に係る画像認識装置および車両制御装置の構成を示すブロック図である。
【図５】衝突危険度判定テーブルの構成例を示す図である。
【図６】実施例１に係る画像認識装置および車両制御装置の処理の流れを示すフローチャートである。
【図７】実施例２に係る歩行者部位判定の概要を説明するための図である。
【図８】実施例２に係る歩行者判別の概要を説明するための図である。
【図９】実施例２に係る歩行者判別の概要を説明するための図である。
【図１０】実施例２に係る歩行者全身判定の概要を説明するための図である。
【符号の説明】
【０１１３】
１０ 車両制御装置
１１ 撮像装置
１２ ナビ部
１３ レーダ部
１４ 車内通知部
１５ 報知制御部
１６ 車両制御部
１７ ブレーキ
１８ ハンドル
２０ 画像認識装置
２１ 前処理部
２１ａ フィルタ部
２１ｂ 輪郭抽出部
２２ 記憶部
２２ａ 学習規定記憶部
２２ｂ 学習モデル記憶部
２２ｃ 衝突危険度判定テーブル
２３ 制御部
２３ａ 物体検出部
２３ｂ 物体判別部
２３ｃ 衝突危険度判定部
【特許請求の範囲】
【請求項１】
カメラで撮像された画像から判別の候補となる物体が検出された場合に、当該判別の候補となる物体について、当該判別の対象となる所定の物体を構成する所定の部位に関する判定を行って、その結果得られる判別値が所定の閾値を超えている場合には当該所定の物体であると判別する物体判別手段を備えたことを特徴とする画像認識装置。
【請求項２】
前記物体判別手段は、前記画像から検出された判別の候補となる物体について、当該判別の対象となる所定の物体を構成する複数の所定の部位に関する判定をそれぞれ行って、その結果得られる各判別値を加算した合計値が所定の閾値を超えている場合には当該所定の物体であると判別することを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記物体判別手段は、前記各判別値のいずれかに重み付けを行った上で、当該各判別値を加算した合計値が所定の閾値を超えている場合には当該所定の物体であると判別することを特徴とする請求項２に記載の画像認識装置。
【請求項４】
前記物体判別手段は、複数の連続画像から検出された判別の候補となる同一物体について前記所定の部位の動作に関する判定を行って、その結果得られる判別値が所定の閾値を超えている場合には当該所定の物体であると判別することを特徴とする請求項１に記載の画像認識装置。
【請求項５】
前記画像から検出された判別の候補となる物体について、当該判別の対象となる所定の物体である可能性を判別する可能性判別手段をさらに備え、
前記物体判別手段は、前記可能性判別手段により前記判別の候補となる物体が前記所定の物体の可能性があると判別された場合には、当該判別の候補となる物体について、当該所定の物体を構成する所定の部位に関する判定を行って、その結果得られる判別値が所定の閾値を超えている場合には当該所定の物体であると判別することを特徴とすることを特徴とする請求項１に記載の画像認識装置。
【請求項６】
前記可能性判別手段は、前記判別の候補として前記画像から検出された物体の当該画像上の位置に応じた前記所定の部位に関する判定を行って、前記所定の物体の可能性がある物体を判別することを特徴とする請求項５に記載の画像認識装置。
【請求項７】
前記物体判別手段は、所定の条件に応じた閾値を用いて、前記判別の候補となる物体を前記所定の物体であると判別することを特徴とする請求項１〜５のいずれか一つに記載の画像認識装置。
【請求項８】
前記物体判別手段は、所定の環境条件に応じた前記所定の部位に関する判定を行って、前記判別の候補となる物体を前記所定の物体であると判別することを特徴とする請求項１〜５のいずれか一つに記載の画像認識装置。
【請求項９】
前記物体判別手段は、前記判別の候補として前記画像から検出された物体の当該画像上の位置に応じて、当該判別の候補となる物体を前記所定の物体であると判別するか否かを決定することを特徴とする請求項１〜５のいずれか一つに記載の画像認識装置。
【請求項１０】
前記物体判別手段により、前記画像から検出された判別の候補となる物体が、当該判別の対象となる所定の物体であると判別された場合に、当該画像から当該所定の物体が路上に侵入しようとしているか否かを判定する侵入判定手段をさらに備えたことを特徴とする請求項１〜５のいずれか一つに記載の画像認識装置。
【請求項１１】
前記物体判定手段は、複数の連続画像から検出された判別の候補となる同一物体について、それぞれ別個の前記所定の部位に関する判定を行って、その結果得られる判別値がそれぞれ所定の閾値を超えている場合には当該所定の物体であると判別することを特徴とする請求項１に記載の画像認識装置。
【請求項１２】
カメラで撮像された画像から判別の候補となる物体が検出された場合に、当該判別の候補となる物体について、当該判別の対象となる所定の物体を構成する所定の部位に関する判定を行って、その結果得られる判別値が所定の閾値を超えている場合には当該所定の物体であると判別する物体判別工程を含んだことを特徴とする画像認識方法。
【請求項１３】
カメラで撮像された画像から判別の候補となる物体が検出された場合に、当該判別の候補となる物体について、当該判別の対象となる歩行者を構成する所定の部位に関する判定を行って、その結果得られる判別値が所定の閾値を超えている場合には歩行者であると判別する物体判別手段を備えたことを特徴とする歩行者認識装置。
【請求項１４】
カメラで撮像された画像から判別の候補となる物体が検出された場合に、当該判別の候補となる物体について、当該判別の対象となる所定の物体を構成する所定の部位に関する判定を行って、その結果得られる判別値が所定の閾値を超えている場合には当該所定の物体であると判別する物体判別手段による判別結果に応じて、警告の報知および／または車両の制御を行う制御手段を備えたことを特徴とする車両制御装置。
【請求項１】
カメラで撮像された画像から判別の候補となる物体が検出された場合に、当該判別の候補となる物体について、当該判別の対象となる所定の物体を構成する所定の部位に関する判定を行って、その結果得られる判別値が所定の閾値を超えている場合には当該所定の物体であると判別する物体判別手段を備えたことを特徴とする画像認識装置。
【請求項２】
前記物体判別手段は、前記画像から検出された判別の候補となる物体について、当該判別の対象となる所定の物体を構成する複数の所定の部位に関する判定をそれぞれ行って、その結果得られる各判別値を加算した合計値が所定の閾値を超えている場合には当該所定の物体であると判別することを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記物体判別手段は、前記各判別値のいずれかに重み付けを行った上で、当該各判別値を加算した合計値が所定の閾値を超えている場合には当該所定の物体であると判別することを特徴とする請求項２に記載の画像認識装置。
【請求項４】
前記物体判別手段は、複数の連続画像から検出された判別の候補となる同一物体について前記所定の部位の動作に関する判定を行って、その結果得られる判別値が所定の閾値を超えている場合には当該所定の物体であると判別することを特徴とする請求項１に記載の画像認識装置。
【請求項５】
前記画像から検出された判別の候補となる物体について、当該判別の対象となる所定の物体である可能性を判別する可能性判別手段をさらに備え、
前記物体判別手段は、前記可能性判別手段により前記判別の候補となる物体が前記所定の物体の可能性があると判別された場合には、当該判別の候補となる物体について、当該所定の物体を構成する所定の部位に関する判定を行って、その結果得られる判別値が所定の閾値を超えている場合には当該所定の物体であると判別することを特徴とすることを特徴とする請求項１に記載の画像認識装置。
【請求項６】
前記可能性判別手段は、前記判別の候補として前記画像から検出された物体の当該画像上の位置に応じた前記所定の部位に関する判定を行って、前記所定の物体の可能性がある物体を判別することを特徴とする請求項５に記載の画像認識装置。
【請求項７】
前記物体判別手段は、所定の条件に応じた閾値を用いて、前記判別の候補となる物体を前記所定の物体であると判別することを特徴とする請求項１〜５のいずれか一つに記載の画像認識装置。
【請求項８】
前記物体判別手段は、所定の環境条件に応じた前記所定の部位に関する判定を行って、前記判別の候補となる物体を前記所定の物体であると判別することを特徴とする請求項１〜５のいずれか一つに記載の画像認識装置。
【請求項９】
前記物体判別手段は、前記判別の候補として前記画像から検出された物体の当該画像上の位置に応じて、当該判別の候補となる物体を前記所定の物体であると判別するか否かを決定することを特徴とする請求項１〜５のいずれか一つに記載の画像認識装置。
【請求項１０】
前記物体判別手段により、前記画像から検出された判別の候補となる物体が、当該判別の対象となる所定の物体であると判別された場合に、当該画像から当該所定の物体が路上に侵入しようとしているか否かを判定する侵入判定手段をさらに備えたことを特徴とする請求項１〜５のいずれか一つに記載の画像認識装置。
【請求項１１】
前記物体判定手段は、複数の連続画像から検出された判別の候補となる同一物体について、それぞれ別個の前記所定の部位に関する判定を行って、その結果得られる判別値がそれぞれ所定の閾値を超えている場合には当該所定の物体であると判別することを特徴とする請求項１に記載の画像認識装置。
【請求項１２】
カメラで撮像された画像から判別の候補となる物体が検出された場合に、当該判別の候補となる物体について、当該判別の対象となる所定の物体を構成する所定の部位に関する判定を行って、その結果得られる判別値が所定の閾値を超えている場合には当該所定の物体であると判別する物体判別工程を含んだことを特徴とする画像認識方法。
【請求項１３】
カメラで撮像された画像から判別の候補となる物体が検出された場合に、当該判別の候補となる物体について、当該判別の対象となる歩行者を構成する所定の部位に関する判定を行って、その結果得られる判別値が所定の閾値を超えている場合には歩行者であると判別する物体判別手段を備えたことを特徴とする歩行者認識装置。
【請求項１４】
カメラで撮像された画像から判別の候補となる物体が検出された場合に、当該判別の候補となる物体について、当該判別の対象となる所定の物体を構成する所定の部位に関する判定を行って、その結果得られる判別値が所定の閾値を超えている場合には当該所定の物体であると判別する物体判別手段による判別結果に応じて、警告の報知および／または車両の制御を行う制御手段を備えたことを特徴とする車両制御装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００８−２１０３４（Ｐ２００８−２１０３４Ａ）
【公開日】平成２０年１月３１日（２００８．１．３１）
【国際特許分類】
【出願番号】特願２００６−１９０８６４（Ｐ２００６−１９０８６４）
【出願日】平成１８年７月１１日（２００６．７．１１）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成２０年１月３１日（２００８．１．３１）
【国際特許分類】
【出願日】平成１８年７月１１日（２００６．７．１１）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]