画像認識装置、画像認識方法および車両制御装置
【課題】画像から検出された判別の候補となる物体が歩行者以外の所定の動物（例えば、犬や猫などの四足動物）を判別して、歩行者であるか、歩行者以外の動物であるかを明確に区別することを課題とする。
【解決手段】画像から検出された判別の候補となる大きさ５０ｃｍ未満の物体の輪郭および大きさと、犬や猫などの尻尾のパターンの形状および大きさとを比較して、その一致度を示す判定出力値（例えば、Ａ）が、所定の閾値（例えば、Ｉ）を超えている場合（例えば、Ａ≧Ｉである場合）には、判別の候補となる物体について歩行者以外の所定の動物の特徴である尻尾が確認されたことから、判別の候補となる物体が歩行者以外の所定の動物であると判別する。
【解決手段】画像から検出された判別の候補となる大きさ５０ｃｍ未満の物体の輪郭および大きさと、犬や猫などの尻尾のパターンの形状および大きさとを比較して、その一致度を示す判定出力値（例えば、Ａ）が、所定の閾値（例えば、Ｉ）を超えている場合（例えば、Ａ≧Ｉである場合）には、判別の候補となる物体について歩行者以外の所定の動物の特徴である尻尾が確認されたことから、判別の候補となる物体が歩行者以外の所定の動物であると判別する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、カメラで撮像された画像から判別の候補となる物体が検出された場合に、当該判別の候補となる物体が歩行者以外の所定の動物であるか否か判別する画像認識装置等に関する。
【背景技術】
【０００２】
従来より、車両走行中における歩行者との衝突を回避すること等を目的として、車載のカメラで撮像された画像から検出された物体が歩行者であるか否かを判別する技術が提案されている（特許文献１参照）。そして、画像から検出された物体が歩行者であると判別された場合には、例えば、音声警告などの報知制御や車両速度減速などの車両走行制御を行って、歩行者との衝突を回避する。
【０００３】
【特許文献１】特開２００６−６４６５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記した従来の技術は、歩行者以外の動物を判別することができず、また、車両走行中に歩行者以外の動物と衝突してしまう場合があるという問題点があった。
【０００５】
すなわち、従来の技術は、車載のカメラで撮像された画像から検出された物体が歩行者であるか否かを判別するものであるため、歩行者以外の動物（例えば、犬や猫などの動物）を判別することができないという問題点があった。
【０００６】
また、従来の技術は、例えば、車載のカメラで撮像された画像から検出された物体が、路上への飛び出した犬や猫などの動物であっても歩行者以外の物体と判別するので、特に報知制御や車両走行制御は行われず、路上への飛び出した犬や猫などの動物と衝突してしまう場合があるという問題点があった。
【０００７】
また、歩行者以外の動物を含むパターンを記憶しておいて、歩行者以外の動物を認識した場合には無条件に運転者へ警告を報知することも考えられるが、このように区別なく警告を報知すると運転者はどのような障害物なのか認識することができず、適切な回避行動がとれないという問題点がある。
【０００８】
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、画像から検出された判別の候補となる物体が歩行者以外の所定の動物であるか否かを判別することができ、歩行者であるか、歩行者以外の動物であるかを明確に区別することが可能な画像認識装置、画像認識方法および車両制御装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決し、目的を達成するため、請求項１に係る発明は、カメラで撮像された画像から判別の候補となる物体が検出された場合に、当該判別の候補となる物体が歩行者以外の所定の動物であるか否か判別する物体判別手段を備え、当該判別の候補となる物体が歩行者であるか、または歩行者以外の動物であるかを区別することを特徴とする。
【００１０】
また、請求項２に係る発明は、上記の発明において、前記物体判別手段は、前記判別の候補となる物体について、前記歩行者以外の所定の動物を構成する所定の部位に関する判定を行って、その結果得られる当該所定の部位についての判別値が所定の閾値を超えている場合には、当該歩行者以外の所定の動物であると判別することを特徴とする。
【００１１】
また、請求項３に係る発明は、上記の発明において、前記物体判別手段は、前記判別の候補となる物体について、前記歩行者以外の所定の動物を構成する複数の所定の部位に関する判定をそれぞれ行って、その結果得られる各判別値を加算した合計値が所定の閾値を超えている場合には、当該歩行者以外の所定の動物であると判別することを特徴とする。
【００１２】
また、請求項４に係る発明は、上記の発明において、前記物体判別手段は、前記各判別値のいずれかに重み付けを行った上で、当該各判別値を加算した合計値が所定の閾値を超えている場合には、前記歩行者以外の所定の物体であると判別することを特徴とする。
【００１３】
また、請求項５に係る発明は、上記の発明において、前記物体判別手段は、前記判別の候補となる物体について画素値に関する判定を行って、その結果得られる当該画素値が所定の閾値を超えている場合であって、かつ当該判定位置が所定の高さ以内である場合には、前記歩行者以外の所定の動物であると判別することを特徴とする。
【００１４】
また、請求項６に係る発明は、上記の発明において、前記物体判別手段は、複数の連続画像から検出された判別の候補となる同一物体について、前記歩行者以外の所定の動物の所定の部位の動作に関する判定を行って、その結果得られる判別値が所定の閾値を超えている場合には、当該歩行者以外の所定の動物であると判別することを特徴とする。
【００１５】
また、請求項７に係る発明は、上記の発明において、前記物体判別手段は、前記判別の候補となる物体を歩行者であるか否か判別し、当該判別の候補となる物体を歩行者ではないと判別した場合には、当該判別の候補となる物体について、当該歩行者以外の所定の動物であるか否か判別することを特徴とする。
【００１６】
また、請求項８に係る発明は、上記の発明において、前記判別の候補となる物体の大きさを測定する測定手段をさらに備え、前記物体判別手段は、前記測定手段により測定された前記判別の候補となる物体の大きさが所定の大きさ未満である場合には、当該判別の候補となる物体を歩行者ではないと判別することを特徴とする。
【００１７】
また、請求項９に係る発明は、カメラで撮像された画像から判別の候補となる物体が検出された場合に、当該判別の候補となる物体が、歩行者以外の所定の動物であるか否か判別する物体判別手段により前記判別の候補となる物体が前記歩行者以外の所定の動物であると判別された場合に運転者に警告を報知する警告報知手段を備えたことを特徴とする。
【００１８】
また、請求項１０に係る発明は、上記の発明において、前記物体判別手段により前記判別の候補となる物体が前記歩行者以外の所定の動物であると判別された場合に、当該歩行者以外の所定の動物に対して威嚇する威嚇制御手段をさらに備えたことを特徴とする。
【００１９】
また、請求項１１に係る発明は、上記の発明において、前記警告報知手段は、前記物体判別手段による判別結果に応じて運転者に警告を報知することを特徴とする。
【００２０】
また、請求項１２に係る発明は、上記の発明において、前記威嚇制御手段は、前記物体判別手段による判別結果に応じて前記歩行者以外の所定の動物に対して威嚇することを特徴とする。
【００２１】
また、請求項１３に係る発明は、カメラで撮像された画像から判別の候補となる物体が検出された場合に、当該判別の候補となる物体が歩行者以外の所定の動物であるか否か判別する物体判別工程を備え、当該判別の候補となる物体が歩行者であるか、または歩行者以外の動物であるかを区別することを特徴とする。
【発明の効果】
【００２２】
請求項１または１３の発明によれば、カメラで撮像された画像から判別の候補となる物体が検出された場合に、判別の候補となる物体が歩行者以外の所定の動物であるか否か判別する（例えば、パターンマッチング手法やニューラルネットワーク手法により判別する）ので、画像から検出された判別の候補となる物体が歩行者以外の所定の動物（例えば、犬や猫などの四足動物）を判別することができ、歩行者であるか、歩行者以外の動物であるかを明確に区別することが可能である。
【００２３】
また、請求項２の発明によれば、判別の候補となる物体について歩行者以外の所定の動物を構成する所定の部位に関する判定を行って、その結果得られる当該所定の部位についての判別値（例えば、出力値）が所定の閾値を超えている場合には、歩行者以外の所定の動物であると判定するので、例えば、四足動物の特徴部分である四本足や尻尾などの部位に基づいて、画像から検出された物体が歩行者以外の動物（例えば、犬や猫などの四足動物）であるか否か効率的に判別することが可能である。
【００２４】
また、請求項３の発明によれば、判別の候補となる物体について、歩行者以外の所定の動物を構成する複数の所定の部位に関する判定をそれぞれ行って、その結果得られる各判別値を加算した合計値が所定の閾値を超えている場合には、歩行者以外の所定の動物であると判別するので、例えば、四本足や尻尾などの動物の各部位に関する判定をそれぞれ行うことにより、画像から検出された物体を動物であるか否かを総合的に判別することができ、歩行者以外の動物（例えば、犬や猫などの四足動物）を精度よく判別することが可能である。
【００２５】
また、請求項４の発明によれば、各判別値のいずれかに重み付けを行った上で、各判別値を加算した合計値が所定の閾値を超えている場合には、歩行者以外の所定の動物であると判別するので、歩行者以外の動物（例えば、犬や猫などの四足動物）を判別する精度を簡易な操作で向上させることが可能である。
【００２６】
また、請求項５の発明によれば、判別の候補となる物体について画素値に関する判定を行って、その結果得られる画素値（判別の候補となる物体の画素値）が所定の閾値を超えている場合であって、かつ、その判定位置が所定の高さ以内（例えば、５０ｃｍ以内）である場合には、歩行者以外の所定の動物であると判定するので、例えば、車両のライトを受けて光る動物の目の特性に基づいて、画像から検出された物体が動物であるか判別することができ、夜間であっても歩行者以外の動物（例えば、犬や猫などの四足動物）を判別することが可能である。
【００２７】
また、請求項６の発明によれば、複数の連続画像から検出された判別の候補となる同一物体について、歩行者以外の所定の動物の所定の部位の動作に関する判定（例えば、尻尾や頭、足の動きなど、歩行者以外の動物特有の動作に関する判定）を行って、その結果得られる判別値が所定の閾値を超えている場合には、歩行者以外の所定の動物であると判別するので、静止していることが少ないと考えられる動物の動きに着目することで、歩行者以外の動物（例えば、犬や猫などの四足動物）を精度よく判別することが可能である。
【００２８】
また、請求項７の発明によれば、判別の候補となる物体を歩行者であるか否か判別し、判別の候補となる物体を歩行者ではないと判別した場合には、歩行者以外の所定の動物であるか否か判別するので、歩行者が判別されない事態を防止することができるだけでなく、歩行者以外の動物（例えば、犬や猫などの四足動物）を判別することも可能である。
【００２９】
また、請求項８の発明によれば、判別の候補となる物体の大きさを測定して、その大きさが所定の大きさ（例えば、５０ｃｍ）未満である場合には歩行者ではないと判別するので、歩行者以外の動物である蓋然性の高い物体を高さによって予め選別して、歩行者以外の動物（例えば、犬や猫などの四足動物）をより効率的に判別することが可能である。
【００３０】
また、請求項９の発明によれば、判別の候補となる物体が歩行者以外の所定の動物であると判別された場合には、運転者に警告を報知するので、歩行者以外の動物（例えば、犬や猫などの四足動物）の存在を運転者に認識させることができ、車両走行中における動物との衝突を回避することが可能である。
【００３１】
また、請求項１０の発明によれば、判別の候補となる物体が歩行者以外の所定の動物であると判別された場合に、歩行者以外の所定の動物に対して威嚇するので、例えば、音や光、においなどによる威嚇を行って、車両と衝突する可能性のある位置から歩行者以外の動物（例えば、犬や猫などの四足動物）を退避させることができ、車両走行中における動物との衝突を回避することが可能である。
【００３２】
また、請求項１１の発明によれば、画像から検出された判別の候補となる物体の判別結果に応じて運転者に警告を報知するので、画像から検出された判別の候補となる物体が歩行者である場合と歩行者以外の動物である場合（例えば、犬や猫などの四足動物）を区別した適切な警告を行うことが可能である。
【００３３】
また、請求項１２の発明によれば、画像から検出された判別の候補となる物体の判別結果に応じて所定の動物に対して威嚇するので、画像から検出された判別の候補となる物体が歩行者および歩行者以外の動物の複数である場合に、動物だけである場合よりも弱めに威嚇を行うなど程度を考慮した適切な威嚇を行うことが可能である。
【発明を実施するための最良の形態】
【００３４】
以下に添付図面を参照して、本発明に係る画像認識装置、画像認識方法および車両制御装置の実施例を詳細に説明する。なお、以下では、本発明に係る画像認識装置および車両制御装置を車両に搭載する場合を実施例１として説明した後に、本発明に含まれる他の実施例を説明する。
【実施例１】
【００３５】
以下の実施例１では、本発明の実施例１に係る概要および特徴、構成および処理の流れを順に説明し、最後に実施例１による効果を説明する。
【００３６】
［概要および特徴（実施例１）］
まず最初に、図１を用いて、実施例１の概要および特徴を説明する。図１は、実施例１の概要および特徴を説明するための図である。
【００３７】
同図に示すように、実施例１は、車載のカメラ（例えば、単眼カメラやステレオカメラなど）で撮像された画像から判別の候補となる物体が検出された場合に、その物体を判別するとともに所定の制御（警告報知制御や車両走行制御）を行うことを概要とするが、その物体を歩行者以外、すなわち人間以外の所定の動物であるか否か判別する点に主たる特徴がある。なお、ここでは、物体の判別の効率化を図るため、画像上の道路内に存在する物体のみを判別対象とする。
【００３８】
この主たる特徴について具体的に説明すると、図１に示すように、入力画像から判別の候補となる物体を検出すると（図１の（１）参照）、画像上の位置から検出した物体までの距離を測定する（図１の（２）参照）とともに、その距離に基づいて検出した物体の大きさを測定する（図１の（３）参照）。
【００３９】
次に、測定した判別の候補となる物体の大きさに基づいて、歩行者判別あるいは動物判別のどちらを実行するか判別種別の決定を行う（図１の（４）参照）。例えば、画像から検出された判別の候補となる物体の５０ｃｍ未満であれば動物判別（例えば、犬や猫などの四足動物の判別）を実行するように決定し、大きさが５０ｃｍ以上であれば歩行者判別を実行するように決定する（図１の（５）参照）。
【００４０】
ここで、判別種別の決定の結果、判別の候補となる物体について、動物判別を実行するものと決定した場合には、判別の候補となる物体について歩行者以外の所定の動物（例えば、犬や猫などの四足動物）を構成する所定の部位（例えば、尻尾や頭、四本足など）に関する判定を行って、その結果得られる所定の部位についての判定出力値が所定の閾値を超えている場合には、歩行者以外の所定の動物であると判別する。
【００４１】
具体的には、図２に例示するように、画像から検出された判別の候補となる大きさ５０ｃｍ未満の物体の輪郭および大きさと、犬や猫などの尻尾のパターンの形状および大きさとを比較して、その一致度を示す判定出力値（例えば、Ａ）が、所定の閾値（例えば、Ｉ）を超えている場合（例えば、Ａ≧Ｉである場合）には、判別の候補となる物体について歩行者以外の所定の動物の特徴である尻尾が確認されたことから、判別の候補となる物体が歩行者以外の所定の動物であると判別する。なお、尻尾に関する判定を行う場合に限定されるものではなく、四足動物の特徴部分である四本足に関する判定を行うようにしてもよいし、尻尾および四本足等の別の部位に関する判定をそれぞれおこなうようにしてもよい。
【００４２】
また、同様に、判別種別の決定の結果、判別の候補となる物体について、歩行者判別を実行するものと決定した場合には、判別の候補となる物体について歩行者判別を行う。
【００４３】
続いて、動物判別の結果等に基づいて衝突危険度判定を行う。具体的には、この車両制御装置は、判別の候補となる物体を歩行者以外の所定の動物である」と判別した場合に、画像上の位置から先ほど測定した動物までの距離（図１の（２）参照）などに応じて、歩行者以外の所定の動物であると判別された物体との衝突危険度を判定する。そして、この車両制御装置は、衝突危険度判定結果に応じて運転者への警告や動物への威嚇を行う。
【００４４】
また、同様に、歩行者判別の結果等に基づいて衝突危険度判定を行う。そして、判別の候補となる物体を歩行者であると判別した場合には、歩行者であると判別された物体との衝突危険度を判定し、その衝突危険度判定結果に応じて運転者への警告や車両の制御を行う。
【００４５】
このようなことから、上述した主たる特徴の如く、画像から検出された判別の候補となる物体が歩行者以外の所定の動物（例えば、犬や猫などの四足動物）を判別することができ、歩行者であるか、歩行者以外の動物であるかを明確に区別することが可能である。さらには、歩行者以外の所定の動物（例えば、犬や猫などの四足動物）の存在を運転者に認識させることができ、車両走行中における動物との衝突を回避することが可能である。
【００４６】
［実施例１の構成］
次に、図３を用いて、実施例１に係る画像認識装置および車両制御装置の構成を説明する。図３は、実施例１に係る画像認識装置および車両制御装置の構成を示すブロック図である。同図に示すように、この車両は、車両制御装置１０、撮像装置（単眼カメラ）１１、ナビ部１２、レーダ部１３、車内通知部１４、画像認識装置２０を搭載している。また、車両制御装置１０は、報知制御部１５と、車両制御部１６と、威嚇制御部１７とから構成され、画像認識装置２０は、前処理部２１と、記憶部２２と、制御部（マイコン）２３とから構成される。
【００４７】
このうち、ナビ部１２は、ＧＰＳ（Global Positioning System）人工衛星と通信を行って、特定した自動車の位置と地図データとから走行経路の設定および誘導を行う手段である。また、ナビ部１２は、自動車の位置情報や道路形状、路幅、傾斜など車両運転操作に有用な各種の情報を、後述する車内通知部１４を介して運転者に供給する。
【００４８】
レーダ部１３は、レーダ（例えば、７６．５ＧＨｚのミリ波レーダや光レーダなど）を照射して、前方の車両や障害物（例えば、歩行者や歩行者以外の動物）との距離や速度、方向などを測定する手段である。例えば、このレーダ部１３は、車両前方に位置する歩行者や歩行者以外の動物の存在を検知すると、その足元（接地面）を自動的に認識して、その接地面から車両までの距離をレーダによって取得（測定）した後、衝突危険度判定部２３ｄにその距離情報（車両から歩行者までの距離）を出力する。
【００４９】
車内通知部１４は、ナビ部１２や後述する報知制御部１５からの情報を通知する手段であり、モニタやスピーカなどで構成される。例えば、この車内通知部１４は、報知制御部１５からの指令を受け付けて、動物の存在を示す画像をモニタに出力して運転者の注意を促したり、メッセージやアラーム音をスピーカから流すことにより運転者に対して警告を行ったりする。
【００５０】
車両制御装置１０の報知制御部１５は、後に詳述する衝突危険度判定部２３ｄから受け付けた衝突危険度判定結果に応じて報知制御を行う処理部である。例えば、この報知制御部１５は、図５に例示するように、危険度レベルに応じた制御項目を記憶して構成する制御テーブルを記憶しており、衝突危険度判定部２３ｄから受け付けた危険度判定結果が危険度レベル１である場合には、車内通知部１４に対して動物の存在を示す画像やアラーム音によって、運転者への注意や警告を行うように指令を出力する。なお、画像認識装置２０において、衝突危険度判定部２３ｄを設けない構成とする場合には、報知制御部１５が自ら衝突危険度を判定して報知制御を実行するようにしてもよい。
【００５１】
車両制御装置１０の車両制御部１６は、衝突危険度判定部２３ｄから受け付けた衝突危険度判定結果に応じて車両制御（車両走行制御）を行う処理部である。例えば、この車両制御部１６は、図５に例示するように、危険度レベルに応じた制御項目を記憶して構成する制御テーブルを記憶しており、衝突危険度判定部２３ｄから受け付けた危険度判定結果が危険度レベル２である場合には、ブレーキ制御を実行して速度減速を行う。また、衝突危険度判定部２３ｄから受け付けた危険度判定結果が危険度レベル３である場合には、ハンドル制御を実行して衝突回避を行う。なお、画像認識装置２０において、衝突危険度判定部２３ｄを設けない構成とする場合には、車両制御部１６が自ら衝突危険度を判定して報知制御を実行するようにしてもよい。
【００５２】
車両制御装置１０の威嚇制御部１７は、衝突危険度判定部２３ｄから受け付けた衝突危険度判定結果に応じて威嚇制御を行う処理部である。例えば、この威嚇制御部１７は、図５に例示するように、危険度レベルに応じた制御項目を記憶して構成する制御テーブルを記憶しており、衝突危険度判定部２３ｄから受け付けた危険度判定結果が危険度レベル２である場合には、クラクション音やライトなど音や光による威嚇を行う。また、衝突危険度判定部２３ｄから受け付けた危険度判定結果が危険度レベル３である場合には、においによる威嚇を行う。なお、画像認識装置２０において、衝突危険度判定部２３ｄを設けない構成とする場合には、威嚇制御部１７が自ら衝突危険度を判定して報知制御を実行するようにしてもよい。
【００５３】
なお、図５に例示する制御テーブルは、あくまで一例であり、これに限定されるものではない。また、図５に例示する制御テーブルは、歩行者以外の所定の動物および歩行者に対する報知制御および車両制御に関して共用する場合に限られるものではなく、別の制御テーブルを同様に構成して記憶するようにしてもよい。
【００５４】
また、画像認識装置２０の前処理部２１は、撮像装置１０によって撮像された画像に前処理を行う処理部であり、フィルタ部２１ａと輪郭抽出部２１ｂとから構成される。このうち、フィルタ部２１ａは、画像内に映し出された物体の輪郭を強調するための前処理（例えば、シャープネス、コントラスト調整、彩度調整）を行う手段である。また、輪郭抽出部２１ｂは、フィルタ部２１ａによって施されたフィルタリングに基づいて、画像内の物体の輪郭を抽出する手段である。
【００５５】
画像認識装置２０の記憶部２２は、制御部２３による各種処理に必要なデータおよびプログラムを格納する格納手段（記憶手段）である。そして、特に本発明に密接に関連するものとしては、学習基底記憶部２２ａ、学習モデル記憶部２２ｂおよび衝突危険度判定テーブル２２ｃを備える。
【００５６】
このうち、学習基底記憶部２２ａは、後に詳述する物体検出部２３ａによる物体検出処理に必要な学習基底を記憶する記憶手段である。具体的には、判別の対象となる物体（例えば、犬や猫などの四足動物）が存在しない同一のオブジェクト（道路等を含む背景）を車両走行中に撮影した複数の学習用画像を入力して学習領域を切り出す（例えば、２０×２０ピクセル）。続いて、この切り出した学習領域をＮ次元のベクトル（Ｎは画素値であり、例えば、２０×２０ピクセルであれば４００次元）として扱い、このＮ次元ベクトルからなる学習領域内について主成分分析を行って、特徴ベクトル（Ｎ次元ベクトルの主成分）を抽出する。そして、入力される全ての学習画像に対して特徴ベクトルの抽出を行って、同一のオブジェクトに対して共通する特徴ベクトル成分から学習基底を生成して記憶する。
【００５７】
学習モデル記憶部２２ｂは、後に詳述する歩行者判別部２３ｂおよび動物判別部２３ｃによる物体判別処理に必要な学習モデルを記憶する記憶手段である。具体的には、例えば、判別の対象となる物体の一つである犬や猫などの四足動物の部位についてのパターン（例えば、四足動物を構成する各部位である頭、手足、胴体、尻尾などのパターン）を様々な条件（例えば、車両からの距離や動物が見えにくくなる時間帯等）に応じて予め学習して記憶する。また、同様に、歩行者についてのパターンを学習して記憶する。
【００５８】
衝突危険度判定テーブル２２ｃは、後に詳述する衝突危険度判定部２３ｄによる衝突危険度判定処理に必要な判定テーブルを記憶する記憶手段である。具体的には、図４に例示するように、画像から検出され判別の候補となる物体（候補物体）が「動物でない」あるいは「歩行者でない」という判別結果である場合には、その候補物体までの距離にかかわらず（つまり「ＡＬＬ」）危険度「０」とし、一方、候補物体が「動物である」あるいは「歩行者である」という判別結果である場合には、その候補物体までの距離「３０ｍ以上」で危険度「レベル１」とし、距離「１０〜３０ｍ」で危険度「レベル２」とし、距離「１０ｍ未満」で危険度「レベル３」とするように規定して構成される。
【００５９】
なお、図４に例示する衝突危険度判定テーブル２２ｃは、あくまで一例であり、これに限定されるものではない。また、図４に例示する衝突危険度判定テーブル２２ｃを、動物との衝突危険度判定に関するものと、歩行者との衝突危険度判定にものとをそれぞれ生成して記憶するようにしてもよい。
【００６０】
画像処理装置２０の制御部（マイコン）２３は、所定の制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する処理部である。そして、特に本発明に密接に関連するものとしては、物体検出部２３ａと、歩行者判別部２３ｂと、動物判別部２３ｃと、衝突危険度判定部２３ｃとを備える。
【００６１】
このうち、物体検出部２３ａは、入力画像内から判別の候補となる物体を顕著性算出法によって検出する処理部である。具体的には、この物体検出部２３ａは、学習基底記憶部２２ａから学習基底を読み出し、撮像装置１０から現在入力されている入力画像と比較して、入力画像内に学習基底には見られない顕著な特徴（例えば、特異なベクトル）が現れている場合には、判別の候補となる物体が存在するものとしてその領域を画像内から検出する。なお、物体検出部２３ａは、顕著性算出法によって入力画像内から判別の候補となる物体を検出する場合に限られるものではなく、例えば、背景差分法による画像処理やエッジ抽出処理などによって検出するようにしてもよい。なお、物体検出部２３ａは、前処理部２１から入力される所定の画像フレーム（例えば、１フレームや数フレーム）ごとに候補物体の検出処理を行う。
【００６２】
また、物体検出部２３ａは、入力画像内から検出された判別の候補となる物体までの距離および物体の大きさを測定し、歩行者判別あるいは動物判別のどちらを実行するか決定する。具体的には、この物体検出部２３ａは、入力画像から検出された判別の候補となる物体までの距離を画像上の位置から測定して、その測定した距離に基づいて判別の候補となる物体の大きさを測定する。そして、物体検出部２３ａは、測定した判別の候補となる物体の大きさに基づいて、動物判別または歩行者判別のどちらを実行するか判別種別の決定を行う。例えば、測定した物体の大きさが５０ｃｍ以上であれば歩行者判別を実行するように決定して歩行者判別部２３ｂへ判別指令を出力し、５０ｃｍ未満であれば動物判別を実行するように決定して動物判別部２３ｃへ判別指令を出力する。
【００６３】
歩行者判別部２３ｂは、物体検出部２３ａによって入力画像から検出された判別の候補となる物体をニューラルネットワーク手法によって判別する処理部である。具体的には、この歩行者判別部２３ｂは、物体検出部２３からの指令を受け付けると、学習モデル記憶部２２ｂに記憶されている歩行者のパターンに基づいて、例えば、判別の候補となる大きさ５０ｃｍ以上の物体を歩行者であるか否か詳細に判別する。
【００６４】
また、この歩行者判別部２３ｂは、判別結果（例えば、「歩行者である」という判別結果）を衝突危険度判定部２３ｄへ出力する。
【００６５】
動物判別部２３ｃは、物体検出部２３ａによって入力画像から検出された判別の候補となる物体が、歩行者以外の動物であるか否かニューラルネットワーク手法によって判別する処理部である。具体的には、判別の候補となる物体について歩行者以外の所定の動物（例えば、犬や猫などの四足動物）を構成する所定の部位（例えば、尻尾や頭、四本足など）に関する判定を行って、その結果得られる所定の部位についての判定出力値が所定の閾値を超えている場合には、歩行者以外の所定の動物であると判別する。
【００６６】
詳細には、この動物判別部２３ｃは、画像から検出された判別の候補となる大きさ５０ｃｍ未満の物体の輪郭および大きさと、学習モデル記憶部２２ｂに記憶されている犬や猫などの尻尾のパターンの形状および大きさとを比較して、その一致度を示す判定出力値（例えば、Ａ）が、所定の閾値（例えば、Ｉ）を超えている場合（例えば、Ａ≧Ｉである場合）には、判別の候補となる物体について歩行者以外の所定の動物の特徴である尻尾が確認されたことから、判別の候補となる物体が歩行者以外の所定の動物であると判別する。
【００６７】
なお、尻尾に関する判定を行う場合に限定されるものではなく、四足動物の特徴部分である四本足に関する判定を行うようにしてもよいし、尻尾および四本足等の別の部位に関する判定をそれぞれおこなうようにして、いずれかに該当すれば歩行者以外の所定の動物であると判別するようにしてもよい。
【００６８】
また、この動物判別部２３ｃは、判別の結果、判別の候補となる物体が歩行者以外の所定の動物であると判別した場合には、判別結果（例えば、「動物である」という判別結果）を衝突危険度判定部２３ｄへ出力する。
【００６９】
また、動物判別部２３ｃにおいて実行される物体判別処理は、入力画像から検出された判別の候補となる物体をニューラルネットワーク手法によって判別する場合に限定されるものではなく、パターンマッチング手法によって判別する場合についても同様に適用できる。
【００７０】
衝突危険度判定部２３ｄは、歩行者判別部２３ｂまたは動物判別部２３ｃによる判別結果等に基づいて、入力画像から検出された判別の候補となる物体との衝突危険度を判定して、その判定結果を報知制御部１５、車両制御部１６および威嚇制御１７に出力する処理部である。具体的には、衝突危険度判定部２３ｄは、歩行者判別部２３ｂあるいは動物判別部２３ｃから、例えば、「歩行者である」あるいは「動物である」という判別結果を受け付けると、衝突危険度判定テーブル２２ｃから衝突危険度判定テーブル（図４参照）を読み出す。そして、衝突危険度判定部２３ｄは、動物判別部２３ｃから受け付けた判別結果、およびレーダ部１３から受け付けた距離情報に応じて衝突危険度を判定して、その衝突危険度判定結果（例えば、危険度レベル０〜３など）を報知制御部１５、車両制御部１６および威嚇制御１７にそれぞれ出力する。なお、衝突危険度判定部２３ｄは、歩行者判別部２３ｂあるいは動物判別部２３ｃから、例えば、「歩行者である」あるいは「動物である」という判別結果を受け付けた場合以外には衝突危険度判定を行わない。
【００７１】
［画像認識装置による処理（実施例１）］
次に、図６を用いて、実施例１に係る画像認識装置の制御部（マイコン）による処理を説明する。図６は、実施例１に係る画像認識装置の制御部（マイコン）２３の処理の流れを示すフローチャートである。なお、以下に説明する車両制御装置による処理は、画像が１フレーム入力されるたびに繰り返し実行される
【００７２】
同図に示すように、入力画像から判別の候補となる物体を検出した場合には（ステップＳ６０１肯定）、物体検出部２３ａは、入力画像内から検出された判別の候補となる物体までの距離および物体の大きさを測定する（ステップＳ６０２）。
【００７３】
続いて、物体検出部２３ａは、測定した判別の候補となる物体の大きさに基づいて、歩行者判別あるいは動物判別のどちらを実行するか判別種別の決定を行う（ステップＳ６０３）。すなわち、判別の候補となる物体の大きさが５０ｃｍ未満である場合には（ステップＳ６０３肯定）、動物判別（例えば、犬や猫などの四足動物の判別）を実行するように決定し、動物判別を実行するように動物判別部２３ｃへ判別指令を出力する。
【００７４】
動物判別指令を受け付けた動物判別部２３ｃは、判別の候補となる物体について歩行者以外の所定の動物（例えば、犬や猫などの四足動物）を構成する所定の部位（例えば、尻尾や頭、四本足など）に関する判定を行って、その結果得られる所定の部位についての判定出力値が所定の閾値を超えている場合には、歩行者以外の所定の動物であると判別する動物判別を実行する（ステップＳ６０４）。
【００７５】
具体的には、動物判別部２３ｃは、画像から検出された判別の候補となる大きさ５０ｃｍ未満の物体の輪郭および大きさと、学習モデル記憶部２２ｂに記憶されている犬や猫などの尻尾のパターンの形状および大きさとを比較して、その一致度を示す判定出力値が、所定の閾値を超えている場合には、判別の候補となる物体について歩行者以外の所定の動物の特徴である尻尾が確認されたことから、判別の候補となる物体が歩行者以外の所定の動物であると判別する。
【００７６】
そして、動物判別部２３ｃは、判別の結果、判別の候補となる物体が歩行者以外の所定の動物であると判別した場合には、判別結果（例えば、「動物である」という判別結果）を衝突危険度判定部２３ｄへ出力する。
【００７７】
動物判別部２３ｃから判別結果を受け付けた衝突危険度判定部２３ｄは、衝突危険度判定テーブル２２ｃから衝突危険度判定テーブル（図４参照）を読み出し、動物判別部２３ｃから受け付けた判別結果（例えば、「動物である」という判別結果）、およびレーダ部１３から受け付けた距離情報に応じて衝突危険度を判定する（ステップＳ６０５）。そして、衝突危険度判定部２３ｄは、その衝突危険度判定結果（例えば、危険度レベル０〜３など）を報知制御部１５、車両制御部１６および威嚇制御１７にそれぞれ出力する（ステップＳ６０６）。なお、衝突危険度判定部２３ｄは、歩行者判別部２３ｂあるいは動物判別部２３ｃから、例えば、「動物である」という判別結果を受け付けた場合以外には衝突危険度判定を行わない。
【００７８】
ここで、ステップＳ６０３の説明に戻ると、判別の候補となる物体の大きさが５０ｃｍ以上である（５０ｃｍ未満でない）場合には（ステップＳ６０３否定）、歩行者判別を実行するように歩行者判別部２３ｂへ判別指令を出力する。歩行者判別指令を受け付けた歩行者判別部２３ｂは、学習モデル記憶部２２ｂに記憶されている歩行者のパターンに基づいて、判別の候補となる大きさ５０ｃｍ以上の物体を歩行者であるか否か詳細に判別する（ステップＳ６０７）。
【００７９】
そして、歩行者判別部２３ｂは、判別の結果、判別の候補となる物体が歩行者であると判別した場合には、判別結果（例えば、「歩行者である」という判別結果）を衝突危険度判定部２３ｄへ出力する。
【００８０】
歩行者判別部２３ｂから判別結果を受け付けた衝突危険度判定部２３ｄは、ステップＳ６０５で説明したのと同様に、衝突危険度判定テーブル２２ｃから衝突危険度判定テーブル（図４参照）を読み出し、動物判別部２３ｃから受け付けた判別結果（例えば、「動物である」という判別結果）、およびレーダ部１３から受け付けた距離情報に応じて衝突危険度を判定する（ステップＳ６０８）。そして、衝突危険度判定部２３ｄは、ステップＳ６０６で説明したのと同様に、その衝突危険度判定結果（例えば、危険度レベル０〜３など）を報知制御部１５、車両制御部１６および威嚇制御１７にそれぞれ出力する（ステップＳ６０９）。なお、衝突危険度判定部２３ｄは、例えば、歩行者判別部２３ｂから「歩行者である」という判別結果を受け付けた場合以外には衝突危険度判定を行わない。
【００８１】
［動物判別処理（実施例１）］
続いて、図７を用いて、実施例１に係る画像認識装置の制御部（マイコン）を構成する動物判別部２３ｃによる処理を説明する。図７は、実施例１に係る画像認識装置を構成する動物判別部２３ｃの処理の流れを示すフローチャートである。
【００８２】
物体検出部２３ａから動物判別指令を受け付けると、動物判別部２３ｃは動物判別処理を実行する。具体的には、図７に示すように、動物判別部２３ｃは、画像から検出された判別の候補となる大きさ５０ｃｍ未満の物体の輪郭および大きさと、犬や猫などの尻尾のパターンの形状および大きさとを比較して、その一致度を示す判定出力値が、所定の閾値を超えているか否か判定することで、判別の候補となる物体に尻尾があるか否か確認する（ステップＳ７０１）。
【００８３】
その結果、動物判別部２３ｃは、判別の候補となる物体について歩行者以外の所定の動物の特徴である尻尾が有るものと確認できた場合には（ステップＳ７０１肯定）、判別の候補となる物体が歩行者以外の所定の動物であると判別する。そして、動物判別部２３ｃは、判別結果（例えば、「動物である」という判別結果）を衝突危険度判定部２３ｄへ出力する（ステップＳ７０２）。
【００８４】
これとは反対に、判別の候補となる物体について歩行者以外の所定の動物の特徴である尻尾を確認できなかった場合には（ステップＳ７０１否定）、動物判別部２３ｃは、次に、判別の候補となる物体の輪郭および形状と、四足動物の特徴部分の一つである四本足のパターンの形状および大きさとを比較して、その一致度を示す判定出力値が所定の閾値を超えているか否か判定することで、判別の候補となる物体に四本足があるか否か確認する（ステップＳ７０３）。
【００８５】
その結果、動物判別部２３ｃは、判別の候補となる物体について歩行者以外の所定の動物の特徴である四本足が有るものと確認できた場合（ステップＳ７０３肯定）、判別の候補となる物体が歩行者以外の所定の動物であると判別する。そして、動物判別部２３ｃは、判別結果（例えば、「動物である」という判別結果）を衝突危険度判定部２３ｄへ出力する（ステップＳ７０２）。
【００８６】
一方、判別の候補となる物体について歩行者以外の所定の動物の特徴である四本足を確認できなかった場合には（ステップＳ７０１否定）、動物判別部２３ｃは、判別の候補となる物体が歩行者以外の所定の動物ではないと判別し、衝突危険度判定部２３ｄへ判別結果の出力は行わない。
【００８７】
［車両制御装置の処理（実施例１）］
続いて、図８を用いて、実施例１に係る車両制御装置による処理を説明する。図８は、実施例１に係る車両制御装置の処理の流れを示すフローチャートである。同図に示すように、衝突危険度判定部２３ｄから衝突危険度判定結果を受け付けると（ステップＳ８０１肯定）、報知制御部１５、車両制御部１６および威嚇制御部１７は、受け付けた判定結果に応じて、報知制御、車両制御および威嚇制御をそれぞれ行う（ステップＳ８０２）。
【００８８】
具体的には、報知制御部１５は、図５に例示するように、危険度レベルに応じた制御項目を記憶して構成する制御テーブルを記憶しており、衝突危険度判定部２３ｄから受け付けた危険度判定結果が危険度レベル１である場合には、車内通知部１４に対して動物の存在を示す画像やアラーム音によって、運転者への注意や警告を行うように指令を出力する。なお、画像認識装置２０において、衝突危険度判定部２３ｄを設けない構成とする場合には、報知制御部１５が自ら衝突危険度を判定して報知制御を実行するようにしてもよい。
【００８９】
また、車両制御部１６は、図５に例示するように、危険度レベルに応じた制御項目を記憶して構成する制御テーブルを記憶しており、衝突危険度判定部２３ｄから受け付けた危険度判定結果が危険度レベル２である場合には、ブレーキ制御を実行して速度減速を行う。また、衝突危険度判定部２３ｄから受け付けた危険度判定結果が危険度レベル３である場合には、ハンドル制御を実行して衝突回避を行う。なお、画像認識装置２０において、衝突危険度判定部２３ｄを設けない構成とする場合には、車両制御部１６が自ら衝突危険度を判定して報知制御を実行するようにしてもよい。
【００９０】
また、威嚇制御部１７は、図５に例示するように、危険度レベルに応じた制御項目を記憶して構成する制御テーブルを記憶しており、衝突危険度判定部２３ｄから受け付けた危険度判定結果が危険度レベル２である場合には、クラクション音やライトなど音や光による威嚇を行う。また、衝突危険度判定部２３ｄから受け付けた危険度判定結果が危険度レベル３である場合には、においによる威嚇を行う。なお、画像認識装置２０において、衝突危険度判定部２３ｄを設けない構成とする場合には、威嚇制御部１７が自ら衝突危険度を判定して報知制御を実行するようにしてもよい。
【００９１】
このように、画像から検出された物体が歩行者であると判別された場合には、歩行者を示す表示やアラームを出し、動物であると判別された場合には、動物の存在を示す表示やアラームを出すことにより、運転者は、歩行者や動物のそれぞれに応じた適切な回避行動（例えば、歩行者に対してはブレーキ、動物に対してはクラクションなど）をとることができる。さらに、歩行者の場合は動物に比べてアラームの音量を大きくする等、歩行者や動物のそれぞれに応じた警告の報知ができる。
【００９２】
［実施例１の効果］
上述してきたように、実施例１によれば、車載のカメラで撮像された画像から判別の候補となる物体が検出された場合に、判別の候補となる物体が歩行者以外の所定の動物であるか否か判別する（例えば、パターンマッチング手法やニューラルネットワーク手法により判別する）ので、画像から検出された判別の候補となる物体が歩行者以外の所定の動物（例えば、犬や猫などの四足動物）を判別することができ、歩行者であるか、歩行者以外の動物であるかを明確に区別することが可能である。
【００９３】
また、実施例１によれば、判別の候補となる物体の大きさを測定して、その大きさが所定の大きさ（例えば、５０ｃｍ）未満である場合には歩行者ではないと判別するので、歩行者以外の動物である蓋然性の高い物体を高さによって予め選別して、歩行者以外の動物（例えば、犬や猫などの四足動物）を効率的に判別することが可能である。
【００９４】
また、実施例１によれば、判別の候補となる物体が歩行者以外の所定の動物であると判別された場合に、運転者に警告を報知するので、歩行者以外の動物（例えば、犬や猫などの四足動物）の存在を運転者に認識させることができ、車両走行中における動物との衝突を回避することが可能である。
【００９５】
また、実施例１によれば、判別の候補となる物体が歩行者以外の所定の動物であると判別された場合に、所定の動物を威嚇するので、例えば、音や光、においなどによる威嚇を行って、車両と衝突する可能性のある位置から歩行者以外の動物（例えば、犬や猫などの四足動物）を退避させることができ、車両走行中における動物との衝突を回避することが可能である。
【００９６】
また、上記の実施例において、画像から検出された物体の大きさによって動物判別を実施するか否か決定する場合を説明したが、本発明はこれに限定されるものではなく、画像から検出された物体を歩行者であるか否か判別した後に、歩行者でなければ動物判別を実施するようにしてもよい。これにより、歩行者が判別されない事態を防止することができるだけでなく、歩行者以外の動物（例えば、犬や猫などの四足動物）を判別することも可能である。
【００９７】
また、上記の実施例において、画像から検出された物体について初めから動物判別を実施するようにしてもよい。これにより、画像から検出された判別の候補となる物体が、歩行者であるか、歩行者以外の動物であるかを明確に区別することが可能である。
【００９８】
また、上記の実施例において、画像から検出された判別の候補となる物体が、例えば、犬である場合には、犬の泣き声などによって運転者に警告するなど、画像から検出された判別の候補となる物体の判別結果に応じて運転者に警告を報知するようにしてもよい。これにより、画像から検出された判別の候補となる物体が歩行者である場合と歩行者以外の動物である場合（例えば、犬や猫などの四足動物）を区別した適切な警告を行うことが可能である。
【００９９】
また、上記の実施例において、画像から検出された判別の候補となる物体が、例えば、犬とその犬を散歩させている飼い主であると判別された場合には、飼い主を狼狽させないようにボリュームを抑えた音声による威嚇を行うなど、画像から検出された判別の候補となる物体の判別結果に応じて所定の動物を威嚇するようにしてもよい。これにより、画像から検出された判別の候補となる物体が歩行者および歩行者以外の動物の複数である場合などに、動物だけである場合よりも弱めに威嚇を行うなど程度を考慮した適切な威嚇を行うことが可能である。
【実施例２】
【０１００】
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
【０１０１】
（１）複数部位による動物判別
上記の実施例１では、判別の候補となる物体について、歩行者以外の所定の動物（例えば、犬や猫などの四足動物）を構成する所定の部位（例えば、尻尾や四本足など）に関する判定を行って、所定の動物であるか否か判別する場合を説明したが、本発明はこれに限定されるものではなく、判別の候補となる物体について、歩行者以外の所定の動物を構成する複数の所定の部位に関する判定をそれぞれ行って、所定の動物であるか否か判別するようにしてもよい。
【０１０２】
具体的には、図９に例示するように、画像から検出された判別の候補となる物体の輪郭および大きさと、歩行者以外の所定の動物を構成する複数の所定の部位（例えば、尻尾、四本足、頭、胴体など）のパターンの形状および大きさとを比較して、その一致度を示す各判定出力値（例えば、尻尾についてＣ、四本足についてＤ、頭についてＥ、胴体についてＦ）を加算した合計値が、所定の閾値（例えば、Ｈ）を超えている場合には、判別の候補となる物体に歩行者以外の所定の動物の特徴である各部位が確認されたことから、歩行者以外の所定の動物であると判別する。
【０１０３】
これにより、例えば、四本足や尻尾などの動物の各部位に関する判定をそれぞれ行うことにより、画像から検出された物体を動物であるか否かを総合的に判別することができ、歩行者以外の動物（例えば、犬や猫などの四足動物）を精度よく判別することが可能である。
【０１０４】
（２）出力値への重み付け、多数決等による判別
また、上記の（１）において、歩行者以外の所定の動物を構成する複数の所定の部位に関する判定の結果出力される各判定出力値に重み付けを行って（例えば、四本足の動物の特徴部分である尻尾に関する判定出力値に重み付けを行う）、画像から検出された判別の候補となる物体について、歩行者以外の所定の動物であるか否か詳細に判別するようにしてもよい。また、判定結果を、例えば、歩行者と判別すれば○、歩行者と判別しなければ×等で出力して、その判別結果の多数決によって、判別の候補として入力画像から検出された物体について、歩行者であるか否か詳細に判別するようにしてもよい。
【０１０５】
これにより、歩行者以外の動物（例えば、犬や猫などの四足動物）を判別する精度を簡易な操作で向上させることが可能である。
【０１０６】
（３）目の反射による判別
また、上記の実施例１において、判別の候補となる物体について画素値に関する判定（例えば、パターンマッチングなどによる判定）を行って、その結果得られる画素値（判別の候補となる物体の画素値）が所定の閾値を超えている場合であって、かつ、その判定位置が所定の高さ以内（例えば、５０ｃｍ以内）である場合には、所定の動物であると判定するようにしてもよい。
【０１０７】
これにより、例えば、車両のライトを受けて光る動物の目の特性に基づいて、画像から検出された物体が歩行者以外の動物であるか判別することができ、夜間であっても歩行者以外の動物（例えば、犬や猫などの四足動物）を判別することが可能である。
【０１０８】
（４）動きによる判別
また、上記の実施例１において、複数の連続画像（車載のカメラから入力される複数フレームの画像）から検出された判別の候補となる同一物体について、歩行者以外の所定の動物を構成する所定の部位の動作に関する判定（例えば、尻尾や頭、足の動きなど、歩行者以外の動物特有の動作に関する判定）を行って、その結果得られる判定出力値が所定の閾値を超えている場合には歩行者以外の所定の動物であると判別するようにしてもよい。
【０１０９】
これにより、静止していることが少ないと考えられる動物の動きに着目することで、歩行者以外の動物（例えば、犬や猫などの四足動物）を精度よく判別することが可能である。
【０１１０】
（５）判別方法の組合せ
また、上記の実施例１、実施例２の（３）および（４）において説明した複数の判別方法を適宜組合わせて、動物判別を実行するようにしてもよい。そこで、以下では、図１０を用いて、この場合の処理の流れを簡単に説明する。図１０は、実施例２に係る車両制御装置に適用される画像認識装置の動物判別処理の流れを示すフローチャートである。
【０１１１】
物体判別部２３ａから動物判別指令を受け付けると、動物判別部２３ｃは動物判別処理を実行する。具体的には、同図に示すように、動物判別部２３ｃは、画像から検出された判別の候補となる大きさ５０ｃｍ未満の物体の輪郭および大きさと、犬や猫などの尻尾のパターンの形状および大きさとを比較して、その一致度を示す判定出力値が、所定の閾値を超えているか否か判定することで、判別の候補となる物体に尻尾があるか否か確認する（ステップＳ１００１）。
【０１１２】
その結果、動物判別部２３ｃは、判別の候補となる物体について歩行者以外の所定の動物の特徴である尻尾が有るものと確認できた場合には（ステップＳ１００１肯定）、判別の候補となる物体が歩行者以外の所定の動物であると判別する。そして、動物判別部２３ｃは、判別結果（例えば、「動物である」という判別結果）を衝突危険度判定部２３ｄへ出力する（ステップＳ１００２）。
【０１１３】
これとは反対に、判別の候補となる物体について歩行者以外の所定の動物の特徴である尻尾を確認できなかった場合には（ステップＳ１００１否定）、動物判別部２３ｃは、次に、判別の候補となる物体の輪郭および形状と、四足動物の特徴部分の一つである四本足のパターンの形状および大きさとを比較して、その一致度を示す判定出力値が所定の閾値を超えているか否か判定することで、判別の候補となる物体に四本足があるか否か確認する（ステップＳ１００３）。
【０１１４】
その結果、動物判別部２３ｃは、判別の候補となる物体について歩行者以外の所定の動物の特徴である四本足が有るものと確認できた場合には（ステップＳ１００３肯定）、判別の候補となる物体が歩行者以外の所定の動物であると判別する。そして、動物判別部２３ｃは、判別結果（例えば、「動物である」という判別結果）を衝突危険度判定部２３ｄへ出力する（ステップＳ１００２）。
【０１１５】
また、これとは反対に、判別の候補となる物体について歩行者以外の所定の動物の特徴である四本足を確認できなかった場合には（ステップＳ１００３否定）、動物判別部２３ｃは、次に、判別の候補となる物体について、画素値に関する判定（例えば、パターンマッチングなどによる判定）を行って、その結果、判別の候補となる物体の画素値が所定の閾値を超えている場合であって、かつ、その判定位置が所定の高さ以内（例えば、５０ｃｍ以内）であるか否か確認する（ステップＳ１００４）。
【０１１６】
その結果、動物判別部２３ｃは、判別の候補となる物体について歩行者以外の所定の動物の特徴である目の反射が有るものと確認できた場合には（ステップＳ１００３肯定）、判別の候補となる物体が歩行者以外の所定の動物であると判別する。そして、動物判別部２３ｃは、判別結果（例えば、「動物である」という判別結果）を衝突危険度判定部２３ｄへ出力する（ステップＳ１００２）。
【０１１７】
また、これとは反対に、判別の候補となる物体について歩行者以外の所定の動物の特徴である目の反射を確認できなかった場合には（ステップＳ１００４否定）、動物判別部２３ｃは、次に、判別の候補となる物体について、判別の候補となる物体の輪郭および形状と、四足動物を構成する所定の部位の動きパターン（頭や尻尾、足などの動きのパターン）の形状および大きさとを比較して、その一致度を示す判定出力値が所定の閾値を超えているか否か判定することで、判別の候補となる物体に動きがあるか否か確認する（ステップＳ１００５）。
【０１１８】
その結果、動物判別部２３ｃは、判別の候補となる物体について、歩行者以外の所定の動物としての動きが有るものと確認できた場合には（ステップＳ１００５肯定）、判別の候補となる物体が歩行者以外の所定の動物であると判別する。そして、動物判別部２３ｃは、判別結果（例えば、「動物である」という判別結果）を衝突危険度判定部２３ｄへ出力する（ステップＳ１００２）。
【０１１９】
一方、歩行者以外の所定の動物としての動きが確認できなかった場合には（ステップＳ１００５否定）、動物判別部２３ｃは、判別の候補となる物体が歩行者以外の所定の動物ではないと判別し、衝突危険度判定部２３ｄへ判別結果の出力は行わない。
【０１２０】
このようなことから、画像から検出された物体が歩行者以外の所定の動物であるか否か感度よく判別することが可能である。
【０１２１】
（６）装置構成等
また、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【０１２２】
また、図３示した車両制御装置１０および画像認識装置２０の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、車両制御装置１０および画像認識装置２０の分散・統合の具体的形態は図示のものに限られず、例えば、画像認識装置２０の歩行者判別部２３ｂおよび動物判別部２３ｃを統合するなど、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、車両制御装置１０および画像認識装置２０にて行なわれる各処理機能（車両制御装置１０の車両制御機能や画像認識装置２０の物体検出機能、歩行者判別機能および動物判別機能など）は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【０１２３】
なお、本実施例で説明した各処理方法（図６、図７、図８および図１０参照）は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【産業上の利用可能性】
【０１２４】
以上のように、本発明に係る画像認識装置、画像認識方法および車両制御装置は、カメラで撮像された画像から判別の候補となる物体が検出された場合に、判別の候補となる物体を判別する場合に有用であり、特に、画像から検出された判別の候補となる物体が歩行者以外の所定の動物（例えば、犬や猫などの四足動物）を判別して、歩行者であるか、歩行者以外の動物であるかを明確に区別することに適する。
【図面の簡単な説明】
【０１２５】
【図１】実施例１の概要および特徴を説明するための図である。
【図２】実施例１の概要および特徴を説明するための図である。
【図３】実施例１に係る画像認識装置および車両制御装置の構成を示すブロック図である。
【図４】衝突危険度判定テーブルの構成例を示す図である。
【図５】制御テーブルの構成例を示す図である。
【図６】実施例１に係る画像処理装置の制御部（マイコン）２３の処理の流れを示すフローチャートである。
【図７】実施例１に係る画像認識装置を構成する動物判別部２３ｃの処理の流れを示すフローチャートである。
【図８】実施例１に係る車両制御装置の処理の流れを示すフローチャートである。
【図９】実施例２に係る動物判別処理の概要を説明するための図である。
【図１０】実施例２に係る画像認識装置の動物判別部２３ｃの処理の流れを示すフローチャートである。
【符号の説明】
【０１２６】
１０ 車両制御装置
１１ 撮像装置
１２ ナビ部
１３ レーダ部
１４ 車内通知部
１５ 報知制御部
１６ 車両制御部
１７ 威嚇制御部
２０ 画像認識装置
２１ 前処理部
２１ａ フィルタ部
２１ｂ 輪郭抽出部
２２ 記憶部
２２ａ 学習規定記憶部
２２ｂ 学習モデル記憶部
２２ｃ 衝突危険度判定テーブル
２３ 制御部（マイコン）
２３ａ 物体検出部
２３ｂ 歩行者判別部
２３ｃ 動物判別部
２３ｄ 衝突危険度判定部
【技術分野】
【０００１】
この発明は、カメラで撮像された画像から判別の候補となる物体が検出された場合に、当該判別の候補となる物体が歩行者以外の所定の動物であるか否か判別する画像認識装置等に関する。
【背景技術】
【０００２】
従来より、車両走行中における歩行者との衝突を回避すること等を目的として、車載のカメラで撮像された画像から検出された物体が歩行者であるか否かを判別する技術が提案されている（特許文献１参照）。そして、画像から検出された物体が歩行者であると判別された場合には、例えば、音声警告などの報知制御や車両速度減速などの車両走行制御を行って、歩行者との衝突を回避する。
【０００３】
【特許文献１】特開２００６−６４６５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記した従来の技術は、歩行者以外の動物を判別することができず、また、車両走行中に歩行者以外の動物と衝突してしまう場合があるという問題点があった。
【０００５】
すなわち、従来の技術は、車載のカメラで撮像された画像から検出された物体が歩行者であるか否かを判別するものであるため、歩行者以外の動物（例えば、犬や猫などの動物）を判別することができないという問題点があった。
【０００６】
また、従来の技術は、例えば、車載のカメラで撮像された画像から検出された物体が、路上への飛び出した犬や猫などの動物であっても歩行者以外の物体と判別するので、特に報知制御や車両走行制御は行われず、路上への飛び出した犬や猫などの動物と衝突してしまう場合があるという問題点があった。
【０００７】
また、歩行者以外の動物を含むパターンを記憶しておいて、歩行者以外の動物を認識した場合には無条件に運転者へ警告を報知することも考えられるが、このように区別なく警告を報知すると運転者はどのような障害物なのか認識することができず、適切な回避行動がとれないという問題点がある。
【０００８】
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、画像から検出された判別の候補となる物体が歩行者以外の所定の動物であるか否かを判別することができ、歩行者であるか、歩行者以外の動物であるかを明確に区別することが可能な画像認識装置、画像認識方法および車両制御装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決し、目的を達成するため、請求項１に係る発明は、カメラで撮像された画像から判別の候補となる物体が検出された場合に、当該判別の候補となる物体が歩行者以外の所定の動物であるか否か判別する物体判別手段を備え、当該判別の候補となる物体が歩行者であるか、または歩行者以外の動物であるかを区別することを特徴とする。
【００１０】
また、請求項２に係る発明は、上記の発明において、前記物体判別手段は、前記判別の候補となる物体について、前記歩行者以外の所定の動物を構成する所定の部位に関する判定を行って、その結果得られる当該所定の部位についての判別値が所定の閾値を超えている場合には、当該歩行者以外の所定の動物であると判別することを特徴とする。
【００１１】
また、請求項３に係る発明は、上記の発明において、前記物体判別手段は、前記判別の候補となる物体について、前記歩行者以外の所定の動物を構成する複数の所定の部位に関する判定をそれぞれ行って、その結果得られる各判別値を加算した合計値が所定の閾値を超えている場合には、当該歩行者以外の所定の動物であると判別することを特徴とする。
【００１２】
また、請求項４に係る発明は、上記の発明において、前記物体判別手段は、前記各判別値のいずれかに重み付けを行った上で、当該各判別値を加算した合計値が所定の閾値を超えている場合には、前記歩行者以外の所定の物体であると判別することを特徴とする。
【００１３】
また、請求項５に係る発明は、上記の発明において、前記物体判別手段は、前記判別の候補となる物体について画素値に関する判定を行って、その結果得られる当該画素値が所定の閾値を超えている場合であって、かつ当該判定位置が所定の高さ以内である場合には、前記歩行者以外の所定の動物であると判別することを特徴とする。
【００１４】
また、請求項６に係る発明は、上記の発明において、前記物体判別手段は、複数の連続画像から検出された判別の候補となる同一物体について、前記歩行者以外の所定の動物の所定の部位の動作に関する判定を行って、その結果得られる判別値が所定の閾値を超えている場合には、当該歩行者以外の所定の動物であると判別することを特徴とする。
【００１５】
また、請求項７に係る発明は、上記の発明において、前記物体判別手段は、前記判別の候補となる物体を歩行者であるか否か判別し、当該判別の候補となる物体を歩行者ではないと判別した場合には、当該判別の候補となる物体について、当該歩行者以外の所定の動物であるか否か判別することを特徴とする。
【００１６】
また、請求項８に係る発明は、上記の発明において、前記判別の候補となる物体の大きさを測定する測定手段をさらに備え、前記物体判別手段は、前記測定手段により測定された前記判別の候補となる物体の大きさが所定の大きさ未満である場合には、当該判別の候補となる物体を歩行者ではないと判別することを特徴とする。
【００１７】
また、請求項９に係る発明は、カメラで撮像された画像から判別の候補となる物体が検出された場合に、当該判別の候補となる物体が、歩行者以外の所定の動物であるか否か判別する物体判別手段により前記判別の候補となる物体が前記歩行者以外の所定の動物であると判別された場合に運転者に警告を報知する警告報知手段を備えたことを特徴とする。
【００１８】
また、請求項１０に係る発明は、上記の発明において、前記物体判別手段により前記判別の候補となる物体が前記歩行者以外の所定の動物であると判別された場合に、当該歩行者以外の所定の動物に対して威嚇する威嚇制御手段をさらに備えたことを特徴とする。
【００１９】
また、請求項１１に係る発明は、上記の発明において、前記警告報知手段は、前記物体判別手段による判別結果に応じて運転者に警告を報知することを特徴とする。
【００２０】
また、請求項１２に係る発明は、上記の発明において、前記威嚇制御手段は、前記物体判別手段による判別結果に応じて前記歩行者以外の所定の動物に対して威嚇することを特徴とする。
【００２１】
また、請求項１３に係る発明は、カメラで撮像された画像から判別の候補となる物体が検出された場合に、当該判別の候補となる物体が歩行者以外の所定の動物であるか否か判別する物体判別工程を備え、当該判別の候補となる物体が歩行者であるか、または歩行者以外の動物であるかを区別することを特徴とする。
【発明の効果】
【００２２】
請求項１または１３の発明によれば、カメラで撮像された画像から判別の候補となる物体が検出された場合に、判別の候補となる物体が歩行者以外の所定の動物であるか否か判別する（例えば、パターンマッチング手法やニューラルネットワーク手法により判別する）ので、画像から検出された判別の候補となる物体が歩行者以外の所定の動物（例えば、犬や猫などの四足動物）を判別することができ、歩行者であるか、歩行者以外の動物であるかを明確に区別することが可能である。
【００２３】
また、請求項２の発明によれば、判別の候補となる物体について歩行者以外の所定の動物を構成する所定の部位に関する判定を行って、その結果得られる当該所定の部位についての判別値（例えば、出力値）が所定の閾値を超えている場合には、歩行者以外の所定の動物であると判定するので、例えば、四足動物の特徴部分である四本足や尻尾などの部位に基づいて、画像から検出された物体が歩行者以外の動物（例えば、犬や猫などの四足動物）であるか否か効率的に判別することが可能である。
【００２４】
また、請求項３の発明によれば、判別の候補となる物体について、歩行者以外の所定の動物を構成する複数の所定の部位に関する判定をそれぞれ行って、その結果得られる各判別値を加算した合計値が所定の閾値を超えている場合には、歩行者以外の所定の動物であると判別するので、例えば、四本足や尻尾などの動物の各部位に関する判定をそれぞれ行うことにより、画像から検出された物体を動物であるか否かを総合的に判別することができ、歩行者以外の動物（例えば、犬や猫などの四足動物）を精度よく判別することが可能である。
【００２５】
また、請求項４の発明によれば、各判別値のいずれかに重み付けを行った上で、各判別値を加算した合計値が所定の閾値を超えている場合には、歩行者以外の所定の動物であると判別するので、歩行者以外の動物（例えば、犬や猫などの四足動物）を判別する精度を簡易な操作で向上させることが可能である。
【００２６】
また、請求項５の発明によれば、判別の候補となる物体について画素値に関する判定を行って、その結果得られる画素値（判別の候補となる物体の画素値）が所定の閾値を超えている場合であって、かつ、その判定位置が所定の高さ以内（例えば、５０ｃｍ以内）である場合には、歩行者以外の所定の動物であると判定するので、例えば、車両のライトを受けて光る動物の目の特性に基づいて、画像から検出された物体が動物であるか判別することができ、夜間であっても歩行者以外の動物（例えば、犬や猫などの四足動物）を判別することが可能である。
【００２７】
また、請求項６の発明によれば、複数の連続画像から検出された判別の候補となる同一物体について、歩行者以外の所定の動物の所定の部位の動作に関する判定（例えば、尻尾や頭、足の動きなど、歩行者以外の動物特有の動作に関する判定）を行って、その結果得られる判別値が所定の閾値を超えている場合には、歩行者以外の所定の動物であると判別するので、静止していることが少ないと考えられる動物の動きに着目することで、歩行者以外の動物（例えば、犬や猫などの四足動物）を精度よく判別することが可能である。
【００２８】
また、請求項７の発明によれば、判別の候補となる物体を歩行者であるか否か判別し、判別の候補となる物体を歩行者ではないと判別した場合には、歩行者以外の所定の動物であるか否か判別するので、歩行者が判別されない事態を防止することができるだけでなく、歩行者以外の動物（例えば、犬や猫などの四足動物）を判別することも可能である。
【００２９】
また、請求項８の発明によれば、判別の候補となる物体の大きさを測定して、その大きさが所定の大きさ（例えば、５０ｃｍ）未満である場合には歩行者ではないと判別するので、歩行者以外の動物である蓋然性の高い物体を高さによって予め選別して、歩行者以外の動物（例えば、犬や猫などの四足動物）をより効率的に判別することが可能である。
【００３０】
また、請求項９の発明によれば、判別の候補となる物体が歩行者以外の所定の動物であると判別された場合には、運転者に警告を報知するので、歩行者以外の動物（例えば、犬や猫などの四足動物）の存在を運転者に認識させることができ、車両走行中における動物との衝突を回避することが可能である。
【００３１】
また、請求項１０の発明によれば、判別の候補となる物体が歩行者以外の所定の動物であると判別された場合に、歩行者以外の所定の動物に対して威嚇するので、例えば、音や光、においなどによる威嚇を行って、車両と衝突する可能性のある位置から歩行者以外の動物（例えば、犬や猫などの四足動物）を退避させることができ、車両走行中における動物との衝突を回避することが可能である。
【００３２】
また、請求項１１の発明によれば、画像から検出された判別の候補となる物体の判別結果に応じて運転者に警告を報知するので、画像から検出された判別の候補となる物体が歩行者である場合と歩行者以外の動物である場合（例えば、犬や猫などの四足動物）を区別した適切な警告を行うことが可能である。
【００３３】
また、請求項１２の発明によれば、画像から検出された判別の候補となる物体の判別結果に応じて所定の動物に対して威嚇するので、画像から検出された判別の候補となる物体が歩行者および歩行者以外の動物の複数である場合に、動物だけである場合よりも弱めに威嚇を行うなど程度を考慮した適切な威嚇を行うことが可能である。
【発明を実施するための最良の形態】
【００３４】
以下に添付図面を参照して、本発明に係る画像認識装置、画像認識方法および車両制御装置の実施例を詳細に説明する。なお、以下では、本発明に係る画像認識装置および車両制御装置を車両に搭載する場合を実施例１として説明した後に、本発明に含まれる他の実施例を説明する。
【実施例１】
【００３５】
以下の実施例１では、本発明の実施例１に係る概要および特徴、構成および処理の流れを順に説明し、最後に実施例１による効果を説明する。
【００３６】
［概要および特徴（実施例１）］
まず最初に、図１を用いて、実施例１の概要および特徴を説明する。図１は、実施例１の概要および特徴を説明するための図である。
【００３７】
同図に示すように、実施例１は、車載のカメラ（例えば、単眼カメラやステレオカメラなど）で撮像された画像から判別の候補となる物体が検出された場合に、その物体を判別するとともに所定の制御（警告報知制御や車両走行制御）を行うことを概要とするが、その物体を歩行者以外、すなわち人間以外の所定の動物であるか否か判別する点に主たる特徴がある。なお、ここでは、物体の判別の効率化を図るため、画像上の道路内に存在する物体のみを判別対象とする。
【００３８】
この主たる特徴について具体的に説明すると、図１に示すように、入力画像から判別の候補となる物体を検出すると（図１の（１）参照）、画像上の位置から検出した物体までの距離を測定する（図１の（２）参照）とともに、その距離に基づいて検出した物体の大きさを測定する（図１の（３）参照）。
【００３９】
次に、測定した判別の候補となる物体の大きさに基づいて、歩行者判別あるいは動物判別のどちらを実行するか判別種別の決定を行う（図１の（４）参照）。例えば、画像から検出された判別の候補となる物体の５０ｃｍ未満であれば動物判別（例えば、犬や猫などの四足動物の判別）を実行するように決定し、大きさが５０ｃｍ以上であれば歩行者判別を実行するように決定する（図１の（５）参照）。
【００４０】
ここで、判別種別の決定の結果、判別の候補となる物体について、動物判別を実行するものと決定した場合には、判別の候補となる物体について歩行者以外の所定の動物（例えば、犬や猫などの四足動物）を構成する所定の部位（例えば、尻尾や頭、四本足など）に関する判定を行って、その結果得られる所定の部位についての判定出力値が所定の閾値を超えている場合には、歩行者以外の所定の動物であると判別する。
【００４１】
具体的には、図２に例示するように、画像から検出された判別の候補となる大きさ５０ｃｍ未満の物体の輪郭および大きさと、犬や猫などの尻尾のパターンの形状および大きさとを比較して、その一致度を示す判定出力値（例えば、Ａ）が、所定の閾値（例えば、Ｉ）を超えている場合（例えば、Ａ≧Ｉである場合）には、判別の候補となる物体について歩行者以外の所定の動物の特徴である尻尾が確認されたことから、判別の候補となる物体が歩行者以外の所定の動物であると判別する。なお、尻尾に関する判定を行う場合に限定されるものではなく、四足動物の特徴部分である四本足に関する判定を行うようにしてもよいし、尻尾および四本足等の別の部位に関する判定をそれぞれおこなうようにしてもよい。
【００４２】
また、同様に、判別種別の決定の結果、判別の候補となる物体について、歩行者判別を実行するものと決定した場合には、判別の候補となる物体について歩行者判別を行う。
【００４３】
続いて、動物判別の結果等に基づいて衝突危険度判定を行う。具体的には、この車両制御装置は、判別の候補となる物体を歩行者以外の所定の動物である」と判別した場合に、画像上の位置から先ほど測定した動物までの距離（図１の（２）参照）などに応じて、歩行者以外の所定の動物であると判別された物体との衝突危険度を判定する。そして、この車両制御装置は、衝突危険度判定結果に応じて運転者への警告や動物への威嚇を行う。
【００４４】
また、同様に、歩行者判別の結果等に基づいて衝突危険度判定を行う。そして、判別の候補となる物体を歩行者であると判別した場合には、歩行者であると判別された物体との衝突危険度を判定し、その衝突危険度判定結果に応じて運転者への警告や車両の制御を行う。
【００４５】
このようなことから、上述した主たる特徴の如く、画像から検出された判別の候補となる物体が歩行者以外の所定の動物（例えば、犬や猫などの四足動物）を判別することができ、歩行者であるか、歩行者以外の動物であるかを明確に区別することが可能である。さらには、歩行者以外の所定の動物（例えば、犬や猫などの四足動物）の存在を運転者に認識させることができ、車両走行中における動物との衝突を回避することが可能である。
【００４６】
［実施例１の構成］
次に、図３を用いて、実施例１に係る画像認識装置および車両制御装置の構成を説明する。図３は、実施例１に係る画像認識装置および車両制御装置の構成を示すブロック図である。同図に示すように、この車両は、車両制御装置１０、撮像装置（単眼カメラ）１１、ナビ部１２、レーダ部１３、車内通知部１４、画像認識装置２０を搭載している。また、車両制御装置１０は、報知制御部１５と、車両制御部１６と、威嚇制御部１７とから構成され、画像認識装置２０は、前処理部２１と、記憶部２２と、制御部（マイコン）２３とから構成される。
【００４７】
このうち、ナビ部１２は、ＧＰＳ（Global Positioning System）人工衛星と通信を行って、特定した自動車の位置と地図データとから走行経路の設定および誘導を行う手段である。また、ナビ部１２は、自動車の位置情報や道路形状、路幅、傾斜など車両運転操作に有用な各種の情報を、後述する車内通知部１４を介して運転者に供給する。
【００４８】
レーダ部１３は、レーダ（例えば、７６．５ＧＨｚのミリ波レーダや光レーダなど）を照射して、前方の車両や障害物（例えば、歩行者や歩行者以外の動物）との距離や速度、方向などを測定する手段である。例えば、このレーダ部１３は、車両前方に位置する歩行者や歩行者以外の動物の存在を検知すると、その足元（接地面）を自動的に認識して、その接地面から車両までの距離をレーダによって取得（測定）した後、衝突危険度判定部２３ｄにその距離情報（車両から歩行者までの距離）を出力する。
【００４９】
車内通知部１４は、ナビ部１２や後述する報知制御部１５からの情報を通知する手段であり、モニタやスピーカなどで構成される。例えば、この車内通知部１４は、報知制御部１５からの指令を受け付けて、動物の存在を示す画像をモニタに出力して運転者の注意を促したり、メッセージやアラーム音をスピーカから流すことにより運転者に対して警告を行ったりする。
【００５０】
車両制御装置１０の報知制御部１５は、後に詳述する衝突危険度判定部２３ｄから受け付けた衝突危険度判定結果に応じて報知制御を行う処理部である。例えば、この報知制御部１５は、図５に例示するように、危険度レベルに応じた制御項目を記憶して構成する制御テーブルを記憶しており、衝突危険度判定部２３ｄから受け付けた危険度判定結果が危険度レベル１である場合には、車内通知部１４に対して動物の存在を示す画像やアラーム音によって、運転者への注意や警告を行うように指令を出力する。なお、画像認識装置２０において、衝突危険度判定部２３ｄを設けない構成とする場合には、報知制御部１５が自ら衝突危険度を判定して報知制御を実行するようにしてもよい。
【００５１】
車両制御装置１０の車両制御部１６は、衝突危険度判定部２３ｄから受け付けた衝突危険度判定結果に応じて車両制御（車両走行制御）を行う処理部である。例えば、この車両制御部１６は、図５に例示するように、危険度レベルに応じた制御項目を記憶して構成する制御テーブルを記憶しており、衝突危険度判定部２３ｄから受け付けた危険度判定結果が危険度レベル２である場合には、ブレーキ制御を実行して速度減速を行う。また、衝突危険度判定部２３ｄから受け付けた危険度判定結果が危険度レベル３である場合には、ハンドル制御を実行して衝突回避を行う。なお、画像認識装置２０において、衝突危険度判定部２３ｄを設けない構成とする場合には、車両制御部１６が自ら衝突危険度を判定して報知制御を実行するようにしてもよい。
【００５２】
車両制御装置１０の威嚇制御部１７は、衝突危険度判定部２３ｄから受け付けた衝突危険度判定結果に応じて威嚇制御を行う処理部である。例えば、この威嚇制御部１７は、図５に例示するように、危険度レベルに応じた制御項目を記憶して構成する制御テーブルを記憶しており、衝突危険度判定部２３ｄから受け付けた危険度判定結果が危険度レベル２である場合には、クラクション音やライトなど音や光による威嚇を行う。また、衝突危険度判定部２３ｄから受け付けた危険度判定結果が危険度レベル３である場合には、においによる威嚇を行う。なお、画像認識装置２０において、衝突危険度判定部２３ｄを設けない構成とする場合には、威嚇制御部１７が自ら衝突危険度を判定して報知制御を実行するようにしてもよい。
【００５３】
なお、図５に例示する制御テーブルは、あくまで一例であり、これに限定されるものではない。また、図５に例示する制御テーブルは、歩行者以外の所定の動物および歩行者に対する報知制御および車両制御に関して共用する場合に限られるものではなく、別の制御テーブルを同様に構成して記憶するようにしてもよい。
【００５４】
また、画像認識装置２０の前処理部２１は、撮像装置１０によって撮像された画像に前処理を行う処理部であり、フィルタ部２１ａと輪郭抽出部２１ｂとから構成される。このうち、フィルタ部２１ａは、画像内に映し出された物体の輪郭を強調するための前処理（例えば、シャープネス、コントラスト調整、彩度調整）を行う手段である。また、輪郭抽出部２１ｂは、フィルタ部２１ａによって施されたフィルタリングに基づいて、画像内の物体の輪郭を抽出する手段である。
【００５５】
画像認識装置２０の記憶部２２は、制御部２３による各種処理に必要なデータおよびプログラムを格納する格納手段（記憶手段）である。そして、特に本発明に密接に関連するものとしては、学習基底記憶部２２ａ、学習モデル記憶部２２ｂおよび衝突危険度判定テーブル２２ｃを備える。
【００５６】
このうち、学習基底記憶部２２ａは、後に詳述する物体検出部２３ａによる物体検出処理に必要な学習基底を記憶する記憶手段である。具体的には、判別の対象となる物体（例えば、犬や猫などの四足動物）が存在しない同一のオブジェクト（道路等を含む背景）を車両走行中に撮影した複数の学習用画像を入力して学習領域を切り出す（例えば、２０×２０ピクセル）。続いて、この切り出した学習領域をＮ次元のベクトル（Ｎは画素値であり、例えば、２０×２０ピクセルであれば４００次元）として扱い、このＮ次元ベクトルからなる学習領域内について主成分分析を行って、特徴ベクトル（Ｎ次元ベクトルの主成分）を抽出する。そして、入力される全ての学習画像に対して特徴ベクトルの抽出を行って、同一のオブジェクトに対して共通する特徴ベクトル成分から学習基底を生成して記憶する。
【００５７】
学習モデル記憶部２２ｂは、後に詳述する歩行者判別部２３ｂおよび動物判別部２３ｃによる物体判別処理に必要な学習モデルを記憶する記憶手段である。具体的には、例えば、判別の対象となる物体の一つである犬や猫などの四足動物の部位についてのパターン（例えば、四足動物を構成する各部位である頭、手足、胴体、尻尾などのパターン）を様々な条件（例えば、車両からの距離や動物が見えにくくなる時間帯等）に応じて予め学習して記憶する。また、同様に、歩行者についてのパターンを学習して記憶する。
【００５８】
衝突危険度判定テーブル２２ｃは、後に詳述する衝突危険度判定部２３ｄによる衝突危険度判定処理に必要な判定テーブルを記憶する記憶手段である。具体的には、図４に例示するように、画像から検出され判別の候補となる物体（候補物体）が「動物でない」あるいは「歩行者でない」という判別結果である場合には、その候補物体までの距離にかかわらず（つまり「ＡＬＬ」）危険度「０」とし、一方、候補物体が「動物である」あるいは「歩行者である」という判別結果である場合には、その候補物体までの距離「３０ｍ以上」で危険度「レベル１」とし、距離「１０〜３０ｍ」で危険度「レベル２」とし、距離「１０ｍ未満」で危険度「レベル３」とするように規定して構成される。
【００５９】
なお、図４に例示する衝突危険度判定テーブル２２ｃは、あくまで一例であり、これに限定されるものではない。また、図４に例示する衝突危険度判定テーブル２２ｃを、動物との衝突危険度判定に関するものと、歩行者との衝突危険度判定にものとをそれぞれ生成して記憶するようにしてもよい。
【００６０】
画像処理装置２０の制御部（マイコン）２３は、所定の制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する処理部である。そして、特に本発明に密接に関連するものとしては、物体検出部２３ａと、歩行者判別部２３ｂと、動物判別部２３ｃと、衝突危険度判定部２３ｃとを備える。
【００６１】
このうち、物体検出部２３ａは、入力画像内から判別の候補となる物体を顕著性算出法によって検出する処理部である。具体的には、この物体検出部２３ａは、学習基底記憶部２２ａから学習基底を読み出し、撮像装置１０から現在入力されている入力画像と比較して、入力画像内に学習基底には見られない顕著な特徴（例えば、特異なベクトル）が現れている場合には、判別の候補となる物体が存在するものとしてその領域を画像内から検出する。なお、物体検出部２３ａは、顕著性算出法によって入力画像内から判別の候補となる物体を検出する場合に限られるものではなく、例えば、背景差分法による画像処理やエッジ抽出処理などによって検出するようにしてもよい。なお、物体検出部２３ａは、前処理部２１から入力される所定の画像フレーム（例えば、１フレームや数フレーム）ごとに候補物体の検出処理を行う。
【００６２】
また、物体検出部２３ａは、入力画像内から検出された判別の候補となる物体までの距離および物体の大きさを測定し、歩行者判別あるいは動物判別のどちらを実行するか決定する。具体的には、この物体検出部２３ａは、入力画像から検出された判別の候補となる物体までの距離を画像上の位置から測定して、その測定した距離に基づいて判別の候補となる物体の大きさを測定する。そして、物体検出部２３ａは、測定した判別の候補となる物体の大きさに基づいて、動物判別または歩行者判別のどちらを実行するか判別種別の決定を行う。例えば、測定した物体の大きさが５０ｃｍ以上であれば歩行者判別を実行するように決定して歩行者判別部２３ｂへ判別指令を出力し、５０ｃｍ未満であれば動物判別を実行するように決定して動物判別部２３ｃへ判別指令を出力する。
【００６３】
歩行者判別部２３ｂは、物体検出部２３ａによって入力画像から検出された判別の候補となる物体をニューラルネットワーク手法によって判別する処理部である。具体的には、この歩行者判別部２３ｂは、物体検出部２３からの指令を受け付けると、学習モデル記憶部２２ｂに記憶されている歩行者のパターンに基づいて、例えば、判別の候補となる大きさ５０ｃｍ以上の物体を歩行者であるか否か詳細に判別する。
【００６４】
また、この歩行者判別部２３ｂは、判別結果（例えば、「歩行者である」という判別結果）を衝突危険度判定部２３ｄへ出力する。
【００６５】
動物判別部２３ｃは、物体検出部２３ａによって入力画像から検出された判別の候補となる物体が、歩行者以外の動物であるか否かニューラルネットワーク手法によって判別する処理部である。具体的には、判別の候補となる物体について歩行者以外の所定の動物（例えば、犬や猫などの四足動物）を構成する所定の部位（例えば、尻尾や頭、四本足など）に関する判定を行って、その結果得られる所定の部位についての判定出力値が所定の閾値を超えている場合には、歩行者以外の所定の動物であると判別する。
【００６６】
詳細には、この動物判別部２３ｃは、画像から検出された判別の候補となる大きさ５０ｃｍ未満の物体の輪郭および大きさと、学習モデル記憶部２２ｂに記憶されている犬や猫などの尻尾のパターンの形状および大きさとを比較して、その一致度を示す判定出力値（例えば、Ａ）が、所定の閾値（例えば、Ｉ）を超えている場合（例えば、Ａ≧Ｉである場合）には、判別の候補となる物体について歩行者以外の所定の動物の特徴である尻尾が確認されたことから、判別の候補となる物体が歩行者以外の所定の動物であると判別する。
【００６７】
なお、尻尾に関する判定を行う場合に限定されるものではなく、四足動物の特徴部分である四本足に関する判定を行うようにしてもよいし、尻尾および四本足等の別の部位に関する判定をそれぞれおこなうようにして、いずれかに該当すれば歩行者以外の所定の動物であると判別するようにしてもよい。
【００６８】
また、この動物判別部２３ｃは、判別の結果、判別の候補となる物体が歩行者以外の所定の動物であると判別した場合には、判別結果（例えば、「動物である」という判別結果）を衝突危険度判定部２３ｄへ出力する。
【００６９】
また、動物判別部２３ｃにおいて実行される物体判別処理は、入力画像から検出された判別の候補となる物体をニューラルネットワーク手法によって判別する場合に限定されるものではなく、パターンマッチング手法によって判別する場合についても同様に適用できる。
【００７０】
衝突危険度判定部２３ｄは、歩行者判別部２３ｂまたは動物判別部２３ｃによる判別結果等に基づいて、入力画像から検出された判別の候補となる物体との衝突危険度を判定して、その判定結果を報知制御部１５、車両制御部１６および威嚇制御１７に出力する処理部である。具体的には、衝突危険度判定部２３ｄは、歩行者判別部２３ｂあるいは動物判別部２３ｃから、例えば、「歩行者である」あるいは「動物である」という判別結果を受け付けると、衝突危険度判定テーブル２２ｃから衝突危険度判定テーブル（図４参照）を読み出す。そして、衝突危険度判定部２３ｄは、動物判別部２３ｃから受け付けた判別結果、およびレーダ部１３から受け付けた距離情報に応じて衝突危険度を判定して、その衝突危険度判定結果（例えば、危険度レベル０〜３など）を報知制御部１５、車両制御部１６および威嚇制御１７にそれぞれ出力する。なお、衝突危険度判定部２３ｄは、歩行者判別部２３ｂあるいは動物判別部２３ｃから、例えば、「歩行者である」あるいは「動物である」という判別結果を受け付けた場合以外には衝突危険度判定を行わない。
【００７１】
［画像認識装置による処理（実施例１）］
次に、図６を用いて、実施例１に係る画像認識装置の制御部（マイコン）による処理を説明する。図６は、実施例１に係る画像認識装置の制御部（マイコン）２３の処理の流れを示すフローチャートである。なお、以下に説明する車両制御装置による処理は、画像が１フレーム入力されるたびに繰り返し実行される
【００７２】
同図に示すように、入力画像から判別の候補となる物体を検出した場合には（ステップＳ６０１肯定）、物体検出部２３ａは、入力画像内から検出された判別の候補となる物体までの距離および物体の大きさを測定する（ステップＳ６０２）。
【００７３】
続いて、物体検出部２３ａは、測定した判別の候補となる物体の大きさに基づいて、歩行者判別あるいは動物判別のどちらを実行するか判別種別の決定を行う（ステップＳ６０３）。すなわち、判別の候補となる物体の大きさが５０ｃｍ未満である場合には（ステップＳ６０３肯定）、動物判別（例えば、犬や猫などの四足動物の判別）を実行するように決定し、動物判別を実行するように動物判別部２３ｃへ判別指令を出力する。
【００７４】
動物判別指令を受け付けた動物判別部２３ｃは、判別の候補となる物体について歩行者以外の所定の動物（例えば、犬や猫などの四足動物）を構成する所定の部位（例えば、尻尾や頭、四本足など）に関する判定を行って、その結果得られる所定の部位についての判定出力値が所定の閾値を超えている場合には、歩行者以外の所定の動物であると判別する動物判別を実行する（ステップＳ６０４）。
【００７５】
具体的には、動物判別部２３ｃは、画像から検出された判別の候補となる大きさ５０ｃｍ未満の物体の輪郭および大きさと、学習モデル記憶部２２ｂに記憶されている犬や猫などの尻尾のパターンの形状および大きさとを比較して、その一致度を示す判定出力値が、所定の閾値を超えている場合には、判別の候補となる物体について歩行者以外の所定の動物の特徴である尻尾が確認されたことから、判別の候補となる物体が歩行者以外の所定の動物であると判別する。
【００７６】
そして、動物判別部２３ｃは、判別の結果、判別の候補となる物体が歩行者以外の所定の動物であると判別した場合には、判別結果（例えば、「動物である」という判別結果）を衝突危険度判定部２３ｄへ出力する。
【００７７】
動物判別部２３ｃから判別結果を受け付けた衝突危険度判定部２３ｄは、衝突危険度判定テーブル２２ｃから衝突危険度判定テーブル（図４参照）を読み出し、動物判別部２３ｃから受け付けた判別結果（例えば、「動物である」という判別結果）、およびレーダ部１３から受け付けた距離情報に応じて衝突危険度を判定する（ステップＳ６０５）。そして、衝突危険度判定部２３ｄは、その衝突危険度判定結果（例えば、危険度レベル０〜３など）を報知制御部１５、車両制御部１６および威嚇制御１７にそれぞれ出力する（ステップＳ６０６）。なお、衝突危険度判定部２３ｄは、歩行者判別部２３ｂあるいは動物判別部２３ｃから、例えば、「動物である」という判別結果を受け付けた場合以外には衝突危険度判定を行わない。
【００７８】
ここで、ステップＳ６０３の説明に戻ると、判別の候補となる物体の大きさが５０ｃｍ以上である（５０ｃｍ未満でない）場合には（ステップＳ６０３否定）、歩行者判別を実行するように歩行者判別部２３ｂへ判別指令を出力する。歩行者判別指令を受け付けた歩行者判別部２３ｂは、学習モデル記憶部２２ｂに記憶されている歩行者のパターンに基づいて、判別の候補となる大きさ５０ｃｍ以上の物体を歩行者であるか否か詳細に判別する（ステップＳ６０７）。
【００７９】
そして、歩行者判別部２３ｂは、判別の結果、判別の候補となる物体が歩行者であると判別した場合には、判別結果（例えば、「歩行者である」という判別結果）を衝突危険度判定部２３ｄへ出力する。
【００８０】
歩行者判別部２３ｂから判別結果を受け付けた衝突危険度判定部２３ｄは、ステップＳ６０５で説明したのと同様に、衝突危険度判定テーブル２２ｃから衝突危険度判定テーブル（図４参照）を読み出し、動物判別部２３ｃから受け付けた判別結果（例えば、「動物である」という判別結果）、およびレーダ部１３から受け付けた距離情報に応じて衝突危険度を判定する（ステップＳ６０８）。そして、衝突危険度判定部２３ｄは、ステップＳ６０６で説明したのと同様に、その衝突危険度判定結果（例えば、危険度レベル０〜３など）を報知制御部１５、車両制御部１６および威嚇制御１７にそれぞれ出力する（ステップＳ６０９）。なお、衝突危険度判定部２３ｄは、例えば、歩行者判別部２３ｂから「歩行者である」という判別結果を受け付けた場合以外には衝突危険度判定を行わない。
【００８１】
［動物判別処理（実施例１）］
続いて、図７を用いて、実施例１に係る画像認識装置の制御部（マイコン）を構成する動物判別部２３ｃによる処理を説明する。図７は、実施例１に係る画像認識装置を構成する動物判別部２３ｃの処理の流れを示すフローチャートである。
【００８２】
物体検出部２３ａから動物判別指令を受け付けると、動物判別部２３ｃは動物判別処理を実行する。具体的には、図７に示すように、動物判別部２３ｃは、画像から検出された判別の候補となる大きさ５０ｃｍ未満の物体の輪郭および大きさと、犬や猫などの尻尾のパターンの形状および大きさとを比較して、その一致度を示す判定出力値が、所定の閾値を超えているか否か判定することで、判別の候補となる物体に尻尾があるか否か確認する（ステップＳ７０１）。
【００８３】
その結果、動物判別部２３ｃは、判別の候補となる物体について歩行者以外の所定の動物の特徴である尻尾が有るものと確認できた場合には（ステップＳ７０１肯定）、判別の候補となる物体が歩行者以外の所定の動物であると判別する。そして、動物判別部２３ｃは、判別結果（例えば、「動物である」という判別結果）を衝突危険度判定部２３ｄへ出力する（ステップＳ７０２）。
【００８４】
これとは反対に、判別の候補となる物体について歩行者以外の所定の動物の特徴である尻尾を確認できなかった場合には（ステップＳ７０１否定）、動物判別部２３ｃは、次に、判別の候補となる物体の輪郭および形状と、四足動物の特徴部分の一つである四本足のパターンの形状および大きさとを比較して、その一致度を示す判定出力値が所定の閾値を超えているか否か判定することで、判別の候補となる物体に四本足があるか否か確認する（ステップＳ７０３）。
【００８５】
その結果、動物判別部２３ｃは、判別の候補となる物体について歩行者以外の所定の動物の特徴である四本足が有るものと確認できた場合（ステップＳ７０３肯定）、判別の候補となる物体が歩行者以外の所定の動物であると判別する。そして、動物判別部２３ｃは、判別結果（例えば、「動物である」という判別結果）を衝突危険度判定部２３ｄへ出力する（ステップＳ７０２）。
【００８６】
一方、判別の候補となる物体について歩行者以外の所定の動物の特徴である四本足を確認できなかった場合には（ステップＳ７０１否定）、動物判別部２３ｃは、判別の候補となる物体が歩行者以外の所定の動物ではないと判別し、衝突危険度判定部２３ｄへ判別結果の出力は行わない。
【００８７】
［車両制御装置の処理（実施例１）］
続いて、図８を用いて、実施例１に係る車両制御装置による処理を説明する。図８は、実施例１に係る車両制御装置の処理の流れを示すフローチャートである。同図に示すように、衝突危険度判定部２３ｄから衝突危険度判定結果を受け付けると（ステップＳ８０１肯定）、報知制御部１５、車両制御部１６および威嚇制御部１７は、受け付けた判定結果に応じて、報知制御、車両制御および威嚇制御をそれぞれ行う（ステップＳ８０２）。
【００８８】
具体的には、報知制御部１５は、図５に例示するように、危険度レベルに応じた制御項目を記憶して構成する制御テーブルを記憶しており、衝突危険度判定部２３ｄから受け付けた危険度判定結果が危険度レベル１である場合には、車内通知部１４に対して動物の存在を示す画像やアラーム音によって、運転者への注意や警告を行うように指令を出力する。なお、画像認識装置２０において、衝突危険度判定部２３ｄを設けない構成とする場合には、報知制御部１５が自ら衝突危険度を判定して報知制御を実行するようにしてもよい。
【００８９】
また、車両制御部１６は、図５に例示するように、危険度レベルに応じた制御項目を記憶して構成する制御テーブルを記憶しており、衝突危険度判定部２３ｄから受け付けた危険度判定結果が危険度レベル２である場合には、ブレーキ制御を実行して速度減速を行う。また、衝突危険度判定部２３ｄから受け付けた危険度判定結果が危険度レベル３である場合には、ハンドル制御を実行して衝突回避を行う。なお、画像認識装置２０において、衝突危険度判定部２３ｄを設けない構成とする場合には、車両制御部１６が自ら衝突危険度を判定して報知制御を実行するようにしてもよい。
【００９０】
また、威嚇制御部１７は、図５に例示するように、危険度レベルに応じた制御項目を記憶して構成する制御テーブルを記憶しており、衝突危険度判定部２３ｄから受け付けた危険度判定結果が危険度レベル２である場合には、クラクション音やライトなど音や光による威嚇を行う。また、衝突危険度判定部２３ｄから受け付けた危険度判定結果が危険度レベル３である場合には、においによる威嚇を行う。なお、画像認識装置２０において、衝突危険度判定部２３ｄを設けない構成とする場合には、威嚇制御部１７が自ら衝突危険度を判定して報知制御を実行するようにしてもよい。
【００９１】
このように、画像から検出された物体が歩行者であると判別された場合には、歩行者を示す表示やアラームを出し、動物であると判別された場合には、動物の存在を示す表示やアラームを出すことにより、運転者は、歩行者や動物のそれぞれに応じた適切な回避行動（例えば、歩行者に対してはブレーキ、動物に対してはクラクションなど）をとることができる。さらに、歩行者の場合は動物に比べてアラームの音量を大きくする等、歩行者や動物のそれぞれに応じた警告の報知ができる。
【００９２】
［実施例１の効果］
上述してきたように、実施例１によれば、車載のカメラで撮像された画像から判別の候補となる物体が検出された場合に、判別の候補となる物体が歩行者以外の所定の動物であるか否か判別する（例えば、パターンマッチング手法やニューラルネットワーク手法により判別する）ので、画像から検出された判別の候補となる物体が歩行者以外の所定の動物（例えば、犬や猫などの四足動物）を判別することができ、歩行者であるか、歩行者以外の動物であるかを明確に区別することが可能である。
【００９３】
また、実施例１によれば、判別の候補となる物体の大きさを測定して、その大きさが所定の大きさ（例えば、５０ｃｍ）未満である場合には歩行者ではないと判別するので、歩行者以外の動物である蓋然性の高い物体を高さによって予め選別して、歩行者以外の動物（例えば、犬や猫などの四足動物）を効率的に判別することが可能である。
【００９４】
また、実施例１によれば、判別の候補となる物体が歩行者以外の所定の動物であると判別された場合に、運転者に警告を報知するので、歩行者以外の動物（例えば、犬や猫などの四足動物）の存在を運転者に認識させることができ、車両走行中における動物との衝突を回避することが可能である。
【００９５】
また、実施例１によれば、判別の候補となる物体が歩行者以外の所定の動物であると判別された場合に、所定の動物を威嚇するので、例えば、音や光、においなどによる威嚇を行って、車両と衝突する可能性のある位置から歩行者以外の動物（例えば、犬や猫などの四足動物）を退避させることができ、車両走行中における動物との衝突を回避することが可能である。
【００９６】
また、上記の実施例において、画像から検出された物体の大きさによって動物判別を実施するか否か決定する場合を説明したが、本発明はこれに限定されるものではなく、画像から検出された物体を歩行者であるか否か判別した後に、歩行者でなければ動物判別を実施するようにしてもよい。これにより、歩行者が判別されない事態を防止することができるだけでなく、歩行者以外の動物（例えば、犬や猫などの四足動物）を判別することも可能である。
【００９７】
また、上記の実施例において、画像から検出された物体について初めから動物判別を実施するようにしてもよい。これにより、画像から検出された判別の候補となる物体が、歩行者であるか、歩行者以外の動物であるかを明確に区別することが可能である。
【００９８】
また、上記の実施例において、画像から検出された判別の候補となる物体が、例えば、犬である場合には、犬の泣き声などによって運転者に警告するなど、画像から検出された判別の候補となる物体の判別結果に応じて運転者に警告を報知するようにしてもよい。これにより、画像から検出された判別の候補となる物体が歩行者である場合と歩行者以外の動物である場合（例えば、犬や猫などの四足動物）を区別した適切な警告を行うことが可能である。
【００９９】
また、上記の実施例において、画像から検出された判別の候補となる物体が、例えば、犬とその犬を散歩させている飼い主であると判別された場合には、飼い主を狼狽させないようにボリュームを抑えた音声による威嚇を行うなど、画像から検出された判別の候補となる物体の判別結果に応じて所定の動物を威嚇するようにしてもよい。これにより、画像から検出された判別の候補となる物体が歩行者および歩行者以外の動物の複数である場合などに、動物だけである場合よりも弱めに威嚇を行うなど程度を考慮した適切な威嚇を行うことが可能である。
【実施例２】
【０１００】
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
【０１０１】
（１）複数部位による動物判別
上記の実施例１では、判別の候補となる物体について、歩行者以外の所定の動物（例えば、犬や猫などの四足動物）を構成する所定の部位（例えば、尻尾や四本足など）に関する判定を行って、所定の動物であるか否か判別する場合を説明したが、本発明はこれに限定されるものではなく、判別の候補となる物体について、歩行者以外の所定の動物を構成する複数の所定の部位に関する判定をそれぞれ行って、所定の動物であるか否か判別するようにしてもよい。
【０１０２】
具体的には、図９に例示するように、画像から検出された判別の候補となる物体の輪郭および大きさと、歩行者以外の所定の動物を構成する複数の所定の部位（例えば、尻尾、四本足、頭、胴体など）のパターンの形状および大きさとを比較して、その一致度を示す各判定出力値（例えば、尻尾についてＣ、四本足についてＤ、頭についてＥ、胴体についてＦ）を加算した合計値が、所定の閾値（例えば、Ｈ）を超えている場合には、判別の候補となる物体に歩行者以外の所定の動物の特徴である各部位が確認されたことから、歩行者以外の所定の動物であると判別する。
【０１０３】
これにより、例えば、四本足や尻尾などの動物の各部位に関する判定をそれぞれ行うことにより、画像から検出された物体を動物であるか否かを総合的に判別することができ、歩行者以外の動物（例えば、犬や猫などの四足動物）を精度よく判別することが可能である。
【０１０４】
（２）出力値への重み付け、多数決等による判別
また、上記の（１）において、歩行者以外の所定の動物を構成する複数の所定の部位に関する判定の結果出力される各判定出力値に重み付けを行って（例えば、四本足の動物の特徴部分である尻尾に関する判定出力値に重み付けを行う）、画像から検出された判別の候補となる物体について、歩行者以外の所定の動物であるか否か詳細に判別するようにしてもよい。また、判定結果を、例えば、歩行者と判別すれば○、歩行者と判別しなければ×等で出力して、その判別結果の多数決によって、判別の候補として入力画像から検出された物体について、歩行者であるか否か詳細に判別するようにしてもよい。
【０１０５】
これにより、歩行者以外の動物（例えば、犬や猫などの四足動物）を判別する精度を簡易な操作で向上させることが可能である。
【０１０６】
（３）目の反射による判別
また、上記の実施例１において、判別の候補となる物体について画素値に関する判定（例えば、パターンマッチングなどによる判定）を行って、その結果得られる画素値（判別の候補となる物体の画素値）が所定の閾値を超えている場合であって、かつ、その判定位置が所定の高さ以内（例えば、５０ｃｍ以内）である場合には、所定の動物であると判定するようにしてもよい。
【０１０７】
これにより、例えば、車両のライトを受けて光る動物の目の特性に基づいて、画像から検出された物体が歩行者以外の動物であるか判別することができ、夜間であっても歩行者以外の動物（例えば、犬や猫などの四足動物）を判別することが可能である。
【０１０８】
（４）動きによる判別
また、上記の実施例１において、複数の連続画像（車載のカメラから入力される複数フレームの画像）から検出された判別の候補となる同一物体について、歩行者以外の所定の動物を構成する所定の部位の動作に関する判定（例えば、尻尾や頭、足の動きなど、歩行者以外の動物特有の動作に関する判定）を行って、その結果得られる判定出力値が所定の閾値を超えている場合には歩行者以外の所定の動物であると判別するようにしてもよい。
【０１０９】
これにより、静止していることが少ないと考えられる動物の動きに着目することで、歩行者以外の動物（例えば、犬や猫などの四足動物）を精度よく判別することが可能である。
【０１１０】
（５）判別方法の組合せ
また、上記の実施例１、実施例２の（３）および（４）において説明した複数の判別方法を適宜組合わせて、動物判別を実行するようにしてもよい。そこで、以下では、図１０を用いて、この場合の処理の流れを簡単に説明する。図１０は、実施例２に係る車両制御装置に適用される画像認識装置の動物判別処理の流れを示すフローチャートである。
【０１１１】
物体判別部２３ａから動物判別指令を受け付けると、動物判別部２３ｃは動物判別処理を実行する。具体的には、同図に示すように、動物判別部２３ｃは、画像から検出された判別の候補となる大きさ５０ｃｍ未満の物体の輪郭および大きさと、犬や猫などの尻尾のパターンの形状および大きさとを比較して、その一致度を示す判定出力値が、所定の閾値を超えているか否か判定することで、判別の候補となる物体に尻尾があるか否か確認する（ステップＳ１００１）。
【０１１２】
その結果、動物判別部２３ｃは、判別の候補となる物体について歩行者以外の所定の動物の特徴である尻尾が有るものと確認できた場合には（ステップＳ１００１肯定）、判別の候補となる物体が歩行者以外の所定の動物であると判別する。そして、動物判別部２３ｃは、判別結果（例えば、「動物である」という判別結果）を衝突危険度判定部２３ｄへ出力する（ステップＳ１００２）。
【０１１３】
これとは反対に、判別の候補となる物体について歩行者以外の所定の動物の特徴である尻尾を確認できなかった場合には（ステップＳ１００１否定）、動物判別部２３ｃは、次に、判別の候補となる物体の輪郭および形状と、四足動物の特徴部分の一つである四本足のパターンの形状および大きさとを比較して、その一致度を示す判定出力値が所定の閾値を超えているか否か判定することで、判別の候補となる物体に四本足があるか否か確認する（ステップＳ１００３）。
【０１１４】
その結果、動物判別部２３ｃは、判別の候補となる物体について歩行者以外の所定の動物の特徴である四本足が有るものと確認できた場合には（ステップＳ１００３肯定）、判別の候補となる物体が歩行者以外の所定の動物であると判別する。そして、動物判別部２３ｃは、判別結果（例えば、「動物である」という判別結果）を衝突危険度判定部２３ｄへ出力する（ステップＳ１００２）。
【０１１５】
また、これとは反対に、判別の候補となる物体について歩行者以外の所定の動物の特徴である四本足を確認できなかった場合には（ステップＳ１００３否定）、動物判別部２３ｃは、次に、判別の候補となる物体について、画素値に関する判定（例えば、パターンマッチングなどによる判定）を行って、その結果、判別の候補となる物体の画素値が所定の閾値を超えている場合であって、かつ、その判定位置が所定の高さ以内（例えば、５０ｃｍ以内）であるか否か確認する（ステップＳ１００４）。
【０１１６】
その結果、動物判別部２３ｃは、判別の候補となる物体について歩行者以外の所定の動物の特徴である目の反射が有るものと確認できた場合には（ステップＳ１００３肯定）、判別の候補となる物体が歩行者以外の所定の動物であると判別する。そして、動物判別部２３ｃは、判別結果（例えば、「動物である」という判別結果）を衝突危険度判定部２３ｄへ出力する（ステップＳ１００２）。
【０１１７】
また、これとは反対に、判別の候補となる物体について歩行者以外の所定の動物の特徴である目の反射を確認できなかった場合には（ステップＳ１００４否定）、動物判別部２３ｃは、次に、判別の候補となる物体について、判別の候補となる物体の輪郭および形状と、四足動物を構成する所定の部位の動きパターン（頭や尻尾、足などの動きのパターン）の形状および大きさとを比較して、その一致度を示す判定出力値が所定の閾値を超えているか否か判定することで、判別の候補となる物体に動きがあるか否か確認する（ステップＳ１００５）。
【０１１８】
その結果、動物判別部２３ｃは、判別の候補となる物体について、歩行者以外の所定の動物としての動きが有るものと確認できた場合には（ステップＳ１００５肯定）、判別の候補となる物体が歩行者以外の所定の動物であると判別する。そして、動物判別部２３ｃは、判別結果（例えば、「動物である」という判別結果）を衝突危険度判定部２３ｄへ出力する（ステップＳ１００２）。
【０１１９】
一方、歩行者以外の所定の動物としての動きが確認できなかった場合には（ステップＳ１００５否定）、動物判別部２３ｃは、判別の候補となる物体が歩行者以外の所定の動物ではないと判別し、衝突危険度判定部２３ｄへ判別結果の出力は行わない。
【０１２０】
このようなことから、画像から検出された物体が歩行者以外の所定の動物であるか否か感度よく判別することが可能である。
【０１２１】
（６）装置構成等
また、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【０１２２】
また、図３示した車両制御装置１０および画像認識装置２０の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、車両制御装置１０および画像認識装置２０の分散・統合の具体的形態は図示のものに限られず、例えば、画像認識装置２０の歩行者判別部２３ｂおよび動物判別部２３ｃを統合するなど、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、車両制御装置１０および画像認識装置２０にて行なわれる各処理機能（車両制御装置１０の車両制御機能や画像認識装置２０の物体検出機能、歩行者判別機能および動物判別機能など）は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【０１２３】
なお、本実施例で説明した各処理方法（図６、図７、図８および図１０参照）は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【産業上の利用可能性】
【０１２４】
以上のように、本発明に係る画像認識装置、画像認識方法および車両制御装置は、カメラで撮像された画像から判別の候補となる物体が検出された場合に、判別の候補となる物体を判別する場合に有用であり、特に、画像から検出された判別の候補となる物体が歩行者以外の所定の動物（例えば、犬や猫などの四足動物）を判別して、歩行者であるか、歩行者以外の動物であるかを明確に区別することに適する。
【図面の簡単な説明】
【０１２５】
【図１】実施例１の概要および特徴を説明するための図である。
【図２】実施例１の概要および特徴を説明するための図である。
【図３】実施例１に係る画像認識装置および車両制御装置の構成を示すブロック図である。
【図４】衝突危険度判定テーブルの構成例を示す図である。
【図５】制御テーブルの構成例を示す図である。
【図６】実施例１に係る画像処理装置の制御部（マイコン）２３の処理の流れを示すフローチャートである。
【図７】実施例１に係る画像認識装置を構成する動物判別部２３ｃの処理の流れを示すフローチャートである。
【図８】実施例１に係る車両制御装置の処理の流れを示すフローチャートである。
【図９】実施例２に係る動物判別処理の概要を説明するための図である。
【図１０】実施例２に係る画像認識装置の動物判別部２３ｃの処理の流れを示すフローチャートである。
【符号の説明】
【０１２６】
１０ 車両制御装置
１１ 撮像装置
１２ ナビ部
１３ レーダ部
１４ 車内通知部
１５ 報知制御部
１６ 車両制御部
１７ 威嚇制御部
２０ 画像認識装置
２１ 前処理部
２１ａ フィルタ部
２１ｂ 輪郭抽出部
２２ 記憶部
２２ａ 学習規定記憶部
２２ｂ 学習モデル記憶部
２２ｃ 衝突危険度判定テーブル
２３ 制御部（マイコン）
２３ａ 物体検出部
２３ｂ 歩行者判別部
２３ｃ 動物判別部
２３ｄ 衝突危険度判定部
【特許請求の範囲】
【請求項１】
カメラで撮像された画像から判別の候補となる物体が検出された場合に、当該判別の候補となる物体が歩行者以外の所定の動物であるか否か判別する物体判別手段を備え、当該判別の候補となる物体が歩行者であるか、または歩行者以外の動物であるかを区別することを特徴とする画像認識装置。
【請求項２】
前記物体判別手段は、前記判別の候補となる物体について、前記歩行者以外の所定の動物を構成する所定の部位に関する判定を行って、その結果得られる当該所定の部位についての判別値が所定の閾値を超えている場合には、当該歩行者以外の所定の動物であると判別することを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記物体判別手段は、前記判別の候補となる物体について、前記歩行者以外の所定の動物を構成する複数の所定の部位に関する判定をそれぞれ行って、その結果得られる各判別値を加算した合計値が所定の閾値を超えている場合には、当該歩行者以外の所定の動物であると判別することを特徴とする請求項２に記載の画像認識装置。
【請求項４】
前記物体判別手段は、前記各判別値のいずれかに重み付けを行った上で、当該各判別値を加算した合計値が所定の閾値を超えている場合には、前記歩行者以外の所定の物体であると判別することを特徴とする請求項３に記載の画像認識装置。
【請求項５】
前記物体判別手段は、前記判別の候補となる物体について画素値に関する判定を行って、その結果得られる当該画素値が所定の閾値を超えている場合であって、かつ当該判定位置が所定の高さ以内である場合には、前記歩行者以外の所定の動物であると判別することを特徴とする請求項１に記載の画像認識装置。
【請求項６】
前記物体判別手段は、複数の連続画像から検出された判別の候補となる同一物体について、前記歩行者以外の所定の動物の所定の部位の動作に関する判定を行って、その結果得られる判別値が所定の閾値を超えている場合には、当該歩行者以外の所定の動物であると判別することを特徴とする請求項１に記載の画像認識装置。
【請求項７】
前記物体判別手段は、前記判別の候補となる物体を歩行者であるか否か判別し、当該判別の候補となる物体を歩行者ではないと判別した場合には、当該判別の候補となる物体について、当該歩行者以外の所定の動物であるか否か判別することを特徴とする請求項１に記載の画像認識装置。
【請求項８】
前記判別の候補となる物体の大きさを測定する測定手段をさらに備え、
前記物体判別手段は、前記測定手段により測定された前記判別の候補となる物体の大きさが所定の大きさ未満である場合には、当該判別の候補となる物体を歩行者ではないと判別することを特徴とする請求項７に記載の画像認識装置。
【請求項９】
カメラで撮像された画像から判別の候補となる物体が検出された場合に、当該判別の候補となる物体が、歩行者以外の所定の動物であるか否か判別する物体判別手段により前記判別の候補となる物体が前記歩行者以外の所定の動物であると判別された場合に運転者に警告を報知する警告報知手段を備えたことを特徴とする車両制御装置。
【請求項１０】
前記物体判別手段により前記判別の候補となる物体が前記歩行者以外の所定の動物であると判別された場合に、当該歩行者以外の所定の動物に対して威嚇する威嚇制御手段をさらに備えたことを特徴とする請求項９に記載の車両制御装置。
【請求項１１】
前記警告報知手段は、前記物体判別手段による判別結果に応じて運転者に警告を報知することを特徴とする請求項９に記載の車両制御装置。
【請求項１２】
前記威嚇制御手段は、前記物体判別手段による判別結果に応じて前記歩行者以外の所定の動物に対して威嚇することを特徴とする請求項９に記載の車両制御装置。
【請求項１３】
カメラで撮像された画像から判別の候補となる物体が検出された場合に、当該判別の候補となる物体が歩行者以外の所定の動物であるか否か判別する物体判別工程を備え、当該判別の候補となる物体が歩行者であるか、または歩行者以外の動物であるかを区別することを特徴とする画像認識方法。
【請求項１】
カメラで撮像された画像から判別の候補となる物体が検出された場合に、当該判別の候補となる物体が歩行者以外の所定の動物であるか否か判別する物体判別手段を備え、当該判別の候補となる物体が歩行者であるか、または歩行者以外の動物であるかを区別することを特徴とする画像認識装置。
【請求項２】
前記物体判別手段は、前記判別の候補となる物体について、前記歩行者以外の所定の動物を構成する所定の部位に関する判定を行って、その結果得られる当該所定の部位についての判別値が所定の閾値を超えている場合には、当該歩行者以外の所定の動物であると判別することを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記物体判別手段は、前記判別の候補となる物体について、前記歩行者以外の所定の動物を構成する複数の所定の部位に関する判定をそれぞれ行って、その結果得られる各判別値を加算した合計値が所定の閾値を超えている場合には、当該歩行者以外の所定の動物であると判別することを特徴とする請求項２に記載の画像認識装置。
【請求項４】
前記物体判別手段は、前記各判別値のいずれかに重み付けを行った上で、当該各判別値を加算した合計値が所定の閾値を超えている場合には、前記歩行者以外の所定の物体であると判別することを特徴とする請求項３に記載の画像認識装置。
【請求項５】
前記物体判別手段は、前記判別の候補となる物体について画素値に関する判定を行って、その結果得られる当該画素値が所定の閾値を超えている場合であって、かつ当該判定位置が所定の高さ以内である場合には、前記歩行者以外の所定の動物であると判別することを特徴とする請求項１に記載の画像認識装置。
【請求項６】
前記物体判別手段は、複数の連続画像から検出された判別の候補となる同一物体について、前記歩行者以外の所定の動物の所定の部位の動作に関する判定を行って、その結果得られる判別値が所定の閾値を超えている場合には、当該歩行者以外の所定の動物であると判別することを特徴とする請求項１に記載の画像認識装置。
【請求項７】
前記物体判別手段は、前記判別の候補となる物体を歩行者であるか否か判別し、当該判別の候補となる物体を歩行者ではないと判別した場合には、当該判別の候補となる物体について、当該歩行者以外の所定の動物であるか否か判別することを特徴とする請求項１に記載の画像認識装置。
【請求項８】
前記判別の候補となる物体の大きさを測定する測定手段をさらに備え、
前記物体判別手段は、前記測定手段により測定された前記判別の候補となる物体の大きさが所定の大きさ未満である場合には、当該判別の候補となる物体を歩行者ではないと判別することを特徴とする請求項７に記載の画像認識装置。
【請求項９】
カメラで撮像された画像から判別の候補となる物体が検出された場合に、当該判別の候補となる物体が、歩行者以外の所定の動物であるか否か判別する物体判別手段により前記判別の候補となる物体が前記歩行者以外の所定の動物であると判別された場合に運転者に警告を報知する警告報知手段を備えたことを特徴とする車両制御装置。
【請求項１０】
前記物体判別手段により前記判別の候補となる物体が前記歩行者以外の所定の動物であると判別された場合に、当該歩行者以外の所定の動物に対して威嚇する威嚇制御手段をさらに備えたことを特徴とする請求項９に記載の車両制御装置。
【請求項１１】
前記警告報知手段は、前記物体判別手段による判別結果に応じて運転者に警告を報知することを特徴とする請求項９に記載の車両制御装置。
【請求項１２】
前記威嚇制御手段は、前記物体判別手段による判別結果に応じて前記歩行者以外の所定の動物に対して威嚇することを特徴とする請求項９に記載の車両制御装置。
【請求項１３】
カメラで撮像された画像から判別の候補となる物体が検出された場合に、当該判別の候補となる物体が歩行者以外の所定の動物であるか否か判別する物体判別工程を備え、当該判別の候補となる物体が歩行者であるか、または歩行者以外の動物であるかを区別することを特徴とする画像認識方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００８−２１０３５（Ｐ２００８−２１０３５Ａ）
【公開日】平成２０年１月３１日（２００８．１．３１）
【国際特許分類】
【出願番号】特願２００６−１９０８６５（Ｐ２００６−１９０８６５）
【出願日】平成１８年７月１１日（２００６．７．１１）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成２０年１月３１日（２００８．１．３１）
【国際特許分類】
【出願日】平成１８年７月１１日（２００６．７．１１）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]