物体認識装置
【課題】画像中の物体の認識率をより高くすることを可能にする物体認識装置を提供する。
【解決手段】画像抽出部１２で得られた歩行者候補画像と登録辞書部１３に格納されている判定パターンおよび第１判定閾値の組とに基づいて算出された第１判定値と上述の第１判定閾値とに重み付け部１５で画像の撮像条件の変化による判定のばらつきを吸収する重み付けを行った後に、この重み付けで得られた第２判定値および第２判定閾値に基づいて歩行者候補画像中の物体が歩行者であるか否かを判定することによって、歩行者の認識率を向上させる。
【解決手段】画像抽出部１２で得られた歩行者候補画像と登録辞書部１３に格納されている判定パターンおよび第１判定閾値の組とに基づいて算出された第１判定値と上述の第１判定閾値とに重み付け部１５で画像の撮像条件の変化による判定のばらつきを吸収する重み付けを行った後に、この重み付けで得られた第２判定値および第２判定閾値に基づいて歩行者候補画像中の物体が歩行者であるか否かを判定することによって、歩行者の認識率を向上させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体の認識に用いられる物体認識装置に関するものである。
【背景技術】
【０００２】
従来から、画像中の物体を認識する技術が知られている。例えば、特許文献１には、認識しようとする物体の切り出し画像例から予め構築したパターンおよび閾値を持つ判別器を用いて算出した判定値を用いて、画像中の物体を認識する技術が開示されている。
【特許文献１】特開２００７−１９３６９２号公報
【非特許文献１】Ｊｏｎｅｓ，Ｍ．Ｊ．；Ｖｉｏｌａ，Ｐ．，“Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ Ｕｓｉｎｇ Ｂｏｏｓｔｅｄ Ｌｏｃａｌ Ｆｅａｔｕｒｅｓ”，Ｍｉｔｓｕｂｉｓｈｉ Ｅｌｅｃｔｒｉｃ Ｒｅｓｅａｒｃｈ Ｌａｂ，Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ，ＴＲ２００３−０２５，２００３．
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に開示の技術は、判別器を用いて算出した判定値をそのまま活用して画像中の物体を認識する構成であるたため、画像の撮像条件（光や形状など）の変化によって、同一物体であっても画像フレームごとに認識結果にばらつきが生じ、物体の認識率が低下してしまうという問題点を有していた。
【０００４】
本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、画像中の物体の認識率をより高くすることを可能にする物体認識装置を提供することにある。
【課題を解決するための手段】
【０００５】
請求項１の物体認識装置は、上記課題を解決するために、撮像手段で得られた画像を取得する画像取得手段と、前記画像取得手段で取得した画像から、認識したい物体を含む領域である判定対象領域の画像を抽出する画像抽出手段と、認識対象とする物体である対象物の複数の画像例をもとにこの対象物の特徴を学習して予め構築されたパターンおよび閾値の組を格納している登録辞書部と、前記画像抽出手段で抽出した判定対象領域の画像と前記登録辞書に格納されているパターンおよび閾値の組に基づいて、前記判定対象領域の画像中の物体の、対象物らしさを示す判定値を算出する判定値算出手段と、を備える物体認識装置であって、前記判定値算出手段で算出した判定値および前記閾値に重みを付ける重み付けを行って、新たな判定値および新たな閾値を算出する重み付け手段と、前記重み付け手段で算出した新たな判定値および新たな閾値に基づいて、前記判定対象領域の画像中の物体が対象物であるか否かを判定する第１対象物判定手段と、を備えることを特徴としている。
【０００６】
これによれば、画像抽出手段で得られた判定対象領域の画像と登録辞書部に格納されているパターンおよび閾値の組とに基づいて算出された判定値と上述の閾値とに重み付けを行った後に、この重み付けで得られた新たな判定値および新たな閾値に基づいて判定対象領域の画像中の物体が対象物であるか否かを判定することができるので、画像の撮像条件の変化による判定のばらつきを吸収する重み付けを行うことによって、対象物の認識率を向上させることが可能になる。従って、請求項１の構成によれば、画像中の物体の認識率をより高くすることを可能にすることができる。
【０００７】
また、請求項２の物体認識装置では、前記登録辞書部は、複数種類の前記パターンおよび閾値の組を格納していることを特徴としている。
【０００８】
さらに、請求項３の物体認識装置では、前記判定値算出手段、前記重み付け手段、および前記第１対象物判定手段で行う一連の処理を、前記複数種類の前記パターンおよび閾値の組のうちの１組ずつ順番に繰り返すことを特徴としている。
【０００９】
この請求項２および３のようにしても、画像中の物体の認識率をより高くすることを可能にすることができる。
【００１０】
また、請求項４の物体認識装置では、前記登録辞書部は、前記複数種類の前記パターンおよび閾値の組のうちの、前記複数の画像例における共通項がより多いパターンを含む組ほど順番が先になるように前記複数種類の前記パターンおよび閾値の組を予め格納しているとともに、前記重み付け手段は、前記登録辞書部に格納されている順番が先である前記パターンおよび閾値の組ほど、より重みを強くする重み付けを行うことを特徴としている。
【００１１】
本発明者は、複数種類のパターンおよび閾値の組のうちの、複数の画像例における共通項がより多いパターンを含む組に基づいて算出される判定値および当該パターンに組付けられた閾値ほど、より重みを強くする重み付けを行うことによって、画像の撮像条件の変化による判定のばらつきを吸収して対象物の認識率を向上させることを今回初めて見出した。
【００１２】
よって、請求項４の構成によれば、重み付け手段による重み付けによって、画像の撮像条件の変化による判定のばらつきを吸収して対象物の認識率を向上させることができる。従って、請求項４の構成によれば、画像中の物体の認識率をより高くすることができる。
【００１３】
また、請求項５の物体認識装置では、前記重み付け手段は、前記撮像手段での撮像条件別に予め複数の重みが設定されており、前記判定値算出手段で算出した判定値および前記閾値に前記複数の重みを付ける重み付けを行って、複数組の新たな判定値および新たな閾値を算出するとともに、前記第１対象物判定手段は、前記重み付け手段で算出した複数組の新たな判定値および新たな閾値に基づいて、前記判定対象領域の画像中の物体が対象物であるか否かを判定することを特徴としている。
【００１４】
これによれば、撮像条件別に予め複数設定されている重みを付ける重み付けで得られた複数組の新たな判定値および新たな閾値に基づいて、判定対象領域の画像中の物体が対象物であるか否かを判定する場合、この複数組の中に、画像の撮像条件の変化の影響を抑えて上述の判定を行うことを可能にする組が含まれる可能性が高くなる。よって、請求項５の構成によれば、重み付け手段による重み付けによって、画像の撮像条件の変化による判定のばらつきを吸収して対象物の認識率を向上させることができる可能性が高くなる。従って、請求項５の構成によれば、画像中の物体の認識率をより高くすることを可能にすることができる。
【００１５】
また、請求項６の物体認識装置では、前記判定値算出手段で算出した判定値および前記閾値に基づいて、前記判定対象領域の画像中の物体が対象物であるか否かを判定する第２対象物判定手段と、前記第１対象物判定手段と前記第２対象物判定手段との両方において前記判定対象領域の画像中の物体が対象物であると判定した場合に、前記判定対象領域の画像中の物体が対象物であると決定する判定結果統合手段と、をさらに備えることを特徴としている。
【００１６】
重み付け判定手段による重み付けを行っていない判定値および閾値に基づいて、第２対象物判定手段で判定対象領域の画像中の物体が対象物であると判定した場合には、画像の撮像条件の変化による判定のばらつきによって、非対象物を誤認識している可能性がある。また、重み付け判定手段による重み付けを行って得られた新たな判定値および新たな閾値に基づいて、第１対象物判定手段で判定対象領域の画像中の物体が対象物であると判定した場合であっても、非対象物を誤認識している可能性は残る。これに対して、請求項６の構成によれば、第１対象物判定手段と第２対象物判定手段との両方において判定対象領域の画像中の物体が対象物であると判定した場合に、判定対象領域の画像中の物体が対象物であると決定するので、非対象物を誤認識する可能性をさらに低くすることが可能になる。
【００１７】
また、請求項７の物体認識装置では、前記重み付け手段は、前記判定値および前記閾値の両方に同じ値を積算することによって、前記重み付けを行うことを特徴としている。
【００１８】
この請求項７のようにしても、画像中の物体の認識率をより高くすることを可能にすることができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施形態について図面を用いて説明する。図１は、本発明が適用された物体認識装置１の概略的な構成を示すブロック図である。図１に示す物体認識装置１は、車両に搭載されるものであり、画像取得部１１、画像抽出部１２、登録辞書部１３、判定値算出部１４、重み付け部１５、第１対象物判定部１６、第２対象物判定部１７、および判定結果統合部１８を備えている。
【００２０】
画像取得部１１は、撮像装置で得られた画像（以下、撮像画像と呼ぶ）を取得する。なお、撮像装置は、光学情報をデータ列化して画像化するカメラであるものとする。
【００２１】
画像抽出部１２は、撮像画像から認識したい物体（以下、対象物と呼ぶ）の画像を、この対象物の距離に応じた大きさで切り出して抽出する。具体的には、近傍にあると推定される対象物ほど大きく切り出し、遠方にあると推定される対象物ほど小さく切り出す。対象物までの距離については、例えば図示しない距離センサなどで検出してもよい。なお、本実施形態では、対象物を歩行者とする場合を例に挙げて以降の説明を行う。また、これに伴って、画像抽出部１２で抽出された対象物の画像を以降では歩行者候補画像と呼ぶ。
【００２２】
登録辞書部１３は、対象物の複数の画像例をもとにこの対象物の特徴を学習して予め構築された判定パターンおよびこの判定パターンに対応する第１判定閾値の組を格納している。例えば、非特許文献１に開示されている物体検出方法のアルゴリズムにおける矩形特徴とその閾値とを、本実施形態のパターンおよび第１判定閾値として用いることが可能である。なお、非特許文献１に開示されている物体検出手法のアルゴリズムとは、画像中の一定の矩形領域から、矩形特徴（Rectangle Filter）を用いて特徴量を抽出し、判別関数を用いてその特徴量を評価することにより、その矩形領域が対象物を表しているものであるか否かを評価するものである。また、矩形特徴とは、図２に示すような白矩形および黒矩形からなる局所領域に含まれる画素の輝度の総和の組み合わせで表されるものであって、矩形特徴の強度は図中の白矩形に含まれる画素の輝度値の平均と図中の黒矩形に含まれる画素の輝度の平均の差として表される。つまり、図中の白矩形の平均輝度から図中の黒矩形の平均輝度を引いた値が矩形特徴の強度となる。なお、矩形特徴としては、図２に示したものの他にも、白矩形と黒矩形とからなるパターンが異なるものや大きさ、位置、角度などが異なるものを複数用いることが可能である。また、矩形特徴の閾値とは、矩形特徴ごとに設定される値であって、上述の学習において対象物の判別エラーを最小にする値として求められたものである。以降では、非特許文献１に開示されている物体検出方法のアルゴリズムにおける矩形特徴とその閾値とを、本実施形態の判定パターンおよび第１判定閾値として用いるものとして説明を続ける。
【００２３】
また、登録辞書部１３は、判定パターンおよびこの判定パターンに対応する第１判定閾値の組に、この判定パターンに対応する所定の正解得点および所定の不正解得点を対応付け、テーブル（以下、判定テーブルと呼ぶ）として格納している。なお、所定の正解得点および所定の不正解得点とは、上述の学習によって判定パターンに対して設定されている「重み」であって、特許文献１に開示されている「閾値に応じた重み」と同様のものであるが、後述する重み付け部１５での重み付けに用いる「重み」との混同を避けるため、便宜上ここでは正解得点および不正解得点と呼ぶ。
【００２４】
ここで、図３を用いて、登録辞書部１３に格納されている判定テーブルについての説明を行う。図３は、登録辞書部１３に登録されている判定テーブルの一例を示す図である。登録辞書部１３には、図３に示すような、判定パターン（図中のパターンＡ〜Ｃ）とこの判定パターンに対応する第１判定閾値（図中の閾値Ａ〜Ｃ）とこの判定パターンに対応する正解得点（図中の正解得点Ａ〜Ｃ）および不正解得点（図中の不正解得点Ａ〜Ｃ）とが判定パターンの種類の数だけ対応付けられて並んだ判定テーブルが格納されている。
【００２５】
なお、本実施形態では、判定テーブルに含まれる判定パターンの種類をパターンＡ〜パターンＣまでの３種類とする構成を示したが、必ずしもこれに限らない。例えば、判定パターンの種類は、１種類であってもよいし、３種類以外の複数種類であってもよい。
【００２６】
また、登録辞書部１３は、後述する重み付け部１５での処理に用いるための重み付けテーブルも格納している。なお、重み付けテーブルについては、後に詳述する。
【００２７】
判定値算出部１４は、歩行者候補画像に対し、判定パターンとのパターン類似度を判定値として算出する。本実施形態の例では、判定値算出部１４は、登録辞書部１３に格納されている判定テーブルに含まれる判定パターンが表現する歩行者候補画像中の部分領域の輝度明暗の差分値（つまり、前述の矩形特徴の強度）を算出する。そして、判定値算出部１４は、算出した差分値がこの判定パターンと組になっている第１判定閾値以上の場合は、判定テーブルを参照し、この判定パターンに対応する正解得点を判定値として算出する。また、算出した差分値がこの判定パターンと組になっている第１判定閾値未満の場合は、判定テーブルを参照し、この判定パターンに対応する不正解得点を判定値として算出する。
【００２８】
また、判定値算出部１４は、画像抽出部１２で抽出した歩行者候補画像に対して、登録辞書部１３に格納されている判定テーブルに含まれる判定パターンごとに上述の判定値の算出を行う。なお、判定値算出部１４で算出した判定値を以降では、第１判定値と呼ぶ。
【００２９】
重み付け部１５は、判定値算出部１４で算出した第１判定値に対して、登録辞書部１３に格納されている重み付けテーブルに含まれる複数のパターン重みをそれぞれ積算し、新たな判定値（以下、第２判定値と呼ぶ）をパターン重みの種類分だけ算出する。さらに、重み付け部１５は、この第１判定値に対応する第１判定閾値に対して、重み付けテーブルに含まれる閾値重みをそれぞれ積算し、新たな判定閾値（以下、第２判定閾値と呼ぶ）を閾値重みの種類分だけ算出する。
【００３０】
ここで、図４を用いて、登録辞書部１３に格納されている重み付けテーブルについての説明を行う。図４は、登録辞書部１３に登録されている重み付けテーブルの一例を示す図である。登録辞書部１３には、図４に示すような、パターン重み（図中のパターン重みＡ〜Ｃ）とこのパターン重みに対応する閾値重み（図中の閾値重みＡ〜Ｃ）とが対応付けられて並んだ重み付けテーブルが格納されている。なお、パターン重みおよび閾値重みとは、撮像装置での撮像条件（例えば光の明るさ、光の射す方向、対象物の形状の変化など）別に予め複数種類設定される重みであって、パターン重みおよび閾値重みの両方で同じ値であってもよいし、異なった値であってもよい。
【００３１】
なお、本実施形態では、判定テーブルと重み付けテーブルとを個々に登録辞書部１３に格納している構成を示したが、必ずしもこれに限らない。例えば、図５に示すように、判定テーブルと重み付けテーブルとを合わせたテーブルを登録辞書部１３に格納している構成であってもよい。
【００３２】
第１対象物判定部１６は、重み付け部１５でパターン重みの種類分だけ算出した第２判定値が、この第２判定値に対応する第２判定閾値以上か否かを判定する。そして、重み付け部１５でパターン重みの種類分だけ算出した第２判定値のうち、この第２判定値に対応する第２判定閾値以上のものが１つでも存在すると判定した場合には、歩行者候補画像に含まれる物体を歩行者候補として判定する。また、重み付け部１５でパターン重みの種類分だけ算出した第２判定値のうち、この第２判定値に対応する第２判定閾値以上のものが１つも存在しないと判定した場合には、歩行者候補画像に含まれる物体を非歩行者候補として判定する。
【００３３】
第２対象物判定部１７は、判定値算出部１４で算出した第１判定値が、この第１判定値に対応する第１判定閾値以上か否かを判定する。そして、第１判定閾値以上であると判定した場合には、歩行者候補画像に含まれる物体を歩行者候補として判定する。また、第１判定閾値未満であると判定した場合には、歩行者候補画像に含まれる物体を非歩行者候補として判定する。
【００３４】
判定結果統合部１８は、第１対象物判定部１６での判定結果と第２対象物判定部１７での判定結果とを統合して、歩行者候補画像に含まれる物体が歩行者であるか否かを決定する。具体的には、歩行者候補画像に含まれる物体を第１対象物判定部１６と第２対象物判定部１７との両方で歩行者候補として判定した場合に、歩行者候補画像に含まれる物体が歩行者であると判定結果統合部１８が決定する。
【００３５】
また、判定結果統合部１８は、歩行者リストを作成して保持する。さらに、判定結果統合部１８は、歩行者であると決定された物体についてのすべての歩行者リストを整理して総合リストを作成し、この総合リストを最終的な認識結果として出力する。なお、歩行者リストおよび総合リストについては後に詳述する。
【００３６】
次に、図２を用いて、物体認識装置１での動作フローについての説明を行う。図２は、物体認識装置１での動作フローを示すフローチャートである。なお、本フローは、自車両のイグニッションスイッチがオンされたときに開始される。
【００３７】
まず、ステップＳ１では、画像取得部１１が撮像画像を取得し、この撮像画像のデータを画像抽出部１２に送ってステップＳ２に移る。ステップＳ２では、画像抽出部１２が撮像画像のデータから歩行者候補画像を抽出し、この歩行者候補画像のデータを判定値算出部１４に送ってステップＳ３に移る。なお、ステップＳ２では、撮像画像中に対象物が複数含まれていた場合には、そのうちの１つの対象物についての歩行者候補画像を抽出する。ステップＳ３では、ステップＳ２で抽出した歩行者候補画像に対して、判定値算出部１４が、登録辞書部１３に格納されている判定テーブル中の１つの判定パターンについての第１判定値を算出し、この第１判定値を重み付け部１５と第２対象物判定部１７とに送ってステップＳ４に移る。
【００３８】
ステップＳ４では、ステップＳ３で算出した第１判定値に対して、重み付け部１５が、登録辞書部１３に格納されている重み付けテーブルに含まれる複数のパターン重みをそれぞれ積算し、第２判定値をパターン重みの種類分だけ（本実施形態の例では３種類）算出する。また、ステップＳ４では、重み付け部１５が、ステップＳ３で算出した第１判定値に対応する第１判定閾値に対して、重み付けテーブルに含まれる閾値重みをそれぞれ積算し、第２判定閾値を閾値重みの種類分だけ（本実施形態の例では３種類）算出する。つまり、ステップＳ４では第１判定値および第１判定閾値に対して重み付けを行う。そして、重み付け部１５で算出したこれらの第２判定値およびこれらの第２判定値に対応する第２判定閾値を第１対象物判定部１６に送ってステップＳ５に移る。
【００３９】
ステップＳ５では、ステップＳ４でパターン重みの種類分だけ算出した第２判定値が、この第２判定値に対応する第２判定閾値以上か否かを、第１対象物判定部１６でそれぞれ判定する。そして、ステップＳ４でパターン重みの種類分だけ算出した第２判定値のうち、この第２判定値に対応する第２判定閾値以上のものが１つでも存在すると判定した場合には、歩行者候補画像に含まれる物体を歩行者候補として判定する。また、ステップＳ４でパターン重みの種類分だけ算出した第２判定値のうち、この第２判定値に対応する第２判定閾値以上のものが１つも存在しないと判定した場合には、歩行者候補画像に含まれる物体を非歩行者候補として判定する。そして、第１対象物判定部１６での判定結果を判定結果統合部１８に送って、ステップＳ６に移る。
【００４０】
ステップＳ６では、ステップＳ３で算出した第１判定値が、この第１判定値に対応する第１判定閾値以上か否かを、第２対象物判定部１７で判定する。そして、第１判定閾値以上であると判定した場合には、歩行者候補画像に含まれる物体を歩行者候補として判定する。また、第１判定閾値未満であると判定した場合には、歩行者候補画像に含まれる物体を非歩行者候補として判定する。そして、第２対象物判定部１７での判定結果を判定結果統合部１８に送って、ステップＳ７に移る。
【００４１】
なお、本実施形態では、ステップＳ４の処理、ステップＳ５の処理、ステップＳ６の処理の順に処理を行う構成を示したが、必ずしもこれに限らない。例えば、ステップＳ４の処理の前にステップＳ６の処理を行う構成であってもよいし、ステップＳ４およびステップＳ５の処理と並行してステップＳ６の処理を行う構成であってもよい。
【００４２】
ステップＳ７では、判定テーブル中の全ての判定パターンについてステップＳ３〜ステップＳ６の処理が行われた場合（ステップＳ７でＹｅｓ）には、ステップＳ８に移る。また、判定テーブル中の判定パターンのうち、ステップＳ３〜ステップＳ６の処理が行われていないものが残っていた場合（ステップＳ７でＮｏ）には、ステップＳ３に戻って、ステップＳ３〜ステップＳ６の処理が行われていない判定パターンについてフローを繰り返す。
【００４３】
ステップＳ８では、ステップＳ２で抽出した歩行者候補画像に含まれる物体を第１対象物判定部１６と第２対象物判定部１７との両方で歩行者候補として判定したか否かを判定結果統合部１８で判定し、ステップＳ９に移る。
【００４４】
ステップＳ９では、判定テーブル中の全ての判定パターンのうちの少なくともいずれかについて、第１対象物判定部１６と第２対象物判定部１７との両方で歩行者候補として判定した（つまり、両判定結果を満足した）と判定結果統合部１８が判定した場合（ステップＳ９でＹｅｓ）には、ステップＳ２で抽出した歩行者候補画像に含まれる物体を歩行者であると決定し、ステップＳ１０に移る。また、判定テーブル中の全ての判定パターンについて、第１対象物判定部１６と第２対象物判定部１７とのいずれかで非歩行者候補として判定したと判定結果統合部１８が判定した場合（ステップＳ９でＮｏ）には、ステップＳ２で抽出した歩行者候補画像に含まれる物体を歩行者でないと決定し、ステップＳ１１に移る。
【００４５】
ステップＳ１０では、ステップＳ２で抽出した歩行者候補画像に含まれる物体についてのリスト（以下、歩行者リストと呼ぶ）を判定結果統合部１８が作成して保持し、ステップＳ１１に移る。なお、歩行者リストとは、例えば、歩行者として決定された物体の歩行者候補画像や撮像画像中のこの物体の位置やこの物体の種類（本実施形態の例では人）などの情報を対応付けたものである。
【００４６】
ステップＳ１１では、撮像画像中の全ての歩行者候補画像についてステップＳ２〜ステップＳ１０の処理が行われた場合（ステップＳ１１でＹｅｓ）には、ステップＳ１２に移る。また、撮像画像中の歩行者候補画像のうち、ステップＳ２〜ステップＳ１０の処理が行われていないものが残っていた場合（ステップＳ１１でＮｏ）には、ステップＳ２に戻って、ステップＳ２〜ステップＳ１０の処理が行われていない歩行者候補画像についてフローを繰り返す。
【００４７】
ステップＳ１２では、判定結果統合部１８が、歩行者であると決定された物体についてのすべての歩行者リストを整理して総合リストを作成する。そして、判定結果統合部１８が、この総合リストを最終的な認識結果として出力してフローを終了する。具体的には、同一の物体についての歩行者リストが重複して存在していた場合に、重複した歩行者リスト同士を統合する。なお、歩行者リストを統合する場合には、対象物がより完全に含まれている歩行者候補画像を代表画像として残したり、歩行者候補画像同士を平均した画像を代表画像として残したりして統合する。判定結果統合部１８では、歩行者リストを整理することによって、例えば、撮像画像中に含まれる歩行者として決定された物体の数やその物体の歩行者候補画像（代表画像が存在する場合には代表画像）や撮像画像中のこの物体の位置やこの物体の種類（本実施形態の例では人）などの情報を対応付けて総合リストを作成する。
【００４８】
以上の構成によれば、撮像条件別に予め複数設定されているパターン重みと閾値重みとを積算する重み付けで得られた複数組の新たな第２判定値および第２判定閾値に基づいて、歩行者候補画像中の物体が歩行者であるか否かを判定するので、この複数組の中に、画像の撮像条件の変化の影響を抑えて上述の判定を行うことを可能にする組が含まれる可能性が高い。よって、以上の構成によれば、重み付け部１５による重み付けによって、画像の撮像条件の変化による判定のばらつきを吸収して歩行者の認識率を向上させることができる可能性が高い。従って、以上の構成によれば、撮像画像中の歩行者の認識率をより高くすることを可能にすることができる。
【００４９】
また、以上の構成によれば、第１対象物判定部１６と第２対象物判定部１７との両方において歩行者候補画像中の物体が歩行者であると判定した場合に、歩行者候補画像中の物体が歩行者であると決定するので、非歩行者を誤認識する可能性をさらに低くすることが可能になる。
【００５０】
さらに、以上の構成によれば、第１対象物判定部１６で歩行者候補画像中の物体が歩行者であると判定したときのパターン重みおよび閾値重みに対応している撮像条件をもとに、実際の撮像条件の変化を推定することが可能になる。
【００５１】
なお、本実施形態では、歩行者候補画像に含まれる物体を第１対象物判定部１６と第２対象物判定部１７との両方で歩行者候補として判定した場合に、歩行者候補画像に含まれる物体が歩行者であると判定結果統合部１８が決定する構成を示したが、必ずしもこれに限らない。例えば、歩行者候補画像に含まれる物体を第１対象物判定部１６と第２対象物判定部１７とのうちのいずれか一方で歩行者候補として判定した場合に、歩行者候補画像に含まれる物体が歩行者であると判定結果統合部１８が決定する構成であってもよい。なお、この場合であっても、判定方法が異なる第１対象物判定部１６と第２対象物判定部１７とで得られた２つの判定結果を併用することによって、撮像条件の変化による判定のばらつきを吸収して歩行者の認識率を向上させることが可能になる。
【００５２】
また、第１対象物判定部１６および判定結果統合部１８を備えず、第２対象物判定部１７で歩行者候補として判定した場合に、歩行者候補画像に含まれる物体が歩行者であると決定する構成であってもよい。なお、この場合であっても、撮像画像中の歩行者の認識率をより高くすることを可能にすることができる。
【００５３】
なお、本実施形態では、判定値算出部１４、重み付け部１５、および第１対象物判定部１６で行う一連の処理を、複数種類の判定パターンおよびこの判定パターンに対応する第１判定閾値の組のうちの１組ずつについて順番に繰り返す構成を示したが、必ずしもこれに限らない。例えば、複数種類の判定パターンおよびこの判定パターンに対応する第１判定閾値の組の全てについての第１判定値を判定値算出部１４で算出した後に、重み付け部１５での処理を行うなど、判定値算出部１４、重み付け部１５、および第１対象物判定部１６の各部において、複数種類の判定パターンおよびこの判定パターンに対応する第１判定閾値の組の全てについて処理を行った後に次の処理に移る構成であってもよい。
【００５４】
また、本実施形態では、重み付け部１５において、撮像装置での撮像条件別に予め複数種類設定される重みを第１判定値および第１判定閾値に重み付けする構成を示したが、必ずしもこれに限らない。例えば、重み付け部１５において、登録辞書部１３に格納されている判定テーブル中の順番が先である判定パターンおよびこの判定パターンに対応する第１判定閾値の組ほど、より重みを強くする重み付けを行う構成であってもよい。具体的には、重み付け部１５は、以下の数式に示すように、判定テーブルにおける判定パターンの構成順序を重みとして、順序の先の判定パターンほど高い値を第１判定値および第１判定閾値に積算し加算する構成とする。また、この場合には、登録辞書部１３の判定テーブルには、複数種類の判定パターンおよびこの判定パターンに対応する第１判定閾値の組のうち、前述の学習に用いた複数の画像例において共通項がより多かったパターンを含む組ほど順番が先になるように予め格納してあるものとする。なお、ここで言うところの共通項がより多いパターンとは、例えば、複数の画像例の間で共通する情報のより多いものや複数の画像例の間で矩形特徴の強度のばらつきがより少なかったものなどである。
【００５５】
【数１】
本発明者は、複数種類のパターンおよび閾値の組のうちの、複数の画像例における共通項がより多いパターンを含む組に基づいて算出される判定値および当該パターンに組付けられた閾値ほど、より重みを強くする重み付けを行うことによって、画像の撮像条件の変化による判定のばらつきを吸収して対象物の認識率を向上させることを今回初めて見出した。よって、以上の構成によれば、重み付け部１５による重み付けによって、画像の撮像条件の変化による判定のばらつきを吸収して歩行者の認識率を向上させることができる。また、上述の第１判定値を積算し加算する方法は、各判定パターンについての第２判定値を履歴として保持し、この履歴を加算しても同様の結果が得られるため、積算せずに処理負荷を軽減することも可能になる。さらに、以上の構成によれば登録辞書部１３に重み付けテーブルを備える必要がなくなる。
【００５６】
なお、本実施形態では、対象物を人とする構成を示したが、必ずしもこれに限らない。例えば、対象を人以外のもの（例えば車両や犬など）とする構成であってもよい。この場合、例えば、判定テーブルや重み付けテーブルを対象物の種類分だけ登録辞書部１３に格納している構成としてもよい。また、対象物の種類分だけ登録辞書部１３を備え、それぞれの登録辞書部１３に、対象物の種類ごとの判定テーブルや重み付けテーブルを格納している構成としてもよい。
【００５７】
さらに、対象物の種類ごとに判定テーブルや重み付けテーブルを持つ構成とした場合には、画像抽出部１２で複数種類の対象物の画像を抽出し、この複数種類の対象物の画像について、同時に並行して判定値算出部１４、重み付け部１５、第１対象物判定部１６、第２対象物判定部１７、および判定結果統合部１８で行う一連の処理（以下、対象物認識処理と呼ぶ）を行う構成であってもよい。なお、同時に並行して対象物認識処理を行わずに、１種類の対象物についての対象物認識処理が完了してから他の種類の対象物についての対象物認識処理を行う構成であってもよい。
【００５８】
なお、異なる種類の対象物についての判定パターン、第１判定閾値、正解得点、不正解得点、パターン重み、閾値重みなどが１つの判定テーブルや重み付けテーブルの中に混在している構成であってもよい。この場合には、例えばＩＤなどをさらに判定テーブルや重み付けテーブル中に対応付けることによって、対象物の種類ごとの判定パターン、第１判定閾値、正解得点、不正解得点、パターン重み、閾値重みなどを区別して利用可能とする構成とすればよい。
【００５９】
また、本実施形態では、光学情報をデータ列化して画像化するカメラを撮像装置として用いる構成を示したが、必ずしもこれに限らない。例えば、距離情報をデータ列化して画像化する距離センサ（例えばレーダなど）のアレイ構成等を撮像装置として用いる構成であってもよい。
【００６０】
なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【図面の簡単な説明】
【００６１】
【図１】物体認識装置１の概略的な構成を示すブロック図である。
【図２】矩形特徴のパターンの一例を示す図である。
【図３】判定テーブルの一例を示す図である。
【図４】重み付けテーブルの一例を示す図である。
【図５】判定テーブルと重み付けテーブルとを合わせたテーブルの一例を示す図である。
【図６】物体認識装置１での動作フローを示すフローチャートである。
【符号の説明】
【００６２】
１ 物体認識装置、１１ 画像取得部（画像取得手段）、１２ 画像抽出部（画像抽出手段）、１３ 登録辞書部、１４ 判定値算出部（判定値算出手段）、１５ 重み付け部（重み付け手段）、１６ 第１対象判定部（第１対象判定手段）、１７ 第２対象判定部（第２対象判定手段）、１８ 判定結果統合部（判定結果統合手段）
【技術分野】
【０００１】
本発明は、物体の認識に用いられる物体認識装置に関するものである。
【背景技術】
【０００２】
従来から、画像中の物体を認識する技術が知られている。例えば、特許文献１には、認識しようとする物体の切り出し画像例から予め構築したパターンおよび閾値を持つ判別器を用いて算出した判定値を用いて、画像中の物体を認識する技術が開示されている。
【特許文献１】特開２００７−１９３６９２号公報
【非特許文献１】Ｊｏｎｅｓ，Ｍ．Ｊ．；Ｖｉｏｌａ，Ｐ．，“Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ Ｕｓｉｎｇ Ｂｏｏｓｔｅｄ Ｌｏｃａｌ Ｆｅａｔｕｒｅｓ”，Ｍｉｔｓｕｂｉｓｈｉ Ｅｌｅｃｔｒｉｃ Ｒｅｓｅａｒｃｈ Ｌａｂ，Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ，ＴＲ２００３−０２５，２００３．
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に開示の技術は、判別器を用いて算出した判定値をそのまま活用して画像中の物体を認識する構成であるたため、画像の撮像条件（光や形状など）の変化によって、同一物体であっても画像フレームごとに認識結果にばらつきが生じ、物体の認識率が低下してしまうという問題点を有していた。
【０００４】
本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、画像中の物体の認識率をより高くすることを可能にする物体認識装置を提供することにある。
【課題を解決するための手段】
【０００５】
請求項１の物体認識装置は、上記課題を解決するために、撮像手段で得られた画像を取得する画像取得手段と、前記画像取得手段で取得した画像から、認識したい物体を含む領域である判定対象領域の画像を抽出する画像抽出手段と、認識対象とする物体である対象物の複数の画像例をもとにこの対象物の特徴を学習して予め構築されたパターンおよび閾値の組を格納している登録辞書部と、前記画像抽出手段で抽出した判定対象領域の画像と前記登録辞書に格納されているパターンおよび閾値の組に基づいて、前記判定対象領域の画像中の物体の、対象物らしさを示す判定値を算出する判定値算出手段と、を備える物体認識装置であって、前記判定値算出手段で算出した判定値および前記閾値に重みを付ける重み付けを行って、新たな判定値および新たな閾値を算出する重み付け手段と、前記重み付け手段で算出した新たな判定値および新たな閾値に基づいて、前記判定対象領域の画像中の物体が対象物であるか否かを判定する第１対象物判定手段と、を備えることを特徴としている。
【０００６】
これによれば、画像抽出手段で得られた判定対象領域の画像と登録辞書部に格納されているパターンおよび閾値の組とに基づいて算出された判定値と上述の閾値とに重み付けを行った後に、この重み付けで得られた新たな判定値および新たな閾値に基づいて判定対象領域の画像中の物体が対象物であるか否かを判定することができるので、画像の撮像条件の変化による判定のばらつきを吸収する重み付けを行うことによって、対象物の認識率を向上させることが可能になる。従って、請求項１の構成によれば、画像中の物体の認識率をより高くすることを可能にすることができる。
【０００７】
また、請求項２の物体認識装置では、前記登録辞書部は、複数種類の前記パターンおよび閾値の組を格納していることを特徴としている。
【０００８】
さらに、請求項３の物体認識装置では、前記判定値算出手段、前記重み付け手段、および前記第１対象物判定手段で行う一連の処理を、前記複数種類の前記パターンおよび閾値の組のうちの１組ずつ順番に繰り返すことを特徴としている。
【０００９】
この請求項２および３のようにしても、画像中の物体の認識率をより高くすることを可能にすることができる。
【００１０】
また、請求項４の物体認識装置では、前記登録辞書部は、前記複数種類の前記パターンおよび閾値の組のうちの、前記複数の画像例における共通項がより多いパターンを含む組ほど順番が先になるように前記複数種類の前記パターンおよび閾値の組を予め格納しているとともに、前記重み付け手段は、前記登録辞書部に格納されている順番が先である前記パターンおよび閾値の組ほど、より重みを強くする重み付けを行うことを特徴としている。
【００１１】
本発明者は、複数種類のパターンおよび閾値の組のうちの、複数の画像例における共通項がより多いパターンを含む組に基づいて算出される判定値および当該パターンに組付けられた閾値ほど、より重みを強くする重み付けを行うことによって、画像の撮像条件の変化による判定のばらつきを吸収して対象物の認識率を向上させることを今回初めて見出した。
【００１２】
よって、請求項４の構成によれば、重み付け手段による重み付けによって、画像の撮像条件の変化による判定のばらつきを吸収して対象物の認識率を向上させることができる。従って、請求項４の構成によれば、画像中の物体の認識率をより高くすることができる。
【００１３】
また、請求項５の物体認識装置では、前記重み付け手段は、前記撮像手段での撮像条件別に予め複数の重みが設定されており、前記判定値算出手段で算出した判定値および前記閾値に前記複数の重みを付ける重み付けを行って、複数組の新たな判定値および新たな閾値を算出するとともに、前記第１対象物判定手段は、前記重み付け手段で算出した複数組の新たな判定値および新たな閾値に基づいて、前記判定対象領域の画像中の物体が対象物であるか否かを判定することを特徴としている。
【００１４】
これによれば、撮像条件別に予め複数設定されている重みを付ける重み付けで得られた複数組の新たな判定値および新たな閾値に基づいて、判定対象領域の画像中の物体が対象物であるか否かを判定する場合、この複数組の中に、画像の撮像条件の変化の影響を抑えて上述の判定を行うことを可能にする組が含まれる可能性が高くなる。よって、請求項５の構成によれば、重み付け手段による重み付けによって、画像の撮像条件の変化による判定のばらつきを吸収して対象物の認識率を向上させることができる可能性が高くなる。従って、請求項５の構成によれば、画像中の物体の認識率をより高くすることを可能にすることができる。
【００１５】
また、請求項６の物体認識装置では、前記判定値算出手段で算出した判定値および前記閾値に基づいて、前記判定対象領域の画像中の物体が対象物であるか否かを判定する第２対象物判定手段と、前記第１対象物判定手段と前記第２対象物判定手段との両方において前記判定対象領域の画像中の物体が対象物であると判定した場合に、前記判定対象領域の画像中の物体が対象物であると決定する判定結果統合手段と、をさらに備えることを特徴としている。
【００１６】
重み付け判定手段による重み付けを行っていない判定値および閾値に基づいて、第２対象物判定手段で判定対象領域の画像中の物体が対象物であると判定した場合には、画像の撮像条件の変化による判定のばらつきによって、非対象物を誤認識している可能性がある。また、重み付け判定手段による重み付けを行って得られた新たな判定値および新たな閾値に基づいて、第１対象物判定手段で判定対象領域の画像中の物体が対象物であると判定した場合であっても、非対象物を誤認識している可能性は残る。これに対して、請求項６の構成によれば、第１対象物判定手段と第２対象物判定手段との両方において判定対象領域の画像中の物体が対象物であると判定した場合に、判定対象領域の画像中の物体が対象物であると決定するので、非対象物を誤認識する可能性をさらに低くすることが可能になる。
【００１７】
また、請求項７の物体認識装置では、前記重み付け手段は、前記判定値および前記閾値の両方に同じ値を積算することによって、前記重み付けを行うことを特徴としている。
【００１８】
この請求項７のようにしても、画像中の物体の認識率をより高くすることを可能にすることができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施形態について図面を用いて説明する。図１は、本発明が適用された物体認識装置１の概略的な構成を示すブロック図である。図１に示す物体認識装置１は、車両に搭載されるものであり、画像取得部１１、画像抽出部１２、登録辞書部１３、判定値算出部１４、重み付け部１５、第１対象物判定部１６、第２対象物判定部１７、および判定結果統合部１８を備えている。
【００２０】
画像取得部１１は、撮像装置で得られた画像（以下、撮像画像と呼ぶ）を取得する。なお、撮像装置は、光学情報をデータ列化して画像化するカメラであるものとする。
【００２１】
画像抽出部１２は、撮像画像から認識したい物体（以下、対象物と呼ぶ）の画像を、この対象物の距離に応じた大きさで切り出して抽出する。具体的には、近傍にあると推定される対象物ほど大きく切り出し、遠方にあると推定される対象物ほど小さく切り出す。対象物までの距離については、例えば図示しない距離センサなどで検出してもよい。なお、本実施形態では、対象物を歩行者とする場合を例に挙げて以降の説明を行う。また、これに伴って、画像抽出部１２で抽出された対象物の画像を以降では歩行者候補画像と呼ぶ。
【００２２】
登録辞書部１３は、対象物の複数の画像例をもとにこの対象物の特徴を学習して予め構築された判定パターンおよびこの判定パターンに対応する第１判定閾値の組を格納している。例えば、非特許文献１に開示されている物体検出方法のアルゴリズムにおける矩形特徴とその閾値とを、本実施形態のパターンおよび第１判定閾値として用いることが可能である。なお、非特許文献１に開示されている物体検出手法のアルゴリズムとは、画像中の一定の矩形領域から、矩形特徴（Rectangle Filter）を用いて特徴量を抽出し、判別関数を用いてその特徴量を評価することにより、その矩形領域が対象物を表しているものであるか否かを評価するものである。また、矩形特徴とは、図２に示すような白矩形および黒矩形からなる局所領域に含まれる画素の輝度の総和の組み合わせで表されるものであって、矩形特徴の強度は図中の白矩形に含まれる画素の輝度値の平均と図中の黒矩形に含まれる画素の輝度の平均の差として表される。つまり、図中の白矩形の平均輝度から図中の黒矩形の平均輝度を引いた値が矩形特徴の強度となる。なお、矩形特徴としては、図２に示したものの他にも、白矩形と黒矩形とからなるパターンが異なるものや大きさ、位置、角度などが異なるものを複数用いることが可能である。また、矩形特徴の閾値とは、矩形特徴ごとに設定される値であって、上述の学習において対象物の判別エラーを最小にする値として求められたものである。以降では、非特許文献１に開示されている物体検出方法のアルゴリズムにおける矩形特徴とその閾値とを、本実施形態の判定パターンおよび第１判定閾値として用いるものとして説明を続ける。
【００２３】
また、登録辞書部１３は、判定パターンおよびこの判定パターンに対応する第１判定閾値の組に、この判定パターンに対応する所定の正解得点および所定の不正解得点を対応付け、テーブル（以下、判定テーブルと呼ぶ）として格納している。なお、所定の正解得点および所定の不正解得点とは、上述の学習によって判定パターンに対して設定されている「重み」であって、特許文献１に開示されている「閾値に応じた重み」と同様のものであるが、後述する重み付け部１５での重み付けに用いる「重み」との混同を避けるため、便宜上ここでは正解得点および不正解得点と呼ぶ。
【００２４】
ここで、図３を用いて、登録辞書部１３に格納されている判定テーブルについての説明を行う。図３は、登録辞書部１３に登録されている判定テーブルの一例を示す図である。登録辞書部１３には、図３に示すような、判定パターン（図中のパターンＡ〜Ｃ）とこの判定パターンに対応する第１判定閾値（図中の閾値Ａ〜Ｃ）とこの判定パターンに対応する正解得点（図中の正解得点Ａ〜Ｃ）および不正解得点（図中の不正解得点Ａ〜Ｃ）とが判定パターンの種類の数だけ対応付けられて並んだ判定テーブルが格納されている。
【００２５】
なお、本実施形態では、判定テーブルに含まれる判定パターンの種類をパターンＡ〜パターンＣまでの３種類とする構成を示したが、必ずしもこれに限らない。例えば、判定パターンの種類は、１種類であってもよいし、３種類以外の複数種類であってもよい。
【００２６】
また、登録辞書部１３は、後述する重み付け部１５での処理に用いるための重み付けテーブルも格納している。なお、重み付けテーブルについては、後に詳述する。
【００２７】
判定値算出部１４は、歩行者候補画像に対し、判定パターンとのパターン類似度を判定値として算出する。本実施形態の例では、判定値算出部１４は、登録辞書部１３に格納されている判定テーブルに含まれる判定パターンが表現する歩行者候補画像中の部分領域の輝度明暗の差分値（つまり、前述の矩形特徴の強度）を算出する。そして、判定値算出部１４は、算出した差分値がこの判定パターンと組になっている第１判定閾値以上の場合は、判定テーブルを参照し、この判定パターンに対応する正解得点を判定値として算出する。また、算出した差分値がこの判定パターンと組になっている第１判定閾値未満の場合は、判定テーブルを参照し、この判定パターンに対応する不正解得点を判定値として算出する。
【００２８】
また、判定値算出部１４は、画像抽出部１２で抽出した歩行者候補画像に対して、登録辞書部１３に格納されている判定テーブルに含まれる判定パターンごとに上述の判定値の算出を行う。なお、判定値算出部１４で算出した判定値を以降では、第１判定値と呼ぶ。
【００２９】
重み付け部１５は、判定値算出部１４で算出した第１判定値に対して、登録辞書部１３に格納されている重み付けテーブルに含まれる複数のパターン重みをそれぞれ積算し、新たな判定値（以下、第２判定値と呼ぶ）をパターン重みの種類分だけ算出する。さらに、重み付け部１５は、この第１判定値に対応する第１判定閾値に対して、重み付けテーブルに含まれる閾値重みをそれぞれ積算し、新たな判定閾値（以下、第２判定閾値と呼ぶ）を閾値重みの種類分だけ算出する。
【００３０】
ここで、図４を用いて、登録辞書部１３に格納されている重み付けテーブルについての説明を行う。図４は、登録辞書部１３に登録されている重み付けテーブルの一例を示す図である。登録辞書部１３には、図４に示すような、パターン重み（図中のパターン重みＡ〜Ｃ）とこのパターン重みに対応する閾値重み（図中の閾値重みＡ〜Ｃ）とが対応付けられて並んだ重み付けテーブルが格納されている。なお、パターン重みおよび閾値重みとは、撮像装置での撮像条件（例えば光の明るさ、光の射す方向、対象物の形状の変化など）別に予め複数種類設定される重みであって、パターン重みおよび閾値重みの両方で同じ値であってもよいし、異なった値であってもよい。
【００３１】
なお、本実施形態では、判定テーブルと重み付けテーブルとを個々に登録辞書部１３に格納している構成を示したが、必ずしもこれに限らない。例えば、図５に示すように、判定テーブルと重み付けテーブルとを合わせたテーブルを登録辞書部１３に格納している構成であってもよい。
【００３２】
第１対象物判定部１６は、重み付け部１５でパターン重みの種類分だけ算出した第２判定値が、この第２判定値に対応する第２判定閾値以上か否かを判定する。そして、重み付け部１５でパターン重みの種類分だけ算出した第２判定値のうち、この第２判定値に対応する第２判定閾値以上のものが１つでも存在すると判定した場合には、歩行者候補画像に含まれる物体を歩行者候補として判定する。また、重み付け部１５でパターン重みの種類分だけ算出した第２判定値のうち、この第２判定値に対応する第２判定閾値以上のものが１つも存在しないと判定した場合には、歩行者候補画像に含まれる物体を非歩行者候補として判定する。
【００３３】
第２対象物判定部１７は、判定値算出部１４で算出した第１判定値が、この第１判定値に対応する第１判定閾値以上か否かを判定する。そして、第１判定閾値以上であると判定した場合には、歩行者候補画像に含まれる物体を歩行者候補として判定する。また、第１判定閾値未満であると判定した場合には、歩行者候補画像に含まれる物体を非歩行者候補として判定する。
【００３４】
判定結果統合部１８は、第１対象物判定部１６での判定結果と第２対象物判定部１７での判定結果とを統合して、歩行者候補画像に含まれる物体が歩行者であるか否かを決定する。具体的には、歩行者候補画像に含まれる物体を第１対象物判定部１６と第２対象物判定部１７との両方で歩行者候補として判定した場合に、歩行者候補画像に含まれる物体が歩行者であると判定結果統合部１８が決定する。
【００３５】
また、判定結果統合部１８は、歩行者リストを作成して保持する。さらに、判定結果統合部１８は、歩行者であると決定された物体についてのすべての歩行者リストを整理して総合リストを作成し、この総合リストを最終的な認識結果として出力する。なお、歩行者リストおよび総合リストについては後に詳述する。
【００３６】
次に、図２を用いて、物体認識装置１での動作フローについての説明を行う。図２は、物体認識装置１での動作フローを示すフローチャートである。なお、本フローは、自車両のイグニッションスイッチがオンされたときに開始される。
【００３７】
まず、ステップＳ１では、画像取得部１１が撮像画像を取得し、この撮像画像のデータを画像抽出部１２に送ってステップＳ２に移る。ステップＳ２では、画像抽出部１２が撮像画像のデータから歩行者候補画像を抽出し、この歩行者候補画像のデータを判定値算出部１４に送ってステップＳ３に移る。なお、ステップＳ２では、撮像画像中に対象物が複数含まれていた場合には、そのうちの１つの対象物についての歩行者候補画像を抽出する。ステップＳ３では、ステップＳ２で抽出した歩行者候補画像に対して、判定値算出部１４が、登録辞書部１３に格納されている判定テーブル中の１つの判定パターンについての第１判定値を算出し、この第１判定値を重み付け部１５と第２対象物判定部１７とに送ってステップＳ４に移る。
【００３８】
ステップＳ４では、ステップＳ３で算出した第１判定値に対して、重み付け部１５が、登録辞書部１３に格納されている重み付けテーブルに含まれる複数のパターン重みをそれぞれ積算し、第２判定値をパターン重みの種類分だけ（本実施形態の例では３種類）算出する。また、ステップＳ４では、重み付け部１５が、ステップＳ３で算出した第１判定値に対応する第１判定閾値に対して、重み付けテーブルに含まれる閾値重みをそれぞれ積算し、第２判定閾値を閾値重みの種類分だけ（本実施形態の例では３種類）算出する。つまり、ステップＳ４では第１判定値および第１判定閾値に対して重み付けを行う。そして、重み付け部１５で算出したこれらの第２判定値およびこれらの第２判定値に対応する第２判定閾値を第１対象物判定部１６に送ってステップＳ５に移る。
【００３９】
ステップＳ５では、ステップＳ４でパターン重みの種類分だけ算出した第２判定値が、この第２判定値に対応する第２判定閾値以上か否かを、第１対象物判定部１６でそれぞれ判定する。そして、ステップＳ４でパターン重みの種類分だけ算出した第２判定値のうち、この第２判定値に対応する第２判定閾値以上のものが１つでも存在すると判定した場合には、歩行者候補画像に含まれる物体を歩行者候補として判定する。また、ステップＳ４でパターン重みの種類分だけ算出した第２判定値のうち、この第２判定値に対応する第２判定閾値以上のものが１つも存在しないと判定した場合には、歩行者候補画像に含まれる物体を非歩行者候補として判定する。そして、第１対象物判定部１６での判定結果を判定結果統合部１８に送って、ステップＳ６に移る。
【００４０】
ステップＳ６では、ステップＳ３で算出した第１判定値が、この第１判定値に対応する第１判定閾値以上か否かを、第２対象物判定部１７で判定する。そして、第１判定閾値以上であると判定した場合には、歩行者候補画像に含まれる物体を歩行者候補として判定する。また、第１判定閾値未満であると判定した場合には、歩行者候補画像に含まれる物体を非歩行者候補として判定する。そして、第２対象物判定部１７での判定結果を判定結果統合部１８に送って、ステップＳ７に移る。
【００４１】
なお、本実施形態では、ステップＳ４の処理、ステップＳ５の処理、ステップＳ６の処理の順に処理を行う構成を示したが、必ずしもこれに限らない。例えば、ステップＳ４の処理の前にステップＳ６の処理を行う構成であってもよいし、ステップＳ４およびステップＳ５の処理と並行してステップＳ６の処理を行う構成であってもよい。
【００４２】
ステップＳ７では、判定テーブル中の全ての判定パターンについてステップＳ３〜ステップＳ６の処理が行われた場合（ステップＳ７でＹｅｓ）には、ステップＳ８に移る。また、判定テーブル中の判定パターンのうち、ステップＳ３〜ステップＳ６の処理が行われていないものが残っていた場合（ステップＳ７でＮｏ）には、ステップＳ３に戻って、ステップＳ３〜ステップＳ６の処理が行われていない判定パターンについてフローを繰り返す。
【００４３】
ステップＳ８では、ステップＳ２で抽出した歩行者候補画像に含まれる物体を第１対象物判定部１６と第２対象物判定部１７との両方で歩行者候補として判定したか否かを判定結果統合部１８で判定し、ステップＳ９に移る。
【００４４】
ステップＳ９では、判定テーブル中の全ての判定パターンのうちの少なくともいずれかについて、第１対象物判定部１６と第２対象物判定部１７との両方で歩行者候補として判定した（つまり、両判定結果を満足した）と判定結果統合部１８が判定した場合（ステップＳ９でＹｅｓ）には、ステップＳ２で抽出した歩行者候補画像に含まれる物体を歩行者であると決定し、ステップＳ１０に移る。また、判定テーブル中の全ての判定パターンについて、第１対象物判定部１６と第２対象物判定部１７とのいずれかで非歩行者候補として判定したと判定結果統合部１８が判定した場合（ステップＳ９でＮｏ）には、ステップＳ２で抽出した歩行者候補画像に含まれる物体を歩行者でないと決定し、ステップＳ１１に移る。
【００４５】
ステップＳ１０では、ステップＳ２で抽出した歩行者候補画像に含まれる物体についてのリスト（以下、歩行者リストと呼ぶ）を判定結果統合部１８が作成して保持し、ステップＳ１１に移る。なお、歩行者リストとは、例えば、歩行者として決定された物体の歩行者候補画像や撮像画像中のこの物体の位置やこの物体の種類（本実施形態の例では人）などの情報を対応付けたものである。
【００４６】
ステップＳ１１では、撮像画像中の全ての歩行者候補画像についてステップＳ２〜ステップＳ１０の処理が行われた場合（ステップＳ１１でＹｅｓ）には、ステップＳ１２に移る。また、撮像画像中の歩行者候補画像のうち、ステップＳ２〜ステップＳ１０の処理が行われていないものが残っていた場合（ステップＳ１１でＮｏ）には、ステップＳ２に戻って、ステップＳ２〜ステップＳ１０の処理が行われていない歩行者候補画像についてフローを繰り返す。
【００４７】
ステップＳ１２では、判定結果統合部１８が、歩行者であると決定された物体についてのすべての歩行者リストを整理して総合リストを作成する。そして、判定結果統合部１８が、この総合リストを最終的な認識結果として出力してフローを終了する。具体的には、同一の物体についての歩行者リストが重複して存在していた場合に、重複した歩行者リスト同士を統合する。なお、歩行者リストを統合する場合には、対象物がより完全に含まれている歩行者候補画像を代表画像として残したり、歩行者候補画像同士を平均した画像を代表画像として残したりして統合する。判定結果統合部１８では、歩行者リストを整理することによって、例えば、撮像画像中に含まれる歩行者として決定された物体の数やその物体の歩行者候補画像（代表画像が存在する場合には代表画像）や撮像画像中のこの物体の位置やこの物体の種類（本実施形態の例では人）などの情報を対応付けて総合リストを作成する。
【００４８】
以上の構成によれば、撮像条件別に予め複数設定されているパターン重みと閾値重みとを積算する重み付けで得られた複数組の新たな第２判定値および第２判定閾値に基づいて、歩行者候補画像中の物体が歩行者であるか否かを判定するので、この複数組の中に、画像の撮像条件の変化の影響を抑えて上述の判定を行うことを可能にする組が含まれる可能性が高い。よって、以上の構成によれば、重み付け部１５による重み付けによって、画像の撮像条件の変化による判定のばらつきを吸収して歩行者の認識率を向上させることができる可能性が高い。従って、以上の構成によれば、撮像画像中の歩行者の認識率をより高くすることを可能にすることができる。
【００４９】
また、以上の構成によれば、第１対象物判定部１６と第２対象物判定部１７との両方において歩行者候補画像中の物体が歩行者であると判定した場合に、歩行者候補画像中の物体が歩行者であると決定するので、非歩行者を誤認識する可能性をさらに低くすることが可能になる。
【００５０】
さらに、以上の構成によれば、第１対象物判定部１６で歩行者候補画像中の物体が歩行者であると判定したときのパターン重みおよび閾値重みに対応している撮像条件をもとに、実際の撮像条件の変化を推定することが可能になる。
【００５１】
なお、本実施形態では、歩行者候補画像に含まれる物体を第１対象物判定部１６と第２対象物判定部１７との両方で歩行者候補として判定した場合に、歩行者候補画像に含まれる物体が歩行者であると判定結果統合部１８が決定する構成を示したが、必ずしもこれに限らない。例えば、歩行者候補画像に含まれる物体を第１対象物判定部１６と第２対象物判定部１７とのうちのいずれか一方で歩行者候補として判定した場合に、歩行者候補画像に含まれる物体が歩行者であると判定結果統合部１８が決定する構成であってもよい。なお、この場合であっても、判定方法が異なる第１対象物判定部１６と第２対象物判定部１７とで得られた２つの判定結果を併用することによって、撮像条件の変化による判定のばらつきを吸収して歩行者の認識率を向上させることが可能になる。
【００５２】
また、第１対象物判定部１６および判定結果統合部１８を備えず、第２対象物判定部１７で歩行者候補として判定した場合に、歩行者候補画像に含まれる物体が歩行者であると決定する構成であってもよい。なお、この場合であっても、撮像画像中の歩行者の認識率をより高くすることを可能にすることができる。
【００５３】
なお、本実施形態では、判定値算出部１４、重み付け部１５、および第１対象物判定部１６で行う一連の処理を、複数種類の判定パターンおよびこの判定パターンに対応する第１判定閾値の組のうちの１組ずつについて順番に繰り返す構成を示したが、必ずしもこれに限らない。例えば、複数種類の判定パターンおよびこの判定パターンに対応する第１判定閾値の組の全てについての第１判定値を判定値算出部１４で算出した後に、重み付け部１５での処理を行うなど、判定値算出部１４、重み付け部１５、および第１対象物判定部１６の各部において、複数種類の判定パターンおよびこの判定パターンに対応する第１判定閾値の組の全てについて処理を行った後に次の処理に移る構成であってもよい。
【００５４】
また、本実施形態では、重み付け部１５において、撮像装置での撮像条件別に予め複数種類設定される重みを第１判定値および第１判定閾値に重み付けする構成を示したが、必ずしもこれに限らない。例えば、重み付け部１５において、登録辞書部１３に格納されている判定テーブル中の順番が先である判定パターンおよびこの判定パターンに対応する第１判定閾値の組ほど、より重みを強くする重み付けを行う構成であってもよい。具体的には、重み付け部１５は、以下の数式に示すように、判定テーブルにおける判定パターンの構成順序を重みとして、順序の先の判定パターンほど高い値を第１判定値および第１判定閾値に積算し加算する構成とする。また、この場合には、登録辞書部１３の判定テーブルには、複数種類の判定パターンおよびこの判定パターンに対応する第１判定閾値の組のうち、前述の学習に用いた複数の画像例において共通項がより多かったパターンを含む組ほど順番が先になるように予め格納してあるものとする。なお、ここで言うところの共通項がより多いパターンとは、例えば、複数の画像例の間で共通する情報のより多いものや複数の画像例の間で矩形特徴の強度のばらつきがより少なかったものなどである。
【００５５】
【数１】
本発明者は、複数種類のパターンおよび閾値の組のうちの、複数の画像例における共通項がより多いパターンを含む組に基づいて算出される判定値および当該パターンに組付けられた閾値ほど、より重みを強くする重み付けを行うことによって、画像の撮像条件の変化による判定のばらつきを吸収して対象物の認識率を向上させることを今回初めて見出した。よって、以上の構成によれば、重み付け部１５による重み付けによって、画像の撮像条件の変化による判定のばらつきを吸収して歩行者の認識率を向上させることができる。また、上述の第１判定値を積算し加算する方法は、各判定パターンについての第２判定値を履歴として保持し、この履歴を加算しても同様の結果が得られるため、積算せずに処理負荷を軽減することも可能になる。さらに、以上の構成によれば登録辞書部１３に重み付けテーブルを備える必要がなくなる。
【００５６】
なお、本実施形態では、対象物を人とする構成を示したが、必ずしもこれに限らない。例えば、対象を人以外のもの（例えば車両や犬など）とする構成であってもよい。この場合、例えば、判定テーブルや重み付けテーブルを対象物の種類分だけ登録辞書部１３に格納している構成としてもよい。また、対象物の種類分だけ登録辞書部１３を備え、それぞれの登録辞書部１３に、対象物の種類ごとの判定テーブルや重み付けテーブルを格納している構成としてもよい。
【００５７】
さらに、対象物の種類ごとに判定テーブルや重み付けテーブルを持つ構成とした場合には、画像抽出部１２で複数種類の対象物の画像を抽出し、この複数種類の対象物の画像について、同時に並行して判定値算出部１４、重み付け部１５、第１対象物判定部１６、第２対象物判定部１７、および判定結果統合部１８で行う一連の処理（以下、対象物認識処理と呼ぶ）を行う構成であってもよい。なお、同時に並行して対象物認識処理を行わずに、１種類の対象物についての対象物認識処理が完了してから他の種類の対象物についての対象物認識処理を行う構成であってもよい。
【００５８】
なお、異なる種類の対象物についての判定パターン、第１判定閾値、正解得点、不正解得点、パターン重み、閾値重みなどが１つの判定テーブルや重み付けテーブルの中に混在している構成であってもよい。この場合には、例えばＩＤなどをさらに判定テーブルや重み付けテーブル中に対応付けることによって、対象物の種類ごとの判定パターン、第１判定閾値、正解得点、不正解得点、パターン重み、閾値重みなどを区別して利用可能とする構成とすればよい。
【００５９】
また、本実施形態では、光学情報をデータ列化して画像化するカメラを撮像装置として用いる構成を示したが、必ずしもこれに限らない。例えば、距離情報をデータ列化して画像化する距離センサ（例えばレーダなど）のアレイ構成等を撮像装置として用いる構成であってもよい。
【００６０】
なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【図面の簡単な説明】
【００６１】
【図１】物体認識装置１の概略的な構成を示すブロック図である。
【図２】矩形特徴のパターンの一例を示す図である。
【図３】判定テーブルの一例を示す図である。
【図４】重み付けテーブルの一例を示す図である。
【図５】判定テーブルと重み付けテーブルとを合わせたテーブルの一例を示す図である。
【図６】物体認識装置１での動作フローを示すフローチャートである。
【符号の説明】
【００６２】
１ 物体認識装置、１１ 画像取得部（画像取得手段）、１２ 画像抽出部（画像抽出手段）、１３ 登録辞書部、１４ 判定値算出部（判定値算出手段）、１５ 重み付け部（重み付け手段）、１６ 第１対象判定部（第１対象判定手段）、１７ 第２対象判定部（第２対象判定手段）、１８ 判定結果統合部（判定結果統合手段）
【特許請求の範囲】
【請求項１】
撮像手段で得られた画像を取得する画像取得手段と、
前記画像取得手段で取得した画像から、認識したい物体を含む領域である判定対象領域の画像を抽出する画像抽出手段と、
認識対象とする物体である対象物の複数の画像例をもとにこの対象物の特徴を学習して予め構築されたパターンおよび閾値の組を格納している登録辞書部と、
前記画像抽出手段で抽出した判定対象領域の画像と前記登録辞書に格納されているパターンおよび閾値の組に基づいて、前記判定対象領域の画像中の物体の、対象物らしさを示す判定値を算出する判定値算出手段と、を備える物体認識装置であって、
前記判定値算出手段で算出した判定値および前記閾値に重みを付ける重み付けを行って、新たな判定値および新たな閾値を算出する重み付け手段と、
前記重み付け手段で算出した新たな判定値および新たな閾値に基づいて、前記判定対象領域の画像中の物体が対象物であるか否かを判定する第１対象物判定手段と、を備えることを特徴とする物体認識装置。
【請求項２】
前記登録辞書部は、複数種類の前記パターンおよび閾値の組を格納していることを特徴とする請求項１に記載の物体認識装置。
【請求項３】
前記判定値算出手段、前記重み付け手段、および前記第１対象物判定手段で行う一連の処理を、前記複数種類の前記パターンおよび閾値の組のうちの１組ずつ順番に繰り返すことを特徴とする請求項２に記載の物体認識装置。
【請求項４】
前記登録辞書部は、前記複数種類の前記パターンおよび閾値の組のうちの、前記複数の画像例における共通項がより多いパターンを含む組ほど順番が先になるように前記複数種類の前記パターンおよび閾値の組を予め格納しているとともに、
前記重み付け手段は、前記登録辞書部に格納されている順番が先である前記パターンおよび閾値の組ほど、より重みを強くする重み付けを行うことを特徴とする請求項２または３に記載の物体認識装置。
【請求項５】
前記重み付け手段は、前記撮像手段での撮像条件別に予め複数の重みが設定されており、前記判定値算出手段で算出した判定値および前記閾値に前記複数の重みを付ける重み付けを行って、複数組の新たな判定値および新たな閾値を算出するとともに、
前記第１対象物判定手段は、前記重み付け手段で算出した複数組の新たな判定値および新たな閾値に基づいて、前記判定対象領域の画像中の物体が対象物であるか否かを判定することを特徴とする請求項１〜３のいずれか１項に記載の物体認識装置。
【請求項６】
前記判定値算出手段で算出した判定値および前記閾値に基づいて、前記判定対象領域の画像中の物体が対象物であるか否かを判定する第２対象物判定手段と、
前記第１対象物判定手段と前記第２対象物判定手段との両方において前記判定対象領域の画像中の物体が対象物であると判定した場合に、前記判定対象領域の画像中の物体が対象物であると決定する判定結果統合手段と、をさらに備えることを特徴とする請求項１〜５のいずれか１項に記載の物体認識装置。
【請求項７】
前記重み付け手段は、前記判定値および前記閾値の両方に同じ値を積算することによって、前記重み付けを行うことを特徴とする請求項１〜６のいずれか１項に記載の物体認識装置。
【請求項１】
撮像手段で得られた画像を取得する画像取得手段と、
前記画像取得手段で取得した画像から、認識したい物体を含む領域である判定対象領域の画像を抽出する画像抽出手段と、
認識対象とする物体である対象物の複数の画像例をもとにこの対象物の特徴を学習して予め構築されたパターンおよび閾値の組を格納している登録辞書部と、
前記画像抽出手段で抽出した判定対象領域の画像と前記登録辞書に格納されているパターンおよび閾値の組に基づいて、前記判定対象領域の画像中の物体の、対象物らしさを示す判定値を算出する判定値算出手段と、を備える物体認識装置であって、
前記判定値算出手段で算出した判定値および前記閾値に重みを付ける重み付けを行って、新たな判定値および新たな閾値を算出する重み付け手段と、
前記重み付け手段で算出した新たな判定値および新たな閾値に基づいて、前記判定対象領域の画像中の物体が対象物であるか否かを判定する第１対象物判定手段と、を備えることを特徴とする物体認識装置。
【請求項２】
前記登録辞書部は、複数種類の前記パターンおよび閾値の組を格納していることを特徴とする請求項１に記載の物体認識装置。
【請求項３】
前記判定値算出手段、前記重み付け手段、および前記第１対象物判定手段で行う一連の処理を、前記複数種類の前記パターンおよび閾値の組のうちの１組ずつ順番に繰り返すことを特徴とする請求項２に記載の物体認識装置。
【請求項４】
前記登録辞書部は、前記複数種類の前記パターンおよび閾値の組のうちの、前記複数の画像例における共通項がより多いパターンを含む組ほど順番が先になるように前記複数種類の前記パターンおよび閾値の組を予め格納しているとともに、
前記重み付け手段は、前記登録辞書部に格納されている順番が先である前記パターンおよび閾値の組ほど、より重みを強くする重み付けを行うことを特徴とする請求項２または３に記載の物体認識装置。
【請求項５】
前記重み付け手段は、前記撮像手段での撮像条件別に予め複数の重みが設定されており、前記判定値算出手段で算出した判定値および前記閾値に前記複数の重みを付ける重み付けを行って、複数組の新たな判定値および新たな閾値を算出するとともに、
前記第１対象物判定手段は、前記重み付け手段で算出した複数組の新たな判定値および新たな閾値に基づいて、前記判定対象領域の画像中の物体が対象物であるか否かを判定することを特徴とする請求項１〜３のいずれか１項に記載の物体認識装置。
【請求項６】
前記判定値算出手段で算出した判定値および前記閾値に基づいて、前記判定対象領域の画像中の物体が対象物であるか否かを判定する第２対象物判定手段と、
前記第１対象物判定手段と前記第２対象物判定手段との両方において前記判定対象領域の画像中の物体が対象物であると判定した場合に、前記判定対象領域の画像中の物体が対象物であると決定する判定結果統合手段と、をさらに備えることを特徴とする請求項１〜５のいずれか１項に記載の物体認識装置。
【請求項７】
前記重み付け手段は、前記判定値および前記閾値の両方に同じ値を積算することによって、前記重み付けを行うことを特徴とする請求項１〜６のいずれか１項に記載の物体認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００９−２９５１１２（Ｐ２００９−２９５１１２Ａ）
【公開日】平成２１年１２月１７日（２００９．１２．１７）
【国際特許分類】
【出願番号】特願２００８−１５０８２８（Ｐ２００８−１５０８２８）
【出願日】平成２０年６月９日（２００８．６．９）
【出願人】（０００００４６９５）株式会社日本自動車部品総合研究所 (1,981)
【Ｆターム（参考）】
【公開日】平成２１年１２月１７日（２００９．１２．１７）
【国際特許分類】
【出願日】平成２０年６月９日（２００８．６．９）
【出願人】（０００００４６９５）株式会社日本自動車部品総合研究所 (1,981)
【Ｆターム（参考）】
[ Back to top ]