対象物検出装置、方法及びプログラム
【課題】画像に高輝度が含まれる場合でも、その画像に基づいて高精度に対象物を検出する。
【解決手段】対象物検出装置は、入力画像からウインドウ画像を抽出するウインドウ画像抽出部１と、閾値を超えないようにウインドウ画像の輝度値を補正する輝度補正部２と、学習モデルを記憶する学習モデルデータベース３と、補正されたウインドウと学習モデルとに基づいて対象物を検出する評価部４と、対象物の検出結果を出力する出力部５と、を備えている。
【解決手段】対象物検出装置は、入力画像からウインドウ画像を抽出するウインドウ画像抽出部１と、閾値を超えないようにウインドウ画像の輝度値を補正する輝度補正部２と、学習モデルを記憶する学習モデルデータベース３と、補正されたウインドウと学習モデルとに基づいて対象物を検出する評価部４と、対象物の検出結果を出力する出力部５と、を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物検出装置、方法及びプログラムに係り、特に、高輝度成分が含まれる画像から対象物を検出するのに用いて好適な対象物検出装置、方法及びプログラムに関する。
【背景技術】
【０００２】
車両に遠赤外用のビデオカメラを搭載し、夜間走行時に車両前方の歩行者、自転車乗員を検出してドライバに注意を促すことができる運転支援システムが提案されている。このような運転支援システムは、撮像装置により生成された画像に対して所定の処理を行うことによって対象物を検出する。運転支援システムで行われる処理としては、（１）異なる時間に撮影された複数フレームの画像の差分を用いるもの、（２）予め撮影した背景と処理対象画像の差分を用いるもの、（３）学習やルールにより対象物を表すパターンを予め作成し、このパターンと処理対象画像から切り取った画像を比較するもの等がある。
【０００３】
（１）及び（２）の例として、特許文献１では、同じ背景を撮像領域とする撮像装置による入力画像と既存の基準背景画像とを各画素の輝度値について差分することで得られる差分画像から前記入力画像に含まれる抽出対象物を抽出する物体抽出方法が開示されている。具体的には、特許文献１に記載された技術は、基準背景画像と入力画像とについて同一位置に補正ポイントを設定すると共に基準画像の前記補正ポイントの輝度値と入力画像の前記補正ポイントの輝度値との差から求まる照明変動輝度補正値により差分画像に補正を行うものである。
【０００４】
（３）の例として、特許文献２では、車両の外界を撮像する撮像装置と、該撮像装置が撮像して得た画像データを処理して人間の存在の認識をする画像処理装置と、該画像処理装置が認識した人間の存在を出力する出力装置とを備える人間認識システムが開示されている。具体的には、特許文献２に記載された技術は、人間の輝度分布を表す基準パターンを記憶する記憶手段と、外界の対象物を撮像して得た画像データと前記基準パターンとを比較して、人間候補画像を抽出する抽出手段と、抽出した人間候補画像の長さを算出する長さ算出手段と、算出した長さに基づいて人間の存否を判定する判定手段とを備えたものである。
【特許文献１】特開２００４−２７４３２５号公報
【特許文献２】特開２００５−２８５０１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１のように（１）及び（２）を用いた方法では、同じ背景を撮影領域とする必要があるため、例えば走行中の車両から撮影した画像のように撮影位置が時々刻々と変化する場合などに対応できないという問題がある。
【０００６】
特許文献２では、高輝度に撮影されるものが対象物付近や背景に存在したり、あるいは対象物がこれを保持したりする場合、うまくパターンと照合することができず、対象物を検出できないことがある。特に、夜間の近赤外画像や可視画像を用いる場合、この点が問題となる。例えば、ライトや反射特性を有するもの等が高輝度であるため、これらが対象物近くに存在すると、パターンと一致しないと判断される場合がある。これは、パターンと対象画像を比較する際に、対象画像の中に含まれる対象物以外の背景や持ち物等を切り離して比較することが困難であるためである。
【０００７】
本発明は、上述した課題を解決するために提案されたものであり、画像に高輝度が含まれる場合でも、その画像に基づいて高精度に対象物を検出することができる対象物検出装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の対象物検出装置は、入力画像から所定領域毎の画像を抽出する画像抽出手段と、前記画像抽出手段により抽出された所定領域の画像を構成する画素の輝度値が予め設定された閾値を超えているときに、前記閾値を超えないように前記画素の輝度値を補正する輝度補正手段と、前記輝度補正手段により輝度値が補正された画素を含む所定領域の画像と、対象物を検出するための学習モデルと、に基づいて、対象物を検出する対象物検出手段と、を備えている。
【０００９】
画像抽出手段は、入力画像から所定領域毎の画像を抽出する。ここで、入力画像とは、撮像装置によりリアルタイムで生成された画像であってもよいし、記憶手段に予め記憶された画像であってもよい。
【００１０】
また、抽出された所定領域の画像に高輝度が含まれていると、画像と学習モデルとの照合ができず、対象物の検出精度が低下してしまうことがある。そこで、輝度補正手段は、抽出された所定領域の画像を構成する画素の輝度値が予め設定された閾値を超えているときに、閾値を超えないように画素の輝度値を補正する。そして、対象物検出手段は、輝度値が補正された画素を含む所定領域の画像と、対象物を検出するための学習モデルと、に基づいて、対象物を検出する。
【００１１】
したがって、本発明の対象物検出装置は、入力画像から所定領域毎の画像を抽出し、抽出された所定領域の画像を構成する画素の輝度値が予め設定された閾値を超えているときに前記閾値を超えないように前記画素の輝度値を補正し、輝度値が補正された画素を含む所定領域の画像と対象物を検出するための学習モデルとに基づいて対象物を検出することにより、入力画像に高輝度が含まれている場合であっても、高精度に対象物を検出することができる。なお、本発明は、対象物検出方法及びプログラムにも適用可能である。
【発明の効果】
【００１２】
本発明は、画像に高輝度が含まれている場合であっても、高輝度の影響を受けることなく、対象物を検出することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の好ましい実施の形態について図面を参照しながら詳細に説明する。
【００１４】
図１は、本発明の実施の形態に係る対象物検出装置の構成を示すブロック図である。対象物検出装置は、入力画像からウインドウ画像を抽出するウインドウ画像抽出部１と、ウインドウ画像の輝度値を補正する輝度補正部２と、学習モデルを記憶する学習モデルデータベース３と、対象物らしさを示す評価値を算出して対象物を検出する評価部４と、対象物の検出結果を出力する出力部５と、学習することによって学習モデルを生成する学習部６と、を備えている。
【００１５】
以上のように構成された対象物検出装置は、対象物画像及び非対象物画像を用いて学習して対象物を検出するための学習モデルを生成し、この学習モデルと入力画像とを比較することにより対象物の有無を検出する。
【００１６】
［学習］
学習に用いる画像（学習画像）は、近赤外光が照射された対象物の撮像画像である。学習部６は、サポートベクターマシン（Support Vector Machines：SVM）を用いる。なお、学習部６は、サポートベクターマシンの他に、ニューラルネットワークなどの識別器を用いてもよい。そこで、学習部６には、学習画像として、歩行者、自転車乗員が撮影された約１０００枚の画像が入力される。この学習画像は、前照灯や反射材を使用した服などを撮影することによって生成される高輝度成分を含むものではない。さらに、学習部６には、非対象物画像として、電柱や看板などの検出の対象物以外の物体の約１０００枚の画像が入力される。なお、本実施形態では、検出の対象物として歩行者及び自転車乗員を用いたが、対象物はこれに限定されるものではない。
【００１７】
図２（Ａ）及び（Ｂ）は、学習画像の一例である歩行者の画像を示す図である。図３（Ａ）は非対象物画像の一例である電柱の画像、同図（Ｂ）は非対象物画像の一例である道路標識の画像を示す図である。学習部６は、学習画像に基づいて対象物を学習し、非対象物画像に基づいて対象物でないものを学習し、対象物の特徴量を表す学習モデルを生成する。
【００１８】
［対象物検出］
図４は、対象物検出ルーチンを示すフローチャートである。対象物検出装置の各部では、次のステップＳ１からステップＳ１０までの処理が実行される。
【００１９】
ステップＳ１では、ウインドウ画像抽出部１は、例えば６４０×４８０画素で構成される画像が入力されると、ステップＳ２に進む。なお、ウインドウ画像抽出部１に入力される画像は、近赤外光が照射された被写体の画像であればよく、撮像装置によってリアルタイムに生成された画像であってもよいし、予め記憶装置に記憶された画像であってもよい。
【００２０】
ステップＳ２では、ウインドウ画像抽出部１は、画像に対して例えば１６×３２画素の探索ウインドウを設定し、１６×３２画素のウインドウ画像を抽出して、ステップＳ３に進む。
【００２１】
ステップＳ３では、輝度補正部２は、ウインドウ画像抽出部１で抽出されたウインドウ画像を構成する各々の画素について輝度値が閾値を超えているか否かを判定し、閾値を超えている画素の輝度値をその閾値になるように補正する。例えば、輝度値が８ビット（０〜２５５）であり、輝度値の閾値を２００とすると、輝度補正部２は、各々の画素について、輝度値が２００を超えているか否かを判定し、輝度値が２００を超える画素の輝度値をすべて２００に補正して、ステップＳ４に進む。
【００２２】
図５（Ａ）は補正前のウインドウ画像、（Ｂ）は補正後のウインドウ画像を示す図である。このように、輝度補正部２は、輝度値が閾値を超えた画素については、輝度値が閾値になるように補正することにより、入力画像のハレーション（にじみ）を大幅に低減させることができる。
【００２３】
なお、輝度値の補正方法は上記に限定されるものではなく、輝度補正部２は次のような処理を行ってもよい。以下、補正対象の画素の座標を(i,j)とし、その輝度値をI(i,j)とする。
【００２４】
輝度補正部２は、例えば、補正対象の画素の輝度値を当該補正対象の画素に隣接する画素の輝度値に補正してもよい。例えば、
I(i,j)=I(i,j-1)
としてもよい。
【００２５】
輝度補正部２は、補正対象の画素の輝度値を、当該補正対象の画素の近傍にある画素の輝度値の平均値に補正してもよい。例えば、隣接する３画素の平均の場合、
I(i,j)=average(I(i-1,j-1), I(i-1,j), I(i-1,j+1))
としてもよい。なお、average(x,y,z)は、x,y,zの平均値を示す。
【００２６】
また、近傍画素の平均の場合、
I(i,j)=average(I(i+k,j+l)) k,l∈ηi,j（i,jの近傍）
としてもよい。
【００２７】
輝度補正部２は、補正対象の画素の輝度値を、当該補正対象の画素の近傍にある画素の輝度値の重み付け平均値に補正してもよい。例えば、
I(i,j)=average(Ck,l×I(i+k,j+l))
k,l∈ηi,j（i,jの近傍）、Ck,l：k,lに対する重み
としてもよい。
【００２８】
輝度補正部２は、補正対象の画素の輝度値を、ウインドウ画像抽出部１により抽出されたウインドウ画像Ｉ全体の輝度値の平均値に補正してもよい。例えば、
I(i,j)=average(I)
としてもよい。
【００２９】
ステップＳ４では、評価部４は、輝度補正部２で補正されたウインドウ画像と、学習用データベース３に記憶された学習モデルとを比較して、対象物の確からしさを評価値として算出し、その評価値に基づいてウインドウ画像が対象物であるか否かを判定する。なお、ウインドウ画像と学習モデルとを用いた対象物の検出においては、公知の技術を用いることができる。そして、肯定判定のときはステップＳ５に進み、否定判定のときはステップＳ６に進む。
【００３０】
ステップＳ５では、評価部４は、ステップＳ４において対象物が検出されたときの探索ウインドウの位置及び大きさ、対象物が何であるか等の情報を対象物リストに保存して、ステップＳ６に進む。
【００３１】
ステップＳ６では、評価部４は、入力画像全体について探索ウインドウをスキャンして探索が終了したか否かを判定し、肯定判定のときはステップＳ８に進み、否定判定のときはステップＳ７に進む。
【００３２】
ステップＳ７では、ウインドウ画像抽出部１は、探索ウインドウの位置を前回よりも１ステップ移動させて、ステップＳ２に戻る。そして、再びステップＳ２からステップＳ６までの処理が繰り返し実行される。探索ウインドウが画像全体を探索すると、ステップＳ８に進む。
【００３３】
ここで、探索ウインドウは対象物を検出するための小領域であり、探索ウインドウのサイズが異なれば、様々なサイズの対象物を検出することができる。本実施形態では、様々なサイズの探索ウインドウが予め用意されており、各々の探索ウインドウで画像全体を探索する必要がある。そこで、次のステップＳ８が行われる。
【００３４】
ステップＳ８では、評価部４は、すべてのサイズの探索ウインドウで探索が終了したか否かを判定し、肯定判定のときはステップＳ１０に進み、否定判定のときはステップＳ９に進む。
【００３５】
ステップＳ９では、ウインドウ画像抽出部１は、探索ウインドウのサイズを１ステップ拡大して、ステップＳ２に戻る。本実施形態では、探索ウインドウのサイズは例えば１．２倍に拡大される。そして、再びステップＳ２からステップＳ８までの処理が繰り返し実行され、すべてのサイズの探索ウインドウで探索が終了すると、ステップＳ１０に進む。
【００３６】
ステップＳ１０では、評価部４は、対象物リストに保存されている情報を出力部５に供給する。そして、出力部５は、評価部４から供給された情報を出力する。
【００３７】
図６（Ａ）は入力画像に探索ウインドウが表示された状態を示す図であり、（Ｂ）は入力画像に対象物検出結果が表示された状態を示す図である。出力部５は、例えば同図（Ｂ）に示すように、検出された対象物をウインドウで囲んで表示している。なお、出力部５は、上記の例に限らず、例えば対象物の有無の情報、対象物画像、対象物位置の少なくとも１つを音声または画像により出力してもよい。
【００３８】
以上のように、本実施形態に係る対象物検出装置は、入力画像を構成する画素の輝度値が閾値を超えているときに閾値を超えないように画素の輝度値を補正して、輝度値が補正された画素を含むウインドウ画像と学習モデルとに基づいて対象物を検出する。これにより、上記対象物検出装置は、入力画像に高輝度成分が含まれる場合であっても、高輝度成分の影響を受けることなく、入力画像と学習モデルとに基づいて対象物を検出することができる。すなわち、上記対象物検出装置は、高輝度成分が存在することにより検出できない対象物を減らして、対象物検出性能を向上させることができる。
【００３９】
なお、本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲に記載された範囲内で設計上の変更をされたものにも適用可能であるのは勿論である。
【００４０】
上記対象物検出装置は、学習部６を備えていたが、これに限定されるものではない。すなわち、対象物検出装置は、学習部６によって既に学習された学習モデルデータベース３を備えていれば、学習部６を備えていなくてもよい。
【図面の簡単な説明】
【００４１】
【図１】本発明の実施の形態に係る対象物検出装置の構成を示すブロック図である。
【図２】（Ａ）及び（Ｂ）は、学習画像の一例である歩行者の画像を示す図である。
【図３】（Ａ）は非対象物画像の一例である電柱の画像を示す図であり、同図（Ｂ）は非対象物画像の一例である道路標識の画像を示す図である。
【図４】対象物検出ルーチンを示すフローチャートである。
【図５】（Ａ）は補正前のウインドウ画像を示す図であり、（Ｂ）は補正後のウインドウ画像を示す図である。
【図６】（Ａ）は入力画像に探索ウインドウが表示された状態を示す図であり、（Ｂ）は入力画像に対象物検出結果が表示された状態を示す図である。
【符号の説明】
【００４２】
１ ウインドウ画像抽出部
２ 輝度補正部
３ 学習モデルデータベース
４ 評価部
５ 出力部
６ 学習部
【技術分野】
【０００１】
本発明は、対象物検出装置、方法及びプログラムに係り、特に、高輝度成分が含まれる画像から対象物を検出するのに用いて好適な対象物検出装置、方法及びプログラムに関する。
【背景技術】
【０００２】
車両に遠赤外用のビデオカメラを搭載し、夜間走行時に車両前方の歩行者、自転車乗員を検出してドライバに注意を促すことができる運転支援システムが提案されている。このような運転支援システムは、撮像装置により生成された画像に対して所定の処理を行うことによって対象物を検出する。運転支援システムで行われる処理としては、（１）異なる時間に撮影された複数フレームの画像の差分を用いるもの、（２）予め撮影した背景と処理対象画像の差分を用いるもの、（３）学習やルールにより対象物を表すパターンを予め作成し、このパターンと処理対象画像から切り取った画像を比較するもの等がある。
【０００３】
（１）及び（２）の例として、特許文献１では、同じ背景を撮像領域とする撮像装置による入力画像と既存の基準背景画像とを各画素の輝度値について差分することで得られる差分画像から前記入力画像に含まれる抽出対象物を抽出する物体抽出方法が開示されている。具体的には、特許文献１に記載された技術は、基準背景画像と入力画像とについて同一位置に補正ポイントを設定すると共に基準画像の前記補正ポイントの輝度値と入力画像の前記補正ポイントの輝度値との差から求まる照明変動輝度補正値により差分画像に補正を行うものである。
【０００４】
（３）の例として、特許文献２では、車両の外界を撮像する撮像装置と、該撮像装置が撮像して得た画像データを処理して人間の存在の認識をする画像処理装置と、該画像処理装置が認識した人間の存在を出力する出力装置とを備える人間認識システムが開示されている。具体的には、特許文献２に記載された技術は、人間の輝度分布を表す基準パターンを記憶する記憶手段と、外界の対象物を撮像して得た画像データと前記基準パターンとを比較して、人間候補画像を抽出する抽出手段と、抽出した人間候補画像の長さを算出する長さ算出手段と、算出した長さに基づいて人間の存否を判定する判定手段とを備えたものである。
【特許文献１】特開２００４−２７４３２５号公報
【特許文献２】特開２００５−２８５０１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１のように（１）及び（２）を用いた方法では、同じ背景を撮影領域とする必要があるため、例えば走行中の車両から撮影した画像のように撮影位置が時々刻々と変化する場合などに対応できないという問題がある。
【０００６】
特許文献２では、高輝度に撮影されるものが対象物付近や背景に存在したり、あるいは対象物がこれを保持したりする場合、うまくパターンと照合することができず、対象物を検出できないことがある。特に、夜間の近赤外画像や可視画像を用いる場合、この点が問題となる。例えば、ライトや反射特性を有するもの等が高輝度であるため、これらが対象物近くに存在すると、パターンと一致しないと判断される場合がある。これは、パターンと対象画像を比較する際に、対象画像の中に含まれる対象物以外の背景や持ち物等を切り離して比較することが困難であるためである。
【０００７】
本発明は、上述した課題を解決するために提案されたものであり、画像に高輝度が含まれる場合でも、その画像に基づいて高精度に対象物を検出することができる対象物検出装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の対象物検出装置は、入力画像から所定領域毎の画像を抽出する画像抽出手段と、前記画像抽出手段により抽出された所定領域の画像を構成する画素の輝度値が予め設定された閾値を超えているときに、前記閾値を超えないように前記画素の輝度値を補正する輝度補正手段と、前記輝度補正手段により輝度値が補正された画素を含む所定領域の画像と、対象物を検出するための学習モデルと、に基づいて、対象物を検出する対象物検出手段と、を備えている。
【０００９】
画像抽出手段は、入力画像から所定領域毎の画像を抽出する。ここで、入力画像とは、撮像装置によりリアルタイムで生成された画像であってもよいし、記憶手段に予め記憶された画像であってもよい。
【００１０】
また、抽出された所定領域の画像に高輝度が含まれていると、画像と学習モデルとの照合ができず、対象物の検出精度が低下してしまうことがある。そこで、輝度補正手段は、抽出された所定領域の画像を構成する画素の輝度値が予め設定された閾値を超えているときに、閾値を超えないように画素の輝度値を補正する。そして、対象物検出手段は、輝度値が補正された画素を含む所定領域の画像と、対象物を検出するための学習モデルと、に基づいて、対象物を検出する。
【００１１】
したがって、本発明の対象物検出装置は、入力画像から所定領域毎の画像を抽出し、抽出された所定領域の画像を構成する画素の輝度値が予め設定された閾値を超えているときに前記閾値を超えないように前記画素の輝度値を補正し、輝度値が補正された画素を含む所定領域の画像と対象物を検出するための学習モデルとに基づいて対象物を検出することにより、入力画像に高輝度が含まれている場合であっても、高精度に対象物を検出することができる。なお、本発明は、対象物検出方法及びプログラムにも適用可能である。
【発明の効果】
【００１２】
本発明は、画像に高輝度が含まれている場合であっても、高輝度の影響を受けることなく、対象物を検出することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の好ましい実施の形態について図面を参照しながら詳細に説明する。
【００１４】
図１は、本発明の実施の形態に係る対象物検出装置の構成を示すブロック図である。対象物検出装置は、入力画像からウインドウ画像を抽出するウインドウ画像抽出部１と、ウインドウ画像の輝度値を補正する輝度補正部２と、学習モデルを記憶する学習モデルデータベース３と、対象物らしさを示す評価値を算出して対象物を検出する評価部４と、対象物の検出結果を出力する出力部５と、学習することによって学習モデルを生成する学習部６と、を備えている。
【００１５】
以上のように構成された対象物検出装置は、対象物画像及び非対象物画像を用いて学習して対象物を検出するための学習モデルを生成し、この学習モデルと入力画像とを比較することにより対象物の有無を検出する。
【００１６】
［学習］
学習に用いる画像（学習画像）は、近赤外光が照射された対象物の撮像画像である。学習部６は、サポートベクターマシン（Support Vector Machines：SVM）を用いる。なお、学習部６は、サポートベクターマシンの他に、ニューラルネットワークなどの識別器を用いてもよい。そこで、学習部６には、学習画像として、歩行者、自転車乗員が撮影された約１０００枚の画像が入力される。この学習画像は、前照灯や反射材を使用した服などを撮影することによって生成される高輝度成分を含むものではない。さらに、学習部６には、非対象物画像として、電柱や看板などの検出の対象物以外の物体の約１０００枚の画像が入力される。なお、本実施形態では、検出の対象物として歩行者及び自転車乗員を用いたが、対象物はこれに限定されるものではない。
【００１７】
図２（Ａ）及び（Ｂ）は、学習画像の一例である歩行者の画像を示す図である。図３（Ａ）は非対象物画像の一例である電柱の画像、同図（Ｂ）は非対象物画像の一例である道路標識の画像を示す図である。学習部６は、学習画像に基づいて対象物を学習し、非対象物画像に基づいて対象物でないものを学習し、対象物の特徴量を表す学習モデルを生成する。
【００１８】
［対象物検出］
図４は、対象物検出ルーチンを示すフローチャートである。対象物検出装置の各部では、次のステップＳ１からステップＳ１０までの処理が実行される。
【００１９】
ステップＳ１では、ウインドウ画像抽出部１は、例えば６４０×４８０画素で構成される画像が入力されると、ステップＳ２に進む。なお、ウインドウ画像抽出部１に入力される画像は、近赤外光が照射された被写体の画像であればよく、撮像装置によってリアルタイムに生成された画像であってもよいし、予め記憶装置に記憶された画像であってもよい。
【００２０】
ステップＳ２では、ウインドウ画像抽出部１は、画像に対して例えば１６×３２画素の探索ウインドウを設定し、１６×３２画素のウインドウ画像を抽出して、ステップＳ３に進む。
【００２１】
ステップＳ３では、輝度補正部２は、ウインドウ画像抽出部１で抽出されたウインドウ画像を構成する各々の画素について輝度値が閾値を超えているか否かを判定し、閾値を超えている画素の輝度値をその閾値になるように補正する。例えば、輝度値が８ビット（０〜２５５）であり、輝度値の閾値を２００とすると、輝度補正部２は、各々の画素について、輝度値が２００を超えているか否かを判定し、輝度値が２００を超える画素の輝度値をすべて２００に補正して、ステップＳ４に進む。
【００２２】
図５（Ａ）は補正前のウインドウ画像、（Ｂ）は補正後のウインドウ画像を示す図である。このように、輝度補正部２は、輝度値が閾値を超えた画素については、輝度値が閾値になるように補正することにより、入力画像のハレーション（にじみ）を大幅に低減させることができる。
【００２３】
なお、輝度値の補正方法は上記に限定されるものではなく、輝度補正部２は次のような処理を行ってもよい。以下、補正対象の画素の座標を(i,j)とし、その輝度値をI(i,j)とする。
【００２４】
輝度補正部２は、例えば、補正対象の画素の輝度値を当該補正対象の画素に隣接する画素の輝度値に補正してもよい。例えば、
I(i,j)=I(i,j-1)
としてもよい。
【００２５】
輝度補正部２は、補正対象の画素の輝度値を、当該補正対象の画素の近傍にある画素の輝度値の平均値に補正してもよい。例えば、隣接する３画素の平均の場合、
I(i,j)=average(I(i-1,j-1), I(i-1,j), I(i-1,j+1))
としてもよい。なお、average(x,y,z)は、x,y,zの平均値を示す。
【００２６】
また、近傍画素の平均の場合、
I(i,j)=average(I(i+k,j+l)) k,l∈ηi,j（i,jの近傍）
としてもよい。
【００２７】
輝度補正部２は、補正対象の画素の輝度値を、当該補正対象の画素の近傍にある画素の輝度値の重み付け平均値に補正してもよい。例えば、
I(i,j)=average(Ck,l×I(i+k,j+l))
k,l∈ηi,j（i,jの近傍）、Ck,l：k,lに対する重み
としてもよい。
【００２８】
輝度補正部２は、補正対象の画素の輝度値を、ウインドウ画像抽出部１により抽出されたウインドウ画像Ｉ全体の輝度値の平均値に補正してもよい。例えば、
I(i,j)=average(I)
としてもよい。
【００２９】
ステップＳ４では、評価部４は、輝度補正部２で補正されたウインドウ画像と、学習用データベース３に記憶された学習モデルとを比較して、対象物の確からしさを評価値として算出し、その評価値に基づいてウインドウ画像が対象物であるか否かを判定する。なお、ウインドウ画像と学習モデルとを用いた対象物の検出においては、公知の技術を用いることができる。そして、肯定判定のときはステップＳ５に進み、否定判定のときはステップＳ６に進む。
【００３０】
ステップＳ５では、評価部４は、ステップＳ４において対象物が検出されたときの探索ウインドウの位置及び大きさ、対象物が何であるか等の情報を対象物リストに保存して、ステップＳ６に進む。
【００３１】
ステップＳ６では、評価部４は、入力画像全体について探索ウインドウをスキャンして探索が終了したか否かを判定し、肯定判定のときはステップＳ８に進み、否定判定のときはステップＳ７に進む。
【００３２】
ステップＳ７では、ウインドウ画像抽出部１は、探索ウインドウの位置を前回よりも１ステップ移動させて、ステップＳ２に戻る。そして、再びステップＳ２からステップＳ６までの処理が繰り返し実行される。探索ウインドウが画像全体を探索すると、ステップＳ８に進む。
【００３３】
ここで、探索ウインドウは対象物を検出するための小領域であり、探索ウインドウのサイズが異なれば、様々なサイズの対象物を検出することができる。本実施形態では、様々なサイズの探索ウインドウが予め用意されており、各々の探索ウインドウで画像全体を探索する必要がある。そこで、次のステップＳ８が行われる。
【００３４】
ステップＳ８では、評価部４は、すべてのサイズの探索ウインドウで探索が終了したか否かを判定し、肯定判定のときはステップＳ１０に進み、否定判定のときはステップＳ９に進む。
【００３５】
ステップＳ９では、ウインドウ画像抽出部１は、探索ウインドウのサイズを１ステップ拡大して、ステップＳ２に戻る。本実施形態では、探索ウインドウのサイズは例えば１．２倍に拡大される。そして、再びステップＳ２からステップＳ８までの処理が繰り返し実行され、すべてのサイズの探索ウインドウで探索が終了すると、ステップＳ１０に進む。
【００３６】
ステップＳ１０では、評価部４は、対象物リストに保存されている情報を出力部５に供給する。そして、出力部５は、評価部４から供給された情報を出力する。
【００３７】
図６（Ａ）は入力画像に探索ウインドウが表示された状態を示す図であり、（Ｂ）は入力画像に対象物検出結果が表示された状態を示す図である。出力部５は、例えば同図（Ｂ）に示すように、検出された対象物をウインドウで囲んで表示している。なお、出力部５は、上記の例に限らず、例えば対象物の有無の情報、対象物画像、対象物位置の少なくとも１つを音声または画像により出力してもよい。
【００３８】
以上のように、本実施形態に係る対象物検出装置は、入力画像を構成する画素の輝度値が閾値を超えているときに閾値を超えないように画素の輝度値を補正して、輝度値が補正された画素を含むウインドウ画像と学習モデルとに基づいて対象物を検出する。これにより、上記対象物検出装置は、入力画像に高輝度成分が含まれる場合であっても、高輝度成分の影響を受けることなく、入力画像と学習モデルとに基づいて対象物を検出することができる。すなわち、上記対象物検出装置は、高輝度成分が存在することにより検出できない対象物を減らして、対象物検出性能を向上させることができる。
【００３９】
なお、本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲に記載された範囲内で設計上の変更をされたものにも適用可能であるのは勿論である。
【００４０】
上記対象物検出装置は、学習部６を備えていたが、これに限定されるものではない。すなわち、対象物検出装置は、学習部６によって既に学習された学習モデルデータベース３を備えていれば、学習部６を備えていなくてもよい。
【図面の簡単な説明】
【００４１】
【図１】本発明の実施の形態に係る対象物検出装置の構成を示すブロック図である。
【図２】（Ａ）及び（Ｂ）は、学習画像の一例である歩行者の画像を示す図である。
【図３】（Ａ）は非対象物画像の一例である電柱の画像を示す図であり、同図（Ｂ）は非対象物画像の一例である道路標識の画像を示す図である。
【図４】対象物検出ルーチンを示すフローチャートである。
【図５】（Ａ）は補正前のウインドウ画像を示す図であり、（Ｂ）は補正後のウインドウ画像を示す図である。
【図６】（Ａ）は入力画像に探索ウインドウが表示された状態を示す図であり、（Ｂ）は入力画像に対象物検出結果が表示された状態を示す図である。
【符号の説明】
【００４２】
１ ウインドウ画像抽出部
２ 輝度補正部
３ 学習モデルデータベース
４ 評価部
５ 出力部
６ 学習部
【特許請求の範囲】
【請求項１】
入力画像から所定領域毎の画像を抽出する画像抽出手段と、
前記画像抽出手段により抽出された所定領域の画像を構成する画素の輝度値が予め設定された閾値を超えているときに、前記閾値を超えないように前記画素の輝度値を補正する輝度補正手段と、
前記輝度補正手段により輝度値が補正された画素を含む所定領域の画像と、対象物を検出するための学習モデルと、に基づいて、対象物を検出する対象物検出手段と、
を備えた対象物検出装置。
【請求項２】
前記輝度補正手段は、補正対象の画素の輝度値を前記閾値に補正する
請求項１に記載の対象物検出装置。
【請求項３】
前記補正手段は、補正対象の画素の輝度値を、当該補正対象の画素に隣接する画素の輝度値に補正する
請求項１に記載の対象物検出装置。
【請求項４】
前記補正手段は、補正対象の画素の輝度値を、当該補正対象の画素の近傍にある画素の輝度値の平均値に補正する
請求項１に記載の対象物検出装置。
【請求項５】
前記補正手段は、補正対象の画素の輝度値を、当該補正対象の画素の近傍にある画素の輝度値の重み付け平均値に補正する
請求項１に記載の対象物検出装置。
【請求項６】
前記補正手段は、補正対象の画素の輝度値を、前記画像抽出手段により抽出された所定領域の輝度値に補正する
請求項１に記載の対象物検出装置。
【請求項７】
赤外光が照射された被写体を撮像し、生成した画像を前記画像抽出手段に供給する撮像手段を更に備えた
請求項１から請求項６のいずれか１項に記載の対象物検出装置。
【請求項８】
入力画像から所定領域毎の画像を抽出し、
前記抽出された所定領域の画像を構成する画素の輝度値が予め設定された閾値を超えているときに、前記閾値を超えないように前記画素の輝度値を補正し、
前記補正された画素を含む所定領域の画像と対象物を検出するための学習モデルとに基づいて対象物を検出する
対象物検出方法。
【請求項９】
コンピュータに、
入力画像から所定領域毎の画像を抽出させ、
前記抽出された所定領域の画像を構成する画素の輝度値が予め設定された閾値を超えているときに、前記閾値を超えないように前記画素の輝度値を補正させ、
前記補正された画素を含む所定領域の画像と対象物を検出するための学習モデルとに基づいて対象物を検出させる
対象物検出プログラム。
【請求項１】
入力画像から所定領域毎の画像を抽出する画像抽出手段と、
前記画像抽出手段により抽出された所定領域の画像を構成する画素の輝度値が予め設定された閾値を超えているときに、前記閾値を超えないように前記画素の輝度値を補正する輝度補正手段と、
前記輝度補正手段により輝度値が補正された画素を含む所定領域の画像と、対象物を検出するための学習モデルと、に基づいて、対象物を検出する対象物検出手段と、
を備えた対象物検出装置。
【請求項２】
前記輝度補正手段は、補正対象の画素の輝度値を前記閾値に補正する
請求項１に記載の対象物検出装置。
【請求項３】
前記補正手段は、補正対象の画素の輝度値を、当該補正対象の画素に隣接する画素の輝度値に補正する
請求項１に記載の対象物検出装置。
【請求項４】
前記補正手段は、補正対象の画素の輝度値を、当該補正対象の画素の近傍にある画素の輝度値の平均値に補正する
請求項１に記載の対象物検出装置。
【請求項５】
前記補正手段は、補正対象の画素の輝度値を、当該補正対象の画素の近傍にある画素の輝度値の重み付け平均値に補正する
請求項１に記載の対象物検出装置。
【請求項６】
前記補正手段は、補正対象の画素の輝度値を、前記画像抽出手段により抽出された所定領域の輝度値に補正する
請求項１に記載の対象物検出装置。
【請求項７】
赤外光が照射された被写体を撮像し、生成した画像を前記画像抽出手段に供給する撮像手段を更に備えた
請求項１から請求項６のいずれか１項に記載の対象物検出装置。
【請求項８】
入力画像から所定領域毎の画像を抽出し、
前記抽出された所定領域の画像を構成する画素の輝度値が予め設定された閾値を超えているときに、前記閾値を超えないように前記画素の輝度値を補正し、
前記補正された画素を含む所定領域の画像と対象物を検出するための学習モデルとに基づいて対象物を検出する
対象物検出方法。
【請求項９】
コンピュータに、
入力画像から所定領域毎の画像を抽出させ、
前記抽出された所定領域の画像を構成する画素の輝度値が予め設定された閾値を超えているときに、前記閾値を超えないように前記画素の輝度値を補正させ、
前記補正された画素を含む所定領域の画像と対象物を検出するための学習モデルとに基づいて対象物を検出させる
対象物検出プログラム。
【図１】
【図４】
【図２】
【図３】
【図５】
【図６】
【図４】
【図２】
【図３】
【図５】
【図６】
【公開番号】特開２００７−２７２４２１（Ｐ２００７−２７２４２１Ａ）
【公開日】平成１９年１０月１８日（２００７．１０．１８）
【国際特許分類】
【出願番号】特願２００６−９５４０１（Ｐ２００６−９５４０１）
【出願日】平成１８年３月３０日（２００６．３．３０）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成１９年１０月１８日（２００７．１０．１８）
【国際特許分類】
【出願日】平成１８年３月３０日（２００６．３．３０）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]