物体検出装置および方法
【課題】 物体の未検知または、誤検知の発生を低減することのできる物体検出装置を提供する。
【解決手段】 ステレオカメラ１０１は、撮像された画像をフィードバックすることでレンズ絞りを制御できる複数の撮像装置１１１、１１２を備える。３次元情報算出部１０２は、ステレオカメラ１０１で撮像された画像から撮像空間の３次元情報を算出する。物体検出部１０３は、３次元情報算出部１０２により算出された３次元情報から撮像空間内の物体を検出する。ブルーミング判定部１１３、１２３は、ステレオカメラ１０１で撮像された画像からブルーミングの有無を判定する。画像加工部１１４、１２４は、ブルーミング検知部１１３、１２３の判定結果により撮像装置１１１、１２１に戻す画像を加工する。
【解決手段】 ステレオカメラ１０１は、撮像された画像をフィードバックすることでレンズ絞りを制御できる複数の撮像装置１１１、１１２を備える。３次元情報算出部１０２は、ステレオカメラ１０１で撮像された画像から撮像空間の３次元情報を算出する。物体検出部１０３は、３次元情報算出部１０２により算出された３次元情報から撮像空間内の物体を検出する。ブルーミング判定部１１３、１２３は、ステレオカメラ１０１で撮像された画像からブルーミングの有無を判定する。画像加工部１１４、１２４は、ブルーミング検知部１１３、１２３の判定結果により撮像装置１１１、１２１に戻す画像を加工する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラを用いたステレオ画像処理技術を応用した物体検出装置に関するものである。
【背景技術】
【０００２】
従来の物体検出装置としては、特許文献１に開示されているように、ステレオカメラを用いて物体や車両、侵入者等を検出しようとする試みが多くなされている。
【０００３】
また、特許文献２に開示されているように、ＣＣＤカメラの信号蓄積時間を変化させて、露光量の異なる画像を出力し、それらの画像を画像処理することで、夜間対向車のライトなど強い光源があってもブルーミングを抑制した画像を出力することができる。ブルーミングとは、極端に強い光が撮像素子の一部の画素に入射したとき、電荷が周辺にあふれ出し、光が入射していない部分も明るく見える現象をいう。
【０００４】
ここで、ステレオ画像処理の原理について説明する。図５に示すように、所定の間隔Bで左右平行に設置された2台のカメラ（左カメラ５０１、右カメラ５０２）で、カメラから距離ｚの位置にいる人を撮影すると、図５に示したような左画像５０３、および右画像５０４が得られる。
【０００５】
カメラが平行にずれているので、画像上での人の位置が平行にずれることは容易に理解できる。このズレ量を視差dと呼び、これは、以下の3つのパラメータで一意に決定される。
（１）カメラ間隔 B
（２）レンズ焦点距離 f
（３）カメラから対象物までの距離 z
【０００６】
ステレオカメラによる三次元計測では、（１）カメラ間隔Bおよび（２）レンズ焦点距離fを固定し、画像上に撮像されている各物体の視差dを画像処理で求め、（３）撮像されている物体までの距離zを次式で算出する。
（距離z）＝（カメラ間隔B×レンズ焦点距離f）／（視差d） (式１)
このように、カメラから物体までの距離zが近いときは視差dが大きくなり、距離zが遠いときは視差dが小さくなる、という関係がある。
【０００７】
従って、物体の左右画像での視差dを求めれば、物体までの距離zを計測できる。視差ｄを求める処理はステレオ画像の対応付け処理と呼ばれ、様々な手法が提案されているが、ここではその詳細に付いては割愛する。
【０００８】
続いて、図６を用いて物体検出処理の例について説明する。上記ステレオ画像処理を用いて、背景右画像６０１から基準となる背景距離情報６０３を予め求めておく。なお、背景画像上(X,Y)に撮像されている物体の距離をz(X,Y)と表す。次に、逐次入力される撮像画像６０２の背景及び物体の撮像距離情報６０４を求める。なお、撮像右画像上(X,Y)に撮像されている物体の距離情報はz0(X,Y)と表す。背景距離情報６０３と撮像距離情報６０４について距離情報を比較した結果を差分距離情報６０５として算出し、距離がカメラに近づいている画素の集合体を検出物体６０６とする。このとき、撮像右画像６０２と検出物体６０６の画像位置情報から、物体検出画像を生成することができる。なお、カメラからの距離は画素を複数集めたブロック単位で算出してもよい。
【特許文献１】特開平９−２９７８４９号公報（第４、５ページ、図１）
【特許文献２】特開２００４−４８３４５号公報（第５−７ページ、図２）
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら従来の物体検出技術においては、例えば夜間対向車等のライトのブルーミングが物体を検知したい領域に重なって撮像された場合、誤検知する可能性がある。具体例を図７を用いて説明する。左画像７０１と右画像７０５中に車のライトが進入してきた場合、各々の画像でブルーミング左７０３、ブルーミング右７０６が発生する。２台のカメラは平行にずれているので、発生するブルーミングの大きさ位置等は、左右の画像で必ずしも一致しない。左右のブルーミングの出方が異なれば、例えばブルーミング左７０３の左端と、ブルーミング右７０６の左端のずれ量が一定ではなくなるので、基準となる平面より遠くに物体が存在すると判定されたり、近くに物体が存在すると判定されたりする。近くに物体が存在すると判定されると、誤検知となってしまう。
【００１０】
また、従来の物体検出技術においては、照明等により画像の一部が明るくなることによりレンズ絞りが閉める方向に制御され、物体を検知したい領域が暗く撮像された場合、物体を未検知する可能性がある。例えば、図８のように、左画像８０１と右画像８０５中に街灯などの照明左８０３と照明右８０７が存在した場合、各照明が照らされる照明エリア左８０４と照明エリア右８０８が明るくなりブルーミング気味になる。左右のカメラは、物体検知領域とは関係のない照明エリアの明るさを抑えるために、レンズ絞りを閉めようと制御し、結果的に検知領域左８０２と検知領域右８０６が暗くなるので、物体が見づらくなり未検知となってしまう。
【００１１】
以上のように、従来の物体検出技術においては、物体の誤検知または未検知が発生するという問題があった。
【００１２】
本発明は、従来の問題を解決するためになされたもので、好適な絞り制御によって物体の誤検知または未検知の発生を低減することのできる物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の物体検出装置は、撮像された映像をフィードバックすることでレンズ絞りを制御できる複数の撮像装置を有したステレオカメラと、前記ステレオカメラで撮像された画像から撮像空間の３次元情報を算出する３次元情報算出手段と、前記３次元情報算出手段により算出された３次元情報から撮像空間内の物体を検出する物体検出手段と、前記ステレオカメラで撮像された画像からブルーミングの有無を判定するブルーミング検出手段と、前記ブルーミング検出手段の判定結果により撮像装置に戻す画像を加工する画像加工手段とを備えている。
【００１４】
この構成により、画像がブルーミングの有無の判定結果に応じて加工され、撮像装置に戻され、レンズ絞り制御に使用されており、このような絞り制御によって、ブルーミング等による誤検知を低減することが可能となる。
【００１５】
また、本発明の物体検出装置において、前記画像加工手段は、ブルーミング検出手段によりブルーミングが発生していると判定されたとき、画像全体の平均輝度以上の輝度値で塗りつぶした画像を生成する。前記画像加工手段は、画像全体の平均輝度を算出し、前記平均輝度のα倍（αは１以上）の輝度値で塗りつぶした画像を生成してもよい。
【００１６】
この構成により、ブルーミングを検知したらカメラからの出力画像の平均輝度値以上の輝度値の画像を作成し、レンズにフィードバックすることにより、通常の絞り制御よりも絞り気味の制御が可能となる。その結果、ブルーミングを抑えた画像をカメラから出力させることが可能となり、ブルーミングに伴う誤検知を低減できる。
【００１７】
さらに、本発明の物体検出装置において、前記画像加工手段は、ブルーミング検出手段によりブルーミングが発生していないと判定されたとき、物体を検出する領域の輝度に応じて設定される塗りつぶし用の輝度値で、物体を検出しない領域を塗りつぶした画像を生成する。塗りつぶし用の輝度値は、好適には、物体を検出する領域を代表する輝度値であり、例えば平均値であり、また例えば中央値である。前記画像加工手段は、物体を検出する領域の平均輝度を算出し、物体を検出しない領域を前記平均輝度値で塗りつぶした画像を生成してもよい。
【００１８】
この構成により、ブルーミングが検知されないときは、検知エリアにはカメラからの出力画像をそのまま当てはめ、それ以外の領域は検知エリアの平均輝度値で塗りつぶした画像を作成し、作成した画像をレンズにフィードバックすることにより、通常の絞り制御よりも開き気味の制御が可能となる。その結果、物体を検出する領域を明るくする画像をカメラから出力させることが可能となる。検知エリアの外に明るい部分があるような場合でも、検知エリアの画像が暗くなるのを防ぎ、未検知を低減することができる。このようにして、物体を検知する領域の輝度値を反映した絞り制御が可能となり、物体の特徴が出やすくなり、未検知を低減できる。
【００１９】
また、本発明の別態様の物体検出装置は、撮像された映像をフィードバックすることでレンズ絞りを制御できる複数の撮像装置を有したステレオカメラと、前記ステレオカメラで撮像された画像から撮像空間の３次元情報を算出する３次元情報算出手段と、前記３次元情報算出手段により算出された３次元情報から撮像空間内の物体を検出する物体検出手段と、前記撮像装置に戻す画像を加工する画像加工手段とを備え、前記画像加工手段は、物体を検出する領域の輝度に応じて設定される塗りつぶし用の輝度値で、物体を検出しない領域を塗りつぶした画像を生成する。前記画像加工手段は、物体を検出する領域の平均輝度を算出し、物体を検出しない領域を前記平均輝度値で塗りつぶした画像を生成してもよい。
【００２０】
この構成によっても上述した利点が得られる。すなわち、検知エリアはカメラからの出力画像をそのまま当てはめ、それ以外の領域は検知エリアの平均輝度値で塗りつぶす画像を作成し、作成した画像をレンズにフィードバックすることにより、通常の絞り制御よりも開き気味の制御が可能となる。その結果、物体を検出する領域を明るくする画像をカメラから出力させることが可能となる。検知エリアの外に明るい部分があるような場合でも、検知エリアの画像が暗くなるのを防ぎ、未検知を低減することができる。このようにして、物体を検知する領域の輝度値を反映した絞り制御が可能となり、物体の特徴が出やすくなり、未検知を低減できる。
【００２１】
本発明の別態様は物体検出方法であり、この方法は、撮像された映像をフィードバックすることでレンズ絞りを制御できる複数の撮像装置を有したステレオカメラで撮影を行い、前記ステレオカメラで撮像された画像からブルーミングの有無を判定し、ブルーミングの有無の判定結果により撮像装置に戻す画像を加工し、前記ステレオカメラで撮像された画像から撮像空間の３次元情報を算出し、前記３次元情報に基づいて撮像空間内の物体を検出する。本発明の物体検出方法は、ブルーミングが発生していると判定されたとき、画像全体の平均輝度以上の輝度値で塗りつぶした画像を生成する。また、本発明の物体検出方法は、ブルーミングが発生していないと判定されたとき、物体を検出する領域の輝度に応じて設定される塗りつぶし用の輝度値で、物体を検出しない領域を塗りつぶした画像を生成する。このような態様によっても上述した本発明の利点が得られる。
【００２２】
また、本発明の別態様は物体検出方法であり、この方法は、撮像された映像をフィードバックすることでレンズ絞りを制御できる複数の撮像装置を有したステレオカメラで撮影を行い、前記撮像装置に戻す画像を加工し、画像の加工では、物体を検出する領域の輝度に応じて設定される塗りつぶし用の輝度値で、物体を検出しない領域を塗りつぶした画像を生成し、前記ステレオカメラで撮像された画像から撮像空間の３次元情報を算出し、前記３次元情報に基づいて撮像空間内の物体を検出する。このような態様によっても上述した本発明の利点が得られる。
【発明の効果】
【００２３】
本発明は、レンズ絞り制御のためのフィードバック用の画像に対して上述のような加工を施すことで、ブルーミング等による物体の誤検知や、物体の未検知を低減することが可能となる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の実施の形態について、添付図面を参照して説明する。
【００２５】
本発明の実施の形態の物体検出装置を図１に示す。図１において、ステレオカメラ１０１は、第１撮像装置１１１および第２撮像装置１２１を備えている。第１撮像装置１１１および第２撮像装置１２１は、ステレオカメラの左右のカメラに相当する。また、第１撮像装置１１１および第２撮像装置１２１は、撮像された映像をフィードバックすることでレンズ絞りを制御できるように構成されている。第１入力画像メモリ１１２には第１撮像装置１１で撮像された画像が入力され、第２入力画像メモリ１２２には第２撮像装置１２１で撮像された画像が入力される。第１入力画像メモリ１１２および第２入力画像メモリ１２２は入力画像を記憶する。
【００２６】
３次元情報算出部１０２は、第１入力画像メモリ１１２および第２入力画像メモリ１２２の画像データを参照して、複数の画像から撮像空間の３次元情報を算出する。ここで、３次元情報算出部１０２は、前出の式（１）に従い、ステレオカメラの原理により、画像中の各点の距離情報を算出し、物体検出部１０３に出力する。物体検出部１０３は、３次元情報算出部１０２で算出された３次元情報から、撮像空間内の物体を検出する処理を行う。物体検出装置にはさらに出力部が設けられており、出力部から、物体検出部１０３の検出結果が出力される。検出結果はモニタ上に出力されてもよい。また、検出結果は、警報発生装置等に出力されてもよい。また、検出結果は、検出結果を処理する他の構成に出力されてもよい。
【００２７】
また、物体検出装置は、上記構成に加えて、レンズ絞り制御のために下記構成を備えている。まず、第１撮像装置１１１に関連する構成を説明すると、第１ブルーミング検知部１１３は、第１入力画像メモリ１１２の画像データを参照し、ブルーミングが発生しているか否かを判定し、判定結果を第１画像加工部１１４に出力する。第１画像加工部１１４は、フィードバックすべき画像を作成する。第１画像加工部１１４は、第１ブルーミング検知部１１３の判定結果に応じて、第１入力画像メモリ１１２の画像を加工することで、フィードバック用の画像を作成する。第１画像加工部１１４は、作成した画像を、第１レンズフィードバック用画像メモリ１１５に出力する。第１レンズフィードバック用画像メモリ１１５は、フィードバック用の画像を記憶し、第１撮像装置１１１に供給する。第１撮像装置１１１は、フィードバック用の画像を用いてレンズ絞りを制御する。
【００２８】
また、第２撮像装置１２１についても同様の絞り制御用の構成が設けられている。すなわち、第２ブルーミング検知部１２３は、第２入力画像メモリ１２２の画像データを参照し、ブルーミングが発生しているか否かを判定し、判定結果を第２画像加工部１２４に出力する。第２画像加工部１２４は、フィードバックすべき画像を作成する。第２画像加工部１２４は、第２ブルーミング検知部１２３の判定結果に応じて、第２入力画像メモリ１２２の画像を加工することで、フィードバック用の画像を作成する。第２画像加工部１２４は、作成した画像を、第２レンズフィードバック用画像メモリ１２５に出力する。第２レンズフィードバック用画像メモリ１２５は、フィードバック用の画像を記憶し、第２撮像装置１２１に供給する。第２撮像装置１２１は、フィードバック用の画像を用いてレンズ絞りを制御する。
【００２９】
上記構成において、第１撮像装置１０１および第２撮像装置１０２は、レンズと撮像素子（ＣＣＤ等）を備えたカメラで構成される。また、その他の画像処理関連の構成はコンピュータで実現される。画像処理関連の構成はステレオカメラに備えられてもよい。また、画像処理関連の構成はソフトウエアで実現されてもよい。
【００３０】
図２は、ステレオカメラ１０１の配置を示している。図示のように、ステレオカメラ１０１の２つのカメラ（第１撮像装置１１１および第２撮像装置１２１）は、物体を検出したい空間（検出空間）２０１の斜め上空に設置されている。２つのカメラは、同じ高さに設置されており、適当な距離を開けて並んで配置されている。そして、両方のカメラとも、検出空間を撮像できるように、検出空間に向けて設けられている。
【００３１】
以上のように構成された物体検出方法について、図を用いてその動作を説明する。
【００３２】
ステレオカメラ１０１の第１撮像装置１１１、第２撮像装置１２１が撮影画像を生成すると、画像データが第１入力画像メモリ１１２および第２入力画像メモリ１２２に保存される。
【００３３】
第１ブルーミング検知部１１３および第２ブルーミング検知部１２３は、第１入力画像メモリ１１２および第２入力画像メモリ１２２に保存されている画像を用いて、画像中にブルーミングが発生しているか否かを判定する。
【００３４】
図３を参照し、ブルーミングの有無を判定する処理の具体例の一つを説明する。図３に示すように、例えば、画像３０１には予め検知領域３０２が設定されており、さらに、検知領域３０２の両脇にブルーミング検知領域３０３が設けられている。ブルーミング検知領域３０３において、画像の明るさを表す輝度値が上限値を示す画素の存在割合Kを求める。ここで、輝度値の上限値とは計測できる最大の明るさの値を意味し、上限値は例えば２５５である。この場合、ブルーミングが発生している領域では輝度値が２５５となる。存在割合Kが、予め設定するしきい値TH1以上の場合に、ブルーミングと判定する。
TH1＜K （式２）
【００３５】
なお、ブルーミング判定領域は図３に限定されず、任意の場所に設定してもよい。また、例えば１０回連続で（式２）を満たしたときブルーミングと判定するといった、時系列の概念を取り入れてもよい。
【００３６】
第１画像加工部１１４および第２画像加工部１２４は、第１ブルーミング検知部１１３および第２ブルーミング検知部１２３によるブルーミング判定結果により、第１撮像装置１１１および第２撮像装置１２１へフィードバックする画像を作成し、フィードバック用の画像を第１レンズフィードバック用画像メモリ１１５および第２レンズフィードバック用画像メモリ１２５に保存する。これらフィードバック用の画像は、第１撮像装置１１１および第２撮像装置１１２に供給され、レンズ絞り制御に使用される。画像が明るいほどレンズ絞りが閉じられ、画像が暗いほどレンズ絞りが開かれる。
【００３７】
本実施の形態における具体的なフードバック画像の作成処理を図４を用いて説明する。
【００３８】
図４（ａ）は、ブルーミングが発生したときのフィードバック画像の作成処理を示している。この場合、画像加工部（第１画像加工部１１４および第２画像加工部１２４）は、ブルーミングありと判定された画像４０１の全体の平均輝度値Ｌ１を求め、画像全体を輝度値Ｌ１のα倍で塗りつぶしたフィードバック画像４０２を作成する。ここで、αは予め設定される1以上の定数を表す。また、輝度値Ｌ１のα倍の値が輝度値の上限値（例えば前出の２５５）を超える場合、塗りつぶし用の輝度値が上限値に置き換えられ、すなわち、フィードバック画像４０２の輝度値が全画素で上限値になる。このような加工により、ブルーミングが発生している場合には、フィードバック用画像が明るくなる。
【００３９】
次に、図４（ｂ）は、ブルーミングが発生していないときのフィードバック画像の作成処理を示している。この場合、画像加工部（第１画像加工部１１４および第２画像加工部１２４）は、ブルーミングなしと判定された画像４０３の検知領域の平均輝度値Ｌ２を求める。検知領域は、図３を参照して前述したように、予め設定されている。そして、画像加工部は、検知領域には、入力画像から抽出した部分画像を挿入し、検知領域外は輝度値Ｌ２で塗りつぶすことで、フィードバック画像４０４を作成している。この結果、フィードバック画像４０４において、検知領域内の画像は加工前のままであり、検知領域外の画像は、全画素の輝度値がＬ２の画像になる。
【００４０】
上記より、ブルーミングが発生したときは、レンズフィードバック画像４０２が撮像装置（第１撮像装置１１１および第２撮像装置１２１）に入力される。そして、上述した加工の結果、レンズフィードバック画像４０２は通常よりも明るくなっている。したがって、撮像装置は、通常よりも明るい画像が入力されるので、レンズ絞りを閉める方向に制御され、その結果、ブルーミングが抑えられた画像が出力され、入力画像メモリ（第１入力画像メモリ１１２および第２入力画像メモリ１２２）に保存される。これにより、ブルーミングによる誤検知を低減できる。
【００４１】
また、ブルーミングが発生していないときは、レンズフィードバック画像４０４が撮像装置（第１撮像装置１１１および第２撮像装置１２１）に入力されることになる。上述の加工の結果、通常より暗い画像が入力されるので、撮像装置は、レンズ絞りを開ける方向に制御され、これにより、検知領域が明るい画像が出力され、入力画像メモリ（第１入力画像メモリ１１２および第２入力画像メモリ１２２）に保存される。
【００４２】
例えば、図４（ｂ）のように、検知領域の外に、街頭照明等で明るい部分があり、検知領域が相対的に暗かったとする。この場合に、入力画像がそのままフィードバックされると、レンズ絞りが閉められ、検知領域が暗くなり、未検知が生じる可能性がある。しかし、本実施の形態では、上述のような加工により、検知領域の明るさに基づいて画像が加工されている。これにより、画像を加工しない場合と比べてレンズ絞りが開く方向に制御され、検知領域が明るくなり、未検知を低減できる。
【００４３】
また、図１において、３次元情報算出部１０２は、上述したように、入力画像全体に対して画素単位に視差を計測した後、（式１）によって距離データz(X,Y)を算出する。
【００４４】
物体検出部１０３は、上記3次元情報算出部１０２を用いて予め求めておいた背景右画像の距離データz0(X,Y)と、上記距離データz(X,Y)を比較して、カメラに近づいている全ての画素を算出する。算出した画素を結合した集合体を物体として算出する。物体検出部１０３の検出結果は出力部から出力される。
【００４５】
以上に本発明の実施の形態の物体検出装置について説明した。本実施の形態によれば、画像がブルーミングの有無の判定結果に応じて加工され、加工された画像が撮像装置に戻され、レンズ絞り制御に使用されており、このような絞り制御によって、ブルーミング等による誤検知を低減することが可能となる。
【００４６】
本実施の形態の物体検出装置は、ブルーミングが検知されると、カメラからの出力画像の平均輝度値以上の輝度値の画像を作成し、レンズにフィードバックしており、これにより、通常の絞り制御よりも絞り気味の制御が可能となる。その結果、ブルーミングを抑えた画像をカメラから出力させることが可能となり、ブルーミングに伴う誤検知を低減できる。
【００４７】
また、本実施の形態の物体検出装置は、画像加工処理にて、検知エリアにはカメラからの出力画像をそのまま当てはめ、それ以外の領域は検知エリアの平均輝度値で塗りつぶす画像を作成し、そして、作成したレンズにフィードバックする。これにより、通常の絞り制御よりも開き気味の制御が可能となり、その結果、物体を検出する領域を明るくする画像をカメラから出力させることが可能となる。上述の例のように検知エリア外に照明等がある場合でも、未検知の発生を低減できる。このようにして、物体を検知する領域の輝度値を反映した絞り制御が可能となり、物体の特徴が出やすくなり、未検知を低減できる。
【００４８】
以上に本発明の好適な実施の形態を説明した。しかし、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。
【産業上の利用可能性】
【００４９】
以上のように、本発明にかかる物体検出装置は、ブルーミング等による物体の誤検知や未検知を低減することが可能となるという効果を有し、監視カメラを用いたステレオ画像処理技術を応用した物体検出装置等として有用である。
【図面の簡単な説明】
【００５０】
【図１】本発明の実施の形態における物体検出装置のブロック図
【図２】カメラの位置と検知空間の関係を説明するための図
【図３】ブルーミング判定領域の設定例を説明するための図
【図４】レンズフィードバック画像の加工処理を説明するための図
【図５】ステレオカメラにより3次元情報を算出する処理について説明するための図
【図６】３次元情報を用いて物体を検出する処理について説明するための図
【図７】画像中にブルーミングが発生するときの状況を説明するための図
【図８】画像中の一部に照明領域があるときの状況を説明するための図
【符号の説明】
【００５１】
１０１ ステレオカメラ
１０２ ３次元情報算出部
１０３ 物体検出部
１１１ 第１撮像装置
１１２ 第１入力画像メモリ
１１３ 第１ブルーミング検知部
１１４ 第１画像加工部
１１５ 第１レンズフィードバック用画像メモリ
１２１ 第２撮像装置
１２２ 第２入力画像メモリ
１２３ 第２ブルーミング検知部
１２４ 第２画像加工部
１２５ 第２レンズフィードバック用画像メモリ
【技術分野】
【０００１】
本発明は、監視カメラを用いたステレオ画像処理技術を応用した物体検出装置に関するものである。
【背景技術】
【０００２】
従来の物体検出装置としては、特許文献１に開示されているように、ステレオカメラを用いて物体や車両、侵入者等を検出しようとする試みが多くなされている。
【０００３】
また、特許文献２に開示されているように、ＣＣＤカメラの信号蓄積時間を変化させて、露光量の異なる画像を出力し、それらの画像を画像処理することで、夜間対向車のライトなど強い光源があってもブルーミングを抑制した画像を出力することができる。ブルーミングとは、極端に強い光が撮像素子の一部の画素に入射したとき、電荷が周辺にあふれ出し、光が入射していない部分も明るく見える現象をいう。
【０００４】
ここで、ステレオ画像処理の原理について説明する。図５に示すように、所定の間隔Bで左右平行に設置された2台のカメラ（左カメラ５０１、右カメラ５０２）で、カメラから距離ｚの位置にいる人を撮影すると、図５に示したような左画像５０３、および右画像５０４が得られる。
【０００５】
カメラが平行にずれているので、画像上での人の位置が平行にずれることは容易に理解できる。このズレ量を視差dと呼び、これは、以下の3つのパラメータで一意に決定される。
（１）カメラ間隔 B
（２）レンズ焦点距離 f
（３）カメラから対象物までの距離 z
【０００６】
ステレオカメラによる三次元計測では、（１）カメラ間隔Bおよび（２）レンズ焦点距離fを固定し、画像上に撮像されている各物体の視差dを画像処理で求め、（３）撮像されている物体までの距離zを次式で算出する。
（距離z）＝（カメラ間隔B×レンズ焦点距離f）／（視差d） (式１)
このように、カメラから物体までの距離zが近いときは視差dが大きくなり、距離zが遠いときは視差dが小さくなる、という関係がある。
【０００７】
従って、物体の左右画像での視差dを求めれば、物体までの距離zを計測できる。視差ｄを求める処理はステレオ画像の対応付け処理と呼ばれ、様々な手法が提案されているが、ここではその詳細に付いては割愛する。
【０００８】
続いて、図６を用いて物体検出処理の例について説明する。上記ステレオ画像処理を用いて、背景右画像６０１から基準となる背景距離情報６０３を予め求めておく。なお、背景画像上(X,Y)に撮像されている物体の距離をz(X,Y)と表す。次に、逐次入力される撮像画像６０２の背景及び物体の撮像距離情報６０４を求める。なお、撮像右画像上(X,Y)に撮像されている物体の距離情報はz0(X,Y)と表す。背景距離情報６０３と撮像距離情報６０４について距離情報を比較した結果を差分距離情報６０５として算出し、距離がカメラに近づいている画素の集合体を検出物体６０６とする。このとき、撮像右画像６０２と検出物体６０６の画像位置情報から、物体検出画像を生成することができる。なお、カメラからの距離は画素を複数集めたブロック単位で算出してもよい。
【特許文献１】特開平９−２９７８４９号公報（第４、５ページ、図１）
【特許文献２】特開２００４−４８３４５号公報（第５−７ページ、図２）
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら従来の物体検出技術においては、例えば夜間対向車等のライトのブルーミングが物体を検知したい領域に重なって撮像された場合、誤検知する可能性がある。具体例を図７を用いて説明する。左画像７０１と右画像７０５中に車のライトが進入してきた場合、各々の画像でブルーミング左７０３、ブルーミング右７０６が発生する。２台のカメラは平行にずれているので、発生するブルーミングの大きさ位置等は、左右の画像で必ずしも一致しない。左右のブルーミングの出方が異なれば、例えばブルーミング左７０３の左端と、ブルーミング右７０６の左端のずれ量が一定ではなくなるので、基準となる平面より遠くに物体が存在すると判定されたり、近くに物体が存在すると判定されたりする。近くに物体が存在すると判定されると、誤検知となってしまう。
【００１０】
また、従来の物体検出技術においては、照明等により画像の一部が明るくなることによりレンズ絞りが閉める方向に制御され、物体を検知したい領域が暗く撮像された場合、物体を未検知する可能性がある。例えば、図８のように、左画像８０１と右画像８０５中に街灯などの照明左８０３と照明右８０７が存在した場合、各照明が照らされる照明エリア左８０４と照明エリア右８０８が明るくなりブルーミング気味になる。左右のカメラは、物体検知領域とは関係のない照明エリアの明るさを抑えるために、レンズ絞りを閉めようと制御し、結果的に検知領域左８０２と検知領域右８０６が暗くなるので、物体が見づらくなり未検知となってしまう。
【００１１】
以上のように、従来の物体検出技術においては、物体の誤検知または未検知が発生するという問題があった。
【００１２】
本発明は、従来の問題を解決するためになされたもので、好適な絞り制御によって物体の誤検知または未検知の発生を低減することのできる物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の物体検出装置は、撮像された映像をフィードバックすることでレンズ絞りを制御できる複数の撮像装置を有したステレオカメラと、前記ステレオカメラで撮像された画像から撮像空間の３次元情報を算出する３次元情報算出手段と、前記３次元情報算出手段により算出された３次元情報から撮像空間内の物体を検出する物体検出手段と、前記ステレオカメラで撮像された画像からブルーミングの有無を判定するブルーミング検出手段と、前記ブルーミング検出手段の判定結果により撮像装置に戻す画像を加工する画像加工手段とを備えている。
【００１４】
この構成により、画像がブルーミングの有無の判定結果に応じて加工され、撮像装置に戻され、レンズ絞り制御に使用されており、このような絞り制御によって、ブルーミング等による誤検知を低減することが可能となる。
【００１５】
また、本発明の物体検出装置において、前記画像加工手段は、ブルーミング検出手段によりブルーミングが発生していると判定されたとき、画像全体の平均輝度以上の輝度値で塗りつぶした画像を生成する。前記画像加工手段は、画像全体の平均輝度を算出し、前記平均輝度のα倍（αは１以上）の輝度値で塗りつぶした画像を生成してもよい。
【００１６】
この構成により、ブルーミングを検知したらカメラからの出力画像の平均輝度値以上の輝度値の画像を作成し、レンズにフィードバックすることにより、通常の絞り制御よりも絞り気味の制御が可能となる。その結果、ブルーミングを抑えた画像をカメラから出力させることが可能となり、ブルーミングに伴う誤検知を低減できる。
【００１７】
さらに、本発明の物体検出装置において、前記画像加工手段は、ブルーミング検出手段によりブルーミングが発生していないと判定されたとき、物体を検出する領域の輝度に応じて設定される塗りつぶし用の輝度値で、物体を検出しない領域を塗りつぶした画像を生成する。塗りつぶし用の輝度値は、好適には、物体を検出する領域を代表する輝度値であり、例えば平均値であり、また例えば中央値である。前記画像加工手段は、物体を検出する領域の平均輝度を算出し、物体を検出しない領域を前記平均輝度値で塗りつぶした画像を生成してもよい。
【００１８】
この構成により、ブルーミングが検知されないときは、検知エリアにはカメラからの出力画像をそのまま当てはめ、それ以外の領域は検知エリアの平均輝度値で塗りつぶした画像を作成し、作成した画像をレンズにフィードバックすることにより、通常の絞り制御よりも開き気味の制御が可能となる。その結果、物体を検出する領域を明るくする画像をカメラから出力させることが可能となる。検知エリアの外に明るい部分があるような場合でも、検知エリアの画像が暗くなるのを防ぎ、未検知を低減することができる。このようにして、物体を検知する領域の輝度値を反映した絞り制御が可能となり、物体の特徴が出やすくなり、未検知を低減できる。
【００１９】
また、本発明の別態様の物体検出装置は、撮像された映像をフィードバックすることでレンズ絞りを制御できる複数の撮像装置を有したステレオカメラと、前記ステレオカメラで撮像された画像から撮像空間の３次元情報を算出する３次元情報算出手段と、前記３次元情報算出手段により算出された３次元情報から撮像空間内の物体を検出する物体検出手段と、前記撮像装置に戻す画像を加工する画像加工手段とを備え、前記画像加工手段は、物体を検出する領域の輝度に応じて設定される塗りつぶし用の輝度値で、物体を検出しない領域を塗りつぶした画像を生成する。前記画像加工手段は、物体を検出する領域の平均輝度を算出し、物体を検出しない領域を前記平均輝度値で塗りつぶした画像を生成してもよい。
【００２０】
この構成によっても上述した利点が得られる。すなわち、検知エリアはカメラからの出力画像をそのまま当てはめ、それ以外の領域は検知エリアの平均輝度値で塗りつぶす画像を作成し、作成した画像をレンズにフィードバックすることにより、通常の絞り制御よりも開き気味の制御が可能となる。その結果、物体を検出する領域を明るくする画像をカメラから出力させることが可能となる。検知エリアの外に明るい部分があるような場合でも、検知エリアの画像が暗くなるのを防ぎ、未検知を低減することができる。このようにして、物体を検知する領域の輝度値を反映した絞り制御が可能となり、物体の特徴が出やすくなり、未検知を低減できる。
【００２１】
本発明の別態様は物体検出方法であり、この方法は、撮像された映像をフィードバックすることでレンズ絞りを制御できる複数の撮像装置を有したステレオカメラで撮影を行い、前記ステレオカメラで撮像された画像からブルーミングの有無を判定し、ブルーミングの有無の判定結果により撮像装置に戻す画像を加工し、前記ステレオカメラで撮像された画像から撮像空間の３次元情報を算出し、前記３次元情報に基づいて撮像空間内の物体を検出する。本発明の物体検出方法は、ブルーミングが発生していると判定されたとき、画像全体の平均輝度以上の輝度値で塗りつぶした画像を生成する。また、本発明の物体検出方法は、ブルーミングが発生していないと判定されたとき、物体を検出する領域の輝度に応じて設定される塗りつぶし用の輝度値で、物体を検出しない領域を塗りつぶした画像を生成する。このような態様によっても上述した本発明の利点が得られる。
【００２２】
また、本発明の別態様は物体検出方法であり、この方法は、撮像された映像をフィードバックすることでレンズ絞りを制御できる複数の撮像装置を有したステレオカメラで撮影を行い、前記撮像装置に戻す画像を加工し、画像の加工では、物体を検出する領域の輝度に応じて設定される塗りつぶし用の輝度値で、物体を検出しない領域を塗りつぶした画像を生成し、前記ステレオカメラで撮像された画像から撮像空間の３次元情報を算出し、前記３次元情報に基づいて撮像空間内の物体を検出する。このような態様によっても上述した本発明の利点が得られる。
【発明の効果】
【００２３】
本発明は、レンズ絞り制御のためのフィードバック用の画像に対して上述のような加工を施すことで、ブルーミング等による物体の誤検知や、物体の未検知を低減することが可能となる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の実施の形態について、添付図面を参照して説明する。
【００２５】
本発明の実施の形態の物体検出装置を図１に示す。図１において、ステレオカメラ１０１は、第１撮像装置１１１および第２撮像装置１２１を備えている。第１撮像装置１１１および第２撮像装置１２１は、ステレオカメラの左右のカメラに相当する。また、第１撮像装置１１１および第２撮像装置１２１は、撮像された映像をフィードバックすることでレンズ絞りを制御できるように構成されている。第１入力画像メモリ１１２には第１撮像装置１１で撮像された画像が入力され、第２入力画像メモリ１２２には第２撮像装置１２１で撮像された画像が入力される。第１入力画像メモリ１１２および第２入力画像メモリ１２２は入力画像を記憶する。
【００２６】
３次元情報算出部１０２は、第１入力画像メモリ１１２および第２入力画像メモリ１２２の画像データを参照して、複数の画像から撮像空間の３次元情報を算出する。ここで、３次元情報算出部１０２は、前出の式（１）に従い、ステレオカメラの原理により、画像中の各点の距離情報を算出し、物体検出部１０３に出力する。物体検出部１０３は、３次元情報算出部１０２で算出された３次元情報から、撮像空間内の物体を検出する処理を行う。物体検出装置にはさらに出力部が設けられており、出力部から、物体検出部１０３の検出結果が出力される。検出結果はモニタ上に出力されてもよい。また、検出結果は、警報発生装置等に出力されてもよい。また、検出結果は、検出結果を処理する他の構成に出力されてもよい。
【００２７】
また、物体検出装置は、上記構成に加えて、レンズ絞り制御のために下記構成を備えている。まず、第１撮像装置１１１に関連する構成を説明すると、第１ブルーミング検知部１１３は、第１入力画像メモリ１１２の画像データを参照し、ブルーミングが発生しているか否かを判定し、判定結果を第１画像加工部１１４に出力する。第１画像加工部１１４は、フィードバックすべき画像を作成する。第１画像加工部１１４は、第１ブルーミング検知部１１３の判定結果に応じて、第１入力画像メモリ１１２の画像を加工することで、フィードバック用の画像を作成する。第１画像加工部１１４は、作成した画像を、第１レンズフィードバック用画像メモリ１１５に出力する。第１レンズフィードバック用画像メモリ１１５は、フィードバック用の画像を記憶し、第１撮像装置１１１に供給する。第１撮像装置１１１は、フィードバック用の画像を用いてレンズ絞りを制御する。
【００２８】
また、第２撮像装置１２１についても同様の絞り制御用の構成が設けられている。すなわち、第２ブルーミング検知部１２３は、第２入力画像メモリ１２２の画像データを参照し、ブルーミングが発生しているか否かを判定し、判定結果を第２画像加工部１２４に出力する。第２画像加工部１２４は、フィードバックすべき画像を作成する。第２画像加工部１２４は、第２ブルーミング検知部１２３の判定結果に応じて、第２入力画像メモリ１２２の画像を加工することで、フィードバック用の画像を作成する。第２画像加工部１２４は、作成した画像を、第２レンズフィードバック用画像メモリ１２５に出力する。第２レンズフィードバック用画像メモリ１２５は、フィードバック用の画像を記憶し、第２撮像装置１２１に供給する。第２撮像装置１２１は、フィードバック用の画像を用いてレンズ絞りを制御する。
【００２９】
上記構成において、第１撮像装置１０１および第２撮像装置１０２は、レンズと撮像素子（ＣＣＤ等）を備えたカメラで構成される。また、その他の画像処理関連の構成はコンピュータで実現される。画像処理関連の構成はステレオカメラに備えられてもよい。また、画像処理関連の構成はソフトウエアで実現されてもよい。
【００３０】
図２は、ステレオカメラ１０１の配置を示している。図示のように、ステレオカメラ１０１の２つのカメラ（第１撮像装置１１１および第２撮像装置１２１）は、物体を検出したい空間（検出空間）２０１の斜め上空に設置されている。２つのカメラは、同じ高さに設置されており、適当な距離を開けて並んで配置されている。そして、両方のカメラとも、検出空間を撮像できるように、検出空間に向けて設けられている。
【００３１】
以上のように構成された物体検出方法について、図を用いてその動作を説明する。
【００３２】
ステレオカメラ１０１の第１撮像装置１１１、第２撮像装置１２１が撮影画像を生成すると、画像データが第１入力画像メモリ１１２および第２入力画像メモリ１２２に保存される。
【００３３】
第１ブルーミング検知部１１３および第２ブルーミング検知部１２３は、第１入力画像メモリ１１２および第２入力画像メモリ１２２に保存されている画像を用いて、画像中にブルーミングが発生しているか否かを判定する。
【００３４】
図３を参照し、ブルーミングの有無を判定する処理の具体例の一つを説明する。図３に示すように、例えば、画像３０１には予め検知領域３０２が設定されており、さらに、検知領域３０２の両脇にブルーミング検知領域３０３が設けられている。ブルーミング検知領域３０３において、画像の明るさを表す輝度値が上限値を示す画素の存在割合Kを求める。ここで、輝度値の上限値とは計測できる最大の明るさの値を意味し、上限値は例えば２５５である。この場合、ブルーミングが発生している領域では輝度値が２５５となる。存在割合Kが、予め設定するしきい値TH1以上の場合に、ブルーミングと判定する。
TH1＜K （式２）
【００３５】
なお、ブルーミング判定領域は図３に限定されず、任意の場所に設定してもよい。また、例えば１０回連続で（式２）を満たしたときブルーミングと判定するといった、時系列の概念を取り入れてもよい。
【００３６】
第１画像加工部１１４および第２画像加工部１２４は、第１ブルーミング検知部１１３および第２ブルーミング検知部１２３によるブルーミング判定結果により、第１撮像装置１１１および第２撮像装置１２１へフィードバックする画像を作成し、フィードバック用の画像を第１レンズフィードバック用画像メモリ１１５および第２レンズフィードバック用画像メモリ１２５に保存する。これらフィードバック用の画像は、第１撮像装置１１１および第２撮像装置１１２に供給され、レンズ絞り制御に使用される。画像が明るいほどレンズ絞りが閉じられ、画像が暗いほどレンズ絞りが開かれる。
【００３７】
本実施の形態における具体的なフードバック画像の作成処理を図４を用いて説明する。
【００３８】
図４（ａ）は、ブルーミングが発生したときのフィードバック画像の作成処理を示している。この場合、画像加工部（第１画像加工部１１４および第２画像加工部１２４）は、ブルーミングありと判定された画像４０１の全体の平均輝度値Ｌ１を求め、画像全体を輝度値Ｌ１のα倍で塗りつぶしたフィードバック画像４０２を作成する。ここで、αは予め設定される1以上の定数を表す。また、輝度値Ｌ１のα倍の値が輝度値の上限値（例えば前出の２５５）を超える場合、塗りつぶし用の輝度値が上限値に置き換えられ、すなわち、フィードバック画像４０２の輝度値が全画素で上限値になる。このような加工により、ブルーミングが発生している場合には、フィードバック用画像が明るくなる。
【００３９】
次に、図４（ｂ）は、ブルーミングが発生していないときのフィードバック画像の作成処理を示している。この場合、画像加工部（第１画像加工部１１４および第２画像加工部１２４）は、ブルーミングなしと判定された画像４０３の検知領域の平均輝度値Ｌ２を求める。検知領域は、図３を参照して前述したように、予め設定されている。そして、画像加工部は、検知領域には、入力画像から抽出した部分画像を挿入し、検知領域外は輝度値Ｌ２で塗りつぶすことで、フィードバック画像４０４を作成している。この結果、フィードバック画像４０４において、検知領域内の画像は加工前のままであり、検知領域外の画像は、全画素の輝度値がＬ２の画像になる。
【００４０】
上記より、ブルーミングが発生したときは、レンズフィードバック画像４０２が撮像装置（第１撮像装置１１１および第２撮像装置１２１）に入力される。そして、上述した加工の結果、レンズフィードバック画像４０２は通常よりも明るくなっている。したがって、撮像装置は、通常よりも明るい画像が入力されるので、レンズ絞りを閉める方向に制御され、その結果、ブルーミングが抑えられた画像が出力され、入力画像メモリ（第１入力画像メモリ１１２および第２入力画像メモリ１２２）に保存される。これにより、ブルーミングによる誤検知を低減できる。
【００４１】
また、ブルーミングが発生していないときは、レンズフィードバック画像４０４が撮像装置（第１撮像装置１１１および第２撮像装置１２１）に入力されることになる。上述の加工の結果、通常より暗い画像が入力されるので、撮像装置は、レンズ絞りを開ける方向に制御され、これにより、検知領域が明るい画像が出力され、入力画像メモリ（第１入力画像メモリ１１２および第２入力画像メモリ１２２）に保存される。
【００４２】
例えば、図４（ｂ）のように、検知領域の外に、街頭照明等で明るい部分があり、検知領域が相対的に暗かったとする。この場合に、入力画像がそのままフィードバックされると、レンズ絞りが閉められ、検知領域が暗くなり、未検知が生じる可能性がある。しかし、本実施の形態では、上述のような加工により、検知領域の明るさに基づいて画像が加工されている。これにより、画像を加工しない場合と比べてレンズ絞りが開く方向に制御され、検知領域が明るくなり、未検知を低減できる。
【００４３】
また、図１において、３次元情報算出部１０２は、上述したように、入力画像全体に対して画素単位に視差を計測した後、（式１）によって距離データz(X,Y)を算出する。
【００４４】
物体検出部１０３は、上記3次元情報算出部１０２を用いて予め求めておいた背景右画像の距離データz0(X,Y)と、上記距離データz(X,Y)を比較して、カメラに近づいている全ての画素を算出する。算出した画素を結合した集合体を物体として算出する。物体検出部１０３の検出結果は出力部から出力される。
【００４５】
以上に本発明の実施の形態の物体検出装置について説明した。本実施の形態によれば、画像がブルーミングの有無の判定結果に応じて加工され、加工された画像が撮像装置に戻され、レンズ絞り制御に使用されており、このような絞り制御によって、ブルーミング等による誤検知を低減することが可能となる。
【００４６】
本実施の形態の物体検出装置は、ブルーミングが検知されると、カメラからの出力画像の平均輝度値以上の輝度値の画像を作成し、レンズにフィードバックしており、これにより、通常の絞り制御よりも絞り気味の制御が可能となる。その結果、ブルーミングを抑えた画像をカメラから出力させることが可能となり、ブルーミングに伴う誤検知を低減できる。
【００４７】
また、本実施の形態の物体検出装置は、画像加工処理にて、検知エリアにはカメラからの出力画像をそのまま当てはめ、それ以外の領域は検知エリアの平均輝度値で塗りつぶす画像を作成し、そして、作成したレンズにフィードバックする。これにより、通常の絞り制御よりも開き気味の制御が可能となり、その結果、物体を検出する領域を明るくする画像をカメラから出力させることが可能となる。上述の例のように検知エリア外に照明等がある場合でも、未検知の発生を低減できる。このようにして、物体を検知する領域の輝度値を反映した絞り制御が可能となり、物体の特徴が出やすくなり、未検知を低減できる。
【００４８】
以上に本発明の好適な実施の形態を説明した。しかし、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。
【産業上の利用可能性】
【００４９】
以上のように、本発明にかかる物体検出装置は、ブルーミング等による物体の誤検知や未検知を低減することが可能となるという効果を有し、監視カメラを用いたステレオ画像処理技術を応用した物体検出装置等として有用である。
【図面の簡単な説明】
【００５０】
【図１】本発明の実施の形態における物体検出装置のブロック図
【図２】カメラの位置と検知空間の関係を説明するための図
【図３】ブルーミング判定領域の設定例を説明するための図
【図４】レンズフィードバック画像の加工処理を説明するための図
【図５】ステレオカメラにより3次元情報を算出する処理について説明するための図
【図６】３次元情報を用いて物体を検出する処理について説明するための図
【図７】画像中にブルーミングが発生するときの状況を説明するための図
【図８】画像中の一部に照明領域があるときの状況を説明するための図
【符号の説明】
【００５１】
１０１ ステレオカメラ
１０２ ３次元情報算出部
１０３ 物体検出部
１１１ 第１撮像装置
１１２ 第１入力画像メモリ
１１３ 第１ブルーミング検知部
１１４ 第１画像加工部
１１５ 第１レンズフィードバック用画像メモリ
１２１ 第２撮像装置
１２２ 第２入力画像メモリ
１２３ 第２ブルーミング検知部
１２４ 第２画像加工部
１２５ 第２レンズフィードバック用画像メモリ
【特許請求の範囲】
【請求項１】
撮像された映像をフィードバックすることでレンズ絞りを制御できる複数の撮像装置を有したステレオカメラと、
前記ステレオカメラで撮像された画像から撮像空間の３次元情報を算出する３次元情報算出手段と、
前記３次元情報算出手段により算出された３次元情報から撮像空間内の物体を検出する物体検出手段と、
前記ステレオカメラで撮像された画像からブルーミングの有無を判定するブルーミング検出手段と、
前記ブルーミング検出手段の判定結果により撮像装置に戻す画像を加工する画像加工手段と、
を備えたことを特徴とする物体検出装置。
【請求項２】
前記画像加工手段は、ブルーミング検出手段によりブルーミングが発生していると判定されたとき、画像全体の平均輝度以上の輝度値で塗りつぶした画像を生成することを特徴とする請求項１に記載の物体検出装置。
【請求項３】
前記画像加工手段は、画像全体の平均輝度を算出し、前記平均輝度のα倍（αは１以上）の輝度値で塗りつぶした画像を生成することを特徴とする請求項２に記載の物体検出装置。
【請求項４】
前記画像加工手段は、ブルーミング検出手段によりブルーミングが発生していないと判定されたとき、物体を検出する領域の輝度に応じて設定される塗りつぶし用の輝度値で、物体を検出しない領域を塗りつぶした画像を生成することを特徴とする請求項１ないし３のいずれかに記載の物体検出装置。
【請求項５】
前記画像加工手段は、物体を検出する領域の平均輝度を算出し、物体を検出しない領域を前記平均輝度値で塗りつぶした画像を生成することを特徴とする請求項４に記載の物体検出装置。
【請求項６】
撮像された映像をフィードバックすることでレンズ絞りを制御できる複数の撮像装置を有したステレオカメラと、
前記ステレオカメラで撮像された画像から撮像空間の３次元情報を算出する３次元情報算出手段と、
前記３次元情報算出手段により算出された３次元情報から撮像空間内の物体を検出する物体検出手段と、
前記撮像装置に戻す画像を加工する画像加工手段と、
を備え、前記画像加工手段は、物体を検出する領域の輝度に応じて設定される塗りつぶし用の輝度値で、物体を検出しない領域を塗りつぶした画像を生成することを特徴とする物体検出装置。
【請求項７】
前記画像加工手段は、物体を検出する領域の平均輝度を算出し、物体を検出しない領域を前記平均輝度値で塗りつぶした画像を生成することを特徴とする請求項６に記載の物体検出装置。
【請求項８】
撮像された映像をフィードバックすることでレンズ絞りを制御できる複数の撮像装置を有したステレオカメラで撮影を行い、前記ステレオカメラで撮像された画像からブルーミングの有無を判定し、ブルーミングの有無の判定結果により撮像装置に戻す画像を加工し、前記ステレオカメラで撮像された画像から撮像空間の３次元情報を算出し、前記３次元情報に基づいて撮像空間内の物体を検出することを特徴とする物体検出方法。
【請求項９】
ブルーミングが発生していると判定されたとき、画像全体の平均輝度以上の輝度値で塗りつぶした画像を生成することを特徴とする請求項８に記載の物体検出方法。
【請求項１０】
ブルーミングが発生していないと判定されたとき、物体を検出する領域の輝度に応じて設定される塗りつぶし用の輝度値で、物体を検出しない領域を塗りつぶした画像を生成することを特徴とする請求項８または９のいずれかに記載の物体検出方法。
【請求項１１】
撮像された映像をフィードバックすることでレンズ絞りを制御できる複数の撮像装置を有したステレオカメラで撮影を行い、前記撮像装置に戻す画像を加工し、画像の加工では、物体を検出する領域の輝度に応じて設定される塗りつぶし用の輝度値で、物体を検出しない領域を塗りつぶした画像を生成し、前記ステレオカメラで撮像された画像から撮像空間の３次元情報を算出し、前記３次元情報に基づいて撮像空間内の物体を検出することを特徴とする物体検出方法。
【請求項１】
撮像された映像をフィードバックすることでレンズ絞りを制御できる複数の撮像装置を有したステレオカメラと、
前記ステレオカメラで撮像された画像から撮像空間の３次元情報を算出する３次元情報算出手段と、
前記３次元情報算出手段により算出された３次元情報から撮像空間内の物体を検出する物体検出手段と、
前記ステレオカメラで撮像された画像からブルーミングの有無を判定するブルーミング検出手段と、
前記ブルーミング検出手段の判定結果により撮像装置に戻す画像を加工する画像加工手段と、
を備えたことを特徴とする物体検出装置。
【請求項２】
前記画像加工手段は、ブルーミング検出手段によりブルーミングが発生していると判定されたとき、画像全体の平均輝度以上の輝度値で塗りつぶした画像を生成することを特徴とする請求項１に記載の物体検出装置。
【請求項３】
前記画像加工手段は、画像全体の平均輝度を算出し、前記平均輝度のα倍（αは１以上）の輝度値で塗りつぶした画像を生成することを特徴とする請求項２に記載の物体検出装置。
【請求項４】
前記画像加工手段は、ブルーミング検出手段によりブルーミングが発生していないと判定されたとき、物体を検出する領域の輝度に応じて設定される塗りつぶし用の輝度値で、物体を検出しない領域を塗りつぶした画像を生成することを特徴とする請求項１ないし３のいずれかに記載の物体検出装置。
【請求項５】
前記画像加工手段は、物体を検出する領域の平均輝度を算出し、物体を検出しない領域を前記平均輝度値で塗りつぶした画像を生成することを特徴とする請求項４に記載の物体検出装置。
【請求項６】
撮像された映像をフィードバックすることでレンズ絞りを制御できる複数の撮像装置を有したステレオカメラと、
前記ステレオカメラで撮像された画像から撮像空間の３次元情報を算出する３次元情報算出手段と、
前記３次元情報算出手段により算出された３次元情報から撮像空間内の物体を検出する物体検出手段と、
前記撮像装置に戻す画像を加工する画像加工手段と、
を備え、前記画像加工手段は、物体を検出する領域の輝度に応じて設定される塗りつぶし用の輝度値で、物体を検出しない領域を塗りつぶした画像を生成することを特徴とする物体検出装置。
【請求項７】
前記画像加工手段は、物体を検出する領域の平均輝度を算出し、物体を検出しない領域を前記平均輝度値で塗りつぶした画像を生成することを特徴とする請求項６に記載の物体検出装置。
【請求項８】
撮像された映像をフィードバックすることでレンズ絞りを制御できる複数の撮像装置を有したステレオカメラで撮影を行い、前記ステレオカメラで撮像された画像からブルーミングの有無を判定し、ブルーミングの有無の判定結果により撮像装置に戻す画像を加工し、前記ステレオカメラで撮像された画像から撮像空間の３次元情報を算出し、前記３次元情報に基づいて撮像空間内の物体を検出することを特徴とする物体検出方法。
【請求項９】
ブルーミングが発生していると判定されたとき、画像全体の平均輝度以上の輝度値で塗りつぶした画像を生成することを特徴とする請求項８に記載の物体検出方法。
【請求項１０】
ブルーミングが発生していないと判定されたとき、物体を検出する領域の輝度に応じて設定される塗りつぶし用の輝度値で、物体を検出しない領域を塗りつぶした画像を生成することを特徴とする請求項８または９のいずれかに記載の物体検出方法。
【請求項１１】
撮像された映像をフィードバックすることでレンズ絞りを制御できる複数の撮像装置を有したステレオカメラで撮影を行い、前記撮像装置に戻す画像を加工し、画像の加工では、物体を検出する領域の輝度に応じて設定される塗りつぶし用の輝度値で、物体を検出しない領域を塗りつぶした画像を生成し、前記ステレオカメラで撮像された画像から撮像空間の３次元情報を算出し、前記３次元情報に基づいて撮像空間内の物体を検出することを特徴とする物体検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００６−７４４６０（Ｐ２００６−７４４６０Ａ）
【公開日】平成１８年３月１６日（２００６．３．１６）
【国際特許分類】
【出願番号】特願２００４−２５５６１５（Ｐ２００４−２５５６１５）
【出願日】平成１６年９月２日（２００４．９．２）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１８年３月１６日（２００６．３．１６）
【国際特許分類】
【出願日】平成１６年９月２日（２００４．９．２）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]