物体検出プログラムを記録したコンピュータ読み取り可能な情報記録媒体
【課題】参照点を任意の位置に設定可能として、照明変動の影響をうけることなく物体を検出する。
【解決手段】複数参照点選択手段は、画像の注目画素ごとに複数の参照画素を選択し（ステップＡ１乃至Ａ３）、背景モデル作成手段は、これらの注目画素および参照画素に対して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する。そして、距離計算手段は、輝度空間において、上記照明変動背景モデルと、注目画素、および参照画素に対応する背景画素の輝度値の各組が表す点との間の距離を計算する（ステップＡ４）。物体判別手段は、この距離に基づいて注目画素が物体を表す画素か否かを判別する（ステップＡ５乃至Ａ９）。
【解決手段】複数参照点選択手段は、画像の注目画素ごとに複数の参照画素を選択し（ステップＡ１乃至Ａ３）、背景モデル作成手段は、これらの注目画素および参照画素に対して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する。そして、距離計算手段は、輝度空間において、上記照明変動背景モデルと、注目画素、および参照画素に対応する背景画素の輝度値の各組が表す点との間の距離を計算する（ステップＡ４）。物体判別手段は、この距離に基づいて注目画素が物体を表す画素か否かを判別する（ステップＡ５乃至Ａ９）。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、監視カメラなどにより撮影した画像に含まれる物体を検出する物体検出プログラムを記録したコンピュータ読み取り可能な情報記録媒体に関するものである。
【０００２】
【従来の技術】
監視カメラなどで撮影した動画像から物体を検出する場合、日照条件などにより背景の明るさが変動しても確実に物体を検出できることが重要である。そこで、本発明の発明者らは照明変動が大きく、かつ頻繁に発生する場合でも、その影響を受けにくい物体検出技術を考案し、すでにその特許出願を行っている（特願平１１−０７８６４１号）。
【０００３】
この物体検出技術は、あらかじめ作成した背景画像と、現時点の画像とにおいて、注目点とは異なる位置に参照点を設け、その参照点の輝度値変化の相関情報から物体を判別するというものである。以下、原理について図面を参照して詳しく説明する。
図８は背景画像を表す説明図であり、水平方向にＸ軸、垂直方向にＹ軸がそれぞれ設定されている。ただし、必要以上に複雑になることを避けるため、背景画像はテクスチャーがなく場所によらず一定の明るさであるとする。図８において、ＰＡは注目点、ＰＢはその近傍に設けた参照点である。そして、注目点ＰＡにおける輝度値をＩＡ、参照点ＰＢにおける輝度値をＩＢとする。
【０００４】
図９は注目点および参照点の輝度値により形成される２次元の輝度空間を示す説明図である。この輝度空間には２次元の座標系が設定され、その横軸は上記注目点ＰＡの輝度値ＩＡを表し、縦軸は上記参照点ＰＢの輝度値ＩＢを表している。
ここで、注目点ＰＡの輝度値がＩＡ１、参照点ＰＢの輝度値がＩＢ１であったとすると、これらの輝度値の組に対応する、上記輝度空間上の点、すなわち輝度点（ＩＡ１、ＩＢ１）は、たとえば図９中の白ドット１０２の位置となる。
そして、背景の明るさが変化し、注目点ＰＡの輝度値がたとえば小さくなったとすると、参照点ＰＢの輝度値も同じ割合で小さくなる。また、注目点ＰＡの輝度値が０なら、参照点ＰＢの輝度値も０となる。したがって、注目点ＰＡおよび参照点ＰＢの輝度ＩＡ、ＩＢの組に対応する輝度空間上の点は、背景の明るさが変化したとき、図９に示した直線１０４に沿って移動する。ここではこのような直線のことを照明変動背景モデルと呼ぶ。
【０００５】
一方、たとえば注目点ＰＡの位置に物体が侵入したとし、注目点ＰＡの輝度値がＩＡ２に下がったとすると、この場合の輝度点（ＩＡ２、ＩＢ１）はたとえば白丸ドット１０６の位置となる。したがって、このような輝度点と直線１０４との距離１０７を調べ、輝度点が直線１０４から離れている場合には、注目点の位置に物体が侵入していると判定することができる。
そして、照明変動が生じ、たとえば参照点ＰＢの輝度値が大きくなったとすると、通常、物体上の注目点ＰＡの輝度値も同様に大きくなるため、輝度点（ＩＡ２、ＩＢ１）はおおむね直線１０４と平行に右上方向（矢印Ａ）に移動し、直線１０４との間の距離はあまり変化しない。したがって、照明変動が生じても物体を確実に検出することができる。
【０００６】
【発明が解決しようとする課題】
しかし、上記従来技術では、参照点を注目点に接近して配置した場合には物体の輪郭部のみが抽出されて、抽出した物体画像が中抜けの状態となり、この点で改良の余地があった。
以下、図１０を参照して具体的に説明する。図１０は、たとえば監視カメラの撮影領域に物体が侵入した場合の撮影画像を示す説明図である。背景は図８の場合と同様、場所によらず一定の明るさであるとする。
この画像に対して、図１０に示したように、注目点ＰＡを設定し、近接して参照点ＰＢを設定したとすると、図１０の状態ではこれらの点はいずれも物体１０８上に在り、両点の輝度はともに同じ程度に低下するため、輝度空間において注目点ＰＡおよび参照点ＰＢが対応する輝度点（ＩＡ、ＩＢ）は、図９に示した直線１０４上の黒ドット１１０の位置となる。そして、黒ドット１１０と直線１０４との間の距離は零であるから、この場合、注目点ＰＡは、物体上にはないと判定することになり、注目点ＰＡが物体１０８上に在るにも係わらず物体を検出することができない。
【０００７】
一方、注目点ＰＡと参照点ＰＢを同様の間隔で設定した場合でも、物体１０８の縁部で、たとえば注目点ＰＡが物体１０８上となり、参照点ＰＢが背景上となる位置に各点を設定した場合には、両点に輝度差が生じ、図９において対応する輝度点は直線１０４から離れた位置となるため、物体１０８を検出することができる。
したがって、特願平１１−０７８６４１号の技術では、注目点と参照線とを近接して配置した場合には、物体の縁部、すなわち輪郭部のみが検出されることになる。
【０００８】
そこで、物体の輪郭部だけでなく全体を検出するためには、参照点を注目点から充分に離して配置する必要がある。
また、特願平１１−０７８６４１号の技術では、参照点はかならず、物体が侵入する可能性のある領域の外に設定する必要がある。これについて図１１を参照して説明する。図１１R>１の（Ａ）は画像面を示す説明図、（Ｂ）は物体が撮影領域に侵入した場合の模式図、（Ｃ）は検出結果を示す模式図である。
【０００９】
図１１の（Ａ）に示したように、画像上に注目点ＰＡと注目点ＰＢとを離して設定した場合、図１１の（Ｂ）に示したように、物体１０８が注目点ＰＡの位置に侵入すると、注目点ＰＡと参照点ＰＢとの間で輝度差が生じて物体１０８が検出される。しかし、物体１０８が参照点ＰＢの位置に侵入した場合にも同様の輝度差が生じるため、この場合にも物体１０８は検出されることになる。
したがって、注目点ＰＡに物体１０８が侵入して検出された場合、物体１０８が注目点ＰＡの位置に存在するのか、あるいは参照点ＰＢの位置に存在するのかを特定することができず、その結果、注目点ＰＡの位置のみに物体１０８が存在するにもかかわらず、図１１の（Ｃ）に示したように、両方の位置に物体１０８が存在するように物体像１０９が生成されてしまう。
【００１０】
そのため、このような現象を回避すべく、参照点はかならず、物体が侵入する可能性のある領域の外に設定しなければならない。
本発明はこのような欠点を除去するためになされたもので、その目的は、照明変動が大きく、かつ頻繁に発生する場合にも安定で、しかも高精度に物体を検出できるとともに、参照点を任意の位置に設定して確実に物体を検出することが可能な物体検出装置、物体検出方法、ならびに物体検出プログラムを記録したコンピュータ読み取り可能な情報記録媒体を提供することにある。
【００１１】
【課題を解決するための手段】
本発明は、上記目的を達成するため、撮影画像を用いて物体を検出する物体検出装置であって、前記撮影画像の各画素の輝度値を取り込んで保持する画像入力手段と、前記撮影画像の注目画素ごとに複数の参照画素を選択して、選択した複数の参照画素および前記注目画素の輝度値を前記画像入力手段から前記注目画素ごとに取得する複数参照点選択手段と、前記撮影画像の背景を成す背景画像の各画素の輝度値を保持する背景画像保持手段と、前記複数参照点選択手段が選択した前記注目画素および同画素に対応する前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を前記背景画像保持手段から取得して、背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを前記注目画素と、同画素に対応する各参照画素との組ごとに作成する背景モデル作成手段と、輝度空間において、前記背景モデル作成手段が前記注目画素と参照画素との前記組ごとに作成した前記照明変動背景モデルと、前記複数参照点選択手段が前記注目画素ごとに取得した前記複数の参照画素の輝度値のそれぞれと前記注目画素の輝度値との組が表す点との間の距離をそれぞれ計算する距離計算手段と、前記注目画素と各参照画素との組ごとに、前記距離計算手段が計算した前記距離にもとづいて前記注目画素が物体を表す画素か否かを判別し、前記組ごとの判別結果に対し論理演算を行って前記注目画素が物体を表す画素か否かを最終的に判別する物体判別手段とを備えたことを特徴とする。
【００１２】
本発明の物体検出装置では、画像入力手段は、撮影画像の各画素の輝度値を取り込んで保持し、複数参照点選択手段は、前記画像の注目画素ごとに複数の参照画素を選択して、選択した複数の参照画素および前記注目画素の輝度値を画像入力手段から注目画素ごとに取得する。そして、背景モデル作成手段は、複数参照点選択手段が選択した注目画素および同画素に対応する前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を背景画像保持手段から取得して、背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを注目画素と、同画素に対応する各参照画素との組ごとに作成する。
【００１３】
その上で、距離計算手段は、輝度空間において、背景モデル作成手段が注目画素と参照画素との前記組ごとに作成した前記照明変動背景モデルと、複数参照点選択手段が注目画素ごとに取得した前記複数の参照画素の輝度値のそれぞれと注目画素の輝度値との組が表す点との間の距離をそれぞれ計算する。
そして、物体判別手段は、注目画素と各参照画素との組ごとに、距離計算手段が計算した前記距離にもとづいて前記注目画素が物体を表す画素か否かを判別し、前記組ごとの判別結果に対し論理演算を行って注目画素が物体を表す画素か否かを最終的に判別する。
【００１４】
また、本発明は、撮影画像を用いて物体を検出する物体検出装置であって、前記撮影画像の各画素の輝度値を取り込んで保持する画像入力手段と、前記撮影画像において水平方向に配列された複数の画素から成る注目水平画素列ごとに、前記注目水平画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を前記画像入力手段から取得する水平参照点選択手段と、前記撮影画像において垂直方向に配列された複数の画素から成る注目垂直画素列ごとに、前記注目垂直画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を前記画像入力手段から取得する垂直参照点選択手段と、前記撮影画像の背景を成す画像の各画素の輝度値を保持する背景画像保持手段と、前記水平参照点選択手段が選択した前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を前記背景画像保持手段から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する水平背景モデル作成手段と、前記垂直参照点選択手段が選択した前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を前記背景画像保持手段から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する垂直背景モデル作成手段と、多次元輝度空間において、前記水平背景モデル作成手段が作成した前記照明変動背景モデルと、前記水平参照点選択手段が取得した前記複数の輝度値が表す点との間の距離を計算する水平距離計算手段と、多次元輝度空間において、前記垂直背景モデル作成手段が作成した前記照明変動背景モデルと、前記垂直参照点選択手段が取得した前記複数の輝度値が表す点との間の距離を計算する垂直距離計算手段と、前記水平距離計算手段および前記垂直距離計算手段が計算した前記距離にもとづいて、前記注目水平画素列および前記注目垂直画素列に物体を表す画素が含まれているか否かを判別し、両画素列に係わる判別結果に対して論理演算を行って物体を含む矩形領域を特定する物体判別手段とを備えたことを特徴とする。
【００１５】
本発明の物体検出装置では、画像入力手段は撮影画像の各画素の輝度値を取り込んで保持し、水平参照点選択手段は、撮影画像において水平方向に配列された複数の画素から成る注目水平画素列ごとに、注目水平画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を画像入力手段から取得する。また、垂直参照点選択手段は、撮影画像において垂直方向に配列された複数の画素から成る注目垂直画素列ごとに、注目垂直画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を画像入力手段から取得する。
そして、水平背景モデル作成手段は、水平参照点選択手段が選択した前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を背景画像保持手段から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成し、垂直背景モデル作成手段は、垂直参照点選択手段が選択した前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を背景画像保持手段から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する。
【００１６】
その後、水平距離計算手段は、多次元輝度空間において、水平背景モデル作成手段が作成した前記照明変動背景モデルと、水平参照点選択手段が取得した前記複数の輝度値が表す点との間の距離を計算し、垂直距離計算手段は、多次元輝度空間において、垂直背景モデル作成手段が作成した前記照明変動背景モデルと、垂直参照点選択手段が取得した前記複数の輝度値が表す点との間の距離を計算する。
そして、物体判別手段は、水平距離計算手段および垂直距離計算手段が計算した前記距離にもとづいて、注目水平画素列および注目垂直画素列に物体を表す画素が含まれているか否かを判別し、両画素列に係わる判別結果に対して論理演算を行って物体を含む矩形領域を特定する。
【００１７】
また、本発明は、撮影画像を用いて物体を検出する物体検出方法であって、前記撮影画像の各画素の輝度値を取り込んで第１の記憶手段に保持させる画像入力ステップと、前記撮影画像の注目画素ごとに複数の参照画素を選択して、選択した複数の参照画素および前記注目画素の輝度値を前記第１の記憶手段から前記注目画素ごとに取得する複数参照点選択ステップと、前記撮影画像の背景を成す背景画像の各画素の輝度値を第２の記憶手段に保持させる背景画像保持ステップと、前記複数参照点選択ステップで選択した前記注目画素および同画素に対応する前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を前記第２の記憶手段から取得して、背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを前記注目画素と、同画素に対応する各参照画素との組ごとに作成する背景モデル作成ステップと、輝度空間において、前記背景モデル作成ステップで前記注目画素と参照画素との前記組ごとに作成した前記照明変動背景モデルと、前記複数参照点選択ステップで前記注目画素ごとに取得した前記複数の参照画素の輝度値のそれぞれと前記注目画素の輝度値との組が表す点との間の距離をそれぞれ計算する距離計算ステップと、前記注目画素と各参照画素との組ごとに、前記距離計算ステップで計算した前記距離にもとづいて前記注目画素が物体を表す画素か否かを判別し、前記組ごとの判別結果に対し論理演算を行って前記注目画素が物体を表す画素か否かを最終的に判別する物体判別ステップとを備えたことを特徴とする。
【００１８】
また、本発明は、撮影画像を用いて物体を検出する物体検出プログラムを記録したコンピュータ読み取り可能な情報記録媒体であって、前記撮影画像の各画素の輝度値を取り込んで第１の記憶手段に保持させる画像入力ステップと、前記撮影画像の注目画素ごとに複数の参照画素を選択して、選択した複数の参照画素および前記注目画素の輝度値を前記第１の記憶手段から前記注目画素ごとに取得する複数参照点選択ステップと、前記撮影画像の背景を成す背景画像の各画素の輝度値を第２の記憶手段に保持させる背景画像保持ステップと、前記複数参照点選択ステップで選択した前記注目画素および同画素に対応する前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を前記第２の記憶手段から取得して、背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを前記注目画素と、同画素に対応する各参照画素との組ごとに作成する背景モデル作成ステップと、輝度空間において、前記背景モデル作成ステップで前記注目画素と参照画素との前記組ごとに作成した前記照明変動背景モデルと、前記複数参照点選択ステップで前記注目画素ごとに取得した前記複数の参照画素の輝度値のそれぞれと前記注目画素の輝度値との組が表す点との間の距離をそれぞれ計算する距離計算ステップと、前記注目画素と各参照画素との組ごとに、前記距離計算ステップで計算した前記距離にもとづいて前記注目画素が物体を表す画素か否かを判別し、前記組ごとの判別結果に対し論理演算を行って前記注目画素が物体を表す画素か否かを最終的に判別する物体判別ステップとを含むことを特徴とする。
【００１９】
本発明の物体検出方法および本発明のコンピュータ読み取り可能な情報記録媒体に記録された物体検出プログラムでは、画像入力ステップにおいて、撮影画像の各画素の輝度値を取り込んで第１の記憶手段に保持させ、複数参照点選択ステップでは、前記画像の注目画素ごとに複数の参照画素を選択して、選択した複数の参照画素および前記注目画素の輝度値を第１の記憶手段から注目画素ごとに取得する。そして、背景モデル作成ステップでは、複数参照点選択ステップで選択した注目画素および同画素に対応する前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を第２の記憶手段から取得して、背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを注目画素と、同画素に対応する各参照画素との組ごとに作成する。
【００２０】
その上で、距離計算ステップでは、輝度空間において、背景モデル作成ステップで注目画素と参照画素との前記組ごとに作成した前記照明変動背景モデルと、複数参照点選択ステップで注目画素ごとに取得した前記複数の参照画素の輝度値のそれぞれと注目画素の輝度値との組が表す点との間の距離をそれぞれ計算する。
そして、物体判別ステップでは、注目画素と各参照画素との組ごとに、距離計算ステップで計算した前記距離にもとづいて前記注目画素が物体を表す画素か否かを判別し、前記組ごとの判別結果に対し論理演算を行って注目画素が物体を表す画素か否かを最終的に判別する。
【００２１】
また、本発明は、撮影画像を用いて物体を検出する物体検出プログラムを記録したコンピュータ読み取り可能な情報記録媒体であって、前記撮影画像の各画素の輝度値を取り込んで第１の記憶手段に保持させる画像入力ステップと、前記撮影画像において水平方向に配列された複数の画素から成る注目水平画素列ごとに、前記注目水平画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を前記第１の記憶手段から取得する水平参照点選択ステップと、前記撮影画像において垂直方向に配列された複数の画素から成る注目垂直画素列ごとに、前記注目垂直画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を前記第１の記憶手段から取得する垂直参照点選択ステップと、前記撮影画像の背景を成す画像の各画素の輝度値を第２の記憶手段に保持させる背景画像保持ステップと、前記水平参照点選択ステップで選択した前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を前記第２の記憶手段から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する水平背景モデル作成ステップと、前記垂直参照点選択ステップで選択した前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を前記第２の記憶手段から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する垂直背景モデル作成ステップと、多次元輝度空間において、前記水平背景モデル作成ステップで作成した前記照明変動背景モデルと、前記水平参照点選択ステップで取得した前記複数の輝度値が表す点との間の距離を計算する水平距離計算ステップと、多次元輝度空間において、前記垂直背景モデル作成ステップで作成した前記照明変動背景モデルと、前記垂直参照点選択ステップで取得した前記複数の輝度値が表す点との間の距離を計算する垂直距離計算ステップと、前記水平距離計算ステップおよび前記垂直距離計算ステップで計算した前記距離にもとづいて、前記注目水平画素列および前記注目垂直画素列に物体を表す画素が含まれているか否かを判別し、両画素列に係わる判別結果に対して論理演算を行って物体を含む矩形領域を特定する物体判別ステップとを含むことを特徴とする。
【００２２】
また、本発明は、撮影画像を用いて物体を検出する物体検出方法であって、前記撮影画像の各画素の輝度値を取り込んで第１の記憶手段に保持させる画像入力ステップと、前記撮影画像において水平方向に配列された複数の画素から成る注目水平画素列ごとに、前記注目水平画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を前記第１の記憶手段から取得する水平参照点選択ステップと、前記撮影画像において垂直方向に配列された複数の画素から成る注目垂直画素列ごとに、前記注目垂直画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を前記第１の記憶手段から取得する垂直参照点選択ステップと、前記撮影画像の背景を成す画像の各画素の輝度値を第２の記憶手段に保持させる背景画像保持ステップと、前記水平参照点選択ステップで選択した前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を前記第２の記憶手段から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する水平背景モデル作成ステップと、前記垂直参照点選択ステップで選択した前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を前記第２の記憶手段から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する垂直背景モデル作成ステップと、多次元輝度空間において、前記水平背景モデル作成ステップで作成した前記照明変動背景モデルと、前記水平参照点選択ステップで取得した前記複数の輝度値が表す点との間の距離を計算する水平距離計算ステップと、多次元輝度空間において、前記垂直背景モデル作成ステップで作成した前記照明変動背景モデルと、前記垂直参照点選択ステップで取得した前記複数の輝度値が表す点との間の距離を計算する垂直距離計算ステップと、前記水平距離計算ステップおよび前記垂直距離計算ステップで計算した前記距離にもとづいて、前記注目水平画素列および前記注目垂直画素列に物体を表す画素が含まれているか否かを判別し、両画素列に係わる判別結果に対して論理演算を行って物体を含む矩形領域を特定する物体判別ステップとを備えたことを特徴とする。
【００２３】
本発明の物体検出方法および本発明のコンピュータ読み取り可能な情報記録媒体に記録された物体検出プログラムでは、画像入力ステップにおいて撮影画像の各画素の輝度値を取り込んで第１の記憶手段に保持させ、水平参照点選択ステップでは、撮影画像において水平方向に配列された複数の画素から成る注目水平画素列ごとに、注目水平画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を第１の記憶手段から取得する。また、垂直参照点選択ステップでは、撮影画像において垂直方向に配列された複数の画素から成る注目垂直画素列ごとに、注目垂直画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を第１の記憶手段から取得する。
そして、水平背景モデル作成ステップでは、水平参照点選択ステップで選択した前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を第１の記憶手段から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成し、垂直背景モデル作成ステップでは、垂直参照点選択ステップで選択した前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を第２の記憶手段から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する。
【００２４】
その後、水平距離計算ステップでは、多次元輝度空間において、水平背景モデル作成ステップで作成した前記照明変動背景モデルと、水平参照点選択ステップで取得した前記複数の輝度値が表す点との間の距離を計算し、垂直距離計算ステップでは、多次元輝度空間において、垂直背景モデル作成ステップで作成した前記照明変動背景モデルと、垂直参照点選択ステップで取得した前記複数の輝度値が表す点との間の距離を計算する。
そして、物体判別ステップでは、水平距離計算ステップおよび垂直距離計算ステップで計算した前記距離にもとづいて、注目水平画素列および注目垂直画素列に物体を表す画素が含まれているか否かを判別し、両画素列に係わる判別結果に対して論理演算を行って物体を含む矩形領域を特定する。
【００２５】
【発明の実施の形態】
次に本発明の実施の形態例について図面を参照して説明する。
まず、第１の実施の形態例における物体検出の原理について説明する。図３の（Ａ）は画像面における注目点と参照点との位置関係を示す説明図、（Ｂ）は物体が撮影領域に侵入した場合の模式図、（Ｃ）は検出結果を示す模式図、（Ｄ）は画像面における注目点と参照点との位置関係を示す他の説明図、（Ｅ）は検出結果を示す他の模式図、（Ｆ）は最終的な検出結果を示す模式図である。
【００２６】
図３の（Ａ）に示したように、画像上に注目点ＰＡと注目点ＰＢとを離して設定した場合、図３の（Ｂ）に示したように、物体１０８が注目点ＰＡの位置に侵入すると、注目点ＰＡと参照点ＰＢとの間で輝度差が生じるので、照明変動背景モデルを用いた従来と同じ手法で検出を行って物体１０８を検出する。そして、検出結果は、図３の（Ｃ）に示したように、従来と同様、注目点ＰＡと参照点ＰＢの両方に物体１０８が存在する可能性があることを示すものとなる。
【００２７】
一方、本実施の形態例では、図３の（Ｄ）に示したように、参照点ＰＢとは異なる参照点ＰＣをさらに設定する。そして、注目点ＰＡと参照点ＰＣとの組に関しても従来と同様の手法で物体の検出を行う。その結果、上述のように物体１０８が注目点ＰＡに侵入した場合、検出結果では図３の（Ｅ）に示したように、注目点ＰＡと参照点ＰＣの両方の位置に物体１０８が存在する可能性があることを示すものとなる。
【００２８】
本実施の形態例では、さらに、この２つの検出結果、すなわち図３の（Ｃ）と（Ｅ）の論理積をとる。したがって、図３の（Ｆ）に示したように、図３の（Ｃ）と（Ｅ）の両方に共通して存在する注目点ＰＡの位置の物体像１１１のみが残り、注目点ＰＡに侵入した物体１０８がその位置を特定して確実に検出される。そして、本実施の形態例では注目点と参照点とをある程度離して配置することができることから、検出された物体の画像は輪郭部だけでなく内側の領域も描画された画像となる。
【００２９】
なお、一般に、１つの注目点に対し、注目点を含むＮ個（Ｎは３以上の整数）の異なる参照点を設定した場合、次式により表される条件を満たすことで物体の存在領域を特定することができる。
【００３０】
【数１】
ｄｉｓｔ（Ｐｉ、Ｐｊ）＞ＯｂｊｅｃｔＳｉｚｅ
だだし、１≦ｉ、ｊ≦Ｎ（ｉ≠ｊ）であり、ｄｉｓｔ（Ａ、Ｂ）は点Ａ、Ｂ間の距離を表す。また、ＯｂｊｅｃｔＳｉｚｅは画像上での物体の大きさを表している。
【００３１】
次に、本発明の第１の実施形態について図面を参照して詳細に説明する。
図１は第１の実施の形態例の物体検出装置を示すブロック図、図２は図１の物体検出装置の動作を示すフローチャートである。以下では、これらの図面を参照して本発明の物体検出装置の一例について説明すると同時に本発明の物体検出方法および物体検出プログラムを記録したコンピュータ読み取り可能な情報記録媒体の実施の形態例について説明する。
【００３２】
図１に示した物体検出装置２は、画像入力手段４、複数参照点選択手段６、背景画像保持手段８、背景モデル作成手段１０、距離計算手段１２、物体判別手段１４、ならびに背景作成手段１６を含み、たとえば監視カメラにより撮影した画像から物体を検出する構成となっている。
物体検出装置２は具体的には、一例として、監視カメラやビデオテープレコーダとのインターフェースなども備え、所定のオペレーティングシステムが組み込まれたコンピュータにより構成されており、コンピュータを構成する入力装置に、本発明の物体検出プログラムを記録したコンピュータ読み取り可能な情報記録媒体としてのたとえばＣＤ−ＲＯＭを装着してＣＤ−ＲＯＭからプログラムデータを読み込み、コンピュータのメモリにロードして、コンピュータのＣＰＵを同プログラムデータにもとづいて動作させることで実現されている。
【００３３】
画像入力手段４は、監視カメラにより撮影された画像、あるいは撮影後、ビデオテープレコーダに録画された画像を、監視カメラやＶＴＲなどから取り込んで保持する。より詳しくは、画像入力手段４は、撮影画像の各画素の輝度値を取り込んで保持する。なお、画像入力手段４が取り込む画像は動画像であっても、静止画像であってもよい。また、画像入力手段４は、自身が画像を撮像するカメラを備えた構成であってもよい。
【００３４】
複数参照点選択手段６は、前記画像の注目画素（注目点の位置の画素）ごとに、あらかじめ決められた複数の参照画素（参照点の位置の画素）を選択して、選択した複数の参照画素および注目画素の各輝度値を画像入力手段４から注目画素ごとに取得する。なお、１つの注目画素に対応する上記複数の参照画素は参照画素群ともいう。
背景画像保持手段８は、撮影領域の背景画像の各画素の輝度値を保持している。背景画像保持手段８が保持する輝度値は、本実施の形態例では、後に説明するように背景作成手段１６により適宜更新される。
背景モデル作成手段１０は、複数参照点選択手段６が選択した注目画素および同画素に対応する前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を背景画像保持手段８から取得して、背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを注目画素と、同画素に対応する各参照画素との組ごとに作成する。
【００３５】
そして、距離計算手段１２は、輝度空間において、背景モデル作成手段１０が注目画素と参照画素との前記組ごとに作成した前記照明変動背景モデルと、複数参照点選択手段６が注目画素ごとに取得した複数の参照画素の輝度値のそれぞれと注目画素の輝度値との組が表す点との間の距離をそれぞれ計算する。
【００３６】
物体判別手段１４は、注目画素と各参照画素との組ごとに、距離計算手段１２が計算した前記距離にもとづいて前記注目画素が物体を表す画素か否かを判別し、注目画素と各参照画素との組ごとの判別結果に対し論理演算を行って注目画素が物体を表す画素か否かを最終的に判別する。
そして、画像出力手段１５は、物体判別手段１４が出力する判別結果の画像データを不図示の表示装置などへ出力する。
また、背景作成手段１６は、物体判別手段１４が物体を表す画素ではないと判別した注目画素と、同画素に対応する前記複数の参照画素のそれぞれに対応する背景画像の画素の輝度値を、注目画素および参照画素の輝度値にもとづき更新して背景画像保持手段８に保持させる。
【００３７】
次に、このように構成された第１の実施の形態例の動作について説明する。
図２に示したように、まず、物体検出装置２の画像入力手段４は、監視カメラなどによって撮像された画像を読み込み、画像を構成する各画素ごとの輝度値を画像入力手段４内に設けられた不図示のメモリに保持する（ステップＡ１）。
画像はマトリクス状に配列された多数の画素により構成され、画像入力手段４はこのような画素の輝度値を２次元配列のデータとして保持する。また、各画素は上記メモリのｘアドレスとｙアドレスを指定することで特定可能となっており、ｘアドレスはマトリクスの列番号に対応し、ｙアドレスはマトリクスの行番号に対応している。
【００３８】
そして、複数参照点選択手段６は、上記画像の注目画素ごとに、あらかじめ決められた複数の参照画素を選択して、選択した複数の参照画素および注目画素の各輝度値を画像入力手段４の上記メモリから注目画素ごとに取得する（ステップＡ２）。
上記参照画素はそれぞれ、検出すべき侵入物体の大きさよりも大きい距離だけ注目画素から離れた位置に設定されている。
たとえば、侵入物体の画面上での大きさが１００画素未満であるとし、現在の注目画素点ＰＡと、この画素とは異なるもう１つの画素点ＰＢを参照点とする場合、図３の（Ａ）に示したように参照点ＰＢは、注目点ＰＡからｘ軸方向に１００画素離れた位置に設定する。このとき、注目点ＰＡにおける輝度値はＩ（ｘ、ｙ）、参照点ＰＢにおける輝度値はＩ（ｘ＋１００、ｙ）のように表すことができる。
同様に、もう１つの参照点ＰＣを設定する場合、図３の（Ｄ）に示したように、参照点ＰＣは注目点ＰＡからｘ軸の反対方向に１００画素離れた位置に設定する。参照点ＰＣにおける輝度値はＩ（ｘ−１００、ｙ）のように表すことができる。
【００３９】
本実施の形態例では、複数参照点選択手段６は、注目点ＰＡに対し注目点以外に２つの参照点ＰＢ、ＰＣを設定するものとし、したがって、注目点および各参照点にそれぞれ対応する１つの注目画素と２つの参照画素を設定するものとする。次に、複数参照点選択手段６は、ステップＡ２で得た注目画素および参照画素の各輝度値を背景作成手段１６に供給する（ステップＡ３）。この段階では、背景画像保持手段８を構成するメモリには、背景画像を構成する各画素の輝度値はまだ格納されていないため、背景作成手段１６は、複数参照点選択手段６から供給された各輝度値を、それぞれ対応する背景画像の画素の輝度値として、背景画像保持手段８に保持させる。
【００４０】
次に、背景モデル作成手段１０は、背景画像保持手段８が保持している背景画像の各画素の輝度値を用いて照明変動背景モデルを作成する。
たとえば注目画素が図３における注目点ＰＡに対応するｐａであり、参照画素が参照点ＰＢ、ＰＣに対応するｐｂ、ｐｃであったとすると、背景モデル作成手段１０はまず、注目画素ｐａおよび参照画素ｐｂに対応する、背景画像における２つの画素の輝度値を背景画像保持手段８から取得する。
【００４１】
そして、これら２つの輝度値を用いて、注目画素ｐａと参照画素ｐｂとの組に対応するものとして、背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する。具体的には、図９に示したような、注目画素ｐａに対応する背景画素の輝度値を横軸、参照画素ｐｂに対応する背景画素の輝度値を縦軸とする輝度空間において、注目画素ｐａと参照画素ｐｂに対応する背景画素の輝度値の組が表す点と、原点を通過する直線を求め、その直線を上記照明変動背景モデルとする。
背景モデル作成手段１０は、注目画素ｐａと参照画素ｐｃとの組に対しても同様に照明変動背景モデルを作成する。
【００４２】
なお、注目画素ごとに参照する画素の数が注目画素も含めてＮ個であれば、１つの注目画素ごとにＮ個の背景画像の画素の輝度値を用いることになり、したがって注目画素ごとの背景の輝度値の組はＮ次元のベクトルとして表すことができる。
本実施例では注目画素と１参照点の組を２組用いているので、背景の輝度値は２組の２次元ベクトルとなる。
【００４３】
その後、距離計算手段１２は、注目画素ｐａおよび参照画素ｐｂの組に対して、上記輝度空間において、上記照明変動背景モデルと、注目画素ｐａおよび参照画素ｐｂの輝度値の組が表す点との間の距離を計算し、さらに、注目画素ｐａおよび参照画素ｐｃの組に対しても同様の距離を計算する（ステップＡ４）。
【００４４】
ここで、注目画素ｐａ、参照画素ｐｂ、ｐｃに対応する背景画素の輝度値をｉａ０、ｉｂ０、ｉｃ０とし、注目画素ｐａ、参照画素ｐｂ、ｐｃの輝度値をｉａ１、ｉｂ１、ｉｃ１とすると、注目画素ｐａと参照画素ｐｂとの組に対応する照明変動背景モデルと、輝度値ｉａ１、ｉｂ１に対応する点との間の距離Ｄ１、ならびに注目画素ｐａと参照画素ｐｃとの組に対応する照明変動背景モデルと、輝度値ｉａ１、ｉｃ１に対応する点との間の距離Ｄ２はそれぞれ［数２］、［数４］に示した式によって計算することができる。
【００４５】
【数２】
【００４６】
【数３】
次に、物体判別手段１４は、ステップＡ４において求められた距離Ｄ１、Ｄ２と、あらかじめ設定されているしきい値Ｔ１、Ｔ２とを比べ（ステップＡ５）、これらの距離およびしきい値が［数４］を満たす場合には、注目画素ｐａは物体を表す画素であり、対応箇所に物体が存在すると判断し、一方、［数４］を満たさない場合には、注目画素ｐａは背景を表す画素であると判断する（ステップＡ６、Ｓ７、Ｓ８、Ｓ９）。
【００４７】
【数４】
より詳しくは、物体判別手段１４は、複数距離計算手段が計算した距離Ｄ１、Ｄ２がそれぞれ上記しきい値Ｔ１、Ｔ２より大きいか否かを調べる（ステップＡ５）。たとえば距離Ｄ１がしきい値Ｔ１より大きい場合には、物体判別手段１４は注目画素ｐａおよび参照画素ｐｂは物体を表す画素である可能性があるとし、検出結果として両画素に論理”１”を対応づける。また、距離Ｄ２も、しきい値Ｔ２より大きい場合には、物体判別手段１４は、注目画素ｐａおよび参照画素ｐｃは物体を表す画素である可能性があるとし、検出結果として両画素に論理”１”を対応づける。
一方、距離Ｄ１、Ｄ２がＴ１、Ｔ２より小さい場合には、各画素には論理”０”を対応づける。
【００４８】
その上で、物体判別手段１４は、これらの検出結果の論理積をとり（ステップＡ６）、そして値を判定して（ステップＡ７）、結果が論理”１”の場合は注目画素ｐａは物体を表す画素であるとし（ステップＡ８）、論理”０”の場合は注目画素ｐａは物体を表さず、背景を表す画素であるとする（ステップＡ９）。
たとえば、距離Ｄ１がしきい値Ｔ１より大きい場合、物体判別手段１４が各画素ｐａ、ｐｂ、ｐｃに対応づける値は”１”、”１”、”０”となり、また、距離Ｄ２がしきい値Ｔ２より大きい場合、物体判別手段１４が各画素ｐａ、ｐｂ、ｐｃに対応づける値は”１”、”０”、”１”となる。したがって、各画素ごとに、これらの値の論理積をとると、それぞれ”１”、”０”、”０”となり、画素ｐａに対する論理値のみが”１”となる。したがって、物体判別手段１４は、注目画素ｐａが物体を表す画素であると判断する。
【００４９】
一般に注目画素以外にＮ個の参照点をとった場合、各参照点ごとに距離Ｄｉを計算し、各参照点ごとのしきい値Ｔｉを用いて、［数５］が成立するか否かにより注目画素が物体を表す画素であるか否かを判別することができる。
【００５０】
【数５】
このようなステップＡ２からＳ９までの処理を、画像入力手段４が保持している全画素を次々に注目画素に設定して行うことで（ステップＡ１０）、撮影画像上の物体を検出することができる。
検出された物体は、画像出力手段１５により出力され、表示装置に表示される。その際、ステップＡ７、Ａ８において、物体を表すと判別された注目画素の表示色を、背景とは異なる色で表示すれば、画面上で検出物体の形状などをより明瞭に把握することができる。
【００５１】
なお、ステップＡ１０において、すべての画素について処理が終わったと判断された場合に、物体であると判別された画素の数をカウントして、このカウント値が予め設定されたしきい値より大きい場合にのみ物体が存在すると判断するようにしてもよい。これによって、ある大きさ以上の物体のみを検出することが可能となる。
【００５２】
一方、ステップＡ７、Ａ９で注目画素が物体を表す画素ではないと判別された場合には、背景作成手段１６は、同注目画素および対応する複数の参照画素の輝度値にもとづいて、対応する背景画像の画素の輝度値を更新し、背景画像保持手段８に保持させる（ステップＡ３）。
なお、最初の入力画像に移動物体が含まれていなければ、基本的に背景画像の各画素の輝度値は更新する必要はない。しかし、ノイズ等の影響で、背景領域の輝度値が照明変動以外の要因でばらつきを起こしうるため、物体判別手段１４により背景とみなされた画素において随時輝度値を更新していくことで誤差を抑えることができる。
【００５３】
また、このような背景画像の更新において、新旧の輝度値に重みを乗じて徐々に更新するという方法をとることができる。すなわち、物体判別手段１４で注目画素ｐａが背景画素とみなされた場合、［数６］のように新しく加わるデータに重みをかけ徐々に更新することができる。
【００５４】
【数６】
ここで、ＰＡ＿ｎｅｗは注目画素ｐａと参照画素ｐｂ、ｐｃに対応する背景画素の輝度値による３次元輝度値行列、ＰＡ＿ｏｌｄは今までの注目画素ｐａと参照画素ｐｂ、ｐｃに対応する背景画素の輝度値による３次元背景輝度行列である。また、ＩＡは、注目画素ｐａと参照画素ｐｂ、ｐｃの輝度値行列、αは上記重み定数である。
【００５５】
次に、ステップＡ１０において、すべての画素に対して前述した判別処理が終了したと判断された場合、画像入力手段４は、次の画像があるか否かを判断し（ステップＡ１１）、次の画像がある場合はステップＡ１に戻って、画像を取得し、以降、上述した各処理が繰り返される。そして、すべての画像に対して処理が終了した時点で、物体検出処理を終了する。
以上の処理を監視カメラから画像が取り込まれるごとに行うことで、物体検出を逐次行うことができる。
【００５６】
図４の（Ａ）は、道路を黒い車が走っている原画像を示す模式図、（Ｂ）は従来技術による車の検出結果を示す説明図、（Ｃ）は本実施の形態例による車の検出結果を示す説明図である。
図４の（Ｂ）は、図４の（Ａ）に示した原画像および背景画像により図８などを用いて説明した従来技術にもとづき車の検出を行った結果を示し、注目点および参照点を隣接させて物体検出を行ったため、車の輪郭部のみが検出されている。
【００５７】
これに対して、本実施の形態例による検出結果である図４の（Ｃ）では、車の輪郭部だけでなく、輪郭の内側も含め、車全体が検出されており、より明瞭に、したがって確実に車が検出されている。
本実施の形態例では、上述したように、各注目画素ごとに選択する参照画素を、注目画素に対し、物体の大きさ以上に離して設定する。したがって、注目画素と参照画素とを接近させて設定した場合のように物体の輪郭部のみが検出されるといったことがない。
そして、１つの注目画素に対して複数の参照画素を設定し、注目画素と各参照画素との組ごとに物体検出を行って、最終的に論理演算により注目画素が物体の画素か否かを判別するので、注目画素と参照画素とを離して設定しても、物体の位置を確実に特定できる。
【００５８】
また、上記従来技術と同様、輝度空間における照明変動背景モデルと輝度点との距離にもとづいて注目画素が画像を表すか否かを判定しているので、照明変動が大きく、かつ頻繁に発生する場合にも安定で、しかも高精度に物体を検出することができる。
【００５９】
次に、本発明の第２の実施形態について説明する。
図５は第２の実施の形態例の物体検出装置２を示すブロック図、図６は図５の物体検出装置の動作を示すフローチャートである。以下では、これらの図面を参照して本発明の第２の実施の形態例の物体検出装置について説明すると同時に本発明の第２の実施の形態例の物体検出方法および物体検出プログラムを記録したコンピュータ読み取り可能な情報記録媒体について説明する。なお、図５において図１と同一の要素には同一の符号が付されており、それらに関する説明はここでは省略する。
【００６０】
図５に示した物体検出装置１８が上記物体検出装置２と異なるのは、物体自体を検出するのではなく物体の外接矩形を求める点であり、その結果、少ない計算量で物体を検出することが可能となる。
物体検出装置１８は、画像入力手段４、本発明に係わる水平参照点選択手段および垂直参照点選択手段として機能する複数参照点選択手段２０、背景画像保持手段８、本発明に係わる水平背景モデル作成手段および垂直背景モデル作成手段として機能する背景モデル作成手段２２、本発明に係わる水平距離計算手段および垂直距離計算手段として機能する距離計算手段２４、物体判別手段２６、背景作成手段２８、ならびに画像出力手段１５を含み、たとえば監視カメラにより撮影した画像から物体を検出する構成となっている。
【００６１】
物体検出装置１８は上記物体検出装置２と同様、具体的には、一例として監視カメラやビデオテープレコーダとのインターフェースなども備えたコンピュータにより構成されており、コンピュータを構成する入力装置に、本発明の物体検出プログラムを記録したコンピュータ読み取り可能な情報記録媒体としてのたとえばＣＤ−ＲＯＭを装着してＣＤ−ＲＯＭからプログラムデータを読み込み、コンピュータのメモリにロードして、コンピュータのＣＰＵを同プログラムデータにもとづいて動作させることで実現されている。
【００６２】
物体検出装置１８の複数参照点選択手段２０は、水平参照点選択手段として機能して、撮影画像において水平方向に配列された複数の画素から成る注目水平画素列ごとに、注目水平画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を画像入力手段４から取得する。
また、複数参照点選択手段２０は、垂直参照点選択手段として機能して、撮影画像において垂直方向に配列された複数の画素から成る注目垂直画素列ごとに、注目垂直画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を画像入力手段４から取得する。
【００６３】
そして、背景モデル作成手段２２は、水平背景モデル作成手段として機能して、水平参照点選択手段が選択した複数の参照画素にそれぞれ対応する、背景画像における複数の画素の輝度値を背景画像保持手段８から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する。
また、背景モデル作成手段２２は、垂直背景モデル作成手段として機能して、垂直参照点選択手段が選択した複数の参照画素にそれぞれ対応する、背景画像における複数の画素の輝度値を背景画像保持手段８から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する。
【００６４】
複数距離計算手段２は、水平距離計算手段として機能して、多次元輝度空間において、水平背景モデル作成手段としての背景モデル作成手段２２が作成した前記照明変動背景モデルと、水平参照点選択手段としての複数参照点選択手段２０が取得した複数の輝度値が表す点との間の距離を計算する。
また、複数距離計算手段２は、垂直距離計算手段として機能して、多次元輝度空間において、垂直背景モデル作成手段としての背景モデル作成手段２２が作成した前記照明変動背景モデルと、垂直参照点選択手段としての複数参照点選択手段２０が取得した前記複数の輝度値が表す点との間の距離を計算する。
【００６５】
物体判別手段２６は、上記水平距離計算手段および垂直距離計算手段としての複数距離計算手段２が計算した前記距離にもとづいて、注目水平画素列および注目垂直画素列に物体を表す画素が含まれているか否かを判別し、両画素列に係わる判別結果に対して論理演算を行って物体を含む矩形領域を特定する。
背景作成手段２８は、物体判別手段２６が物体を表す画素を含まないと判別した前記注目水平画素列および注目垂直画素列を構成する各画素の輝度値にもとづいて、対応する前記背景画像の画素の輝度値を更新して背景画像保持手段８に保持させる。
【００６６】
次に、このように構成された物体検出装置１８の動作について説明する。
図７は第２の実施の形態例の動作を説明するための図であって、（Ａ）は垂直方向における物体の存在可能領域の検出を表す説明図、（Ｂ）は水平方向における物体の存在可能領域の検出を表す説明図、（Ｃ）は検出結果を示す説明図である。以下では、図５とともに図６、図７を参照して説明する。
【００６７】
図６に示したように、まず、画像入力手段４は、監視カメラなどによって撮像された画像を読み込み、画像を構成する各画素ごとの輝度値を画像入力手段４内に設けられた不図示のメモリに保持する（ステップＢ１）。
次に、複数参照点選択手段２０は、撮影画像において垂直方向のアドレスｙにおける１行分の画素を注目水平画素列とし、またこの１行分の画素を参照画素（参照画素群）に選択して、各参照画素の輝度値を画像入力手段４から取得する（ステップＢ４）。したがって、撮影画像の幅がＷｉｄｔｈ画素（Ｗｉｄｔｈは正の整数）であったとすると、上記注目水平画素列にはＷｉｄｔｈ個の画素が含まれ、複数参照点選択手段２０は、本実施の形態例ではこれらすべて画素を参照画素とする。
【００６８】
そして、背景モデル作成手段２２は、複数参照点選択手段２０が選択した上記参照画素にそれぞれ対応する、背景画像における各画素の輝度値を背景画像保持手段８から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する。
その後、複数距離計算手段２４は、参照画素の輝度値によって形成される多次元輝度空間において、背景モデル作成手段２２が作成した前記照明変動背景モデルと、複数参照点選択手段２０が取得した上記複数の輝度値が表す点との間の距離を計算する（ステップＢ６）。
【００６９】
つづいて、物体判別手段２６は、複数距離計算手段２４がこのように計算した距離をしきい値と比較して、距離がしきい値より大きい場合には、上記注目水平画素列に対応づけて論理”１”を保持し、距離がしきい値より小さい場合には論理”０”を保持する（ステップＢ８）。
複数参照点選択手段２０、背景モデル作成手段２２、ならびに複数距離計算手段２は、このような処理を、アドレスｙの値を１ずつ大きくしながら、画像の垂直方向の全範囲において行う（ステップＢ１０）。
その結果、図７の（Ａ）に示したように、物体１０８が図のように存在する場合、Ｈの範囲内の各注目水平画素列に対して、物体判別手段２６は論理”１”を保持することになる。
【００７０】
また、複数参照点選択手段２０、背景モデル作成手段２２、ならびに複数距離計算手段２は、同様の処理を、画像の水平方向においても行う。
すなわち、複数参照点選択手段２０は、撮影画像において水平方向のアドレスｘにおける１列分の画素を注目垂直画素列とし、またこの１列分の画素を参照画素（参照画素群）に選択して、各参照画素の輝度値を画像入力手段４から取得する（ステップＢ２）。したがって、撮影画像の高さがＨｅｉｇｈｔ画素（Ｈｅｉｇｈｔは正の整数）であったとすると、上記注目垂直画素列にはＨｅｉｇｈｔ個の画素が含まれ、複数参照点選択手段２０は、本実施の形態例ではこれらすべて画素を参照画素とする。
【００７１】
そして、背景モデル作成手段２２は、複数参照点選択手段２０が選択した上記参照画素にそれぞれ対応する、背景画像における各画素の輝度値を背景画像保持手段８から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する。
その後、複数距離計算手段２４は、参照画素の輝度値によって形成される多次元輝度空間において、背景モデル作成手段２２が作成した前記照明変動背景モデルと、複数参照点選択手段２０が取得した上記複数の輝度値が表す点との間の距離を計算する（ステップＢ５）。
【００７２】
つづいて、物体判別手段２６は、複数距離計算手段２がこのように計算した距離をしきい値と比較して、距離がしきい値より大きい場合には、上記注目垂直画素列に対応づけて論理”１”を保持し、距離がしきい値より小さい場合には論理”０”を保持する（ステップＢ７）。
複数参照点選択手段２０、背景モデル作成手段２２、ならびに複数距離計算手段２４は、このような処理を、アドレスｙの値を１ずつ大きくしながら、画像の水平方向の全範囲において行う（ステップＢ９）。
その結果、図７の（Ｂ）に示したように、Ｗの範囲内の各注目垂直画素列に対して、物体判別手段２６は論理”１”を保持することになる。
【００７３】
その後、物体判別手段２６は、各注目水平画素列および各注目垂直画素列ごとに保持している論理値の論理積をとることで（ステップＢ１１）、検出結果としての矩形領域の画像を保持するためのメモリ（図示せず）において、各画素ごとに、その値が論理”１”か論理”０”かを決定する。
詳しくは、値を決定すべき画素に対応する位置の撮影画像の画素を含む注目水平画素列および注目垂直画素列に対して、共に論理”１”を保持している場合には、上記画素の値は論理”１”に設定する。一方、対応する撮影画像の画素を含む注目水平画素列および注目垂直画素列の少なくとも一方に対して論理”０”を保持している場合には、上記画素の値は論理”０”に設定する（ステップＢ１２、Ｂ１３、Ｂ１４）。その結果、検出結果を保持する上記メモリにおいて、図７の（Ｃ）に示したように、物体を含む可能性のある矩形領域Ｒ内の画素の値は論理”１”となり、それ以外の画素の値は論理”０”となる。
【００７４】
したがって、このメモリの内容を画像出力手段１５により表示装置に表示すれば、物体を含む矩形領域が画面に表示されることになる。また、矩形領域Ｒの４辺は物体１０８の外接矩形となっている。
そして、撮影画像の幅がＷｉｄｔｈ画素、高さがＨｅｉｇｈｔ画素であった場合、上記第１の実施の形態例では、各画素ごとに背景モデルの作成や距離の計算を行うので、このような演算処理を（Ｗｉｄｔｈ×Ｈｅｉｇｈ）回行う必要がある。
しかし、第２の実施の形態例では、各水平画素列ごとに上記演算処理を行い、また各垂直画素列ごとに上記演算処理を行えばよいので、演算処理の回数は全体で（Ｗｉｄｔｈ＋Ｈｅｉｇｈｔ）回となる。したがって、演算量は第１の実施の形態例の場合にくらべ大幅に低減し、高速に物体検出を行ったり、装置の低コスト化を図る場合に非常に有利である。
【００７５】
なお、物体検出装置２の場合と同様に、背景作成手段２８は、物体判別手段２６が物体を表す画素を含まないと判別した注目水平画素列および注目垂直画素列を構成する各画素の輝度値にもとづいて、対応する背景画像の画素の輝度値を更新して背景画像保持手段８に保持させる。これにより最新の背景画像を用いて精度の高い物体検出を行うことができる。
また、処理すべき画像がさらに存在する場合には、物体検出装置２の場合と同様、以上の手順が次の画像に対して繰り返される（ステップＢ１５）。
【００７６】
なお、この第２の実施の形態例では、注目水平画素列および注目垂直画素列において、各画素列のすべての画素を参照画素にするとしたが、数画素ごとに選択するなどの間引きを行って、さらに演算量の低減を図ることも可能である。
さらに、たとえば水平方向および垂直方向のいずれか一方でまず物体の存在可能領域を確定し、その上で、その領域内でのみ他方の方向における処理を行えば、物体が存在する可能性のない領域では演算処理を行わなくても済むため、さらに演算量を削減することが可能となる。
【００７７】
なお、ここでは物体検出装置２および物体検出装置１８はコンピュータにより構成されているとしたが、物体検出装置２および物体検出装置１８を専用のハードウェアにより構成することも無論可能である。また、本発明に係わる機能のうち、一部の機能をコンピュータに所定のプログラムをロードして実現し、他の機能は専用のハードウェアによって実現したり、さらには、コンピュータにすでに組み込まれているプログラムを組み合わせて用いることで物体検出装置２および物体検出装置１８を構成とすることも可能である。
【００７８】
また、コンピュータ読み取り可能な情報記録媒体とは、上述したＣＤ−ＲＯＭに限らず、フロッピー（登録商標）ディスク、光磁気ディスク、ＲＯＭなどの可搬媒体や、コンピュータに内蔵されるハードディスクなどの記憶装置を含んでいる。
さらに、コンピュータ読み取り可能な情報記録媒体は、インターネットなどの通信ネットワークや電話回線などの通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するものも含み、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものも含んでいる。
【００７９】
【発明の効果】
以上説明したように本発明の物体検出装置では、画像入力手段は、撮影画像の各画素の輝度値を取り込んで保持し、複数参照点選択手段は、前記画像の注目画素ごとに複数の参照画素を選択して、選択した複数の参照画素および前記注目画素の輝度値を画像入力手段から注目画素ごとに取得する。そして、背景モデル作成手段は、複数参照点選択手段が選択した注目画素および同画素に対応する前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を背景画像保持手段から取得して、背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを注目画素と、同画素に対応する各参照画素との組ごとに作成する。
【００８０】
その上で、距離計算手段は、輝度空間において、背景モデル作成手段が注目画素と参照画素との前記組ごとに作成した前記照明変動背景モデルと、複数参照点選択手段が注目画素ごとに取得した前記複数の参照画素の輝度値のそれぞれと注目画素の輝度値との組が表す点との間の距離をそれぞれ計算する。
そして、物体判別手段は、注目画素と各参照画素との組ごとに、距離計算手段が計算した前記距離にもとづいて前記注目画素が物体を表す画素か否かを判別し、前記組ごとの判別結果に対し論理演算を行って注目画素が物体を表す画素か否かを最終的に判別する。
【００８１】
このように、本発明の物体検出装置では、１つの注目画素に対して複数の参照画素を設定し、注目画素と各参照画素との組ごとに物体検出を行って、最終的に論理演算により注目画素が物体の画素か否かを判別するので、注目画素と参照画素とを離して設定しても、物体の位置を確実に特定できる。
したがって、各注目画素ごとに選択する参照画素を、注目画素に対し、物体の大きさ以上に離して設定することができ、その結果、注目画素と参照画素とを接近させて設定した場合のように物体の輪郭部のみが検出されるといったことがない。
また、上述した従来技術と同様、輝度空間における照明変動背景モデルと輝度点との距離にもとづいて注目画素が画像を表すか否かを判定するので、照明変動が大きく、かつ頻繁に発生する場合にも安定で、しかも高精度に物体を検出することができる。
【００８２】
また、本発明の物体検出装置では、画像入力手段は撮影画像の各画素の輝度値を取り込んで保持し、水平参照点選択手段は、撮影画像において水平方向に配列された複数の画素から成る注目水平画素列ごとに、注目水平画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を画像入力手段から取得する。また、垂直参照点選択手段は、撮影画像において垂直方向に配列された複数の画素から成る注目垂直画素列ごとに、注目垂直画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を画像入力手段から取得する。
そして、水平背景モデル作成手段は、水平参照点選択手段が選択した前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を背景画像保持手段から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成し、垂直背景モデル作成手段は、垂直参照点選択手段が選択した前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を背景画像保持手段から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する。
【００８３】
その後、水平距離計算手段は、多次元輝度空間において、水平背景モデル作成手段が作成した前記照明変動背景モデルと、水平参照点選択手段が取得した前記複数の輝度値が表す点との間の距離を計算し、垂直距離計算手段は、多次元輝度空間において、垂直背景モデル作成手段が作成した前記照明変動背景モデルと、垂直参照点選択手段が取得した前記複数の輝度値が表す点との間の距離を計算する。
そして、物体判別手段は、水平距離計算手段および垂直距離計算手段が計算した前記距離にもとづいて、注目水平画素列および注目垂直画素列に物体を表す画素が含まれているか否かを判別し、両画素列に係わる判別結果に対して論理演算を行って物体を含む矩形領域を特定する。
【００８４】
本発明の物体検出装置では、各水平画素列ごとに背景モデルの作成や、背景モデルと輝度点との間の距離の計算といった演算処理を行い、また各垂直画素列ごとに同様の演算処理を行えばよいので、演算処理の回数は全体で画像の水平方向の画素数に、画像の垂直方向の画素数を加えた値となる。
一方、各画素ごとに背景モデルの作成や、背景モデルと輝度点との間の距離の計算といった演算処理を行った場合には、全体の演算処理の回数は、画像の水平方向の画素数に、画像の垂直方向の画素数を乗じたものとなる。
したがって、本発明では、照明変動が大きく、かつ頻繁に発生する場合にも安定で、しかも高精度に物体の存在領域を検出できる上に、演算量が大幅に低減し、その結果、高速に物体検出を行ったり、装置の低コスト化を図る上で非常に有利となる。
【００８５】
本発明の物体検出方法および本発明のコンピュータ読み取り可能な情報記録媒体に記録された物体検出プログラムでは、画像入力ステップにおいて、撮影画像の各画素の輝度値を取り込んで第１の記憶手段に保持させ、複数参照点選択ステップでは、前記画像の注目画素ごとに複数の参照画素を選択して、選択した複数の参照画素および前記注目画素の輝度値を第１の記憶手段から注目画素ごとに取得する。そして、背景モデル作成ステップでは、複数参照点選択ステップで選択した注目画素および同画素に対応する前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を第２の記憶手段から取得して、背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを注目画素と、同画素に対応する各参照画素との組ごとに作成する。
【００８６】
その上で、距離計算ステップでは、輝度空間において、背景モデル作成ステップで注目画素と参照画素との前記組ごとに作成した前記照明変動背景モデルと、複数参照点選択ステップで注目画素ごとに取得した前記複数の参照画素の輝度値のそれぞれと注目画素の輝度値との組が表す点との間の距離をそれぞれ計算する。
そして、物体判別ステップでは、注目画素と各参照画素との組ごとに、距離計算ステップで計算した前記距離にもとづいて前記注目画素が物体を表す画素か否かを判別し、前記組ごとの判別結果に対し論理演算を行って注目画素が物体を表す画素か否かを最終的に判別する。
【００８７】
このように本発明では、１つの注目画素に対して複数の参照画素を設定し、注目画素と各参照画素との組ごとに物体検出を行って、最終的に論理演算により注目画素が物体の画素か否かを判別するので、注目画素と参照画素とを離して設定しても、物体の位置を確実に特定できる。
したがって、各注目画素ごとに選択する参照画素を、注目画素に対し、物体の大きさ以上に離して設定することができ、その結果、注目画素と参照画素とを接近させて設定した場合のように物体の輪郭部のみが検出されるといったことがない。
また、上述した従来技術と同様、輝度空間における照明変動背景モデルと輝度点との距離にもとづいて注目画素が画像を表すか否かを判定するので、照明変動が大きく、かつ頻繁に発生する場合にも安定で、しかも高精度に物体を検出することができる。
【００８８】
また、本発明の物体検出方法および本発明のコンピュータ読み取り可能な情報記録媒体に記録された物体検出プログラムでは、画像入力ステップにおいて撮影画像の各画素の輝度値を取り込んで第１の記憶手段に保持させ、水平参照点選択ステップでは、撮影画像において水平方向に配列された複数の画素から成る注目水平画素列ごとに、注目水平画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を第１の記憶手段から取得する。また、垂直参照点選択ステップでは、撮影画像において垂直方向に配列された複数の画素から成る注目垂直画素列ごとに、注目垂直画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を第１の記憶手段から取得する。
そして、水平背景モデル作成ステップでは、水平参照点選択ステップで選択した前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を第１の記憶手段から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成し、垂直背景モデル作成ステップでは、垂直参照点選択ステップで選択した前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を第２の記憶手段から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する。
【００８９】
その後、水平距離計算ステップでは、多次元輝度空間において、水平背景モデル作成ステップで作成した前記照明変動背景モデルと、水平参照点選択ステップで取得した前記複数の輝度値が表す点との間の距離を計算し、垂直距離計算ステップでは、多次元輝度空間において、垂直背景モデル作成ステップで作成した前記照明変動背景モデルと、垂直参照点選択ステップで取得した前記複数の輝度値が表す点との間の距離を計算する。
そして、物体判別ステップでは、水平距離計算ステップおよび垂直距離計算ステップで計算した前記距離にもとづいて、注目水平画素列および注目垂直画素列に物体を表す画素が含まれているか否かを判別し、両画素列に係わる判別結果に対して論理演算を行って物体を含む矩形領域を特定する。
【００９０】
このように、本発明では、各水平画素列ごとに背景モデルの作成や、背景モデルと輝度点との間の距離の計算といった演算処理を行い、また各垂直画素列ごとに同様の演算処理を行えばよいので、演算処理の回数は全体で画像の水平方向の画素数に、画像の垂直方向の画素数を加えた値となる。
一方、各画素ごとに背景モデルの作成や、背景モデルと輝度点との間の距離の計算といった演算処理を行った場合には、全体の演算処理の回数は、画像の水平方向の画素数に、画像の垂直方向の画素数を乗じたものとなる。
したがて、本発明では、照明変動が大きく、かつ頻繁に発生する場合にも安定で、しかも高精度に物体の存在領域を検出できる上に、演算量が大幅に低減し、その結果、高速に物体検出を行ったり、装置の低コスト化を図る上で非常に有利となる。
【図面の簡単な説明】
【図１】第１の実施の形態例の物体検出装置を示すブロック図である。
【図２】図１の物体検出装置の動作を示すフローチャートである。
【図３】（Ａ）は画像面における注目点と参照点との位置関係を示す説明図、（Ｂ）は物体が撮影領域に侵入した場合の模式図、（Ｃ）は検出結果を示す模式図、（Ｄ）は画像面における注目点と参照点との位置関係を示す他の説明図、（Ｅ）は検出結果を示す他の模式図、（Ｆ）は最終的な検出結果を示す模式図である。
【図４】（Ａ）は、道路を黒い車が走っている原画像を示す模式図、（Ｂ）は従来技術による車の検出結果を示す説明図、（Ｃ）は本実施の形態例による車の検出結果を示す説明図である。
【図５】第２の実施の形態例の物体検出装置を示すブロック図である。
【図６】図５の物体検出装置の動作を示すフローチャートである。
【図７】第２の実施の形態例の動作を説明するための図であって、（Ａ）は垂直方向における物体の存在可能領域の検出を表す説明図、（Ｂ）は水平方向における物体の存在可能領域の検出を表す説明図、（Ｃ）は検出結果を示す説明図である。
【図８】背景画像を表す説明図である。
【図９】注目点および参照点の輝度値により形成される２次元の輝度空間を示す説明図である。
【図１０】監視カメラの撮影領域に物体が侵入した場合の撮影画像を示す説明図である。
【図１１】（Ａ）は画像面を示す説明図、（Ｂ）は物体が撮影領域に侵入した場合の模式図、（Ｃ）は検出結果を示す模式図である。
【符号の説明】
２……物体検出装置、４……画像入力手段、６……複数参照点選択手段、８……背景画像保持手段、１０……背景モデル作成手段、１２……距離計算手段、１４……物体判別手段、１６……背景作成手段、１８……物体検出装置、２０……複数参照点選択手段、２２……背景モデル作成手段、２４……距離計算手段、２６……物体判別手段、２８……背景作成手段、１０２……白ドット、１０４……直線、１０６……白丸ドット、１０８……物体、１１０……黒ドット。
【０００１】
【発明の属する技術分野】
本発明は、監視カメラなどにより撮影した画像に含まれる物体を検出する物体検出プログラムを記録したコンピュータ読み取り可能な情報記録媒体に関するものである。
【０００２】
【従来の技術】
監視カメラなどで撮影した動画像から物体を検出する場合、日照条件などにより背景の明るさが変動しても確実に物体を検出できることが重要である。そこで、本発明の発明者らは照明変動が大きく、かつ頻繁に発生する場合でも、その影響を受けにくい物体検出技術を考案し、すでにその特許出願を行っている（特願平１１−０７８６４１号）。
【０００３】
この物体検出技術は、あらかじめ作成した背景画像と、現時点の画像とにおいて、注目点とは異なる位置に参照点を設け、その参照点の輝度値変化の相関情報から物体を判別するというものである。以下、原理について図面を参照して詳しく説明する。
図８は背景画像を表す説明図であり、水平方向にＸ軸、垂直方向にＹ軸がそれぞれ設定されている。ただし、必要以上に複雑になることを避けるため、背景画像はテクスチャーがなく場所によらず一定の明るさであるとする。図８において、ＰＡは注目点、ＰＢはその近傍に設けた参照点である。そして、注目点ＰＡにおける輝度値をＩＡ、参照点ＰＢにおける輝度値をＩＢとする。
【０００４】
図９は注目点および参照点の輝度値により形成される２次元の輝度空間を示す説明図である。この輝度空間には２次元の座標系が設定され、その横軸は上記注目点ＰＡの輝度値ＩＡを表し、縦軸は上記参照点ＰＢの輝度値ＩＢを表している。
ここで、注目点ＰＡの輝度値がＩＡ１、参照点ＰＢの輝度値がＩＢ１であったとすると、これらの輝度値の組に対応する、上記輝度空間上の点、すなわち輝度点（ＩＡ１、ＩＢ１）は、たとえば図９中の白ドット１０２の位置となる。
そして、背景の明るさが変化し、注目点ＰＡの輝度値がたとえば小さくなったとすると、参照点ＰＢの輝度値も同じ割合で小さくなる。また、注目点ＰＡの輝度値が０なら、参照点ＰＢの輝度値も０となる。したがって、注目点ＰＡおよび参照点ＰＢの輝度ＩＡ、ＩＢの組に対応する輝度空間上の点は、背景の明るさが変化したとき、図９に示した直線１０４に沿って移動する。ここではこのような直線のことを照明変動背景モデルと呼ぶ。
【０００５】
一方、たとえば注目点ＰＡの位置に物体が侵入したとし、注目点ＰＡの輝度値がＩＡ２に下がったとすると、この場合の輝度点（ＩＡ２、ＩＢ１）はたとえば白丸ドット１０６の位置となる。したがって、このような輝度点と直線１０４との距離１０７を調べ、輝度点が直線１０４から離れている場合には、注目点の位置に物体が侵入していると判定することができる。
そして、照明変動が生じ、たとえば参照点ＰＢの輝度値が大きくなったとすると、通常、物体上の注目点ＰＡの輝度値も同様に大きくなるため、輝度点（ＩＡ２、ＩＢ１）はおおむね直線１０４と平行に右上方向（矢印Ａ）に移動し、直線１０４との間の距離はあまり変化しない。したがって、照明変動が生じても物体を確実に検出することができる。
【０００６】
【発明が解決しようとする課題】
しかし、上記従来技術では、参照点を注目点に接近して配置した場合には物体の輪郭部のみが抽出されて、抽出した物体画像が中抜けの状態となり、この点で改良の余地があった。
以下、図１０を参照して具体的に説明する。図１０は、たとえば監視カメラの撮影領域に物体が侵入した場合の撮影画像を示す説明図である。背景は図８の場合と同様、場所によらず一定の明るさであるとする。
この画像に対して、図１０に示したように、注目点ＰＡを設定し、近接して参照点ＰＢを設定したとすると、図１０の状態ではこれらの点はいずれも物体１０８上に在り、両点の輝度はともに同じ程度に低下するため、輝度空間において注目点ＰＡおよび参照点ＰＢが対応する輝度点（ＩＡ、ＩＢ）は、図９に示した直線１０４上の黒ドット１１０の位置となる。そして、黒ドット１１０と直線１０４との間の距離は零であるから、この場合、注目点ＰＡは、物体上にはないと判定することになり、注目点ＰＡが物体１０８上に在るにも係わらず物体を検出することができない。
【０００７】
一方、注目点ＰＡと参照点ＰＢを同様の間隔で設定した場合でも、物体１０８の縁部で、たとえば注目点ＰＡが物体１０８上となり、参照点ＰＢが背景上となる位置に各点を設定した場合には、両点に輝度差が生じ、図９において対応する輝度点は直線１０４から離れた位置となるため、物体１０８を検出することができる。
したがって、特願平１１−０７８６４１号の技術では、注目点と参照線とを近接して配置した場合には、物体の縁部、すなわち輪郭部のみが検出されることになる。
【０００８】
そこで、物体の輪郭部だけでなく全体を検出するためには、参照点を注目点から充分に離して配置する必要がある。
また、特願平１１−０７８６４１号の技術では、参照点はかならず、物体が侵入する可能性のある領域の外に設定する必要がある。これについて図１１を参照して説明する。図１１R>１の（Ａ）は画像面を示す説明図、（Ｂ）は物体が撮影領域に侵入した場合の模式図、（Ｃ）は検出結果を示す模式図である。
【０００９】
図１１の（Ａ）に示したように、画像上に注目点ＰＡと注目点ＰＢとを離して設定した場合、図１１の（Ｂ）に示したように、物体１０８が注目点ＰＡの位置に侵入すると、注目点ＰＡと参照点ＰＢとの間で輝度差が生じて物体１０８が検出される。しかし、物体１０８が参照点ＰＢの位置に侵入した場合にも同様の輝度差が生じるため、この場合にも物体１０８は検出されることになる。
したがって、注目点ＰＡに物体１０８が侵入して検出された場合、物体１０８が注目点ＰＡの位置に存在するのか、あるいは参照点ＰＢの位置に存在するのかを特定することができず、その結果、注目点ＰＡの位置のみに物体１０８が存在するにもかかわらず、図１１の（Ｃ）に示したように、両方の位置に物体１０８が存在するように物体像１０９が生成されてしまう。
【００１０】
そのため、このような現象を回避すべく、参照点はかならず、物体が侵入する可能性のある領域の外に設定しなければならない。
本発明はこのような欠点を除去するためになされたもので、その目的は、照明変動が大きく、かつ頻繁に発生する場合にも安定で、しかも高精度に物体を検出できるとともに、参照点を任意の位置に設定して確実に物体を検出することが可能な物体検出装置、物体検出方法、ならびに物体検出プログラムを記録したコンピュータ読み取り可能な情報記録媒体を提供することにある。
【００１１】
【課題を解決するための手段】
本発明は、上記目的を達成するため、撮影画像を用いて物体を検出する物体検出装置であって、前記撮影画像の各画素の輝度値を取り込んで保持する画像入力手段と、前記撮影画像の注目画素ごとに複数の参照画素を選択して、選択した複数の参照画素および前記注目画素の輝度値を前記画像入力手段から前記注目画素ごとに取得する複数参照点選択手段と、前記撮影画像の背景を成す背景画像の各画素の輝度値を保持する背景画像保持手段と、前記複数参照点選択手段が選択した前記注目画素および同画素に対応する前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を前記背景画像保持手段から取得して、背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを前記注目画素と、同画素に対応する各参照画素との組ごとに作成する背景モデル作成手段と、輝度空間において、前記背景モデル作成手段が前記注目画素と参照画素との前記組ごとに作成した前記照明変動背景モデルと、前記複数参照点選択手段が前記注目画素ごとに取得した前記複数の参照画素の輝度値のそれぞれと前記注目画素の輝度値との組が表す点との間の距離をそれぞれ計算する距離計算手段と、前記注目画素と各参照画素との組ごとに、前記距離計算手段が計算した前記距離にもとづいて前記注目画素が物体を表す画素か否かを判別し、前記組ごとの判別結果に対し論理演算を行って前記注目画素が物体を表す画素か否かを最終的に判別する物体判別手段とを備えたことを特徴とする。
【００１２】
本発明の物体検出装置では、画像入力手段は、撮影画像の各画素の輝度値を取り込んで保持し、複数参照点選択手段は、前記画像の注目画素ごとに複数の参照画素を選択して、選択した複数の参照画素および前記注目画素の輝度値を画像入力手段から注目画素ごとに取得する。そして、背景モデル作成手段は、複数参照点選択手段が選択した注目画素および同画素に対応する前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を背景画像保持手段から取得して、背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを注目画素と、同画素に対応する各参照画素との組ごとに作成する。
【００１３】
その上で、距離計算手段は、輝度空間において、背景モデル作成手段が注目画素と参照画素との前記組ごとに作成した前記照明変動背景モデルと、複数参照点選択手段が注目画素ごとに取得した前記複数の参照画素の輝度値のそれぞれと注目画素の輝度値との組が表す点との間の距離をそれぞれ計算する。
そして、物体判別手段は、注目画素と各参照画素との組ごとに、距離計算手段が計算した前記距離にもとづいて前記注目画素が物体を表す画素か否かを判別し、前記組ごとの判別結果に対し論理演算を行って注目画素が物体を表す画素か否かを最終的に判別する。
【００１４】
また、本発明は、撮影画像を用いて物体を検出する物体検出装置であって、前記撮影画像の各画素の輝度値を取り込んで保持する画像入力手段と、前記撮影画像において水平方向に配列された複数の画素から成る注目水平画素列ごとに、前記注目水平画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を前記画像入力手段から取得する水平参照点選択手段と、前記撮影画像において垂直方向に配列された複数の画素から成る注目垂直画素列ごとに、前記注目垂直画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を前記画像入力手段から取得する垂直参照点選択手段と、前記撮影画像の背景を成す画像の各画素の輝度値を保持する背景画像保持手段と、前記水平参照点選択手段が選択した前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を前記背景画像保持手段から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する水平背景モデル作成手段と、前記垂直参照点選択手段が選択した前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を前記背景画像保持手段から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する垂直背景モデル作成手段と、多次元輝度空間において、前記水平背景モデル作成手段が作成した前記照明変動背景モデルと、前記水平参照点選択手段が取得した前記複数の輝度値が表す点との間の距離を計算する水平距離計算手段と、多次元輝度空間において、前記垂直背景モデル作成手段が作成した前記照明変動背景モデルと、前記垂直参照点選択手段が取得した前記複数の輝度値が表す点との間の距離を計算する垂直距離計算手段と、前記水平距離計算手段および前記垂直距離計算手段が計算した前記距離にもとづいて、前記注目水平画素列および前記注目垂直画素列に物体を表す画素が含まれているか否かを判別し、両画素列に係わる判別結果に対して論理演算を行って物体を含む矩形領域を特定する物体判別手段とを備えたことを特徴とする。
【００１５】
本発明の物体検出装置では、画像入力手段は撮影画像の各画素の輝度値を取り込んで保持し、水平参照点選択手段は、撮影画像において水平方向に配列された複数の画素から成る注目水平画素列ごとに、注目水平画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を画像入力手段から取得する。また、垂直参照点選択手段は、撮影画像において垂直方向に配列された複数の画素から成る注目垂直画素列ごとに、注目垂直画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を画像入力手段から取得する。
そして、水平背景モデル作成手段は、水平参照点選択手段が選択した前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を背景画像保持手段から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成し、垂直背景モデル作成手段は、垂直参照点選択手段が選択した前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を背景画像保持手段から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する。
【００１６】
その後、水平距離計算手段は、多次元輝度空間において、水平背景モデル作成手段が作成した前記照明変動背景モデルと、水平参照点選択手段が取得した前記複数の輝度値が表す点との間の距離を計算し、垂直距離計算手段は、多次元輝度空間において、垂直背景モデル作成手段が作成した前記照明変動背景モデルと、垂直参照点選択手段が取得した前記複数の輝度値が表す点との間の距離を計算する。
そして、物体判別手段は、水平距離計算手段および垂直距離計算手段が計算した前記距離にもとづいて、注目水平画素列および注目垂直画素列に物体を表す画素が含まれているか否かを判別し、両画素列に係わる判別結果に対して論理演算を行って物体を含む矩形領域を特定する。
【００１７】
また、本発明は、撮影画像を用いて物体を検出する物体検出方法であって、前記撮影画像の各画素の輝度値を取り込んで第１の記憶手段に保持させる画像入力ステップと、前記撮影画像の注目画素ごとに複数の参照画素を選択して、選択した複数の参照画素および前記注目画素の輝度値を前記第１の記憶手段から前記注目画素ごとに取得する複数参照点選択ステップと、前記撮影画像の背景を成す背景画像の各画素の輝度値を第２の記憶手段に保持させる背景画像保持ステップと、前記複数参照点選択ステップで選択した前記注目画素および同画素に対応する前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を前記第２の記憶手段から取得して、背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを前記注目画素と、同画素に対応する各参照画素との組ごとに作成する背景モデル作成ステップと、輝度空間において、前記背景モデル作成ステップで前記注目画素と参照画素との前記組ごとに作成した前記照明変動背景モデルと、前記複数参照点選択ステップで前記注目画素ごとに取得した前記複数の参照画素の輝度値のそれぞれと前記注目画素の輝度値との組が表す点との間の距離をそれぞれ計算する距離計算ステップと、前記注目画素と各参照画素との組ごとに、前記距離計算ステップで計算した前記距離にもとづいて前記注目画素が物体を表す画素か否かを判別し、前記組ごとの判別結果に対し論理演算を行って前記注目画素が物体を表す画素か否かを最終的に判別する物体判別ステップとを備えたことを特徴とする。
【００１８】
また、本発明は、撮影画像を用いて物体を検出する物体検出プログラムを記録したコンピュータ読み取り可能な情報記録媒体であって、前記撮影画像の各画素の輝度値を取り込んで第１の記憶手段に保持させる画像入力ステップと、前記撮影画像の注目画素ごとに複数の参照画素を選択して、選択した複数の参照画素および前記注目画素の輝度値を前記第１の記憶手段から前記注目画素ごとに取得する複数参照点選択ステップと、前記撮影画像の背景を成す背景画像の各画素の輝度値を第２の記憶手段に保持させる背景画像保持ステップと、前記複数参照点選択ステップで選択した前記注目画素および同画素に対応する前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を前記第２の記憶手段から取得して、背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを前記注目画素と、同画素に対応する各参照画素との組ごとに作成する背景モデル作成ステップと、輝度空間において、前記背景モデル作成ステップで前記注目画素と参照画素との前記組ごとに作成した前記照明変動背景モデルと、前記複数参照点選択ステップで前記注目画素ごとに取得した前記複数の参照画素の輝度値のそれぞれと前記注目画素の輝度値との組が表す点との間の距離をそれぞれ計算する距離計算ステップと、前記注目画素と各参照画素との組ごとに、前記距離計算ステップで計算した前記距離にもとづいて前記注目画素が物体を表す画素か否かを判別し、前記組ごとの判別結果に対し論理演算を行って前記注目画素が物体を表す画素か否かを最終的に判別する物体判別ステップとを含むことを特徴とする。
【００１９】
本発明の物体検出方法および本発明のコンピュータ読み取り可能な情報記録媒体に記録された物体検出プログラムでは、画像入力ステップにおいて、撮影画像の各画素の輝度値を取り込んで第１の記憶手段に保持させ、複数参照点選択ステップでは、前記画像の注目画素ごとに複数の参照画素を選択して、選択した複数の参照画素および前記注目画素の輝度値を第１の記憶手段から注目画素ごとに取得する。そして、背景モデル作成ステップでは、複数参照点選択ステップで選択した注目画素および同画素に対応する前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を第２の記憶手段から取得して、背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを注目画素と、同画素に対応する各参照画素との組ごとに作成する。
【００２０】
その上で、距離計算ステップでは、輝度空間において、背景モデル作成ステップで注目画素と参照画素との前記組ごとに作成した前記照明変動背景モデルと、複数参照点選択ステップで注目画素ごとに取得した前記複数の参照画素の輝度値のそれぞれと注目画素の輝度値との組が表す点との間の距離をそれぞれ計算する。
そして、物体判別ステップでは、注目画素と各参照画素との組ごとに、距離計算ステップで計算した前記距離にもとづいて前記注目画素が物体を表す画素か否かを判別し、前記組ごとの判別結果に対し論理演算を行って注目画素が物体を表す画素か否かを最終的に判別する。
【００２１】
また、本発明は、撮影画像を用いて物体を検出する物体検出プログラムを記録したコンピュータ読み取り可能な情報記録媒体であって、前記撮影画像の各画素の輝度値を取り込んで第１の記憶手段に保持させる画像入力ステップと、前記撮影画像において水平方向に配列された複数の画素から成る注目水平画素列ごとに、前記注目水平画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を前記第１の記憶手段から取得する水平参照点選択ステップと、前記撮影画像において垂直方向に配列された複数の画素から成る注目垂直画素列ごとに、前記注目垂直画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を前記第１の記憶手段から取得する垂直参照点選択ステップと、前記撮影画像の背景を成す画像の各画素の輝度値を第２の記憶手段に保持させる背景画像保持ステップと、前記水平参照点選択ステップで選択した前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を前記第２の記憶手段から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する水平背景モデル作成ステップと、前記垂直参照点選択ステップで選択した前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を前記第２の記憶手段から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する垂直背景モデル作成ステップと、多次元輝度空間において、前記水平背景モデル作成ステップで作成した前記照明変動背景モデルと、前記水平参照点選択ステップで取得した前記複数の輝度値が表す点との間の距離を計算する水平距離計算ステップと、多次元輝度空間において、前記垂直背景モデル作成ステップで作成した前記照明変動背景モデルと、前記垂直参照点選択ステップで取得した前記複数の輝度値が表す点との間の距離を計算する垂直距離計算ステップと、前記水平距離計算ステップおよび前記垂直距離計算ステップで計算した前記距離にもとづいて、前記注目水平画素列および前記注目垂直画素列に物体を表す画素が含まれているか否かを判別し、両画素列に係わる判別結果に対して論理演算を行って物体を含む矩形領域を特定する物体判別ステップとを含むことを特徴とする。
【００２２】
また、本発明は、撮影画像を用いて物体を検出する物体検出方法であって、前記撮影画像の各画素の輝度値を取り込んで第１の記憶手段に保持させる画像入力ステップと、前記撮影画像において水平方向に配列された複数の画素から成る注目水平画素列ごとに、前記注目水平画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を前記第１の記憶手段から取得する水平参照点選択ステップと、前記撮影画像において垂直方向に配列された複数の画素から成る注目垂直画素列ごとに、前記注目垂直画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を前記第１の記憶手段から取得する垂直参照点選択ステップと、前記撮影画像の背景を成す画像の各画素の輝度値を第２の記憶手段に保持させる背景画像保持ステップと、前記水平参照点選択ステップで選択した前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を前記第２の記憶手段から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する水平背景モデル作成ステップと、前記垂直参照点選択ステップで選択した前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を前記第２の記憶手段から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する垂直背景モデル作成ステップと、多次元輝度空間において、前記水平背景モデル作成ステップで作成した前記照明変動背景モデルと、前記水平参照点選択ステップで取得した前記複数の輝度値が表す点との間の距離を計算する水平距離計算ステップと、多次元輝度空間において、前記垂直背景モデル作成ステップで作成した前記照明変動背景モデルと、前記垂直参照点選択ステップで取得した前記複数の輝度値が表す点との間の距離を計算する垂直距離計算ステップと、前記水平距離計算ステップおよび前記垂直距離計算ステップで計算した前記距離にもとづいて、前記注目水平画素列および前記注目垂直画素列に物体を表す画素が含まれているか否かを判別し、両画素列に係わる判別結果に対して論理演算を行って物体を含む矩形領域を特定する物体判別ステップとを備えたことを特徴とする。
【００２３】
本発明の物体検出方法および本発明のコンピュータ読み取り可能な情報記録媒体に記録された物体検出プログラムでは、画像入力ステップにおいて撮影画像の各画素の輝度値を取り込んで第１の記憶手段に保持させ、水平参照点選択ステップでは、撮影画像において水平方向に配列された複数の画素から成る注目水平画素列ごとに、注目水平画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を第１の記憶手段から取得する。また、垂直参照点選択ステップでは、撮影画像において垂直方向に配列された複数の画素から成る注目垂直画素列ごとに、注目垂直画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を第１の記憶手段から取得する。
そして、水平背景モデル作成ステップでは、水平参照点選択ステップで選択した前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を第１の記憶手段から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成し、垂直背景モデル作成ステップでは、垂直参照点選択ステップで選択した前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を第２の記憶手段から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する。
【００２４】
その後、水平距離計算ステップでは、多次元輝度空間において、水平背景モデル作成ステップで作成した前記照明変動背景モデルと、水平参照点選択ステップで取得した前記複数の輝度値が表す点との間の距離を計算し、垂直距離計算ステップでは、多次元輝度空間において、垂直背景モデル作成ステップで作成した前記照明変動背景モデルと、垂直参照点選択ステップで取得した前記複数の輝度値が表す点との間の距離を計算する。
そして、物体判別ステップでは、水平距離計算ステップおよび垂直距離計算ステップで計算した前記距離にもとづいて、注目水平画素列および注目垂直画素列に物体を表す画素が含まれているか否かを判別し、両画素列に係わる判別結果に対して論理演算を行って物体を含む矩形領域を特定する。
【００２５】
【発明の実施の形態】
次に本発明の実施の形態例について図面を参照して説明する。
まず、第１の実施の形態例における物体検出の原理について説明する。図３の（Ａ）は画像面における注目点と参照点との位置関係を示す説明図、（Ｂ）は物体が撮影領域に侵入した場合の模式図、（Ｃ）は検出結果を示す模式図、（Ｄ）は画像面における注目点と参照点との位置関係を示す他の説明図、（Ｅ）は検出結果を示す他の模式図、（Ｆ）は最終的な検出結果を示す模式図である。
【００２６】
図３の（Ａ）に示したように、画像上に注目点ＰＡと注目点ＰＢとを離して設定した場合、図３の（Ｂ）に示したように、物体１０８が注目点ＰＡの位置に侵入すると、注目点ＰＡと参照点ＰＢとの間で輝度差が生じるので、照明変動背景モデルを用いた従来と同じ手法で検出を行って物体１０８を検出する。そして、検出結果は、図３の（Ｃ）に示したように、従来と同様、注目点ＰＡと参照点ＰＢの両方に物体１０８が存在する可能性があることを示すものとなる。
【００２７】
一方、本実施の形態例では、図３の（Ｄ）に示したように、参照点ＰＢとは異なる参照点ＰＣをさらに設定する。そして、注目点ＰＡと参照点ＰＣとの組に関しても従来と同様の手法で物体の検出を行う。その結果、上述のように物体１０８が注目点ＰＡに侵入した場合、検出結果では図３の（Ｅ）に示したように、注目点ＰＡと参照点ＰＣの両方の位置に物体１０８が存在する可能性があることを示すものとなる。
【００２８】
本実施の形態例では、さらに、この２つの検出結果、すなわち図３の（Ｃ）と（Ｅ）の論理積をとる。したがって、図３の（Ｆ）に示したように、図３の（Ｃ）と（Ｅ）の両方に共通して存在する注目点ＰＡの位置の物体像１１１のみが残り、注目点ＰＡに侵入した物体１０８がその位置を特定して確実に検出される。そして、本実施の形態例では注目点と参照点とをある程度離して配置することができることから、検出された物体の画像は輪郭部だけでなく内側の領域も描画された画像となる。
【００２９】
なお、一般に、１つの注目点に対し、注目点を含むＮ個（Ｎは３以上の整数）の異なる参照点を設定した場合、次式により表される条件を満たすことで物体の存在領域を特定することができる。
【００３０】
【数１】
ｄｉｓｔ（Ｐｉ、Ｐｊ）＞ＯｂｊｅｃｔＳｉｚｅ
だだし、１≦ｉ、ｊ≦Ｎ（ｉ≠ｊ）であり、ｄｉｓｔ（Ａ、Ｂ）は点Ａ、Ｂ間の距離を表す。また、ＯｂｊｅｃｔＳｉｚｅは画像上での物体の大きさを表している。
【００３１】
次に、本発明の第１の実施形態について図面を参照して詳細に説明する。
図１は第１の実施の形態例の物体検出装置を示すブロック図、図２は図１の物体検出装置の動作を示すフローチャートである。以下では、これらの図面を参照して本発明の物体検出装置の一例について説明すると同時に本発明の物体検出方法および物体検出プログラムを記録したコンピュータ読み取り可能な情報記録媒体の実施の形態例について説明する。
【００３２】
図１に示した物体検出装置２は、画像入力手段４、複数参照点選択手段６、背景画像保持手段８、背景モデル作成手段１０、距離計算手段１２、物体判別手段１４、ならびに背景作成手段１６を含み、たとえば監視カメラにより撮影した画像から物体を検出する構成となっている。
物体検出装置２は具体的には、一例として、監視カメラやビデオテープレコーダとのインターフェースなども備え、所定のオペレーティングシステムが組み込まれたコンピュータにより構成されており、コンピュータを構成する入力装置に、本発明の物体検出プログラムを記録したコンピュータ読み取り可能な情報記録媒体としてのたとえばＣＤ−ＲＯＭを装着してＣＤ−ＲＯＭからプログラムデータを読み込み、コンピュータのメモリにロードして、コンピュータのＣＰＵを同プログラムデータにもとづいて動作させることで実現されている。
【００３３】
画像入力手段４は、監視カメラにより撮影された画像、あるいは撮影後、ビデオテープレコーダに録画された画像を、監視カメラやＶＴＲなどから取り込んで保持する。より詳しくは、画像入力手段４は、撮影画像の各画素の輝度値を取り込んで保持する。なお、画像入力手段４が取り込む画像は動画像であっても、静止画像であってもよい。また、画像入力手段４は、自身が画像を撮像するカメラを備えた構成であってもよい。
【００３４】
複数参照点選択手段６は、前記画像の注目画素（注目点の位置の画素）ごとに、あらかじめ決められた複数の参照画素（参照点の位置の画素）を選択して、選択した複数の参照画素および注目画素の各輝度値を画像入力手段４から注目画素ごとに取得する。なお、１つの注目画素に対応する上記複数の参照画素は参照画素群ともいう。
背景画像保持手段８は、撮影領域の背景画像の各画素の輝度値を保持している。背景画像保持手段８が保持する輝度値は、本実施の形態例では、後に説明するように背景作成手段１６により適宜更新される。
背景モデル作成手段１０は、複数参照点選択手段６が選択した注目画素および同画素に対応する前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を背景画像保持手段８から取得して、背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを注目画素と、同画素に対応する各参照画素との組ごとに作成する。
【００３５】
そして、距離計算手段１２は、輝度空間において、背景モデル作成手段１０が注目画素と参照画素との前記組ごとに作成した前記照明変動背景モデルと、複数参照点選択手段６が注目画素ごとに取得した複数の参照画素の輝度値のそれぞれと注目画素の輝度値との組が表す点との間の距離をそれぞれ計算する。
【００３６】
物体判別手段１４は、注目画素と各参照画素との組ごとに、距離計算手段１２が計算した前記距離にもとづいて前記注目画素が物体を表す画素か否かを判別し、注目画素と各参照画素との組ごとの判別結果に対し論理演算を行って注目画素が物体を表す画素か否かを最終的に判別する。
そして、画像出力手段１５は、物体判別手段１４が出力する判別結果の画像データを不図示の表示装置などへ出力する。
また、背景作成手段１６は、物体判別手段１４が物体を表す画素ではないと判別した注目画素と、同画素に対応する前記複数の参照画素のそれぞれに対応する背景画像の画素の輝度値を、注目画素および参照画素の輝度値にもとづき更新して背景画像保持手段８に保持させる。
【００３７】
次に、このように構成された第１の実施の形態例の動作について説明する。
図２に示したように、まず、物体検出装置２の画像入力手段４は、監視カメラなどによって撮像された画像を読み込み、画像を構成する各画素ごとの輝度値を画像入力手段４内に設けられた不図示のメモリに保持する（ステップＡ１）。
画像はマトリクス状に配列された多数の画素により構成され、画像入力手段４はこのような画素の輝度値を２次元配列のデータとして保持する。また、各画素は上記メモリのｘアドレスとｙアドレスを指定することで特定可能となっており、ｘアドレスはマトリクスの列番号に対応し、ｙアドレスはマトリクスの行番号に対応している。
【００３８】
そして、複数参照点選択手段６は、上記画像の注目画素ごとに、あらかじめ決められた複数の参照画素を選択して、選択した複数の参照画素および注目画素の各輝度値を画像入力手段４の上記メモリから注目画素ごとに取得する（ステップＡ２）。
上記参照画素はそれぞれ、検出すべき侵入物体の大きさよりも大きい距離だけ注目画素から離れた位置に設定されている。
たとえば、侵入物体の画面上での大きさが１００画素未満であるとし、現在の注目画素点ＰＡと、この画素とは異なるもう１つの画素点ＰＢを参照点とする場合、図３の（Ａ）に示したように参照点ＰＢは、注目点ＰＡからｘ軸方向に１００画素離れた位置に設定する。このとき、注目点ＰＡにおける輝度値はＩ（ｘ、ｙ）、参照点ＰＢにおける輝度値はＩ（ｘ＋１００、ｙ）のように表すことができる。
同様に、もう１つの参照点ＰＣを設定する場合、図３の（Ｄ）に示したように、参照点ＰＣは注目点ＰＡからｘ軸の反対方向に１００画素離れた位置に設定する。参照点ＰＣにおける輝度値はＩ（ｘ−１００、ｙ）のように表すことができる。
【００３９】
本実施の形態例では、複数参照点選択手段６は、注目点ＰＡに対し注目点以外に２つの参照点ＰＢ、ＰＣを設定するものとし、したがって、注目点および各参照点にそれぞれ対応する１つの注目画素と２つの参照画素を設定するものとする。次に、複数参照点選択手段６は、ステップＡ２で得た注目画素および参照画素の各輝度値を背景作成手段１６に供給する（ステップＡ３）。この段階では、背景画像保持手段８を構成するメモリには、背景画像を構成する各画素の輝度値はまだ格納されていないため、背景作成手段１６は、複数参照点選択手段６から供給された各輝度値を、それぞれ対応する背景画像の画素の輝度値として、背景画像保持手段８に保持させる。
【００４０】
次に、背景モデル作成手段１０は、背景画像保持手段８が保持している背景画像の各画素の輝度値を用いて照明変動背景モデルを作成する。
たとえば注目画素が図３における注目点ＰＡに対応するｐａであり、参照画素が参照点ＰＢ、ＰＣに対応するｐｂ、ｐｃであったとすると、背景モデル作成手段１０はまず、注目画素ｐａおよび参照画素ｐｂに対応する、背景画像における２つの画素の輝度値を背景画像保持手段８から取得する。
【００４１】
そして、これら２つの輝度値を用いて、注目画素ｐａと参照画素ｐｂとの組に対応するものとして、背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する。具体的には、図９に示したような、注目画素ｐａに対応する背景画素の輝度値を横軸、参照画素ｐｂに対応する背景画素の輝度値を縦軸とする輝度空間において、注目画素ｐａと参照画素ｐｂに対応する背景画素の輝度値の組が表す点と、原点を通過する直線を求め、その直線を上記照明変動背景モデルとする。
背景モデル作成手段１０は、注目画素ｐａと参照画素ｐｃとの組に対しても同様に照明変動背景モデルを作成する。
【００４２】
なお、注目画素ごとに参照する画素の数が注目画素も含めてＮ個であれば、１つの注目画素ごとにＮ個の背景画像の画素の輝度値を用いることになり、したがって注目画素ごとの背景の輝度値の組はＮ次元のベクトルとして表すことができる。
本実施例では注目画素と１参照点の組を２組用いているので、背景の輝度値は２組の２次元ベクトルとなる。
【００４３】
その後、距離計算手段１２は、注目画素ｐａおよび参照画素ｐｂの組に対して、上記輝度空間において、上記照明変動背景モデルと、注目画素ｐａおよび参照画素ｐｂの輝度値の組が表す点との間の距離を計算し、さらに、注目画素ｐａおよび参照画素ｐｃの組に対しても同様の距離を計算する（ステップＡ４）。
【００４４】
ここで、注目画素ｐａ、参照画素ｐｂ、ｐｃに対応する背景画素の輝度値をｉａ０、ｉｂ０、ｉｃ０とし、注目画素ｐａ、参照画素ｐｂ、ｐｃの輝度値をｉａ１、ｉｂ１、ｉｃ１とすると、注目画素ｐａと参照画素ｐｂとの組に対応する照明変動背景モデルと、輝度値ｉａ１、ｉｂ１に対応する点との間の距離Ｄ１、ならびに注目画素ｐａと参照画素ｐｃとの組に対応する照明変動背景モデルと、輝度値ｉａ１、ｉｃ１に対応する点との間の距離Ｄ２はそれぞれ［数２］、［数４］に示した式によって計算することができる。
【００４５】
【数２】
【００４６】
【数３】
次に、物体判別手段１４は、ステップＡ４において求められた距離Ｄ１、Ｄ２と、あらかじめ設定されているしきい値Ｔ１、Ｔ２とを比べ（ステップＡ５）、これらの距離およびしきい値が［数４］を満たす場合には、注目画素ｐａは物体を表す画素であり、対応箇所に物体が存在すると判断し、一方、［数４］を満たさない場合には、注目画素ｐａは背景を表す画素であると判断する（ステップＡ６、Ｓ７、Ｓ８、Ｓ９）。
【００４７】
【数４】
より詳しくは、物体判別手段１４は、複数距離計算手段が計算した距離Ｄ１、Ｄ２がそれぞれ上記しきい値Ｔ１、Ｔ２より大きいか否かを調べる（ステップＡ５）。たとえば距離Ｄ１がしきい値Ｔ１より大きい場合には、物体判別手段１４は注目画素ｐａおよび参照画素ｐｂは物体を表す画素である可能性があるとし、検出結果として両画素に論理”１”を対応づける。また、距離Ｄ２も、しきい値Ｔ２より大きい場合には、物体判別手段１４は、注目画素ｐａおよび参照画素ｐｃは物体を表す画素である可能性があるとし、検出結果として両画素に論理”１”を対応づける。
一方、距離Ｄ１、Ｄ２がＴ１、Ｔ２より小さい場合には、各画素には論理”０”を対応づける。
【００４８】
その上で、物体判別手段１４は、これらの検出結果の論理積をとり（ステップＡ６）、そして値を判定して（ステップＡ７）、結果が論理”１”の場合は注目画素ｐａは物体を表す画素であるとし（ステップＡ８）、論理”０”の場合は注目画素ｐａは物体を表さず、背景を表す画素であるとする（ステップＡ９）。
たとえば、距離Ｄ１がしきい値Ｔ１より大きい場合、物体判別手段１４が各画素ｐａ、ｐｂ、ｐｃに対応づける値は”１”、”１”、”０”となり、また、距離Ｄ２がしきい値Ｔ２より大きい場合、物体判別手段１４が各画素ｐａ、ｐｂ、ｐｃに対応づける値は”１”、”０”、”１”となる。したがって、各画素ごとに、これらの値の論理積をとると、それぞれ”１”、”０”、”０”となり、画素ｐａに対する論理値のみが”１”となる。したがって、物体判別手段１４は、注目画素ｐａが物体を表す画素であると判断する。
【００４９】
一般に注目画素以外にＮ個の参照点をとった場合、各参照点ごとに距離Ｄｉを計算し、各参照点ごとのしきい値Ｔｉを用いて、［数５］が成立するか否かにより注目画素が物体を表す画素であるか否かを判別することができる。
【００５０】
【数５】
このようなステップＡ２からＳ９までの処理を、画像入力手段４が保持している全画素を次々に注目画素に設定して行うことで（ステップＡ１０）、撮影画像上の物体を検出することができる。
検出された物体は、画像出力手段１５により出力され、表示装置に表示される。その際、ステップＡ７、Ａ８において、物体を表すと判別された注目画素の表示色を、背景とは異なる色で表示すれば、画面上で検出物体の形状などをより明瞭に把握することができる。
【００５１】
なお、ステップＡ１０において、すべての画素について処理が終わったと判断された場合に、物体であると判別された画素の数をカウントして、このカウント値が予め設定されたしきい値より大きい場合にのみ物体が存在すると判断するようにしてもよい。これによって、ある大きさ以上の物体のみを検出することが可能となる。
【００５２】
一方、ステップＡ７、Ａ９で注目画素が物体を表す画素ではないと判別された場合には、背景作成手段１６は、同注目画素および対応する複数の参照画素の輝度値にもとづいて、対応する背景画像の画素の輝度値を更新し、背景画像保持手段８に保持させる（ステップＡ３）。
なお、最初の入力画像に移動物体が含まれていなければ、基本的に背景画像の各画素の輝度値は更新する必要はない。しかし、ノイズ等の影響で、背景領域の輝度値が照明変動以外の要因でばらつきを起こしうるため、物体判別手段１４により背景とみなされた画素において随時輝度値を更新していくことで誤差を抑えることができる。
【００５３】
また、このような背景画像の更新において、新旧の輝度値に重みを乗じて徐々に更新するという方法をとることができる。すなわち、物体判別手段１４で注目画素ｐａが背景画素とみなされた場合、［数６］のように新しく加わるデータに重みをかけ徐々に更新することができる。
【００５４】
【数６】
ここで、ＰＡ＿ｎｅｗは注目画素ｐａと参照画素ｐｂ、ｐｃに対応する背景画素の輝度値による３次元輝度値行列、ＰＡ＿ｏｌｄは今までの注目画素ｐａと参照画素ｐｂ、ｐｃに対応する背景画素の輝度値による３次元背景輝度行列である。また、ＩＡは、注目画素ｐａと参照画素ｐｂ、ｐｃの輝度値行列、αは上記重み定数である。
【００５５】
次に、ステップＡ１０において、すべての画素に対して前述した判別処理が終了したと判断された場合、画像入力手段４は、次の画像があるか否かを判断し（ステップＡ１１）、次の画像がある場合はステップＡ１に戻って、画像を取得し、以降、上述した各処理が繰り返される。そして、すべての画像に対して処理が終了した時点で、物体検出処理を終了する。
以上の処理を監視カメラから画像が取り込まれるごとに行うことで、物体検出を逐次行うことができる。
【００５６】
図４の（Ａ）は、道路を黒い車が走っている原画像を示す模式図、（Ｂ）は従来技術による車の検出結果を示す説明図、（Ｃ）は本実施の形態例による車の検出結果を示す説明図である。
図４の（Ｂ）は、図４の（Ａ）に示した原画像および背景画像により図８などを用いて説明した従来技術にもとづき車の検出を行った結果を示し、注目点および参照点を隣接させて物体検出を行ったため、車の輪郭部のみが検出されている。
【００５７】
これに対して、本実施の形態例による検出結果である図４の（Ｃ）では、車の輪郭部だけでなく、輪郭の内側も含め、車全体が検出されており、より明瞭に、したがって確実に車が検出されている。
本実施の形態例では、上述したように、各注目画素ごとに選択する参照画素を、注目画素に対し、物体の大きさ以上に離して設定する。したがって、注目画素と参照画素とを接近させて設定した場合のように物体の輪郭部のみが検出されるといったことがない。
そして、１つの注目画素に対して複数の参照画素を設定し、注目画素と各参照画素との組ごとに物体検出を行って、最終的に論理演算により注目画素が物体の画素か否かを判別するので、注目画素と参照画素とを離して設定しても、物体の位置を確実に特定できる。
【００５８】
また、上記従来技術と同様、輝度空間における照明変動背景モデルと輝度点との距離にもとづいて注目画素が画像を表すか否かを判定しているので、照明変動が大きく、かつ頻繁に発生する場合にも安定で、しかも高精度に物体を検出することができる。
【００５９】
次に、本発明の第２の実施形態について説明する。
図５は第２の実施の形態例の物体検出装置２を示すブロック図、図６は図５の物体検出装置の動作を示すフローチャートである。以下では、これらの図面を参照して本発明の第２の実施の形態例の物体検出装置について説明すると同時に本発明の第２の実施の形態例の物体検出方法および物体検出プログラムを記録したコンピュータ読み取り可能な情報記録媒体について説明する。なお、図５において図１と同一の要素には同一の符号が付されており、それらに関する説明はここでは省略する。
【００６０】
図５に示した物体検出装置１８が上記物体検出装置２と異なるのは、物体自体を検出するのではなく物体の外接矩形を求める点であり、その結果、少ない計算量で物体を検出することが可能となる。
物体検出装置１８は、画像入力手段４、本発明に係わる水平参照点選択手段および垂直参照点選択手段として機能する複数参照点選択手段２０、背景画像保持手段８、本発明に係わる水平背景モデル作成手段および垂直背景モデル作成手段として機能する背景モデル作成手段２２、本発明に係わる水平距離計算手段および垂直距離計算手段として機能する距離計算手段２４、物体判別手段２６、背景作成手段２８、ならびに画像出力手段１５を含み、たとえば監視カメラにより撮影した画像から物体を検出する構成となっている。
【００６１】
物体検出装置１８は上記物体検出装置２と同様、具体的には、一例として監視カメラやビデオテープレコーダとのインターフェースなども備えたコンピュータにより構成されており、コンピュータを構成する入力装置に、本発明の物体検出プログラムを記録したコンピュータ読み取り可能な情報記録媒体としてのたとえばＣＤ−ＲＯＭを装着してＣＤ−ＲＯＭからプログラムデータを読み込み、コンピュータのメモリにロードして、コンピュータのＣＰＵを同プログラムデータにもとづいて動作させることで実現されている。
【００６２】
物体検出装置１８の複数参照点選択手段２０は、水平参照点選択手段として機能して、撮影画像において水平方向に配列された複数の画素から成る注目水平画素列ごとに、注目水平画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を画像入力手段４から取得する。
また、複数参照点選択手段２０は、垂直参照点選択手段として機能して、撮影画像において垂直方向に配列された複数の画素から成る注目垂直画素列ごとに、注目垂直画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を画像入力手段４から取得する。
【００６３】
そして、背景モデル作成手段２２は、水平背景モデル作成手段として機能して、水平参照点選択手段が選択した複数の参照画素にそれぞれ対応する、背景画像における複数の画素の輝度値を背景画像保持手段８から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する。
また、背景モデル作成手段２２は、垂直背景モデル作成手段として機能して、垂直参照点選択手段が選択した複数の参照画素にそれぞれ対応する、背景画像における複数の画素の輝度値を背景画像保持手段８から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する。
【００６４】
複数距離計算手段２は、水平距離計算手段として機能して、多次元輝度空間において、水平背景モデル作成手段としての背景モデル作成手段２２が作成した前記照明変動背景モデルと、水平参照点選択手段としての複数参照点選択手段２０が取得した複数の輝度値が表す点との間の距離を計算する。
また、複数距離計算手段２は、垂直距離計算手段として機能して、多次元輝度空間において、垂直背景モデル作成手段としての背景モデル作成手段２２が作成した前記照明変動背景モデルと、垂直参照点選択手段としての複数参照点選択手段２０が取得した前記複数の輝度値が表す点との間の距離を計算する。
【００６５】
物体判別手段２６は、上記水平距離計算手段および垂直距離計算手段としての複数距離計算手段２が計算した前記距離にもとづいて、注目水平画素列および注目垂直画素列に物体を表す画素が含まれているか否かを判別し、両画素列に係わる判別結果に対して論理演算を行って物体を含む矩形領域を特定する。
背景作成手段２８は、物体判別手段２６が物体を表す画素を含まないと判別した前記注目水平画素列および注目垂直画素列を構成する各画素の輝度値にもとづいて、対応する前記背景画像の画素の輝度値を更新して背景画像保持手段８に保持させる。
【００６６】
次に、このように構成された物体検出装置１８の動作について説明する。
図７は第２の実施の形態例の動作を説明するための図であって、（Ａ）は垂直方向における物体の存在可能領域の検出を表す説明図、（Ｂ）は水平方向における物体の存在可能領域の検出を表す説明図、（Ｃ）は検出結果を示す説明図である。以下では、図５とともに図６、図７を参照して説明する。
【００６７】
図６に示したように、まず、画像入力手段４は、監視カメラなどによって撮像された画像を読み込み、画像を構成する各画素ごとの輝度値を画像入力手段４内に設けられた不図示のメモリに保持する（ステップＢ１）。
次に、複数参照点選択手段２０は、撮影画像において垂直方向のアドレスｙにおける１行分の画素を注目水平画素列とし、またこの１行分の画素を参照画素（参照画素群）に選択して、各参照画素の輝度値を画像入力手段４から取得する（ステップＢ４）。したがって、撮影画像の幅がＷｉｄｔｈ画素（Ｗｉｄｔｈは正の整数）であったとすると、上記注目水平画素列にはＷｉｄｔｈ個の画素が含まれ、複数参照点選択手段２０は、本実施の形態例ではこれらすべて画素を参照画素とする。
【００６８】
そして、背景モデル作成手段２２は、複数参照点選択手段２０が選択した上記参照画素にそれぞれ対応する、背景画像における各画素の輝度値を背景画像保持手段８から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する。
その後、複数距離計算手段２４は、参照画素の輝度値によって形成される多次元輝度空間において、背景モデル作成手段２２が作成した前記照明変動背景モデルと、複数参照点選択手段２０が取得した上記複数の輝度値が表す点との間の距離を計算する（ステップＢ６）。
【００６９】
つづいて、物体判別手段２６は、複数距離計算手段２４がこのように計算した距離をしきい値と比較して、距離がしきい値より大きい場合には、上記注目水平画素列に対応づけて論理”１”を保持し、距離がしきい値より小さい場合には論理”０”を保持する（ステップＢ８）。
複数参照点選択手段２０、背景モデル作成手段２２、ならびに複数距離計算手段２は、このような処理を、アドレスｙの値を１ずつ大きくしながら、画像の垂直方向の全範囲において行う（ステップＢ１０）。
その結果、図７の（Ａ）に示したように、物体１０８が図のように存在する場合、Ｈの範囲内の各注目水平画素列に対して、物体判別手段２６は論理”１”を保持することになる。
【００７０】
また、複数参照点選択手段２０、背景モデル作成手段２２、ならびに複数距離計算手段２は、同様の処理を、画像の水平方向においても行う。
すなわち、複数参照点選択手段２０は、撮影画像において水平方向のアドレスｘにおける１列分の画素を注目垂直画素列とし、またこの１列分の画素を参照画素（参照画素群）に選択して、各参照画素の輝度値を画像入力手段４から取得する（ステップＢ２）。したがって、撮影画像の高さがＨｅｉｇｈｔ画素（Ｈｅｉｇｈｔは正の整数）であったとすると、上記注目垂直画素列にはＨｅｉｇｈｔ個の画素が含まれ、複数参照点選択手段２０は、本実施の形態例ではこれらすべて画素を参照画素とする。
【００７１】
そして、背景モデル作成手段２２は、複数参照点選択手段２０が選択した上記参照画素にそれぞれ対応する、背景画像における各画素の輝度値を背景画像保持手段８から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する。
その後、複数距離計算手段２４は、参照画素の輝度値によって形成される多次元輝度空間において、背景モデル作成手段２２が作成した前記照明変動背景モデルと、複数参照点選択手段２０が取得した上記複数の輝度値が表す点との間の距離を計算する（ステップＢ５）。
【００７２】
つづいて、物体判別手段２６は、複数距離計算手段２がこのように計算した距離をしきい値と比較して、距離がしきい値より大きい場合には、上記注目垂直画素列に対応づけて論理”１”を保持し、距離がしきい値より小さい場合には論理”０”を保持する（ステップＢ７）。
複数参照点選択手段２０、背景モデル作成手段２２、ならびに複数距離計算手段２４は、このような処理を、アドレスｙの値を１ずつ大きくしながら、画像の水平方向の全範囲において行う（ステップＢ９）。
その結果、図７の（Ｂ）に示したように、Ｗの範囲内の各注目垂直画素列に対して、物体判別手段２６は論理”１”を保持することになる。
【００７３】
その後、物体判別手段２６は、各注目水平画素列および各注目垂直画素列ごとに保持している論理値の論理積をとることで（ステップＢ１１）、検出結果としての矩形領域の画像を保持するためのメモリ（図示せず）において、各画素ごとに、その値が論理”１”か論理”０”かを決定する。
詳しくは、値を決定すべき画素に対応する位置の撮影画像の画素を含む注目水平画素列および注目垂直画素列に対して、共に論理”１”を保持している場合には、上記画素の値は論理”１”に設定する。一方、対応する撮影画像の画素を含む注目水平画素列および注目垂直画素列の少なくとも一方に対して論理”０”を保持している場合には、上記画素の値は論理”０”に設定する（ステップＢ１２、Ｂ１３、Ｂ１４）。その結果、検出結果を保持する上記メモリにおいて、図７の（Ｃ）に示したように、物体を含む可能性のある矩形領域Ｒ内の画素の値は論理”１”となり、それ以外の画素の値は論理”０”となる。
【００７４】
したがって、このメモリの内容を画像出力手段１５により表示装置に表示すれば、物体を含む矩形領域が画面に表示されることになる。また、矩形領域Ｒの４辺は物体１０８の外接矩形となっている。
そして、撮影画像の幅がＷｉｄｔｈ画素、高さがＨｅｉｇｈｔ画素であった場合、上記第１の実施の形態例では、各画素ごとに背景モデルの作成や距離の計算を行うので、このような演算処理を（Ｗｉｄｔｈ×Ｈｅｉｇｈ）回行う必要がある。
しかし、第２の実施の形態例では、各水平画素列ごとに上記演算処理を行い、また各垂直画素列ごとに上記演算処理を行えばよいので、演算処理の回数は全体で（Ｗｉｄｔｈ＋Ｈｅｉｇｈｔ）回となる。したがって、演算量は第１の実施の形態例の場合にくらべ大幅に低減し、高速に物体検出を行ったり、装置の低コスト化を図る場合に非常に有利である。
【００７５】
なお、物体検出装置２の場合と同様に、背景作成手段２８は、物体判別手段２６が物体を表す画素を含まないと判別した注目水平画素列および注目垂直画素列を構成する各画素の輝度値にもとづいて、対応する背景画像の画素の輝度値を更新して背景画像保持手段８に保持させる。これにより最新の背景画像を用いて精度の高い物体検出を行うことができる。
また、処理すべき画像がさらに存在する場合には、物体検出装置２の場合と同様、以上の手順が次の画像に対して繰り返される（ステップＢ１５）。
【００７６】
なお、この第２の実施の形態例では、注目水平画素列および注目垂直画素列において、各画素列のすべての画素を参照画素にするとしたが、数画素ごとに選択するなどの間引きを行って、さらに演算量の低減を図ることも可能である。
さらに、たとえば水平方向および垂直方向のいずれか一方でまず物体の存在可能領域を確定し、その上で、その領域内でのみ他方の方向における処理を行えば、物体が存在する可能性のない領域では演算処理を行わなくても済むため、さらに演算量を削減することが可能となる。
【００７７】
なお、ここでは物体検出装置２および物体検出装置１８はコンピュータにより構成されているとしたが、物体検出装置２および物体検出装置１８を専用のハードウェアにより構成することも無論可能である。また、本発明に係わる機能のうち、一部の機能をコンピュータに所定のプログラムをロードして実現し、他の機能は専用のハードウェアによって実現したり、さらには、コンピュータにすでに組み込まれているプログラムを組み合わせて用いることで物体検出装置２および物体検出装置１８を構成とすることも可能である。
【００７８】
また、コンピュータ読み取り可能な情報記録媒体とは、上述したＣＤ−ＲＯＭに限らず、フロッピー（登録商標）ディスク、光磁気ディスク、ＲＯＭなどの可搬媒体や、コンピュータに内蔵されるハードディスクなどの記憶装置を含んでいる。
さらに、コンピュータ読み取り可能な情報記録媒体は、インターネットなどの通信ネットワークや電話回線などの通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するものも含み、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものも含んでいる。
【００７９】
【発明の効果】
以上説明したように本発明の物体検出装置では、画像入力手段は、撮影画像の各画素の輝度値を取り込んで保持し、複数参照点選択手段は、前記画像の注目画素ごとに複数の参照画素を選択して、選択した複数の参照画素および前記注目画素の輝度値を画像入力手段から注目画素ごとに取得する。そして、背景モデル作成手段は、複数参照点選択手段が選択した注目画素および同画素に対応する前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を背景画像保持手段から取得して、背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを注目画素と、同画素に対応する各参照画素との組ごとに作成する。
【００８０】
その上で、距離計算手段は、輝度空間において、背景モデル作成手段が注目画素と参照画素との前記組ごとに作成した前記照明変動背景モデルと、複数参照点選択手段が注目画素ごとに取得した前記複数の参照画素の輝度値のそれぞれと注目画素の輝度値との組が表す点との間の距離をそれぞれ計算する。
そして、物体判別手段は、注目画素と各参照画素との組ごとに、距離計算手段が計算した前記距離にもとづいて前記注目画素が物体を表す画素か否かを判別し、前記組ごとの判別結果に対し論理演算を行って注目画素が物体を表す画素か否かを最終的に判別する。
【００８１】
このように、本発明の物体検出装置では、１つの注目画素に対して複数の参照画素を設定し、注目画素と各参照画素との組ごとに物体検出を行って、最終的に論理演算により注目画素が物体の画素か否かを判別するので、注目画素と参照画素とを離して設定しても、物体の位置を確実に特定できる。
したがって、各注目画素ごとに選択する参照画素を、注目画素に対し、物体の大きさ以上に離して設定することができ、その結果、注目画素と参照画素とを接近させて設定した場合のように物体の輪郭部のみが検出されるといったことがない。
また、上述した従来技術と同様、輝度空間における照明変動背景モデルと輝度点との距離にもとづいて注目画素が画像を表すか否かを判定するので、照明変動が大きく、かつ頻繁に発生する場合にも安定で、しかも高精度に物体を検出することができる。
【００８２】
また、本発明の物体検出装置では、画像入力手段は撮影画像の各画素の輝度値を取り込んで保持し、水平参照点選択手段は、撮影画像において水平方向に配列された複数の画素から成る注目水平画素列ごとに、注目水平画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を画像入力手段から取得する。また、垂直参照点選択手段は、撮影画像において垂直方向に配列された複数の画素から成る注目垂直画素列ごとに、注目垂直画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を画像入力手段から取得する。
そして、水平背景モデル作成手段は、水平参照点選択手段が選択した前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を背景画像保持手段から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成し、垂直背景モデル作成手段は、垂直参照点選択手段が選択した前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を背景画像保持手段から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する。
【００８３】
その後、水平距離計算手段は、多次元輝度空間において、水平背景モデル作成手段が作成した前記照明変動背景モデルと、水平参照点選択手段が取得した前記複数の輝度値が表す点との間の距離を計算し、垂直距離計算手段は、多次元輝度空間において、垂直背景モデル作成手段が作成した前記照明変動背景モデルと、垂直参照点選択手段が取得した前記複数の輝度値が表す点との間の距離を計算する。
そして、物体判別手段は、水平距離計算手段および垂直距離計算手段が計算した前記距離にもとづいて、注目水平画素列および注目垂直画素列に物体を表す画素が含まれているか否かを判別し、両画素列に係わる判別結果に対して論理演算を行って物体を含む矩形領域を特定する。
【００８４】
本発明の物体検出装置では、各水平画素列ごとに背景モデルの作成や、背景モデルと輝度点との間の距離の計算といった演算処理を行い、また各垂直画素列ごとに同様の演算処理を行えばよいので、演算処理の回数は全体で画像の水平方向の画素数に、画像の垂直方向の画素数を加えた値となる。
一方、各画素ごとに背景モデルの作成や、背景モデルと輝度点との間の距離の計算といった演算処理を行った場合には、全体の演算処理の回数は、画像の水平方向の画素数に、画像の垂直方向の画素数を乗じたものとなる。
したがって、本発明では、照明変動が大きく、かつ頻繁に発生する場合にも安定で、しかも高精度に物体の存在領域を検出できる上に、演算量が大幅に低減し、その結果、高速に物体検出を行ったり、装置の低コスト化を図る上で非常に有利となる。
【００８５】
本発明の物体検出方法および本発明のコンピュータ読み取り可能な情報記録媒体に記録された物体検出プログラムでは、画像入力ステップにおいて、撮影画像の各画素の輝度値を取り込んで第１の記憶手段に保持させ、複数参照点選択ステップでは、前記画像の注目画素ごとに複数の参照画素を選択して、選択した複数の参照画素および前記注目画素の輝度値を第１の記憶手段から注目画素ごとに取得する。そして、背景モデル作成ステップでは、複数参照点選択ステップで選択した注目画素および同画素に対応する前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を第２の記憶手段から取得して、背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを注目画素と、同画素に対応する各参照画素との組ごとに作成する。
【００８６】
その上で、距離計算ステップでは、輝度空間において、背景モデル作成ステップで注目画素と参照画素との前記組ごとに作成した前記照明変動背景モデルと、複数参照点選択ステップで注目画素ごとに取得した前記複数の参照画素の輝度値のそれぞれと注目画素の輝度値との組が表す点との間の距離をそれぞれ計算する。
そして、物体判別ステップでは、注目画素と各参照画素との組ごとに、距離計算ステップで計算した前記距離にもとづいて前記注目画素が物体を表す画素か否かを判別し、前記組ごとの判別結果に対し論理演算を行って注目画素が物体を表す画素か否かを最終的に判別する。
【００８７】
このように本発明では、１つの注目画素に対して複数の参照画素を設定し、注目画素と各参照画素との組ごとに物体検出を行って、最終的に論理演算により注目画素が物体の画素か否かを判別するので、注目画素と参照画素とを離して設定しても、物体の位置を確実に特定できる。
したがって、各注目画素ごとに選択する参照画素を、注目画素に対し、物体の大きさ以上に離して設定することができ、その結果、注目画素と参照画素とを接近させて設定した場合のように物体の輪郭部のみが検出されるといったことがない。
また、上述した従来技術と同様、輝度空間における照明変動背景モデルと輝度点との距離にもとづいて注目画素が画像を表すか否かを判定するので、照明変動が大きく、かつ頻繁に発生する場合にも安定で、しかも高精度に物体を検出することができる。
【００８８】
また、本発明の物体検出方法および本発明のコンピュータ読み取り可能な情報記録媒体に記録された物体検出プログラムでは、画像入力ステップにおいて撮影画像の各画素の輝度値を取り込んで第１の記憶手段に保持させ、水平参照点選択ステップでは、撮影画像において水平方向に配列された複数の画素から成る注目水平画素列ごとに、注目水平画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を第１の記憶手段から取得する。また、垂直参照点選択ステップでは、撮影画像において垂直方向に配列された複数の画素から成る注目垂直画素列ごとに、注目垂直画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を第１の記憶手段から取得する。
そして、水平背景モデル作成ステップでは、水平参照点選択ステップで選択した前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を第１の記憶手段から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成し、垂直背景モデル作成ステップでは、垂直参照点選択ステップで選択した前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を第２の記憶手段から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する。
【００８９】
その後、水平距離計算ステップでは、多次元輝度空間において、水平背景モデル作成ステップで作成した前記照明変動背景モデルと、水平参照点選択ステップで取得した前記複数の輝度値が表す点との間の距離を計算し、垂直距離計算ステップでは、多次元輝度空間において、垂直背景モデル作成ステップで作成した前記照明変動背景モデルと、垂直参照点選択ステップで取得した前記複数の輝度値が表す点との間の距離を計算する。
そして、物体判別ステップでは、水平距離計算ステップおよび垂直距離計算ステップで計算した前記距離にもとづいて、注目水平画素列および注目垂直画素列に物体を表す画素が含まれているか否かを判別し、両画素列に係わる判別結果に対して論理演算を行って物体を含む矩形領域を特定する。
【００９０】
このように、本発明では、各水平画素列ごとに背景モデルの作成や、背景モデルと輝度点との間の距離の計算といった演算処理を行い、また各垂直画素列ごとに同様の演算処理を行えばよいので、演算処理の回数は全体で画像の水平方向の画素数に、画像の垂直方向の画素数を加えた値となる。
一方、各画素ごとに背景モデルの作成や、背景モデルと輝度点との間の距離の計算といった演算処理を行った場合には、全体の演算処理の回数は、画像の水平方向の画素数に、画像の垂直方向の画素数を乗じたものとなる。
したがて、本発明では、照明変動が大きく、かつ頻繁に発生する場合にも安定で、しかも高精度に物体の存在領域を検出できる上に、演算量が大幅に低減し、その結果、高速に物体検出を行ったり、装置の低コスト化を図る上で非常に有利となる。
【図面の簡単な説明】
【図１】第１の実施の形態例の物体検出装置を示すブロック図である。
【図２】図１の物体検出装置の動作を示すフローチャートである。
【図３】（Ａ）は画像面における注目点と参照点との位置関係を示す説明図、（Ｂ）は物体が撮影領域に侵入した場合の模式図、（Ｃ）は検出結果を示す模式図、（Ｄ）は画像面における注目点と参照点との位置関係を示す他の説明図、（Ｅ）は検出結果を示す他の模式図、（Ｆ）は最終的な検出結果を示す模式図である。
【図４】（Ａ）は、道路を黒い車が走っている原画像を示す模式図、（Ｂ）は従来技術による車の検出結果を示す説明図、（Ｃ）は本実施の形態例による車の検出結果を示す説明図である。
【図５】第２の実施の形態例の物体検出装置を示すブロック図である。
【図６】図５の物体検出装置の動作を示すフローチャートである。
【図７】第２の実施の形態例の動作を説明するための図であって、（Ａ）は垂直方向における物体の存在可能領域の検出を表す説明図、（Ｂ）は水平方向における物体の存在可能領域の検出を表す説明図、（Ｃ）は検出結果を示す説明図である。
【図８】背景画像を表す説明図である。
【図９】注目点および参照点の輝度値により形成される２次元の輝度空間を示す説明図である。
【図１０】監視カメラの撮影領域に物体が侵入した場合の撮影画像を示す説明図である。
【図１１】（Ａ）は画像面を示す説明図、（Ｂ）は物体が撮影領域に侵入した場合の模式図、（Ｃ）は検出結果を示す模式図である。
【符号の説明】
２……物体検出装置、４……画像入力手段、６……複数参照点選択手段、８……背景画像保持手段、１０……背景モデル作成手段、１２……距離計算手段、１４……物体判別手段、１６……背景作成手段、１８……物体検出装置、２０……複数参照点選択手段、２２……背景モデル作成手段、２４……距離計算手段、２６……物体判別手段、２８……背景作成手段、１０２……白ドット、１０４……直線、１０６……白丸ドット、１０８……物体、１１０……黒ドット。
【特許請求の範囲】
【請求項１】
撮影画像を用いて物体を検出する物体検出プログラムを記録したコンピュータ読み取り可能な情報記録媒体であって、
前記撮影画像の各画素の輝度値を取り込んで第１の記憶手段に保持させる画像入力ステップと、
前記撮影画像の注目画素ごとに複数の参照画素を選択して、選択した複数の参照画素および前記注目画素の輝度値を前記第１の記憶手段から前記注目画素ごとに取得する複数参照点選択ステップと、
前記撮影画像の背景を成す背景画像の各画素の輝度値を第２の記憶手段に保持させる背景画像保持ステップと、
前記複数参照点選択ステップで選択した前記注目画素および同画素に対応する前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を前記第２の記憶手段から取得して、背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを前記注目画素と、同画素に対応する各参照画素との組ごとに作成する背景モデル作成ステップと、
輝度空間において、前記背景モデル作成ステップで前記注目画素と参照画素との前記組ごとに作成した前記照明変動背景モデルと、前記複数参照点選択ステップで前記注目画素ごとに取得した前記複数の参照画素の輝度値のそれぞれと前記注目画素の輝度値との組が表す点との間の距離をそれぞれ計算する距離計算ステップと、
前記注目画素と各参照画素との組ごとに、前記距離計算ステップで計算した前記距離にもとづいて前記注目画素が物体を表す画素か否かを判別し、前記組ごとの判別結果に対し論理演算を行って前記注目画素が物体を表す画素か否かを最終的に判別する物体判別ステップとを含むことを特徴とする物体検出プログラムを記録したコンピュータ読み取り可能な情報記録媒体。
【請求項２】
前記物体判別ステップで物体を表す画素ではないと判別した前記注目画素、および同画素に対応する前記複数の参照画素のそれぞれに対応する前記背景画像の画素の輝度値を、前記注目画素、および同画素に対応する前記複数の参照画素の輝度値にもとづき更新して前記第１の記憶手段に保持させる背景作成ステップを含むことを特徴とする請求項１記載の物体検出プログラムを記録したコンピュータ読み取り可能な情報記録媒体。
【請求項３】
撮影画像を用いて物体を検出する物体検出プログラムを記録したコンピュータ読み取り可能な情報記録媒体であって、
前記撮影画像の各画素の輝度値を取り込んで第１の記憶手段に保持させる画像入力ステップと、
前記撮影画像において水平方向に配列された複数の画素から成る注目水平画素列ごとに、前記注目水平画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を前記第１の記憶手段から取得する水平参照点選択ステップと、
前記撮影画像において垂直方向に配列された複数の画素から成る注目垂直画素列ごとに、前記注目垂直画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を前記第１の記憶手段から取得する垂直参照点選択ステップと、
前記撮影画像の背景を成す画像の各画素の輝度値を第２の記憶手段に保持させる背景画像保持ステップと、
前記水平参照点選択ステップで選択した前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を前記第２の記憶手段から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する水平背景モデル作成ステップと、
前記垂直参照点選択ステップで選択した前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を前記第２の記憶手段から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する垂直背景モデル作成ステップと、
多次元輝度空間において、前記水平背景モデル作成ステップで作成した前記照明変動背景モデルと、前記水平参照点選択ステップで取得した前記複数の輝度値が表す点との間の距離を計算する水平距離計算ステップと、
多次元輝度空間において、前記垂直背景モデル作成ステップで作成した前記照明変動背景モデルと、前記垂直参照点選択ステップで取得した前記複数の輝度値が表す点との間の距離を計算する垂直距離計算ステップと、
前記水平距離計算ステップおよび前記垂直距離計算ステップで計算した前記距離にもとづいて、前記注目水平画素列および前記注目垂直画素列に物体を表す画素が含まれているか否かを判別し、両画素列に係わる判別結果に対して論理演算を行って物体を含む矩形領域を特定する物体判別ステップとを含むことを特徴とする物体検出プログラムを記録したコンピュータ読み取り可能な情報記録媒体。
【請求項４】
前記物体判別ステップで物体を表す画素を含まないと判別した前記注目水平画素列および注目垂直画素列を構成する各画素の輝度値にもとづいて、対応する前記背景画像の画素の輝度値を更新して前記第２の記憶手段に保持させる背景作成ステップとを含むことを特徴とする請求項３記載の物体検出プログラムを記録したコンピュータ読み取り可能な情報記録媒体。
【請求項１】
撮影画像を用いて物体を検出する物体検出プログラムを記録したコンピュータ読み取り可能な情報記録媒体であって、
前記撮影画像の各画素の輝度値を取り込んで第１の記憶手段に保持させる画像入力ステップと、
前記撮影画像の注目画素ごとに複数の参照画素を選択して、選択した複数の参照画素および前記注目画素の輝度値を前記第１の記憶手段から前記注目画素ごとに取得する複数参照点選択ステップと、
前記撮影画像の背景を成す背景画像の各画素の輝度値を第２の記憶手段に保持させる背景画像保持ステップと、
前記複数参照点選択ステップで選択した前記注目画素および同画素に対応する前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を前記第２の記憶手段から取得して、背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを前記注目画素と、同画素に対応する各参照画素との組ごとに作成する背景モデル作成ステップと、
輝度空間において、前記背景モデル作成ステップで前記注目画素と参照画素との前記組ごとに作成した前記照明変動背景モデルと、前記複数参照点選択ステップで前記注目画素ごとに取得した前記複数の参照画素の輝度値のそれぞれと前記注目画素の輝度値との組が表す点との間の距離をそれぞれ計算する距離計算ステップと、
前記注目画素と各参照画素との組ごとに、前記距離計算ステップで計算した前記距離にもとづいて前記注目画素が物体を表す画素か否かを判別し、前記組ごとの判別結果に対し論理演算を行って前記注目画素が物体を表す画素か否かを最終的に判別する物体判別ステップとを含むことを特徴とする物体検出プログラムを記録したコンピュータ読み取り可能な情報記録媒体。
【請求項２】
前記物体判別ステップで物体を表す画素ではないと判別した前記注目画素、および同画素に対応する前記複数の参照画素のそれぞれに対応する前記背景画像の画素の輝度値を、前記注目画素、および同画素に対応する前記複数の参照画素の輝度値にもとづき更新して前記第１の記憶手段に保持させる背景作成ステップを含むことを特徴とする請求項１記載の物体検出プログラムを記録したコンピュータ読み取り可能な情報記録媒体。
【請求項３】
撮影画像を用いて物体を検出する物体検出プログラムを記録したコンピュータ読み取り可能な情報記録媒体であって、
前記撮影画像の各画素の輝度値を取り込んで第１の記憶手段に保持させる画像入力ステップと、
前記撮影画像において水平方向に配列された複数の画素から成る注目水平画素列ごとに、前記注目水平画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を前記第１の記憶手段から取得する水平参照点選択ステップと、
前記撮影画像において垂直方向に配列された複数の画素から成る注目垂直画素列ごとに、前記注目垂直画素列に含まれる複数の参照画素を選択して各参照画素の輝度値を前記第１の記憶手段から取得する垂直参照点選択ステップと、
前記撮影画像の背景を成す画像の各画素の輝度値を第２の記憶手段に保持させる背景画像保持ステップと、
前記水平参照点選択ステップで選択した前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を前記第２の記憶手段から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する水平背景モデル作成ステップと、
前記垂直参照点選択ステップで選択した前記複数の参照画素にそれぞれ対応する、前記背景画像における複数の画素の輝度値を前記第２の記憶手段から取得して背景の輝度が照明変動の影響を受けて変化した場合の照明変動背景モデルを作成する垂直背景モデル作成ステップと、
多次元輝度空間において、前記水平背景モデル作成ステップで作成した前記照明変動背景モデルと、前記水平参照点選択ステップで取得した前記複数の輝度値が表す点との間の距離を計算する水平距離計算ステップと、
多次元輝度空間において、前記垂直背景モデル作成ステップで作成した前記照明変動背景モデルと、前記垂直参照点選択ステップで取得した前記複数の輝度値が表す点との間の距離を計算する垂直距離計算ステップと、
前記水平距離計算ステップおよび前記垂直距離計算ステップで計算した前記距離にもとづいて、前記注目水平画素列および前記注目垂直画素列に物体を表す画素が含まれているか否かを判別し、両画素列に係わる判別結果に対して論理演算を行って物体を含む矩形領域を特定する物体判別ステップとを含むことを特徴とする物体検出プログラムを記録したコンピュータ読み取り可能な情報記録媒体。
【請求項４】
前記物体判別ステップで物体を表す画素を含まないと判別した前記注目水平画素列および注目垂直画素列を構成する各画素の輝度値にもとづいて、対応する前記背景画像の画素の輝度値を更新して前記第２の記憶手段に保持させる背景作成ステップとを含むことを特徴とする請求項３記載の物体検出プログラムを記録したコンピュータ読み取り可能な情報記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００４−３０６５９（Ｐ２００４−３０６５９Ａ）
【公開日】平成１６年１月２９日（２００４．１．２９）
【国際特許分類】
【出願番号】特願２００３−１７０９５１（Ｐ２００３−１７０９５１）
【出願日】平成１５年６月１６日（２００３．６．１６）
【分割の表示】特願平１１−１５７９２６の分割
【原出願日】平成１１年６月４日（１９９９．６．４）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成１６年１月２９日（２００４．１．２９）
【国際特許分類】
【出願日】平成１５年６月１６日（２００３．６．１６）
【分割の表示】特願平１１−１５７９２６の分割
【原出願日】平成１１年６月４日（１９９９．６．４）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]