移動体検知装置および移動体検知方法
【課題】光量が十分でない環境において非発光の移動体を検知する装置および方法を提供する。
【解決手段】移動体検知装置は、画像取得部、差分画像生成部、算出部、および警告出力部を備える。画像取得部は、カメラにより撮影された１または複数の画像から生成される第１の画像、および前記カメラにより前記１または複数の画像よりも後に撮影された第２の画像、を取得する。差分画像生成部は、前記第１の画像の各画素値から前記第２の画像の対応する各画素値をそれぞれ引算して差分画像を生成する。算出部は、前記差分画像において所定の閾値レベルを越える画素値を有する画素の数に基づいて隠蔽パラメータを算出する。そして、警告出力部は、前記隠蔽パラメータが所定の条件を満たすときに警告を出力する。
【解決手段】移動体検知装置は、画像取得部、差分画像生成部、算出部、および警告出力部を備える。画像取得部は、カメラにより撮影された１または複数の画像から生成される第１の画像、および前記カメラにより前記１または複数の画像よりも後に撮影された第２の画像、を取得する。差分画像生成部は、前記第１の画像の各画素値から前記第２の画像の対応する各画素値をそれぞれ引算して差分画像を生成する。算出部は、前記差分画像において所定の閾値レベルを越える画素値を有する画素の数に基づいて隠蔽パラメータを算出する。そして、警告出力部は、前記隠蔽パラメータが所定の条件を満たすときに警告を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体を検知する装置および方法に係わり、例えば、車両に実装されるブラインドコーナーモニタに適用可能である。
【背景技術】
【０００２】
従来より、見通しの悪い交差点等においてドライバの運転判断を支援するブラインドコーナーモニタが実用化されている。ブラインドコーナーモニタは、例えば、車両の先端部に取り付けられたカメラの映像を、車載ディスプレイに表示する。これにより、ドライバは、交差点等における死角に存在する歩行者、自転車、他の車両などを認識することができる。
【０００３】
また、カメラにより取得した映像を単に表示装置に表示するだけでなく、画像処理を行って移動体を検出する方法が提案されている。すなわち、検出領域を第１の所定時間間隔で撮影し、撮影画像を得ると共に記録する。また、撮影画像は、複数の領域で構成されており、各領域は当該領域毎の輝度データを有している。そして、撮影画像における所定輝度以上の領域のかたまりの面積が所定値以上である部分を移動体であると検出する。すなわち、時点ｉにおける撮影画像ｉの各領域を、所定輝度以上の領域と所定輝度未満の領域の２種類の領域に分類した撮影２値化画像ｉを求め、求めた撮影２値化画像ｉと撮影画像ｉとに基づいて、時点ｉに対応する移動体画像ｉを求める。そして、求めた移動体画像ｉの情報に基づいて、移動体を検出する。（例えば、特許文献１）
ところが、一般的なブラインドコーナーモニタは、可視光カメラを利用して画像を取得する。このため、光量が少ない環境（例えば、夜間）では、ブラインドコーナーモニタにより得られる画像全体が暗く、表示装置上で接近してくる物体を認識することが困難になる。また、上述のような提案されている構成では、夜間は、非発光の移動体（例えば、無灯火の自転車など）の輝度が低いので、その移動体を検出できないことがある。
【０００４】
この問題を解決するために、例えば、カメラが撮影する方向に向かって投光する照明装置を備える構成が提案されている（例えば、特許文献２）。しかし、点滅することなく十分な光量で車両の側方に投光する構成は、安全性に係わる各種の規制により、実現が困難である。
【０００５】
また、可視光カメラに加えて赤外線カメラ等の暗視カメラを搭載する構成も提案されている（例えば、特許文献３）。しかし、この構成では、複数種類のカメラを備えるので、コストが上昇してしまう。
【０００６】
なお、関連する技術として、例えば、特許文献４、５が知られている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−１９６７８６号公報
【特許文献２】特開平８−８３３９１号公報
【特許文献３】特開２０００−９７９６３号公報
【特許文献４】特開２００２−２１８４５２号公報
【特許文献５】特開２００６−１５９９２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述のように、光量が十分でない環境（例えば、夜間）において非発光の移動体（例えば、無灯火の自転車など）を可視光カメラにより得られる画像を利用して検知することは困難であった。
【０００９】
本発明の課題は、光量が十分でない環境において非発光の移動体を検知する装置および方法を提供することである。
【課題を解決するための手段】
【００１０】
本発明の１つの態様の移動体検知装置は、カメラにより撮影された１または複数の画像から生成される第１の画像、および前記カメラにより前記１または複数の画像よりも後に撮影された第２の画像、を取得する画像取得部と、前記第１の画像の各画素値から前記第２の画像の対応する各画素値をそれぞれ引算して差分画像を生成する差分画像生成部と、前記差分画像において所定の閾値レベルを越える画素値を有する画素の数に基づいて隠蔽パラメータを算出する算出部と、前記隠蔽パラメータが所定の条件を満たすときに警告を出力する警告出力部、を有する。
【発明の効果】
【００１１】
本発明の１つの態様によれば、光量が十分でない環境において非発光の移動体を検知することができる。
【図面の簡単な説明】
【００１２】
【図１】ブラインドコーナーモニタについて説明する図である。
【図２】カメラにより得られる動画像データの１つのフレームの例を示す図である。
【図３】実施形態の移動体検知装置の構成を示す図である。
【図４】図３に示す移動体検知装置の動作を示すフローチャートである。
【図５】隠蔽パラメータについて説明する図である。
【図６】隠蔽パラメータ算出部の構成を示す図である。
【図７】隠蔽パラメータ算出部の動作を示すフローチャートである。
【図８】差分画像を生成する方法を説明する図である。
【図９】背景全体がある程度の照度を有する環境での検知方法を説明する図である。
【図１０】背景が暗い環境での検知方法を説明する図である。
【図１１】隠蔽パラメータの変化に基づいて移動体を検知する方法を説明する図である。
【図１２】隠蔽パラメータの変化と警告レベルとの関係を示す図である。
【図１３】移動体検知装置のハードウェア構成を示す図である。
【発明を実施するための形態】
【００１３】
実施形態の移動体検知装置は、以下の実施例では、車両に搭載されてブラインドコーナーモニタとして使用される。ただし、実施形態の移動体検知装置は、この構成または使用方法に限定されるものではない。
【００１４】
図１は、ブラインドコーナーモニタについて説明する図である。ここでは、自動車１にブラインドコーナーモニタが実装されている。自動車１が交差点への侵入時に一時停止すると、一般に、ドライバ２には死角が存在する。このため、自動車１の先端部にカメラ３Ｒ、３Ｌを備え、カメラ３Ｒ、３Ｌにより撮影される画像を表示装置４に表示するブラインドコーナーモニタが実用化されている。この場合、ドライバ２は、表示装置４に表示される画像により、左右方向から接近してくる移動体（自動車、自転車、歩行者など）を認識することができる。
【００１５】
カメラ３Ｒ、３Ｌは、この実施例では、可視光カメラである。可視光カメラは、可視光を検出して動画像データを生成するビデオカメラである。図２は、カメラ３Ｒ、３Ｌ（ここでは、カメラ３Ｒ）により得られる動画像データの１つのフレームの例を示す図である。なお、図２は、自動車１が図１に示す位置に停止し、自動車１の周囲の照度が十分に高い環境下（例えば、昼間）で撮影された画像を示している。
【００１６】
ところが、自動車１の周囲の照度が低い環境下（例えば、夜間）においては、カメラ３Ｒ、３Ｌにより得られる動画像データが表示装置４に表示されても、ドライバ２は、近づいてくる移動体を認識しづらいことがある。特に、非発光の移動体（例えば、無灯火の自動車／自転車、あるいは歩行者など）を認識することは困難である。そこで、実施形態の移動体検知装置は、自動車１の周囲の照度が低い環境下であっても、非発光の移動体を検知できる機能を備えている。
【００１７】
図３は、実施形態の移動体検知装置の構成を示す図である。ここでは、実施形態の移動体検知装置１０は、図１に示すブラインドコーナーモニタの一部として動作するものとする。すなわち、移動体検知装置１０は、カメラ３Ｒ、３Ｌにより得られる動画像データの各フレームが入力されるものとする。
【００１８】
移動体検知装置１０は、画像入力部１１、動作条件判定部１２、隠蔽パラメータ算出部１３、警告レベル算出部１４、通知部１５を備える。なお、移動体検知装置１０は、特に限定されるものではないが、たとえば、ソフトウェアプログラムを実行するＣＰＵ、メモリ、外部機器（カメラ、表示装置など）とのインタフェースを含んで構成される。
【００１９】
画像入力部１１は、図１に示すカメラ３Ｒ、３Ｌとの間の通信インタフェースを備え、カメラ３Ｒ、３Ｌにより得られる各フレームの画像データを受信する。カメラ３Ｒ、３Ｌと画像入力部１１との間は、光ファイバまたはメタルケーブルで接続されてもよいし、無線パスで接続されてもよい。また、画像入力部１１は、メモリを備え、入力画像データを一時的に格納することができる。
【００２０】
動作条件判定部１２は、ブラインドコーナーモニタが動作中であるか否かを判定する。隠蔽パラメータ算出部１３は、背景画像および新たな入力画像に基づいて、隠蔽パラメータを算出する。隠蔽パラメータの一例は、後で詳しく説明するが、画像入力部１１により取得された画像において、画素値（例えば、輝度）の大きい画素が移動体によって隠蔽された量に相当する。そして、この隠蔽パラメータに応じて、警告を出力するか否かが判定される。警告レベル算出部１４は、隠蔽パラメータに応じて、警告レベルを決定する。そして、通知部１５は、警告レベル算出部１４の出力に応じた警告をドライバに通知する。
【００２１】
図４は、図３に示す移動体検知装置１０の動作を示すフローチャートである。このフローチャートの処理は、特に限定されるものではないが、例えば、カメラ３Ｒ、３Ｌから新たなフレームの画像データが入力される毎に実行されるようにしてもよい。
【００２２】
ステップＳ１は、画像入力部１１により実行される。すなわち、ステップＳ１において画像入力部１１は、カメラ３Ｒ、３Ｌから新たなフレームの画像データを受信する。画像データは、例えば、フレームを構成する各画素の画素情報を含む。画素情報は、輝度情報および色情報を含む。
【００２３】
ステップＳ２〜Ｓ３は、動作条件判定部１２により実行される。すなわち、動作条件判定部１２は、ステップＳ２において、ブラインドコーナーモニタが動作中か否かを判定する。この実施例では、ブラインドコーナーモニタは、例えば、自動車１が交差点等で停止しているときに、ドライバ２にとっての死角に移動体が存在するか否かを確認するために使用される。したがって、動作条件判定部１２は、自動車１が停止していれば、ブラインドコーナーモニタが動作中と判定し、自動車が走行中であれば、ブラインドコーナーモニタは動作していないと判定する。そして、ブラインドコーナーモニタが動作中であればステップＳ３に進み、ブラインドコーナーモニタが動作していなければ処理を終了する。なお、ブラインドコーナーモニタの映像は、走行開始時（交差点への侵入時など）にも有用であることがある。したがって、例えば、自動車１の走行開示時から所定期間、および／または、自動車１の走行開始時から所定速度に達するまでの期間は、ブラインドコーナーモニタを動作させてもよい。
【００２４】
ブラインドコーナーモニタの映像は、表示装置４に表示される。表示装置４は、特に限定されるものではないが、例えば、カーナビゲーションシステムの画像を表示するために設けられている液晶表示装置である。すなわち、表示装置４は、この実施例では、カーナビゲーションシステムおよびブラインドコーナーモニタにより共用される。
【００２５】
続いて、動作条件判定部１２は、ステップＳ３において、自動車１の周囲の照度と閾値照度とを比較する。閾値照度は、特に限定されるものではないが、例えば、通常の視力を有するドライバにとって、非発光の移動体の認識が困難になるような照度に相当する。そして、自動車１の周囲の照度が閾値照度よりも低ければ、ステップＳ４に進む。一方、自動車１の周囲の照度が閾値照度よりも高ければ、ドライバ２は、表示装置４に表示されるカメラ３Ｒ、３Ｌの映像により、移動体等を認識することができる。したがって、この場合、ステップＳ４〜Ｓ７は実行されず、単に、カメラ３Ｒ、３Ｌの映像が表示装置４に表示される。
【００２６】
なお、自動車１の周囲の照度は、例えば、自動車１が備える照度センサを利用して検出される。あるいは、画像入力部１１が取得した画像データの画素値（ここでは、輝度レベル）の平均を算出し、その平均値が所定値よりも小さいときに、自動車１の周囲の照度が閾値照度よりも低いと判定するようにしてもよい。すなわち、背景画像および／または入力画像の輝度分布が所定の閾値分布よりも低いときに、隠蔽パラメータを算出するようにしてもよい。
【００２７】
ステップＳ４〜Ｓ５は、隠蔽パラメータ算出部１３により実行される。すなわち、隠蔽パラメータ算出部１３は、ステップＳ４において、背景画像および新たな入力画像に基づいて、隠蔽パラメータを算出する。また、隠蔽パラメータ算出部１３は、ステップＳ５において、隠蔽パラメータに応じて、警告を出力するか否かを判定する。そして、警告を出力する場合には、ステップＳ６〜Ｓ７が実行される。
【００２８】
図５は、隠蔽パラメータについて説明する図である。図５（ａ）および図５（ｂ）は、自動車１が備えるカメラ（３Ｒ、３Ｌ）により得られる画像の例を示している。斜線領域は、輝度が十分に低い状態を表している。「輝度が十分に低い状態」とは、例えば、非発光の物体が存在していたときに、その物体の認識が困難であるような状態を意味する。このような画像は、例えば、夜間に屋外で撮影されたときに得られる。また、白ぬき領域は、輝度が高い状態を表している。「輝度が高い状態」は、例えば、街灯などの光源（または、その反射光）により生成される。したがって、以下では、この領域のことを「光源」と呼ぶことがある。図５（ａ）では、複数の光源２１が存在している。
【００２９】
図５（ａ）に示す状態において、自動車１と光源との間に非発光物体２２が存在するものとする。そうすると、光源からの光は、非発光物体２２により遮られ、自動車１のカメラには到達しなくなる。この場合、カメラにより得られる画像においては、図５（ｂ）に示すように、複数の光源２１のうちの一部が隠蔽されることになる。図５に示す例では、５個の光源２１が非発光物体２２により隠蔽されている。
【００３０】
隠蔽パラメータは、図５に示す例では、非発光物体２２により隠蔽された光源２１に基づいて算出される。このとき、隠蔽パラメータは、例えば、非発光物体２２により隠蔽された光源２１の個数であってもよい。あるいは、隠蔽パラメータは、例えば、非発光物体２２により隠蔽された光源２１の面積の和（すなわち、隠蔽される光源２１に対応する画素の数）であってもよい。さらに、隠蔽パラメータは、図５（ａ）に示す光源２１の面積と、隠蔽された光源２１の面積との比率（すなわち、画素数の比）であってもよい。
【００３１】
なお、画像上では、非発光物体２２は、「輝度が低い領域」として表される。したがって、背景全体が暗い場合には、昼間のような光量が十分に大きい環境とは異なり、背景と非発光物体２２との境界が不明確になる。
【００３２】
図４に戻る。ステップＳ６は、警告レベル算出部１４により実行される。警告レベル算出部１４は、ステップＳ４で算出された隠蔽パラメータに基づいて、警告レベルを決定する。ステップＳ７は、通知部１５により実行される。通知部１５は、ステップＳ６で得られた警告レベルに応じて、ドライバ２に対して警告情報を出力する。警告は、例えば、表示装置４にメッセージを表示することにより実現される。また、警告は、他の方法で出力されてもよい。例えば、警告は、音声データにより実現されてもよいし、自動車１のシートを振動させることにより実現されてもよい。
【００３３】
図６は、隠蔽パラメータ算出部１３の構成を示す図である。隠蔽パラメータ算出部１３は、動作開始条件判定部３１、背景画像設定部３２、差分画像算出部３３、背景画像更新部３４、隠蔽面積算出部３５、隠蔽率算出部３６、警告判定部３７を備える。これらの要素３１〜３７は、例えば、コンピュータ（すなわち、プロセッサ）を用いてソフトウェアプログラムを実行することにより実現される。なお、これらの要素３１〜３７の一部または全部をハードウェア回路で実現するようにしてもよい。また、隠蔽パラメータ算出部１３は、入力画像メモリ４１、背景画像メモリ４２、背景画像統計量メモリ４３、差分画像メモリ４４を備える。これらのメモリ４１〜４４は、特に限定されるものではないが、例えば、半導体メモリにより実現される。以下、フローチャートを参照しながら隠蔽パラメータ算出部１３の動作について説明する。
【００３４】
図７は、隠蔽パラメータ算出部１３の動作を示すフローチャートである。このフローチャートの処理は、特に限定されるものではないが、例えば、画像入力部１１から新たなフレームの画像データが入力されたときに実行される。なお、新たに入力される画像データは、入力画像メモリ４１に格納される。
【００３５】
ステップＳ１１において、動作開始条件判定部３１は、入力フレームが、移動体検知処理が開始された後の最初のフレーム（動作開始フレーム）であるか否かを判定する。移動体検知処理は、この実施例では、自動車１が停止しており、且つ、自動車１の周囲が十分に暗いときに実行される。そして、この判定結果は、背景画像設定部３２に通知される。
【００３６】
入力フレームが最初のフレームであったときは、ステップＳ１２において、背景画像設定部３２は、入力画像メモリ４１に格納されている入力画像を取り出し、その画像を背景画像として背景画像メモリ４２に書き込む。また、背景画像設定部３２は、背景画像統計量メモリ４３により管理されている背景画像統計量を初期化する。背景画像統計量については後で説明する。なお、ステップＳ１１で「Ｙｅｓ」と判定され、ステップＳ１２が実行されたときは、図４に示すステップＳ５〜Ｓ７は実行されない。
【００３７】
入力フレームが最初のフレームでなければ、ステップＳ１３〜Ｓ１７が実行される。なお、入力フレームが最初のフレームでないときは、背景画像メモリ４２に背景画像が格納されている。背景画像は、後で詳しく説明するが、過去に入力された１または複数のフレームの画像データから生成される。なお、以下説明する処理において、背景画像と入力画像との差分画像を生成する。差分画像が意味のある内容であるためには、当然ながら、背景画像と入力画像とには、同一の被写領域が含まれていることを前提とする。
【００３８】
ステップＳ１３において、差分画像算出部３３は、背景画像と新たな入力画像との間の差分画像を生成する。ここで、差分画像の各画素値は、下記（１）式で表される。
Ｄ(x,y) ＝ max{Ｂ(x,y) − Ｉ(x,y) ，０} ・・・（１）
「(x,y)」は、画像内座標である。「Ｄ(x,y)」は、差分画像の画素(x,y)の画素値である。「Ｂ(x,y)」は、背景画像の画素(x,y)の画素値である。そして、「Ｉ(x,y)」は、入力画像の画素(x,y)の画素値である。すなわち、差分画像Ｄの画素値は、背景画像Ｂの各画素値から入力画像Ｉの対応する各画素値をそれぞれ引算することにより算出される。ただし、引算の結果が負の値になるときは、差分画像Ｄの画素値としてゼロが算出される。なお、画素値は、特に限定されるものではないが、この実施例では、各画素の輝度レベルである。
【００３９】
図８は、差分画像を生成する方法を説明する図である。ここでは、自動車１が備えるカメラにより得られる画像を利用して移動体検知が行われる。自動車１は、図８（ａ）に示すように、交差点で停止している。そして、非発光の移動体５がその交差点に接近してくるものとする。
【００４０】
図８（ｂ）は、移動体５が位置Ａに存在しているときに得られる画像において、移動体５が表示される領域を示す図である。なお、移動体５は非発光物体である。したがって、自動車１の周囲が暗い環境下では、移動体５は、画像上では見えない（或いは、見えにくい）。
【００４１】
図８（ｃ）は、背景画像である。背景画像には、複数の光源２１が存在している。光源２１は、上述したように、例えば、街灯である。なお、ここでは、説明を簡単にするために、背景画像には移動体５は存在していない。図８（ｄ）は、新たな入力画像であり、移動体５が位置Ａに存在しているときに得られた画像である。この入力画像では、背景画像に存在している複数の光源２１のうちの一部が、移動体５により隠蔽されている。
【００４２】
図８（ｅ）は、差分画像である。この差分画像は、図８（ｃ）に示す背景画像の各画素値から、図８（ｄ）に示す入力画像の対応する各画素値を引算することによって生成される。ここで、自動車１は停止している。また、説明を簡単にするために、撮影された領域においては、移動体５以外には変化がないものとする。そうすると、移動体５が存在する領域以外の領域については、背景画像および入力画像は互いに同じである。すなわち、移動体５が存在する領域以外の領域については、差分画像の画素値は、ほぼゼロになる。また、移動体５は非発光物体であるので、入力画像において移動体５が存在する領域の画素値は、ゼロに近い値になっている。このため、差分画像において移動体５が存在する領域の画素値は、背景画像とほぼ同じである。したがって、差分画像においては、移動体５により隠蔽された領域内の光源２１が存在すると共に、他の領域の画素値はゼロに近い値となっている。
【００４３】
このように、背景画像および入力画像により得られる差分画像においては、画素値の大きな領域として、移動体５により隠蔽された領域内の光源２１が得られる。なお、発光物体（例えば、ヘッドライトを点灯している車両など）が自動車１に接近してくるときは、背景画像の画素値よりも入力画像の画素値の方が大きくなる。したがって、単に画素値の引算を行うと、その演算結果は負の値になる。しかし、発光物体は、自動車１のドライバの目視により認識されるので、実施形態の移動体検知装置で検知されなくても、問題はない。したがって、上記引算の演算結果が負の値になる領域では、画素値としてゼロが出力される。
【００４４】
図７に戻る。ステップＳ１４において、背景画像更新部３４は、必要に応じて、背景画像メモリ４２に格納されている背景画像および背景画像統計量メモリ４３により管理されている背景画像統計量を更新する。背景画像の更新は、この実施例では、背景を逐次的に推定することでノイズ等に起因する誤検知を低減するために、動的背景差分法が採用される。この場合、背景画像統計量として、例えば、背景画像の各画素について設けられるカウンタのカウント値が管理される。このカウンタは、背景画像の画素値と新たな入力画像の画素値との差分が大きいときに初期化されて計時を開始する。したがって、例えば、画像内に新たな物体が現れると、その物体が存在する領域内の画素に対応するカウンタが起動される。その後、その物体が画像内で停止すると、カウンタはカウントアップ動作を継続する。そして、カウンタが所定値を越えると、以降、上記物体は、画像上で「背景」の一部となる。そうすると、背景画像更新部３４は、背景画像メモリ４２に格納されている背景画像において、上記物体が存在する領域の画素値を更新する。
【００４５】
このように、背景画像は、過去の１または複数の入力画像に基づいて生成される。尚、上述の例では、画素ごとに変化をモニタしているが、複数の画素で構成されるブロックごとに変化をモニタするようにしてもよい。また、実施形態の移動体検知方法は、上述の動的背景差分法を使用しなくてもよい。
【００４６】
ステップＳ１５において、隠蔽面積算出部３５は、差分画像に基づいて、隠蔽パラメータｆ1を算出する。隠蔽パラメータｆ1は、下式で表される演算値Ｓdの絶対値である。
【数１】
「ｐ」は、差分画像Ｄ内の画素を表す。「Ｔd」は、画素値の閾値（閾値輝度レベル）を表す。この閾値は、例えば、シミュレーション等により決定される。
【００４７】
このように、隠蔽パラメータｆ1は、差分画像Ｄにおいて、閾値よりも高い輝度を有する画素の数を表す。例えば、図８に示す例では、隠蔽パラメータｆ1として、図８（ｅ）に示す差分画像上の光源２１に対応する画素の数が算出される。ここで、閾値よりも高い輝度を有する画素の数は、輝度が閾値よりも高い領域の面積に相当する。したがって、隠蔽パラメータｆ1が大きいときは、画像内に大きな非発光物体が存在していると推定される。換言すれば、隠蔽パラメータｆ1が大きいときは、非発光物体が自動車１の近くにまで接近してきていると推定することができる。
【００４８】
ステップＳ１６において、隠蔽率算出部３６は、差分画像および背景画像に基づいて、隠蔽パラメータｆ2を算出する。隠蔽パラメータｆ2は、下式で表される。
【数２】
「Ｓｄ」は、隠蔽面積算出部３５により算出された値が使用される。「Ｓb」は、下式で表される。
【数３】
「ｐ」は、背景画像Ｂ内の画素を表す。「Ｔb」は、画素値の閾値（閾値輝度レベル）を表す。ここで、閾値Ｔdおよび閾値Ｔbは、互いに同じであってもよいし、互いに異なっていてもよい。ただし、上記（１）式によれば、背景画像Ｂの各画素値は、差分画像Ｄの対応する画素値よりも小さくなることはない。すなわち、Ｂ(x,y) ≧ Ｄ(x,y)である。したがって、閾値Ｔbは、閾値Ｔdよりも大きな値であることが好ましい。
【００４９】
このように、隠蔽パラメータｆ2は、差分画像Ｄにおいて閾値Ｔdよりも高い輝度を有する画素の数と、背景画像Ｂにおいて閾値Ｔbよりも高い輝度を有する画素の数との比率を表す。例えば、図８に示す例では、隠蔽パラメータｆ2として、図８（ｅ）に示す差分画像上の光源２１に対応する画素の数と、図８（ｃ）に示す背景画像上の光源２１に対応する画素の数との比率が算出される。すなわち、隠蔽パラメータｆ2は、背景画像に存在する光源のうち、どの程度の割合でそれらの光源が非発光物体により隠蔽されたのかを表している。したがって、隠蔽パラメータｆ2が大きいときは、画像内に大きな非発光物体が存在していると推定される。換言すれば、隠蔽パラメータｆ2が大きいときも、非発光物体が自動車１の近くにまで接近してきていると推定することができる。
【００５０】
ステップＳ１７は、図４に示すフローチャートのステップＳ５に相当する。ステップＳ１７において、警告判定部３７は、下記の２つの条件が満たされているかチェックする。
（１）隠蔽パラメータ（隠蔽面積）ｆ1 ＞閾値Ｔ1
（２）隠蔽パラメータ（隠蔽率）ｆ2 ＞閾値Ｔ2
閾値Ｔ1、Ｔ2は、画面の解像度（画素数）、カメラ画角などに基づいて予め決められているものとする。そして、上記２つの条件の少なくとも一方が満たされている場合は、図４に示すステップＳ６へ進む。上記２つの条件がいずれも満たされない場合は、図４のステップＳ６、Ｓ７を実行することなく、処理を終了する。
【００５１】
このように、実施形態の移動体検知方法では、隠蔽パラメータとして隠蔽面積および隠蔽率の双方が使用される。隠蔽面積を利用する判定は、背景全体がある程度の画素値を有する環境（例えば、全体的に薄暗い環境など）において有効である。一方、隠蔽率を利用する判定は、背景の画素値がゼロに近く、光源が点在するのみの環境（例えば、全体的に暗く、遠くに幾つかの街灯が存在する環境）において有効である。
【００５２】
図９および図１０は、隠蔽面積を利用する判定および隠蔽率を利用する判定を比較して説明する図である。図９および図１０において、ドット領域５１は、薄暗い状態（画素値がゼロではないが、大きくもない領域）を表す。斜線領域５２は、暗い状態（画素値がゼロまたはゼロに近い領域）を表す。光源２１は、画素値が大きい領域を表す。また、以下の条件が得られているものとする。
（１）画面の画素数：１００００
（２）ドット領域５１の画素値：４
（３）斜線領域５２の画素値：ゼロ
（４）光源２１の画素値：１０
（５）背景画像における光源２１の面積（画素数）：５００
（６）非発光物体５３の面積（画素数）：１５００
（７）差分画像における光源２１の面積（画素数）：１００
（８）図９（ｃ）に示す差分画像におけるドット領域５１の面積（画素数）：１４００
（９）画素値の閾値Ｔb、Ｔd：３
（１０）隠蔽面積を判定するための閾値Ｔ１：３００
（１１）隠蔽率を判定するための閾値Ｔ２：０．１７５
【００５３】
図９は、背景全体がある程度の照度を有する環境で得られた背景画像、入力画像、差分画像を示している。図９（ａ）に示す背景画像においては、全体的にある程度の画素値を有するドット領域５１が広がっている。そして、そのような背景において、複数の光源２１が存在している。また、図９（ｂ）に示す入力画像には、非発光物体５３が存在する。非発光物体５３の画素値は、背景よりも低くなる。この例では、背景の画素値が「４」であるのに対して、入力画像において非発光物体５３の画素値はゼロであるものとする。ここで、差分画像は、背景画像の画素値から入力画像の対応する画素値を引算することにより生成される。よって、差分画像においては、図９（ｃ）に示すように、非発光物体５３とほぼ同じ形状の領域の画素値が「４（＝４−０）」になる。そして、その領域内に光源２１が存在する。なお、非発光物体５３に対応する領域の外側の領域の画素値は、ほぼゼロ（＝４−４）になる。
【００５４】
図９（ｃ）に示す差分画像において、閾値Ｔd よりも大きな画素値を有する領域は、光源２１およびドット領域５１である。そうすると、差分画像において閾値Ｔdよりも大きな画素値を有する領域の面積は「１５００（＝１００＋１４００）」であり、上記面積閾値Ｔ１よりも大きいので、「警告あり」と判定される。なお、図９（ａ）に示す背景画像では、背景全体が閾値Ｔbよりも明るいので、その閾値Ｔbよりも大きな画素値を有する領域の面積は「１００００」である。この場合、隠蔽率は、「０．１５（＝１５００／１００００）」であり、面積閾値Ｔ２よりも小さいので、「警告なし」と判定される。
【００５５】
このように、背景全体がある程度の画素値を有する場合は、ステップＳ１５のＴdによる閾値判定において、差分画像に存在する光源２１だけではなく、差分画像に表れるドット領域５１も「光源画素」として検出される。このため、差分画像において、非発光物体５３により隠蔽される領域がほぼそのまま検出されることになる。したがって、差分画像から算出される隠蔽パラメータｆ1（すなわち、隠蔽面積）を利用して、非発光物体５３を検知することができる。
【００５６】
図１０は、背景が暗い環境下で得られた背景画像、入力画像、差分画像を示している。なお、図１０に示す例における背景画像および非発光物体５３は、図９と同じである。この例では、図１０（ｃ）に示す差分画像において、閾値Ｔdよりも大きな画素値を有する領域は、光源２１のみである。このため、差分画像において閾値Ｔdよりも大きな画素値を有する領域の面積は「１００」であり、面積閾値Ｔ１よりも小さいので、「警告なし」と判定されてしまう。一方、図１０（ａ）に示す背景画像では、閾値Ｔb よりも大きな画素値を有する領域は光源２１だけであり、その面積は「５００」である。そうすると、隠蔽率は、「０．２（＝１００／５００）」であり、面積閾値Ｔ２よりも大きいので、「警告あり」と判定される。
【００５７】
このように、背景全体が暗い場合は、差分画像において、非発光物体により隠蔽される領域全体が検出されるのではなく、非発光物体により隠蔽される領域内の光源２１のみが検出される。したがって、この場合、隠蔽パラメータｆ1は、非発光物体により実際に隠蔽された面積よりも小さくなり、隠蔽面積を利用する判定では、その非発光物体を検知できないことがある。これに対して、隠蔽率を利用する場合は、光源２１が隠蔽された割合に基づいて判定が行われるので、背景全体が暗い場合に有効である。
【００５８】
上述の手順において「警告あり」と判定された場合、図３に示す警告レベル算出部１４は、警告レベルｇを算出する。警告レベルｇは、隠蔽面積を利用して判定が行われる場合には、例えば、ｇ＝c1×f1により算出される。また、警告レベルｇは、隠蔽率を利用して判定が行われる場合には、例えば、ｇ＝c2×f2により算出される。なお、「c1」および「c2」は、それぞれ予めシミュレーション等により決められた定数である。また、隠蔽面積および隠蔽率の双方で「警告あり」と判定された場合は、警告レベルｇが大きい方の値を採用するようにしてもよい。この後、通知部１５は、算出された警告レベルｇに基づいて、移動体が接近していることをドライバ２に通知する。
【００５９】
＜他の実施形態＞
隠蔽パラメータｆ1、ｆ2を継続的にモニタし、それらの値の変化に応じて警告を出力するようにしてもよい。図１１に示す例では、時刻ｔ１および時刻ｔ２において隠蔽パラメータが算出されている。なお、この実施例では、停止している自動車１に向かって移動体６１が接近してきているものとする。
【００６０】
時刻ｔ１においては、移動体６１により２個の光源２１が隠蔽されている。このため、時刻ｔ１における差分画像では、隠蔽された２個の光源２１が検出される。続いて、時刻ｔ２においては、入力画像内で移動体６１が占める領域が大きくなっており、５個の光源２１が隠蔽されている。よって、時刻ｔ２における差分画像では、隠蔽された５個の光源２１が検出される。この場合、時刻ｔ２において算出される隠蔽パラメータは、時刻ｔ１において検出された隠蔽パラメータよりも大きくなっている。したがって、移動体検知装置は、非発光物体（ここでは、移動体６１）が自動車１に近づいてきていることを検知する。
【００６１】
このように、隠蔽パラメータの変化をモニタする方法では、警告レベル算出部１３は、隠蔽パラメータが連続的に増加したときに警告を出力するようにしてもよい。また、警告レベル算出部１３は、図１２に示すように、隠蔽パラメータが連続的に増加したときに警告レベルを高くするようにしてもよい。この方法によれば、あるフレームにおいてノイズ等により不安定な画像が入力された場合は、その画像は警告対象から除外されるので、誤検知を回避することができる。
【００６２】
また、背景画像および差分画像それぞれについて、差分画像において閾値よりも高い画素値を有する領域の平均輝度を算出し、算出される１組の平均輝度の差分が小さいほど警告レベルを高くするようにしてもよい。ある領域において差分画像の平均輝度が背景画像の平均輝度に近いほど、より暗い物体がその領域を隠蔽していると推定される。
【００６３】
さらに、上述の実施例では、背景画像と入力画像との差分画像を生成し、その差分画像を利用して隠蔽パラメータが算出されるが、本発明はこの構成または手順に限定されるものではない。すなわち、例えば、以下の手順で警告の要否を判定するようにしてもよい。まず、背景画像および入力画像において、それぞれ、所定の閾値レベルよりも輝度が高い光源画素を検出する。ここで、検出される光源画素は、閾値レベルに依存する。例えば、閾値レベルを高く設定すれば、光源２１は検出されるが、図９に示すドット領域５１は検出されない。また、閾値レベルを低く設定すれば、光源２１およびドット領域５１の双方が検出される。そして、背景画像から検出された光源画素の数よりも入力画像から検出された光源画素の数が少ないときに警告を出力する。このとき、光源画素の減少は、非発光移動体の接近に起因すると推定される。
【００６４】
さらに、自動車１に搭載されるカメラの台数は、特に限定されるものではなく、たとえば、魚眼レンズまたはプリズムレンズを備える１台のカメラで左右双方の死角領域を撮影するようにしてもよい。
【００６５】
さらに、図１に示すように、自動車１が複数のカメラ３Ｒ、３Ｌを備える場合には、各カメラの画像について実施形態の移動体検知方法を行うか否かを判断してもよい。たとえば、図１に示す自動車１の右側領域が明るく左側領域が暗いものとすると、カメラ３Ｌの画像に対してのみ実施形態の移動体検知方法が実行されるようにしてもよい。
【００６６】
さらに、図４に示すフローチャートにおいてステップＳ５の処理を省略してもよい。この場合、ブラインドコーナーモニタが動作中であれば、常に警告レベルが算出される。そして、隠蔽パラメータが十分に小さい場合には、警告レベルが最も低い値に設定される。
【００６７】
さらに、上述の実施例では、自動車１が停止している場合について説明したが、実施形態の方法は、自動車１が走行しているときに実行されてもよい。この場合、背景画像と新たな入力画像との間で位置合わせ処理が行われ、背景画像および入力画像の共通領域に対して上述の検知方法が実行される。
【００６８】
＜移動体検知装置のハードウェア構成＞
図１３は、実施形態の移動体検知装置１０を実現するコンピュータのハードウェア構成を示す図である。図１３において、ＣＰＵ１０１は、メモリ１０３を利用して移動体検知プログラムを実行する。記憶装置１０２は、例えばハードディスクであり、移動体検知プログラムを格納する。なお、記憶装置１０２は、外部記録装置であってもよい。メモリ１０３は、例えば半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んで構成される。入力画像メモリ４１、背景画像メモリ４２、背景画像統計量メモリ４３、差分画像メモリ４４は、例えば、メモリ１０３を利用して実現される。
【００６９】
読み取り装置１０４は、ＣＰＵ１０１の指示に従って可搬型記録媒体１０５にアクセスする。可搬型記録媒体１０５は、例えば、半導体デバイス（ＰＣカード等）、磁気的作用により情報が入出力される媒体、光学的作用により情報が入出力される媒体を含むものとする。通信インタフェース１０６は、ＣＰＵ１０１の指示に従って、ネットワークを介してデータを送受信する。入出力装置１０７は、この実施例では、カメラ、表示装置、ユーザからの指示を受け付けるデバイス等とのインタフェースを提供する。
【００７０】
実施形態に係わる移動体検知プログラムは、例えば、下記の形態で提供される。
（１）記憶装置１０２に予めインストールされている。
（２）可搬型記録媒体１０５により提供される。
（３）プログラムサーバ１１０からダウンロードする。
そして、上記構成のコンピュータで移動体検知プログラムを実行することにより、実施形態に係わる移動体検知装置が実現される。
【００７１】
＜実施形態の構成および方法による効果＞
実施形態の移動体検知装置および方法によれば、可視光カメラを利用して、夜間に接近してくる無灯火自転車および歩行者などを検知することができる。また、移動体が非発光物体であっても、その移動体に投光することなくその移動体を検知することができる。さらに、暗い環境下であっても、赤外線カメラ等を用いることなく非発光移動体を検知できるので、コストの増加が抑えられる。
【００７２】
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）
カメラにより撮影された１または複数の画像から生成される第１の画像、および前記カメラにより前記１または複数の画像よりも後に撮影された第２の画像、を取得する画像取得部と、
前記第１の画像の各画素値から前記第２の画像の対応する各画素値をそれぞれ引算して差分画像を生成する差分画像生成部と、
前記差分画像において所定の閾値レベルを越える画素値を有する画素の数に基づいて隠蔽パラメータを算出する算出部と、
前記隠蔽パラメータが所定の条件を満たすときに警告を出力する警告出力部、
を有する移動体検知装置。
（付記２）
付記１に記載の移動体検知装置であって、
前記隠蔽パラメータは、前記差分画像において前記閾値レベルを越える画素値を有する画素により構成される領域の面積であり、
前記警告出力部は、前記領域の面積が閾値面積よりも大きいときに警告を出力する
ことを特徴とする移動体検知装置。
（付記３）
付記１に記載の移動体検知装置であって、
前記隠蔽パラメータは、前記第１の画像において画素値が前記閾値レベルを越える画素の数に対する、前記差分画像において画素値が前記閾値レベルを越える画素の数の比率であり、
前記警告出力部は、前記比率が閾値比率よりも大きいときに警告を出力する
ことを特徴とする移動体検知装置。
（付記４）
付記１〜３のいずれか１つに記載の移動体検知装置であって、
前記警告出力部は、前記隠蔽パラメータを時系列的にモニタし、前記隠蔽パラメータが連続的に一定の方向に向かって変化するときに警告レベルを引き上げる
ことを特徴とする移動体検知装置。
（付記５）
付記１〜３のいずれか１つに記載の移動体検知装置であって、
前記警告出力部は、前記差分画像において所定の閾値レベルを越える画素値を有する画素から構成される領域において、前記第１の画像の平均画素値と前記差分画像の平均画素値との差分が小さくなるにつれて、警告レベルを引き上げる
ことを特徴とする移動体検知装置。
（付記６）
付記１〜５のいずれか１つに記載の移動体検知装置であって、
前記算出部は、前記第１または第２の画像の輝度分布が所定の閾値分布よりも低いときに、前記隠蔽パラメータを算出する
ことを特徴とする移動体検知装置。
（付記７）
付記１〜５のいずれか１つに記載の移動体検知装置であって、
前記移動体検知装置は、車両に搭載され、
前記算出部は、前記車両の周囲の照度が所定の閾値照度よりも低いときに、前記隠蔽パラメータを算出する
ことを特徴とする移動体検知装置。
（付記８）
付記１〜７のいずれか１つに記載の移動体検知装置であって、
前記移動体検知装置は、車両に搭載され、
前記移動体検知装置は、前記車両が停止しているときに動作する
ことを特徴とする移動体検知装置。
（付記９）
付記１〜８のいずれか１つに記載の移動体検知装置であって、
前記第１の画像は、各画素の画素値が所定時間よりも長い期間に渡って変化していない背景画像である
ことを特徴とする移動体検知装置。
（付記１０）
カメラにより撮影された１または複数の画像から生成される第１の画像、および前記カメラにより前記１または複数の画像よりも後に撮影された第２の画像、を取得する画像取得部と、
前記第１および第２の画像において、それぞれ、所定の閾値レベルよりも輝度が高い光源画素を検出する検出部と、
前記第１の画像の光源画素の数よりも前記第２の画像の光源画素の数が少ないときに警告を出力する警告出力部、
を有する移動体検知装置。
（付記１１）
カメラにより撮影された１または複数の画像から生成される第１の画像、および前記カメラにより前記１または複数の画像よりも後に撮影された第２の画像、を取得し、
前記第１の画像の各画素値から前記第２の画像の対応する各画素値をそれぞれ引算して差分画像を生成し、
前記差分画像において所定の閾値レベルを越える画素値を有する画素の数に基づいて隠蔽パラメータを算出し、
前記隠蔽パラメータが所定の条件を満たすときに警告を出力する、
ことを特徴とする移動体検知方法。
（付記１２）
コンピュータに、
カメラにより撮影された１または複数の画像から生成される第１の画像の各画素値から、前記カメラにより前記１または複数の画像よりも後に撮影された第２の画像の対応する各画素値をそれぞれ引算して差分画像を生成する手順、
前記差分画像において所定の閾値レベルを越える画素値を有する画素の数に基づいて隠蔽パラメータを算出する手順、
前記隠蔽パラメータが所定の条件を満たすときに警告を出力する手順、
を実行させる移動体検知プログラム。
【符号の説明】
【００７３】
１ 自動車
３Ｒ、３Ｌ カメラ
４ 表示装置
５ 移動体
１０ 移動体検知装置
１１ 画像入力部
１２ 動作条件判定部
１３ 隠蔽パラメータ算出部
１４ 警告レベル算出部
１５ 通知部
２１ 光源
２２ 非発光物体
３１ 動作開始条件判定部
３２ 背景画像設定部
３３ 差分画像算出部
３４ 背景画像更新部
３５ 隠蔽面積算出部
３６ 隠蔽率算出部
３７ 警告判定部
４１ 入力画像メモリ
４２ 背景画像メモリ
４３ 背景画像統計量メモリ
４４ 差分画像メモリ
【技術分野】
【０００１】
本発明は、移動体を検知する装置および方法に係わり、例えば、車両に実装されるブラインドコーナーモニタに適用可能である。
【背景技術】
【０００２】
従来より、見通しの悪い交差点等においてドライバの運転判断を支援するブラインドコーナーモニタが実用化されている。ブラインドコーナーモニタは、例えば、車両の先端部に取り付けられたカメラの映像を、車載ディスプレイに表示する。これにより、ドライバは、交差点等における死角に存在する歩行者、自転車、他の車両などを認識することができる。
【０００３】
また、カメラにより取得した映像を単に表示装置に表示するだけでなく、画像処理を行って移動体を検出する方法が提案されている。すなわち、検出領域を第１の所定時間間隔で撮影し、撮影画像を得ると共に記録する。また、撮影画像は、複数の領域で構成されており、各領域は当該領域毎の輝度データを有している。そして、撮影画像における所定輝度以上の領域のかたまりの面積が所定値以上である部分を移動体であると検出する。すなわち、時点ｉにおける撮影画像ｉの各領域を、所定輝度以上の領域と所定輝度未満の領域の２種類の領域に分類した撮影２値化画像ｉを求め、求めた撮影２値化画像ｉと撮影画像ｉとに基づいて、時点ｉに対応する移動体画像ｉを求める。そして、求めた移動体画像ｉの情報に基づいて、移動体を検出する。（例えば、特許文献１）
ところが、一般的なブラインドコーナーモニタは、可視光カメラを利用して画像を取得する。このため、光量が少ない環境（例えば、夜間）では、ブラインドコーナーモニタにより得られる画像全体が暗く、表示装置上で接近してくる物体を認識することが困難になる。また、上述のような提案されている構成では、夜間は、非発光の移動体（例えば、無灯火の自転車など）の輝度が低いので、その移動体を検出できないことがある。
【０００４】
この問題を解決するために、例えば、カメラが撮影する方向に向かって投光する照明装置を備える構成が提案されている（例えば、特許文献２）。しかし、点滅することなく十分な光量で車両の側方に投光する構成は、安全性に係わる各種の規制により、実現が困難である。
【０００５】
また、可視光カメラに加えて赤外線カメラ等の暗視カメラを搭載する構成も提案されている（例えば、特許文献３）。しかし、この構成では、複数種類のカメラを備えるので、コストが上昇してしまう。
【０００６】
なお、関連する技術として、例えば、特許文献４、５が知られている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−１９６７８６号公報
【特許文献２】特開平８−８３３９１号公報
【特許文献３】特開２０００−９７９６３号公報
【特許文献４】特開２００２−２１８４５２号公報
【特許文献５】特開２００６−１５９９２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述のように、光量が十分でない環境（例えば、夜間）において非発光の移動体（例えば、無灯火の自転車など）を可視光カメラにより得られる画像を利用して検知することは困難であった。
【０００９】
本発明の課題は、光量が十分でない環境において非発光の移動体を検知する装置および方法を提供することである。
【課題を解決するための手段】
【００１０】
本発明の１つの態様の移動体検知装置は、カメラにより撮影された１または複数の画像から生成される第１の画像、および前記カメラにより前記１または複数の画像よりも後に撮影された第２の画像、を取得する画像取得部と、前記第１の画像の各画素値から前記第２の画像の対応する各画素値をそれぞれ引算して差分画像を生成する差分画像生成部と、前記差分画像において所定の閾値レベルを越える画素値を有する画素の数に基づいて隠蔽パラメータを算出する算出部と、前記隠蔽パラメータが所定の条件を満たすときに警告を出力する警告出力部、を有する。
【発明の効果】
【００１１】
本発明の１つの態様によれば、光量が十分でない環境において非発光の移動体を検知することができる。
【図面の簡単な説明】
【００１２】
【図１】ブラインドコーナーモニタについて説明する図である。
【図２】カメラにより得られる動画像データの１つのフレームの例を示す図である。
【図３】実施形態の移動体検知装置の構成を示す図である。
【図４】図３に示す移動体検知装置の動作を示すフローチャートである。
【図５】隠蔽パラメータについて説明する図である。
【図６】隠蔽パラメータ算出部の構成を示す図である。
【図７】隠蔽パラメータ算出部の動作を示すフローチャートである。
【図８】差分画像を生成する方法を説明する図である。
【図９】背景全体がある程度の照度を有する環境での検知方法を説明する図である。
【図１０】背景が暗い環境での検知方法を説明する図である。
【図１１】隠蔽パラメータの変化に基づいて移動体を検知する方法を説明する図である。
【図１２】隠蔽パラメータの変化と警告レベルとの関係を示す図である。
【図１３】移動体検知装置のハードウェア構成を示す図である。
【発明を実施するための形態】
【００１３】
実施形態の移動体検知装置は、以下の実施例では、車両に搭載されてブラインドコーナーモニタとして使用される。ただし、実施形態の移動体検知装置は、この構成または使用方法に限定されるものではない。
【００１４】
図１は、ブラインドコーナーモニタについて説明する図である。ここでは、自動車１にブラインドコーナーモニタが実装されている。自動車１が交差点への侵入時に一時停止すると、一般に、ドライバ２には死角が存在する。このため、自動車１の先端部にカメラ３Ｒ、３Ｌを備え、カメラ３Ｒ、３Ｌにより撮影される画像を表示装置４に表示するブラインドコーナーモニタが実用化されている。この場合、ドライバ２は、表示装置４に表示される画像により、左右方向から接近してくる移動体（自動車、自転車、歩行者など）を認識することができる。
【００１５】
カメラ３Ｒ、３Ｌは、この実施例では、可視光カメラである。可視光カメラは、可視光を検出して動画像データを生成するビデオカメラである。図２は、カメラ３Ｒ、３Ｌ（ここでは、カメラ３Ｒ）により得られる動画像データの１つのフレームの例を示す図である。なお、図２は、自動車１が図１に示す位置に停止し、自動車１の周囲の照度が十分に高い環境下（例えば、昼間）で撮影された画像を示している。
【００１６】
ところが、自動車１の周囲の照度が低い環境下（例えば、夜間）においては、カメラ３Ｒ、３Ｌにより得られる動画像データが表示装置４に表示されても、ドライバ２は、近づいてくる移動体を認識しづらいことがある。特に、非発光の移動体（例えば、無灯火の自動車／自転車、あるいは歩行者など）を認識することは困難である。そこで、実施形態の移動体検知装置は、自動車１の周囲の照度が低い環境下であっても、非発光の移動体を検知できる機能を備えている。
【００１７】
図３は、実施形態の移動体検知装置の構成を示す図である。ここでは、実施形態の移動体検知装置１０は、図１に示すブラインドコーナーモニタの一部として動作するものとする。すなわち、移動体検知装置１０は、カメラ３Ｒ、３Ｌにより得られる動画像データの各フレームが入力されるものとする。
【００１８】
移動体検知装置１０は、画像入力部１１、動作条件判定部１２、隠蔽パラメータ算出部１３、警告レベル算出部１４、通知部１５を備える。なお、移動体検知装置１０は、特に限定されるものではないが、たとえば、ソフトウェアプログラムを実行するＣＰＵ、メモリ、外部機器（カメラ、表示装置など）とのインタフェースを含んで構成される。
【００１９】
画像入力部１１は、図１に示すカメラ３Ｒ、３Ｌとの間の通信インタフェースを備え、カメラ３Ｒ、３Ｌにより得られる各フレームの画像データを受信する。カメラ３Ｒ、３Ｌと画像入力部１１との間は、光ファイバまたはメタルケーブルで接続されてもよいし、無線パスで接続されてもよい。また、画像入力部１１は、メモリを備え、入力画像データを一時的に格納することができる。
【００２０】
動作条件判定部１２は、ブラインドコーナーモニタが動作中であるか否かを判定する。隠蔽パラメータ算出部１３は、背景画像および新たな入力画像に基づいて、隠蔽パラメータを算出する。隠蔽パラメータの一例は、後で詳しく説明するが、画像入力部１１により取得された画像において、画素値（例えば、輝度）の大きい画素が移動体によって隠蔽された量に相当する。そして、この隠蔽パラメータに応じて、警告を出力するか否かが判定される。警告レベル算出部１４は、隠蔽パラメータに応じて、警告レベルを決定する。そして、通知部１５は、警告レベル算出部１４の出力に応じた警告をドライバに通知する。
【００２１】
図４は、図３に示す移動体検知装置１０の動作を示すフローチャートである。このフローチャートの処理は、特に限定されるものではないが、例えば、カメラ３Ｒ、３Ｌから新たなフレームの画像データが入力される毎に実行されるようにしてもよい。
【００２２】
ステップＳ１は、画像入力部１１により実行される。すなわち、ステップＳ１において画像入力部１１は、カメラ３Ｒ、３Ｌから新たなフレームの画像データを受信する。画像データは、例えば、フレームを構成する各画素の画素情報を含む。画素情報は、輝度情報および色情報を含む。
【００２３】
ステップＳ２〜Ｓ３は、動作条件判定部１２により実行される。すなわち、動作条件判定部１２は、ステップＳ２において、ブラインドコーナーモニタが動作中か否かを判定する。この実施例では、ブラインドコーナーモニタは、例えば、自動車１が交差点等で停止しているときに、ドライバ２にとっての死角に移動体が存在するか否かを確認するために使用される。したがって、動作条件判定部１２は、自動車１が停止していれば、ブラインドコーナーモニタが動作中と判定し、自動車が走行中であれば、ブラインドコーナーモニタは動作していないと判定する。そして、ブラインドコーナーモニタが動作中であればステップＳ３に進み、ブラインドコーナーモニタが動作していなければ処理を終了する。なお、ブラインドコーナーモニタの映像は、走行開始時（交差点への侵入時など）にも有用であることがある。したがって、例えば、自動車１の走行開示時から所定期間、および／または、自動車１の走行開始時から所定速度に達するまでの期間は、ブラインドコーナーモニタを動作させてもよい。
【００２４】
ブラインドコーナーモニタの映像は、表示装置４に表示される。表示装置４は、特に限定されるものではないが、例えば、カーナビゲーションシステムの画像を表示するために設けられている液晶表示装置である。すなわち、表示装置４は、この実施例では、カーナビゲーションシステムおよびブラインドコーナーモニタにより共用される。
【００２５】
続いて、動作条件判定部１２は、ステップＳ３において、自動車１の周囲の照度と閾値照度とを比較する。閾値照度は、特に限定されるものではないが、例えば、通常の視力を有するドライバにとって、非発光の移動体の認識が困難になるような照度に相当する。そして、自動車１の周囲の照度が閾値照度よりも低ければ、ステップＳ４に進む。一方、自動車１の周囲の照度が閾値照度よりも高ければ、ドライバ２は、表示装置４に表示されるカメラ３Ｒ、３Ｌの映像により、移動体等を認識することができる。したがって、この場合、ステップＳ４〜Ｓ７は実行されず、単に、カメラ３Ｒ、３Ｌの映像が表示装置４に表示される。
【００２６】
なお、自動車１の周囲の照度は、例えば、自動車１が備える照度センサを利用して検出される。あるいは、画像入力部１１が取得した画像データの画素値（ここでは、輝度レベル）の平均を算出し、その平均値が所定値よりも小さいときに、自動車１の周囲の照度が閾値照度よりも低いと判定するようにしてもよい。すなわち、背景画像および／または入力画像の輝度分布が所定の閾値分布よりも低いときに、隠蔽パラメータを算出するようにしてもよい。
【００２７】
ステップＳ４〜Ｓ５は、隠蔽パラメータ算出部１３により実行される。すなわち、隠蔽パラメータ算出部１３は、ステップＳ４において、背景画像および新たな入力画像に基づいて、隠蔽パラメータを算出する。また、隠蔽パラメータ算出部１３は、ステップＳ５において、隠蔽パラメータに応じて、警告を出力するか否かを判定する。そして、警告を出力する場合には、ステップＳ６〜Ｓ７が実行される。
【００２８】
図５は、隠蔽パラメータについて説明する図である。図５（ａ）および図５（ｂ）は、自動車１が備えるカメラ（３Ｒ、３Ｌ）により得られる画像の例を示している。斜線領域は、輝度が十分に低い状態を表している。「輝度が十分に低い状態」とは、例えば、非発光の物体が存在していたときに、その物体の認識が困難であるような状態を意味する。このような画像は、例えば、夜間に屋外で撮影されたときに得られる。また、白ぬき領域は、輝度が高い状態を表している。「輝度が高い状態」は、例えば、街灯などの光源（または、その反射光）により生成される。したがって、以下では、この領域のことを「光源」と呼ぶことがある。図５（ａ）では、複数の光源２１が存在している。
【００２９】
図５（ａ）に示す状態において、自動車１と光源との間に非発光物体２２が存在するものとする。そうすると、光源からの光は、非発光物体２２により遮られ、自動車１のカメラには到達しなくなる。この場合、カメラにより得られる画像においては、図５（ｂ）に示すように、複数の光源２１のうちの一部が隠蔽されることになる。図５に示す例では、５個の光源２１が非発光物体２２により隠蔽されている。
【００３０】
隠蔽パラメータは、図５に示す例では、非発光物体２２により隠蔽された光源２１に基づいて算出される。このとき、隠蔽パラメータは、例えば、非発光物体２２により隠蔽された光源２１の個数であってもよい。あるいは、隠蔽パラメータは、例えば、非発光物体２２により隠蔽された光源２１の面積の和（すなわち、隠蔽される光源２１に対応する画素の数）であってもよい。さらに、隠蔽パラメータは、図５（ａ）に示す光源２１の面積と、隠蔽された光源２１の面積との比率（すなわち、画素数の比）であってもよい。
【００３１】
なお、画像上では、非発光物体２２は、「輝度が低い領域」として表される。したがって、背景全体が暗い場合には、昼間のような光量が十分に大きい環境とは異なり、背景と非発光物体２２との境界が不明確になる。
【００３２】
図４に戻る。ステップＳ６は、警告レベル算出部１４により実行される。警告レベル算出部１４は、ステップＳ４で算出された隠蔽パラメータに基づいて、警告レベルを決定する。ステップＳ７は、通知部１５により実行される。通知部１５は、ステップＳ６で得られた警告レベルに応じて、ドライバ２に対して警告情報を出力する。警告は、例えば、表示装置４にメッセージを表示することにより実現される。また、警告は、他の方法で出力されてもよい。例えば、警告は、音声データにより実現されてもよいし、自動車１のシートを振動させることにより実現されてもよい。
【００３３】
図６は、隠蔽パラメータ算出部１３の構成を示す図である。隠蔽パラメータ算出部１３は、動作開始条件判定部３１、背景画像設定部３２、差分画像算出部３３、背景画像更新部３４、隠蔽面積算出部３５、隠蔽率算出部３６、警告判定部３７を備える。これらの要素３１〜３７は、例えば、コンピュータ（すなわち、プロセッサ）を用いてソフトウェアプログラムを実行することにより実現される。なお、これらの要素３１〜３７の一部または全部をハードウェア回路で実現するようにしてもよい。また、隠蔽パラメータ算出部１３は、入力画像メモリ４１、背景画像メモリ４２、背景画像統計量メモリ４３、差分画像メモリ４４を備える。これらのメモリ４１〜４４は、特に限定されるものではないが、例えば、半導体メモリにより実現される。以下、フローチャートを参照しながら隠蔽パラメータ算出部１３の動作について説明する。
【００３４】
図７は、隠蔽パラメータ算出部１３の動作を示すフローチャートである。このフローチャートの処理は、特に限定されるものではないが、例えば、画像入力部１１から新たなフレームの画像データが入力されたときに実行される。なお、新たに入力される画像データは、入力画像メモリ４１に格納される。
【００３５】
ステップＳ１１において、動作開始条件判定部３１は、入力フレームが、移動体検知処理が開始された後の最初のフレーム（動作開始フレーム）であるか否かを判定する。移動体検知処理は、この実施例では、自動車１が停止しており、且つ、自動車１の周囲が十分に暗いときに実行される。そして、この判定結果は、背景画像設定部３２に通知される。
【００３６】
入力フレームが最初のフレームであったときは、ステップＳ１２において、背景画像設定部３２は、入力画像メモリ４１に格納されている入力画像を取り出し、その画像を背景画像として背景画像メモリ４２に書き込む。また、背景画像設定部３２は、背景画像統計量メモリ４３により管理されている背景画像統計量を初期化する。背景画像統計量については後で説明する。なお、ステップＳ１１で「Ｙｅｓ」と判定され、ステップＳ１２が実行されたときは、図４に示すステップＳ５〜Ｓ７は実行されない。
【００３７】
入力フレームが最初のフレームでなければ、ステップＳ１３〜Ｓ１７が実行される。なお、入力フレームが最初のフレームでないときは、背景画像メモリ４２に背景画像が格納されている。背景画像は、後で詳しく説明するが、過去に入力された１または複数のフレームの画像データから生成される。なお、以下説明する処理において、背景画像と入力画像との差分画像を生成する。差分画像が意味のある内容であるためには、当然ながら、背景画像と入力画像とには、同一の被写領域が含まれていることを前提とする。
【００３８】
ステップＳ１３において、差分画像算出部３３は、背景画像と新たな入力画像との間の差分画像を生成する。ここで、差分画像の各画素値は、下記（１）式で表される。
Ｄ(x,y) ＝ max{Ｂ(x,y) − Ｉ(x,y) ，０} ・・・（１）
「(x,y)」は、画像内座標である。「Ｄ(x,y)」は、差分画像の画素(x,y)の画素値である。「Ｂ(x,y)」は、背景画像の画素(x,y)の画素値である。そして、「Ｉ(x,y)」は、入力画像の画素(x,y)の画素値である。すなわち、差分画像Ｄの画素値は、背景画像Ｂの各画素値から入力画像Ｉの対応する各画素値をそれぞれ引算することにより算出される。ただし、引算の結果が負の値になるときは、差分画像Ｄの画素値としてゼロが算出される。なお、画素値は、特に限定されるものではないが、この実施例では、各画素の輝度レベルである。
【００３９】
図８は、差分画像を生成する方法を説明する図である。ここでは、自動車１が備えるカメラにより得られる画像を利用して移動体検知が行われる。自動車１は、図８（ａ）に示すように、交差点で停止している。そして、非発光の移動体５がその交差点に接近してくるものとする。
【００４０】
図８（ｂ）は、移動体５が位置Ａに存在しているときに得られる画像において、移動体５が表示される領域を示す図である。なお、移動体５は非発光物体である。したがって、自動車１の周囲が暗い環境下では、移動体５は、画像上では見えない（或いは、見えにくい）。
【００４１】
図８（ｃ）は、背景画像である。背景画像には、複数の光源２１が存在している。光源２１は、上述したように、例えば、街灯である。なお、ここでは、説明を簡単にするために、背景画像には移動体５は存在していない。図８（ｄ）は、新たな入力画像であり、移動体５が位置Ａに存在しているときに得られた画像である。この入力画像では、背景画像に存在している複数の光源２１のうちの一部が、移動体５により隠蔽されている。
【００４２】
図８（ｅ）は、差分画像である。この差分画像は、図８（ｃ）に示す背景画像の各画素値から、図８（ｄ）に示す入力画像の対応する各画素値を引算することによって生成される。ここで、自動車１は停止している。また、説明を簡単にするために、撮影された領域においては、移動体５以外には変化がないものとする。そうすると、移動体５が存在する領域以外の領域については、背景画像および入力画像は互いに同じである。すなわち、移動体５が存在する領域以外の領域については、差分画像の画素値は、ほぼゼロになる。また、移動体５は非発光物体であるので、入力画像において移動体５が存在する領域の画素値は、ゼロに近い値になっている。このため、差分画像において移動体５が存在する領域の画素値は、背景画像とほぼ同じである。したがって、差分画像においては、移動体５により隠蔽された領域内の光源２１が存在すると共に、他の領域の画素値はゼロに近い値となっている。
【００４３】
このように、背景画像および入力画像により得られる差分画像においては、画素値の大きな領域として、移動体５により隠蔽された領域内の光源２１が得られる。なお、発光物体（例えば、ヘッドライトを点灯している車両など）が自動車１に接近してくるときは、背景画像の画素値よりも入力画像の画素値の方が大きくなる。したがって、単に画素値の引算を行うと、その演算結果は負の値になる。しかし、発光物体は、自動車１のドライバの目視により認識されるので、実施形態の移動体検知装置で検知されなくても、問題はない。したがって、上記引算の演算結果が負の値になる領域では、画素値としてゼロが出力される。
【００４４】
図７に戻る。ステップＳ１４において、背景画像更新部３４は、必要に応じて、背景画像メモリ４２に格納されている背景画像および背景画像統計量メモリ４３により管理されている背景画像統計量を更新する。背景画像の更新は、この実施例では、背景を逐次的に推定することでノイズ等に起因する誤検知を低減するために、動的背景差分法が採用される。この場合、背景画像統計量として、例えば、背景画像の各画素について設けられるカウンタのカウント値が管理される。このカウンタは、背景画像の画素値と新たな入力画像の画素値との差分が大きいときに初期化されて計時を開始する。したがって、例えば、画像内に新たな物体が現れると、その物体が存在する領域内の画素に対応するカウンタが起動される。その後、その物体が画像内で停止すると、カウンタはカウントアップ動作を継続する。そして、カウンタが所定値を越えると、以降、上記物体は、画像上で「背景」の一部となる。そうすると、背景画像更新部３４は、背景画像メモリ４２に格納されている背景画像において、上記物体が存在する領域の画素値を更新する。
【００４５】
このように、背景画像は、過去の１または複数の入力画像に基づいて生成される。尚、上述の例では、画素ごとに変化をモニタしているが、複数の画素で構成されるブロックごとに変化をモニタするようにしてもよい。また、実施形態の移動体検知方法は、上述の動的背景差分法を使用しなくてもよい。
【００４６】
ステップＳ１５において、隠蔽面積算出部３５は、差分画像に基づいて、隠蔽パラメータｆ1を算出する。隠蔽パラメータｆ1は、下式で表される演算値Ｓdの絶対値である。
【数１】
「ｐ」は、差分画像Ｄ内の画素を表す。「Ｔd」は、画素値の閾値（閾値輝度レベル）を表す。この閾値は、例えば、シミュレーション等により決定される。
【００４７】
このように、隠蔽パラメータｆ1は、差分画像Ｄにおいて、閾値よりも高い輝度を有する画素の数を表す。例えば、図８に示す例では、隠蔽パラメータｆ1として、図８（ｅ）に示す差分画像上の光源２１に対応する画素の数が算出される。ここで、閾値よりも高い輝度を有する画素の数は、輝度が閾値よりも高い領域の面積に相当する。したがって、隠蔽パラメータｆ1が大きいときは、画像内に大きな非発光物体が存在していると推定される。換言すれば、隠蔽パラメータｆ1が大きいときは、非発光物体が自動車１の近くにまで接近してきていると推定することができる。
【００４８】
ステップＳ１６において、隠蔽率算出部３６は、差分画像および背景画像に基づいて、隠蔽パラメータｆ2を算出する。隠蔽パラメータｆ2は、下式で表される。
【数２】
「Ｓｄ」は、隠蔽面積算出部３５により算出された値が使用される。「Ｓb」は、下式で表される。
【数３】
「ｐ」は、背景画像Ｂ内の画素を表す。「Ｔb」は、画素値の閾値（閾値輝度レベル）を表す。ここで、閾値Ｔdおよび閾値Ｔbは、互いに同じであってもよいし、互いに異なっていてもよい。ただし、上記（１）式によれば、背景画像Ｂの各画素値は、差分画像Ｄの対応する画素値よりも小さくなることはない。すなわち、Ｂ(x,y) ≧ Ｄ(x,y)である。したがって、閾値Ｔbは、閾値Ｔdよりも大きな値であることが好ましい。
【００４９】
このように、隠蔽パラメータｆ2は、差分画像Ｄにおいて閾値Ｔdよりも高い輝度を有する画素の数と、背景画像Ｂにおいて閾値Ｔbよりも高い輝度を有する画素の数との比率を表す。例えば、図８に示す例では、隠蔽パラメータｆ2として、図８（ｅ）に示す差分画像上の光源２１に対応する画素の数と、図８（ｃ）に示す背景画像上の光源２１に対応する画素の数との比率が算出される。すなわち、隠蔽パラメータｆ2は、背景画像に存在する光源のうち、どの程度の割合でそれらの光源が非発光物体により隠蔽されたのかを表している。したがって、隠蔽パラメータｆ2が大きいときは、画像内に大きな非発光物体が存在していると推定される。換言すれば、隠蔽パラメータｆ2が大きいときも、非発光物体が自動車１の近くにまで接近してきていると推定することができる。
【００５０】
ステップＳ１７は、図４に示すフローチャートのステップＳ５に相当する。ステップＳ１７において、警告判定部３７は、下記の２つの条件が満たされているかチェックする。
（１）隠蔽パラメータ（隠蔽面積）ｆ1 ＞閾値Ｔ1
（２）隠蔽パラメータ（隠蔽率）ｆ2 ＞閾値Ｔ2
閾値Ｔ1、Ｔ2は、画面の解像度（画素数）、カメラ画角などに基づいて予め決められているものとする。そして、上記２つの条件の少なくとも一方が満たされている場合は、図４に示すステップＳ６へ進む。上記２つの条件がいずれも満たされない場合は、図４のステップＳ６、Ｓ７を実行することなく、処理を終了する。
【００５１】
このように、実施形態の移動体検知方法では、隠蔽パラメータとして隠蔽面積および隠蔽率の双方が使用される。隠蔽面積を利用する判定は、背景全体がある程度の画素値を有する環境（例えば、全体的に薄暗い環境など）において有効である。一方、隠蔽率を利用する判定は、背景の画素値がゼロに近く、光源が点在するのみの環境（例えば、全体的に暗く、遠くに幾つかの街灯が存在する環境）において有効である。
【００５２】
図９および図１０は、隠蔽面積を利用する判定および隠蔽率を利用する判定を比較して説明する図である。図９および図１０において、ドット領域５１は、薄暗い状態（画素値がゼロではないが、大きくもない領域）を表す。斜線領域５２は、暗い状態（画素値がゼロまたはゼロに近い領域）を表す。光源２１は、画素値が大きい領域を表す。また、以下の条件が得られているものとする。
（１）画面の画素数：１００００
（２）ドット領域５１の画素値：４
（３）斜線領域５２の画素値：ゼロ
（４）光源２１の画素値：１０
（５）背景画像における光源２１の面積（画素数）：５００
（６）非発光物体５３の面積（画素数）：１５００
（７）差分画像における光源２１の面積（画素数）：１００
（８）図９（ｃ）に示す差分画像におけるドット領域５１の面積（画素数）：１４００
（９）画素値の閾値Ｔb、Ｔd：３
（１０）隠蔽面積を判定するための閾値Ｔ１：３００
（１１）隠蔽率を判定するための閾値Ｔ２：０．１７５
【００５３】
図９は、背景全体がある程度の照度を有する環境で得られた背景画像、入力画像、差分画像を示している。図９（ａ）に示す背景画像においては、全体的にある程度の画素値を有するドット領域５１が広がっている。そして、そのような背景において、複数の光源２１が存在している。また、図９（ｂ）に示す入力画像には、非発光物体５３が存在する。非発光物体５３の画素値は、背景よりも低くなる。この例では、背景の画素値が「４」であるのに対して、入力画像において非発光物体５３の画素値はゼロであるものとする。ここで、差分画像は、背景画像の画素値から入力画像の対応する画素値を引算することにより生成される。よって、差分画像においては、図９（ｃ）に示すように、非発光物体５３とほぼ同じ形状の領域の画素値が「４（＝４−０）」になる。そして、その領域内に光源２１が存在する。なお、非発光物体５３に対応する領域の外側の領域の画素値は、ほぼゼロ（＝４−４）になる。
【００５４】
図９（ｃ）に示す差分画像において、閾値Ｔd よりも大きな画素値を有する領域は、光源２１およびドット領域５１である。そうすると、差分画像において閾値Ｔdよりも大きな画素値を有する領域の面積は「１５００（＝１００＋１４００）」であり、上記面積閾値Ｔ１よりも大きいので、「警告あり」と判定される。なお、図９（ａ）に示す背景画像では、背景全体が閾値Ｔbよりも明るいので、その閾値Ｔbよりも大きな画素値を有する領域の面積は「１００００」である。この場合、隠蔽率は、「０．１５（＝１５００／１００００）」であり、面積閾値Ｔ２よりも小さいので、「警告なし」と判定される。
【００５５】
このように、背景全体がある程度の画素値を有する場合は、ステップＳ１５のＴdによる閾値判定において、差分画像に存在する光源２１だけではなく、差分画像に表れるドット領域５１も「光源画素」として検出される。このため、差分画像において、非発光物体５３により隠蔽される領域がほぼそのまま検出されることになる。したがって、差分画像から算出される隠蔽パラメータｆ1（すなわち、隠蔽面積）を利用して、非発光物体５３を検知することができる。
【００５６】
図１０は、背景が暗い環境下で得られた背景画像、入力画像、差分画像を示している。なお、図１０に示す例における背景画像および非発光物体５３は、図９と同じである。この例では、図１０（ｃ）に示す差分画像において、閾値Ｔdよりも大きな画素値を有する領域は、光源２１のみである。このため、差分画像において閾値Ｔdよりも大きな画素値を有する領域の面積は「１００」であり、面積閾値Ｔ１よりも小さいので、「警告なし」と判定されてしまう。一方、図１０（ａ）に示す背景画像では、閾値Ｔb よりも大きな画素値を有する領域は光源２１だけであり、その面積は「５００」である。そうすると、隠蔽率は、「０．２（＝１００／５００）」であり、面積閾値Ｔ２よりも大きいので、「警告あり」と判定される。
【００５７】
このように、背景全体が暗い場合は、差分画像において、非発光物体により隠蔽される領域全体が検出されるのではなく、非発光物体により隠蔽される領域内の光源２１のみが検出される。したがって、この場合、隠蔽パラメータｆ1は、非発光物体により実際に隠蔽された面積よりも小さくなり、隠蔽面積を利用する判定では、その非発光物体を検知できないことがある。これに対して、隠蔽率を利用する場合は、光源２１が隠蔽された割合に基づいて判定が行われるので、背景全体が暗い場合に有効である。
【００５８】
上述の手順において「警告あり」と判定された場合、図３に示す警告レベル算出部１４は、警告レベルｇを算出する。警告レベルｇは、隠蔽面積を利用して判定が行われる場合には、例えば、ｇ＝c1×f1により算出される。また、警告レベルｇは、隠蔽率を利用して判定が行われる場合には、例えば、ｇ＝c2×f2により算出される。なお、「c1」および「c2」は、それぞれ予めシミュレーション等により決められた定数である。また、隠蔽面積および隠蔽率の双方で「警告あり」と判定された場合は、警告レベルｇが大きい方の値を採用するようにしてもよい。この後、通知部１５は、算出された警告レベルｇに基づいて、移動体が接近していることをドライバ２に通知する。
【００５９】
＜他の実施形態＞
隠蔽パラメータｆ1、ｆ2を継続的にモニタし、それらの値の変化に応じて警告を出力するようにしてもよい。図１１に示す例では、時刻ｔ１および時刻ｔ２において隠蔽パラメータが算出されている。なお、この実施例では、停止している自動車１に向かって移動体６１が接近してきているものとする。
【００６０】
時刻ｔ１においては、移動体６１により２個の光源２１が隠蔽されている。このため、時刻ｔ１における差分画像では、隠蔽された２個の光源２１が検出される。続いて、時刻ｔ２においては、入力画像内で移動体６１が占める領域が大きくなっており、５個の光源２１が隠蔽されている。よって、時刻ｔ２における差分画像では、隠蔽された５個の光源２１が検出される。この場合、時刻ｔ２において算出される隠蔽パラメータは、時刻ｔ１において検出された隠蔽パラメータよりも大きくなっている。したがって、移動体検知装置は、非発光物体（ここでは、移動体６１）が自動車１に近づいてきていることを検知する。
【００６１】
このように、隠蔽パラメータの変化をモニタする方法では、警告レベル算出部１３は、隠蔽パラメータが連続的に増加したときに警告を出力するようにしてもよい。また、警告レベル算出部１３は、図１２に示すように、隠蔽パラメータが連続的に増加したときに警告レベルを高くするようにしてもよい。この方法によれば、あるフレームにおいてノイズ等により不安定な画像が入力された場合は、その画像は警告対象から除外されるので、誤検知を回避することができる。
【００６２】
また、背景画像および差分画像それぞれについて、差分画像において閾値よりも高い画素値を有する領域の平均輝度を算出し、算出される１組の平均輝度の差分が小さいほど警告レベルを高くするようにしてもよい。ある領域において差分画像の平均輝度が背景画像の平均輝度に近いほど、より暗い物体がその領域を隠蔽していると推定される。
【００６３】
さらに、上述の実施例では、背景画像と入力画像との差分画像を生成し、その差分画像を利用して隠蔽パラメータが算出されるが、本発明はこの構成または手順に限定されるものではない。すなわち、例えば、以下の手順で警告の要否を判定するようにしてもよい。まず、背景画像および入力画像において、それぞれ、所定の閾値レベルよりも輝度が高い光源画素を検出する。ここで、検出される光源画素は、閾値レベルに依存する。例えば、閾値レベルを高く設定すれば、光源２１は検出されるが、図９に示すドット領域５１は検出されない。また、閾値レベルを低く設定すれば、光源２１およびドット領域５１の双方が検出される。そして、背景画像から検出された光源画素の数よりも入力画像から検出された光源画素の数が少ないときに警告を出力する。このとき、光源画素の減少は、非発光移動体の接近に起因すると推定される。
【００６４】
さらに、自動車１に搭載されるカメラの台数は、特に限定されるものではなく、たとえば、魚眼レンズまたはプリズムレンズを備える１台のカメラで左右双方の死角領域を撮影するようにしてもよい。
【００６５】
さらに、図１に示すように、自動車１が複数のカメラ３Ｒ、３Ｌを備える場合には、各カメラの画像について実施形態の移動体検知方法を行うか否かを判断してもよい。たとえば、図１に示す自動車１の右側領域が明るく左側領域が暗いものとすると、カメラ３Ｌの画像に対してのみ実施形態の移動体検知方法が実行されるようにしてもよい。
【００６６】
さらに、図４に示すフローチャートにおいてステップＳ５の処理を省略してもよい。この場合、ブラインドコーナーモニタが動作中であれば、常に警告レベルが算出される。そして、隠蔽パラメータが十分に小さい場合には、警告レベルが最も低い値に設定される。
【００６７】
さらに、上述の実施例では、自動車１が停止している場合について説明したが、実施形態の方法は、自動車１が走行しているときに実行されてもよい。この場合、背景画像と新たな入力画像との間で位置合わせ処理が行われ、背景画像および入力画像の共通領域に対して上述の検知方法が実行される。
【００６８】
＜移動体検知装置のハードウェア構成＞
図１３は、実施形態の移動体検知装置１０を実現するコンピュータのハードウェア構成を示す図である。図１３において、ＣＰＵ１０１は、メモリ１０３を利用して移動体検知プログラムを実行する。記憶装置１０２は、例えばハードディスクであり、移動体検知プログラムを格納する。なお、記憶装置１０２は、外部記録装置であってもよい。メモリ１０３は、例えば半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んで構成される。入力画像メモリ４１、背景画像メモリ４２、背景画像統計量メモリ４３、差分画像メモリ４４は、例えば、メモリ１０３を利用して実現される。
【００６９】
読み取り装置１０４は、ＣＰＵ１０１の指示に従って可搬型記録媒体１０５にアクセスする。可搬型記録媒体１０５は、例えば、半導体デバイス（ＰＣカード等）、磁気的作用により情報が入出力される媒体、光学的作用により情報が入出力される媒体を含むものとする。通信インタフェース１０６は、ＣＰＵ１０１の指示に従って、ネットワークを介してデータを送受信する。入出力装置１０７は、この実施例では、カメラ、表示装置、ユーザからの指示を受け付けるデバイス等とのインタフェースを提供する。
【００７０】
実施形態に係わる移動体検知プログラムは、例えば、下記の形態で提供される。
（１）記憶装置１０２に予めインストールされている。
（２）可搬型記録媒体１０５により提供される。
（３）プログラムサーバ１１０からダウンロードする。
そして、上記構成のコンピュータで移動体検知プログラムを実行することにより、実施形態に係わる移動体検知装置が実現される。
【００７１】
＜実施形態の構成および方法による効果＞
実施形態の移動体検知装置および方法によれば、可視光カメラを利用して、夜間に接近してくる無灯火自転車および歩行者などを検知することができる。また、移動体が非発光物体であっても、その移動体に投光することなくその移動体を検知することができる。さらに、暗い環境下であっても、赤外線カメラ等を用いることなく非発光移動体を検知できるので、コストの増加が抑えられる。
【００７２】
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）
カメラにより撮影された１または複数の画像から生成される第１の画像、および前記カメラにより前記１または複数の画像よりも後に撮影された第２の画像、を取得する画像取得部と、
前記第１の画像の各画素値から前記第２の画像の対応する各画素値をそれぞれ引算して差分画像を生成する差分画像生成部と、
前記差分画像において所定の閾値レベルを越える画素値を有する画素の数に基づいて隠蔽パラメータを算出する算出部と、
前記隠蔽パラメータが所定の条件を満たすときに警告を出力する警告出力部、
を有する移動体検知装置。
（付記２）
付記１に記載の移動体検知装置であって、
前記隠蔽パラメータは、前記差分画像において前記閾値レベルを越える画素値を有する画素により構成される領域の面積であり、
前記警告出力部は、前記領域の面積が閾値面積よりも大きいときに警告を出力する
ことを特徴とする移動体検知装置。
（付記３）
付記１に記載の移動体検知装置であって、
前記隠蔽パラメータは、前記第１の画像において画素値が前記閾値レベルを越える画素の数に対する、前記差分画像において画素値が前記閾値レベルを越える画素の数の比率であり、
前記警告出力部は、前記比率が閾値比率よりも大きいときに警告を出力する
ことを特徴とする移動体検知装置。
（付記４）
付記１〜３のいずれか１つに記載の移動体検知装置であって、
前記警告出力部は、前記隠蔽パラメータを時系列的にモニタし、前記隠蔽パラメータが連続的に一定の方向に向かって変化するときに警告レベルを引き上げる
ことを特徴とする移動体検知装置。
（付記５）
付記１〜３のいずれか１つに記載の移動体検知装置であって、
前記警告出力部は、前記差分画像において所定の閾値レベルを越える画素値を有する画素から構成される領域において、前記第１の画像の平均画素値と前記差分画像の平均画素値との差分が小さくなるにつれて、警告レベルを引き上げる
ことを特徴とする移動体検知装置。
（付記６）
付記１〜５のいずれか１つに記載の移動体検知装置であって、
前記算出部は、前記第１または第２の画像の輝度分布が所定の閾値分布よりも低いときに、前記隠蔽パラメータを算出する
ことを特徴とする移動体検知装置。
（付記７）
付記１〜５のいずれか１つに記載の移動体検知装置であって、
前記移動体検知装置は、車両に搭載され、
前記算出部は、前記車両の周囲の照度が所定の閾値照度よりも低いときに、前記隠蔽パラメータを算出する
ことを特徴とする移動体検知装置。
（付記８）
付記１〜７のいずれか１つに記載の移動体検知装置であって、
前記移動体検知装置は、車両に搭載され、
前記移動体検知装置は、前記車両が停止しているときに動作する
ことを特徴とする移動体検知装置。
（付記９）
付記１〜８のいずれか１つに記載の移動体検知装置であって、
前記第１の画像は、各画素の画素値が所定時間よりも長い期間に渡って変化していない背景画像である
ことを特徴とする移動体検知装置。
（付記１０）
カメラにより撮影された１または複数の画像から生成される第１の画像、および前記カメラにより前記１または複数の画像よりも後に撮影された第２の画像、を取得する画像取得部と、
前記第１および第２の画像において、それぞれ、所定の閾値レベルよりも輝度が高い光源画素を検出する検出部と、
前記第１の画像の光源画素の数よりも前記第２の画像の光源画素の数が少ないときに警告を出力する警告出力部、
を有する移動体検知装置。
（付記１１）
カメラにより撮影された１または複数の画像から生成される第１の画像、および前記カメラにより前記１または複数の画像よりも後に撮影された第２の画像、を取得し、
前記第１の画像の各画素値から前記第２の画像の対応する各画素値をそれぞれ引算して差分画像を生成し、
前記差分画像において所定の閾値レベルを越える画素値を有する画素の数に基づいて隠蔽パラメータを算出し、
前記隠蔽パラメータが所定の条件を満たすときに警告を出力する、
ことを特徴とする移動体検知方法。
（付記１２）
コンピュータに、
カメラにより撮影された１または複数の画像から生成される第１の画像の各画素値から、前記カメラにより前記１または複数の画像よりも後に撮影された第２の画像の対応する各画素値をそれぞれ引算して差分画像を生成する手順、
前記差分画像において所定の閾値レベルを越える画素値を有する画素の数に基づいて隠蔽パラメータを算出する手順、
前記隠蔽パラメータが所定の条件を満たすときに警告を出力する手順、
を実行させる移動体検知プログラム。
【符号の説明】
【００７３】
１ 自動車
３Ｒ、３Ｌ カメラ
４ 表示装置
５ 移動体
１０ 移動体検知装置
１１ 画像入力部
１２ 動作条件判定部
１３ 隠蔽パラメータ算出部
１４ 警告レベル算出部
１５ 通知部
２１ 光源
２２ 非発光物体
３１ 動作開始条件判定部
３２ 背景画像設定部
３３ 差分画像算出部
３４ 背景画像更新部
３５ 隠蔽面積算出部
３６ 隠蔽率算出部
３７ 警告判定部
４１ 入力画像メモリ
４２ 背景画像メモリ
４３ 背景画像統計量メモリ
４４ 差分画像メモリ
【特許請求の範囲】
【請求項１】
カメラにより撮影された１または複数の画像から生成される第１の画像、および前記カメラにより前記１または複数の画像よりも後に撮影された第２の画像、を取得する画像取得部と、
前記第１の画像の各画素値から前記第２の画像の対応する各画素値をそれぞれ引算して差分画像を生成する差分画像生成部と、
前記差分画像において所定の閾値レベルを越える画素値を有する画素の数に基づいて隠蔽パラメータを算出する算出部と、
前記隠蔽パラメータが所定の条件を満たすときに警告を出力する警告出力部、
を有する移動体検知装置。
【請求項２】
請求項１に記載の移動体検知装置であって、
前記隠蔽パラメータは、前記差分画像において前記閾値レベルを越える画素値を有する画素により構成される領域の面積であり、
前記警告出力部は、前記領域の面積が閾値面積よりも大きいときに警告を出力する
ことを特徴とする移動体検知装置。
【請求項３】
請求項１に記載の移動体検知装置であって、
前記隠蔽パラメータは、前記第１の画像において画素値が前記閾値レベルを越える画素の数に対する、前記差分画像において画素値が前記閾値レベルを越える画素の数の比率であり、
前記警告出力部は、前記比率が閾値比率よりも大きいときに警告を出力する
ことを特徴とする移動体検知装置。
【請求項４】
請求項１〜３のいずれか１つに記載の移動体検知装置であって、
前記警告出力部は、前記隠蔽パラメータを時系列的にモニタし、前記隠蔽パラメータが連続的に一定の方向に向かって変化するときに警告レベルを引き上げる
ことを特徴とする移動体検知装置。
【請求項５】
カメラにより撮影された１または複数の画像から生成される第１の画像、および前記カメラにより前記１または複数の画像よりも後に撮影された第２の画像、を取得し、
前記第１の画像の各画素値から前記第２の画像の対応する各画素値をそれぞれ引算して差分画像を生成し、
前記差分画像において所定の閾値レベルを越える画素値を有する画素の数に基づいて隠蔽パラメータを算出し、
前記隠蔽パラメータが所定の条件を満たすときに警告を出力する、
ことを特徴とする移動体検知方法。
【請求項６】
コンピュータに、
カメラにより撮影された１または複数の画像から生成される第１の画像の各画素値から、前記カメラにより前記１または複数の画像よりも後に撮影された第２の画像の対応する各画素値をそれぞれ引算して差分画像を生成する手順、
前記差分画像において所定の閾値レベルを越える画素値を有する画素の数に基づいて隠蔽パラメータを算出する手順、
前記隠蔽パラメータが所定の条件を満たすときに警告を出力する手順、
を実行させる移動体検知プログラム。
【請求項１】
カメラにより撮影された１または複数の画像から生成される第１の画像、および前記カメラにより前記１または複数の画像よりも後に撮影された第２の画像、を取得する画像取得部と、
前記第１の画像の各画素値から前記第２の画像の対応する各画素値をそれぞれ引算して差分画像を生成する差分画像生成部と、
前記差分画像において所定の閾値レベルを越える画素値を有する画素の数に基づいて隠蔽パラメータを算出する算出部と、
前記隠蔽パラメータが所定の条件を満たすときに警告を出力する警告出力部、
を有する移動体検知装置。
【請求項２】
請求項１に記載の移動体検知装置であって、
前記隠蔽パラメータは、前記差分画像において前記閾値レベルを越える画素値を有する画素により構成される領域の面積であり、
前記警告出力部は、前記領域の面積が閾値面積よりも大きいときに警告を出力する
ことを特徴とする移動体検知装置。
【請求項３】
請求項１に記載の移動体検知装置であって、
前記隠蔽パラメータは、前記第１の画像において画素値が前記閾値レベルを越える画素の数に対する、前記差分画像において画素値が前記閾値レベルを越える画素の数の比率であり、
前記警告出力部は、前記比率が閾値比率よりも大きいときに警告を出力する
ことを特徴とする移動体検知装置。
【請求項４】
請求項１〜３のいずれか１つに記載の移動体検知装置であって、
前記警告出力部は、前記隠蔽パラメータを時系列的にモニタし、前記隠蔽パラメータが連続的に一定の方向に向かって変化するときに警告レベルを引き上げる
ことを特徴とする移動体検知装置。
【請求項５】
カメラにより撮影された１または複数の画像から生成される第１の画像、および前記カメラにより前記１または複数の画像よりも後に撮影された第２の画像、を取得し、
前記第１の画像の各画素値から前記第２の画像の対応する各画素値をそれぞれ引算して差分画像を生成し、
前記差分画像において所定の閾値レベルを越える画素値を有する画素の数に基づいて隠蔽パラメータを算出し、
前記隠蔽パラメータが所定の条件を満たすときに警告を出力する、
ことを特徴とする移動体検知方法。
【請求項６】
コンピュータに、
カメラにより撮影された１または複数の画像から生成される第１の画像の各画素値から、前記カメラにより前記１または複数の画像よりも後に撮影された第２の画像の対応する各画素値をそれぞれ引算して差分画像を生成する手順、
前記差分画像において所定の閾値レベルを越える画素値を有する画素の数に基づいて隠蔽パラメータを算出する手順、
前記隠蔽パラメータが所定の条件を満たすときに警告を出力する手順、
を実行させる移動体検知プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−２８３７１（Ｐ２０１１−２８３７１Ａ）
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願番号】特願２００９−１７１１２０（Ｐ２００９−１７１１２０）
【出願日】平成２１年７月２２日（２００９．７．２２）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願日】平成２１年７月２２日（２００９．７．２２）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]