移動体検出装置、移動体検出方法及びプログラム
【課題】周囲の明るさに関係なく、移動体像を高精度に検出する。
【解決手段】撮像部１０は、１フレームのＲＧＢ信号をフレーム周期で画像メモリ２０に格納する。輝度変化検出部３０は、輝度の時間変化量を検出する。輝度正規化部４０は、検出された輝度の時間変化量を正規化する。色差変化検出部５０は、ＲＧＢ信号における色差の時間変化量を検出する。色差正規化部６０は、検出色差の時間変化量を正規化する。判定部７０は、正規化された輝度の時間変化量と色差の時間変化量との大小を判定する。選択部８０は、大きい方の時間変化量を、移動体像を抽出するための情報として選択する。
【解決手段】撮像部１０は、１フレームのＲＧＢ信号をフレーム周期で画像メモリ２０に格納する。輝度変化検出部３０は、輝度の時間変化量を検出する。輝度正規化部４０は、検出された輝度の時間変化量を正規化する。色差変化検出部５０は、ＲＧＢ信号における色差の時間変化量を検出する。色差正規化部６０は、検出色差の時間変化量を正規化する。判定部７０は、正規化された輝度の時間変化量と色差の時間変化量との大小を判定する。選択部８０は、大きい方の時間変化量を、移動体像を抽出するための情報として選択する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、色情報を含む撮像信号に基づいて、例えば、車両などの移動体像を検出する移動体検出装置、移動体検出方法及びプログラムに関する。
【背景技術】
【０００２】
カメラを用いた監視システムが、従来から広く一般的に用いられている。近年、カメラからの映像を映し出すモニタを用いた有人監視ではなく、カメラからの撮像信号を画像処理することにより、人間や自動車など移動する物体の検出を自動的に行う監視システムが開示されている（例えば、特許文献１〜４参照）。
【０００３】
【特許文献１】特開平９−２７０００９号公報
【特許文献２】特開平１１−６６４９０号公報
【特許文献３】特開平９−７３５４１号公報
【特許文献４】特開平１０−２８９３９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記特許文献１〜３に記載のシステムでは、撮像データから、時間的に輝度が変化した部分や色が変化した部分を抽出することにより、移動する物体が検出される。しかしながら、このような検出方法では、検出精度は、周囲の明るさの変化などの周囲の環境に左右される。
【０００５】
上記特許文献４に記載のシステムでは、周囲の明るさによって検出方法が変わる。このシステムは、周囲の照度を計測し、昼間で周囲の明るさが閾値以上であれば、輝度が変化した部分又は色相が変化した部分の重複部分を、移動体像として検出する。さらに、このシステムは、昼間で周囲の明るさが閾値より小さい場合には、輝度が変化した部分又は色相が変化した部分全体を、移動体像として検出する。このシステムによれば、周囲の明るさに応じて移動体の検出方法を変更するので、周囲の明るさに関わらず、移動体像をより正確に検出できる。
【０００６】
しかしながら、上記特許文献４に記載のシステムでは、周囲の照度を計測する必要があり、そのためのセンサが必要となる。また、周囲の照度の閾値が適切に設定されている必要がある。適切な閾値はカメラの設置環境に応じて異なるので、調整される必要があるが、その調整は、煩雑で面倒な作業である。
【０００７】
本発明は、上記事情に鑑みてなされたもので、周囲の明るさに関係なく、移動体像を高精度に検出することができる移動体検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の第１の観点に係る移動体検出装置は、
色情報を含む撮像信号を取得する信号取得部と、
前記取得された撮像信号における輝度の時間変化量を検出する輝度変化検出部と、
前記取得された撮像信号における色の時間変化量を検出する色変化検出部と、
前記検出された輝度の時間変化量と、前記検出された色の時間変化量とを、比較可能な情報量に変換する変換部と、
前記変換された輝度の時間変化量と色の時間変化量との大小を判定する判定部と、
輝度の時間変化量の方が大きいと判定された場合には、前記撮像信号における輝度の時間変化を、移動体像を抽出するための情報として選択し、色の時間変化量の方が大きいと判定された場合には、前記撮像信号における色の時間変化を、移動体像を抽出するための情報として選択する選択部と、
を備える。
【０００９】
前記変換部は、
前記輝度変化検出部によって検出された輝度の時間変化量を、正規化し、
前記色変化検出部によって検出された色の時間変化量を、正規化することとしてもよい。
【００１０】
前記色変化検出部は、
前記撮像信号に含まれる色情報の所定の色空間における色度座標の変化に基づいて、色の時間変化量を検出することとしてもよい。
【００１１】
前記選択された情報に基づいて移動体像を抽出する抽出部と、
前記抽出部によって抽出された移動体像の位置に基づいて、前記移動体像の軌跡を生成する軌跡生成部と、
をさらに備えることとしてもよい。
【００１２】
本発明の第２の観点に係る移動体検出方法は、
色情報を含む撮像信号における輝度の時間変化量を検出する第１の工程と、
前記撮像信号における色の時間変化量を検出する第２の工程と、
前記第１の工程で検出された輝度の時間変化量と、前記第２の工程で検出された色の時間変化量とを、比較可能な情報量に変換する第３の工程と、
前記変換された輝度の時間変化量と色の時間変化量との大小を判定する第４の工程と、
輝度の時間変化量の方が大きいと判定された場合には、前記撮像信号における輝度の時間変化を、移動体像を抽出するための情報として選択し、色の時間変化量の方が大きいと判定された場合には、前記撮像信号における色の時間変化を、移動体像を抽出するための情報として選択する第５の工程と、
を含む。
【００１３】
本発明の第３の観点に係るプログラムは、
色情報を含む撮像信号における輝度の時間変化量を検出する第１の手順と、
前記撮像信号における色の時間変化量を検出する第２の手順と、
前記第１の手順で検出された輝度の時間変化量と、前記第２の手順で検出された色の時間変化量とを、比較可能な情報量に変換する第３の手順と、
前記変換された輝度の時間変化量と色の時間変化量との大小を判定する第４の手順と、
輝度の時間変化量の方が大きいと判定された場合には、前記撮像信号における輝度の時間変化を、移動体像を抽出するための情報として選択し、色の時間変化量の方が大きいと判定された場合には、前記撮像信号における色の時間変化を、移動体像を抽出するための情報として選択する第５の手順と、
をコンピュータに実行させる。
【発明の効果】
【００１４】
本発明によれば、周囲の明るさに関係なく、移動体像を高精度に検出することが可能となる。
【発明を実施するための最良の形態】
【００１５】
次に、本発明の一実施形態について図面を参照して詳細に説明する。本実施形態に係る移動体検出装置は、例えば駐車場における車両の駐退車を管理するために設けられている。
【００１６】
図１には、本実施形態に係る移動体検出装置１００の概略的な構成が示されている。図１に示されるように、移動体検出装置１００は、撮像部１０と、画像メモリ２０と、輝度変化検出部３０と、輝度正規化部４０と、色差変化検出部５０と、色差正規化部６０と、判定部７０と、選択部８０と、移動体追跡部９０と、を備える。
【００１７】
信号取得部としての撮像部１０は、例えば駐車場内の映像を撮像できる位置に設定された監視カメラを有している。監視カメラは、その駐車場内において監視対象となっている領域を撮像し、カラーの撮像信号を出力する。撮像部１０は、Ａ／Ｄ変換器をさらに有している。Ａ／Ｄ変換器は、監視カメラから出力されたアナログのカラー撮像信号をデジタルのカラー撮像信号に変換する。
【００１８】
このカラー撮像信号は、ＲＧＢ信号である。ＲＧＢ信号は、赤（Ｒ成分）、緑（Ｇ成分）、青（Ｂ成分）の３成分から成る映像信号である。ＲＧＢ信号では、１色１ドット、計３ドットで１画素が構成される。
【００１９】
１画素におけるＲＧＢ信号の赤成分をＲ成分とし、緑成分をＧ成分とし、青成分をＢ成分とする。Ｒ成分、Ｇ成分、Ｂ成分は、それぞれ８ビットデータであり、それぞれの色が、２５６階調で表現されている。言い換えると、８ビットのＲ成分、Ｇ成分、Ｂ成分で一画素分のＲＧＢ信号が構成され、各画素の撮像データが集まって、１画像分（すなわち１フレーム）のＲＧＢ信号が構成されている。
【００２０】
撮像部１０は、１フレームのＲＧＢ信号を、所定のフレーム周期で、繰り返し出力する。ここで、ｍ（ｍ＝１、２、・・・）フレーム目の画素ｎ（ｎ＝１、２、３、・・・）のＲＧＢ信号について、そのＲ成分をＲ（ｍ、ｎ）とし、Ｇ成分をＧ（ｍ、ｎ）とし、Ｂ成分をＢ（ｍ、ｎ）とする。この場合、１つの画素における輝度Ｙ（ｍ、ｎ）は、以下の式（１）で表される。
Ｙ（ｍ、ｎ）＝０．２９９×Ｒ（ｍ、ｎ）＋０．５８７×Ｇ（ｍ、ｎ）＋０．１１４×Ｂ（ｍ、ｎ） …（１）
【００２１】
また、ｍフレーム目の画素ｎにおける色差は、Ｒ（ｍ、ｎ）−Ｙ（ｍ、ｎ）、Ｂ（ｍ、ｎ）−Ｙ（ｍ、ｎ）で表される。
【００２２】
撮像部１０は、１フレームのＲＧＢ信号を、周期的に、画像メモリ２０に出力している。画像メモリ２０は、撮像部１０から出力されたＲＧＢ信号に対応する撮像データを記憶する。
【００２３】
以下では、現在のフレーム周期でのフレームを、「今回フレーム」とし、ｍで表す。そして、画像メモリ２０に格納された今回フレームｍの画素ｎの撮像データを（Ｒ（ｍ、ｎ）、Ｇ（ｍ、ｎ）、Ｂ（ｍ、ｎ））と表現し、１つ前のフレームｍ−１での画素ｎの撮像データを（Ｒ（ｍ−１、ｎ）、Ｇ（ｍ−１、ｎ）、Ｂ（ｍ−１、ｎ））とも表現する。
【００２４】
輝度変化検出部３０は、今回フレームの撮像データ（Ｒ（ｍ、ｎ）、Ｇ（ｍ、ｎ）、Ｂ（ｍ、ｎ））を、画像メモリ２０から読み出す。
【００２５】
そして、輝度変化検出部３０は、上記式（１）を用いて、今回フレームの撮像データ（Ｒ（ｍ、ｎ）、Ｇ（ｍ、ｎ）、Ｂ（ｍ、ｎ））に基づいて、各画素ｎの輝度Ｙ（ｍ、ｎ）を、全ての画素について算出する。この輝度Ｙ（ｍ、ｎ）は、次のフレームで用いるために記憶される。
【００２６】
輝度変化検出部３０は、１つ前のフレーム周期のフレーム、すなわちフレームｍ−１についても、各画素ｎの輝度Ｙ（ｍ−１、ｎ）を全ての画素について算出し、これらを記憶している。輝度変化検出部３０は、それらを読み出し、画素ｎでのフレーム間の輝度の差、すなわち、Ｙ（ｍ、ｎ）とＹ（ｍ−１、ｎ）との差分ｄ１（ｍ、ｎ）を、全ての画素について算出する。
【００２７】
次に、輝度変化検出部３０は、差分ｄ１（ｍ、ｎ）が、閾値以上となる画素ｎを抽出する。なお、抽出された画素ｎに関する情報は、選択部８０に出力される。
【００２８】
さらに、輝度変化検出部３０は、抽出された画素ｎについての差分ｄ１（ｍ、ｎ）の平均値ａ１（ｍ）を算出する。この平均値ａ１（ｍ）を、輝度変化平均値とする。この輝度変化平均値ａ１（ｍ）が、輝度の時間変化量に対応する。輝度変化検出部３０は、輝度変化平均値ａ１（ｍ）を、輝度正規化部４０に出力する。
【００２９】
変換部としての輝度正規化部４０は、輝度変化平均値ａ１（ｍ）を、最大輝度と最小輝度との差、すなわち輝度変化平均値の変動可能範囲で除算することにより、これを正規化する。これにより、フレーム間での輝度の時間変化量が無次元化され、百分率で表されるようになる。正規化された輝度変化平均値を、ａｎ１（ｍ）とする。正規化された輝度変化平均値ａｎ１（ｍ）は、判定部７０に出力される。
【００３０】
一方、輝度変化検出部３０は、今回フレームの輝度Ｙ（ｍ、ｎ）を、色差変化検出部５０に出力している。
【００３１】
色差変化検出部５０は、今回フレームの撮像データ（Ｒ（ｍ、ｎ）、Ｇ（ｍ、ｎ）、Ｂ（ｍ、ｎ））を、画像メモリ２０から読み出す。
【００３２】
次に、色差変化検出部５０は、今回フレームの撮像データ（Ｒ（ｍ、ｎ）、Ｇ（ｍ、ｎ）、Ｂ（ｍ、ｎ））と、今回フレームの輝度Ｙ（ｍ、ｎ）とに基づいて、色差Ｒ（ｍ、ｎ）−Ｙ（ｍ、ｎ）、Ｂ（ｍ、ｎ）−Ｙ（ｍ、ｎ）を算出する。そして、色差変化検出部５０は、Ｒ−Ｙ平面、Ｂ−Ｙ平面への射影により、Ｙ（Ｒ−Ｙ）（Ｂ−Ｙ）色空間における今回フレームｍの画素ｎでの六角形の色度座標Ｃ１（ｍ、ｎ）を、全ての画素について算出する。この色度座標Ｃ１（ｍ、ｎ）は、次のフレーム周期で用いるために記憶される。
【００３３】
色差変化検出部５０は、１つ前のフレーム周期で、フレームｍ−１についても、各画素ｎの色度座標Ｃ１（ｍ−１、ｎ）を全ての画素について算出し、これらを記憶している。色差変化検出部５０は、それらを読み出し、画素ｎでのＹ（Ｒ−Ｙ）（Ｂ−Ｙ）色空間の色度座標Ｃ１（ｍ、ｎ）と、色度座標Ｃ１（ｍ−１、ｎ）との距離ｄ２（ｍ、ｎ）を、全ての画素について算出する。
【００３４】
次に、色差変化検出部５０は、距離ｄ２（ｍ、ｎ）が、閾値以上となる画素ｎを抽出する。なお、抽出された画素ｎに関する情報は、選択部８０に出力される。
【００３５】
さらに、色差変化検出部５０は、抽出された画素ｎについての距離ｄ２（ｍ、ｎ）の平均値ａ２（ｍ）を算出する。この平均値を、色差変化平均値ａ２（ｍ）とする。この色差変化平均値ａ２（ｍ）が、色差の時間変化量に対応する。色差変化検出部５０は、この色差変化平均値ａ２（ｍ）を、色差正規化部６０に出力する。
【００３６】
変換部としての色差正規化部６０は、色差変化平均値ａ２（ｍ）を、色差変化平均値ａ２（ｍ）が色空間で取りうる最大距離で除算することにより、これを正規化する。これにより、フレーム間での色差の時間変化量は、無次元化され、百分率で表されるようになる。正規化された色差変化平均値を、ａｎ２（ｍ）とする。色差変化平均値ａｎ２（ｍ）は、判定部７０に出力される。
【００３７】
判定部７０は、正規化された輝度変化平均値ａｎ１（ｍ）と、正規化された色差変化平均値ａｎ２（ｍ）との大小を判定する。判定部７０は、この判定結果を、選択部８０に出力する。
【００３８】
選択部８０は、前述のように、輝度変化検出部３０から、抽出された画素ｎに関する情報を入力するとともに、色差変化検出部５０から、抽出された画素ｎに関する情報を入力している。選択部８０は、これらの抽出された画素ｎによって構成される画素部分のいずれかを、移動体像のエッジ部分として選択する。
【００３９】
より具体的には、判定部７０によって、正規化された輝度変化平均値ａｎ１（ｍ）の方が大きいと判定された場合には、選択部８０は、輝度変化検出部３０によって抽出された画素ｎの部分を、移動体像のエッジ部分として選択する。
【００４０】
一方、判定部７０によって、正規化された色差変化平均値ａｎ２（ｍ）の方が大きいと判定された場合には、選択部８０は、色差変化検出部５０によって抽出された画素ｎの部分を、移動体像のエッジ部分として選択する。
【００４１】
選択部８０は、選択された画素ｎの部分に関する情報を、移動体追跡部９０に出力する。
【００４２】
抽出された移動体像のエッジは、そのフレームの撮像データに含まれる移動体像の輪郭に対応する。移動体追跡部９０は、抽出された部分全体の重心位置を、移動体像の中心位置として検出する。そして、移動体追跡部９０は、検出された移動体像の位置に基づいて、撮像視野内における移動体像の軌跡データを生成する。
【００４３】
次に、本実施形態に係る移動体検出装置１００の動作について説明する。図２には、本実施形態に係る移動体検出装置１００の動作を示すフローチャートが示されている。このフローチャートで示される動作は、フレーム周期で繰り返される。
【００４４】
撮像部１０により撮像データが画像メモリ２０に格納され、１フレームの撮像データが取得されると（ステップＳ１でＹｅｓ）、輝度変化検出部３０は、上述のようにして輝度変化平均値ａ１（ｍ）を検出し、色差変化検出部５０は、上述のようにして色差変化平均値ａ２（ｍ）を検出する（ステップＳ３）。なお、このステップＳ３では、輝度変化が閾値以上の画素ｎと、色差変化が閾値以上の画素ｎとが抽出され、それらの情報が選択部８０に送られている。
【００４５】
次に、輝度正規化部４０は、輝度変化平均値ａ１（ｍ）を正規化し、色差正規化部６０は、色差変化平均値ａ２（ｍ）を正規化する（ステップＳ５）。
【００４６】
次に、判定部７０が、正規化された輝度変化平均値ａｎ１（ｍ）と、正規化された色差変化平均値ａｎ２（ｍ）とを比較し、その大小関係を判定する（ステップＳ７）。
【００４７】
正規化された輝度変化平均値ａｎ１（ｍ）の方が大きい場合（ステップＳ７でＹｅｓ）には、選択部８０は、輝度変化検出部３０で抽出された画素ｎに関する情報（すなわち輝度変化）を、移動体像を抽出するための情報として選択する（ステップＳ９）。一方、正規化された色差変化平均値ａｎ２（ｍ）の方が大きい場合（ステップＳ７でＮｏ）には、選択部８０は、色差変化検出部５０で抽出された画素ｎに関する情報（すなわち色差変化）を、移動体像を抽出するための情報として選択する（ステップＳ１１）。
【００４８】
ステップＳ９又はＳ１１実行後、移動体追跡部９０は、選択された画素ｎに関する情報に基づいて、移動体像のエッジを抽出し、抽出されたエッジに基づいて、移動体像を抽出し、移動体像の位置を検出する（ステップＳ１３）。さらに、移動体追跡部９０は、過去のフレームで検出された移動体像の位置と、今回検出された移動体像の位置とに基づいて、移動体像の軌跡を生成する（ステップＳ１５）。ステップＳ１５終了後は、処理を終了する。
【００４９】
図３（Ａ）には、あるフレーム周期で、撮像部１０によって撮像された１フレームの撮像データに基づく画像９３の一例が示されている。この画像９３には、移動中の車両像９１が写り込んでいる。図３（Ｂ）には、その後のタイミングでの１フレームの撮像データに基づく画像９３が示されている。図３（Ａ）、図３（Ｂ）からわかるように、車両像９１は、画像９３内の通行路像９２上を、右側に移動している。
【００５０】
これらの画像は、昼間で周囲が明るいときに撮像されたものである。したがって、反射率の高い車両像９１に対応する画素における輝度は、反射率の低い通行路像９２に対応する画素における輝度に対して、著しく高くなっている。
【００５１】
一方、図４（Ａ）及び図４（Ｂ）には、周囲が暗いとき（夜間や、昼間であっても曇っているとき）において、撮像部１０によって撮像された１フレームの撮像データに基づく画像９３の一例が示されている。このような場合には、車両像９１に対応する画素における輝度と、通行路像９２に対応する画素における輝度との差は小さくなっている。
【００５２】
そこで、本実施形態に係る移動体検出装置１００では、輝度の時間変化量と、色の時間変化量とを、それぞれ正規化して比較する。そして、正規化された変化量が大きい方の情報を用いて、移動体像を抽出する。これにより、図３（Ａ）、図３（Ｂ）に示されるように周囲が明るい場合でも、図４（Ａ）、図４（Ｂ）に示されるように周囲が暗い場合でも、変化が大きい情報を用いて移動体像を抽出するので、そのような周囲の明るさに関係なく、車両像９１を高精度に抽出することができる。
【００５３】
上述した動作は、フレーム周期で繰り返される。すなわち、撮像部１０から図５に示される１フレームの撮像データに基づいて、輝度の時間変化量と、色の時間変化量とが、フレーム周期で随時解析される。そして、変化が大きい方の情報に基づいて移動体像が抽出され、抽出された移動体像に基づいて、移動体の軌跡が生成される。
【００５４】
例えば、図５に示されるように、車両像９１が、画像９３内を移動しているような撮像データが得られたとする。この移動体検出装置１００では、フレーム毎に、輝度の変化又は色差の変化（変化の大きい方）に基づいて、各フレームの車両像９１が抽出される。各フレームの画像から抽出された車両像９１を重ね合わせると、図６に示されるようになる。このような車両像９１の移動にしたがって、移動体の軌跡が生成される。
【００５５】
以上詳細に説明したように、本実施形態によれば、輝度の時間変化量と、色差の時間変化量とを比較し、変化の大きい方の情報を用いて、画像内における移動体像を抽出する。このようにすれば、変化が顕著な画像情報を用いて移動体像を検出することができるようになるので、周囲の明るさによらず、より正確に移動体像を抽出することができる。
【００５６】
また、本実施形態によれば、輝度の時間変化と色差の時間変化とを比較し、変化が大きい方の情報に基づいて移動体像が抽出される。このようにすれば、周囲の明るさを計測する必要がなくなる。また、周囲の明るさを判定するための閾値などを調整する必要がなくなるので、ユーザの負担が軽減される。
【００５７】
また、本実施形態では、輝度正規化部４０は、輝度変化検出部３０によって検出された輝度変化平均値ａ１（ｍ）を、最大輝度と最小輝度との差で除算することにより正規化する。そして、色差正規化部６０は、色差変化検出部５０によって検出された色差変化平均値ａ２（ｍ）を、その最大距離で除算することにより正規化する。このような正規化により、輝度の時間変化量と、色の時間変化量とを無次元化することができるので、両者の比較が可能となる。
【００５８】
なお、上記実施形態では、輝度の時間変化量と、色差の時間変化量とを比較するために、両者を正規化したが、要は、輝度の時間変化量と色差の時間変化量とを比較可能な量に変換できればよいのであって、輝度の時間変化量及び色差の時間変化量のいずれか一方を、他方の変化量や同一の単位系の量に換算できるのであれば、そのような換算を行った後、両者を比較するようにしてもよい。
【００５９】
なお、輝度の時間変化量及び色差の時間変化量は、撮像部１０におけるカメラの特性などに従って補正されるようにしてもよい。例えば、ガンマ特性を考慮して、輝度や色差の時間変化量を補正するようにしてもよい。
【００６０】
なお、上記実施形態では、輝度の差分の平均値を、輝度の時間変化量として算出したが、輝度の差分の合計値を、輝度の時間変化量とするようにしてもよい。これは、色差の時間変化量についても同様である。このように、輝度や色差の時間変化を示す指標値であれば、様々なものを採用することができる。
【００６１】
また、上記実施形態では、輝度や色差の変化が閾値よりも高い画素部分での輝度変化や色差変化の平均値を用いたが、１画像全体の輝度変化や色差変化の指標値を、輝度や色差の時間変化量として算出するようにしてもよい。
【００６２】
また、上記実施形態では、輝度Ｙを用いて輝度の時間変化量を算出したが、単純に、Ｒ成分、Ｇ成分、Ｂ成分の差分の和を、輝度の時間変化量とするようにしてもよい。
【００６３】
また、上記実施形態では、Ｙ（Ｒ−Ｙ）（Ｂ−Ｙ）の色空間の色度座標上の距離に基づいて、色差の時間変化を検出したが、色差の時間変化を検出するために用いられる色空間としては、様々なものを採用することができる。例えば、ＨＳＶ表色系、ＨＳＬ表色系、マンセル表色系、パントン表色系を採用することができる。さらには、ｍＲＧＢ、ｍＣＭＹ、ＹＰｂＰｒ、ＹＣｂＣｒ、ＹＵＶ、ＹＩＱなどの色空間も採用することができる。
【００６４】
また、本実施形態では、色差の時間変化に基づいて、色の時間変化量を算出したが、ＨＳＶ表色系における色因子の１つ、すなわち色相（Ｈｕｅ）に基づいて、色の時間変化量を算出するようにしてもよい。すなわち、本発明では、色差の時間変化量に限らず、色の時間変化量が算出されるようにすればよい。
【００６５】
なお、上記実施形態に係る移動体検出装置は、駐車場の通行路や道路を通行する車両等の検出に用いられるものであったが、本発明はこれには限られない。例えば、民家、博物館、美術館等の屋内に設置され、侵入者を検知するための防犯システムに組み込まれるものであってもよい。すなわち、このような移動体検出装置は、動く物体の像を映像から自動的に抽出し、その動きを追跡する必要がある場合に好適に用いることができる。
【００６６】
また、上記実施形態では、輝度変化検出部３０、輝度正規化部４０、色差変化検出部５０、色差正規化部６０、判定部７０、選択部８０、移動体追跡部９０などは、ソフトウエアプログラムとハードウエアとの協調動作で実現するようにしても、ハードウエアのみで実現するようにしてもよい。ソフトウエアプログラムとハードウエアとの協調動作の場合には、移動体検出装置１００に設けられたＣＰＵが、同装置内のＲＯＭ等の記憶装置に格納されたソフトウエアプログラムを実行することにより、各部の機能を実現する。
【００６７】
この場合、移動体検出装置１００としては、汎用のコンピュータを用いることが可能である。この場合、コンピュータの記憶装置に格納されるソフトウエアプログラムは、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto Optical disc）、フレキシブルディスクなどのコンピュータ読み取り可能な記録媒体に格納して配布され、移動体検出装置１００にインストールされるようになっていてもよい。また、インターネット等の通信ネットワーク上のサーバ装置に格納された当該プログラムを、当該コンピュータにダウンロードして、移動体検出装置１００にインストールされるようになっていてもよい。
【図面の簡単な説明】
【００６８】
【図１】本発明の一実施形態に係る移動体検出装置の構成を示すブロック図である。
【図２】図１の移動体検出装置の動作を示すフローチャートである。
【図３】図３（Ａ）及び図３（Ｂ）は、撮像部１０によって撮像された１フレームの画像の一例（その１）である。
【図４】図４（Ａ）及び図４（Ｂ）は、撮像部１０によって撮像された１フレームの画像の一例（その２）である。
【図５】フレーム周期で取得されるフレーム画像を時系列に並べた模式図である。
【図６】抽出された移動体像を重ね合わせた図である。
【符号の説明】
【００６９】
１０ 撮像部
２０ 画像メモリ
３０ 輝度変化検出部
４０ 輝度正規化部
５０ 色差変化検出部
６０ 色差正規化部
７０ 判定部
８０ 選択部
９０ 移動体追跡部
９１ 車両像
９２ 通行路像
９３ 画像
１００ 移動体検出装置
【技術分野】
【０００１】
本発明は、色情報を含む撮像信号に基づいて、例えば、車両などの移動体像を検出する移動体検出装置、移動体検出方法及びプログラムに関する。
【背景技術】
【０００２】
カメラを用いた監視システムが、従来から広く一般的に用いられている。近年、カメラからの映像を映し出すモニタを用いた有人監視ではなく、カメラからの撮像信号を画像処理することにより、人間や自動車など移動する物体の検出を自動的に行う監視システムが開示されている（例えば、特許文献１〜４参照）。
【０００３】
【特許文献１】特開平９−２７０００９号公報
【特許文献２】特開平１１−６６４９０号公報
【特許文献３】特開平９−７３５４１号公報
【特許文献４】特開平１０−２８９３９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記特許文献１〜３に記載のシステムでは、撮像データから、時間的に輝度が変化した部分や色が変化した部分を抽出することにより、移動する物体が検出される。しかしながら、このような検出方法では、検出精度は、周囲の明るさの変化などの周囲の環境に左右される。
【０００５】
上記特許文献４に記載のシステムでは、周囲の明るさによって検出方法が変わる。このシステムは、周囲の照度を計測し、昼間で周囲の明るさが閾値以上であれば、輝度が変化した部分又は色相が変化した部分の重複部分を、移動体像として検出する。さらに、このシステムは、昼間で周囲の明るさが閾値より小さい場合には、輝度が変化した部分又は色相が変化した部分全体を、移動体像として検出する。このシステムによれば、周囲の明るさに応じて移動体の検出方法を変更するので、周囲の明るさに関わらず、移動体像をより正確に検出できる。
【０００６】
しかしながら、上記特許文献４に記載のシステムでは、周囲の照度を計測する必要があり、そのためのセンサが必要となる。また、周囲の照度の閾値が適切に設定されている必要がある。適切な閾値はカメラの設置環境に応じて異なるので、調整される必要があるが、その調整は、煩雑で面倒な作業である。
【０００７】
本発明は、上記事情に鑑みてなされたもので、周囲の明るさに関係なく、移動体像を高精度に検出することができる移動体検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の第１の観点に係る移動体検出装置は、
色情報を含む撮像信号を取得する信号取得部と、
前記取得された撮像信号における輝度の時間変化量を検出する輝度変化検出部と、
前記取得された撮像信号における色の時間変化量を検出する色変化検出部と、
前記検出された輝度の時間変化量と、前記検出された色の時間変化量とを、比較可能な情報量に変換する変換部と、
前記変換された輝度の時間変化量と色の時間変化量との大小を判定する判定部と、
輝度の時間変化量の方が大きいと判定された場合には、前記撮像信号における輝度の時間変化を、移動体像を抽出するための情報として選択し、色の時間変化量の方が大きいと判定された場合には、前記撮像信号における色の時間変化を、移動体像を抽出するための情報として選択する選択部と、
を備える。
【０００９】
前記変換部は、
前記輝度変化検出部によって検出された輝度の時間変化量を、正規化し、
前記色変化検出部によって検出された色の時間変化量を、正規化することとしてもよい。
【００１０】
前記色変化検出部は、
前記撮像信号に含まれる色情報の所定の色空間における色度座標の変化に基づいて、色の時間変化量を検出することとしてもよい。
【００１１】
前記選択された情報に基づいて移動体像を抽出する抽出部と、
前記抽出部によって抽出された移動体像の位置に基づいて、前記移動体像の軌跡を生成する軌跡生成部と、
をさらに備えることとしてもよい。
【００１２】
本発明の第２の観点に係る移動体検出方法は、
色情報を含む撮像信号における輝度の時間変化量を検出する第１の工程と、
前記撮像信号における色の時間変化量を検出する第２の工程と、
前記第１の工程で検出された輝度の時間変化量と、前記第２の工程で検出された色の時間変化量とを、比較可能な情報量に変換する第３の工程と、
前記変換された輝度の時間変化量と色の時間変化量との大小を判定する第４の工程と、
輝度の時間変化量の方が大きいと判定された場合には、前記撮像信号における輝度の時間変化を、移動体像を抽出するための情報として選択し、色の時間変化量の方が大きいと判定された場合には、前記撮像信号における色の時間変化を、移動体像を抽出するための情報として選択する第５の工程と、
を含む。
【００１３】
本発明の第３の観点に係るプログラムは、
色情報を含む撮像信号における輝度の時間変化量を検出する第１の手順と、
前記撮像信号における色の時間変化量を検出する第２の手順と、
前記第１の手順で検出された輝度の時間変化量と、前記第２の手順で検出された色の時間変化量とを、比較可能な情報量に変換する第３の手順と、
前記変換された輝度の時間変化量と色の時間変化量との大小を判定する第４の手順と、
輝度の時間変化量の方が大きいと判定された場合には、前記撮像信号における輝度の時間変化を、移動体像を抽出するための情報として選択し、色の時間変化量の方が大きいと判定された場合には、前記撮像信号における色の時間変化を、移動体像を抽出するための情報として選択する第５の手順と、
をコンピュータに実行させる。
【発明の効果】
【００１４】
本発明によれば、周囲の明るさに関係なく、移動体像を高精度に検出することが可能となる。
【発明を実施するための最良の形態】
【００１５】
次に、本発明の一実施形態について図面を参照して詳細に説明する。本実施形態に係る移動体検出装置は、例えば駐車場における車両の駐退車を管理するために設けられている。
【００１６】
図１には、本実施形態に係る移動体検出装置１００の概略的な構成が示されている。図１に示されるように、移動体検出装置１００は、撮像部１０と、画像メモリ２０と、輝度変化検出部３０と、輝度正規化部４０と、色差変化検出部５０と、色差正規化部６０と、判定部７０と、選択部８０と、移動体追跡部９０と、を備える。
【００１７】
信号取得部としての撮像部１０は、例えば駐車場内の映像を撮像できる位置に設定された監視カメラを有している。監視カメラは、その駐車場内において監視対象となっている領域を撮像し、カラーの撮像信号を出力する。撮像部１０は、Ａ／Ｄ変換器をさらに有している。Ａ／Ｄ変換器は、監視カメラから出力されたアナログのカラー撮像信号をデジタルのカラー撮像信号に変換する。
【００１８】
このカラー撮像信号は、ＲＧＢ信号である。ＲＧＢ信号は、赤（Ｒ成分）、緑（Ｇ成分）、青（Ｂ成分）の３成分から成る映像信号である。ＲＧＢ信号では、１色１ドット、計３ドットで１画素が構成される。
【００１９】
１画素におけるＲＧＢ信号の赤成分をＲ成分とし、緑成分をＧ成分とし、青成分をＢ成分とする。Ｒ成分、Ｇ成分、Ｂ成分は、それぞれ８ビットデータであり、それぞれの色が、２５６階調で表現されている。言い換えると、８ビットのＲ成分、Ｇ成分、Ｂ成分で一画素分のＲＧＢ信号が構成され、各画素の撮像データが集まって、１画像分（すなわち１フレーム）のＲＧＢ信号が構成されている。
【００２０】
撮像部１０は、１フレームのＲＧＢ信号を、所定のフレーム周期で、繰り返し出力する。ここで、ｍ（ｍ＝１、２、・・・）フレーム目の画素ｎ（ｎ＝１、２、３、・・・）のＲＧＢ信号について、そのＲ成分をＲ（ｍ、ｎ）とし、Ｇ成分をＧ（ｍ、ｎ）とし、Ｂ成分をＢ（ｍ、ｎ）とする。この場合、１つの画素における輝度Ｙ（ｍ、ｎ）は、以下の式（１）で表される。
Ｙ（ｍ、ｎ）＝０．２９９×Ｒ（ｍ、ｎ）＋０．５８７×Ｇ（ｍ、ｎ）＋０．１１４×Ｂ（ｍ、ｎ） …（１）
【００２１】
また、ｍフレーム目の画素ｎにおける色差は、Ｒ（ｍ、ｎ）−Ｙ（ｍ、ｎ）、Ｂ（ｍ、ｎ）−Ｙ（ｍ、ｎ）で表される。
【００２２】
撮像部１０は、１フレームのＲＧＢ信号を、周期的に、画像メモリ２０に出力している。画像メモリ２０は、撮像部１０から出力されたＲＧＢ信号に対応する撮像データを記憶する。
【００２３】
以下では、現在のフレーム周期でのフレームを、「今回フレーム」とし、ｍで表す。そして、画像メモリ２０に格納された今回フレームｍの画素ｎの撮像データを（Ｒ（ｍ、ｎ）、Ｇ（ｍ、ｎ）、Ｂ（ｍ、ｎ））と表現し、１つ前のフレームｍ−１での画素ｎの撮像データを（Ｒ（ｍ−１、ｎ）、Ｇ（ｍ−１、ｎ）、Ｂ（ｍ−１、ｎ））とも表現する。
【００２４】
輝度変化検出部３０は、今回フレームの撮像データ（Ｒ（ｍ、ｎ）、Ｇ（ｍ、ｎ）、Ｂ（ｍ、ｎ））を、画像メモリ２０から読み出す。
【００２５】
そして、輝度変化検出部３０は、上記式（１）を用いて、今回フレームの撮像データ（Ｒ（ｍ、ｎ）、Ｇ（ｍ、ｎ）、Ｂ（ｍ、ｎ））に基づいて、各画素ｎの輝度Ｙ（ｍ、ｎ）を、全ての画素について算出する。この輝度Ｙ（ｍ、ｎ）は、次のフレームで用いるために記憶される。
【００２６】
輝度変化検出部３０は、１つ前のフレーム周期のフレーム、すなわちフレームｍ−１についても、各画素ｎの輝度Ｙ（ｍ−１、ｎ）を全ての画素について算出し、これらを記憶している。輝度変化検出部３０は、それらを読み出し、画素ｎでのフレーム間の輝度の差、すなわち、Ｙ（ｍ、ｎ）とＹ（ｍ−１、ｎ）との差分ｄ１（ｍ、ｎ）を、全ての画素について算出する。
【００２７】
次に、輝度変化検出部３０は、差分ｄ１（ｍ、ｎ）が、閾値以上となる画素ｎを抽出する。なお、抽出された画素ｎに関する情報は、選択部８０に出力される。
【００２８】
さらに、輝度変化検出部３０は、抽出された画素ｎについての差分ｄ１（ｍ、ｎ）の平均値ａ１（ｍ）を算出する。この平均値ａ１（ｍ）を、輝度変化平均値とする。この輝度変化平均値ａ１（ｍ）が、輝度の時間変化量に対応する。輝度変化検出部３０は、輝度変化平均値ａ１（ｍ）を、輝度正規化部４０に出力する。
【００２９】
変換部としての輝度正規化部４０は、輝度変化平均値ａ１（ｍ）を、最大輝度と最小輝度との差、すなわち輝度変化平均値の変動可能範囲で除算することにより、これを正規化する。これにより、フレーム間での輝度の時間変化量が無次元化され、百分率で表されるようになる。正規化された輝度変化平均値を、ａｎ１（ｍ）とする。正規化された輝度変化平均値ａｎ１（ｍ）は、判定部７０に出力される。
【００３０】
一方、輝度変化検出部３０は、今回フレームの輝度Ｙ（ｍ、ｎ）を、色差変化検出部５０に出力している。
【００３１】
色差変化検出部５０は、今回フレームの撮像データ（Ｒ（ｍ、ｎ）、Ｇ（ｍ、ｎ）、Ｂ（ｍ、ｎ））を、画像メモリ２０から読み出す。
【００３２】
次に、色差変化検出部５０は、今回フレームの撮像データ（Ｒ（ｍ、ｎ）、Ｇ（ｍ、ｎ）、Ｂ（ｍ、ｎ））と、今回フレームの輝度Ｙ（ｍ、ｎ）とに基づいて、色差Ｒ（ｍ、ｎ）−Ｙ（ｍ、ｎ）、Ｂ（ｍ、ｎ）−Ｙ（ｍ、ｎ）を算出する。そして、色差変化検出部５０は、Ｒ−Ｙ平面、Ｂ−Ｙ平面への射影により、Ｙ（Ｒ−Ｙ）（Ｂ−Ｙ）色空間における今回フレームｍの画素ｎでの六角形の色度座標Ｃ１（ｍ、ｎ）を、全ての画素について算出する。この色度座標Ｃ１（ｍ、ｎ）は、次のフレーム周期で用いるために記憶される。
【００３３】
色差変化検出部５０は、１つ前のフレーム周期で、フレームｍ−１についても、各画素ｎの色度座標Ｃ１（ｍ−１、ｎ）を全ての画素について算出し、これらを記憶している。色差変化検出部５０は、それらを読み出し、画素ｎでのＹ（Ｒ−Ｙ）（Ｂ−Ｙ）色空間の色度座標Ｃ１（ｍ、ｎ）と、色度座標Ｃ１（ｍ−１、ｎ）との距離ｄ２（ｍ、ｎ）を、全ての画素について算出する。
【００３４】
次に、色差変化検出部５０は、距離ｄ２（ｍ、ｎ）が、閾値以上となる画素ｎを抽出する。なお、抽出された画素ｎに関する情報は、選択部８０に出力される。
【００３５】
さらに、色差変化検出部５０は、抽出された画素ｎについての距離ｄ２（ｍ、ｎ）の平均値ａ２（ｍ）を算出する。この平均値を、色差変化平均値ａ２（ｍ）とする。この色差変化平均値ａ２（ｍ）が、色差の時間変化量に対応する。色差変化検出部５０は、この色差変化平均値ａ２（ｍ）を、色差正規化部６０に出力する。
【００３６】
変換部としての色差正規化部６０は、色差変化平均値ａ２（ｍ）を、色差変化平均値ａ２（ｍ）が色空間で取りうる最大距離で除算することにより、これを正規化する。これにより、フレーム間での色差の時間変化量は、無次元化され、百分率で表されるようになる。正規化された色差変化平均値を、ａｎ２（ｍ）とする。色差変化平均値ａｎ２（ｍ）は、判定部７０に出力される。
【００３７】
判定部７０は、正規化された輝度変化平均値ａｎ１（ｍ）と、正規化された色差変化平均値ａｎ２（ｍ）との大小を判定する。判定部７０は、この判定結果を、選択部８０に出力する。
【００３８】
選択部８０は、前述のように、輝度変化検出部３０から、抽出された画素ｎに関する情報を入力するとともに、色差変化検出部５０から、抽出された画素ｎに関する情報を入力している。選択部８０は、これらの抽出された画素ｎによって構成される画素部分のいずれかを、移動体像のエッジ部分として選択する。
【００３９】
より具体的には、判定部７０によって、正規化された輝度変化平均値ａｎ１（ｍ）の方が大きいと判定された場合には、選択部８０は、輝度変化検出部３０によって抽出された画素ｎの部分を、移動体像のエッジ部分として選択する。
【００４０】
一方、判定部７０によって、正規化された色差変化平均値ａｎ２（ｍ）の方が大きいと判定された場合には、選択部８０は、色差変化検出部５０によって抽出された画素ｎの部分を、移動体像のエッジ部分として選択する。
【００４１】
選択部８０は、選択された画素ｎの部分に関する情報を、移動体追跡部９０に出力する。
【００４２】
抽出された移動体像のエッジは、そのフレームの撮像データに含まれる移動体像の輪郭に対応する。移動体追跡部９０は、抽出された部分全体の重心位置を、移動体像の中心位置として検出する。そして、移動体追跡部９０は、検出された移動体像の位置に基づいて、撮像視野内における移動体像の軌跡データを生成する。
【００４３】
次に、本実施形態に係る移動体検出装置１００の動作について説明する。図２には、本実施形態に係る移動体検出装置１００の動作を示すフローチャートが示されている。このフローチャートで示される動作は、フレーム周期で繰り返される。
【００４４】
撮像部１０により撮像データが画像メモリ２０に格納され、１フレームの撮像データが取得されると（ステップＳ１でＹｅｓ）、輝度変化検出部３０は、上述のようにして輝度変化平均値ａ１（ｍ）を検出し、色差変化検出部５０は、上述のようにして色差変化平均値ａ２（ｍ）を検出する（ステップＳ３）。なお、このステップＳ３では、輝度変化が閾値以上の画素ｎと、色差変化が閾値以上の画素ｎとが抽出され、それらの情報が選択部８０に送られている。
【００４５】
次に、輝度正規化部４０は、輝度変化平均値ａ１（ｍ）を正規化し、色差正規化部６０は、色差変化平均値ａ２（ｍ）を正規化する（ステップＳ５）。
【００４６】
次に、判定部７０が、正規化された輝度変化平均値ａｎ１（ｍ）と、正規化された色差変化平均値ａｎ２（ｍ）とを比較し、その大小関係を判定する（ステップＳ７）。
【００４７】
正規化された輝度変化平均値ａｎ１（ｍ）の方が大きい場合（ステップＳ７でＹｅｓ）には、選択部８０は、輝度変化検出部３０で抽出された画素ｎに関する情報（すなわち輝度変化）を、移動体像を抽出するための情報として選択する（ステップＳ９）。一方、正規化された色差変化平均値ａｎ２（ｍ）の方が大きい場合（ステップＳ７でＮｏ）には、選択部８０は、色差変化検出部５０で抽出された画素ｎに関する情報（すなわち色差変化）を、移動体像を抽出するための情報として選択する（ステップＳ１１）。
【００４８】
ステップＳ９又はＳ１１実行後、移動体追跡部９０は、選択された画素ｎに関する情報に基づいて、移動体像のエッジを抽出し、抽出されたエッジに基づいて、移動体像を抽出し、移動体像の位置を検出する（ステップＳ１３）。さらに、移動体追跡部９０は、過去のフレームで検出された移動体像の位置と、今回検出された移動体像の位置とに基づいて、移動体像の軌跡を生成する（ステップＳ１５）。ステップＳ１５終了後は、処理を終了する。
【００４９】
図３（Ａ）には、あるフレーム周期で、撮像部１０によって撮像された１フレームの撮像データに基づく画像９３の一例が示されている。この画像９３には、移動中の車両像９１が写り込んでいる。図３（Ｂ）には、その後のタイミングでの１フレームの撮像データに基づく画像９３が示されている。図３（Ａ）、図３（Ｂ）からわかるように、車両像９１は、画像９３内の通行路像９２上を、右側に移動している。
【００５０】
これらの画像は、昼間で周囲が明るいときに撮像されたものである。したがって、反射率の高い車両像９１に対応する画素における輝度は、反射率の低い通行路像９２に対応する画素における輝度に対して、著しく高くなっている。
【００５１】
一方、図４（Ａ）及び図４（Ｂ）には、周囲が暗いとき（夜間や、昼間であっても曇っているとき）において、撮像部１０によって撮像された１フレームの撮像データに基づく画像９３の一例が示されている。このような場合には、車両像９１に対応する画素における輝度と、通行路像９２に対応する画素における輝度との差は小さくなっている。
【００５２】
そこで、本実施形態に係る移動体検出装置１００では、輝度の時間変化量と、色の時間変化量とを、それぞれ正規化して比較する。そして、正規化された変化量が大きい方の情報を用いて、移動体像を抽出する。これにより、図３（Ａ）、図３（Ｂ）に示されるように周囲が明るい場合でも、図４（Ａ）、図４（Ｂ）に示されるように周囲が暗い場合でも、変化が大きい情報を用いて移動体像を抽出するので、そのような周囲の明るさに関係なく、車両像９１を高精度に抽出することができる。
【００５３】
上述した動作は、フレーム周期で繰り返される。すなわち、撮像部１０から図５に示される１フレームの撮像データに基づいて、輝度の時間変化量と、色の時間変化量とが、フレーム周期で随時解析される。そして、変化が大きい方の情報に基づいて移動体像が抽出され、抽出された移動体像に基づいて、移動体の軌跡が生成される。
【００５４】
例えば、図５に示されるように、車両像９１が、画像９３内を移動しているような撮像データが得られたとする。この移動体検出装置１００では、フレーム毎に、輝度の変化又は色差の変化（変化の大きい方）に基づいて、各フレームの車両像９１が抽出される。各フレームの画像から抽出された車両像９１を重ね合わせると、図６に示されるようになる。このような車両像９１の移動にしたがって、移動体の軌跡が生成される。
【００５５】
以上詳細に説明したように、本実施形態によれば、輝度の時間変化量と、色差の時間変化量とを比較し、変化の大きい方の情報を用いて、画像内における移動体像を抽出する。このようにすれば、変化が顕著な画像情報を用いて移動体像を検出することができるようになるので、周囲の明るさによらず、より正確に移動体像を抽出することができる。
【００５６】
また、本実施形態によれば、輝度の時間変化と色差の時間変化とを比較し、変化が大きい方の情報に基づいて移動体像が抽出される。このようにすれば、周囲の明るさを計測する必要がなくなる。また、周囲の明るさを判定するための閾値などを調整する必要がなくなるので、ユーザの負担が軽減される。
【００５７】
また、本実施形態では、輝度正規化部４０は、輝度変化検出部３０によって検出された輝度変化平均値ａ１（ｍ）を、最大輝度と最小輝度との差で除算することにより正規化する。そして、色差正規化部６０は、色差変化検出部５０によって検出された色差変化平均値ａ２（ｍ）を、その最大距離で除算することにより正規化する。このような正規化により、輝度の時間変化量と、色の時間変化量とを無次元化することができるので、両者の比較が可能となる。
【００５８】
なお、上記実施形態では、輝度の時間変化量と、色差の時間変化量とを比較するために、両者を正規化したが、要は、輝度の時間変化量と色差の時間変化量とを比較可能な量に変換できればよいのであって、輝度の時間変化量及び色差の時間変化量のいずれか一方を、他方の変化量や同一の単位系の量に換算できるのであれば、そのような換算を行った後、両者を比較するようにしてもよい。
【００５９】
なお、輝度の時間変化量及び色差の時間変化量は、撮像部１０におけるカメラの特性などに従って補正されるようにしてもよい。例えば、ガンマ特性を考慮して、輝度や色差の時間変化量を補正するようにしてもよい。
【００６０】
なお、上記実施形態では、輝度の差分の平均値を、輝度の時間変化量として算出したが、輝度の差分の合計値を、輝度の時間変化量とするようにしてもよい。これは、色差の時間変化量についても同様である。このように、輝度や色差の時間変化を示す指標値であれば、様々なものを採用することができる。
【００６１】
また、上記実施形態では、輝度や色差の変化が閾値よりも高い画素部分での輝度変化や色差変化の平均値を用いたが、１画像全体の輝度変化や色差変化の指標値を、輝度や色差の時間変化量として算出するようにしてもよい。
【００６２】
また、上記実施形態では、輝度Ｙを用いて輝度の時間変化量を算出したが、単純に、Ｒ成分、Ｇ成分、Ｂ成分の差分の和を、輝度の時間変化量とするようにしてもよい。
【００６３】
また、上記実施形態では、Ｙ（Ｒ−Ｙ）（Ｂ−Ｙ）の色空間の色度座標上の距離に基づいて、色差の時間変化を検出したが、色差の時間変化を検出するために用いられる色空間としては、様々なものを採用することができる。例えば、ＨＳＶ表色系、ＨＳＬ表色系、マンセル表色系、パントン表色系を採用することができる。さらには、ｍＲＧＢ、ｍＣＭＹ、ＹＰｂＰｒ、ＹＣｂＣｒ、ＹＵＶ、ＹＩＱなどの色空間も採用することができる。
【００６４】
また、本実施形態では、色差の時間変化に基づいて、色の時間変化量を算出したが、ＨＳＶ表色系における色因子の１つ、すなわち色相（Ｈｕｅ）に基づいて、色の時間変化量を算出するようにしてもよい。すなわち、本発明では、色差の時間変化量に限らず、色の時間変化量が算出されるようにすればよい。
【００６５】
なお、上記実施形態に係る移動体検出装置は、駐車場の通行路や道路を通行する車両等の検出に用いられるものであったが、本発明はこれには限られない。例えば、民家、博物館、美術館等の屋内に設置され、侵入者を検知するための防犯システムに組み込まれるものであってもよい。すなわち、このような移動体検出装置は、動く物体の像を映像から自動的に抽出し、その動きを追跡する必要がある場合に好適に用いることができる。
【００６６】
また、上記実施形態では、輝度変化検出部３０、輝度正規化部４０、色差変化検出部５０、色差正規化部６０、判定部７０、選択部８０、移動体追跡部９０などは、ソフトウエアプログラムとハードウエアとの協調動作で実現するようにしても、ハードウエアのみで実現するようにしてもよい。ソフトウエアプログラムとハードウエアとの協調動作の場合には、移動体検出装置１００に設けられたＣＰＵが、同装置内のＲＯＭ等の記憶装置に格納されたソフトウエアプログラムを実行することにより、各部の機能を実現する。
【００６７】
この場合、移動体検出装置１００としては、汎用のコンピュータを用いることが可能である。この場合、コンピュータの記憶装置に格納されるソフトウエアプログラムは、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto Optical disc）、フレキシブルディスクなどのコンピュータ読み取り可能な記録媒体に格納して配布され、移動体検出装置１００にインストールされるようになっていてもよい。また、インターネット等の通信ネットワーク上のサーバ装置に格納された当該プログラムを、当該コンピュータにダウンロードして、移動体検出装置１００にインストールされるようになっていてもよい。
【図面の簡単な説明】
【００６８】
【図１】本発明の一実施形態に係る移動体検出装置の構成を示すブロック図である。
【図２】図１の移動体検出装置の動作を示すフローチャートである。
【図３】図３（Ａ）及び図３（Ｂ）は、撮像部１０によって撮像された１フレームの画像の一例（その１）である。
【図４】図４（Ａ）及び図４（Ｂ）は、撮像部１０によって撮像された１フレームの画像の一例（その２）である。
【図５】フレーム周期で取得されるフレーム画像を時系列に並べた模式図である。
【図６】抽出された移動体像を重ね合わせた図である。
【符号の説明】
【００６９】
１０ 撮像部
２０ 画像メモリ
３０ 輝度変化検出部
４０ 輝度正規化部
５０ 色差変化検出部
６０ 色差正規化部
７０ 判定部
８０ 選択部
９０ 移動体追跡部
９１ 車両像
９２ 通行路像
９３ 画像
１００ 移動体検出装置
【特許請求の範囲】
【請求項１】
色情報を含む撮像信号を取得する信号取得部と、
前記取得された撮像信号における輝度の時間変化量を検出する輝度変化検出部と、
前記取得された撮像信号における色の時間変化量を検出する色変化検出部と、
前記検出された輝度の時間変化量と、前記検出された色の時間変化量とを、比較可能な情報量に変換する変換部と、
前記変換された輝度の時間変化量と色の時間変化量との大小を判定する判定部と、
輝度の時間変化量の方が大きいと判定された場合には、前記撮像信号における輝度の時間変化を、移動体像を抽出するための情報として選択し、色の時間変化量の方が大きいと判定された場合には、前記撮像信号における色の時間変化を、移動体像を抽出するための情報として選択する選択部と、
を備える、移動体検出装置。
【請求項２】
前記変換部は、
前記輝度変化検出部によって検出された輝度の時間変化量を、正規化し、
前記色変化検出部によって検出された色の時間変化量を、正規化する、
ことを特徴とする請求項１に記載の移動体検出装置。
【請求項３】
前記色変化検出部は、
前記撮像信号に含まれる色情報の所定の色空間における色度座標の変化に基づいて、色の時間変化量を検出する、
ことを特徴とする請求項１又は２に記載の移動体検出装置。
【請求項４】
前記選択された情報に基づいて移動体像を抽出する抽出部と、
前記抽出部によって抽出された移動体像の位置に基づいて、前記移動体像の軌跡を生成する軌跡生成部と、
をさらに備える、
ことを特徴とする請求項１乃至３のいずれか一項に記載の移動体検出装置。
【請求項５】
色情報を含む撮像信号における輝度の時間変化量を検出する第１の工程と、
前記撮像信号における色の時間変化量を検出する第２の工程と、
前記第１の工程で検出された輝度の時間変化量と、前記第２の工程で検出された色の時間変化量とを、比較可能な情報量に変換する第３の工程と、
前記変換された輝度の時間変化量と色の時間変化量との大小を判定する第４の工程と、
輝度の時間変化量の方が大きいと判定された場合には、前記撮像信号における輝度の時間変化を、移動体像を抽出するための情報として選択し、色の時間変化量の方が大きいと判定された場合には、前記撮像信号における色の時間変化を、移動体像を抽出するための情報として選択する第５の工程と、
を含む、移動体検出方法。
【請求項６】
色情報を含む撮像信号における輝度の時間変化量を検出する第１の手順と、
前記撮像信号における色の時間変化量を検出する第２の手順と、
前記第１の手順で検出された輝度の時間変化量と、前記第２の手順で検出された色の時間変化量とを、比較可能な情報量に変換する第３の手順と、
前記変換された輝度の時間変化量と色の時間変化量との大小を判定する第４の手順と、
輝度の時間変化量の方が大きいと判定された場合には、前記撮像信号における輝度の時間変化を、移動体像を抽出するための情報として選択し、色の時間変化量の方が大きいと判定された場合には、前記撮像信号における色の時間変化を、移動体像を抽出するための情報として選択する第５の手順と、
をコンピュータに実行させるプログラム。
【請求項１】
色情報を含む撮像信号を取得する信号取得部と、
前記取得された撮像信号における輝度の時間変化量を検出する輝度変化検出部と、
前記取得された撮像信号における色の時間変化量を検出する色変化検出部と、
前記検出された輝度の時間変化量と、前記検出された色の時間変化量とを、比較可能な情報量に変換する変換部と、
前記変換された輝度の時間変化量と色の時間変化量との大小を判定する判定部と、
輝度の時間変化量の方が大きいと判定された場合には、前記撮像信号における輝度の時間変化を、移動体像を抽出するための情報として選択し、色の時間変化量の方が大きいと判定された場合には、前記撮像信号における色の時間変化を、移動体像を抽出するための情報として選択する選択部と、
を備える、移動体検出装置。
【請求項２】
前記変換部は、
前記輝度変化検出部によって検出された輝度の時間変化量を、正規化し、
前記色変化検出部によって検出された色の時間変化量を、正規化する、
ことを特徴とする請求項１に記載の移動体検出装置。
【請求項３】
前記色変化検出部は、
前記撮像信号に含まれる色情報の所定の色空間における色度座標の変化に基づいて、色の時間変化量を検出する、
ことを特徴とする請求項１又は２に記載の移動体検出装置。
【請求項４】
前記選択された情報に基づいて移動体像を抽出する抽出部と、
前記抽出部によって抽出された移動体像の位置に基づいて、前記移動体像の軌跡を生成する軌跡生成部と、
をさらに備える、
ことを特徴とする請求項１乃至３のいずれか一項に記載の移動体検出装置。
【請求項５】
色情報を含む撮像信号における輝度の時間変化量を検出する第１の工程と、
前記撮像信号における色の時間変化量を検出する第２の工程と、
前記第１の工程で検出された輝度の時間変化量と、前記第２の工程で検出された色の時間変化量とを、比較可能な情報量に変換する第３の工程と、
前記変換された輝度の時間変化量と色の時間変化量との大小を判定する第４の工程と、
輝度の時間変化量の方が大きいと判定された場合には、前記撮像信号における輝度の時間変化を、移動体像を抽出するための情報として選択し、色の時間変化量の方が大きいと判定された場合には、前記撮像信号における色の時間変化を、移動体像を抽出するための情報として選択する第５の工程と、
を含む、移動体検出方法。
【請求項６】
色情報を含む撮像信号における輝度の時間変化量を検出する第１の手順と、
前記撮像信号における色の時間変化量を検出する第２の手順と、
前記第１の手順で検出された輝度の時間変化量と、前記第２の手順で検出された色の時間変化量とを、比較可能な情報量に変換する第３の手順と、
前記変換された輝度の時間変化量と色の時間変化量との大小を判定する第４の手順と、
輝度の時間変化量の方が大きいと判定された場合には、前記撮像信号における輝度の時間変化を、移動体像を抽出するための情報として選択し、色の時間変化量の方が大きいと判定された場合には、前記撮像信号における色の時間変化を、移動体像を抽出するための情報として選択する第５の手順と、
をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１０−７３０００（Ｐ２０１０−７３０００Ａ）
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願番号】特願２００８−２４０８２８（Ｐ２００８−２４０８２８）
【出願日】平成２０年９月１９日（２００８．９．１９）
【出願人】（３９６００４９８１）セイコープレシジョン株式会社 (481)
【Ｆターム（参考）】
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願日】平成２０年９月１９日（２００８．９．１９）
【出願人】（３９６００４９８１）セイコープレシジョン株式会社 (481)
【Ｆターム（参考）】
[ Back to top ]