移動方向検出装置、移動方向検出方法及びプログラム
【課題】移動体の移動方向を迅速に検出する。
【解決手段】比較的高速なシャッター速度で撮像したデジタル画像Ｐ１に含まれる移動体４０の画像のエッジにほぼ一致する直線を規定する。次に、比較的低速なシャッター速度で撮像したデジタル画像Ｐ２に含まれる移動体４０の画像のエッジにほぼ一致する直線を規定する。次に、デジタル画像Ｐ２上に規定された直線のうち、デジタル画像Ｐ１上の直線と相関のない直線を抽出する。次に、抽出された直線に沿った方向が移動体の移動方向と判定する。これにより、処理に長時間を要するテンプレートマッチング処理等を行う必要がなくなり、迅速に移動体の移動方向を検出することができる。
【解決手段】比較的高速なシャッター速度で撮像したデジタル画像Ｐ１に含まれる移動体４０の画像のエッジにほぼ一致する直線を規定する。次に、比較的低速なシャッター速度で撮像したデジタル画像Ｐ２に含まれる移動体４０の画像のエッジにほぼ一致する直線を規定する。次に、デジタル画像Ｐ２上に規定された直線のうち、デジタル画像Ｐ１上の直線と相関のない直線を抽出する。次に、抽出された直線に沿った方向が移動体の移動方向と判定する。これにより、処理に長時間を要するテンプレートマッチング処理等を行う必要がなくなり、迅速に移動体の移動方向を検出することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動方向検出装置、移動方向検出方法及びプログラムに関し、更に詳しくは、移動体の移動方向を検出する移動方向検出装置、移動体の移動方向を検出するための移動方向検出方法及びプログラムに関する。
【背景技術】
【０００２】
自動車などの移動体を撮影した画像に含まれる移動体を特定し、追跡するシステムなどでは、異なる時刻に撮影された複数の画像に対してテンプレートマッチング処理が行われ、画像に含まれる移動体の移動方向及び速度などが検出される。このようなシステムでは、移動体の移動方向及び速度などを検出することで、移動体の追跡精度や検出精度などを向上させることが可能となる。
【０００３】
上述のテンプレートマッチング処理は、例えば特許文献１に開示されているように、まず現在の画像と過去の画像とに差分処理を施すことにより、両画像間の変化点を抽出する。次に、変化点からなる画像を移動体のテンプレートとして用いて、現在の画像及び過去の画像に含まれる移動体の位置を検出する。そして、それぞれの画像から検出した移動体の位置の相違に基づいて、移動体の移動方向及び移動速度などを検出する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−２０８０５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したテンプレートマッチング処理は、移動体の移動方向及び移動速度などを精度よく検出することができるが、画像処理を行う際に取り扱うデータ量が多くなってしまう。このため、移動体の移動方向等の検出に長時間を要するという問題がある。
【０００６】
本発明は、上述の事情の下になされたもので、移動体の移動方向に関する情報を迅速に検出することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の移動方向検出装置は、移動体を第１の露光時間と、前記第１の露光時間よりも長い第２の露光時間で撮像する撮像手段と、前記第１の露光時間で撮像して得た第１の画像に対して、前記移動体のエッジに一致する直線を規定する第１規定手段と、前記第２の露光時間で撮像して得た第２の画像に対して、前記移動体のエッジに一致する直線を規定する第２規定手段と、前記第１の画像に規定された直線に対応する前記第２の画像に規定された直線以外の、前記第２の画像に規定された直線に平行な方向の一方を、前記移動体の移動方向と判定する判定手段と、を備える。
【０００８】
また、前記撮像手段は、第１のシャッター速度と、前記第１のシャッター速度よりも遅い第２のシャッター速度とによって、それぞれ前記第１の画像及び前記第２の画像を撮像することとしてもよい。
【０００９】
また、前記撮像手段は、多重露光によって前記第２の画像を撮像することとしてもよい。
【００１０】
本発明の移動方向検出方法は、移動体を第１の露光時間で撮像する工程と、前記移動体を前記第１の露光時間よりも長い第２の露光時間で撮像する工程と、前記第１の露光時間で撮像して得た第１の画像に対して、前記移動体のエッジに一致する直線を規定する工程と、前記第２の露光時間で撮像して得た第２の画像に対して、前記移動体のエッジに一致する直線を規定する工程と、前記第１の画像に規定された直線に対応する前記第２の画像に規定された直線以外の、前記第２の画像に規定された直線に平行な方向の一方を、前記移動体の移動方向と判定する工程と、を含む。
【００１１】
本発明のプログラムは、移動方向検出装置の制御装置に、移動体を第１の露光時間で撮像する手順と、前記移動体を前記第１の露光時間よりも長い第２の露光時間で撮像する手順と、前記第１の露光時間で撮像して得た第１の画像に対して、前記移動体のエッジに一致する直線を規定する手順と、前記第２の露光時間で撮像して得た第２の画像に対して、前記移動体のエッジに一致する直線を規定する手順と、前記第１の画像に規定された直線に対応する前記第２の画像に規定された直線以外の、前記第２の画像に規定された直線に平行な方向の一方を、前記移動体の移動方向と判定する手順と、を実行させる。
【発明の効果】
【００１２】
本発明によれば、移動体の移動方向を迅速に検出することができる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施形態に係る移動方向検出装置のブロック図である。
【図２】第１のシャッター速度で撮像したデジタル画像を示す図である。
【図３】第２のシャッター速度で撮像したデジタル画像を示す図である。
【図４】第１規定部の動作を説明するための図である。
【図５】第２規定部の動作を説明するための図である。
【図６】撮像装置の視野内に移動体が進入する前に撮像されたデジタル画像を示す図である。
【図７】第２の実施形態に係る移動方向検出装置のブロック図である。
【図８】移動方向検出装置の動作を説明するためのフローチャートである。
【発明を実施するための形態】
【００１４】
《第１の実施形態》
以下、本発明の第１の実施形態を、図１〜図６を参照しつつ説明する。図１は本実施形態にかかる移動方向検出装置１０の概略的な構成を示すブロック図である。移動方向検出装置１０は、異なる露光時間で撮像することにより得られた２枚の画像に写った移動体の移動方向を検出し、その検出結果を外部装置などに出力する装置である。この移動方向検出装置１０は、図１に示されるように、撮像装置２０、第１規定部３１，第２規定部３２，特定部３３、及び判定部３４を有している。
【００１５】
前記撮像装置２０は、被写体を撮像することにより取得した画像を電気信号に変換して出力するＣＣＤカメラを含んで構成されている。この撮像装置２０は、移動体４０を検知すると、比較的高速な第１のシャッター速度で移動体４０を撮像するとともに、比較的低速な第２のシャッター速度で移動体４０を撮像する。
【００１６】
図２は、Ｘ軸方向に沿って移動する移動体４０を撮像して得られたデジタル画像Ｐ１を示す図である。また、図３は、Ｘ軸方向に沿って移動する移動体４０を撮像して得られたデジタル画像Ｐ２を示す図である。第１のシャッター速度は移動体４０の移動速度に対して比較的高速であるため、移動体４０は、図２に示されるようにほぼぶれることなくデジタル画像Ｐ１に写りこむ。
【００１７】
一方、第２のシャッター速度は、移動体４０の移動速度に対して比較的低速であるため、移動体４０の画像は、図３に示されるように移動方向（Ｘ軸方向）に直交する境界がぶれた状態でデジタル画像Ｐ２に写りこむ。移動体４０がＸ軸方向へ移動する場合には、移動体４０の画像のＸ軸方向の両端では、ボディ４０ａのエッジがいわゆる被写体ぶれによって消失する一方で、移動方向に直交するＺ軸方方向の両端では、移動体４０のエッジが保存される。また、タイヤ４０ｂの画像の上端と下端などでは、移動体の移動にともない移動方向に平行なエッジが発生する。
【００１８】
撮像装置２０は、移動体４０を撮像して得られたデジタル画像Ｐ１とデジタル画像Ｐ２とを、画像処理装置３０へ出力する。
【００１９】
前記画像処理装置３０は、第１規定部３１、第２規定部３２、特定部３３、及び判定部３４を有している。
【００２０】
前記第１規定部３１は、撮像装置２０から出力されたデジタル画像Ｐ１に写り込んだ移動体４０のエッジを抽出し、抽出したエッジにほぼ一致する直線を規定する。以下、図４を参照しつつ、第１規定部３１の動作について説明する。
【００２１】
第１規定部３１は、デジタル画像Ｐ１に例えばラベリング処理などを施すことにより、デジタル画像Ｐ１に写り込んだオブジェクトを抽出する。これにより例えば、デジタル画像Ｐ１に写り込んだ移動体４０の画像と、地面Ｆの画像とが抽出される。
【００２２】
次に、第１規定部３１は、デジタル画像Ｐ１に写り込んだ移動体４０の画像と、地面Ｆの画像の輪郭を検出する。移動体４０等の輪郭の検出は、例えば、デジタル画像Ｐ１を構成するピクセルの輝度値が、隣接するピクセル間で急峻に変化する変化領域を検出する。そして、ラベリング処理によって検出した移動体４０等の画像の境界と一致する変化領域を移動体４０のエッジとして抽出する。変化領域の検出は、例えばソーベルフィルタなどを用いる方法が考えられる。
【００２３】
具体的には、第１規定部３１は、デジタル画像Ｐ１に含まれる移動体４０の画像に関しては、図４に示されるように、ボディ４０ａの輪郭をエッジＥ１Ｐ１として抽出し、タイヤ４０ｂの輪郭をエッジＥ２Ｐ１として抽出する。また、地面Ｆの画像に関しては、エッジＥＦＰ１を抽出する。
【００２４】
次に、第１規定部３１は、抽出したエッジＥ１Ｐ１、Ｅ２Ｐ１、及びエッジＥＦＰ１に一致する直線を規定する。例えば移動体４０を構成するボディ４０ａのエッジＥ１Ｐ１は、ほぼ直線状のエッジＥ１ａ、Ｅ１ｂ、Ｅ１ｃ、Ｅ１ｄと、上記エッジを結ぶ曲線状のエッジとによって構成されている。第１規定部３１は、図４に示されるように、ほぼ直線状のエッジＥ１ａ〜Ｅ１ｄに一致する直線Ｌ１１、Ｌ１２、Ｌ１３、Ｌ１５をデジタル画像Ｐ１上に規定する。同様に、第１規定部３１は、地面Ｆのほぼ直線状のエッジＥＦＰ１に一致する直線Ｌ１４を、デジタル画像Ｐ１上に規定する。一方、移動体４０を構成するタイヤ４０ｂのエッジＥ２Ｐ１は半径が比較的小さい円状である。このため、ここではエッジＥ２Ｐ１に一致する直線が規定されることはない。
【００２５】
第１規定部３１は、デジタル画像Ｐ１上に直線Ｌ１１〜Ｌ１５を規定すると、これらの直線Ｌ１１〜Ｌ１５に関する情報を出力する。
【００２６】
前記第２規定部３２は、撮像装置２０から出力されたデジタル画像Ｐ２に写り込んだ移動体４０のエッジを抽出し、抽出したエッジにほぼ一致する直線を規定する。以下、図５を参照しつつ、第２規定部３２の動作について説明する。
【００２７】
第２規定部３２は、デジタル画像Ｐ２に例えばラベリング処理などを施すことにより、デジタル画像Ｐ２に写り込んだオブジェクトを抽出する。これにより例えば、デジタル画像Ｐ２に写り込んだ移動体４０の画像と、地面Ｆの画像とが抽出される。
【００２８】
次に、第２規定部３２は、デジタル画像Ｐ２に写り込んだ移動体４０の画像と、地面Ｆの画像の輪郭を検出する。移動体４０等の輪郭の検出は、例えば、デジタル画像Ｐ２を構成するピクセルの輝度値が、隣接するピクセル間で急峻に変化する変化領域を検出する。そして、ラベリング処理によって検出した移動体４０等の画像の境界と一致する変化領域を移動体４０のエッジとして抽出する。変化領域の検出は、第１規定部３１での処理と同様にソーベルフィルタなどを用いる方法が考えられる。
【００２９】
上述したように、デジタル画像Ｐ２は、移動体４０の移動速度に対して比較的低速な第２のシャッター速度で撮像された画像である。このため、移動体４０の画像は、図５に示されるように移動方向（Ｘ軸方向）に直交する境界がぶれた状態で写り込んでいる。これにより、移動体４０の画像の移動方向に直交する方向の境界では、隣接する輝度相互間の輝度値の差が小さくなり、ピクセルの輝度が隣接するピクセル間で急峻に変化することがない。このため、第２規定手段３２によって、デジタル画像Ｐ２の変化領域が、移動体４０の画像の＋Ｘ側及びーＸ側で検出されることはない
【００３０】
また、シャッター速度との関係で移動体４０は、デジタル画像Ｐ２の中に、実際よりも移動方向（Ｘ軸方向）に伸びた状態で写り込む。このため、移動体４０を構成するボディ４０ａ及びタイヤ４０ｂの＋Ｚ側及びーＺ側の端部の輪郭は、移動方向に平行となる。
【００３１】
したがって、第２規定部３２は、図５に示されるように、移動体４０を構成するボディ４０ａのエッジＥ１Ｐ２として、ボディ４０ａの＋Ｚ側及び−Ｚ側の輪郭それぞれに対応するエッジＥ１ｂ及びエッジＥ１ｄを抽出する。そして、移動体４０を構成するタイヤ４０ｂのエッジＥ２Ｐ２として、タイヤ４０ｂの＋Ｚ側及び−Ｚ側の輪郭それぞれに対応するエッジＥ２ａ及びエッジＥ２ｂを抽出する。また、地面Ｆの画像に関しては、エッジＥＦＰ２を抽出する。
【００３２】
次に、第２規定部３２は、抽出したエッジＥ１Ｐ２を構成するエッジＥ１ｂ，Ｅ１ｄ、エッジＥ２Ｐ２を構成するエッジＥ２ａ，Ｅ２ｂ、及びエッジＥＦＰ２に一致する直線Ｌ２１〜Ｌ２５を、デジタル画像Ｐ２上に規定する。そして、第２規定部３２は、これらの直線Ｌ２１〜Ｌ２５に関する情報を出力する。
【００３３】
前記特定部３３は、図４及び図５を参照するとわかるように、デジタル画像Ｐ１に規定された直線Ｌ１１〜Ｌ１５と、デジタル画像Ｐ２に規定されたＬ２１〜Ｌ２５とを比較して、デジタル画像Ｐ２上に規定された直線のうち、デジタル画像Ｐ１上の直線と相関のない直線を特定する。
【００３４】
例えば、デジタル画像Ｐ２上の直線Ｌ２１は、デジタル画像Ｐ１上の直線Ｌ１３と位置的に相関がある。一方、デジタル画像上の直線Ｌ２３は、デジタル画像Ｐ１上に位置的に相関がある直線をもたない。特定部３３は、ここでは、デジタル画像Ｐ２上の直線のうち、デジタル画像Ｐ１上の直線と相関のない直線として直線Ｌ２３及び直線Ｌ２５を特定する。そして、特定した直線Ｌ２３及び直線Ｌ２５に関する情報を出力する。
【００３５】
前記判定部３４は、特定部３３から出力された直線Ｌ２３及び直線Ｌ２５に関する情報に基づいて、移動体４０の移動方向を判定する。
【００３６】
例えば、まず判定部３４は、直線Ｌ２３及び直線Ｌ２５に平行な方向（−Ｘ方向及び＋Ｘ方向）のうちのいずれかが移動体４０の移動方向であると推定する。
【００３７】
次に、一例として図６に示されるように、撮像装置２０の視野内に移動体４０が進入する前に撮像されたデジタル画像Ｐ０とデジタル画像Ｐ１とについて公知の差分処理を施し、撮像装置２０の視野内におけるデジタル画像Ｐ１に含まれる移動体４０の位置座標（ＸＰ１、ＺＰ１）を算出する。同様に、デジタル画像Ｐ０とデジタル画像Ｐ２とについても差分処理を施し、撮像装置２０の視野内におけるデジタル画像Ｐ２に含まれる移動体４０の位置座標（ＸＰ２、ＺＰ２）を算出する。なお、ここでの位置座標は、移動体４０の中心の位置座標をいう。
【００３８】
次に、判定部３４は、位置座標（ＸＰ１、ＺＰ１）を始点とし、位置座標（ＸＰ２、ＺＰ２）を終点とする方向ベクトルを算出する。そして、直線Ｌ２３及び直線Ｌ２５に平行な方向（−Ｘ方向及び＋Ｘ方向）のうち、方向ベクトルとほぼ向きが等しい方向（＋Ｘ方向）を移動体４０の移動方向と判定する。そして、この判定結果を例えば外部装置などへ出力する。
【００３９】
以上説明したように、本第１の実施形態では、比較的高速なシャッター速度で撮像したデジタル画像Ｐ１に含まれる移動体４０の画像のエッジにほぼ一致する直線が規定される。次に、比較的低速なシャッター速度で撮像したデジタル画像Ｐ２に含まれる移動体４０の画像のエッジにほぼ一致する直線が規定される。次に、デジタル画像Ｐ２上に規定された直線のうち、デジタル画像Ｐ１上の直線と相関のない直線が抽出される。次に、抽出された直線に沿った方向が移動体の移動方向と判定される。これにより、本実施形態では、処理に長時間を要するテンプレートマッチング処理を行う必要がなくなり、迅速に移動体の移動方向を検出することができる。
【００４０】
特に、移動体の検知・追跡を行うシステムにおいては、デジタルカメラなどの撮像装置で撮像したデジタル画像をＤＳＰなどで処理する場合、複雑な処理が必要となる。例えば、上述の移動方向検出装置を駐車場の管理に応用する場合には、駐車場の入場口で検出した車両を追跡するために、あるフレームで検出した車両が、次のフレームではどの位置まで移動しているかを検知する必要がある。この場合に、テンプレートマッチング処理などによって車両の位置を検出すると、マッチング回数によっては検出までに長時間を要してしまうことがある。本実施形態にかかる移動方向検出装置１０では、短時間に移動体のおおよその移動方向を検出することができるので、車両管理の迅速化、及び複数車両の同時検出・追跡などを精度よく行うことができる。
【００４１】
また、本実施形態にかかる移動方向検出装置１０では、移動体４０の移動方向を検出する際に取り扱うデータ量が、テンプレートマッチング処理を行う際に取り扱うデータ量よりも少なくなる。このため、画像処理装置３０の処理能力やメモリに制限があるシステムにおいても、迅速に移動体４０の移動方向を検出することが可能となる。
【００４２】
《第２の実施形態》
次に、本発明の第２の実施形態を、図７及び図８を参照しつつ説明する。なお、第１の実施形態と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。
【００４３】
本実施形態にかかる移動方向検出装置１０は、画像処理装置３０が、一般的なコンピュータ、又はワークステーションなどの装置と同様の構成によって実現されている点で、第１の実施形態にかかる移動方向検出装置１０と相違している。
【００４４】
図７は、移動方向検出装置１０の物理的な構成を示すブロック図である。図７に示されるように、移動方向検出装置１０は、撮像装置２０、コンピュータからなる画像処理装置３０から構成されている。
【００４５】
前記画像処理装置３０は、ＣＰＵ（Central Processing Unit）３０ａ、主記憶部３０ｂ、補助記憶部３０ｃ、表示部３０ｄ、入力部３０ｅ、インターフェイス部３０ｆ、及び上記各部を相互に接続するシステムバス３０ｇを含んで構成されている。
【００４６】
ＣＰＵ３０ａは、補助記憶部３０ｃに記憶されているプログラムに従って、撮像装置２０によって撮像された画像に対して、後述する画像処理を実行する。
【００４７】
主記憶部３０ｂは、ＲＡＭ（Random Access Memory）等を含んで構成され、ＣＰＵ３０ａの作業領域として用いられる。
【００４８】
補助記憶部３０ｃは、ＲＯＭ（Read Only Memory）、磁気ディスク、半導体メモリ等の不揮発性メモリを含んで構成されている。この補助記憶部３０ｃは、ＣＰＵ３０ａが実行するプログラム、及び各種パラメータなどを記憶している。また、ＣＰＵ３０ａによる処理結果などを含む情報を記憶する。
【００４９】
表示部３０ｄは、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）などを含んで構成され、ＣＰＵ３０ａの処理結果を表示する。本実施形態では、デジタル画像Ｐ１，Ｐ２に対する処理が実行されるごとに、その処理結果としての画像などが表示される。
【００５０】
入力部３０ｅは、キーボードやマウス等のポインティングデバイスを含んで構成されている。オペレータの指示は、この入力部３０ｅを介して入力され、システムバス３０ｇを経由してＣＰＵ３０ａに通知される。
【００５１】
インターフェイス部３０ｆは、シリアルインターフェイスまたはＬＡＮ（Local Area Network）インターフェイス等を含んで構成されている。撮像装置２０は、インターフェイス部３０ｆを介してシステムバス３０ｇに接続される。
【００５２】
図８のフローチャートは、画像処理装置３０のＣＰＵ３０ａによって実行されるプログラムの一連の処理アルゴリズムに対応している。以下、図８を参照しつつ、画像処理装置３０における画像処理について説明する。なお、この画像処理は、ＣＰＵ３０ａが、補助記憶部３０ｃから読み出したプログラムに従って、主記憶部３０ｂ、補助記憶部３０ｃ、表示部３０ｄ、インターフェイス部３０ｆを統括的に制御することにより実現される。
【００５３】
まず、最初のステップＳ１０１では、ＣＰＵ３０ａは、撮像装置２０の視野内に移動体４０が進入したか否かを判断する。具体的にＣＰＵ３０ａは、例えば撮像装置２０の視野内の画像を所定の時間間隔でサンプリングする。次に、サンプリングした画像と、一例として図６に示されるように、撮像装置２０の視野内に移動体４０が進入する前に撮像されたデジタル画像Ｐ０とについて差分処理を施す。そして、対応するピクセル間の輝度の差の絶対値を積算して得られる値が所定の閾値以上である場合に、移動体が撮像装置４０の視野内に存在すると判断する。ＣＰＵ３０ａは、ここでの判断が肯定されると次のステップＳ１０２へ移行する。
【００５４】
次のステップＳ１０２では、ＣＰＵ３０ａは、比較的高速な第１のシャッター速度で移動体４０を撮像する。第１のシャッター速度は移動体の移動速度に対して比較的高速であるため、移動体４０は、図２に示されるようにほぼぶれることなくデジタル画像Ｐ１に写りこむ。
【００５５】
次のステップＳ１０３では、ＣＰＵ３０ａは、比較的低速な第２のシャッター速度で移動体４０を撮像する。第２のシャッター速度は、移動体４０の移動速度に対して比較的低速であるため、移動体４０の画像は、図３に示されるように移動方向（Ｘ軸方向）に直交する境界がぶれた状態でデジタル画像Ｐ２に写りこむ。
【００５６】
次のステップＳ１０４では、ＣＰＵ３０ａは、デジタル画像Ｐ１に例えばラベリング処理などを施すことにより、デジタル画像Ｐ１に写り込んだオブジェクトを抽出する。これにより例えば、デジタル画像Ｐ１に写り込んだ移動体４０の画像と、地面Ｆの画像とが抽出される。
【００５７】
次のステップＳ１０５では、ＣＰＵ３０ａは、デジタル画像Ｐ１に写り込んだ移動体４０の画像と、地面Ｆの画像の輪郭を検出する。移動体４０等の輪郭の検出は、例えば、デジタル画像Ｐ１を構成するピクセルの輝度値が、隣接するピクセル間で急峻に変化する変化領域を検出する。そして、ラベリング処理によって検出した移動体４０等の画像の境界と一致する変化領域を移動体４０のエッジとして抽出する。
【００５８】
具体的にはＣＰＵ３０ａは、デジタル画像Ｐ１に含まれる移動体４０の画像に関しては、図４に示されるように、ボディ４０ａの輪郭をエッジＥ１Ｐ１として抽出し、タイヤ４０ｂの輪郭をエッジＥ２Ｐ１として抽出する。また、地面Ｆの画像に関しては、エッジＥＦＰ１を抽出する。
【００５９】
次のステップＳ１０６では、ＣＰＵ３０ａは、抽出したエッジＥ１Ｐ１、Ｅ２Ｐ１、及びエッジＥＦＰ１に一致する直線を規定する。例えば移動体４０を構成するボディ４０ａのエッジＥ１Ｐ１は、ほぼ直線状のエッジＥ１ａ、Ｅ１ｂ、Ｅ１ｃ、Ｅ１ｄと、上記エッジを結ぶ曲線状のエッジとによって構成されている。ＣＰＵ３０ａは、図４に示されるように、ほぼ直線状のエッジＥ１ａ〜Ｅ１ｄに一致する直線Ｌ１１、Ｌ１２、Ｌ１３、Ｌ１５をデジタル画像Ｐ１上に規定する。同様に、ＣＰＵ３０ａは、地面Ｆのほぼ直線状のエッジＥＦＰ１に一致する直線Ｌ１４を、デジタル画像Ｐ１上に規定する。一方、移動体４０を構成するタイヤ４０ｂのエッジＥ２は半径が比較的小さい円状である。このため、ここではエッジＥ２に一致する直線が規定されることはない。
【００６０】
次のステップＳ１０７では、ＣＰＵ３０ａは、デジタル画像Ｐ２に例えばラベリング処理などを施すことにより、デジタル画像Ｐ２に写り込んだオブジェクトを抽出する。これにより例えば、デジタル画像Ｐ２に写り込んだ移動体４０の画像と、地面Ｆの画像とが抽出される。
【００６１】
次のステップＳ１０８では、ＣＰＵ３０ａは、デジタル画像Ｐ２に写り込んだ移動体４０の画像と、地面Ｆの画像の輪郭を検出する。移動体４０等の輪郭の検出は、例えば、デジタル画像Ｐ１を構成するピクセルの輝度値が、隣接するピクセル間で急峻に変化する変化領域を検出する。そして、ラベリング処理によって検出した移動体４０等の画像の境界と一致する変化領域を移動体４０のエッジとして抽出する。
【００６２】
具体的には、ＣＰＵ３０ａは、図５に示されるように、移動体４０を構成するボディ４０ａのエッジＥ１Ｐ２として、ボディ４０ａの＋Ｚ側及び−Ｚ側の輪郭それぞれに対応するエッジＥ１ｂ及びエッジＥ１ｄを抽出する。そして、移動体４０を構成するタイヤ４０ｂのエッジＥ２Ｐ２として、タイヤ４０ｂの＋Ｚ側及び−Ｚ側の輪郭それぞれに対応するエッジＥ２ａ及びエッジＥ２ｂ抽出する。また、地面Ｆの画像に関しては、エッジＥＦＰ２として抽出する。
【００６３】
次のステップＳ１０９では、ＣＰＵ３０ａは、抽出したエッジＥ１Ｐ２を構成するエッジＥ１ｂ，Ｅ１ｄ、エッジＥ２Ｐ２を構成するエッジＥ２ａ，Ｅ２ｂ、及びエッジＥＦＰ２に一致する直線Ｌ２１〜Ｌ２５を、デジタル画像Ｐ２上に規定する。
【００６４】
次のステップＳ１１０では、ＣＰＵ３０ａは、図４及び図５を参照するとわかるように、デジタル画像Ｐ１に規定された直線Ｌ１１〜Ｌ１５と、デジタル画像Ｐ２に規定されたＬ２１〜Ｌ２５とを比較して、デジタル画像Ｐ２上に規定された直線のうち、デジタル画像Ｐ１上の直線と相関のない直線を特定する。
【００６５】
例えば、デジタル画像Ｐ２上の直線Ｌ２１は、デジタル画像Ｐ１上の直線Ｌ１３と位置的に相関がある。一方、デジタル画像上の直線Ｌ２３は、デジタル画像Ｐ１上に位置的に相関がある直線をもたない。ＣＰＵ３０ａは、ここでは、デジタル画像Ｐ２上の直線のうち、デジタル画像Ｐ１上の直線と相関のない直線として直線Ｌ２３及び直線Ｌ２５を特定する。
【００６６】
次にステップＳ１１１では、ＣＰＵ３０ａは、直線Ｌ２３及び直線Ｌ２５に平行な方向（−Ｘ方向及び＋Ｘ方向）のうちのいずれかが移動体４０の移動方向であると推定する。
【００６７】
次のステップＳ１１２では、ＣＰＵ３０ａは、一例として図６に示されるように、撮像装置２０の視野内に移動体４０が進入する前に撮像されたデジタル画像Ｐ０とデジタル画像Ｐ１とについて差分処理を施し、撮像装置２０の視野内におけるデジタル画像Ｐ１に含まれる移動体４０の位置座標（以下、位置座標（ＸＰ１、ＺＰ１）と表示する）を算出する。同様に、デジタル画像Ｐ０とデジタル画像Ｐ２とについても差分処理を施し、撮像装置２０の視野内におけるデジタル画像Ｐ２に含まれる移動体４０の位置座標（以下、位置座標（ＸＰ２、ＺＰ２）と表示する）を算出する。そして、ＣＰＵ３０ａは、位置座標（ＸＰ１、ＺＰ１）を始点とし、位置座標（ＸＰ２、ＺＰ２）を終点とする方向ベクトルを規定する。
【００６８】
次のステップＳ１１３では、ＣＰＵ３０ａは、直線Ｌ２３及び直線Ｌ２５に平行な方向（−Ｘ方向及び＋Ｘ方向）のうち、方向ベクトルとほぼ向きが等しい方向（＋Ｘ方向）を移動体４０の移動方向と判定する。
【００６９】
次のステップＳ１１４では、ＣＰＵ３０ａは、ステップＳ１１３での判定結果を例えば外部装置などへ出力する。
【００７０】
以上説明したように、本第２の実施形態では、比較的高速なシャッター速度で撮像したデジタル画像Ｐ１に含まれる移動体４０の画像のエッジにほぼ一致する直線が規定される。次に、比較的低速なシャッター速度で撮像したデジタル画像Ｐ２に含まれる移動体４０の画像のエッジにほぼ一致する直線が規定される。次に、デジタル画像Ｐ２上に規定された直線のうち、デジタル画像Ｐ１上の直線と相関のない直線が抽出される。次に、抽出された直線に沿った方向が移動体の移動方向と判定される。これにより、本実施形態では、処理に長時間を要するテンプレートマッチング処理を行う必要がなくなり、迅速に移動体の移動方向を検出することができる。
【００７１】
また、本実施形態にかかる移動方向検出装置１０では、移動体４０の移動方向を検出する際に取り扱うデータ量が、テンプレートマッチング処理を行う際に取り扱うデータ量よりも少なくなる。このため、画像処理装置３０の処理能力やメモリに制限があるシステムにおいても、迅速に移動体４０の移動方向を検出することが可能となる。
【００７２】
以上、本発明の実施形態について説明したが、本発明は上記実施形態によって限定されるものではない。
【００７３】
例えば、上記各実施形態では、移動体４０がＸ軸方向へ移動する場合について説明したが、本発明は、移動体４０がＸ軸方向以外へ移動する場合にも迅速に移動方向を検出することができる。
【００７４】
また、上記各実施形態では、異なるシャッター速度で移動体４０を撮像したが、これに限らず例えば多重露光を行って移動体４０を撮像してもよい。この場合にも、図３に示されるように、移動体４０の画像は、進行方向に平行の軸方向のエッジが消失する。したがって、上述した方法で同様に移動体４０の移動方向を検出することができる。
【００７５】
なお、上記各実施形態に係る画像処理装置３０の機能は、専用のハードウェアによっても、また、通常のコンピュータシステムによっても実現することができる。
【００７６】
また、第２の実施形態において画像処理装置３０の補助記憶部３０ｃに記憶されているプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical disk）等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の処理を実行する装置を構成することとしてもよい。
【００７７】
また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するようにしても良い。
【００７８】
また、プログラムは、通信ネットワークを介して転送しながら起動実行することとしてもよい。
【００７９】
また、プログラムは、全部又は一部をサーバ装置上で実行させ、その処理に関する情報を通信ネットワークを介して送受信しながら、上述の画像処理を実行することとしてもよい。
【００８０】
なお、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、コンピュータにダウンロード等しても良い。
【００８１】
なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。
【産業上の利用可能性】
【００８２】
本発明の移動方向検出装置、移動方向検出方法及びプログラムは、移動体の移動方向を検出するのに適している。
【符号の説明】
【００８３】
１０ 移動方向検出装置
２０ 撮像装置
３０ 画像処理装置
３０ａ ＣＰＵ
３０ｂ 主記憶部
３０ｃ 補助記憶部
３０ｄ 表示部
３０ｅ 入力部
３０ｆ インターフェイス部
３０ｇ システムバス
３１ 第１規定部
３２ 第２規定部
３３ 特定部
３４ 判定部
４０ 移動体
４０ａ ボディ
４０ｂ タイヤ
Ｆ 地面
Ｐ０、Ｐ１、Ｐ２ デジタル画像
【技術分野】
【０００１】
本発明は、移動方向検出装置、移動方向検出方法及びプログラムに関し、更に詳しくは、移動体の移動方向を検出する移動方向検出装置、移動体の移動方向を検出するための移動方向検出方法及びプログラムに関する。
【背景技術】
【０００２】
自動車などの移動体を撮影した画像に含まれる移動体を特定し、追跡するシステムなどでは、異なる時刻に撮影された複数の画像に対してテンプレートマッチング処理が行われ、画像に含まれる移動体の移動方向及び速度などが検出される。このようなシステムでは、移動体の移動方向及び速度などを検出することで、移動体の追跡精度や検出精度などを向上させることが可能となる。
【０００３】
上述のテンプレートマッチング処理は、例えば特許文献１に開示されているように、まず現在の画像と過去の画像とに差分処理を施すことにより、両画像間の変化点を抽出する。次に、変化点からなる画像を移動体のテンプレートとして用いて、現在の画像及び過去の画像に含まれる移動体の位置を検出する。そして、それぞれの画像から検出した移動体の位置の相違に基づいて、移動体の移動方向及び移動速度などを検出する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−２０８０５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したテンプレートマッチング処理は、移動体の移動方向及び移動速度などを精度よく検出することができるが、画像処理を行う際に取り扱うデータ量が多くなってしまう。このため、移動体の移動方向等の検出に長時間を要するという問題がある。
【０００６】
本発明は、上述の事情の下になされたもので、移動体の移動方向に関する情報を迅速に検出することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の移動方向検出装置は、移動体を第１の露光時間と、前記第１の露光時間よりも長い第２の露光時間で撮像する撮像手段と、前記第１の露光時間で撮像して得た第１の画像に対して、前記移動体のエッジに一致する直線を規定する第１規定手段と、前記第２の露光時間で撮像して得た第２の画像に対して、前記移動体のエッジに一致する直線を規定する第２規定手段と、前記第１の画像に規定された直線に対応する前記第２の画像に規定された直線以外の、前記第２の画像に規定された直線に平行な方向の一方を、前記移動体の移動方向と判定する判定手段と、を備える。
【０００８】
また、前記撮像手段は、第１のシャッター速度と、前記第１のシャッター速度よりも遅い第２のシャッター速度とによって、それぞれ前記第１の画像及び前記第２の画像を撮像することとしてもよい。
【０００９】
また、前記撮像手段は、多重露光によって前記第２の画像を撮像することとしてもよい。
【００１０】
本発明の移動方向検出方法は、移動体を第１の露光時間で撮像する工程と、前記移動体を前記第１の露光時間よりも長い第２の露光時間で撮像する工程と、前記第１の露光時間で撮像して得た第１の画像に対して、前記移動体のエッジに一致する直線を規定する工程と、前記第２の露光時間で撮像して得た第２の画像に対して、前記移動体のエッジに一致する直線を規定する工程と、前記第１の画像に規定された直線に対応する前記第２の画像に規定された直線以外の、前記第２の画像に規定された直線に平行な方向の一方を、前記移動体の移動方向と判定する工程と、を含む。
【００１１】
本発明のプログラムは、移動方向検出装置の制御装置に、移動体を第１の露光時間で撮像する手順と、前記移動体を前記第１の露光時間よりも長い第２の露光時間で撮像する手順と、前記第１の露光時間で撮像して得た第１の画像に対して、前記移動体のエッジに一致する直線を規定する手順と、前記第２の露光時間で撮像して得た第２の画像に対して、前記移動体のエッジに一致する直線を規定する手順と、前記第１の画像に規定された直線に対応する前記第２の画像に規定された直線以外の、前記第２の画像に規定された直線に平行な方向の一方を、前記移動体の移動方向と判定する手順と、を実行させる。
【発明の効果】
【００１２】
本発明によれば、移動体の移動方向を迅速に検出することができる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施形態に係る移動方向検出装置のブロック図である。
【図２】第１のシャッター速度で撮像したデジタル画像を示す図である。
【図３】第２のシャッター速度で撮像したデジタル画像を示す図である。
【図４】第１規定部の動作を説明するための図である。
【図５】第２規定部の動作を説明するための図である。
【図６】撮像装置の視野内に移動体が進入する前に撮像されたデジタル画像を示す図である。
【図７】第２の実施形態に係る移動方向検出装置のブロック図である。
【図８】移動方向検出装置の動作を説明するためのフローチャートである。
【発明を実施するための形態】
【００１４】
《第１の実施形態》
以下、本発明の第１の実施形態を、図１〜図６を参照しつつ説明する。図１は本実施形態にかかる移動方向検出装置１０の概略的な構成を示すブロック図である。移動方向検出装置１０は、異なる露光時間で撮像することにより得られた２枚の画像に写った移動体の移動方向を検出し、その検出結果を外部装置などに出力する装置である。この移動方向検出装置１０は、図１に示されるように、撮像装置２０、第１規定部３１，第２規定部３２，特定部３３、及び判定部３４を有している。
【００１５】
前記撮像装置２０は、被写体を撮像することにより取得した画像を電気信号に変換して出力するＣＣＤカメラを含んで構成されている。この撮像装置２０は、移動体４０を検知すると、比較的高速な第１のシャッター速度で移動体４０を撮像するとともに、比較的低速な第２のシャッター速度で移動体４０を撮像する。
【００１６】
図２は、Ｘ軸方向に沿って移動する移動体４０を撮像して得られたデジタル画像Ｐ１を示す図である。また、図３は、Ｘ軸方向に沿って移動する移動体４０を撮像して得られたデジタル画像Ｐ２を示す図である。第１のシャッター速度は移動体４０の移動速度に対して比較的高速であるため、移動体４０は、図２に示されるようにほぼぶれることなくデジタル画像Ｐ１に写りこむ。
【００１７】
一方、第２のシャッター速度は、移動体４０の移動速度に対して比較的低速であるため、移動体４０の画像は、図３に示されるように移動方向（Ｘ軸方向）に直交する境界がぶれた状態でデジタル画像Ｐ２に写りこむ。移動体４０がＸ軸方向へ移動する場合には、移動体４０の画像のＸ軸方向の両端では、ボディ４０ａのエッジがいわゆる被写体ぶれによって消失する一方で、移動方向に直交するＺ軸方方向の両端では、移動体４０のエッジが保存される。また、タイヤ４０ｂの画像の上端と下端などでは、移動体の移動にともない移動方向に平行なエッジが発生する。
【００１８】
撮像装置２０は、移動体４０を撮像して得られたデジタル画像Ｐ１とデジタル画像Ｐ２とを、画像処理装置３０へ出力する。
【００１９】
前記画像処理装置３０は、第１規定部３１、第２規定部３２、特定部３３、及び判定部３４を有している。
【００２０】
前記第１規定部３１は、撮像装置２０から出力されたデジタル画像Ｐ１に写り込んだ移動体４０のエッジを抽出し、抽出したエッジにほぼ一致する直線を規定する。以下、図４を参照しつつ、第１規定部３１の動作について説明する。
【００２１】
第１規定部３１は、デジタル画像Ｐ１に例えばラベリング処理などを施すことにより、デジタル画像Ｐ１に写り込んだオブジェクトを抽出する。これにより例えば、デジタル画像Ｐ１に写り込んだ移動体４０の画像と、地面Ｆの画像とが抽出される。
【００２２】
次に、第１規定部３１は、デジタル画像Ｐ１に写り込んだ移動体４０の画像と、地面Ｆの画像の輪郭を検出する。移動体４０等の輪郭の検出は、例えば、デジタル画像Ｐ１を構成するピクセルの輝度値が、隣接するピクセル間で急峻に変化する変化領域を検出する。そして、ラベリング処理によって検出した移動体４０等の画像の境界と一致する変化領域を移動体４０のエッジとして抽出する。変化領域の検出は、例えばソーベルフィルタなどを用いる方法が考えられる。
【００２３】
具体的には、第１規定部３１は、デジタル画像Ｐ１に含まれる移動体４０の画像に関しては、図４に示されるように、ボディ４０ａの輪郭をエッジＥ１Ｐ１として抽出し、タイヤ４０ｂの輪郭をエッジＥ２Ｐ１として抽出する。また、地面Ｆの画像に関しては、エッジＥＦＰ１を抽出する。
【００２４】
次に、第１規定部３１は、抽出したエッジＥ１Ｐ１、Ｅ２Ｐ１、及びエッジＥＦＰ１に一致する直線を規定する。例えば移動体４０を構成するボディ４０ａのエッジＥ１Ｐ１は、ほぼ直線状のエッジＥ１ａ、Ｅ１ｂ、Ｅ１ｃ、Ｅ１ｄと、上記エッジを結ぶ曲線状のエッジとによって構成されている。第１規定部３１は、図４に示されるように、ほぼ直線状のエッジＥ１ａ〜Ｅ１ｄに一致する直線Ｌ１１、Ｌ１２、Ｌ１３、Ｌ１５をデジタル画像Ｐ１上に規定する。同様に、第１規定部３１は、地面Ｆのほぼ直線状のエッジＥＦＰ１に一致する直線Ｌ１４を、デジタル画像Ｐ１上に規定する。一方、移動体４０を構成するタイヤ４０ｂのエッジＥ２Ｐ１は半径が比較的小さい円状である。このため、ここではエッジＥ２Ｐ１に一致する直線が規定されることはない。
【００２５】
第１規定部３１は、デジタル画像Ｐ１上に直線Ｌ１１〜Ｌ１５を規定すると、これらの直線Ｌ１１〜Ｌ１５に関する情報を出力する。
【００２６】
前記第２規定部３２は、撮像装置２０から出力されたデジタル画像Ｐ２に写り込んだ移動体４０のエッジを抽出し、抽出したエッジにほぼ一致する直線を規定する。以下、図５を参照しつつ、第２規定部３２の動作について説明する。
【００２７】
第２規定部３２は、デジタル画像Ｐ２に例えばラベリング処理などを施すことにより、デジタル画像Ｐ２に写り込んだオブジェクトを抽出する。これにより例えば、デジタル画像Ｐ２に写り込んだ移動体４０の画像と、地面Ｆの画像とが抽出される。
【００２８】
次に、第２規定部３２は、デジタル画像Ｐ２に写り込んだ移動体４０の画像と、地面Ｆの画像の輪郭を検出する。移動体４０等の輪郭の検出は、例えば、デジタル画像Ｐ２を構成するピクセルの輝度値が、隣接するピクセル間で急峻に変化する変化領域を検出する。そして、ラベリング処理によって検出した移動体４０等の画像の境界と一致する変化領域を移動体４０のエッジとして抽出する。変化領域の検出は、第１規定部３１での処理と同様にソーベルフィルタなどを用いる方法が考えられる。
【００２９】
上述したように、デジタル画像Ｐ２は、移動体４０の移動速度に対して比較的低速な第２のシャッター速度で撮像された画像である。このため、移動体４０の画像は、図５に示されるように移動方向（Ｘ軸方向）に直交する境界がぶれた状態で写り込んでいる。これにより、移動体４０の画像の移動方向に直交する方向の境界では、隣接する輝度相互間の輝度値の差が小さくなり、ピクセルの輝度が隣接するピクセル間で急峻に変化することがない。このため、第２規定手段３２によって、デジタル画像Ｐ２の変化領域が、移動体４０の画像の＋Ｘ側及びーＸ側で検出されることはない
【００３０】
また、シャッター速度との関係で移動体４０は、デジタル画像Ｐ２の中に、実際よりも移動方向（Ｘ軸方向）に伸びた状態で写り込む。このため、移動体４０を構成するボディ４０ａ及びタイヤ４０ｂの＋Ｚ側及びーＺ側の端部の輪郭は、移動方向に平行となる。
【００３１】
したがって、第２規定部３２は、図５に示されるように、移動体４０を構成するボディ４０ａのエッジＥ１Ｐ２として、ボディ４０ａの＋Ｚ側及び−Ｚ側の輪郭それぞれに対応するエッジＥ１ｂ及びエッジＥ１ｄを抽出する。そして、移動体４０を構成するタイヤ４０ｂのエッジＥ２Ｐ２として、タイヤ４０ｂの＋Ｚ側及び−Ｚ側の輪郭それぞれに対応するエッジＥ２ａ及びエッジＥ２ｂを抽出する。また、地面Ｆの画像に関しては、エッジＥＦＰ２を抽出する。
【００３２】
次に、第２規定部３２は、抽出したエッジＥ１Ｐ２を構成するエッジＥ１ｂ，Ｅ１ｄ、エッジＥ２Ｐ２を構成するエッジＥ２ａ，Ｅ２ｂ、及びエッジＥＦＰ２に一致する直線Ｌ２１〜Ｌ２５を、デジタル画像Ｐ２上に規定する。そして、第２規定部３２は、これらの直線Ｌ２１〜Ｌ２５に関する情報を出力する。
【００３３】
前記特定部３３は、図４及び図５を参照するとわかるように、デジタル画像Ｐ１に規定された直線Ｌ１１〜Ｌ１５と、デジタル画像Ｐ２に規定されたＬ２１〜Ｌ２５とを比較して、デジタル画像Ｐ２上に規定された直線のうち、デジタル画像Ｐ１上の直線と相関のない直線を特定する。
【００３４】
例えば、デジタル画像Ｐ２上の直線Ｌ２１は、デジタル画像Ｐ１上の直線Ｌ１３と位置的に相関がある。一方、デジタル画像上の直線Ｌ２３は、デジタル画像Ｐ１上に位置的に相関がある直線をもたない。特定部３３は、ここでは、デジタル画像Ｐ２上の直線のうち、デジタル画像Ｐ１上の直線と相関のない直線として直線Ｌ２３及び直線Ｌ２５を特定する。そして、特定した直線Ｌ２３及び直線Ｌ２５に関する情報を出力する。
【００３５】
前記判定部３４は、特定部３３から出力された直線Ｌ２３及び直線Ｌ２５に関する情報に基づいて、移動体４０の移動方向を判定する。
【００３６】
例えば、まず判定部３４は、直線Ｌ２３及び直線Ｌ２５に平行な方向（−Ｘ方向及び＋Ｘ方向）のうちのいずれかが移動体４０の移動方向であると推定する。
【００３７】
次に、一例として図６に示されるように、撮像装置２０の視野内に移動体４０が進入する前に撮像されたデジタル画像Ｐ０とデジタル画像Ｐ１とについて公知の差分処理を施し、撮像装置２０の視野内におけるデジタル画像Ｐ１に含まれる移動体４０の位置座標（ＸＰ１、ＺＰ１）を算出する。同様に、デジタル画像Ｐ０とデジタル画像Ｐ２とについても差分処理を施し、撮像装置２０の視野内におけるデジタル画像Ｐ２に含まれる移動体４０の位置座標（ＸＰ２、ＺＰ２）を算出する。なお、ここでの位置座標は、移動体４０の中心の位置座標をいう。
【００３８】
次に、判定部３４は、位置座標（ＸＰ１、ＺＰ１）を始点とし、位置座標（ＸＰ２、ＺＰ２）を終点とする方向ベクトルを算出する。そして、直線Ｌ２３及び直線Ｌ２５に平行な方向（−Ｘ方向及び＋Ｘ方向）のうち、方向ベクトルとほぼ向きが等しい方向（＋Ｘ方向）を移動体４０の移動方向と判定する。そして、この判定結果を例えば外部装置などへ出力する。
【００３９】
以上説明したように、本第１の実施形態では、比較的高速なシャッター速度で撮像したデジタル画像Ｐ１に含まれる移動体４０の画像のエッジにほぼ一致する直線が規定される。次に、比較的低速なシャッター速度で撮像したデジタル画像Ｐ２に含まれる移動体４０の画像のエッジにほぼ一致する直線が規定される。次に、デジタル画像Ｐ２上に規定された直線のうち、デジタル画像Ｐ１上の直線と相関のない直線が抽出される。次に、抽出された直線に沿った方向が移動体の移動方向と判定される。これにより、本実施形態では、処理に長時間を要するテンプレートマッチング処理を行う必要がなくなり、迅速に移動体の移動方向を検出することができる。
【００４０】
特に、移動体の検知・追跡を行うシステムにおいては、デジタルカメラなどの撮像装置で撮像したデジタル画像をＤＳＰなどで処理する場合、複雑な処理が必要となる。例えば、上述の移動方向検出装置を駐車場の管理に応用する場合には、駐車場の入場口で検出した車両を追跡するために、あるフレームで検出した車両が、次のフレームではどの位置まで移動しているかを検知する必要がある。この場合に、テンプレートマッチング処理などによって車両の位置を検出すると、マッチング回数によっては検出までに長時間を要してしまうことがある。本実施形態にかかる移動方向検出装置１０では、短時間に移動体のおおよその移動方向を検出することができるので、車両管理の迅速化、及び複数車両の同時検出・追跡などを精度よく行うことができる。
【００４１】
また、本実施形態にかかる移動方向検出装置１０では、移動体４０の移動方向を検出する際に取り扱うデータ量が、テンプレートマッチング処理を行う際に取り扱うデータ量よりも少なくなる。このため、画像処理装置３０の処理能力やメモリに制限があるシステムにおいても、迅速に移動体４０の移動方向を検出することが可能となる。
【００４２】
《第２の実施形態》
次に、本発明の第２の実施形態を、図７及び図８を参照しつつ説明する。なお、第１の実施形態と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。
【００４３】
本実施形態にかかる移動方向検出装置１０は、画像処理装置３０が、一般的なコンピュータ、又はワークステーションなどの装置と同様の構成によって実現されている点で、第１の実施形態にかかる移動方向検出装置１０と相違している。
【００４４】
図７は、移動方向検出装置１０の物理的な構成を示すブロック図である。図７に示されるように、移動方向検出装置１０は、撮像装置２０、コンピュータからなる画像処理装置３０から構成されている。
【００４５】
前記画像処理装置３０は、ＣＰＵ（Central Processing Unit）３０ａ、主記憶部３０ｂ、補助記憶部３０ｃ、表示部３０ｄ、入力部３０ｅ、インターフェイス部３０ｆ、及び上記各部を相互に接続するシステムバス３０ｇを含んで構成されている。
【００４６】
ＣＰＵ３０ａは、補助記憶部３０ｃに記憶されているプログラムに従って、撮像装置２０によって撮像された画像に対して、後述する画像処理を実行する。
【００４７】
主記憶部３０ｂは、ＲＡＭ（Random Access Memory）等を含んで構成され、ＣＰＵ３０ａの作業領域として用いられる。
【００４８】
補助記憶部３０ｃは、ＲＯＭ（Read Only Memory）、磁気ディスク、半導体メモリ等の不揮発性メモリを含んで構成されている。この補助記憶部３０ｃは、ＣＰＵ３０ａが実行するプログラム、及び各種パラメータなどを記憶している。また、ＣＰＵ３０ａによる処理結果などを含む情報を記憶する。
【００４９】
表示部３０ｄは、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）などを含んで構成され、ＣＰＵ３０ａの処理結果を表示する。本実施形態では、デジタル画像Ｐ１，Ｐ２に対する処理が実行されるごとに、その処理結果としての画像などが表示される。
【００５０】
入力部３０ｅは、キーボードやマウス等のポインティングデバイスを含んで構成されている。オペレータの指示は、この入力部３０ｅを介して入力され、システムバス３０ｇを経由してＣＰＵ３０ａに通知される。
【００５１】
インターフェイス部３０ｆは、シリアルインターフェイスまたはＬＡＮ（Local Area Network）インターフェイス等を含んで構成されている。撮像装置２０は、インターフェイス部３０ｆを介してシステムバス３０ｇに接続される。
【００５２】
図８のフローチャートは、画像処理装置３０のＣＰＵ３０ａによって実行されるプログラムの一連の処理アルゴリズムに対応している。以下、図８を参照しつつ、画像処理装置３０における画像処理について説明する。なお、この画像処理は、ＣＰＵ３０ａが、補助記憶部３０ｃから読み出したプログラムに従って、主記憶部３０ｂ、補助記憶部３０ｃ、表示部３０ｄ、インターフェイス部３０ｆを統括的に制御することにより実現される。
【００５３】
まず、最初のステップＳ１０１では、ＣＰＵ３０ａは、撮像装置２０の視野内に移動体４０が進入したか否かを判断する。具体的にＣＰＵ３０ａは、例えば撮像装置２０の視野内の画像を所定の時間間隔でサンプリングする。次に、サンプリングした画像と、一例として図６に示されるように、撮像装置２０の視野内に移動体４０が進入する前に撮像されたデジタル画像Ｐ０とについて差分処理を施す。そして、対応するピクセル間の輝度の差の絶対値を積算して得られる値が所定の閾値以上である場合に、移動体が撮像装置４０の視野内に存在すると判断する。ＣＰＵ３０ａは、ここでの判断が肯定されると次のステップＳ１０２へ移行する。
【００５４】
次のステップＳ１０２では、ＣＰＵ３０ａは、比較的高速な第１のシャッター速度で移動体４０を撮像する。第１のシャッター速度は移動体の移動速度に対して比較的高速であるため、移動体４０は、図２に示されるようにほぼぶれることなくデジタル画像Ｐ１に写りこむ。
【００５５】
次のステップＳ１０３では、ＣＰＵ３０ａは、比較的低速な第２のシャッター速度で移動体４０を撮像する。第２のシャッター速度は、移動体４０の移動速度に対して比較的低速であるため、移動体４０の画像は、図３に示されるように移動方向（Ｘ軸方向）に直交する境界がぶれた状態でデジタル画像Ｐ２に写りこむ。
【００５６】
次のステップＳ１０４では、ＣＰＵ３０ａは、デジタル画像Ｐ１に例えばラベリング処理などを施すことにより、デジタル画像Ｐ１に写り込んだオブジェクトを抽出する。これにより例えば、デジタル画像Ｐ１に写り込んだ移動体４０の画像と、地面Ｆの画像とが抽出される。
【００５７】
次のステップＳ１０５では、ＣＰＵ３０ａは、デジタル画像Ｐ１に写り込んだ移動体４０の画像と、地面Ｆの画像の輪郭を検出する。移動体４０等の輪郭の検出は、例えば、デジタル画像Ｐ１を構成するピクセルの輝度値が、隣接するピクセル間で急峻に変化する変化領域を検出する。そして、ラベリング処理によって検出した移動体４０等の画像の境界と一致する変化領域を移動体４０のエッジとして抽出する。
【００５８】
具体的にはＣＰＵ３０ａは、デジタル画像Ｐ１に含まれる移動体４０の画像に関しては、図４に示されるように、ボディ４０ａの輪郭をエッジＥ１Ｐ１として抽出し、タイヤ４０ｂの輪郭をエッジＥ２Ｐ１として抽出する。また、地面Ｆの画像に関しては、エッジＥＦＰ１を抽出する。
【００５９】
次のステップＳ１０６では、ＣＰＵ３０ａは、抽出したエッジＥ１Ｐ１、Ｅ２Ｐ１、及びエッジＥＦＰ１に一致する直線を規定する。例えば移動体４０を構成するボディ４０ａのエッジＥ１Ｐ１は、ほぼ直線状のエッジＥ１ａ、Ｅ１ｂ、Ｅ１ｃ、Ｅ１ｄと、上記エッジを結ぶ曲線状のエッジとによって構成されている。ＣＰＵ３０ａは、図４に示されるように、ほぼ直線状のエッジＥ１ａ〜Ｅ１ｄに一致する直線Ｌ１１、Ｌ１２、Ｌ１３、Ｌ１５をデジタル画像Ｐ１上に規定する。同様に、ＣＰＵ３０ａは、地面Ｆのほぼ直線状のエッジＥＦＰ１に一致する直線Ｌ１４を、デジタル画像Ｐ１上に規定する。一方、移動体４０を構成するタイヤ４０ｂのエッジＥ２は半径が比較的小さい円状である。このため、ここではエッジＥ２に一致する直線が規定されることはない。
【００６０】
次のステップＳ１０７では、ＣＰＵ３０ａは、デジタル画像Ｐ２に例えばラベリング処理などを施すことにより、デジタル画像Ｐ２に写り込んだオブジェクトを抽出する。これにより例えば、デジタル画像Ｐ２に写り込んだ移動体４０の画像と、地面Ｆの画像とが抽出される。
【００６１】
次のステップＳ１０８では、ＣＰＵ３０ａは、デジタル画像Ｐ２に写り込んだ移動体４０の画像と、地面Ｆの画像の輪郭を検出する。移動体４０等の輪郭の検出は、例えば、デジタル画像Ｐ１を構成するピクセルの輝度値が、隣接するピクセル間で急峻に変化する変化領域を検出する。そして、ラベリング処理によって検出した移動体４０等の画像の境界と一致する変化領域を移動体４０のエッジとして抽出する。
【００６２】
具体的には、ＣＰＵ３０ａは、図５に示されるように、移動体４０を構成するボディ４０ａのエッジＥ１Ｐ２として、ボディ４０ａの＋Ｚ側及び−Ｚ側の輪郭それぞれに対応するエッジＥ１ｂ及びエッジＥ１ｄを抽出する。そして、移動体４０を構成するタイヤ４０ｂのエッジＥ２Ｐ２として、タイヤ４０ｂの＋Ｚ側及び−Ｚ側の輪郭それぞれに対応するエッジＥ２ａ及びエッジＥ２ｂ抽出する。また、地面Ｆの画像に関しては、エッジＥＦＰ２として抽出する。
【００６３】
次のステップＳ１０９では、ＣＰＵ３０ａは、抽出したエッジＥ１Ｐ２を構成するエッジＥ１ｂ，Ｅ１ｄ、エッジＥ２Ｐ２を構成するエッジＥ２ａ，Ｅ２ｂ、及びエッジＥＦＰ２に一致する直線Ｌ２１〜Ｌ２５を、デジタル画像Ｐ２上に規定する。
【００６４】
次のステップＳ１１０では、ＣＰＵ３０ａは、図４及び図５を参照するとわかるように、デジタル画像Ｐ１に規定された直線Ｌ１１〜Ｌ１５と、デジタル画像Ｐ２に規定されたＬ２１〜Ｌ２５とを比較して、デジタル画像Ｐ２上に規定された直線のうち、デジタル画像Ｐ１上の直線と相関のない直線を特定する。
【００６５】
例えば、デジタル画像Ｐ２上の直線Ｌ２１は、デジタル画像Ｐ１上の直線Ｌ１３と位置的に相関がある。一方、デジタル画像上の直線Ｌ２３は、デジタル画像Ｐ１上に位置的に相関がある直線をもたない。ＣＰＵ３０ａは、ここでは、デジタル画像Ｐ２上の直線のうち、デジタル画像Ｐ１上の直線と相関のない直線として直線Ｌ２３及び直線Ｌ２５を特定する。
【００６６】
次にステップＳ１１１では、ＣＰＵ３０ａは、直線Ｌ２３及び直線Ｌ２５に平行な方向（−Ｘ方向及び＋Ｘ方向）のうちのいずれかが移動体４０の移動方向であると推定する。
【００６７】
次のステップＳ１１２では、ＣＰＵ３０ａは、一例として図６に示されるように、撮像装置２０の視野内に移動体４０が進入する前に撮像されたデジタル画像Ｐ０とデジタル画像Ｐ１とについて差分処理を施し、撮像装置２０の視野内におけるデジタル画像Ｐ１に含まれる移動体４０の位置座標（以下、位置座標（ＸＰ１、ＺＰ１）と表示する）を算出する。同様に、デジタル画像Ｐ０とデジタル画像Ｐ２とについても差分処理を施し、撮像装置２０の視野内におけるデジタル画像Ｐ２に含まれる移動体４０の位置座標（以下、位置座標（ＸＰ２、ＺＰ２）と表示する）を算出する。そして、ＣＰＵ３０ａは、位置座標（ＸＰ１、ＺＰ１）を始点とし、位置座標（ＸＰ２、ＺＰ２）を終点とする方向ベクトルを規定する。
【００６８】
次のステップＳ１１３では、ＣＰＵ３０ａは、直線Ｌ２３及び直線Ｌ２５に平行な方向（−Ｘ方向及び＋Ｘ方向）のうち、方向ベクトルとほぼ向きが等しい方向（＋Ｘ方向）を移動体４０の移動方向と判定する。
【００６９】
次のステップＳ１１４では、ＣＰＵ３０ａは、ステップＳ１１３での判定結果を例えば外部装置などへ出力する。
【００７０】
以上説明したように、本第２の実施形態では、比較的高速なシャッター速度で撮像したデジタル画像Ｐ１に含まれる移動体４０の画像のエッジにほぼ一致する直線が規定される。次に、比較的低速なシャッター速度で撮像したデジタル画像Ｐ２に含まれる移動体４０の画像のエッジにほぼ一致する直線が規定される。次に、デジタル画像Ｐ２上に規定された直線のうち、デジタル画像Ｐ１上の直線と相関のない直線が抽出される。次に、抽出された直線に沿った方向が移動体の移動方向と判定される。これにより、本実施形態では、処理に長時間を要するテンプレートマッチング処理を行う必要がなくなり、迅速に移動体の移動方向を検出することができる。
【００７１】
また、本実施形態にかかる移動方向検出装置１０では、移動体４０の移動方向を検出する際に取り扱うデータ量が、テンプレートマッチング処理を行う際に取り扱うデータ量よりも少なくなる。このため、画像処理装置３０の処理能力やメモリに制限があるシステムにおいても、迅速に移動体４０の移動方向を検出することが可能となる。
【００７２】
以上、本発明の実施形態について説明したが、本発明は上記実施形態によって限定されるものではない。
【００７３】
例えば、上記各実施形態では、移動体４０がＸ軸方向へ移動する場合について説明したが、本発明は、移動体４０がＸ軸方向以外へ移動する場合にも迅速に移動方向を検出することができる。
【００７４】
また、上記各実施形態では、異なるシャッター速度で移動体４０を撮像したが、これに限らず例えば多重露光を行って移動体４０を撮像してもよい。この場合にも、図３に示されるように、移動体４０の画像は、進行方向に平行の軸方向のエッジが消失する。したがって、上述した方法で同様に移動体４０の移動方向を検出することができる。
【００７５】
なお、上記各実施形態に係る画像処理装置３０の機能は、専用のハードウェアによっても、また、通常のコンピュータシステムによっても実現することができる。
【００７６】
また、第２の実施形態において画像処理装置３０の補助記憶部３０ｃに記憶されているプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical disk）等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の処理を実行する装置を構成することとしてもよい。
【００７７】
また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するようにしても良い。
【００７８】
また、プログラムは、通信ネットワークを介して転送しながら起動実行することとしてもよい。
【００７９】
また、プログラムは、全部又は一部をサーバ装置上で実行させ、その処理に関する情報を通信ネットワークを介して送受信しながら、上述の画像処理を実行することとしてもよい。
【００８０】
なお、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、コンピュータにダウンロード等しても良い。
【００８１】
なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。
【産業上の利用可能性】
【００８２】
本発明の移動方向検出装置、移動方向検出方法及びプログラムは、移動体の移動方向を検出するのに適している。
【符号の説明】
【００８３】
１０ 移動方向検出装置
２０ 撮像装置
３０ 画像処理装置
３０ａ ＣＰＵ
３０ｂ 主記憶部
３０ｃ 補助記憶部
３０ｄ 表示部
３０ｅ 入力部
３０ｆ インターフェイス部
３０ｇ システムバス
３１ 第１規定部
３２ 第２規定部
３３ 特定部
３４ 判定部
４０ 移動体
４０ａ ボディ
４０ｂ タイヤ
Ｆ 地面
Ｐ０、Ｐ１、Ｐ２ デジタル画像
【特許請求の範囲】
【請求項１】
移動体を第１の露光時間と、前記第１の露光時間よりも長い第２の露光時間で撮像する撮像手段と、
前記第１の露光時間で撮像して得た第１の画像に対して、前記移動体のエッジに一致する直線を規定する第１規定手段と、
前記第２の露光時間で撮像して得た第２の画像に対して、前記移動体のエッジに一致する直線を規定する第２規定手段と、
前記第１の画像に規定された直線に対応する前記第２の画像に規定された直線以外の、前記第２の画像に規定された直線に平行な方向の一方を、前記移動体の移動方向と判定する判定手段と、
を備える移動方向検出装置。
【請求項２】
前記撮像手段は、第１のシャッター速度と、前記第１のシャッター速度よりも遅い第２のシャッター速度とによって、それぞれ前記第１の画像及び前記第２の画像を撮像する請求項１に記載の移動方向検出装置。
【請求項３】
前記撮像手段は、多重露光によって前記第２の画像を撮像する請求項１に記載の移動方向検出装置。
【請求項４】
移動体を第１の露光時間で撮像する工程と、
前記移動体を前記第１の露光時間よりも長い第２の露光時間で撮像する工程と、
前記第１の露光時間で撮像して得た第１の画像に対して、前記移動体のエッジに一致する直線を規定する工程と、
前記第２の露光時間で撮像して得た第２の画像に対して、前記移動体のエッジに一致する直線を規定する工程と、
前記第１の画像に規定された直線に対応する前記第２の画像に規定された直線以外の、前記第２の画像に規定された直線に平行な方向の一方を、前記移動体の移動方向と判定する工程と、
を含む移動体の移動方向検出方法。
【請求項５】
移動方向検出装置の制御装置に、
移動体を第１の露光時間で撮像する手順と、
前記移動体を前記第１の露光時間よりも長い第２の露光時間で撮像する手順と、
前記第１の露光時間で撮像して得た第１の画像に対して、前記移動体のエッジに一致する直線を規定する手順と、
前記第２の露光時間で撮像して得た第２の画像に対して、前記移動体のエッジに一致する直線を規定する手順と、
前記第１の画像に規定された直線に対応する前記第２の画像に規定された直線以外の、前記第２の画像に規定された直線に平行な方向の一方を、前記移動体の移動方向と判定する手順と、
を実行させるためのプログラム。
【請求項１】
移動体を第１の露光時間と、前記第１の露光時間よりも長い第２の露光時間で撮像する撮像手段と、
前記第１の露光時間で撮像して得た第１の画像に対して、前記移動体のエッジに一致する直線を規定する第１規定手段と、
前記第２の露光時間で撮像して得た第２の画像に対して、前記移動体のエッジに一致する直線を規定する第２規定手段と、
前記第１の画像に規定された直線に対応する前記第２の画像に規定された直線以外の、前記第２の画像に規定された直線に平行な方向の一方を、前記移動体の移動方向と判定する判定手段と、
を備える移動方向検出装置。
【請求項２】
前記撮像手段は、第１のシャッター速度と、前記第１のシャッター速度よりも遅い第２のシャッター速度とによって、それぞれ前記第１の画像及び前記第２の画像を撮像する請求項１に記載の移動方向検出装置。
【請求項３】
前記撮像手段は、多重露光によって前記第２の画像を撮像する請求項１に記載の移動方向検出装置。
【請求項４】
移動体を第１の露光時間で撮像する工程と、
前記移動体を前記第１の露光時間よりも長い第２の露光時間で撮像する工程と、
前記第１の露光時間で撮像して得た第１の画像に対して、前記移動体のエッジに一致する直線を規定する工程と、
前記第２の露光時間で撮像して得た第２の画像に対して、前記移動体のエッジに一致する直線を規定する工程と、
前記第１の画像に規定された直線に対応する前記第２の画像に規定された直線以外の、前記第２の画像に規定された直線に平行な方向の一方を、前記移動体の移動方向と判定する工程と、
を含む移動体の移動方向検出方法。
【請求項５】
移動方向検出装置の制御装置に、
移動体を第１の露光時間で撮像する手順と、
前記移動体を前記第１の露光時間よりも長い第２の露光時間で撮像する手順と、
前記第１の露光時間で撮像して得た第１の画像に対して、前記移動体のエッジに一致する直線を規定する手順と、
前記第２の露光時間で撮像して得た第２の画像に対して、前記移動体のエッジに一致する直線を規定する手順と、
前記第１の画像に規定された直線に対応する前記第２の画像に規定された直線以外の、前記第２の画像に規定された直線に平行な方向の一方を、前記移動体の移動方向と判定する手順と、
を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１０−２４４３０１（Ｐ２０１０−２４４３０１Ａ）
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願番号】特願２００９−９２３７６（Ｐ２００９−９２３７６）
【出願日】平成２１年４月６日（２００９．４．６）
【出願人】（３９６００４９８１）セイコープレシジョン株式会社 (481)
【Ｆターム（参考）】
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願日】平成２１年４月６日（２００９．４．６）
【出願人】（３９６００４９８１）セイコープレシジョン株式会社 (481)
【Ｆターム（参考）】
[ Back to top ]