移動体検出装置、移動体検出方法および移動体検出プログラム
【課題】移動体の画像上の大きさに関わらず（移動体が遠方に存在する場合でも）、移動体を正確に検出すること。
【解決手段】移動体検出装置１００は、オプティカルフロー方式により画像内の移動体を検出するオプティカルフロー移動体検出部１３０と、フレーム間差分法により画像内の移動体を検出するフレーム間差分移動体検出部１４０とを有し、自車両が停止状態に応じて、オプティカルフロー移動体検出部１３０あるいはフレーム間差分移動体検出部１４０による検出結果を出力する。
【解決手段】移動体検出装置１００は、オプティカルフロー方式により画像内の移動体を検出するオプティカルフロー移動体検出部１３０と、フレーム間差分法により画像内の移動体を検出するフレーム間差分移動体検出部１４０とを有し、自車両が停止状態に応じて、オプティカルフロー移動体検出部１３０あるいはフレーム間差分移動体検出部１４０による検出結果を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、移動体に搭載されたカメラによって撮影された画像から移動体を検出する移動体検出装置およびその移動体検出方法、移動体検出プログラムに関し、特に、移動体の画像上の大きさに関わらず、移動体を正確に検出可能な移動体検出装置、移動体検出方法および移動体検出プログラムに関する。
【背景技術】
【０００２】
車両の外に設けたカメラにより、運転手の死角となる画像を取得し、取得した画像を運転手に提示することにより交通事故を未然に防ぐ技術として、例えば、ブラインドコーナモニタ（以下、ＢＣＭ；Blind Corner Monitor）等の製品が利用されている。
【０００３】
図８は、ＢＣＭの撮影範囲を示す図である。図８に示すように、車両１０が見通しの悪い交差点やＴ字路を走行する場合に、車両１０前方に設置したＢＣＭ（例えば、プリズム型のＢＣＭ）から車両１０左右方向の画像をモニタに表示することによって、運転手の死角から接近する車両２０やその他歩行者などを確認することが可能となる。図９は、ＢＣＭによって撮影される画像の一例を示す図である。図９では左右方向の画像がまとめて１つのモニタに表示されている。
【０００４】
そして、近年では、ＢＣＭを利用したモニタ表示に留まらず、例えば、ＢＣＭによって表示した画像内から移動体（自車両に接近する車両）を検出して警告することで、運転手に注意を喚起させる技術が実用化に向けて開発されている。なお、画像内から移動体を検出する手法として、一般的に、オプティカルフロー方式が用いられる。
【０００５】
例えば、特許文献１では、オプティカルフロー方式を用いて移動体を検出する技術が公開されており、画像領域を、近距離物体が映ると思われる領域（近距離領域）、遠距離物体が映ると思われる領域（遠距離領域）に分割し、近距離領域に対してはブロックマッチング法、遠距離領域に対しては勾配法を用いて移動体の検出を行っている。
【０００６】
【特許文献１】特開２００７−１７２５４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
一般的に、画像上の移動体は、遠い位置ほど小さくなる。したがって、ＢＣＭなどの広角画像を、死角領域の画像を１つの画像内に納めるように画像を変換して出力する場合には、移動体が存在する画像上の領域が更に小さくなる。
【０００８】
そして、上記した特許文献１の手法（勾配法）を用いて遠距離領域に存在する移動体を検出することも可能であるが、勾配法は計算が複雑で処理が遅く、画像上の細かい動きを検出するという特性から、ノイズを多く拾ってしまうため、遠くに存在する移動体を正確に検出することが出来ないという問題があった。
【０００９】
また、オプティカルフローをベースとした考え方（勾配法）によれば、フレーム上の特徴点がどの方向に移動しているかを追跡する手法であるため、現フレームで初めて現れた移動体については検出することが出来ない。
【００１０】
この発明は、上述した従来技術による問題点を解消するためになされたものであり、移動体の画像上の大きさに関わらず（移動体が遠方に存在する場合でも）、移動体を正確に検出することが出来る移動体検出装置、移動体検出方法および移動体検出プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上述した課題を解決し、目的を達成するため、この移動体検出装置は、移動体に搭載されたカメラによって撮影された画像から移動体を検出する移動体検出装置であって、オプティカルフローにより前記画像内の移動体を検出する第１の移動体検出手段と、フレーム間差分法により前記画像内の移動体を検出する第２の移動体検出手段と、前記カメラを搭載した移動体が停止しているか否かを判定する停止判定手段と、前記停止判定手段が、停止していると判定した場合に、前記第２の移動体検出手段による検出結果を出力する検出結果出力手段と、を備えたことを要件とする。
【００１２】
また、この移動体検出装置は、上記の移動体検出装置において、前記検出結果出力手段は、前記停止判定手段が、停止していないと判定した場合に、前記第１の移動体検出手段による検出結果を出力することを要件とする。
【００１３】
また、この移動体検出装置は、上記の移動体検出装置において、前記第２の移動体検出手段は、前記カメラによって撮影された画像において、道路消失点を含んだ所定の画像領域内から移動体を検出することを要件とする。
【００１４】
また、この移動体検出装置は、上記の移動体検出装置において、前記第１の移動体検出手段は、前記カメラを搭載した移動体に接近する移動体を検出対象とし、前記カメラを搭載した移動体から離れる移動体を検出対象から除外することを要件とする。
【００１５】
また、この移動体検出方法は、移動体に搭載されたカメラによって撮影された画像から移動体を検出する移動体検出装置の移動体検出方法であって、前記移動体検出装置は、前記カメラによって撮影された画像を記憶装置に記憶する記憶ステップと、前記記憶装置から画像を取得し、オプティカルフローにより前記画像内の移動体を検出する第１の移動体検出ステップと、前記第１の移動体検出ステップによって移動体が検出されず、かつ、前記カメラを搭載した移動体が停止しているか否かを判定する判定ステップと、前記判定ステップの判定結果に基づいて、フレーム間差分法により前記画像内の移動体を検出する第２の移動体検出ステップと、前記第１の移動体検出ステップまたは第２の移動体検出ステップによる検出結果を出力する出力ステップと、を含んでいることを要件とする。
【００１６】
また、この移動体検出プログラムは、コンピュータに、移動体に搭載されたカメラによって撮影された画像を記憶装置に記憶する記憶手順と、前記記憶装置から画像を取得し、オプティカルフローにより前記画像内の移動体を検出する第１の移動体検出手順と、前記第１の移動体検出手順によって移動体が検出されず、かつ、前記カメラを搭載した移動体が停止しているか否かを判定する判定手順と、前記判定手順の判定結果に基づいて、フレーム間差分法により前記画像内の移動体を検出する第２の移動体検出手順と、前記第１の移動体検出手順または第２の移動体検出手順による検出結果を出力する出力手順と、を実行させることを要件とする。
【発明の効果】
【００１７】
開示の移動体検出装置は、車両の走行状態に対応した最適な移動体検出方式（車両が停止していない場合には、オプティカルフロー方式、車両が停止している場合には、フレーム間差分方式）を利用して、移動体の検出を実行するので、移動体の画像上の大きさに関わらず（移動体が遠方に存在する場合でも）、移動体を正確に検出することが出来る。
【００１８】
また、開示の移動体検出装置は、カメラによって撮影された画像において、道路消失点を含んだ所定の画像領域内から移動体を検出するので、ノイズの影響を低減することができる。
【００１９】
また、開示の移動体検出装置は、カメラを搭載した移動体に接近する移動体を検出対象とし、カメラを搭載した移動体から離れる移動体を検出対象から除外するので、重要な情報のみを運転手に通知することができる。
【００２０】
また、開示の移動体検出方法は、車両の走行状態に対応した最適な移動体検出方式（車両が停止していない場合には、オプティカルフロー方式、車両が停止している場合には、フレーム間差分方式）を利用して、移動体の検出を実行するので、移動体の画像上の大きさに関わらず（移動体が遠方に存在する場合でも）、移動体を正確に検出することが出来る。
【発明を実施するための最良の形態】
【００２１】
以下に添付図面を参照して、この発明に係る移動体検出装置、移動体検出方法および移動体検出プログラムの好適な実施の形態を詳細に説明する。
【実施例１】
【００２２】
まず、本実施例１にかかる移動体検出装置の概要および特徴について説明する。本実施例１にかかる移動体検出装置は、カメラ（例えば、ブラインドコーナモニタ；ＢＣＭ）の撮影した画像から移動体を検出する場合に、カメラを搭載した車両の走行状態に応じて、検出方法を選択し、選択した検出方法による検出結果を出力する。
【００２３】
具体的に、移動体検出装置は、車両が停止していない場合には、オプティカルフロー方式により、画像内から移動体を検出し、車両が停止している場合には、フレーム間差分方式により、画面内から移動体を検出する。
【００２４】
図１は、オプティカルフロー方式およびフレーム間差分方式の特徴を説明するための図である。同図に示すように、オプティカルフロー方式は、自車両走行時の移動体の検出精度が高いが、消失点付近（カメラから遠くに離れた位置付近）の移動体の検出および現フレームで新たに生じた移動体の検出の精度が低いという特徴がある。反対に、フレーム間差分方式は、消失点付近の移動体の検出および現フレームで新たに生じた移動体の検出精度が高いが、自車両走行時の移動体の検出の精度が低いという特徴がある。
【００２５】
このように、本実施例１にかかる移動体検出装置は、車両の走行状態に対応した最適な移動体検出方式（車両が停止していない場合には、オプティカルフロー方式、車両が停止している場合には、フレーム間差分方式）を利用して、移動体の検出を実行するので、移動体の画像上の大きさに関わらず（移動体が遠方に存在する場合でも）、移動体を正確に検出することが出来る。
【００２６】
次に、本実施例１にかかる移動体検出装置の構成について説明する。図２は、本実施例１にかかる移動体検出装置１００の構成を示す図である。同図に示すように、この移動体検出装置１００は、画像入力部１１０と、車両停止判定部１２０と、オプティカルフロー移動体検出部１３０と、フレーム間差分移動体検出部１４０と、移動体通知部１５０とを備えて構成される。なお、図では省略するが、図２に示す移動体検出装置１００は、ブラインドコーナモニタ等のカメラに接続され、車両に設置されているものとする。
【００２７】
画像入力部１１０は、カメラ（ＢＣＭ）からの画像入力を受け付けた場合に、入力された画像の情報をオプティカルフロー移動体検出部１３０およびフレーム間差分移動体検出部１４０に出力する手段である。
【００２８】
車両停止判定部１２０は、車両中の車速検出装置（図示略）およびブレーキセンサ（図示略）等に接続され、車速検出装置から入力される車速情報およびブレーキ情報を基にして、車両が停止しているか否かを判定する手段である。車両停止判定部１２０は、判定結果をフレーム間差分移動体検出部１４０に出力する。
【００２９】
具体的に、車両停止判定部１２０は、車両の速度が閾値未満、かつ、ブレーキが踏まれている場合に、車両が停止していると判定する。一方、車両停止判定部１２０は、車両の速度が閾値以上、または、ブレーキが踏まれていない場合に、車両が停止していないと判定する。
【００３０】
オプティカルフロー移動体検出部１３０は、ブロックマッチング法によるオプティカルフロー方式によって、画像入力部１１０から入力される画像から移動体を検出する手段である。オプティカルフロー移動体検出部１３０は、フレーム間差分移動体検出部１４０および移動体通知部１５０に検出結果を出力する。
【００３１】
ここで、現在の画像のフレームをｎフレーム、ｎフレームの１つ前のフレームをｎ−１フレームと定義して、オプティカルフロー移動体検出部１３０の説明を行うと、例えば、オプティカルフロー移動体検出部１３０は、ｎ−１フレームの画像内の所定領域からブロック情報（所定領域に含まれる画素値の情報等を含む）を抽出し、抽出したブロック情報と、ｎフレームの画像内に含まれる各画素値とを比較して、ブロック情報と一致するｎフレームの画像の領域を特定すること（マッチングを実行すること）で、移動体を検出する。
【００３２】
すなわち、ｎ−１フレームの画像から抽出したブロック情報の座標と、ｎフレームの画像上でブロック情報と一致した領域の座標とが異なっていれば、ブロック情報に含まれる画像に移動体が存在することになる。なお、２フレーム間の時間間隔が閾値未満の場合には、正確に移動体を検出することが出来ない場合がある。この場合には、オプティカルフロー移動体検出部１３０は、２フレーム間の時間間隔が閾値以上となるように、カメラ（図示略）を制御してもよい。
【００３３】
フレーム間差分移動体検出部１４０は、車両停止判定部１２０から判定結果を取得し、オプティカルフロー移動体検出部１３０から検出結果を取得して、自車両が停止状態にあり、かつ、オプティカルフロー移動体検出部１３０によって移動体が検出されていない場合に、画像入力部１１０から入力される画像から移動体を検出する手段である。
【００３４】
具体的に、フレーム間差分移動体検出部１４０は、ｎフレームの画像の輝度値とｎ−１フレームの画像の輝度値との差分を算出（同一画素位置の輝度差分を算出）し、差分が閾値以上となる領域を特定することにより、移動体を検出する。フレーム間差分移動体検出部１４０は、移動体通知部１５０に検出結果を出力する。
【００３５】
移動体通知部１５０は、オプティカルフロー移動体検出部１３０およびフレーム間差分移動体検出部１４０から検出結果を取得した場合に、モニタあるいはスピーカ（図示略）を利用して、移動体を運転手に通知する手段である。図３は、移動体を検出した場合のモニタの画像例を示す図である。同図に示すように、移動体が矩形で囲まれており、運転手は、移動体を早期に発見することが可能となる。
【００３６】
なお、移動体通知部１５０は、検出された移動体が画像内で占める領域と画像位置との関係から警告の緊急度を判定し、緊急度に応じてモニタ内の移動体を矩形で囲む、あるいは、緊急度が所定値以上となる場合には、音声で警告するなど、緊急度に応じて警告の種別を選択して、運転手に警告しても良い。
【００３７】
次に、本実施例１にかかる移動体検出装置１００の処理手順について説明する。図４は、本実施例１にかかる移動体検出装置１００の処理手順を示すフローチャートである。同図に示すように、移動体検出装置１００は、オプティカルフロー移動体検出部１３０がオプティカルフロー方式に基づいて、移動体の検出を実行し（ステップＳ１０１）、移動体を検出したか否かを判定する（ステップＳ１０２）。
【００３８】
そして、移動体を検出した場合には（ステップＳ１０３，Ｙｅｓ）、ステップＳ１０９に移行する。一方、移動体を検出していない場合には（ステップＳ１０３，Ｎｏ）、車両停止判定部１２０が、車両が停止状態か否かを判定する（ステップＳ１０４）。
【００３９】
ここで、車両が停止状態でない場合には（ステップＳ１０５，Ｎｏ）、ステップＳ１０１に移行する。一方、車両が停止状態である場合には（ステップＳ１０５，Ｙｅｓ）、フレーム間差分移動体検出部１４０が、フレーム間差分方式に基づいて、移動体の検出を実行し（ステップＳ１０６）、移動体を検出したか否かを判定する（ステップＳ１０７）。
【００４０】
そして、移動体を検出した場合には（ステップＳ１０８，Ｙｅｓ）、移動体通知部１５０が検出結果を出力し（ステップＳ１０９）、ステップＳ１０１に移行する。一方、移動体を検出していない場合には（ステップＳ１０８，Ｎｏ）、そのままステップＳ１０１に移行する。
【００４１】
このように、オプティカルフロー移動体検出部１３０が移動体を検出しなかった場合に、自車両の走行状態に応じて、フレーム間差分移動体検出部１４０が移動体検出処理を実行するので、各移動体検出方式の弱点を補って、正確に移動体を検出することが出来る。
【００４２】
上述してきたように、本実施例１にかかる移動体検出装置１００は、オプティカルフロー方式により画像内の移動体を検出するオプティカルフロー移動体検出部１３０と、フレーム間差分法により画像内の移動体を検出するフレーム間差分移動体検出部１４０とを有し、自車両が停止状態に応じて、オプティカルフロー移動体検出部１３０あるいはフレーム間差分移動体検出部１４０による検出結果を出力するので、移動体の画像上の大きさに関わらず（移動体が遠方に存在する場合でも）、移動体を正確に検出することが出来る。
【実施例２】
【００４３】
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例１以外にも種々の異なる形態にて実施されてよいものである。そこで、以下では実施例２として本発明に含まれる他の実施例を説明する。
【００４４】
（１）検出対象について
例えば、上記の実施例１では、オプティカルフロー移動体検出部１３０が、ブロックマッチング法に基づいて、画面上の移動体を全て検出し、検出結果として移動体通知部１５０に出力する場合について説明したが、これに限定されるものではなく、自車両に影響を与える移動体に対してのみ、移動体として検出しても良い。図５は、検出対象となる移動体と検出対象外となる移動体とを説明するための図である。
【００４５】
図５の左側に示すように、オプティカルフロー移動体検出部１３０は、画像中心側から外側方向に移動する移動体、換言すれば、自車両から遠ざかる移動体を検出対象から除外する。一方、オプティカルフロー移動体検出部１３０は、画像の外側から画像中心側に移動する移動体、換言すれば、自車両に接近する移動体を検出対象とする。
【００４６】
このように、オプティカルフロー移動体検出部１３０は、移動体の移動方向に応じて、移動体を検出対象から除外することによって、運転手に不必要な情報を通知することを防ぎ、運転手の運転を妨げることを防止することが出来る。なお、フレーム間差分移動体検出部１４０も、オプティカルフロー移動体検出部１３０と同様に、移動体の移動方向に応じて、検出対象を制限しても良い。
【００４７】
（２）フレーム間差分方式で差分をとる画像領域について
例えば、上記の実施例１では、フレーム間差分移動体検出部１４０が、ｎフレームとｎ−１フレームとの輝度値の差分をとる場合に、画像全体の輝度値をそれぞれ比較していたが、これに限定されるものではなく、例えば、各フレームに含まれる画像の消失点を含んだ所定領域の輝度値のみをそれぞれ比較することによって移動体を検出しても良い。
【００４８】
図６は、画像内の消失点と比較対象となる領域とを示す図である。同図に示す例では、消失点が２つ存在しており、フレーム間差分移動体検出部１４０は、消失点を含んだ所定領域の輝度値を各フレームから抽出し、抽出した各輝度値の差分を取ることで、移動体を検出することができる。このように、比較対象となる領域を消失点付近に限定することで、ノイズの影響を低減することができる。
【００４９】
なお、フレーム間差分移動体検出部１４０が消失点を算出する方法は、周知技術のいかなる方式を用いても構わないが、例えば、フレーム間差分移動体検出部１４０は、画像の微分画像を作成するなどして、エッジ画像を２値化し、２値化したエッジ画像を特徴点としてHough変換を行うことにより、直線を算出し、かかる直線の交点を求めることで、消失点を算出することができる。
【００５０】
（３）画像を撮影するカメラについて
例えば、上記の実施例１では、ＢＣＭを利用して画像を取得していたが、これに限定されるものではない。本質的には、消失点を含む画像を撮影できる撮影手段であれば、どのような装置を用いても良い。例えば、移動体検出装置は、サイドミラーの画像を取得して、車両後方の移動体を検出することで、運転手に車両後方に存在するバイクなどの存在を通知し、バイクの巻き込みを予防することが出来る。
【００５１】
（４）システムの構成など
ところで、本実施例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部あるいは一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【００５２】
また、図２に示した移動体検出装置１００の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部がＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【００５３】
図７は、実施例１にかかる移動体検出装置１００を構成するコンピュータ２００のハードウェア構成を示す図である。図７に示すように、このコンピュータ（移動体検出装置）２００は、入力装置２０１、モニタ２０２、カメラ（ＢＣＭ）２０３、ＲＡＭ（Random Access Memory）２０４、ＲＯＭ（Read Only Memory）２０５、記憶媒体からデータを読み取る媒体読取装置２０６、他の装置との間でデータの送受信を行う通信装置２０７、車両の速度を検出する車速検出装置２０８、運転手によってブレーキが踏まれたか否かを検出するブレーキセンサ２０９、ＣＰＵ（Central Processing Unit）２１０、ＨＤＤ（Hard Disk Drive）２１１をバス２１２で接続して構成される。
【００５４】
そして、ＨＤＤ２１１には、上記した移動体検出装置１００の機能と同様の機能を発揮するオプティカルフロー移動体検出プログラム２１１ｂ、フレーム間差分移動体検出プログラム２１１ｃ、車両停止判定プログラム２１１ｄ、通知プログラム２１１ｅが記憶されている。ＣＰＵ２１０が、オプティカルフロー移動体検出プログラム２１１ｂ、フレーム間差分移動体検出プログラム２１１ｃ、車両停止判定プログラム２１１ｄ、通知プログラム２１１ｅを読み出して実行することにより、オプティカルフロー移動体検出プロセス２１０ａ、フレーム間差分移動体検出プロセス２１０ｂ、車両停止判定プロセス２１０ｃ、通知プロセス２１０ｄが起動される。
【００５５】
ここで、オプティカルフロー移動体検出プロセス２１０ａは、図２のオプティカルフロー移動体検出部１３０に対応し、フレーム間差分移動体検出プロセス２１０ｂは、フレーム間差分移動体検出部１４０に対応し、車両停止判定プロセス２１０ｃは、車両停止判定部１２０に対応し、通知プロセス２１０ｄは、移動体通知部１５０に対応する。
【００５６】
また、ＨＤＤ２１１は、移動体検出装置１００で利用される情報（画像情報等）に対応する各種データ２１１ａを記憶する。ＣＰＵ２１０は、ＨＤＤ２１１に格納された各種データ２１１ａを読み出して、ＲＡＭ２０４に格納し、ＲＡＭ２０４に格納された各種データ２０４ａを用いて、画像から移動体を検出する。
【００５７】
ところで、図７に示したオプティカルフロー移動体検出プログラム２１１ｂ、フレーム間差分移動体検出プログラム２１１ｃ、車両停止判定プログラム２１１ｄ、通知プログラム２１１ｅは、必ずしも最初からＨＤＤ２１１に記憶させておく必要はない。たとえば、コンピュータに挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」、または、コンピュータの内外に備えられるハードディスクドライブ（ＨＤＤ）などの「固定用の物理媒体」、さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータに接続される「他のコンピュータ（またはサーバ）」などにオプティカルフロー移動体検出プログラム２１１ｂ、フレーム間差分移動体検出プログラム２１１ｃ、車両停止判定プログラム２１１ｄ、通知プログラム２１１ｅを記憶しておき、コンピュータがこれらからオプティカルフロー移動体検出プログラム２１１ｂ、フレーム間差分移動体検出プログラム２１１ｃ、車両停止判定プログラム２１１ｄ、通知プログラム２１１ｅを読み出して実行するようにしてもよい。
【００５８】
上記の実施例１，２を含む実施形態に関し、以下の付記を開示する。
【００５９】
（付記１）移動体に搭載されたカメラによって撮影された画像から移動体を検出する移動体検出装置であって、
オプティカルフローにより前記画像内の移動体を検出する第１の移動体検出手段と、
フレーム間差分法により前記画像内の移動体を検出する第２の移動体検出手段と、
前記カメラを搭載した移動体が停止しているか否かを判定する停止判定手段と、
前記停止判定手段が、停止していると判定した場合に、前記第２の移動体検出手段による検出結果を出力する検出結果出力手段と、
を備えたことを特徴とする移動体検出装置。
【００６０】
（付記２）前記検出結果出力手段は、前記停止判定手段が、停止していないと判定した場合に、前記第１の移動体検出手段による検出結果を出力することを特徴とする付記１に記載の移動体検出装置。
【００６１】
（付記３）前記第２の移動体検出手段は、前記カメラによって撮影された画像において、道路消失点を含んだ所定の画像領域内から移動体を検出することを特徴とする付記１または２に記載の移動体検出装置。
【００６２】
（付記４）前記第１の移動体検出手段は、前記カメラを搭載した移動体に接近する移動体を検出対象とし、前記カメラを搭載した移動体から離れる移動体を検出対象から除外することを特徴とする付記１、２または３に記載の移動体検出装置。
【００６３】
（付記５）移動体に搭載されたカメラによって撮影された画像から移動体を検出する移動体検出装置の移動体検出方法であって、
前記移動体検出装置は、
前記カメラによって撮影された画像を記憶装置に記憶する記憶ステップと、
前記記憶装置から画像を取得し、オプティカルフローにより前記画像内の移動体を検出する第１の移動体検出ステップと、
前記第１の移動体検出ステップによって移動体が検出されず、かつ、前記カメラを搭載した移動体が停止しているか否かを判定する判定ステップと、
前記判定ステップの判定結果に基づいて、フレーム間差分法により前記画像内の移動体を検出する第２の移動体検出ステップと、
前記第１の移動体検出ステップまたは第２の移動体検出ステップによる検出結果を出力する出力ステップと、
を含んでいることを特徴とする移動体検出方法。
【００６４】
（付記６）前記第２の移動体検出ステップは、前記カメラによって撮影された画像において、道路消失点を含んだ所定の画像領域内から移動体を検出することを特徴とする付記５に記載の移動体検出方法。
【００６５】
（付記７）前記第１の移動体検出ステップは、前記カメラを搭載した移動体に接近する移動体を検出対象とし、前記カメラを搭載した移動体から離れる移動体を検出対象から除外することを特徴とする付記５または６に記載の移動体検出方法。
【００６６】
（付記８）コンピュータに、
移動体に搭載されたカメラによって撮影された画像を記憶装置に記憶する記憶手順と、
前記記憶装置から画像を取得し、オプティカルフローにより前記画像内の移動体を検出する第１の移動体検出手順と、
前記第１の移動体検出手順によって移動体が検出されず、かつ、前記カメラを搭載した移動体が停止しているか否かを判定する判定手順と、
前記判定手順の判定結果に基づいて、フレーム間差分法により前記画像内の移動体を検出する第２の移動体検出手順と、
前記第１の移動体検出手順または第２の移動体検出手順による検出結果を出力する出力手順と、
を実行させることを特徴とする移動体検出プログラム。
【００６７】
（付記９）前記第２の移動体検出手順は、前記カメラによって撮影された画像において、道路消失点を含んだ所定の画像領域内から移動体を検出することを特徴とする付記８に記載の移動体検出プログラム。
【００６８】
（付記１０）前記第１の移動体検出手順は、前記カメラを搭載した移動体に接近する移動体を検出対象とし、前記カメラを搭載した移動体から離れる移動体を検出対象から除外することを特徴とする付記８または９に記載の移動体検出プログラム。
【産業上の利用可能性】
【００６９】
以上のように、本発明にかかる移動体検出装置、移動体検出方法および移動体検出プログラムは、移動体を検出する移動体検出システムなどに有用であり、特に、移動体の画像上の大きさに関わらず、移動体を正確に検出する必要がある場合に適している。
【図面の簡単な説明】
【００７０】
【図１】オプティカルフロー方式およびフレーム間差分方式の特徴を説明するための図である。
【図２】本実施例１にかかる移動体検出装置の構成を示す図である。
【図３】移動体を検出した場合のモニタの画像例を示す図である。
【図４】本実施例１にかかる移動体検出装置の処理手順を示すフローチャートである。
【図５】検出対象となる移動体と検出対象外となる移動体とを説明するための図である。
【図６】画像内の消失点と比較対象となる領域とを示す図である。
【図７】実施例１にかかる移動体検出装置を構成するコンピュータのハードウェア構成を示す図である。
【図８】ＢＣＭの撮影範囲を示す図である。
【図９】ＢＣＭによって撮影される画像の一例を示す図である。
【符号の説明】
【００７１】
１００ 移動体検出装置
１１０ 画像入力部
１２０ 車両停止判定部
１３０ オプティカルフロー移動体検出部
１４０ フレーム間差分移動体検出部
１５０ 移動体通知部
【技術分野】
【０００１】
この発明は、移動体に搭載されたカメラによって撮影された画像から移動体を検出する移動体検出装置およびその移動体検出方法、移動体検出プログラムに関し、特に、移動体の画像上の大きさに関わらず、移動体を正確に検出可能な移動体検出装置、移動体検出方法および移動体検出プログラムに関する。
【背景技術】
【０００２】
車両の外に設けたカメラにより、運転手の死角となる画像を取得し、取得した画像を運転手に提示することにより交通事故を未然に防ぐ技術として、例えば、ブラインドコーナモニタ（以下、ＢＣＭ；Blind Corner Monitor）等の製品が利用されている。
【０００３】
図８は、ＢＣＭの撮影範囲を示す図である。図８に示すように、車両１０が見通しの悪い交差点やＴ字路を走行する場合に、車両１０前方に設置したＢＣＭ（例えば、プリズム型のＢＣＭ）から車両１０左右方向の画像をモニタに表示することによって、運転手の死角から接近する車両２０やその他歩行者などを確認することが可能となる。図９は、ＢＣＭによって撮影される画像の一例を示す図である。図９では左右方向の画像がまとめて１つのモニタに表示されている。
【０００４】
そして、近年では、ＢＣＭを利用したモニタ表示に留まらず、例えば、ＢＣＭによって表示した画像内から移動体（自車両に接近する車両）を検出して警告することで、運転手に注意を喚起させる技術が実用化に向けて開発されている。なお、画像内から移動体を検出する手法として、一般的に、オプティカルフロー方式が用いられる。
【０００５】
例えば、特許文献１では、オプティカルフロー方式を用いて移動体を検出する技術が公開されており、画像領域を、近距離物体が映ると思われる領域（近距離領域）、遠距離物体が映ると思われる領域（遠距離領域）に分割し、近距離領域に対してはブロックマッチング法、遠距離領域に対しては勾配法を用いて移動体の検出を行っている。
【０００６】
【特許文献１】特開２００７−１７２５４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
一般的に、画像上の移動体は、遠い位置ほど小さくなる。したがって、ＢＣＭなどの広角画像を、死角領域の画像を１つの画像内に納めるように画像を変換して出力する場合には、移動体が存在する画像上の領域が更に小さくなる。
【０００８】
そして、上記した特許文献１の手法（勾配法）を用いて遠距離領域に存在する移動体を検出することも可能であるが、勾配法は計算が複雑で処理が遅く、画像上の細かい動きを検出するという特性から、ノイズを多く拾ってしまうため、遠くに存在する移動体を正確に検出することが出来ないという問題があった。
【０００９】
また、オプティカルフローをベースとした考え方（勾配法）によれば、フレーム上の特徴点がどの方向に移動しているかを追跡する手法であるため、現フレームで初めて現れた移動体については検出することが出来ない。
【００１０】
この発明は、上述した従来技術による問題点を解消するためになされたものであり、移動体の画像上の大きさに関わらず（移動体が遠方に存在する場合でも）、移動体を正確に検出することが出来る移動体検出装置、移動体検出方法および移動体検出プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上述した課題を解決し、目的を達成するため、この移動体検出装置は、移動体に搭載されたカメラによって撮影された画像から移動体を検出する移動体検出装置であって、オプティカルフローにより前記画像内の移動体を検出する第１の移動体検出手段と、フレーム間差分法により前記画像内の移動体を検出する第２の移動体検出手段と、前記カメラを搭載した移動体が停止しているか否かを判定する停止判定手段と、前記停止判定手段が、停止していると判定した場合に、前記第２の移動体検出手段による検出結果を出力する検出結果出力手段と、を備えたことを要件とする。
【００１２】
また、この移動体検出装置は、上記の移動体検出装置において、前記検出結果出力手段は、前記停止判定手段が、停止していないと判定した場合に、前記第１の移動体検出手段による検出結果を出力することを要件とする。
【００１３】
また、この移動体検出装置は、上記の移動体検出装置において、前記第２の移動体検出手段は、前記カメラによって撮影された画像において、道路消失点を含んだ所定の画像領域内から移動体を検出することを要件とする。
【００１４】
また、この移動体検出装置は、上記の移動体検出装置において、前記第１の移動体検出手段は、前記カメラを搭載した移動体に接近する移動体を検出対象とし、前記カメラを搭載した移動体から離れる移動体を検出対象から除外することを要件とする。
【００１５】
また、この移動体検出方法は、移動体に搭載されたカメラによって撮影された画像から移動体を検出する移動体検出装置の移動体検出方法であって、前記移動体検出装置は、前記カメラによって撮影された画像を記憶装置に記憶する記憶ステップと、前記記憶装置から画像を取得し、オプティカルフローにより前記画像内の移動体を検出する第１の移動体検出ステップと、前記第１の移動体検出ステップによって移動体が検出されず、かつ、前記カメラを搭載した移動体が停止しているか否かを判定する判定ステップと、前記判定ステップの判定結果に基づいて、フレーム間差分法により前記画像内の移動体を検出する第２の移動体検出ステップと、前記第１の移動体検出ステップまたは第２の移動体検出ステップによる検出結果を出力する出力ステップと、を含んでいることを要件とする。
【００１６】
また、この移動体検出プログラムは、コンピュータに、移動体に搭載されたカメラによって撮影された画像を記憶装置に記憶する記憶手順と、前記記憶装置から画像を取得し、オプティカルフローにより前記画像内の移動体を検出する第１の移動体検出手順と、前記第１の移動体検出手順によって移動体が検出されず、かつ、前記カメラを搭載した移動体が停止しているか否かを判定する判定手順と、前記判定手順の判定結果に基づいて、フレーム間差分法により前記画像内の移動体を検出する第２の移動体検出手順と、前記第１の移動体検出手順または第２の移動体検出手順による検出結果を出力する出力手順と、を実行させることを要件とする。
【発明の効果】
【００１７】
開示の移動体検出装置は、車両の走行状態に対応した最適な移動体検出方式（車両が停止していない場合には、オプティカルフロー方式、車両が停止している場合には、フレーム間差分方式）を利用して、移動体の検出を実行するので、移動体の画像上の大きさに関わらず（移動体が遠方に存在する場合でも）、移動体を正確に検出することが出来る。
【００１８】
また、開示の移動体検出装置は、カメラによって撮影された画像において、道路消失点を含んだ所定の画像領域内から移動体を検出するので、ノイズの影響を低減することができる。
【００１９】
また、開示の移動体検出装置は、カメラを搭載した移動体に接近する移動体を検出対象とし、カメラを搭載した移動体から離れる移動体を検出対象から除外するので、重要な情報のみを運転手に通知することができる。
【００２０】
また、開示の移動体検出方法は、車両の走行状態に対応した最適な移動体検出方式（車両が停止していない場合には、オプティカルフロー方式、車両が停止している場合には、フレーム間差分方式）を利用して、移動体の検出を実行するので、移動体の画像上の大きさに関わらず（移動体が遠方に存在する場合でも）、移動体を正確に検出することが出来る。
【発明を実施するための最良の形態】
【００２１】
以下に添付図面を参照して、この発明に係る移動体検出装置、移動体検出方法および移動体検出プログラムの好適な実施の形態を詳細に説明する。
【実施例１】
【００２２】
まず、本実施例１にかかる移動体検出装置の概要および特徴について説明する。本実施例１にかかる移動体検出装置は、カメラ（例えば、ブラインドコーナモニタ；ＢＣＭ）の撮影した画像から移動体を検出する場合に、カメラを搭載した車両の走行状態に応じて、検出方法を選択し、選択した検出方法による検出結果を出力する。
【００２３】
具体的に、移動体検出装置は、車両が停止していない場合には、オプティカルフロー方式により、画像内から移動体を検出し、車両が停止している場合には、フレーム間差分方式により、画面内から移動体を検出する。
【００２４】
図１は、オプティカルフロー方式およびフレーム間差分方式の特徴を説明するための図である。同図に示すように、オプティカルフロー方式は、自車両走行時の移動体の検出精度が高いが、消失点付近（カメラから遠くに離れた位置付近）の移動体の検出および現フレームで新たに生じた移動体の検出の精度が低いという特徴がある。反対に、フレーム間差分方式は、消失点付近の移動体の検出および現フレームで新たに生じた移動体の検出精度が高いが、自車両走行時の移動体の検出の精度が低いという特徴がある。
【００２５】
このように、本実施例１にかかる移動体検出装置は、車両の走行状態に対応した最適な移動体検出方式（車両が停止していない場合には、オプティカルフロー方式、車両が停止している場合には、フレーム間差分方式）を利用して、移動体の検出を実行するので、移動体の画像上の大きさに関わらず（移動体が遠方に存在する場合でも）、移動体を正確に検出することが出来る。
【００２６】
次に、本実施例１にかかる移動体検出装置の構成について説明する。図２は、本実施例１にかかる移動体検出装置１００の構成を示す図である。同図に示すように、この移動体検出装置１００は、画像入力部１１０と、車両停止判定部１２０と、オプティカルフロー移動体検出部１３０と、フレーム間差分移動体検出部１４０と、移動体通知部１５０とを備えて構成される。なお、図では省略するが、図２に示す移動体検出装置１００は、ブラインドコーナモニタ等のカメラに接続され、車両に設置されているものとする。
【００２７】
画像入力部１１０は、カメラ（ＢＣＭ）からの画像入力を受け付けた場合に、入力された画像の情報をオプティカルフロー移動体検出部１３０およびフレーム間差分移動体検出部１４０に出力する手段である。
【００２８】
車両停止判定部１２０は、車両中の車速検出装置（図示略）およびブレーキセンサ（図示略）等に接続され、車速検出装置から入力される車速情報およびブレーキ情報を基にして、車両が停止しているか否かを判定する手段である。車両停止判定部１２０は、判定結果をフレーム間差分移動体検出部１４０に出力する。
【００２９】
具体的に、車両停止判定部１２０は、車両の速度が閾値未満、かつ、ブレーキが踏まれている場合に、車両が停止していると判定する。一方、車両停止判定部１２０は、車両の速度が閾値以上、または、ブレーキが踏まれていない場合に、車両が停止していないと判定する。
【００３０】
オプティカルフロー移動体検出部１３０は、ブロックマッチング法によるオプティカルフロー方式によって、画像入力部１１０から入力される画像から移動体を検出する手段である。オプティカルフロー移動体検出部１３０は、フレーム間差分移動体検出部１４０および移動体通知部１５０に検出結果を出力する。
【００３１】
ここで、現在の画像のフレームをｎフレーム、ｎフレームの１つ前のフレームをｎ−１フレームと定義して、オプティカルフロー移動体検出部１３０の説明を行うと、例えば、オプティカルフロー移動体検出部１３０は、ｎ−１フレームの画像内の所定領域からブロック情報（所定領域に含まれる画素値の情報等を含む）を抽出し、抽出したブロック情報と、ｎフレームの画像内に含まれる各画素値とを比較して、ブロック情報と一致するｎフレームの画像の領域を特定すること（マッチングを実行すること）で、移動体を検出する。
【００３２】
すなわち、ｎ−１フレームの画像から抽出したブロック情報の座標と、ｎフレームの画像上でブロック情報と一致した領域の座標とが異なっていれば、ブロック情報に含まれる画像に移動体が存在することになる。なお、２フレーム間の時間間隔が閾値未満の場合には、正確に移動体を検出することが出来ない場合がある。この場合には、オプティカルフロー移動体検出部１３０は、２フレーム間の時間間隔が閾値以上となるように、カメラ（図示略）を制御してもよい。
【００３３】
フレーム間差分移動体検出部１４０は、車両停止判定部１２０から判定結果を取得し、オプティカルフロー移動体検出部１３０から検出結果を取得して、自車両が停止状態にあり、かつ、オプティカルフロー移動体検出部１３０によって移動体が検出されていない場合に、画像入力部１１０から入力される画像から移動体を検出する手段である。
【００３４】
具体的に、フレーム間差分移動体検出部１４０は、ｎフレームの画像の輝度値とｎ−１フレームの画像の輝度値との差分を算出（同一画素位置の輝度差分を算出）し、差分が閾値以上となる領域を特定することにより、移動体を検出する。フレーム間差分移動体検出部１４０は、移動体通知部１５０に検出結果を出力する。
【００３５】
移動体通知部１５０は、オプティカルフロー移動体検出部１３０およびフレーム間差分移動体検出部１４０から検出結果を取得した場合に、モニタあるいはスピーカ（図示略）を利用して、移動体を運転手に通知する手段である。図３は、移動体を検出した場合のモニタの画像例を示す図である。同図に示すように、移動体が矩形で囲まれており、運転手は、移動体を早期に発見することが可能となる。
【００３６】
なお、移動体通知部１５０は、検出された移動体が画像内で占める領域と画像位置との関係から警告の緊急度を判定し、緊急度に応じてモニタ内の移動体を矩形で囲む、あるいは、緊急度が所定値以上となる場合には、音声で警告するなど、緊急度に応じて警告の種別を選択して、運転手に警告しても良い。
【００３７】
次に、本実施例１にかかる移動体検出装置１００の処理手順について説明する。図４は、本実施例１にかかる移動体検出装置１００の処理手順を示すフローチャートである。同図に示すように、移動体検出装置１００は、オプティカルフロー移動体検出部１３０がオプティカルフロー方式に基づいて、移動体の検出を実行し（ステップＳ１０１）、移動体を検出したか否かを判定する（ステップＳ１０２）。
【００３８】
そして、移動体を検出した場合には（ステップＳ１０３，Ｙｅｓ）、ステップＳ１０９に移行する。一方、移動体を検出していない場合には（ステップＳ１０３，Ｎｏ）、車両停止判定部１２０が、車両が停止状態か否かを判定する（ステップＳ１０４）。
【００３９】
ここで、車両が停止状態でない場合には（ステップＳ１０５，Ｎｏ）、ステップＳ１０１に移行する。一方、車両が停止状態である場合には（ステップＳ１０５，Ｙｅｓ）、フレーム間差分移動体検出部１４０が、フレーム間差分方式に基づいて、移動体の検出を実行し（ステップＳ１０６）、移動体を検出したか否かを判定する（ステップＳ１０７）。
【００４０】
そして、移動体を検出した場合には（ステップＳ１０８，Ｙｅｓ）、移動体通知部１５０が検出結果を出力し（ステップＳ１０９）、ステップＳ１０１に移行する。一方、移動体を検出していない場合には（ステップＳ１０８，Ｎｏ）、そのままステップＳ１０１に移行する。
【００４１】
このように、オプティカルフロー移動体検出部１３０が移動体を検出しなかった場合に、自車両の走行状態に応じて、フレーム間差分移動体検出部１４０が移動体検出処理を実行するので、各移動体検出方式の弱点を補って、正確に移動体を検出することが出来る。
【００４２】
上述してきたように、本実施例１にかかる移動体検出装置１００は、オプティカルフロー方式により画像内の移動体を検出するオプティカルフロー移動体検出部１３０と、フレーム間差分法により画像内の移動体を検出するフレーム間差分移動体検出部１４０とを有し、自車両が停止状態に応じて、オプティカルフロー移動体検出部１３０あるいはフレーム間差分移動体検出部１４０による検出結果を出力するので、移動体の画像上の大きさに関わらず（移動体が遠方に存在する場合でも）、移動体を正確に検出することが出来る。
【実施例２】
【００４３】
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例１以外にも種々の異なる形態にて実施されてよいものである。そこで、以下では実施例２として本発明に含まれる他の実施例を説明する。
【００４４】
（１）検出対象について
例えば、上記の実施例１では、オプティカルフロー移動体検出部１３０が、ブロックマッチング法に基づいて、画面上の移動体を全て検出し、検出結果として移動体通知部１５０に出力する場合について説明したが、これに限定されるものではなく、自車両に影響を与える移動体に対してのみ、移動体として検出しても良い。図５は、検出対象となる移動体と検出対象外となる移動体とを説明するための図である。
【００４５】
図５の左側に示すように、オプティカルフロー移動体検出部１３０は、画像中心側から外側方向に移動する移動体、換言すれば、自車両から遠ざかる移動体を検出対象から除外する。一方、オプティカルフロー移動体検出部１３０は、画像の外側から画像中心側に移動する移動体、換言すれば、自車両に接近する移動体を検出対象とする。
【００４６】
このように、オプティカルフロー移動体検出部１３０は、移動体の移動方向に応じて、移動体を検出対象から除外することによって、運転手に不必要な情報を通知することを防ぎ、運転手の運転を妨げることを防止することが出来る。なお、フレーム間差分移動体検出部１４０も、オプティカルフロー移動体検出部１３０と同様に、移動体の移動方向に応じて、検出対象を制限しても良い。
【００４７】
（２）フレーム間差分方式で差分をとる画像領域について
例えば、上記の実施例１では、フレーム間差分移動体検出部１４０が、ｎフレームとｎ−１フレームとの輝度値の差分をとる場合に、画像全体の輝度値をそれぞれ比較していたが、これに限定されるものではなく、例えば、各フレームに含まれる画像の消失点を含んだ所定領域の輝度値のみをそれぞれ比較することによって移動体を検出しても良い。
【００４８】
図６は、画像内の消失点と比較対象となる領域とを示す図である。同図に示す例では、消失点が２つ存在しており、フレーム間差分移動体検出部１４０は、消失点を含んだ所定領域の輝度値を各フレームから抽出し、抽出した各輝度値の差分を取ることで、移動体を検出することができる。このように、比較対象となる領域を消失点付近に限定することで、ノイズの影響を低減することができる。
【００４９】
なお、フレーム間差分移動体検出部１４０が消失点を算出する方法は、周知技術のいかなる方式を用いても構わないが、例えば、フレーム間差分移動体検出部１４０は、画像の微分画像を作成するなどして、エッジ画像を２値化し、２値化したエッジ画像を特徴点としてHough変換を行うことにより、直線を算出し、かかる直線の交点を求めることで、消失点を算出することができる。
【００５０】
（３）画像を撮影するカメラについて
例えば、上記の実施例１では、ＢＣＭを利用して画像を取得していたが、これに限定されるものではない。本質的には、消失点を含む画像を撮影できる撮影手段であれば、どのような装置を用いても良い。例えば、移動体検出装置は、サイドミラーの画像を取得して、車両後方の移動体を検出することで、運転手に車両後方に存在するバイクなどの存在を通知し、バイクの巻き込みを予防することが出来る。
【００５１】
（４）システムの構成など
ところで、本実施例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部あるいは一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【００５２】
また、図２に示した移動体検出装置１００の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部がＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【００５３】
図７は、実施例１にかかる移動体検出装置１００を構成するコンピュータ２００のハードウェア構成を示す図である。図７に示すように、このコンピュータ（移動体検出装置）２００は、入力装置２０１、モニタ２０２、カメラ（ＢＣＭ）２０３、ＲＡＭ（Random Access Memory）２０４、ＲＯＭ（Read Only Memory）２０５、記憶媒体からデータを読み取る媒体読取装置２０６、他の装置との間でデータの送受信を行う通信装置２０７、車両の速度を検出する車速検出装置２０８、運転手によってブレーキが踏まれたか否かを検出するブレーキセンサ２０９、ＣＰＵ（Central Processing Unit）２１０、ＨＤＤ（Hard Disk Drive）２１１をバス２１２で接続して構成される。
【００５４】
そして、ＨＤＤ２１１には、上記した移動体検出装置１００の機能と同様の機能を発揮するオプティカルフロー移動体検出プログラム２１１ｂ、フレーム間差分移動体検出プログラム２１１ｃ、車両停止判定プログラム２１１ｄ、通知プログラム２１１ｅが記憶されている。ＣＰＵ２１０が、オプティカルフロー移動体検出プログラム２１１ｂ、フレーム間差分移動体検出プログラム２１１ｃ、車両停止判定プログラム２１１ｄ、通知プログラム２１１ｅを読み出して実行することにより、オプティカルフロー移動体検出プロセス２１０ａ、フレーム間差分移動体検出プロセス２１０ｂ、車両停止判定プロセス２１０ｃ、通知プロセス２１０ｄが起動される。
【００５５】
ここで、オプティカルフロー移動体検出プロセス２１０ａは、図２のオプティカルフロー移動体検出部１３０に対応し、フレーム間差分移動体検出プロセス２１０ｂは、フレーム間差分移動体検出部１４０に対応し、車両停止判定プロセス２１０ｃは、車両停止判定部１２０に対応し、通知プロセス２１０ｄは、移動体通知部１５０に対応する。
【００５６】
また、ＨＤＤ２１１は、移動体検出装置１００で利用される情報（画像情報等）に対応する各種データ２１１ａを記憶する。ＣＰＵ２１０は、ＨＤＤ２１１に格納された各種データ２１１ａを読み出して、ＲＡＭ２０４に格納し、ＲＡＭ２０４に格納された各種データ２０４ａを用いて、画像から移動体を検出する。
【００５７】
ところで、図７に示したオプティカルフロー移動体検出プログラム２１１ｂ、フレーム間差分移動体検出プログラム２１１ｃ、車両停止判定プログラム２１１ｄ、通知プログラム２１１ｅは、必ずしも最初からＨＤＤ２１１に記憶させておく必要はない。たとえば、コンピュータに挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」、または、コンピュータの内外に備えられるハードディスクドライブ（ＨＤＤ）などの「固定用の物理媒体」、さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータに接続される「他のコンピュータ（またはサーバ）」などにオプティカルフロー移動体検出プログラム２１１ｂ、フレーム間差分移動体検出プログラム２１１ｃ、車両停止判定プログラム２１１ｄ、通知プログラム２１１ｅを記憶しておき、コンピュータがこれらからオプティカルフロー移動体検出プログラム２１１ｂ、フレーム間差分移動体検出プログラム２１１ｃ、車両停止判定プログラム２１１ｄ、通知プログラム２１１ｅを読み出して実行するようにしてもよい。
【００５８】
上記の実施例１，２を含む実施形態に関し、以下の付記を開示する。
【００５９】
（付記１）移動体に搭載されたカメラによって撮影された画像から移動体を検出する移動体検出装置であって、
オプティカルフローにより前記画像内の移動体を検出する第１の移動体検出手段と、
フレーム間差分法により前記画像内の移動体を検出する第２の移動体検出手段と、
前記カメラを搭載した移動体が停止しているか否かを判定する停止判定手段と、
前記停止判定手段が、停止していると判定した場合に、前記第２の移動体検出手段による検出結果を出力する検出結果出力手段と、
を備えたことを特徴とする移動体検出装置。
【００６０】
（付記２）前記検出結果出力手段は、前記停止判定手段が、停止していないと判定した場合に、前記第１の移動体検出手段による検出結果を出力することを特徴とする付記１に記載の移動体検出装置。
【００６１】
（付記３）前記第２の移動体検出手段は、前記カメラによって撮影された画像において、道路消失点を含んだ所定の画像領域内から移動体を検出することを特徴とする付記１または２に記載の移動体検出装置。
【００６２】
（付記４）前記第１の移動体検出手段は、前記カメラを搭載した移動体に接近する移動体を検出対象とし、前記カメラを搭載した移動体から離れる移動体を検出対象から除外することを特徴とする付記１、２または３に記載の移動体検出装置。
【００６３】
（付記５）移動体に搭載されたカメラによって撮影された画像から移動体を検出する移動体検出装置の移動体検出方法であって、
前記移動体検出装置は、
前記カメラによって撮影された画像を記憶装置に記憶する記憶ステップと、
前記記憶装置から画像を取得し、オプティカルフローにより前記画像内の移動体を検出する第１の移動体検出ステップと、
前記第１の移動体検出ステップによって移動体が検出されず、かつ、前記カメラを搭載した移動体が停止しているか否かを判定する判定ステップと、
前記判定ステップの判定結果に基づいて、フレーム間差分法により前記画像内の移動体を検出する第２の移動体検出ステップと、
前記第１の移動体検出ステップまたは第２の移動体検出ステップによる検出結果を出力する出力ステップと、
を含んでいることを特徴とする移動体検出方法。
【００６４】
（付記６）前記第２の移動体検出ステップは、前記カメラによって撮影された画像において、道路消失点を含んだ所定の画像領域内から移動体を検出することを特徴とする付記５に記載の移動体検出方法。
【００６５】
（付記７）前記第１の移動体検出ステップは、前記カメラを搭載した移動体に接近する移動体を検出対象とし、前記カメラを搭載した移動体から離れる移動体を検出対象から除外することを特徴とする付記５または６に記載の移動体検出方法。
【００６６】
（付記８）コンピュータに、
移動体に搭載されたカメラによって撮影された画像を記憶装置に記憶する記憶手順と、
前記記憶装置から画像を取得し、オプティカルフローにより前記画像内の移動体を検出する第１の移動体検出手順と、
前記第１の移動体検出手順によって移動体が検出されず、かつ、前記カメラを搭載した移動体が停止しているか否かを判定する判定手順と、
前記判定手順の判定結果に基づいて、フレーム間差分法により前記画像内の移動体を検出する第２の移動体検出手順と、
前記第１の移動体検出手順または第２の移動体検出手順による検出結果を出力する出力手順と、
を実行させることを特徴とする移動体検出プログラム。
【００６７】
（付記９）前記第２の移動体検出手順は、前記カメラによって撮影された画像において、道路消失点を含んだ所定の画像領域内から移動体を検出することを特徴とする付記８に記載の移動体検出プログラム。
【００６８】
（付記１０）前記第１の移動体検出手順は、前記カメラを搭載した移動体に接近する移動体を検出対象とし、前記カメラを搭載した移動体から離れる移動体を検出対象から除外することを特徴とする付記８または９に記載の移動体検出プログラム。
【産業上の利用可能性】
【００６９】
以上のように、本発明にかかる移動体検出装置、移動体検出方法および移動体検出プログラムは、移動体を検出する移動体検出システムなどに有用であり、特に、移動体の画像上の大きさに関わらず、移動体を正確に検出する必要がある場合に適している。
【図面の簡単な説明】
【００７０】
【図１】オプティカルフロー方式およびフレーム間差分方式の特徴を説明するための図である。
【図２】本実施例１にかかる移動体検出装置の構成を示す図である。
【図３】移動体を検出した場合のモニタの画像例を示す図である。
【図４】本実施例１にかかる移動体検出装置の処理手順を示すフローチャートである。
【図５】検出対象となる移動体と検出対象外となる移動体とを説明するための図である。
【図６】画像内の消失点と比較対象となる領域とを示す図である。
【図７】実施例１にかかる移動体検出装置を構成するコンピュータのハードウェア構成を示す図である。
【図８】ＢＣＭの撮影範囲を示す図である。
【図９】ＢＣＭによって撮影される画像の一例を示す図である。
【符号の説明】
【００７１】
１００ 移動体検出装置
１１０ 画像入力部
１２０ 車両停止判定部
１３０ オプティカルフロー移動体検出部
１４０ フレーム間差分移動体検出部
１５０ 移動体通知部
【特許請求の範囲】
【請求項１】
移動体に搭載されたカメラによって撮影された画像から移動体を検出する移動体検出装置であって、
オプティカルフローにより前記画像内の移動体を検出する第１の移動体検出手段と、
フレーム間差分法により前記画像内の移動体を検出する第２の移動体検出手段と、
前記カメラを搭載した移動体が停止しているか否かを判定する停止判定手段と、
前記停止判定手段が、停止していると判定した場合に、前記第２の移動体検出手段による検出結果を出力する検出結果出力手段と、
を備えたことを特徴とする移動体検出装置。
【請求項２】
前記検出結果出力手段は、前記停止判定手段が、停止していないと判定した場合に、前記第１の移動体検出手段による検出結果を出力することを特徴とする請求項１に記載の移動体検出装置。
【請求項３】
前記第２の移動体検出手段は、前記カメラによって撮影された画像において、道路消失点を含んだ所定の画像領域内から移動体を検出することを特徴とする請求項１または２に記載の移動体検出装置。
【請求項４】
前記第１の移動体検出手段は、前記カメラを搭載した移動体に接近する移動体を検出対象とし、前記カメラを搭載した移動体から離れる移動体を検出対象から除外することを特徴とする請求項１、２または３に記載の移動体検出装置。
【請求項５】
移動体に搭載されたカメラによって撮影された画像から移動体を検出する移動体検出装置の移動体検出方法であって、
前記移動体検出装置は、
前記カメラによって撮影された画像を記憶装置に記憶する記憶ステップと、
前記記憶装置から画像を取得し、オプティカルフローにより前記画像内の移動体を検出する第１の移動体検出ステップと、
前記第１の移動体検出ステップによって移動体が検出されず、かつ、前記カメラを搭載した移動体が停止しているか否かを判定する判定ステップと、
前記判定ステップの判定結果に基づいて、フレーム間差分法により前記画像内の移動体を検出する第２の移動体検出ステップと、
前記第１の移動体検出ステップまたは第２の移動体検出ステップによる検出結果を出力する出力ステップと、
を含んでいることを特徴とする移動体検出方法。
【請求項６】
コンピュータに、
移動体に搭載されたカメラによって撮影された画像を記憶装置に記憶する記憶手順と、
前記記憶装置から画像を取得し、オプティカルフローにより前記画像内の移動体を検出する第１の移動体検出手順と、
前記第１の移動体検出手順によって移動体が検出されず、かつ、前記カメラを搭載した移動体が停止しているか否かを判定する判定手順と、
前記判定手順の判定結果に基づいて、フレーム間差分法により前記画像内の移動体を検出する第２の移動体検出手順と、
前記第１の移動体検出手順または第２の移動体検出手順による検出結果を出力する出力手順と、
を実行させることを特徴とする移動体検出プログラム。
【請求項１】
移動体に搭載されたカメラによって撮影された画像から移動体を検出する移動体検出装置であって、
オプティカルフローにより前記画像内の移動体を検出する第１の移動体検出手段と、
フレーム間差分法により前記画像内の移動体を検出する第２の移動体検出手段と、
前記カメラを搭載した移動体が停止しているか否かを判定する停止判定手段と、
前記停止判定手段が、停止していると判定した場合に、前記第２の移動体検出手段による検出結果を出力する検出結果出力手段と、
を備えたことを特徴とする移動体検出装置。
【請求項２】
前記検出結果出力手段は、前記停止判定手段が、停止していないと判定した場合に、前記第１の移動体検出手段による検出結果を出力することを特徴とする請求項１に記載の移動体検出装置。
【請求項３】
前記第２の移動体検出手段は、前記カメラによって撮影された画像において、道路消失点を含んだ所定の画像領域内から移動体を検出することを特徴とする請求項１または２に記載の移動体検出装置。
【請求項４】
前記第１の移動体検出手段は、前記カメラを搭載した移動体に接近する移動体を検出対象とし、前記カメラを搭載した移動体から離れる移動体を検出対象から除外することを特徴とする請求項１、２または３に記載の移動体検出装置。
【請求項５】
移動体に搭載されたカメラによって撮影された画像から移動体を検出する移動体検出装置の移動体検出方法であって、
前記移動体検出装置は、
前記カメラによって撮影された画像を記憶装置に記憶する記憶ステップと、
前記記憶装置から画像を取得し、オプティカルフローにより前記画像内の移動体を検出する第１の移動体検出ステップと、
前記第１の移動体検出ステップによって移動体が検出されず、かつ、前記カメラを搭載した移動体が停止しているか否かを判定する判定ステップと、
前記判定ステップの判定結果に基づいて、フレーム間差分法により前記画像内の移動体を検出する第２の移動体検出ステップと、
前記第１の移動体検出ステップまたは第２の移動体検出ステップによる検出結果を出力する出力ステップと、
を含んでいることを特徴とする移動体検出方法。
【請求項６】
コンピュータに、
移動体に搭載されたカメラによって撮影された画像を記憶装置に記憶する記憶手順と、
前記記憶装置から画像を取得し、オプティカルフローにより前記画像内の移動体を検出する第１の移動体検出手順と、
前記第１の移動体検出手順によって移動体が検出されず、かつ、前記カメラを搭載した移動体が停止しているか否かを判定する判定手順と、
前記判定手順の判定結果に基づいて、フレーム間差分法により前記画像内の移動体を検出する第２の移動体検出手順と、
前記第１の移動体検出手順または第２の移動体検出手順による検出結果を出力する出力手順と、
を実行させることを特徴とする移動体検出プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００９−１４６１５３（Ｐ２００９−１４６１５３Ａ）
【公開日】平成２１年７月２日（２００９．７．２）
【国際特許分類】
【出願番号】特願２００７−３２２５５６（Ｐ２００７−３２２５５６）
【出願日】平成１９年１２月１３日（２００７．１２．１３）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２１年７月２日（２００９．７．２）
【国際特許分類】
【出願日】平成１９年１２月１３日（２００７．１２．１３）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]