接近物体検出装置、接近物体検出プログラム、接近物体検出方法
【課題】接近物体の検出の精度を向上させる接近物体検出装置、接近物体検出プログラム、接近物体検出方法を提供する。
【解決手段】接近物体の検出を行う接近物体検出装置であって、撮影された第１画像と第１画像より前に撮影された第２画像とを取得する画像取得部と、画像取得部により取得された第１画像及び第２画像に基づいて、第２画像内の第２点に対応する第１画像内の第１点を検索する検索部と、検索部により検索された第２点から第１点へのオプティカルフローを算出するオプティカルフロー算出部と、オプティカルフロー算出部により算出された第２点から第１点へのオプティカルフローの鉛直成分に基づいて、該第１点が接近物体を示すか否かを判定する判定部とを有する。
【解決手段】接近物体の検出を行う接近物体検出装置であって、撮影された第１画像と第１画像より前に撮影された第２画像とを取得する画像取得部と、画像取得部により取得された第１画像及び第２画像に基づいて、第２画像内の第２点に対応する第１画像内の第１点を検索する検索部と、検索部により検索された第２点から第１点へのオプティカルフローを算出するオプティカルフロー算出部と、オプティカルフロー算出部により算出された第２点から第１点へのオプティカルフローの鉛直成分に基づいて、該第１点が接近物体を示すか否かを判定する判定部とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、接近物体の検出を行う接近物体検出装置、接近物体検出プログラム、接近物体検出方法に関するものである。
【背景技術】
【０００２】
見通しが悪い交差点等における車両のユーザの判断の支援を目的とし、車両先端等に設置したカメラから取得される車両左右方向の映像を、車載ディスプレイに表示させる車載型死角カメラ映像表示装置（ブラインドコーナーモニター）がある。
【０００３】
しかしながら、従来の車載型死角カメラ映像表示装置は、遠方から接近する物体については、次のような性質があった。
【０００４】
（１）接近物体の画像領域サイズが小さいために、ユーザは、背景に溶け込み易く、接近する車両やオートバイ等の形状に気づきにくい。
（２）接近物体であることから、画像領域の移動量が小さいために、ユーザは、変化に気づきにくい。
【０００５】
これに対し、カメラによる映像データから画像処理によって接近物体を検知し、接近物体の画像領域を強調表示させる類の装置があった。例えば、オプティカルフロー方式を利用し、接近物体とカメラの視野の関係を利用し、画面上の中央向きに発生するフロー領域を抽出し、接近物体の領域として特定することで、接近物体検知を実現する装置がある。
【０００６】
また、旋回中でも検知が可能なように、ジャイロセンサや車両センサを使用して旋回による水平フロー成分を算出し、この成分をオプティカルフローから減算してフロー補正処理を行い、補正後のフローが画面上の中央向きであるか否かの判定を行い、接近物体検知を実現する装置がある。
【０００７】
なお、従来技術として、車両の旋回時における車両のノーズ部分の側方の接近物体を精度良く検出できるノーズビューモニタ装置がある（例えば、特許文献１参照）。
【特許文献１】特開２００５−２７６０５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、自車両の停止位置によっては、カメラと接近物体の位置の関係から必ずしも、接近物体に画面中央向きのフローが発生するわけではなかった。例えば、カメラに対して接近物体の端点が方位一定に見えるような位置や角度で、自車両が交差点に進入してしまった場合や、歩行者や自転車やオートバイが壁沿いに接近する場合、画面中央向きのフローは発生しないため、検知漏れとなる場合があった。
【０００９】
また、旋回中において、旋回速度が接近車両の速度に対して早い場合、ジャイロセンサや車両センサから得られる仮想的な旋回による水平フロー成分を減算すると、残差の補正フローが画面外向きになって、検知漏れとなる場合があった。
【００１０】
本発明は上述した問題点を解決するためになされたものであり、接近物体の検出の精度を向上させる接近物体検出装置、接近物体検出プログラム、接近物体検出方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上述した課題を解決するため、本発明の一態様は、接近物体の検出を行う接近物体検出装置であって、撮影された第１画像と第１画像より前に撮影された第２画像とを取得する画像取得部と、画像取得部により取得された第１画像及び第２画像に基づいて、第２画像内の第２点に対応する第１画像内の第１点を検索する検索部と、検索部により検索された第２点から第１点へのオプティカルフローを算出するオプティカルフロー算出部と、オプティカルフロー算出部により算出された第２点から第１点へのオプティカルフローの鉛直成分に基づいて、該第１点が接近物体を示すか否かを判定する判定部とを有する。
【００１２】
また、本発明の一態様は、接近物体の検出をコンピュータに実行させる接近物体検出プログラムであって、撮影された第１画像と第１画像より前に撮影された第２画像とを取得し、取得された第１画像及び第２画像に基づいて、第２画像内の第２点に対応する第１画像内の第１点を検索し、検索された第２点から第１点へのオプティカルフローを算出し、算出された第２点から第１点へのオプティカルフローの鉛直成分に基づいて、該第１点が接近物体を示すか否かを判定することをコンピュータに実行させる。
【００１３】
また、本発明の一態様は、接近物体の検出を行う接近物体検出方法であって、撮影された第１画像と第１画像より前に撮影された第２画像とを取得し、取得された第１画像及び第２画像に基づいて、第２画像内の第２点に対応する第１画像内の第１点を検索し、検索された第２点から第１点へのオプティカルフローを算出し、算出された第２点から第１点へのオプティカルフローの鉛直成分に基づいて、該第１点が接近物体を示すか否かを判定することを行う。
【００１４】
また、本発明の構成要素、または構成要素の任意の組合せを、方法、装置、システム、記録媒体、データ構造などに適用したものも本発明に含む。
【発明の効果】
【００１５】
開示の接近物体検出装置、接近物体検出プログラム、接近物体検出方法によれば、接近物体の検出の精度を向上させることができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態について図面を参照しつつ説明する。
【００１７】
（実施の形態１）
本実施の形態においては、本発明の接近物体検出装置が適用された接近物体表示装置について説明する。本実施の形態の接近物体表示装置は、車両に搭載される。以下、接近物体表示装置が搭載された車両を自車両と呼ぶ。
【００１８】
本実施の形態の接近物体表示装置は、連続して撮影された映像データからオプティカルフローの垂直（鉛直）成分を算出し、算出された垂直成分に基づいて接近物体の検出を行う。
【００１９】
実施の形態１の接近物体表示装置の構成について以下に説明する。
【００２０】
図１は、実施の形態１の接近物体表示装置の構成の一例を示すブロック図である。この接近物体表示装置は、カメラ１１、画像処理部１２ａ、表示部１４、ＣＰＵ、記憶部１６、角速度センサ１７（第１運動測定部、第２運動測定部）、車速センサ１８を有する。
【００２１】
画像処理部１２ａは、例えばＣＰＵ（Central Processing Unit）により実現される。このＣＰＵは、記憶部１６に格納された接近物体検出プログラムを実行することにより、接近物体検出機能を実現する。
【００２２】
なお、角速度センサ１７の代わりに、接近物体表示装置の外部に設けられた角速度センサが用いられても良い。また、車速センサ１８の代わりに、接近物体表示装置の外部に設けられた車速センサが用いられても良い。ここでは、角速度を取得するために角速度センサを用いたが、角速度センサ以外に加速度センサ等、カメラ１１の鉛直方向の運動に関する測定を行うセンサを用いても良い。
【００２３】
画像処理部１２ａの構成について以下に説明する。
【００２４】
図２は、画像処理部１２ａの構成の一例を示すブロック図である。この画像処理部１２ａは、特徴点抽出部２１、オプティカルフロー算出部２２、特徴点情報記録部２３、縦揺れフロー算出部３１（運動成分算出部）、縦揺れ補正部３２（オプティカルフロー補正部）、接近物体判定部３３ａ（判定部、領域決定部）、映像取得部３４（画像取得部）、車両状態取得部３５（測定値取得部）、映像合成部３６（画像生成部）を有する。
【００２５】
車両状態取得部３５は、角速度センサ１７により測定された角速度や車速センサ１８により測定された車速を取得する。
【００２６】
本実施の形態の接近物体表示装置の動作について以下に説明する。
【００２７】
カメラ１１は、自車両の左右方向を撮影するように調整されたプリズムレンズを有し、所定のフレーム時間間隔で撮影する。カメラ１１が自車両の左右方向に向けて設けられることにより、見通しの悪い交差点でユーザの死角となる左右道路の交通状況を撮影することができる。フレーム時間間隔は、例えば１／３０秒である。なお、カメラ１１は、自車両の左右方向を撮影できる魚眼レンズを有しても良い。
【００２８】
図３は、実施の形態１の接近物体表示装置の動作の一例を示すフローチャートである。映像取得部３４は、カメラ１１により撮影された映像データをレーム時間間隔毎に取得する（Ｓ１１）。なお、カメラ１１は、複数であっても良い。この場合、映像取得部３４は、カメラ１１のそれぞれにより撮影された映像を合成して映像データとする。例えば、自車両の左方を向いて設置されたカメラ１１からの映像を映像データの左半分に配置し、自車両の右方を向いて設置されたカメラ１１からの映像を映像データの右半分に配置する。
【００２９】
次に、特徴点抽出部２１は、映像データ内の特徴点（注目点）を抽出する（Ｓ１２）。特徴点の抽出には、例えば、車両外形の凸凹領域に良く反応するコーナー抽出処理を用いる。コーナー抽出処理には、Ｈａｒｒｉｓオペレータや、ＫＬＴ（Kanade-Lucas Track）オペレータを用いる。
【００３０】
特徴点抽出部２１は、抽出された特徴点に関する情報を特徴点情報として特徴点情報記録部２３へ記録する（Ｓ１３）。ここで、特徴点情報記録部２３は、記憶部１６により実現される。図４は、実施の形態１の特徴点情報の構成の一例を示す表である。この図は、時刻ｔにおける特徴点情報と、時刻ｔ＋１における特徴点情報とを示す。特徴点情報は、特徴点ＩＤと、特徴点の最新の座標値の周辺の画像データである周辺画像データ（例えば９×９画素）と、フレーム毎の特徴点の対応点の（ｘ，ｙ）座標及びフレーム時刻のリストである対応点リストとを含む。
【００３１】
次に、オプティカルフロー算出部２２は、特徴点情報記録部２３に登録されている、最新の特徴点の座標値と周辺画像データに基づいて、現在の映像データＩ（ｔ＋１）において特徴点に対応する点である対応点を所定範囲内で検索する（Ｓ１４）。次に、オプティカルフロー算出部２２は、例えばブロックマッチング法によりオプティカルフローを算出する（Ｓ１５）。オプティカルフロー算出部２２は、Ｉ（ｔ＋１）において探索された対応点の座標値とフレーム時刻ｔ＋１とを特徴点情報におけるリストへ追加し、特徴点情報における周辺画像データをＩ（ｔ＋１）における周辺画像データに更新する（Ｓ１６）。
【００３２】
ここで、時刻ｔにおける映像データＩ（ｔ）は、第２画像に対応する。また、時刻ｔ＋１における映像データＩ（ｔ＋１）は、第１画像に対応する。
【００３３】
次に、接近物体判定部３３ａは、特徴点情報記録部２３に登録されている最新の特徴点について、所定の垂直成分条件を満たす特徴点を選択して選択特徴点とし（Ｓ１７）、このフローは終了する。ここで、垂直成分条件は、オプティカルフローの垂直成分の大きさが所定の垂直成分閾値を上回ることである。オプティカルフローは、登録されているリスト内の２つの座標値の減算によって算出される。第１の垂直成分条件は、オプティカルフローの垂直成分と垂直成分閾値Ｔｈ１とを用いた次式で表される。
【００３４】
｜ｙi,t+1−ｙi,t｜ ＞ Ｔｈ１
【００３５】
また、オプティカルフロー算出部２２は、垂直成分条件を、時間間隔ｎだけ過去の対応点から最新の対応点までのオプティカルフローである長時間オプティカルフローを算出する。接近物体判定部３３ａは、単位時間間隔（フレーム時間間隔）のオプティカルフローの垂直成分（動き量）が小さいと判定した場合、第２の垂直成分条件を用いて選択特徴点を選択する。第２の垂直成分条件は、長時間オプティカルフローの垂直成分の大きさが所定の垂直成分閾値Ｔｈ２を上回ることである。第２の垂直成分条件は、長時間オプティカルフローの垂直成分と垂直成分閾値Ｔｈ２とを用いた次式で表される。
【００３６】
｜ｙi,t+1−ｙi,t-n+1｜ ＞ Ｔｈ２
【００３７】
ここで、時刻ｔ−ｎ＋１における映像データＩ（ｔ−ｎ＋１）は、第３画像に対応する。
【００３８】
Ｔｈ１及びＴｈ２は、例えば１ピクセルである。
【００３９】
このように、接近物体が自車両へ接近する速度成分が小さい場合、長時間オプティカルフローを算出することにより、選択特徴点の検出精度を高めることができる。
【００４０】
また、本実施の形態の画像処理部１２ａは、自車両のブレーキや路面の凹凸で縦揺れする（鉛直方向に運動する）場合に発生する背景フロー（背景のオプティカルフロー）の垂直成分である縦揺れフローを、オプティカルフローから除去する。
【００４１】
車両状態取得部３５は、角速度センサ１７により測定された角速度を取得する。縦揺れフロー算出部３１は、車両状態取得部３５により得られた角速度に基づいて縦揺れフローを算出する。縦揺れ補正部３２は、オプティカルフローの垂直成分から縦揺れフローを減算して垂直残差フローとする。接近物体判定部３３ａは、オプティカルフローの垂直成分の代わりに垂直残差フローに対して垂直成分条件の判定を行う。つまり、第１の垂直成分条件は、垂直残差フローの大きさがＴｈ１を上回ることである。
【００４２】
同様に、縦揺れ補正部３２は、長時間オプティカルフローの垂直成分から縦揺れフローを減算して長時間垂直残差フローとする。第２の垂直成分条件は、長時間垂直残差フローの大きさがＴｈ２を上回ることである。
【００４３】
ここで、車両状態取得部３５が角速度センサ１７から３軸の角速度を取得する場合の、縦揺れフロー算出部３１及び縦揺れ補正部３２の動作の詳細について説明する。
【００４４】
ある特徴点について、垂直成分を評価する時間間隔（フレーム時間間隔）がΔｔである場合、縦揺れフロー算出部３１は、時刻ｔ−Δｔから時刻ｔまで、角速度センサから得られたある座標軸についての角速度ｗを積分することにより、変位角Ｗを算出する。Ｗは、次式で表される。
【００４５】
Ｗ＝Σt-Δttｗ
【００４６】
次に、カメラ１１の焦点距離がｆであり、縦揺れフロー算出部３１により３軸についての角速度ｗｘ（ピッチ）（第１測定値），ｗｙ（ロール），ｗｚ（ヨー）（第２測定値）が得られ、それにより変位角Ｗｘ（ピッチ），Ｗｙ（ロール），Ｗｚ（ヨー）が得られる場合、点（ｘ，ｙ）における縦揺れフローｖｙは次式で算出できる。
【００４７】
ｖｙ＝
（ｙ＊ｙ／ｆ＋ｆ）＊Ｗｘ−ｘ＊ｙ＊Ｗｙ／ｆ−ｘ＊Ｗｚ；
【００４８】
カメラ１１と角速度センサ１７が離れている場合でも、縦揺れフロー算出部３１は、３軸の角速度を用いることにより縦揺れフローを精度良く算出することができる。
【００４９】
また、車両状態取得部３５が角速度センサ１７から縦方向（ピッチ）の角速度のみを取得する場合、上述のｖｙの算出式において、Ｗｙ＝Ｗｚ＝０として良い。
【００５０】
カメラ１１と角速度センサ１７が近く同様の運動を行う場合、縦揺れフロー算出部３１は、縦方向の角速度のみを用いて縦揺れフローを算出することができる。
【００５１】
縦揺れ補正部３２は、オプティカルフローの垂直成分から縦揺れフローを減算し、垂直残差フローＶを算出する。Ｖは、次式で表される。
【００５２】
Ｖ ＝ ｙi,t+1−ｙi,t-n+1−ｖｙ
【００５３】
接近物体判定部３３ａは、次式に示される垂直成分条件を満たすか否かの判定を行う。
【００５４】
｜Ｖ｜＞Ｔｈ１
【００５５】
次に、接近物体判定部３３ａは、選択された選択特徴点の座標に対して２次元画像上でのクラスタリング処理を行い、接近物体の領域を特定して接近物体領域とする。クラスタリング処理は、例えば、所定の画像距離以下にある特徴点同士を１つのクラスタとみなす処理である。
【００５６】
映像合成部３６は、カメラ１１からの映像データに、接近物体判定部３３ａにより出力された接近物体領域を合成して合成映像データ（合成画像）とする。表示部１４は、映像合成部３６により合成された合成映像データを表示する。
（実施の形態２）
【００５７】
本実施の形態の接近物体表示装置は、連続して撮影された画像からオプティカルフローの垂直成分及び水平成分を算出し、算出された垂直成分及び水平成分に基づいて接近物体の検出を行う。
【００５８】
実施の形態２の接近物体表示装置の構成は、実施の形態１の接近物体表示装置の構成と比較すると、画像処理部１２ａの代わりに画像処理部１２ｂを有する。
【００５９】
画像処理部１２ｂの構成について以下に説明する。
【００６０】
図５は、画像処理部１２ｂの構成の一例を示すブロック図である。この図において、図２と同一符号は図２に示された対象と同一又は相当物を示しており、ここでの説明を省略する。画像処理部１２ｂは、画像処理部１２ａと比較すると、接近物体判定部３３ａの代わりに接近物体判定部３３ｂを有し、新たに、旋回フロー算出部４１（運動成分算出部）、旋回補正部４２（オプティカルフロー補正部）を有する。
【００６１】
例えば、角速度センサ１７は、縦方向の角速度の他に、カメラ１１が設置された自車両の旋回（水平方向、ヨー）の角速度ｗｚ（第２測定値）を測定する。旋回フロー算出部４１は、車両状態取得部３５により取得された角速度に基づいて、画面上の旋回による背景フローの水平成分である旋回フローを算出する。旋回補正部４２は、算出された旋回フローを、オプティカルフローの水平成分から減算して水平残差フローとする。
【００６２】
接近物体判定部３３ｂは、所定の垂直成分条件または所定の水平成分条件を満たす特徴点を選択して選択特徴点とする。ここで、垂直成分条件は、垂直残差フローの大きさが所定の垂直成分閾値を上回ることとする。また、水平成分条件は、旋回補正部４２により算出された水平残差フローが中央向きを正の向きとして所定の水平成分閾値を上回ることである。
【００６３】
なお、垂直成分条件は、垂直残差フローの大きさが所定の垂直成分閾値を上回り、且つ垂直残差フローが中央向きであること、としても良い。
【００６４】
なお、接近物体判定部３３ｂは、更に車速センサ１８により測定された車速を用いて選択特徴点を選択しても良い。この場合、まず、接近物体判定部３３ｂは、車速センサ１８により測定された車速を取得する。次に、接近物体判定部３３ｂは、車速が所定の車速閾値を下回るか否かの判定を行う。車速が所定の車速閾値を下回る場合、水平成分条件を満たす特徴点を選択して選択特徴点とする。車速が車速閾値以上である場合、垂直成分条件を満たす特徴点を選択して選択特徴点とする。
【００６５】
上述した各実施の形態における映像データ及びオプティカルフローの具体例について以下に説明する。
【００６６】
ここで、カメラ１１に設けられたプリズムレンズにより、映像データの左半分の領域である左領域は、自車両の左方が撮影された映像となり、映像データの右半分の領域である右領域は、自車両の右方が撮影された映像となる。以下、映像データにおいて左領域と右領域とを分ける線を中央線と呼ぶ。
【００６７】
オプティカルフローの水平成分が中央線方向であるか否かの判定により接近物体を検出する比較例について以下に説明する。
【００６８】
図６は、第１状態における自車両と接近物体の位置関係の一例を示す平面図である。この図は、自車両６２、構造物６３、カメラ視野６４ａ，６４ｂ、接近物体位置６５ａ，６５ｂ、特徴点６６ａ，６６ｂを示す。カメラ視野６４ａは、映像データの左半分に対応し、カメラ視野６４ｂは、映像データの右半分に対応する。また、この図において、Ｘ軸及びＺ軸は、自車両を基準とした座標系である。原点Ｏは、カメラ１１の撮像位置を示し、Ｘ軸は、自車両の後方を示し、Ｚ軸は、自車両の右方を示す。特徴点６６ｂは、特徴点６６ａの対応点である。
【００６９】
第１状態は、自車両６２が交差点に進入する前に一時停止し、且つカメラ視野６４ａにおける接近物体が接近物体位置６５ａから６５ｂへ移動して自車両６２へ接近している状態である。また、接近物体位置６５ａは、時刻ｔ１で撮影された接近物体の位置を示し、接近物体位置６５ａは、時刻ｔ１＋１（時刻ｔ１の次のフレームの時刻）で撮影された接近物体の位置を示す。
【００７０】
図７は、第１状態におけるオプティカルフローの一例を示す概念図である。この図は、特徴点６６ｂのオプティカルフローの水平成分７１ｂと、旋回フロー７２ｂと、オプティカルフローの水平成分７１ｂから旋回フロー７２ｂを減算した結果である水平残差フロー７３ｂとを示す。第１状態において、水平残差フロー７３ｂは、中央線の方向を指す。従って、特徴点６６ｂは、オプティカルフローの水平成分により接近物体として検出されることができる。
【００７１】
図８は、第２状態における映像データとオプティカルフローの一例を示す概念図である。第２状態は、自車両６２が交差点に進入する前に一時停止し、且つカメラ視野６４ａにおける接近物体６１ａとカメラ視野６４ｂにおける接近物体６１ｂとが自車両６２へ接近している状態である。この図において、黒の矢印は、オプティカルフローを表す。第２状態において、接近物体６１ａ，６１ｂの各特徴点のオプティカルフローの水平成分は、中央線の方向を指す。従って、接近物体６１ａ，６１ｂは、オプティカルフローの水平成分が中央線方向であるか否かの判定により、接近物体として検出されることができる。
【００７２】
図９は、第３状態における自車両と接近物体の位置関係の一例を示す平面図である。この図は、上述の第１状態と同様であるが、接近物体位置６５ａ，６５ｂの代わりに接近物体位置６５ｃ，６５ｄを示し、特徴点６６ａ，６６ｂの代わりに特徴点６６ｃ，６６ｄを示す。
【００７３】
第３状態は、自車両６２が交差点に進入する前に一時停止し、且つカメラ視野６４ａにおける接近物体が接近物体位置６５ｃから６５ｄへ移動して自車両６２へ接近している状態である。また、接近物体位置６５ｃは、時刻ｔ２で撮影された接近物体の位置を示し、接近物体位置６５ｄは、時刻ｔ２＋１（時刻ｔ１の次のフレームの時刻）で撮影された接近物体の位置を示す。第３状態において、特徴点６６ｃから特徴点６６ｄへのオプティカルフローの水平成分は、中央線と逆の方向を指す。従って、オプティカルフローの水平成分が中央線方向であるか否かの判定だけを用いると、特徴点６６ｄは、接近物体として検出されない。
【００７４】
図１０は、第３状態におけるオプティカルフローの一例を示す概念図である。この図は、特徴点６６ｄのオプティカルフローの水平成分７１ｄと、旋回フロー７２ｄと、オプティカルフローの水平成分７１ｄから旋回フロー７２ｄを減算した結果である水平残差フロー７３ｄとを示す。第３状態において、水平残差フロー７３ｄは、中央線と逆の方向を指す。従って、オプティカルフローの水平成分が中央線方向であるか否かの判定だけを用いると、特徴点６６ｄは、接近物体として検出されない。
【００７５】
図１１は、第４状態における自車両と接近物体の位置関係の一例を示す平面図である。この図は、上述の第１状態と同様であるが、接近物体位置６５ａ，６５ｂの代わりに接近物体位置６５ｅ，６５ｆを示し、特徴点６６ａ，６６ｂの代わりに特徴点６６ｅ，６６ｆを示す。
【００７６】
第４状態は、自車両６２が交差点へ進入して右旋回し、且つカメラ視野６４ａにおける接近物体が接近物体位置６５ｅから６５ｆへ移動して自車両６２へ接近している状態である。また、接近物体位置６５ｅは、時刻ｔ３で撮影された接近物体の位置を示し、接近物体位置６５ｆは、時刻ｔ３＋１（時刻ｔ３の次のフレームの時刻）で撮影された接近物体の位置を示す。第４状態において、特徴点６６ｅから特徴点６６ｆへのオプティカルフローの水平成分は、ほとんど無い。従って、オプティカルフローの水平成分が中央線方向であるか否かの判定だけを用いると、特徴点６６ｆは、接近物体として検出されない。
【００７７】
図１２は、第５状態における映像データとオプティカルフローの一例を示す概念図である。第５状態は、自車両６２が交差点へ進入して右旋回し、且つカメラ視野６４ａにおける接近物体６１ａとカメラ視野６４ｂにおける接近物体６１ｂとが自車両６２へ接近している状態である。この図において、黒の矢印は、オプティカルフローを表す。第５状態においては、接近物体６１ａ，６１ｂの各特徴点のオプティカルフローの水平成分は、自車両の右旋回により、左方向を指す。
【００７８】
図１３は、第５状態における映像データと旋回フローの一例を示す概念図である。この図において、黒の矢印は、旋回フローを表す。第５状態において、接近物体６１ａ，６１ｂの各特徴点の旋回フローは、自車両の右旋回により、左方向を指す。
【００７９】
図１４は、第５状態における映像データと水平残差フローの一例を示す概念図である。この図において、黒の矢印は、水平残差フローを表す。第５状態において、接近物体６１ａ，６１ｂの各特徴点の水平残差フローは、オプティカルフローの水平成分と旋回フローにより、左方向を指す。従って、オプティカルフローの水平成分が中央線方向であるか否かの判定だけを用いると、接近物体６１ｂは、接近物体として検出されるが、接近物体６１ａは、接近物体として検出されない。
【００８０】
実施の形態１及び実施の形態２に示されたようなオプティカルフローの垂直成分に基づいて接近物体を検出する場合の具体例について以下に説明する。
【００８１】
図１５は、第６状態における映像データとオプティカルフローの一例を示す概念図である。第６状態は、自車両６２が交差点へ進入して右旋回し、且つカメラ視野６４ａにおける接近物体６１ａとカメラ視野６４ｂにおける接近物体６１ｂとが自車両６２へ接近し、且つカメラ１１が上へ揺れた状態である。この図において、黒の矢印は、オプティカルフローを表す。第６状態においては、接近物体６１ａ，６１ｂの各特徴点のオプティカルフローの水平成分は、自車両の右旋回により、左方向を指す。
【００８２】
図１６は、第６状態における映像データとオプティカルフローの垂直成分の一例を示す概念図である。この図において、黒の矢印は、オプティカルフローの垂直成分を表す。第６状態において、接近物体６１ａ，６１ｂ以外（背景）のオプティカルフローの垂直成分は、カメラ１１が上へ揺れたことにより、下方向を指す。
【００８３】
図１７は、第６状態における映像データと縦揺れフローの一例を示す概念図である。この図において、黒の矢印は、縦揺れフローを表す。第６状態において、各縦揺れフローは、カメラ１１が上へ揺れたことにより、下方向を指す。
【００８４】
図１８は、第６状態における映像データと垂直残差フローの一例を示す概念図である。この図において、黒の矢印は、垂直残差フローを表す。第６状態において、接近物体６１ａ，６１ｂ以外（背景）の垂直残差フローは、縦揺れ補正部３２の処理により、ほとんど無くなる。また、接近物体６１ａ，６１ｂの各特徴点の垂直残差フローだけが、大きく現れる。従って、実施の形態１及び実施の形態２に示されたようなオプティカルフローの垂直成分の大きさの判定により、接近物体６１ａ，６１ｂは、接近物体として検出される。
【００８５】
上述した各実施の形態によれば、画面中央向きの水平成分だけに着目した場合にカメラと接近物体の関係によって原理的に検出困難な接近物体についても、オプティカルフローの垂直成分に着目して接近物体を抽出することにより、検知可能となる。
【００８６】
また、上述した各実施の形態によれば、自車両またはカメラに縦揺れが発生した場合でも、接近物体を検知することが可能である。
【００８７】
また、上述した実施の形態２によれば、自車両の旋回速度が速い場合でも、接近物体の検知が可能となる。
【００８８】
また、上述した実施の形態２によれば、画像中における接近物体の水平移動量が垂直移動量に比べて大きい場合、水平成分条件を用いて選択特徴点を抽出したほうが早期に検知することが可能になる。実施の形態２によれば、オプティカルフローの垂直成分と水平成分の両方を用いて統合的に判断することで、選択特徴点の検出性能を向上させることが可能になる。
【００８９】
また、上述した各実施の形態によれば、特徴点を抽出して追跡し、特徴点から選択特徴点を選択することにより、画像上のすべての点について演算処理する必要がなく、演算すべき画素を効果的に選択できるので、低コストで実現可能である。
【００９０】
また、本発明に係る接近物体検出装置は、移動体のカメラや交差点における固定カメラ等に容易に適用することができ、カメラの性能をより高めることができる。
【００９１】
なお、本発明は以下に示すようなコンピュータシステムにおいて適用可能である。図１９は、本発明が適用されるコンピュータシステムの一例を示す図である。この図に示すコンピュータシステム９００は、ＣＰＵやディスクドライブ等を内蔵した本体部９０１、本体部９０１からの指示により画像を表示するディスプレイ９０２、コンピュータシステム９００に種々の情報を入力するためのキーボード９０３、ディスプレイ９０２の表示画面９０２ａ上の任意の位置を指定するマウス９０４及び外部のデータベース等にアクセスして他のコンピュータシステムに記憶されているプログラム等をダウンロードする通信装置９０５を有する。通信装置９０５は、ネットワーク通信カード、モデムなどが考えられる。
【００９２】
上述したような、接近物体検出装置を構成するコンピュータシステムにおいて上述した各ステップを実行させるプログラムを、接近物体検出プログラムとして提供することができる。このプログラムは、コンピュータシステムにより読み取り可能な記録媒体に記憶させることによって、接近物体検出装置を構成するコンピュータシステムに実行させることが可能となる。上述した各ステップを実行するプログラムは、ディスク９１０等の可搬型記録媒体に格納されるか、通信装置９０５により他のコンピュータシステムの記録媒体９０６からダウンロードされる。また、コンピュータシステム９００に少なくとも接近物体検出機能を持たせる接近物体検出プログラムは、コンピュータシステム９００に入力されてコンパイルされる。このプログラムは、コンピュータシステム９００を、接近物体検出機能を有する接近物体検出システムとして動作させる。また、このプログラムは、例えばディスク９１０等のコンピュータ読み取り可能な記録媒体に格納されていても良い。ここで、コンピュータシステム９００により読み取り可能な記録媒体としては、ＲＯＭやＲＡＭ等のコンピュータに内部実装される内部記憶装置、ディスク９１０やフレキシブルディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体や、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータシステム並びにそのデータベースや、通信装置９０５のような通信手段を介して接続されるコンピュータシステムでアクセス可能な各種記録媒体を含む。
【００９３】
本発明は、その精神または主要な特徴から逸脱することなく、他の様々な形で実施することができる。そのため、前述の実施の形態は、あらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、何ら拘束されない。更に、特許請求の範囲の均等範囲に属する全ての変形、様々な改良、代替および改質は、全て本発明の範囲内のものである。
【００９４】
以上の実施の形態１〜２に関し、更に以下の付記を開示する。
（付記１）
接近物体の検出を行う接近物体検出装置であって、
撮影された第１画像と前記第１画像より前に撮影された第２画像とを取得する画像取得部と、
前記画像取得部により取得された前記第１画像及び前記第２画像に基づいて、前記第２画像内の第２点に対応する前記第１画像内の第１点を検索する検索部と、
前記検索部により検索された前記第２点から前記第１点へのオプティカルフローを算出するオプティカルフロー算出部と、
前記オプティカルフロー算出部により算出された前記第２点から前記第１点へのオプティカルフローの鉛直成分に基づいて、該第１点が接近物体を示すか否かを判定する判定部と、
を備える接近物体検出装置。
（付記２）
前記判定部は、前記オプティカルフロー算出部により算出された前記第１点へのオプティカルフローの鉛直成分の大きさに基づいて、該第１点が接近物体を示すか否かを判定する、
付記１に記載の接近物体検出装置。
（付記３）
前記画像取得部は更に、前記第２画像より前に撮影された第３画像を取得し、
前記検索部は更に、前記画像取得部により取得された前記第３画像及び前記第１画像及び前記第２画像に基づいて、前記第３画像内の第３点に対応する前記第１画像内の第１点を検索し、
前記オプティカルフロー算出部は、前記検索部により検索された前記第３点から前記第１点へのオプティカルフローを算出し、
前記判定部は、前記オプティカルフロー算出部により算出された前記第２点から前記第１点へのオプティカルフローの鉛直成分の大きさが所定の鉛直成分閾値より小さい場合、前記第３点から前記第１点へのオプティカルフローの鉛直成分に基づいて、該第１点が接近物体を示すか否かを判定する、
付記２に記載の接近物体検出装置。
（付記４）
前記接近物体検出装置の鉛直方向の運動に関する第１測定値を取得する測定値取得部と、
前記測定値取得部により取得された前記第１測定値に基づいて、鉛直方向の運動に起因する前記オプティカルフローの成分である第１成分を算出する運動成分算出部と、
前記運動成分算出部により算出された第１成分を、前記オプティカルフローの鉛直成分から減算することにより前記オプティカルフローの鉛直成分を補正するオプティカルフロー補正部と、
を更に備え、
前記判定部は、前記オプティカルフロー補正部により補正された前記第１点へのオプティカルフローの鉛直成分に基づいて、該第１点が接近物体を示すか否かを判定する、
付記１に記載の接近物体検出装置。
（付記５）
前記測定値取得部は更に、前記接近物体検出装置の水平方向の運動に関する第２測定値を取得し、
前記運動成分算出部は更に、前記測定値取得部により取得された前記第２測定値に基づいて、水平方向の運動に起因する前記オプティカルフローの成分である第２成分を算出し、
前記オプティカルフロー補正部は更に、前記運動成分算出部により算出された第２成分を、前記オプティカルフローの水平成分から減算することにより前記オプティカルフローの水平成分を補正し、
前記判定部は、前記オプティカルフロー補正部により補正された前記第１点へのオプティカルフローの鉛直成分及び水平成分に基づいて、該第１点が接近物体を示すか否かを判定する、
付記４に記載の接近物体検出装置。
（付記６）
前記判定部は、前記オプティカルフロー算出部により算出された前記第１点へのオプティカルフローの鉛直成分の大きさと水平成分の方向及び大きさとに基づいて、該第１点が接近物体を示すか否かを判定する、
付記１に記載の接近物体検出装置。
（付記７）
前記測定値取得部は更に、前記接近物体検出装置の移動速度を取得し、
前記判定部は、前記測定値取得部により取得された前記移動速度に基づいて前記第１点へのオプティカルフローの鉛直成分及び水平成分の少なくともいずれかを選択して選択成分とし、前記選択成分に基づいて該第１点が接近物体を示すか否かを判定する、
付記６に記載の接近物体検出装置。
（付記８）
前記判定部は、前記移動速度が所定の速度閾値より大きい場合、前記第１点へのオプティカルフローの鉛直成分を前記選択成分として選択する、
付記７に記載の接近物体検出装置。
（付記９）
前記第１画像から特徴点を抽出して前記第１点とし、前記第２画像から特徴点を抽出して前記第２点とする特徴点抽出部を、
更に備える、
付記１に記載の接近物体検出装置。
（付記１０）
前記特徴点抽出部は、コーナー抽出処理により特徴点を抽出する、
付記９に記載の接近物体検出装置。
（付記１１）
前記判定部により接近物体を示すと判定された複数の第１点に基づいて、該接近物体を示す領域を決定する領域決定部を、
更に備える、
付記１に記載の接近物体検出装置。
（付記１２）
前記領域決定部は、前記判定部により接近物体を示すと判定された複数の第１点に対するクラスタリング処理により、前記接近物体を示す領域を決定する、
付記１に記載の接近物体検出装置。
（付記１３）
前記領域決定部により決定された前記領域と前記第２画像とを合成した合成画像を生成する画像生成部を、
更に備える、
付記１２に記載の接近物体検出装置。
（付記１４）
前記画像生成部により生成された合成画像を表示する表示部を、
更に備える、
付記１３に記載の接近物体検出装置。
（付記１５）
前記第１画像及び前記第２画像を撮影するカメラを、
更に備える、
付記１に記載の接近物体検出装置。
（付記１６）
前記接近物体検出装置の前記鉛直方向の運動に関する前記第１測定値を測定する第１運動測定部を、
更に備える、
付記１に記載の接近物体検出装置。
（付記１７）
前記接近物体検出装置の前記水平方向の運動に関する前記第２測定値を測定する第２運動測定部を、
更に備える、
付記１６に記載の接近物体検出装置。
（付記１８）
前記第１運動測定部は、角速度センサである、
付記１６に記載の接近物体検出装置。
（付記１９）
接近物体の検出をコンピュータに実行させる接近物体検出プログラムであって、
撮影された第１画像と前記第１画像より前に撮影された第２画像とを取得し、
取得された前記第１画像及び前記第２画像に基づいて、前記第２画像内の第２点に対応する前記第１画像内の第１点を検索し、
検索された前記第２点から前記第１点へのオプティカルフローを算出し、
算出された前記第２点から前記第１点へのオプティカルフローの鉛直成分に基づいて、該第１点が接近物体を示すか否かを判定する、
ことをコンピュータに実行させる接近物体検出プログラム。
（付記２０）
接近物体の検出を行う接近物体検出方法であって、
撮影された第１画像と前記第１画像より前に撮影された第２画像とを取得し、
取得された前記第１画像及び前記第２画像に基づいて、前記第２画像内の第２点に対応する前記第１画像内の第１点を検索し、
検索された前記第２点から前記第１点へのオプティカルフローを算出し、
算出された前記第２点から前記第１点へのオプティカルフローの鉛直成分に基づいて、該第１点が接近物体を示すか否かを判定する、
ことを行う接近物体検出方法。
【図面の簡単な説明】
【００９５】
【図１】実施の形態１の接近物体表示装置の構成の一例を示すブロック図である。
【図２】画像処理部１２ａの構成の一例を示すブロック図である。
【図３】実施の形態１の接近物体表示装置の動作の一例を示すフローチャートである。
【図４】実施の形態１の特徴点情報の構成の一例を示す表である。
【図５】画像処理部１２ｂの構成の一例を示すブロック図である。
【図６】第１状態における自車両と接近物体の位置関係の一例を示す平面図である。
【図７】第１状態におけるオプティカルフローの一例を示す概念図である。
【図８】第２状態における映像データとオプティカルフローの一例を示す概念図である。
【図９】第３状態における自車両と接近物体の位置関係の一例を示す平面図である。
【図１０】第３状態におけるオプティカルフローの一例を示す概念図である。
【図１１】第４状態における自車両と接近物体の位置関係の一例を示す平面図である。
【図１２】第５状態における映像データとオプティカルフローの一例を示す概念図である。
【図１３】第５状態における映像データと旋回フローの一例を示す概念図である。
【図１４】第５状態における映像データと水平残差フローの一例を示す概念図である。
【図１５】第６状態における映像データとオプティカルフローの一例を示す概念図である。
【図１６】第６状態における映像データとオプティカルフローの垂直成分の一例を示す概念図である。
【図１７】第６状態における映像データと縦揺れフローの一例を示す概念図である。
【図１８】第６状態における映像データと垂直残差フローの一例を示す概念図である。
【図１９】本発明が適用されるコンピュータシステムの一例を示す図である。
【符号の説明】
【００９６】
１１ カメラ、１２ａ，１２ｂ 画像処理部、１４ 表示部、１６ 記憶部、１７ 角速度センサ、１８ 車速センサ、２１ 特徴点抽出部、２２ オプティカルフロー算出部、２３ 特徴点情報記録部、３１ 縦揺れフロー算出部、３２ 縦揺れ補正部、３３ａ，３３ｂ 接近物体判定部、３４ 映像取得部、３５ 車両状態取得部、３６ 映像合成部、４１ 旋回フロー算出部、４２ 旋回補正部。
【技術分野】
【０００１】
本発明は、接近物体の検出を行う接近物体検出装置、接近物体検出プログラム、接近物体検出方法に関するものである。
【背景技術】
【０００２】
見通しが悪い交差点等における車両のユーザの判断の支援を目的とし、車両先端等に設置したカメラから取得される車両左右方向の映像を、車載ディスプレイに表示させる車載型死角カメラ映像表示装置（ブラインドコーナーモニター）がある。
【０００３】
しかしながら、従来の車載型死角カメラ映像表示装置は、遠方から接近する物体については、次のような性質があった。
【０００４】
（１）接近物体の画像領域サイズが小さいために、ユーザは、背景に溶け込み易く、接近する車両やオートバイ等の形状に気づきにくい。
（２）接近物体であることから、画像領域の移動量が小さいために、ユーザは、変化に気づきにくい。
【０００５】
これに対し、カメラによる映像データから画像処理によって接近物体を検知し、接近物体の画像領域を強調表示させる類の装置があった。例えば、オプティカルフロー方式を利用し、接近物体とカメラの視野の関係を利用し、画面上の中央向きに発生するフロー領域を抽出し、接近物体の領域として特定することで、接近物体検知を実現する装置がある。
【０００６】
また、旋回中でも検知が可能なように、ジャイロセンサや車両センサを使用して旋回による水平フロー成分を算出し、この成分をオプティカルフローから減算してフロー補正処理を行い、補正後のフローが画面上の中央向きであるか否かの判定を行い、接近物体検知を実現する装置がある。
【０００７】
なお、従来技術として、車両の旋回時における車両のノーズ部分の側方の接近物体を精度良く検出できるノーズビューモニタ装置がある（例えば、特許文献１参照）。
【特許文献１】特開２００５−２７６０５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、自車両の停止位置によっては、カメラと接近物体の位置の関係から必ずしも、接近物体に画面中央向きのフローが発生するわけではなかった。例えば、カメラに対して接近物体の端点が方位一定に見えるような位置や角度で、自車両が交差点に進入してしまった場合や、歩行者や自転車やオートバイが壁沿いに接近する場合、画面中央向きのフローは発生しないため、検知漏れとなる場合があった。
【０００９】
また、旋回中において、旋回速度が接近車両の速度に対して早い場合、ジャイロセンサや車両センサから得られる仮想的な旋回による水平フロー成分を減算すると、残差の補正フローが画面外向きになって、検知漏れとなる場合があった。
【００１０】
本発明は上述した問題点を解決するためになされたものであり、接近物体の検出の精度を向上させる接近物体検出装置、接近物体検出プログラム、接近物体検出方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上述した課題を解決するため、本発明の一態様は、接近物体の検出を行う接近物体検出装置であって、撮影された第１画像と第１画像より前に撮影された第２画像とを取得する画像取得部と、画像取得部により取得された第１画像及び第２画像に基づいて、第２画像内の第２点に対応する第１画像内の第１点を検索する検索部と、検索部により検索された第２点から第１点へのオプティカルフローを算出するオプティカルフロー算出部と、オプティカルフロー算出部により算出された第２点から第１点へのオプティカルフローの鉛直成分に基づいて、該第１点が接近物体を示すか否かを判定する判定部とを有する。
【００１２】
また、本発明の一態様は、接近物体の検出をコンピュータに実行させる接近物体検出プログラムであって、撮影された第１画像と第１画像より前に撮影された第２画像とを取得し、取得された第１画像及び第２画像に基づいて、第２画像内の第２点に対応する第１画像内の第１点を検索し、検索された第２点から第１点へのオプティカルフローを算出し、算出された第２点から第１点へのオプティカルフローの鉛直成分に基づいて、該第１点が接近物体を示すか否かを判定することをコンピュータに実行させる。
【００１３】
また、本発明の一態様は、接近物体の検出を行う接近物体検出方法であって、撮影された第１画像と第１画像より前に撮影された第２画像とを取得し、取得された第１画像及び第２画像に基づいて、第２画像内の第２点に対応する第１画像内の第１点を検索し、検索された第２点から第１点へのオプティカルフローを算出し、算出された第２点から第１点へのオプティカルフローの鉛直成分に基づいて、該第１点が接近物体を示すか否かを判定することを行う。
【００１４】
また、本発明の構成要素、または構成要素の任意の組合せを、方法、装置、システム、記録媒体、データ構造などに適用したものも本発明に含む。
【発明の効果】
【００１５】
開示の接近物体検出装置、接近物体検出プログラム、接近物体検出方法によれば、接近物体の検出の精度を向上させることができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態について図面を参照しつつ説明する。
【００１７】
（実施の形態１）
本実施の形態においては、本発明の接近物体検出装置が適用された接近物体表示装置について説明する。本実施の形態の接近物体表示装置は、車両に搭載される。以下、接近物体表示装置が搭載された車両を自車両と呼ぶ。
【００１８】
本実施の形態の接近物体表示装置は、連続して撮影された映像データからオプティカルフローの垂直（鉛直）成分を算出し、算出された垂直成分に基づいて接近物体の検出を行う。
【００１９】
実施の形態１の接近物体表示装置の構成について以下に説明する。
【００２０】
図１は、実施の形態１の接近物体表示装置の構成の一例を示すブロック図である。この接近物体表示装置は、カメラ１１、画像処理部１２ａ、表示部１４、ＣＰＵ、記憶部１６、角速度センサ１７（第１運動測定部、第２運動測定部）、車速センサ１８を有する。
【００２１】
画像処理部１２ａは、例えばＣＰＵ（Central Processing Unit）により実現される。このＣＰＵは、記憶部１６に格納された接近物体検出プログラムを実行することにより、接近物体検出機能を実現する。
【００２２】
なお、角速度センサ１７の代わりに、接近物体表示装置の外部に設けられた角速度センサが用いられても良い。また、車速センサ１８の代わりに、接近物体表示装置の外部に設けられた車速センサが用いられても良い。ここでは、角速度を取得するために角速度センサを用いたが、角速度センサ以外に加速度センサ等、カメラ１１の鉛直方向の運動に関する測定を行うセンサを用いても良い。
【００２３】
画像処理部１２ａの構成について以下に説明する。
【００２４】
図２は、画像処理部１２ａの構成の一例を示すブロック図である。この画像処理部１２ａは、特徴点抽出部２１、オプティカルフロー算出部２２、特徴点情報記録部２３、縦揺れフロー算出部３１（運動成分算出部）、縦揺れ補正部３２（オプティカルフロー補正部）、接近物体判定部３３ａ（判定部、領域決定部）、映像取得部３４（画像取得部）、車両状態取得部３５（測定値取得部）、映像合成部３６（画像生成部）を有する。
【００２５】
車両状態取得部３５は、角速度センサ１７により測定された角速度や車速センサ１８により測定された車速を取得する。
【００２６】
本実施の形態の接近物体表示装置の動作について以下に説明する。
【００２７】
カメラ１１は、自車両の左右方向を撮影するように調整されたプリズムレンズを有し、所定のフレーム時間間隔で撮影する。カメラ１１が自車両の左右方向に向けて設けられることにより、見通しの悪い交差点でユーザの死角となる左右道路の交通状況を撮影することができる。フレーム時間間隔は、例えば１／３０秒である。なお、カメラ１１は、自車両の左右方向を撮影できる魚眼レンズを有しても良い。
【００２８】
図３は、実施の形態１の接近物体表示装置の動作の一例を示すフローチャートである。映像取得部３４は、カメラ１１により撮影された映像データをレーム時間間隔毎に取得する（Ｓ１１）。なお、カメラ１１は、複数であっても良い。この場合、映像取得部３４は、カメラ１１のそれぞれにより撮影された映像を合成して映像データとする。例えば、自車両の左方を向いて設置されたカメラ１１からの映像を映像データの左半分に配置し、自車両の右方を向いて設置されたカメラ１１からの映像を映像データの右半分に配置する。
【００２９】
次に、特徴点抽出部２１は、映像データ内の特徴点（注目点）を抽出する（Ｓ１２）。特徴点の抽出には、例えば、車両外形の凸凹領域に良く反応するコーナー抽出処理を用いる。コーナー抽出処理には、Ｈａｒｒｉｓオペレータや、ＫＬＴ（Kanade-Lucas Track）オペレータを用いる。
【００３０】
特徴点抽出部２１は、抽出された特徴点に関する情報を特徴点情報として特徴点情報記録部２３へ記録する（Ｓ１３）。ここで、特徴点情報記録部２３は、記憶部１６により実現される。図４は、実施の形態１の特徴点情報の構成の一例を示す表である。この図は、時刻ｔにおける特徴点情報と、時刻ｔ＋１における特徴点情報とを示す。特徴点情報は、特徴点ＩＤと、特徴点の最新の座標値の周辺の画像データである周辺画像データ（例えば９×９画素）と、フレーム毎の特徴点の対応点の（ｘ，ｙ）座標及びフレーム時刻のリストである対応点リストとを含む。
【００３１】
次に、オプティカルフロー算出部２２は、特徴点情報記録部２３に登録されている、最新の特徴点の座標値と周辺画像データに基づいて、現在の映像データＩ（ｔ＋１）において特徴点に対応する点である対応点を所定範囲内で検索する（Ｓ１４）。次に、オプティカルフロー算出部２２は、例えばブロックマッチング法によりオプティカルフローを算出する（Ｓ１５）。オプティカルフロー算出部２２は、Ｉ（ｔ＋１）において探索された対応点の座標値とフレーム時刻ｔ＋１とを特徴点情報におけるリストへ追加し、特徴点情報における周辺画像データをＩ（ｔ＋１）における周辺画像データに更新する（Ｓ１６）。
【００３２】
ここで、時刻ｔにおける映像データＩ（ｔ）は、第２画像に対応する。また、時刻ｔ＋１における映像データＩ（ｔ＋１）は、第１画像に対応する。
【００３３】
次に、接近物体判定部３３ａは、特徴点情報記録部２３に登録されている最新の特徴点について、所定の垂直成分条件を満たす特徴点を選択して選択特徴点とし（Ｓ１７）、このフローは終了する。ここで、垂直成分条件は、オプティカルフローの垂直成分の大きさが所定の垂直成分閾値を上回ることである。オプティカルフローは、登録されているリスト内の２つの座標値の減算によって算出される。第１の垂直成分条件は、オプティカルフローの垂直成分と垂直成分閾値Ｔｈ１とを用いた次式で表される。
【００３４】
｜ｙi,t+1−ｙi,t｜ ＞ Ｔｈ１
【００３５】
また、オプティカルフロー算出部２２は、垂直成分条件を、時間間隔ｎだけ過去の対応点から最新の対応点までのオプティカルフローである長時間オプティカルフローを算出する。接近物体判定部３３ａは、単位時間間隔（フレーム時間間隔）のオプティカルフローの垂直成分（動き量）が小さいと判定した場合、第２の垂直成分条件を用いて選択特徴点を選択する。第２の垂直成分条件は、長時間オプティカルフローの垂直成分の大きさが所定の垂直成分閾値Ｔｈ２を上回ることである。第２の垂直成分条件は、長時間オプティカルフローの垂直成分と垂直成分閾値Ｔｈ２とを用いた次式で表される。
【００３６】
｜ｙi,t+1−ｙi,t-n+1｜ ＞ Ｔｈ２
【００３７】
ここで、時刻ｔ−ｎ＋１における映像データＩ（ｔ−ｎ＋１）は、第３画像に対応する。
【００３８】
Ｔｈ１及びＴｈ２は、例えば１ピクセルである。
【００３９】
このように、接近物体が自車両へ接近する速度成分が小さい場合、長時間オプティカルフローを算出することにより、選択特徴点の検出精度を高めることができる。
【００４０】
また、本実施の形態の画像処理部１２ａは、自車両のブレーキや路面の凹凸で縦揺れする（鉛直方向に運動する）場合に発生する背景フロー（背景のオプティカルフロー）の垂直成分である縦揺れフローを、オプティカルフローから除去する。
【００４１】
車両状態取得部３５は、角速度センサ１７により測定された角速度を取得する。縦揺れフロー算出部３１は、車両状態取得部３５により得られた角速度に基づいて縦揺れフローを算出する。縦揺れ補正部３２は、オプティカルフローの垂直成分から縦揺れフローを減算して垂直残差フローとする。接近物体判定部３３ａは、オプティカルフローの垂直成分の代わりに垂直残差フローに対して垂直成分条件の判定を行う。つまり、第１の垂直成分条件は、垂直残差フローの大きさがＴｈ１を上回ることである。
【００４２】
同様に、縦揺れ補正部３２は、長時間オプティカルフローの垂直成分から縦揺れフローを減算して長時間垂直残差フローとする。第２の垂直成分条件は、長時間垂直残差フローの大きさがＴｈ２を上回ることである。
【００４３】
ここで、車両状態取得部３５が角速度センサ１７から３軸の角速度を取得する場合の、縦揺れフロー算出部３１及び縦揺れ補正部３２の動作の詳細について説明する。
【００４４】
ある特徴点について、垂直成分を評価する時間間隔（フレーム時間間隔）がΔｔである場合、縦揺れフロー算出部３１は、時刻ｔ−Δｔから時刻ｔまで、角速度センサから得られたある座標軸についての角速度ｗを積分することにより、変位角Ｗを算出する。Ｗは、次式で表される。
【００４５】
Ｗ＝Σt-Δttｗ
【００４６】
次に、カメラ１１の焦点距離がｆであり、縦揺れフロー算出部３１により３軸についての角速度ｗｘ（ピッチ）（第１測定値），ｗｙ（ロール），ｗｚ（ヨー）（第２測定値）が得られ、それにより変位角Ｗｘ（ピッチ），Ｗｙ（ロール），Ｗｚ（ヨー）が得られる場合、点（ｘ，ｙ）における縦揺れフローｖｙは次式で算出できる。
【００４７】
ｖｙ＝
（ｙ＊ｙ／ｆ＋ｆ）＊Ｗｘ−ｘ＊ｙ＊Ｗｙ／ｆ−ｘ＊Ｗｚ；
【００４８】
カメラ１１と角速度センサ１７が離れている場合でも、縦揺れフロー算出部３１は、３軸の角速度を用いることにより縦揺れフローを精度良く算出することができる。
【００４９】
また、車両状態取得部３５が角速度センサ１７から縦方向（ピッチ）の角速度のみを取得する場合、上述のｖｙの算出式において、Ｗｙ＝Ｗｚ＝０として良い。
【００５０】
カメラ１１と角速度センサ１７が近く同様の運動を行う場合、縦揺れフロー算出部３１は、縦方向の角速度のみを用いて縦揺れフローを算出することができる。
【００５１】
縦揺れ補正部３２は、オプティカルフローの垂直成分から縦揺れフローを減算し、垂直残差フローＶを算出する。Ｖは、次式で表される。
【００５２】
Ｖ ＝ ｙi,t+1−ｙi,t-n+1−ｖｙ
【００５３】
接近物体判定部３３ａは、次式に示される垂直成分条件を満たすか否かの判定を行う。
【００５４】
｜Ｖ｜＞Ｔｈ１
【００５５】
次に、接近物体判定部３３ａは、選択された選択特徴点の座標に対して２次元画像上でのクラスタリング処理を行い、接近物体の領域を特定して接近物体領域とする。クラスタリング処理は、例えば、所定の画像距離以下にある特徴点同士を１つのクラスタとみなす処理である。
【００５６】
映像合成部３６は、カメラ１１からの映像データに、接近物体判定部３３ａにより出力された接近物体領域を合成して合成映像データ（合成画像）とする。表示部１４は、映像合成部３６により合成された合成映像データを表示する。
（実施の形態２）
【００５７】
本実施の形態の接近物体表示装置は、連続して撮影された画像からオプティカルフローの垂直成分及び水平成分を算出し、算出された垂直成分及び水平成分に基づいて接近物体の検出を行う。
【００５８】
実施の形態２の接近物体表示装置の構成は、実施の形態１の接近物体表示装置の構成と比較すると、画像処理部１２ａの代わりに画像処理部１２ｂを有する。
【００５９】
画像処理部１２ｂの構成について以下に説明する。
【００６０】
図５は、画像処理部１２ｂの構成の一例を示すブロック図である。この図において、図２と同一符号は図２に示された対象と同一又は相当物を示しており、ここでの説明を省略する。画像処理部１２ｂは、画像処理部１２ａと比較すると、接近物体判定部３３ａの代わりに接近物体判定部３３ｂを有し、新たに、旋回フロー算出部４１（運動成分算出部）、旋回補正部４２（オプティカルフロー補正部）を有する。
【００６１】
例えば、角速度センサ１７は、縦方向の角速度の他に、カメラ１１が設置された自車両の旋回（水平方向、ヨー）の角速度ｗｚ（第２測定値）を測定する。旋回フロー算出部４１は、車両状態取得部３５により取得された角速度に基づいて、画面上の旋回による背景フローの水平成分である旋回フローを算出する。旋回補正部４２は、算出された旋回フローを、オプティカルフローの水平成分から減算して水平残差フローとする。
【００６２】
接近物体判定部３３ｂは、所定の垂直成分条件または所定の水平成分条件を満たす特徴点を選択して選択特徴点とする。ここで、垂直成分条件は、垂直残差フローの大きさが所定の垂直成分閾値を上回ることとする。また、水平成分条件は、旋回補正部４２により算出された水平残差フローが中央向きを正の向きとして所定の水平成分閾値を上回ることである。
【００６３】
なお、垂直成分条件は、垂直残差フローの大きさが所定の垂直成分閾値を上回り、且つ垂直残差フローが中央向きであること、としても良い。
【００６４】
なお、接近物体判定部３３ｂは、更に車速センサ１８により測定された車速を用いて選択特徴点を選択しても良い。この場合、まず、接近物体判定部３３ｂは、車速センサ１８により測定された車速を取得する。次に、接近物体判定部３３ｂは、車速が所定の車速閾値を下回るか否かの判定を行う。車速が所定の車速閾値を下回る場合、水平成分条件を満たす特徴点を選択して選択特徴点とする。車速が車速閾値以上である場合、垂直成分条件を満たす特徴点を選択して選択特徴点とする。
【００６５】
上述した各実施の形態における映像データ及びオプティカルフローの具体例について以下に説明する。
【００６６】
ここで、カメラ１１に設けられたプリズムレンズにより、映像データの左半分の領域である左領域は、自車両の左方が撮影された映像となり、映像データの右半分の領域である右領域は、自車両の右方が撮影された映像となる。以下、映像データにおいて左領域と右領域とを分ける線を中央線と呼ぶ。
【００６７】
オプティカルフローの水平成分が中央線方向であるか否かの判定により接近物体を検出する比較例について以下に説明する。
【００６８】
図６は、第１状態における自車両と接近物体の位置関係の一例を示す平面図である。この図は、自車両６２、構造物６３、カメラ視野６４ａ，６４ｂ、接近物体位置６５ａ，６５ｂ、特徴点６６ａ，６６ｂを示す。カメラ視野６４ａは、映像データの左半分に対応し、カメラ視野６４ｂは、映像データの右半分に対応する。また、この図において、Ｘ軸及びＺ軸は、自車両を基準とした座標系である。原点Ｏは、カメラ１１の撮像位置を示し、Ｘ軸は、自車両の後方を示し、Ｚ軸は、自車両の右方を示す。特徴点６６ｂは、特徴点６６ａの対応点である。
【００６９】
第１状態は、自車両６２が交差点に進入する前に一時停止し、且つカメラ視野６４ａにおける接近物体が接近物体位置６５ａから６５ｂへ移動して自車両６２へ接近している状態である。また、接近物体位置６５ａは、時刻ｔ１で撮影された接近物体の位置を示し、接近物体位置６５ａは、時刻ｔ１＋１（時刻ｔ１の次のフレームの時刻）で撮影された接近物体の位置を示す。
【００７０】
図７は、第１状態におけるオプティカルフローの一例を示す概念図である。この図は、特徴点６６ｂのオプティカルフローの水平成分７１ｂと、旋回フロー７２ｂと、オプティカルフローの水平成分７１ｂから旋回フロー７２ｂを減算した結果である水平残差フロー７３ｂとを示す。第１状態において、水平残差フロー７３ｂは、中央線の方向を指す。従って、特徴点６６ｂは、オプティカルフローの水平成分により接近物体として検出されることができる。
【００７１】
図８は、第２状態における映像データとオプティカルフローの一例を示す概念図である。第２状態は、自車両６２が交差点に進入する前に一時停止し、且つカメラ視野６４ａにおける接近物体６１ａとカメラ視野６４ｂにおける接近物体６１ｂとが自車両６２へ接近している状態である。この図において、黒の矢印は、オプティカルフローを表す。第２状態において、接近物体６１ａ，６１ｂの各特徴点のオプティカルフローの水平成分は、中央線の方向を指す。従って、接近物体６１ａ，６１ｂは、オプティカルフローの水平成分が中央線方向であるか否かの判定により、接近物体として検出されることができる。
【００７２】
図９は、第３状態における自車両と接近物体の位置関係の一例を示す平面図である。この図は、上述の第１状態と同様であるが、接近物体位置６５ａ，６５ｂの代わりに接近物体位置６５ｃ，６５ｄを示し、特徴点６６ａ，６６ｂの代わりに特徴点６６ｃ，６６ｄを示す。
【００７３】
第３状態は、自車両６２が交差点に進入する前に一時停止し、且つカメラ視野６４ａにおける接近物体が接近物体位置６５ｃから６５ｄへ移動して自車両６２へ接近している状態である。また、接近物体位置６５ｃは、時刻ｔ２で撮影された接近物体の位置を示し、接近物体位置６５ｄは、時刻ｔ２＋１（時刻ｔ１の次のフレームの時刻）で撮影された接近物体の位置を示す。第３状態において、特徴点６６ｃから特徴点６６ｄへのオプティカルフローの水平成分は、中央線と逆の方向を指す。従って、オプティカルフローの水平成分が中央線方向であるか否かの判定だけを用いると、特徴点６６ｄは、接近物体として検出されない。
【００７４】
図１０は、第３状態におけるオプティカルフローの一例を示す概念図である。この図は、特徴点６６ｄのオプティカルフローの水平成分７１ｄと、旋回フロー７２ｄと、オプティカルフローの水平成分７１ｄから旋回フロー７２ｄを減算した結果である水平残差フロー７３ｄとを示す。第３状態において、水平残差フロー７３ｄは、中央線と逆の方向を指す。従って、オプティカルフローの水平成分が中央線方向であるか否かの判定だけを用いると、特徴点６６ｄは、接近物体として検出されない。
【００７５】
図１１は、第４状態における自車両と接近物体の位置関係の一例を示す平面図である。この図は、上述の第１状態と同様であるが、接近物体位置６５ａ，６５ｂの代わりに接近物体位置６５ｅ，６５ｆを示し、特徴点６６ａ，６６ｂの代わりに特徴点６６ｅ，６６ｆを示す。
【００７６】
第４状態は、自車両６２が交差点へ進入して右旋回し、且つカメラ視野６４ａにおける接近物体が接近物体位置６５ｅから６５ｆへ移動して自車両６２へ接近している状態である。また、接近物体位置６５ｅは、時刻ｔ３で撮影された接近物体の位置を示し、接近物体位置６５ｆは、時刻ｔ３＋１（時刻ｔ３の次のフレームの時刻）で撮影された接近物体の位置を示す。第４状態において、特徴点６６ｅから特徴点６６ｆへのオプティカルフローの水平成分は、ほとんど無い。従って、オプティカルフローの水平成分が中央線方向であるか否かの判定だけを用いると、特徴点６６ｆは、接近物体として検出されない。
【００７７】
図１２は、第５状態における映像データとオプティカルフローの一例を示す概念図である。第５状態は、自車両６２が交差点へ進入して右旋回し、且つカメラ視野６４ａにおける接近物体６１ａとカメラ視野６４ｂにおける接近物体６１ｂとが自車両６２へ接近している状態である。この図において、黒の矢印は、オプティカルフローを表す。第５状態においては、接近物体６１ａ，６１ｂの各特徴点のオプティカルフローの水平成分は、自車両の右旋回により、左方向を指す。
【００７８】
図１３は、第５状態における映像データと旋回フローの一例を示す概念図である。この図において、黒の矢印は、旋回フローを表す。第５状態において、接近物体６１ａ，６１ｂの各特徴点の旋回フローは、自車両の右旋回により、左方向を指す。
【００７９】
図１４は、第５状態における映像データと水平残差フローの一例を示す概念図である。この図において、黒の矢印は、水平残差フローを表す。第５状態において、接近物体６１ａ，６１ｂの各特徴点の水平残差フローは、オプティカルフローの水平成分と旋回フローにより、左方向を指す。従って、オプティカルフローの水平成分が中央線方向であるか否かの判定だけを用いると、接近物体６１ｂは、接近物体として検出されるが、接近物体６１ａは、接近物体として検出されない。
【００８０】
実施の形態１及び実施の形態２に示されたようなオプティカルフローの垂直成分に基づいて接近物体を検出する場合の具体例について以下に説明する。
【００８１】
図１５は、第６状態における映像データとオプティカルフローの一例を示す概念図である。第６状態は、自車両６２が交差点へ進入して右旋回し、且つカメラ視野６４ａにおける接近物体６１ａとカメラ視野６４ｂにおける接近物体６１ｂとが自車両６２へ接近し、且つカメラ１１が上へ揺れた状態である。この図において、黒の矢印は、オプティカルフローを表す。第６状態においては、接近物体６１ａ，６１ｂの各特徴点のオプティカルフローの水平成分は、自車両の右旋回により、左方向を指す。
【００８２】
図１６は、第６状態における映像データとオプティカルフローの垂直成分の一例を示す概念図である。この図において、黒の矢印は、オプティカルフローの垂直成分を表す。第６状態において、接近物体６１ａ，６１ｂ以外（背景）のオプティカルフローの垂直成分は、カメラ１１が上へ揺れたことにより、下方向を指す。
【００８３】
図１７は、第６状態における映像データと縦揺れフローの一例を示す概念図である。この図において、黒の矢印は、縦揺れフローを表す。第６状態において、各縦揺れフローは、カメラ１１が上へ揺れたことにより、下方向を指す。
【００８４】
図１８は、第６状態における映像データと垂直残差フローの一例を示す概念図である。この図において、黒の矢印は、垂直残差フローを表す。第６状態において、接近物体６１ａ，６１ｂ以外（背景）の垂直残差フローは、縦揺れ補正部３２の処理により、ほとんど無くなる。また、接近物体６１ａ，６１ｂの各特徴点の垂直残差フローだけが、大きく現れる。従って、実施の形態１及び実施の形態２に示されたようなオプティカルフローの垂直成分の大きさの判定により、接近物体６１ａ，６１ｂは、接近物体として検出される。
【００８５】
上述した各実施の形態によれば、画面中央向きの水平成分だけに着目した場合にカメラと接近物体の関係によって原理的に検出困難な接近物体についても、オプティカルフローの垂直成分に着目して接近物体を抽出することにより、検知可能となる。
【００８６】
また、上述した各実施の形態によれば、自車両またはカメラに縦揺れが発生した場合でも、接近物体を検知することが可能である。
【００８７】
また、上述した実施の形態２によれば、自車両の旋回速度が速い場合でも、接近物体の検知が可能となる。
【００８８】
また、上述した実施の形態２によれば、画像中における接近物体の水平移動量が垂直移動量に比べて大きい場合、水平成分条件を用いて選択特徴点を抽出したほうが早期に検知することが可能になる。実施の形態２によれば、オプティカルフローの垂直成分と水平成分の両方を用いて統合的に判断することで、選択特徴点の検出性能を向上させることが可能になる。
【００８９】
また、上述した各実施の形態によれば、特徴点を抽出して追跡し、特徴点から選択特徴点を選択することにより、画像上のすべての点について演算処理する必要がなく、演算すべき画素を効果的に選択できるので、低コストで実現可能である。
【００９０】
また、本発明に係る接近物体検出装置は、移動体のカメラや交差点における固定カメラ等に容易に適用することができ、カメラの性能をより高めることができる。
【００９１】
なお、本発明は以下に示すようなコンピュータシステムにおいて適用可能である。図１９は、本発明が適用されるコンピュータシステムの一例を示す図である。この図に示すコンピュータシステム９００は、ＣＰＵやディスクドライブ等を内蔵した本体部９０１、本体部９０１からの指示により画像を表示するディスプレイ９０２、コンピュータシステム９００に種々の情報を入力するためのキーボード９０３、ディスプレイ９０２の表示画面９０２ａ上の任意の位置を指定するマウス９０４及び外部のデータベース等にアクセスして他のコンピュータシステムに記憶されているプログラム等をダウンロードする通信装置９０５を有する。通信装置９０５は、ネットワーク通信カード、モデムなどが考えられる。
【００９２】
上述したような、接近物体検出装置を構成するコンピュータシステムにおいて上述した各ステップを実行させるプログラムを、接近物体検出プログラムとして提供することができる。このプログラムは、コンピュータシステムにより読み取り可能な記録媒体に記憶させることによって、接近物体検出装置を構成するコンピュータシステムに実行させることが可能となる。上述した各ステップを実行するプログラムは、ディスク９１０等の可搬型記録媒体に格納されるか、通信装置９０５により他のコンピュータシステムの記録媒体９０６からダウンロードされる。また、コンピュータシステム９００に少なくとも接近物体検出機能を持たせる接近物体検出プログラムは、コンピュータシステム９００に入力されてコンパイルされる。このプログラムは、コンピュータシステム９００を、接近物体検出機能を有する接近物体検出システムとして動作させる。また、このプログラムは、例えばディスク９１０等のコンピュータ読み取り可能な記録媒体に格納されていても良い。ここで、コンピュータシステム９００により読み取り可能な記録媒体としては、ＲＯＭやＲＡＭ等のコンピュータに内部実装される内部記憶装置、ディスク９１０やフレキシブルディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体や、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータシステム並びにそのデータベースや、通信装置９０５のような通信手段を介して接続されるコンピュータシステムでアクセス可能な各種記録媒体を含む。
【００９３】
本発明は、その精神または主要な特徴から逸脱することなく、他の様々な形で実施することができる。そのため、前述の実施の形態は、あらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、何ら拘束されない。更に、特許請求の範囲の均等範囲に属する全ての変形、様々な改良、代替および改質は、全て本発明の範囲内のものである。
【００９４】
以上の実施の形態１〜２に関し、更に以下の付記を開示する。
（付記１）
接近物体の検出を行う接近物体検出装置であって、
撮影された第１画像と前記第１画像より前に撮影された第２画像とを取得する画像取得部と、
前記画像取得部により取得された前記第１画像及び前記第２画像に基づいて、前記第２画像内の第２点に対応する前記第１画像内の第１点を検索する検索部と、
前記検索部により検索された前記第２点から前記第１点へのオプティカルフローを算出するオプティカルフロー算出部と、
前記オプティカルフロー算出部により算出された前記第２点から前記第１点へのオプティカルフローの鉛直成分に基づいて、該第１点が接近物体を示すか否かを判定する判定部と、
を備える接近物体検出装置。
（付記２）
前記判定部は、前記オプティカルフロー算出部により算出された前記第１点へのオプティカルフローの鉛直成分の大きさに基づいて、該第１点が接近物体を示すか否かを判定する、
付記１に記載の接近物体検出装置。
（付記３）
前記画像取得部は更に、前記第２画像より前に撮影された第３画像を取得し、
前記検索部は更に、前記画像取得部により取得された前記第３画像及び前記第１画像及び前記第２画像に基づいて、前記第３画像内の第３点に対応する前記第１画像内の第１点を検索し、
前記オプティカルフロー算出部は、前記検索部により検索された前記第３点から前記第１点へのオプティカルフローを算出し、
前記判定部は、前記オプティカルフロー算出部により算出された前記第２点から前記第１点へのオプティカルフローの鉛直成分の大きさが所定の鉛直成分閾値より小さい場合、前記第３点から前記第１点へのオプティカルフローの鉛直成分に基づいて、該第１点が接近物体を示すか否かを判定する、
付記２に記載の接近物体検出装置。
（付記４）
前記接近物体検出装置の鉛直方向の運動に関する第１測定値を取得する測定値取得部と、
前記測定値取得部により取得された前記第１測定値に基づいて、鉛直方向の運動に起因する前記オプティカルフローの成分である第１成分を算出する運動成分算出部と、
前記運動成分算出部により算出された第１成分を、前記オプティカルフローの鉛直成分から減算することにより前記オプティカルフローの鉛直成分を補正するオプティカルフロー補正部と、
を更に備え、
前記判定部は、前記オプティカルフロー補正部により補正された前記第１点へのオプティカルフローの鉛直成分に基づいて、該第１点が接近物体を示すか否かを判定する、
付記１に記載の接近物体検出装置。
（付記５）
前記測定値取得部は更に、前記接近物体検出装置の水平方向の運動に関する第２測定値を取得し、
前記運動成分算出部は更に、前記測定値取得部により取得された前記第２測定値に基づいて、水平方向の運動に起因する前記オプティカルフローの成分である第２成分を算出し、
前記オプティカルフロー補正部は更に、前記運動成分算出部により算出された第２成分を、前記オプティカルフローの水平成分から減算することにより前記オプティカルフローの水平成分を補正し、
前記判定部は、前記オプティカルフロー補正部により補正された前記第１点へのオプティカルフローの鉛直成分及び水平成分に基づいて、該第１点が接近物体を示すか否かを判定する、
付記４に記載の接近物体検出装置。
（付記６）
前記判定部は、前記オプティカルフロー算出部により算出された前記第１点へのオプティカルフローの鉛直成分の大きさと水平成分の方向及び大きさとに基づいて、該第１点が接近物体を示すか否かを判定する、
付記１に記載の接近物体検出装置。
（付記７）
前記測定値取得部は更に、前記接近物体検出装置の移動速度を取得し、
前記判定部は、前記測定値取得部により取得された前記移動速度に基づいて前記第１点へのオプティカルフローの鉛直成分及び水平成分の少なくともいずれかを選択して選択成分とし、前記選択成分に基づいて該第１点が接近物体を示すか否かを判定する、
付記６に記載の接近物体検出装置。
（付記８）
前記判定部は、前記移動速度が所定の速度閾値より大きい場合、前記第１点へのオプティカルフローの鉛直成分を前記選択成分として選択する、
付記７に記載の接近物体検出装置。
（付記９）
前記第１画像から特徴点を抽出して前記第１点とし、前記第２画像から特徴点を抽出して前記第２点とする特徴点抽出部を、
更に備える、
付記１に記載の接近物体検出装置。
（付記１０）
前記特徴点抽出部は、コーナー抽出処理により特徴点を抽出する、
付記９に記載の接近物体検出装置。
（付記１１）
前記判定部により接近物体を示すと判定された複数の第１点に基づいて、該接近物体を示す領域を決定する領域決定部を、
更に備える、
付記１に記載の接近物体検出装置。
（付記１２）
前記領域決定部は、前記判定部により接近物体を示すと判定された複数の第１点に対するクラスタリング処理により、前記接近物体を示す領域を決定する、
付記１に記載の接近物体検出装置。
（付記１３）
前記領域決定部により決定された前記領域と前記第２画像とを合成した合成画像を生成する画像生成部を、
更に備える、
付記１２に記載の接近物体検出装置。
（付記１４）
前記画像生成部により生成された合成画像を表示する表示部を、
更に備える、
付記１３に記載の接近物体検出装置。
（付記１５）
前記第１画像及び前記第２画像を撮影するカメラを、
更に備える、
付記１に記載の接近物体検出装置。
（付記１６）
前記接近物体検出装置の前記鉛直方向の運動に関する前記第１測定値を測定する第１運動測定部を、
更に備える、
付記１に記載の接近物体検出装置。
（付記１７）
前記接近物体検出装置の前記水平方向の運動に関する前記第２測定値を測定する第２運動測定部を、
更に備える、
付記１６に記載の接近物体検出装置。
（付記１８）
前記第１運動測定部は、角速度センサである、
付記１６に記載の接近物体検出装置。
（付記１９）
接近物体の検出をコンピュータに実行させる接近物体検出プログラムであって、
撮影された第１画像と前記第１画像より前に撮影された第２画像とを取得し、
取得された前記第１画像及び前記第２画像に基づいて、前記第２画像内の第２点に対応する前記第１画像内の第１点を検索し、
検索された前記第２点から前記第１点へのオプティカルフローを算出し、
算出された前記第２点から前記第１点へのオプティカルフローの鉛直成分に基づいて、該第１点が接近物体を示すか否かを判定する、
ことをコンピュータに実行させる接近物体検出プログラム。
（付記２０）
接近物体の検出を行う接近物体検出方法であって、
撮影された第１画像と前記第１画像より前に撮影された第２画像とを取得し、
取得された前記第１画像及び前記第２画像に基づいて、前記第２画像内の第２点に対応する前記第１画像内の第１点を検索し、
検索された前記第２点から前記第１点へのオプティカルフローを算出し、
算出された前記第２点から前記第１点へのオプティカルフローの鉛直成分に基づいて、該第１点が接近物体を示すか否かを判定する、
ことを行う接近物体検出方法。
【図面の簡単な説明】
【００９５】
【図１】実施の形態１の接近物体表示装置の構成の一例を示すブロック図である。
【図２】画像処理部１２ａの構成の一例を示すブロック図である。
【図３】実施の形態１の接近物体表示装置の動作の一例を示すフローチャートである。
【図４】実施の形態１の特徴点情報の構成の一例を示す表である。
【図５】画像処理部１２ｂの構成の一例を示すブロック図である。
【図６】第１状態における自車両と接近物体の位置関係の一例を示す平面図である。
【図７】第１状態におけるオプティカルフローの一例を示す概念図である。
【図８】第２状態における映像データとオプティカルフローの一例を示す概念図である。
【図９】第３状態における自車両と接近物体の位置関係の一例を示す平面図である。
【図１０】第３状態におけるオプティカルフローの一例を示す概念図である。
【図１１】第４状態における自車両と接近物体の位置関係の一例を示す平面図である。
【図１２】第５状態における映像データとオプティカルフローの一例を示す概念図である。
【図１３】第５状態における映像データと旋回フローの一例を示す概念図である。
【図１４】第５状態における映像データと水平残差フローの一例を示す概念図である。
【図１５】第６状態における映像データとオプティカルフローの一例を示す概念図である。
【図１６】第６状態における映像データとオプティカルフローの垂直成分の一例を示す概念図である。
【図１７】第６状態における映像データと縦揺れフローの一例を示す概念図である。
【図１８】第６状態における映像データと垂直残差フローの一例を示す概念図である。
【図１９】本発明が適用されるコンピュータシステムの一例を示す図である。
【符号の説明】
【００９６】
１１ カメラ、１２ａ，１２ｂ 画像処理部、１４ 表示部、１６ 記憶部、１７ 角速度センサ、１８ 車速センサ、２１ 特徴点抽出部、２２ オプティカルフロー算出部、２３ 特徴点情報記録部、３１ 縦揺れフロー算出部、３２ 縦揺れ補正部、３３ａ，３３ｂ 接近物体判定部、３４ 映像取得部、３５ 車両状態取得部、３６ 映像合成部、４１ 旋回フロー算出部、４２ 旋回補正部。
【特許請求の範囲】
【請求項１】
接近物体の検出を行う接近物体検出装置であって、
撮影された第１画像と前記第１画像より前に撮影された第２画像とを取得する画像取得部と、
前記画像取得部により取得された前記第１画像及び前記第２画像に基づいて、前記第２画像内の第２点に対応する前記第１画像内の第１点を検索する検索部と、
前記検索部により検索された前記第２点から前記第１点へのオプティカルフローを算出するオプティカルフロー算出部と、
前記オプティカルフロー算出部により算出された前記第２点から前記第１点へのオプティカルフローの鉛直成分に基づいて、該第１点が接近物体を示すか否かを判定する判定部と、
を備える接近物体検出装置。
【請求項２】
前記判定部は、前記オプティカルフロー算出部により算出された前記第１点へのオプティカルフローの鉛直成分の大きさに基づいて、該第１点が接近物体を示すか否かを判定する、
請求項１に記載の接近物体検出装置。
【請求項３】
前記画像取得部は更に、前記第２画像より前に撮影された第３画像を取得し、
前記検索部は更に、前記画像取得部により取得された前記第３画像及び前記第１画像及び前記第２画像に基づいて、前記第３画像内の第３点に対応する前記第１画像内の第１点を検索し、
前記オプティカルフロー算出部は、前記検索部により検索された前記第３点から前記第１点へのオプティカルフローを算出し、
前記判定部は、前記オプティカルフロー算出部により算出された前記第２点から前記第１点へのオプティカルフローの鉛直成分の大きさが所定の鉛直成分閾値より小さい場合、前記第３点から前記第１点へのオプティカルフローの鉛直成分に基づいて、該第１点が接近物体を示すか否かを判定する、
請求項２に記載の接近物体検出装置。
【請求項４】
前記接近物体検出装置の鉛直方向の運動に関する第１測定値を取得する測定値取得部と、
前記測定値取得部により取得された前記第１測定値に基づいて、鉛直方向の運動に起因する前記オプティカルフローの成分である第１成分を算出する運動成分算出部と、
前記運動成分算出部により算出された第１成分を、前記オプティカルフローの鉛直成分から減算することにより前記オプティカルフローの鉛直成分を補正するオプティカルフロー補正部と、
を更に備え、
前記判定部は、前記オプティカルフロー補正部により補正された前記第１点へのオプティカルフローの鉛直成分に基づいて、該第１点が接近物体を示すか否かを判定する、
請求項１乃至請求項３のいずれかに記載の接近物体検出装置。
【請求項５】
前記測定値取得部は更に、前記接近物体検出装置の水平方向の運動に関する第２測定値を取得し、
前記運動成分算出部は更に、前記測定値取得部により取得された前記第２測定値に基づいて、水平方向の運動に起因する前記オプティカルフローの成分である第２成分を算出し、
前記オプティカルフロー補正部は更に、前記運動成分算出部により算出された第２成分を、前記オプティカルフローの水平成分から減算することにより前記オプティカルフローの水平成分を補正し、
前記判定部は、前記オプティカルフロー補正部により補正された前記第１点へのオプティカルフローの鉛直成分及び水平成分に基づいて、該第１点が接近物体を示すか否かを判定する、
請求項４に記載の接近物体検出装置。
【請求項６】
接近物体の検出をコンピュータに実行させる接近物体検出プログラムであって、
撮影された第１画像と前記第１画像より前に撮影された第２画像とを取得し、
取得された前記第１画像及び前記第２画像に基づいて、前記第２画像内の第２点に対応する前記第１画像内の第１点を検索し、
検索された前記第２点から前記第１点へのオプティカルフローを算出し、
算出された前記第２点から前記第１点へのオプティカルフローの鉛直成分に基づいて、該第１点が接近物体を示すか否かを判定する、
ことをコンピュータに実行させる接近物体検出プログラム。
【請求項７】
接近物体の検出を行う接近物体検出方法であって、
撮影された第１画像と前記第１画像より前に撮影された第２画像とを取得し、
取得された前記第１画像及び前記第２画像に基づいて、前記第２画像内の第２点に対応する前記第１画像内の第１点を検索し、
検索された前記第２点から前記第１点へのオプティカルフローを算出し、
算出された前記第２点から前記第１点へのオプティカルフローの鉛直成分に基づいて、該第１点が接近物体を示すか否かを判定する、
ことを行う接近物体検出方法。
【請求項１】
接近物体の検出を行う接近物体検出装置であって、
撮影された第１画像と前記第１画像より前に撮影された第２画像とを取得する画像取得部と、
前記画像取得部により取得された前記第１画像及び前記第２画像に基づいて、前記第２画像内の第２点に対応する前記第１画像内の第１点を検索する検索部と、
前記検索部により検索された前記第２点から前記第１点へのオプティカルフローを算出するオプティカルフロー算出部と、
前記オプティカルフロー算出部により算出された前記第２点から前記第１点へのオプティカルフローの鉛直成分に基づいて、該第１点が接近物体を示すか否かを判定する判定部と、
を備える接近物体検出装置。
【請求項２】
前記判定部は、前記オプティカルフロー算出部により算出された前記第１点へのオプティカルフローの鉛直成分の大きさに基づいて、該第１点が接近物体を示すか否かを判定する、
請求項１に記載の接近物体検出装置。
【請求項３】
前記画像取得部は更に、前記第２画像より前に撮影された第３画像を取得し、
前記検索部は更に、前記画像取得部により取得された前記第３画像及び前記第１画像及び前記第２画像に基づいて、前記第３画像内の第３点に対応する前記第１画像内の第１点を検索し、
前記オプティカルフロー算出部は、前記検索部により検索された前記第３点から前記第１点へのオプティカルフローを算出し、
前記判定部は、前記オプティカルフロー算出部により算出された前記第２点から前記第１点へのオプティカルフローの鉛直成分の大きさが所定の鉛直成分閾値より小さい場合、前記第３点から前記第１点へのオプティカルフローの鉛直成分に基づいて、該第１点が接近物体を示すか否かを判定する、
請求項２に記載の接近物体検出装置。
【請求項４】
前記接近物体検出装置の鉛直方向の運動に関する第１測定値を取得する測定値取得部と、
前記測定値取得部により取得された前記第１測定値に基づいて、鉛直方向の運動に起因する前記オプティカルフローの成分である第１成分を算出する運動成分算出部と、
前記運動成分算出部により算出された第１成分を、前記オプティカルフローの鉛直成分から減算することにより前記オプティカルフローの鉛直成分を補正するオプティカルフロー補正部と、
を更に備え、
前記判定部は、前記オプティカルフロー補正部により補正された前記第１点へのオプティカルフローの鉛直成分に基づいて、該第１点が接近物体を示すか否かを判定する、
請求項１乃至請求項３のいずれかに記載の接近物体検出装置。
【請求項５】
前記測定値取得部は更に、前記接近物体検出装置の水平方向の運動に関する第２測定値を取得し、
前記運動成分算出部は更に、前記測定値取得部により取得された前記第２測定値に基づいて、水平方向の運動に起因する前記オプティカルフローの成分である第２成分を算出し、
前記オプティカルフロー補正部は更に、前記運動成分算出部により算出された第２成分を、前記オプティカルフローの水平成分から減算することにより前記オプティカルフローの水平成分を補正し、
前記判定部は、前記オプティカルフロー補正部により補正された前記第１点へのオプティカルフローの鉛直成分及び水平成分に基づいて、該第１点が接近物体を示すか否かを判定する、
請求項４に記載の接近物体検出装置。
【請求項６】
接近物体の検出をコンピュータに実行させる接近物体検出プログラムであって、
撮影された第１画像と前記第１画像より前に撮影された第２画像とを取得し、
取得された前記第１画像及び前記第２画像に基づいて、前記第２画像内の第２点に対応する前記第１画像内の第１点を検索し、
検索された前記第２点から前記第１点へのオプティカルフローを算出し、
算出された前記第２点から前記第１点へのオプティカルフローの鉛直成分に基づいて、該第１点が接近物体を示すか否かを判定する、
ことをコンピュータに実行させる接近物体検出プログラム。
【請求項７】
接近物体の検出を行う接近物体検出方法であって、
撮影された第１画像と前記第１画像より前に撮影された第２画像とを取得し、
取得された前記第１画像及び前記第２画像に基づいて、前記第２画像内の第２点に対応する前記第１画像内の第１点を検索し、
検索された前記第２点から前記第１点へのオプティカルフローを算出し、
算出された前記第２点から前記第１点へのオプティカルフローの鉛直成分に基づいて、該第１点が接近物体を示すか否かを判定する、
ことを行う接近物体検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１０−１２８８６９（Ｐ２０１０−１２８８６９Ａ）
【公開日】平成２２年６月１０日（２０１０．６．１０）
【国際特許分類】
【出願番号】特願２００８−３０３９４８（Ｐ２００８−３０３９４８）
【出願日】平成２０年１１月２８日（２００８．１１．２８）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２２年６月１０日（２０１０．６．１０）
【国際特許分類】
【出願日】平成２０年１１月２８日（２００８．１１．２８）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]