動画像処理装置、動画像処理システムおよびナビゲーション装置
【課題】車載カメラで撮像された画像からオプティカルフローを検出する場合、検出精度が十分でなかった。
【解決手段】動画像処理装置１２０は、移動体に搭載された撮像素子で撮像された動画像からオプティカルフローを検出する。オプティカルフロー演算部２４は、動画像に含まれるフレームを複数の領域に分割し、領域ごとに異なる条件でオプティカルフローをそれぞれ算出する。パラメータ決定部２３は、移動体の状態に応じて、分割の態様および条件の少なくとも一方を適応的に変化させる。
【解決手段】動画像処理装置１２０は、移動体に搭載された撮像素子で撮像された動画像からオプティカルフローを検出する。オプティカルフロー演算部２４は、動画像に含まれるフレームを複数の領域に分割し、領域ごとに異なる条件でオプティカルフローをそれぞれ算出する。パラメータ決定部２３は、移動体の状態に応じて、分割の態様および条件の少なくとも一方を適応的に変化させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像内から衝突する可能性のある対象を検出する動画像処理装置、動画像処理システムおよびナビゲーション装置に関する。
【背景技術】
【０００２】
近年、自動車の安全技術が発展してきている。安全技術の一つとして、車両の前方または後方の画像を撮像するカメラを車両に搭載し、そのカメラで撮像された時間方向に前後するフレーム同士を比較してオプティカルフローを検出することにより、画像内から衝突する可能性のある対象を抽出する技術が提案されている。
【０００３】
特許文献１は、車速に応じて特定されたフレーム領域について、オプティカルフローを検出する技術を開示する。
【特許文献１】特開２００６−１７８６５２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
車載カメラで撮像された画像からオプティカルフローを検出する場合、参照フレームを最適に設定することが難しく、車両から近距離に位置する低速移動している対象を正しく検出できなかったり、車両から遠距離に位置する対象を検出できないことがあった。たとえば、高速走行中に近距離に位置する歩行者などを検出するとき、その移動方向や移動速度を正しく検出できないことがあった。また、低速走行中に遠距離に位置する歩行者などを検出できない場合があった。
【０００５】
本発明はこうした状況に鑑みなされたものであり、その目的は、動画像内から検出対象を精度よく検出することができる動画像処理装置、動画像処理システムおよびナビゲーション装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明のある態様は、移動体に搭載された撮像素子で撮像された動画像からオプティカルフローを検出する動画像処理装置であって、動画像に含まれるフレームを複数の領域に分割し、領域ごとに異なる条件でオプティカルフローをそれぞれ算出する算出部と、移動体の状態に応じて、分割の態様および条件の少なくとも一方を適応的に変化させる。
【０００７】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００８】
本発明によれば、動画像内から検出対象を精度よく検出することができる。
【発明を実施するための最良の形態】
【０００９】
まず、本発明の実施の形態を詳細に説明する前にその概要を説明する。実施の形態は、車両の前方を撮像するカメラを搭載し、そのカメラで撮像した動画像を処理して、歩行者、障害物および前方車両などをオプティカルフローとして検出するものである。そのオプティカルフローをもとに、それらの対象物との衝突危険性をドライバーに報知することが可能となる。ここで、オプティカルフローとは、画像内のある点や図形がつぎの瞬間にどのような方向へ、どの程度の距離、移動するかを示すベクトルである。
【００１０】
図１は、自車速度と安全車間距離との関係Ｌ１、および前の車両が急ブレーキをかけたときに縮まる車間距離Ｌ２を示す図である。図１の縦軸は車間距離（ｍ）を示し、横軸は自車速度（ｋｍ／ｈ）を示す。第１ラインＬ１は自車速度に対応する安全車間距離を示す。図１にて第１ラインＬ１より上の領域は、速度に対して車間距離が十分とられており安全性が高い領域である。第２ラインＬ２は、前の車両が急ブレーキをかけたときに、ドライバーが危険を察知し、ブレーキをかけたときに縮まる車間距離を示す。図１にて第２ラインＬ２より下の領域は、ブレーキをかけても間に合わず、衝突する可能性が極めて高い領域である。第１ラインＬ１と第２ラインＬ２との間の領域は、ドライバーが適切に対処すれば、衝突を回避可能な領域である。
【００１１】
したがって、第２ラインＬ２より下の領域にある距離に、前の車両、歩行者および障害物などの対象を検出しても基本的に手遅れである。反対に、第１ラインＬ１よりはるか上の領域にある距離にそのような対象を検出した場合、比較的余裕がある。第１ラインＬ１の近傍の領域にある距離、および第１ラインＬ１と第２ラインＬ２との間の領域にある距離にそのような対象を検出した場合、早期にドライバーに認識させれば衝突を回避することができる。したがって、最も緊急性が高く、最も検出精度が必要な場合といえる。以下、この知見を利用して実施の形態について説明する。
【００１２】
まず、実施の形態１の概要について説明する。実施の形態１は、オプティカルフローを検出する際、車両の速度に応じて、対象フレームと参照フレームとのフレーム間隔を適応的に切り換えるものである。具体的には、車両の速度が現在の速度より遅くなるとそのフレーム間隔を狭くし、速度が速くなるとそのフレーム間隔を広くする。なお、カメラは車両に固定されるため、車両の速度は、カメラの移動速度に対応する。
【００１３】
図２は、対象フレームと参照フレームとのフレーム間隔を模式的に示した図である。図２の左側に示すように、通常、対象フレームは、時間方向に隣合うフレームを参照フレームとする。すなわち、フレーム間隔Ｔ１は一に固定されている。これに対し、図２の右側に示すように、本実施の形態では、対象フレームと参照フレームとのフレーム間隔Ｔ１、Ｔ２、Ｔ３が一の場合もあり、二の場合もあり、三の場合もある。もちろん、それ以上の場合もある。
【００１４】
図３は、フレーム間隔の決定基準を説明するための図である。図３は、車両に搭載された後述する図４の撮像素子１２で撮像された画像を示す。図１で示したように、車両の速度に応じて、対象物と衝突せずに止まれる距離および衝突を回避できない距離が異なってくる。実施の形態１は、前者と後者の距離を区分するライン付近の距離にある対象を精度よく検出できるよう処理する。
【００１５】
実施の形態１は、車両が停止または低速時に、領域Ａのオプティカルフローが最も精度よく検出できるよう、上記フレーム間隔を狭く設定する。中速時に、領域Ｂのオプティカルフローが最も精度よく検出できるよう、上記フレーム間隔を中程度に設定する。高速時に、領域Ｃのオプティカルフローが最も精度よく検出できるよう、上記フレーム間隔を広く設定する。ここで、低速、中速および高速の区分は、たとえば、０〜４０ｋｍ／ｈ（低速）、４０〜８０ｋｍ／ｈ（中速）、８０ｋｍ／ｈ＜（高速）のように設定する。それぞれの区分ごとにフレーム間隔を設定しておき、取得した速度が区分を跨ぐとき、フレーム間隔を遷移先の区分のフレーム間隔に切り換える。
【００１６】
図３に示すように、速度が速くなるほど、より前方を高精度に検出するようフレーム間隔を広くする方向に設定する。すなわち、速度に応じて、注目領域が領域Ａ、領域Ｂ、領域Ｃと切り換わるようよう設定する。より具体的には、車両の速度が速くなると、注目領域の位置をフレーム内にて遠距離の画像を写す領域の方向に移動させ、速度が遅くなると、注目領域の位置を近距離の画像を写す領域の方向に移動させる。以下、この制御を具体的に実行するための構成および動作について説明する。
【００１７】
図４は、実施の形態１の実施例１に係る動画像処理システム５００の構成を示す。動画像処理システム５００は、撮像部１０および動画像処理装置１００を備える。撮像部１０は、撮像素子１２および信号処理部１４を有する。動画像処理装置１００は、フレームバッファ１６、参照フレーム選択部１８、ルックアップテーブル１９、オプティカルフロー検出部２０および後処理部２６を有する。オプティカルフロー検出部２０は、特徴点抽出部２２およびオプティカルフロー演算部２４を含む。動画像処理装置１００の構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【００１８】
撮像部１０は、車両の前方に搭載され、車両前方の動画像を撮像して動画像処理装置１００に出力する。撮像素子１２は、ＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどが用いられ、入射光を電気信号に変換し、信号処理部１４に出力する。
【００１９】
信号処理部１４は、撮像素子１２から入力されるアナログ信号をデジタル信号に変換する。また、平滑化フィルタを備え、動画像処理装置１００に対して出力する画像データに対して平滑化処理を施してもよい。また、その他のノイズ除去処理を施してもよい。
【００２０】
動画像処理装置１００は、撮像部１０から入力される画像データからオプティカルフローを検出する。フレームバッファ１６は、ｍ（ｍは自然数）フレーム分、格納する領域を持ち、撮像部１０から入力される画像データを一時格納する。領域が溢れた場合、先に入力されたフレームから順番に破棄する。フレームバッファ１６に格納された画像フレームは、オプティカルフロー検出部２０に順番に出力される。
【００２１】
参照フレーム選択部１８は、車両内の速度センサから速度情報を取得し、ルックアップテーブル１９を参照して、取得した速度情報に関連付けられたフレーム間隔を特定する。そのフレーム間隔をもとに、対象フレームＩ（ｔ）の参照フレームとすべき、ｎフレーム過去のフレームＩ（ｔ−ｎＴ）またはｎフレーム未来のフレームＩ（ｔ＋ｎＴ）を特定し、フレームバッファ１６から取得する。なお、Ｔはフレーム間隔を示し、ｎは（１≦ｎ≦ｍ−１）の範囲の値をとる整数である。
【００２２】
ルックアップテーブル１９は、速度情報とフレーム間隔を関連付けて管理する。速度情報とフレーム間隔との関係は、上述した知見をもとに、実験やシミュレーションにより決定された関係に設定される。
【００２３】
オプティカルフロー検出部２０は、対象フレームＩ（ｔ）と参照フレームＩ（ｔ±ｎＴ）とを用いて、オプティカルフローを検出する。オプティカルフローを検出するアルゴリズムには勾配法やブロックマッチング法などがあるが、本実施の形態ではいずれかに限定されるものではなく、どのアルゴリズムを用いてもよい。以下の説明では、勾配法の一つであるピラミッド型ＬＫ（Lucas-kanade）法を用いる。ＬＫ法は、同一物体の局所領域内ではオプティカルフローが一定になると仮定する空間的局所最適化法の一つである。
【００２４】
特徴点抽出部２２は、フレームバッファ１６から入力された対象フレームＩ（ｔ）内からＬＫ法にもとづき、濃淡の変化が大きい特徴点を所定の数、抽出する。ここでは、解像度の異なる複数の階層で行う。特徴点抽出部２２は、抽出した特徴点の座標と輝度情報をオプティカルフロー演算部２４に出力する。
【００２５】
オプティカルフロー演算部２４は、フレームバッファ１６から入力された対象フレームＩ（ｔ）、特徴点抽出部２２から入力された特徴点の座標と輝度情報、および参照フレーム選択部１８から入力された参照フレームＩ（ｔ±ｎＴ）をもとに、オプティカルフローを算出する。より具体的には、対象フレームＩ（ｔ）内の特徴点に対応する点を、参照フレームＩ（ｔ±ｎＴ）内で探索する。
【００２６】
後処理部２６は、オプティカルフロー検出部２０から出力されたオプティカルフローに対して所定の後処理を施す。たとえば、入力されるオプティカルフローから、撮像部１０自体の移動による成分を差し引く処理を行ってもよい。また、ノイズを除去するため、入力されるオプティカルフローの長さを所定の閾値と比較して、有効とすべきオプティカルフローの長さを制限する処理を行ってもよい。また、オプティカルフロー検出部２０から出力されたオプティカルフローの長さの平均値を算出してもよい。ノイズ除去用の閾値は、あらかじめ設定された値でもよいし、当該平均値またはその平均値を調整した値であってもよい。
【００２７】
図示しない任意のユーザインタフェースは、後処理部２６から出力されたオプティカルフローををもとに危険な対象の出現をユーザに認識させる。たとえば、表示部にオプティカルフローを単純に表示してもよいし、車両との距離に応じて定められる危険とされる長さのオプティカルフローのみを表示してもよい。また、その危険とされる長さのオプティカルフローが発生した場合、スピーカから警告音を発してもよい。さらに、車両の制動系に制御信号を出力してもよい。
【００２８】
以下、実施の形態１に係る実施例１について説明する。実施例１は、オプティカルフローの検出をすべてのフレームについて行う例である。
図５は、実施の形態１の実施例１に係る対象フレームと参照フレームとの関係を模式的に示す図である。図５では、対象フレームと参照フレームとのフレーム間隔Ｔ３ａ、Ｔ３ｂ、Ｔ３ｃが三に設定されている。ここでは、オプティカルフローの算出がすべてのフレームについて行われている。
【００２９】
図６は、実施の形態１の実施例１に係る動画像処理システム５００で検出されるオプティカルフローの一例を示す図である。図６中、矢印はオプティカルフローを示す。なお、簡略化のため各対象につき一本、描いている。実際は、各対象につき複数本、検出され、対象の回りに放射状に検出される場合もある。
【００３０】
図６（ａ）は、実施の形態１の実施例１に係る動画像処理システム５００で検出される停止時または低速時のオプティカルフローを示す。領域Ａ内の人物のオプティカルフローが検出され、領域Ｂおよび領域Ｃ内の人物のオプティカルフローは検出されない。これは、低速時には対象フレームと参照フレームとの間隔が狭く設定されるため、近距離に位置する対象の動きが精度よく検出されるためである。
【００３１】
図６（ｂ）は、実施の形態１の実施例１に係る動画像処理システム５００で検出される中速時のオプティカルフローを示す。領域Ａおよび領域Ｂ内の人物のオプティカルフローが検出され、領域Ｃ内の人物のオプティカルフローは検出されない。これは、中速時には対象フレームと参照フレームとの間隔が中程度に設定されるため、中距離に位置する対象の動きが精度よく検出されるためである。図６（ｂ）における領域Ａ内の人物のオプティカルフローの長さが、図６（ａ）より長くなっている。また、方向もずれている。これは、図６（ｂ）では、領域Ａ内の検出精度が図６（ａ）より低下したことを示す。
【００３２】
図６（ｃ）は、実施の形態１の実施例１に係る動画像処理システム５００で検出される高速時のオプティカルフローを示す。領域Ａ、領域Ｂおよび領域Ｃ内の人物のオプティカルフローが検出される。これは、高速時には対象フレームと参照フレームとの間隔が広く設定されるため、遠距離に位置する対象も検出されるためである。図６（ｃ）における領域Ａおよび領域Ｂ内の人物のオプティカルフローの長さが、図６（ｂ）よりさらに長くなっている。また、方向もさらにずれている。これは、図６（ｃ）では、領域Ａおよび領域Ｂ内の検出精度が図６（ｂ）より低下したことを示す。
【００３３】
したがって、中速時や高速時に、近距離に位置する対象のオプティカルフローに現れるノイズ成分を低減するために、所定の長さを超えるオプティカルフローをノイズとして無効にしてもよい。上述した後処理部２６がこの処理を行うことができる。
【００３４】
図７は、実施の形態１の実施例１に係る動画像処理装置１００の動作を示すフローチャートである。まず、フレームバッファ１６は、撮像部１０から入力された画像データを格納する（Ｓ１０）。本動画像処理装置１００によりオプティカルフロー検出処理が終了しない場合（Ｓ１２のＮ）、参照フレーム選択部１８は、車両の現在の速度情報を取得する（Ｓ１４）。参照フレーム選択部１８は、ルックアップテーブル１９を参照して、当該速度情報にもとづく参照フレームＩ（ｔ±ｎＴ）を決定する（Ｓ１６）。
【００３５】
特徴点抽出部２２は、対象フレームＩ（ｔ）の特徴点を所定の数、抽出する（Ｓ１８）。オプティカルフロー演算部２４は、当該対象フレームＩ（ｔ）、そのフレームから抽出された特徴点、および決定された参照フレームＩ（ｔ±ｎＴ）にもとづいて、オプティカルフローを算出する（Ｓ２０）。つぎに、対象フレームＩ（ｔ）がインクリメントされる（Ｓ２２）。そして、ステップＳ１２に遷移する。オプティカルフロー検出処理が終了するまで（Ｓ１２のＹ）、ステップＳ１４からステップＳ２２までの処理が繰り返される。
【００３６】
以上説明したように実施の形態１の実施例１によれば、車両の速度に応じて、対象フレームと参照フレームとのフレーム間隔を適応的に制御することにより、動画像内から検出対象を精度よく検出することができる。
【００３７】
たとえば、上述したＬＫ法を用いてオプティカルフローを検出する場合、約２０ｍ先で水平方向速度が１５ｋｍ／ｈで移動している対象を検出することができるが、上述した図１の知見にしたがえば、実際に４５ｋｍ／ｈ以上で走行中の車両が危険物を発見して安全に停止することが不可能である。
【００３８】
これに対し、本実施の形態では、対象フレームと参照フレームとのフレーム間隔を適応的に切り換えることにより、近距離に位置する低速で移動する対象も、遠距離に位置する高速で移動する対象も精度よく検出することができる。すなわち、近距離に位置する低速で移動する対象は、フレーム間隔を狭くすることにより、その動きを精度よく検出することができる。このフレーム間隔で、遠距離に位置する対象のオプティカルフローを検出しようとしても、その動きを検出することが難しい。反対に、遠距離に位置する対象は、フレーム間隔を広くすることにより、その動きを精度よく検出することができる。このフレーム間隔で、近距離に位置する対象のオプティカルフローを検出すると、検出処理が粗くなってしまい、その検出結果はノイジーなものとなる。
【００３９】
また、オプティカルフロー検出処理が最適化する結果、処理量を軽減することができ、消費電力も低減することができる。さらに、オプティカルフローの長さが所定の閾値を超えるとき、そのオプティカルフローを無効にする処理を加えれば、ノイズをさらに低減することができる。
【００４０】
以下、実施の形態１の実施例２について説明する。実施例２は、撮像素子１２で撮像された動画像に含まれるすべてのフレームに対してオプティカルフローの検出を行うのではなく、間欠的に行う例である。
【００４１】
図８は、実施の形態１の実施例２に係る対象フレームと参照フレームとの関係を模式的に示す図である。図８では、対象フレームと参照フレームとのフレーム間隔Ｔ３ａ、Ｔ３ｄ、Ｔ３ｇが三に設定されている。オプティカルフローの算出が三フレームおきに行われている。
【００４２】
図９は、実施の形態１の実施例２に係る動画像処理システム５１０の構成を示す。実施例２に係る動画像処理システム５１０の構成は、実施例１に係る動画像処理システム５００の構成と基本的に同様である。以下、相違点について説明する。
【００４３】
実施例２に係る動画像処理システム５１０の構成は、実施例１に係る動画像処理システム５００の構成に対象フレーム選択部２１が追加された構成である。対象フレーム選択部２１は、フレームバッファ１６内のフレームを間引いて、オプティカルフロー検出部２０に出力する。たとえば、Ｎ（Ｎは整数）枚に一枚出力する。Ｎは、設計者が実験やシミュレーションにより設定される値である。対象フレーム選択部２１で選択されなかったフレームは破棄されてもよい。
【００４４】
参照フレーム選択部１８は、対象フレーム選択部２１に連動して動作する。すなわち、対象フレーム選択部２１で選択された対象フレームの参照フレームのみを特定して、フレームバッファ１６から取得すればよい。
【００４５】
図１０は、実施の形態１の実施例２に係る動画像処理装置１１０の動作を示すフローチャートである。図１０に示すフローチャートは、図７に示したフローチャートと基本的に同様である。以下、相違点について説明する。ステップＳ１２にて終了判定を行った後、対象フレーム選択部２１は、対象フレームＩ（ｔ）の順番がＮの倍数に該当するか否かを判定する（Ｓ１３）。Ｎの倍数に該当する場合（Ｓ１３のＹ）、ステップＳ１４に遷移し、その対象フレームＩ（ｔ）のオプティカルフローを算出する。Ｎの倍数に該当しない場合（Ｓ１３のＮ）、その対象フレームＩ（ｔ）のオプティカルフローを算出せずに、ステップＳ２２に遷移し、対象フレームＩ（ｔ）をインクリメントする（Ｓ２２）。
【００４６】
以上説明したように実施の形態１の実施例２によれば、実施例１と同様の効果を奏する。さらに、オプティカルフローの検出処理をすべてのフレームに対して行わず、間欠的に行うことにより、演算量を削減することができる。Ｎ枚に一枚、処理する場合、演算量を約１／Ｎに削減することができる。また、Ｎの値を好適に設定すれば、検出精度に与える影響も限定的である。
【００４７】
たとえば、車両速度が６０ｋｍ／ｈ、入力画像のフレームレートが３０ｆｐｓ、Ｎ＝２の場合、オプティカルフローの検出処理に必要な時間に車両が進む距離は、２×６０×１０＾３÷３６００÷３０≒１．１（ｍ）となり、影響は軽微である。
【００４８】
以下、実施の形態１の実施例３について説明する。実施例３は、通常、参照フレームを対象フレームと時間的に連続するフレームに設定し、Ｎ枚に一枚の割合で、対象フレームと時間的に連続しないフレーム、すなわち二フレーム以上時間的に離れたフレームに設定するものである。
【００４９】
実施の形態１の実施例３に係る動画像処理システムの構成は、実施例１に係る動画像処理システム５００の構成と基本的に同様である。参照フレーム選択部１８は、固定されたフレーム間隔の参照フレームを選択することを基本動作とし、所定の期間ごとにそのフレーム間隔より広いフレーム間隔の参照フレームを選択する。
【００５０】
たとえば、基本動作として対象フレームＩ（ｔ）の参照フレームを、一フレーム過去のフレームＩ（ｔ−Ｔ）または一フレーム未来のフレームＩ（ｔ＋Ｔ）に決定する。Ｎ枚に一枚、ｎ（１を除く）フレーム過去のフレームＩ（ｔ−ｎＴ）またはｎフレーム未来のフレームＩ（ｔ＋ｎＴ）に決定する。Ｎの値およびフレーム間隔数ｎの値の少なくとも一方は、ルックアップテーブル１９を参照して、入力される速度情報に関連付けられた値に設定してもよい。
【００５１】
なお、後処理部２６がオプティカルフローの長さの平均値を算出する場合、ｎフレーム過去のフレームＩ（ｔ−ｎＴ）またはｎフレーム未来のフレームＩ（ｔ＋ｎＴ）を参照フレームとするオプティカルフローの長さは、上記平均値算出の基礎から外すことが望ましい。
【００５２】
図１１は、実施の形態１の実施例３に係る動画像処理装置１００の動作を示すフローチャートである。図１１に示すフローチャートは、図７に示したフローチャートと基本的に同様である。以下、相違点について説明する。ステップＳ１６にて参照フレームの決定処理の前に、参照フレーム選択部１８は、対象フレームＩ（ｔ）の順番がＮの倍数に該当するか否かを判定する（Ｓ１５）。Ｎの倍数に該当する場合（Ｓ１５のＹ）、参照フレーム選択部１８は、対象フレームＩ（ｔ）のｎ枚前のフレームを参照フレームＩ（ｔ−ｎＴ）に決定する（Ｓ１６ｂ）。Ｎの倍数に該当しない場合（Ｓ１５のＮ）、参照フレーム選択部１８は、対象フレームＩ（ｔ）の一枚前のフレームを参照フレームＩ（ｔ−Ｔ）に決定する（Ｓ１６ａ）。以下、図７と同様に処理する。
【００５３】
以上説明したように実施の形態１の実施例３によれば、実施例１と同様の効果を奏する。さらに、フレーム間隔を大きくして検出するフレームと、連続フレームで検出するフレームを混在させることにより、中距離から遠距離の対象におけるオプティカルフローの検出精度を高めるとともに、近距離の対象のオプティカルフローの検出を低ノイズで検出することができる。
【００５４】
つぎに、実施の形態２について説明する。まず、実施の形態２の概要について説明する。実施の形態２は、オプティカルフローを検出する際、車両の速度や操舵角に応じて異なる態様で、画像を複数の領域に分割するものである。また、領域ごとにそれぞれ設定された条件でオプティカルフローを算出する。
【００５５】
図１２は、画像を複数の領域に分割する態様を模式的に示した図である。上述したように、オプティカルフローは時間方向に前後するフレームを用いて算出される。図１２の左側は、複数の領域に分割されない、通常の態様を示す。図１２の右側は、領域Ｄと領域Ｗの二つの領域に分割された態様を示す。この分割態様では領域Ｄが注目領域となり、残りの領域Ｗが非注目領域となる。注目領域Ｄと非注目領域Ｗについて、それぞれオプティカルフローを検出する。分割の態様、ここでは注目領域Ｄの位置および大きさは、車両の速度や操舵角に応じて、適応的に切り換えられる。注目領域Ｄは、図３および図６に示した領域Ａ、領域Ｂまたは領域Ｃに相当し、主な検出領域として、車両の速度に応じて変化する領域である。すなわち、高精度な検出が要求される領域である。また、フレーム間隔ＴＤ、ＴＷも、車両の速度に応じて、適応的に切り換えられる。領域Ｄと領域Ｗとでフレーム間隔ＴＤ、ＴＷがそれぞれ異なってもよい。
【００５６】
図１３は、画像の分割態様の決定基準を説明するための図である。図１３の左上の画像は、車両の速度に応じて、注目領域Ｄの前後方向の位置を決定する様子を示す。すなわち、速度が速い場合、注目領域Ｄを画像内の上方に移動させ、遅い場合、下方に移動させる。それに応じて、注目領域Ｄの大きさを制御してもよい。すなわち、速度が速い場合、注目領域Ｄを画像内の上方に移動させつつ、注目領域Ｄの大きさを小さくする。反対に、速度が遅い場合、注目領域Ｄを画像内の下方に移動させつつ、注目領域Ｄの大きさを大きくする。この注目領域Ｄの決定方法は、図３および図６で説明した知見に基づく。
【００５７】
図１３の右上の画像は、操舵角に応じて、注目領域Ｄの左右の位置を決定する様子を示す。ハンドルが右に切られた場合、注目領域Ｄを画像内の右方に移動させ、左に切られた場合、左方に移動させる。図１３の下の画像は、分離された注目領域Ｄおよび非注目領域Ｗを示す。注目領域Ｄおよび非注目領域Ｗは、オプティカルフローを算出するための各種パラメータが異なってもよい。当該パラメータには、対象フレームと参照フレームとのフレーム間隔、フレームの解像度、および算出されたオプティカルフローをノイズとして無効と判定するためのノイズ除去用の閾値のうち、少なくとも一つが含まれる。
【００５８】
図１４は、実施の形態２に係る動画像処理システム５２０の構成を示す。実施の形態２に係る動画像処理システム５２０の構成は、実施の形態１に係る動画像処理システム５００の構成と共通する部分がある。以下、相違する部分を中心に説明する。
【００５９】
まず、撮像部１０およびフレームバッファ１６の構成は、実施の形態１に係る動画像処理システム５００の構成と同様である。参照フレーム選択部１８は、車両内の車速センサから速度情報を取得し、ルックアップテーブル１９を参照して、取得した速度情報に関連付けられたフレーム間隔を特定する。その際、分割された領域ごとに異なるフレーム間隔を特定してもよい。なお、実施の形態２では、フレーム間隔を必ずしも適応的に制御する必要はなく、フレーム間隔は固定でもよい。
【００６０】
ルックアップテーブル１９は、速度情報および操舵角情報の少なくとも一方の車両状態と、以下のパラメータを関連付けて管理する。当該パラメータには、注目領域Ｄの位置、注目領域Ｄの大きさ、対象フレームと参照フレームとのフレーム間隔、オプティカルフローを算出する際の画像の解像度、および無効にすべきオプティカルフローを判定するための閾値のうち、少なくとも一つが含まれる。これらの関連付けは、上述した知見や以下に示す知見をもとに、実験やシミュレーションにより決定された関係に設定される。
【００６１】
注目領域Ｄのフレーム間隔、位置および大きさの決定基準については上述した。すなわち、車両の速度が速くなるほど、注目領域Ｄのフレーム間隔を大きくし、注目領域Ｄの位置を画像内の上方に移動させ、注目領域Ｄの大きさを小さくする。それに加えて、注目領域Ｄの上記閾値は、車両の速度が速くなるほど小さくする。これらは、注目領域Ｄで検出されるオプティカルフローの大きさが比較的小さい、すなわちノイズが少ないという性質にもとづく。なお、注目領域Ｄの解像度は、速度に関係なく固定でよい。
【００６２】
非注目領域Ｗのフレーム間隔は、速度に関係なく固定でよい。非注目領域Ｗの形状および大きさは、注目領域Ｄが分離された残りの領域であるため、注目領域Ｄの位置および大きさに応じて変化する。非注目領域Ｗの解像度は、速度が遅くなるほど高くする。非注目領域Ｗのノイズ除去用の閾値は、速度が速くなるほど大きくする。当該閾値は、ノイズを低減するため近距離ほど大きく設定すべきという知見にもとづく。速度が速くなると注目領域Ｄが画像内の上方に移動し、速度が遅くなると下方に移動するため、速度が速いとき近距離は非注目領域Ｗとなり、遅いとき近距離は注目領域Ｄとなる。
【００６３】
注目領域Ｄと非注目領域Ｗとの関係では、注目領域Ｄのフレーム間隔を非注目領域Ｗより大きくし、注目領域Ｄの解像度を非注目領域Ｗより高くし、注目領域Ｄのノイズ除去用の閾値を非注目領域Ｗより小さくする。これは、注目領域Ｄのほうが非注目領域Ｗより高精度にする必要があるためである。また、精度の低下を抑えつつ全体の演算量を低減するためである。
【００６４】
オプティカルフロー検出部２０は、特徴点抽出部２２、パラメータ決定部２３、第１オプティカルフロー演算部２４ａおよび第２オプティカルフロー演算部２４ｂを備える。オプティカルフロー演算部２４を二つ備えるが、これは領域を二つに分割することに対応し、三つ以上に分割する場合、三つ以上のオプティカルフロー演算部２４を設ける。
【００６５】
特徴点抽出部２２は、実施の形態１と同様である。パラメータ決定部２３は、車両内の速度センサおよび操舵角センサから、速度情報および操舵角情報を取得し、ルックアップテーブル１９を参照して、取得した速度情報および操舵角情報に関連付けられた各種パラメータを取得する。
【００６６】
注目領域Ｄの位置および大きさを取得した場合、第１オプティカルフロー演算部２４ａに設定し、それに対応した情報を第２オプティカルフロー演算部２４ｂに設定する。注目領域Ｄおよび非注目領域Ｗの解像度を取得した場合、第１オプティカルフロー演算部２４ａおよび第２オプティカルフロー演算部２４ｂに設定する。注目領域Ｄおよび非注目領域Ｗのノイズ除去用の閾値を取得した場合、第１閾値判定部２８ａおよび第２閾値判定部２８ｂに設定する。
【００６７】
第１オプティカルフロー演算部２４ａは、フレームバッファ１６から入力された対象フレームＩ（ｔ）、特徴点抽出部２２から入力された特徴点の座標と輝度、および参照フレーム選択部１８から入力された参照フレームＩ（ｔ±ｎＴ）をもとに、注目領域Ｄのオプティカルフローを算出する。第２オプティカルフロー演算部２４ｂは、同様に、非注目領域Ｗのオプティカルフローを算出する。第２オプティカルフロー演算部２４ｂは、解像度を下げる場合、単純に画素を間引くのではなく、近傍に位置する複数の画素の平均値を用いてもよい。
【００６８】
後処理部２６は、第１閾値判定部２８ａおよび第２閾値判定部２８ｂを含む。第１閾値判定部２８ａは、パラメータ決定部２３から設定された閾値と、第１オプティカルフロー演算部２４ａから入力されたオプティカルフローの大きさを比較し、当該閾値を超えるオプティカルフローを無効にする。第２閾値判定部２８ｂは、パラメータ決定部２３から設定された閾値と、第２オプティカルフロー演算部２４ｂから入力されたオプティカルフローの大きさを比較し、当該閾値を超えるオプティカルフローを無効にする。
【００６９】
図１５は、実施の形態２に係る動画像処理システム５２０で検出されるオプティカルフローの一例を示す図である。図１５（ａ）は、実施の形態２に係る動画像処理システム５２０で検出される停止時または低速時のオプティカルフローを示す。注目領域Ｄ内のオプティカルフローは、通常のパラメータを用いて算出される。非注目領域Ｗ内のオプティカルフローは、フレーム間隔を通常より広げて算出される。ノイズ除去用の閾値は、注目領域Ｄ内で大きく、非注目領域Ｗ内で小さく設定される。
【００７０】
図１５（ｂ）は、実施の形態２に係る動画像処理システム５２０で検出される中速時のオプティカルフローを示す。注目領域Ｄ内のオプティカルフローは、フレーム間隔を通常より広げて算出される。非注目領域Ｗ内のオプティカルフローは、解像度を低くして算出される。ノイズ除去用の閾値は、注目領域Ｄ内で小さく、非注目領域Ｗ内で大きく設定される。
【００７１】
図１５（ｃ）は、実施の形態２に係る動画像処理システム５２０で検出される高速時のオプティカルフローを示す。注目領域Ｄ内のオプティカルフローは、フレーム間隔を中速時よりさらに広げて算出される。非注目領域Ｗ内のオプティカルフローは、解像度を中速時よりさらに低くして算出される。ノイズ除去用の閾値は、注目領域Ｄ内で小さく、非注目領域Ｗ内で中速時よりさらに大きく設定される。
【００７２】
図１６は、実施の形態２に係る動画像処理装置１２０の動作を示すフローチャートである。図１６に示すフローチャートは、図７に示したフローチャートと基本的に同様である。以下、相違点について説明する。ステップＳ１８にて特徴点を抽出した後、またはそれと並行して、パラメータ決定部２３は、車両内の速度センサなどから、速度情報などを取得し、ルックアップテーブル１９を参照して、取得した速度情報などに関連付けられた各種パラメータを取得し、分割された領域ごとにパラメーメを決定する（Ｓ１９）。
【００７３】
第１オプティカルフロー演算部２４ａは、対象フレームＩ（ｔ）、そのフレームから抽出された特徴点、決定された参照フレームＩ（ｔ±ｎＴ）および決定されたパラメータにもとづいて、第１オプティカルフローを算出する（Ｓ２０ａ）。それと並行して、第２オプティカルフロー演算部２４ｂは、同様に、第２オプティカルフローを算出する（Ｓ２０ｂ）。以下、図７と同様に処理する。
【００７４】
以上説明したように実施の形態２によれば、実施の形態１と同様の効果を奏する。さらに、画像を複数の領域に分割し、領域ごとに最適なパラメータを設定することにより、精度を維持しつつ、演算量をさらに低減することができる。たとえば、非注目領域Ｗの解像度、すなわち処理対象の画素数を削減することにより、演算量を低減することができる。注目領域Ｄの解像度は下げないため、検出精度は維持される。
【００７５】
以上、本発明をいくつかの実施形態をもとに説明した。これらの実施形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００７６】
上述した実施の形態に係る動画像処理システム５００、５１０、５２０は、カーナビゲーションシステムと連携して使用することができる。
図１７は、実施の形態に係る動画像処理システムと連携したカーナビゲーションシステム７００の構成を示す図である。連携の態様として、動画像処理装置１００は、カーナビゲーション装置６００のユーザインタフェースを利用して、検出結果を外部に報知することができる。たとえば、動画像処理装置１００は、カーナビゲーション装置６００の表示部を用いてオプティカルフローを表示したり、スピーカから警告音を発することができる。また、動画像処理装置１００は、カーナビゲーション装置６００の筐体内に設置されてもよい。
【００７７】
また、動画像処理装置１００で行う処理を、カーナビゲーション装置６００に搭載されたプロセッサおよびメモリを用いて行ってもよい。この場合、動画像処理装置１００固有のハードウェア資源は必要なくなる。これらの態様によれば、普及率の高いカーナビゲーションシ装置のハードウェア資源を有効に活用して、オプティカルフローを検出することができる。
【００７８】
実施の形態では自動車を例に説明したが、移動体であれば、バイク、自転車、電車、船舶および飛行機などにも適用可能である。また、自動車の前方の画像を撮像する例を説明したが、後方や左右の画像を撮像する形態にも適用可能である。
【図面の簡単な説明】
【００７９】
【図１】自車速度と安全車間距離との関係、および前の車両が急ブレーキをかけたときに縮まる車間距離を示す図である。
【図２】対象フレームと参照フレームとのフレーム間隔を模式的に示した図である。
【図３】フレーム間隔の決定基準を説明するための図である。
【図４】実施の形態１の実施例１に係る動画像処理システムの構成を示す図である。
【図５】実施の形態１の実施例１に係る対象フレームと参照フレームとの関係を模式的に示す図である。
【図６】図６（ａ）は、実施の形態１の実施例１に係る動画像処理システムで検出される停止時または低速時のオプティカルフローを示す。図６（ｂ）は、実施の形態１の実施例１に係る動画像処理システムで検出される中速時のオプティカルフローを示す。図６（ｃ）は、実施の形態１の実施例１に係る動画像処理システムで検出される高速時のオプティカルフローを示す。
【図７】実施の形態１の実施例１に係る動画像処理装置の動作を示すフローチャートである。
【図８】実施の形態１の実施例２に係る対象フレームと参照フレームとの関係を模式的に示す図である。
【図９】実施の形態１の実施例２に係る動画像処理システムの構成を示す図である。
【図１０】実施の形態１の実施例２に係る動画像処理装置の動作を示すフローチャートである。
【図１１】実施の形態１の実施例３に係る動画像処理装置の動作を示すフローチャートである。
【図１２】画像を複数の領域に分割する態様を模式的に示した図である。
【図１３】画像の分割態様の決定基準を説明するための図である。
【図１４】実施の形態２に係る動画像処理システムの構成を示す図である。
【図１５】図１５（ａ）は、実施の形態２に係る動画像処理システムで検出される停止時または低速時のオプティカルフローを示す。図１５（ｂ）は、実施の形態２に係る動画像処理システムで検出される中速時のオプティカルフローを示す。図１５（ｃ）は、実施の形態２に係る動画像処理システムで検出される高速時のオプティカルフローを示す。
【図１６】実施の形態２に係る動画像処理装置の動作を示すフローチャートである。
【図１７】実施の形態に係る動画像処理システムと連携したカーナビゲーションシステムの構成を示す図である。
【符号の説明】
【００８０】
１０ 撮像部、 １２ 撮像素子、 １４ 信号処理部、 １６ フレームバッファ、 １８ 参照フレーム選択部、 １９ ルックアップテーブル、 ２０ オプティカルフロー検出部、 ２１ 対象フレーム選択部、 ２２ 特徴点抽出部、 ２３ パラメータ決定部、 ２４ オプティカルフロー演算部、 ２４ａ 第１オプティカルフロー演算部、 ２４ｂ 第２オプティカルフロー演算部、 ２６ 後処理部、 ２８ａ 第１閾値判定部、 ２８ｂ 第２閾値判定部、 １００ 動画像処理装置、 ５００ 動画像処理システム、 ６００ カーナビゲーション装置、 ７００ カーナビゲーションシステム。
【技術分野】
【０００１】
本発明は、動画像内から衝突する可能性のある対象を検出する動画像処理装置、動画像処理システムおよびナビゲーション装置に関する。
【背景技術】
【０００２】
近年、自動車の安全技術が発展してきている。安全技術の一つとして、車両の前方または後方の画像を撮像するカメラを車両に搭載し、そのカメラで撮像された時間方向に前後するフレーム同士を比較してオプティカルフローを検出することにより、画像内から衝突する可能性のある対象を抽出する技術が提案されている。
【０００３】
特許文献１は、車速に応じて特定されたフレーム領域について、オプティカルフローを検出する技術を開示する。
【特許文献１】特開２００６−１７８６５２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
車載カメラで撮像された画像からオプティカルフローを検出する場合、参照フレームを最適に設定することが難しく、車両から近距離に位置する低速移動している対象を正しく検出できなかったり、車両から遠距離に位置する対象を検出できないことがあった。たとえば、高速走行中に近距離に位置する歩行者などを検出するとき、その移動方向や移動速度を正しく検出できないことがあった。また、低速走行中に遠距離に位置する歩行者などを検出できない場合があった。
【０００５】
本発明はこうした状況に鑑みなされたものであり、その目的は、動画像内から検出対象を精度よく検出することができる動画像処理装置、動画像処理システムおよびナビゲーション装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明のある態様は、移動体に搭載された撮像素子で撮像された動画像からオプティカルフローを検出する動画像処理装置であって、動画像に含まれるフレームを複数の領域に分割し、領域ごとに異なる条件でオプティカルフローをそれぞれ算出する算出部と、移動体の状態に応じて、分割の態様および条件の少なくとも一方を適応的に変化させる。
【０００７】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００８】
本発明によれば、動画像内から検出対象を精度よく検出することができる。
【発明を実施するための最良の形態】
【０００９】
まず、本発明の実施の形態を詳細に説明する前にその概要を説明する。実施の形態は、車両の前方を撮像するカメラを搭載し、そのカメラで撮像した動画像を処理して、歩行者、障害物および前方車両などをオプティカルフローとして検出するものである。そのオプティカルフローをもとに、それらの対象物との衝突危険性をドライバーに報知することが可能となる。ここで、オプティカルフローとは、画像内のある点や図形がつぎの瞬間にどのような方向へ、どの程度の距離、移動するかを示すベクトルである。
【００１０】
図１は、自車速度と安全車間距離との関係Ｌ１、および前の車両が急ブレーキをかけたときに縮まる車間距離Ｌ２を示す図である。図１の縦軸は車間距離（ｍ）を示し、横軸は自車速度（ｋｍ／ｈ）を示す。第１ラインＬ１は自車速度に対応する安全車間距離を示す。図１にて第１ラインＬ１より上の領域は、速度に対して車間距離が十分とられており安全性が高い領域である。第２ラインＬ２は、前の車両が急ブレーキをかけたときに、ドライバーが危険を察知し、ブレーキをかけたときに縮まる車間距離を示す。図１にて第２ラインＬ２より下の領域は、ブレーキをかけても間に合わず、衝突する可能性が極めて高い領域である。第１ラインＬ１と第２ラインＬ２との間の領域は、ドライバーが適切に対処すれば、衝突を回避可能な領域である。
【００１１】
したがって、第２ラインＬ２より下の領域にある距離に、前の車両、歩行者および障害物などの対象を検出しても基本的に手遅れである。反対に、第１ラインＬ１よりはるか上の領域にある距離にそのような対象を検出した場合、比較的余裕がある。第１ラインＬ１の近傍の領域にある距離、および第１ラインＬ１と第２ラインＬ２との間の領域にある距離にそのような対象を検出した場合、早期にドライバーに認識させれば衝突を回避することができる。したがって、最も緊急性が高く、最も検出精度が必要な場合といえる。以下、この知見を利用して実施の形態について説明する。
【００１２】
まず、実施の形態１の概要について説明する。実施の形態１は、オプティカルフローを検出する際、車両の速度に応じて、対象フレームと参照フレームとのフレーム間隔を適応的に切り換えるものである。具体的には、車両の速度が現在の速度より遅くなるとそのフレーム間隔を狭くし、速度が速くなるとそのフレーム間隔を広くする。なお、カメラは車両に固定されるため、車両の速度は、カメラの移動速度に対応する。
【００１３】
図２は、対象フレームと参照フレームとのフレーム間隔を模式的に示した図である。図２の左側に示すように、通常、対象フレームは、時間方向に隣合うフレームを参照フレームとする。すなわち、フレーム間隔Ｔ１は一に固定されている。これに対し、図２の右側に示すように、本実施の形態では、対象フレームと参照フレームとのフレーム間隔Ｔ１、Ｔ２、Ｔ３が一の場合もあり、二の場合もあり、三の場合もある。もちろん、それ以上の場合もある。
【００１４】
図３は、フレーム間隔の決定基準を説明するための図である。図３は、車両に搭載された後述する図４の撮像素子１２で撮像された画像を示す。図１で示したように、車両の速度に応じて、対象物と衝突せずに止まれる距離および衝突を回避できない距離が異なってくる。実施の形態１は、前者と後者の距離を区分するライン付近の距離にある対象を精度よく検出できるよう処理する。
【００１５】
実施の形態１は、車両が停止または低速時に、領域Ａのオプティカルフローが最も精度よく検出できるよう、上記フレーム間隔を狭く設定する。中速時に、領域Ｂのオプティカルフローが最も精度よく検出できるよう、上記フレーム間隔を中程度に設定する。高速時に、領域Ｃのオプティカルフローが最も精度よく検出できるよう、上記フレーム間隔を広く設定する。ここで、低速、中速および高速の区分は、たとえば、０〜４０ｋｍ／ｈ（低速）、４０〜８０ｋｍ／ｈ（中速）、８０ｋｍ／ｈ＜（高速）のように設定する。それぞれの区分ごとにフレーム間隔を設定しておき、取得した速度が区分を跨ぐとき、フレーム間隔を遷移先の区分のフレーム間隔に切り換える。
【００１６】
図３に示すように、速度が速くなるほど、より前方を高精度に検出するようフレーム間隔を広くする方向に設定する。すなわち、速度に応じて、注目領域が領域Ａ、領域Ｂ、領域Ｃと切り換わるようよう設定する。より具体的には、車両の速度が速くなると、注目領域の位置をフレーム内にて遠距離の画像を写す領域の方向に移動させ、速度が遅くなると、注目領域の位置を近距離の画像を写す領域の方向に移動させる。以下、この制御を具体的に実行するための構成および動作について説明する。
【００１７】
図４は、実施の形態１の実施例１に係る動画像処理システム５００の構成を示す。動画像処理システム５００は、撮像部１０および動画像処理装置１００を備える。撮像部１０は、撮像素子１２および信号処理部１４を有する。動画像処理装置１００は、フレームバッファ１６、参照フレーム選択部１８、ルックアップテーブル１９、オプティカルフロー検出部２０および後処理部２６を有する。オプティカルフロー検出部２０は、特徴点抽出部２２およびオプティカルフロー演算部２４を含む。動画像処理装置１００の構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【００１８】
撮像部１０は、車両の前方に搭載され、車両前方の動画像を撮像して動画像処理装置１００に出力する。撮像素子１２は、ＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどが用いられ、入射光を電気信号に変換し、信号処理部１４に出力する。
【００１９】
信号処理部１４は、撮像素子１２から入力されるアナログ信号をデジタル信号に変換する。また、平滑化フィルタを備え、動画像処理装置１００に対して出力する画像データに対して平滑化処理を施してもよい。また、その他のノイズ除去処理を施してもよい。
【００２０】
動画像処理装置１００は、撮像部１０から入力される画像データからオプティカルフローを検出する。フレームバッファ１６は、ｍ（ｍは自然数）フレーム分、格納する領域を持ち、撮像部１０から入力される画像データを一時格納する。領域が溢れた場合、先に入力されたフレームから順番に破棄する。フレームバッファ１６に格納された画像フレームは、オプティカルフロー検出部２０に順番に出力される。
【００２１】
参照フレーム選択部１８は、車両内の速度センサから速度情報を取得し、ルックアップテーブル１９を参照して、取得した速度情報に関連付けられたフレーム間隔を特定する。そのフレーム間隔をもとに、対象フレームＩ（ｔ）の参照フレームとすべき、ｎフレーム過去のフレームＩ（ｔ−ｎＴ）またはｎフレーム未来のフレームＩ（ｔ＋ｎＴ）を特定し、フレームバッファ１６から取得する。なお、Ｔはフレーム間隔を示し、ｎは（１≦ｎ≦ｍ−１）の範囲の値をとる整数である。
【００２２】
ルックアップテーブル１９は、速度情報とフレーム間隔を関連付けて管理する。速度情報とフレーム間隔との関係は、上述した知見をもとに、実験やシミュレーションにより決定された関係に設定される。
【００２３】
オプティカルフロー検出部２０は、対象フレームＩ（ｔ）と参照フレームＩ（ｔ±ｎＴ）とを用いて、オプティカルフローを検出する。オプティカルフローを検出するアルゴリズムには勾配法やブロックマッチング法などがあるが、本実施の形態ではいずれかに限定されるものではなく、どのアルゴリズムを用いてもよい。以下の説明では、勾配法の一つであるピラミッド型ＬＫ（Lucas-kanade）法を用いる。ＬＫ法は、同一物体の局所領域内ではオプティカルフローが一定になると仮定する空間的局所最適化法の一つである。
【００２４】
特徴点抽出部２２は、フレームバッファ１６から入力された対象フレームＩ（ｔ）内からＬＫ法にもとづき、濃淡の変化が大きい特徴点を所定の数、抽出する。ここでは、解像度の異なる複数の階層で行う。特徴点抽出部２２は、抽出した特徴点の座標と輝度情報をオプティカルフロー演算部２４に出力する。
【００２５】
オプティカルフロー演算部２４は、フレームバッファ１６から入力された対象フレームＩ（ｔ）、特徴点抽出部２２から入力された特徴点の座標と輝度情報、および参照フレーム選択部１８から入力された参照フレームＩ（ｔ±ｎＴ）をもとに、オプティカルフローを算出する。より具体的には、対象フレームＩ（ｔ）内の特徴点に対応する点を、参照フレームＩ（ｔ±ｎＴ）内で探索する。
【００２６】
後処理部２６は、オプティカルフロー検出部２０から出力されたオプティカルフローに対して所定の後処理を施す。たとえば、入力されるオプティカルフローから、撮像部１０自体の移動による成分を差し引く処理を行ってもよい。また、ノイズを除去するため、入力されるオプティカルフローの長さを所定の閾値と比較して、有効とすべきオプティカルフローの長さを制限する処理を行ってもよい。また、オプティカルフロー検出部２０から出力されたオプティカルフローの長さの平均値を算出してもよい。ノイズ除去用の閾値は、あらかじめ設定された値でもよいし、当該平均値またはその平均値を調整した値であってもよい。
【００２７】
図示しない任意のユーザインタフェースは、後処理部２６から出力されたオプティカルフローををもとに危険な対象の出現をユーザに認識させる。たとえば、表示部にオプティカルフローを単純に表示してもよいし、車両との距離に応じて定められる危険とされる長さのオプティカルフローのみを表示してもよい。また、その危険とされる長さのオプティカルフローが発生した場合、スピーカから警告音を発してもよい。さらに、車両の制動系に制御信号を出力してもよい。
【００２８】
以下、実施の形態１に係る実施例１について説明する。実施例１は、オプティカルフローの検出をすべてのフレームについて行う例である。
図５は、実施の形態１の実施例１に係る対象フレームと参照フレームとの関係を模式的に示す図である。図５では、対象フレームと参照フレームとのフレーム間隔Ｔ３ａ、Ｔ３ｂ、Ｔ３ｃが三に設定されている。ここでは、オプティカルフローの算出がすべてのフレームについて行われている。
【００２９】
図６は、実施の形態１の実施例１に係る動画像処理システム５００で検出されるオプティカルフローの一例を示す図である。図６中、矢印はオプティカルフローを示す。なお、簡略化のため各対象につき一本、描いている。実際は、各対象につき複数本、検出され、対象の回りに放射状に検出される場合もある。
【００３０】
図６（ａ）は、実施の形態１の実施例１に係る動画像処理システム５００で検出される停止時または低速時のオプティカルフローを示す。領域Ａ内の人物のオプティカルフローが検出され、領域Ｂおよび領域Ｃ内の人物のオプティカルフローは検出されない。これは、低速時には対象フレームと参照フレームとの間隔が狭く設定されるため、近距離に位置する対象の動きが精度よく検出されるためである。
【００３１】
図６（ｂ）は、実施の形態１の実施例１に係る動画像処理システム５００で検出される中速時のオプティカルフローを示す。領域Ａおよび領域Ｂ内の人物のオプティカルフローが検出され、領域Ｃ内の人物のオプティカルフローは検出されない。これは、中速時には対象フレームと参照フレームとの間隔が中程度に設定されるため、中距離に位置する対象の動きが精度よく検出されるためである。図６（ｂ）における領域Ａ内の人物のオプティカルフローの長さが、図６（ａ）より長くなっている。また、方向もずれている。これは、図６（ｂ）では、領域Ａ内の検出精度が図６（ａ）より低下したことを示す。
【００３２】
図６（ｃ）は、実施の形態１の実施例１に係る動画像処理システム５００で検出される高速時のオプティカルフローを示す。領域Ａ、領域Ｂおよび領域Ｃ内の人物のオプティカルフローが検出される。これは、高速時には対象フレームと参照フレームとの間隔が広く設定されるため、遠距離に位置する対象も検出されるためである。図６（ｃ）における領域Ａおよび領域Ｂ内の人物のオプティカルフローの長さが、図６（ｂ）よりさらに長くなっている。また、方向もさらにずれている。これは、図６（ｃ）では、領域Ａおよび領域Ｂ内の検出精度が図６（ｂ）より低下したことを示す。
【００３３】
したがって、中速時や高速時に、近距離に位置する対象のオプティカルフローに現れるノイズ成分を低減するために、所定の長さを超えるオプティカルフローをノイズとして無効にしてもよい。上述した後処理部２６がこの処理を行うことができる。
【００３４】
図７は、実施の形態１の実施例１に係る動画像処理装置１００の動作を示すフローチャートである。まず、フレームバッファ１６は、撮像部１０から入力された画像データを格納する（Ｓ１０）。本動画像処理装置１００によりオプティカルフロー検出処理が終了しない場合（Ｓ１２のＮ）、参照フレーム選択部１８は、車両の現在の速度情報を取得する（Ｓ１４）。参照フレーム選択部１８は、ルックアップテーブル１９を参照して、当該速度情報にもとづく参照フレームＩ（ｔ±ｎＴ）を決定する（Ｓ１６）。
【００３５】
特徴点抽出部２２は、対象フレームＩ（ｔ）の特徴点を所定の数、抽出する（Ｓ１８）。オプティカルフロー演算部２４は、当該対象フレームＩ（ｔ）、そのフレームから抽出された特徴点、および決定された参照フレームＩ（ｔ±ｎＴ）にもとづいて、オプティカルフローを算出する（Ｓ２０）。つぎに、対象フレームＩ（ｔ）がインクリメントされる（Ｓ２２）。そして、ステップＳ１２に遷移する。オプティカルフロー検出処理が終了するまで（Ｓ１２のＹ）、ステップＳ１４からステップＳ２２までの処理が繰り返される。
【００３６】
以上説明したように実施の形態１の実施例１によれば、車両の速度に応じて、対象フレームと参照フレームとのフレーム間隔を適応的に制御することにより、動画像内から検出対象を精度よく検出することができる。
【００３７】
たとえば、上述したＬＫ法を用いてオプティカルフローを検出する場合、約２０ｍ先で水平方向速度が１５ｋｍ／ｈで移動している対象を検出することができるが、上述した図１の知見にしたがえば、実際に４５ｋｍ／ｈ以上で走行中の車両が危険物を発見して安全に停止することが不可能である。
【００３８】
これに対し、本実施の形態では、対象フレームと参照フレームとのフレーム間隔を適応的に切り換えることにより、近距離に位置する低速で移動する対象も、遠距離に位置する高速で移動する対象も精度よく検出することができる。すなわち、近距離に位置する低速で移動する対象は、フレーム間隔を狭くすることにより、その動きを精度よく検出することができる。このフレーム間隔で、遠距離に位置する対象のオプティカルフローを検出しようとしても、その動きを検出することが難しい。反対に、遠距離に位置する対象は、フレーム間隔を広くすることにより、その動きを精度よく検出することができる。このフレーム間隔で、近距離に位置する対象のオプティカルフローを検出すると、検出処理が粗くなってしまい、その検出結果はノイジーなものとなる。
【００３９】
また、オプティカルフロー検出処理が最適化する結果、処理量を軽減することができ、消費電力も低減することができる。さらに、オプティカルフローの長さが所定の閾値を超えるとき、そのオプティカルフローを無効にする処理を加えれば、ノイズをさらに低減することができる。
【００４０】
以下、実施の形態１の実施例２について説明する。実施例２は、撮像素子１２で撮像された動画像に含まれるすべてのフレームに対してオプティカルフローの検出を行うのではなく、間欠的に行う例である。
【００４１】
図８は、実施の形態１の実施例２に係る対象フレームと参照フレームとの関係を模式的に示す図である。図８では、対象フレームと参照フレームとのフレーム間隔Ｔ３ａ、Ｔ３ｄ、Ｔ３ｇが三に設定されている。オプティカルフローの算出が三フレームおきに行われている。
【００４２】
図９は、実施の形態１の実施例２に係る動画像処理システム５１０の構成を示す。実施例２に係る動画像処理システム５１０の構成は、実施例１に係る動画像処理システム５００の構成と基本的に同様である。以下、相違点について説明する。
【００４３】
実施例２に係る動画像処理システム５１０の構成は、実施例１に係る動画像処理システム５００の構成に対象フレーム選択部２１が追加された構成である。対象フレーム選択部２１は、フレームバッファ１６内のフレームを間引いて、オプティカルフロー検出部２０に出力する。たとえば、Ｎ（Ｎは整数）枚に一枚出力する。Ｎは、設計者が実験やシミュレーションにより設定される値である。対象フレーム選択部２１で選択されなかったフレームは破棄されてもよい。
【００４４】
参照フレーム選択部１８は、対象フレーム選択部２１に連動して動作する。すなわち、対象フレーム選択部２１で選択された対象フレームの参照フレームのみを特定して、フレームバッファ１６から取得すればよい。
【００４５】
図１０は、実施の形態１の実施例２に係る動画像処理装置１１０の動作を示すフローチャートである。図１０に示すフローチャートは、図７に示したフローチャートと基本的に同様である。以下、相違点について説明する。ステップＳ１２にて終了判定を行った後、対象フレーム選択部２１は、対象フレームＩ（ｔ）の順番がＮの倍数に該当するか否かを判定する（Ｓ１３）。Ｎの倍数に該当する場合（Ｓ１３のＹ）、ステップＳ１４に遷移し、その対象フレームＩ（ｔ）のオプティカルフローを算出する。Ｎの倍数に該当しない場合（Ｓ１３のＮ）、その対象フレームＩ（ｔ）のオプティカルフローを算出せずに、ステップＳ２２に遷移し、対象フレームＩ（ｔ）をインクリメントする（Ｓ２２）。
【００４６】
以上説明したように実施の形態１の実施例２によれば、実施例１と同様の効果を奏する。さらに、オプティカルフローの検出処理をすべてのフレームに対して行わず、間欠的に行うことにより、演算量を削減することができる。Ｎ枚に一枚、処理する場合、演算量を約１／Ｎに削減することができる。また、Ｎの値を好適に設定すれば、検出精度に与える影響も限定的である。
【００４７】
たとえば、車両速度が６０ｋｍ／ｈ、入力画像のフレームレートが３０ｆｐｓ、Ｎ＝２の場合、オプティカルフローの検出処理に必要な時間に車両が進む距離は、２×６０×１０＾３÷３６００÷３０≒１．１（ｍ）となり、影響は軽微である。
【００４８】
以下、実施の形態１の実施例３について説明する。実施例３は、通常、参照フレームを対象フレームと時間的に連続するフレームに設定し、Ｎ枚に一枚の割合で、対象フレームと時間的に連続しないフレーム、すなわち二フレーム以上時間的に離れたフレームに設定するものである。
【００４９】
実施の形態１の実施例３に係る動画像処理システムの構成は、実施例１に係る動画像処理システム５００の構成と基本的に同様である。参照フレーム選択部１８は、固定されたフレーム間隔の参照フレームを選択することを基本動作とし、所定の期間ごとにそのフレーム間隔より広いフレーム間隔の参照フレームを選択する。
【００５０】
たとえば、基本動作として対象フレームＩ（ｔ）の参照フレームを、一フレーム過去のフレームＩ（ｔ−Ｔ）または一フレーム未来のフレームＩ（ｔ＋Ｔ）に決定する。Ｎ枚に一枚、ｎ（１を除く）フレーム過去のフレームＩ（ｔ−ｎＴ）またはｎフレーム未来のフレームＩ（ｔ＋ｎＴ）に決定する。Ｎの値およびフレーム間隔数ｎの値の少なくとも一方は、ルックアップテーブル１９を参照して、入力される速度情報に関連付けられた値に設定してもよい。
【００５１】
なお、後処理部２６がオプティカルフローの長さの平均値を算出する場合、ｎフレーム過去のフレームＩ（ｔ−ｎＴ）またはｎフレーム未来のフレームＩ（ｔ＋ｎＴ）を参照フレームとするオプティカルフローの長さは、上記平均値算出の基礎から外すことが望ましい。
【００５２】
図１１は、実施の形態１の実施例３に係る動画像処理装置１００の動作を示すフローチャートである。図１１に示すフローチャートは、図７に示したフローチャートと基本的に同様である。以下、相違点について説明する。ステップＳ１６にて参照フレームの決定処理の前に、参照フレーム選択部１８は、対象フレームＩ（ｔ）の順番がＮの倍数に該当するか否かを判定する（Ｓ１５）。Ｎの倍数に該当する場合（Ｓ１５のＹ）、参照フレーム選択部１８は、対象フレームＩ（ｔ）のｎ枚前のフレームを参照フレームＩ（ｔ−ｎＴ）に決定する（Ｓ１６ｂ）。Ｎの倍数に該当しない場合（Ｓ１５のＮ）、参照フレーム選択部１８は、対象フレームＩ（ｔ）の一枚前のフレームを参照フレームＩ（ｔ−Ｔ）に決定する（Ｓ１６ａ）。以下、図７と同様に処理する。
【００５３】
以上説明したように実施の形態１の実施例３によれば、実施例１と同様の効果を奏する。さらに、フレーム間隔を大きくして検出するフレームと、連続フレームで検出するフレームを混在させることにより、中距離から遠距離の対象におけるオプティカルフローの検出精度を高めるとともに、近距離の対象のオプティカルフローの検出を低ノイズで検出することができる。
【００５４】
つぎに、実施の形態２について説明する。まず、実施の形態２の概要について説明する。実施の形態２は、オプティカルフローを検出する際、車両の速度や操舵角に応じて異なる態様で、画像を複数の領域に分割するものである。また、領域ごとにそれぞれ設定された条件でオプティカルフローを算出する。
【００５５】
図１２は、画像を複数の領域に分割する態様を模式的に示した図である。上述したように、オプティカルフローは時間方向に前後するフレームを用いて算出される。図１２の左側は、複数の領域に分割されない、通常の態様を示す。図１２の右側は、領域Ｄと領域Ｗの二つの領域に分割された態様を示す。この分割態様では領域Ｄが注目領域となり、残りの領域Ｗが非注目領域となる。注目領域Ｄと非注目領域Ｗについて、それぞれオプティカルフローを検出する。分割の態様、ここでは注目領域Ｄの位置および大きさは、車両の速度や操舵角に応じて、適応的に切り換えられる。注目領域Ｄは、図３および図６に示した領域Ａ、領域Ｂまたは領域Ｃに相当し、主な検出領域として、車両の速度に応じて変化する領域である。すなわち、高精度な検出が要求される領域である。また、フレーム間隔ＴＤ、ＴＷも、車両の速度に応じて、適応的に切り換えられる。領域Ｄと領域Ｗとでフレーム間隔ＴＤ、ＴＷがそれぞれ異なってもよい。
【００５６】
図１３は、画像の分割態様の決定基準を説明するための図である。図１３の左上の画像は、車両の速度に応じて、注目領域Ｄの前後方向の位置を決定する様子を示す。すなわち、速度が速い場合、注目領域Ｄを画像内の上方に移動させ、遅い場合、下方に移動させる。それに応じて、注目領域Ｄの大きさを制御してもよい。すなわち、速度が速い場合、注目領域Ｄを画像内の上方に移動させつつ、注目領域Ｄの大きさを小さくする。反対に、速度が遅い場合、注目領域Ｄを画像内の下方に移動させつつ、注目領域Ｄの大きさを大きくする。この注目領域Ｄの決定方法は、図３および図６で説明した知見に基づく。
【００５７】
図１３の右上の画像は、操舵角に応じて、注目領域Ｄの左右の位置を決定する様子を示す。ハンドルが右に切られた場合、注目領域Ｄを画像内の右方に移動させ、左に切られた場合、左方に移動させる。図１３の下の画像は、分離された注目領域Ｄおよび非注目領域Ｗを示す。注目領域Ｄおよび非注目領域Ｗは、オプティカルフローを算出するための各種パラメータが異なってもよい。当該パラメータには、対象フレームと参照フレームとのフレーム間隔、フレームの解像度、および算出されたオプティカルフローをノイズとして無効と判定するためのノイズ除去用の閾値のうち、少なくとも一つが含まれる。
【００５８】
図１４は、実施の形態２に係る動画像処理システム５２０の構成を示す。実施の形態２に係る動画像処理システム５２０の構成は、実施の形態１に係る動画像処理システム５００の構成と共通する部分がある。以下、相違する部分を中心に説明する。
【００５９】
まず、撮像部１０およびフレームバッファ１６の構成は、実施の形態１に係る動画像処理システム５００の構成と同様である。参照フレーム選択部１８は、車両内の車速センサから速度情報を取得し、ルックアップテーブル１９を参照して、取得した速度情報に関連付けられたフレーム間隔を特定する。その際、分割された領域ごとに異なるフレーム間隔を特定してもよい。なお、実施の形態２では、フレーム間隔を必ずしも適応的に制御する必要はなく、フレーム間隔は固定でもよい。
【００６０】
ルックアップテーブル１９は、速度情報および操舵角情報の少なくとも一方の車両状態と、以下のパラメータを関連付けて管理する。当該パラメータには、注目領域Ｄの位置、注目領域Ｄの大きさ、対象フレームと参照フレームとのフレーム間隔、オプティカルフローを算出する際の画像の解像度、および無効にすべきオプティカルフローを判定するための閾値のうち、少なくとも一つが含まれる。これらの関連付けは、上述した知見や以下に示す知見をもとに、実験やシミュレーションにより決定された関係に設定される。
【００６１】
注目領域Ｄのフレーム間隔、位置および大きさの決定基準については上述した。すなわち、車両の速度が速くなるほど、注目領域Ｄのフレーム間隔を大きくし、注目領域Ｄの位置を画像内の上方に移動させ、注目領域Ｄの大きさを小さくする。それに加えて、注目領域Ｄの上記閾値は、車両の速度が速くなるほど小さくする。これらは、注目領域Ｄで検出されるオプティカルフローの大きさが比較的小さい、すなわちノイズが少ないという性質にもとづく。なお、注目領域Ｄの解像度は、速度に関係なく固定でよい。
【００６２】
非注目領域Ｗのフレーム間隔は、速度に関係なく固定でよい。非注目領域Ｗの形状および大きさは、注目領域Ｄが分離された残りの領域であるため、注目領域Ｄの位置および大きさに応じて変化する。非注目領域Ｗの解像度は、速度が遅くなるほど高くする。非注目領域Ｗのノイズ除去用の閾値は、速度が速くなるほど大きくする。当該閾値は、ノイズを低減するため近距離ほど大きく設定すべきという知見にもとづく。速度が速くなると注目領域Ｄが画像内の上方に移動し、速度が遅くなると下方に移動するため、速度が速いとき近距離は非注目領域Ｗとなり、遅いとき近距離は注目領域Ｄとなる。
【００６３】
注目領域Ｄと非注目領域Ｗとの関係では、注目領域Ｄのフレーム間隔を非注目領域Ｗより大きくし、注目領域Ｄの解像度を非注目領域Ｗより高くし、注目領域Ｄのノイズ除去用の閾値を非注目領域Ｗより小さくする。これは、注目領域Ｄのほうが非注目領域Ｗより高精度にする必要があるためである。また、精度の低下を抑えつつ全体の演算量を低減するためである。
【００６４】
オプティカルフロー検出部２０は、特徴点抽出部２２、パラメータ決定部２３、第１オプティカルフロー演算部２４ａおよび第２オプティカルフロー演算部２４ｂを備える。オプティカルフロー演算部２４を二つ備えるが、これは領域を二つに分割することに対応し、三つ以上に分割する場合、三つ以上のオプティカルフロー演算部２４を設ける。
【００６５】
特徴点抽出部２２は、実施の形態１と同様である。パラメータ決定部２３は、車両内の速度センサおよび操舵角センサから、速度情報および操舵角情報を取得し、ルックアップテーブル１９を参照して、取得した速度情報および操舵角情報に関連付けられた各種パラメータを取得する。
【００６６】
注目領域Ｄの位置および大きさを取得した場合、第１オプティカルフロー演算部２４ａに設定し、それに対応した情報を第２オプティカルフロー演算部２４ｂに設定する。注目領域Ｄおよび非注目領域Ｗの解像度を取得した場合、第１オプティカルフロー演算部２４ａおよび第２オプティカルフロー演算部２４ｂに設定する。注目領域Ｄおよび非注目領域Ｗのノイズ除去用の閾値を取得した場合、第１閾値判定部２８ａおよび第２閾値判定部２８ｂに設定する。
【００６７】
第１オプティカルフロー演算部２４ａは、フレームバッファ１６から入力された対象フレームＩ（ｔ）、特徴点抽出部２２から入力された特徴点の座標と輝度、および参照フレーム選択部１８から入力された参照フレームＩ（ｔ±ｎＴ）をもとに、注目領域Ｄのオプティカルフローを算出する。第２オプティカルフロー演算部２４ｂは、同様に、非注目領域Ｗのオプティカルフローを算出する。第２オプティカルフロー演算部２４ｂは、解像度を下げる場合、単純に画素を間引くのではなく、近傍に位置する複数の画素の平均値を用いてもよい。
【００６８】
後処理部２６は、第１閾値判定部２８ａおよび第２閾値判定部２８ｂを含む。第１閾値判定部２８ａは、パラメータ決定部２３から設定された閾値と、第１オプティカルフロー演算部２４ａから入力されたオプティカルフローの大きさを比較し、当該閾値を超えるオプティカルフローを無効にする。第２閾値判定部２８ｂは、パラメータ決定部２３から設定された閾値と、第２オプティカルフロー演算部２４ｂから入力されたオプティカルフローの大きさを比較し、当該閾値を超えるオプティカルフローを無効にする。
【００６９】
図１５は、実施の形態２に係る動画像処理システム５２０で検出されるオプティカルフローの一例を示す図である。図１５（ａ）は、実施の形態２に係る動画像処理システム５２０で検出される停止時または低速時のオプティカルフローを示す。注目領域Ｄ内のオプティカルフローは、通常のパラメータを用いて算出される。非注目領域Ｗ内のオプティカルフローは、フレーム間隔を通常より広げて算出される。ノイズ除去用の閾値は、注目領域Ｄ内で大きく、非注目領域Ｗ内で小さく設定される。
【００７０】
図１５（ｂ）は、実施の形態２に係る動画像処理システム５２０で検出される中速時のオプティカルフローを示す。注目領域Ｄ内のオプティカルフローは、フレーム間隔を通常より広げて算出される。非注目領域Ｗ内のオプティカルフローは、解像度を低くして算出される。ノイズ除去用の閾値は、注目領域Ｄ内で小さく、非注目領域Ｗ内で大きく設定される。
【００７１】
図１５（ｃ）は、実施の形態２に係る動画像処理システム５２０で検出される高速時のオプティカルフローを示す。注目領域Ｄ内のオプティカルフローは、フレーム間隔を中速時よりさらに広げて算出される。非注目領域Ｗ内のオプティカルフローは、解像度を中速時よりさらに低くして算出される。ノイズ除去用の閾値は、注目領域Ｄ内で小さく、非注目領域Ｗ内で中速時よりさらに大きく設定される。
【００７２】
図１６は、実施の形態２に係る動画像処理装置１２０の動作を示すフローチャートである。図１６に示すフローチャートは、図７に示したフローチャートと基本的に同様である。以下、相違点について説明する。ステップＳ１８にて特徴点を抽出した後、またはそれと並行して、パラメータ決定部２３は、車両内の速度センサなどから、速度情報などを取得し、ルックアップテーブル１９を参照して、取得した速度情報などに関連付けられた各種パラメータを取得し、分割された領域ごとにパラメーメを決定する（Ｓ１９）。
【００７３】
第１オプティカルフロー演算部２４ａは、対象フレームＩ（ｔ）、そのフレームから抽出された特徴点、決定された参照フレームＩ（ｔ±ｎＴ）および決定されたパラメータにもとづいて、第１オプティカルフローを算出する（Ｓ２０ａ）。それと並行して、第２オプティカルフロー演算部２４ｂは、同様に、第２オプティカルフローを算出する（Ｓ２０ｂ）。以下、図７と同様に処理する。
【００７４】
以上説明したように実施の形態２によれば、実施の形態１と同様の効果を奏する。さらに、画像を複数の領域に分割し、領域ごとに最適なパラメータを設定することにより、精度を維持しつつ、演算量をさらに低減することができる。たとえば、非注目領域Ｗの解像度、すなわち処理対象の画素数を削減することにより、演算量を低減することができる。注目領域Ｄの解像度は下げないため、検出精度は維持される。
【００７５】
以上、本発明をいくつかの実施形態をもとに説明した。これらの実施形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００７６】
上述した実施の形態に係る動画像処理システム５００、５１０、５２０は、カーナビゲーションシステムと連携して使用することができる。
図１７は、実施の形態に係る動画像処理システムと連携したカーナビゲーションシステム７００の構成を示す図である。連携の態様として、動画像処理装置１００は、カーナビゲーション装置６００のユーザインタフェースを利用して、検出結果を外部に報知することができる。たとえば、動画像処理装置１００は、カーナビゲーション装置６００の表示部を用いてオプティカルフローを表示したり、スピーカから警告音を発することができる。また、動画像処理装置１００は、カーナビゲーション装置６００の筐体内に設置されてもよい。
【００７７】
また、動画像処理装置１００で行う処理を、カーナビゲーション装置６００に搭載されたプロセッサおよびメモリを用いて行ってもよい。この場合、動画像処理装置１００固有のハードウェア資源は必要なくなる。これらの態様によれば、普及率の高いカーナビゲーションシ装置のハードウェア資源を有効に活用して、オプティカルフローを検出することができる。
【００７８】
実施の形態では自動車を例に説明したが、移動体であれば、バイク、自転車、電車、船舶および飛行機などにも適用可能である。また、自動車の前方の画像を撮像する例を説明したが、後方や左右の画像を撮像する形態にも適用可能である。
【図面の簡単な説明】
【００７９】
【図１】自車速度と安全車間距離との関係、および前の車両が急ブレーキをかけたときに縮まる車間距離を示す図である。
【図２】対象フレームと参照フレームとのフレーム間隔を模式的に示した図である。
【図３】フレーム間隔の決定基準を説明するための図である。
【図４】実施の形態１の実施例１に係る動画像処理システムの構成を示す図である。
【図５】実施の形態１の実施例１に係る対象フレームと参照フレームとの関係を模式的に示す図である。
【図６】図６（ａ）は、実施の形態１の実施例１に係る動画像処理システムで検出される停止時または低速時のオプティカルフローを示す。図６（ｂ）は、実施の形態１の実施例１に係る動画像処理システムで検出される中速時のオプティカルフローを示す。図６（ｃ）は、実施の形態１の実施例１に係る動画像処理システムで検出される高速時のオプティカルフローを示す。
【図７】実施の形態１の実施例１に係る動画像処理装置の動作を示すフローチャートである。
【図８】実施の形態１の実施例２に係る対象フレームと参照フレームとの関係を模式的に示す図である。
【図９】実施の形態１の実施例２に係る動画像処理システムの構成を示す図である。
【図１０】実施の形態１の実施例２に係る動画像処理装置の動作を示すフローチャートである。
【図１１】実施の形態１の実施例３に係る動画像処理装置の動作を示すフローチャートである。
【図１２】画像を複数の領域に分割する態様を模式的に示した図である。
【図１３】画像の分割態様の決定基準を説明するための図である。
【図１４】実施の形態２に係る動画像処理システムの構成を示す図である。
【図１５】図１５（ａ）は、実施の形態２に係る動画像処理システムで検出される停止時または低速時のオプティカルフローを示す。図１５（ｂ）は、実施の形態２に係る動画像処理システムで検出される中速時のオプティカルフローを示す。図１５（ｃ）は、実施の形態２に係る動画像処理システムで検出される高速時のオプティカルフローを示す。
【図１６】実施の形態２に係る動画像処理装置の動作を示すフローチャートである。
【図１７】実施の形態に係る動画像処理システムと連携したカーナビゲーションシステムの構成を示す図である。
【符号の説明】
【００８０】
１０ 撮像部、 １２ 撮像素子、 １４ 信号処理部、 １６ フレームバッファ、 １８ 参照フレーム選択部、 １９ ルックアップテーブル、 ２０ オプティカルフロー検出部、 ２１ 対象フレーム選択部、 ２２ 特徴点抽出部、 ２３ パラメータ決定部、 ２４ オプティカルフロー演算部、 ２４ａ 第１オプティカルフロー演算部、 ２４ｂ 第２オプティカルフロー演算部、 ２６ 後処理部、 ２８ａ 第１閾値判定部、 ２８ｂ 第２閾値判定部、 １００ 動画像処理装置、 ５００ 動画像処理システム、 ６００ カーナビゲーション装置、 ７００ カーナビゲーションシステム。
【特許請求の範囲】
【請求項１】
移動体に搭載された撮像素子で撮像された動画像からオプティカルフローを検出する動画像処理装置であって、
前記動画像に含まれるフレームを複数の領域に分割し、領域ごとに異なる条件でオプティカルフローをそれぞれ算出する算出部と、
前記移動体の状態に応じて、前記分割の態様および前記条件の少なくとも一方を適応的に変化させる条件決定部と、
を備えることを特徴とする動画像処理装置。
【請求項２】
前記算出部は、前記フレームを注目領域と非注目領域に分割し、
前記条件決定部は、前記移動体の移動速度および操舵角の少なくとも一方に応じて、前記注目領域の位置を移動させることを特徴とする請求項１に記載の動画像処理装置。
【請求項３】
前記条件決定部は、前記移動体の移動速度が速くなると、前記注目領域の位置を前記フレーム内にて遠距離の画像を写す領域の方向に移動させ、前記移動速度が遅くなると、前記注目領域の位置を近距離の画像を写す領域の方向に移動させることを特徴とする請求項２に記載の動画像処理装置。
【請求項４】
前記条件決定部は、前記オプティカルフローを検出するための対象フレームと参照フレームとのフレーム間隔、フレームの解像度、算出されたオプティカルフローの長さからそのオプティカルフローを無効にするか否かを判定するための閾値のうち、少なくとも一つを前記領域ごとに異ならせしめることを特徴とする請求項１から３のいずれかに記載の動画像処理装置。
【請求項５】
移動体に搭載され、動画像を撮像する撮像素子と、
前記撮像素子により撮像された動画像を処理する請求項１から４のいずれかに記載の動画像処理装置と、
を備えることを特徴とする動画像処理システム。
【請求項６】
車両に搭載され、車両周辺の動画像を撮像する撮像素子により撮像された動画像を処理する請求項１から４のいずれかに記載の動画像処理装置と連携し、検出結果を外部に報知することを特徴とするナビゲーション装置。
【請求項１】
移動体に搭載された撮像素子で撮像された動画像からオプティカルフローを検出する動画像処理装置であって、
前記動画像に含まれるフレームを複数の領域に分割し、領域ごとに異なる条件でオプティカルフローをそれぞれ算出する算出部と、
前記移動体の状態に応じて、前記分割の態様および前記条件の少なくとも一方を適応的に変化させる条件決定部と、
を備えることを特徴とする動画像処理装置。
【請求項２】
前記算出部は、前記フレームを注目領域と非注目領域に分割し、
前記条件決定部は、前記移動体の移動速度および操舵角の少なくとも一方に応じて、前記注目領域の位置を移動させることを特徴とする請求項１に記載の動画像処理装置。
【請求項３】
前記条件決定部は、前記移動体の移動速度が速くなると、前記注目領域の位置を前記フレーム内にて遠距離の画像を写す領域の方向に移動させ、前記移動速度が遅くなると、前記注目領域の位置を近距離の画像を写す領域の方向に移動させることを特徴とする請求項２に記載の動画像処理装置。
【請求項４】
前記条件決定部は、前記オプティカルフローを検出するための対象フレームと参照フレームとのフレーム間隔、フレームの解像度、算出されたオプティカルフローの長さからそのオプティカルフローを無効にするか否かを判定するための閾値のうち、少なくとも一つを前記領域ごとに異ならせしめることを特徴とする請求項１から３のいずれかに記載の動画像処理装置。
【請求項５】
移動体に搭載され、動画像を撮像する撮像素子と、
前記撮像素子により撮像された動画像を処理する請求項１から４のいずれかに記載の動画像処理装置と、
を備えることを特徴とする動画像処理システム。
【請求項６】
車両に搭載され、車両周辺の動画像を撮像する撮像素子により撮像された動画像を処理する請求項１から４のいずれかに記載の動画像処理装置と連携し、検出結果を外部に報知することを特徴とするナビゲーション装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００８−２７６３０８（Ｐ２００８−２７６３０８Ａ）
【公開日】平成２０年１１月１３日（２００８．１１．１３）
【国際特許分類】
【出願番号】特願２００７−１１５８７４（Ｐ２００７−１１５８７４）
【出願日】平成１９年４月２５日（２００７．４．２５）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２０年１１月１３日（２００８．１１．１３）
【国際特許分類】
【出願日】平成１９年４月２５日（２００７．４．２５）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]