運転支援システム、運転支援方法、及び、プログラム
【課題】比較的軽い処理で運転者の支援を行う運転支援システムを提供する。
【解決手段】 運転支援システム１は、動領域抽出によって、領域分割（撮影画像を画像要素に分割する処理）と、視差情報の抽出（視差マップの生成処理）とを行うため、ブロックマッチングを用いる方法に比べて、処理負荷を抑えることができる。また、右画像と左画像の同一画像要素を特定し、視差を算出する場合には、精細なカメラの校正と画像の補正が必要であるが、本運転支援システム１では、これらは不要である。さらに、本運転支援システム１によれば、動きや形の変化を推定するため、他の移動体に相当する画像要素の多様な動きや、形の変化にも対応できる。
【解決手段】 運転支援システム１は、動領域抽出によって、領域分割（撮影画像を画像要素に分割する処理）と、視差情報の抽出（視差マップの生成処理）とを行うため、ブロックマッチングを用いる方法に比べて、処理負荷を抑えることができる。また、右画像と左画像の同一画像要素を特定し、視差を算出する場合には、精細なカメラの校正と画像の補正が必要であるが、本運転支援システム１では、これらは不要である。さらに、本運転支援システム１によれば、動きや形の変化を推定するため、他の移動体に相当する画像要素の多様な動きや、形の変化にも対応できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体の運転を支援する運転支援システムに関する。
【背景技術】
【０００２】
例えば、特許文献１に、ステレオ画像に基づいて障害物までの距離を計算し、計算された距離に基づいて、自動車などの運転を支援するシステムが提案されている。
【０００３】
また、例えば、非特許文献１では、アフィン動き推定を用いた動領域抽出アルゴリズムが提案されている。このアルゴリズムの特徴は、領域分割とそれぞれの領域に対応する動きモデルを同時に求めることである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１３１７４０
【非特許文献１】J. M. Odobez, P. Bouthemy, “ Direct Incremental Model-Based Image Motion Segmentation for Video Analysis ”, Signal Processing, 66, pp. 143-155, 1998.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、比較的軽い処理で運転者の支援を行う運転支援システムを提供する。
【課題を解決するための手段】
【０００６】
本発明に係る運転支援システムは、移動体に設定された第1の撮影位置から、前記移動体の外の被写体を複数のタイミングで撮影する第1の撮影手段と、前記移動体に設定された第2の撮影位置から、前記被写体を複数のタイミングで撮影する第2の撮影手段と、前記第1の撮影手段により撮影された複数の撮影画像と、前記第2の撮影手段により撮影された複数の撮影画像とに基づいて、それぞれの撮影画像に含まれる画像要素を、各画像要素の動きによって分割する動き分割手段と、前記第１の撮影手段により撮影された撮影画像と、前記第2の撮影手段により撮影された撮影画像とに基づいて、それぞれの撮影画像に含まれる画像要素を、前記第１の撮影位置及び前記第2の撮影位置の視差による撮影画像上の視差によって分割する視差分割手段と、前記動き分割手段による分割結果と前記視差分割手段による分割結果を用いて物体に対応する画像要素に分類する要素分類手段と、前記要素分類手段による分類結果と、前記視差分割手段により抽出された視差情報とに基づいて、前記移動体の運転を支援する運転支援手段とを有する。
【０００７】
好適には、前記視差分割手段は、前記分割手段による分類結果に基づいて、同じ分類の画像要素の視差情報を抽出する。
【０００８】
好適には、入力される複数の撮影画像に基づいて、撮影画像に含まれる画像要素を、それぞれの画像要素の変位により分割する動領域抽出処理装置を有し、前記動き分割手段は、前記動領域抽出処理装置に対して、複数のタイミングで撮影された複数の撮影画像を入力して、画像要素を動きによって分割させ、前記視差分割手段は、前記動領域抽出処理装置に対して、前記第１の撮影手段及び前記第２の撮影手段により略同時に撮影された撮影画像を入力して、画像要素を視差によって分割させる。
【０００９】
好適には、前記移動体は、路面上を走行するものであり、前記要素分類手段による分類結果に基づいて、撮影画像上の路面に相当する画像要素の動きと比較して、撮影画像の他の画像要素を他の移動体として特定する移動体特定手段をさらに有し、前記運転支援手段は、前記移動体特定手段により特定された他の移動体と、前記視差分割手段により抽出された他の移動体の視差情報とに基づいて、他の移動体の接近に関する警告、他の移動体の接近に対する自動回避処理、又は、他の移動体との距離が既定の範囲となるように移動速度を制御する速度調整処理を行う。
【００１０】
好適には、前記移動体は、路面上を走行するものであり、前記視差分割手段は、前記第１の撮影手段により撮影された撮影画像と、前記第2の撮影手段により撮影された撮影画像とに基づいて、前記第１の撮影位置及び前記第2の撮影位置の視差による動きモデルを視差モデルとして抽出し、路面の視差モデルに基づいて、路面以外の画像要素を特定する移動体特定手段をさらに有し、前記運転支援手段は、前記移動体特定手段により特定された他の移動体と、前記視差分割手段により抽出された他の移動体の視差情報とに基づいて、他の移動体の接近に関する警告、他の移動体の接近に対する自動回避処理、又は、他の移動体との距離が既定の範囲となるように移動速度を制御する速度調整処理を行う。
【００１１】
本発明に係る運転支援方法は、第１の撮影位置及び第２の撮影位置から、被写体を撮影する撮影ステップと、前記第1の撮影位置から撮影された複数の撮影画像と、前記第2の撮影位置から撮影された複数の撮影画像とに基づいて、それぞれの撮影画像に含まれる画像要素を、各画像要素の動きによって分割する動き分割ステップと、前記第１の撮影位置から撮影された撮影画像と、前記第2の撮影位置から撮影された撮影画像とに基づいて、それぞれの撮影画像に含まれる画像要素を、前記第１の撮影位置及び前記第2の撮影位置の視差による撮影画像上の視差情報によって分割する視差分割ステップと、前記動き分割ステップによる分割結果と前記視差分割ステップによる分割結果を用いて物体に対応する画像要素に分類する要素分類ステップと、前記要素分類ステップによる分類結果と、前記視差分割ステップにより得られた視差情報とに基づいて、前記移動体の運転を支援する運転支援ステップとを有する。
【００１２】
本発明に係るプログラムは、第1の撮影位置から撮影された複数の撮影画像と、第2の撮影位置から撮影された複数の撮影画像とに基づいて、それぞれの撮影画像に含まれる画像要素を、各画像要素の動きによって分割する動き分割ステップと、前記第１の撮影位置から撮影された撮影画像と、前記第2の撮影位置から撮影された撮影画像とに基づいて、それぞれの撮影画像に含まれる画像要素を、前記第１の撮影位置及び前記第2の撮影位置の視差による撮影画像上の視差情報によって分割する視差分割ステップと、前記動き分割ステップによる分割結果と前記視差分割ステップによる分割結果を用いて物体に対応する画像要素に分類する要素分類ステップと、前記要素分類ステップによる分類結果と、前記視差分割ステップにより得られた視差情報とに基づいて、前記移動体の運転を支援するための情報を生成する運転支援ステップとを有するコンピュータに実行させる。
【発明の効果】
【００１３】
本発明によれば、より軽い処理で運転者の支援を行うことができる。
【図面の簡単な説明】
【００１４】
【図１】運転支援システム１の概要を例示する図である。
【図２】情報処理装置１０の機能構成を例示する図である。
【図３】動領域抽出プロセッサ４の機能ブロック図である。
【図４】運転支援処理の全体動作（Ｓ１０）を説明するフローチャートである。
【図５】アフィン動きモデル推定処理をより詳細に説明するフローチャートである。
【図６】境界更新処理（又は新領域検出処理）をより詳細に説明するフローチャートである。
【図７】ラベルマップ推定処理をより詳細に説明するフローチャートである。
【図８】変形例における動領域抽出プロセッサ５の機能ブロック図である。
【図９】本実施形態の動領域抽出プロセッサ５の特徴を説明する図である。
【図１０】（A）は、実施形態の繰り返し計算を説明し、（B）は、変形例の繰り返し計算を説明する図である。
【図１１】共通化した評価指標を説明する図である。
【図１２】領域抽出結果を例示する図である。
【図１３】アフィン動きモデルを説明する図である。
【図１４】エネルギー関数を例示する図である。
【発明を実施するための形態】
【００１５】
次に、図を参照して、本発明の実施形態を説明する。
図１は、運転支援システム１の概要を例示する図である。
図１に例示するように、運転支援システム１は、移動体に設置され、情報処理装置１０と、複数のカメラ２０とを含む。ここで、移動体とは、移動する物体であり、自動車や電車などの車両、航空機などの飛行体、又は、船舶などである。本例では、自動車の車体９に運転支援システム１が設置された形態を具体例として説明する。
情報処理装置１０は、後述する動領域抽出プロセッサ４がインストールされたコンピュータ装置である。本例の情報処理装置１０は、さらに、画像の表示処理及び入力受付処理を行うタッチパネルと、警告音などを出力するスピーカとを有し、運転者と対面する位置に設置されている。
複数のカメラ２０は、互いに異なる撮影位置から被写体を同時に撮影するカメラであり、例えば、動画像を撮影するビデオカメラである。本例の２台のカメラ２０は、自動車のダッシュボード上のフロントガラス近傍に左右に並べて設置されたビデオカメラである。
【００１６】
図２は、情報処理装置１０の機能構成を例示する図である。
図２に例示するように、情報処理装置１０は、カメラ制御部１００、動き分割部１１０、視差分割部１２０、要素分類部１３０、特徴量抽出部１４０、移動体特定部１５０、追跡部１６０、運転支援部１７０、及び、動領域抽出プロセッサ４を有する。
カメラ制御部１００は、２台のカメラ２０を制御して、同時に撮影された動画像を動領域抽出プロセッサ４に出力させる。
【００１７】
動き分割部１１０は、動領域抽出プロセッサ４に対して、複数の撮影画像を入力して、入力された撮影画像を、画像要素それぞれの変位によって分割する。
より具体的には、動き分割部１１０は、同じカメラ２０により異なるタイミングで撮影された複数の撮影画像に基づいて、これらの撮影画像に含まれる画像要素を、画像要素それぞれの動きによって分類する。本例の動き分割部１１０は、動領域抽出プロセッサ４に対して、同一のカメラ２０により連続して撮影された２つの撮影画像に基づいて、ラベルマップ（領域ラベリングの結果）を生成させる。
【００１８】
視差分割部１２０は、複数のカメラ２０により同時に撮影された複数の撮影画像に基づいて、撮影画像を、画像要素それぞれの変位（すなわち、視差に基づく変位）によって分割する。視差に基づく変位は、カメラから被写体までの距離に応じて変化するため、視差分割部１２０は、複数のカメラ２０により同時に撮影された複数の撮影画像に基づいて、これらの撮影画像に含まれる画像要素を、画像要素それぞれまでの距離によって分類することになる。本例の視差分割部１２０は、動領域抽出プロセッサ４に対して、２台のカメラ２０により同時に撮影された２つの撮影画像に基づいて、ラベルマップ（以下、「視差マップ」という）を生成させる。
なお、視差情報の抽出は、上記の方法に限定されるものではなく、例えば、視差分割部１２０は、要素分類部１１０により分類された画像要素の変位量をそれぞれ算出し、算出された変位量を視差情報としてもよい。
【００１９】
要素分類部１３０は、動き分割部１１０による分割結果と、視差分割部１２０による分割結果とに基づいて、撮影画像において、物体に相当する画像領域を特定する。本例の要素分類部１３０は、被写体の動きによって分類された画像要素と、視差によって分類された画像要素（視差マップ）とに基づいて、撮影画像中のそれぞれの物体に相当する画像領域を特定する。すなわち、要素分類部１３０は、被写体中の物体の動きによって分類された画像要素と、被写体中の各物体までの距離によって分類された画像要素とを用いて、物体に相当する画像領域を特定する。
【００２０】
特徴量抽出部１４０は、撮影画像に含まれる画像要素の特徴量を抽出する。ここで、画像要素の特徴量とは、画像要素の位置、距離、大きさ、領域を囲む長方形のアスペクト比、輝度勾配に関する値、エッジに関する値などである。例えば、特徴量抽出部１４０は、要素分類部１３０により物体として特定された画像領域について、動領域抽出プロセッサ４による演算結果の一部（輝度勾配行列など）を特徴量として取得する。
【００２１】
移動体特定部１５０は、要素分類部１３０による分類結果と、特徴量抽出部１４０により抽出された特徴量とに基づいて、路面や（例えば建物や街路樹などの）背景に相当する画像領域と、これら以外の物体（例えば、他の移動体）に相当する画像領域を特定する。例えば、移動体特定部１５０は、要素分類部１３０により物体として特定された画像領域の形、大きさ、及び位置に基づいて、他の移動体を特定する。また、移動体特定部１５０は、撮影画像上の路面に相当する画像要素と同じラベルが付された画素を既定以上に含む画像要素を、路面と判断し、これら以外の画像領域を他の移動体として判断してもよい。
【００２２】
追跡部１６０は、移動体特定部１５０により特定された物体に相当する画像領域を、動きモデルに基づいて追跡する。本例の追跡部１６０は、動領域抽出プロセッサ４により得られる予測ラベルマップに基づいて、物体に相当する画像要素の移動先を追跡する。
【００２３】
運転支援部１７０は、視差分割部１２０により抽出された視差情報（視差マップなど）と、移動体特定部１５０の特定結果と、追跡部１６０の追跡結果に基づいて、自動車の運転を支援する。例えば、運転支援部１７０は、視差分割部１２０により生成された視差マップと、移動体特定部１５０の特定結果と、追跡部１６０の追跡結果に基づいて、路面以外の画像要素の視差と接近の速さが既定値以上となった場合に、障害物との衝突の危険性が高いものと判断して、その旨の警告音を出力させる。また、運転支援部１７０は、さらに、追跡部１６０による追跡結果に基づいて、他の移動体の移動方向を予測して、障害物の接近を評価してもよい。また、運転支援部１７０は、緊急ブレーキの自動制御、又は、他の移動体を追尾するように速度を制御する速度自動制御を行ってもよい。
【００２４】
図３は、動領域抽出プロセッサ４の機能構成を例示する図である。
図３に例示するように、動領域抽出プロセッサ４は、画像メモリ４００と、輝度勾配演算部４１０と、動きモデル計算部４２０と、領域ラベリング部４３０と、ラベルマップメモリ４４０と、２つの動きモデルメモリ４５０と、２つの領域テーブルレジスタ４６０と、ラベルマップ推定部４７０と、制御部４８０とで構成されている。
画像メモリ４００は、４フレームの画像データを保存するために、４つの画像メモリを含む。動きモデルメモリ４５０は２つ存在する。すなわち、動領域抽出プロセッサ４には、画像メモリ４００として、前後フレーム２枚が２つずつ存在する。これはスループットを向上させるため、１フレームの画像を小さなブロック画像に分割し、ブロック画像単位で処理を行う画面分割手法を取り入れて、ブロック画像単位でフレームパイプライン処理を行っていることによる。それゆえ、動きモデルメモリ４５０、及び、領域テーブルレジスタ４６０もそれぞれ２つずつ存在する。
なお、動領域抽出プロセッサ４の外部には、推定マップ６００と、領域テーブルメモリ６１０とが設けられている。
【００２５】
輝度勾配演算部４１０A及び４１０Bは、輝度勾配の算出と、動き精度評価指標の算出とを行う論理ブロックである。
動きモデル計算部４２０は、動きモデル推定を行う論理ブロックである。
領域ラベリング部４３０は、領域ラベリングを行う論理ブロックである。
【００２６】
ラベルマップメモリ４４０は、ラベルマップを保存するためのメモリである。
動きモデルメモリ４５０は、動きモデルを保存するためのメモリである。
領域テーブルレジスタ４６０は、領域テーブルを保持するレジスタである。
【００２７】
ラベルマップ推定部４７０は、ラベルマップ予測を行う論理ロジックである。
制御部４８０は、他の構成を制御するコントローラーである。
【００２８】
図４は、運転支援処理の全体動作（S１０）を説明するフローチャートである。
図５は、アフィン動きモデル推定処理をより詳細に説明するフローチャートである。
図６は、境界更新処理（又は新領域検出処理）をより詳細に説明するフローチャートである。
図７は、ラベルマップ推定処理をより詳細に説明するフローチャートである。
【００２９】
図４に示すように、情報処理装置１０は、２台のカメラ２０から入力された動画像データに関して、動画像を構成する連続フレーム毎に、S１００〜S１９０の処理を実行する。なお、２台のカメラ２０から入力される動画像データを、便宜上、右動画像データと、左動画像データと呼ぶ。
ステップ１００（S１００）において、動領域抽出プロセッサ４は、左動画像データについて、アフィン動きモデル推定処理を行う。より具体的には、アフィン動きモデルθとは、図１３の式(1)のように、６つのパラメータの組み合わせで動き場全体を表現できる。平行移動・回転・発散収縮を基本とした様々な動きを表現でき、座標(x, y)におけるx,y 軸方向の動きベクトル(u, v)は式(1)のように書ける。
動画像からアフィン動きモデルを推定するには、動領域抽出プロセッサ４は、画面の各画素から計算される時空間輝度勾配Ix, Iy, Itを用いて，輝度勾配行列G,Gsを計算する。そして逆行列G-1を計算し、アフィン動きモデルθ= G-1 ・Gsを計算する。
動領域抽出では、アフィン動きモデル推定の精度を向上させるためPSMアルゴリズム（本実施形態）又はRMRアルゴリズム（後述する変形例）を採用している。PSMアルゴリズムでは動きモデル推定をする際、図５又は図６の４つの繰り返し計算を行い、推定精度を向上させている。各繰り返しは、図９に示されているように、階層ピラミッド単位、階層単位、階層フレーム単位、最下層画素単位と入れ子構造の繰り返し計算を行う。階層フレーム単位の繰り返しは、動きモデルを足し込んでいき精度を向上させる。階層単位の繰り返しは、画像の大きな動きに対応させるために上位の低解像度画像での推定結果を下位の画像で利用する。
階層ピラミッド単位の繰り返しは、アフィン動きモデル推定の際の外れ値を、ロバスト推定器であるM-estimatorを用いて画素単位で重みの評価指標qiによって重みwiを計算し、推定精度を向上させている。
【００３０】
ステップ１２０（S１２０）において、動領域抽出プロセッサ４は、左動画像データについて、境界更新処理を行う。より具体的には、動領域抽出プロセッサ４は、予測マップe~と動きモデルθの二つから最適な境界を持つラベルマップeに更新する。更新には、図１４のエネルギー関数U(e, o, e~) を最小化し、最適なラベルマップを推定する。oは画像と動きモデルから計算される観測値（オブザベーション）であり、動きモデルによって計算される動きの信頼性を表す。
このステップも、アフィン動きモデル推定処理と同様に、繰り返し処理を行いラベルマップの推定結果を向上させている。ただし、階層ピラミッド単位の繰り返し処理は除く。
【００３１】
ステップ１４０（S１４０）において、動領域抽出プロセッサ４は、左動画像データについて、新領域検出処理を行う。より具体的には、動領域抽出プロセッサ４は、それぞれの領域において、推定された動きモデルが当てはまらない領域を検出する。具体的には、それぞれの領域に対して動きモデルが適合する”static ”領域、適合しない”mobile ”領域に分割する。これには領域更新ステップで用いたようなエネルギー最小化を行う。またこのステップも境界更新ステップと同様な繰り返し処理を行うことによって推定結果を向上させている。
【００３２】
ステップ１６０（S１６０）において、動領域抽出プロセッサ４は、左動画像データについて、ラベルマップ予測処理を行う。より具体的には、動領域抽出プロセッサ４は、ラベルマップe(t)と動きモデルθの二つから、時刻ｔ＋１におけるラベルマップを予測する。具体的には、各画素の移動先を動きモデルによって計算し、ラベルを移動させる。そして時刻ｔ＋１では、予測マップe~(ｔ＋１)を用いてアフィン動きモデル推定を行う。
【００３３】
ステップ１７０（S１７０）において、動領域抽出プロセッサ４は、視差マップを生成する。より具体的には、動領域抽出プロセッサ４（視差分割部１２０）は、左動画像データを時刻ｔのデータ、右動画像データを時刻ｔ＋１のデータとみなして、上記S１００〜S１４０の処理と同等の処理を行い、視差による動きを示すラベルマッピングを行う。なお、本ステップは、便宜上、S１６０の処理と並行して記載してあるが、実際には、他のステップと並行してもよいし、S１００〜S１６０のいずれかに直列的に挿入されてもよい。
【００３４】
ステップ１８０（S１８０）において、移動体特定部１５０は、動領域抽出プロセッサ４により生成された領域マップ及び視差マップに基づいて要素分類部１３０により分類された画像領域と、特徴量抽出部１４０により抽出された特徴量とに基づいて、他の移動体に相当する画像要素を特定する。より具体的には、要素分類部１３０は、動領域抽出プロセッサ４により生成された領域マップ（動き分割部１１０による分割結果）と、動領域抽出プロセッサ４により生成された視差マップ（視差分割部１２０による分割結果）とに基づいて、画像領域を分類し、特徴量抽出部１４０は、分類された画像領域の特徴量を抽出する。移動体特定部１５０は、路面の動きモデルと、各画像領域の動きモデルとを比較して、路面に相当する画像領域以外の画像領域を特定し、路面以外の画像領域それぞれについて、特徴量に基づいて、他の移動体に相当する画像領域であるか否かを判断する。
ステップ１９０（S１９０）において、運転支援部１７０は、移動体特定部１５０による特定結果と、視差ラベルとに基づいて、運転支援を行う。例えば、運転支援部１７０は、他の移動体に相当する画像領域の視差ラベルから、この移動体が既定距離以上離れていると判断できる場合に、平常状態である旨を情報処理装置１０のタッチパネルに表示させ、この移動体が既定距離よりも近いと判断した場合に、この移動体に相当する画像要素のラベルマップを参照して、この移動体の移動状態（接近中なのか、離れて行っているのか）をタッチパネルに表示させる。
なお、図１２（A）は、路面マップを例示し、図１２（B）は、視差マップを例示する。視差マップによれば、横断歩道やセンターラインなどの路面表示物も、路面として評価できる。視差マップと路面マップによって、路面表示物の抽出も可能になる。
【００３５】
以上説明したように、本実施形態の運転支援システム１によれば、1回の動領域抽出によって、領域分割（撮影画像を画像要素に分割する処理）と、視差情報の抽出（視差マップの生成処理）とを同時に行うため、処理負荷を抑えることができる。例えば、ステレオ画像をブロックマッチングして、右画像と左画像の同一画像要素を特定し、視差を算出する場合には、本実施形態の方法に比べて、格段に演算量が大きい。そして、視差を用いて物体に相当する領域に分割する処理を別途行う必要がある。また、ブロックマッチングを行う方法では、右動画像と左動画像をできるだけ一致させるために、精細なカメラの校正と画像の補正が必要であるが、本実施形態では、これらは不要である。
また、本実施形態によれば、動領域抽出に基づく動き分割と追跡により動きや形の変化を推定するため、他の移動体に相当する画像要素の多様な動きや、形の変化にも対応できる。さらに、これらの処理過程で得られる情報を特徴量とすれば、一般には演算量の大きい他の手段で別途特徴量を抽出することなく、移動体の特定が可能である。つまり、システムを構成する複数の処理の間で動領域抽出を共通の処理とすることで、高速で面積の小さい実装が可能である。
【００３６】
［変形例１］
次に、上記実施形態の変形例を説明する。変形例として、より効率化した動領域抽出プロセッサ５を例示する。
図８は、変形例における動領域抽出プロセッサ５の機能ブロック図である。
図８に例示するように、動領域抽出プロセッサ５は、画像メモリ５００と、共通演算部５１０と、動きモデル計算部５２０と、領域ラベリング部５３０と、ラベルマップメモリ５４０と、動きモデルメモリ５５０と、領域テーブルレジスタ５６０と、ラベルマップ推定部５７０と、制御部５８０とで構成されている。
なお、動領域抽出プロセッサ５の外部には、推定マップ６００と、領域テーブルメモリ６１０とが設けられている。
【００３７】
画像メモリ５００は、前後２フレームの画像データを保存するために、第１画像メモリ５００Aと、第２画像メモリ５００Bとを含む。
共通演算部５１０は、動きモデル推定処理と領域ラベリング処理とで共通の演算を行う論理ブロックである。より具体的には、共通演算部５１０は、輝度勾配の算出と、動き精度評価指標の算出とを行う。
動きモデル計算部５２０は、動きモデル推定を行う論理ブロックである。
領域ラベリング部５３０は、領域ラベリングを行う論理ブロックである。
【００３８】
ラベルマップメモリ５４０は、ラベルマップを保存するためのメモリである。
動きモデルメモリ５５０は、動きモデルを保存するためのメモリである。
領域テーブルレジスタ５６０は、領域テーブルを保持するレジスタである。
【００３９】
ラベルマップ推定部５７０は、ラベルマップ予測を行う論理ロジックである。
制御部５８０は、他の構成を制御するコントローラーである。
【００４０】
上記実施形態の動領域抽出プロセッサ４は、動領域抽出処理各ステップを階層ピラミッド単位で逐次処理する必要があった。そして、スループットを向上させるために、画面分割手法とフレームパイプライン手法を取り入れた。しかし、フレームパイプライン手法により、画像メモリ４００及び動きモデルメモリ４５０をチップ内部に前後２フレーム分持つ必要があるためにチップ面積の増加に繋がった。また、動きモデル推定ステップと領域ラべリングステップにおいて、輝度勾配、動きの精度評価指標といった類似した計算を行うが、別々の演算器で処理を行っていることもハードウェア規模の増加に繋がっている。
【００４１】
一方で、本変形例の動領域抽出プロセッサ５は、図９に示すように、動きモデル推定処理と領域ラベリング処理との間の連携強化、画素単位のパイプライン処理の実現、及び、要素処理（輝度勾配の算出など）の共通化と簡単化、によって、上記実施形態と比較して、アーキテクチャの５０％削減、及び、４．２倍のスループットを実現している。
すなわち、上記実施形態の動領域抽出プロセッサ４は、最終的な動きモデル推定の結果を用いて領域ラベリングを行い、処理が逐次的に行われていた。一方、本変形例の動領域抽出プロセッサ５は、下記の２つの改良点によって、動きモデルとラベルマップの交換が階層フレーム単位の繰り返しで可能となり、各ステップ処理が緊密な連携をとれるようになった。さらに、本変形例の動領域抽出各ステップ処理で、階層フレーム単位の１回前の繰り返し計算の推定結果を利用することで、ステップ単位での並列計算が実現できる。
改良点の１つ目は、動きモデル推定にRMRアルゴリズムを採用した。比較例で用いられるPSMアルゴリズムは、動きモデル計算及び重み計算を、階層ピラミッド単位で繰り返し計算する。それに対し、本実施形態のRMRアルゴリズムは、図９（A）のように、動きモデル計算及び重み計算を、階層フレーム単位で繰り返し計算する。さらに階層フレーム単位で１回前の繰り返し計算結果を用いることで、動きモデル計算及び重み計算を並列に計算することが可能となる。また、本変形例では、重み計算に関して、動き精度評価指標qiを領域ラベリングステップの動き精度評価指標と共通化しεiとした。
改良点の２つ目は、動きモデルと領域ラベリング間で頻繁な処理結果の交換を行う点である。動きモデル推定ステップでRMRアルゴリズムを採用することによって、領域ラベリングと同様な繰り返し処理を行うようになる。そこに注目して、図９（A）のように、階層フレーム単位の処理を、動きモデル推定処理、境界更新処理、新領域検出処理の順で処理していき、その結果を次の階層フレーム単位の繰り返し計算の時に利用する。その後、階層単位の繰り返し処理を行い（図９（A）中の３）、また同様に階層フレーム単位の繰り返し計算を行う。この階層フレーム単位の繰り返し計算を、各ステップに渡って一度に実行することによって、最新の動きモデルと最新のラベルマップを利用できる。したがって、本変形例のアルゴリズムは、図９に示すように、実施形態のアルゴリズムより、頻繁に処理結果を交換するアルゴリズムとなる。
【００４２】
また、上記実施形態のアルゴリズムの境界更新は、更新対象の１画素に対し複数ラベルのエネルギー計算を行う必要がある。複数ラベルのエネルギー計算には、各ラベルの示す動きに従って移動した画素と、その周囲の画素値が必要であり、同時読み出しが極めて困難である。それゆえ、１画素１サイクルのパイプライン処理が困難である。さらに、境界更新と新領域検出が独立に行われるため、１画素あたり最低２サイクル必要である。
そこで、本変形例の動領域抽出プロセッサ５では、図９（B）に示すように、境界更新の候補ラベル数を削減し、境界更新と新領域検出を統合した。
以下で、動領域抽出全体での画素単位のパイプライン処理を実現するにあたり必要なアルゴリズム最適化について述べる。
まず、本変形例の動領域抽出プロセッサ５では、領域ラベリングステップにおいて、１画素の処理は境界更新か新領域検出のどちらかのみ行う、という処理の二者択一化を行った。上記実施形態のアルゴリズムでは、境界更新処理を境界のみで行い、新領域検出処理を全画素で行っていた。本変形例のアルゴリズムでは、境界更新処理を境界のみで行い、新領域検出処理をそれ以外（境界以外）の画素で行う。こうすることで、同じラスタスキャン中に２ステップの処理を同時に行うことができ、処理を統合できる。
さらに、本変形例では、境界更新ステップにおける参照ラベルを、注目画素のラベルと、周囲に存在するラベルの２つに制限した。言い換えると、更新後なりうるラベルが、”元のラベル”か、”周りにあるラベル”かの２種類に制限した。本変形例の動領域抽出プロセッサ５は、ラベルが３種類以上ある場合に、例えば、ラベル番号の若い物を２つ選択する。この変更によって、境界検出が新領域検出と同様な処理を行うことになる。新領域検出に関しては、上記実施形態と変わらず、”static”と ”mobile”のラベル２種類である。ラベル決定法に関しては、エネルギー計算対象のラベルは”static”のみとなる。
【００４３】
また、上記実施形態の動領域抽出アルゴリズムは、各ステップにおいて類似した計算が存在し、それを逐次的に何度も計算させていた。本変形例のアルゴリズムは、類似した計算を共通化させ、演算器を共有させるために、共通化と簡単化を行った。
輝度勾配計算（輝度勾配演算部４１０による計算）は，動きモデル推定の輝度勾配行列G,Gsの計算に必要であり、また動きモデル推定の重みwiの計算、境界更新のエネルギー関数U1、新領域検出のエネルギー関数U1で必要になる動きの精度評価指標に必要となる。これらは、共通の計算を行っており、本変形例では、処理の内容を共通化し、演算部（共通演算部５１０）を動きモデル計算部５２０（アフィン動きモデル推定処理）と領域ラベリング部５３０（領域更新・新領域検出処理）とに共用させる。
動き精度評価指標は、動きモデル推定の重み計算、領域ラベリングのエネルギー関数U1において必要である。動領域抽出処理全体で画素単位のパイプライン処理を実現するために、動きモデル推定の重み計算と、領域ラベリングの動きの精度評価指標計算とを共通化し、計算回路を一つにする。具体的には、図１１に示すように、演算式を簡単化し共通化し、共通演算部５１０により計算させることとした。また、重み計算時の閾値はCを、動き精度評価指標が共通化されたことからηに置き換わる。また境界更新のエネルギー関数を新領域検出のエネルギー更新と共通とした。
【００４４】
以上説明したように、本変形例の動領域抽出プロセッサ５によれば、上記実施形態と比較して、画像メモリ及び動きモデルメモリが５０％となる。また、アフィン動きモデル推定処理、領域更新処理、及び新領域検出処理の共通演算である輝度勾配計算と動き精度評価指標計算が共通化され、動きモデル推定処理及び領域ラベリング処理が並列に画素パイプライン処理を行う。さらに、境界更新処理及び新領域検出処理が一つの論理ブロックに統合される。
より詳細には、本変形例の動領域抽出プロセッサ５は、動きモデル推定及び領域ラベリングの繰り返し計算を、階層フレームごとに交互に計算することによって、動きモデルとラベルマップの情報交換が緊密になり、分割結果収束までの繰り返し回数が削減できる。また、同じ画像の動領域抽出処理に対し、図１０に示すように、動きモデル推定及び領域ラベリングの処理を階層フレーム単位で反復させて計算させることができるようになった。さらに動領域抽出処理全体で見たときに画素単位のパイプライン処理が可能になり、図１０（B）に示すように、動きモデル推定及び領域ラベリングを並列に計算させることができるようになった。結果、画面分割とフレームパイプライン手法を用いずにスループットを向上させることができ、内部の画像メモリ、及び、動きモデルメモリを５０％に削減することができる。また、各ステップの要素処理エネルギー計算を簡単化・共通化し、これらのロジックに関して、比較例のアーキテクチャの５０％削減した。比較例と本実施形態とで同精度の領域抽出結果を得る場合、本実施形態の動領域抽出プロセッサ５は、比較例と比較して、４．２倍のスループットを達成できる。
【符号の説明】
【００４５】
１ 運転支援システム
１０ 情報処理装置
１００ カメラ制御部
１１０ 動き分割部
１２０ 視差分割部
１３０ 要素分類部
１４０ 特徴量抽出部
１５０ 移動体特定部
１６０ 追跡部
１７０ 運転支援部
２０ カメラ
４，５ 動領域抽出プロセッサ
４００，５００ 画像メモリ
４１０ 輝度勾配演算部
５１０ 共通演算部
４２０，５２０ 動きモデル計算部
４３０，５３０ 領域ラベリング部
４４０，５４０ ラベルマップメモリ
４５０，５５０ 動きモデルメモリ
４６０，５６０ 領域テーブルレジスタ
４７０，５７０ ラベルマップ推定部
４８０，５８０ 制御部
【技術分野】
【０００１】
本発明は、移動体の運転を支援する運転支援システムに関する。
【背景技術】
【０００２】
例えば、特許文献１に、ステレオ画像に基づいて障害物までの距離を計算し、計算された距離に基づいて、自動車などの運転を支援するシステムが提案されている。
【０００３】
また、例えば、非特許文献１では、アフィン動き推定を用いた動領域抽出アルゴリズムが提案されている。このアルゴリズムの特徴は、領域分割とそれぞれの領域に対応する動きモデルを同時に求めることである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１３１７４０
【非特許文献１】J. M. Odobez, P. Bouthemy, “ Direct Incremental Model-Based Image Motion Segmentation for Video Analysis ”, Signal Processing, 66, pp. 143-155, 1998.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、比較的軽い処理で運転者の支援を行う運転支援システムを提供する。
【課題を解決するための手段】
【０００６】
本発明に係る運転支援システムは、移動体に設定された第1の撮影位置から、前記移動体の外の被写体を複数のタイミングで撮影する第1の撮影手段と、前記移動体に設定された第2の撮影位置から、前記被写体を複数のタイミングで撮影する第2の撮影手段と、前記第1の撮影手段により撮影された複数の撮影画像と、前記第2の撮影手段により撮影された複数の撮影画像とに基づいて、それぞれの撮影画像に含まれる画像要素を、各画像要素の動きによって分割する動き分割手段と、前記第１の撮影手段により撮影された撮影画像と、前記第2の撮影手段により撮影された撮影画像とに基づいて、それぞれの撮影画像に含まれる画像要素を、前記第１の撮影位置及び前記第2の撮影位置の視差による撮影画像上の視差によって分割する視差分割手段と、前記動き分割手段による分割結果と前記視差分割手段による分割結果を用いて物体に対応する画像要素に分類する要素分類手段と、前記要素分類手段による分類結果と、前記視差分割手段により抽出された視差情報とに基づいて、前記移動体の運転を支援する運転支援手段とを有する。
【０００７】
好適には、前記視差分割手段は、前記分割手段による分類結果に基づいて、同じ分類の画像要素の視差情報を抽出する。
【０００８】
好適には、入力される複数の撮影画像に基づいて、撮影画像に含まれる画像要素を、それぞれの画像要素の変位により分割する動領域抽出処理装置を有し、前記動き分割手段は、前記動領域抽出処理装置に対して、複数のタイミングで撮影された複数の撮影画像を入力して、画像要素を動きによって分割させ、前記視差分割手段は、前記動領域抽出処理装置に対して、前記第１の撮影手段及び前記第２の撮影手段により略同時に撮影された撮影画像を入力して、画像要素を視差によって分割させる。
【０００９】
好適には、前記移動体は、路面上を走行するものであり、前記要素分類手段による分類結果に基づいて、撮影画像上の路面に相当する画像要素の動きと比較して、撮影画像の他の画像要素を他の移動体として特定する移動体特定手段をさらに有し、前記運転支援手段は、前記移動体特定手段により特定された他の移動体と、前記視差分割手段により抽出された他の移動体の視差情報とに基づいて、他の移動体の接近に関する警告、他の移動体の接近に対する自動回避処理、又は、他の移動体との距離が既定の範囲となるように移動速度を制御する速度調整処理を行う。
【００１０】
好適には、前記移動体は、路面上を走行するものであり、前記視差分割手段は、前記第１の撮影手段により撮影された撮影画像と、前記第2の撮影手段により撮影された撮影画像とに基づいて、前記第１の撮影位置及び前記第2の撮影位置の視差による動きモデルを視差モデルとして抽出し、路面の視差モデルに基づいて、路面以外の画像要素を特定する移動体特定手段をさらに有し、前記運転支援手段は、前記移動体特定手段により特定された他の移動体と、前記視差分割手段により抽出された他の移動体の視差情報とに基づいて、他の移動体の接近に関する警告、他の移動体の接近に対する自動回避処理、又は、他の移動体との距離が既定の範囲となるように移動速度を制御する速度調整処理を行う。
【００１１】
本発明に係る運転支援方法は、第１の撮影位置及び第２の撮影位置から、被写体を撮影する撮影ステップと、前記第1の撮影位置から撮影された複数の撮影画像と、前記第2の撮影位置から撮影された複数の撮影画像とに基づいて、それぞれの撮影画像に含まれる画像要素を、各画像要素の動きによって分割する動き分割ステップと、前記第１の撮影位置から撮影された撮影画像と、前記第2の撮影位置から撮影された撮影画像とに基づいて、それぞれの撮影画像に含まれる画像要素を、前記第１の撮影位置及び前記第2の撮影位置の視差による撮影画像上の視差情報によって分割する視差分割ステップと、前記動き分割ステップによる分割結果と前記視差分割ステップによる分割結果を用いて物体に対応する画像要素に分類する要素分類ステップと、前記要素分類ステップによる分類結果と、前記視差分割ステップにより得られた視差情報とに基づいて、前記移動体の運転を支援する運転支援ステップとを有する。
【００１２】
本発明に係るプログラムは、第1の撮影位置から撮影された複数の撮影画像と、第2の撮影位置から撮影された複数の撮影画像とに基づいて、それぞれの撮影画像に含まれる画像要素を、各画像要素の動きによって分割する動き分割ステップと、前記第１の撮影位置から撮影された撮影画像と、前記第2の撮影位置から撮影された撮影画像とに基づいて、それぞれの撮影画像に含まれる画像要素を、前記第１の撮影位置及び前記第2の撮影位置の視差による撮影画像上の視差情報によって分割する視差分割ステップと、前記動き分割ステップによる分割結果と前記視差分割ステップによる分割結果を用いて物体に対応する画像要素に分類する要素分類ステップと、前記要素分類ステップによる分類結果と、前記視差分割ステップにより得られた視差情報とに基づいて、前記移動体の運転を支援するための情報を生成する運転支援ステップとを有するコンピュータに実行させる。
【発明の効果】
【００１３】
本発明によれば、より軽い処理で運転者の支援を行うことができる。
【図面の簡単な説明】
【００１４】
【図１】運転支援システム１の概要を例示する図である。
【図２】情報処理装置１０の機能構成を例示する図である。
【図３】動領域抽出プロセッサ４の機能ブロック図である。
【図４】運転支援処理の全体動作（Ｓ１０）を説明するフローチャートである。
【図５】アフィン動きモデル推定処理をより詳細に説明するフローチャートである。
【図６】境界更新処理（又は新領域検出処理）をより詳細に説明するフローチャートである。
【図７】ラベルマップ推定処理をより詳細に説明するフローチャートである。
【図８】変形例における動領域抽出プロセッサ５の機能ブロック図である。
【図９】本実施形態の動領域抽出プロセッサ５の特徴を説明する図である。
【図１０】（A）は、実施形態の繰り返し計算を説明し、（B）は、変形例の繰り返し計算を説明する図である。
【図１１】共通化した評価指標を説明する図である。
【図１２】領域抽出結果を例示する図である。
【図１３】アフィン動きモデルを説明する図である。
【図１４】エネルギー関数を例示する図である。
【発明を実施するための形態】
【００１５】
次に、図を参照して、本発明の実施形態を説明する。
図１は、運転支援システム１の概要を例示する図である。
図１に例示するように、運転支援システム１は、移動体に設置され、情報処理装置１０と、複数のカメラ２０とを含む。ここで、移動体とは、移動する物体であり、自動車や電車などの車両、航空機などの飛行体、又は、船舶などである。本例では、自動車の車体９に運転支援システム１が設置された形態を具体例として説明する。
情報処理装置１０は、後述する動領域抽出プロセッサ４がインストールされたコンピュータ装置である。本例の情報処理装置１０は、さらに、画像の表示処理及び入力受付処理を行うタッチパネルと、警告音などを出力するスピーカとを有し、運転者と対面する位置に設置されている。
複数のカメラ２０は、互いに異なる撮影位置から被写体を同時に撮影するカメラであり、例えば、動画像を撮影するビデオカメラである。本例の２台のカメラ２０は、自動車のダッシュボード上のフロントガラス近傍に左右に並べて設置されたビデオカメラである。
【００１６】
図２は、情報処理装置１０の機能構成を例示する図である。
図２に例示するように、情報処理装置１０は、カメラ制御部１００、動き分割部１１０、視差分割部１２０、要素分類部１３０、特徴量抽出部１４０、移動体特定部１５０、追跡部１６０、運転支援部１７０、及び、動領域抽出プロセッサ４を有する。
カメラ制御部１００は、２台のカメラ２０を制御して、同時に撮影された動画像を動領域抽出プロセッサ４に出力させる。
【００１７】
動き分割部１１０は、動領域抽出プロセッサ４に対して、複数の撮影画像を入力して、入力された撮影画像を、画像要素それぞれの変位によって分割する。
より具体的には、動き分割部１１０は、同じカメラ２０により異なるタイミングで撮影された複数の撮影画像に基づいて、これらの撮影画像に含まれる画像要素を、画像要素それぞれの動きによって分類する。本例の動き分割部１１０は、動領域抽出プロセッサ４に対して、同一のカメラ２０により連続して撮影された２つの撮影画像に基づいて、ラベルマップ（領域ラベリングの結果）を生成させる。
【００１８】
視差分割部１２０は、複数のカメラ２０により同時に撮影された複数の撮影画像に基づいて、撮影画像を、画像要素それぞれの変位（すなわち、視差に基づく変位）によって分割する。視差に基づく変位は、カメラから被写体までの距離に応じて変化するため、視差分割部１２０は、複数のカメラ２０により同時に撮影された複数の撮影画像に基づいて、これらの撮影画像に含まれる画像要素を、画像要素それぞれまでの距離によって分類することになる。本例の視差分割部１２０は、動領域抽出プロセッサ４に対して、２台のカメラ２０により同時に撮影された２つの撮影画像に基づいて、ラベルマップ（以下、「視差マップ」という）を生成させる。
なお、視差情報の抽出は、上記の方法に限定されるものではなく、例えば、視差分割部１２０は、要素分類部１１０により分類された画像要素の変位量をそれぞれ算出し、算出された変位量を視差情報としてもよい。
【００１９】
要素分類部１３０は、動き分割部１１０による分割結果と、視差分割部１２０による分割結果とに基づいて、撮影画像において、物体に相当する画像領域を特定する。本例の要素分類部１３０は、被写体の動きによって分類された画像要素と、視差によって分類された画像要素（視差マップ）とに基づいて、撮影画像中のそれぞれの物体に相当する画像領域を特定する。すなわち、要素分類部１３０は、被写体中の物体の動きによって分類された画像要素と、被写体中の各物体までの距離によって分類された画像要素とを用いて、物体に相当する画像領域を特定する。
【００２０】
特徴量抽出部１４０は、撮影画像に含まれる画像要素の特徴量を抽出する。ここで、画像要素の特徴量とは、画像要素の位置、距離、大きさ、領域を囲む長方形のアスペクト比、輝度勾配に関する値、エッジに関する値などである。例えば、特徴量抽出部１４０は、要素分類部１３０により物体として特定された画像領域について、動領域抽出プロセッサ４による演算結果の一部（輝度勾配行列など）を特徴量として取得する。
【００２１】
移動体特定部１５０は、要素分類部１３０による分類結果と、特徴量抽出部１４０により抽出された特徴量とに基づいて、路面や（例えば建物や街路樹などの）背景に相当する画像領域と、これら以外の物体（例えば、他の移動体）に相当する画像領域を特定する。例えば、移動体特定部１５０は、要素分類部１３０により物体として特定された画像領域の形、大きさ、及び位置に基づいて、他の移動体を特定する。また、移動体特定部１５０は、撮影画像上の路面に相当する画像要素と同じラベルが付された画素を既定以上に含む画像要素を、路面と判断し、これら以外の画像領域を他の移動体として判断してもよい。
【００２２】
追跡部１６０は、移動体特定部１５０により特定された物体に相当する画像領域を、動きモデルに基づいて追跡する。本例の追跡部１６０は、動領域抽出プロセッサ４により得られる予測ラベルマップに基づいて、物体に相当する画像要素の移動先を追跡する。
【００２３】
運転支援部１７０は、視差分割部１２０により抽出された視差情報（視差マップなど）と、移動体特定部１５０の特定結果と、追跡部１６０の追跡結果に基づいて、自動車の運転を支援する。例えば、運転支援部１７０は、視差分割部１２０により生成された視差マップと、移動体特定部１５０の特定結果と、追跡部１６０の追跡結果に基づいて、路面以外の画像要素の視差と接近の速さが既定値以上となった場合に、障害物との衝突の危険性が高いものと判断して、その旨の警告音を出力させる。また、運転支援部１７０は、さらに、追跡部１６０による追跡結果に基づいて、他の移動体の移動方向を予測して、障害物の接近を評価してもよい。また、運転支援部１７０は、緊急ブレーキの自動制御、又は、他の移動体を追尾するように速度を制御する速度自動制御を行ってもよい。
【００２４】
図３は、動領域抽出プロセッサ４の機能構成を例示する図である。
図３に例示するように、動領域抽出プロセッサ４は、画像メモリ４００と、輝度勾配演算部４１０と、動きモデル計算部４２０と、領域ラベリング部４３０と、ラベルマップメモリ４４０と、２つの動きモデルメモリ４５０と、２つの領域テーブルレジスタ４６０と、ラベルマップ推定部４７０と、制御部４８０とで構成されている。
画像メモリ４００は、４フレームの画像データを保存するために、４つの画像メモリを含む。動きモデルメモリ４５０は２つ存在する。すなわち、動領域抽出プロセッサ４には、画像メモリ４００として、前後フレーム２枚が２つずつ存在する。これはスループットを向上させるため、１フレームの画像を小さなブロック画像に分割し、ブロック画像単位で処理を行う画面分割手法を取り入れて、ブロック画像単位でフレームパイプライン処理を行っていることによる。それゆえ、動きモデルメモリ４５０、及び、領域テーブルレジスタ４６０もそれぞれ２つずつ存在する。
なお、動領域抽出プロセッサ４の外部には、推定マップ６００と、領域テーブルメモリ６１０とが設けられている。
【００２５】
輝度勾配演算部４１０A及び４１０Bは、輝度勾配の算出と、動き精度評価指標の算出とを行う論理ブロックである。
動きモデル計算部４２０は、動きモデル推定を行う論理ブロックである。
領域ラベリング部４３０は、領域ラベリングを行う論理ブロックである。
【００２６】
ラベルマップメモリ４４０は、ラベルマップを保存するためのメモリである。
動きモデルメモリ４５０は、動きモデルを保存するためのメモリである。
領域テーブルレジスタ４６０は、領域テーブルを保持するレジスタである。
【００２７】
ラベルマップ推定部４７０は、ラベルマップ予測を行う論理ロジックである。
制御部４８０は、他の構成を制御するコントローラーである。
【００２８】
図４は、運転支援処理の全体動作（S１０）を説明するフローチャートである。
図５は、アフィン動きモデル推定処理をより詳細に説明するフローチャートである。
図６は、境界更新処理（又は新領域検出処理）をより詳細に説明するフローチャートである。
図７は、ラベルマップ推定処理をより詳細に説明するフローチャートである。
【００２９】
図４に示すように、情報処理装置１０は、２台のカメラ２０から入力された動画像データに関して、動画像を構成する連続フレーム毎に、S１００〜S１９０の処理を実行する。なお、２台のカメラ２０から入力される動画像データを、便宜上、右動画像データと、左動画像データと呼ぶ。
ステップ１００（S１００）において、動領域抽出プロセッサ４は、左動画像データについて、アフィン動きモデル推定処理を行う。より具体的には、アフィン動きモデルθとは、図１３の式(1)のように、６つのパラメータの組み合わせで動き場全体を表現できる。平行移動・回転・発散収縮を基本とした様々な動きを表現でき、座標(x, y)におけるx,y 軸方向の動きベクトル(u, v)は式(1)のように書ける。
動画像からアフィン動きモデルを推定するには、動領域抽出プロセッサ４は、画面の各画素から計算される時空間輝度勾配Ix, Iy, Itを用いて，輝度勾配行列G,Gsを計算する。そして逆行列G-1を計算し、アフィン動きモデルθ= G-1 ・Gsを計算する。
動領域抽出では、アフィン動きモデル推定の精度を向上させるためPSMアルゴリズム（本実施形態）又はRMRアルゴリズム（後述する変形例）を採用している。PSMアルゴリズムでは動きモデル推定をする際、図５又は図６の４つの繰り返し計算を行い、推定精度を向上させている。各繰り返しは、図９に示されているように、階層ピラミッド単位、階層単位、階層フレーム単位、最下層画素単位と入れ子構造の繰り返し計算を行う。階層フレーム単位の繰り返しは、動きモデルを足し込んでいき精度を向上させる。階層単位の繰り返しは、画像の大きな動きに対応させるために上位の低解像度画像での推定結果を下位の画像で利用する。
階層ピラミッド単位の繰り返しは、アフィン動きモデル推定の際の外れ値を、ロバスト推定器であるM-estimatorを用いて画素単位で重みの評価指標qiによって重みwiを計算し、推定精度を向上させている。
【００３０】
ステップ１２０（S１２０）において、動領域抽出プロセッサ４は、左動画像データについて、境界更新処理を行う。より具体的には、動領域抽出プロセッサ４は、予測マップe~と動きモデルθの二つから最適な境界を持つラベルマップeに更新する。更新には、図１４のエネルギー関数U(e, o, e~) を最小化し、最適なラベルマップを推定する。oは画像と動きモデルから計算される観測値（オブザベーション）であり、動きモデルによって計算される動きの信頼性を表す。
このステップも、アフィン動きモデル推定処理と同様に、繰り返し処理を行いラベルマップの推定結果を向上させている。ただし、階層ピラミッド単位の繰り返し処理は除く。
【００３１】
ステップ１４０（S１４０）において、動領域抽出プロセッサ４は、左動画像データについて、新領域検出処理を行う。より具体的には、動領域抽出プロセッサ４は、それぞれの領域において、推定された動きモデルが当てはまらない領域を検出する。具体的には、それぞれの領域に対して動きモデルが適合する”static ”領域、適合しない”mobile ”領域に分割する。これには領域更新ステップで用いたようなエネルギー最小化を行う。またこのステップも境界更新ステップと同様な繰り返し処理を行うことによって推定結果を向上させている。
【００３２】
ステップ１６０（S１６０）において、動領域抽出プロセッサ４は、左動画像データについて、ラベルマップ予測処理を行う。より具体的には、動領域抽出プロセッサ４は、ラベルマップe(t)と動きモデルθの二つから、時刻ｔ＋１におけるラベルマップを予測する。具体的には、各画素の移動先を動きモデルによって計算し、ラベルを移動させる。そして時刻ｔ＋１では、予測マップe~(ｔ＋１)を用いてアフィン動きモデル推定を行う。
【００３３】
ステップ１７０（S１７０）において、動領域抽出プロセッサ４は、視差マップを生成する。より具体的には、動領域抽出プロセッサ４（視差分割部１２０）は、左動画像データを時刻ｔのデータ、右動画像データを時刻ｔ＋１のデータとみなして、上記S１００〜S１４０の処理と同等の処理を行い、視差による動きを示すラベルマッピングを行う。なお、本ステップは、便宜上、S１６０の処理と並行して記載してあるが、実際には、他のステップと並行してもよいし、S１００〜S１６０のいずれかに直列的に挿入されてもよい。
【００３４】
ステップ１８０（S１８０）において、移動体特定部１５０は、動領域抽出プロセッサ４により生成された領域マップ及び視差マップに基づいて要素分類部１３０により分類された画像領域と、特徴量抽出部１４０により抽出された特徴量とに基づいて、他の移動体に相当する画像要素を特定する。より具体的には、要素分類部１３０は、動領域抽出プロセッサ４により生成された領域マップ（動き分割部１１０による分割結果）と、動領域抽出プロセッサ４により生成された視差マップ（視差分割部１２０による分割結果）とに基づいて、画像領域を分類し、特徴量抽出部１４０は、分類された画像領域の特徴量を抽出する。移動体特定部１５０は、路面の動きモデルと、各画像領域の動きモデルとを比較して、路面に相当する画像領域以外の画像領域を特定し、路面以外の画像領域それぞれについて、特徴量に基づいて、他の移動体に相当する画像領域であるか否かを判断する。
ステップ１９０（S１９０）において、運転支援部１７０は、移動体特定部１５０による特定結果と、視差ラベルとに基づいて、運転支援を行う。例えば、運転支援部１７０は、他の移動体に相当する画像領域の視差ラベルから、この移動体が既定距離以上離れていると判断できる場合に、平常状態である旨を情報処理装置１０のタッチパネルに表示させ、この移動体が既定距離よりも近いと判断した場合に、この移動体に相当する画像要素のラベルマップを参照して、この移動体の移動状態（接近中なのか、離れて行っているのか）をタッチパネルに表示させる。
なお、図１２（A）は、路面マップを例示し、図１２（B）は、視差マップを例示する。視差マップによれば、横断歩道やセンターラインなどの路面表示物も、路面として評価できる。視差マップと路面マップによって、路面表示物の抽出も可能になる。
【００３５】
以上説明したように、本実施形態の運転支援システム１によれば、1回の動領域抽出によって、領域分割（撮影画像を画像要素に分割する処理）と、視差情報の抽出（視差マップの生成処理）とを同時に行うため、処理負荷を抑えることができる。例えば、ステレオ画像をブロックマッチングして、右画像と左画像の同一画像要素を特定し、視差を算出する場合には、本実施形態の方法に比べて、格段に演算量が大きい。そして、視差を用いて物体に相当する領域に分割する処理を別途行う必要がある。また、ブロックマッチングを行う方法では、右動画像と左動画像をできるだけ一致させるために、精細なカメラの校正と画像の補正が必要であるが、本実施形態では、これらは不要である。
また、本実施形態によれば、動領域抽出に基づく動き分割と追跡により動きや形の変化を推定するため、他の移動体に相当する画像要素の多様な動きや、形の変化にも対応できる。さらに、これらの処理過程で得られる情報を特徴量とすれば、一般には演算量の大きい他の手段で別途特徴量を抽出することなく、移動体の特定が可能である。つまり、システムを構成する複数の処理の間で動領域抽出を共通の処理とすることで、高速で面積の小さい実装が可能である。
【００３６】
［変形例１］
次に、上記実施形態の変形例を説明する。変形例として、より効率化した動領域抽出プロセッサ５を例示する。
図８は、変形例における動領域抽出プロセッサ５の機能ブロック図である。
図８に例示するように、動領域抽出プロセッサ５は、画像メモリ５００と、共通演算部５１０と、動きモデル計算部５２０と、領域ラベリング部５３０と、ラベルマップメモリ５４０と、動きモデルメモリ５５０と、領域テーブルレジスタ５６０と、ラベルマップ推定部５７０と、制御部５８０とで構成されている。
なお、動領域抽出プロセッサ５の外部には、推定マップ６００と、領域テーブルメモリ６１０とが設けられている。
【００３７】
画像メモリ５００は、前後２フレームの画像データを保存するために、第１画像メモリ５００Aと、第２画像メモリ５００Bとを含む。
共通演算部５１０は、動きモデル推定処理と領域ラベリング処理とで共通の演算を行う論理ブロックである。より具体的には、共通演算部５１０は、輝度勾配の算出と、動き精度評価指標の算出とを行う。
動きモデル計算部５２０は、動きモデル推定を行う論理ブロックである。
領域ラベリング部５３０は、領域ラベリングを行う論理ブロックである。
【００３８】
ラベルマップメモリ５４０は、ラベルマップを保存するためのメモリである。
動きモデルメモリ５５０は、動きモデルを保存するためのメモリである。
領域テーブルレジスタ５６０は、領域テーブルを保持するレジスタである。
【００３９】
ラベルマップ推定部５７０は、ラベルマップ予測を行う論理ロジックである。
制御部５８０は、他の構成を制御するコントローラーである。
【００４０】
上記実施形態の動領域抽出プロセッサ４は、動領域抽出処理各ステップを階層ピラミッド単位で逐次処理する必要があった。そして、スループットを向上させるために、画面分割手法とフレームパイプライン手法を取り入れた。しかし、フレームパイプライン手法により、画像メモリ４００及び動きモデルメモリ４５０をチップ内部に前後２フレーム分持つ必要があるためにチップ面積の増加に繋がった。また、動きモデル推定ステップと領域ラべリングステップにおいて、輝度勾配、動きの精度評価指標といった類似した計算を行うが、別々の演算器で処理を行っていることもハードウェア規模の増加に繋がっている。
【００４１】
一方で、本変形例の動領域抽出プロセッサ５は、図９に示すように、動きモデル推定処理と領域ラベリング処理との間の連携強化、画素単位のパイプライン処理の実現、及び、要素処理（輝度勾配の算出など）の共通化と簡単化、によって、上記実施形態と比較して、アーキテクチャの５０％削減、及び、４．２倍のスループットを実現している。
すなわち、上記実施形態の動領域抽出プロセッサ４は、最終的な動きモデル推定の結果を用いて領域ラベリングを行い、処理が逐次的に行われていた。一方、本変形例の動領域抽出プロセッサ５は、下記の２つの改良点によって、動きモデルとラベルマップの交換が階層フレーム単位の繰り返しで可能となり、各ステップ処理が緊密な連携をとれるようになった。さらに、本変形例の動領域抽出各ステップ処理で、階層フレーム単位の１回前の繰り返し計算の推定結果を利用することで、ステップ単位での並列計算が実現できる。
改良点の１つ目は、動きモデル推定にRMRアルゴリズムを採用した。比較例で用いられるPSMアルゴリズムは、動きモデル計算及び重み計算を、階層ピラミッド単位で繰り返し計算する。それに対し、本実施形態のRMRアルゴリズムは、図９（A）のように、動きモデル計算及び重み計算を、階層フレーム単位で繰り返し計算する。さらに階層フレーム単位で１回前の繰り返し計算結果を用いることで、動きモデル計算及び重み計算を並列に計算することが可能となる。また、本変形例では、重み計算に関して、動き精度評価指標qiを領域ラベリングステップの動き精度評価指標と共通化しεiとした。
改良点の２つ目は、動きモデルと領域ラベリング間で頻繁な処理結果の交換を行う点である。動きモデル推定ステップでRMRアルゴリズムを採用することによって、領域ラベリングと同様な繰り返し処理を行うようになる。そこに注目して、図９（A）のように、階層フレーム単位の処理を、動きモデル推定処理、境界更新処理、新領域検出処理の順で処理していき、その結果を次の階層フレーム単位の繰り返し計算の時に利用する。その後、階層単位の繰り返し処理を行い（図９（A）中の３）、また同様に階層フレーム単位の繰り返し計算を行う。この階層フレーム単位の繰り返し計算を、各ステップに渡って一度に実行することによって、最新の動きモデルと最新のラベルマップを利用できる。したがって、本変形例のアルゴリズムは、図９に示すように、実施形態のアルゴリズムより、頻繁に処理結果を交換するアルゴリズムとなる。
【００４２】
また、上記実施形態のアルゴリズムの境界更新は、更新対象の１画素に対し複数ラベルのエネルギー計算を行う必要がある。複数ラベルのエネルギー計算には、各ラベルの示す動きに従って移動した画素と、その周囲の画素値が必要であり、同時読み出しが極めて困難である。それゆえ、１画素１サイクルのパイプライン処理が困難である。さらに、境界更新と新領域検出が独立に行われるため、１画素あたり最低２サイクル必要である。
そこで、本変形例の動領域抽出プロセッサ５では、図９（B）に示すように、境界更新の候補ラベル数を削減し、境界更新と新領域検出を統合した。
以下で、動領域抽出全体での画素単位のパイプライン処理を実現するにあたり必要なアルゴリズム最適化について述べる。
まず、本変形例の動領域抽出プロセッサ５では、領域ラベリングステップにおいて、１画素の処理は境界更新か新領域検出のどちらかのみ行う、という処理の二者択一化を行った。上記実施形態のアルゴリズムでは、境界更新処理を境界のみで行い、新領域検出処理を全画素で行っていた。本変形例のアルゴリズムでは、境界更新処理を境界のみで行い、新領域検出処理をそれ以外（境界以外）の画素で行う。こうすることで、同じラスタスキャン中に２ステップの処理を同時に行うことができ、処理を統合できる。
さらに、本変形例では、境界更新ステップにおける参照ラベルを、注目画素のラベルと、周囲に存在するラベルの２つに制限した。言い換えると、更新後なりうるラベルが、”元のラベル”か、”周りにあるラベル”かの２種類に制限した。本変形例の動領域抽出プロセッサ５は、ラベルが３種類以上ある場合に、例えば、ラベル番号の若い物を２つ選択する。この変更によって、境界検出が新領域検出と同様な処理を行うことになる。新領域検出に関しては、上記実施形態と変わらず、”static”と ”mobile”のラベル２種類である。ラベル決定法に関しては、エネルギー計算対象のラベルは”static”のみとなる。
【００４３】
また、上記実施形態の動領域抽出アルゴリズムは、各ステップにおいて類似した計算が存在し、それを逐次的に何度も計算させていた。本変形例のアルゴリズムは、類似した計算を共通化させ、演算器を共有させるために、共通化と簡単化を行った。
輝度勾配計算（輝度勾配演算部４１０による計算）は，動きモデル推定の輝度勾配行列G,Gsの計算に必要であり、また動きモデル推定の重みwiの計算、境界更新のエネルギー関数U1、新領域検出のエネルギー関数U1で必要になる動きの精度評価指標に必要となる。これらは、共通の計算を行っており、本変形例では、処理の内容を共通化し、演算部（共通演算部５１０）を動きモデル計算部５２０（アフィン動きモデル推定処理）と領域ラベリング部５３０（領域更新・新領域検出処理）とに共用させる。
動き精度評価指標は、動きモデル推定の重み計算、領域ラベリングのエネルギー関数U1において必要である。動領域抽出処理全体で画素単位のパイプライン処理を実現するために、動きモデル推定の重み計算と、領域ラベリングの動きの精度評価指標計算とを共通化し、計算回路を一つにする。具体的には、図１１に示すように、演算式を簡単化し共通化し、共通演算部５１０により計算させることとした。また、重み計算時の閾値はCを、動き精度評価指標が共通化されたことからηに置き換わる。また境界更新のエネルギー関数を新領域検出のエネルギー更新と共通とした。
【００４４】
以上説明したように、本変形例の動領域抽出プロセッサ５によれば、上記実施形態と比較して、画像メモリ及び動きモデルメモリが５０％となる。また、アフィン動きモデル推定処理、領域更新処理、及び新領域検出処理の共通演算である輝度勾配計算と動き精度評価指標計算が共通化され、動きモデル推定処理及び領域ラベリング処理が並列に画素パイプライン処理を行う。さらに、境界更新処理及び新領域検出処理が一つの論理ブロックに統合される。
より詳細には、本変形例の動領域抽出プロセッサ５は、動きモデル推定及び領域ラベリングの繰り返し計算を、階層フレームごとに交互に計算することによって、動きモデルとラベルマップの情報交換が緊密になり、分割結果収束までの繰り返し回数が削減できる。また、同じ画像の動領域抽出処理に対し、図１０に示すように、動きモデル推定及び領域ラベリングの処理を階層フレーム単位で反復させて計算させることができるようになった。さらに動領域抽出処理全体で見たときに画素単位のパイプライン処理が可能になり、図１０（B）に示すように、動きモデル推定及び領域ラベリングを並列に計算させることができるようになった。結果、画面分割とフレームパイプライン手法を用いずにスループットを向上させることができ、内部の画像メモリ、及び、動きモデルメモリを５０％に削減することができる。また、各ステップの要素処理エネルギー計算を簡単化・共通化し、これらのロジックに関して、比較例のアーキテクチャの５０％削減した。比較例と本実施形態とで同精度の領域抽出結果を得る場合、本実施形態の動領域抽出プロセッサ５は、比較例と比較して、４．２倍のスループットを達成できる。
【符号の説明】
【００４５】
１ 運転支援システム
１０ 情報処理装置
１００ カメラ制御部
１１０ 動き分割部
１２０ 視差分割部
１３０ 要素分類部
１４０ 特徴量抽出部
１５０ 移動体特定部
１６０ 追跡部
１７０ 運転支援部
２０ カメラ
４，５ 動領域抽出プロセッサ
４００，５００ 画像メモリ
４１０ 輝度勾配演算部
５１０ 共通演算部
４２０，５２０ 動きモデル計算部
４３０，５３０ 領域ラベリング部
４４０，５４０ ラベルマップメモリ
４５０，５５０ 動きモデルメモリ
４６０，５６０ 領域テーブルレジスタ
４７０，５７０ ラベルマップ推定部
４８０，５８０ 制御部
【特許請求の範囲】
【請求項１】
移動体に設定された第1の撮影位置から、前記移動体の外の被写体を複数のタイミングで撮影する第1の撮影手段と、
前記移動体に設定された第2の撮影位置から、前記被写体を複数のタイミングで撮影する第2の撮影手段と、
前記第1の撮影手段により撮影された複数の撮影画像と、前記第2の撮影手段により撮影された複数の撮影画像とに基づいて、それぞれの撮影画像に含まれる画像要素を、各画像要素の動きによって分割する動き分割手段と、
前記第１の撮影手段により撮影された撮影画像と、前記第2の撮影手段により撮影された撮影画像とに基づいて、それぞれの撮影画像に含まれる画像要素を、前記第１の撮影位置及び前記第2の撮影位置の視差による撮影画像上の視差によって分割する視差分割手段と、
前記動き分割手段による分割結果と前記視差分割手段による分割結果を用いて物体に対応する画像要素に分類する要素分類手段と、
前記要素分類手段による分類結果と、前記視差分割手段により抽出された視差情報とに基づいて、前記移動体の運転を支援する運転支援手段と
を有する運転支援システム。
【請求項２】
前記視差分割手段は、前記要素分割手段による分類結果に基づいて、同じ分類の画像要素の視差情報を抽出する
請求項１に記載の運転支援システム。
【請求項３】
入力される複数の撮影画像に基づいて、撮影画像に含まれる画像要素を、それぞれの画像要素の変位により分割する動領域抽出処理装置
を有し、
前記動き分割手段は、前記動領域抽出処理装置に対して、複数のタイミングで撮影された複数の撮影画像を入力して、画像要素を動きによって分割させ、
前記視差分割手段は、前記動領域抽出処理装置に対して、前記第１の撮影手段及び前記第２の撮影手段により略同時に撮影された撮影画像を入力して、画像要素を視差によって分割させる
請求項１に記載の運転支援システム。
【請求項４】
前記移動体は、路面上を走行するものであり、
前記要素分類手段による分類結果に基づいて、撮影画像上の路面に相当する画像要素の動きと比較して、撮影画像の他の画像要素を他の移動体として特定する移動体特定手段
をさらに有し、
前記運転支援手段は、前記移動体特定手段により特定された他の移動体と、前記視差分割手段により抽出された他の移動体の視差情報とに基づいて、他の移動体の接近に関する警告、他の移動体の接近に対する自動回避処理、又は、他の移動体との距離が既定の範囲となるように移動速度を制御する速度調整処理を行う
請求項１に記載の運転支援システム。
【請求項５】
前記移動体は、路面上を走行するものであり、
前記視差分割手段は、前記第１の撮影手段により撮影された撮影画像と、前記第2の撮影手段により撮影された撮影画像とに基づいて、前記第１の撮影位置及び前記第2の撮影位置の視差による動きモデルを視差モデルとして抽出し、
路面の視差モデルに基づいて、路面以外の画像要素を特定する移動体特定手段
をさらに有し、
前記運転支援手段は、前記移動体特定手段により特定された他の移動体と、前記視差分割手段により抽出された他の移動体の視差情報とに基づいて、他の移動体の接近に関する警告、他の移動体の接近に対する自動回避処理、又は、他の移動体との距離が既定の範囲となるように移動速度を制御する速度調整処理を行う
請求項１に記載の運転支援システム。
【請求項６】
第１の撮影位置及び第２の撮影位置から、被写体を撮影する撮影ステップと、
前記第1の撮影位置から撮影された複数の撮影画像と、前記第2の撮影位置から撮影された複数の撮影画像とに基づいて、それぞれの撮影画像に含まれる画像要素を、各画像要素の動きによって分割する動き分割ステップと、
前記第１の撮影位置から撮影された撮影画像と、前記第2の撮影位置から撮影された撮影画像とに基づいて、それぞれの撮影画像に含まれる画像要素を、前記第１の撮影位置及び前記第2の撮影位置の視差による撮影画像上の視差情報によって分割する視差分割ステップと、
前記動き分割ステップによる分割結果と前記視差分割ステップによる分割結果を用いて物体に対応する画像要素に分類する要素分類ステップと、
前記要素分類ステップによる分類結果と、前記視差分割ステップにより得られた視差情報とに基づいて、前記移動体の運転を支援する運転支援ステップと
を有する運転支援方法。
【請求項７】
第1の撮影位置から撮影された複数の撮影画像と、第2の撮影位置から撮影された複数の撮影画像とに基づいて、それぞれの撮影画像に含まれる画像要素を、各画像要素の動きによって分割する動き分割ステップと、
前記第１の撮影位置から撮影された撮影画像と、前記第2の撮影位置から撮影された撮影画像とに基づいて、それぞれの撮影画像に含まれる画像要素を、前記第１の撮影位置及び前記第2の撮影位置の視差による撮影画像上の視差情報によって分割する視差分割ステップと、
前記動き分割ステップによる分割結果と前記視差分割ステップによる分割結果を用いて物体に対応する画像要素に分類する要素分類ステップと、
前記要素分類ステップによる分類結果と、前記視差分割ステップにより得られた視差情報とに基づいて、前記移動体の運転を支援するための情報を生成する運転支援ステップと
をコンピュータに実行させるプログラム。
【請求項１】
移動体に設定された第1の撮影位置から、前記移動体の外の被写体を複数のタイミングで撮影する第1の撮影手段と、
前記移動体に設定された第2の撮影位置から、前記被写体を複数のタイミングで撮影する第2の撮影手段と、
前記第1の撮影手段により撮影された複数の撮影画像と、前記第2の撮影手段により撮影された複数の撮影画像とに基づいて、それぞれの撮影画像に含まれる画像要素を、各画像要素の動きによって分割する動き分割手段と、
前記第１の撮影手段により撮影された撮影画像と、前記第2の撮影手段により撮影された撮影画像とに基づいて、それぞれの撮影画像に含まれる画像要素を、前記第１の撮影位置及び前記第2の撮影位置の視差による撮影画像上の視差によって分割する視差分割手段と、
前記動き分割手段による分割結果と前記視差分割手段による分割結果を用いて物体に対応する画像要素に分類する要素分類手段と、
前記要素分類手段による分類結果と、前記視差分割手段により抽出された視差情報とに基づいて、前記移動体の運転を支援する運転支援手段と
を有する運転支援システム。
【請求項２】
前記視差分割手段は、前記要素分割手段による分類結果に基づいて、同じ分類の画像要素の視差情報を抽出する
請求項１に記載の運転支援システム。
【請求項３】
入力される複数の撮影画像に基づいて、撮影画像に含まれる画像要素を、それぞれの画像要素の変位により分割する動領域抽出処理装置
を有し、
前記動き分割手段は、前記動領域抽出処理装置に対して、複数のタイミングで撮影された複数の撮影画像を入力して、画像要素を動きによって分割させ、
前記視差分割手段は、前記動領域抽出処理装置に対して、前記第１の撮影手段及び前記第２の撮影手段により略同時に撮影された撮影画像を入力して、画像要素を視差によって分割させる
請求項１に記載の運転支援システム。
【請求項４】
前記移動体は、路面上を走行するものであり、
前記要素分類手段による分類結果に基づいて、撮影画像上の路面に相当する画像要素の動きと比較して、撮影画像の他の画像要素を他の移動体として特定する移動体特定手段
をさらに有し、
前記運転支援手段は、前記移動体特定手段により特定された他の移動体と、前記視差分割手段により抽出された他の移動体の視差情報とに基づいて、他の移動体の接近に関する警告、他の移動体の接近に対する自動回避処理、又は、他の移動体との距離が既定の範囲となるように移動速度を制御する速度調整処理を行う
請求項１に記載の運転支援システム。
【請求項５】
前記移動体は、路面上を走行するものであり、
前記視差分割手段は、前記第１の撮影手段により撮影された撮影画像と、前記第2の撮影手段により撮影された撮影画像とに基づいて、前記第１の撮影位置及び前記第2の撮影位置の視差による動きモデルを視差モデルとして抽出し、
路面の視差モデルに基づいて、路面以外の画像要素を特定する移動体特定手段
をさらに有し、
前記運転支援手段は、前記移動体特定手段により特定された他の移動体と、前記視差分割手段により抽出された他の移動体の視差情報とに基づいて、他の移動体の接近に関する警告、他の移動体の接近に対する自動回避処理、又は、他の移動体との距離が既定の範囲となるように移動速度を制御する速度調整処理を行う
請求項１に記載の運転支援システム。
【請求項６】
第１の撮影位置及び第２の撮影位置から、被写体を撮影する撮影ステップと、
前記第1の撮影位置から撮影された複数の撮影画像と、前記第2の撮影位置から撮影された複数の撮影画像とに基づいて、それぞれの撮影画像に含まれる画像要素を、各画像要素の動きによって分割する動き分割ステップと、
前記第１の撮影位置から撮影された撮影画像と、前記第2の撮影位置から撮影された撮影画像とに基づいて、それぞれの撮影画像に含まれる画像要素を、前記第１の撮影位置及び前記第2の撮影位置の視差による撮影画像上の視差情報によって分割する視差分割ステップと、
前記動き分割ステップによる分割結果と前記視差分割ステップによる分割結果を用いて物体に対応する画像要素に分類する要素分類ステップと、
前記要素分類ステップによる分類結果と、前記視差分割ステップにより得られた視差情報とに基づいて、前記移動体の運転を支援する運転支援ステップと
を有する運転支援方法。
【請求項７】
第1の撮影位置から撮影された複数の撮影画像と、第2の撮影位置から撮影された複数の撮影画像とに基づいて、それぞれの撮影画像に含まれる画像要素を、各画像要素の動きによって分割する動き分割ステップと、
前記第１の撮影位置から撮影された撮影画像と、前記第2の撮影位置から撮影された撮影画像とに基づいて、それぞれの撮影画像に含まれる画像要素を、前記第１の撮影位置及び前記第2の撮影位置の視差による撮影画像上の視差情報によって分割する視差分割ステップと、
前記動き分割ステップによる分割結果と前記視差分割ステップによる分割結果を用いて物体に対応する画像要素に分類する要素分類ステップと、
前記要素分類ステップによる分類結果と、前記視差分割ステップにより得られた視差情報とに基づいて、前記移動体の運転を支援するための情報を生成する運転支援ステップと
をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−１０５３９２（Ｐ２０１３−１０５３９２Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２４９９１６（Ｐ２０１１−２４９９１６）
【出願日】平成２３年１１月１５日（２０１１．１１．１５）
【出願人】（５０４１６０７８１）国立大学法人金沢大学 (282)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１５日（２０１１．１１．１５）
【出願人】（５０４１６０７８１）国立大学法人金沢大学 (282)
【Ｆターム（参考）】
[ Back to top ]