センサ統合システム及びセンサ統合方法
【課題】複数種類のセンサによる観測データを組み合わせて、目標物の高精度な移動軌跡を抽出する。
【解決手段】プロセッサと、前記プロセッサに接続される記憶装置と、前記プロセッサに接続される出力装置と、を備えるセンサ統合システムであって、前記記憶装置は、複数のセンサによって観測された観測データを保持し、前記観測データはあらかじめ規定された項目のうち選択的に記述された項目を含み、前記プロセッサは複数の前記観測データの選択記述された前記項目を組み合わせ、一つ以上の目標物の移動軌跡を推定し、前記出力装置は、前記移動軌跡を示す情報を出力する。
【解決手段】プロセッサと、前記プロセッサに接続される記憶装置と、前記プロセッサに接続される出力装置と、を備えるセンサ統合システムであって、前記記憶装置は、複数のセンサによって観測された観測データを保持し、前記観測データはあらかじめ規定された項目のうち選択的に記述された項目を含み、前記プロセッサは複数の前記観測データの選択記述された前記項目を組み合わせ、一つ以上の目標物の移動軌跡を推定し、前記出力装置は、前記移動軌跡を示す情報を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異なる種類のセンサを含む複数のセンサによる観測データを用いて目標物を特定する技術に関する。
【背景技術】
【０００２】
重要施設、環境若しくは災害地域の監視、又は、捜索・救難支援など、センサを用いて広域を監視するニーズがある。
【０００３】
広域監視には、広い範囲を監視できるセンサであるレーダが有効である。ただしレーダ１台ではセンサ特性から注目領域をカバーできず、複数レーダの組み合わせ利用が必要な場合が多い。また広域監視では現場で発生している事象の状況が把握しづらいため、現場の状況を人が見て確認したり、さらに画像解析技術によって情報抽出するなどのニーズがある。このようなニーズに応じるためには、カメラを用いた動画又は静止画の形式のデータの利用が有効である。近年、カメラが安価となり利用しやすくなった。また地上設置の固定型の監視カメラだけでなく、車両、飛行体、又は水上及び水中移動体など、様々な移動型センサプラットフォームにカメラが搭載され、センサとして実利用可能となっている。
【０００４】
例えば、移動カメラが撮影した画像から、移動体を抽出する方法が開示されている（非特許文献１）。また、複数センサによって取得された情報に基づいてリアルタイムに目標物の運動モデルを推定する方法が開示されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平７−２１８６１１号公報
【非特許文献】
【０００６】
【非特許文献１】木村宣隆 他、「対称的差分探索法による移動車両のリアルタイム検出」、２０１０年度人工知能学会全国大会、２Ｅ２−０１、２０１０年６月
【発明の概要】
【発明が解決しようとする課題】
【０００７】
非特許文献１には、上記のように、１種類のセンサ（具体的には移動カメラ）から取得された情報から移動体を抽出する技術が開示されているが、例えばレーダとカメラといった異なる種類の複数センサを組み合わせて用い、各センサの特性に応じて観測データを組み合わせて、目標物を高精度に特定する方法は開示されていない。
【０００８】
一方、特許文献１に開示された方法は、特定のセンサへの依存性があり、例えばレーダとカメラのような異種センサの組み合わせに適用することはできなかった。一般に、異種センサを用いた観測データの統合においては、一つの目標物について、精度および質（記述項目）が異なる複数の観測データが存在する場合が多い。そのため、センサ毎、さらには観測データ毎に特性の異なる情報の精度や質を考慮しつつ、統合処理する技術が必要であった。
【０００９】
本発明は、上記のような課題に鑑みてなされたものであり、異なる種類のセンサを含む複数センサの観測データを用いて、それらのセンサに特有の処理方式を実装しつつ、多様なセンサの組み合わせに対応した目標物の移動軌跡の推定を実現することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の代表的な一例を示せば次の通りである。すなわち、プロセッサと、前記プロセッサに接続される記憶装置と、前記プロセッサに接続される出力装置と、を備えるセンサ統合システムであって、前記記憶装置は、複数のセンサによって観測された観測データを保持し、前記観測データはあらかじめ規定された項目のうち選択的に記述された項目を含み、前記プロセッサは複数の前記観測データの選択記述された前記項目を組み合わせ、一つ以上の目標物の移動軌跡を推定し、前記出力装置は、前記移動軌跡を示す情報を出力することを特徴とする。
【発明の効果】
【００１１】
本発明のセンサ統合システムは、特性の異なる複数センサを組み合わせて監視できるため、広範囲を高精度に監視できる。特に大量ノイズ又は系統的欠測が生じる陸上の広域監視分野で、少数の異種センサを組み合わせて監視することができ、効率的（安価）かつ高頻度に監視できる。さらに、移動プラットフォームに搭載されたセンサと地上センサなどを補完でき、相互に特徴ある情報を組み合わせて、高信頼な状況把握が実現できるという利点がある。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態のセンサ統合システムの構成及び概略処理フローを示す機能ブロック図である。
【図２】本発明の実施形態のセンサ統合システムのハードウェア構成を示すブロック図である。
【図３】本発明の実施形態のセンサ統合システムの構成及び概略処理フローの具体例を示す機能ブロック図である。
【図４】本発明の実施形態のセンサ統合システムの構成及び概略処理フローの変形例を示す機能ブロック図である。
【図５Ａ】本発明の実施形態のセンサ統合装置が保持するセンサモデルＤＢの説明図である。
【図５Ｂ】本発明の実施形態のセンサ統合装置が保持する目標物モデルＤＢに含まれるキー情報テーブルの説明図である。
【図５Ｃ】本発明の実施形態のセンサ統合装置が保持する目標物モデルＤＢに含まれる主テーブルの説明図である。
【図５Ｄ】本発明の実施形態のセンサ統合装置が保持する目標物モデルＤＢに含まれるキー情報定義テーブルの説明図である。
【図６】本発明の実施形態のセンサ情報統合部が実行するセンサ情報統合処理を示すフローチャートである。
【図７】本発明の実施形態のセンサ情報統合部が実行するセンサ情報統合処理の第１の例の説明図である。
【図８】本発明の実施形態のセンサ情報統合部が実行する目標物モデルの自動構築及び切り換えの説明図である。
【図９】本発明の実施形態のセンサ情報統合部が実行するセンサ情報統合処理の第２の例の説明図である。
【図１０】本発明の実施形態のセンサ情報統合部が実行する目標物の位置調整処理の説明図である。
【図１１】本発明の実施形態のセンサ情報統合部が実行する観測データ判定の動的調整の説明図である。
【図１２】本発明の実施形態のセンサ情報統合部による観測データの組み合わせ選択の説明図である。
【図１３】本発明の実施形態のセンサ統合システムにおいて使用される地図インデックスの説明図である。
【図１４】本発明の実施形態のセンサ統合システムによって出力される情報の説明図である。
【発明を実施するための形態】
【００１３】
以下、図面を用いて本発明の実施の形態を説明する。
【００１４】
なお、本実施形態では目標物の移動軌跡を「航跡」と表現するが、本発明が対象とする目標物は、移動する物体である限り、例えば車両、人又は船舶等、いかなるものであってもよい。また、観測データの確度情報の例として分散値を用いて説明するが、分散値の代わりに分散共分散行列を用いても良い。その場合、後述のゲート範囲は円ではなく楕円、判定に用いる距離はマハラノビス距離、確率分布は多次元正規分布としても良い。
【００１５】
図１は、本発明の実施形態のセンサ統合システムの構成及び概略処理フローを示す機能ブロック図である。
【００１６】
本実施形態のセンサ統合システムは、センサ統合装置１００、複数のセンサ、及び、センサ統合装置１００と複数のセンサとを接続するネットワーク１６０によって構成される。
【００１７】
複数のセンサは、目標物に関する情報を取得できるものであればどのようなものであってもよい。ここで、目標物に関する情報とは、例えば目標物の位置を示す情報又は外形を示す情報等である。
【００１８】
図１には二つのセンサ、すなわちセンサ１＿１５１及びセンサ２＿１５２を示すが、本実施形態のセンサ統合システムは、さらに多くのセンサを含んでもよい。これらの複数のセンサは、複数の種類のセンサを含む。例えば、センサ１＿１５１がレーダであり、センサ２＿１５２がカメラであってもよい。このような例の詳細については図３を参照して後述する。
【００１９】
センサ統合装置１００は、センサ情報入力部１０１、センサ種別１前処理部１０２Ａ、センサ種別２前処理部１０２Ｂ、センサ種別１目標物検出部１０３Ａ、センサ種別２目標物検出部１０３Ｂ、センサ情報統合部１０４、地図出力部１０５、航跡情報出力部１０６及びセンサ情報出力部１０７を備える。
【００２０】
さらに、センサ統合装置１００は、上記の各部によって参照される参照情報１１１、センサ情報入力部１０１に入力されたセンサ情報を格納するセンサ情報ＤＢ（データベース）１１７、及びセンサ情報統合部によって生成された航跡情報等を格納する目標物情報ＤＢ１１６を保持する。参照情報１１１は、センサモデルＤＢ１１２、目標物モデルＤＢ１１３、地図情報ＤＢ１１４及び処理パラメータＤＢ１１５を含む。なお、センサ情報ＤＢ１１７及び目標物情報ＤＢ１１６は、地図情報ＤＢ１１４の一部として保持されてもよい。
【００２１】
センサ１＿１５１等は、センシングによって取得した観測データを含むセンサ情報１７０を、ネットワーク１６０を介してセンサ統合装置１００に送信する。本実施形態のセンサ情報１７０は、センサ属性１７１、データ１７２及びデータ属性１７３を含む。センサ属性１７１は、そのセンサ情報１７０を送信したセンサの種別（たとえばそれがレーダ又はカメラ等のいずれであるかを示す情報）、識別子（ＩＤ）、及び当該センサの観測データに含まれる可能性がある項目（時刻、位置、速度、加速度、及び航跡）のような、センサの諸元を含む。データ１７２は、各センサによって取得された観測データ及びそれが取得された時刻等を含む。データ属性１７３は、観測データの属性を示す情報、例えば観測データの精度等を含んでもよい。これらの詳細については後述する。センサ統合装置１００は、センサ情報１７０をステップごとに取得してもよいし、ストリーミングによって取得してもよい。
【００２２】
各センサは、センサ統合装置１００に固定的に接続されていてもよいが、新規のセンサの追加及び既存のセンサの削除を許容してもよい。追加されたセンサからの要求に基づいてセンサ統合装置１００に新たなセンサが登録されてもよいし（すなわちＰＵＳＨ登録）、センサ統合装置１００がセンサを検索し、検索されたセンサを登録してもよい（すなわちＰＵＬＬ登録）。
【００２３】
センサ情報入力部１０１は、センサから受信したセンサ情報１７０をセンサ情報ＤＢ１１７に格納する。また、センサ情報入力部１０１は、異なる種類のセンサに対応するため、センサ情報１７０に含まれるセンサ属性１７１に記述されたセンサ種別に基づいてセンサ情報１７０の送信元のセンサ種別を判定し、判定されたセンサ種別に対応するセンサモデルに基づいて、センサ情報１７０を処理する前処理部等を選択する。これによって、例えばセンサ１＿１５１から送信されたセンサ情報１７０はセンサ種別１前処理部１０２Ａ及びセンサ種別１目標物検出部１０３Ａによって処理され、センサ２＿１５２から送信されたセンサ情報１７０はセンサ種別２前処理部１０２Ｂ及びセンサ種別２目標物検出部１０３Ｂによって処理される。
【００２４】
例えば、センサ種別１前処理部１０２Ａは、センサ１＿１５１から送信された観測データについて前処理を行う。例えば、前処理として、センサ種別１前処理部１０２Ａは、センサ１＿１５１からのセンサ情報１７０やデータ１７２に含まれている座標値を、センサ情報統合部１０４において扱われる絶対座標系における座標値に変換してもよい。例えばセンサがレーダの場合、観測データの座標値が極座標系（距離、仰角、方位角）で記述される場合があるため、これを絶対座標系に変換してもよい。また絶対座標系とは、複数種類のセンサによって観測された座標値を統一的に扱うために使用される統一的な座標系であり、例えばＧＰＳにおいて使用されるＷＧＳ８４経緯度座標系や、あるいはＵＴＭ（ユニバーサル横メルカトール図法）など直交座標系等、任意の座標系を絶対座標系として採用することができる。さらに、上記以外の処理が前処理として実行されてもよい。同様に、センサ種別２前処理部１０２Ｂは、例えば、センサ２＿１５２から送信されたセンサ情報１７０についての前処理を実行する。
【００２５】
センサ種別１目標物検出部１０３Ａ及びセンサ種別２目標物検出部１０３Ｂは、観測データに基づいて、目標物を検出する処理、特に、移動している目標物を検出する処理を実行する。この処理については図３等を参照して後述する。
【００２６】
センサ統合装置１００に３種類以上のセンサからの観測データが入力される場合、センサ統合装置１００は、さらに多くの前処理部及び目標物検出部を備える（図示省略）。
【００２７】
センサ情報統合部１０４は、複数種類のセンサによって取得され、前処理及び目標物検出処理が実行された観測データに基づいて、目標物の航跡を抽出する。特に、複数の種類の目標物が混在する環境下で目標物及びその航跡を抽出するため、目標物モデルに基づいて、航跡抽出の処理を調整する。これらの処理を実行するために、センサ情報統合部１０４は、キー情報抽出部１０４Ａ、処理調整部１０４Ｂ及び航跡抽出処理部１０４Ｃを含む。これらが実行する詳細な処理については後述する。抽出された航跡を示す情報は、目標物情報ＤＢ１１６に格納される。
【００２８】
具体的には、例えば、キー情報抽出部１０４Ａは、複数種類のセンサのうち少なくとも一つによる観測データから、航跡抽出処理に有効なキー情報を抽出する。ここでキー情報とは、目標物の数、大きさ、速度、又は航跡（目標物検出部の処理結果の航跡ＩＤ）等である。
【００２９】
処理調整部１０４Ｂは、抽出されたキー情報に基づいて、観測データを組み合わせて処理するための処理パラメータ等を調整する。具体的には、処理調整部１０４Ｂは、抽出されたキー情報に基づいて、観測データの組み合わせから航跡の仮説を作成するために使用する目標物モデルを選択又は変更し、さらに、同時に存在する航跡の数（すなわち仮説選択数）を限定してもよい。あるいは、目標物が存在するか否かはレーダからの観測データに基づいて判定し、目標物の位置や属性（サイズ等）、及びその連続性（航跡ＩＤ）はカメラからの観測データに基づいて判定するなどの処理を指定してよい。
【００３０】
航跡抽出処理部１０４Ｃは、処理調整部１０４Ｂによって調整された処理パラメータを使用することによって、それぞれの種類のセンサの特性を考慮して、航跡を推定し、推定された航跡を、抽出結果として出力する。航跡抽出処理部１０４Ｃは、例えば、公知技術であるＭＨＴ（Ｍｕｌｔｉｐｌｅ Ｈｙｐｏｔｈｅｓｉｓ Ｔｒａｃｋｉｎｇ、多重仮説相関方式）やＪＰＤＡ（Ｊｏｉｎｔ Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）等によって航跡を抽出してもよい。ＭＨＴを利用する場合、処理パラメータの調整は、仮設の組み合わせ生成結果から選択される仮説の数を、キー情報に含まれる目標物の数と同数に制限することであってもよい。
【００３１】
あるいは、キー情報に含まれる目標物の大きさ及び速度を用いてフィルタリングすることによって目標物モデルを選択し、その目標物モデルに基づいて仮説の確からしさを検証してもよい。あるいは、非線形・非ガウス型時系列データの推定方法として知られているＰＦ（Ｐａｒｔｉｃｌｅ Ｆｉｌｔｅｒ、粒子フィルタ）を利用してもよい。ＰＦを利用する場合、目標物モデルを用いてＰＦで使用されるサンプルの拡散の方向及び移動量を制御することによって処理パラメータを調整してもよい。
【００３２】
なお、上記のような処理の分担は一例であり、実際には多様な分担の形態が考えられる。例えば、前処理部及び目標物検出部の全部又は一部がセンサ側に設けられてもよいし（図４参照）、前処理部及び目標物検出部が実行するものと同様の処理を全てセンサ情報統合部１０４が実行してもよい。図１においてセンサ種別１目標物検出部１０３Ａが破線で表示されているのは、上記のように、目標物の検出が別の処理部等で実行されてもよいことを示している。
【００３３】
地図出力部１０５は、地図情報ＤＢ１１４を参照して地図を出力し、さらに、目標物の座標値及び抽出された航跡をその地図上に出力する。航跡情報出力部１０６は、抽出された航跡を出力する。センサ情報出力部１０７は、センサ情報ＤＢ１１７に格納された観測データ（具体的には目標物の座標値等）を出力する。後述するように、観測データ及び抽出された航跡は、種々の態様で出力され得る。図１には、代表的な三つの態様に対応する三つの出力部を示したが、実際には、さらに多様な態様の出力を実行するために多数の出力部が設けられてもよいし、一つの出力部が、ユーザから指定された態様又は所定の条件に従って定められた態様で航跡等を出力してもよい。
【００３４】
図２は、本発明の実施形態のセンサ統合システムのハードウェア構成を示すブロック図である。
【００３５】
本実施形態のセンサ統合装置１００は、インターフェース（Ｉ／Ｆ）２０１、プロセッサ２０２、記憶装置２０３、入力装置２０４及び出力装置２０５を備える。これらは、通信線（例えばバス）２０６を介して相互に接続される。
【００３６】
Ｉ／Ｆ２０１は、ネットワーク１６０に接続され、ネットワーク１６０を介してセンサ１＿１５１及びセンサ２＿１５２等からセンサ情報１７０を受信する。ネットワーク１６０は、例えばＩＰネットワーク又はその他の種類のネットワーク等、いかなるものであってもよい。
【００３７】
なお、図１にはセンサ情報１７０がネットワーク１６０を介してセンサ統合装置１００に入力される例を示したが、センサ情報１７０がネットワーク１６０を介さずにセンサ統合装置１００に入力されてもよい。例えば、センサ１＿１５１等がＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のケーブルを介してセンサ統合装置１００に接続され、そのケーブルを介してセンサ情報１７０がセンサ統合装置１００に入力されてもよい。その場合、Ｉ／Ｆ２０１はＵＳＢのインターフェースである。あるいは、センサ１＿１５１等がセンサ情報１７０を持ち運び可能な記憶媒体（例えば持ち運び可能なフラッシュメモリ又は記憶ディスク）に格納し、その記憶媒体からセンサ情報１７０がセンサ統合装置１００に入力されてもよい。その場合、Ｉ／Ｆ２０１は記憶媒体の読み出し装置である。あるいは、センサ１＿１５１等がセンサ統合装置１００に直結されてもよい。
【００３８】
プロセッサ２０２は、センサ統合装置１００の各部を制御することによって、センサ統合装置１００の種々の機能を実現する。例えば、プロセッサ２０２は、記憶装置２０３に格納されたプログラムに従って、Ｉ／Ｆ２０１、入力装置２０４及び出力装置２０５を制御することによって、図１のセンサ情報入力部１０１、センサ種別１前処理部１０２Ａ、センサ種別２前処理部１０２Ｂ、センサ種別１目標物検出部１０３Ａ、センサ種別２目標物検出部１０３Ｂ、センサ情報統合部１０４、地図出力部１０５、航跡情報出力部１０６及びセンサ情報出力部１０７の機能を実現してもよい。その場合、図２に示すハードウェアとして一般的なＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）が使用されてもよい。あるいは、プロセッサ２０２は、上記のような汎用プロセッサでなく、上記の各部の機能を実現する一つ以上の専用プロセッサであってもよい。
【００３９】
記憶装置２０３には、プロセッサ２０２が実行するプログラム及びプロセッサ２０２によって参照されるデータが格納される。例えば、図１に示した参照情報１１１、目標物情報ＤＢ１１６及びセンサ情報ＤＢ１１７が記憶装置２０３に格納される。記憶装置２０３は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような揮発性の半導体メモリ、フラッシュメモリのような不揮発性の半導体メモリ、若しくはハードディスクドライブのようなディスク装置のいずれか、又はそれらの組み合わせであってもよい。
【００４０】
入力装置２０４は、ユーザからの指示等を受け付けるために使用され、例えば、キーボード及びマウス等を含んでもよい。センサ統合装置１００がユーザから指示を受ける必要がない場合には、入力装置２０４が省略されてもよい。
【００４１】
出力装置２０５は、抽出された航跡等を出力する。例えば、出力装置２０５は、液晶表示装置のような画像表示装置であってもよい。その場合、図１に示した各出力部の機能は、プロセッサ２０２が画像を生成するプログラムに従って航跡等を表示する画像を作成し、画像表示装置がその画像を表示することによって実現される。
【００４２】
なお、図１に示した各出力部は、ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍ Ｉｎｔｅｒｆａｃｅ）、Ｗｅｂサービス又は記憶媒体を介して航跡等を出力してもよい。その場合、出力装置は、ネットワークインターフェース又は記憶媒体への書き込み装置であってもよい。
【００４３】
図３は、本発明の実施形態のセンサ統合システムの構成及び概略処理フローの具体例を示す機能ブロック図である。
【００４４】
具体的には、図３は、図１に示したセンサ統合システムに含まれる複数の種類のセンサのうち第１の種類のセンサがレーダであり、第２の種類のセンサがカメラである場合の構成及び概略処理フローを示す。このようなセンサ統合システムは、複数のレーダ及び複数のカメラを備えてもよい。
【００４５】
なお、周知のように、レーダは、目標物の位置に関する情報を取得できるセンサである。一方、カメラは、目標物を含む監視対象領域の画像を撮影するセンサである。撮影された画像から、目標物の領域（例えば大きさ及び形状などの外形等）に関する情報を取得できる。カメラの位置及び撮影された方向等を特定するパラメータが与えられれば、撮影された画像に基づいて目標物の位置を特定することもできる。
【００４６】
図３に示すセンサ統合システムのレーダ１＿１５１Ａ及びレーダ２＿１５１Ｂは、図１に示すセンサ統合システムのセンサ１＿１５１に相当し、カメラ１＿１５２Ａ及びカメラ２＿１５２Ｂはセンサ２＿１５２に相当する。カメラ１＿１５２Ａ等は、固定されたカメラであってもよいし、移動体に設置された移動カメラであってもよい。移動カメラの一例は、有人又は無人の飛行体に設置され、地表方向を撮影するカメラである。この場合、撮影される目標物は、例えば地表を移動する車両、人又は水面を移動する船舶等である。
【００４７】
レーダ及びカメラからセンサ統合装置１００に入力されるセンサ情報１７０の構造は図１に示したものと同じであるが、含まれている観測データの詳細な内容は、後述するように、センサの種類ごとに異なってもよい。
【００４８】
レーダ情報入力部１０１Ａ及びカメラ情報入力部１０１Ｂはセンサ情報入力部１０１に相当し、レーダ前処理部１０２Ｃ及びレーダ目標物検出部１０３Ｃがそれぞれセンサ種別１前処理部１０２Ａ及びセンサ種別１目標物検出部１０３Ａに相当し、カメラ前処理部１０２Ｄ及びカメラ目標物検出部１０３Ｄがそれぞれセンサ種別２前処理部１０２Ｂ及びセンサ種別２目標物検出部１０３Ｂに相当する。これらの各部は、基本的には、それぞれに相当する図１の各部と同様の処理を実行するが、その際に、センサの種類に応じた特有の処理を実行してもよい。
【００４９】
例えば、レーダによる観測データにはノイズが含まれる場合が多いため、レーダ目標物検出部１０３Ｃは、フィルタ処理等によってノイズを削減してもよい。あるいは、レーダによると一つの目標物が複数の点の集合として観測される場合があるため、レーダ目標物検出部１０３Ｃは、そのようなデータを間引きしてもよい。
【００５０】
一方、カメラ目標物検出部１０３Ｄは、例えば非特許文献１に記載された方法によって目標物を検出することができる。
【００５１】
具体的には、例えば、カメラ目標物検出部１０３Ｄは、カメラ１＿１５２Ａ等が撮影した画像に含まれる目標物の領域の、当該画像の座標系における座標値を、絶対座標系における座標値に変換する処理を実行する。これによって、レーダによって観測された目標物の座標値と、カメラ画像から特定された目標物の座標値とを比較することができる。ここで、カメラ撮影方向等を適切に制御することで、１枚の画像として撮影される範囲は十分に狭く、画像に写っているものは全て水平な地表面上にあるものとみなすことができる。このような条件の下で、カメラの内部パラメータ（すなわち焦点距離、主点）および外部パラメータ（すなわち位置、撮影方向）が与えられれば、絶対座標系における座標値は、次の数式（１）を計算することによって得られることが知られている。
【００５２】
【数１】
【００５３】
ここで、（Ｘ，Ｙ）は絶対座標系における目標物の座標、（ｘ，ｙ）は画像座標系における目標物の座標である。また、ｓは画像のスケーリング係数、ｆx、ｆy、ｃx、ｃyはカメラ内部パラメータ、ｒxx〜ｒzx、ｒxy〜ｒzy及びｔx〜ｔzはカメラ外部パラメータである。これらは公知の方法によって決定することができるため、ここでは詳細な説明を省略する。
【００５４】
さらに、カメラ目標物検出部１０３Ｄは、上記領域のモーメント特徴量等から目標物の全長方向を算出し、それに基づいて当該目標物の全長及び全幅を計測することができる。さらに、カメラ目標物検出部１０３Ｄは、非特許文献１に記載された方法によって、撮影された２フレームのうち一方の画像から移動体領域を切り出し、他方の画像を用いてテンプレートマッチングを行うことによって、当該他方の画像において、切り出した移動体領域に対応する領域を取得することができる。これによって、二つの時刻における、絶対座標系における移動体領域を求めることができ、それぞれの移動体領域の位置を比較することによって、一つの目標物の上記二つの時刻における座標値、その目標物の速度及び加速度を求めることができる。また、抽出された移動体領域の数を、画像に含まれる目標物の数として特定することができる。
【００５５】
具体的には、カメラ目標物検出部１０３Ｄは、上記の二つの時刻における移動体領域の少なくとも一部が重複している場合、それらの移動体領域に写っている目標物を同一の目標物であると判定し（非特許文献１）、それらに同一の目標物ＩＤ（後述）を付与する。カメラが画像を撮影する時間間隔が十分に短ければ、ある時刻に撮影された目標物の画像と、その次の時刻に撮影された目標物の画像とは、少なくともその一部が重複すると考えられるためである。さらにそれらの位置の差及びカメラが画像を撮影する時間間隔に基づいて、速度を求めることができる。
【００５６】
図４は、本発明の実施形態のセンサ統合システムの構成及び概略処理フローの変形例を示す機能ブロック図である。
【００５７】
具体的には、図４には、前処理及び目標物検出処理をセンサ側で行うセンサ統合システムを示す。図４に示すセンサ統合システムは、センサ１＿１５１、センサ２＿１５２及びセンサ統合装置１００に加えて、処理装置４００Ａ及び４００Ｂを備える。処理装置４００Ａ及び４００Ｂは、ＰＣのような独立した装置として構成され、ネットワーク１６０に接続されてもよい。その場合、処理装置４００Ａ及び４００Ｂのハードウェア構成は図２に示したセンサ統合装置の構成と同様であってもよい。あるいは、処理装置４００Ａ及び４００Ｂは、センサプラットフォームに組み込まれていてもよい。その場合、処理装置４００Ａ及び４００Ｂは、それぞれセンサ１＿１５１及びセンサ２＿１５２の一部であってもよい。
【００５８】
処理装置４００Ａは、センサ情報入力部４０１Ａ、センサ前処理部４０２Ａ、センサ目標物検出部４０３Ａ及びセンサ情報出力部４０４Ａを備える。これらは、それぞれ、図１に示したセンサ情報入力部１０１、センサ種別１前処理部１０２Ａ、センサ種別１目標物検出部１０３Ａ及びセンサ情報出力部１０７と同等のものであってよい。ただし、処理装置４００Ａは、１種類のセンサからのセンサ情報を処理するため、センサ情報入力部４０１Ａはセンサ種別に基づく処理の振り分けを行う必要がない。また、センサ情報出力部４０４Ａは、センサ目標物検出部４０３Ａによって処理されたセンサ情報１７０を出力する。
【００５９】
同様に、処理装置４００Ｂは、センサ情報入力部４０１Ｂ、センサ前処理部４０２Ｂ、センサ目標物検出部４０３Ｂ及びセンサ情報出力部４０４Ｂを備える。これらは、それぞれ、図１に示したセンサ情報入力部１０１、センサ種別２前処理部１０２Ｂ、センサ種別２目標物検出部１０３Ｂ及びセンサ情報出力部１０７と同等のものであってよい。
【００６０】
図１の場合と同様、処理装置４００Ａ及び４００Ｂは、センサ目標物検出部４０３Ａ及び４０３Ｂを備えなくてもよい。異なるレベルのセンサ情報１７０がセンサ統合装置１００に入力された場合（例えば、後述する目標物ＩＤが付与されたセンサ情報１７０と付与されていないセンサ情報１７０とがセンサ統合装置１００に入力された場合）、センサ統合装置１００がセンサ属性１７１及びデータ属性１７３に基づいて処理レベル（例えば目標物ＩＤを付与する処理を行う必要があるか否か）及びデータ１７２の内容を判定し、適切な処理を選択して実行する。
【００６１】
ここで、図１〜図４に示したセンサ情報１７０の内容について説明する。
【００６２】
一組のセンサ情報１７０は、一つのセンサ属性１７１と、複数のデータ１７２と、それぞれに対応する複数のデータ属性１７３と、を含む。
【００６３】
センサ属性１７１は、センサ種別、センサＩＤ、センサ位置、センサ観測パラメータ、位置データ精度、検出データ確度、処理方式、及び処理確度等を含む。センサ種別は、センサの種類を示す情報であり、例えば、センサ情報１７０を送信したセンサ（ここでは当該センサと記載する）がレーダ、固定カメラ又は移動カメラ等のいずれであるかを示す。センサＩＤは、当該センサを一意に識別する情報である。センサ位置は、当該センサが設置された位置の座標値等を示す。センサ観測パラメータは、当該センサによる観測対象の範囲等を示す情報であり、当該センサがカメラである場合には撮影方向及び画角等を含んでもよい。位置データ精度は、観測データ（すなわちデータ１７２）に含まれる座標値の精度を示す。例えば、位置データ精度は、座標値の存在確率を示す確率密度関数の分散値であってもよい。
【００６４】
なお、センサ属性１７１は、上記以外の情報をさらに含んでもよいし、上記の情報の一部のみを含んでもよい。例えば、当該センサが移動カメラ（例えば飛行体に取り付けられたカメラ等）である場合には、時刻ごとに当該センサの位置が異なる。この場合、センサ属性１７１はセンサ位置を含まず、代わりに、後述するデータ属性１７３がセンサ位置を含んでもよい。
【００６５】
各データ１７２は、時刻、位置、速度、加速度、及び航跡ＩＤ等を含む。時刻は、当該センサがデータ１７２を観測した時刻であり、その時刻に観測された目標物の位置（すなわち座標値）、速度、加速度等が各データ１７２に含まれる。
【００６６】
各データ１７２は、上記以外の情報をさらに含んでもよいし、上記の情報の一部のみを含んでもよい。例えば、当該センサがカメラである場合、各データ１７２は、当該センサが撮影した画像データを含んでもよく、位置、速度及び加速度等を含まなくてもよい。また、図４に示した構成において、例えば処理装置４００Ａがセンサ目標物検出部４０３Ａを備える場合には、その処理装置４００Ａからセンサ統合装置１００に入力されるデータ１７２は、センサ目標物検出部４０３Ａによって抽出された航跡ＩＤを含むが、処理装置４００Ａがセンサ目標物検出部４０３Ａを備えない場合には、データ１７２は航跡ＩＤを含まない。
【００６７】
各データ１７２に対応する各データ属性１７３は、対応する各データ１７２の属性に関する情報を含み、具体的には、全体確度、観測範囲、センサ観測パラメータ、及び個別確度等を含む。全体確度は、対応するデータ１７２に含まれるデータ全体の確度を示す情報である。観測範囲は、当該センサによって観測される範囲であり、例えばレーダの有効な観測範囲又はカメラによって撮影される範囲等を示す。センサ観測パラメータは、当該センサが移動プラットフォームセンサ（例えば飛行体に取り付けられたカメラ等）である場合の、対応するデータ１７２が観測された時刻における当該センサの位置及び撮影方向等を含む。個別確度は、対応するデータ１７２に含まれるデータ項目（例えば位置、速度、加速度及び航跡ＩＤ等）ごとの確度を示す。
【００６８】
各データ属性１７３は、上記以外の情報をさらに含んでもよいし、上記の情報の一部のみを含んでもよい。例えば、各データ属性１７３は、全体確度又は個別確度のいずれか一方のみを含んでもよい。また、当該センサが固定センサである場合、各データ属性１７３は、センサ観測パラメータを含まなくてもよい。その場合、センサ属性１７１に含まれるセンサ観測パラメータが参照される。
【００６９】
次に、センサ統合装置に保持される情報について説明する。
【００７０】
図５Ａは、本発明の実施形態のセンサ統合装置１００が保持するセンサモデルＤＢ１１２の説明図である。
【００７１】
センサモデルＤＢ１１２には、それぞれがセンサの種類に対応する複数のレコードが格納される。各レコードは、センサ種別コード５０１、種別名称５０２、センサ属性項目５０３及び観測データ項目５０４等を含む。
【００７２】
センサ種別コードは、各センサの種類を示すコードであり、例えば、レーダを示すコード（Ｒａｄａｒ）、固定カメラを示すコード（ＦｉｘｅｄＣａｍ）及び移動カメラを示すコード（ＭｏｖｉｎｇＣａｍ）等が格納される。
【００７３】
種別名称５０２は、センサの種類を示す名前であり、例えば、「レーダ」、「固定カメラ」及び「移動カメラ」等が格納される。
【００７４】
センサ属性項目５０３は、センサ属性１７１に含まれる可能性がある情報の項目を示すコードである。例えば、レーダからのセンサ属性１７１に含まれる可能性がある情報の項目として、センサ種別、センサ位置、センサの角度、使用される座標系、観測可能な最大距離、観測可能な範囲、及び観測エラーに関する情報等が挙げられる。その場合、レーダに対応するセンサ属性項目５０３として、上記の項目を示すコード（例えばＳｅｎｓｏｒＴｙｐｅ、ＳｅｎｓｏｒＰｏｓ、ＳｅｎｓｏｒＡｎｇｌｅ、ＰｏｓＣＲＳ、ＭａｘＤｉｓｔ、ＣｏｖｅｒＡｒｅａ、及びＥｒｒｏｒＩｎｆｏ等）が格納される。
【００７５】
一方、例えば固定カメラからのセンサ属性１７１に含まれる可能性がある情報の項目として、上記と同様の項目のほか、センサ観測パラメータ及びデータ形式（例えば撮影された画像データの形式）等が挙げられる。この場合、固定カメラに対応するセンサ属性項目５０３としてさらに上記の項目を示すコード（例えばＳｅｎｓｏｒＰａｒａｍ及びＤａｔａＴｙｐｅ等）が格納される。
【００７６】
観測データ項目５０４は、観測データ（すなわちデータ１７２及びデータ属性１７３）に含まれる可能性がある情報の項目を示すコードである。例えば、レーダからの観測データに含まれる可能性がある情報の項目として、時刻、Ｘ座標、Ｙ座標、Ｚ座標、速度、加速度、航跡ＩＤ、目標物の長さ、目標物の幅、目標物の向き、観測データの精度、及び観測エラーに関する情報等が挙げられる。その場合、レーダに対応する観測データ項目５０４として、上記の項目を示すコード（例えばＴｉｍｅ、Ｘ、Ｙ、Ｚ、Ｖ、Ａ、ＴｒｃＮｏ、Ｔｌ、Ｔｗ、Ｔｏ、Ａｃｃｕｒａｃｙ、及びＥｒｒｏｒＩｎｆｏ等）が格納される。もちろん、ＸＹＺ座標以外のレーダ極座標（距離Ｒａｎｇｅ、仰角Ｅｌｅｖａｔｉｏｎ、方位角Ａｚｉｍｕｔｈ）を格納し、前処理にて絶対座標系に変換できるようにしても良い。
【００７７】
一方、例えば固定カメラからの観測データに含まれる可能性がある情報の項目として、上記と同様の項目のほか、画像データ等が挙げられる。この場合、固定カメラに対応する観測データ項目５０４としてさらに上記の項目を示すコード（例えばＩｍａｇｅ等）が格納される。
【００７８】
図５Ｂは、本発明の実施形態のセンサ統合装置１００が保持する目標物モデルＤＢ１１３に含まれるキー情報テーブル５２０の説明図である。
【００７９】
キー情報テーブル５２０には、それぞれが目標物のモデルとキー情報との組み合わせに対応する複数のレコードが格納される。各レコードは、目標物モデルコード５２１、キー情報コード５２２、キー最大値５２３、キー最小値５２４及び処理パラメータ５２５等を含む。
【００８０】
目標物モデルコード５２１は、目標物のモデルを示すコードであり、例えば車両を示すコード（Ｃａｒ）及び人を示すコード（Ｈｕｍａｎ）等が格納される。目標物モデルコード５２１は、キー情報テーブル５２０と後述する主テーブル５４０とを対応付けるための外部キーとして使用される。
【００８１】
キー情報コード５２２は、観測データから抽出されるキー情報を示すコードであり、例えば目標物の幅を示すコード（Ｔｗ）、目標物の速度を示すコード（Ｖ）及び目標物の航跡ＩＤを示すコード（ＴｒｃＮｏ）等が格納される。キー情報コード５２２は、キー情報テーブル５２０と後述するキー情報定義テーブル５６０とを対応付けるための外部キーとして使用される。
【００８２】
キー最大値５２３及びキー最小値５２４は、それぞれ、キー情報として指定された項目の値が満たすべき条件を示し、具体的には指定された項目の値の最大値及び最小値である。処理パラメータ５２５は、条件を満たす目標物の航跡を抽出するために使用されるべき処理パラメータである。
【００８３】
図５Ｂの例では、目標物モデルコード「Ｃａｒ」及びキー情報コード「Ｔｗ」の組に対応するキー最大値５２３、キー最小値５２４及び処理パラメータ５２５として、それぞれ「ｘｘｘｍ（メートル）」、「０ｍ」及び「ｐ１」が格納されている。これは、観測データから抽出された目標物の幅が０ｍからｘｘｘｍまでの範囲である場合、当該目標物が車両であると判定され、その航跡を抽出するために処理パラメータ「ｐ１」が使用されることを示している。
【００８４】
なお、ここに格納された処理パラメータを詳細に記述する情報が処理パラメータＤＢ１１５に格納されてもよい。また、処理パラメータの代わりに（又は処理パラメータに加えて）、使用されるべき処理アルゴリズムを示す情報がキー情報テーブル５２０又は処理パラメータＤＢ１１５に登録されてもよい。
【００８５】
一般に、目標物の移動の態様（例えば移動速度、加速度、進行方向の変化の頻度等）は、目標物の種類（例えば車両又は人等）によって異なるため、航跡を抽出する処理において使用される最適なパラメータ及びアルゴリズムも目標物の種類によって異なると考えられる。本実施形態では、上記のように、抽出されたキー情報に基づいて目標物の種類が特定され、それぞれの目標物の特性に応じて最適な処理パラメータ及び処理アルゴリズムを使用することによって、航跡の抽出精度を向上する。
【００８６】
図５Ｃは、本発明の実施形態のセンサ統合装置１００が保持する目標物モデルＤＢ１１３に含まれる主テーブル５４０の説明図である。
【００８７】
主テーブル５４０には、各目標物モデルコードに対応する目標物モデルを記述する情報が登録される。主テーブル５４０の各レコードは、登録された各目標物モデルに対応し、目標物モデルコード５４１、名称５４２、処理種別５４３及び地図存在領域コード５４４等を含む。
【００８８】
目標物モデルコード５４１は、目標物のモデルを示すコードであり、キー情報テーブル５２０の目標物モデルコード５２１に対応する。
【００８９】
名称５４２は、目標物モデルの名称である。主テーブル５４０には、目標物モデルとして、例えば、「車両」（例えば自動車）又は「人」（例えば歩行者）のような目標物の種類に対応する目標物モデルのほか、「等速直線運動」又は「カルマンフィルタ」のような、目標物の運動モデルそのものが登録されてもよい。名称５４２として、それらの目標物モデルの名称が格納され、処理結果の確認等のため、出力処理に用いることができる。
【００９０】
処理種別５４３は、各目標物モデルに適用される航跡抽出のための処理方式（処理アルゴリズム等）を示す。
【００９１】
地図存在領域コード５４４は、各目標物モデルが適用される地図上の領域を示す。例えば、目標物モデルが車両である場合、車両は、通常、道路上を走行するものであるため、それに対応する地図存在領域コード５４４として、道路（Ｒｏａｄ）が格納される。あるいは、該目標物が存在しない領域や、ノイズが発生しやすい領域などのコードを格納しても良い。
【００９２】
図５Ｄは、本発明の実施形態のセンサ統合装置１００が保持する目標物モデルＤＢ１１３に含まれるキー情報定義テーブル５６０の説明図である。
【００９３】
キー情報定義テーブル５６０には、各キー情報コードに対応する各キー情報の定義を記述する情報が登録される。キー情報定義テーブル５６０の各レコードは、キー情報コード５６１及び名称５６２等を含む。
【００９４】
キー情報コード５６１は、キー情報を示すコードであり、キー情報テーブル５２０のキー情報コード５２２に対応する。
【００９５】
名称５６２は、キー情報の名称であり、出力に用いることができる。
【００９６】
図５Ｄの例では、キー情報コード「Ｔｗ」に対応する名称５６２として「Ｓｉｚｅ（ｔａｒｇｅｔ ｗｉｄｔｈ）」が定義されている。これは、キー情報コード「Ｔｗ」が目標物の大きさ、具体的には幅（すなわち、目標物の進行方向に直行する方向に計測した目標物の大きさ）を示すことを意味する。
【００９７】
地図情報ＤＢ１１４、処理パラメータＤＢ１１５、目標物情報ＤＢ１１６及びセンサ情報ＤＢ１１７については、詳細な図示を省略するが、それらの概要は次の通りである。
【００９８】
地図情報ＤＢ１１４の各レコードは、領域コード及び領域種別ごとの図形データ等を含む。領域コードは、例えば道路を示す「Ｒｏａｄ」等であり、図形データとして、例えば道路の形状を記述する座標値の列が格納されてもよい。
【００９９】
上記のような地図情報ＤＢの構造は従来から知られているものであるが、本実施形態の地図情報ＤＢには、さらに、後述する時空間インデクスが格納されてもよい（図１３参照）。
【０１００】
処理パラメータＤＢ１１５には、処理を実行する時間間隔（タイムステップ）、有効処理時間、処理方式、及びキー情報の組み合わせ等が格納される。これによって、例えば、「カメラからの画像に基づいて目標物の大きさを取得し、所定の方式で航跡抽出処理を行う」等の処理を定義することができる。
【０１０１】
目標物情報ＤＢ１１６の各レコードには、時刻、その時刻における目標物の座標値、及び当該目標物を識別する目標物ＩＤ（言い換えると、当該座標値に与えられた目標物ＩＤ）等が格納される。
【０１０２】
ところで、ある目標物の航跡（移動軌跡）は、その目標物の時刻ごとの座標値を時刻の順に連結することによって得られる。したがって、与えられた座標値に基づいて目標物の航跡を特定することは、各時刻における座標値に目標物ＩＤを付与することと等価である。このため、目標物ＩＤが航跡ＩＤとして使用されてもよい。本実施形態では、目標物ＩＤを航跡ＩＤとして扱う。
【０１０３】
センサ情報ＤＢ１１７には、入力されたセンサ情報１７０がそのまま格納されてもよいが、センサ情報１７０のうち必要な情報のみが抽出され、センサ情報ＤＢ１１７に格納されてもよい。例えば、センサ情報ＤＢ１１７の各レコードは、時刻、センサＩＤ、及び当該時刻に当該センサによって取得された目標物の位置情報等が格納される。もちろん、前処理部による処理結果（座標変換等）や、間引きや圧縮した情報を格納しても良い。
【０１０４】
図６は、本発明の実施形態のセンサ情報統合部１０４が実行するセンサ情報統合処理を示すフローチャートである。
【０１０５】
最初に、センサ情報統合部１０４にセンサ種別１目標物検出部１０３Ａ及びセンサ種別２目標物検出部１０３Ｂ等によって処理された観測データが入力される（ステップ６０１）。ただし、前述のように、目標物検出部はなくてもよいため、センサ情報統合部１０４には、航跡ＩＤが付与された観測データ、付与されていない観測データ、又はその両方が入力される可能性がある。例えば、レーダからの観測データには航跡ＩＤが付与されておらず、カメラからの観測データには航跡ＩＤが付与されていてもよいし、カメラからの観測データにも航跡ＩＤが付与されていなくてもよい。
【０１０６】
次に、センサ情報統合部１０４のキー情報抽出部１０４Ａが、入力された観測データからキー情報を抽出する（ステップ６０２）。例えば、カメラが撮影した画像が観測データに含まれる場合、キー情報抽出部１０４Ａは、その画像から、前述の非特許文献１と同様の方法によって目標物の長さ、幅、速度等を抽出し、それらから、キー情報テーブル５２０及びキー情報定義テーブル５６０に登録されたキー情報を抽出する。入力された観測データに、画像から抽出された目標物の長さ、幅、速度等の情報が予め含まれている場合には、それらを抽出して利用してもよい。観測データに航跡ＩＤが付与されている場合には、航跡ＩＤをキー情報として抽出してもよい。
【０１０７】
次に、センサ情報統合部１０４の処理調整部１０４Ｂが、抽出されたキー情報がキー情報テーブル５２０に登録された条件を満たすか否かを判定し、それによって、目標物の種別を判定する（ステップ６０３）。例えば、キー情報として目標物の幅が抽出された場合、処理調整部１０４Ｂは、その幅がキー情報テーブル５２０に登録されたキー最大値５２３及びキー最小値５２４の範囲内であるか否かを判定し、範囲内である場合には当該目標物が車両であると判定する。
【０１０８】
次に、処理調整部１０４Ｂは、判定されたキー情報あるいは目標物の種別に基づいて処理調整を実行する（ステップ６０４及び６０５）。具体的には、処理調整部１０４Ｂは、ある目標物から抽出されたキー情報がキー情報テーブル５２０に登録された条件を満たす場合に、その条件に対応して登録された処理パラメータ５２５を選択する。キー情報の条件と処理アルゴリズムが対応付けられている場合、その処理アルゴリズムが選択される。図６には二つの種別に対応した二つの処理調整ステップ（ステップ６０４及び６０５）のみを示したが、実際には、判定され得る目標物の種別の数や条件等に応じた数の処理調整ステップが用意される。
【０１０９】
次に、センサ情報統合部１０４の航跡抽出処理部１０４Ｃが、選択された処理パラメータ又は処理アルゴリズムを使用して、航跡抽出処理を実行する（ステップ６０６）。これによって、観測データに航跡ＩＤが付与される。
【０１１０】
次に、航跡抽出処理部１０４Ｃは、抽出された航跡ＩＤを含む目標物情報を出力する（ステップ６０７）。この情報は目標物情報ＤＢ１１６に格納される。
【０１１１】
以上でセンサ情報統合処理が終了する。なお、時刻ごとに観測データがセンサ情報統合部１０４に入力される場合、ステップ６０７が終了した後、次の時刻の観測データを処理するために処理がステップ６０１に戻ってもよい。その場合、全ての観測データの処理が終了するまでループ処理が実行される。
【０１１２】
図７は、本発明の実施形態のセンサ情報統合部１０４が実行するセンサ情報統合処理の第１の例の説明図である。
【０１１３】
図７を参照して、図６の各ステップにおいて実行される処理の例を説明する。ここでは、例として、図３に示すように、第１の種類のセンサとしてレーダが、第２の種類のセンサとして移動プラットフォーム（例えば飛行体）に搭載されたカメラが使用される場合について説明する。
【０１１４】
ステップ６０２において、キー情報抽出部１０４Ａは、例えば、カメラによって撮影された画像から検出された目標物の数７０１、目標物のサイズ（具体的には長さ及び幅等）７０２、目標物の速度７０３及び目標物の航跡（具体的には航跡ＩＤ）７０４等を、キー情報として抽出する。
【０１１５】
ステップ６０３〜６０５において、処理調整部１０４Ｂは、抽出されたキー情報に基づくモデル選択７１１及び選択されたモデルに基づく処理パラメータ調整７１２を行う。モデル選択７１１は図６のステップ６０３において説明した通りであり、キー情報（例えばサイズ７０２又は速度７０３）の値と登録された条件とを比較することによって車両モデル、人モデル等の目標物モデルが選択される。
【０１１６】
処理パラメータ調整７１２は、図６のステップ６０４及び６０５に対応する。処理調整部１０４Ｂは、選択された目標物モデルに応じて、後述する座標値の予測処理に使用するパラメータを調整する。ここで調整されるパラメータは、例えば予測処理に使用する移動速度の範囲、予測される航跡の曲率の範囲（に相当するゲートサイズ）等である。検出された目標物の数７０１がキー情報として抽出された場合、処理調整部１０４Ｂは、その数に基づいて、生成される航跡の仮説の数を調整してもよい。この調整については後述する。航跡７０４がキー情報として抽出された場合、その航跡情報がそのまま使用されるが、航跡に対応する座標値の調整（位置調整）が行われる。これについても後述する（図９等参照）。
【０１１７】
ここで、キー情報として航跡７０４が抽出されず、検出された目標物の数７０１が抽出された場合の航跡抽出処理（ステップ６０６）について説明する。この場合、処理パラメータとして、検出された目標物の数７０１（例えば「２」）が選択される。
【０１１８】
ステップ６０６において、航跡抽出処理部１０４Ｃは、まず、入力された複数の目標物の複数の時刻における座標値に基づいて、抽出される可能性がある航跡の組み合わせの全仮説７２１を生成する。ここで、仮説の生成に使用される座標値は、レーダによって観測されたものであってもよいし、カメラが撮影した画像から抽出されたものであってもよいし、それらの両方であってもよい。この全仮説７２１は、結合される可能性がある座標値の全ての組み合わせを含む。このような仮説の生成は、従来のＭＨＴと同様に行われてもよい。
【０１１９】
次に、航跡抽出処理部１０４Ｃは、全仮説７２１のから、処理パラメータとして選択された目標物の数と同数の航跡のみを含む仮説７２２を抽出することによって、仮説の数を限定する。例えば処理パラメータとして目標物の数「２」が選択された場合、２本の航跡のみを含む仮説７２２が抽出され、１本の航跡のみを含む仮説及び３本以上の航跡を含む仮説は除外される。
【０１２０】
次に、航跡抽出処理部１０４Ｃは、限定された仮説７２２の確からしさを計算し、最も確からしい仮説を航跡の抽出結果７２３として選択する。この確からしさの計算は、従来のＭＨＴと同様に行われてもよい。
【０１２１】
従来のレーダによる航跡抽出では、全仮説７２１について確からしさを計算する必要があったが、本実施形態では、上記のように、カメラによる画像に基づいて仮説が限定され、限定された仮説７２２についてのみ確からしさを計算すればよいため、計算量を削減することができる。また、上記のように仮説が限定されるため、誤って例えば一つの航跡のみ又は三つ以上の航跡が抽出されることがない。
【０１２２】
このように、図７の例によれば、複数の種類のセンサによる観測データを利用することによって、従来より少ない計算量で、高精度に航跡を抽出することができる。
【０１２３】
図８は、本発明の実施形態のセンサ情報統合部１０４が実行する目標物モデルの自動構築及び切り換えの説明図である。
【０１２４】
図７の例では、航跡抽出処理部１０４Ｃが航跡の仮説を生成して、それらのうち最も確からしいものを選択する。このとき、同時に存在する航跡の数が多くなるほど、仮説の生成及び確からしさの計算のための計算量が多くなる。しかし、目標物モデルを自動的に構築し、その目標物モデルを予測に使用することによって、同時に存在する航跡の数を減らし、それによって計算量を削減することができる。
【０１２５】
図８（ａ）は、各目標物のモデルに基づく航跡抽出の例を示す。三つの目標物、すなわち目標物Ａ、Ｂ及びＣのそれぞれの航跡Ａ、Ｂ及びＣを抽出する場合であって、時刻ｔまでの航跡が既に抽出され、次の時刻ｔ＋１における三つの目標物の座標値が取得された場合、時刻ｔにおける三つの座標値と時刻ｔ＋１における三つの座標値との間の全ての組み合わせが航跡の仮説として生成され、それらの確からしさが計算される。
【０１２６】
一方、図８（ｂ）は、複数目標物に関するモデルを自動生成して航跡抽出する例を示す。図８（ａ）と同様に、時刻ｔまでの航跡が抽出された場合において、航跡抽出処理部１０４Ｃは、三つの目標物の集合の観測データの特徴量の項目及びその値の範囲を抽出して、それらをキー情報テーブル５２０に登録する。例えば、図示された三つの目標物が車両である場合、目標物モデルコード５２１として車列８０１を示すコードが登録され、キー情報コード５２２として三つの車両各々の幅、長さ、速度等のほか、それらの三つの相対位置を示す情報等の少なくとも一つを示すコードが登録され、キー最大値５２３及びキー最小値５２４としてそれらの値の範囲を示す情報が登録され、処理パラメータ５２５として車列８０１の航跡を予測するために適切な処理パラメータ（又は処理アルゴリズム）が登録されてもよい。このような処理パラメータは予め用意されていてもよいし、既に抽出された航跡に基づいて自動的に生成されてもよい。
【０１２７】
本実施形態では複数種類のセンサが使用されるが、それぞれの種類のセンサの特性によって、特徴的な情報が得られる場合がある。例えば、センサがカメラである場合、撮影された１枚の画像内に複数の目標物が写っていれば、その画像データから、それらの目標物の相対的な位置関係を示す高精度なデータが取得できる場合がある。そのようなデータを使用することによって、複数の目標物を仮想的な一つの目標物として扱うための目標物モデルを動的に構築することができる。
【０１２８】
上記のように、複数の目標物の集合を一つの目標物として扱うことによって、例えば時刻ｔにおける車列８０１の座標値と時刻ｔ＋１における車列８０１の座標値とを連結する航跡を抽出するために、二つの時刻における目標物Ａ、Ｂ及びＣの組み合わせを考慮する必要がなくなる。このため、仮説の生成及び確からしさの計算を大幅に簡略化するとともに、真の航跡とは異なる仮説が航跡として誤って抽出されることを防ぐことができる。
【０１２９】
図９は、本発明の実施形態のセンサ情報統合部１０４が実行するセンサ情報統合処理の第２の例の説明図である。
【０１３０】
図９を参照して、図６の各ステップにおいて実行される処理の別の例を説明する。図７の場合と同様、センサとしてレーダ及び移動プラットフォーム（例えば飛行体）に搭載されたカメラが使用される場合について説明する。
【０１３１】
キー情報抽出部１０４Ａ及び処理調整部１０４Ｂが実行する処理は、基本的には図７に示したものと同じであるため、説明を省略する。ただし、図９の例では、キー情報として航跡７０４が抽出される。この航跡７０４は、非特許文献１に記載された方法によって取得されたものであってもよく、その場合、航跡抽出処理部１０４Ｃは、図７に示したようなＭＨＴによる仮設の生成及び選択を行う必要がない。
【０１３２】
図９の例では、航跡抽出処理部１０４Ｃは、ステップ６０６において、より確からしい航跡を抽出するために、複数の種類のセンサから取得された観測データを用いて、目標物の位置を調整する。この処理について説明する。航跡抽出処理部１０４Ｃは、キー情報として抽出された航跡及び観測データ９０１を取得する。例えば、時刻ｔまでの航跡は確定し、時刻ｔ＋１における複数のセンサからの座標値が取得される。この場合、航跡抽出処理部１０４Ｃは、確定した航跡に基づいて、時刻ｔ＋１における目標物の座標値を予測することによって仮説９０２を生成する。そして、この仮説９０２から、最も確からしい目標物の時刻ｔ＋１における座標値を特定し、その座標値を時刻ｔ＋１における航跡９０３として特定する。このような位置調整の処理の詳細については、図１０等を参照して後述する。
【０１３３】
図１０は、本発明の実施形態のセンサ情報統合部１０４が実行する目標物の位置調整処理の説明図である。
【０１３４】
図６のステップ６０６において実行される航跡抽出処理における位置調整処理は、大まかには、既に抽出された航跡に基づいて、次の時刻における航跡の位置を予測し、その予測結果に基づいて観測データを選択する第１の手順（図１０（ａ））と、選択された観測データに基づいて航跡を確定する第２の手順（図１０（ｂ））と、を含む。特に、第１の手順で複数の観測データが選択された場合に、第２の手順においてそれらの観測データを統合することによって、最も確からしい目標物の座標値（すなわち最も確からしい航跡）が確定する。以下、これらの手順について説明する。
【０１３５】
図１０（ａ）は、時刻ｔまでの航跡が確定し、時刻ｔ＋１において複数種類のセンサによって観測された座標値Ａ、Ｂ及びＣが取得された状態を示す。座標値Ｐは、時刻ｔまでの航跡から予測された時刻ｔ＋１における目標物の座標値である。この予測には、抽出されたキー情報に基づいて特定された処理アルゴリズム及び処理パラメータが使用される（図５Ｂ、図６及び図９等参照）。例えば、カルマンフィルタ又はその拡張方式等が用いられてもよい。航跡抽出処理部１０４Ｃは、予測された座標値Ｐからの距離が所定の値以下である座標値を、位置調整に使用する座標値として選択する。図１０（ａ）の例では、座標値Ａ、Ｂ及びＣが選択される。なお、上記のように座標値Ｐからの距離が所定の値以下となる範囲は、図１０（ａ）において「ゲート」と記載され、破線の円によって図示される。
【０１３６】
なお、予測された座標値Ｐからの距離が所定の値以下である座標値を位置調整に使用する理由は次の通りである。すなわち、本実施形態のように複数の種類のセンサが使用される場合、それぞれのセンサによって観測された目標物の座標値が同一の目標物の座標値であるか否かを判定する必要がある。本実施形態では、上記のように、既に抽出されたある目標物の航跡に基づいて、次の時刻の当該目標物の座標値Ｐが予測される。センサによって観測された座標値が当該予測された座標値に近いほど、その観測された座標値が当該目標物の座標値である可能性が高いと推定されるため、本実施形態では、予測された座標値Ｐからの距離が所定の値以下である座標値を、当該目標物の観測された座標値であると推定して、位置調整に使用する。
【０１３７】
上記のように複数の座標値が選択された場合、それらに基づいて最も確からしい座標値を計算する種々の方法が考えられる。例えば、座標値Ａ、Ｂ及びＣのいずれかを選択してもよい。より詳細には、例えば、観測データに座標値の確度（精度）を示す情報が含まれる場合、最も確度の高い座標値が選択されてもよい。また、ゲート内の座標値が一つも取得できなかった場合、又は、ゲート内のいずれの座標値の確度も所定の値に満たなかった場合には、観測データの欠測とみなし、予測された座標値Ｐが最も確からしい座標値として選択されてもよい。しかし、本実施形態では、原則として、複数の座標値及びそれぞれの確度に基づいて、最も確からしい座標値が計算される。
【０１３８】
図１０（ｂ）には、時刻ｔ＋１における座標値Ｉが表示されている。これは、選択された座標値Ａ、Ｂ及びＣに基づいて計算された、時刻ｔ＋１における最も確からしい座標値である。本実施形態では、それぞれの座標値を、確度に基づいて重み付き平均または重心を算出することによって、最も確からしい座標値Ｉが計算される。その結果、最も確からしい座標値Ｉに時刻ｔまでの航跡と同一の航跡ＩＤが付与される。このとき、座標値Ａ、Ｂ及びＣの少なくとも一つに、例えば非特許文献１に記載の方法等によって当該航跡ＩＤが既に付与されていた場合、その航跡ＩＤを削除しても良いし、あるいは後述するように当該座標値を除外する組み合わせを生成して処理しても良い（図１２等参照）。また削除する際には確率的な判定に基づき、一定の確率に基づき削除および非削除を調整しても良い。
【０１３９】
確度に基づいて重み付けをする方法として種々のものが考えられるが、具体的な一例について、図１０（ｃ）を参照して説明する。
【０１４０】
一般に、観測データには観測誤差やノイズなどが含まれるため、座標が観測された場合でも位置誤差が含まれ、目標物の存在は当該座標の周囲に確率的に分布するものと想定される。この具体例では、各座標値が点ではなく存在確率分布として扱われる。図１０（ｃ）に、選択された座標値Ａ、Ｂ及びＣの確率密度関数を示す。ここで、横軸は例えばｘ座標又はｙ座標であり、左側の縦軸が座標値Ａ、Ｂ及びＣの存在確率値である。図１０（ａ）及び（ｂ）にプロットされた座標値Ａ、Ｂ及びＣ（すなわち観測された座標値）は、存在確率分布のピークの位置に相当する。
【０１４１】
本実施形態では、確率密度関数が正規分布に従うと仮定し、各座標値の確度として、正規分布の分散値を用いる。例えば、それぞれのセンサの観測精度に基づいて、座標値の確度が低いほど分散値が大きくなるように定められる。センサの観測精度は、観測条件に依存する場合もある。一般に、例えば、レーダサイトから目標物までの距離が大きいほど、カメラを搭載した飛行体の位置精度が低いほど、飛行体の飛行高度が高いほど、又は、カメラから目標物までの距離が遠いほど、座標値の確度は低くなる。各センサがそれらの要因に基づいて定めた観測データ毎の分散値をデータ属性１７３に含まれる位置確度として送信してもよいし、センサ統合装置１００がセンサの種別及び観測条件等に基づいて計算してもよい。
【０１４２】
航跡抽出処理部１０４Ｃは、座標値Ａ、Ｂ及びＣの確率密度関数を乗算することによって、座標値Ｉの存在確率を求める。図１０（ｃ）の右側の縦軸が、計算された座標値Ｉの存在確率値であり、破線で表示された曲線が計算された座標値Ｉの存在確率であり、そのピークの位置が座標値Ｉとして特定される。上記の計算がｘ座標及びｙ座標の両方について行われ、特定された座標値Ｉが時刻ｔ＋１における目標物の最も確からしい座標値として特定される。これによって、時刻ｔ＋１に座標Ｉを通過する航跡が確定し、最終的に航跡として抽出される。
【０１４３】
上記のように確度の異なる複数の観測データを位置調整に用いることによって、確度の低い観測データも有効に利用することができる。
【０１４４】
ここで、上記のような確率密度関数の計算方法について、数式（２）〜（８）を参照して説明する。
【０１４５】
【数２】
【０１４６】
数式（２）のｆn（ｘ，ｙ）は、選択された座標値（例えば上記の座標値Ａ、Ｂ及びＣ）の確率密度関数である。ここで、σnはそれぞれの分散値、ｘn及びｙnはそれぞれのｘ成分及びｙ成分の値、そして、ｘ＾及びｙ＾は最も確からしい座標値（上記の座標値Ｉ）のｘ成分及びｙ成分の値である。例えば上記の座標値Ａ、Ｂ及びＣの確率密度関数が乗算される。その計算を簡単にするために、確率密度関数の対数を加算しても良い（数式（３））。その最大値は、偏微分がゼロになる点である。ここで、ｘについて偏微分を解き（数式（４）、（５））、関係のないｙ及び係数等を省略すると、数式（６）が得られる。これをｘ＾について解くと、数式（７）が得られる。これが例えば図１０（ｃ）に破線で示した座標値Ｉの確率密度関数である。同様にｙについて解くと、数式（８）が得られる。
【０１４７】
図１０（ａ）及び（ｂ）に示したゲートの大きさは、固定されていてもよいが、可変であってもよい。ゲートの大きさの調整方法について、図１１を参照して説明する。
【０１４８】
図１１は、本発明の実施形態のセンサ情報統合部１０４が実行する観測データ判定の動的調整の説明図である。
【０１４９】
図１１（ａ）には、ゲートサイズが固定されている例を示す。ここで、座標値Ｐ１１０１は時刻ｔまでの確定した航跡に基づいて予測された目標物の座標値であり、座標値Ａ１１０２及び１１０３は、第１の種類のセンサによって観測された目標物の座標値であり、座標値Ｂ１１０４は第２の種類のセンサによって観測された目標物の座標値である。ここで、第１の種類のセンサの観測精度が第２の種類のセンサの観測精度より高いと仮定する。図１１（ａ）の例では、センサの観測精度にかかわらず、座標値Ｐ１１０１からの距離が所定の値以内である範囲を示す単一のゲート１１１０が使用され、ゲート１１１０が示す範囲内の座標値Ａ１１０２、座標値Ａ１１０３及び座標値Ｂ１１０４が、位置調整に寄与する座標値として選択される。
【０１５０】
図１１（ｂ）には、ゲートサイズが可変である例を示す。ここでは、図１１（ａ）と同様のセンサが使用され、同様の座標値が取得された場合を示す。既に説明したように、ある目標物の時刻ｔまでの航跡に基づいて、当該目標物の時刻ｔ＋１における座標値Ｐが予測された場合、観測された座標値と座標値Ｐとの距離が近いほど、当該観測された座標値が当該目標物の座標値である可能性が高いと推定される。このため、例えば座標値Ｐ１１０１から座標値Ａ１１０３までの距離と座標値Ｂ１１０４までの距離が同じであれば、座標値Ａ１１０３が当該目標物の座標値である可能性と座標値Ｂ１１０４が当該目標物の座標値である可能性とが同等であると推定することもできる。
【０１５１】
しかし、上記のように、第１の種類のセンサの観測精度が第２の種類のセンサの観測精度より高い場合には、座標値Ａ１１０３が当該目標物の座標値である可能性は、座標値Ｂ１１０４が当該目標物の座標値である可能性より低い（言い換えると、座標値Ａ１１０３が他の目標物の座標値である可能性は、座標値Ｂ１１０４が他の目標物の座標値である可能性より高い）と推定することもできる。このため、図１１（ｂ）の例では、精度の高い観測データについてはより小さい範囲を示すゲートが使用される。
【０１５２】
具体的には、図１１（ｂ）の例では、座標値Ｐ１１０１からの距離が第１の値以内の範囲を示すゲートａ１１１１と、座標値Ｐ１１０１からの距離が第１の値より大きい第２の値以内の範囲を示すゲートｂ１１１２が用意され、ゲートａ１１１１の内側の座標値Ａ１１０２及びゲートｂ１１１２の内側の座標値Ｂ１１０４が位置調整に寄与する座標値として選択される。一方、ゲートｂ１１１２の内側ではあるがゲートａ１１１１の外側にある座標値Ａ１１０３は、他の目標物の座標値である可能性が高いと判定され、位置調整に寄与する座標値としては選択されない。
【０１５３】
なお、図１１（ａ）の例において、取得された観測データが確度の異なるものを含む場合には、それらのうち最も確度の低いものに対応する大きさのゲート１１１０が使用されてもよい。その場合、例えば、図１１（ａ）のゲート１１１０の大きさは、図１１（ｂ）のゲートｂ１１１２と同じになる。
【０１５４】
このように、センサの観測精度に基づいて、位置調整に寄与する座標値を選択することによって、他の目標物の座標値の影響が排除されるため、より高精度な航跡を抽出することができる。
【０１５５】
図１２は、本発明の実施形態のセンサ情報統合部１０４による観測データの組み合わせ選択の説明図である。
【０１５６】
図１０（ａ）、（ｂ）等を参照して説明したように、本実施形態ではゲート内の複数の座標値が位置調整に寄与するものとして選択され、それらに基づいて位置調整（すなわち最も確からしい座標値の計算）が行われる。しかし、ゲート内に多数の座標値が含まれる場合には、必ずしもそれらの全てを位置調整に使用しなくてもよい。センサ情報統合部１０４は、ゲート内の座標値の属性に応じて、位置調整に使用する座標値を絞り込むことができる。
【０１５７】
具体的には、例えば、センサ情報統合部１０４は、ゲート内の座標値のうち、位置調整に使用するものとして、予測された座標値Ｐからの近さの順位が上位の所定の順位以内の座標値を選択してもよいし、確度が所定の値より高い座標値を選択してもよいし、確度の順位が上位の所定の順位以内の座標値を選択してもよい。あるいは、例えば地図情報に基づいて目標物が存在する可能性が高いと判定された場合など、明らかに確度が高い座標値があれば、それを選択してもよい。確度が所定の値より高い座標値が選択される場合には、結果的に、観測された座標値が一つも選択されない可能性がある。その場合には、予測された座標値Ｐがそのまま最も確からしい座標値として確定してもよい。
【０１５８】
図１２（ａ）は、観測された座標値Ａ、Ｂ及びＣの全てが位置調整に寄与するものとして選択され、それらに基づいて最も確からしい座標値Ｅａｂｃが計算された例を示す。
【０１５９】
図１２（ｂ）は、観測された座標値Ａ、Ｂ及びＣのうち座標値Ａ及びＢが位置調整に寄与するものとして選択され、それらに基づいて最も確からしい座標値Ｅａｂが計算された例を示す。
【０１６０】
図１２（ｃ）は、観測された座標値Ａ、Ｂ及びＣのうち座標値Ａ及びＣが位置調整に寄与するものとして選択され、それらに基づいて最も確からしい座標値Ｅａｃが計算された例を示す。
【０１６１】
図１２（ｄ）は、観測された座標値Ａ、Ｂ及びＣのうち座標値Ｂ及びＣが位置調整に寄与するものとして選択され、それらに基づいて最も確からしい座標値Ｅｂｃが計算された例を示す。
【０１６２】
図１２（ｅ）は、観測された座標値Ａ、Ｂ及びＣのうち座標値Ａのみが位置調整に寄与するものとして選択された場合を示す。この場合、座標値Ａが最も確からしい座標値Ｅａとして特定される。
【０１６３】
図１２（ｆ）は、観測された座標値Ａ、Ｂ及びＣのうち座標値Ｂのみが位置調整に寄与するものとして選択された場合を示す。この場合、座標値Ｂが最も確からしい座標値Ｅｂとして特定される。
【０１６４】
図１２（ｇ）は、観測された座標値Ａ、Ｂ及びＣのうち座標値Ｃのみが位置調整に寄与するものとして選択された場合を示す。この場合、座標値Ｃが最も確からしい座標値Ｅｃとして特定される。
【０１６５】
図１２（ｈ）は、観測された座標値Ａ、Ｂ及びＣのいずれも位置調整に寄与するものとして選択されなかった場合を示す。これは、座標値Ａ、Ｂ及びＣのいずれもがノイズであると判定されたことを意味する。この場合、予測された座標値（すなわちゲートの中心）が最も確からしい座標値Ｅｎｕｌｌとして特定される。
【０１６６】
図１２（ｉ）には、二つの目標物が近接したために、それぞれのゲートの一部が重複した場合を示す。この例において、ゲート１２０１に含まれる二つの座標値Ｊ及び座標値ＪＪは、最も確からしい座標値Ｉｊを計算するために使用される座標値であり、ゲート１２０２に含まれる二つの座標値Ｋ及び座標値ＫＫは、最も確からしい座標値Ｉｋを計算するために使用される座標値である。
【０１６７】
座標値ＪＪ及びＫＫは二つのゲートの重複領域に含まれるが、例えば、それぞれのゲートの中心（すなわちそれぞれのゲートに対応する予測された座標値）までの距離に応じて、距離が短い方のゲートに含まれるものと判定されてもよい。例えば、座標値ＪＪからゲート１２０１の中心までの距離がゲート１２０２の中心までの距離より小さい場合、座標値ＪＪはゲート１２０１に含まれるものとして扱われ、座標値Ｉｊの計算には寄与するが座標値Ｉｋの計算には寄与しない。同様に、座標値ＫＫからゲート１２０２の中心までの距離がゲート１２０１の中心までの距離より小さい場合、座標値ＫＫはゲート１２０２に含まれるものとして扱われ、座標値Ｉｋの計算には寄与するが座標値Ｉｊの計算には寄与しない。
【０１６８】
このように、位置調整に寄与する座標値を選択することによって、特に確度の低い座標値等をノイズとして排除することができる。これによって、より高精度に目標物の航跡を抽出することができる。
【０１６９】
なお、図９〜図１２を参照した位置調整の説明は、キー情報として航跡７０４が抽出された場合についてのものである。しかし、図７のように、キー情報として航跡７０４が抽出されない場合でも、時刻ｔまでの航跡が抽出されていれば、それに基づいて上記と同様の位置調整を行うことができる。
【０１７０】
図１３は、本発明の実施形態のセンサ統合システムにおいて使用される地図インデクスの説明図である。
【０１７１】
特に地上広域監視などのアプリケーションでは、注目地域に多数の車両及び人等が混在する複雑な環境のセンサ情報を解析する必要がある。このため、環境に関する地図などの情報を有効活用したセンサ情報統合処理を行うことが望ましい。例えば、建物及び道路等、センサ情報統合処理に必要な地物の情報を時空間インデキシングによって管理し、それを処理に利用してもよい。さらに、建物そのものだけでなく、建物によって生じるオクルージョン（遮蔽）の範囲、及び、逆に、ノイズが多い地域など、仮想的な地図図形を含めてインデキシング管理してもよい。
【０１７２】
図１３には、注目領域の特性に応じ、注目する目標物の存在確度及び処理パラメータ等を調整するため、地図情報ＤＢ１１４を活用する例を示す。特に、建物及び地形の影響によるオクルージョンを考慮し、移動センサと遮蔽物との幾何学的関係に基づいて、オクルージョンとなることが予想される範囲が時空間インデクスに管理される。以下、オクルージョンへの対応について説明する。
【０１７３】
例えば地上に設置されたカメラ及び移動プラットフォーム（特に飛行型プラットフォーム）に搭載されたカメラ等による観測が行われる場合、地上の建物又は地形（例えば山など）によるオクルージョンが発生する場合がある。具体的には、例えば目標物とカメラとの間に建物又は山等がある場合に、当該カメラによる観測データから目標物が消失し、目標物の位置情報を取得することができなくなる。レーダの場合も、建物等の影響によって同様のオクルージョンが発生し得る。このために航跡を適切に抽出できない場合がある。
【０１７４】
地図情報ＤＢ１１４に３次元の地図情報が含まれる場合、それを用いて見通し解析を行うことによって、オクルージョン範囲（すなわち遮蔽される領域の範囲）を特定することができるが、複雑な環境化で処理の度に見通し解析を行うことは、システムの処理性能を考慮すると現実的でない。
【０１７５】
そこで、本実施形態では、建物などによるオクルージョン範囲を予め見通し解析によって算出し、その結果を時空間インデクスに格納する。これによって高速な検索が可能となる。検索された情報は、当該地域の処理において、処理パラメータの調整等に利用される。
【０１７６】
具体的には、オクルージョン範囲の詳細な形状を示す多角形又はオクルージョンが発生する可能性がある領域を示す円等が時空間インデクスに格納されてもよい。
【０１７７】
図１３（ａ）は、カメラ１３０１を用いて建物１３０２及び車両１３０４〜１３０６を撮影する例を示す。この例では、建物１３０２によるオクルージョン範囲１３０３に車両１３０５が含まれるため、カメラ１３０１を用いて車両１３０５を観測することができない。このオクルージョン範囲１３０３のような多角形が時空間インデクスに格納されてもよい。
【０１７８】
カメラ１３０１が移動体プラットフォームに搭載される場合、カメラ１３０１と建物１３０２との位置関係が変化するに従って、建物の周囲に発生するオクルージョン範囲１３０３の形状も変化する。図１３（ｂ）に破線で示す多角形は、カメラ１３０１が特定の高度から撮影した場合に発生し得るオクルージョン範囲の例（すなわち、オクルージョン範囲１３０３の形状の変化の例）である。カメラ１３０１の高度及びそれによって撮影可能な範囲が特定されれば、オクルージョン範囲１３０３に含まれ得る範囲を、円形（厳密には、複数の円形を重ね合わせた略円形であってもよい。以下同様）のオクルージョン範囲１３０７として特定することができる。このような円形が時空間インデクスに格納されてもよい。
【０１７９】
さらに、図１３（ｂ）に示すようなオクルージョン範囲の大きさは、カメラ１３０１の高度に依存する。図１３（ｃ）は、種々の高度からの撮影に対応するオクルージョン範囲を同心円によって示した例である。具体的には、カメラ１３０１が高高度から撮影した場合に対応するオクルージョン範囲１３０８、それより低い高度から撮影した場合のオクルージョン範囲１３０９及びさらに低い高度から撮影した場合のオクルージョン範囲１３１０が図示されている。
【０１８０】
図１３（ｃ）に示すように、撮影高度が低くなるほど、オクルージョン範囲は大きくなる。このため、例えば車両１３０４は、高高度からの撮影では観測されるが、最も低い高度からの撮影では観測できない場合がある。図１３（ｃ）に示すような同心円が時空間インデクスに格納されてもよい。
【０１８１】
このようなオクルージョン範囲に関する情報は、例えば次のように利用される。例えば図１０（ａ）及び（ｂ）に示すように座標値Ｐが予測されたにもかかわらず、それに対応するゲートの範囲内に含まれる観測データが得られなかった場合、目標物が実際に消失した可能性もある。しかし、その座標値Ｐが、予め見通し解析によって取得されたオクルージョン範囲に含まれている場合、目標物が建物等に遮蔽されたために一時的に観測できなくなっている可能性がある。このため、航跡抽出処理部１０４Ｃは、予測された座標値Ｐを使用して、さらに次の時刻の座標値を予測する。このような処理を繰り返し、再びゲート内に観測データが出現した場合、その座標値を元の航跡と同じ目標物の座標値として扱う（つまり出現した観測データに含まれる座標値に、元の航跡と同一の目標物ＩＤを付与する）ことによって、航跡の分断を防ぐことができる。
【０１８２】
通常、目標物が消失した後、所定の時間以上当該目標物が出現しなかった場合、当該目標物の航跡は分断したものと判定され、その後出現した航跡は別の目標物のものとして扱われる。しかし、上記のように観測データの欠測があった場合でもオクルージョンを想定して航跡の予測を継続し、かつ、上記の所定の時間（すなわち航跡分断時間パラメータ）を長めに設定することによって、航跡を接続するなどの処理が可能になる。
【０１８３】
逆に、地上にはノイズが発生しやすい場所もあるため、その地域を時空間インデクスで管理し、それに基づいて処理パラメータを調整してもよい。
【０１８４】
図１４は、本発明の実施形態のセンサ統合システムによって出力される情報の説明図である。
【０１８５】
センサ統合装置１００によって抽出された航跡等の情報は、地図出力部１０５、航跡情報出力部１０６又はセンサ情報出力部１０７等によって出力される。出力される情報の形態はいかなるものであってもよいが、図１４（ａ）〜（ｌ）に特に代表的な例を示す。なお、これらの例は、出力装置２０５に含まれる画像表示装置によって表示される画面の例であるが、既に説明したように、画面以外の形態で情報が出力されてもよい。
【０１８６】
図１４（ａ）は、観測データに含まれる座標値そのものが表示される例である。具体的には、観測データに含まれる複数の座標値が、それらの相対的な位置関係が視認できるようにプロットされている。画面の背景には地図情報ＤＢ１１４に基づく地図又は衛星画像等が表示されてもよい。これは図１４（ｂ）以降の図についても同様である。
【０１８７】
図１４（ｂ）は、図１４（ａ）と同様の座標値に加えて、抽出された航跡を示すシンボル（例えば矢印）が表示される例である。
【０１８８】
図１４（ｃ）は、図１４（ｂ）と同様の航跡のみが表示される例である。
【０１８９】
図１４（ｄ）は、図１４（ｃ）と同様の航跡に加えて、目標物の地図シンボル（例えば車両又は人等を示すシンボル）が表示される例である。
【０１９０】
図１４（ｅ）は、図１４（ｄ）と同様のシンボルに加えて、目標物の進行方向、速度及びＩＤなどの属性情報が表示される例である。
【０１９１】
図１４（ｆ）は、図１４（ｄ）と同様の航跡及びシンボルに加えて、目標物を含むカメラ画像がポップアップ表示される例である。
【０１９２】
図１４（ｇ）は、航跡に加えて、撮影されたカメラ画像の全体が表示される例である。背景の地図とカメラ画像とが対応するように、カメラ画像の形状が変換されてもよい。
【０１９３】
図１４（ｈ）は、航跡に加えて、撮影されたカメラ画像のうち目標物を含む部分が表示される例である。
【０１９４】
図１４（ｉ）は、航跡に加えて、撮影されたカメラ画像のうち目標物の部分のみを切り出した画像（クリップ画像）が表示され、さらに、目標物の属性情報又はキー情報（例えばサイズ等）が表示される例である。
【０１９５】
図１４（ｊ）は、撮影された目標物を含むカメラ画像に、抽出された目標物の航跡を示すシンボル（例えば矢印）が重畳表示される例である。
【０１９６】
図１４（ｋ）は、図１４（ｊ）と同様の画面に、さらに標物の属性情報又はキー情報（例えばサイズ等）が表示される例である。
【０１９７】
図１４（ｌ）は、撮影された目標物を含むカメラ画像に、目標物の進行方向、速度及びＩＤなどの属性情報が表示される例である。
【０１９８】
上記の図１４（ａ）〜（ｌ）が組み合わせられてもよい。上記のような表示によって、例えばレーダだけでは現場の状況把握が難しい広域監視のアプリケーションでも、検出した目標物が何であるのか、検出結果の属性（目標物種別など）が正しいか、などを簡易に確認できる。さらに、属性情報の修正ＧＵＩ機能が設けられてもよい。
【０１９９】
以上の説明をまとめると、本実施形態によれば、特性の異なる複数の種類のセンサによる観測データを組み合わせ、同一の目標物に関する確度および項目（データ内容）が異なる情報を組み合わせて移動軌跡を推定できる。これにより広範囲を高精度に監視することができる。
【０２００】
例えば、センサがレーダのみである場合には、レーダによる観測データから広範囲の目標物の位置情報をある程度の精度で取得することができるが、目標物の属性等を把握することが難しい場合がある。このため、レーダによる観測データのみを用いて航跡を抽出するためには、異なる時刻に観測された目標物が同一であるか否かを判定するための複雑な処理（例えばＭＨＴのような航跡の仮説の生成及び選択）を行う必要があった。
【０２０１】
一方、センサとしてカメラが追加された場合、カメラが撮影した画像からは、広範囲の情報を取得することは難しい場合があるが、撮影された範囲内に限れば、撮影された目標物の外形に基づいて、目標物の数、複数の目標物の相対位置、及び各目標物の大きさ等を把握することができ、さらにそれらの情報に基づいて、異なる時刻に観測された目標物が同一であるか否かを判定することもできる。このため、それらの情報を利用することによって、仮説の生成及び選択の処理を簡素化又は省略しながら、高精度な航跡を抽出することが可能になる。
【０２０２】
さらに、複数のセンサから、同一の目標物について、確度の異なる座標値が得られた場合、それらの確度に基づく重み付き平均または重心を算出することによって、確度の低い情報も利用しながら、高精度な航跡を抽出することが可能になる。
【符号の説明】
【０２０３】
１００ センサ統合装置
１０１、４０１Ａ、４０１Ｂ センサ情報入力部
１０１Ａ レーダ情報入力部
１０１Ｂ カメラ情報入力部
１０２Ａ センサ種別１前処理部
１０２Ｂ センサ種別２前処理部
１０２Ｃ レーダ前処理部
１０２Ｄ カメラ前処理部
１０３Ａ センサ種別１目標物検出部
１０３Ｂ センサ種別２目標物検出部
１０３Ｃ レーダ目標物検出部
１０３Ｄ カメラ目標物検出部
１０４ センサ情報統合部
１０４Ａ キー情報抽出部
１０４Ｂ 処理調整部
１０４Ｃ 航跡抽出処理部
１０５ 地図出力部
１０６ 航跡情報出力部
１０７ センサ情報出力部
１１１ 参照情報
１１２ センサモデルＤＢ
１１３ 目標物モデルＤＢ
１１４ 地図情報ＤＢ
１１５ 処理パラメータＤＢ
１１６ 目標物情報ＤＢ
１１７ センサ情報ＤＢ
１５１ センサ１
１５１Ａ レーダ１
１５１Ｂ レーダ２
１５２ センサ２
１５２Ａ カメラ１
１５２Ｂ カメラ２
１６０ ネットワーク
１７０ センサ情報
１７１ センサ属性
１７２ データ
１７３ データ属性
２０１ インターフェース（Ｉ／Ｆ）
２０２ プロセッサ
２０３ 記憶装置
２０４ 入力装置
２０５ 出力装置
２０６ 通信線
４００Ａ、４００Ｂ 処理装置
４０２Ａ、４０２Ｂ センサ前処理部
４０３Ａ、４０３Ｂ センサ目標物検出部
４０４Ａ、４０４Ｂ センサ情報出力部
【技術分野】
【０００１】
本発明は、異なる種類のセンサを含む複数のセンサによる観測データを用いて目標物を特定する技術に関する。
【背景技術】
【０００２】
重要施設、環境若しくは災害地域の監視、又は、捜索・救難支援など、センサを用いて広域を監視するニーズがある。
【０００３】
広域監視には、広い範囲を監視できるセンサであるレーダが有効である。ただしレーダ１台ではセンサ特性から注目領域をカバーできず、複数レーダの組み合わせ利用が必要な場合が多い。また広域監視では現場で発生している事象の状況が把握しづらいため、現場の状況を人が見て確認したり、さらに画像解析技術によって情報抽出するなどのニーズがある。このようなニーズに応じるためには、カメラを用いた動画又は静止画の形式のデータの利用が有効である。近年、カメラが安価となり利用しやすくなった。また地上設置の固定型の監視カメラだけでなく、車両、飛行体、又は水上及び水中移動体など、様々な移動型センサプラットフォームにカメラが搭載され、センサとして実利用可能となっている。
【０００４】
例えば、移動カメラが撮影した画像から、移動体を抽出する方法が開示されている（非特許文献１）。また、複数センサによって取得された情報に基づいてリアルタイムに目標物の運動モデルを推定する方法が開示されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平７−２１８６１１号公報
【非特許文献】
【０００６】
【非特許文献１】木村宣隆 他、「対称的差分探索法による移動車両のリアルタイム検出」、２０１０年度人工知能学会全国大会、２Ｅ２−０１、２０１０年６月
【発明の概要】
【発明が解決しようとする課題】
【０００７】
非特許文献１には、上記のように、１種類のセンサ（具体的には移動カメラ）から取得された情報から移動体を抽出する技術が開示されているが、例えばレーダとカメラといった異なる種類の複数センサを組み合わせて用い、各センサの特性に応じて観測データを組み合わせて、目標物を高精度に特定する方法は開示されていない。
【０００８】
一方、特許文献１に開示された方法は、特定のセンサへの依存性があり、例えばレーダとカメラのような異種センサの組み合わせに適用することはできなかった。一般に、異種センサを用いた観測データの統合においては、一つの目標物について、精度および質（記述項目）が異なる複数の観測データが存在する場合が多い。そのため、センサ毎、さらには観測データ毎に特性の異なる情報の精度や質を考慮しつつ、統合処理する技術が必要であった。
【０００９】
本発明は、上記のような課題に鑑みてなされたものであり、異なる種類のセンサを含む複数センサの観測データを用いて、それらのセンサに特有の処理方式を実装しつつ、多様なセンサの組み合わせに対応した目標物の移動軌跡の推定を実現することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の代表的な一例を示せば次の通りである。すなわち、プロセッサと、前記プロセッサに接続される記憶装置と、前記プロセッサに接続される出力装置と、を備えるセンサ統合システムであって、前記記憶装置は、複数のセンサによって観測された観測データを保持し、前記観測データはあらかじめ規定された項目のうち選択的に記述された項目を含み、前記プロセッサは複数の前記観測データの選択記述された前記項目を組み合わせ、一つ以上の目標物の移動軌跡を推定し、前記出力装置は、前記移動軌跡を示す情報を出力することを特徴とする。
【発明の効果】
【００１１】
本発明のセンサ統合システムは、特性の異なる複数センサを組み合わせて監視できるため、広範囲を高精度に監視できる。特に大量ノイズ又は系統的欠測が生じる陸上の広域監視分野で、少数の異種センサを組み合わせて監視することができ、効率的（安価）かつ高頻度に監視できる。さらに、移動プラットフォームに搭載されたセンサと地上センサなどを補完でき、相互に特徴ある情報を組み合わせて、高信頼な状況把握が実現できるという利点がある。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態のセンサ統合システムの構成及び概略処理フローを示す機能ブロック図である。
【図２】本発明の実施形態のセンサ統合システムのハードウェア構成を示すブロック図である。
【図３】本発明の実施形態のセンサ統合システムの構成及び概略処理フローの具体例を示す機能ブロック図である。
【図４】本発明の実施形態のセンサ統合システムの構成及び概略処理フローの変形例を示す機能ブロック図である。
【図５Ａ】本発明の実施形態のセンサ統合装置が保持するセンサモデルＤＢの説明図である。
【図５Ｂ】本発明の実施形態のセンサ統合装置が保持する目標物モデルＤＢに含まれるキー情報テーブルの説明図である。
【図５Ｃ】本発明の実施形態のセンサ統合装置が保持する目標物モデルＤＢに含まれる主テーブルの説明図である。
【図５Ｄ】本発明の実施形態のセンサ統合装置が保持する目標物モデルＤＢに含まれるキー情報定義テーブルの説明図である。
【図６】本発明の実施形態のセンサ情報統合部が実行するセンサ情報統合処理を示すフローチャートである。
【図７】本発明の実施形態のセンサ情報統合部が実行するセンサ情報統合処理の第１の例の説明図である。
【図８】本発明の実施形態のセンサ情報統合部が実行する目標物モデルの自動構築及び切り換えの説明図である。
【図９】本発明の実施形態のセンサ情報統合部が実行するセンサ情報統合処理の第２の例の説明図である。
【図１０】本発明の実施形態のセンサ情報統合部が実行する目標物の位置調整処理の説明図である。
【図１１】本発明の実施形態のセンサ情報統合部が実行する観測データ判定の動的調整の説明図である。
【図１２】本発明の実施形態のセンサ情報統合部による観測データの組み合わせ選択の説明図である。
【図１３】本発明の実施形態のセンサ統合システムにおいて使用される地図インデックスの説明図である。
【図１４】本発明の実施形態のセンサ統合システムによって出力される情報の説明図である。
【発明を実施するための形態】
【００１３】
以下、図面を用いて本発明の実施の形態を説明する。
【００１４】
なお、本実施形態では目標物の移動軌跡を「航跡」と表現するが、本発明が対象とする目標物は、移動する物体である限り、例えば車両、人又は船舶等、いかなるものであってもよい。また、観測データの確度情報の例として分散値を用いて説明するが、分散値の代わりに分散共分散行列を用いても良い。その場合、後述のゲート範囲は円ではなく楕円、判定に用いる距離はマハラノビス距離、確率分布は多次元正規分布としても良い。
【００１５】
図１は、本発明の実施形態のセンサ統合システムの構成及び概略処理フローを示す機能ブロック図である。
【００１６】
本実施形態のセンサ統合システムは、センサ統合装置１００、複数のセンサ、及び、センサ統合装置１００と複数のセンサとを接続するネットワーク１６０によって構成される。
【００１７】
複数のセンサは、目標物に関する情報を取得できるものであればどのようなものであってもよい。ここで、目標物に関する情報とは、例えば目標物の位置を示す情報又は外形を示す情報等である。
【００１８】
図１には二つのセンサ、すなわちセンサ１＿１５１及びセンサ２＿１５２を示すが、本実施形態のセンサ統合システムは、さらに多くのセンサを含んでもよい。これらの複数のセンサは、複数の種類のセンサを含む。例えば、センサ１＿１５１がレーダであり、センサ２＿１５２がカメラであってもよい。このような例の詳細については図３を参照して後述する。
【００１９】
センサ統合装置１００は、センサ情報入力部１０１、センサ種別１前処理部１０２Ａ、センサ種別２前処理部１０２Ｂ、センサ種別１目標物検出部１０３Ａ、センサ種別２目標物検出部１０３Ｂ、センサ情報統合部１０４、地図出力部１０５、航跡情報出力部１０６及びセンサ情報出力部１０７を備える。
【００２０】
さらに、センサ統合装置１００は、上記の各部によって参照される参照情報１１１、センサ情報入力部１０１に入力されたセンサ情報を格納するセンサ情報ＤＢ（データベース）１１７、及びセンサ情報統合部によって生成された航跡情報等を格納する目標物情報ＤＢ１１６を保持する。参照情報１１１は、センサモデルＤＢ１１２、目標物モデルＤＢ１１３、地図情報ＤＢ１１４及び処理パラメータＤＢ１１５を含む。なお、センサ情報ＤＢ１１７及び目標物情報ＤＢ１１６は、地図情報ＤＢ１１４の一部として保持されてもよい。
【００２１】
センサ１＿１５１等は、センシングによって取得した観測データを含むセンサ情報１７０を、ネットワーク１６０を介してセンサ統合装置１００に送信する。本実施形態のセンサ情報１７０は、センサ属性１７１、データ１７２及びデータ属性１７３を含む。センサ属性１７１は、そのセンサ情報１７０を送信したセンサの種別（たとえばそれがレーダ又はカメラ等のいずれであるかを示す情報）、識別子（ＩＤ）、及び当該センサの観測データに含まれる可能性がある項目（時刻、位置、速度、加速度、及び航跡）のような、センサの諸元を含む。データ１７２は、各センサによって取得された観測データ及びそれが取得された時刻等を含む。データ属性１７３は、観測データの属性を示す情報、例えば観測データの精度等を含んでもよい。これらの詳細については後述する。センサ統合装置１００は、センサ情報１７０をステップごとに取得してもよいし、ストリーミングによって取得してもよい。
【００２２】
各センサは、センサ統合装置１００に固定的に接続されていてもよいが、新規のセンサの追加及び既存のセンサの削除を許容してもよい。追加されたセンサからの要求に基づいてセンサ統合装置１００に新たなセンサが登録されてもよいし（すなわちＰＵＳＨ登録）、センサ統合装置１００がセンサを検索し、検索されたセンサを登録してもよい（すなわちＰＵＬＬ登録）。
【００２３】
センサ情報入力部１０１は、センサから受信したセンサ情報１７０をセンサ情報ＤＢ１１７に格納する。また、センサ情報入力部１０１は、異なる種類のセンサに対応するため、センサ情報１７０に含まれるセンサ属性１７１に記述されたセンサ種別に基づいてセンサ情報１７０の送信元のセンサ種別を判定し、判定されたセンサ種別に対応するセンサモデルに基づいて、センサ情報１７０を処理する前処理部等を選択する。これによって、例えばセンサ１＿１５１から送信されたセンサ情報１７０はセンサ種別１前処理部１０２Ａ及びセンサ種別１目標物検出部１０３Ａによって処理され、センサ２＿１５２から送信されたセンサ情報１７０はセンサ種別２前処理部１０２Ｂ及びセンサ種別２目標物検出部１０３Ｂによって処理される。
【００２４】
例えば、センサ種別１前処理部１０２Ａは、センサ１＿１５１から送信された観測データについて前処理を行う。例えば、前処理として、センサ種別１前処理部１０２Ａは、センサ１＿１５１からのセンサ情報１７０やデータ１７２に含まれている座標値を、センサ情報統合部１０４において扱われる絶対座標系における座標値に変換してもよい。例えばセンサがレーダの場合、観測データの座標値が極座標系（距離、仰角、方位角）で記述される場合があるため、これを絶対座標系に変換してもよい。また絶対座標系とは、複数種類のセンサによって観測された座標値を統一的に扱うために使用される統一的な座標系であり、例えばＧＰＳにおいて使用されるＷＧＳ８４経緯度座標系や、あるいはＵＴＭ（ユニバーサル横メルカトール図法）など直交座標系等、任意の座標系を絶対座標系として採用することができる。さらに、上記以外の処理が前処理として実行されてもよい。同様に、センサ種別２前処理部１０２Ｂは、例えば、センサ２＿１５２から送信されたセンサ情報１７０についての前処理を実行する。
【００２５】
センサ種別１目標物検出部１０３Ａ及びセンサ種別２目標物検出部１０３Ｂは、観測データに基づいて、目標物を検出する処理、特に、移動している目標物を検出する処理を実行する。この処理については図３等を参照して後述する。
【００２６】
センサ統合装置１００に３種類以上のセンサからの観測データが入力される場合、センサ統合装置１００は、さらに多くの前処理部及び目標物検出部を備える（図示省略）。
【００２７】
センサ情報統合部１０４は、複数種類のセンサによって取得され、前処理及び目標物検出処理が実行された観測データに基づいて、目標物の航跡を抽出する。特に、複数の種類の目標物が混在する環境下で目標物及びその航跡を抽出するため、目標物モデルに基づいて、航跡抽出の処理を調整する。これらの処理を実行するために、センサ情報統合部１０４は、キー情報抽出部１０４Ａ、処理調整部１０４Ｂ及び航跡抽出処理部１０４Ｃを含む。これらが実行する詳細な処理については後述する。抽出された航跡を示す情報は、目標物情報ＤＢ１１６に格納される。
【００２８】
具体的には、例えば、キー情報抽出部１０４Ａは、複数種類のセンサのうち少なくとも一つによる観測データから、航跡抽出処理に有効なキー情報を抽出する。ここでキー情報とは、目標物の数、大きさ、速度、又は航跡（目標物検出部の処理結果の航跡ＩＤ）等である。
【００２９】
処理調整部１０４Ｂは、抽出されたキー情報に基づいて、観測データを組み合わせて処理するための処理パラメータ等を調整する。具体的には、処理調整部１０４Ｂは、抽出されたキー情報に基づいて、観測データの組み合わせから航跡の仮説を作成するために使用する目標物モデルを選択又は変更し、さらに、同時に存在する航跡の数（すなわち仮説選択数）を限定してもよい。あるいは、目標物が存在するか否かはレーダからの観測データに基づいて判定し、目標物の位置や属性（サイズ等）、及びその連続性（航跡ＩＤ）はカメラからの観測データに基づいて判定するなどの処理を指定してよい。
【００３０】
航跡抽出処理部１０４Ｃは、処理調整部１０４Ｂによって調整された処理パラメータを使用することによって、それぞれの種類のセンサの特性を考慮して、航跡を推定し、推定された航跡を、抽出結果として出力する。航跡抽出処理部１０４Ｃは、例えば、公知技術であるＭＨＴ（Ｍｕｌｔｉｐｌｅ Ｈｙｐｏｔｈｅｓｉｓ Ｔｒａｃｋｉｎｇ、多重仮説相関方式）やＪＰＤＡ（Ｊｏｉｎｔ Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）等によって航跡を抽出してもよい。ＭＨＴを利用する場合、処理パラメータの調整は、仮設の組み合わせ生成結果から選択される仮説の数を、キー情報に含まれる目標物の数と同数に制限することであってもよい。
【００３１】
あるいは、キー情報に含まれる目標物の大きさ及び速度を用いてフィルタリングすることによって目標物モデルを選択し、その目標物モデルに基づいて仮説の確からしさを検証してもよい。あるいは、非線形・非ガウス型時系列データの推定方法として知られているＰＦ（Ｐａｒｔｉｃｌｅ Ｆｉｌｔｅｒ、粒子フィルタ）を利用してもよい。ＰＦを利用する場合、目標物モデルを用いてＰＦで使用されるサンプルの拡散の方向及び移動量を制御することによって処理パラメータを調整してもよい。
【００３２】
なお、上記のような処理の分担は一例であり、実際には多様な分担の形態が考えられる。例えば、前処理部及び目標物検出部の全部又は一部がセンサ側に設けられてもよいし（図４参照）、前処理部及び目標物検出部が実行するものと同様の処理を全てセンサ情報統合部１０４が実行してもよい。図１においてセンサ種別１目標物検出部１０３Ａが破線で表示されているのは、上記のように、目標物の検出が別の処理部等で実行されてもよいことを示している。
【００３３】
地図出力部１０５は、地図情報ＤＢ１１４を参照して地図を出力し、さらに、目標物の座標値及び抽出された航跡をその地図上に出力する。航跡情報出力部１０６は、抽出された航跡を出力する。センサ情報出力部１０７は、センサ情報ＤＢ１１７に格納された観測データ（具体的には目標物の座標値等）を出力する。後述するように、観測データ及び抽出された航跡は、種々の態様で出力され得る。図１には、代表的な三つの態様に対応する三つの出力部を示したが、実際には、さらに多様な態様の出力を実行するために多数の出力部が設けられてもよいし、一つの出力部が、ユーザから指定された態様又は所定の条件に従って定められた態様で航跡等を出力してもよい。
【００３４】
図２は、本発明の実施形態のセンサ統合システムのハードウェア構成を示すブロック図である。
【００３５】
本実施形態のセンサ統合装置１００は、インターフェース（Ｉ／Ｆ）２０１、プロセッサ２０２、記憶装置２０３、入力装置２０４及び出力装置２０５を備える。これらは、通信線（例えばバス）２０６を介して相互に接続される。
【００３６】
Ｉ／Ｆ２０１は、ネットワーク１６０に接続され、ネットワーク１６０を介してセンサ１＿１５１及びセンサ２＿１５２等からセンサ情報１７０を受信する。ネットワーク１６０は、例えばＩＰネットワーク又はその他の種類のネットワーク等、いかなるものであってもよい。
【００３７】
なお、図１にはセンサ情報１７０がネットワーク１６０を介してセンサ統合装置１００に入力される例を示したが、センサ情報１７０がネットワーク１６０を介さずにセンサ統合装置１００に入力されてもよい。例えば、センサ１＿１５１等がＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のケーブルを介してセンサ統合装置１００に接続され、そのケーブルを介してセンサ情報１７０がセンサ統合装置１００に入力されてもよい。その場合、Ｉ／Ｆ２０１はＵＳＢのインターフェースである。あるいは、センサ１＿１５１等がセンサ情報１７０を持ち運び可能な記憶媒体（例えば持ち運び可能なフラッシュメモリ又は記憶ディスク）に格納し、その記憶媒体からセンサ情報１７０がセンサ統合装置１００に入力されてもよい。その場合、Ｉ／Ｆ２０１は記憶媒体の読み出し装置である。あるいは、センサ１＿１５１等がセンサ統合装置１００に直結されてもよい。
【００３８】
プロセッサ２０２は、センサ統合装置１００の各部を制御することによって、センサ統合装置１００の種々の機能を実現する。例えば、プロセッサ２０２は、記憶装置２０３に格納されたプログラムに従って、Ｉ／Ｆ２０１、入力装置２０４及び出力装置２０５を制御することによって、図１のセンサ情報入力部１０１、センサ種別１前処理部１０２Ａ、センサ種別２前処理部１０２Ｂ、センサ種別１目標物検出部１０３Ａ、センサ種別２目標物検出部１０３Ｂ、センサ情報統合部１０４、地図出力部１０５、航跡情報出力部１０６及びセンサ情報出力部１０７の機能を実現してもよい。その場合、図２に示すハードウェアとして一般的なＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）が使用されてもよい。あるいは、プロセッサ２０２は、上記のような汎用プロセッサでなく、上記の各部の機能を実現する一つ以上の専用プロセッサであってもよい。
【００３９】
記憶装置２０３には、プロセッサ２０２が実行するプログラム及びプロセッサ２０２によって参照されるデータが格納される。例えば、図１に示した参照情報１１１、目標物情報ＤＢ１１６及びセンサ情報ＤＢ１１７が記憶装置２０３に格納される。記憶装置２０３は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような揮発性の半導体メモリ、フラッシュメモリのような不揮発性の半導体メモリ、若しくはハードディスクドライブのようなディスク装置のいずれか、又はそれらの組み合わせであってもよい。
【００４０】
入力装置２０４は、ユーザからの指示等を受け付けるために使用され、例えば、キーボード及びマウス等を含んでもよい。センサ統合装置１００がユーザから指示を受ける必要がない場合には、入力装置２０４が省略されてもよい。
【００４１】
出力装置２０５は、抽出された航跡等を出力する。例えば、出力装置２０５は、液晶表示装置のような画像表示装置であってもよい。その場合、図１に示した各出力部の機能は、プロセッサ２０２が画像を生成するプログラムに従って航跡等を表示する画像を作成し、画像表示装置がその画像を表示することによって実現される。
【００４２】
なお、図１に示した各出力部は、ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍ Ｉｎｔｅｒｆａｃｅ）、Ｗｅｂサービス又は記憶媒体を介して航跡等を出力してもよい。その場合、出力装置は、ネットワークインターフェース又は記憶媒体への書き込み装置であってもよい。
【００４３】
図３は、本発明の実施形態のセンサ統合システムの構成及び概略処理フローの具体例を示す機能ブロック図である。
【００４４】
具体的には、図３は、図１に示したセンサ統合システムに含まれる複数の種類のセンサのうち第１の種類のセンサがレーダであり、第２の種類のセンサがカメラである場合の構成及び概略処理フローを示す。このようなセンサ統合システムは、複数のレーダ及び複数のカメラを備えてもよい。
【００４５】
なお、周知のように、レーダは、目標物の位置に関する情報を取得できるセンサである。一方、カメラは、目標物を含む監視対象領域の画像を撮影するセンサである。撮影された画像から、目標物の領域（例えば大きさ及び形状などの外形等）に関する情報を取得できる。カメラの位置及び撮影された方向等を特定するパラメータが与えられれば、撮影された画像に基づいて目標物の位置を特定することもできる。
【００４６】
図３に示すセンサ統合システムのレーダ１＿１５１Ａ及びレーダ２＿１５１Ｂは、図１に示すセンサ統合システムのセンサ１＿１５１に相当し、カメラ１＿１５２Ａ及びカメラ２＿１５２Ｂはセンサ２＿１５２に相当する。カメラ１＿１５２Ａ等は、固定されたカメラであってもよいし、移動体に設置された移動カメラであってもよい。移動カメラの一例は、有人又は無人の飛行体に設置され、地表方向を撮影するカメラである。この場合、撮影される目標物は、例えば地表を移動する車両、人又は水面を移動する船舶等である。
【００４７】
レーダ及びカメラからセンサ統合装置１００に入力されるセンサ情報１７０の構造は図１に示したものと同じであるが、含まれている観測データの詳細な内容は、後述するように、センサの種類ごとに異なってもよい。
【００４８】
レーダ情報入力部１０１Ａ及びカメラ情報入力部１０１Ｂはセンサ情報入力部１０１に相当し、レーダ前処理部１０２Ｃ及びレーダ目標物検出部１０３Ｃがそれぞれセンサ種別１前処理部１０２Ａ及びセンサ種別１目標物検出部１０３Ａに相当し、カメラ前処理部１０２Ｄ及びカメラ目標物検出部１０３Ｄがそれぞれセンサ種別２前処理部１０２Ｂ及びセンサ種別２目標物検出部１０３Ｂに相当する。これらの各部は、基本的には、それぞれに相当する図１の各部と同様の処理を実行するが、その際に、センサの種類に応じた特有の処理を実行してもよい。
【００４９】
例えば、レーダによる観測データにはノイズが含まれる場合が多いため、レーダ目標物検出部１０３Ｃは、フィルタ処理等によってノイズを削減してもよい。あるいは、レーダによると一つの目標物が複数の点の集合として観測される場合があるため、レーダ目標物検出部１０３Ｃは、そのようなデータを間引きしてもよい。
【００５０】
一方、カメラ目標物検出部１０３Ｄは、例えば非特許文献１に記載された方法によって目標物を検出することができる。
【００５１】
具体的には、例えば、カメラ目標物検出部１０３Ｄは、カメラ１＿１５２Ａ等が撮影した画像に含まれる目標物の領域の、当該画像の座標系における座標値を、絶対座標系における座標値に変換する処理を実行する。これによって、レーダによって観測された目標物の座標値と、カメラ画像から特定された目標物の座標値とを比較することができる。ここで、カメラ撮影方向等を適切に制御することで、１枚の画像として撮影される範囲は十分に狭く、画像に写っているものは全て水平な地表面上にあるものとみなすことができる。このような条件の下で、カメラの内部パラメータ（すなわち焦点距離、主点）および外部パラメータ（すなわち位置、撮影方向）が与えられれば、絶対座標系における座標値は、次の数式（１）を計算することによって得られることが知られている。
【００５２】
【数１】
【００５３】
ここで、（Ｘ，Ｙ）は絶対座標系における目標物の座標、（ｘ，ｙ）は画像座標系における目標物の座標である。また、ｓは画像のスケーリング係数、ｆx、ｆy、ｃx、ｃyはカメラ内部パラメータ、ｒxx〜ｒzx、ｒxy〜ｒzy及びｔx〜ｔzはカメラ外部パラメータである。これらは公知の方法によって決定することができるため、ここでは詳細な説明を省略する。
【００５４】
さらに、カメラ目標物検出部１０３Ｄは、上記領域のモーメント特徴量等から目標物の全長方向を算出し、それに基づいて当該目標物の全長及び全幅を計測することができる。さらに、カメラ目標物検出部１０３Ｄは、非特許文献１に記載された方法によって、撮影された２フレームのうち一方の画像から移動体領域を切り出し、他方の画像を用いてテンプレートマッチングを行うことによって、当該他方の画像において、切り出した移動体領域に対応する領域を取得することができる。これによって、二つの時刻における、絶対座標系における移動体領域を求めることができ、それぞれの移動体領域の位置を比較することによって、一つの目標物の上記二つの時刻における座標値、その目標物の速度及び加速度を求めることができる。また、抽出された移動体領域の数を、画像に含まれる目標物の数として特定することができる。
【００５５】
具体的には、カメラ目標物検出部１０３Ｄは、上記の二つの時刻における移動体領域の少なくとも一部が重複している場合、それらの移動体領域に写っている目標物を同一の目標物であると判定し（非特許文献１）、それらに同一の目標物ＩＤ（後述）を付与する。カメラが画像を撮影する時間間隔が十分に短ければ、ある時刻に撮影された目標物の画像と、その次の時刻に撮影された目標物の画像とは、少なくともその一部が重複すると考えられるためである。さらにそれらの位置の差及びカメラが画像を撮影する時間間隔に基づいて、速度を求めることができる。
【００５６】
図４は、本発明の実施形態のセンサ統合システムの構成及び概略処理フローの変形例を示す機能ブロック図である。
【００５７】
具体的には、図４には、前処理及び目標物検出処理をセンサ側で行うセンサ統合システムを示す。図４に示すセンサ統合システムは、センサ１＿１５１、センサ２＿１５２及びセンサ統合装置１００に加えて、処理装置４００Ａ及び４００Ｂを備える。処理装置４００Ａ及び４００Ｂは、ＰＣのような独立した装置として構成され、ネットワーク１６０に接続されてもよい。その場合、処理装置４００Ａ及び４００Ｂのハードウェア構成は図２に示したセンサ統合装置の構成と同様であってもよい。あるいは、処理装置４００Ａ及び４００Ｂは、センサプラットフォームに組み込まれていてもよい。その場合、処理装置４００Ａ及び４００Ｂは、それぞれセンサ１＿１５１及びセンサ２＿１５２の一部であってもよい。
【００５８】
処理装置４００Ａは、センサ情報入力部４０１Ａ、センサ前処理部４０２Ａ、センサ目標物検出部４０３Ａ及びセンサ情報出力部４０４Ａを備える。これらは、それぞれ、図１に示したセンサ情報入力部１０１、センサ種別１前処理部１０２Ａ、センサ種別１目標物検出部１０３Ａ及びセンサ情報出力部１０７と同等のものであってよい。ただし、処理装置４００Ａは、１種類のセンサからのセンサ情報を処理するため、センサ情報入力部４０１Ａはセンサ種別に基づく処理の振り分けを行う必要がない。また、センサ情報出力部４０４Ａは、センサ目標物検出部４０３Ａによって処理されたセンサ情報１７０を出力する。
【００５９】
同様に、処理装置４００Ｂは、センサ情報入力部４０１Ｂ、センサ前処理部４０２Ｂ、センサ目標物検出部４０３Ｂ及びセンサ情報出力部４０４Ｂを備える。これらは、それぞれ、図１に示したセンサ情報入力部１０１、センサ種別２前処理部１０２Ｂ、センサ種別２目標物検出部１０３Ｂ及びセンサ情報出力部１０７と同等のものであってよい。
【００６０】
図１の場合と同様、処理装置４００Ａ及び４００Ｂは、センサ目標物検出部４０３Ａ及び４０３Ｂを備えなくてもよい。異なるレベルのセンサ情報１７０がセンサ統合装置１００に入力された場合（例えば、後述する目標物ＩＤが付与されたセンサ情報１７０と付与されていないセンサ情報１７０とがセンサ統合装置１００に入力された場合）、センサ統合装置１００がセンサ属性１７１及びデータ属性１７３に基づいて処理レベル（例えば目標物ＩＤを付与する処理を行う必要があるか否か）及びデータ１７２の内容を判定し、適切な処理を選択して実行する。
【００６１】
ここで、図１〜図４に示したセンサ情報１７０の内容について説明する。
【００６２】
一組のセンサ情報１７０は、一つのセンサ属性１７１と、複数のデータ１７２と、それぞれに対応する複数のデータ属性１７３と、を含む。
【００６３】
センサ属性１７１は、センサ種別、センサＩＤ、センサ位置、センサ観測パラメータ、位置データ精度、検出データ確度、処理方式、及び処理確度等を含む。センサ種別は、センサの種類を示す情報であり、例えば、センサ情報１７０を送信したセンサ（ここでは当該センサと記載する）がレーダ、固定カメラ又は移動カメラ等のいずれであるかを示す。センサＩＤは、当該センサを一意に識別する情報である。センサ位置は、当該センサが設置された位置の座標値等を示す。センサ観測パラメータは、当該センサによる観測対象の範囲等を示す情報であり、当該センサがカメラである場合には撮影方向及び画角等を含んでもよい。位置データ精度は、観測データ（すなわちデータ１７２）に含まれる座標値の精度を示す。例えば、位置データ精度は、座標値の存在確率を示す確率密度関数の分散値であってもよい。
【００６４】
なお、センサ属性１７１は、上記以外の情報をさらに含んでもよいし、上記の情報の一部のみを含んでもよい。例えば、当該センサが移動カメラ（例えば飛行体に取り付けられたカメラ等）である場合には、時刻ごとに当該センサの位置が異なる。この場合、センサ属性１７１はセンサ位置を含まず、代わりに、後述するデータ属性１７３がセンサ位置を含んでもよい。
【００６５】
各データ１７２は、時刻、位置、速度、加速度、及び航跡ＩＤ等を含む。時刻は、当該センサがデータ１７２を観測した時刻であり、その時刻に観測された目標物の位置（すなわち座標値）、速度、加速度等が各データ１７２に含まれる。
【００６６】
各データ１７２は、上記以外の情報をさらに含んでもよいし、上記の情報の一部のみを含んでもよい。例えば、当該センサがカメラである場合、各データ１７２は、当該センサが撮影した画像データを含んでもよく、位置、速度及び加速度等を含まなくてもよい。また、図４に示した構成において、例えば処理装置４００Ａがセンサ目標物検出部４０３Ａを備える場合には、その処理装置４００Ａからセンサ統合装置１００に入力されるデータ１７２は、センサ目標物検出部４０３Ａによって抽出された航跡ＩＤを含むが、処理装置４００Ａがセンサ目標物検出部４０３Ａを備えない場合には、データ１７２は航跡ＩＤを含まない。
【００６７】
各データ１７２に対応する各データ属性１７３は、対応する各データ１７２の属性に関する情報を含み、具体的には、全体確度、観測範囲、センサ観測パラメータ、及び個別確度等を含む。全体確度は、対応するデータ１７２に含まれるデータ全体の確度を示す情報である。観測範囲は、当該センサによって観測される範囲であり、例えばレーダの有効な観測範囲又はカメラによって撮影される範囲等を示す。センサ観測パラメータは、当該センサが移動プラットフォームセンサ（例えば飛行体に取り付けられたカメラ等）である場合の、対応するデータ１７２が観測された時刻における当該センサの位置及び撮影方向等を含む。個別確度は、対応するデータ１７２に含まれるデータ項目（例えば位置、速度、加速度及び航跡ＩＤ等）ごとの確度を示す。
【００６８】
各データ属性１７３は、上記以外の情報をさらに含んでもよいし、上記の情報の一部のみを含んでもよい。例えば、各データ属性１７３は、全体確度又は個別確度のいずれか一方のみを含んでもよい。また、当該センサが固定センサである場合、各データ属性１７３は、センサ観測パラメータを含まなくてもよい。その場合、センサ属性１７１に含まれるセンサ観測パラメータが参照される。
【００６９】
次に、センサ統合装置に保持される情報について説明する。
【００７０】
図５Ａは、本発明の実施形態のセンサ統合装置１００が保持するセンサモデルＤＢ１１２の説明図である。
【００７１】
センサモデルＤＢ１１２には、それぞれがセンサの種類に対応する複数のレコードが格納される。各レコードは、センサ種別コード５０１、種別名称５０２、センサ属性項目５０３及び観測データ項目５０４等を含む。
【００７２】
センサ種別コードは、各センサの種類を示すコードであり、例えば、レーダを示すコード（Ｒａｄａｒ）、固定カメラを示すコード（ＦｉｘｅｄＣａｍ）及び移動カメラを示すコード（ＭｏｖｉｎｇＣａｍ）等が格納される。
【００７３】
種別名称５０２は、センサの種類を示す名前であり、例えば、「レーダ」、「固定カメラ」及び「移動カメラ」等が格納される。
【００７４】
センサ属性項目５０３は、センサ属性１７１に含まれる可能性がある情報の項目を示すコードである。例えば、レーダからのセンサ属性１７１に含まれる可能性がある情報の項目として、センサ種別、センサ位置、センサの角度、使用される座標系、観測可能な最大距離、観測可能な範囲、及び観測エラーに関する情報等が挙げられる。その場合、レーダに対応するセンサ属性項目５０３として、上記の項目を示すコード（例えばＳｅｎｓｏｒＴｙｐｅ、ＳｅｎｓｏｒＰｏｓ、ＳｅｎｓｏｒＡｎｇｌｅ、ＰｏｓＣＲＳ、ＭａｘＤｉｓｔ、ＣｏｖｅｒＡｒｅａ、及びＥｒｒｏｒＩｎｆｏ等）が格納される。
【００７５】
一方、例えば固定カメラからのセンサ属性１７１に含まれる可能性がある情報の項目として、上記と同様の項目のほか、センサ観測パラメータ及びデータ形式（例えば撮影された画像データの形式）等が挙げられる。この場合、固定カメラに対応するセンサ属性項目５０３としてさらに上記の項目を示すコード（例えばＳｅｎｓｏｒＰａｒａｍ及びＤａｔａＴｙｐｅ等）が格納される。
【００７６】
観測データ項目５０４は、観測データ（すなわちデータ１７２及びデータ属性１７３）に含まれる可能性がある情報の項目を示すコードである。例えば、レーダからの観測データに含まれる可能性がある情報の項目として、時刻、Ｘ座標、Ｙ座標、Ｚ座標、速度、加速度、航跡ＩＤ、目標物の長さ、目標物の幅、目標物の向き、観測データの精度、及び観測エラーに関する情報等が挙げられる。その場合、レーダに対応する観測データ項目５０４として、上記の項目を示すコード（例えばＴｉｍｅ、Ｘ、Ｙ、Ｚ、Ｖ、Ａ、ＴｒｃＮｏ、Ｔｌ、Ｔｗ、Ｔｏ、Ａｃｃｕｒａｃｙ、及びＥｒｒｏｒＩｎｆｏ等）が格納される。もちろん、ＸＹＺ座標以外のレーダ極座標（距離Ｒａｎｇｅ、仰角Ｅｌｅｖａｔｉｏｎ、方位角Ａｚｉｍｕｔｈ）を格納し、前処理にて絶対座標系に変換できるようにしても良い。
【００７７】
一方、例えば固定カメラからの観測データに含まれる可能性がある情報の項目として、上記と同様の項目のほか、画像データ等が挙げられる。この場合、固定カメラに対応する観測データ項目５０４としてさらに上記の項目を示すコード（例えばＩｍａｇｅ等）が格納される。
【００７８】
図５Ｂは、本発明の実施形態のセンサ統合装置１００が保持する目標物モデルＤＢ１１３に含まれるキー情報テーブル５２０の説明図である。
【００７９】
キー情報テーブル５２０には、それぞれが目標物のモデルとキー情報との組み合わせに対応する複数のレコードが格納される。各レコードは、目標物モデルコード５２１、キー情報コード５２２、キー最大値５２３、キー最小値５２４及び処理パラメータ５２５等を含む。
【００８０】
目標物モデルコード５２１は、目標物のモデルを示すコードであり、例えば車両を示すコード（Ｃａｒ）及び人を示すコード（Ｈｕｍａｎ）等が格納される。目標物モデルコード５２１は、キー情報テーブル５２０と後述する主テーブル５４０とを対応付けるための外部キーとして使用される。
【００８１】
キー情報コード５２２は、観測データから抽出されるキー情報を示すコードであり、例えば目標物の幅を示すコード（Ｔｗ）、目標物の速度を示すコード（Ｖ）及び目標物の航跡ＩＤを示すコード（ＴｒｃＮｏ）等が格納される。キー情報コード５２２は、キー情報テーブル５２０と後述するキー情報定義テーブル５６０とを対応付けるための外部キーとして使用される。
【００８２】
キー最大値５２３及びキー最小値５２４は、それぞれ、キー情報として指定された項目の値が満たすべき条件を示し、具体的には指定された項目の値の最大値及び最小値である。処理パラメータ５２５は、条件を満たす目標物の航跡を抽出するために使用されるべき処理パラメータである。
【００８３】
図５Ｂの例では、目標物モデルコード「Ｃａｒ」及びキー情報コード「Ｔｗ」の組に対応するキー最大値５２３、キー最小値５２４及び処理パラメータ５２５として、それぞれ「ｘｘｘｍ（メートル）」、「０ｍ」及び「ｐ１」が格納されている。これは、観測データから抽出された目標物の幅が０ｍからｘｘｘｍまでの範囲である場合、当該目標物が車両であると判定され、その航跡を抽出するために処理パラメータ「ｐ１」が使用されることを示している。
【００８４】
なお、ここに格納された処理パラメータを詳細に記述する情報が処理パラメータＤＢ１１５に格納されてもよい。また、処理パラメータの代わりに（又は処理パラメータに加えて）、使用されるべき処理アルゴリズムを示す情報がキー情報テーブル５２０又は処理パラメータＤＢ１１５に登録されてもよい。
【００８５】
一般に、目標物の移動の態様（例えば移動速度、加速度、進行方向の変化の頻度等）は、目標物の種類（例えば車両又は人等）によって異なるため、航跡を抽出する処理において使用される最適なパラメータ及びアルゴリズムも目標物の種類によって異なると考えられる。本実施形態では、上記のように、抽出されたキー情報に基づいて目標物の種類が特定され、それぞれの目標物の特性に応じて最適な処理パラメータ及び処理アルゴリズムを使用することによって、航跡の抽出精度を向上する。
【００８６】
図５Ｃは、本発明の実施形態のセンサ統合装置１００が保持する目標物モデルＤＢ１１３に含まれる主テーブル５４０の説明図である。
【００８７】
主テーブル５４０には、各目標物モデルコードに対応する目標物モデルを記述する情報が登録される。主テーブル５４０の各レコードは、登録された各目標物モデルに対応し、目標物モデルコード５４１、名称５４２、処理種別５４３及び地図存在領域コード５４４等を含む。
【００８８】
目標物モデルコード５４１は、目標物のモデルを示すコードであり、キー情報テーブル５２０の目標物モデルコード５２１に対応する。
【００８９】
名称５４２は、目標物モデルの名称である。主テーブル５４０には、目標物モデルとして、例えば、「車両」（例えば自動車）又は「人」（例えば歩行者）のような目標物の種類に対応する目標物モデルのほか、「等速直線運動」又は「カルマンフィルタ」のような、目標物の運動モデルそのものが登録されてもよい。名称５４２として、それらの目標物モデルの名称が格納され、処理結果の確認等のため、出力処理に用いることができる。
【００９０】
処理種別５４３は、各目標物モデルに適用される航跡抽出のための処理方式（処理アルゴリズム等）を示す。
【００９１】
地図存在領域コード５４４は、各目標物モデルが適用される地図上の領域を示す。例えば、目標物モデルが車両である場合、車両は、通常、道路上を走行するものであるため、それに対応する地図存在領域コード５４４として、道路（Ｒｏａｄ）が格納される。あるいは、該目標物が存在しない領域や、ノイズが発生しやすい領域などのコードを格納しても良い。
【００９２】
図５Ｄは、本発明の実施形態のセンサ統合装置１００が保持する目標物モデルＤＢ１１３に含まれるキー情報定義テーブル５６０の説明図である。
【００９３】
キー情報定義テーブル５６０には、各キー情報コードに対応する各キー情報の定義を記述する情報が登録される。キー情報定義テーブル５６０の各レコードは、キー情報コード５６１及び名称５６２等を含む。
【００９４】
キー情報コード５６１は、キー情報を示すコードであり、キー情報テーブル５２０のキー情報コード５２２に対応する。
【００９５】
名称５６２は、キー情報の名称であり、出力に用いることができる。
【００９６】
図５Ｄの例では、キー情報コード「Ｔｗ」に対応する名称５６２として「Ｓｉｚｅ（ｔａｒｇｅｔ ｗｉｄｔｈ）」が定義されている。これは、キー情報コード「Ｔｗ」が目標物の大きさ、具体的には幅（すなわち、目標物の進行方向に直行する方向に計測した目標物の大きさ）を示すことを意味する。
【００９７】
地図情報ＤＢ１１４、処理パラメータＤＢ１１５、目標物情報ＤＢ１１６及びセンサ情報ＤＢ１１７については、詳細な図示を省略するが、それらの概要は次の通りである。
【００９８】
地図情報ＤＢ１１４の各レコードは、領域コード及び領域種別ごとの図形データ等を含む。領域コードは、例えば道路を示す「Ｒｏａｄ」等であり、図形データとして、例えば道路の形状を記述する座標値の列が格納されてもよい。
【００９９】
上記のような地図情報ＤＢの構造は従来から知られているものであるが、本実施形態の地図情報ＤＢには、さらに、後述する時空間インデクスが格納されてもよい（図１３参照）。
【０１００】
処理パラメータＤＢ１１５には、処理を実行する時間間隔（タイムステップ）、有効処理時間、処理方式、及びキー情報の組み合わせ等が格納される。これによって、例えば、「カメラからの画像に基づいて目標物の大きさを取得し、所定の方式で航跡抽出処理を行う」等の処理を定義することができる。
【０１０１】
目標物情報ＤＢ１１６の各レコードには、時刻、その時刻における目標物の座標値、及び当該目標物を識別する目標物ＩＤ（言い換えると、当該座標値に与えられた目標物ＩＤ）等が格納される。
【０１０２】
ところで、ある目標物の航跡（移動軌跡）は、その目標物の時刻ごとの座標値を時刻の順に連結することによって得られる。したがって、与えられた座標値に基づいて目標物の航跡を特定することは、各時刻における座標値に目標物ＩＤを付与することと等価である。このため、目標物ＩＤが航跡ＩＤとして使用されてもよい。本実施形態では、目標物ＩＤを航跡ＩＤとして扱う。
【０１０３】
センサ情報ＤＢ１１７には、入力されたセンサ情報１７０がそのまま格納されてもよいが、センサ情報１７０のうち必要な情報のみが抽出され、センサ情報ＤＢ１１７に格納されてもよい。例えば、センサ情報ＤＢ１１７の各レコードは、時刻、センサＩＤ、及び当該時刻に当該センサによって取得された目標物の位置情報等が格納される。もちろん、前処理部による処理結果（座標変換等）や、間引きや圧縮した情報を格納しても良い。
【０１０４】
図６は、本発明の実施形態のセンサ情報統合部１０４が実行するセンサ情報統合処理を示すフローチャートである。
【０１０５】
最初に、センサ情報統合部１０４にセンサ種別１目標物検出部１０３Ａ及びセンサ種別２目標物検出部１０３Ｂ等によって処理された観測データが入力される（ステップ６０１）。ただし、前述のように、目標物検出部はなくてもよいため、センサ情報統合部１０４には、航跡ＩＤが付与された観測データ、付与されていない観測データ、又はその両方が入力される可能性がある。例えば、レーダからの観測データには航跡ＩＤが付与されておらず、カメラからの観測データには航跡ＩＤが付与されていてもよいし、カメラからの観測データにも航跡ＩＤが付与されていなくてもよい。
【０１０６】
次に、センサ情報統合部１０４のキー情報抽出部１０４Ａが、入力された観測データからキー情報を抽出する（ステップ６０２）。例えば、カメラが撮影した画像が観測データに含まれる場合、キー情報抽出部１０４Ａは、その画像から、前述の非特許文献１と同様の方法によって目標物の長さ、幅、速度等を抽出し、それらから、キー情報テーブル５２０及びキー情報定義テーブル５６０に登録されたキー情報を抽出する。入力された観測データに、画像から抽出された目標物の長さ、幅、速度等の情報が予め含まれている場合には、それらを抽出して利用してもよい。観測データに航跡ＩＤが付与されている場合には、航跡ＩＤをキー情報として抽出してもよい。
【０１０７】
次に、センサ情報統合部１０４の処理調整部１０４Ｂが、抽出されたキー情報がキー情報テーブル５２０に登録された条件を満たすか否かを判定し、それによって、目標物の種別を判定する（ステップ６０３）。例えば、キー情報として目標物の幅が抽出された場合、処理調整部１０４Ｂは、その幅がキー情報テーブル５２０に登録されたキー最大値５２３及びキー最小値５２４の範囲内であるか否かを判定し、範囲内である場合には当該目標物が車両であると判定する。
【０１０８】
次に、処理調整部１０４Ｂは、判定されたキー情報あるいは目標物の種別に基づいて処理調整を実行する（ステップ６０４及び６０５）。具体的には、処理調整部１０４Ｂは、ある目標物から抽出されたキー情報がキー情報テーブル５２０に登録された条件を満たす場合に、その条件に対応して登録された処理パラメータ５２５を選択する。キー情報の条件と処理アルゴリズムが対応付けられている場合、その処理アルゴリズムが選択される。図６には二つの種別に対応した二つの処理調整ステップ（ステップ６０４及び６０５）のみを示したが、実際には、判定され得る目標物の種別の数や条件等に応じた数の処理調整ステップが用意される。
【０１０９】
次に、センサ情報統合部１０４の航跡抽出処理部１０４Ｃが、選択された処理パラメータ又は処理アルゴリズムを使用して、航跡抽出処理を実行する（ステップ６０６）。これによって、観測データに航跡ＩＤが付与される。
【０１１０】
次に、航跡抽出処理部１０４Ｃは、抽出された航跡ＩＤを含む目標物情報を出力する（ステップ６０７）。この情報は目標物情報ＤＢ１１６に格納される。
【０１１１】
以上でセンサ情報統合処理が終了する。なお、時刻ごとに観測データがセンサ情報統合部１０４に入力される場合、ステップ６０７が終了した後、次の時刻の観測データを処理するために処理がステップ６０１に戻ってもよい。その場合、全ての観測データの処理が終了するまでループ処理が実行される。
【０１１２】
図７は、本発明の実施形態のセンサ情報統合部１０４が実行するセンサ情報統合処理の第１の例の説明図である。
【０１１３】
図７を参照して、図６の各ステップにおいて実行される処理の例を説明する。ここでは、例として、図３に示すように、第１の種類のセンサとしてレーダが、第２の種類のセンサとして移動プラットフォーム（例えば飛行体）に搭載されたカメラが使用される場合について説明する。
【０１１４】
ステップ６０２において、キー情報抽出部１０４Ａは、例えば、カメラによって撮影された画像から検出された目標物の数７０１、目標物のサイズ（具体的には長さ及び幅等）７０２、目標物の速度７０３及び目標物の航跡（具体的には航跡ＩＤ）７０４等を、キー情報として抽出する。
【０１１５】
ステップ６０３〜６０５において、処理調整部１０４Ｂは、抽出されたキー情報に基づくモデル選択７１１及び選択されたモデルに基づく処理パラメータ調整７１２を行う。モデル選択７１１は図６のステップ６０３において説明した通りであり、キー情報（例えばサイズ７０２又は速度７０３）の値と登録された条件とを比較することによって車両モデル、人モデル等の目標物モデルが選択される。
【０１１６】
処理パラメータ調整７１２は、図６のステップ６０４及び６０５に対応する。処理調整部１０４Ｂは、選択された目標物モデルに応じて、後述する座標値の予測処理に使用するパラメータを調整する。ここで調整されるパラメータは、例えば予測処理に使用する移動速度の範囲、予測される航跡の曲率の範囲（に相当するゲートサイズ）等である。検出された目標物の数７０１がキー情報として抽出された場合、処理調整部１０４Ｂは、その数に基づいて、生成される航跡の仮説の数を調整してもよい。この調整については後述する。航跡７０４がキー情報として抽出された場合、その航跡情報がそのまま使用されるが、航跡に対応する座標値の調整（位置調整）が行われる。これについても後述する（図９等参照）。
【０１１７】
ここで、キー情報として航跡７０４が抽出されず、検出された目標物の数７０１が抽出された場合の航跡抽出処理（ステップ６０６）について説明する。この場合、処理パラメータとして、検出された目標物の数７０１（例えば「２」）が選択される。
【０１１８】
ステップ６０６において、航跡抽出処理部１０４Ｃは、まず、入力された複数の目標物の複数の時刻における座標値に基づいて、抽出される可能性がある航跡の組み合わせの全仮説７２１を生成する。ここで、仮説の生成に使用される座標値は、レーダによって観測されたものであってもよいし、カメラが撮影した画像から抽出されたものであってもよいし、それらの両方であってもよい。この全仮説７２１は、結合される可能性がある座標値の全ての組み合わせを含む。このような仮説の生成は、従来のＭＨＴと同様に行われてもよい。
【０１１９】
次に、航跡抽出処理部１０４Ｃは、全仮説７２１のから、処理パラメータとして選択された目標物の数と同数の航跡のみを含む仮説７２２を抽出することによって、仮説の数を限定する。例えば処理パラメータとして目標物の数「２」が選択された場合、２本の航跡のみを含む仮説７２２が抽出され、１本の航跡のみを含む仮説及び３本以上の航跡を含む仮説は除外される。
【０１２０】
次に、航跡抽出処理部１０４Ｃは、限定された仮説７２２の確からしさを計算し、最も確からしい仮説を航跡の抽出結果７２３として選択する。この確からしさの計算は、従来のＭＨＴと同様に行われてもよい。
【０１２１】
従来のレーダによる航跡抽出では、全仮説７２１について確からしさを計算する必要があったが、本実施形態では、上記のように、カメラによる画像に基づいて仮説が限定され、限定された仮説７２２についてのみ確からしさを計算すればよいため、計算量を削減することができる。また、上記のように仮説が限定されるため、誤って例えば一つの航跡のみ又は三つ以上の航跡が抽出されることがない。
【０１２２】
このように、図７の例によれば、複数の種類のセンサによる観測データを利用することによって、従来より少ない計算量で、高精度に航跡を抽出することができる。
【０１２３】
図８は、本発明の実施形態のセンサ情報統合部１０４が実行する目標物モデルの自動構築及び切り換えの説明図である。
【０１２４】
図７の例では、航跡抽出処理部１０４Ｃが航跡の仮説を生成して、それらのうち最も確からしいものを選択する。このとき、同時に存在する航跡の数が多くなるほど、仮説の生成及び確からしさの計算のための計算量が多くなる。しかし、目標物モデルを自動的に構築し、その目標物モデルを予測に使用することによって、同時に存在する航跡の数を減らし、それによって計算量を削減することができる。
【０１２５】
図８（ａ）は、各目標物のモデルに基づく航跡抽出の例を示す。三つの目標物、すなわち目標物Ａ、Ｂ及びＣのそれぞれの航跡Ａ、Ｂ及びＣを抽出する場合であって、時刻ｔまでの航跡が既に抽出され、次の時刻ｔ＋１における三つの目標物の座標値が取得された場合、時刻ｔにおける三つの座標値と時刻ｔ＋１における三つの座標値との間の全ての組み合わせが航跡の仮説として生成され、それらの確からしさが計算される。
【０１２６】
一方、図８（ｂ）は、複数目標物に関するモデルを自動生成して航跡抽出する例を示す。図８（ａ）と同様に、時刻ｔまでの航跡が抽出された場合において、航跡抽出処理部１０４Ｃは、三つの目標物の集合の観測データの特徴量の項目及びその値の範囲を抽出して、それらをキー情報テーブル５２０に登録する。例えば、図示された三つの目標物が車両である場合、目標物モデルコード５２１として車列８０１を示すコードが登録され、キー情報コード５２２として三つの車両各々の幅、長さ、速度等のほか、それらの三つの相対位置を示す情報等の少なくとも一つを示すコードが登録され、キー最大値５２３及びキー最小値５２４としてそれらの値の範囲を示す情報が登録され、処理パラメータ５２５として車列８０１の航跡を予測するために適切な処理パラメータ（又は処理アルゴリズム）が登録されてもよい。このような処理パラメータは予め用意されていてもよいし、既に抽出された航跡に基づいて自動的に生成されてもよい。
【０１２７】
本実施形態では複数種類のセンサが使用されるが、それぞれの種類のセンサの特性によって、特徴的な情報が得られる場合がある。例えば、センサがカメラである場合、撮影された１枚の画像内に複数の目標物が写っていれば、その画像データから、それらの目標物の相対的な位置関係を示す高精度なデータが取得できる場合がある。そのようなデータを使用することによって、複数の目標物を仮想的な一つの目標物として扱うための目標物モデルを動的に構築することができる。
【０１２８】
上記のように、複数の目標物の集合を一つの目標物として扱うことによって、例えば時刻ｔにおける車列８０１の座標値と時刻ｔ＋１における車列８０１の座標値とを連結する航跡を抽出するために、二つの時刻における目標物Ａ、Ｂ及びＣの組み合わせを考慮する必要がなくなる。このため、仮説の生成及び確からしさの計算を大幅に簡略化するとともに、真の航跡とは異なる仮説が航跡として誤って抽出されることを防ぐことができる。
【０１２９】
図９は、本発明の実施形態のセンサ情報統合部１０４が実行するセンサ情報統合処理の第２の例の説明図である。
【０１３０】
図９を参照して、図６の各ステップにおいて実行される処理の別の例を説明する。図７の場合と同様、センサとしてレーダ及び移動プラットフォーム（例えば飛行体）に搭載されたカメラが使用される場合について説明する。
【０１３１】
キー情報抽出部１０４Ａ及び処理調整部１０４Ｂが実行する処理は、基本的には図７に示したものと同じであるため、説明を省略する。ただし、図９の例では、キー情報として航跡７０４が抽出される。この航跡７０４は、非特許文献１に記載された方法によって取得されたものであってもよく、その場合、航跡抽出処理部１０４Ｃは、図７に示したようなＭＨＴによる仮設の生成及び選択を行う必要がない。
【０１３２】
図９の例では、航跡抽出処理部１０４Ｃは、ステップ６０６において、より確からしい航跡を抽出するために、複数の種類のセンサから取得された観測データを用いて、目標物の位置を調整する。この処理について説明する。航跡抽出処理部１０４Ｃは、キー情報として抽出された航跡及び観測データ９０１を取得する。例えば、時刻ｔまでの航跡は確定し、時刻ｔ＋１における複数のセンサからの座標値が取得される。この場合、航跡抽出処理部１０４Ｃは、確定した航跡に基づいて、時刻ｔ＋１における目標物の座標値を予測することによって仮説９０２を生成する。そして、この仮説９０２から、最も確からしい目標物の時刻ｔ＋１における座標値を特定し、その座標値を時刻ｔ＋１における航跡９０３として特定する。このような位置調整の処理の詳細については、図１０等を参照して後述する。
【０１３３】
図１０は、本発明の実施形態のセンサ情報統合部１０４が実行する目標物の位置調整処理の説明図である。
【０１３４】
図６のステップ６０６において実行される航跡抽出処理における位置調整処理は、大まかには、既に抽出された航跡に基づいて、次の時刻における航跡の位置を予測し、その予測結果に基づいて観測データを選択する第１の手順（図１０（ａ））と、選択された観測データに基づいて航跡を確定する第２の手順（図１０（ｂ））と、を含む。特に、第１の手順で複数の観測データが選択された場合に、第２の手順においてそれらの観測データを統合することによって、最も確からしい目標物の座標値（すなわち最も確からしい航跡）が確定する。以下、これらの手順について説明する。
【０１３５】
図１０（ａ）は、時刻ｔまでの航跡が確定し、時刻ｔ＋１において複数種類のセンサによって観測された座標値Ａ、Ｂ及びＣが取得された状態を示す。座標値Ｐは、時刻ｔまでの航跡から予測された時刻ｔ＋１における目標物の座標値である。この予測には、抽出されたキー情報に基づいて特定された処理アルゴリズム及び処理パラメータが使用される（図５Ｂ、図６及び図９等参照）。例えば、カルマンフィルタ又はその拡張方式等が用いられてもよい。航跡抽出処理部１０４Ｃは、予測された座標値Ｐからの距離が所定の値以下である座標値を、位置調整に使用する座標値として選択する。図１０（ａ）の例では、座標値Ａ、Ｂ及びＣが選択される。なお、上記のように座標値Ｐからの距離が所定の値以下となる範囲は、図１０（ａ）において「ゲート」と記載され、破線の円によって図示される。
【０１３６】
なお、予測された座標値Ｐからの距離が所定の値以下である座標値を位置調整に使用する理由は次の通りである。すなわち、本実施形態のように複数の種類のセンサが使用される場合、それぞれのセンサによって観測された目標物の座標値が同一の目標物の座標値であるか否かを判定する必要がある。本実施形態では、上記のように、既に抽出されたある目標物の航跡に基づいて、次の時刻の当該目標物の座標値Ｐが予測される。センサによって観測された座標値が当該予測された座標値に近いほど、その観測された座標値が当該目標物の座標値である可能性が高いと推定されるため、本実施形態では、予測された座標値Ｐからの距離が所定の値以下である座標値を、当該目標物の観測された座標値であると推定して、位置調整に使用する。
【０１３７】
上記のように複数の座標値が選択された場合、それらに基づいて最も確からしい座標値を計算する種々の方法が考えられる。例えば、座標値Ａ、Ｂ及びＣのいずれかを選択してもよい。より詳細には、例えば、観測データに座標値の確度（精度）を示す情報が含まれる場合、最も確度の高い座標値が選択されてもよい。また、ゲート内の座標値が一つも取得できなかった場合、又は、ゲート内のいずれの座標値の確度も所定の値に満たなかった場合には、観測データの欠測とみなし、予測された座標値Ｐが最も確からしい座標値として選択されてもよい。しかし、本実施形態では、原則として、複数の座標値及びそれぞれの確度に基づいて、最も確からしい座標値が計算される。
【０１３８】
図１０（ｂ）には、時刻ｔ＋１における座標値Ｉが表示されている。これは、選択された座標値Ａ、Ｂ及びＣに基づいて計算された、時刻ｔ＋１における最も確からしい座標値である。本実施形態では、それぞれの座標値を、確度に基づいて重み付き平均または重心を算出することによって、最も確からしい座標値Ｉが計算される。その結果、最も確からしい座標値Ｉに時刻ｔまでの航跡と同一の航跡ＩＤが付与される。このとき、座標値Ａ、Ｂ及びＣの少なくとも一つに、例えば非特許文献１に記載の方法等によって当該航跡ＩＤが既に付与されていた場合、その航跡ＩＤを削除しても良いし、あるいは後述するように当該座標値を除外する組み合わせを生成して処理しても良い（図１２等参照）。また削除する際には確率的な判定に基づき、一定の確率に基づき削除および非削除を調整しても良い。
【０１３９】
確度に基づいて重み付けをする方法として種々のものが考えられるが、具体的な一例について、図１０（ｃ）を参照して説明する。
【０１４０】
一般に、観測データには観測誤差やノイズなどが含まれるため、座標が観測された場合でも位置誤差が含まれ、目標物の存在は当該座標の周囲に確率的に分布するものと想定される。この具体例では、各座標値が点ではなく存在確率分布として扱われる。図１０（ｃ）に、選択された座標値Ａ、Ｂ及びＣの確率密度関数を示す。ここで、横軸は例えばｘ座標又はｙ座標であり、左側の縦軸が座標値Ａ、Ｂ及びＣの存在確率値である。図１０（ａ）及び（ｂ）にプロットされた座標値Ａ、Ｂ及びＣ（すなわち観測された座標値）は、存在確率分布のピークの位置に相当する。
【０１４１】
本実施形態では、確率密度関数が正規分布に従うと仮定し、各座標値の確度として、正規分布の分散値を用いる。例えば、それぞれのセンサの観測精度に基づいて、座標値の確度が低いほど分散値が大きくなるように定められる。センサの観測精度は、観測条件に依存する場合もある。一般に、例えば、レーダサイトから目標物までの距離が大きいほど、カメラを搭載した飛行体の位置精度が低いほど、飛行体の飛行高度が高いほど、又は、カメラから目標物までの距離が遠いほど、座標値の確度は低くなる。各センサがそれらの要因に基づいて定めた観測データ毎の分散値をデータ属性１７３に含まれる位置確度として送信してもよいし、センサ統合装置１００がセンサの種別及び観測条件等に基づいて計算してもよい。
【０１４２】
航跡抽出処理部１０４Ｃは、座標値Ａ、Ｂ及びＣの確率密度関数を乗算することによって、座標値Ｉの存在確率を求める。図１０（ｃ）の右側の縦軸が、計算された座標値Ｉの存在確率値であり、破線で表示された曲線が計算された座標値Ｉの存在確率であり、そのピークの位置が座標値Ｉとして特定される。上記の計算がｘ座標及びｙ座標の両方について行われ、特定された座標値Ｉが時刻ｔ＋１における目標物の最も確からしい座標値として特定される。これによって、時刻ｔ＋１に座標Ｉを通過する航跡が確定し、最終的に航跡として抽出される。
【０１４３】
上記のように確度の異なる複数の観測データを位置調整に用いることによって、確度の低い観測データも有効に利用することができる。
【０１４４】
ここで、上記のような確率密度関数の計算方法について、数式（２）〜（８）を参照して説明する。
【０１４５】
【数２】
【０１４６】
数式（２）のｆn（ｘ，ｙ）は、選択された座標値（例えば上記の座標値Ａ、Ｂ及びＣ）の確率密度関数である。ここで、σnはそれぞれの分散値、ｘn及びｙnはそれぞれのｘ成分及びｙ成分の値、そして、ｘ＾及びｙ＾は最も確からしい座標値（上記の座標値Ｉ）のｘ成分及びｙ成分の値である。例えば上記の座標値Ａ、Ｂ及びＣの確率密度関数が乗算される。その計算を簡単にするために、確率密度関数の対数を加算しても良い（数式（３））。その最大値は、偏微分がゼロになる点である。ここで、ｘについて偏微分を解き（数式（４）、（５））、関係のないｙ及び係数等を省略すると、数式（６）が得られる。これをｘ＾について解くと、数式（７）が得られる。これが例えば図１０（ｃ）に破線で示した座標値Ｉの確率密度関数である。同様にｙについて解くと、数式（８）が得られる。
【０１４７】
図１０（ａ）及び（ｂ）に示したゲートの大きさは、固定されていてもよいが、可変であってもよい。ゲートの大きさの調整方法について、図１１を参照して説明する。
【０１４８】
図１１は、本発明の実施形態のセンサ情報統合部１０４が実行する観測データ判定の動的調整の説明図である。
【０１４９】
図１１（ａ）には、ゲートサイズが固定されている例を示す。ここで、座標値Ｐ１１０１は時刻ｔまでの確定した航跡に基づいて予測された目標物の座標値であり、座標値Ａ１１０２及び１１０３は、第１の種類のセンサによって観測された目標物の座標値であり、座標値Ｂ１１０４は第２の種類のセンサによって観測された目標物の座標値である。ここで、第１の種類のセンサの観測精度が第２の種類のセンサの観測精度より高いと仮定する。図１１（ａ）の例では、センサの観測精度にかかわらず、座標値Ｐ１１０１からの距離が所定の値以内である範囲を示す単一のゲート１１１０が使用され、ゲート１１１０が示す範囲内の座標値Ａ１１０２、座標値Ａ１１０３及び座標値Ｂ１１０４が、位置調整に寄与する座標値として選択される。
【０１５０】
図１１（ｂ）には、ゲートサイズが可変である例を示す。ここでは、図１１（ａ）と同様のセンサが使用され、同様の座標値が取得された場合を示す。既に説明したように、ある目標物の時刻ｔまでの航跡に基づいて、当該目標物の時刻ｔ＋１における座標値Ｐが予測された場合、観測された座標値と座標値Ｐとの距離が近いほど、当該観測された座標値が当該目標物の座標値である可能性が高いと推定される。このため、例えば座標値Ｐ１１０１から座標値Ａ１１０３までの距離と座標値Ｂ１１０４までの距離が同じであれば、座標値Ａ１１０３が当該目標物の座標値である可能性と座標値Ｂ１１０４が当該目標物の座標値である可能性とが同等であると推定することもできる。
【０１５１】
しかし、上記のように、第１の種類のセンサの観測精度が第２の種類のセンサの観測精度より高い場合には、座標値Ａ１１０３が当該目標物の座標値である可能性は、座標値Ｂ１１０４が当該目標物の座標値である可能性より低い（言い換えると、座標値Ａ１１０３が他の目標物の座標値である可能性は、座標値Ｂ１１０４が他の目標物の座標値である可能性より高い）と推定することもできる。このため、図１１（ｂ）の例では、精度の高い観測データについてはより小さい範囲を示すゲートが使用される。
【０１５２】
具体的には、図１１（ｂ）の例では、座標値Ｐ１１０１からの距離が第１の値以内の範囲を示すゲートａ１１１１と、座標値Ｐ１１０１からの距離が第１の値より大きい第２の値以内の範囲を示すゲートｂ１１１２が用意され、ゲートａ１１１１の内側の座標値Ａ１１０２及びゲートｂ１１１２の内側の座標値Ｂ１１０４が位置調整に寄与する座標値として選択される。一方、ゲートｂ１１１２の内側ではあるがゲートａ１１１１の外側にある座標値Ａ１１０３は、他の目標物の座標値である可能性が高いと判定され、位置調整に寄与する座標値としては選択されない。
【０１５３】
なお、図１１（ａ）の例において、取得された観測データが確度の異なるものを含む場合には、それらのうち最も確度の低いものに対応する大きさのゲート１１１０が使用されてもよい。その場合、例えば、図１１（ａ）のゲート１１１０の大きさは、図１１（ｂ）のゲートｂ１１１２と同じになる。
【０１５４】
このように、センサの観測精度に基づいて、位置調整に寄与する座標値を選択することによって、他の目標物の座標値の影響が排除されるため、より高精度な航跡を抽出することができる。
【０１５５】
図１２は、本発明の実施形態のセンサ情報統合部１０４による観測データの組み合わせ選択の説明図である。
【０１５６】
図１０（ａ）、（ｂ）等を参照して説明したように、本実施形態ではゲート内の複数の座標値が位置調整に寄与するものとして選択され、それらに基づいて位置調整（すなわち最も確からしい座標値の計算）が行われる。しかし、ゲート内に多数の座標値が含まれる場合には、必ずしもそれらの全てを位置調整に使用しなくてもよい。センサ情報統合部１０４は、ゲート内の座標値の属性に応じて、位置調整に使用する座標値を絞り込むことができる。
【０１５７】
具体的には、例えば、センサ情報統合部１０４は、ゲート内の座標値のうち、位置調整に使用するものとして、予測された座標値Ｐからの近さの順位が上位の所定の順位以内の座標値を選択してもよいし、確度が所定の値より高い座標値を選択してもよいし、確度の順位が上位の所定の順位以内の座標値を選択してもよい。あるいは、例えば地図情報に基づいて目標物が存在する可能性が高いと判定された場合など、明らかに確度が高い座標値があれば、それを選択してもよい。確度が所定の値より高い座標値が選択される場合には、結果的に、観測された座標値が一つも選択されない可能性がある。その場合には、予測された座標値Ｐがそのまま最も確からしい座標値として確定してもよい。
【０１５８】
図１２（ａ）は、観測された座標値Ａ、Ｂ及びＣの全てが位置調整に寄与するものとして選択され、それらに基づいて最も確からしい座標値Ｅａｂｃが計算された例を示す。
【０１５９】
図１２（ｂ）は、観測された座標値Ａ、Ｂ及びＣのうち座標値Ａ及びＢが位置調整に寄与するものとして選択され、それらに基づいて最も確からしい座標値Ｅａｂが計算された例を示す。
【０１６０】
図１２（ｃ）は、観測された座標値Ａ、Ｂ及びＣのうち座標値Ａ及びＣが位置調整に寄与するものとして選択され、それらに基づいて最も確からしい座標値Ｅａｃが計算された例を示す。
【０１６１】
図１２（ｄ）は、観測された座標値Ａ、Ｂ及びＣのうち座標値Ｂ及びＣが位置調整に寄与するものとして選択され、それらに基づいて最も確からしい座標値Ｅｂｃが計算された例を示す。
【０１６２】
図１２（ｅ）は、観測された座標値Ａ、Ｂ及びＣのうち座標値Ａのみが位置調整に寄与するものとして選択された場合を示す。この場合、座標値Ａが最も確からしい座標値Ｅａとして特定される。
【０１６３】
図１２（ｆ）は、観測された座標値Ａ、Ｂ及びＣのうち座標値Ｂのみが位置調整に寄与するものとして選択された場合を示す。この場合、座標値Ｂが最も確からしい座標値Ｅｂとして特定される。
【０１６４】
図１２（ｇ）は、観測された座標値Ａ、Ｂ及びＣのうち座標値Ｃのみが位置調整に寄与するものとして選択された場合を示す。この場合、座標値Ｃが最も確からしい座標値Ｅｃとして特定される。
【０１６５】
図１２（ｈ）は、観測された座標値Ａ、Ｂ及びＣのいずれも位置調整に寄与するものとして選択されなかった場合を示す。これは、座標値Ａ、Ｂ及びＣのいずれもがノイズであると判定されたことを意味する。この場合、予測された座標値（すなわちゲートの中心）が最も確からしい座標値Ｅｎｕｌｌとして特定される。
【０１６６】
図１２（ｉ）には、二つの目標物が近接したために、それぞれのゲートの一部が重複した場合を示す。この例において、ゲート１２０１に含まれる二つの座標値Ｊ及び座標値ＪＪは、最も確からしい座標値Ｉｊを計算するために使用される座標値であり、ゲート１２０２に含まれる二つの座標値Ｋ及び座標値ＫＫは、最も確からしい座標値Ｉｋを計算するために使用される座標値である。
【０１６７】
座標値ＪＪ及びＫＫは二つのゲートの重複領域に含まれるが、例えば、それぞれのゲートの中心（すなわちそれぞれのゲートに対応する予測された座標値）までの距離に応じて、距離が短い方のゲートに含まれるものと判定されてもよい。例えば、座標値ＪＪからゲート１２０１の中心までの距離がゲート１２０２の中心までの距離より小さい場合、座標値ＪＪはゲート１２０１に含まれるものとして扱われ、座標値Ｉｊの計算には寄与するが座標値Ｉｋの計算には寄与しない。同様に、座標値ＫＫからゲート１２０２の中心までの距離がゲート１２０１の中心までの距離より小さい場合、座標値ＫＫはゲート１２０２に含まれるものとして扱われ、座標値Ｉｋの計算には寄与するが座標値Ｉｊの計算には寄与しない。
【０１６８】
このように、位置調整に寄与する座標値を選択することによって、特に確度の低い座標値等をノイズとして排除することができる。これによって、より高精度に目標物の航跡を抽出することができる。
【０１６９】
なお、図９〜図１２を参照した位置調整の説明は、キー情報として航跡７０４が抽出された場合についてのものである。しかし、図７のように、キー情報として航跡７０４が抽出されない場合でも、時刻ｔまでの航跡が抽出されていれば、それに基づいて上記と同様の位置調整を行うことができる。
【０１７０】
図１３は、本発明の実施形態のセンサ統合システムにおいて使用される地図インデクスの説明図である。
【０１７１】
特に地上広域監視などのアプリケーションでは、注目地域に多数の車両及び人等が混在する複雑な環境のセンサ情報を解析する必要がある。このため、環境に関する地図などの情報を有効活用したセンサ情報統合処理を行うことが望ましい。例えば、建物及び道路等、センサ情報統合処理に必要な地物の情報を時空間インデキシングによって管理し、それを処理に利用してもよい。さらに、建物そのものだけでなく、建物によって生じるオクルージョン（遮蔽）の範囲、及び、逆に、ノイズが多い地域など、仮想的な地図図形を含めてインデキシング管理してもよい。
【０１７２】
図１３には、注目領域の特性に応じ、注目する目標物の存在確度及び処理パラメータ等を調整するため、地図情報ＤＢ１１４を活用する例を示す。特に、建物及び地形の影響によるオクルージョンを考慮し、移動センサと遮蔽物との幾何学的関係に基づいて、オクルージョンとなることが予想される範囲が時空間インデクスに管理される。以下、オクルージョンへの対応について説明する。
【０１７３】
例えば地上に設置されたカメラ及び移動プラットフォーム（特に飛行型プラットフォーム）に搭載されたカメラ等による観測が行われる場合、地上の建物又は地形（例えば山など）によるオクルージョンが発生する場合がある。具体的には、例えば目標物とカメラとの間に建物又は山等がある場合に、当該カメラによる観測データから目標物が消失し、目標物の位置情報を取得することができなくなる。レーダの場合も、建物等の影響によって同様のオクルージョンが発生し得る。このために航跡を適切に抽出できない場合がある。
【０１７４】
地図情報ＤＢ１１４に３次元の地図情報が含まれる場合、それを用いて見通し解析を行うことによって、オクルージョン範囲（すなわち遮蔽される領域の範囲）を特定することができるが、複雑な環境化で処理の度に見通し解析を行うことは、システムの処理性能を考慮すると現実的でない。
【０１７５】
そこで、本実施形態では、建物などによるオクルージョン範囲を予め見通し解析によって算出し、その結果を時空間インデクスに格納する。これによって高速な検索が可能となる。検索された情報は、当該地域の処理において、処理パラメータの調整等に利用される。
【０１７６】
具体的には、オクルージョン範囲の詳細な形状を示す多角形又はオクルージョンが発生する可能性がある領域を示す円等が時空間インデクスに格納されてもよい。
【０１７７】
図１３（ａ）は、カメラ１３０１を用いて建物１３０２及び車両１３０４〜１３０６を撮影する例を示す。この例では、建物１３０２によるオクルージョン範囲１３０３に車両１３０５が含まれるため、カメラ１３０１を用いて車両１３０５を観測することができない。このオクルージョン範囲１３０３のような多角形が時空間インデクスに格納されてもよい。
【０１７８】
カメラ１３０１が移動体プラットフォームに搭載される場合、カメラ１３０１と建物１３０２との位置関係が変化するに従って、建物の周囲に発生するオクルージョン範囲１３０３の形状も変化する。図１３（ｂ）に破線で示す多角形は、カメラ１３０１が特定の高度から撮影した場合に発生し得るオクルージョン範囲の例（すなわち、オクルージョン範囲１３０３の形状の変化の例）である。カメラ１３０１の高度及びそれによって撮影可能な範囲が特定されれば、オクルージョン範囲１３０３に含まれ得る範囲を、円形（厳密には、複数の円形を重ね合わせた略円形であってもよい。以下同様）のオクルージョン範囲１３０７として特定することができる。このような円形が時空間インデクスに格納されてもよい。
【０１７９】
さらに、図１３（ｂ）に示すようなオクルージョン範囲の大きさは、カメラ１３０１の高度に依存する。図１３（ｃ）は、種々の高度からの撮影に対応するオクルージョン範囲を同心円によって示した例である。具体的には、カメラ１３０１が高高度から撮影した場合に対応するオクルージョン範囲１３０８、それより低い高度から撮影した場合のオクルージョン範囲１３０９及びさらに低い高度から撮影した場合のオクルージョン範囲１３１０が図示されている。
【０１８０】
図１３（ｃ）に示すように、撮影高度が低くなるほど、オクルージョン範囲は大きくなる。このため、例えば車両１３０４は、高高度からの撮影では観測されるが、最も低い高度からの撮影では観測できない場合がある。図１３（ｃ）に示すような同心円が時空間インデクスに格納されてもよい。
【０１８１】
このようなオクルージョン範囲に関する情報は、例えば次のように利用される。例えば図１０（ａ）及び（ｂ）に示すように座標値Ｐが予測されたにもかかわらず、それに対応するゲートの範囲内に含まれる観測データが得られなかった場合、目標物が実際に消失した可能性もある。しかし、その座標値Ｐが、予め見通し解析によって取得されたオクルージョン範囲に含まれている場合、目標物が建物等に遮蔽されたために一時的に観測できなくなっている可能性がある。このため、航跡抽出処理部１０４Ｃは、予測された座標値Ｐを使用して、さらに次の時刻の座標値を予測する。このような処理を繰り返し、再びゲート内に観測データが出現した場合、その座標値を元の航跡と同じ目標物の座標値として扱う（つまり出現した観測データに含まれる座標値に、元の航跡と同一の目標物ＩＤを付与する）ことによって、航跡の分断を防ぐことができる。
【０１８２】
通常、目標物が消失した後、所定の時間以上当該目標物が出現しなかった場合、当該目標物の航跡は分断したものと判定され、その後出現した航跡は別の目標物のものとして扱われる。しかし、上記のように観測データの欠測があった場合でもオクルージョンを想定して航跡の予測を継続し、かつ、上記の所定の時間（すなわち航跡分断時間パラメータ）を長めに設定することによって、航跡を接続するなどの処理が可能になる。
【０１８３】
逆に、地上にはノイズが発生しやすい場所もあるため、その地域を時空間インデクスで管理し、それに基づいて処理パラメータを調整してもよい。
【０１８４】
図１４は、本発明の実施形態のセンサ統合システムによって出力される情報の説明図である。
【０１８５】
センサ統合装置１００によって抽出された航跡等の情報は、地図出力部１０５、航跡情報出力部１０６又はセンサ情報出力部１０７等によって出力される。出力される情報の形態はいかなるものであってもよいが、図１４（ａ）〜（ｌ）に特に代表的な例を示す。なお、これらの例は、出力装置２０５に含まれる画像表示装置によって表示される画面の例であるが、既に説明したように、画面以外の形態で情報が出力されてもよい。
【０１８６】
図１４（ａ）は、観測データに含まれる座標値そのものが表示される例である。具体的には、観測データに含まれる複数の座標値が、それらの相対的な位置関係が視認できるようにプロットされている。画面の背景には地図情報ＤＢ１１４に基づく地図又は衛星画像等が表示されてもよい。これは図１４（ｂ）以降の図についても同様である。
【０１８７】
図１４（ｂ）は、図１４（ａ）と同様の座標値に加えて、抽出された航跡を示すシンボル（例えば矢印）が表示される例である。
【０１８８】
図１４（ｃ）は、図１４（ｂ）と同様の航跡のみが表示される例である。
【０１８９】
図１４（ｄ）は、図１４（ｃ）と同様の航跡に加えて、目標物の地図シンボル（例えば車両又は人等を示すシンボル）が表示される例である。
【０１９０】
図１４（ｅ）は、図１４（ｄ）と同様のシンボルに加えて、目標物の進行方向、速度及びＩＤなどの属性情報が表示される例である。
【０１９１】
図１４（ｆ）は、図１４（ｄ）と同様の航跡及びシンボルに加えて、目標物を含むカメラ画像がポップアップ表示される例である。
【０１９２】
図１４（ｇ）は、航跡に加えて、撮影されたカメラ画像の全体が表示される例である。背景の地図とカメラ画像とが対応するように、カメラ画像の形状が変換されてもよい。
【０１９３】
図１４（ｈ）は、航跡に加えて、撮影されたカメラ画像のうち目標物を含む部分が表示される例である。
【０１９４】
図１４（ｉ）は、航跡に加えて、撮影されたカメラ画像のうち目標物の部分のみを切り出した画像（クリップ画像）が表示され、さらに、目標物の属性情報又はキー情報（例えばサイズ等）が表示される例である。
【０１９５】
図１４（ｊ）は、撮影された目標物を含むカメラ画像に、抽出された目標物の航跡を示すシンボル（例えば矢印）が重畳表示される例である。
【０１９６】
図１４（ｋ）は、図１４（ｊ）と同様の画面に、さらに標物の属性情報又はキー情報（例えばサイズ等）が表示される例である。
【０１９７】
図１４（ｌ）は、撮影された目標物を含むカメラ画像に、目標物の進行方向、速度及びＩＤなどの属性情報が表示される例である。
【０１９８】
上記の図１４（ａ）〜（ｌ）が組み合わせられてもよい。上記のような表示によって、例えばレーダだけでは現場の状況把握が難しい広域監視のアプリケーションでも、検出した目標物が何であるのか、検出結果の属性（目標物種別など）が正しいか、などを簡易に確認できる。さらに、属性情報の修正ＧＵＩ機能が設けられてもよい。
【０１９９】
以上の説明をまとめると、本実施形態によれば、特性の異なる複数の種類のセンサによる観測データを組み合わせ、同一の目標物に関する確度および項目（データ内容）が異なる情報を組み合わせて移動軌跡を推定できる。これにより広範囲を高精度に監視することができる。
【０２００】
例えば、センサがレーダのみである場合には、レーダによる観測データから広範囲の目標物の位置情報をある程度の精度で取得することができるが、目標物の属性等を把握することが難しい場合がある。このため、レーダによる観測データのみを用いて航跡を抽出するためには、異なる時刻に観測された目標物が同一であるか否かを判定するための複雑な処理（例えばＭＨＴのような航跡の仮説の生成及び選択）を行う必要があった。
【０２０１】
一方、センサとしてカメラが追加された場合、カメラが撮影した画像からは、広範囲の情報を取得することは難しい場合があるが、撮影された範囲内に限れば、撮影された目標物の外形に基づいて、目標物の数、複数の目標物の相対位置、及び各目標物の大きさ等を把握することができ、さらにそれらの情報に基づいて、異なる時刻に観測された目標物が同一であるか否かを判定することもできる。このため、それらの情報を利用することによって、仮説の生成及び選択の処理を簡素化又は省略しながら、高精度な航跡を抽出することが可能になる。
【０２０２】
さらに、複数のセンサから、同一の目標物について、確度の異なる座標値が得られた場合、それらの確度に基づく重み付き平均または重心を算出することによって、確度の低い情報も利用しながら、高精度な航跡を抽出することが可能になる。
【符号の説明】
【０２０３】
１００ センサ統合装置
１０１、４０１Ａ、４０１Ｂ センサ情報入力部
１０１Ａ レーダ情報入力部
１０１Ｂ カメラ情報入力部
１０２Ａ センサ種別１前処理部
１０２Ｂ センサ種別２前処理部
１０２Ｃ レーダ前処理部
１０２Ｄ カメラ前処理部
１０３Ａ センサ種別１目標物検出部
１０３Ｂ センサ種別２目標物検出部
１０３Ｃ レーダ目標物検出部
１０３Ｄ カメラ目標物検出部
１０４ センサ情報統合部
１０４Ａ キー情報抽出部
１０４Ｂ 処理調整部
１０４Ｃ 航跡抽出処理部
１０５ 地図出力部
１０６ 航跡情報出力部
１０７ センサ情報出力部
１１１ 参照情報
１１２ センサモデルＤＢ
１１３ 目標物モデルＤＢ
１１４ 地図情報ＤＢ
１１５ 処理パラメータＤＢ
１１６ 目標物情報ＤＢ
１１７ センサ情報ＤＢ
１５１ センサ１
１５１Ａ レーダ１
１５１Ｂ レーダ２
１５２ センサ２
１５２Ａ カメラ１
１５２Ｂ カメラ２
１６０ ネットワーク
１７０ センサ情報
１７１ センサ属性
１７２ データ
１７３ データ属性
２０１ インターフェース（Ｉ／Ｆ）
２０２ プロセッサ
２０３ 記憶装置
２０４ 入力装置
２０５ 出力装置
２０６ 通信線
４００Ａ、４００Ｂ 処理装置
４０２Ａ、４０２Ｂ センサ前処理部
４０３Ａ、４０３Ｂ センサ目標物検出部
４０４Ａ、４０４Ｂ センサ情報出力部
【特許請求の範囲】
【請求項１】
プロセッサと、前記プロセッサに接続される記憶装置と、前記プロセッサに接続される出力装置と、を備えるセンサ統合システムであって、
前記記憶装置は、複数のセンサによって観測された観測データを保持し、
前記観測データはあらかじめ規定された項目のうち選択的に記述された項目を含み、
前記プロセッサは複数の前記観測データの選択記述された前記項目を組み合わせ、一つ以上の目標物の移動軌跡を推定し、
前記出力装置は、前記移動軌跡を示す情報を出力することを特徴とするセンサ統合システム。
【請求項２】
前記観測データは、一つ以上の目標物の座標値及び前記座標値が観測された時刻を含む第１の種類の観測データと、前記一つ以上の目標物の外形を示す情報及び前記外形を示す情報が観測された時刻を含む第２の種類の観測データと、を含み、
前記プロセッサは、前記第１の種類の観測データに含まれる前記一つ以上の目標物の座標値及び前記第２の種類の観測データに含まれる前記一つ以上の目標物の外形を示す情報に基づいて、前記一つ以上の目標物の移動軌跡を推定することを特徴とする請求項１に記載のセンサ統合システム。
【請求項３】
前記第２の種類の観測データは、さらに、前記各時刻における前記一つ以上の目標物の座標値を含み、
前記プロセッサは、
前記第２の種類の観測データに基づいて、前記各目標物の移動軌跡を推定し、
第１の時刻より前の時刻における前記移動軌跡に基づいて、前記第１の時刻における前記各目標物の座標値を予測し、
前記第１の時刻における観測データに含まれる座標値のうち、前記予測された座標値までの距離が所定の値以内のものに基づいて、最も確からしい前記第１の時刻における各目標物の座標値を特定し、
前記特定された座標値を含むように前記推定された移動軌跡を修正することを特徴とする請求項２に記載のセンサ統合システム。
【請求項４】
前記記憶装置は、前記保持された各座標値の確度を示す情報を保持し、
前記プロセッサは、前記確度に基づく重み付き平均または重心を計算することによって、前記最も確からしい第１の時刻における各目標物の座標値を特定することを特徴とする請求項３に記載のセンサ統合システム。
【請求項５】
前記各座標値の確度を示す情報は、前記各座標値の分散値であり、
前記プロセッサは、前記分散値に基づいて前記各座標値の確率密度関数を重ね合わせることによって、前記重み付き平均または重心を計算することを特徴とする請求項４に記載のセンサ統合システム。
【請求項６】
前記観測データに含まれる座標値から前記予測された座標値までの距離に関する前記所定の値は、前記観測データに含まれる座標値の確度が高いほど小さく、前記確度が低いほど大きいことを特徴とする請求項４に記載のセンサ統合システム。
【請求項７】
前記プロセッサは、前記観測データに含まれる座標値であって、前記予測された座標値までの距離が前記所定の値以内であるもののうち、前記確度又は前記予測された座標値からの近さが所定の順位以内であるもの、又は、前記確度が所定の値以上であるものに基づいて、前記最も確からしい第１の時刻における各目標物の座標値を特定することを特徴とする請求項４に記載のセンサ統合システム。
【請求項８】
前記プロセッサは、前記観測データに含まれる第１の座標値から、前記第１の時刻における第１の目標物の予測された座標値までの距離、及び、前記第１の座標値から、前記第１の時刻における第２の目標物の予測された座標値までの距離が、いずれも前記所定の値以内であり、かつ、前者の距離が後者の距離より小さい場合、前記第１の座標値を、前記第１の時刻における前記第１の目標物の最も確からしい座標値を特定するために使用し、前記第１の時刻における前記第２の目標物の最も確からしい座標値を特定するために使用しないことを特徴とする請求項４に記載のセンサ統合システム。
【請求項９】
前記各センサは、前記座標値の確度を示す情報を含む前記観測データを生成し、
前記プロセッサは、前記各センサから取得した前記座標値の確度を示す情報を前記観測データに含めて前記記憶装置に格納することを特徴とする請求項４に記載のセンサ統合システム。
【請求項１０】
前記記憶装置は、前記一つ以上の目標物に関するキー情報と、前記目標物の座標値を予測するために使用される処理アルゴリズム又は処理パラメータの少なくとも一方とを対応付ける目標物モデル情報を保持し、
前記プロセッサは、
前記第２の種類の観測データから前記各目標物のキー情報を抽出し、
前記抽出されたキー情報に対応する処理アルゴリズム又は処理パラメータを用いて前記第１の時刻における各目標物の座標値を予測することを特徴とする請求項３に記載のセンサ統合システム。
【請求項１１】
前記キー情報は、前記各目標物の大きさ、速度又は識別子の少なくとも一つを特定する情報であることを特徴とする請求項１０に記載のセンサ統合システム。
【請求項１２】
前記キー情報は、前記第２の種類の観測データに基づいて、前記目標物の数を特定する情報であり、
前記第１の観測データに含まれる座標値に基づいて、前記特定された目標物の数と同数の前記目標物の移動軌跡を推定することを特徴とする請求項１０に記載のセンサ統合システム。
【請求項１３】
前記処理アルゴリズムは、前記各目標物が等速直線運動をしていると仮定して前記座標値を予測するアルゴリズム、又は、カルマンフィルタを用いて前記座標値を予測するアルゴリズムのいずれかを含むことを特徴とする請求項１０に記載のセンサ統合システム。
【請求項１４】
前記プロセッサは、
前記第２の種類の観測データから、二つ以上の前記目標物の相対位置を特定する情報を抽出し、
前記相対位置を特定する情報を新たなキー情報として前記目標物モデル情報に追加することを特徴とする請求項１１に記載のセンサ統合システム。
【請求項１５】
前記記憶装置は、地図情報を保持し、
前記地図情報は、地物を特定する情報及び当該地物によって前記センサによる観測が遮蔽される領域を特定する情報を含み、
前記プロセッサは、
第１の識別子が付与された前記目標物の前記第１の時刻における予測された座標値が前記遮蔽される領域に含まれ、かつ、前記予測された座標値までの距離が前記所定の値以内である前記第１の時刻における座標値が観測されなかった場合、前記予測された座標値に基づいて前記第１の時刻より後の時刻における前記第１の識別子が付与された目標物の座標値を予測し、
前記第１の時刻より後の時刻における第１の識別子が付与された目標物の座標値までの距離が前記所定の値以内である当該第１の時刻より後の時刻における座標値が観測された場合、前記観測された座標値に対応する目標物に前記第１の識別子を付与することを特徴とする請求項３に記載のセンサ統合システム。
【請求項１６】
前記第２の種類の観測データに含まれる前記一つ以上の目標物の外形を示す情報は、前記一つ以上の目標物を撮影した画像であり、
前記プロセッサは、
二つの時刻において撮影された二つの前記画像の各々から前記一つ以上の目標物に対応する移動体領域を抽出し、
前記抽出された移動体領域の数を、前記画像に含まれる前記目標物の数として特定し、
前記抽出された移動体領域の位置を比較することによって、前記二つの画像から抽出された同一の目標物の座標値を特定し、
前記特定された同一の目標物の座標値に同一の識別子を付与することによって、前記各目標物の移動軌跡を推定し、
前記識別子が付与された座標値に基づいて前記最も確からしい座標値が特定された場合、当該識別子が付与された座標値から当該識別子を削除し、当該特定された最も確からしい座標値に当該削除されたものと同一の識別子を付与することを特徴とする請求項３に記載のセンサ統合システム。
【請求項１７】
前記複数のセンサは、レーダ及びカメラを含み、
前記第１の種類の観測データに含まれる前記一つ以上の目標物の座標値は、前記レーダによって観測されたものであり、
前記第２の種類の観測データに含まれる前記一つ以上の目標物の外形を示す情報は、前記カメラによって撮影された前記一つ以上の目標物を含む画像であることを特徴とする請求項３に記載のセンサ統合システム。
【請求項１８】
前記記憶装置は、地図情報を保持し、
前記出力装置は、前記地図情報に基づく地図画像上に、前記移動軌跡及び当該移動軌跡に対応する目標物を含む画像を重畳表示する画像を出力することを特徴とする請求項１７に記載のセンサ統合システム。
【請求項１９】
プロセッサと、前記プロセッサに接続される記憶装置と、前記プロセッサに接続される出力装置と、を備えるセンサ統合システムにおいて実行されるセンサ統合方法であって、
前記記憶装置は、複数のセンサによって観測された観測データを保持し、
前記観測データは、一つ以上の目標物の座標値及び前記座標値が観測された時刻を含む第１の種類の観測データと、前記一つ以上の目標物の外形を示す情報及び前記外形を示す情報が観測された時刻を含む第２の種類の観測データと、を含み、
前記センサ統合方法は、
前記プロセッサが、複数の前記観測データの選択記述された前記項目を組み合わせ、一つ以上の目標物の移動軌跡を推定する手順と、
前記出力装置が、前記移動軌跡を示す情報を出力する手順と、を含むことを特徴とするセンサ統合方法。
【請求項１】
プロセッサと、前記プロセッサに接続される記憶装置と、前記プロセッサに接続される出力装置と、を備えるセンサ統合システムであって、
前記記憶装置は、複数のセンサによって観測された観測データを保持し、
前記観測データはあらかじめ規定された項目のうち選択的に記述された項目を含み、
前記プロセッサは複数の前記観測データの選択記述された前記項目を組み合わせ、一つ以上の目標物の移動軌跡を推定し、
前記出力装置は、前記移動軌跡を示す情報を出力することを特徴とするセンサ統合システム。
【請求項２】
前記観測データは、一つ以上の目標物の座標値及び前記座標値が観測された時刻を含む第１の種類の観測データと、前記一つ以上の目標物の外形を示す情報及び前記外形を示す情報が観測された時刻を含む第２の種類の観測データと、を含み、
前記プロセッサは、前記第１の種類の観測データに含まれる前記一つ以上の目標物の座標値及び前記第２の種類の観測データに含まれる前記一つ以上の目標物の外形を示す情報に基づいて、前記一つ以上の目標物の移動軌跡を推定することを特徴とする請求項１に記載のセンサ統合システム。
【請求項３】
前記第２の種類の観測データは、さらに、前記各時刻における前記一つ以上の目標物の座標値を含み、
前記プロセッサは、
前記第２の種類の観測データに基づいて、前記各目標物の移動軌跡を推定し、
第１の時刻より前の時刻における前記移動軌跡に基づいて、前記第１の時刻における前記各目標物の座標値を予測し、
前記第１の時刻における観測データに含まれる座標値のうち、前記予測された座標値までの距離が所定の値以内のものに基づいて、最も確からしい前記第１の時刻における各目標物の座標値を特定し、
前記特定された座標値を含むように前記推定された移動軌跡を修正することを特徴とする請求項２に記載のセンサ統合システム。
【請求項４】
前記記憶装置は、前記保持された各座標値の確度を示す情報を保持し、
前記プロセッサは、前記確度に基づく重み付き平均または重心を計算することによって、前記最も確からしい第１の時刻における各目標物の座標値を特定することを特徴とする請求項３に記載のセンサ統合システム。
【請求項５】
前記各座標値の確度を示す情報は、前記各座標値の分散値であり、
前記プロセッサは、前記分散値に基づいて前記各座標値の確率密度関数を重ね合わせることによって、前記重み付き平均または重心を計算することを特徴とする請求項４に記載のセンサ統合システム。
【請求項６】
前記観測データに含まれる座標値から前記予測された座標値までの距離に関する前記所定の値は、前記観測データに含まれる座標値の確度が高いほど小さく、前記確度が低いほど大きいことを特徴とする請求項４に記載のセンサ統合システム。
【請求項７】
前記プロセッサは、前記観測データに含まれる座標値であって、前記予測された座標値までの距離が前記所定の値以内であるもののうち、前記確度又は前記予測された座標値からの近さが所定の順位以内であるもの、又は、前記確度が所定の値以上であるものに基づいて、前記最も確からしい第１の時刻における各目標物の座標値を特定することを特徴とする請求項４に記載のセンサ統合システム。
【請求項８】
前記プロセッサは、前記観測データに含まれる第１の座標値から、前記第１の時刻における第１の目標物の予測された座標値までの距離、及び、前記第１の座標値から、前記第１の時刻における第２の目標物の予測された座標値までの距離が、いずれも前記所定の値以内であり、かつ、前者の距離が後者の距離より小さい場合、前記第１の座標値を、前記第１の時刻における前記第１の目標物の最も確からしい座標値を特定するために使用し、前記第１の時刻における前記第２の目標物の最も確からしい座標値を特定するために使用しないことを特徴とする請求項４に記載のセンサ統合システム。
【請求項９】
前記各センサは、前記座標値の確度を示す情報を含む前記観測データを生成し、
前記プロセッサは、前記各センサから取得した前記座標値の確度を示す情報を前記観測データに含めて前記記憶装置に格納することを特徴とする請求項４に記載のセンサ統合システム。
【請求項１０】
前記記憶装置は、前記一つ以上の目標物に関するキー情報と、前記目標物の座標値を予測するために使用される処理アルゴリズム又は処理パラメータの少なくとも一方とを対応付ける目標物モデル情報を保持し、
前記プロセッサは、
前記第２の種類の観測データから前記各目標物のキー情報を抽出し、
前記抽出されたキー情報に対応する処理アルゴリズム又は処理パラメータを用いて前記第１の時刻における各目標物の座標値を予測することを特徴とする請求項３に記載のセンサ統合システム。
【請求項１１】
前記キー情報は、前記各目標物の大きさ、速度又は識別子の少なくとも一つを特定する情報であることを特徴とする請求項１０に記載のセンサ統合システム。
【請求項１２】
前記キー情報は、前記第２の種類の観測データに基づいて、前記目標物の数を特定する情報であり、
前記第１の観測データに含まれる座標値に基づいて、前記特定された目標物の数と同数の前記目標物の移動軌跡を推定することを特徴とする請求項１０に記載のセンサ統合システム。
【請求項１３】
前記処理アルゴリズムは、前記各目標物が等速直線運動をしていると仮定して前記座標値を予測するアルゴリズム、又は、カルマンフィルタを用いて前記座標値を予測するアルゴリズムのいずれかを含むことを特徴とする請求項１０に記載のセンサ統合システム。
【請求項１４】
前記プロセッサは、
前記第２の種類の観測データから、二つ以上の前記目標物の相対位置を特定する情報を抽出し、
前記相対位置を特定する情報を新たなキー情報として前記目標物モデル情報に追加することを特徴とする請求項１１に記載のセンサ統合システム。
【請求項１５】
前記記憶装置は、地図情報を保持し、
前記地図情報は、地物を特定する情報及び当該地物によって前記センサによる観測が遮蔽される領域を特定する情報を含み、
前記プロセッサは、
第１の識別子が付与された前記目標物の前記第１の時刻における予測された座標値が前記遮蔽される領域に含まれ、かつ、前記予測された座標値までの距離が前記所定の値以内である前記第１の時刻における座標値が観測されなかった場合、前記予測された座標値に基づいて前記第１の時刻より後の時刻における前記第１の識別子が付与された目標物の座標値を予測し、
前記第１の時刻より後の時刻における第１の識別子が付与された目標物の座標値までの距離が前記所定の値以内である当該第１の時刻より後の時刻における座標値が観測された場合、前記観測された座標値に対応する目標物に前記第１の識別子を付与することを特徴とする請求項３に記載のセンサ統合システム。
【請求項１６】
前記第２の種類の観測データに含まれる前記一つ以上の目標物の外形を示す情報は、前記一つ以上の目標物を撮影した画像であり、
前記プロセッサは、
二つの時刻において撮影された二つの前記画像の各々から前記一つ以上の目標物に対応する移動体領域を抽出し、
前記抽出された移動体領域の数を、前記画像に含まれる前記目標物の数として特定し、
前記抽出された移動体領域の位置を比較することによって、前記二つの画像から抽出された同一の目標物の座標値を特定し、
前記特定された同一の目標物の座標値に同一の識別子を付与することによって、前記各目標物の移動軌跡を推定し、
前記識別子が付与された座標値に基づいて前記最も確からしい座標値が特定された場合、当該識別子が付与された座標値から当該識別子を削除し、当該特定された最も確からしい座標値に当該削除されたものと同一の識別子を付与することを特徴とする請求項３に記載のセンサ統合システム。
【請求項１７】
前記複数のセンサは、レーダ及びカメラを含み、
前記第１の種類の観測データに含まれる前記一つ以上の目標物の座標値は、前記レーダによって観測されたものであり、
前記第２の種類の観測データに含まれる前記一つ以上の目標物の外形を示す情報は、前記カメラによって撮影された前記一つ以上の目標物を含む画像であることを特徴とする請求項３に記載のセンサ統合システム。
【請求項１８】
前記記憶装置は、地図情報を保持し、
前記出力装置は、前記地図情報に基づく地図画像上に、前記移動軌跡及び当該移動軌跡に対応する目標物を含む画像を重畳表示する画像を出力することを特徴とする請求項１７に記載のセンサ統合システム。
【請求項１９】
プロセッサと、前記プロセッサに接続される記憶装置と、前記プロセッサに接続される出力装置と、を備えるセンサ統合システムにおいて実行されるセンサ統合方法であって、
前記記憶装置は、複数のセンサによって観測された観測データを保持し、
前記観測データは、一つ以上の目標物の座標値及び前記座標値が観測された時刻を含む第１の種類の観測データと、前記一つ以上の目標物の外形を示す情報及び前記外形を示す情報が観測された時刻を含む第２の種類の観測データと、を含み、
前記センサ統合方法は、
前記プロセッサが、複数の前記観測データの選択記述された前記項目を組み合わせ、一つ以上の目標物の移動軌跡を推定する手順と、
前記出力装置が、前記移動軌跡を示す情報を出力する手順と、を含むことを特徴とするセンサ統合方法。
【図１】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図５Ｄ】
【図６】
【図８】
【図１０】
【図１１】
【図１２】
【図７】
【図９】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図５Ｄ】
【図６】
【図８】
【図１０】
【図１１】
【図１２】
【図７】
【図９】
【図１３】
【図１４】
【公開番号】特開２０１２−１６３４９５（Ｐ２０１２−１６３４９５Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１１−２５３２５（Ｐ２０１１−２５３２５）
【出願日】平成２３年２月８日（２０１１．２．８）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願日】平成２３年２月８日（２０１１．２．８）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]