予測装置
【課題】 予測対象区域における歩行者等の発生頻度を予測可能な予測装置を提供することを目的とする。
【解決手段】 過去の発生頻度データを検索し（Ｓ１７０）、ＦPFPを算出する（Ｓ１８０）。具体的には、予測器の出力である予測結果をベクトルとして表現する。つまり、予測対象の分類を｛男性、女性、子供、自転車、不明、犬｝×｛右、左｝の合計１２種類で考え、歩行者発生頻度の特徴ベクトル（予測の目的変数）を１２次元とする。また、特徴ベクトルが発生する際に、その説明変数となる状況情報を｛場所、日時、天候｝とする。ここで、場所は３次元（それぞれの次元が区間に相当）、日時は｛年、月、曜日｝の合計２２次元、天候は｛晴、曇、雨｝の３次元とする。そして、この２８次元の状況ベクトルに対する特徴ベクトルの回帰関係を線形最小２乗法で解く。
【解決手段】 過去の発生頻度データを検索し（Ｓ１７０）、ＦPFPを算出する（Ｓ１８０）。具体的には、予測器の出力である予測結果をベクトルとして表現する。つまり、予測対象の分類を｛男性、女性、子供、自転車、不明、犬｝×｛右、左｝の合計１２種類で考え、歩行者発生頻度の特徴ベクトル（予測の目的変数）を１２次元とする。また、特徴ベクトルが発生する際に、その説明変数となる状況情報を｛場所、日時、天候｝とする。ここで、場所は３次元（それぞれの次元が区間に相当）、日時は｛年、月、曜日｝の合計２２次元、天候は｛晴、曇、雨｝の３次元とする。そして、この２８次元の状況ベクトルに対する特徴ベクトルの回帰関係を線形最小２乗法で解く。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、予定走行経路上の所定区域である予測対象区域における車両外部のオブジェクトの発生頻度を予測する技術に関する。
【背景技術】
【０００２】
従来、プローブカーで集めた車両位置情報を基に、渋滞予測や旅行時間の推定を行う技術が開示されている（例えば、特許文献１参照）。ここでは単なる回帰分析ではなく、欠損値付き主成分分析（PCAMD ）を用いることで、データの欠損を補っており、理論的には制約付き主成分分析がベースになっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４３２９７１１号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、所定の区域における歩行者や自転車などの発生頻度を予測することが出来れば、歩行者や自転車などの安全が確保され、運転者の負担軽減にも寄与する。
しかしながら、上記特許文献１では、自車情報（特に位置）が基本になっており、車外環境の観測量（歩行者の数や自転車の数など）を用いたものではない。また、車両の移動特性と歩行者や自動車の移動形態、発生形態は異なると考えられ、車両の渋滞予測技術をそのまま歩行者に適用することはできない。
【０００５】
本発明は、予測対象区域における歩行者等の発生頻度を予測可能な予測装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するためになされた請求項１に記載の予測装置は、車両に搭載されて用いられ、予定走行経路上の所定区域である予測対象区域における車両外部のオブジェクトの発生頻度を予測する。ここでオブジェクトとは、主として人間であるが、犬などの動物をも含む。また、予定走行経路は、例えばナビゲーション装置で探索された経路であることが考えられる。
【０００７】
このとき、頻度データ取得手段は、過去の発生頻度に関する頻度データを取得する。この頻度データは、時空間を定義する「時空間情報」及び当該時空間情報に対応しオブジェクトの発生頻度を定義する「頻度情報」とからなる。このような頻度データは、予測装置の記憶手段に記憶されるものとしてもよいし、外部のセンタに記憶されているものとしてもよい。頻度データが外部のセンタに記憶されている場合、頻度データ取得手段は、センタとのデータ通信によって頻度データを取得することになる。そして、このような頻度データに基づき、予測器によって、予測対象区域におけるオブジェクトの発生頻度が予測される。
【０００８】
このような過去の発生頻度に関する頻度データを自車両に又はセンタに集積しておけば、予測対象区域における歩行者等のオブジェクトの発生頻度を適切に予測することができる。
【０００９】
なお、「時空間情報」は、例えば請求項２に示すように、状況情報を説明変数とする「状況ベクトル」として定義されるものとすることが考えられる。この状況情報には、請求項３に示すように、場所、日時、及び、天候の情報が含まれることとしてもよい。
【００１０】
また、「頻度情報」は、例えば請求項４に示すように、特徴情報を目的変数とする「特徴ベクトル」として定義されるものとすることが考えられる。この特徴情報には、請求項５に示すように、オブジェクトの種類及び車両からの景観を複数に分割した部分領域の情報が含まれることとしてもよい。
【００１１】
このような状況ベクトル及び特徴ベクトルを用いることで、比較的簡単に予測を行うことができる。例えば、請求項６に示すように、予測器は、状況ベクトルに対する特徴ベクトルの回帰関係を線形最小二乗法で解くことにより、予測対象区域におけるオブジェクトの発生頻度を予測することが考えられる。
【００１２】
ところで、頻度データのセンタへの集積を考えた場合、請求項７に示すように、車両外部を撮像する撮像部と、撮像部にて撮像される画像に基づき、画像認識結果から頻度情報を生成する認識器とを備える構成とすることが考えられる。この場合、認識器が頻度情報を生成するため、頻度データを自車両に集積することが可能となる。
【００１３】
ただし、認識器による画像認識結果は、種々の要因によって影響を受ける虞がある。そこで、請求項８に示すように、認識器による画像認識結果に対する信頼度を算出する演算部を備える構成としてもよい。例えば請求項９に示すように、演算部は、オブジェクトの種類、計測地点、画像認識のためのセンサ及び認識手法、並びに、車両の走行速度の少なくともいずれかに基づき、信頼度を算出することが例示される。これにより、集積される画像認識結果に対し信頼度という重み付けを行うことができる。その結果、認識器による画像認識結果を予測器の学習データとして用いることができる。
【００１４】
認識器を備える構成を前提とすれば、請求項１０に示すように、送信部が、車両走行地点の情報、及び、認識器による画像認識結果をアップロード情報としてセンタへアップロードする構成を採用することが考えられる。このようにすれば、予測装置を搭載する自車両がプローブカーとして機能する。
【００１５】
このとき、請求項１１に示すように、アップロード情報に、演算部にて算出された信頼度が含まれることとしてもよい。このようにすれば、信頼度付きの画像認識結果がセンタへアップロードされるため、センタに集積される画像認識結果に対し信頼度という重み付けを行うことができる。また、請求項１２に示すように、アップロード情報に、予測器による予測結果が含まれることとしてもよい。このようにすれば、予測器を具備しない車両に対し、予測結果をセンタから配信することができる。もちろん、予測結果をセンタへ送信しない場合でも、センタ側で予測を行い、当該センタ側の予測結果を配信するようにしてもよい。
【００１６】
ところで、学習データの質または量が十分でない場合、予測器による予測結果と認識器による画像認識結果とが大きくずれることになる。上述したように認識器による画像認識結果を予測器の学習データとすることができるため、予測器の改善の問題は、認識器の性能改善の問題に集約される。
【００１７】
そこで、請求項１３に示すように、予測器による予測結果と認識器による画像認識結果との差分が閾値以上の場合、センタに集積されたアップロード情報を取得することが考えられる。これによって、認識器の学習データの質と量とが改善される可能性が高くなる。その結果、予測器による予測結果と認識器による画像認識結果との差分を小さくすることに寄与する。
【００１８】
なお、本発明は、認識器の学習データによる性能改善という特徴から、次のように構成してもよい。すなわち、「車両に搭載されて用いられ、予定走行経路上の所定区域である予測対象区域における車両外部のオブジェクトの発生頻度を予測する予測装置であって、過去の発生頻度に関する頻度データに基づき、前記予測対象区域における前記オブジェクトの発生頻度を予測する予測器と、車両外部を撮像する撮像部と、前記撮像部にて撮像される画像に基づき、画像認識結果から前記頻度データを定義する頻度情報を生成する認識器と、を備え、車両外部のセンタに信頼度の付与された画像認識結果が集積されていることを前提として、前記予測器による予測結果と前記認識器による認識結果との差分が閾値以上の場合、前記センタに集積された前記画像認識結果を前記認識器の学習データとして取得することを特徴とする予測装置。」である。
【００１９】
また、画像認識の性能を高めるために、認識パラメータを設定することが考えられる。すなわち、請求項１４に示すように、画像認識のための認識パラメータを認識器に設定するパラメータ設定部を備えていることとしてもよい。
【００２０】
具体的には、請求項１５に示すように、パラメータ設定部は、過去の頻度データに基づき、認識パラメータを設定することが考えられる。例えば、通学団が多いところでは複数のオブジェクトを認識するための認識パラメータを設定するという具合である。また例えば、自転車が多いところでは自転車用の認識パラメータを設定するという具合である。
【００２１】
また具体的には、請求項１６に示すように、パラメータ設定部は、対象となるオブジェクトに応じて、認識パラメータを設定することが考えられる。オブジェクトの移動度及び移動範囲に基づく設定や、オブジェクトの画像特徴に基づく設定が例示される。
【００２２】
このようにすれば、画像認識の性能の向上に寄与する。
このとき、請求項１７に示すように、予測器による予測結果と認識器による画像認識結果との差分が閾値以上の場合、パラメータ設定部が、認識パラメータを修正するようにしてもよい。このようにすれば、認識器の性能改善が図られる。
【００２３】
なお、本発明は、認識器の認識パラメータによる性能改善という特徴から、次のように構成してもよい。「車両に搭載されて用いられ、予定走行経路上の所定区域である予測対象区域における車両外部のオブジェクトの発生頻度を予測する予測装置であって、過去の発生頻度に関する頻度データに基づき、前記予測対象区域における前記オブジェクトの発生頻度を予測する予測器と、車両外部を撮像する撮像部と、前記撮像部にて撮像される画像に基づき、画像認識結果から前記頻度データを定義する頻度情報を生成する認識器と、前記認識器に対し、画像認識のための認識パラメータを設定するパラメータ設定部と、を備え、前記予測器による予測結果と前記認識器による画像認識結果との差分が閾値以上の場合、前記パラメータ設定部は、前記認識パラメータを修正して設定することを特徴とする予測装置。」である。
【００２４】
ところで、過去の頻度データがない場合でも、地理的な要因などからオブジェクトの発生頻度を予測できることが望ましい。
そこで、請求項１８に示す構成を採用することが考えられる。すなわち、アトラクタの情報を取得するアトラクタ情報取得手段と、アトラクタ情報に基づき、当該アトラクタでのオブジェクトの存在確率をタイムゲートとして設定するタイムゲート設定手段と、を備える構成である。
【００２５】
アトラクタは、例えば、学校、店、ショッピングセンタ、病院、駅、テーマパーク、ホール、野球場、バス停、駅、公園として具現化される。タイムゲートは、時間的要因に影響されるアトラクタでのオブジェクトの存在確率を示す。例えば、アトラクタの営業時間などを基に、タイムゲートが設定されるという具合である。
【００２６】
このとき、予測器は、アトラクタと予測対象区域との距離、及び、タイムゲートに基づき、予測対象区域におけるオブジェクトの発生頻度を予測する。
このようにすれば、過去の頻度データが少ない場合でも、地理的な要因などからオブジェクトの発生頻度を予測することができる。
【００２７】
より具体的には、請求項１９に示すように、タイムゲートを、オブジェクトの発生頻度を高さとする矩形波で定義することが例示される。この場合、予測器は、アトラクタから予測対象区域までの分岐路にて分割される矩形波の伝播を想定し、予測対象区域におけるオブジェクトの発生頻度を予測する。例えば、分岐路では矩形波の高さ（オブジェクト発生頻度）が小さくなるように伝播する。このようにすれば、アトラクタに起因するオブジェクトの発生頻度を比較的容易に予測することができる。
【００２８】
なお、請求項２０に示すように、タイムゲートを定義する矩形波は、アトラクタの平均収容人数を高さとするものとして初期化されることとしてもよい。このようにすれば、タイムゲートを比較的簡単な矩形波として定義することができる。
【００２９】
また、例えば学校への登校時間が８：００〜８：３０である場合、その登校時間以前のオブジェクト（例えば生徒）の発生頻度を予測する必要がある。そこで、請求項２１に示すように、予測器は、時間的に遡る矩形波の伝播である逆伝播に基づき、予測対象区域におけるオブジェクトの発生頻度を予測することとしてもよい。このようにすれば、アトラクタに対してのオブジェクトの流入時間から、それ以前のオブジェクトの発生頻度を予測することができる。
【００３０】
さらにまた、請求項２２に示すように、予測器は、自車両の予測対象区域の通過時間を考慮して、予測対象区域におけるオブジェクトの発生頻度を予測することが例示される。つまり、自車両の速度が上がれば予測対象区域の通過時間が短くなるため、予測対象区域の通過時間を考慮すれば、より確実にオブジェクトの発生頻度を予測することができる。
【００３１】
なお、本発明は、アトラクタに起因する予測という特徴から、次のように構成してもよい。すなわち、「車両に搭載されて用いられ、予定走行経路上の所定区域である予測対象区域における車両外部のオブジェクトの発生頻度を予測する予測装置であって、前記予測対象区域における前記オブジェクトの発生頻度を予測する予測器と、集客力を有し、前記オブジェクトの流出入の駆動する要素であるアトラクタの情報を取得するアトラクタ情報取得手段と、前記アトラクタ情報に基づき、時間的要因に影響される前記アトラクタでの前記オブジェクトの存在確率をタイムゲートとして設定するタイムゲート設定手段と、を備え、前記予測器は、前記アトラクタと前記予測対象区域との距離、及び、前記タイムゲートに基づき、前記予測対象区域における前記オブジェクトの発生頻度を予測することを特徴とする予測装置。」である。
【図面の簡単な説明】
【００３２】
【図１】タイプ１の車載装置の構成を示すブロック図である。
【図２】タイプ２の車載装置の構成を示すブロック図である。
【図３】タイプ３の車載装置の構成を示すブロック図である。
【図４】センタの構成を示すブロック図である。
【図５】予報処理の一部を示すフローチャートである。
【図６】予報処理の一部を示すフローチャートである。
【図７】予報処理の一部を示すフローチャートである。
【図８】ＦATR算出処理を示すフローチャートである。
【図９】対象アトラクタの予測頻度算出を示すフローチャートである。
【図１０】アトラクタのリストアップを示す説明図である。
【図１１】複数のアトラクタに起因する発生頻度の合成を示す説明図である。
【図１２】複数のアトラクタに起因する発生頻度の合成を示す説明図である。
【図１３】発生頻度の算出の一例を示すタイミングチャートである。
【図１４】発生頻度の算出の一例を示す説明図である。
【図１５】過去の発生頻度データを予測に利用した一例を示す説明図である。
【図１６】予測対象区域の一例を示す説明図である。
【図１７】状況ベクトルと特徴ベクトルの一例を示す説明図である。
【図１８】特徴情報に含まれる部分領域の一例を示す説明図である。
【図１９】予測器による出力結果の一例を示す説明図である。
【図２０】予測器による出力結果の一例を示す説明図である。
【図２１】複数の車両での画像認識を示す説明図である。
【発明を実施するための形態】
【００３３】
以下、本発明の実施形態を図面に基づいて説明する。
本実施形態では、想定する時間帯に所定の対象区域である「予測対象区域」（以下、ターゲットともいう）で発生する歩行者の頻度を予測する。
【００３４】
［１．特徴］
（１）走行予定区域の近隣にある集客施設とその時間挙動を地理的要因および道路要因の観点から考慮し、走行予定時間における予測対象区域での歩行者発生頻度を予測する。
（２）過去の発生頻度に関する統計データから走行予定時間における歩行者発生頻度を予測する際に、プローブカーで集めた認識器の結果を用い、人手による正解データの入力を最小にとどめる。
（３）上記の認識器の結果を用いる際に認識の信頼度に関する情報を考慮する。
（４）走行予定区域を走行した際に得た最新の認識結果と、あらかじめ上記の枠組みで得た歩行者発生頻度との間の差分情報を評価することにより、認識器と予測器の性能を改善する。
【００３５】
［２．具体的用途］
主として車載カメラの視野内にあるオブジェクト（自転車、歩行者、動物）を検出し、特にカメラに接近するオブジェクトについてドライバーに警報を発するような運転支援装置に応用する。アプリケーションプログラムとして、大きく分けると、次の３つが考えられる。
【００３６】
［２−１．人予報］
複数のセンサが得た情報を共有することにより、人や自転車の発生を予測する。これによって指定場所での人の発生頻度を天気予報のように前もって予測し、都市情報として活用する。
【００３７】
［２−２．運転支援］
人予報の結果、対象地域を通過する前に注意、危険回避、装置設定、旅行計画変更、運転者変更（運転計画）を行うことが可能になり、予防安全を促進することができる。すなわち、最終的に事故を低減させるという観点から言えば、単に認識結果を赤枠で表示したり、警告を発したりするだけではなく、運転支援という立場であらかじめ危険を回避するように情報を提供する。
【００３８】
例えば、まったく見知らぬ土地をレンタカーで運転する場合、歩行者や自転車と出くわす確率が高い場所や時間帯を事前に知ることができれば、ドライバーの精神的負荷は軽減される。
【００３９】
［２−３．認識支援］
上記の予測結果とプローブカーによる認識結果を通信手段で連携させることにより、認識性能を改善させる。
【００４０】
（１）通信で得られる外部データ（特に、天候や環境に関するデータ）により認識性能を改善させる。
（２）通信で外部の処理装置とつながることで演算量や処理内容を向上させ、認識機能を改善させる。
【００４１】
（３）複数のセンサが連携することにより、多数の時空間点で観測したデータを相互利用し、個々の車の認識性能を改善する。
（４）その地域や時間、天候にあった認識パラメータを通信で獲得し、認識性能を適応化させる。
【００４２】
［３．予測式］
最初に、考えられる予測式について説明しておく。
センシング装置（ソース）、時間帯、地点に対応して認識結果の信頼度を決め、信頼度と認識結果を地図データ上に記憶し、その時空間分布から走行予定区域における歩行者発生頻度を予測する。
【００４３】
その予測値のＭ個の集まりについてＮ個のカテゴリのオブジェクトに関する予測発生頻度の値をＭ×Ｎ行列Ｆで表現する。時間情報を含む状況ｓと想定する場所ｘについて、発生頻度の予測値で構成される行列Ｆ（ｘ，ｓ）を次式でモデル化する。
【００４４】
【数１】
【００４５】
なお、ここで、
ＦRWPは、自車または現在地から予測対象位置ｘまでの走行経路周辺で得られる画像認識結果から算出したｘ上の予測発生頻度である。
【００４６】
また、ＦRXTは、ｘにおいて現在または最近観測された画像を認識した結果である。
さらにまた、ＦPFPは、過去の統計データに基づいて場所ｘ状況ｓにおける発生頻度を予測した結果である。
【００４７】
また、ＦATRは、ｘ周辺にあるアトラクタの影響に基く予測発生量。これはタイムゲートによりさらに精度の高い情報に修正される。
なお、Λは上記の４つの発生頻度行列からひとつの発生頻度行列を作成する関数であり、もっとも簡単なものは次式で表現される。
【００４８】
【数２】
【００４９】
［３−１．予測方式１］
もっとも容易に実現できる予測方式は、次のようなものである。
【００５０】
【数３】
【００５１】
これは、「飛び出し注意」とか「通学路につき子供に注意」、あるいは「動物注意」といった道路標識がこの予測に近い意味合いを持つ。ただし、本実施形態ではターゲット周辺の任意の区域における頻度予測を想定し、複数のアトラクタの影響を合成して定量的に表現することを考える。
【００５２】
［３−２．予測方式２］
過去の統計データがすでにある場合は、ＦPFP用いることで、次のように表現することができる。
【００５３】
【数４】
【００５４】
ＦPFPは基本的には過去のデータの学習に基づく回帰予測であるが、データに欠損がある場合もＦATRによって補えるという特長を本方式は有する。
［３−３．予測方式３］
ターゲットまでの距離が近く、しかも発生頻度がターゲットまでの移動時間内にあまり変動しないような場合はターゲット周辺に存在する認識器の結果に重点をおき、次のような式で表現可能である。
【００５５】
【数５】
【００５６】
この場合は、準リアルタイムかつ正確な認識系と通信系がそろっていないと実現できない。過去からの予測が困難な群集の発生などはこの方式が都合がよい。認識系が十分でないならば、画像そのものを自車まで配信してもらうということも考えられ、この場合はプローブカーによる無線通信システムの問題に帰着される。
【００５７】
［３−４．実施形態における予測方式］
ＦRWPに関しては、ターゲットとは異なる地点の時空間点で観測された発生頻度とターゲットでの発生頻度との間の相関を計算することとなり、問題はＦPFPと同様になる。そこで、本実施形態では主として式４を用いて説明を行う。
【００５８】
［４．予測器への情報提供］
また、本システムの予測器に用いる情報は次のソースから提供されることを想定する。
（１）車両（予測装置）
予測装置は、３つのタイプで構成することができる。
【００５９】
（１−１）タイプ１：認識器と予測器との両方を具備し、センタと通信を行うもの。
（１−２）タイプ２：予測器のみを具備し、センタと通信を行うもの。
（１−３）タイプ３：センタから配信される情報を受信して報知を行うもの。
【００６０】
（２）携帯電話機やＰＣなどの無線通信端末
センシングした位置情報と記憶した個人プロファイル情報とを周囲の車両又はセンタに送信する。これによって、画像処理などのセンシングによっては困難な歩行者情報（性別、年齢、目的地など）を高い信頼度で地図上にマッピングすることができる。この端末によって他の歩行者をセンシングすることも不可能ではない。ただし、端末の持ち主の歩行状態を発信する手段として用いることが一般的である。
【００６１】
（３）定点観測インフラ
車両などの移動体から歩行者をセンシングする場合に比べて、位置が固定されており、背景の動きも少ないので歩行者の認識率は一般に車両の場合よりも高い。したがって、予測の信頼度も高くなる。一方で、コスト面から設置件数や設置場所が限られるため、予測できる対象区域も限定される。
【００６２】
［５．予測装置の構成］
図１に、タイプ１の予測装置１０のブロック図を示す。
予測装置１０は、主として、送受信部２０と、ナビゲーション装置３０と、認識器４０と、予測器５０と、記憶部６０とを備えている。
【００６３】
送受信部２０は、センタ７０との間でデータ通信を行うための構成である。
ナビゲーション装置３０は、報知部３１、アトラクタ情報３２を有しており、予測器５０と接続されている。報知部３１は、運転者への報知を行うためのディスプレイやスピーカなどで構成される。アトラクタ情報３２については、後述する。
【００６４】
認識器４０は、撮像部４１、パラメータ設定部４２、評価部４３、及び、変換部４４に接続されている。また、変換部４４には演算部４５が接続されており、演算部４５には情報生成部４６が接続されている。
【００６５】
予測部５０は、パラメータ設定部４２、及び、評価部４３に接続されている。
記憶部６０は、変換部４４からの情報を記憶するための記憶媒体である。
撮像部４１は、車載カメラとして具現化され、認識器４０に対し、画像データを送出する。パラメータ設定部４２は、認識器４０に対し、画像認識のための認識パラメータを設定する。パラメータについては後述する。評価部４３は、予測器５０からの出力と認識器４０からの出力とを比較して評価するための構成である。評価部４３では、具体的には、予測器５０からの出力と認識器４０からの出力との差分情報を算出する。この差分情報は、変換部４４で変換された後、記憶部６０及び演算部４５へ送出される。
【００６６】
認識器４０からの出力である画像認識結果は、変換部４４で変換された後、記憶部６０に記憶される。また、変換部４４で変換された後、演算部４５へ送出される。演算部４５では、画像認識結果に対する信頼度を算出する。
【００６７】
情報生成部４６は、画像認識結果に、演算部４５によって算出された信頼度などを付加して、センタ７０へのアップロード情報を生成する。
予測器５０は、歩行者発生頻度を予測するための構成である。予測器５０は、センタ７０から送信されてくる情報を、ナビゲーション装置３０を介して取得し、当該情報に基づく予測を行う。また、予測器５０は、記憶部６０に記憶される画像認識結果に基づく予測を行う。
【００６８】
この予測装置１０は、現在位置、走行予定経路、差分情報、及び、認識結果などをセンタ７０へアップロードし、センタ７０から、予測対象区域の情報（アトラクタ情報、タイムゲート情報、Ｗｅｂ情報など）を受信する。
【００６９】
図２に、タイプ２の予測装置１１のブロック図を示す。なお、予測装置１０と同様の構成部位には、同一の符号を付した。
予測装置１１は、主として、送受信部２０と、ナビゲーション装置３０と、予測器５０と、記憶部６０とを備えている。予測装置１０と異なるのは、認識器４０及びこれに付随する構成を有していないことである。なお、それ以外の構成については予測装置１０と同様となっているため、説明を割愛する。
【００７０】
この予測装置１１は、現在位置、走行予定経路などをセンタ７０へアップロードし、センタ７０から、予測対象区域の情報（アトラクタ情報、タイムゲート情報、Ｗｅｂ情報など）を受信する。
【００７１】
図３に、タイプ３の予測装置１２のブロック図を示す。など、予測装置１０，１１と同様の構成部位には、同一の符号を付した。
予測装置１２は、受信部２１と、ナビゲーション装置３０と、報知部３１とを備えている。この場合、予測器５０さえ有していないため、センタ７０からの受信動作のみを行う。具体的には、センタ７０から、場所や歩行者の発生頻度を示す予測頻度などの予測情報を受信する。
【００７２】
［６．センタの構成］
図４に、センタ７０のブロック図を示す。
センタ７０は、受信部７１、要求処理部７２、検索部７３、結果処理部７４、記憶部７５、大規模予測部７６、及び、配信部７７を備えている。
【００７３】
受信部７１は、予測装置１０，１１から送信される情報を受信するための構成である。
要求処理部７２は、予測装置１０，１１から所定情報の送信要求などがあると、検索部７３へ当該情報の検索を指示する。
【００７４】
検索部７３は、記憶部７５に記憶されたデータの検索を行うための構成である。検索部７３による検索結果データは、記憶部７５に記憶される。また、検索結果データは、配信部７７へ送出される。
【００７５】
結果処理部７４は、例えば予測装置１０から画像認識結果などのアップロード情報が送信されてきた場合、当該データを所定形式で記憶部７５へ記憶する。具体的には、予測装置１０，１１から、歩行者発生頻度に関する信頼度付きの情報を受信し、それらを地理情報に関連付けて、時空間データベースを構築する。
【００７６】
記憶部７５は、ハードディスク装置などの記憶媒体として具現化される。
大規模予測部７６は、記憶部７５に構築される時空間データベースを利用し、歩行者の発生頻度にかかる大規模な予測演算を行う。予測演算の結果は「予報」として、記憶部７５に記憶されると共に、配信部７７へ送出される。
【００７７】
配信部７７は、予測装置１０，１１，１２へ情報を配信するための構成である。
なお、ここでは、予測装置１０，１１からセンタ７０への情報送信について説明したが、携帯電話機やＰＣなどの無線通信端末、及び、定点観測インフラ（交差点カメラなど）からもセンタ７０へ情報送信されることとしてもよい。
【００７８】
また、本実施形態では、認識器４０及び予測器５０の両方を備えるタイプ１の予測装置１０を例に挙げて、以下説明を続ける。
［７．予報処理］
図５、図６、図７は、予測装置１０にて実行される予報処理を示すフローチャートである。なお、この予報処理は、図５中にＢ１０で示す「ＦATRの算出に関する処理」、図６中にＢ２０で示す「ＦPFPの算出に関する処理」、及び図７中にＢ３０で示す「認識器４０の性能向上に関する処理」に大別される。そこで、以下では、全体の流れを一通り説明した後、これらのＢ１０〜Ｂ３０のブロックごとに詳細な説明を加える。
【００７９】
［７−１．予報処理全体の流れ］
最初のＳ１００では、ナビ走行予定経路を取得する。この処理は、ナビゲーション装置３０にて実行されるものであり、ユーザによって設定された走行予定経路が取得される。
【００８０】
次のＳ１１０では、予測対象区域を設定する。この処理は、例えばナビゲーション装置３０により、予測対象区域の情報をユーザに入力させるように促すものとすることが考えられる。
【００８１】
次のＢ１０では、ＦATRを算出する。ＦATRは、上述したように、アトラクタの影響に基づく予測発生頻度である。
続く図６中のＢ２０では、ＦPFPを算出し（Ｓ１８０）、Ｂ１０にて算出されたＦATRと合成して（Ｓ１９０）、予測対象区域での歩行者発生頻度を予測して報知する（Ｓ２００）。
【００８２】
次の図７中のＢ３０では、認識器４０の性能向上のための演算処理を行う。
そして、Ｓ３１０では、画像認識結果からアップロード情報を生成する。この処理は、図１中の情報生成部４６の機能として実現される。次のＳ３２０では、アップロード情報をセンタ７０へ送信する。
【００８３】
［７−２．ＦATRの算出に関する処理］
図５中のＢ１０に示すように、Ｓ１２０では、センタ７０を利用するか否かを判断する。ここでセンタ７０を利用しない場合（Ｓ１２０：ＮＯ）、Ｓ１３０へ移行する。一方、センタ７０を利用する場合（Ｓ１２０：ＹＥＳ）、Ｓ１４０へ移行する。
【００８４】
センタ７０を利用しない場合に移行するＳ１３０では、ナビゲーション装置３０が有するアトラクタ情報３２を取得する。その後、Ｓ１６０へ移行する。
センタ７０を利用する場合に移行するＳ１４０では、現在地及び走行予定経路をセンタ７０へ送信し、アトラクタ情報を要求する。これにより、センタ７０は、アトラクタ情報を送信してくる。そこで、Ｓ１５０では、センタ７０からのアトラクタ情報を受信する。その後、Ｓ１６０へ移行する。
【００８５】
Ｓ１６０では、ＦATR算出処理を実行する。
［７−２−１．ＦATR算出処理］
続けて、図８のフローチャートに基づき、ＦATR算出処理を説明する。
【００８６】
最初のＳ４００では、予測対象リンクを設定する。この処理は、予定経路上の位置ｘkを含むリンク＄Ｌ（ｘk）を予測対象リンクとするものである。
次のＳ４１０では、アトラクタを探索してリスト化する。この処理は、予測対象区域＄Ｌ（ｘk）周辺のアトラクタを探索し、ｉ＝１，・・・，Ｉkの番号を割り当てて、リスト化するものである。例えば、図１０に示すように、病院Ａ1、銀行Ａ2、地下鉄駅Ａ3、ショッピングセンタＡ4としてリストアップされる。
【００８７】
続くＳ４２０では、アトラクタの番号ｉを初期化して「０」とする。
次のＳ４３０では、アトラクタの番号ｉをインクリメントする。これにより、アトラクタＡ1から処理が開始されることになる。
【００８８】
続くＳ４４０では、タイムゲートを設定する。この処理は、アトラクタＡiの情報（平均収容人数、営業時間など）を基に、タイムゲートＴＧ（Ａi）を設定するものである。
次のＳ４５０では、処理対象のアトラクタに起因する予測頻度を算出する。この処理は、Ａiに起因する＄Ｌ（ｘk）上の予測頻度ＦATR（ｘk，ｓl｜Ａi）を算出するものである。
【００８９】
続くＳ４６０では、Ｓ４５０にて算出された予測頻度を足し合わせる。具体的には、ＦATR（ｘk，ｓl）＝ＦATR（ｘk，ｓl）＋ＦATR（ｘk，ｓl｜Ａi）を計算する。
次のＳ４７０では、全てのアトラクタを処理したか否かを判断する。ここで全てのアトラクタについて処理したと判断された場合（Ｓ４７０：ＹＥＳ）、ＦATR算出処理を終了する。一方、処理していないアトラクタがあるうちは（Ｓ４７０：ＮＯ）、Ｓ４３０からの処理を繰り返す。
【００９０】
次に、図９に基づいて、上述したＳ４５０の処理の詳細について説明する。
最初のＳ４５１では、矩形波を設定する。この処理は、平均収容人数Ｎ0（ｉ）を高さとする矩形波ΓTGiを設定するものである。
【００９１】
次のＳ４５２では、経路を確定する。この処理は、アトラクタＡiから予測対象区域までの経路＄ＬNを確定するものである。
続くＳ４５３では、リンクをリストアップする。この処理は、ｎ番目の分岐＄Ｂnと（ｎ＋１）番目の分岐＄Ｂn+1の間のリンク＄Ｌnをリストアップするものである。なお、ここでｎ＝１，・・・，Ｎ−１である。
【００９２】
次のＳ４５４では、リンク番号ｎを初期化して「０」にする。
続くＳ４５５では、リンク番号ｎをインクリメントする。これにより、リンク＄Ｌ1から処理が開始されることになる。
【００９３】
次のＳ４５６では、発生頻度を分岐に応じて分割する。この処理は、リンク＄Ｌn-1での発生頻度Ｎn-1を分岐＄Ｂnに関してＪn個に分割するものである。ここでは、特に情報がなければ、Ｊn等分する。
【００９４】
続くＳ４５７では、全てのリンクを処理したか否かを判断する。ここで全てのリンクについて処理したと判断された場合（Ｓ４５７：ＹＥＳ）、Ｓ４５８へ移行する。一方、処理していないリンクがあるうちは（Ｓ４５７：ＮＯ）、Ｓ４５５からの処理を繰り返す。
【００９５】
Ｓ４５８では、予測頻度を算出する。この処理は、リンク＄ＬNのオブジェクトの存在時間、予測対象の時間範囲、及び、自車の通過時間に基づき、オブジェクトの発生頻度を予測頻度として算出するものである。
【００９６】
以上が、図５中のＢ１０で示した「ＦATRの算出に関する処理」である。ここで、この処理に対する理解を容易にするため、具体例を挙げて説明をする。ここでは、最初にアトラクタ情報について詳述し、その後、タイムゲートによる考え方を説明する。
【００９７】
［７−２−２．アトラクタ情報］
アトラクタは、例えば、学校、店、ショッピングセンタ、病院、駅、テーマパーク、ホール、野球場、バス停、駅、公園など、集客力があり、人の流出入を駆動する要素である。このアトラクタについて十分な地理情報（地図情報やＷｅｂ情報など）があれば、歩行者の発生頻度に関して一次予測が行える。
【００９８】
そこで、本実施形態では、具体的に下記の情報を用いた予測手法を提案する。
（１）アトラクタのサービス時間帯（学校ならば登下校時間）。
（２）アトラクタの周辺の地図情報（特に位置とアクセス情報）、道路情報。
【００９９】
（３）アトラクタ及びそのアトラクタへのアクセス情報が天候（雨、風、雪）の影響を受けやすいかどうか。
（４）アトラクタに出入りする人の移動度（歩行者、自転車）。
【０１００】
［７−２−３．アトラクタのクラス分類］
アトラクタは、次の２種類のカテゴリによってクラス分類することができる。
（１）平均利用時間
Ａ１クラス：４時間以上（例えば、学校、オフィスビル、駅など）
Ａ２クラス：２時間〜４時間（例えば、病院、ショッピングセンタ、映画館、スポーツ施設など）
Ａ３クラス：１時間〜２時間（例えば、銀行、店、レストランなど）
Ａ４クラス：１時間未満（例えば、コンビニ、郵便局など）
（２）手段（経由地）であるか目的地であるか。
【０１０１】
Ｂ１クラス：利用時間帯がほぼさだまっている目的地（例えば、学校、オフィスビルなど）
Ｂ２クラス：利用時間がさだまっていない目的地（例えば、病院、ショッピングセンタ、映画館、スポーツ施設、コンビニ、郵便局、レストラン、店、銀行など）
Ｂ３クラス：利用時間がさだまっていない経由地（例えば、駅、バス停など）
アトラクタの機能する時間のうち、人の出入りの激しい時間帯を活性化時間と呼ぶことにする。特にそれがアトラクタ側で定めた時間帯である場合、それをタイムゲートと呼ぶことにする。
【０１０２】
［７−２−４．タイムゲート］
上記のアトラクタに付随するタイムゲート（以下、適宜「ＴＧ」と記載する）を高さ「１」の矩形波と考える。これを基本波形としてアトラクタ中に存在する歩行者頻度を高さとする波（歩行者発生頻度の確率波）を定義する。
【０１０３】
本実施形態では、簡単化のため平均収容人数Ｎ0（ｉ）を高さとする矩形波Γπiを考える。そして、アトラクタから半径１ｋｍ以内の予測対象区域（ターゲット）ｘkでは、矩形波Γπiを区間内の移動時間と観測時間範囲に応じて変形させる。
【０１０４】
移動時間は、移動度とターゲット区間の長さで決まる。移動度が時速４ｋｍで２００ｍの区間である場合、移動時間は３分となる。また、観測時間範囲は、予測対象となる時間範囲であり、予測の時間分解能に相当する。例えば、３０分単位で設定し、朝８時から８時半までを観測時間範囲として設定することが考えられる。具体的には、時速４０ｋｍの自動車で２００ｍの区間を通過する場合、観測時間範囲は、１８秒間となる。
【０１０５】
アトラクタにおける矩形波Γπiは、予測対象区域ｘkとアトラクタＡi（ｉ番目のアトラクタを示す）の間の経路を通じて伝播（時間的には過去にさかのぼる）する。これを「逆伝播」と呼ぶことにする。矩形波Γπiは、経路途中の分岐の数に応じてその高さが低くなる。これは分岐によって歩行者数が少なくなっていくからである。ここで、分岐前の歩行者発生頻度と分岐後の複数経路の歩行者発生頻度の総和は等しいと仮定する。また、ここでは簡単化のため、この分岐は木構造であると仮定する。
【０１０６】
すると、距離Ｌ（ｘk／Ａi）と途中の分岐数及び分岐の比率は、予報の性質に影響を与える。「分岐の比率」が関係するのは、各分岐に等分された数の歩行者が存在するとはかぎらないためである。また、予報の性質は、予測対象区域に逆伝播させた矩形波Γπiの高さ、すなわち確率的歩行者発生頻度である。
【０１０７】
なお、地図上でどのような分岐が経路上で生じ、各ルートで経路長がどういう値になるかに関しては、すでにその類のグラフアルゴリズムがカーナビゲーションシステムなどで使われているので、ここではその詳細は省略する。
【０１０８】
例えば、ある学校の登校時間帯を７時から８時までとすると、それをＴＧとして８：００前の３０分程度で移動できる範囲にわたってＴＧが過去の方向に伝播し、その範囲内で人発生のピークが出現しやすくなる。すなわち、時間的に平均化された発生頻度とは異なる発生頻度になる場合が出てくる。計測データが著しく少ない場合には、このようなピークが発生する性質までもモデル化すれば予報の確信度をさらにあげることができる。
【０１０９】
ＴＧの伝播を駆動する要素を列挙すると、次のようになる。
（１）ＴＧが定義される場所（アトラクタ）
（２）ＴＧを通過しようとするオブジェクトのカテゴリ（子供、自転車など）
（３）オブジェクトＯj存在する（通過する）と想定される場所ｘ（Ｏj）とアトラクタＡiが存在する場所ｘ（Ａi）との間の経路
（４）オブジェクトの種類（歩行者、自転車、他）に応じた移動度
例えば、自転車は歩行者の３倍の移動度と仮定すると、想定区域（ターゲット）内における所定時間内の発生頻度は自転車のほうが１／３となる。
【０１１０】
［７−２−５．複数のアトラクタの影響］
次に複数のアトラクタの影響を考察する。複数のアトラクタ｛Ａ1，・・・，Ａi，・・・ＡIk｝が走行予定位置ｘkの近隣に存在する場合、Ａiで駆動される矩形波ΓTGiがアトラクタＡiにいたるルートに逆伝播し、予測対象区域上では複数のアトラクタから逆伝播したΓTGiの合成波形として人発生頻度が予測される。
【０１１１】
例えば、図１１のように２つのアトラクタＡ1，Ａ2が存在する場合、それぞれから想定する走行区域ターゲットにＴＧが逆伝播することによって、Ａiが駆動する発生頻度Ｆ1とＡ2が駆動する発生頻度Ｆ2の和として発生する歩行者がターゲット区域における予測発生頻度となる。矩形波ΓTG1とΓTG2との合成を、図１２に模式的に示した。
【０１１２】
これを一般化すると次式で表現される。
【０１１３】
【数６】
【０１１４】
［７−２−５．人の移動度］
本実施形態でいう人の移動度は、大きく分けて次の２種類である。
（１）歩行者の移動度：μP
（２）自転車の移動度：μB
歩行者は車両に比べて移動度の値および移動範囲は小さいが、移動に際しての自由度が高い。すなわち、追い越しも自由であるし、経路変更も任意である。さらに、車のように車両間の依存関係がない。
【０１１５】
このような移動度は、アトラクタＡiに関連する情報（先見情報）がない場合には、純粋に統計計算で求める。一方、アトラクタＡiに関連する情報（先見情報）がある場合、少ない計測結果に対してオフセットを与えることができる。
【０１１６】
［７−２−６．遭遇時間の予測］
ＴＧ（Ａi）から予測対象区間ターゲットまでの距離とルートとは、ナビゲーション装置３０による地図情報やＷｅｂ情報に基づき、取得することが可能である。
【０１１７】
したがって、ＴＧ（Ａi）をルートに沿って逆伝播させれば、ターゲット内の人の存在時間（道路沿いの移動時間）を推定することができる。走行経路上で遭遇する歩行者発生頻度を予測する際の手助けとなる。
【０１１８】
このとき、以下のような制約を用いてもよい。
（Ｒ１）歩行者がアトラクタまで歩行によって移動する距離は１ｋｍ程度とする。
（Ｒ２）自転車の場合は移動する距離は最大３ｋｍ程度とする。
【０１１９】
（Ｒ３）歩行者、自転車ともに屋外の道路では天候の影響を受けやすい。
（Ｒ４）歩行者の移動度は自転車の移動度の１／３程度となる。
［７−２−７．ＴＧの逆伝播の一例］
図１３及び図１４に学校をアトラクタとした場合のＴＧの逆伝播の例を示す。ここでは上記（Ｒ４）の制約を用いて３０人中１５人の生徒（うち１２人が徒歩、３人が自転車）が同時に校門をスタートして帰宅する場合を想定し、交差点ごとの分岐で等分されていく仮定の下で、矩形波ΓTGiの伝播の様子をタイムチャートで示す。
【０１２０】
図１４中のＦBは自転車の発生頻度、ＦPは歩行者の発生頻度である。また、＄Ｌ4＝｛１／２，３／３，１／３，１／２｝という表現はアトラクタから予測対象区域までの経路の分岐の様子を記述している。具体的には、図１４に示すように、校門から出て右矢印方向を１／２、その反対方向を２／２と表現し、次の交差点では３分岐あるので同様に記述している。一般に、次に示すように、アトラクタから見た予測対象区域のリンクを表現することができる。
【０１２１】
【数７】
【０１２２】
ただし、Ｊnはｎ番目の分岐点における分岐数、ｊnはそのＪn個の分岐のうちの（例えば分岐路に向かって最左から右回りで）ｊn番目の分岐を経路として選択することを意味する。この表記に基づき、Ｆ$obj（＄Ｌn）はｎ番目の分岐から（ｎ＋１）番目の分岐までのリンクにおけるオブジェクト＄ｏｂｊに関する発生頻度を表す。
【０１２３】
図１４の例では、＄ｏｂｊ＝Ｂが自転車の発生頻度を示し、＄ｏｂｊ＝Ｐが歩行者の発生頻度を示す。同様にＤ（＄Ｌn）はリンクの距離を表す。このような表記の下で、図１４の地図上に各リンクにおける発生頻度の予想値を示す。
【０１２４】
ここでは１５人の生徒が同時に下校を開始した場合を想定したが、実際は校門を出る時刻は、ばらつくと考えられる。このことを考慮して問題を簡単化すると、予測対象区域における平均予測発生頻度は予測発生頻度（矩形波ΓTGiの高さ）に黄色の区間で示した予測対象時間Ｔpredictと各オブジェクトの予測対象区域（リンク）における存在時間Ｔexistの比をかけた値として算出される。すなわち、次の式で示される。
【０１２５】
【数８】
【０１２６】
さらに、自車の予測対象区域内の通過時間Ｔexist#Cを考慮すれば、通過時の観測率λCが乗じられた発生頻度は次式で算出できる。
【０１２７】
【数９】
【０１２８】
なお、上記の各オブジェクト（歩行者、自転車、自車両）の存在時間はリンク長と移動度から次式で算出される。ただし、＄ｏｂｊ＝Ｐ，Ｂ，Ｃである。
【０１２９】
【数１０】
【０１３０】
次に通学時の発生頻度をこの帰宅時の発生頻度と同じ理屈で予想できると仮定する。これは近似的に、上述の帰宅時のプロセスの時間軸を逆転させたメカニズムで算出できる。すなわち、上記で考慮した下校開始時刻のばらつきは登校時にもあると考えれば、概算としてほぼ同じ発生密度がアトラクタに対する時間差で（時間の向きは逆なので逆伝播と呼ぶ）観測されると予想される。したがって上記の平均予想発生頻度は登校時にも一次近似値として採用できる。
【０１３１】
［７−２−８．Ｗｅｂ情報の利用］
アトラクタの位置や機能時間、活性化時間およびＴＧはＷｅｂ情報から得られる場合がある。また、天候、渋滞情報に関する情報も取得できる。
【０１３２】
［７−２−９．ナビ情報の利用］
ナビからは｛現在位置、進行方向、周辺施設（アトラクタ）の有無、渋滞情報｝に関する情報を得ることができる。
【０１３３】
［７−３．ＦPFPの算出に関する処理］
次に、図６中のＢ２０で示した「ＦPFPの算出に関する処理」について説明する。
最初のＳ１７０では、過去の発生頻度データを検索する。この処理は、記憶部６０に記憶された走行経路上の過去の発生頻度データを検索するものである。
【０１３４】
続くＳ１８０では、ＦPFPを算出する。この処理は、過去の発生頻度データに基づき、場所ｘ状況ｓにおける発生頻度を予測した結果としてのＦPFPを算出するものである。なお、詳しい算出方法については後述する。
【０１３５】
次のＳ１９０では、予測頻度ＦATRとＦPFPとを合成する。この処理は、上述した式４によって２つの発生頻度ＦATRとＦPFPとを合成するものである。
続くＳ２００では、予測頻度を運転者へ報知する。この処理は、ナビゲーション装置３０によって、報知部３１を介して行われる。
【０１３６】
次のＳ２１０では、別経路に変更したか否かを判断する。この処理は、予測対象区域を回避して別経路への変更を行ったか否かを判断するものである。ここで別経路への変更を行ったと判断された場合（Ｓ２１０：ＹＥＳ）、図５中のＳ１００からの処理を繰り返す。一方、別経路への変更を行っていないと判断された場合（Ｓ２１０：ＮＯ）、Ｓ２２０へ移行する。
【０１３７】
Ｓ２２０では、予測対象区域を走行しているか否かを判断する。ここで予測対象区域を走行している場合（Ｓ２２０：ＹＥＳ）、センタ７０から最新のプローブ情報を受信し、Ｓ１８０からの処理を繰り返す。一方、予測対象区域を走行していない場合（Ｓ２２０：ＮＯ）、図７中のＳ２４０へ移行する。
【０１３８】
［７−３−１．過去の統計に基づく歩行者発生頻度の予測］
図１５に、ユーザの車両Ａにおいて、予測対象区域における歩行者発生頻度を提示する際の概略プロセスを示す。ここでは、予測対象区域に向かう車両Ａがセンタ７０に対して予測に必要な情報を送信し、一方で予測対象区域近辺をＡが通過する以前（Ａがリクエストを出す以前の過去も含む）に通過して撮像した車両（プローブカー）が画像認識結果に関する情報をセンタ７０にアップロードしている様子を示している。このような状況設定のもとで複数のアトラクタとの関係やターゲットに向かう時間経過に応じて歩行者発生頻度が提示される。
【０１３９】
［７−３−２．予測対象区域の例示］
図１６に実際の実験において設定した予測対象区域の例を示す。図１６では、刈谷駅方面から知立駅方面へ走行し、店が立っている交差点を左折したことを示している。このとき、予測対象区域は、高架までの区間１、店までの区間２、店を過ぎた後の区間３として設定した。
【０１４０】
［７−３−３．特徴ベクトルの定義］
ここでは予測器５０の出力である予測対象をベクトルとして表現する。図１７に予測対象の分類を｛男性、女性、子供、自転車、不明、犬｝×｛右、左｝の合計１２種類で考えた場合の例を示す。これによって、ある車載カメラで観測される歩行者発生頻度の特徴ベクトル（予測の目的変数）は１２次元となる。この特徴ベクトルの定義は、そのまま予測器５０の学習においても用いられる。
【０１４１】
ただし、現状の画像認識技術では上記のような複雑な分類について高い認識率を達成することは困難である。高い精度の学習データを得るにはオフラインの高度な認識処理かあるいは複数のセンサの複合処理、または人手による正解付与に頼ることになる。図１７では、人手による正解付与（ＧＴ：Ground Truth）を採用した。
【０１４２】
なお、ここでは、予測対象区域の部分領域として、自車から見て｛右、左｝という領域を設定しているが、さらに細かく部分領域を設定してもよい。例えば、図１８は、実際に車両から撮影した画像を示し、画像認識における部分領域の設定例（ここでは｛左側歩道、走行車線、対向車線、右側歩道｝）を示している。
【０１４３】
［７−３−４．状況ベクトルの定義］
特徴ベクトルが発生する際に、その説明変数となる状況情報は図１７における｛場所、日時、天候｝である。ここで、場所は３次元（それぞれの次元が区間に相当）、日時は｛年、月、曜日｝の合計２２次元、天候は｛晴、曇、雨｝の３次元とした。
【０１４４】
したがって、状況ベクトルは合計２８次元となり、これに対する特徴ベクトルの回帰関係を線形最小２乗法（後述の式１７参照）で解いた結果が図１９の右側のグラフである。これらが予測結果となる。すなわち、左側は目視による計測結果をグラフ化したものであり、右側は自己交差の回帰予測結果をグラフ化したものである。ここで、オブジェクトは、「１」が左女性、「２」が左子供、「３」が左男性、「４」が左不明、「５」が左自転車、「６」が左犬、「７」が右女性、「８」が右子供、「９」が右男性、「１０」が右不明、「１１」が右自転車、「１２」が右犬となっている。また、同様に、想定される種々の状況の下での予測例を図２０（ａ）〜（ｆ）に示した。
【０１４５】
なお、状況ベクトルはさらに拡張することができ、時間情報に関しては、日種効果、季節効果、時間帯効果、年中行事の影響などを考慮してもよい。渋滞予測に応用することも考えられる。また、道路環境や地理要因についても拡張可能であり、それらは各要因を表現する語彙に対して数量化（例えば０と１の間の値）を施すことで行う。
【０１４６】
［７−３−５．信頼度を用いた予測］
本実施形態における予測性能は認識器４０の性能に大きく影響される。認識器４０の性能は、一般に停車時と走行時では異なる。歩行者を含む移動体に関しては停車時のほうが認識率は高いため、停車時の認識結果の信頼度は走行時よりも高い。たとえば「定点（停車時）においては認識率Ｒi＞８０、走行時ではＲi＝６０程度」といった例が考えられる。さらには、一般的に走行速度が速いほど、歩行者や自転車に対する相対速度が大きくなり、それらの認識率は低下する。
【０１４７】
「停車時」をさらに状況分類すると、｛交差点の一時停止、道路わきの停車、駐車場の停車｝といった場所のタイプが関与する。また、「走行時」においても画像認識のしやすさは周囲背景の影響を大きく受ける。特に、対向車両や先行車両、ビルや街路樹、ガードレール、道路標識の白線、障害物などは歩行者の認識率を左右する。
【０１４８】
そこで、認識器４０の出力（確信度）に対して認識器４０の信頼度ｒiを付与することとし、自車速度と場所のタイプに応じた平均認識率をもってその値とする。このように環境条件に応じた認識器４０の性能変動を認識器４０の信頼度で表現し、信頼度つきの認識結果をナビ上に記憶する、あるいはセンタに送信することで地図上に認識結果の時空間情報を作成することが可能になる。
【０１４９】
自転車と人では発生の分布が異なると考えられる。これは主として移動度と移動範囲に起因する。この性質を利用して、認識器４０と予測器５０の設定を行う。
［７−３−６．信頼度の設定］
認識器４０の信頼度については下記のような設定が考えられる。
【０１５０】
（１）オブジェクトごとに認識率の信頼度を変える。｛歩行者、自転車｝
（２）計測地点ごとに認識率の信頼度を変える。下記の要素が計測地点の環境特徴として認識器４０の性能に影響を与えるため、信頼度に変化をもたらす。
【０１５１】
・｛道幅、歩道幅、ガードレールの有無、白線、電線の有無、街路樹｝
・｛交差点、単路｝
・｛商店街、住宅街、オフィス街｝
（３）センサ（認識手法を含む）ごとに認識率の信頼度を変える。
【０１５２】
（４）車両の走行速度に応じて信頼度を設定する。
例えば、次のカテゴリで走行速度を分類する。[停車、発進、徐行、低速、中速、高速]
［７−３−７．センタへのアップロード］
いま、ｉをセンシングが行われた地点名の番号とするとき、（ｘi，ｓi，ｒi，ｆi）を予測装置１０からセンタ７０へのアップロード情報とする。ただし、
ｘi：地点ｉの座標
ｓi：地点ｉの状況
ｒi：認識器４０の信頼度（条件ごとの平均認識率）
ｆi：予測器５０の結果
である。また、ｓiは以下の情報を含む。
【０１５３】
（１）場所のタイプ：｛駅前, 住宅街, ビル街, 公園, 海岸, 他｝
（２）道路環境：｛交差点, 単路, 駐車場｝
（３）走行状態：(｛停車,発進,徐行,走行中｝, 走行速度)
（４）歩行者の存在方向：｛右, 正面, 左｝
（５）認識結果：｛歩行者,自転車,それ以外｝
［７−３−８．異なる車両間での認識結果の対応づけ］
図２１に示すように異なる車両Ａ，Ｂが同時に同じ地点の歩行者を観測した場合、歩行者発生の統計量という観点でいえば、Ａの画像とＢの画像の間で対応付けを行い、重複してカウントすることを防ぐ。ただし、この対応付けを行うには、三次元的な歩行者位置を高精度で獲得する必要がある。一方で、事故発生にいたる危険度という観点では、同じ歩行者に対して観測する車両台数分だけ危険度は増大すると考えることもできる。
【０１５４】
そこで、本実施形態では、
（規範１）純粋に歩行者の発生数の統計データの獲得を志向する。
（規範２）上記を危険度に換算して延べ歩行者人数を統計データとする。
【０１５５】
の２つの規範を考える。
一般に、Ａ，Ｂで同一場所の歩行者群を観測した場合、対応をとることの技術的難易度は高い。そこで、
（１）和をとる方法（延べ人数の算出を行う）
（２）複数の観測値から代表的な値を算出する方法
（２−１）平均値をとる方法
（２−２）最大値を選ぶ方法
（３）高度なバッチ処理を行う方法
が考えられる。
【０１５６】
ここで方法（１）は（規範２）に該当する。すなわち、複数台の車両で同一の歩行者を撮影したときも延べ数としてカウントする。もし、センタ７０に撮像位置を付した映像データが集積されるならば（３）により上記の対応付けも可能となる。
【０１５７】
［７−３−９．予測の時間範囲］
プローブカーに代表される車両（予測装置１０）からセンタ７０に撮像画像をアップロードし相互利用するという考えに基づくと、センタ７０でそのアップロードされた画像群に大規模かつ高度な演算を施し、歩行者その他の認識を行うことは可能である。
【０１５８】
この場合、サービスをうける車両は、少なくとも自車位置からセンタ７０との交信およびセンタ７０での計算を考慮した遅延時間に相当する距離だけ離れた位置について予測された情報を受け取ることができる。予測の信頼度が多少低くても即座に予報を得たいという場合は自車位置に関する過去の統計情報から予想された歩行者発生頻度を即座にセンタ７０から得ることができる。
【０１５９】
［７−４．認識器４０の性能向上に関する処理］
次に、図７中のＢ３０で示した認識器４０の性能向上に関する処理について説明する。
Ｓ２４０では、認識パラメータを設定する。この認識パラメータは、画像認識のためのパラメータである。
【０１６０】
Ｓ２５０では、画像から歩行者を認識する。この処理は、撮像部４１からのデータに基づき、認識器４０が行うものである。
次のＳ２６０では、部分領域ごとの発生頻度に変換する。
【０１６１】
続くＳ２７０では、差分を評価する。
次のＳ２８０では、差分が閾値以下か否かを判断する。ここで差分が閾値以下であると判断された場合（Ｓ２８０：ＹＥＳ）、Ｓ２９０にて信頼度を算出し、Ｓ３２０へ移行する。一方、差分が閾値を上回ると判断された場合（Ｓ２８０：ＮＯ）、認識パラメータを修正して、Ｓ２４０からの処理を繰り返す。
【０１６２】
［７−４−１．認識器４０の性能向上］
予測を目的とする場合は、画像の認識演算は必ずしも車載でリアルタイムに行う必要はない。画像データと位置情報をセンタ７０に伝送し、センタ７０側で大量に一括処理することも考えられる。また、このような画像伝送に適した認識方式も提案されている。以下では、予測器５０と認識器４０とのインタラクションを想定した認識器４０の性能向上について説明する。
【０１６３】
［７−４−２．認識パラメータの設定］
（１）過去のデータに基づく設定
過去のデータから予測した歩行者発生頻度の時空間分布を初期値として、これから行う画像認識のパラメータを設定する。例えば、以下のようにすることが考えられる。
【０１６４】
・通学団が多いところでは複数の集団認識にあった認識パラメータを設定する。
・自転車が多いところでは自転車用の認識パラメータを設定する。
・過去のデータから地図上の位置および撮像画面上の部分領域（図１８参照）の位置について重み付けを施す。
【０１６５】
（２）対象オブジェクトに応じた設定
（２―１）移動度および移動範囲に基づく設定
自転車と人では移動度と移動範囲が異なるため、発生頻度の分布も異なってくる。この性質を利用して、認識器４０及び予測器５０を設定する。
【０１６６】
例えば、自転車など移動度の高い対象物の場合は過去に通り過ぎた場合でも、交差点停車時に追いつかれて再度目前に出現するケースがある。このような場合、隣接する複数の空間範囲（１つの空間範囲は本実施形態で予測頻度の算出対象となる走行系路上の１区域とする）にまたがった時間範囲での出現予測が必要となる。例えば、走行予定経路に沿ってｘa，ｘb，ｘcの３つの領域がその順番に隣接している際に、ｘa区間内で走行する方向と同じ方向に進路をとる自転車Ｂ1を検出した際には、ｘbまたはｘcに存在する交差点において再度Ｂ1と遭遇する可能性があるため、自転車の予測頻度を高めておくという具合である。
【０１６７】
（２−２）オブジェクトの画像特徴に基づく設定
オブジェクトの形状、空間スペクトル（ＤＣＴ係数など）、動き、色などを含む画像特徴およびその時系列変化を特徴ベクトルとする認識特性（多変量回帰分析では回帰係数行列、主成分分析では固有行列がそれに相当する）を利用して、認識器４０及び予測機を設定する。
【０１６８】
（２−３）認識対象領域の限定
歩行者存在領域（歩道、車道、駐車場、階段など）は一般に統計的に限定することができる。しかし、それらを撮影する車載カメラの位置姿勢は車載カメラの取り付け位置や車の走行状態に応じて変化するために、シーン中での見え方が変化する。ただし、その変化は車載カメラであるがゆえにある程度パターン化できるため、ケースバイケースで画像面上の二次元領域として歩行者存在領域を限定することは、なおも可能である。
【０１６９】
（２−４）予想される歩行者のタイプに応じた設定
特開２００９−２７１７５８号公報に開示したように、歩行者のタイプに応じた認識特性を選択し、それにあったパラメータを設定することができる。ここでは過去の統計や周囲環境をもとに、たとえば通学児童が多いならばその身長や動きにあった認識パラメータ（ＤＣＴ係数のＡＣ電力に関する判定閾値や主成分電力の判定閾値、動きの発生状況など）、老人の一人歩きが多いようであればそれにあったパラメータを優先的に設定するなどが考えられる。
【０１７０】
［７−４−３．認識器４０の原理］
いま、ある車両のカメラで撮影した画像において、特開２００７−０６０２７３号公報及び、特開２００７−０７２９８７号公報に開示したように、画像中に存在しうるオブジェクトの確信度を画像データ特徴量に対する多変量線形回帰モデルで表現すれば、次式で歩行者認識の結果を算出することができる。
【０１７１】
【数１１】
【０１７２】
ただし、ＣBは（Ｋ×Ｎ）の行列であり、ｋ行ｎ列の成分［ＣB］knは画像中のｋ番目の部分領域がカテゴリｎのオブジェクトである場合の確信度を表す。
いま、歩行者であるかどうかだけであるならばＮ＝１としてＣBは列ベクトルとなり、ｋ行目の成分はｋ番目の部分領域（たとえば画像中のブロック画素）に映るオブジェクトが歩行者である確信度を表す。もし、Ｎ＞１の歩行者分類があれば［ＣB］knは部分領域ｋにおけるカテゴリｎの歩行者（たとえば男性、女性、子供、など）を表す。あるいはＮ＝２として歩行者確信度と非歩行者確信度をｎ＝１，２に割り当てることもできるし、歩行者のカテゴリに方向因子｛右、正面、左など｝を含めることもできる。ただし、一般に分類のカテゴリが増えるほど認識器４０は高い性能が求められるため、現状の画像認識技術では歩行者の有無程度にとどめておくほうが現実的である。
【０１７３】
ＳBは（Ｋ×Ｌ）の行列であり、状況ベクトルｓsと画像特徴ベクトルｓpで構成される特徴ベクトルｓB（Ｌ次元列ベクトル）を転置した行ベクトルｓBT（ｋ）をｋ行目に含む。Ｂはこれらの特徴量に対する回帰係数行列（Ｌ×Ｎ）である。このＢは最小二乗法により求めることができ、次式のようになる。
【０１７４】
【数１２】
【０１７５】
ここで、初期のＢを算出するためにはＹB（Ｋ×Ｎ）にサンプル映像から人間が作成した正解値（ＧＴ）を、ＳBにはその各々に対応する画像などの特徴量を入れてやる必要がある。このＢを用いて新たなシーンで歩行者を認識させる。そのときの認識の信頼度はその平均認識率として算出することができる。ただし、走行開始後にＧＴをリアルタイムで獲得することはほぼ不可能であるため、その後の認識履歴はリアルタイムでは推定した確信度ベースとなる。一方で、センタへのアップロードを行うかあるいは走行終了後にオフライン処理を行えば走行映像にＧＴを付与していくことはできる。
【０１７６】
なお、歩行者の認識に関しては特開２００９−２７１７５８号公報のように、差分画像のＤＣＴ係数をベースにして時系列特徴量を構成し、主成分分析で判定する方法も適用できる。この場合、上記式１１のＳBを主成分分析によって次元圧縮された特徴量で構成することで、それ以後の回帰係数を用いた認識の枠組みがそのまま適用できる（主成分回帰分析）。それ以外にも非線形手法を含む多くの方法（ＳＶＭや動的テンプレート、動きベクトルを用いる方法など）が存在し、学習型の認識手法の場合は学習データと認識特性の関係において上記と類似した様相（学習量の増大に伴う認識率向上、過学習（overfitting）、学習不適合、異常値、データ欠損の問題など）を呈する。本実施形態ではそれらの詳細は省略する。
【０１７７】
［７−４−４．予測器５０］
過去の統計に基づく予測頻度の行列ＦP（ＫP×Ｍ）は多変量回帰予測によれば、次式で表される。
【０１７８】
【数１３】
【０１７９】
ただし、
Ｐ：回帰係数行列（ＬP×Ｍ）
ｓP：特徴ベクトル（ＬP×1）
ＳP：特徴行列（ＫP×ＬP）
である。Ｐは認識器４０の場合と同様に最小二乗法を用いて次式で算出できる。
【０１８０】
【数１４】
【０１８１】
予測頻度のデータ行列ＹP（ＫP×Ｍ）は上述の車載の認識器４０が算出した確信度行列ＣB（画像内の部分領域ごとの認識結果）を用いて作成することができる。これはＣBで歩行者と判定された部分領域から歩行者数を計数し、予測対象区域内の部分領域（Ｍ個）における発生頻度値に変換することで可能になる。いま、この変換操作を次式で表現する。
【０１８２】
【数１５】
【０１８３】
ここでＣBの信頼度がＲB（≒７０）であれば、ＣBから生成したＹPを学習データとする回帰係数行列Ｐの信頼度もたかだかＲB程度になる。いま、この機械認識によって推定した真理値をＥＴ（Estimated Truth）と呼ぶことにする。
【０１８４】
もし、オフライン処理などにより人間あるいは完全な認識器４０が与えた正解値（ＧＴ）を用いることができるならば、上記のＲBはほぼ100％とすることができる。このＥＴとＧＴを用いて予測の条件を論理的に分類すると以下のようになる。
【０１８５】
（１）過去の統計データなし（ＧＴ、ＥＴともになし）
（２）ＧＴなし、ＥＴあり
（３）ＧＴあり、ＥＴなし
（４）ＧＴとＥＴが混在
これらの場合を統一的に表現するためには、ＲBの値を認識データに付与すればよい。いま、ＣBにＧＴとＥＴが混在している場合、上記式４を想定すると、ＣBは、次式で表される。
【０１８６】
【数１６】
【０１８７】
つまり、各学習イベントの実効確信度が認識器４０の信頼度と認識器４０が出力した確信度の積で表現された値となる。ただし、
Ｍ：地点ｋにおける部分領域（歩行者が存在しうる領域。図１８参照）の最大個数。車道内／車道外、進行方向の右側／左側、などを分類のカテゴリとして部分領域を定義することができる。
【０１８８】
ｒk：地点ｋの画像に用いた認識器４０の信頼度。人間によるＧＴの場合はほぼ値１をとる。厳密にはスキルによって左右されるため、1未満になる場合もある。
ｆkm：地点ｋで撮影した画像中のｍ番目の部分領域で認識された歩行者の数（認識器４０が出力した歩行者発生頻度）
である。このＹP＾を過去の統計データとして予測頻度の行列ＦPの近似値ＦP＾を算出すると、次式のようになる。
【０１８９】
【数１７】
【０１９０】
となる。この確信度ＦP＾の信頼度Ｒ（ＦP＾）が、たとえば
【０１９１】
【数１８】
【０１９２】
ならば予測器５０と認識器４０のトータルの性能はサービス要件を満たすと判断できる。
［７−４−５．同一場所のセンシング］
同じ場所と時間における複数の観測値については、各々の観測値に基く確信度をスコアとみなして合計し、平均値あるいは総合点の閾値判定をする。そこで、同じ時空間ＸＴθで撮像される複数の画像（所定区域内Ｘで同じ時間帯Ｔに同じ進行方向θで撮影した複数の画像）に対して、複数の認識器４０が認識結果（確信度ベクトル）を集積させる。すなわち、次式で示される。
【０１９３】
【数１９】
【０１９４】
ここで、ｒnは次のようになる。
【０１９５】
【数２０】
【０１９６】
また、
ｎ：認識器の識別番号であり、ｎ＝１，・・・，Ｎ
ｆ0：初期の歩行者頻度ベクトル
ｆn：認識器ｎが出力する歩行者頻度ベクトル
ｆ：Ｎ個の認識器の出力の平均値
ｓl：時刻を含む状況ベクトル（ｌは離散時刻のインデックスを示す整数）
上の式１９により、対象地点ｋごとに算出する。この場合、認識器４０の信頼度が低い値であってもその集積効果により、全体として十分な信頼度の確信度を出力することができると期待される。
【０１９７】
［７−４−６．１台の車両による観測］
車載カメラ画像の認識結果、撮影時刻、撮影場所はカーナビの地図上で対応付けて記憶装置に格納することができる。このようにして１台の車が観測したデータを車載のハードディスクなどに蓄積しておけば、ナビゲーション装置を介して位置ｘkを指定することで、それまでの通過時刻の履歴｛ｓl｝を検索することができる。また、時間情報を状況ベクトルｓで指定すれば他の周囲状況や通過地点ｘが検索できる。１台の車が何度も同じルートを通る場合、車に蓄積される観測データでルート上の通過地点に関する予測（蓄積データにはない未来時刻に関する人発生頻度を推定する）を行うことが可能になる。これは、日種、曜日、時間帯に依存した時空間分布を仮定することで可能になる。
【０１９８】
１台の車に記憶された過去の統計データから、これから走行する予定位置における歩行者発生頻度を予測するには、上記式１７により次式を計算すればよい。
【０１９９】
【数２１】
【０２００】
ただし、
ｘk：各成分は番号ｋを割り振られた地点を地理的に特定する語彙（座標、地名に関する言語表現）、すなわち非数値情報に対応し、これらを数量化理論により数値化した値をとる。具体的には、各語彙を予測対象として指定するときに１、そうでなければ０を入れる。
【０２０１】
ｓl：各成分は番号ｌを割り振られた離散時刻を特定する語彙（季節、月、曜日、時間帯）と対応しており、予測条件として指定するときに１、そうでなければ０を入れる。さらには離散時刻ｌにおけるｘkの付帯状況（天候や周囲環境など）もこのベクトル内で記述できる。
【０２０２】
また、予測対象となった地点で車両が実際に観測した値Ｆ1と予測値Ｆ0との間の誤差ΔＦは次式で表される。
【０２０３】
【数２２】
【０２０４】
［７−４−７．統計データの分類］
予測器５０の入力となる統計データは以下のソースから得られる。
（１）車載の認識器４０の出力（ＥＴ）または人手によるＧＴ
（２）センタ上の認識器の出力または人手によるＧＴ
（３）携帯機器やＰＣによる認識結果（ＥＴ）または人手によるＧＴ
（４）定点観測インフラによる認識結果（ＥＴ）または人手によるＧＴ
危険度という観点では、上記の統計データは次のカテゴリで事前に分類されていることが望ましい。
【０２０５】
（ａ）歩行者の車道内歩行者と車道外歩行者
（ｂ）走路進行方向の右か左
などを分類して予測できれば実効性が向上する。これは観測区域をドライバーの視野から見てＭ個の部分領域に分割し、それらを特徴ベクトルに組み込むことで容易に実現される。
【０２０６】
［７−４−８．認識器４０の性能改善］
予測器５０で算出した予測発生頻度と認識器４０が走行時に撮像した画像から算出した発生頻度の間の差分が大きければ、予測器５０と認識器４０の少なくともどちらか一方について修正を施す必要がある。いま、その差分の大きさを次式のスカラー値で表現する。
【０２０７】
【数２３】
【０２０８】
これは絶対値規範による予測誤差電力と解釈できる。このＥＰがある閾値ＥＰＴＨを超えるとき、予測器５０と認識器４０とに関わる修正を行う。
しかるに、上記式４の予測器５０に関して大幅な修正が必要となるのは以下のケースに限られる。
【０２０９】
（１）ＦATRにおいて、アトラクタとタイムゲートに関する設定が大きく間違っている場合
（２）ＦRFPにおいて、学習データの質または量が十分でない場合
ここで（１）は画像認識が関与しないためここでは考えないこととし、特に（２）に注目する。ＦRFPにおいてどのような予測方式を用いるかによって性能は変わりうるが、ここではあるひとつの予測方式に限定した場合（本実施例では多変量線形回帰予測：式１３、式１４）の修正について考える。
【０２１０】
予測器５０の学習データをすべて人手で作成するのは一般に困難であるので、認識器４０の出力を信頼度つきで予測器５０の学習データとすることはすでに述べた。したがって、予測器５０の改善の問題は、認識器４０の性能改善の問題に集約される。
【０２１１】
認識器４０の性能改善に際しては次の２つの手法がある。
（ＩＰ１）画像認識の学習データの質と量を改善する。
（ＩＰ２）画像認識の設定パラメータを改善する。
【０２１２】
まず、（ＩＰ１）に関しては、次の制約式を満たすまで、学習データを増やすことを行う。
【０２１３】
【数２４】
【０２１４】
ただし、ｒnは、上記式２０で示すごとくである。
すなわち、｛認識器４０の平均値が閾値１（ｆｔｈ）以上｝かつ｛プローブによる確信度の合計値が閾値２（Φｔｈ）｝となるまで学習データを増大させる。これはプローブシステムによってセンタが集めた信頼度つきの画像認識結果を学習データとしてダウンロードすることによって行われる。あるいは事前にセンタ上で計算した認識特性（回帰係数行列）をダウンロードしてもよい。この（ＩＰ１）が完了した段階で再度、上述の予測と認識のプロセスを繰り返し、上記式２２で差分を再評価する。ここで、式２３のＥＰを再度計算し、ＥＰがＥＰＴＨ以下になるならば修正はここで終了する。もし、ＥＰ＞ＥＰＴＨであれば、（ＩＰ２）を開始する。
【０２１５】
（ＩＰ２）の処理、予測、認識、ＥＰ評価を繰り返し、ＥＰがＥＰＴＨ以下になれば終了する。所定のパラメータ範囲内でＥＰＴＨ以下にならなければ、修正を終了してＥＰが最小値をとった場合のパラメータを暫定的に採用し、センタに他の車両の認識器４０の設定例を問い合わせる。
【０２１６】
［８．効果］
本実施形態では、過去の発生頻度データを検索し（図６中のＳ１７０）、ＦPFPを算出する（Ｓ１８０）。具体的には、予測器５０の出力である予測結果をベクトルとして表現する。つまり、予測対象の分類を｛男性、女性、子供、自転車、不明、犬｝×｛右、左｝の合計１２種類で考え、ある車載カメラで観測される歩行者発生頻度の特徴ベクトル（予測の目的変数）を１２次元とした。また、特徴ベクトルが発生する際に、その説明変数となる状況情報を｛場所、日時、天候｝とした。ここで、場所は３次元（それぞれの次元が区間に相当）、日時は｛年、月、曜日｝の合計２２次元、天候は｛晴、曇、雨｝の３次元とする。そして、この２８次元の状況ベクトルに対する特徴ベクトルの回帰関係を線形最小２乗法で解くようにした。
【０２１７】
このように、過去の発生頻度データを時空間情報（状況ベクトル）及び頻度情報（特徴ベクトル）からなる頻度データとし、このような頻度データに基づき、予測器５０によって、予測対象区域におけるオブジェクトの発生頻度を予測する。
【０２１８】
これにより、予測対象区域における歩行者等のオブジェクトの発生頻度を適切に予測することができる。
また、本実施形態では、車両外部を撮像する撮像部４１と、撮像部４１にて撮像される画像に基づき、画像認識結果から頻度情報を生成する認識器４０とを備える構成とした（図１参照）。これにより、頻度データを自車両に集積することが可能となる。
【０２１９】
さらにまた、本実施形態では、認識器４０による画像認識結果に対する信頼度を算出する演算部４５を備える構成とした（図１参照）。演算部４５は、オブジェクトの種類、計測地点、画像認識のためのセンサ及び認識手法、並びに、車両の走行速度の少なくともいずれかに基づき、信頼度を算出する（図７中のＳ２９０）。これにより、集積される画像認識結果に対し信頼度という重み付けを行うことができる。その結果、認識器４０による画像認識結果を予測器５０の学習データとして用いることができる。
【０２２０】
また、本実施形態では、送受信部２０が、車両走行地点の情報、認識器４０による画像認識結果、演算部４５にて算出された信頼度、及び、予測器５０の予測結果をセンタ７０へアップロードする（図７中のＳ３１０，Ｓ３２０）。これにより、予測装置１０を搭載する自車両がプローブカーとして機能する。また、信頼度をアップロードするため、センタ７０に集積される画像認識結果に対し信頼度という重み付けを行うことができる。さらにまた、予測器５０による予測結果をアップロードするため、予測器５０を具備しない車両（図３参照）に対し、予測結果をセンタから配信することができる。もちろん、予測結果をセンタ７０へ送信しない場合でも、センタ７０側で予測を行い、当該センタ７０側の予測結果を配信するようにしてもよい（図４中の大規模予測部７６及び配信部７７）。
【０２２１】
さらにまた、本実施形態では、画像認識のための認識パラメータを認識器４０に設定するパラメータ設定部４２を備えている（図１参照）。パラメータ設定部４２は、過去の頻度データに基づき、又は、対象となるオブジェクトに応じて、認識パラメータを設定する。これにより、画像認識性能の向上に寄与する。
【０２２２】
しかも、予測器５０による予測結果と認識器４０による画像認識結果との差分が閾値以上の場合（図７中のＳ２７０，Ｓ２８０）、認識パラメータを修正する（Ｓ３００）。これにより、認識器４０の性能改善が図られる。
【０２２３】
なお、予測器５０による予測結果と認識器４０による画像認識結果との差分が閾値以上の場合（図７中のＳ２７０，Ｓ２８０）、センタ７０に集積されたアップロード情報を取得するようにしてもよい。このようにすれば、認識器４０の学習データの質と量とが改善される可能性が高くなる。その結果、予測器５０による予測結果と認識器４０による画像認識結果との差分を小さくすることに寄与する。
【０２２４】
また、本実施形態では、過去の頻度データがない場合でも、地理的な要因などからオブジェクトの発生頻度を予測する。
具体的には、学校、店、ショッピングセンタ、病院、駅、テーマパーク、ホール、野球場、バス停、駅、公園などのアトラクタの情報を取得し（図５中のＳ１３０，Ｓ１５０）、ＦATRを算出する（Ｓ１６０）。詳細には、アトラクタ情報からタイムゲート（ＴＧ）を設定し（図８中のＳ４４０）、タイムゲートを矩形波として当該矩形波の伝播を想定し、分岐路で発生頻度の分割処理を行う（図９中のＳ４５１〜Ｓ４５３，Ｓ４５６）。これにより、過去の頻度データが少ない場合でも、地理的な要因などからオブジェクトの発生頻度を予測することができる。また、タイムゲートを矩形波で定義するため、アトラクタに起因するオブジェクトの発生頻度を比較的容易に予測することができる。さらにまた、タイムゲートを定義する矩形波は、アトラクタの平均収容人数を高さとするものとして初期化される。これにより、タイムゲートを比較的簡単な矩形波として定義することができる。また、予測器５０は、時間的に遡る矩形波の伝播である逆伝播に基づき、予測対象区域におけるオブジェクトの発生頻度を予測する。これにより、アトラクタに対してのオブジェクトの流入時間から、それ以前のオブジェクトの発生頻度を予測することができる。さらにまた、予測器５０は、自車両の予測対象区域の通過時間を考慮して、予測対象区域におけるオブジェクトの発生頻度を予測する。これにより、確実にオブジェクトの発生頻度を予測することができる。
【０２２５】
なお、本実施形態における送受信部２０が「頻度データ取得手段」及び「送信部」に相当し、予測器５０が「予測器」に相当し、撮像部４１が「撮像部」に相当し、認識器４０が「認識器」に相当し、演算部４５が「演算部」に相当し、パラメータ設定部４２が「パラメータ設定部」に相当する。
【０２２６】
また、図５中のＳ１３０及びＳ１５０が「アトラクタ情報取得手段」の機能としての処理に相当し、図８中のＳ４４０が「タイムゲート設定手段」の機能としての処理に相当する。
【０２２７】
以上、本発明は、上述した実施形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において種々なる形態で実施可能である。
【符号の説明】
【０２２８】
１０，１１，１２…予測装置
２０…送受信部
２１…受信部
３０…ナビゲーション装置
３１…報知部
３２…アトラクタ情報
４０…認識器
４１…撮像部
４２…パラメータ設定部
４３…評価部
４４…変換部
４５…演算部
４６…情報生成部
５０…予測器
６０…記憶部
７０…センタ
【技術分野】
【０００１】
本発明は、予定走行経路上の所定区域である予測対象区域における車両外部のオブジェクトの発生頻度を予測する技術に関する。
【背景技術】
【０００２】
従来、プローブカーで集めた車両位置情報を基に、渋滞予測や旅行時間の推定を行う技術が開示されている（例えば、特許文献１参照）。ここでは単なる回帰分析ではなく、欠損値付き主成分分析（PCAMD ）を用いることで、データの欠損を補っており、理論的には制約付き主成分分析がベースになっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４３２９７１１号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、所定の区域における歩行者や自転車などの発生頻度を予測することが出来れば、歩行者や自転車などの安全が確保され、運転者の負担軽減にも寄与する。
しかしながら、上記特許文献１では、自車情報（特に位置）が基本になっており、車外環境の観測量（歩行者の数や自転車の数など）を用いたものではない。また、車両の移動特性と歩行者や自動車の移動形態、発生形態は異なると考えられ、車両の渋滞予測技術をそのまま歩行者に適用することはできない。
【０００５】
本発明は、予測対象区域における歩行者等の発生頻度を予測可能な予測装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するためになされた請求項１に記載の予測装置は、車両に搭載されて用いられ、予定走行経路上の所定区域である予測対象区域における車両外部のオブジェクトの発生頻度を予測する。ここでオブジェクトとは、主として人間であるが、犬などの動物をも含む。また、予定走行経路は、例えばナビゲーション装置で探索された経路であることが考えられる。
【０００７】
このとき、頻度データ取得手段は、過去の発生頻度に関する頻度データを取得する。この頻度データは、時空間を定義する「時空間情報」及び当該時空間情報に対応しオブジェクトの発生頻度を定義する「頻度情報」とからなる。このような頻度データは、予測装置の記憶手段に記憶されるものとしてもよいし、外部のセンタに記憶されているものとしてもよい。頻度データが外部のセンタに記憶されている場合、頻度データ取得手段は、センタとのデータ通信によって頻度データを取得することになる。そして、このような頻度データに基づき、予測器によって、予測対象区域におけるオブジェクトの発生頻度が予測される。
【０００８】
このような過去の発生頻度に関する頻度データを自車両に又はセンタに集積しておけば、予測対象区域における歩行者等のオブジェクトの発生頻度を適切に予測することができる。
【０００９】
なお、「時空間情報」は、例えば請求項２に示すように、状況情報を説明変数とする「状況ベクトル」として定義されるものとすることが考えられる。この状況情報には、請求項３に示すように、場所、日時、及び、天候の情報が含まれることとしてもよい。
【００１０】
また、「頻度情報」は、例えば請求項４に示すように、特徴情報を目的変数とする「特徴ベクトル」として定義されるものとすることが考えられる。この特徴情報には、請求項５に示すように、オブジェクトの種類及び車両からの景観を複数に分割した部分領域の情報が含まれることとしてもよい。
【００１１】
このような状況ベクトル及び特徴ベクトルを用いることで、比較的簡単に予測を行うことができる。例えば、請求項６に示すように、予測器は、状況ベクトルに対する特徴ベクトルの回帰関係を線形最小二乗法で解くことにより、予測対象区域におけるオブジェクトの発生頻度を予測することが考えられる。
【００１２】
ところで、頻度データのセンタへの集積を考えた場合、請求項７に示すように、車両外部を撮像する撮像部と、撮像部にて撮像される画像に基づき、画像認識結果から頻度情報を生成する認識器とを備える構成とすることが考えられる。この場合、認識器が頻度情報を生成するため、頻度データを自車両に集積することが可能となる。
【００１３】
ただし、認識器による画像認識結果は、種々の要因によって影響を受ける虞がある。そこで、請求項８に示すように、認識器による画像認識結果に対する信頼度を算出する演算部を備える構成としてもよい。例えば請求項９に示すように、演算部は、オブジェクトの種類、計測地点、画像認識のためのセンサ及び認識手法、並びに、車両の走行速度の少なくともいずれかに基づき、信頼度を算出することが例示される。これにより、集積される画像認識結果に対し信頼度という重み付けを行うことができる。その結果、認識器による画像認識結果を予測器の学習データとして用いることができる。
【００１４】
認識器を備える構成を前提とすれば、請求項１０に示すように、送信部が、車両走行地点の情報、及び、認識器による画像認識結果をアップロード情報としてセンタへアップロードする構成を採用することが考えられる。このようにすれば、予測装置を搭載する自車両がプローブカーとして機能する。
【００１５】
このとき、請求項１１に示すように、アップロード情報に、演算部にて算出された信頼度が含まれることとしてもよい。このようにすれば、信頼度付きの画像認識結果がセンタへアップロードされるため、センタに集積される画像認識結果に対し信頼度という重み付けを行うことができる。また、請求項１２に示すように、アップロード情報に、予測器による予測結果が含まれることとしてもよい。このようにすれば、予測器を具備しない車両に対し、予測結果をセンタから配信することができる。もちろん、予測結果をセンタへ送信しない場合でも、センタ側で予測を行い、当該センタ側の予測結果を配信するようにしてもよい。
【００１６】
ところで、学習データの質または量が十分でない場合、予測器による予測結果と認識器による画像認識結果とが大きくずれることになる。上述したように認識器による画像認識結果を予測器の学習データとすることができるため、予測器の改善の問題は、認識器の性能改善の問題に集約される。
【００１７】
そこで、請求項１３に示すように、予測器による予測結果と認識器による画像認識結果との差分が閾値以上の場合、センタに集積されたアップロード情報を取得することが考えられる。これによって、認識器の学習データの質と量とが改善される可能性が高くなる。その結果、予測器による予測結果と認識器による画像認識結果との差分を小さくすることに寄与する。
【００１８】
なお、本発明は、認識器の学習データによる性能改善という特徴から、次のように構成してもよい。すなわち、「車両に搭載されて用いられ、予定走行経路上の所定区域である予測対象区域における車両外部のオブジェクトの発生頻度を予測する予測装置であって、過去の発生頻度に関する頻度データに基づき、前記予測対象区域における前記オブジェクトの発生頻度を予測する予測器と、車両外部を撮像する撮像部と、前記撮像部にて撮像される画像に基づき、画像認識結果から前記頻度データを定義する頻度情報を生成する認識器と、を備え、車両外部のセンタに信頼度の付与された画像認識結果が集積されていることを前提として、前記予測器による予測結果と前記認識器による認識結果との差分が閾値以上の場合、前記センタに集積された前記画像認識結果を前記認識器の学習データとして取得することを特徴とする予測装置。」である。
【００１９】
また、画像認識の性能を高めるために、認識パラメータを設定することが考えられる。すなわち、請求項１４に示すように、画像認識のための認識パラメータを認識器に設定するパラメータ設定部を備えていることとしてもよい。
【００２０】
具体的には、請求項１５に示すように、パラメータ設定部は、過去の頻度データに基づき、認識パラメータを設定することが考えられる。例えば、通学団が多いところでは複数のオブジェクトを認識するための認識パラメータを設定するという具合である。また例えば、自転車が多いところでは自転車用の認識パラメータを設定するという具合である。
【００２１】
また具体的には、請求項１６に示すように、パラメータ設定部は、対象となるオブジェクトに応じて、認識パラメータを設定することが考えられる。オブジェクトの移動度及び移動範囲に基づく設定や、オブジェクトの画像特徴に基づく設定が例示される。
【００２２】
このようにすれば、画像認識の性能の向上に寄与する。
このとき、請求項１７に示すように、予測器による予測結果と認識器による画像認識結果との差分が閾値以上の場合、パラメータ設定部が、認識パラメータを修正するようにしてもよい。このようにすれば、認識器の性能改善が図られる。
【００２３】
なお、本発明は、認識器の認識パラメータによる性能改善という特徴から、次のように構成してもよい。「車両に搭載されて用いられ、予定走行経路上の所定区域である予測対象区域における車両外部のオブジェクトの発生頻度を予測する予測装置であって、過去の発生頻度に関する頻度データに基づき、前記予測対象区域における前記オブジェクトの発生頻度を予測する予測器と、車両外部を撮像する撮像部と、前記撮像部にて撮像される画像に基づき、画像認識結果から前記頻度データを定義する頻度情報を生成する認識器と、前記認識器に対し、画像認識のための認識パラメータを設定するパラメータ設定部と、を備え、前記予測器による予測結果と前記認識器による画像認識結果との差分が閾値以上の場合、前記パラメータ設定部は、前記認識パラメータを修正して設定することを特徴とする予測装置。」である。
【００２４】
ところで、過去の頻度データがない場合でも、地理的な要因などからオブジェクトの発生頻度を予測できることが望ましい。
そこで、請求項１８に示す構成を採用することが考えられる。すなわち、アトラクタの情報を取得するアトラクタ情報取得手段と、アトラクタ情報に基づき、当該アトラクタでのオブジェクトの存在確率をタイムゲートとして設定するタイムゲート設定手段と、を備える構成である。
【００２５】
アトラクタは、例えば、学校、店、ショッピングセンタ、病院、駅、テーマパーク、ホール、野球場、バス停、駅、公園として具現化される。タイムゲートは、時間的要因に影響されるアトラクタでのオブジェクトの存在確率を示す。例えば、アトラクタの営業時間などを基に、タイムゲートが設定されるという具合である。
【００２６】
このとき、予測器は、アトラクタと予測対象区域との距離、及び、タイムゲートに基づき、予測対象区域におけるオブジェクトの発生頻度を予測する。
このようにすれば、過去の頻度データが少ない場合でも、地理的な要因などからオブジェクトの発生頻度を予測することができる。
【００２７】
より具体的には、請求項１９に示すように、タイムゲートを、オブジェクトの発生頻度を高さとする矩形波で定義することが例示される。この場合、予測器は、アトラクタから予測対象区域までの分岐路にて分割される矩形波の伝播を想定し、予測対象区域におけるオブジェクトの発生頻度を予測する。例えば、分岐路では矩形波の高さ（オブジェクト発生頻度）が小さくなるように伝播する。このようにすれば、アトラクタに起因するオブジェクトの発生頻度を比較的容易に予測することができる。
【００２８】
なお、請求項２０に示すように、タイムゲートを定義する矩形波は、アトラクタの平均収容人数を高さとするものとして初期化されることとしてもよい。このようにすれば、タイムゲートを比較的簡単な矩形波として定義することができる。
【００２９】
また、例えば学校への登校時間が８：００〜８：３０である場合、その登校時間以前のオブジェクト（例えば生徒）の発生頻度を予測する必要がある。そこで、請求項２１に示すように、予測器は、時間的に遡る矩形波の伝播である逆伝播に基づき、予測対象区域におけるオブジェクトの発生頻度を予測することとしてもよい。このようにすれば、アトラクタに対してのオブジェクトの流入時間から、それ以前のオブジェクトの発生頻度を予測することができる。
【００３０】
さらにまた、請求項２２に示すように、予測器は、自車両の予測対象区域の通過時間を考慮して、予測対象区域におけるオブジェクトの発生頻度を予測することが例示される。つまり、自車両の速度が上がれば予測対象区域の通過時間が短くなるため、予測対象区域の通過時間を考慮すれば、より確実にオブジェクトの発生頻度を予測することができる。
【００３１】
なお、本発明は、アトラクタに起因する予測という特徴から、次のように構成してもよい。すなわち、「車両に搭載されて用いられ、予定走行経路上の所定区域である予測対象区域における車両外部のオブジェクトの発生頻度を予測する予測装置であって、前記予測対象区域における前記オブジェクトの発生頻度を予測する予測器と、集客力を有し、前記オブジェクトの流出入の駆動する要素であるアトラクタの情報を取得するアトラクタ情報取得手段と、前記アトラクタ情報に基づき、時間的要因に影響される前記アトラクタでの前記オブジェクトの存在確率をタイムゲートとして設定するタイムゲート設定手段と、を備え、前記予測器は、前記アトラクタと前記予測対象区域との距離、及び、前記タイムゲートに基づき、前記予測対象区域における前記オブジェクトの発生頻度を予測することを特徴とする予測装置。」である。
【図面の簡単な説明】
【００３２】
【図１】タイプ１の車載装置の構成を示すブロック図である。
【図２】タイプ２の車載装置の構成を示すブロック図である。
【図３】タイプ３の車載装置の構成を示すブロック図である。
【図４】センタの構成を示すブロック図である。
【図５】予報処理の一部を示すフローチャートである。
【図６】予報処理の一部を示すフローチャートである。
【図７】予報処理の一部を示すフローチャートである。
【図８】ＦATR算出処理を示すフローチャートである。
【図９】対象アトラクタの予測頻度算出を示すフローチャートである。
【図１０】アトラクタのリストアップを示す説明図である。
【図１１】複数のアトラクタに起因する発生頻度の合成を示す説明図である。
【図１２】複数のアトラクタに起因する発生頻度の合成を示す説明図である。
【図１３】発生頻度の算出の一例を示すタイミングチャートである。
【図１４】発生頻度の算出の一例を示す説明図である。
【図１５】過去の発生頻度データを予測に利用した一例を示す説明図である。
【図１６】予測対象区域の一例を示す説明図である。
【図１７】状況ベクトルと特徴ベクトルの一例を示す説明図である。
【図１８】特徴情報に含まれる部分領域の一例を示す説明図である。
【図１９】予測器による出力結果の一例を示す説明図である。
【図２０】予測器による出力結果の一例を示す説明図である。
【図２１】複数の車両での画像認識を示す説明図である。
【発明を実施するための形態】
【００３３】
以下、本発明の実施形態を図面に基づいて説明する。
本実施形態では、想定する時間帯に所定の対象区域である「予測対象区域」（以下、ターゲットともいう）で発生する歩行者の頻度を予測する。
【００３４】
［１．特徴］
（１）走行予定区域の近隣にある集客施設とその時間挙動を地理的要因および道路要因の観点から考慮し、走行予定時間における予測対象区域での歩行者発生頻度を予測する。
（２）過去の発生頻度に関する統計データから走行予定時間における歩行者発生頻度を予測する際に、プローブカーで集めた認識器の結果を用い、人手による正解データの入力を最小にとどめる。
（３）上記の認識器の結果を用いる際に認識の信頼度に関する情報を考慮する。
（４）走行予定区域を走行した際に得た最新の認識結果と、あらかじめ上記の枠組みで得た歩行者発生頻度との間の差分情報を評価することにより、認識器と予測器の性能を改善する。
【００３５】
［２．具体的用途］
主として車載カメラの視野内にあるオブジェクト（自転車、歩行者、動物）を検出し、特にカメラに接近するオブジェクトについてドライバーに警報を発するような運転支援装置に応用する。アプリケーションプログラムとして、大きく分けると、次の３つが考えられる。
【００３６】
［２−１．人予報］
複数のセンサが得た情報を共有することにより、人や自転車の発生を予測する。これによって指定場所での人の発生頻度を天気予報のように前もって予測し、都市情報として活用する。
【００３７】
［２−２．運転支援］
人予報の結果、対象地域を通過する前に注意、危険回避、装置設定、旅行計画変更、運転者変更（運転計画）を行うことが可能になり、予防安全を促進することができる。すなわち、最終的に事故を低減させるという観点から言えば、単に認識結果を赤枠で表示したり、警告を発したりするだけではなく、運転支援という立場であらかじめ危険を回避するように情報を提供する。
【００３８】
例えば、まったく見知らぬ土地をレンタカーで運転する場合、歩行者や自転車と出くわす確率が高い場所や時間帯を事前に知ることができれば、ドライバーの精神的負荷は軽減される。
【００３９】
［２−３．認識支援］
上記の予測結果とプローブカーによる認識結果を通信手段で連携させることにより、認識性能を改善させる。
【００４０】
（１）通信で得られる外部データ（特に、天候や環境に関するデータ）により認識性能を改善させる。
（２）通信で外部の処理装置とつながることで演算量や処理内容を向上させ、認識機能を改善させる。
【００４１】
（３）複数のセンサが連携することにより、多数の時空間点で観測したデータを相互利用し、個々の車の認識性能を改善する。
（４）その地域や時間、天候にあった認識パラメータを通信で獲得し、認識性能を適応化させる。
【００４２】
［３．予測式］
最初に、考えられる予測式について説明しておく。
センシング装置（ソース）、時間帯、地点に対応して認識結果の信頼度を決め、信頼度と認識結果を地図データ上に記憶し、その時空間分布から走行予定区域における歩行者発生頻度を予測する。
【００４３】
その予測値のＭ個の集まりについてＮ個のカテゴリのオブジェクトに関する予測発生頻度の値をＭ×Ｎ行列Ｆで表現する。時間情報を含む状況ｓと想定する場所ｘについて、発生頻度の予測値で構成される行列Ｆ（ｘ，ｓ）を次式でモデル化する。
【００４４】
【数１】
【００４５】
なお、ここで、
ＦRWPは、自車または現在地から予測対象位置ｘまでの走行経路周辺で得られる画像認識結果から算出したｘ上の予測発生頻度である。
【００４６】
また、ＦRXTは、ｘにおいて現在または最近観測された画像を認識した結果である。
さらにまた、ＦPFPは、過去の統計データに基づいて場所ｘ状況ｓにおける発生頻度を予測した結果である。
【００４７】
また、ＦATRは、ｘ周辺にあるアトラクタの影響に基く予測発生量。これはタイムゲートによりさらに精度の高い情報に修正される。
なお、Λは上記の４つの発生頻度行列からひとつの発生頻度行列を作成する関数であり、もっとも簡単なものは次式で表現される。
【００４８】
【数２】
【００４９】
［３−１．予測方式１］
もっとも容易に実現できる予測方式は、次のようなものである。
【００５０】
【数３】
【００５１】
これは、「飛び出し注意」とか「通学路につき子供に注意」、あるいは「動物注意」といった道路標識がこの予測に近い意味合いを持つ。ただし、本実施形態ではターゲット周辺の任意の区域における頻度予測を想定し、複数のアトラクタの影響を合成して定量的に表現することを考える。
【００５２】
［３−２．予測方式２］
過去の統計データがすでにある場合は、ＦPFP用いることで、次のように表現することができる。
【００５３】
【数４】
【００５４】
ＦPFPは基本的には過去のデータの学習に基づく回帰予測であるが、データに欠損がある場合もＦATRによって補えるという特長を本方式は有する。
［３−３．予測方式３］
ターゲットまでの距離が近く、しかも発生頻度がターゲットまでの移動時間内にあまり変動しないような場合はターゲット周辺に存在する認識器の結果に重点をおき、次のような式で表現可能である。
【００５５】
【数５】
【００５６】
この場合は、準リアルタイムかつ正確な認識系と通信系がそろっていないと実現できない。過去からの予測が困難な群集の発生などはこの方式が都合がよい。認識系が十分でないならば、画像そのものを自車まで配信してもらうということも考えられ、この場合はプローブカーによる無線通信システムの問題に帰着される。
【００５７】
［３−４．実施形態における予測方式］
ＦRWPに関しては、ターゲットとは異なる地点の時空間点で観測された発生頻度とターゲットでの発生頻度との間の相関を計算することとなり、問題はＦPFPと同様になる。そこで、本実施形態では主として式４を用いて説明を行う。
【００５８】
［４．予測器への情報提供］
また、本システムの予測器に用いる情報は次のソースから提供されることを想定する。
（１）車両（予測装置）
予測装置は、３つのタイプで構成することができる。
【００５９】
（１−１）タイプ１：認識器と予測器との両方を具備し、センタと通信を行うもの。
（１−２）タイプ２：予測器のみを具備し、センタと通信を行うもの。
（１−３）タイプ３：センタから配信される情報を受信して報知を行うもの。
【００６０】
（２）携帯電話機やＰＣなどの無線通信端末
センシングした位置情報と記憶した個人プロファイル情報とを周囲の車両又はセンタに送信する。これによって、画像処理などのセンシングによっては困難な歩行者情報（性別、年齢、目的地など）を高い信頼度で地図上にマッピングすることができる。この端末によって他の歩行者をセンシングすることも不可能ではない。ただし、端末の持ち主の歩行状態を発信する手段として用いることが一般的である。
【００６１】
（３）定点観測インフラ
車両などの移動体から歩行者をセンシングする場合に比べて、位置が固定されており、背景の動きも少ないので歩行者の認識率は一般に車両の場合よりも高い。したがって、予測の信頼度も高くなる。一方で、コスト面から設置件数や設置場所が限られるため、予測できる対象区域も限定される。
【００６２】
［５．予測装置の構成］
図１に、タイプ１の予測装置１０のブロック図を示す。
予測装置１０は、主として、送受信部２０と、ナビゲーション装置３０と、認識器４０と、予測器５０と、記憶部６０とを備えている。
【００６３】
送受信部２０は、センタ７０との間でデータ通信を行うための構成である。
ナビゲーション装置３０は、報知部３１、アトラクタ情報３２を有しており、予測器５０と接続されている。報知部３１は、運転者への報知を行うためのディスプレイやスピーカなどで構成される。アトラクタ情報３２については、後述する。
【００６４】
認識器４０は、撮像部４１、パラメータ設定部４２、評価部４３、及び、変換部４４に接続されている。また、変換部４４には演算部４５が接続されており、演算部４５には情報生成部４６が接続されている。
【００６５】
予測部５０は、パラメータ設定部４２、及び、評価部４３に接続されている。
記憶部６０は、変換部４４からの情報を記憶するための記憶媒体である。
撮像部４１は、車載カメラとして具現化され、認識器４０に対し、画像データを送出する。パラメータ設定部４２は、認識器４０に対し、画像認識のための認識パラメータを設定する。パラメータについては後述する。評価部４３は、予測器５０からの出力と認識器４０からの出力とを比較して評価するための構成である。評価部４３では、具体的には、予測器５０からの出力と認識器４０からの出力との差分情報を算出する。この差分情報は、変換部４４で変換された後、記憶部６０及び演算部４５へ送出される。
【００６６】
認識器４０からの出力である画像認識結果は、変換部４４で変換された後、記憶部６０に記憶される。また、変換部４４で変換された後、演算部４５へ送出される。演算部４５では、画像認識結果に対する信頼度を算出する。
【００６７】
情報生成部４６は、画像認識結果に、演算部４５によって算出された信頼度などを付加して、センタ７０へのアップロード情報を生成する。
予測器５０は、歩行者発生頻度を予測するための構成である。予測器５０は、センタ７０から送信されてくる情報を、ナビゲーション装置３０を介して取得し、当該情報に基づく予測を行う。また、予測器５０は、記憶部６０に記憶される画像認識結果に基づく予測を行う。
【００６８】
この予測装置１０は、現在位置、走行予定経路、差分情報、及び、認識結果などをセンタ７０へアップロードし、センタ７０から、予測対象区域の情報（アトラクタ情報、タイムゲート情報、Ｗｅｂ情報など）を受信する。
【００６９】
図２に、タイプ２の予測装置１１のブロック図を示す。なお、予測装置１０と同様の構成部位には、同一の符号を付した。
予測装置１１は、主として、送受信部２０と、ナビゲーション装置３０と、予測器５０と、記憶部６０とを備えている。予測装置１０と異なるのは、認識器４０及びこれに付随する構成を有していないことである。なお、それ以外の構成については予測装置１０と同様となっているため、説明を割愛する。
【００７０】
この予測装置１１は、現在位置、走行予定経路などをセンタ７０へアップロードし、センタ７０から、予測対象区域の情報（アトラクタ情報、タイムゲート情報、Ｗｅｂ情報など）を受信する。
【００７１】
図３に、タイプ３の予測装置１２のブロック図を示す。など、予測装置１０，１１と同様の構成部位には、同一の符号を付した。
予測装置１２は、受信部２１と、ナビゲーション装置３０と、報知部３１とを備えている。この場合、予測器５０さえ有していないため、センタ７０からの受信動作のみを行う。具体的には、センタ７０から、場所や歩行者の発生頻度を示す予測頻度などの予測情報を受信する。
【００７２】
［６．センタの構成］
図４に、センタ７０のブロック図を示す。
センタ７０は、受信部７１、要求処理部７２、検索部７３、結果処理部７４、記憶部７５、大規模予測部７６、及び、配信部７７を備えている。
【００７３】
受信部７１は、予測装置１０，１１から送信される情報を受信するための構成である。
要求処理部７２は、予測装置１０，１１から所定情報の送信要求などがあると、検索部７３へ当該情報の検索を指示する。
【００７４】
検索部７３は、記憶部７５に記憶されたデータの検索を行うための構成である。検索部７３による検索結果データは、記憶部７５に記憶される。また、検索結果データは、配信部７７へ送出される。
【００７５】
結果処理部７４は、例えば予測装置１０から画像認識結果などのアップロード情報が送信されてきた場合、当該データを所定形式で記憶部７５へ記憶する。具体的には、予測装置１０，１１から、歩行者発生頻度に関する信頼度付きの情報を受信し、それらを地理情報に関連付けて、時空間データベースを構築する。
【００７６】
記憶部７５は、ハードディスク装置などの記憶媒体として具現化される。
大規模予測部７６は、記憶部７５に構築される時空間データベースを利用し、歩行者の発生頻度にかかる大規模な予測演算を行う。予測演算の結果は「予報」として、記憶部７５に記憶されると共に、配信部７７へ送出される。
【００７７】
配信部７７は、予測装置１０，１１，１２へ情報を配信するための構成である。
なお、ここでは、予測装置１０，１１からセンタ７０への情報送信について説明したが、携帯電話機やＰＣなどの無線通信端末、及び、定点観測インフラ（交差点カメラなど）からもセンタ７０へ情報送信されることとしてもよい。
【００７８】
また、本実施形態では、認識器４０及び予測器５０の両方を備えるタイプ１の予測装置１０を例に挙げて、以下説明を続ける。
［７．予報処理］
図５、図６、図７は、予測装置１０にて実行される予報処理を示すフローチャートである。なお、この予報処理は、図５中にＢ１０で示す「ＦATRの算出に関する処理」、図６中にＢ２０で示す「ＦPFPの算出に関する処理」、及び図７中にＢ３０で示す「認識器４０の性能向上に関する処理」に大別される。そこで、以下では、全体の流れを一通り説明した後、これらのＢ１０〜Ｂ３０のブロックごとに詳細な説明を加える。
【００７９】
［７−１．予報処理全体の流れ］
最初のＳ１００では、ナビ走行予定経路を取得する。この処理は、ナビゲーション装置３０にて実行されるものであり、ユーザによって設定された走行予定経路が取得される。
【００８０】
次のＳ１１０では、予測対象区域を設定する。この処理は、例えばナビゲーション装置３０により、予測対象区域の情報をユーザに入力させるように促すものとすることが考えられる。
【００８１】
次のＢ１０では、ＦATRを算出する。ＦATRは、上述したように、アトラクタの影響に基づく予測発生頻度である。
続く図６中のＢ２０では、ＦPFPを算出し（Ｓ１８０）、Ｂ１０にて算出されたＦATRと合成して（Ｓ１９０）、予測対象区域での歩行者発生頻度を予測して報知する（Ｓ２００）。
【００８２】
次の図７中のＢ３０では、認識器４０の性能向上のための演算処理を行う。
そして、Ｓ３１０では、画像認識結果からアップロード情報を生成する。この処理は、図１中の情報生成部４６の機能として実現される。次のＳ３２０では、アップロード情報をセンタ７０へ送信する。
【００８３】
［７−２．ＦATRの算出に関する処理］
図５中のＢ１０に示すように、Ｓ１２０では、センタ７０を利用するか否かを判断する。ここでセンタ７０を利用しない場合（Ｓ１２０：ＮＯ）、Ｓ１３０へ移行する。一方、センタ７０を利用する場合（Ｓ１２０：ＹＥＳ）、Ｓ１４０へ移行する。
【００８４】
センタ７０を利用しない場合に移行するＳ１３０では、ナビゲーション装置３０が有するアトラクタ情報３２を取得する。その後、Ｓ１６０へ移行する。
センタ７０を利用する場合に移行するＳ１４０では、現在地及び走行予定経路をセンタ７０へ送信し、アトラクタ情報を要求する。これにより、センタ７０は、アトラクタ情報を送信してくる。そこで、Ｓ１５０では、センタ７０からのアトラクタ情報を受信する。その後、Ｓ１６０へ移行する。
【００８５】
Ｓ１６０では、ＦATR算出処理を実行する。
［７−２−１．ＦATR算出処理］
続けて、図８のフローチャートに基づき、ＦATR算出処理を説明する。
【００８６】
最初のＳ４００では、予測対象リンクを設定する。この処理は、予定経路上の位置ｘkを含むリンク＄Ｌ（ｘk）を予測対象リンクとするものである。
次のＳ４１０では、アトラクタを探索してリスト化する。この処理は、予測対象区域＄Ｌ（ｘk）周辺のアトラクタを探索し、ｉ＝１，・・・，Ｉkの番号を割り当てて、リスト化するものである。例えば、図１０に示すように、病院Ａ1、銀行Ａ2、地下鉄駅Ａ3、ショッピングセンタＡ4としてリストアップされる。
【００８７】
続くＳ４２０では、アトラクタの番号ｉを初期化して「０」とする。
次のＳ４３０では、アトラクタの番号ｉをインクリメントする。これにより、アトラクタＡ1から処理が開始されることになる。
【００８８】
続くＳ４４０では、タイムゲートを設定する。この処理は、アトラクタＡiの情報（平均収容人数、営業時間など）を基に、タイムゲートＴＧ（Ａi）を設定するものである。
次のＳ４５０では、処理対象のアトラクタに起因する予測頻度を算出する。この処理は、Ａiに起因する＄Ｌ（ｘk）上の予測頻度ＦATR（ｘk，ｓl｜Ａi）を算出するものである。
【００８９】
続くＳ４６０では、Ｓ４５０にて算出された予測頻度を足し合わせる。具体的には、ＦATR（ｘk，ｓl）＝ＦATR（ｘk，ｓl）＋ＦATR（ｘk，ｓl｜Ａi）を計算する。
次のＳ４７０では、全てのアトラクタを処理したか否かを判断する。ここで全てのアトラクタについて処理したと判断された場合（Ｓ４７０：ＹＥＳ）、ＦATR算出処理を終了する。一方、処理していないアトラクタがあるうちは（Ｓ４７０：ＮＯ）、Ｓ４３０からの処理を繰り返す。
【００９０】
次に、図９に基づいて、上述したＳ４５０の処理の詳細について説明する。
最初のＳ４５１では、矩形波を設定する。この処理は、平均収容人数Ｎ0（ｉ）を高さとする矩形波ΓTGiを設定するものである。
【００９１】
次のＳ４５２では、経路を確定する。この処理は、アトラクタＡiから予測対象区域までの経路＄ＬNを確定するものである。
続くＳ４５３では、リンクをリストアップする。この処理は、ｎ番目の分岐＄Ｂnと（ｎ＋１）番目の分岐＄Ｂn+1の間のリンク＄Ｌnをリストアップするものである。なお、ここでｎ＝１，・・・，Ｎ−１である。
【００９２】
次のＳ４５４では、リンク番号ｎを初期化して「０」にする。
続くＳ４５５では、リンク番号ｎをインクリメントする。これにより、リンク＄Ｌ1から処理が開始されることになる。
【００９３】
次のＳ４５６では、発生頻度を分岐に応じて分割する。この処理は、リンク＄Ｌn-1での発生頻度Ｎn-1を分岐＄Ｂnに関してＪn個に分割するものである。ここでは、特に情報がなければ、Ｊn等分する。
【００９４】
続くＳ４５７では、全てのリンクを処理したか否かを判断する。ここで全てのリンクについて処理したと判断された場合（Ｓ４５７：ＹＥＳ）、Ｓ４５８へ移行する。一方、処理していないリンクがあるうちは（Ｓ４５７：ＮＯ）、Ｓ４５５からの処理を繰り返す。
【００９５】
Ｓ４５８では、予測頻度を算出する。この処理は、リンク＄ＬNのオブジェクトの存在時間、予測対象の時間範囲、及び、自車の通過時間に基づき、オブジェクトの発生頻度を予測頻度として算出するものである。
【００９６】
以上が、図５中のＢ１０で示した「ＦATRの算出に関する処理」である。ここで、この処理に対する理解を容易にするため、具体例を挙げて説明をする。ここでは、最初にアトラクタ情報について詳述し、その後、タイムゲートによる考え方を説明する。
【００９７】
［７−２−２．アトラクタ情報］
アトラクタは、例えば、学校、店、ショッピングセンタ、病院、駅、テーマパーク、ホール、野球場、バス停、駅、公園など、集客力があり、人の流出入を駆動する要素である。このアトラクタについて十分な地理情報（地図情報やＷｅｂ情報など）があれば、歩行者の発生頻度に関して一次予測が行える。
【００９８】
そこで、本実施形態では、具体的に下記の情報を用いた予測手法を提案する。
（１）アトラクタのサービス時間帯（学校ならば登下校時間）。
（２）アトラクタの周辺の地図情報（特に位置とアクセス情報）、道路情報。
【００９９】
（３）アトラクタ及びそのアトラクタへのアクセス情報が天候（雨、風、雪）の影響を受けやすいかどうか。
（４）アトラクタに出入りする人の移動度（歩行者、自転車）。
【０１００】
［７−２−３．アトラクタのクラス分類］
アトラクタは、次の２種類のカテゴリによってクラス分類することができる。
（１）平均利用時間
Ａ１クラス：４時間以上（例えば、学校、オフィスビル、駅など）
Ａ２クラス：２時間〜４時間（例えば、病院、ショッピングセンタ、映画館、スポーツ施設など）
Ａ３クラス：１時間〜２時間（例えば、銀行、店、レストランなど）
Ａ４クラス：１時間未満（例えば、コンビニ、郵便局など）
（２）手段（経由地）であるか目的地であるか。
【０１０１】
Ｂ１クラス：利用時間帯がほぼさだまっている目的地（例えば、学校、オフィスビルなど）
Ｂ２クラス：利用時間がさだまっていない目的地（例えば、病院、ショッピングセンタ、映画館、スポーツ施設、コンビニ、郵便局、レストラン、店、銀行など）
Ｂ３クラス：利用時間がさだまっていない経由地（例えば、駅、バス停など）
アトラクタの機能する時間のうち、人の出入りの激しい時間帯を活性化時間と呼ぶことにする。特にそれがアトラクタ側で定めた時間帯である場合、それをタイムゲートと呼ぶことにする。
【０１０２】
［７−２−４．タイムゲート］
上記のアトラクタに付随するタイムゲート（以下、適宜「ＴＧ」と記載する）を高さ「１」の矩形波と考える。これを基本波形としてアトラクタ中に存在する歩行者頻度を高さとする波（歩行者発生頻度の確率波）を定義する。
【０１０３】
本実施形態では、簡単化のため平均収容人数Ｎ0（ｉ）を高さとする矩形波Γπiを考える。そして、アトラクタから半径１ｋｍ以内の予測対象区域（ターゲット）ｘkでは、矩形波Γπiを区間内の移動時間と観測時間範囲に応じて変形させる。
【０１０４】
移動時間は、移動度とターゲット区間の長さで決まる。移動度が時速４ｋｍで２００ｍの区間である場合、移動時間は３分となる。また、観測時間範囲は、予測対象となる時間範囲であり、予測の時間分解能に相当する。例えば、３０分単位で設定し、朝８時から８時半までを観測時間範囲として設定することが考えられる。具体的には、時速４０ｋｍの自動車で２００ｍの区間を通過する場合、観測時間範囲は、１８秒間となる。
【０１０５】
アトラクタにおける矩形波Γπiは、予測対象区域ｘkとアトラクタＡi（ｉ番目のアトラクタを示す）の間の経路を通じて伝播（時間的には過去にさかのぼる）する。これを「逆伝播」と呼ぶことにする。矩形波Γπiは、経路途中の分岐の数に応じてその高さが低くなる。これは分岐によって歩行者数が少なくなっていくからである。ここで、分岐前の歩行者発生頻度と分岐後の複数経路の歩行者発生頻度の総和は等しいと仮定する。また、ここでは簡単化のため、この分岐は木構造であると仮定する。
【０１０６】
すると、距離Ｌ（ｘk／Ａi）と途中の分岐数及び分岐の比率は、予報の性質に影響を与える。「分岐の比率」が関係するのは、各分岐に等分された数の歩行者が存在するとはかぎらないためである。また、予報の性質は、予測対象区域に逆伝播させた矩形波Γπiの高さ、すなわち確率的歩行者発生頻度である。
【０１０７】
なお、地図上でどのような分岐が経路上で生じ、各ルートで経路長がどういう値になるかに関しては、すでにその類のグラフアルゴリズムがカーナビゲーションシステムなどで使われているので、ここではその詳細は省略する。
【０１０８】
例えば、ある学校の登校時間帯を７時から８時までとすると、それをＴＧとして８：００前の３０分程度で移動できる範囲にわたってＴＧが過去の方向に伝播し、その範囲内で人発生のピークが出現しやすくなる。すなわち、時間的に平均化された発生頻度とは異なる発生頻度になる場合が出てくる。計測データが著しく少ない場合には、このようなピークが発生する性質までもモデル化すれば予報の確信度をさらにあげることができる。
【０１０９】
ＴＧの伝播を駆動する要素を列挙すると、次のようになる。
（１）ＴＧが定義される場所（アトラクタ）
（２）ＴＧを通過しようとするオブジェクトのカテゴリ（子供、自転車など）
（３）オブジェクトＯj存在する（通過する）と想定される場所ｘ（Ｏj）とアトラクタＡiが存在する場所ｘ（Ａi）との間の経路
（４）オブジェクトの種類（歩行者、自転車、他）に応じた移動度
例えば、自転車は歩行者の３倍の移動度と仮定すると、想定区域（ターゲット）内における所定時間内の発生頻度は自転車のほうが１／３となる。
【０１１０】
［７−２−５．複数のアトラクタの影響］
次に複数のアトラクタの影響を考察する。複数のアトラクタ｛Ａ1，・・・，Ａi，・・・ＡIk｝が走行予定位置ｘkの近隣に存在する場合、Ａiで駆動される矩形波ΓTGiがアトラクタＡiにいたるルートに逆伝播し、予測対象区域上では複数のアトラクタから逆伝播したΓTGiの合成波形として人発生頻度が予測される。
【０１１１】
例えば、図１１のように２つのアトラクタＡ1，Ａ2が存在する場合、それぞれから想定する走行区域ターゲットにＴＧが逆伝播することによって、Ａiが駆動する発生頻度Ｆ1とＡ2が駆動する発生頻度Ｆ2の和として発生する歩行者がターゲット区域における予測発生頻度となる。矩形波ΓTG1とΓTG2との合成を、図１２に模式的に示した。
【０１１２】
これを一般化すると次式で表現される。
【０１１３】
【数６】
【０１１４】
［７−２−５．人の移動度］
本実施形態でいう人の移動度は、大きく分けて次の２種類である。
（１）歩行者の移動度：μP
（２）自転車の移動度：μB
歩行者は車両に比べて移動度の値および移動範囲は小さいが、移動に際しての自由度が高い。すなわち、追い越しも自由であるし、経路変更も任意である。さらに、車のように車両間の依存関係がない。
【０１１５】
このような移動度は、アトラクタＡiに関連する情報（先見情報）がない場合には、純粋に統計計算で求める。一方、アトラクタＡiに関連する情報（先見情報）がある場合、少ない計測結果に対してオフセットを与えることができる。
【０１１６】
［７−２−６．遭遇時間の予測］
ＴＧ（Ａi）から予測対象区間ターゲットまでの距離とルートとは、ナビゲーション装置３０による地図情報やＷｅｂ情報に基づき、取得することが可能である。
【０１１７】
したがって、ＴＧ（Ａi）をルートに沿って逆伝播させれば、ターゲット内の人の存在時間（道路沿いの移動時間）を推定することができる。走行経路上で遭遇する歩行者発生頻度を予測する際の手助けとなる。
【０１１８】
このとき、以下のような制約を用いてもよい。
（Ｒ１）歩行者がアトラクタまで歩行によって移動する距離は１ｋｍ程度とする。
（Ｒ２）自転車の場合は移動する距離は最大３ｋｍ程度とする。
【０１１９】
（Ｒ３）歩行者、自転車ともに屋外の道路では天候の影響を受けやすい。
（Ｒ４）歩行者の移動度は自転車の移動度の１／３程度となる。
［７−２−７．ＴＧの逆伝播の一例］
図１３及び図１４に学校をアトラクタとした場合のＴＧの逆伝播の例を示す。ここでは上記（Ｒ４）の制約を用いて３０人中１５人の生徒（うち１２人が徒歩、３人が自転車）が同時に校門をスタートして帰宅する場合を想定し、交差点ごとの分岐で等分されていく仮定の下で、矩形波ΓTGiの伝播の様子をタイムチャートで示す。
【０１２０】
図１４中のＦBは自転車の発生頻度、ＦPは歩行者の発生頻度である。また、＄Ｌ4＝｛１／２，３／３，１／３，１／２｝という表現はアトラクタから予測対象区域までの経路の分岐の様子を記述している。具体的には、図１４に示すように、校門から出て右矢印方向を１／２、その反対方向を２／２と表現し、次の交差点では３分岐あるので同様に記述している。一般に、次に示すように、アトラクタから見た予測対象区域のリンクを表現することができる。
【０１２１】
【数７】
【０１２２】
ただし、Ｊnはｎ番目の分岐点における分岐数、ｊnはそのＪn個の分岐のうちの（例えば分岐路に向かって最左から右回りで）ｊn番目の分岐を経路として選択することを意味する。この表記に基づき、Ｆ$obj（＄Ｌn）はｎ番目の分岐から（ｎ＋１）番目の分岐までのリンクにおけるオブジェクト＄ｏｂｊに関する発生頻度を表す。
【０１２３】
図１４の例では、＄ｏｂｊ＝Ｂが自転車の発生頻度を示し、＄ｏｂｊ＝Ｐが歩行者の発生頻度を示す。同様にＤ（＄Ｌn）はリンクの距離を表す。このような表記の下で、図１４の地図上に各リンクにおける発生頻度の予想値を示す。
【０１２４】
ここでは１５人の生徒が同時に下校を開始した場合を想定したが、実際は校門を出る時刻は、ばらつくと考えられる。このことを考慮して問題を簡単化すると、予測対象区域における平均予測発生頻度は予測発生頻度（矩形波ΓTGiの高さ）に黄色の区間で示した予測対象時間Ｔpredictと各オブジェクトの予測対象区域（リンク）における存在時間Ｔexistの比をかけた値として算出される。すなわち、次の式で示される。
【０１２５】
【数８】
【０１２６】
さらに、自車の予測対象区域内の通過時間Ｔexist#Cを考慮すれば、通過時の観測率λCが乗じられた発生頻度は次式で算出できる。
【０１２７】
【数９】
【０１２８】
なお、上記の各オブジェクト（歩行者、自転車、自車両）の存在時間はリンク長と移動度から次式で算出される。ただし、＄ｏｂｊ＝Ｐ，Ｂ，Ｃである。
【０１２９】
【数１０】
【０１３０】
次に通学時の発生頻度をこの帰宅時の発生頻度と同じ理屈で予想できると仮定する。これは近似的に、上述の帰宅時のプロセスの時間軸を逆転させたメカニズムで算出できる。すなわち、上記で考慮した下校開始時刻のばらつきは登校時にもあると考えれば、概算としてほぼ同じ発生密度がアトラクタに対する時間差で（時間の向きは逆なので逆伝播と呼ぶ）観測されると予想される。したがって上記の平均予想発生頻度は登校時にも一次近似値として採用できる。
【０１３１】
［７−２−８．Ｗｅｂ情報の利用］
アトラクタの位置や機能時間、活性化時間およびＴＧはＷｅｂ情報から得られる場合がある。また、天候、渋滞情報に関する情報も取得できる。
【０１３２】
［７−２−９．ナビ情報の利用］
ナビからは｛現在位置、進行方向、周辺施設（アトラクタ）の有無、渋滞情報｝に関する情報を得ることができる。
【０１３３】
［７−３．ＦPFPの算出に関する処理］
次に、図６中のＢ２０で示した「ＦPFPの算出に関する処理」について説明する。
最初のＳ１７０では、過去の発生頻度データを検索する。この処理は、記憶部６０に記憶された走行経路上の過去の発生頻度データを検索するものである。
【０１３４】
続くＳ１８０では、ＦPFPを算出する。この処理は、過去の発生頻度データに基づき、場所ｘ状況ｓにおける発生頻度を予測した結果としてのＦPFPを算出するものである。なお、詳しい算出方法については後述する。
【０１３５】
次のＳ１９０では、予測頻度ＦATRとＦPFPとを合成する。この処理は、上述した式４によって２つの発生頻度ＦATRとＦPFPとを合成するものである。
続くＳ２００では、予測頻度を運転者へ報知する。この処理は、ナビゲーション装置３０によって、報知部３１を介して行われる。
【０１３６】
次のＳ２１０では、別経路に変更したか否かを判断する。この処理は、予測対象区域を回避して別経路への変更を行ったか否かを判断するものである。ここで別経路への変更を行ったと判断された場合（Ｓ２１０：ＹＥＳ）、図５中のＳ１００からの処理を繰り返す。一方、別経路への変更を行っていないと判断された場合（Ｓ２１０：ＮＯ）、Ｓ２２０へ移行する。
【０１３７】
Ｓ２２０では、予測対象区域を走行しているか否かを判断する。ここで予測対象区域を走行している場合（Ｓ２２０：ＹＥＳ）、センタ７０から最新のプローブ情報を受信し、Ｓ１８０からの処理を繰り返す。一方、予測対象区域を走行していない場合（Ｓ２２０：ＮＯ）、図７中のＳ２４０へ移行する。
【０１３８】
［７−３−１．過去の統計に基づく歩行者発生頻度の予測］
図１５に、ユーザの車両Ａにおいて、予測対象区域における歩行者発生頻度を提示する際の概略プロセスを示す。ここでは、予測対象区域に向かう車両Ａがセンタ７０に対して予測に必要な情報を送信し、一方で予測対象区域近辺をＡが通過する以前（Ａがリクエストを出す以前の過去も含む）に通過して撮像した車両（プローブカー）が画像認識結果に関する情報をセンタ７０にアップロードしている様子を示している。このような状況設定のもとで複数のアトラクタとの関係やターゲットに向かう時間経過に応じて歩行者発生頻度が提示される。
【０１３９】
［７−３−２．予測対象区域の例示］
図１６に実際の実験において設定した予測対象区域の例を示す。図１６では、刈谷駅方面から知立駅方面へ走行し、店が立っている交差点を左折したことを示している。このとき、予測対象区域は、高架までの区間１、店までの区間２、店を過ぎた後の区間３として設定した。
【０１４０】
［７−３−３．特徴ベクトルの定義］
ここでは予測器５０の出力である予測対象をベクトルとして表現する。図１７に予測対象の分類を｛男性、女性、子供、自転車、不明、犬｝×｛右、左｝の合計１２種類で考えた場合の例を示す。これによって、ある車載カメラで観測される歩行者発生頻度の特徴ベクトル（予測の目的変数）は１２次元となる。この特徴ベクトルの定義は、そのまま予測器５０の学習においても用いられる。
【０１４１】
ただし、現状の画像認識技術では上記のような複雑な分類について高い認識率を達成することは困難である。高い精度の学習データを得るにはオフラインの高度な認識処理かあるいは複数のセンサの複合処理、または人手による正解付与に頼ることになる。図１７では、人手による正解付与（ＧＴ：Ground Truth）を採用した。
【０１４２】
なお、ここでは、予測対象区域の部分領域として、自車から見て｛右、左｝という領域を設定しているが、さらに細かく部分領域を設定してもよい。例えば、図１８は、実際に車両から撮影した画像を示し、画像認識における部分領域の設定例（ここでは｛左側歩道、走行車線、対向車線、右側歩道｝）を示している。
【０１４３】
［７−３−４．状況ベクトルの定義］
特徴ベクトルが発生する際に、その説明変数となる状況情報は図１７における｛場所、日時、天候｝である。ここで、場所は３次元（それぞれの次元が区間に相当）、日時は｛年、月、曜日｝の合計２２次元、天候は｛晴、曇、雨｝の３次元とした。
【０１４４】
したがって、状況ベクトルは合計２８次元となり、これに対する特徴ベクトルの回帰関係を線形最小２乗法（後述の式１７参照）で解いた結果が図１９の右側のグラフである。これらが予測結果となる。すなわち、左側は目視による計測結果をグラフ化したものであり、右側は自己交差の回帰予測結果をグラフ化したものである。ここで、オブジェクトは、「１」が左女性、「２」が左子供、「３」が左男性、「４」が左不明、「５」が左自転車、「６」が左犬、「７」が右女性、「８」が右子供、「９」が右男性、「１０」が右不明、「１１」が右自転車、「１２」が右犬となっている。また、同様に、想定される種々の状況の下での予測例を図２０（ａ）〜（ｆ）に示した。
【０１４５】
なお、状況ベクトルはさらに拡張することができ、時間情報に関しては、日種効果、季節効果、時間帯効果、年中行事の影響などを考慮してもよい。渋滞予測に応用することも考えられる。また、道路環境や地理要因についても拡張可能であり、それらは各要因を表現する語彙に対して数量化（例えば０と１の間の値）を施すことで行う。
【０１４６】
［７−３−５．信頼度を用いた予測］
本実施形態における予測性能は認識器４０の性能に大きく影響される。認識器４０の性能は、一般に停車時と走行時では異なる。歩行者を含む移動体に関しては停車時のほうが認識率は高いため、停車時の認識結果の信頼度は走行時よりも高い。たとえば「定点（停車時）においては認識率Ｒi＞８０、走行時ではＲi＝６０程度」といった例が考えられる。さらには、一般的に走行速度が速いほど、歩行者や自転車に対する相対速度が大きくなり、それらの認識率は低下する。
【０１４７】
「停車時」をさらに状況分類すると、｛交差点の一時停止、道路わきの停車、駐車場の停車｝といった場所のタイプが関与する。また、「走行時」においても画像認識のしやすさは周囲背景の影響を大きく受ける。特に、対向車両や先行車両、ビルや街路樹、ガードレール、道路標識の白線、障害物などは歩行者の認識率を左右する。
【０１４８】
そこで、認識器４０の出力（確信度）に対して認識器４０の信頼度ｒiを付与することとし、自車速度と場所のタイプに応じた平均認識率をもってその値とする。このように環境条件に応じた認識器４０の性能変動を認識器４０の信頼度で表現し、信頼度つきの認識結果をナビ上に記憶する、あるいはセンタに送信することで地図上に認識結果の時空間情報を作成することが可能になる。
【０１４９】
自転車と人では発生の分布が異なると考えられる。これは主として移動度と移動範囲に起因する。この性質を利用して、認識器４０と予測器５０の設定を行う。
［７−３−６．信頼度の設定］
認識器４０の信頼度については下記のような設定が考えられる。
【０１５０】
（１）オブジェクトごとに認識率の信頼度を変える。｛歩行者、自転車｝
（２）計測地点ごとに認識率の信頼度を変える。下記の要素が計測地点の環境特徴として認識器４０の性能に影響を与えるため、信頼度に変化をもたらす。
【０１５１】
・｛道幅、歩道幅、ガードレールの有無、白線、電線の有無、街路樹｝
・｛交差点、単路｝
・｛商店街、住宅街、オフィス街｝
（３）センサ（認識手法を含む）ごとに認識率の信頼度を変える。
【０１５２】
（４）車両の走行速度に応じて信頼度を設定する。
例えば、次のカテゴリで走行速度を分類する。[停車、発進、徐行、低速、中速、高速]
［７−３−７．センタへのアップロード］
いま、ｉをセンシングが行われた地点名の番号とするとき、（ｘi，ｓi，ｒi，ｆi）を予測装置１０からセンタ７０へのアップロード情報とする。ただし、
ｘi：地点ｉの座標
ｓi：地点ｉの状況
ｒi：認識器４０の信頼度（条件ごとの平均認識率）
ｆi：予測器５０の結果
である。また、ｓiは以下の情報を含む。
【０１５３】
（１）場所のタイプ：｛駅前, 住宅街, ビル街, 公園, 海岸, 他｝
（２）道路環境：｛交差点, 単路, 駐車場｝
（３）走行状態：(｛停車,発進,徐行,走行中｝, 走行速度)
（４）歩行者の存在方向：｛右, 正面, 左｝
（５）認識結果：｛歩行者,自転車,それ以外｝
［７−３−８．異なる車両間での認識結果の対応づけ］
図２１に示すように異なる車両Ａ，Ｂが同時に同じ地点の歩行者を観測した場合、歩行者発生の統計量という観点でいえば、Ａの画像とＢの画像の間で対応付けを行い、重複してカウントすることを防ぐ。ただし、この対応付けを行うには、三次元的な歩行者位置を高精度で獲得する必要がある。一方で、事故発生にいたる危険度という観点では、同じ歩行者に対して観測する車両台数分だけ危険度は増大すると考えることもできる。
【０１５４】
そこで、本実施形態では、
（規範１）純粋に歩行者の発生数の統計データの獲得を志向する。
（規範２）上記を危険度に換算して延べ歩行者人数を統計データとする。
【０１５５】
の２つの規範を考える。
一般に、Ａ，Ｂで同一場所の歩行者群を観測した場合、対応をとることの技術的難易度は高い。そこで、
（１）和をとる方法（延べ人数の算出を行う）
（２）複数の観測値から代表的な値を算出する方法
（２−１）平均値をとる方法
（２−２）最大値を選ぶ方法
（３）高度なバッチ処理を行う方法
が考えられる。
【０１５６】
ここで方法（１）は（規範２）に該当する。すなわち、複数台の車両で同一の歩行者を撮影したときも延べ数としてカウントする。もし、センタ７０に撮像位置を付した映像データが集積されるならば（３）により上記の対応付けも可能となる。
【０１５７】
［７−３−９．予測の時間範囲］
プローブカーに代表される車両（予測装置１０）からセンタ７０に撮像画像をアップロードし相互利用するという考えに基づくと、センタ７０でそのアップロードされた画像群に大規模かつ高度な演算を施し、歩行者その他の認識を行うことは可能である。
【０１５８】
この場合、サービスをうける車両は、少なくとも自車位置からセンタ７０との交信およびセンタ７０での計算を考慮した遅延時間に相当する距離だけ離れた位置について予測された情報を受け取ることができる。予測の信頼度が多少低くても即座に予報を得たいという場合は自車位置に関する過去の統計情報から予想された歩行者発生頻度を即座にセンタ７０から得ることができる。
【０１５９】
［７−４．認識器４０の性能向上に関する処理］
次に、図７中のＢ３０で示した認識器４０の性能向上に関する処理について説明する。
Ｓ２４０では、認識パラメータを設定する。この認識パラメータは、画像認識のためのパラメータである。
【０１６０】
Ｓ２５０では、画像から歩行者を認識する。この処理は、撮像部４１からのデータに基づき、認識器４０が行うものである。
次のＳ２６０では、部分領域ごとの発生頻度に変換する。
【０１６１】
続くＳ２７０では、差分を評価する。
次のＳ２８０では、差分が閾値以下か否かを判断する。ここで差分が閾値以下であると判断された場合（Ｓ２８０：ＹＥＳ）、Ｓ２９０にて信頼度を算出し、Ｓ３２０へ移行する。一方、差分が閾値を上回ると判断された場合（Ｓ２８０：ＮＯ）、認識パラメータを修正して、Ｓ２４０からの処理を繰り返す。
【０１６２】
［７−４−１．認識器４０の性能向上］
予測を目的とする場合は、画像の認識演算は必ずしも車載でリアルタイムに行う必要はない。画像データと位置情報をセンタ７０に伝送し、センタ７０側で大量に一括処理することも考えられる。また、このような画像伝送に適した認識方式も提案されている。以下では、予測器５０と認識器４０とのインタラクションを想定した認識器４０の性能向上について説明する。
【０１６３】
［７−４−２．認識パラメータの設定］
（１）過去のデータに基づく設定
過去のデータから予測した歩行者発生頻度の時空間分布を初期値として、これから行う画像認識のパラメータを設定する。例えば、以下のようにすることが考えられる。
【０１６４】
・通学団が多いところでは複数の集団認識にあった認識パラメータを設定する。
・自転車が多いところでは自転車用の認識パラメータを設定する。
・過去のデータから地図上の位置および撮像画面上の部分領域（図１８参照）の位置について重み付けを施す。
【０１６５】
（２）対象オブジェクトに応じた設定
（２―１）移動度および移動範囲に基づく設定
自転車と人では移動度と移動範囲が異なるため、発生頻度の分布も異なってくる。この性質を利用して、認識器４０及び予測器５０を設定する。
【０１６６】
例えば、自転車など移動度の高い対象物の場合は過去に通り過ぎた場合でも、交差点停車時に追いつかれて再度目前に出現するケースがある。このような場合、隣接する複数の空間範囲（１つの空間範囲は本実施形態で予測頻度の算出対象となる走行系路上の１区域とする）にまたがった時間範囲での出現予測が必要となる。例えば、走行予定経路に沿ってｘa，ｘb，ｘcの３つの領域がその順番に隣接している際に、ｘa区間内で走行する方向と同じ方向に進路をとる自転車Ｂ1を検出した際には、ｘbまたはｘcに存在する交差点において再度Ｂ1と遭遇する可能性があるため、自転車の予測頻度を高めておくという具合である。
【０１６７】
（２−２）オブジェクトの画像特徴に基づく設定
オブジェクトの形状、空間スペクトル（ＤＣＴ係数など）、動き、色などを含む画像特徴およびその時系列変化を特徴ベクトルとする認識特性（多変量回帰分析では回帰係数行列、主成分分析では固有行列がそれに相当する）を利用して、認識器４０及び予測機を設定する。
【０１６８】
（２−３）認識対象領域の限定
歩行者存在領域（歩道、車道、駐車場、階段など）は一般に統計的に限定することができる。しかし、それらを撮影する車載カメラの位置姿勢は車載カメラの取り付け位置や車の走行状態に応じて変化するために、シーン中での見え方が変化する。ただし、その変化は車載カメラであるがゆえにある程度パターン化できるため、ケースバイケースで画像面上の二次元領域として歩行者存在領域を限定することは、なおも可能である。
【０１６９】
（２−４）予想される歩行者のタイプに応じた設定
特開２００９−２７１７５８号公報に開示したように、歩行者のタイプに応じた認識特性を選択し、それにあったパラメータを設定することができる。ここでは過去の統計や周囲環境をもとに、たとえば通学児童が多いならばその身長や動きにあった認識パラメータ（ＤＣＴ係数のＡＣ電力に関する判定閾値や主成分電力の判定閾値、動きの発生状況など）、老人の一人歩きが多いようであればそれにあったパラメータを優先的に設定するなどが考えられる。
【０１７０】
［７−４−３．認識器４０の原理］
いま、ある車両のカメラで撮影した画像において、特開２００７−０６０２７３号公報及び、特開２００７−０７２９８７号公報に開示したように、画像中に存在しうるオブジェクトの確信度を画像データ特徴量に対する多変量線形回帰モデルで表現すれば、次式で歩行者認識の結果を算出することができる。
【０１７１】
【数１１】
【０１７２】
ただし、ＣBは（Ｋ×Ｎ）の行列であり、ｋ行ｎ列の成分［ＣB］knは画像中のｋ番目の部分領域がカテゴリｎのオブジェクトである場合の確信度を表す。
いま、歩行者であるかどうかだけであるならばＮ＝１としてＣBは列ベクトルとなり、ｋ行目の成分はｋ番目の部分領域（たとえば画像中のブロック画素）に映るオブジェクトが歩行者である確信度を表す。もし、Ｎ＞１の歩行者分類があれば［ＣB］knは部分領域ｋにおけるカテゴリｎの歩行者（たとえば男性、女性、子供、など）を表す。あるいはＮ＝２として歩行者確信度と非歩行者確信度をｎ＝１，２に割り当てることもできるし、歩行者のカテゴリに方向因子｛右、正面、左など｝を含めることもできる。ただし、一般に分類のカテゴリが増えるほど認識器４０は高い性能が求められるため、現状の画像認識技術では歩行者の有無程度にとどめておくほうが現実的である。
【０１７３】
ＳBは（Ｋ×Ｌ）の行列であり、状況ベクトルｓsと画像特徴ベクトルｓpで構成される特徴ベクトルｓB（Ｌ次元列ベクトル）を転置した行ベクトルｓBT（ｋ）をｋ行目に含む。Ｂはこれらの特徴量に対する回帰係数行列（Ｌ×Ｎ）である。このＢは最小二乗法により求めることができ、次式のようになる。
【０１７４】
【数１２】
【０１７５】
ここで、初期のＢを算出するためにはＹB（Ｋ×Ｎ）にサンプル映像から人間が作成した正解値（ＧＴ）を、ＳBにはその各々に対応する画像などの特徴量を入れてやる必要がある。このＢを用いて新たなシーンで歩行者を認識させる。そのときの認識の信頼度はその平均認識率として算出することができる。ただし、走行開始後にＧＴをリアルタイムで獲得することはほぼ不可能であるため、その後の認識履歴はリアルタイムでは推定した確信度ベースとなる。一方で、センタへのアップロードを行うかあるいは走行終了後にオフライン処理を行えば走行映像にＧＴを付与していくことはできる。
【０１７６】
なお、歩行者の認識に関しては特開２００９−２７１７５８号公報のように、差分画像のＤＣＴ係数をベースにして時系列特徴量を構成し、主成分分析で判定する方法も適用できる。この場合、上記式１１のＳBを主成分分析によって次元圧縮された特徴量で構成することで、それ以後の回帰係数を用いた認識の枠組みがそのまま適用できる（主成分回帰分析）。それ以外にも非線形手法を含む多くの方法（ＳＶＭや動的テンプレート、動きベクトルを用いる方法など）が存在し、学習型の認識手法の場合は学習データと認識特性の関係において上記と類似した様相（学習量の増大に伴う認識率向上、過学習（overfitting）、学習不適合、異常値、データ欠損の問題など）を呈する。本実施形態ではそれらの詳細は省略する。
【０１７７】
［７−４−４．予測器５０］
過去の統計に基づく予測頻度の行列ＦP（ＫP×Ｍ）は多変量回帰予測によれば、次式で表される。
【０１７８】
【数１３】
【０１７９】
ただし、
Ｐ：回帰係数行列（ＬP×Ｍ）
ｓP：特徴ベクトル（ＬP×1）
ＳP：特徴行列（ＫP×ＬP）
である。Ｐは認識器４０の場合と同様に最小二乗法を用いて次式で算出できる。
【０１８０】
【数１４】
【０１８１】
予測頻度のデータ行列ＹP（ＫP×Ｍ）は上述の車載の認識器４０が算出した確信度行列ＣB（画像内の部分領域ごとの認識結果）を用いて作成することができる。これはＣBで歩行者と判定された部分領域から歩行者数を計数し、予測対象区域内の部分領域（Ｍ個）における発生頻度値に変換することで可能になる。いま、この変換操作を次式で表現する。
【０１８２】
【数１５】
【０１８３】
ここでＣBの信頼度がＲB（≒７０）であれば、ＣBから生成したＹPを学習データとする回帰係数行列Ｐの信頼度もたかだかＲB程度になる。いま、この機械認識によって推定した真理値をＥＴ（Estimated Truth）と呼ぶことにする。
【０１８４】
もし、オフライン処理などにより人間あるいは完全な認識器４０が与えた正解値（ＧＴ）を用いることができるならば、上記のＲBはほぼ100％とすることができる。このＥＴとＧＴを用いて予測の条件を論理的に分類すると以下のようになる。
【０１８５】
（１）過去の統計データなし（ＧＴ、ＥＴともになし）
（２）ＧＴなし、ＥＴあり
（３）ＧＴあり、ＥＴなし
（４）ＧＴとＥＴが混在
これらの場合を統一的に表現するためには、ＲBの値を認識データに付与すればよい。いま、ＣBにＧＴとＥＴが混在している場合、上記式４を想定すると、ＣBは、次式で表される。
【０１８６】
【数１６】
【０１８７】
つまり、各学習イベントの実効確信度が認識器４０の信頼度と認識器４０が出力した確信度の積で表現された値となる。ただし、
Ｍ：地点ｋにおける部分領域（歩行者が存在しうる領域。図１８参照）の最大個数。車道内／車道外、進行方向の右側／左側、などを分類のカテゴリとして部分領域を定義することができる。
【０１８８】
ｒk：地点ｋの画像に用いた認識器４０の信頼度。人間によるＧＴの場合はほぼ値１をとる。厳密にはスキルによって左右されるため、1未満になる場合もある。
ｆkm：地点ｋで撮影した画像中のｍ番目の部分領域で認識された歩行者の数（認識器４０が出力した歩行者発生頻度）
である。このＹP＾を過去の統計データとして予測頻度の行列ＦPの近似値ＦP＾を算出すると、次式のようになる。
【０１８９】
【数１７】
【０１９０】
となる。この確信度ＦP＾の信頼度Ｒ（ＦP＾）が、たとえば
【０１９１】
【数１８】
【０１９２】
ならば予測器５０と認識器４０のトータルの性能はサービス要件を満たすと判断できる。
［７−４−５．同一場所のセンシング］
同じ場所と時間における複数の観測値については、各々の観測値に基く確信度をスコアとみなして合計し、平均値あるいは総合点の閾値判定をする。そこで、同じ時空間ＸＴθで撮像される複数の画像（所定区域内Ｘで同じ時間帯Ｔに同じ進行方向θで撮影した複数の画像）に対して、複数の認識器４０が認識結果（確信度ベクトル）を集積させる。すなわち、次式で示される。
【０１９３】
【数１９】
【０１９４】
ここで、ｒnは次のようになる。
【０１９５】
【数２０】
【０１９６】
また、
ｎ：認識器の識別番号であり、ｎ＝１，・・・，Ｎ
ｆ0：初期の歩行者頻度ベクトル
ｆn：認識器ｎが出力する歩行者頻度ベクトル
ｆ：Ｎ個の認識器の出力の平均値
ｓl：時刻を含む状況ベクトル（ｌは離散時刻のインデックスを示す整数）
上の式１９により、対象地点ｋごとに算出する。この場合、認識器４０の信頼度が低い値であってもその集積効果により、全体として十分な信頼度の確信度を出力することができると期待される。
【０１９７】
［７−４−６．１台の車両による観測］
車載カメラ画像の認識結果、撮影時刻、撮影場所はカーナビの地図上で対応付けて記憶装置に格納することができる。このようにして１台の車が観測したデータを車載のハードディスクなどに蓄積しておけば、ナビゲーション装置を介して位置ｘkを指定することで、それまでの通過時刻の履歴｛ｓl｝を検索することができる。また、時間情報を状況ベクトルｓで指定すれば他の周囲状況や通過地点ｘが検索できる。１台の車が何度も同じルートを通る場合、車に蓄積される観測データでルート上の通過地点に関する予測（蓄積データにはない未来時刻に関する人発生頻度を推定する）を行うことが可能になる。これは、日種、曜日、時間帯に依存した時空間分布を仮定することで可能になる。
【０１９８】
１台の車に記憶された過去の統計データから、これから走行する予定位置における歩行者発生頻度を予測するには、上記式１７により次式を計算すればよい。
【０１９９】
【数２１】
【０２００】
ただし、
ｘk：各成分は番号ｋを割り振られた地点を地理的に特定する語彙（座標、地名に関する言語表現）、すなわち非数値情報に対応し、これらを数量化理論により数値化した値をとる。具体的には、各語彙を予測対象として指定するときに１、そうでなければ０を入れる。
【０２０１】
ｓl：各成分は番号ｌを割り振られた離散時刻を特定する語彙（季節、月、曜日、時間帯）と対応しており、予測条件として指定するときに１、そうでなければ０を入れる。さらには離散時刻ｌにおけるｘkの付帯状況（天候や周囲環境など）もこのベクトル内で記述できる。
【０２０２】
また、予測対象となった地点で車両が実際に観測した値Ｆ1と予測値Ｆ0との間の誤差ΔＦは次式で表される。
【０２０３】
【数２２】
【０２０４】
［７−４−７．統計データの分類］
予測器５０の入力となる統計データは以下のソースから得られる。
（１）車載の認識器４０の出力（ＥＴ）または人手によるＧＴ
（２）センタ上の認識器の出力または人手によるＧＴ
（３）携帯機器やＰＣによる認識結果（ＥＴ）または人手によるＧＴ
（４）定点観測インフラによる認識結果（ＥＴ）または人手によるＧＴ
危険度という観点では、上記の統計データは次のカテゴリで事前に分類されていることが望ましい。
【０２０５】
（ａ）歩行者の車道内歩行者と車道外歩行者
（ｂ）走路進行方向の右か左
などを分類して予測できれば実効性が向上する。これは観測区域をドライバーの視野から見てＭ個の部分領域に分割し、それらを特徴ベクトルに組み込むことで容易に実現される。
【０２０６】
［７−４−８．認識器４０の性能改善］
予測器５０で算出した予測発生頻度と認識器４０が走行時に撮像した画像から算出した発生頻度の間の差分が大きければ、予測器５０と認識器４０の少なくともどちらか一方について修正を施す必要がある。いま、その差分の大きさを次式のスカラー値で表現する。
【０２０７】
【数２３】
【０２０８】
これは絶対値規範による予測誤差電力と解釈できる。このＥＰがある閾値ＥＰＴＨを超えるとき、予測器５０と認識器４０とに関わる修正を行う。
しかるに、上記式４の予測器５０に関して大幅な修正が必要となるのは以下のケースに限られる。
【０２０９】
（１）ＦATRにおいて、アトラクタとタイムゲートに関する設定が大きく間違っている場合
（２）ＦRFPにおいて、学習データの質または量が十分でない場合
ここで（１）は画像認識が関与しないためここでは考えないこととし、特に（２）に注目する。ＦRFPにおいてどのような予測方式を用いるかによって性能は変わりうるが、ここではあるひとつの予測方式に限定した場合（本実施例では多変量線形回帰予測：式１３、式１４）の修正について考える。
【０２１０】
予測器５０の学習データをすべて人手で作成するのは一般に困難であるので、認識器４０の出力を信頼度つきで予測器５０の学習データとすることはすでに述べた。したがって、予測器５０の改善の問題は、認識器４０の性能改善の問題に集約される。
【０２１１】
認識器４０の性能改善に際しては次の２つの手法がある。
（ＩＰ１）画像認識の学習データの質と量を改善する。
（ＩＰ２）画像認識の設定パラメータを改善する。
【０２１２】
まず、（ＩＰ１）に関しては、次の制約式を満たすまで、学習データを増やすことを行う。
【０２１３】
【数２４】
【０２１４】
ただし、ｒnは、上記式２０で示すごとくである。
すなわち、｛認識器４０の平均値が閾値１（ｆｔｈ）以上｝かつ｛プローブによる確信度の合計値が閾値２（Φｔｈ）｝となるまで学習データを増大させる。これはプローブシステムによってセンタが集めた信頼度つきの画像認識結果を学習データとしてダウンロードすることによって行われる。あるいは事前にセンタ上で計算した認識特性（回帰係数行列）をダウンロードしてもよい。この（ＩＰ１）が完了した段階で再度、上述の予測と認識のプロセスを繰り返し、上記式２２で差分を再評価する。ここで、式２３のＥＰを再度計算し、ＥＰがＥＰＴＨ以下になるならば修正はここで終了する。もし、ＥＰ＞ＥＰＴＨであれば、（ＩＰ２）を開始する。
【０２１５】
（ＩＰ２）の処理、予測、認識、ＥＰ評価を繰り返し、ＥＰがＥＰＴＨ以下になれば終了する。所定のパラメータ範囲内でＥＰＴＨ以下にならなければ、修正を終了してＥＰが最小値をとった場合のパラメータを暫定的に採用し、センタに他の車両の認識器４０の設定例を問い合わせる。
【０２１６】
［８．効果］
本実施形態では、過去の発生頻度データを検索し（図６中のＳ１７０）、ＦPFPを算出する（Ｓ１８０）。具体的には、予測器５０の出力である予測結果をベクトルとして表現する。つまり、予測対象の分類を｛男性、女性、子供、自転車、不明、犬｝×｛右、左｝の合計１２種類で考え、ある車載カメラで観測される歩行者発生頻度の特徴ベクトル（予測の目的変数）を１２次元とした。また、特徴ベクトルが発生する際に、その説明変数となる状況情報を｛場所、日時、天候｝とした。ここで、場所は３次元（それぞれの次元が区間に相当）、日時は｛年、月、曜日｝の合計２２次元、天候は｛晴、曇、雨｝の３次元とする。そして、この２８次元の状況ベクトルに対する特徴ベクトルの回帰関係を線形最小２乗法で解くようにした。
【０２１７】
このように、過去の発生頻度データを時空間情報（状況ベクトル）及び頻度情報（特徴ベクトル）からなる頻度データとし、このような頻度データに基づき、予測器５０によって、予測対象区域におけるオブジェクトの発生頻度を予測する。
【０２１８】
これにより、予測対象区域における歩行者等のオブジェクトの発生頻度を適切に予測することができる。
また、本実施形態では、車両外部を撮像する撮像部４１と、撮像部４１にて撮像される画像に基づき、画像認識結果から頻度情報を生成する認識器４０とを備える構成とした（図１参照）。これにより、頻度データを自車両に集積することが可能となる。
【０２１９】
さらにまた、本実施形態では、認識器４０による画像認識結果に対する信頼度を算出する演算部４５を備える構成とした（図１参照）。演算部４５は、オブジェクトの種類、計測地点、画像認識のためのセンサ及び認識手法、並びに、車両の走行速度の少なくともいずれかに基づき、信頼度を算出する（図７中のＳ２９０）。これにより、集積される画像認識結果に対し信頼度という重み付けを行うことができる。その結果、認識器４０による画像認識結果を予測器５０の学習データとして用いることができる。
【０２２０】
また、本実施形態では、送受信部２０が、車両走行地点の情報、認識器４０による画像認識結果、演算部４５にて算出された信頼度、及び、予測器５０の予測結果をセンタ７０へアップロードする（図７中のＳ３１０，Ｓ３２０）。これにより、予測装置１０を搭載する自車両がプローブカーとして機能する。また、信頼度をアップロードするため、センタ７０に集積される画像認識結果に対し信頼度という重み付けを行うことができる。さらにまた、予測器５０による予測結果をアップロードするため、予測器５０を具備しない車両（図３参照）に対し、予測結果をセンタから配信することができる。もちろん、予測結果をセンタ７０へ送信しない場合でも、センタ７０側で予測を行い、当該センタ７０側の予測結果を配信するようにしてもよい（図４中の大規模予測部７６及び配信部７７）。
【０２２１】
さらにまた、本実施形態では、画像認識のための認識パラメータを認識器４０に設定するパラメータ設定部４２を備えている（図１参照）。パラメータ設定部４２は、過去の頻度データに基づき、又は、対象となるオブジェクトに応じて、認識パラメータを設定する。これにより、画像認識性能の向上に寄与する。
【０２２２】
しかも、予測器５０による予測結果と認識器４０による画像認識結果との差分が閾値以上の場合（図７中のＳ２７０，Ｓ２８０）、認識パラメータを修正する（Ｓ３００）。これにより、認識器４０の性能改善が図られる。
【０２２３】
なお、予測器５０による予測結果と認識器４０による画像認識結果との差分が閾値以上の場合（図７中のＳ２７０，Ｓ２８０）、センタ７０に集積されたアップロード情報を取得するようにしてもよい。このようにすれば、認識器４０の学習データの質と量とが改善される可能性が高くなる。その結果、予測器５０による予測結果と認識器４０による画像認識結果との差分を小さくすることに寄与する。
【０２２４】
また、本実施形態では、過去の頻度データがない場合でも、地理的な要因などからオブジェクトの発生頻度を予測する。
具体的には、学校、店、ショッピングセンタ、病院、駅、テーマパーク、ホール、野球場、バス停、駅、公園などのアトラクタの情報を取得し（図５中のＳ１３０，Ｓ１５０）、ＦATRを算出する（Ｓ１６０）。詳細には、アトラクタ情報からタイムゲート（ＴＧ）を設定し（図８中のＳ４４０）、タイムゲートを矩形波として当該矩形波の伝播を想定し、分岐路で発生頻度の分割処理を行う（図９中のＳ４５１〜Ｓ４５３，Ｓ４５６）。これにより、過去の頻度データが少ない場合でも、地理的な要因などからオブジェクトの発生頻度を予測することができる。また、タイムゲートを矩形波で定義するため、アトラクタに起因するオブジェクトの発生頻度を比較的容易に予測することができる。さらにまた、タイムゲートを定義する矩形波は、アトラクタの平均収容人数を高さとするものとして初期化される。これにより、タイムゲートを比較的簡単な矩形波として定義することができる。また、予測器５０は、時間的に遡る矩形波の伝播である逆伝播に基づき、予測対象区域におけるオブジェクトの発生頻度を予測する。これにより、アトラクタに対してのオブジェクトの流入時間から、それ以前のオブジェクトの発生頻度を予測することができる。さらにまた、予測器５０は、自車両の予測対象区域の通過時間を考慮して、予測対象区域におけるオブジェクトの発生頻度を予測する。これにより、確実にオブジェクトの発生頻度を予測することができる。
【０２２５】
なお、本実施形態における送受信部２０が「頻度データ取得手段」及び「送信部」に相当し、予測器５０が「予測器」に相当し、撮像部４１が「撮像部」に相当し、認識器４０が「認識器」に相当し、演算部４５が「演算部」に相当し、パラメータ設定部４２が「パラメータ設定部」に相当する。
【０２２６】
また、図５中のＳ１３０及びＳ１５０が「アトラクタ情報取得手段」の機能としての処理に相当し、図８中のＳ４４０が「タイムゲート設定手段」の機能としての処理に相当する。
【０２２７】
以上、本発明は、上述した実施形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において種々なる形態で実施可能である。
【符号の説明】
【０２２８】
１０，１１，１２…予測装置
２０…送受信部
２１…受信部
３０…ナビゲーション装置
３１…報知部
３２…アトラクタ情報
４０…認識器
４１…撮像部
４２…パラメータ設定部
４３…評価部
４４…変換部
４５…演算部
４６…情報生成部
５０…予測器
６０…記憶部
７０…センタ
【特許請求の範囲】
【請求項１】
車両に搭載されて用いられ、予定走行経路上の所定区域である予測対象区域における車両外部のオブジェクトの発生頻度を予測する予測装置であって、
過去の発生頻度に関する頻度データであって、時空間を定義する時空間情報及び当該時空間情報に対応し前記発生頻度を定義する頻度情報とからなる頻度データを取得する頻度データ取得手段と、
前記頻度データ取得手段にて取得される前記頻度データに基づき、前記予測対象区域における前記オブジェクトの発生頻度を予測する予測器と、
を備えていることを特徴とする予測装置。
【請求項２】
請求項１に記載の予測装置において、
前記時空間情報は、状況情報を説明変数とする状況ベクトルとして定義されること
を特徴とする予測装置。
【請求項３】
請求項２に記載の予測装置において、
前記状況情報には、場所、日時、及び、天候の情報が含まれること
を特徴とする予測装置。
【請求項４】
請求項３に記載の予測装置において、
前記頻度情報は、特徴情報を目的変数とする特徴ベクトルとして定義されること
を特徴とする予測装置。
【請求項５】
請求項４に記載の予測装置において、
前記特徴情報には、オブジェクトの種類及び車両からの景観を複数に分割した部分領域の情報が含まれること
を特徴とする予測装置。
【請求項６】
請求項４又は５に記載の予測装置において、
前記予測器は、前記状況ベクトルに対する前記特徴ベクトルの回帰関係を線形最小二乗法で解くことにより、前記予測対象区域における前記オブジェクトの発生頻度を予測すること
を特徴とする予測装置。
【請求項７】
請求項１〜６のいずれか一項に記載の予測装置において、
車両外部を撮像する撮像部と、
前記撮像部にて撮像される画像に基づき、画像認識結果から前記頻度情報を生成する認識器と、
を備えていることを特徴とする予測装置。
【請求項８】
請求項７に記載の予測装置において、
前記認識器による前記画像認識結果に対する信頼度を算出する演算部を備えていること
を特徴とする予測装置。
【請求項９】
請求項８に記載の予測装置において、
前記演算部は、前記オブジェクトの種類、計測地点、画像認識のためのセンサ及び認識手法、並びに、車両の走行速度の少なくともいずれかに基づき、信頼度を算出すること
を特徴とする予測装置。
【請求項１０】
請求項７〜９のいずれか一項に記載の予測装置において、
車両走行地点の情報、及び、前記認識器による前記画像認識結果をアップロード情報としてセンタへアップロードする送信部を備えていること
を特徴とする予測装置。
【請求項１１】
請求項１０に記載の予測装置において、
前記アップロード情報には、前記演算部にて算出された前記信頼度が含まれること
を特徴とする予測装置。
【請求項１２】
請求項１０又は１１に記載の予測装置において、
前記アップロード情報には、前記予測器による予測結果が含まれること
を特徴とする予測装置。
【請求項１３】
請求項７〜１２のいずれか一項に記載の予測装置において、
前記予測器による予測結果と前記認識器による認識結果との差分が閾値以上の場合、センタに集積された前記アップロード情報を取得すること
を特徴とする予測装置。
【請求項１４】
請求項７〜１３のいずれか一項に記載の予測装置において、
画像認識のための認識パラメータを認識器に設定するパラメータ設定部を備えていること
を特徴とする予測装置。
【請求項１５】
請求項１４に記載の予測装置において、
前記パラメータ設定部は、過去の頻度データに基づき、前記認識パラメータを設定すること
を特徴とする予測装置。
【請求項１６】
請求項１４又は１５に記載の予測装置において、
前記パラメータ設定部は、対象となるオブジェクトに応じて、前記認識パラメータを設定すること
を特徴とする予測装置。
【請求項１７】
請求項１４〜１６のいずれか一項に記載の予測装置において、
前記予測器による予測結果と前記認識器による画像認識結果との差分が閾値以上の場合、前記パラメータ設定部は、前記認識パラメータを修正して設定すること
を特徴とする予測装置。
【請求項１８】
請求項１〜１７のいずれか一項に記載の予測装置において、
集客力を有し、前記オブジェクトの流出入の駆動する要素であるアトラクタの情報を取得するアトラクタ情報取得手段と、
前記アトラクタ情報に基づき、時間的要因に影響される前記アトラクタでの前記オブジェクトの存在確率をタイムゲートとして設定するタイムゲート設定手段と、を備え、
前記予測器は、前記アトラクタと前記予測対象区域との距離、及び、前記タイムゲートに基づき、前記予測対象区域における前記オブジェクトの発生頻度を予測すること
を特徴とする予測装置。
【請求項１９】
請求項１８に記載の予測装置において、
前記タイムゲートは、前記オブジェクトの発生頻度を高さとする矩形波で定義され、
前記予測器は、前記アトラクタから前記予測対象区域までの分岐路にて分割される前記矩形波の伝播を想定し、前記予測対象区域における前記オブジェクトの発生頻度を予測すること
を特徴とする予測装置。
【請求項２０】
請求項１９に記載の予測装置において、
前記タイムゲートを定義する矩形波は、前記アトラクタの平均収容人数を高さとするものとして初期化されること
を特徴とする予測装置。
【請求項２１】
請求項１９又は２０に記載の予測装置において、
前記予測器は、時間的に遡る前記矩形波の伝播である逆伝播に基づき、前記予測対象区域における前記オブジェクトの発生頻度を予測すること
を特徴とする予測装置。
【請求項２２】
請求項１８〜２１のいずれか一項に記載の予測装置において、
前記予測器は、自車両の前記予測対象区域の通過時間を考慮して、前記予測対象区域における前記オブジェクトの発生頻度を予測すること
を特徴とする予測装置。
【請求項１】
車両に搭載されて用いられ、予定走行経路上の所定区域である予測対象区域における車両外部のオブジェクトの発生頻度を予測する予測装置であって、
過去の発生頻度に関する頻度データであって、時空間を定義する時空間情報及び当該時空間情報に対応し前記発生頻度を定義する頻度情報とからなる頻度データを取得する頻度データ取得手段と、
前記頻度データ取得手段にて取得される前記頻度データに基づき、前記予測対象区域における前記オブジェクトの発生頻度を予測する予測器と、
を備えていることを特徴とする予測装置。
【請求項２】
請求項１に記載の予測装置において、
前記時空間情報は、状況情報を説明変数とする状況ベクトルとして定義されること
を特徴とする予測装置。
【請求項３】
請求項２に記載の予測装置において、
前記状況情報には、場所、日時、及び、天候の情報が含まれること
を特徴とする予測装置。
【請求項４】
請求項３に記載の予測装置において、
前記頻度情報は、特徴情報を目的変数とする特徴ベクトルとして定義されること
を特徴とする予測装置。
【請求項５】
請求項４に記載の予測装置において、
前記特徴情報には、オブジェクトの種類及び車両からの景観を複数に分割した部分領域の情報が含まれること
を特徴とする予測装置。
【請求項６】
請求項４又は５に記載の予測装置において、
前記予測器は、前記状況ベクトルに対する前記特徴ベクトルの回帰関係を線形最小二乗法で解くことにより、前記予測対象区域における前記オブジェクトの発生頻度を予測すること
を特徴とする予測装置。
【請求項７】
請求項１〜６のいずれか一項に記載の予測装置において、
車両外部を撮像する撮像部と、
前記撮像部にて撮像される画像に基づき、画像認識結果から前記頻度情報を生成する認識器と、
を備えていることを特徴とする予測装置。
【請求項８】
請求項７に記載の予測装置において、
前記認識器による前記画像認識結果に対する信頼度を算出する演算部を備えていること
を特徴とする予測装置。
【請求項９】
請求項８に記載の予測装置において、
前記演算部は、前記オブジェクトの種類、計測地点、画像認識のためのセンサ及び認識手法、並びに、車両の走行速度の少なくともいずれかに基づき、信頼度を算出すること
を特徴とする予測装置。
【請求項１０】
請求項７〜９のいずれか一項に記載の予測装置において、
車両走行地点の情報、及び、前記認識器による前記画像認識結果をアップロード情報としてセンタへアップロードする送信部を備えていること
を特徴とする予測装置。
【請求項１１】
請求項１０に記載の予測装置において、
前記アップロード情報には、前記演算部にて算出された前記信頼度が含まれること
を特徴とする予測装置。
【請求項１２】
請求項１０又は１１に記載の予測装置において、
前記アップロード情報には、前記予測器による予測結果が含まれること
を特徴とする予測装置。
【請求項１３】
請求項７〜１２のいずれか一項に記載の予測装置において、
前記予測器による予測結果と前記認識器による認識結果との差分が閾値以上の場合、センタに集積された前記アップロード情報を取得すること
を特徴とする予測装置。
【請求項１４】
請求項７〜１３のいずれか一項に記載の予測装置において、
画像認識のための認識パラメータを認識器に設定するパラメータ設定部を備えていること
を特徴とする予測装置。
【請求項１５】
請求項１４に記載の予測装置において、
前記パラメータ設定部は、過去の頻度データに基づき、前記認識パラメータを設定すること
を特徴とする予測装置。
【請求項１６】
請求項１４又は１５に記載の予測装置において、
前記パラメータ設定部は、対象となるオブジェクトに応じて、前記認識パラメータを設定すること
を特徴とする予測装置。
【請求項１７】
請求項１４〜１６のいずれか一項に記載の予測装置において、
前記予測器による予測結果と前記認識器による画像認識結果との差分が閾値以上の場合、前記パラメータ設定部は、前記認識パラメータを修正して設定すること
を特徴とする予測装置。
【請求項１８】
請求項１〜１７のいずれか一項に記載の予測装置において、
集客力を有し、前記オブジェクトの流出入の駆動する要素であるアトラクタの情報を取得するアトラクタ情報取得手段と、
前記アトラクタ情報に基づき、時間的要因に影響される前記アトラクタでの前記オブジェクトの存在確率をタイムゲートとして設定するタイムゲート設定手段と、を備え、
前記予測器は、前記アトラクタと前記予測対象区域との距離、及び、前記タイムゲートに基づき、前記予測対象区域における前記オブジェクトの発生頻度を予測すること
を特徴とする予測装置。
【請求項１９】
請求項１８に記載の予測装置において、
前記タイムゲートは、前記オブジェクトの発生頻度を高さとする矩形波で定義され、
前記予測器は、前記アトラクタから前記予測対象区域までの分岐路にて分割される前記矩形波の伝播を想定し、前記予測対象区域における前記オブジェクトの発生頻度を予測すること
を特徴とする予測装置。
【請求項２０】
請求項１９に記載の予測装置において、
前記タイムゲートを定義する矩形波は、前記アトラクタの平均収容人数を高さとするものとして初期化されること
を特徴とする予測装置。
【請求項２１】
請求項１９又は２０に記載の予測装置において、
前記予測器は、時間的に遡る前記矩形波の伝播である逆伝播に基づき、前記予測対象区域における前記オブジェクトの発生頻度を予測すること
を特徴とする予測装置。
【請求項２２】
請求項１８〜２１のいずれか一項に記載の予測装置において、
前記予測器は、自車両の前記予測対象区域の通過時間を考慮して、前記予測対象区域における前記オブジェクトの発生頻度を予測すること
を特徴とする予測装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１７】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１７】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１２−１１７８２９（Ｐ２０１２−１１７８２９Ａ）
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願番号】特願２０１０−２６５１３８（Ｐ２０１０−２６５１３８）
【出願日】平成２２年１１月２９日（２０１０．１１．２９）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願日】平成２２年１１月２９日（２０１０．１１．２９）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]