説明

道路撮影システム

【課題】道路上の監視区域に沿って設けられたカメラの撮像画像を補正する道路撮影システムを提供することである。
【解決手段】実施形態の道路撮影システムは、道路上の監視区域に沿って設けられ、前記監視区域を撮影するカメラと、前記カメラによって撮影された前記監視区域の物体を検出するための第1の画像を格納する格納手段と、前記カメラによって撮影された前記監視区域の物体を検出するための第2の画像と前記格納手段によって格納された前記第1の画像との差分を検出する差分検出手段と、前記差分検出手段で検出した差分を基に前記第1の画像と前記第2の画像とにより、前記監視区域の物体を検出する物体検出手段と、外部からの気象観測情報を入力する手段を含み、前記気象観測情報と前記差分検出手段の差分検出結果との関係を解析する解析手段とを有する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、道路撮影システムに関する。
【背景技術】
【0002】
高速道路等の道路には、道路状況を把握する為のカメラが設置されており、このカメラにより撮影された画像から車両を検出する車両検出システムが知られている。
【0003】
道路上や屋外に設置されたカメラは、車両の通行による振動や風などの影響を受けやすく、揺れやすい環境にある。
【0004】
このため、カメラにより異なるタイミングで撮影された複数画像の差分を検出し、この差分に基づき道路上の車両を検出する車両検出システムでは、カメラの揺れにより生じた画像の差分を車両などによる画像の差分として検出する可能性がある。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2006−101485号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明が解決しようとする課題は、道路上の監視区域に沿って設けられたカメラの撮像画像を補正する道路撮影システムを提供することである。
【課題を解決するための手段】
【0007】
上記課題を達成するために、実施形態の道路撮影システムは、道路上の監視区域に沿って設けられ、前記監視区域を撮影するカメラと、前記カメラによって撮影された前記監視区域の物体を検出するための第1の画像を格納する格納手段と、前記カメラによって撮影された前記監視区域の物体を検出するための第2の画像と前記格納手段によって格納された前記第1の画像との差分を検出する差分検出手段と、前記差分検出手段で検出した差分を基に前記第1の画像と前記第2の画像とにより、前記監視区域の物体を検出する物体検出手段と、外部からの気象観測情報を入力する手段を含み、前記気象観測情報と前記差分検出手段の差分検出結果との関係を解析する解析手段とを有する。
【図面の簡単な説明】
【0008】
【図1】第1〜第5の実施形態に共通の道路撮影システムの一例を示すブロック図である。
【図2】第3の実施形態に係る第1の提供サービス制御処理の一例を示すフローチャートである。
【図3】第4の実施形態に係る第2の提供サービス制御処理の一例を示すフローチャートである。
【図4】第5の実施形態に係る第3の提供サービス制御処理の一例を示すフローチャートである。
【図5】第1の実施形態に係る第1の揺れ検出処理の一例を示すフローチャートについて説明する。
【図6】第2の実施形態に係る第2の揺れ検出処理の一例を示すフローチャートについて説明する。
【図7】実施形態に係る差分画像からの物体検出(例えば車両検出)の一例を説明するための図である。
【図8】実施形態に係る揺れの影響を受けた撮像画像からの物体の誤検出(例えば車両の誤検出)の一例を説明するための図である。
【図9】実施形態に係る揺れの影響を受けた撮像画像を揺れの影響の無い撮像画像へ補正する補正処理の一例を説明するための図である。
【図10】実施形態に係る車両の変位ベクトルの検出処理の一例を説明するための図である。
【発明を実施するための形態】
【0009】
以下、第1〜第5の実施形態について図面を参照して説明する。
【0010】
図1は、第1〜第5の実施形態に共通の道路撮影システム10の一例を示すブロック図である。図1に示すように、道路撮影システム10は、上位装置1、撮像装置2、画像処理部3、画像判定部4を備え、画像判定部4には、風速計5(気象観測装置)からの気象観測情報を外部から入力する入力部41を備えている。道路撮影システム10は、道路上の監視区域6を撮影して物体(例えば車両7など)を検出する。
【0011】
第1の実施形態では、道路撮影システム10の第1の揺れ検出処理(図5参照)の一例について説明する。また、第2の実施形態では、道路撮影システム10の第2の揺れ検出処理(図6参照)の一例について説明する。
【0012】
また、第3の実施形態では、道路撮影システム10の第1の揺れ検出処理を利用した第1の提供サービス制御処理(図2参照)の一例について説明する。また、第4の実施形態では、道路撮影システム10の第2の揺れ検出処理を利用した第2の提供サービス制御処理(図3参照)の一例について説明する。また、第5の実施形態では、道路撮影システム10の第1及び第2の揺れ検出処理を利用した第3の提供サービス制御処理(図4参照)の一例について説明する。
【0013】
(第1の実施形態)
図1、図5、図7〜図9を参照し、第1の揺れ検出処理の一例について説明する。
【0014】
道路撮影システム10の撮像装置2は、高速道路等の道路上の監視区域6に沿って設置され、監視区域6を撮影するカメラであり、道路等を走行する車両7を撮影することができる。撮影装置2の撮影により取得された動画データは、画像処理部3に送信される。また、撮影装置2の撮影により取得された動画データは、上位装置1にも送信され、上位装置1の表示部12は、動画データに基づく映像を表示する。
【0015】
画像処理部3は、動画データを受信して記憶部31に記憶し、動画データから基準画像(第1のタイミングで撮影された第1の画像)を検出し、また、動画データから撮像画像(第1のタイミングと異なるタイミングで撮影された第2の画像)を検出する。
【0016】
動画データは、複数の静止画により構成される画像データであり、画像処理部3は、第1のタイミングで撮影された静止画、又は指定されたタイミングで撮影された静止画を基準画像として設定し(ST501)、第1のタイミングと異なる第2のタイミング(第1のタイミングより遅れた第2のタイミング)で撮影された静止画を撮像画像として設定する(ST502)。
【0017】
例えば、上位装置1は、操作入力部11を備え、操作入力部11は、オペレータからの基準画像の取得指示の入力を受け付け、画像処理部3に基準画像の取得指示を通知する。画像処理部3は、基準画像の取得指示のタイミングで撮影された静止画を基準画像として設定する。オペレータは、表示部12に表示される映像を見ながら、つまり撮影装置2の撮影により取得された動画データに基づく映像を見ながら、映像中に車両7が映っていないタイミングで、操作入力部11を介して基準画像の取得指示を入力する。これにより、図7に示すような道路8のみの画像(基準画像)が設定される。
【0018】
また、操作入力部11は、オペレータからの道路状況の監視を開始する監視開始指示の入力を受け付け、画像処理部3に監視開始指示を通知する。画像処理部3は、監視開始指示のタイミングで撮影された静止画、又は監視開始指示のタイミングの後に定期的に撮影された複数の静止画を撮像画像として設定する(ST502)。例えば、図7に示すような車両7が映った画像(撮像画像)が設定される(第1の画像を格納する格納手段)。
【0019】
画像判定部4は、基準画像と撮像画像とを比較し、基準画像と撮像画像との差分を検出し、差分を評価する(差分検出手段)。例えば、画像判定部4は、図7に示すような差分画像を生成し、この差分画像から物体(例えば車両7)を検出する(物体検出手段)。
【0020】
図8に示すように、撮影装置2が様々な要因(例えば風、地震、走行車両の振動など)により揺れると、撮影装置2の撮影範囲がずれてしまい、本来の撮影範囲と異なる撮影範囲の撮像画像(揺れの影響を受けた撮像画像)が取得されてしまうことがある。基準画像と揺れの影響を受けた撮像画像とを比較すると、実際には、基準画像と揺れの影響を受けた撮像画像との差分が無いにもかかわらず(或いは差分が小さいにもかかわらず)、撮影範囲がずれたことにより、基準画像と揺れの影響を受けた撮像画像から差分が検出されてしまう。この差分検出は、物体の誤検出につながることがある。
【0021】
そこで、図9に示すように、撮影範囲に目印9を設定し、基準画像と撮像画像とを比較する際に、撮影された目印9により基準画像と撮像画像との比較位置を補正することで、撮影装置2の撮影範囲のずれによる差分検出影響を少なくする。
【0022】
図9に示す実施形態では、画像処理部3は、基準画像から無変化領域(第1の無変化領域)に相当する目印9(第1の目印画像)を検出し設定する。画像処理部3が、自動的に、基準画像から第1の目印画像を検出してもよいし、また、画像処理部3が、上位装置1からの目印指定に基づき基準画像から第1の目印画像を検出してもよい。画像処理部3が、自動的に基準画像から第1の目印画像を検出する場合、基準画像上における第1の目印画像の位置情報(座標データ)を記憶部31に記憶し、この位置情報に基づき撮像画像から無変化領域(第2の無変化領域)に相当する目印9(第2の目印画像)を検出し設定する。
【0023】
また、画像処理部3が、上位装置1からの目印指定に基づき基準画像から第1の目印画像を検出する場合について簡単に説明する。例えば、オペレータは、表示部12に表示される映像を見ながら、表示部12に対応して設けられたタッチパネル12aを介して映像中の目印9を指定する。これに対応して、上位装置1は、画像処理部3に対して目印指定(画像中の位置情報(座標データ))を通知する。画像処理部3は、目印指定に基づき基準画像から第1の目印画像を検出し設定する。さらに、画像処理部3は、目印指定に含まれた位置情報に基づき撮像画像からも無変化領域(第2の無変化領域)に相当する目印9(第2の目印画像)を検出し設定する。
【0024】
画像判定部4は、基準画像と撮像画像とを比較し、差分を検出し、差分を評価する(ST503)。画像判定部4が、基準画像と撮像画像との差分無し、或いは基準画像と撮像画像との差分は第1の基準値に満たない(差分は非常に小さい)と判定した場合(ST504、NO)、画像判定部4は、さらに、画像(道路状況)に変化なしと判定する。この場合、基準画像と前記撮像画像の後続の別の撮像画像とを比較し、差分を検出し、差分を評価する処理を継続する。
【0025】
画像判定部4が、基準画像と撮像画像との差分有り、或いは基準画像と撮像画像との差分は第1の基準値以上と判定し(ST504、YES)、さらに、基準画像中の第1の目印画像と撮像画像中の第2の目印画像との差分(ずれ幅)無し(座標データの差分無し)、或いは基準画像中の第1の目印画像と撮像画像中の第2の目印画像との差分は第2の基準値に満たない(座標データの差分は第2の基準値に満たない)と判定した場合(ST505、NO)、基準画像と撮像画像との差分を出力する(ST506)。このケースでは、撮像装置2に対する揺れの影響は無い、又は撮像装置2に対する揺れの影響が小さいと判定できるため、基準画像と撮像画像との差分をそのまま出力する。例えば、上位装置1は、画像判定部4からの差分出力に基づき、物体(例えば車両7)を検出し、物体検出情報を蓄積し、道路状況を判定し、道路状況判定結果を出力する。
【0026】
画像判定部4が、基準画像と撮像画像との差分有り、或いは基準画像と撮像画像との差分は第1の基準値以上と判定し(ST504、YES)、さらに、基準画像中の第1の目印画像と撮像画像中の第2の目印画像との差分有り、或いは基準画像中の第1の目印画像と撮像画像中の第2の目印画像との差分は第2の基準値以上と判定した場合(ST505、YES)、後続の画像補正処理に移行する。このケースでは、撮像装置2に対する揺れの影響が有ると判定できるため、基準画像と撮像画像との差分をそのまま出力せずに、後続の画像補正処理に移行する。
【0027】
画像判定部4は、撮像画像から第2の目印画像を検出できていない場合には(ST507、NO)、異常信号Aを出力する(ST508)。例えば、撮像装置2の揺れが大きく、撮像装置2の撮影範囲が大きくずれてしまっている場合には、撮像画像から第2の目印画像を検出できないことがある。また、撮像装置2に対して汚れやゴミが付着し、道路上の監視区域6が撮影できない場合にも、撮像画像から第2の目印画像を検出できないことがある。
【0028】
また、画像判定部4は、基準画像中の第1の目印画像と撮像画像中の第2の目印画像との差分は第2の基準値以上で且つ第3基準値(>第2基準値)以上と判定した場合には(ST509、NO)、異常信号Bを出力する(ST510)。つまり、基準画像中の第1の目印画像と撮像画像中の第2の目印画像との差分が非常に大きい場合は、異常信号Bを出力する。
【0029】
画像判定部4は、基準画像中の第1の目印画像と撮像画像中の第2の目印画像との差分は第2の基準値以上で且つ第3基準値(>第2基準値)に満たないと判定した場合には(ST509、YES)、画像補正処理(ST511、ST512)を実行し、異常信号Cを出力する(ST513)。
【0030】
例えば、画像判定部4は、基準画像中の第1の目印画像と撮像画像中の第2の目印画像との差分(ずれの幅)を計算し(ST511)、計算結果に基づき撮像画像を補正する(ST512)。図9に示すように、画像判定部4は、揺れの影響を受けた撮像画像から、揺れの影響による余分な画像を削除し、揺れの影響を受けた撮像画像を揺れの影響の無い撮像画像へ補正する。次に、画像判定部4は、基準画像と補正した撮像画像(補正撮像画像)とを比較して差分を検出し、差分を評価する(ST512)。または、他の実施形態として画像補正処理(ST511、ST512)として、画像判定部4は、基準画像と揺れの影響を受けた撮像画像とを比較するために、基準画像を基準画像中の第1の目印画像と撮像画像中の第2の目印画像との差分の計算結果に基づき補正する。次に、画像判定部4は、補正した基準画像(補正基準画像)と撮像画像とを比較して差分を検出し、差分を評価する。
【0031】
次に、画像判定部4は、基準画像と補正撮像画像との差分無し、或いは基準画像と補正撮像画像との差分は第1の基準値に満たないと判定した場合(ST514、NO)、画像(道路状況)に変化なしと判定する。この場合、基準画像と前記撮像画像の後続の別の撮像画像とを比較して差分を検出し、差分を評価する処理を継続する。画像判定部4は、基準画像と補正撮像画像との差分有り、或いは基準画像と補正撮像画像との差分は第1の基準値以上と判定した場合(ST514、YES)、画像(道路状況)に変化ありと判定し、基準画像と補正撮像画像との差分を出力する(ST515)。または、他の実施形態として補正基準画像と撮像画像との差分を判定し、その判定結果により、補正基準画像と撮像画像との差分を出力するとしても良い。
【0032】
上記説明したように、第1の実施形態の道路撮影システム10は、基準画像から検出された第1の目印画像と、撮像画像から検出された第2の目印画像とを比較し、撮像装置2の揺れを検出することができる。また、第1の実施形態の道路撮影システム10は、撮像装置2の揺れの影響を受けた撮像画像を、揺れの影響の無い撮像画像へ補正することができる。さらに、第1の実施形態の道路撮影システム10は、基準画像と補正撮像画像とを比較することができ、撮像装置2の揺れの影響のない差分、又は撮像装置2の揺れの影響の少ない差分を出力することができる。これにより、上位装置1は、差分に基づき物体を検出することができ、物体の検出結果から道路状況を検出することができる。
【0033】
(第2の実施形態)
図1、図6、図10を参照し、第2の揺れ検出処理の一例について説明する。
【0034】
道路撮影システム10の撮像装置2は、高速道路等の道路上の監視区域6に沿って設置され、監視区域6を撮影するカメラであり、道路等を走行する車両7を撮影することができる。撮影装置2の撮影により取得された動画データは、画像処理部3に送信される。また、撮影装置2の撮影により取得された動画データは、上位装置1にも送信され、上位装置1の表示部12は、動画データに基づく映像を表示する。
【0035】
画像処理部3は、動画データを受信して記憶部31に記憶し、動画データから第1のタイミングで撮影された第1の画像を検出し、また、動画データから第1のタイミングと異なるタイミングで撮影された第2の画像を検出する。動画データは、複数の静止画により構成されるデータであり、画像処理部3は、第1のタイミングと異なる第2のタイミング(第1のタイミングよりN時間(Nは所定時間の値を示す文字)遅れた第2のタイミング)で撮影された静止画を第2の画像(B画像)として入力する(ST601)。
【0036】
次に、第1のタイミング(第2のタイミングよりN時間前(例えば、N(millisecond)前)のタイミング)で撮影された静止画を第1の画像(A画像)として入力する(ST602)(第1の画像を格納する格納手段)。
【0037】
画像判定部4は、第1の画像と第2の画像とを比較し、第1の画像と第2の画像との差分を検出し、差分を評価する。例えば、画像判定部4は、差分評価に基づき、第1の画像と第2の画像において、X時間以上(Xは所定時間の値を示す文字(X>N))の間、差分が生じない領域を静止物領域と判定する(静止物のある領域と判定する)(ST603)。
【0038】
画像判定部4は、静止物領域に差分が発生していない、又は差分が基準値未満であることを検出し(ST604、NO)、この検出に対応して、第1の画像と第2の画像との差分に基づき車両変位ベクトルを検出し、車両変位ベクトルを出力する(ST605)。
【0039】
また、画像判定部4は、静止物領域に差分が発生している、又は差分が基準値以上であることを検出し(ST604、YES)、異常信号Dを出力する(ST606)。さらに、画像判定部4は、図10に示すように、まず、静止物領域の差分に基づき、静止物変位(カメラの揺れ)ベクトル(第1のベクトル)を検出(差分検出手段)し(ST607)、次に、静止物変位ベクトル(第1のベクトル)と、静止物変位ベクトル以外のベクトル量(車両変位ベクトル(第2のベクトル))とを含む第2の画像から、車両変位ベクトルを検出(物体検出手段)して、車両変位ベクトルを出力する(ST608)。
【0040】
上記説明したように、第2の実施形態の道路撮影システム10は、第1の画像と第2の画像とを比較し、静止物領域を検出し、さらに静止物領域から静止物変位ベクトルを検出し、次に車両変位ベクトルを検出し、出力することができる。これにより、上位装置1は、車両変位ベクトルに基づき物体(例えば車両7)を検出することができ、物体の検出結果から道路状況を検出することができる。
【0041】
(第3の実施形態)
図1、図2を参照し、第1の揺れ検出処理を利用した第1の提供サービス制御処理の一例について説明する。
【0042】
上位装置1は、第1の実施形態で説明した第1の揺れ検出処理(ST500)に基づき、異常信号Aを検出すると(ST201、YES)、撮像装置2の故障を検出し(ST202)、車両検出に基づくサービスの提供(道路状況等のサービスの提供)を停止する(ST203)。
【0043】
また、上位装置1は、異常信号Aを検出せず(ST201、NO)、異常信号Bを検出すると(ST204、YES)、撮像装置2の位置ずれを検出し(ST205)、車両検出に基づくサービスの提供(道路状況等のサービスの提供)を停止する(ST206)。
【0044】
また、上位装置1は、異常信号Aを検出せず(ST201、NO)、異常信号Bも検出せず(ST204、NO)、異常信号Cも検出しなければ(ST207、NO)、車両検出に基づくサービスの提供(道路状況等のサービスの提供)を継続する(ST208)。
【0045】
また、上位装置1は、異常信号Aを検出せず(ST201、NO)、異常信号Bを検出せず(ST204、NO)、異常信号Cを検出し(ST207、YES)、且つ異常信号Cの出力継続時間が一定以上の場合には車両検出に基づくサービスの提供(道路状況等のサービスの提供)を停止する(ST210)。
【0046】
また、上位装置1は、異常信号Cの出力継続時間が一定以上でなければ(ST209、NO)、風速計5からの風の情報(風向き情報、風速情報)を取得し(ST211)(外部からの気象観測情報を入力する手段)、風の情報と、基準画像中の第1の目印画像と撮像画像中の第2の目印画像との差分(第1の目印画像の位置(位置情報(座標データ))と第2の目印画像の位置との変位(位置情報(座標データ)))との相関性(相互に関係しあっている傾向)を解析する(ST212)。
【0047】
上位装置1は、相関性有りの判定の場合(ST213、YES)、撮像装置2の揺れの原因を風によるものと判定して(ST216)、撮像装置2の揺れの原因の情報を表示部12と出力部13とに出力し、出力部13は道路撮影システム10の外部に揺れの原因の情報を出力する。次に、上位装置1は、風速計5の風速情報の値が一定値以上であれば(ST217、YES)、車両検出に基づくサービスの提供(道路状況等のサービスの提供)を停止する(ST218)。風速情報の値が一定値以上であれば、撮像画像から物体を検出したとしても誤検出の可能性が高くなるため、車両検出に基づくサービスの提供(道路状況等のサービスの提供)を停止する。
【0048】
上位装置1は、相関性無しの判定の場合(ST213、NO)、撮像装置2の揺れの原因を車両7の走行によるものと判定して(ST214)、撮像装置2の揺れの原因の情報を表示部12と出力部13とに出力し、出力部13は道路撮影システム10の外部に揺れの原因の情報を出力する。次に、上位装置1は、車両検出に基づくサービスの提供(道路状況等のサービスの提供)を継続する(ST215)。上位装置1は、撮像装置2の揺れの原因が車両7の走行によるものであれば、車両7が道路上の監視区域6に存在しているとして、撮像画像から物体を検出し、道路状況等の情報を提供する。しかし、このときに、上位装置1が撮像画像から物体を検出できない場合、上位装置1は、表示部12に風速計5の風速検出の異常や動作の確認等の表示を行う。また、上位装置1は、画像判定部4の入力部41から風速計5の情報を入力し、その風速計5の情報と撮像装置2の揺れの原因の情報との比較により、風速計5の風速検出の異常や動作の確認等を行うことにより風速計5からの情報の異常監視を行う(監視手段)。
【0049】
また、上位装置1は、風速情報の値が一定値以上でなければ(ST217、NO)、車両検出に基づくサービスの提供(道路状況等のサービスの提供)を継続する。風速情報の値が一定値以上でなければ、撮像画像(補正撮像画像)から物体を検出したとしても誤検出の可能性が低くなるため、車両検出に基づくサービスの提供(道路状況等のサービスの提供)を継続する(ST219)。
【0050】
上記説明したように、第3の実施形態の道路撮影システム10は、物体の検出結果から道路状況を検出するとともに、撮像装置2の揺れの原因を検出(解析手段)することができる。また、検出した原因に応じて車両検出に基づくサービスの提供を判断し(出力判断手段)、車両検出に基づくサービスの提供(道路状況等のサービスの提供(検出結果出力手段))を停止したり、継続したりすることができる。
【0051】
(第4の実施形態)
図1、図3を参照し、第2の揺れ検出処理を利用した第2の提供サービス制御処理の一例について説明する。
【0052】
上位装置1は、第2の実施形態で説明した第2の揺れ検出処理(ST600)に基づき、異常信号Dを検出しなければ(ST301、NO)、道路状況等の車両検出に基づくサービスの提供(道路状況等のサービスの提供)を継続する(ST302)。上位装置1は、異常信号Dを検出すると(ST301、YES)、風速計5からの風の情報(風向き情報、風速情報)を取得し(ST311)、静止物領域の変位ベクトルを検出し(ST312)(外部からの気象観測情報を入力する手段)、風の情報と静止物領域の変位ベクトルとの相関性(相互に関係しあっている傾向)を解析する(ST313)。
【0053】
上位装置1は、相関性有りの判定の場合(ST313、YES)、撮像装置2の揺れの原因を風によるものと判定して(ST316)、撮像装置2の揺れの原因の情報を表示部12と出力部13とに出力し、出力部13は道路撮影システム10の外部に揺れの原因の情報を出力する。次に、上位装置1は、風速計5の風速情報の値が一定値以上であれば(ST317、YES)、車両検出に基づくサービスの提供(道路状況等のサービスの提供)を停止する(ST318)。風速情報の値が一定値以上であれば、撮像画像から物体を検出したとしても誤検出の可能性が高くなるため、車両検出に基づくサービスの提供(道路状況等のサービスの提供)を停止する。
【0054】
上位装置1は、相関性無しの判定の場合(ST313、NO)、撮像装置2の揺れの原因を車両7の走行によるものと判定して(ST314)、撮像装置2の揺れの原因の情報を表示部12と出力部13とに出力し、出力部13は道路撮影システム10の外部に揺れの原因の情報を出力する。次に、上位装置1は、車両検出に基づくサービスの提供(道路状況等のサービスの提供)を継続する(ST315)。上位装置1は、撮像装置2の揺れの原因が車両7の走行によるものであれば、車両7が道路上の監視区域6に存在しているとして、撮像画像から物体を検出し、道路状況等の情報を提供する。しかし、このときに、上位装置1が撮像画像から物体を検出できない場合、上位装置1は、表示部12に風速計5の風速検出の異常や動作の確認等の表示を行う。また、上位装置1は、画像判定部4の入力部41から風速計5の情報を入力し、その風速計5の情報と撮像装置2の揺れの原因の情報との比較により、風速計5の風速検出の異常や動作の確認等を行うことにより風速計5からの情報の異常監視を行う(監視手段)。
【0055】
また、上位装置1は、風速情報の値が一定値以上でなければ(ST317、NO)、車両検出に基づくサービスの提供(道路状況等のサービスの提供)を継続する。風速情報の値が一定値以上でなければ、撮像画像(補正撮像画像)から物体を検出したとしても誤検出の可能性が低くなるため、車両検出に基づくサービスの提供(道路状況等のサービスの提供)を継続する(ST319)。
【0056】
上記説明したように、第4の実施形態の道路撮影システム10は、物体の検出結果から道路状況を検出するとともに、撮像装置2の揺れの原因を検出(解析手段)することができる。また、検出した原因に応じて車両検出に基づくサービスの提供を判断し(出力判断手段)、車両検出に基づくサービスの提供(道路状況等のサービスの提供(検出結果出力手段))を停止したり、継続したりすることができる。
【0057】
(第5の実施形態)
図1、図4〜図6を参照し、第1及び第2の揺れ検出処理を利用した第3の提供サービス制御処理の一例について説明する。
【0058】
上位装置1は、第1及び第2の実施形態で説明した第1及び第2の揺れ検出処理(ST500、ST600)に基づき、異常信号C、Dを検出しなければ(ST401、NO)、車両検出に基づくサービスの提供(道路状況等のサービスの提供)を継続する(ST402)。上位装置1は、異常信号C、Dを検出すると(ST401、YES)、風速計5からの風の情報(風向き情報、風速情報)を取得し(ST411)、風速計5の風速情報の値が一定値以上でなければ(ST412、NO)、画像補正(ST512)及び車両変位ベクトルの検出(ST608)により誤検出の可能性を低減できるため、車両検出に基づくサービスの提供(道路状況等のサービスの提供)を継続する(ST413)。
【0059】
上位装置1は、風速計5の風速情報の値が一定値以上であれば(ST412、YES)、基準画像中の第1の目印画像と撮像画像中の第2の目印画像との差分(第1の目印画像の位置(位置情報(座標データ))と第2の目印画像の位置(位置情報(座標データ))との変位)を取得し、さらに、静止物領域の変位ベクトルを取得し(ST414)、風の情報と画像(基準画像と撮像画像)中の目印画像の差分との相関性、及び風の情報と静止物領域の変位ベクトルとの相関性(相互に関係しあっている傾向)を解析する(ST415)。
【0060】
上位装置1は、相関性有りの判定の場合(ST416、YES)、撮像装置2の揺れの原因を風によるものと判定し、車両検出に基づくサービスの提供(道路状況等のサービスの提供)を停止する(ST417)。また、上位装置1は、撮像装置2の揺れの原因の情報を表示部12と出力部13とに出力し、出力部13は道路撮影システム10の外部に揺れの原因の情報を出力する。
【0061】
上位装置1は、相関性無しの判定の場合(ST416、NO)、撮像装置2の揺れの原因を車両7の走行によるものと判定し、車両7が道路上の監視区域6に存在しているとして、車両検出に基づくサービスの提供(道路状況等のサービスの提供)を継続する(ST418)。また、上位装置1は、撮像装置2の揺れの原因の情報を表示部12と出力部13とに出力し、出力部13は道路撮影システム10の外部に揺れの原因の情報を出力する(解析結果出力手段)。
【0062】
しかし、この車両検出に基づくサービスの提供の継続(ST418)のときに、上位装置1が撮像画像から物体を検出できない場合、上位装置1は、表示部12に風速計5の風速検出の異常や動作の確認等の表示を行う。また、上位装置1は、画像判定部4の入力部41から風速計5の情報を入力し、その風速計5の情報と撮像装置2の揺れの原因の情報との比較により、風速計5の風速検出の異常や動作の確認等を行うことにより風速計5からの情報の異常監視を行う(監視手段)。
【0063】
上記説明したように、第5の実施形態の道路撮影システム10は、物体の検出結果から道路状況を検出するとともに、撮像装置2の揺れの原因を検出することができ、原因に応じて、車両検出に基づくサービスの提供(道路状況等のサービスの提供)を停止したり、継続したりすることができる。
【0064】
以上説明した少なくとも一つの実施形態によれば、道路撮影システム10は、基準画像から検出された第1の目印画像と、撮像画像から検出された第2の目印画像とを比較し、撮像装置2の揺れを検出することができる。また、道路撮影システム10は、揺れの影響を受けた撮像画像を揺れの影響の無い撮像画像へ補正することができる。さらに、道路撮影システム10は、基準画像と補正撮像画像とを比較することができ、撮像装置2の揺れの影響のない差分、又は撮像装置2の揺れの影響の少ない差分を出力することができる。この差分に基づき、道路撮影システム10は、物体(例えば車両7)を検出することができる。
【0065】
さらに、道路撮影システム10は、高速道路等の道路上の監視区域6に目印9を設定し、基準画像と撮像画像中での目印9の位置(位置情報(座標データ))を比較することで、撮像装置2の揺れが大きければサービスの停止を行い、微小な揺れならば撮影した画像の補正を行い動作を継続することができる。また、揺れの原因を出力することができる。
【0066】
また、以上説明した少なくとも一つの実施形態によれば、道路撮影システム10は、第1の画像と異なるタイミングで撮影された第2の画像とを比較し、静止物領域を検出し、さらに、静止物領域から変位ベクトルを検出した場合に、静止物領域の変位ベクトル以外のベクトル量(車両変位ベクトル)を検出し、車両変位ベクトルを出力することができる。この車両変位ベクトルに基づき、道路撮影システム10は、物体(例えば車両7)を検出することができる。
【0067】
つまり、道路撮影システム10は、一定時間以上変化がない領域を静止物領域と設定し、静止物領域内で移動ベクトルが検出された場合、静止物領域以外の差分のベクトルを検出し、撮像装置2が揺れている時でも動作を継続することができる。また、揺れの原因を出力することができる。
【0068】
また、以上説明した少なくとも一つの実施形態によれば、道路撮影システム10は、物体の検出結果から道路状況を検出するとともに、撮像装置2の揺れの原因を検出することができ、原因に応じて、物体(例えば車両7)の検出に基づくサービスの提供(道路状況等のサービスの提供)の継続を判断し、サービスの提供を停止したり、継続したりすることができる。つまり、撮像装置2の揺れの原因を、サービスの提供(道路状況等のサービスの提供)の継続の判断に使用することができる。さらに、揺れの原因の情報を出力することができる。
【0069】
さらに、道路撮影システム10は、一定以上の風速の時には、サービスを停止することができる。
【0070】
さらに、道路撮影システム10は、第1の揺れ検出や第2の揺れ検出の揺れ情報を用い、風速計5からの風速と撮像装置2の揺れ情報との解析結果を基に、風速計5の風速検出の異常や動作の確認等を行うことで、風速検出の精度を向上させることができる。つまり、道路撮影システム10は、外部装置や外部装置から入力される気象観測情報の異常の監視を行うことができる。
【0071】
本実施形態では、道路上の監視区域6を撮影して検出する物体は、車両7として用いられる例を示したが、道路上への落下物(荷物などの物品や植物、生物など)、人間、動物などの物体の検出であってもよい。
【0072】
また、本実施形態では、外部からの気象観測情報は、風速計5からの風の情報(風向き情報、風速情報の値)として用いられる例を示したが、地震計からの震度の情報や振動計からの振動の情報であってもよい。
【0073】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0074】
1…上位装置、2…撮像装置、3…画像処理部、4…画像判定部、5…風速計、
10…道路撮影システム、11…操作入力部、12…表示部、12a…タッチパネル、
13…出力部、31…記憶部、41…入力部、6…監視区域、7…車両、8…道路、
9…目印

【特許請求の範囲】
【請求項1】
道路上の監視区域に沿って設けられ、前記監視区域を撮影するカメラと、
前記カメラによって撮影された前記監視区域の物体を検出するための第1の画像を格納する格納手段と、
前記カメラによって撮影された前記監視区域の物体を検出するための第2の画像と前記格納手段によって格納された前記第1の画像との差分を検出する差分検出手段と、
前記差分検出手段で検出した差分を基に前記第1の画像と前記第2の画像とにより、前記監視区域の物体を検出する物体検出手段と、
外部からの気象観測情報を入力する手段を含み、前記気象観測情報と前記差分検出手段の差分検出結果との関係を解析する解析手段と、
を有することを特徴とする道路撮影システム。
【請求項2】
前記物体検出手段により前記監視区域の物体を検出した結果の出力を、前記解析手段で解析した結果により判断する出力判断手段と、
前記物体検出手段により前記監視区域の物体を検出した結果を、前記出力判断手段の判断の結果により出力する検出結果出力手段と、
を有する請求項1に記載の道路撮影システム。
【請求項3】
前記解析手段で解析した結果を出力する解析結果出力手段を有する請求項1又は請求項2に記載の道路撮影システム。
【請求項4】
前記解析手段の検出結果と前記気象観測情報との比較により、前記気象観測情報の監視を行う監視手段を有する請求項1乃至請求項3のいずれか1項に記載の道路撮影システム。
【請求項5】
前記差分検出手段は、前記カメラによって撮影される前記監視区域の前記第1の画像に、前記第1の画像と前記第2の画像との差分を検出するための目印を設定し、前記第1の画像の前記目印と前記第2の画像中の前記第1の画像で設定した目印との差分を検出し、
前記物体検出手段は、前記差分検出手段で検出した差分を基に前記第1の画像と前記第2の画像とにより前記第2の画像を補正し、前記補正した第2の画像と前記第1の画像との差分により、前記監視区域の物体を検出すること、
を特徴とする請求項1乃至請求項4のいずれか1項に記載の道路撮影システム。
【請求項6】
前記差分検出手段は、前記カメラによって撮影される前記監視区域の前記第1の画像と前記第2の画像とを比較し、前記比較で所定の時間以上において画像の変化のなかった部分を目印に設定し、前記第1の画像の前記目印と前記第2の画像中の前記第1の画像で設定した目印との差分の第1のベクトルを検出し、
前記物体検出手段は、前記第2の画像から前記第1のベクトル以外の第2のベクトルを検出し、前記第2のベクトルにより前記監視区域の物体を検出すること、
を特徴とする請求項1乃至請求項4のいずれか1項に記載の道路撮影システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2012−195887(P2012−195887A)
【公開日】平成24年10月11日(2012.10.11)
【国際特許分類】
【出願番号】特願2011−59916(P2011−59916)
【出願日】平成23年3月17日(2011.3.17)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】