説明

撮像装置

【課題】外乱による揺れと駆動系による揺れとを判別可能な撮像装置を提供すること。
【解決手段】撮像部201と、この撮像部の撮像方向を制御する電動駆動部202とを備える撮像装置であって、撮像部201により得られる複数フレームからなる映像データをもとに、撮像部201の揺れ量を補正する補正ベクトルを算出する補正処理部203と、この補正ベクトルと、電動駆動部202の正常動作時の揺れ量を示す速度ベクトルとに基づいて、外乱による揺れと電動駆動部202の劣化による揺れとを判別する揺れ状態判別部205とを具備する。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、電動雲台により撮像方向を制御可能な撮像装置に関する。
【背景技術】
【0002】
近年、屋外等に設置されたテレビカメラ装置から監視対象の画像を得られるようにした監視システムが汎用されている。しかし、屋外では風や振動などにより強い外乱を受け、監視対象が撮像視野から外れてしまうおそれがある。そこで、このような大きな外乱のときだけ、補正動作を行うようにした撮像装置が提案されている(例えば、特許文献1を参照。)。
【0003】
一方、デジタルカメラ等においては、自然、人為的揺れの影響で揺れ成分を含んだ入力画像に対して、撮像素子の機構制御、画像処理等を使い映像補正を行い正常な映像を提供している撮像装置は民生、監視分野において幅広く存在する。その一つの手法としてブロックマッチング法による画像揺れ補正がある。
【0004】
図1に、ブロックマッチング法の概略図を示す。ブロックマッチング法とは、画像の周囲画素101を利用し、前フレーム画像102と現フレーム画像103においてテンプレート104内の1画素毎105の誤差を比較し、現フレームのテンプレートを縦方向(Vy)、横方向(Vx)をそれぞれ一定量106移動させ(移動範囲は補正範囲Lx,Ly(107))、その誤差(下記式のMAD(Mean Absolute Deviation)値)が最小であるベクトル(Vx,Vy)を算出する方法である。この方法から算出したベクトルの逆極性分を現フレームの全ての画素に対して補正処理を行い揺れ量分のキャンセルを行う。最終的に補正範囲を除いた補正画像領域108を出力する。
【0005】
【数1】

【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2009−194856号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
ところが、従来のブロックマッチング法を用いた揺れ補正処理においては、前後複数枚の画像情報から得られたデータ(マッチング処理)を元に揺れを補正するが、その検出された揺れの中には、撮像機構を有する固定監視カメラによる、外部物体の接触や、地震等の天災による異常揺れがある。この異常揺れを通常揺れとして画像揺れ補正を行うと、物体接触による画角ずれや、地震災害が起こっているかを画像から管理者側で判断できないという課題がある。特に、遠地監視用途においては深刻な課題となる。
【0008】
また、監視機器の保守作業において、長期据付等により制動部を含んだ監視機器の劣化状況(パン・チルトモータの駆動状況)を高所等の据付危険位置から機器を外し、駆動状況を確認しないと把握できないという課題がある。
この発明は上記事情に着目してなされたもので、その目的とするところは、外乱による揺れと駆動系による揺れとを判別可能な撮像装置を提供することにある。
【課題を解決するための手段】
【0009】
上記目的を達成するためにこの発明の一態様は、撮像部と、前記撮像部の撮像方向を制御する駆動部とを備える撮像装置であって、前記撮像部により得られる複数フレームからなる映像データをもとに、前記撮像部の揺れ量を補正する補正ベクトルを算出する算出手段と、前記補正ベクトルと、前記駆動部の正常動作時の揺れ量を示す速度ベクトルとに基づいて、外乱による揺れと前記駆動部の劣化による揺れとを判別する判別手段とを具備することを特徴とする。
【発明の効果】
【0010】
すなわちこの発明によれば、外乱による揺れと駆動系による揺れとを判別可能な撮像装置を提供することができる。
【図面の簡単な説明】
【0011】
【図1】ブロックマッチング法について示す図。
【図2】第1実施形態の撮像装置の機能構成を示すブロック図。
【図3】第1実施形態の撮像装置における異常揺れ判定処理を示すフローチャート。
【図4】第2実施形態の撮像装置における電動駆動部の劣化状況判定の原理図。
【図5】第2実施形態の撮像装置における電動駆動部の劣化状況判定処理を示すフローチャート。
【発明を実施するための形態】
【0012】
以下、図面を参照してこの発明に係る実施の形態について詳細に説明する。
(第1実施形態)
図2は、第1実施形態に係る撮像装置の機能構成を示すブロック図である。
この撮像装置は、映像を取り込む撮像部201、撮像部201のパン・チルト動作を行う電動駆動部202、画像情報、制御信号を受け補正処理を行う補正処理部203、地震データ等の異常振動データを格納しておく地震データ・異常データ保存部204、揺れ状態判別部205、異常揺れの状態と判定された場合にアラームを生成するアラーム生成部206、及びアラームに従って補正処理有り/無しの映像を切り替えて出力する映像切り替え部207を含む。なお、補正処理部203、地震データ・異常データ保存部204、揺れ状態判別部205、アラーム生成部206、及び映像切り替え部207の各機能は、プロセッサに実装することで実現できる。
【0013】
撮像部201は、監視の対象となる領域を撮像し、複数フレームからなる映像データを生成する。また、撮像部201は、電動駆動部202に内蔵されており、駆動に応じて監視対象領域を旋回することができる。撮像された入力映像は、補正処理部203において振動等の外乱による影響を求めるため、補正ベクトルを算出する。課題となる地震揺れ等の異常状態の検出については、揺れ補正処理の前処理である、ブロックマッチング処理によって得られる補正ベクトル(Vx,Vy)を用いる。
【0014】
算出された補正ベクトルは、補正処理部203内部に蓄積(例えば60フレーム:2秒程度)される。揺れ状態判別部205は、上記蓄積された補正ベクトルと、事前に地震データ・異常データ保存部204に記録しておいた地震データ・異常データとを比較し、異常揺れを判定する。
【0015】
判定の方法としては、複数フレームの補正ベクトルの情報と地震データ・異常データ保存部204の異常揺れのデータ(地震本来のP波(Primary wave)、S波(Secondary wave)の特性)とを比較し、分布特性が類似している場合で、かつ補正ベクトルの情報の分散値が一定値以上の場合は地震等の異常状態と判定する。しかし、通常の揺れ成分と異常揺れ成分(ここでは地震揺れ成分)が混在しているという課題がある。その場合は、据付時点での通常動作を学習データ(通常時の分散値)として、内部メモリに保持しておきその情報の差分値から判別するようにすると良い。実際には地震が起こってから約2秒程度学習するが、遠地側のモニタリングをする環境下においては充分許容できる値であるといえる。
【0016】
この比較判定の結果、異常揺れと判定された場合は、揺れ状態判別部205はアラーム生成部206へ通知する。この通知を受けて、アラーム生成部206は管理者へアラーム発報すると共に、映像切り替え部207へ映像切り替えアラームを送る。映像切り替え部207は、映像切り替えアラームに従って補正処理無しの映像を出力する。これにより、地震揺れ等の異常状態の場合は、補正せずに異常揺れの状態を遠地の管理者側にてモニタリングすることが可能となる。
【0017】
また、地震揺れ以外の物体の衝突による異常振動の判別について、事前学習データを取得しておき、このデータを基にして実際に検知を実施することも派生手段として考えられる。例えば、実際の物体の衝突においては全体の画角がずれる位を想定されるので補正ベクトルの時間分布で見るとインパルス特性となる。
【0018】
また、地震等の異常揺れに対してはプロセッサからアラーム生成部206を通じて信号を送信し、システム管理者に対して音声発報を行い、災害警告通知するようにする。上記説明、及び図2においてはアラーム発報という手段で説明したが、音声を発報し、パーソナルコンピュータ(PC)上の画面で警告メッセージを表示あるいは映像切り替え部207のモニタに文字を重畳表示するような派生手段も考えられる。
【0019】
図3は、第1実施形態の撮像装置における異常揺れ判定処理を示すフローチャートである。図3において、処理ステップ301〜308の流れを実線、参照用画像データ304、振動統計情報306、及び警報管理データベース310へのアクセスを点線にて表示している。
【0020】
画像入力ステップ301において、撮像部201から映像を取り込み、補正ベクトル算出ステップ302において、補正処理部203は画像処理を用いて各フレームについて補正ベクトルを算出する。このとき補正処理部203は、予め参照用画像データ304を参照し、前フレームとの参照によって求める。前フレームのデータが無い場合は補正ベクトル算出ステップ302の処理は行わずに、映像データを参照用画像データ304へ取り込む。参照フレームが取り込まれている場合は補正ベクトル算出ステップ302の処理を行い、補正ベクトルを求める。
【0021】
補正ベクトル情報一定フレーム算出判定ステップ303では、この補正ベクトルが一定フレーム分算出されているかを判定し、異常状態判定ステップ305において、揺れ状態判別部205は、事前に登録しておいた振動統計情報306と比較し、補正ベクトルに対して異常揺れが無いかを判定する。
【0022】
例えば、60フレーム前後の補正ベクトルの情報の統計からP波の周期、振幅を推定し、その後来ると予想されるS波の振幅・周期、分散、閾値特性から地震状態を判定する。事前に通常状態、地震(P波、S波)の特性情報を内部メモリに格納しておくことが必要である。
【0023】
ここでは、一例として、補正ベクトルの揺れ情報の振動周波数の違いで判定を行う。例えば、過去100フレームの情報の動きベクトルをプロセッサ側で保持しておき、その情報の揺れが風による振動、地震による振動、又は、飛物体の衝突による振動であるかの違いは60フレーム程度の周期で定周期振動か非定周期振動で判定する。地震による振動周波数はマグニチュードの強さ、縦振動横振動の合成波でくることで変化するが(2Hz〜5Hz程度)、風等の筐体振動と地震の振動を区別するため、画像の上部、下部の動きベクトルを算出し、この値によって判定を行う。
【0024】
具体的には、異常振動が起こるアラートが発生した条件下で、フレーム上部の動きベクトルの値と下部の動きベクトルの値が類似した値である場合は、風による振動と判定する。一方、フレーム上部の動きベクトルの値と下部の動きベクトルの値がベクトル量として、上部ベクトル>下部ベクトルである場合は、地震による振動(地震の振動は設置状態の上部にいけばいくほど、振動が大きい)と判定する。
【0025】
異常状態判定ステップ305の結果、正常と判定された場合は、正常動作ステップ307に移行し、補正処理部203は通常の映像の補正処理を行い、映像出力ステップ308において映像切り替え部207は補正後の映像出力を実行する。異常状態判定ステップ305の判定が異常となった場合は、映像補正処理中断ステップ309に移行し、補正処理部203は補正ベクトルによる映像の補正処理を中断し、映像出力ステップ308において映像切り替え部207は補正処理無しの映像をスルーで出力する。また、そのときに警報管理データベース310に異常警報情報が出力される。
【0026】
その他、人為的な揺れ、据付け不良による特異的な揺れについても特徴的なデータが得られれば振動統計情報306のようにデータベースに記録しておくことで同様の手順で判別可能である。この情報から地震等の異常状態ということが明確になった場合揺れ補正処理をせずに映像をそのまま出力し、管理者側には異常揺れ通知並びに揺れ補正処理無しの映像で遠隔地から監視映像をモニタリングすることが可能である。
【0027】
地震等の災害が起こる度にその都度管理者側のマニュアル操作で揺れ補正処理のON/OFFをすることで解決することは可能ではあるが、管理者が常駐していなければならない課題がある。また、緊急地震速報や地震感知センサで状態を把握することも一手段ではあるが、緊急地震速報では実際にその場所が揺れるか信頼度が低く、地震感知センサでは異常揺れか地震揺れかまで判別することができない。本実施形態によれば、揺れの強度に応じて震度、さらに地震状態を取得した場合は、駆動系の暴走等を防ぐ目的のため、パン・チルト動作状態でも停止するようにし、地震の影響による駆動部故障を回避することが可能となる。
【0028】
(第2実施形態)
撮像素子を含む、電動駆動部故障時の事前回避手段として、劣化状況を把握することが必要不可欠である。しかしながら、電動駆動部を含む一般的な監視カメラ等々は設置場所が比較的高所、危険箇所、人の手が届かない、人の侵入が困難な場所に設置されている場合が多いため機器を停止させ、据付場所から取り外し分解し中身を確認しなければ、駆動部の劣化状況を正確に把握することが難しい。定期的に交換することが一般的であるが、偶発的・突発的な故障回避をすることは困難である。そこで、第2実施形態では、出力映像の状態からモータの劣化具合を判定する方法について説明する。
【0029】
具体的には映像データから得られる補正ベクトルをもとに速度を算出し、その速度と正常動作時に出るべき速度とを比較し電動駆動部の劣化状態を判定する。なお、第2実施形態の撮像装置の構成については、第1実施形態と同様であるため、上記図2に示す構成を用いて説明する。
【0030】
まず、電動駆動部202において一定値の速度を有する速度を生成する。例えばパン方向の場合、15°/secの速度で動作する場合を考え、この定速状態のまま映像を写す。このとき補正処理部203において補正ベクトルは、パン方向の15°/secの速度ベクトルが求められる。通常時の揺れ等が発生するため、複数フレーム(収束させるため、300フレーム程度の情報)を取得すれば、平均化される。
【0031】
図4に、電動駆動部の劣化状態判定の原理図を示す。図4では、駆動時の速度ベクトル401を複数フレーム移動した場合の等速速度の移動ベクトル分布402に対して、画像処理から求めた補正ベクトル分布(駆動部正常動作時)403と、画像処理から求めた補正ベクトル分布(駆動部異常動作時)404との比較を表したものである。図4に示すように、正常動作403の場合は振動誤差による速度誤差はあるものの、等速速度の移動ベクトル分布402に類似した結果となる。異常動作404の場合は電動駆動部の速度自体にずれがあるため、その結果分布状態も大きな誤差が生じる。
【0032】
この速度ベクトル測定中に上記第1実施形態で述べた意図しない揺れはあるが、それは前述で述べた方式で除外できるため速度を測定することが可能である。ただし、パン・チルト方向が有限である場合、その速度の絶対値平均(観測データは100フレーム以上であれば良い)で判別すると良い。また、駆動制御速度制限がある場合は通常揺れの補正ベクトルよりも速度の補正ベクトルが非常に大きい状態で判別すると良い。
【0033】
揺れ状態判別部205は、この測定した補正ベクトルが、本来の速度の補正ベクトルよりも著しい違いがあった場合に電動駆動部202が劣化していると判定(電動駆動部は等速運動している状態で測定)する。本実施形態では、メンテナンスの一部として実施したが、24時間常時駆動中の場合、動作速度と補正時の動きベクトルをリアルタイムで観測しその比較値を評価の程度とし、劣化状況を把握することも可能である。
【0034】
図5に、第2実施形態における電動駆動部の劣化状況判定処理のフローチャートを示す。図5において、処理ステップ501〜508の流れを実線、参照用画像データ505、及び補正ベクトルデータバッファ504へのアクセスは点線で表示する。
画像入力ステップ501において、撮像部201から映像を取り込み、補正ベクトル算出ステップ502において、補正処理部203は画像処理を用いて補正ベクトルを算出する。このとき補正処理部203は、予め参照用画像データ505を参照し、前フレームとのブロックマッチングによって補正ベクトルを求める。前フレームのデータが無い場合は補正ベクトル算出ステップ502の処理は行わずに映像データを参照用画像データ505へ取り込む。参照フレームが取り込まれている場合は補正ベクトル算出ステップ502の処理を行い、補正ベクトルを求める。補正処理部203は、この補正ベクトルを一定フレーム分算出し、その結果を補正ベクトルデータバッファ504へ格納する。補正ベクトルデータ情報フレーム分算出判定ステップ503の判定において、規定のフレーム数の補正ベクトルを算出したと判定された場合に駆動部異常判定ステップ506にて処理を行う。
【0035】
揺れ状態判別部205は、その速度ベクトルと補正ベクトルの分散値、閾値の類似度から判定し、正常な場合は正常動作ステップ507において通常の処理を行い、異常であった場合は電動駆動部202に異常があると認め、異常動作通知ステップ508において異常処理をする。その後、保守終了ステップ509を実行しメンテナンス完了となる。駆動部異常判定ステップ506については、異常と判定された段階で音声発報、画像に文字を重畳し通知する手段が考えられる。
【0036】
また、画像処理以外に、電動駆動部付近に音検知部を設け、実際の駆動劣化時の異音検出、並びに異常物体衝突時の状態検出をすることが可能である。さらに、電動駆動部に流れる電流値を検知する電流センサを設け電動駆動部劣化時の異常電流を検出することで、故障・保守時期を事前に把握することが可能である。
【0037】
以上述べたように、本発明では、揺れ補正処理から得られた補正ベクトルから外乱揺れと通常揺れを判別する。具体的には、数フレーム分の補正ベクトルから、周期性、揺れ量から異常揺れと通常揺れを判別するようにし、その判別情報を管理者に通知する。遠地からの地震発生等の現場監視状況地震等の揺れを判別する場合には、地震の特有振動周期(P波、S波)の特性から、画像処理から求めた動きベクトル成分の情報を基に地震状況を判別する。この判別により、異常揺れとしての状況取得が可能になる。
【0038】
画像揺れ補正処理中に地震等の災害が生じた場合、遠地監視モニタで表示される映像が補正されていると、管理者側では把握することが困難である。この補正情報(補正ベクトル等)を基に地震状態を判別することで、地震の警告を管理者側に通知できるという利点がある。
【0039】
また、遠地から地震災害時の外部状況をモニタリングする場合、揺れ補正機能を有する装置では通常揺れとして補正するため、本来の現場監視映像をモニタリングすることが困難である。そこで、現地据付周辺に地震感知センサ信号を取得できる場合はその情報を基にして揺れ補正機能の切り替えを行い地震災害時では揺れ補正せずに現場の監視映像を提供することが可能である。
【0040】
地震状態から揺れ補正の切り替えを制御し、さらにパン・チルト動作状態を安全に停止することで、遠地監視でも正確な地震監視映像を提供することが可能である。つまり、異常状態判別時には、撮像系以外は全て停止し揺れ補正処理をしない固定監視状態にすることができる。
【0041】
さらに、監視機器のモータ駆動部等の劣化状況を把握するため、駆動部の一定速度と数フレーム分の画像から求めた速度を一定時間(例えば300フレームのデータ)取得し、そのデータと本来の正確に動作すべき速度データを比較し、モータ自体の劣化状況を判別し、駆動部の保守必要性を判別する。パン・チルト動作時の揺れも合わせてデータに反映されるが、長期間データ取得し、平均化することで判別することができる。また、精度を上げる手段として異常音検知部、駆動部に流れる電流線に過電流検知部を設け、異常音対策及び、駆動劣化時の過電流上昇時にも検出が可能となる。これにより、撮像装置を危険場所に設置している場合でもモータ等の劣化状況を取りはずし作業をせずに画像処理から判別することが可能である。
【0042】
なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【0043】
101…画像の周囲画素、102…前フレーム画像、103…現フレーム画像、104…補正範囲、105…動きベクトル、106…テンプレート、107…画素、108…補正画像領域、201…撮像部、202…電動駆動部、203…補正処理部、204…地震データ・異常データ保存部、205…揺れ状態判別部、206…アラーム生成部、207…映像切り替え部、301…画像入力ステップ、302…補正ベクトル算出ステップ、303…補正ベクトル情報判定ステップ、304…参照用画像データ用バッファ、305…異常状態判定ステップ、306…振動統計情報バッファ、307…補正処理ステップ、308…映像出力ステップ、309…映像補正処理中断ステップ、310…警報管理データベース、401…旋回速度ベクトル、402…等速速度の移動ベクトル分布、403…画像処理から求めた補正ベクトル分布(駆動部正常動作時)、404…画像処理から求めた補正ベクトル分布(駆動部異常動作時)、501…画像入力ステップ、502…画像処理(補正ベクトル算出)ステップ、503…補正ベクトル情報判定ステップ、504…補正ベクトルデータバッファ、505…参照用画像データバッファ、506…駆動部異常判定ステップ、507…正常動作ステップ、508…異常動作通知ステップ、509…保守終了ステップ。

【特許請求の範囲】
【請求項1】
撮像部と、前記撮像部の撮像方向を制御する駆動部とを備える撮像装置であって、
前記撮像部により得られる複数フレームからなる映像データをもとに、前記撮像部の揺れ量を補正する補正ベクトルを算出する算出手段と、
前記補正ベクトルと、前記駆動部の正常動作時の揺れ量を示す速度ベクトルとに基づいて、外乱による揺れと前記駆動部の劣化による揺れとを判別する判別手段と
を具備することを特徴とする撮像装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2013−66046(P2013−66046A)
【公開日】平成25年4月11日(2013.4.11)
【国際特許分類】
【出願番号】特願2011−203359(P2011−203359)
【出願日】平成23年9月16日(2011.9.16)
【出願人】(000001122)株式会社日立国際電気 (5,007)
【Fターム(参考)】