説明

録画再生システム及びその処理方法

【課題】 ユーザの手を煩わせることなく短時間で所望の画像を再生する。
【解決手段】 撮影された画像を、当該画像を特定するためのイベント情報と関連付けて録画し、録画された画像を再生する際に、ユーザにイベント情報を選択させてその画像の表示方法を決定する。そして、決定された表示方法に従って、録画された画像を表示装置に再生させる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、録画再生システム及びその処理方法に関する。
【背景技術】
【0002】
従来、監視する物体をカメラで撮影し、撮影した画像を録画し、その後、録画した画像を再生する監視用録画再生システムがある。このシステムでは、録画した画像から所望の画像を効率的に再生するために、動き検知やセンサーに連動したイベント情報を画像又はイベントの発生時刻に関連付けて記憶させている。そして、イベント情報をユーザが選択することで、イベント情報を元にイベント発生時に録画した画像を表示可能に構成されている。
【0003】
また、イベント発生時から録画を開始するだけでなく、イベント発生前にも録画可能な監視用録画システムも存在し、後でイベント発生前の画像も必要に応じて表示可能に構成されている。更に、監視用録画システムでは、画像と共に音声の録音も可能であり、録画した画像を再生する際に、録音した音声を同期させて再生することが可能である。
【0004】
近年、画像解析技術の進歩や画像解析処理を行う中央演算処理ユニットの高速化により、画像解析技術を用いたイベント生成が行われている。例えば、物品が持ち去られた時にイベントを発生させる持ち去り検知や、あるべきでない物品が置き去りにされた時にイベントを発生させる置き去り検知など、イベントの種類や目的が多様化してきている。
【0005】
具体的には、録画した画像から所望の画像をより効率的に再生するために、イベントの種類により音声を同期して再生するか否か、また、音声を再生する場合、どの程度の音量で再生するかを決定する技術が開示されている(例えば、特許文献1)。また、録画した画像からサムネイル画像を生成して表示し、表示したサムネイル画像を選択することで、選択されたサムネイル画像に対応した画像から再生する技術も開示されている(例えば、特許文献2)。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2006−166322号公報
【特許文献2】特開2005−260862号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
上述のように、監視用に録画した画像はハードディスクドライブ等の記憶装置の大容量化に伴い膨大な量があり、更にイベントの多様化により、所望の画像を短時間に探し出す技術が求められている。特許文献1に開示された技術では、イベントの種類により、画像だけでなく音声も再生させることで、所望の画像を見つけ易くしている。また、特許文献2に開示された技術では、サムネイル画像を生成して表示することで、画像の時間的変化を把握しながら目的の画像から再生することが可能になっている。即ち、従来の技術は、何れもイベント発生時やサムネイル画像に対応した画像から時間が経過する方向に画像を再生する技術である。
【0008】
しかしながら、近年見受けられるイベントの種類によってはイベント発生時以降の画像を見ても、ユーザが真に所望する画像がない場合がある。例えば、上述の置き去り検知の場合、置き去りにした人物を特定するためには、物品が置き去りにされたと検知した時点から過去に遡って画像を確認する必要があり、ユーザはイベントの種類に応じて、画像の再生方法を考えて操作する必要が生じている。
【0009】
本発明は、ユーザの手を煩わせることなく短時間で所望の画像を再生する録画再生システムを提供する。
【課題を解決するための手段】
【0010】
本発明は、撮影された画像を録画し、録画された画像を再生する録画再生システムであって、
前記撮影された画像を、当該画像を特定するためのイベント情報と関連付けて録画する録画手段と、
前記録画された画像を再生する際に、ユーザに前記イベント情報を選択させて当該画像の表示方法を決定する決定手段と、
前記決定された表示方法に従って前記録画された画像を表示装置に再生させる再生手段と、
を有することを特徴とする。
【発明の効果】
【0011】
本発明によれば、ユーザの手を煩わせることなく短時間で所望の画像を再生することができる。
【図面の簡単な説明】
【0012】
【図1】録画再生システムのシステム構成の一例を示す図。
【図2】録画装置のハードウェア構成の一例を示す図。
【図3】再生装置のハードウェア構成の一例を示す図。
【図4】録画装置の機能構成の一例を示す図。
【図5】第1の実施形態における再生装置の機能構成の一例を示す図。
【図6】イベント選択画面の一例を示す図。
【図7】イベント種別の表示方法の一例を示す図。
【図8】表示方法編集画面の一例を示す図。
【図9】第1の実施形態における再生装置の処理を示すフローチャート。
【図10】第2の実施形態における再生装置の機能構成の一例を示す図。
【図11】表示シーケンスの一例を示す図。
【図12】表示シーケンス編集画面の一例を示す図。
【図13】第2の実施形態における再生装置の処理を示すフローチャート。
【発明を実施するための形態】
【0013】
以下、図面を参照しながら発明を実施するための形態について詳細に説明する。本実施形態では、撮影された画像を録画し、録画された画像を再生する録画再生システムを例に説明する。また、画像はイベントの種別や発生した時刻と関連付けて録画され、その画像を再生する際に、イベントの種別毎に表示方法又は表示シーケンスをユーザが選択可能とする場合を例に挙げて説明する。
【0014】
[第1の実施形態]
まず、本発明に係る録画再生システムのシステム構成の一例を、図1を用いて説明する。録画再生システム1は、ネットワークカメラに代表されるカメラ7で撮影された画像を受信して録画を行う録画装置2と、カメラ7で撮影された画像や録画装置2に録画された画像を受信して再生する再生装置3とを含む。
【0015】
更に、録画再生システム1は、ユーザが再生装置3で再生した画像や再生装置3を操作するためのグラフィカルユーザインタフェースが表示される表示装置8と、再生装置3を操作するための操作入力を行う操作入力装置9とを含む。
【0016】
尚、図1に示すように、録画装置2の構成と再生装置3の構成を1つの録画再生装置4として構成し、録画再生装置4内に録画装置の機能と再生装置の機能を有するように構成してもよい。
【0017】
次に、録画装置2及び再生装置3のハードウェア構成の一例を、図2及び図3を用いて説明する。図2に示す録画装置2のハードウェアは、CPU(中央処理部)11、ROM(読み出し専用メモリ)12、RAM(ランダムアクセスメモリ)13、HDD(ハードディスクドライブ)等に代表される記憶媒体14を含む。
【0018】
ここで、CPU11は、ROM12、HDD14に格納された録画用制御ソフトウェアプログラムを実行し、各デバイスを制御する。また、ROM12及びHDD14は、各種制御ソフトウェアプログラムや情報を保持する。RAM13は、CPU11が処理を実行時に使用する作業領域、エラー処理時の情報の退避領域、制御ソフトウェアプログラムのロード領域等を有する。
【0019】
また、録画装置2は、ネットワークインタフェース(Net−IF)15を含み、再生装置3やカメラ7等と有線又は無線を介して通信を行うことができる。尚、Net−IF15を介して他の情報装置等から制御ソフトウェアプログラムや情報を取得してもよい。また、上述の各構成は、アドレスバス、情報バス及びコントロールバスを含むCPUバス19により接続されている。
【0020】
そして、CPU11が上述の制御ソフトウェアプログラムに基づいて処理を実行する。このことにより、後述する録画装置2の機能の一部に係る処理が実現される。
【0021】
次に、図3に示す再生装置3のハードウェアは、CPU21、ROM22、RAM23、HDD24、Net−IF25、CPUバス29を含む。これらは録画装置2のハードウェアと同様であるが、CPU21は、ROM22、HDD24に格納された再生用制御ソフトウェアプログラムを実行する点が異なる。
【0022】
更に、再生装置3は、表示装置8にディスプレイ信号を出力するためのディスプレイインタフェース26、操作入力装置9の操作入力を受信する操作入力インタフェース27を含む。
【0023】
そして、CPU21が上述の制御ソフトウェアプログラムに基づいて処理を実行する。このことにより、後述する再生装置3の機能の一部、又は後述するフローチャートに係る処理が実現される。
【0024】
次に、録画装置2の機能構成の一例を、図4を用いて説明する。図4に示す録画装置2の機能として、後述する画像及びイベント情報を記憶部101に書き込む機能、その書き込む際に時刻を管理する機能、記憶部101から画像及びイベント情報を読み出す機能を有する。
【0025】
具体的には、次の各部が上述の機能を実現する。イベント情報取得部102がイベント情報を受信し、イベント情報書込み部103がイベント情報取得部102で受信したイベント情報を記憶部101に書き込みを行う。画像受信部104がカメラ7から画像を受信し、画像書込み部105が画像受信部104で受信した画像を記憶部101に書き込みを行う。画像及びイベント情報が書き込まれる際に、録画装置2の時刻情報を管理する時計部106から時刻情報を取得し、イベント情報及び画像を時刻情報と関連付けて書き込みを行う。
【0026】
ここで、イベント情報は、カメラ7から送られるセンサーイベントやカメラ7が行った画像解析や音声解析により得られた動き検知イベント、置き去り検知イベント、持ち去り検知イベント、音量検知イベントなどである。尚、カメラ7の画像を用いてカメラ以外の不図示の画像解析装置やその他の外部装置からのイベント情報を受信しても良い。また、録画装置2内に不図示の画像解析部を設け、画像受信部104で得たカメラ7からの画像を用いて画像解析を行って生成したイベント情報を受信しても構わない。
【0027】
続いて、イベント情報読出し部107が記憶部101に記憶されたイベント情報を読み出し、イベント情報送信部108がイベント情報読出し部107で読み出されたイベント情報を再生装置3に送信する。画像読出し部109が再生装置3から画像送信要求を受け付けて記憶部101に記憶された画像を順次読み出し、画像送信部110が画像読出し部109で読み出された画像を再生装置3に送信する。尚、再生装置3からの画像送信要求とその要求の際に録画装置2で実行される処理の詳細に関しては、再生装置3の機能説明の際に説明する。
【0028】
次に、再生装置3の機能構成の一例を、図5を用いて説明する。図5に示す再生装置3の機能として、イベント選択画面を生成する機能、表示方法の編集画面を生成する機能、表示方法に従って画像を再生する機能を有する。
【0029】
具体的には、次の各部が上述の機能を実現する。表示出力部201が表示装置8に後述する各画面生成部で生成された画面を出力する。イベント情報受信部211が録画装置2から送信されたイベント情報を受信し、イベント選択画面生成部212がイベント情報受信部211で受信されたイベント情報をイベント一覧(リスト)にしてイベント選択用の画面を生成する。イベント選択受信部213がイベント選択画面生成部212で生成されたイベント選択画面からユーザが選択したイベント情報を特定する。
【0030】
ここで、上述のイベント選択画面の一例を、図6を用いて説明する。図6に示すように、複数のイベントがイベント一覧としてイベント選択画面300内にリスト表示される。各イベントのイベント情報は、イベントID、イベント発生カメラID、イベント種別、イベント発生時刻を例に示しているが、本発明はこれに限定されるものではない。また、イベント選択は、例えばマウス操作のダブルクリック等により可能であるが、選択方法はこれに限定されるものではない。
【0031】
図5に示す再生装置3の機能の説明に戻る。表示方法読出し部222が表示方法記憶部221に記憶されたイベント種別毎の表示方法を読み出す。表示方法決定部223がイベント選択受信部213で受信した選択されたイベントのイベント種別に基づいて表示方法を決定する。画像要求部224が表示方法決定部223で決定された表示方法と、選択されたイベントのイベント情報又は表示開始時刻を指定して録画装置2に画像の配信要求を行う。
【0032】
ここで、第1の実施形態におけるイベント種別の表示方法の一例を、図7を用いて説明する。図7に示す例では、便宜上リストにして表示した場合を示している。尚、イベント種別における表示方法は、一例として表示する順序及び表示する速度を示したが、上述の何れかだけでも、追加情報として、例えば表示する大きさや明るさ等の表示に係る情報を指定しても構わない。
【0033】
図5に示す再生装置3の機能の説明に戻る。画像要求部224で録画装置2に表示画像を要求する際には、少なくとも表示方法と表示開始時刻を特定できる情報が必要となる。表示開始時刻を特定する方法としては、図6に示すイベントIDが録画装置2で管理されたイベント情報に含まれる一意の情報の場合、イベントIDを指定することで、録画装置2はイベント発生時刻を特定できる。また、イベント情報に含まれるイベント発生時刻に基づいて表示開始時刻を指定しても構わない。
【0034】
録画装置2は表示開始時刻と上述の表示方法に基づいて、例えば表示開始時刻に従った画像から時系列に画像を読み出して実時間通りに再生装置3に画像を配信する処理が可能となる。また、録画装置2は表示開始時刻に従った画像から時間を遡る方向に画像を読み出して実時間の半分の速度で配信する処理が可能となる。
【0035】
表示開始時刻決定部225が選択されたイベントのイベント発生時刻から表示開始時刻をオフセットさせる時間を決定する。表示方法決定部223で決定された表示方法とイベント種別によっては、イベント発生時刻より前の時刻から時系列に表示することが有用な場合や、イベント発生時刻より後の時刻から時間を遡る方向に表示することが有用な場合が存在する。例えば、物品が持ち去られた場合に発生する持ち去り検知イベントの場合、持ち去られた時点から時間を過去に遡って表示することにより、持ち去られる前から持ち去られ、更にどちらの方向に持ち去られたかを一連の画像を確認することが有用である。但し、表示開始時刻決定部225がなくとも、予めイベント種別毎に表示方法と共にオフセットさせる時間が決められており、画像要求部224で画像を要求する際にオフセット時間も指定することで同様の画像を受信することが可能である。
【0036】
要求画像受信部231が録画装置2に要求した画像を受信する。そして、画像表示画面生成部232が要求画像受信部231で受信された画像を順次デコードし、レンダリングして画像表示画面を生成する。ここで、録画装置2から、例えばJPEG画像のように、一枚一枚が独立したデータであり、録画装置2から表示順序に合わせて画像データが送られてくる場合は、順次表示を行えば良い。しかしながら、デコード処理を行う際に、前後の画像を必要とするような、例えばMPEG−4のような画像データの場合は、順次表示処理を行うことができない。このような場合、画像表示画面生成部232は録画装置2から送られてきた画像データをGOP単位でデコード処理し、表示方法決定部223で決定だれた表示方法に従ってレンダリング処理を行う。
【0037】
表示方法編集部241がイベント種別毎に表示方法を編集処理し、表示方法編集画面生成部242が表示方法編集部241に表示方法の編集を行わせるための表示方法編集画面を生成する。表示方法編集操作受信部243が表示方法編集画面を操作した際の編集操作を受信する。表示方法書込み部244が表示方法編集部241で編集した表示方法を表示方法記憶部221に保存する。
【0038】
ここで、第1の実施形態における表示方法編集画面の一例を、図8を用いて説明する。この表示方法編集画面でイベント種別毎に表示方法を編集可能である。図8に示す例では、図7に示す表示方法のうち、表示する順序、表示する速度の他に表示開始時刻についてイベント発生時刻からのオフセットを編集できるように構成されている。また図8に示す画面400は、表示方法IDが1、イベント種別がセンサー、表示開始時刻のオフセットがイベント発生時刻の10秒前、表示の順序が時系列、表示の速度が1倍になるよう編集した例である。
【0039】
次に、第1の実施形態における再生装置3の起動時から終了するまでの処理の一例を、図9を用いて説明する。まず、再生装置3のイベント情報受信部211が録画装置2からイベント情報を受信し(S1)、イベント選択画面生成部212が受信されたイベント情報をリスト化して図6に示すイベント選択画面を表示装置8に表示する(S2)。次に、イベント選択受信部213がユーザによって終了操作が行われたか否かを監視し(S7)、更にイベントの選択が行われたか否かを監視する(S3)。ここで、終了操作が行われたら処理を終了する。
【0040】
一方、イベントが選択されたら、表示方法読出し部222が表示方法記憶部221から表示方法を読出し、表示方法決定部223が選択されたイベントのイベント種別に係る表示方法を決定する(S4)。そして、決定された表示方法と表示開始時刻決定部225で決定された表示開始時刻を特定する情報を指定して画像要求部224が録画装置2に画像配信要求を送信する(S5)。その後、要求画像受信部231が要求画像を受信し、画像表示画面生成部232が表示方法に従い画像を生成して表示装置8に表示する(S6)。この際に、別スレッドで画像の受信と表示処理を行い、画像の受信を表示が開始されたら操作の監視状態に戻ることが望ましい。
【0041】
以上のように構成することで、画像の再生方法をユーザが操作しなくても選択したイベントにより、所望の画像を短時間で表示を行うことができる。
【0042】
[第2の実施形態]
次に、図面を参照しながら本発明に係る第2の実施形態を詳細に説明する。尚、上述の第1の実施形態に準ずる個所については、その説明を割愛する。また、第1の実施形態と第2の実施形態との大きな差異は、イベント種別によって表示シーケンスを決定することにある。
【0043】
第2の実施形態の録画再生システムの構成、録画装置及び再生装置のハードウェア構成、録画装置の機能構成は、図1乃至図4に示す第1の実施形態と同様である。ここでは、再生装置の機能構成の一例を、図10を用いて説明する。
【0044】
図5に示す第1の実施形態では、表示方法に従って処理が行われていたが、第2の実施形態では表示シーケンスに従って処理が行われる。つまり、表示シーケンス記憶部521、表示シーケンス読出し部522、表示シーケンス決定部523、表示シーケンス編集部541、表示シーケンス編集画面生成部542、表示シーケンス編集操作受信部543、表示シーケンス書込み部544が図5と異なる。
【0045】
表示シーケンス読出し部522は、表示シーケンス記憶部521に、イベント種別毎に記憶された表示シーケンスを読み出す。そして、表示シーケンス決定部523はイベント選択受信部513で受信した選択されたイベントのイベント種別に基づいて、表示シーケンスを決定する。画像要求部524が表示シーケンス決定部523で決定された表示シーケンスで規定された表示方法と、選択されたイベントのイベント情報又は表示開始時刻を指定して録画装置2に画像の配信要求を行う。
【0046】
ここで、第2の実施形態における表示シーケンスの一例を、図11を用いて説明する。図11では、表示シーケンス記憶部521に記憶されたイベント種別の表示シーケンスの一例を、便宜上リストにして示している。イベント種別における表示シーケンスは、順次処理を行う1以上の表示方法から構成されている。例として、表示シーケンスは表示開始時刻をイベント発生時刻からオフセットする方向と時間間隔を、また、各々の表示方法は表示する順序、表示する速度及び表示時間を示している。
【0047】
図10に示す再生装置3の機能の説明に戻る。画像要求部524で録画装置2に最初に表示画像を要求する際には、少なくとも表示方法と表示開始時刻を特定できる情報が必要となる。表示開始時刻を特定する情報に関しては第1の実施形態に準ずる。
【0048】
2以上の表示方法が表示シーケンスで規定されている場合、現在の表示方法の表示時間が図11に示す表示時間経過した後、画像要求部524に表示方法のみを指定して録画装置2に画像の送信要求を行う。このように指定することにより、録画装置2は既に配信した画像の時刻を起点として新しい表示方法に準じた方法及び速度で画像の配信を行う。
【0049】
表示開始時刻決定部525が選択されたイベントのイベント発生時刻から表示開始時刻をオフセットさせて表示開始時刻を決定する。要求画像受信部531が録画装置2に要求した画像を受信し、画像表示画面生成部532が要求画像受信部531で受信した画像を順次デコードし、レンダリングして画像表示画面を生成する。
【0050】
表示シーケンス編集部541は、イベント種別毎に表示シーケンスを編集処理し、表示シーケンス編集画面生成部542は表示シーケンス編集部541で表示シーケンスの編集を行わせるための表示シーケンス編集画面を生成する。そして、表示シーケンス編集操作受信部543は表示シーケンス編集画面を操作した際の編集操作を受信し、表示シーケンス書込み部544は表示シーケンス編集部541で編集された表示シーケンスを表示シーケンス記憶部521に保存する。
【0051】
ここで、第2の実施形態における表示シーケンス編集画面の一例を、図12を用いて説明する。この表示シーケンス編集画面でイベント種別毎に表示シーケンスを編集可能である。図12に示す例では、図11に示す表示シーケンス内の表示開始時刻をイベント発生時刻からオフセットする方向と時間を、また、表示方法内の表示する順序、表示する速度及び指定した表示方法で表示する時間を編集できるように構成されている。
【0052】
次に、第2の実施形態における再生装置3の起動時から終了するまでの処理の一例を、図13を用いて説明する。まず、イベント情報を録画装置2から受信し(S21)、受信したイベント情報をリスト化してイベント選択画面を表示する(S22)。次に、ユーザによって終了操作が行われたか否かを監視し(S27)、更にイベント選択が行われたか否かを監視する(S23)。ここで、終了操作が行われたら処理を終了する。
【0053】
一方、イベントが選択されたら、表示シーケンス記憶部521から表示シーケンスを読出し、イベント種別が一致する表示シーケンスを決定する(S24)。表示シーケンスを参照して表示開始時の表示方法と表示開始時刻を特定する情報を指定して録画装置に画像配信要求を送信する(S25)。その後、要求画像を受信し、表示方法に従い画像を表示する(S26)。この際に、別スレッドで画像の受信と表示処理を行い、表示シーケンスに従い表示方法を変更する時間が経過したかを監視する(S28)。このS28で、時間経過の監視と共に、更に別スレッドで画像の受信と表示処理を行い、画像の受信を表示が開始されたら他の操作の監視状態に戻ることが望ましい。また、S28で、現在使用している表示方法が表示時間を経過した場合、次の表示方法を指定して録画装置2に画像配信を要求し(S29)、S26の処理に戻る。
【0054】
以上のように構成することで、画像の再生方法をユーザが操作しなくても選択したイベントにより、所望の画像を短時間で表示を行うことができるだけでなく、より大事な画像を的確に表示させることができる。
【0055】
[他の実施形態]
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

【特許請求の範囲】
【請求項1】
撮影された画像を録画し、録画された画像を再生する録画再生システムであって、
前記撮影された画像を、当該画像を特定するためのイベント情報と関連付けて録画する録画手段と、
前記録画された画像を再生する際に、ユーザに前記イベント情報を選択させて当該画像の表示方法を決定する決定手段と、
前記決定された表示方法に従って前記録画された画像を表示装置に再生させる再生手段と、
を有することを特徴とする録画再生システム。
【請求項2】
前記表示方法として、前記イベント情報に含まれるイベントの種別毎に前記録画された画像を表示装置に再生させる順序と速度とが決定されていることを特徴とする請求項1に記載の録画再生システム。
【請求項3】
前記表示方法は予め記憶装置に記憶されており、当該記憶装置から前記イベントの種別毎に表示方法を読み出して編集し、編集された表示方法を書き込む手段を更に有することを特徴とする請求項2に記載の録画再生システム。
【請求項4】
前記表示方法は、表示シーケンスとして、前記イベントの種別毎に前記再生を開始するオフセット時間と方向とが決定されており、
前記決定手段は前記ユーザに前記イベント情報を選択させて前記表示シーケンスを決定することを特徴とする請求項2又は3に記載の録画再生システム。
【請求項5】
撮影された画像を録画し、録画された画像を再生する録画再生システムの処理方法であって、
録画手段が、前記撮影された画像を、当該画像を特定するためのイベント情報と関連付けて録画する録画工程と、
決定手段が、前記録画された画像を再生する際に、ユーザに前記イベント情報を選択させて当該画像の表示方法を決定する決定工程と、
再生手段が、前記決定された表示方法に従って前記録画された画像を表示装置に再生させる再生工程と、
を有することを特徴とする録画再生システムの処理方法。
【請求項6】
コンピュータを請求項1乃至4の何れか1項に記載の録画再生システムの各手段として機能させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate


【公開番号】特開2012−253559(P2012−253559A)
【公開日】平成24年12月20日(2012.12.20)
【国際特許分類】
【出願番号】特願2011−124462(P2011−124462)
【出願日】平成23年6月2日(2011.6.2)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】