映像配信装置及び映像配信方法
【課題】通信不可となったことによって映像配信が滞った場合に、未配信映像が喪失されるのを安全にかつ簡略に防止できるようにする。
【解決手段】蓄積メディア中の画像データを暗号化し、暗号キーは配信データ中にメタデータとして埋め込む。再生時は、配信データから暗号キーを取り出して蓄積メディア中のデータを復号することで配信データの欠落部の再生が可能となる。暗号キーは撮影画像データの一部を使用、またはデータから生成する。暗号キーは各フレームで切り替えるとともに、過去のフレームデータの値を加算して生成する。
【解決手段】蓄積メディア中の画像データを暗号化し、暗号キーは配信データ中にメタデータとして埋め込む。再生時は、配信データから暗号キーを取り出して蓄積メディア中のデータを復号することで配信データの欠落部の再生が可能となる。暗号キーは撮影画像データの一部を使用、またはデータから生成する。暗号キーは各フレームで切り替えるとともに、過去のフレームデータの値を加算して生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像配信装置及び映像配信方法に関し、特に、カメラで撮像した映像データをネットワークを通じて配信し、かつデータの一部を外部記憶メディアに蓄積するために用いて好適な技術に関するものである。
【背景技術】
【０００２】
ネットワークに接続された機器間で映像配信を行う装置として、カメラで撮影された映像に対して符号化圧縮処理を行い、ネットワーク上のクライアントの要求に応じて映像ストリーム配信を行うネットワークカメラが実用化されている。これらのネットワーク上にはカメラ装置、およびクライアントとしてのビューワ装置、録画装置などが接続されており、各装置はローカルネットワーク上のみならず、インターネットを経由して接続されている場合も多い。
【０００３】
したがって、配信する映像ストリームはセキュリティ対策として、特許文献１に示すデータ送信システムのように、映像データを暗号化して配信する技術を用いる。また、ＩＰｓｅｃ（Ｓｅｃｕｒｉｔｙ Ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）やＳＳＬ（Ｓｅｃｕｒｅ Ｓｏｃｋｅｔｓ Ｌａｙｅｒ）などの標準化された暗号通信手段を用いる。これにより、映像データが不正に漏洩するのを防止している。
【０００４】
一方、各装置が接続されているネットワークはその通信帯域が保証されていない場合が多い。このため、通信媒体やルーターなどのネットワーク機器、同時にネットワークを利用している他の機器などの環境によってはデータ量の増大による通信遅延やデータ消失などが発生するケースもある。その場合、最悪映像中の一部のフレームのデータが届かないという重大なエラーとなることがある。
【０００５】
そこで、重大なエラーを回避するために、ネットワークカメラ装置に外部蓄積メディアを備え、通信不可となったフレームデータを一時的にメディア中に蓄積しておく。そして、ネットワークが安定した後蓄積されている映像データを再送するようなシステムも考えられるが、ネットワークカメラは屋外に設置することもある。このため、外部メディアが盗難されると、外部メディアに蓄積された映像データが不正に外部に流出してしまうという危険性がある。このような危険性に対処するため、特許文献２に記載のデータ配信方法のように、外部メディアに蓄積する映像データを暗号化して記録し、その暗号キーは別の通信手段で配信することで映像データを保護する技術が提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１８７６０８号公報
【特許文献２】特開２００２−２８１０１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、暗号キーのみを別の通信手段で配信する場合は、映像データを配信されたクライアント側で別途暗号キーの取得のための手続きを行う必要があるので、処理が煩雑になってしまう。また、ネットワークカメラ装置のように、ほとんど２４時間常に映像データの配信を継続しているようなシステムでは、同じ映像ストリームに対して一つの暗号キーで運用すると暗号キーが漏洩した場合の被害が増大してしまう。
【０００８】
そこで、複数の暗号キーを利用して運用すると、各暗号キーの取得するための煩雑な手続きがさらに増してしまうこととなる。
本発明は前述の問題点に鑑み、通信不可となったことによって映像配信が滞った場合に、未配信映像が喪失されるのを安全にかつ簡略に防止できるようにすることを目的としている。
【課題を解決するための手段】
【０００９】
本発明の映像配信装置は、撮影画像を生成してネットワーク上のクライアントに配信する映像配信装置であって、前記撮影画像を記憶媒体に蓄積する記憶手段と、前記記憶媒体に蓄積する画像データに暗号処理を行う暗号処理手段と、前記暗号処理手段が前記画像データに暗号処理を行うための暗号キーを、少なくともネットワークに配信される画像データの一部を用いて生成する暗号キー生成手段と、前記ネットワークの通信状態をモニタして通信不可となったことを検出する通信エラー検出手段と、前記通信エラー検出手段で通信不可となったことを検出した場合に、前記暗号キー生成手段で生成された暗号キーを用いて前記画像データを暗号化するように前記暗号処理手段を制御し、前記暗号処理手段により暗号化された画像データを前記記憶媒体に蓄積するよう前記記憶手段を制御する制御手段とを有することを特徴とする。
【発明の効果】
【００１０】
本発明によると、通信不可となったことによって映像配信が滞った場合でも、外部蓄積メディアに未配信の撮影映像を一時的に蓄積しておいて、後に確実に配信することができる。
また、蓄積映像を暗号化して記録することにより、映像データが外部へ不正流出するのを防いで安全なネットワークカメラシステムを構築することができる。
さらに、暗号キーは配信映像データの一部を使用し映像と同時に配信されるようにしたので、暗号化された映像データを簡略に再生できる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態のネットワークカメラの構成例を説明するブロック図である。
【図２】ネットワークカメラシステムの接続形態の一例を示す図である。
【図３】ＪＰＥＧ符号化された画像のデータストリームを説明する図である。
【図４】ＣＰＵが実行する制御手順を説明するフローチャートである。
【図５】ネットワークカメラで生成される画像のデータ構造を表わす図である。
【図６】ビューワ装置で実行される制御手順の一例を説明するフローチャートである。
【図７】第２の実施形態を示し、生成される画像のデータ構造を表わす図である。
【図８】ビューワ装置で実行される制御手順の一例を説明するフローチャートである。
【発明を実施するための形態】
【００１２】
（第１の実施形態）
図１は、第１の実施形態におけるネットワークカメラの全体構成を表すブロック図であり、図２は、第１の実施形態におけるネットワークカメラシステムの接続形態を示す図である。
【００１３】
まず、図２を参照しながら本実施形態のネットワークカメラシステムを説明する。
図２において、２０１〜２０４はネットワークカメラ（カメラ装置）を表わしており、ＬＡＮ回線２０６を通じてインターネット網２０７へ接続され、インターネット網２０７を介して映像配信を行う。また、各カメラ装置２０１〜２０４は、外部メディア（ここではＳＤメモリカード）の挿入スロット２０５を備えておりこのスロットにＳＤカードメディアを挿入して使用する。各カメラ装置２０１〜２０４で撮影された映像データはＬＡＮ回線２０６を経由してインターネット網２０７へ配信される。
【００１４】
また、２０８、２０９は別のＬＡＮ回線２１１に接続されている映像ビューワ装置であり、例えばパーソナルコンピュータ（ＰＣ）で動作するアプリケーションや家庭用デジタルＴＶ、移動体端末などを含んでいる。このビューワ装置２０８、２０９はカメラから配信された映像データをリアルタイムに再生、表示することが可能である。このビューワ装置２０８、２０９は着脱可能な外部メディア（ＳＤカード）の挿入スロットが備わっており、カメラに装着されていたＳＤカードを取り外して、ビューワ装置２０８、２０９に再装着して読み出した映像データを再生、表示することもできる。
【００１５】
さらに、ＬＡＮ回線２１１には録画サーバー装置２１０が接続されており、ネットワークカメラ２０１〜２０４から配信された映像データを内蔵のハードディスクに常時記録している。録画サーバー装置２１０は、サーバーＰＣで動作する専用録画アプリケーションで構成されている場合や専用ハードウェアとなっている場合がある。前述のビューワ装置２０８、２０９では、この録画サーバー装置２１０で録画されている映像データを、ネットワーク経由で読み出して再生、表示することが可能である。
【００１６】
次に、図１を参照しながら、第１の実施形態におけるネットワークカメラ２０１〜２０４の構成例を説明する。
図１において、１０１はレンズ部、１０２はＣＣＤ部、１０３は信号処理部、１０４は符号化部、１０５は画像バッファである。レンズ部１０１から取り込まれた光学映像はＣＣＤ１０２でＲＧＢデジタルデータに変換する処理が行われた後、信号処理部１０３へ送られる。
【００１７】
信号処理部１０３では、ＲＧＢデジタルデータをＹＣｂＣｒ４：２：０フォーマット、またはＹＣｂＣｒ４：２：２フォーマットのデジタルデータに変換する処理、要求された送信映像の画像サイズへの変換処理、各種フィルター処理などを行う。処理が施された撮影データは符号化部１０４へ送られ、ＭＰＥＧ４フォーマット、またはＪＰＥＧフォーマットへ符号化圧縮する処理が行われる。符号化圧縮処理により生成されたＭＰＥＧ４の動画ストリームデータまたは各撮像フレームのＪＰＥＧ静止画データは、画像バッファ１０５へ格納される。
【００１８】
通信状態が良好な場合では、格納されたデータは必要に応じて暗号処理部１０６で暗号化データに変換され、通信処理部１０７を通じてクライアントへ送信される。また、ネットワークの切断や高負荷などで通信環境が悪化した場合は、画像バッファ１０５に格納されたデータは、暗号処理部１０６で暗号化データに変換され後述の外部メモリ制御部１１５を通じて外部メモリ１１６へ格納される。
【００１９】
通信処理部１０７では、ＪＰＥＧ、ＭＰＥＧ４形式に符号化圧縮された画像データ、あるいはさらに暗号化された画像データを通信パケットに分割しネットワークに送信する処理を実行する。
【００２０】
ＣＰＵ１０８は、前述の信号処理部１０３、符号化部１０４、画像バッファ１０５、暗号処理部１０６、通信処理部１０７を制御する。また、後述のＲＯＭ（リード・オンリー・メモリ）１０９、ＲＡＭ（ランダム・アクセス・メモリ）１１０、カメラ制御部１１１、外部メモリ制御部１１５にそれぞれ接続され、ネットワークカメラのアプリケーションを実行する。
【００２１】
アプリケーションでは、それぞれの制御ブロック（信号処理部１０３〜通信処理部１０７、ＲＯＭ１０９〜カメラ制御部１１１、外部メモリ制御部１１５）に対して動作モードやパラメータなどの動作条件設定や開始停止指示が実行される。また、エラーや動作ステータスなどの状態通知の受信などの処理、画像データの送信に際してのＴＣＰ／ＩＰやＨＴＴＰをはじめとする各種通信プロトコルによる各クライアントとの接続やクライアントからの制御データの受信処理が実行される。さらに、暗号処理を実行した場合の暗号キーの生成や管理、さらにカメラの動作モード設定や画面構成の設定などをクライアント端末から制御するためのＵＩ（ユーザーインターフェース）制御処理などが実行される。
【００２２】
ＲＯＭ１０９は、フラッシュメモリデバイスで構成されており、ＯＳ（オペレーティングシステム）やデバイスドライバ、アプリケーションなどＣＰＵ１０８で実行される制御プログラムや各種動作モードなどの設定値などがファイルとして格納されている。ＲＡＭ１１０には、ＲＯＭ１０９に格納されている制御プログラムをロードし実行するための領域、プログラム実行時のワークエリアとして使用される領域、スタック領域などが含まれている。
【００２３】
カメラ制御部１１１は、パン・チルトモーター駆動部１１２、レンズ駆動部１１４と接続されており、ＣＰＵ１０８からの指示に従ってカメラのパン・チルト動作のための制御信号や、ズームやＡＦ（オートフォーカス）動作のための制御信号を出力する。パン・チルトモーター駆動部１１２はモーター駆動回路（図示せず）などを備えており、カメラ制御部１１１からの制御信号に従ってパン・チルトモーター１１３を駆動し、モーターの回転によってカメラの撮影方向を変えることが可能となる。
【００２４】
レンズ駆動部１１４は、ズーム、ＡＦなどの各制御を行うためのモーターとモーター駆動回路を備えていて、カメラ制御部１１１からの制御信号に従って駆動する。外部メモリ制御部１１５は、暗号処理部１０６から受け取った暗号化画像データを外部メモリ１１６へ記録するための制御、およびデータの出力を行う。外部メモリ１１６は、フラッシュメモリを内蔵したＳＤメモリカードであり、暗号化画像データをファイル形式で記録することが可能である。
【００２５】
図３は、ネットワークカメラで撮影されＪＰＥＧ符号化された画像のデータストリームを表す図である。
図３において、３０１は通常の配信フレームデータの領域を示しており、このデータは通信処理部１０７を通じてネットワークからクライアントへデータ配信される。
３０２は、ネットワークエラーを検出した場合の蓄積対象フレームデータの領域を示しており、図３中に、３０２のグレースケールで示したエラーフレーム０１〜０２がすべて暗号処理され蓄積対象となる。また、３０３はネットワークエラーが解除されて再度通常の配信フレームデータに戻った場合の領域である。
【００２６】
図４に、ネットワークカメラ装置において図１に示されるＣＰＵ１０８が実行するソフトウエアの制御を、フローチャートを用いて詳細に説明する。
図４において、Ｓ４０１ではネットワークを通じてクライアントからのストリーム配信要求の有無を判断する。この判断の結果、要求を受けた場合、Ｓ４０２においてクライアントとの映像データ配信用の通信セッションを確立する。このとき、ＳＳＬなどの暗号通信処理を行う場合にはここで鍵交換などのハンドシェーク処理なども実行しておく。
【００２７】
次に、Ｓ４０３において、カメラの撮影開始指示を実行する。撮影開始指示は、信号処理部１０３に対して撮影サイズや画質、フレームレートなどの設定やＣＣＤ１０２からの画像データを連続的に取り込みを開始する指示。符号化部１０４に対して符号化形式（ＭＰＥＧ４、ＪＰＥＧ）や画質、フレームレートなどの設定や信号処理部から画像データを連続的に取り込みを開始する指示。画像バッファ１０５の読み出しポインタ、書き込みポインタの初期化処理、暗号処理部１０６に対して暗号方式や暗号キーの設定指示、さらに暗号処理部１０６から通信処理部１０７または外部メモリ制御部へ連続的にデータ出力を開始する指示、などを含む。
【００２８】
以下、Ｓ４０４からＳ４１３までの処理は１フレームの画像データが撮影されるたびに設定されたフレームレートの時間間隔で連続的に繰り返される。
Ｓ４０４では、ＣＣＤ１０２から信号処理部１０３へ１フレーム分の画像データの取り込み指示、Ｓ４０５では信号処理部１０３における画像処理制御指示、Ｓ４０６では符号化部１０４における圧縮符号化制御指示が実行される。
【００２９】
ここで、Ｓ４０７において、符号化された画像データ中にあらかじめ設定されている所定の位置の部分データを読み取り、１フレームごとに加算する処理を実行する。例えば、符号化データの先頭から１２８ビット（１６バイト）のデータを読み出し、過去のフレームの読み出し値に加算していくというものである。加算値の有効ビット幅も下位１２８ビットとし、加算値は記憶しておく。
【００３０】
次に、Ｓ４０８において、通信不可となった（通信エラー状態）かどうかをチェックして通信エラー検出処理を行う。通信エラー検出は、通信処理部１０７とＣＰＵ１０８で処理されるネットワークプロトコルの実行状態から判断される。この判断の結果、通信エラーが検出されない場合、つまり正常にネットワーク配信が行われている場合はＳ４０９に進み、ネットワークプロトコルによる画像データ配信処理を実行する。その後、再びＳ４０４で次のフレームデータの取り込みを実行する。
【００３１】
一方、Ｓ４０８の判断の結果、通信エラーが検出された場合は、Ｓ４１０に進み、その前のフレーム処理もエラーモードか、つまり正常通信モードからエラーモードに切り替わったかどうかをチェックする。切り替わっている場合はＳ４１１に進み、Ｓ４０７で加算されたデータを用い、暗号化する時点より過去の撮影画像の一部を含むデータを用いて暗号キーを新たに生成して暗号キーを更新する処理を実行する。
【００３２】
一方、Ｓ４１０のチェックの結果、切り替わっていない場合はＳ４１２へ進む。Ｓ４１２においては、画像バッファ１０５から読み出した１フレーム分の符号化データに対して暗号処理する指示を実行する。この場合、Ｓ４１１で生成した暗号キーを用いて暗号処理部１０６で暗号処理する指示を実行する。暗号化のアルゴリズムはＤＥＳ（Ｄａｔａ Ｅｎｃｒｙｐｔｉｏｎ Ｓｔａｎｄａｒｄ）やＡＥＳ（Ａｄｖａｎｃｅｄ Ｅｎｃｒｙｐｔｉｏｎ Ｓｔａｎｄａｒｄ）など標準的に使用されている共通鍵方式とする。
【００３３】
次に、Ｓ４１３において、暗号化データを外部メモリ制御部１１５から外部メモリ（ＳＤメモリカード）へ書き出す処理を行う。その後、Ｓ４０４へ戻って次のフレームデータの取り込みを行う。
【００３４】
図５は、ネットワークカメラ２０１〜２０４で生成される画像のデータ構造を表わす図であり、撮影画像をＪＰＥＧ符号化した１フレームの符号化データを示す。
図５において、５０１はＪＰＥＧヘッダ部を表わしており、ＪＰＥＧヘッダ情報５０３、フレームＮＯ５０４、エラーフラグ５０５、フレーム種別５０６を含む。また５０２はデータ部を表わしており、ＪＰＥＧ符号化データまたは符号化データを暗号化した画像データ５０８で構成されている。
【００３５】
ＪＰＥＧヘッダ情報５０３には画像サイズ、量子化テーブル、ハフマンテーブルなどＪＰＥＧ符号化に関する情報が格納されている。また、５０４〜５０６はＪＰＥＧヘッダ部のユーザー定義領域で、フレームＮＯ５０４には撮影画像の各フレームのシーケンス番号が格納されている。５０５はエラーフラグで、通信処理部１０７を通じてネットワークからクライアントへ配信される通常フレームデータには“０”が、ネットワークエラーが検出されて蓄積メディアに格納されるエラーフレームデータには“１”が書き込まれる。
【００３６】
また、５０６はフレーム種別を示しており、連続した通常フレームまたは連続したエラーフレームの集合をフレームブロックとし、同一のフレームブロックの先頭フレームには“０”、途中のフレームには“１”、最終フレームには“２”が書き込まれる。これらのフレームデータを順次再生する場合に、最終フレームである「フレーム種別２」を検出することで、次のフレームの読み出しメディアを切り替えることが可能となる。
【００３７】
５０７は、図４のフローチャートのＳ４０７で示したように、暗号キーを生成するための加算データの読み出し領域であり、画像データ５０８の先頭から１２８ビット長のブロックを示している。
尚、本実施形態では暗号キー生成のための加算データの読み出し位置とサイズをデータの先頭から１２８ビットの例を示した。しかし、これに限定されるものではなく、読み出し位置はデータの途中や複数の領域に分散する場合、またデータサイズも暗号化のアルゴリズムに依存して可変である。
また、暗号キー生成のために読み出しデータを加算していく例を示したが、これに限定されるものではなく、読み出しデータに対して他の演算規則を設けることも可能である。
【００３８】
次に、図６のフローチャートを参照しながら、ビューワ装置２０８において映像の再生、表示を行う場合に実行されるソフトウエアの制御例を詳細に説明する。
図６に示すフローチャートは、カメラ装置２０１から配信され録画サーバー装置２１０に蓄積された映像データをネットワーク経由で読み出す。そして、カメラ装置２０１から取り出したＳＤメモリカードをビューワ装置２０８に挿入して、ＳＤカード中に蓄積されているネットワークエラーで欠落したフレームデータを同時に読み出すことで完全な撮影映像の再生、表示を行う場合の動作を表わす。
【００３９】
図６において、Ｓ６０１では録画サーバー装置２１０との映像データ配信用の通信セッションを確立する。このとき、図４のフローチャートにおけるＳ４０２と同様に、ＳＳＬなどの暗号通信処理を行う場合のハンドシェーク処理なども実行しておく。
【００４０】
以下、Ｓ６０２からＳ６０７までの処理は、録画サーバー装置２１０から読み出された通常フレームの再生処理を示しており、１フレームの画像データが再生されるたびに設定されたフレームレートの時間間隔で連続的に繰り返される。
【００４１】
Ｓ６０２では、ネットワークを経由して録画サーバー装置２１０から１フレーム分のＪＰＥＧデータを受信する。
次に、Ｓ６０３において、符号化された画像データ中あらかじめ設定されている所定の位置の部分データを読み取り、１フレームごとに加算する処理を実行する。これは、図４のフローチャートのＳ４０７と同様の処理であり、先頭から１２８ビット（１６バイト）のデータを読み出し過去のフレームの読み出し値に加算し加算値は記憶しておく。
【００４２】
Ｓ６０４においては、受信したＪＰＥＧデータのデコード処理を実行し、Ｓ６０５でモニタ上に表示する。さらにＳ６０６では、受信したＪＰＥＧデータのヘッダ部５０１からフレーム種別５０６を読み出し、種別データのチェックを行う。ここで、Ｓ６０７の判定により種別データが“２”の場合、つまりフレームブロックの最終フレームの場合は次の読み出しフレームからはエラーフレームブロックへ移行するのでＳ６０８へ進む。また、最終フレームでない場合は再びＳ６０２の通常フレームデータの読み出しを繰り返す。
【００４３】
Ｓ６０８では、Ｓ６０３で加算されたデータを用いて新たに暗号キーを生成して暗号キーを更新する処理を実行する。
Ｓ６０９から６１５までの処理は、装着されたＳＤカードから読み出されたエラーフレームの再生処理を示しており、１フレームの画像データが再生されるたびに設定されたフレームレートの時間間隔で連続的に繰り返される。
【００４４】
Ｓ６０９では、挿入されているＳＤカードから１フレーム分の暗号化されたＪＰＥＧデータを読み出す。次にＳ６１０において、読み出したデータに対してＳ６０８で生成した暗号キーを用いて暗号化データの復号処理を実行する。次にＳ６１１において、Ｓ６０３と同様に暗号化解除されたＪＰＥＧデータ中あらかじめ設定されている所定の位置の部分データを読み取り、１フレームごとに加算し記憶しておく処理を実行する。
【００４５】
Ｓ６１２においては、暗号解除されたＪＰＥＧデータのデコード処理を実行し、Ｓ６１３でモニタに表示する。さらにＳ６１４では、Ｓ６０６と同様に受信したＪＰＥＧデータのヘッダ部５０１からフレーム種別５０６を読み出し、種別データのチェックを行う。ここでＳ６１５の判定により種別データが“２”の場合、つまりフレームブロックの最終フレームの場合は次の読み出しフレームからは通常フレームブロックへ移行するのでＳ６０２へ進む。また、最終フレームでない場合は再びＳ６０９のＳＤカードからのエラーフレームデータの読み出しを繰り返す。
【００４６】
（第２の実施形態）
第１の実施形態では、撮影された映像データの部分データの積算値を暗号キーとして使用してエラーフレームデータの暗号化を行い、表示、再生の際にも同様の手順で求めた積算値で暗号データの復号を行うような実施形態について説明した。しかし、本発明はこれに限定されるものではない。
第２の実施形態では、カメラ側で生成された暗号キーを配信画像データ中に付加するメタ情報として埋め込む実施形態を説明する。
【００４７】
図７は、第２の実施形態において、ネットワークカメラ２０１〜２０４で生成される画像のデータ構造を表わす図である。
図７において、７０１〜７０８は、図５の５０１〜５０８と同様であり、それぞれＪＰＥＧヘッダ部、データ部、ＪＰＥＧヘッダ情報、フレームＮＯ、エラーフラグ、フレーム種別、ＪＰＥＧ符号化データを表わす。
【００４８】
７０９は、画像データを暗号化するための暗号キーが格納されている領域で、この暗号キーは図４のＳ４０７で説明したように画像データの一部のデータを加算して作成されるものである。
【００４９】
図７に示されるような、暗号キーが埋め込まれたデータ構造は、ネットワークを通じて配信される通常データの内、ネットワークエラーを検出して通常フレームからエラーフレームに切り替わる時に、通常フレームブロックの最終フレームに適用される。つまり、フレーム種別が“２”のフレームに適用され、それまでの加算データから生成された異なるキーが埋め込まれる。受信側では、次に読み出されるエラーフレームブロックの各エラーフレームデータに対してこの暗号キーを用いてデータの復号を行う。
【００５０】
次に、図８のフローチャートを参照しながら、第２の実施形態におけるビューワ装置２０８で映像の再生、表示を行う場合に実行されるソフトウエアの制御手順の一例を用いて詳細に説明する。
【００５１】
図８に示すフローチャートは、図６のケースと同様に、カメラ装置２０１から配信され録画サーバー装置２１０に蓄積された映像データをネットワーク経由で読み出す。そして、カメラ装置２０１から取り出したＳＤメモリカードをビューワ装置２０８に挿入して、ＳＤカード中に蓄積されているネットワークエラーで欠落したフレームデータを同時に読み出すことで完全な撮影映像の再生、表示を行う場合の動作を表わす。
【００５２】
図８において、Ｓ８０１、Ｓ８０２はＳ６０１、Ｓ６０２と同様に録画サーバー装置２１０との通信セッションの確立および録画サーバー装置２１０からの1フレーム分のＪＰＥＧデータの受信処理である。Ｓ８０３〜Ｓ８０５はＳ６０４〜Ｓ６０６と同様に、受信したＪＰＥＧデータのデコード処理、モニタへの表示、ＪＰＥＧデータのヘッダ部から読み出した種別データのチェックの各処理を示す。
【００５３】
ここで、Ｓ８０６の判定により種別データが“２”の場合、つまりフレームブロックの最終フレームの場合は次の読み出しフレームからはエラーフレームブロックへ移行するのでＳ８０７へ進む。また、最終フレームでない場合は再びＳ８０２の通常フレームデータの読み出しを繰り返す。
【００５４】
Ｓ８０７では、Ｓ８０２で受信したフレームデータのＪＰＥＧヘッダ部から暗号キー７０９を読み出す処理を実行する。
Ｓ８０８、Ｓ８０９はＳ６０９、Ｓ６１０と同様に、挿入されているＳＤカードから１フレーム分の暗号化されたＪＰＥＧデータの読み出し処理、読み出したデータに対して暗号キーを用いて暗号化データの復号処理を実行する。
【００５５】
Ｓ８１０〜Ｓ８１２は、Ｓ６１２〜Ｓ６１４と同様に、暗号解除されたＪＰＥＧデータのデコード処理、モニタへの表示、受信したＪＰＥＧデータのヘッダ部から読み出したフレーム種別データのチェックを行う。ここで、Ｓ８１３の判定により種別データが“２”の場合、つまりフレームブロックの最終フレームの場合は次の読み出しフレームからは通常フレームブロックへ移行するのでＳ８０２へ進む。また、最終フレームでない場合は再びＳ８０８のＳＤカードからのエラーフレームデータの読み出しを繰り返す。
【００５６】
前述した実施形態において、撮影対象となる複数の被写体を特定しその位置を検出する被写体検出手段を設け、検出した複数の被写体が同一の撮像フレーム内に入るようにカメラの向きまたはズーム量を調整する制御手段を設けるようにしてもよい。また、クライアントからの被写体指定に応じて、指定された被写体を含む映像をクライアントへ配信する手段を設けるようにしてもよい。
【００５７】
さらに、複数のカメラが配置された場合においては、指定された被写体は複数のカメラのうち少なくともどれか一つのカメラの撮影フレームに入るように、各被写体に対して撮影カメラを割り当てる制御を行うようにしてもよい。さらに、撮影対象となる被写体の増加、または減少、または位置の移動が発生した場合に、各撮影カメラと被写体の割り当てを変えるような制御を行うようにしてもよい。
【００５８】
また、前述したカメラ装置は、撮影状態がある閾値を超えた場合に他のカメラ装置に代行撮影要求を行い、その許可に応答して撮影対象被写体の割り当てを変えるような制御を行う。さらに、他のカメラからの代行撮影要求に応答して撮影対象被写体の割り当てを変えるような制御を行うようにしてもよい。
【００５９】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００６０】
１０５ 画像バッファ、１０６ 暗号処理部、１０７ 通信処理部、１０８ ＣＰＵ、１１５ 外部メモリ制御部、１１６ 外部メモリ
【技術分野】
【０００１】
本発明は映像配信装置及び映像配信方法に関し、特に、カメラで撮像した映像データをネットワークを通じて配信し、かつデータの一部を外部記憶メディアに蓄積するために用いて好適な技術に関するものである。
【背景技術】
【０００２】
ネットワークに接続された機器間で映像配信を行う装置として、カメラで撮影された映像に対して符号化圧縮処理を行い、ネットワーク上のクライアントの要求に応じて映像ストリーム配信を行うネットワークカメラが実用化されている。これらのネットワーク上にはカメラ装置、およびクライアントとしてのビューワ装置、録画装置などが接続されており、各装置はローカルネットワーク上のみならず、インターネットを経由して接続されている場合も多い。
【０００３】
したがって、配信する映像ストリームはセキュリティ対策として、特許文献１に示すデータ送信システムのように、映像データを暗号化して配信する技術を用いる。また、ＩＰｓｅｃ（Ｓｅｃｕｒｉｔｙ Ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）やＳＳＬ（Ｓｅｃｕｒｅ Ｓｏｃｋｅｔｓ Ｌａｙｅｒ）などの標準化された暗号通信手段を用いる。これにより、映像データが不正に漏洩するのを防止している。
【０００４】
一方、各装置が接続されているネットワークはその通信帯域が保証されていない場合が多い。このため、通信媒体やルーターなどのネットワーク機器、同時にネットワークを利用している他の機器などの環境によってはデータ量の増大による通信遅延やデータ消失などが発生するケースもある。その場合、最悪映像中の一部のフレームのデータが届かないという重大なエラーとなることがある。
【０００５】
そこで、重大なエラーを回避するために、ネットワークカメラ装置に外部蓄積メディアを備え、通信不可となったフレームデータを一時的にメディア中に蓄積しておく。そして、ネットワークが安定した後蓄積されている映像データを再送するようなシステムも考えられるが、ネットワークカメラは屋外に設置することもある。このため、外部メディアが盗難されると、外部メディアに蓄積された映像データが不正に外部に流出してしまうという危険性がある。このような危険性に対処するため、特許文献２に記載のデータ配信方法のように、外部メディアに蓄積する映像データを暗号化して記録し、その暗号キーは別の通信手段で配信することで映像データを保護する技術が提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１８７６０８号公報
【特許文献２】特開２００２−２８１０１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、暗号キーのみを別の通信手段で配信する場合は、映像データを配信されたクライアント側で別途暗号キーの取得のための手続きを行う必要があるので、処理が煩雑になってしまう。また、ネットワークカメラ装置のように、ほとんど２４時間常に映像データの配信を継続しているようなシステムでは、同じ映像ストリームに対して一つの暗号キーで運用すると暗号キーが漏洩した場合の被害が増大してしまう。
【０００８】
そこで、複数の暗号キーを利用して運用すると、各暗号キーの取得するための煩雑な手続きがさらに増してしまうこととなる。
本発明は前述の問題点に鑑み、通信不可となったことによって映像配信が滞った場合に、未配信映像が喪失されるのを安全にかつ簡略に防止できるようにすることを目的としている。
【課題を解決するための手段】
【０００９】
本発明の映像配信装置は、撮影画像を生成してネットワーク上のクライアントに配信する映像配信装置であって、前記撮影画像を記憶媒体に蓄積する記憶手段と、前記記憶媒体に蓄積する画像データに暗号処理を行う暗号処理手段と、前記暗号処理手段が前記画像データに暗号処理を行うための暗号キーを、少なくともネットワークに配信される画像データの一部を用いて生成する暗号キー生成手段と、前記ネットワークの通信状態をモニタして通信不可となったことを検出する通信エラー検出手段と、前記通信エラー検出手段で通信不可となったことを検出した場合に、前記暗号キー生成手段で生成された暗号キーを用いて前記画像データを暗号化するように前記暗号処理手段を制御し、前記暗号処理手段により暗号化された画像データを前記記憶媒体に蓄積するよう前記記憶手段を制御する制御手段とを有することを特徴とする。
【発明の効果】
【００１０】
本発明によると、通信不可となったことによって映像配信が滞った場合でも、外部蓄積メディアに未配信の撮影映像を一時的に蓄積しておいて、後に確実に配信することができる。
また、蓄積映像を暗号化して記録することにより、映像データが外部へ不正流出するのを防いで安全なネットワークカメラシステムを構築することができる。
さらに、暗号キーは配信映像データの一部を使用し映像と同時に配信されるようにしたので、暗号化された映像データを簡略に再生できる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態のネットワークカメラの構成例を説明するブロック図である。
【図２】ネットワークカメラシステムの接続形態の一例を示す図である。
【図３】ＪＰＥＧ符号化された画像のデータストリームを説明する図である。
【図４】ＣＰＵが実行する制御手順を説明するフローチャートである。
【図５】ネットワークカメラで生成される画像のデータ構造を表わす図である。
【図６】ビューワ装置で実行される制御手順の一例を説明するフローチャートである。
【図７】第２の実施形態を示し、生成される画像のデータ構造を表わす図である。
【図８】ビューワ装置で実行される制御手順の一例を説明するフローチャートである。
【発明を実施するための形態】
【００１２】
（第１の実施形態）
図１は、第１の実施形態におけるネットワークカメラの全体構成を表すブロック図であり、図２は、第１の実施形態におけるネットワークカメラシステムの接続形態を示す図である。
【００１３】
まず、図２を参照しながら本実施形態のネットワークカメラシステムを説明する。
図２において、２０１〜２０４はネットワークカメラ（カメラ装置）を表わしており、ＬＡＮ回線２０６を通じてインターネット網２０７へ接続され、インターネット網２０７を介して映像配信を行う。また、各カメラ装置２０１〜２０４は、外部メディア（ここではＳＤメモリカード）の挿入スロット２０５を備えておりこのスロットにＳＤカードメディアを挿入して使用する。各カメラ装置２０１〜２０４で撮影された映像データはＬＡＮ回線２０６を経由してインターネット網２０７へ配信される。
【００１４】
また、２０８、２０９は別のＬＡＮ回線２１１に接続されている映像ビューワ装置であり、例えばパーソナルコンピュータ（ＰＣ）で動作するアプリケーションや家庭用デジタルＴＶ、移動体端末などを含んでいる。このビューワ装置２０８、２０９はカメラから配信された映像データをリアルタイムに再生、表示することが可能である。このビューワ装置２０８、２０９は着脱可能な外部メディア（ＳＤカード）の挿入スロットが備わっており、カメラに装着されていたＳＤカードを取り外して、ビューワ装置２０８、２０９に再装着して読み出した映像データを再生、表示することもできる。
【００１５】
さらに、ＬＡＮ回線２１１には録画サーバー装置２１０が接続されており、ネットワークカメラ２０１〜２０４から配信された映像データを内蔵のハードディスクに常時記録している。録画サーバー装置２１０は、サーバーＰＣで動作する専用録画アプリケーションで構成されている場合や専用ハードウェアとなっている場合がある。前述のビューワ装置２０８、２０９では、この録画サーバー装置２１０で録画されている映像データを、ネットワーク経由で読み出して再生、表示することが可能である。
【００１６】
次に、図１を参照しながら、第１の実施形態におけるネットワークカメラ２０１〜２０４の構成例を説明する。
図１において、１０１はレンズ部、１０２はＣＣＤ部、１０３は信号処理部、１０４は符号化部、１０５は画像バッファである。レンズ部１０１から取り込まれた光学映像はＣＣＤ１０２でＲＧＢデジタルデータに変換する処理が行われた後、信号処理部１０３へ送られる。
【００１７】
信号処理部１０３では、ＲＧＢデジタルデータをＹＣｂＣｒ４：２：０フォーマット、またはＹＣｂＣｒ４：２：２フォーマットのデジタルデータに変換する処理、要求された送信映像の画像サイズへの変換処理、各種フィルター処理などを行う。処理が施された撮影データは符号化部１０４へ送られ、ＭＰＥＧ４フォーマット、またはＪＰＥＧフォーマットへ符号化圧縮する処理が行われる。符号化圧縮処理により生成されたＭＰＥＧ４の動画ストリームデータまたは各撮像フレームのＪＰＥＧ静止画データは、画像バッファ１０５へ格納される。
【００１８】
通信状態が良好な場合では、格納されたデータは必要に応じて暗号処理部１０６で暗号化データに変換され、通信処理部１０７を通じてクライアントへ送信される。また、ネットワークの切断や高負荷などで通信環境が悪化した場合は、画像バッファ１０５に格納されたデータは、暗号処理部１０６で暗号化データに変換され後述の外部メモリ制御部１１５を通じて外部メモリ１１６へ格納される。
【００１９】
通信処理部１０７では、ＪＰＥＧ、ＭＰＥＧ４形式に符号化圧縮された画像データ、あるいはさらに暗号化された画像データを通信パケットに分割しネットワークに送信する処理を実行する。
【００２０】
ＣＰＵ１０８は、前述の信号処理部１０３、符号化部１０４、画像バッファ１０５、暗号処理部１０６、通信処理部１０７を制御する。また、後述のＲＯＭ（リード・オンリー・メモリ）１０９、ＲＡＭ（ランダム・アクセス・メモリ）１１０、カメラ制御部１１１、外部メモリ制御部１１５にそれぞれ接続され、ネットワークカメラのアプリケーションを実行する。
【００２１】
アプリケーションでは、それぞれの制御ブロック（信号処理部１０３〜通信処理部１０７、ＲＯＭ１０９〜カメラ制御部１１１、外部メモリ制御部１１５）に対して動作モードやパラメータなどの動作条件設定や開始停止指示が実行される。また、エラーや動作ステータスなどの状態通知の受信などの処理、画像データの送信に際してのＴＣＰ／ＩＰやＨＴＴＰをはじめとする各種通信プロトコルによる各クライアントとの接続やクライアントからの制御データの受信処理が実行される。さらに、暗号処理を実行した場合の暗号キーの生成や管理、さらにカメラの動作モード設定や画面構成の設定などをクライアント端末から制御するためのＵＩ（ユーザーインターフェース）制御処理などが実行される。
【００２２】
ＲＯＭ１０９は、フラッシュメモリデバイスで構成されており、ＯＳ（オペレーティングシステム）やデバイスドライバ、アプリケーションなどＣＰＵ１０８で実行される制御プログラムや各種動作モードなどの設定値などがファイルとして格納されている。ＲＡＭ１１０には、ＲＯＭ１０９に格納されている制御プログラムをロードし実行するための領域、プログラム実行時のワークエリアとして使用される領域、スタック領域などが含まれている。
【００２３】
カメラ制御部１１１は、パン・チルトモーター駆動部１１２、レンズ駆動部１１４と接続されており、ＣＰＵ１０８からの指示に従ってカメラのパン・チルト動作のための制御信号や、ズームやＡＦ（オートフォーカス）動作のための制御信号を出力する。パン・チルトモーター駆動部１１２はモーター駆動回路（図示せず）などを備えており、カメラ制御部１１１からの制御信号に従ってパン・チルトモーター１１３を駆動し、モーターの回転によってカメラの撮影方向を変えることが可能となる。
【００２４】
レンズ駆動部１１４は、ズーム、ＡＦなどの各制御を行うためのモーターとモーター駆動回路を備えていて、カメラ制御部１１１からの制御信号に従って駆動する。外部メモリ制御部１１５は、暗号処理部１０６から受け取った暗号化画像データを外部メモリ１１６へ記録するための制御、およびデータの出力を行う。外部メモリ１１６は、フラッシュメモリを内蔵したＳＤメモリカードであり、暗号化画像データをファイル形式で記録することが可能である。
【００２５】
図３は、ネットワークカメラで撮影されＪＰＥＧ符号化された画像のデータストリームを表す図である。
図３において、３０１は通常の配信フレームデータの領域を示しており、このデータは通信処理部１０７を通じてネットワークからクライアントへデータ配信される。
３０２は、ネットワークエラーを検出した場合の蓄積対象フレームデータの領域を示しており、図３中に、３０２のグレースケールで示したエラーフレーム０１〜０２がすべて暗号処理され蓄積対象となる。また、３０３はネットワークエラーが解除されて再度通常の配信フレームデータに戻った場合の領域である。
【００２６】
図４に、ネットワークカメラ装置において図１に示されるＣＰＵ１０８が実行するソフトウエアの制御を、フローチャートを用いて詳細に説明する。
図４において、Ｓ４０１ではネットワークを通じてクライアントからのストリーム配信要求の有無を判断する。この判断の結果、要求を受けた場合、Ｓ４０２においてクライアントとの映像データ配信用の通信セッションを確立する。このとき、ＳＳＬなどの暗号通信処理を行う場合にはここで鍵交換などのハンドシェーク処理なども実行しておく。
【００２７】
次に、Ｓ４０３において、カメラの撮影開始指示を実行する。撮影開始指示は、信号処理部１０３に対して撮影サイズや画質、フレームレートなどの設定やＣＣＤ１０２からの画像データを連続的に取り込みを開始する指示。符号化部１０４に対して符号化形式（ＭＰＥＧ４、ＪＰＥＧ）や画質、フレームレートなどの設定や信号処理部から画像データを連続的に取り込みを開始する指示。画像バッファ１０５の読み出しポインタ、書き込みポインタの初期化処理、暗号処理部１０６に対して暗号方式や暗号キーの設定指示、さらに暗号処理部１０６から通信処理部１０７または外部メモリ制御部へ連続的にデータ出力を開始する指示、などを含む。
【００２８】
以下、Ｓ４０４からＳ４１３までの処理は１フレームの画像データが撮影されるたびに設定されたフレームレートの時間間隔で連続的に繰り返される。
Ｓ４０４では、ＣＣＤ１０２から信号処理部１０３へ１フレーム分の画像データの取り込み指示、Ｓ４０５では信号処理部１０３における画像処理制御指示、Ｓ４０６では符号化部１０４における圧縮符号化制御指示が実行される。
【００２９】
ここで、Ｓ４０７において、符号化された画像データ中にあらかじめ設定されている所定の位置の部分データを読み取り、１フレームごとに加算する処理を実行する。例えば、符号化データの先頭から１２８ビット（１６バイト）のデータを読み出し、過去のフレームの読み出し値に加算していくというものである。加算値の有効ビット幅も下位１２８ビットとし、加算値は記憶しておく。
【００３０】
次に、Ｓ４０８において、通信不可となった（通信エラー状態）かどうかをチェックして通信エラー検出処理を行う。通信エラー検出は、通信処理部１０７とＣＰＵ１０８で処理されるネットワークプロトコルの実行状態から判断される。この判断の結果、通信エラーが検出されない場合、つまり正常にネットワーク配信が行われている場合はＳ４０９に進み、ネットワークプロトコルによる画像データ配信処理を実行する。その後、再びＳ４０４で次のフレームデータの取り込みを実行する。
【００３１】
一方、Ｓ４０８の判断の結果、通信エラーが検出された場合は、Ｓ４１０に進み、その前のフレーム処理もエラーモードか、つまり正常通信モードからエラーモードに切り替わったかどうかをチェックする。切り替わっている場合はＳ４１１に進み、Ｓ４０７で加算されたデータを用い、暗号化する時点より過去の撮影画像の一部を含むデータを用いて暗号キーを新たに生成して暗号キーを更新する処理を実行する。
【００３２】
一方、Ｓ４１０のチェックの結果、切り替わっていない場合はＳ４１２へ進む。Ｓ４１２においては、画像バッファ１０５から読み出した１フレーム分の符号化データに対して暗号処理する指示を実行する。この場合、Ｓ４１１で生成した暗号キーを用いて暗号処理部１０６で暗号処理する指示を実行する。暗号化のアルゴリズムはＤＥＳ（Ｄａｔａ Ｅｎｃｒｙｐｔｉｏｎ Ｓｔａｎｄａｒｄ）やＡＥＳ（Ａｄｖａｎｃｅｄ Ｅｎｃｒｙｐｔｉｏｎ Ｓｔａｎｄａｒｄ）など標準的に使用されている共通鍵方式とする。
【００３３】
次に、Ｓ４１３において、暗号化データを外部メモリ制御部１１５から外部メモリ（ＳＤメモリカード）へ書き出す処理を行う。その後、Ｓ４０４へ戻って次のフレームデータの取り込みを行う。
【００３４】
図５は、ネットワークカメラ２０１〜２０４で生成される画像のデータ構造を表わす図であり、撮影画像をＪＰＥＧ符号化した１フレームの符号化データを示す。
図５において、５０１はＪＰＥＧヘッダ部を表わしており、ＪＰＥＧヘッダ情報５０３、フレームＮＯ５０４、エラーフラグ５０５、フレーム種別５０６を含む。また５０２はデータ部を表わしており、ＪＰＥＧ符号化データまたは符号化データを暗号化した画像データ５０８で構成されている。
【００３５】
ＪＰＥＧヘッダ情報５０３には画像サイズ、量子化テーブル、ハフマンテーブルなどＪＰＥＧ符号化に関する情報が格納されている。また、５０４〜５０６はＪＰＥＧヘッダ部のユーザー定義領域で、フレームＮＯ５０４には撮影画像の各フレームのシーケンス番号が格納されている。５０５はエラーフラグで、通信処理部１０７を通じてネットワークからクライアントへ配信される通常フレームデータには“０”が、ネットワークエラーが検出されて蓄積メディアに格納されるエラーフレームデータには“１”が書き込まれる。
【００３６】
また、５０６はフレーム種別を示しており、連続した通常フレームまたは連続したエラーフレームの集合をフレームブロックとし、同一のフレームブロックの先頭フレームには“０”、途中のフレームには“１”、最終フレームには“２”が書き込まれる。これらのフレームデータを順次再生する場合に、最終フレームである「フレーム種別２」を検出することで、次のフレームの読み出しメディアを切り替えることが可能となる。
【００３７】
５０７は、図４のフローチャートのＳ４０７で示したように、暗号キーを生成するための加算データの読み出し領域であり、画像データ５０８の先頭から１２８ビット長のブロックを示している。
尚、本実施形態では暗号キー生成のための加算データの読み出し位置とサイズをデータの先頭から１２８ビットの例を示した。しかし、これに限定されるものではなく、読み出し位置はデータの途中や複数の領域に分散する場合、またデータサイズも暗号化のアルゴリズムに依存して可変である。
また、暗号キー生成のために読み出しデータを加算していく例を示したが、これに限定されるものではなく、読み出しデータに対して他の演算規則を設けることも可能である。
【００３８】
次に、図６のフローチャートを参照しながら、ビューワ装置２０８において映像の再生、表示を行う場合に実行されるソフトウエアの制御例を詳細に説明する。
図６に示すフローチャートは、カメラ装置２０１から配信され録画サーバー装置２１０に蓄積された映像データをネットワーク経由で読み出す。そして、カメラ装置２０１から取り出したＳＤメモリカードをビューワ装置２０８に挿入して、ＳＤカード中に蓄積されているネットワークエラーで欠落したフレームデータを同時に読み出すことで完全な撮影映像の再生、表示を行う場合の動作を表わす。
【００３９】
図６において、Ｓ６０１では録画サーバー装置２１０との映像データ配信用の通信セッションを確立する。このとき、図４のフローチャートにおけるＳ４０２と同様に、ＳＳＬなどの暗号通信処理を行う場合のハンドシェーク処理なども実行しておく。
【００４０】
以下、Ｓ６０２からＳ６０７までの処理は、録画サーバー装置２１０から読み出された通常フレームの再生処理を示しており、１フレームの画像データが再生されるたびに設定されたフレームレートの時間間隔で連続的に繰り返される。
【００４１】
Ｓ６０２では、ネットワークを経由して録画サーバー装置２１０から１フレーム分のＪＰＥＧデータを受信する。
次に、Ｓ６０３において、符号化された画像データ中あらかじめ設定されている所定の位置の部分データを読み取り、１フレームごとに加算する処理を実行する。これは、図４のフローチャートのＳ４０７と同様の処理であり、先頭から１２８ビット（１６バイト）のデータを読み出し過去のフレームの読み出し値に加算し加算値は記憶しておく。
【００４２】
Ｓ６０４においては、受信したＪＰＥＧデータのデコード処理を実行し、Ｓ６０５でモニタ上に表示する。さらにＳ６０６では、受信したＪＰＥＧデータのヘッダ部５０１からフレーム種別５０６を読み出し、種別データのチェックを行う。ここで、Ｓ６０７の判定により種別データが“２”の場合、つまりフレームブロックの最終フレームの場合は次の読み出しフレームからはエラーフレームブロックへ移行するのでＳ６０８へ進む。また、最終フレームでない場合は再びＳ６０２の通常フレームデータの読み出しを繰り返す。
【００４３】
Ｓ６０８では、Ｓ６０３で加算されたデータを用いて新たに暗号キーを生成して暗号キーを更新する処理を実行する。
Ｓ６０９から６１５までの処理は、装着されたＳＤカードから読み出されたエラーフレームの再生処理を示しており、１フレームの画像データが再生されるたびに設定されたフレームレートの時間間隔で連続的に繰り返される。
【００４４】
Ｓ６０９では、挿入されているＳＤカードから１フレーム分の暗号化されたＪＰＥＧデータを読み出す。次にＳ６１０において、読み出したデータに対してＳ６０８で生成した暗号キーを用いて暗号化データの復号処理を実行する。次にＳ６１１において、Ｓ６０３と同様に暗号化解除されたＪＰＥＧデータ中あらかじめ設定されている所定の位置の部分データを読み取り、１フレームごとに加算し記憶しておく処理を実行する。
【００４５】
Ｓ６１２においては、暗号解除されたＪＰＥＧデータのデコード処理を実行し、Ｓ６１３でモニタに表示する。さらにＳ６１４では、Ｓ６０６と同様に受信したＪＰＥＧデータのヘッダ部５０１からフレーム種別５０６を読み出し、種別データのチェックを行う。ここでＳ６１５の判定により種別データが“２”の場合、つまりフレームブロックの最終フレームの場合は次の読み出しフレームからは通常フレームブロックへ移行するのでＳ６０２へ進む。また、最終フレームでない場合は再びＳ６０９のＳＤカードからのエラーフレームデータの読み出しを繰り返す。
【００４６】
（第２の実施形態）
第１の実施形態では、撮影された映像データの部分データの積算値を暗号キーとして使用してエラーフレームデータの暗号化を行い、表示、再生の際にも同様の手順で求めた積算値で暗号データの復号を行うような実施形態について説明した。しかし、本発明はこれに限定されるものではない。
第２の実施形態では、カメラ側で生成された暗号キーを配信画像データ中に付加するメタ情報として埋め込む実施形態を説明する。
【００４７】
図７は、第２の実施形態において、ネットワークカメラ２０１〜２０４で生成される画像のデータ構造を表わす図である。
図７において、７０１〜７０８は、図５の５０１〜５０８と同様であり、それぞれＪＰＥＧヘッダ部、データ部、ＪＰＥＧヘッダ情報、フレームＮＯ、エラーフラグ、フレーム種別、ＪＰＥＧ符号化データを表わす。
【００４８】
７０９は、画像データを暗号化するための暗号キーが格納されている領域で、この暗号キーは図４のＳ４０７で説明したように画像データの一部のデータを加算して作成されるものである。
【００４９】
図７に示されるような、暗号キーが埋め込まれたデータ構造は、ネットワークを通じて配信される通常データの内、ネットワークエラーを検出して通常フレームからエラーフレームに切り替わる時に、通常フレームブロックの最終フレームに適用される。つまり、フレーム種別が“２”のフレームに適用され、それまでの加算データから生成された異なるキーが埋め込まれる。受信側では、次に読み出されるエラーフレームブロックの各エラーフレームデータに対してこの暗号キーを用いてデータの復号を行う。
【００５０】
次に、図８のフローチャートを参照しながら、第２の実施形態におけるビューワ装置２０８で映像の再生、表示を行う場合に実行されるソフトウエアの制御手順の一例を用いて詳細に説明する。
【００５１】
図８に示すフローチャートは、図６のケースと同様に、カメラ装置２０１から配信され録画サーバー装置２１０に蓄積された映像データをネットワーク経由で読み出す。そして、カメラ装置２０１から取り出したＳＤメモリカードをビューワ装置２０８に挿入して、ＳＤカード中に蓄積されているネットワークエラーで欠落したフレームデータを同時に読み出すことで完全な撮影映像の再生、表示を行う場合の動作を表わす。
【００５２】
図８において、Ｓ８０１、Ｓ８０２はＳ６０１、Ｓ６０２と同様に録画サーバー装置２１０との通信セッションの確立および録画サーバー装置２１０からの1フレーム分のＪＰＥＧデータの受信処理である。Ｓ８０３〜Ｓ８０５はＳ６０４〜Ｓ６０６と同様に、受信したＪＰＥＧデータのデコード処理、モニタへの表示、ＪＰＥＧデータのヘッダ部から読み出した種別データのチェックの各処理を示す。
【００５３】
ここで、Ｓ８０６の判定により種別データが“２”の場合、つまりフレームブロックの最終フレームの場合は次の読み出しフレームからはエラーフレームブロックへ移行するのでＳ８０７へ進む。また、最終フレームでない場合は再びＳ８０２の通常フレームデータの読み出しを繰り返す。
【００５４】
Ｓ８０７では、Ｓ８０２で受信したフレームデータのＪＰＥＧヘッダ部から暗号キー７０９を読み出す処理を実行する。
Ｓ８０８、Ｓ８０９はＳ６０９、Ｓ６１０と同様に、挿入されているＳＤカードから１フレーム分の暗号化されたＪＰＥＧデータの読み出し処理、読み出したデータに対して暗号キーを用いて暗号化データの復号処理を実行する。
【００５５】
Ｓ８１０〜Ｓ８１２は、Ｓ６１２〜Ｓ６１４と同様に、暗号解除されたＪＰＥＧデータのデコード処理、モニタへの表示、受信したＪＰＥＧデータのヘッダ部から読み出したフレーム種別データのチェックを行う。ここで、Ｓ８１３の判定により種別データが“２”の場合、つまりフレームブロックの最終フレームの場合は次の読み出しフレームからは通常フレームブロックへ移行するのでＳ８０２へ進む。また、最終フレームでない場合は再びＳ８０８のＳＤカードからのエラーフレームデータの読み出しを繰り返す。
【００５６】
前述した実施形態において、撮影対象となる複数の被写体を特定しその位置を検出する被写体検出手段を設け、検出した複数の被写体が同一の撮像フレーム内に入るようにカメラの向きまたはズーム量を調整する制御手段を設けるようにしてもよい。また、クライアントからの被写体指定に応じて、指定された被写体を含む映像をクライアントへ配信する手段を設けるようにしてもよい。
【００５７】
さらに、複数のカメラが配置された場合においては、指定された被写体は複数のカメラのうち少なくともどれか一つのカメラの撮影フレームに入るように、各被写体に対して撮影カメラを割り当てる制御を行うようにしてもよい。さらに、撮影対象となる被写体の増加、または減少、または位置の移動が発生した場合に、各撮影カメラと被写体の割り当てを変えるような制御を行うようにしてもよい。
【００５８】
また、前述したカメラ装置は、撮影状態がある閾値を超えた場合に他のカメラ装置に代行撮影要求を行い、その許可に応答して撮影対象被写体の割り当てを変えるような制御を行う。さらに、他のカメラからの代行撮影要求に応答して撮影対象被写体の割り当てを変えるような制御を行うようにしてもよい。
【００５９】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００６０】
１０５ 画像バッファ、１０６ 暗号処理部、１０７ 通信処理部、１０８ ＣＰＵ、１１５ 外部メモリ制御部、１１６ 外部メモリ
【特許請求の範囲】
【請求項１】
撮影画像を生成してネットワークに接続されたクライアントに配信する映像配信装置であって、
前記撮影画像を記憶媒体に蓄積する記憶手段と、
前記記憶媒体に蓄積する画像データに暗号処理を行う暗号処理手段と、
前記暗号処理手段が前記画像データに暗号処理を行うための暗号キーを、少なくともネットワークに配信される画像データの一部を用いて生成する暗号キー生成手段と、
前記ネットワークの通信状態をモニタして通信不可となったことを検出する通信エラー検出手段と、
前記通信エラー検出手段で通信不可となったことを検出した場合に、前記暗号キー生成手段で生成された暗号キーを用いて前記画像データを暗号化するように前記暗号処理手段を制御し、前記暗号処理手段により暗号化された画像データを前記記憶媒体に蓄積するよう前記記憶手段を制御する制御手段とを有することを特徴とする映像配信装置。
【請求項２】
前記暗号キー生成手段は、少なくとも暗号化する時点より過去の撮影画像の一部を含むデータを用いて暗号キーを生成することを特徴とする請求項１に記載の映像配信装置。
【請求項３】
前記暗号処理手段は、前記暗号キー生成手段で生成された暗号キーを、ネットワークに配信される画像データにメタ情報として付加することを特徴とする請求項１に記載の映像配信装置。
【請求項４】
前記記憶媒体は着脱可能な外部メディアであることを特徴とする請求項１に記載の映像配信装置。
【請求項５】
撮影画像を生成してネットワークに接続されたクライアントに配信する映像配信方法であって、
前記撮影画像を記憶媒体に蓄積する記憶工程と、
前記記憶媒体に蓄積する画像データに暗号処理を行う暗号処理工程と、
前記暗号処理工程において前記画像データに暗号処理を行うための暗号キーを、少なくともネットワークに配信される画像データの一部を用いて生成する暗号キー生成工程と、
前記ネットワークの通信状態をモニタして通信不可となったことを検出する通信エラー検出工程と、
前記通信エラー検出工程で通信不可となったことを検出した場合に、前記暗号キー生成工程で生成された暗号キーを用いて前記画像データを暗号化するように前記暗号処理工程を制御し、前記暗号処理工程において暗号化された画像データを前記記憶媒体に蓄積するよう前記記憶工程を制御する制御工程とを有することを特徴とする映像配信方法。
【請求項６】
撮影画像を生成してネットワークに接続されたクライアントに配信する映像配信方法の各工程をコンピュータに実行させるプログラムであって、
前記撮影画像を記憶媒体に蓄積する記憶工程と、
前記記憶媒体に蓄積する画像データに暗号処理を行う暗号処理工程と、
前記暗号処理工程において前記画像データに暗号処理を行うための暗号キーを、少なくともネットワークに配信される画像データの一部を用いて生成する暗号キー生成工程と、
前記ネットワークの通信状態をモニタして通信不可となったことを検出する通信エラー検出工程と、
前記通信エラー検出工程で通信不可となったことを検出した場合に、前記暗号キー生成工程で生成された暗号キーを用いて前記画像データを暗号化するように前記暗号処理工程を制御し、前記暗号処理工程において暗号化された画像データを前記記憶媒体に蓄積するよう前記記憶工程を制御する制御工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項７】
請求項６に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項１】
撮影画像を生成してネットワークに接続されたクライアントに配信する映像配信装置であって、
前記撮影画像を記憶媒体に蓄積する記憶手段と、
前記記憶媒体に蓄積する画像データに暗号処理を行う暗号処理手段と、
前記暗号処理手段が前記画像データに暗号処理を行うための暗号キーを、少なくともネットワークに配信される画像データの一部を用いて生成する暗号キー生成手段と、
前記ネットワークの通信状態をモニタして通信不可となったことを検出する通信エラー検出手段と、
前記通信エラー検出手段で通信不可となったことを検出した場合に、前記暗号キー生成手段で生成された暗号キーを用いて前記画像データを暗号化するように前記暗号処理手段を制御し、前記暗号処理手段により暗号化された画像データを前記記憶媒体に蓄積するよう前記記憶手段を制御する制御手段とを有することを特徴とする映像配信装置。
【請求項２】
前記暗号キー生成手段は、少なくとも暗号化する時点より過去の撮影画像の一部を含むデータを用いて暗号キーを生成することを特徴とする請求項１に記載の映像配信装置。
【請求項３】
前記暗号処理手段は、前記暗号キー生成手段で生成された暗号キーを、ネットワークに配信される画像データにメタ情報として付加することを特徴とする請求項１に記載の映像配信装置。
【請求項４】
前記記憶媒体は着脱可能な外部メディアであることを特徴とする請求項１に記載の映像配信装置。
【請求項５】
撮影画像を生成してネットワークに接続されたクライアントに配信する映像配信方法であって、
前記撮影画像を記憶媒体に蓄積する記憶工程と、
前記記憶媒体に蓄積する画像データに暗号処理を行う暗号処理工程と、
前記暗号処理工程において前記画像データに暗号処理を行うための暗号キーを、少なくともネットワークに配信される画像データの一部を用いて生成する暗号キー生成工程と、
前記ネットワークの通信状態をモニタして通信不可となったことを検出する通信エラー検出工程と、
前記通信エラー検出工程で通信不可となったことを検出した場合に、前記暗号キー生成工程で生成された暗号キーを用いて前記画像データを暗号化するように前記暗号処理工程を制御し、前記暗号処理工程において暗号化された画像データを前記記憶媒体に蓄積するよう前記記憶工程を制御する制御工程とを有することを特徴とする映像配信方法。
【請求項６】
撮影画像を生成してネットワークに接続されたクライアントに配信する映像配信方法の各工程をコンピュータに実行させるプログラムであって、
前記撮影画像を記憶媒体に蓄積する記憶工程と、
前記記憶媒体に蓄積する画像データに暗号処理を行う暗号処理工程と、
前記暗号処理工程において前記画像データに暗号処理を行うための暗号キーを、少なくともネットワークに配信される画像データの一部を用いて生成する暗号キー生成工程と、
前記ネットワークの通信状態をモニタして通信不可となったことを検出する通信エラー検出工程と、
前記通信エラー検出工程で通信不可となったことを検出した場合に、前記暗号キー生成工程で生成された暗号キーを用いて前記画像データを暗号化するように前記暗号処理工程を制御し、前記暗号処理工程において暗号化された画像データを前記記憶媒体に蓄積するよう前記記憶工程を制御する制御工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項７】
請求項６に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−２５０２９８（Ｐ２０１１−２５０２９８Ａ）
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願番号】特願２０１０−１２３１０７（Ｐ２０１０−１２３１０７）
【出願日】平成２２年５月２８日（２０１０．５．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願日】平成２２年５月２８日（２０１０．５．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]