データ配信装置
【課題】品質が異なる映像を効率よく，重要度の高い情報は見落とさずに把握できるように，配信する映像データを切り替えるデータ配信装置を提供する。
【解決手段】データ配信装置４０１は、映像受信プログラムを使って、ネットワークを介して複数のカメラから受信した映像データを、映像選択プログラム４０９により、視点切り替え頻度や視点毎の画像の重要度情報を累積することにより、映像データの各画像フレームの表示可否を判断する。また、選択した画像フレームを映像送信プログラム４０８により、インタフェース４０２、４０３経由で配信する。また，各フレームの表示時間を画像の重要度情報に応じて変動し，重要フレームの視認性を高める。
【解決手段】データ配信装置４０１は、映像受信プログラムを使って、ネットワークを介して複数のカメラから受信した映像データを、映像選択プログラム４０９により、視点切り替え頻度や視点毎の画像の重要度情報を累積することにより、映像データの各画像フレームの表示可否を判断する。また、選択した画像フレームを映像送信プログラム４０８により、インタフェース４０２、４０３経由で配信する。また，各フレームの表示時間を画像の重要度情報に応じて変動し，重要フレームの視認性を高める。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，データ配信装置に関わり，特に，映像を切り替えて配信する見守りシステムにおけるデータ配信装置に関する。
【背景技術】
【０００２】
街角に設置された複数のカメラやセンサなどを通信ネットワークで結び，治安の監視や子供の見守りなどを行う多視点切り替え見守りシステムがある。このようなシステムで効率よく監視や見守りを行うためには，カメラの映像やセンサの情報から重要な情報選択し、表示を切り替える技術が重要となる。
【０００３】
映像表示を切り替えるシステムとしては，スポーツ中継などの多視点映像システムがある。この多視点映像システムでは，個人の趣味や嗜好により視点の選択を行う。例えば，特許文献１には，視聴者の嗜好情報に基づいて配信する映像を制御する配信装置が開示されている。
【０００４】
一方、監視や見守りにおいては，監視対象の状況により映像の重要度を客観的につけ，配信を制御する場合がある。例えば，特許文献２には，複数の映像撮影装置からの各映像入力に優先度をつけ，その優先度に基づいて選択する入力映像を順次切り替えるように制御するシステムが開示されている。
【０００５】
【特許文献１】特開2003-179908号公報
【特許文献２】特開2004-80560号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述した特許文献１の装置において、個人の趣味や嗜好により映像の選択を行う場合には，各々の映像の重要度を客観的につけていないため，各々の映像は等品質なものとされる。それに対し、監視や見守りにおいては映像選択の基準がある程度明確になるため，送受信の情報量を削減するために，全く動きの見られない映像などはカメラ側から送信する映像の品質を変動させることがある。特許文献２の装置においては、複数の映像入力の優先度に基づいて、選択する映像入力を順次切り替え、重要度の高い映像入力の選択頻度を高くしている。しかしながら、映像入力中の重要度が高い情報を即座に確認者が見落とすことの無いように表示することはできなかった。
【０００７】
本発明の課題は、品質が異なる映像を効率よく，重要度の高い情報は見落とさずに確実に把握できるように，映像を切り替えて配信するデータ配信装置を提供することにある。
【課題を解決するための手段】
【０００８】
すなわち、本発明では，上記の課題を解決するため、複数の撮影装置により撮影された映像データをネットワーク経由で受信し，受信した複数の映像データの画像フレームを選択して配信するデータ配信装置であって，ネットワークに接続され、映像データを送受信するインタフェースと、映像データを処理する処理部と、映像データを保管する記憶部とを備え、この処理部は、インタフェースを介して受信する映像データを撮影した複数の撮影装置の切替回数の累積値に基づき、複数の前記撮像装置からの映像データを選択して配信するデータ配信装置を提供する。好適には、この処理部は、切替回数の累積値が予め設定した閾値を超えた際の撮像装置からの映像データを配信する。
【０００９】
また、本発明においては、上記の課題を解決するため、複数の撮影装置により撮影された映像データをネットワーク経由で受信し，受信した複数の映像データの画像フレームを選択して，配信するデータ配信装置であって，ネットワークに接続され、映像データを送受信するインタフェースと、映像データを処理する処理部と、映像データを保管する記憶部とを備え、この処理部は、インタフェースを介して受信する映像データの、連続する画像フレームの所定数中の、複数の撮像装置毎の画像フレームの数に基づき、複数の撮像装置からの映像データを選択して配信するデータ配信装置を提供する。好適には、処理部は、複数の撮像装置毎の画像フレームの数を比較し、画像フレームの数が最大の撮像装置からの映像データを選択して配信する。
【００１０】
更に、本発明においては、上記の課題を解決するため、撮影装置により撮影された映像データをネットワーク経由で受信し，受信した映像データを配信するデータ配信装置であって，ネットワークに接続され、映像データとして、重要度情報を含む画像フレームを送受信するインタフェースと、インタフェースを介して受信した映像データを記憶する記憶部と、画像フレームを重要度情報に基づき配信処理を行う処理部とを備え、この処理部は、画像フレームの重要度情報に基づいて画像フレームの表示時間を制御するデータ配信装置を提供する。この撮影装置が複数の場合は、処理部は、複数の撮像装置からの画像フレームの重要度情報を、連続する前記画像フレームの所定数中の、撮像装置各々の重要度情報の累積値に基づき、表示すべき前記画像フレームを選択するよう制御するデータ配信装置を提供する。好適には、処理部は、最後に配信された画像フレームの重要度情報と、重要度情報の累積値に基づき今回選択された前記画像フレームの重要度情報とを比較することにより、今回配信する前記画像データを決定するデータ配信装置を提供する。
【００１１】
すなわち、本発明では，重要な情報を即座に表示するため，特定の時間間隔ではなく各画像フレームの受信時に映像の表示可否を，視点切り替え頻度や視点毎の画像フレームの数を累積して評価する。また，各画像フレームの表示時間を重要度情報に応じて変動し，重要フレームの視認性を高める。
【発明の効果】
【００１２】
本発明の構成により、重要情報を見落とさずに即座に視認することが可能なデータ配信装置を提供することができる。
【００１３】
このように品質が異なる映像を効率よく，重要度の高い情報は，映像の１フレームのみに現れるような情報であっても見落とさずに把握可能となる。
【発明を実施するための最良の形態】
【００１４】
以下本発明の実施の形態について、図面に基づき説明する。なお、以下の説明において、画像フレームの重要度を示す情報である重要度情報を、単に「重要度」と表現する場合がある点に留意されたい。
【００１５】
図１は，本発明を実施する形態の一例である多視点切り替え見守りシステムの全構成を示している。
【００１６】
同図において、撮像装置である第１のカメラ１０１，第２のカメラ１０２，第３のカメラ３１０３はそれぞれ回線１１１，回線１１２，回線１１３を通してデータ配信装置１０４に撮影映像を配信する。データ配信装置１０４は，例えば視聴対象１０７の映る映像など、視聴者１０６の要望に従い受信映像から該当する映像を抽出し，回線１１４を通してデータ表示装置１０５に配信する。
【００１７】
図２Ａ，Ｂは，図１の構成のカメラ１０１〜１０３とデータ配信装置１０４の間の回線１１１〜１１３を流れる映像データのフォーマットの一例を示す。カメラ１０１〜１０３がデータ配信装置１０４に対して映像データをIPパケットとして送信する場合には，同図Ａのフォーマット２０１に示すように，IPパケットの送信元のカメラのIPアドレスである送信元IP２０２によりカメラ１０１〜１０３を識別可能である。２０３は、送信先のデータ配信装置のIPアドレスである送信先IPを示す。映像データ２０５の内容を示す映像情報ヘッダ２０４には，視聴対象１０７やその重要度を示す情報（重要度情報）を含む。
【００１８】
カメラ１０１〜１０３の映像データを他の中間装置が仲介してデータ配信装置１０５に送信する場合には，図２Ｂのフォーマット２０６に示すように、図示されない中間装置が介在した場合、IPパケットの送信元IP２０７によりカメラ１０１〜１０３を識別できないため，映像データ２１０の内容を示す映像情報ヘッダ２０９中にカメラ１０１〜１０３を識別するための情報を含む。
【００１９】
また、図３は，図１の構成のデータ配信装置１０４とデータ表示装置１０５の間の回線１１４を流れる映像データのフォーマットの例を示す。図２のフォーマット同様、３０２はデータ配信装置を示す送信元IP、３０３はデータ表示装置を示す送信先IP、３０４は映像情報ヘッダ、３０５は映像データを示している。
【００２０】
図４は，図１に示した多視点切り替え見守りシステム中のデータ配信装置１０４の基本構成を示す機能構成ブロックである。データ配信装置４０１は，インタフェース４０２，４０３、および映像データを処理する映像処理部４０４を備える。映像処理部４０４は映像処理用メモリ４０５および映像処理用プロセッサ４０６を備える。映像処理用メモリ４０５には、映像処理用プロセッサ４０６で実行される映像受信プログラム４０７，映像送信プログラム４０８，映像選択プログラム４０９や，映像データを記憶する映像管理ＤＢ４１０、映像保管領域４１１、一時保管領域４１２を備える。映像受信プログラム４０７、映像送信プログラム４０８は、それぞれインタフェース４０２、４０３を介して映像データを受送信するためのプログラムである。また、映像選択プログラム４０９は、撮像装置から受信した映像データから、視聴者のデータ表示装置に表示するために配信する映像データを選択するためのプログラムである。
【００２１】
データ配信装置４０１の映像処理部４０４は、視聴者からの映像データ配信要求をインタフェース４０２、４０３から受信すると、映像受信プログラム４０７により、受信映像の情報を映像管理ＤＢ４１０に保管し、受信映像データを映像保管領域４１１に保管する。また、データ配信装置４０１は、視聴者からの映像データ配信要求をインタフェース４０２、４０３から受信すると、映像選択プログラム４０９により映像管理ＤＢ４１０から、映像データ配信要求に該当する映像を抽出し、映像送信プログラム４０８により配信する。一時保管領域４１２には、映像選択プログラムの４０９の処理に必要な一時的な情報、例えば後で説明する種々のデータの累積値や切替回数等を保管する。以上説明した機能構成は、中央処理部（Central Processing Unit：ＣＰＵ）、記憶部（メモリ）、ネットワークインタフェースを有する、通常のサーバ等のコンピュータシステムで構成可能であることは言うまでもない。
【００２２】
図５に，図４の映像管理ＤＢ４１０の一例を示す。映像管理ＤＢ４１０は映像データの撮影時刻５０１，映像データの識別子５０２，映像データを撮影したカメラ情報５０３，映像データに含まれる視聴対象情報５０４，映像データの重要度情報５０５から構成される。撮影時刻５０１は図２の映像情報ヘッダ２０４、２０９に含まれる場合には、それらの映像情報ヘッダの内容により，映像情報ヘッダに含まない場合にはデータ配信装置１０４が映像データを受信した時刻により，生成する。
【実施例１】
【００２３】
図６は，第１の実施例に係わる映像選択方式の１つである，カメラ切替回数の累積値による制御の例を模式的に示す図である。等しいフレームレートのカメラ１の映像６０１とカメラ２の映像６０２を受信する配信装置の入力は６０３となる。フレームレートが等しいためカメラ１とカメラ２の映像が交互に繰り返され，そのまま映像として出力すると視認が非常に困難な映像になる。配信装置への入力６０３におけるカメラ切替回数は６０４となり，切替回数の閾値を３として，閾値を超える時点６０６で配信装置が出力する映像のカメラを固定する。配信装置の出力は６０５となり，カメラ１とカメラ２の映像の混在が抑制されるため，視認が容易な映像になる。
【００２４】
図７は，図６に示した第１に実施例の処理フローを示す。同図中、７０１−７１５は処理フローの各ステップを示す。以下の処理フロー図面においても同様である。データ配信装置１０４は画像を受信する（７０２）と，カメラ情報を抽出（７０３）し，抽出したカメラ情報が保存しているカメラ情報と一致するかを判定（７０４）する。一致している場合にはカメラ切替回数を減算（７０５）し，一致していない場合にはカメラ切替回数を加算（７０６）する。
【００２５】
ステップ７０５でカメラ切替回数を減算した場合には，カメラ切替回数が閾値を下回ったかを判定（７０７）し，下回っている場合にはカメラの固定を解除（７０８）する。ステップ７０６でカメラ切替回数を加算した場合には，カメラ切替回数が閾値を上回ったかを判定（７０９）し，上回っている場合にはカメラの固定を開始（７１０）する。次に受信画像のカメラ情報を保存（７１１）し，画像を表示するカメラが固定されているかを判定（７１２）する。カメラが固定されていない場合と固定されているが受信画像のカメラ情報と一致する場合には受信画像を表示（７１４）し，カメラが固定されており受信画像のカメラ情報と一致しない場合には受信画像を表示せずに終了（７１５）する。
【００２６】
図８は，図６,図７に示した第１の実施例のカメラ切替回数では配信映像の制御ができない例を示す。異なるフレームレートのカメラ１の映像８０１とカメラ２の映像８０２を受信する配信装置１０４への入力は８０３となる。このとき，カメラ切替回数は８０４となり，一定量を維持し，閾値３を超えないため，図６,図７と同様の制御では，配信装置１０４の出力は８０５となり，カメラ１の映像にカメラ２の映像が混入し続けることとなる。
【実施例２】
【００２７】
図９は，第２の実施例に係わる映像選択方式を示す。本実施例では、上述した図８の例を制御するため，複数の受信フレーム、すなわち連続する複数の受信画像フレームの所定数中に含まれるカメラ毎のフレーム数による制御を行う。図８と同様、カメラ１の映像９０１とカメラ２の映像９０２を受信する配信装置１０４の入力は９０３となる。このとき，受信フレームのうち新しく受信した５フレームに含まれるカメラ１のフレーム数は９０４，カメラ２のフレーム数は９０５となる。受信５フレームに含まれるカメラ毎のフレーム数が他のカメラよりも多く，カメラ毎のフレーム数が閾値３以上の場合にフレームを出力すると，配信装置１０４の出力は９０６となり，図８に示した例のような映像の混入は除去される。
【００２８】
図１０は，図９の第２の実施例の映像選択方式の処理フローを示す。データ配信装置１０４は映像を受信する（１００２）と，カメラ情報を抽出（１００３）し，設定フレーム数に含まれるカメラ毎のフレーム数を計算（１００４）する。次に，受信画像のカメラが画像表示に関するフレーム数の閾値を超えているかを判定（１００５）し，超えている場合には，受信画像のカメラが他のカメラと比較してカメラ毎のフレーム数が最も多いかを判定（１００６）する。カメラ毎のフレーム数が最も多い場合には受信画像を表示（１００７）する。
【００２９】
図１１は，図９,図１０に示す複数の受信フレームに含まれるカメラ毎のフレーム数では配信映像の制御が出来ない例を示す。図６と同様、等しいフレームレートのカメラ１の映像（１１０１）とカメラ２の映像（１１０２）を受信する配信装置の入力は１１０３となり，カメラ１とカメラ２の映像が交互に繰り返される。このとき，受信５フレームに含まれるカメラ１のフレーム数は１１０４，カメラ２のフレーム数は１１０５となり，同じ値を交互に繰り返すため，図９と同様の制御では，配信装置の出力は１１０６となり，カメラ１の映像とカメラ２の映像が交互に繰り返される。
【実施例３】
【００３０】
図１２は，第３の実施例の映像選択方式に係わり、図１１の例を制御可能とするため，実施例１のカメラ切替回数（累積値）と実施例２の複数の受信フレームに含まれるカメラ毎のフレーム数を組合せて制御を行う。図１１と同様にカメラ１の映像１２０１とカメラ２の映像１２０２を受信する配信装置１０４の入力は１２０３，受信５フレームでのカメラ１のフレーム数は１２０４，カメラ２のフレーム数は１２０５となる。受信５フレームの制御により選択されるフレームは１２０６となり，このときカメラ切替回数は１２０７となる。切替回数１２０７の閾値を３として，閾値を超える１２０９の時点で出力する映像のカメラを固定することにより，配信装置の出力は１２０８となる。
【００３１】
図１３は，図１２に示した実施例３の処理フローを示す。データ配信装置１０４は映像を受信する（１３０２）と，カメラ情報を抽出（１３０３）し，設定フレーム数（ここでは５）に含まれるカメラ毎のフレーム数を計算（１３０４）する。次に，受信画像のカメラが画像表示に関するフレーム数の閾値を超えているかを判定（１３０５）し，超えている場合には，受信画像のカメラが他のカメラと比較してカメラ毎のフレーム数が最も多いかを判定（１３０６）する。カメラ毎のフレーム数が最も多い場合には抽出したカメラ情報が保存しているカメラ情報と一致するかを判定（１３０７）する。一致している場合にはカメラ切替回数１２０７を減算（１３０８）し，一致していない場合にはカメラ切替回数を加算（１３０９）する。１３０８でカメラ切替回数を減算した場合には，カメラ切替回数が閾値を下回ったかを判定（１３１０）し，下回っている場合にはカメラの固定を解除（１３１１）する。１３０９でカメラ切替回数を加算した場合には，カメラ切替回数が閾値を上回ったかを判定（１３１２）し，上回っている場合にはカメラの固定を開始（１３１３）する。次に受信画像のカメラ情報を保存（１３１４）し，画像を表示するカメラが固定されているかを判定（１３１５）する。カメラが固定されていない場合と固定されているが受信画像のカメラ情報と一致する場合には受信画像を表示（１３１７）し，カメラが固定されており受信画像のカメラ情報と一致しない場合には受信画像を表示せずに終了（１３１８）する。なお、ステップ１３１４で保存される受信画像のカメラ情報とは、図１２の選択フレーム１２０６の画像の情報となる。
【００３２】
図１４は，図９,図１０に示す複数の受信フレームに含まれるカメラ毎のフレーム数では、望ましい配信映像の制御が出来ない第２の例を示す。図９と同様に、異なるフレームレートのカメラ１の映像１４０１とカメラ２の映像１４０２を受信する配信装置の入力は１４０３，受信５フレームでのカメラ１のフレーム数は１４０４，カメラ２のフレーム数は１４０５となる。カメラ１、２の映像１４０１、１４０２は括弧内数で示す重要度についての情報（重要度情報）が含まれている。このとき，配信装置１０４の出力は１４０６となり，重要度の高いフレーム１４０７（カメラ２の重要度（１０）のフレーム）が表示されない。
【実施例４】
【００３３】
図１５は，第４の実施例に係わり、図１４の例を制御可能とするため，複数のカメラ毎の受信フレーム各々に含まれる重要度情報による制御を行う。図１４と同様にカメラ１の映像１５０１とカメラ２の映像１５０２を受信する配信装置１０４の入力は１５０３となる。このとき，受信フレームのうち新しく受信した５フレームに含まれるカメラ１の重要度は１５０４，カメラ２の重要度は１５０５となる。受信５フレームに含まれるカメラ毎の重要度情報が他のカメラよりも多く，カメラ毎の重要度情報が閾値（６）以上の場合にフレームを出力すると，配信装置の出力は１５０６となり，重要度の高いフレーム１５０７（カメラ２の重要度（１０）のフレーム）が表示される。
【００３４】
図１６は，図１５の実施例４の処理フローを示す。データ配信装置１０４は映像を受信する（１６０２）と，カメラ情報を抽出（１６０３），重要度を抽出（１６０４）し，設定フレーム数に含まれるカメラ毎の重要度を計算（１６０５）する。次に，受信画像のカメラが画像表示に関する重要度の閾値を超えているかを判定（１６０６）し，超えている場合には，受信画像のカメラが他のカメラと比較してカメラ毎の重要度が最も多いかを判定（１６０７）する。カメラ毎の重要度が最も多い場合には受信画像を表示（１６０８）する。
【実施例５】
【００３５】
図１７は，第５の実施例の映像選択方式に係わり、カメラ切替回数と複数の受信フレームに含まれるカメラ毎の重要度情報による制御を組合せて制御を行う。カメラ１の映像１７０１とカメラ２の映像１７０２を受信する配信装置の入力は１７０３となる。このとき，受信５フレームに含まれるカメラ１の重要度は１７０４，カメラ２の重要度は１７０５となる。先の実施例同様、受信５フレームに含まれるカメラ毎の重要度が他のカメラよりも多く，カメラ毎の重要度情報が閾値（６）以上の場合にフレームを出力すると，選択されるフレームは１７０６となり，このときカメラ切替回数は１７０７となる。切替回数１７０７の閾値を３として，閾値（６）を超える１７１１の時点で出力する映像のカメラを固定する。以上により，重要度の高いフレーム１７０９を含む１７０８が配信装置１０４の出力となる。
【００３６】
図１８は，図１７に示した実施例５の処理フローを示す。データ配信装置１０４は映像を受信する（１８０２）と，カメラ情報を抽出（１８０３），重要度を抽出（１８０４）し，設定フレーム数に含まれるカメラ毎の重要度を計算（１８０５）する。次に，受信画像のカメラが画像表示に関する重要度の閾値を超えているかを判定（１８０６）し，超えている場合には，受信画像のカメラが他のカメラと比較してカメラ毎の重要度が最も多いかを判定（１８０７）する。カメラ毎の重要度が最も多い場合には抽出したカメラ情報が保存しているカメラ情報と一致するかを判定（１８０８）する。一致している場合にはカメラ切替回数を減算（１８０９）し，一致していない場合にはカメラ切替回数を加算（１８１０）する。ステップ１８０９でカメラ切替回数を減算した場合には，カメラ切替回数が閾値を下回ったかを判定（１８１１）し，下回っている場合にはカメラの固定を解除（１８１２）する。ステップ１８１０でカメラ切替回数を加算した場合には，カメラ切替回数が閾値を上回ったかを判定（１８１３）し，上回っている場合にはカメラの固定を開始（１８１４）する。次に受信画像のカメラ情報を保存（１８１５）し，画像を表示するカメラが固定されているかを判定（１８１６）する。カメラが固定されていない場合と固定されているが受信画像のカメラ情報と一致する場合には受信画像を表示（１８１８）し，カメラが固定されており受信画像のカメラ情報と一致しない場合には受信画像を表示せずに終了（１８１９）する。なお、ステップ１８１５で保存される受信画像のカメラ情報は、図１７の選択フレーム１７０６の画像の情報になる。
【００３７】
図１７の実施例５では，重要度の高いフレームを含む配信装置１０４の出力１７０８が得られるが，重要度の高いフレーム１７０９の表示は等しいカメラからの重要度の低いフレーム１７１０の表示により上書きされてしまうため，重要度の高いフレーム１７０９の表示時間は短くなり，見落としてしまう可能性がある。
【実施例６】
【００３８】
図１９は，第６の実施例の映像選択方式に係わり、出力フレームと受信フレームの重要度情報の差により，重要度の高いフレームの表示を維持し，重要度の高いフレームの表示を見落とす可能性を小さくする。カメラ１の映像１９０１を受信する配信装置の入力は１９０２となる。このとき，配信装置１０４が最後に出力したフレームと受信フレームの重要度の差は１９０３となり，受信フレームの重要度の差が閾値（−５）以上の場合にフレームを出力すると，配信装置１０４の出力は１９０４となり，重要度の高いフレーム１９０５の表示は次に重要度が高いフレーム１９０８を表示するときまで維持される。また、保存画像の重要度を一定値（例えば−２）減算する。すなわち、フレームの重要度の情報に基づいて、フレームの配信期間が制御され、重要度の高いフレームは、配信される配信期間、表示される表示時間を長くすることができる。
【００３９】
図２０は，図１９に示した実施例５の処理フローを示す。データ配信装置１０４は映像を受信する（２００２）と，重要度を抽出（２００３）し，受信画像と保存画像の重要度の差は閾値（−５）よりも大きいかを判定（２００４）する。閾値を超えている場合には，受信画像を保存（２００５）し，受信画像を表示（２００６）する。閾値を超えていない場合には，保存画像の重要度を一定値減算する（２００７）。
【実施例７】
【００４０】
図２１は，第７の実施例の映像選択方式に係わり、カメラ切替回数と複数の受信フレームに含まれるカメラ毎の重要度情報，出力フレームと受信フレームの重要度情報の差による制御を組合せる制御を行う。カメラ１の映像２１０１とカメラ２の映像２１０２を受信する配信装置の入力は２１０３となる。このとき，受信５フレームでのカメラ１の重要度は２１０４，カメラ２の重要度は２１０５となる。受信５フレームに含まれるカメラ毎の重要度が他のカメラよりも多く，カメラ毎の重要度が閾値（６）以上の場合にフレームを出力すると，選択されるフレームは２１０６となり，配信装置１０４が最後に出力したフレームと選択フレームの重要度の差は２１０７となる。
【００４１】
この重要度の差２１０７が第２の閾値（＋４）以上の場合にはカメラの切替回数（２１０８）を０に初期化しカメラの固定を解除する。重要度の差（２１０７）が第１の閾値（―４）以上の場合には，カメラの切替回数（２１０８）の閾値を３として，閾値を超える２１１４の時点で出力する映像のカメラを固定する。以上により，重要度の高いフレーム２１１０および２１１５を含む２１０９が配信装置１０４の出力となる。
【００４２】
図２２は，図２１に示した実施例７の処理フローを示す。データ配信装置１０４は映像を受信する（２２０２）と，カメラ情報を抽出（２２０３），重要度を抽出（２２０４）し，設定フレーム数に含まれるカメラ毎の重要度を計算（２２０５）する。次に，受信画像のカメラが画像表示に関する重要度の閾値を超えているかを判定（２２０６）し，超えていない場合には終了（２２２４）する。閾値を超えている場合には，受信画像のカメラが他のカメラと比較してカメラ毎の重要度が最も多いかを判定（２２０７）し，最も多くはない場合には終了（２２２４）する。
【００４３】
カメラ毎の重要度が最も多い場合には受信画像と保存画像の重要度の差が第２の閾値（＋４）よりも大きいかを判定（２２０８）する。第２の閾値を超えている場合には，カメラ切替回数を初期化（２２０９）し，カメラの固定を解除（２２１５）する。第２の閾値を超えていない場合には，受信画像と保存画像の重要度の差が第１の閾値（−４）よりも大きいかを判定（２２１０）する。第２の閾値を超えていない場合には，保存画像の重要度を一定値（−２）減算（２２１１）し，終了（２２２４）する。
【００４４】
第２の閾値を超えている場合には，抽出したカメラ情報が保存しているカメラ情報と一致するかを判定（２２１２）する。一致している場合にはカメラ切替回数を減算（２２１３）し，一致していない場合にはカメラ切替回数を加算（２２１６）する。２２１３でカメラ切替回数を減算した場合には，カメラ切替回数が閾値を下回ったかを判定（２２１４）し，下回っている場合にはカメラの固定を解除（２２１５）する。２２１６でカメラ切替回数を加算した場合には，カメラ切替回数が閾値を上回ったかを判定（２２１７）し，上回っている場合にはカメラの固定を開始（２２１８）する。次に受信画像のカメラ情報を保存（２２１９）し，画像を表示するカメラが固定されているかを判定（２２２０）する。カメラが固定されていない場合と固定されているが受信画像のカメラ情報と一致する場合には受信画像を保存（２２２２），表示（２２２３）し，カメラが固定されており受信画像のカメラ情報と一致しない場合には受信画像を表示せずに終了（２２２４）する。
【００４５】
以上詳述してきた本発明は，例えば，監視や見守りシステムにおける映像表示制御に利用可能である。
【図面の簡単な説明】
【００４６】
【図１】本発明が適用されるシステムの基本構成を示す図である。
【図２Ａ】各実施例に係わるカメラとデータ配信装置の間を流れる映像データのフォーマットの一例を示す図である。
【図２Ｂ】各実施例に係わるカメラとデータ配信装置の間を流れる映像データのフォーマットの他の例を示す図である。
【図３】各実施例に係わるデータ配信装置とデータ表示装置の間を流れる映像データのフォーマットを示す図である。
【図４】各実施例に係わるにデータ配信装置の基本構成を示す図である。
【図５】各実施例に係わる映像管理ＤＢを示す図である。
【図６】第１の実施例に係わる、カメラ切替回数による制御の例を示す図である。
【図７】第１の実施例に係わる、カメラ切替回数による制御の処理フローを示す図である。
【図８】カメラ切替回数により制御ができない例を示す図である。
【図９】第２の実施例に係わる、複数の受信フレームに含まれるカメラ毎のフレーム数による制御の例を示す図である。
【図１０】第２の実施例に係わる、複数の受信フレームに含まれるカメラ毎のフレーム数による制御の処理フローを示す図である。
【図１１】複数の受信フレームに含まれるカメラ毎のフレーム数により制御できない第１の例を示す図である。
【図１２】第３の実施例に係わる、カメラ切替回数と複数の受信フレームに含まれるカメラ毎のフレーム数による制御を組合せて制御する例を示す図である。
【図１３】第３の実施例に係わる、カメラ切替回数と複数の受信フレームに含まれるカメラ毎のフレーム数による制御を組合せる制御の処理フローを示す図である。
【図１４】複数の受信フレームに含まれるカメラ毎のフレーム数により制御できない第２の例を示す図である。
【図１５】第４の実施例に係わる、複数の受信フレームに含まれるカメラ毎の重要度による制御の例を示す図である。
【図１６】第４の実施例に係わる、複数の受信フレームに含まれるカメラ毎の重要度による制御の処理フローを示す図である。
【図１７】第５の実施例に係わる、カメラ切替回数と複数の受信フレームに含まれるカメラ毎の重要度による制御を組合せて制御する例を示す図である。
【図１８】第５の実施例に係わる、カメラ切替回数と複数の受信フレームに含まれるカメラ毎の重要度による制御を組合せる制御の処理フローを示す図である。
【図１９】第６の実施例に係わる、重要度が高いフレームの表示を維持する制御の例を示す図である。
【図２０】第６の実施例に係わる、重要度が高いフレームの表示を維持する制御の処理フローを示す図である。
【図２１】第７の実施例に係わる、カメラ切替回数と複数の受信フレームに含まれるカメラ毎の重要度による制御，重要度が高いフレームの表示を維持する制御を組合せて制御する例を示す図である。
【図２２】第７の実施例に係わる、カメラ切替回数と複数の受信フレームに含まれるカメラ毎の重要度による制御，重要度が高いフレームの表示を維持する制御を組合せる制御の処理フローを示す図である。
【符号の説明】
【００４７】
１０１，１０２，１０３…カメラ
１０４…データ配信装置
１０５…データ表示装置
１０６…視聴者
１０７…視聴対象
１１１，１１２，１１３，１１４…回線
２０１，２０６…カメラとデータ配信装置の間のデータフォーマット
２０２，２０７…送信元ＩＰ
２０３，２０８…送信先ＩＰ
２０４，２０９…映像情報ヘッダ
２０５，２１０…映像データ
３０１…データ配信装置とデータ受信装置の間のデータフォーマット
３０２…送信元ＩＰ
３０３…送信先ＩＰ
３０４…映像情報ヘッダ
３０５…映像データ
４０１…データ配信装置
４０２，４０３…インタフェース
４０４…映像処理部
４０５…映像処理用メモリ
４０６…映像処理用プロセッサ
４０７…映像受信プログラム
４０８…映像送信プログラム
４０９…映像選択プログラム
４１０…映像保管ＤＢ。
【技術分野】
【０００１】
本発明は，データ配信装置に関わり，特に，映像を切り替えて配信する見守りシステムにおけるデータ配信装置に関する。
【背景技術】
【０００２】
街角に設置された複数のカメラやセンサなどを通信ネットワークで結び，治安の監視や子供の見守りなどを行う多視点切り替え見守りシステムがある。このようなシステムで効率よく監視や見守りを行うためには，カメラの映像やセンサの情報から重要な情報選択し、表示を切り替える技術が重要となる。
【０００３】
映像表示を切り替えるシステムとしては，スポーツ中継などの多視点映像システムがある。この多視点映像システムでは，個人の趣味や嗜好により視点の選択を行う。例えば，特許文献１には，視聴者の嗜好情報に基づいて配信する映像を制御する配信装置が開示されている。
【０００４】
一方、監視や見守りにおいては，監視対象の状況により映像の重要度を客観的につけ，配信を制御する場合がある。例えば，特許文献２には，複数の映像撮影装置からの各映像入力に優先度をつけ，その優先度に基づいて選択する入力映像を順次切り替えるように制御するシステムが開示されている。
【０００５】
【特許文献１】特開2003-179908号公報
【特許文献２】特開2004-80560号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述した特許文献１の装置において、個人の趣味や嗜好により映像の選択を行う場合には，各々の映像の重要度を客観的につけていないため，各々の映像は等品質なものとされる。それに対し、監視や見守りにおいては映像選択の基準がある程度明確になるため，送受信の情報量を削減するために，全く動きの見られない映像などはカメラ側から送信する映像の品質を変動させることがある。特許文献２の装置においては、複数の映像入力の優先度に基づいて、選択する映像入力を順次切り替え、重要度の高い映像入力の選択頻度を高くしている。しかしながら、映像入力中の重要度が高い情報を即座に確認者が見落とすことの無いように表示することはできなかった。
【０００７】
本発明の課題は、品質が異なる映像を効率よく，重要度の高い情報は見落とさずに確実に把握できるように，映像を切り替えて配信するデータ配信装置を提供することにある。
【課題を解決するための手段】
【０００８】
すなわち、本発明では，上記の課題を解決するため、複数の撮影装置により撮影された映像データをネットワーク経由で受信し，受信した複数の映像データの画像フレームを選択して配信するデータ配信装置であって，ネットワークに接続され、映像データを送受信するインタフェースと、映像データを処理する処理部と、映像データを保管する記憶部とを備え、この処理部は、インタフェースを介して受信する映像データを撮影した複数の撮影装置の切替回数の累積値に基づき、複数の前記撮像装置からの映像データを選択して配信するデータ配信装置を提供する。好適には、この処理部は、切替回数の累積値が予め設定した閾値を超えた際の撮像装置からの映像データを配信する。
【０００９】
また、本発明においては、上記の課題を解決するため、複数の撮影装置により撮影された映像データをネットワーク経由で受信し，受信した複数の映像データの画像フレームを選択して，配信するデータ配信装置であって，ネットワークに接続され、映像データを送受信するインタフェースと、映像データを処理する処理部と、映像データを保管する記憶部とを備え、この処理部は、インタフェースを介して受信する映像データの、連続する画像フレームの所定数中の、複数の撮像装置毎の画像フレームの数に基づき、複数の撮像装置からの映像データを選択して配信するデータ配信装置を提供する。好適には、処理部は、複数の撮像装置毎の画像フレームの数を比較し、画像フレームの数が最大の撮像装置からの映像データを選択して配信する。
【００１０】
更に、本発明においては、上記の課題を解決するため、撮影装置により撮影された映像データをネットワーク経由で受信し，受信した映像データを配信するデータ配信装置であって，ネットワークに接続され、映像データとして、重要度情報を含む画像フレームを送受信するインタフェースと、インタフェースを介して受信した映像データを記憶する記憶部と、画像フレームを重要度情報に基づき配信処理を行う処理部とを備え、この処理部は、画像フレームの重要度情報に基づいて画像フレームの表示時間を制御するデータ配信装置を提供する。この撮影装置が複数の場合は、処理部は、複数の撮像装置からの画像フレームの重要度情報を、連続する前記画像フレームの所定数中の、撮像装置各々の重要度情報の累積値に基づき、表示すべき前記画像フレームを選択するよう制御するデータ配信装置を提供する。好適には、処理部は、最後に配信された画像フレームの重要度情報と、重要度情報の累積値に基づき今回選択された前記画像フレームの重要度情報とを比較することにより、今回配信する前記画像データを決定するデータ配信装置を提供する。
【００１１】
すなわち、本発明では，重要な情報を即座に表示するため，特定の時間間隔ではなく各画像フレームの受信時に映像の表示可否を，視点切り替え頻度や視点毎の画像フレームの数を累積して評価する。また，各画像フレームの表示時間を重要度情報に応じて変動し，重要フレームの視認性を高める。
【発明の効果】
【００１２】
本発明の構成により、重要情報を見落とさずに即座に視認することが可能なデータ配信装置を提供することができる。
【００１３】
このように品質が異なる映像を効率よく，重要度の高い情報は，映像の１フレームのみに現れるような情報であっても見落とさずに把握可能となる。
【発明を実施するための最良の形態】
【００１４】
以下本発明の実施の形態について、図面に基づき説明する。なお、以下の説明において、画像フレームの重要度を示す情報である重要度情報を、単に「重要度」と表現する場合がある点に留意されたい。
【００１５】
図１は，本発明を実施する形態の一例である多視点切り替え見守りシステムの全構成を示している。
【００１６】
同図において、撮像装置である第１のカメラ１０１，第２のカメラ１０２，第３のカメラ３１０３はそれぞれ回線１１１，回線１１２，回線１１３を通してデータ配信装置１０４に撮影映像を配信する。データ配信装置１０４は，例えば視聴対象１０７の映る映像など、視聴者１０６の要望に従い受信映像から該当する映像を抽出し，回線１１４を通してデータ表示装置１０５に配信する。
【００１７】
図２Ａ，Ｂは，図１の構成のカメラ１０１〜１０３とデータ配信装置１０４の間の回線１１１〜１１３を流れる映像データのフォーマットの一例を示す。カメラ１０１〜１０３がデータ配信装置１０４に対して映像データをIPパケットとして送信する場合には，同図Ａのフォーマット２０１に示すように，IPパケットの送信元のカメラのIPアドレスである送信元IP２０２によりカメラ１０１〜１０３を識別可能である。２０３は、送信先のデータ配信装置のIPアドレスである送信先IPを示す。映像データ２０５の内容を示す映像情報ヘッダ２０４には，視聴対象１０７やその重要度を示す情報（重要度情報）を含む。
【００１８】
カメラ１０１〜１０３の映像データを他の中間装置が仲介してデータ配信装置１０５に送信する場合には，図２Ｂのフォーマット２０６に示すように、図示されない中間装置が介在した場合、IPパケットの送信元IP２０７によりカメラ１０１〜１０３を識別できないため，映像データ２１０の内容を示す映像情報ヘッダ２０９中にカメラ１０１〜１０３を識別するための情報を含む。
【００１９】
また、図３は，図１の構成のデータ配信装置１０４とデータ表示装置１０５の間の回線１１４を流れる映像データのフォーマットの例を示す。図２のフォーマット同様、３０２はデータ配信装置を示す送信元IP、３０３はデータ表示装置を示す送信先IP、３０４は映像情報ヘッダ、３０５は映像データを示している。
【００２０】
図４は，図１に示した多視点切り替え見守りシステム中のデータ配信装置１０４の基本構成を示す機能構成ブロックである。データ配信装置４０１は，インタフェース４０２，４０３、および映像データを処理する映像処理部４０４を備える。映像処理部４０４は映像処理用メモリ４０５および映像処理用プロセッサ４０６を備える。映像処理用メモリ４０５には、映像処理用プロセッサ４０６で実行される映像受信プログラム４０７，映像送信プログラム４０８，映像選択プログラム４０９や，映像データを記憶する映像管理ＤＢ４１０、映像保管領域４１１、一時保管領域４１２を備える。映像受信プログラム４０７、映像送信プログラム４０８は、それぞれインタフェース４０２、４０３を介して映像データを受送信するためのプログラムである。また、映像選択プログラム４０９は、撮像装置から受信した映像データから、視聴者のデータ表示装置に表示するために配信する映像データを選択するためのプログラムである。
【００２１】
データ配信装置４０１の映像処理部４０４は、視聴者からの映像データ配信要求をインタフェース４０２、４０３から受信すると、映像受信プログラム４０７により、受信映像の情報を映像管理ＤＢ４１０に保管し、受信映像データを映像保管領域４１１に保管する。また、データ配信装置４０１は、視聴者からの映像データ配信要求をインタフェース４０２、４０３から受信すると、映像選択プログラム４０９により映像管理ＤＢ４１０から、映像データ配信要求に該当する映像を抽出し、映像送信プログラム４０８により配信する。一時保管領域４１２には、映像選択プログラムの４０９の処理に必要な一時的な情報、例えば後で説明する種々のデータの累積値や切替回数等を保管する。以上説明した機能構成は、中央処理部（Central Processing Unit：ＣＰＵ）、記憶部（メモリ）、ネットワークインタフェースを有する、通常のサーバ等のコンピュータシステムで構成可能であることは言うまでもない。
【００２２】
図５に，図４の映像管理ＤＢ４１０の一例を示す。映像管理ＤＢ４１０は映像データの撮影時刻５０１，映像データの識別子５０２，映像データを撮影したカメラ情報５０３，映像データに含まれる視聴対象情報５０４，映像データの重要度情報５０５から構成される。撮影時刻５０１は図２の映像情報ヘッダ２０４、２０９に含まれる場合には、それらの映像情報ヘッダの内容により，映像情報ヘッダに含まない場合にはデータ配信装置１０４が映像データを受信した時刻により，生成する。
【実施例１】
【００２３】
図６は，第１の実施例に係わる映像選択方式の１つである，カメラ切替回数の累積値による制御の例を模式的に示す図である。等しいフレームレートのカメラ１の映像６０１とカメラ２の映像６０２を受信する配信装置の入力は６０３となる。フレームレートが等しいためカメラ１とカメラ２の映像が交互に繰り返され，そのまま映像として出力すると視認が非常に困難な映像になる。配信装置への入力６０３におけるカメラ切替回数は６０４となり，切替回数の閾値を３として，閾値を超える時点６０６で配信装置が出力する映像のカメラを固定する。配信装置の出力は６０５となり，カメラ１とカメラ２の映像の混在が抑制されるため，視認が容易な映像になる。
【００２４】
図７は，図６に示した第１に実施例の処理フローを示す。同図中、７０１−７１５は処理フローの各ステップを示す。以下の処理フロー図面においても同様である。データ配信装置１０４は画像を受信する（７０２）と，カメラ情報を抽出（７０３）し，抽出したカメラ情報が保存しているカメラ情報と一致するかを判定（７０４）する。一致している場合にはカメラ切替回数を減算（７０５）し，一致していない場合にはカメラ切替回数を加算（７０６）する。
【００２５】
ステップ７０５でカメラ切替回数を減算した場合には，カメラ切替回数が閾値を下回ったかを判定（７０７）し，下回っている場合にはカメラの固定を解除（７０８）する。ステップ７０６でカメラ切替回数を加算した場合には，カメラ切替回数が閾値を上回ったかを判定（７０９）し，上回っている場合にはカメラの固定を開始（７１０）する。次に受信画像のカメラ情報を保存（７１１）し，画像を表示するカメラが固定されているかを判定（７１２）する。カメラが固定されていない場合と固定されているが受信画像のカメラ情報と一致する場合には受信画像を表示（７１４）し，カメラが固定されており受信画像のカメラ情報と一致しない場合には受信画像を表示せずに終了（７１５）する。
【００２６】
図８は，図６,図７に示した第１の実施例のカメラ切替回数では配信映像の制御ができない例を示す。異なるフレームレートのカメラ１の映像８０１とカメラ２の映像８０２を受信する配信装置１０４への入力は８０３となる。このとき，カメラ切替回数は８０４となり，一定量を維持し，閾値３を超えないため，図６,図７と同様の制御では，配信装置１０４の出力は８０５となり，カメラ１の映像にカメラ２の映像が混入し続けることとなる。
【実施例２】
【００２７】
図９は，第２の実施例に係わる映像選択方式を示す。本実施例では、上述した図８の例を制御するため，複数の受信フレーム、すなわち連続する複数の受信画像フレームの所定数中に含まれるカメラ毎のフレーム数による制御を行う。図８と同様、カメラ１の映像９０１とカメラ２の映像９０２を受信する配信装置１０４の入力は９０３となる。このとき，受信フレームのうち新しく受信した５フレームに含まれるカメラ１のフレーム数は９０４，カメラ２のフレーム数は９０５となる。受信５フレームに含まれるカメラ毎のフレーム数が他のカメラよりも多く，カメラ毎のフレーム数が閾値３以上の場合にフレームを出力すると，配信装置１０４の出力は９０６となり，図８に示した例のような映像の混入は除去される。
【００２８】
図１０は，図９の第２の実施例の映像選択方式の処理フローを示す。データ配信装置１０４は映像を受信する（１００２）と，カメラ情報を抽出（１００３）し，設定フレーム数に含まれるカメラ毎のフレーム数を計算（１００４）する。次に，受信画像のカメラが画像表示に関するフレーム数の閾値を超えているかを判定（１００５）し，超えている場合には，受信画像のカメラが他のカメラと比較してカメラ毎のフレーム数が最も多いかを判定（１００６）する。カメラ毎のフレーム数が最も多い場合には受信画像を表示（１００７）する。
【００２９】
図１１は，図９,図１０に示す複数の受信フレームに含まれるカメラ毎のフレーム数では配信映像の制御が出来ない例を示す。図６と同様、等しいフレームレートのカメラ１の映像（１１０１）とカメラ２の映像（１１０２）を受信する配信装置の入力は１１０３となり，カメラ１とカメラ２の映像が交互に繰り返される。このとき，受信５フレームに含まれるカメラ１のフレーム数は１１０４，カメラ２のフレーム数は１１０５となり，同じ値を交互に繰り返すため，図９と同様の制御では，配信装置の出力は１１０６となり，カメラ１の映像とカメラ２の映像が交互に繰り返される。
【実施例３】
【００３０】
図１２は，第３の実施例の映像選択方式に係わり、図１１の例を制御可能とするため，実施例１のカメラ切替回数（累積値）と実施例２の複数の受信フレームに含まれるカメラ毎のフレーム数を組合せて制御を行う。図１１と同様にカメラ１の映像１２０１とカメラ２の映像１２０２を受信する配信装置１０４の入力は１２０３，受信５フレームでのカメラ１のフレーム数は１２０４，カメラ２のフレーム数は１２０５となる。受信５フレームの制御により選択されるフレームは１２０６となり，このときカメラ切替回数は１２０７となる。切替回数１２０７の閾値を３として，閾値を超える１２０９の時点で出力する映像のカメラを固定することにより，配信装置の出力は１２０８となる。
【００３１】
図１３は，図１２に示した実施例３の処理フローを示す。データ配信装置１０４は映像を受信する（１３０２）と，カメラ情報を抽出（１３０３）し，設定フレーム数（ここでは５）に含まれるカメラ毎のフレーム数を計算（１３０４）する。次に，受信画像のカメラが画像表示に関するフレーム数の閾値を超えているかを判定（１３０５）し，超えている場合には，受信画像のカメラが他のカメラと比較してカメラ毎のフレーム数が最も多いかを判定（１３０６）する。カメラ毎のフレーム数が最も多い場合には抽出したカメラ情報が保存しているカメラ情報と一致するかを判定（１３０７）する。一致している場合にはカメラ切替回数１２０７を減算（１３０８）し，一致していない場合にはカメラ切替回数を加算（１３０９）する。１３０８でカメラ切替回数を減算した場合には，カメラ切替回数が閾値を下回ったかを判定（１３１０）し，下回っている場合にはカメラの固定を解除（１３１１）する。１３０９でカメラ切替回数を加算した場合には，カメラ切替回数が閾値を上回ったかを判定（１３１２）し，上回っている場合にはカメラの固定を開始（１３１３）する。次に受信画像のカメラ情報を保存（１３１４）し，画像を表示するカメラが固定されているかを判定（１３１５）する。カメラが固定されていない場合と固定されているが受信画像のカメラ情報と一致する場合には受信画像を表示（１３１７）し，カメラが固定されており受信画像のカメラ情報と一致しない場合には受信画像を表示せずに終了（１３１８）する。なお、ステップ１３１４で保存される受信画像のカメラ情報とは、図１２の選択フレーム１２０６の画像の情報となる。
【００３２】
図１４は，図９,図１０に示す複数の受信フレームに含まれるカメラ毎のフレーム数では、望ましい配信映像の制御が出来ない第２の例を示す。図９と同様に、異なるフレームレートのカメラ１の映像１４０１とカメラ２の映像１４０２を受信する配信装置の入力は１４０３，受信５フレームでのカメラ１のフレーム数は１４０４，カメラ２のフレーム数は１４０５となる。カメラ１、２の映像１４０１、１４０２は括弧内数で示す重要度についての情報（重要度情報）が含まれている。このとき，配信装置１０４の出力は１４０６となり，重要度の高いフレーム１４０７（カメラ２の重要度（１０）のフレーム）が表示されない。
【実施例４】
【００３３】
図１５は，第４の実施例に係わり、図１４の例を制御可能とするため，複数のカメラ毎の受信フレーム各々に含まれる重要度情報による制御を行う。図１４と同様にカメラ１の映像１５０１とカメラ２の映像１５０２を受信する配信装置１０４の入力は１５０３となる。このとき，受信フレームのうち新しく受信した５フレームに含まれるカメラ１の重要度は１５０４，カメラ２の重要度は１５０５となる。受信５フレームに含まれるカメラ毎の重要度情報が他のカメラよりも多く，カメラ毎の重要度情報が閾値（６）以上の場合にフレームを出力すると，配信装置の出力は１５０６となり，重要度の高いフレーム１５０７（カメラ２の重要度（１０）のフレーム）が表示される。
【００３４】
図１６は，図１５の実施例４の処理フローを示す。データ配信装置１０４は映像を受信する（１６０２）と，カメラ情報を抽出（１６０３），重要度を抽出（１６０４）し，設定フレーム数に含まれるカメラ毎の重要度を計算（１６０５）する。次に，受信画像のカメラが画像表示に関する重要度の閾値を超えているかを判定（１６０６）し，超えている場合には，受信画像のカメラが他のカメラと比較してカメラ毎の重要度が最も多いかを判定（１６０７）する。カメラ毎の重要度が最も多い場合には受信画像を表示（１６０８）する。
【実施例５】
【００３５】
図１７は，第５の実施例の映像選択方式に係わり、カメラ切替回数と複数の受信フレームに含まれるカメラ毎の重要度情報による制御を組合せて制御を行う。カメラ１の映像１７０１とカメラ２の映像１７０２を受信する配信装置の入力は１７０３となる。このとき，受信５フレームに含まれるカメラ１の重要度は１７０４，カメラ２の重要度は１７０５となる。先の実施例同様、受信５フレームに含まれるカメラ毎の重要度が他のカメラよりも多く，カメラ毎の重要度情報が閾値（６）以上の場合にフレームを出力すると，選択されるフレームは１７０６となり，このときカメラ切替回数は１７０７となる。切替回数１７０７の閾値を３として，閾値（６）を超える１７１１の時点で出力する映像のカメラを固定する。以上により，重要度の高いフレーム１７０９を含む１７０８が配信装置１０４の出力となる。
【００３６】
図１８は，図１７に示した実施例５の処理フローを示す。データ配信装置１０４は映像を受信する（１８０２）と，カメラ情報を抽出（１８０３），重要度を抽出（１８０４）し，設定フレーム数に含まれるカメラ毎の重要度を計算（１８０５）する。次に，受信画像のカメラが画像表示に関する重要度の閾値を超えているかを判定（１８０６）し，超えている場合には，受信画像のカメラが他のカメラと比較してカメラ毎の重要度が最も多いかを判定（１８０７）する。カメラ毎の重要度が最も多い場合には抽出したカメラ情報が保存しているカメラ情報と一致するかを判定（１８０８）する。一致している場合にはカメラ切替回数を減算（１８０９）し，一致していない場合にはカメラ切替回数を加算（１８１０）する。ステップ１８０９でカメラ切替回数を減算した場合には，カメラ切替回数が閾値を下回ったかを判定（１８１１）し，下回っている場合にはカメラの固定を解除（１８１２）する。ステップ１８１０でカメラ切替回数を加算した場合には，カメラ切替回数が閾値を上回ったかを判定（１８１３）し，上回っている場合にはカメラの固定を開始（１８１４）する。次に受信画像のカメラ情報を保存（１８１５）し，画像を表示するカメラが固定されているかを判定（１８１６）する。カメラが固定されていない場合と固定されているが受信画像のカメラ情報と一致する場合には受信画像を表示（１８１８）し，カメラが固定されており受信画像のカメラ情報と一致しない場合には受信画像を表示せずに終了（１８１９）する。なお、ステップ１８１５で保存される受信画像のカメラ情報は、図１７の選択フレーム１７０６の画像の情報になる。
【００３７】
図１７の実施例５では，重要度の高いフレームを含む配信装置１０４の出力１７０８が得られるが，重要度の高いフレーム１７０９の表示は等しいカメラからの重要度の低いフレーム１７１０の表示により上書きされてしまうため，重要度の高いフレーム１７０９の表示時間は短くなり，見落としてしまう可能性がある。
【実施例６】
【００３８】
図１９は，第６の実施例の映像選択方式に係わり、出力フレームと受信フレームの重要度情報の差により，重要度の高いフレームの表示を維持し，重要度の高いフレームの表示を見落とす可能性を小さくする。カメラ１の映像１９０１を受信する配信装置の入力は１９０２となる。このとき，配信装置１０４が最後に出力したフレームと受信フレームの重要度の差は１９０３となり，受信フレームの重要度の差が閾値（−５）以上の場合にフレームを出力すると，配信装置１０４の出力は１９０４となり，重要度の高いフレーム１９０５の表示は次に重要度が高いフレーム１９０８を表示するときまで維持される。また、保存画像の重要度を一定値（例えば−２）減算する。すなわち、フレームの重要度の情報に基づいて、フレームの配信期間が制御され、重要度の高いフレームは、配信される配信期間、表示される表示時間を長くすることができる。
【００３９】
図２０は，図１９に示した実施例５の処理フローを示す。データ配信装置１０４は映像を受信する（２００２）と，重要度を抽出（２００３）し，受信画像と保存画像の重要度の差は閾値（−５）よりも大きいかを判定（２００４）する。閾値を超えている場合には，受信画像を保存（２００５）し，受信画像を表示（２００６）する。閾値を超えていない場合には，保存画像の重要度を一定値減算する（２００７）。
【実施例７】
【００４０】
図２１は，第７の実施例の映像選択方式に係わり、カメラ切替回数と複数の受信フレームに含まれるカメラ毎の重要度情報，出力フレームと受信フレームの重要度情報の差による制御を組合せる制御を行う。カメラ１の映像２１０１とカメラ２の映像２１０２を受信する配信装置の入力は２１０３となる。このとき，受信５フレームでのカメラ１の重要度は２１０４，カメラ２の重要度は２１０５となる。受信５フレームに含まれるカメラ毎の重要度が他のカメラよりも多く，カメラ毎の重要度が閾値（６）以上の場合にフレームを出力すると，選択されるフレームは２１０６となり，配信装置１０４が最後に出力したフレームと選択フレームの重要度の差は２１０７となる。
【００４１】
この重要度の差２１０７が第２の閾値（＋４）以上の場合にはカメラの切替回数（２１０８）を０に初期化しカメラの固定を解除する。重要度の差（２１０７）が第１の閾値（―４）以上の場合には，カメラの切替回数（２１０８）の閾値を３として，閾値を超える２１１４の時点で出力する映像のカメラを固定する。以上により，重要度の高いフレーム２１１０および２１１５を含む２１０９が配信装置１０４の出力となる。
【００４２】
図２２は，図２１に示した実施例７の処理フローを示す。データ配信装置１０４は映像を受信する（２２０２）と，カメラ情報を抽出（２２０３），重要度を抽出（２２０４）し，設定フレーム数に含まれるカメラ毎の重要度を計算（２２０５）する。次に，受信画像のカメラが画像表示に関する重要度の閾値を超えているかを判定（２２０６）し，超えていない場合には終了（２２２４）する。閾値を超えている場合には，受信画像のカメラが他のカメラと比較してカメラ毎の重要度が最も多いかを判定（２２０７）し，最も多くはない場合には終了（２２２４）する。
【００４３】
カメラ毎の重要度が最も多い場合には受信画像と保存画像の重要度の差が第２の閾値（＋４）よりも大きいかを判定（２２０８）する。第２の閾値を超えている場合には，カメラ切替回数を初期化（２２０９）し，カメラの固定を解除（２２１５）する。第２の閾値を超えていない場合には，受信画像と保存画像の重要度の差が第１の閾値（−４）よりも大きいかを判定（２２１０）する。第２の閾値を超えていない場合には，保存画像の重要度を一定値（−２）減算（２２１１）し，終了（２２２４）する。
【００４４】
第２の閾値を超えている場合には，抽出したカメラ情報が保存しているカメラ情報と一致するかを判定（２２１２）する。一致している場合にはカメラ切替回数を減算（２２１３）し，一致していない場合にはカメラ切替回数を加算（２２１６）する。２２１３でカメラ切替回数を減算した場合には，カメラ切替回数が閾値を下回ったかを判定（２２１４）し，下回っている場合にはカメラの固定を解除（２２１５）する。２２１６でカメラ切替回数を加算した場合には，カメラ切替回数が閾値を上回ったかを判定（２２１７）し，上回っている場合にはカメラの固定を開始（２２１８）する。次に受信画像のカメラ情報を保存（２２１９）し，画像を表示するカメラが固定されているかを判定（２２２０）する。カメラが固定されていない場合と固定されているが受信画像のカメラ情報と一致する場合には受信画像を保存（２２２２），表示（２２２３）し，カメラが固定されており受信画像のカメラ情報と一致しない場合には受信画像を表示せずに終了（２２２４）する。
【００４５】
以上詳述してきた本発明は，例えば，監視や見守りシステムにおける映像表示制御に利用可能である。
【図面の簡単な説明】
【００４６】
【図１】本発明が適用されるシステムの基本構成を示す図である。
【図２Ａ】各実施例に係わるカメラとデータ配信装置の間を流れる映像データのフォーマットの一例を示す図である。
【図２Ｂ】各実施例に係わるカメラとデータ配信装置の間を流れる映像データのフォーマットの他の例を示す図である。
【図３】各実施例に係わるデータ配信装置とデータ表示装置の間を流れる映像データのフォーマットを示す図である。
【図４】各実施例に係わるにデータ配信装置の基本構成を示す図である。
【図５】各実施例に係わる映像管理ＤＢを示す図である。
【図６】第１の実施例に係わる、カメラ切替回数による制御の例を示す図である。
【図７】第１の実施例に係わる、カメラ切替回数による制御の処理フローを示す図である。
【図８】カメラ切替回数により制御ができない例を示す図である。
【図９】第２の実施例に係わる、複数の受信フレームに含まれるカメラ毎のフレーム数による制御の例を示す図である。
【図１０】第２の実施例に係わる、複数の受信フレームに含まれるカメラ毎のフレーム数による制御の処理フローを示す図である。
【図１１】複数の受信フレームに含まれるカメラ毎のフレーム数により制御できない第１の例を示す図である。
【図１２】第３の実施例に係わる、カメラ切替回数と複数の受信フレームに含まれるカメラ毎のフレーム数による制御を組合せて制御する例を示す図である。
【図１３】第３の実施例に係わる、カメラ切替回数と複数の受信フレームに含まれるカメラ毎のフレーム数による制御を組合せる制御の処理フローを示す図である。
【図１４】複数の受信フレームに含まれるカメラ毎のフレーム数により制御できない第２の例を示す図である。
【図１５】第４の実施例に係わる、複数の受信フレームに含まれるカメラ毎の重要度による制御の例を示す図である。
【図１６】第４の実施例に係わる、複数の受信フレームに含まれるカメラ毎の重要度による制御の処理フローを示す図である。
【図１７】第５の実施例に係わる、カメラ切替回数と複数の受信フレームに含まれるカメラ毎の重要度による制御を組合せて制御する例を示す図である。
【図１８】第５の実施例に係わる、カメラ切替回数と複数の受信フレームに含まれるカメラ毎の重要度による制御を組合せる制御の処理フローを示す図である。
【図１９】第６の実施例に係わる、重要度が高いフレームの表示を維持する制御の例を示す図である。
【図２０】第６の実施例に係わる、重要度が高いフレームの表示を維持する制御の処理フローを示す図である。
【図２１】第７の実施例に係わる、カメラ切替回数と複数の受信フレームに含まれるカメラ毎の重要度による制御，重要度が高いフレームの表示を維持する制御を組合せて制御する例を示す図である。
【図２２】第７の実施例に係わる、カメラ切替回数と複数の受信フレームに含まれるカメラ毎の重要度による制御，重要度が高いフレームの表示を維持する制御を組合せる制御の処理フローを示す図である。
【符号の説明】
【００４７】
１０１，１０２，１０３…カメラ
１０４…データ配信装置
１０５…データ表示装置
１０６…視聴者
１０７…視聴対象
１１１，１１２，１１３，１１４…回線
２０１，２０６…カメラとデータ配信装置の間のデータフォーマット
２０２，２０７…送信元ＩＰ
２０３，２０８…送信先ＩＰ
２０４，２０９…映像情報ヘッダ
２０５，２１０…映像データ
３０１…データ配信装置とデータ受信装置の間のデータフォーマット
３０２…送信元ＩＰ
３０３…送信先ＩＰ
３０４…映像情報ヘッダ
３０５…映像データ
４０１…データ配信装置
４０２，４０３…インタフェース
４０４…映像処理部
４０５…映像処理用メモリ
４０６…映像処理用プロセッサ
４０７…映像受信プログラム
４０８…映像送信プログラム
４０９…映像選択プログラム
４１０…映像保管ＤＢ。
【特許請求の範囲】
【請求項１】
複数の撮影装置により撮影された映像データをネットワーク経由で受信し，受信した複数の前記映像データの画像フレームを選択して配信するデータ配信装置であって，
前記ネットワークに接続され、前記映像データを送受信するインタフェースと、
前記映像データを処理する処理部と、
前記映像データを保管する記憶部とを備え、
前記処理部は、前記インタフェースを介して受信する前記映像データを撮影した複数の前記撮影装置の切替回数の累積値に基づき、複数の前記撮像装置からの前記映像データを選択して配信する、
ことを特徴とするデータ配信装置。
【請求項２】
請求項１記載のデータ配信装置であって、
前記処理部は、前記切替回数の累積値が予め設定した閾値を超えた際の前記撮像装置からの前記映像データを配信する、
ことを特徴とするデータ配信装置。
【請求項３】
複数の撮影装置により撮影された映像データをネットワーク経由で受信し，受信した複数の前記映像データの画像フレームを選択して配信するデータ配信装置であって，
前記ネットワークに接続され、前記映像データを送受信するインタフェースと、
前記映像データを処理する処理部と、
前記映像データを保管する記憶部とを備え、
前記処理部は、前記インタフェースを介して受信する前記映像データの、連続する前記画像フレームの所定数中の、複数の前記撮像装置毎の前記画像フレームの数に基づき、複数の前記撮像装置からの前記映像データを選択して配信する、
ことを特徴とするデータ配信装置。
【請求項４】
請求項３記載のデータ配信装置であって、
前記処理部は、連続する前記画像フレームの所定数中の、複数の前記撮像装置毎の前記画像フレームの数を比較し、前記画像フレームの数が最大の前記撮像装置からの前記映像データを選択して配信する、
ことを特徴とするデータ配信装置。
【請求項５】
請求項３記載のデータ配信装置であって、
前記処理部は、連続する前記画像フレームの所定数中の、複数の前記撮像装置毎の前記画像フレームの数に基づき、複数の前記撮像装置からの前記映像データを選択し、前記撮像装置の切替回数が、予め設定した閾値を超えた際に選択された前記撮像装置の前記映像データを配信する、
ことを特徴とするデータ配信装置。
【請求項６】
請求項５記載のデータ配信装置であって、
前記処理部は、連続する前記画像フレームの所定数中の、複数の前記撮像装置毎の前記画像フレームの数を比較し、前記画像フレームの数が最大の前記撮像装置からの前記映像データを選択する、
ことを特徴とするデータ配信装置。
【請求項７】
撮影装置により撮影された映像データをネットワーク経由で受信し，受信した前記映像データを配信するデータ配信装置であって，
前記ネットワークに接続され、前記映像データとして、重要度情報を含む画像フレームを受信するインタフェースと、
前記インタフェースを介して受信した前記映像データを記憶する記憶部と、
前記画像フレームを前記重要度情報に基づき配信処理を行う処理部とを備え、
前記処理部は、前記画像フレームの前記重要度情報に基づいて、前記画像フレームの表示時間を制御する、
ことを特徴とするデータ配信装置。
【請求項８】
請求項７記載のデータ配信装置であって、
前記撮影装置は複数であり、
前記処理部は、複数の前記撮像装置からの前記画像フレームの前記重要度情報を、連続する前記画像フレームの所定数中の、前記撮像装置各々の前記重要度情報の累積値に基づき、表示すべき前記画像フレームを選択するよう制御する、
ことを特徴とするデータ配信装置。
【請求項９】
請求項８記載のデータ配信装置であって、
前記処理部は、前記重要度情報の累積値に基づき切替られた、複数の前記撮像装置の切替回数が、予め定めた閾値を超えた際に選択された前記撮像装置からの前記画像データを配信する、
ことを特徴とするデータ配信装置。
【請求項１０】
請求項８記載のデータ配信装置であって、
前記処理部は、最後に配信された前記画像フレームの前記重要度情報と、前記重要度情報の累積値に基づき今回選択された前記画像フレームの前記重要度情報とを比較することにより、今回配信する前記画像データを決定する、
ことを特徴とするデータ配信装置。
【請求項１１】
請求項１０記載のデータ配信装置であって、
前記処理部は、前記重要度情報の比較差が、予め定められた第１の閾値を超えた後の、前記重要度情報の累積値に基づき切替られた、複数の前記撮像装置の切替回数が、所定値を越えた際に選択された前記撮像装置からの前記画像データを配信する、
ことを特徴とするデータ配信装置。
【請求項１２】
請求項１１記載のデータ配信装置であって、
前記処理部は、前記重要度情報の比較差が、予め定められた第２の閾値を超えた際の前記撮像装置の前記画像データを配信する、
ことを特徴とするデータ配信装置。
【請求項１】
複数の撮影装置により撮影された映像データをネットワーク経由で受信し，受信した複数の前記映像データの画像フレームを選択して配信するデータ配信装置であって，
前記ネットワークに接続され、前記映像データを送受信するインタフェースと、
前記映像データを処理する処理部と、
前記映像データを保管する記憶部とを備え、
前記処理部は、前記インタフェースを介して受信する前記映像データを撮影した複数の前記撮影装置の切替回数の累積値に基づき、複数の前記撮像装置からの前記映像データを選択して配信する、
ことを特徴とするデータ配信装置。
【請求項２】
請求項１記載のデータ配信装置であって、
前記処理部は、前記切替回数の累積値が予め設定した閾値を超えた際の前記撮像装置からの前記映像データを配信する、
ことを特徴とするデータ配信装置。
【請求項３】
複数の撮影装置により撮影された映像データをネットワーク経由で受信し，受信した複数の前記映像データの画像フレームを選択して配信するデータ配信装置であって，
前記ネットワークに接続され、前記映像データを送受信するインタフェースと、
前記映像データを処理する処理部と、
前記映像データを保管する記憶部とを備え、
前記処理部は、前記インタフェースを介して受信する前記映像データの、連続する前記画像フレームの所定数中の、複数の前記撮像装置毎の前記画像フレームの数に基づき、複数の前記撮像装置からの前記映像データを選択して配信する、
ことを特徴とするデータ配信装置。
【請求項４】
請求項３記載のデータ配信装置であって、
前記処理部は、連続する前記画像フレームの所定数中の、複数の前記撮像装置毎の前記画像フレームの数を比較し、前記画像フレームの数が最大の前記撮像装置からの前記映像データを選択して配信する、
ことを特徴とするデータ配信装置。
【請求項５】
請求項３記載のデータ配信装置であって、
前記処理部は、連続する前記画像フレームの所定数中の、複数の前記撮像装置毎の前記画像フレームの数に基づき、複数の前記撮像装置からの前記映像データを選択し、前記撮像装置の切替回数が、予め設定した閾値を超えた際に選択された前記撮像装置の前記映像データを配信する、
ことを特徴とするデータ配信装置。
【請求項６】
請求項５記載のデータ配信装置であって、
前記処理部は、連続する前記画像フレームの所定数中の、複数の前記撮像装置毎の前記画像フレームの数を比較し、前記画像フレームの数が最大の前記撮像装置からの前記映像データを選択する、
ことを特徴とするデータ配信装置。
【請求項７】
撮影装置により撮影された映像データをネットワーク経由で受信し，受信した前記映像データを配信するデータ配信装置であって，
前記ネットワークに接続され、前記映像データとして、重要度情報を含む画像フレームを受信するインタフェースと、
前記インタフェースを介して受信した前記映像データを記憶する記憶部と、
前記画像フレームを前記重要度情報に基づき配信処理を行う処理部とを備え、
前記処理部は、前記画像フレームの前記重要度情報に基づいて、前記画像フレームの表示時間を制御する、
ことを特徴とするデータ配信装置。
【請求項８】
請求項７記載のデータ配信装置であって、
前記撮影装置は複数であり、
前記処理部は、複数の前記撮像装置からの前記画像フレームの前記重要度情報を、連続する前記画像フレームの所定数中の、前記撮像装置各々の前記重要度情報の累積値に基づき、表示すべき前記画像フレームを選択するよう制御する、
ことを特徴とするデータ配信装置。
【請求項９】
請求項８記載のデータ配信装置であって、
前記処理部は、前記重要度情報の累積値に基づき切替られた、複数の前記撮像装置の切替回数が、予め定めた閾値を超えた際に選択された前記撮像装置からの前記画像データを配信する、
ことを特徴とするデータ配信装置。
【請求項１０】
請求項８記載のデータ配信装置であって、
前記処理部は、最後に配信された前記画像フレームの前記重要度情報と、前記重要度情報の累積値に基づき今回選択された前記画像フレームの前記重要度情報とを比較することにより、今回配信する前記画像データを決定する、
ことを特徴とするデータ配信装置。
【請求項１１】
請求項１０記載のデータ配信装置であって、
前記処理部は、前記重要度情報の比較差が、予め定められた第１の閾値を超えた後の、前記重要度情報の累積値に基づき切替られた、複数の前記撮像装置の切替回数が、所定値を越えた際に選択された前記撮像装置からの前記画像データを配信する、
ことを特徴とするデータ配信装置。
【請求項１２】
請求項１１記載のデータ配信装置であって、
前記処理部は、前記重要度情報の比較差が、予め定められた第２の閾値を超えた際の前記撮像装置の前記画像データを配信する、
ことを特徴とするデータ配信装置。
【図１】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１０−４１５３５（Ｐ２０１０−４１５３５Ａ）
【公開日】平成２２年２月１８日（２０１０．２．１８）
【国際特許分類】
【出願番号】特願２００８−２０３８３１（Ｐ２００８−２０３８３１）
【出願日】平成２０年８月７日（２００８．８．７）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２２年２月１８日（２０１０．２．１８）
【国際特許分類】
【出願日】平成２０年８月７日（２００８．８．７）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]