画像転送装置
【課題】アプリケーション層において把握困難な各種パラメータを用いることなく、伝送遅延の大きいネットワーク環境においても画像伝送のスループット低下を抑止して、高品質な映像表示を実現する画像転送装置を提供する。
【解決手段】ＴＣＰ／ＩＰを使用して画像送信をおこなうアプリケーション層の処理は、画像１フレームまたは複数フレーム毎に画像送信に使用する送信ポートを選択して送信する手段を有し、画像送信時、既に画像送信に使用したポートが送信処理を完了して空いているかを判定し、ポートが空いていない場合は新規にポートを生成して画像送信し、ポートが空いている場合はそれまでに生成したポート数で画像送信を行う。
【解決手段】ＴＣＰ／ＩＰを使用して画像送信をおこなうアプリケーション層の処理は、画像１フレームまたは複数フレーム毎に画像送信に使用する送信ポートを選択して送信する手段を有し、画像送信時、既に画像送信に使用したポートが送信処理を完了して空いているかを判定し、ポートが空いていない場合は新規にポートを生成して画像送信し、ポートが空いている場合はそれまでに生成したポート数で画像送信を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラ等のカメラで撮影した画像をネットワーク経由で伝送し、表示する技術に関する。
【背景技術】
【０００２】
ＩＰ映像監視システムは、監視カメラ等のカメラの映像をＩＰ（Internet Protocol）ネットワークで伝送し、ネットワークに接続された表示装置に映像を表示して映像監視を行うシステムである。近年、ＩＰ映像監視システムの普及にともない、映像監視システムは大規模化、広域化する傾向にある。
通常、構内ＬＡＮ（Local Area Network）における伝送遅延時間は、通常１［ms］以下である。これに対して、広域ＩＰ網での往復遅延時間は、国内では２５［ms］であり、海外では１００〜３００［ms］程度である。ＴＣＰ／ＩＰ（Transmission Control protocol / Internet Protocol）を使用したデータ伝送では、遅延時間が増大するに従ってスループットが低下する。この理由は、ウィンドウサイズ分のデータを送信後は、相手先から応答を受信するまで、次データを送信できないためである。往復遅延時間ＲＴＴ（Round Trip Time：ラウンドトリップタイム）とスループットの関係は次の式（１）で表わされる。
スループット＝ウィンドウサイズ÷ＲＴＴ・・・式（１）
このように、広域ＩＰ網では、スループットが構内ＬＡＮの数十分の一になってしまうことがある。
このような問題の解決方法として特許文献１（ファイル転送方式）や特許文献２（動画伝送システム、動画像送信装置、動画像中継装置、動画像受信装置、プログラム、および記録媒体）のようにデータを分割し、分割データを複数のＴＣＰコネクションにより送信する方法が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−３０５６４３号公報
【特許文献２】特開２００４−２６０６６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１や特許文献２で開示されている複数のＴＣＰコネクション数の決定方法は、ＴＣＰウィンドウサイズ、伝送路の往復遅延時間ＲＴＴ、回線速度、スループットなどの各種パラメータをもとにして決定している。しかしながら、ＴＣＰウィンドウサイズはネットワークの回線の輻輳状況により変化し、伝送路の往復遅延時間ＲＴＴは選択されるネットワークの経路により変化する。また、１アプリケーションが使用できる回線速度やスループットは、他のトラフィックの影響を受けるため、従来の方法ではアプリケーション層において適切なＴＣＰコネクション数を把握することは困難であった。
本発明は、このような課題を解決するために、アプリケーション層において把握困難な各種パラメータを用いることなく、伝送遅延の大きいネットワーク環境においても画像伝送のスループット低下を抑止して、高品質な映像表示を実現する画像転送装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するため、本発明の画像転送装置は、カメラが撮影した画像をネットワークへ送信する画像転送装置であって、画像要求を受信した場合に転送処理タスクをおこなう手段を備え、該転送処理タスクをおこなう手段は、前記受信した画像要求のメッセージに含まれる画像ＩＤ、その他の情報を使用して同一拠点内のカメラまたは画像記録装置に接続して要求された画像を読出す手段と、ＴＣＰ／ＩＰを使用して画像送信をおこなうアプリケーション層の処理として、画像１フレームまたは複数フレーム毎に画像送信に使用する送信ポートを選択して送信する手段とを有し、画像送信時、既に画像送信に使用したポートが送信処理を完了して空いているかを判定し、ポートが空いていない場合には新規にポートを生成して画像送信し、ポートが空いている場合はそれまでに生成したポート数で前記画像要求を送信した要求元に画像送信を行うことを第１の特徴とする。
【０００６】
上記第１の特徴の画像転送装置において、本発明の画像転送装置は、さらに、送信画像の通信品質クラスに応じて、画像送信処理に割当てる送信ポート数を決定する手段を有することを第２の特徴とする。
【発明の効果】
【０００７】
本発明によれば、画像フレーム単位で使用する送信ポートを選択して伝送するので、ある送信ポートが使用中であっても、空いている送信ポートを使用して伝送できるため、伝送遅延のある環境において回線容量を有効利用した効率的な画像伝送を実現することができる。
また、送信ポートの切替は画像フレーム単位でおこなうため、ポート数を増減させても、画像がフレーム途中で途切れることがなく、ポート数調整制御を容易に実行できる効果がある。
また、一般的な画像の符号／復号処理単位である１フレームまたは複数フレーム単位で、転送処理をおこなうことで、受信側にて未受信データの待ち時間が生じることなく復号、表示処理を開始でき、効率的な処理を実現できる。
また、アプリケーション層において把握困難な各種パラメータを用いることなく、アプリケーションの動作に適したポート数を動的に決定することで、伝送遅延の大きいネットワーク環境においても画像伝送のスループット低下を抑止して、高品質な映像表示を実現する映像監視システムを提供することができる。
また、送信画像を通信品質クラスで分けて伝送することにより、多様な画像を混在して伝送する場合であっても、リアルタイム性が重要な画像はより高速で伝送できるなど、多様なユーザニーズを満たす映像監視システムを実現することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施例に係る映像監視システムの構成を示すブロック図である。
【図２】本発明の画像転送装置の一実施例を説明するための図である。
【図３】本発明の画像転送装置の転送処理タスクにおいて、基本ポート数を決定する処理手順の一実施例を説明するためのフローチャートである。
【図４】本発明の画像転送装置の転送処理タスクにおいて、ポートを削除する場合の処理手順の一実施例を説明するためのフローチャートである。
【図５】本発明の画像転送装置の転送処理タスクにおいて、各転送処理タスクのポート数を調整する共通データテーブルの一実施例を示す図である。
【図６】本発明の画像転送装置の転送処理タスクにおいて、通信品質クラス別に保証するポート数を設定したテーブルの一実施例である。
【図７】本発明の画像転送装置の一実施例において、各転送処理タスクのポート数を調整する全体制御タスクの処理手順を説明するためのフローチャートである。
【図８】本発明の画像転送装置の一実施例において、割当てポート数の再調整を行う全体制御タスクの一実施例の処理動作を説明するためのフローチャートである。
【図９】本発明の画像転送装置の一実施例において、ポート数の再調整をおこなう転送処理タスクの処理動作を説明するためのフローチャートである。
【発明を実施するための形態】
【０００９】
本発明の画像転送装置は、監視カメラ等のカメラで撮影した画像をネットワークへ送信する画像転送装置であって、ＴＣＰ／ＩＰを使用して画像送信をおこなうアプリケーション層の処理は、画像１フレームまたは複数フレーム毎に画像送信に使用する送信ポートを選択して送信する手段を有し、画像送信時、既に画像送信に使用したポートが送信処理を完了して空いているかを判定し、ポートが空いていない場合は新規にポートを生成して画像送信し、ポートが空いている場合はそれまでに生成したポート数で画像送信を行うものである。
また、画像転送装置は、送信画像の通信品質クラスに応じて、画像送信処理に割当てる送信ポート数を決定する手段を有することを特徴とする。
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、各図の説明において、同一の機能を有する構成要素には同一の参照番号を付し、重複を避けるため、できるだけ説明を省略する。
【００１０】
図１は、本発明の一実施例に係る映像監視システムの構成を示すブロック図である。１０Ａと１０Ｂは監視の拠点、１５はネットワークである。拠点１０Ａにおいて、１Ａ１と１Ａ２は監視用のカメラ、１Ａ３は画像転送装置、１Ａ４は画像記録装置、１Ａ５は表示装置、１Ａ６はカメラ１Ａ１および１Ａ２、画像転送装置１Ａ３、画像記録装置１Ａ４、並びに表示装置１Ａ５を接続するデータバス、１Ａ７は画像転送装置１Ａ３や拠点１０Ａ内の機器とネットワーク１５を接続するデータバスである。また、拠点１０Ｂにおいて、１Ｂ１と１Ｂ２はカメラ、１Ｂ３は画像転送装置、１Ｂ４は画像記録装置、１Ｂ５は表示装置、１Ｂ６はカメラ１Ｂ１および１Ｂ２、画像転送装置１Ｂ３、画像記録装置１Ｂ４、並びに表示装置１Ｂ５を接続するデータバス、１Ｂ７は画像転送装置１Ｂ３や拠点１０Ｂ内の機器とネットワーク１５を接続するデータバスである。
図１に示すように、この画像監視システムは、複数の拠点１０Ａと１０Ｂ、および複数の拠点１０Ａと１０Ｂを接続するネットワーク１５から構成される。各拠点１０Ａ（または、１０Ｂ）は、それぞれ、カメラ１Ａ１および１Ａ２（または、１Ｂ１および１Ｂ２）、カメラ１Ａ１および１Ａ２（または、１Ｂ１および１Ｂ２）で撮影した画像を記録する画像記録装置１Ａ４（または、１Ｂ４）、カメラ１Ａ１および１Ａ２（または、１Ｂ１および１Ｂ２）または画像記録装置１Ａ４（または、１Ｂ４）の映像を表示する表示装置Ａ５（または、１Ｂ５）、カメラ１Ａ１および１Ａ２（または、１Ｂ１および１Ｂ２）または画像記録装置１Ａ４（または、１Ｂ４）の画像をネットワーク１５へデータバス１Ａ７（または、１Ｂ７）を介して送信または受信する画像転送装置１Ａ３（または、１Ｂ３）から構成される。また、データバス１Ａ６（または、１Ｂ６）は、カメラ１Ａ１および１Ａ２（または、１Ｂ１および１Ｂ２）、画像転送装置１Ａ３（または、１Ｂ３）、画像記録装置１Ａ４（または、１Ｂ４）、および表示装置１Ａ５を接続する。
【００１１】
拠点１０Ａのカメラ１Ａ１および１Ａ２で撮影した画像は、拠点１０Ａの画像記録装置１Ａ４に記録される。拠点１０Ａの表示装置１Ａ５は、拠点１０Ａ内のカメラ１Ａ１若しくは１Ａ２、または画像記録装置１Ａ４に画像要求を行い、取得した画像を表示する。拠点１０Ｂにおいても同様の動作を行う。
拠点１０Ａのカメラ１Ａ１若しくは１Ａ２で撮影した画像を拠点１０Ｂの表示装置１Ｂ５に表示する場合には、拠点１０Ｂの表示装置１Ｂ５は、拠点１０Ｂの画像転送装置１Ｂ３に、拠点１０Ａのカメラ１Ａ１若しくは１Ａ２、または画像記録装置１Ａ４に画像要求を行う。
拠点１０Ｂの画像転送装置１Ｂ３は、画像表示装置１Ｂ５からの画像要求メッセージに含まれる画像ＩＤおよびその他の情報を参照して、拠点１０Ａの画像転送装置１Ａ３に画像要求を行う。
拠点１０Ａの画像転送装置１Ａ３は、画像要求メッセージに含まれる画像ＩＤおよびその他の情報を参照して、拠点１０Ａ内のカメラ１Ａ１若しくは１Ａ２、または画像記録装置１Ａ４に画像要求を行い、取得した画像を拠点１０Ｂの画像転送装置１Ｂ３に転送する。
拠点１０Ｂの画像転送装置１Ｂ３は、受信した画像を要求元の画像表示装置１Ｂ５に送り、画像表示装置１Ｂ５は、送られた画像を表示する。
【００１２】
図１を参照しながら、図２によって本発明の画像転送装置の動作の一実施例を説明する。
図２は、本発明の画像転送装置の一実施例を説明するための図である。２０は画像転送装置、２７はポートである。画像転送装置２９において、２１〜２３は転送処理タスク、２４は共通データテーブル、２５は全体制御タスク、２６はＯＳ（Operation System）である。
【００１３】
図２の実施例では、本発明の画像転送装置を、ＰＣ（Personal Computer）等のハードウェアのＯＳ上で動作するソフトウェアとして、その特徴を説明する。ソフトウェア構成としては、転送処理を実行する転送処理タスク２１〜２３、転送処理その他の制御をおこなう全体制御タスク２５、タスク間のデータ共有用の共通データテーブル２４等から構成され、各タスク２１〜２３および２５は、ＯＳ２６のスケジューラにより、順番に実行される。
【００１４】
図２の画像転送装置２０の構成を有する拠点１０Ｂの画像転送装置１Ｂ３は、表示装置１Ｂ５から画像要求を受付ける（受信する）と転送処理タスク（００１）２１を生成する。複数の表示装置から画像要求を受信した場合には、転送処理タスクは複数生成される。例えば、図２に示すように、３つの表示装置からの画像要求があった場合には、転送処理タスク（００１）２１、転送処理タスク（００２）２２、および転送処理タスク（００３）２３が生成される。
拠点１０Ｂの画像転送装置１Ｂ３は、図２の画像転送装置２０の構成を有する拠点１０Ａの画像転送装置１Ａ３に画像要求を行う。拠点１０Ａの画像転送装置１Ａ３は、拠点１０Ｂの画像転送装置１Ｂ３から画像要求を受付けると転送処理タスク（００１）２１を生成する。複数の要求元から画像要求がある場合、転送処理タスクは複数生成される。例えば、図２に示すように、３つの表示装置からの画像要求があった場合には、転送処理タスク（００１）２１、転送処理タスク（００２）２２、および転送処理タスク（００３）２３が生成される。
拠点１０Ａの画像転送装置１Ａ３で生成された転送処理タスク（００１）２１は、画像要求のメッセージに含まれる画像ＩＤ、その他の情報を使用してカメラ１Ａ１若しくは１Ａ２、または画像記録装置１Ａ４に接続し、要求された画像を読出す。
転送処理タスク２１は、読出した画像のメタデータ等に含まれる情報や画像要求メッセージに含まれる情報から、転送する画像の伝送速度やフレームレートを把握する。
【００１５】
図３は、本発明の画像転送装置の転送処理タスクにおいて、基本ポート数を決定する処理手順の一実施例を説明するためのフローチャートである。
ステップ３１では、転送処理タスク（例えば、図２の転送処理タスク２１参照）は、カメラ１Ａ１、１Ａ２や画像記録装置１Ａ４から要求された画像を読出す。
一般的に、ネットワーク１５に接続されたカメラ１Ａ１、１Ａ２若しくは画像記録装置１Ａ４では、画像符号化単位である１フレームまたは複数フレームで画像の読出しができるものが多い。また、ＪＰＥＧ（Joint Photographic Expert Group）等の静止画では、１フレーム単位で読出しても良く、またさらに、Ｈ．２６４等の動画では、複数フレームが含まれた単位で読出しても良い。また、２フレームを連続して読出し、各画像フレームのメタデータに含まれるタイムスタンプ情報から以降のデータ読出しタイミングを決定しても良い。またさらに、画像転送装置１Ａ３（１Ｂ３）にバッファがある場合には、バッファサイズの範囲内で複数フレームを連続して読出しても良い。なお、画像転送装置１Ａ３（１Ｂ３）での画像の送信タイミングは、伝送速度やフレームレートから算出されるタイミングで送信をおこなっても良いし、受信側から要求されるタイミングで送信をおこなっても良い。
【００１６】
次に、ステップ３２〜３６では、転送処理タスクは、読出した画像を送信するポート（例えば、図２のポート２７）を選択する。空きポートが無い場合で使用ポート数がポート数上限値より小さい場合には、新規ポートを生成し、生成した新規ポートを使用して読出した１フレームまたは複数フレームの画像データを送信する。
即ち、ステップ３２では、転送処理タスクは、空きポートの有無を判定する。空きポートが無い場合にはステップ３３に進み、空きポートがある場合にはステップ３８に進む。
ステップ３３では、転送処理タスクは、使用ポート数がポート数上限値より小さいか否かを判定する。使用ポート数がポート数上限値より小さい場合にはステップ３４に進み、使用ポート数がポート数上限値と等しいかまたは大きい場合にはステップ３８に進む。
【００１７】
ステップ３４では、転送処理タスクは、新規ポートを生成する。
次にステップ３５では、転送処理タスクは、生成した新規ポートを使用して読出した１フレームまたは複数フレームの画像データを送信する。
そして、ステップ３６では、転送処理タスクは、カメラ１Ａ１、１Ａ２若しくは画像記録装置１Ａ４から読出し済みの未送信画像フレームがある場合には、ステップ３２の送信ポートの選択処理に戻り、ない場合にはステップ３７に進む。
ステップ３７では、転送処理タスクは、要求画像の転送が終了したか否かを判定し、要求画像の転送が終了していない場合にはステップ３１に戻り、要求画像の転送が終了した場合には処理を終了する。
ステップ３８では、転送処理タスクは、送信ポートの選択処理を行う。例えば、既に画像送信に使用したポートが送信処理を完了して空いている場合には、それまで生成したポート数を基本ポート数とし、以降基本ポート数の範囲内で画像送信をおこなう。以上の動作を要求画像の転送が終了するまで繰り返す。
このように、異なるポートで送信された画像フレームは、受信側の画像転送装置の転送処理タスクでフレーム順に並べられ、画像表示装置に送られる。
【００１８】
上述のように新規ポートを生成しながら、画像データを送信し、送信に使用したポートに空きを検出した時点で、１ポート分の画像データ転送が完了したとみなし、それまでに生成したポート数をその時点での適切なポート数と考える。輻輳が発生すると、ＴＣＰウィンドウサイズが縮小するため、このポート数で送信してもスループットは低下する。しかし、これは、輻輳が原因であるため、ポート数を増やしても回避は困難である。なお、輻輳時において求められた基本ポート数は、輻輳解消時にはそれよりも小さい数で所定の伝送速度を達成できると考えられる。このため、余分なポートは削除しても良い。
【００１９】
図４は、本発明の画像転送装置の転送処理タスクにおいて、ポートを削除する場合の処理手順の一実施例を説明するためのフローチャートである。
図４の実施例では、画像データ送信時において、転送処理タスクは、空きポートが２つ以上あれば、空きポートが１になるまで、空きポートを削除し、削除後の残ポート数を基本ポート数とするものである。
ステップ４１では、転送処理タスクは、送信残の画像フレームがあるか否かを判定する。例えば、転送処理タスクは、カメラ１Ａ１、１Ａ２若しくは画像記録装置１Ａ４から読出し済みの未送信画像フレームがある場合には、ステップ４４に進み、ない場合にはステップ４２に進む。
ステップ４２では、転送処理タスクは、要求画像の転送が終了したか否かを判定し、要求画像の転送が終了していない場合にはステップ４３に進み、要求画像の転送が終了した場合には処理を終了する。
【００２０】
ステップ４３では、転送処理タスクは、カメラ１Ａ１、１Ａ２や画像記録装置１Ａ４から要求された画像を読出す。
ステップ４４では、転送処理タスクは、空きポートの有無を判定する。空きポートが無い場合には再びステップ４４の実行を繰り返し、空きポートがある場合にはステップ４５に進む。
ステップ４５では、転送処理タスクは、空きポート数が１超か否かを判定する。空きポート数が１以下の場合にはステップ４８に進み、空きポート数が１超の場合にはステップ４６に進む。
ステップ４６では、転送処理タスクは、空きポート数が１になるまで、空きポートを削除する。
次に、ステップ４７では、転送処理タスクは、削除後のポート数を基本ポート数とする（基本ポート数設定）。
そして、ステップ４８では、転送処理タスクは、残ったポートを使用して読出した１フレームまたは複数フレームの画像データを送信し、ステップ４１に戻る。
【００２１】
以上のように、転送処理タスクは、アプリケーション層において把握困難な各種パラメータを用いることなく、適切なポート数を決定することができる。
転送処理タスクは、複数の通信ポートを同時使用して通信することで、伝送遅延のある環境においてＴＣＰ／ＩＰの応答待ちにより、あるポートで次フレームを送信できない場合であっても、別のポートを使用して送信できるため、スループットの低下を抑止することができる。
【００２２】
ところで一方、使用ポート数が画像転送装置の処理能力を上回る場合には、リソース不足やオーバヘッドが増加してしまう。また、リアルタイム性が重要な画像もそうでない画像と同様に伝送が遅れてしまうという課題がある。従って、割当てポート数の制限や通信品質クラスを考慮したポートの割当てが必要になる。
【００２３】
図５は、本発明の画像転送装置の転送処理タスクにおいて、各転送処理タスクのポート数を調整する共通データテーブルの一実施例を示す図である。図５の実施例の共通データテーブは、タスクＩＤ毎に登録する使用ポート数、割当てポート数、基本ポート数、および通信品質クラスから構成される。基本ポート数は、これまで説明したように転送処理タスクが決定する。
使用ポート数は使用しているポート数で、たとえば基本ポート数が決定した時点では基本ポート数と同一の値となる。割当てポート数は全体制御タスクがポート数調整時に設定するもので、割当てポート数≦基本ポート数の関係となる。
転送処置タスクは読出した画像のメタデータ等に含まれる情報や画像要求メッセージに含まれる情報から、転送する画像の通信品質クラスを決定する。
【００２４】
図６は、本発明の画像転送装置の転送処理タスクにおいて、通信品質クラス別に保証するポート数を設定したテーブルの一実施例である。ベストエフォートクラスは１ポート、優先クラスは基本ポート数の使用が保証されることを示している。
【００２５】
図７は、本発明の画像転送装置の一実施例において、各転送処理タスクのポート数を調整する全体制御タスクの処理手順を説明するためのフローチャートである。
図７における全体制御タスクは、各タスクの使用ポート数の和が閾値を超えた場合ポート数の調整を行う。
図７の実施例では、削減できるのはベストエフォートクラスだけのため、ベストエフォートクラスが使用しているポートを削減できるか否かを判定する。削減できる場合には、各タスクの使用ポートの和が閾値以下となるまで、ベストエフォートクラスのポートを削減する。また、ポートを削減したベストエフォートクラス内の各タスク間でポート数を案分するよう再割り当てを行い、共通データテーブルを更新する。ポート数が削減できない場合、以降の新規転送処理タスクはポートを使用できない。
【００２６】
図７において、ステップ７１では、全体制御タスクは、使用ポート数の総和が所定の閾値を超えているか否かを判定する。使用ポート数の総和が所定の閾値以下の場合には処理を終了し、使用ポート数の総和が所定の閾値を超えている場合にはステップ７２に進む。
ステップ７２では、全体制御タスクは、ベストエフォートクラスが使用しているポートを削減できるか否かを判定する。削減可能の場合にはステップ７３に進み、削減不可の場合にはステップ７７に進む。
ステップ７３では、全体制御タスクは、ポートを削減する。
次に、ステップ７４では、全体制御タスクは、削減後のポート数の総和が所定の閾値を超えているか否かを判定する。使用ポート数の総和が所定の閾値以下の場合にはステップ７５に進み、使用ポート数の総和が所定の閾値を超えている場合にはステップ７７に進む。
ステップ７５では、全体制御タスクは、削減クラス内の各タスクの割当てポート数／基本ポート数が平等になるようにポート割当てを再調整する。
そして、ステップ７６では、全体制御タスクは、共通データテーブルを更新し、処理を終了する。
また、ステップ７７では、転送処理タスクは、新規タスクへのポート割当てが不可として、処理を終了する。
【００２７】
また、要求された画像転送処理が終了し、全体制御タスクが終了した場合、解放されたポートはポートが削減された他のタスクに割当てられることが望ましい。
図８は、本発明の画像転送装置の一実施例において、割当てポート数の再調整を行う全体制御タスクの一実施例の処理動作を説明するためのフローチャートである。
ステップ８１では、全体制御タスクは、割当てポート数の総和が所定の閾値未満の場合には、再割り当て処理を行うためにステップ８２に進む。また、全体制御タスクは、割当てポート数の総和が所定の閾値以上の場合には、割当てポート数の再調整を行なわずに処理を終了する。
ステップ８２では、全体制御タスクは、ベストエフォートクラスの割当てポート数の総和が、基本ポート数の総和未満の場合にはステップ８３に進み、基本ポート数の総和以上の場合には割当てポート数の再調整を行なわずに処理を終了する。
【００２８】
ステップ８３では、全体制御タスクは、基本ポート数の総和が閾値｛閾値＝（割当てポート数の総和＋余裕ポート数）｝を超えるか否かを判定する。基本ポート数が閾値を超える場合にはステップ８４に進み、基本ポート数が閾値以下の場合にはステップ８７に進む。
ステップ８４では、全体制御タスクは、余裕ポート数をベストエフォートクラスに割当て、ステップ８５に進む。
ステップ８７では、全体制御タスクは、各タスクに基本ポート数を割り当て、ステップ８６に進む。
ステップ８５では、全体制御タスクは、ベストエフォートクラス内の各タスク間で割当てポート数を按分するよう再割り当てを行い、ステップ８６に進む。
ステップ８６では、全体制御タスクは、共通データテーブルを更新し、割当てポート数の再調整の処理を終了する。
【００２９】
図９は、本発明の画像転送装置の一実施例において、ポート数の再調整をおこなう転送処理タスクの処理動作を説明するためのフローチャートである。図９は、図４において、使用ポート数が割当てポート数を超える場合に、ポート数を削除し、使用ポート数を割当てポート数以下にする処理と使用ポート数が割当てポート数より小さい場合に、ポートを生成し、使用ポート数を割当てポート数にまで増やす処理を追加したものである。
図９において、ステップ４１〜ステップ４４の処理は、図４の同一番号のステップの処理と同様である。ただし、ステップ４４において、転送処理タスクは、空きポートの有無を判定し、空きポートが無い場合にはステップ９０１に進み、空きポートがある場合にはステップ９０２に進む。
また、ステップ４５〜ステップ４８の処理は、図４の同一番号のステップの処理と同様である。
【００３０】
ステップ９０１において、まずステップ９１では、転送処理タスクは、使用ポート数が割当てポート数未満であるか否かを判定する。使用ポート数が割当てポート数未満の場合にはステップ９２に進み、使用ポート数が割当てポート数以上の場合にはステップ４４に戻る。
ステップ９２では、転送処理タスクは、ポートを生成しステップ９３に進む。
ステップ９３では、転送処理タスクは、ポート生成後のポート数を使用ポート数として設定し、ステップ９４に進む。
ステップ９４では、転送処理タスクは、ポートを使用して読出した１フレームまたは複数フレームの画像データを送信し、ステップ４１に戻る。
【００３１】
次にステップ９０２において、まずステップ９５では、転送処理タスクは、使用ポート数が割当てポート数を超えているか否かを判定する。使用ポート数が割当てポート数を超えている場合にはステップ９６に進み、使用ポート数が割当てポート数以下の場合にはステップ４５に進む。
ステップ９６では、転送処理タスクは、空きポートを削除してステップ９７に進む。
ステップ９７では、転送処理タスクは、削除後のポート数を使用するポート数として設定し、ステップ４４に戻る。
【００３２】
なお、本実施例では、通信品質クラスを指定の伝送速度を確保する優先クラスとベストエフォートクラスの２つとしたが、クラス種類を増やして上記で述べた処理と類似処理をおこなってポート数を割当てても差し支えない。
また、図１の構成では、各拠点のカメラは２台であった。しかし、何台であっても良いことは勿論である。さらに、各拠点のカメラの台数は同一台数である必要もない。同様に拠点の数も２である必要はなく、いくつでも良い。
【００３３】
上記実施例によれば、画像フレーム単位で使用する送信ポートを選択して伝送するので、ある送信ポートが使用中であっても、空いている送信ポートを使用して伝送できるため、伝送遅延のある環境において回線容量を有効利用した効率的な画像伝送を実現することができる。
また、送信ポートの切替は画像フレーム単位でおこなうため、ポート数を増減させても、画像がフレーム途中で途切れることがなく、ポート数調整制御を容易に実行できる効果がある。
また、一般的な画像の符号／復号処理単位である１フレームまたは複数フレーム単位で、転送処理をおこなうことで、受信側にて未受信データの待ち時間が生じることなく復号、表示処理を開始でき、効率的な処理を実現できる。
また、アプリケーション層において把握困難な各種パラメータを用いることなく、アプリケーションの動作に適したポート数を動的に決定することで、伝送遅延の大きいネットワーク環境においても画像伝送のスループット低下を抑止して、高品質な映像表示を実現する映像監視システムを提供する。
また、送信画像を通信品質クラスで分けて伝送することにより、多様な画像を混在して伝送する場合であっても、リアルタイム性が重要な画像はより高速で伝送できるなど、多様なユーザニーズを満たす映像監視システムを実現することができる。
【００３４】
以上、本発明を実施例によって詳細に説明した。しかし、本発明は、上述の実施例に限定されるわけではなく、本発明が属する技術分野において、通常の知識を有する者であれば、本発明の思想と精神に基づいて、本発明を修正若しくは変更できる発明が含まれることは勿論である。
【符号の説明】
【００３５】
１０Ａ、１０Ｂ：拠点、 １５：ネットワーク、 １Ａ１、１Ａ２：カメラ、 １Ａ３：画像転送装置、 １Ａ４：画像記録装置、 １Ａ５：表示装置、 １Ａ６、１Ａ７：データバス、 １Ｂ１、１Ｂ２：カメラ、 １Ｂ３：画像転送装置、 １Ｂ４：画像記録装置、 １Ｂ５：表示装置、 １Ｂ６、１Ｂ７：データバス、 ２０：画像転送装置、 ２１〜２３：転送処理タスク、 ２４：共通データテーブル、 ２５：全体制御タスク、 ２６：ＯＳ、 ２７：ポート。
【技術分野】
【０００１】
本発明は、監視カメラ等のカメラで撮影した画像をネットワーク経由で伝送し、表示する技術に関する。
【背景技術】
【０００２】
ＩＰ映像監視システムは、監視カメラ等のカメラの映像をＩＰ（Internet Protocol）ネットワークで伝送し、ネットワークに接続された表示装置に映像を表示して映像監視を行うシステムである。近年、ＩＰ映像監視システムの普及にともない、映像監視システムは大規模化、広域化する傾向にある。
通常、構内ＬＡＮ（Local Area Network）における伝送遅延時間は、通常１［ms］以下である。これに対して、広域ＩＰ網での往復遅延時間は、国内では２５［ms］であり、海外では１００〜３００［ms］程度である。ＴＣＰ／ＩＰ（Transmission Control protocol / Internet Protocol）を使用したデータ伝送では、遅延時間が増大するに従ってスループットが低下する。この理由は、ウィンドウサイズ分のデータを送信後は、相手先から応答を受信するまで、次データを送信できないためである。往復遅延時間ＲＴＴ（Round Trip Time：ラウンドトリップタイム）とスループットの関係は次の式（１）で表わされる。
スループット＝ウィンドウサイズ÷ＲＴＴ・・・式（１）
このように、広域ＩＰ網では、スループットが構内ＬＡＮの数十分の一になってしまうことがある。
このような問題の解決方法として特許文献１（ファイル転送方式）や特許文献２（動画伝送システム、動画像送信装置、動画像中継装置、動画像受信装置、プログラム、および記録媒体）のようにデータを分割し、分割データを複数のＴＣＰコネクションにより送信する方法が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−３０５６４３号公報
【特許文献２】特開２００４−２６０６６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１や特許文献２で開示されている複数のＴＣＰコネクション数の決定方法は、ＴＣＰウィンドウサイズ、伝送路の往復遅延時間ＲＴＴ、回線速度、スループットなどの各種パラメータをもとにして決定している。しかしながら、ＴＣＰウィンドウサイズはネットワークの回線の輻輳状況により変化し、伝送路の往復遅延時間ＲＴＴは選択されるネットワークの経路により変化する。また、１アプリケーションが使用できる回線速度やスループットは、他のトラフィックの影響を受けるため、従来の方法ではアプリケーション層において適切なＴＣＰコネクション数を把握することは困難であった。
本発明は、このような課題を解決するために、アプリケーション層において把握困難な各種パラメータを用いることなく、伝送遅延の大きいネットワーク環境においても画像伝送のスループット低下を抑止して、高品質な映像表示を実現する画像転送装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するため、本発明の画像転送装置は、カメラが撮影した画像をネットワークへ送信する画像転送装置であって、画像要求を受信した場合に転送処理タスクをおこなう手段を備え、該転送処理タスクをおこなう手段は、前記受信した画像要求のメッセージに含まれる画像ＩＤ、その他の情報を使用して同一拠点内のカメラまたは画像記録装置に接続して要求された画像を読出す手段と、ＴＣＰ／ＩＰを使用して画像送信をおこなうアプリケーション層の処理として、画像１フレームまたは複数フレーム毎に画像送信に使用する送信ポートを選択して送信する手段とを有し、画像送信時、既に画像送信に使用したポートが送信処理を完了して空いているかを判定し、ポートが空いていない場合には新規にポートを生成して画像送信し、ポートが空いている場合はそれまでに生成したポート数で前記画像要求を送信した要求元に画像送信を行うことを第１の特徴とする。
【０００６】
上記第１の特徴の画像転送装置において、本発明の画像転送装置は、さらに、送信画像の通信品質クラスに応じて、画像送信処理に割当てる送信ポート数を決定する手段を有することを第２の特徴とする。
【発明の効果】
【０００７】
本発明によれば、画像フレーム単位で使用する送信ポートを選択して伝送するので、ある送信ポートが使用中であっても、空いている送信ポートを使用して伝送できるため、伝送遅延のある環境において回線容量を有効利用した効率的な画像伝送を実現することができる。
また、送信ポートの切替は画像フレーム単位でおこなうため、ポート数を増減させても、画像がフレーム途中で途切れることがなく、ポート数調整制御を容易に実行できる効果がある。
また、一般的な画像の符号／復号処理単位である１フレームまたは複数フレーム単位で、転送処理をおこなうことで、受信側にて未受信データの待ち時間が生じることなく復号、表示処理を開始でき、効率的な処理を実現できる。
また、アプリケーション層において把握困難な各種パラメータを用いることなく、アプリケーションの動作に適したポート数を動的に決定することで、伝送遅延の大きいネットワーク環境においても画像伝送のスループット低下を抑止して、高品質な映像表示を実現する映像監視システムを提供することができる。
また、送信画像を通信品質クラスで分けて伝送することにより、多様な画像を混在して伝送する場合であっても、リアルタイム性が重要な画像はより高速で伝送できるなど、多様なユーザニーズを満たす映像監視システムを実現することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施例に係る映像監視システムの構成を示すブロック図である。
【図２】本発明の画像転送装置の一実施例を説明するための図である。
【図３】本発明の画像転送装置の転送処理タスクにおいて、基本ポート数を決定する処理手順の一実施例を説明するためのフローチャートである。
【図４】本発明の画像転送装置の転送処理タスクにおいて、ポートを削除する場合の処理手順の一実施例を説明するためのフローチャートである。
【図５】本発明の画像転送装置の転送処理タスクにおいて、各転送処理タスクのポート数を調整する共通データテーブルの一実施例を示す図である。
【図６】本発明の画像転送装置の転送処理タスクにおいて、通信品質クラス別に保証するポート数を設定したテーブルの一実施例である。
【図７】本発明の画像転送装置の一実施例において、各転送処理タスクのポート数を調整する全体制御タスクの処理手順を説明するためのフローチャートである。
【図８】本発明の画像転送装置の一実施例において、割当てポート数の再調整を行う全体制御タスクの一実施例の処理動作を説明するためのフローチャートである。
【図９】本発明の画像転送装置の一実施例において、ポート数の再調整をおこなう転送処理タスクの処理動作を説明するためのフローチャートである。
【発明を実施するための形態】
【０００９】
本発明の画像転送装置は、監視カメラ等のカメラで撮影した画像をネットワークへ送信する画像転送装置であって、ＴＣＰ／ＩＰを使用して画像送信をおこなうアプリケーション層の処理は、画像１フレームまたは複数フレーム毎に画像送信に使用する送信ポートを選択して送信する手段を有し、画像送信時、既に画像送信に使用したポートが送信処理を完了して空いているかを判定し、ポートが空いていない場合は新規にポートを生成して画像送信し、ポートが空いている場合はそれまでに生成したポート数で画像送信を行うものである。
また、画像転送装置は、送信画像の通信品質クラスに応じて、画像送信処理に割当てる送信ポート数を決定する手段を有することを特徴とする。
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、各図の説明において、同一の機能を有する構成要素には同一の参照番号を付し、重複を避けるため、できるだけ説明を省略する。
【００１０】
図１は、本発明の一実施例に係る映像監視システムの構成を示すブロック図である。１０Ａと１０Ｂは監視の拠点、１５はネットワークである。拠点１０Ａにおいて、１Ａ１と１Ａ２は監視用のカメラ、１Ａ３は画像転送装置、１Ａ４は画像記録装置、１Ａ５は表示装置、１Ａ６はカメラ１Ａ１および１Ａ２、画像転送装置１Ａ３、画像記録装置１Ａ４、並びに表示装置１Ａ５を接続するデータバス、１Ａ７は画像転送装置１Ａ３や拠点１０Ａ内の機器とネットワーク１５を接続するデータバスである。また、拠点１０Ｂにおいて、１Ｂ１と１Ｂ２はカメラ、１Ｂ３は画像転送装置、１Ｂ４は画像記録装置、１Ｂ５は表示装置、１Ｂ６はカメラ１Ｂ１および１Ｂ２、画像転送装置１Ｂ３、画像記録装置１Ｂ４、並びに表示装置１Ｂ５を接続するデータバス、１Ｂ７は画像転送装置１Ｂ３や拠点１０Ｂ内の機器とネットワーク１５を接続するデータバスである。
図１に示すように、この画像監視システムは、複数の拠点１０Ａと１０Ｂ、および複数の拠点１０Ａと１０Ｂを接続するネットワーク１５から構成される。各拠点１０Ａ（または、１０Ｂ）は、それぞれ、カメラ１Ａ１および１Ａ２（または、１Ｂ１および１Ｂ２）、カメラ１Ａ１および１Ａ２（または、１Ｂ１および１Ｂ２）で撮影した画像を記録する画像記録装置１Ａ４（または、１Ｂ４）、カメラ１Ａ１および１Ａ２（または、１Ｂ１および１Ｂ２）または画像記録装置１Ａ４（または、１Ｂ４）の映像を表示する表示装置Ａ５（または、１Ｂ５）、カメラ１Ａ１および１Ａ２（または、１Ｂ１および１Ｂ２）または画像記録装置１Ａ４（または、１Ｂ４）の画像をネットワーク１５へデータバス１Ａ７（または、１Ｂ７）を介して送信または受信する画像転送装置１Ａ３（または、１Ｂ３）から構成される。また、データバス１Ａ６（または、１Ｂ６）は、カメラ１Ａ１および１Ａ２（または、１Ｂ１および１Ｂ２）、画像転送装置１Ａ３（または、１Ｂ３）、画像記録装置１Ａ４（または、１Ｂ４）、および表示装置１Ａ５を接続する。
【００１１】
拠点１０Ａのカメラ１Ａ１および１Ａ２で撮影した画像は、拠点１０Ａの画像記録装置１Ａ４に記録される。拠点１０Ａの表示装置１Ａ５は、拠点１０Ａ内のカメラ１Ａ１若しくは１Ａ２、または画像記録装置１Ａ４に画像要求を行い、取得した画像を表示する。拠点１０Ｂにおいても同様の動作を行う。
拠点１０Ａのカメラ１Ａ１若しくは１Ａ２で撮影した画像を拠点１０Ｂの表示装置１Ｂ５に表示する場合には、拠点１０Ｂの表示装置１Ｂ５は、拠点１０Ｂの画像転送装置１Ｂ３に、拠点１０Ａのカメラ１Ａ１若しくは１Ａ２、または画像記録装置１Ａ４に画像要求を行う。
拠点１０Ｂの画像転送装置１Ｂ３は、画像表示装置１Ｂ５からの画像要求メッセージに含まれる画像ＩＤおよびその他の情報を参照して、拠点１０Ａの画像転送装置１Ａ３に画像要求を行う。
拠点１０Ａの画像転送装置１Ａ３は、画像要求メッセージに含まれる画像ＩＤおよびその他の情報を参照して、拠点１０Ａ内のカメラ１Ａ１若しくは１Ａ２、または画像記録装置１Ａ４に画像要求を行い、取得した画像を拠点１０Ｂの画像転送装置１Ｂ３に転送する。
拠点１０Ｂの画像転送装置１Ｂ３は、受信した画像を要求元の画像表示装置１Ｂ５に送り、画像表示装置１Ｂ５は、送られた画像を表示する。
【００１２】
図１を参照しながら、図２によって本発明の画像転送装置の動作の一実施例を説明する。
図２は、本発明の画像転送装置の一実施例を説明するための図である。２０は画像転送装置、２７はポートである。画像転送装置２９において、２１〜２３は転送処理タスク、２４は共通データテーブル、２５は全体制御タスク、２６はＯＳ（Operation System）である。
【００１３】
図２の実施例では、本発明の画像転送装置を、ＰＣ（Personal Computer）等のハードウェアのＯＳ上で動作するソフトウェアとして、その特徴を説明する。ソフトウェア構成としては、転送処理を実行する転送処理タスク２１〜２３、転送処理その他の制御をおこなう全体制御タスク２５、タスク間のデータ共有用の共通データテーブル２４等から構成され、各タスク２１〜２３および２５は、ＯＳ２６のスケジューラにより、順番に実行される。
【００１４】
図２の画像転送装置２０の構成を有する拠点１０Ｂの画像転送装置１Ｂ３は、表示装置１Ｂ５から画像要求を受付ける（受信する）と転送処理タスク（００１）２１を生成する。複数の表示装置から画像要求を受信した場合には、転送処理タスクは複数生成される。例えば、図２に示すように、３つの表示装置からの画像要求があった場合には、転送処理タスク（００１）２１、転送処理タスク（００２）２２、および転送処理タスク（００３）２３が生成される。
拠点１０Ｂの画像転送装置１Ｂ３は、図２の画像転送装置２０の構成を有する拠点１０Ａの画像転送装置１Ａ３に画像要求を行う。拠点１０Ａの画像転送装置１Ａ３は、拠点１０Ｂの画像転送装置１Ｂ３から画像要求を受付けると転送処理タスク（００１）２１を生成する。複数の要求元から画像要求がある場合、転送処理タスクは複数生成される。例えば、図２に示すように、３つの表示装置からの画像要求があった場合には、転送処理タスク（００１）２１、転送処理タスク（００２）２２、および転送処理タスク（００３）２３が生成される。
拠点１０Ａの画像転送装置１Ａ３で生成された転送処理タスク（００１）２１は、画像要求のメッセージに含まれる画像ＩＤ、その他の情報を使用してカメラ１Ａ１若しくは１Ａ２、または画像記録装置１Ａ４に接続し、要求された画像を読出す。
転送処理タスク２１は、読出した画像のメタデータ等に含まれる情報や画像要求メッセージに含まれる情報から、転送する画像の伝送速度やフレームレートを把握する。
【００１５】
図３は、本発明の画像転送装置の転送処理タスクにおいて、基本ポート数を決定する処理手順の一実施例を説明するためのフローチャートである。
ステップ３１では、転送処理タスク（例えば、図２の転送処理タスク２１参照）は、カメラ１Ａ１、１Ａ２や画像記録装置１Ａ４から要求された画像を読出す。
一般的に、ネットワーク１５に接続されたカメラ１Ａ１、１Ａ２若しくは画像記録装置１Ａ４では、画像符号化単位である１フレームまたは複数フレームで画像の読出しができるものが多い。また、ＪＰＥＧ（Joint Photographic Expert Group）等の静止画では、１フレーム単位で読出しても良く、またさらに、Ｈ．２６４等の動画では、複数フレームが含まれた単位で読出しても良い。また、２フレームを連続して読出し、各画像フレームのメタデータに含まれるタイムスタンプ情報から以降のデータ読出しタイミングを決定しても良い。またさらに、画像転送装置１Ａ３（１Ｂ３）にバッファがある場合には、バッファサイズの範囲内で複数フレームを連続して読出しても良い。なお、画像転送装置１Ａ３（１Ｂ３）での画像の送信タイミングは、伝送速度やフレームレートから算出されるタイミングで送信をおこなっても良いし、受信側から要求されるタイミングで送信をおこなっても良い。
【００１６】
次に、ステップ３２〜３６では、転送処理タスクは、読出した画像を送信するポート（例えば、図２のポート２７）を選択する。空きポートが無い場合で使用ポート数がポート数上限値より小さい場合には、新規ポートを生成し、生成した新規ポートを使用して読出した１フレームまたは複数フレームの画像データを送信する。
即ち、ステップ３２では、転送処理タスクは、空きポートの有無を判定する。空きポートが無い場合にはステップ３３に進み、空きポートがある場合にはステップ３８に進む。
ステップ３３では、転送処理タスクは、使用ポート数がポート数上限値より小さいか否かを判定する。使用ポート数がポート数上限値より小さい場合にはステップ３４に進み、使用ポート数がポート数上限値と等しいかまたは大きい場合にはステップ３８に進む。
【００１７】
ステップ３４では、転送処理タスクは、新規ポートを生成する。
次にステップ３５では、転送処理タスクは、生成した新規ポートを使用して読出した１フレームまたは複数フレームの画像データを送信する。
そして、ステップ３６では、転送処理タスクは、カメラ１Ａ１、１Ａ２若しくは画像記録装置１Ａ４から読出し済みの未送信画像フレームがある場合には、ステップ３２の送信ポートの選択処理に戻り、ない場合にはステップ３７に進む。
ステップ３７では、転送処理タスクは、要求画像の転送が終了したか否かを判定し、要求画像の転送が終了していない場合にはステップ３１に戻り、要求画像の転送が終了した場合には処理を終了する。
ステップ３８では、転送処理タスクは、送信ポートの選択処理を行う。例えば、既に画像送信に使用したポートが送信処理を完了して空いている場合には、それまで生成したポート数を基本ポート数とし、以降基本ポート数の範囲内で画像送信をおこなう。以上の動作を要求画像の転送が終了するまで繰り返す。
このように、異なるポートで送信された画像フレームは、受信側の画像転送装置の転送処理タスクでフレーム順に並べられ、画像表示装置に送られる。
【００１８】
上述のように新規ポートを生成しながら、画像データを送信し、送信に使用したポートに空きを検出した時点で、１ポート分の画像データ転送が完了したとみなし、それまでに生成したポート数をその時点での適切なポート数と考える。輻輳が発生すると、ＴＣＰウィンドウサイズが縮小するため、このポート数で送信してもスループットは低下する。しかし、これは、輻輳が原因であるため、ポート数を増やしても回避は困難である。なお、輻輳時において求められた基本ポート数は、輻輳解消時にはそれよりも小さい数で所定の伝送速度を達成できると考えられる。このため、余分なポートは削除しても良い。
【００１９】
図４は、本発明の画像転送装置の転送処理タスクにおいて、ポートを削除する場合の処理手順の一実施例を説明するためのフローチャートである。
図４の実施例では、画像データ送信時において、転送処理タスクは、空きポートが２つ以上あれば、空きポートが１になるまで、空きポートを削除し、削除後の残ポート数を基本ポート数とするものである。
ステップ４１では、転送処理タスクは、送信残の画像フレームがあるか否かを判定する。例えば、転送処理タスクは、カメラ１Ａ１、１Ａ２若しくは画像記録装置１Ａ４から読出し済みの未送信画像フレームがある場合には、ステップ４４に進み、ない場合にはステップ４２に進む。
ステップ４２では、転送処理タスクは、要求画像の転送が終了したか否かを判定し、要求画像の転送が終了していない場合にはステップ４３に進み、要求画像の転送が終了した場合には処理を終了する。
【００２０】
ステップ４３では、転送処理タスクは、カメラ１Ａ１、１Ａ２や画像記録装置１Ａ４から要求された画像を読出す。
ステップ４４では、転送処理タスクは、空きポートの有無を判定する。空きポートが無い場合には再びステップ４４の実行を繰り返し、空きポートがある場合にはステップ４５に進む。
ステップ４５では、転送処理タスクは、空きポート数が１超か否かを判定する。空きポート数が１以下の場合にはステップ４８に進み、空きポート数が１超の場合にはステップ４６に進む。
ステップ４６では、転送処理タスクは、空きポート数が１になるまで、空きポートを削除する。
次に、ステップ４７では、転送処理タスクは、削除後のポート数を基本ポート数とする（基本ポート数設定）。
そして、ステップ４８では、転送処理タスクは、残ったポートを使用して読出した１フレームまたは複数フレームの画像データを送信し、ステップ４１に戻る。
【００２１】
以上のように、転送処理タスクは、アプリケーション層において把握困難な各種パラメータを用いることなく、適切なポート数を決定することができる。
転送処理タスクは、複数の通信ポートを同時使用して通信することで、伝送遅延のある環境においてＴＣＰ／ＩＰの応答待ちにより、あるポートで次フレームを送信できない場合であっても、別のポートを使用して送信できるため、スループットの低下を抑止することができる。
【００２２】
ところで一方、使用ポート数が画像転送装置の処理能力を上回る場合には、リソース不足やオーバヘッドが増加してしまう。また、リアルタイム性が重要な画像もそうでない画像と同様に伝送が遅れてしまうという課題がある。従って、割当てポート数の制限や通信品質クラスを考慮したポートの割当てが必要になる。
【００２３】
図５は、本発明の画像転送装置の転送処理タスクにおいて、各転送処理タスクのポート数を調整する共通データテーブルの一実施例を示す図である。図５の実施例の共通データテーブは、タスクＩＤ毎に登録する使用ポート数、割当てポート数、基本ポート数、および通信品質クラスから構成される。基本ポート数は、これまで説明したように転送処理タスクが決定する。
使用ポート数は使用しているポート数で、たとえば基本ポート数が決定した時点では基本ポート数と同一の値となる。割当てポート数は全体制御タスクがポート数調整時に設定するもので、割当てポート数≦基本ポート数の関係となる。
転送処置タスクは読出した画像のメタデータ等に含まれる情報や画像要求メッセージに含まれる情報から、転送する画像の通信品質クラスを決定する。
【００２４】
図６は、本発明の画像転送装置の転送処理タスクにおいて、通信品質クラス別に保証するポート数を設定したテーブルの一実施例である。ベストエフォートクラスは１ポート、優先クラスは基本ポート数の使用が保証されることを示している。
【００２５】
図７は、本発明の画像転送装置の一実施例において、各転送処理タスクのポート数を調整する全体制御タスクの処理手順を説明するためのフローチャートである。
図７における全体制御タスクは、各タスクの使用ポート数の和が閾値を超えた場合ポート数の調整を行う。
図７の実施例では、削減できるのはベストエフォートクラスだけのため、ベストエフォートクラスが使用しているポートを削減できるか否かを判定する。削減できる場合には、各タスクの使用ポートの和が閾値以下となるまで、ベストエフォートクラスのポートを削減する。また、ポートを削減したベストエフォートクラス内の各タスク間でポート数を案分するよう再割り当てを行い、共通データテーブルを更新する。ポート数が削減できない場合、以降の新規転送処理タスクはポートを使用できない。
【００２６】
図７において、ステップ７１では、全体制御タスクは、使用ポート数の総和が所定の閾値を超えているか否かを判定する。使用ポート数の総和が所定の閾値以下の場合には処理を終了し、使用ポート数の総和が所定の閾値を超えている場合にはステップ７２に進む。
ステップ７２では、全体制御タスクは、ベストエフォートクラスが使用しているポートを削減できるか否かを判定する。削減可能の場合にはステップ７３に進み、削減不可の場合にはステップ７７に進む。
ステップ７３では、全体制御タスクは、ポートを削減する。
次に、ステップ７４では、全体制御タスクは、削減後のポート数の総和が所定の閾値を超えているか否かを判定する。使用ポート数の総和が所定の閾値以下の場合にはステップ７５に進み、使用ポート数の総和が所定の閾値を超えている場合にはステップ７７に進む。
ステップ７５では、全体制御タスクは、削減クラス内の各タスクの割当てポート数／基本ポート数が平等になるようにポート割当てを再調整する。
そして、ステップ７６では、全体制御タスクは、共通データテーブルを更新し、処理を終了する。
また、ステップ７７では、転送処理タスクは、新規タスクへのポート割当てが不可として、処理を終了する。
【００２７】
また、要求された画像転送処理が終了し、全体制御タスクが終了した場合、解放されたポートはポートが削減された他のタスクに割当てられることが望ましい。
図８は、本発明の画像転送装置の一実施例において、割当てポート数の再調整を行う全体制御タスクの一実施例の処理動作を説明するためのフローチャートである。
ステップ８１では、全体制御タスクは、割当てポート数の総和が所定の閾値未満の場合には、再割り当て処理を行うためにステップ８２に進む。また、全体制御タスクは、割当てポート数の総和が所定の閾値以上の場合には、割当てポート数の再調整を行なわずに処理を終了する。
ステップ８２では、全体制御タスクは、ベストエフォートクラスの割当てポート数の総和が、基本ポート数の総和未満の場合にはステップ８３に進み、基本ポート数の総和以上の場合には割当てポート数の再調整を行なわずに処理を終了する。
【００２８】
ステップ８３では、全体制御タスクは、基本ポート数の総和が閾値｛閾値＝（割当てポート数の総和＋余裕ポート数）｝を超えるか否かを判定する。基本ポート数が閾値を超える場合にはステップ８４に進み、基本ポート数が閾値以下の場合にはステップ８７に進む。
ステップ８４では、全体制御タスクは、余裕ポート数をベストエフォートクラスに割当て、ステップ８５に進む。
ステップ８７では、全体制御タスクは、各タスクに基本ポート数を割り当て、ステップ８６に進む。
ステップ８５では、全体制御タスクは、ベストエフォートクラス内の各タスク間で割当てポート数を按分するよう再割り当てを行い、ステップ８６に進む。
ステップ８６では、全体制御タスクは、共通データテーブルを更新し、割当てポート数の再調整の処理を終了する。
【００２９】
図９は、本発明の画像転送装置の一実施例において、ポート数の再調整をおこなう転送処理タスクの処理動作を説明するためのフローチャートである。図９は、図４において、使用ポート数が割当てポート数を超える場合に、ポート数を削除し、使用ポート数を割当てポート数以下にする処理と使用ポート数が割当てポート数より小さい場合に、ポートを生成し、使用ポート数を割当てポート数にまで増やす処理を追加したものである。
図９において、ステップ４１〜ステップ４４の処理は、図４の同一番号のステップの処理と同様である。ただし、ステップ４４において、転送処理タスクは、空きポートの有無を判定し、空きポートが無い場合にはステップ９０１に進み、空きポートがある場合にはステップ９０２に進む。
また、ステップ４５〜ステップ４８の処理は、図４の同一番号のステップの処理と同様である。
【００３０】
ステップ９０１において、まずステップ９１では、転送処理タスクは、使用ポート数が割当てポート数未満であるか否かを判定する。使用ポート数が割当てポート数未満の場合にはステップ９２に進み、使用ポート数が割当てポート数以上の場合にはステップ４４に戻る。
ステップ９２では、転送処理タスクは、ポートを生成しステップ９３に進む。
ステップ９３では、転送処理タスクは、ポート生成後のポート数を使用ポート数として設定し、ステップ９４に進む。
ステップ９４では、転送処理タスクは、ポートを使用して読出した１フレームまたは複数フレームの画像データを送信し、ステップ４１に戻る。
【００３１】
次にステップ９０２において、まずステップ９５では、転送処理タスクは、使用ポート数が割当てポート数を超えているか否かを判定する。使用ポート数が割当てポート数を超えている場合にはステップ９６に進み、使用ポート数が割当てポート数以下の場合にはステップ４５に進む。
ステップ９６では、転送処理タスクは、空きポートを削除してステップ９７に進む。
ステップ９７では、転送処理タスクは、削除後のポート数を使用するポート数として設定し、ステップ４４に戻る。
【００３２】
なお、本実施例では、通信品質クラスを指定の伝送速度を確保する優先クラスとベストエフォートクラスの２つとしたが、クラス種類を増やして上記で述べた処理と類似処理をおこなってポート数を割当てても差し支えない。
また、図１の構成では、各拠点のカメラは２台であった。しかし、何台であっても良いことは勿論である。さらに、各拠点のカメラの台数は同一台数である必要もない。同様に拠点の数も２である必要はなく、いくつでも良い。
【００３３】
上記実施例によれば、画像フレーム単位で使用する送信ポートを選択して伝送するので、ある送信ポートが使用中であっても、空いている送信ポートを使用して伝送できるため、伝送遅延のある環境において回線容量を有効利用した効率的な画像伝送を実現することができる。
また、送信ポートの切替は画像フレーム単位でおこなうため、ポート数を増減させても、画像がフレーム途中で途切れることがなく、ポート数調整制御を容易に実行できる効果がある。
また、一般的な画像の符号／復号処理単位である１フレームまたは複数フレーム単位で、転送処理をおこなうことで、受信側にて未受信データの待ち時間が生じることなく復号、表示処理を開始でき、効率的な処理を実現できる。
また、アプリケーション層において把握困難な各種パラメータを用いることなく、アプリケーションの動作に適したポート数を動的に決定することで、伝送遅延の大きいネットワーク環境においても画像伝送のスループット低下を抑止して、高品質な映像表示を実現する映像監視システムを提供する。
また、送信画像を通信品質クラスで分けて伝送することにより、多様な画像を混在して伝送する場合であっても、リアルタイム性が重要な画像はより高速で伝送できるなど、多様なユーザニーズを満たす映像監視システムを実現することができる。
【００３４】
以上、本発明を実施例によって詳細に説明した。しかし、本発明は、上述の実施例に限定されるわけではなく、本発明が属する技術分野において、通常の知識を有する者であれば、本発明の思想と精神に基づいて、本発明を修正若しくは変更できる発明が含まれることは勿論である。
【符号の説明】
【００３５】
１０Ａ、１０Ｂ：拠点、 １５：ネットワーク、 １Ａ１、１Ａ２：カメラ、 １Ａ３：画像転送装置、 １Ａ４：画像記録装置、 １Ａ５：表示装置、 １Ａ６、１Ａ７：データバス、 １Ｂ１、１Ｂ２：カメラ、 １Ｂ３：画像転送装置、 １Ｂ４：画像記録装置、 １Ｂ５：表示装置、 １Ｂ６、１Ｂ７：データバス、 ２０：画像転送装置、 ２１〜２３：転送処理タスク、 ２４：共通データテーブル、 ２５：全体制御タスク、 ２６：ＯＳ、 ２７：ポート。
【特許請求の範囲】
【請求項１】
カメラが撮影した画像をネットワークへ送信する画像転送装置であって、画像要求を受信した場合に転送処理をおこなう手段を備え、
該転送処理タスクをおこなう手段は、前記受信した画像要求のメッセージに含まれる画像ＩＤ、その他の情報を使用して同一拠点内のカメラまたは画像記録装置に接続して要求された画像を読出す手段と、ＴＣＰ／ＩＰを使用して画像送信をおこなうアプリケーション層の処理として、画像１フレームまたは複数フレーム毎に画像送信に使用する送信ポートを選択して送信する手段とを有し、
画像送信時、既に画像送信に使用したポートが送信処理を完了して空いているかを判定し、ポートが空いていない場合には新規にポートを生成して画像送信し、ポートが空いている場合はそれまでに生成したポート数で前記画像要求を送信した要求元に画像送信を行うことを特徴とする画像転送装置。
【請求項２】
請求項１記載の画像転送装置において、さらに、送信画像の通信品質クラスに応じて、画像送信処理に割当てる送信ポート数を決定する手段を有することを特徴とする画像転送装置。
【請求項１】
カメラが撮影した画像をネットワークへ送信する画像転送装置であって、画像要求を受信した場合に転送処理をおこなう手段を備え、
該転送処理タスクをおこなう手段は、前記受信した画像要求のメッセージに含まれる画像ＩＤ、その他の情報を使用して同一拠点内のカメラまたは画像記録装置に接続して要求された画像を読出す手段と、ＴＣＰ／ＩＰを使用して画像送信をおこなうアプリケーション層の処理として、画像１フレームまたは複数フレーム毎に画像送信に使用する送信ポートを選択して送信する手段とを有し、
画像送信時、既に画像送信に使用したポートが送信処理を完了して空いているかを判定し、ポートが空いていない場合には新規にポートを生成して画像送信し、ポートが空いている場合はそれまでに生成したポート数で前記画像要求を送信した要求元に画像送信を行うことを特徴とする画像転送装置。
【請求項２】
請求項１記載の画像転送装置において、さらに、送信画像の通信品質クラスに応じて、画像送信処理に割当てる送信ポート数を決定する手段を有することを特徴とする画像転送装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−１７０３０（Ｐ２０１３−１７０３０Ａ）
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願番号】特願２０１１−１４８３１５（Ｐ２０１１−１４８３１５）
【出願日】平成２３年７月４日（２０１１．７．４）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願日】平成２３年７月４日（２０１１．７．４）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
[ Back to top ]