送信装置および送信方法
【課題】 フレームスキップにより削除されるフレームによっては、ユーザが注目すべき注目領域の内容がわからなくなってしまう恐れがあった。
【解決手段】 動画データをネットワークを介して送信する送信装置１００の対応付け部１０４は、動画データのフレーム内に注目領域が含まれるか否かを判定し（Ｓ２０４）、フレーム決定部１０６は、送信待ちの動画データのフレームのうち注目領域が含まれないフレームを、ネットワークの状況に応じて、注目領域を含むフレームよりも優先的に削除する（Ｓ２０５）。
【解決手段】 動画データをネットワークを介して送信する送信装置１００の対応付け部１０４は、動画データのフレーム内に注目領域が含まれるか否かを判定し（Ｓ２０４）、フレーム決定部１０６は、送信待ちの動画データのフレームのうち注目領域が含まれないフレームを、ネットワークの状況に応じて、注目領域を含むフレームよりも優先的に削除する（Ｓ２０５）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークを介してデータを送信する送信方法に関する。
【背景技術】
【０００２】
複数のユーザが共有するネットワーク上で、音声や映像等のマルチメディアデータを実時間転送するとき、常に必要なネットワーク帯域を確保できるとは限らない。そこで、符号化された映像ストリームを転送する際に使用可能なネットワーク帯域に合わせてストリームのビットレートを削減することが行われる。
従来、ビットレート削減方法の１つとして、映像のフレームタイプに応じてフレーム単位でデータを廃棄するフレームスキップが提案されている。
特許文献１には、複数の受信装置へ動画データを送信する際に、各受信装置までの通信帯域に応じて、一部のフレームを送信しないようにすることが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特登録０４２５５６８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、フレームスキップにより送信されなくなるフレームによっては、ユーザが注目すべき注目領域の内容がわからなくなってしまう恐れがあった。
例えば、送信待ち状態の複数のフレームのうち、時間的に古いフレームには注目領域が含まれており、時間的に新しいフレームには注目領域が含まれていない場合に、注目領域を含む古いフレームが削除されてしまうと注目領域の状況が分からなくなる恐れがあった。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、注目領域の内容がフレームスキップによりわからなくなる可能性を低減することである。
【課題を解決するための手段】
【０００５】
上記の問題点を解決するために、本発明の送信装置は、例えば以下の構成を有する。すなわち、動画データをネットワークを介して送信する送信装置であって、送信待ちの動画データのフレームを保存する保存手段と、前記動画データのフレーム内に注目領域が含まれるか否かを判定する判定手段と、前記送信待ちの動画データのフレームのうち注目領域が含まれないフレームを、前記ネットワークの状況に応じて、前記注目領域を含むフレームよりも優先的に前記保存手段から削除する削除手段とを有する。
【発明の効果】
【０００６】
本発明によれば、注目領域の内容がフレームスキップによりわからなくなる可能性を低減できる。
【図面の簡単な説明】
【０００７】
【図１】送信装置の機能構成例を示すブロック図である
【図２】送信装置における処理を説明するためのフローチャート
【図３】動画データの１フレームを取り出した図である
【図４】オブジェクトの検出条件の設定のためのウインドウを示す図である
【図５】送信装置における処理を説明するためのフローチャートである
【図６】送信装置における処理を説明するためのフローチャートである
【図７】動画データの１フレームを取り出した図である
【発明を実施するための形態】
【０００８】
以下、添付の図面を参照して、本発明をその好適な実施例に基づいて詳細に説明する。なお、以下の実施例において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【０００９】
＜第１の実施形態＞
図１は、本実施形態の送信装置１００の機能構成例を示すブロック図である。図１に示すように、送信装置１００は、送信バッファ１０２、データ解析部１０３、対応付け部１０４、領域解析部１０５、フレーム決定部１０６、帯域監視部１０７、送信部１０８を有する。
【００１０】
送信バッファ１０２は、送信データ１０１を一時的に保存する。例えば送信装置１００がビデオカメラである場合、撮像部から動画データが送信データ１０１として送信バッファ１０２に入力される。また、例えば、送信装置１００がビデオサーバである場合、例えば、別のサーバやビデオカメラから動画データが送信データ１０１として送信バッファ１０２に入力される。なお、本形態では送信データが動画データである場合について説明するが、静止画データなどでも良い。
【００１１】
データ解析部１０３は、送信バッファ１０２に保存されている動画データを、時間的に古いものから順に読み出して解析する。本形態のデータ解析部１０３は、動画データのフレームに含まれるオブジェクトを解析により検知する。データ解析部１０３は、例えば、動画データに対する顔検知や色検知、動き検知、文字認識などにより各種オブジェクトを検知する。ただし、オブジェクトの検知方法は、これらの方法に限らない。そして、データ解析部１０３は、送信バッファ１０２に保存されているフレームから、例えば、人物オブジェクトと家オブジェクトを検知すると、検知されたオブジェクトの種別（人物と家）を対応付け部１０４へ通知する。
【００１２】
領域解析部１０５は、受信装置１１０から注目情報を受信する。なお、受信装置１１０は、送信装置１００による動画データの送信先のクライアントである。注目情報は、注目領域を特定するための情報である。注目情報は、例えば、受信装置１１０のユーザにより指定されたオブジェクトの種別に関する情報である。
【００１３】
対応付け部１０４は、データ解析部１０３による解析結果と、領域解析部１０５により取得された注目情報に基づいて、動画データのフレームと注目領域の検知結果を対応付ける。例えば、データ解析部１０３が、あるフレームから人物オブジェクトと家オブジェクトを検知すると共に、人物オブジェクトを注目領域として指定する注目情報が受信された場合、本形態の対応付け部１０４は、当該フレームと「注目領域有り」を対応付ける。一方、例えば、データ解析部１０３が、あるフレームから人物オブジェクトと家オブジェクトを検知すると共に、車オブジェクトを注目領域として指定する注目情報が受信された場合、対応付け部１０４は、当該フレームと「注目情報無し」を対応付ける。
【００１４】
なお、上記の説明では、注目情報がオブジェクトの種別に関する情報である例について説明したが、例えば、オブジェクトの形状やサイズや色の情報を注目情報としても良い。この場合、入力されたフレームからデータ解析部１０３が検知した各オブジェクトの形状やサイズや色を用いて、対応付け部１０４は、各フレームに注目領域が含まれるか判定できる。
【００１５】
また、注目情報が、オブジェクトの動きの方向や速さに関する情報であっても良い。この場合、入力されたフレームからデータ解析部１０３が検知した各オブジェクトの動きの方向や速さを用いて、対応付け部１０４は、各フレームに注目領域が含まれるか判定できる。
また、注目情報が、動画データのフレーム内の位置（領域）を示す座標情報であっても良い。この場合、データ解析部１０３が、撮像装置の撮像方向の変更（パン・チルト）やズーム倍率の変更を検知することで、対応付け部１０４は、各フレームに注目領域が含まれるか判定できる。
【００１６】
フレーム決定部１０６は、送信バッファ１０２に保存されている未送信のフレームをフレームスキップにより削除するか否かを判定すると共に、送信バッファ１０２内のフレームのうち、削除するフレームを決定する。フレーム決定部１０６による処理の詳細は後述する。
送信部１０８は、フレーム決定部１０６により削除されていない動画データのフレームを受信装置１１０へ送信する。受信装置１１０は、送信装置１００から動画データを受信するクライアントである。本形態では、送信装置１００と受信装置１１０はネットワークを介して接続される。また、送信装置１００は複数の受信装置１１０へ動画データを送信することが可能である。
【００１７】
次に、本形態の送信装置１００によるフレームスキップの処理方法について図２のフローチャートを用いて説明する。本形態の送信装置１００は、動画データをネットワークを介して受信装置１１０（クライアント）へ送信する送信装置である。また、本形態の送信装置１００のＣＰＵ（不図示のコンピュータ）は、図２に示す処理を実行するためのプログラムを、ＲＯＭから読み出して実行することで、図２の処理を実現する。ただし、図２の処理の少なくとも一部を専用のハードウェアで行うようにすることも可能である。
本形態では、送信装置１００が動画データのリクエストを受信装置１１０から受信すると、送信データ１０１の入力と、図２の処理が開始されるが、この形態に限らない。
【００１８】
送信装置１００の領域解析部１０５は、受信装置１１０から注目情報を受信する（Ｓ２０１）。注目情報は、送信装置１００が注目領域を特定するために用いられる情報である。また、注目情報は、追加、削除、変更が可能である。また、図２には図示していないが、送信装置１００の送信バッファ１０２には、動画データが定期的に入力される。
【００１９】
本形態における注目情報は、例えば、ユーザにより入力されたオブジェクトの種別（例えば、人物、家、山、大木）に関する情報である。なお、送信装置１００は、データ解析部１０３により検知されたオブジェクトのリストを受信装置１１０へ提示し、受信装置１１０のユーザによりリストから指定されたオブジェクトの種別を注目情報とすることも可能である。また、オブジェクトのリストは、受信装置１１０で動画データを解析することにより生成することも可能である。
【００２０】
データ解析部１０３は、送信バッファ１０２に保存されている動画データの各フレームを解析してオブジェクトを検知する（Ｓ２０２）。また、対応付け部１０４は、Ｓ２０２において、動画データのフレームと注目領域の検知結果を対応付ける。例えば、動画データの第１フレームから注目領域が検知され、第２フレームからは注目領域が検知されなかった場合、対応付け部１０４は、「第１フレーム」と「注目領域有り」を対応付け、「第２フレーム」と「注目領域無し」を対応付ける。すなわち、対応付け部１０４は、送信バッファ１０２に保存されている複数のフレームのうち、注目情報により指定された人物オブジェクトを含むフレームが識別できるように、注目領域の検知結果とフレームとを対応づける。
【００２１】
フレーム決定部１０６は、フレームスキップを実行するか否かを判定する（Ｓ２０３）。本形態のフレーム決定部１０６は、送信バッファ１０２に保存されている未送信のフレーム数が所定のフレーム数に達した場合に、フレームスキップを実行すると判定する。ただし、この判定方法に限らず、例えば、送信バッファ１０２に保存されている未送信の動画データのデータ量が所定のデータ量に達した場合に、フレームスキップを実行すると判定しても良い。
【００２２】
また、例えば、帯域監視部１０７により取得されたネットワークの有効帯域に関する情報と、送信バッファ１０２への動画データの入力レートを用いて、フレームスキップを実行するか否かを判定するようにしても良い。この場合、フレーム決定部１０６は、送信バッファ１０２への動画データの入力レートが、受信装置１１０への動画データの出力レートよりも大きい状態が、一定期間以上、続いた場合に、フレームスキップを実行することを決定する。
【００２３】
また、フレーム決定部１０６は、フレームスキップを実行すると判定した場合、削除するフレーム数を決定する。本形態のフレーム決定部１０６は、削除するフレーム数を、送信バッファ１０２に保存されている各フレームの平均データサイズに基づいて決定する。すなわち、フレーム決定部１０６は、保存されている各フレームの平均データサイズが小さい場合のほうが、より多くのフレームが削除されるように、削除するフレーム数を決定する。ただし、この例に限らず、例えば、フレームの画面サイズに基づいて削除するフレーム数を決定するようにしても良い。すなわち、フレーム決定部１０６は、保存されているフレームのサイズが小さい場合のほうが、より多くのフレームが削除されるように、削除するフレーム数を決定することが可能である。また、削除するフレーム数が常に一定数になるようにしても良い。
【００２４】
Ｓ２０３においてフレームスキップを実行すると判定された場合はＳ２０４へ進む。一方、フレームスキップを実行しないと判定された場合、フレーム決定部１０６は、送信バッファ１０２から読み出されたフレームを受信装置１１０へ送信する（Ｓ２０９）。Ｓ２０９で送信されるフレーム数は、１フレームでも複数フレームでも良い。すなわち、送信部１０８は、フレームスキップにより削除されていない動画データのフレームを受信装置１１０（クライアント）へ送信する。フレーム送信後、フレーム決定部１０６は、動画データの送信を終了するか否かを判定する（Ｓ２１０）。動画データの送信を終了しないと判定された場合はＳ２０１へ戻り、動画データの送信を終了すると判定された場合は図２の処理を終了する。
【００２５】
フレーム決定部１０６は、フレームスキップにより送信バッファ１０２から削除するフレームを決定する（Ｓ２０４〜Ｓ２０８）。フレームスキップにより削除されたフレームは、受信装置１１０へ送信されない。
フレーム決定部１０６によるスキップフレームの決定方法について説明する。
【００２６】
本形態のフレーム決定部１０６は、送信バッファ１０２に保存されている複数のフレームのうち、時間的に最も古いフレームから順に、フレーム内に注目領域が含まれているか否かを判定する（判定手順）。そして、フレーム決定部１０６は、注目領域が含まれていないと判定されたフレームを送信バッファ１０２から削除する。
すなわち、フレーム決定部１０６は、送信バッファ１０２に保存されている複数のフレームのうち、時間的に最も古い第１フレームに注目領域が含まれているか判定する（Ｓ２０４）。そして、フレーム決定部１０６は、Ｓ２０４の判定により、第１フレームに注目領域が含まれていると判定した場合は、第１フレームを送信バッファ１０２から削除しない（Ｓ２０６）。そして、フレーム決定部１０６は、フレームスキップが完了していないと判定し（Ｓ２０７）、時間的に２番目に古い第２フレームを判定対象に設定し（Ｓ２０８）、第２フレームに注目領域が含まれているか判定する（Ｓ２０４）。そして、第２フレームに注目領域が含まれていないと判定された場合、第２フレームを送信バッファ１０２から削除する（Ｓ２０５）。その後、フレーム決定部１０６は、フレームスキップが完了したか判定する（Ｓ２０７）。Ｓ２０７の判定は、フレームスキップにより１度に削除するフレーム数の条件を満たしたか否かにより判定する。フレームスキップが完了したと判定されると、Ｓ２０１に戻る。
すなわち、Ｓ２０５において、フレーム決定部１０６は、送信待ちの動画データのフレームのうち注目領域が含まれないフレームを、ネットワークの状況に応じて、注目領域を含むフレームよりも優先的に送信バッファ１０２から削除する。
【００２７】
なお、本形態では、フレームスキップされたフレームを送信バッファ１０２から削除することを中心に説明しているが、当該フレームを送信しないようにすれば、送信バッファ１０２から削除しなくても良い。すなわち、フレーム決定部１０６は、Ｓ２０５において、送信待ちの動画データのフレームのうち注目領域を含まないフレームが、注目領域を含むフレームよりも優先的に送信しないフレームとして決定されるように、送信しないフレームを制御する（制御手順）。
【００２８】
また、上記の説明では、注目領域が含まれるか否かに応じて削除するか判定しているが、例えば、フレームスキップを実行することが決定された時点において送信バッファ１０２に保存されている各フレームの優先度に基づいて、削除するフレームを決定しても良い。各フレームの優先度の決定方法として、各フレームに含まれる注目領域の数、各注目領域の優先度、注目情報を送信した受信装置１１０の優先度などを用いることが可能である。
例えば、送信バッファ１０２に保存されている５つのフレーム（第１から第５フレーム）のうち、時間的に最も古い第１フレームには注目領域が含まれておらず、第２及び第３フレームには２つ含まれ、第４及び第５フレームには注目領域が１つ含まれていたとする。この場合において、１枚のフレームをフレームスキップにより送信バッファ１０２から削除する場合、フレーム決定部１０６は、上記５つのフレームのうち、第１フレームを削除するフレームとして決定する。また、２枚のフレームを削除する場合、フレーム決定部１０６は、第１及び第４フレームを削除するフレームとして決定する。また、３枚のフレームを削除する場合、フレーム決定部１０６は、第１及び第４及び第５フレームを削除するフレームとして決定する。ただし、削除するフレームの決定方法は、この方法に限らない。
【００２９】
また、注目領域ごとにユーザが優先度を指定している場合、フレーム決定部１０６は、優先度が低い注目領域が含まれているフレームが、優先度が高い注目領域が含まれているフレームよりも優先的に削除されるように削除するフレームを決定する。例えば、受信装置１１０のユーザが、人物オブジェクトの優先度を家オブジェクトの優先度よりも高く設定している場合、フレーム決定部１０６は、以下のようにして削除するフレームを決定する。すなわち、フレーム決定部１０６は、人物オブジェクトが含まれ家オブジェクトが含まれていないフレームよりも、家オブジェクトが含まれ人物オブジェクトが含まれていないフレームが優先的に削除されるように削除するフレームを決定する。
【００３０】
また、上記の説明では、ユーザが１つの場合（１台の受信装置１１０が接続されている場合）について説明しているが、複数のユーザが接続されるようにしても良い。また、ユーザごとに優先度が設定されている場合、フレーム決定部１０６は、以下のようにしてフレームスキップにより削除するフレームを決定する。すなわち、フレーム決定部１０６は、優先度が低いユーザからの注目情報に対応する注目領域を含むフレームが、優先度が高いユーザからの注目情報に対応する注目領域を含むフレームよりも優先的に削除されるように削除するフレームを決定する。また、フレーム決定部１０６は、各フレームに含まれる注目領域の数、各注目情報を指定したユーザの優先度、各注目情報の優先度を合わせて送信バッファ１０２から削除するフレームを決定することも可能である。
【００３１】
なお、フレーム決定部１０６は、各フレームの優先度をポイントで表しても良い。
例えば、１つの受信装置１１０（クライアント）により指定された１つの注目領域に対して５ポイント付与し、さらに、優先度の高いユーザにより指定された注目領域に対しては、５ポイント追加付与することができる。例えば、動画データを受信している第１受信装置から人物オブジェクトを注目することを示す注目情報を受信し、第２受信装置から人物オブジェクトと車オブジェクトを注目する注目情報を受信した場合のフレームのポイントは、以下のようになる。
すなわち、例えば、フレームから、人物オブジェクトが１つと、車オブジェクトが１つと、大木オブジェクトが１つ検知された場合、当該フレームのポイントは、１５ポイントとなる。なお、この例では、大木オブジェクトが検知されても、検知されなくても、ポイントは同じ１５ポイントである。また、例えば、第２受信装置が、優先度が高い受信装置で、第１受信装置が一般の受信装置の場合、このフレームのポイントは２５ポイントとなる。一方、第１受信装置が、優先度が高い受信装置で、第２受信装置が一般の受信装置の場合、このフレームのポイントは２０ポイントとなる。このようにして決定された各フレームのポイントに基づいて、送信バッファ１０２から削除するフレームを決定することが可能である。
【００３２】
図３は、動画データを構成する１つのフレームの例を示している。本形態の受信装置１１０は、送信装置１００から動画データを受信して図３に示すようなフレームを表示する。図３の人物オブジェクト３０２、大木オブジェクト３０３、家オブジェクト３０４、太陽オブジェクト３０５は、すでにデータ解析部１０３により検知されている。受信装置１１０は、データ解析部１０３による解析結果を動画データと共に受信することで、動画データの表示画面上で各オブジェクトの枠を表示させることができる。そして、受信装置１１０のユーザが、図３のような表示画面上で、注目したいオブジェクトを指定すると、受信装置１１０は、注目領域を送信装置１００において特定するための注目情報を送信装置１００へ送信する。このときに送信される注目情報は、例えば、オブジェクトの種別（人物、家、大木など）の情報である。以上説明したように、本形態の送信装置１００は、注目領域が含まれないフレームを、注目領域が含まれるフレームよりも優先的にフレームスキップにより削除する。このようにすることで、注目領域を含むフレームがフレームスキップにより削除されにくくすることができる。
【００３３】
なお、上記の説明では、注目領域の有無に基づいてフレームスキップするフレームを決定する例を中心に説明したが、例えば、注目領域の有無に加えて、注目領域の状態に関する条件を満たす場合に、フレームスキップされにくくすることも可能である。注目領域の状態に関する条件とは、例えば、フレーム内における注目領域の存在位置の条件や、注目領域の動きに関する条件や、注目領域の存在時間の条件などである。
【００３４】
注目領域の状態に関する条件を受信装置１１０において設定するための設定画面の例を図４に示す。本形態の受信装置１１０は、まず、図４のページ１（４０１）を表示する。ページ１では、過去の所定フレーム数のフレームから検知されたオブジェクトの種別がリスト表示されている。受信装置１１０のユーザは、ページ１のリストから注目したいオブジェクトを指定することができる。ここでは、人物オブジェクトが指定されたものとする。なお、オブジェクトは複数指定することも可能である。
【００３５】
ページ１でユーザが注目するオブジェクトを指定すると、ページ２（４０２）が表示される。ページ２は、ページ１で指定された人物オブジェクトの動作条件を指定するためのページである。ページ２の動作条件のうち、例えば、「静止中」が指定されると、静止している人物オブジェクトのみが注目領域として検知される。一方、ページ２の動作条件のうち、「映像から検知される間」が指定されると、人物オブジェクトが静止しているか動いているかに関わらず、注目領域として検知される。ここでは、「動作が検知されている間」が指定されたものとする。なお、動作条件は、ページ２で示した例に限らず、例えば、動きの方向や、動きの速さや、オブジェクトの存在時間などであっても良い。
【００３６】
ページ２でユーザがオブジェクトの動作条件を指定すると、ページ３（４０３）が表示される。ページ３は、ページ１で指定されたオブジェクトの状況の詳細な条件を指定するためのページである。ここでは、ページ３に「人物が家の前を通過している間」が指定されたものとする。また、ページ３において、例えば、「ユーザが接続してから１０分間」という設定をすることも可能である。このような設定がされた場合、対応付け部１０４は、ユーザが接続されてから１０分が経過した後の動画データのフレームにページ１と２で指定された条件を満たす注目領域が含まれるか否かの判定をしない。すなわち、対応付け部１０４は、ユーザが接続してから１０分が経過した後に、ページ１と２で指定された条件を満たす注目領域を含むフレームがあったとしても、当該フレームには注目領域が含まれていないとみなす。図４のページ１からページ３の指定が行われると、指定内容が注目情報として送信装置１００へ送信される。そして、送信装置１００のフレーム決定部１０６は、指定されたオブジェクト（人物オブジェクト）の状態（位置や動作）が、指定された条件に合致しているフレームが、合致していないフレームよりも先に削除されないように削除するフレームを決定する。
【００３７】
次に、送信装置１００がオブジェクトの状態の条件に基づいてフレームスキップを行う場合の処理について図５のフローチャートを用いて説明する。なお、本形態の送信装置１００のＣＰＵは、図５に示す処理を実行するためのプログラムを、ＲＯＭから読み出して実行することで、図５の処理を実現する。ただし、図５の処理の少なくとも一部を専用のハードウェアで行うようにすることも可能である。
【００３８】
送信装置１００の領域解析部１０５は、受信装置１１０から注目情報を取得する（Ｓ５０１）。ここで受信される注目情報には、図４を用いて説明したような条件の情報が含まれている。ここでは、図４のページ１で人物オブジェクト、ページ２で「動作が検知されている間」、ページ３で「人物が家の前を通過している間」と指定されたときの注目情報が取得されたものとする。
データ解析部１０３は、送信バッファ１０２に保存されている動画データを解析し、解析結果を対応付け部１０４へ通知する（Ｓ５０２）。データ解析部１０３が通知する解析結果には、フレームから検知されたオブジェクトの種別、検知されたオブジェクトの位置、オブジェクトの動き有無が含まれる。
【００３９】
また、Ｓ５０２において、対応付け部１０４は、送信バッファ１０２に保存されているフレームから、注目情報に応じた条件を満たすフレームを特定する。すなわち、対応付け部１０４は、注目情報で指定されたオブジェクトが、注目情報で指定された条件（動作や位置）を満たして存在するフレームを特定する。そして、対応付け部１０４は、各フレームと注目領域の検知状態を対応付ける。
フレーム決定部１０６がフレームスキップを実行すると判定した場合（Ｓ５０３でＹＥＳ）、Ｓ５０４へ進む。Ｓ５０４〜Ｓ５０９において、フレーム決定部１０６は、注目情報で指定された注目領域であって、注目情報で指定された条件を満たす注目領域を含むフレームが他のフレームよりも先に削除されないようにフレームを削除する。
上記の条件の場合、フレーム決定部１０６は、注目領域を含む複数のフレームのうち注目領域の動きが検知されていないフレームを、注目領域の動きが検知されているフレームよりも優先的に削除する。
【００４０】
また、フレーム決定部１０６は、注目領域を含む複数のフレームのうち注目領域が所定の範囲内（家の前）にないフレームを、注目領域が所定の範囲内にあるフレームよりも優先的に削除する。
【００４１】
なお、図５のＳ５０３においてフレームスキップを実行しないと判定された場合、送信部１０８は、送信バッファ１０２に保存されているフレームを送信する（Ｓ５１０）。Ｓ５１０で送信されるフレーム数は、１フレームでも複数フレームでも良い。
【００４２】
＜第２の実施形態＞
次に、送信装置１００が複数の受信装置１１０（クライアント）に対して動画データを送信している場合に好適な実施形態について、第１の実施形態との差異を中心に説明する。本形態では、送信装置１００が、複数の受信装置１１０（第１、第２、第３受信装置）からのリクエストに応じて、動画データ１を第１受信装置へ送信し、第２の動画データを第２及び第３受信装置へ送信する場合について説明する。また、複数の受信装置１１０（第１、第２、第３受信装置）のそれぞれは、注目情報を送信装置１００へ送信することが可能である。本形態の送信装置１００は、複数の受信装置１１０のそれぞれから注目情報を受信すると、送信バッファ１０２内の各フレームの優先度を決定し、削除するフレームを決定する。
【００４３】
送信バッファ１０２内の各フレームの優先度に基づいて、削除するフレームを決定する場合における送信装置１００の処理を図６を用いて説明する。本形態の送信装置１００のＣＰＵは、図６に示す処理を実行するためのプログラムを、ＲＯＭから読み出して実行することで、図６の処理を実現する。ただし、図６の処理の少なくとも一部を専用のハードウェアで行うようにすることも可能である。
【００４４】
本形態では、送信装置１００が動画データのリクエストを受信装置１１０から受信すると、送信データ１０１の入力と、図６の処理が開始されるが、この形態に限らない。また、以下の説明では、送信装置１００が、複数の受信装置１１０（第１、第２、第３受信装置）のうち、第１受信装置へ第１の動画データを送信し、第２及び第３受信装置へ第２の動画データを送信する場合について説明する。
【００４５】
送信装置１００の領域解析部１０５は、各受信装置１１０により指定された注目領域を特定するための注目情報を受信する（Ｓ６０１）。ここでは、人物オブジェクトを注目領域とする注目情報を第１受信装置から受信し、家オブジェクトを注目領域とする注目情報を第２受信装置から受信し、家オブジェクトと車オブジェクトを注目領域とする注目情報を第３受信装置から受信したとする。
【００４６】
データ解析部１０３は、送信バッファ１０２に保存されている第１及び第２動画データの各フレームを解析してオブジェクトを検知する（Ｓ６０２）。また、対応付け部１０４は、Ｓ６０２において、動画データのフレームと注目領域の検知結果とを対応付ける。例えば、第１の動画データの第１フレームから人物オブジェクトが１つ検知され、第２フレームからは検知されず、第３フレームから人物オブジェクトが２つ検知された場合、対応付け部１０４は、以下のようにフレームと注目領域の検知結果を対応付ける。すなわち、対応付け部１０４は、第１の動画データの「第１フレーム」と「注目領域１つ」を対応付け、「第２フレーム」と「注目領域なし」を対応付け、「第３フレーム」と「注目領域２つ」を対応付ける。
【００４７】
また、第２の動画データの第１フレームから家オブジェクトが１つと車オブジェクトが１つ検知され、第２フレーム及び第３フレームから家オブジェクトが１つ検知された場合、対応付け部１０４は、以下のようにフレームと注目領域の検知結果を対応付ける。すなわち、対応付け部１０４は、第２の動画データの「第１フレーム」と「注目領域３つ」を対応付け、「第２フレーム」及び「第３フレーム」と「注目領域２つ」を対応付ける。
【００４８】
フレーム決定部１０６は、フレームスキップを実行するか否かを判定する（Ｓ６０３）。また、フレーム決定部１０６は、フレームスキップを実行すると判定した場合、フレームスキップにより削除するフレーム数を決定する。フレーム決定部１０６は、送信バッファ１０２に保存されている未送信のフレームのデータ量が所定のデータ量に達したことに応じて、フレームスキップを実行すると判定する。ただし、例えば未送信のフレーム数などに基づいて判定しても良い。
【００４９】
フレーム決定部１０６は、Ｓ６０３でフレームスキップを実行すると決定された時点において送信バッファ１０２に保存されているフレームの優先度を、Ｓ６０２の対応付けの結果を用いて判定する（Ｓ６０４〜Ｓ６０６）。送信バッファ１０２に保存されているフレームが、第１の動画データの第１及び第２及び第３フレームと、第２の動画データの第１及び第２及び第３フレームである場合、各フレームの優先度は、以下のように判定される。すなわち、第１の動画データの第１フレームの優先度は１、第２フレームの優先度は０、第３フレームの優先度は２となる。また、第２の動画データの第１フレームの優先度は３、第２フレームの優先度は２、第３フレームの優先度は２と判定される。優先度は数字が大きいほど優先度が高いとする。
【００５０】
フレーム決定部１０６は、Ｓ６０３で決定された削除フレーム数と、Ｓ６０４〜Ｓ６０６で判定された各フレームの優先度とに基づいてフレームを送信バッファ１０２から削除する（Ｓ６０７）。例えば、削除フレーム数が３枚と決定された場合、フレーム決定部１０６は、第１の動画データの第１フレーム及び第２フレーム、及び、第２の動画データの第２フレームを削除する。すなわち、フレーム決定部１０６は、第１の動画データの第１フレームを、第２の動画データの第１フレームよりも優先的に削除する。なお、第１の動画データの第１フレームは、第１受信装置での指定に応じた注目領域（人物オブジェクトの領域）が含まれるフレームである。また、第２の動画データの第１フレームは、第２受信装置での指定に応じた注目領域（家オブジェクト）と、第３受信装置での指定に応じた注目領域（車オブジェクト）が含まれるフレームである。
【００５１】
なお、第１の動画データの第３フレームと、第２の動画データの第２フレームと第３フレームの優先度は、共に２であるが、本形態のフレーム決定部１０６は、第２の動画データの第２フレームを削除フレームとして決定する。すなわち、フレーム決定部１０６は、優先度が同じ複数のフレームのうち、すでに削除フレームとして決定されたフレームが属する動画データとは異なる動画データのフレームが優先的に削除されるようにする。また、フレーム決定部１０６は、同一の動画データに属する複数のフレームであって、優先度が同じフレームの中から削除フレームを決定する場合、時間的に古いフレームが優先的に削除されるようにする。フレーム決定部１０６がフレームスキップを実行すると、Ｓ６０１に戻る。
【００５２】
なお、図６のＳ６０３においてフレームスキップを実行しないと判定された場合、送信部１０８は、送信バッファ１０２に保存されているフレームを送信する（Ｓ６０８）。Ｓ６０８で送信されるフレーム数は、１フレームでも複数フレームでも良い。
【００５３】
このように、本形態の送信装置１００は、複数の受信装置１１０に対して異なる動画データを送信する場合において、各受信装置１１０の指定に応じた注目領域の数に基づいて削除するフレームを決定する。このようにすることで、より多くの受信装置１１０で注目される注目領域を含むフレームがフレームスキップにより削除されにくくすることができる。
【００５４】
＜第３の実施形態＞
次に、注目領域の存在時間に基づいて削除するフレームを決定する例について、第１の実施形態との差異を中心に説明する。本形態の対応付け部１０４は、注目領域の動き情報や、撮像装置の撮像範囲の変更（パン、チルト、ズーム制御）に関する情報を用いて、注目領域がフレームに含まれる時間（存在時間）を予測する。存在時間は、注目領域が連続的に存在するフレーム数に対応する。そして、フレーム決定部１０６は、存在時間が長い注目領域が含まれるフレームが、存在時間が短い注目領域が含まれるフレームよりも優先的に削除されるように、送信バッファ１０２からフレームを削除する。
【００５５】
本形態の送信装置１００の処理を図６のフローチャートを用いて説明する。本形態の送信装置１００のＣＰＵは、図６に示す処理を実行するためのプログラムを、ＲＯＭから読み出して実行することで、図６の処理を実現する。ただし、図６の処理の少なくとも一部を専用のハードウェアで行うようにすることも可能である。また、以下の説明では、送信装置１００が、第１受信装置へ第１の動画データを送信し、第２受信装置へ第２の動画データを送信している場合について説明する。すなわち、本形態の送信装置１００は、複数の受信装置１１０（クライアント）に対して動画データを送信する。
送信装置１００の領域解析部１０５は、第１及び第２受信装置により指定された注目領域を特定するための注目情報を受信する（Ｓ６０１）。この例では、第１受信装置が大木オブジェクトを注目領域とする注目情報を送信し、第２受信装置が人物オブジェクトを注目領域とする注目情報を送信したとする。
【００５６】
データ解析部１０３は、送信バッファ１０２に保存されている動画データのフレームを解析してオブジェクトを検知する（Ｓ６０２）。また、対応付け部１０４は、Ｓ６０２において、動画データのフレームと注目領域の検知結果とを対応付ける。この例では、送信バッファ１０２に第１の動画データの第１及び第２及び第３フレームと、第２の動画データの第１及び第２及び第３フレームが保存されているとする。また、送信バッファ１０２に保存されている第１の動画データの第１及び第２及び第３のフレームから大木オブジェクトが１つ検知され、第２の動画データの第１及び第２及び第３のフレームから人物オブジェクトが１つ検知されているとする。この場合、対応付け部１０４は、各フレームと「注目領域１つ」を対応付ける。
【００５７】
また、対応付け部１０４は、Ｓ６０２において、注目情報に応じた各オブジェクトがフレームに含まれる時間（存在時間）を予測する。この例では、第１の動画データのフレームに大木オブジェクトが含まれる時間（第１の存在時間）を判定すると共に、第２の動画データのフレームに人物オブジェクトが含まれる時間（第２の存在時間）を判定する。本形態では、第２の存在時間が第１の存在時間よりも短いと判定される。
【００５８】
Ｓ６０２における存在時間の予測方法について、図７を用いて説明する。図７は、第１の動画データの第１フレームの例である。図７に示すように、フレーム７０１からは、人物オブジェクト７０２、車オブジェクト７０３、大木オブジェクト７０４、太陽オブジェクト７０５がデータ解析部１０３により検知される。ただし、第１受信装置からの注目情報に対応するオブジェクトは大木オブジェクトのみなので、第１フレームには「注目領域１つ」が、対応付け部１０４により対応づけられる。
【００５９】
また、図７に示すように、人物オブジェクト７０２は左方向、車オブジェクト７０３は右方向へ移動し、大木オブジェクト７０４及び太陽オブジェクト７０５は静止し、撮像方向は左方向へ移動していることがデータ解析部１０３の解析により検知される。対応付け部１０４は、データ解析部１０３により検知された動き情報（各オブジェクトの動きの方向及び速さ）、及び、各オブジェクトの位置、及び、撮像装置の撮像方向の制御内容に基づいて、各オブジェクトの存在時間を予測する。ただし、これらの情報のうちの一部を用いて予測することも可能である。
【００６０】
フレーム決定部１０６によりフレームスキップを実行すると判定されると（Ｓ６０３でＹＥＳ）、フレーム決定部１０６は、送信バッファ１０２内の各フレームの優先度を決定する（Ｓ６０４〜Ｓ６０６）。この例では、フレーム決定部１０６は、第１の動画データの第１及び第２及び第３フレームの優先度と、第２の動画データの第１及び第２及び第３フレームの優先度を判定する。なお、第１の動画データの各フレームから検知されている大木オブジェクトの存在時間は、第２の動画データの各フレームから検知されている人物オブジェクトの存在時間よりも長いと予測されているとする。この場合、フレーム決定部１０６は、第１の動画データの各フレームの優先度を、第２の動画データの各フレームの優先度よりも低く設定する。
【００６１】
各フレームの優先度が決定されると、フレーム決定部１０６は、削除するフレームを決定する（Ｓ６０７）。例えば、２枚のフレームを削除する場合、フレーム決定部１０６は、第１の動画データの第１及び第２フレームを削除する。即ち、フレーム決定部１０６は、第１の存在時間であると予測された注目領域（大木オブジェクト）を含む第１の動画データのフレームを、第２の存在時間であると予測された注目領域（人物オブジェクト）を含む第２の動画データのフレームより優先的に削除する。Ｓ６０７のフレームスキップの処理が完了すると、Ｓ６０１に戻る。
このように、存在時間がより長いと予測される注目領域を含むフレームを優先的に削除するようにすることで、フレームスキップにより注目領域の内容が見逃されてしまう可能性を低減できる。
【００６２】
なお、図６のＳ６０３でフレームスキップを実行しないと判定された場合、送信部１０８は、送信バッファ１０２に保存されているフレームを送信する（Ｓ６０８）。Ｓ６０８で送信されるフレーム数は、１フレームでも複数フレームでも良い。
【００６３】
また、本形態の対応付け部１０４は、動画データ内のオブジェクトの動きが不規則であるとデータ解析部１０３により判定された場合、動きが不規則でないと判定されたオブジェクトの存在時間よりも長く設定する。このようにすることで、実際には存在時間が短い注目領域を含むフレームが、存在時間の予測の間違いにより削除されてしまう可能性を低減できる。
【００６４】
また、上記の実施形態では、フレームスキップされたフレームを送信バッファ１０２から削除することを中心に説明しているが、当該フレームを送信しないようにすれば、送信バッファ１０２から削除しなくても良い。
【００６５】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、ネットワークを介してデータを送信する送信方法に関する。
【背景技術】
【０００２】
複数のユーザが共有するネットワーク上で、音声や映像等のマルチメディアデータを実時間転送するとき、常に必要なネットワーク帯域を確保できるとは限らない。そこで、符号化された映像ストリームを転送する際に使用可能なネットワーク帯域に合わせてストリームのビットレートを削減することが行われる。
従来、ビットレート削減方法の１つとして、映像のフレームタイプに応じてフレーム単位でデータを廃棄するフレームスキップが提案されている。
特許文献１には、複数の受信装置へ動画データを送信する際に、各受信装置までの通信帯域に応じて、一部のフレームを送信しないようにすることが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特登録０４２５５６８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、フレームスキップにより送信されなくなるフレームによっては、ユーザが注目すべき注目領域の内容がわからなくなってしまう恐れがあった。
例えば、送信待ち状態の複数のフレームのうち、時間的に古いフレームには注目領域が含まれており、時間的に新しいフレームには注目領域が含まれていない場合に、注目領域を含む古いフレームが削除されてしまうと注目領域の状況が分からなくなる恐れがあった。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、注目領域の内容がフレームスキップによりわからなくなる可能性を低減することである。
【課題を解決するための手段】
【０００５】
上記の問題点を解決するために、本発明の送信装置は、例えば以下の構成を有する。すなわち、動画データをネットワークを介して送信する送信装置であって、送信待ちの動画データのフレームを保存する保存手段と、前記動画データのフレーム内に注目領域が含まれるか否かを判定する判定手段と、前記送信待ちの動画データのフレームのうち注目領域が含まれないフレームを、前記ネットワークの状況に応じて、前記注目領域を含むフレームよりも優先的に前記保存手段から削除する削除手段とを有する。
【発明の効果】
【０００６】
本発明によれば、注目領域の内容がフレームスキップによりわからなくなる可能性を低減できる。
【図面の簡単な説明】
【０００７】
【図１】送信装置の機能構成例を示すブロック図である
【図２】送信装置における処理を説明するためのフローチャート
【図３】動画データの１フレームを取り出した図である
【図４】オブジェクトの検出条件の設定のためのウインドウを示す図である
【図５】送信装置における処理を説明するためのフローチャートである
【図６】送信装置における処理を説明するためのフローチャートである
【図７】動画データの１フレームを取り出した図である
【発明を実施するための形態】
【０００８】
以下、添付の図面を参照して、本発明をその好適な実施例に基づいて詳細に説明する。なお、以下の実施例において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【０００９】
＜第１の実施形態＞
図１は、本実施形態の送信装置１００の機能構成例を示すブロック図である。図１に示すように、送信装置１００は、送信バッファ１０２、データ解析部１０３、対応付け部１０４、領域解析部１０５、フレーム決定部１０６、帯域監視部１０７、送信部１０８を有する。
【００１０】
送信バッファ１０２は、送信データ１０１を一時的に保存する。例えば送信装置１００がビデオカメラである場合、撮像部から動画データが送信データ１０１として送信バッファ１０２に入力される。また、例えば、送信装置１００がビデオサーバである場合、例えば、別のサーバやビデオカメラから動画データが送信データ１０１として送信バッファ１０２に入力される。なお、本形態では送信データが動画データである場合について説明するが、静止画データなどでも良い。
【００１１】
データ解析部１０３は、送信バッファ１０２に保存されている動画データを、時間的に古いものから順に読み出して解析する。本形態のデータ解析部１０３は、動画データのフレームに含まれるオブジェクトを解析により検知する。データ解析部１０３は、例えば、動画データに対する顔検知や色検知、動き検知、文字認識などにより各種オブジェクトを検知する。ただし、オブジェクトの検知方法は、これらの方法に限らない。そして、データ解析部１０３は、送信バッファ１０２に保存されているフレームから、例えば、人物オブジェクトと家オブジェクトを検知すると、検知されたオブジェクトの種別（人物と家）を対応付け部１０４へ通知する。
【００１２】
領域解析部１０５は、受信装置１１０から注目情報を受信する。なお、受信装置１１０は、送信装置１００による動画データの送信先のクライアントである。注目情報は、注目領域を特定するための情報である。注目情報は、例えば、受信装置１１０のユーザにより指定されたオブジェクトの種別に関する情報である。
【００１３】
対応付け部１０４は、データ解析部１０３による解析結果と、領域解析部１０５により取得された注目情報に基づいて、動画データのフレームと注目領域の検知結果を対応付ける。例えば、データ解析部１０３が、あるフレームから人物オブジェクトと家オブジェクトを検知すると共に、人物オブジェクトを注目領域として指定する注目情報が受信された場合、本形態の対応付け部１０４は、当該フレームと「注目領域有り」を対応付ける。一方、例えば、データ解析部１０３が、あるフレームから人物オブジェクトと家オブジェクトを検知すると共に、車オブジェクトを注目領域として指定する注目情報が受信された場合、対応付け部１０４は、当該フレームと「注目情報無し」を対応付ける。
【００１４】
なお、上記の説明では、注目情報がオブジェクトの種別に関する情報である例について説明したが、例えば、オブジェクトの形状やサイズや色の情報を注目情報としても良い。この場合、入力されたフレームからデータ解析部１０３が検知した各オブジェクトの形状やサイズや色を用いて、対応付け部１０４は、各フレームに注目領域が含まれるか判定できる。
【００１５】
また、注目情報が、オブジェクトの動きの方向や速さに関する情報であっても良い。この場合、入力されたフレームからデータ解析部１０３が検知した各オブジェクトの動きの方向や速さを用いて、対応付け部１０４は、各フレームに注目領域が含まれるか判定できる。
また、注目情報が、動画データのフレーム内の位置（領域）を示す座標情報であっても良い。この場合、データ解析部１０３が、撮像装置の撮像方向の変更（パン・チルト）やズーム倍率の変更を検知することで、対応付け部１０４は、各フレームに注目領域が含まれるか判定できる。
【００１６】
フレーム決定部１０６は、送信バッファ１０２に保存されている未送信のフレームをフレームスキップにより削除するか否かを判定すると共に、送信バッファ１０２内のフレームのうち、削除するフレームを決定する。フレーム決定部１０６による処理の詳細は後述する。
送信部１０８は、フレーム決定部１０６により削除されていない動画データのフレームを受信装置１１０へ送信する。受信装置１１０は、送信装置１００から動画データを受信するクライアントである。本形態では、送信装置１００と受信装置１１０はネットワークを介して接続される。また、送信装置１００は複数の受信装置１１０へ動画データを送信することが可能である。
【００１７】
次に、本形態の送信装置１００によるフレームスキップの処理方法について図２のフローチャートを用いて説明する。本形態の送信装置１００は、動画データをネットワークを介して受信装置１１０（クライアント）へ送信する送信装置である。また、本形態の送信装置１００のＣＰＵ（不図示のコンピュータ）は、図２に示す処理を実行するためのプログラムを、ＲＯＭから読み出して実行することで、図２の処理を実現する。ただし、図２の処理の少なくとも一部を専用のハードウェアで行うようにすることも可能である。
本形態では、送信装置１００が動画データのリクエストを受信装置１１０から受信すると、送信データ１０１の入力と、図２の処理が開始されるが、この形態に限らない。
【００１８】
送信装置１００の領域解析部１０５は、受信装置１１０から注目情報を受信する（Ｓ２０１）。注目情報は、送信装置１００が注目領域を特定するために用いられる情報である。また、注目情報は、追加、削除、変更が可能である。また、図２には図示していないが、送信装置１００の送信バッファ１０２には、動画データが定期的に入力される。
【００１９】
本形態における注目情報は、例えば、ユーザにより入力されたオブジェクトの種別（例えば、人物、家、山、大木）に関する情報である。なお、送信装置１００は、データ解析部１０３により検知されたオブジェクトのリストを受信装置１１０へ提示し、受信装置１１０のユーザによりリストから指定されたオブジェクトの種別を注目情報とすることも可能である。また、オブジェクトのリストは、受信装置１１０で動画データを解析することにより生成することも可能である。
【００２０】
データ解析部１０３は、送信バッファ１０２に保存されている動画データの各フレームを解析してオブジェクトを検知する（Ｓ２０２）。また、対応付け部１０４は、Ｓ２０２において、動画データのフレームと注目領域の検知結果を対応付ける。例えば、動画データの第１フレームから注目領域が検知され、第２フレームからは注目領域が検知されなかった場合、対応付け部１０４は、「第１フレーム」と「注目領域有り」を対応付け、「第２フレーム」と「注目領域無し」を対応付ける。すなわち、対応付け部１０４は、送信バッファ１０２に保存されている複数のフレームのうち、注目情報により指定された人物オブジェクトを含むフレームが識別できるように、注目領域の検知結果とフレームとを対応づける。
【００２１】
フレーム決定部１０６は、フレームスキップを実行するか否かを判定する（Ｓ２０３）。本形態のフレーム決定部１０６は、送信バッファ１０２に保存されている未送信のフレーム数が所定のフレーム数に達した場合に、フレームスキップを実行すると判定する。ただし、この判定方法に限らず、例えば、送信バッファ１０２に保存されている未送信の動画データのデータ量が所定のデータ量に達した場合に、フレームスキップを実行すると判定しても良い。
【００２２】
また、例えば、帯域監視部１０７により取得されたネットワークの有効帯域に関する情報と、送信バッファ１０２への動画データの入力レートを用いて、フレームスキップを実行するか否かを判定するようにしても良い。この場合、フレーム決定部１０６は、送信バッファ１０２への動画データの入力レートが、受信装置１１０への動画データの出力レートよりも大きい状態が、一定期間以上、続いた場合に、フレームスキップを実行することを決定する。
【００２３】
また、フレーム決定部１０６は、フレームスキップを実行すると判定した場合、削除するフレーム数を決定する。本形態のフレーム決定部１０６は、削除するフレーム数を、送信バッファ１０２に保存されている各フレームの平均データサイズに基づいて決定する。すなわち、フレーム決定部１０６は、保存されている各フレームの平均データサイズが小さい場合のほうが、より多くのフレームが削除されるように、削除するフレーム数を決定する。ただし、この例に限らず、例えば、フレームの画面サイズに基づいて削除するフレーム数を決定するようにしても良い。すなわち、フレーム決定部１０６は、保存されているフレームのサイズが小さい場合のほうが、より多くのフレームが削除されるように、削除するフレーム数を決定することが可能である。また、削除するフレーム数が常に一定数になるようにしても良い。
【００２４】
Ｓ２０３においてフレームスキップを実行すると判定された場合はＳ２０４へ進む。一方、フレームスキップを実行しないと判定された場合、フレーム決定部１０６は、送信バッファ１０２から読み出されたフレームを受信装置１１０へ送信する（Ｓ２０９）。Ｓ２０９で送信されるフレーム数は、１フレームでも複数フレームでも良い。すなわち、送信部１０８は、フレームスキップにより削除されていない動画データのフレームを受信装置１１０（クライアント）へ送信する。フレーム送信後、フレーム決定部１０６は、動画データの送信を終了するか否かを判定する（Ｓ２１０）。動画データの送信を終了しないと判定された場合はＳ２０１へ戻り、動画データの送信を終了すると判定された場合は図２の処理を終了する。
【００２５】
フレーム決定部１０６は、フレームスキップにより送信バッファ１０２から削除するフレームを決定する（Ｓ２０４〜Ｓ２０８）。フレームスキップにより削除されたフレームは、受信装置１１０へ送信されない。
フレーム決定部１０６によるスキップフレームの決定方法について説明する。
【００２６】
本形態のフレーム決定部１０６は、送信バッファ１０２に保存されている複数のフレームのうち、時間的に最も古いフレームから順に、フレーム内に注目領域が含まれているか否かを判定する（判定手順）。そして、フレーム決定部１０６は、注目領域が含まれていないと判定されたフレームを送信バッファ１０２から削除する。
すなわち、フレーム決定部１０６は、送信バッファ１０２に保存されている複数のフレームのうち、時間的に最も古い第１フレームに注目領域が含まれているか判定する（Ｓ２０４）。そして、フレーム決定部１０６は、Ｓ２０４の判定により、第１フレームに注目領域が含まれていると判定した場合は、第１フレームを送信バッファ１０２から削除しない（Ｓ２０６）。そして、フレーム決定部１０６は、フレームスキップが完了していないと判定し（Ｓ２０７）、時間的に２番目に古い第２フレームを判定対象に設定し（Ｓ２０８）、第２フレームに注目領域が含まれているか判定する（Ｓ２０４）。そして、第２フレームに注目領域が含まれていないと判定された場合、第２フレームを送信バッファ１０２から削除する（Ｓ２０５）。その後、フレーム決定部１０６は、フレームスキップが完了したか判定する（Ｓ２０７）。Ｓ２０７の判定は、フレームスキップにより１度に削除するフレーム数の条件を満たしたか否かにより判定する。フレームスキップが完了したと判定されると、Ｓ２０１に戻る。
すなわち、Ｓ２０５において、フレーム決定部１０６は、送信待ちの動画データのフレームのうち注目領域が含まれないフレームを、ネットワークの状況に応じて、注目領域を含むフレームよりも優先的に送信バッファ１０２から削除する。
【００２７】
なお、本形態では、フレームスキップされたフレームを送信バッファ１０２から削除することを中心に説明しているが、当該フレームを送信しないようにすれば、送信バッファ１０２から削除しなくても良い。すなわち、フレーム決定部１０６は、Ｓ２０５において、送信待ちの動画データのフレームのうち注目領域を含まないフレームが、注目領域を含むフレームよりも優先的に送信しないフレームとして決定されるように、送信しないフレームを制御する（制御手順）。
【００２８】
また、上記の説明では、注目領域が含まれるか否かに応じて削除するか判定しているが、例えば、フレームスキップを実行することが決定された時点において送信バッファ１０２に保存されている各フレームの優先度に基づいて、削除するフレームを決定しても良い。各フレームの優先度の決定方法として、各フレームに含まれる注目領域の数、各注目領域の優先度、注目情報を送信した受信装置１１０の優先度などを用いることが可能である。
例えば、送信バッファ１０２に保存されている５つのフレーム（第１から第５フレーム）のうち、時間的に最も古い第１フレームには注目領域が含まれておらず、第２及び第３フレームには２つ含まれ、第４及び第５フレームには注目領域が１つ含まれていたとする。この場合において、１枚のフレームをフレームスキップにより送信バッファ１０２から削除する場合、フレーム決定部１０６は、上記５つのフレームのうち、第１フレームを削除するフレームとして決定する。また、２枚のフレームを削除する場合、フレーム決定部１０６は、第１及び第４フレームを削除するフレームとして決定する。また、３枚のフレームを削除する場合、フレーム決定部１０６は、第１及び第４及び第５フレームを削除するフレームとして決定する。ただし、削除するフレームの決定方法は、この方法に限らない。
【００２９】
また、注目領域ごとにユーザが優先度を指定している場合、フレーム決定部１０６は、優先度が低い注目領域が含まれているフレームが、優先度が高い注目領域が含まれているフレームよりも優先的に削除されるように削除するフレームを決定する。例えば、受信装置１１０のユーザが、人物オブジェクトの優先度を家オブジェクトの優先度よりも高く設定している場合、フレーム決定部１０６は、以下のようにして削除するフレームを決定する。すなわち、フレーム決定部１０６は、人物オブジェクトが含まれ家オブジェクトが含まれていないフレームよりも、家オブジェクトが含まれ人物オブジェクトが含まれていないフレームが優先的に削除されるように削除するフレームを決定する。
【００３０】
また、上記の説明では、ユーザが１つの場合（１台の受信装置１１０が接続されている場合）について説明しているが、複数のユーザが接続されるようにしても良い。また、ユーザごとに優先度が設定されている場合、フレーム決定部１０６は、以下のようにしてフレームスキップにより削除するフレームを決定する。すなわち、フレーム決定部１０６は、優先度が低いユーザからの注目情報に対応する注目領域を含むフレームが、優先度が高いユーザからの注目情報に対応する注目領域を含むフレームよりも優先的に削除されるように削除するフレームを決定する。また、フレーム決定部１０６は、各フレームに含まれる注目領域の数、各注目情報を指定したユーザの優先度、各注目情報の優先度を合わせて送信バッファ１０２から削除するフレームを決定することも可能である。
【００３１】
なお、フレーム決定部１０６は、各フレームの優先度をポイントで表しても良い。
例えば、１つの受信装置１１０（クライアント）により指定された１つの注目領域に対して５ポイント付与し、さらに、優先度の高いユーザにより指定された注目領域に対しては、５ポイント追加付与することができる。例えば、動画データを受信している第１受信装置から人物オブジェクトを注目することを示す注目情報を受信し、第２受信装置から人物オブジェクトと車オブジェクトを注目する注目情報を受信した場合のフレームのポイントは、以下のようになる。
すなわち、例えば、フレームから、人物オブジェクトが１つと、車オブジェクトが１つと、大木オブジェクトが１つ検知された場合、当該フレームのポイントは、１５ポイントとなる。なお、この例では、大木オブジェクトが検知されても、検知されなくても、ポイントは同じ１５ポイントである。また、例えば、第２受信装置が、優先度が高い受信装置で、第１受信装置が一般の受信装置の場合、このフレームのポイントは２５ポイントとなる。一方、第１受信装置が、優先度が高い受信装置で、第２受信装置が一般の受信装置の場合、このフレームのポイントは２０ポイントとなる。このようにして決定された各フレームのポイントに基づいて、送信バッファ１０２から削除するフレームを決定することが可能である。
【００３２】
図３は、動画データを構成する１つのフレームの例を示している。本形態の受信装置１１０は、送信装置１００から動画データを受信して図３に示すようなフレームを表示する。図３の人物オブジェクト３０２、大木オブジェクト３０３、家オブジェクト３０４、太陽オブジェクト３０５は、すでにデータ解析部１０３により検知されている。受信装置１１０は、データ解析部１０３による解析結果を動画データと共に受信することで、動画データの表示画面上で各オブジェクトの枠を表示させることができる。そして、受信装置１１０のユーザが、図３のような表示画面上で、注目したいオブジェクトを指定すると、受信装置１１０は、注目領域を送信装置１００において特定するための注目情報を送信装置１００へ送信する。このときに送信される注目情報は、例えば、オブジェクトの種別（人物、家、大木など）の情報である。以上説明したように、本形態の送信装置１００は、注目領域が含まれないフレームを、注目領域が含まれるフレームよりも優先的にフレームスキップにより削除する。このようにすることで、注目領域を含むフレームがフレームスキップにより削除されにくくすることができる。
【００３３】
なお、上記の説明では、注目領域の有無に基づいてフレームスキップするフレームを決定する例を中心に説明したが、例えば、注目領域の有無に加えて、注目領域の状態に関する条件を満たす場合に、フレームスキップされにくくすることも可能である。注目領域の状態に関する条件とは、例えば、フレーム内における注目領域の存在位置の条件や、注目領域の動きに関する条件や、注目領域の存在時間の条件などである。
【００３４】
注目領域の状態に関する条件を受信装置１１０において設定するための設定画面の例を図４に示す。本形態の受信装置１１０は、まず、図４のページ１（４０１）を表示する。ページ１では、過去の所定フレーム数のフレームから検知されたオブジェクトの種別がリスト表示されている。受信装置１１０のユーザは、ページ１のリストから注目したいオブジェクトを指定することができる。ここでは、人物オブジェクトが指定されたものとする。なお、オブジェクトは複数指定することも可能である。
【００３５】
ページ１でユーザが注目するオブジェクトを指定すると、ページ２（４０２）が表示される。ページ２は、ページ１で指定された人物オブジェクトの動作条件を指定するためのページである。ページ２の動作条件のうち、例えば、「静止中」が指定されると、静止している人物オブジェクトのみが注目領域として検知される。一方、ページ２の動作条件のうち、「映像から検知される間」が指定されると、人物オブジェクトが静止しているか動いているかに関わらず、注目領域として検知される。ここでは、「動作が検知されている間」が指定されたものとする。なお、動作条件は、ページ２で示した例に限らず、例えば、動きの方向や、動きの速さや、オブジェクトの存在時間などであっても良い。
【００３６】
ページ２でユーザがオブジェクトの動作条件を指定すると、ページ３（４０３）が表示される。ページ３は、ページ１で指定されたオブジェクトの状況の詳細な条件を指定するためのページである。ここでは、ページ３に「人物が家の前を通過している間」が指定されたものとする。また、ページ３において、例えば、「ユーザが接続してから１０分間」という設定をすることも可能である。このような設定がされた場合、対応付け部１０４は、ユーザが接続されてから１０分が経過した後の動画データのフレームにページ１と２で指定された条件を満たす注目領域が含まれるか否かの判定をしない。すなわち、対応付け部１０４は、ユーザが接続してから１０分が経過した後に、ページ１と２で指定された条件を満たす注目領域を含むフレームがあったとしても、当該フレームには注目領域が含まれていないとみなす。図４のページ１からページ３の指定が行われると、指定内容が注目情報として送信装置１００へ送信される。そして、送信装置１００のフレーム決定部１０６は、指定されたオブジェクト（人物オブジェクト）の状態（位置や動作）が、指定された条件に合致しているフレームが、合致していないフレームよりも先に削除されないように削除するフレームを決定する。
【００３７】
次に、送信装置１００がオブジェクトの状態の条件に基づいてフレームスキップを行う場合の処理について図５のフローチャートを用いて説明する。なお、本形態の送信装置１００のＣＰＵは、図５に示す処理を実行するためのプログラムを、ＲＯＭから読み出して実行することで、図５の処理を実現する。ただし、図５の処理の少なくとも一部を専用のハードウェアで行うようにすることも可能である。
【００３８】
送信装置１００の領域解析部１０５は、受信装置１１０から注目情報を取得する（Ｓ５０１）。ここで受信される注目情報には、図４を用いて説明したような条件の情報が含まれている。ここでは、図４のページ１で人物オブジェクト、ページ２で「動作が検知されている間」、ページ３で「人物が家の前を通過している間」と指定されたときの注目情報が取得されたものとする。
データ解析部１０３は、送信バッファ１０２に保存されている動画データを解析し、解析結果を対応付け部１０４へ通知する（Ｓ５０２）。データ解析部１０３が通知する解析結果には、フレームから検知されたオブジェクトの種別、検知されたオブジェクトの位置、オブジェクトの動き有無が含まれる。
【００３９】
また、Ｓ５０２において、対応付け部１０４は、送信バッファ１０２に保存されているフレームから、注目情報に応じた条件を満たすフレームを特定する。すなわち、対応付け部１０４は、注目情報で指定されたオブジェクトが、注目情報で指定された条件（動作や位置）を満たして存在するフレームを特定する。そして、対応付け部１０４は、各フレームと注目領域の検知状態を対応付ける。
フレーム決定部１０６がフレームスキップを実行すると判定した場合（Ｓ５０３でＹＥＳ）、Ｓ５０４へ進む。Ｓ５０４〜Ｓ５０９において、フレーム決定部１０６は、注目情報で指定された注目領域であって、注目情報で指定された条件を満たす注目領域を含むフレームが他のフレームよりも先に削除されないようにフレームを削除する。
上記の条件の場合、フレーム決定部１０６は、注目領域を含む複数のフレームのうち注目領域の動きが検知されていないフレームを、注目領域の動きが検知されているフレームよりも優先的に削除する。
【００４０】
また、フレーム決定部１０６は、注目領域を含む複数のフレームのうち注目領域が所定の範囲内（家の前）にないフレームを、注目領域が所定の範囲内にあるフレームよりも優先的に削除する。
【００４１】
なお、図５のＳ５０３においてフレームスキップを実行しないと判定された場合、送信部１０８は、送信バッファ１０２に保存されているフレームを送信する（Ｓ５１０）。Ｓ５１０で送信されるフレーム数は、１フレームでも複数フレームでも良い。
【００４２】
＜第２の実施形態＞
次に、送信装置１００が複数の受信装置１１０（クライアント）に対して動画データを送信している場合に好適な実施形態について、第１の実施形態との差異を中心に説明する。本形態では、送信装置１００が、複数の受信装置１１０（第１、第２、第３受信装置）からのリクエストに応じて、動画データ１を第１受信装置へ送信し、第２の動画データを第２及び第３受信装置へ送信する場合について説明する。また、複数の受信装置１１０（第１、第２、第３受信装置）のそれぞれは、注目情報を送信装置１００へ送信することが可能である。本形態の送信装置１００は、複数の受信装置１１０のそれぞれから注目情報を受信すると、送信バッファ１０２内の各フレームの優先度を決定し、削除するフレームを決定する。
【００４３】
送信バッファ１０２内の各フレームの優先度に基づいて、削除するフレームを決定する場合における送信装置１００の処理を図６を用いて説明する。本形態の送信装置１００のＣＰＵは、図６に示す処理を実行するためのプログラムを、ＲＯＭから読み出して実行することで、図６の処理を実現する。ただし、図６の処理の少なくとも一部を専用のハードウェアで行うようにすることも可能である。
【００４４】
本形態では、送信装置１００が動画データのリクエストを受信装置１１０から受信すると、送信データ１０１の入力と、図６の処理が開始されるが、この形態に限らない。また、以下の説明では、送信装置１００が、複数の受信装置１１０（第１、第２、第３受信装置）のうち、第１受信装置へ第１の動画データを送信し、第２及び第３受信装置へ第２の動画データを送信する場合について説明する。
【００４５】
送信装置１００の領域解析部１０５は、各受信装置１１０により指定された注目領域を特定するための注目情報を受信する（Ｓ６０１）。ここでは、人物オブジェクトを注目領域とする注目情報を第１受信装置から受信し、家オブジェクトを注目領域とする注目情報を第２受信装置から受信し、家オブジェクトと車オブジェクトを注目領域とする注目情報を第３受信装置から受信したとする。
【００４６】
データ解析部１０３は、送信バッファ１０２に保存されている第１及び第２動画データの各フレームを解析してオブジェクトを検知する（Ｓ６０２）。また、対応付け部１０４は、Ｓ６０２において、動画データのフレームと注目領域の検知結果とを対応付ける。例えば、第１の動画データの第１フレームから人物オブジェクトが１つ検知され、第２フレームからは検知されず、第３フレームから人物オブジェクトが２つ検知された場合、対応付け部１０４は、以下のようにフレームと注目領域の検知結果を対応付ける。すなわち、対応付け部１０４は、第１の動画データの「第１フレーム」と「注目領域１つ」を対応付け、「第２フレーム」と「注目領域なし」を対応付け、「第３フレーム」と「注目領域２つ」を対応付ける。
【００４７】
また、第２の動画データの第１フレームから家オブジェクトが１つと車オブジェクトが１つ検知され、第２フレーム及び第３フレームから家オブジェクトが１つ検知された場合、対応付け部１０４は、以下のようにフレームと注目領域の検知結果を対応付ける。すなわち、対応付け部１０４は、第２の動画データの「第１フレーム」と「注目領域３つ」を対応付け、「第２フレーム」及び「第３フレーム」と「注目領域２つ」を対応付ける。
【００４８】
フレーム決定部１０６は、フレームスキップを実行するか否かを判定する（Ｓ６０３）。また、フレーム決定部１０６は、フレームスキップを実行すると判定した場合、フレームスキップにより削除するフレーム数を決定する。フレーム決定部１０６は、送信バッファ１０２に保存されている未送信のフレームのデータ量が所定のデータ量に達したことに応じて、フレームスキップを実行すると判定する。ただし、例えば未送信のフレーム数などに基づいて判定しても良い。
【００４９】
フレーム決定部１０６は、Ｓ６０３でフレームスキップを実行すると決定された時点において送信バッファ１０２に保存されているフレームの優先度を、Ｓ６０２の対応付けの結果を用いて判定する（Ｓ６０４〜Ｓ６０６）。送信バッファ１０２に保存されているフレームが、第１の動画データの第１及び第２及び第３フレームと、第２の動画データの第１及び第２及び第３フレームである場合、各フレームの優先度は、以下のように判定される。すなわち、第１の動画データの第１フレームの優先度は１、第２フレームの優先度は０、第３フレームの優先度は２となる。また、第２の動画データの第１フレームの優先度は３、第２フレームの優先度は２、第３フレームの優先度は２と判定される。優先度は数字が大きいほど優先度が高いとする。
【００５０】
フレーム決定部１０６は、Ｓ６０３で決定された削除フレーム数と、Ｓ６０４〜Ｓ６０６で判定された各フレームの優先度とに基づいてフレームを送信バッファ１０２から削除する（Ｓ６０７）。例えば、削除フレーム数が３枚と決定された場合、フレーム決定部１０６は、第１の動画データの第１フレーム及び第２フレーム、及び、第２の動画データの第２フレームを削除する。すなわち、フレーム決定部１０６は、第１の動画データの第１フレームを、第２の動画データの第１フレームよりも優先的に削除する。なお、第１の動画データの第１フレームは、第１受信装置での指定に応じた注目領域（人物オブジェクトの領域）が含まれるフレームである。また、第２の動画データの第１フレームは、第２受信装置での指定に応じた注目領域（家オブジェクト）と、第３受信装置での指定に応じた注目領域（車オブジェクト）が含まれるフレームである。
【００５１】
なお、第１の動画データの第３フレームと、第２の動画データの第２フレームと第３フレームの優先度は、共に２であるが、本形態のフレーム決定部１０６は、第２の動画データの第２フレームを削除フレームとして決定する。すなわち、フレーム決定部１０６は、優先度が同じ複数のフレームのうち、すでに削除フレームとして決定されたフレームが属する動画データとは異なる動画データのフレームが優先的に削除されるようにする。また、フレーム決定部１０６は、同一の動画データに属する複数のフレームであって、優先度が同じフレームの中から削除フレームを決定する場合、時間的に古いフレームが優先的に削除されるようにする。フレーム決定部１０６がフレームスキップを実行すると、Ｓ６０１に戻る。
【００５２】
なお、図６のＳ６０３においてフレームスキップを実行しないと判定された場合、送信部１０８は、送信バッファ１０２に保存されているフレームを送信する（Ｓ６０８）。Ｓ６０８で送信されるフレーム数は、１フレームでも複数フレームでも良い。
【００５３】
このように、本形態の送信装置１００は、複数の受信装置１１０に対して異なる動画データを送信する場合において、各受信装置１１０の指定に応じた注目領域の数に基づいて削除するフレームを決定する。このようにすることで、より多くの受信装置１１０で注目される注目領域を含むフレームがフレームスキップにより削除されにくくすることができる。
【００５４】
＜第３の実施形態＞
次に、注目領域の存在時間に基づいて削除するフレームを決定する例について、第１の実施形態との差異を中心に説明する。本形態の対応付け部１０４は、注目領域の動き情報や、撮像装置の撮像範囲の変更（パン、チルト、ズーム制御）に関する情報を用いて、注目領域がフレームに含まれる時間（存在時間）を予測する。存在時間は、注目領域が連続的に存在するフレーム数に対応する。そして、フレーム決定部１０６は、存在時間が長い注目領域が含まれるフレームが、存在時間が短い注目領域が含まれるフレームよりも優先的に削除されるように、送信バッファ１０２からフレームを削除する。
【００５５】
本形態の送信装置１００の処理を図６のフローチャートを用いて説明する。本形態の送信装置１００のＣＰＵは、図６に示す処理を実行するためのプログラムを、ＲＯＭから読み出して実行することで、図６の処理を実現する。ただし、図６の処理の少なくとも一部を専用のハードウェアで行うようにすることも可能である。また、以下の説明では、送信装置１００が、第１受信装置へ第１の動画データを送信し、第２受信装置へ第２の動画データを送信している場合について説明する。すなわち、本形態の送信装置１００は、複数の受信装置１１０（クライアント）に対して動画データを送信する。
送信装置１００の領域解析部１０５は、第１及び第２受信装置により指定された注目領域を特定するための注目情報を受信する（Ｓ６０１）。この例では、第１受信装置が大木オブジェクトを注目領域とする注目情報を送信し、第２受信装置が人物オブジェクトを注目領域とする注目情報を送信したとする。
【００５６】
データ解析部１０３は、送信バッファ１０２に保存されている動画データのフレームを解析してオブジェクトを検知する（Ｓ６０２）。また、対応付け部１０４は、Ｓ６０２において、動画データのフレームと注目領域の検知結果とを対応付ける。この例では、送信バッファ１０２に第１の動画データの第１及び第２及び第３フレームと、第２の動画データの第１及び第２及び第３フレームが保存されているとする。また、送信バッファ１０２に保存されている第１の動画データの第１及び第２及び第３のフレームから大木オブジェクトが１つ検知され、第２の動画データの第１及び第２及び第３のフレームから人物オブジェクトが１つ検知されているとする。この場合、対応付け部１０４は、各フレームと「注目領域１つ」を対応付ける。
【００５７】
また、対応付け部１０４は、Ｓ６０２において、注目情報に応じた各オブジェクトがフレームに含まれる時間（存在時間）を予測する。この例では、第１の動画データのフレームに大木オブジェクトが含まれる時間（第１の存在時間）を判定すると共に、第２の動画データのフレームに人物オブジェクトが含まれる時間（第２の存在時間）を判定する。本形態では、第２の存在時間が第１の存在時間よりも短いと判定される。
【００５８】
Ｓ６０２における存在時間の予測方法について、図７を用いて説明する。図７は、第１の動画データの第１フレームの例である。図７に示すように、フレーム７０１からは、人物オブジェクト７０２、車オブジェクト７０３、大木オブジェクト７０４、太陽オブジェクト７０５がデータ解析部１０３により検知される。ただし、第１受信装置からの注目情報に対応するオブジェクトは大木オブジェクトのみなので、第１フレームには「注目領域１つ」が、対応付け部１０４により対応づけられる。
【００５９】
また、図７に示すように、人物オブジェクト７０２は左方向、車オブジェクト７０３は右方向へ移動し、大木オブジェクト７０４及び太陽オブジェクト７０５は静止し、撮像方向は左方向へ移動していることがデータ解析部１０３の解析により検知される。対応付け部１０４は、データ解析部１０３により検知された動き情報（各オブジェクトの動きの方向及び速さ）、及び、各オブジェクトの位置、及び、撮像装置の撮像方向の制御内容に基づいて、各オブジェクトの存在時間を予測する。ただし、これらの情報のうちの一部を用いて予測することも可能である。
【００６０】
フレーム決定部１０６によりフレームスキップを実行すると判定されると（Ｓ６０３でＹＥＳ）、フレーム決定部１０６は、送信バッファ１０２内の各フレームの優先度を決定する（Ｓ６０４〜Ｓ６０６）。この例では、フレーム決定部１０６は、第１の動画データの第１及び第２及び第３フレームの優先度と、第２の動画データの第１及び第２及び第３フレームの優先度を判定する。なお、第１の動画データの各フレームから検知されている大木オブジェクトの存在時間は、第２の動画データの各フレームから検知されている人物オブジェクトの存在時間よりも長いと予測されているとする。この場合、フレーム決定部１０６は、第１の動画データの各フレームの優先度を、第２の動画データの各フレームの優先度よりも低く設定する。
【００６１】
各フレームの優先度が決定されると、フレーム決定部１０６は、削除するフレームを決定する（Ｓ６０７）。例えば、２枚のフレームを削除する場合、フレーム決定部１０６は、第１の動画データの第１及び第２フレームを削除する。即ち、フレーム決定部１０６は、第１の存在時間であると予測された注目領域（大木オブジェクト）を含む第１の動画データのフレームを、第２の存在時間であると予測された注目領域（人物オブジェクト）を含む第２の動画データのフレームより優先的に削除する。Ｓ６０７のフレームスキップの処理が完了すると、Ｓ６０１に戻る。
このように、存在時間がより長いと予測される注目領域を含むフレームを優先的に削除するようにすることで、フレームスキップにより注目領域の内容が見逃されてしまう可能性を低減できる。
【００６２】
なお、図６のＳ６０３でフレームスキップを実行しないと判定された場合、送信部１０８は、送信バッファ１０２に保存されているフレームを送信する（Ｓ６０８）。Ｓ６０８で送信されるフレーム数は、１フレームでも複数フレームでも良い。
【００６３】
また、本形態の対応付け部１０４は、動画データ内のオブジェクトの動きが不規則であるとデータ解析部１０３により判定された場合、動きが不規則でないと判定されたオブジェクトの存在時間よりも長く設定する。このようにすることで、実際には存在時間が短い注目領域を含むフレームが、存在時間の予測の間違いにより削除されてしまう可能性を低減できる。
【００６４】
また、上記の実施形態では、フレームスキップされたフレームを送信バッファ１０２から削除することを中心に説明しているが、当該フレームを送信しないようにすれば、送信バッファ１０２から削除しなくても良い。
【００６５】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
動画データをネットワークを介して送信する送信装置であって、
送信待ちの動画データのフレームを保存する保存手段と、
前記動画データのフレーム内に注目領域が含まれるか否かを判定する判定手段と、
前記送信待ちの動画データのフレームのうち注目領域を含まないフレームが、前記注目領域を含むフレームよりも優先的に送信しないフレームとして決定されるように、前記ネットワークの状況に応じて前記送信しないフレームを制御する制御手段とを有することを特徴とする送信装置。
【請求項２】
前記動画データの送信先であるクライアントで指定された座標情報を受信する受信手段を有し、
前記判定手段は、前記受信された座標情報により特定される注目領域が前記動画データのフレーム内に含まれるか否かを判定することを特徴とする請求項１に記載の送信装置。
【請求項３】
前記動画データに含まれる複数のオブジェクトのうち、前記動画データの送信先であるクライアントで指定されたオブジェクトの情報を受信する受信手段を有し、
前記判定手段は、前記受信されたオブジェクトの情報により特定される注目領域が前記動画データのフレーム内に含まれるか否かを判定することを特徴とする請求項１に記載の送信装置。
【請求項４】
前記制御手段は、前記注目領域を含む複数のフレームのうち前記注目領域の動きが検知されていないフレームが、前記注目領域の動きが検知されているフレームよりも優先的に送信しないフレームとして決定されるように制御することを特徴とする請求項１乃至３のうちいずれか１項に記載の送信装置。
【請求項５】
前記制御手段は、前記注目領域を含む複数のフレームのうち前記注目領域が所定の範囲内にないフレームが、前記注目領域が前記所定の範囲内にあるフレームよりも優先的に送信しないフレームとして決定されるように制御することを特徴とする請求項１乃至４のうちいずれか１項に記載の送信装置。
【請求項６】
前記制御手段は、第１の動画データの送信先である第１のクライアントでの指定に応じた第１の注目領域が含まれる第１のフレームが、第２の動画データの送信先である第２及び第３のクライアントのうち前記第２のクライアントでの指定に応じた第２の注目領域と、第３のクライアントでの指定に応じた第３の注目領域とが含まれる第２のフレームよりも優先的に送信しないフレームとして決定されるように制御することを特徴とする請求項１乃至５のうちいずれか１項に記載の送信装置。
【請求項７】
前記動画データのフレーム内に注目領域が含まれる存在時間を当該注目領域の動きに関する動き情報に基づいて予測する予測手段を有し、
前記制御手段は、第１の存在時間であると予測された第１の注目領域を含む第１のフレームが、前記第１の存在時間よりも短い第２の存在時間であると予測された第２の注目領域を含む第２のフレームよりも優先的に送信しないフレームとして決定されるように制御することを特徴とする請求項１乃至５のうちいずれか１項に記載の送信装置。
【請求項８】
前記予測手段は、前記動画データのフレーム内における前記注目領域の位置、及び、当該注目領域の動きの方向及び速さに基づいて前記注目領域の存在時間を予測することを特徴とする請求項７に記載の送信装置。
【請求項９】
前記予測手段は、前記動画データを撮像する撮像手段の撮像方向の制御内容に基づいて前記存在時間を予測することを特徴とする請求項７又は８に記載の送信装置。
【請求項１０】
動画データをネットワークを介して送信する送信装置であって、送信待ちの動画データのフレームを保存する保存手段を有する送信装置が行う制御方法であって、
前記動画データのフレーム内に注目領域が含まれるか否かを判定する判定工程と、
前記送信待ちの動画データのフレームのうち注目領域が含まれないフレームが、前記注目領域を含むフレームよりも優先的に送信しないフレームとして決定されるように、前記ネットワークの状況に応じて前記送信しないフレームを制御する制御工程とを有することを特徴とする制御方法。
【請求項１１】
動画データをネットワークを介して送信するコンピュータであって、送信待ちの動画データのフレームを保存する保存手段を有するコンピュータに、
前記動画データのフレーム内に注目領域が含まれるか否かを判定する判定手順と、
前記送信待ちの動画データのフレームのうち注目領域が含まれないフレームが、前記注目領域を含むフレームよりも優先的に送信しないフレームとして決定されるように、前記ネットワークの状況に応じて前記送信しないフレームを制御する制御手順とを実行させることを特徴とするプログラム。
【請求項１】
動画データをネットワークを介して送信する送信装置であって、
送信待ちの動画データのフレームを保存する保存手段と、
前記動画データのフレーム内に注目領域が含まれるか否かを判定する判定手段と、
前記送信待ちの動画データのフレームのうち注目領域を含まないフレームが、前記注目領域を含むフレームよりも優先的に送信しないフレームとして決定されるように、前記ネットワークの状況に応じて前記送信しないフレームを制御する制御手段とを有することを特徴とする送信装置。
【請求項２】
前記動画データの送信先であるクライアントで指定された座標情報を受信する受信手段を有し、
前記判定手段は、前記受信された座標情報により特定される注目領域が前記動画データのフレーム内に含まれるか否かを判定することを特徴とする請求項１に記載の送信装置。
【請求項３】
前記動画データに含まれる複数のオブジェクトのうち、前記動画データの送信先であるクライアントで指定されたオブジェクトの情報を受信する受信手段を有し、
前記判定手段は、前記受信されたオブジェクトの情報により特定される注目領域が前記動画データのフレーム内に含まれるか否かを判定することを特徴とする請求項１に記載の送信装置。
【請求項４】
前記制御手段は、前記注目領域を含む複数のフレームのうち前記注目領域の動きが検知されていないフレームが、前記注目領域の動きが検知されているフレームよりも優先的に送信しないフレームとして決定されるように制御することを特徴とする請求項１乃至３のうちいずれか１項に記載の送信装置。
【請求項５】
前記制御手段は、前記注目領域を含む複数のフレームのうち前記注目領域が所定の範囲内にないフレームが、前記注目領域が前記所定の範囲内にあるフレームよりも優先的に送信しないフレームとして決定されるように制御することを特徴とする請求項１乃至４のうちいずれか１項に記載の送信装置。
【請求項６】
前記制御手段は、第１の動画データの送信先である第１のクライアントでの指定に応じた第１の注目領域が含まれる第１のフレームが、第２の動画データの送信先である第２及び第３のクライアントのうち前記第２のクライアントでの指定に応じた第２の注目領域と、第３のクライアントでの指定に応じた第３の注目領域とが含まれる第２のフレームよりも優先的に送信しないフレームとして決定されるように制御することを特徴とする請求項１乃至５のうちいずれか１項に記載の送信装置。
【請求項７】
前記動画データのフレーム内に注目領域が含まれる存在時間を当該注目領域の動きに関する動き情報に基づいて予測する予測手段を有し、
前記制御手段は、第１の存在時間であると予測された第１の注目領域を含む第１のフレームが、前記第１の存在時間よりも短い第２の存在時間であると予測された第２の注目領域を含む第２のフレームよりも優先的に送信しないフレームとして決定されるように制御することを特徴とする請求項１乃至５のうちいずれか１項に記載の送信装置。
【請求項８】
前記予測手段は、前記動画データのフレーム内における前記注目領域の位置、及び、当該注目領域の動きの方向及び速さに基づいて前記注目領域の存在時間を予測することを特徴とする請求項７に記載の送信装置。
【請求項９】
前記予測手段は、前記動画データを撮像する撮像手段の撮像方向の制御内容に基づいて前記存在時間を予測することを特徴とする請求項７又は８に記載の送信装置。
【請求項１０】
動画データをネットワークを介して送信する送信装置であって、送信待ちの動画データのフレームを保存する保存手段を有する送信装置が行う制御方法であって、
前記動画データのフレーム内に注目領域が含まれるか否かを判定する判定工程と、
前記送信待ちの動画データのフレームのうち注目領域が含まれないフレームが、前記注目領域を含むフレームよりも優先的に送信しないフレームとして決定されるように、前記ネットワークの状況に応じて前記送信しないフレームを制御する制御工程とを有することを特徴とする制御方法。
【請求項１１】
動画データをネットワークを介して送信するコンピュータであって、送信待ちの動画データのフレームを保存する保存手段を有するコンピュータに、
前記動画データのフレーム内に注目領域が含まれるか否かを判定する判定手順と、
前記送信待ちの動画データのフレームのうち注目領域が含まれないフレームが、前記注目領域を含むフレームよりも優先的に送信しないフレームとして決定されるように、前記ネットワークの状況に応じて前記送信しないフレームを制御する制御手順とを実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１６９９１９（Ｐ２０１２−１６９９１９Ａ）
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願番号】特願２０１１−２９９６９（Ｐ２０１１−２９９６９）
【出願日】平成２３年２月１５日（２０１１．２．１５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願日】平成２３年２月１５日（２０１１．２．１５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]