映像送信装置、その制御方法、および制御方法を実行するプログラム
【課題】 フラグメントに含まれるフレーム数がＧＯＶに含まれるフレーム数より少ない場合でも、映像送信がどの時点で中断されてもリアルタイムに映像再生を行う。
【解決手段】 映像フレームを符号化する符号化部と、フレーム内符号化された映像フレームと、フレーム間予測符号化された映像フレームとを記憶する記憶部と、符号化部によってフレーム内符号化された映像フレームから、新たにフレーム内符号化された映像フレームの直前の映像フレームまでの映像フレーム群を複数に分割したフラグメントごとに、記憶部によって記憶された映像フレームを送信する送信部と、送信部による映像フレームの送信を制限することを決定した場合、制限することを決定した時点以降に符号化部によってフレーム内符号化される映像フレームより前の映像フレームの送信を、フラグメント単位で制限するように制御する制御部とを有する。
【解決手段】 映像フレームを符号化する符号化部と、フレーム内符号化された映像フレームと、フレーム間予測符号化された映像フレームとを記憶する記憶部と、符号化部によってフレーム内符号化された映像フレームから、新たにフレーム内符号化された映像フレームの直前の映像フレームまでの映像フレーム群を複数に分割したフラグメントごとに、記憶部によって記憶された映像フレームを送信する送信部と、送信部による映像フレームの送信を制限することを決定した場合、制限することを決定した時点以降に符号化部によってフレーム内符号化される映像フレームより前の映像フレームの送信を、フラグメント単位で制限するように制御する制御部とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレーム間予測符号化によって複数の映像フレームを符号化し、符号化後の映像フレームを１つ以上含む映像フレーム群ごとに映像データを送信する映像送信装置に関する。
【背景技術】
【０００２】
ネットワークの障害等が原因で映像送信の遅延や中断が発生した場合に、送信できなかった過去の映像フレーム群を破棄して、常に最新の映像フレーム群を送信して、遅延を少なくする技術がある（例えば、特許文献１参照）。
【０００３】
また、特許文献２には、フレーム間予測符号化された第一の映像データを生成する第一の符号化手段に加えて、フレーム内符号化された第二の映像データを生成する第二の符号化手段を設けている。そして、送信再開時に第二の映像データを第一の映像データの補完用として送信し、先に復号しておく。これにより、送信再開直後の部分がＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）の途中からであっても映像データを正しく復号、再生することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−０８６３６２号公報
【特許文献２】特開２００４−０５６８１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献２のようなシステムでは、受信側に２つの映像データを受信して切り替えるための特別な機能を組み込む必要があり、受信側の装置において一般的な再生処理によって映像データを再生することが困難である。ここで、一般的な映像データの再生処理方法として、ＱｕｉｃｋＴｉｍｅ ＰｌａｙｅｒやＷｉｎｄｏｗｓ（登録商標） Ｍｅｄｉａ Ｐｌａｙｅｒなどのメディアプレーヤーがあげられる。さらに、送信側の装置に符号化方法の異なる複数の符号化部を必要とする。そのため、ハードウェア構成の複雑化やソフトウェア処理負荷の増大といった問題が生じる。
【０００６】
また、ＭＰ４ファイルフォーマットでは、送信単位であるムービーフラグメント（以後、フラグメントとする）として、以下のオプションがある。
【０００７】
（１） フレーム間予測を用いずに符号化される参照映像フレームから次の参照映像フレームの直前までの映像フレームまでのＧＯＶ（Ｇｒｏｕｐ Ｏｆ Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎｅ）をフラグメントとする。
（２） ＧＯＶをさらに複数に分割したそれぞれをフラグメントとする。
【０００８】
前者の場合、フラグメントは常にＩフレーム（Ｉｎｔｒａ−ｃｏｄｅｄ ｆｒａｍｅ：フレーム内符号化された映像フレーム）から始まる。ところが後者の場合は、Ｐフレーム（Ｐｒｅｄｉｃｔｅｄ ｆｒａｍｅ：直前の映像フレームとの差分情報のみを保持する映像フレーム）などのＩフレーム以外の映像フレームから始まるフラグメントも存在する。
【０００９】
そのため、特許文献１で示すように単純に最新のフラグメントまでスキップして送信を再開する方法では、後者をフラグメントの単位とした場合、一般的な再生方法では、復号できずにエラーとなってしまう。
【００１０】
このような場合でも、Ｉフレームが欠落したフラグメントから次のＩフレームまでの映像フレームを無視する特別な機能を持つ復号部を受信側が備えることで、映像再生を継続することができる。しかしながら、一般的なネットワークメディアプレーヤーはこのような特別な機能を持つ復号部を備えず、こうした機能を持つ復号部を独自に受信側に搭載したとしても、複雑な処理を必要とするため、処理負荷が大きくなる。
【００１１】
また、ＧＯＶの長さ（フレーム数）が長い場合、Ｉフレームから始まるフラグメントの直後のＰフレームから始まるフラグメントから送信が再開された場合、次のＩフレームが現れるまで、長時間映像が停止することになる。
【００１２】
本発明はこうした課題を解決することを目的とする。
【課題を解決するための手段】
【００１３】
上述した目的を達成するために、映像フレームを符号化する符号化手段と、前記符号化手段によって映像フレーム内のデータを用いて符号化された映像フレームと、前記符号化手段によって他の映像フレームのデータを用いて符号化された映像フレームとを記憶する記憶手段と、前記符号化手段によって映像フレーム内のデータを用いて符号化された映像フレームから、新たに前記符号化手段によって映像フレーム内のデータを用いて符号化された映像フレームの直前の映像フレームまでの映像フレーム群を複数に分割したフラグメントごとに、前記記憶手段によって記憶された映像フレームを送信する送信手段と、前記送信手段による前記映像フレームの送信を制限することを決定した場合、前記制限することを決定した時点以降に前記符号化手段によってフレーム内のデータを用いて符号化される映像フレームより前の映像フレームの送信を、フラグメント単位で制限するように制御する制御手段と、を有することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、フラグメントに含まれるフレーム数がＧＯＶに含まれるフレーム数より少ない場合でも、特別な再生処理をしなくても映像送信がどの時点で中断されてもリアルタイムに映像再生が継続されるようになる。
【００１５】
また、再生停止時間と再生遅延時間のバランスを考慮して、再生停止時間の短さを優先した映像送信と再生遅延時間の短さを優先した映像送信を選択的に実施し、ＧＯＶの長さが長い場合でも最大映像停止時間を短くすることも可能である。
【図面の簡単な説明】
【００１６】
【図１】本発明を適用した映像送信装置のブロック図
【図２】フラグメントの生成の流れを表すフローチャート
【図３】送信待ち行列が保持するフラグメント情報の具体例
【図４】フラグメントの送信の流れを表すフローチャート
【図５】映像送信の中断前後に映像送信装置から送信されるフラグメントと、外部装置で再生されるフラグメントの時間との関係を表した図
【発明を実施するための形態】
【００１７】
以下、添付の図面に沿って本発明の実施の形態を説明する。
【００１８】
なお、以下に説明するフラグメントは、ＧＯＶをさらに複数に分割したそれぞれをフラグメント（フレーム群）とすることを前提としている。ＧＯＶ（Ｇｒｏｕｐ Ｏｆ Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎｅ）は、フレーム間予測を用いずに符号化される映像フレーム（Ｉフレーム）から次の映像フレーム（Ｉフレーム）の直前までの映像フレームまでのフレーム群である。Ｉフレーム（Ｉｎｔｒａ−ｃｏｄｅｄ ｆｒａｍｅ）は、映像フレーム内のデータを用いて符号化処理された映像フレームとする。本実施の形態では、このＩフレームを参照フレームと称している。また、Ｐフレーム（Ｐｒｅｄｉｃｔｅｄ ｆｒａｍｅ）は、直前の映像フレームの差分の映像フレームであり、映像フレーム間のデータを用いて符号化されたフレームの１例である。本実施の形態では、Ｐフレームの代わりに映像フレーム間のデータを用いて符号化された映像フレームでもよい場合がある。
【００１９】
図１は、本実施形態の映像送信装置のブロック図である。
【００２０】
映像送信装置は、撮影部１−１，符号化部１−２，一時記憶部１−３，制御部１−４，および通信部１−５を有する。撮影部１−１は、撮像素子を有し、映像フレームを生成する。符号化部１−２は、生成された映像フレームをフレーム間予測符号化し、フレーム内予測符号化する処理を行う符号化回路である。一時記憶部１−３は、符号化後の映像フレームを一時的に保持するメモリを有する。制御部１−４は、映像送信装置全体を統括制御するものであり、制御部の処理を実行するためのプログラムを格納したコンピュータ可読メモリおよびこのプログラムに基づいて処理を実行するＣＰＵを有する。通信部１−５は、ネットワーク１−６を介して符号化された映像フレームの送信や外部装置からのリクエストを受信する通信回路である。ネットワーク１−６は例えばインターネットなどである。
【００２１】
本実施形態の映像送信装置の制御部１−４は、送信待ち行列１−４１の情報をメモリに保持し、この送信待ち行列によって各フラグメントの情報を管理することによりフラグメントの生成あるいは破棄を行う。
【００２２】
図２は、映像送信装置の制御部１−４によって実行されるフラグメントの生成の処理フローチャートである。
【００２３】
まず、ステップＳ２１において、ネットワーク１−６を介して外部装置からの映像送信のリクエストを通信部１−５が受信する。すると、このリクエストを受け、制御部１−４はフラグメントの生成処理を開始する。まず、制御部１−４は、符号化部１−２に映像フレームの符号化を実行させ、符号化された映像フレームを一時記憶部１−３に保持させる。
【００２４】
ステップＳ２２において、制御部１−４は、一時記憶部１−３に保持された映像フレームがあらかじめ定められたフレーム数に達しているかどうか判断する。保持されたフレーム数があらかじめ定められたフレーム数に達していない場合はステップＳ２１の処理を繰り返す。保持されたフレーム数があらかじめ定められたフレーム数に達した場合、ステップＳ２３の処理に進む。
【００２５】
ステップＳ２３において、制御部１−４は、保持された映像フレームがあらかじめ定められたフレーム数に達すると、これらの映像フレームをグループ化したフラグメントを生成する。
【００２６】
ステップＳ２４において、制御部１−４は、送信待ちのフラグメント情報を管理するためにフラグメントの送信待ち行列に関する情報１−４１を保持する。そして、制御部１−４は、保持されたフラグメントをリクエストした外部装置に順次送信する。制御部１−４は、送信が完了すると、一時記憶部１−３のメモリに保持された送信済のフラグメントの映像フレームのデータを消去する。また、制御部１−４は、送信待ち行列に関する情報１−４１を参照し、未送信のフラグメントの数を確認する。
【００２７】
ステップＳ２５において、制御部１−４は、未送信のフラグメントの数が上限数に達しているかどうかの確認を行う。未送信のフラグメントの数が上限数を超えている場合、送信中断状態になっているなどの理由で送信が行われていないと考えられる。
【００２８】
そのため、ステップＳ２６において、制御部１−４は、未送信のフラグメントの数が上限数を超えている場合、未送信のフラグメントのうち後述する所定のルールに基づいて選択されたフラグメントを破棄する。すなわち、一時記憶部１−３のメモリから選択されたフラグメントの映像フレームのデータを消去する。なお、ステップＳ２６では、フラグメントの数を基準としたが、映像フレームの数を基準としてもよく、フラグメントの送信状態に応じた基準であれば、フラグメントの数に代用することができる。
【００２９】
一方、未送信のフラグメントが上限数を超えていない場合、あるいはステップＳ２６において未送信のフラグメントの破棄が完了した場合は、ステップＳ２７に処理が進む。ステップＳ２７において、制御部１−４は、ステップＳ２３において新たに生成されたフラグメントが一時記憶部に保持されるとともに、送信待ち行列に新たに生成されたフラグメントの情報が追加される。
【００３０】
ステップＳ２８において、制御部１−４は、映像送信を継続する必要があるかどうかの判定を行うため、リクエストした外部装置との接続が継続しているかどうかの確認を行う。
【００３１】
ステップＳ２９において、リクエストした外部装置との接続が継続している場合はステップＳ２１の処理に戻ってフラグメントの生成処理が継続される。受信側からの接続が全て終了しており、映像送信を継続する必要がないと判断された場合、フラグメントの生成処理が終了する。
【００３２】
なお、ステップＳ２１における処理は符号化部１−２の映像フレームの出力間隔ごとに実行され、ステップＳ２２〜Ｓ２８における処理はネットワークの通信状態などに左右されない処理である。したがって、ネットワークの通信状態が同じような状態であって、かつ全てのフラグメントが送信できない状態が継続していれば、ステップＳ２６におけるフラグメントの破棄は、定期的に実行されることになる。なお、図４に示すようにフラグメントの送信処理は、フラグメントの生成処理とは独立して実行されるものとする。
【００３３】
図３は、送信待ち行列に関する情報１−４１の具体例である。
【００３４】
送信待ち行列に関する情報は、各フラグメントのフラグメントＩＤ，ポインタ，参照フレーム（Ｉフレーム）生成時刻，送信フラグ，および参照フレームの有無に関する情報である。
【００３５】
フラグメントＩＤは、フラグメントの識別番号であり、フラグメントが生成された順にＩＤが付与される。ポインタは、一時記憶部１−３のどの位置にフラグメントの実体が保持されているかを示すものである。参照フレーム生成時刻は、各フラグメントが属するＧＯＶの先頭の参照フレーム（Ｉフレーム）が生成された時刻を示す。送信フラグは、フラグメントが送信済みか未送信かを示すフラグである。参照フレームフラグは、対応するフラグメントが参照フレーム（Ｉフレーム）を有しているか否かを示すフラグである。フラグメントが参照フレームを有している場合はフラグが「１」であり、参照フレームを有していない場合はフラグが「０」となる。これらの情報は、随時現在の状態を反映して更新される。
【００３６】
なお、これらの情報はあくまでも一例であり、全ての情報が必ず必要と言うわけではない。例えば、送信待ち行列に関するが未送信のフラグメントに関する情報のみを保持するようにすれば、送信フラグは不要である。このような場合でも参照フレーム生成時刻から、フラグメントがどのＧＯＶに属するのかを判断することができるので問題ない。
【００３７】
図３に示す具体例では、フラグメントが３３３ミリ秒ごと、ＧＯＶが１０００ミリ秒ごとに生成され、ＧＯＶが３つのフラグメントで構成される設定になっている。また、ＩＤ＝１、ＩＤ＝４、ＩＤ＝７、ＩＤ＝１０のフラグメントが参照フレーム（Ｉフレーム）から始まるフラグメントになっている。ＩＤ＝１及びＩＤ＝２のフラグメントは既に送信済みであり、ＩＤ＝２のフラグメントを送信した直後に送信が中断されたため、ＩＤ＝３以降のフラグメントは未送信となっている。
【００３８】
ここで、未送信フラグメントの上限数が９に設定されている場合、新たにＩＤ＝１２に対応するフラグメントが生成されると、未送信フラグメントの数が１０となって上限数を超えることになる。そのため、図２のステップＳ２６におけるフラグメントの破棄が実行される。本実施形態においては、未送信のフラグメントのうち、最も古いフラグメントから、最も新しく符号化された参照フレーム（Ｉフレーム）の直前のフラグメントまでが破棄される。図３の場合、ＩＤ＝３〜９のフラグメントが破棄される。このとき、制御部１−４は、参照フレーム生成時刻が異なるフラグメントの映像フレームのデータを一時記憶部１−３のメモリから消去すればよい。また、制御部１−４は、フラグメントＩＤおよび参照フレームフラグを参照することによって最も新しい参照フレームを有しているフラグメントを検出してもよい。その場合、制御部１−４は、最も古いフラグメントから、検出されたフラグメントの直前のフラグメントまでを一時記憶部１−３のメモリから消去すすることになる。
【００３９】
なお、未送信フラグメントの上限数（基準）を調整することで、ステップＳ２６のフラグメント破棄のタイミングを変化させ、外部装置における映像の再生遅延時間と再生停止時間のいずれを優先するかを選択することができる。例えば、未送信フラグメントの上限数を９とした場合は、最大で９個分の過去に生成されたフラグメントが、送信中断後に直近に生成されたフラグメントの前に再生されることになる。このとき、最大再生遅延時間は９×３３３ミリ秒で３秒となる。上限数を３とした場合は、最大再生遅延時間は３×３３３ミリ秒で１秒となる。すなわち、上限数が９の場合に比べて最大再生遅延時間は２秒短くなる。この上限数は映像フレームの送信先の外部装置のリクエストに応じて制御部１−４によって変更できる。
【００４０】
ところが、再生停止時間は再生遅延時間とトレードオフの関係にあるので、逆に、未送信フラグメントの上限数が９の場合は、上限数が３の場合に比べて、最大再生停止時間を２秒短くすることができる。このように、未送信フラグメントの上限数を小さくするほど再生遅延時間優先、大きくするほど再生停止時間優先にすることができる。
【００４１】
さらに、まだ生成されていないフラグメントを送信済みとして送信待ち行列に追加しておくことで、再生遅延時間をより短くすることも可能である。具体的には、図３のＩＤ＝１１のフラグメントが生成された時点で、まず、ＩＤ＝３〜１１までのフラグメントを破棄する。それとともに、次のＩフレームから始まるＩＤ＝１３のフラグメントの直前までのまだ生成されていないフラグメント、つまりＩＤ＝１２のフラグメントを、送信フラグが１の状態で送信待ち行列に追加する。そして、ＩＤ＝１２のフラグメントが生成されても、既に送信フラグが１として送信待ち行列に登録されていれば、ＩＤ＝１２のフラグメントは送信されない。なお、このときＩＤ＝１２は破棄する必要がある。これにより、後述の図５における時刻Ｔ２の直前に生成されたＩフレームから始まるフラグメント１０７から再生を再開するだけでなく、時刻Ｔ２の直後に生成されるＩフレームから始まるフラグメント１１０から再生を再開できる。
【００４２】
図４は、映像送信装置の制御部１−４によって実行されるフラグメントの送信の処理フローチャートである。
【００４３】
フラグメントの送信処理は、図２で示したフラグメントの生成処理と同様に、ネットワーク１−６を介して外部装置からの映像送信のリクエストを受けて開始される。
【００４４】
ステップＳ４１において、制御部１−４は、送信待ち行列に未送信のフラグメントがあるかどうかを確認する。ステップＳ４２において、未送信のフラグメントが存在しないと判断された場合、ステップＳ４３に進み、制御部１−４は、フラグメントの生成間隔の時間分待機する。一方、ステップＳ４２において、未送信のフラグメントがあると判断された場合、ステップＳ４４に進む。
【００４５】
ステップＳ４２において、制御部１−４は、送信待ち行列の未送信フラグメントのうち、最も生成時刻が古いフラグメントを通信部１−５に送信させる。最も生成時刻が古いかどうかは、フラグメントＩＤが最も小さいかどうかで判断することができる。
【００４６】
ステップＳ４５において、制御部１−４は、映像送信を継続する必要があるかどうかの判定を行うため、リクエストした外部装置との接続が継続しているかどうかの確認を行う。
【００４７】
ステップＳ４６において、外部装置との接続が継続している場合はステップＳ４１に戻り、送信処理が継続される。一方、外部装置との接続が終了した場合、制御部１−４は、フラグメントの送信処理を終了する。
【００４８】
ここで、ステップＳ４４におけるフラグメントの送信は、通信状況によってすぐに送信できない可能性があるため、ステップＳ４１の処理を実行する間隔は長くなる恐れがある。ところが、フラグメントの送信処理と図２のフラグメントの生成処理とは独立して処理が実行されており、ステップＳ２６のフラグメントの破棄はフラグメントの生成間隔ごとに定期的に実行される。そのため、通信状況によってステップＳ４１の実行間隔が延びた場合でも、問題なく映像の送信がスキップされることになる。
【００４９】
図５は、映像送信の中断前後に映像送信装置から送信されるフラグメントと、外部装置において受信されるフラグメントとの関係を時系列に示した図である。
【００５０】
図５（ａ）は、一時記憶部１−３に保持されるフラグメント，図５（ｂ）は、通信部１−５から実際に送信されるフラグメント，図５（ｃ）は、外部装置が受信するフラグメントを示している。図５（ａ）〜（ｃ）の横軸は時間軸である。
【００５１】
フラグメント１０１〜１１０は、それぞれ３つの映像フレームで構成されるフラグメントである。そして、フラグメント１０１〜１０３、１０４〜１０６、１０７〜１０９がそれぞれ１つのＧＯＶを構成している。各ＧＯＶの先頭のフラグメント５−１０１、５−１０４、５−１０７は参照フレーム（Ｉフレーム）であり、他のフラグメントはＰフレームである。図５（ａ）〜（ｃ）間の各フラグメント間を結ぶ破線の両矢印は、それぞれ同一フラグメントを示している。なお、図５では、映像送信装置において、各フラグメントの生成及び送信に要する時間は、簡略化のために０と仮定している。
【００５２】
ここで、一時的に何らかのネットワークトラブルが発生したことにより時刻Ｔ１からＴ２の間にフラグメントを送信できなくなったとする。その場合、本実施形態の映像送信装置では、時刻Ｔ２以降に生成された最初のフラグメント１０８が属するＧＯＶの先頭であり、時刻Ｔ２以前に生成されたＩフレームが含まれるフラグメント５−１０７から送信する。すなわち、欠落するフラグメントはフラグメント１０３〜１０６となる。
【００５３】
なお、本実施形態の映像送信装置では、時刻Ｔ２以降に生成されたフラグメント１０３を、時刻Ｔ２以降に最初に送信するようにしてもよい。フラグメント１０３が属するＧＯＶのフラグメント１０１，１０２は外部装置で受信されているためである。その際、フラグメント１０３が受信されるまでフラグメント１０１，１０２は外部装置で保持する必要がある。このとき、図２のステップＳ２６のフラグメントの廃棄処理において、制御部１−４は、参照フレームを有するフラグメントのうち最も古いものより以前に生成されたフラグメントを廃棄せずに一時記憶部１−３のメモリに保持しておく。すなわち、欠落するフラグメントはフラグメント１０４〜１０６となる。
【００５４】
すなわち、本実施形態の映像送信装置では、図５に示したように、フラグメント１０３（１０４）〜１０６の映像フレームは、欠落するために再生されない。しかしながら、中断直後に送信されるフラグメントについては再生に必要な映像フレームが全て揃っているため、外部装置において問題なく再生できる。すなわち、外部装置が汎用的なネットワークメディアプレーヤーしか有していない場合であってもフラグメント単位での送信の中断に対応できる。従って、再生遅延を小さく保ったまま欠落する映像フレームを最小化することも可能になる。
【００５５】
なお、外部装置における通常の再生処理では、図５（ｃ）で示したように、フラグメントの送信が中断されている場合、送信中断前に送信されたフラグメント１０２の末尾の映像フレームが表示され続ける。そして、フラグメントの送信再開後はフラグメント１０３〜１０６の映像フレームの再生がスキップされてフラグメント１０７の映像フレームから再生される。また、欠落するフラグメントをフラグメント１０４〜１０６とした場合は、送信再開後はまず、フラグメント１０３の映像フレームが再生されてから、フラグメント１０７の映像フレームが再生されることになる。
【００５６】
このように、フラグメントに含まれるフレーム数がＧＯＶに含まれるフレーム数より少ない場合でも、特別な機能を持った復号部をなくても、映像送信がどの時点で中断されても映像再生が継続されるようになる。
【符号の説明】
【００５７】
１−１ 撮像部
１−２ 符号化部
１−３ 一時記憶部
１−４ 制御部
１−５ 通信部
１−６ ネットワーク
【技術分野】
【０００１】
本発明は、フレーム間予測符号化によって複数の映像フレームを符号化し、符号化後の映像フレームを１つ以上含む映像フレーム群ごとに映像データを送信する映像送信装置に関する。
【背景技術】
【０００２】
ネットワークの障害等が原因で映像送信の遅延や中断が発生した場合に、送信できなかった過去の映像フレーム群を破棄して、常に最新の映像フレーム群を送信して、遅延を少なくする技術がある（例えば、特許文献１参照）。
【０００３】
また、特許文献２には、フレーム間予測符号化された第一の映像データを生成する第一の符号化手段に加えて、フレーム内符号化された第二の映像データを生成する第二の符号化手段を設けている。そして、送信再開時に第二の映像データを第一の映像データの補完用として送信し、先に復号しておく。これにより、送信再開直後の部分がＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）の途中からであっても映像データを正しく復号、再生することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−０８６３６２号公報
【特許文献２】特開２００４−０５６８１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献２のようなシステムでは、受信側に２つの映像データを受信して切り替えるための特別な機能を組み込む必要があり、受信側の装置において一般的な再生処理によって映像データを再生することが困難である。ここで、一般的な映像データの再生処理方法として、ＱｕｉｃｋＴｉｍｅ ＰｌａｙｅｒやＷｉｎｄｏｗｓ（登録商標） Ｍｅｄｉａ Ｐｌａｙｅｒなどのメディアプレーヤーがあげられる。さらに、送信側の装置に符号化方法の異なる複数の符号化部を必要とする。そのため、ハードウェア構成の複雑化やソフトウェア処理負荷の増大といった問題が生じる。
【０００６】
また、ＭＰ４ファイルフォーマットでは、送信単位であるムービーフラグメント（以後、フラグメントとする）として、以下のオプションがある。
【０００７】
（１） フレーム間予測を用いずに符号化される参照映像フレームから次の参照映像フレームの直前までの映像フレームまでのＧＯＶ（Ｇｒｏｕｐ Ｏｆ Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎｅ）をフラグメントとする。
（２） ＧＯＶをさらに複数に分割したそれぞれをフラグメントとする。
【０００８】
前者の場合、フラグメントは常にＩフレーム（Ｉｎｔｒａ−ｃｏｄｅｄ ｆｒａｍｅ：フレーム内符号化された映像フレーム）から始まる。ところが後者の場合は、Ｐフレーム（Ｐｒｅｄｉｃｔｅｄ ｆｒａｍｅ：直前の映像フレームとの差分情報のみを保持する映像フレーム）などのＩフレーム以外の映像フレームから始まるフラグメントも存在する。
【０００９】
そのため、特許文献１で示すように単純に最新のフラグメントまでスキップして送信を再開する方法では、後者をフラグメントの単位とした場合、一般的な再生方法では、復号できずにエラーとなってしまう。
【００１０】
このような場合でも、Ｉフレームが欠落したフラグメントから次のＩフレームまでの映像フレームを無視する特別な機能を持つ復号部を受信側が備えることで、映像再生を継続することができる。しかしながら、一般的なネットワークメディアプレーヤーはこのような特別な機能を持つ復号部を備えず、こうした機能を持つ復号部を独自に受信側に搭載したとしても、複雑な処理を必要とするため、処理負荷が大きくなる。
【００１１】
また、ＧＯＶの長さ（フレーム数）が長い場合、Ｉフレームから始まるフラグメントの直後のＰフレームから始まるフラグメントから送信が再開された場合、次のＩフレームが現れるまで、長時間映像が停止することになる。
【００１２】
本発明はこうした課題を解決することを目的とする。
【課題を解決するための手段】
【００１３】
上述した目的を達成するために、映像フレームを符号化する符号化手段と、前記符号化手段によって映像フレーム内のデータを用いて符号化された映像フレームと、前記符号化手段によって他の映像フレームのデータを用いて符号化された映像フレームとを記憶する記憶手段と、前記符号化手段によって映像フレーム内のデータを用いて符号化された映像フレームから、新たに前記符号化手段によって映像フレーム内のデータを用いて符号化された映像フレームの直前の映像フレームまでの映像フレーム群を複数に分割したフラグメントごとに、前記記憶手段によって記憶された映像フレームを送信する送信手段と、前記送信手段による前記映像フレームの送信を制限することを決定した場合、前記制限することを決定した時点以降に前記符号化手段によってフレーム内のデータを用いて符号化される映像フレームより前の映像フレームの送信を、フラグメント単位で制限するように制御する制御手段と、を有することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、フラグメントに含まれるフレーム数がＧＯＶに含まれるフレーム数より少ない場合でも、特別な再生処理をしなくても映像送信がどの時点で中断されてもリアルタイムに映像再生が継続されるようになる。
【００１５】
また、再生停止時間と再生遅延時間のバランスを考慮して、再生停止時間の短さを優先した映像送信と再生遅延時間の短さを優先した映像送信を選択的に実施し、ＧＯＶの長さが長い場合でも最大映像停止時間を短くすることも可能である。
【図面の簡単な説明】
【００１６】
【図１】本発明を適用した映像送信装置のブロック図
【図２】フラグメントの生成の流れを表すフローチャート
【図３】送信待ち行列が保持するフラグメント情報の具体例
【図４】フラグメントの送信の流れを表すフローチャート
【図５】映像送信の中断前後に映像送信装置から送信されるフラグメントと、外部装置で再生されるフラグメントの時間との関係を表した図
【発明を実施するための形態】
【００１７】
以下、添付の図面に沿って本発明の実施の形態を説明する。
【００１８】
なお、以下に説明するフラグメントは、ＧＯＶをさらに複数に分割したそれぞれをフラグメント（フレーム群）とすることを前提としている。ＧＯＶ（Ｇｒｏｕｐ Ｏｆ Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎｅ）は、フレーム間予測を用いずに符号化される映像フレーム（Ｉフレーム）から次の映像フレーム（Ｉフレーム）の直前までの映像フレームまでのフレーム群である。Ｉフレーム（Ｉｎｔｒａ−ｃｏｄｅｄ ｆｒａｍｅ）は、映像フレーム内のデータを用いて符号化処理された映像フレームとする。本実施の形態では、このＩフレームを参照フレームと称している。また、Ｐフレーム（Ｐｒｅｄｉｃｔｅｄ ｆｒａｍｅ）は、直前の映像フレームの差分の映像フレームであり、映像フレーム間のデータを用いて符号化されたフレームの１例である。本実施の形態では、Ｐフレームの代わりに映像フレーム間のデータを用いて符号化された映像フレームでもよい場合がある。
【００１９】
図１は、本実施形態の映像送信装置のブロック図である。
【００２０】
映像送信装置は、撮影部１−１，符号化部１−２，一時記憶部１−３，制御部１−４，および通信部１−５を有する。撮影部１−１は、撮像素子を有し、映像フレームを生成する。符号化部１−２は、生成された映像フレームをフレーム間予測符号化し、フレーム内予測符号化する処理を行う符号化回路である。一時記憶部１−３は、符号化後の映像フレームを一時的に保持するメモリを有する。制御部１−４は、映像送信装置全体を統括制御するものであり、制御部の処理を実行するためのプログラムを格納したコンピュータ可読メモリおよびこのプログラムに基づいて処理を実行するＣＰＵを有する。通信部１−５は、ネットワーク１−６を介して符号化された映像フレームの送信や外部装置からのリクエストを受信する通信回路である。ネットワーク１−６は例えばインターネットなどである。
【００２１】
本実施形態の映像送信装置の制御部１−４は、送信待ち行列１−４１の情報をメモリに保持し、この送信待ち行列によって各フラグメントの情報を管理することによりフラグメントの生成あるいは破棄を行う。
【００２２】
図２は、映像送信装置の制御部１−４によって実行されるフラグメントの生成の処理フローチャートである。
【００２３】
まず、ステップＳ２１において、ネットワーク１−６を介して外部装置からの映像送信のリクエストを通信部１−５が受信する。すると、このリクエストを受け、制御部１−４はフラグメントの生成処理を開始する。まず、制御部１−４は、符号化部１−２に映像フレームの符号化を実行させ、符号化された映像フレームを一時記憶部１−３に保持させる。
【００２４】
ステップＳ２２において、制御部１−４は、一時記憶部１−３に保持された映像フレームがあらかじめ定められたフレーム数に達しているかどうか判断する。保持されたフレーム数があらかじめ定められたフレーム数に達していない場合はステップＳ２１の処理を繰り返す。保持されたフレーム数があらかじめ定められたフレーム数に達した場合、ステップＳ２３の処理に進む。
【００２５】
ステップＳ２３において、制御部１−４は、保持された映像フレームがあらかじめ定められたフレーム数に達すると、これらの映像フレームをグループ化したフラグメントを生成する。
【００２６】
ステップＳ２４において、制御部１−４は、送信待ちのフラグメント情報を管理するためにフラグメントの送信待ち行列に関する情報１−４１を保持する。そして、制御部１−４は、保持されたフラグメントをリクエストした外部装置に順次送信する。制御部１−４は、送信が完了すると、一時記憶部１−３のメモリに保持された送信済のフラグメントの映像フレームのデータを消去する。また、制御部１−４は、送信待ち行列に関する情報１−４１を参照し、未送信のフラグメントの数を確認する。
【００２７】
ステップＳ２５において、制御部１−４は、未送信のフラグメントの数が上限数に達しているかどうかの確認を行う。未送信のフラグメントの数が上限数を超えている場合、送信中断状態になっているなどの理由で送信が行われていないと考えられる。
【００２８】
そのため、ステップＳ２６において、制御部１−４は、未送信のフラグメントの数が上限数を超えている場合、未送信のフラグメントのうち後述する所定のルールに基づいて選択されたフラグメントを破棄する。すなわち、一時記憶部１−３のメモリから選択されたフラグメントの映像フレームのデータを消去する。なお、ステップＳ２６では、フラグメントの数を基準としたが、映像フレームの数を基準としてもよく、フラグメントの送信状態に応じた基準であれば、フラグメントの数に代用することができる。
【００２９】
一方、未送信のフラグメントが上限数を超えていない場合、あるいはステップＳ２６において未送信のフラグメントの破棄が完了した場合は、ステップＳ２７に処理が進む。ステップＳ２７において、制御部１−４は、ステップＳ２３において新たに生成されたフラグメントが一時記憶部に保持されるとともに、送信待ち行列に新たに生成されたフラグメントの情報が追加される。
【００３０】
ステップＳ２８において、制御部１−４は、映像送信を継続する必要があるかどうかの判定を行うため、リクエストした外部装置との接続が継続しているかどうかの確認を行う。
【００３１】
ステップＳ２９において、リクエストした外部装置との接続が継続している場合はステップＳ２１の処理に戻ってフラグメントの生成処理が継続される。受信側からの接続が全て終了しており、映像送信を継続する必要がないと判断された場合、フラグメントの生成処理が終了する。
【００３２】
なお、ステップＳ２１における処理は符号化部１−２の映像フレームの出力間隔ごとに実行され、ステップＳ２２〜Ｓ２８における処理はネットワークの通信状態などに左右されない処理である。したがって、ネットワークの通信状態が同じような状態であって、かつ全てのフラグメントが送信できない状態が継続していれば、ステップＳ２６におけるフラグメントの破棄は、定期的に実行されることになる。なお、図４に示すようにフラグメントの送信処理は、フラグメントの生成処理とは独立して実行されるものとする。
【００３３】
図３は、送信待ち行列に関する情報１−４１の具体例である。
【００３４】
送信待ち行列に関する情報は、各フラグメントのフラグメントＩＤ，ポインタ，参照フレーム（Ｉフレーム）生成時刻，送信フラグ，および参照フレームの有無に関する情報である。
【００３５】
フラグメントＩＤは、フラグメントの識別番号であり、フラグメントが生成された順にＩＤが付与される。ポインタは、一時記憶部１−３のどの位置にフラグメントの実体が保持されているかを示すものである。参照フレーム生成時刻は、各フラグメントが属するＧＯＶの先頭の参照フレーム（Ｉフレーム）が生成された時刻を示す。送信フラグは、フラグメントが送信済みか未送信かを示すフラグである。参照フレームフラグは、対応するフラグメントが参照フレーム（Ｉフレーム）を有しているか否かを示すフラグである。フラグメントが参照フレームを有している場合はフラグが「１」であり、参照フレームを有していない場合はフラグが「０」となる。これらの情報は、随時現在の状態を反映して更新される。
【００３６】
なお、これらの情報はあくまでも一例であり、全ての情報が必ず必要と言うわけではない。例えば、送信待ち行列に関するが未送信のフラグメントに関する情報のみを保持するようにすれば、送信フラグは不要である。このような場合でも参照フレーム生成時刻から、フラグメントがどのＧＯＶに属するのかを判断することができるので問題ない。
【００３７】
図３に示す具体例では、フラグメントが３３３ミリ秒ごと、ＧＯＶが１０００ミリ秒ごとに生成され、ＧＯＶが３つのフラグメントで構成される設定になっている。また、ＩＤ＝１、ＩＤ＝４、ＩＤ＝７、ＩＤ＝１０のフラグメントが参照フレーム（Ｉフレーム）から始まるフラグメントになっている。ＩＤ＝１及びＩＤ＝２のフラグメントは既に送信済みであり、ＩＤ＝２のフラグメントを送信した直後に送信が中断されたため、ＩＤ＝３以降のフラグメントは未送信となっている。
【００３８】
ここで、未送信フラグメントの上限数が９に設定されている場合、新たにＩＤ＝１２に対応するフラグメントが生成されると、未送信フラグメントの数が１０となって上限数を超えることになる。そのため、図２のステップＳ２６におけるフラグメントの破棄が実行される。本実施形態においては、未送信のフラグメントのうち、最も古いフラグメントから、最も新しく符号化された参照フレーム（Ｉフレーム）の直前のフラグメントまでが破棄される。図３の場合、ＩＤ＝３〜９のフラグメントが破棄される。このとき、制御部１−４は、参照フレーム生成時刻が異なるフラグメントの映像フレームのデータを一時記憶部１−３のメモリから消去すればよい。また、制御部１−４は、フラグメントＩＤおよび参照フレームフラグを参照することによって最も新しい参照フレームを有しているフラグメントを検出してもよい。その場合、制御部１−４は、最も古いフラグメントから、検出されたフラグメントの直前のフラグメントまでを一時記憶部１−３のメモリから消去すすることになる。
【００３９】
なお、未送信フラグメントの上限数（基準）を調整することで、ステップＳ２６のフラグメント破棄のタイミングを変化させ、外部装置における映像の再生遅延時間と再生停止時間のいずれを優先するかを選択することができる。例えば、未送信フラグメントの上限数を９とした場合は、最大で９個分の過去に生成されたフラグメントが、送信中断後に直近に生成されたフラグメントの前に再生されることになる。このとき、最大再生遅延時間は９×３３３ミリ秒で３秒となる。上限数を３とした場合は、最大再生遅延時間は３×３３３ミリ秒で１秒となる。すなわち、上限数が９の場合に比べて最大再生遅延時間は２秒短くなる。この上限数は映像フレームの送信先の外部装置のリクエストに応じて制御部１−４によって変更できる。
【００４０】
ところが、再生停止時間は再生遅延時間とトレードオフの関係にあるので、逆に、未送信フラグメントの上限数が９の場合は、上限数が３の場合に比べて、最大再生停止時間を２秒短くすることができる。このように、未送信フラグメントの上限数を小さくするほど再生遅延時間優先、大きくするほど再生停止時間優先にすることができる。
【００４１】
さらに、まだ生成されていないフラグメントを送信済みとして送信待ち行列に追加しておくことで、再生遅延時間をより短くすることも可能である。具体的には、図３のＩＤ＝１１のフラグメントが生成された時点で、まず、ＩＤ＝３〜１１までのフラグメントを破棄する。それとともに、次のＩフレームから始まるＩＤ＝１３のフラグメントの直前までのまだ生成されていないフラグメント、つまりＩＤ＝１２のフラグメントを、送信フラグが１の状態で送信待ち行列に追加する。そして、ＩＤ＝１２のフラグメントが生成されても、既に送信フラグが１として送信待ち行列に登録されていれば、ＩＤ＝１２のフラグメントは送信されない。なお、このときＩＤ＝１２は破棄する必要がある。これにより、後述の図５における時刻Ｔ２の直前に生成されたＩフレームから始まるフラグメント１０７から再生を再開するだけでなく、時刻Ｔ２の直後に生成されるＩフレームから始まるフラグメント１１０から再生を再開できる。
【００４２】
図４は、映像送信装置の制御部１−４によって実行されるフラグメントの送信の処理フローチャートである。
【００４３】
フラグメントの送信処理は、図２で示したフラグメントの生成処理と同様に、ネットワーク１−６を介して外部装置からの映像送信のリクエストを受けて開始される。
【００４４】
ステップＳ４１において、制御部１−４は、送信待ち行列に未送信のフラグメントがあるかどうかを確認する。ステップＳ４２において、未送信のフラグメントが存在しないと判断された場合、ステップＳ４３に進み、制御部１−４は、フラグメントの生成間隔の時間分待機する。一方、ステップＳ４２において、未送信のフラグメントがあると判断された場合、ステップＳ４４に進む。
【００４５】
ステップＳ４２において、制御部１−４は、送信待ち行列の未送信フラグメントのうち、最も生成時刻が古いフラグメントを通信部１−５に送信させる。最も生成時刻が古いかどうかは、フラグメントＩＤが最も小さいかどうかで判断することができる。
【００４６】
ステップＳ４５において、制御部１−４は、映像送信を継続する必要があるかどうかの判定を行うため、リクエストした外部装置との接続が継続しているかどうかの確認を行う。
【００４７】
ステップＳ４６において、外部装置との接続が継続している場合はステップＳ４１に戻り、送信処理が継続される。一方、外部装置との接続が終了した場合、制御部１−４は、フラグメントの送信処理を終了する。
【００４８】
ここで、ステップＳ４４におけるフラグメントの送信は、通信状況によってすぐに送信できない可能性があるため、ステップＳ４１の処理を実行する間隔は長くなる恐れがある。ところが、フラグメントの送信処理と図２のフラグメントの生成処理とは独立して処理が実行されており、ステップＳ２６のフラグメントの破棄はフラグメントの生成間隔ごとに定期的に実行される。そのため、通信状況によってステップＳ４１の実行間隔が延びた場合でも、問題なく映像の送信がスキップされることになる。
【００４９】
図５は、映像送信の中断前後に映像送信装置から送信されるフラグメントと、外部装置において受信されるフラグメントとの関係を時系列に示した図である。
【００５０】
図５（ａ）は、一時記憶部１−３に保持されるフラグメント，図５（ｂ）は、通信部１−５から実際に送信されるフラグメント，図５（ｃ）は、外部装置が受信するフラグメントを示している。図５（ａ）〜（ｃ）の横軸は時間軸である。
【００５１】
フラグメント１０１〜１１０は、それぞれ３つの映像フレームで構成されるフラグメントである。そして、フラグメント１０１〜１０３、１０４〜１０６、１０７〜１０９がそれぞれ１つのＧＯＶを構成している。各ＧＯＶの先頭のフラグメント５−１０１、５−１０４、５−１０７は参照フレーム（Ｉフレーム）であり、他のフラグメントはＰフレームである。図５（ａ）〜（ｃ）間の各フラグメント間を結ぶ破線の両矢印は、それぞれ同一フラグメントを示している。なお、図５では、映像送信装置において、各フラグメントの生成及び送信に要する時間は、簡略化のために０と仮定している。
【００５２】
ここで、一時的に何らかのネットワークトラブルが発生したことにより時刻Ｔ１からＴ２の間にフラグメントを送信できなくなったとする。その場合、本実施形態の映像送信装置では、時刻Ｔ２以降に生成された最初のフラグメント１０８が属するＧＯＶの先頭であり、時刻Ｔ２以前に生成されたＩフレームが含まれるフラグメント５−１０７から送信する。すなわち、欠落するフラグメントはフラグメント１０３〜１０６となる。
【００５３】
なお、本実施形態の映像送信装置では、時刻Ｔ２以降に生成されたフラグメント１０３を、時刻Ｔ２以降に最初に送信するようにしてもよい。フラグメント１０３が属するＧＯＶのフラグメント１０１，１０２は外部装置で受信されているためである。その際、フラグメント１０３が受信されるまでフラグメント１０１，１０２は外部装置で保持する必要がある。このとき、図２のステップＳ２６のフラグメントの廃棄処理において、制御部１−４は、参照フレームを有するフラグメントのうち最も古いものより以前に生成されたフラグメントを廃棄せずに一時記憶部１−３のメモリに保持しておく。すなわち、欠落するフラグメントはフラグメント１０４〜１０６となる。
【００５４】
すなわち、本実施形態の映像送信装置では、図５に示したように、フラグメント１０３（１０４）〜１０６の映像フレームは、欠落するために再生されない。しかしながら、中断直後に送信されるフラグメントについては再生に必要な映像フレームが全て揃っているため、外部装置において問題なく再生できる。すなわち、外部装置が汎用的なネットワークメディアプレーヤーしか有していない場合であってもフラグメント単位での送信の中断に対応できる。従って、再生遅延を小さく保ったまま欠落する映像フレームを最小化することも可能になる。
【００５５】
なお、外部装置における通常の再生処理では、図５（ｃ）で示したように、フラグメントの送信が中断されている場合、送信中断前に送信されたフラグメント１０２の末尾の映像フレームが表示され続ける。そして、フラグメントの送信再開後はフラグメント１０３〜１０６の映像フレームの再生がスキップされてフラグメント１０７の映像フレームから再生される。また、欠落するフラグメントをフラグメント１０４〜１０６とした場合は、送信再開後はまず、フラグメント１０３の映像フレームが再生されてから、フラグメント１０７の映像フレームが再生されることになる。
【００５６】
このように、フラグメントに含まれるフレーム数がＧＯＶに含まれるフレーム数より少ない場合でも、特別な機能を持った復号部をなくても、映像送信がどの時点で中断されても映像再生が継続されるようになる。
【符号の説明】
【００５７】
１−１ 撮像部
１−２ 符号化部
１−３ 一時記憶部
１−４ 制御部
１−５ 通信部
１−６ ネットワーク
【特許請求の範囲】
【請求項１】
映像フレームを符号化する符号化手段と、
前記符号化手段によって映像フレーム内のデータを用いて符号化された映像フレームと、前記符号化手段によって他の映像フレームのデータを用いて符号化された映像フレームとを記憶する記憶手段と、
前記符号化手段によって映像フレーム内のデータを用いて符号化された映像フレームから、新たに前記符号化手段によって映像フレーム内のデータを用いて符号化された映像フレームの直前の映像フレームまでの映像フレーム群を複数に分割したフラグメントごとに、前記記憶手段によって記憶された映像フレームを送信する送信手段と、
前記送信手段による前記映像フレームの送信を制限することを決定した場合、前記制限することを決定した時点以降に前記符号化手段によってフレーム内のデータを用いて符号化される映像フレームより前の映像フレームの送信を、フラグメント単位で制限するように制御する制御手段と、
を有することを特徴とする映像送信装置。
【請求項２】
請求項１において、前記制御手段は、前記送信手段による前記フラグメントの送信を制限する場合、前記送信手段によって送信されていない映像フレームのうち、フレーム内のデータを用いて符号化された映像フレームを有する最も古いフラグメントより古い映像フレームを送信するように制御すること
を特徴とする映像送信装置。
【請求項３】
請求項１において、前記制御手段は、前記記憶手段によって記憶され、前記送信手段によって送信されていない映像フレームのフラグメントの数または映像フレームの数が所定の上限数を超えている場合に前記送信手段による前記フラグメントの送信を制限すること
を特徴とする映像送信装置。
【請求項４】
請求項３において、前記制御手段は、映像フレームの送信先の装置のリクエストに応じて前記上限数を変更することを特徴とする映像送信装置。
【請求項５】
映像フレームを符号化する符号化ステップと、
前記符号化ステップにおいて映像フレーム内のデータを用いて符号化された映像フレームと、前記符号化ステップにおいて他の映像フレームのデータを用いて符号化された映像フレームをメモリに記憶する記憶ステップと、
前記符号化ステップにおいて、映像フレーム内のデータを用いて符号化された映像フレームから、新たに前記符号化ステップにおいて映像フレーム内のデータを用いて符号化された映像フレームの直前の映像フレームまでの映像フレーム群を複数に分割したフラグメントごとに、前記メモリに記憶された映像フレームを送信する送信ステップと、
前記送信ステップにおける前記映像フレームの送信を制限することを決定した場合、前記制限することを決定した時点以降にフレーム内のデータを用いて符号化される映像フレームより前の映像フレームの送信を、フラグメント単位で制限するように制御する制御ステップと、
を有することを特徴とする映像送信装置の制御方法。
【請求項６】
請求項５において、前記制御ステップにおいて前記フラグメントの送信を制限する場合、前記送信ステップにおいて送信されていない映像フレームのうち、フレーム内のデータを用いて符号化された映像フレームを有する最も古いフラグメントより古い映像フレーム
を送信するように制御することを特徴とする映像送信装置の制御方法。
【請求項７】
コンピュータに、
映像フレームを符号化する符号化手順と、
前記符号化手順において映像フレーム内のデータを用いて符号化された映像フレームと、前記符号化手順において他の映像フレームのデータを用いて符号化された映像フレームをメモリに記憶する記憶手順と、
前記符号化手順において、映像フレーム内のデータを用いて符号化された映像フレームから、新たに前記符号化手順において映像フレーム内のデータを用いて符号化された映像フレームの直前の映像フレームまでの映像フレーム群を複数に分割したフラグメントごとに、前記メモリに記憶された映像フレームを送信する送信手順と、
前記送信手順における前記映像フレームの送信を制限することを決定した場合、前記制限することを決定した時点以降にフレーム内のデータを用いて符号化される映像フレームより前の映像フレームの送信を、フラグメント単位で制限するように制御する制御手順と、
を実行させるためのプログラム。
【請求項８】
請求項７において、前記制御手順において前記フラグメントの送信を制限する場合、前記送信手順において送信されていない映像フレームのうち、フレーム内のデータを用いて符号化された映像フレームを有する最も古いフラグメントより古い映像フレームを送信するように制御することを特徴とするプログラム。
【請求項１】
映像フレームを符号化する符号化手段と、
前記符号化手段によって映像フレーム内のデータを用いて符号化された映像フレームと、前記符号化手段によって他の映像フレームのデータを用いて符号化された映像フレームとを記憶する記憶手段と、
前記符号化手段によって映像フレーム内のデータを用いて符号化された映像フレームから、新たに前記符号化手段によって映像フレーム内のデータを用いて符号化された映像フレームの直前の映像フレームまでの映像フレーム群を複数に分割したフラグメントごとに、前記記憶手段によって記憶された映像フレームを送信する送信手段と、
前記送信手段による前記映像フレームの送信を制限することを決定した場合、前記制限することを決定した時点以降に前記符号化手段によってフレーム内のデータを用いて符号化される映像フレームより前の映像フレームの送信を、フラグメント単位で制限するように制御する制御手段と、
を有することを特徴とする映像送信装置。
【請求項２】
請求項１において、前記制御手段は、前記送信手段による前記フラグメントの送信を制限する場合、前記送信手段によって送信されていない映像フレームのうち、フレーム内のデータを用いて符号化された映像フレームを有する最も古いフラグメントより古い映像フレームを送信するように制御すること
を特徴とする映像送信装置。
【請求項３】
請求項１において、前記制御手段は、前記記憶手段によって記憶され、前記送信手段によって送信されていない映像フレームのフラグメントの数または映像フレームの数が所定の上限数を超えている場合に前記送信手段による前記フラグメントの送信を制限すること
を特徴とする映像送信装置。
【請求項４】
請求項３において、前記制御手段は、映像フレームの送信先の装置のリクエストに応じて前記上限数を変更することを特徴とする映像送信装置。
【請求項５】
映像フレームを符号化する符号化ステップと、
前記符号化ステップにおいて映像フレーム内のデータを用いて符号化された映像フレームと、前記符号化ステップにおいて他の映像フレームのデータを用いて符号化された映像フレームをメモリに記憶する記憶ステップと、
前記符号化ステップにおいて、映像フレーム内のデータを用いて符号化された映像フレームから、新たに前記符号化ステップにおいて映像フレーム内のデータを用いて符号化された映像フレームの直前の映像フレームまでの映像フレーム群を複数に分割したフラグメントごとに、前記メモリに記憶された映像フレームを送信する送信ステップと、
前記送信ステップにおける前記映像フレームの送信を制限することを決定した場合、前記制限することを決定した時点以降にフレーム内のデータを用いて符号化される映像フレームより前の映像フレームの送信を、フラグメント単位で制限するように制御する制御ステップと、
を有することを特徴とする映像送信装置の制御方法。
【請求項６】
請求項５において、前記制御ステップにおいて前記フラグメントの送信を制限する場合、前記送信ステップにおいて送信されていない映像フレームのうち、フレーム内のデータを用いて符号化された映像フレームを有する最も古いフラグメントより古い映像フレーム
を送信するように制御することを特徴とする映像送信装置の制御方法。
【請求項７】
コンピュータに、
映像フレームを符号化する符号化手順と、
前記符号化手順において映像フレーム内のデータを用いて符号化された映像フレームと、前記符号化手順において他の映像フレームのデータを用いて符号化された映像フレームをメモリに記憶する記憶手順と、
前記符号化手順において、映像フレーム内のデータを用いて符号化された映像フレームから、新たに前記符号化手順において映像フレーム内のデータを用いて符号化された映像フレームの直前の映像フレームまでの映像フレーム群を複数に分割したフラグメントごとに、前記メモリに記憶された映像フレームを送信する送信手順と、
前記送信手順における前記映像フレームの送信を制限することを決定した場合、前記制限することを決定した時点以降にフレーム内のデータを用いて符号化される映像フレームより前の映像フレームの送信を、フラグメント単位で制限するように制御する制御手順と、
を実行させるためのプログラム。
【請求項８】
請求項７において、前記制御手順において前記フラグメントの送信を制限する場合、前記送信手順において送信されていない映像フレームのうち、フレーム内のデータを用いて符号化された映像フレームを有する最も古いフラグメントより古い映像フレームを送信するように制御することを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１３−１１０７６０（Ｐ２０１３−１１０７６０Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１３−１９３２４（Ｐ２０１３−１９３２４）
【出願日】平成２５年２月４日（２０１３．２．４）
【分割の表示】特願２００８−２２２０２０（Ｐ２００８−２２２０２０）の分割
【原出願日】平成２０年８月２９日（２００８．８．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２５年２月４日（２０１３．２．４）
【分割の表示】特願２００８−２２２０２０（Ｐ２００８−２２２０２０）の分割
【原出願日】平成２０年８月２９日（２００８．８．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]