映像データ伝送装置
【課題】回線品質に適合し、更に用途に応じた映像データ伝送装置を提供する。
【解決手段】フレーム符号化部２２は基本フレーム、差分フレームを別々に符号化する。符号化制御部２３は、データ送信制御部２５から符号化データ量の通知を受け、同じ差分フレームを異なった解像度で階層型符号化する。データ送信制御部は遅延時間，ジッタ，エラーパケットおよびスループットを測定する。この測定結果により得られる回線品質情報は、回線決定に使用されると共に符号化データ量を決定するために使用される。データ送信制御部は、回線帯域を最大限に利用する映像伝送、回線帯域に応じてフレーム数を最大にする映像伝送、回線帯域に応じて遅延が最小となる映像伝送を自動で切替えることができる。
【解決手段】フレーム符号化部２２は基本フレーム、差分フレームを別々に符号化する。符号化制御部２３は、データ送信制御部２５から符号化データ量の通知を受け、同じ差分フレームを異なった解像度で階層型符号化する。データ送信制御部は遅延時間，ジッタ，エラーパケットおよびスループットを測定する。この測定結果により得られる回線品質情報は、回線決定に使用されると共に符号化データ量を決定するために使用される。データ送信制御部は、回線帯域を最大限に利用する映像伝送、回線帯域に応じてフレーム数を最大にする映像伝送、回線帯域に応じて遅延が最小となる映像伝送を自動で切替えることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像出力装置が出力する映像を映像データとして伝送路により伝送し、映像入力装置における映像再生に供する映像データ伝送装置に関する。
【背景技術】
【０００２】
従来、この種の映像データ伝送装置は、１画面を出力するために必要な基本フレームと、基本フレームの差分を表した差分フレームを別々に符号化し、基本フレームと差分フレームを別々の回線で送信する。その際、回線品質を監視し、回線品質に合わせて符号化圧縮率を変化させ、常に回線帯域に適切な映像品質で映像を伝送するようにしている（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開２００７−３２９７０７号公報（第３頁−第４頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、映像データ伝送には、画質を重視した映像伝送、フレーム数が最大となる動きを重視した映像伝送や遅延時間を少なくしリアルタイム性を重視した映像伝送等様々な目的があるが、これらは回線品質の内容によって、適えられる場合と適えられない場合があり得る。しかしながら、上述した従来の方法では、回線品質の内容によって伝送形態を自在に切り替える手段を欠いているため、回線の有効活用を期し難いという問題点がある。
【０００５】
そこで、本発明の目的は、最大限の映像を送り、様々な用途に合わせて最適な映像伝送を行うと共に、伝送形態を柔軟化して回線を有効に活用することができる映像伝送装置を提供することにある。
【課題を解決するための手段】
【０００６】
前記の課題を解決するため、本発明の映像データ伝送装置は、基本フレームと差分フレームを別個に符号化し、１回線または複数回線使用し、基本フレームと差分フレームを必ずしも別々の回線で送信するのではなく、基本フレームの優先度を高くして、映像データの送信を行う。この構成により、回線が繋がっている状態の時は最低限の映像伝送ができる。また、基本フレームを送信する回線帯域に余裕があるときは、その回線で差分フレームも送信するため、帯域を有効に活用することができる。
【０００７】
更に、本発明の映像データ伝送装置は、差分フレームの符号化を行う符号化制御部により、１つの差分フレームを回線数、回線状況に応じて同時に異なった解像度で符号化（階層型符号化）を行う。階層型符号化を行うことで、回線帯域に応じて差分フレームに優先順位をつけ、回線帯域に最適な解像度のデータ量で差分フレームを伝送することができる。
【０００８】
更に、本発明の映像データ伝送装置は、回線帯域を最大限に利用して最大ビットレートでの映像伝送できる構成をしている。この構成により、画質を重視した映像伝送ができる。
【０００９】
更に、本発明の映像データ伝送装置は、回線帯域に応じてフレーム数を最大にして映像を伝送できる構成をしている。この構成により、映像の動きを重視した映像伝送を行うことができる。
【００１０】
更に、本発明の映像データ伝送装置は、回線帯域に応じて遅延が最小となる映像伝送ができる構成をしている、この構成により、リアルタイム性を重視した映像伝送を行うことができる。
【００１１】
更に、本発明の映像データ伝送装置は、前記の回線帯域を最大限に利用する映像伝送、回線帯域に応じてフレーム数を最大にする映像伝送、回線帯域に応じて遅延が最小となる映像伝送を自動で切替えることができる構成をしている。この構成により、用途に応じて出力する映像を変化させることができる。
【００１２】
更に、本発明の映像データ伝送装置は、データ送信部とデータ受信部において、遅延時間，エラーパケット数，ジッタ，スループットを測定・解析し、これらの回線品質情報を基に回線状態を監視することができる構成になっている。この構成により、回線状態の情報を取得することができ、これらの情報より回線状態を把握することができる。
【００１３】
回線状態に異常があった場合にはデータ送信部へ通知することができる。この構成により、データ送信装置は、異常があった回線を知ることができ、一時的に異常があった回線の使用を停止し、回線の安全性を確認した後、回線を再使用することができる。
【００１４】
また、データ送信部、データ受信部の両方で、回線状況を監視することにより、リアルタイムに回線状況を把握することができる構成になっている。この構成により、データ送信装置が取得できなかった回線情報をデータ受信装置が取得するため、回線情報を二重に取得することができるので信頼性が向上する。
【００１５】
更に、本発明の映像データ伝送装置は、基本フレーム、差分フレームのデータパケットが落ちた時、復号化部において前後の基本フレーム、差分フレームを基に映像データを予測し復号化できる構成になっている。この構成により、信頼性の高い映像伝送ができる。
【００１６】
更に、本発明の映像データ伝送装置は、１つの差分フレームを異なった解像度で符号化し、各回線に送信していることから、同一の差分フレームを受信する構成になっている。この構成により、データ受信装置は同一の差分フレームを結合し、１つの差分フレームとすることができる。従って、複数の差分フレームが結合することにより、最良の映像が出力できる。
【発明の効果】
【００１７】
本発明をよれば、映像伝送を行う際に、回線状況の変化に応じて送信する映像データ量を適応させて、回線品質にあった映像伝送を行なうことができる。その理由は、回線品質を監視し映像データを帯域に余裕がある回線から送信することができるからである。
【００１８】
また、映像伝送を用途に合わせて回線帯域を有効に活用し、最良の映像伝送を行うことができる。その理由は、送信ビットレートが最大となる映像伝送、フレーム数が最大となる映像伝送、遅延時間を最小となる映像伝送が行うように設定することができ、また、これらの伝送形態を目的に応じて変化させることも可能である。
【発明を実施するための最良の形態】
【００１９】
次に、本発明の実施の形態について図面を参照して詳細に説明する。
【００２０】
［構成の説明］
図８は、本発明の映像データ伝送装置が適用される映像伝送システムを示す図である。この映像伝送システムは、映像出力装置１０が出力する映像データを映像データ伝送装置により伝送して映像入力装置１４において映像を再生するものである。映像データ伝送装置は、データ送信装置１１，データ伝送路１２およびデータ受信装置１３から成る。データ伝送路１２は、回線はｆ１、ｆ２、ｆ３の３回線接続できる構成になっている。回線ｆ１，回線ｆ２，回線ｆ３の回線速度は、それぞれ６４ｋｂｐｓ，１２８ｋｂｐｓ，２５６ｋｂｐｓとする。
【００２１】
データ送信装置１１は、映像出力装置１０が出力する映像データを入力して、A/D変換，符号化およびＩＰパケット化し、基本フレームと差分フレームに分け、データ伝送路１２を介して伝送する。基本フレームとは、映像データの映像ストリームを成す各映像フレームにおいて、映像を再生するために必要な最低限の情報を含んだ映像フレームをいう。また、差分フレームとは、時の経過により基本フレームから変化した差分画像部分を表す映像フレームをいう。
【００２２】
データ送信装置１１は、データ送信の際、データ伝送路１２の回線品質情報をデータ受信装置１３から得て解像度を決定し、同じ差分フレームを異なった解像度により階層型符号化し、基本フレームは回線ｆ１、低解像度の差分フレームは回線ｆ２、高解像度の差分フレームはｆ３により送信する。
【００２３】
データ受信装置１２は、データ送信装置１１から映像データを受信すると、ＩＰパケットを分解処理、送信順に並び替え、複合化およびD/A変換して映像入力装置１４へ出力する。並び替えの際、解像度の異なった２つの差分フレームを結合して１つの差分フレームとし、これと基本フレームとで映像フレームを作成する。
【００２４】
また、データ受信装置１２は、データ送信装置１１から映像データを受信すると、回線品質情報を取得し、データ伝送路１２を介してデータ送信装置１１へ送信して、上述の階層化符号化のために供する。
【００２５】
図１はデータ送信装置１１の詳細を示すブロック図である。データ送信装置１１は、A/D変換部２１，基本フレーム符号化部２２−１および差分フレーム符号化部２２−２から成るフレーム符号化部２２，符号化制御部２３，基本フレームＩＰパケット化部２４−１，差分フレームＩＰパケット化部２４−２並びにデータ送信制御部２５で構成されている。
【００２６】
A/D変換部２１は、アナログ出力を行う映像出力装置１０から映像データを入力するとA/D変換を行い、アナログ信号をデジタル信号に変換する。フレーム符号化部２２においては、A/D変換部２１からの映像データに対して、基本フレーム符号化部２２−１が基本フレーム、差分フレーム符号化部２２−２が差分フレームをそれぞれ符号化する。
【００２７】
基本フレームＩＰパケット化部２４−１は、基本フレーム符号化部２２−１において符号化された基本フレームからUDP（User Datagram Protocol）パケットを生成し、ＩＰヘッダを追加してＩＰパケット化する。この際、データ送信制御部２５からの複製回数の通知を受け、ＩＰパケット化を複数回行なう。ＩＰパケット化された基本パケットはデータ送信制御部２５へ送られる。
【００２８】
符号化制御部２３は、データ送信制御部２５から符号化データ量の通知を受け、同じ差分フレームを異なった解像度で階層型符号化する。階層型符号化は、符号化する映像データのブロックサイズを解像度に従って大きくしたり小さくすることで行う。
【００２９】
差分フレームＩＰパケット化部２４−２は、符号化制御部２３で階層型符号化された差分フレームからUDPパケットを生成し、ＩＰヘッダを追加してＩＰパケットを生成する。ＩＰパケット化された差分フレームはデータ送信制御部２５へ送られる。
【００３０】
データ送信制御部２５は、基本フレームＩＰパケット化部２４−１および差分フレームＩＰパケット化部２４−２からＩＰパケットを受け取ると、送信する映像データ順に映像フレームを並び替えて送信する。基本フレームと差分フレームの優先順位は基本フレームが高く、差分フレームの優先度は解像度の低いものを高くする。
【００３１】
データ送信制御部２５は、回線数が３であることを判断し各回線の帯域を求める。回線帯域を求めるために、遅延時間，ジッタ，エラーパケットおよびスループットを測定する。この測定結果により得られる回線品質情報は、上記の回線決定に使用されると共に、基本フレームＩＰパケット化部２４−１へ通知する複製回数と符号化制御部２３へ通知する符号化データ量を決定するために使用される。なお、データ送信制御部２５は、回線の切断や追加を認識して回線数を把握し、基本フレームを送信する回線を適切に選択して切り替えるようにすることもできる。
【００３２】
また、データ送信制御部２５において、各回線の送信ビットレートの基準値を設定しておき、映像データを送信する。基準値は最低限映像データを送信できるビットレートを設定する。設定したビットレートは回線品質情報により変更する。
【００３３】
図２はデータ送信制御部２５の詳細ブロック図である。データ送信制御部２５は、２つの回線品質情報取得部３１−１，３１−２，基本フレーム送信部３２−１，差分フレーム送信部３２−２，差分フレーム保持バッファ部３３，複製回数決定部３４および符号化データ量決定部３５から成る。
【００３４】
回線品質情報取得部３１−１は上り方向の回線品質情報を自ら取得し、回線品質情報取得部３１−２は下り方向の回線品質情報をデータ受信装置１３から受信する。そのため、本映像伝送装置が回線接続されると、回線品質情報取得部３１−１は、回線品質情報取得のためのデータをデータ受信装置１３へ送信し、その応答データにより回線品質情報を取得する。また、データ受信装置１３においては回線品質情報取得のためのデータをデータ送信装置１１へ送信し、その応答データにより回線品質情報を取得する。データ受信装置１３で取得された回線品質情報ｉ１，ｉ２，ｉ３はデータ送信装置１１へ送信され、回線品質情報取得部３１−２により取得される。回線品質情報ｉ１，ｉ２，ｉ３は回線ｆ１，ｆ２，ｆ３に対応する。
【００３５】
回線品質情報取得部３１−１は、回線品質情報を基本フレーム送信部３２−１，差分フレーム送信部３２−２，複製回数決定部３４および符号化データ量決定部３５へ渡す。また、回線品質情報取得部３１−２回線品質情報を基本フレーム送信部３２−１および差分フレーム送信部３２−２へ渡す。
【００３６】
基本フレーム送信部３２−１は、上り方向の回線品質情報と下り方向の回線品質情報により基本フレームを送信するための回線（図２では回線ｆ１）を決定して回線ｆ１により基本フレームを送信する。差分フレーム送信部３２−２は、上り方向の回線品質情報と下り方向の回線品質情報により差分フレームを送信するための回線（図２では回線ｆ２，ｆ３）を決定して差分フレームを送信する。基本フレームおよび差分フレームの送信時にはシーケンス番号が付加される。
【００３７】
差分フレーム保持バッファ部３３は、送信できなかった差分フレームを所定時間だけ保持し、帯域に余裕ができた時に差分フレーム送信部３２−２が送信する。なお、保持される差分フレームは所定時間が経過すると、古い差分フレームから順次に削除される。
【００３８】
複製回数決定部３４は上り方向の回線品質情報により複製回数を決定して基本フレームＩＰパケット化部２４−１へ通知し、符号化データ量決定部３５は上り方向の回線品質情報により符号化データ量を決定して符号化制御部２３へ通知する。
【００３９】
図３はデータ受信装置１３の詳細ブロック図である。データ受信装置１３は、データ受信制御部２６，ＩＰパケット分解処理部２７および復号化・D/A変換部２８から成る。データ受信制御部２６は、データ送信装置１１から伝送路１２を介して送信されてくる映像データを受信し、回線品質情報（遅延時間，エラーパケット，ジッタ，スループット）を取得してデータ送信制御部２５に通知する。
【００４０】
ＩＰパケット分解処理部２７は、受信された映像データのＩＰパケットを分解し、映像フレームを送信された順番に並び替える。並び替えは、送信時に付加されるシーケンス番号によって行なう。復号化・D/A変換部２８は、並び替えられた映像フレームについて復号化およびD/A変換を行い、デジタル信号からアナログ信号に変換された映像データを映像出力装置１４へ送信する。
【００４１】
復号化・D/A変換部２８は、基本フレーム、差分フレームを受信できなかった時には、前後の基本フレーム、差分フレームを基に映像データを出力する。そのために、復号化・D/A変換部２８は基本フレーム、差分フレームを保持するバッファを備え、フレームのシーケンス番号により受信できなかったフレームを判断し、シーケンス番号の前後を使用する。
【００４２】
［動作の説明］
次に、以上のように構成された本発明の映像データ伝送装置の動作について説明する。図４はデータ送信装置１１の動作を示すフローチャートである。データ送信制御部２５には送信ビットレートの基準値を設定しておく。映像データ伝送装置が回線接続されると、データ送信装置１１のデータ送信制御部２５は回線品質情報を取得し（図４のステップＳ１）、回線品質情報を基に符号化データ量と複製回数を決める（ステップＳ２）。
【００４３】
遅延時間，ジッタ，エラーパケットが大きく、スループットが低い場合は帯域が狭くなるので、低い解像度で符号化を行うように符号化データ量を定める。逆に、遅延時間，ジッタ，エラーパケットが小さく、スループットが高い場合は帯域が広くなるので、高解像度で符号化を行うように符号化データ量を定める。符号化データ量は符号化制御部２３へ、また、複製回数は基本フレームＩＰパケット部２４−１へ通知する（ステップＳ３）。以上の処理は回線接続が遮断されるまで続く。
【００４４】
映像出力装置１０からアナログ信号の映像データがデータ送信装置１１のA/D変換部２１に入力されると（ステップＳ４）、A/D変換が行なわれデジタル信号に変換される（ステップＳ５）。A/D変換後、フレーム符号化部２２において、基本フレームと差分フレームを別々に符号化される（ステップＳ６）。基本フレーム符号化部２２−１において符号化された基本フレームからは、基本フレームＩＰパケット化部２４−１においてUDPパケットが生成され、ＩＰヘッダが追加されてＩＰパケット化される（ステップＳ７，Ｓ８）。このとき、データ送信制御部２５から通知される複製回数だけ複製され、データ送信制御部２５へ送付される（ステップＳ９）。
【００４５】
一方、差分フレーム符号化部２２−２において符号化された差分フレームは、符号化制御部２３において階層化符号化される（ステップＳ７，Ｓ１０）。このとき、データ送信制御部２５から通知される符号化データ量が参酌される。符号化データ量が多い場合は、高い解像度で符合化を行え、ブロックサイズを小さくしてブロック数を多くすることで高解像度の映像データを映像入力装置１４へ出力することができるようになる。符号化データ量が少ない場合は、低解像度で符合化を行い、ブロックサイズを大きくしてブロック数を少なくすることで低解像度の映像データを映像入力装置１４へ出力することができるようになる。
【００４６】
いま、画素１ピクセルを送信するのに必要な速度をY kbpsとし、差分フレームを送信できる回線が２つあり、それぞれの速度をa kbps、b kbpsとすると、a kbpsの回線の解像度範囲は画素数0〜ak/Y、b kbpsの回線の解像度範囲は画素数0〜bk/Yとなる。
【００４７】
階層化符号化の後は、差分フレームＩＰパケット化部２４−２においてUDPパケットが生成され、ＩＰヘッダが追加されてＩＰパケット化され（ステップＳ１１）、データ送信制御部２５へ送付される（ステップＳ１２）。
【００４８】
データ送信制御部２５においては、送付されてきたＩＰパケットを、送信する優先度順に並び替えて（ステップＳ１３）、データ受信装置１３へ送信する（ステップＳ１４）。基本フレームと差分フレームの優先順位は基本フレームが高く、差分フレームの優先度は解像度の低いものを高くする。差分フレームを送信する時は、異なった解像度で符号化していることから、解像度が高くなるほどデータ量が多くなる。従って、データ量が大きいものは帯域の広い回線を使用し、データ量が小さいものは帯域の狭い回線を使用して、送信できる映像データ量を送信できる回線に差分フレームを送信する。
【００４９】
いま、基本フレームの映像データを６０ｋｂｐｓとすると、基本フレームは６４ｋｂｐｓの回線で送信できることが分かるため、基本フレームは回線ｆ１を使用して送信する。
この例では、差分フレームを送信できる回線が２回線あるので、１つの差分フレームを異なった２種類の解像度で符号化した映像データを１００ｋｂｐｓ、２２０ｋｂｐｓとすると、１番目に優先順位の高い１００ｋｂｐｓの映像データは、回線ｆ２を使用して送信することができる。次に、２番目に優先順位の高い２２０ｋｂｐの映像データは、回線ｆ３を使用して送信することができる。
【００５０】
なお、基本フレームを送信する回線であっても未使用の帯域が存在すれば、差分フレームも送信するように構成することもできる。
【００５１】
図５は伝送される映像フレームの模式図であって、左上がり線の４ブロックから成る低解像度の差分フレーム１と、白黒ブロック２つが斜交いに配された高解像度の差分フレーム２と、右上がり斜線の１ブロックから成る基本フレームを個別に送信して、受信側で合成する様子を示している。１００ｋｂｐｓの差分フレームは２×２の解像度で符号化し、２２０ｋｂｐｓの差分フレームは動きの大きい部分を高解像度で符合化する。
【００５２】
データ送信制御部２５は回線品質情報を取得して、遅延時間，エラーパケット，ジッタ，スループットに問題がない時は、初期設定した送信ビットレートを一定の割合で高くする。逆に、遅延時間，エラーパケット，ジッタ，スループットに問題がある場合には初期設定した送信ビットレートを一定の割合で低くする。
【００５３】
図６はデータ送信制御部２５の状態遷移図であって、回線品質情報によって４つの状態Ｓ１〜Ｓ４をとり得る。４つの状態Ｓ１〜Ｓ４は回線状況に応じて自動で切り替えられる。データ送信制御部２５は、状態Ｓ１〜Ｓ４の内のいずれかの状態の下に映像データを送信する。起動時には状態Ｓ１とされる。
【００５４】
状態Ｓ１は基準値どおりの映像データを送信する状態である。基準値は、最低限映像データを送信できるビットレートを定める値であって事前に定められ、例えば、遅延時間は２秒（変動誤差１秒）、スループットは１００ｋｂｐｓ（同２０ｋｂｐｓ）、ジッタは２０ｍｓ（同１０ｍｓ）、フレーム数は１０（同５）である。
【００５５】
状態Ｓ１において、例えば、基準値より最大ビットレートが１２０ｋｂｐｓ以上と大きくなった時（ｑ１）は状態Ｓ２、基準値以上のフレーム数が送信できる時は（ｑ３）は状態Ｓ３、基準値よりも遅延時間およびジッタが小さい時は（ｑ４）は状態Ｓ４へ遷移する。状態Ｓ２は最大ビットレートとなる映像伝送を行なう状態、状態Ｓ３はフレーム数が最大となる映像伝を行なう状態、状態Ｓ４は遅延が最小限となる映像伝を行なう状態である。
【００５６】
状態Ｓ２では、測定されたスループットに応じて、常に最大ビットレートで送信できるように送信ビットレートを変更する。状態Ｓ３では、１つの基本フレームを送信ために必要な送信ビットレートを求め、回線帯域との差を計算する。そして、残りのフレーム数で差分フレームを送信する。状態Ｓ４では、送信ビットレートとフレーム数は事前に設定しておき、測定した遅延時間、ジッタを基に遅延が最小限になる映像伝送を行なう。即ち、遅延時間のばらつきが最小となる回線に基本フレームを送信し、最低限の映像を送信する。また、遅延時間の基準値を定めておき、基準値よりも遅延時間が大きくなった回線は使用しないようにしたり、送信ビットレートを下げて遅延時間が基準値よりも小さくなるように調節する。
【００５７】
状態Ｓ２において、基準値どおりの映像データ送信を行うようになった時は（ｑ２）は状態Ｓ１、基準値以上のフレーム数が送信できる時は（ｑ３）は状態Ｓ３、基準値よりも遅延時間およびジッタが小さい時は（ｑ４）は状態Ｓ４へ遷移する。状態Ｓ３、状態Ｓ４についても同様に解されたい。なお、２つ以上の状態変化が同時に起きないように遷移の優先順位を事前に設定しておく。
【００５８】
また、上記のように４つの状態Ｓ１〜Ｓ４を切り替えるのではなく、どれか１つに固定することもできる。即ち、スタンダードな状態Ｓ１の他、高画質を追求した最大ビットレートとなる映像データの送信を行なう場合は状態Ｓ２、動きの大きい映像や動きを重視した映像のデータ送信を行なう場合は状態Ｓ３、リアルタイム性を重視した映像データの送信をする場合は状態Ｓ４に設定する。この場合は、回線品質情報の如何に拘わらず設定された状態を維持する。
【００５９】
図７はデータ受信装置１３のフローチャートである。データ受信制御部２６は遅延時間，エラーパケット，ジッタ，スループットの回線品質情報を取得し（図７のステップＲ１）、回線品質情報をデータ送信制御部２５に通知する（ステップＲ２）。
【００６０】
また、データ受信制御部２６は各回線から映像データを受信し（ステップＲ３）、ＩＰパケット分解処理部２７はＩＰパケットを分解して（ステップＲ４）、映像フレームを送信された順番に並び替える（ステップＲ５）。並び替えを行う際には、差分フレームは同一差分フレームを異なった解像度で符号化を行い別々の回線で映像データを送信することから、同じ映像データが存在する。この場合、差分フレームは１００ｋｂｐｓ、２２０ｋｂｐｓの映像データを受信する。
【００６１】
図５に示したように、差分フレーム１と差分フレーム２を結合して１つの差分フレームを作る。この差分フレームと基本フレームとを基に映像フレームを作成する。なお、基本フレームや差分フレームのデータを受信できなかった時には、前後の基本フレームと差分フレームを使用して間に入る映像データを予測することで映像を出力する。
【００６２】
その後、復号化・D/A変換部２８において復号化・D/A変換を行なう（ステップＲ６，Ｒ７）ことによりデジタル信号からアナログ信号に変換して、映像出力装置１３へ映像データを出力する（ステップＲ８）。
【００６３】
［産業上の利用可能性］
以上のように、本発明にかかる映像伝送装置は、映像伝送を行うすべての場面で利用することができる。映像データ量を回線状況によって変化させることができるので、帯域が狭い時には特に有効で安定した映像伝送ができる。また、使用用途に応じて映像伝送を行うことができるため、高画質の映像伝送、動きの大きい映像伝送やリアルタイムを重視した映像伝送に効果を有する。
【図面の簡単な説明】
【００６４】
【図１】本発明の映像データ伝送装置におけるデータ送信装置のブロック図
【図２】図１のデータ送信装置におけるデータ送信制御部の詳細ブロック図
【図３】本発明の映像データ伝送装置におけるデータ受信装置のブロック図
【図４】データ送信装置の動作を示すフローチャート
【図５】伝送される映像フレームの模式図
【図６】データ送信制御部の状態遷移図
【図７】データ受信装置の動作を示すフローチャート
【図８】本発明の映像データ伝送装置が適用される映像伝送システムを示す図
【符号の説明】
【００６５】
１０ 映像出力装置
１１ データ送信装置
１２ 伝送路
１３ データ受信装置
１４ 映像入力装置
２１ A/D変換部符号化部
２２ 符号化部
２２−１ 基本フレーム符号化部
２２−２ 差分フレーム符号化部
２３ 符号化制御部
２４−１ 基本フレームパケットＩＰ化部
２４−２ 差分フレームパケットＩＰ化部
２５ データ送信制御部
２６ データ受信制御部
２７ ＩＰパケット分解処理部
２８ 復号化・D/A変換部
３１−１ 回線品質情報取得部
３１−２ 回線品質情報取得部
３２−１ 基本フレーム送信部
３２−２ 差分フレーム送信部
３３ 差分フレーム保持バッファ
３４ 複製回数決定部
３５ 符号化データ量決定部
【技術分野】
【０００１】
本発明は、映像出力装置が出力する映像を映像データとして伝送路により伝送し、映像入力装置における映像再生に供する映像データ伝送装置に関する。
【背景技術】
【０００２】
従来、この種の映像データ伝送装置は、１画面を出力するために必要な基本フレームと、基本フレームの差分を表した差分フレームを別々に符号化し、基本フレームと差分フレームを別々の回線で送信する。その際、回線品質を監視し、回線品質に合わせて符号化圧縮率を変化させ、常に回線帯域に適切な映像品質で映像を伝送するようにしている（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開２００７−３２９７０７号公報（第３頁−第４頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、映像データ伝送には、画質を重視した映像伝送、フレーム数が最大となる動きを重視した映像伝送や遅延時間を少なくしリアルタイム性を重視した映像伝送等様々な目的があるが、これらは回線品質の内容によって、適えられる場合と適えられない場合があり得る。しかしながら、上述した従来の方法では、回線品質の内容によって伝送形態を自在に切り替える手段を欠いているため、回線の有効活用を期し難いという問題点がある。
【０００５】
そこで、本発明の目的は、最大限の映像を送り、様々な用途に合わせて最適な映像伝送を行うと共に、伝送形態を柔軟化して回線を有効に活用することができる映像伝送装置を提供することにある。
【課題を解決するための手段】
【０００６】
前記の課題を解決するため、本発明の映像データ伝送装置は、基本フレームと差分フレームを別個に符号化し、１回線または複数回線使用し、基本フレームと差分フレームを必ずしも別々の回線で送信するのではなく、基本フレームの優先度を高くして、映像データの送信を行う。この構成により、回線が繋がっている状態の時は最低限の映像伝送ができる。また、基本フレームを送信する回線帯域に余裕があるときは、その回線で差分フレームも送信するため、帯域を有効に活用することができる。
【０００７】
更に、本発明の映像データ伝送装置は、差分フレームの符号化を行う符号化制御部により、１つの差分フレームを回線数、回線状況に応じて同時に異なった解像度で符号化（階層型符号化）を行う。階層型符号化を行うことで、回線帯域に応じて差分フレームに優先順位をつけ、回線帯域に最適な解像度のデータ量で差分フレームを伝送することができる。
【０００８】
更に、本発明の映像データ伝送装置は、回線帯域を最大限に利用して最大ビットレートでの映像伝送できる構成をしている。この構成により、画質を重視した映像伝送ができる。
【０００９】
更に、本発明の映像データ伝送装置は、回線帯域に応じてフレーム数を最大にして映像を伝送できる構成をしている。この構成により、映像の動きを重視した映像伝送を行うことができる。
【００１０】
更に、本発明の映像データ伝送装置は、回線帯域に応じて遅延が最小となる映像伝送ができる構成をしている、この構成により、リアルタイム性を重視した映像伝送を行うことができる。
【００１１】
更に、本発明の映像データ伝送装置は、前記の回線帯域を最大限に利用する映像伝送、回線帯域に応じてフレーム数を最大にする映像伝送、回線帯域に応じて遅延が最小となる映像伝送を自動で切替えることができる構成をしている。この構成により、用途に応じて出力する映像を変化させることができる。
【００１２】
更に、本発明の映像データ伝送装置は、データ送信部とデータ受信部において、遅延時間，エラーパケット数，ジッタ，スループットを測定・解析し、これらの回線品質情報を基に回線状態を監視することができる構成になっている。この構成により、回線状態の情報を取得することができ、これらの情報より回線状態を把握することができる。
【００１３】
回線状態に異常があった場合にはデータ送信部へ通知することができる。この構成により、データ送信装置は、異常があった回線を知ることができ、一時的に異常があった回線の使用を停止し、回線の安全性を確認した後、回線を再使用することができる。
【００１４】
また、データ送信部、データ受信部の両方で、回線状況を監視することにより、リアルタイムに回線状況を把握することができる構成になっている。この構成により、データ送信装置が取得できなかった回線情報をデータ受信装置が取得するため、回線情報を二重に取得することができるので信頼性が向上する。
【００１５】
更に、本発明の映像データ伝送装置は、基本フレーム、差分フレームのデータパケットが落ちた時、復号化部において前後の基本フレーム、差分フレームを基に映像データを予測し復号化できる構成になっている。この構成により、信頼性の高い映像伝送ができる。
【００１６】
更に、本発明の映像データ伝送装置は、１つの差分フレームを異なった解像度で符号化し、各回線に送信していることから、同一の差分フレームを受信する構成になっている。この構成により、データ受信装置は同一の差分フレームを結合し、１つの差分フレームとすることができる。従って、複数の差分フレームが結合することにより、最良の映像が出力できる。
【発明の効果】
【００１７】
本発明をよれば、映像伝送を行う際に、回線状況の変化に応じて送信する映像データ量を適応させて、回線品質にあった映像伝送を行なうことができる。その理由は、回線品質を監視し映像データを帯域に余裕がある回線から送信することができるからである。
【００１８】
また、映像伝送を用途に合わせて回線帯域を有効に活用し、最良の映像伝送を行うことができる。その理由は、送信ビットレートが最大となる映像伝送、フレーム数が最大となる映像伝送、遅延時間を最小となる映像伝送が行うように設定することができ、また、これらの伝送形態を目的に応じて変化させることも可能である。
【発明を実施するための最良の形態】
【００１９】
次に、本発明の実施の形態について図面を参照して詳細に説明する。
【００２０】
［構成の説明］
図８は、本発明の映像データ伝送装置が適用される映像伝送システムを示す図である。この映像伝送システムは、映像出力装置１０が出力する映像データを映像データ伝送装置により伝送して映像入力装置１４において映像を再生するものである。映像データ伝送装置は、データ送信装置１１，データ伝送路１２およびデータ受信装置１３から成る。データ伝送路１２は、回線はｆ１、ｆ２、ｆ３の３回線接続できる構成になっている。回線ｆ１，回線ｆ２，回線ｆ３の回線速度は、それぞれ６４ｋｂｐｓ，１２８ｋｂｐｓ，２５６ｋｂｐｓとする。
【００２１】
データ送信装置１１は、映像出力装置１０が出力する映像データを入力して、A/D変換，符号化およびＩＰパケット化し、基本フレームと差分フレームに分け、データ伝送路１２を介して伝送する。基本フレームとは、映像データの映像ストリームを成す各映像フレームにおいて、映像を再生するために必要な最低限の情報を含んだ映像フレームをいう。また、差分フレームとは、時の経過により基本フレームから変化した差分画像部分を表す映像フレームをいう。
【００２２】
データ送信装置１１は、データ送信の際、データ伝送路１２の回線品質情報をデータ受信装置１３から得て解像度を決定し、同じ差分フレームを異なった解像度により階層型符号化し、基本フレームは回線ｆ１、低解像度の差分フレームは回線ｆ２、高解像度の差分フレームはｆ３により送信する。
【００２３】
データ受信装置１２は、データ送信装置１１から映像データを受信すると、ＩＰパケットを分解処理、送信順に並び替え、複合化およびD/A変換して映像入力装置１４へ出力する。並び替えの際、解像度の異なった２つの差分フレームを結合して１つの差分フレームとし、これと基本フレームとで映像フレームを作成する。
【００２４】
また、データ受信装置１２は、データ送信装置１１から映像データを受信すると、回線品質情報を取得し、データ伝送路１２を介してデータ送信装置１１へ送信して、上述の階層化符号化のために供する。
【００２５】
図１はデータ送信装置１１の詳細を示すブロック図である。データ送信装置１１は、A/D変換部２１，基本フレーム符号化部２２−１および差分フレーム符号化部２２−２から成るフレーム符号化部２２，符号化制御部２３，基本フレームＩＰパケット化部２４−１，差分フレームＩＰパケット化部２４−２並びにデータ送信制御部２５で構成されている。
【００２６】
A/D変換部２１は、アナログ出力を行う映像出力装置１０から映像データを入力するとA/D変換を行い、アナログ信号をデジタル信号に変換する。フレーム符号化部２２においては、A/D変換部２１からの映像データに対して、基本フレーム符号化部２２−１が基本フレーム、差分フレーム符号化部２２−２が差分フレームをそれぞれ符号化する。
【００２７】
基本フレームＩＰパケット化部２４−１は、基本フレーム符号化部２２−１において符号化された基本フレームからUDP（User Datagram Protocol）パケットを生成し、ＩＰヘッダを追加してＩＰパケット化する。この際、データ送信制御部２５からの複製回数の通知を受け、ＩＰパケット化を複数回行なう。ＩＰパケット化された基本パケットはデータ送信制御部２５へ送られる。
【００２８】
符号化制御部２３は、データ送信制御部２５から符号化データ量の通知を受け、同じ差分フレームを異なった解像度で階層型符号化する。階層型符号化は、符号化する映像データのブロックサイズを解像度に従って大きくしたり小さくすることで行う。
【００２９】
差分フレームＩＰパケット化部２４−２は、符号化制御部２３で階層型符号化された差分フレームからUDPパケットを生成し、ＩＰヘッダを追加してＩＰパケットを生成する。ＩＰパケット化された差分フレームはデータ送信制御部２５へ送られる。
【００３０】
データ送信制御部２５は、基本フレームＩＰパケット化部２４−１および差分フレームＩＰパケット化部２４−２からＩＰパケットを受け取ると、送信する映像データ順に映像フレームを並び替えて送信する。基本フレームと差分フレームの優先順位は基本フレームが高く、差分フレームの優先度は解像度の低いものを高くする。
【００３１】
データ送信制御部２５は、回線数が３であることを判断し各回線の帯域を求める。回線帯域を求めるために、遅延時間，ジッタ，エラーパケットおよびスループットを測定する。この測定結果により得られる回線品質情報は、上記の回線決定に使用されると共に、基本フレームＩＰパケット化部２４−１へ通知する複製回数と符号化制御部２３へ通知する符号化データ量を決定するために使用される。なお、データ送信制御部２５は、回線の切断や追加を認識して回線数を把握し、基本フレームを送信する回線を適切に選択して切り替えるようにすることもできる。
【００３２】
また、データ送信制御部２５において、各回線の送信ビットレートの基準値を設定しておき、映像データを送信する。基準値は最低限映像データを送信できるビットレートを設定する。設定したビットレートは回線品質情報により変更する。
【００３３】
図２はデータ送信制御部２５の詳細ブロック図である。データ送信制御部２５は、２つの回線品質情報取得部３１−１，３１−２，基本フレーム送信部３２−１，差分フレーム送信部３２−２，差分フレーム保持バッファ部３３，複製回数決定部３４および符号化データ量決定部３５から成る。
【００３４】
回線品質情報取得部３１−１は上り方向の回線品質情報を自ら取得し、回線品質情報取得部３１−２は下り方向の回線品質情報をデータ受信装置１３から受信する。そのため、本映像伝送装置が回線接続されると、回線品質情報取得部３１−１は、回線品質情報取得のためのデータをデータ受信装置１３へ送信し、その応答データにより回線品質情報を取得する。また、データ受信装置１３においては回線品質情報取得のためのデータをデータ送信装置１１へ送信し、その応答データにより回線品質情報を取得する。データ受信装置１３で取得された回線品質情報ｉ１，ｉ２，ｉ３はデータ送信装置１１へ送信され、回線品質情報取得部３１−２により取得される。回線品質情報ｉ１，ｉ２，ｉ３は回線ｆ１，ｆ２，ｆ３に対応する。
【００３５】
回線品質情報取得部３１−１は、回線品質情報を基本フレーム送信部３２−１，差分フレーム送信部３２−２，複製回数決定部３４および符号化データ量決定部３５へ渡す。また、回線品質情報取得部３１−２回線品質情報を基本フレーム送信部３２−１および差分フレーム送信部３２−２へ渡す。
【００３６】
基本フレーム送信部３２−１は、上り方向の回線品質情報と下り方向の回線品質情報により基本フレームを送信するための回線（図２では回線ｆ１）を決定して回線ｆ１により基本フレームを送信する。差分フレーム送信部３２−２は、上り方向の回線品質情報と下り方向の回線品質情報により差分フレームを送信するための回線（図２では回線ｆ２，ｆ３）を決定して差分フレームを送信する。基本フレームおよび差分フレームの送信時にはシーケンス番号が付加される。
【００３７】
差分フレーム保持バッファ部３３は、送信できなかった差分フレームを所定時間だけ保持し、帯域に余裕ができた時に差分フレーム送信部３２−２が送信する。なお、保持される差分フレームは所定時間が経過すると、古い差分フレームから順次に削除される。
【００３８】
複製回数決定部３４は上り方向の回線品質情報により複製回数を決定して基本フレームＩＰパケット化部２４−１へ通知し、符号化データ量決定部３５は上り方向の回線品質情報により符号化データ量を決定して符号化制御部２３へ通知する。
【００３９】
図３はデータ受信装置１３の詳細ブロック図である。データ受信装置１３は、データ受信制御部２６，ＩＰパケット分解処理部２７および復号化・D/A変換部２８から成る。データ受信制御部２６は、データ送信装置１１から伝送路１２を介して送信されてくる映像データを受信し、回線品質情報（遅延時間，エラーパケット，ジッタ，スループット）を取得してデータ送信制御部２５に通知する。
【００４０】
ＩＰパケット分解処理部２７は、受信された映像データのＩＰパケットを分解し、映像フレームを送信された順番に並び替える。並び替えは、送信時に付加されるシーケンス番号によって行なう。復号化・D/A変換部２８は、並び替えられた映像フレームについて復号化およびD/A変換を行い、デジタル信号からアナログ信号に変換された映像データを映像出力装置１４へ送信する。
【００４１】
復号化・D/A変換部２８は、基本フレーム、差分フレームを受信できなかった時には、前後の基本フレーム、差分フレームを基に映像データを出力する。そのために、復号化・D/A変換部２８は基本フレーム、差分フレームを保持するバッファを備え、フレームのシーケンス番号により受信できなかったフレームを判断し、シーケンス番号の前後を使用する。
【００４２】
［動作の説明］
次に、以上のように構成された本発明の映像データ伝送装置の動作について説明する。図４はデータ送信装置１１の動作を示すフローチャートである。データ送信制御部２５には送信ビットレートの基準値を設定しておく。映像データ伝送装置が回線接続されると、データ送信装置１１のデータ送信制御部２５は回線品質情報を取得し（図４のステップＳ１）、回線品質情報を基に符号化データ量と複製回数を決める（ステップＳ２）。
【００４３】
遅延時間，ジッタ，エラーパケットが大きく、スループットが低い場合は帯域が狭くなるので、低い解像度で符号化を行うように符号化データ量を定める。逆に、遅延時間，ジッタ，エラーパケットが小さく、スループットが高い場合は帯域が広くなるので、高解像度で符号化を行うように符号化データ量を定める。符号化データ量は符号化制御部２３へ、また、複製回数は基本フレームＩＰパケット部２４−１へ通知する（ステップＳ３）。以上の処理は回線接続が遮断されるまで続く。
【００４４】
映像出力装置１０からアナログ信号の映像データがデータ送信装置１１のA/D変換部２１に入力されると（ステップＳ４）、A/D変換が行なわれデジタル信号に変換される（ステップＳ５）。A/D変換後、フレーム符号化部２２において、基本フレームと差分フレームを別々に符号化される（ステップＳ６）。基本フレーム符号化部２２−１において符号化された基本フレームからは、基本フレームＩＰパケット化部２４−１においてUDPパケットが生成され、ＩＰヘッダが追加されてＩＰパケット化される（ステップＳ７，Ｓ８）。このとき、データ送信制御部２５から通知される複製回数だけ複製され、データ送信制御部２５へ送付される（ステップＳ９）。
【００４５】
一方、差分フレーム符号化部２２−２において符号化された差分フレームは、符号化制御部２３において階層化符号化される（ステップＳ７，Ｓ１０）。このとき、データ送信制御部２５から通知される符号化データ量が参酌される。符号化データ量が多い場合は、高い解像度で符合化を行え、ブロックサイズを小さくしてブロック数を多くすることで高解像度の映像データを映像入力装置１４へ出力することができるようになる。符号化データ量が少ない場合は、低解像度で符合化を行い、ブロックサイズを大きくしてブロック数を少なくすることで低解像度の映像データを映像入力装置１４へ出力することができるようになる。
【００４６】
いま、画素１ピクセルを送信するのに必要な速度をY kbpsとし、差分フレームを送信できる回線が２つあり、それぞれの速度をa kbps、b kbpsとすると、a kbpsの回線の解像度範囲は画素数0〜ak/Y、b kbpsの回線の解像度範囲は画素数0〜bk/Yとなる。
【００４７】
階層化符号化の後は、差分フレームＩＰパケット化部２４−２においてUDPパケットが生成され、ＩＰヘッダが追加されてＩＰパケット化され（ステップＳ１１）、データ送信制御部２５へ送付される（ステップＳ１２）。
【００４８】
データ送信制御部２５においては、送付されてきたＩＰパケットを、送信する優先度順に並び替えて（ステップＳ１３）、データ受信装置１３へ送信する（ステップＳ１４）。基本フレームと差分フレームの優先順位は基本フレームが高く、差分フレームの優先度は解像度の低いものを高くする。差分フレームを送信する時は、異なった解像度で符号化していることから、解像度が高くなるほどデータ量が多くなる。従って、データ量が大きいものは帯域の広い回線を使用し、データ量が小さいものは帯域の狭い回線を使用して、送信できる映像データ量を送信できる回線に差分フレームを送信する。
【００４９】
いま、基本フレームの映像データを６０ｋｂｐｓとすると、基本フレームは６４ｋｂｐｓの回線で送信できることが分かるため、基本フレームは回線ｆ１を使用して送信する。
この例では、差分フレームを送信できる回線が２回線あるので、１つの差分フレームを異なった２種類の解像度で符号化した映像データを１００ｋｂｐｓ、２２０ｋｂｐｓとすると、１番目に優先順位の高い１００ｋｂｐｓの映像データは、回線ｆ２を使用して送信することができる。次に、２番目に優先順位の高い２２０ｋｂｐの映像データは、回線ｆ３を使用して送信することができる。
【００５０】
なお、基本フレームを送信する回線であっても未使用の帯域が存在すれば、差分フレームも送信するように構成することもできる。
【００５１】
図５は伝送される映像フレームの模式図であって、左上がり線の４ブロックから成る低解像度の差分フレーム１と、白黒ブロック２つが斜交いに配された高解像度の差分フレーム２と、右上がり斜線の１ブロックから成る基本フレームを個別に送信して、受信側で合成する様子を示している。１００ｋｂｐｓの差分フレームは２×２の解像度で符号化し、２２０ｋｂｐｓの差分フレームは動きの大きい部分を高解像度で符合化する。
【００５２】
データ送信制御部２５は回線品質情報を取得して、遅延時間，エラーパケット，ジッタ，スループットに問題がない時は、初期設定した送信ビットレートを一定の割合で高くする。逆に、遅延時間，エラーパケット，ジッタ，スループットに問題がある場合には初期設定した送信ビットレートを一定の割合で低くする。
【００５３】
図６はデータ送信制御部２５の状態遷移図であって、回線品質情報によって４つの状態Ｓ１〜Ｓ４をとり得る。４つの状態Ｓ１〜Ｓ４は回線状況に応じて自動で切り替えられる。データ送信制御部２５は、状態Ｓ１〜Ｓ４の内のいずれかの状態の下に映像データを送信する。起動時には状態Ｓ１とされる。
【００５４】
状態Ｓ１は基準値どおりの映像データを送信する状態である。基準値は、最低限映像データを送信できるビットレートを定める値であって事前に定められ、例えば、遅延時間は２秒（変動誤差１秒）、スループットは１００ｋｂｐｓ（同２０ｋｂｐｓ）、ジッタは２０ｍｓ（同１０ｍｓ）、フレーム数は１０（同５）である。
【００５５】
状態Ｓ１において、例えば、基準値より最大ビットレートが１２０ｋｂｐｓ以上と大きくなった時（ｑ１）は状態Ｓ２、基準値以上のフレーム数が送信できる時は（ｑ３）は状態Ｓ３、基準値よりも遅延時間およびジッタが小さい時は（ｑ４）は状態Ｓ４へ遷移する。状態Ｓ２は最大ビットレートとなる映像伝送を行なう状態、状態Ｓ３はフレーム数が最大となる映像伝を行なう状態、状態Ｓ４は遅延が最小限となる映像伝を行なう状態である。
【００５６】
状態Ｓ２では、測定されたスループットに応じて、常に最大ビットレートで送信できるように送信ビットレートを変更する。状態Ｓ３では、１つの基本フレームを送信ために必要な送信ビットレートを求め、回線帯域との差を計算する。そして、残りのフレーム数で差分フレームを送信する。状態Ｓ４では、送信ビットレートとフレーム数は事前に設定しておき、測定した遅延時間、ジッタを基に遅延が最小限になる映像伝送を行なう。即ち、遅延時間のばらつきが最小となる回線に基本フレームを送信し、最低限の映像を送信する。また、遅延時間の基準値を定めておき、基準値よりも遅延時間が大きくなった回線は使用しないようにしたり、送信ビットレートを下げて遅延時間が基準値よりも小さくなるように調節する。
【００５７】
状態Ｓ２において、基準値どおりの映像データ送信を行うようになった時は（ｑ２）は状態Ｓ１、基準値以上のフレーム数が送信できる時は（ｑ３）は状態Ｓ３、基準値よりも遅延時間およびジッタが小さい時は（ｑ４）は状態Ｓ４へ遷移する。状態Ｓ３、状態Ｓ４についても同様に解されたい。なお、２つ以上の状態変化が同時に起きないように遷移の優先順位を事前に設定しておく。
【００５８】
また、上記のように４つの状態Ｓ１〜Ｓ４を切り替えるのではなく、どれか１つに固定することもできる。即ち、スタンダードな状態Ｓ１の他、高画質を追求した最大ビットレートとなる映像データの送信を行なう場合は状態Ｓ２、動きの大きい映像や動きを重視した映像のデータ送信を行なう場合は状態Ｓ３、リアルタイム性を重視した映像データの送信をする場合は状態Ｓ４に設定する。この場合は、回線品質情報の如何に拘わらず設定された状態を維持する。
【００５９】
図７はデータ受信装置１３のフローチャートである。データ受信制御部２６は遅延時間，エラーパケット，ジッタ，スループットの回線品質情報を取得し（図７のステップＲ１）、回線品質情報をデータ送信制御部２５に通知する（ステップＲ２）。
【００６０】
また、データ受信制御部２６は各回線から映像データを受信し（ステップＲ３）、ＩＰパケット分解処理部２７はＩＰパケットを分解して（ステップＲ４）、映像フレームを送信された順番に並び替える（ステップＲ５）。並び替えを行う際には、差分フレームは同一差分フレームを異なった解像度で符号化を行い別々の回線で映像データを送信することから、同じ映像データが存在する。この場合、差分フレームは１００ｋｂｐｓ、２２０ｋｂｐｓの映像データを受信する。
【００６１】
図５に示したように、差分フレーム１と差分フレーム２を結合して１つの差分フレームを作る。この差分フレームと基本フレームとを基に映像フレームを作成する。なお、基本フレームや差分フレームのデータを受信できなかった時には、前後の基本フレームと差分フレームを使用して間に入る映像データを予測することで映像を出力する。
【００６２】
その後、復号化・D/A変換部２８において復号化・D/A変換を行なう（ステップＲ６，Ｒ７）ことによりデジタル信号からアナログ信号に変換して、映像出力装置１３へ映像データを出力する（ステップＲ８）。
【００６３】
［産業上の利用可能性］
以上のように、本発明にかかる映像伝送装置は、映像伝送を行うすべての場面で利用することができる。映像データ量を回線状況によって変化させることができるので、帯域が狭い時には特に有効で安定した映像伝送ができる。また、使用用途に応じて映像伝送を行うことができるため、高画質の映像伝送、動きの大きい映像伝送やリアルタイムを重視した映像伝送に効果を有する。
【図面の簡単な説明】
【００６４】
【図１】本発明の映像データ伝送装置におけるデータ送信装置のブロック図
【図２】図１のデータ送信装置におけるデータ送信制御部の詳細ブロック図
【図３】本発明の映像データ伝送装置におけるデータ受信装置のブロック図
【図４】データ送信装置の動作を示すフローチャート
【図５】伝送される映像フレームの模式図
【図６】データ送信制御部の状態遷移図
【図７】データ受信装置の動作を示すフローチャート
【図８】本発明の映像データ伝送装置が適用される映像伝送システムを示す図
【符号の説明】
【００６５】
１０ 映像出力装置
１１ データ送信装置
１２ 伝送路
１３ データ受信装置
１４ 映像入力装置
２１ A/D変換部符号化部
２２ 符号化部
２２−１ 基本フレーム符号化部
２２−２ 差分フレーム符号化部
２３ 符号化制御部
２４−１ 基本フレームパケットＩＰ化部
２４−２ 差分フレームパケットＩＰ化部
２５ データ送信制御部
２６ データ受信制御部
２７ ＩＰパケット分解処理部
２８ 復号化・D/A変換部
３１−１ 回線品質情報取得部
３１−２ 回線品質情報取得部
３２−１ 基本フレーム送信部
３２−２ 差分フレーム送信部
３３ 差分フレーム保持バッファ
３４ 複製回数決定部
３５ 符号化データ量決定部
【特許請求の範囲】
【請求項１】
映像を再生するために必要な最低限の情報を含んだ映像フレームである基本フレームを符号化する手段と、
時の経過により前記基本フレームから変化した差分画像部分を表す映像フレームである差分フレーム１つ毎を異なった（画像の精細を示す）解像度を基にして同時に符号化（階層型符号化）する手段と、
前記符号化された基本フレームと基本フレームの間に前記階層型符号化された差分フレームを入れて送信する手段を有することを特徴とする映像データ伝送装置。
【請求項２】
前記解像度は、送信側で遅延時間，ジッタ，エラーパケットおよびスループットを測定することによって取得される回線品質情報により決定することを特徴とする請求項１記載の映像データ伝送装置。
【請求項３】
前記基本フレームと差分フレームを送信するための回線は、前記送信側で取得される回線品質情報および受信側で取得される回線品質情報により決定することを特徴とする請求項１または請求項２に記載の映像データ伝送装置。
【請求項４】
前記基本フレームと差分フレームの送信は、設定により、基準どおりに、または回線帯域に応じた最大ビットレートで、またはフレーム数が最大となるように、または遅延が最小限になるように行なうことを特徴とする請求項１ないし請求項３記載の映像データ伝送装置。
【請求項５】
前記基本フレームと差分フレームの送信は、回線品質情報に応じて、基準どおりに、または回線帯域に応じた最大ビットレートで、またはフレーム数が最大となるように、または遅延が最小限になるように自動的に切り替えて行なうことを特徴とする請求項１ないし請求項３記載の映像データ伝送装置。
【請求項６】
前記基本フレームと差分フレームの送信は、基本フレームと差分フレームとでは基本フレームの優先度を高く、差分フレームの間では解像度の低い映像データの優先度を高くして行なうことを特徴とする請求項１ないし請求項３記載の映像データ伝送装置。
【請求項７】
送信できなかった差分フレームのデータは所定時間保持し、帯域に余裕ができた時に送信するが、所定時間が経過すると保持データを削除することを特徴とする請求項６記載の映像データ伝送装置。
【請求項１】
映像を再生するために必要な最低限の情報を含んだ映像フレームである基本フレームを符号化する手段と、
時の経過により前記基本フレームから変化した差分画像部分を表す映像フレームである差分フレーム１つ毎を異なった（画像の精細を示す）解像度を基にして同時に符号化（階層型符号化）する手段と、
前記符号化された基本フレームと基本フレームの間に前記階層型符号化された差分フレームを入れて送信する手段を有することを特徴とする映像データ伝送装置。
【請求項２】
前記解像度は、送信側で遅延時間，ジッタ，エラーパケットおよびスループットを測定することによって取得される回線品質情報により決定することを特徴とする請求項１記載の映像データ伝送装置。
【請求項３】
前記基本フレームと差分フレームを送信するための回線は、前記送信側で取得される回線品質情報および受信側で取得される回線品質情報により決定することを特徴とする請求項１または請求項２に記載の映像データ伝送装置。
【請求項４】
前記基本フレームと差分フレームの送信は、設定により、基準どおりに、または回線帯域に応じた最大ビットレートで、またはフレーム数が最大となるように、または遅延が最小限になるように行なうことを特徴とする請求項１ないし請求項３記載の映像データ伝送装置。
【請求項５】
前記基本フレームと差分フレームの送信は、回線品質情報に応じて、基準どおりに、または回線帯域に応じた最大ビットレートで、またはフレーム数が最大となるように、または遅延が最小限になるように自動的に切り替えて行なうことを特徴とする請求項１ないし請求項３記載の映像データ伝送装置。
【請求項６】
前記基本フレームと差分フレームの送信は、基本フレームと差分フレームとでは基本フレームの優先度を高く、差分フレームの間では解像度の低い映像データの優先度を高くして行なうことを特徴とする請求項１ないし請求項３記載の映像データ伝送装置。
【請求項７】
送信できなかった差分フレームのデータは所定時間保持し、帯域に余裕ができた時に送信するが、所定時間が経過すると保持データを削除することを特徴とする請求項６記載の映像データ伝送装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１０−３４７３０（Ｐ２０１０−３４７３０Ａ）
【公開日】平成２２年２月１２日（２０１０．２．１２）
【国際特許分類】
【出願番号】特願２００８−１９３１１７（Ｐ２００８−１９３１１７）
【出願日】平成２０年７月２８日（２００８．７．２８）
【出願人】（３０３０１３７６３）ＮＥＣエンジニアリング株式会社 (651)
【Ｆターム（参考）】
【公開日】平成２２年２月１２日（２０１０．２．１２）
【国際特許分類】
【出願日】平成２０年７月２８日（２００８．７．２８）
【出願人】（３０３０１３７６３）ＮＥＣエンジニアリング株式会社 (651)
【Ｆターム（参考）】
[ Back to top ]