送信機及び受信機
【課題】 パケットロスが生じた場合、パケットの無駄な再送要求・再送を行わないような効率的な再送制御方法を提案する。
【解決手段】 受信部１６は送られた再送要求情報を再送判定部１８へ送る。再送判定部１８は再送要求情報を受け取ると、パケット情報監視部１７よりリフレッシュデータの時間情報と、再送要求のあったパケットのパケットタイプ情報と、その時間情報を読み出す。読み出したリフレッシュデータの時間情報と、再送要求のあったパケットのパケットタイプ情報と、その時間情報を用いて再送要求を行うか否かを判断する。
【解決手段】 受信部１６は送られた再送要求情報を再送判定部１８へ送る。再送判定部１８は再送要求情報を受け取ると、パケット情報監視部１７よりリフレッシュデータの時間情報と、再送要求のあったパケットのパケットタイプ情報と、その時間情報を読み出す。読み出したリフレッシュデータの時間情報と、再送要求のあったパケットのパケットタイプ情報と、その時間情報を用いて再送要求を行うか否かを判断する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、送信機及び受信機に関する。
【背景技術】
【０００２】
近年、インターネット通信などといった様々な通信媒体を介した画像データ、音声データなどのデータ伝送が盛んに行われている。特に、インターネット上のデータ伝送において、従来から利用されているダウンロード型伝送方式に加えて、ストリーム型伝送方式によるサービスが増加してきている。
【０００３】
ストリーム型伝送方式とは、送信側から受信側端末に映像・音声データ伝送が行われるのと並行して、受信側端末にて受信した映像・音声データの再生処理を実行するものであり、インターネット電話や遠隔テレビ会議などに利用されている。このようなストリーム型伝送方式に適した伝送プロトコルとして、代表的にはＵＤＰ／ＩＰ(User Datagram Protocol / Internet Protocol)等が用いられている。このＵＤＰ／ＩＰ伝送プロトコルを利用してデータをパケット単位で伝送する場合、送信側は相手先のＩＰアドレスを指定して一方的に送信するため、もし伝送路においてパケットロスが発生した場合、送信側も相手先にパケットが届いたか否かもわからないし、受信側も送信側が意図したパケットが全て届いているかどうかもわからないため、自動的にロスしたパケットを再送するということはない。
【０００４】
また、ＵＤＰ／ＩＰの上位プロトコルとして、IETF RFC1889で規定されているプロトコルで、ＲＴＰ(Real time Transport Protocol)がある。ＲＴＰ／ＵＤＰ／ＩＰに従ったデータ伝送を行えば、それぞれのパケットに、再生に関する時間情報およびパケットの番号の情報等が付加されるため、受信側において、その時間情報及びパケットの番号を参照することにより、送られるデータの時間的関係の把握を行い、同期をとった再生を行うことができる。
【０００５】
ＲＴＰ／ＵＤＰ／ＩＰに従ったデータ伝送において、受信側においてパケットロスを検出した場合、送信側へ再送要求を送り、再度ロスしたパケットを送ってもらうことが行われるが、受信側で全てのロスしたパケットに対して再送要求を行うことや、送信側で全ての再送要求に対して再送を行うことは効率が悪く、使用可能な伝送帯域を圧迫することになる。そのため、効率的な再送制御が望まれている。
【０００６】
以上の問題を解決するために、パケットのタイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャなど）を判定し、Ｉピクチャと判定された場合だけ再送要求を送るといった方法が提案されている（例えば特許文献１参照）。また、送信側が再送要求を受けた場合、それぞれＩピクチャの送信番号を１とし、そのＩピクチャからｎ番目のピクチャの優先度を１／ｎとして、ある閾値以下の優先度を持つピクチャは再送を行わないという方法が提案されている（例えば特許文献２参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１１−９８５０３号公報（２頁乃至６頁、図４）
【特許文献２】特開２００１−２７４６８１号公報（２頁乃至７頁、図３）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
画像のデータ伝送中にパケットロスが生じて再送要求を行う場合、Ｉピクチャと判断された場合にだけ再送要求を行う方法においては、最も重要であるＩピクチャだけが再送要求されるため、再送要求をなるべく減らしつつもパケットロスによる画像劣化をある程度おさえることができる。しかし、Ｐピクチャにおいてもパケットロスが発生すると、その後のフレームにエラーが伝播するため、従来の制御では必ずしも十分ではない。つまり、パケットロスしたＰピクチャ以降長時間に渡りＩピクチャがなければ、次のＩピクチャが現れるまでは正しく表示することができず、その誤りの影響を引きずるという問題が生じる。また、予め関数によって優先度を設定し、その優先度が閾値以上の場合のみ再送を行う方法においても、同様の問題が生じる。
本発明は、上記の問題点を解決したものであって、受信機において検出されたパケットロスに対するパケットの再送要求及び再送要求に対する送信機の再送決定において、送信するデータの種別に加え、送信するデータ列に応じてパケットの再送要求の制御及びパケット再送決定の制御を行うことができる送信機及び受信機を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の送信機は、画像データをパケット化して送信する送信部と、前記送信部によって送られたパケットの再送要求を受信する受信部と、少なくとも画像データをパケット化したパケットの再生時間の情報を管理するパケット管理部と、前記再送要求を前記受信部によって受信した場合、前記再送要求を受けたパケットの画像データが再生される第１の再生時間より後の再生時間で、かつ前記第１の再生時間に最も近いイントラ予測データが含まれるフレームが再生される第２の再生時間と、前記第１の再生時間の情報を前記パケット管理部より読み出し、前記第２の再生時間と、前記第１の再生時間の差の時間を求め、前記差の時間が予め定められた閾値以上の場合、前記再送要求を受けたパケットの再送を行う命令を前記送信部に送るパケット再送制御手段とを有することを特徴とする。
また、本発明の受信機は、符号化されてパケット化された画像データを受信する受信部と、前記受信部において受信したパケットの情報を蓄積する情報蓄積部と、前記受信部において受信すべき順番でパケットを受信したかを判断し、パケットのロスを判断するパケットロス判定部と、前記ロスしたパケットの次に再生される画像データが再生される第１の再生時間より前の再生時間であって、イントラ予測データが含まれるフレームの再生時間の情報を少なくとも２つ以上用いて、前記第１の再生時間より後の再生時間で、かつ前記第１の再生時間に最も近いイントラ予測データが含まれるフレームが再生される第２の再生時間を予測するパケット時間情報予測部と、前記パケットロス判定部においてパケットロスと判断された場合、前記予測した第２の再生時間と前記第１の再生時間の差の時間を求め、前記差の時間が予め定められた閾値以上の場合、前記ロスしたパケットの再送要求を行うと判断する再送判定部とを有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、受信機において検出されたパケットロスに対するパケットの再送要求及び再送要求に対する送信機の再送決定において、送信するデータの種別に加え、送信するデータ列に応じてパケットの再送要求の制御及びパケット再送決定の制御を行うことができる。
【図面の簡単な説明】
【００１１】
【図１】本発明を送信機に適用した場合のブロック図。
【図２】本発明の実施例１における再送制御方法を示したフローチャート。
【図３】本発明の実施例における、ＲＴＰパケットの構成を示した概略図。
【図４】本発明の実施例における、リフレッシュ方法を示した図。
【図５】本発明の実施例１におけるパケット情報監視部１７における処理を示したフローチャート。
【図６】本発明の実施例１における再送判定部１８における再送判定処理を示したフローチャート。
【図７】本発明を受信機に適用した場合のブロック図。
【図８】本発明の実施例２における、パケットロスの検出を説明する図。
【図９】本発明の実施例２における、再送制御方法を示したフローチャート。
【図１０】本発明の実施例２における、リフレッシュデータパケットの時間予測方法を示したフローチャート。
【図１１】本発明の実施例２における、再送判定方法を説明する図。
【図１２】本発明の実施例２における、再送判定方法を示したフローチャート。
【図１３】本発明の実施例３における送信機１における再送判定処理を示したフローチャート。
【図１４】本発明の実施例４における送信機１における再送判定処理を示したフロー チャート。
【発明を実施するための形態】
【００１２】
以下に、本発明の実施の形態を説明する。
【実施例１】
【００１３】
本発明を送信機に適用した実施例について、図面を用いて説明する。図１は、本発明における送信機の構造を示したブロック図である。本発明の送信機１は入力部１１、コンテンツデータ蓄積部１２、パケット化部１３、送信部１４、送信済みバッファ部１５、受信部１６、パケット情報監視部１７、再送判定部１８、符号化部１９などを有する。そして、それぞれの各部は以下の機能を有する。
【００１４】
入力部１１は、カメラ等によって映像を入力する機能を有し、入力部１１によって入力された映像は、符号化部１９によって符号化され、更に符号化されたデータはＵＤＰ／ＩＰ方式に基づいたヘッダが付され、パケット化部１３へ送られる。
【００１５】
コンテンツデータ蓄積部１２には、外部から入手したコンテンツデータや、送信機内部で作成されたデータ等が記憶されており、コンテンツデータ蓄積部１２に記憶されている一部乃至全部のデータを送信すべき命令を受けたことをトリガーにして、送信するデータはパケット化部１３へ送られる。
【００１６】
パケット化部１３は、符号化されたデータをＲＴＰ方式によってパケット化する機能を有する。そして、パケット化部１３においてパケット化されたデータは送信部１４へ送られる。
【００１７】
送信部１４は、パケット化部１３においてパケット化されたデータを外部へ送信する機能を有する。そして、送信が終わったパケットは送信済みデータバッファ部１５へ蓄積する。更に、送信部１４は再送判定部１８からパケットの再送を要求されたことをトリガーにして、該当するパケットを送信済みデータバッファ部１５より読み出して外部へ送信する機能も有する。また、再送を行った場合もそのパケットのデータを再度送信済みデータバッファ部１５へ蓄積する。
【００１８】
送信済みデータバッファ部１５は、前述の通り送信部１４によって外部へ送信されたパケットのデータを一時蓄積する機能を有する。送信済みデータバッファ部１５はリングバッファによって構成されており、バッファ容量が一杯になったら一番古いパケットのデータより消去される。なお、リングバッファに限定されることなく、他のバッファでも良い。
【００１９】
受信部１６は、主に外部から送信されたデータを受信する機能を有するが、パケットロスによる再送要求情報を受信した場合は、その受信した再送要求情報を再送判定部１８ヘ送る。
【００２０】
パケット情報監視部１７は、パケット化部１３においてパケット化されるデータに関する情報を監視する機能を有する。以下、パケット情報監視部１７において監視されるデータについて述べる。なお、以下に述べる監視データ以外のデータも監視するように設定しても良い。
【００２１】
図３はある情報をＲＴＰ方式によってパケット化された場合のパケットの概要を示したものである。図３に示すように、ＲＴＰ方式によってパケット化されたパケットはＲＴＰヘッダに時間（タイムスタンプ）情報（図３の「ＴＳ」）とシーケンスナンバ情報（図３の「ＳＮ」）などが記載されており、ペイロードのヘッダ部分にはピクチャタイプ（Ｉ、Ｐ、Ｂなど）（図３の「ＰＴ」）等が記載されている。パケット情報監視部１７は少なくとも時間（タイムスタンプ）情報と、シーケンスナンバ情報と、ピクチャタイプ情報をそれぞれのパケットについて監視する。
【００２２】
ピクチャタイプについては、Ｉ、Ｐ、Ｂなどの種類があるが、Ｐ及びＢピクチャはＩピクチャに比べて符号量が少ないので多く用いられるが、エラー耐性を高めるためにＩピクチャなどによるリフレッシュが行われる。ここで、映像情報の一般的なリフレッシュの方法は２つの代表的な方法がある。１つは図４（１）のように１つの画像全体をＩフレームでリフレッシュする方法であって、もう１つは図４（２）のように１つの画像の一部ずつをリフレッシュして行く方法である。図４（１）のようなリフレッシュ方法を採用した場合、Ｉピクチャの場合はペイロードのピクチャタイプの箇所にＩであることの情報が記載されている。そして、ペイロードのピクチャタイプの箇所を参照すればそのパケットがリフレッシュのためのデータであることが分かる。しかし、図４（２）のようなリフレッシュ方法を採用した場合、一部分がリフレッシュのためのデータであった（一部がイントラ予測データであった）としても、ペイロードのピクチャタイプの箇所はＰであることの情報が記載されるため、リフレッシュのためのデータか否かはこの情報だけではわからない。そのため、リフレッシュのためのデータか否かを把握するためには更にマクロブロックの予測方式（イントラ予測かインター予測）が記載されている箇所（スライスヘッダなど）も参照する。図４（２）のリフレッシュ方法を採用したデータ構成がなされている場合、パケット情報監視部１７は、上記３つの情報に加えてそれぞれのマクロブロックの予測方式（イントラ予測かインター予測）が記載されている箇所（スライスヘッダなど）も監視する。以下、リフレッシュのためのデータを含むパケットをリフレッシュデータパケットと記す。
【００２３】
そして、再送判定部１８は、受信部１６から送られた再送要求情報と、パケット情報監視部１７において監視しているパケット情報の一部等に基づいて再送を行うか否かの判定を行う機能を有する。なお、パケット情報監視部１７から読み出すパケット情報の読み出し方法、および再送判定部１８による再送判定方法についての詳細は後述する。
【００２４】
次に、本発明の送信機１において、受信部１６が再送要求を受信した際の再送制御方法について、フローチャートを用いて説明する。図２は送信機１による再送制御方法を示したフローチャートである。まず、送信部１４によって送信されたパケットデータが何らかの原因でパケットロスが生じ、受信側から再送要求が送られ、受信部１６において再送要求を受信すると（ステップ１０１）、受信部１６は送られてきた再送要求情報を再送判定部１８へ送る（ステップ１０２）。なお、ステップ１０２における再送要求情報は送信部１４によって送信されたパケットのＲＴＰヘッダに記載されたシーケンスナンバ情報を用いるのが一般的である。また再送要求の方法としては、直接的に再送すべきパケットのシーケンスナンバを指定する方法（ＮＡＣＫ方式）と、受信したパケットの番号だけを通知することで、間接的に受信できなかったパケットを指定する方法（ＡＣＫ方式）等が考えられる。本発明ではどのような再送要求方法でも利用することが可能であり、例えばＲＴＰパケットに含まれるタイムスタンプ情報を用いパケットの時刻情報を受信側から送信側に通知し、その時刻に該当するパケットの再送を要求する方式や、受信側が現在復号及び表示中のパケットの時刻や、ネットワークによる伝送遅延情報等を通知し、送信側に再送すべきパケットを判断させる方式等も考えられる。そのため、再送要求情報は、前述したシーケンスナンバだけでなく、どのパケットの再送を要求しているか、そのパケットが使用される（そのパケットの画像が表示される）時間が分かる情報であるならば、どのような情報でもよい。
【００２５】
次に、再送判定部１８は再送要求情報を受け取ると、パケット情報監視部１７より再送要求のあったパケットの次のリフレッシュデータパケットの時間情報と、再送要求のあったパケットのパケットタイプ情報と、その時間情報を読み出す（ステップ１０３）。なお、再送要求のあったパケットのパケットタイプ情報と、その時間情報は、再送判定部１８より送られる再送要求情報に含まれているならば読み出さなくても良い。また、次のリフレッシュデータパケットの時間情報とは、図４（１）のようなリフレッシュの方法であるならば、再送要求のあったパケットの時間情報より後の時間情報を持ち、再送要求のあったパケットの時間情報に最も近いリフレッシュデータパケットの時間情報を指す。また、図４（２）のようなリフレッシュの方法であって再送要求されたパケットと同じ再生画面位置のリフレッシュデータパケットが複数のフレームに分かれており、再送要求されているパケットの次のリフレッシュデータパケットの時間情報が複数存在した場合は最も遅い時刻をそのパケットに対する次のリフレッシュデータパケットの時間情報とする（図４（２）参照）。ステップ１０３における時間情報の読み出しについての詳細は後述する。
【００２６】
次に、ステップ１０３によって読み出したリフレッシュデータパケットの時間情報と、再送要求のあったパケットのパケットタイプ情報と、再送要求のあったパケットの時間情報を用いて再送要求を行うか否かを判断する（ステップ１０４）。このステップ１０４における判断方法の詳細についても後述する。そして、ステップ１０４において再送要求を行うと判断された場合（ステップ１０４の「行う」方向）、再送の命令を送信部１４へ送る（ステップ１０５ａ）。また、ステップ１０４において再送要求を行わないと判断された場合（ステップ１０４の「行わない」方向）、受け取った再送要求に対して再送を行わない（ステップ１０５ｂ）。そして、送信部１４は再送の命令を受け取ると、送信済みデータバッファ部１５より要求のあったパケットデータを読み出し、パケットの再送を行う（ステップ１０６）。
【００２７】
（リフレッシュデータパケットの時間情報の取得）
次に、ステップ１０３におけるリフレッシュデータパケットの時間情報の取得についての詳細を述べる。ここで、再送判定部１８がパケット情報監視部１７より読み出す情報は再送要求のあったパケットの次のリフレッシュデータパケットの時間情報と、再送要求のあったパケットのパケットタイプ情報と、再送要求のあったパケットの時間情報であるが、以下の実施例１の説明において再送要求のあったパケットの次のリフレッシュデータの時間情報をＲＴ情報、再送要求のあったパケットのパケットタイプ情報をＳＰ情報、再送要求のあったパケットの時間情報をＳＴ情報と記す。
【００２８】
図５は再送判定部１８からのＲＴ情報、ＳＰ情報、ＳＴ情報等の各情報の読み出し要求に対するパケット情報監視部１７の動作・応答を示したフローチャートである。まず、パケット情報監視部１７が再送判定部１８からＲＴ情報、ＳＰ情報、ＳＴ情報等の読み出し要求を受け取ると、ＲＴ情報が把握できているかを判断する（ステップ２０１）。
【００２９】
次に、ステップ２０１において、再送要求されたパケットの次のＲＴ情報が把握出来ていた場合（ステップ２０１のＹｅｓ方向）、その時刻をＲＴ情報として、再送判定部１８へ送る（ステップ２０２ａ）。また、再送要求されたパケットの次のＲＴ情報が把握出来ていない場合（ステップ２０１のＮｏ方向）、再送要求されたパケット以前の把握しているＲＴ情報が２つ以上あるか否かを判定する（ステップ２０２ｂ）。
【００３０】
次に、ステップ２０２ｂにおいて、再送要求されたパケット以前のＲＴ情報が１つ以下の場合（ステップ２０２ｂのＮｏ方向）、ＲＴ情報を応答不能である旨の信号を再送判定部１８へ送る（ステップ２０３ａ）。また、再送要求されたパケット以前のＲＴ情報が２つ以上ある場合は（ステップ２０２ｂのＹｅｓ方向）、以下の数式１に基づいてパケットデータ情報監視部１７によって把握されているｔ番目（再送要求のあったパケットの直前のもの）までのリフレッシュデータパケットの時間間隔の平均値Ｒtavを求め、更に数式２に基づいて再送要求されたパケットの次のリフレッシュデータパケット（ｔ＋１番目）の時間の予測値Ｒ(t+1)Pを求め、その値Ｒ(t+1)PをＲＴ情報（予測時刻）とする（ステップ２０３ｂ）。
【００３１】
【数１】
【００３２】
【数２】
【００３３】
ここで、以上の数式１及び数式２を用いる際は、再送要求のあったパケット以前のリフレッシュデータパケットの時間はｔ個全てパケット情報監視部１７によって把握されているものとする。また、ｔ番目のリフレッシュデータパケットの時間をＲｔとする。また、再送要求されたパケットの次のリフレッシュデータパケットの時間の予測値の求め方は上記数式１及び数式２に限定されることなく、以下の数式３及び数式４によって求めるなど、他の方法によって求めても構わない。
【００３４】
【数３】
【００３５】
【数４】
【００３６】
ここで、数式３及び数式４において、ａ番目から再送要求のあったパケットの直前のリフレッシュデータパケットの時間（ｔ番目）までの連続した（ｔ−ａ＋１）個のリフレッシュデータパケットの時間が把握されているものとする。なお、ａはｔ未満の整数値を取る。
【００３７】
上記の説明では、平均値を用いる方法を例示してきたが、その他、ある観測範囲内の最大値又は最小値を用いる方法もある。さらに、符号化器や制御アプリケーション等がこれらの情報を有している、或いは観測しているのであれば、それらから情報を取得する方法もある。
【００３８】
そして、ステップ２０３ｂで求めたＲＴ情報（予測時刻）を再送判定部１８へ送る（ステップ２０４）。
【００３９】
（再送判断）◎
次に、ステップ１０４における再送判定部１８での再送判断についての詳細を述べる。
【００４０】
図６は、再送判定１８における再送判断を示したフローチャートである。まず、ＲＴ情報を得られたか判断する（ステップ３０１）。なお、「ＲＴ情報を得られなかった」とは、例えば図５のステップ２０３ａのように、ＲＴ情報を読み出せなかった場合や、図２のステップ１０３において予め定めた時間内にパケット情報監視部１７より応答がなく、タイムアウトした場合などをいう。
【００４１】
ステップ３０１において、ＲＴ情報を得られなかった場合（ステップ３０１の「得られず」方向）、パケットの再送を行うものとする（ステップ３０２ａ、図２のステップ１０４「行う」方向）。また、ＲＴ情報を得られた場合（ステップ３０１の「得られた」方向）、ＳＰ情報を参照して当該再送要求されたパケットがＩフレームであるか否かを判断する（ステップ３０２ｂ）。
【００４２】
ステップ３０２ｂにおいて、再送要求されたパケットがＩフレームであった場合（ステップ３０２ｂのＹｅｓ）、パケットの再送を行うものとする（ステップ３０３ａ、図２のステップ１０４「行う」方向）。また、再送要求されたパケットがＩフレーム以外であった場合（ステップ３０２ｂのＮｏ）、ＲＴ情報とＳＴ情報の差の時間を求める（ステップ３０３ｂ）。そして、ステップ３０３で求めたＲＴ情報とＳＴ情報の差の値と、予め定めた閾値と比較する（ステップ３０４）。なお、予め定めた閾値とは、機器によって定められる値であって、なるべく再送を許容する場合には閾値を小さく設定し、逆になるべく再送を許容しない場合には閾値を大きく設定する。また、伝送路の状況によって閾値を可変に設定することも可能である。また、予め定めた閾値を一定値に設定する場合、それぞれのリフレッシュ情報の時間間隔の最小時間以下の値に設定されることが望ましい。例えば、リフレッシュ情報を含むフレームが１秒おきに表示されるデータ列を送信する場合（図４（１）におけるＡ−Ｂ間、Ｂ−Ｃ間、Ｃ−Ｄ間の時間が１秒である場合）、予め定めた閾値を０．５秒（一定値）に設定してもよい。
【００４３】
また、例えばリフレッシュ情報を含むフレームの間隔が一定値でないデータ列を送信する場合（図４（１）におけるＡ−Ｂ間の時間が１秒、Ｂ−Ｃ間の時間が１．２秒、Ｃ−Ｄ間の時間が０．８秒とリフレッシュ情報を含むフレームの時間間隔が動的に変わる場合）、予め定めた閾値を現在のリフレッシュ情報を含むフレームの間隔の６割の値（図４（１）の斜線の再送要求パケットに対する予め定めた閾値は０．６秒となる）に設定してもよい。このように、予め定められた閾値はリフレッシュ情報を含むフレームの時間間隔、送信するデータに依存する値に設定されてもよい。
【００４４】
なお、図４（２）のようなリフレッシュ方法におけるリフレッシュ情報の時間間隔は図４（２）に示されるようにフレーム単位ではなく、フレーム内のリフレッシュされる単位で間隔を考える。
【００４５】
次に、ステップ３０４において、再送要求された次のＲＴ情報とＳＴ情報の差の時間が予め定めた閾値以上であった場合（ステップ３０４の「閾値より大きい」）、パケットの再送を行うものとする（ステップ３０５ａ、図２のステップ１０４「行う」方向）。また、再送要求された次のＲＴ情報とＳＴ情報の差の時間が予め定めた閾値未満であった場合（ステップ３０４の「閾値より小さい」）、パケットの再送を行わないものとする（ステップ３０５ｂ、図２のステップ１０４「行わない」方向）。なお、ステップ３０４において、再送要求された次のＲＴ情報とＳＴ情報の差の時間が予め定めた閾値以上の場合にステップ３０５ａへ進むものとしたが、再送要求された次のＲＴ情報とＳＴ情報の差の時間が予め定めた閾値と等しい場合は、パケットの再送を行わないように設定しても構わない。
【００４６】
また、通常のパケットの通信分の伝送路帯域使用率や、バッファやキューに溜まっている再送待ちデータのデータ量などを利用し、再送すると判断されたパケットでもＲＴ情報とＳＴ情報の差分の大小から順位付けを行い、再送に利用できる帯域が少ない場合、優先度の高いものだけを再送する方法も適用可能である。更に、再送パケットの送信順序も順番に行うのではなく、順位の高いものから先に送るなどの変更も可能である。
【００４７】
なお、本発明の実施例１において、ＲＴＰ／ＵＤＰ／ＩＰ方式でデータが伝送される場合を述べたが、他の方式においても趣旨を逸脱しない範囲において応用可能である。また、リフレッシュ方法については図４（１）及び図４（２）について述べたが、これに限定されることなく、他のリフレッシュ方法によっても可能である。
【００４８】
本発明の実施例１によれば、送信機１において再送要求を受け取った場合に、次のリフレッシュデータパケットとの時刻によって再送決定を行うことができるため、再送決定を効率よく行うことができる。
【実施例２】
【００４９】
本発明を受信機に適用した実施例について、図面を用いて説明する。図７は、本発明における受信機の構造を示したブロック図である。本発明の受信機２は受信部２１、受信データ蓄積部２２、情報蓄積部２３、パケットロス判定部２４、リフレッシュ時間予測部２５、再送判定部２６、再送要求送信部２７、などを有する。そして、それぞれ受信機２の各部は以下の機能を有する。なお、以下に記載されるシーケンスナンバ情報、ピクチャタイプの情報、及び時間情報とは実施例１において図３によって説明されたデータと同じデータであり、その説明を省略する。また、それぞれのデータが図４（２）によるリフレッシュ方法を取っているデータの場合、ピクチャタイプの情報を得るためには実施例１で説明した通り、ペイロードのスライスヘッダ情報やマクロブロック情報まで取得する必要がある。以降、送られてくるデータが図４（１）によるリフレッシュ方法である場合を例に説明するが、図４（２）によるリフレッシュ方法など、他のリフレッシュ方法においても応用できる。
【００５０】
受信部２１は外部から送られてきたパケット等を受信する機能を有する。そして、受信したパケットは受信データ蓄積部２２へ送られる。更に受信データ蓄積部２２は、図示しないデコーダなどによって復号される。
【００５１】
情報蓄積部２３は、受信部２１が受信したパケットの情報を蓄積する機能を有する。情報蓄積部２３に蓄積する情報は、少なくとも受信したパケットのシーケンスナンバ情報と、ピクチャタイプの情報と、時間情報が含まれている。そして、送信機２の各部よりそれらの情報が読み出される。更に、パケットのシーケンスナンバ情報と、ピクチャタイプの情報と、時間情報からリフレッシュデータの時間の間隔を把握し、ピクチャタイプ情報がＩピクチャであるならば、シーケンスナンバ情報と、時間情報をリフレッシュ時間予測部２５へ送る機能を有する。
【００５２】
パケットロス判定部２４は、受信したパケットのシーケンスナンバ情報を情報蓄積部２３より把握し、送信側から送られたパケットのロスがないかを判断する機能を有する。図８はパケットロス判定部２４におけるパケットロスの判定方法を説明する図である。パケットに付されている番号はそのパケットのシーケンスナンバである。パケットロス判定部２４は、受信したパケットのシーケンスナンバを把握し、パケット番号順に受信しているかを判断し、連続していない場合はパケットロスが生じたと判断する。例えば図８（１）のように、シーケンスナンバ１番から順番に受信し、２番、３番と順番に受信しているか否かを確かめる。そして、３番のパケットの次に５番パケットを受信した場合、４番のパケットが欠落したと判断する。同様に図８（２）の場合においても、１４番パケットの次に１７番パケットを受信しているため、１５番パケット及び１６番パケットが欠落したと判断する。そして、パケットロスを検出した場合、再送判定部２６へパケットロスしたシーケンスナンバ情報を送る。
【００５３】
リフレッシュ時間予測部２５は、情報蓄積部２３から送られるＩピクチャのシーケンスナンバ情報と、その時間情報を読み出し、そのＩピクチャのシーケンスナンバ情報とその時間情報を用いてリフレッシュデータパケットの時間の間隔を把握し、次のリフレッシュデータパケットの時間情報を予測する機能を有する。なお、以下ではリフレッシュデータパケットの時間情報そのものをリフレッシュ時間情報といい、予測したリフレッシュデータパケットの時間情報を仮時間情報という。なお、リフレッシュ時間予測部２５によるリフレッシュデータパケットの時間間隔情報の予測方法及び次の仮時間情報の予測方法に関する詳細は後述する。
【００５４】
再送判定部２６は、再送要求を行うか否かの判断を行う機能を有する。再送要求を行うか否かの判断についての詳細は後述する。
【００５５】
再送要求送信部２７は、再送判定部２６によって再送要求を行うと判断された場合、再送要求を送信する機能を有する。
【００５６】
次に、本発明の受信機２において、受信部２１がパケットを受信し、パケットロス判定部２４においてパケットロスと判断された場合における、再送要求制御方法について、フローチャートを用いて説明する。図９は、パケットロス判定部２４によってパケットロスが検出された場合における、再送要求制御方法を示したフローチャートである。まず、パケットロス判定部２４によって、前述の通りパケットロスを検出すると（ステップ４０１）、パケットロス判定部２４は、ロスしたパケットのシーケンスナンバを把握し、そのシーケンスナンバ情報を再送判定部２６ヘ送る（ステップ４０２）。
【００５７】
次に、パケットロスを検出したパケットの時間情報を情報蓄積部２３より読み出し、リフレッシュ時間予測部２５よりロスを検出したパケットの次の仮時間情報を読み出す（ステップ４０３）。なお、パケットロスを検出したパケットの時間情報とは、例えば図８（１）に示すシーケンスナンバ５のパケットや、図８（２）に示すシーケンスナンバ１７のパケット等のロスを検出したパケットの時間情報を指す。また、ロスを検出したパケットの次の仮時間情報とはパケットロスを検出したパケットの時間情報の次の仮時間情報を指す。この仮時間情報についての詳細は後述する。
【００５８】
次に、再送判定部２６はステップ４０３で読み出した仮時間情報と、ロスしたパケットのシーケンスナンバ情報とを用いて再送判定を行う（ステップ４０４）。なお、予め決められた閾値とは、実施例１で記載したものと同様に定義されるものである。また、ステップ４０４における再送判定の詳細は後述する。
【００５９】
そして、ステップ４０４において再送を行わないと判断された場合は（ステップ４０４の「行わない」方向）、再送要求を行わず、ロスしたパケットとして扱う（ステップ４０５ａ）。また、ステップ４０４において再送要求を行うと判断された場合（ステップ４０４の「行う」方向）、再送要求送信部２７はパケットが送信された送信機へ再送要求を送る（ステップ４０５ｂ）。
【００６０】
（仮時間情報の予測）
次に、リフレッシュ時間予測部２５による仮時間情報の求め方についてその詳細を説明する。図１０は、リフレッシュ時間予測部２５がｔ番目のリフレッシュデータパケットのシーケンスナンバ情報、及びその時間情報を情報蓄積部２３より取得した場合におけるｔ＋１番目のリフレッシュ時間情報（ｔ＋１番目の仮時間情報）を予測する方法を示したフローチャートである。なお、「ｔ番目のリフレッシュデータパケット」のｔは、１以上の整数値をとり、受信したデータを表示順に並べた場合におけるリフレッシュデータパケットだけをカウントした値である。つまり、ここでは受信機２において受信予定のデータ列の中でｔ番目のリフレッシュデータパケットまで受信している場合における、ｔ＋１番目のリフレッシュ時間情報を予測する方法を述べる。
【００６１】
まず、リフレッシュ時間予測部２５は、ｔ番目のリフレッシュデータパケットのシーケンスナンバ情報、及びその時間情報を情報蓄積部２３より取得すると（ステップ５０１）、ｔ番目の仮時間情報が存在する場合は、そのｔ番目の仮時間情報をステップ５０１で受け取ったリフレッシュ時間情報に変更する（ステップ５０２）。
【００６２】
次に、１番目からｔ番目までのリフレッシュ時間情報の時間間隔の平均値Ｒtavを前述の数式１を用いて求める（ステップ５０３）。なお、リフレッシュ時間情報が存在しない場合は仮時間情報を用いる。その後、リフレッシュ時間情報の時間間隔の平均値Ｒtavとｔ番目のリフレッシュ時間情報（存在しない場合は仮時間情報）を用いて、前述の数式２によってｔ＋１番目の仮時間情報Ｒ(t+1)pを求める（ステップ５０４）。
【００６３】
なお、以上のステップ５０３、ステップ５０４において、数式１乃至数式２を用いてｔ＋１番目の仮時間情報Ｒ(t+1)pを求めたが、実施例１で説明した様に数式３乃至数式４を用いてリフレッシュ時間情報の時間間隔の平均値Ｒ’tav及び仮時間情報Ｒ’(t+1)pを求めてもよい。また、実施例１と同様に平均値だけでなく、ある観測範囲内の最大値または最小値を用いる方法も適応可能である。さらに、復号化器や制御アプリケーション等がこれらの情報を有している・観測しているのであれば、それらから情報を取得する方法もある。
【００６４】
（再送判定）
次に、前述したステップ４０４における再送判定についての詳細を述べる。図１１はステップ４０４における再送判定を説明する図であって、図１２はステップ４０４における再送判定の詳細の動作を示したフローチャートである。まず、再送判定部２６がパケットロス判定部２４よりシーケンスナンバ情報を得て、リフレッシュ時間予測部２５より仮時間情報（例えば図１１のＲ2p）を得ると（図９のステップ４０３に該当する）、次にロスしたパケットの時間情報（図１１のｔ４）が把握できるか否か判断する（ステップ６０１）。このステップ６０１において、ロスしたパケットの時間情報（ｔ４）が把握できる場合とは、次のような場合を指す。図４（１）等に示される１つのスライス（１つの画像を指す）が複数のパケットに分割されてパケット化することが可能であるが、複数のパケットに分割されてパケット化された場合、そのうちの１つのパケットがロスしても、他のパケットによってロスしたパケットと同じスライスの一部がパケット化され、そのパケットと、ロスしたパケットの時間情報は同じスライスであるため同じ時間情報を持つことになる。ステップ６０１においては、以上の状況よりロスしたパケットの時間情報がわかる場合を指す。
【００６５】
そして、ステップ６０１において再送判定部２６がロスしたパケットの時間情報が把握できた場合はステップ６０３へ進む（ステップ６０１の「できる」方向）。また、ステップ６０１において再送判定部２６がロスしたパケットの時間情報が把握できなかった場合は（ステップ６０１の「できない」方向）、パケットロス判定部２４より送られてきたパケットロスを検出したシーケンスナンバ情報を持つパケットの時間情報（図１１のシーケンスナンバＳＮ５のパケットの時間情報ｔ５）を情報蓄積部２３より得る（ステップ６０２）。なお、ステップ６０２において再送判定部２６が得る情報はこれに限定されること無く、ロスが生じた１つ前シーケンスナンバを持つパケットの時間情報（図１１のｔ３）や１つ後のシーケンスナンバを持つパケットの時間情報（図１１のｔ５）でもよいし、ロスが生じたパケットの時間情報ｔ４の予測時間ｔ’４（ｔ３とｔ５の平均値で求める等）でもよい。
【００６６】
次にステップ４０３においてリフレッシュ時間予測部２５より得た仮時間情報（例えば図１１のＲ2p）とステップ６０１又はステップ６０２で得た時間情報（図１１のｔ３、ｔ４、ｔ’４、ｔ５等）との差の値（図１１のＴ１、Ｔ２、Ｔ３、Ｔ’３等）を求める（ステップ６０３）。そして、ステップ６０３で求めた仮時間情報とステップ６０１又はステップ６０２で得た時間情報との差の値（図１１のＴ１、Ｔ２、Ｔ３、Ｔ’３等）と、予め定められた閾値とを比較する（ステップ６０４）。このステップ６０４において用いられる予め定められた閾値とは実施例１において用いられる閾値と同様に定義されるものであって、その説明を省略する。
【００６７】
そして、ステップ６０４において、ステップ６０３で求めた仮時間情報とステップ６０１又はステップ６０２で得た時間情報との差の値（図１１のＴ１、Ｔ２、Ｔ３、Ｔ’３等）が予め定めた閾値より小さい場合は（ステップ６０４の「閾値より小さい」方向）、再送要求を行わないと判断し（ステップ６０５ａ）、ステップ６０３で求めた仮時間情報とステップ６０１又はステップ６０２で得た時間情報との差の値（図１１のＴ１、Ｔ２、Ｔ３、Ｔ’３等）が予め定めた閾値より大きい場合は（ステップ６０４の「閾値より大きい」方向）、再送要求を行うと判断する（ステップ６０５ｂ）。
【００６８】
本発明の実施例２によれば、受信機２においてパケットロスを検出した場合に、次のリフレッシュデータパケットまでの時間によって再送要求の決定を行うことができるため、再送要求の決定を効率よく行うことができる。
【実施例３】
【００６９】
本発明を送信機に適用した実施例３について説明する。なお、本実施例３において、送信機の構成は実施例１と同様の構成であるため、その説明を省略する（図１）。そして、本実施例３における再送制御方法について図１３のフローチャートを用いて説明する。図１３は送信機１による再送制御方法を示したフローチャートである。まず、送信部１４によって送信されたパケットデータが何らかの原因でパケットロスが生じ、受信側から再送要求が送られ、受信部１６において再送要求を受信すると（ステップ１００１）、受信部１６は送られてきた再送要求情報を再送判定部１８へ送る（ステップ１００２）。なお、前述の実施例１と同様、ステップ１００２における再送要求情報は送信部１４によって送信されたパケットのＲＴＰヘッダに記載されたシーケンスナンバ情報を用いるのが一般的である。また再送要求の方法としては、直接的に再送すべきパケットのシーケンスナンバを指定する方法（ＮＡＣＫ方式）と、受信したパケットの番号だけを通知することで、間接的に受信できなかったパケットを指定する方法（ＡＣＫ方式）等が考えられる。本発明ではどのような再送要求方法でも利用することが可能であり、例えばＲＴＰパケットに含まれるタイムスタンプ情報を用いパケットの時刻情報を受信側から送信側に通知し、その時刻に該当するパケットの再送を要求する方式や、受信側が現在復号及び表示中のパケットの時刻や、ネットワークによる伝送遅延情報等を通知し、送信側に再送すべきパケットを判断させる方式等も考えられる。そのため、再送要求情報は、前述したシーケンスナンバだけでなく、どのパケットの再送を要求しているか、そのパケットが使用される（そのパケットの画像が表示される）時間が分かる情報であるならば、どのような情報でもよい。
【００７０】
次に、再送判定部１８は再送要求情報を受け取ると、パケット情報監視部１７を通じて符号化部１９より再送要求のあったパケットの次のリフレッシュデータパケットの時間情報を読み出す（ステップ１００３）。
【００７１】
次に、再送判定部１８は、ステップ１００３によって読み出したリフレッシュデータパケットの時間情報と、再送要求のあったパケットの時間情報との差分が予め定められた閾値を超えているか否かを判断する（ステップ１００４）。そして、ステップ１００４においてリフレッシュデータパケットの時間情報と、再送要求のあったパケットの時間情報との差分が予め定められた閾値以下であると判断された場合、（ステップ１００４の「差が閾値以下」方向）、リフレッシュデータパケットのＩピクチャ以降のデータを用いて、再送データの再送を行うため、送信部１４にその命令を行う（ステップ１００５ｂ）。
【００７２】
また、ステップ１００４においてリフレッシュデータパケットの時間情報と、再送要求のあったパケットの時間情報との差分が予め定められた閾値以上（または超えている）と判断された場合（ステップ１００４の「閾値以上」方向）、再送判定部１８は、前後のパケットが消失しているか否か（前後のパケットにおいても再送要求が到達しているか否か）を判断する（ステップ１００５ｂ）。そして、ステップ１００５ｂにおいて、前後のパケットが消失していないと判断された場合においては（ステップ１００５ｂの「Ｎｏ」方向）、当該再送要求に対しての再送を行わない（ステップ１００６ｂ）。また、ステップ１００５ｂにおいて、前後のパケットが消失していると判断された場合は（ステップ１００５ｂの「Ｙｅｓ」方向）、再送判定部１８は、パケット情報監視部１７を通じて、符号化部１９に対して再送要求のあったパケットに対してＩピクチャを生成するよう要求し、そこから再度再送を行うように制御する（ステップ１００６ａ）。
【００７３】
なお、本実施例において用いるリフレッシュデータパケットの時間情報は、実施例１において算出した方法によって求めることとするため、その説明を省略する。
【００７４】
本実施例の再送制御方法を用いることにより、直後にＩピクチャを送信するようなタイミングの再送要求を受けた場合、または、Ｉピクチャを送信した直後のパケットに再送要求を受けた場合に帯域の圧迫を回避可能にしつつ、適切に再送制御ができる。
【実施例４】
【００７５】
本発明を送信機に適用した実施例４について説明する。なお、本実施例４において、送信機の構成は実施例１と同様の構成であるため、その説明を省略する（図１）。
【００７６】
また、本発明の送信機１において、受信部１６が再送要求を受信した際の再送制御方法について、フローチャートを用いて説明する。図１４は送信機１による再送制御方法を示したフローチャートである。まず、送信部１４によって送信されたパケットデータが何らかの原因でパケットロスが生じ、受信側から再送要求が送られ、受信部１６において再送要求を受信すると（ステップ２００１）、受信部１６は送られてきた再送要求情報を再送判定部１８へ送る（ステップ２００２）。
【００７７】
次に、再送判定部１８は再送要求情報を受け取ると、パケット情報監視部１７より再送要求のあったパケットの次のリフレッシュデータパケットの時間情報と、再送要求のあったパケットの時間情報を読み出す（ステップ２００３）。
【００７８】
次に、ステップ２００３によって読み出したリフレッシュデータパケットの時間情報と、再送要求のあったパケットの時間情報を用いて再送要求を行うか否かを判断する（ステップ２００４）。このステップ２００４における判断方法の詳細については、実施例１と同じであるため、その説明を省略する。そして、ステップ２００４において再送要求を行うと判断された場合（ステップ２００４の「行う」方向）、再送の命令を送信部１４へ送る（ステップ２００５ａ）。また、ステップ２００４において再送判定部１８によって再送要求を行わないと判断された場合（ステップ２００４の「行わない」方向）、受け取った再送要求に対して再送を行わず、次のリフレッシュ時刻情報で指定されているＩピクチャ以降のデータを用いて送信制御を行うよう、送信部１４に命令する（ステップ２００５ｂ）。つまり、次のリフレッシュ時刻までのパケットデータを送信せずに、リフレッシュ時刻情報で指定されているパケット以降を早めに送信するよう制御する。
【００７９】
そして、送信部１４は再送の命令を受け取ると、送信済みデータバッファ部１５より要求のあったパケットデータを読み出し、パケットの再送を行う（ステップ２００６）。
【００８０】
なお、本実施例において用いるリフレッシュデータパケットの時間情報は、実施例１において算出した方法によって求めることとするため、その説明を省略する。
【００８１】
本実施例の再送制御方法を用いることにより、直後にＩピクチャを送信するようなタイミングの再送要求を受けた場合に帯域の圧迫を回避可能にしつつ、適切に再送制御ができる。
【符号の説明】
【００８２】
１ 送信機
２ 受信機
１１ 入力部
１２ コンテンツデータ蓄積部
１３ パケット化部
１４ 送信部
１５ 送信済みデータバッファ部
１６ 受信部
１７ パケット情報監視部
１８ 再送判定部
２１ 受信部
２２ 受信データ蓄積部
２３ 情報蓄積部
２４ パケットロス判定部
２５ リフレッシュ時間予測部
２６ 再送判定部
２７ 再送要求送信部
【技術分野】
【０００１】
本発明は、送信機及び受信機に関する。
【背景技術】
【０００２】
近年、インターネット通信などといった様々な通信媒体を介した画像データ、音声データなどのデータ伝送が盛んに行われている。特に、インターネット上のデータ伝送において、従来から利用されているダウンロード型伝送方式に加えて、ストリーム型伝送方式によるサービスが増加してきている。
【０００３】
ストリーム型伝送方式とは、送信側から受信側端末に映像・音声データ伝送が行われるのと並行して、受信側端末にて受信した映像・音声データの再生処理を実行するものであり、インターネット電話や遠隔テレビ会議などに利用されている。このようなストリーム型伝送方式に適した伝送プロトコルとして、代表的にはＵＤＰ／ＩＰ(User Datagram Protocol / Internet Protocol)等が用いられている。このＵＤＰ／ＩＰ伝送プロトコルを利用してデータをパケット単位で伝送する場合、送信側は相手先のＩＰアドレスを指定して一方的に送信するため、もし伝送路においてパケットロスが発生した場合、送信側も相手先にパケットが届いたか否かもわからないし、受信側も送信側が意図したパケットが全て届いているかどうかもわからないため、自動的にロスしたパケットを再送するということはない。
【０００４】
また、ＵＤＰ／ＩＰの上位プロトコルとして、IETF RFC1889で規定されているプロトコルで、ＲＴＰ(Real time Transport Protocol)がある。ＲＴＰ／ＵＤＰ／ＩＰに従ったデータ伝送を行えば、それぞれのパケットに、再生に関する時間情報およびパケットの番号の情報等が付加されるため、受信側において、その時間情報及びパケットの番号を参照することにより、送られるデータの時間的関係の把握を行い、同期をとった再生を行うことができる。
【０００５】
ＲＴＰ／ＵＤＰ／ＩＰに従ったデータ伝送において、受信側においてパケットロスを検出した場合、送信側へ再送要求を送り、再度ロスしたパケットを送ってもらうことが行われるが、受信側で全てのロスしたパケットに対して再送要求を行うことや、送信側で全ての再送要求に対して再送を行うことは効率が悪く、使用可能な伝送帯域を圧迫することになる。そのため、効率的な再送制御が望まれている。
【０００６】
以上の問題を解決するために、パケットのタイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャなど）を判定し、Ｉピクチャと判定された場合だけ再送要求を送るといった方法が提案されている（例えば特許文献１参照）。また、送信側が再送要求を受けた場合、それぞれＩピクチャの送信番号を１とし、そのＩピクチャからｎ番目のピクチャの優先度を１／ｎとして、ある閾値以下の優先度を持つピクチャは再送を行わないという方法が提案されている（例えば特許文献２参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１１−９８５０３号公報（２頁乃至６頁、図４）
【特許文献２】特開２００１−２７４６８１号公報（２頁乃至７頁、図３）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
画像のデータ伝送中にパケットロスが生じて再送要求を行う場合、Ｉピクチャと判断された場合にだけ再送要求を行う方法においては、最も重要であるＩピクチャだけが再送要求されるため、再送要求をなるべく減らしつつもパケットロスによる画像劣化をある程度おさえることができる。しかし、Ｐピクチャにおいてもパケットロスが発生すると、その後のフレームにエラーが伝播するため、従来の制御では必ずしも十分ではない。つまり、パケットロスしたＰピクチャ以降長時間に渡りＩピクチャがなければ、次のＩピクチャが現れるまでは正しく表示することができず、その誤りの影響を引きずるという問題が生じる。また、予め関数によって優先度を設定し、その優先度が閾値以上の場合のみ再送を行う方法においても、同様の問題が生じる。
本発明は、上記の問題点を解決したものであって、受信機において検出されたパケットロスに対するパケットの再送要求及び再送要求に対する送信機の再送決定において、送信するデータの種別に加え、送信するデータ列に応じてパケットの再送要求の制御及びパケット再送決定の制御を行うことができる送信機及び受信機を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の送信機は、画像データをパケット化して送信する送信部と、前記送信部によって送られたパケットの再送要求を受信する受信部と、少なくとも画像データをパケット化したパケットの再生時間の情報を管理するパケット管理部と、前記再送要求を前記受信部によって受信した場合、前記再送要求を受けたパケットの画像データが再生される第１の再生時間より後の再生時間で、かつ前記第１の再生時間に最も近いイントラ予測データが含まれるフレームが再生される第２の再生時間と、前記第１の再生時間の情報を前記パケット管理部より読み出し、前記第２の再生時間と、前記第１の再生時間の差の時間を求め、前記差の時間が予め定められた閾値以上の場合、前記再送要求を受けたパケットの再送を行う命令を前記送信部に送るパケット再送制御手段とを有することを特徴とする。
また、本発明の受信機は、符号化されてパケット化された画像データを受信する受信部と、前記受信部において受信したパケットの情報を蓄積する情報蓄積部と、前記受信部において受信すべき順番でパケットを受信したかを判断し、パケットのロスを判断するパケットロス判定部と、前記ロスしたパケットの次に再生される画像データが再生される第１の再生時間より前の再生時間であって、イントラ予測データが含まれるフレームの再生時間の情報を少なくとも２つ以上用いて、前記第１の再生時間より後の再生時間で、かつ前記第１の再生時間に最も近いイントラ予測データが含まれるフレームが再生される第２の再生時間を予測するパケット時間情報予測部と、前記パケットロス判定部においてパケットロスと判断された場合、前記予測した第２の再生時間と前記第１の再生時間の差の時間を求め、前記差の時間が予め定められた閾値以上の場合、前記ロスしたパケットの再送要求を行うと判断する再送判定部とを有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、受信機において検出されたパケットロスに対するパケットの再送要求及び再送要求に対する送信機の再送決定において、送信するデータの種別に加え、送信するデータ列に応じてパケットの再送要求の制御及びパケット再送決定の制御を行うことができる。
【図面の簡単な説明】
【００１１】
【図１】本発明を送信機に適用した場合のブロック図。
【図２】本発明の実施例１における再送制御方法を示したフローチャート。
【図３】本発明の実施例における、ＲＴＰパケットの構成を示した概略図。
【図４】本発明の実施例における、リフレッシュ方法を示した図。
【図５】本発明の実施例１におけるパケット情報監視部１７における処理を示したフローチャート。
【図６】本発明の実施例１における再送判定部１８における再送判定処理を示したフローチャート。
【図７】本発明を受信機に適用した場合のブロック図。
【図８】本発明の実施例２における、パケットロスの検出を説明する図。
【図９】本発明の実施例２における、再送制御方法を示したフローチャート。
【図１０】本発明の実施例２における、リフレッシュデータパケットの時間予測方法を示したフローチャート。
【図１１】本発明の実施例２における、再送判定方法を説明する図。
【図１２】本発明の実施例２における、再送判定方法を示したフローチャート。
【図１３】本発明の実施例３における送信機１における再送判定処理を示したフローチャート。
【図１４】本発明の実施例４における送信機１における再送判定処理を示したフロー チャート。
【発明を実施するための形態】
【００１２】
以下に、本発明の実施の形態を説明する。
【実施例１】
【００１３】
本発明を送信機に適用した実施例について、図面を用いて説明する。図１は、本発明における送信機の構造を示したブロック図である。本発明の送信機１は入力部１１、コンテンツデータ蓄積部１２、パケット化部１３、送信部１４、送信済みバッファ部１５、受信部１６、パケット情報監視部１７、再送判定部１８、符号化部１９などを有する。そして、それぞれの各部は以下の機能を有する。
【００１４】
入力部１１は、カメラ等によって映像を入力する機能を有し、入力部１１によって入力された映像は、符号化部１９によって符号化され、更に符号化されたデータはＵＤＰ／ＩＰ方式に基づいたヘッダが付され、パケット化部１３へ送られる。
【００１５】
コンテンツデータ蓄積部１２には、外部から入手したコンテンツデータや、送信機内部で作成されたデータ等が記憶されており、コンテンツデータ蓄積部１２に記憶されている一部乃至全部のデータを送信すべき命令を受けたことをトリガーにして、送信するデータはパケット化部１３へ送られる。
【００１６】
パケット化部１３は、符号化されたデータをＲＴＰ方式によってパケット化する機能を有する。そして、パケット化部１３においてパケット化されたデータは送信部１４へ送られる。
【００１７】
送信部１４は、パケット化部１３においてパケット化されたデータを外部へ送信する機能を有する。そして、送信が終わったパケットは送信済みデータバッファ部１５へ蓄積する。更に、送信部１４は再送判定部１８からパケットの再送を要求されたことをトリガーにして、該当するパケットを送信済みデータバッファ部１５より読み出して外部へ送信する機能も有する。また、再送を行った場合もそのパケットのデータを再度送信済みデータバッファ部１５へ蓄積する。
【００１８】
送信済みデータバッファ部１５は、前述の通り送信部１４によって外部へ送信されたパケットのデータを一時蓄積する機能を有する。送信済みデータバッファ部１５はリングバッファによって構成されており、バッファ容量が一杯になったら一番古いパケットのデータより消去される。なお、リングバッファに限定されることなく、他のバッファでも良い。
【００１９】
受信部１６は、主に外部から送信されたデータを受信する機能を有するが、パケットロスによる再送要求情報を受信した場合は、その受信した再送要求情報を再送判定部１８ヘ送る。
【００２０】
パケット情報監視部１７は、パケット化部１３においてパケット化されるデータに関する情報を監視する機能を有する。以下、パケット情報監視部１７において監視されるデータについて述べる。なお、以下に述べる監視データ以外のデータも監視するように設定しても良い。
【００２１】
図３はある情報をＲＴＰ方式によってパケット化された場合のパケットの概要を示したものである。図３に示すように、ＲＴＰ方式によってパケット化されたパケットはＲＴＰヘッダに時間（タイムスタンプ）情報（図３の「ＴＳ」）とシーケンスナンバ情報（図３の「ＳＮ」）などが記載されており、ペイロードのヘッダ部分にはピクチャタイプ（Ｉ、Ｐ、Ｂなど）（図３の「ＰＴ」）等が記載されている。パケット情報監視部１７は少なくとも時間（タイムスタンプ）情報と、シーケンスナンバ情報と、ピクチャタイプ情報をそれぞれのパケットについて監視する。
【００２２】
ピクチャタイプについては、Ｉ、Ｐ、Ｂなどの種類があるが、Ｐ及びＢピクチャはＩピクチャに比べて符号量が少ないので多く用いられるが、エラー耐性を高めるためにＩピクチャなどによるリフレッシュが行われる。ここで、映像情報の一般的なリフレッシュの方法は２つの代表的な方法がある。１つは図４（１）のように１つの画像全体をＩフレームでリフレッシュする方法であって、もう１つは図４（２）のように１つの画像の一部ずつをリフレッシュして行く方法である。図４（１）のようなリフレッシュ方法を採用した場合、Ｉピクチャの場合はペイロードのピクチャタイプの箇所にＩであることの情報が記載されている。そして、ペイロードのピクチャタイプの箇所を参照すればそのパケットがリフレッシュのためのデータであることが分かる。しかし、図４（２）のようなリフレッシュ方法を採用した場合、一部分がリフレッシュのためのデータであった（一部がイントラ予測データであった）としても、ペイロードのピクチャタイプの箇所はＰであることの情報が記載されるため、リフレッシュのためのデータか否かはこの情報だけではわからない。そのため、リフレッシュのためのデータか否かを把握するためには更にマクロブロックの予測方式（イントラ予測かインター予測）が記載されている箇所（スライスヘッダなど）も参照する。図４（２）のリフレッシュ方法を採用したデータ構成がなされている場合、パケット情報監視部１７は、上記３つの情報に加えてそれぞれのマクロブロックの予測方式（イントラ予測かインター予測）が記載されている箇所（スライスヘッダなど）も監視する。以下、リフレッシュのためのデータを含むパケットをリフレッシュデータパケットと記す。
【００２３】
そして、再送判定部１８は、受信部１６から送られた再送要求情報と、パケット情報監視部１７において監視しているパケット情報の一部等に基づいて再送を行うか否かの判定を行う機能を有する。なお、パケット情報監視部１７から読み出すパケット情報の読み出し方法、および再送判定部１８による再送判定方法についての詳細は後述する。
【００２４】
次に、本発明の送信機１において、受信部１６が再送要求を受信した際の再送制御方法について、フローチャートを用いて説明する。図２は送信機１による再送制御方法を示したフローチャートである。まず、送信部１４によって送信されたパケットデータが何らかの原因でパケットロスが生じ、受信側から再送要求が送られ、受信部１６において再送要求を受信すると（ステップ１０１）、受信部１６は送られてきた再送要求情報を再送判定部１８へ送る（ステップ１０２）。なお、ステップ１０２における再送要求情報は送信部１４によって送信されたパケットのＲＴＰヘッダに記載されたシーケンスナンバ情報を用いるのが一般的である。また再送要求の方法としては、直接的に再送すべきパケットのシーケンスナンバを指定する方法（ＮＡＣＫ方式）と、受信したパケットの番号だけを通知することで、間接的に受信できなかったパケットを指定する方法（ＡＣＫ方式）等が考えられる。本発明ではどのような再送要求方法でも利用することが可能であり、例えばＲＴＰパケットに含まれるタイムスタンプ情報を用いパケットの時刻情報を受信側から送信側に通知し、その時刻に該当するパケットの再送を要求する方式や、受信側が現在復号及び表示中のパケットの時刻や、ネットワークによる伝送遅延情報等を通知し、送信側に再送すべきパケットを判断させる方式等も考えられる。そのため、再送要求情報は、前述したシーケンスナンバだけでなく、どのパケットの再送を要求しているか、そのパケットが使用される（そのパケットの画像が表示される）時間が分かる情報であるならば、どのような情報でもよい。
【００２５】
次に、再送判定部１８は再送要求情報を受け取ると、パケット情報監視部１７より再送要求のあったパケットの次のリフレッシュデータパケットの時間情報と、再送要求のあったパケットのパケットタイプ情報と、その時間情報を読み出す（ステップ１０３）。なお、再送要求のあったパケットのパケットタイプ情報と、その時間情報は、再送判定部１８より送られる再送要求情報に含まれているならば読み出さなくても良い。また、次のリフレッシュデータパケットの時間情報とは、図４（１）のようなリフレッシュの方法であるならば、再送要求のあったパケットの時間情報より後の時間情報を持ち、再送要求のあったパケットの時間情報に最も近いリフレッシュデータパケットの時間情報を指す。また、図４（２）のようなリフレッシュの方法であって再送要求されたパケットと同じ再生画面位置のリフレッシュデータパケットが複数のフレームに分かれており、再送要求されているパケットの次のリフレッシュデータパケットの時間情報が複数存在した場合は最も遅い時刻をそのパケットに対する次のリフレッシュデータパケットの時間情報とする（図４（２）参照）。ステップ１０３における時間情報の読み出しについての詳細は後述する。
【００２６】
次に、ステップ１０３によって読み出したリフレッシュデータパケットの時間情報と、再送要求のあったパケットのパケットタイプ情報と、再送要求のあったパケットの時間情報を用いて再送要求を行うか否かを判断する（ステップ１０４）。このステップ１０４における判断方法の詳細についても後述する。そして、ステップ１０４において再送要求を行うと判断された場合（ステップ１０４の「行う」方向）、再送の命令を送信部１４へ送る（ステップ１０５ａ）。また、ステップ１０４において再送要求を行わないと判断された場合（ステップ１０４の「行わない」方向）、受け取った再送要求に対して再送を行わない（ステップ１０５ｂ）。そして、送信部１４は再送の命令を受け取ると、送信済みデータバッファ部１５より要求のあったパケットデータを読み出し、パケットの再送を行う（ステップ１０６）。
【００２７】
（リフレッシュデータパケットの時間情報の取得）
次に、ステップ１０３におけるリフレッシュデータパケットの時間情報の取得についての詳細を述べる。ここで、再送判定部１８がパケット情報監視部１７より読み出す情報は再送要求のあったパケットの次のリフレッシュデータパケットの時間情報と、再送要求のあったパケットのパケットタイプ情報と、再送要求のあったパケットの時間情報であるが、以下の実施例１の説明において再送要求のあったパケットの次のリフレッシュデータの時間情報をＲＴ情報、再送要求のあったパケットのパケットタイプ情報をＳＰ情報、再送要求のあったパケットの時間情報をＳＴ情報と記す。
【００２８】
図５は再送判定部１８からのＲＴ情報、ＳＰ情報、ＳＴ情報等の各情報の読み出し要求に対するパケット情報監視部１７の動作・応答を示したフローチャートである。まず、パケット情報監視部１７が再送判定部１８からＲＴ情報、ＳＰ情報、ＳＴ情報等の読み出し要求を受け取ると、ＲＴ情報が把握できているかを判断する（ステップ２０１）。
【００２９】
次に、ステップ２０１において、再送要求されたパケットの次のＲＴ情報が把握出来ていた場合（ステップ２０１のＹｅｓ方向）、その時刻をＲＴ情報として、再送判定部１８へ送る（ステップ２０２ａ）。また、再送要求されたパケットの次のＲＴ情報が把握出来ていない場合（ステップ２０１のＮｏ方向）、再送要求されたパケット以前の把握しているＲＴ情報が２つ以上あるか否かを判定する（ステップ２０２ｂ）。
【００３０】
次に、ステップ２０２ｂにおいて、再送要求されたパケット以前のＲＴ情報が１つ以下の場合（ステップ２０２ｂのＮｏ方向）、ＲＴ情報を応答不能である旨の信号を再送判定部１８へ送る（ステップ２０３ａ）。また、再送要求されたパケット以前のＲＴ情報が２つ以上ある場合は（ステップ２０２ｂのＹｅｓ方向）、以下の数式１に基づいてパケットデータ情報監視部１７によって把握されているｔ番目（再送要求のあったパケットの直前のもの）までのリフレッシュデータパケットの時間間隔の平均値Ｒtavを求め、更に数式２に基づいて再送要求されたパケットの次のリフレッシュデータパケット（ｔ＋１番目）の時間の予測値Ｒ(t+1)Pを求め、その値Ｒ(t+1)PをＲＴ情報（予測時刻）とする（ステップ２０３ｂ）。
【００３１】
【数１】
【００３２】
【数２】
【００３３】
ここで、以上の数式１及び数式２を用いる際は、再送要求のあったパケット以前のリフレッシュデータパケットの時間はｔ個全てパケット情報監視部１７によって把握されているものとする。また、ｔ番目のリフレッシュデータパケットの時間をＲｔとする。また、再送要求されたパケットの次のリフレッシュデータパケットの時間の予測値の求め方は上記数式１及び数式２に限定されることなく、以下の数式３及び数式４によって求めるなど、他の方法によって求めても構わない。
【００３４】
【数３】
【００３５】
【数４】
【００３６】
ここで、数式３及び数式４において、ａ番目から再送要求のあったパケットの直前のリフレッシュデータパケットの時間（ｔ番目）までの連続した（ｔ−ａ＋１）個のリフレッシュデータパケットの時間が把握されているものとする。なお、ａはｔ未満の整数値を取る。
【００３７】
上記の説明では、平均値を用いる方法を例示してきたが、その他、ある観測範囲内の最大値又は最小値を用いる方法もある。さらに、符号化器や制御アプリケーション等がこれらの情報を有している、或いは観測しているのであれば、それらから情報を取得する方法もある。
【００３８】
そして、ステップ２０３ｂで求めたＲＴ情報（予測時刻）を再送判定部１８へ送る（ステップ２０４）。
【００３９】
（再送判断）◎
次に、ステップ１０４における再送判定部１８での再送判断についての詳細を述べる。
【００４０】
図６は、再送判定１８における再送判断を示したフローチャートである。まず、ＲＴ情報を得られたか判断する（ステップ３０１）。なお、「ＲＴ情報を得られなかった」とは、例えば図５のステップ２０３ａのように、ＲＴ情報を読み出せなかった場合や、図２のステップ１０３において予め定めた時間内にパケット情報監視部１７より応答がなく、タイムアウトした場合などをいう。
【００４１】
ステップ３０１において、ＲＴ情報を得られなかった場合（ステップ３０１の「得られず」方向）、パケットの再送を行うものとする（ステップ３０２ａ、図２のステップ１０４「行う」方向）。また、ＲＴ情報を得られた場合（ステップ３０１の「得られた」方向）、ＳＰ情報を参照して当該再送要求されたパケットがＩフレームであるか否かを判断する（ステップ３０２ｂ）。
【００４２】
ステップ３０２ｂにおいて、再送要求されたパケットがＩフレームであった場合（ステップ３０２ｂのＹｅｓ）、パケットの再送を行うものとする（ステップ３０３ａ、図２のステップ１０４「行う」方向）。また、再送要求されたパケットがＩフレーム以外であった場合（ステップ３０２ｂのＮｏ）、ＲＴ情報とＳＴ情報の差の時間を求める（ステップ３０３ｂ）。そして、ステップ３０３で求めたＲＴ情報とＳＴ情報の差の値と、予め定めた閾値と比較する（ステップ３０４）。なお、予め定めた閾値とは、機器によって定められる値であって、なるべく再送を許容する場合には閾値を小さく設定し、逆になるべく再送を許容しない場合には閾値を大きく設定する。また、伝送路の状況によって閾値を可変に設定することも可能である。また、予め定めた閾値を一定値に設定する場合、それぞれのリフレッシュ情報の時間間隔の最小時間以下の値に設定されることが望ましい。例えば、リフレッシュ情報を含むフレームが１秒おきに表示されるデータ列を送信する場合（図４（１）におけるＡ−Ｂ間、Ｂ−Ｃ間、Ｃ−Ｄ間の時間が１秒である場合）、予め定めた閾値を０．５秒（一定値）に設定してもよい。
【００４３】
また、例えばリフレッシュ情報を含むフレームの間隔が一定値でないデータ列を送信する場合（図４（１）におけるＡ−Ｂ間の時間が１秒、Ｂ−Ｃ間の時間が１．２秒、Ｃ−Ｄ間の時間が０．８秒とリフレッシュ情報を含むフレームの時間間隔が動的に変わる場合）、予め定めた閾値を現在のリフレッシュ情報を含むフレームの間隔の６割の値（図４（１）の斜線の再送要求パケットに対する予め定めた閾値は０．６秒となる）に設定してもよい。このように、予め定められた閾値はリフレッシュ情報を含むフレームの時間間隔、送信するデータに依存する値に設定されてもよい。
【００４４】
なお、図４（２）のようなリフレッシュ方法におけるリフレッシュ情報の時間間隔は図４（２）に示されるようにフレーム単位ではなく、フレーム内のリフレッシュされる単位で間隔を考える。
【００４５】
次に、ステップ３０４において、再送要求された次のＲＴ情報とＳＴ情報の差の時間が予め定めた閾値以上であった場合（ステップ３０４の「閾値より大きい」）、パケットの再送を行うものとする（ステップ３０５ａ、図２のステップ１０４「行う」方向）。また、再送要求された次のＲＴ情報とＳＴ情報の差の時間が予め定めた閾値未満であった場合（ステップ３０４の「閾値より小さい」）、パケットの再送を行わないものとする（ステップ３０５ｂ、図２のステップ１０４「行わない」方向）。なお、ステップ３０４において、再送要求された次のＲＴ情報とＳＴ情報の差の時間が予め定めた閾値以上の場合にステップ３０５ａへ進むものとしたが、再送要求された次のＲＴ情報とＳＴ情報の差の時間が予め定めた閾値と等しい場合は、パケットの再送を行わないように設定しても構わない。
【００４６】
また、通常のパケットの通信分の伝送路帯域使用率や、バッファやキューに溜まっている再送待ちデータのデータ量などを利用し、再送すると判断されたパケットでもＲＴ情報とＳＴ情報の差分の大小から順位付けを行い、再送に利用できる帯域が少ない場合、優先度の高いものだけを再送する方法も適用可能である。更に、再送パケットの送信順序も順番に行うのではなく、順位の高いものから先に送るなどの変更も可能である。
【００４７】
なお、本発明の実施例１において、ＲＴＰ／ＵＤＰ／ＩＰ方式でデータが伝送される場合を述べたが、他の方式においても趣旨を逸脱しない範囲において応用可能である。また、リフレッシュ方法については図４（１）及び図４（２）について述べたが、これに限定されることなく、他のリフレッシュ方法によっても可能である。
【００４８】
本発明の実施例１によれば、送信機１において再送要求を受け取った場合に、次のリフレッシュデータパケットとの時刻によって再送決定を行うことができるため、再送決定を効率よく行うことができる。
【実施例２】
【００４９】
本発明を受信機に適用した実施例について、図面を用いて説明する。図７は、本発明における受信機の構造を示したブロック図である。本発明の受信機２は受信部２１、受信データ蓄積部２２、情報蓄積部２３、パケットロス判定部２４、リフレッシュ時間予測部２５、再送判定部２６、再送要求送信部２７、などを有する。そして、それぞれ受信機２の各部は以下の機能を有する。なお、以下に記載されるシーケンスナンバ情報、ピクチャタイプの情報、及び時間情報とは実施例１において図３によって説明されたデータと同じデータであり、その説明を省略する。また、それぞれのデータが図４（２）によるリフレッシュ方法を取っているデータの場合、ピクチャタイプの情報を得るためには実施例１で説明した通り、ペイロードのスライスヘッダ情報やマクロブロック情報まで取得する必要がある。以降、送られてくるデータが図４（１）によるリフレッシュ方法である場合を例に説明するが、図４（２）によるリフレッシュ方法など、他のリフレッシュ方法においても応用できる。
【００５０】
受信部２１は外部から送られてきたパケット等を受信する機能を有する。そして、受信したパケットは受信データ蓄積部２２へ送られる。更に受信データ蓄積部２２は、図示しないデコーダなどによって復号される。
【００５１】
情報蓄積部２３は、受信部２１が受信したパケットの情報を蓄積する機能を有する。情報蓄積部２３に蓄積する情報は、少なくとも受信したパケットのシーケンスナンバ情報と、ピクチャタイプの情報と、時間情報が含まれている。そして、送信機２の各部よりそれらの情報が読み出される。更に、パケットのシーケンスナンバ情報と、ピクチャタイプの情報と、時間情報からリフレッシュデータの時間の間隔を把握し、ピクチャタイプ情報がＩピクチャであるならば、シーケンスナンバ情報と、時間情報をリフレッシュ時間予測部２５へ送る機能を有する。
【００５２】
パケットロス判定部２４は、受信したパケットのシーケンスナンバ情報を情報蓄積部２３より把握し、送信側から送られたパケットのロスがないかを判断する機能を有する。図８はパケットロス判定部２４におけるパケットロスの判定方法を説明する図である。パケットに付されている番号はそのパケットのシーケンスナンバである。パケットロス判定部２４は、受信したパケットのシーケンスナンバを把握し、パケット番号順に受信しているかを判断し、連続していない場合はパケットロスが生じたと判断する。例えば図８（１）のように、シーケンスナンバ１番から順番に受信し、２番、３番と順番に受信しているか否かを確かめる。そして、３番のパケットの次に５番パケットを受信した場合、４番のパケットが欠落したと判断する。同様に図８（２）の場合においても、１４番パケットの次に１７番パケットを受信しているため、１５番パケット及び１６番パケットが欠落したと判断する。そして、パケットロスを検出した場合、再送判定部２６へパケットロスしたシーケンスナンバ情報を送る。
【００５３】
リフレッシュ時間予測部２５は、情報蓄積部２３から送られるＩピクチャのシーケンスナンバ情報と、その時間情報を読み出し、そのＩピクチャのシーケンスナンバ情報とその時間情報を用いてリフレッシュデータパケットの時間の間隔を把握し、次のリフレッシュデータパケットの時間情報を予測する機能を有する。なお、以下ではリフレッシュデータパケットの時間情報そのものをリフレッシュ時間情報といい、予測したリフレッシュデータパケットの時間情報を仮時間情報という。なお、リフレッシュ時間予測部２５によるリフレッシュデータパケットの時間間隔情報の予測方法及び次の仮時間情報の予測方法に関する詳細は後述する。
【００５４】
再送判定部２６は、再送要求を行うか否かの判断を行う機能を有する。再送要求を行うか否かの判断についての詳細は後述する。
【００５５】
再送要求送信部２７は、再送判定部２６によって再送要求を行うと判断された場合、再送要求を送信する機能を有する。
【００５６】
次に、本発明の受信機２において、受信部２１がパケットを受信し、パケットロス判定部２４においてパケットロスと判断された場合における、再送要求制御方法について、フローチャートを用いて説明する。図９は、パケットロス判定部２４によってパケットロスが検出された場合における、再送要求制御方法を示したフローチャートである。まず、パケットロス判定部２４によって、前述の通りパケットロスを検出すると（ステップ４０１）、パケットロス判定部２４は、ロスしたパケットのシーケンスナンバを把握し、そのシーケンスナンバ情報を再送判定部２６ヘ送る（ステップ４０２）。
【００５７】
次に、パケットロスを検出したパケットの時間情報を情報蓄積部２３より読み出し、リフレッシュ時間予測部２５よりロスを検出したパケットの次の仮時間情報を読み出す（ステップ４０３）。なお、パケットロスを検出したパケットの時間情報とは、例えば図８（１）に示すシーケンスナンバ５のパケットや、図８（２）に示すシーケンスナンバ１７のパケット等のロスを検出したパケットの時間情報を指す。また、ロスを検出したパケットの次の仮時間情報とはパケットロスを検出したパケットの時間情報の次の仮時間情報を指す。この仮時間情報についての詳細は後述する。
【００５８】
次に、再送判定部２６はステップ４０３で読み出した仮時間情報と、ロスしたパケットのシーケンスナンバ情報とを用いて再送判定を行う（ステップ４０４）。なお、予め決められた閾値とは、実施例１で記載したものと同様に定義されるものである。また、ステップ４０４における再送判定の詳細は後述する。
【００５９】
そして、ステップ４０４において再送を行わないと判断された場合は（ステップ４０４の「行わない」方向）、再送要求を行わず、ロスしたパケットとして扱う（ステップ４０５ａ）。また、ステップ４０４において再送要求を行うと判断された場合（ステップ４０４の「行う」方向）、再送要求送信部２７はパケットが送信された送信機へ再送要求を送る（ステップ４０５ｂ）。
【００６０】
（仮時間情報の予測）
次に、リフレッシュ時間予測部２５による仮時間情報の求め方についてその詳細を説明する。図１０は、リフレッシュ時間予測部２５がｔ番目のリフレッシュデータパケットのシーケンスナンバ情報、及びその時間情報を情報蓄積部２３より取得した場合におけるｔ＋１番目のリフレッシュ時間情報（ｔ＋１番目の仮時間情報）を予測する方法を示したフローチャートである。なお、「ｔ番目のリフレッシュデータパケット」のｔは、１以上の整数値をとり、受信したデータを表示順に並べた場合におけるリフレッシュデータパケットだけをカウントした値である。つまり、ここでは受信機２において受信予定のデータ列の中でｔ番目のリフレッシュデータパケットまで受信している場合における、ｔ＋１番目のリフレッシュ時間情報を予測する方法を述べる。
【００６１】
まず、リフレッシュ時間予測部２５は、ｔ番目のリフレッシュデータパケットのシーケンスナンバ情報、及びその時間情報を情報蓄積部２３より取得すると（ステップ５０１）、ｔ番目の仮時間情報が存在する場合は、そのｔ番目の仮時間情報をステップ５０１で受け取ったリフレッシュ時間情報に変更する（ステップ５０２）。
【００６２】
次に、１番目からｔ番目までのリフレッシュ時間情報の時間間隔の平均値Ｒtavを前述の数式１を用いて求める（ステップ５０３）。なお、リフレッシュ時間情報が存在しない場合は仮時間情報を用いる。その後、リフレッシュ時間情報の時間間隔の平均値Ｒtavとｔ番目のリフレッシュ時間情報（存在しない場合は仮時間情報）を用いて、前述の数式２によってｔ＋１番目の仮時間情報Ｒ(t+1)pを求める（ステップ５０４）。
【００６３】
なお、以上のステップ５０３、ステップ５０４において、数式１乃至数式２を用いてｔ＋１番目の仮時間情報Ｒ(t+1)pを求めたが、実施例１で説明した様に数式３乃至数式４を用いてリフレッシュ時間情報の時間間隔の平均値Ｒ’tav及び仮時間情報Ｒ’(t+1)pを求めてもよい。また、実施例１と同様に平均値だけでなく、ある観測範囲内の最大値または最小値を用いる方法も適応可能である。さらに、復号化器や制御アプリケーション等がこれらの情報を有している・観測しているのであれば、それらから情報を取得する方法もある。
【００６４】
（再送判定）
次に、前述したステップ４０４における再送判定についての詳細を述べる。図１１はステップ４０４における再送判定を説明する図であって、図１２はステップ４０４における再送判定の詳細の動作を示したフローチャートである。まず、再送判定部２６がパケットロス判定部２４よりシーケンスナンバ情報を得て、リフレッシュ時間予測部２５より仮時間情報（例えば図１１のＲ2p）を得ると（図９のステップ４０３に該当する）、次にロスしたパケットの時間情報（図１１のｔ４）が把握できるか否か判断する（ステップ６０１）。このステップ６０１において、ロスしたパケットの時間情報（ｔ４）が把握できる場合とは、次のような場合を指す。図４（１）等に示される１つのスライス（１つの画像を指す）が複数のパケットに分割されてパケット化することが可能であるが、複数のパケットに分割されてパケット化された場合、そのうちの１つのパケットがロスしても、他のパケットによってロスしたパケットと同じスライスの一部がパケット化され、そのパケットと、ロスしたパケットの時間情報は同じスライスであるため同じ時間情報を持つことになる。ステップ６０１においては、以上の状況よりロスしたパケットの時間情報がわかる場合を指す。
【００６５】
そして、ステップ６０１において再送判定部２６がロスしたパケットの時間情報が把握できた場合はステップ６０３へ進む（ステップ６０１の「できる」方向）。また、ステップ６０１において再送判定部２６がロスしたパケットの時間情報が把握できなかった場合は（ステップ６０１の「できない」方向）、パケットロス判定部２４より送られてきたパケットロスを検出したシーケンスナンバ情報を持つパケットの時間情報（図１１のシーケンスナンバＳＮ５のパケットの時間情報ｔ５）を情報蓄積部２３より得る（ステップ６０２）。なお、ステップ６０２において再送判定部２６が得る情報はこれに限定されること無く、ロスが生じた１つ前シーケンスナンバを持つパケットの時間情報（図１１のｔ３）や１つ後のシーケンスナンバを持つパケットの時間情報（図１１のｔ５）でもよいし、ロスが生じたパケットの時間情報ｔ４の予測時間ｔ’４（ｔ３とｔ５の平均値で求める等）でもよい。
【００６６】
次にステップ４０３においてリフレッシュ時間予測部２５より得た仮時間情報（例えば図１１のＲ2p）とステップ６０１又はステップ６０２で得た時間情報（図１１のｔ３、ｔ４、ｔ’４、ｔ５等）との差の値（図１１のＴ１、Ｔ２、Ｔ３、Ｔ’３等）を求める（ステップ６０３）。そして、ステップ６０３で求めた仮時間情報とステップ６０１又はステップ６０２で得た時間情報との差の値（図１１のＴ１、Ｔ２、Ｔ３、Ｔ’３等）と、予め定められた閾値とを比較する（ステップ６０４）。このステップ６０４において用いられる予め定められた閾値とは実施例１において用いられる閾値と同様に定義されるものであって、その説明を省略する。
【００６７】
そして、ステップ６０４において、ステップ６０３で求めた仮時間情報とステップ６０１又はステップ６０２で得た時間情報との差の値（図１１のＴ１、Ｔ２、Ｔ３、Ｔ’３等）が予め定めた閾値より小さい場合は（ステップ６０４の「閾値より小さい」方向）、再送要求を行わないと判断し（ステップ６０５ａ）、ステップ６０３で求めた仮時間情報とステップ６０１又はステップ６０２で得た時間情報との差の値（図１１のＴ１、Ｔ２、Ｔ３、Ｔ’３等）が予め定めた閾値より大きい場合は（ステップ６０４の「閾値より大きい」方向）、再送要求を行うと判断する（ステップ６０５ｂ）。
【００６８】
本発明の実施例２によれば、受信機２においてパケットロスを検出した場合に、次のリフレッシュデータパケットまでの時間によって再送要求の決定を行うことができるため、再送要求の決定を効率よく行うことができる。
【実施例３】
【００６９】
本発明を送信機に適用した実施例３について説明する。なお、本実施例３において、送信機の構成は実施例１と同様の構成であるため、その説明を省略する（図１）。そして、本実施例３における再送制御方法について図１３のフローチャートを用いて説明する。図１３は送信機１による再送制御方法を示したフローチャートである。まず、送信部１４によって送信されたパケットデータが何らかの原因でパケットロスが生じ、受信側から再送要求が送られ、受信部１６において再送要求を受信すると（ステップ１００１）、受信部１６は送られてきた再送要求情報を再送判定部１８へ送る（ステップ１００２）。なお、前述の実施例１と同様、ステップ１００２における再送要求情報は送信部１４によって送信されたパケットのＲＴＰヘッダに記載されたシーケンスナンバ情報を用いるのが一般的である。また再送要求の方法としては、直接的に再送すべきパケットのシーケンスナンバを指定する方法（ＮＡＣＫ方式）と、受信したパケットの番号だけを通知することで、間接的に受信できなかったパケットを指定する方法（ＡＣＫ方式）等が考えられる。本発明ではどのような再送要求方法でも利用することが可能であり、例えばＲＴＰパケットに含まれるタイムスタンプ情報を用いパケットの時刻情報を受信側から送信側に通知し、その時刻に該当するパケットの再送を要求する方式や、受信側が現在復号及び表示中のパケットの時刻や、ネットワークによる伝送遅延情報等を通知し、送信側に再送すべきパケットを判断させる方式等も考えられる。そのため、再送要求情報は、前述したシーケンスナンバだけでなく、どのパケットの再送を要求しているか、そのパケットが使用される（そのパケットの画像が表示される）時間が分かる情報であるならば、どのような情報でもよい。
【００７０】
次に、再送判定部１８は再送要求情報を受け取ると、パケット情報監視部１７を通じて符号化部１９より再送要求のあったパケットの次のリフレッシュデータパケットの時間情報を読み出す（ステップ１００３）。
【００７１】
次に、再送判定部１８は、ステップ１００３によって読み出したリフレッシュデータパケットの時間情報と、再送要求のあったパケットの時間情報との差分が予め定められた閾値を超えているか否かを判断する（ステップ１００４）。そして、ステップ１００４においてリフレッシュデータパケットの時間情報と、再送要求のあったパケットの時間情報との差分が予め定められた閾値以下であると判断された場合、（ステップ１００４の「差が閾値以下」方向）、リフレッシュデータパケットのＩピクチャ以降のデータを用いて、再送データの再送を行うため、送信部１４にその命令を行う（ステップ１００５ｂ）。
【００７２】
また、ステップ１００４においてリフレッシュデータパケットの時間情報と、再送要求のあったパケットの時間情報との差分が予め定められた閾値以上（または超えている）と判断された場合（ステップ１００４の「閾値以上」方向）、再送判定部１８は、前後のパケットが消失しているか否か（前後のパケットにおいても再送要求が到達しているか否か）を判断する（ステップ１００５ｂ）。そして、ステップ１００５ｂにおいて、前後のパケットが消失していないと判断された場合においては（ステップ１００５ｂの「Ｎｏ」方向）、当該再送要求に対しての再送を行わない（ステップ１００６ｂ）。また、ステップ１００５ｂにおいて、前後のパケットが消失していると判断された場合は（ステップ１００５ｂの「Ｙｅｓ」方向）、再送判定部１８は、パケット情報監視部１７を通じて、符号化部１９に対して再送要求のあったパケットに対してＩピクチャを生成するよう要求し、そこから再度再送を行うように制御する（ステップ１００６ａ）。
【００７３】
なお、本実施例において用いるリフレッシュデータパケットの時間情報は、実施例１において算出した方法によって求めることとするため、その説明を省略する。
【００７４】
本実施例の再送制御方法を用いることにより、直後にＩピクチャを送信するようなタイミングの再送要求を受けた場合、または、Ｉピクチャを送信した直後のパケットに再送要求を受けた場合に帯域の圧迫を回避可能にしつつ、適切に再送制御ができる。
【実施例４】
【００７５】
本発明を送信機に適用した実施例４について説明する。なお、本実施例４において、送信機の構成は実施例１と同様の構成であるため、その説明を省略する（図１）。
【００７６】
また、本発明の送信機１において、受信部１６が再送要求を受信した際の再送制御方法について、フローチャートを用いて説明する。図１４は送信機１による再送制御方法を示したフローチャートである。まず、送信部１４によって送信されたパケットデータが何らかの原因でパケットロスが生じ、受信側から再送要求が送られ、受信部１６において再送要求を受信すると（ステップ２００１）、受信部１６は送られてきた再送要求情報を再送判定部１８へ送る（ステップ２００２）。
【００７７】
次に、再送判定部１８は再送要求情報を受け取ると、パケット情報監視部１７より再送要求のあったパケットの次のリフレッシュデータパケットの時間情報と、再送要求のあったパケットの時間情報を読み出す（ステップ２００３）。
【００７８】
次に、ステップ２００３によって読み出したリフレッシュデータパケットの時間情報と、再送要求のあったパケットの時間情報を用いて再送要求を行うか否かを判断する（ステップ２００４）。このステップ２００４における判断方法の詳細については、実施例１と同じであるため、その説明を省略する。そして、ステップ２００４において再送要求を行うと判断された場合（ステップ２００４の「行う」方向）、再送の命令を送信部１４へ送る（ステップ２００５ａ）。また、ステップ２００４において再送判定部１８によって再送要求を行わないと判断された場合（ステップ２００４の「行わない」方向）、受け取った再送要求に対して再送を行わず、次のリフレッシュ時刻情報で指定されているＩピクチャ以降のデータを用いて送信制御を行うよう、送信部１４に命令する（ステップ２００５ｂ）。つまり、次のリフレッシュ時刻までのパケットデータを送信せずに、リフレッシュ時刻情報で指定されているパケット以降を早めに送信するよう制御する。
【００７９】
そして、送信部１４は再送の命令を受け取ると、送信済みデータバッファ部１５より要求のあったパケットデータを読み出し、パケットの再送を行う（ステップ２００６）。
【００８０】
なお、本実施例において用いるリフレッシュデータパケットの時間情報は、実施例１において算出した方法によって求めることとするため、その説明を省略する。
【００８１】
本実施例の再送制御方法を用いることにより、直後にＩピクチャを送信するようなタイミングの再送要求を受けた場合に帯域の圧迫を回避可能にしつつ、適切に再送制御ができる。
【符号の説明】
【００８２】
１ 送信機
２ 受信機
１１ 入力部
１２ コンテンツデータ蓄積部
１３ パケット化部
１４ 送信部
１５ 送信済みデータバッファ部
１６ 受信部
１７ パケット情報監視部
１８ 再送判定部
２１ 受信部
２２ 受信データ蓄積部
２３ 情報蓄積部
２４ パケットロス判定部
２５ リフレッシュ時間予測部
２６ 再送判定部
２７ 再送要求送信部
【特許請求の範囲】
【請求項１】
符号化されてパケット化された画像データを受信する受信部と、
前記受信部において受信したパケットの情報を蓄積する情報蓄積部と、
前記受信部において受信すべき順番でパケットを受信したかを判断し、パケットのロスを判断するパケットロス判定部と、
前記ロスしたパケットの次に再生される画像データが再生される第１の再生時間より前の再生時間であって、イントラ予測データが含まれるフレームの再生時間の情報を少なくとも２つ以上用いて、前記第１の再生時間より後の再生時間で、かつ前記第１の再生時間に最も近いイントラ予測データが含まれるフレームが再生される第２の再生時間を予測するパケット時間情報予測部と、
前記パケットロス判定部においてパケットロスと判断された場合、
前記予測した第２の再生時間と前記第１の再生時間の差の時間を求め、
前記差の時間が予め定められた閾値以上の場合、前記ロスしたパケットの再送要求を行うと判断する再送判定部と
を有することを特徴とした受信機。
【請求項２】
符号化されてパケット化された画像データを受信する受信部と、
前記受信部において受信したパケットの情報を蓄積する情報蓄積部と、
前記受信部において受信すべき順番でパケットを受信したかを判断し、パケットのロスを判断するパケットロス判定部と、
前記ロスしたパケットの画像データが再生される第１の再生時間より前の再生時間であって、イントラ予測データが含まれるフレームの再生時間の情報を少なくとも２つ以上用いて、前記第１の再生時間より後の再生時間で、かつ前記第１の再生時間に最も近いイントラ予測データが含まれるフレームが再生される第２の再生時間を予測するパケット時間情報予測部と、
前記パケットロス判定部においてパケットロスと判断された場合、
前記予測した第２の再生時間と前記第１の再生時間の差の時間を求め、
前記差の時間が予め定められた閾値以上の場合、前記ロスしたパケットの再送要求を行うと判断する再送判定部と
を有することを特徴とした受信機。
【請求項３】
符号化されてパケット化された画像データを受信する受信部と、
前記受信部において受信したパケットの情報を蓄積する情報蓄積部と、
前記受信部において受信すべき順番でパケットを受信したかを判断し、パケットのロスを判断するパケットロス判定部と、
前記ロスしたパケットの次に再生される画像データと、前記ロスしたパケットの１つ前に再生される画像データとによって、ロスしたパケットが再生されると予測される第１の再生時間より前の再生時間であって、イントラ予測データが含まれるフレームの再生時間の情報を少なくとも２つ以上用いて、前記第１の再生時間より後の再生時間で、かつ前記第１の再生時間に最も近いイントラ予測データが含まれるフレームが再生される第２の再生時間を予測するパケット時間情報予測部と、
前記パケットロス判定部においてパケットロスと判断された場合、
前記予測した第２の再生時間と前記第１の再生時間の差の時間を求め、
前記差の時間が予め定められた閾値以上の場合、前記ロスしたパケットの再送要求を行うと判断する再送判定部と
を有することを特徴とした受信機。
【請求項４】
前記第１の再生時間の予測は、前記パケットロスした次に再生される画像データの再生時間と、前記パケットロスした前に再生される画像データの再生時間の平均時間によって求められることを特徴とする請求項３に記載の受信機。
【請求項５】
符号化されてパケット化された画像データを受信する受信部と、
前記受信部において受信したパケットの情報を蓄積する情報蓄積部と、
前記受信部において受信すべき順番でパケットを受信したかを判断し、パケットのロスを判断するパケットロス判定部と、
前記ロスしたパケットの１つ前に再生される画像データが再生される第１の再生時間より前の再生時間であって、イントラ予測データが含まれるフレームの再生時間の情報を少なくとも２つ以上用いて、前記第１の再生時間より後の再生時間で、かつ前記第１の再生時間に最も近いイントラ予測データが含まれるフレームが再生される第２の再生時間を予測するパケット時間情報予測部と、
前記パケットロス判定部においてパケットロスと判断された場合、
前記予測した第２の再生時間と前記第１の再生時間の差の時間を求め、
前記差の時間が予め定められた閾値以上の場合、前記ロスしたパケットの再送要求を行うと判断する再送判定部と
を有することを特徴とした受信機。
【請求項６】
前記第２の再生時間の予測は、
前記第１の再生時間より前の再生時間であって、イントラ予測データが含まれるフレームの連続した再生時間の間隔の平均時間を求め、
前記第１の再生時間より前の再生時間であり、かつ最も近いイントラ予測データが含まれるフレームの再生時間に前記平均時間を加えることによって予測する
ことを特徴とする請求項１乃至請求項５のいずれか１項に記載の受信機。
【請求項７】
符号化されてパケット化された画像データを受信する受信部と、
前記受信部において受信したパケットの情報を蓄積する情報蓄積部と、
前記受信部において受信すべき順番でパケットを受信したかを判断し、パケットのロスを判断するパケットロス判定部と、
前記ロスしたパケットに含まれる画像データの少なくとも１つと同じ表示位置にイントラ予測データが含まれており、かつ前記ロスしたパケットの次に再生される画像データが再生される第１の再生時間より前の再生時間であって、かつイントラ予測データが含まれるフレームの再生時間の情報を少なくとも２つ以上用いて、前記第１の再生時間より後の再生時間で、かつ前記ロスしたパケットに含まれる画像データの少なくとも１つと同じ表示位置にイントラ予測データが含まれており、かつ前記第１の再生時間に最も近いイントラ予測データが含まれるフレームが再生される第２の再生時間を予測するパケット時間情報予測部と、
前記パケットロス判定部においてパケットロスと判断された場合、
前記予測した第２の再生時間と前記第１の再生時間の差の時間を求め、
前記差の時間が予め定められた閾値以上の場合、前記ロスしたパケットの再送要求を行うと判断する再送判定部と
を有することを特徴とした受信機。
【請求項８】
符号化されてパケット化された画像データを受信する受信部と、
前記受信部において受信したパケットの情報を蓄積する情報蓄積部と、
前記受信部において受信すべき順番でパケットを受信したかを判断し、パケットのロスを判断するパケットロス判定部と、
前記ロスしたパケットに含まれる画像データの少なくとも１つと同じ表示位置にイントラ予測データが含まれており、かつ前記パケットロスした画像データが再生される第１の再生時間より前の再生時間であって、かつイントラ予測データが含まれるフレームの再生時間の情報を少なくとも２つ以上用いて、前記第１の再生時間より後の再生時間で、かつ前記ロスしたパケットに含まれる画像データの少なくとも１つと同じ表示位置にイントラ予測データが含まれており、かつ前記第１の再生時間に最も近いイントラ予測データが含まれるフレームが再生される第２の再生時間を予測するパケット時間情報予測部と、
前記パケットロス判定部においてパケットロスと判断された場合、
前記予測した第２の再生時間と前記第１の再生時間の差の時間を求め、
前記差の時間が予め定められた閾値以上の場合、前記ロスしたパケットの再送要求を行うと判断する再送判定部と
を有することを特徴とした受信機。
【請求項９】
符号化されてパケット化された画像データを受信する受信部と、
前記受信部において受信したパケットの情報を蓄積する情報蓄積部と、
前記受信部において受信すべき順番でパケットを受信したかを判断し、パケットのロスを判断するパケットロス判定部と、
前記ロスしたパケットに含まれる画像データの少なくとも１つと同じ表示位置にイントラ予測データが含まれており、かつ前記ロスしたパケットの次に再生される画像データと、前記ロスしたパケットの１つ前に再生される画像データによって、ロスしたパケットが再生されると予測される第１の再生時間より前の再生時間であって、かつイントラ予測データが含まれるフレームの再生時間の情報を少なくとも２つ以上用いて、前記第１の再生時間より後の再生時間で、かつ前記ロスしたパケットに含まれる画像データの少なくとも１つと同じ表示位置にイントラ予測データが含まれており、かつ前記第１の再生時間に最も近いイントラ予測データが含まれるフレームが再生される第２の再生時間を予測するパケット時間情報予測部と、
前記パケットロス判定部においてパケットロスと判断された場合、
前記予測した第２の再生時間と前記第１の再生時間の差の時間を求め、
前記差の時間が予め定められた閾値以上の場合、前記ロスしたパケットの再送要求を行うと判断する再送判定部と
を有することを特徴とした受信機。
【請求項１０】
符号化されてパケット化された画像データを受信する受信部と、
前記受信部において受信したパケットの情報を蓄積する情報蓄積部と、
前記受信部において受信すべき順番でパケットを受信したかを判断し、パケットのロスを判断するパケットロス判定部と、
前記ロスしたパケットに含まれる画像データの少なくとも１つと同じ表示位置にイントラ予測データが含まれており、かつ前記ロスしたパケットの１つ前に再生される画像データの第１の再生時間より前の再生時間であって、かつイントラ予測データが含まれるフレームの再生時間の情報を少なくとも２つ以上用いて、前記第１の再生時間より後の再生時間で、かつ前記ロスしたパケットに含まれる画像データの少なくとも１つと同じ表示位置にイントラ予測データが含まれており、かつ前記第１の再生時間に最も近いイントラ予測データが含まれるフレームが再生される第２の再生時間を予測するパケット時間情報予測部と、
前記パケットロス判定部においてパケットロスと判断された場合、
前記予測した第２の再生時間と前記第１の再生時間の差の時間を求め、
前記差の時間が予め定められた閾値以上の場合、前記ロスしたパケットの再送要求を行うと判断する再送判定部と
を有することを特徴とした受信機。
【請求項１１】
前記第２の再生時間の予測は、
前記第１の再生時間より前の再生時間であって、前記再送要求を受けたパケットに含まれる画像データの少なくとも１つと同じ表示位置にイントラ予測データが含まれるフレームの連続した再生時間の間隔の平均時間を求め、
前記第１の再生時間より前の再生時間であり、かつ前記第１の再生時間に最も近いイントラ予測データが含まれるフレームの再生時間に前記平均時間を加えることによって予測する
ことを特徴とする請求項７乃至請求項１０のうちいずれか１項に記載の受信機。
【請求項１２】
予測した前記第２の再生時間が複数存在する場合、前記差の時間を最も遅い前記予測した第２の再生時間と前記第１の再生時間で求めることを特徴とする請求項７乃至請求項１１のうちいずれか１項に記載の受信機。
【請求項１】
符号化されてパケット化された画像データを受信する受信部と、
前記受信部において受信したパケットの情報を蓄積する情報蓄積部と、
前記受信部において受信すべき順番でパケットを受信したかを判断し、パケットのロスを判断するパケットロス判定部と、
前記ロスしたパケットの次に再生される画像データが再生される第１の再生時間より前の再生時間であって、イントラ予測データが含まれるフレームの再生時間の情報を少なくとも２つ以上用いて、前記第１の再生時間より後の再生時間で、かつ前記第１の再生時間に最も近いイントラ予測データが含まれるフレームが再生される第２の再生時間を予測するパケット時間情報予測部と、
前記パケットロス判定部においてパケットロスと判断された場合、
前記予測した第２の再生時間と前記第１の再生時間の差の時間を求め、
前記差の時間が予め定められた閾値以上の場合、前記ロスしたパケットの再送要求を行うと判断する再送判定部と
を有することを特徴とした受信機。
【請求項２】
符号化されてパケット化された画像データを受信する受信部と、
前記受信部において受信したパケットの情報を蓄積する情報蓄積部と、
前記受信部において受信すべき順番でパケットを受信したかを判断し、パケットのロスを判断するパケットロス判定部と、
前記ロスしたパケットの画像データが再生される第１の再生時間より前の再生時間であって、イントラ予測データが含まれるフレームの再生時間の情報を少なくとも２つ以上用いて、前記第１の再生時間より後の再生時間で、かつ前記第１の再生時間に最も近いイントラ予測データが含まれるフレームが再生される第２の再生時間を予測するパケット時間情報予測部と、
前記パケットロス判定部においてパケットロスと判断された場合、
前記予測した第２の再生時間と前記第１の再生時間の差の時間を求め、
前記差の時間が予め定められた閾値以上の場合、前記ロスしたパケットの再送要求を行うと判断する再送判定部と
を有することを特徴とした受信機。
【請求項３】
符号化されてパケット化された画像データを受信する受信部と、
前記受信部において受信したパケットの情報を蓄積する情報蓄積部と、
前記受信部において受信すべき順番でパケットを受信したかを判断し、パケットのロスを判断するパケットロス判定部と、
前記ロスしたパケットの次に再生される画像データと、前記ロスしたパケットの１つ前に再生される画像データとによって、ロスしたパケットが再生されると予測される第１の再生時間より前の再生時間であって、イントラ予測データが含まれるフレームの再生時間の情報を少なくとも２つ以上用いて、前記第１の再生時間より後の再生時間で、かつ前記第１の再生時間に最も近いイントラ予測データが含まれるフレームが再生される第２の再生時間を予測するパケット時間情報予測部と、
前記パケットロス判定部においてパケットロスと判断された場合、
前記予測した第２の再生時間と前記第１の再生時間の差の時間を求め、
前記差の時間が予め定められた閾値以上の場合、前記ロスしたパケットの再送要求を行うと判断する再送判定部と
を有することを特徴とした受信機。
【請求項４】
前記第１の再生時間の予測は、前記パケットロスした次に再生される画像データの再生時間と、前記パケットロスした前に再生される画像データの再生時間の平均時間によって求められることを特徴とする請求項３に記載の受信機。
【請求項５】
符号化されてパケット化された画像データを受信する受信部と、
前記受信部において受信したパケットの情報を蓄積する情報蓄積部と、
前記受信部において受信すべき順番でパケットを受信したかを判断し、パケットのロスを判断するパケットロス判定部と、
前記ロスしたパケットの１つ前に再生される画像データが再生される第１の再生時間より前の再生時間であって、イントラ予測データが含まれるフレームの再生時間の情報を少なくとも２つ以上用いて、前記第１の再生時間より後の再生時間で、かつ前記第１の再生時間に最も近いイントラ予測データが含まれるフレームが再生される第２の再生時間を予測するパケット時間情報予測部と、
前記パケットロス判定部においてパケットロスと判断された場合、
前記予測した第２の再生時間と前記第１の再生時間の差の時間を求め、
前記差の時間が予め定められた閾値以上の場合、前記ロスしたパケットの再送要求を行うと判断する再送判定部と
を有することを特徴とした受信機。
【請求項６】
前記第２の再生時間の予測は、
前記第１の再生時間より前の再生時間であって、イントラ予測データが含まれるフレームの連続した再生時間の間隔の平均時間を求め、
前記第１の再生時間より前の再生時間であり、かつ最も近いイントラ予測データが含まれるフレームの再生時間に前記平均時間を加えることによって予測する
ことを特徴とする請求項１乃至請求項５のいずれか１項に記載の受信機。
【請求項７】
符号化されてパケット化された画像データを受信する受信部と、
前記受信部において受信したパケットの情報を蓄積する情報蓄積部と、
前記受信部において受信すべき順番でパケットを受信したかを判断し、パケットのロスを判断するパケットロス判定部と、
前記ロスしたパケットに含まれる画像データの少なくとも１つと同じ表示位置にイントラ予測データが含まれており、かつ前記ロスしたパケットの次に再生される画像データが再生される第１の再生時間より前の再生時間であって、かつイントラ予測データが含まれるフレームの再生時間の情報を少なくとも２つ以上用いて、前記第１の再生時間より後の再生時間で、かつ前記ロスしたパケットに含まれる画像データの少なくとも１つと同じ表示位置にイントラ予測データが含まれており、かつ前記第１の再生時間に最も近いイントラ予測データが含まれるフレームが再生される第２の再生時間を予測するパケット時間情報予測部と、
前記パケットロス判定部においてパケットロスと判断された場合、
前記予測した第２の再生時間と前記第１の再生時間の差の時間を求め、
前記差の時間が予め定められた閾値以上の場合、前記ロスしたパケットの再送要求を行うと判断する再送判定部と
を有することを特徴とした受信機。
【請求項８】
符号化されてパケット化された画像データを受信する受信部と、
前記受信部において受信したパケットの情報を蓄積する情報蓄積部と、
前記受信部において受信すべき順番でパケットを受信したかを判断し、パケットのロスを判断するパケットロス判定部と、
前記ロスしたパケットに含まれる画像データの少なくとも１つと同じ表示位置にイントラ予測データが含まれており、かつ前記パケットロスした画像データが再生される第１の再生時間より前の再生時間であって、かつイントラ予測データが含まれるフレームの再生時間の情報を少なくとも２つ以上用いて、前記第１の再生時間より後の再生時間で、かつ前記ロスしたパケットに含まれる画像データの少なくとも１つと同じ表示位置にイントラ予測データが含まれており、かつ前記第１の再生時間に最も近いイントラ予測データが含まれるフレームが再生される第２の再生時間を予測するパケット時間情報予測部と、
前記パケットロス判定部においてパケットロスと判断された場合、
前記予測した第２の再生時間と前記第１の再生時間の差の時間を求め、
前記差の時間が予め定められた閾値以上の場合、前記ロスしたパケットの再送要求を行うと判断する再送判定部と
を有することを特徴とした受信機。
【請求項９】
符号化されてパケット化された画像データを受信する受信部と、
前記受信部において受信したパケットの情報を蓄積する情報蓄積部と、
前記受信部において受信すべき順番でパケットを受信したかを判断し、パケットのロスを判断するパケットロス判定部と、
前記ロスしたパケットに含まれる画像データの少なくとも１つと同じ表示位置にイントラ予測データが含まれており、かつ前記ロスしたパケットの次に再生される画像データと、前記ロスしたパケットの１つ前に再生される画像データによって、ロスしたパケットが再生されると予測される第１の再生時間より前の再生時間であって、かつイントラ予測データが含まれるフレームの再生時間の情報を少なくとも２つ以上用いて、前記第１の再生時間より後の再生時間で、かつ前記ロスしたパケットに含まれる画像データの少なくとも１つと同じ表示位置にイントラ予測データが含まれており、かつ前記第１の再生時間に最も近いイントラ予測データが含まれるフレームが再生される第２の再生時間を予測するパケット時間情報予測部と、
前記パケットロス判定部においてパケットロスと判断された場合、
前記予測した第２の再生時間と前記第１の再生時間の差の時間を求め、
前記差の時間が予め定められた閾値以上の場合、前記ロスしたパケットの再送要求を行うと判断する再送判定部と
を有することを特徴とした受信機。
【請求項１０】
符号化されてパケット化された画像データを受信する受信部と、
前記受信部において受信したパケットの情報を蓄積する情報蓄積部と、
前記受信部において受信すべき順番でパケットを受信したかを判断し、パケットのロスを判断するパケットロス判定部と、
前記ロスしたパケットに含まれる画像データの少なくとも１つと同じ表示位置にイントラ予測データが含まれており、かつ前記ロスしたパケットの１つ前に再生される画像データの第１の再生時間より前の再生時間であって、かつイントラ予測データが含まれるフレームの再生時間の情報を少なくとも２つ以上用いて、前記第１の再生時間より後の再生時間で、かつ前記ロスしたパケットに含まれる画像データの少なくとも１つと同じ表示位置にイントラ予測データが含まれており、かつ前記第１の再生時間に最も近いイントラ予測データが含まれるフレームが再生される第２の再生時間を予測するパケット時間情報予測部と、
前記パケットロス判定部においてパケットロスと判断された場合、
前記予測した第２の再生時間と前記第１の再生時間の差の時間を求め、
前記差の時間が予め定められた閾値以上の場合、前記ロスしたパケットの再送要求を行うと判断する再送判定部と
を有することを特徴とした受信機。
【請求項１１】
前記第２の再生時間の予測は、
前記第１の再生時間より前の再生時間であって、前記再送要求を受けたパケットに含まれる画像データの少なくとも１つと同じ表示位置にイントラ予測データが含まれるフレームの連続した再生時間の間隔の平均時間を求め、
前記第１の再生時間より前の再生時間であり、かつ前記第１の再生時間に最も近いイントラ予測データが含まれるフレームの再生時間に前記平均時間を加えることによって予測する
ことを特徴とする請求項７乃至請求項１０のうちいずれか１項に記載の受信機。
【請求項１２】
予測した前記第２の再生時間が複数存在する場合、前記差の時間を最も遅い前記予測した第２の再生時間と前記第１の再生時間で求めることを特徴とする請求項７乃至請求項１１のうちいずれか１項に記載の受信機。
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図３】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図３】
【公開番号】特開２０１１−９７６２１（Ｐ２０１１−９７６２１Ａ）
【公開日】平成２３年５月１２日（２０１１．５．１２）
【国際特許分類】
【出願番号】特願２０１０−２８２０１２（Ｐ２０１０−２８２０１２）
【出願日】平成２２年１２月１７日（２０１０．１２．１７）
【分割の表示】特願２００５−１３７３９０（Ｐ２００５−１３７３９０）の分割
【原出願日】平成１７年５月１０日（２００５．５．１０）
【出願人】（３１００２２３７２）富士通東芝モバイルコミュニケーションズ株式会社 (219)
【Ｆターム（参考）】
【公開日】平成２３年５月１２日（２０１１．５．１２）
【国際特許分類】
【出願日】平成２２年１２月１７日（２０１０．１２．１７）
【分割の表示】特願２００５−１３７３９０（Ｐ２００５−１３７３９０）の分割
【原出願日】平成１７年５月１０日（２００５．５．１０）
【出願人】（３１００２２３７２）富士通東芝モバイルコミュニケーションズ株式会社 (219)
【Ｆターム（参考）】
[ Back to top ]