端末装置
【課題】テレビ電話機能の利用時且つストリームデータを他の端末装置に送信中に、上記他の端末装置から、ストリームデータの再生出力の一時停止要求メッセージを受信した場合でも、通信中の全ての端末装置と同期して同一時刻のタイムスタンプ値を有するデータから再生出力を再開できるよう制御する端末装置を提供すること。
【解決手段】再生されたストリームデータを所定量だけバッファリングする再生済データバッファ部２２３と、上記ストリームデータの再生再開タイミングを調整する再生再開制御部と、上記他の端末装置と同期して上記他の端末装置における再生再開時のデータと同一時刻のタイムスタンプ値を有するデータから再生を再開させる制御を行う再生再開制御部とを具備する端末装置。
【解決手段】再生されたストリームデータを所定量だけバッファリングする再生済データバッファ部２２３と、上記ストリームデータの再生再開タイミングを調整する再生再開制御部と、上記他の端末装置と同期して上記他の端末装置における再生再開時のデータと同一時刻のタイムスタンプ値を有するデータから再生を再開させる制御を行う再生再開制御部とを具備する端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末装置に関し、特にデータのネットワーク伝送時間に基づいた制御を行う端末装置に関する。
【背景技術】
【０００２】
近年、テレビ電話機能を有する端末装置が一般に普及している。そして、このような端末装置を利用して、メディアデータ等であるストリームデータの送受信を複数多地点間で行う技術として、例えば特許文献１には以下のような技術が開示されている。
【０００３】
すなわち、特許文献１には、ストリームデータの送信側（以下、送信装置と称する）において同時刻に送信された当該ストリームデータを、ストリームデータの受信側（以下、受信装置と称する）において同時刻に再生出力させる為の技術が開示されている。
【０００４】
具体的には、送信装置は、同期メディアから生成した同期信号のタイミングに一致させて同一の時刻にストリームデータを受信装置へ出力し、これに当該現在時刻のタイムコードを付加し、ネットワークを介して受信側に伝送する。一方、受信装置は、ストリームデータを受信して上記タイムコードを読み出し、このタイムコードと受信時刻を変換したタイムコードとから、ストリームデータの伝送時間（遅延時間）を測定する。さらに、遅延時間管理装置が、各々の受信装置での遅延時間を受け取り、それら遅延時間のうち最大の遅延時間を決定し、その他の遅延時間との差を計算する。そして、各々の受信装置は、上記の最大の遅延時間との差に応じて、ストリームデータの出力のタイミングを調整し、送信側から同一の時刻に出力されたストリームデータとして出力させる。
【特許文献１】特開２００４−２５４１４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ここで、上記特許文献１に開示された技術では、送信装置が、複数の受信装置に対して同時刻にデータを送信し、受信装置がそれぞれ異なるネットワーク伝送遅延時間で当該ストリームデータを受信した場合であっても、同期信号により識別可能なタイムスタンプを送信装置にて付加することによって、受信装置において当該ストリームデータの再生出力のタイミングを調節している。
【０００６】
しかしながら、上記特許文献１に開示された技術では、上記受信装置のうちのある受信装置が、上記送信装置及び他の受信装置に対して、再生出力を一時停止する要求メッセージを送信した場合、各々の受信装置におけるネットワーク伝送遅延時間が各装置間で異なることに起因して次のような問題が生じる。
【０００７】
すなわち、上記のように一時停止要求メッセージを送信した受信装置と他の受信装置との間で、再生出力を一時停止する時刻が異なってしまい、再生再開時に、未再生の受信データを再生しても同一時刻のタイムスタンプ値を有するデータから再生出力をすることができないという問題が生じる。
【０００８】
本発明は、上記の事情に鑑みて為されたもので、複数多地点間でのストリームデータの送受信が可能な端末装置であって、ストリームデータを他の端末装置に送信中に、当該ストリームデータの受信側の端末装置からストリームデータの再生出力の一時停止要求メッセージを受信すると、再生出力再開時に当該ストリームデータを再送信することなく、通信中の全ての端末装置と同期して同一時刻のタイムスタンプ値を有するデータから再生出力を再開できる端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明の第１の態様による端末装置は、外部から入力されるクロックにより他の端末装置と同期してストリームデータの再生を行う端末装置であって、上記ストリームデータを受信するストリームデータ受信部と、上記ストリームデータ受信部によって受信したストリームデータをバッファリングする未再生データバッファ部と、上記ストリームデータを再生する為のデータ再生部と、上記データ再生部によって再生された上記ストリームデータを所定量だけバッファリングする再生済データバッファ部と、上記他の端末装置と同期して上記データ再生部によって上記ストリームデータを再生中に、当該ストリームデータの再生一時停止操作が行われ且つ再生再開操作が行われた場合に、上記再生済データバッファ部にバッファリングされたストリームデータを用いて、上記ストリームデータの再生再開タイミングを調整する再生再開制御部と、上記再生一時停止操作の時刻を管理する停止時刻管理部と、を具備し、上記再生再開制御部は、上記停止時刻管理部が管理する再生一時停止操作の時刻に基づいて上記再生再開タイミングの調整を行うことで、上記他の端末装置と同期して、上記他の端末装置における再生再開時のデータと同一時刻のタイムスタンプ値を有するデータから再生を再開させる制御を行うことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、複数多地点間でのストリームデータの送受信が可能な端末装置であって、ストリームデータを他の端末装置に送信中に、当該ストリームデータの受信側の端末装置からストリームデータの再生出力の一時停止要求メッセージを受信すると、再生出力再開時に当該ストリームデータを再送信することなく、通信中の全ての端末装置と同期して同一時刻のタイムスタンプ値を有するデータから再生出力を再開できるよう制御する端末装置を提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して本発明の一実施形態に係る携帯端末を説明する。
【００１２】
図１は、この発明の一実施形態に係わる通信ネットワークシステムの概略構成図である。このシステムは、携帯端末間でＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）網を介してテレビジョン電話通信を可能にするもので、携帯端末ＭＳａ及びＭＳｂ，ＭＳｃ，ＭＳｄはそれぞれ携帯網ＭＮＷ１及びＭＮＷ２を介してＩＰ網ＩＮＷに接続される。ＩＰ網ＩＮＷにはＳＩＰ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）サーバＳＳＶが接続されている。ＳＩＰサーバＳＳＶは、上記携帯端末ＭＳａ〜ＭＳｄの居所を表すＩＰアドレスを記憶し、送信元の携帯端末から送信されたＳＩＰメッセージを上記ＩＰアドレスに基づいて宛先の携帯端末へ中継転送する機能を有する。また、携帯端末ＭＳａ〜ＭＳｄの中は、例えばパーソナル・コンピュータ等のコンテンツサーバＣＳＶに対し無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はＢｌｕｅｔｏｏｔｈ（登録商標）等の短距離データ通信ネットワークを介して接続可能され、上記コンテンツサーバＣＳＶから例えばストリーム画像データからなるコンテンツデータを取得可能である。
【００１３】
ところで、携帯端末ＭＳａ〜ＭＳｄはＳＩＰによるテレビジョン電話通信機能を備えた携帯端末からなり、例えば次のように構成される。図２はその構成を示すブロック図である。
【００１４】
携帯端末ＭＳａ〜ＭＳｄは、無線ユニット１と、ベースバンドユニット２と、入出力ユニット３と、電源ユニット４と、近距離無線ユニット５とから構成される。
【００１５】
同図において、入出力ユニット３のマイクロホン３２により検出されたユーザの送話音声に対応する音声信号は、ベースバンドユニット２に入力される。ベースバンドユニット２はマイクロホンインタフェース（マイクロホンＩ／Ｆ）２５を備え、上記送話音声信号をこのマイクロホンＩ／Ｆ２５で増幅したのちディジタル信号に変換してマルチメディアエンコーダ２３に入力する。マルチメディアエンコーダ２３はオーディオエンコーダを有する。そして、上記送話音声信号をＧＳＭ−ＡＭＲ形式などの所定の符号化形式で符号化し、この符号化音声データを制御部２１へ出力する。
【００１６】
またカメラ（ＣＡＭ）３１から出力された映像信号もベースバンドユニット２に入力される。ベースバンドユニット２はカメラインタフェース（カメラＩ／Ｆ）２４を備え、上記映像信号をディジタル映像信号に変換してマルチメディアエンコーダ２３に入力する。マルチメディアエンコーダ２３はビデオエンコーダを有する。そして、上記ディジタル映像信号を、例えばＭＰＥＧ４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ 4）形式又はＨ．２６４形式、或いはＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式に従い符号化処理し、この符号化された映像データを制御部２１へ出力する。
【００１７】
制御部２１は、上記マルチメディアエンコーダ２３から出力された送話音声データ及び映像データをパケットに変換し、この変換されたパケットを無線ユニット１の送信回路（ＴＸ）１５へ出力する。送信回路１５は、変調器、周波数変換器及び送信電力増幅器を備える。上記送信データは、変調器でディジタル変調されたのち、周波数変換器により周波数シンセサイザ１４から発生された送信局ユニット発振信号とミキシングされて無線周波信号に周波数変換される。変調方式としては、ＱＰＳＫ（Ｑｕａｄｒｉｐｈａｓｅ Ｐｈａｓｅ Ｓｈｉｆｔ Ｋｅｙｉｎｇ）方式及び拡散符号を使用するスペクトラム拡散方式が用いられる。そして、この生成された送信無線周波信号は、送信電力増幅器で所定の送信レベルに増幅されたのち、アンテナ共用器（ＤＵＰ）１２を介してアンテナ１１に供給され、このアンテナ１１から携帯網ＭＮＷ１，ＭＮＷ２に向け送信される。
【００１８】
近距離無線ユニット５は、無線ＬＡＮ又はＢｌｕｅｔｏｏｔｈ（登録商標）を使用して周辺機器との間で無線データ通信を行うもので、例えばコンテンツサーバＣＳＶから送信されたコンテンツデータをアンテナ５Ａを介して受信して上記制御部２１に入力する。制御部２１は、上記近距離無線ユニット５により受信されたコンテンツデータをメモリ２８に一旦格納する。そして、マルチメディアエンコーダ２３で符号化したのちパケットに変換し、このパケットを無線ユニット１の送信回路１５へ出力して送信させる。
【００１９】
一方、携帯網ＭＮＷ１，ＭＮＷ２から無線チャネルを介して到来した無線周波信号は、アンテナ１１で受信されたのちアンテナ共用器１２を介して受信回路（ＲＸ）１３に入力される。受信回路１３は、高周波増幅器、周波数変換器及び復調器を備える。そして、上記無線周波信号を低雑音増幅器で低雑音増幅したのち、周波数変換器において周波数シンセサイザ（ＳＹＮ）１４から発生された受信局ユニット発振信号とミキシングして受信中間周波信号又は受信ベースバンド信号に周波数変換し、その出力信号を復調器でディジタル復調して受信パケットを再生する。復調方式としては、例えばＱＰＳＫ方式に対応した直交復調方式と、拡散符号を使用したスペクトラム逆拡散方式が用いられる。なお、上記周波数シンセサイザ１４から発生される受信局ユニット発振信号周波数は、ベースバンドユニット２に設けられた制御部２１から指示される。
【００２０】
上記復調器において再生された受信パケットはベースバンドユニット２の制御部２１に入力される。制御部２１は、上記入力された受信パケットをデパケットして音声データ、映像データ及びコンテンツ画像データを抽出し、これらのデータをマルチメディアデコーダ２２に供給する。
【００２１】
マルチメディアデコーダ２２は、オーディオデコーダ及びビデオデコーダを有する。これらのデコーダは、例えば図３に示すようにコンテンツを復号処理するコンテンツ再生部２２１と、その前後に設けられた未再生データバッファ部２２２及び再生済データバッファ部２２３とを備えている。未再生データバッファ部２２２は、受信データの復号再生タイミングを調整するべく未再生の受信データを一時保存するために使用される。再生済データバッファ部２２３は、コンテンツデータの再生が一時停止された場合に、データ再生再開時にデータの再生再開位置を各携帯端末間で一致させるべく、再生済のデータを一部保存するために使用される。
【００２２】
上記オーディオデコーダにより復号された音声データはスピーカインタフェース（スピーカＩ／Ｆ）２７に、またビデオデコーダにより復号された映像データ及びコンテンツ画像データは表示インタフェース（表示Ｉ／Ｆ）２６にそれぞれ入力される。スピーカＩ／Ｆ２７は、上記音声データをアナログ信号に変換したのち適切な音量レベルに増幅してスピーカ３４から出力させる。表示Ｉ／Ｆ２６はビデオＲＡＭを有し、上記マルチメディアデコーダ２２により復号された映像データ及びコンテンツ画像データを合成して１画面の表示データを生成し、この表示データを表示器３３に供給して表示させる。表示器３３は、例えば液晶表示器（ＬＣＤ）からなる。
【００２３】
なお、キー入力部３５はダイヤルキー群及び機能キー群からなり、その入力データは制御部２１に入力される。またメモリ（ＭＥＭ）２８は記憶媒体としてハードディスク又はＮＡＮＤ型フラッシュメモリを使用したもので、受信メールやコンテンツデータ、電話帳データ、送受信履歴データ等を記憶するために用いられる。
【００２４】
また、電源ユニット４には、リチウムイオン電池等のバッテリ４１と、このバッテリ４１を商用電源出力をもとに充電するための充電回路（ＣＨＧ）４２と、電圧生成回路（ＰＳ）４３とが設けられている。電圧生成回路４３は、例えばＤＣ／ＤＣコンバータからなり、バッテリ４１の出力電圧をもとに所定の電源電圧Ｖccを生成する。
【００２５】
ところで、制御部２１はマイクロプロセッサと、ＲＯＭ及びＲＡＭ等からなる内部メモリとを備えたもので、この発明に係わる制御機能として、テレビジョン電話通信制御機能２１１と、コンテンツ配信制御機能２１２と、コンテンツ再生制御機能２１３と、再生一時停止／再開制御機能２１４と、バッファ量決定制御機能２１５とを有している。これらの制御機能はいずれも、ＲＯＭに格納されたアプリケーション・プログラムをマイクロプロセッサに実行させることにより実現される。
【００２６】
テレビジョン電話通信制御機能２１１は、呼制御プロトコルとしてのＳＩＰを用いて通信相手となる一つ又は複数の携帯端末との間にテレビジョン電話通信のためのセッションを確立する。そして、データ伝送プロトコルとしてのＲＴＰ（Ｒｅａｌ−ｔｉｍｅ ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）を用いて、テレビジョン通信相手となる各携帯端末との間でテレビジョン電話通信を行う。
【００２７】
コンテンツ配信制御機能２１２は、コンテンツサーバＣＳＶに対し近距離無線ユニット５を介してアクセスし、コンテンツサーバＣＳＶからコンテンツデータを取得してメモリ２８に保存するための制御を実行する。また、上記テレビジョン電話通信制御機能２１１によるテレビジョン電話通信中にキー入力部３５においてコンテンツデータの配信要求が入力された場合に、ＳＩＰで規定されたＳＤＰ（Ｓｅｓｓｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ Ｐｒｏｔｏｃｏｌ）を用いてコンテンツ再生開始時刻等の制御パラメータを上記テレビジョン電話通信中の相手携帯端末に通知し、続いてＲＴＰを用いてコンテンツデータを上記各相手携帯端末へ送信する制御を実行する。
【００２８】
コンテンツ再生制御機能２１３は、コンテンツ送信元の携帯端末からＳＤＰにより通知されるコンテンツ再生開始時刻に応じて、マルチメディアデコーダ２２内の未再生データバッファ部２２２のバッファ量を決める。そして、ＲＴＰにより伝送されたコンテンツデータを上記マルチメディアデコーダ２２に復号再生させる。
【００２９】
一時停止／再開制御機能２１４は、自端末においてコンテンツの一時停止／再開操作が行われた場合と、他の端末においてコンテンツの一時停止／再開操作が行われた場合とで異なる制御を実行する。
【００３０】
すなわち、自端末においてコンテンツの一時停止／再開操作が行われた場合には、マルチメディアデコーダ２２内の未再生データバッファ部２２２を用いてコンテンツデータの再生再開タイミングを調整する。これに対し他の端末においてコンテンツの一時停止／再開操作が行われた場合には、マルチメディアデコーダ２２内の未再生データバッファ部２２２及び再生済データバッファ部２２３をそれぞれ用いてコンテンツデータの再生再開タイミングを調整する。
【００３１】
バッファ量決定制御機能２１５は、コンテンツデータの配信に先立ち、ＲＴＣＰ（ＲＴＰ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）パケットの送受信を利用してコンテンツデータの配信先となる各携帯端末とコンテンツデータの送信元となる携帯端末との間の伝送遅延時間及びジッタを算出し、この算出結果をもとに各携帯端末の再生済データバッファ部２２３に設定すべきバッファ量を決定する。
【００３２】
次に、以上のように構成された携帯端末ＭＳａ〜ＭＳｄの動作を説明する。なお、ここでは、携帯端末ＭＳａが携帯端末ＭＳｂ〜ＭＳｄとの間で同時にテレビジョン電話通信を行っている状態で、携帯端末ＭＳａが各携帯端末ＭＳｂ〜ＭＳｄに対しさらにストリームデータからなるコンテンツデータを配信する場合を例にとって説明を行う。なお、各携帯端末における上述した各構成部材の詳細な動作制御は上述した通りであるのでその説明は省略し、説明の便宜上、各携帯端末間の処理及び動作制御に焦点を当てて説明する。
【００３３】
［コンテンツ視聴開始前の動作］
携帯端末ＭＳａは、例えばＳＩＰサーバＳＳＶによってＳIＰ等の呼制御プロトコルを用いて、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄとテレビ電話のセッションを確立する。そして、映像・音声データの伝送プロトコルとしてＲＴＰを用いてテレビ電話通話を開始する。
【００３４】
このとき、携帯端末ＭＳａの表示器３３は、例えば図４に示すような画面を表示する。すなわち、表示器３３には、携帯端末ＭＳａのユーザを示す画像である自画像３３Ａ、携帯端末ＭＳｂのユーザを示す画像である相手画像３３Ｂ、携帯端末ＭＳｃのユーザを示す画像である相手画像３３Ｃ、及び携帯端末ＭＳｄのユーザを示す画像である相手画像３３Ｄが表示される。なお、上記自画像３３Ａ及び相手画像３３Ｂ，３３Ｃ，３３Ｄは、それぞれ、携帯端末ＭＳａ，ＭＳｂ，ＭＳｃ，ＭＳｄの有するカメラ３１によって撮影され取得される。
【００３５】
ところで、携帯端末ＭＳａは携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄとの間で、ＲＴＰパケットを送受信する為、ＲＴＣＰを用いてＲＴＰ送受信パケットの統計情報を遣り取りするものとする。以下、携帯端末ＭＳａ，ＭＳｂ，ＭＳｂ，ＭＳｃ，ＭＳｄにおけるＲＴＣＰ処理のフローを説明する。
【００３６】
（ステップ１）
携帯端末ＭＳａは、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄそれぞれに対して、ＳＲ（Ｓｅｎｄｅｒ Ｒｅｐｏｒｔ）を格納したＲＴＣＰパケットを送信する。なお、図５はＳＲのフォーマットを示す図である。ここで、同図に示すように、ＳＲ５０は、ＮＴＰタイムスタンプフィールド５１と、ＲＴＰスタンプフィールド５２と、送信側のパケットカウントフィールド５３と、送信側のオクテットカウントフィールド５４とで構成される。なお、上記ＮＴＰタイムスタンプフィールド５１には、網クロックから取得した時刻に基づいて、ＲＴＣＰパケット送信時刻が設定される。
【００３７】
（ステップ２）
図６は、ＲＲ（Ｒｅｃｅｉｖｅｒ Ｒｅｐｏｒｔ）のフォーマットを示す図であり、同図に示すようにＲＲ６０は、レポート対象者のＳＳＲＣフィールド６１と、欠落率フィールド６２Ａと、累積欠落パケット数フィールド６２Ｂと、最大拡張シーケンス番号フィールド６３と、パケット間隔ジッタフィールド６４と、最新送信レポートのタイムスタンプ（（Ｌａｓｔ Ｓｅｎｄｅｒ Ｒｅｐｏｒｔ；ＬＳＲ）フィールド６５と、最新送信レポート経過時間（ＤＬＳＲ）フィールド６６とで構成される。
【００３８】
ここで、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄは、携帯端末ＭＳａから送信されたＲＴＣＰパケットのＳＲ５０から、携帯端末ＭＳａに送信するＲＲ６０のＬＳＲフィールド６５を生成する。
【００３９】
（ステップ３）
携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄは、携帯端末ＭＳａから受信したＲＴＰパケットの到着時刻からジッタを計測し、その統計結果に基づいて、携帯端末ＭＳａに送信するＲＲのパケット間隔ジッタフィールド６４を生成する。
【００４０】
（ステップ４）
携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄは、上記（ステップ２）及び（ステップ３）にて生成したフィールドを含むＲＲ６０と、網クロックから取得した時刻に基づいてＲＴＣＰパケット送信時刻を設定したＮＴＰタイムスタンプフィールド５１を含むＳＲ５０とを同一のパケットに格納したＲＴＣＰパケットを携帯端末ＭＳａへ送信する。
【００４１】
（ステップ５）
携帯端末ＭＳａの制御部２１は、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄから受信したＲＴＣＰパケットのそれぞれに格納されているＲＲ６０及びＳＲ５０から、携帯端末ＭＳａとそれぞれのＲＴＣＰパケット送信元の各携帯端末について、それぞれのネットワーク伝送遅延時間及びジッタを、次の方法によって算出する。ただし、本方法では外部から入力されるクロックにより各端末装置が同期しているものとする。
【００４２】
<伝送遅延の算出>
伝送遅延時間＝
ＳＲのＮＴＰタイムスタンプフィールド値（相手携帯端末のＲＣＴＰパケットの送信時刻）
−ＲＲのLＳＲフィールド値（携帯端末ＭＳａのＲＴＣＰパケットの送信時刻）
−ＲＲのＤＬＳＲ（Ｄｅｌａｙ ｓｉｎｃｅ Ｌａｓｔ Ｒｅｐｏｒｔ）フィールド値（相手携帯端末でのＲＴＣＰパケット受信から送信までの時間）
<ジッタの算出>
ジッタ＝ＲＲのパケット間隔ジッタフィールド値
（ステップ６）
携帯端末ＭＳａは、上記（ステップ５）における算出したネットワーク伝送遅延及びジッタを、それぞれ最大伝送遅延時間、最大ジッタとして保持する。さらに、ネットワーク伝送遅延時間に関しては、ＲＴＣＰパケットの送信元の各携帯端末に保持するとする。
【００４３】
（ステップ７）
上記（ステップ６）以降、携帯端末ＭＳａは、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄから定期的にＲＴＣＰパケットを受信し、それぞれの携帯端末ごとにネットワーク伝送遅延時間及びジッタを算出して取得する。
【００４４】
（ステップ８）
上記（ステップ７）におけるネットワーク伝送遅延時間及びジッタの取得の結果、ネットワーク伝送遅延時間またはジッタが、携帯端末ＭＳａで保持している最大伝送遅延時間または最大ジッタよりも大きい値である場合には、その保持している値を更新する。
【００４５】
このように本一実施形態においては、テレビ電話機能利用時に取得することができ且つＲＴＣＰによって一定周期で更新される統計情報を利用することで、通信中の各携帯端末のネットワーク伝送遅延時間及びジッタを算出する。
【００４６】
以上説明した（ステップ１）乃至（ステップ８）によって、携帯端末ＭＳａは、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄとの間でのＩＰパケットの最大伝送遅延時間及び最大ジッタを保持することができ、且つそれらの値を定期的に更新することができる。
【００４７】
続いて、上記携帯端末ＭＳａによって携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄに送信されるコンテンツデータを実際に携帯端末ＭＳａ，ＭＳｂ，ＭＳｃ，ＭＳｄにて同時刻で視聴する際の、各携帯端末の動作制御を説明する。
【００４８】
［コンテンツ視聴時の動作］
前提条件として、携帯端末ＭＳａは、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄのユーザに対して視聴してもらいたい映像コンテンツ等の所定のコンテンツがあることを、図４に示すようにテレビ電話によって伝える。
【００４９】
なお、上記所定のコンテンツとしては、携帯端末ＭＳａのユーザが、予めコンテンツサーバＳより取得して携帯端末ＭＳａに格納したコンテンツ、または携帯端末ＭＳａ自体が有するコンテンツを携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄへ配信するとする。
【００５０】
以下、コンテンツ視聴時の動作として、２通りの処理フローを説明する。
【００５１】
≪方法１；携帯端末ＭＳａにてコンテンツデータ送出時刻を調整しない場合≫
携帯端末ＭＳａは、配信するコンテンツ情報であるＳＤＰを、テレビ電話通話で制御プロトコルとして用いているＳＩＰにより携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄに通知することが可能である。このＳＤＰによって、Ｔフィールドにコンテンツデータ再生開始時刻を記述し、ＲＴＰタイムスタンプをマッピングすることにより、コンテンツデータ送信端末（携帯端末ＭＳａ）と全てのコンテンツデータ受信端末（携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄ）とでコンテンツデータを同時に再生開始することができる。以下、コンテンツデータ送出時刻を調整しない場合の携帯端末間の処理フローを示す図７を参照して参照して詳細に説明する。
【００５２】
（ステップ１１）
携帯端末ＭＳａの制御部２１は、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄを一つのグループとして、これに対してＲＴＣＰによって計測し且つ保持している最大伝送遅延時間及び最大ジッタを用いて、次のようにしてコンテンツデータ再生開始時刻を算出する。
【００５３】
コンテンツデータ再生開始時刻 ＝ 端末ＭＳａのコンテンツ送出開始時刻 ＋ 最大伝送遅延 ＋ 最大ジッタ
（ステップ１２）
携帯端末ＭＳａは、上記のように算出したコンテンツデータ再生開始時刻を、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄに送信する全てのＳＤＰにおけるＴフィールドに記述する。
【００５４】
（ステップ１３）
携帯端末ＭＳａは、ＳＩＰを用いて携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄへ配信するコンテンツ情報であるＳＤＰを通知する。
【００５５】
（ステップ１４）
一定時間経過後、携帯端末ＭＳａは、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄに対して同時に、コンテンツデータの送信を開始する。
【００５６】
（ステップ１５）
携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄは、コンテンツデータを受信すると、ＳＤＰに記述されているコンテンツデータ再生開始時刻まで、当該コンテンツデータをバッファリングする。
【００５７】
（ステップ１６）
携帯端末ＭＳａ，ＭＳｂ，ＭＳｃ，ＭＳｄは、コンテンツデータ再生開始時刻になると同時に、当該コンテンツデータの再生を開始する。
【００５８】
≪方法２；携帯端末ＭＳａにてコンテンツデータ送出時刻を調整する場合≫
携帯端末ＭＳａは、送信するコンテンツデータが携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄに到達する時刻を同時刻とする為に、コンテンツデータ送信開始時刻を各携帯端末ごとの伝送遅延に応じて決定する。これにより、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄにおけるコンテンツデータのバッファ量を最小にして、コンテンツ送信端末である携帯端末ＭＳａと、コンテンツ受信端末である携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄにて同時にコンテンツデータの再生出力を開始させることが可能となる。以下、コンテンツデータ送出時刻を調整する場合の携帯端末間の処理フローを示す図８を参照して詳細に説明する。
【００５９】
（ステップ２１）
携帯端末ＭＳａの制御部２１は、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄを一つのグループとして、それに対してＲＴＣＰによって計測し且つ保持している最大伝送遅延時間及び最大ジッタを用いて、次のようにしてコンテンツデータ再生開始時刻を算出する。
【００６０】
コンテンツデータ再生開始時刻 ＝ 端末ＭＳａのコンテンツ送出開始時刻 ＋ 最大伝送遅延 ＋ 最大ジッタ
（ステップ２２）
携帯端末ＭＳａは、上記のように算出したコンテンツデータ再生開始時刻を、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄに送信する全てのＳＤＰにおいてＴフィールド等に記述する。ここでＳＤＰのフィールド値の使用方法についは各端末間であらかじめ決定されているものとする。
【００６１】
（ステップ２３）
携帯端末ＭＳａは、ＳＩＰを用いて携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄへ配信するコンテンツ情報であるＳＤＰを通知する。
【００６２】
（ステップ２４）
携帯端末ＭＳａは、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄごとに、コンテンツデータの送信を開始する時刻を、次のようにして算出する。
【００６３】
コンテンツデータ送信開始時刻 ＝ コンテンツ再生開始時刻 − 端末Ｘの最大伝送遅延 − 端末Ｘの最大ジッタ （端末ＸはＭＳｂ、ＭＳｃまたはＭＳｄ）
（ステップ２５）
携帯端末ＭＳａは、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄごとに算出した上記のコンテンツデータ送信開始時刻に、コンテンツデータの送信を開始する。
【００６４】
（ステップＳ２６）
携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄは、携帯端末ＭＳａから送信されたコンテンツデータを受信すると、上記（ステップＳ２３）にて通知されたＳＤＰに記述されているコンテンツ再生開始時刻まで、コンテンツデータをバッファリングする。
【００６５】
（ステップＳ２７）
携帯端末ＭＳａ，ＭＳｂ，ＭＳｃ，ＭＳｄは、コンテンツデータの再生開始時刻になると同時に、コンテンツデータの再生を開始する。
【００６６】
以上、［コンテンツデータ視聴時の動作］として２通りの方法を説明したが、上記≪方法１≫よりも上記≪方法２≫の方が、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄにとってコンテンツデータのバッファリングの量をより少量にして、上述したようなコンテンツデータの各携帯端末における同時再生を実現することが可能となる。
【００６７】
また、上述のようにして開始したコンテンツデータの視聴時には、例えば携帯端末ＭＳａの表示器３３には、図９に示すような画面が表示される。すなわち、例えば携帯端末ＭＳａの表示器３３には、図３を参照して説明した表示画面の他に、コンテンツ映像３３Ｅが表示される。
【００６８】
なお、上述したように、本一実施形態においては、コンテンツデータ再生開始時刻及びコンテンツデータの受信端末（携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄ）におけるコンテンツデータのバッファリング量等は、コンテンツデータの送信端末（携帯端末ＭＳａ）によって算出され指定される。つまり、本一実施形態に係る携帯端末間における統計情報は、コンテンツデータを送信する端末（携帯端末ＭＳａ）によって取り扱われる。なお、本一実施形態に係る携帯端末は全て、コンテンツデータの送信機能及び受信機能の双方を有しており、統計情報の取り扱いが可能であることは勿論である。
【００６９】
ところで、上述したようにテレビ電話機能を利用すると同時に、コンテンツデータの再生を行う場合は、テレビ電話機能による音声とコンテンツデータの再生による音声とをミキシング処理する必要が生じる。このミキシング処理は、例えば各携帯端末またはサーバによって行う必要がある。
【００７０】
なお、上記のミキシング処理においては、例えばテレビ電話機能による音声の音量とコンテンツデータの再生による音声の音量とが同程度の場合には、通常のミキシング処理では双方の音声が聞き取りづらくなる可能性が高いことを考慮して、次のような処理を行う。すなわち、このような場合、例えばテレビ電話機能による音声の優先度を高くして、コンテンツデータによる音声よりも聞き取りやすくすることで、よりスムーズに会話を楽しめるようにする。
【００７１】
以下、携帯端末ＭＳａが、テレビ電話機能の利用時であってコンテンツデータを携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄに送信中に、受信側の携帯端末からコンテンツデータの再生出力の一時停止要求メッセージを受信して再生出力の一時停止をした場合に、その後再生出力再開時に当該コンテンツデータを再送信することなく、通信中の全ての携帯端末で同一時刻のタイムスタンプ値を有するストリームデータから再生出力を再開できるにする為の各携帯端末における動作制御について説明する。
【００７２】
［コンテンツ視聴を一時停止する時の動作］
まず、コンテンツデータの視聴を一時停止させる場合には、通常次のような問題が生じる。
【００７３】
例えば、携帯端末ＭＳｂによってコンテンツデータ再生の一時停止が実行された場合、携帯端末ＭＳｂにおけるコンテンツデータの再生は即座に停止する。しかしながら、コンテンツデータ再生の一時停止要求が、携帯端末ＭＳｂから携帯端末ＭＳａへ到達するまでは、携帯端末ＭＳａは、コンテンツデータの再生を停止せずに、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄへコンテンツデータを送信し続ける。
【００７４】
したがって、その後一時停止を解除してコンテンツデータの再生を再開させる場合に、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄにてコンテンツデータの再バッファリングをせずに、同一時刻のタイムスタンプ値を有するコンテンツデータから再生を再開させる為には、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄは、上記の一時停止時にバッファに残っているコンテンツデータと一時停止後に携帯端末ＭＳａが送信したコンテンツデータとをバッファに保持しておく必要がある。
【００７５】
また、携帯端末ＭＳａは、携帯端末ＭＳｂが一時停止を実行し携帯端末ＭＳａに一時停止要求を送信してから携帯端末ＭＳａに一時停止要求が到達するまでの間に、コンテンツデータの再生を継続してしまっている。
【００７６】
したがって、この間の再生済みコンテンツデータを、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄは、再生済データバッファ部２２３に保持する必要がある。以下、図１０及び図１１を参照して、コンテンツデータの再生の一時停止を実行する場合の各携帯端末の動作制御を詳細に説明する。
【００７７】
ここで、図１０はコンテンツデータの再生の一時停止を実行する場合の各携帯端末における動作を示す図であり、図１１はコンテンツデータの再生の一時停止を実行する場合の各携帯端末におけるコンテンツデータのバッファ量を示す図である。
【００７８】
≪携帯端末ＭＳｂの動作（一時停止を実行する端末の動作）≫
（ステップ３１）
コンテンツデータの再生の一時停止を実行する。
【００７９】
（ステップ３２）
コンテンツデータの再生を一時停止し、ＳＩＰを用いて携帯端末ＭＳａへコンテンツデータの一時停止要求を送信する。
【００８０】
（ステップ３３）
コンテンツデータの再生の一時停止時刻を記憶し、且つ一時停止時にバッファリングされている未再生のコンテンツデータ（ｂ１）を未再生データバッファ部２２２に保持する。
【００８１】
（ステップ３４）
コンテンツデータの一時停止を実行して（ステップ３１）から、携帯端末ＭＳａがコンテンツデータの送信を停止するまでの間に、当該携帯端末ＭＳｂに対して携帯端末ＭＳａが送信したコンテンツデータ（ｂ２）を、上記（ステップ３３）で保持したコンテンツデータに追加して未再生データバッファ部２２２に保持する。
【００８２】
≪携帯端末ＭＳａの動作（コンテンツデータ配信端末の動作）≫
（ステップ４１）
携帯端末ＭＳｂからのコンテンツデータ再生の一時停止要求を受信すると、コンテンツデータの再生を一時停止すると同時にコンテンツデータの送信を停止し、更に携帯端末ＭＳｃ，ＭＳｄに対して一時停止要求を転送する。
【００８３】
（ステップ４２）
携帯端末ＭＳｂから送信された一時停止要求に含まれる携帯端末ＭＳｂの一時停止時刻（以降、停止要求端末一時停止時刻と称する）を記憶する。
【００８４】
（ステップ４３）
上記停止要求端末一時停止時刻から一時停止要求受信時刻までの間に再生したコンテンツデータ（ａ２）を抽出して、再生済データバッファ部２２３に保持する。
【００８５】
（ステップ４４）
一時停止時において未再生データバッファ部２２２に残っているコンテンツデータ（ａ１）をそのまま保持する。
【００８６】
≪携帯端末ＭＳｃ，ＭＳｄの動作≫
（ステップ５１）
携帯端末ＭＳａからコンテンツ再生一時停止要求を受信すると、コンテンツ再生を一時停止する。
【００８７】
（ステップ５２）
携帯端末ＭＳａから送信された一時停止要求に含まれる上記停止要求端末一時停止時刻を記憶する。
【００８８】
（ステップ５３）
携帯端末ＭＳａと同様、予め再生済データバッファ部２２３に保持していた再生済みコンテンツデータにおいて上記停止要求端末一時停止時刻から一時停止要求受信時刻までの間に再生したコンテンツデータ（ｃ２，ｄ２）を抽出して、再生済みデータバッファに保持する。
【００８９】
（ステップ５４）
一時停止時に未再生データバッファ部に残っているコンテンツデータ（ｃ１，ｄ１）をそのまま保持する。
【００９０】
以上説明したように、各携帯端末にバッファリングされるコンテンツデータのデータ量は、図１０及び図１１に示すように各携帯端末のネットワーク伝送遅延時間に応じて算出する為、再生済みのコンテンツデータも含めてバッファに保持するデータ量を必要最小限にし、且つ再生出力再開時に当該コンテンツデータを再送信することなく、通信中の全ての携帯端末で同一時刻のタイムスタンプ値を有するデータから再生出力を再開することができる。
【００９１】
以下、コンテンツデータの再生再開時の各携帯端末における動作制御を示す図である図１２を参照して、その動作制御を説明する。
【００９２】
［コンテンツ視聴再開（再生再開）時の動作］
ここでは、携帯端末ＭＳｃによってコンテンツ再生の再開操作が実行される場合を想定する。この携帯端末ＭＳｃは、当然ながら各携帯端末間の伝送遅延時間を管理していない。したがって、まず携帯端末ＭＳｃは、再生再開要求を携帯端末ＭＳａに送信し、携帯端末ＭＳａが各携帯端末との最大伝送遅延時間に基づいて、全ての携帯端末が再生再開する時刻を決定する。そして、携帯端末ＭＳａが、この再生再開時刻を各携帯端末に通知することによって、各携帯端末は未再生データバッファ部２２２または再生済データバッファ部２２３にバッファリングされている一時停止時刻に対応するデータから、上記再生開始時刻に同時に再生を再開することができる。
【００９３】
以下、図１２を参照して、コンテンツデータの再生再開時の各携帯端末における動作制御を詳細に説明する。
【００９４】
≪携帯端末ＭＳｃの動作（再生再開を実行する端末の動作）≫
（ステップ６１）
携帯端末ＭＳｃは、再生再開が選択されると、携帯端末ＭＳａへＳＩＰあるいはＲＴＳＰ等の制御プロトコルを用いて再生再開要求を携帯端末ＭＳａへ送信し、携帯端末ＭＳａからの再生再開要求を待つ。
【００９５】
（ステップ６２）
携帯端末ＭＳａから再生再開時刻を通知する再生再開要求を受信すると、この再生再開時刻を、一時停止時に記憶してある上記停止要求端末一時停止時刻にマッピングする為に、再生済データバッファ部２２３から一時停止時刻に対応するコンテンツデータを検索する。
【００９６】
（ステップ６３）
携帯端末ＭＳａから通知された上記再生再開時刻になると、再生済データバッファ部２２３に保持されているコンテンツデータを、上記停止要求端末一時停止時刻に対応する時点から再生する。
【００９７】
≪携帯端末ＭＳａの動作（コンテンツデータを送信する端末）≫
（ステップ７１）
携帯端末ＭＳｃからの再生再開要求を受信すると、再生再開要求受信時刻にコンテンツ送信先端末（携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄ）に対する最大伝送遅延時間を加算して再生再開時刻を算出する。
【００９８】
（ステップ７２）
コンテンツ送信先の全ての携帯端末に対して再生再開要求を送信し、これにより算出した再生再開時刻を通知する。
【００９９】
（ステップ７３）
上記（ステップ７２）において算出した再生再開時刻を一時停止時に記憶してある上記停止要求端末一時停止時刻にマッピングする為に、再生済データバッファ部２２３から一時停止時刻に対応するコンテンツデータを検索する。
【０１００】
（ステップ７４）
上記（ステップ７２）において算出した再生再開時刻になると、再生済データバッファ部２２３に保持されているコンテンツデータを、上記停止要求端末一時停止時刻に対応する時点から再生する。
【０１０１】
≪携帯端末ＭＳｂ，ＭＳｄの動作≫
（ステップ８１）
携帯端末ＭＳａから再生再開時刻を通知する再生再開要求を受信すると、この再生再開時刻を一時停止時に記憶してある上記停止要求端末一時停止時刻にマッピングする為に、再生済データバッファ部２２３から一時停止時刻に対応するコンテンツデータを検索する。
【０１０２】
（ステップ８２）
携帯端末ＭＳａから通知された上記再生再開時刻になると、未再生データバッファ部２２２または再生済データバッファ部２２３に保持されているコンテンツデータを、上記停止要求端末一時停止時刻に対応する時点から再生する。
【０１０３】
以下、上述した本一実施形態に係る携帯端末に特有の主な特徴を、従来より存在した技術と比較しながら説明する。
【０１０４】
まず、従来よりある端末から他の端末へテレビ電話映像及び音声に加えてストリームデータを送信する場合、ストリームデータを受信している端末では再生出力していないデータをそれぞれのネットワーク伝送遅延時間に応じて算出した量だけバッファリングすることによって同時再生出力させることは可能であった。
【０１０５】
しかしながら、一時停止要求メッセージを伝送する場合のように、ある受信側の端末装置から送信側の端末装置及び他の受信側の端末装置へ要求メッセージを伝送する場合には、要求メッセージにネットワーク伝送遅延が発生する為、全ての端末装置で再生出力を同時に停止することが困難であり、再生再開時には各端末装置で異なる時刻のデータから再生出力するしかない。
【０１０６】
そこで、本一実施形態に係る携帯端末では、再生再開時に全ての携帯端末で同一時刻のタイムスタンプ値を有するストリームデータから再生出力を再開できるようにする為に、未再生のストリームデータに加えて再生出力済みのストリームデータも、上述のようにして算出した所定量だけバッファリングする。
【０１０７】
より詳しくは、再生出力済みのストリームデータのバッファ量を、必要最小限のバッファ量とする為に、一時停止要求メッセージを送信した携帯端末とストリームデータを送信している携帯端末との間のネットワーク伝送遅延時間、及びストリームデータを送信している携帯端末と他の携帯端末間のネットワーク伝送遅延時間に基づいて算出する。
【０１０８】
ここで、上述したように携帯端末間のネットワーク伝送遅延時間（ストリームデータを送信する携帯端末と、ストリームデータを受信する他の携帯端末との間のネットワーク伝送遅延時間）は、テレビ電話における映像データまたは音声データのネットワーク伝送遅延時間を測定することにより予め取得できる。
【０１０９】
なお、ネットワーク伝送遅延時間情報を、テレビ電話の通話セッションにおける制御情報として送受信することも可能である。
【０１１０】
以上説明したように、本一実施形態によれば、テレビ電話機能を有し且つ複数多地点間でのストリームデータの送受信が可能な端末装置であって、テレビ電話機能の利用時且つストリームデータを他の端末装置に送信中に、当該ストリームデータの受信側の端末装置からストリームデータの再生出力の一時停止要求メッセージを受信すると、再生出力再開時に当該ストリームデータを再送信することなく、通信中の全ての端末装置と同期して同一時刻のタイムスタンプ値を有するデータから再生出力を再開できるよう制御する端末装置を提供することができる。
【０１１１】
具体的には、テレビ電話機能利用時に映像データ及び音声データを伝送するために各端末装置間で送受信される統計情報を上述したように用いること等によって、次のことが可能となる。すなわち、本一実施形態に係る端末装置によれば、テレビ電話で通話をしながらコンテンツを視聴する際に通話者全員の端末装置におけるコンテンツデータの再生時刻を同一にして、通話者全員が違和感なく映像コンテンツを視聴しながら会話することができ、且つコンテンツ視聴中においてコンテンツデータの再生を一時停止した場合であっても、再生再開時には通話者全ての端末装置において同一の箇所から再生を再開することができる。
【０１１２】
つまり、本一実施形態に係る端末装置によれば、図９に示すように、通話者全員が同一のコンテンツを同一時刻で鑑賞しながら、テレビ電話によるコミュニケーションをとることが可能となる。
【０１１３】
より詳細には、本一実施形態に係る端末装置によれば、以下のような効果を得ることができる。
【０１１４】
まず、再生済データバッファ部２２３によってコンテンツデータの再生の一時停止時刻以降のデータは全てバッファリングされる為、コンテンツデータの再生再開時に、一時停止時刻のデータから再生を再開できる。
【０１１５】
また、上述したように伝送遅延時間に基づいて、再生済データバッファ部２２３にバッファリングしなければならない最小のデータ量を算出することができる為、このデータ量サイズのバッファだけを確保してリソースを最小にすることができる。
【０１１６】
ところで、テレビ電話の通話においては映像データ及び音声データを双方向で送受信しているので、ストリームデータの送受信に関わらず伝送遅延時間を常時計測することが可能であることを利用する。すなわち、伝送遅延時間を以ってストリームデータの伝送遅延時間とみなすことで、ストリームデータの送信開始直後からストリームデータの再生の一時停止操作が可能となる。
【０１１７】
そして、テレビ電話通話においては、映像データ及び音声データを双方向で送受信する為にセッションを確立しており、このセッション上で統計情報の交換等を行っていることを利用する。つまり、ストリームデータの送受信を片方向しか行わなくても、テレビ電話のセッションを利用して、端末装置間で相互に伝送遅延時間情報を交換することができる。
【０１１８】
以上、一実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形及び応用が可能なことは勿論である。
【０１１９】
例えば、上記一実施形態においては、携帯端末ＭＳａから携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄへのＳＤＰ通知にはＳＩＰを用いたが、ＳＩＰ以外にも例えばコンテンツ配信情報制御プロトコルであるＦＬＵＴＥ（ＲＦＣ３９２６）を用いることも可能である。
【０１２０】
また、上記一実施形態においては、コンテンツの再生及び一時停止等の制御プロトコルにはテレビ電話通話で利用しているＳＩＰを利用するとして説明したが、ＲＴＳＰを用いて制御することも勿論可能である。
【０１２１】
なお、上記コンテンツデータとしては、地上波デジタル放送の映像データ及び音声データ等、様々なデータを用いることができるのは勿論である。
【０１２２】
なお、上記一実施形態においては、説明の便宜上４人によるテレビ電話を想定して説明したが、テレビ電話による通話人数は４人に限定されないことは勿論良いことは言うまでも無い。
【０１２３】
さらに、上述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【図面の簡単な説明】
【０１２４】
【図１】本発明の一実施形態に係る携帯端末を利用して、複数多地点間でテレビ電話機能によりリアルタイムにコミュニケーションを取りながら、ストリームデータの送受信を行う場合のシステム構成の一例を示す図である。
【図２】本発明の一実施形態に係る携帯端末の構成の一例を示すブロック図である。
【図３】マルチメディアデコーダの構成の一例を示す図である。
【図４】テレビ電話機能利用時の表示器における表示画面の一例を示す図である。
【図５】ＳＲのフォーマットを示す図である。
【図６】ＲＲのフォーマットを示す図である。
【図７】コンテンツデータ送出時刻を調整しない場合の携帯端末間の処理フローを示す図である。
【図８】コンテンツデータ送出時刻を調整する場合の携帯端末間の処理フローを示す図である。
【図９】コンテンツデータ視聴時の表示器における表示画面の一例を示す図である。
【図１０】コンテンツデータの再生の一時停止を実行する場合の各携帯端末における動作を示す図である。
【図１１】コンテンツデータの再生の一時停止を実行する場合の各携帯端末におけるバッファ量を示す図である。
【図１２】コンテンツデータの再生再開時の各携帯端末における動作を示す図である。
【符号の説明】
【０１２５】
ＭＳａ，ＭＳｂ，ＭＳｃ，ＭＳｄ…携帯端末、 ＩＮＷ…ＩＰ網、 ＳＳＶ…ＳＩＰサーバ、 ＣＳＶ…コンテンツサーバ、 Ｓ…コンテンツサーバ、 ＭＮＷ１，ＭＮＷ２…携帯網、 ２…ベースバンドユニット、 ３…入出力ユニット、 ４…電源ユニット、 ５…近距離無線ユニット、 ５Ａ，１１…アンテナ、 １２…アンテナ共用器、 １３…受信回路、 １４…周波数シンセサイザ、 １５…送信回路、 ２１…制御部、 ２２…マルチメディアデコーダ、 ２３…マルチメディアエンコーダ、 ２４…カメラインタフェース、 ２５…マイクロホンインタフェース、 ２６…表示インタフェース、 ２７…スピーカインタフェース、 ２８…メモリ、 ３１…カメラ、 ３２…マイクロホン、 ３３…表示器、 ３３Ａ，３３Ｂ，３３Ｃ，３３Ｄ…相手画像、 ３３Ｅ…コンテンツ映像、 ３４…スピーカ、 ３５…キー入力部、 ４１…バッテリ、 ４２…充電回路、 ４３…電圧生成回路、 ５０…ＳＲ、 ５１…ＮＴＰタイムスタンプフィールド、 ５２…ＲＴＰスタンプフィールド、 ５３…パケットカウントフィールド、 ５４…オクテットカウントフィールド、 ６０…ＲＲ、 ６１…ＳＳＲＣフィールド、 ６２Ａ…欠落率フィールド、 ６２Ｂ…累積欠落パケット数フィールド、 ６３…最大拡張シーケンス番号フィールド、 ６４…パケット間隔ジッタフィールド、 ６５…タイムスタンプフィールド、 ６６…最新送信レポート経過時間フィールド、 ２１１…テレビジョン電話通信制御機能、 ２１２…コンテンツ配信制御機能、 ２１３…コンテンツ再生制御機能、 ２１４…再開制御機能、 ２１５…バッファ量決定制御機能、 ２２１…コンテンツ再生部、 ２２２…未再生データバッファ部、 ２２３…再生済データバッファ部。
【技術分野】
【０００１】
本発明は、端末装置に関し、特にデータのネットワーク伝送時間に基づいた制御を行う端末装置に関する。
【背景技術】
【０００２】
近年、テレビ電話機能を有する端末装置が一般に普及している。そして、このような端末装置を利用して、メディアデータ等であるストリームデータの送受信を複数多地点間で行う技術として、例えば特許文献１には以下のような技術が開示されている。
【０００３】
すなわち、特許文献１には、ストリームデータの送信側（以下、送信装置と称する）において同時刻に送信された当該ストリームデータを、ストリームデータの受信側（以下、受信装置と称する）において同時刻に再生出力させる為の技術が開示されている。
【０００４】
具体的には、送信装置は、同期メディアから生成した同期信号のタイミングに一致させて同一の時刻にストリームデータを受信装置へ出力し、これに当該現在時刻のタイムコードを付加し、ネットワークを介して受信側に伝送する。一方、受信装置は、ストリームデータを受信して上記タイムコードを読み出し、このタイムコードと受信時刻を変換したタイムコードとから、ストリームデータの伝送時間（遅延時間）を測定する。さらに、遅延時間管理装置が、各々の受信装置での遅延時間を受け取り、それら遅延時間のうち最大の遅延時間を決定し、その他の遅延時間との差を計算する。そして、各々の受信装置は、上記の最大の遅延時間との差に応じて、ストリームデータの出力のタイミングを調整し、送信側から同一の時刻に出力されたストリームデータとして出力させる。
【特許文献１】特開２００４−２５４１４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ここで、上記特許文献１に開示された技術では、送信装置が、複数の受信装置に対して同時刻にデータを送信し、受信装置がそれぞれ異なるネットワーク伝送遅延時間で当該ストリームデータを受信した場合であっても、同期信号により識別可能なタイムスタンプを送信装置にて付加することによって、受信装置において当該ストリームデータの再生出力のタイミングを調節している。
【０００６】
しかしながら、上記特許文献１に開示された技術では、上記受信装置のうちのある受信装置が、上記送信装置及び他の受信装置に対して、再生出力を一時停止する要求メッセージを送信した場合、各々の受信装置におけるネットワーク伝送遅延時間が各装置間で異なることに起因して次のような問題が生じる。
【０００７】
すなわち、上記のように一時停止要求メッセージを送信した受信装置と他の受信装置との間で、再生出力を一時停止する時刻が異なってしまい、再生再開時に、未再生の受信データを再生しても同一時刻のタイムスタンプ値を有するデータから再生出力をすることができないという問題が生じる。
【０００８】
本発明は、上記の事情に鑑みて為されたもので、複数多地点間でのストリームデータの送受信が可能な端末装置であって、ストリームデータを他の端末装置に送信中に、当該ストリームデータの受信側の端末装置からストリームデータの再生出力の一時停止要求メッセージを受信すると、再生出力再開時に当該ストリームデータを再送信することなく、通信中の全ての端末装置と同期して同一時刻のタイムスタンプ値を有するデータから再生出力を再開できる端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明の第１の態様による端末装置は、外部から入力されるクロックにより他の端末装置と同期してストリームデータの再生を行う端末装置であって、上記ストリームデータを受信するストリームデータ受信部と、上記ストリームデータ受信部によって受信したストリームデータをバッファリングする未再生データバッファ部と、上記ストリームデータを再生する為のデータ再生部と、上記データ再生部によって再生された上記ストリームデータを所定量だけバッファリングする再生済データバッファ部と、上記他の端末装置と同期して上記データ再生部によって上記ストリームデータを再生中に、当該ストリームデータの再生一時停止操作が行われ且つ再生再開操作が行われた場合に、上記再生済データバッファ部にバッファリングされたストリームデータを用いて、上記ストリームデータの再生再開タイミングを調整する再生再開制御部と、上記再生一時停止操作の時刻を管理する停止時刻管理部と、を具備し、上記再生再開制御部は、上記停止時刻管理部が管理する再生一時停止操作の時刻に基づいて上記再生再開タイミングの調整を行うことで、上記他の端末装置と同期して、上記他の端末装置における再生再開時のデータと同一時刻のタイムスタンプ値を有するデータから再生を再開させる制御を行うことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、複数多地点間でのストリームデータの送受信が可能な端末装置であって、ストリームデータを他の端末装置に送信中に、当該ストリームデータの受信側の端末装置からストリームデータの再生出力の一時停止要求メッセージを受信すると、再生出力再開時に当該ストリームデータを再送信することなく、通信中の全ての端末装置と同期して同一時刻のタイムスタンプ値を有するデータから再生出力を再開できるよう制御する端末装置を提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して本発明の一実施形態に係る携帯端末を説明する。
【００１２】
図１は、この発明の一実施形態に係わる通信ネットワークシステムの概略構成図である。このシステムは、携帯端末間でＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）網を介してテレビジョン電話通信を可能にするもので、携帯端末ＭＳａ及びＭＳｂ，ＭＳｃ，ＭＳｄはそれぞれ携帯網ＭＮＷ１及びＭＮＷ２を介してＩＰ網ＩＮＷに接続される。ＩＰ網ＩＮＷにはＳＩＰ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）サーバＳＳＶが接続されている。ＳＩＰサーバＳＳＶは、上記携帯端末ＭＳａ〜ＭＳｄの居所を表すＩＰアドレスを記憶し、送信元の携帯端末から送信されたＳＩＰメッセージを上記ＩＰアドレスに基づいて宛先の携帯端末へ中継転送する機能を有する。また、携帯端末ＭＳａ〜ＭＳｄの中は、例えばパーソナル・コンピュータ等のコンテンツサーバＣＳＶに対し無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はＢｌｕｅｔｏｏｔｈ（登録商標）等の短距離データ通信ネットワークを介して接続可能され、上記コンテンツサーバＣＳＶから例えばストリーム画像データからなるコンテンツデータを取得可能である。
【００１３】
ところで、携帯端末ＭＳａ〜ＭＳｄはＳＩＰによるテレビジョン電話通信機能を備えた携帯端末からなり、例えば次のように構成される。図２はその構成を示すブロック図である。
【００１４】
携帯端末ＭＳａ〜ＭＳｄは、無線ユニット１と、ベースバンドユニット２と、入出力ユニット３と、電源ユニット４と、近距離無線ユニット５とから構成される。
【００１５】
同図において、入出力ユニット３のマイクロホン３２により検出されたユーザの送話音声に対応する音声信号は、ベースバンドユニット２に入力される。ベースバンドユニット２はマイクロホンインタフェース（マイクロホンＩ／Ｆ）２５を備え、上記送話音声信号をこのマイクロホンＩ／Ｆ２５で増幅したのちディジタル信号に変換してマルチメディアエンコーダ２３に入力する。マルチメディアエンコーダ２３はオーディオエンコーダを有する。そして、上記送話音声信号をＧＳＭ−ＡＭＲ形式などの所定の符号化形式で符号化し、この符号化音声データを制御部２１へ出力する。
【００１６】
またカメラ（ＣＡＭ）３１から出力された映像信号もベースバンドユニット２に入力される。ベースバンドユニット２はカメラインタフェース（カメラＩ／Ｆ）２４を備え、上記映像信号をディジタル映像信号に変換してマルチメディアエンコーダ２３に入力する。マルチメディアエンコーダ２３はビデオエンコーダを有する。そして、上記ディジタル映像信号を、例えばＭＰＥＧ４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ 4）形式又はＨ．２６４形式、或いはＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式に従い符号化処理し、この符号化された映像データを制御部２１へ出力する。
【００１７】
制御部２１は、上記マルチメディアエンコーダ２３から出力された送話音声データ及び映像データをパケットに変換し、この変換されたパケットを無線ユニット１の送信回路（ＴＸ）１５へ出力する。送信回路１５は、変調器、周波数変換器及び送信電力増幅器を備える。上記送信データは、変調器でディジタル変調されたのち、周波数変換器により周波数シンセサイザ１４から発生された送信局ユニット発振信号とミキシングされて無線周波信号に周波数変換される。変調方式としては、ＱＰＳＫ（Ｑｕａｄｒｉｐｈａｓｅ Ｐｈａｓｅ Ｓｈｉｆｔ Ｋｅｙｉｎｇ）方式及び拡散符号を使用するスペクトラム拡散方式が用いられる。そして、この生成された送信無線周波信号は、送信電力増幅器で所定の送信レベルに増幅されたのち、アンテナ共用器（ＤＵＰ）１２を介してアンテナ１１に供給され、このアンテナ１１から携帯網ＭＮＷ１，ＭＮＷ２に向け送信される。
【００１８】
近距離無線ユニット５は、無線ＬＡＮ又はＢｌｕｅｔｏｏｔｈ（登録商標）を使用して周辺機器との間で無線データ通信を行うもので、例えばコンテンツサーバＣＳＶから送信されたコンテンツデータをアンテナ５Ａを介して受信して上記制御部２１に入力する。制御部２１は、上記近距離無線ユニット５により受信されたコンテンツデータをメモリ２８に一旦格納する。そして、マルチメディアエンコーダ２３で符号化したのちパケットに変換し、このパケットを無線ユニット１の送信回路１５へ出力して送信させる。
【００１９】
一方、携帯網ＭＮＷ１，ＭＮＷ２から無線チャネルを介して到来した無線周波信号は、アンテナ１１で受信されたのちアンテナ共用器１２を介して受信回路（ＲＸ）１３に入力される。受信回路１３は、高周波増幅器、周波数変換器及び復調器を備える。そして、上記無線周波信号を低雑音増幅器で低雑音増幅したのち、周波数変換器において周波数シンセサイザ（ＳＹＮ）１４から発生された受信局ユニット発振信号とミキシングして受信中間周波信号又は受信ベースバンド信号に周波数変換し、その出力信号を復調器でディジタル復調して受信パケットを再生する。復調方式としては、例えばＱＰＳＫ方式に対応した直交復調方式と、拡散符号を使用したスペクトラム逆拡散方式が用いられる。なお、上記周波数シンセサイザ１４から発生される受信局ユニット発振信号周波数は、ベースバンドユニット２に設けられた制御部２１から指示される。
【００２０】
上記復調器において再生された受信パケットはベースバンドユニット２の制御部２１に入力される。制御部２１は、上記入力された受信パケットをデパケットして音声データ、映像データ及びコンテンツ画像データを抽出し、これらのデータをマルチメディアデコーダ２２に供給する。
【００２１】
マルチメディアデコーダ２２は、オーディオデコーダ及びビデオデコーダを有する。これらのデコーダは、例えば図３に示すようにコンテンツを復号処理するコンテンツ再生部２２１と、その前後に設けられた未再生データバッファ部２２２及び再生済データバッファ部２２３とを備えている。未再生データバッファ部２２２は、受信データの復号再生タイミングを調整するべく未再生の受信データを一時保存するために使用される。再生済データバッファ部２２３は、コンテンツデータの再生が一時停止された場合に、データ再生再開時にデータの再生再開位置を各携帯端末間で一致させるべく、再生済のデータを一部保存するために使用される。
【００２２】
上記オーディオデコーダにより復号された音声データはスピーカインタフェース（スピーカＩ／Ｆ）２７に、またビデオデコーダにより復号された映像データ及びコンテンツ画像データは表示インタフェース（表示Ｉ／Ｆ）２６にそれぞれ入力される。スピーカＩ／Ｆ２７は、上記音声データをアナログ信号に変換したのち適切な音量レベルに増幅してスピーカ３４から出力させる。表示Ｉ／Ｆ２６はビデオＲＡＭを有し、上記マルチメディアデコーダ２２により復号された映像データ及びコンテンツ画像データを合成して１画面の表示データを生成し、この表示データを表示器３３に供給して表示させる。表示器３３は、例えば液晶表示器（ＬＣＤ）からなる。
【００２３】
なお、キー入力部３５はダイヤルキー群及び機能キー群からなり、その入力データは制御部２１に入力される。またメモリ（ＭＥＭ）２８は記憶媒体としてハードディスク又はＮＡＮＤ型フラッシュメモリを使用したもので、受信メールやコンテンツデータ、電話帳データ、送受信履歴データ等を記憶するために用いられる。
【００２４】
また、電源ユニット４には、リチウムイオン電池等のバッテリ４１と、このバッテリ４１を商用電源出力をもとに充電するための充電回路（ＣＨＧ）４２と、電圧生成回路（ＰＳ）４３とが設けられている。電圧生成回路４３は、例えばＤＣ／ＤＣコンバータからなり、バッテリ４１の出力電圧をもとに所定の電源電圧Ｖccを生成する。
【００２５】
ところで、制御部２１はマイクロプロセッサと、ＲＯＭ及びＲＡＭ等からなる内部メモリとを備えたもので、この発明に係わる制御機能として、テレビジョン電話通信制御機能２１１と、コンテンツ配信制御機能２１２と、コンテンツ再生制御機能２１３と、再生一時停止／再開制御機能２１４と、バッファ量決定制御機能２１５とを有している。これらの制御機能はいずれも、ＲＯＭに格納されたアプリケーション・プログラムをマイクロプロセッサに実行させることにより実現される。
【００２６】
テレビジョン電話通信制御機能２１１は、呼制御プロトコルとしてのＳＩＰを用いて通信相手となる一つ又は複数の携帯端末との間にテレビジョン電話通信のためのセッションを確立する。そして、データ伝送プロトコルとしてのＲＴＰ（Ｒｅａｌ−ｔｉｍｅ ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）を用いて、テレビジョン通信相手となる各携帯端末との間でテレビジョン電話通信を行う。
【００２７】
コンテンツ配信制御機能２１２は、コンテンツサーバＣＳＶに対し近距離無線ユニット５を介してアクセスし、コンテンツサーバＣＳＶからコンテンツデータを取得してメモリ２８に保存するための制御を実行する。また、上記テレビジョン電話通信制御機能２１１によるテレビジョン電話通信中にキー入力部３５においてコンテンツデータの配信要求が入力された場合に、ＳＩＰで規定されたＳＤＰ（Ｓｅｓｓｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ Ｐｒｏｔｏｃｏｌ）を用いてコンテンツ再生開始時刻等の制御パラメータを上記テレビジョン電話通信中の相手携帯端末に通知し、続いてＲＴＰを用いてコンテンツデータを上記各相手携帯端末へ送信する制御を実行する。
【００２８】
コンテンツ再生制御機能２１３は、コンテンツ送信元の携帯端末からＳＤＰにより通知されるコンテンツ再生開始時刻に応じて、マルチメディアデコーダ２２内の未再生データバッファ部２２２のバッファ量を決める。そして、ＲＴＰにより伝送されたコンテンツデータを上記マルチメディアデコーダ２２に復号再生させる。
【００２９】
一時停止／再開制御機能２１４は、自端末においてコンテンツの一時停止／再開操作が行われた場合と、他の端末においてコンテンツの一時停止／再開操作が行われた場合とで異なる制御を実行する。
【００３０】
すなわち、自端末においてコンテンツの一時停止／再開操作が行われた場合には、マルチメディアデコーダ２２内の未再生データバッファ部２２２を用いてコンテンツデータの再生再開タイミングを調整する。これに対し他の端末においてコンテンツの一時停止／再開操作が行われた場合には、マルチメディアデコーダ２２内の未再生データバッファ部２２２及び再生済データバッファ部２２３をそれぞれ用いてコンテンツデータの再生再開タイミングを調整する。
【００３１】
バッファ量決定制御機能２１５は、コンテンツデータの配信に先立ち、ＲＴＣＰ（ＲＴＰ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）パケットの送受信を利用してコンテンツデータの配信先となる各携帯端末とコンテンツデータの送信元となる携帯端末との間の伝送遅延時間及びジッタを算出し、この算出結果をもとに各携帯端末の再生済データバッファ部２２３に設定すべきバッファ量を決定する。
【００３２】
次に、以上のように構成された携帯端末ＭＳａ〜ＭＳｄの動作を説明する。なお、ここでは、携帯端末ＭＳａが携帯端末ＭＳｂ〜ＭＳｄとの間で同時にテレビジョン電話通信を行っている状態で、携帯端末ＭＳａが各携帯端末ＭＳｂ〜ＭＳｄに対しさらにストリームデータからなるコンテンツデータを配信する場合を例にとって説明を行う。なお、各携帯端末における上述した各構成部材の詳細な動作制御は上述した通りであるのでその説明は省略し、説明の便宜上、各携帯端末間の処理及び動作制御に焦点を当てて説明する。
【００３３】
［コンテンツ視聴開始前の動作］
携帯端末ＭＳａは、例えばＳＩＰサーバＳＳＶによってＳIＰ等の呼制御プロトコルを用いて、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄとテレビ電話のセッションを確立する。そして、映像・音声データの伝送プロトコルとしてＲＴＰを用いてテレビ電話通話を開始する。
【００３４】
このとき、携帯端末ＭＳａの表示器３３は、例えば図４に示すような画面を表示する。すなわち、表示器３３には、携帯端末ＭＳａのユーザを示す画像である自画像３３Ａ、携帯端末ＭＳｂのユーザを示す画像である相手画像３３Ｂ、携帯端末ＭＳｃのユーザを示す画像である相手画像３３Ｃ、及び携帯端末ＭＳｄのユーザを示す画像である相手画像３３Ｄが表示される。なお、上記自画像３３Ａ及び相手画像３３Ｂ，３３Ｃ，３３Ｄは、それぞれ、携帯端末ＭＳａ，ＭＳｂ，ＭＳｃ，ＭＳｄの有するカメラ３１によって撮影され取得される。
【００３５】
ところで、携帯端末ＭＳａは携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄとの間で、ＲＴＰパケットを送受信する為、ＲＴＣＰを用いてＲＴＰ送受信パケットの統計情報を遣り取りするものとする。以下、携帯端末ＭＳａ，ＭＳｂ，ＭＳｂ，ＭＳｃ，ＭＳｄにおけるＲＴＣＰ処理のフローを説明する。
【００３６】
（ステップ１）
携帯端末ＭＳａは、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄそれぞれに対して、ＳＲ（Ｓｅｎｄｅｒ Ｒｅｐｏｒｔ）を格納したＲＴＣＰパケットを送信する。なお、図５はＳＲのフォーマットを示す図である。ここで、同図に示すように、ＳＲ５０は、ＮＴＰタイムスタンプフィールド５１と、ＲＴＰスタンプフィールド５２と、送信側のパケットカウントフィールド５３と、送信側のオクテットカウントフィールド５４とで構成される。なお、上記ＮＴＰタイムスタンプフィールド５１には、網クロックから取得した時刻に基づいて、ＲＴＣＰパケット送信時刻が設定される。
【００３７】
（ステップ２）
図６は、ＲＲ（Ｒｅｃｅｉｖｅｒ Ｒｅｐｏｒｔ）のフォーマットを示す図であり、同図に示すようにＲＲ６０は、レポート対象者のＳＳＲＣフィールド６１と、欠落率フィールド６２Ａと、累積欠落パケット数フィールド６２Ｂと、最大拡張シーケンス番号フィールド６３と、パケット間隔ジッタフィールド６４と、最新送信レポートのタイムスタンプ（（Ｌａｓｔ Ｓｅｎｄｅｒ Ｒｅｐｏｒｔ；ＬＳＲ）フィールド６５と、最新送信レポート経過時間（ＤＬＳＲ）フィールド６６とで構成される。
【００３８】
ここで、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄは、携帯端末ＭＳａから送信されたＲＴＣＰパケットのＳＲ５０から、携帯端末ＭＳａに送信するＲＲ６０のＬＳＲフィールド６５を生成する。
【００３９】
（ステップ３）
携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄは、携帯端末ＭＳａから受信したＲＴＰパケットの到着時刻からジッタを計測し、その統計結果に基づいて、携帯端末ＭＳａに送信するＲＲのパケット間隔ジッタフィールド６４を生成する。
【００４０】
（ステップ４）
携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄは、上記（ステップ２）及び（ステップ３）にて生成したフィールドを含むＲＲ６０と、網クロックから取得した時刻に基づいてＲＴＣＰパケット送信時刻を設定したＮＴＰタイムスタンプフィールド５１を含むＳＲ５０とを同一のパケットに格納したＲＴＣＰパケットを携帯端末ＭＳａへ送信する。
【００４１】
（ステップ５）
携帯端末ＭＳａの制御部２１は、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄから受信したＲＴＣＰパケットのそれぞれに格納されているＲＲ６０及びＳＲ５０から、携帯端末ＭＳａとそれぞれのＲＴＣＰパケット送信元の各携帯端末について、それぞれのネットワーク伝送遅延時間及びジッタを、次の方法によって算出する。ただし、本方法では外部から入力されるクロックにより各端末装置が同期しているものとする。
【００４２】
<伝送遅延の算出>
伝送遅延時間＝
ＳＲのＮＴＰタイムスタンプフィールド値（相手携帯端末のＲＣＴＰパケットの送信時刻）
−ＲＲのLＳＲフィールド値（携帯端末ＭＳａのＲＴＣＰパケットの送信時刻）
−ＲＲのＤＬＳＲ（Ｄｅｌａｙ ｓｉｎｃｅ Ｌａｓｔ Ｒｅｐｏｒｔ）フィールド値（相手携帯端末でのＲＴＣＰパケット受信から送信までの時間）
<ジッタの算出>
ジッタ＝ＲＲのパケット間隔ジッタフィールド値
（ステップ６）
携帯端末ＭＳａは、上記（ステップ５）における算出したネットワーク伝送遅延及びジッタを、それぞれ最大伝送遅延時間、最大ジッタとして保持する。さらに、ネットワーク伝送遅延時間に関しては、ＲＴＣＰパケットの送信元の各携帯端末に保持するとする。
【００４３】
（ステップ７）
上記（ステップ６）以降、携帯端末ＭＳａは、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄから定期的にＲＴＣＰパケットを受信し、それぞれの携帯端末ごとにネットワーク伝送遅延時間及びジッタを算出して取得する。
【００４４】
（ステップ８）
上記（ステップ７）におけるネットワーク伝送遅延時間及びジッタの取得の結果、ネットワーク伝送遅延時間またはジッタが、携帯端末ＭＳａで保持している最大伝送遅延時間または最大ジッタよりも大きい値である場合には、その保持している値を更新する。
【００４５】
このように本一実施形態においては、テレビ電話機能利用時に取得することができ且つＲＴＣＰによって一定周期で更新される統計情報を利用することで、通信中の各携帯端末のネットワーク伝送遅延時間及びジッタを算出する。
【００４６】
以上説明した（ステップ１）乃至（ステップ８）によって、携帯端末ＭＳａは、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄとの間でのＩＰパケットの最大伝送遅延時間及び最大ジッタを保持することができ、且つそれらの値を定期的に更新することができる。
【００４７】
続いて、上記携帯端末ＭＳａによって携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄに送信されるコンテンツデータを実際に携帯端末ＭＳａ，ＭＳｂ，ＭＳｃ，ＭＳｄにて同時刻で視聴する際の、各携帯端末の動作制御を説明する。
【００４８】
［コンテンツ視聴時の動作］
前提条件として、携帯端末ＭＳａは、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄのユーザに対して視聴してもらいたい映像コンテンツ等の所定のコンテンツがあることを、図４に示すようにテレビ電話によって伝える。
【００４９】
なお、上記所定のコンテンツとしては、携帯端末ＭＳａのユーザが、予めコンテンツサーバＳより取得して携帯端末ＭＳａに格納したコンテンツ、または携帯端末ＭＳａ自体が有するコンテンツを携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄへ配信するとする。
【００５０】
以下、コンテンツ視聴時の動作として、２通りの処理フローを説明する。
【００５１】
≪方法１；携帯端末ＭＳａにてコンテンツデータ送出時刻を調整しない場合≫
携帯端末ＭＳａは、配信するコンテンツ情報であるＳＤＰを、テレビ電話通話で制御プロトコルとして用いているＳＩＰにより携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄに通知することが可能である。このＳＤＰによって、Ｔフィールドにコンテンツデータ再生開始時刻を記述し、ＲＴＰタイムスタンプをマッピングすることにより、コンテンツデータ送信端末（携帯端末ＭＳａ）と全てのコンテンツデータ受信端末（携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄ）とでコンテンツデータを同時に再生開始することができる。以下、コンテンツデータ送出時刻を調整しない場合の携帯端末間の処理フローを示す図７を参照して参照して詳細に説明する。
【００５２】
（ステップ１１）
携帯端末ＭＳａの制御部２１は、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄを一つのグループとして、これに対してＲＴＣＰによって計測し且つ保持している最大伝送遅延時間及び最大ジッタを用いて、次のようにしてコンテンツデータ再生開始時刻を算出する。
【００５３】
コンテンツデータ再生開始時刻 ＝ 端末ＭＳａのコンテンツ送出開始時刻 ＋ 最大伝送遅延 ＋ 最大ジッタ
（ステップ１２）
携帯端末ＭＳａは、上記のように算出したコンテンツデータ再生開始時刻を、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄに送信する全てのＳＤＰにおけるＴフィールドに記述する。
【００５４】
（ステップ１３）
携帯端末ＭＳａは、ＳＩＰを用いて携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄへ配信するコンテンツ情報であるＳＤＰを通知する。
【００５５】
（ステップ１４）
一定時間経過後、携帯端末ＭＳａは、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄに対して同時に、コンテンツデータの送信を開始する。
【００５６】
（ステップ１５）
携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄは、コンテンツデータを受信すると、ＳＤＰに記述されているコンテンツデータ再生開始時刻まで、当該コンテンツデータをバッファリングする。
【００５７】
（ステップ１６）
携帯端末ＭＳａ，ＭＳｂ，ＭＳｃ，ＭＳｄは、コンテンツデータ再生開始時刻になると同時に、当該コンテンツデータの再生を開始する。
【００５８】
≪方法２；携帯端末ＭＳａにてコンテンツデータ送出時刻を調整する場合≫
携帯端末ＭＳａは、送信するコンテンツデータが携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄに到達する時刻を同時刻とする為に、コンテンツデータ送信開始時刻を各携帯端末ごとの伝送遅延に応じて決定する。これにより、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄにおけるコンテンツデータのバッファ量を最小にして、コンテンツ送信端末である携帯端末ＭＳａと、コンテンツ受信端末である携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄにて同時にコンテンツデータの再生出力を開始させることが可能となる。以下、コンテンツデータ送出時刻を調整する場合の携帯端末間の処理フローを示す図８を参照して詳細に説明する。
【００５９】
（ステップ２１）
携帯端末ＭＳａの制御部２１は、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄを一つのグループとして、それに対してＲＴＣＰによって計測し且つ保持している最大伝送遅延時間及び最大ジッタを用いて、次のようにしてコンテンツデータ再生開始時刻を算出する。
【００６０】
コンテンツデータ再生開始時刻 ＝ 端末ＭＳａのコンテンツ送出開始時刻 ＋ 最大伝送遅延 ＋ 最大ジッタ
（ステップ２２）
携帯端末ＭＳａは、上記のように算出したコンテンツデータ再生開始時刻を、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄに送信する全てのＳＤＰにおいてＴフィールド等に記述する。ここでＳＤＰのフィールド値の使用方法についは各端末間であらかじめ決定されているものとする。
【００６１】
（ステップ２３）
携帯端末ＭＳａは、ＳＩＰを用いて携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄへ配信するコンテンツ情報であるＳＤＰを通知する。
【００６２】
（ステップ２４）
携帯端末ＭＳａは、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄごとに、コンテンツデータの送信を開始する時刻を、次のようにして算出する。
【００６３】
コンテンツデータ送信開始時刻 ＝ コンテンツ再生開始時刻 − 端末Ｘの最大伝送遅延 − 端末Ｘの最大ジッタ （端末ＸはＭＳｂ、ＭＳｃまたはＭＳｄ）
（ステップ２５）
携帯端末ＭＳａは、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄごとに算出した上記のコンテンツデータ送信開始時刻に、コンテンツデータの送信を開始する。
【００６４】
（ステップＳ２６）
携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄは、携帯端末ＭＳａから送信されたコンテンツデータを受信すると、上記（ステップＳ２３）にて通知されたＳＤＰに記述されているコンテンツ再生開始時刻まで、コンテンツデータをバッファリングする。
【００６５】
（ステップＳ２７）
携帯端末ＭＳａ，ＭＳｂ，ＭＳｃ，ＭＳｄは、コンテンツデータの再生開始時刻になると同時に、コンテンツデータの再生を開始する。
【００６６】
以上、［コンテンツデータ視聴時の動作］として２通りの方法を説明したが、上記≪方法１≫よりも上記≪方法２≫の方が、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄにとってコンテンツデータのバッファリングの量をより少量にして、上述したようなコンテンツデータの各携帯端末における同時再生を実現することが可能となる。
【００６７】
また、上述のようにして開始したコンテンツデータの視聴時には、例えば携帯端末ＭＳａの表示器３３には、図９に示すような画面が表示される。すなわち、例えば携帯端末ＭＳａの表示器３３には、図３を参照して説明した表示画面の他に、コンテンツ映像３３Ｅが表示される。
【００６８】
なお、上述したように、本一実施形態においては、コンテンツデータ再生開始時刻及びコンテンツデータの受信端末（携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄ）におけるコンテンツデータのバッファリング量等は、コンテンツデータの送信端末（携帯端末ＭＳａ）によって算出され指定される。つまり、本一実施形態に係る携帯端末間における統計情報は、コンテンツデータを送信する端末（携帯端末ＭＳａ）によって取り扱われる。なお、本一実施形態に係る携帯端末は全て、コンテンツデータの送信機能及び受信機能の双方を有しており、統計情報の取り扱いが可能であることは勿論である。
【００６９】
ところで、上述したようにテレビ電話機能を利用すると同時に、コンテンツデータの再生を行う場合は、テレビ電話機能による音声とコンテンツデータの再生による音声とをミキシング処理する必要が生じる。このミキシング処理は、例えば各携帯端末またはサーバによって行う必要がある。
【００７０】
なお、上記のミキシング処理においては、例えばテレビ電話機能による音声の音量とコンテンツデータの再生による音声の音量とが同程度の場合には、通常のミキシング処理では双方の音声が聞き取りづらくなる可能性が高いことを考慮して、次のような処理を行う。すなわち、このような場合、例えばテレビ電話機能による音声の優先度を高くして、コンテンツデータによる音声よりも聞き取りやすくすることで、よりスムーズに会話を楽しめるようにする。
【００７１】
以下、携帯端末ＭＳａが、テレビ電話機能の利用時であってコンテンツデータを携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄに送信中に、受信側の携帯端末からコンテンツデータの再生出力の一時停止要求メッセージを受信して再生出力の一時停止をした場合に、その後再生出力再開時に当該コンテンツデータを再送信することなく、通信中の全ての携帯端末で同一時刻のタイムスタンプ値を有するストリームデータから再生出力を再開できるにする為の各携帯端末における動作制御について説明する。
【００７２】
［コンテンツ視聴を一時停止する時の動作］
まず、コンテンツデータの視聴を一時停止させる場合には、通常次のような問題が生じる。
【００７３】
例えば、携帯端末ＭＳｂによってコンテンツデータ再生の一時停止が実行された場合、携帯端末ＭＳｂにおけるコンテンツデータの再生は即座に停止する。しかしながら、コンテンツデータ再生の一時停止要求が、携帯端末ＭＳｂから携帯端末ＭＳａへ到達するまでは、携帯端末ＭＳａは、コンテンツデータの再生を停止せずに、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄへコンテンツデータを送信し続ける。
【００７４】
したがって、その後一時停止を解除してコンテンツデータの再生を再開させる場合に、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄにてコンテンツデータの再バッファリングをせずに、同一時刻のタイムスタンプ値を有するコンテンツデータから再生を再開させる為には、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄは、上記の一時停止時にバッファに残っているコンテンツデータと一時停止後に携帯端末ＭＳａが送信したコンテンツデータとをバッファに保持しておく必要がある。
【００７５】
また、携帯端末ＭＳａは、携帯端末ＭＳｂが一時停止を実行し携帯端末ＭＳａに一時停止要求を送信してから携帯端末ＭＳａに一時停止要求が到達するまでの間に、コンテンツデータの再生を継続してしまっている。
【００７６】
したがって、この間の再生済みコンテンツデータを、携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄは、再生済データバッファ部２２３に保持する必要がある。以下、図１０及び図１１を参照して、コンテンツデータの再生の一時停止を実行する場合の各携帯端末の動作制御を詳細に説明する。
【００７７】
ここで、図１０はコンテンツデータの再生の一時停止を実行する場合の各携帯端末における動作を示す図であり、図１１はコンテンツデータの再生の一時停止を実行する場合の各携帯端末におけるコンテンツデータのバッファ量を示す図である。
【００７８】
≪携帯端末ＭＳｂの動作（一時停止を実行する端末の動作）≫
（ステップ３１）
コンテンツデータの再生の一時停止を実行する。
【００７９】
（ステップ３２）
コンテンツデータの再生を一時停止し、ＳＩＰを用いて携帯端末ＭＳａへコンテンツデータの一時停止要求を送信する。
【００８０】
（ステップ３３）
コンテンツデータの再生の一時停止時刻を記憶し、且つ一時停止時にバッファリングされている未再生のコンテンツデータ（ｂ１）を未再生データバッファ部２２２に保持する。
【００８１】
（ステップ３４）
コンテンツデータの一時停止を実行して（ステップ３１）から、携帯端末ＭＳａがコンテンツデータの送信を停止するまでの間に、当該携帯端末ＭＳｂに対して携帯端末ＭＳａが送信したコンテンツデータ（ｂ２）を、上記（ステップ３３）で保持したコンテンツデータに追加して未再生データバッファ部２２２に保持する。
【００８２】
≪携帯端末ＭＳａの動作（コンテンツデータ配信端末の動作）≫
（ステップ４１）
携帯端末ＭＳｂからのコンテンツデータ再生の一時停止要求を受信すると、コンテンツデータの再生を一時停止すると同時にコンテンツデータの送信を停止し、更に携帯端末ＭＳｃ，ＭＳｄに対して一時停止要求を転送する。
【００８３】
（ステップ４２）
携帯端末ＭＳｂから送信された一時停止要求に含まれる携帯端末ＭＳｂの一時停止時刻（以降、停止要求端末一時停止時刻と称する）を記憶する。
【００８４】
（ステップ４３）
上記停止要求端末一時停止時刻から一時停止要求受信時刻までの間に再生したコンテンツデータ（ａ２）を抽出して、再生済データバッファ部２２３に保持する。
【００８５】
（ステップ４４）
一時停止時において未再生データバッファ部２２２に残っているコンテンツデータ（ａ１）をそのまま保持する。
【００８６】
≪携帯端末ＭＳｃ，ＭＳｄの動作≫
（ステップ５１）
携帯端末ＭＳａからコンテンツ再生一時停止要求を受信すると、コンテンツ再生を一時停止する。
【００８７】
（ステップ５２）
携帯端末ＭＳａから送信された一時停止要求に含まれる上記停止要求端末一時停止時刻を記憶する。
【００８８】
（ステップ５３）
携帯端末ＭＳａと同様、予め再生済データバッファ部２２３に保持していた再生済みコンテンツデータにおいて上記停止要求端末一時停止時刻から一時停止要求受信時刻までの間に再生したコンテンツデータ（ｃ２，ｄ２）を抽出して、再生済みデータバッファに保持する。
【００８９】
（ステップ５４）
一時停止時に未再生データバッファ部に残っているコンテンツデータ（ｃ１，ｄ１）をそのまま保持する。
【００９０】
以上説明したように、各携帯端末にバッファリングされるコンテンツデータのデータ量は、図１０及び図１１に示すように各携帯端末のネットワーク伝送遅延時間に応じて算出する為、再生済みのコンテンツデータも含めてバッファに保持するデータ量を必要最小限にし、且つ再生出力再開時に当該コンテンツデータを再送信することなく、通信中の全ての携帯端末で同一時刻のタイムスタンプ値を有するデータから再生出力を再開することができる。
【００９１】
以下、コンテンツデータの再生再開時の各携帯端末における動作制御を示す図である図１２を参照して、その動作制御を説明する。
【００９２】
［コンテンツ視聴再開（再生再開）時の動作］
ここでは、携帯端末ＭＳｃによってコンテンツ再生の再開操作が実行される場合を想定する。この携帯端末ＭＳｃは、当然ながら各携帯端末間の伝送遅延時間を管理していない。したがって、まず携帯端末ＭＳｃは、再生再開要求を携帯端末ＭＳａに送信し、携帯端末ＭＳａが各携帯端末との最大伝送遅延時間に基づいて、全ての携帯端末が再生再開する時刻を決定する。そして、携帯端末ＭＳａが、この再生再開時刻を各携帯端末に通知することによって、各携帯端末は未再生データバッファ部２２２または再生済データバッファ部２２３にバッファリングされている一時停止時刻に対応するデータから、上記再生開始時刻に同時に再生を再開することができる。
【００９３】
以下、図１２を参照して、コンテンツデータの再生再開時の各携帯端末における動作制御を詳細に説明する。
【００９４】
≪携帯端末ＭＳｃの動作（再生再開を実行する端末の動作）≫
（ステップ６１）
携帯端末ＭＳｃは、再生再開が選択されると、携帯端末ＭＳａへＳＩＰあるいはＲＴＳＰ等の制御プロトコルを用いて再生再開要求を携帯端末ＭＳａへ送信し、携帯端末ＭＳａからの再生再開要求を待つ。
【００９５】
（ステップ６２）
携帯端末ＭＳａから再生再開時刻を通知する再生再開要求を受信すると、この再生再開時刻を、一時停止時に記憶してある上記停止要求端末一時停止時刻にマッピングする為に、再生済データバッファ部２２３から一時停止時刻に対応するコンテンツデータを検索する。
【００９６】
（ステップ６３）
携帯端末ＭＳａから通知された上記再生再開時刻になると、再生済データバッファ部２２３に保持されているコンテンツデータを、上記停止要求端末一時停止時刻に対応する時点から再生する。
【００９７】
≪携帯端末ＭＳａの動作（コンテンツデータを送信する端末）≫
（ステップ７１）
携帯端末ＭＳｃからの再生再開要求を受信すると、再生再開要求受信時刻にコンテンツ送信先端末（携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄ）に対する最大伝送遅延時間を加算して再生再開時刻を算出する。
【００９８】
（ステップ７２）
コンテンツ送信先の全ての携帯端末に対して再生再開要求を送信し、これにより算出した再生再開時刻を通知する。
【００９９】
（ステップ７３）
上記（ステップ７２）において算出した再生再開時刻を一時停止時に記憶してある上記停止要求端末一時停止時刻にマッピングする為に、再生済データバッファ部２２３から一時停止時刻に対応するコンテンツデータを検索する。
【０１００】
（ステップ７４）
上記（ステップ７２）において算出した再生再開時刻になると、再生済データバッファ部２２３に保持されているコンテンツデータを、上記停止要求端末一時停止時刻に対応する時点から再生する。
【０１０１】
≪携帯端末ＭＳｂ，ＭＳｄの動作≫
（ステップ８１）
携帯端末ＭＳａから再生再開時刻を通知する再生再開要求を受信すると、この再生再開時刻を一時停止時に記憶してある上記停止要求端末一時停止時刻にマッピングする為に、再生済データバッファ部２２３から一時停止時刻に対応するコンテンツデータを検索する。
【０１０２】
（ステップ８２）
携帯端末ＭＳａから通知された上記再生再開時刻になると、未再生データバッファ部２２２または再生済データバッファ部２２３に保持されているコンテンツデータを、上記停止要求端末一時停止時刻に対応する時点から再生する。
【０１０３】
以下、上述した本一実施形態に係る携帯端末に特有の主な特徴を、従来より存在した技術と比較しながら説明する。
【０１０４】
まず、従来よりある端末から他の端末へテレビ電話映像及び音声に加えてストリームデータを送信する場合、ストリームデータを受信している端末では再生出力していないデータをそれぞれのネットワーク伝送遅延時間に応じて算出した量だけバッファリングすることによって同時再生出力させることは可能であった。
【０１０５】
しかしながら、一時停止要求メッセージを伝送する場合のように、ある受信側の端末装置から送信側の端末装置及び他の受信側の端末装置へ要求メッセージを伝送する場合には、要求メッセージにネットワーク伝送遅延が発生する為、全ての端末装置で再生出力を同時に停止することが困難であり、再生再開時には各端末装置で異なる時刻のデータから再生出力するしかない。
【０１０６】
そこで、本一実施形態に係る携帯端末では、再生再開時に全ての携帯端末で同一時刻のタイムスタンプ値を有するストリームデータから再生出力を再開できるようにする為に、未再生のストリームデータに加えて再生出力済みのストリームデータも、上述のようにして算出した所定量だけバッファリングする。
【０１０７】
より詳しくは、再生出力済みのストリームデータのバッファ量を、必要最小限のバッファ量とする為に、一時停止要求メッセージを送信した携帯端末とストリームデータを送信している携帯端末との間のネットワーク伝送遅延時間、及びストリームデータを送信している携帯端末と他の携帯端末間のネットワーク伝送遅延時間に基づいて算出する。
【０１０８】
ここで、上述したように携帯端末間のネットワーク伝送遅延時間（ストリームデータを送信する携帯端末と、ストリームデータを受信する他の携帯端末との間のネットワーク伝送遅延時間）は、テレビ電話における映像データまたは音声データのネットワーク伝送遅延時間を測定することにより予め取得できる。
【０１０９】
なお、ネットワーク伝送遅延時間情報を、テレビ電話の通話セッションにおける制御情報として送受信することも可能である。
【０１１０】
以上説明したように、本一実施形態によれば、テレビ電話機能を有し且つ複数多地点間でのストリームデータの送受信が可能な端末装置であって、テレビ電話機能の利用時且つストリームデータを他の端末装置に送信中に、当該ストリームデータの受信側の端末装置からストリームデータの再生出力の一時停止要求メッセージを受信すると、再生出力再開時に当該ストリームデータを再送信することなく、通信中の全ての端末装置と同期して同一時刻のタイムスタンプ値を有するデータから再生出力を再開できるよう制御する端末装置を提供することができる。
【０１１１】
具体的には、テレビ電話機能利用時に映像データ及び音声データを伝送するために各端末装置間で送受信される統計情報を上述したように用いること等によって、次のことが可能となる。すなわち、本一実施形態に係る端末装置によれば、テレビ電話で通話をしながらコンテンツを視聴する際に通話者全員の端末装置におけるコンテンツデータの再生時刻を同一にして、通話者全員が違和感なく映像コンテンツを視聴しながら会話することができ、且つコンテンツ視聴中においてコンテンツデータの再生を一時停止した場合であっても、再生再開時には通話者全ての端末装置において同一の箇所から再生を再開することができる。
【０１１２】
つまり、本一実施形態に係る端末装置によれば、図９に示すように、通話者全員が同一のコンテンツを同一時刻で鑑賞しながら、テレビ電話によるコミュニケーションをとることが可能となる。
【０１１３】
より詳細には、本一実施形態に係る端末装置によれば、以下のような効果を得ることができる。
【０１１４】
まず、再生済データバッファ部２２３によってコンテンツデータの再生の一時停止時刻以降のデータは全てバッファリングされる為、コンテンツデータの再生再開時に、一時停止時刻のデータから再生を再開できる。
【０１１５】
また、上述したように伝送遅延時間に基づいて、再生済データバッファ部２２３にバッファリングしなければならない最小のデータ量を算出することができる為、このデータ量サイズのバッファだけを確保してリソースを最小にすることができる。
【０１１６】
ところで、テレビ電話の通話においては映像データ及び音声データを双方向で送受信しているので、ストリームデータの送受信に関わらず伝送遅延時間を常時計測することが可能であることを利用する。すなわち、伝送遅延時間を以ってストリームデータの伝送遅延時間とみなすことで、ストリームデータの送信開始直後からストリームデータの再生の一時停止操作が可能となる。
【０１１７】
そして、テレビ電話通話においては、映像データ及び音声データを双方向で送受信する為にセッションを確立しており、このセッション上で統計情報の交換等を行っていることを利用する。つまり、ストリームデータの送受信を片方向しか行わなくても、テレビ電話のセッションを利用して、端末装置間で相互に伝送遅延時間情報を交換することができる。
【０１１８】
以上、一実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形及び応用が可能なことは勿論である。
【０１１９】
例えば、上記一実施形態においては、携帯端末ＭＳａから携帯端末ＭＳｂ，ＭＳｃ，ＭＳｄへのＳＤＰ通知にはＳＩＰを用いたが、ＳＩＰ以外にも例えばコンテンツ配信情報制御プロトコルであるＦＬＵＴＥ（ＲＦＣ３９２６）を用いることも可能である。
【０１２０】
また、上記一実施形態においては、コンテンツの再生及び一時停止等の制御プロトコルにはテレビ電話通話で利用しているＳＩＰを利用するとして説明したが、ＲＴＳＰを用いて制御することも勿論可能である。
【０１２１】
なお、上記コンテンツデータとしては、地上波デジタル放送の映像データ及び音声データ等、様々なデータを用いることができるのは勿論である。
【０１２２】
なお、上記一実施形態においては、説明の便宜上４人によるテレビ電話を想定して説明したが、テレビ電話による通話人数は４人に限定されないことは勿論良いことは言うまでも無い。
【０１２３】
さらに、上述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【図面の簡単な説明】
【０１２４】
【図１】本発明の一実施形態に係る携帯端末を利用して、複数多地点間でテレビ電話機能によりリアルタイムにコミュニケーションを取りながら、ストリームデータの送受信を行う場合のシステム構成の一例を示す図である。
【図２】本発明の一実施形態に係る携帯端末の構成の一例を示すブロック図である。
【図３】マルチメディアデコーダの構成の一例を示す図である。
【図４】テレビ電話機能利用時の表示器における表示画面の一例を示す図である。
【図５】ＳＲのフォーマットを示す図である。
【図６】ＲＲのフォーマットを示す図である。
【図７】コンテンツデータ送出時刻を調整しない場合の携帯端末間の処理フローを示す図である。
【図８】コンテンツデータ送出時刻を調整する場合の携帯端末間の処理フローを示す図である。
【図９】コンテンツデータ視聴時の表示器における表示画面の一例を示す図である。
【図１０】コンテンツデータの再生の一時停止を実行する場合の各携帯端末における動作を示す図である。
【図１１】コンテンツデータの再生の一時停止を実行する場合の各携帯端末におけるバッファ量を示す図である。
【図１２】コンテンツデータの再生再開時の各携帯端末における動作を示す図である。
【符号の説明】
【０１２５】
ＭＳａ，ＭＳｂ，ＭＳｃ，ＭＳｄ…携帯端末、 ＩＮＷ…ＩＰ網、 ＳＳＶ…ＳＩＰサーバ、 ＣＳＶ…コンテンツサーバ、 Ｓ…コンテンツサーバ、 ＭＮＷ１，ＭＮＷ２…携帯網、 ２…ベースバンドユニット、 ３…入出力ユニット、 ４…電源ユニット、 ５…近距離無線ユニット、 ５Ａ，１１…アンテナ、 １２…アンテナ共用器、 １３…受信回路、 １４…周波数シンセサイザ、 １５…送信回路、 ２１…制御部、 ２２…マルチメディアデコーダ、 ２３…マルチメディアエンコーダ、 ２４…カメラインタフェース、 ２５…マイクロホンインタフェース、 ２６…表示インタフェース、 ２７…スピーカインタフェース、 ２８…メモリ、 ３１…カメラ、 ３２…マイクロホン、 ３３…表示器、 ３３Ａ，３３Ｂ，３３Ｃ，３３Ｄ…相手画像、 ３３Ｅ…コンテンツ映像、 ３４…スピーカ、 ３５…キー入力部、 ４１…バッテリ、 ４２…充電回路、 ４３…電圧生成回路、 ５０…ＳＲ、 ５１…ＮＴＰタイムスタンプフィールド、 ５２…ＲＴＰスタンプフィールド、 ５３…パケットカウントフィールド、 ５４…オクテットカウントフィールド、 ６０…ＲＲ、 ６１…ＳＳＲＣフィールド、 ６２Ａ…欠落率フィールド、 ６２Ｂ…累積欠落パケット数フィールド、 ６３…最大拡張シーケンス番号フィールド、 ６４…パケット間隔ジッタフィールド、 ６５…タイムスタンプフィールド、 ６６…最新送信レポート経過時間フィールド、 ２１１…テレビジョン電話通信制御機能、 ２１２…コンテンツ配信制御機能、 ２１３…コンテンツ再生制御機能、 ２１４…再開制御機能、 ２１５…バッファ量決定制御機能、 ２２１…コンテンツ再生部、 ２２２…未再生データバッファ部、 ２２３…再生済データバッファ部。
【特許請求の範囲】
【請求項１】
外部から入力されるクロックにより他の端末装置と同期してストリームデータの再生を行う端末装置であって、
上記ストリームデータを受信するストリームデータ受信部と、
上記ストリームデータ受信部によって受信したストリームデータをバッファリングする未再生データバッファ部と、
上記ストリームデータを再生する為のデータ再生部と、
上記データ再生部によって再生された上記ストリームデータを所定量だけバッファリングする再生済データバッファ部と、
上記他の端末装置と同期して上記データ再生部によって上記ストリームデータを再生中に、当該ストリームデータの再生一時停止操作が行われ且つ再生再開操作が行われた場合に、上記再生済データバッファ部にバッファリングされたストリームデータを用いて、上記ストリームデータの再生再開タイミングを調整する再生再開制御部と、
上記再生一時停止操作の時刻を管理する停止時刻管理部と、
を具備し、
上記再生再開制御部は、上記停止時刻管理部が管理する再生一時停止操作の時刻に基づいて上記再生再開タイミングの調整を行うことで、上記他の端末装置と同期して、上記他の端末装置における再生再開時のデータと同一時刻のタイムスタンプ値を有するデータから再生を再開させる制御を行うことを特徴とする端末装置。
【請求項２】
ストリームデータを上記他の端末装置へ送信するストリームデータ送信部と、
当該端末装置が上記他の端末装置へストリームデータを送信するモードであるストリームデータ送信モードに設定されている場合には、上記他の端末装置と当該端末装置との間のネットワーク伝送遅延時間を算出し、該算出結果に基づいて上記他の端末装置における上記再生済データバッファ部がバッファリングする上記所定量を算出して上記他の端末装置へ通知するバッファ量決定部と、
を含むことを特徴とする請求項１に記載の端末装置。
【請求項３】
通話に使用する映像データまたは音声データの、上記他の端末装置と当該端末装置との間におけるネットワーク伝送遅延時間を測定するネットワーク伝送遅延時間取得部を更に含むことを特徴とする請求項２に記載の端末装置。
【請求項４】
通話に使用するデータを伝送する為に確立されているセッションを伝送路として、上記ネットワーク伝送遅延時間取得部による上記測定の結果を上記他の端末装置と互いに伝送する遅延時間伝送部を更に含むことを特徴とする請求項３に記載の端末装置。
【請求項１】
外部から入力されるクロックにより他の端末装置と同期してストリームデータの再生を行う端末装置であって、
上記ストリームデータを受信するストリームデータ受信部と、
上記ストリームデータ受信部によって受信したストリームデータをバッファリングする未再生データバッファ部と、
上記ストリームデータを再生する為のデータ再生部と、
上記データ再生部によって再生された上記ストリームデータを所定量だけバッファリングする再生済データバッファ部と、
上記他の端末装置と同期して上記データ再生部によって上記ストリームデータを再生中に、当該ストリームデータの再生一時停止操作が行われ且つ再生再開操作が行われた場合に、上記再生済データバッファ部にバッファリングされたストリームデータを用いて、上記ストリームデータの再生再開タイミングを調整する再生再開制御部と、
上記再生一時停止操作の時刻を管理する停止時刻管理部と、
を具備し、
上記再生再開制御部は、上記停止時刻管理部が管理する再生一時停止操作の時刻に基づいて上記再生再開タイミングの調整を行うことで、上記他の端末装置と同期して、上記他の端末装置における再生再開時のデータと同一時刻のタイムスタンプ値を有するデータから再生を再開させる制御を行うことを特徴とする端末装置。
【請求項２】
ストリームデータを上記他の端末装置へ送信するストリームデータ送信部と、
当該端末装置が上記他の端末装置へストリームデータを送信するモードであるストリームデータ送信モードに設定されている場合には、上記他の端末装置と当該端末装置との間のネットワーク伝送遅延時間を算出し、該算出結果に基づいて上記他の端末装置における上記再生済データバッファ部がバッファリングする上記所定量を算出して上記他の端末装置へ通知するバッファ量決定部と、
を含むことを特徴とする請求項１に記載の端末装置。
【請求項３】
通話に使用する映像データまたは音声データの、上記他の端末装置と当該端末装置との間におけるネットワーク伝送遅延時間を測定するネットワーク伝送遅延時間取得部を更に含むことを特徴とする請求項２に記載の端末装置。
【請求項４】
通話に使用するデータを伝送する為に確立されているセッションを伝送路として、上記ネットワーク伝送遅延時間取得部による上記測定の結果を上記他の端末装置と互いに伝送する遅延時間伝送部を更に含むことを特徴とする請求項３に記載の端末装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００８−１６７３５１（Ｐ２００８−１６７３５１Ａ）
【公開日】平成２０年７月１７日（２００８．７．１７）
【国際特許分類】
【出願番号】特願２００７−２００（Ｐ２００７−２００）
【出願日】平成１９年１月４日（２００７．１．４）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２０年７月１７日（２００８．７．１７）
【国際特許分類】
【出願日】平成１９年１月４日（２００７．１．４）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]