説明

モバイルビデオ電話間の好適画像フォーマットを決定する方法及び装置

本発明は、UE間のモバイルビデオ通話をサポートするUEにおける好適画像フォーマットを決定する方法を提供する。UEは、それぞれのカメラを有し、好適画像フォーマットに含まれている画像伝送制御情報を相手UEから受信してディスプレイしなければならない。相手UEによって要求される好適画像フォーマットが許容可能であると、相手UEは、要求される好適画像フォーマットの許容可能性によって、許容可能な応答メッセージ及び許容可能な新たな好適画像フォーマットのうち少なくとも一つに含まれている画像伝送制御情報を送信する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、インターネットプロトコル(IP)ベースのビデオ通話サービスが可能な移動端末装置及び方法に関するもので、特に本発明はモバイルビデオ電話(mobile video telephone)間における送受信のための画像フォーマットを決定する画像フォーマット決定装置及び方法に関する。
【背景技術】
【0002】
最近、移動通信端末にカメラ機能を加えた、いわゆる「カメラフォン」が普遍化されている。カメラフォンは、音声及びデータを送受信する移動通信端末の元来の性能を超えて、ポートを通じてコンピュータに伝送するための静止画を記録することを超えるビデオデータを送受信する手段が開発されてきている。したがって、ユーザーがカメラフォンを通じて音声通話だけでなく、ビデオ通話を楽しむビデオ通話サービスを可能にする。
【0003】
以下に、図1を参照して、一般的なIPベースのモバイルビデオ電話間のビデオ通話のための初期化プロセスを簡単に説明する。
【0004】
図1を参照すると、第1のユーザー端末(UE1)101は、ステップ110,120で、アウトバウンドプロキシ(outbound proxy)102を通じてSDP(Session Dexcription Protocol)招待要求(invite offer)を第2のUE(UE2)103に伝送する。
【0005】
SDP招待要求(以下、「SDP offer」と称する)は、秒当たりフレーム数、画質、画像フォーマットのようなビデオ伝送のための制御情報を含むメッセージである。このモバイルビデオ電話は、インターネットプロトコル(IP)に基づいて制限されたビットレート(bit rate)を画像(image)、音声、データ及び制御信号の中で適切に分割して伝送する。全体ビットレートのうち、ビデオ伝送のために割り当てられるビットレートは、秒当たりフレーム数、画質、画像フォーマットを考慮して決定される。これら項目のうち、秒当たりフレーム数及び画質は、ビデオ通話中でも調整できるが、画像フォーマットは一般的に通話中に固定される。
【0006】
SIP/SDP(Session Initiation Protocol/Session Description Protocol)は、秒当たりフレーム数だけでなく画質を制御するために使用される。このような特定の場合に、UEは、図1のSDP offerと共に、秒当たりフレーム数及び画質に関する情報を示す命令語‘a=quality:<quality>’を送信する。この命令語において、‘<quality>’は、0から10までの範囲値を有し、ここで、0は秒当たり最大フレーム数及び最低の画質に対応し、10は秒当たり最小フレーム数及び最高の画質に対応する。すると、相手(opposing)UEは、SDP offerに含まれた<quality>情報によって秒当たりフレーム数及び画質を制御する。
【0007】
画像フォーマット(image format)はビデオ通話中に送受信される画像の横及び縦ピクセル(pixel)の数を含み、UEは相手UEに希望する画像フォーマットに関する情報を提供するためにSDP要求を使用する。下記に、このSDP offerの一例を示す。
<SDP offer>
m=video 49154 RTP/AVP 99 100
b=AS:92
a=rtpmap:99 H263-2000/90000
a=fmtp:99 profile=0;level=45
a=rtpmap:100 MP4V-ES/90000
a=fmtp:100 profile-level-id=9; \
config=000001b009000001b509000001000000012000845d4c282c2090a28
【0008】
上記のSDP offerを参照すると、UEは、92kbpsのビットレートで、相手UEにH.263ビデオエンコーダ(profile=0,level=45)及びMPEG-4ビデオエンコーダ(profile-level=9)のうちいずれか一つを選択するように要求する。このSDP offerにおいて、‘profile’と‘level’は、画像エンコーダの性能を定義し、符号化(encoding)/復号化(decoding)が可能な最大画像フォーマット、秒当たり最大フレーム数、処理可能なブロックの最大数などを規定する。
【0009】
送信UEは、普通、プロファイル及びレベル値が許す最大画像フォーマットで伝送データを符号化する。例えば、このような最大画像フォーマットは、SQCIF(128×96)、QCIF(176×144)、QVGA(320×240)、CIF(352×288)、VGA(640×480)などを含むことができる。
【0010】
図1を参照すると、UE2 103は、ステップ130で、受信されたSDP offerを分析し、その分析結果に対応する動作を遂行する。
【0011】
以下に、ステップ130の分析プロセスについて図2を参照して詳細に説明する。
【0012】
図2を参照すると、UE2 103は、ステップ210で、受信されたSDP offerをチェックし、ステップ220で、受信されたSDP offerが許容可能(acceptable)であるか否かを判定する。その許容可能性は、端末の属性(attributes)に基づく。例えば、画像フォーマットの場合、UE2 103は、UE1 101によって要求される最大画像フォーマットがUE2 103にとって許容可能な画像フォーマットであるかを判定する。
【0013】
ステップ220で、SDP offerが許容可能であると判定された場合には、UE2 103は、ステップ230でコーデックを初期化し、ステップ240(図1のステップ140及び150)で、SDP offerの許容可能性を示す応答メッセージ200OKをアウトバウンドプロキシ102を介してUE1 101に伝送する。
【0014】
しかしながら、ステップ220の判定結果、SDP offerが許容できない場合、例えば、最大画像フォーマットがUE2 103で許容可能な画像フォーマットより大きいか、あるいは等しい場合には、UE2 103は、ステップ250で、その許容可能な最大画像フォーマットを示す新たなSDP offer(counter-offerの形態)を生成してUE1 101に送信する。
【0015】
しかしながら、上述したプロセスにおいて、送信UEが符号化後に伝送した画像を受信した受信UEは、符号化中に使用された画像フォーマットと異なるフォーマットで画面に受信された画像をディスプレイすることがある。その理由は、ユーザーに好ましい専用(customaized)ディスプレイ部を許容するためである。
【0016】
図3は、現在動作中である2個のUE(又はモバイルビデオ電話)の画面の一例を示す。
図3において、送信UEは、QCIF(176×144)で符号化し伝送された画像を有するが、受信UEの画面で実際にディスプレイされるフォーマットは約240×200のサイズを有する。このような特別な場合に、受信UEは、次の理由で、受信された画像をQCIF(176×144)の符号化フォーマットで復号化した後に240×200に拡大する。すなわち、受信UEは、QVGA(320×240)解像度を有するLCD(Liquid Crystal Display)をその画面として使用するので、受信されたQCIF(176×144)で符号化された画像をそのまま画面にディスプレイすると、画像は、UEの特定画面のサイズに比べて非常に小さく示されることができる。
【0017】
しかしながら、この拡大プロセスで、次のような問題点と時々直面するようになる。
【0018】
上述したように送信UEがQCIF(176×144)で画像を符号化すると、受信UEは、ビットレートを増加させてもQCIF(176×144)で符号化された画像を240×200に拡大する場合に、画質の維持又は改善に限界がある。
【0019】
また、この拡大プロセスは、フレームごとに補間(interpolation)及びフィルタリングを遂行し、上記プロセスのための補間及びフィルタリングは、大量の計算を要求する。
【0020】
一方、送信UEはQVGA(320×240)又はCIF(352×288)で画像を符号化して伝送し、受信UEはこの伝送された画像を240×200の画像フォーマットに合せるために縮小しても、受信UEは、多くの計算を要求するサブサンプリング(sub-sampling)及びフィルタリングの遂行が必要であり、そのため、符号化後に伝送された画像情報の相当部分が損失される可能性がある。無線通信において、このような周波数リソースの浪費は、非常に非効率的であり、余分のリソースが不足してほぼ許容されない。
【0021】
言い換えれば、従来技術における第1の問題点は、現在の信号処理システムで使用される画像フォーマットのうち、携帯電話の環境と密接な関係のあるQCIF、QVGA、及びCIFフォーマットと携帯電話LCDの利用可能サイズとの間に大きな差異が存在するということである。
【0022】
第2の問題点は、既存の画像フォーマットのうちいずれか一つを選択する方法では与えられたビットレートを多様なモードで活用できないということである。例えば、UEが(16:9)のワイド画面(wide-screen)モードで画像を符号化しようとしても、そのようなフォーマットは存在せず、必要に応じて、所望のフォーマットを一々規格化しなければならないという問題点を有する。
【発明の概要】
【発明が解決しようとする課題】
【0023】
したがって、上記した従来技術の問題点を解決するために、本発明の目的は、既存の信号システムをそのまま使用しつつ所望する画像フォーマットを相手UEに正確に伝送することによって、割り当てられたビットレートを最大限利用して好適な画像フォーマットで画像を符号化する好適画像フォーマット決定方法及び装置を提供することにある。
【課題を解決するための手段】
【0024】
上記のような目的を達成するために、本発明の一態様によれば、カメラとディスプレイ部をそれぞれ有するUE間のモバイルビデオ通話をサポートするUEにおける好適画像フォーマットを決定する方法を提供する。その方法は、相手UEから、好適画像フォーマットを含むビデオ伝送制御情報を受信し、相手UEによって要求される好適画像フォーマットが許容可能なフォーマットであるか否かを判定するステップと、相手UEによって要求される好適画像フォーマットの許容可能性に従って、許容可能な応答メッセージ及び許容可能な新たな好適画像フォーマットのうち少なくとも一つを含むビデオ伝送制御情報を、相手UEに伝送するステップとを具備する。
【0025】
本発明の他の態様によれば、カメラとディスプレイ部をそれぞれ有し、UE間のモバイルビデオ通話をサポートするUEで好適画像フォーマットを決定する装置を提供する。その装置は、モバイルビデオ通話のための相手UEと好適画像フォーマット情報を送受信して画像フォーマットを決定する制御部と、カメラから受信される画像信号を制御部によって決定された特定の画像フォーマットで符号化して相手UEに伝送するビデオエンコーダと、相手UEから受信された符号化画像信号を復号化し、復号化された画像信号を制御部によって決定された特定の画像フォーマットに調整し、ディスプレイ部にフォーマット調整された画像信号を出力する画像デコーダとを含む。
【発明の効果】
【0026】
本発明は、既存の信号システムをそのまま使用しつつ、ユーザーが所望するフォーマットの画像にできるだけ近いフォーマットで画像を符号化することができる。また、本発明は、制限されたビットレートを最大限使用してモバイルビデオ電話の画質を最大化することができる。さらに、本発明は、画像サイズ調整に対する計算による遅延及び電力消耗を減少させることができる。
【図面の簡単な説明】
【0027】
【図1】従来のUE間のビデオ通話初期化プロセスの信号フローを示す図である。
【図2】図1のステップ130を詳細に説明するためにUE2の動作を示すフローチャートである。
【図3】従来技術によるビデオ通話を遂行するディスプレイ部を示す図である。
【図4】本発明の一例によるモバイルビデオ電話の内部を示すブロック構成図である。
【図5】本発明の一例によるUEの好適画像フォーマット決定方法を示すフローチャートである。
【発明を実施するための形態】
【0028】
以下、本発明の望ましい実施形態を添付の図面を参照して詳細に説明する。
下記の説明では、本発明に関連した公知の機能又は構成に関する具体的な説明が本発明の要旨を不明にすると判断された場合に、明瞭性及び簡潔性のためにその詳細な説明を省略する。また、後述する用語は、本発明の機能を考慮して定義されたものであって、ユーザー、運用者の意図、又は慣例によって変わることができる。したがって、上記用語は、本明細書の全体内容に基づいて定義されなければならない。
【0029】
本発明は、2個のUE間のSIP/SDPベースの交渉(negotiation)プロセスで、一つのUEがSDP offerと共に所望の画像フォーマットを送信し、このSDP offerを受信すると、相手UEは、画像エンコーダとカメラの機能を考慮してSDP offerを許容し、あるいは許容できない場合には、サポート可能な好適画像フォーマット条件を相手に提案することによって、UE間の画像フォーマットを交渉する方法を提供する。すなわち、従来技術は最大画像フォーマット情報だけの許容可能性を示す情報を交換するが、本発明は、最大画像フォーマット情報だけでなく、実際に所望する正確な画像フォーマットも相手UEに提案する。
【0030】
図4を参照して、上述した本発明の方法を実現するためのUE(又はIPベースのパケット交換(packet-switched)モバイルビデオ電話)の内部構成を一例として説明する。
【0031】
図4を参照すると、UEは、大きく双方向通信のために送信処理部410と受信処理部460とから構成される。
【0032】
送信処理部410において、マイク(microphone)420とカメラ425を通過する音声と画像は、音声エンコーダ(speech encoder)411及びビデオエンコーダ412で各々符号化され、キーボード430及びテキスト処理部413を通じて受信されるテキストと共にRTP、UDP、及びIPのような各種プロトコルのヘッダーがパケットベースのネットワークインターフェース440で接続され、3GPP(3rd Generation Project Partner)ネットワークのレイヤー2(L2)450に伝送される。
【0033】
図4に示す受信処理部460において、パケットベースのネットワークインターフェース440は、受信された符号化映像、音声、及びテキスト情報からRTP、UDP、IPのような多様なプロトコルのヘッダーを分離して、音声デコーダ461、ビデオデコーダ462、及びテキスト処理部463に各々伝送し、復号化された画像と音声は同期化(synchronization)後にスピーカ470とディスプレイ部475に伝送される。
【0034】
制御部(セッションセットアップ及び制御)480は、ユーザーインターフェース490を通じて提供されるユーザー入力情報によって通話開始及び終了を制御する。また、制御部480は、SDP offerを生成して出力する。従来技術ではSDP offerで所望するビデオエンコーダのタイプ、プロファイル、及びレベルを指定したが、本発明ではSDP offerの各ビデオエンコーダの説明に次のような命令語を追加する。
a=rtpmap:99 H263-2000/90000
a=fmtp:99 profile=0;level=50
a=image_format: a b
【0035】
SDP offerの追加命令語は、相手UEに最大CIFまでの画像を符号化できるH.263ビデオエンコーダを要求するが、実際所望する具体的な画像フォーマットのサイズは、横aピクセル、縦bピクセルである。この好適画像フォーマット(a,b)は、最大画像フォーマット(352,288)と等しいか、あるいは小さくなければならない。この画像フォーマット決定時間を短縮するために、複数の好適画像フォーマットが一つのビデオエンコーダについて要求される。
【0036】
次に、上述したように本発明によるUEにおいて、画像フォーマットを決定する方法について一例を挙げて説明する。本発明は、例えば、図1に示すビデオ通話初期化プロセスで画像フォーマットを決定し、その全般的な初期化プロセスが図1と同一であるため、図1を参照して説明する。
【0037】
本発明において、UE1 101は、図1のステップ110を遂行する場合に、従来技術と異なり、伝送されるSDP offerに好適画像フォーマット(a,b)に対する追加命令語をさらに含ませてUE2 103に送信する。その後、UE2 103は、ステップ130で、追加命令語を有する受信されたSDP offerを分析し、画像フォーマットを決定する。本発明の一例によるUE2 103の分析動作について、図5を参照して詳細に説明する。
【0038】
図5のフローチャートを参照すると、UE2は、ステップ510で、受信されたSDP offerをチェックし、ステップ520で、このSDP offerが許容可能であるか否かを判定する。すなわち、UE2は、SDP offerに含まれた最大画像フォーマットを許容できるか否かを判定する。ステップ520で、UE2が最大画像フォーマットを許容できると判定された場合に、UE2は、ステップ530で、SDP offerと共に受信される好適画像フォーマット命令(a=image_format:ab)を分析し、合意されたプロファイルとレベルを有する最大画像フォーマットと共に好適画像フォーマット(a,b)によって示される画像フォーマットをサポートできるか否かを判定する。
【0039】
ステップ530で、要求された好適画像フォーマットが許容可能であると判定されると、UE2は、ステップ540で画像エンコーダとカメラが好適画像フォーマットをサポートできるかをチェックする。ステップ540のチェック結果、ビデオエンコーダとカメラが要求された好適画像フォーマットをサポートできる場合に、UE2は、ステップ550でビデオエンコーダを初期化し、ステップ560で、受信されたSDP offerが許容できることを示す応答信号200OKをSDP offerを伝送する相手UE1に送信する。
【0040】
しかしながら、ステップ520〜540で、UE2がSDP offerを許容できないと判定された場合に、UE2は、許容可能なSDP offerを生成して相手UE1に送信し、このSDP offerは許容可能な最大画像フォーマットだけでなく、好適画像フォーマット情報を含む。
【0041】
図示されていないが、UE2 103から200OKメッセージが受信されると、UE1 101は、好適画像フォーマットに伝送されるビデオ通話を開始する。しかしながら、新たなSDP offerメッセージを受信すると、UE1 101は、ステップ510〜570と同一の動作を遂行し、それによってUE2 103と好適画像フォーマット決定プロセスを遂行する。その後、上述した交渉プロセスを通じて決定された画像フォーマットによってUE間のビデオ通話を開始される。
【0042】
以上、本発明を具体的な実施形態に関して図示及び説明したが、添付した特許請求の範囲により規定されるような本発明の精神及び範囲を外れることなく、形式や細部の様々な変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。
【符号の説明】
【0043】
410 送信処理部
420 マイク
425 カメラ
430 キーボード
440 ネットワークインターフェース
450 3GPPネットワークのレイヤー2(L2)
460 受信処理部
470 スピーカ
475 ディスプレイ部
480 制御部
490 ユーザーインターフェース

【特許請求の範囲】
【請求項1】
カメラとディスプレイ部をそれぞれ有するユーザー端末(UE)間のモバイルビデオ通話をサポートするUEにおける好適画像フォーマットを決定する方法であって、
(a)相手UEから、好適画像フォーマットにを含むビデオ伝送制御情報を受信し、相手UEによって要求される好適画像フォーマットが許容可能なフォーマットであるか否かを判定するステップと、
(b)前記相手UEによって要求される好適画像フォーマットの許容可能性に従って、許容可能な応答メッセージ及び許容可能な新たな好適画像フォーマットのうち少なくとも一つを含むビデオ伝送制御情報を、前記相手UEに伝送するステップと、
を具備することを特徴とする方法。
【請求項2】
前記好適画像フォーマットは2個以上からなることを特徴とする請求項1に記載の方法。
【請求項3】
前記新たな好適画像フォーマットのみが前記相手UEに伝送されることを特徴とする請求項1に記載の方法。
【請求項4】
前記好適画像フォーマットは、横aピクセル、縦bピクセルの詳細なサイズ(a,b)を含むことを特徴とする請求項1に記載の方法。
【請求項5】
前記新たな好適画像フォーマットは、横aピクセル、縦bピクセルの詳細なサイズ(a,b)を含むことを特徴とする請求項1に記載の方法。
【請求項6】
前記好適画像フォーマット又は前記新たな好適画像フォーマットのサイズ(a,b)は、最大画像フォーマットより小さいか、あるいは等しいことを特徴とする請求項1に記載の方法。
【請求項7】
前記ステップ(a)で前記好適画像フォーマットが許容できるか否かを判定するステップは、
(i)前記受信されたビデオ伝送制御情報に含まれた最大画像フォーマットが許容可能であるか否かを判定するステップと、
(ii)前記受信されたビデオ伝送制御情報に含まれた好適画像フォーマットが前記最大画像フォーマットでサポートできるか否かを判定するステップと、
(iii)ビデオエンコーダとカメラが前記好適画像フォーマットをサポートするか否かを判定するステップと、
を具備することを特徴とする請求項1に記載の方法。
【請求項8】
前記ステップ(a)で前記相手UEにビデオ伝送制御情報を送信するステップは、
(i)送信UEによって、前記ビデオ伝送制御情報と共に許容可能な最大画像フォーマットと少なくとも一つの好適画像フォーマットとを相手UEに伝送するステップを具備することを特徴とする請求項1に記載の方法。
【請求項9】
カメラとディスプレイ部をそれぞれ有し、ユーザー端末(UE)間のモバイルビデオ通話をサポートするUEで好適画像フォーマットを決定する装置であって、
前記モバイルビデオ通話のための相手UEと好適画像フォーマット情報を送受信して画像フォーマットを決定する制御部と、
前記カメラから受信される画像信号を前記制御部によって決定された特定の画像フォーマットで符号化して相手UEに伝送するビデオエンコーダと、
前記相手UEから受信された符号化画像信号を復号化し、前記復号化された画像信号を前記制御部によって決定された前記特定の画像フォーマットに調整し、前記ディスプレイ部にフォーマット調整された画像信号を出力する画像デコーダと、
を含むことを特徴とする装置。
【請求項10】
前記制御部は、相手UEから受信されたビデオ伝送制御情報に含まれた好適画像フォーマットの許容可能性に従って、許容可能応答メッセージと許容可能な新たな好適画像フォーマットのうち少なくとも一つを含むビデオ伝送制御情報を生成して相手UEに送信することを特徴とする請求項9に記載の装置。
【請求項11】
前記好適画像フォーマットは2個以上からなることを特徴とする請求項9に記載の装置。
【請求項12】
前記新たな好適画像フォーマットは2個以上からなることを特徴とする請求項10に記載の装置。
【請求項13】
前記制御部は、前記受信された画像伝送制御情報に含まれた最大画像フォーマットを許容するか否かを判定し、前記受信されたビデオ伝送制御情報に含まれた好適画像フォーマットが前記最大画像フォーマットにサポートできるか否かを判定し、画像エンコーダとカメラが前記好適画像フォーマットをサポートするか否かを判定し、前記判定結果に従って、許容可能な応答メッセージと許容可能な新たな好適画像フォーマットの少なくとも一つを含むビデオ伝送制御情報を生成して前記相手端末に伝送することを特徴とする請求項10に記載の装置。
【請求項14】
前記制御部は、前記ビデオ伝送制御情報と共に許容可能な最大画像フォーマットと少なくとも一つの好適画像フォーマットとを前記相手UEに送信することを特徴とする請求項11に記載の装置。
【請求項15】
前記制御部は、一つ以上の好適画像フォーマットを送信することを特徴とする請求項11に記載の装置。
【請求項16】
前記好適画像フォーマットの詳細なサイズ(a,b)は、横aピクセル、縦bピクセルを含むことを特徴とする請求項9に記載の装置。
【請求項17】
前記新たな好適画像フォーマットの詳細なサイズ(a,b)は、横aピクセル、縦bピクセルを含むことを特徴とする請求項10に記載の装置。
【請求項18】
前記新たな好適画像フォーマット又は前記好適画像フォーマットのサイズ(a,b)は、最大画像フォーマットより小さかいか、あるいは等しいことを特徴とする請求項10に記載の装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公表番号】特表2010−536232(P2010−536232A)
【公表日】平成22年11月25日(2010.11.25)
【国際特許分類】
【出願番号】特願2010−519875(P2010−519875)
【出願日】平成20年8月25日(2008.8.25)
【国際出願番号】PCT/KR2008/004952
【国際公開番号】WO2009/025535
【国際公開日】平成21年2月26日(2009.2.26)
【出願人】(503447036)サムスン エレクトロニクス カンパニー リミテッド (2,221)
【Fターム(参考)】