説明

メディア端末から来るRTPストリーム上の人物の外見を向上させるための方法およびシステム

メディア端末から来る入力RTPストリームを、該入力RTPストリーム上の人物の外見を向上させる環境を組み込んだ出力RTPストリームに替えるための方法であって、メディア端末のユーザおよび人物を識別することと、識別されたユーザの入力RTPストリームに組み込まれるべき環境用データを提供することと、環境用データを入力RTPストリームに組み込むことと、このようにして得られた出力RTPストリームをメディア端末に返信することとを提供する方法。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、メディア端末から来る入力RTPストリームを、この入力RTPストリーム上の人物の外見を向上させる環境を組み込んだ出力RTPストリームに替える方法、およびに該方法を実行可能にするシステムに関する。
【背景技術】
【0002】
人々は、改まった環境(仕事など)から個人的な趣味または活動の環境(例えばバイク乗りの集り)へ移るとき、衣服を着替えなければならない。
【0003】
実際には、容貌は常に公開されているので、誰でもこれを見ることができる。問題は、社会の慣例が人々にその全体的な外見にある程度の順応を強いることである。極端な衣服、入れ墨またはピアスは、しばしば個人的嗜好または見解のふさわしくない現れであるとみなされる。この主張は、宗教的なシンボルに関しては一層当てはまり、宗教的なシンボルは公の場では禁じられる可能性がある。
【0004】
したがって、人々は自分自身を表現し、あるコミュニティの一員であることを示すことを望んでも、公の場で常にそうすることができるとは限らない。
【0005】
場合によっては一部の人々は、あるコミュニティへ自身が所属していることを内密にしておき、所属していることはそのコミュニティの他のメンバーに示すのみとすることを希望する。
【0006】
さらに様々なオンラインの世界の数は、数年間を通じて激増した。そうしたオンラインの世界では、人々はゲームの中で自分を表すアバターを作成することがよくある。そうして人々は、変更または切り替え可能な様々なアイデンティティおよび容貌を有する。人々は、異なるコミュニティまたはアプリケーションにおいて同時にいくつかの外見を並行して有することさえ可能である。
【0007】
そうしたアバターは、そのユーザが望む見え方を表現するものであるが、これはまた、コミュニティ(特にオンラインの世界)の他のメンバーがそのユーザを知るための唯一の方法である可能性がある。したがってユーザは、オンラインの世界の他のメンバーが、互いに顔を合わせる機会にその外見となった自分を見ること、または選択した任意の人はユーザが選んだ別の外見となった自分を見ることを望むことができる。
【0008】
現在、他の人々がどのように見るかを人々が制御できるようにするシステム、すなわち公に受け入れられるように装うことができるが、携帯電話などのメディア端末の使用により、一定の人(コミュニティの他のメンバーなど)には希望する見え方で(例えば共にプレイするオンラインの世界のアバターが)見えるようにするシステムがない。
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明の目的は、詳細にはメディア端末から来る入力RTPストリームを、この入力RTPストリーム上の人物の外見を向上させる環境を組み込んだ出力RTPストリームに替える方法およびその方法を実行することができるシステムを提案することによって、従来技術の問題を解決することである。
【課題を解決するための手段】
【0010】
本発明において、RTPストリーム(Real Time Protocol−IETF RFC3550)とは、RTPと同様のストリーミングプロトコルと理解されたい。
【0011】
この目的のために、また第1の態様により、本発明は、入力RTPストリームを受信する場合、メディア端末から来る入力RTPストリームを、この入力RTPストリーム上の人物の外見を向上させる環境を組み込んだ出力RTPストリームに替える方法を提案し、該方法は:
− メディア端末のユーザおよび該ユーザに向上した外見となった自分を見ることを許可する少なくとも1人の人物を識別することと、
− このような人物が存在する場合、入力RTPストリーム上の該人物を識別することが、許可を出している人物の間で行われることと、
− 識別されたユーザの入力RTPストリームに組み込まれるべき環境用データを提供することと、
− 上記入力RTPストリーム上の人物の外見を向上させる環境用データを入力RTPストリームに組み込むことと、
− このようにして得られた出力RTPストリームをメディア端末に返信することと
を提供する。
【0012】
第2の態様によれば、本発明は、識別されたユーザがメディア端末のユーザを識別するネットワークを介して入力RTPストリームをサーバに送信するメディア端末を使用する、準リアルタイムの拡張現実の外見を提供するためのシステムを提案し、該システムは:
− 入力RTPストリームの中で、ユーザが向上した外見となった自分を見る権限を与える人物を識別し、ユーザおよびこの人物のIDを環境モジュールに送信することができる認識モジュールと、
− RTPストリームに組み込まれる環境用データを決定し、環境用データを組込みモジュールに送信することができる環境モジュールと、
− 入力RTPストリームに環境を組み込み、該得られたRTPストリームをメディア端末に送信することができる組込みモジュールと
を備える。
【図面の簡単な説明】
【0013】
【図1】本発明の一実施形態による方法を実行することができるシステムのアーキテクチャを表す図である。
【発明を実施するための形態】
【0014】
本発明は、本発明の一実施形態による方法を実行することができるシステムのアーキテクチャを表す添付の図を参照して行う次の説明の中で明らかになる。
【0015】
メディア端末Gは、別の人物のビデオまたはピクチャを作成するために使用される携帯電話である。
【0016】
より広範な実施形態では、メディア端末は、人(例えば人の目もしくは脳)に内蔵された装置または人の網膜に投影するためなど他の機械であることが可能である。
【0017】
メディア端末のユーザは、事前にユーザのメディア端末G上で、入力RTPストリーム1を出力RTPストリーム6に替えることができる機能を作動させる。この機能を作動させるために、メディア端末のユーザは、携帯電話を「ARビデオ」(Augmented Reality)モードに切り替える。別の実施形態では、ARビデオモードは、入力RTPストリーム1を出力RTPストリーム6に替えることを強制するために、管理人、統治機関、または別の人物/エンティティによって自動的に作動されることが可能である。
【0018】
次にメディア端末のユーザは、該端末をユーザが選択した人物Aの方に向けて、メディア端末Gを用いてビデオ1を作成する。このビデオは、リアルタイムプロトコル(RTP)のストリームに組み込まれて、メディア端末Gに保存されることなく、ネットワーク2を介して送信される。
【0019】
実際には、RTPストリームは衛星通信によってサーバBへ直接送信され、該サーバBが入力RTPストリームを保存する。
【0020】
入力RTPストリームをサーバBに送信しながらネットワークは、メディア端末のユーザをそのSIMデータによって識別する。実際には関連するオペレータのイネーブラが、サービスを提供するメディア端末のユーザに関するデータを保持する。該データは、メディア端末のSIMカードに組み込まれる。
【0021】
ネットワークがオペレータのイネーブラによって提供されるデータでメディア端末の所有者を識別できない場合、ユーザはそのメディア端末上で自身を識別できるようにしなければならない。
【0022】
システムは、上記ユーザに向上した外見で見ることを許可する少なくとも1人の人物を識別する。実際には、システムは、RTPストリームおよびメディア端末のユーザのIDを受信する認識モジュールCを備える。
【0023】
より広範な実施形態では、様々な顔のアングルが、様々な環境用データとなることが可能であり、例えば入力RTPストリームは、その人物が水平より10%の角度で見上げているときのみ替えられることが可能である。
【0024】
このモジュールCは、入力RTPストリームの中で、ユーザに向上した外見となった自分を見ることを許可する人物を識別することができる。
【0025】
そのために認識モジュールCは、メディア端末のユーザのIDを使用して、該ユーザに外見を向上した環境を組み込んだ出力RTPストリームを受信することを許可する人物のリストにあるそのデータベースの中で、すべてのメディア端末のユーザを検索する。
【0026】
実際には、出力RTPストリーム上で向上した外見で見られることを希望する人物は事前に認識モジュールCに:
− 向上した外見に対応する環境用データと、
− 該外見となった見ることができるメディア端末のユーザのリストと
を提供する。
【0027】
このような人物が存在する場合、入力RTPストリーム上でのこの人物の識別は、許可を出している人物の間で行われる。この識別は、モジュールCに事前に組み込まれたピクチャに基づく顔の認識にある。
【0028】
より広範な実施形態では、人物の認識は、メディア端末の位置と比較した人物の位置を検出することによって行うことができる。上記認識はまた、人物とメディア端末との距離、メディア端末の配向角、および/またはメディア端末の適用ズームを検出することによって行うこともできる。
【0029】
上記の手段によって入力RTPストリームの中に人物の位置を検出した場合、本発明によって、検出された位置内のすべての人物の出力RTPストリームにおける外見を同じように向上させることができる。このようにして、その位置の中のすべての人物が、同じように見えることが可能である。
【0030】
別のより広範な実施形態では、人物を識別することは:
− 弱くなった(worn)シンボル(例えばハンガ(hanger))または電波など、ユーザから直接取得された要素を識別することによって、
− 人物または人物のグループを識別することができるその他の手段によって
行われることが可能である。
【0031】
認識モジュールCはまた、入力RTPストリームのパラメータを識別することができる。これらのパラメータは、例えば人の頭の位置、明暗状態である。このようなパラメータは、環境用データをカスタマイズするために識別され、このようにカスタマイズされたデータはさらに出力RTPストリームの中に組み込まれる。こうしたパラメータは、適切に、また同期して、出力RTPストリームに環境を組み込むことができる。
【0032】
このユーザのIDおよびこの人物のIDは、入力RTPストリーム3と共に環境モジュールDに送信される。
【0033】
環境モジュールDは、RTPストリームに組み込まれるべき環境用データを決定することができる。
【0034】
システムは、識別されたユーザの入力RTPストリームに組み込まれるべき、人物の認識された環境用データを含む。実際には、メディア端末のユーザに向上した外見となった自分を見ることを許可する各人物が、システムに拡張現実の外見に対応する環境用データを提供する。
【0035】
この人物は、環境用データがメディア端末のユーザごとに異なるように選択することができる。
【0036】
この人物はまた、時間区間ごとに異なる向上した外見を有することができるように、環境用データが時間にわたって変化するよう決定することができる。
【0037】
この環境用データは、RTPストリームに組み込まれる実在または仮想のオブジェクトである。したがって、RTPストリームに組み込まれる環境は、例えば、花瓶のような物、オンラインの世界のアバターの顔、身体、衣服など人物の異なる外見であることが可能である。
【0038】
RTPストリームに組み込まれる上記環境はまた、ある色を色覚異常の人々に適した他の色に変更すること、障害を持つ人々のためにちらつきを軽減すること、または例えばユーザの前の車に内蔵されたメディア端末を使用することによって透けて見えるようにすることである可能性がある。
【0039】
また環境モジュールDは、どのカスタマイズモジュールEが入力RTPストリームのパラメータで環境用データをカスタマイズすることができるかを識別する。
【0040】
実際には、RTPストリームに組み込まれるべき環境(例えばこの人物用の別の顔)が決定されると、システムは、入力RTPストリームの位置パラメータおよび明暗パラメータを組み込むことによって環境をカスタマイズしなければならない。
【0041】
環境モジュールDがビデオの中の人物に対応する環境用データ、該データならびにカスタマイズモジュールEを識別すると、環境モジュールDは、環境用データ4を該カスタマイズモジュールEに送信する。
【0042】
カスタマイズモジュールEは、入力RTPストリームのパラメータで環境をカスタマイズすることができる。このモジュールが入力RTPストリームのパラメータで各環境用データを適合させると、このモジュールは入力RTPストリームおよびカスタマイズした環境用データを組込みモジュールFに送信する。
【0043】
組込みモジュールFは、入力RTPストリームにこの環境を組み込み、得られたRTPストリームをメディア端末Gに送信することができる。
【0044】
環境用データを入力RTPストリームに組み込むことは、該入力RTPストリームの中の人物の外見を完全に変更し、それによって向上させるために、データを入力RTPストリーム上に重ねることによって行われる。
【0045】
組込みモジュールFによってこの組込みが行われると、該モジュールは、このようにして得られた出力RTPストリームをメディア端末Gに返信する。
【0046】
このシステムの結果、環境を含んだ出力RTPストリームが、準リアルタイムでメディア端末に送信される。

【特許請求の範囲】
【請求項1】
メディア端末(G)から来る入力RTPストリーム(1)を前記入力RTPストリーム上の人物の外見を向上させる環境を組み込んだ出力RTPストリーム(6)に替えるための方法であって、入力RTPストリームを受信する場合に、
メディア端末のユーザ(2)および前記ユーザに向上した外見となった自分を見ることを許可する少なくとも1人の人物を識別することと、
そのような人物が存在する場合、入力RTPストリーム上で前記人物を識別することが、許可を出している人物の間で行われることと、
識別されたユーザの入力RTPストリームに組み込まれるべき環境用データを提供することと、
前記入力RTPストリーム上の人物の外見を向上させる環境用データを入力RTPストリームに組み込むことと、
このようにして得られた出力RTPストリームをメディア端末に返信することと
を提供する、方法。
【請求項2】
ユーザが事前にユーザのメディア端末(G)で、入力RTPストリーム(1)を出力RTPストリーム(6)に替えることができる機能を作動させることを特徴とする、請求項1に記載の方法。
【請求項3】
入力RTPストリームが、メディア端末(G)に保存されることなくネットワークを介して送信されることを特徴とする、請求項1または2に記載の方法。
【請求項4】
ユーザが、そのSIMデータによって識別されることを特徴とする、請求項1から3に記載の方法。
【請求項5】
入力RTPストリーム上の人物が、顔の認識によって識別されることを特徴とする、請求項1から4に記載の方法。
【請求項6】
環境用データをカスタマイズしてカスタマイズされたデータが出力RTPストリームに組み込まれるようにするために、人物の頭の位置および明暗状態などの入力RTPストリームのパラメータもまた識別されることを特徴とする、請求項5に記載の方法。
【請求項7】
出力RTP上で向上した外見を見られることを希望する人物が事前に、
この人物の向上した外見に対応する環境用データと、
前記外見となった人物を見ることができるメディア端末ユーザのリストと
を提供することを特徴とする、請求項1から6に記載の方法。
【請求項8】
環境を含んだ出力RTPストリームが、準リアルタイムでメディア端末に送信されることを特徴とする、請求項1から7に記載の方法。
【請求項9】
識別されたユーザ(A)が、メディア端末のユーザ(1)を識別(2)するネットワークを介して入力RTPストリーム(1)をサーバ(B)に送信しているメディア端末(G)を使用する、準リアルタイムの拡張現実の外見を提供するためのシステムであって、
入力RTPストリームの中で、ユーザに向上した外見となった自分を見る権限を与える人物を識別し、ユーザおよびこの人物(3)のIDを環境モジュール(D)に送信することができる認識モジュール(C)と、
RTPストリームに組み込まれるべき環境用データを決定し、この環境用データ(4)を組込みモジュール(F)に送信することができる環境モジュール(D)と、
この環境を出力RTPストリームに組み込み、前記出力RTPストリームをメディア端末(G)に送信することができる組込みモジュール(F)と
を備えるシステム。
【請求項10】
認識モジュール(C)がまた入力RTPストリームのパラメータを識別することができ、前記システムがさらに入力RTPストリームのパラメータで環境をカスタマイズすることができるカスタマイズモジュール(E)を備え、RTPストリームがカスタマイズモジュール(E)を介して環境モジュール(D)から組込みモジュール(F)に送信されることを特徴とする、請求項9に記載のシステム。

【図1】
image rotate


【公表番号】特表2010−532120(P2010−532120A)
【公表日】平成22年9月30日(2010.9.30)
【国際特許分類】
【出願番号】特願2010−513816(P2010−513816)
【出願日】平成20年5月19日(2008.5.19)
【国際出願番号】PCT/EP2008/056130
【国際公開番号】WO2009/003758
【国際公開日】平成21年1月8日(2009.1.8)
【出願人】(391030332)アルカテル−ルーセント (1,149)
【Fターム(参考)】