３次元画像にコメントテキストを重畳して表示するサーバ、端末、プログラム及び方法
【課題】複数のユーザによって共有されている３次元画像に対して、コメントテキストの発言者からの視点を感覚的に理解することができる配信サーバ等を提供する。
【解決手段】配信サーバは、３次元画像に３次元の多面体形状を設定すると共に、当該多面体形状の面毎に座標位置を設定する多面体設定手段と、端末から、コメントテキストと、当該３次元画像の中の発言位置情報とを含むコメント情報を受信するコメント情報受信手段と、発言位置情報に基づいて特定された面に沿って、コメントテキストを前記３次元画像に重畳的に貼り付けるコメントレンダリング手段と、レンダリングされた前記３次元画像を、前記端末へ配信するコンテンツ送信手段とを有する。
【解決手段】配信サーバは、３次元画像に３次元の多面体形状を設定すると共に、当該多面体形状の面毎に座標位置を設定する多面体設定手段と、端末から、コメントテキストと、当該３次元画像の中の発言位置情報とを含むコメント情報を受信するコメント情報受信手段と、発言位置情報に基づいて特定された面に沿って、コメントテキストを前記３次元画像に重畳的に貼り付けるコメントレンダリング手段と、レンダリングされた前記３次元画像を、前記端末へ配信するコンテンツ送信手段とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元画像にコメントテキストを表示する技術に関する。
【背景技術】
【０００２】
従来、複数のユーザによって操作される端末同士が、ネットワークを介してリアルタイムに会話的テキストを交換する「チャット」技術がある。この技術によれば、端末は、専用のクライアントソフトのＩＲＣ(Internet Relay Chat)を実行する。通常、参加者は、仮想的な共有空間の「チャットルーム」にログインする。チャットルームには、発言者名及び時刻と共に、参加者の発言内容のテキストが、リアルタイムに１行ずつ流れる。
【０００３】
また、放送番組のような映像コンテンツを再生すると同時に、ユーザから発言されたコメントテキストも合わせて表示する技術がある（例えば特許文献１参照）。この技術によれば、放送番組の視聴時刻にコメントテキストを対応付けることによって、その放送番組の放送日時が異なる場合であっても、シーンに応じたコメントテキストが表示される。これによって、放送日時が異なる地域のユーザ同士の間であっても、その放送番組に対する感想を共有することができる。複数のユーザによって書き込まれたコメントテキストは、数行程度ずつ、時系列に並べて表示される。
【０００４】
更に、ユーザ同士の間で、同一の映像を共有しながら、映像の時間軸上でチャット的に擬似リアルタイムでコメントテキストを交換することができる技術もある（例えば特許文献２参照）。この技術によれば、ユーザＡが第１のコメントを第１の時点で入力した後、ユーザＢが第１のコメントに対する第２のコメントを第２の時点で入力したとする。このとき、ユーザＡが、ユーザＢの第２のコメントを閲覧しようとすると、ユーザＡの端末は、ユーザＢによって第２のコメントが入力された第２の時点へ戻って、その映像を再生する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−２９０９４９号公報
【特許文献２】特開２００８−１７２７４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載された技術によれば、コメントテキストは、コンテンツの視聴時刻に応じて対応付けられるために、ユーザ同士の間でリアルタイムにコンテンツテキストを交換することはできない。また、特許文献２に記載された技術によれば、ユーザ同士で共有されるコンテンツは、現実時間で一致していないために、リアルタイムなコンテンツテキストの交換に違和感が生じる。
【０００７】
更に、いずれの従来技術によっても、コメントテキストは、数行程度ずつ、時系列に並べて表示されるものである。結局、誰がそのコメントテキストを発言したかを知るためには、ユーザは、そのコメントを見ると同時に「発言者名」も見る必要がある。特に、共有されるコンテンツに対して、複数のユーザが匿名で発言する場合、発言者毎の発言をコメントテキストの時系列の表示から理解することは困難である。
【０００８】
更に、コンテンツ自体が、３次元映像（又は画像）である場合、複数のユーザが異なる視点から、そのコンテンツを視聴することもできる。例えば、コンテンツの内容によっては、ユーザ毎の視点に応じてコメントテキストの内容が異なる場合もある。
【０００９】
そこで、本発明は、複数のユーザによって共有されている３次元映像に対して、コメントテキストの発言者からの視点を感覚的に理解することができる配信サーバ、端末、プログラム及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明によれば、３次元画像を端末へ配信する配信サーバにおいて、
３次元画像に３次元の多面体形状を設定すると共に、当該多面体形状の面毎に座標位置を設定する多面体設定手段と、
端末から、コメントテキストと、当該３次元画像の中の発言位置情報とを含むコメント情報を受信するコメント情報受信手段と、
発言位置情報に基づいて特定された面に沿って、コメントテキストを３次元画像に重畳的に貼り付けるコメントレンダリング手段と、
レンダリングされた３次元画像を、端末へ配信するコンテンツ送信手段と
を有することを特徴とする。
【００１１】
本発明の配信サーバにおける他の実施形態によれば、
３次元画像は、自由視点映像であり、
発言位置情報は、当該端末に対するユーザの操作に応じた、自由視点の視点位置情報であることも好ましい。
【００１２】
本発明の配信サーバにおける他の実施形態によれば、
多面体設定手段は、
自由視点映像について、自由視点の３次元の移動可能範囲から床面を設定し、
床面における任意の点を視点基準点に設定し、当該視点基準点に対して３次元座標を設定し、
３次元座標に基づいて任意の多面体形状の座標を設定することも好ましい。
【００１３】
本発明の配信サーバにおける他の実施形態によれば、
コメント情報は、コメントテキスト及び発言位置情報に加えて、コメント属性情報を更に含んでおり、
コメント属性情報は、
面に対してコメントテキストを貼り付ける高さ、
コメントテキストの色、
コメントテキストのフォントサイズ、
コメントテキストを貼り付ける出現時刻及び消滅時刻若しくは表示継続時間
コメントテキストの表示枠を吹き出し型又は切り貼り型によって表示する表示パターン、及び／又は、
コメントテキストの発言者種別
を有し、
コメント属性情報に応じて、コメントレンダリング手段を制御するコメント属性制御手段を更に有することも好ましい。
【００１４】
本発明の配信サーバにおける他の実施形態によれば、
コメント属性制御手段は、コメント属性情報に出現時刻及び消滅時刻若しくは表示継続時間が設定されている場合、コメントテキストを、貼り付けられた面に沿って、右から左へ及び前から後へ、時間経過に伴って流れるように制御することも好ましい。
【００１５】
本発明によれば、前述した配信サーバと通信する端末であって、
配信サーバから、コメントテキストが貼り付けられた３次元画像を受信するコンテンツ受信手段と、
３次元画像を復号再生し、ディスプレイへ出力するコンテンツ復号再生手段と、
入力操作部を介して、利用者からコメントテキストを入力するコメント入力手段と、
入力操作部を介して、利用者から発言位置情報を入力する発言位置入力手段と、
コメントテキスト及び発言位置情報を含むコメント情報を、配信サーバへ送信するコメント情報送信手段と
を有することを特徴とする。
【００１６】
本発明の端末における他の実施形態によれば、
発言位置入力手段は、３次元画像が自由視点映像である場合、入力操作部を介して取得された、利用者からの指示に基づく任意の視点における位置情報であることも好ましい。
【００１７】
本発明の端末における他の実施形態によれば、
入力操作部を介して、利用者からコメント属性情報を入力するコメント属性入力手段と、
コメントテキスト、発言位置情報及びコメント属性情報を含むコメント情報を、配信サーバへ送信するコンテンツ情報送信手段と
を有することも好ましい。
【００１８】
本発明によれば、３次元画像を端末へ配信する配信サーバに搭載されたコンピュータを機能させるプログラムにおいて、
３次元画像に３次元の多面体形状を設定すると共に、当該多面体形状の面毎に座標位置を設定する多面体設定手段と、
端末から、コメントテキストと、当該３次元画像の中の発言位置情報とを含むコメント情報を受信するコメント情報受信手段と、
発言位置情報に基づいて特定された面に沿って、コメントテキストを３次元画像に重畳的に貼り付けるコメントレンダリング手段と、
レンダリングされた３次元画像を、端末へ配信するコンテンツ送信手段と
してコンピュータを機能させることを特徴とする。
【００１９】
本発明によれば、３次元画像を配信する配信サーバと、該３次元画像を受信する端末とを有するシステムにおける配信方法において、
配信サーバが、３次元画像に３次元の多面体形状を設定すると共に、当該多面体形状の面毎に座標位置を設定する第１のステップと、
端末から、コメントテキストと、当該３次元画像の中の発言位置情報とを含むコメント情報を受信する第２のステップと、
発言位置情報に基づいて特定された面に沿って、コメントテキストを３次元画像に重畳的に貼り付ける第３のステップと、
レンダリングされた３次元画像を、端末へ配信する第４のステップと
を有することを特徴とする。
【発明の効果】
【００２０】
本発明の配信サーバ、端末、プログラム及び方法によれば、複数のユーザによって共有されている３次元映像に対して、コメントテキストの発言者からの視点を感覚的に理解することができる。
【図面の簡単な説明】
【００２１】
【図１】自由視点映像を撮影するためのシステム構成図である。
【図２】３次元映像に３次元の多面体形状を設定した説明図である。
【図３】３次元映像を鉛直方向から見た座標を表す説明図である。
【図４】本発明におけるコメントテキストの貼り付け面を表す説明図である。
【図５】本発明におけるディスプレイの表示画面である。
【図６】本発明における配信サーバの機能構成図である。
【図７】本発明における端末の機能構成図である。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００２３】
本発明によれば、複数のユーザによって同時に共有されるコンテンツは、３次元映像（又は画像）である。「共有」とは、複数のユーザの操作する端末に、同一内容のコンテンツが同期又は非同期に再生されていることを意味する。「３次元映像」は、例えば自由視点映像であってもよいし、３Ｄグラフィックスライブラリ（OpenGL(登録商標))であってもよい。「自由視点映像」とは、複数のビデオカメラで情景を撮影することによって、実際にはカメラで撮影していない任意の視点の映像を合成することができる映像をいう。また、OpenGLを用いることによって、３次元仮想空間における視点移動後の多面体の位置計算（視点計算）、角度計算、及び、コメントテキスト表示の３次元化（斜め処理などのエフェクト）を容易に実現できる。
【００２４】
図１は、自由視点映像を撮影するためのシステム構成図である。
【００２５】
図１によれば、１２台のビデオカメラが、撮影対象物の周囲に配置されている。ビデオカメラ毎の現実視点は、３０度毎に、等間隔で円周上に配置されている。自由視点映像によれば、視聴者は、通常、ビデオカメラが設置できないような仮想視点からの映像も見ることができる。
【００２６】
図２は、３次元映像に３次元の多面体形状を設定した説明図である。
【００２７】
図２（ａ）によれば、例えば４人が会議のために出会ったシーンを、３次元映像の投影図によって表している。以下では、ユーザＡ〜Ｄの４人が３次元映像に映っていると共に、各ユーザがコメントテキストを発言するものとして説明する。勿論、３次元映像に、コメントテキストを発言するユーザが映っている必要はない。但し、各ユーザが、その３次元映像を見ている視点を特定する必要がある。
【００２８】
図２（ａ）によれば、３次元映像に、床面が設定され、３次元の任意の多面体形状が設定される。勿論、多面体形状が、複数であってもよい。また、図２（ｂ）によれば、視点Ａから見た、ディスプレイの表示画像が表されている。ユーザは、ディスプレイの表示画像から、奥行きを理解することができる。
【００２９】
多面体形状は、例えば以下の（１）〜（３）のステップによって設定される。
（１）最初に、自由視点の３次元の移動可能範囲から「床面」を設定する。自由視点は、中心点を向いた状態で、円周移動、前後移動及び上下移動が可能である。その移動可能範囲（角度、距離、視点上下）から、「床面」が導出される。尚、床面の面積は、外縁の円周よりも大きく、自由視点は、その外縁より外へは移動できない。
【００３０】
（２）床面における任意の点を視点基準点に設定し、当該視点基準点に対して３次元座標を設定する。視点基準点は、（距離，角度，視点上下）で表され、角度０となる。
【００３１】
（３）３次元座標に基づいて任意の多面体形状の座標を設定する。座標は、視点基準点から見た（距離，角度，視点上下）によって表される。
距離 ：中心点からの絶対距離（範囲：０〜１００）
角度 ：基準点から左回りの角度（範囲：０〜３５９）
視点上下並行移動：視点上（０）、視点下（１）
【００３２】
図３は、３次元映像を鉛直方向から見た座標を表す説明図である。
【００３３】
図３（ａ）によれば、周囲が四面体であって、視点数４の面が表されている。当該多面体形状の面毎に、１つの座標位置が設定されている。
(距離100,角度0 ,視点上0)
(距離100,角度90 ,視点上0)
(距離100,角度180,視点上0)
(距離100,角度270,視点上0)
図３（ａ）は、角度を４つの面に複線化している。
【００３４】
図３（ｂ）によれば、周囲が３層構造の六面体であって、視点数１８の面が表されている。
(距離100,角度0 ,視点上0) (距離80,角度0 ,視点上0) (距離60,角度0 ,視点上0)
(距離100,角度60 ,視点上0) (距離80,角度60 ,視点上0) (距離60,角度60 ,視点上0)
(距離100,角度120,視点上0) (距離80,角度120,視点上0) (距離60,角度120,視点上0)
(距離100,角度180,視点上0) (距離80,角度180,視点上0) (距離60,角度180,視点上0)
(距離100,角度240,視点上0) (距離80,角度240,視点上0) (距離60,角度240,視点上0)
(距離100,角度300,視点上0) (距離80,角度300,視点上0) (距離60,角度300,視点上0)
図３（ｂ）は、角度を６つの面に複線化し、距離を３つの面に複線化している。
【００３５】
図４は、本発明におけるコメントテキストの貼り付け面を表す説明図である。
【００３６】
図４（ａ）によれば、多面体形状として四角形が設定され、前面、後面、左面及び右面に、コメントテキストを貼り付けることができる。例えば、図２（ａ）における３次元映像が、「会議システム」における映像であると想定する。ここで、４人のユーザＡ〜Ｄが３次元映像コンテンツとして映し出されている場合、そのコメントテキストを発言したユーザの視点に対応する面に、そのユーザのコメントテキストを貼り付ける。図４（ａ）によれば、以下のように表示されている。
ユーザＡの視点Ａに対応する面（面識別子ａ）に「ご無沙汰」が表示されている。
ユーザＢの視点Ｂに対応する面（面識別子ｂ）に「こんにちは！」が表示されている。
ユーザＣの視点Ｃに対応する面（面識別子ｃ）に「お久しぶり」が表示されている。
ユーザＤの視点Ｄに対応する面（面識別子ｄ）に「始めるか？」が表示されている。
【００３７】
尚、コメントテキストは、その面でのみ表示される。即ち、コメントテキストは、隣り合う面に引き継いで表示されない。
【００３８】
図４（ｂ）によれば、ユーザＡの視点Ａから見たコメントテキストの形状が表されている。３次元映像であるために、多面体形状の各面に表示されるコメントテキストも３次元的に表示される。特に、視点Ａから見て側面に沿って貼り付けられた「こんにちは！」「お久しぶり」は、奥行きに向かって文字が小さく表示される。これによって、視点ＡのユーザＡには、立体感を与える。このように、視点Ａから見て、視界に入る面に貼り付けられたコメントテキストは、全て表示される。
【００３９】
図５は、本発明におけるディスプレイの表示画面である。
【００４０】
図５によれば、図２（ｂ）及び図４（ｂ）が重畳的に表示された３次元映像である。例えば、４人のユーザＡ〜Ｄの会議のシーンが３次元映像コンテンツとして映し出されている場合、各ユーザの視点に対応する面に、そのユーザが発言したコメントテキストが貼り付けられている。これによって、ユーザＡは、視点Ａから見て、３次元映像に映し出されたいずれのユーザが、どのような発言をしているかを、感覚的に理解することができる。
【００４１】
ここで、面に貼り付けられるコメントテキストは、指定された表示時間だけ表示される。表示時間は、出現時刻及び消滅時刻の間であってもよいし、一定の表示継続時間であってもよい。例えば、表示時間の間、コメントテキストが、その面の中で流れるように移動することも好ましい。
【００４２】
例えば、３次元映像コンテンツが、QVGA＝320x240の画素数であって、フレームレート10fps、表示継続時間7秒とする。この場合、70フレーム(＝10fps×7秒)の間、そのコンテンツテキストが流れるように表示されればよい。即ち、1フレームの移動量は、320÷70≒4.6picと計算される。例えば、そのコメントテキストの表示開始から5秒後のコンテンツテキストの先頭位置は、50×4.6＝230picと計算される。
【００４３】
図６は、本発明における配信サーバの機能構成図である。
【００４４】
図６によれば、配信サーバ１は、インターネットのようなネットワークを介して、複数の端末２から接続される。配信サーバ１は、通信インタフェース部１０１と、３次元映像コンテンツ蓄積部１０２とを有する。通信インタフェース部１０１は、例えばインターネットのようなネットワークに接続されており、端末２と通信する。３次元映像コンテンツ蓄積部１０２は、端末２へ配信すべき３次元映像コンテンツを蓄積する。３次元映像コンテンツは、例えば複数のビデオカメラによって撮影された自由視点映像である。３次元映像コンテンツ蓄積部１０２に蓄積された自由視点映像が、複数の端末２を操作するユーザ同士の間で共有される。
【００４５】
また、配信サーバ１は、多面体設定部１１１と、コメント情報受信部１１２と、コメント共有蓄積部１１３と、コメント属性制御部１１４と、コメントレンダリング部１１５と、コンテンツ符号化部１１６と、コンテンツ送信部１１７とを有する。これら機能構成部は、配信サーバ１に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
【００４６】
多面体設定部１１１は、３次元映像コンテンツ蓄積部１０２から配信すべき３次元映像コンテンツを取得する。そして、多面体設定部１１１は、３次元映像コンテンツに、３次元の多面体形状を設定すると共に、当該多面体形状の面毎に座標位置を設定する（図４参照）。面毎の座標位置の情報は、コメントレンダリング部１１５へ出力される。
【００４７】
コメント情報受信部１１２は、端末２から、コメント情報を受信する。コメント情報には、以下の情報が含まれる。
（１）コメントテキスト
端末２を操作するユーザ自ら入力したコメントテキスト（最大３２文字）
（２）発言位置情報
３次元映像に対するコメントテキストを貼り付ける位置（距離、角度、視点上下）
（３）コメント属性情報
・コメントテキストを貼り付ける高さ（０行目〜８行目）
・コメントテキストの色（ＲＧＢ値）
・コメントテキストのフォントサイズ（大中小：３種類）
・コメントテキストを貼り付ける出現時刻及び消滅時刻若しくは表示継続時間
・コメントテキストの表示パターン（吹き出し型、カットイン型、コメント移動型）
・コメントテキストの発言者種別（ユーザ又は製作者）
受信したコメント情報は、コメント共有蓄積部１１３へ出力される。
【００４８】
ここで、発言位置情報は、当該端末に対するユーザの操作に応じた、自由視点の視点位置情報であってもよい。例えば、図２の映像が会議システムである場合、ユーザＡは、自らの視点Ａから、他の３人を見ることが自然である。このとき、自由視点の視点位置情報が視点Ａであれば、その自由視点を、発言位置情報とする。自由視点及び発言位置情報は、視点基準点から（距離、角度、視点上下）によって表される。配信サーバ１は、端末２から受信した発言位置情報に、ベクトルの距離が最も近い面を選択する。
【００４９】
尚、多面体形状の各面に、面識別子が対応付けられている場合、発言位置情報は、面識別子であってもよい。この場合、配信サーバ１は、端末２へ、多面体形状における面識別子を送信することが必要である。端末２は、発言位置情報として面識別子を、配信サーバ１へ送信することができる。
【００５０】
コメント共有蓄積部１１３は、複数の端末２から受信したコメント情報を蓄積する。複数のコメント情報について、コメントテキスト及び発言位置情報は、コメントレンダリング部１１５へ出力され、コメント属性情報は、コメント属性制御部１１４へ出力される。
【００５１】
コメント属性制御部１１４は、コメントレンダリング部１１５でレンダリングされるコメントテキストの表示イメージを、コメント属性情報に基づいて制御する。具体的には、コメントテキストを面に貼り付ける「高さ」を制御する。また、コメントテキストの「色」「フォントサイズ」「表示パターン」を制御する。更に、コメントテキストの表示時間を制御する。更に、発言者種別に基づいて、コメントテキストの表示イメージを制御することもできる。
【００５２】
コメントレンダリング部１１５は、多面体設定部１１１から入力された多面体形状を含む３次元映像コンテンツに対して、コメント共有蓄積部１１３から入力されたコメントテキストを、その発言位置情報に近い面にレンダリングする。また、そのコメントテキストの表示イメージは、コメント属性制御部１１４から制御される。コメントレンダリング部１１５は、発言位置情報に基づいて特定された面に沿って、コメントテキストを３次元映像に重畳的に貼り付ける。
【００５３】
コンテンツ符号化部１１６は、コメントテキストがレンダリングされた３次元映像コンテンツを符号化し、コンテンツ送信部１１７へ出力する。
【００５４】
コンテンツ送信部１１７は、符号化された３次元映像コンテンツを、通信インタフェース部１０１を介して、端末２へ送信する。
【００５５】
図７は、本発明における端末の機能構成図である。
【００５６】
図７によれば、端末２は、ディスプレイ部２０１と、入力操作部２０２と、通信インタフェース部２０３とを有する。ディスプレイ部２０１は、ユーザに対して、３次元映像コンテンツを表示する。入力操作部２０２は、ユーザからの入力操作を受け付ける。通信インタフェース部２０３は、ネットワークを介して配信サーバ１と通信する。
【００５７】
また、端末２は、コンテンツ受信部２１１と、コンテンツ復号再生部２１２と、視点位置入力部２１３と、コメント入力部２１４と、コメント属性入力部２１５と、コメント情報送信部２１６とを有する。これら機能構成部は、端末２に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
【００５８】
コンテンツ受信部２１１は、配信サーバ１から、コメントテキストがレンダリングされた３次元映像コンテンツを受信する。受信された３次元映像コンテンツは、コンテンツ復号再生部２１２へ出力される。
【００５９】
コンテンツ復号再生部２１２は、３次元映像コンテンツを復号再生し、ディスプレイ部２０１へ出力する。
【００６０】
視点位置入力部２１３は、入力操作部２０２を介して、当該端末に対するユーザの操作に応じた、自由視点の視点位置情報を入力する。視点位置情報は、発言位置情報として、コメント情報送信部２１６へ出力される。また、視点位置情報は、コンテンツ復号再生部２１２へ出力され、ディスプレイ２０１に表示される３次元映像コンテンツの視点が更新される。尚、視点位置情報は、前述したように面識別子によって特定されるものであってもよい。
【００６１】
コメント入力部２１４は、入力操作部２０２を介して、当該端末に対するユーザの操作に応じたコメントテキストを入力する。コメントテキストは、コメント情報送信部２１６へ出力される。
【００６２】
コメント属性入力部２１５は、入力操作部２０２を介して、当該端末に対するユーザの操作に応じたコメント属性情報を入力する。コメント属性情報は、コメント情報送信部２１６へ出力される。
【００６３】
コメント情報送信部２１６は、コメント情報を、配信サーバ１へ送信する。コメント情報には、コメントテキスト、発言位置情報及びコメント属性情報が含まれる。
【００６４】
尚、視点位置入力部２１３、コメント入力部２１４及びコメント属性入力部２１５は、３次元映像コンテンツを再生すると共に、コメントテキスト、発言位置情報及びコメント属性情報を入力することができる、一体的なアプリケーションによって機能するものであってもよい。
【００６５】
以上、詳細に説明したように、本発明の配信サーバ、端末、プログラム及び方法によれば、複数のユーザによって共有されている３次元映像に対して、コメントテキストの発言者からの視点を感覚的に理解することができる。
【００６６】
本発明によれば、共有される１つの自由視点映像に、複数のユーザからのコメントテキストを、多次元的に表示することができる。１つの映像コンテンツを媒介とし、ユーザ同士の間のコミュニティ領域を配置することができる。また、自由視点映像のように１つの映像コンテンツが複数の視点を持つ場合に、そのコメントテキストに対する発言者の視点を感覚的に理解することができる。
【００６７】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【００６８】
１ 配信サーバ
１０１ 通信インタフェース部
１０２ ３次元映像コンテンツ蓄積部
１１１ 多面体設定部
１１２ コメント情報受信部
１１３ コメント共有蓄積部
１１４ コメント属性制御部
１１５ コメントレンダリング部
１１６ コンテンツ符号化部
１１７ コンテンツ送信部
２ 端末
２０１ ディスプレイ部
２０２ 入力操作部
２０３ 通信インタフェース部
２１１ コンテンツ受信部
２１２ コンテンツ復号再生部
２１３ 視点位置入力部
２１４ コメント入力部
２１５ コメント属性入力部
２１６ コメント情報送信部
【技術分野】
【０００１】
本発明は、３次元画像にコメントテキストを表示する技術に関する。
【背景技術】
【０００２】
従来、複数のユーザによって操作される端末同士が、ネットワークを介してリアルタイムに会話的テキストを交換する「チャット」技術がある。この技術によれば、端末は、専用のクライアントソフトのＩＲＣ(Internet Relay Chat)を実行する。通常、参加者は、仮想的な共有空間の「チャットルーム」にログインする。チャットルームには、発言者名及び時刻と共に、参加者の発言内容のテキストが、リアルタイムに１行ずつ流れる。
【０００３】
また、放送番組のような映像コンテンツを再生すると同時に、ユーザから発言されたコメントテキストも合わせて表示する技術がある（例えば特許文献１参照）。この技術によれば、放送番組の視聴時刻にコメントテキストを対応付けることによって、その放送番組の放送日時が異なる場合であっても、シーンに応じたコメントテキストが表示される。これによって、放送日時が異なる地域のユーザ同士の間であっても、その放送番組に対する感想を共有することができる。複数のユーザによって書き込まれたコメントテキストは、数行程度ずつ、時系列に並べて表示される。
【０００４】
更に、ユーザ同士の間で、同一の映像を共有しながら、映像の時間軸上でチャット的に擬似リアルタイムでコメントテキストを交換することができる技術もある（例えば特許文献２参照）。この技術によれば、ユーザＡが第１のコメントを第１の時点で入力した後、ユーザＢが第１のコメントに対する第２のコメントを第２の時点で入力したとする。このとき、ユーザＡが、ユーザＢの第２のコメントを閲覧しようとすると、ユーザＡの端末は、ユーザＢによって第２のコメントが入力された第２の時点へ戻って、その映像を再生する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−２９０９４９号公報
【特許文献２】特開２００８−１７２７４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載された技術によれば、コメントテキストは、コンテンツの視聴時刻に応じて対応付けられるために、ユーザ同士の間でリアルタイムにコンテンツテキストを交換することはできない。また、特許文献２に記載された技術によれば、ユーザ同士で共有されるコンテンツは、現実時間で一致していないために、リアルタイムなコンテンツテキストの交換に違和感が生じる。
【０００７】
更に、いずれの従来技術によっても、コメントテキストは、数行程度ずつ、時系列に並べて表示されるものである。結局、誰がそのコメントテキストを発言したかを知るためには、ユーザは、そのコメントを見ると同時に「発言者名」も見る必要がある。特に、共有されるコンテンツに対して、複数のユーザが匿名で発言する場合、発言者毎の発言をコメントテキストの時系列の表示から理解することは困難である。
【０００８】
更に、コンテンツ自体が、３次元映像（又は画像）である場合、複数のユーザが異なる視点から、そのコンテンツを視聴することもできる。例えば、コンテンツの内容によっては、ユーザ毎の視点に応じてコメントテキストの内容が異なる場合もある。
【０００９】
そこで、本発明は、複数のユーザによって共有されている３次元映像に対して、コメントテキストの発言者からの視点を感覚的に理解することができる配信サーバ、端末、プログラム及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明によれば、３次元画像を端末へ配信する配信サーバにおいて、
３次元画像に３次元の多面体形状を設定すると共に、当該多面体形状の面毎に座標位置を設定する多面体設定手段と、
端末から、コメントテキストと、当該３次元画像の中の発言位置情報とを含むコメント情報を受信するコメント情報受信手段と、
発言位置情報に基づいて特定された面に沿って、コメントテキストを３次元画像に重畳的に貼り付けるコメントレンダリング手段と、
レンダリングされた３次元画像を、端末へ配信するコンテンツ送信手段と
を有することを特徴とする。
【００１１】
本発明の配信サーバにおける他の実施形態によれば、
３次元画像は、自由視点映像であり、
発言位置情報は、当該端末に対するユーザの操作に応じた、自由視点の視点位置情報であることも好ましい。
【００１２】
本発明の配信サーバにおける他の実施形態によれば、
多面体設定手段は、
自由視点映像について、自由視点の３次元の移動可能範囲から床面を設定し、
床面における任意の点を視点基準点に設定し、当該視点基準点に対して３次元座標を設定し、
３次元座標に基づいて任意の多面体形状の座標を設定することも好ましい。
【００１３】
本発明の配信サーバにおける他の実施形態によれば、
コメント情報は、コメントテキスト及び発言位置情報に加えて、コメント属性情報を更に含んでおり、
コメント属性情報は、
面に対してコメントテキストを貼り付ける高さ、
コメントテキストの色、
コメントテキストのフォントサイズ、
コメントテキストを貼り付ける出現時刻及び消滅時刻若しくは表示継続時間
コメントテキストの表示枠を吹き出し型又は切り貼り型によって表示する表示パターン、及び／又は、
コメントテキストの発言者種別
を有し、
コメント属性情報に応じて、コメントレンダリング手段を制御するコメント属性制御手段を更に有することも好ましい。
【００１４】
本発明の配信サーバにおける他の実施形態によれば、
コメント属性制御手段は、コメント属性情報に出現時刻及び消滅時刻若しくは表示継続時間が設定されている場合、コメントテキストを、貼り付けられた面に沿って、右から左へ及び前から後へ、時間経過に伴って流れるように制御することも好ましい。
【００１５】
本発明によれば、前述した配信サーバと通信する端末であって、
配信サーバから、コメントテキストが貼り付けられた３次元画像を受信するコンテンツ受信手段と、
３次元画像を復号再生し、ディスプレイへ出力するコンテンツ復号再生手段と、
入力操作部を介して、利用者からコメントテキストを入力するコメント入力手段と、
入力操作部を介して、利用者から発言位置情報を入力する発言位置入力手段と、
コメントテキスト及び発言位置情報を含むコメント情報を、配信サーバへ送信するコメント情報送信手段と
を有することを特徴とする。
【００１６】
本発明の端末における他の実施形態によれば、
発言位置入力手段は、３次元画像が自由視点映像である場合、入力操作部を介して取得された、利用者からの指示に基づく任意の視点における位置情報であることも好ましい。
【００１７】
本発明の端末における他の実施形態によれば、
入力操作部を介して、利用者からコメント属性情報を入力するコメント属性入力手段と、
コメントテキスト、発言位置情報及びコメント属性情報を含むコメント情報を、配信サーバへ送信するコンテンツ情報送信手段と
を有することも好ましい。
【００１８】
本発明によれば、３次元画像を端末へ配信する配信サーバに搭載されたコンピュータを機能させるプログラムにおいて、
３次元画像に３次元の多面体形状を設定すると共に、当該多面体形状の面毎に座標位置を設定する多面体設定手段と、
端末から、コメントテキストと、当該３次元画像の中の発言位置情報とを含むコメント情報を受信するコメント情報受信手段と、
発言位置情報に基づいて特定された面に沿って、コメントテキストを３次元画像に重畳的に貼り付けるコメントレンダリング手段と、
レンダリングされた３次元画像を、端末へ配信するコンテンツ送信手段と
してコンピュータを機能させることを特徴とする。
【００１９】
本発明によれば、３次元画像を配信する配信サーバと、該３次元画像を受信する端末とを有するシステムにおける配信方法において、
配信サーバが、３次元画像に３次元の多面体形状を設定すると共に、当該多面体形状の面毎に座標位置を設定する第１のステップと、
端末から、コメントテキストと、当該３次元画像の中の発言位置情報とを含むコメント情報を受信する第２のステップと、
発言位置情報に基づいて特定された面に沿って、コメントテキストを３次元画像に重畳的に貼り付ける第３のステップと、
レンダリングされた３次元画像を、端末へ配信する第４のステップと
を有することを特徴とする。
【発明の効果】
【００２０】
本発明の配信サーバ、端末、プログラム及び方法によれば、複数のユーザによって共有されている３次元映像に対して、コメントテキストの発言者からの視点を感覚的に理解することができる。
【図面の簡単な説明】
【００２１】
【図１】自由視点映像を撮影するためのシステム構成図である。
【図２】３次元映像に３次元の多面体形状を設定した説明図である。
【図３】３次元映像を鉛直方向から見た座標を表す説明図である。
【図４】本発明におけるコメントテキストの貼り付け面を表す説明図である。
【図５】本発明におけるディスプレイの表示画面である。
【図６】本発明における配信サーバの機能構成図である。
【図７】本発明における端末の機能構成図である。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００２３】
本発明によれば、複数のユーザによって同時に共有されるコンテンツは、３次元映像（又は画像）である。「共有」とは、複数のユーザの操作する端末に、同一内容のコンテンツが同期又は非同期に再生されていることを意味する。「３次元映像」は、例えば自由視点映像であってもよいし、３Ｄグラフィックスライブラリ（OpenGL(登録商標))であってもよい。「自由視点映像」とは、複数のビデオカメラで情景を撮影することによって、実際にはカメラで撮影していない任意の視点の映像を合成することができる映像をいう。また、OpenGLを用いることによって、３次元仮想空間における視点移動後の多面体の位置計算（視点計算）、角度計算、及び、コメントテキスト表示の３次元化（斜め処理などのエフェクト）を容易に実現できる。
【００２４】
図１は、自由視点映像を撮影するためのシステム構成図である。
【００２５】
図１によれば、１２台のビデオカメラが、撮影対象物の周囲に配置されている。ビデオカメラ毎の現実視点は、３０度毎に、等間隔で円周上に配置されている。自由視点映像によれば、視聴者は、通常、ビデオカメラが設置できないような仮想視点からの映像も見ることができる。
【００２６】
図２は、３次元映像に３次元の多面体形状を設定した説明図である。
【００２７】
図２（ａ）によれば、例えば４人が会議のために出会ったシーンを、３次元映像の投影図によって表している。以下では、ユーザＡ〜Ｄの４人が３次元映像に映っていると共に、各ユーザがコメントテキストを発言するものとして説明する。勿論、３次元映像に、コメントテキストを発言するユーザが映っている必要はない。但し、各ユーザが、その３次元映像を見ている視点を特定する必要がある。
【００２８】
図２（ａ）によれば、３次元映像に、床面が設定され、３次元の任意の多面体形状が設定される。勿論、多面体形状が、複数であってもよい。また、図２（ｂ）によれば、視点Ａから見た、ディスプレイの表示画像が表されている。ユーザは、ディスプレイの表示画像から、奥行きを理解することができる。
【００２９】
多面体形状は、例えば以下の（１）〜（３）のステップによって設定される。
（１）最初に、自由視点の３次元の移動可能範囲から「床面」を設定する。自由視点は、中心点を向いた状態で、円周移動、前後移動及び上下移動が可能である。その移動可能範囲（角度、距離、視点上下）から、「床面」が導出される。尚、床面の面積は、外縁の円周よりも大きく、自由視点は、その外縁より外へは移動できない。
【００３０】
（２）床面における任意の点を視点基準点に設定し、当該視点基準点に対して３次元座標を設定する。視点基準点は、（距離，角度，視点上下）で表され、角度０となる。
【００３１】
（３）３次元座標に基づいて任意の多面体形状の座標を設定する。座標は、視点基準点から見た（距離，角度，視点上下）によって表される。
距離 ：中心点からの絶対距離（範囲：０〜１００）
角度 ：基準点から左回りの角度（範囲：０〜３５９）
視点上下並行移動：視点上（０）、視点下（１）
【００３２】
図３は、３次元映像を鉛直方向から見た座標を表す説明図である。
【００３３】
図３（ａ）によれば、周囲が四面体であって、視点数４の面が表されている。当該多面体形状の面毎に、１つの座標位置が設定されている。
(距離100,角度0 ,視点上0)
(距離100,角度90 ,視点上0)
(距離100,角度180,視点上0)
(距離100,角度270,視点上0)
図３（ａ）は、角度を４つの面に複線化している。
【００３４】
図３（ｂ）によれば、周囲が３層構造の六面体であって、視点数１８の面が表されている。
(距離100,角度0 ,視点上0) (距離80,角度0 ,視点上0) (距離60,角度0 ,視点上0)
(距離100,角度60 ,視点上0) (距離80,角度60 ,視点上0) (距離60,角度60 ,視点上0)
(距離100,角度120,視点上0) (距離80,角度120,視点上0) (距離60,角度120,視点上0)
(距離100,角度180,視点上0) (距離80,角度180,視点上0) (距離60,角度180,視点上0)
(距離100,角度240,視点上0) (距離80,角度240,視点上0) (距離60,角度240,視点上0)
(距離100,角度300,視点上0) (距離80,角度300,視点上0) (距離60,角度300,視点上0)
図３（ｂ）は、角度を６つの面に複線化し、距離を３つの面に複線化している。
【００３５】
図４は、本発明におけるコメントテキストの貼り付け面を表す説明図である。
【００３６】
図４（ａ）によれば、多面体形状として四角形が設定され、前面、後面、左面及び右面に、コメントテキストを貼り付けることができる。例えば、図２（ａ）における３次元映像が、「会議システム」における映像であると想定する。ここで、４人のユーザＡ〜Ｄが３次元映像コンテンツとして映し出されている場合、そのコメントテキストを発言したユーザの視点に対応する面に、そのユーザのコメントテキストを貼り付ける。図４（ａ）によれば、以下のように表示されている。
ユーザＡの視点Ａに対応する面（面識別子ａ）に「ご無沙汰」が表示されている。
ユーザＢの視点Ｂに対応する面（面識別子ｂ）に「こんにちは！」が表示されている。
ユーザＣの視点Ｃに対応する面（面識別子ｃ）に「お久しぶり」が表示されている。
ユーザＤの視点Ｄに対応する面（面識別子ｄ）に「始めるか？」が表示されている。
【００３７】
尚、コメントテキストは、その面でのみ表示される。即ち、コメントテキストは、隣り合う面に引き継いで表示されない。
【００３８】
図４（ｂ）によれば、ユーザＡの視点Ａから見たコメントテキストの形状が表されている。３次元映像であるために、多面体形状の各面に表示されるコメントテキストも３次元的に表示される。特に、視点Ａから見て側面に沿って貼り付けられた「こんにちは！」「お久しぶり」は、奥行きに向かって文字が小さく表示される。これによって、視点ＡのユーザＡには、立体感を与える。このように、視点Ａから見て、視界に入る面に貼り付けられたコメントテキストは、全て表示される。
【００３９】
図５は、本発明におけるディスプレイの表示画面である。
【００４０】
図５によれば、図２（ｂ）及び図４（ｂ）が重畳的に表示された３次元映像である。例えば、４人のユーザＡ〜Ｄの会議のシーンが３次元映像コンテンツとして映し出されている場合、各ユーザの視点に対応する面に、そのユーザが発言したコメントテキストが貼り付けられている。これによって、ユーザＡは、視点Ａから見て、３次元映像に映し出されたいずれのユーザが、どのような発言をしているかを、感覚的に理解することができる。
【００４１】
ここで、面に貼り付けられるコメントテキストは、指定された表示時間だけ表示される。表示時間は、出現時刻及び消滅時刻の間であってもよいし、一定の表示継続時間であってもよい。例えば、表示時間の間、コメントテキストが、その面の中で流れるように移動することも好ましい。
【００４２】
例えば、３次元映像コンテンツが、QVGA＝320x240の画素数であって、フレームレート10fps、表示継続時間7秒とする。この場合、70フレーム(＝10fps×7秒)の間、そのコンテンツテキストが流れるように表示されればよい。即ち、1フレームの移動量は、320÷70≒4.6picと計算される。例えば、そのコメントテキストの表示開始から5秒後のコンテンツテキストの先頭位置は、50×4.6＝230picと計算される。
【００４３】
図６は、本発明における配信サーバの機能構成図である。
【００４４】
図６によれば、配信サーバ１は、インターネットのようなネットワークを介して、複数の端末２から接続される。配信サーバ１は、通信インタフェース部１０１と、３次元映像コンテンツ蓄積部１０２とを有する。通信インタフェース部１０１は、例えばインターネットのようなネットワークに接続されており、端末２と通信する。３次元映像コンテンツ蓄積部１０２は、端末２へ配信すべき３次元映像コンテンツを蓄積する。３次元映像コンテンツは、例えば複数のビデオカメラによって撮影された自由視点映像である。３次元映像コンテンツ蓄積部１０２に蓄積された自由視点映像が、複数の端末２を操作するユーザ同士の間で共有される。
【００４５】
また、配信サーバ１は、多面体設定部１１１と、コメント情報受信部１１２と、コメント共有蓄積部１１３と、コメント属性制御部１１４と、コメントレンダリング部１１５と、コンテンツ符号化部１１６と、コンテンツ送信部１１７とを有する。これら機能構成部は、配信サーバ１に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
【００４６】
多面体設定部１１１は、３次元映像コンテンツ蓄積部１０２から配信すべき３次元映像コンテンツを取得する。そして、多面体設定部１１１は、３次元映像コンテンツに、３次元の多面体形状を設定すると共に、当該多面体形状の面毎に座標位置を設定する（図４参照）。面毎の座標位置の情報は、コメントレンダリング部１１５へ出力される。
【００４７】
コメント情報受信部１１２は、端末２から、コメント情報を受信する。コメント情報には、以下の情報が含まれる。
（１）コメントテキスト
端末２を操作するユーザ自ら入力したコメントテキスト（最大３２文字）
（２）発言位置情報
３次元映像に対するコメントテキストを貼り付ける位置（距離、角度、視点上下）
（３）コメント属性情報
・コメントテキストを貼り付ける高さ（０行目〜８行目）
・コメントテキストの色（ＲＧＢ値）
・コメントテキストのフォントサイズ（大中小：３種類）
・コメントテキストを貼り付ける出現時刻及び消滅時刻若しくは表示継続時間
・コメントテキストの表示パターン（吹き出し型、カットイン型、コメント移動型）
・コメントテキストの発言者種別（ユーザ又は製作者）
受信したコメント情報は、コメント共有蓄積部１１３へ出力される。
【００４８】
ここで、発言位置情報は、当該端末に対するユーザの操作に応じた、自由視点の視点位置情報であってもよい。例えば、図２の映像が会議システムである場合、ユーザＡは、自らの視点Ａから、他の３人を見ることが自然である。このとき、自由視点の視点位置情報が視点Ａであれば、その自由視点を、発言位置情報とする。自由視点及び発言位置情報は、視点基準点から（距離、角度、視点上下）によって表される。配信サーバ１は、端末２から受信した発言位置情報に、ベクトルの距離が最も近い面を選択する。
【００４９】
尚、多面体形状の各面に、面識別子が対応付けられている場合、発言位置情報は、面識別子であってもよい。この場合、配信サーバ１は、端末２へ、多面体形状における面識別子を送信することが必要である。端末２は、発言位置情報として面識別子を、配信サーバ１へ送信することができる。
【００５０】
コメント共有蓄積部１１３は、複数の端末２から受信したコメント情報を蓄積する。複数のコメント情報について、コメントテキスト及び発言位置情報は、コメントレンダリング部１１５へ出力され、コメント属性情報は、コメント属性制御部１１４へ出力される。
【００５１】
コメント属性制御部１１４は、コメントレンダリング部１１５でレンダリングされるコメントテキストの表示イメージを、コメント属性情報に基づいて制御する。具体的には、コメントテキストを面に貼り付ける「高さ」を制御する。また、コメントテキストの「色」「フォントサイズ」「表示パターン」を制御する。更に、コメントテキストの表示時間を制御する。更に、発言者種別に基づいて、コメントテキストの表示イメージを制御することもできる。
【００５２】
コメントレンダリング部１１５は、多面体設定部１１１から入力された多面体形状を含む３次元映像コンテンツに対して、コメント共有蓄積部１１３から入力されたコメントテキストを、その発言位置情報に近い面にレンダリングする。また、そのコメントテキストの表示イメージは、コメント属性制御部１１４から制御される。コメントレンダリング部１１５は、発言位置情報に基づいて特定された面に沿って、コメントテキストを３次元映像に重畳的に貼り付ける。
【００５３】
コンテンツ符号化部１１６は、コメントテキストがレンダリングされた３次元映像コンテンツを符号化し、コンテンツ送信部１１７へ出力する。
【００５４】
コンテンツ送信部１１７は、符号化された３次元映像コンテンツを、通信インタフェース部１０１を介して、端末２へ送信する。
【００５５】
図７は、本発明における端末の機能構成図である。
【００５６】
図７によれば、端末２は、ディスプレイ部２０１と、入力操作部２０２と、通信インタフェース部２０３とを有する。ディスプレイ部２０１は、ユーザに対して、３次元映像コンテンツを表示する。入力操作部２０２は、ユーザからの入力操作を受け付ける。通信インタフェース部２０３は、ネットワークを介して配信サーバ１と通信する。
【００５７】
また、端末２は、コンテンツ受信部２１１と、コンテンツ復号再生部２１２と、視点位置入力部２１３と、コメント入力部２１４と、コメント属性入力部２１５と、コメント情報送信部２１６とを有する。これら機能構成部は、端末２に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
【００５８】
コンテンツ受信部２１１は、配信サーバ１から、コメントテキストがレンダリングされた３次元映像コンテンツを受信する。受信された３次元映像コンテンツは、コンテンツ復号再生部２１２へ出力される。
【００５９】
コンテンツ復号再生部２１２は、３次元映像コンテンツを復号再生し、ディスプレイ部２０１へ出力する。
【００６０】
視点位置入力部２１３は、入力操作部２０２を介して、当該端末に対するユーザの操作に応じた、自由視点の視点位置情報を入力する。視点位置情報は、発言位置情報として、コメント情報送信部２１６へ出力される。また、視点位置情報は、コンテンツ復号再生部２１２へ出力され、ディスプレイ２０１に表示される３次元映像コンテンツの視点が更新される。尚、視点位置情報は、前述したように面識別子によって特定されるものであってもよい。
【００６１】
コメント入力部２１４は、入力操作部２０２を介して、当該端末に対するユーザの操作に応じたコメントテキストを入力する。コメントテキストは、コメント情報送信部２１６へ出力される。
【００６２】
コメント属性入力部２１５は、入力操作部２０２を介して、当該端末に対するユーザの操作に応じたコメント属性情報を入力する。コメント属性情報は、コメント情報送信部２１６へ出力される。
【００６３】
コメント情報送信部２１６は、コメント情報を、配信サーバ１へ送信する。コメント情報には、コメントテキスト、発言位置情報及びコメント属性情報が含まれる。
【００６４】
尚、視点位置入力部２１３、コメント入力部２１４及びコメント属性入力部２１５は、３次元映像コンテンツを再生すると共に、コメントテキスト、発言位置情報及びコメント属性情報を入力することができる、一体的なアプリケーションによって機能するものであってもよい。
【００６５】
以上、詳細に説明したように、本発明の配信サーバ、端末、プログラム及び方法によれば、複数のユーザによって共有されている３次元映像に対して、コメントテキストの発言者からの視点を感覚的に理解することができる。
【００６６】
本発明によれば、共有される１つの自由視点映像に、複数のユーザからのコメントテキストを、多次元的に表示することができる。１つの映像コンテンツを媒介とし、ユーザ同士の間のコミュニティ領域を配置することができる。また、自由視点映像のように１つの映像コンテンツが複数の視点を持つ場合に、そのコメントテキストに対する発言者の視点を感覚的に理解することができる。
【００６７】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【００６８】
１ 配信サーバ
１０１ 通信インタフェース部
１０２ ３次元映像コンテンツ蓄積部
１１１ 多面体設定部
１１２ コメント情報受信部
１１３ コメント共有蓄積部
１１４ コメント属性制御部
１１５ コメントレンダリング部
１１６ コンテンツ符号化部
１１７ コンテンツ送信部
２ 端末
２０１ ディスプレイ部
２０２ 入力操作部
２０３ 通信インタフェース部
２１１ コンテンツ受信部
２１２ コンテンツ復号再生部
２１３ 視点位置入力部
２１４ コメント入力部
２１５ コメント属性入力部
２１６ コメント情報送信部
【特許請求の範囲】
【請求項１】
３次元画像を端末へ配信する配信サーバにおいて、
前記３次元画像に３次元の多面体形状を設定すると共に、当該多面体形状の面毎に座標位置を設定する多面体設定手段と、
前記端末から、コメントテキストと、当該３次元画像の中の発言位置情報とを含むコメント情報を受信するコメント情報受信手段と、
前記発言位置情報に基づいて特定された面に沿って、前記コメントテキストを前記３次元画像に重畳的に貼り付けるコメントレンダリング手段と、
レンダリングされた前記３次元画像を、前記端末へ配信するコンテンツ送信手段と
を有することを特徴とする配信サーバ。
【請求項２】
前記３次元画像は、自由視点映像であり、
前記発言位置情報は、当該端末に対するユーザの操作に応じた、自由視点の視点位置情報である
ことを特徴とする請求項１に記載の配信サーバ。
【請求項３】
前記多面体設定手段は、
前記自由視点映像について、自由視点の３次元の移動可能範囲から床面を設定し、
前記床面における任意の点を視点基準点に設定し、当該視点基準点に対して３次元座標を設定し、
前記３次元座標に基づいて任意の多面体形状の座標を設定する
ことを特徴とする請求項２に記載の配信サーバ。
【請求項４】
前記コメント情報は、前記コメントテキスト及び前記発言位置情報に加えて、コメント属性情報を更に含んでおり、
前記コメント属性情報は、
前記面に対して前記コメントテキストを貼り付ける高さ、
前記コメントテキストの色、
前記コメントテキストのフォントサイズ、
前記コメントテキストを貼り付ける出現時刻及び消滅時刻若しくは表示継続時間
前記コメントテキストの表示枠を吹き出し型又は切り貼り型によって表示する表示パターン、及び／又は、
前記コメントテキストの発言者種別
を有し、
前記コメント属性情報に応じて、前記コメントレンダリング手段を制御するコメント属性制御手段を更に有する
ことを特徴とする請求項１から３のいずれか１項に記載の配信サーバ。
【請求項５】
前記コメント属性制御手段は、前記コメント属性情報に出現時刻及び消滅時刻若しくは表示継続時間が設定されている場合、前記コメントテキストを、貼り付けられた面に沿って、右から左へ及び前から後へ、時間経過に伴って流れるように制御することを特徴とする請求項１から４のいずれか１項に記載の配信サーバ。
【請求項６】
請求項１から５のいずれか１項に記載の配信サーバと通信する端末であって、
前記配信サーバから、前記コメントテキストが貼り付けられた前記３次元画像を受信するコンテンツ受信手段と、
前記３次元画像を復号再生し、ディスプレイへ出力するコンテンツ復号再生手段と、
入力操作部を介して、利用者から前記コメントテキストを入力するコメント入力手段と、
入力操作部を介して、利用者から前記発言位置情報を入力する発言位置入力手段と、
前記コメントテキスト及び前記発言位置情報を含むコメント情報を、前記配信サーバへ送信するコメント情報送信手段と
を有することを特徴とする端末。
【請求項７】
前記発言位置入力手段は、前記３次元画像が自由視点映像である場合、前記入力操作部を介して取得された、利用者からの指示に基づく任意の視点における位置情報であることを特徴とする請求項６に記載の端末。
【請求項８】
前記入力操作部を介して、利用者から前記コメント属性情報を入力するコメント属性入力手段と、
前記コメントテキスト、前記発言位置情報及び前記コメント属性情報を含むコメント情報を、前記配信サーバへ送信するコンテンツ情報送信手段と
を有することを特徴とする請求項６又は７に記載の端末。
【請求項９】
３次元画像を端末へ配信する配信サーバに搭載されたコンピュータを機能させるプログラムにおいて、
前記３次元画像に３次元の多面体形状を設定すると共に、当該多面体形状の面毎に座標位置を設定する多面体設定手段と、
前記端末から、コメントテキストと、当該３次元画像の中の発言位置情報とを含むコメント情報を受信するコメント情報受信手段と、
前記発言位置情報に基づいて特定された面に沿って、前記コメントテキストを前記３次元画像に重畳的に貼り付けるコメントレンダリング手段と、
レンダリングされた前記３次元画像を、前記端末へ配信するコンテンツ送信手段と
してコンピュータを機能させることを特徴とする配信サーバ用のプログラム。
【請求項１０】
３次元画像を配信する配信サーバと、該３次元画像を受信する端末とを有するシステムにおける配信方法において、
前記配信サーバが、前記３次元画像に３次元の多面体形状を設定すると共に、当該多面体形状の面毎に座標位置を設定する第１のステップと、
前記端末から、コメントテキストと、当該３次元画像の中の発言位置情報とを含むコメント情報を受信する第２のステップと、
前記発言位置情報に基づいて特定された面に沿って、前記コメントテキストを前記３次元画像に重畳的に貼り付ける第３のステップと、
レンダリングされた前記３次元画像を、前記端末へ配信する第４のステップと
を有することを特徴とする配信方法。
【請求項１】
３次元画像を端末へ配信する配信サーバにおいて、
前記３次元画像に３次元の多面体形状を設定すると共に、当該多面体形状の面毎に座標位置を設定する多面体設定手段と、
前記端末から、コメントテキストと、当該３次元画像の中の発言位置情報とを含むコメント情報を受信するコメント情報受信手段と、
前記発言位置情報に基づいて特定された面に沿って、前記コメントテキストを前記３次元画像に重畳的に貼り付けるコメントレンダリング手段と、
レンダリングされた前記３次元画像を、前記端末へ配信するコンテンツ送信手段と
を有することを特徴とする配信サーバ。
【請求項２】
前記３次元画像は、自由視点映像であり、
前記発言位置情報は、当該端末に対するユーザの操作に応じた、自由視点の視点位置情報である
ことを特徴とする請求項１に記載の配信サーバ。
【請求項３】
前記多面体設定手段は、
前記自由視点映像について、自由視点の３次元の移動可能範囲から床面を設定し、
前記床面における任意の点を視点基準点に設定し、当該視点基準点に対して３次元座標を設定し、
前記３次元座標に基づいて任意の多面体形状の座標を設定する
ことを特徴とする請求項２に記載の配信サーバ。
【請求項４】
前記コメント情報は、前記コメントテキスト及び前記発言位置情報に加えて、コメント属性情報を更に含んでおり、
前記コメント属性情報は、
前記面に対して前記コメントテキストを貼り付ける高さ、
前記コメントテキストの色、
前記コメントテキストのフォントサイズ、
前記コメントテキストを貼り付ける出現時刻及び消滅時刻若しくは表示継続時間
前記コメントテキストの表示枠を吹き出し型又は切り貼り型によって表示する表示パターン、及び／又は、
前記コメントテキストの発言者種別
を有し、
前記コメント属性情報に応じて、前記コメントレンダリング手段を制御するコメント属性制御手段を更に有する
ことを特徴とする請求項１から３のいずれか１項に記載の配信サーバ。
【請求項５】
前記コメント属性制御手段は、前記コメント属性情報に出現時刻及び消滅時刻若しくは表示継続時間が設定されている場合、前記コメントテキストを、貼り付けられた面に沿って、右から左へ及び前から後へ、時間経過に伴って流れるように制御することを特徴とする請求項１から４のいずれか１項に記載の配信サーバ。
【請求項６】
請求項１から５のいずれか１項に記載の配信サーバと通信する端末であって、
前記配信サーバから、前記コメントテキストが貼り付けられた前記３次元画像を受信するコンテンツ受信手段と、
前記３次元画像を復号再生し、ディスプレイへ出力するコンテンツ復号再生手段と、
入力操作部を介して、利用者から前記コメントテキストを入力するコメント入力手段と、
入力操作部を介して、利用者から前記発言位置情報を入力する発言位置入力手段と、
前記コメントテキスト及び前記発言位置情報を含むコメント情報を、前記配信サーバへ送信するコメント情報送信手段と
を有することを特徴とする端末。
【請求項７】
前記発言位置入力手段は、前記３次元画像が自由視点映像である場合、前記入力操作部を介して取得された、利用者からの指示に基づく任意の視点における位置情報であることを特徴とする請求項６に記載の端末。
【請求項８】
前記入力操作部を介して、利用者から前記コメント属性情報を入力するコメント属性入力手段と、
前記コメントテキスト、前記発言位置情報及び前記コメント属性情報を含むコメント情報を、前記配信サーバへ送信するコンテンツ情報送信手段と
を有することを特徴とする請求項６又は７に記載の端末。
【請求項９】
３次元画像を端末へ配信する配信サーバに搭載されたコンピュータを機能させるプログラムにおいて、
前記３次元画像に３次元の多面体形状を設定すると共に、当該多面体形状の面毎に座標位置を設定する多面体設定手段と、
前記端末から、コメントテキストと、当該３次元画像の中の発言位置情報とを含むコメント情報を受信するコメント情報受信手段と、
前記発言位置情報に基づいて特定された面に沿って、前記コメントテキストを前記３次元画像に重畳的に貼り付けるコメントレンダリング手段と、
レンダリングされた前記３次元画像を、前記端末へ配信するコンテンツ送信手段と
してコンピュータを機能させることを特徴とする配信サーバ用のプログラム。
【請求項１０】
３次元画像を配信する配信サーバと、該３次元画像を受信する端末とを有するシステムにおける配信方法において、
前記配信サーバが、前記３次元画像に３次元の多面体形状を設定すると共に、当該多面体形状の面毎に座標位置を設定する第１のステップと、
前記端末から、コメントテキストと、当該３次元画像の中の発言位置情報とを含むコメント情報を受信する第２のステップと、
前記発言位置情報に基づいて特定された面に沿って、前記コメントテキストを前記３次元画像に重畳的に貼り付ける第３のステップと、
レンダリングされた前記３次元画像を、前記端末へ配信する第４のステップと
を有することを特徴とする配信方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−１０９３７１（Ｐ２０１１−１０９３７１Ａ）
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願番号】特願２００９−２６１７３４（Ｐ２００９−２６１７３４）
【出願日】平成２１年１１月１７日（２００９．１１．１７）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願日】平成２１年１１月１７日（２００９．１１．１７）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]