アバター編集サーバ及びアバター編集プログラム
【課題】多様な演出により面白さを向上させたアバターを表示するアバター編集サーバ及びアバター編集プログラムを提供する。
【解決手段】端末７に対して通信ネットワーク５を介して接続され、端末７で再生するアバターを編集するアバター編集サーバ３は、端末７のアバターの基本になる画像データを記憶する基本アバターテーブル３１と、端末７から送信された音声データを受け付ける音声受付部１１と、音声受付部１１により受け付けた音声データを、基本アバターテーブル３１に記憶された画像データに関連付けて記憶する音声テーブル３２と、端末７からの操作に応じて、音声テーブル３２に記憶された音声データに関連付けられた画像データに動作を加えて、動作付きのアバターを生成するアバター生成部１５と、を備える。
【解決手段】端末７に対して通信ネットワーク５を介して接続され、端末７で再生するアバターを編集するアバター編集サーバ３は、端末７のアバターの基本になる画像データを記憶する基本アバターテーブル３１と、端末７から送信された音声データを受け付ける音声受付部１１と、音声受付部１１により受け付けた音声データを、基本アバターテーブル３１に記憶された画像データに関連付けて記憶する音声テーブル３２と、端末７からの操作に応じて、音声テーブル３２に記憶された音声データに関連付けられた画像データに動作を加えて、動作付きのアバターを生成するアバター生成部１５と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、アバターを編集するアバター編集サーバ及びアバター編集プログラムに関する。
【背景技術】
【０００２】
従来、ユーザの分身であるキャラクタ画像のアバターを、ユーザの端末に対して通信ネットワークを介して接続されたサーバに記憶して、アバターをブログ等のユーザ自身の自己紹介ページに配置することで、コミニュケーションツールとして他の端末に自己紹介ページを表示させることが行われている。また、アバターの用途は、ブログ等に限らない。例えば、バーチャルなミーティングルームに、ユーザが所望のコンテンツと、そのユーザのアバターとを表示して、アバターが、コンテンツを視聴しているかのように表現したコンテンツの配信を行うコンテンツ視聴システムが提案されている（例えば、特許文献１）。
【特許文献１】特開２００７−１１５１１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１に記載のコンテンツ視聴システムは、アバター等の画像データと、ユーザが所望の音声等の音声データを含むコンテンツとを表示し、アバターが所定の動作をしたときに、コンテンツの表示を開始する。よって、特許文献１に記載のコンテンツ視聴システムにおいて、アバターは、コンテンツの表示の開始時に、視覚的な演出をするための画像にすぎず、面白さに欠けるものであった。
そこで、本発明は、多様な演出により面白さを向上させたアバターを表示するアバター編集サーバ及びアバター編集プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００４】
本発明は、以下のような解決手段により、前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。また、符号を付して説明した構成は、適宜改良してもよく、また、少なくとも一部を他の構成物に代替してもよい。
【０００５】
請求項１の発明は、端末（７）に対して通信ネットワーク（５）を介して接続され、前記端末で再生するアバターを編集するアバター編集サーバ（３）において、前記端末のアバターの基本になる画像データを記憶する基本アバター記憶部（３１）と、前記端末から送信された音声データを受け付ける音声受付部（１１）と、前記音声受付部により受け付けた前記音声データを、前記基本アバター記憶部に記憶された前記画像データに関連付けて記憶する音声記憶部（３２）と、前記端末からの操作に応じて、前記音声記憶部に記憶された前記音声データに関連付けられた前記画像データに動作を加えて、動作付きのアバターを生成するアバター生成部（１５）と、を備えること、を特徴とするアバター編集サーバである。
請求項２の発明は、請求項１に記載のアバター編集サーバ（３）において、前記音声記憶部（３２）に記憶された前記音声データの再生位置を視覚的に表示するタイムラインを生成して、前記端末（７）に出力するタイムライン生成部（１２）と、前記アバターを構成するパーツであるパーツデータを記憶するパーツ記憶部（３３）と、前記端末で前記パーツに動作を付与するための表示である動作付与表示が前記タイムラインの上に配置されたことに応じて、前記動作付与表示と前記動作付与表示に対応する前記再生位置とを含む動作データを、前記端末から受け付ける動作データ受付部（１４）と、を備え、前記アバター生成部（１５）は、前記動作データ受付部により受け付けた前記動作データに基づき、前記画像データを構成する前記パーツデータに動作を加えて動作付きのアバターを生成すること、を特徴とするアバター編集サーバである。
請求項３の発明は、請求項２に記載のアバター編集サーバ（３）において、前記パーツ記憶部（３３）に記憶された前記パーツデータは、座標データの形態のものであり、前記アバター生成部（１５）は、前記動作データに含む前記動作付与表示から前記動作付与表示に対応する前記パーツデータを前記パーツ記憶部から抽出し、抽出した前記パーツデータに対して連続動作を表現するパーツの前記座標データをレンダリングして、前記アバターを生成すること、を特徴とするアバター編集サーバである。
請求項４の発明は、請求項２又は請求項３に記載のアバター編集サーバ（３）において、前記動作データ受付部（１４）は、前記端末（７）において異なる動作を示す複数の前記動作付与表示を前記タイムラインの上の同一の範囲に配置した前記動作データを、前記端末から受け付けること、を特徴とするアバター編集サーバである。
請求項５の発明は、請求項２から請求項４のいずれか１項に記載のアバター編集サーバ（３）において、前記動作データ受付部（１４）は、前記端末（７）において異なる動作を示す複数の前記動作付与表示を、前記タイムラインの上に複数配置した前記動作データを、前記端末から受け付け、前記アバター生成部（１５）は、前記タイムラインの上に隣り合って配置された２つの前記動作付与表示に対応する前記動作データに基づき前記動作付きのアバターを生成し、生成した前記動作付きのアバターを連続して動作をさせるように、生成した２つの前記動作付きのアバターの間を補完する前記動作付きのアバターを生成するアバター補完部（１５Ａ）を備えること、を特徴とするアバター編集サーバである。
請求項６の発明は、請求項１から請求項５のいずれか１項に記載のアバター編集サーバ（３）において、前記通信ネットワーク（５）を介して接続された他の端末（７）からの前記アバターの表示要求を受け付けることで、前記アバター生成部（１５）により生成された前記動作付きのアバターと、前記アバターに対応付けて前記音声記憶部（３２）に記憶された音声データとを前記他の端末に再生可能に送信する再生データ送信部（１７）を備えること、を特徴とするアバター編集サーバである。
請求項７の発明は、請求項６に記載のアバター編集サーバ（３）において、前記音声受付部（１１）は、前記再生データ送信部（１７）により送信され、前記他の端末（７）で再生された音声データに対応する他の音声データを受け付け、前記音声記憶部（３２）は、前記他の音声データを、前記音声データに対応付けて記憶すること、を特徴とするアバター編集サーバである。
請求項８の発明は、請求項７に記載のアバター編集サーバ（３）において、前記アバター生成部（１５）は、前記他の端末（７）のアバターを生成して、前記端末（７）の前記動作付きのアバターに対して合成して、合成アバターを新たに生成すること、を特徴とするアバター編集サーバである。
請求項９の発明は、請求項７に記載のアバター編集サーバ（３）において、前記アバター生成部（１５）は、前記基本アバター記憶部（３１）に記憶された前記他の端末（７）の前記画像データを、前記端末（７）の前記動作付きのアバターと共に表示するように合成アバターを生成すること、を特徴とするアバター編集サーバである。
【０００６】
請求項１０の発明は、端末（７）に対して通信ネットワーク（５）を介して接続され、前記端末（７）で再生するアバターを編集するアバター編集サーバ（３）が、前記端末のアバターの基本になる画像データを記憶する基本アバター記憶部（３１）を備え、前記アバター編集サーバにおいて実行されるアバター編集プログラム（３９）であって、前記アバター編集サーバを、前記端末から送信された音声データを受け付ける音声受付手段と、前記音声受付手段により受け付けた前記音声データを、前記基本アバター記憶部に記憶された前記画像データに関連付けて音声記憶部（３２）に記憶させる音声記憶手段と、前記端末からの操作に応じて、前記音声記憶部に記憶された前記音声データに関連付けられた前記画像データに動作を加えて、動作付きのアバターを生成するアバター生成手段と、して機能させること、を特徴とするアバター編集プログラムである。
【発明の効果】
【０００７】
本発明によれば、以下の効果を奏することができる。
（１）本発明は、音声データを端末から受け付けたことで、端末とその端末のアバターの基本になる画像データと関連付け、端末からの操作に応じて、画像データに動作を加えて動作付きのアバターを生成する。よって、音声データに動作付きの画像データを関連付けることができるので、アバターに、歌い、踊っているかのような面白い演出をさせることができる。
【０００８】
（２）本発明は、音声データの再生位置を視覚的に表示するタイムラインを生成して端末に出力するので、端末のユーザは、アバターを構成するパーツに動作を付与するための動作付与表示をタイムライン上に配置することができる。また、本発明は、配置した動作付与表示に対応する動作データを端末から受け付けることで、好みの動作をアバターに与えることができる。よって、タイムライン上に動作付与表示を配置するという、直感的に分かり易く、しかもユーザにとって簡単なユーザインタフェースを用いて、動作付きのアバターを生成することができる。
【０００９】
（３）本発明は、座標データの形態であるパーツデータを用いて、動作付きアバターを生成するので、端末７において、生成されたアバターを端末７で再生することができる。
（４）本発明は、タイムライン上の同一の範囲に複数の動作付与表示を配置できるので、様々な複雑な動作をアバターに付与することができる。
（５）本発明は、タイムライン上に隣り合って配置された２つの動作付与表示から生成した動作付きのアバターを補完する動作付きのアバターをさらに生成するので、タイムライン上に隣り合って配置された２つの動作の間を滑らかにつなぐことができる。
【００１０】
（６）本発明は、生成した動作付きのアバターと音声データとを、音声データを送信した端末とは異なる端末に送信するので、ユーザが作成した動作付きのアバターと音声データとからなるコンテンツを、他のユーザが視聴することができる。
（７）本発明は、生成した動作付きのアバターと音声データとからなるコンテンツに、音声データを追加し、別のアバターを生成して合成アバターを新たに作成する。よって、元の楽曲にハモリを加えたり、合唱やデュエット等をしたりする様子を演出できる。また、別のアバターに代えて、画像データを追加することで、アバター編集サーバの処理の負荷を軽減しつつ、ハモリやデュエット等を演出できる。
【発明を実施するための最良の形態】
【００１１】
本発明は、多様な演出により面白さを向上させたアバターを表示するアバター編集サーバ及びアバター編集プログラムを提供するという目的を、端末に対して通信ネットワークを介して接続され、端末で再生するアバターを編集するアバター編集サーバが、端末のアバターの基本になる画像データを記憶する基本アバター記憶部と、端末から送信された音声データを受け付ける音声受付部と、音声受付部により受け付けた音声データを、基本アバター記憶部に記憶された画像データに関連付けて記憶する音声記憶部と、端末からの操作に応じて、音声記憶部に記憶された音声データに関連付けられた画像データに動作を加えて、動作付きのアバターを生成するアバター生成部と、を備えることによって実現した。
【００１２】
（実施形態）
以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
図１は、本実施形態に係るアバターシステム１の構成及びアバター編集サーバ３の機能ブロックを示す図である。アバターシステム１は、アバター編集サーバ３と、複数の端末７と、アバター編集サーバ３及び端末７を接続する通信ネットワーク５とを備える。アバターシステム１は、アバター編集サーバ３が、端末７から音声データを受信し、音声データからタイムラインを生成して端末７に送信する。また、アバター編集サーバ３が、端末７から動作データを受け付け、動作付きのアバターを生成して、動作付きのアバターと、音声データとを端末７に送信する。そして、端末７に、動作付きのアバターを表示させる。
【００１３】
なお、本実施形態において、音声データとは、例えば、ユーザの歌声等、端末７のユーザが入力した音に関するデータをいう。また、動作付きアバターとは、３Ｄ（３−Ｄｉｍｅｎｓｉｏｎａｌ）のレンダリングにより、アバターに、動作が追加されたアバターをいう。
【００１４】
アバター編集サーバ３を構成するハードウェアの数に制限はない。必要に応じて、１又は複数で構成してよい。また、アバター編集サーバ３のハードウェアは、必要に応じてＷｅｂ（ウェブ）サーバ、ＤＢ（データベース）サーバ、アプリケーション・サーバ等の各種サーバを含んで構成してよく、１台のサーバで構成しても、それぞれ別のサーバで構成してもよい。さらに、アバター編集サーバ３は、ウェブサービスを行うサーバと同一のサーバでも異なるサーバでもよいが、ここでは、同一のサーバであるものとして説明する。
【００１５】
端末７は、ウェブサービスのコンテンツを表示する表示部４０とユーザが操作可能な操作部４１とを備えたものである。端末７は、パソコン（パーソナルコンピュータ）の他、携帯電話機、携帯情報端末等であってもよい。端末７には、音声を出力するスピーカ４２と、音声を入力するマイク４３とが接続されている。
通信ネットワーク５は、アバター編集サーバ３及び端末７の間の通信を行うための、例えばインターネット等の通信網である。
【００１６】
アバター編集サーバ３は、制御部１０、通信インタフェース部２５及び記憶部３０を備えている。制御部１０は、音声受付部１１、タイムライン生成部１２、動作データ受付部１４、アバター生成部１５、再生データ送信部１７を有する。また、アバター生成部１５は、アバター補完部１５Ａを有する。各手段の詳細については後述する。
制御部１０は、情報の演算、及び処理を行う情報演算処理装置（ＣＰＵ）であり、当該アバター編集サーバ３の全体を制御するものである。制御部１０は、後述する記憶部３０に記憶された各種プログラムを適宜読み出して実行することにより、アバター編集サーバ３のハードウェアと協働し、本発明に係る各種機能を実現している。
【００１７】
通信インタフェース部２５は、当該アバター編集サーバ３を専用ネットワーク又は公共ネットワークを介して端末７や、ウェブサービスを提供する別のサーバと接続できるようにするためのネットワーク・アダプタである。通信インタフェース部２５は、モデム、ケーブルモデム及びイーサネット（登録商標）・アダプタを含んでよい。
【００１８】
記憶部３０は、本発明の機能を実現するアバター編集プログラム３９を記憶する。また、基本アバターテーブル３１、音声テーブル３２、パーツテーブル３３、動作付きアバターテーブル３４、楽曲コンテンツテーブル３５を有する。各テーブルの詳細については後述する。
記憶部３０は、制御部１０と組み合わせてプログラムの実行に使用するメモリを含んでよい。記憶部３０を実現するものとして、電気的、磁気的、光学的、電磁的に実現するものを含んでよい。より具体的には、半導体記憶装置、磁気ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、リードオンリー・メモリ（ＲＯＭ）等が含まれる。アバター編集サーバ３と外部接続することができる磁気テープ、ＣＤ−ＲＯＭとＣＤ−Ｒ／ＷとＤＶＤとを含む光ディスクや、メモリカード等の補助記憶装置も含む概念である。
【００１９】
次に、生成した動作付きアバターを端末７の表示部４０に表示する例について説明する。
図２は、本実施形態に係る表示部４０に表示されるＴＯＰページ５０を示す図である。
ＴＯＰページ５０は、アバター編集サーバ３から配信され、例えば、端末７に備えられたブラウザの機能を用いて表示部４０に表示されたウェブページである。ＴＯＰページ５０の上部左方には、このＴＯＰページ５０が提供するサービスの名称である「○○○○！」の文字と、その右方に、ユーザのユーザ名５１Ａ及びユーザのアバター５１Ｂを含むユーザ部５１とが表示されている。また、ＴＯＰページ５０は、フレーム分割がされており、左側のフレームには、メニュー部５２が配置されている。メニュー部５２から、ユーザが、端末７の操作部４１を操作して好みのメニューを選択することで、メニュー部５２の右側のフレームのメイン部５３に、選択されたメニューに関する情報が表示される。
【００２０】
メイン部５３は、コンテンツ情報表示部５４、コンテンツ部５５、歌選択メニュー部５６、ブログパーツ選択メニュー部５７、評価部５８、コメント表示部５９が、各々配置されている。
コンテンツ情報表示部５４は、コンテンツ部５５に表示されたコンテンツに関する情報として、例えば、曲名、コンテンツの位置情報、コンテンツのタグ情報等を表示する。
制御部１０は、コンテンツ部５５に、例えば、Ｆｌａｓｈ（登録商標）を用いてコンテンツを表示する。その場合、コンテンツは、Ｆｌａｓｈを用いて再生するため、「．ｓｗｆ」の拡張子であるデータを用いることで、端末７で処理をしながらコンテンツを再生することができる。ここで、コンテンツとは、アバター編集サーバ３の制御部１０（再生データ送信部１７）により送信された音声データと、動作付きのアバターのデータとに基づき、端末７の表示部４０で再生されるものをいう。
歌選択メニュー部５６は、歌声を録音して音声データを取得するための楽曲や、他人のコンテンツを選択するメニューを表示する。
【００２１】
ブログパーツ選択メニュー部５７は、このＴＯＰページ５０を他のブログに貼り付けるためのＴＯＰページ５０のネットワーク上の位置データを含むＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）タグを表示する。
評価部５８は、コンテンツを閲覧したユーザによる、再生したコンテンツに対する評価を、一見して把握できるように、例えば、レーダーチャートの形式で表示する。また、操作部４１を操作して、評価を評価部５８に入力して送信することで、アバター編集サーバ３は、ユーザからの評価を反映する。
コメント表示部５９は、寄せ書きのように、端末７でコンテンツを視聴したユーザが、コンテンツに関する感想や意見をコメントとして記載して登録することで、コンテンツに関するコメントを表示する。
【００２２】
次に、歌選択メニュー部５６について説明する。歌選択メニュー部５６には、「１人で歌う」メニュー５６Ａと、「今見ている動画に声を重ねる」メニュー５６Ｂとが設けられている。歌選択メニュー部５６のメニュー５６Ａを選択することで、制御部１０は、表示部４０に、例えば、別ページを表示して、コンテンツ情報表示部５４に示された楽曲のカラオケを再生する。楽曲のカラオケは、後述する楽曲コンテンツテーブル３５に記憶された楽曲データを用いて実現できる。そして、アバター編集サーバ３は、端末７のマイク４３（図１）からの音声の入力を受け付け可能にする。その後、アバター編集サーバ３は、受け付けた音声データを、音声テーブル３２に記憶する。
【００２３】
また、メニュー５６Ｂを選択することで、表示部４０に、例えば、別ページが表示され、コンテンツ部５５に表示された再生中のコンテンツと再生中のコンテンツの歌詞とが表示される。そして、アバター編集サーバ３は、端末７のマイク４３からの音声の入力を受け付け可能にする。その後、アバター編集サーバ３は、端末７から受け付けた音声データを、再生中のコンテンツの音声データに対応付けて、音声テーブル３２に記憶する。
なお、歌声を録音して音声データを取得することは、歌選択メニュー部５６から行う以外に、メニュー部５２から表示された投稿可能曲のリストを選択して、そこから楽曲のカラオケを再生して行ってもよい。
【００２４】
ここで、コンテンツ部５５に表示するコンテンツを構成する、アバターを格納する基本アバターテーブル３１、音声データを格納した音声テーブル３２、楽曲のデータを格納した楽曲コンテンツテーブル３５について説明する。
図３は、本実施形態に係る基本アバターテーブル３１、音声テーブル３２及び楽曲コンテンツテーブル３５を示す図である。
【００２５】
図３（ａ）の基本アバターテーブル３１は、ユーザ及びユーザに対応するアバターに関するデータを記憶するテーブルであり、ユーザＩＤ３１１、アバターＩＤ３１２、基本アバター画像３１３、ページデータ３１４の各項目からなる。
ユーザＩＤ３１１には、ユーザを一意に表す記号を格納する。アバターＩＤ３１２には、ユーザに対応するアバターを一意に表す記号を格納する。基本アバター画像３１３には、アバターＩＤに対応するユーザのアバターの画像データを格納する。
【００２６】
ページデータ３１４には、ユーザに関する情報が掲載されたページであるマイページのページデータを格納する。マイページは、ウェブページの一種であり、そのユーザのお気に入りのコンテンツやそのコンテンツの評価等を掲載するものである。アバターには、そのアバターに対応したマイページを表示する機能を有することで、例えば、コンテンツの作成ユーザの詳細を知りたい場合に、ユーザが、操作部４１によりコンテンツ上のアバターを選択することで、このマイページを表示することができる。このように、制御部１０は、選択されたアバターのマイページを表示することで、ユーザは、そのユーザのお気に入りのコンテンツや、そのユーザが作成した他のコンテンツ等の情報を簡単に知ることができる。そして、ユーザは、他のユーザのお気に入りのコンテンツから、新たに気に入るコンテンツを見つけることができる。
【００２７】
図３（ｂ）の音声テーブル３２は、コンテンツを記述する音声データに関するデータを記憶するテーブルであり、音声ＩＤ３２１、楽曲コンテンツＩＤ３２２、ユーザＩＤ３２３、音声データ３２４、評価データ３２５、コピー元音声ＩＤ３２６の各項目からなる。
音声ＩＤ３２１には、音声データ３２４に格納する音声データを一意に表す記号を格納する。音声ＩＤ３２１に格納する音声ＩＤは、例えば、音声データを受け付けた都度、制御部１０が新たな記号を付与する。楽曲コンテンツＩＤ３２２には、次に説明する図３（ｃ）の楽曲コンテンツテーブル３５に対応する楽曲コンテンツを一意に表す記号を格納する。ユーザＩＤ３２３には、図３（ａ）の基本アバターテーブル３１に対応するユーザを一意に表す記号を格納する。音声データ３２４には、受け付けた音声データそのものを格納する。音声データは、例えば、拡張子が「．ｍｐ３」で表される形式のデータである。評価データ３２５には、後述する音声データに記憶された歌の上手さの度合いに応じて格納される評価値を格納する。コピー元音声ＩＤ３２６には、コンテンツをコピーした場合の元になる音声ＩＤが格納される。コンテンツのコピーについては、後述する。
【００２８】
図３（ｃ）の楽曲コンテンツテーブル３５は、いわゆるカラオケ演奏を行うための楽曲コンテンツに関するデータを記憶するテーブルであり、楽曲コンテンツＩＤ３５１と楽曲データ３５２の項目からなる。
楽曲コンテンツＩＤ３５１には、楽曲コンテンツを一意に表す記号を格納する。また、楽曲データ３５２には、楽曲を出力するためのデータを格納する。楽曲データ３５２に格納するデータは、例えば、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔｓ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）形式である。また、楽曲データ３５２に格納するデータは、テロップとして歌詞を表示するための歌詞のデータ及びテロップを切り替えるための位置データに関連付けられている。
【００２９】
次に、アバター編集サーバ３におけるアバター投稿処理の流れを説明する。
図４は、本実施形態に係るアバター投稿処理のフローチャートである。アバター投稿処理により、端末７において、図２で示すＴＯＰページ５０のコンテンツ部５５に、投稿したアバターのコンテンツを表示できる。
まず、ステップＳ１では、制御部１０は、投稿する楽曲を受け付ける。つまり、ユーザが歌いたい楽曲を決定する。楽曲は、例えば、図２の歌選択メニュー部５６やメニュー部５２から受け付けることができる。
次に、ステップＳ２では、制御部１０は、楽曲コンテンツテーブル３５（図３）に記憶された該当の楽曲データを再生する。
【００３０】
ステップＳ３では、制御部１０（音声受付部１１）は、端末７から音声データを受け付ける。つまり、制御部１０は、端末７から受信した音声データを記憶（録音）する。
【００３１】
ここで、音声データを受け付ける録音ページ６０について説明する。
図５は、本実施形態に係る録音ページ６０を示す図である。
図５（ａ）は、楽曲を受け付けたことで、表示部４０（図１）に表示される録音ページ６０を示す。録音ページには、殺風景な背景６２をバックに、ユーザのアバター６１（画像データ）がページの中央に表示されている。ユーザのアバター６１は、基本アバターテーブル３１（図３）のユーザＩＤ３１１に対応する基本アバター画像３１３に格納されたアバターの画像データである。また録音ページ６０の下方には、録音時間表示部６３、ステータスバー６４、録音開始ボタン６５が表示されている。録音時間表示部６３は、楽曲の全体の時間の長さと、そのうちの録音時間とを表示する。この例では、全体の長さが２分間であり、録音時間が録音開始前のため０であることを示す。また、録音時間表示部６３に対応して、ステータスバー６４が表示されている。録音開始ボタン６５は、操作部４１（図１）を操作して押下することで、次に説明する録音停止ボタン６６に変更される。また、録音開始ボタン６５が押下されたタイミングで、楽曲の出力を開始すると共に、録音を開始する。
【００３２】
図５（ｂ）は、録音途中の録音ページ６０を示す。背景６２は、録音中の音声データから判断された歌の上手さの度合いによって変更される。歌の上手さの度合いは、手本になる歌のリズム、音程等を基準にして音声データのずれ具合により制御部１０が判断する。制御部１０は、歌の上手さの度合いが高いと判断した場合には、背景６２を、より華やかなものに変更し、アバターが豪華なステージで歌っているかのような演出をする。他方、制御部１０は、歌の上手さの度合いが低いと判断した場合には、背景６２を、より質素なものに変更する。録音ページの下方の録音時間表示部６３及びステータスバー６４は、楽曲の途中であることを示している。また、録音ページ６０には、現時点での歌詞６７が表示され、楽曲に合わせて歌詞を出力する。さらに、図５（ａ）の録音開始ボタン６５の位置には、録音停止ボタン６６が表示されている。
【００３３】
図５（ｃ）は、楽曲の出力が終了した時点での録音ページ６０を示す。背景６２は、歌い終わった時点において、録音した音声データから最終的な歌の上手さの度合いによって変更される。なお、最終的な歌の上手さの度合いである評価値は、音声データと共に図３で説明した音声テーブル３２の評価データ３２５に記憶される。録音ページの下方の録音時間表示部６３及びステータスバー６４は、楽曲の出力が終了したことを示している。また、図５（ｂ）の録音停止ボタン６６が削除され、代わって決定ボタン６８が表示される。
【００３４】
図４に戻り、ステップＳ４では、制御部１０（タイムライン生成部１２）は、タイムラインを生成して端末７に送信する。
【００３５】
ここで、端末７の表示部４０に表示されるアクション作成ページ７０について説明する。
図６は、本実施形態に係るアクション作成ページ７０を示す図である。
アクション作成ページ７０は、ページの上方に配置された検索部７１と、その下方に設けられたアクション作成部７２とからなり、視覚的に表示された音声データを見ながら、ユーザがアバターにアクション（動作）を付与して、動作付きのアバターを生成して、アバターを躍らせるような演出を行うためのページである。検索部７１は、後からアバターにアクションを付けたい場合等に、ユーザ名や曲名を入れて検索するためのものである。そして、制御部１０は、検索結果の音声データを記憶部３０から読み出して、タイムラインを生成して表示する。
【００３６】
アクション作成部７２は、楽曲の曲名や音声データの元である発声元のユーザ名等を表示する曲名部７３と、音声データに合わせてアクションを付けるためのタイムライン部７４（タイムライン）とからなる。タイムライン部７４は、楽曲の長さを横軸に表して、曲の拍や小節の単位で区切りの印を入れて表示する。タイムライン部７４は、縦軸側に、上から下に向かって、アバターにアクションを付与するためのアクション構成部７５、音声データを視覚的に表示する音声表示部７６、曲の歌詞を表示する歌詞表示部７７を有する。音声表示部７６には、録音した音声データを分析して、例えば、音量や音の高低を波形を表示させる。歌詞表示部７７には、上述した楽曲データに関連付けられたテロップとして歌詞を表示するための歌詞のデータと、テロップを切り替えるための位置データとを用いて、歌詞を表示させる。
【００３７】
アクション構成部７５には、ユーザが操作部４１を操作することで、好みの場所にアクション選択ボックス７８を表示させる。そして、好きなアクション名を選択して、アクション構成部７５に貼り付けることで、アクション構成部７５には、アクション名（動作付与表示）が配置される。このようにすることで、アバターを構成するパーツに、該当のアクションを付けることができる。アクション選択ボックス７８には、パーツテーブル３３に記憶されたものを表示させる。
【００３８】
ここで、パーツテーブル３３について説明する。
図７は、本実施形態に係るパーツテーブル３３を示す図である。
パーツテーブル３３は、パーツＩＤ３３１、アクション名３３２、パーツデータ３３３の各項目からなる。
パーツＩＤ３３１には、アクションのパーツを一意に表す記号を格納する。アクション名３３２には、アクション構成部７５（図６）に表示するアクションの名称を格納する。また、アクション選択ボックス７８（図６）には、このアクション名３３２に格納されたアクション名を表示する。パーツデータ３３３には、座標データの形態であるパーツのアクション自体のデータを格納する。
【００３９】
図６に戻って、アクション構成部７５に配置するアクションの長さは、操作部４１を操作することで、好みの長さに変更できる。また、アクション構成部７５に配置するアクションは、一度貼り付けたパーツを操作部４１の操作によって移動することができる。さらに、同じタイミングの場所に、複数のアクションを付与することもできる。例えば、手を挙げるというアバターの手に関する動作と、歩くという足に関する動作とであれば、同じタイミングの場所に付与することができる。プレビューボタン７９は、ユーザが確認できるように、付与したアクションを再生するためのボタンである。決定ボタン８０は、アクション構成部７５に付与したアクションを、動作データとしてアバター編集サーバ３に送信するためのボタンである。
【００４０】
このように、アバター編集サーバ３は、音声データの再生位置を視覚的に表示するタイムライン部７４を含むアクション作成ページ７０を生成して端末７に出力するので、端末７のユーザは、アクション名をアクション構成部７５上に配置することができ、配置したアクション名に対応する動作データを端末７から受け付けることで、好みの動作をアバターに与えることができる。よって、アクション構成部７５上にアクション名を配置するという、直感的に分かり易く、しかもユーザにとって簡単なユーザインタフェースを用いて、動作付きのアバターを生成することができる。
また、アバター編集サーバ３は、アクション構成部７５上の同一の範囲に複数のアクション名を配置できるので、様々な複雑な動作をアバターに付与することができる。
さらに、アバター編集サーバ３は、端末７から受け付けた音声データとアバターの画像データとを関連付けるので、動作を加えることで、アバターに、歌い、踊っているかのような演出を与えることができる。
【００４１】
図４に戻り、ステップＳ５では、制御部１０（動作データ受付部１４）は、端末７から動作データを受け付ける。具体的には、上述の図６のように、端末７で決定ボタン８０が選択されたことで動作データが送信されるため、制御部１０は、その動作データを受け付ける。
ステップＳ６では、制御部１０（アバター生成部１５）は、動作付きアバター生成処理を行う。
【００４２】
ここで、動作付きアバター生成処理について説明する。
図８は、本実施形態に係る動作付きアバター生成処理のフローチャートである。
まず、ステップＳ１１では、アバター生成部１５は、動作データに含む動作付与表示から、当該動作付与表示に対応するパーツデータを、パーツテーブル３３から抽出する。
ステップＳ１２では、アバター生成部１５は、パーツデータに対して連続動作を表現するパーツの座標データをレンダリングして、アバターを生成する。そして、アバター生成部１５は、生成したアバターの動作データを、動作付きアバターテーブル３４に記憶する。
【００４３】
ここで、動作付きアバターテーブル３４について説明する。
図９は、本実施形態に係る動作付きアバターテーブル３４を示す図である。
動作付きアバターテーブル３４は、アバターＩＤ３４１、音声ＩＤ３４２、時間位置３４３、アバター動作データ３４４の各項目からなる。
アバターＩＤ３４１には、図３（ａ）の基本アバターテーブル３１に対応するアバターを一意に表す記号を格納する。音声ＩＤ３４２には、図３（ｂ）の音声テーブル３２に対応する音声データを一意に表す記号を格納する。時間位置３４３には、秒単位での時間を格納する。アバター動作データ３４４には、座標データの形態であるアバターのアクション自体のデータを格納する。
【００４４】
ステップＳ１３では、アバター生成部１５は、全ての動作データに対して処理をしたか否かを判断する。全ての動作データに対して処理を行った場合（ステップＳ１３：ＹＥＳ）には、アバター生成部１５は、処理をステップＳ１４に移す。他方、全ての動作データに対して処理を行っていない場合（ステップＳ１３：ＮＯ）には、アバター生成部１５は、処理をステップＳ１１に移す。
ステップＳ１４では、アバター生成部１５は、タイムライン上に隣り合って配置された動作付与表示があるか否かを判断する。タイムライン上に隣り合って配置された動作付与表示がある場合（ステップＳ１４：ＹＥＳ）には、アバター生成部１５は、処理をステップＳ１５に移す。他方、タイムライン上に隣り合って配置された動作付与表示がない場合（ステップＳ１４：ＮＯ）には、アバター生成部１５は、本処理を終了する。
ステップＳ１５では、アバター補完部１５Ａは、隣り合って配置されたアバターの間を補完するアバターを生成する。そして、アバター生成部１５は、生成したアバターの動作データを、動作付きアバターテーブル３４に記憶する。その後、アバター生成部１５は、本処理を終了する。
【００４５】
次に、レンダリング処理及び補完処理について説明する。
図１０は、本実施形態に係るレンダリング処理及び補完処理の説明のための図である。
図１０（ａ）は、連続する動作のレンダリング処理の方法を模式化したものであり、丸８２と棒８３とで表された部分は、アバターの腕の部分であり、丸８２が関節等を、棒８３が骨等を示す。時間の経過と共に、丸８２と棒８３とが移動することで、手を振る動作を表現する。このアバターの腕のパーツの座標データに、ポリゴンを用いて肉付けして、画像を描画する。
図１０（ｂ）は、アバターの動作を補完する補完処理を説明する図である。例えば、図６に示す例では、アクション構成部７５に配置したアクションのうち「Ａｃｔｉｏｎ１」と「Ａｃｔｉｏｎ５」とは隣り合ったアクションである。ここで、「Ａｃｔｉｏｎ１」の最後のアクション（＃１）と、「Ａｃｔｉｏｎ５」の最初のアクション（＃２）とのパーツの位置が離れている場合、その間のアクションがないと、滑らかな動きにならない。そこで、隣り合ったアクションの間を補完するアクションを生成する。（＃１）の座標データと（＃２）の座標データとから、中間の位置の座標データを作成する。このように、中間の座標データにより、滑らかな動きを演出できる。
【００４６】
図４に戻り、ステップＳ７では、制御部１０は、端末７に対して再生データを送信する。再生データは、座標データからなるデータであり、再生データを受信した端末７は、座標データから画像データを生成して表示部４０に表示する。例えば、図６のプレビューボタン７９を選択したことで、制御部１０は、上述のステップＳ５からこのステップＳ７までの処理を行う。
ステップＳ８では、制御部１０は、端末７からアバターの投稿を受け付ける。例えば、図６の決定ボタン８０を選択したことで、制御部１０は、このステップＳ８の処理を行う。その後、制御部１０は、本処理を終了する。
【００４７】
このように、アバターの投稿を受け付けたことで、アバター編集サーバ３は、生成した動作付きのアバターと音声データとを、音声データを送信した端末７とは異なる端末７に送信するので、異なる端末７を操作するユーザは、音声データを送信したユーザが作成した動作付きのアバターと音声データとからなるコンテンツを、視聴することができる。
【００４８】
次に、アバター合成処理について説明する。
図１１は、本実施形態に係るアバター合成処理のフローチャートである。
ここで、アバター合成処理とは、再生中のコンテンツに、端末７から受け付けた音声データを追加するものであり、あたかも、再生中のコンテンツに対してハモリを加えたり、デュエットをしたりしたかのような演出を行うものである。例えば、図２において、メニュー５６Ｂを選択した場合に行われる。なお、本処理の説明中、再生中のコンテンツを作成したユーザの端末を、端末７Ａ、再生中のコンテンツに音声データを追加するユーザの端末を、端末７Ｂと記載して区別する。
【００４９】
まず、ステップＳ２１では、制御部１０は、端末７Ｂから音声データを受け付ける。
次に、ステップＳ２２では、制御部１０は、端末７Ａのユーザが作成したコンテンツであり、端末７Ｂで再生中のコンテンツをコピーする。具体的には、図３（ｂ）の音声テーブル３２の音声ＩＤ３２１に記憶された該当の音声データの音声ＩＤを、コピー元音声ＩＤ３２６に記憶したレコードを新たに作成して、作成したレコードの音声ＩＤ３２１に、新たな音声ＩＤを付与する。
【００５０】
ステップＳ２３では、制御部１０は、受け付けた音声データを、コピーしたコンテンツに追加する。具体的には、新たな音声ＩＤを付与したレコードの音声データ３２４に、受け付けた音声データを格納する。
ステップＳ２４では、制御部１０（アバター生成部１５）は、音声データの受付元の端末７Ｂのユーザのアバターを、コピーしたコンテンツに追加する。具体的には、新たな音声ＩＤを付与したレコードのユーザＩＤ３２３に、受け付けた端末７ＢのユーザのユーザＩＤを格納する。このようにすることで、新たな音声ＩＤを付与したレコードのコンテンツを再生する場合には、当該レコードと、コピー元音声ＩＤ３２６に格納された音声ＩＤのレコードと、を用いることで、アバターを合成し、音声を合成することができる。その後、制御部１０は、本処理を終了する。
【００５１】
このように、アバター編集サーバ３は、生成した動作付きのアバターと音声データとからなるコンテンツに、音声データを追加し、別のアバターを生成して合成アバターを新たに作成することができる。よって、元の楽曲にハモリを加えたり、合唱やデュエット等をしたりする様子を演出できる。
【００５２】
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、実施形態に記載した効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載したものに限定されない。なお、上述した実施形態及び後述する変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。
【００５３】
（変形形態）
（１）本実施形態において、アバターに動作を付与するアクションは、アクション選択ボックスに表示される予め決められたものから選択する例を示したが、これに限定されない。例えば、会員や所定の回数投稿した場合等、特典を満たした場合に、アクション選択ボックスに表示されるアクションの種類を増やしてもよい。
（２）本実施形態において、アバター合成処理では、アバターを追加する例を示したが、これに限定されない。例えば、アバターよりも画像データ量の少ないユーザの静止画等を追加することで、サーバの処理の負荷を軽減できる。
（３）本実施形態において、各種テーブルを用いてサーバでの処理を説明したが、テーブルの構成等はこれに限定されない。本機能を実現できるものであれば、テーブルの構成はどのようなものであってもよい。
【図面の簡単な説明】
【００５４】
【図１】本実施形態に係るアバターシステムの構成及びアバター編集サーバの機能ブロックを示す図である。
【図２】本実施形態に係る表示部に表示されるＴＯＰページを示す図である。
【図３】本実施形態に係る基本アバターテーブル、音声テーブル及び楽曲コンテンツテーブルを示す図である。
【図４】本実施形態に係るアバター投稿処理のフローチャートである。
【図５】本実施形態に係る録音ページを示す図である。
【図６】本実施形態に係るアクション作成ページを示す図である。
【図７】本実施形態に係るパーツテーブルを示す図である。
【図８】本実施形態に係る動作付きアバター生成処理のフローチャートである。
【図９】本実施形態に係る動作付きアバターテーブルを示す図である。
【図１０】本実施形態に係るレンダリング処理及び補完処理の説明のための図である。
【図１１】本実施形態に係るアバター合成処理のフローチャートである。
【符号の説明】
【００５５】
１ アバターシステム
３ アバター編集サーバ
７、７Ａ、７Ｂ 端末
１０ 制御部
１１ 音声受付部
１２ タイムライン生成部
１４ 動作データ受付部
１５ アバター生成部
１５Ａ アバター補完部
１７ 再生データ送信部
２５ 通信インタフェース部
３０ 記憶部
３１ 基本アバターテーブル
３２ 音声テーブル
３３ パーツテーブル
３４ 動作付きアバターテーブル
３５ 楽曲コンテンツテーブル
３９ アバター編集プログラム
４０ 表示部
４１ 操作部
４２ スピーカ
４３ マイク
７０ アクション作成ページ
７５ アクション構成部
【技術分野】
【０００１】
本発明は、アバターを編集するアバター編集サーバ及びアバター編集プログラムに関する。
【背景技術】
【０００２】
従来、ユーザの分身であるキャラクタ画像のアバターを、ユーザの端末に対して通信ネットワークを介して接続されたサーバに記憶して、アバターをブログ等のユーザ自身の自己紹介ページに配置することで、コミニュケーションツールとして他の端末に自己紹介ページを表示させることが行われている。また、アバターの用途は、ブログ等に限らない。例えば、バーチャルなミーティングルームに、ユーザが所望のコンテンツと、そのユーザのアバターとを表示して、アバターが、コンテンツを視聴しているかのように表現したコンテンツの配信を行うコンテンツ視聴システムが提案されている（例えば、特許文献１）。
【特許文献１】特開２００７−１１５１１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１に記載のコンテンツ視聴システムは、アバター等の画像データと、ユーザが所望の音声等の音声データを含むコンテンツとを表示し、アバターが所定の動作をしたときに、コンテンツの表示を開始する。よって、特許文献１に記載のコンテンツ視聴システムにおいて、アバターは、コンテンツの表示の開始時に、視覚的な演出をするための画像にすぎず、面白さに欠けるものであった。
そこで、本発明は、多様な演出により面白さを向上させたアバターを表示するアバター編集サーバ及びアバター編集プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００４】
本発明は、以下のような解決手段により、前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。また、符号を付して説明した構成は、適宜改良してもよく、また、少なくとも一部を他の構成物に代替してもよい。
【０００５】
請求項１の発明は、端末（７）に対して通信ネットワーク（５）を介して接続され、前記端末で再生するアバターを編集するアバター編集サーバ（３）において、前記端末のアバターの基本になる画像データを記憶する基本アバター記憶部（３１）と、前記端末から送信された音声データを受け付ける音声受付部（１１）と、前記音声受付部により受け付けた前記音声データを、前記基本アバター記憶部に記憶された前記画像データに関連付けて記憶する音声記憶部（３２）と、前記端末からの操作に応じて、前記音声記憶部に記憶された前記音声データに関連付けられた前記画像データに動作を加えて、動作付きのアバターを生成するアバター生成部（１５）と、を備えること、を特徴とするアバター編集サーバである。
請求項２の発明は、請求項１に記載のアバター編集サーバ（３）において、前記音声記憶部（３２）に記憶された前記音声データの再生位置を視覚的に表示するタイムラインを生成して、前記端末（７）に出力するタイムライン生成部（１２）と、前記アバターを構成するパーツであるパーツデータを記憶するパーツ記憶部（３３）と、前記端末で前記パーツに動作を付与するための表示である動作付与表示が前記タイムラインの上に配置されたことに応じて、前記動作付与表示と前記動作付与表示に対応する前記再生位置とを含む動作データを、前記端末から受け付ける動作データ受付部（１４）と、を備え、前記アバター生成部（１５）は、前記動作データ受付部により受け付けた前記動作データに基づき、前記画像データを構成する前記パーツデータに動作を加えて動作付きのアバターを生成すること、を特徴とするアバター編集サーバである。
請求項３の発明は、請求項２に記載のアバター編集サーバ（３）において、前記パーツ記憶部（３３）に記憶された前記パーツデータは、座標データの形態のものであり、前記アバター生成部（１５）は、前記動作データに含む前記動作付与表示から前記動作付与表示に対応する前記パーツデータを前記パーツ記憶部から抽出し、抽出した前記パーツデータに対して連続動作を表現するパーツの前記座標データをレンダリングして、前記アバターを生成すること、を特徴とするアバター編集サーバである。
請求項４の発明は、請求項２又は請求項３に記載のアバター編集サーバ（３）において、前記動作データ受付部（１４）は、前記端末（７）において異なる動作を示す複数の前記動作付与表示を前記タイムラインの上の同一の範囲に配置した前記動作データを、前記端末から受け付けること、を特徴とするアバター編集サーバである。
請求項５の発明は、請求項２から請求項４のいずれか１項に記載のアバター編集サーバ（３）において、前記動作データ受付部（１４）は、前記端末（７）において異なる動作を示す複数の前記動作付与表示を、前記タイムラインの上に複数配置した前記動作データを、前記端末から受け付け、前記アバター生成部（１５）は、前記タイムラインの上に隣り合って配置された２つの前記動作付与表示に対応する前記動作データに基づき前記動作付きのアバターを生成し、生成した前記動作付きのアバターを連続して動作をさせるように、生成した２つの前記動作付きのアバターの間を補完する前記動作付きのアバターを生成するアバター補完部（１５Ａ）を備えること、を特徴とするアバター編集サーバである。
請求項６の発明は、請求項１から請求項５のいずれか１項に記載のアバター編集サーバ（３）において、前記通信ネットワーク（５）を介して接続された他の端末（７）からの前記アバターの表示要求を受け付けることで、前記アバター生成部（１５）により生成された前記動作付きのアバターと、前記アバターに対応付けて前記音声記憶部（３２）に記憶された音声データとを前記他の端末に再生可能に送信する再生データ送信部（１７）を備えること、を特徴とするアバター編集サーバである。
請求項７の発明は、請求項６に記載のアバター編集サーバ（３）において、前記音声受付部（１１）は、前記再生データ送信部（１７）により送信され、前記他の端末（７）で再生された音声データに対応する他の音声データを受け付け、前記音声記憶部（３２）は、前記他の音声データを、前記音声データに対応付けて記憶すること、を特徴とするアバター編集サーバである。
請求項８の発明は、請求項７に記載のアバター編集サーバ（３）において、前記アバター生成部（１５）は、前記他の端末（７）のアバターを生成して、前記端末（７）の前記動作付きのアバターに対して合成して、合成アバターを新たに生成すること、を特徴とするアバター編集サーバである。
請求項９の発明は、請求項７に記載のアバター編集サーバ（３）において、前記アバター生成部（１５）は、前記基本アバター記憶部（３１）に記憶された前記他の端末（７）の前記画像データを、前記端末（７）の前記動作付きのアバターと共に表示するように合成アバターを生成すること、を特徴とするアバター編集サーバである。
【０００６】
請求項１０の発明は、端末（７）に対して通信ネットワーク（５）を介して接続され、前記端末（７）で再生するアバターを編集するアバター編集サーバ（３）が、前記端末のアバターの基本になる画像データを記憶する基本アバター記憶部（３１）を備え、前記アバター編集サーバにおいて実行されるアバター編集プログラム（３９）であって、前記アバター編集サーバを、前記端末から送信された音声データを受け付ける音声受付手段と、前記音声受付手段により受け付けた前記音声データを、前記基本アバター記憶部に記憶された前記画像データに関連付けて音声記憶部（３２）に記憶させる音声記憶手段と、前記端末からの操作に応じて、前記音声記憶部に記憶された前記音声データに関連付けられた前記画像データに動作を加えて、動作付きのアバターを生成するアバター生成手段と、して機能させること、を特徴とするアバター編集プログラムである。
【発明の効果】
【０００７】
本発明によれば、以下の効果を奏することができる。
（１）本発明は、音声データを端末から受け付けたことで、端末とその端末のアバターの基本になる画像データと関連付け、端末からの操作に応じて、画像データに動作を加えて動作付きのアバターを生成する。よって、音声データに動作付きの画像データを関連付けることができるので、アバターに、歌い、踊っているかのような面白い演出をさせることができる。
【０００８】
（２）本発明は、音声データの再生位置を視覚的に表示するタイムラインを生成して端末に出力するので、端末のユーザは、アバターを構成するパーツに動作を付与するための動作付与表示をタイムライン上に配置することができる。また、本発明は、配置した動作付与表示に対応する動作データを端末から受け付けることで、好みの動作をアバターに与えることができる。よって、タイムライン上に動作付与表示を配置するという、直感的に分かり易く、しかもユーザにとって簡単なユーザインタフェースを用いて、動作付きのアバターを生成することができる。
【０００９】
（３）本発明は、座標データの形態であるパーツデータを用いて、動作付きアバターを生成するので、端末７において、生成されたアバターを端末７で再生することができる。
（４）本発明は、タイムライン上の同一の範囲に複数の動作付与表示を配置できるので、様々な複雑な動作をアバターに付与することができる。
（５）本発明は、タイムライン上に隣り合って配置された２つの動作付与表示から生成した動作付きのアバターを補完する動作付きのアバターをさらに生成するので、タイムライン上に隣り合って配置された２つの動作の間を滑らかにつなぐことができる。
【００１０】
（６）本発明は、生成した動作付きのアバターと音声データとを、音声データを送信した端末とは異なる端末に送信するので、ユーザが作成した動作付きのアバターと音声データとからなるコンテンツを、他のユーザが視聴することができる。
（７）本発明は、生成した動作付きのアバターと音声データとからなるコンテンツに、音声データを追加し、別のアバターを生成して合成アバターを新たに作成する。よって、元の楽曲にハモリを加えたり、合唱やデュエット等をしたりする様子を演出できる。また、別のアバターに代えて、画像データを追加することで、アバター編集サーバの処理の負荷を軽減しつつ、ハモリやデュエット等を演出できる。
【発明を実施するための最良の形態】
【００１１】
本発明は、多様な演出により面白さを向上させたアバターを表示するアバター編集サーバ及びアバター編集プログラムを提供するという目的を、端末に対して通信ネットワークを介して接続され、端末で再生するアバターを編集するアバター編集サーバが、端末のアバターの基本になる画像データを記憶する基本アバター記憶部と、端末から送信された音声データを受け付ける音声受付部と、音声受付部により受け付けた音声データを、基本アバター記憶部に記憶された画像データに関連付けて記憶する音声記憶部と、端末からの操作に応じて、音声記憶部に記憶された音声データに関連付けられた画像データに動作を加えて、動作付きのアバターを生成するアバター生成部と、を備えることによって実現した。
【００１２】
（実施形態）
以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
図１は、本実施形態に係るアバターシステム１の構成及びアバター編集サーバ３の機能ブロックを示す図である。アバターシステム１は、アバター編集サーバ３と、複数の端末７と、アバター編集サーバ３及び端末７を接続する通信ネットワーク５とを備える。アバターシステム１は、アバター編集サーバ３が、端末７から音声データを受信し、音声データからタイムラインを生成して端末７に送信する。また、アバター編集サーバ３が、端末７から動作データを受け付け、動作付きのアバターを生成して、動作付きのアバターと、音声データとを端末７に送信する。そして、端末７に、動作付きのアバターを表示させる。
【００１３】
なお、本実施形態において、音声データとは、例えば、ユーザの歌声等、端末７のユーザが入力した音に関するデータをいう。また、動作付きアバターとは、３Ｄ（３−Ｄｉｍｅｎｓｉｏｎａｌ）のレンダリングにより、アバターに、動作が追加されたアバターをいう。
【００１４】
アバター編集サーバ３を構成するハードウェアの数に制限はない。必要に応じて、１又は複数で構成してよい。また、アバター編集サーバ３のハードウェアは、必要に応じてＷｅｂ（ウェブ）サーバ、ＤＢ（データベース）サーバ、アプリケーション・サーバ等の各種サーバを含んで構成してよく、１台のサーバで構成しても、それぞれ別のサーバで構成してもよい。さらに、アバター編集サーバ３は、ウェブサービスを行うサーバと同一のサーバでも異なるサーバでもよいが、ここでは、同一のサーバであるものとして説明する。
【００１５】
端末７は、ウェブサービスのコンテンツを表示する表示部４０とユーザが操作可能な操作部４１とを備えたものである。端末７は、パソコン（パーソナルコンピュータ）の他、携帯電話機、携帯情報端末等であってもよい。端末７には、音声を出力するスピーカ４２と、音声を入力するマイク４３とが接続されている。
通信ネットワーク５は、アバター編集サーバ３及び端末７の間の通信を行うための、例えばインターネット等の通信網である。
【００１６】
アバター編集サーバ３は、制御部１０、通信インタフェース部２５及び記憶部３０を備えている。制御部１０は、音声受付部１１、タイムライン生成部１２、動作データ受付部１４、アバター生成部１５、再生データ送信部１７を有する。また、アバター生成部１５は、アバター補完部１５Ａを有する。各手段の詳細については後述する。
制御部１０は、情報の演算、及び処理を行う情報演算処理装置（ＣＰＵ）であり、当該アバター編集サーバ３の全体を制御するものである。制御部１０は、後述する記憶部３０に記憶された各種プログラムを適宜読み出して実行することにより、アバター編集サーバ３のハードウェアと協働し、本発明に係る各種機能を実現している。
【００１７】
通信インタフェース部２５は、当該アバター編集サーバ３を専用ネットワーク又は公共ネットワークを介して端末７や、ウェブサービスを提供する別のサーバと接続できるようにするためのネットワーク・アダプタである。通信インタフェース部２５は、モデム、ケーブルモデム及びイーサネット（登録商標）・アダプタを含んでよい。
【００１８】
記憶部３０は、本発明の機能を実現するアバター編集プログラム３９を記憶する。また、基本アバターテーブル３１、音声テーブル３２、パーツテーブル３３、動作付きアバターテーブル３４、楽曲コンテンツテーブル３５を有する。各テーブルの詳細については後述する。
記憶部３０は、制御部１０と組み合わせてプログラムの実行に使用するメモリを含んでよい。記憶部３０を実現するものとして、電気的、磁気的、光学的、電磁的に実現するものを含んでよい。より具体的には、半導体記憶装置、磁気ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、リードオンリー・メモリ（ＲＯＭ）等が含まれる。アバター編集サーバ３と外部接続することができる磁気テープ、ＣＤ−ＲＯＭとＣＤ−Ｒ／ＷとＤＶＤとを含む光ディスクや、メモリカード等の補助記憶装置も含む概念である。
【００１９】
次に、生成した動作付きアバターを端末７の表示部４０に表示する例について説明する。
図２は、本実施形態に係る表示部４０に表示されるＴＯＰページ５０を示す図である。
ＴＯＰページ５０は、アバター編集サーバ３から配信され、例えば、端末７に備えられたブラウザの機能を用いて表示部４０に表示されたウェブページである。ＴＯＰページ５０の上部左方には、このＴＯＰページ５０が提供するサービスの名称である「○○○○！」の文字と、その右方に、ユーザのユーザ名５１Ａ及びユーザのアバター５１Ｂを含むユーザ部５１とが表示されている。また、ＴＯＰページ５０は、フレーム分割がされており、左側のフレームには、メニュー部５２が配置されている。メニュー部５２から、ユーザが、端末７の操作部４１を操作して好みのメニューを選択することで、メニュー部５２の右側のフレームのメイン部５３に、選択されたメニューに関する情報が表示される。
【００２０】
メイン部５３は、コンテンツ情報表示部５４、コンテンツ部５５、歌選択メニュー部５６、ブログパーツ選択メニュー部５７、評価部５８、コメント表示部５９が、各々配置されている。
コンテンツ情報表示部５４は、コンテンツ部５５に表示されたコンテンツに関する情報として、例えば、曲名、コンテンツの位置情報、コンテンツのタグ情報等を表示する。
制御部１０は、コンテンツ部５５に、例えば、Ｆｌａｓｈ（登録商標）を用いてコンテンツを表示する。その場合、コンテンツは、Ｆｌａｓｈを用いて再生するため、「．ｓｗｆ」の拡張子であるデータを用いることで、端末７で処理をしながらコンテンツを再生することができる。ここで、コンテンツとは、アバター編集サーバ３の制御部１０（再生データ送信部１７）により送信された音声データと、動作付きのアバターのデータとに基づき、端末７の表示部４０で再生されるものをいう。
歌選択メニュー部５６は、歌声を録音して音声データを取得するための楽曲や、他人のコンテンツを選択するメニューを表示する。
【００２１】
ブログパーツ選択メニュー部５７は、このＴＯＰページ５０を他のブログに貼り付けるためのＴＯＰページ５０のネットワーク上の位置データを含むＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）タグを表示する。
評価部５８は、コンテンツを閲覧したユーザによる、再生したコンテンツに対する評価を、一見して把握できるように、例えば、レーダーチャートの形式で表示する。また、操作部４１を操作して、評価を評価部５８に入力して送信することで、アバター編集サーバ３は、ユーザからの評価を反映する。
コメント表示部５９は、寄せ書きのように、端末７でコンテンツを視聴したユーザが、コンテンツに関する感想や意見をコメントとして記載して登録することで、コンテンツに関するコメントを表示する。
【００２２】
次に、歌選択メニュー部５６について説明する。歌選択メニュー部５６には、「１人で歌う」メニュー５６Ａと、「今見ている動画に声を重ねる」メニュー５６Ｂとが設けられている。歌選択メニュー部５６のメニュー５６Ａを選択することで、制御部１０は、表示部４０に、例えば、別ページを表示して、コンテンツ情報表示部５４に示された楽曲のカラオケを再生する。楽曲のカラオケは、後述する楽曲コンテンツテーブル３５に記憶された楽曲データを用いて実現できる。そして、アバター編集サーバ３は、端末７のマイク４３（図１）からの音声の入力を受け付け可能にする。その後、アバター編集サーバ３は、受け付けた音声データを、音声テーブル３２に記憶する。
【００２３】
また、メニュー５６Ｂを選択することで、表示部４０に、例えば、別ページが表示され、コンテンツ部５５に表示された再生中のコンテンツと再生中のコンテンツの歌詞とが表示される。そして、アバター編集サーバ３は、端末７のマイク４３からの音声の入力を受け付け可能にする。その後、アバター編集サーバ３は、端末７から受け付けた音声データを、再生中のコンテンツの音声データに対応付けて、音声テーブル３２に記憶する。
なお、歌声を録音して音声データを取得することは、歌選択メニュー部５６から行う以外に、メニュー部５２から表示された投稿可能曲のリストを選択して、そこから楽曲のカラオケを再生して行ってもよい。
【００２４】
ここで、コンテンツ部５５に表示するコンテンツを構成する、アバターを格納する基本アバターテーブル３１、音声データを格納した音声テーブル３２、楽曲のデータを格納した楽曲コンテンツテーブル３５について説明する。
図３は、本実施形態に係る基本アバターテーブル３１、音声テーブル３２及び楽曲コンテンツテーブル３５を示す図である。
【００２５】
図３（ａ）の基本アバターテーブル３１は、ユーザ及びユーザに対応するアバターに関するデータを記憶するテーブルであり、ユーザＩＤ３１１、アバターＩＤ３１２、基本アバター画像３１３、ページデータ３１４の各項目からなる。
ユーザＩＤ３１１には、ユーザを一意に表す記号を格納する。アバターＩＤ３１２には、ユーザに対応するアバターを一意に表す記号を格納する。基本アバター画像３１３には、アバターＩＤに対応するユーザのアバターの画像データを格納する。
【００２６】
ページデータ３１４には、ユーザに関する情報が掲載されたページであるマイページのページデータを格納する。マイページは、ウェブページの一種であり、そのユーザのお気に入りのコンテンツやそのコンテンツの評価等を掲載するものである。アバターには、そのアバターに対応したマイページを表示する機能を有することで、例えば、コンテンツの作成ユーザの詳細を知りたい場合に、ユーザが、操作部４１によりコンテンツ上のアバターを選択することで、このマイページを表示することができる。このように、制御部１０は、選択されたアバターのマイページを表示することで、ユーザは、そのユーザのお気に入りのコンテンツや、そのユーザが作成した他のコンテンツ等の情報を簡単に知ることができる。そして、ユーザは、他のユーザのお気に入りのコンテンツから、新たに気に入るコンテンツを見つけることができる。
【００２７】
図３（ｂ）の音声テーブル３２は、コンテンツを記述する音声データに関するデータを記憶するテーブルであり、音声ＩＤ３２１、楽曲コンテンツＩＤ３２２、ユーザＩＤ３２３、音声データ３２４、評価データ３２５、コピー元音声ＩＤ３２６の各項目からなる。
音声ＩＤ３２１には、音声データ３２４に格納する音声データを一意に表す記号を格納する。音声ＩＤ３２１に格納する音声ＩＤは、例えば、音声データを受け付けた都度、制御部１０が新たな記号を付与する。楽曲コンテンツＩＤ３２２には、次に説明する図３（ｃ）の楽曲コンテンツテーブル３５に対応する楽曲コンテンツを一意に表す記号を格納する。ユーザＩＤ３２３には、図３（ａ）の基本アバターテーブル３１に対応するユーザを一意に表す記号を格納する。音声データ３２４には、受け付けた音声データそのものを格納する。音声データは、例えば、拡張子が「．ｍｐ３」で表される形式のデータである。評価データ３２５には、後述する音声データに記憶された歌の上手さの度合いに応じて格納される評価値を格納する。コピー元音声ＩＤ３２６には、コンテンツをコピーした場合の元になる音声ＩＤが格納される。コンテンツのコピーについては、後述する。
【００２８】
図３（ｃ）の楽曲コンテンツテーブル３５は、いわゆるカラオケ演奏を行うための楽曲コンテンツに関するデータを記憶するテーブルであり、楽曲コンテンツＩＤ３５１と楽曲データ３５２の項目からなる。
楽曲コンテンツＩＤ３５１には、楽曲コンテンツを一意に表す記号を格納する。また、楽曲データ３５２には、楽曲を出力するためのデータを格納する。楽曲データ３５２に格納するデータは、例えば、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔｓ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）形式である。また、楽曲データ３５２に格納するデータは、テロップとして歌詞を表示するための歌詞のデータ及びテロップを切り替えるための位置データに関連付けられている。
【００２９】
次に、アバター編集サーバ３におけるアバター投稿処理の流れを説明する。
図４は、本実施形態に係るアバター投稿処理のフローチャートである。アバター投稿処理により、端末７において、図２で示すＴＯＰページ５０のコンテンツ部５５に、投稿したアバターのコンテンツを表示できる。
まず、ステップＳ１では、制御部１０は、投稿する楽曲を受け付ける。つまり、ユーザが歌いたい楽曲を決定する。楽曲は、例えば、図２の歌選択メニュー部５６やメニュー部５２から受け付けることができる。
次に、ステップＳ２では、制御部１０は、楽曲コンテンツテーブル３５（図３）に記憶された該当の楽曲データを再生する。
【００３０】
ステップＳ３では、制御部１０（音声受付部１１）は、端末７から音声データを受け付ける。つまり、制御部１０は、端末７から受信した音声データを記憶（録音）する。
【００３１】
ここで、音声データを受け付ける録音ページ６０について説明する。
図５は、本実施形態に係る録音ページ６０を示す図である。
図５（ａ）は、楽曲を受け付けたことで、表示部４０（図１）に表示される録音ページ６０を示す。録音ページには、殺風景な背景６２をバックに、ユーザのアバター６１（画像データ）がページの中央に表示されている。ユーザのアバター６１は、基本アバターテーブル３１（図３）のユーザＩＤ３１１に対応する基本アバター画像３１３に格納されたアバターの画像データである。また録音ページ６０の下方には、録音時間表示部６３、ステータスバー６４、録音開始ボタン６５が表示されている。録音時間表示部６３は、楽曲の全体の時間の長さと、そのうちの録音時間とを表示する。この例では、全体の長さが２分間であり、録音時間が録音開始前のため０であることを示す。また、録音時間表示部６３に対応して、ステータスバー６４が表示されている。録音開始ボタン６５は、操作部４１（図１）を操作して押下することで、次に説明する録音停止ボタン６６に変更される。また、録音開始ボタン６５が押下されたタイミングで、楽曲の出力を開始すると共に、録音を開始する。
【００３２】
図５（ｂ）は、録音途中の録音ページ６０を示す。背景６２は、録音中の音声データから判断された歌の上手さの度合いによって変更される。歌の上手さの度合いは、手本になる歌のリズム、音程等を基準にして音声データのずれ具合により制御部１０が判断する。制御部１０は、歌の上手さの度合いが高いと判断した場合には、背景６２を、より華やかなものに変更し、アバターが豪華なステージで歌っているかのような演出をする。他方、制御部１０は、歌の上手さの度合いが低いと判断した場合には、背景６２を、より質素なものに変更する。録音ページの下方の録音時間表示部６３及びステータスバー６４は、楽曲の途中であることを示している。また、録音ページ６０には、現時点での歌詞６７が表示され、楽曲に合わせて歌詞を出力する。さらに、図５（ａ）の録音開始ボタン６５の位置には、録音停止ボタン６６が表示されている。
【００３３】
図５（ｃ）は、楽曲の出力が終了した時点での録音ページ６０を示す。背景６２は、歌い終わった時点において、録音した音声データから最終的な歌の上手さの度合いによって変更される。なお、最終的な歌の上手さの度合いである評価値は、音声データと共に図３で説明した音声テーブル３２の評価データ３２５に記憶される。録音ページの下方の録音時間表示部６３及びステータスバー６４は、楽曲の出力が終了したことを示している。また、図５（ｂ）の録音停止ボタン６６が削除され、代わって決定ボタン６８が表示される。
【００３４】
図４に戻り、ステップＳ４では、制御部１０（タイムライン生成部１２）は、タイムラインを生成して端末７に送信する。
【００３５】
ここで、端末７の表示部４０に表示されるアクション作成ページ７０について説明する。
図６は、本実施形態に係るアクション作成ページ７０を示す図である。
アクション作成ページ７０は、ページの上方に配置された検索部７１と、その下方に設けられたアクション作成部７２とからなり、視覚的に表示された音声データを見ながら、ユーザがアバターにアクション（動作）を付与して、動作付きのアバターを生成して、アバターを躍らせるような演出を行うためのページである。検索部７１は、後からアバターにアクションを付けたい場合等に、ユーザ名や曲名を入れて検索するためのものである。そして、制御部１０は、検索結果の音声データを記憶部３０から読み出して、タイムラインを生成して表示する。
【００３６】
アクション作成部７２は、楽曲の曲名や音声データの元である発声元のユーザ名等を表示する曲名部７３と、音声データに合わせてアクションを付けるためのタイムライン部７４（タイムライン）とからなる。タイムライン部７４は、楽曲の長さを横軸に表して、曲の拍や小節の単位で区切りの印を入れて表示する。タイムライン部７４は、縦軸側に、上から下に向かって、アバターにアクションを付与するためのアクション構成部７５、音声データを視覚的に表示する音声表示部７６、曲の歌詞を表示する歌詞表示部７７を有する。音声表示部７６には、録音した音声データを分析して、例えば、音量や音の高低を波形を表示させる。歌詞表示部７７には、上述した楽曲データに関連付けられたテロップとして歌詞を表示するための歌詞のデータと、テロップを切り替えるための位置データとを用いて、歌詞を表示させる。
【００３７】
アクション構成部７５には、ユーザが操作部４１を操作することで、好みの場所にアクション選択ボックス７８を表示させる。そして、好きなアクション名を選択して、アクション構成部７５に貼り付けることで、アクション構成部７５には、アクション名（動作付与表示）が配置される。このようにすることで、アバターを構成するパーツに、該当のアクションを付けることができる。アクション選択ボックス７８には、パーツテーブル３３に記憶されたものを表示させる。
【００３８】
ここで、パーツテーブル３３について説明する。
図７は、本実施形態に係るパーツテーブル３３を示す図である。
パーツテーブル３３は、パーツＩＤ３３１、アクション名３３２、パーツデータ３３３の各項目からなる。
パーツＩＤ３３１には、アクションのパーツを一意に表す記号を格納する。アクション名３３２には、アクション構成部７５（図６）に表示するアクションの名称を格納する。また、アクション選択ボックス７８（図６）には、このアクション名３３２に格納されたアクション名を表示する。パーツデータ３３３には、座標データの形態であるパーツのアクション自体のデータを格納する。
【００３９】
図６に戻って、アクション構成部７５に配置するアクションの長さは、操作部４１を操作することで、好みの長さに変更できる。また、アクション構成部７５に配置するアクションは、一度貼り付けたパーツを操作部４１の操作によって移動することができる。さらに、同じタイミングの場所に、複数のアクションを付与することもできる。例えば、手を挙げるというアバターの手に関する動作と、歩くという足に関する動作とであれば、同じタイミングの場所に付与することができる。プレビューボタン７９は、ユーザが確認できるように、付与したアクションを再生するためのボタンである。決定ボタン８０は、アクション構成部７５に付与したアクションを、動作データとしてアバター編集サーバ３に送信するためのボタンである。
【００４０】
このように、アバター編集サーバ３は、音声データの再生位置を視覚的に表示するタイムライン部７４を含むアクション作成ページ７０を生成して端末７に出力するので、端末７のユーザは、アクション名をアクション構成部７５上に配置することができ、配置したアクション名に対応する動作データを端末７から受け付けることで、好みの動作をアバターに与えることができる。よって、アクション構成部７５上にアクション名を配置するという、直感的に分かり易く、しかもユーザにとって簡単なユーザインタフェースを用いて、動作付きのアバターを生成することができる。
また、アバター編集サーバ３は、アクション構成部７５上の同一の範囲に複数のアクション名を配置できるので、様々な複雑な動作をアバターに付与することができる。
さらに、アバター編集サーバ３は、端末７から受け付けた音声データとアバターの画像データとを関連付けるので、動作を加えることで、アバターに、歌い、踊っているかのような演出を与えることができる。
【００４１】
図４に戻り、ステップＳ５では、制御部１０（動作データ受付部１４）は、端末７から動作データを受け付ける。具体的には、上述の図６のように、端末７で決定ボタン８０が選択されたことで動作データが送信されるため、制御部１０は、その動作データを受け付ける。
ステップＳ６では、制御部１０（アバター生成部１５）は、動作付きアバター生成処理を行う。
【００４２】
ここで、動作付きアバター生成処理について説明する。
図８は、本実施形態に係る動作付きアバター生成処理のフローチャートである。
まず、ステップＳ１１では、アバター生成部１５は、動作データに含む動作付与表示から、当該動作付与表示に対応するパーツデータを、パーツテーブル３３から抽出する。
ステップＳ１２では、アバター生成部１５は、パーツデータに対して連続動作を表現するパーツの座標データをレンダリングして、アバターを生成する。そして、アバター生成部１５は、生成したアバターの動作データを、動作付きアバターテーブル３４に記憶する。
【００４３】
ここで、動作付きアバターテーブル３４について説明する。
図９は、本実施形態に係る動作付きアバターテーブル３４を示す図である。
動作付きアバターテーブル３４は、アバターＩＤ３４１、音声ＩＤ３４２、時間位置３４３、アバター動作データ３４４の各項目からなる。
アバターＩＤ３４１には、図３（ａ）の基本アバターテーブル３１に対応するアバターを一意に表す記号を格納する。音声ＩＤ３４２には、図３（ｂ）の音声テーブル３２に対応する音声データを一意に表す記号を格納する。時間位置３４３には、秒単位での時間を格納する。アバター動作データ３４４には、座標データの形態であるアバターのアクション自体のデータを格納する。
【００４４】
ステップＳ１３では、アバター生成部１５は、全ての動作データに対して処理をしたか否かを判断する。全ての動作データに対して処理を行った場合（ステップＳ１３：ＹＥＳ）には、アバター生成部１５は、処理をステップＳ１４に移す。他方、全ての動作データに対して処理を行っていない場合（ステップＳ１３：ＮＯ）には、アバター生成部１５は、処理をステップＳ１１に移す。
ステップＳ１４では、アバター生成部１５は、タイムライン上に隣り合って配置された動作付与表示があるか否かを判断する。タイムライン上に隣り合って配置された動作付与表示がある場合（ステップＳ１４：ＹＥＳ）には、アバター生成部１５は、処理をステップＳ１５に移す。他方、タイムライン上に隣り合って配置された動作付与表示がない場合（ステップＳ１４：ＮＯ）には、アバター生成部１５は、本処理を終了する。
ステップＳ１５では、アバター補完部１５Ａは、隣り合って配置されたアバターの間を補完するアバターを生成する。そして、アバター生成部１５は、生成したアバターの動作データを、動作付きアバターテーブル３４に記憶する。その後、アバター生成部１５は、本処理を終了する。
【００４５】
次に、レンダリング処理及び補完処理について説明する。
図１０は、本実施形態に係るレンダリング処理及び補完処理の説明のための図である。
図１０（ａ）は、連続する動作のレンダリング処理の方法を模式化したものであり、丸８２と棒８３とで表された部分は、アバターの腕の部分であり、丸８２が関節等を、棒８３が骨等を示す。時間の経過と共に、丸８２と棒８３とが移動することで、手を振る動作を表現する。このアバターの腕のパーツの座標データに、ポリゴンを用いて肉付けして、画像を描画する。
図１０（ｂ）は、アバターの動作を補完する補完処理を説明する図である。例えば、図６に示す例では、アクション構成部７５に配置したアクションのうち「Ａｃｔｉｏｎ１」と「Ａｃｔｉｏｎ５」とは隣り合ったアクションである。ここで、「Ａｃｔｉｏｎ１」の最後のアクション（＃１）と、「Ａｃｔｉｏｎ５」の最初のアクション（＃２）とのパーツの位置が離れている場合、その間のアクションがないと、滑らかな動きにならない。そこで、隣り合ったアクションの間を補完するアクションを生成する。（＃１）の座標データと（＃２）の座標データとから、中間の位置の座標データを作成する。このように、中間の座標データにより、滑らかな動きを演出できる。
【００４６】
図４に戻り、ステップＳ７では、制御部１０は、端末７に対して再生データを送信する。再生データは、座標データからなるデータであり、再生データを受信した端末７は、座標データから画像データを生成して表示部４０に表示する。例えば、図６のプレビューボタン７９を選択したことで、制御部１０は、上述のステップＳ５からこのステップＳ７までの処理を行う。
ステップＳ８では、制御部１０は、端末７からアバターの投稿を受け付ける。例えば、図６の決定ボタン８０を選択したことで、制御部１０は、このステップＳ８の処理を行う。その後、制御部１０は、本処理を終了する。
【００４７】
このように、アバターの投稿を受け付けたことで、アバター編集サーバ３は、生成した動作付きのアバターと音声データとを、音声データを送信した端末７とは異なる端末７に送信するので、異なる端末７を操作するユーザは、音声データを送信したユーザが作成した動作付きのアバターと音声データとからなるコンテンツを、視聴することができる。
【００４８】
次に、アバター合成処理について説明する。
図１１は、本実施形態に係るアバター合成処理のフローチャートである。
ここで、アバター合成処理とは、再生中のコンテンツに、端末７から受け付けた音声データを追加するものであり、あたかも、再生中のコンテンツに対してハモリを加えたり、デュエットをしたりしたかのような演出を行うものである。例えば、図２において、メニュー５６Ｂを選択した場合に行われる。なお、本処理の説明中、再生中のコンテンツを作成したユーザの端末を、端末７Ａ、再生中のコンテンツに音声データを追加するユーザの端末を、端末７Ｂと記載して区別する。
【００４９】
まず、ステップＳ２１では、制御部１０は、端末７Ｂから音声データを受け付ける。
次に、ステップＳ２２では、制御部１０は、端末７Ａのユーザが作成したコンテンツであり、端末７Ｂで再生中のコンテンツをコピーする。具体的には、図３（ｂ）の音声テーブル３２の音声ＩＤ３２１に記憶された該当の音声データの音声ＩＤを、コピー元音声ＩＤ３２６に記憶したレコードを新たに作成して、作成したレコードの音声ＩＤ３２１に、新たな音声ＩＤを付与する。
【００５０】
ステップＳ２３では、制御部１０は、受け付けた音声データを、コピーしたコンテンツに追加する。具体的には、新たな音声ＩＤを付与したレコードの音声データ３２４に、受け付けた音声データを格納する。
ステップＳ２４では、制御部１０（アバター生成部１５）は、音声データの受付元の端末７Ｂのユーザのアバターを、コピーしたコンテンツに追加する。具体的には、新たな音声ＩＤを付与したレコードのユーザＩＤ３２３に、受け付けた端末７ＢのユーザのユーザＩＤを格納する。このようにすることで、新たな音声ＩＤを付与したレコードのコンテンツを再生する場合には、当該レコードと、コピー元音声ＩＤ３２６に格納された音声ＩＤのレコードと、を用いることで、アバターを合成し、音声を合成することができる。その後、制御部１０は、本処理を終了する。
【００５１】
このように、アバター編集サーバ３は、生成した動作付きのアバターと音声データとからなるコンテンツに、音声データを追加し、別のアバターを生成して合成アバターを新たに作成することができる。よって、元の楽曲にハモリを加えたり、合唱やデュエット等をしたりする様子を演出できる。
【００５２】
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、実施形態に記載した効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載したものに限定されない。なお、上述した実施形態及び後述する変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。
【００５３】
（変形形態）
（１）本実施形態において、アバターに動作を付与するアクションは、アクション選択ボックスに表示される予め決められたものから選択する例を示したが、これに限定されない。例えば、会員や所定の回数投稿した場合等、特典を満たした場合に、アクション選択ボックスに表示されるアクションの種類を増やしてもよい。
（２）本実施形態において、アバター合成処理では、アバターを追加する例を示したが、これに限定されない。例えば、アバターよりも画像データ量の少ないユーザの静止画等を追加することで、サーバの処理の負荷を軽減できる。
（３）本実施形態において、各種テーブルを用いてサーバでの処理を説明したが、テーブルの構成等はこれに限定されない。本機能を実現できるものであれば、テーブルの構成はどのようなものであってもよい。
【図面の簡単な説明】
【００５４】
【図１】本実施形態に係るアバターシステムの構成及びアバター編集サーバの機能ブロックを示す図である。
【図２】本実施形態に係る表示部に表示されるＴＯＰページを示す図である。
【図３】本実施形態に係る基本アバターテーブル、音声テーブル及び楽曲コンテンツテーブルを示す図である。
【図４】本実施形態に係るアバター投稿処理のフローチャートである。
【図５】本実施形態に係る録音ページを示す図である。
【図６】本実施形態に係るアクション作成ページを示す図である。
【図７】本実施形態に係るパーツテーブルを示す図である。
【図８】本実施形態に係る動作付きアバター生成処理のフローチャートである。
【図９】本実施形態に係る動作付きアバターテーブルを示す図である。
【図１０】本実施形態に係るレンダリング処理及び補完処理の説明のための図である。
【図１１】本実施形態に係るアバター合成処理のフローチャートである。
【符号の説明】
【００５５】
１ アバターシステム
３ アバター編集サーバ
７、７Ａ、７Ｂ 端末
１０ 制御部
１１ 音声受付部
１２ タイムライン生成部
１４ 動作データ受付部
１５ アバター生成部
１５Ａ アバター補完部
１７ 再生データ送信部
２５ 通信インタフェース部
３０ 記憶部
３１ 基本アバターテーブル
３２ 音声テーブル
３３ パーツテーブル
３４ 動作付きアバターテーブル
３５ 楽曲コンテンツテーブル
３９ アバター編集プログラム
４０ 表示部
４１ 操作部
４２ スピーカ
４３ マイク
７０ アクション作成ページ
７５ アクション構成部
【特許請求の範囲】
【請求項１】
端末に対して通信ネットワークを介して接続され、前記端末で再生するアバターを編集するアバター編集サーバにおいて、
前記端末のアバターの基本になる画像データを記憶する基本アバター記憶部と、
前記端末から送信された音声データを受け付ける音声受付部と、
前記音声受付部により受け付けた前記音声データを、前記基本アバター記憶部に記憶された前記画像データに関連付けて記憶する音声記憶部と、
前記端末からの操作に応じて、前記音声記憶部に記憶された前記音声データに関連付けられた前記画像データに動作を加えて、動作付きのアバターを生成するアバター生成部と、
を備えること、
を特徴とするアバター編集サーバ。
【請求項２】
請求項１に記載のアバター編集サーバにおいて、
前記音声記憶部に記憶された前記音声データの再生位置を視覚的に表示するタイムラインを生成して、前記端末に出力するタイムライン生成部と、
前記アバターを構成するパーツであるパーツデータを記憶するパーツ記憶部と、
前記端末で前記パーツに動作を付与するための表示である動作付与表示が前記タイムラインの上に配置されたことに応じて、前記動作付与表示と前記動作付与表示に対応する前記再生位置とを含む動作データを、前記端末から受け付ける動作データ受付部と、
を備え、
前記アバター生成部は、前記動作データ受付部により受け付けた前記動作データに基づき、前記画像データを構成する前記パーツデータに動作を加えて動作付きのアバターを生成すること、
を特徴とするアバター編集サーバ。
【請求項３】
請求項２に記載のアバター編集サーバにおいて、
前記パーツ記憶部に記憶された前記パーツデータは、座標データの形態のものであり、
前記アバター生成部は、前記動作データに含む前記動作付与表示から前記動作付与表示に対応する前記パーツデータを前記パーツ記憶部から抽出し、抽出した前記パーツデータに対して連続動作を表現するパーツの前記座標データをレンダリングして、前記アバターを生成すること、
を特徴とするアバター編集サーバ。
【請求項４】
請求項２又は請求項３に記載のアバター編集サーバにおいて、
前記動作データ受付部は、前記端末において異なる動作を示す複数の前記動作付与表示を前記タイムラインの上の同一の範囲に配置した前記動作データを、前記端末から受け付けること、
を特徴とするアバター編集サーバ。
【請求項５】
請求項２から請求項４のいずれか１項に記載のアバター編集サーバにおいて、
前記動作データ受付部は、前記端末において異なる動作を示す複数の前記動作付与表示を、前記タイムラインの上に複数配置した前記動作データを、前記端末から受け付け、
前記アバター生成部は、
前記タイムラインの上に隣り合って配置された２つの前記動作付与表示に対応する前記動作データに基づき前記動作付きのアバターを生成し、
生成した前記動作付きのアバターを連続して動作をさせるように、生成した２つの前記動作付きのアバターの間を補完する前記動作付きのアバターを生成するアバター補完部を備えること、
を特徴とするアバター編集サーバ。
【請求項６】
請求項１から請求項５のいずれか１項に記載のアバター編集サーバにおいて、
前記通信ネットワークを介して接続された他の端末からの前記アバターの表示要求を受け付けることで、前記アバター生成部により生成された前記動作付きのアバターと、前記アバターに対応付けて前記音声記憶部に記憶された音声データとを前記他の端末に再生可能に送信する再生データ送信部を備えること、
を特徴とするアバター編集サーバ。
【請求項７】
請求項６に記載のアバター編集サーバにおいて、
前記音声受付部は、前記再生データ送信部により送信され、前記他の端末で再生された音声データに対応する他の音声データを受け付け、
前記音声記憶部は、前記他の音声データを、前記音声データに対応付けて記憶すること、
を特徴とするアバター編集サーバ。
【請求項８】
請求項７に記載のアバター編集サーバにおいて、
前記アバター生成部は、前記他の端末のアバターを生成して、前記端末の前記動作付きのアバターに対して合成して、合成アバターを新たに生成すること、
を特徴とするアバター編集サーバ。
【請求項９】
請求項７に記載のアバター編集サーバにおいて、
前記アバター生成部は、前記基本アバター記憶部に記憶された前記他の端末の前記画像データを、前記端末の前記動作付きのアバターと共に表示するように合成アバターを生成すること、
を特徴とするアバター編集サーバ。
【請求項１０】
端末に対して通信ネットワークを介して接続され、前記端末で再生するアバターを編集するアバター編集サーバが、前記端末のアバターの基本になる画像データを記憶する基本アバター記憶部を備え、前記アバター編集サーバにおいて実行されるアバター編集プログラムであって、
前記アバター編集サーバを、
前記端末から送信された音声データを受け付ける音声受付手段と、
前記音声受付手段により受け付けた前記音声データを、前記基本アバター記憶部に記憶された前記画像データに関連付けて音声記憶部に記憶させる音声記憶手段と、
前記端末からの操作に応じて、前記音声記憶部に記憶された前記音声データに関連付けられた前記画像データに動作を加えて、動作付きのアバターを生成するアバター生成手段と、
して機能させること、
を特徴とするアバター編集プログラム。
【請求項１】
端末に対して通信ネットワークを介して接続され、前記端末で再生するアバターを編集するアバター編集サーバにおいて、
前記端末のアバターの基本になる画像データを記憶する基本アバター記憶部と、
前記端末から送信された音声データを受け付ける音声受付部と、
前記音声受付部により受け付けた前記音声データを、前記基本アバター記憶部に記憶された前記画像データに関連付けて記憶する音声記憶部と、
前記端末からの操作に応じて、前記音声記憶部に記憶された前記音声データに関連付けられた前記画像データに動作を加えて、動作付きのアバターを生成するアバター生成部と、
を備えること、
を特徴とするアバター編集サーバ。
【請求項２】
請求項１に記載のアバター編集サーバにおいて、
前記音声記憶部に記憶された前記音声データの再生位置を視覚的に表示するタイムラインを生成して、前記端末に出力するタイムライン生成部と、
前記アバターを構成するパーツであるパーツデータを記憶するパーツ記憶部と、
前記端末で前記パーツに動作を付与するための表示である動作付与表示が前記タイムラインの上に配置されたことに応じて、前記動作付与表示と前記動作付与表示に対応する前記再生位置とを含む動作データを、前記端末から受け付ける動作データ受付部と、
を備え、
前記アバター生成部は、前記動作データ受付部により受け付けた前記動作データに基づき、前記画像データを構成する前記パーツデータに動作を加えて動作付きのアバターを生成すること、
を特徴とするアバター編集サーバ。
【請求項３】
請求項２に記載のアバター編集サーバにおいて、
前記パーツ記憶部に記憶された前記パーツデータは、座標データの形態のものであり、
前記アバター生成部は、前記動作データに含む前記動作付与表示から前記動作付与表示に対応する前記パーツデータを前記パーツ記憶部から抽出し、抽出した前記パーツデータに対して連続動作を表現するパーツの前記座標データをレンダリングして、前記アバターを生成すること、
を特徴とするアバター編集サーバ。
【請求項４】
請求項２又は請求項３に記載のアバター編集サーバにおいて、
前記動作データ受付部は、前記端末において異なる動作を示す複数の前記動作付与表示を前記タイムラインの上の同一の範囲に配置した前記動作データを、前記端末から受け付けること、
を特徴とするアバター編集サーバ。
【請求項５】
請求項２から請求項４のいずれか１項に記載のアバター編集サーバにおいて、
前記動作データ受付部は、前記端末において異なる動作を示す複数の前記動作付与表示を、前記タイムラインの上に複数配置した前記動作データを、前記端末から受け付け、
前記アバター生成部は、
前記タイムラインの上に隣り合って配置された２つの前記動作付与表示に対応する前記動作データに基づき前記動作付きのアバターを生成し、
生成した前記動作付きのアバターを連続して動作をさせるように、生成した２つの前記動作付きのアバターの間を補完する前記動作付きのアバターを生成するアバター補完部を備えること、
を特徴とするアバター編集サーバ。
【請求項６】
請求項１から請求項５のいずれか１項に記載のアバター編集サーバにおいて、
前記通信ネットワークを介して接続された他の端末からの前記アバターの表示要求を受け付けることで、前記アバター生成部により生成された前記動作付きのアバターと、前記アバターに対応付けて前記音声記憶部に記憶された音声データとを前記他の端末に再生可能に送信する再生データ送信部を備えること、
を特徴とするアバター編集サーバ。
【請求項７】
請求項６に記載のアバター編集サーバにおいて、
前記音声受付部は、前記再生データ送信部により送信され、前記他の端末で再生された音声データに対応する他の音声データを受け付け、
前記音声記憶部は、前記他の音声データを、前記音声データに対応付けて記憶すること、
を特徴とするアバター編集サーバ。
【請求項８】
請求項７に記載のアバター編集サーバにおいて、
前記アバター生成部は、前記他の端末のアバターを生成して、前記端末の前記動作付きのアバターに対して合成して、合成アバターを新たに生成すること、
を特徴とするアバター編集サーバ。
【請求項９】
請求項７に記載のアバター編集サーバにおいて、
前記アバター生成部は、前記基本アバター記憶部に記憶された前記他の端末の前記画像データを、前記端末の前記動作付きのアバターと共に表示するように合成アバターを生成すること、
を特徴とするアバター編集サーバ。
【請求項１０】
端末に対して通信ネットワークを介して接続され、前記端末で再生するアバターを編集するアバター編集サーバが、前記端末のアバターの基本になる画像データを記憶する基本アバター記憶部を備え、前記アバター編集サーバにおいて実行されるアバター編集プログラムであって、
前記アバター編集サーバを、
前記端末から送信された音声データを受け付ける音声受付手段と、
前記音声受付手段により受け付けた前記音声データを、前記基本アバター記憶部に記憶された前記画像データに関連付けて音声記憶部に記憶させる音声記憶手段と、
前記端末からの操作に応じて、前記音声記憶部に記憶された前記音声データに関連付けられた前記画像データに動作を加えて、動作付きのアバターを生成するアバター生成手段と、
して機能させること、
を特徴とするアバター編集プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１０−６６７８９（Ｐ２０１０−６６７８９Ａ）
【公開日】平成２２年３月２５日（２０１０．３．２５）
【国際特許分類】
【出願番号】特願２００８−２２９６８１（Ｐ２００８−２２９６８１）
【出願日】平成２０年９月８日（２００８．９．８）
【出願人】（３０６０１９１１１）株式会社タイトー (475)
【Ｆターム（参考）】
【公開日】平成２２年３月２５日（２０１０．３．２５）
【国際特許分類】
【出願日】平成２０年９月８日（２００８．９．８）
【出願人】（３０６０１９１１１）株式会社タイトー (475)
【Ｆターム（参考）】
[ Back to top ]