映像コンテンツ生成装置およびコンピュータプログラム
【課題】音楽に合わせた映像コンテンツを生成する際に、音楽を聴いている利用者の盛り上がりを映像コンテンツに反映させることを図る。
【解決手段】利用者が音楽を聴いているときのイベントの発生を判定するためのデータを取得するデータ取得部１１と、取得したデータを用いてイベントの発生を判定するイベント判定部（盛り上がり判定部１２）と、イベントが発生したと判定した場合に、イベントに対応する動きのデータである第１の動きデータを生成する第１の動き生成部１４と、イベントが発生したと判定した場合に第１の動きデータを表示する表示データを生成する表示データ生成部１７と、を備える。
【解決手段】利用者が音楽を聴いているときのイベントの発生を判定するためのデータを取得するデータ取得部１１と、取得したデータを用いてイベントの発生を判定するイベント判定部（盛り上がり判定部１２）と、イベントが発生したと判定した場合に、イベントに対応する動きのデータである第１の動きデータを生成する第１の動き生成部１４と、イベントが発生したと判定した場合に第１の動きデータを表示する表示データを生成する表示データ生成部１７と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像コンテンツ生成装置およびコンピュータプログラムに関する。
【背景技術】
【０００２】
近年、音楽に合わせた動き（モーション）データを自動生成する技術が提案されている。例えば特許文献１に記載のモーション作成装置では、複数のモーションにおいて人体姿勢が類似する２つのフレーム間を連結した有向性グラフとしてモーションデータベースを構築し、その複数のモーションの中から、音楽データから取得したビート特徴成分と相関を有する動き特徴成分をもつモーションを選択している。また、非特許文献１に記載の技術では、事前に独自なデータ構造を生成し、音楽を入力すると、動的計画法（Dynamic Programming）により高速な同期を行うことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−０１８３８８号公報
【非特許文献】
【０００４】
【非特許文献１】徐建鋒、高木幸一、米山暁夫、“動きのビート・盛り上がり情報に基づく音楽に同期したダンス生成手法”、２００９年度映像メディア処理シンポジウム（ＩＭＰＳ）、Ｉ−０４−０１、２００９年１０月７日
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上述した従来の装置では、音楽を聴いている利用者の盛り上がりを映像コンテンツに反映させることができない。例えば、カラオケ装置が再生する音楽に合わせた映像コンテンツを表示するシステムにおいて、カラオケ装置が再生する音楽に合わせて歌っている利用者が盛り上がっている時に、盛り上がっている動きのデータを表示することができれば、利用者と映像コンテンツとの一体感が高まるので、利用者の満足度を向上させることができる。
【０００６】
本発明は、このような事情を考慮してなされたもので、音楽に合わせた映像コンテンツを生成する際に、音楽を聴いている利用者の盛り上がりを映像コンテンツに反映させることができる映像コンテンツ生成装置およびコンピュータプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明に係る映像コンテンツ生成装置は、音楽に合わせた映像コンテンツを生成する映像コンテンツ生成装置において、利用者が前記音楽を聴いているときのイベントの発生を判定するためのデータを取得するデータ取得部と、前記データ取得部が取得したデータを用いてイベントの発生を判定するイベント判定部と、前記イベント判定部が、イベントが発生したと判定した場合に、イベントに対応する動きのデータである第１の動きデータを生成する動き生成部と、前記イベント判定部が、イベントが発生したと判定した場合に、前記動き生成部が生成した第１の動きデータを表示する表示データを生成する表示データ生成部と、を備えたことを特徴とする。
【０００８】
本発明に係る映像コンテンツ生成装置においては、前記イベント判定部が、イベントが発生したと判定した場合に、前記データ取得部が取得したデータを用いてテンポを算出するテンポ算出部を備え、前記動き生成部は、前記テンポ算出部が算出したテンポに、イベントに対応する動きのテンポを合わせた動きデータを生成する、ことを特徴とする。
【０００９】
本発明に係る映像コンテンツ生成装置において、前記表示データ生成部は、前記音楽に合わせた第２の動きデータと前記動き生成部が生成した第１の動きデータとを用いて前記表示データを生成し、前記動き生成部は、前記表示データにおける前区間の動きデータに続く第１の動きデータを生成する、ことを特徴とする。
【００１０】
本発明に係る映像コンテンツ生成装置においては、イベントに対応する動きのデータを蓄積する動きデータベースを備え、前記動き生成部は、前記動きデータベースから、前記表示データにおける前区間の動きデータに続く動きのデータを選択する、ことを特徴とする。
【００１１】
本発明に係る映像コンテンツ生成装置において、前記データ取得部は、前記利用者の動きを検知する加速度センサーを有し、前記イベント判定部は、イベントの発生を判定する区間毎に、前記加速度センサーの出力信号に対して主成分分析し、第一主成分の平均得点が閾値以上である場合に、イベントが発生したと判定する、ことを特徴とする。
【００１２】
本発明に係る映像コンテンツ生成装置において、前記データ取得部は、前記利用者との間の距離を検知する距離センサーを有し、前記イベント判定部は、イベントの発生を判定する区間毎に、前記距離センサーの出力信号に対して主成分分析し、第一主成分の平均得点が閾値以上である場合に、イベントが発生したと判定する、ことを特徴とする。
【００１３】
本発明に係る映像コンテンツ生成装置において、前記テンポ算出部は、前記第一主成分の得点をフーリエ変換して求めた最大周波数を用いて、テンポを算出する、ことを特徴とする。
【００１４】
本発明に係る映像コンテンツ生成装置において、前記データ取得部は、前記利用者の音声を検知するマイクロホンを有し、前記イベント判定部は、イベントの発生を判定する区間毎に、前記マイクロホンの出力信号を用いて音量を算出し、平均音量が閾値以上である場合に、イベントが発生したと判定する、ことを特徴とする。
【００１５】
本発明に係る映像コンテンツ生成装置において、前記データ取得部は、複数の前記利用者の音声のシンク度を測定する音シンク度測定装置を有し、前記イベント判定部は、イベントの発生を判定する区間毎に、前記音シンク度算出装置が測定したシンク度又は平均シンク度が閾値以上である場合に、イベントが発生したと判定する、ことを特徴とする。
【００１６】
本発明に係る映像コンテンツ生成装置において、前記音楽はカラオケ装置が再生するものであり、前記データ取得部は、前記カラオケ装置が前記利用者の歌を採点したスコアを入力する入力装置を有し、前記イベント判定部は、イベントの発生を判定する区間毎に、前記入力装置が入力したスコア又は平均スコアが閾値以上である場合に、イベントが発生したと判定する、ことを特徴とする。
【００１７】
本発明に係るコンピュータプログラムは、音楽に合わせた映像コンテンツを生成する映像コンテンツ生成処理を行うためのコンピュータプログラムであって、利用者が前記音楽を聴いているときのイベントの発生を判定するためのデータを取得するデータ取得ステップと、前記取得したデータを用いてイベントの発生を判定するイベント判定ステップと、前記イベント判定ステップで、イベントが発生したと判定した場合に、イベントに対応する動きのデータを生成する動き生成ステップと、前記イベント判定ステップで、イベントが発生したと判定した場合に、前記動き生成ステップで生成した動きデータを表示する表示データを生成する表示データ生成ステップと、をコンピュータに実行させるためのコンピュータプログラムであることを特徴とする。
これにより、前述の映像コンテンツ生成装置がコンピュータを利用して実現できるようになる。
【発明の効果】
【００１８】
本発明によれば、音楽に合わせた映像コンテンツを生成する際に、音楽を聴いている利用者の盛り上がりを映像コンテンツに反映させることができるという効果が得られる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態に係る映像コンテンツ生成装置１の構成を示すブロック図である。
【図２】本発明の一実施形態に係る映像コンテンツ生成処理のフローチャートである。
【図３】本発明の一実施形態に係る表示データ生成シーケンスの一例を示す図である。
【図４】正弦近似処理の概念図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照し、本発明の実施形態について説明する。本実施形態では、利用者が音楽を聴いているときのイベントとして、利用者が盛り上がっていること、を判定する。なお、利用者が音楽を聴いているときのイベントについては任意に定義することができる。
【００２１】
図１は、本発明の一実施形態に係る映像コンテンツ生成装置１の構成を示すブロック図である。図１において、映像コンテンツ生成装置１は、データ取得部１１と盛り上がり判定部１２とテンポ算出部１３と第１の動き生成部１４と第１の動きデータベース１５と第１の動き記憶部１６と表示データ生成部１７と第２の動き生成部２１と第２の動きデータベース２２と第２の動き記憶部２３と制御部３１を備える。
【００２２】
映像コンテンツ生成装置１は、音楽に合わせた映像コンテンツを生成する。映像コンテンツ生成装置１は、例えばカラオケ装置が再生する音楽に合わせた動きのデータを表示する表示データを生成する。その表示データは、例えばカラオケ装置の表示画面上で表示される。これにより、利用者は、カラオケ装置が再生する音楽と共に該表示データを視聴して楽しむことができる。
【００２３】
データ取得部１１は、音楽を聴いている利用者の盛り上がりを判定するためのデータを取得する。データ取得部１１は、例えば、音楽を聴いている利用者の動きを検知する加速度センサー、音楽を聴いている利用者との間の距離を検知する距離センサー、音楽を聴いている利用者の音声を検知するマイクロホン、音楽を聴いている複数の利用者の音声のシンク度を測定する音シンク度測定装置、又は、カラオケ装置が再生する音楽に合わせて歌っている利用者の歌を該カラオケ装置が採点したスコアを入力する入力装置、を有する。本実施形態では、データ取得部１１は、音楽を聴いている利用者の動きを検知する加速度センサーを有している。
【００２４】
盛り上がり判定部１２は、データ取得部１１の加速度センサーの出力信号を用いて盛り上がりを判定する。テンポ算出部１３は、盛り上がり判定部１２が盛り上がっていると判定した場合に、データ取得部１１の加速度センサーからの出力信号を用いてテンポを算出する。
【００２５】
第１の動き生成部１４は、盛り上がり判定部１２が盛り上がっていると判定した場合に、盛り上がっている動きのデータを生成する。第１の動き生成部１４は、テンポ算出部１３が算出したテンポに、盛り上がっている動きのテンポを合わせた動きデータを生成する。
【００２６】
第１の動きデータベース１５は、盛り上がっている動きのデータを蓄積している。第１の動きデータベース１５には、盛り上がっている動きのデータが予め準備される。第１の動き生成部１４は、第１の動きデータベース１５内の動きデータを利用して、盛り上がっている動きのデータを生成する。
【００２７】
第１の動き記憶部１６は、第１の動き生成部１４が生成した動きデータ（第１の動きデータ）を一時的に記憶する。
【００２８】
第２の動き生成部２１は、入力される音楽データに合わせた動きのデータ（第２の動きデータ）を生成する。第２の動きデータベース２２は、各種の動きのデータを蓄積している。第２の動きデータベース２２には、各種の動きのデータが予め準備される。第２の動き生成部２１は、第２の動きデータベース２２内の動きデータを利用して、第２の動きデータを生成する。第２の動き記憶部２３は、第２の動き生成部２１が生成した第２の動きデータを一時的に記憶する。
【００２９】
制御部３１は、映像コンテンツ生成装置１の動作を制御する。制御部３１は、入力される操作データに従って、映像コンテンツ生成装置１内の各部を制御する。又、制御部３１は、盛り上がり判定部１２の判定結果に応じて、映像コンテンツ生成装置１内の各部を制御する。
【００３０】
次に、図２を参照して、図１に示す映像コンテンツ生成装置１の全体的な動作を説明する。図２は、本実施形態に係る映像コンテンツ生成処理のフローチャートである。
【００３１】
ステップＳ１：制御部３１は、第２の動き生成部２１及び盛り上がり判定部１２に対して、一定時間毎に、処理実行を指示する。第２の動き生成部２１は、制御部３１からの処理実行指示に応じて、一定時間分の音楽データを入力する。盛り上がり判定部１２は、制御部３１からの処理実行指示に応じて、データ取得部１１から、一定時間分の加速度センサー出力信号を取得する。データ取得部１１は、定常的に、加速度センサーからの出力信号を出力している。この加速度センサーの出力信号は、第２の動き生成部２１に入力される音楽データが再生された音楽を聴いている利用者の動きを検知した信号である。
【００３２】
ステップＳ２：第２の動き生成部２１は、入力した一定時間分の音楽データ（入力音楽データ）に合わせた第２の動きデータを生成する。このとき、第２の動き生成部２１は、第２の動きデータベース２２内の動きデータの中から入力音楽データに合った動きデータを選択して第２の動きデータを生成する。第２の動き生成部２１は、生成した第２の動きデータを第２の動き記憶部２３に保存する。
【００３３】
ステップＳ３：盛り上がり判定部１２は、入力した一定時間分の加速度センサー出力信号を用いて盛り上がりを判定する。盛り上がり判定部１２は、盛り上がりの判定結果を制御部３１に通知する。
【００３４】
ステップＳ４：ステップＳ３の判定結果が、「盛り上がっている」である場合にはステップＳ５に進み、「盛り上がっていない」である場合にはステップＳ９に進む。
【００３５】
ステップＳ５：盛り上がり判定部１２は、ステップＳ３の判定の結果が「盛り上がっている」である場合に、テンポ算出部１３に対して、テンポ算出を指示する。テンポ算出部１３は、盛り上がり判定部１２からのテンポ算出指示に応じて、テンポを算出する。
【００３６】
ステップＳ６：制御部３１は、盛り上がり判定部１２から通知された判定結果が「盛り上がっている」である場合に、第１の動き生成部１４に対して、動きデータ生成を指示する。第１の動き生成部１４は、制御部３１からの動きデータ生成指示に応じて、第１の動きデータを生成する。このとき、第１の動き生成部１４は、第１の動きデータベース１５内の動きデータの中から、表示データにおける前区間の動きデータに続く動きデータに適した動きデータを選択して第１の動きデータを生成する。
【００３７】
ステップＳ７：第１の動き生成部１４は、テンポ算出部１３が算出したテンポに、第１の動きデータの動きのテンポを合わせる調整を行う。第１の動き生成部１４は、生成した第１の動きデータを第１の動き記憶部１６に保存する。
【００３８】
ステップＳ８：制御部３１は、盛り上がり判定部１２から通知された判定結果が「盛り上がっている」である場合に、表示データ生成部１７に対して、第１の動きデータを用いた表示データ生成を指示する。表示データ生成部１７は、制御部３１からの「第１の動きデータを用いた表示データ生成指示」に応じて、第１の動き記憶部１６から第１の動きデータを読み出し、読み出した第１の動きデータを表示する表示データを生成する。
【００３９】
ステップＳ９：制御部３１は、盛り上がり判定部１２から通知された判定結果が「盛り上がっていない」である場合に、表示データ生成部１７に対して、第２の動きデータを用いた表示データ生成を指示する。表示データ生成部１７は、制御部３１からの「第２の動きデータを用いた表示データ生成指示」に応じて、第２の動き記憶部２３から第２の動きデータを読み出し、読み出した第２の動きデータを表示する表示データを生成する。
【００４０】
ステップＳ８又はＳ９で生成された表示データは、映像コンテンツ生成装置１から出力されて、表示装置（図示せず）の画面上に表示される。例えば、表示データはカラオケ装置の表示画面上で表示される。
【００４１】
ステップＳ１０：制御部３１は、映像コンテンツ生成処理の終了を判断する。この結果、映像コンテンツ生成処理の終了である場合には図２の処理を終了する。一方、映像コンテンツ生成処理の継続である場合にはステップＳ１に戻る。
【００４２】
図３は、本実施形態に係る表示データ生成シーケンスの一例を示す図である。図３において、ステップＳ１０１では、ステップＳ１００で生成された第２の動きデータを用いて、第（Ｐ−１）区間の表示データを生成する。但し、Ｐは２以上の整数とする。
【００４３】
ステップＳ１１１では、ステップＳ１１０で取得された加速度センサー出力信号を用いて盛り上がり判定した結果が「盛り上がっている（合格）」であるので、第１の動きデータを生成する。このとき、（Ｐ−１）区間の表示データに使用された第２の動きデータ（ステップＳ１００で生成されたもの）に続くように、第１の動きデータを生成する。そして、ステップＳ１１２では、ステップＳ１１１で生成された第１の動きデータを用いて、Ｐ区間の表示データを生成する。
【００４４】
ステップＳ１２１では、ステップＳ１２０で取得された加速度センサー出力信号を用いて盛り上がり判定した結果が「盛り上がっている（合格）」であるので、第１の動きデータを生成する。このとき、Ｐ区間の表示データに使用された第１の動きデータ（ステップＳ１１１で生成されたもの）に続くように、第１の動きデータを生成する。そして、ステップＳ１２２では、ステップＳ１２１で生成された第１の動きデータを用いて、（Ｐ＋１）区間の表示データを生成する。
【００４５】
ステップＳ１３１では、ステップＳ１３０で取得された加速度センサー出力信号を用いて盛り上がり判定した結果が「盛り上がっていない（不合格）」であるので、第１の動きデータを生成しない。そして、ステップＳ１４１では、ステップＳ１４０で生成された第２の動きデータを用いて、（Ｐ＋２）区間の表示データを生成する。
【００４６】
次に、本実施形態に係る盛り上がり判定処理（図２のステップＳ３）を詳細に説明する。
本実施形態では、一定時間（盛り上がりを判定する区間）毎に、入力した一定時間分の加速度センサー出力信号に対して主成分分析し、第一主成分の平均得点が閾値以上である場合に盛り上がっていると判定する。
【００４７】
加速度センサーは、利用者の手や足などに装着されている。盛り上がり判定部１２は、一定時間毎に、加速度センサー出力信号（以下、加速度信号と称する）を取得して主成分分析を行い、第一主成分得点を算出する。ここで、時刻ｔにおける３次元の加速度信号「a（ｔ）＝（ａｘ（ｔ），ａｙ（ｔ），ａｚ（ｔ））」を用いて、一区間のデータ「Ｘ」を「Ｘ＝｛ａ（ｔ１），a（ｔ２），・・・，a（ｔＮ）｝と表す。但し、Ｎは区間長（一区間内に含まれるサンプルの個数）である。Ｘは、Ｍ行Ｎ列の行列である（但し、Ｍ＝３）。
【００４８】
主成分分析処理では、データＸに対して主成分分析処理を行い、データＸを主成分空間へ変換する。主成分分析処理については、例えば、“http://en.wikipedia.org/wiki/Principal_components_analysis#Software.2Fsource_code”にオープンソースが開示されている。以下、本実施形態に係る主成分分析処理（ステップＳ３０１からＳ３０３）を説明する。
ステップＳ３０１：（１）式により、データＸから平均値を除いたＮ行Ｍ列の行列Ｄを算出する。
【００４９】
【数１】
【００５０】
ステップＳ３０２：（２）式により、Ｎ行Ｍ列の行列Ｄに対して特異値分解（Singular Value Decomposition）処理を行う。特異値分解処理については、例えば、“http://www.gnu.org/software/gsl/”にオープンソースが開示されている。
【００５１】
【数２】
【００５２】
但し、Ｕは、Ｎ行Ｎ列のユニタリ行列である。Σは、Ｎ行Ｍ列の負でない対角要素を降順にもつ対角行列であり、主成分空間の座標の分散を表す。Ｖは、Ｍ行Ｍ列のユニタリ行列であり、主成分に対する係数（principal component）である。
【００５３】
ステップＳ３０３：（３）式により、Ｎ行Ｍ列の行列Ｄを主成分空間へ変換する。Ｍ行Ｎ列の行列Ｙは、主成分空間の座標値（得点）を表す。
【００５４】
【数３】
【００５５】
（３）式による行列Ｙから第一主成分の座標値（第一主成分得点）を取得し、第一主成分得点の平均値（平均得点）を算出する。この平均得点が、盛り上がり判定の所定の基準値（閾値）以上である場合に「盛り上がっている（合格）」と判定し、該閾値未満である場合に「盛り上がっていない（不合格）」と判定する。
【００５６】
次に、本実施形態に係るテンポ算出処理（図２のステップＳ５）を詳細に説明する。
まず、上記盛り上がり判定処理で算出された第一主成分得点ｙ（ｔ）の極値ｂ（ｊ）を抽出する。極値ｂ（ｊ）の集合Ｂは（４）式で表される。但し、Ｊは、ビートの個数である。
【００５７】
【数４】
【００５８】
次いで、集合Ｂ内の各極値ｂ（ｊ）間を、（５）式により正弦曲線（Sinusoid）で近似する。
【００５９】
【数５】
【００６０】
図４は、（５）式による正弦近似処理の概念図である。但し、ｓｊ−１（ｔ）は、（ｊ−１）番目の極値ｂ（ｊ−１）からｊ番目の極値ｂ（ｊ）までの区間の正弦近似値である。図４において、１番目の極値ｂ（１）から２番目の極値ｂ（２）までの区間ａ１（ｊ＝２の場合の区間）は、ｓ１（ｔ）で近似される。同様に、２番目の極値ｂ（２）から３番目の極値ｂ（３）までの区間ａ２（ｊ＝３の場合の区間）はｓ２（ｔ）で近似され、３番目の極値ｂ（３）から４番目の極値ｂ（４）までの区間ａ３（ｊ＝４の場合の区間）はｓ３（ｔ）で近似され、４番目の極値ｂ（４）から５番目の極値ｂ（５）までの区間ａ４（ｊ＝５の場合の区間）はｓ４（ｔ）で近似される。
【００６１】
次いで、（５）式で得られたｓ（ｔ）をフーリエ変換して、ｓ（ｔ）の最大周波数を求める。このとき、最低Ｌ点のハン窓を用いたＦＦＴ（高速フーリエ変換）を行い、所定の周波数範囲［ｆｌ，ｆｈ］で最大周波数ｆｍａｘを求める。そして、最大周波数ｆｍａｘを用いてテンポを算出する。本実施形態では、テンポ（ｔｅｍｐｏ＝６０×ｆｍａｘ）とする。
【００６２】
次に、本実施形態に係る第１の動き生成処理（図２のステップＳ６）を詳細に説明する。
まず、第１の動きデータベース１５内の動きデータの中から、表示データにおける前区間の動きデータに続く動きデータに適した動きデータを選択する。具体的には、（６）式および（７）式によって、第１の動きデータベース１５内の動きデータの中から、使用する動きデータを選択する。
【００６３】
【数６】
【００６４】
但し、ｋは、第１の動きデータベース１５内に在る動きデータの個数である。ｔは、第１の動きデータベース１５内の動きデータにおけるフレーム番号である。ｃ（ｋ，ｔ）は、（７）式で算出される。
【００６５】
【数７】
【００６６】
但し、ｑ１（ｉ）は、表示データにおける前区間の動きデータにおける最後のＮ個のフレームの中のｉ番目のフレームである。ｑ２（ｉ，ｔ）は、第１の動きデータベース１５内の動きデータのｔ番目のフレームからのＮ個のフレームの中のｉ番目のフレームである。
【００６７】
次いで、第１の動きデータベース１５から選択された動きデータにおける「ｔ番目のフレームからのＮ個のフレーム」と、表示データにおける前区間の動きデータにおける「最後のＮ個のフレーム」とを、slerp（spherical linear interpolation）処理によってブレンディングする。このブレンディング処理については、「David H. Eberly，“3D Game Engine Design”, 2nd edition, Geometric Tools, Inc., Morgan Kaufmann, pp.774, 2006」に記載されている。
【００６８】
次に、本実施形態に係るテンポ調整処理（図２のステップＳ７）を詳細に説明する。
本実施形態では、第１の動き生成処理（図２のステップＳ６）で、第１の動きデータベース１５から選択された動きデータに対してブレンディングを行った後の動きデータ（第１の動きデータ）に対して、テンポ算出処理（図２のステップＳ５）で算出したテンポ（ｔｅｍｐｏ）に、テンポを合わせる処理を行う。具体的には、（８）式によって、第１の動きデータの再生速度を調整する。再生速度の調整後の第１の動きデータは、第１の動き記憶部１６に格納される。
【００６９】
【数８】
【００７０】
但し、Ｆｓ＿ｏｌｄは第１の動きデータベース１５内の動きデータに定義されている再生速度である。Ｆｓ＿ｎｅｗは調整後の再生速度である。ｔｅｍｐｏ＿ｏｒｉｇは、第１の動きデータベース１５内の動きデータのテンポであり、第１の動きデータベース１５に予め準備されている。ｔｅｍｐｏ＿ｉｎｐｕｔは、テンポ算出処理（図２のステップＳ５）で算出したテンポ（ｔｅｍｐｏ）である。ＴＨ＿Ｈｉｇｈ及びＴＨ＿Ｌｏｗは所定の閾値である。
【００７１】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
例えば、データ取得部１１は、音楽を聴いている利用者との間の距離を検知する距離センサーを有してもよい。この場合、盛り上がり判定部１２は、上述した実施形態と同様に、一定時間（盛り上がりを判定する区間）毎に、入力した一定時間分の距離センサー出力信号に対して主成分分析し、第一主成分の平均得点が閾値以上である場合に盛り上がっていると判定する。
【００７２】
又は、データ取得部１１は、音楽を聴いている利用者の音声を検知するマイクロホンを有してもよい。この場合、盛り上がり判定部１２は、一定時間（盛り上がりを判定する区間）毎に、マイクロホンの出力信号を用いて音量を算出し、平均音量が閾値以上である場合に盛り上がっていると判定する。音量算出技術については、例えば「RECOMMENDATION ITU-R BS.1770-1. Algorithms to measure audio programme loudness and true-peak audio level」に記載されている。
【００７３】
又は、データ取得部１１は、音楽を聴いている複数の利用者の音声のシンク度を測定する音シンク度測定装置を有してもよい。この場合、盛り上がり判定部１２は、一定時間（盛り上がりを判定する区間）毎に、音シンク度算出装置が測定したシンク度又は平均シンク度が閾値以上である場合に盛り上がっていると判定する。
【００７４】
又は、データ取得部１１は、カラオケ装置が再生する音楽に合わせて歌っている利用者の歌を該カラオケ装置が採点したスコアを入力する入力装置を有してもよい。この場合、盛り上がり判定部１２は、一定時間（盛り上がりを判定する区間）毎に、入力装置が入力したスコア又は平均スコアが閾値以上である場合に盛り上がっていると判定する。
【００７５】
なお、上述した実施形態に係る第２の動き生成部２１は、任意の方法によって、入力音楽データに合わせた第２の動きデータを生成するものでよい。例えば、特許文献１又は非特許文献１に記載される従来技術を用いることができる。又、「Ganapathi, V.; Plagemann, C.; Koller, D.; Thrun, S., “Real Time Motion Capture Using a Single Time-of-Flight Camera”, IEEE CVPR 2010, pp. 755 - 762.」に記載される従来技術を用い、距離センサーからの出力信号から人物の動きを自動的に抽出するようにしてもよい。
【００７６】
また、第２の動きデータについては、予め準備しておいてもよい。例えば、音楽データと共に第２の動きデータを映像コンテンツ生成装置１に入力するようにしてもよい。この場合には、第２の動き生成部２１および第２の動きデータベース２２は不要である。
【００７７】
また、図２に示す各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、映像コンテンツ生成処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disk）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００７８】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００７９】
１…映像コンテンツ生成装置、１１…データ取得部、１２…盛り上がり判定部（イベント判定部）、１３…テンポ算出部、１４…第１の動き生成部、１５…第１の動きデータベース、１６…第１の動き記憶部、１７…表示データ生成部、２１…第２の動き生成部、２２…第２の動きデータベース、２３…第２の動き記憶部、３１…制御部
【技術分野】
【０００１】
本発明は、映像コンテンツ生成装置およびコンピュータプログラムに関する。
【背景技術】
【０００２】
近年、音楽に合わせた動き（モーション）データを自動生成する技術が提案されている。例えば特許文献１に記載のモーション作成装置では、複数のモーションにおいて人体姿勢が類似する２つのフレーム間を連結した有向性グラフとしてモーションデータベースを構築し、その複数のモーションの中から、音楽データから取得したビート特徴成分と相関を有する動き特徴成分をもつモーションを選択している。また、非特許文献１に記載の技術では、事前に独自なデータ構造を生成し、音楽を入力すると、動的計画法（Dynamic Programming）により高速な同期を行うことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−０１８３８８号公報
【非特許文献】
【０００４】
【非特許文献１】徐建鋒、高木幸一、米山暁夫、“動きのビート・盛り上がり情報に基づく音楽に同期したダンス生成手法”、２００９年度映像メディア処理シンポジウム（ＩＭＰＳ）、Ｉ−０４−０１、２００９年１０月７日
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上述した従来の装置では、音楽を聴いている利用者の盛り上がりを映像コンテンツに反映させることができない。例えば、カラオケ装置が再生する音楽に合わせた映像コンテンツを表示するシステムにおいて、カラオケ装置が再生する音楽に合わせて歌っている利用者が盛り上がっている時に、盛り上がっている動きのデータを表示することができれば、利用者と映像コンテンツとの一体感が高まるので、利用者の満足度を向上させることができる。
【０００６】
本発明は、このような事情を考慮してなされたもので、音楽に合わせた映像コンテンツを生成する際に、音楽を聴いている利用者の盛り上がりを映像コンテンツに反映させることができる映像コンテンツ生成装置およびコンピュータプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明に係る映像コンテンツ生成装置は、音楽に合わせた映像コンテンツを生成する映像コンテンツ生成装置において、利用者が前記音楽を聴いているときのイベントの発生を判定するためのデータを取得するデータ取得部と、前記データ取得部が取得したデータを用いてイベントの発生を判定するイベント判定部と、前記イベント判定部が、イベントが発生したと判定した場合に、イベントに対応する動きのデータである第１の動きデータを生成する動き生成部と、前記イベント判定部が、イベントが発生したと判定した場合に、前記動き生成部が生成した第１の動きデータを表示する表示データを生成する表示データ生成部と、を備えたことを特徴とする。
【０００８】
本発明に係る映像コンテンツ生成装置においては、前記イベント判定部が、イベントが発生したと判定した場合に、前記データ取得部が取得したデータを用いてテンポを算出するテンポ算出部を備え、前記動き生成部は、前記テンポ算出部が算出したテンポに、イベントに対応する動きのテンポを合わせた動きデータを生成する、ことを特徴とする。
【０００９】
本発明に係る映像コンテンツ生成装置において、前記表示データ生成部は、前記音楽に合わせた第２の動きデータと前記動き生成部が生成した第１の動きデータとを用いて前記表示データを生成し、前記動き生成部は、前記表示データにおける前区間の動きデータに続く第１の動きデータを生成する、ことを特徴とする。
【００１０】
本発明に係る映像コンテンツ生成装置においては、イベントに対応する動きのデータを蓄積する動きデータベースを備え、前記動き生成部は、前記動きデータベースから、前記表示データにおける前区間の動きデータに続く動きのデータを選択する、ことを特徴とする。
【００１１】
本発明に係る映像コンテンツ生成装置において、前記データ取得部は、前記利用者の動きを検知する加速度センサーを有し、前記イベント判定部は、イベントの発生を判定する区間毎に、前記加速度センサーの出力信号に対して主成分分析し、第一主成分の平均得点が閾値以上である場合に、イベントが発生したと判定する、ことを特徴とする。
【００１２】
本発明に係る映像コンテンツ生成装置において、前記データ取得部は、前記利用者との間の距離を検知する距離センサーを有し、前記イベント判定部は、イベントの発生を判定する区間毎に、前記距離センサーの出力信号に対して主成分分析し、第一主成分の平均得点が閾値以上である場合に、イベントが発生したと判定する、ことを特徴とする。
【００１３】
本発明に係る映像コンテンツ生成装置において、前記テンポ算出部は、前記第一主成分の得点をフーリエ変換して求めた最大周波数を用いて、テンポを算出する、ことを特徴とする。
【００１４】
本発明に係る映像コンテンツ生成装置において、前記データ取得部は、前記利用者の音声を検知するマイクロホンを有し、前記イベント判定部は、イベントの発生を判定する区間毎に、前記マイクロホンの出力信号を用いて音量を算出し、平均音量が閾値以上である場合に、イベントが発生したと判定する、ことを特徴とする。
【００１５】
本発明に係る映像コンテンツ生成装置において、前記データ取得部は、複数の前記利用者の音声のシンク度を測定する音シンク度測定装置を有し、前記イベント判定部は、イベントの発生を判定する区間毎に、前記音シンク度算出装置が測定したシンク度又は平均シンク度が閾値以上である場合に、イベントが発生したと判定する、ことを特徴とする。
【００１６】
本発明に係る映像コンテンツ生成装置において、前記音楽はカラオケ装置が再生するものであり、前記データ取得部は、前記カラオケ装置が前記利用者の歌を採点したスコアを入力する入力装置を有し、前記イベント判定部は、イベントの発生を判定する区間毎に、前記入力装置が入力したスコア又は平均スコアが閾値以上である場合に、イベントが発生したと判定する、ことを特徴とする。
【００１７】
本発明に係るコンピュータプログラムは、音楽に合わせた映像コンテンツを生成する映像コンテンツ生成処理を行うためのコンピュータプログラムであって、利用者が前記音楽を聴いているときのイベントの発生を判定するためのデータを取得するデータ取得ステップと、前記取得したデータを用いてイベントの発生を判定するイベント判定ステップと、前記イベント判定ステップで、イベントが発生したと判定した場合に、イベントに対応する動きのデータを生成する動き生成ステップと、前記イベント判定ステップで、イベントが発生したと判定した場合に、前記動き生成ステップで生成した動きデータを表示する表示データを生成する表示データ生成ステップと、をコンピュータに実行させるためのコンピュータプログラムであることを特徴とする。
これにより、前述の映像コンテンツ生成装置がコンピュータを利用して実現できるようになる。
【発明の効果】
【００１８】
本発明によれば、音楽に合わせた映像コンテンツを生成する際に、音楽を聴いている利用者の盛り上がりを映像コンテンツに反映させることができるという効果が得られる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態に係る映像コンテンツ生成装置１の構成を示すブロック図である。
【図２】本発明の一実施形態に係る映像コンテンツ生成処理のフローチャートである。
【図３】本発明の一実施形態に係る表示データ生成シーケンスの一例を示す図である。
【図４】正弦近似処理の概念図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照し、本発明の実施形態について説明する。本実施形態では、利用者が音楽を聴いているときのイベントとして、利用者が盛り上がっていること、を判定する。なお、利用者が音楽を聴いているときのイベントについては任意に定義することができる。
【００２１】
図１は、本発明の一実施形態に係る映像コンテンツ生成装置１の構成を示すブロック図である。図１において、映像コンテンツ生成装置１は、データ取得部１１と盛り上がり判定部１２とテンポ算出部１３と第１の動き生成部１４と第１の動きデータベース１５と第１の動き記憶部１６と表示データ生成部１７と第２の動き生成部２１と第２の動きデータベース２２と第２の動き記憶部２３と制御部３１を備える。
【００２２】
映像コンテンツ生成装置１は、音楽に合わせた映像コンテンツを生成する。映像コンテンツ生成装置１は、例えばカラオケ装置が再生する音楽に合わせた動きのデータを表示する表示データを生成する。その表示データは、例えばカラオケ装置の表示画面上で表示される。これにより、利用者は、カラオケ装置が再生する音楽と共に該表示データを視聴して楽しむことができる。
【００２３】
データ取得部１１は、音楽を聴いている利用者の盛り上がりを判定するためのデータを取得する。データ取得部１１は、例えば、音楽を聴いている利用者の動きを検知する加速度センサー、音楽を聴いている利用者との間の距離を検知する距離センサー、音楽を聴いている利用者の音声を検知するマイクロホン、音楽を聴いている複数の利用者の音声のシンク度を測定する音シンク度測定装置、又は、カラオケ装置が再生する音楽に合わせて歌っている利用者の歌を該カラオケ装置が採点したスコアを入力する入力装置、を有する。本実施形態では、データ取得部１１は、音楽を聴いている利用者の動きを検知する加速度センサーを有している。
【００２４】
盛り上がり判定部１２は、データ取得部１１の加速度センサーの出力信号を用いて盛り上がりを判定する。テンポ算出部１３は、盛り上がり判定部１２が盛り上がっていると判定した場合に、データ取得部１１の加速度センサーからの出力信号を用いてテンポを算出する。
【００２５】
第１の動き生成部１４は、盛り上がり判定部１２が盛り上がっていると判定した場合に、盛り上がっている動きのデータを生成する。第１の動き生成部１４は、テンポ算出部１３が算出したテンポに、盛り上がっている動きのテンポを合わせた動きデータを生成する。
【００２６】
第１の動きデータベース１５は、盛り上がっている動きのデータを蓄積している。第１の動きデータベース１５には、盛り上がっている動きのデータが予め準備される。第１の動き生成部１４は、第１の動きデータベース１５内の動きデータを利用して、盛り上がっている動きのデータを生成する。
【００２７】
第１の動き記憶部１６は、第１の動き生成部１４が生成した動きデータ（第１の動きデータ）を一時的に記憶する。
【００２８】
第２の動き生成部２１は、入力される音楽データに合わせた動きのデータ（第２の動きデータ）を生成する。第２の動きデータベース２２は、各種の動きのデータを蓄積している。第２の動きデータベース２２には、各種の動きのデータが予め準備される。第２の動き生成部２１は、第２の動きデータベース２２内の動きデータを利用して、第２の動きデータを生成する。第２の動き記憶部２３は、第２の動き生成部２１が生成した第２の動きデータを一時的に記憶する。
【００２９】
制御部３１は、映像コンテンツ生成装置１の動作を制御する。制御部３１は、入力される操作データに従って、映像コンテンツ生成装置１内の各部を制御する。又、制御部３１は、盛り上がり判定部１２の判定結果に応じて、映像コンテンツ生成装置１内の各部を制御する。
【００３０】
次に、図２を参照して、図１に示す映像コンテンツ生成装置１の全体的な動作を説明する。図２は、本実施形態に係る映像コンテンツ生成処理のフローチャートである。
【００３１】
ステップＳ１：制御部３１は、第２の動き生成部２１及び盛り上がり判定部１２に対して、一定時間毎に、処理実行を指示する。第２の動き生成部２１は、制御部３１からの処理実行指示に応じて、一定時間分の音楽データを入力する。盛り上がり判定部１２は、制御部３１からの処理実行指示に応じて、データ取得部１１から、一定時間分の加速度センサー出力信号を取得する。データ取得部１１は、定常的に、加速度センサーからの出力信号を出力している。この加速度センサーの出力信号は、第２の動き生成部２１に入力される音楽データが再生された音楽を聴いている利用者の動きを検知した信号である。
【００３２】
ステップＳ２：第２の動き生成部２１は、入力した一定時間分の音楽データ（入力音楽データ）に合わせた第２の動きデータを生成する。このとき、第２の動き生成部２１は、第２の動きデータベース２２内の動きデータの中から入力音楽データに合った動きデータを選択して第２の動きデータを生成する。第２の動き生成部２１は、生成した第２の動きデータを第２の動き記憶部２３に保存する。
【００３３】
ステップＳ３：盛り上がり判定部１２は、入力した一定時間分の加速度センサー出力信号を用いて盛り上がりを判定する。盛り上がり判定部１２は、盛り上がりの判定結果を制御部３１に通知する。
【００３４】
ステップＳ４：ステップＳ３の判定結果が、「盛り上がっている」である場合にはステップＳ５に進み、「盛り上がっていない」である場合にはステップＳ９に進む。
【００３５】
ステップＳ５：盛り上がり判定部１２は、ステップＳ３の判定の結果が「盛り上がっている」である場合に、テンポ算出部１３に対して、テンポ算出を指示する。テンポ算出部１３は、盛り上がり判定部１２からのテンポ算出指示に応じて、テンポを算出する。
【００３６】
ステップＳ６：制御部３１は、盛り上がり判定部１２から通知された判定結果が「盛り上がっている」である場合に、第１の動き生成部１４に対して、動きデータ生成を指示する。第１の動き生成部１４は、制御部３１からの動きデータ生成指示に応じて、第１の動きデータを生成する。このとき、第１の動き生成部１４は、第１の動きデータベース１５内の動きデータの中から、表示データにおける前区間の動きデータに続く動きデータに適した動きデータを選択して第１の動きデータを生成する。
【００３７】
ステップＳ７：第１の動き生成部１４は、テンポ算出部１３が算出したテンポに、第１の動きデータの動きのテンポを合わせる調整を行う。第１の動き生成部１４は、生成した第１の動きデータを第１の動き記憶部１６に保存する。
【００３８】
ステップＳ８：制御部３１は、盛り上がり判定部１２から通知された判定結果が「盛り上がっている」である場合に、表示データ生成部１７に対して、第１の動きデータを用いた表示データ生成を指示する。表示データ生成部１７は、制御部３１からの「第１の動きデータを用いた表示データ生成指示」に応じて、第１の動き記憶部１６から第１の動きデータを読み出し、読み出した第１の動きデータを表示する表示データを生成する。
【００３９】
ステップＳ９：制御部３１は、盛り上がり判定部１２から通知された判定結果が「盛り上がっていない」である場合に、表示データ生成部１７に対して、第２の動きデータを用いた表示データ生成を指示する。表示データ生成部１７は、制御部３１からの「第２の動きデータを用いた表示データ生成指示」に応じて、第２の動き記憶部２３から第２の動きデータを読み出し、読み出した第２の動きデータを表示する表示データを生成する。
【００４０】
ステップＳ８又はＳ９で生成された表示データは、映像コンテンツ生成装置１から出力されて、表示装置（図示せず）の画面上に表示される。例えば、表示データはカラオケ装置の表示画面上で表示される。
【００４１】
ステップＳ１０：制御部３１は、映像コンテンツ生成処理の終了を判断する。この結果、映像コンテンツ生成処理の終了である場合には図２の処理を終了する。一方、映像コンテンツ生成処理の継続である場合にはステップＳ１に戻る。
【００４２】
図３は、本実施形態に係る表示データ生成シーケンスの一例を示す図である。図３において、ステップＳ１０１では、ステップＳ１００で生成された第２の動きデータを用いて、第（Ｐ−１）区間の表示データを生成する。但し、Ｐは２以上の整数とする。
【００４３】
ステップＳ１１１では、ステップＳ１１０で取得された加速度センサー出力信号を用いて盛り上がり判定した結果が「盛り上がっている（合格）」であるので、第１の動きデータを生成する。このとき、（Ｐ−１）区間の表示データに使用された第２の動きデータ（ステップＳ１００で生成されたもの）に続くように、第１の動きデータを生成する。そして、ステップＳ１１２では、ステップＳ１１１で生成された第１の動きデータを用いて、Ｐ区間の表示データを生成する。
【００４４】
ステップＳ１２１では、ステップＳ１２０で取得された加速度センサー出力信号を用いて盛り上がり判定した結果が「盛り上がっている（合格）」であるので、第１の動きデータを生成する。このとき、Ｐ区間の表示データに使用された第１の動きデータ（ステップＳ１１１で生成されたもの）に続くように、第１の動きデータを生成する。そして、ステップＳ１２２では、ステップＳ１２１で生成された第１の動きデータを用いて、（Ｐ＋１）区間の表示データを生成する。
【００４５】
ステップＳ１３１では、ステップＳ１３０で取得された加速度センサー出力信号を用いて盛り上がり判定した結果が「盛り上がっていない（不合格）」であるので、第１の動きデータを生成しない。そして、ステップＳ１４１では、ステップＳ１４０で生成された第２の動きデータを用いて、（Ｐ＋２）区間の表示データを生成する。
【００４６】
次に、本実施形態に係る盛り上がり判定処理（図２のステップＳ３）を詳細に説明する。
本実施形態では、一定時間（盛り上がりを判定する区間）毎に、入力した一定時間分の加速度センサー出力信号に対して主成分分析し、第一主成分の平均得点が閾値以上である場合に盛り上がっていると判定する。
【００４７】
加速度センサーは、利用者の手や足などに装着されている。盛り上がり判定部１２は、一定時間毎に、加速度センサー出力信号（以下、加速度信号と称する）を取得して主成分分析を行い、第一主成分得点を算出する。ここで、時刻ｔにおける３次元の加速度信号「a（ｔ）＝（ａｘ（ｔ），ａｙ（ｔ），ａｚ（ｔ））」を用いて、一区間のデータ「Ｘ」を「Ｘ＝｛ａ（ｔ１），a（ｔ２），・・・，a（ｔＮ）｝と表す。但し、Ｎは区間長（一区間内に含まれるサンプルの個数）である。Ｘは、Ｍ行Ｎ列の行列である（但し、Ｍ＝３）。
【００４８】
主成分分析処理では、データＸに対して主成分分析処理を行い、データＸを主成分空間へ変換する。主成分分析処理については、例えば、“http://en.wikipedia.org/wiki/Principal_components_analysis#Software.2Fsource_code”にオープンソースが開示されている。以下、本実施形態に係る主成分分析処理（ステップＳ３０１からＳ３０３）を説明する。
ステップＳ３０１：（１）式により、データＸから平均値を除いたＮ行Ｍ列の行列Ｄを算出する。
【００４９】
【数１】
【００５０】
ステップＳ３０２：（２）式により、Ｎ行Ｍ列の行列Ｄに対して特異値分解（Singular Value Decomposition）処理を行う。特異値分解処理については、例えば、“http://www.gnu.org/software/gsl/”にオープンソースが開示されている。
【００５１】
【数２】
【００５２】
但し、Ｕは、Ｎ行Ｎ列のユニタリ行列である。Σは、Ｎ行Ｍ列の負でない対角要素を降順にもつ対角行列であり、主成分空間の座標の分散を表す。Ｖは、Ｍ行Ｍ列のユニタリ行列であり、主成分に対する係数（principal component）である。
【００５３】
ステップＳ３０３：（３）式により、Ｎ行Ｍ列の行列Ｄを主成分空間へ変換する。Ｍ行Ｎ列の行列Ｙは、主成分空間の座標値（得点）を表す。
【００５４】
【数３】
【００５５】
（３）式による行列Ｙから第一主成分の座標値（第一主成分得点）を取得し、第一主成分得点の平均値（平均得点）を算出する。この平均得点が、盛り上がり判定の所定の基準値（閾値）以上である場合に「盛り上がっている（合格）」と判定し、該閾値未満である場合に「盛り上がっていない（不合格）」と判定する。
【００５６】
次に、本実施形態に係るテンポ算出処理（図２のステップＳ５）を詳細に説明する。
まず、上記盛り上がり判定処理で算出された第一主成分得点ｙ（ｔ）の極値ｂ（ｊ）を抽出する。極値ｂ（ｊ）の集合Ｂは（４）式で表される。但し、Ｊは、ビートの個数である。
【００５７】
【数４】
【００５８】
次いで、集合Ｂ内の各極値ｂ（ｊ）間を、（５）式により正弦曲線（Sinusoid）で近似する。
【００５９】
【数５】
【００６０】
図４は、（５）式による正弦近似処理の概念図である。但し、ｓｊ−１（ｔ）は、（ｊ−１）番目の極値ｂ（ｊ−１）からｊ番目の極値ｂ（ｊ）までの区間の正弦近似値である。図４において、１番目の極値ｂ（１）から２番目の極値ｂ（２）までの区間ａ１（ｊ＝２の場合の区間）は、ｓ１（ｔ）で近似される。同様に、２番目の極値ｂ（２）から３番目の極値ｂ（３）までの区間ａ２（ｊ＝３の場合の区間）はｓ２（ｔ）で近似され、３番目の極値ｂ（３）から４番目の極値ｂ（４）までの区間ａ３（ｊ＝４の場合の区間）はｓ３（ｔ）で近似され、４番目の極値ｂ（４）から５番目の極値ｂ（５）までの区間ａ４（ｊ＝５の場合の区間）はｓ４（ｔ）で近似される。
【００６１】
次いで、（５）式で得られたｓ（ｔ）をフーリエ変換して、ｓ（ｔ）の最大周波数を求める。このとき、最低Ｌ点のハン窓を用いたＦＦＴ（高速フーリエ変換）を行い、所定の周波数範囲［ｆｌ，ｆｈ］で最大周波数ｆｍａｘを求める。そして、最大周波数ｆｍａｘを用いてテンポを算出する。本実施形態では、テンポ（ｔｅｍｐｏ＝６０×ｆｍａｘ）とする。
【００６２】
次に、本実施形態に係る第１の動き生成処理（図２のステップＳ６）を詳細に説明する。
まず、第１の動きデータベース１５内の動きデータの中から、表示データにおける前区間の動きデータに続く動きデータに適した動きデータを選択する。具体的には、（６）式および（７）式によって、第１の動きデータベース１５内の動きデータの中から、使用する動きデータを選択する。
【００６３】
【数６】
【００６４】
但し、ｋは、第１の動きデータベース１５内に在る動きデータの個数である。ｔは、第１の動きデータベース１５内の動きデータにおけるフレーム番号である。ｃ（ｋ，ｔ）は、（７）式で算出される。
【００６５】
【数７】
【００６６】
但し、ｑ１（ｉ）は、表示データにおける前区間の動きデータにおける最後のＮ個のフレームの中のｉ番目のフレームである。ｑ２（ｉ，ｔ）は、第１の動きデータベース１５内の動きデータのｔ番目のフレームからのＮ個のフレームの中のｉ番目のフレームである。
【００６７】
次いで、第１の動きデータベース１５から選択された動きデータにおける「ｔ番目のフレームからのＮ個のフレーム」と、表示データにおける前区間の動きデータにおける「最後のＮ個のフレーム」とを、slerp（spherical linear interpolation）処理によってブレンディングする。このブレンディング処理については、「David H. Eberly，“3D Game Engine Design”, 2nd edition, Geometric Tools, Inc., Morgan Kaufmann, pp.774, 2006」に記載されている。
【００６８】
次に、本実施形態に係るテンポ調整処理（図２のステップＳ７）を詳細に説明する。
本実施形態では、第１の動き生成処理（図２のステップＳ６）で、第１の動きデータベース１５から選択された動きデータに対してブレンディングを行った後の動きデータ（第１の動きデータ）に対して、テンポ算出処理（図２のステップＳ５）で算出したテンポ（ｔｅｍｐｏ）に、テンポを合わせる処理を行う。具体的には、（８）式によって、第１の動きデータの再生速度を調整する。再生速度の調整後の第１の動きデータは、第１の動き記憶部１６に格納される。
【００６９】
【数８】
【００７０】
但し、Ｆｓ＿ｏｌｄは第１の動きデータベース１５内の動きデータに定義されている再生速度である。Ｆｓ＿ｎｅｗは調整後の再生速度である。ｔｅｍｐｏ＿ｏｒｉｇは、第１の動きデータベース１５内の動きデータのテンポであり、第１の動きデータベース１５に予め準備されている。ｔｅｍｐｏ＿ｉｎｐｕｔは、テンポ算出処理（図２のステップＳ５）で算出したテンポ（ｔｅｍｐｏ）である。ＴＨ＿Ｈｉｇｈ及びＴＨ＿Ｌｏｗは所定の閾値である。
【００７１】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
例えば、データ取得部１１は、音楽を聴いている利用者との間の距離を検知する距離センサーを有してもよい。この場合、盛り上がり判定部１２は、上述した実施形態と同様に、一定時間（盛り上がりを判定する区間）毎に、入力した一定時間分の距離センサー出力信号に対して主成分分析し、第一主成分の平均得点が閾値以上である場合に盛り上がっていると判定する。
【００７２】
又は、データ取得部１１は、音楽を聴いている利用者の音声を検知するマイクロホンを有してもよい。この場合、盛り上がり判定部１２は、一定時間（盛り上がりを判定する区間）毎に、マイクロホンの出力信号を用いて音量を算出し、平均音量が閾値以上である場合に盛り上がっていると判定する。音量算出技術については、例えば「RECOMMENDATION ITU-R BS.1770-1. Algorithms to measure audio programme loudness and true-peak audio level」に記載されている。
【００７３】
又は、データ取得部１１は、音楽を聴いている複数の利用者の音声のシンク度を測定する音シンク度測定装置を有してもよい。この場合、盛り上がり判定部１２は、一定時間（盛り上がりを判定する区間）毎に、音シンク度算出装置が測定したシンク度又は平均シンク度が閾値以上である場合に盛り上がっていると判定する。
【００７４】
又は、データ取得部１１は、カラオケ装置が再生する音楽に合わせて歌っている利用者の歌を該カラオケ装置が採点したスコアを入力する入力装置を有してもよい。この場合、盛り上がり判定部１２は、一定時間（盛り上がりを判定する区間）毎に、入力装置が入力したスコア又は平均スコアが閾値以上である場合に盛り上がっていると判定する。
【００７５】
なお、上述した実施形態に係る第２の動き生成部２１は、任意の方法によって、入力音楽データに合わせた第２の動きデータを生成するものでよい。例えば、特許文献１又は非特許文献１に記載される従来技術を用いることができる。又、「Ganapathi, V.; Plagemann, C.; Koller, D.; Thrun, S., “Real Time Motion Capture Using a Single Time-of-Flight Camera”, IEEE CVPR 2010, pp. 755 - 762.」に記載される従来技術を用い、距離センサーからの出力信号から人物の動きを自動的に抽出するようにしてもよい。
【００７６】
また、第２の動きデータについては、予め準備しておいてもよい。例えば、音楽データと共に第２の動きデータを映像コンテンツ生成装置１に入力するようにしてもよい。この場合には、第２の動き生成部２１および第２の動きデータベース２２は不要である。
【００７７】
また、図２に示す各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、映像コンテンツ生成処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disk）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００７８】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００７９】
１…映像コンテンツ生成装置、１１…データ取得部、１２…盛り上がり判定部（イベント判定部）、１３…テンポ算出部、１４…第１の動き生成部、１５…第１の動きデータベース、１６…第１の動き記憶部、１７…表示データ生成部、２１…第２の動き生成部、２２…第２の動きデータベース、２３…第２の動き記憶部、３１…制御部
【特許請求の範囲】
【請求項１】
音楽に合わせた映像コンテンツを生成する映像コンテンツ生成装置において、
利用者が前記音楽を聴いているときのイベントの発生を判定するためのデータを取得するデータ取得部と、
前記データ取得部が取得したデータを用いてイベントの発生を判定するイベント判定部と、
前記イベント判定部が、イベントが発生したと判定した場合に、イベントに対応する動きのデータである第１の動きデータを生成する動き生成部と、
前記イベント判定部が、イベントが発生したと判定した場合に、前記動き生成部が生成した第１の動きデータを表示する表示データを生成する表示データ生成部と、
を備えたことを特徴とする映像コンテンツ生成装置。
【請求項２】
前記イベント判定部が、イベントが発生したと判定した場合に、前記データ取得部が取得したデータを用いてテンポを算出するテンポ算出部を備え、
前記動き生成部は、前記テンポ算出部が算出したテンポに、イベントに対応する動きのテンポを合わせた動きデータを生成する、
ことを特徴とする請求項１に記載の映像コンテンツ生成装置。
【請求項３】
前記表示データ生成部は、前記音楽に合わせた第２の動きデータと前記動き生成部が生成した第１の動きデータとを用いて前記表示データを生成し、
前記動き生成部は、前記表示データにおける前区間の動きデータに続く第１の動きデータを生成する、
ことを特徴とする請求項１又は２に記載の映像コンテンツ生成装置。
【請求項４】
イベントに対応する動きのデータを蓄積する動きデータベースを備え、
前記動き生成部は、前記動きデータベースから、前記表示データにおける前区間の動きデータに続く動きのデータを選択する、
ことを特徴とする請求項３に記載の映像コンテンツ生成装置。
【請求項５】
前記データ取得部は、前記利用者の動きを検知する加速度センサーを有し、
前記イベント判定部は、イベントの発生を判定する区間毎に、前記加速度センサーの出力信号に対して主成分分析し、第一主成分の平均得点が閾値以上である場合に、イベントが発生したと判定する、
ことを特徴とする請求項１から４のいずれか１項に記載の映像コンテンツ生成装置。
【請求項６】
前記データ取得部は、前記利用者との間の距離を検知する距離センサーを有し、
前記イベント判定部は、イベントの発生を判定する区間毎に、前記距離センサーの出力信号に対して主成分分析し、第一主成分の平均得点が閾値以上である場合に、イベントが発生したと判定する、
ことを特徴とする請求項１から４のいずれか１項に記載の映像コンテンツ生成装置。
【請求項７】
前記テンポ算出部は、前記第一主成分の得点をフーリエ変換して求めた最大周波数を用いて、テンポを算出する、
ことを特徴とする請求項５又は６に記載の映像コンテンツ生成装置。
【請求項８】
前記データ取得部は、前記利用者の音声を検知するマイクロホンを有し、
前記イベント判定部は、イベントの発生を判定する区間毎に、前記マイクロホンの出力信号を用いて音量を算出し、平均音量が閾値以上である場合に、イベントが発生したと判定する、
ことを特徴とする請求項１から４のいずれか１項に記載の映像コンテンツ生成装置。
【請求項９】
前記データ取得部は、複数の前記利用者の音声のシンク度を測定する音シンク度測定装置を有し、
前記イベント判定部は、イベントの発生を判定する区間毎に、前記音シンク度算出装置が測定したシンク度又は平均シンク度が閾値以上である場合に、イベントが発生したと判定する、
ことを特徴とする請求項１から４のいずれか１項に記載の映像コンテンツ生成装置。
【請求項１０】
前記音楽はカラオケ装置が再生するものであり、
前記データ取得部は、前記カラオケ装置が前記利用者の歌を採点したスコアを入力する入力装置を有し、
前記イベント判定部は、イベントの発生を判定する区間毎に、前記入力装置が入力したスコア又は平均スコアが閾値以上である場合に、イベントが発生したと判定する、
ことを特徴とする請求項１から４のいずれか１項に記載の映像コンテンツ生成装置。
【請求項１１】
音楽に合わせた映像コンテンツを生成する映像コンテンツ生成処理を行うためのコンピュータプログラムであって、
利用者が前記音楽を聴いているときのイベントの発生を判定するためのデータを取得するデータ取得ステップと、
前記取得したデータを用いてイベントの発生を判定するイベント判定ステップと、
前記イベント判定ステップで、イベントが発生したと判定した場合に、イベントに対応する動きのデータを生成する動き生成ステップと、
前記イベント判定ステップで、イベントが発生したと判定した場合に、前記動き生成ステップで生成した動きデータを表示する表示データを生成する表示データ生成ステップと、
をコンピュータに実行させるためのコンピュータプログラム。
【請求項１】
音楽に合わせた映像コンテンツを生成する映像コンテンツ生成装置において、
利用者が前記音楽を聴いているときのイベントの発生を判定するためのデータを取得するデータ取得部と、
前記データ取得部が取得したデータを用いてイベントの発生を判定するイベント判定部と、
前記イベント判定部が、イベントが発生したと判定した場合に、イベントに対応する動きのデータである第１の動きデータを生成する動き生成部と、
前記イベント判定部が、イベントが発生したと判定した場合に、前記動き生成部が生成した第１の動きデータを表示する表示データを生成する表示データ生成部と、
を備えたことを特徴とする映像コンテンツ生成装置。
【請求項２】
前記イベント判定部が、イベントが発生したと判定した場合に、前記データ取得部が取得したデータを用いてテンポを算出するテンポ算出部を備え、
前記動き生成部は、前記テンポ算出部が算出したテンポに、イベントに対応する動きのテンポを合わせた動きデータを生成する、
ことを特徴とする請求項１に記載の映像コンテンツ生成装置。
【請求項３】
前記表示データ生成部は、前記音楽に合わせた第２の動きデータと前記動き生成部が生成した第１の動きデータとを用いて前記表示データを生成し、
前記動き生成部は、前記表示データにおける前区間の動きデータに続く第１の動きデータを生成する、
ことを特徴とする請求項１又は２に記載の映像コンテンツ生成装置。
【請求項４】
イベントに対応する動きのデータを蓄積する動きデータベースを備え、
前記動き生成部は、前記動きデータベースから、前記表示データにおける前区間の動きデータに続く動きのデータを選択する、
ことを特徴とする請求項３に記載の映像コンテンツ生成装置。
【請求項５】
前記データ取得部は、前記利用者の動きを検知する加速度センサーを有し、
前記イベント判定部は、イベントの発生を判定する区間毎に、前記加速度センサーの出力信号に対して主成分分析し、第一主成分の平均得点が閾値以上である場合に、イベントが発生したと判定する、
ことを特徴とする請求項１から４のいずれか１項に記載の映像コンテンツ生成装置。
【請求項６】
前記データ取得部は、前記利用者との間の距離を検知する距離センサーを有し、
前記イベント判定部は、イベントの発生を判定する区間毎に、前記距離センサーの出力信号に対して主成分分析し、第一主成分の平均得点が閾値以上である場合に、イベントが発生したと判定する、
ことを特徴とする請求項１から４のいずれか１項に記載の映像コンテンツ生成装置。
【請求項７】
前記テンポ算出部は、前記第一主成分の得点をフーリエ変換して求めた最大周波数を用いて、テンポを算出する、
ことを特徴とする請求項５又は６に記載の映像コンテンツ生成装置。
【請求項８】
前記データ取得部は、前記利用者の音声を検知するマイクロホンを有し、
前記イベント判定部は、イベントの発生を判定する区間毎に、前記マイクロホンの出力信号を用いて音量を算出し、平均音量が閾値以上である場合に、イベントが発生したと判定する、
ことを特徴とする請求項１から４のいずれか１項に記載の映像コンテンツ生成装置。
【請求項９】
前記データ取得部は、複数の前記利用者の音声のシンク度を測定する音シンク度測定装置を有し、
前記イベント判定部は、イベントの発生を判定する区間毎に、前記音シンク度算出装置が測定したシンク度又は平均シンク度が閾値以上である場合に、イベントが発生したと判定する、
ことを特徴とする請求項１から４のいずれか１項に記載の映像コンテンツ生成装置。
【請求項１０】
前記音楽はカラオケ装置が再生するものであり、
前記データ取得部は、前記カラオケ装置が前記利用者の歌を採点したスコアを入力する入力装置を有し、
前記イベント判定部は、イベントの発生を判定する区間毎に、前記入力装置が入力したスコア又は平均スコアが閾値以上である場合に、イベントが発生したと判定する、
ことを特徴とする請求項１から４のいずれか１項に記載の映像コンテンツ生成装置。
【請求項１１】
音楽に合わせた映像コンテンツを生成する映像コンテンツ生成処理を行うためのコンピュータプログラムであって、
利用者が前記音楽を聴いているときのイベントの発生を判定するためのデータを取得するデータ取得ステップと、
前記取得したデータを用いてイベントの発生を判定するイベント判定ステップと、
前記イベント判定ステップで、イベントが発生したと判定した場合に、イベントに対応する動きのデータを生成する動き生成ステップと、
前記イベント判定ステップで、イベントが発生したと判定した場合に、前記動き生成ステップで生成した動きデータを表示する表示データを生成する表示データ生成ステップと、
をコンピュータに実行させるためのコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１２−２１２２４５（Ｐ２０１２−２１２２４５Ａ）
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願番号】特願２０１１−７６６５６（Ｐ２０１１−７６６５６）
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]