動画作成装置、コンピュータプログラム及び記憶媒体
【課題】映像効果の種類をたくさん用意することなく、変化に富んだ多彩な演出効果を実現できるようにする。
【解決手段】タイムラインに沿って、楽曲素材のデータを配置するトラックと、写真素材を配置するトラックと、前記写真素材に映像効果を施すための映像効果トラックとを独立して有する動画作成画面をディスプレイに表示し、前記映像効果トラックに配置された映像効果を、前記写真素材に対して加えることにより、多彩な演出効果を前記写真素材に施すことができるようにする。
【解決手段】タイムラインに沿って、楽曲素材のデータを配置するトラックと、写真素材を配置するトラックと、前記写真素材に映像効果を施すための映像効果トラックとを独立して有する動画作成画面をディスプレイに表示し、前記映像効果トラックに配置された映像効果を、前記写真素材に対して加えることにより、多彩な演出効果を前記写真素材に施すことができるようにする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画作成装置、コンピュータプログラム及び記憶媒体に関し、特に、エフェクト等の処理を静止画に施して動画を簡単に作成することができるようにする技術に関する。
【背景技術】
【０００２】
近年、パーソナルコンピュータ等には、ユーザーが撮影した静止画や動画を、ユーザー自身で編集したり、フォトアルバム（電子アルバム）を作成したりする機能を搭載するものがある。
【０００３】
例えば、特許文献１では、ユーザーがハードディスク等に記憶されている画像を指定すると、指定された画像に所定の編集処理（エフェクト処理）を施し、予め用意された音楽（ＢＧＭ）に合わせて画像が順次表示されるコンテンツを作成する画像編集処理が開示されている。この画像編集処理は、画像に施す編集処理がランダムに決定されるため、同一の画像を指定しても、異なるコンテンツを作成することができるという特徴を有するものである。
【０００４】
また、特許文献２では、ユーザーが予め用意されている楽曲を選択するとともに、再生対象とする静止画が格納されたフォトアルバムを選択することにより、楽曲の雰囲気に合わせたエフェクトが施された静止画を、曲とともに順次表示するスライドショーコンテンツ（プレイリスト）を作成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−２８５７８４号公報
【特許文献２】特開２００６−８６６２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来技術では、タイムライン上に静止画素材およびそれに付加する映像効果を配置するためのエフェクトトラック（映像効果トラック）と、音楽素材を配置するためのＢＧＭトラックのみにより静止画と音楽とを組み合わせたスライドショーを作成していた。
【０００７】
そして、従来技術では、写真（静止画）自体を演出するためのズーム、パンニング、色変更などの「エフェクト」と、クロスフェード、ワイプなど時系列上隣接する静止画間を演出するための「トランジション」とを複数用意しておき、各静止画に「エフェクト」を選択して割り当て、静止画間に「トランジション」を選択して割り当てることで、スライドショーを演出できるようにしていた。
【０００８】
しかし、このような方法では、バラエティに富んだスライドショーを作成できるようにするためには、色々な種類の「エフェクト」や「トランジション」を用意しておく必要があるので、膨大な数のデータが必要であった。また、「エフェクト」や「トランジション」の数が膨大になるので、音楽に映像を同期させるためのタイミング合わせの作業が非常に面倒であり、音楽に同期した映像効果を、自由自在でしかも容易に編集することは不可能であった。
本発明は前述の問題点に鑑み、映像効果の種類をたくさん用意することなく、変化に富んだ多彩な演出効果を実現ができるようにすることを第１の目的とする。
さらに、音楽に映像を同期させるための面倒なタイミング合わせの作業をすることなく、だれでも簡単に音楽に同期した映像の動画を自由に作成できるようにすることを第２の目的とする。
【課題を解決するための手段】
【０００９】
本発明の動画作成装置は、複数の画像を用いて動画を作成する動画作成装置であって、タイムラインに沿って、楽曲素材のデータを配置するトラックと、写真素材を配置するトラックと、前記写真素材に映像効果を施すための映像効果トラックとを独立して有する動画作成画面をディスプレイに表示し、前記映像効果トラックに配置された映像効果を、前記写真素材に対して加えることにより、多彩な演出効果を前記写真素材に施すことができるようにしたことを特徴とする。
また、本発明の動画作成装置の他の特徴とするところは、音楽素材を配置するための楽曲トラック、静止画素材を配置するための写真トラック、及び前記静止画素材に付加する映像効果を配置するための映像効果トラックが複数設けられている動画作成画面をディスプレイに表示する動画作成画面表示手段と、前記動画作成画面に入力される情報を前記楽曲トラック、写真トラック、及び映像効果トラックに配置する情報入力手段と、前記情報入力手段により入力された情報に基いて、前記静止画素材に映像効果を付加して動画を作成する動画作成手段と、前記動画作成手段により作成された動画を再生する動画再生手段とを有することを特徴とする。
【００１０】
本発明のコンピュータプログラムは、複数の画像を用いて動画を作成する処理をコンピュータに実行させるコンピュータプログラムであって、タイムラインに沿って、楽曲素材のデータを配置するトラックと、写真素材を配置するトラックと、前記写真素材に映像効果を施すための映像効果トラックとを独立して有する動画作成画面をディスプレイに表示し、前記映像効果トラックに配置された映像効果を、前記写真素材に対して加えることにより、多彩な演出効果を前記写真素材に施す処理をコンピュータに実行させることを特徴とする。
また、本発明のコンピュータプログラムの他の特徴とするところは、音楽素材を配置するための楽曲トラックと、静止画素材を配置するための写真トラック、及び前記静止画素材に付加する映像効果を配置するための映像効果トラックが複数設けられている動画作成画面をディスプレイに表示する動画作成画面表示工程と、前記動画作成画面に入力される情報を前記楽曲トラック、写真トラック、及び映像効果トラックに配置する情報入力工程と、前記情報入力工程により入力された情報に基いて、前記静止画素材に映像効果を付加して動画を作成する動画作成工程と、前記動画作成工程により作成された動画を再生する動画再生工程とをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、独立した映像効果トラックを掛け合わせることにより、莫大なパターンの映像効果を生み出すことが可能となるので、映像効果の種類をたくさん用意することなく、変化に富んだ多彩な演出効果を実現することができる。
また、本発明の他の特徴によれば、音楽同期タイミングをまったく意識することなく、簡単な操作により誰でも容易に音楽に同期したムービーを作成できる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態を示し、動画作成方法を実行する動画作成装置の構成例を説明するブロック図である。
【図２】動画作成手順の一例を示すフローチャートである。
【図３】動画作成及び動画編集を行う画面の一例を示す図である。
【図４】「楽曲タブ」が選択された状態の一例を示す図である。
【図５】「写真タブ」が選択された状態の一例を示す図である。
【図６】「切り替えタブ」が選択された状態の一例を示す図である。
【図７】「フォーカスタブ」が選択された状態の一例を示す図である。
【図８】「カメラタブ」が選択された状態の一例を示す図である。
【図９】「照明タブ」が選択された状態の一例を示す図である。
【図１０】「背景タブ」が選択された状態の一例を示す図である。
【図１１】「テキストタブ」が選択された状態の一例を示す図である。
【図１２】「スクリーンタブ」が選択された状態の一例を示す図である。
【図１３】動画作成の具体例を説明する図である。
【図１４】静止画に映像効果が施されて動画が生成される様子を説明する図である。
【発明を実施するための形態】
【００１３】
図１は、本実施形態の動画作成方法を実行する動画作成装置の構成例を説明するブロック図である。
図１に示すように、本実施形態の動画作成装置１００において行われる動画作成プログラム（コンピュータプログラム）により実行する一連の処理は、ＣＰＵ１０１、１０２、及びＲＡＭ１０３よりなるコンピュータシステムにより制御されて実行される。
【００１４】
動画作成装置１００において、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【００１５】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
【００１６】
また、入力部１０６には、キーボード１１２、マウス１１３、マイクロホン１１４などが接続されている。また、出力部１０７には、ディスプレイ１１５、スピーカ１１６などが接続されている。
【００１７】
以上のように構成される動画作成装置１００では、ＣＰＵ１０１が、例えば、記憶部１０８に記憶されている動画作成プログラムを、入出力インタフェース１０５及びバス１０４を介して、ＲＡＭ１０３にロードして実行することにより、動画作成処理が行われる。
【００１８】
本実施形態の動画作成装置１００において、ＣＰＵ１０１が実行する動画作成プログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【００１９】
具体的には、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、有線または無線の伝送媒体を介して送信される動画作成プログラムを通信部１０９で受信して、記憶部１０８にインストールすることができる。その他、動画作成プログラムは、ＲＯＭ１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【００２０】
なお、動画作成装置１００が実行する動画作成プログラムは、本明細書で説明する順序に沿って時系列に処理が行われる動画作成プログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われる動画作成プログラムであってもよい。
【００２１】
前述した動画作成処理をソフトウェアにより実行する場合、一連の処理を１つのアプリケーション動画作成プログラムで実現してもよいし、機能的に分割した複数のアプリケーションプログラムで実現してもよい。
【００２２】
次に、図２のフローチャートを参照しながら本実施形態の動画作成処理手順の一例を説明する。
処理が開始されると、ステップＳ２１において動画作成画面をディスプレイ１１５に表示する動画作成画面表示処理が行われる。本実施形態の動画作成方法において用いる動画作成画面には、図３に示すように、音楽素材を配置するための楽曲トラックと、写真素材（静止画素材）を配置するための写真トラック、及び静止画素材に付加する映像効果を配置するためのエフェクトトラック（映像効果トラック）が複数設けられていて、これらのトラックを独立して操作することができる。
【００２３】
さらに、映像効果トラックは、「区間トラック」と「瞬間トラック」とで構成される。「区間トラック」上に配置された映像オブジェクトによる映像効果処理は、タイムライン上に配置された次の映像オブジェクト位置まで継続される。一方、「瞬間トラック」上に配置された映像オブジェクトによる映像効果処理は、配置タイミングを中心とした前後の短い時間のみ行われる。
【００２４】
図３に示したように、本実施形態においては、エフェクトトラックとして、切り替えトラック、フレームトラック、フォーカストラック、カメラトラック、照明トラック、背景トラック、テキストトラック、イラストトラック、スクリーントラック等が設けられている。また、映像トラックごとに、さらに区間映像トラックと瞬間映像トラックを設けている。さらに、それぞれの映像トラックに対応して、複数の映像スタイルが用意されており、さらに各スタイルには複数のパターンの映像オブジェクトが用意され、それぞれの映像オブジェクト毎に映像効果のレベル設定ができる。
【００２５】
また、これらのトラックに対応するタブが複数設けられていて、入力するトラックに対応するタブをクリックすることにより、所望の素材を選択することができるように構成されている。図３の例では、「フレームタブ」が選択されていて、選択画面には「矩形」、「手書き風」、「額縁」、「ガラス」、「スタンプ」・・・等が選択可能に表示されている。フレームの「映像効果」は、写真を表示する形状、例えば、４角形やハート形などの形状に表示するためのデータである。
【００２６】
図４は、「楽曲タブ」が選択された状態の一例を示している。この例では、「その１」〜「その３」の楽曲が表示されていて、「その３」が選択されている様子を示している。
図５は、「写真タブ」が選択された状態の一例を示していて、「写真Ａ」「写真Ｂ」「写真Ｃ」「写真Ｄ」・・・等の写真が選択可能に表示されている。
【００２７】
図６は、「切り替えタブ」が選択された状態の一例を示している。切り替えの「映像効果」は、各写真をどのようにモーションさせながら切り替え表示をするかを決めるためのデータである。この例では、スタイル名のウインドに「ツイスト」、「リバース」、「インサイドキューブ」等の映像効果が選択可能に表示されている。また、パターン名のウインドに「ノーマル」、「左旋回」、「右旋回」等が選択可能に表示されている。更に、効果レベルを、小〜大の間で自由に選択するためのスライダーが表示されている。
【００２８】
効果レベルは、例えば「左旋回」というパターンの映像オブジェクトであれば、効果レベルの値が小さいほどゆっくり旋回し、大きいほどはやく旋回するようにしてもよいし、効果レベルの値が小さいほど小さい角度で旋回し、大きいほど大きい角度で旋回するようにしてもよい。つまり、効果レベルとは、同じパターンの映像オブジェクトであっても、微妙な映像の違いを表現するためのさじ加減を調整するために用意されているものである。上記例に限らず、同じようなパターンの映像効果についてその映像表現の違いを調整するようなものであれば何でもよい。なお、本項の「切り替え」についての効果レベルだけでなく、次項以降の効果レベルについても同様である。
【００２９】
図７は、「フォーカスタブ」が選択された状態の一例を示している。フォーカスの映像効果は、表示する写真に焦点を合わせる等の効果を施すためのものである。この例では、スタイル名のウインドに「ズーム」、「パンニング」、「ジャンプ」、「不安定」等の映像効果が選択可能に表示されている。また、パターン名のウインドに「横方向」、「縦方向」、「斜め方向」等が選択可能に表示されている。更に、効果レベルを、小〜大の間で自由に選択するためのスライダーが表示されている。
【００３０】
図８は、「カメラタブ」が選択された状態の一例を示している。この例では、スタイル名のウインドに「ズーム」、「パンニング」、「不安定」、「ビートズーム」、「ビートパンニング」等が選択可能に表示されている。また、パターン名のウインドに「ズームイン（等速）」、「ズームイン（加速）」、「ズームイン（減速）」、「ズームアウト（等速）」等が選択可能に表示されている。更に、効果レベルを、小〜大の間で自由に選択するためのスライダーが表示されている。
【００３１】
図９は、「照明タブ」が選択された状態の一例を示している。この例では、スタイル名のウインドに「パンニング」、「回転」、「トーチ」、「ビートズーム」、「ビートパンニング」等が選択可能に表示されている。また、パターン名のウインドに「時計回り（ノーマル）」、「反時計回り（ノーマル）」、「時計回り（リバース）」、「反時計回り（リバース）」等が選択可能に表示されている。更に、効果レベルを、小〜大の間で自由に選択するためのスライダーが表示されている。また、色を選択するためのボタンも表示されている。
【００３２】
図１０は、「背景タブ」が選択された状態の一例を示している。「背景」の映像効果は、表示している写真の背景を任意に選択できるようにするためのデータである。この例では、スタイル名のウインドに「カラー」、「ノイズ」、「移動」、「不安定」、「星」等が選択可能に表示されている。また、パターン名のウインドに「縦方向のみ」、「横方向のみ」、「全方向」等が選択可能に表示されている。また、利用写真を選択するウインドが設けられていて、「フォーカス写真」、「前の写真」、「次の写真」、「ランダム」の選択項目のうち、「フォーカス写真」が選択された状態で表示されている。更に、効果レベルを、小〜大の間で自由に選択するためのスライダーが表示されている。
【００３３】
図１１は、「テキストタブ」が選択された状態の一例を示している。「テキスト」は、表示中の写真に重ねて表示するテキストに対する効果データである。この例では、スタイル名のウインドに「なし」、「ノーマル」、「ズーム」、「伸張」、「スピン」等が選択可能に表示されている。また、パターン名のウインドに「全文字」、「１文字」、「全文字」等が選択可能に表示されている。更に、効果レベルを、小〜大の間で自由に選択するためのスライダーが表示されている。また、「編集」ボタンをクリックすると、テキストの文字列やフォントの種類、色、テキスト表示位置等を設定するためのウインドが開くようになっている。
【００３４】
図１２は、「スクリーンタブ」が選択された状態の一例を示している。「スクリーン」はムービー全体に対する映像効果であり、画面全体を暗くしたり、ぼかしたりするデータである。この例では、スタイル名のウインドに「ノーマル」、「フェードイン」、「フェードアウト」、「ブライト」、「カラー」等が選択可能に表示されている。また、パターン名のウインドに「固定」が選択可能に表示されている。更に、効果レベルを、小〜大の間で自由に選択するためのスライダーが表示されている。
【００３５】
本実施形態においては、フレームトラック〜テキストトラックにおいては、複数のエフェクトトラックを設けた例を示している（図３の例では２列）。
すなわち、フレームトラックの上段には、「タイム０：０２」に「矩形、ラウンド大」、「タイム０：１４」に「額縁、リアル」、「タイム０：２８」に「矩形、ラウンド大」、「タイム０：３０」に「ユーザー、回転型」の「映像効果」が配置されている。また、下段には、「タイム０：３３」に「手書き風、矩形」の「映像効果」が配置されている。
【００３６】
フォーカストラックの上段には、「タイム０：０２」に「ノーマル、矩形」、「タイム０：２５」に「ジャンプ」の「映像効果」が配置されている。また、背景トラックの上段には、「タイム０：０２」に「カラー」、「タイム０：１７」に「ノイズ、周期変化」、「タイム０：３０」に「カラー、選択カラー」の「映像効果」が配置されている。また、下段には、「タイム０：２１」に「ノイズ、周期変化」、「タイム０：３７」に「ノイズ、周期変化」の「映像効果」が配置されている。
【００３７】
前述したような、「動画作成画面」に対して、ユーザーがマウス１１３を操作することにより動画作成処理が実行される。すなわち、ステップＳ２２においては、ユーザーにより楽曲選択が終了したか否かが判断される。この判断の結果、楽曲選択が終了していない場合には待機状態となる。また、ステップＳ２２の判断の結果、楽曲選択が終了した場合にはステップＳ２３に進む。本実施形態においては、図４を参照しながら説明したように、「その３」が選択されているので、ステップＳ２２からステップＳ２３に進む。
【００３８】
ステップＳ２３においては、写真選択が終了したか否かが判断される。この判断の結果、写真選択が終了していない場合には待機状態となる。また、ステップＳ２３の判断の結果、写真選択が終了して写真トラックに写真が配置された場合にはステップＳ２４に進む。
ステップＳ２４においては、ステップＳ２３で写真トラックに配置された画像に所定の編集処理（エフェクト処理）を施すために、切り替えトラック〜スクリーントラックのそれぞれに、図４〜図１２を参照しながら説明した「映像効果」が入力されるのを待機する。そして、各エフェクトトラックに「映像効果」が入力されたら、ステップＳ２５に進む。前述したＳ２２〜Ｓ２４の各工程が情報入力工程となる。
【００３９】
ステップＳ２５においては、ステップＳ２２〜ステップＳ２４の各工程において、動画作成画面に入力された情報に基いて動画作成処理が行われる。本実施形態における動画作成処理は、写真トラックに配置された各画像に対して「映像効果」に従った処理を個々に実行する。これにより、１つの「静止画」に対して複数の映像処理を施すことが可能となり、従来のように、映像効果処理が行われた動画素材を大量に用意することなく、変化に富んだ多彩な演出効果を施した動画から生成することができる。動画作成処理が終了したら、次に、ステップＳ２６に進む。
【００４０】
ステップＳ２６においては、Ｓ２５で作成した動画の再生処理が行われる。この動画再生処理が行われている期間中は、予め設定されている所定のタイミングでステップＳ２７に進み、ユーザー（操作者）により動画再生処理の中断操作が行われるか否かを判断する。この判断の結果、ユーザーにより中断操作が行われた場合には、動画再生中であってもステップＳ２２に戻り、ステップＳ２２〜ステップＳ２４の動画作成工程により作成された動画を編集可能な画面を表示する制御が行われる。これにより、ステップＳ２２〜ステップＳ２４において所望の効果を追加したり、変更したりする編集処理を行うことが可能となる。そして、編集結果に基いて、ステップＳ２５において動画作成処理が行われる（この場合、動画編集処理となる）。これにより、動画作成結果を確認しながら編集作業を自由に行うことができる。また、ステップＳ２７の判断の結果、ユーザーによる中断操作が行われなかった場合にはステップＳ２８に進む。
【００４１】
ステップＳ２８においては、動画再生処理が終了したか否かを判断する。この判断の結果、動画再生処理が終了していない場合にはステップＳ２２に戻る。この場合、ユーザーによる中断操作が行われていないので、ステップＳ２２〜ステップＳ２５はスルーとなり、ステップＳ２６の動画再生処理が続行する。また、ステップＳ２８の判断の結果、動画再生処理が終了した場合にはエンド処理となる。
【００４２】
本実施形態においては、前述のようにして動画作成を行うことにより、映像効果処理が行われた動画素材を大量に用意することなく、変化に富んだ多彩な演出効果を施した動画を生成することができる。
【００４３】
次に、図１３及び図１４を参照しながら、動画作成の具体例を説明する。
図１３に示すように、この例では、切り替えトラックには「タイム０：０２」に「折り紙」の「映像効果」が配置されている。また、フレームトラックには「タイム０：０２」に「矩形、ラウンド大」の「映像効果」が配置されている。また、フォーカストラックには、「タイム０：０２」に「ノーマル、固定」の「映像効果」が配置されている。また、カメラトラックには、「タイム０：０２」に「ノーマル、固定」の「映像効果」が配置されている。また、背景トラックには「タイム０：０２」に「カラー」の「映像効果」が配置されている。
【００４４】
写真トラックに配置されている各写真は、図１３中において台形で示したように、フェードイン〜全表示〜フェードアウトによりディスプレイ１１５に表示される。具体的に説明すると、写真１は、「タイム０：０２」においてフェードインを開始する。そして、「タイム０：０３」よりも少し前にフェードインを終了して全表示となる。その後、「タイム０：０５」付近でフェードアウトを開始し、「タイム０：０５」〜「タイム０：０６」の中央付近でフェードアウトを終了する。
【００４５】
また、写真２は、写真１がフェードアウトを開始した「タイム０：０５」付近でフェードインを開始する。そして、写真１がフェードアウトを終了した時刻にフェードインを終了して全表示となる。したがって、写真１がフェードアウトを開始してからフェードアウトを終了するまでの期間は、写真１と写真２とがディスプレイ１１５にオーバーラップして表示される。
【００４６】
各エフェクトトラックに、前述のような「映像効果」が配置されることにより写真トラックに配置されている写真は、図１４（１)〜（８）に示すように処理されて動画作成が行われる。すなわち、図１４（１)に示すように、切り替え効果「折り紙」により、写真１がフェードインしてくる。
【００４７】
図１４（２）〜（６）は、フェードインした写真１に「折り紙」の切り替え効果が施されて、小さく折り畳まれていた写真１が徐々に開いて、写真１の全体が表示される様子を示している。このように、折り畳まれていた写真１が徐々に開いていく様子をタイムラインに沿って表示することにより動画生成が行われる。
【００４８】
本発明における動画生成の手法としては、3次元座標を持つポリゴンデータに写真画像テクスチャを貼り付けてアニメーションさせ、それに照明効果や色調変更などの画像処理を施し、カメラワーク的な座標変換を行った上で２次元座標に投影した画像を生成するなど、ごく一般的に行われている周知の技術を応用することができる。
【００４９】
図１４（７）は、写真１がフェードアウトするとともに、写真２がフェードインする様子を示している。図１４（８）は、ファードインした写真２に「折り紙」の切り替え効果が施されて、写真２が徐々に開いていく様子を示している。
【００５０】
前述したように、本実施形態においては、夫々の効果毎に、複数の「スタイル」データ、及び複数「パターン」データを有しているので、写真に付与可能な効果は、「スタイル」×「パターン」の数だけ得ることができる。したがって、映像効果の種類をたくさん所持することなく莫大な種類で変化に富んだ演出効果を実現することができる。
【００５１】
（第２の実施形態）
本実施形態においては、楽曲素材に対応した音楽同期情報（楽曲同期情報）を有する。この同期情報は、楽曲を周波数分析する周知の手法等により得られたビートタイミングや音圧レベルなどの特徴検出情報であるが、ユーザー自身が楽曲全体あるいは楽曲の一部を聴きながらタップするなどの手入力によって得られる情報であってもよい。音楽同期情報は、図３及び図１３において、ムービーの時間情報のタイミングとは別に、楽曲トラック上に貼り付けられている楽曲に対応する音楽同期情報のタイミングで縦方向に示されている情報である。
【００５２】
本実施形態のように、音楽同期情報を有することにより、タイムライン上の楽曲トラックに配置された楽曲素材とそれに対応する同期情報とにより、それ以外のトラックに後から入力されるオブジェクトは、楽曲に対応した楽曲同期情報に基づいて、同期時刻に対応するマークを、前記動画作成画面に自動的に配置して表示することが可能になる。
【００５３】
また、同期グリッドをオンオフするモードを設け、グリッドオンのときは最寄りの同期タイミングに自動配置され、グリッドオフのときはポインティングデバイス等で指示したタイミングに自動配置されるようにすることができる。配置後のタイムライン上の写真素材のフェードイン、フェードアウト時刻の変更や映像オブジェクトの切り替えタイミング時刻の変更等の編集もこれに準じる。
【００５４】
グリッドオンのときは、グリッド位置をタイムライン上に判別できるように表示する。前記の「フレーム」、「フォーカス」、「カメラ」、「照明」、「背景」、「テキスト」、「スクリーン」の各映像効果は、写真（静止画）、テキスト、イラスト等の映像素材を利用して、前記の同期情報に基づいてリアルタイムに映像処理を行うことで、楽曲に同期したムービーを作成して再生することができる。
【００５５】
映像が楽曲に同期するのは、ある映像スタイルから次の映像スタイルへ切り替わるタイミングのみではない。
例えば、「フォーカス」や「照明」などの映像効果スタイルの中には、「ビートパンニング」という映像スタイルが用意されているが、このスタイルに属する映像オブジェクトを映像トラックに配置した場合、楽曲の同期情報に対応するビート位置に合わせてパンニングするような映像処理を行うようにする。
【００５６】
また、「フレーム」や「テキスト」、「カメラ」などの映像効果スタイルの中には、「ビートズーム」という映像スタイルが用意されているが、それに属する映像オブジェクトを映像トラックに配置した場合、ビートに合わせてズームするような映像処理を行うようにする。
【００５７】
これに限らず、各映像トラックに対応した映像スタイルには、同期情報に同期する映像処理に関連するものを含んでおり、これらの映像スタイルの映像オブジェクトを配置した場合には、次の映像スタイル時刻までの間に、周期的あるいは瞬間的な映像表現などの映像処理を行うようにする。
さらに、本実施例にはないが、「イラスト」という映像トラックを用意して、選択したイラスト素材を、選択した映像スタイルに対応した映像処理を行うようにしてもよい。
【００５８】
ムービー編集中に、編集途中のムービーデータを再生しながら、選択した映像オブジェクトの入力操作を行うと、ムービー再生ポインタに対応した位置に、前記グリッドモードに応じて自動的に配置される。
【００５９】
（本発明の他の実施形態）
前述した実施形態の機能を実現するべく各プログラムコードを動作させるように、前記各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたコンピュータプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【００６０】
また、この場合、前記ソフトウェアのプログラムコード自体が前述した実施形態の機能（各手段）を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるプログラムコードを記録する記憶媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００６１】
また、コンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれる。
【００６２】
さらに、コンピュータ読み取り可能な記憶媒体から供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合にも本発明に含まれる。
【符号の説明】
【００６３】
Ｓ２１ 動画作成画面表示工程、Ｓ２２ 楽曲選択工程、Ｓ２３ 写真選択工程、Ｓ２４ 映像効果入力工程、Ｓ２５ 動画作成工程、Ｓ２６ 動画再生工程、Ｓ２７ 編集操作受付工程、Ｓ２８ 終了判断工程
【技術分野】
【０００１】
本発明は動画作成装置、コンピュータプログラム及び記憶媒体に関し、特に、エフェクト等の処理を静止画に施して動画を簡単に作成することができるようにする技術に関する。
【背景技術】
【０００２】
近年、パーソナルコンピュータ等には、ユーザーが撮影した静止画や動画を、ユーザー自身で編集したり、フォトアルバム（電子アルバム）を作成したりする機能を搭載するものがある。
【０００３】
例えば、特許文献１では、ユーザーがハードディスク等に記憶されている画像を指定すると、指定された画像に所定の編集処理（エフェクト処理）を施し、予め用意された音楽（ＢＧＭ）に合わせて画像が順次表示されるコンテンツを作成する画像編集処理が開示されている。この画像編集処理は、画像に施す編集処理がランダムに決定されるため、同一の画像を指定しても、異なるコンテンツを作成することができるという特徴を有するものである。
【０００４】
また、特許文献２では、ユーザーが予め用意されている楽曲を選択するとともに、再生対象とする静止画が格納されたフォトアルバムを選択することにより、楽曲の雰囲気に合わせたエフェクトが施された静止画を、曲とともに順次表示するスライドショーコンテンツ（プレイリスト）を作成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−２８５７８４号公報
【特許文献２】特開２００６−８６６２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来技術では、タイムライン上に静止画素材およびそれに付加する映像効果を配置するためのエフェクトトラック（映像効果トラック）と、音楽素材を配置するためのＢＧＭトラックのみにより静止画と音楽とを組み合わせたスライドショーを作成していた。
【０００７】
そして、従来技術では、写真（静止画）自体を演出するためのズーム、パンニング、色変更などの「エフェクト」と、クロスフェード、ワイプなど時系列上隣接する静止画間を演出するための「トランジション」とを複数用意しておき、各静止画に「エフェクト」を選択して割り当て、静止画間に「トランジション」を選択して割り当てることで、スライドショーを演出できるようにしていた。
【０００８】
しかし、このような方法では、バラエティに富んだスライドショーを作成できるようにするためには、色々な種類の「エフェクト」や「トランジション」を用意しておく必要があるので、膨大な数のデータが必要であった。また、「エフェクト」や「トランジション」の数が膨大になるので、音楽に映像を同期させるためのタイミング合わせの作業が非常に面倒であり、音楽に同期した映像効果を、自由自在でしかも容易に編集することは不可能であった。
本発明は前述の問題点に鑑み、映像効果の種類をたくさん用意することなく、変化に富んだ多彩な演出効果を実現ができるようにすることを第１の目的とする。
さらに、音楽に映像を同期させるための面倒なタイミング合わせの作業をすることなく、だれでも簡単に音楽に同期した映像の動画を自由に作成できるようにすることを第２の目的とする。
【課題を解決するための手段】
【０００９】
本発明の動画作成装置は、複数の画像を用いて動画を作成する動画作成装置であって、タイムラインに沿って、楽曲素材のデータを配置するトラックと、写真素材を配置するトラックと、前記写真素材に映像効果を施すための映像効果トラックとを独立して有する動画作成画面をディスプレイに表示し、前記映像効果トラックに配置された映像効果を、前記写真素材に対して加えることにより、多彩な演出効果を前記写真素材に施すことができるようにしたことを特徴とする。
また、本発明の動画作成装置の他の特徴とするところは、音楽素材を配置するための楽曲トラック、静止画素材を配置するための写真トラック、及び前記静止画素材に付加する映像効果を配置するための映像効果トラックが複数設けられている動画作成画面をディスプレイに表示する動画作成画面表示手段と、前記動画作成画面に入力される情報を前記楽曲トラック、写真トラック、及び映像効果トラックに配置する情報入力手段と、前記情報入力手段により入力された情報に基いて、前記静止画素材に映像効果を付加して動画を作成する動画作成手段と、前記動画作成手段により作成された動画を再生する動画再生手段とを有することを特徴とする。
【００１０】
本発明のコンピュータプログラムは、複数の画像を用いて動画を作成する処理をコンピュータに実行させるコンピュータプログラムであって、タイムラインに沿って、楽曲素材のデータを配置するトラックと、写真素材を配置するトラックと、前記写真素材に映像効果を施すための映像効果トラックとを独立して有する動画作成画面をディスプレイに表示し、前記映像効果トラックに配置された映像効果を、前記写真素材に対して加えることにより、多彩な演出効果を前記写真素材に施す処理をコンピュータに実行させることを特徴とする。
また、本発明のコンピュータプログラムの他の特徴とするところは、音楽素材を配置するための楽曲トラックと、静止画素材を配置するための写真トラック、及び前記静止画素材に付加する映像効果を配置するための映像効果トラックが複数設けられている動画作成画面をディスプレイに表示する動画作成画面表示工程と、前記動画作成画面に入力される情報を前記楽曲トラック、写真トラック、及び映像効果トラックに配置する情報入力工程と、前記情報入力工程により入力された情報に基いて、前記静止画素材に映像効果を付加して動画を作成する動画作成工程と、前記動画作成工程により作成された動画を再生する動画再生工程とをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、独立した映像効果トラックを掛け合わせることにより、莫大なパターンの映像効果を生み出すことが可能となるので、映像効果の種類をたくさん用意することなく、変化に富んだ多彩な演出効果を実現することができる。
また、本発明の他の特徴によれば、音楽同期タイミングをまったく意識することなく、簡単な操作により誰でも容易に音楽に同期したムービーを作成できる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態を示し、動画作成方法を実行する動画作成装置の構成例を説明するブロック図である。
【図２】動画作成手順の一例を示すフローチャートである。
【図３】動画作成及び動画編集を行う画面の一例を示す図である。
【図４】「楽曲タブ」が選択された状態の一例を示す図である。
【図５】「写真タブ」が選択された状態の一例を示す図である。
【図６】「切り替えタブ」が選択された状態の一例を示す図である。
【図７】「フォーカスタブ」が選択された状態の一例を示す図である。
【図８】「カメラタブ」が選択された状態の一例を示す図である。
【図９】「照明タブ」が選択された状態の一例を示す図である。
【図１０】「背景タブ」が選択された状態の一例を示す図である。
【図１１】「テキストタブ」が選択された状態の一例を示す図である。
【図１２】「スクリーンタブ」が選択された状態の一例を示す図である。
【図１３】動画作成の具体例を説明する図である。
【図１４】静止画に映像効果が施されて動画が生成される様子を説明する図である。
【発明を実施するための形態】
【００１３】
図１は、本実施形態の動画作成方法を実行する動画作成装置の構成例を説明するブロック図である。
図１に示すように、本実施形態の動画作成装置１００において行われる動画作成プログラム（コンピュータプログラム）により実行する一連の処理は、ＣＰＵ１０１、１０２、及びＲＡＭ１０３よりなるコンピュータシステムにより制御されて実行される。
【００１４】
動画作成装置１００において、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【００１５】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
【００１６】
また、入力部１０６には、キーボード１１２、マウス１１３、マイクロホン１１４などが接続されている。また、出力部１０７には、ディスプレイ１１５、スピーカ１１６などが接続されている。
【００１７】
以上のように構成される動画作成装置１００では、ＣＰＵ１０１が、例えば、記憶部１０８に記憶されている動画作成プログラムを、入出力インタフェース１０５及びバス１０４を介して、ＲＡＭ１０３にロードして実行することにより、動画作成処理が行われる。
【００１８】
本実施形態の動画作成装置１００において、ＣＰＵ１０１が実行する動画作成プログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【００１９】
具体的には、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、有線または無線の伝送媒体を介して送信される動画作成プログラムを通信部１０９で受信して、記憶部１０８にインストールすることができる。その他、動画作成プログラムは、ＲＯＭ１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【００２０】
なお、動画作成装置１００が実行する動画作成プログラムは、本明細書で説明する順序に沿って時系列に処理が行われる動画作成プログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われる動画作成プログラムであってもよい。
【００２１】
前述した動画作成処理をソフトウェアにより実行する場合、一連の処理を１つのアプリケーション動画作成プログラムで実現してもよいし、機能的に分割した複数のアプリケーションプログラムで実現してもよい。
【００２２】
次に、図２のフローチャートを参照しながら本実施形態の動画作成処理手順の一例を説明する。
処理が開始されると、ステップＳ２１において動画作成画面をディスプレイ１１５に表示する動画作成画面表示処理が行われる。本実施形態の動画作成方法において用いる動画作成画面には、図３に示すように、音楽素材を配置するための楽曲トラックと、写真素材（静止画素材）を配置するための写真トラック、及び静止画素材に付加する映像効果を配置するためのエフェクトトラック（映像効果トラック）が複数設けられていて、これらのトラックを独立して操作することができる。
【００２３】
さらに、映像効果トラックは、「区間トラック」と「瞬間トラック」とで構成される。「区間トラック」上に配置された映像オブジェクトによる映像効果処理は、タイムライン上に配置された次の映像オブジェクト位置まで継続される。一方、「瞬間トラック」上に配置された映像オブジェクトによる映像効果処理は、配置タイミングを中心とした前後の短い時間のみ行われる。
【００２４】
図３に示したように、本実施形態においては、エフェクトトラックとして、切り替えトラック、フレームトラック、フォーカストラック、カメラトラック、照明トラック、背景トラック、テキストトラック、イラストトラック、スクリーントラック等が設けられている。また、映像トラックごとに、さらに区間映像トラックと瞬間映像トラックを設けている。さらに、それぞれの映像トラックに対応して、複数の映像スタイルが用意されており、さらに各スタイルには複数のパターンの映像オブジェクトが用意され、それぞれの映像オブジェクト毎に映像効果のレベル設定ができる。
【００２５】
また、これらのトラックに対応するタブが複数設けられていて、入力するトラックに対応するタブをクリックすることにより、所望の素材を選択することができるように構成されている。図３の例では、「フレームタブ」が選択されていて、選択画面には「矩形」、「手書き風」、「額縁」、「ガラス」、「スタンプ」・・・等が選択可能に表示されている。フレームの「映像効果」は、写真を表示する形状、例えば、４角形やハート形などの形状に表示するためのデータである。
【００２６】
図４は、「楽曲タブ」が選択された状態の一例を示している。この例では、「その１」〜「その３」の楽曲が表示されていて、「その３」が選択されている様子を示している。
図５は、「写真タブ」が選択された状態の一例を示していて、「写真Ａ」「写真Ｂ」「写真Ｃ」「写真Ｄ」・・・等の写真が選択可能に表示されている。
【００２７】
図６は、「切り替えタブ」が選択された状態の一例を示している。切り替えの「映像効果」は、各写真をどのようにモーションさせながら切り替え表示をするかを決めるためのデータである。この例では、スタイル名のウインドに「ツイスト」、「リバース」、「インサイドキューブ」等の映像効果が選択可能に表示されている。また、パターン名のウインドに「ノーマル」、「左旋回」、「右旋回」等が選択可能に表示されている。更に、効果レベルを、小〜大の間で自由に選択するためのスライダーが表示されている。
【００２８】
効果レベルは、例えば「左旋回」というパターンの映像オブジェクトであれば、効果レベルの値が小さいほどゆっくり旋回し、大きいほどはやく旋回するようにしてもよいし、効果レベルの値が小さいほど小さい角度で旋回し、大きいほど大きい角度で旋回するようにしてもよい。つまり、効果レベルとは、同じパターンの映像オブジェクトであっても、微妙な映像の違いを表現するためのさじ加減を調整するために用意されているものである。上記例に限らず、同じようなパターンの映像効果についてその映像表現の違いを調整するようなものであれば何でもよい。なお、本項の「切り替え」についての効果レベルだけでなく、次項以降の効果レベルについても同様である。
【００２９】
図７は、「フォーカスタブ」が選択された状態の一例を示している。フォーカスの映像効果は、表示する写真に焦点を合わせる等の効果を施すためのものである。この例では、スタイル名のウインドに「ズーム」、「パンニング」、「ジャンプ」、「不安定」等の映像効果が選択可能に表示されている。また、パターン名のウインドに「横方向」、「縦方向」、「斜め方向」等が選択可能に表示されている。更に、効果レベルを、小〜大の間で自由に選択するためのスライダーが表示されている。
【００３０】
図８は、「カメラタブ」が選択された状態の一例を示している。この例では、スタイル名のウインドに「ズーム」、「パンニング」、「不安定」、「ビートズーム」、「ビートパンニング」等が選択可能に表示されている。また、パターン名のウインドに「ズームイン（等速）」、「ズームイン（加速）」、「ズームイン（減速）」、「ズームアウト（等速）」等が選択可能に表示されている。更に、効果レベルを、小〜大の間で自由に選択するためのスライダーが表示されている。
【００３１】
図９は、「照明タブ」が選択された状態の一例を示している。この例では、スタイル名のウインドに「パンニング」、「回転」、「トーチ」、「ビートズーム」、「ビートパンニング」等が選択可能に表示されている。また、パターン名のウインドに「時計回り（ノーマル）」、「反時計回り（ノーマル）」、「時計回り（リバース）」、「反時計回り（リバース）」等が選択可能に表示されている。更に、効果レベルを、小〜大の間で自由に選択するためのスライダーが表示されている。また、色を選択するためのボタンも表示されている。
【００３２】
図１０は、「背景タブ」が選択された状態の一例を示している。「背景」の映像効果は、表示している写真の背景を任意に選択できるようにするためのデータである。この例では、スタイル名のウインドに「カラー」、「ノイズ」、「移動」、「不安定」、「星」等が選択可能に表示されている。また、パターン名のウインドに「縦方向のみ」、「横方向のみ」、「全方向」等が選択可能に表示されている。また、利用写真を選択するウインドが設けられていて、「フォーカス写真」、「前の写真」、「次の写真」、「ランダム」の選択項目のうち、「フォーカス写真」が選択された状態で表示されている。更に、効果レベルを、小〜大の間で自由に選択するためのスライダーが表示されている。
【００３３】
図１１は、「テキストタブ」が選択された状態の一例を示している。「テキスト」は、表示中の写真に重ねて表示するテキストに対する効果データである。この例では、スタイル名のウインドに「なし」、「ノーマル」、「ズーム」、「伸張」、「スピン」等が選択可能に表示されている。また、パターン名のウインドに「全文字」、「１文字」、「全文字」等が選択可能に表示されている。更に、効果レベルを、小〜大の間で自由に選択するためのスライダーが表示されている。また、「編集」ボタンをクリックすると、テキストの文字列やフォントの種類、色、テキスト表示位置等を設定するためのウインドが開くようになっている。
【００３４】
図１２は、「スクリーンタブ」が選択された状態の一例を示している。「スクリーン」はムービー全体に対する映像効果であり、画面全体を暗くしたり、ぼかしたりするデータである。この例では、スタイル名のウインドに「ノーマル」、「フェードイン」、「フェードアウト」、「ブライト」、「カラー」等が選択可能に表示されている。また、パターン名のウインドに「固定」が選択可能に表示されている。更に、効果レベルを、小〜大の間で自由に選択するためのスライダーが表示されている。
【００３５】
本実施形態においては、フレームトラック〜テキストトラックにおいては、複数のエフェクトトラックを設けた例を示している（図３の例では２列）。
すなわち、フレームトラックの上段には、「タイム０：０２」に「矩形、ラウンド大」、「タイム０：１４」に「額縁、リアル」、「タイム０：２８」に「矩形、ラウンド大」、「タイム０：３０」に「ユーザー、回転型」の「映像効果」が配置されている。また、下段には、「タイム０：３３」に「手書き風、矩形」の「映像効果」が配置されている。
【００３６】
フォーカストラックの上段には、「タイム０：０２」に「ノーマル、矩形」、「タイム０：２５」に「ジャンプ」の「映像効果」が配置されている。また、背景トラックの上段には、「タイム０：０２」に「カラー」、「タイム０：１７」に「ノイズ、周期変化」、「タイム０：３０」に「カラー、選択カラー」の「映像効果」が配置されている。また、下段には、「タイム０：２１」に「ノイズ、周期変化」、「タイム０：３７」に「ノイズ、周期変化」の「映像効果」が配置されている。
【００３７】
前述したような、「動画作成画面」に対して、ユーザーがマウス１１３を操作することにより動画作成処理が実行される。すなわち、ステップＳ２２においては、ユーザーにより楽曲選択が終了したか否かが判断される。この判断の結果、楽曲選択が終了していない場合には待機状態となる。また、ステップＳ２２の判断の結果、楽曲選択が終了した場合にはステップＳ２３に進む。本実施形態においては、図４を参照しながら説明したように、「その３」が選択されているので、ステップＳ２２からステップＳ２３に進む。
【００３８】
ステップＳ２３においては、写真選択が終了したか否かが判断される。この判断の結果、写真選択が終了していない場合には待機状態となる。また、ステップＳ２３の判断の結果、写真選択が終了して写真トラックに写真が配置された場合にはステップＳ２４に進む。
ステップＳ２４においては、ステップＳ２３で写真トラックに配置された画像に所定の編集処理（エフェクト処理）を施すために、切り替えトラック〜スクリーントラックのそれぞれに、図４〜図１２を参照しながら説明した「映像効果」が入力されるのを待機する。そして、各エフェクトトラックに「映像効果」が入力されたら、ステップＳ２５に進む。前述したＳ２２〜Ｓ２４の各工程が情報入力工程となる。
【００３９】
ステップＳ２５においては、ステップＳ２２〜ステップＳ２４の各工程において、動画作成画面に入力された情報に基いて動画作成処理が行われる。本実施形態における動画作成処理は、写真トラックに配置された各画像に対して「映像効果」に従った処理を個々に実行する。これにより、１つの「静止画」に対して複数の映像処理を施すことが可能となり、従来のように、映像効果処理が行われた動画素材を大量に用意することなく、変化に富んだ多彩な演出効果を施した動画から生成することができる。動画作成処理が終了したら、次に、ステップＳ２６に進む。
【００４０】
ステップＳ２６においては、Ｓ２５で作成した動画の再生処理が行われる。この動画再生処理が行われている期間中は、予め設定されている所定のタイミングでステップＳ２７に進み、ユーザー（操作者）により動画再生処理の中断操作が行われるか否かを判断する。この判断の結果、ユーザーにより中断操作が行われた場合には、動画再生中であってもステップＳ２２に戻り、ステップＳ２２〜ステップＳ２４の動画作成工程により作成された動画を編集可能な画面を表示する制御が行われる。これにより、ステップＳ２２〜ステップＳ２４において所望の効果を追加したり、変更したりする編集処理を行うことが可能となる。そして、編集結果に基いて、ステップＳ２５において動画作成処理が行われる（この場合、動画編集処理となる）。これにより、動画作成結果を確認しながら編集作業を自由に行うことができる。また、ステップＳ２７の判断の結果、ユーザーによる中断操作が行われなかった場合にはステップＳ２８に進む。
【００４１】
ステップＳ２８においては、動画再生処理が終了したか否かを判断する。この判断の結果、動画再生処理が終了していない場合にはステップＳ２２に戻る。この場合、ユーザーによる中断操作が行われていないので、ステップＳ２２〜ステップＳ２５はスルーとなり、ステップＳ２６の動画再生処理が続行する。また、ステップＳ２８の判断の結果、動画再生処理が終了した場合にはエンド処理となる。
【００４２】
本実施形態においては、前述のようにして動画作成を行うことにより、映像効果処理が行われた動画素材を大量に用意することなく、変化に富んだ多彩な演出効果を施した動画を生成することができる。
【００４３】
次に、図１３及び図１４を参照しながら、動画作成の具体例を説明する。
図１３に示すように、この例では、切り替えトラックには「タイム０：０２」に「折り紙」の「映像効果」が配置されている。また、フレームトラックには「タイム０：０２」に「矩形、ラウンド大」の「映像効果」が配置されている。また、フォーカストラックには、「タイム０：０２」に「ノーマル、固定」の「映像効果」が配置されている。また、カメラトラックには、「タイム０：０２」に「ノーマル、固定」の「映像効果」が配置されている。また、背景トラックには「タイム０：０２」に「カラー」の「映像効果」が配置されている。
【００４４】
写真トラックに配置されている各写真は、図１３中において台形で示したように、フェードイン〜全表示〜フェードアウトによりディスプレイ１１５に表示される。具体的に説明すると、写真１は、「タイム０：０２」においてフェードインを開始する。そして、「タイム０：０３」よりも少し前にフェードインを終了して全表示となる。その後、「タイム０：０５」付近でフェードアウトを開始し、「タイム０：０５」〜「タイム０：０６」の中央付近でフェードアウトを終了する。
【００４５】
また、写真２は、写真１がフェードアウトを開始した「タイム０：０５」付近でフェードインを開始する。そして、写真１がフェードアウトを終了した時刻にフェードインを終了して全表示となる。したがって、写真１がフェードアウトを開始してからフェードアウトを終了するまでの期間は、写真１と写真２とがディスプレイ１１５にオーバーラップして表示される。
【００４６】
各エフェクトトラックに、前述のような「映像効果」が配置されることにより写真トラックに配置されている写真は、図１４（１)〜（８）に示すように処理されて動画作成が行われる。すなわち、図１４（１)に示すように、切り替え効果「折り紙」により、写真１がフェードインしてくる。
【００４７】
図１４（２）〜（６）は、フェードインした写真１に「折り紙」の切り替え効果が施されて、小さく折り畳まれていた写真１が徐々に開いて、写真１の全体が表示される様子を示している。このように、折り畳まれていた写真１が徐々に開いていく様子をタイムラインに沿って表示することにより動画生成が行われる。
【００４８】
本発明における動画生成の手法としては、3次元座標を持つポリゴンデータに写真画像テクスチャを貼り付けてアニメーションさせ、それに照明効果や色調変更などの画像処理を施し、カメラワーク的な座標変換を行った上で２次元座標に投影した画像を生成するなど、ごく一般的に行われている周知の技術を応用することができる。
【００４９】
図１４（７）は、写真１がフェードアウトするとともに、写真２がフェードインする様子を示している。図１４（８）は、ファードインした写真２に「折り紙」の切り替え効果が施されて、写真２が徐々に開いていく様子を示している。
【００５０】
前述したように、本実施形態においては、夫々の効果毎に、複数の「スタイル」データ、及び複数「パターン」データを有しているので、写真に付与可能な効果は、「スタイル」×「パターン」の数だけ得ることができる。したがって、映像効果の種類をたくさん所持することなく莫大な種類で変化に富んだ演出効果を実現することができる。
【００５１】
（第２の実施形態）
本実施形態においては、楽曲素材に対応した音楽同期情報（楽曲同期情報）を有する。この同期情報は、楽曲を周波数分析する周知の手法等により得られたビートタイミングや音圧レベルなどの特徴検出情報であるが、ユーザー自身が楽曲全体あるいは楽曲の一部を聴きながらタップするなどの手入力によって得られる情報であってもよい。音楽同期情報は、図３及び図１３において、ムービーの時間情報のタイミングとは別に、楽曲トラック上に貼り付けられている楽曲に対応する音楽同期情報のタイミングで縦方向に示されている情報である。
【００５２】
本実施形態のように、音楽同期情報を有することにより、タイムライン上の楽曲トラックに配置された楽曲素材とそれに対応する同期情報とにより、それ以外のトラックに後から入力されるオブジェクトは、楽曲に対応した楽曲同期情報に基づいて、同期時刻に対応するマークを、前記動画作成画面に自動的に配置して表示することが可能になる。
【００５３】
また、同期グリッドをオンオフするモードを設け、グリッドオンのときは最寄りの同期タイミングに自動配置され、グリッドオフのときはポインティングデバイス等で指示したタイミングに自動配置されるようにすることができる。配置後のタイムライン上の写真素材のフェードイン、フェードアウト時刻の変更や映像オブジェクトの切り替えタイミング時刻の変更等の編集もこれに準じる。
【００５４】
グリッドオンのときは、グリッド位置をタイムライン上に判別できるように表示する。前記の「フレーム」、「フォーカス」、「カメラ」、「照明」、「背景」、「テキスト」、「スクリーン」の各映像効果は、写真（静止画）、テキスト、イラスト等の映像素材を利用して、前記の同期情報に基づいてリアルタイムに映像処理を行うことで、楽曲に同期したムービーを作成して再生することができる。
【００５５】
映像が楽曲に同期するのは、ある映像スタイルから次の映像スタイルへ切り替わるタイミングのみではない。
例えば、「フォーカス」や「照明」などの映像効果スタイルの中には、「ビートパンニング」という映像スタイルが用意されているが、このスタイルに属する映像オブジェクトを映像トラックに配置した場合、楽曲の同期情報に対応するビート位置に合わせてパンニングするような映像処理を行うようにする。
【００５６】
また、「フレーム」や「テキスト」、「カメラ」などの映像効果スタイルの中には、「ビートズーム」という映像スタイルが用意されているが、それに属する映像オブジェクトを映像トラックに配置した場合、ビートに合わせてズームするような映像処理を行うようにする。
【００５７】
これに限らず、各映像トラックに対応した映像スタイルには、同期情報に同期する映像処理に関連するものを含んでおり、これらの映像スタイルの映像オブジェクトを配置した場合には、次の映像スタイル時刻までの間に、周期的あるいは瞬間的な映像表現などの映像処理を行うようにする。
さらに、本実施例にはないが、「イラスト」という映像トラックを用意して、選択したイラスト素材を、選択した映像スタイルに対応した映像処理を行うようにしてもよい。
【００５８】
ムービー編集中に、編集途中のムービーデータを再生しながら、選択した映像オブジェクトの入力操作を行うと、ムービー再生ポインタに対応した位置に、前記グリッドモードに応じて自動的に配置される。
【００５９】
（本発明の他の実施形態）
前述した実施形態の機能を実現するべく各プログラムコードを動作させるように、前記各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたコンピュータプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【００６０】
また、この場合、前記ソフトウェアのプログラムコード自体が前述した実施形態の機能（各手段）を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるプログラムコードを記録する記憶媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００６１】
また、コンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれる。
【００６２】
さらに、コンピュータ読み取り可能な記憶媒体から供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合にも本発明に含まれる。
【符号の説明】
【００６３】
Ｓ２１ 動画作成画面表示工程、Ｓ２２ 楽曲選択工程、Ｓ２３ 写真選択工程、Ｓ２４ 映像効果入力工程、Ｓ２５ 動画作成工程、Ｓ２６ 動画再生工程、Ｓ２７ 編集操作受付工程、Ｓ２８ 終了判断工程
【特許請求の範囲】
【請求項１】
複数の画像を用いて動画を作成する動画作成装置であって、
タイムラインに沿って、楽曲素材のデータを配置するトラックと、写真素材を配置するトラックと、前記写真素材に映像効果を施すための映像効果トラックとを独立して有する動画作成画面をディスプレイに表示し、前記映像効果トラックに配置された映像効果を、前記写真素材に対して加えることにより、多彩な演出効果を前記写真素材に施すことができるようにしたことを特徴とする動画作成装置。
【請求項２】
前記映像効果トラックとして、切り替えトラック、フレームトラック、フォーカストラック、カメラトラック、照明トラック、背景トラック、テキストトラック、イラストトラック、スクリーントラックのうち、いずれか２つ以上のトラックを設けたことを特徴とする請求項１に記載の動画作成装置。
【請求項３】
前記映像効果トラックごとに、さらに区間映像トラックと瞬間映像トラックを設けたことを特徴とする請求項２に記載の動画作成装置。
【請求項４】
前記楽曲素材に対応した音楽同期情報を有し、前記タイムライン上の楽曲トラックに配置された楽曲素材の位置に対応して、それ以外のトラックに入力あるいは編集を行うオブジェクトを前記音楽同期情報に基づいて自動的に配置することを特徴とする請求項１乃至３の何れか１項に記載の動画作成装置。
【請求項５】
前記タイムライン上に配置された楽曲に対応した楽曲同期情報に基づいて、同期時刻に対応するマークを、前記動画作成画面に表示することを特徴とする請求項１乃至４の何れか１項に記載の動画作成装置。
【請求項６】
音楽素材を配置するための楽曲トラック、静止画素材を配置するための写真トラック、及び前記静止画素材に付加する映像効果を配置するための映像効果トラックが複数設けられている動画作成画面をディスプレイに表示する動画作成画面表示手段と、
前記動画作成画面に入力される情報を前記楽曲トラック、写真トラック、及び映像効果トラックに配置する情報入力手段と、
前記情報入力手段により入力された情報に基いて、前記静止画素材に映像効果を付加して動画を作成する動画作成手段と、
前記動画作成手段により作成された動画を再生する動画再生手段とを有することを特徴とする動画作成装置。
【請求項７】
前記動画再生手段により再生されている動画を操作者の指示に従って中断し、前記動画作成手段により作成された動画を編集可能な画面を表示するように変更する制御手段を有することを特徴とする請求項６に記載の動画作成装置。
【請求項８】
複数の画像を用いて動画を作成する処理をコンピュータに実行させるコンピュータプログラムであって、
タイムラインに沿って、楽曲素材のデータを配置するトラックと、写真素材を配置するトラックと、前記写真素材に映像効果を施すための映像効果トラックとを独立して有する動画作成画面をディスプレイに表示し、前記映像効果トラックに配置された映像効果を、前記写真素材に対して加えることにより、多彩な演出効果を前記写真素材に施す処理をコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項９】
前記映像効果トラックとして、切り替えトラック、フレームトラック、フォーカストラック、カメラトラック、照明トラック、背景トラック、テキストトラック、イラストトラック、スクリーントラックのうち、いずれか２つ以上のトラックを設けたことを特徴とする請求項８に記載のコンピュータプログラム。
【請求項１０】
前記映像効果トラックごとに、さらに区間映像トラックと瞬間映像トラックを設けたことを特徴とする請求項９に記載のコンピュータプログラム。
【請求項１１】
前記楽曲素材に対応した音楽同期情報を有し、前記タイムライン上の楽曲トラックに配置された楽曲素材の位置に対応して、それ以外のトラックに入力あるいは編集を行うオブジェクトを前記音楽同期情報に基づいて自動的に配置することを特徴とする請求項８乃至１０の何れか１項に記載のコンピュータプログラム。
【請求項１２】
前記タイムライン上に配置された楽曲に対応した楽曲同期情報に基づいて、同期時刻に対応するマークを、前記動画作成画面に表示することを特徴とする請求項８乃至１１の何れか１項に記載のコンピュータプログラム。
【請求項１３】
音楽素材を配置するための楽曲トラックと、静止画素材を配置するための写真トラック、及び前記静止画素材に付加する映像効果を配置するための映像効果トラックが複数設けられている動画作成画面をディスプレイに表示する動画作成画面表示工程と、
前記動画作成画面に入力される情報を前記楽曲トラック、写真トラック、及び映像効果トラックに配置する情報入力工程と、
前記情報入力工程により入力された情報に基いて、前記静止画素材に映像効果を付加して動画を作成する動画作成工程と、
前記動画作成工程により作成された動画を再生する動画再生工程とをコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項１４】
前記動画再生工程により再生されている動画を操作者の指示に従って中断し、前記動画作成工程により作成された動画を編集可能な画面を表示するように変更する制御工程を有することを特徴とする請求項１３に記載のコンピュータプログラム。
【請求項１５】
請求項８〜１４の何れか１項に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項１】
複数の画像を用いて動画を作成する動画作成装置であって、
タイムラインに沿って、楽曲素材のデータを配置するトラックと、写真素材を配置するトラックと、前記写真素材に映像効果を施すための映像効果トラックとを独立して有する動画作成画面をディスプレイに表示し、前記映像効果トラックに配置された映像効果を、前記写真素材に対して加えることにより、多彩な演出効果を前記写真素材に施すことができるようにしたことを特徴とする動画作成装置。
【請求項２】
前記映像効果トラックとして、切り替えトラック、フレームトラック、フォーカストラック、カメラトラック、照明トラック、背景トラック、テキストトラック、イラストトラック、スクリーントラックのうち、いずれか２つ以上のトラックを設けたことを特徴とする請求項１に記載の動画作成装置。
【請求項３】
前記映像効果トラックごとに、さらに区間映像トラックと瞬間映像トラックを設けたことを特徴とする請求項２に記載の動画作成装置。
【請求項４】
前記楽曲素材に対応した音楽同期情報を有し、前記タイムライン上の楽曲トラックに配置された楽曲素材の位置に対応して、それ以外のトラックに入力あるいは編集を行うオブジェクトを前記音楽同期情報に基づいて自動的に配置することを特徴とする請求項１乃至３の何れか１項に記載の動画作成装置。
【請求項５】
前記タイムライン上に配置された楽曲に対応した楽曲同期情報に基づいて、同期時刻に対応するマークを、前記動画作成画面に表示することを特徴とする請求項１乃至４の何れか１項に記載の動画作成装置。
【請求項６】
音楽素材を配置するための楽曲トラック、静止画素材を配置するための写真トラック、及び前記静止画素材に付加する映像効果を配置するための映像効果トラックが複数設けられている動画作成画面をディスプレイに表示する動画作成画面表示手段と、
前記動画作成画面に入力される情報を前記楽曲トラック、写真トラック、及び映像効果トラックに配置する情報入力手段と、
前記情報入力手段により入力された情報に基いて、前記静止画素材に映像効果を付加して動画を作成する動画作成手段と、
前記動画作成手段により作成された動画を再生する動画再生手段とを有することを特徴とする動画作成装置。
【請求項７】
前記動画再生手段により再生されている動画を操作者の指示に従って中断し、前記動画作成手段により作成された動画を編集可能な画面を表示するように変更する制御手段を有することを特徴とする請求項６に記載の動画作成装置。
【請求項８】
複数の画像を用いて動画を作成する処理をコンピュータに実行させるコンピュータプログラムであって、
タイムラインに沿って、楽曲素材のデータを配置するトラックと、写真素材を配置するトラックと、前記写真素材に映像効果を施すための映像効果トラックとを独立して有する動画作成画面をディスプレイに表示し、前記映像効果トラックに配置された映像効果を、前記写真素材に対して加えることにより、多彩な演出効果を前記写真素材に施す処理をコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項９】
前記映像効果トラックとして、切り替えトラック、フレームトラック、フォーカストラック、カメラトラック、照明トラック、背景トラック、テキストトラック、イラストトラック、スクリーントラックのうち、いずれか２つ以上のトラックを設けたことを特徴とする請求項８に記載のコンピュータプログラム。
【請求項１０】
前記映像効果トラックごとに、さらに区間映像トラックと瞬間映像トラックを設けたことを特徴とする請求項９に記載のコンピュータプログラム。
【請求項１１】
前記楽曲素材に対応した音楽同期情報を有し、前記タイムライン上の楽曲トラックに配置された楽曲素材の位置に対応して、それ以外のトラックに入力あるいは編集を行うオブジェクトを前記音楽同期情報に基づいて自動的に配置することを特徴とする請求項８乃至１０の何れか１項に記載のコンピュータプログラム。
【請求項１２】
前記タイムライン上に配置された楽曲に対応した楽曲同期情報に基づいて、同期時刻に対応するマークを、前記動画作成画面に表示することを特徴とする請求項８乃至１１の何れか１項に記載のコンピュータプログラム。
【請求項１３】
音楽素材を配置するための楽曲トラックと、静止画素材を配置するための写真トラック、及び前記静止画素材に付加する映像効果を配置するための映像効果トラックが複数設けられている動画作成画面をディスプレイに表示する動画作成画面表示工程と、
前記動画作成画面に入力される情報を前記楽曲トラック、写真トラック、及び映像効果トラックに配置する情報入力工程と、
前記情報入力工程により入力された情報に基いて、前記静止画素材に映像効果を付加して動画を作成する動画作成工程と、
前記動画作成工程により作成された動画を再生する動画再生工程とをコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項１４】
前記動画再生工程により再生されている動画を操作者の指示に従って中断し、前記動画作成工程により作成された動画を編集可能な画面を表示するように変更する制御工程を有することを特徴とする請求項１３に記載のコンピュータプログラム。
【請求項１５】
請求項８〜１４の何れか１項に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−７７６６８（Ｐ２０１１−７７６６８Ａ）
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願番号】特願２００９−２２４９３３（Ｐ２００９−２２４９３３）
【出願日】平成２１年９月２９日（２００９．９．２９）
【出願人】（０００００１４１０）株式会社河合楽器製作所 (563)
【Ｆターム（参考）】
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願日】平成２１年９月２９日（２００９．９．２９）
【出願人】（０００００１４１０）株式会社河合楽器製作所 (563)
【Ｆターム（参考）】
[ Back to top ]