画像編集装置、画像編集方法、およびプログラム
【課題】ストーリー構成を維持した連続表示用画像群を編集する際に、使い勝手の良い画像編集装置を提供すること。
【解決手段】画像編集装置は、生成する一連の画像群に関する情報を表示装置に表示させるための映像信号を出力する表示制御部と、ユーザーから前記一連の画像群に使用される候補となる複数の候補画像、前記一連の画像群の総再生時間、および前記一連の画像群に使用される各画像の演出効果に関する設定情報を受け付ける入力インターフェースと、前記複数の候補画像から選択した複数の画像を用いて前記一連の画像群を生成する画像群生成部とを備えている。前記総再生時間および前記演出効果が設定されたとき、または前記総再生時間および前記演出効果の少なくとも一方が変更されたとき、前記一連の画像群に使用する予定の画像の総数または前記総数の概算値が決定され、前記表示装置に表示される。
【解決手段】画像編集装置は、生成する一連の画像群に関する情報を表示装置に表示させるための映像信号を出力する表示制御部と、ユーザーから前記一連の画像群に使用される候補となる複数の候補画像、前記一連の画像群の総再生時間、および前記一連の画像群に使用される各画像の演出効果に関する設定情報を受け付ける入力インターフェースと、前記複数の候補画像から選択した複数の画像を用いて前記一連の画像群を生成する画像群生成部とを備えている。前記総再生時間および前記演出効果が設定されたとき、または前記総再生時間および前記演出効果の少なくとも一方が変更されたとき、前記一連の画像群に使用する予定の画像の総数または前記総数の概算値が決定され、前記表示装置に表示される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を組み合わせてフォトムービーを生成する画像編集技術に関する。
【背景技術】
【０００２】
複数の静止画像および動画像といった素材を編集してフォトムービーを生成する電子機器やプログラムが知られている。例えば、特許文献１は、複数の静止画を組み合わせてフォトムービーを生成するフォトムービー作成装置を開示している。特許文献１に開示されたフォトムービー作成装置は、素材として使用する静止画の総数を変えずにフォトムービーの総再生時間を指定どおりに調整することができる。この装置では、ムービーの総再生時間をユーザーに指定された総再生時間に変更する場合、複数の静止画を使用するエフェクトが指定されたシーンから、特定の静止画が他のシーンに移動し、シーンの追加または削除が行われる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１５７１９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載されたフォトムービー作成装置は、ユーザーが再生時間を変更した場合でも画像の総数を変えずに編集するため、ユーザーが意図したストーリー構成が崩れてしまうことがある。例えば、フォトムービーとともに再生されるＢＧＭがスローテンポであるにもかかわらず、画像が高速に切り替わるフォトムービーが生成されることがある。逆に、ＢＧＭがアップアップテンポであるにもかかわらず、画像がゆっくり切り替わるフォトムービーが生成されることがある。そのようなフォトムービーは、ユーザーが意図したストーリー構成から外れ、視聴者に違和感を感じさせる。
【０００５】
また、フォトムービーのような連続表示するための画像群を構成するとき、表示エフェクト（各画像の切り替え効果）の順番は連続表示される画像群のストーリー構成に係ってくる。しかしながら、特許文献１に記載のフォトムービー作成装置は、ある表示エフェクトを担当する１シーンを追加または削除するので、当初予定していたストーリー構成が崩れてしまうことがある。
【０００６】
本発明の実施形態は、上記課題を鑑み、ストーリー構成を維持した連続表示用画像群を編集する際に、使い勝手の良い画像編集装置を提供する。
【課題を解決するための手段】
【０００７】
本発明の実施形態による画像編集装置は、複数の画像を用いて一連の画像群を生成する画像編集装置であって、前記一連の画像群に関する情報を表示装置に表示させるための映像信号を出力する表示制御部と、ユーザーから、前記一連の画像群に使用される候補となる複数の候補画像、前記一連の画像群の総再生時間、および前記一連の画像群に使用される各画像の演出効果に関する設定情報を受け付ける入力インターフェースと、前記複数の候補画像から選択した複数の画像を用いて前記一連の画像群を生成する画像群生成部とを備えている。前記総再生時間および前記演出効果が設定されたとき、または前記総再生時間および前記演出効果の少なくとも一方が変更されたとき、前記画像群生成部は、前記総再生時間および前記演出効果に基づいて、前記一連の画像群に使用する予定の画像の総数または前記総数の概算値を決定し、前記表示制御部は、前記使用する予定の画像の総数または前記総数の概算値を示す画像数情報を、前記表示装置に表示させる。
【０００８】
ある実施形態において、前記表示制御部は、前記複数の候補画像が設定される第１の設定領域、前記一連の画像群の総再生時間が設定される第２の設定領域、および前記一連の画像群に使用される各画像の演出効果が設定される第３の設定領域の各画像を、前記表示装置に表示させる、請求項１に記載の画像編集装置。
【０００９】
ある実施形態において、前記表示制御部は、前記画像数情報を、前記第２の設定領域および前記第３の設定領域の各画像とともに前記表示装置に表示させる。
【００１０】
ある実施形態において、前記一連の画像群の総再生時間は、前記一連の画像群とともに再生される背景音楽が指定されることによって決定される。
【００１１】
ある実施形態において、前記演出効果は、予め用意された複数のテンプレート情報の中から選択されることによって決定される。
【００１２】
ある実施形態において、前記複数のテンプレート情報は、各画像の切り替え効果および再生時間が規定された情報である。
【００１３】
ある実施形態において、前記表示制御部は、前記第１から第３の設定領域および前記画像数情報を同一画面内に表示させる。
【００１４】
ある実施形態において、前記表示制御部は、さらに、前記一連の画像群に使用することを希望する画像の数をユーザーに設定させるための第４の設定領域を前記第１から第３の設定領域とともに前記表示装置に表示させ、設定された前記希望する画像の数に前記一連の画像群に使用される予定の画像の数を合わせるための提案情報を前記表示装置に表示させる。
【００１５】
本発明の実施形態による画像処理方法は、複数の画像を用いて一連の画像群を生成するための画像編集方法であって、前記一連の画像群に関する情報を表示装置に表示させるための映像信号を出力するステップＡと、ユーザーから、前記一連の画像群に使用される候補となる複数の候補画像、前記一連の画像群の総再生時間、および前記一連の画像群に使用される各画像の演出効果に関する設定情報を受け付けるステップＢと、前記複数の候補画像から選択した複数の画像を用いて前記一連の画像群を生成するステップＣと、前記総再生時間および前記演出効果が設定されたとき、または前記総再生時間および前記演出効果の少なくとも一方が変更されたとき、前記総再生時間および前記演出効果に基づいて、前記一連の画像群に使用する予定の画像の総数または前記総数の概算値を決定し、前記使用する予定の画像の総数または前記総数の概算値を示す画像数情報を、前記表示装置に表示させるステップＤと、を含む。
【００１６】
ある実施形態において、前記ステップＡは、前記複数の候補画像が設定される第１の設定領域、前記一連の画像群の総再生時間が設定される第２の設定領域、および前記一連の画像群に使用される各画像の演出効果が設定される第３の設定領域の各画像を、前記表示装置に表示させるステップを含む。
【００１７】
ある実施形態において、前記ステップＤは、前記画像数情報を、前記第２の設定領域および前記第３の設定領域の各画像とともに前記表示装置に表示させるステップを含む。
【００１８】
本発明の実施形態による画像処理プログラムは、複数の画像を用いて一連の画像群を生成するための画像編集プログラムであって、コンピュータに対し、前記一連の画像群に関する情報を表示装置に表示させるための映像信号を出力するステップＡと、ユーザーから、前記一連の画像群に使用される候補となる複数の候補画像、前記一連の画像群の総再生時間、および前記一連の画像群に使用される各画像の演出効果に関する設定情報を受け付けるステップＢと、前記複数の候補画像から選択した複数の画像を用いて前記一連の画像群を生成するステップＣと、前記総再生時間および前記演出効果が設定されたとき、または前記総再生時間および前記演出効果の少なくとも一方が変更されたとき、前記総再生時間および前記演出効果に基づいて、前記一連の画像群に使用する予定の画像の総数または前記総数の概算値を決定し、前記使用する予定の画像の総数または前記総数の概算値を示す画像数情報を、前記表示装置に表示させるステップＤと、を実行させる。
【００１９】
ある実施形態において、前記ステップＡは、前記複数の候補画像が設定される第１の設定領域、前記一連の画像群の総再生時間が設定される第２の設定領域、および前記一連の画像群に使用される各画像の演出効果が設定される第３の設定領域の各画像を、前記表示装置に表示させるステップを含む。
【００２０】
ある実施形態において、前記ステップＤは、前記画像数情報を、前記第２の設定領域および前記第３の設定領域の各画像とともに前記表示装置に表示させるステップを含む。
【発明の効果】
【００２１】
本発明の実施形態によれば、ストーリー構成を維持したフォトムービーを編集する際に、使い勝手の良い画像編集装置を提供することができる。
【図面の簡単な説明】
【００２２】
【図１Ａ】本発明の実施の形態にかかる画像編集装置の基本構成を示すブロック図である。
【図１Ｂ】本発明の実施の形態にかかる表示装置に表示される画面の概略構成の例を示す図である。
【図１Ｃ】実施の形態１にかかるＰＣの構成を示すブロック図である。
【図２】実施の形態１にかかる液晶ディスプレイに表示される選択画面の例を示す図である。
【図３】実施の形態１にかかる液晶ディスプレイのプレビュー画面の例を示す図である。
【図４】実施の形態１にかかるテンプレートの階層構造を説明するための図である。
【図５】実施の形態１にかかる画像編集動作の概要を示すフローチャートである。
【図６】実施の形態１にかかるストーリー作成処理の詳細を示すフローチャートである。
【図７】実施の形態１にかかるテンプレート選択処理の詳細を示すフローチャートである。
【図８】実施の形態１にかかるＢＧＭ変更処理の詳細を示すフローチャートである。
【図９】実施の形態１にかかる総使用画像数算出処理の詳細を示すフローチャートである。
【図１０】他の実施の形態に係る選択画面の例を示す図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施形態を説明する。具体的な実施形態を説明する前に、まず、本発明の実施形態における基本構成を説明する。
【００２４】
図１Ａは、本発明の実施形態による画像編集装置の基本構成を示すブロック図である。画像編集装置１０は、外部の入力装置２０および表示装置３０に電気的に接続されて利用され得る。ここで、「電気的に接続される」場合には、銅線や光ファイバのようなケーブルで物理的に接続される場合のみならず、電磁波を介して情報が伝送される場合を含む。画像編集装置１０は、典型的にはパーソナルコンピュータ（以下、「ＰＣ」）や携帯情報端末といったプロセッサを備えた電子機器である。画像編集装置１０は、データセンター等に設置されたサーバーであってもよい。その場合、入力装置２０および表示装置３０は、遠隔地のユーザーが操作する電子機器に内蔵または接続された入出力デバイスであり得る。
【００２５】
画像編集装置１０は、複数の画像を用いて一連の画像群を生成する機能を備えている。ここで、「一連の画像群」とは、所定の演出効果を伴って連続的に表示される複数の画像によって構成される動画を意味する。典型的な実施形態では、一連の画像群を構成する各画像は、個別の静止画ファイルまたは動画ファイルとして用意される。「演出効果」とは、各画像を表示する際に施される装飾的効果であり、例えば、横からスライドしながら画面に挿入されたり、拡大・縮小しながら画面に表示される、といった効果があり得る。「画像」には、静止画像および動画像が含まれる。生成される一連の画像群に動画が含まれる場合、当該動画に割り当てられた再生時間の間だけ当該動画が再生される。すなわち、割り当てられた再生時間に比べて当該動画の総再生時間が短い場合、当該動画の一部分のみが再生され得る。各画像が、単独の写真、または複数の写真からなる動画である場合、一連の画像群は、「フォトムービー」と呼ぶことができる。
【００２６】
画像編集装置１０は、入力装置２０を介してユーザーからの操作を受け付ける入力インターフェース１１と、入力された情報に基づいて一連の画像群を生成する画像群生成部１３と、表示装置３０への表示を制御する表示制御部１２とを備えている。以下、各要素の構成を説明する。
【００２７】
入力インターフェース１１は、入力装置２０から入力される情報を受け付けるデバイスであり、例えば、ＵＳＢポート、通信ポートであり得る。入力インターフェース１１に入力された情報は画像群生成部１３および表示制御部１２に転送される。あるいは、不図示のメモリに記録されてもよい。
【００２８】
表示制御部１２は、生成する一連の画像群に関する情報を表示装置３０に表示させるための映像信号を出力する。ある実施形態では、当該映像信号は、一連の画像群に使用される候補となる複数の候補画像が設定される第１の設定領域と、当該画像群の総再生時間が設定される第２の設定領域と、当該画像群に使用される各画像の演出効果が設定される第３の設定領域とを示す各画像を表示装置３０に表示させるための信号を含む。このような構成により、ユーザーが候補画像、総再生時間、および使用される各画像の演出効果を設定することが可能である。
【００２９】
画像群生成部１３は、ユーザーによって設定された総再生時間および演出効果に関する情報に基づいて、設定された複数の候補画像から選択した複数の画像を用いて一連の画像群を生成する。生成した一連の画像群は、例えば、不図示のメモリに保存され、表示装置３０に表示され得る。
【００３０】
図１Ｂは、ある実施形態において、表示制御部１２によって表示装置３０の画面４０に表示される映像の概要を示す図である。なお、図１Ｂに示す画面４０のレイアウトは一例であり、このような例に限定されるものではない。画面４０には、第１の設定領域４１と、第２の設定領域４２と、第３の設定領域４３とが表示される。図１Ｂに示す例では、各設定領域は同一ウインドウ内に表示されているが、これらは互いに個別のウインドウで表示されてもよい。また、第１の設定領域４１、第２の設定領域４２、第３の設定領域４３は、同一画面内に表示されていなくてもよい。ただし、ユーザーの利便性を考慮すれば、第１の設定領域４１、第２の設定領域４２、第３の設定領域４３は、同一の画面に表示されることが好ましい。ユーザーは、画面４０に表示された第１の設定領域４１、第２の設定領域４２、および第３の設定領域４３において、一連の画像群を作成するための各種設定を行うことができる。
【００３１】
第１の設定領域４１では、一連の画像群を生成するための候補となる複数の候補画像が設定される。第２の設定領域４２では、一連の画像群の総再生時間が設定される。なお、総再生時間の設定に関しては、ユーザーが直接的に時間を設定する構成のみならず、例えば一連の画像群とともに再生される背景音楽（ＢＧＭ）を設定することによって間接的にそのＢＧＭの再生時間を総再生時間として設定する構成であってもよい。第３の設定領域４３では、一連の画像群に使用される各画像の演出効果が設定される。各画像の演出効果は、例えば各画像の再生時間や切り替え効果などである。後述するように、各種の演出効果が予め規定された複数のテンプレートの中から任意のテンプレートをユーザーが選択することによって演出効果が設定されるように構成されていてもよい。
【００３２】
本発明の実施形態では、総再生時間および演出効果が設定されたとき、または総再生時間および演出効果の少なくとも一方が変更されたとき、画像群生成部１３は、設定または変更された総再生時間および演出効果を示す情報に基づいて、使用する予定の画像の総数または当該総数の概算値を決定する。そして、表示制御部１２は、使用する予定の画像の総数または当該総数の概算値を示す情報（画像数情報）４４を、表示装置３０に表示させる。これによりユーザーは、総再生時間および演出効果の少なくとも一方を変更した際に、使用される画像数を直ちに把握できるため、候補画像数、演出効果、総再生時間を変更すべきか否かの判断を容易に行うことができる。
【００３３】
なお、図１Ｂに示す例では、画像数情報４４を、第１から第３の設定領域４１〜４３とともに表示しているが、本発明はこのような例に限られるものではない。画像処理装置１０は、ユーザーによる設定情報の入力に応じて画像数情報４４を表示装置３０に単独で表示するように構成されていてもよい。また、画像数情報４４を、第２の設定領域４２および第３の設定領域４３とともに表示し、第１の設定領域４１については、例えば画面４０に遷移する前の画面に表示してもよい。画像数情報４４が、第２の設定領域４２および第３の設定領域４３とともに表示されていれば、ユーザーは画像数情報４４を参考に、総再生時間または演出効果の変更操作を直ちに実行できるため、利便性が高い。
【００３４】
以下、本発明による好ましい実施の形態を説明する。
【００３５】
〔実施の形態１〕
まず、本発明の実施の形態１による画像編集装置を説明する。本実施の形態では、パーソナルコンピュータ（ＰＣ）が画像編集装置として機能する。
【００３６】
図１Ｃは、ＰＣ１００のシステムの全体構成を示すブロック図である。実施の形態１に係るＰＣ１００は、連続表示する画像群について、従来技術に比べ、ストーリー構成をより重視して編集することができる。本実施の形態では、連続表示する画像群の一例として、フォトムービー（以下、単に「ムービー」と呼ぶ。）を作成する場合を説明する。ムービーの作成において、ユーザーは、デフォルトで用意されたＢＧＭや、ユーザーが任意に登録したＢＧＭをムービーと同時に再生するＢＧＭとして採用することができる。本実施の形態に係るムービー作成では、予め用意された複数のテンプレートの中からユーザーが選択したテンプレート、および設定したＢＧＭに従って、入力された複数の画像を連続して配置することによりストーリーとコンテが作成される。ここで、「テンプレート」とは、連続して配置される各画像の表示時間と、画像間の切り替え効果の繰り返しパターンとを記述した雛形情報である。「ストーリー」とは、テンプレートに記述された繰り返しパターンの回数を、ＢＧＭの長さに合うように調整したものであり、全体の切り替え効果の順序を表す情報である。「コンテ」とは、ストーリーの各切り替え効果に入力画像を割り当てた情報である。ＰＣ１００は、このコンテを元に所定のエンコード処理をすることによってコンテを動画ファイルに変換して出力することができる。
【００３７】
以下、システムの構成および動作をより詳細に説明する。
【００３８】
［１．システムの構成］
まず、ＰＣ１００のシステムの構成について図１Ｃを用いて説明する。図１Ｃは、ＰＣ１００の全体構成を示す。ＰＣ１００は、中央演算処理装置（ＣＰＵ）１０１、システム管理メモリ１０２、ワークメモリ１０３、ハードディスクドライブ（ＨＤＤ）１０４、マウス１０５、キーボード１０６、ＵＳＢコネクタ１０７、グラフィックコントローラ１０８、液晶ディスプレイ１０９を備えている。ＰＣ１００は、図示される要素以外の要素を含み得るが、本発明の本質には関係しないため、それらの要素の図示は省略している。本実施形態では、ＰＣ１００として、液晶ディスプレイ１０９を備えたノートＰＣを想定しているが、デスクトップＰＣであってもよい。本実施の形態では、ＣＰＵ１０１が図１Ａに示す画像群生成部１３の機能を有し、グラフィックコントローラ１０８が図１Ａに示す表示制御部１２の機能を有し、ＵＳＢコネクタ１０７が図１Ａに示す入力インターフェース１１の機能を有している。
【００３９】
ＣＰＵ１０１は、ＰＣ１００の処理を実行する処理部である。ＣＰＵ１０１は、システム管理メモリ１０２、ワークメモリ１０３、ＨＤＤ１０４、グラフィックコントローラ１０８、ＵＳＢコネクタ１０７に電気的に接続されている。ＣＰＵ１０１は、グラフィックコントローラ１０８を介して、液晶ディスプレイ１０９に表示される画面を変更することができる。また、ＣＰＵ１０１は、ＵＳＢコネクタ１０７を介して、マウス１０５やキーボード１０６を用いたユーザーによる操作情報を受け付ける。また、図示していないが、ＰＣ１００の各部に供給される電力等のシステムを全体的に制御している。
【００４０】
システム管理メモリ１０２は、オペレーティングシステム（ＯＳ）などが保持されているメモリである。また、システム管理メモリ１０２には、システム時刻などが格納されている。システム時刻は、ＣＰＵ１０１がＯＳのプログラムを動作させることにより更新される。
【００４１】
ワークメモリ１０３は、ＣＰＵ１０１が各種の処理を実行するために必要な情報を一時的に格納するメモリである。ＣＰＵ１０１は、画像を連続して配置して一連の連続表示画像群によるコンテを作成するとき、ユーザーが選択したテンプレートに従って作成する。ワークメモリ１０３には、ＣＰＵ１０１により、選択されたテンプレートの情報、および作成中のストーリーやコンテの情報等が格納される。テンプレート情報の詳細については、後述する。
【００４２】
マウス１０５は、ユーザーが編集操作時に使用するポインティングデバイスである。ユーザーは、マウス１０５を操作することにより、画像編集ソフトの画面上において、画像データや音楽データ、テンプレートを選択することができる。
【００４３】
キーボード１０６は、ユーザーが編集操作時に文字入力などを行うためのキーボードデバイスである。
【００４４】
ＵＳＢコネクタ１０７は、マウス１０５とキーボード１０６とをＰＣ１００に接続するためのコネクタである。
【００４５】
グラフィックコントローラ１０８は、ＣＰＵ１０１によって演算された画面情報を映像化するデバイスであり、画面情報を液晶ディスプレイ１０９に伝える。
【００４６】
液晶ディスプレイ１０９は、グラフィックコントローラ１０８が映像化した画面情報を表示する表示デバイスである。なお、液晶ディスプレイ１０９に限らず、外付けディスプレイに当該画面情報を表示してもよい。
【００４７】
ＣＰＵ１０１は、画像編集ソフトをＨＤＤ１０４から読み出し、ワークメモリ１０３に格納して、画像編集ソフトを起動し実行する。また、ＣＰＵ１０１は、画像編集ソフトのプログラムに従って、以下の処理を実行する。
（１）マウス１０５、キーボード１０６を用いて行われたユーザーの選択操作、編集操作を、ＵＳＢコネクタ１０７を介して受け付ける。
（２）作成するストーリーについて、ユーザーが選択または登録した音楽データの再生時間を読み出す。
（３）ユーザーが選択したテンプレートの記述内容を読み出す。
（４）テンプレートにより定義されたストーリーの再生時間と、使用する音楽データの再生時間との比較結果に基づいて、ストーリーに入力画像を関連付けることによってコンテを作成する。
（５）液晶ディスプレイ１０９に表示させるために、作成したコンテの画像情報をグラフィックコントローラ１０８に送出する。
【００４８】
［２．選択画面の構成］
続いて、液晶ディスプレイ１０９が表示する選択画面の構成について図２を用いて説明する。図２は、液晶ディスプレイ１０９に表示される選択画面の例を示す図である。
【００４９】
図２に示すように、液晶ディスプレイ１０９に表示される選択画面は、候補となる画像ファイルを表示する素材選択エリア２００、選択可能なテンプレートを表示するテンプレート選択エリア２０１、ＢＧＭを選択するためのＢＧＭ選択エリア２０２、設定を完了するための完了ボタン２０３、および現段階の設定で使用される画像数を表示する総使用画像数表示エリア２０４を含む。
【００５０】
総使用画像数表示エリア２０４は、現在の設定で完了ボタン２０３を押下したときに作成されるストーリーにおいて、使用される予定の画像枚数を表示するエリアである。画像枚数の算出方法についての詳細は後述する。
【００５１】
素材選択エリア２００は、ストーリーを作成するための素材となる画像データを表示するエリアである。素材となる画像データには、静止画像データや動画像データがある。図２に示すように、素材選択エリア２００には、複数の画像データが表示される。素材選択エリア２００に表示される画像データは、ＨＤＤ１０４に格納された画像データの全てでもよいし、特定のフォルダに格納された画像データのみを選択的に抽出したものでもよい。または、特定のフォルダに格納された画像データの中から、更にユーザーにより選別された画像データを抽出したものでもよい。素材選択エリア２００に表示された画像データは、コンテ作成時に組み入れられる画像の候補となる。なお、素材選択エリア２００に表示された画像データについて、ストーリーに組み入れたい画像データとしての優先度をユーザーが設定できるようにしてもよい。この場合、素材選択エリア２００に表示されたすべての画像を採用できない場合（再生時間が短い場合など）に、優先度が高く設定された画像データを優先的に採用することができる。これにより、ユーザーが所望する画像を採用したコンテ（または、所定のフォーマットに従った動画ファイル）を作成することができる。
【００５２】
テンプレート選択エリア２０１は、ユーザーが選択可能なテンプレートを表示するエリアである。ユーザーが選択可能なテンプレートとして、例えば図２に示すように、「人物中心のスローテンポテンプレート」、「人物中心のアップテンポテンプレート」、「風景中心のスローテンポテンプレート」、「風景中心のアップテンポテンプレート」等が表示される。「人物中心のスローテンポテンプレート」は、人物が撮像された画像を中心に抽出し、スローテンポなＢＧＭに合った画像切り替え効果を用いて構成されたストーリーを記述したテンプレートである。同様に、「人物中心のアップテンポテンプレート」は、人物が撮像された画像を中心に抽出し、アップテンポなＢＧＭに合った画像切り替え効果を用いて構成されたストーリーを記述したテンプレートである。「風景中心のスローテンポテンプレート」は、風景が撮像された画像を中心に抽出し、スローテンポなＢＧＭに合った画像切り替え効果を用いて構成されたストーリーを記述したテンプレートである。「風景中心のアップテンポテンプレート」は、風景が撮像された画像を中心に抽出し、アップテンポなＢＧＭに合った画像切り替え効果を用いて構成されたストーリーを記述したテンプレートである。図２に示されているテンプレートは一例であり、上記以外のテンプレートが用意されていてもよい。
【００５３】
テンプレート選択エリア２０１の各テンプレート表示領域には、テンプレートのイメージを表す画像２１０、テンプレート名２１１、および当該テンプレートにデフォルトで設定されたＢＧＭの再生時間２１２が表示される。ユーザーはマウス１０５を操作することにより、複数種類のテンプレートの中から希望するテンプレートを選択することができる。ユーザーがテンプレートを変更することにより、作成するストーリーの雰囲気を変更することができる。ＣＰＵ１０１は、ユーザーによりテンプレートが変更されると、総使用画像数表示エリア２０４における画像枚数の表示を更新する。
【００５４】
ＢＧＭ選択エリア２０２は、ストーリーに使用するＢＧＭをユーザーが任意に指定するためのエリアである。ＢＧＭ選択エリア２０２は、ユーザー指定チェックボックス２２１、登録ボタン２２２、試聴プレーヤー２２３を含む。ユーザーは、マウス１０５を操作することにより、ユーザー指定チェックボックス２２１の有効／無効を切り替えることができる。ユーザー指定チェックボックス２２１を無効にしたときは、ＣＰＵ１０１は、テンプレートに設定されたデフォルトのＢＧＭを、ストーリー作成に使用する。ユーザー指定チェックボックス２２１を有効にした場合は、ユーザーが指定したＢＧＭをストーリー作成に使用する。ここで使用することが決定されたＢＧＭの再生時間が、作成予定のストーリーの再生時間となる。
【００５５】
また、ユーザーは、マウス１０５を操作して、登録ボタン２２２を押下することにより、ストーリー作成に使用するＢＧＭの登録を行うことができる。ユーザーが登録ボタン２２２を押下すると、ＣＰＵ１０１は、音楽データを格納したフォルダの内容を液晶ディスプレイ１０９に表示する。ユーザーは、表示されたフォルダの内容を見ながら、所望の音楽データをマウス操作等により選択する。これにより、ユーザーは、ストーリー作成に使用するＢＧＭの登録をすることができる。また、ユーザーは、マウス１０５を操作して、視聴プレーヤー２２３における試聴ボタン２２４を押下することにより、選択したＢＧＭの試聴を実行することができる。ＣＰＵ１０１は、ユーザーによりＢＧＭが変更されると、総使用画像数表示エリア２０４における画像枚数の表示を更新する。
【００５６】
総使用画像数表示エリア２０４に表示される画像枚数は、テンプレート選択エリア２０１において選択されたテンプレートと、ＢＧＭ選択エリア２０２において選択されたＢＧＭに基づいて算出される。総使用画像数表示エリア２０４に表示された画像枚数を参照することにより、ユーザーは、テンプレート選択エリア２０１におけるテンプレート変更の判断を容易に行うことができる。また、総使用画像数表示エリア２０４に表示された画像枚数を参照することにより、ユーザーは、ＢＧＭ選択エリア２０２におけるＢＧＭ変更（再生時間の変更）や、素材選択エリア２００への画像の追加または削除などの判断を容易に行うことができる。
【００５７】
完了ボタン２０３は、ストーリー作成のための素材画像、テンプレート、およびＢＧＭの選択を完了させるためのボタンである。ユーザーは、マウス１０５を操作して、完了ボタン２０３を押下することにより、選択を完了することができる。ストーリー作成のための選択が完了すると、素材選択エリア２００において選択された画像データ、テンプレート選択エリア２０１において選択されたテンプレート、ＢＧＭ選択エリア２０２において指定されたＢＧＭ情報に基づいてストーリーが生成される。そして、ＣＰＵ１０１は、生成されたストーリーに画像を関連付けることによってコンテを作成する。
【００５８】
［３．確認画面の構成］
続いて、液晶ディスプレイ１０９が表示する確認画面の構成について図３を用いて説明する。図３は、液晶ディスプレイ１０９の確認画面のイメージを示す図である。図２に示す完了ボタン２０３を押下すると、図３に示す確認画面に遷移する。
【００５９】
図３に示すように、液晶ディスプレイ１０９に表示される確認画面は、ストーリー情報表示エリア４００、プレビューエリア４０１、ストーリーボードエリア４０２、コンテ保存ボタン４０３、ファイル出力ボタン４０４を含む。
【００６０】
ストーリー情報表示エリア４００は、選択画面でユーザーが選択した内容に関する情報を表示するエリアである。表示する情報には、選択された素材の個数、選択されたテンプレート名、選択されたＢＧＭの再生時間が含まれる。ここで、選択された素材の個数とは、ストーリーに組み入れる候補となっている静止画の個数および動画の個数である。図示してはいないが、実際に採用された静止画および動画の個数を合わせて表示するようにしてもよい。これにより、ユーザーは、候補画像数のうち、どれだけの画像が採用されたかを確認することができる。
【００６１】
プレビューエリア４０１は、作成したコンテの再生を実行する画面である。ユーザーは作成したコンテの内容を実際に映像で確認することができる。
【００６２】
ストーリーボードエリア４０２は、作成したムービーに用いられる画像を表示するエリアである。ストーリーボードエリア４０２には、複数の長方形（ａ、ｂ、・・・）が配列されており、それらの配列順序は、ストーリー上の表示の順序に対応する。それぞれの長方形には、素材選択エリア２００に表示されていた画像から抽出した画像のいずれかが表示されている。また、図示されてはいないが、画像と画像との間の切り替え効果を示すアイコンを併せて表示してもよい。あるいは、各長方形に対応する画像の再生時間を合わせて表示してもよい。これにより、ユーザーはストーリー上に、どの素材が、どのような順序で、どのような効果で、どのような再生時間で配置されているかを確認することができる。
【００６３】
コンテ保存ボタン４０３は、マウス１０５の操作により選択することができる。ユーザーは、コンテ保存ボタン４０３を押下することにより、どの素材が、どのような順序で、どのような切り替え効果で、どのような再生時間で配置されるかを管理したコンテ情報を、ＨＤＤ１０４に保存することができる。なお、図示していないが、例えば図２に示される選択画面のような上の階層の画面において、コンテ読出しボタンを設けておき、以前に保存したコンテ情報を読み出せるように構成してもよい。
【００６４】
ファイル出力ボタン４０４は、マウス１０５の操作により選択することができる。ユーザーは、ファイル出力ボタン４０４を押下することにより、作成されたコンテ情報に基づいて動画ファイルを作成することができる。このとき作成される動画ファイルの出力形式は、予め使用者が選択できるようにしておいてもよい。例えば、使用者がＡＶＣＨＤ（登録商標）ファイル形式を選択している場合は、ＡＶＣＨＤファイル形式の動画ファイルを作成する。
【００６５】
［４．テンプレートの構成情報］
続いて、テンプレートの持つ情報について説明する。図４は、本実施の形態にかかるテンプレートの階層構造を説明するための図である。
【００６６】
テンプレートはストーリーを作成する際に、どのような切り替え効果を、どのような順番にて連続して並べるかを記載した情報である。順番が記載された切り替え効果のそれぞれについて、どれだけの再生時間を割り当てるかが記述されている。ＣＰＵ１０１は、テンプレートに規定された切り替え効果の順番に従って、選択した素材を連続して配置する。
【００６７】
ここで、「切り替え効果」とは、ある画像から次の画像に切り替わる際の演出効果を意味する。切り替え効果には、例えばフェイドイン、クロスフェード、スライドイン、回転といった複数種類のパターンがある。本実施形態では、テンプレートごとに固有の切り替え効果のパターンがそれぞれの再生時間とともに予め設定されている。本実施形態におけるテンプレートは、繰り返しノードと効果ノードとを有するツリー構造をもつ。
【００６８】
以下、図４を参照しながら、テンプレートの一例を説明する。図４に示すテンプレートは、オープニング部、第一メイン部、第二メイン部、エンディング部を有する。なお、本実施の形態では、第一メイン部および第二メイン部の２つのメイン部がある場合を例に示すが、テンプレートは１つのメイン部のみを有していてもよいし、３つ以上のメイン部を有していてもよい。
【００６９】
オープニング部、第一メイン部、第二メイン部、エンディング部の各々は、「効果ノード」、および／または、効果ノードを１つ以上有する「繰り返しノード」から構成される。効果ノードは、素材の再生時間情報と切り替え効果の種類を示す情報とを持つ。繰り返しノードは効果ノードおよび／または他の繰り返しノードを子ノードとしてもつことができるが、効果ノードは子ノードを持つことができない。各効果ノードに規定された再生時間と切り替え効果に従って、ＣＰＵ１０１は画像を表示する。繰り返しノードは、配下に属する効果ノードおよび／または繰り返しノードを、指定した回数だけ繰り返すための情報（繰り返し回数情報）を持つ。繰り返しノードでは、子ノードに指定された一連のノード（子ノード１、子ノード２、・・・子ノードｎ）を順に複数回繰り返すことができる。１回繰り返す場合は（子ノード１）→（子ノード２）→・・・→（子ノードｎ）という表示順序になり、２回繰り返す場合は（子ノード１）→（子ノード２）→・・・→（子ノードｎ）→（子ノード１）→（子ノード２）→・・・→（子ノードｎ）という表示順序になる。
【００７０】
オープニング部は、ユーザーがストーリーのタイトルテキストを画像に重畳することができるように、一枚あたりの画像の再生時間を長めにとるように記述されている。図４に示す例では、オープニング部は、２ｓｅｃの「Ａフェイドイン」効果の後に、１ｓｅｃの「Ｂクロスフェード」効果が続くように構成されている。このとき、オープニング部には２個の画像が使用される。すなわち、液晶ディスプレイ１０９が黒画面を表示しているところから、「Ａフェイドイン」効果により画面に挿入される画像、およびその画像に続けて「Ｂクロスフェード」効果により画面に挿入される画像の２個の画像が使用される。
【００７１】
第一メイン部および第二メイン部は、ストーリーのメインとなる画像が配置されるので、段々盛り上がる切り替え効果が設定されるように記述されている。第二メイン部は、クライマックスなので、第一メイン部よりも派手な切り替え効果が設定されるように記述されている。図４に示す例では、第一メイン部は、１ｓｅｃの「Ｄスライドイン右」効果、１ｓｅｃの「Ｅスライドイン左」効果、１ｓｅｃの「Ｆスライドイン上」効果、１ｓｅｃの「Ｇスライドイン下」効果の４つの切り替え効果を子ノードとして有する。第一メイン部は、この４つの子ノードを繰り返す繰り返しノードＣにより構成されており、繰り返し回数は２回に初期設定されている。また、第二メイン部は、１ｓｅｃの「Ｉクロスフェード」効果を有する子ノードと、０．５ｓｅｃの「Ｋ回転」効果を有する孫ノードおよび０．５ｓｅｃの「Ｌ破裂」効果を有する孫ノードの２つの孫ノードを繰り返す繰り返しノードＪである子ノードと、を繰り返す繰り返しノードＨにより構成されている。このときの、繰り返しノードＪの繰り返し回数は２回に初期設定されている。また、繰り返しノードＨの繰り返し回数は３回に初期設定されている。
【００７２】
エンディング部は、ストーリーの最後を締めくくる画像が配置されるため、一枚あたりの画像の再生時間が比較的長くなるように設定される。図４に示す例では、エンディング部は、２ｓｅｃの「Ｍフェイドアウト」効果を有する画像によって構成される。
【００７３】
以上のように、初期設定されている繰り返し回数でストーリーを生成した場合、効果ノードを順に並べると、（Ａフェイドイン２ｓｅｃ）→（Ｂクロスフェード１ｓｅｃ）→（Ｄスライドイン右１ｓｅｃ）→（Ｅスライドイン左１ｓｅｃ）→（Ｆスライドイン上１ｓｅｃ）→（Ｇスライドイン下１ｓｅｃ）→（Ｄスライドイン右１ｓｅｃ）→（Ｅスライドイン左１ｓｅｃ）→（Ｆスライドイン上１ｓｅｃ）→（Ｇスライドイン下１ｓｅｃ）→（Ｉクロスフェード１ｓｅｃ）→（Ｋ回転０．５ｓｅｃ）→（Ｌ破裂０．５ｓｅｃ）→（Ｋ回転０．５ｓｅｃ）→（Ｌ破裂０．５ｓｅｃ）→（Ｉクロスフェード１ｓｅｃ）→（Ｋ回転０．５ｓｅｃ）→（Ｌ破裂０．５ｓｅｃ）→（Ｋ回転０．５ｓｅｃ）→（Ｌ破裂０．５ｓｅｃ）→（Ｉクロスフェード１ｓｅｃ）→（Ｋ回転０．５ｓｅｃ）→（Ｌ破裂０．５ｓｅｃ）→（Ｋ回転０．５ｓｅｃ）→（Ｌ破裂０．５ｓｅｃ）→（Ｍフェイドアウト２ｓｅｃ）となる。これらの表示時間を総計すると２２ｓｅｃとなる。以上のように、テンプレートは、繰り返しノードと効果ノードとを持つツリー構造を成している。
【００７４】
［５．画像編集動作］
続いて、選択された素材、選択されたテンプレート、選択されたＢＧＭに基づいて、ストーリーを作成する手順について説明する。図５は、本実施の形態における画像編集動作の概要を示すフローチャートである。
【００７５】
まず、ユーザーは、ストーリー作成に使用することを希望する画像（候補画像）を選択する（Ｓ５００）。画像が選択されると、ＣＰＵ１０１は、選択された画像を素材選択エリア２００に表示する。なお、上述したとおり、ここから更に優先度を使用者が設定するように構成してもよい。なお、画像選択のための構成としては、例えば図２における素材選択エリア２００に画像選択ボタンを設け、ユーザーが当該ボタンを押下することによって画像選択画面に遷移する構成であってもよいし、ドラッグアンドドロップによって画像ファイルを追加・削除できる構成であってもよい。
【００７６】
続いて、ユーザーは、ストーリー作成に使用するテンプレートを選択する（Ｓ５０１）。テンプレートが選択されると、ＣＰＵ１０１は、テンプレート選択エリア２０１における選択されたテンプレートを強調表示する。続いて、ユーザーは、ストーリー作成において使用するＢＧＭを選択する（Ｓ５０２）。ここで、ユーザーは、テンプレートのデフォルトのＢＧＭを採用するか否かを判断する。選択したテンプレートのデフォルトのＢＧＭを採用しない場合、ユーザーは、上述したようにユーザー指定チェックボックスを有効にして、所望の音楽データを登録する。そして、ＣＰＵ１０１は、ユーザーが登録した音楽データをＢＧＭとして採用する。一方、選択したテンプレートのデフォルトのＢＧＭを採用する場合、ユーザーは、上述したようにユーザー指定チェックボックスを無効にする。このとき、ＣＰＵ１０１は、選択したテンプレートのデフォルトのＢＧＭを採用する。ステップＳ５００からステップＳ５０２の動作は、ユーザーが適宜選択するものなので、順番が入れ替わっていても構わない。
【００７７】
ユーザーが、ステップＳ５０１またはＳ５０２の選択操作をすると、その選択結果に従って、総使用画像数表示エリア２０４に表示される画像枚数が動的に更新される。ステップＳ５０１、Ｓ５０２における詳細動作については後述する。
【００７８】
本実施形態によれば、ＢＧＭ（再生時間）やテンプレートを変更したときに、即座に更新された使用画像枚数が表示されるため、自分の望むムービーをつくるために何をしなければならないかをユーザーが判断する際の手助けとなる。ユーザーは、コンテ作成に当たって、ある程度具体的な作成イメージを持ちながら編集操作を行うと想定される。ある程度具体的な作成イメージを持つ場合、ユーザーは、素材選択エリア２００に表示された画像データから、使用したい画像を意識しながら、編集操作を行うと想定される。すなわち、ユーザーは、コンテ作成に使用したいと期待する画像の枚数を意識していると想定される。このとき、例えば、表示された総使用画像数が期待より少なかった場合、ユーザーは、テンプレートまたはＢＧＭを変更することによって所望の数の画像が使用されるように調整することができる。
【００７９】
総使用画像数が期待より少なかった場合として、以下の３つのケースが考えられる。一つ目のケースは、ユーザーが選択したＢＧＭが短すぎるときである。このとき、使用したいと期待する画像枚数を実現するために、ユーザーは、より長いＢＧＭに変更するという判断を容易に行うことができる。二つ目のケースは、画像の切り替えテンポが遅いテンプレートが選択されていることきである。このとき、使用したいと期待する画像枚数を実現するために、ユーザーは、より画像の切り替えテンポが速いテンプレートを選択するという判断を容易に行うことができる。三つ目のケースは、ユーザーが使用したい画像枚数が多すぎるときである。このとき、手短にまとまった良い作品づくりのためには、素材選択エリア２００に表示された素材画像の中から、表示画像候補を絞らなければならないという判断を容易に行うことができる。すなわち、ＣＰＵ１０１は、総使用画像数を図２に示す選択画面に提示することにより、ユーザーに画像を絞るよう促すことができる。
【００８０】
以上のように、総使用画像数表示エリア２０４に表示される使用画像数を参照することにより、ユーザーは、ステップＳ５００からステップＳ５０２の少なくとも１つを実行することで、図３に示す確認画面に遷移することなく、使用画像数を調整することができる。このため、より良い作品をつくるための設定情報の変更の判断を容易に行うことができる。
【００８１】
コンテ作成に使用される素材画像、テンプレート、およびＢＧＭ（再生時間）の選択を終えると、ユーザーは、完了ボタン２０３を押下することにより、選択内容を確定することができる（Ｓ５０３）。本実施形態では、ステップＳ５０１およびステップＳ５０２において既にストーリーが作成されている。ＣＰＵ１０１は、ストーリーに素材画像を割り当てることによってコンテを作成する（Ｓ５０４）。
【００８２】
ステップＳ５０４において、ＣＰＵ１０１は、素材選択エリア２００に表示された画像の中から、画像を撮影日時順にソートして、順にストーリー中の各効果ノードに当てはめる。素材となる候補画像の数がストーリー中の効果ノードの数より少ない場合、例えばランダムに同じ画像を複数回使用する。素材となる候補画像の数がストーリー中のノードの数よりも多い場合は、例えば以下の条件により使用する素材を選択する。
条件１：素材全体から撮影日時に偏りがないように満遍なく選択する。
条件２：テンプレートとして、人物中心のものが選択されている場合は、人物が主な被写体となっている画像を優先的に選択する。
条件３：テンプレートとして、風景中心のものが選択されている場合は、風景が主な被写体となっている画像を優先的に選択する。
条件４：ステップＳ５００において、素材選択エリア２００に表示されている画像に優先度が設定されている場合は、優先度が高い画像を優先的に選択する。
【００８３】
なお、画像における主な被写体が人物であるか風景であるかの判定は、画像の特性に基づいて行われ得る。ＣＰＵ１０１は、そのような判定をコンテ作成の都度実行してもよいし、予め画像ごとに主な被写体が何であるかを示す情報を生成しておき、コンテ作成時にその情報を参照してもよい。
【００８４】
以上の動作により、ＣＰＵ１０１は、画像編集動作を終了する。
【００８５】
［６．ストーリー作成動作］
続いて、ステップＳ５０１およびステップＳ５０２において実行されるストーリー作成の詳細動作について説明する。図６は、本実施の形態にかかるストーリー作成の詳細を示すフローチャートである。
【００８６】
まず、ＣＰＵ１０１は、ステップＳ５０１において選択されたテンプレートの情報を読み出す（Ｓ６００）。次に、ＣＰＵ１０１は、テンプレートに予め設定されたデフォルトの繰り返し回数でストーリーを作成する（Ｓ６０１）。図４に示される例によると、このときのストーリーの再生時間は２２ｓｅｃである。次に、ＣＰＵ１０１は、ステップＳ５０２にて選択されたＢＧＭの再生時間を取得する（Ｓ６０２）。ここでは、例として３４．５ｓｅｃのＢＧＭが選択されたものとする。
【００８７】
続いて、ＣＰＵ１０１は、作成したストーリーの再生時間（２２ｓｅｃ）とＢＧＭの再生時間（３４．５ｓｅｃ）とが一致しているか否かを比較する（Ｓ６０３）。作成したストーリーの再生時間と、ＢＧＭの再生時間とが一致する場合、ＣＰＵ１０１は、ストーリーが完成したと判断し（Ｓ６０６）、処理を終了する。作成したストーリーの再生時間と、ＢＧＭの再生時間とが一致していない場合、ＣＰＵ１０１は、繰り返し回数を増減させることにより、ストーリーの再生時間をＢＧＭの再生時間と一致させる（Ｓ６０４、Ｓ６０５）。ステップＳ６０４およびＳ６０５のこの手順についてさらに詳細に説明する。
【００８８】
まず、テンプレート中の全ての繰り返しノードを列挙し、それぞれの１回あたりの単位繰り返し時間ｕを調査する。以下、ｕ（Ｘ）はノードＸの単位繰り返し時間とする。図４に示したテンプレートでは、ノードＣ、ノードＨ、ノードＪの３つが繰り返しノードである。ノードＣの１回あたりの繰り返し長さは、ノードＤ＋ノードＥ＋ノードＦ＋ノードＧの長さに等しいので、ｕ（Ｃ）＝（１＋１＋１＋１）ｓｅｃ＝４ｓｅｃである。同様に、ｕ（Ｊ）＝（０．５＋０．５）ｓｅｃ＝１ｓｅｃである。ノードＨについては、子ノードに繰り返しノードＪを含むので、ノードＪの初期設定の繰り返し回数（＝２ｓｅｃ）を用いて、ｕ（Ｈ）＝（１＋２＊ｕ（Ｊ））ｓｅｃ＝（１＋２＊１）ｓｅｃ＝３ｓｅｃとなる。
【００８９】
次に、ＣＰＵ１０１は、ストーリーの再生時間とＢＧＭの再生時間の差（以下、「誤差時間」と称する。）をとり、その差が０になるように繰り返し回数を増減させる。すなわち、ストーリー再生時間が、ＢＧＭ再生時間よりも長いときは、繰り返し回数をデクリメントすることで再生時間を調整する。ストーリー再生時間が、ＢＧＭ再生時間よりも短いときは、繰り返し回数をインクリメントすることで再生時間を調整する。例えば、ストーリー再生時間がＢＧＭ再生時間よりも短いとき、ＣＰＵ１０１は、繰り返し回数を調整するノードを以下の考え方に従って順に選ぶ。
条件１：誤差時間以内であって、単位繰り返し時間ｕが長いものを優先的に選ぶ。そして、選択した繰り返し単位の繰り返し回数を１回インクリメントする。
条件２：単位繰り返し長さｕが等しい繰り返しノードが複数ある場合は、いずれか１つをランダムに選ぶようにしてもよい。ただしすでに繰り返し回数を増減させた繰り返しノードがある場合は、まだ増減させていない繰り返しノードを優先的に選ぶ。そして、選択した繰り返し単位の繰り返し回数を１回インクリメントする。
条件３：条件１によって単位繰り返し時間がｕ１の繰り返しノードが選ばれた場合で、かつ、単位繰り返し時間ｕ１の全てのノードについて、繰り返し回数を２回インクリメントしている状態においては、更に１回インクリメントすると、当該繰り返し単位の繰り返しがくどくなることがある。そのような事態を回避するために、本条件を適用するようにしてもよい。例えば、ｕ１の次に単位繰り返し時間の長いノードの長さｕ２がｕ１＜ｕ２＊２を満たす場合、ｕ１の繰り返しノードの代わりにｕ２の繰り返しノードを選び、繰り返し回数を１回インクリメントしてもよい。このとき、ｕ１＜ｕ２＊２を満たす適切なノードが無い場合は、ｕ１を再び選べばよい。すなわち、ｕ１の繰り返し回数を更に１回インクリメントすればよい。
条件４：誤差時間が、ノードの繰り返し時間の最小値よりも小さくなった場合、Ｓ６０４における繰り返し回数の調整を終了する。
【００９０】
次に、誤差時間がノードの繰り返し時間の最小値よりも小さくなった場合、ＣＰＵ１０１は、各ノードの再生時間を微調整することによって残りの誤差時間を０にする。言うまでもないが、誤差時間が上記条件１から条件３の考えを適用することですでに０である場合は、再生時間を微調整する必要はない。誤差時間を微調整する場合、ＣＰＵ１０１は、ストーリーの効果ノードを列挙する。そして、ＣＰＵ１０１は、再生時間の長いノードから順に選んで、その再生時間を修正してＢＧＭ時間に近づけていく（Ｓ６０５）。１つのノードで変更できる時間幅は、例えば効果ノードの元の再生時間の±１０％以内とする。
【００９１】
ステップＳ６０４およびステップＳ６０５の動作内容について、以下に例を示して説明する。例としてＢＧＭの長さが３４．５ｓｅｃの場合を考える。このとき、ストーリーの再生時間と、ＢＧＭの再生時間との誤差時間は１２．５ｓｅｃである。まず、ＣＰＵ１０１は、条件１により、Ｃ（４ｓｅｃ）の繰り返し回数をインクメントする。これで残りの誤差時間は８．５ｓｅｃとなる。次に、ＣＰＵ１０１は再び条件１によりＣ（４ｓｅｃ）の繰り返し回数をインクリメントする。これで残りの誤差時間は４．５ｓｅｃになる。このとき、繰り返しノードＣの再生時間は条件１を満たしているが、この時点でＣはすでに２回選んでしまっているので、条件３によりＨ（３ｓｅｃ）の繰り返し回数をインクリメントする。これにより残りの誤差時間は１．５ｓｅｃとなる。そして、ＣＰＵ１０１は、条件１によりＪ（１ｓｅｃ）の繰り返し回数をインクリメントする。これにより残りの誤差時間は０．５ｓｅｃとなる。このとき、残りの誤差時間よりも長い繰り返し時間を有する繰り返しノードが存在しないため、ここで条件４を適用して、ステップＳ６０４を終了する。この時点で、ストーリーは、各ノードの記号を用いて表すと、下記の順になっている。
Ａ−Ｂ−（Ｄ−Ｅ−Ｆ−Ｇ）−（Ｄ−Ｅ−Ｆ−Ｇ）−（Ｄ−Ｅ−Ｆ−Ｇ）−（Ｄ−Ｅ−Ｆ−Ｇ）−（Ｉ−（Ｋ−Ｌ）−（Ｋ−Ｌ））−（Ｉ−（Ｋ−Ｌ）−（Ｋ−Ｌ））−（Ｉ−（Ｋ−Ｌ）−（Ｋ−Ｌ））−（Ｉ−（Ｋ−Ｌ）−（Ｋ−Ｌ） −（Ｋ−Ｌ））−Ｍ
この中で各ノードの再生時間は、Ａ＝Ｍ＞Ｂ＝Ｄ＝Ｅ＝Ｆ＝Ｇ＝Ｉ＞Ｋ＝Ｌであるので、Ａ（２ｓｅｃ）を＋０．２ｓｅｃ、Ｍ（２ｓｅｃ）を＋０．２ｓｅｃ、Ｂ（１ｓｅｃ）を＋０．１ｓｅｃ長くすることで、計０．５ｓｅｃ分の誤差を埋める。以上でストーリーの長さを３４．５ｓｅｃに合わせることができる。
【００９２】
以上のようにして、ステップＳ５０１にて選択されたテンプレートに規定されている、各繰り返し単位の繰り返し回数が決定される。また、端数時間が微調整される。なお、ステップＳ６０３において、ストーリーの再生時間と、ＢＧＭの再生時間とが一致する場合は、初期設定されている繰り返し回数をそのまま適用する。
【００９３】
以上の動作により、ＣＰＵ１０１は、ストーリー作成動作を終了する。なお、以上のストーリー作成手順はあくまでも一例であり、ＢＧＭの再生時間に合うようにストーリーを編成する方法はどのような方法であってもよい。
【００９４】
［７．総使用画像数算出］
続いて、選択されたテンプレート、選択されたＢＧＭに基づいて、使用される予定の画像枚数を算出する手順について、図７から図９を参照しながら説明する。
【００９５】
図７は、テンプレート選択動作の詳細を示すフローチャートである。ＣＰＵ１０１は、テンプレートが以前の設定から変更されたかどうかを確かめる（Ｓ７００）。ＣＰＵ１０１は、テンプレートが以前の設定から変更された場合は、総使用画像数を算出し直す（Ｓ７０１）。そして、ＣＰＵ１０１は、図２に示す総使用画像数表示エリア２０４の表示を更新する（Ｓ７０２）。
【００９６】
図８は、ＢＧＭ変更動作の詳細を示すフローチャートである。ＣＰＵ１０１は、ＢＧＭが以前の設定から変更されたかどうかを確かめる（Ｓ８００）。ＣＰＵ１０１は、ＢＧＭが以前の設定から変更された場合は、総使用画像数を算出し直す（Ｓ８０１）。そして、ＣＰＵ１０１は、図２に示す総使用画像数表示エリア２０４の表示を更新する（Ｓ８０２）。
【００９７】
続いて、ステップＳ７０１およびステップＳ８０１における、総使用画像数の算出方法の詳細について説明する。図９は、総使用画像数算出方法の詳細を示すフローチャートである。
【００９８】
ＣＰＵ１０１は、以前の設定から変更されたテンプレートまたはＢＧＭに基づいて、ストーリーを更新する（Ｓ９００）。このとき、ＣＰＵ１０１は、前述した図６に示すストーリー作成のフローチャートに従ってストーリーを更新する。続いて、ＣＰＵ１０１は、総使用画像数のカウンタを０にリセットする（Ｓ９０１）。
【００９９】
ＣＰＵ１０１は、ストーリーを構成する効果ノードを一個ずつ順に検出する（Ｓ９０２）。次に、ＣＰＵ１０１は、検出した効果ノードの種類と、当該効果ノードに関連付けられた画像の表示時間が特定のカウント条件を満たすか否かを調べる（Ｓ９０３）。ＣＰＵ１０１は、様々なカウント条件を設定しておくことができる。例えば、下記４種類のカウント条件が考えられる。
第１のカウント条件：ＣＰＵ１０１は、ストーリーを構成する効果ノードのすべてについて、カウント条件を満たすと設定することができる。このとき、ＣＰＵ１０１は、ストーリー中で使われるすべての画像の枚数を総使用画像数としてカウントする。
第２のカウント条件：ＣＰＵ１０１は、検出した効果ノードに関連付けられた画像の表示時間が所定時間以上である場合、カウント条件を満たすと設定することができる。例えば、検出した効果ノードに関連付けられた画像の表示時間が２ｓｅｃ以上である場合、カウント条件を満たすと設定することができる。このとき、ある効果ノードに関連付けられた画像の表示時間が０．５ｓｅｃのときは、カウント条件を満たさないので、当該画像については、使用画像としてカウントされない。
第３のカウント条件：ＣＰＵ１０１は、検出した効果ノードに関連付けられた画像の同時表示枚数が所定の枚数以下である場合、カウント条件を満たすと設定することができる。例えば、検出した効果ノードに関連付けられた画像の同時表示枚数が２枚以下である場合を、カウント条件を満たすと設定することができる。このとき、ある効果ノードに関連付けられた画像の同時表示枚数が４枚のときは、カウント条件を満たさないので、当該画像については、使用画像としてカウントされない。
第４のカウント条件：ＣＰＵ１０１は、検出した効果ノードに関連付けられた画像の表示サイズが所定サイズ以上である場合、カウント条件を満たすと設定することができる。例えば、検出した効果ノードに関連付けられた画像の表示サイズが、作成したコンテに基づく全体画像に対して８０％以上の面積を占める場合を、カウント条件を満たすと設定することができる。このとき、ある効果ノードに関連付けられた画像の表示サイズが、全体画像に対して３０％のときは、カウント条件を満たさないので、当該画像については、使用画像としてカウントされない。
【０１００】
ストーリーの演出によっては、ストーリーの中のすべての画像について、じっくり見える効果が設定されているとは限らない。そのため、上記第２〜第４のカウント条件のような条件を設定した方が、ユーザーの意図に適う場合も考えられる。このようにすることにより、ＣＰＵ１０１は、総使用画像数表示エリア２０４に表示する画像枚数として、じっくり表示される効果が設定されている画像の枚数のみを総画像数表示エリア２０４に表示させることができる。
【０１０１】
ステップＳ９０３において、設定された条件を満たす場合、ＣＰＵ１０１は、その効果で使われる画像枚数分だけ総使用画像数を増加させる（Ｓ９０４）。ＣＰＵ１０１は、設定された条件を満たさない場合には、総使用画像数を増加させない。ＣＰＵ１０１は、ストーリー中のすべての効果ノードを検出するまで、ステップＳ９０２からステップＳ９０５までの動作を繰り返す（Ｓ９０５）。すべての効果ノードを検出した時点で、現在のテンプレートおよびＢＧＭの設定における、総使用画像数が決定される（Ｓ９０６）。
【０１０２】
以上の動作により、ＣＰＵ１０１は、総使用画像数算出の処理を終了する。上記のように、本実施形態において総使用画像数表示エリア２０４に表示される数は、実際に使用される画像の枚数とは限らず、目立つ演出効果が指定された効果ノードの表示回数であると言える。言い換えれば、使用する予定の画像の総数の概算値が総使用画像数表示エリア２０４に表示される。なお、上記の総使用画像数算出処理は一例であり、画像数のカウントの方法は上記の方法に限定されない。総使用画像数表示エリア２０４には、実際の画像の総数を表示させてもよい。
【０１０３】
［８．まとめ］
以上説明したように、本実施の形態にかかるＰＣ１００は、複数の画像を使用した一連のコンテを編集するとき、ユーザーによる操作を受け付けて、テンプレートや再生時間を設定変更するのに連動して、編集に使用する予定の画像枚数（設定されたテンプレートや再生時間に対応する画像枚数）を液晶ディスプレイ１０９に表示させるよう動的に制御するＣＰＵ１０１を備える。これにより、ストーリー構成を維持した連続表示用画像群を編集する際に、使い勝手の良いＰＣ１００を提供することができる。
【０１０４】
［９．他の実施の形態］
本発明は、上記実施の形態１に限定されず、他の実施の形態も考えられる。以下、他の実施の形態についてまとめて説明する。図１０は、他の実施の形態における選択画面の例を示す図である。
【０１０５】
上記の実施の形態１においては、総使用画像数表示エリア２０４において、使用される予定の画像枚数のみを表示したが、素材登録枚数表示エリア２０６を設け、現時点で素材選択エリア２００に登録されている画像の枚数（素材登録枚数）をあわせて表示してもよい。例えば、総使用画像数が５７枚であり、素材登録枚数が３８枚である場合を想定する。このとき、ユーザーは、総使用画像数表示エリア２０４および素材登録枚数エリア２０６を参照することにより、素材登録枚数が総使用画像数よりも少ないことを容易に判断することができる。従って、ユーザーは、図５におけるステップＳ５００からステップＳ５０２のいずれの事項を変更すべきかの判断をさらに容易に行うことができる。また、素材選択エリア２００に登録されている各画像に優先度を示す情報が設定される場合、高優先度画像数表示エリア２０７を設け、登録されている画像の枚数のうち、優先度が一定値以上に設定されている画像の枚数をあわせて表示してもよい。優先度が一定値以上に設定されているということは、ユーザーがストーリーに組み込みたいと期待している画像であると考えられる。従って、ユーザーは、総使用画像数表示エリア２０４および高優先度画像数表示エリア２０７を参照することにより、ストーリーへの組み込みを期待する画像の枚数と、総使用画像枚数とを比較することができる。図１０では、高優先度画像数が２９枚の場合の例を示している。これにより、ユーザーは、図５におけるステップＳ５００からステップＳ５０２のいずれの事項を変更すべきかの判断をさらに容易に行うことができる。
【０１０６】
上記の実施の形態１においては、総使用画像数算出のたびに図９におけるステップＳ９００からＳ９０９までを実施する場合を説明したが、本発明はこのような構成に限定されない。ＣＰＵ１０１は、再生時間およびテンプレート設定の各組み合わせにおける総使用画像数を、予めステップＳ９００からＳ９０９までを実施することによって算出し、ワークメモリ１０３などの記憶装置に保存しておいてもよい。例えば、「人物中心スローテンポ」のテンプレート、「人物中心アップテンポ」のテンプレート、「風景中心スローテンポ」のテンプレート、「風景中心アップテンポ」のテンプレートのそれぞれについて、再生時間が５ｓｅｃずつ増加した場合のそれぞれの組合せ時における総使用画像数を予め算出しておき、その算出結果を保存しておいてもよい。このとき、ＣＰＵ１０１は、ステップＳ７０１およびＳ８０１において、総使用画像数算出の際には、予め保存しておいた値を参照するようにしてもよい。これによってテンプレート変更時、ＢＧＭ変更時の総使用画像数の算出にかかる時間を削減し、ユーザーインターフェース（ＵＩ）画面の軽快な反応が可能になる。テンプレートにデフォルトＢＧＭを用意している場合は特にデフォルトＢＧＭが用いられる場合における総使用画像数を計算しておくとよい。
【０１０７】
また、図１０に示すように、希望画像数表示エリア２７０を設け、ユーザーがストーリーに組み込みたい画像の枚数を指定できるようにしてもよい。希望画像数表示エリア２７０に希望画像数が指定されているとき、ＣＰＵ１０１は、現在設定されているテンプレートや、再生時間に基づいて、総使用画像枚数を算出する。続いて、ＣＰＵ１０１は、現在設定されているテンプレートや、再生時間をどのように変更すれば、ユーザーが指定する画像枚数に総使用画像枚数が近づくかを判断する。例えば、現在、スローテンポのテンプレートが設定されており、ユーザーが指定する画像枚数が、総使用画像枚数よりも多い場合は、アップテンポのテンプレートへと変更を提案する旨の情報（提案情報）を液晶ディスプレイ１０９に表示させてもよい。或いは、現在、ユーザーが指定する画像枚数が、総使用画像枚数よりも多い場合は、より長い再生時間へと変更を提案する旨の情報を液晶ディスプレイ１０９に表示させるようにしてもよい。或いは、ＣＰＵ１０１は、予め保存しておいた再生時間とテンプレート設定との各組み合わせにおける総使用画像数の関係を規定する表に基づいて、現在設定されている再生時間からどれだけの時間をシフトさせれば、ユーザーが指定する画像枚数を満たすことができるかを決定し、決定した再生時間を液晶ディスプレイ１０９に表示するように構成してもよい。これにより、ユーザーは、ストーリーに組み込みたいと所望する画像枚数を満たすための、編集条件の変更判断を容易にすることができる。
【０１０８】
また、図１０に示すように、ＢＧＭ選択エリア２０２の代わりに、総再生時間設定エリア２６０を設けてもよい。これにより、ユーザーがムービーの総再生時間を直接設定することができる。この場合、選択したテンプレートにデフォルトで設定されたＢＧＭが採用されるように構成してもよいし、他の画面でＢＧＭを別途設定できるように構成してもよい。この例では、ユーザーによって直接設定された総再生時間２６０は、ＢＧＭが変わっても一定の長さとなる。ＣＰＵ１０１は、設定された総再生時間およびテンプレートの組み合わせに基づいて、総画像数の計算およびムービーの生成を行う。
【０１０９】
なお、登録された画像が多すぎて画像選択エリア２０５に表示しきれない場合、スクロールバー２５０をスクロールすることによって残りの画像を表示できるように構成してもよい。同様に、用意されたテンプレートの種類が多すぎてテンプレート選択エリア２５０に表示しきれない場合、スクロールバー２５１をスクロールすることによって残りのテンプレートを表示できるように構成してもよい。スクロールバー２５０、２５１の代わりに、切替ボタンによって残りの画像等を表示できるように構成されていてもよい。
【０１１０】
上記の実施の形態では、素材選択エリア２００、テンプレート選択エリア２０１、ＢＧＭ選択エリア２０２、および総使用画像数表示エリア２０４が１つの画面（ウインドウ）内に表示される例を示したが、本発明はこのような例に限定されない。各エリアは、同一の画面ではなく、分割された別ウインドウ内に表示されてもよい。ただし、ユーザーの利便性を考慮すれば、各エリアは一度に視認できるように、互いに重なることなく表示されることが好ましい。また、各エリアを同一ウインドウ内に表示する場合であっても、図２または図１０に示す画面デザインとは異なる任意の画面デザインを採用してよい。
【０１１１】
また、実施の形態１では、画像処理装置としてＰＣ１００を想定したが、プロセッサを有する任意の電子機器に上記の各処理を規定したプログラムを実行させることにより、同様の機能を実現することができる。そのようなプログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの任意の記録媒体に記録され、または、電気通信回線を通じて流通され得る。例えば、データセンターなどに配置されたサーバーに当該プログラムを実行させれば、所謂クラウドコンピューティングの形態で、遠隔地のユーザーにサービスを提供することもできる。また、上記の処理を実行するように構成されたビデオカメラをテレビに接続して表示させる形態も可能である。
【０１１２】
実施の形態１では、予め用意された複数のテンプレートから所望のテンプレートをユーザーに選択させることによって各画像の演出効果が設定されるが、本発明はこのような形態に限られない。例えば、設定したＢＧＭの音の強弱や高低を識別し、曲の盛り上がりに合ったテンポや演出で画像を表示させるような演出効果が設定されてもよい。また、表示される画像が動画の場合、動画自体の音声をＢＧＭの代わりに用いるように構成されていてもよい。
【産業上の利用可能性】
【０１１３】
本発明は、画像の編集操作が可能であれば、パーソナルコンピュータ、携帯電話、ビデオカメラ等の任意の電子機器に適用可能である。また、同様の機能を実行可能なプログラムをＣＤやＤＶＤ等の記録メディアに記録して流通させることも可能である。
【符号の説明】
【０１１４】
１０ 画像編集装置
１１ 入力インターフェース
１２ 表示制御部
１３ 画像群生成部
２０ 入力装置
３０ 表示装置
４０ 画面
４１ 第１の設定領域
４２ 第２の設定領域
４３ 第３の設定領域
４４ 画像数情報
１００ ＰＣ
１０１ ＣＰＵ
１０２ システム管理メモリ
１０３ ワークメモリ
１０４ ＨＤＤ
１０５ マウス
１０６ キーボード
１０７ ＵＳＢコネクタ
１０８ グラフィックコントローラ
１０９ 液晶ディスプレイ
２００ 素材選択エリア
２０１ テンプレート選択エリア
２０２ ＢＧＭ選択エリア
２０３ 完了ボタン
２０４ 総使用画像数表示エリア
２０６ 素材登録枚数表示エリア
２０７ 高優先度画像数表示エリア
２１１ テンプレート名
２１２ デフォルトＢＧＭ再生時間
２２１ ユーザー指定チェックボックス
２２２ 登録ボタン
２２３ 視聴プレーヤー
２２４ 視聴ボタン
２５０、２５１ スクロールバー
２６０ 総再生時間設定エリア
２７０ 希望画像数設定エリア
４００ ストーリー情報表示エリア
４０１ プレビューエリア
４０２ ストーリーボードエリア
４０３ コンテ保存ボタン
４０４ ファイル出力ボタン
【技術分野】
【０００１】
本発明は、複数の画像を組み合わせてフォトムービーを生成する画像編集技術に関する。
【背景技術】
【０００２】
複数の静止画像および動画像といった素材を編集してフォトムービーを生成する電子機器やプログラムが知られている。例えば、特許文献１は、複数の静止画を組み合わせてフォトムービーを生成するフォトムービー作成装置を開示している。特許文献１に開示されたフォトムービー作成装置は、素材として使用する静止画の総数を変えずにフォトムービーの総再生時間を指定どおりに調整することができる。この装置では、ムービーの総再生時間をユーザーに指定された総再生時間に変更する場合、複数の静止画を使用するエフェクトが指定されたシーンから、特定の静止画が他のシーンに移動し、シーンの追加または削除が行われる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１５７１９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載されたフォトムービー作成装置は、ユーザーが再生時間を変更した場合でも画像の総数を変えずに編集するため、ユーザーが意図したストーリー構成が崩れてしまうことがある。例えば、フォトムービーとともに再生されるＢＧＭがスローテンポであるにもかかわらず、画像が高速に切り替わるフォトムービーが生成されることがある。逆に、ＢＧＭがアップアップテンポであるにもかかわらず、画像がゆっくり切り替わるフォトムービーが生成されることがある。そのようなフォトムービーは、ユーザーが意図したストーリー構成から外れ、視聴者に違和感を感じさせる。
【０００５】
また、フォトムービーのような連続表示するための画像群を構成するとき、表示エフェクト（各画像の切り替え効果）の順番は連続表示される画像群のストーリー構成に係ってくる。しかしながら、特許文献１に記載のフォトムービー作成装置は、ある表示エフェクトを担当する１シーンを追加または削除するので、当初予定していたストーリー構成が崩れてしまうことがある。
【０００６】
本発明の実施形態は、上記課題を鑑み、ストーリー構成を維持した連続表示用画像群を編集する際に、使い勝手の良い画像編集装置を提供する。
【課題を解決するための手段】
【０００７】
本発明の実施形態による画像編集装置は、複数の画像を用いて一連の画像群を生成する画像編集装置であって、前記一連の画像群に関する情報を表示装置に表示させるための映像信号を出力する表示制御部と、ユーザーから、前記一連の画像群に使用される候補となる複数の候補画像、前記一連の画像群の総再生時間、および前記一連の画像群に使用される各画像の演出効果に関する設定情報を受け付ける入力インターフェースと、前記複数の候補画像から選択した複数の画像を用いて前記一連の画像群を生成する画像群生成部とを備えている。前記総再生時間および前記演出効果が設定されたとき、または前記総再生時間および前記演出効果の少なくとも一方が変更されたとき、前記画像群生成部は、前記総再生時間および前記演出効果に基づいて、前記一連の画像群に使用する予定の画像の総数または前記総数の概算値を決定し、前記表示制御部は、前記使用する予定の画像の総数または前記総数の概算値を示す画像数情報を、前記表示装置に表示させる。
【０００８】
ある実施形態において、前記表示制御部は、前記複数の候補画像が設定される第１の設定領域、前記一連の画像群の総再生時間が設定される第２の設定領域、および前記一連の画像群に使用される各画像の演出効果が設定される第３の設定領域の各画像を、前記表示装置に表示させる、請求項１に記載の画像編集装置。
【０００９】
ある実施形態において、前記表示制御部は、前記画像数情報を、前記第２の設定領域および前記第３の設定領域の各画像とともに前記表示装置に表示させる。
【００１０】
ある実施形態において、前記一連の画像群の総再生時間は、前記一連の画像群とともに再生される背景音楽が指定されることによって決定される。
【００１１】
ある実施形態において、前記演出効果は、予め用意された複数のテンプレート情報の中から選択されることによって決定される。
【００１２】
ある実施形態において、前記複数のテンプレート情報は、各画像の切り替え効果および再生時間が規定された情報である。
【００１３】
ある実施形態において、前記表示制御部は、前記第１から第３の設定領域および前記画像数情報を同一画面内に表示させる。
【００１４】
ある実施形態において、前記表示制御部は、さらに、前記一連の画像群に使用することを希望する画像の数をユーザーに設定させるための第４の設定領域を前記第１から第３の設定領域とともに前記表示装置に表示させ、設定された前記希望する画像の数に前記一連の画像群に使用される予定の画像の数を合わせるための提案情報を前記表示装置に表示させる。
【００１５】
本発明の実施形態による画像処理方法は、複数の画像を用いて一連の画像群を生成するための画像編集方法であって、前記一連の画像群に関する情報を表示装置に表示させるための映像信号を出力するステップＡと、ユーザーから、前記一連の画像群に使用される候補となる複数の候補画像、前記一連の画像群の総再生時間、および前記一連の画像群に使用される各画像の演出効果に関する設定情報を受け付けるステップＢと、前記複数の候補画像から選択した複数の画像を用いて前記一連の画像群を生成するステップＣと、前記総再生時間および前記演出効果が設定されたとき、または前記総再生時間および前記演出効果の少なくとも一方が変更されたとき、前記総再生時間および前記演出効果に基づいて、前記一連の画像群に使用する予定の画像の総数または前記総数の概算値を決定し、前記使用する予定の画像の総数または前記総数の概算値を示す画像数情報を、前記表示装置に表示させるステップＤと、を含む。
【００１６】
ある実施形態において、前記ステップＡは、前記複数の候補画像が設定される第１の設定領域、前記一連の画像群の総再生時間が設定される第２の設定領域、および前記一連の画像群に使用される各画像の演出効果が設定される第３の設定領域の各画像を、前記表示装置に表示させるステップを含む。
【００１７】
ある実施形態において、前記ステップＤは、前記画像数情報を、前記第２の設定領域および前記第３の設定領域の各画像とともに前記表示装置に表示させるステップを含む。
【００１８】
本発明の実施形態による画像処理プログラムは、複数の画像を用いて一連の画像群を生成するための画像編集プログラムであって、コンピュータに対し、前記一連の画像群に関する情報を表示装置に表示させるための映像信号を出力するステップＡと、ユーザーから、前記一連の画像群に使用される候補となる複数の候補画像、前記一連の画像群の総再生時間、および前記一連の画像群に使用される各画像の演出効果に関する設定情報を受け付けるステップＢと、前記複数の候補画像から選択した複数の画像を用いて前記一連の画像群を生成するステップＣと、前記総再生時間および前記演出効果が設定されたとき、または前記総再生時間および前記演出効果の少なくとも一方が変更されたとき、前記総再生時間および前記演出効果に基づいて、前記一連の画像群に使用する予定の画像の総数または前記総数の概算値を決定し、前記使用する予定の画像の総数または前記総数の概算値を示す画像数情報を、前記表示装置に表示させるステップＤと、を実行させる。
【００１９】
ある実施形態において、前記ステップＡは、前記複数の候補画像が設定される第１の設定領域、前記一連の画像群の総再生時間が設定される第２の設定領域、および前記一連の画像群に使用される各画像の演出効果が設定される第３の設定領域の各画像を、前記表示装置に表示させるステップを含む。
【００２０】
ある実施形態において、前記ステップＤは、前記画像数情報を、前記第２の設定領域および前記第３の設定領域の各画像とともに前記表示装置に表示させるステップを含む。
【発明の効果】
【００２１】
本発明の実施形態によれば、ストーリー構成を維持したフォトムービーを編集する際に、使い勝手の良い画像編集装置を提供することができる。
【図面の簡単な説明】
【００２２】
【図１Ａ】本発明の実施の形態にかかる画像編集装置の基本構成を示すブロック図である。
【図１Ｂ】本発明の実施の形態にかかる表示装置に表示される画面の概略構成の例を示す図である。
【図１Ｃ】実施の形態１にかかるＰＣの構成を示すブロック図である。
【図２】実施の形態１にかかる液晶ディスプレイに表示される選択画面の例を示す図である。
【図３】実施の形態１にかかる液晶ディスプレイのプレビュー画面の例を示す図である。
【図４】実施の形態１にかかるテンプレートの階層構造を説明するための図である。
【図５】実施の形態１にかかる画像編集動作の概要を示すフローチャートである。
【図６】実施の形態１にかかるストーリー作成処理の詳細を示すフローチャートである。
【図７】実施の形態１にかかるテンプレート選択処理の詳細を示すフローチャートである。
【図８】実施の形態１にかかるＢＧＭ変更処理の詳細を示すフローチャートである。
【図９】実施の形態１にかかる総使用画像数算出処理の詳細を示すフローチャートである。
【図１０】他の実施の形態に係る選択画面の例を示す図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施形態を説明する。具体的な実施形態を説明する前に、まず、本発明の実施形態における基本構成を説明する。
【００２４】
図１Ａは、本発明の実施形態による画像編集装置の基本構成を示すブロック図である。画像編集装置１０は、外部の入力装置２０および表示装置３０に電気的に接続されて利用され得る。ここで、「電気的に接続される」場合には、銅線や光ファイバのようなケーブルで物理的に接続される場合のみならず、電磁波を介して情報が伝送される場合を含む。画像編集装置１０は、典型的にはパーソナルコンピュータ（以下、「ＰＣ」）や携帯情報端末といったプロセッサを備えた電子機器である。画像編集装置１０は、データセンター等に設置されたサーバーであってもよい。その場合、入力装置２０および表示装置３０は、遠隔地のユーザーが操作する電子機器に内蔵または接続された入出力デバイスであり得る。
【００２５】
画像編集装置１０は、複数の画像を用いて一連の画像群を生成する機能を備えている。ここで、「一連の画像群」とは、所定の演出効果を伴って連続的に表示される複数の画像によって構成される動画を意味する。典型的な実施形態では、一連の画像群を構成する各画像は、個別の静止画ファイルまたは動画ファイルとして用意される。「演出効果」とは、各画像を表示する際に施される装飾的効果であり、例えば、横からスライドしながら画面に挿入されたり、拡大・縮小しながら画面に表示される、といった効果があり得る。「画像」には、静止画像および動画像が含まれる。生成される一連の画像群に動画が含まれる場合、当該動画に割り当てられた再生時間の間だけ当該動画が再生される。すなわち、割り当てられた再生時間に比べて当該動画の総再生時間が短い場合、当該動画の一部分のみが再生され得る。各画像が、単独の写真、または複数の写真からなる動画である場合、一連の画像群は、「フォトムービー」と呼ぶことができる。
【００２６】
画像編集装置１０は、入力装置２０を介してユーザーからの操作を受け付ける入力インターフェース１１と、入力された情報に基づいて一連の画像群を生成する画像群生成部１３と、表示装置３０への表示を制御する表示制御部１２とを備えている。以下、各要素の構成を説明する。
【００２７】
入力インターフェース１１は、入力装置２０から入力される情報を受け付けるデバイスであり、例えば、ＵＳＢポート、通信ポートであり得る。入力インターフェース１１に入力された情報は画像群生成部１３および表示制御部１２に転送される。あるいは、不図示のメモリに記録されてもよい。
【００２８】
表示制御部１２は、生成する一連の画像群に関する情報を表示装置３０に表示させるための映像信号を出力する。ある実施形態では、当該映像信号は、一連の画像群に使用される候補となる複数の候補画像が設定される第１の設定領域と、当該画像群の総再生時間が設定される第２の設定領域と、当該画像群に使用される各画像の演出効果が設定される第３の設定領域とを示す各画像を表示装置３０に表示させるための信号を含む。このような構成により、ユーザーが候補画像、総再生時間、および使用される各画像の演出効果を設定することが可能である。
【００２９】
画像群生成部１３は、ユーザーによって設定された総再生時間および演出効果に関する情報に基づいて、設定された複数の候補画像から選択した複数の画像を用いて一連の画像群を生成する。生成した一連の画像群は、例えば、不図示のメモリに保存され、表示装置３０に表示され得る。
【００３０】
図１Ｂは、ある実施形態において、表示制御部１２によって表示装置３０の画面４０に表示される映像の概要を示す図である。なお、図１Ｂに示す画面４０のレイアウトは一例であり、このような例に限定されるものではない。画面４０には、第１の設定領域４１と、第２の設定領域４２と、第３の設定領域４３とが表示される。図１Ｂに示す例では、各設定領域は同一ウインドウ内に表示されているが、これらは互いに個別のウインドウで表示されてもよい。また、第１の設定領域４１、第２の設定領域４２、第３の設定領域４３は、同一画面内に表示されていなくてもよい。ただし、ユーザーの利便性を考慮すれば、第１の設定領域４１、第２の設定領域４２、第３の設定領域４３は、同一の画面に表示されることが好ましい。ユーザーは、画面４０に表示された第１の設定領域４１、第２の設定領域４２、および第３の設定領域４３において、一連の画像群を作成するための各種設定を行うことができる。
【００３１】
第１の設定領域４１では、一連の画像群を生成するための候補となる複数の候補画像が設定される。第２の設定領域４２では、一連の画像群の総再生時間が設定される。なお、総再生時間の設定に関しては、ユーザーが直接的に時間を設定する構成のみならず、例えば一連の画像群とともに再生される背景音楽（ＢＧＭ）を設定することによって間接的にそのＢＧＭの再生時間を総再生時間として設定する構成であってもよい。第３の設定領域４３では、一連の画像群に使用される各画像の演出効果が設定される。各画像の演出効果は、例えば各画像の再生時間や切り替え効果などである。後述するように、各種の演出効果が予め規定された複数のテンプレートの中から任意のテンプレートをユーザーが選択することによって演出効果が設定されるように構成されていてもよい。
【００３２】
本発明の実施形態では、総再生時間および演出効果が設定されたとき、または総再生時間および演出効果の少なくとも一方が変更されたとき、画像群生成部１３は、設定または変更された総再生時間および演出効果を示す情報に基づいて、使用する予定の画像の総数または当該総数の概算値を決定する。そして、表示制御部１２は、使用する予定の画像の総数または当該総数の概算値を示す情報（画像数情報）４４を、表示装置３０に表示させる。これによりユーザーは、総再生時間および演出効果の少なくとも一方を変更した際に、使用される画像数を直ちに把握できるため、候補画像数、演出効果、総再生時間を変更すべきか否かの判断を容易に行うことができる。
【００３３】
なお、図１Ｂに示す例では、画像数情報４４を、第１から第３の設定領域４１〜４３とともに表示しているが、本発明はこのような例に限られるものではない。画像処理装置１０は、ユーザーによる設定情報の入力に応じて画像数情報４４を表示装置３０に単独で表示するように構成されていてもよい。また、画像数情報４４を、第２の設定領域４２および第３の設定領域４３とともに表示し、第１の設定領域４１については、例えば画面４０に遷移する前の画面に表示してもよい。画像数情報４４が、第２の設定領域４２および第３の設定領域４３とともに表示されていれば、ユーザーは画像数情報４４を参考に、総再生時間または演出効果の変更操作を直ちに実行できるため、利便性が高い。
【００３４】
以下、本発明による好ましい実施の形態を説明する。
【００３５】
〔実施の形態１〕
まず、本発明の実施の形態１による画像編集装置を説明する。本実施の形態では、パーソナルコンピュータ（ＰＣ）が画像編集装置として機能する。
【００３６】
図１Ｃは、ＰＣ１００のシステムの全体構成を示すブロック図である。実施の形態１に係るＰＣ１００は、連続表示する画像群について、従来技術に比べ、ストーリー構成をより重視して編集することができる。本実施の形態では、連続表示する画像群の一例として、フォトムービー（以下、単に「ムービー」と呼ぶ。）を作成する場合を説明する。ムービーの作成において、ユーザーは、デフォルトで用意されたＢＧＭや、ユーザーが任意に登録したＢＧＭをムービーと同時に再生するＢＧＭとして採用することができる。本実施の形態に係るムービー作成では、予め用意された複数のテンプレートの中からユーザーが選択したテンプレート、および設定したＢＧＭに従って、入力された複数の画像を連続して配置することによりストーリーとコンテが作成される。ここで、「テンプレート」とは、連続して配置される各画像の表示時間と、画像間の切り替え効果の繰り返しパターンとを記述した雛形情報である。「ストーリー」とは、テンプレートに記述された繰り返しパターンの回数を、ＢＧＭの長さに合うように調整したものであり、全体の切り替え効果の順序を表す情報である。「コンテ」とは、ストーリーの各切り替え効果に入力画像を割り当てた情報である。ＰＣ１００は、このコンテを元に所定のエンコード処理をすることによってコンテを動画ファイルに変換して出力することができる。
【００３７】
以下、システムの構成および動作をより詳細に説明する。
【００３８】
［１．システムの構成］
まず、ＰＣ１００のシステムの構成について図１Ｃを用いて説明する。図１Ｃは、ＰＣ１００の全体構成を示す。ＰＣ１００は、中央演算処理装置（ＣＰＵ）１０１、システム管理メモリ１０２、ワークメモリ１０３、ハードディスクドライブ（ＨＤＤ）１０４、マウス１０５、キーボード１０６、ＵＳＢコネクタ１０７、グラフィックコントローラ１０８、液晶ディスプレイ１０９を備えている。ＰＣ１００は、図示される要素以外の要素を含み得るが、本発明の本質には関係しないため、それらの要素の図示は省略している。本実施形態では、ＰＣ１００として、液晶ディスプレイ１０９を備えたノートＰＣを想定しているが、デスクトップＰＣであってもよい。本実施の形態では、ＣＰＵ１０１が図１Ａに示す画像群生成部１３の機能を有し、グラフィックコントローラ１０８が図１Ａに示す表示制御部１２の機能を有し、ＵＳＢコネクタ１０７が図１Ａに示す入力インターフェース１１の機能を有している。
【００３９】
ＣＰＵ１０１は、ＰＣ１００の処理を実行する処理部である。ＣＰＵ１０１は、システム管理メモリ１０２、ワークメモリ１０３、ＨＤＤ１０４、グラフィックコントローラ１０８、ＵＳＢコネクタ１０７に電気的に接続されている。ＣＰＵ１０１は、グラフィックコントローラ１０８を介して、液晶ディスプレイ１０９に表示される画面を変更することができる。また、ＣＰＵ１０１は、ＵＳＢコネクタ１０７を介して、マウス１０５やキーボード１０６を用いたユーザーによる操作情報を受け付ける。また、図示していないが、ＰＣ１００の各部に供給される電力等のシステムを全体的に制御している。
【００４０】
システム管理メモリ１０２は、オペレーティングシステム（ＯＳ）などが保持されているメモリである。また、システム管理メモリ１０２には、システム時刻などが格納されている。システム時刻は、ＣＰＵ１０１がＯＳのプログラムを動作させることにより更新される。
【００４１】
ワークメモリ１０３は、ＣＰＵ１０１が各種の処理を実行するために必要な情報を一時的に格納するメモリである。ＣＰＵ１０１は、画像を連続して配置して一連の連続表示画像群によるコンテを作成するとき、ユーザーが選択したテンプレートに従って作成する。ワークメモリ１０３には、ＣＰＵ１０１により、選択されたテンプレートの情報、および作成中のストーリーやコンテの情報等が格納される。テンプレート情報の詳細については、後述する。
【００４２】
マウス１０５は、ユーザーが編集操作時に使用するポインティングデバイスである。ユーザーは、マウス１０５を操作することにより、画像編集ソフトの画面上において、画像データや音楽データ、テンプレートを選択することができる。
【００４３】
キーボード１０６は、ユーザーが編集操作時に文字入力などを行うためのキーボードデバイスである。
【００４４】
ＵＳＢコネクタ１０７は、マウス１０５とキーボード１０６とをＰＣ１００に接続するためのコネクタである。
【００４５】
グラフィックコントローラ１０８は、ＣＰＵ１０１によって演算された画面情報を映像化するデバイスであり、画面情報を液晶ディスプレイ１０９に伝える。
【００４６】
液晶ディスプレイ１０９は、グラフィックコントローラ１０８が映像化した画面情報を表示する表示デバイスである。なお、液晶ディスプレイ１０９に限らず、外付けディスプレイに当該画面情報を表示してもよい。
【００４７】
ＣＰＵ１０１は、画像編集ソフトをＨＤＤ１０４から読み出し、ワークメモリ１０３に格納して、画像編集ソフトを起動し実行する。また、ＣＰＵ１０１は、画像編集ソフトのプログラムに従って、以下の処理を実行する。
（１）マウス１０５、キーボード１０６を用いて行われたユーザーの選択操作、編集操作を、ＵＳＢコネクタ１０７を介して受け付ける。
（２）作成するストーリーについて、ユーザーが選択または登録した音楽データの再生時間を読み出す。
（３）ユーザーが選択したテンプレートの記述内容を読み出す。
（４）テンプレートにより定義されたストーリーの再生時間と、使用する音楽データの再生時間との比較結果に基づいて、ストーリーに入力画像を関連付けることによってコンテを作成する。
（５）液晶ディスプレイ１０９に表示させるために、作成したコンテの画像情報をグラフィックコントローラ１０８に送出する。
【００４８】
［２．選択画面の構成］
続いて、液晶ディスプレイ１０９が表示する選択画面の構成について図２を用いて説明する。図２は、液晶ディスプレイ１０９に表示される選択画面の例を示す図である。
【００４９】
図２に示すように、液晶ディスプレイ１０９に表示される選択画面は、候補となる画像ファイルを表示する素材選択エリア２００、選択可能なテンプレートを表示するテンプレート選択エリア２０１、ＢＧＭを選択するためのＢＧＭ選択エリア２０２、設定を完了するための完了ボタン２０３、および現段階の設定で使用される画像数を表示する総使用画像数表示エリア２０４を含む。
【００５０】
総使用画像数表示エリア２０４は、現在の設定で完了ボタン２０３を押下したときに作成されるストーリーにおいて、使用される予定の画像枚数を表示するエリアである。画像枚数の算出方法についての詳細は後述する。
【００５１】
素材選択エリア２００は、ストーリーを作成するための素材となる画像データを表示するエリアである。素材となる画像データには、静止画像データや動画像データがある。図２に示すように、素材選択エリア２００には、複数の画像データが表示される。素材選択エリア２００に表示される画像データは、ＨＤＤ１０４に格納された画像データの全てでもよいし、特定のフォルダに格納された画像データのみを選択的に抽出したものでもよい。または、特定のフォルダに格納された画像データの中から、更にユーザーにより選別された画像データを抽出したものでもよい。素材選択エリア２００に表示された画像データは、コンテ作成時に組み入れられる画像の候補となる。なお、素材選択エリア２００に表示された画像データについて、ストーリーに組み入れたい画像データとしての優先度をユーザーが設定できるようにしてもよい。この場合、素材選択エリア２００に表示されたすべての画像を採用できない場合（再生時間が短い場合など）に、優先度が高く設定された画像データを優先的に採用することができる。これにより、ユーザーが所望する画像を採用したコンテ（または、所定のフォーマットに従った動画ファイル）を作成することができる。
【００５２】
テンプレート選択エリア２０１は、ユーザーが選択可能なテンプレートを表示するエリアである。ユーザーが選択可能なテンプレートとして、例えば図２に示すように、「人物中心のスローテンポテンプレート」、「人物中心のアップテンポテンプレート」、「風景中心のスローテンポテンプレート」、「風景中心のアップテンポテンプレート」等が表示される。「人物中心のスローテンポテンプレート」は、人物が撮像された画像を中心に抽出し、スローテンポなＢＧＭに合った画像切り替え効果を用いて構成されたストーリーを記述したテンプレートである。同様に、「人物中心のアップテンポテンプレート」は、人物が撮像された画像を中心に抽出し、アップテンポなＢＧＭに合った画像切り替え効果を用いて構成されたストーリーを記述したテンプレートである。「風景中心のスローテンポテンプレート」は、風景が撮像された画像を中心に抽出し、スローテンポなＢＧＭに合った画像切り替え効果を用いて構成されたストーリーを記述したテンプレートである。「風景中心のアップテンポテンプレート」は、風景が撮像された画像を中心に抽出し、アップテンポなＢＧＭに合った画像切り替え効果を用いて構成されたストーリーを記述したテンプレートである。図２に示されているテンプレートは一例であり、上記以外のテンプレートが用意されていてもよい。
【００５３】
テンプレート選択エリア２０１の各テンプレート表示領域には、テンプレートのイメージを表す画像２１０、テンプレート名２１１、および当該テンプレートにデフォルトで設定されたＢＧＭの再生時間２１２が表示される。ユーザーはマウス１０５を操作することにより、複数種類のテンプレートの中から希望するテンプレートを選択することができる。ユーザーがテンプレートを変更することにより、作成するストーリーの雰囲気を変更することができる。ＣＰＵ１０１は、ユーザーによりテンプレートが変更されると、総使用画像数表示エリア２０４における画像枚数の表示を更新する。
【００５４】
ＢＧＭ選択エリア２０２は、ストーリーに使用するＢＧＭをユーザーが任意に指定するためのエリアである。ＢＧＭ選択エリア２０２は、ユーザー指定チェックボックス２２１、登録ボタン２２２、試聴プレーヤー２２３を含む。ユーザーは、マウス１０５を操作することにより、ユーザー指定チェックボックス２２１の有効／無効を切り替えることができる。ユーザー指定チェックボックス２２１を無効にしたときは、ＣＰＵ１０１は、テンプレートに設定されたデフォルトのＢＧＭを、ストーリー作成に使用する。ユーザー指定チェックボックス２２１を有効にした場合は、ユーザーが指定したＢＧＭをストーリー作成に使用する。ここで使用することが決定されたＢＧＭの再生時間が、作成予定のストーリーの再生時間となる。
【００５５】
また、ユーザーは、マウス１０５を操作して、登録ボタン２２２を押下することにより、ストーリー作成に使用するＢＧＭの登録を行うことができる。ユーザーが登録ボタン２２２を押下すると、ＣＰＵ１０１は、音楽データを格納したフォルダの内容を液晶ディスプレイ１０９に表示する。ユーザーは、表示されたフォルダの内容を見ながら、所望の音楽データをマウス操作等により選択する。これにより、ユーザーは、ストーリー作成に使用するＢＧＭの登録をすることができる。また、ユーザーは、マウス１０５を操作して、視聴プレーヤー２２３における試聴ボタン２２４を押下することにより、選択したＢＧＭの試聴を実行することができる。ＣＰＵ１０１は、ユーザーによりＢＧＭが変更されると、総使用画像数表示エリア２０４における画像枚数の表示を更新する。
【００５６】
総使用画像数表示エリア２０４に表示される画像枚数は、テンプレート選択エリア２０１において選択されたテンプレートと、ＢＧＭ選択エリア２０２において選択されたＢＧＭに基づいて算出される。総使用画像数表示エリア２０４に表示された画像枚数を参照することにより、ユーザーは、テンプレート選択エリア２０１におけるテンプレート変更の判断を容易に行うことができる。また、総使用画像数表示エリア２０４に表示された画像枚数を参照することにより、ユーザーは、ＢＧＭ選択エリア２０２におけるＢＧＭ変更（再生時間の変更）や、素材選択エリア２００への画像の追加または削除などの判断を容易に行うことができる。
【００５７】
完了ボタン２０３は、ストーリー作成のための素材画像、テンプレート、およびＢＧＭの選択を完了させるためのボタンである。ユーザーは、マウス１０５を操作して、完了ボタン２０３を押下することにより、選択を完了することができる。ストーリー作成のための選択が完了すると、素材選択エリア２００において選択された画像データ、テンプレート選択エリア２０１において選択されたテンプレート、ＢＧＭ選択エリア２０２において指定されたＢＧＭ情報に基づいてストーリーが生成される。そして、ＣＰＵ１０１は、生成されたストーリーに画像を関連付けることによってコンテを作成する。
【００５８】
［３．確認画面の構成］
続いて、液晶ディスプレイ１０９が表示する確認画面の構成について図３を用いて説明する。図３は、液晶ディスプレイ１０９の確認画面のイメージを示す図である。図２に示す完了ボタン２０３を押下すると、図３に示す確認画面に遷移する。
【００５９】
図３に示すように、液晶ディスプレイ１０９に表示される確認画面は、ストーリー情報表示エリア４００、プレビューエリア４０１、ストーリーボードエリア４０２、コンテ保存ボタン４０３、ファイル出力ボタン４０４を含む。
【００６０】
ストーリー情報表示エリア４００は、選択画面でユーザーが選択した内容に関する情報を表示するエリアである。表示する情報には、選択された素材の個数、選択されたテンプレート名、選択されたＢＧＭの再生時間が含まれる。ここで、選択された素材の個数とは、ストーリーに組み入れる候補となっている静止画の個数および動画の個数である。図示してはいないが、実際に採用された静止画および動画の個数を合わせて表示するようにしてもよい。これにより、ユーザーは、候補画像数のうち、どれだけの画像が採用されたかを確認することができる。
【００６１】
プレビューエリア４０１は、作成したコンテの再生を実行する画面である。ユーザーは作成したコンテの内容を実際に映像で確認することができる。
【００６２】
ストーリーボードエリア４０２は、作成したムービーに用いられる画像を表示するエリアである。ストーリーボードエリア４０２には、複数の長方形（ａ、ｂ、・・・）が配列されており、それらの配列順序は、ストーリー上の表示の順序に対応する。それぞれの長方形には、素材選択エリア２００に表示されていた画像から抽出した画像のいずれかが表示されている。また、図示されてはいないが、画像と画像との間の切り替え効果を示すアイコンを併せて表示してもよい。あるいは、各長方形に対応する画像の再生時間を合わせて表示してもよい。これにより、ユーザーはストーリー上に、どの素材が、どのような順序で、どのような効果で、どのような再生時間で配置されているかを確認することができる。
【００６３】
コンテ保存ボタン４０３は、マウス１０５の操作により選択することができる。ユーザーは、コンテ保存ボタン４０３を押下することにより、どの素材が、どのような順序で、どのような切り替え効果で、どのような再生時間で配置されるかを管理したコンテ情報を、ＨＤＤ１０４に保存することができる。なお、図示していないが、例えば図２に示される選択画面のような上の階層の画面において、コンテ読出しボタンを設けておき、以前に保存したコンテ情報を読み出せるように構成してもよい。
【００６４】
ファイル出力ボタン４０４は、マウス１０５の操作により選択することができる。ユーザーは、ファイル出力ボタン４０４を押下することにより、作成されたコンテ情報に基づいて動画ファイルを作成することができる。このとき作成される動画ファイルの出力形式は、予め使用者が選択できるようにしておいてもよい。例えば、使用者がＡＶＣＨＤ（登録商標）ファイル形式を選択している場合は、ＡＶＣＨＤファイル形式の動画ファイルを作成する。
【００６５】
［４．テンプレートの構成情報］
続いて、テンプレートの持つ情報について説明する。図４は、本実施の形態にかかるテンプレートの階層構造を説明するための図である。
【００６６】
テンプレートはストーリーを作成する際に、どのような切り替え効果を、どのような順番にて連続して並べるかを記載した情報である。順番が記載された切り替え効果のそれぞれについて、どれだけの再生時間を割り当てるかが記述されている。ＣＰＵ１０１は、テンプレートに規定された切り替え効果の順番に従って、選択した素材を連続して配置する。
【００６７】
ここで、「切り替え効果」とは、ある画像から次の画像に切り替わる際の演出効果を意味する。切り替え効果には、例えばフェイドイン、クロスフェード、スライドイン、回転といった複数種類のパターンがある。本実施形態では、テンプレートごとに固有の切り替え効果のパターンがそれぞれの再生時間とともに予め設定されている。本実施形態におけるテンプレートは、繰り返しノードと効果ノードとを有するツリー構造をもつ。
【００６８】
以下、図４を参照しながら、テンプレートの一例を説明する。図４に示すテンプレートは、オープニング部、第一メイン部、第二メイン部、エンディング部を有する。なお、本実施の形態では、第一メイン部および第二メイン部の２つのメイン部がある場合を例に示すが、テンプレートは１つのメイン部のみを有していてもよいし、３つ以上のメイン部を有していてもよい。
【００６９】
オープニング部、第一メイン部、第二メイン部、エンディング部の各々は、「効果ノード」、および／または、効果ノードを１つ以上有する「繰り返しノード」から構成される。効果ノードは、素材の再生時間情報と切り替え効果の種類を示す情報とを持つ。繰り返しノードは効果ノードおよび／または他の繰り返しノードを子ノードとしてもつことができるが、効果ノードは子ノードを持つことができない。各効果ノードに規定された再生時間と切り替え効果に従って、ＣＰＵ１０１は画像を表示する。繰り返しノードは、配下に属する効果ノードおよび／または繰り返しノードを、指定した回数だけ繰り返すための情報（繰り返し回数情報）を持つ。繰り返しノードでは、子ノードに指定された一連のノード（子ノード１、子ノード２、・・・子ノードｎ）を順に複数回繰り返すことができる。１回繰り返す場合は（子ノード１）→（子ノード２）→・・・→（子ノードｎ）という表示順序になり、２回繰り返す場合は（子ノード１）→（子ノード２）→・・・→（子ノードｎ）→（子ノード１）→（子ノード２）→・・・→（子ノードｎ）という表示順序になる。
【００７０】
オープニング部は、ユーザーがストーリーのタイトルテキストを画像に重畳することができるように、一枚あたりの画像の再生時間を長めにとるように記述されている。図４に示す例では、オープニング部は、２ｓｅｃの「Ａフェイドイン」効果の後に、１ｓｅｃの「Ｂクロスフェード」効果が続くように構成されている。このとき、オープニング部には２個の画像が使用される。すなわち、液晶ディスプレイ１０９が黒画面を表示しているところから、「Ａフェイドイン」効果により画面に挿入される画像、およびその画像に続けて「Ｂクロスフェード」効果により画面に挿入される画像の２個の画像が使用される。
【００７１】
第一メイン部および第二メイン部は、ストーリーのメインとなる画像が配置されるので、段々盛り上がる切り替え効果が設定されるように記述されている。第二メイン部は、クライマックスなので、第一メイン部よりも派手な切り替え効果が設定されるように記述されている。図４に示す例では、第一メイン部は、１ｓｅｃの「Ｄスライドイン右」効果、１ｓｅｃの「Ｅスライドイン左」効果、１ｓｅｃの「Ｆスライドイン上」効果、１ｓｅｃの「Ｇスライドイン下」効果の４つの切り替え効果を子ノードとして有する。第一メイン部は、この４つの子ノードを繰り返す繰り返しノードＣにより構成されており、繰り返し回数は２回に初期設定されている。また、第二メイン部は、１ｓｅｃの「Ｉクロスフェード」効果を有する子ノードと、０．５ｓｅｃの「Ｋ回転」効果を有する孫ノードおよび０．５ｓｅｃの「Ｌ破裂」効果を有する孫ノードの２つの孫ノードを繰り返す繰り返しノードＪである子ノードと、を繰り返す繰り返しノードＨにより構成されている。このときの、繰り返しノードＪの繰り返し回数は２回に初期設定されている。また、繰り返しノードＨの繰り返し回数は３回に初期設定されている。
【００７２】
エンディング部は、ストーリーの最後を締めくくる画像が配置されるため、一枚あたりの画像の再生時間が比較的長くなるように設定される。図４に示す例では、エンディング部は、２ｓｅｃの「Ｍフェイドアウト」効果を有する画像によって構成される。
【００７３】
以上のように、初期設定されている繰り返し回数でストーリーを生成した場合、効果ノードを順に並べると、（Ａフェイドイン２ｓｅｃ）→（Ｂクロスフェード１ｓｅｃ）→（Ｄスライドイン右１ｓｅｃ）→（Ｅスライドイン左１ｓｅｃ）→（Ｆスライドイン上１ｓｅｃ）→（Ｇスライドイン下１ｓｅｃ）→（Ｄスライドイン右１ｓｅｃ）→（Ｅスライドイン左１ｓｅｃ）→（Ｆスライドイン上１ｓｅｃ）→（Ｇスライドイン下１ｓｅｃ）→（Ｉクロスフェード１ｓｅｃ）→（Ｋ回転０．５ｓｅｃ）→（Ｌ破裂０．５ｓｅｃ）→（Ｋ回転０．５ｓｅｃ）→（Ｌ破裂０．５ｓｅｃ）→（Ｉクロスフェード１ｓｅｃ）→（Ｋ回転０．５ｓｅｃ）→（Ｌ破裂０．５ｓｅｃ）→（Ｋ回転０．５ｓｅｃ）→（Ｌ破裂０．５ｓｅｃ）→（Ｉクロスフェード１ｓｅｃ）→（Ｋ回転０．５ｓｅｃ）→（Ｌ破裂０．５ｓｅｃ）→（Ｋ回転０．５ｓｅｃ）→（Ｌ破裂０．５ｓｅｃ）→（Ｍフェイドアウト２ｓｅｃ）となる。これらの表示時間を総計すると２２ｓｅｃとなる。以上のように、テンプレートは、繰り返しノードと効果ノードとを持つツリー構造を成している。
【００７４】
［５．画像編集動作］
続いて、選択された素材、選択されたテンプレート、選択されたＢＧＭに基づいて、ストーリーを作成する手順について説明する。図５は、本実施の形態における画像編集動作の概要を示すフローチャートである。
【００７５】
まず、ユーザーは、ストーリー作成に使用することを希望する画像（候補画像）を選択する（Ｓ５００）。画像が選択されると、ＣＰＵ１０１は、選択された画像を素材選択エリア２００に表示する。なお、上述したとおり、ここから更に優先度を使用者が設定するように構成してもよい。なお、画像選択のための構成としては、例えば図２における素材選択エリア２００に画像選択ボタンを設け、ユーザーが当該ボタンを押下することによって画像選択画面に遷移する構成であってもよいし、ドラッグアンドドロップによって画像ファイルを追加・削除できる構成であってもよい。
【００７６】
続いて、ユーザーは、ストーリー作成に使用するテンプレートを選択する（Ｓ５０１）。テンプレートが選択されると、ＣＰＵ１０１は、テンプレート選択エリア２０１における選択されたテンプレートを強調表示する。続いて、ユーザーは、ストーリー作成において使用するＢＧＭを選択する（Ｓ５０２）。ここで、ユーザーは、テンプレートのデフォルトのＢＧＭを採用するか否かを判断する。選択したテンプレートのデフォルトのＢＧＭを採用しない場合、ユーザーは、上述したようにユーザー指定チェックボックスを有効にして、所望の音楽データを登録する。そして、ＣＰＵ１０１は、ユーザーが登録した音楽データをＢＧＭとして採用する。一方、選択したテンプレートのデフォルトのＢＧＭを採用する場合、ユーザーは、上述したようにユーザー指定チェックボックスを無効にする。このとき、ＣＰＵ１０１は、選択したテンプレートのデフォルトのＢＧＭを採用する。ステップＳ５００からステップＳ５０２の動作は、ユーザーが適宜選択するものなので、順番が入れ替わっていても構わない。
【００７７】
ユーザーが、ステップＳ５０１またはＳ５０２の選択操作をすると、その選択結果に従って、総使用画像数表示エリア２０４に表示される画像枚数が動的に更新される。ステップＳ５０１、Ｓ５０２における詳細動作については後述する。
【００７８】
本実施形態によれば、ＢＧＭ（再生時間）やテンプレートを変更したときに、即座に更新された使用画像枚数が表示されるため、自分の望むムービーをつくるために何をしなければならないかをユーザーが判断する際の手助けとなる。ユーザーは、コンテ作成に当たって、ある程度具体的な作成イメージを持ちながら編集操作を行うと想定される。ある程度具体的な作成イメージを持つ場合、ユーザーは、素材選択エリア２００に表示された画像データから、使用したい画像を意識しながら、編集操作を行うと想定される。すなわち、ユーザーは、コンテ作成に使用したいと期待する画像の枚数を意識していると想定される。このとき、例えば、表示された総使用画像数が期待より少なかった場合、ユーザーは、テンプレートまたはＢＧＭを変更することによって所望の数の画像が使用されるように調整することができる。
【００７９】
総使用画像数が期待より少なかった場合として、以下の３つのケースが考えられる。一つ目のケースは、ユーザーが選択したＢＧＭが短すぎるときである。このとき、使用したいと期待する画像枚数を実現するために、ユーザーは、より長いＢＧＭに変更するという判断を容易に行うことができる。二つ目のケースは、画像の切り替えテンポが遅いテンプレートが選択されていることきである。このとき、使用したいと期待する画像枚数を実現するために、ユーザーは、より画像の切り替えテンポが速いテンプレートを選択するという判断を容易に行うことができる。三つ目のケースは、ユーザーが使用したい画像枚数が多すぎるときである。このとき、手短にまとまった良い作品づくりのためには、素材選択エリア２００に表示された素材画像の中から、表示画像候補を絞らなければならないという判断を容易に行うことができる。すなわち、ＣＰＵ１０１は、総使用画像数を図２に示す選択画面に提示することにより、ユーザーに画像を絞るよう促すことができる。
【００８０】
以上のように、総使用画像数表示エリア２０４に表示される使用画像数を参照することにより、ユーザーは、ステップＳ５００からステップＳ５０２の少なくとも１つを実行することで、図３に示す確認画面に遷移することなく、使用画像数を調整することができる。このため、より良い作品をつくるための設定情報の変更の判断を容易に行うことができる。
【００８１】
コンテ作成に使用される素材画像、テンプレート、およびＢＧＭ（再生時間）の選択を終えると、ユーザーは、完了ボタン２０３を押下することにより、選択内容を確定することができる（Ｓ５０３）。本実施形態では、ステップＳ５０１およびステップＳ５０２において既にストーリーが作成されている。ＣＰＵ１０１は、ストーリーに素材画像を割り当てることによってコンテを作成する（Ｓ５０４）。
【００８２】
ステップＳ５０４において、ＣＰＵ１０１は、素材選択エリア２００に表示された画像の中から、画像を撮影日時順にソートして、順にストーリー中の各効果ノードに当てはめる。素材となる候補画像の数がストーリー中の効果ノードの数より少ない場合、例えばランダムに同じ画像を複数回使用する。素材となる候補画像の数がストーリー中のノードの数よりも多い場合は、例えば以下の条件により使用する素材を選択する。
条件１：素材全体から撮影日時に偏りがないように満遍なく選択する。
条件２：テンプレートとして、人物中心のものが選択されている場合は、人物が主な被写体となっている画像を優先的に選択する。
条件３：テンプレートとして、風景中心のものが選択されている場合は、風景が主な被写体となっている画像を優先的に選択する。
条件４：ステップＳ５００において、素材選択エリア２００に表示されている画像に優先度が設定されている場合は、優先度が高い画像を優先的に選択する。
【００８３】
なお、画像における主な被写体が人物であるか風景であるかの判定は、画像の特性に基づいて行われ得る。ＣＰＵ１０１は、そのような判定をコンテ作成の都度実行してもよいし、予め画像ごとに主な被写体が何であるかを示す情報を生成しておき、コンテ作成時にその情報を参照してもよい。
【００８４】
以上の動作により、ＣＰＵ１０１は、画像編集動作を終了する。
【００８５】
［６．ストーリー作成動作］
続いて、ステップＳ５０１およびステップＳ５０２において実行されるストーリー作成の詳細動作について説明する。図６は、本実施の形態にかかるストーリー作成の詳細を示すフローチャートである。
【００８６】
まず、ＣＰＵ１０１は、ステップＳ５０１において選択されたテンプレートの情報を読み出す（Ｓ６００）。次に、ＣＰＵ１０１は、テンプレートに予め設定されたデフォルトの繰り返し回数でストーリーを作成する（Ｓ６０１）。図４に示される例によると、このときのストーリーの再生時間は２２ｓｅｃである。次に、ＣＰＵ１０１は、ステップＳ５０２にて選択されたＢＧＭの再生時間を取得する（Ｓ６０２）。ここでは、例として３４．５ｓｅｃのＢＧＭが選択されたものとする。
【００８７】
続いて、ＣＰＵ１０１は、作成したストーリーの再生時間（２２ｓｅｃ）とＢＧＭの再生時間（３４．５ｓｅｃ）とが一致しているか否かを比較する（Ｓ６０３）。作成したストーリーの再生時間と、ＢＧＭの再生時間とが一致する場合、ＣＰＵ１０１は、ストーリーが完成したと判断し（Ｓ６０６）、処理を終了する。作成したストーリーの再生時間と、ＢＧＭの再生時間とが一致していない場合、ＣＰＵ１０１は、繰り返し回数を増減させることにより、ストーリーの再生時間をＢＧＭの再生時間と一致させる（Ｓ６０４、Ｓ６０５）。ステップＳ６０４およびＳ６０５のこの手順についてさらに詳細に説明する。
【００８８】
まず、テンプレート中の全ての繰り返しノードを列挙し、それぞれの１回あたりの単位繰り返し時間ｕを調査する。以下、ｕ（Ｘ）はノードＸの単位繰り返し時間とする。図４に示したテンプレートでは、ノードＣ、ノードＨ、ノードＪの３つが繰り返しノードである。ノードＣの１回あたりの繰り返し長さは、ノードＤ＋ノードＥ＋ノードＦ＋ノードＧの長さに等しいので、ｕ（Ｃ）＝（１＋１＋１＋１）ｓｅｃ＝４ｓｅｃである。同様に、ｕ（Ｊ）＝（０．５＋０．５）ｓｅｃ＝１ｓｅｃである。ノードＨについては、子ノードに繰り返しノードＪを含むので、ノードＪの初期設定の繰り返し回数（＝２ｓｅｃ）を用いて、ｕ（Ｈ）＝（１＋２＊ｕ（Ｊ））ｓｅｃ＝（１＋２＊１）ｓｅｃ＝３ｓｅｃとなる。
【００８９】
次に、ＣＰＵ１０１は、ストーリーの再生時間とＢＧＭの再生時間の差（以下、「誤差時間」と称する。）をとり、その差が０になるように繰り返し回数を増減させる。すなわち、ストーリー再生時間が、ＢＧＭ再生時間よりも長いときは、繰り返し回数をデクリメントすることで再生時間を調整する。ストーリー再生時間が、ＢＧＭ再生時間よりも短いときは、繰り返し回数をインクリメントすることで再生時間を調整する。例えば、ストーリー再生時間がＢＧＭ再生時間よりも短いとき、ＣＰＵ１０１は、繰り返し回数を調整するノードを以下の考え方に従って順に選ぶ。
条件１：誤差時間以内であって、単位繰り返し時間ｕが長いものを優先的に選ぶ。そして、選択した繰り返し単位の繰り返し回数を１回インクリメントする。
条件２：単位繰り返し長さｕが等しい繰り返しノードが複数ある場合は、いずれか１つをランダムに選ぶようにしてもよい。ただしすでに繰り返し回数を増減させた繰り返しノードがある場合は、まだ増減させていない繰り返しノードを優先的に選ぶ。そして、選択した繰り返し単位の繰り返し回数を１回インクリメントする。
条件３：条件１によって単位繰り返し時間がｕ１の繰り返しノードが選ばれた場合で、かつ、単位繰り返し時間ｕ１の全てのノードについて、繰り返し回数を２回インクリメントしている状態においては、更に１回インクリメントすると、当該繰り返し単位の繰り返しがくどくなることがある。そのような事態を回避するために、本条件を適用するようにしてもよい。例えば、ｕ１の次に単位繰り返し時間の長いノードの長さｕ２がｕ１＜ｕ２＊２を満たす場合、ｕ１の繰り返しノードの代わりにｕ２の繰り返しノードを選び、繰り返し回数を１回インクリメントしてもよい。このとき、ｕ１＜ｕ２＊２を満たす適切なノードが無い場合は、ｕ１を再び選べばよい。すなわち、ｕ１の繰り返し回数を更に１回インクリメントすればよい。
条件４：誤差時間が、ノードの繰り返し時間の最小値よりも小さくなった場合、Ｓ６０４における繰り返し回数の調整を終了する。
【００９０】
次に、誤差時間がノードの繰り返し時間の最小値よりも小さくなった場合、ＣＰＵ１０１は、各ノードの再生時間を微調整することによって残りの誤差時間を０にする。言うまでもないが、誤差時間が上記条件１から条件３の考えを適用することですでに０である場合は、再生時間を微調整する必要はない。誤差時間を微調整する場合、ＣＰＵ１０１は、ストーリーの効果ノードを列挙する。そして、ＣＰＵ１０１は、再生時間の長いノードから順に選んで、その再生時間を修正してＢＧＭ時間に近づけていく（Ｓ６０５）。１つのノードで変更できる時間幅は、例えば効果ノードの元の再生時間の±１０％以内とする。
【００９１】
ステップＳ６０４およびステップＳ６０５の動作内容について、以下に例を示して説明する。例としてＢＧＭの長さが３４．５ｓｅｃの場合を考える。このとき、ストーリーの再生時間と、ＢＧＭの再生時間との誤差時間は１２．５ｓｅｃである。まず、ＣＰＵ１０１は、条件１により、Ｃ（４ｓｅｃ）の繰り返し回数をインクメントする。これで残りの誤差時間は８．５ｓｅｃとなる。次に、ＣＰＵ１０１は再び条件１によりＣ（４ｓｅｃ）の繰り返し回数をインクリメントする。これで残りの誤差時間は４．５ｓｅｃになる。このとき、繰り返しノードＣの再生時間は条件１を満たしているが、この時点でＣはすでに２回選んでしまっているので、条件３によりＨ（３ｓｅｃ）の繰り返し回数をインクリメントする。これにより残りの誤差時間は１．５ｓｅｃとなる。そして、ＣＰＵ１０１は、条件１によりＪ（１ｓｅｃ）の繰り返し回数をインクリメントする。これにより残りの誤差時間は０．５ｓｅｃとなる。このとき、残りの誤差時間よりも長い繰り返し時間を有する繰り返しノードが存在しないため、ここで条件４を適用して、ステップＳ６０４を終了する。この時点で、ストーリーは、各ノードの記号を用いて表すと、下記の順になっている。
Ａ−Ｂ−（Ｄ−Ｅ−Ｆ−Ｇ）−（Ｄ−Ｅ−Ｆ−Ｇ）−（Ｄ−Ｅ−Ｆ−Ｇ）−（Ｄ−Ｅ−Ｆ−Ｇ）−（Ｉ−（Ｋ−Ｌ）−（Ｋ−Ｌ））−（Ｉ−（Ｋ−Ｌ）−（Ｋ−Ｌ））−（Ｉ−（Ｋ−Ｌ）−（Ｋ−Ｌ））−（Ｉ−（Ｋ−Ｌ）−（Ｋ−Ｌ） −（Ｋ−Ｌ））−Ｍ
この中で各ノードの再生時間は、Ａ＝Ｍ＞Ｂ＝Ｄ＝Ｅ＝Ｆ＝Ｇ＝Ｉ＞Ｋ＝Ｌであるので、Ａ（２ｓｅｃ）を＋０．２ｓｅｃ、Ｍ（２ｓｅｃ）を＋０．２ｓｅｃ、Ｂ（１ｓｅｃ）を＋０．１ｓｅｃ長くすることで、計０．５ｓｅｃ分の誤差を埋める。以上でストーリーの長さを３４．５ｓｅｃに合わせることができる。
【００９２】
以上のようにして、ステップＳ５０１にて選択されたテンプレートに規定されている、各繰り返し単位の繰り返し回数が決定される。また、端数時間が微調整される。なお、ステップＳ６０３において、ストーリーの再生時間と、ＢＧＭの再生時間とが一致する場合は、初期設定されている繰り返し回数をそのまま適用する。
【００９３】
以上の動作により、ＣＰＵ１０１は、ストーリー作成動作を終了する。なお、以上のストーリー作成手順はあくまでも一例であり、ＢＧＭの再生時間に合うようにストーリーを編成する方法はどのような方法であってもよい。
【００９４】
［７．総使用画像数算出］
続いて、選択されたテンプレート、選択されたＢＧＭに基づいて、使用される予定の画像枚数を算出する手順について、図７から図９を参照しながら説明する。
【００９５】
図７は、テンプレート選択動作の詳細を示すフローチャートである。ＣＰＵ１０１は、テンプレートが以前の設定から変更されたかどうかを確かめる（Ｓ７００）。ＣＰＵ１０１は、テンプレートが以前の設定から変更された場合は、総使用画像数を算出し直す（Ｓ７０１）。そして、ＣＰＵ１０１は、図２に示す総使用画像数表示エリア２０４の表示を更新する（Ｓ７０２）。
【００９６】
図８は、ＢＧＭ変更動作の詳細を示すフローチャートである。ＣＰＵ１０１は、ＢＧＭが以前の設定から変更されたかどうかを確かめる（Ｓ８００）。ＣＰＵ１０１は、ＢＧＭが以前の設定から変更された場合は、総使用画像数を算出し直す（Ｓ８０１）。そして、ＣＰＵ１０１は、図２に示す総使用画像数表示エリア２０４の表示を更新する（Ｓ８０２）。
【００９７】
続いて、ステップＳ７０１およびステップＳ８０１における、総使用画像数の算出方法の詳細について説明する。図９は、総使用画像数算出方法の詳細を示すフローチャートである。
【００９８】
ＣＰＵ１０１は、以前の設定から変更されたテンプレートまたはＢＧＭに基づいて、ストーリーを更新する（Ｓ９００）。このとき、ＣＰＵ１０１は、前述した図６に示すストーリー作成のフローチャートに従ってストーリーを更新する。続いて、ＣＰＵ１０１は、総使用画像数のカウンタを０にリセットする（Ｓ９０１）。
【００９９】
ＣＰＵ１０１は、ストーリーを構成する効果ノードを一個ずつ順に検出する（Ｓ９０２）。次に、ＣＰＵ１０１は、検出した効果ノードの種類と、当該効果ノードに関連付けられた画像の表示時間が特定のカウント条件を満たすか否かを調べる（Ｓ９０３）。ＣＰＵ１０１は、様々なカウント条件を設定しておくことができる。例えば、下記４種類のカウント条件が考えられる。
第１のカウント条件：ＣＰＵ１０１は、ストーリーを構成する効果ノードのすべてについて、カウント条件を満たすと設定することができる。このとき、ＣＰＵ１０１は、ストーリー中で使われるすべての画像の枚数を総使用画像数としてカウントする。
第２のカウント条件：ＣＰＵ１０１は、検出した効果ノードに関連付けられた画像の表示時間が所定時間以上である場合、カウント条件を満たすと設定することができる。例えば、検出した効果ノードに関連付けられた画像の表示時間が２ｓｅｃ以上である場合、カウント条件を満たすと設定することができる。このとき、ある効果ノードに関連付けられた画像の表示時間が０．５ｓｅｃのときは、カウント条件を満たさないので、当該画像については、使用画像としてカウントされない。
第３のカウント条件：ＣＰＵ１０１は、検出した効果ノードに関連付けられた画像の同時表示枚数が所定の枚数以下である場合、カウント条件を満たすと設定することができる。例えば、検出した効果ノードに関連付けられた画像の同時表示枚数が２枚以下である場合を、カウント条件を満たすと設定することができる。このとき、ある効果ノードに関連付けられた画像の同時表示枚数が４枚のときは、カウント条件を満たさないので、当該画像については、使用画像としてカウントされない。
第４のカウント条件：ＣＰＵ１０１は、検出した効果ノードに関連付けられた画像の表示サイズが所定サイズ以上である場合、カウント条件を満たすと設定することができる。例えば、検出した効果ノードに関連付けられた画像の表示サイズが、作成したコンテに基づく全体画像に対して８０％以上の面積を占める場合を、カウント条件を満たすと設定することができる。このとき、ある効果ノードに関連付けられた画像の表示サイズが、全体画像に対して３０％のときは、カウント条件を満たさないので、当該画像については、使用画像としてカウントされない。
【０１００】
ストーリーの演出によっては、ストーリーの中のすべての画像について、じっくり見える効果が設定されているとは限らない。そのため、上記第２〜第４のカウント条件のような条件を設定した方が、ユーザーの意図に適う場合も考えられる。このようにすることにより、ＣＰＵ１０１は、総使用画像数表示エリア２０４に表示する画像枚数として、じっくり表示される効果が設定されている画像の枚数のみを総画像数表示エリア２０４に表示させることができる。
【０１０１】
ステップＳ９０３において、設定された条件を満たす場合、ＣＰＵ１０１は、その効果で使われる画像枚数分だけ総使用画像数を増加させる（Ｓ９０４）。ＣＰＵ１０１は、設定された条件を満たさない場合には、総使用画像数を増加させない。ＣＰＵ１０１は、ストーリー中のすべての効果ノードを検出するまで、ステップＳ９０２からステップＳ９０５までの動作を繰り返す（Ｓ９０５）。すべての効果ノードを検出した時点で、現在のテンプレートおよびＢＧＭの設定における、総使用画像数が決定される（Ｓ９０６）。
【０１０２】
以上の動作により、ＣＰＵ１０１は、総使用画像数算出の処理を終了する。上記のように、本実施形態において総使用画像数表示エリア２０４に表示される数は、実際に使用される画像の枚数とは限らず、目立つ演出効果が指定された効果ノードの表示回数であると言える。言い換えれば、使用する予定の画像の総数の概算値が総使用画像数表示エリア２０４に表示される。なお、上記の総使用画像数算出処理は一例であり、画像数のカウントの方法は上記の方法に限定されない。総使用画像数表示エリア２０４には、実際の画像の総数を表示させてもよい。
【０１０３】
［８．まとめ］
以上説明したように、本実施の形態にかかるＰＣ１００は、複数の画像を使用した一連のコンテを編集するとき、ユーザーによる操作を受け付けて、テンプレートや再生時間を設定変更するのに連動して、編集に使用する予定の画像枚数（設定されたテンプレートや再生時間に対応する画像枚数）を液晶ディスプレイ１０９に表示させるよう動的に制御するＣＰＵ１０１を備える。これにより、ストーリー構成を維持した連続表示用画像群を編集する際に、使い勝手の良いＰＣ１００を提供することができる。
【０１０４】
［９．他の実施の形態］
本発明は、上記実施の形態１に限定されず、他の実施の形態も考えられる。以下、他の実施の形態についてまとめて説明する。図１０は、他の実施の形態における選択画面の例を示す図である。
【０１０５】
上記の実施の形態１においては、総使用画像数表示エリア２０４において、使用される予定の画像枚数のみを表示したが、素材登録枚数表示エリア２０６を設け、現時点で素材選択エリア２００に登録されている画像の枚数（素材登録枚数）をあわせて表示してもよい。例えば、総使用画像数が５７枚であり、素材登録枚数が３８枚である場合を想定する。このとき、ユーザーは、総使用画像数表示エリア２０４および素材登録枚数エリア２０６を参照することにより、素材登録枚数が総使用画像数よりも少ないことを容易に判断することができる。従って、ユーザーは、図５におけるステップＳ５００からステップＳ５０２のいずれの事項を変更すべきかの判断をさらに容易に行うことができる。また、素材選択エリア２００に登録されている各画像に優先度を示す情報が設定される場合、高優先度画像数表示エリア２０７を設け、登録されている画像の枚数のうち、優先度が一定値以上に設定されている画像の枚数をあわせて表示してもよい。優先度が一定値以上に設定されているということは、ユーザーがストーリーに組み込みたいと期待している画像であると考えられる。従って、ユーザーは、総使用画像数表示エリア２０４および高優先度画像数表示エリア２０７を参照することにより、ストーリーへの組み込みを期待する画像の枚数と、総使用画像枚数とを比較することができる。図１０では、高優先度画像数が２９枚の場合の例を示している。これにより、ユーザーは、図５におけるステップＳ５００からステップＳ５０２のいずれの事項を変更すべきかの判断をさらに容易に行うことができる。
【０１０６】
上記の実施の形態１においては、総使用画像数算出のたびに図９におけるステップＳ９００からＳ９０９までを実施する場合を説明したが、本発明はこのような構成に限定されない。ＣＰＵ１０１は、再生時間およびテンプレート設定の各組み合わせにおける総使用画像数を、予めステップＳ９００からＳ９０９までを実施することによって算出し、ワークメモリ１０３などの記憶装置に保存しておいてもよい。例えば、「人物中心スローテンポ」のテンプレート、「人物中心アップテンポ」のテンプレート、「風景中心スローテンポ」のテンプレート、「風景中心アップテンポ」のテンプレートのそれぞれについて、再生時間が５ｓｅｃずつ増加した場合のそれぞれの組合せ時における総使用画像数を予め算出しておき、その算出結果を保存しておいてもよい。このとき、ＣＰＵ１０１は、ステップＳ７０１およびＳ８０１において、総使用画像数算出の際には、予め保存しておいた値を参照するようにしてもよい。これによってテンプレート変更時、ＢＧＭ変更時の総使用画像数の算出にかかる時間を削減し、ユーザーインターフェース（ＵＩ）画面の軽快な反応が可能になる。テンプレートにデフォルトＢＧＭを用意している場合は特にデフォルトＢＧＭが用いられる場合における総使用画像数を計算しておくとよい。
【０１０７】
また、図１０に示すように、希望画像数表示エリア２７０を設け、ユーザーがストーリーに組み込みたい画像の枚数を指定できるようにしてもよい。希望画像数表示エリア２７０に希望画像数が指定されているとき、ＣＰＵ１０１は、現在設定されているテンプレートや、再生時間に基づいて、総使用画像枚数を算出する。続いて、ＣＰＵ１０１は、現在設定されているテンプレートや、再生時間をどのように変更すれば、ユーザーが指定する画像枚数に総使用画像枚数が近づくかを判断する。例えば、現在、スローテンポのテンプレートが設定されており、ユーザーが指定する画像枚数が、総使用画像枚数よりも多い場合は、アップテンポのテンプレートへと変更を提案する旨の情報（提案情報）を液晶ディスプレイ１０９に表示させてもよい。或いは、現在、ユーザーが指定する画像枚数が、総使用画像枚数よりも多い場合は、より長い再生時間へと変更を提案する旨の情報を液晶ディスプレイ１０９に表示させるようにしてもよい。或いは、ＣＰＵ１０１は、予め保存しておいた再生時間とテンプレート設定との各組み合わせにおける総使用画像数の関係を規定する表に基づいて、現在設定されている再生時間からどれだけの時間をシフトさせれば、ユーザーが指定する画像枚数を満たすことができるかを決定し、決定した再生時間を液晶ディスプレイ１０９に表示するように構成してもよい。これにより、ユーザーは、ストーリーに組み込みたいと所望する画像枚数を満たすための、編集条件の変更判断を容易にすることができる。
【０１０８】
また、図１０に示すように、ＢＧＭ選択エリア２０２の代わりに、総再生時間設定エリア２６０を設けてもよい。これにより、ユーザーがムービーの総再生時間を直接設定することができる。この場合、選択したテンプレートにデフォルトで設定されたＢＧＭが採用されるように構成してもよいし、他の画面でＢＧＭを別途設定できるように構成してもよい。この例では、ユーザーによって直接設定された総再生時間２６０は、ＢＧＭが変わっても一定の長さとなる。ＣＰＵ１０１は、設定された総再生時間およびテンプレートの組み合わせに基づいて、総画像数の計算およびムービーの生成を行う。
【０１０９】
なお、登録された画像が多すぎて画像選択エリア２０５に表示しきれない場合、スクロールバー２５０をスクロールすることによって残りの画像を表示できるように構成してもよい。同様に、用意されたテンプレートの種類が多すぎてテンプレート選択エリア２５０に表示しきれない場合、スクロールバー２５１をスクロールすることによって残りのテンプレートを表示できるように構成してもよい。スクロールバー２５０、２５１の代わりに、切替ボタンによって残りの画像等を表示できるように構成されていてもよい。
【０１１０】
上記の実施の形態では、素材選択エリア２００、テンプレート選択エリア２０１、ＢＧＭ選択エリア２０２、および総使用画像数表示エリア２０４が１つの画面（ウインドウ）内に表示される例を示したが、本発明はこのような例に限定されない。各エリアは、同一の画面ではなく、分割された別ウインドウ内に表示されてもよい。ただし、ユーザーの利便性を考慮すれば、各エリアは一度に視認できるように、互いに重なることなく表示されることが好ましい。また、各エリアを同一ウインドウ内に表示する場合であっても、図２または図１０に示す画面デザインとは異なる任意の画面デザインを採用してよい。
【０１１１】
また、実施の形態１では、画像処理装置としてＰＣ１００を想定したが、プロセッサを有する任意の電子機器に上記の各処理を規定したプログラムを実行させることにより、同様の機能を実現することができる。そのようなプログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの任意の記録媒体に記録され、または、電気通信回線を通じて流通され得る。例えば、データセンターなどに配置されたサーバーに当該プログラムを実行させれば、所謂クラウドコンピューティングの形態で、遠隔地のユーザーにサービスを提供することもできる。また、上記の処理を実行するように構成されたビデオカメラをテレビに接続して表示させる形態も可能である。
【０１１２】
実施の形態１では、予め用意された複数のテンプレートから所望のテンプレートをユーザーに選択させることによって各画像の演出効果が設定されるが、本発明はこのような形態に限られない。例えば、設定したＢＧＭの音の強弱や高低を識別し、曲の盛り上がりに合ったテンポや演出で画像を表示させるような演出効果が設定されてもよい。また、表示される画像が動画の場合、動画自体の音声をＢＧＭの代わりに用いるように構成されていてもよい。
【産業上の利用可能性】
【０１１３】
本発明は、画像の編集操作が可能であれば、パーソナルコンピュータ、携帯電話、ビデオカメラ等の任意の電子機器に適用可能である。また、同様の機能を実行可能なプログラムをＣＤやＤＶＤ等の記録メディアに記録して流通させることも可能である。
【符号の説明】
【０１１４】
１０ 画像編集装置
１１ 入力インターフェース
１２ 表示制御部
１３ 画像群生成部
２０ 入力装置
３０ 表示装置
４０ 画面
４１ 第１の設定領域
４２ 第２の設定領域
４３ 第３の設定領域
４４ 画像数情報
１００ ＰＣ
１０１ ＣＰＵ
１０２ システム管理メモリ
１０３ ワークメモリ
１０４ ＨＤＤ
１０５ マウス
１０６ キーボード
１０７ ＵＳＢコネクタ
１０８ グラフィックコントローラ
１０９ 液晶ディスプレイ
２００ 素材選択エリア
２０１ テンプレート選択エリア
２０２ ＢＧＭ選択エリア
２０３ 完了ボタン
２０４ 総使用画像数表示エリア
２０６ 素材登録枚数表示エリア
２０７ 高優先度画像数表示エリア
２１１ テンプレート名
２１２ デフォルトＢＧＭ再生時間
２２１ ユーザー指定チェックボックス
２２２ 登録ボタン
２２３ 視聴プレーヤー
２２４ 視聴ボタン
２５０、２５１ スクロールバー
２６０ 総再生時間設定エリア
２７０ 希望画像数設定エリア
４００ ストーリー情報表示エリア
４０１ プレビューエリア
４０２ ストーリーボードエリア
４０３ コンテ保存ボタン
４０４ ファイル出力ボタン
【特許請求の範囲】
【請求項１】
複数の画像を用いて一連の画像群を生成する画像編集装置であって、
前記一連の画像群に関する情報を表示装置に表示させるための映像信号を出力する表示制御部と、
ユーザーから、前記一連の画像群に使用される候補となる複数の候補画像、前記一連の画像群の総再生時間、および前記一連の画像群に使用される各画像の演出効果に関する設定情報を受け付ける入力インターフェースと、
前記複数の候補画像から選択した複数の画像を用いて前記一連の画像群を生成する画像群生成部と、
を備え、
前記総再生時間および前記演出効果が設定されたとき、または前記総再生時間および前記演出効果の少なくとも一方が変更されたとき、
前記画像群生成部は、前記総再生時間および前記演出効果に基づいて、前記一連の画像群に使用する予定の画像の総数または前記総数の概算値を決定し、
前記表示制御部は、前記使用する予定の画像の総数または前記総数の概算値を示す画像数情報を、前記表示装置に表示させる、
画像編集装置。
【請求項２】
前記表示制御部は、前記複数の候補画像が設定される第１の設定領域、前記一連の画像群の総再生時間が設定される第２の設定領域、および前記一連の画像群に使用される各画像の演出効果が設定される第３の設定領域の各画像を、前記表示装置に表示させる、請求項１に記載の画像編集装置。
【請求項３】
前記表示制御部は、前記画像数情報を、前記第２の設定領域および前記第３の設定領域の各画像とともに前記表示装置に表示させる、請求項２に記載の画像編集装置。
【請求項４】
前記一連の画像群の総再生時間は、前記一連の画像群とともに再生される背景音楽が指定されることによって決定される、請求項１から３のいずれかに記載の画像編集装置。
【請求項５】
前記演出効果は、予め用意された複数のテンプレート情報の中から選択されることによって決定される、請求項１から４のいずれかに記載の画像編集装置。
【請求項６】
前記複数のテンプレート情報は、各画像の切り替え効果および再生時間が規定された情報である、請求項５に記載の画像編集装置。
【請求項７】
前記表示制御部は、前記第１から第３の設定領域および前記画像数情報を同一画面内に表示させる、請求項２または３に記載の画像編集装置。
【請求項８】
前記表示制御部は、さらに、前記一連の画像群に使用することを希望する画像の数をユーザーに設定させるための第４の設定領域を前記第１から第３の設定領域とともに前記表示装置に表示させ、設定された前記希望する画像の数に前記一連の画像群に使用される予定の画像の数を合わせるための提案情報を前記表示装置に表示させる、請求項２または３に記載の画像編集装置。
【請求項９】
複数の画像を用いて一連の画像群を生成するための画像編集方法であって、
前記一連の画像群に関する情報を表示装置に表示させるための映像信号を出力するステップＡと、
ユーザーから、前記一連の画像群に使用される候補となる複数の候補画像、前記一連の画像群の総再生時間、および前記一連の画像群に使用される各画像の演出効果に関する設定情報を受け付けるステップＢと、
前記複数の候補画像から選択した複数の画像を用いて前記一連の画像群を生成するステップＣと、
前記総再生時間および前記演出効果が設定されたとき、または前記総再生時間および前記演出効果の少なくとも一方が変更されたとき、前記総再生時間および前記演出効果に基づいて、前記一連の画像群に使用する予定の画像の総数または前記総数の概算値を決定し、前記使用する予定の画像の総数または前記総数の概算値を示す画像数情報を、前記表示装置に表示させるステップＤと、
を含む画像編集方法。
【請求項１０】
前記ステップＡは、前記複数の候補画像が設定される第１の設定領域、前記一連の画像群の総再生時間が設定される第２の設定領域、および前記一連の画像群に使用される各画像の演出効果が設定される第３の設定領域の各画像を、前記表示装置に表示させるステップを含む、請求項９に記載の画像編集方法。
【請求項１１】
前記ステップＤは、前記画像数情報を、前記第２の設定領域および前記第３の設定領域の各画像とともに前記表示装置に表示させるステップを含む、請求項１０に記載の画像編集方法。
【請求項１２】
複数の画像を用いて一連の画像群を生成するための画像編集プログラムであって、
コンピュータに対し、
前記一連の画像群に関する情報を表示装置に表示させるための映像信号を出力するステップＡと、
ユーザーから、前記一連の画像群に使用される候補となる複数の候補画像、前記一連の画像群の総再生時間、および前記一連の画像群に使用される各画像の演出効果に関する設定情報を受け付けるステップＢと、
前記複数の候補画像から選択した複数の画像を用いて前記一連の画像群を生成するステップＣと、
前記総再生時間および前記演出効果が設定されたとき、または前記総再生時間および前記演出効果の少なくとも一方が変更されたとき、前記総再生時間および前記演出効果に基づいて、前記一連の画像群に使用する予定の画像の総数または前記総数の概算値を決定し、前記使用する予定の画像の総数または前記総数の概算値を示す画像数情報を、前記表示装置に表示させるステップＤと、
を実行させる画像編集プログラム。
【請求項１３】
前記ステップＡは、前記複数の候補画像が設定される第１の設定領域、前記一連の画像群の総再生時間が設定される第２の設定領域、および前記一連の画像群に使用される各画像の演出効果が設定される第３の設定領域の各画像を、前記表示装置に表示させるステップを含む、請求項１２に記載の画像編集プログラム。
【請求項１４】
前記ステップＤは、前記画像数情報を、前記第２の設定領域および前記第３の設定領域の各画像とともに前記表示装置に表示させるステップを含む、請求項１３に記載の画像編集プログラム。
【請求項１】
複数の画像を用いて一連の画像群を生成する画像編集装置であって、
前記一連の画像群に関する情報を表示装置に表示させるための映像信号を出力する表示制御部と、
ユーザーから、前記一連の画像群に使用される候補となる複数の候補画像、前記一連の画像群の総再生時間、および前記一連の画像群に使用される各画像の演出効果に関する設定情報を受け付ける入力インターフェースと、
前記複数の候補画像から選択した複数の画像を用いて前記一連の画像群を生成する画像群生成部と、
を備え、
前記総再生時間および前記演出効果が設定されたとき、または前記総再生時間および前記演出効果の少なくとも一方が変更されたとき、
前記画像群生成部は、前記総再生時間および前記演出効果に基づいて、前記一連の画像群に使用する予定の画像の総数または前記総数の概算値を決定し、
前記表示制御部は、前記使用する予定の画像の総数または前記総数の概算値を示す画像数情報を、前記表示装置に表示させる、
画像編集装置。
【請求項２】
前記表示制御部は、前記複数の候補画像が設定される第１の設定領域、前記一連の画像群の総再生時間が設定される第２の設定領域、および前記一連の画像群に使用される各画像の演出効果が設定される第３の設定領域の各画像を、前記表示装置に表示させる、請求項１に記載の画像編集装置。
【請求項３】
前記表示制御部は、前記画像数情報を、前記第２の設定領域および前記第３の設定領域の各画像とともに前記表示装置に表示させる、請求項２に記載の画像編集装置。
【請求項４】
前記一連の画像群の総再生時間は、前記一連の画像群とともに再生される背景音楽が指定されることによって決定される、請求項１から３のいずれかに記載の画像編集装置。
【請求項５】
前記演出効果は、予め用意された複数のテンプレート情報の中から選択されることによって決定される、請求項１から４のいずれかに記載の画像編集装置。
【請求項６】
前記複数のテンプレート情報は、各画像の切り替え効果および再生時間が規定された情報である、請求項５に記載の画像編集装置。
【請求項７】
前記表示制御部は、前記第１から第３の設定領域および前記画像数情報を同一画面内に表示させる、請求項２または３に記載の画像編集装置。
【請求項８】
前記表示制御部は、さらに、前記一連の画像群に使用することを希望する画像の数をユーザーに設定させるための第４の設定領域を前記第１から第３の設定領域とともに前記表示装置に表示させ、設定された前記希望する画像の数に前記一連の画像群に使用される予定の画像の数を合わせるための提案情報を前記表示装置に表示させる、請求項２または３に記載の画像編集装置。
【請求項９】
複数の画像を用いて一連の画像群を生成するための画像編集方法であって、
前記一連の画像群に関する情報を表示装置に表示させるための映像信号を出力するステップＡと、
ユーザーから、前記一連の画像群に使用される候補となる複数の候補画像、前記一連の画像群の総再生時間、および前記一連の画像群に使用される各画像の演出効果に関する設定情報を受け付けるステップＢと、
前記複数の候補画像から選択した複数の画像を用いて前記一連の画像群を生成するステップＣと、
前記総再生時間および前記演出効果が設定されたとき、または前記総再生時間および前記演出効果の少なくとも一方が変更されたとき、前記総再生時間および前記演出効果に基づいて、前記一連の画像群に使用する予定の画像の総数または前記総数の概算値を決定し、前記使用する予定の画像の総数または前記総数の概算値を示す画像数情報を、前記表示装置に表示させるステップＤと、
を含む画像編集方法。
【請求項１０】
前記ステップＡは、前記複数の候補画像が設定される第１の設定領域、前記一連の画像群の総再生時間が設定される第２の設定領域、および前記一連の画像群に使用される各画像の演出効果が設定される第３の設定領域の各画像を、前記表示装置に表示させるステップを含む、請求項９に記載の画像編集方法。
【請求項１１】
前記ステップＤは、前記画像数情報を、前記第２の設定領域および前記第３の設定領域の各画像とともに前記表示装置に表示させるステップを含む、請求項１０に記載の画像編集方法。
【請求項１２】
複数の画像を用いて一連の画像群を生成するための画像編集プログラムであって、
コンピュータに対し、
前記一連の画像群に関する情報を表示装置に表示させるための映像信号を出力するステップＡと、
ユーザーから、前記一連の画像群に使用される候補となる複数の候補画像、前記一連の画像群の総再生時間、および前記一連の画像群に使用される各画像の演出効果に関する設定情報を受け付けるステップＢと、
前記複数の候補画像から選択した複数の画像を用いて前記一連の画像群を生成するステップＣと、
前記総再生時間および前記演出効果が設定されたとき、または前記総再生時間および前記演出効果の少なくとも一方が変更されたとき、前記総再生時間および前記演出効果に基づいて、前記一連の画像群に使用する予定の画像の総数または前記総数の概算値を決定し、前記使用する予定の画像の総数または前記総数の概算値を示す画像数情報を、前記表示装置に表示させるステップＤと、
を実行させる画像編集プログラム。
【請求項１３】
前記ステップＡは、前記複数の候補画像が設定される第１の設定領域、前記一連の画像群の総再生時間が設定される第２の設定領域、および前記一連の画像群に使用される各画像の演出効果が設定される第３の設定領域の各画像を、前記表示装置に表示させるステップを含む、請求項１２に記載の画像編集プログラム。
【請求項１４】
前記ステップＤは、前記画像数情報を、前記第２の設定領域および前記第３の設定領域の各画像とともに前記表示装置に表示させるステップを含む、請求項１３に記載の画像編集プログラム。
【図１Ａ】
【図１Ｂ】
【図１Ｃ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１Ｂ】
【図１Ｃ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１８６７９５（Ｐ２０１２−１８６７９５Ａ）
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願番号】特願２０１２−１２３３６（Ｐ２０１２−１２３３６）
【出願日】平成２４年１月２４日（２０１２．１．２４）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願日】平成２４年１月２４日（２０１２．１．２４）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]