画像編集装置、画像編集方法、およびプログラム
【課題】フォトムービーのような連続表示用の一連の画像群を編集するときに、より簡単に素材画像を抽出することができる画像編集装置を提供すること。
【解決手段】画像編集装置は、各々が付属情報を有する複数の画像を組み合わせて一連の画像群を生成する。画像編集装置は、編集対象として指定された複数の候補画像を受け付ける入力インターフェースと、前記複数の候補画像から前記付属情報に基づいて抽出された少なくとも２つの画像からなるグループごとに、固有の演出効果を付与して配列することにより、前記一連の画像群を生成する画像編集部とを備える。
【解決手段】画像編集装置は、各々が付属情報を有する複数の画像を組み合わせて一連の画像群を生成する。画像編集装置は、編集対象として指定された複数の候補画像を受け付ける入力インターフェースと、前記複数の候補画像から前記付属情報に基づいて抽出された少なくとも２つの画像からなるグループごとに、固有の演出効果を付与して配列することにより、前記一連の画像群を生成する画像編集部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を組み合わせて連続表示用の一連の画像群の編集が可能な画像編集装置に関する。
【背景技術】
【０００２】
複数の静止画像および動画像を編集してフォトムービーを生成する電子機器やプログラムが知られている。例えば、特許文献１には、素材となる複数の静止画を組み合わせて観賞用のフォトムービーを作成するフォトムービー作成装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１５７１９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
フォトムービーのような連続表示するための画像群を構成するとき、表示エフェクト（各画像に付与される演出的効果）は連続表示される一連の画像群の見た目の印象に影響する。しかしながら、特許文献１に記載のフォトムービー作成装置では、ユーザーの意図に合致した一連の画像群を容易に作成することができない。
【０００５】
本発明の実施形態は、上記課題を鑑み、フォトムービーのような連続表示用の一連の画像群を作成するときに、より簡単にユーザーの意図に沿った素材画像を抽出することができる画像編集装置を提供する。
【課題を解決するための手段】
【０００６】
本発明の実施形態による画像編集装置は、各々が付属情報を有する複数の画像を組み合わせて一連の画像群を生成することができる。前記画像編集装置は、前記一連の画像群に使用される候補となる複数の候補画像を受け付ける入力インターフェースと、前記複数の候補画像から前記付属情報に基づいて抽出された少なくとも２つの画像からなるグループごとに、固有の演出効果を付与して配列することにより、前記一連の画像群を生成する画像編集部とを備える。
【０００７】
ある実施形態において、前記入力インターフェースは、ユーザーから、前記複数の候補画像、前記一連の画像群の総再生時間を規定する情報、および前記一連の画像群の構成を規定する情報を受け、前記画像編集部は、前記総再生時間を規定する情報と、前記構成を規定する情報とに基づいて、前記一連の画像群を構成する複数のシーンの各々の再生時間を決定する。
【０００８】
ある実施形態において、前記画像編集部は、前記複数の候補画像を、前記付属情報に基づいて、グループを構成するものとグループを構成しないものとに分類し、前記グループを構成するものを、グループごとに前記複数のシーンのいずれかに割り当て、前記グループを構成しないものの少なくとも一部を、画像ごとに前記複数のシーンの残りに割り当てる。
【０００９】
ある実施形態において、前記構成を規定する情報は、予め用意された複数のテンプレートからユーザーが１つを選択することによって決定される。
【００１０】
ある実施形態において、前記画像編集部は、前記複数の候補画像に含まれる静止画像または動画像に付与された付属情報の示す値を基準として、所定の範囲内に属する値の付属情報を有する他の静止画像または動画像を、前記複数の候補画像の中から検出する処理を実行することにより、前記グループを決定する。
【００１１】
ある実施形態において、前記画像編集部は、前記処理を、前記複数の候補画像に含まれる全ての静止画像または全ての動画像について実行することにより、前記グループを決定する。
【００１２】
ある実施形態において、前記グループごとに付与される前記演出効果は、前記グループに属する少なくとも２つの画像を同一の表示領域に表示させる効果を含む。
【００１３】
ある実施形態において、前記演出効果は、前記同一の表示領域に表示される前記少なくとも２つの画像の少なくとも１つが、移動、拡大、縮小の少なくとも１つの動作を行う効果を含む。
【００１４】
ある実施形態において、前記付属情報は、撮影時期を示す情報、撮影場所を示す情報、および被写体を識別する情報の少なくとも１つを含む。
【００１５】
本発明の実施形態による画像編集方法は、各々が付属情報を有する複数の画像を組み合わせて一連の画像群を生成する方法である。前記方法は、編集対象として指定された複数の候補画像を受け付けるステップと、前記複数の候補画像から前記付属情報に基づいて抽出された少なくとも２つの画像からなるグループごとに、固有の演出効果を付与して配列することにより、前記一連の画像群を生成するステップとを含む。
【００１６】
本発明の実施形態によるプログラムは、各々が付属情報を有する複数の画像を組み合わせて一連の画像群を生成するためのプログラムであって、コンピュータに対し、編集対象として指定された複数の候補画像を受け付けるステップと、前記複数の候補画像から前記付属情報に基づいて抽出された少なくとも２つの画像からなるグループごとに、固有の演出効果を付与して配列することにより、前記一連の画像群を生成するステップとを実行させる。
【発明の効果】
【００１７】
本発明によれば、フォトムービーのような連続表示用の一連の画像群を編集するときに、より簡単にユーザーの意図に沿った素材画像を抽出することができる画像編集装置を提供することができる。
【図面の簡単な説明】
【００１８】
【図１Ａ】本発明の実施形態の基本構成を示す図
【図１Ｂ】実施の形態１にかかるコンテデータ作成の概念図
【図２】実施の形態１にかかるＰＣの構成図
【図３】実施の形態１にかかる変換処理部の構成図
【図４】実施の形態１にかかる多重化処理のイメージ図
【図５】実施の形態１にかかる静止画ファイルの構造の概念図
【図６Ａ】実施の形態１にかかる動画ファイルの構造の一例を示す概念図
【図６Ｂ】実施の形態１にかかる動画ファイルの構造の他の例を示す概念図
【図７】実施の形態１にかかるデータベースの構造の概念図
【図８】実施の形態１にかかる液晶ディスプレイの選択画面のイメージ図
【図９Ａ】実施の形態１にかかる液晶ディスプレイのプレビュー画面のイメージ図
【図９Ｂ】実施の形態１にかかるテンプレートに記述される内容の一例を示す図である。
【図１０】実施の形態にかかるメインのフローチャート
【図１１】実施の形態１にかかるコンテ作成の詳細フローチャート
【図１２】実施の形態１にかかるストーリーデータに抽出データを配置し、コンテデータを作成する処理の詳細フローチャート
【図１３】実施の形態１にかかるグループシーン抽出（撮影日時）の概念図
【図１４】実施の形態１にかかる映像効果の一例を示すイメージ図
【図１５】実施の形態１にかかるグループシーンに対するデータセットの概念図
【図１６】他の実施形態にかかるグループシーン抽出（撮影場所）の概念図
【図１７】他の実施形態にかかるグループシーンに対する映像効果付与の概念図
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態を説明する。具体的な実施形態を説明する前に、まず、本発明の実施形態における基本構成を説明する。
【００２０】
図１Ａは、本発明の実施形態による画像編集装置１０の基本構成を示すブロック図である。画像編集装置１０は、外部の入力装置２０および表示装置３０に電気的に接続されて利用され得る。ここで、「電気的に接続される」場合には、銅線や光ファイバのようなケーブルで物理的に接続される場合のみならず、電磁波を介して情報が伝送される場合を含む。画像編集装置１０は、典型的にはパーソナルコンピュータ（以下、「ＰＣ」）や携帯情報端末といったプロセッサを備えた電子機器である。画像編集装置１０は、データセンター等に設置されたサーバーであってもよい。その場合、入力装置２０および表示装置３０は、遠隔地のユーザーが操作する電子機器に内蔵または接続された入出力デバイスであり得る。
【００２１】
画像編集装置１０は、複数の画像を用いて一連の画像群を生成する機能を備えている。ここで、「一連の画像群」とは、所定の演出効果を伴って連続的に表示される複数の画像によって構成される映像を意味する。当該映像には、複数の静止画および／または動画が１つずつ表示されるものに限らず、複数の静止画が同時に表示されるシーン、複数の動画が同時に表示されるシーン、および複数の静止画および動画が同時に表示されるシーンを含んでいてもよい。典型的な実施形態では、一連の画像群を構成する各画像は、個別の静止画ファイルまたは動画ファイルとして用意される。
【００２２】
「演出効果」とは、各画像を表示する際に施される装飾的効果であり、例えば、横からスライドしながら画面に表示されたり、拡大・縮小しながら画面に表示される、といった効果があり得る。複数の画像が同時に表示されるシーンでは、一部の画像が画面上で移動、拡大、縮小等の複雑な動作を行う効果もあり得る。
【００２３】
「画像」には、静止画像および動画像が含まれる。生成される一連の画像群に動画像が含まれる場合、当該動画像に割り当てられた再生時間の間だけ当該動画が再生され得る。各画像が、単独の写真、または複数の写真からなる動画である場合、一連の画像群は、「フォトムービー」と呼ぶことができる。
【００２４】
画像編集装置１０は、入力装置２０を介して一連の画像群に使用される候補となる候補画像を受け付ける入力インターフェース１１と、入力された情報に基づいて一連の画像群を生成する画像編集部１２とを備えている。
【００２５】
入力インターフェース１１は、入力装置２０から入力される情報を受け付けるデバイスであり、例えば、ＵＳＢポート、通信ポートであり得る。入力インターフェース１１に入力された情報は画像群生成部１２に転送される。あるいは、不図示のメモリに記録されてもよい。入力インターフェース１１には、編集対象としてユーザーなどによって指定された複数の候補画像が入力される。ここで、各候補画像には、固有の付属情報が付与されている。付属情報には、撮影時期、撮影場所、個人識別情報といった、その画像を特徴付けるパラメータが含まれ得る。
【００２６】
画像編集部１２は、指定された複数の候補画像から選択した複数の画像を用いて一連の画像群を生成する。生成した一連の画像群は、例えば、不図示のメモリに保存され、表示装置３０に表示され得る。画像編集部１２は、指定された複数の候補画像から付属情報に基づいて抽出された少なくとも２つの画像からなるグループごとに、固有の演出効果を付与して配列することにより、一連の画像群を生成する。
【００２７】
以上の構成により、関連性の高い複数の画像からなるグループごとに編集された一連の画像群を生成することが可能となる。これにより、ユーザーの意図を反映したより高品質な一連の画像群を容易に得ることができる。
【００２８】
以下、本発明のより具体的な実施の形態を説明する。
【００２９】
〔実施の形態１〕
まず、本発明の第１の実施の形態による画像編集装置を説明する。本実施の形態では、パーソナルコンピュータ（ＰＣ）が画像編集装置として機能する。本実施の形態にかかるＰＣは、任意の素材データ（静止画像および動画像）群を用いて、ストーリー構成と時間、素材の特性、ユーザーの意図を重視した編集を簡単に行うことができる。
【００３０】
本実施の形態では、編集結果として、フォトムービー（以下、単に「ムービー」と呼ぶことがある。）を作成する場合を説明する。
【００３１】
図１Ｂは、本実施形態におけるムービー作成処理の全体の流れを示す概念図である。図１Ｂには、候補となる素材データからムービー作成に使用される素材データを抽出し、ムービーの基本構造を示す「ストーリーデータ」、および当該ストーリーデータと抽出データとを関連付けた「コンテデータ」を作成するまでの流れが示されている。この図では、複数の静止画および動画からなる素材データを、それらの取得日時に基づいて時系列に配列した場合のイメージが示されている。ここで、動画は、映像と音声とに分けて図示されている。
【００３２】
本実施の形態に係るＰＣは、ムービー作成の際、ユーザーが選択した任意の素材データ（静止画像および動画像）群から、指定されたテンプレートに従い、所定時間のストーリーデータを作成する。
【００３３】
ＰＣはまず、素材データに含まれる静止画像および動画像の中から、ムービー作成に使用する画像データを抽出する（抽出データ）。抽出データに動画像が含まれる場合は、一連のストリームをそのまま使用すると再生時間が長くなってしまうため、必要な長さに分割した状態にて抽出される。
【００３４】
「テンプレート」とは、所定時間の物語を演出するために、連続して配置される映像の表示時間と、映像や映像間に付与する演出効果を記述したものである。ここで、映像とは、静止画像や動画像に対して指定の演出効果により一定時間再生される状態になった動画像である。
【００３５】
「ストーリーデータ」とは、表示する画像の個数と、各画像の表示時間と、各画像の演出効果を時間軸上に記述したものである。
【００３６】
「コンテデータ」とは、ストーリーデータに、ユーザーが選択した素材データ（静止画像、動画像）群の中からユーザーにとって重要と思われる映像を効果的に配置することにより作成されるデータである。ＰＣ１００は、このコンテデータに所定のエンコード処理を施すことによって動画ファイルに変換して出力することができる。
【００３７】
本実施の形態１にかかるＰＣ１００は、抽出データを選択するときに、互いに類似する付属情報を有する画像データ（複数の静止画像、複数の動画像、または静止画像および動画像の組み合わせ）について、グループシーンを設定し、グループシーン単位でムービー編集を行う。
【００３８】
以下、ＰＣ１００のシステムの構成および動作について詳細に説明する。
【００３９】
［１．システムの構成］
まず、ＰＣ１００の構成について図２を用いて説明する。図２は、ＰＣ１００の全体構成を示すブロック図である。
【００４０】
ＰＣ１００は、中央演算処理装置（ＣＰＵ）１０１、システム管理メモリ１０２、ワークメモリ１０３、ハードディスクドライブ（ＨＤＤ）１０４、ＵＳＢコネクタ１０７、グラフィックコントローラ１０８、液晶ディスプレイ１０９、カードスロット１１４を備えている。ＵＳＢコネクタ１０７には、マウス１０５およびキーボード１０６が接続され得る。ＰＣ１００は、図示されていない要素をさらに含み得るが、それらの要素は本発明の本質とは関係がないため、説明を省略する。本実施形態では、ＰＣ１００として液晶ディスプレイ１０９を備えたノートＰＣを想定しているが、デスクトップＰＣであってもよい。本実施の形態では、ＣＰＵ１０１が本発明における画像編集部の機能を有している。
【００４１】
ＣＰＵ１０１は、ＰＣ１００の処理を実行する処理部である。ＣＰＵ１０１は、システム管理メモリ１０２、ワークメモリ１０３、ＨＤＤ１０４、グラフィックコントローラ１０８、ＵＳＢコネクタ１０７に電気的に接続されている。ＣＰＵ１０１は、グラフィックコントローラ１０８を介して、液晶ディスプレイ１０９に表示される画面を変更することができる。また、ＣＰＵ１０１は、ＵＳＢコネクタ１０７を介して、マウス１０５やキーボード１０６を用いたユーザーによる操作情報を受け付ける。また、図示していないが、ＰＣ１００の各部に供給される電力等のシステムを全体的に制御している。
【００４２】
システム管理メモリ１０２は、オペレーティングシステム（ＯＳ）などが保持されているメモリである。また、システム管理メモリ１０２には、システム時刻などが格納されている。システム時刻は、ＣＰＵ１０１がＯＳのプログラムを動作させることにより更新される。
【００４３】
ワークメモリ１０３は、ＣＰＵ１０１が各種処理動作を実行するために必要な情報を一時的に格納するメモリである。ＣＰＵ１０１は、所定時間のストーリーデータを作成するとき、ワークメモリ１０３を作業スペースとして、ユーザーが指定したテンプレートに従って作成する。ワークメモリ１０３には、ユーザーが選択した素材データの情報、ユーザーが指定したテンプレートの情報、作成中のストーリーデータ、および作成したコンテデータ等が格納される。
【００４４】
ＨＤＤ１０４には、画像編集ソフト１１０、テンプレート１１１、素材データ１１２（複数の静止画像および動画像）、および素材データ１１２の情報を管理するデータベース１１３が格納されている。テンプレート１１１、素材データ１１２、およびデータベース１１３の詳細については、後述する。
【００４５】
マウス１０５は、ユーザーが編集操作時に使用するポインティングデバイスである。ユーザーは、マウス１０５を操作することにより、画像編集ソフト１１０の画面上において、素材データ１１２およびテンプレート１１１を選択することができる。
【００４６】
キーボード１０６は、ユーザーが編集操作時に文字入力などを行うためのキーボードデバイスである。
【００４７】
ＵＳＢコネクタ１０７は、マウス１０５とキーボード１０６とをＰＣ１００に接続するためのコネクタである。
【００４８】
グラフィックコントローラ１０８は、ＣＰＵ１０１によって演算された画面情報を映像化するデバイスであり、画面情報を液晶ディスプレイ１０９に伝える。
【００４９】
液晶ディスプレイ１０９は、グラフィックコントローラ１０８が映像化した画面情報を表示する表示デバイスである。なお、液晶ディスプレイ１０９に限らず、外付けディスプレイに画面情報を表示してもよい。
【００５０】
カードスロット１１４は、メモリカードを装着可能なインターフェースである。カードスロット１１４にメモリカードが装着されると、ＣＰＵ１０１は、メモリカードに格納されている画像データなどを読み込むことができる。また、ＣＰＵ１０１は、必要に応じて、メモリカードに格納された画像データなどを、ＨＤＤ１０４に書き込むことができる。
【００５１】
ＣＰＵ１０１は、ＨＤＤ１０４に格納された画像編集ソフト１１０を読み出し、ワークメモリ１０３に格納して、画像編集ソフト１１０を起動し実行する。また、ＣＰＵ１０１は、画像編集ソフト１１０のプログラムに従って、以下の処理を実行する。
（１）マウス１０５、キーボード１０６を用いて行われたユーザーの選択操作、編集操作を、ＵＳＢコネクタ１０７を介して受け付ける。
（２）作成するコンテデータについて、ユーザーが選択した素材データを読み出す。
（３）ユーザーが選択したテンプレート１１１の記述内容を読み出す。
（４）ユーザーが選択したテンプレート１１１の記述内容に従い、ユーザーが指定した所定時間のストーリーデータを作成する。
（５）ストーリーデータに、ユーザーが選択した素材データの中からユーザーにとって重要であると想定される映像を優先的に抽出し、効果的に配置することによりコンテデータを作成する。
（６）液晶ディスプレイ１０９に表示させるために、作成したコンテデータの画像情報をグラフィックコントローラ１０８に送出する。
（７）液晶ディスプレイ１０９でプレビューできるように、作成したコンテデータの内容に従い再生を行う。
【００５２】
素材データは所定のフォーマットで圧縮されていることがあるため、ＰＣ１００は圧縮された素材データを変換処理部１２０にてデコードする。本実施の形態においては、変換処理部１２０は、ＣＰＵ１０１の一処理機能として説明するが、本発明はこれに限定されない。すなわち、変換処理部１２０はＣＰＵ１０１の外部の機能として実施されてもよい。
【００５３】
［２．変換処理部の構成］
続いて、ＰＣ１００の変換処理部１２０の構成について図３を用いて説明する。変換処理部１２０は、ＨＤＤ１０４に圧縮符号化され格納された素材データ１１２の伸張復号化処理を実行する。変換処理部１２０は、多重化分離部２０１、ビデオデコーダ２０２、オーディオデコーダ２０３、ビデオエンコーダ２０４、オーディオエンコーダ２０５、多重化部２０６、静止画デコーダ２０７を有している。
【００５４】
多重化分離部２０１は、ＡＶＣＨＤ（登録商標）等のファイル形式で多重化されたＡＶストリームをビデオストリームとオーディオストリームとに分離する。分離されたビデオストリームはビデオデコーダ２０２に、分離したオーディオデータはオーディオデコーダ２０３に送られる。
【００５５】
ビデオデコーダ２０２は、多重化分離部２０１によりＡＶストリームから分離されたビデオストリームの伸張復号化を行う。オーディオデコーダ２０３は、多重化分離部２０１によりＡＶストリームから分離されたオーディオストリームの伸張復号化を行う。ビデオデコーダ２０２およびオーディオデコーダ２０３により伸長符号化された各データは、ワークメモリ１０３に格納される。ワークメモリ１０３に格納されたデータは、画像編集の際、必要に応じて取り出される。
【００５６】
ビデオエンコーダ２０４は、ビデオストリームを所定の動画記録フォーマットに従って圧縮符号化を行い、圧縮符号化したビデオストリームは多重化部２０６に送られる。同様に、オーディオエンコーダ２０５は、オーディオストリームを所定の音声記録フォーマットに従って圧縮符号化を行い、圧縮符号化したオーディオストリームは多重化部２０６に送られる。
【００５７】
多重化部２０６は、ビデオエンコーダ２０４から出力されたビデオストリームとオーディオエンコーダ２０５から出力されたオーディオストリームとを多重化して、ＡＶストリームを出力する。多重化部２０６から出力されたＡＶストリームは、ＨＤＤ１０４に格納される。
【００５８】
静止画デコーダ２０７は、圧縮符号化された静止画ストリームの伸張復号化を行う。図４は、多重化分離部２０１によりＡＶストリームをビデオストリームとオーディオストリームとに分離する様子、および多重化部２０６によりビデオストリームとオーディオストリームとをＡＶストリームに多重化する様子を示す。
【００５９】
ＡＶストリーム３０１は所定単位のデータ（Ｖｋ、Ａｋ）（ｋ＝１，２，・・・，ｎ）に、時間情報等を付加して作成したビデオパックＶとオーディオパックＡとを、同期再生が可能な１つのストリームに多重化したストリームである。ここでは、ビデオ用のＡＶＣＨＤ（登録商標）に互換性のあるストリームを例に説明する。多重化分離部２０１は、多重化されたＡＶストリーム３０１をビデオエレメンタリーストリーム３０２とオーディオエレメンタリーストリーム３０３とに分離するデータ処理を行う。また、多重化部２０６は、ビデオエレメンタリーストリーム３０２とオーディオエレメンタリーストリーム３０３とをＡＶストリーム３０１に多重化するデータ処理を行う。
【００６０】
［３．素材データの構造］
続いて、ＨＤＤ１０４に格納されている静止画像および動画像のファイル構造の例を説明する。
【００６１】
まず、静止画像のファイル構造について説明する。図５はＨＤＤ１０４に格納されている静止画像のファイル構造の一例を示している。ここでは、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅｆｏｒｍａｔ）を例に静止画像のファイル構造を説明する。
【００６２】
図示される静止画ファイルは、ヘッダ領域５１とデータ記録領域５２とを有している。ヘッダ領域５１には、このファイルを管理するための各種データが格納されている。ヘッダ領域５１には、圧縮データスタートを記憶する「ＳＯＩ」、およびアプリケーション・マーカセグメントを記憶する「ＡＰＰ１」の各領域が含まれている。データ記録領域５２には、量子化テーブルを記憶する領域「ＤＱＴ」、ハフマンテーブルを記憶する領域「ＤＨＴ」、フレームヘッダを記憶する領域「ＳＯＦ」、スキャンヘッダを記憶する領域「ＳＯＳ」、エントロピー符号化データ（圧縮データ）を記憶する領域およびエントロピー符号化データの終了を表すマーカーコード「ＥＯＩ」が含まれている。
【００６３】
ヘッダ領域５１の中の「ＡＰＰ１」には、さらに、ＡＰＰ１マーカ領域、Ｅｘｉｆ識別コードを記憶する領域、付属情報領域およびサムネイル領域が含まれている。ＡＰＰ１マーカ領域には、さらにＡＰＰ１マーカおよびＡＰＰ１の長さの各データを記憶する領域が含まれている。付属情報領域には、ＴＩＦＦヘッダ、０ｔｈ ＩＦＤ、および０ｔｈ ＩＦＤの値をそれぞれ記憶する領域が含まれている。これらの領域には、エントロピー符号化データによって表される画像（主画像）に関する付属情報（撮影日時、撮影場所、個人識別情報など）が格納されている。なお、主画像とは、Ｅｘｉｆ規格において１ファイルに含まれる２種類の画像（通常サイズの画像およびサムネイル画像）のうち、通常サイズの画像データのことである。サムネイル領域には、１ｓｔ ＩＦＤ 、１ｓｔ ＩＦＤの値および１ｓｔ ＩＦＤのサムネイル画像をそれぞれ記憶する領域が含まれている。
【００６４】
ＣＰＵ１０１は、必要に応じて処理対象のファイルを開き、付属情報領域内の０ｔｈ ＩＦＤの値を取得し、画像に関する付属情報（撮影日時、撮影場所、個人識別情報など）を把握することができる。なお、静止画ファイルのフォーマットはＥｘｉｆに限らず、付属情報を有するフォーマットであればどのようなものでもよい。
【００６５】
続いて、動画像のファイル構造について説明する。図６Ａ、６ＢはＨＤＤ１０４に格納されている動画像のファイル構造の例を示す。
【００６６】
図６Ａは、ＡＶＣＨＤ（登録商標）形式の動画像ファイルの構造を示している。ＡＶＣＨＤ形式の動画像ファイルは、圧縮動画データとは別のファイルでメタデータを管理している。メタデータには、画像に関する付属情報（撮影日時、撮影場所、個人識別情報など）が含まれている。
【００６７】
図６Ｂは、ＭＰ４形式の動画像ファイルの構造を示している。ＭＰ４形式の動画像ファイルは、圧縮動画データとメタデータとを同一のファイルで管理している。メタデータには、画像に関する付属情報（撮影日時、撮影場所、個人識別情報など）が含まれている。
【００６８】
なお、本発明においては、図６Ａ、６Ｂに示す動画像ファイル構造に限定されない。すなわち、圧縮画像データのストリーム内に、付属情報を格納するファイル構造であっても、ＣＰＵ１０１がその付属情報を読み出し可能であれば、本発明に適用可能である。
【００６９】
［４．データベースの構造］
ＰＣ１００は、編集対象となる素材データの情報をＨＤＤ１０４内のデータベース１１３に格納している。データベース１１３の構造について図７を用いて説明する。
【００７０】
図７は、データベース１１３の構造を示す概念図である。図示されるように、データベース１１３は、ＨＤＤ１０４に格納されている静止画像や動画像といった素材データ１１２の各々に関して、ＩＤ、ファイルパス、素材データの種類、フォーマット、撮影日時、記録時間、撮影場所などの格納領域を保持している。
【００７１】
ＩＤの格納領域は、素材データをユニークに管理するための番号を格納する。ファイルパスの格納領域は、素材データのＨＤＤ１０４内における保存場所の情報を格納する。素材データの種類の格納領域は、素材データが静止画なのか動画なのかを識別するための情報を格納する。フォーマットの格納領域は、素材データの圧縮符号化形式を格納する。撮影日時の格納領域は、素材データが撮影された日時情報を格納する。記録時間の格納領域は、素材データの再生時間を格納する。撮影場所の格納領域は、素材データが撮影された場所に関する情報を格納する。
【００７２】
ＣＰＵ１０１は、ＰＣ１００が新たに画像データを取得したタイミングにおいて、データベース１１３を更新する。例えば、カードスロット１１４に装着されたメモリカードから新規に静止画像や動画像を取得したタイミングや、ＵＳＢコネクタ１０７を介して他のストレージ機器から新規に静止画像や動画像を取得したタイミングにおいて、取得した画像のファイルを開く。ＣＰＵ１０１は、開いた画像ファイルから付属情報を読み出し、データベース１１３におけるその付属情報に対応する格納領域に、読み出した情報を追加することによってデータベース１１３を更新する。
【００７３】
［５．選択画面の構成］
続いて、液晶ディスプレイ１０９が表示する選択画面の構成について図８を参照しながら説明する。図８は、ＣＰＵ１０１の指示によりグラフィックコントローラ１０８が液晶ディスプレイ１０９に表示させる選択画面の一例を示す図である。
【００７４】
図８に示すように、液晶ディスプレイ１０９に表示される選択画面は、素材選択エリア７００、テンプレート選択エリア７０１、再生時間表示エリア７０３、実行ボタン７０２を含む。
【００７５】
素材選択エリア７００は、コンテデータを作成するための素材となる素材データを表示するエリアである。素材となる個々の素材データは、静止画像データまたは動画像データである。図８に示すように、素材選択エリア７００には、複数の素材データが表示される。
【００７６】
素材選択エリア７００に表示される素材データは、ＨＤＤ１０４に格納された素材データの全てでもよいし、特定のフォルダに格納された素材データのみを選択的に抽出したものでもよい。あるいは、特定のフォルダに格納された素材データの中から、更にユーザーにより選別された素材データを抽出したものでもよい。素材選択エリア７００に表示される素材データは、コンテ作成時に組み入れられる画像の候補となる。
【００７７】
素材選択のための構成としては、例えば素材選択エリア７００に素材選択用のボタンを設け、ユーザーがこのボタンを押下することによって素材を選択するための画面に遷移する構成であってもよいし、ドラッグアンドドロップによって画像ファイルを追加または削除できる構成であってもよい。
【００７８】
なお、素材選択エリア７００に表示された各素材データについて、コンテデータに組み入れたい素材データとしての優先度をユーザーが設定できるようにしてもよい。この場合、すべての素材データを採用できない場合（再生時間が短い場合など）に、優先度が高く設定された素材データを優先的に採用することができる。これにより、ユーザーが所望する画像を採用したコンテデータを作成することができる。
【００７９】
テンプレート選択エリア７０１は、ユーザーが選択可能なテンプレートを表示するエリアである。テンプレートはストーリーを作成する際に、どのような演出効果を、どのような順番にて連続して並べるかを記載した情報である。順番が記載された演出効果のそれぞれについて、どれだけの再生時間を割り当てるかが記述されている。ＣＰＵ１０１は、テンプレートに記載された演出効果の順番に従って、ユーザーが選択した候補の素材データから、所定のアルゴリズムにより、選択された素材を配置する。
【００８０】
ユーザーが選択可能なテンプレートとして、例えば図８に示すように、「人物中心のスローテンポテンプレート」、「人物中心のアップテンポテンプレート」、「風景中心のスローテンポテンプレート」、「風景中心のアップテンポテンプレート」等が表示される。各テンプレートの概要は以下のとおりである。
（１）「人物中心のスローテンポテンプレート」
人物が撮像された画像を中心に抽出し、スローテンポなＢＧＭに合わせた画像演出効果を用いて構成されたストーリーを記述したテンプレートである。
（２）「人物中心のアップテンポテンプレート」
人物が撮像された画像を中心に抽出し、アップテンポなＢＧＭに合わせた画像演出効果を用いて構成されたストーリーを記述したテンプレートである。
（３）「風景中心のスローテンポテンプレート」
風景が撮像された画像を中心に抽出し、スローテンポなＢＧＭに合わせた画像演出効果を用いて構成されたストーリーを記述したテンプレートである。
（４）「風景中心のアップテンポテンプレート」
風景が撮像された画像を中心に抽出し、アップテンポなＢＧＭに合わせた画像演出効果を用いて構成されたストーリーを記述したテンプレートである。
【００８１】
テンプレート表示エリア７０１の各テンプレート表示領域には、テンプレートのイメージを表す画像７１０、テンプレート名７１１、および当該テンプレートにデフォルトで設定されたＢＧＭの再生時間７１２が表示される。ユーザーはマウス１０５を操作することにより、複数種類のテンプレートの中から希望するテンプレートを選択することができる。このように、テンプレートを複数種類用意することで、ユーザーがテンプレートを変更することにより、作成するストーリーの雰囲気を変更することができる。なお、テンプレートの種類は、上記の例に限られず、さらに異なるテンプレートが用意されていてもよい。
【００８２】
再生時間表示エリア７０３は、作成するムービーの再生時間を表示する領域である。本実施形態では、再生時間は、テンプレートごとに設定されたデフォルトのＢＧＭの再生時間になるように設定される。テンプレートの選択により、デフォルトの再生時間が決定される。なお、再生時間を直接ユーザーが設定できるように、再生時間を設定するためのエリアを画面に設けてもよい。あるいは、ムービーとともに再生するＢＧＭを希望のものに変更するための機能を設け、そこでＢＧＭを変更することにより、変更後のＢＧＭの再生時間がムービーの再生時間に設定されるようにしてもよい。
【００８３】
以上の構成により、指定された再生時間に合わせて、素材データの選択、映像効果の付与、および全体の流れを考慮したストーリー作成の各処理を、初心者でも容易に実行することができる。
【００８４】
実行ボタン７０２は、コンテデータ作成のための候補となる素材データとテンプレートの選択を完了させるボタンである。ユーザーがマウス１０５を操作して実行ボタン７０２を押下すると、素材選択エリア７００で選択された素材データ、およびテンプレート選択エリア７０１で選択されたテンプレートに基づいてコンテデータが生成される。このときのコンテデータの生成動作のフローについての詳細は後述する。
【００８５】
［６．プレビュー画面の構成］
続いて、液晶ディスプレイ１０９が表示するプレビュー画面の構成について図９Ａを参照しながら説明する。図９Ａは、図８における実行ボタン７０２押下後に液晶ディスプレイ１０９に表示されるプレビュー画面のイメージを示す図である。図９Ａに示すように、液晶ディスプレイ１０９に表示されるプレビュー画面は、コンテ情報表示エリア８００、プレビューエリア８０１、ストーリーボードエリア８０２、コンテデータ保存ボタン８０３、およびファイル出力ボタン８０４を含む。
【００８６】
コンテ情報表示エリア８００は、選択画面でユーザーが選択した内容に関する情報を表示するエリアである。図９Ａに示す例では、表示する情報には、選択された素材データの個数、選択されたテンプレート名、再生時間、および出力形式の情報が含まれる。ここで、選択された素材データの個数とは、コンテデータに組み入れられる静止画の個数および動画の個数である。
【００８７】
ここに表示される静止画および動画の個数は、実際に使用される画像の数に限らず、使用される画像のうち、特に目立つ画像の数を表示してもよい。例えば、表示される時間が所定の時間よりも短い画像や、サイズが所定のサイズよりも小さい画像については個数としてカウントしないように構成されていてもよい。これらの個数は、指定されたテンプレートおよび再生時間に基づいて、ＣＰＵ１０１が計算する。なお、ユーザーが選択した候補画像の数が、テンプレートおよび再生時間に基づいて計算された使用画像数よりも少ない場合は、一部の画像が２回以上使用される。そのような画像は、１枚としてカウントされるのではなく、使用される回数だけ重複してカウントされる。図示してはいないが、コンテ情報表示エリア８００には、実際に採用された静止画および動画の個数の合計を合わせて表示するようにしてもよい。これにより、ユーザーは、候補画像数のうち、どれだけの画像が採用されたかを確認することができる。
【００８８】
プレビューエリア８０１は、作成したコンテデータの再生を実行する画面である。ユーザーは作成したコンテデータの内容を実際に映像で確認することができる。
【００８９】
ストーリーボードエリア８０２は、作成したコンテデータの内容を表示するエリアである。ストーリーボードエリア８０２には、複数の長方形（ａ、ｂ、・・・）が配列されており、それらの配列順序は、コンテデータ上の表示の順序に対応する。それぞれの長方形には、素材選択エリア７００に表示されていた画像から抽出した画像のいずれかが表示される。また、図示されてはいないが、映像と映像との間の切り替え効果を示すアイコンを合わせて表示してもよい。あるいは、各長方形に関連付けられた部分映像（シーン）を表示する際の再生時間を合わせて表示してもよい。これにより、ユーザーは、ストーリー上に、どの素材データが、どのような順序で、どのような演出効果で、どのような再生時間で配置されているかを確認することができる。
【００９０】
ストーリーボードエリア８０２における各長方形は、ムービーを構成する個々のシーンに対応している。各シーンは、１つまたは複数の画像から構成される。本明細書では、複数の画像から構成されるシーンを「グループシーン」と呼び、１つの画像から構成されるシーンを「非グループシーン」と呼ぶことがある。各グループシーンは、互いに関連性が高いと考えられる複数の画像から構成される。例えば、撮影日時が近い複数の画像、撮影場所が近い複数の画像、または被写体が共通する複数の画像などから構成され得る。グループシーンには、非グループシーンとは異なる専用の演出効果が付与される。例えば、複数の画像が同時に表示され、そのうちの少なくとも一部が移動、回転、拡大、または縮小する、といった演出効果が付与され得る。一方、非グループシーンは、単独の画像が移動、回転、拡大、または縮小する、といった演出効果が付与され得る。これらの演出効果の詳細については後述する。
【００９１】
グループシーン、非グループシーンのいずれも、シーンが切り替わる際には、テンプレートに予め規定された切り替え効果が付与され得る。切り替え効果には、例えばスライドイン、クロスフェード、回転、破裂といった効果があり得る。本明細書では、このような切り替え効果を含めて各シーンに付与される効果を「演出効果」と呼ぶ。
【００９２】
コンテデータ保存ボタン８０３は、マウス１０５の操作により選択することができる。ユーザーは、コンテデータ保存ボタン８０３を押下することにより、どの素材データが、どのような順序で、どのような演出効果で、どのような再生時間で配置されるかを管理したストーリー情報を、ＨＤＤ１０４に保存することができる。なお、図示していないが、例えば図８に示される選択画面のような上の階層の画面において、コンテデータ読出しボタンを設けておき、ここで保存したコンテデータを読み出せるように構成してもよい。
【００９３】
ファイル出力ボタン８０４は、マウス１０５の操作により選択することができる。ユーザーは、ファイル出力ボタン８０４を押下することにより、作成されたコンテデータに基づいて動画ファイルを作成することができる。具体的には、上述したように、ビデオエンコーダ２０４、オーディオエンコーダ２０５、多重化部２０６を動作させることにより、ＣＰＵ１０１は、動画ファイルを作成する。このとき作成される動画ファイルの出力形式は、予め使用者が選択できるようにしておいてもよい。すなわち、使用者がＡＶＣＨＤ（登録商標）ファイル形式を選択している場合は、ＡＶＣＨＤファイル形式の動画ファイルを作成する。上述のように、動画ファイルの形式は、ＡＶＣＨＤファイル形式に限られるものではなく、ＭＰ４やその他の形式であってもよい。
【００９４】
なお、図８、９に示す画面のレイアウトは一例であり、同様の機能が実現できれば、画面のレイアウトは任意である。
【００９５】
［７．テンプレートの構成情報］
続いて、テンプレートに記述される具体的な情報の例を説明する。図９Ｂは、本実施の形態にかかるテンプレートに記述される階層構造の一例を示す図である。
【００９６】
テンプレートは、前述のように、ストーリーを作成する際に、どのような切り替え効果を、どのような順番で連続して並べるかを規定する情報である。順番に並べられた切り替え効果のそれぞれについて、どれだけの再生時間を割り当てるかが記述されている。ＣＰＵ１０１は、テンプレートに記述された切り替え効果の順番に従って、選択した素材を連続して配置する。図９Ｂに示すように、本実施形態におけるテンプレートは、「繰り返しノード」と「効果ノード」とを有するツリー構造を有する。各効果ノードが個々のシーンに対応する。
【００９７】
図９Ｂに示されているテンプレートは、オープニング部、第一メイン部、第二メイン部、エンディング部を有する。なお、本実施の形態では、第一メイン部および第二メイン部の２つのメイン部がある場合を例に示すが、テンプレートは１つのメイン部のみを有していてもよいし、３つ以上のメイン部を有していてもよい。
【００９８】
オープニング部、第一メイン部、第二メイン部、エンディング部の各々は、「効果ノード」、および／または、効果ノードを１つ以上有する「繰り返しノード」から構成される。効果ノードは、シーンの再生時間情報と切り替え効果の種類を示す情報とを持つ。繰り返しノードは効果ノードおよび／または他の繰り返しノードを子ノードとしてもつことができるが、効果ノードは子ノードを持つことができない。各効果ノードに規定された再生時間および切り替え効果に従って、ＣＰＵ１０１は画像を表示する。繰り返しノードは、配下に属する効果ノードおよび／または繰り返しノードを、指定した回数だけ繰り返すための情報（繰り返し回数情報）を持つ。繰り返しノードは、子ノードに指定された一連のノード（子ノード１、子ノード２、・・・子ノードｎ）を順に複数回繰り返す。１回繰り返す場合は（子ノード１）→（子ノード２）→・・・→（子ノードｎ）という表示順序になり、２回繰り返す場合は（子ノード１）→（子ノード２）→・・・→（子ノードｎ）→（子ノード１）→（子ノード２）→・・・→（子ノードｎ）という表示順序になる。
【００９９】
オープニング部は、ユーザーがストーリーのタイトルテキストを画像に重畳することができるように、一枚あたりの画像の再生時間を長めにとるように記述されている。図９Ｂに示す例では、オープニング部は、２ｓｅｃの「Ａ．フェイドイン」効果の後に、１ｓｅｃの「Ｂ．クロスフェード」効果が続くように構成されている。オープニング部の各シーンが１個の画像のみから構成される場合、オープニング部には２個の画像が使用される。すなわち、液晶ディスプレイ１０９が黒い画面を表示しているところに、「Ａ．フェイドイン」効果によって第１の画像が画面に挿入され、２秒後に続けて「Ｂ．クロスフェード」効果によって第２の画像が画面に挿入される。
【０１００】
第一メイン部および第二メイン部は、ストーリーのメインとなる画像が配置されるので、段々盛り上がる切り替え効果が設定されるように記述されている。第二メイン部は、クライマックスなので、第一メイン部よりも派手な切り替え効果が設定されるように記述されている。図９Ｂに示す例では、第一メイン部は、１ｓｅｃの「Ｄ．スライドイン右」効果、１ｓｅｃの「Ｅ．スライドイン左」効果、１ｓｅｃの「Ｆ．スライドイン上」効果、１ｓｅｃの「Ｇ．スライドイン下」効果の４つの切り替え効果を子ノードとして有する。第一メイン部は、この４つの子ノードを繰り返す繰り返しノードＣにより構成されており、繰り返し回数は２回に初期設定されている。また、第二メイン部は、繰り返し回数が３回に設定された繰り返しノードＨから構成されている。繰り返しノードＨは、１ｓｅｃの「Ｉ．クロスフェード」効果を有する子ノードと、０．５ｓｅｃの「Ｋ．回転」効果を有する孫ノードおよび０．５ｓｅｃの「Ｌ．破裂」効果を有する孫ノードの２つの孫ノードを２回繰り返す繰り返しノードＪとを３回繰り返す。
【０１０１】
エンディング部は、ストーリーの最後を締めくくる画像が配置されるため、一枚あたりの画像の再生時間が比較的長くなるように設定される。図９Ｂに示す例では、エンディング部は、２ｓｅｃの「Ｍ．フェイドアウト」効果を有する画像によって構成される。
【０１０２】
以上のように、図９Ｂに示すテンプレートに初期設定されている繰り返し回数でストーリーを生成した場合、効果ノードを順に並べると、（Ａ．フェイドイン２ｓｅｃ）→（Ｂ．クロスフェード１ｓｅｃ）→（Ｄ．スライドイン右１ｓｅｃ）→（Ｅ．スライドイン左１ｓｅｃ）→（Ｆ．スライドイン上１ｓｅｃ）→（Ｇ．スライドイン下１ｓｅｃ）→（Ｄ．スライドイン右１ｓｅｃ）→（Ｅ．スライドイン左１ｓｅｃ）→（Ｆ．スライドイン上１ｓｅｃ）→（Ｇ．スライドイン下１ｓｅｃ）→（Ｉ．クロスフェード１ｓｅｃ）→（Ｋ．回転０．５ｓｅｃ）→（Ｌ．破裂０．５ｓｅｃ）→（Ｋ．回転０．５ｓｅｃ）→（Ｌ．破裂０．５ｓｅｃ）→（Ｉ．クロスフェード１ｓｅｃ）→（Ｋ．回転０．５ｓｅｃ）→（Ｌ．破裂０．５ｓｅｃ）→（Ｋ．回転０．５ｓｅｃ）→（Ｌ．破裂０．５ｓｅｃ）→（Ｉ．クロスフェード１ｓｅｃ）→（Ｋ．回転０．５ｓｅｃ）→（Ｌ．破裂０．５ｓｅｃ）→（Ｋ．回転０．５ｓｅｃ）→（Ｌ．破裂０．５ｓｅｃ）→（Ｍ．フェイドアウト２ｓｅｃ）となる。これらの表示時間を総計すると２２ｓｅｃとなる。以上のように、テンプレートは、繰り返しノードと効果ノードとを持つツリー構造を成している。
【０１０３】
テンプレートにデフォルトで設定された総再生時間よりも長い時間または短い時間がユーザーによって指定された場合、ＣＰＵ１０１は、総再生時間をユーザーが指定した時間に合わせる処理を行ってもよい。例えば、ＣＰＵ１０１は、テンプレートに含まれる繰り返しノードのうち、適当な長さの繰り返しノードの繰り返し回数を増減させることによって総再生時間をユーザーが指定した時間に合わせることができる。
【０１０４】
なお、以上のテンプレートの構成はあくまでも一例であり、本発明は、上記のようなテンプレートを用いる構成に限定されない。上記の例では、簡単のため、各シーンに付与される演出効果として切り替え効果のみを考慮したが、後述するように、切り替え効果以外の演出効果が付与され得る。本実施形態では、後述するように、切り替え効果以外の演出効果は、テンプレートとは異なる他のデータに記述されるが、テンプレートに記述されていてもよい。
【０１０５】
［８．コンテデータ作成動作］
続いて、選択された素材、選択されたテンプレート、設定されたＢＧＭに基づいて、コンテデータを作成する手順について説明する。図１０は、本実施の形態にかかるストーリー作成処理の概要を示すフローチャートである。
【０１０６】
まず、ユーザーは、コンテ作成の候補となる素材データ（候補画像）を選択する（Ｓ５００）。素材データが選択されると、ＣＰＵ１０１は、選択された素材データを素材選択エリア７００に表示する。なお、上述したとおり、ここから更に優先度をユーザーが設定するようにしてもよい。
【０１０７】
続いて、ユーザーは、コンテ作成に使用するテンプレートを選択する（Ｓ５０１）。テンプレートが選択されると、ＣＰＵ１０１は、テンプレート選択エリア７０１の該当のテンプレートを強調表示する。次に、ユーザーは、コンテ作成において、選択したテンプレートのデフォルトの再生時間を採用するか否かを判断する。選択したテンプレートのデフォルトの再生時間を採用しない場合は、ユーザーは任意の時間を指定する（Ｓ５０２）。時間の指定は、ユーザーが直接指定してもよいし、ユーザーが所望のＢＧＭを選択することによってその再生時間がムービーの総再生時間として設定されるように構成してもよい。ステップＳ５００からステップＳ５０２の動作は、順番が入れ替わっても構わない。
【０１０８】
コンテ作成に使用する素材データおよびテンプレートの選択、時間の指定を終えたら、ユーザーは実行ボタン７０２を押下することにより、選択内容を確定することができる（Ｓ５０５）。そして、ＣＰＵ１０１は、選択内容に従って、コンテを作成する（Ｓ５０６）。
【０１０９】
続いて、ステップＳ５０６におけるコンテ作成の詳細動作について説明する。図１１は、本実施の形態にかかるストーリーデータに、ユーザーが選択した素材データ（静止画像および動画像）群の中からユーザーにとって重要であると想定される画像からなる部分映像を効果的に配置し、コンテデータを作成する動作におけるメインのフローチャートである。
【０１１０】
まず、ＣＰＵ１０１は、ステップ５０１において選択されたテンプレートの情報を読み出す（Ｓ６００）。次に、ＣＰＵ１０１は、ステップ５０２においてユーザーが指定した再生時間を取得する（Ｓ６０１）。
【０１１１】
続いて、ＣＰＵ１０１は、テンプレートにデフォルトで規定された再生時間またはユーザーが指定した再生時間に合うように、テンプレートに記述されたストーリー情報に従い、ストーリーデータを作成する（Ｓ６０２）。このとき、ＣＰＵ１０１は、連続して配置される各シーンの映像の表示時間と、各シーンの映像や映像間に付与する演出効果とを合わせて記述したストーリーデータを作成する。ストーリーデータは、指定されたテンプレートと総再生時間とに基づいて決定される複数のシーンと、それらに関連付けられた演出効果とを、時間軸上に記述したデータである。
【０１１２】
次に、ＣＰＵ１０１は、Ｓ６０２において作成したストーリーデータに基づいて、ユーザーが選択した素材データ群の中から抽出された、テンプレートの条件に合致し、ユーザーにとって重要であると想定される画像（抽出データ）からなるシーンの映像を効果的に配置することにより、コンテデータを作成する（Ｓ６０３）。コンテデータは、ストーリーデータに含まれる情報に、各シーンに含まれる画像（重要画像）およびそれらに付与される演出効果の情報を加えたデータである。
【０１１３】
続いて、ステップＳ６０３におけるコンテデータ作成の詳細動作について図１２を参照しながら説明する。図１２は、ストーリーデータに抽出データを配置し、コンテデータを作成する処理の詳細を示すフローチャートである。
【０１１４】
本実施の形態にかかるＰＣ１００は、ユーザーが選択した素材データ群の中から、処理の基準となる静止画像を順次選択する。以下、この静止画像を「処理対象の静止画像」と呼ぶことがある。そして、処理対象の静止画像の撮影時刻の前後所定時間内に撮影された動画像部分を抽出したり、処理対象の静止画像の撮影時刻の前後所定時間内に撮影された静止画像を抽出する。抽出した静止画像と動画像との組合せは、同一のグループシーンとして編集される。同様に、抽出した静止画像と静止画像との組合せは、同一のグループシーンとして編集される。なお、本実施形態では静止画像を基準とするが、動画像を基準としてもよい。
【０１１５】
ＣＰＵ１０１は、素材選択エリア７００に含まれている素材データの中から、処理対象の静止画像を一枚選択する（Ｓ８００）。ＣＰＵ１０１は、処理対象の静止画像について付属情報を読み出す。この付属情報は、図７を参照しながら説明したとおり、データベース１１３の所定の格納領域に格納されている。ＣＰＵ１０１は、データベース１１３を読み込むことによって現在処理対象となっている静止画像の付属情報を把握する。
【０１１６】
続いて、ＣＰＵ１０１は、処理対象の静止画像以外の静止画像または動画像について、付属情報を読み出す。この付属情報についても同様に、データベース１１３の所定の格納領域に格納されており、ＣＰＵ１０１は、データベース１１３を読み込むことにより、処理対象の静止画像以外の静止画像または動画像についての付属情報を把握する。
【０１１７】
次に、ＣＰＵ１０１は、把握した処理対象の静止画像の付属情報に類似する付属情報を有する処理対象以外の静止画像または動画像を抽出する（Ｓ８０１）。続いて、ＣＰＵ１０１は、処理対象の静止画像と、抽出した静止画像または動画像とに基づいて、グループシーンを抽出する（Ｓ８０２）。以上の処理を、すべての静止画について完了するまで実行する（Ｓ８０３）。
【０１１８】
図１３は、ステップＳ８０２における撮影日時に基づくグループシーン抽出処理を示す概念図である。本実施の形態にかかるＰＣ１００においては、ＣＰＵ１０１は、抽出した静止画像または動画像の中から、処理対象の静止画像の撮影日時を基準にして所定時間Ｎ（ｓｅｃ）の範囲に撮影された処理対象以外の静止画像または動画像を、グループシーンを構成する画像として抽出する。
【０１１９】
図１３に示すグループシーン（Ａ）は、処理対象の静止画像を基準として、当該処理対象の静止画像の撮影日時から所定時間Ｎ（ｓｅｃ）の範囲に撮影された処理対象以外の静止画像を抽出したグループシーンである。すなわち、静止画像（ａ）を基準とした場合、静止画像（ｂ）は所定時間Ｎ（ｓｅｃ）の範囲内に存在するため、ＣＰＵ１０１は、静止画像（ａ）と静止画像（ｂ）とを同じグループシーンとして抽出する。静止画像（ｂ）を基準とした場合、静止画像（ａ）、静止画像（ｂ）、および静止画像（ｃ）は所定時間Ｎ（ｓｅｃ）の範囲内に存在するため、ＣＰＵ１０１は、静止画像（ａ）、静止画像（ｂ）、および静止画像（ｃ）を同じグループシーンとして抽出する。同様に、静止画像（ｃ）を基準とした場合、静止画像（ｂ）と静止画像（ｃ）とは所定時間Ｎ（ｓｅｃ）の範囲内に存在するため、ＣＰＵ１０１は、静止画像（ｂ）と静止画像（ｃ）とを同じグループとして抽出する。このとき、静止画像（ａ）を基準とした場合、グループシーンには静止画像（ｃ）が含まれない。同様に、静止画像（ｃ）を基準とした場合、グループシーンには静止画像（ａ）が含まれない。一方、静止画像（ｂ）を基準とした場合、グループシーンには静止画像（ａ）および静止画像（ｃ）の両者が含まれる。そのため、ＣＰＵ１０１は、各処理対象の静止画像を基準としたときに、同じグループシーンに含まれる他の静止画像について、当該他の静止画像を基準としたときに同じグループシーンとして抽出される静止画像についても、連鎖的に同じグループシーンとして抽出する。但し、何枚の静止画像を連鎖させるかについては、閾値が設けられていてもよい。閾値が設けられている場合、ＣＰＵ１０１は、設定されている閾値に従って、同じグループシーンに含まれる静止画像を閾値が示す範囲内で抽出する。以上のようにして、ＣＰＵ１０１は、ステップＳ８００からステップＳ８０３の処理において、静止画像（ａ）静止画像（ｂ）静止画像（ｃ）を、グループシーン（Ａ）として抽出する。
【０１２０】
グループシーン（Ｂ）は、静止画像（ｄ）が処理対象である場合に抽出されるグループシーンを表している。処理対象以外の動画像（ｇ）の全ストリームの中から、処理対象の静止画像（ｄ）の撮影日時から所定時間Ｎ（ｓｅｃ）の範囲内に撮影されているストリーム部分におけるビデオストリーム（ｅ）とオーディオストリーム（ｆ）とが抽出され、それらと静止画像（ｄ）とによってグループシーン（Ｂ）が構成される。ここでＣＰＵ１０１は、コンテデータのシーンに対して、後述する処理によって効果的な映像効果を割り当てる際に、動画像の編集の余裕を持たせるために、実際にコンテデータに採用する動画像の長さよりも長くなるようにストリーム部分を抽出してもよい。すなわち、図１３に示すように、静止画像（ｄ）を基準とした場合、ＣＰＵ１０１は、動画データ（ｇ）の撮影時間が静止画像（ｄ）の撮影時間を含んでいると判定する。そして、ＣＰＵ１０１は、静止画像（ｄ）の撮影日時から所定時間Ｎ（ｓｅｃ）の範囲に撮影されている動画データ（ｇ）のストリーム部分、すなわち、ビデオストリーム（ｅ）およびオーディオストリーム（ｆ）とから構成されるストリーム部分（一区間の動画）を抽出する。なお、ここでは動画データ（ｇ）の撮影日時が処理対象の静止画像（ｄ）の撮影日時を含む場合を例示したが、動画データの撮影日時が処理対象の静止画像の撮影日時を含まない場合であっても、処理対象の静止画像から所定時間Ｎ（ｓｅｃ）の範囲に撮影されている動画データが存在すれば、そのような動画データを抽出対象としてもよい。以上のように、ＣＰＵ１０１は、ステップＳ８００からステップＳ８０３の処理において、静止画像（ｄ）と、動画データ（ｇ）の部分ストリームを構成するビデオストリーム（ｅ）とオーディオストリーム（ｆ）とをグループシーン（Ｂ）として抽出する。
【０１２１】
なお、上記の例では、静止画を基準（処理対象）として同一グループに属する複数の画像が抽出されるが、動画像を処理対象として同様の処理を行ってもよい。すなわち、基準とする動画像が撮影された日時の近傍の日時に撮影された他の動画像または静止画像を同一グループとして扱ってもよい。また、動画像の撮影日時と再生時間とから、当該動画像が撮影された期間を特定し、その期間に撮影された他の静止画像や動画像を同一のグループに設定してもよい。
【０１２２】
従来のフォトムービー作成装置では、素材として動画像を選択するとき、ユーザーは、当該動画像の全ストリームの内容を確認しなければ好みのシーンを選ぶことができなかった。これに対し、本実施形態によれば、上記のようにグループシーンとして動画像および静止画像が自動的に抽出されるため、ユーザーは、好みのシーンをより簡単にムービーに組み込むことが可能になる。
【０１２３】
再び図１２を参照する。ＣＰＵ１０１は、素材選択エリア７００に含まれるすべての静止画像について、グループシーンの抽出が完了したか否かを判定する（Ｓ８０３）。ステップ８０３において、グループシーンの抽出が完了していないと判定されると、ＣＰＵ１０１は、素材選択エリア７００に含まれるすべての静止画像について、ステップＳ８００からステップＳ８０３の動作を繰り返す。ステップＳ８０３において、グループシーンの抽出が完了したと判定されると、ＣＰＵ１０１の動作はステップＳ８０４へと進む。
【０１２４】
ＣＰＵ１０１は、ストーリーに配置すべきシーンの個数を把握している。そのため、グループシーンの抽出が完了すると、ＣＰＵ１０１は、ストーリーに配置すべきシーンのうち、何個のシーンが既に割り当てられたかを把握することができる。またこのとき、ＣＰＵ１０１は、ストーリーに配置すべきシーンのうち、割り当てられていないシーンの個数も把握することができる。ＣＰＵ１０１は、ストーリー上において、映像をまだ割り当てていないシーンについて、配置する素材データを抽出することにより、非グループシーンを構成する画像を決定する（Ｓ８０４）。このとき、ＣＰＵ１０１は、以下の条件により、使用する素材を抽出する。
条件１：素材全体（静止画および動画像）から撮影日時に偏りがないように満遍なく選択する。
条件２：テンプレートとして、人物中心のものが選択されている場合は、人物が主な被写体となっている画像を優先的に選択する。
条件３：テンプレートとして、風景中心のものが選択されている場合は、風景が主な被写体となっている画像を優先的に選択する。
条件４：ステップＳ５００において選択された、素材選択エリア７００に表示されている画像に優先度が設定されている場合は、優先度が高い画像を優先的に選択する。
【０１２５】
なお、画像における主な被写体が人物であるか風景であるかの判定は、画像の特徴に基づいて公知の方法を用いて行うことができる。ＣＰＵ１０１は、そのような判定をコンテデータ作成の都度実行してもよいし、予め画像ごとに主な被写体が何であるかを示す情報をデータベース１１３に格納しておき、コンテデータ作成時にその情報を参照してもよい。
【０１２６】
以上の条件を考慮して、ＣＰＵ１０１は、図１３に示すように、非グループシーン（１）、非グループシーン（２）、非グループシーン（３）、非グループシーン（４）を抽出する。これにより、ＣＰＵ１０１は、ストーリーに割り当てるべき素材データの抽出動作を終了する。
【０１２７】
次にＣＰＵ１０１は、抽出結果に基づいて、素材データをストーリーに割り当てて、コンテデータを作成する（Ｓ８０５）。
【０１２８】
ＣＰＵ１０１は、ステップＳ８０５の動作を終えると、抽出した各グループシーンおよび各非グループシーンに対して、効果的な演出効果（映像効果）を割り当てる（Ｓ８０６）。非グループシーンについては、ＣＰＵ１０１は、テンプレートに定義されている映像効果をそのまま割り当てる。一方、グループシーンについては、ＣＰＵ１０１は、グループシーンを構成する静止画像、ビデオストリーム、オーディオストリームを用いて、グループシーン固有の映像効果を割り当てる。
【０１２９】
以下、ステップＳ８０６における各シーンに割り当てる映像効果について説明する。図１４は、映像効果の一例を示すイメージ図である。
【０１３０】
移動効果１４００は、画像１４０１を用いて、カメラワークのパンの動作を演出する映像効果である。ＣＰＵ１０１は、画像１４０１の開始位置１４０１ａから終了位置１４０１ｂまで、所定の時間移動するような映像を生成することにより、左から右にパンするような演出を付与することができる。画像１４０１は静止画像でもビデオストリームでもどちらでもよい。また、移動方向は上下左右斜めのどの方向に移動してもよい。この効果は、グループシーン、非グループシーンのいずれにも適用できる。
【０１３１】
縮小効果１４１０は、画像１４１１を用いて、カメラワークのズームアウトを演出する映像効果である。ＣＰＵ１０１は、画像１４１１の開始状態１４１１ａから終了状態１４１１ｂまで、所定の時間ズームアウトするような映像を生成することで、画面中心から次第に全体を表示する演出を付与することができる。この例でも画像１４１１は静止画像でもビデオストリームでもどちらでもよい。また、開始状態と終了状態とを入れ替えることにより、カメラワークのズームイン（拡大効果）を演出することも可能である。この効果は、グループシーン、非グループシーンのいずれにも適用できる。
【０１３２】
合成効果１４２０は、画像１４２１と画像１４２２とを用いて、複数の画像を重畳させた映像効果である。ＣＰＵ１０１は、画像１４２１と画像１４２２とを同一の表示領域（画面）に配置した所定時間の映像を生成することにより、複数の画像を重畳させた演出を加えることができる。画像１４２１および画像１４２２は静止画像でもビデオストリームでもどちらでもよい。この効果は、複数の画像が使用されるため、グループシーンのみに適用できる。
【０１３３】
ＣＰＵ１０１は、グループシーンに対しては、上記の移動効果１４００、縮小効果１４１０（または拡大効果）、合成効果１４２０を単体で割り当ててもよいし、複合して割り当ててもよい。例えば、合成効果１４２０の演出と同時に、少なくとも一部の画像について、移動効果１４００、縮小効果１４１０、拡大効果、および合成効果１４２０の少なくとも１つを割り当ててもよい。あるいは、上記の効果の他、少なくとも一部の画像について、回転、破裂などの複雑な動作をさせるような演出効果を付与してもよい。
【０１３４】
続いて、ステップＳ８０６におけるグループシーンに映像効果を付与する概念について説明する。図１５はステップＳ８０６において抽出したグループシーンにおけるデータセットの概念図である。
【０１３５】
グループシーン１５００は、ステップＳ８００からステップＳ８０３の動作で抽出されたグループシーンの一例である。このグループシーン１５００は、１枚の静止画と１区間の動画（ビデオストリームおよびオーディオストリーム）で構成されている。
【０１３６】
図１５に示す、データセット１５０１、データセット１５０２、データセット１５０３は、グループシーン１５００から選択されたデータセットの概念である。グループシーン１５００については、データセット１５０１、１５０２、１５０３のいずれかが実際のシーンの映像に採用される。
【０１３７】
データセット１５０１は、グループシーン１５００の構成要素のうち、静止画を使用せずに、ビデオストリームとオーディオストリームとを用いたデータセットである。このデータセット１５０１が採用された場合、静止画は使用されないが、ビデオストリームおよびオーディオストリームは使用される。使用されるビデオストリームおよびオーディオストリームは、当該静止画に近い撮影日時に撮影されたものである。静止画像と動画像とが近い撮影日時にて撮影されているということは、ユーザーにとって重要な被写体が撮影されている可能性が高いと考えられる。従って、このデータセット１５０１が採用された場合、静止画像は、ユーザーにとって重要な被写体が撮影されている動画ストリーム部分を抽出する切っ掛けとして使用される。
【０１３８】
データセット１５０２は、グループシーン１５００の構成要素のうち、ビデオストリームを使用せずに、静止画とオーディオストリームとを用いたデータセットである。このデータセット１５０２が採用された場合、静止画およびオーディオストリームのみが実際のシーンの映像に利用される。例えば、高解像度の静止画に対して移動効果１４００や縮小効果１４１０といった効果を適用することで、きれいな映像シーンに臨場感ある音声を合成した演出を付与することができる。図示される例では静止画は１つであるが、同一グループシーンに他の静止画像が含まれる場合には、共通するオーディオストリームに対して、同一グループシーンに含まれる複数の静止画像を使用してもよい。
【０１３９】
データセット１５０３は、グループシーン１５００の構成要素のうち、静止画、ビデオストリーム、およびオーディオストリームの全てを用いたデータセットである。このデータセット１５０３が採用された場合、静止画、ビデオストリーム、およびオーディオストリームの全てがシーンの映像に利用される。例えば、合成効果１４０２を適用して、高解像度の静止画および動きのあるビデオストリームを同時に表示し、かつ高解像度の静止画に対して移動効果１４００や縮小効果１４０１といった効果を適用しながら、オーディオストリームを再生することで、より情報量の多い映像を表現することができる。
【０１４０】
なお、データセットは上記の例に限定されず、例えば、複数の静止画像を含むデータセットや、複数の動画像を含むデータセットが含まれていてもよい。また、静止画像を含まないデータセットや、動画像を含まないデータセットが含まれていてもよい。
【０１４１】
ＣＰＵ１０１は、指定されているテンプレートの記述内容、または画像の解析結果に基づいて、いずれのデータセットを採用するかを決定する。画像の解析結果の例としては、画像の手振れ具合や、ピントボケ具合などがある。例えば、静止画像については、手振れ具合や、ピントボケ具合が良好ではないが、同じグループシーンに含まれるビデオデータの手振れ具合やピントボケ具合が良好である場合、ＣＰＵ１０１は、データセット１５０１を採用するようにしてもよい。逆に、ビデオデータについては、手振れ具合や、ピントボケ具合が良好ではないが、同じグループシーンに含まれる静止画像の手振れ具合やピントボケ具合が良好である場合、ＣＰＵ１０１は、データセット１５０２を採用するようにしてもよい。
【０１４２】
ＣＰＵ１０１は、採用したデータセットに対して、図１４に示したような演出効果を割り当てる。データセットの種類および付与する演出効果の内容は、シーンごとに異なっていてもよいし、共通する演出効果が複数のシーンに付与されていてもよい。このようにして、ＣＰＵ１０１は、ストーリーデータに抽出データ（データセット、静止画単体、動画像の一部分単体を含む）を配置し、コンテデータを作成する。そして、ＣＰＵ１０１は、作成したコンテデータについて、そのストーリー情報を保存したり、指定のファイル形式に従って動画ファイルを出力することができる。
【０１４３】
以上のようにして、ＣＰＵ１０１は、処理対象の静止画像の撮影日時に近い日時に撮影された他の静止画像または動画像の一部分を同じグループシーンとして抽出することができる。すなわち、ＣＰＵ１０１は、処理対象の静止画像を切っ掛けとして、コンテデータ編集に好適なシーンを容易かつ効果的に抽出することができる。これにより、ユーザーがコンテデータ編集操作を行う際の、採用する静止画像または動画像の抽出作業をより簡単にすることができる。また、静止画像および動画像をグループシーンとして抽出した結果、個々のグループシーンに好適な演出効果を割り当てることもできる。
【０１４４】
［９．他の実施の形態］
本発明は、上記実施の形態１に限定されず、他の実施の形態も考えられる。以下、他の実施の形態についてまとめて説明する。
【０１４５】
上記実施の形態においては、静止画像や動画像の付属情報として、撮影日時を使用する場合を説明したが、本発明はこれに限定されない。すなわち、静止画像や動画像の付属情報として、撮影場所や、個人識別情報を活用するようにしてもよい。図１２のフローチャートにおけるステップＳ８００からステップＳ８０３の動作において、付属情報として撮影場所や、個人識別情報を活用するようにしてもよい。同様に、図１２のフローチャートにおけるステップＳ８０６の動作について、付属情報として撮影場所や、個人識別情報を活用するようにしてもよい。
【０１４６】
図１６は、図１２のフローチャートにおけるステップＳ８００からステップＳ８０３の動作について、付属情報として撮影場所を活用する場合のグループシーン抽出を示す概念図である。図１６は、複数の静止画像および動画像を、撮影された場所に対応する地図上の位置にプロットした場合の一例を示している。この実施の形態にかかるＰＣ１００においては、ＣＰＵ１０１は、処理対象の静止画像の撮影場所を基準にして所定距離Ｍ（ｍ）の範囲に撮影された処理対象以外の静止画像または動画像をグループシーンとして抽出する。
【０１４７】
図１６に示す例では、グループシーン（Ａ´）は、基準となる処理対象の静止画像（ａ´）の撮影場所から所定距離Ｍ（ｍ）の範囲内で撮影された処理対象以外の静止画像（ｂ´）および（ｃ´）を含むグループシーンである。すなわち、静止画像（ａ´）を基準とした場合、静止画像（ｂ´）および静止画像（ｃ´）は所定距離Ｍ（ｍ）の範囲内に存在するため、ＣＰＵ１０１は、ステップＳ８００からステップＳ８０３の処理において、静止画像（ａ´）、静止画像（ｂ´）、静止画像（ｃ´）を同じグループシーン（Ａ´）を構成するものとして抽出する。このとき、静止画像（ｂ´）を基準にしたグループシーンには、静止画像（ｃ´）が含まれない。同様に、静止画像（ｃ´）を基準にしたグループシーンには、静止画像（ｂ´）が含まれないが、実施の形態１にて説明した撮影日時に基づく場合と同様に、同じグループシーンとする静止画像を連鎖的に抽出する。但し、この場合においても、何枚の静止画像を連鎖させるかについては、閾値を設けておき、ＣＰＵ１０１は、設定されている閾値に従って、同じグループシーンとする静止画像を抽出することが好ましい。
【０１４８】
グループシーン（Ｂ´）は、基準となる処理対象の静止画像（ｅ´）と、その静止画像（ｅ´）の撮影場所から所定距離Ｍ（ｍ）の範囲内で撮影された処理対象以外の動画像（ｆ´）とを含むグループシーンである。すなわち、静止画像（ｅ´）を基準とした場合、動画像（ｆ´）は所定距離Ｍ（ｍ）の範囲内に存在するため、ステップＳ８００からステップＳ８０３の処理において、静止画像（ｅ´）と動画像（ｆ´）とは、同一のグループシーン（Ｂ´）に属するものとして抽出される。このとき、ＣＰＵ１０１は、動画像（ｆ´）の全ストリームを一時的に抽出した後に、指定されたテンプレート、画像の解析結果、および撮影情報の少なくとも１つに基づいて、好適なストリームを最終的に採用することができる。
【０１４９】
図１７は、図１２のフローチャートにおけるステップＳ８０６の動作について、付属情報として撮影場所を活用する場合の、映像効果の付与の例を示す概念図である。図１７には、グループシーン（Ａ´）に対する演出効果の割り当ての一例と、グループシーン（Ｂ´）に対する演出効果の割り当ての一例とが示されている。
【０１５０】
まず、グループシーン（Ａ´）に割り当てられる演出効果の一例を説明する。この例では、撮影場所に基づく映像効果は、静止画像（ａ´）、静止画像（ｂ´）、静止画像（ｃ´）を撮影日時に基づいて整列して表示するとともに、同一地域の地図を同一画面に合成して表示する、という効果である。各静止画像が表示されている間、その静止画像の撮影場所情報に基づき、撮影場所を示すマークが地図上に重畳して表示される。これにより、同じグループシーンに含まれる複数の静止画像を表示しながら、地図上で撮影された位置を確認できる演出効果を提供することができる。なお、地図データは、ＰＣ１００内の記録媒体に保存されていてもよいし、インターネット上のサーバーのような遠隔地の機器から取得してもよい。各画像に付与された撮影場所情報から、撮影された場所の緯度および経度を特定することにより、各画像と地図上の位置とをマッピングすることができる。
【０１５１】
続いて、グループシーン（Ｂ´）に割り当てられる演出効果の一例を説明する。この例では、処理対象の静止画像（ｅ´）と、処理対象以外の動画像（ｆ´）のビデオストリームおよびオーディオストリームとを抽出したデータセットが採用されている。この例では、撮影場所に基づく映像効果は、静止画像（ｅ´）と、動画像（ｆ´）のビデオストリームの特定区間の映像とを合成し、動画像（ｆ´）のオーディオストリームを付与することにより、シーンの映像を生成する、という演出効果である。これにより、同じグループシーンに含まれる複数の画像に対して、まとまった演出効果を割り当てることができる。
【０１５２】
次に、付属情報として個人識別情報を利用する場合の例を説明する。この例では、図１２のフローチャートにおけるステップＳ８００からステップＳ８０３の動作や、ステップＳ８０６の動作について、ＣＰＵ１０１は、例えば以下のように動作するように構成される。
【０１５３】
ＣＰＵ１０１は、まず、候補画像の中から、同一人物（または動物）が被写体として写っている画像を同一のグループとして抽出する。画像中の被写体は、例えば公知の顔認識技術を用いて画像の特徴から判断できる。各画像の個人識別情報を予めデータベース１１３に記録しておけば、当該データベース１１３の該当する格納領域の情報に基づいて被写体を識別できる。
【０１５４】
個人識別情報を用いる場合、同一人物（動物）によるグループシーンが生成される。例えば、同一人物（動物）が写っていると判定された静止画像と、動画像に含まれるビデオストリームおよびオーディオストリームの特定区間とを用いて、合成効果１４２０のような演出効果を割り当てたシーンを生成できる。同一人物（動物）と判定するための候補や条件については、ステップＳ５００からステップＳ５０２のいずれかのステップにおいて、ユーザーが別途、ターゲットとする人物または動物を設定できるように構成してもよい。識別については、人物、動物以外のものであってもよく、識別のためのアルゴリズムは特定のものに限定されない。
【０１５５】
付属情報として、撮影時期、撮影場所、個人識別情報を用いる実施形態の他、撮影者を示す情報、撮影機種を示す情報、撮影モードを示す情報の少なくとも１つを用いる実施形態も可能である。例えば、撮影モードには、２Ｄ／３Ｄモード、夜景／室内モードなどの種々のモードがあり得る。このような撮影モードを付属情報として、同一または類似する撮影モードで撮影された複数の画像を１つのグループとして扱うことにより、より統一感のあるムービーを生成することができる。また、複数種類の付属情報を複合的に利用してグループを決定してもよい。上記実施形態のように、付属情報のいずれを使用するかは、テンプレートに依存するように構成してもよいし、優先する付属情報をユーザーが設定できるようにしてもよい。
【０１５６】
上記の実施形態では、ＰＣ１００が本発明における画像編集装置として機能するが、本発明は、このような実施形態に限定されない。画像編集装置は、上記の各処理を規定したプログラムを実行可能なプロセッサを有する任意の電子機器であってよい。上記の各処理を規定したプログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体に記録され、または電気通信回線を通じて流通され得る。また、例えばデータセンター等に配置されたサーバーに当該プログラムを実行させれば、所謂クラウドコンピューティングの形態で、遠隔地のユーザーにサービスを提供することもできる。また、上記の処理を実行するように構成されたビデオカメラをディスプレイに接続してムービーを表示させる形態も可能である。
【産業上の利用可能性】
【０１５７】
本発明は、画像の編集操作が可能な電子機器に関する。本発明はＰＣ１００への適用に限定されず、画像の編集操作が可能であれば、携帯電話、ビデオカメラ等の電子機器にも適用可能である。また、同様の機能を実行可能なプログラムを格納したＣＤやＤＶＤ等の記録メディアにも適用可能である。
【符号の説明】
【０１５８】
１０ 画像編集装置
１１ 入力インターフェース
１２ 画像編集部
２０ 入力装置
３０ 表示装置
１００ ＰＣ
１０１ ＣＰＵ
１０２ システム管理メモリ
１０３ ワークメモリ
１０４ ＨＤＤ
１０５ マウス
１０６ キーボード
１０７ ＵＳＢコネクタ
１０８ グラフィックコントローラ
１０９ 液晶ディスプレイ
１２０ 変換処理部
２０１ 多重化分離部
２０２ ビデオデコーダ
２０３ オーディオ出コーダ
２０４ ビデオエンコーダ
２０５ オーディオエンコーダ
２０６ 多重化部
２０７ 静止画デコーダ
【技術分野】
【０００１】
本発明は、複数の画像を組み合わせて連続表示用の一連の画像群の編集が可能な画像編集装置に関する。
【背景技術】
【０００２】
複数の静止画像および動画像を編集してフォトムービーを生成する電子機器やプログラムが知られている。例えば、特許文献１には、素材となる複数の静止画を組み合わせて観賞用のフォトムービーを作成するフォトムービー作成装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１５７１９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
フォトムービーのような連続表示するための画像群を構成するとき、表示エフェクト（各画像に付与される演出的効果）は連続表示される一連の画像群の見た目の印象に影響する。しかしながら、特許文献１に記載のフォトムービー作成装置では、ユーザーの意図に合致した一連の画像群を容易に作成することができない。
【０００５】
本発明の実施形態は、上記課題を鑑み、フォトムービーのような連続表示用の一連の画像群を作成するときに、より簡単にユーザーの意図に沿った素材画像を抽出することができる画像編集装置を提供する。
【課題を解決するための手段】
【０００６】
本発明の実施形態による画像編集装置は、各々が付属情報を有する複数の画像を組み合わせて一連の画像群を生成することができる。前記画像編集装置は、前記一連の画像群に使用される候補となる複数の候補画像を受け付ける入力インターフェースと、前記複数の候補画像から前記付属情報に基づいて抽出された少なくとも２つの画像からなるグループごとに、固有の演出効果を付与して配列することにより、前記一連の画像群を生成する画像編集部とを備える。
【０００７】
ある実施形態において、前記入力インターフェースは、ユーザーから、前記複数の候補画像、前記一連の画像群の総再生時間を規定する情報、および前記一連の画像群の構成を規定する情報を受け、前記画像編集部は、前記総再生時間を規定する情報と、前記構成を規定する情報とに基づいて、前記一連の画像群を構成する複数のシーンの各々の再生時間を決定する。
【０００８】
ある実施形態において、前記画像編集部は、前記複数の候補画像を、前記付属情報に基づいて、グループを構成するものとグループを構成しないものとに分類し、前記グループを構成するものを、グループごとに前記複数のシーンのいずれかに割り当て、前記グループを構成しないものの少なくとも一部を、画像ごとに前記複数のシーンの残りに割り当てる。
【０００９】
ある実施形態において、前記構成を規定する情報は、予め用意された複数のテンプレートからユーザーが１つを選択することによって決定される。
【００１０】
ある実施形態において、前記画像編集部は、前記複数の候補画像に含まれる静止画像または動画像に付与された付属情報の示す値を基準として、所定の範囲内に属する値の付属情報を有する他の静止画像または動画像を、前記複数の候補画像の中から検出する処理を実行することにより、前記グループを決定する。
【００１１】
ある実施形態において、前記画像編集部は、前記処理を、前記複数の候補画像に含まれる全ての静止画像または全ての動画像について実行することにより、前記グループを決定する。
【００１２】
ある実施形態において、前記グループごとに付与される前記演出効果は、前記グループに属する少なくとも２つの画像を同一の表示領域に表示させる効果を含む。
【００１３】
ある実施形態において、前記演出効果は、前記同一の表示領域に表示される前記少なくとも２つの画像の少なくとも１つが、移動、拡大、縮小の少なくとも１つの動作を行う効果を含む。
【００１４】
ある実施形態において、前記付属情報は、撮影時期を示す情報、撮影場所を示す情報、および被写体を識別する情報の少なくとも１つを含む。
【００１５】
本発明の実施形態による画像編集方法は、各々が付属情報を有する複数の画像を組み合わせて一連の画像群を生成する方法である。前記方法は、編集対象として指定された複数の候補画像を受け付けるステップと、前記複数の候補画像から前記付属情報に基づいて抽出された少なくとも２つの画像からなるグループごとに、固有の演出効果を付与して配列することにより、前記一連の画像群を生成するステップとを含む。
【００１６】
本発明の実施形態によるプログラムは、各々が付属情報を有する複数の画像を組み合わせて一連の画像群を生成するためのプログラムであって、コンピュータに対し、編集対象として指定された複数の候補画像を受け付けるステップと、前記複数の候補画像から前記付属情報に基づいて抽出された少なくとも２つの画像からなるグループごとに、固有の演出効果を付与して配列することにより、前記一連の画像群を生成するステップとを実行させる。
【発明の効果】
【００１７】
本発明によれば、フォトムービーのような連続表示用の一連の画像群を編集するときに、より簡単にユーザーの意図に沿った素材画像を抽出することができる画像編集装置を提供することができる。
【図面の簡単な説明】
【００１８】
【図１Ａ】本発明の実施形態の基本構成を示す図
【図１Ｂ】実施の形態１にかかるコンテデータ作成の概念図
【図２】実施の形態１にかかるＰＣの構成図
【図３】実施の形態１にかかる変換処理部の構成図
【図４】実施の形態１にかかる多重化処理のイメージ図
【図５】実施の形態１にかかる静止画ファイルの構造の概念図
【図６Ａ】実施の形態１にかかる動画ファイルの構造の一例を示す概念図
【図６Ｂ】実施の形態１にかかる動画ファイルの構造の他の例を示す概念図
【図７】実施の形態１にかかるデータベースの構造の概念図
【図８】実施の形態１にかかる液晶ディスプレイの選択画面のイメージ図
【図９Ａ】実施の形態１にかかる液晶ディスプレイのプレビュー画面のイメージ図
【図９Ｂ】実施の形態１にかかるテンプレートに記述される内容の一例を示す図である。
【図１０】実施の形態にかかるメインのフローチャート
【図１１】実施の形態１にかかるコンテ作成の詳細フローチャート
【図１２】実施の形態１にかかるストーリーデータに抽出データを配置し、コンテデータを作成する処理の詳細フローチャート
【図１３】実施の形態１にかかるグループシーン抽出（撮影日時）の概念図
【図１４】実施の形態１にかかる映像効果の一例を示すイメージ図
【図１５】実施の形態１にかかるグループシーンに対するデータセットの概念図
【図１６】他の実施形態にかかるグループシーン抽出（撮影場所）の概念図
【図１７】他の実施形態にかかるグループシーンに対する映像効果付与の概念図
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態を説明する。具体的な実施形態を説明する前に、まず、本発明の実施形態における基本構成を説明する。
【００２０】
図１Ａは、本発明の実施形態による画像編集装置１０の基本構成を示すブロック図である。画像編集装置１０は、外部の入力装置２０および表示装置３０に電気的に接続されて利用され得る。ここで、「電気的に接続される」場合には、銅線や光ファイバのようなケーブルで物理的に接続される場合のみならず、電磁波を介して情報が伝送される場合を含む。画像編集装置１０は、典型的にはパーソナルコンピュータ（以下、「ＰＣ」）や携帯情報端末といったプロセッサを備えた電子機器である。画像編集装置１０は、データセンター等に設置されたサーバーであってもよい。その場合、入力装置２０および表示装置３０は、遠隔地のユーザーが操作する電子機器に内蔵または接続された入出力デバイスであり得る。
【００２１】
画像編集装置１０は、複数の画像を用いて一連の画像群を生成する機能を備えている。ここで、「一連の画像群」とは、所定の演出効果を伴って連続的に表示される複数の画像によって構成される映像を意味する。当該映像には、複数の静止画および／または動画が１つずつ表示されるものに限らず、複数の静止画が同時に表示されるシーン、複数の動画が同時に表示されるシーン、および複数の静止画および動画が同時に表示されるシーンを含んでいてもよい。典型的な実施形態では、一連の画像群を構成する各画像は、個別の静止画ファイルまたは動画ファイルとして用意される。
【００２２】
「演出効果」とは、各画像を表示する際に施される装飾的効果であり、例えば、横からスライドしながら画面に表示されたり、拡大・縮小しながら画面に表示される、といった効果があり得る。複数の画像が同時に表示されるシーンでは、一部の画像が画面上で移動、拡大、縮小等の複雑な動作を行う効果もあり得る。
【００２３】
「画像」には、静止画像および動画像が含まれる。生成される一連の画像群に動画像が含まれる場合、当該動画像に割り当てられた再生時間の間だけ当該動画が再生され得る。各画像が、単独の写真、または複数の写真からなる動画である場合、一連の画像群は、「フォトムービー」と呼ぶことができる。
【００２４】
画像編集装置１０は、入力装置２０を介して一連の画像群に使用される候補となる候補画像を受け付ける入力インターフェース１１と、入力された情報に基づいて一連の画像群を生成する画像編集部１２とを備えている。
【００２５】
入力インターフェース１１は、入力装置２０から入力される情報を受け付けるデバイスであり、例えば、ＵＳＢポート、通信ポートであり得る。入力インターフェース１１に入力された情報は画像群生成部１２に転送される。あるいは、不図示のメモリに記録されてもよい。入力インターフェース１１には、編集対象としてユーザーなどによって指定された複数の候補画像が入力される。ここで、各候補画像には、固有の付属情報が付与されている。付属情報には、撮影時期、撮影場所、個人識別情報といった、その画像を特徴付けるパラメータが含まれ得る。
【００２６】
画像編集部１２は、指定された複数の候補画像から選択した複数の画像を用いて一連の画像群を生成する。生成した一連の画像群は、例えば、不図示のメモリに保存され、表示装置３０に表示され得る。画像編集部１２は、指定された複数の候補画像から付属情報に基づいて抽出された少なくとも２つの画像からなるグループごとに、固有の演出効果を付与して配列することにより、一連の画像群を生成する。
【００２７】
以上の構成により、関連性の高い複数の画像からなるグループごとに編集された一連の画像群を生成することが可能となる。これにより、ユーザーの意図を反映したより高品質な一連の画像群を容易に得ることができる。
【００２８】
以下、本発明のより具体的な実施の形態を説明する。
【００２９】
〔実施の形態１〕
まず、本発明の第１の実施の形態による画像編集装置を説明する。本実施の形態では、パーソナルコンピュータ（ＰＣ）が画像編集装置として機能する。本実施の形態にかかるＰＣは、任意の素材データ（静止画像および動画像）群を用いて、ストーリー構成と時間、素材の特性、ユーザーの意図を重視した編集を簡単に行うことができる。
【００３０】
本実施の形態では、編集結果として、フォトムービー（以下、単に「ムービー」と呼ぶことがある。）を作成する場合を説明する。
【００３１】
図１Ｂは、本実施形態におけるムービー作成処理の全体の流れを示す概念図である。図１Ｂには、候補となる素材データからムービー作成に使用される素材データを抽出し、ムービーの基本構造を示す「ストーリーデータ」、および当該ストーリーデータと抽出データとを関連付けた「コンテデータ」を作成するまでの流れが示されている。この図では、複数の静止画および動画からなる素材データを、それらの取得日時に基づいて時系列に配列した場合のイメージが示されている。ここで、動画は、映像と音声とに分けて図示されている。
【００３２】
本実施の形態に係るＰＣは、ムービー作成の際、ユーザーが選択した任意の素材データ（静止画像および動画像）群から、指定されたテンプレートに従い、所定時間のストーリーデータを作成する。
【００３３】
ＰＣはまず、素材データに含まれる静止画像および動画像の中から、ムービー作成に使用する画像データを抽出する（抽出データ）。抽出データに動画像が含まれる場合は、一連のストリームをそのまま使用すると再生時間が長くなってしまうため、必要な長さに分割した状態にて抽出される。
【００３４】
「テンプレート」とは、所定時間の物語を演出するために、連続して配置される映像の表示時間と、映像や映像間に付与する演出効果を記述したものである。ここで、映像とは、静止画像や動画像に対して指定の演出効果により一定時間再生される状態になった動画像である。
【００３５】
「ストーリーデータ」とは、表示する画像の個数と、各画像の表示時間と、各画像の演出効果を時間軸上に記述したものである。
【００３６】
「コンテデータ」とは、ストーリーデータに、ユーザーが選択した素材データ（静止画像、動画像）群の中からユーザーにとって重要と思われる映像を効果的に配置することにより作成されるデータである。ＰＣ１００は、このコンテデータに所定のエンコード処理を施すことによって動画ファイルに変換して出力することができる。
【００３７】
本実施の形態１にかかるＰＣ１００は、抽出データを選択するときに、互いに類似する付属情報を有する画像データ（複数の静止画像、複数の動画像、または静止画像および動画像の組み合わせ）について、グループシーンを設定し、グループシーン単位でムービー編集を行う。
【００３８】
以下、ＰＣ１００のシステムの構成および動作について詳細に説明する。
【００３９】
［１．システムの構成］
まず、ＰＣ１００の構成について図２を用いて説明する。図２は、ＰＣ１００の全体構成を示すブロック図である。
【００４０】
ＰＣ１００は、中央演算処理装置（ＣＰＵ）１０１、システム管理メモリ１０２、ワークメモリ１０３、ハードディスクドライブ（ＨＤＤ）１０４、ＵＳＢコネクタ１０７、グラフィックコントローラ１０８、液晶ディスプレイ１０９、カードスロット１１４を備えている。ＵＳＢコネクタ１０７には、マウス１０５およびキーボード１０６が接続され得る。ＰＣ１００は、図示されていない要素をさらに含み得るが、それらの要素は本発明の本質とは関係がないため、説明を省略する。本実施形態では、ＰＣ１００として液晶ディスプレイ１０９を備えたノートＰＣを想定しているが、デスクトップＰＣであってもよい。本実施の形態では、ＣＰＵ１０１が本発明における画像編集部の機能を有している。
【００４１】
ＣＰＵ１０１は、ＰＣ１００の処理を実行する処理部である。ＣＰＵ１０１は、システム管理メモリ１０２、ワークメモリ１０３、ＨＤＤ１０４、グラフィックコントローラ１０８、ＵＳＢコネクタ１０７に電気的に接続されている。ＣＰＵ１０１は、グラフィックコントローラ１０８を介して、液晶ディスプレイ１０９に表示される画面を変更することができる。また、ＣＰＵ１０１は、ＵＳＢコネクタ１０７を介して、マウス１０５やキーボード１０６を用いたユーザーによる操作情報を受け付ける。また、図示していないが、ＰＣ１００の各部に供給される電力等のシステムを全体的に制御している。
【００４２】
システム管理メモリ１０２は、オペレーティングシステム（ＯＳ）などが保持されているメモリである。また、システム管理メモリ１０２には、システム時刻などが格納されている。システム時刻は、ＣＰＵ１０１がＯＳのプログラムを動作させることにより更新される。
【００４３】
ワークメモリ１０３は、ＣＰＵ１０１が各種処理動作を実行するために必要な情報を一時的に格納するメモリである。ＣＰＵ１０１は、所定時間のストーリーデータを作成するとき、ワークメモリ１０３を作業スペースとして、ユーザーが指定したテンプレートに従って作成する。ワークメモリ１０３には、ユーザーが選択した素材データの情報、ユーザーが指定したテンプレートの情報、作成中のストーリーデータ、および作成したコンテデータ等が格納される。
【００４４】
ＨＤＤ１０４には、画像編集ソフト１１０、テンプレート１１１、素材データ１１２（複数の静止画像および動画像）、および素材データ１１２の情報を管理するデータベース１１３が格納されている。テンプレート１１１、素材データ１１２、およびデータベース１１３の詳細については、後述する。
【００４５】
マウス１０５は、ユーザーが編集操作時に使用するポインティングデバイスである。ユーザーは、マウス１０５を操作することにより、画像編集ソフト１１０の画面上において、素材データ１１２およびテンプレート１１１を選択することができる。
【００４６】
キーボード１０６は、ユーザーが編集操作時に文字入力などを行うためのキーボードデバイスである。
【００４７】
ＵＳＢコネクタ１０７は、マウス１０５とキーボード１０６とをＰＣ１００に接続するためのコネクタである。
【００４８】
グラフィックコントローラ１０８は、ＣＰＵ１０１によって演算された画面情報を映像化するデバイスであり、画面情報を液晶ディスプレイ１０９に伝える。
【００４９】
液晶ディスプレイ１０９は、グラフィックコントローラ１０８が映像化した画面情報を表示する表示デバイスである。なお、液晶ディスプレイ１０９に限らず、外付けディスプレイに画面情報を表示してもよい。
【００５０】
カードスロット１１４は、メモリカードを装着可能なインターフェースである。カードスロット１１４にメモリカードが装着されると、ＣＰＵ１０１は、メモリカードに格納されている画像データなどを読み込むことができる。また、ＣＰＵ１０１は、必要に応じて、メモリカードに格納された画像データなどを、ＨＤＤ１０４に書き込むことができる。
【００５１】
ＣＰＵ１０１は、ＨＤＤ１０４に格納された画像編集ソフト１１０を読み出し、ワークメモリ１０３に格納して、画像編集ソフト１１０を起動し実行する。また、ＣＰＵ１０１は、画像編集ソフト１１０のプログラムに従って、以下の処理を実行する。
（１）マウス１０５、キーボード１０６を用いて行われたユーザーの選択操作、編集操作を、ＵＳＢコネクタ１０７を介して受け付ける。
（２）作成するコンテデータについて、ユーザーが選択した素材データを読み出す。
（３）ユーザーが選択したテンプレート１１１の記述内容を読み出す。
（４）ユーザーが選択したテンプレート１１１の記述内容に従い、ユーザーが指定した所定時間のストーリーデータを作成する。
（５）ストーリーデータに、ユーザーが選択した素材データの中からユーザーにとって重要であると想定される映像を優先的に抽出し、効果的に配置することによりコンテデータを作成する。
（６）液晶ディスプレイ１０９に表示させるために、作成したコンテデータの画像情報をグラフィックコントローラ１０８に送出する。
（７）液晶ディスプレイ１０９でプレビューできるように、作成したコンテデータの内容に従い再生を行う。
【００５２】
素材データは所定のフォーマットで圧縮されていることがあるため、ＰＣ１００は圧縮された素材データを変換処理部１２０にてデコードする。本実施の形態においては、変換処理部１２０は、ＣＰＵ１０１の一処理機能として説明するが、本発明はこれに限定されない。すなわち、変換処理部１２０はＣＰＵ１０１の外部の機能として実施されてもよい。
【００５３】
［２．変換処理部の構成］
続いて、ＰＣ１００の変換処理部１２０の構成について図３を用いて説明する。変換処理部１２０は、ＨＤＤ１０４に圧縮符号化され格納された素材データ１１２の伸張復号化処理を実行する。変換処理部１２０は、多重化分離部２０１、ビデオデコーダ２０２、オーディオデコーダ２０３、ビデオエンコーダ２０４、オーディオエンコーダ２０５、多重化部２０６、静止画デコーダ２０７を有している。
【００５４】
多重化分離部２０１は、ＡＶＣＨＤ（登録商標）等のファイル形式で多重化されたＡＶストリームをビデオストリームとオーディオストリームとに分離する。分離されたビデオストリームはビデオデコーダ２０２に、分離したオーディオデータはオーディオデコーダ２０３に送られる。
【００５５】
ビデオデコーダ２０２は、多重化分離部２０１によりＡＶストリームから分離されたビデオストリームの伸張復号化を行う。オーディオデコーダ２０３は、多重化分離部２０１によりＡＶストリームから分離されたオーディオストリームの伸張復号化を行う。ビデオデコーダ２０２およびオーディオデコーダ２０３により伸長符号化された各データは、ワークメモリ１０３に格納される。ワークメモリ１０３に格納されたデータは、画像編集の際、必要に応じて取り出される。
【００５６】
ビデオエンコーダ２０４は、ビデオストリームを所定の動画記録フォーマットに従って圧縮符号化を行い、圧縮符号化したビデオストリームは多重化部２０６に送られる。同様に、オーディオエンコーダ２０５は、オーディオストリームを所定の音声記録フォーマットに従って圧縮符号化を行い、圧縮符号化したオーディオストリームは多重化部２０６に送られる。
【００５７】
多重化部２０６は、ビデオエンコーダ２０４から出力されたビデオストリームとオーディオエンコーダ２０５から出力されたオーディオストリームとを多重化して、ＡＶストリームを出力する。多重化部２０６から出力されたＡＶストリームは、ＨＤＤ１０４に格納される。
【００５８】
静止画デコーダ２０７は、圧縮符号化された静止画ストリームの伸張復号化を行う。図４は、多重化分離部２０１によりＡＶストリームをビデオストリームとオーディオストリームとに分離する様子、および多重化部２０６によりビデオストリームとオーディオストリームとをＡＶストリームに多重化する様子を示す。
【００５９】
ＡＶストリーム３０１は所定単位のデータ（Ｖｋ、Ａｋ）（ｋ＝１，２，・・・，ｎ）に、時間情報等を付加して作成したビデオパックＶとオーディオパックＡとを、同期再生が可能な１つのストリームに多重化したストリームである。ここでは、ビデオ用のＡＶＣＨＤ（登録商標）に互換性のあるストリームを例に説明する。多重化分離部２０１は、多重化されたＡＶストリーム３０１をビデオエレメンタリーストリーム３０２とオーディオエレメンタリーストリーム３０３とに分離するデータ処理を行う。また、多重化部２０６は、ビデオエレメンタリーストリーム３０２とオーディオエレメンタリーストリーム３０３とをＡＶストリーム３０１に多重化するデータ処理を行う。
【００６０】
［３．素材データの構造］
続いて、ＨＤＤ１０４に格納されている静止画像および動画像のファイル構造の例を説明する。
【００６１】
まず、静止画像のファイル構造について説明する。図５はＨＤＤ１０４に格納されている静止画像のファイル構造の一例を示している。ここでは、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅｆｏｒｍａｔ）を例に静止画像のファイル構造を説明する。
【００６２】
図示される静止画ファイルは、ヘッダ領域５１とデータ記録領域５２とを有している。ヘッダ領域５１には、このファイルを管理するための各種データが格納されている。ヘッダ領域５１には、圧縮データスタートを記憶する「ＳＯＩ」、およびアプリケーション・マーカセグメントを記憶する「ＡＰＰ１」の各領域が含まれている。データ記録領域５２には、量子化テーブルを記憶する領域「ＤＱＴ」、ハフマンテーブルを記憶する領域「ＤＨＴ」、フレームヘッダを記憶する領域「ＳＯＦ」、スキャンヘッダを記憶する領域「ＳＯＳ」、エントロピー符号化データ（圧縮データ）を記憶する領域およびエントロピー符号化データの終了を表すマーカーコード「ＥＯＩ」が含まれている。
【００６３】
ヘッダ領域５１の中の「ＡＰＰ１」には、さらに、ＡＰＰ１マーカ領域、Ｅｘｉｆ識別コードを記憶する領域、付属情報領域およびサムネイル領域が含まれている。ＡＰＰ１マーカ領域には、さらにＡＰＰ１マーカおよびＡＰＰ１の長さの各データを記憶する領域が含まれている。付属情報領域には、ＴＩＦＦヘッダ、０ｔｈ ＩＦＤ、および０ｔｈ ＩＦＤの値をそれぞれ記憶する領域が含まれている。これらの領域には、エントロピー符号化データによって表される画像（主画像）に関する付属情報（撮影日時、撮影場所、個人識別情報など）が格納されている。なお、主画像とは、Ｅｘｉｆ規格において１ファイルに含まれる２種類の画像（通常サイズの画像およびサムネイル画像）のうち、通常サイズの画像データのことである。サムネイル領域には、１ｓｔ ＩＦＤ 、１ｓｔ ＩＦＤの値および１ｓｔ ＩＦＤのサムネイル画像をそれぞれ記憶する領域が含まれている。
【００６４】
ＣＰＵ１０１は、必要に応じて処理対象のファイルを開き、付属情報領域内の０ｔｈ ＩＦＤの値を取得し、画像に関する付属情報（撮影日時、撮影場所、個人識別情報など）を把握することができる。なお、静止画ファイルのフォーマットはＥｘｉｆに限らず、付属情報を有するフォーマットであればどのようなものでもよい。
【００６５】
続いて、動画像のファイル構造について説明する。図６Ａ、６ＢはＨＤＤ１０４に格納されている動画像のファイル構造の例を示す。
【００６６】
図６Ａは、ＡＶＣＨＤ（登録商標）形式の動画像ファイルの構造を示している。ＡＶＣＨＤ形式の動画像ファイルは、圧縮動画データとは別のファイルでメタデータを管理している。メタデータには、画像に関する付属情報（撮影日時、撮影場所、個人識別情報など）が含まれている。
【００６７】
図６Ｂは、ＭＰ４形式の動画像ファイルの構造を示している。ＭＰ４形式の動画像ファイルは、圧縮動画データとメタデータとを同一のファイルで管理している。メタデータには、画像に関する付属情報（撮影日時、撮影場所、個人識別情報など）が含まれている。
【００６８】
なお、本発明においては、図６Ａ、６Ｂに示す動画像ファイル構造に限定されない。すなわち、圧縮画像データのストリーム内に、付属情報を格納するファイル構造であっても、ＣＰＵ１０１がその付属情報を読み出し可能であれば、本発明に適用可能である。
【００６９】
［４．データベースの構造］
ＰＣ１００は、編集対象となる素材データの情報をＨＤＤ１０４内のデータベース１１３に格納している。データベース１１３の構造について図７を用いて説明する。
【００７０】
図７は、データベース１１３の構造を示す概念図である。図示されるように、データベース１１３は、ＨＤＤ１０４に格納されている静止画像や動画像といった素材データ１１２の各々に関して、ＩＤ、ファイルパス、素材データの種類、フォーマット、撮影日時、記録時間、撮影場所などの格納領域を保持している。
【００７１】
ＩＤの格納領域は、素材データをユニークに管理するための番号を格納する。ファイルパスの格納領域は、素材データのＨＤＤ１０４内における保存場所の情報を格納する。素材データの種類の格納領域は、素材データが静止画なのか動画なのかを識別するための情報を格納する。フォーマットの格納領域は、素材データの圧縮符号化形式を格納する。撮影日時の格納領域は、素材データが撮影された日時情報を格納する。記録時間の格納領域は、素材データの再生時間を格納する。撮影場所の格納領域は、素材データが撮影された場所に関する情報を格納する。
【００７２】
ＣＰＵ１０１は、ＰＣ１００が新たに画像データを取得したタイミングにおいて、データベース１１３を更新する。例えば、カードスロット１１４に装着されたメモリカードから新規に静止画像や動画像を取得したタイミングや、ＵＳＢコネクタ１０７を介して他のストレージ機器から新規に静止画像や動画像を取得したタイミングにおいて、取得した画像のファイルを開く。ＣＰＵ１０１は、開いた画像ファイルから付属情報を読み出し、データベース１１３におけるその付属情報に対応する格納領域に、読み出した情報を追加することによってデータベース１１３を更新する。
【００７３】
［５．選択画面の構成］
続いて、液晶ディスプレイ１０９が表示する選択画面の構成について図８を参照しながら説明する。図８は、ＣＰＵ１０１の指示によりグラフィックコントローラ１０８が液晶ディスプレイ１０９に表示させる選択画面の一例を示す図である。
【００７４】
図８に示すように、液晶ディスプレイ１０９に表示される選択画面は、素材選択エリア７００、テンプレート選択エリア７０１、再生時間表示エリア７０３、実行ボタン７０２を含む。
【００７５】
素材選択エリア７００は、コンテデータを作成するための素材となる素材データを表示するエリアである。素材となる個々の素材データは、静止画像データまたは動画像データである。図８に示すように、素材選択エリア７００には、複数の素材データが表示される。
【００７６】
素材選択エリア７００に表示される素材データは、ＨＤＤ１０４に格納された素材データの全てでもよいし、特定のフォルダに格納された素材データのみを選択的に抽出したものでもよい。あるいは、特定のフォルダに格納された素材データの中から、更にユーザーにより選別された素材データを抽出したものでもよい。素材選択エリア７００に表示される素材データは、コンテ作成時に組み入れられる画像の候補となる。
【００７７】
素材選択のための構成としては、例えば素材選択エリア７００に素材選択用のボタンを設け、ユーザーがこのボタンを押下することによって素材を選択するための画面に遷移する構成であってもよいし、ドラッグアンドドロップによって画像ファイルを追加または削除できる構成であってもよい。
【００７８】
なお、素材選択エリア７００に表示された各素材データについて、コンテデータに組み入れたい素材データとしての優先度をユーザーが設定できるようにしてもよい。この場合、すべての素材データを採用できない場合（再生時間が短い場合など）に、優先度が高く設定された素材データを優先的に採用することができる。これにより、ユーザーが所望する画像を採用したコンテデータを作成することができる。
【００７９】
テンプレート選択エリア７０１は、ユーザーが選択可能なテンプレートを表示するエリアである。テンプレートはストーリーを作成する際に、どのような演出効果を、どのような順番にて連続して並べるかを記載した情報である。順番が記載された演出効果のそれぞれについて、どれだけの再生時間を割り当てるかが記述されている。ＣＰＵ１０１は、テンプレートに記載された演出効果の順番に従って、ユーザーが選択した候補の素材データから、所定のアルゴリズムにより、選択された素材を配置する。
【００８０】
ユーザーが選択可能なテンプレートとして、例えば図８に示すように、「人物中心のスローテンポテンプレート」、「人物中心のアップテンポテンプレート」、「風景中心のスローテンポテンプレート」、「風景中心のアップテンポテンプレート」等が表示される。各テンプレートの概要は以下のとおりである。
（１）「人物中心のスローテンポテンプレート」
人物が撮像された画像を中心に抽出し、スローテンポなＢＧＭに合わせた画像演出効果を用いて構成されたストーリーを記述したテンプレートである。
（２）「人物中心のアップテンポテンプレート」
人物が撮像された画像を中心に抽出し、アップテンポなＢＧＭに合わせた画像演出効果を用いて構成されたストーリーを記述したテンプレートである。
（３）「風景中心のスローテンポテンプレート」
風景が撮像された画像を中心に抽出し、スローテンポなＢＧＭに合わせた画像演出効果を用いて構成されたストーリーを記述したテンプレートである。
（４）「風景中心のアップテンポテンプレート」
風景が撮像された画像を中心に抽出し、アップテンポなＢＧＭに合わせた画像演出効果を用いて構成されたストーリーを記述したテンプレートである。
【００８１】
テンプレート表示エリア７０１の各テンプレート表示領域には、テンプレートのイメージを表す画像７１０、テンプレート名７１１、および当該テンプレートにデフォルトで設定されたＢＧＭの再生時間７１２が表示される。ユーザーはマウス１０５を操作することにより、複数種類のテンプレートの中から希望するテンプレートを選択することができる。このように、テンプレートを複数種類用意することで、ユーザーがテンプレートを変更することにより、作成するストーリーの雰囲気を変更することができる。なお、テンプレートの種類は、上記の例に限られず、さらに異なるテンプレートが用意されていてもよい。
【００８２】
再生時間表示エリア７０３は、作成するムービーの再生時間を表示する領域である。本実施形態では、再生時間は、テンプレートごとに設定されたデフォルトのＢＧＭの再生時間になるように設定される。テンプレートの選択により、デフォルトの再生時間が決定される。なお、再生時間を直接ユーザーが設定できるように、再生時間を設定するためのエリアを画面に設けてもよい。あるいは、ムービーとともに再生するＢＧＭを希望のものに変更するための機能を設け、そこでＢＧＭを変更することにより、変更後のＢＧＭの再生時間がムービーの再生時間に設定されるようにしてもよい。
【００８３】
以上の構成により、指定された再生時間に合わせて、素材データの選択、映像効果の付与、および全体の流れを考慮したストーリー作成の各処理を、初心者でも容易に実行することができる。
【００８４】
実行ボタン７０２は、コンテデータ作成のための候補となる素材データとテンプレートの選択を完了させるボタンである。ユーザーがマウス１０５を操作して実行ボタン７０２を押下すると、素材選択エリア７００で選択された素材データ、およびテンプレート選択エリア７０１で選択されたテンプレートに基づいてコンテデータが生成される。このときのコンテデータの生成動作のフローについての詳細は後述する。
【００８５】
［６．プレビュー画面の構成］
続いて、液晶ディスプレイ１０９が表示するプレビュー画面の構成について図９Ａを参照しながら説明する。図９Ａは、図８における実行ボタン７０２押下後に液晶ディスプレイ１０９に表示されるプレビュー画面のイメージを示す図である。図９Ａに示すように、液晶ディスプレイ１０９に表示されるプレビュー画面は、コンテ情報表示エリア８００、プレビューエリア８０１、ストーリーボードエリア８０２、コンテデータ保存ボタン８０３、およびファイル出力ボタン８０４を含む。
【００８６】
コンテ情報表示エリア８００は、選択画面でユーザーが選択した内容に関する情報を表示するエリアである。図９Ａに示す例では、表示する情報には、選択された素材データの個数、選択されたテンプレート名、再生時間、および出力形式の情報が含まれる。ここで、選択された素材データの個数とは、コンテデータに組み入れられる静止画の個数および動画の個数である。
【００８７】
ここに表示される静止画および動画の個数は、実際に使用される画像の数に限らず、使用される画像のうち、特に目立つ画像の数を表示してもよい。例えば、表示される時間が所定の時間よりも短い画像や、サイズが所定のサイズよりも小さい画像については個数としてカウントしないように構成されていてもよい。これらの個数は、指定されたテンプレートおよび再生時間に基づいて、ＣＰＵ１０１が計算する。なお、ユーザーが選択した候補画像の数が、テンプレートおよび再生時間に基づいて計算された使用画像数よりも少ない場合は、一部の画像が２回以上使用される。そのような画像は、１枚としてカウントされるのではなく、使用される回数だけ重複してカウントされる。図示してはいないが、コンテ情報表示エリア８００には、実際に採用された静止画および動画の個数の合計を合わせて表示するようにしてもよい。これにより、ユーザーは、候補画像数のうち、どれだけの画像が採用されたかを確認することができる。
【００８８】
プレビューエリア８０１は、作成したコンテデータの再生を実行する画面である。ユーザーは作成したコンテデータの内容を実際に映像で確認することができる。
【００８９】
ストーリーボードエリア８０２は、作成したコンテデータの内容を表示するエリアである。ストーリーボードエリア８０２には、複数の長方形（ａ、ｂ、・・・）が配列されており、それらの配列順序は、コンテデータ上の表示の順序に対応する。それぞれの長方形には、素材選択エリア７００に表示されていた画像から抽出した画像のいずれかが表示される。また、図示されてはいないが、映像と映像との間の切り替え効果を示すアイコンを合わせて表示してもよい。あるいは、各長方形に関連付けられた部分映像（シーン）を表示する際の再生時間を合わせて表示してもよい。これにより、ユーザーは、ストーリー上に、どの素材データが、どのような順序で、どのような演出効果で、どのような再生時間で配置されているかを確認することができる。
【００９０】
ストーリーボードエリア８０２における各長方形は、ムービーを構成する個々のシーンに対応している。各シーンは、１つまたは複数の画像から構成される。本明細書では、複数の画像から構成されるシーンを「グループシーン」と呼び、１つの画像から構成されるシーンを「非グループシーン」と呼ぶことがある。各グループシーンは、互いに関連性が高いと考えられる複数の画像から構成される。例えば、撮影日時が近い複数の画像、撮影場所が近い複数の画像、または被写体が共通する複数の画像などから構成され得る。グループシーンには、非グループシーンとは異なる専用の演出効果が付与される。例えば、複数の画像が同時に表示され、そのうちの少なくとも一部が移動、回転、拡大、または縮小する、といった演出効果が付与され得る。一方、非グループシーンは、単独の画像が移動、回転、拡大、または縮小する、といった演出効果が付与され得る。これらの演出効果の詳細については後述する。
【００９１】
グループシーン、非グループシーンのいずれも、シーンが切り替わる際には、テンプレートに予め規定された切り替え効果が付与され得る。切り替え効果には、例えばスライドイン、クロスフェード、回転、破裂といった効果があり得る。本明細書では、このような切り替え効果を含めて各シーンに付与される効果を「演出効果」と呼ぶ。
【００９２】
コンテデータ保存ボタン８０３は、マウス１０５の操作により選択することができる。ユーザーは、コンテデータ保存ボタン８０３を押下することにより、どの素材データが、どのような順序で、どのような演出効果で、どのような再生時間で配置されるかを管理したストーリー情報を、ＨＤＤ１０４に保存することができる。なお、図示していないが、例えば図８に示される選択画面のような上の階層の画面において、コンテデータ読出しボタンを設けておき、ここで保存したコンテデータを読み出せるように構成してもよい。
【００９３】
ファイル出力ボタン８０４は、マウス１０５の操作により選択することができる。ユーザーは、ファイル出力ボタン８０４を押下することにより、作成されたコンテデータに基づいて動画ファイルを作成することができる。具体的には、上述したように、ビデオエンコーダ２０４、オーディオエンコーダ２０５、多重化部２０６を動作させることにより、ＣＰＵ１０１は、動画ファイルを作成する。このとき作成される動画ファイルの出力形式は、予め使用者が選択できるようにしておいてもよい。すなわち、使用者がＡＶＣＨＤ（登録商標）ファイル形式を選択している場合は、ＡＶＣＨＤファイル形式の動画ファイルを作成する。上述のように、動画ファイルの形式は、ＡＶＣＨＤファイル形式に限られるものではなく、ＭＰ４やその他の形式であってもよい。
【００９４】
なお、図８、９に示す画面のレイアウトは一例であり、同様の機能が実現できれば、画面のレイアウトは任意である。
【００９５】
［７．テンプレートの構成情報］
続いて、テンプレートに記述される具体的な情報の例を説明する。図９Ｂは、本実施の形態にかかるテンプレートに記述される階層構造の一例を示す図である。
【００９６】
テンプレートは、前述のように、ストーリーを作成する際に、どのような切り替え効果を、どのような順番で連続して並べるかを規定する情報である。順番に並べられた切り替え効果のそれぞれについて、どれだけの再生時間を割り当てるかが記述されている。ＣＰＵ１０１は、テンプレートに記述された切り替え効果の順番に従って、選択した素材を連続して配置する。図９Ｂに示すように、本実施形態におけるテンプレートは、「繰り返しノード」と「効果ノード」とを有するツリー構造を有する。各効果ノードが個々のシーンに対応する。
【００９７】
図９Ｂに示されているテンプレートは、オープニング部、第一メイン部、第二メイン部、エンディング部を有する。なお、本実施の形態では、第一メイン部および第二メイン部の２つのメイン部がある場合を例に示すが、テンプレートは１つのメイン部のみを有していてもよいし、３つ以上のメイン部を有していてもよい。
【００９８】
オープニング部、第一メイン部、第二メイン部、エンディング部の各々は、「効果ノード」、および／または、効果ノードを１つ以上有する「繰り返しノード」から構成される。効果ノードは、シーンの再生時間情報と切り替え効果の種類を示す情報とを持つ。繰り返しノードは効果ノードおよび／または他の繰り返しノードを子ノードとしてもつことができるが、効果ノードは子ノードを持つことができない。各効果ノードに規定された再生時間および切り替え効果に従って、ＣＰＵ１０１は画像を表示する。繰り返しノードは、配下に属する効果ノードおよび／または繰り返しノードを、指定した回数だけ繰り返すための情報（繰り返し回数情報）を持つ。繰り返しノードは、子ノードに指定された一連のノード（子ノード１、子ノード２、・・・子ノードｎ）を順に複数回繰り返す。１回繰り返す場合は（子ノード１）→（子ノード２）→・・・→（子ノードｎ）という表示順序になり、２回繰り返す場合は（子ノード１）→（子ノード２）→・・・→（子ノードｎ）→（子ノード１）→（子ノード２）→・・・→（子ノードｎ）という表示順序になる。
【００９９】
オープニング部は、ユーザーがストーリーのタイトルテキストを画像に重畳することができるように、一枚あたりの画像の再生時間を長めにとるように記述されている。図９Ｂに示す例では、オープニング部は、２ｓｅｃの「Ａ．フェイドイン」効果の後に、１ｓｅｃの「Ｂ．クロスフェード」効果が続くように構成されている。オープニング部の各シーンが１個の画像のみから構成される場合、オープニング部には２個の画像が使用される。すなわち、液晶ディスプレイ１０９が黒い画面を表示しているところに、「Ａ．フェイドイン」効果によって第１の画像が画面に挿入され、２秒後に続けて「Ｂ．クロスフェード」効果によって第２の画像が画面に挿入される。
【０１００】
第一メイン部および第二メイン部は、ストーリーのメインとなる画像が配置されるので、段々盛り上がる切り替え効果が設定されるように記述されている。第二メイン部は、クライマックスなので、第一メイン部よりも派手な切り替え効果が設定されるように記述されている。図９Ｂに示す例では、第一メイン部は、１ｓｅｃの「Ｄ．スライドイン右」効果、１ｓｅｃの「Ｅ．スライドイン左」効果、１ｓｅｃの「Ｆ．スライドイン上」効果、１ｓｅｃの「Ｇ．スライドイン下」効果の４つの切り替え効果を子ノードとして有する。第一メイン部は、この４つの子ノードを繰り返す繰り返しノードＣにより構成されており、繰り返し回数は２回に初期設定されている。また、第二メイン部は、繰り返し回数が３回に設定された繰り返しノードＨから構成されている。繰り返しノードＨは、１ｓｅｃの「Ｉ．クロスフェード」効果を有する子ノードと、０．５ｓｅｃの「Ｋ．回転」効果を有する孫ノードおよび０．５ｓｅｃの「Ｌ．破裂」効果を有する孫ノードの２つの孫ノードを２回繰り返す繰り返しノードＪとを３回繰り返す。
【０１０１】
エンディング部は、ストーリーの最後を締めくくる画像が配置されるため、一枚あたりの画像の再生時間が比較的長くなるように設定される。図９Ｂに示す例では、エンディング部は、２ｓｅｃの「Ｍ．フェイドアウト」効果を有する画像によって構成される。
【０１０２】
以上のように、図９Ｂに示すテンプレートに初期設定されている繰り返し回数でストーリーを生成した場合、効果ノードを順に並べると、（Ａ．フェイドイン２ｓｅｃ）→（Ｂ．クロスフェード１ｓｅｃ）→（Ｄ．スライドイン右１ｓｅｃ）→（Ｅ．スライドイン左１ｓｅｃ）→（Ｆ．スライドイン上１ｓｅｃ）→（Ｇ．スライドイン下１ｓｅｃ）→（Ｄ．スライドイン右１ｓｅｃ）→（Ｅ．スライドイン左１ｓｅｃ）→（Ｆ．スライドイン上１ｓｅｃ）→（Ｇ．スライドイン下１ｓｅｃ）→（Ｉ．クロスフェード１ｓｅｃ）→（Ｋ．回転０．５ｓｅｃ）→（Ｌ．破裂０．５ｓｅｃ）→（Ｋ．回転０．５ｓｅｃ）→（Ｌ．破裂０．５ｓｅｃ）→（Ｉ．クロスフェード１ｓｅｃ）→（Ｋ．回転０．５ｓｅｃ）→（Ｌ．破裂０．５ｓｅｃ）→（Ｋ．回転０．５ｓｅｃ）→（Ｌ．破裂０．５ｓｅｃ）→（Ｉ．クロスフェード１ｓｅｃ）→（Ｋ．回転０．５ｓｅｃ）→（Ｌ．破裂０．５ｓｅｃ）→（Ｋ．回転０．５ｓｅｃ）→（Ｌ．破裂０．５ｓｅｃ）→（Ｍ．フェイドアウト２ｓｅｃ）となる。これらの表示時間を総計すると２２ｓｅｃとなる。以上のように、テンプレートは、繰り返しノードと効果ノードとを持つツリー構造を成している。
【０１０３】
テンプレートにデフォルトで設定された総再生時間よりも長い時間または短い時間がユーザーによって指定された場合、ＣＰＵ１０１は、総再生時間をユーザーが指定した時間に合わせる処理を行ってもよい。例えば、ＣＰＵ１０１は、テンプレートに含まれる繰り返しノードのうち、適当な長さの繰り返しノードの繰り返し回数を増減させることによって総再生時間をユーザーが指定した時間に合わせることができる。
【０１０４】
なお、以上のテンプレートの構成はあくまでも一例であり、本発明は、上記のようなテンプレートを用いる構成に限定されない。上記の例では、簡単のため、各シーンに付与される演出効果として切り替え効果のみを考慮したが、後述するように、切り替え効果以外の演出効果が付与され得る。本実施形態では、後述するように、切り替え効果以外の演出効果は、テンプレートとは異なる他のデータに記述されるが、テンプレートに記述されていてもよい。
【０１０５】
［８．コンテデータ作成動作］
続いて、選択された素材、選択されたテンプレート、設定されたＢＧＭに基づいて、コンテデータを作成する手順について説明する。図１０は、本実施の形態にかかるストーリー作成処理の概要を示すフローチャートである。
【０１０６】
まず、ユーザーは、コンテ作成の候補となる素材データ（候補画像）を選択する（Ｓ５００）。素材データが選択されると、ＣＰＵ１０１は、選択された素材データを素材選択エリア７００に表示する。なお、上述したとおり、ここから更に優先度をユーザーが設定するようにしてもよい。
【０１０７】
続いて、ユーザーは、コンテ作成に使用するテンプレートを選択する（Ｓ５０１）。テンプレートが選択されると、ＣＰＵ１０１は、テンプレート選択エリア７０１の該当のテンプレートを強調表示する。次に、ユーザーは、コンテ作成において、選択したテンプレートのデフォルトの再生時間を採用するか否かを判断する。選択したテンプレートのデフォルトの再生時間を採用しない場合は、ユーザーは任意の時間を指定する（Ｓ５０２）。時間の指定は、ユーザーが直接指定してもよいし、ユーザーが所望のＢＧＭを選択することによってその再生時間がムービーの総再生時間として設定されるように構成してもよい。ステップＳ５００からステップＳ５０２の動作は、順番が入れ替わっても構わない。
【０１０８】
コンテ作成に使用する素材データおよびテンプレートの選択、時間の指定を終えたら、ユーザーは実行ボタン７０２を押下することにより、選択内容を確定することができる（Ｓ５０５）。そして、ＣＰＵ１０１は、選択内容に従って、コンテを作成する（Ｓ５０６）。
【０１０９】
続いて、ステップＳ５０６におけるコンテ作成の詳細動作について説明する。図１１は、本実施の形態にかかるストーリーデータに、ユーザーが選択した素材データ（静止画像および動画像）群の中からユーザーにとって重要であると想定される画像からなる部分映像を効果的に配置し、コンテデータを作成する動作におけるメインのフローチャートである。
【０１１０】
まず、ＣＰＵ１０１は、ステップ５０１において選択されたテンプレートの情報を読み出す（Ｓ６００）。次に、ＣＰＵ１０１は、ステップ５０２においてユーザーが指定した再生時間を取得する（Ｓ６０１）。
【０１１１】
続いて、ＣＰＵ１０１は、テンプレートにデフォルトで規定された再生時間またはユーザーが指定した再生時間に合うように、テンプレートに記述されたストーリー情報に従い、ストーリーデータを作成する（Ｓ６０２）。このとき、ＣＰＵ１０１は、連続して配置される各シーンの映像の表示時間と、各シーンの映像や映像間に付与する演出効果とを合わせて記述したストーリーデータを作成する。ストーリーデータは、指定されたテンプレートと総再生時間とに基づいて決定される複数のシーンと、それらに関連付けられた演出効果とを、時間軸上に記述したデータである。
【０１１２】
次に、ＣＰＵ１０１は、Ｓ６０２において作成したストーリーデータに基づいて、ユーザーが選択した素材データ群の中から抽出された、テンプレートの条件に合致し、ユーザーにとって重要であると想定される画像（抽出データ）からなるシーンの映像を効果的に配置することにより、コンテデータを作成する（Ｓ６０３）。コンテデータは、ストーリーデータに含まれる情報に、各シーンに含まれる画像（重要画像）およびそれらに付与される演出効果の情報を加えたデータである。
【０１１３】
続いて、ステップＳ６０３におけるコンテデータ作成の詳細動作について図１２を参照しながら説明する。図１２は、ストーリーデータに抽出データを配置し、コンテデータを作成する処理の詳細を示すフローチャートである。
【０１１４】
本実施の形態にかかるＰＣ１００は、ユーザーが選択した素材データ群の中から、処理の基準となる静止画像を順次選択する。以下、この静止画像を「処理対象の静止画像」と呼ぶことがある。そして、処理対象の静止画像の撮影時刻の前後所定時間内に撮影された動画像部分を抽出したり、処理対象の静止画像の撮影時刻の前後所定時間内に撮影された静止画像を抽出する。抽出した静止画像と動画像との組合せは、同一のグループシーンとして編集される。同様に、抽出した静止画像と静止画像との組合せは、同一のグループシーンとして編集される。なお、本実施形態では静止画像を基準とするが、動画像を基準としてもよい。
【０１１５】
ＣＰＵ１０１は、素材選択エリア７００に含まれている素材データの中から、処理対象の静止画像を一枚選択する（Ｓ８００）。ＣＰＵ１０１は、処理対象の静止画像について付属情報を読み出す。この付属情報は、図７を参照しながら説明したとおり、データベース１１３の所定の格納領域に格納されている。ＣＰＵ１０１は、データベース１１３を読み込むことによって現在処理対象となっている静止画像の付属情報を把握する。
【０１１６】
続いて、ＣＰＵ１０１は、処理対象の静止画像以外の静止画像または動画像について、付属情報を読み出す。この付属情報についても同様に、データベース１１３の所定の格納領域に格納されており、ＣＰＵ１０１は、データベース１１３を読み込むことにより、処理対象の静止画像以外の静止画像または動画像についての付属情報を把握する。
【０１１７】
次に、ＣＰＵ１０１は、把握した処理対象の静止画像の付属情報に類似する付属情報を有する処理対象以外の静止画像または動画像を抽出する（Ｓ８０１）。続いて、ＣＰＵ１０１は、処理対象の静止画像と、抽出した静止画像または動画像とに基づいて、グループシーンを抽出する（Ｓ８０２）。以上の処理を、すべての静止画について完了するまで実行する（Ｓ８０３）。
【０１１８】
図１３は、ステップＳ８０２における撮影日時に基づくグループシーン抽出処理を示す概念図である。本実施の形態にかかるＰＣ１００においては、ＣＰＵ１０１は、抽出した静止画像または動画像の中から、処理対象の静止画像の撮影日時を基準にして所定時間Ｎ（ｓｅｃ）の範囲に撮影された処理対象以外の静止画像または動画像を、グループシーンを構成する画像として抽出する。
【０１１９】
図１３に示すグループシーン（Ａ）は、処理対象の静止画像を基準として、当該処理対象の静止画像の撮影日時から所定時間Ｎ（ｓｅｃ）の範囲に撮影された処理対象以外の静止画像を抽出したグループシーンである。すなわち、静止画像（ａ）を基準とした場合、静止画像（ｂ）は所定時間Ｎ（ｓｅｃ）の範囲内に存在するため、ＣＰＵ１０１は、静止画像（ａ）と静止画像（ｂ）とを同じグループシーンとして抽出する。静止画像（ｂ）を基準とした場合、静止画像（ａ）、静止画像（ｂ）、および静止画像（ｃ）は所定時間Ｎ（ｓｅｃ）の範囲内に存在するため、ＣＰＵ１０１は、静止画像（ａ）、静止画像（ｂ）、および静止画像（ｃ）を同じグループシーンとして抽出する。同様に、静止画像（ｃ）を基準とした場合、静止画像（ｂ）と静止画像（ｃ）とは所定時間Ｎ（ｓｅｃ）の範囲内に存在するため、ＣＰＵ１０１は、静止画像（ｂ）と静止画像（ｃ）とを同じグループとして抽出する。このとき、静止画像（ａ）を基準とした場合、グループシーンには静止画像（ｃ）が含まれない。同様に、静止画像（ｃ）を基準とした場合、グループシーンには静止画像（ａ）が含まれない。一方、静止画像（ｂ）を基準とした場合、グループシーンには静止画像（ａ）および静止画像（ｃ）の両者が含まれる。そのため、ＣＰＵ１０１は、各処理対象の静止画像を基準としたときに、同じグループシーンに含まれる他の静止画像について、当該他の静止画像を基準としたときに同じグループシーンとして抽出される静止画像についても、連鎖的に同じグループシーンとして抽出する。但し、何枚の静止画像を連鎖させるかについては、閾値が設けられていてもよい。閾値が設けられている場合、ＣＰＵ１０１は、設定されている閾値に従って、同じグループシーンに含まれる静止画像を閾値が示す範囲内で抽出する。以上のようにして、ＣＰＵ１０１は、ステップＳ８００からステップＳ８０３の処理において、静止画像（ａ）静止画像（ｂ）静止画像（ｃ）を、グループシーン（Ａ）として抽出する。
【０１２０】
グループシーン（Ｂ）は、静止画像（ｄ）が処理対象である場合に抽出されるグループシーンを表している。処理対象以外の動画像（ｇ）の全ストリームの中から、処理対象の静止画像（ｄ）の撮影日時から所定時間Ｎ（ｓｅｃ）の範囲内に撮影されているストリーム部分におけるビデオストリーム（ｅ）とオーディオストリーム（ｆ）とが抽出され、それらと静止画像（ｄ）とによってグループシーン（Ｂ）が構成される。ここでＣＰＵ１０１は、コンテデータのシーンに対して、後述する処理によって効果的な映像効果を割り当てる際に、動画像の編集の余裕を持たせるために、実際にコンテデータに採用する動画像の長さよりも長くなるようにストリーム部分を抽出してもよい。すなわち、図１３に示すように、静止画像（ｄ）を基準とした場合、ＣＰＵ１０１は、動画データ（ｇ）の撮影時間が静止画像（ｄ）の撮影時間を含んでいると判定する。そして、ＣＰＵ１０１は、静止画像（ｄ）の撮影日時から所定時間Ｎ（ｓｅｃ）の範囲に撮影されている動画データ（ｇ）のストリーム部分、すなわち、ビデオストリーム（ｅ）およびオーディオストリーム（ｆ）とから構成されるストリーム部分（一区間の動画）を抽出する。なお、ここでは動画データ（ｇ）の撮影日時が処理対象の静止画像（ｄ）の撮影日時を含む場合を例示したが、動画データの撮影日時が処理対象の静止画像の撮影日時を含まない場合であっても、処理対象の静止画像から所定時間Ｎ（ｓｅｃ）の範囲に撮影されている動画データが存在すれば、そのような動画データを抽出対象としてもよい。以上のように、ＣＰＵ１０１は、ステップＳ８００からステップＳ８０３の処理において、静止画像（ｄ）と、動画データ（ｇ）の部分ストリームを構成するビデオストリーム（ｅ）とオーディオストリーム（ｆ）とをグループシーン（Ｂ）として抽出する。
【０１２１】
なお、上記の例では、静止画を基準（処理対象）として同一グループに属する複数の画像が抽出されるが、動画像を処理対象として同様の処理を行ってもよい。すなわち、基準とする動画像が撮影された日時の近傍の日時に撮影された他の動画像または静止画像を同一グループとして扱ってもよい。また、動画像の撮影日時と再生時間とから、当該動画像が撮影された期間を特定し、その期間に撮影された他の静止画像や動画像を同一のグループに設定してもよい。
【０１２２】
従来のフォトムービー作成装置では、素材として動画像を選択するとき、ユーザーは、当該動画像の全ストリームの内容を確認しなければ好みのシーンを選ぶことができなかった。これに対し、本実施形態によれば、上記のようにグループシーンとして動画像および静止画像が自動的に抽出されるため、ユーザーは、好みのシーンをより簡単にムービーに組み込むことが可能になる。
【０１２３】
再び図１２を参照する。ＣＰＵ１０１は、素材選択エリア７００に含まれるすべての静止画像について、グループシーンの抽出が完了したか否かを判定する（Ｓ８０３）。ステップ８０３において、グループシーンの抽出が完了していないと判定されると、ＣＰＵ１０１は、素材選択エリア７００に含まれるすべての静止画像について、ステップＳ８００からステップＳ８０３の動作を繰り返す。ステップＳ８０３において、グループシーンの抽出が完了したと判定されると、ＣＰＵ１０１の動作はステップＳ８０４へと進む。
【０１２４】
ＣＰＵ１０１は、ストーリーに配置すべきシーンの個数を把握している。そのため、グループシーンの抽出が完了すると、ＣＰＵ１０１は、ストーリーに配置すべきシーンのうち、何個のシーンが既に割り当てられたかを把握することができる。またこのとき、ＣＰＵ１０１は、ストーリーに配置すべきシーンのうち、割り当てられていないシーンの個数も把握することができる。ＣＰＵ１０１は、ストーリー上において、映像をまだ割り当てていないシーンについて、配置する素材データを抽出することにより、非グループシーンを構成する画像を決定する（Ｓ８０４）。このとき、ＣＰＵ１０１は、以下の条件により、使用する素材を抽出する。
条件１：素材全体（静止画および動画像）から撮影日時に偏りがないように満遍なく選択する。
条件２：テンプレートとして、人物中心のものが選択されている場合は、人物が主な被写体となっている画像を優先的に選択する。
条件３：テンプレートとして、風景中心のものが選択されている場合は、風景が主な被写体となっている画像を優先的に選択する。
条件４：ステップＳ５００において選択された、素材選択エリア７００に表示されている画像に優先度が設定されている場合は、優先度が高い画像を優先的に選択する。
【０１２５】
なお、画像における主な被写体が人物であるか風景であるかの判定は、画像の特徴に基づいて公知の方法を用いて行うことができる。ＣＰＵ１０１は、そのような判定をコンテデータ作成の都度実行してもよいし、予め画像ごとに主な被写体が何であるかを示す情報をデータベース１１３に格納しておき、コンテデータ作成時にその情報を参照してもよい。
【０１２６】
以上の条件を考慮して、ＣＰＵ１０１は、図１３に示すように、非グループシーン（１）、非グループシーン（２）、非グループシーン（３）、非グループシーン（４）を抽出する。これにより、ＣＰＵ１０１は、ストーリーに割り当てるべき素材データの抽出動作を終了する。
【０１２７】
次にＣＰＵ１０１は、抽出結果に基づいて、素材データをストーリーに割り当てて、コンテデータを作成する（Ｓ８０５）。
【０１２８】
ＣＰＵ１０１は、ステップＳ８０５の動作を終えると、抽出した各グループシーンおよび各非グループシーンに対して、効果的な演出効果（映像効果）を割り当てる（Ｓ８０６）。非グループシーンについては、ＣＰＵ１０１は、テンプレートに定義されている映像効果をそのまま割り当てる。一方、グループシーンについては、ＣＰＵ１０１は、グループシーンを構成する静止画像、ビデオストリーム、オーディオストリームを用いて、グループシーン固有の映像効果を割り当てる。
【０１２９】
以下、ステップＳ８０６における各シーンに割り当てる映像効果について説明する。図１４は、映像効果の一例を示すイメージ図である。
【０１３０】
移動効果１４００は、画像１４０１を用いて、カメラワークのパンの動作を演出する映像効果である。ＣＰＵ１０１は、画像１４０１の開始位置１４０１ａから終了位置１４０１ｂまで、所定の時間移動するような映像を生成することにより、左から右にパンするような演出を付与することができる。画像１４０１は静止画像でもビデオストリームでもどちらでもよい。また、移動方向は上下左右斜めのどの方向に移動してもよい。この効果は、グループシーン、非グループシーンのいずれにも適用できる。
【０１３１】
縮小効果１４１０は、画像１４１１を用いて、カメラワークのズームアウトを演出する映像効果である。ＣＰＵ１０１は、画像１４１１の開始状態１４１１ａから終了状態１４１１ｂまで、所定の時間ズームアウトするような映像を生成することで、画面中心から次第に全体を表示する演出を付与することができる。この例でも画像１４１１は静止画像でもビデオストリームでもどちらでもよい。また、開始状態と終了状態とを入れ替えることにより、カメラワークのズームイン（拡大効果）を演出することも可能である。この効果は、グループシーン、非グループシーンのいずれにも適用できる。
【０１３２】
合成効果１４２０は、画像１４２１と画像１４２２とを用いて、複数の画像を重畳させた映像効果である。ＣＰＵ１０１は、画像１４２１と画像１４２２とを同一の表示領域（画面）に配置した所定時間の映像を生成することにより、複数の画像を重畳させた演出を加えることができる。画像１４２１および画像１４２２は静止画像でもビデオストリームでもどちらでもよい。この効果は、複数の画像が使用されるため、グループシーンのみに適用できる。
【０１３３】
ＣＰＵ１０１は、グループシーンに対しては、上記の移動効果１４００、縮小効果１４１０（または拡大効果）、合成効果１４２０を単体で割り当ててもよいし、複合して割り当ててもよい。例えば、合成効果１４２０の演出と同時に、少なくとも一部の画像について、移動効果１４００、縮小効果１４１０、拡大効果、および合成効果１４２０の少なくとも１つを割り当ててもよい。あるいは、上記の効果の他、少なくとも一部の画像について、回転、破裂などの複雑な動作をさせるような演出効果を付与してもよい。
【０１３４】
続いて、ステップＳ８０６におけるグループシーンに映像効果を付与する概念について説明する。図１５はステップＳ８０６において抽出したグループシーンにおけるデータセットの概念図である。
【０１３５】
グループシーン１５００は、ステップＳ８００からステップＳ８０３の動作で抽出されたグループシーンの一例である。このグループシーン１５００は、１枚の静止画と１区間の動画（ビデオストリームおよびオーディオストリーム）で構成されている。
【０１３６】
図１５に示す、データセット１５０１、データセット１５０２、データセット１５０３は、グループシーン１５００から選択されたデータセットの概念である。グループシーン１５００については、データセット１５０１、１５０２、１５０３のいずれかが実際のシーンの映像に採用される。
【０１３７】
データセット１５０１は、グループシーン１５００の構成要素のうち、静止画を使用せずに、ビデオストリームとオーディオストリームとを用いたデータセットである。このデータセット１５０１が採用された場合、静止画は使用されないが、ビデオストリームおよびオーディオストリームは使用される。使用されるビデオストリームおよびオーディオストリームは、当該静止画に近い撮影日時に撮影されたものである。静止画像と動画像とが近い撮影日時にて撮影されているということは、ユーザーにとって重要な被写体が撮影されている可能性が高いと考えられる。従って、このデータセット１５０１が採用された場合、静止画像は、ユーザーにとって重要な被写体が撮影されている動画ストリーム部分を抽出する切っ掛けとして使用される。
【０１３８】
データセット１５０２は、グループシーン１５００の構成要素のうち、ビデオストリームを使用せずに、静止画とオーディオストリームとを用いたデータセットである。このデータセット１５０２が採用された場合、静止画およびオーディオストリームのみが実際のシーンの映像に利用される。例えば、高解像度の静止画に対して移動効果１４００や縮小効果１４１０といった効果を適用することで、きれいな映像シーンに臨場感ある音声を合成した演出を付与することができる。図示される例では静止画は１つであるが、同一グループシーンに他の静止画像が含まれる場合には、共通するオーディオストリームに対して、同一グループシーンに含まれる複数の静止画像を使用してもよい。
【０１３９】
データセット１５０３は、グループシーン１５００の構成要素のうち、静止画、ビデオストリーム、およびオーディオストリームの全てを用いたデータセットである。このデータセット１５０３が採用された場合、静止画、ビデオストリーム、およびオーディオストリームの全てがシーンの映像に利用される。例えば、合成効果１４０２を適用して、高解像度の静止画および動きのあるビデオストリームを同時に表示し、かつ高解像度の静止画に対して移動効果１４００や縮小効果１４０１といった効果を適用しながら、オーディオストリームを再生することで、より情報量の多い映像を表現することができる。
【０１４０】
なお、データセットは上記の例に限定されず、例えば、複数の静止画像を含むデータセットや、複数の動画像を含むデータセットが含まれていてもよい。また、静止画像を含まないデータセットや、動画像を含まないデータセットが含まれていてもよい。
【０１４１】
ＣＰＵ１０１は、指定されているテンプレートの記述内容、または画像の解析結果に基づいて、いずれのデータセットを採用するかを決定する。画像の解析結果の例としては、画像の手振れ具合や、ピントボケ具合などがある。例えば、静止画像については、手振れ具合や、ピントボケ具合が良好ではないが、同じグループシーンに含まれるビデオデータの手振れ具合やピントボケ具合が良好である場合、ＣＰＵ１０１は、データセット１５０１を採用するようにしてもよい。逆に、ビデオデータについては、手振れ具合や、ピントボケ具合が良好ではないが、同じグループシーンに含まれる静止画像の手振れ具合やピントボケ具合が良好である場合、ＣＰＵ１０１は、データセット１５０２を採用するようにしてもよい。
【０１４２】
ＣＰＵ１０１は、採用したデータセットに対して、図１４に示したような演出効果を割り当てる。データセットの種類および付与する演出効果の内容は、シーンごとに異なっていてもよいし、共通する演出効果が複数のシーンに付与されていてもよい。このようにして、ＣＰＵ１０１は、ストーリーデータに抽出データ（データセット、静止画単体、動画像の一部分単体を含む）を配置し、コンテデータを作成する。そして、ＣＰＵ１０１は、作成したコンテデータについて、そのストーリー情報を保存したり、指定のファイル形式に従って動画ファイルを出力することができる。
【０１４３】
以上のようにして、ＣＰＵ１０１は、処理対象の静止画像の撮影日時に近い日時に撮影された他の静止画像または動画像の一部分を同じグループシーンとして抽出することができる。すなわち、ＣＰＵ１０１は、処理対象の静止画像を切っ掛けとして、コンテデータ編集に好適なシーンを容易かつ効果的に抽出することができる。これにより、ユーザーがコンテデータ編集操作を行う際の、採用する静止画像または動画像の抽出作業をより簡単にすることができる。また、静止画像および動画像をグループシーンとして抽出した結果、個々のグループシーンに好適な演出効果を割り当てることもできる。
【０１４４】
［９．他の実施の形態］
本発明は、上記実施の形態１に限定されず、他の実施の形態も考えられる。以下、他の実施の形態についてまとめて説明する。
【０１４５】
上記実施の形態においては、静止画像や動画像の付属情報として、撮影日時を使用する場合を説明したが、本発明はこれに限定されない。すなわち、静止画像や動画像の付属情報として、撮影場所や、個人識別情報を活用するようにしてもよい。図１２のフローチャートにおけるステップＳ８００からステップＳ８０３の動作において、付属情報として撮影場所や、個人識別情報を活用するようにしてもよい。同様に、図１２のフローチャートにおけるステップＳ８０６の動作について、付属情報として撮影場所や、個人識別情報を活用するようにしてもよい。
【０１４６】
図１６は、図１２のフローチャートにおけるステップＳ８００からステップＳ８０３の動作について、付属情報として撮影場所を活用する場合のグループシーン抽出を示す概念図である。図１６は、複数の静止画像および動画像を、撮影された場所に対応する地図上の位置にプロットした場合の一例を示している。この実施の形態にかかるＰＣ１００においては、ＣＰＵ１０１は、処理対象の静止画像の撮影場所を基準にして所定距離Ｍ（ｍ）の範囲に撮影された処理対象以外の静止画像または動画像をグループシーンとして抽出する。
【０１４７】
図１６に示す例では、グループシーン（Ａ´）は、基準となる処理対象の静止画像（ａ´）の撮影場所から所定距離Ｍ（ｍ）の範囲内で撮影された処理対象以外の静止画像（ｂ´）および（ｃ´）を含むグループシーンである。すなわち、静止画像（ａ´）を基準とした場合、静止画像（ｂ´）および静止画像（ｃ´）は所定距離Ｍ（ｍ）の範囲内に存在するため、ＣＰＵ１０１は、ステップＳ８００からステップＳ８０３の処理において、静止画像（ａ´）、静止画像（ｂ´）、静止画像（ｃ´）を同じグループシーン（Ａ´）を構成するものとして抽出する。このとき、静止画像（ｂ´）を基準にしたグループシーンには、静止画像（ｃ´）が含まれない。同様に、静止画像（ｃ´）を基準にしたグループシーンには、静止画像（ｂ´）が含まれないが、実施の形態１にて説明した撮影日時に基づく場合と同様に、同じグループシーンとする静止画像を連鎖的に抽出する。但し、この場合においても、何枚の静止画像を連鎖させるかについては、閾値を設けておき、ＣＰＵ１０１は、設定されている閾値に従って、同じグループシーンとする静止画像を抽出することが好ましい。
【０１４８】
グループシーン（Ｂ´）は、基準となる処理対象の静止画像（ｅ´）と、その静止画像（ｅ´）の撮影場所から所定距離Ｍ（ｍ）の範囲内で撮影された処理対象以外の動画像（ｆ´）とを含むグループシーンである。すなわち、静止画像（ｅ´）を基準とした場合、動画像（ｆ´）は所定距離Ｍ（ｍ）の範囲内に存在するため、ステップＳ８００からステップＳ８０３の処理において、静止画像（ｅ´）と動画像（ｆ´）とは、同一のグループシーン（Ｂ´）に属するものとして抽出される。このとき、ＣＰＵ１０１は、動画像（ｆ´）の全ストリームを一時的に抽出した後に、指定されたテンプレート、画像の解析結果、および撮影情報の少なくとも１つに基づいて、好適なストリームを最終的に採用することができる。
【０１４９】
図１７は、図１２のフローチャートにおけるステップＳ８０６の動作について、付属情報として撮影場所を活用する場合の、映像効果の付与の例を示す概念図である。図１７には、グループシーン（Ａ´）に対する演出効果の割り当ての一例と、グループシーン（Ｂ´）に対する演出効果の割り当ての一例とが示されている。
【０１５０】
まず、グループシーン（Ａ´）に割り当てられる演出効果の一例を説明する。この例では、撮影場所に基づく映像効果は、静止画像（ａ´）、静止画像（ｂ´）、静止画像（ｃ´）を撮影日時に基づいて整列して表示するとともに、同一地域の地図を同一画面に合成して表示する、という効果である。各静止画像が表示されている間、その静止画像の撮影場所情報に基づき、撮影場所を示すマークが地図上に重畳して表示される。これにより、同じグループシーンに含まれる複数の静止画像を表示しながら、地図上で撮影された位置を確認できる演出効果を提供することができる。なお、地図データは、ＰＣ１００内の記録媒体に保存されていてもよいし、インターネット上のサーバーのような遠隔地の機器から取得してもよい。各画像に付与された撮影場所情報から、撮影された場所の緯度および経度を特定することにより、各画像と地図上の位置とをマッピングすることができる。
【０１５１】
続いて、グループシーン（Ｂ´）に割り当てられる演出効果の一例を説明する。この例では、処理対象の静止画像（ｅ´）と、処理対象以外の動画像（ｆ´）のビデオストリームおよびオーディオストリームとを抽出したデータセットが採用されている。この例では、撮影場所に基づく映像効果は、静止画像（ｅ´）と、動画像（ｆ´）のビデオストリームの特定区間の映像とを合成し、動画像（ｆ´）のオーディオストリームを付与することにより、シーンの映像を生成する、という演出効果である。これにより、同じグループシーンに含まれる複数の画像に対して、まとまった演出効果を割り当てることができる。
【０１５２】
次に、付属情報として個人識別情報を利用する場合の例を説明する。この例では、図１２のフローチャートにおけるステップＳ８００からステップＳ８０３の動作や、ステップＳ８０６の動作について、ＣＰＵ１０１は、例えば以下のように動作するように構成される。
【０１５３】
ＣＰＵ１０１は、まず、候補画像の中から、同一人物（または動物）が被写体として写っている画像を同一のグループとして抽出する。画像中の被写体は、例えば公知の顔認識技術を用いて画像の特徴から判断できる。各画像の個人識別情報を予めデータベース１１３に記録しておけば、当該データベース１１３の該当する格納領域の情報に基づいて被写体を識別できる。
【０１５４】
個人識別情報を用いる場合、同一人物（動物）によるグループシーンが生成される。例えば、同一人物（動物）が写っていると判定された静止画像と、動画像に含まれるビデオストリームおよびオーディオストリームの特定区間とを用いて、合成効果１４２０のような演出効果を割り当てたシーンを生成できる。同一人物（動物）と判定するための候補や条件については、ステップＳ５００からステップＳ５０２のいずれかのステップにおいて、ユーザーが別途、ターゲットとする人物または動物を設定できるように構成してもよい。識別については、人物、動物以外のものであってもよく、識別のためのアルゴリズムは特定のものに限定されない。
【０１５５】
付属情報として、撮影時期、撮影場所、個人識別情報を用いる実施形態の他、撮影者を示す情報、撮影機種を示す情報、撮影モードを示す情報の少なくとも１つを用いる実施形態も可能である。例えば、撮影モードには、２Ｄ／３Ｄモード、夜景／室内モードなどの種々のモードがあり得る。このような撮影モードを付属情報として、同一または類似する撮影モードで撮影された複数の画像を１つのグループとして扱うことにより、より統一感のあるムービーを生成することができる。また、複数種類の付属情報を複合的に利用してグループを決定してもよい。上記実施形態のように、付属情報のいずれを使用するかは、テンプレートに依存するように構成してもよいし、優先する付属情報をユーザーが設定できるようにしてもよい。
【０１５６】
上記の実施形態では、ＰＣ１００が本発明における画像編集装置として機能するが、本発明は、このような実施形態に限定されない。画像編集装置は、上記の各処理を規定したプログラムを実行可能なプロセッサを有する任意の電子機器であってよい。上記の各処理を規定したプログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体に記録され、または電気通信回線を通じて流通され得る。また、例えばデータセンター等に配置されたサーバーに当該プログラムを実行させれば、所謂クラウドコンピューティングの形態で、遠隔地のユーザーにサービスを提供することもできる。また、上記の処理を実行するように構成されたビデオカメラをディスプレイに接続してムービーを表示させる形態も可能である。
【産業上の利用可能性】
【０１５７】
本発明は、画像の編集操作が可能な電子機器に関する。本発明はＰＣ１００への適用に限定されず、画像の編集操作が可能であれば、携帯電話、ビデオカメラ等の電子機器にも適用可能である。また、同様の機能を実行可能なプログラムを格納したＣＤやＤＶＤ等の記録メディアにも適用可能である。
【符号の説明】
【０１５８】
１０ 画像編集装置
１１ 入力インターフェース
１２ 画像編集部
２０ 入力装置
３０ 表示装置
１００ ＰＣ
１０１ ＣＰＵ
１０２ システム管理メモリ
１０３ ワークメモリ
１０４ ＨＤＤ
１０５ マウス
１０６ キーボード
１０７ ＵＳＢコネクタ
１０８ グラフィックコントローラ
１０９ 液晶ディスプレイ
１２０ 変換処理部
２０１ 多重化分離部
２０２ ビデオデコーダ
２０３ オーディオ出コーダ
２０４ ビデオエンコーダ
２０５ オーディオエンコーダ
２０６ 多重化部
２０７ 静止画デコーダ
【特許請求の範囲】
【請求項１】
各々が付属情報を有する複数の画像を組み合わせて一連の画像群を生成する画像編集装置であって、
前記一連の画像群に使用される候補となる複数の候補画像を受け付ける入力インターフェースと、
前記複数の候補画像から前記付属情報に基づいて抽出された少なくとも２つの画像からなるグループごとに、固有の演出効果を付与して配列することにより、前記一連の画像群を生成する画像編集部と、
を備える画像編集装置。
【請求項２】
前記入力インターフェースは、ユーザーから、前記複数の候補画像、前記一連の画像群の総再生時間を規定する情報、および前記一連の画像群の構成を規定する情報を受け、
前記画像編集部は、前記総再生時間を規定する情報と、前記構成を規定する情報とに基づいて、前記一連の画像群を構成する複数のシーンの各々の再生時間を決定する、
請求項１に記載の画像編集装置。
【請求項３】
前記画像編集部は、前記複数の候補画像を、前記付属情報に基づいて、グループを構成するものとグループを構成しないものとに分類し、前記グループを構成するものを、グループごとに前記複数のシーンのいずれかに割り当て、前記グループを構成しないものの少なくとも一部を、画像ごとに前記複数のシーンの残りに割り当てる、
請求項２に記載の画像編集装置。
【請求項４】
前記構成を規定する情報は、予め用意された複数のテンプレートからユーザーが１つを選択することによって決定される、請求項２または３に記載の画像編集装置。
【請求項５】
前記画像編集部は、前記複数の候補画像に含まれる静止画像または動画像に付与された付属情報の示す値を基準として、所定の範囲内に属する値の付属情報を有する他の静止画像または動画像を、前記複数の候補画像の中から検出する処理を実行することにより、前記グループを決定する、請求項１から４のいずれかに記載の画像編集装置。
【請求項６】
前記画像編集部は、前記処理を、前記複数の候補画像に含まれる全ての静止画像または全ての動画像について実行することにより、前記グループを決定する、請求項５に記載の画像編集装置。
【請求項７】
前記グループごとに付与される前記演出効果は、前記グループに属する少なくとも２つの画像を同一の表示領域に表示させる効果を含む、請求項１から６のいずれかに記載の画像編集装置。
【請求項８】
前記演出効果は、前記同一の表示領域に表示される前記少なくとも２つの画像の少なくとも１つが、移動、拡大、縮小の少なくとも１つの動作を行う効果を含む、請求項７に記載の画像編集装置。
【請求項９】
前記付属情報は、撮影時期を示す情報、撮影場所を示す情報、および被写体を識別する情報の少なくとも１つを含む、請求項１から８のいずれかに記載の画像編集装置。
【請求項１０】
各々が付属情報を有する複数の画像を組み合わせて一連の画像群を生成する画像編集方法であって、
編集対象として指定された複数の候補画像を受け付けるステップと、
前記複数の候補画像から前記付属情報に基づいて抽出された少なくとも２つの画像からなるグループごとに、固有の演出効果を付与して配列することにより、前記一連の画像群を生成するステップと、
を含む画像編集方法。
【請求項１１】
各々が付属情報を有する複数の画像を組み合わせて一連の画像群を生成するためのプログラムであって、コンピュータに対し、
編集対象として指定された複数の候補画像を受け付けるステップと、
前記複数の候補画像から前記付属情報に基づいて抽出された少なくとも２つの画像からなるグループごとに、固有の演出効果を付与して配列することにより、前記一連の画像群を生成するステップと、
を実行させるプログラム。
【請求項１】
各々が付属情報を有する複数の画像を組み合わせて一連の画像群を生成する画像編集装置であって、
前記一連の画像群に使用される候補となる複数の候補画像を受け付ける入力インターフェースと、
前記複数の候補画像から前記付属情報に基づいて抽出された少なくとも２つの画像からなるグループごとに、固有の演出効果を付与して配列することにより、前記一連の画像群を生成する画像編集部と、
を備える画像編集装置。
【請求項２】
前記入力インターフェースは、ユーザーから、前記複数の候補画像、前記一連の画像群の総再生時間を規定する情報、および前記一連の画像群の構成を規定する情報を受け、
前記画像編集部は、前記総再生時間を規定する情報と、前記構成を規定する情報とに基づいて、前記一連の画像群を構成する複数のシーンの各々の再生時間を決定する、
請求項１に記載の画像編集装置。
【請求項３】
前記画像編集部は、前記複数の候補画像を、前記付属情報に基づいて、グループを構成するものとグループを構成しないものとに分類し、前記グループを構成するものを、グループごとに前記複数のシーンのいずれかに割り当て、前記グループを構成しないものの少なくとも一部を、画像ごとに前記複数のシーンの残りに割り当てる、
請求項２に記載の画像編集装置。
【請求項４】
前記構成を規定する情報は、予め用意された複数のテンプレートからユーザーが１つを選択することによって決定される、請求項２または３に記載の画像編集装置。
【請求項５】
前記画像編集部は、前記複数の候補画像に含まれる静止画像または動画像に付与された付属情報の示す値を基準として、所定の範囲内に属する値の付属情報を有する他の静止画像または動画像を、前記複数の候補画像の中から検出する処理を実行することにより、前記グループを決定する、請求項１から４のいずれかに記載の画像編集装置。
【請求項６】
前記画像編集部は、前記処理を、前記複数の候補画像に含まれる全ての静止画像または全ての動画像について実行することにより、前記グループを決定する、請求項５に記載の画像編集装置。
【請求項７】
前記グループごとに付与される前記演出効果は、前記グループに属する少なくとも２つの画像を同一の表示領域に表示させる効果を含む、請求項１から６のいずれかに記載の画像編集装置。
【請求項８】
前記演出効果は、前記同一の表示領域に表示される前記少なくとも２つの画像の少なくとも１つが、移動、拡大、縮小の少なくとも１つの動作を行う効果を含む、請求項７に記載の画像編集装置。
【請求項９】
前記付属情報は、撮影時期を示す情報、撮影場所を示す情報、および被写体を識別する情報の少なくとも１つを含む、請求項１から８のいずれかに記載の画像編集装置。
【請求項１０】
各々が付属情報を有する複数の画像を組み合わせて一連の画像群を生成する画像編集方法であって、
編集対象として指定された複数の候補画像を受け付けるステップと、
前記複数の候補画像から前記付属情報に基づいて抽出された少なくとも２つの画像からなるグループごとに、固有の演出効果を付与して配列することにより、前記一連の画像群を生成するステップと、
を含む画像編集方法。
【請求項１１】
各々が付属情報を有する複数の画像を組み合わせて一連の画像群を生成するためのプログラムであって、コンピュータに対し、
編集対象として指定された複数の候補画像を受け付けるステップと、
前記複数の候補画像から前記付属情報に基づいて抽出された少なくとも２つの画像からなるグループごとに、固有の演出効果を付与して配列することにより、前記一連の画像群を生成するステップと、
を実行させるプログラム。
【図１Ａ】
【図１Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１２−２１７１４４（Ｐ２０１２−２１７１４４Ａ）
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願番号】特願２０１２−４００３６（Ｐ２０１２−４００３６）
【出願日】平成２４年２月２７日（２０１２．２．２７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願日】平成２４年２月２７日（２０１２．２．２７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]