電子機器及び画像処理方法
【課題】思いがけない静止画像等を含む視聴効果の高い動画像をユーザに提示することができる電子機器を実現する。
【解決手段】実施形態によれば、インデキシング手段は、複数の静止画像のそれぞれについて属性を示すインデックス情報を生成する。第１の再生手段は、前記複数の静止画像を用いて第１の動画像を再生する。第１の画像選択手段は、前記複数の静止画像から第１の静止画像を選択する。画像抽出手段は、前記インデックス情報をもとに、前記第１の静止画像に関連する静止画像を含む静止画像群を抽出する。第２の再生手段は、前記第１の動画像に代えて、前記静止画像群を用いて第２の動画像を再生する。
【解決手段】実施形態によれば、インデキシング手段は、複数の静止画像のそれぞれについて属性を示すインデックス情報を生成する。第１の再生手段は、前記複数の静止画像を用いて第１の動画像を再生する。第１の画像選択手段は、前記複数の静止画像から第１の静止画像を選択する。画像抽出手段は、前記インデックス情報をもとに、前記第１の静止画像に関連する静止画像を含む静止画像群を抽出する。第２の再生手段は、前記第１の動画像に代えて、前記静止画像群を用いて第２の動画像を再生する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像を表示する電子機器及び画像処理方法に関する。
【背景技術】
【０００２】
近年、パーソナルコンピュータ、デジタルカメラ、ＰＤＡのような様々な電子機器が普及している。このような電子機器は、例えば写真のような静止画像を管理する機能を有している。画像管理方法としては、例えば、写真に付加された日時データに基づいて、写真を複数のグループに分類する方法が知られている。
【０００３】
また、最近では、写真のような静止画像群を用いて動画像（例えば、フォトムービー、スライドショー等）を作成する動画作成技術が注目されている。動画作成技術としては、例えば、静止画像群を複数の撮影日時に対応する複数のディレクトリに分類して格納し、ユーザによって指定されたディレクトリ内の静止画像群を用いて動画を作成する技術が知られている。
【０００４】
スライドショーを表示する電子機器は、例えば格納された画像の特徴量を抽出し、指定されたキー画像との類似度を計算し、類似度別画像ソート結果あるいは類似度変化関数にしたがって画像を逐次選択して表示する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−６７０５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、ユーザに処理対象のディレクトリを指定させる方法では、表示される静止画像は、その指定されたディレクトリ内の静止画像に限定される。したがって、例えば、思いがけない静止画像（ユーザが意識していない静止画像）や、同一のディレクトリ内に格納されていないものの関連性が高い静止画像等を含む動画をユーザに提示することは困難である。
【０００７】
また、スライドショーでは、静止画像群から表示対象となる画像を逐次選択して表示するだけであるので、ユーザに興味を持たせることができる、より視聴効果の高い動画像を提供できることが望まれていた。
【０００８】
本発明は、思いがけない静止画像等を含む視聴効果の高い動画像をユーザに提示できる電子機器及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
実施形態によれば、電子機器は、選択手段と、決定手段と、再生手段とを具備する。選択手段は、複数のスタイルからユーザ操作により指定されたスタイルを選択する。決定手段は、前記選択手段により選択されたスタイルに予め用意された複数のシナリオ情報から、動画像の再生に用いるシナリオ情報を決定する。再生手段は、複数の静止画像から前記シナリオ情報に応じて抽出された静止画像群をもとに動画像を再生する。
【図面の簡単な説明】
【００１０】
【図１】実施形態に係る電子機器の外観を示す斜視図。
【図２】実施形態の電子機器のシステム構成を示すブロック図。
【図３】実施形態の電子機器によって実行される動画像作成アプリケーションプログラムの機能構成を示すブロック図。
【図４】実施形態の電子機器によって実行される動画像作成アプリケーションプログラムが用いるインデックス情報の例を示す図。
【図５】実施形態の電子機器によって実行されるフォトムービー作成処理の例を示す概念図。
【図６】実施形態の電子機器によって表示されるメイン画面の例を示す図。
【図７】実施形態の電子機器によって表示される、エフェクトが施されたフォトムービーの例を示す図。
【図８】実施形態の電子機器によって表示される、エフェクトが施されたフォトムービーの例を示す図。
【図９】実施形態の電子機器によって実行される動画像生成処理の手順の例を示すフローチャート。
【図１０】実施形態の電子機器によって実行されるフォトムービー作成開始判定処理の手順の例を示すフローチャート。
【図１１】実施形態の電子機器によって実行されるフォトムービー作成開始判定処理を示す図。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、実施形態を説明する。
図１は、本発明の一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えばノートブックタイプのパーソナルコンピュータ１０として実現されている。図１に示すように、パーソナルコンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２には、ＬＣＤ（liquid crystal display）１７が組み込まれている。ディスプレイユニット１２は、コンピュータ本体１１の上面が露出される開放位置とコンピュータ本体１１の上面を覆う閉塞位置との間を回動自在にコンピュータ本体１１に取り付けられている。
【００１２】
コンピュータ本体１１は、薄い箱形の筐体を有しており、その上面には、キーボード１３、パーソナルコンピュータ１０を電源オン／電源オフするためのパワーボタン１４、入力操作パネル１５、タッチパッド１６、スピーカ１８Ａ，１８Ｂなどが配置されている。
【００１３】
入力操作パネル１５上には、各種操作ボタンが設けられている。
【００１４】
また、コンピュータ本体１１の右側面には、例えばＵＳＢ（universal serial bus）２．０規格のＵＳＢケーブルやＵＳＢデバイスを接続するためのＵＳＢコネクタ１９が設けられている。
【００１５】
図２は、パーソナルコンピュータ１０のシステム構成を示す図である。
パーソナルコンピュータ１０は、図２に示されているように、ＣＰＵ（central processing unit）１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、ＧＰＵ（Graphics Processing Unit）１０５、ＶＲＡＭ（ビデオＲＡＭ:random access memory）１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ（basic input/output system-read only memory）１０７、ＬＡＮ（local area network）コントローラ１０８、ハードディスクドライブ（ＨＤＤ）１０９、光ディスクドライブ（ＯＤＤ）１１０、ＵＳＢコントローラ１１１Ａ、カードコントローラ１１１Ｂ、無線ＬＡＮコントローラ１１２、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）１１３、ＥＥＰＲＯＭ（electrically erasable programmable ROM）１１４等を備える。
【００１６】
ＣＰＵ１０１は、パーソナルコンピュータ１０内の各部の動作を制御するプロセッサである。ＣＰＵ１０１は、ＨＤＤ１０９から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）２０１、及び動画像作成アプリケーションプログラム２０２のような各種アプリケーションプログラムを実行する。動画像作成アプリケーションプログラム２０２は、例えばＨＤＤ１０９等に格納された各種デジタルコンテンツを再生するソフトウェアである。この動画像作成アプリケーションプログラム２０２は、動画像生成機能を有している。この動画像生成機能は、例えば、ＨＤＤ１０９等に格納された静止画像等の素材（デジタルコンテンツ）を用いて、動画像（スライドショー（第１の動画像）、フォトムービー（第２の動画像））を作成する機能である。さらに、この動画像生成機能は、動画像の作成に用いる素材を分析する機能を含む。動画像作成アプリケーションプログラム２０２は、素材を用いて作成された動画像を再生し、画面（ＬＣＤ１７）に表示する。
【００１７】
また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０７に格納されたＢＩＯＳも実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
【００１８】
ノースブリッジ１０２は、ＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、例えば、PCI EXPRESS規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。
【００１９】
ＧＰＵ１０５は、パーソナルコンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このＧＰＵ１０５によって生成される表示信号はＬＣＤ１７に送られる。
【００２０】
サウスブリッジ１０４は、ＰＣＩ（Peripheral Component Interconnect）バス上の各デバイス及びＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ＨＤＤ１０９及びＯＤＤ１１０を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。
【００２１】
サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８Ｂに出力する。ＬＡＮコントローラ１０８は、例えばIEEE 802.3規格の有線通信を実行する有線通信デバイスであり、一方、無線ＬＡＮコントローラ１１２は、例えばIEEE 802.11g規格の無線通信を実行する無線通信デバイスである。ＵＳＢコントローラ１１１Ａは、（ＵＳＢコネクタ１９を介して接続される）例えばUSB 2.0規格に対応した外部機器との通信を実行する。例えば、ＵＳＢコントローラ１１１Ａは、例えば、デジタルカメラに格納されている画像データファイルを受信するために使用される。カードコントローラ１１１Ｂは、コンピュータ本体１１に設けられたカードスロットに挿入される、ＳＤカードのようなメモリカードに対するデータの書き込み及び読み出しを実行する。
【００２２】
ＥＣ／ＫＢＣ１１３は、電力管理のためのエンベデッドコントローラと、キーボード１３及びタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。ＥＣ／ＫＢＣ１１３は、ユーザによるパワーボタン１４の操作に応じて電源回路１１５を制御し、パーソナルコンピュータ１０を電源オン／電源オフする機能を有している。
【００２３】
電源回路１１５は、コンピュータ本体１１に挿入されたバッテリ１１５ａ、またはＡＣアダプタ１１５ｂを介して接続された外部電源から電源供給を受けて、各コンポーネントへの動作電源を生成して供給する。電源回路１１５には、電源マイコンが設けられている。
【００２４】
電源マイコンは、各コンポーネントとバッテリに対する電源供給（充放電）や、バッテリ１１５ａの充電状態（バッテリ残量）、ＡＣアダプタ１１５ｂの接続の有無（外部からの電源供給の有無）を監視する。
【００２５】
次に、図３を参照して、動画像作成アプリケーションプログラム２０２の機能構成を説明する。
ここでは、動画像作成アプリケーションプログラム２０２が有する機能のうち、動画像生成機能を実現するための構成例について説明する。動画像生成機能は、ＨＤＤ１０９内の所定のディレクトリ（フォルダ）に格納された複数の静止画像（静止画像データ）５１を用いて動画像（フォトムービー、スライドショー）を作成し、その作成した動画像を再生する。静止画像５１は、例えば、デジタル写真、他の各種静止画像ファイル（例えば、ＪＰＥＧ（Joint Photographic Experts Group）ファイル）等である。用語「フォトムービー」は、複数の静止画像（例えば写真）を用いて生成される動画像（ムービー）を意味する。フォトムービーの再生においては、静止画像群には様々なエフェクトまたはトランジションが施される。エフェクトまたはトランジションが施された静止画像群は、音楽と並行して再生される。動画像作成アプリケーションプログラム２０２は、ある静止画像（キー画像）に関連する静止画像群を自動的に抽出し、抽出された静止画像群を用いてフォトムービーを作成および再生することができる。用語「スライドショー」は、静止画像を１枚ずつ順次表示する動画像（ムービー）を意味する。
【００２６】
動画像作成アプリケーションプログラム２０２は、ユーザが設定したＨＤＤ１０９内のフォルダ（写真フォルダ）を監視し、１以上の新しい静止画像（写真ファイル）が写真フォルダに格納されたことを感知すると、それら１以上の新しい静止画像に対するインデキシングを行うと同時に、それら１以上の新しい静止画像のスライドショーを開始する。インデキシングが完了すると、動画像作成アプリケーションプログラム２０２は、１以上の新しい静止画像を用いたフォトムービーを作成して再生する。この場合、例えば、１以上の新しい静止画像のみからフォトムービーを作成して再生しても良い。代わりに、１以上の新しい静止画像に関連する静止画像群を写真フォルダ内の静止画像群から抽出し、１以上の新しい静止画像と、それら抽出された静止画像群とを用いてフォトムービーを作成して再生しても良い。
【００２７】
フォトムービーの作成は、１枚の静止画像（キー画像）を基に行われる。つまり、選択されたキー画像に関連する複数の静止画像からなる静止画像群が自動抽出され、抽出された静止画像群を用いてフォトムービーが作成される。フォトムービーの作成条件として、スタイル、音楽、注目する人物（顔）の各々を選択指定することができる。選択したスタイルに応じて、使用される静止画像の抽出方法、使用されるエフェクト／トランジション等が決定される。従来では、ムービーの作成に使用する写真はユーザによって指定されるが、動画像作成アプリケーションプログラム２０２は、写真フォルダ内の全ての静止画像から、使用する写真群を自動抽出する。これにより、思いがけない写真を掘り起こしてユーザに見せることができる。
【００２８】
抽出処理では、顔画像の笑顔度、顔画像の鮮明度等に従って、より写りの良い写真を抽出してもよい。また、顔クラスタリングによって各顔画像に対応する人物を認識し、例えば、選択された人物の顔画像を含む写真群、選択された人物に関連する別の人物の顔画像を含む写真群などを抽出してもよい。さらに、イベントグループ分け技術を用いて写真群を複数のイベントに分けてもよい。この場合、あるイベント内の登場人物と別のイベント内の登場人物との関係に基づいてイベント同士の関連性を推定し、その推定結果を抽出処理に使用しても良い。例えば、同一の人物が登場するイベント同士は関連性があると推定しても良い。また、例えば、ある人物Ａと別の人物Ｂが同じ写真に写っている頻度（共起頻度）が高いならば、人物Ａを含む写真が属するイベントは、人物Ｂを含む写真が属するイベントに関連するイベントであると推定してもよい。
【００２９】
動画像作成アプリケーションプログラム２０２は、監視部２１、インデキシング部２２、再生制御部２３、電源監視部２４、及び設定部２５を備える。
【００３０】
監視部２１は、ＨＤＤ１０９内の素材データベース３０１を常時監視し、新たな静止画像５１が例えばＵＳＢコントローラ１１１Ａ、カードコントローラ１１１Ｂ等のインタフェース部を介してＨＤＤ１０９内の素材データベース３０１に格納されたか否かを判定する。素材データベース３０１はＨＤＤ１０９内の所定のディレクトリ（上述の写真フォルダ）に相当する。素材データベース３０１に格納された各静止画像５１は、動画像（フォトムービー、スライドショー）の素材候補として用いられる。素材データベース３０１には、静止画像のみならず、例えばショートムービーのような動画像を素材候補として格納してもよい。
【００３１】
インデキシング部２２は、素材データベース３０１内の複数の静止画像５１を分析し、それら複数の静止画像５１それぞれの属性を示すインデックス情報を生成する。インデキシング部２２によるインデキシングは、例えば、１以上の新しい静止画像（写真ファイル）が素材データベース３０１に格納されたことをトリガに開始される。つまり、素材データベース３０１に１以上の新しい静止画像が格納された時に、インデキシング部２２は、その新しい静止画像に対応するインデックス情報を生成する。
【００３２】
インデキシング部２２は、顔認識機能を有している。インデックス情報には、複数の静止画像５１に含まれる複数の顔画像それぞれの認識結果も含まれている。
【００３３】
インデキシング部２２は、顔画像検出部２２１、クラスタリング部２２２、イベント検出部２２３、及びインデックス情報生成部２２４を備える。
顔画像検出部２２１は、インデキシング対象の静止画像５１（例えば、写真フォルダに新たに格納された静止画像）から顔画像を検出する。顔画像は、例えば、その静止画像５１の特徴を解析し、予め用意された顔画像特徴サンプルと類似する特徴を有する領域を探索することによって検出することができる。顔画像特徴サンプルは、多数の人物それぞれの顔画像特徴を統計的に処理することによって得られた特徴データである。顔検出処理により、その静止画像５１に含まれる顔画像に対応する領域が検出され、当該領域の位置（座標）及びサイズが検出される。
【００３４】
また、顔画像検出部２２１は検出した顔画像を分析する。顔画像検出部２２１は、例えば、検出した顔画像の笑顔度、鮮明度、正面度等を算出する。笑顔度は、検出した顔画像が笑顔である度合いを示す指標である。鮮明度は、検出した顔画像が鮮明である（例えば、ぼけがない）度合いを示す指標である。また、正面度は、検出した顔画像が正面を向いている度合いを示す指標である。顔画像検出部２２１は、検出した顔画像を示す情報をクラスタリング部２２２に出力する。
【００３５】
クラスタリング部２２２は、検出した顔画像に対してクラスタリング処理を施すことにより、検出した顔画像を人物毎に分類する。類似する顔画像特徴を有する顔画像同士は同一の人物として認識される。クラスタリング部２２２は、クラスタリング処理の結果に基づいて、各顔画像に対して人物の識別情報（人物ＩＤ）を付与する。同一人物の顔画像群に対しては同一の人物ＩＤが付与される。クラスタリング部２２２は、各顔画像の属性（笑顔度、鮮明度、正面度、人物ＩＤ）をインデックス情報生成部２２４に出力する。
【００３６】
イベント検出部２２３は、インデキシング対象の静止画像５１に対応するイベントを検出する。イベント検出部２２３は、例えば、そのインデキシング対象の静止画像５１の生成日時（撮影日時）に基づいて、そのインデキシング対象の静止画像５１を、所定の期間内（例えば、１日）に生成された他の静止画像と同一のイベントに分類する。そして、イベント検出部２２３は、インデキシング対象の静止画像５１に対して、そのインデキシング対象の静止画像５１が分類されたイベントの識別情報（イベントＩＤ）を付与する。そして、イベント検出部２２３は、インデキシング対象の静止画像５１に付与されたイベントＩＤをインデックス情報生成部２２４に出力する。
【００３７】
インデックス情報生成部２２４は、顔画像検出部２２１及びクラスタリング部２２２による処理結果に基づいて、インデックス情報３０２Ａを生成する。
図４は、インデックス情報３０２Ａの一構成例を示す。インデックス情報３０２Ａは、複数の静止画像５１にそれぞれ対応する複数のエントリを含む。各エントリは、例えば、画像ＩＤ、生成日時（撮影日時）、生成場所（撮影場所）、イベントＩＤ、顔画像情報を含む。ある静止画像に対応するエントリにおいて、画像ＩＤは、その静止画像に固有の識別情報を示す。生成日時は、その静止画像が生成された日時（その静止画像の撮影日時）を示す。生成場所は、その静止画像が生成（撮影）された場所（位置）を示す。生成日時及び生成場所には、例えば、その静止画像データに付加されている情報が用いられる。生成場所は、例えば、その静止画像データが生成されるときに（例えば、静止画像データに対応する写真が撮影されるときに）、ＧＰＳレシーバによって検出された位置情報を示す。イベントＩＤは、その静止画像に対応するイベントに一意に付与される識別情報を示す。顔画像情報は、その静止画像に含まれる顔画像の認識結果情報である。顔画像情報は、例えば、顔画像（例えば、その顔画像の格納場所を示すパス）、人物ＩＤ、位置、サイズ、笑顔度、鮮明度、及び正面度を含む。なお、一つの静止画像５１に複数の顔画像が含まれるときは、その一つの静止画像５１に対応するインデックス情報３０２Ａは、複数の顔画像の各々に対応する顔画像情報を含む。
インデックス情報生成部２２４は、生成したインデックス情報３０２Ａを素材情報データベース３０２に格納する。
【００３８】
以上の構成により、インデキシング部２２は、入力された静止画像５１に対応するインデックス情報３０２Ａを生成し、素材情報データベース３０２に格納することができる。
【００３９】
再生制御部２３は、インデックス情報３０２Ａに基づき、ある選択された静止画像（キー画像）に関連する静止画像を含む静止画像群を、素材データベース３０１内の静止画像５１から抽出し、関連する静止画像群を用いてフォトムービーまたはスライドショーを作成および再生する。
【００４０】
再生制御部２３は、動画像作成アプリケーションプログラム２０２が起動された場合、基本的にはスライドショーの再生を実行し、設定部２５によりユーザ指定に応じて設定されたフォトムービーの再生開始のタイミングに応じて、スライドショーに代えてフォトムービーを再生する。また、再生制御部２３は、電源監視部２４により管理される電源状況に応じて、フォトムービーの再生を制御することができる。
【００４１】
再生制御部２３は、例えば、キー画像選択部２３１、カレンダー表示部２３２、関連画像選択部２３３、シナリオ決定部２３４、動画像生成部２３５、及び動画像再生部２３６を備える。
【００４２】
キー画像選択部２３１は、素材データベース３０１に格納された複数の静止画像５１からキー画像（キー静止画像）を選択する。キー画像選択部２３１は、再生中の動画像（フォトムービーまたはスライドショー）に含まれる静止画像をキー画像に決定することもできる。つまり、キー画像選択部２３１は、再生中のフォトムービー又はスライドショー内のある画像がユーザによって指示された時、その指示された画像をキー画像に決定する。なお、フォトムービー又はスライドショーの再生中にユーザによるキー画像の指示が行われないとき、キー画像選択部２３１は、例えば、再生されたフォトムービー又はスライドショーに含まれる最後の静止画像をキー画像に決定してもよい。
【００４３】
キー画像選択部２３１は、静止画像が作成（撮影）された日をカレンダーに明示したカレンダー画面を用いてキー画像を選択してもよい。キー画像選択部２３１は、例えば、カレンダー画面からユーザによって指定された日に作成された静止画像をキー画像に決定する。
【００４４】
キー画像選択部２３１は、さらに、例えばユーザによって選択された顔画像を、キー顔画像に決定することもできる。この場合、そのキー顔画像に対応する人物に関連する静止画像が素材データベース３０１から抽出され、それら抽出された静止画像を含む静止画像群が動画像（フォトムービー又はスライドショー）の作成に用いられる。
【００４５】
関連画像選択部２３３は、素材データベース３０１に格納されている複数の静止画像５１から、キー画像（キー顔画像）に関連する１つ以上の静止画像を選択（抽出）する。キー画像に関連する静止画像は、キー画像に対して、例えば、日時、人物又は場所について関連性を有する。関連画像選択部２３３は、例えば、素材情報データベース３０２に格納されたインデックス情報３０２Ａを用いて、キー画像に関連する静止画像を抽出する。関連画像選択部２３３は、日時関連画像選択部２３３Ａ、人物関連画像選択部２３３Ｂ及び場所関連画像選択部２３３Ｃを備える。
【００４６】
日時関連画像選択部２３３Ａは、素材データベース３０１に格納された静止画像群５１から、キー画像の生成日時に関連する生成日時を有する静止画像を選択（抽出）する。日時関連画像選択部２３３Ａは、例えば、インデックス情報３０２Ａに基づいて、キー画像の生成日時と同一の期間内（例えば、日、月、時期、季節、年等で指定される期間内）に生成された静止画像を選択（抽出）する。また、日時関連画像選択部２３３Ａは、例えば、インデックス情報３０２Ａに基づいて、キー画像の生成日時とは別の期間内の同じ日、同じ週、同じ月等（例えば、１年前の同じ日や２年後の同じ月等）に生成された静止画像を選択（抽出）する。
【００４７】
人物関連画像選択部２３３Ｂは、素材データベース３０１に格納された複数の静止画像５１から、キー顔画像（キー画像に含まれる顔画像）に関連する静止画像を選択（抽出する）する。キー顔画像に関連する静止画像は、例えば、キー顔画像と同じ人物の顔画像を含む静止画像、キー顔画像に対応する人物に関連する別の人物の顔画像を含む静止画像、等を含む。キー顔画像に対応する人物に関連する別の人物には、例えば、キー顔画像と同じ静止画像内に含まれる人物等が含まれる。
【００４８】
場所関連画像選択部２３３Ｃは、素材データベース３０１に格納された静止画像５１から、キー画像の生成場所に関連する場所で生成された静止画像を選択（抽出）する。
【００４９】
シナリオ決定部２３４は、作成対象の動画像（例えば、フォトムービー）のシナリオを決定する。シナリオは、例えば、作成対象の動画像シーケンス内の複数のチャプタ（タイムセグメント）のそれぞれにおいて使用するエフェクトと静止画像の属性とを示す情報（シナリオ情報）を含む。つまり、シナリオ決定部２３４は、シナリオ中のチャプタと称されるタイムセグメント毎に、エフェクトと静止画属性とを選択する。
【００５０】
本実施形態においては、例えば、２４種類のシナリオ情報がシナリオデータ３０３Ｃとして予めエフェクトデータベース３０３内に格納されている。シナリオ決定部２３４は、２４種類のシナリオ情報の内の１つのシナリオ情報を、動画像（例えば、フォトムービー）の作成に使用するシナリオとして決定する。
【００５１】
シナリオの決定は、ユーザによって選択されたスタイルに従って実行してもよい。つまり、選択されたスタイルに従って、使用すべきシナリオ情報が決定される。本実施形態では、例えば８種類のスタイル（Happy, Fantastic, Ceremonial, Cool, Travel, Party, Gallery, Biography）が予め用意されている。さらに、スタイル毎に、例えば３種類のシナリオ情報が予め用意されている。シナリオ決定部２３４は、例えば、ユーザによって選択されたスタイルに対応する３種類のシナリオ情報の内の任意の１つを自動的に選択し、その選択したシナリオ情報を作成対象の動画像（例えば、フォトムービー）のシナリオに決定する。また、ユーザがスタイルを選択する代わりに、シナリオ決定部２３４が、８種類のスタイル内の任意の１つを自動的に選択してもよい。この場合、使用するスタイルは、例えば、関連画像選択部２３３によって抽出された静止画像それぞれの特徴（例えば、登場人物数（顔画像数）、顔画像の笑顔度、等）に基づいて決定してもよい。
【００５２】
上述のように、選択されたスタイルに対応する３種類のシナリオ情報の内の１つが作成対象の動画像（例えば、フォトムービー）のシナリオとして選択されるが、このシナリオの選択には、例えば、乱数を使用してもよい。これにより、たとえ同じスタイルが選択された場合でも、毎回異なるシナリオを使用してフォトムービーを作成できる。フォトムービーの作成に使用される静止画像群それぞれの属性は使用されるシナリオによって変わる。したがって、使用されるシナリオを変えることは、思いがけない静止画像を掘り起こしてユーザに見せることができる可能性を高めることを可能にし得る。
【００５３】
さらに、シナリオ決定部２３４は、フォトムービーの作成に使用する音楽も決定する。
【００５４】
本実施形態では、複数の音楽が音声データ３０３Ｂとしてエフェクトデータベース３０３に格納されている。シナリオ決定部２３４は、例えば、選択されたスタイルに応じて、または関連画像選択部２３３によって抽出された静止画像それぞれの特徴（例えば、登場人物数（顔画像数）に応じて、使用する音楽を決定する。なお、使用する音楽はユーザが指定するようにしてもよい。
【００５５】
また、ユーザによってスタイルが選択された場合、関連画像選択部２３３は、スタイル毎に決められた画像抽出条件に応じて、素材データベース３０１に格納されている複数の静止画像５１からスタイルに関連する静止画像を選択（抽出）することもできる。
【００５６】
動画像生成部２３５は、素材データベース３０１に格納された静止画像をもとに、表示モードに応じてスライドショーあるいはフォトムービーを生成する。
【００５７】
動画像生成部２３５は、表示モードがフォトムービーである場合、シナリオ決定部２３４により決定されたシナリオ情報に基づいてフォトムービーを生成する。この場合、動画像生成部２３５は、関連画像選択部２３３によって抽出された静止画像群から、シナリオ情報によって示される各チャプタの静止画属性に合致する少なくとも１つの静止画像を抽出する。そして、動画像生成部２３５は、抽出された少なくとも１つの静止画像を各チャプタに割り当てることによって、フォトムービーを作成する。
【００５８】
また、動画像生成部２３５は、表示モードがスライドショーである場合には、関連画像選択部２３３によって抽出された静止画像群から表示対象とする静止画像を例えばランダムに抽出する。
【００５９】
なお、動画像生成部２３５は、スライドショーを作成する場合に、フォトムービーの作成と同様にして、シナリオ情報を使用してもよい。この場合、動画像生成部２３５は、関連画像選択部２３３によって抽出された静止画像群から、シナリオ情報によって示される各チャプタの静止画属性に合致する少なくとも１つの静止画像を抽出する。そして、動画像生成部２３５は、抽出された少なくとも１つの静止画像を各チャプタに割り当てることによってスライドショーを作成、つまり使用する静止画像それぞれとその再生順を決定する。
【００６０】
動画像再生部２３６は、フォトムービーについては、シナリオ情報によって示される各チャプタに対応するエフェクトを各チャプタに割り当てられた静止画像に施すことによってフォトムービーを再生する。また、動画像再生部２３６は、スライドショーについては、動画像生成部２３５により順次抽出される静止画像を再生する。
【００６１】
電源監視部２４は、ＥＣ／ＫＢＣ１１３、電源回路１１５を通じて電源状態を監視し、再生制御部２３に通知する。再生制御部２３によるフォトムービーの再生は、静止画像へのエフェクト等のために処理負担が大きい。パーソナルコンピュータ１０がバッテリ駆動されている場合、フォトムービーの再生のために消費電力が大きくなり稼働可能時間が短くなってしまう。電源監視部２４は、パーソナルコンピュータ１０がバッテリ駆動されているかＡＣアダプタ１１５ｂが接続されているかの電源モードや、バッテリ駆動されている場合のバッテリ１１５ａの残量などの電源状態を再生制御部２３に通知することで、フォトムービーの再生回数や時間などを変更できるようにする。
【００６２】
設定部２５は、再生制御部２３に再生される動画像（スライドショー、フォトムービー）の再生を制御する設定を行う。設定部２５は、ユーザからの要求に応じてスライドショー／フォトムービー設定画面を表示させる。この設定画面では、スライドショーについては、画像の切り換え間隔（例えば、１〜３００秒の範囲で設定）、静止画像の日付表示の有無を設定することができる。また、フォトムービーについては、フォトムービーの再生開始のタイミングを設定することができる。例えば、フォトムービーの「連続再生」あるいは「再生しない」に設定できる他、再生間隔を時間で指定することができる。例えば、「１５分毎」「３０分毎」「１時間毎」に設定できる。また、再生時刻を指定することができる。例えば、「毎時○○分」「○○時○○分」に設定できる。また、「○○時〜○○時」のように有効時間を範囲指定することもできる。さらに、「ランダム」に設定したり、特定の日時「○月○日○時○分」を指定できるようにしても良い。設定部２５は、ユーザ指定に応じて設定された内容を示す設定情報を記録する。再生制御部２３は、設定部２５により設定された設定情報を参照し、再生開始のタイミングに合わせて、フォトムービーの再生を開始する。なお、スライドショーについてもフォトムービーと同様に、再生開始のタイミングを設定できるようにしても良い。
【００６３】
図６は、動画像作成アプリケーションプログラム２０２によって表示されるメイン画面４０の例を示す。
メイン画面４０は、例えば、「スタイル」ボタン４０１、「音楽」ボタン４０２、「主人公」ボタン４０３、「スタート」ボタン４０４、ムービー再生画面４０５、及び「カレンダー」ボタン４０６を備える。
【００６４】
ムービー再生画面４０５は、生成されたフォトムービー又はスライドショーを表示するための画面である。ムービー再生画面４０５では、再生制御部２３（動画像生成部２３５）によって生成されたフォトムービー又はスライドショーが順次再生され、表示される。図６においては、再生中のフォトムービー又はスライドショーの画像に、例えば、人物４０Ａ〜４０Ｆが登場する例が示されている。
【００６５】
動画像作成アプリケーションプログラム２０２は、起動されるとスライドショーの再生を開始する。スライドショーの再生中にフォトムービーの再生を開始するタイミングになると、再生制御部２３は、スライドショーの最後に表示された静止画像をキー画像に決定し、このキー画像をもとにフォトムービーを生成し、スライドショーに代えてフォトムービーの再生を開始する。また、フォトムービーの再生が終了すると、フォトムービーの最後に表示された静止画像をキー画像に決定し、このキー画像をもとにスライドショーを生成し、スライドショーの再生を開始する。
【００６６】
また、フォトムービー又はスライドショーの再生中にムービー再生画面４０５がユーザによるポインティングデバイスの操作によってクリックされた時、動画像作成アプリケーションプログラム２０２は、フォトムービー（スライドショー）の再生を一時停止し、現在再生中の画像をキー画像に決定する。現在再生中の画像が複数の静止画像を合成することによって生成された画像であるならば、動画像作成アプリケーションプログラム２０２は、それら複数の静止画像の一つをキー画像に決定しても良い。もちろん、それら複数の静止画像の内、ユーザによってクリックされた静止画像をキー画像に決定しても良い。
【００６７】
「主人公」ボタン４０３は、生成されるフォトムービー（またはスライドショー）内で注目される人物（主人公）の選択を開始するためのボタンである。キー画像選択部２３１は、「主人公」ボタン４０３が押されたことに応答して、キー画像に登場する人物のリスト（顔画像選択画面）を表示する。ユーザは、例えば、ムービー再生画面４０５を用いてキー画像を選択した後に、「主人公」ボタン４０３を押して、キー顔画像の選択開始（すなわち、顔画像選択画面の表示）を指示する。
【００６８】
顔画像選択画面では、キー画像に含まれる顔画像のリストが表示される。ユーザは、顔画像選択画面のリストからから注目する人物の顔画像を選択する。キー画像選択部２３１は、選択された顔画像をキー顔画像（主人公）に決定する。また、顔画像選択画面を用いて顔画像を選択する操作が行われないとき（例えば、「主人公」ボタン４０３が押されないとき）、キー画像選択部２３１は、キー画像に含まれる顔画像のうち、所定の条件を満たす顔画像をキー顔画像に選択してもよい。
【００６９】
図６のメイン画面４０上の「スタイル」ボタン４０１は、フォトムービーのスタイルの選択を開始するためのボタンである。動画像作成アプリケーションプログラム２０２は、「スタイル」ボタン４０１が押されたことに応答して、スタイル選択画面を表示する。スタイル選択画面上には、上述の８種類のスタイル（Happy, Fantastic, Ceremonial, Cool, Travel, Party, Gallery, Biography）のリストが表示される。ユーザは、希望するスタイルを選択することができる。
【００７０】
「音楽」ボタン４０２は、フォトムービーに用いられる音楽の選択を開始するためのボタンである。動画像作成アプリケーションプログラム２０２は、「音楽」ボタン４０２が押されたことに応答して、音楽のリスト（音楽選択画面）を表示する。ユーザは、希望する音楽を選択することができる。
【００７１】
「スタート」ボタン４０４は、フォトムービーの生成及び再生を開始するためのボタンである。動画像作成アプリケーションプログラム２０２は、「スタート」ボタン４０４が押されたことに応答して、フォトムービーの作成を開始する。そして、動画像作成アプリケーションプログラム２０２は、作成したフォトムービーを再生して、ムービー再生画面４０５に表示する。
【００７２】
次に、図５を参照して、フォトムービー作成処理の手順の概要について説明する。
動画像作成アプリケーションプログラム２０２は、まず、インデックス情報に基づいて、キー画像（キー顔画像）に関連する静止画像を素材データベース３０１から抽出（一次抽出）する（ブロックＢ１０１）。ブロックＢ１０１では、動画像作成アプリケーションプログラム２０２は、例えば、選択された人物（主人公）に関連する静止画像を素材データベース３０１から抽出する。
【００７３】
次に、動画像作成アプリケーションプログラム２０２は、フォトムービーの作成に用いるシナリオを選定する（ブロックＢ１０２）。ブロックＢ１０２では、動画像作成アプリケーションプログラム２０２は、選択されたスタイルや、ブロックＢ１０１で抽出した複数の静止画像の特徴値等に応じて、予め用意された複数のシナリオ情報の一つを選択する。各シナリオ情報は、フォトムービーのシーケンスを構成する複数のチャプタ（シーン）において使用されるエフェクトの順番（エフェクト列）および静止画像の属性（静止画属性）とを規定する。
【００７４】
図５では、フォトムービーのシーケンスが５つのチャプタ（チャプタ１、２、３、４、５）から構成される場合が想定されている。チャプタ１はフォトムービーのオープニングシーンであり、チャプタ５はフォトムービーのエンディングシーンである。各チャプタには、１以上のエフェクトが定義され、さらにエフェクト毎に静止画属性が定義される。
【００７５】
静止画属性としては、例えば、人物属性（顔属性）を使用してもよい。この人物属性としては、例えば、主人公（主役）、脇役、笑顔度、鮮明度、登場人数等を使用することができる。ここで、用語「主役」は、フォトムービーの主人公となるべき人物、つまり、注目すべき人物（顔）を意味する。例えば、上述のキー顔画像に対応する人物を、主役に決定してもよい。用語「脇役」は、主人公に関連する別の人物を意味する。例えば、主人公との共起頻度の高い人物（顔）を脇役に決定してもよい。人物属性は、複数の脇役を指定することもできる。主人公との共起頻度の高い複数の人物（顔）が脇役となり得る。静止画属性としては、人物属性のみならず、例えば、場所属性を使用してもよい。この場所属性は、使用する静止画像の撮影場所を指定する。
【００７６】
図５のシナリオ情報１では、例えば、チャプタ１に２つのエフェクト（エフェクト＃１、エフェクト＃２）が規定されており、さらに、エフェクト＃１には静止画属性「主人公」が、エフェクト＃２には静止画属性「主人公 ＯＲ 脇役」が関連付けられている。静止画属性「主人公」は、主人公が登場する静止画像が使用されるべきであることを指定する。静止画属性「主人公 ＯＲ 脇役」は、主人公または脇役のいずれかが登場する静止画像が使用されるべきであることを指定する。静止画属性の他の幾つかの例は以下の通りである。
【００７７】
チャプタ２のエフェクト＃１１に関連付けられた静止画属性「主人公、脇役」は、主人公と脇役の双方が登場する静止画像が使用されるべきであることを指定する。チャプタ３のエフェクト＃６に関連付けられた静止画属性「脇役１、脇役２、脇役３」は、３人の脇役（脇役１、脇役２、脇役３）の全てが登場する静止画像が使用されるべきであることを指定する。チャプタ５のエフェクト＃３に関連付けられた静止画属性「多人数、笑顔度高」は、閾値以上の人物が登場し且つ笑顔度の高い人物の頻度がある閾値以上である静止画像が使用されるべきであることを指定する。チャプタ５のエフェクト＃４に関連付けられた静止画属性「主人公、笑顔度高」は、主人公が登場し、且つ主人公の笑顔度が閾値以上である静止画像が使用されるべきであることを指定する。このように、人物属性は、各チャプタに登場すべき人物が、主役、脇役、または主役および脇役の双方のいずれであるかを指定することができる。
【００７８】
次いで、動画像作成アプリケーションプログラム２０２は、ブロックＢ１０１で抽出した静止画像群から、選定されたシナリオ情報によって示される各チャプタの静止画属性に合致する１以上の静止画像をさらに抽出（本抽出）する（ブロックＢ１０３）。そして、動画像作成アプリケーションプログラム２０２は、抽出された静止画像を各チャプタに割り当てることによってフォトムービーを作成し、作成されたフォトムービーを再生する（ブロックＢ１０４）。ブロックＢ１０４では、動画像作成アプリケーションプログラム２０２は、シナリオ情報によって示される各チャプタに対応するエフェクトを、各チャプタに割り当てられた静止画像に施す。
【００７９】
図７、図８は、フォトムービーの表示例を示している。
図７は、静止画像に登場する人物の顔画像を強調するためのエフェクトが施された例を示す。画面４３では、人物４３Ａの顔画像に対して、人物４３Ａを強調するためのエフェクト４３Ｂが施されている。エフェクト４３Ｂは、顔画像を囲むイラストを顔画像に重畳している。また、静止画像４４では、人物４４Ａの顔画像にスポットを当てるエフェクト４４Ｂが施されている。エフェクト４４Ｂは、人物４４Ａの顔画像以外の領域を暗くしている。
【００８０】
図８は、複数の静止画像にエフェクトが施される例を示す。画面４５及び画面４６では、複数の静止画像に対して、それら静止画像を組み合わせて表示するためのエフェクトが施されている。このエフェクトは、複数の静止画像の配置、サイズ、モーション等を決定している。
【００８１】
次に、図９に示すフローチャートを参照して、動画像作成アプリケーションプログラム２０２によって実行される動画像生成処理の手順の例について説明する。動画像作成アプリケーションプログラム２０２は、フォトムービー及びスライドショーのいずれかの動画像を再生する。
【００８２】
まず、キー画像選択部２３１は、キー画像選択処理を実行する（ブロックＢ２０１）。
【００８３】
キー画像選択部２３１は、素材データベース３０１に格納された静止画像データ５１からキー画像を選択する。このキー画像は、素材データベース３０１から、再生する動画像（フォトムービー又はスライドショー）に用いられる静止画像データ５１を抽出するための抽出キーとして用いられる。キー画像選択部２３１は、選択したキー画像を示す情報を関連画像選択部２３３に出力する。なお、キー画像は、カレンダー画面あるいは顔画像選択画面を通じて入力されたユーザからの指定に応じて選択しても良いし、表示対象とする静止画像群からランダムに選択しても良い。また、動画像作成アプリケーションプログラム２０２の起動時に表示される静止画像や前回の動画像の再生において最後に選択された静止画像を選択しても良い。
【００８４】
動画像作成アプリケーションプログラム２０２の起動時には表示モードがスライドショーに設定されている。なお、ユーザの操作によって、表示モードをフォトムービーに変更することも可能である。
表示モードがスライドショーモードである場合（ブロックＢ２０２のスライドショー）、関連画像選択部２３３は、キー画像選択部２３１によって選択されたキー画像を用いて、関連画像選択処理を実行する（ブロックＢ２０３）。関連画像選択部２３３は、キー画像に対して、例えば日時、人物又は場所について関連する静止画像データ５１を素材データベース３０１から選択する。これにより、スライドショーの再生対象となる複数の静止画像からなる静止画像群が得られる。
【００８５】
動画像生成部２３５は、関連画像選択部２３３によってキー画像に関連する静止画像群が得られると、この静止画像群からスライドショーとして表示する静止画像データ５１を例えばランダムに素材データベース３０１から抽出して動画像再生部２３６に出力する（ブロックＢ２０４）。
【００８６】
動画像再生部２３６は、動画像生成部２３５により抽出された静止画像データ５１を用いて、ムービー再生画面４０５においてスライドショーとして画像を表示させる。
【００８７】
なお、スライドショーを再生する場合、シナリオ決定部２３４によりスライドショー用のシナリオ情報を決定し、このシナリオ情報を用いてスライドショーに用いられる静止画像を素材データベース３０１から抽出するようにしても良い。例えば、スライドショー用のシナリオ情報では、表示する静止画像の静止画属性のみが設定されている。動画像生成部２３５は、静止画属性に合致する静止画像データ５１をキー画像に関連する静止画像群から抽出して動画像再生部２３６に出力する。以下、動画像生成部２３５と動画像再生部２３６は、設定部２５によって設定された画像の切り換え間隔に応じて、例えば５秒毎に静止画像を抽出して表示する。再生制御部２３は、フォトムービーの再生開始のタイミングに到達するまでスライドショーの再生を継続する（ブロックＢ２０６のＮｏ）。
【００８８】
再生制御部２３は、設定部２５により設定された再生開始のタイミングを監視している。フォトムービーの再生開始タイミング、例えばユーザに指定された再生時刻に到達した場合（ブロックＢ２０６のＹｅｓ）、キー画像選択部２３１は、動画像再生部２３６によってスライドショーの最後に用いられた静止画像データ５１をキー画像に決定する（ブロックＢ２０７）。
【００８９】
再生制御部２３は、スライドショーの最後に表示された静止画像データ５１をキー画像として、フォトムービー作成処理を実行して、フォトムービーの作成及び再生を実行する。なお、図９に示すブロックＢ２０８〜Ｂ２１２に示す処理は、図５に示すブロックＢ１０１〜Ｂ１０４と同様に実行されるものとして詳細な説明を省略する。
【００９０】
ただし、スライドショーの再生中にフォトムービーに移行した場合には、動画像生成部２３５は、スライドショーの最後に表示された静止画像（キー画像）を最初に抽出し、フォトムービーの先頭において表示させる。これにより、スライドショーの最後の画像とフォトムービーの最初の画像とが同じとなり、スライドショーからフォトムービーへ移行を自然（滑らか）にすることができる。
【００９１】
また、スライドショーの最後に表示された静止画像（キー画像）をフォトムービーの最初に表示するだけでなく、フォトムービーのシナリオ情報に設定されたクライマックスの部分（例えば、特別なエフェクトが設定されている）など、フォトムービー中の特定の部分で読み出して表示されるようにしても良い。
【００９２】
再生制御部２３は、シナリオ情報に応じて決定されるチャプタの数や再生対象とする静止画像の枚数、あるいはフォトムービーと並行して出力される楽曲の長さに応じた時間分のフォトムービーを再生する（ブロックＢ２１３のＮｏ）。
【００９３】
フォトムービーの再生が終了すると（ブロックＢ２１３のＹｅｓ）、キー画像選択部２３１は、動画像再生部２３６によってフォトムービーの最後に用いられた静止画像データ５１をキー画像に決定する（ブロックＢ２１４）。
【００９４】
再生制御部２３は、フォトムービーの最後に表示された静止画像データ５１をキー画像として、前述したブロックＢ２０３〜Ｂ２０５の処理を実行して、スライドショーの作成及び再生を実行する。
【００９５】
これにより、スライドショーからフォトムービーに移行した場合と同様にして、移行を自然（滑らか）にすることができる。
【００９６】
以上の処理により、動画像作成アプリケーションプログラム２０２は、キー画像に関連する静止画像データ５１を用いたスライドショーを表示し、フォトムービーを開始するタイミングに到達した場合に、スライドショーからフォトムービーに移行することができる。フォトムービーの再生が終了すると、再び、スライドショーの再生に戻ることができる。キー画像に関連する静止画像データ５１を用いることにより、思いがけない静止画像等を含む動画像をユーザに提示することができる。
【００９７】
また、動画像作成アプリケーションプログラム２０２により素材データベース３０１に格納された複数の静止画像データ５１を用いて動画像を再生出力させる場合、フォトムービーとスライドショーとを混在して実行させることで、視聴効果を向上させることができる。
【００９８】
なお、図９に示すフローチャートでは、例えばフォトムービーの再生を開始するタイミング（例えば、ユーザにより設定された時刻）に到達してから、静止画像一次抽出を開始してフォトムービーを作成している。フォトムービー作成処理では、複数の静止画像に対して、シナリオ情報において設定された複数のエフェクトを施す必要があるため処理負荷が大きい。従って、フォトムービーの再生を開始するタイミングに到達してからフォトムービー作成処理を開始すると、スライドショーの最後の画像が表示されてからフォトムービーの再生が開始されるまでに、スライドショーの画像の切り換え間隔よりも長い時間を要する可能性がある。この場合、ユーザに対して動画像の表示が一時停止した印象を与えてしまう。
【００９９】
そこで、図１０のフローチャートに示すフォトムービー作成開始判定処理により、フォトムービーの再生を開始するタイミングに到達する前に、フォトムービーの作成を完了させるようにしても良い。
【０１００】
再生制御部２３は、スライドショーの再生を実行している間、フォトムービー作成開始判定処理を実行する。再生制御部２３は、設定部２５により設定された設定情報を参照し、フォトムービーの再生を開始する時刻の所定時間前となったかを判別する（ブロックＢ３０１）。なお、所定時間は、フォトムービー作成処理によってフォトムービーを作成可能な十分な時間である。ただし、フォトムービー作成処理が終了してから、フォトムービーの再生が開始される（スライドショーの再生終了）までの時間はできるだけ短いことが望ましい。すなわち、フォトムービー作成処理が開始された後、ユーザ操作によって新たなキー画像の指定やスタイルの指定があった場合には、新たにフォトムービー作成処理を実行する必要があり、それまでのフォトムービー作成処理の処理結果が無駄になってしまうためである。
【０１０１】
再生制御部２３は、フォトムービーの再生を開始する時刻の所定時間前になると（ブロックＢ３０２のＹｅｓ）、スライドショーの最後に用いられる静止画像データ５１を判別する。スライドショーでは、設定部２５により設定された画像の切り換え間隔に従って１枚毎に静止画像が表示される。このため、再生制御部２３は、フォトムービーの再生が開始されるまでに表示される静止画像の枚数を算出し、その枚数分の表示対象とする静止画像を選択することで、スライドショーの最後に表示される静止画像を特定することができる。
【０１０２】
キー画像選択部２３１は、スライドショーの最後に表示される静止画像をキー画像に決定する（ブロックＢ３０４）。以下、前述したように、キー画像をもとにしてフォトムービー作成処理によってフォトムービーを作成する。
【０１０３】
図１１は、フォトムービー作成開始判定処理を説明する図である。
図１１に示すように、スライドショーの再生中に、スライドショーの最後に表示される静止画像を判別し、この静止画像をキー画像にしてフォトムービー作成処理を実行する。
【０１０４】
このフォトムービー作成処理では、フォトムービーの再生を開始するタイミング前にフォトムービーの作成が完了するため、必要以上にフォトムービーの再生開始が遅れることはない。
【０１０５】
なお、フォトムービーからスライドショーに移行する場合には、処理負荷が大きくないため、図１１に示すように、スライドショーの再生開始のタイミングに合わせて、例えばフォトムービーの最後に表示された静止画像をスライドショーの先頭に表示すれば良い。
【０１０６】
また、前述した説明では、設定部２５によってユーザ指定に応じて設定されたタイミングによりフォトムービーの再生を開始しているが、電源監視部２４により監視されている電源状態に応じてフォトムービーの再生回数、あるいは再生時間を次のように調整しても良い。
【０１０７】
（Ａ）ＡＣアダプタ１１５ｂが接続され、外部電源から電源供給を受けている場合。
【０１０８】
（ａ１）設定部２５によって設定された設定情報に応じて、フォトムービーを再生する。
【０１０９】
（ａ２）設定情報に関係なく、常時、フォトムービーを再生する。
【０１１０】
（ａ３）設定情報の設定内容よりもフォトムービーの再生回数を増やす。例えば、３０分毎の再生が設定されていた場合、１５分毎にフォトムービーを再生する。
【０１１１】
（ａ４）１回のフォトムービーの再生時間を長くする。
【０１１２】
（Ｂ）ＡＣアダプタ１１５ｂが接続されていないためバッテリ駆動している場合。
【０１１３】
（ｂ１）バッテリ１１５ａの残量が予め設定されたしきい値よりも十分に多い場合には、設定部２５によって設定された設定情報に応じて、フォトムービーを再生する。
【０１１４】
（ｂ２）バッテリ１１５ａの残量が予め設定されたしきい値よりも少ない場合には、設定情報の設定内容よりもフォトムービーの再生回数を減らす。例えば、１５分毎の再生が設定されていた場合、３０分毎にフォトムービーを再生する。
【０１１５】
（ｂ３）バッテリ１１５ａの残量が減少するに従って、フォトムービーの再生間隔を長くする。例えば、バッテリ残量が３／４に減少した場合、例えば、設定情報で設定されていた１５分毎の再生を３０分毎に変更し、バッテリ残量が１／２に減少した場合、１時間毎に変更し、１／４に減少した場合には、フォトムービーの再生を中止してスライドショーのみを再生する。
【０１１６】
（ｂ４）バッテリ駆動に移行した時、あるいはバッテリ残量が予め設定されたしきい値よりも少なくなった場合、設定情報におけるフォトムービーの再生実行を無効にして、常時、スライドショーを再生する。
【０１１７】
（ｂ５）バッテリ駆動に移行した時、あるいはバッテリ残量が予め設定されたしきい値よりも少なくなった場合、１回のスライドショーの時間を短くする。
前述した調整例を単独、あるいは組み合わせて実施することが可能である。
【０１１８】
このようにして、電源状況に応じてフォトムービーの再生回数あるいは再生時間を調整することにより、動画像の再生によりバッテリ１１５ａの急速な減少を回避してパーソナルコンピュータ１０の稼働可能時間を確保し、かつフォトムービーとスライドショーとを混在して再生する視聴効果を維持することが可能となる。
【０１１９】
なお、前述とした動画像生成処理では、スライドショーからフォトムービーに移行する場合、スライドショーの最後の静止画像をキー画像として決定しているが、最後から数枚の静止画像からキー画像を選択するようにしても良い。同様にして、フォトムービーからスライドショーに移行する場合、フォトムービーの最後から数枚の静止画像からキー画像を選択するようにしても良い。つまり、フォトムービーやスライドショーの表示形態によっては、最後の静止画像がユーザの印象に残らない場合があるため、最後から数枚の静止画像からキー画像を選択することにより、同様の効果を得ることができる。
【０１２０】
また、キー画像とする静止画像を１枚としているが、２枚以上とすることも可能である。
また、本実施形態の再生処理の手順は全てソフトウェアによって実行することができる。このため、再生処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
【０１２１】
また、図３に示した各部の機能は、例えば、専用ＬＳＩ、ＤＳＰのようなハードウェアによって実現しても良い。
【０１２２】
また本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１２３】
１０９…ＨＤＤ、２０２…動画像再生アプリケーションプログラム、２１…監視部、２２…インデキシング部、２２１…顔画像検出部、２２２…クラスタリング部、２２３…イベント検出部、２２４…インデックス情報生成部、２３…再生制御部、２３１…キー画像選択部、２３２…カレンダー表示部、２３３…画像抽出部、２３３Ａ…日時関連画像抽出部、２３３Ｂ…人物関連画像抽出部、２３３Ｃ…場所関連画像抽出部、２３４…シナリオ決定部、２３５…動画像生成部、２３６…動画像再生部、２４…電源監視部、２５…設定部、３０１…素材データベース、５１…静止画像データ、３０２…素材情報データベース、３０２Ａ…インデックス情報、３０３…エフェクトデータベース、３０３Ａ…エフェクトデータ、３０３Ｂ…音声データ、３０３Ｃ…シナリオデータ。
【技術分野】
【０００１】
本発明の実施形態は、画像を表示する電子機器及び画像処理方法に関する。
【背景技術】
【０００２】
近年、パーソナルコンピュータ、デジタルカメラ、ＰＤＡのような様々な電子機器が普及している。このような電子機器は、例えば写真のような静止画像を管理する機能を有している。画像管理方法としては、例えば、写真に付加された日時データに基づいて、写真を複数のグループに分類する方法が知られている。
【０００３】
また、最近では、写真のような静止画像群を用いて動画像（例えば、フォトムービー、スライドショー等）を作成する動画作成技術が注目されている。動画作成技術としては、例えば、静止画像群を複数の撮影日時に対応する複数のディレクトリに分類して格納し、ユーザによって指定されたディレクトリ内の静止画像群を用いて動画を作成する技術が知られている。
【０００４】
スライドショーを表示する電子機器は、例えば格納された画像の特徴量を抽出し、指定されたキー画像との類似度を計算し、類似度別画像ソート結果あるいは類似度変化関数にしたがって画像を逐次選択して表示する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−６７０５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、ユーザに処理対象のディレクトリを指定させる方法では、表示される静止画像は、その指定されたディレクトリ内の静止画像に限定される。したがって、例えば、思いがけない静止画像（ユーザが意識していない静止画像）や、同一のディレクトリ内に格納されていないものの関連性が高い静止画像等を含む動画をユーザに提示することは困難である。
【０００７】
また、スライドショーでは、静止画像群から表示対象となる画像を逐次選択して表示するだけであるので、ユーザに興味を持たせることができる、より視聴効果の高い動画像を提供できることが望まれていた。
【０００８】
本発明は、思いがけない静止画像等を含む視聴効果の高い動画像をユーザに提示できる電子機器及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
実施形態によれば、電子機器は、選択手段と、決定手段と、再生手段とを具備する。選択手段は、複数のスタイルからユーザ操作により指定されたスタイルを選択する。決定手段は、前記選択手段により選択されたスタイルに予め用意された複数のシナリオ情報から、動画像の再生に用いるシナリオ情報を決定する。再生手段は、複数の静止画像から前記シナリオ情報に応じて抽出された静止画像群をもとに動画像を再生する。
【図面の簡単な説明】
【００１０】
【図１】実施形態に係る電子機器の外観を示す斜視図。
【図２】実施形態の電子機器のシステム構成を示すブロック図。
【図３】実施形態の電子機器によって実行される動画像作成アプリケーションプログラムの機能構成を示すブロック図。
【図４】実施形態の電子機器によって実行される動画像作成アプリケーションプログラムが用いるインデックス情報の例を示す図。
【図５】実施形態の電子機器によって実行されるフォトムービー作成処理の例を示す概念図。
【図６】実施形態の電子機器によって表示されるメイン画面の例を示す図。
【図７】実施形態の電子機器によって表示される、エフェクトが施されたフォトムービーの例を示す図。
【図８】実施形態の電子機器によって表示される、エフェクトが施されたフォトムービーの例を示す図。
【図９】実施形態の電子機器によって実行される動画像生成処理の手順の例を示すフローチャート。
【図１０】実施形態の電子機器によって実行されるフォトムービー作成開始判定処理の手順の例を示すフローチャート。
【図１１】実施形態の電子機器によって実行されるフォトムービー作成開始判定処理を示す図。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、実施形態を説明する。
図１は、本発明の一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えばノートブックタイプのパーソナルコンピュータ１０として実現されている。図１に示すように、パーソナルコンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２には、ＬＣＤ（liquid crystal display）１７が組み込まれている。ディスプレイユニット１２は、コンピュータ本体１１の上面が露出される開放位置とコンピュータ本体１１の上面を覆う閉塞位置との間を回動自在にコンピュータ本体１１に取り付けられている。
【００１２】
コンピュータ本体１１は、薄い箱形の筐体を有しており、その上面には、キーボード１３、パーソナルコンピュータ１０を電源オン／電源オフするためのパワーボタン１４、入力操作パネル１５、タッチパッド１６、スピーカ１８Ａ，１８Ｂなどが配置されている。
【００１３】
入力操作パネル１５上には、各種操作ボタンが設けられている。
【００１４】
また、コンピュータ本体１１の右側面には、例えばＵＳＢ（universal serial bus）２．０規格のＵＳＢケーブルやＵＳＢデバイスを接続するためのＵＳＢコネクタ１９が設けられている。
【００１５】
図２は、パーソナルコンピュータ１０のシステム構成を示す図である。
パーソナルコンピュータ１０は、図２に示されているように、ＣＰＵ（central processing unit）１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、ＧＰＵ（Graphics Processing Unit）１０５、ＶＲＡＭ（ビデオＲＡＭ:random access memory）１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ（basic input/output system-read only memory）１０７、ＬＡＮ（local area network）コントローラ１０８、ハードディスクドライブ（ＨＤＤ）１０９、光ディスクドライブ（ＯＤＤ）１１０、ＵＳＢコントローラ１１１Ａ、カードコントローラ１１１Ｂ、無線ＬＡＮコントローラ１１２、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）１１３、ＥＥＰＲＯＭ（electrically erasable programmable ROM）１１４等を備える。
【００１６】
ＣＰＵ１０１は、パーソナルコンピュータ１０内の各部の動作を制御するプロセッサである。ＣＰＵ１０１は、ＨＤＤ１０９から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）２０１、及び動画像作成アプリケーションプログラム２０２のような各種アプリケーションプログラムを実行する。動画像作成アプリケーションプログラム２０２は、例えばＨＤＤ１０９等に格納された各種デジタルコンテンツを再生するソフトウェアである。この動画像作成アプリケーションプログラム２０２は、動画像生成機能を有している。この動画像生成機能は、例えば、ＨＤＤ１０９等に格納された静止画像等の素材（デジタルコンテンツ）を用いて、動画像（スライドショー（第１の動画像）、フォトムービー（第２の動画像））を作成する機能である。さらに、この動画像生成機能は、動画像の作成に用いる素材を分析する機能を含む。動画像作成アプリケーションプログラム２０２は、素材を用いて作成された動画像を再生し、画面（ＬＣＤ１７）に表示する。
【００１７】
また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０７に格納されたＢＩＯＳも実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
【００１８】
ノースブリッジ１０２は、ＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、例えば、PCI EXPRESS規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。
【００１９】
ＧＰＵ１０５は、パーソナルコンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このＧＰＵ１０５によって生成される表示信号はＬＣＤ１７に送られる。
【００２０】
サウスブリッジ１０４は、ＰＣＩ（Peripheral Component Interconnect）バス上の各デバイス及びＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ＨＤＤ１０９及びＯＤＤ１１０を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。
【００２１】
サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８Ｂに出力する。ＬＡＮコントローラ１０８は、例えばIEEE 802.3規格の有線通信を実行する有線通信デバイスであり、一方、無線ＬＡＮコントローラ１１２は、例えばIEEE 802.11g規格の無線通信を実行する無線通信デバイスである。ＵＳＢコントローラ１１１Ａは、（ＵＳＢコネクタ１９を介して接続される）例えばUSB 2.0規格に対応した外部機器との通信を実行する。例えば、ＵＳＢコントローラ１１１Ａは、例えば、デジタルカメラに格納されている画像データファイルを受信するために使用される。カードコントローラ１１１Ｂは、コンピュータ本体１１に設けられたカードスロットに挿入される、ＳＤカードのようなメモリカードに対するデータの書き込み及び読み出しを実行する。
【００２２】
ＥＣ／ＫＢＣ１１３は、電力管理のためのエンベデッドコントローラと、キーボード１３及びタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。ＥＣ／ＫＢＣ１１３は、ユーザによるパワーボタン１４の操作に応じて電源回路１１５を制御し、パーソナルコンピュータ１０を電源オン／電源オフする機能を有している。
【００２３】
電源回路１１５は、コンピュータ本体１１に挿入されたバッテリ１１５ａ、またはＡＣアダプタ１１５ｂを介して接続された外部電源から電源供給を受けて、各コンポーネントへの動作電源を生成して供給する。電源回路１１５には、電源マイコンが設けられている。
【００２４】
電源マイコンは、各コンポーネントとバッテリに対する電源供給（充放電）や、バッテリ１１５ａの充電状態（バッテリ残量）、ＡＣアダプタ１１５ｂの接続の有無（外部からの電源供給の有無）を監視する。
【００２５】
次に、図３を参照して、動画像作成アプリケーションプログラム２０２の機能構成を説明する。
ここでは、動画像作成アプリケーションプログラム２０２が有する機能のうち、動画像生成機能を実現するための構成例について説明する。動画像生成機能は、ＨＤＤ１０９内の所定のディレクトリ（フォルダ）に格納された複数の静止画像（静止画像データ）５１を用いて動画像（フォトムービー、スライドショー）を作成し、その作成した動画像を再生する。静止画像５１は、例えば、デジタル写真、他の各種静止画像ファイル（例えば、ＪＰＥＧ（Joint Photographic Experts Group）ファイル）等である。用語「フォトムービー」は、複数の静止画像（例えば写真）を用いて生成される動画像（ムービー）を意味する。フォトムービーの再生においては、静止画像群には様々なエフェクトまたはトランジションが施される。エフェクトまたはトランジションが施された静止画像群は、音楽と並行して再生される。動画像作成アプリケーションプログラム２０２は、ある静止画像（キー画像）に関連する静止画像群を自動的に抽出し、抽出された静止画像群を用いてフォトムービーを作成および再生することができる。用語「スライドショー」は、静止画像を１枚ずつ順次表示する動画像（ムービー）を意味する。
【００２６】
動画像作成アプリケーションプログラム２０２は、ユーザが設定したＨＤＤ１０９内のフォルダ（写真フォルダ）を監視し、１以上の新しい静止画像（写真ファイル）が写真フォルダに格納されたことを感知すると、それら１以上の新しい静止画像に対するインデキシングを行うと同時に、それら１以上の新しい静止画像のスライドショーを開始する。インデキシングが完了すると、動画像作成アプリケーションプログラム２０２は、１以上の新しい静止画像を用いたフォトムービーを作成して再生する。この場合、例えば、１以上の新しい静止画像のみからフォトムービーを作成して再生しても良い。代わりに、１以上の新しい静止画像に関連する静止画像群を写真フォルダ内の静止画像群から抽出し、１以上の新しい静止画像と、それら抽出された静止画像群とを用いてフォトムービーを作成して再生しても良い。
【００２７】
フォトムービーの作成は、１枚の静止画像（キー画像）を基に行われる。つまり、選択されたキー画像に関連する複数の静止画像からなる静止画像群が自動抽出され、抽出された静止画像群を用いてフォトムービーが作成される。フォトムービーの作成条件として、スタイル、音楽、注目する人物（顔）の各々を選択指定することができる。選択したスタイルに応じて、使用される静止画像の抽出方法、使用されるエフェクト／トランジション等が決定される。従来では、ムービーの作成に使用する写真はユーザによって指定されるが、動画像作成アプリケーションプログラム２０２は、写真フォルダ内の全ての静止画像から、使用する写真群を自動抽出する。これにより、思いがけない写真を掘り起こしてユーザに見せることができる。
【００２８】
抽出処理では、顔画像の笑顔度、顔画像の鮮明度等に従って、より写りの良い写真を抽出してもよい。また、顔クラスタリングによって各顔画像に対応する人物を認識し、例えば、選択された人物の顔画像を含む写真群、選択された人物に関連する別の人物の顔画像を含む写真群などを抽出してもよい。さらに、イベントグループ分け技術を用いて写真群を複数のイベントに分けてもよい。この場合、あるイベント内の登場人物と別のイベント内の登場人物との関係に基づいてイベント同士の関連性を推定し、その推定結果を抽出処理に使用しても良い。例えば、同一の人物が登場するイベント同士は関連性があると推定しても良い。また、例えば、ある人物Ａと別の人物Ｂが同じ写真に写っている頻度（共起頻度）が高いならば、人物Ａを含む写真が属するイベントは、人物Ｂを含む写真が属するイベントに関連するイベントであると推定してもよい。
【００２９】
動画像作成アプリケーションプログラム２０２は、監視部２１、インデキシング部２２、再生制御部２３、電源監視部２４、及び設定部２５を備える。
【００３０】
監視部２１は、ＨＤＤ１０９内の素材データベース３０１を常時監視し、新たな静止画像５１が例えばＵＳＢコントローラ１１１Ａ、カードコントローラ１１１Ｂ等のインタフェース部を介してＨＤＤ１０９内の素材データベース３０１に格納されたか否かを判定する。素材データベース３０１はＨＤＤ１０９内の所定のディレクトリ（上述の写真フォルダ）に相当する。素材データベース３０１に格納された各静止画像５１は、動画像（フォトムービー、スライドショー）の素材候補として用いられる。素材データベース３０１には、静止画像のみならず、例えばショートムービーのような動画像を素材候補として格納してもよい。
【００３１】
インデキシング部２２は、素材データベース３０１内の複数の静止画像５１を分析し、それら複数の静止画像５１それぞれの属性を示すインデックス情報を生成する。インデキシング部２２によるインデキシングは、例えば、１以上の新しい静止画像（写真ファイル）が素材データベース３０１に格納されたことをトリガに開始される。つまり、素材データベース３０１に１以上の新しい静止画像が格納された時に、インデキシング部２２は、その新しい静止画像に対応するインデックス情報を生成する。
【００３２】
インデキシング部２２は、顔認識機能を有している。インデックス情報には、複数の静止画像５１に含まれる複数の顔画像それぞれの認識結果も含まれている。
【００３３】
インデキシング部２２は、顔画像検出部２２１、クラスタリング部２２２、イベント検出部２２３、及びインデックス情報生成部２２４を備える。
顔画像検出部２２１は、インデキシング対象の静止画像５１（例えば、写真フォルダに新たに格納された静止画像）から顔画像を検出する。顔画像は、例えば、その静止画像５１の特徴を解析し、予め用意された顔画像特徴サンプルと類似する特徴を有する領域を探索することによって検出することができる。顔画像特徴サンプルは、多数の人物それぞれの顔画像特徴を統計的に処理することによって得られた特徴データである。顔検出処理により、その静止画像５１に含まれる顔画像に対応する領域が検出され、当該領域の位置（座標）及びサイズが検出される。
【００３４】
また、顔画像検出部２２１は検出した顔画像を分析する。顔画像検出部２２１は、例えば、検出した顔画像の笑顔度、鮮明度、正面度等を算出する。笑顔度は、検出した顔画像が笑顔である度合いを示す指標である。鮮明度は、検出した顔画像が鮮明である（例えば、ぼけがない）度合いを示す指標である。また、正面度は、検出した顔画像が正面を向いている度合いを示す指標である。顔画像検出部２２１は、検出した顔画像を示す情報をクラスタリング部２２２に出力する。
【００３５】
クラスタリング部２２２は、検出した顔画像に対してクラスタリング処理を施すことにより、検出した顔画像を人物毎に分類する。類似する顔画像特徴を有する顔画像同士は同一の人物として認識される。クラスタリング部２２２は、クラスタリング処理の結果に基づいて、各顔画像に対して人物の識別情報（人物ＩＤ）を付与する。同一人物の顔画像群に対しては同一の人物ＩＤが付与される。クラスタリング部２２２は、各顔画像の属性（笑顔度、鮮明度、正面度、人物ＩＤ）をインデックス情報生成部２２４に出力する。
【００３６】
イベント検出部２２３は、インデキシング対象の静止画像５１に対応するイベントを検出する。イベント検出部２２３は、例えば、そのインデキシング対象の静止画像５１の生成日時（撮影日時）に基づいて、そのインデキシング対象の静止画像５１を、所定の期間内（例えば、１日）に生成された他の静止画像と同一のイベントに分類する。そして、イベント検出部２２３は、インデキシング対象の静止画像５１に対して、そのインデキシング対象の静止画像５１が分類されたイベントの識別情報（イベントＩＤ）を付与する。そして、イベント検出部２２３は、インデキシング対象の静止画像５１に付与されたイベントＩＤをインデックス情報生成部２２４に出力する。
【００３７】
インデックス情報生成部２２４は、顔画像検出部２２１及びクラスタリング部２２２による処理結果に基づいて、インデックス情報３０２Ａを生成する。
図４は、インデックス情報３０２Ａの一構成例を示す。インデックス情報３０２Ａは、複数の静止画像５１にそれぞれ対応する複数のエントリを含む。各エントリは、例えば、画像ＩＤ、生成日時（撮影日時）、生成場所（撮影場所）、イベントＩＤ、顔画像情報を含む。ある静止画像に対応するエントリにおいて、画像ＩＤは、その静止画像に固有の識別情報を示す。生成日時は、その静止画像が生成された日時（その静止画像の撮影日時）を示す。生成場所は、その静止画像が生成（撮影）された場所（位置）を示す。生成日時及び生成場所には、例えば、その静止画像データに付加されている情報が用いられる。生成場所は、例えば、その静止画像データが生成されるときに（例えば、静止画像データに対応する写真が撮影されるときに）、ＧＰＳレシーバによって検出された位置情報を示す。イベントＩＤは、その静止画像に対応するイベントに一意に付与される識別情報を示す。顔画像情報は、その静止画像に含まれる顔画像の認識結果情報である。顔画像情報は、例えば、顔画像（例えば、その顔画像の格納場所を示すパス）、人物ＩＤ、位置、サイズ、笑顔度、鮮明度、及び正面度を含む。なお、一つの静止画像５１に複数の顔画像が含まれるときは、その一つの静止画像５１に対応するインデックス情報３０２Ａは、複数の顔画像の各々に対応する顔画像情報を含む。
インデックス情報生成部２２４は、生成したインデックス情報３０２Ａを素材情報データベース３０２に格納する。
【００３８】
以上の構成により、インデキシング部２２は、入力された静止画像５１に対応するインデックス情報３０２Ａを生成し、素材情報データベース３０２に格納することができる。
【００３９】
再生制御部２３は、インデックス情報３０２Ａに基づき、ある選択された静止画像（キー画像）に関連する静止画像を含む静止画像群を、素材データベース３０１内の静止画像５１から抽出し、関連する静止画像群を用いてフォトムービーまたはスライドショーを作成および再生する。
【００４０】
再生制御部２３は、動画像作成アプリケーションプログラム２０２が起動された場合、基本的にはスライドショーの再生を実行し、設定部２５によりユーザ指定に応じて設定されたフォトムービーの再生開始のタイミングに応じて、スライドショーに代えてフォトムービーを再生する。また、再生制御部２３は、電源監視部２４により管理される電源状況に応じて、フォトムービーの再生を制御することができる。
【００４１】
再生制御部２３は、例えば、キー画像選択部２３１、カレンダー表示部２３２、関連画像選択部２３３、シナリオ決定部２３４、動画像生成部２３５、及び動画像再生部２３６を備える。
【００４２】
キー画像選択部２３１は、素材データベース３０１に格納された複数の静止画像５１からキー画像（キー静止画像）を選択する。キー画像選択部２３１は、再生中の動画像（フォトムービーまたはスライドショー）に含まれる静止画像をキー画像に決定することもできる。つまり、キー画像選択部２３１は、再生中のフォトムービー又はスライドショー内のある画像がユーザによって指示された時、その指示された画像をキー画像に決定する。なお、フォトムービー又はスライドショーの再生中にユーザによるキー画像の指示が行われないとき、キー画像選択部２３１は、例えば、再生されたフォトムービー又はスライドショーに含まれる最後の静止画像をキー画像に決定してもよい。
【００４３】
キー画像選択部２３１は、静止画像が作成（撮影）された日をカレンダーに明示したカレンダー画面を用いてキー画像を選択してもよい。キー画像選択部２３１は、例えば、カレンダー画面からユーザによって指定された日に作成された静止画像をキー画像に決定する。
【００４４】
キー画像選択部２３１は、さらに、例えばユーザによって選択された顔画像を、キー顔画像に決定することもできる。この場合、そのキー顔画像に対応する人物に関連する静止画像が素材データベース３０１から抽出され、それら抽出された静止画像を含む静止画像群が動画像（フォトムービー又はスライドショー）の作成に用いられる。
【００４５】
関連画像選択部２３３は、素材データベース３０１に格納されている複数の静止画像５１から、キー画像（キー顔画像）に関連する１つ以上の静止画像を選択（抽出）する。キー画像に関連する静止画像は、キー画像に対して、例えば、日時、人物又は場所について関連性を有する。関連画像選択部２３３は、例えば、素材情報データベース３０２に格納されたインデックス情報３０２Ａを用いて、キー画像に関連する静止画像を抽出する。関連画像選択部２３３は、日時関連画像選択部２３３Ａ、人物関連画像選択部２３３Ｂ及び場所関連画像選択部２３３Ｃを備える。
【００４６】
日時関連画像選択部２３３Ａは、素材データベース３０１に格納された静止画像群５１から、キー画像の生成日時に関連する生成日時を有する静止画像を選択（抽出）する。日時関連画像選択部２３３Ａは、例えば、インデックス情報３０２Ａに基づいて、キー画像の生成日時と同一の期間内（例えば、日、月、時期、季節、年等で指定される期間内）に生成された静止画像を選択（抽出）する。また、日時関連画像選択部２３３Ａは、例えば、インデックス情報３０２Ａに基づいて、キー画像の生成日時とは別の期間内の同じ日、同じ週、同じ月等（例えば、１年前の同じ日や２年後の同じ月等）に生成された静止画像を選択（抽出）する。
【００４７】
人物関連画像選択部２３３Ｂは、素材データベース３０１に格納された複数の静止画像５１から、キー顔画像（キー画像に含まれる顔画像）に関連する静止画像を選択（抽出する）する。キー顔画像に関連する静止画像は、例えば、キー顔画像と同じ人物の顔画像を含む静止画像、キー顔画像に対応する人物に関連する別の人物の顔画像を含む静止画像、等を含む。キー顔画像に対応する人物に関連する別の人物には、例えば、キー顔画像と同じ静止画像内に含まれる人物等が含まれる。
【００４８】
場所関連画像選択部２３３Ｃは、素材データベース３０１に格納された静止画像５１から、キー画像の生成場所に関連する場所で生成された静止画像を選択（抽出）する。
【００４９】
シナリオ決定部２３４は、作成対象の動画像（例えば、フォトムービー）のシナリオを決定する。シナリオは、例えば、作成対象の動画像シーケンス内の複数のチャプタ（タイムセグメント）のそれぞれにおいて使用するエフェクトと静止画像の属性とを示す情報（シナリオ情報）を含む。つまり、シナリオ決定部２３４は、シナリオ中のチャプタと称されるタイムセグメント毎に、エフェクトと静止画属性とを選択する。
【００５０】
本実施形態においては、例えば、２４種類のシナリオ情報がシナリオデータ３０３Ｃとして予めエフェクトデータベース３０３内に格納されている。シナリオ決定部２３４は、２４種類のシナリオ情報の内の１つのシナリオ情報を、動画像（例えば、フォトムービー）の作成に使用するシナリオとして決定する。
【００５１】
シナリオの決定は、ユーザによって選択されたスタイルに従って実行してもよい。つまり、選択されたスタイルに従って、使用すべきシナリオ情報が決定される。本実施形態では、例えば８種類のスタイル（Happy, Fantastic, Ceremonial, Cool, Travel, Party, Gallery, Biography）が予め用意されている。さらに、スタイル毎に、例えば３種類のシナリオ情報が予め用意されている。シナリオ決定部２３４は、例えば、ユーザによって選択されたスタイルに対応する３種類のシナリオ情報の内の任意の１つを自動的に選択し、その選択したシナリオ情報を作成対象の動画像（例えば、フォトムービー）のシナリオに決定する。また、ユーザがスタイルを選択する代わりに、シナリオ決定部２３４が、８種類のスタイル内の任意の１つを自動的に選択してもよい。この場合、使用するスタイルは、例えば、関連画像選択部２３３によって抽出された静止画像それぞれの特徴（例えば、登場人物数（顔画像数）、顔画像の笑顔度、等）に基づいて決定してもよい。
【００５２】
上述のように、選択されたスタイルに対応する３種類のシナリオ情報の内の１つが作成対象の動画像（例えば、フォトムービー）のシナリオとして選択されるが、このシナリオの選択には、例えば、乱数を使用してもよい。これにより、たとえ同じスタイルが選択された場合でも、毎回異なるシナリオを使用してフォトムービーを作成できる。フォトムービーの作成に使用される静止画像群それぞれの属性は使用されるシナリオによって変わる。したがって、使用されるシナリオを変えることは、思いがけない静止画像を掘り起こしてユーザに見せることができる可能性を高めることを可能にし得る。
【００５３】
さらに、シナリオ決定部２３４は、フォトムービーの作成に使用する音楽も決定する。
【００５４】
本実施形態では、複数の音楽が音声データ３０３Ｂとしてエフェクトデータベース３０３に格納されている。シナリオ決定部２３４は、例えば、選択されたスタイルに応じて、または関連画像選択部２３３によって抽出された静止画像それぞれの特徴（例えば、登場人物数（顔画像数）に応じて、使用する音楽を決定する。なお、使用する音楽はユーザが指定するようにしてもよい。
【００５５】
また、ユーザによってスタイルが選択された場合、関連画像選択部２３３は、スタイル毎に決められた画像抽出条件に応じて、素材データベース３０１に格納されている複数の静止画像５１からスタイルに関連する静止画像を選択（抽出）することもできる。
【００５６】
動画像生成部２３５は、素材データベース３０１に格納された静止画像をもとに、表示モードに応じてスライドショーあるいはフォトムービーを生成する。
【００５７】
動画像生成部２３５は、表示モードがフォトムービーである場合、シナリオ決定部２３４により決定されたシナリオ情報に基づいてフォトムービーを生成する。この場合、動画像生成部２３５は、関連画像選択部２３３によって抽出された静止画像群から、シナリオ情報によって示される各チャプタの静止画属性に合致する少なくとも１つの静止画像を抽出する。そして、動画像生成部２３５は、抽出された少なくとも１つの静止画像を各チャプタに割り当てることによって、フォトムービーを作成する。
【００５８】
また、動画像生成部２３５は、表示モードがスライドショーである場合には、関連画像選択部２３３によって抽出された静止画像群から表示対象とする静止画像を例えばランダムに抽出する。
【００５９】
なお、動画像生成部２３５は、スライドショーを作成する場合に、フォトムービーの作成と同様にして、シナリオ情報を使用してもよい。この場合、動画像生成部２３５は、関連画像選択部２３３によって抽出された静止画像群から、シナリオ情報によって示される各チャプタの静止画属性に合致する少なくとも１つの静止画像を抽出する。そして、動画像生成部２３５は、抽出された少なくとも１つの静止画像を各チャプタに割り当てることによってスライドショーを作成、つまり使用する静止画像それぞれとその再生順を決定する。
【００６０】
動画像再生部２３６は、フォトムービーについては、シナリオ情報によって示される各チャプタに対応するエフェクトを各チャプタに割り当てられた静止画像に施すことによってフォトムービーを再生する。また、動画像再生部２３６は、スライドショーについては、動画像生成部２３５により順次抽出される静止画像を再生する。
【００６１】
電源監視部２４は、ＥＣ／ＫＢＣ１１３、電源回路１１５を通じて電源状態を監視し、再生制御部２３に通知する。再生制御部２３によるフォトムービーの再生は、静止画像へのエフェクト等のために処理負担が大きい。パーソナルコンピュータ１０がバッテリ駆動されている場合、フォトムービーの再生のために消費電力が大きくなり稼働可能時間が短くなってしまう。電源監視部２４は、パーソナルコンピュータ１０がバッテリ駆動されているかＡＣアダプタ１１５ｂが接続されているかの電源モードや、バッテリ駆動されている場合のバッテリ１１５ａの残量などの電源状態を再生制御部２３に通知することで、フォトムービーの再生回数や時間などを変更できるようにする。
【００６２】
設定部２５は、再生制御部２３に再生される動画像（スライドショー、フォトムービー）の再生を制御する設定を行う。設定部２５は、ユーザからの要求に応じてスライドショー／フォトムービー設定画面を表示させる。この設定画面では、スライドショーについては、画像の切り換え間隔（例えば、１〜３００秒の範囲で設定）、静止画像の日付表示の有無を設定することができる。また、フォトムービーについては、フォトムービーの再生開始のタイミングを設定することができる。例えば、フォトムービーの「連続再生」あるいは「再生しない」に設定できる他、再生間隔を時間で指定することができる。例えば、「１５分毎」「３０分毎」「１時間毎」に設定できる。また、再生時刻を指定することができる。例えば、「毎時○○分」「○○時○○分」に設定できる。また、「○○時〜○○時」のように有効時間を範囲指定することもできる。さらに、「ランダム」に設定したり、特定の日時「○月○日○時○分」を指定できるようにしても良い。設定部２５は、ユーザ指定に応じて設定された内容を示す設定情報を記録する。再生制御部２３は、設定部２５により設定された設定情報を参照し、再生開始のタイミングに合わせて、フォトムービーの再生を開始する。なお、スライドショーについてもフォトムービーと同様に、再生開始のタイミングを設定できるようにしても良い。
【００６３】
図６は、動画像作成アプリケーションプログラム２０２によって表示されるメイン画面４０の例を示す。
メイン画面４０は、例えば、「スタイル」ボタン４０１、「音楽」ボタン４０２、「主人公」ボタン４０３、「スタート」ボタン４０４、ムービー再生画面４０５、及び「カレンダー」ボタン４０６を備える。
【００６４】
ムービー再生画面４０５は、生成されたフォトムービー又はスライドショーを表示するための画面である。ムービー再生画面４０５では、再生制御部２３（動画像生成部２３５）によって生成されたフォトムービー又はスライドショーが順次再生され、表示される。図６においては、再生中のフォトムービー又はスライドショーの画像に、例えば、人物４０Ａ〜４０Ｆが登場する例が示されている。
【００６５】
動画像作成アプリケーションプログラム２０２は、起動されるとスライドショーの再生を開始する。スライドショーの再生中にフォトムービーの再生を開始するタイミングになると、再生制御部２３は、スライドショーの最後に表示された静止画像をキー画像に決定し、このキー画像をもとにフォトムービーを生成し、スライドショーに代えてフォトムービーの再生を開始する。また、フォトムービーの再生が終了すると、フォトムービーの最後に表示された静止画像をキー画像に決定し、このキー画像をもとにスライドショーを生成し、スライドショーの再生を開始する。
【００６６】
また、フォトムービー又はスライドショーの再生中にムービー再生画面４０５がユーザによるポインティングデバイスの操作によってクリックされた時、動画像作成アプリケーションプログラム２０２は、フォトムービー（スライドショー）の再生を一時停止し、現在再生中の画像をキー画像に決定する。現在再生中の画像が複数の静止画像を合成することによって生成された画像であるならば、動画像作成アプリケーションプログラム２０２は、それら複数の静止画像の一つをキー画像に決定しても良い。もちろん、それら複数の静止画像の内、ユーザによってクリックされた静止画像をキー画像に決定しても良い。
【００６７】
「主人公」ボタン４０３は、生成されるフォトムービー（またはスライドショー）内で注目される人物（主人公）の選択を開始するためのボタンである。キー画像選択部２３１は、「主人公」ボタン４０３が押されたことに応答して、キー画像に登場する人物のリスト（顔画像選択画面）を表示する。ユーザは、例えば、ムービー再生画面４０５を用いてキー画像を選択した後に、「主人公」ボタン４０３を押して、キー顔画像の選択開始（すなわち、顔画像選択画面の表示）を指示する。
【００６８】
顔画像選択画面では、キー画像に含まれる顔画像のリストが表示される。ユーザは、顔画像選択画面のリストからから注目する人物の顔画像を選択する。キー画像選択部２３１は、選択された顔画像をキー顔画像（主人公）に決定する。また、顔画像選択画面を用いて顔画像を選択する操作が行われないとき（例えば、「主人公」ボタン４０３が押されないとき）、キー画像選択部２３１は、キー画像に含まれる顔画像のうち、所定の条件を満たす顔画像をキー顔画像に選択してもよい。
【００６９】
図６のメイン画面４０上の「スタイル」ボタン４０１は、フォトムービーのスタイルの選択を開始するためのボタンである。動画像作成アプリケーションプログラム２０２は、「スタイル」ボタン４０１が押されたことに応答して、スタイル選択画面を表示する。スタイル選択画面上には、上述の８種類のスタイル（Happy, Fantastic, Ceremonial, Cool, Travel, Party, Gallery, Biography）のリストが表示される。ユーザは、希望するスタイルを選択することができる。
【００７０】
「音楽」ボタン４０２は、フォトムービーに用いられる音楽の選択を開始するためのボタンである。動画像作成アプリケーションプログラム２０２は、「音楽」ボタン４０２が押されたことに応答して、音楽のリスト（音楽選択画面）を表示する。ユーザは、希望する音楽を選択することができる。
【００７１】
「スタート」ボタン４０４は、フォトムービーの生成及び再生を開始するためのボタンである。動画像作成アプリケーションプログラム２０２は、「スタート」ボタン４０４が押されたことに応答して、フォトムービーの作成を開始する。そして、動画像作成アプリケーションプログラム２０２は、作成したフォトムービーを再生して、ムービー再生画面４０５に表示する。
【００７２】
次に、図５を参照して、フォトムービー作成処理の手順の概要について説明する。
動画像作成アプリケーションプログラム２０２は、まず、インデックス情報に基づいて、キー画像（キー顔画像）に関連する静止画像を素材データベース３０１から抽出（一次抽出）する（ブロックＢ１０１）。ブロックＢ１０１では、動画像作成アプリケーションプログラム２０２は、例えば、選択された人物（主人公）に関連する静止画像を素材データベース３０１から抽出する。
【００７３】
次に、動画像作成アプリケーションプログラム２０２は、フォトムービーの作成に用いるシナリオを選定する（ブロックＢ１０２）。ブロックＢ１０２では、動画像作成アプリケーションプログラム２０２は、選択されたスタイルや、ブロックＢ１０１で抽出した複数の静止画像の特徴値等に応じて、予め用意された複数のシナリオ情報の一つを選択する。各シナリオ情報は、フォトムービーのシーケンスを構成する複数のチャプタ（シーン）において使用されるエフェクトの順番（エフェクト列）および静止画像の属性（静止画属性）とを規定する。
【００７４】
図５では、フォトムービーのシーケンスが５つのチャプタ（チャプタ１、２、３、４、５）から構成される場合が想定されている。チャプタ１はフォトムービーのオープニングシーンであり、チャプタ５はフォトムービーのエンディングシーンである。各チャプタには、１以上のエフェクトが定義され、さらにエフェクト毎に静止画属性が定義される。
【００７５】
静止画属性としては、例えば、人物属性（顔属性）を使用してもよい。この人物属性としては、例えば、主人公（主役）、脇役、笑顔度、鮮明度、登場人数等を使用することができる。ここで、用語「主役」は、フォトムービーの主人公となるべき人物、つまり、注目すべき人物（顔）を意味する。例えば、上述のキー顔画像に対応する人物を、主役に決定してもよい。用語「脇役」は、主人公に関連する別の人物を意味する。例えば、主人公との共起頻度の高い人物（顔）を脇役に決定してもよい。人物属性は、複数の脇役を指定することもできる。主人公との共起頻度の高い複数の人物（顔）が脇役となり得る。静止画属性としては、人物属性のみならず、例えば、場所属性を使用してもよい。この場所属性は、使用する静止画像の撮影場所を指定する。
【００７６】
図５のシナリオ情報１では、例えば、チャプタ１に２つのエフェクト（エフェクト＃１、エフェクト＃２）が規定されており、さらに、エフェクト＃１には静止画属性「主人公」が、エフェクト＃２には静止画属性「主人公 ＯＲ 脇役」が関連付けられている。静止画属性「主人公」は、主人公が登場する静止画像が使用されるべきであることを指定する。静止画属性「主人公 ＯＲ 脇役」は、主人公または脇役のいずれかが登場する静止画像が使用されるべきであることを指定する。静止画属性の他の幾つかの例は以下の通りである。
【００７７】
チャプタ２のエフェクト＃１１に関連付けられた静止画属性「主人公、脇役」は、主人公と脇役の双方が登場する静止画像が使用されるべきであることを指定する。チャプタ３のエフェクト＃６に関連付けられた静止画属性「脇役１、脇役２、脇役３」は、３人の脇役（脇役１、脇役２、脇役３）の全てが登場する静止画像が使用されるべきであることを指定する。チャプタ５のエフェクト＃３に関連付けられた静止画属性「多人数、笑顔度高」は、閾値以上の人物が登場し且つ笑顔度の高い人物の頻度がある閾値以上である静止画像が使用されるべきであることを指定する。チャプタ５のエフェクト＃４に関連付けられた静止画属性「主人公、笑顔度高」は、主人公が登場し、且つ主人公の笑顔度が閾値以上である静止画像が使用されるべきであることを指定する。このように、人物属性は、各チャプタに登場すべき人物が、主役、脇役、または主役および脇役の双方のいずれであるかを指定することができる。
【００７８】
次いで、動画像作成アプリケーションプログラム２０２は、ブロックＢ１０１で抽出した静止画像群から、選定されたシナリオ情報によって示される各チャプタの静止画属性に合致する１以上の静止画像をさらに抽出（本抽出）する（ブロックＢ１０３）。そして、動画像作成アプリケーションプログラム２０２は、抽出された静止画像を各チャプタに割り当てることによってフォトムービーを作成し、作成されたフォトムービーを再生する（ブロックＢ１０４）。ブロックＢ１０４では、動画像作成アプリケーションプログラム２０２は、シナリオ情報によって示される各チャプタに対応するエフェクトを、各チャプタに割り当てられた静止画像に施す。
【００７９】
図７、図８は、フォトムービーの表示例を示している。
図７は、静止画像に登場する人物の顔画像を強調するためのエフェクトが施された例を示す。画面４３では、人物４３Ａの顔画像に対して、人物４３Ａを強調するためのエフェクト４３Ｂが施されている。エフェクト４３Ｂは、顔画像を囲むイラストを顔画像に重畳している。また、静止画像４４では、人物４４Ａの顔画像にスポットを当てるエフェクト４４Ｂが施されている。エフェクト４４Ｂは、人物４４Ａの顔画像以外の領域を暗くしている。
【００８０】
図８は、複数の静止画像にエフェクトが施される例を示す。画面４５及び画面４６では、複数の静止画像に対して、それら静止画像を組み合わせて表示するためのエフェクトが施されている。このエフェクトは、複数の静止画像の配置、サイズ、モーション等を決定している。
【００８１】
次に、図９に示すフローチャートを参照して、動画像作成アプリケーションプログラム２０２によって実行される動画像生成処理の手順の例について説明する。動画像作成アプリケーションプログラム２０２は、フォトムービー及びスライドショーのいずれかの動画像を再生する。
【００８２】
まず、キー画像選択部２３１は、キー画像選択処理を実行する（ブロックＢ２０１）。
【００８３】
キー画像選択部２３１は、素材データベース３０１に格納された静止画像データ５１からキー画像を選択する。このキー画像は、素材データベース３０１から、再生する動画像（フォトムービー又はスライドショー）に用いられる静止画像データ５１を抽出するための抽出キーとして用いられる。キー画像選択部２３１は、選択したキー画像を示す情報を関連画像選択部２３３に出力する。なお、キー画像は、カレンダー画面あるいは顔画像選択画面を通じて入力されたユーザからの指定に応じて選択しても良いし、表示対象とする静止画像群からランダムに選択しても良い。また、動画像作成アプリケーションプログラム２０２の起動時に表示される静止画像や前回の動画像の再生において最後に選択された静止画像を選択しても良い。
【００８４】
動画像作成アプリケーションプログラム２０２の起動時には表示モードがスライドショーに設定されている。なお、ユーザの操作によって、表示モードをフォトムービーに変更することも可能である。
表示モードがスライドショーモードである場合（ブロックＢ２０２のスライドショー）、関連画像選択部２３３は、キー画像選択部２３１によって選択されたキー画像を用いて、関連画像選択処理を実行する（ブロックＢ２０３）。関連画像選択部２３３は、キー画像に対して、例えば日時、人物又は場所について関連する静止画像データ５１を素材データベース３０１から選択する。これにより、スライドショーの再生対象となる複数の静止画像からなる静止画像群が得られる。
【００８５】
動画像生成部２３５は、関連画像選択部２３３によってキー画像に関連する静止画像群が得られると、この静止画像群からスライドショーとして表示する静止画像データ５１を例えばランダムに素材データベース３０１から抽出して動画像再生部２３６に出力する（ブロックＢ２０４）。
【００８６】
動画像再生部２３６は、動画像生成部２３５により抽出された静止画像データ５１を用いて、ムービー再生画面４０５においてスライドショーとして画像を表示させる。
【００８７】
なお、スライドショーを再生する場合、シナリオ決定部２３４によりスライドショー用のシナリオ情報を決定し、このシナリオ情報を用いてスライドショーに用いられる静止画像を素材データベース３０１から抽出するようにしても良い。例えば、スライドショー用のシナリオ情報では、表示する静止画像の静止画属性のみが設定されている。動画像生成部２３５は、静止画属性に合致する静止画像データ５１をキー画像に関連する静止画像群から抽出して動画像再生部２３６に出力する。以下、動画像生成部２３５と動画像再生部２３６は、設定部２５によって設定された画像の切り換え間隔に応じて、例えば５秒毎に静止画像を抽出して表示する。再生制御部２３は、フォトムービーの再生開始のタイミングに到達するまでスライドショーの再生を継続する（ブロックＢ２０６のＮｏ）。
【００８８】
再生制御部２３は、設定部２５により設定された再生開始のタイミングを監視している。フォトムービーの再生開始タイミング、例えばユーザに指定された再生時刻に到達した場合（ブロックＢ２０６のＹｅｓ）、キー画像選択部２３１は、動画像再生部２３６によってスライドショーの最後に用いられた静止画像データ５１をキー画像に決定する（ブロックＢ２０７）。
【００８９】
再生制御部２３は、スライドショーの最後に表示された静止画像データ５１をキー画像として、フォトムービー作成処理を実行して、フォトムービーの作成及び再生を実行する。なお、図９に示すブロックＢ２０８〜Ｂ２１２に示す処理は、図５に示すブロックＢ１０１〜Ｂ１０４と同様に実行されるものとして詳細な説明を省略する。
【００９０】
ただし、スライドショーの再生中にフォトムービーに移行した場合には、動画像生成部２３５は、スライドショーの最後に表示された静止画像（キー画像）を最初に抽出し、フォトムービーの先頭において表示させる。これにより、スライドショーの最後の画像とフォトムービーの最初の画像とが同じとなり、スライドショーからフォトムービーへ移行を自然（滑らか）にすることができる。
【００９１】
また、スライドショーの最後に表示された静止画像（キー画像）をフォトムービーの最初に表示するだけでなく、フォトムービーのシナリオ情報に設定されたクライマックスの部分（例えば、特別なエフェクトが設定されている）など、フォトムービー中の特定の部分で読み出して表示されるようにしても良い。
【００９２】
再生制御部２３は、シナリオ情報に応じて決定されるチャプタの数や再生対象とする静止画像の枚数、あるいはフォトムービーと並行して出力される楽曲の長さに応じた時間分のフォトムービーを再生する（ブロックＢ２１３のＮｏ）。
【００９３】
フォトムービーの再生が終了すると（ブロックＢ２１３のＹｅｓ）、キー画像選択部２３１は、動画像再生部２３６によってフォトムービーの最後に用いられた静止画像データ５１をキー画像に決定する（ブロックＢ２１４）。
【００９４】
再生制御部２３は、フォトムービーの最後に表示された静止画像データ５１をキー画像として、前述したブロックＢ２０３〜Ｂ２０５の処理を実行して、スライドショーの作成及び再生を実行する。
【００９５】
これにより、スライドショーからフォトムービーに移行した場合と同様にして、移行を自然（滑らか）にすることができる。
【００９６】
以上の処理により、動画像作成アプリケーションプログラム２０２は、キー画像に関連する静止画像データ５１を用いたスライドショーを表示し、フォトムービーを開始するタイミングに到達した場合に、スライドショーからフォトムービーに移行することができる。フォトムービーの再生が終了すると、再び、スライドショーの再生に戻ることができる。キー画像に関連する静止画像データ５１を用いることにより、思いがけない静止画像等を含む動画像をユーザに提示することができる。
【００９７】
また、動画像作成アプリケーションプログラム２０２により素材データベース３０１に格納された複数の静止画像データ５１を用いて動画像を再生出力させる場合、フォトムービーとスライドショーとを混在して実行させることで、視聴効果を向上させることができる。
【００９８】
なお、図９に示すフローチャートでは、例えばフォトムービーの再生を開始するタイミング（例えば、ユーザにより設定された時刻）に到達してから、静止画像一次抽出を開始してフォトムービーを作成している。フォトムービー作成処理では、複数の静止画像に対して、シナリオ情報において設定された複数のエフェクトを施す必要があるため処理負荷が大きい。従って、フォトムービーの再生を開始するタイミングに到達してからフォトムービー作成処理を開始すると、スライドショーの最後の画像が表示されてからフォトムービーの再生が開始されるまでに、スライドショーの画像の切り換え間隔よりも長い時間を要する可能性がある。この場合、ユーザに対して動画像の表示が一時停止した印象を与えてしまう。
【００９９】
そこで、図１０のフローチャートに示すフォトムービー作成開始判定処理により、フォトムービーの再生を開始するタイミングに到達する前に、フォトムービーの作成を完了させるようにしても良い。
【０１００】
再生制御部２３は、スライドショーの再生を実行している間、フォトムービー作成開始判定処理を実行する。再生制御部２３は、設定部２５により設定された設定情報を参照し、フォトムービーの再生を開始する時刻の所定時間前となったかを判別する（ブロックＢ３０１）。なお、所定時間は、フォトムービー作成処理によってフォトムービーを作成可能な十分な時間である。ただし、フォトムービー作成処理が終了してから、フォトムービーの再生が開始される（スライドショーの再生終了）までの時間はできるだけ短いことが望ましい。すなわち、フォトムービー作成処理が開始された後、ユーザ操作によって新たなキー画像の指定やスタイルの指定があった場合には、新たにフォトムービー作成処理を実行する必要があり、それまでのフォトムービー作成処理の処理結果が無駄になってしまうためである。
【０１０１】
再生制御部２３は、フォトムービーの再生を開始する時刻の所定時間前になると（ブロックＢ３０２のＹｅｓ）、スライドショーの最後に用いられる静止画像データ５１を判別する。スライドショーでは、設定部２５により設定された画像の切り換え間隔に従って１枚毎に静止画像が表示される。このため、再生制御部２３は、フォトムービーの再生が開始されるまでに表示される静止画像の枚数を算出し、その枚数分の表示対象とする静止画像を選択することで、スライドショーの最後に表示される静止画像を特定することができる。
【０１０２】
キー画像選択部２３１は、スライドショーの最後に表示される静止画像をキー画像に決定する（ブロックＢ３０４）。以下、前述したように、キー画像をもとにしてフォトムービー作成処理によってフォトムービーを作成する。
【０１０３】
図１１は、フォトムービー作成開始判定処理を説明する図である。
図１１に示すように、スライドショーの再生中に、スライドショーの最後に表示される静止画像を判別し、この静止画像をキー画像にしてフォトムービー作成処理を実行する。
【０１０４】
このフォトムービー作成処理では、フォトムービーの再生を開始するタイミング前にフォトムービーの作成が完了するため、必要以上にフォトムービーの再生開始が遅れることはない。
【０１０５】
なお、フォトムービーからスライドショーに移行する場合には、処理負荷が大きくないため、図１１に示すように、スライドショーの再生開始のタイミングに合わせて、例えばフォトムービーの最後に表示された静止画像をスライドショーの先頭に表示すれば良い。
【０１０６】
また、前述した説明では、設定部２５によってユーザ指定に応じて設定されたタイミングによりフォトムービーの再生を開始しているが、電源監視部２４により監視されている電源状態に応じてフォトムービーの再生回数、あるいは再生時間を次のように調整しても良い。
【０１０７】
（Ａ）ＡＣアダプタ１１５ｂが接続され、外部電源から電源供給を受けている場合。
【０１０８】
（ａ１）設定部２５によって設定された設定情報に応じて、フォトムービーを再生する。
【０１０９】
（ａ２）設定情報に関係なく、常時、フォトムービーを再生する。
【０１１０】
（ａ３）設定情報の設定内容よりもフォトムービーの再生回数を増やす。例えば、３０分毎の再生が設定されていた場合、１５分毎にフォトムービーを再生する。
【０１１１】
（ａ４）１回のフォトムービーの再生時間を長くする。
【０１１２】
（Ｂ）ＡＣアダプタ１１５ｂが接続されていないためバッテリ駆動している場合。
【０１１３】
（ｂ１）バッテリ１１５ａの残量が予め設定されたしきい値よりも十分に多い場合には、設定部２５によって設定された設定情報に応じて、フォトムービーを再生する。
【０１１４】
（ｂ２）バッテリ１１５ａの残量が予め設定されたしきい値よりも少ない場合には、設定情報の設定内容よりもフォトムービーの再生回数を減らす。例えば、１５分毎の再生が設定されていた場合、３０分毎にフォトムービーを再生する。
【０１１５】
（ｂ３）バッテリ１１５ａの残量が減少するに従って、フォトムービーの再生間隔を長くする。例えば、バッテリ残量が３／４に減少した場合、例えば、設定情報で設定されていた１５分毎の再生を３０分毎に変更し、バッテリ残量が１／２に減少した場合、１時間毎に変更し、１／４に減少した場合には、フォトムービーの再生を中止してスライドショーのみを再生する。
【０１１６】
（ｂ４）バッテリ駆動に移行した時、あるいはバッテリ残量が予め設定されたしきい値よりも少なくなった場合、設定情報におけるフォトムービーの再生実行を無効にして、常時、スライドショーを再生する。
【０１１７】
（ｂ５）バッテリ駆動に移行した時、あるいはバッテリ残量が予め設定されたしきい値よりも少なくなった場合、１回のスライドショーの時間を短くする。
前述した調整例を単独、あるいは組み合わせて実施することが可能である。
【０１１８】
このようにして、電源状況に応じてフォトムービーの再生回数あるいは再生時間を調整することにより、動画像の再生によりバッテリ１１５ａの急速な減少を回避してパーソナルコンピュータ１０の稼働可能時間を確保し、かつフォトムービーとスライドショーとを混在して再生する視聴効果を維持することが可能となる。
【０１１９】
なお、前述とした動画像生成処理では、スライドショーからフォトムービーに移行する場合、スライドショーの最後の静止画像をキー画像として決定しているが、最後から数枚の静止画像からキー画像を選択するようにしても良い。同様にして、フォトムービーからスライドショーに移行する場合、フォトムービーの最後から数枚の静止画像からキー画像を選択するようにしても良い。つまり、フォトムービーやスライドショーの表示形態によっては、最後の静止画像がユーザの印象に残らない場合があるため、最後から数枚の静止画像からキー画像を選択することにより、同様の効果を得ることができる。
【０１２０】
また、キー画像とする静止画像を１枚としているが、２枚以上とすることも可能である。
また、本実施形態の再生処理の手順は全てソフトウェアによって実行することができる。このため、再生処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
【０１２１】
また、図３に示した各部の機能は、例えば、専用ＬＳＩ、ＤＳＰのようなハードウェアによって実現しても良い。
【０１２２】
また本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１２３】
１０９…ＨＤＤ、２０２…動画像再生アプリケーションプログラム、２１…監視部、２２…インデキシング部、２２１…顔画像検出部、２２２…クラスタリング部、２２３…イベント検出部、２２４…インデックス情報生成部、２３…再生制御部、２３１…キー画像選択部、２３２…カレンダー表示部、２３３…画像抽出部、２３３Ａ…日時関連画像抽出部、２３３Ｂ…人物関連画像抽出部、２３３Ｃ…場所関連画像抽出部、２３４…シナリオ決定部、２３５…動画像生成部、２３６…動画像再生部、２４…電源監視部、２５…設定部、３０１…素材データベース、５１…静止画像データ、３０２…素材情報データベース、３０２Ａ…インデックス情報、３０３…エフェクトデータベース、３０３Ａ…エフェクトデータ、３０３Ｂ…音声データ、３０３Ｃ…シナリオデータ。
【特許請求の範囲】
【請求項１】
複数のスタイルからユーザ操作により指定されたスタイルを選択する選択手段と、
前記選択手段により選択されたスタイルに予め用意された複数のシナリオ情報から、動画像の再生に用いるシナリオ情報を決定する決定手段と、
複数の静止画像から前記シナリオ情報に応じて抽出された静止画像群をもとに動画像を再生する再生手段と
を具備する電子機器。
【請求項２】
前記複数のスタイルのそれぞれに対して複数のシナリオ情報が用意された請求項１記載の電子機器。
【請求項３】
前記決定手段は、前記スタイルが選択される毎に、前記複数のシナリオ情報から異なるシナリオ情報を決定する請求項１記載の電子機器。
【請求項４】
前記シナリオ情報には、複数のタイムセグメントのそれぞれにおいて使用する静止画像の属性を示す属性情報を含み、
前記再生手段は、前記静止画像群から前記タイムセグメント毎に前記属性情報に該当する静止画像を割り当て、再生する請求項１記載の電子機器。
【請求項５】
前記シナリオ情報には、さらに、複数のタイムセグメントのそれぞれにおいて使用するエフェクトを示すエフェクト情報を含み、
前記再生手段は、前記タイムセグメント毎に割り当てた前記静止画像に対して、前記エフェクト情報が示すエフェクトを施して再生する請求項４記載の電子機器。
【請求項６】
複数のスタイルからユーザ操作により指定されたスタイルを選択し、
前記選択手段により選択されたスタイルに予め用意された複数のシナリオ情報から、動画像の再生に用いるシナリオ情報を決定し、
複数の静止画像から前記シナリオ情報に応じて抽出された静止画像群をもとに動画像を再生する画像処理方法。
【請求項７】
コンピュータに、
複数のスタイルからユーザ操作により指定されたスタイルを選択する手順と、
前記選択手段により選択されたスタイルに予め用意された複数のシナリオ情報から、動画像の再生に用いるシナリオ情報を決定する手順と、
複数の静止画像から前記シナリオ情報に応じて抽出された静止画像群をもとに動画像を再生する手順と
を実行させるための画像処理プログラム。
【請求項１】
複数のスタイルからユーザ操作により指定されたスタイルを選択する選択手段と、
前記選択手段により選択されたスタイルに予め用意された複数のシナリオ情報から、動画像の再生に用いるシナリオ情報を決定する決定手段と、
複数の静止画像から前記シナリオ情報に応じて抽出された静止画像群をもとに動画像を再生する再生手段と
を具備する電子機器。
【請求項２】
前記複数のスタイルのそれぞれに対して複数のシナリオ情報が用意された請求項１記載の電子機器。
【請求項３】
前記決定手段は、前記スタイルが選択される毎に、前記複数のシナリオ情報から異なるシナリオ情報を決定する請求項１記載の電子機器。
【請求項４】
前記シナリオ情報には、複数のタイムセグメントのそれぞれにおいて使用する静止画像の属性を示す属性情報を含み、
前記再生手段は、前記静止画像群から前記タイムセグメント毎に前記属性情報に該当する静止画像を割り当て、再生する請求項１記載の電子機器。
【請求項５】
前記シナリオ情報には、さらに、複数のタイムセグメントのそれぞれにおいて使用するエフェクトを示すエフェクト情報を含み、
前記再生手段は、前記タイムセグメント毎に割り当てた前記静止画像に対して、前記エフェクト情報が示すエフェクトを施して再生する請求項４記載の電子機器。
【請求項６】
複数のスタイルからユーザ操作により指定されたスタイルを選択し、
前記選択手段により選択されたスタイルに予め用意された複数のシナリオ情報から、動画像の再生に用いるシナリオ情報を決定し、
複数の静止画像から前記シナリオ情報に応じて抽出された静止画像群をもとに動画像を再生する画像処理方法。
【請求項７】
コンピュータに、
複数のスタイルからユーザ操作により指定されたスタイルを選択する手順と、
前記選択手段により選択されたスタイルに予め用意された複数のシナリオ情報から、動画像の再生に用いるシナリオ情報を決定する手順と、
複数の静止画像から前記シナリオ情報に応じて抽出された静止画像群をもとに動画像を再生する手順と
を実行させるための画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−２３１４７０（Ｐ２０１２−２３１４７０Ａ）
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願番号】特願２０１２−１２１７９９（Ｐ２０１２−１２１７９９）
【出願日】平成２４年５月２９日（２０１２．５．２９）
【分割の表示】特願２０１０−１３７６７５（Ｐ２０１０−１３７６７５）の分割
【原出願日】平成２２年６月１６日（２０１０．６．１６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願日】平成２４年５月２９日（２０１２．５．２９）
【分割の表示】特願２０１０−１３７６７５（Ｐ２０１０−１３７６７５）の分割
【原出願日】平成２２年６月１６日（２０１０．６．１６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]