電子機器及び動画像再生方法
【課題】思いがけない静止画像等を含む動画をユーザに提示することができる電子機器を実現する。
【解決手段】実施形態によれば、インデキシング手段は、複数の静止画像を分析し、前記複数の静止画像それぞれの属性を示すインデックス情報であって前記複数の静止画像に含まれる複数の顔画像の認識結果を含むインデックス情報を生成する。抽出手段は、前記インデックス情報に基づいて、選択された人物の顔画像をそれぞれ含む第1の静止画像群と、前記選択された人物に関連する第2の静止画像群であって前記選択された人物に関連する別の人物の顔画像を含む静止画像を少なくとも含む第2の静止画像群とを、前記複数の静止画像から抽出する。再生手段は、前記抽出された第1の静止画像群と前記抽出された第2の静止画像群とを用いて動画像を再生する。
【解決手段】実施形態によれば、インデキシング手段は、複数の静止画像を分析し、前記複数の静止画像それぞれの属性を示すインデックス情報であって前記複数の静止画像に含まれる複数の顔画像の認識結果を含むインデックス情報を生成する。抽出手段は、前記インデックス情報に基づいて、選択された人物の顔画像をそれぞれ含む第1の静止画像群と、前記選択された人物に関連する第2の静止画像群であって前記選択された人物に関連する別の人物の顔画像を含む静止画像を少なくとも含む第2の静止画像群とを、前記複数の静止画像から抽出する。再生手段は、前記抽出された第1の静止画像群と前記抽出された第2の静止画像群とを用いて動画像を再生する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、画像を表示する電子機器及び該機器に適用される動画像再生方法に関する。
【背景技術】
【0002】
近年、パーソナルコンピュータ、デジタルカメラ、PDAのような様々な電子機器が普及している。このような電子機器は、例えば写真のような静止画像を管理する機能を有している。画像管理方法としては、例えば、写真に付加された撮影位置データに基づいて、写真を複数のグループに分類する方法が知られている。
【0003】
また、最近では、写真のような静止画像群を用いて動画像(例えば、フォトムービー、スライドショー等)を作成する動画作成技術が注目されている。動画作成技術としては、例えば、静止画像群を複数の撮影位置に対応する複数のディレクトリに分類して格納し、ユーザによって指定されたディレクトリ内の静止画像群を用いて動画を作成する技術が知られている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2007−194948号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、ユーザに処理対象のディレクトリを指定させる方法では、表示される静止画像は、その指定されたディレクトリ内の静止画像に限定される。したがって、例えば、思いがけない静止画像(ユーザが意識していない静止画像)や、同一のディレクトリ内に格納されていないものの関連性が高い静止画像等を含む動画をユーザに提示することは困難である。
【0006】
本発明は上述の事情を考慮してなされたものであり、思いがけない静止画像等を含む動画をユーザに提示することができる電子機器及び動画像再生方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
実施形態によれば、電子機器は、インデキシング手段と、抽出手段と、再生手段とを具備する。インデキシング手段は、複数の静止画像を分析し、前記複数の静止画像それぞれの属性を示すインデックス情報であって前記複数の静止画像に含まれる複数の顔画像の認識結果を含むインデックス情報を生成する。抽出手段は、前記インデックス情報に基づいて、選択された人物の顔画像をそれぞれ含む第1の静止画像群と、前記選択された人物に関連する第2の静止画像群であって前記選択された人物に関連する別の人物の顔画像を含む静止画像を少なくとも含む第2の静止画像群とを、前記複数の静止画像から抽出する。再生手段は、前記抽出された第1の静止画像群と前記抽出された第2の静止画像群とを用いて動画像を再生する。
【図面の簡単な説明】
【0008】
【図1】実施形態に係る電子機器の構成を示す斜視図。
【図2】同実施形態の電子機器のシステム構成を示すブロック図。
【図3】同実施形態の電子機器によって実行されるフォトムービー作成アプリケーションプログラムの機能構成を示すブロック図。
【図4】同実施形態の電子機器によって実行されるフォトムービー作成アプリケーションプログラムが用いるインデックス情報の例を示す図。
【図5】同実施形態の電子機器によって表示されるメイン画面の例を示す図。
【図6】同実施形態の電子機器によって表示される主人公選択画面の例を示す図。
【図7】同実施形態の電子機器によって実行されるフォトムービー作成処理の手順の概要を示す概念図。
【図8】同実施形態の電子機器によって実行されるキー顔画像(主人公)選択処理の手順を説明するフローチャート。
【図9】同実施形態の電子機器によって実行されるフォトムービー作成処理の手順を説明するフローチャート。
【図10】同実施形態の電子機器によって実行される、静止画像内の顔画像を強調するためのエフェクトの例を示す図。
【図11】同実施形態の電子機器によって実行される他のエフェクトの例を示す図。
【発明を実施するための形態】
【0009】
以下、図面を参照して、実施形態を説明する。
図1は、本発明の一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えばノートブックタイプのパーソナルコンピュータ10として実現されている。図1に示すように、本コンピュータ10は、コンピュータ本体11と、ディスプレイユニット12とから構成されている。ディスプレイユニット12には、LCD(liquid crystal display)17が組み込まれている。ディスプレイユニット12は、コンピュータ本体11の上面が露出される開放位置とコンピュータ本体11の上面を覆う閉塞位置との間を回動自在にコンピュータ本体11に取り付けられている。
【0010】
コンピュータ本体11は、薄い箱形の筐体を有しており、その上面には、キーボード13、本コンピュータ10を電源オン/電源オフするためのパワーボタン14、入力操作パネル15、タッチパッド16、スピーカ18A,18Bなどが配置されている。入力操作パネル15上には、各種操作ボタンが設けられている。
【0011】
また、コンピュータ本体11の右側面には、例えばUSB(universal serial bus)2.0規格のUSBケーブルやUSBデバイスを接続するためのUSBコネクタ19が設けられている。さらに、コンピュータ本体11の背面には、例えばHDMI(high-definition multimedia interface)規格に対応した外部ディスプレイ接続端子(図示せず)が設けられている。この外部ディスプレイ接続端子は、デジタル映像信号を外部ディスプレイに出力するために用いられる。
【0012】
図2は、本コンピュータ10のシステム構成を示す図である。
本コンピュータ10は、図2に示されているように、CPU(central processing unit)101、ノースブリッジ102、主メモリ103、サウスブリッジ104、GPU(Graphics Processing Unit)105、VRAM(ビデオRAM:random access memory)105A、サウンドコントローラ106、BIOS−ROM(basic input/output system-read only memory)107、LAN(local area network)コントローラ108、ハードディスクドライブ(HDD)109、光ディスクドライブ(ODD)110、USBコントローラ111A、カードコントローラ111B、無線LANコントローラ112、エンベデッドコントローラ/キーボードコントローラ(EC/KBC)113、EEPROM(electrically erasable programmable ROM)114等を備える。
【0013】
CPU101は、本コンピュータ10内の各部の動作を制御するプロセッサである。CPU101は、HDD109から主メモリ103にロードされる、オペレーティングシステム(OS)201、及びフォトムービー作成アプリケーションプログラム202のような各種アプリケーションプログラムを実行する。フォトムービー作成アプリケーションプログラム202は、例えばHDD109等に格納された各種デジタルコンテンツを再生するソフトウェアである。このフォトムービー作成アプリケーションプログラム202は、動画像生成機能を有している。この動画像生成機能は、例えば、HDD109等に格納された写真等の素材(デジタルコンテンツ)を用いて、動画像(フォトムービー、スライドショー)を作成する機能である。さらに、この動画像生成機能は、動画像の作成に用いる素材を分析する機能を含む。フォトムービー作成アプリケーションプログラム202は、素材を用いて作成された動画像を再生し、画面(LCD17)に表示する。
【0014】
また、CPU101は、BIOS−ROM107に格納されたBIOSも実行する。BIOSは、ハードウェア制御のためのプログラムである。
【0015】
ノースブリッジ102は、CPU101のローカルバスとサウスブリッジ104との間を接続するブリッジデバイスである。ノースブリッジ102には、主メモリ103をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ102は、例えば、PCI EXPRESS規格のシリアルバスなどを介してGPU105との通信を実行する機能も有している。
【0016】
GPU105は、本コンピュータ10のディスプレイモニタとして使用されるLCD17を制御する表示コントローラである。このGPU105によって生成される表示信号はLCD17に送られる。また、GPU105は、HDMI制御回路3およびHDMI端子2を介して、外部ディスプレイ1にデジタル映像信号を送出することもできる。
【0017】
HDMI端子2は、前述の外部ディスプレイ接続端子である。HDMI端子2は、非圧縮のデジタル映像信号とデジタルオーディオ信号とを1本のケーブルでテレビのような外部ディスプレイ1に送出することができる。HDMI制御回路3は、HDMIモニタと称される外部ディスプレイ1にデジタル映像信号をHDMI端子2を介して送出するためのインタフェースである。
【0018】
サウスブリッジ104は、PCI(Peripheral Component Interconnect)バス上の各デバイス及びLPC(Low Pin Count)バス上の各デバイスを制御する。また、サウスブリッジ104は、HDD109及びODD110を制御するためのIDE(Integrated Drive Electronics)コントローラを内蔵している。さらに、サウスブリッジ104は、サウンドコントローラ106との通信を実行する機能も有している。
【0019】
サウンドコントローラ106は音源デバイスであり、再生対象のオーディオデータをスピーカ18A,18BまたはHDMI制御回路3に出力する。LANコントローラ108は、例えばIEEE 802.3規格の有線通信を実行する有線通信デバイスであり、一方、無線LANコントローラ112は、例えばIEEE 802.11g規格の無線通信を実行する無線通信デバイスである。USBコントローラ111Aは、(USBコネクタ19を介して接続される)例えばUSB 2.0規格に対応した外部機器との通信を実行する。例えば、USBコントローラ111Aは、例えば、デジタルカメラに格納されている画像データファイルを受信するために使用される。カードコントローラ111Bは、コンピュータ本体11に設けられたカードスロットに挿入される、SDカードのようなメモリカードに対するデータの書き込み及び読み出しを実行する。
【0020】
EC/KBC113は、電力管理のためのエンベデッドコントローラと、キーボード13及びタッチパッド16を制御するためのキーボードコントローラとが集積された1チップマイクロコンピュータである。EC/KBC113は、ユーザによるパワーボタン14の操作に応じて本コンピュータ10を電源オン/電源オフする機能を有している。
【0021】
次いで、図3を参照して、フォトムービー作成アプリケーションプログラム202の機能構成を説明する。ここでは、フォトムービー作成アプリケーションプログラム202が有する機能のうち、動画像生成機能を実現するための構成例について説明する。この動画像生成機能は、HDD109内の所定のディレクトリ(フォルダ)に格納された複数の静止画像(静止画像データ)51を用いて動画像(フォトムービー、スライドショー)を作成し、その作成した動画像を再生する。静止画像51は、例えば、デジタル写真、他の各種静止画像ファイル(JPEGファイル)等である。用語「フォトムービー」は複数の静止画像(例えば写真)を用いて生成される動画像(ムービー)を意味する。フォトムービーの再生においては、静止画像群には様々なエフェクトまたはトランジションが施される。エフェクトまたはトランジションが施された静止画像群は音楽と一緒に再生される。フォトムービー作成アプリケーションプログラム202は、ある静止画像(キー画像)に関連する静止画像群を自動的に抽出し、抽出された静止画像群を用いてフォトムービーを作成および再生することができる。用語「スライドショー」は静止画像を1枚ずつ順次表示する動画像(ムービー)を意味する。
【0022】
フォトムービー作成アプリケーションプログラム202は、ユーザが設定したHDD109内のフォルダ(写真フォルダ)を監視し、1以上の新しい静止画像(写真ファイル)が写真フォルダに格納されたことを感知すると、それら1以上の新しい静止画像に対するインデキシングを行うと同時にそれら1以上の新しい静止画像のスライドショーを開始する。インデキシングが完了すると、フォトムービー作成アプリケーションプログラム202は、1以上の新しい静止画像をベースとしたフォトムービーを作成して再生する。この場合、例えば、1以上の新しい静止画像のみからフォトムービーを作成して再生しても良い。代わりに、1以上の新しい静止画像に関連する静止画像群を写真フォルダ内の静止画像群から抽出し、1以上の新しい静止画像と、それら抽出された静止画像群とを用いてフォトムービーを作成して再生しても良い。
【0023】
フォトムービーの作成は、1枚の静止画像(キー画像)を基に行われる。つまり、選択されたキー画像に関連する静止画像群が自動抽出され、抽出された静止画像群を用いてフォトムービーが作成される。フォトムービーの作成条件として、スタイル、音楽、注目する人物(顔)の各々を選択指定することができる。選択したスタイルに応じて、使用される静止画像の抽出方法、使用されるエフェクト/トランジション等が決定される。従来では、ムービーの作成に使用する写真はユーザによって指定されるが、フォトムービー作成アプリケーションプログラム202は、写真フォルダ内の全ての静止画像から、使用する写真群を自動抽出する。これにより、思いがけない写真を掘り起こしてユーザに見せることができる。
【0024】
抽出処理では、顔画像の笑顔度、顔画像の鮮明度等に従って、より写りの良い写真を抽出してもよい。また、顔クラスタリングによって各顔画像に対応する人物を認識し、例えば、選択された人物の顔画像を含む写真群、選択された人物に関連する別の人物の顔画像を含む写真群などを抽出してもよい。さらに、イベントグループ分け技術を用いて写真群を複数のイベントに分けてもよい。この場合、あるイベント内の登場人物と別のイベント内の登場人物との関係に基づいてイベント同士の関連性を推定し、その推定結果を抽出処理に使用しても良い。例えば、同一の人物が登場するイベント同士は関連性があると推定しても良い。また、例えば、ある人物Aと別の人物Bが同じ写真に写っている頻度(共起頻度)が高いならば、人物Aを含む写真が属するイベントは、人物Bを含む写真が属するイベントに関連するイベントであると推定してもよい。
【0025】
フォトムービー作成アプリケーションプログラム202は、監視部21、インデキシング部22及び再生制御部23を備える。
【0026】
監視部21は、HDD109内の素材データベース301を常時監視し、新たな静止画像51が例えばUSBコントローラ111A、カードコントローラ111B等のインタフェース部を介してHDD109内の素材データベース301に格納されたか否かを判定する。素材データベース301はHDD109内の所定のディレクトリ(上述の写真フォルダ)に相当する。素材データベース301に格納された各静止画像51は、動画像(フォトムービー、スライドショー)の素材候補として用いられる。素材データベース301には、静止画像のみならず、例えばショートムービーのような動画像を素材候補として格納してもよい。
【0027】
インデキシング部22は、素材データベース301内の複数の静止画像51を分析し、それら複数の静止画像51それぞれの属性を示すインデックス情報を生成する。インデキシング部22によるインデキシングは、例えば、1以上の新しい静止画像(写真ファイル)が素材データベース301に格納されたことをトリガに開始される。つまり、素材データベース301に1以上の新しい静止画像が格納された時に、インデキシング部22は、その新しい静止画像に対応するインデックス情報を生成する。
【0028】
インデキシング部22は顔認識機能を有している。インデックス情報には、複数の静止画像51に含まれる複数の顔画像それぞれの認識結果も含まれている。
【0029】
インデキシング部22は、顔画像検出部221、クラスタリング部222、イベント検出部223、及びインデックス情報生成部224を備える。
顔画像検出部221は、インデキシング対象の静止画像51(例えば、写真フォルダに新たに格納された静止画像)から顔画像を検出する。顔画像は、例えば、その静止画像51の特徴を解析し、予め用意された顔画像特徴サンプルと類似する特徴を有する領域を探索することによって検出することができる。顔画像特徴サンプルは、多数の人物それぞれの顔画像特徴を統計的に処理することによって得られた特徴データである。顔検出処理により、その静止画像51に含まれる顔画像に対応する領域が検出され、当該領域の位置(座標)及びサイズが検出される。
【0030】
また、顔画像検出部221は検出した顔画像を分析する。顔画像検出部221は、例えば、検出した顔画像の笑顔度、鮮明度、正面度等を算出する。笑顔度は、検出した顔画像が笑顔である度合いを示す指標である。鮮明度は、検出した顔画像が鮮明である(例えば、ぼけがない)度合いを示す指標である。また、正面度は、検出した顔画像が正面を向いている度合いを示す指標である。顔画像検出部221は、検出した顔画像を示す情報をクラスタリング部222に出力する。
【0031】
クラスタリング部222は、検出した顔画像に対してクラスタリング処理を施すことにより、検出した顔画像を人物毎に分類する。類似する顔画像特徴を有する顔画像同士は同一の人物として認識される。クラスタリング部222は、クラスタリング処理の結果に基づいて、各顔画像に対して人物の識別情報(人物ID)を付与する。同一人物の顔画像群に対しては同一の人物IDが付与される。クラスタリング部222は、各顔画像の属性(笑顔度、鮮明度、正面度、人物ID)をインデックス情報生成部224に出力する。
【0032】
イベント検出部223は、インデキシング対象の静止画像51に対応するイベントを検出する。イベント検出部223は、例えば、そのインデキシング対象の静止画像51の生成日時(撮影日時)に基づいて、そのインデキシング対象の静止画像51を、所定の期間内(例えば、1日)に生成された他の静止画像と同一のイベントに分類する。そして、イベント検出部223は、インデキシング対象の静止画像51に対して、そのインデキシング対象の静止画像51が分類されたイベントの識別情報(イベントID)を付与する。そして、イベント検出部223は、インデキシング対象の静止画像51に付与されたイベントIDをインデックス情報生成部224に出力する。
【0033】
インデックス情報生成部224は、顔画像検出部221及びクラスタリング部222による処理結果に基づいて、インデックス情報302Aを生成する。
図4は、インデックス情報302Aの一構成例を示す。インデックス情報302Aは、複数の静止画像51にそれぞれ対応する複数のエントリを含む。各エントリは、例えば、画像ID、生成日時(撮影日時)、生成場所(撮影場所)、イベントID、顔画像情報を含む。ある静止画像に対応するエントリにおいて、画像IDは、その静止画像に固有の識別情報を示す。生成日時は、その静止画像が生成された日時(その静止画像の撮影日時)を示す。生成場所は、その静止画像が生成(撮影)された場所(位置)を示す。生成日時及び生成場所には、例えば、その静止画像データに付加されている情報が用いられる。生成場所は、例えば、その静止画像データが生成されるときに(例えば、静止画像データに対応する写真が撮影されるときに)、GPSレシーバによって検出された位置情報を示す。イベントIDは、その静止画像に対応するイベントに一意に付与される識別情報を示す。顔画像情報は、その静止画像に含まれる顔画像の認識結果情報である。顔画像情報は、例えば、顔画像(例えば、その顔画像の格納場所を示すパス)、人物ID、位置、サイズ、笑顔度、鮮明度、及び正面度を含む。なお、一つの静止画像51に複数の顔画像が含まれるときは、その一つの静止画像51に対応するインデックス情報302Aは、複数の顔画像の各々に対応する顔画像情報を含む。
インデックス情報生成部224は、生成したインデックス情報302Aを素材情報データベース302に格納する。
【0034】
以上の構成により、インデキシング部22は、入力された静止画像51に対応するインデックス情報302Aを生成し、素材情報データベース302に格納することができる。
【0035】
再生制御部23は、インデックス情報302Aに基づき、ある選択された静止画像(キー画像)に関連する静止画像群を、素材データベース301内の静止画像群51から抽出し、関連する静止画像群を用いてフォトムービーまたはスライドショーを作成および再生する。再生制御部23は、例えば、キー画像選択部231、カレンダー表示部232、関連画像選択部233、シナリオ決定部234、動画像生成部235、及び動画像再生部236を備える。
【0036】
キー画像選択部231は、素材データベース301に格納された静止画像群51からキー画像(キー静止画像)を選択する。キー画像選択部231は、再生中の動画像(フォトムービーまたはスライドショー)に含まれる静止画像をキー画像に決定することもできる。つまり、キー画像選択部231は、再生中のフォトムービー又はスライドショー内のある画像がユーザによって指示された時、その指示された画像をキー画像に決定する。なお、フォトムービー又はスライドショーの再生中にユーザによるキー画像の指示が行われないとき、キー画像選択部231は、例えば、再生されたフォトムービー又はスライドショーに含まれる最後の静止画像をキー画像に決定してもよい。
【0037】
キー画像選択部231は、カレンダー上に静止画像群が配置されたカレンダー画面を用いてキー画像を選択してもよい。キー画像選択部231は、例えば、カレンダー画面を用いて、ユーザによって指定された静止画像をキー画像に決定する。
【0038】
キー画像選択部231は、さらに、例えばユーザによって選択された顔画像を、キー顔画像に決定することもできる。この場合、そのキー顔画像に対応する人物に関連する静止画像群が素材データベース301から抽出され、それら抽出された静止画像群が動画像(フォトムービー又はスライドショー)の作成に用いられる。
【0039】
関連画像選択部233は、素材データベース301に格納されている静止画像群51から、キー画像(キー顔画像)に関連する静止画像群を選択(抽出)する。キー画像に関連する静止画像は、キー画像に対して、例えば、日時、人物又は場所について関連性を有する静止画像である。関連画像選択部233は、例えば、素材情報データベース302に格納されたインデックス情報302Aを用いて、キー画像に関連する静止画像群を抽出する。また、関連画像選択部233は、キー画像(キー顔画像)に関連する静止画像群の代わりに、またはキー画像(キー顔画像)に関連する静止画像群に加えて、選択されたスタイルに対応する1つ以上の静止画像を、素材データベース301に格納されている静止画像群51から選択(抽出)してもよい。選択されたスタイルに対応する静止画像は、選択されたスタイルに関連付けられた画像抽出条件(日時、人物又は場所を組み合わせて指定する)を満たす静止画像である。画像抽出条件はスタイル毎に予め規定されている。
【0040】
関連画像選択部233は、日時関連画像選択部233A、人物関連画像選択部233B及び場所関連画像選択部233Cを備える。
【0041】
日時関連画像選択部233Aは、素材データベース301に格納された静止画像群51から、キー画像の生成日時に関連する生成日時を有する静止画像群を選択(抽出)する。日時関連画像選択部233Aは、例えば、インデックス情報302Aに基づいて、キー画像の生成日時と同一の期間内(例えば、日、月、時期、季節、年等で指定される期間内)に生成された静止画像群を選択(抽出)する。また、日時関連画像選択部233Aは、例えば、インデックス情報302Aに基づいて、キー画像の生成日時とは別の期間内の同じ日、同じ週、同じ月等(例えば、1年前の同じ日や2年後の同じ月等)に生成された静止画像群を選択(抽出)する。
【0042】
人物関連画像選択部233Bは、素材データベース301に格納された静止画像群51から、キー顔画像(キー画像に含まれる顔画像)に関連する静止画像群51を選択(抽出する)する。キー顔画像に関連する静止画像群は、例えば、キー顔画像と同じ人物の顔画像を含む静止画像、キー顔画像に対応する人物に関連する別の人物の顔画像を含む静止画像、等を含む。キー顔画像に対応する人物に関連する別の人物には、例えば、キー顔画像と同じ静止画像内に含まれる人物等が含まれる。
【0043】
場所関連画像選択部233Cは、素材データベース301に格納された静止画像群51から、キー画像の生成場所に関連する生成場所で生成された静止画像群を選択(抽出)する。
【0044】
シナリオ決定部234は、作成対象の動画像(例えば、フォトムービー)のシナリオを決定する。シナリオは、例えば、作成対象の動画像シーケンス内の複数のチャプタ(タイムセグメント)において使用すべきエフェクト群と使用すべき静止画像群の属性とを示す情報(シナリオ情報)である。つまり、シナリオは、チャプタと称されるタイムセグメント毎にエフェクトと静止画像属性とを規定する。
【0045】
本実施形態においては、例えば、24種類のシナリオ情報がシナリオデータ303Cとして予めエフェクトデータベース303内に格納されている。シナリオ決定部234は、24種類のシナリオ情報の内の1つのシナリオ情報を、動画像(例えば、フォトムービー)の作成に使用するシナリオとして決定する。シナリオの決定は、ユーザによって選択されたスタイルに従って実行してもよい。つまり、選択されたスタイルに従って、使用すべきシナリオ情報が決定される。本実施形態では、例えば8種類のスタイル(Happy, Fantastic, Ceremonial, Cool, Travel, Party, Gallery, Biography)が予め用意されている。さらに、スタイル毎に、例えば3種類のシナリオ情報が予め用意されている。シナリオ決定部234は、例えば、ユーザによって選択されたスタイルに対応する3種類のシナリオ情報の内の任意の1つを自動的に選択し、その選択したシナリオ情報を作成対象の動画像(例えば、フォトムービー)のシナリオに決定する。また、ユーザがスタイルを選択する代わりに、シナリオ決定部234が、8種類のスタイル内の任意の1つを自動的に選択してもよい。この場合、使用するスタイルは、例えば、関連画像選択部233によって抽出された静止画像それぞれの特徴(例えば、登場人物数(顔画像数)、顔画像の笑顔度、等)に基づいて決定してもよい。
【0046】
上述のように、選択されたスタイルに対応する3種類のシナリオ情報の内の1つが作成対象の動画像(例えば、フォトムービー)のシナリオとして選択されるが、このシナリオの選択には、例えば、乱数を使用してもよい。これにより、たとえ同じスタイルが選択された場合でも、毎回異なるシナリオを使用してフォトムービーを作成できる。フォトムービーの作成に使用される静止画像群それぞれの属性は使用されるシナリオによって変わる。したがって、使用されるシナリオを変えることは、思いがけない静止画像を掘り起こしてユーザに見せることができる可能性を高めることを可能にし得る。
【0047】
さらに、シナリオ決定部234は、フォトムービーの作成に使用する音楽も決定する。本実施形態では、複数の音楽が音声データ303Bとしてエフェクトデータベース303に格納されている。シナリオ決定部234は、例えば、選択されたスタイルに応じて、または関連画像選択部233によって抽出された静止画像それぞれの特徴(例えば、登場人物数(顔画像数)に応じて、使用する音楽を決定する。なお、使用する音楽はユーザが指定するようにしてもよい。
【0048】
動画像生成部235は、決定されたシナリオ情報に基づいて、フォトムービーを生成する。この場合、動画像生成部235は、関連画像選択部233によって抽出された静止画像群から、シナリオ情報によって示される各チャプタの静止画像属性に合致する少なくとも1つの静止画像を抽出する。そして、動画像生成部235は、抽出された少なくとも1つの静止画像を各チャプタに割り当てることによって、フォトムービーを作成する。
【0049】
動画像再生部236は、シナリオ情報によって示される各チャプタに対応するエフェクトを各チャプタに割り当てられた静止画像に施すことによって、作成されたフォトムービーを再生する。
【0050】
なお、決定されたシナリオ情報は、スライドショーの作成に使用してもよい。この場合、動画像生成部235は、関連画像選択部233によって抽出された静止画像群から、シナリオ情報によって示される各チャプタの静止画像属性に合致する少なくとも1つの静止画像を抽出する。そして、動画像生成部235は、抽出された少なくとも1つの静止画像を各チャプタに割り当てることによってスライドショーを作成、つまり使用する静止画像それぞれとその再生タイミングを決定する。動画像再生部236は、作成されたフォトムービーを再生する。
【0051】
図5は、フォトムービー作成アプリケーション202によって表示されるメイン画面40の例を示す。メイン画面40は、例えば、「スタイル」ボタン401、「音楽」ボタン402、「主人公」ボタン403、「スタート」ボタン404、ムービー再生画面405、及び「カレンダー」ボタン406を備える。
【0052】
ムービー再生画面405は、生成されたフォトムービー又はスライドショーを表示するための画面である。ムービー再生画面405では、再生制御部23(動画像生成部235)によって生成されたフォトムービー又はスライドショーが順次再生され、表示される。図5においては、再生中のフォトムービー又はスライドショーの画像に、例えば、人物40A〜40Fが登場する例が示されている。
【0053】
フォトムービー又はスライドショーの再生中にムービー再生画面405がユーザによるポインティングデバイスの操作によってクリックされた時、フォトムービー作成アプリケーション202は、フォトムービー(スライドショー)の再生を一時停止し、現在再生中の画像をキー画像に決定する。現在再生中の画像が複数の静止画像を合成することによって生成された画像であるならば、フォトムービー作成アプリケーション202は、それら複数の静止画像の一つをキー画像に決定しても良い。もちろん、それら複数の静止画像の内、ユーザによってクリックされた静止画像をキー画像に決定しても良い。
【0054】
「主人公」ボタン403は、生成されるフォトムービー内で注目される人物(主人公)の選択を開始するためのボタンである。キー画像選択部231は、「主人公」ボタン403が押されたことに応答して、キー画像に登場する人物のリスト(顔画像選択画面)を表示する。ユーザは、例えば、ムービー再生画面405を用いてキー画像を選択した後に、「主人公」ボタン403を押して、キー顔画像の選択開始(すなわち、顔画像選択画面の表示)を指示する。
【0055】
図6は、キー顔画像を選択するための顔画像選択画面41の例を示す。顔画像選択画面41では、キー画像に含まれる顔画像のリスト(顔画像41A〜41D)が表示されている。キー画像選択部231は、キー画像に登場する人物40A〜40Fから、例えば、その人物が出現する静止画像数がしきい値以上である人物(例えば、人物40A〜40D)を選択し、その選択した人物に対応する顔画像41A〜41Dをムービー再生画面405上に表示する。
【0056】
ユーザは、顔画像選択画面41を用いて、顔画像41A〜41Dから注目する人物の顔画像(ここでは、顔画像41A)を選択する。キー画像選択部231は、選択された顔画像41Aをキー顔画像(主人公)に決定する。なお、選択される顔画像は複数であってもよい。また、顔画像選択画面41を用いて顔画像を選択する操作が行われないとき(例えば、「主人公」ボタン403が押されないとき)、キー画像選択部231は、キー画像に含まれる顔画像のうち、所定の条件を満たす顔画像をキー顔画像に選択してもよい。
【0057】
図5のメイン画面40上の「スタイル」ボタン401は、フォトムービーのスタイルの選択を開始するためのボタンである。フォトムービー作成アプリケーション202は、「スタイル」ボタン401が押されたことに応答して、スタイル選択画面を表示する。スタイル選択画面上には、上述の8種類のスタイル(Happy, Fantastic, Ceremonial, Cool, Travel, Party, Gallery, Biography)のリストが表示される。ユーザは、希望するスタイルを選択することができる。
【0058】
「音楽」ボタン402は、フォトムービーに用いられる音楽の選択を開始するためのボタンである。フォトムービー作成アプリケーション202は、「音楽」ボタン402が押されたことに応答して、音楽のリスト(音楽選択画面)を表示する。ユーザは、希望する音楽を選択することができる。
【0059】
「スタート」ボタン404は、フォトムービーの生成及び再生を開始するためのボタンである。フォトムービー作成アプリケーション202は、「スタート」ボタン404が押されたことに応答して、フォトムービーの作成を開始する。そして、フォトムービー作成アプリケーション202は、作成したフォトムービーを再生して、ムービー再生画面405に表示する。
【0060】
ここで、フォトムービーの再生操作の流れについて説明する。フォトムービーはキー画像(メイン画面40上に表示中の画像、またはカレンダー画面を用いて選択された画像)をベースに作成される。
<メイン画面40上に表示中の画像をキー画像に使用する例>
(1)スライドショー/フォトムービー再生中に、メイン画面40をクリック
(2)スタイルを選択(デフォルトはおまかせ)
(3)フォトムービーに使用する音楽を選択(デフォルトはおまかせ)
(4)注目する人物を選択(デフォルトはおまかせ。)
(5)「スタート」ボタン404をクリック
スタイル、音楽、注目する人物がすべておまかせで良い場合は、ユーザは、メイン画面40をクリックして、表示された「スタート」ボタン404をクリックするだけでよい。
【0061】
<カレンダー画面を用いて選択された画像をキー画像に使用する例>
(1)メイン画面40上の「カレンダー」ボタンをクリック
(2)ベースとする写真を撮影した日付を選択して、写真の一覧を表示
(3)写真の一覧からベースとする写真を選択し、「スタート」ボタン404をクリック
(4)メイン画面40上でスタイルを選択(デフォルトはおまかせ)
(5)メイン画面40上でフォトムービーに使用する音楽を選択(デフォルトはおまかせ)
(6)注目する人物を選択(デフォルトはおまかせ。)
(7)「スタート」ボタン404をクリック
次に、図7を参照して、フォトムービー作成処理の手順の概要について説明する。
フォトムービー作成アプリケーション202は、まず、インデックス情報に基づいて、キー画像(キー顔画像)に関連する静止画像群を素材データベース301から抽出(一次抽出)する(ブロックB101)。ブロックB101では、フォトムービー作成アプリケーション202は、例えば、選択された人物(主人公)に関連する静止画像群を素材データベース301から抽出する。
【0062】
次に、フォトムービー作成アプリケーション202は、フォトムービーの作成に用いるシナリオを選定する(ブロックB102)。ブロックB102では、フォトムービー作成アプリケーション202は、選択されたスタイルや、ブロックB101で抽出した静止画像群の特徴値等に応じて、予め用意された複数のシナリオ情報の一つを選択する。各シナリオ情報は、フォトムービーのシーケンスを構成する複数のチャプタ(シーン)において使用されるエフェクトの順番(エフェクト列)および静止画像群の属性(静止画像属性)とを規定する。図7では、フォトムービーのシーケンスが5つのチャプタ(チャプタ1、2、3、4、5)から構成される場合が想定されている。チャプタ1はフォトムービーのオープニングシーンであり、チャプタ5はフォトムービーのエンディングシーンである。各チャプタには、1以上のエフェクト(ここでは2つのエフェクト)が定義され、さらにエフェクト毎に静止画像属性が定義される。
【0063】
静止画属性としては、例えば、人物属性(顔属性)を使用してもよい。この人物属性としては、例えば、主人公(主役)、脇役、笑顔度、鮮明度、登場人数等を使用することができる。ここで、用語「主役」は、フォトムービーの主人公となるべき人物、つまり、注目すべき人物(顔)を意味する。例えば、上述のキー顔画像に対応する人物を、主役に決定してもよい。用語「脇役」は、主人公に関連する別の人物を意味する。例えば、主人公との共起頻度の高い人物(顔)を脇役に決定してもよい。人物属性は、複数の脇役を指定することもできる。主人公との共起頻度の高い複数の人物(顔)が脇役となり得る。静止画属性としては、人物属性のみならず、例えば、場所属性を使用してもよい。この場所属性は、使用する静止画像の撮影場所を指定する。
【0064】
図7のシナリオ情報1では、例えば、チャプタ1に2つのエフェクト(エフェクト#1、エフェクト#2)が規定されており、さらに、エフェクト#1には静止画属性「主人公」が、エフェクト#2には静止画属性「主人公 OR 脇役」が関連付けられている。静止画属性「主人公」は、主人公が登場する静止画像が使用されるべきであることを指定する。静止画属性「主人公 OR 脇役」は、主人公または脇役のいずれかが登場する静止画像が使用されるべきであることを指定する。静止画属性の他の幾つかの例は以下の通りである。
【0065】
チャプタ2のエフェクト#11に関連付けられた静止画属性「主人公、脇役」は、主人公と脇役の双方が登場する静止画像が使用されるべきであることを指定する。チャプタ3のエフェクト#6に関連付けられた静止画属性「脇役1、脇役2、脇役3」は、3人の脇役(脇役1、脇役2、脇役3)の全てが登場する静止画像が使用されるべきであることを指定する。チャプタ5のエフェクト#3に関連付けられた静止画属性「多人数、笑顔度高」は、閾値以上の人物が登場し且つ笑顔度の高い人物の頻度がある閾値以上である静止画像が使用されるべきであることを指定する。チャプタ5のエフェクト#4に関連付けられた静止画属性「主人公、笑顔度高」は、主人公が登場し、且つ主人公の笑顔度が閾値以上である静止画像が使用されるべきであることを指定する。このように、人物属性は、各チャプタに登場すべき人物が、主役、脇役、または主役および脇役の双方のいずれであるかを指定することができる。
【0066】
次いで、フォトムービー作成アプリケーション202は、ブロックB101で抽出した静止画像群から、選定されたシナリオ情報によって示される各チャプタの静止画属性に合致する1以上の静止画像をさらに抽出(本抽出)する(ブロックB103)。そして、フォトムービー作成アプリケーション202は、抽出された静止画像を各チャプタに割り当てることによってフォトムービーを作成し、作成されたフォトムービーを再生する(ブロックB104)。ブロックB104では、フォトムービー作成アプリケーション202は、シナリオ情報によって示される各チャプタに対応するエフェクトを、各チャプタに割り当てられた静止画像に施す。
【0067】
次に、図8のフローチャートを参照して、キー顔画像(主人公)選択処理の手順の例を説明する。
【0068】
フォトムービー作成アプリケーション202は、まず、キー画像(キー静止画像)に含まれる顔画像を検出する(ブロックB111)。次いで、フォトムービー作成アプリケーション202は、検出された顔画像の一つを主人公に決定する(ブロックB112)。ブロックB112では、フォトムービー作成アプリケーション202は、検出された顔画像のリスト(顔画像リスト)を表示し、この顔画像リストからユーザによって選択された顔画像に対応する人物を主人公に決定する。なお、キー画像に登場する人物が一人である場合には、顔画像リストを表示することなく、その人物を主人公に決定してもよい。
【0069】
次に、図9のフローチャートを参照して、フォトムービー作成処理の手順の例を説明する。「スタート」ボタン404が押されたことに応答して、フォトムービー作成アプリケーション202は、以下のフォトムービー作成処理を開始する。
【0070】
フォトムービー作成アプリケーション202は、まず、インデックス情報に基づいて、選択された人物の顔画像(主人公)が登場する静止画像群を、素材データベース301に格納されている静止画像群51から抽出する(ブロックB1)。次いで、フォトムービー作成アプリケーション202は、インデックス情報に基づいて、主人公に関連する別の人物が登場する静止画像群を、素材データベース301に格納されている静止画像群51から抽出する(ブロックB2)。主人公に関連する別の人物は、例えば、主人公と同じ静止画像内に含まれる別の各人物である。さらに、フォトムービー作成アプリケーション202は、キー静止画像が属するイベント(イベントグループ)内の静止画像群も、主人公に関連する静止画像群として抽出する(ブロックB3)。これらブロックB1〜B3の処理によって、図7のブロックB101の一次抽出処理が実行される。なお、一次抽出処理では、選択された人物の顔画像(主人公)が登場する静止画像群、主人公に関連する別の人物が登場する静止画像群に加え、選択されたスタイルに対応する画像抽出条件に合致する静止画像群もさらに抽出するようにしてもよい。
【0071】
次いで、フォトムービー作成アプリケーション202は、主人公に関連する少なくとも一人の人物を脇役として決定する(ブロックB4)。次いで、フォトムービー作成アプリケーション202は、各チャプタにおいて使用すべきエフェクトと使用すべき静止画像の属性とを示すシナリオを決定する(ブロックB5)。これらブロックB1〜B3の処理によって、図7のブロックB102のシナリオ選定処理が実行される。
【0072】
次いで、フォトムービー作成アプリケーション202は、各チャプタの静止画属性(人物属性、場所属性等)に従って、一次抽出された静止画像群から、例えば、主人公の顔画像をそれぞれ含む静止画像群、脇役の顔画像をそれぞれ含む静止画像群、主人公の顔画像と脇役の顔画像の双方をそれぞれ含む静止画像群、他の属性に合致する静止画像群、等を抽出する(ブロックB6)。これにより、各チャプタの静止画属性に合致する静止画像群が抽出される(本抽出)。
【0073】
次いで、フォトムービー作成アプリケーション202は、抽出された静止画像を各チャプタに割り当てることによってフォトムービーを作成する(ブロックB7)。そして、フォトムービー作成アプリケーション202は、シナリオ情報によって示される各チャプタに対応するエフェクトを各チャプタに割り当てられた静止画像に施すことによって、フォトムービーを再生する(ブロックB8)。
【0074】
次に、図10、図11を参照して、幾つかのエフェクトの例を説明する。
図10は、静止画像に登場する人物の顔画像を強調するためのエフェクトの例を示している。静止画像43では、人物43Aの顔画像に対して、人物43Aを強調するためのエフェクト43Bが施されている。エフェクト43Bは、顔画像を囲むイラスト(オブジェクト)を顔画像に重畳している。また、静止画像44では、人物44Aの顔画像にスポットを当てるためのエフェクト44Bが施されている。例えば、静止画像44において、人物44Aが主人公で、他の2人が脇役である場合、「脇役1」、「脇役2」、「主人公」という順でスポットを順次当てる3段階スポットライトのようなエフェクトを使用することも出来る。
【0075】
図11は、複数の静止画像の各々に登場する人物の顔画像にエフェクトが施される例を示す。画面47では、複数の静止画像から切り出された顔画像47A〜47Dが表示され、各顔画像が画面47上を移動するエフェクトが施されている。
【0076】
以上説明したように、本実施形態によれば、ある選択された人物(主人公)の顔画像をそれぞれ含む第1の静止画像群と、主人公に関連する第2の静止画像群であって主人公に関連する別の人物の顔画像を含む静止画像を少なくとも含む第2の静止画像群とが、複数の静止画像から抽出され、抽出された第1の静止画像群と抽出された第2の静止画像群とを用いて動画像が再生される。このように、ある選択された人物(主人公)の顔画像をベースに、その主人公に対する関連静止画像群を自動的に抽出することにより、思いがけない写真を掘り起こしてユーザに見せることが可能になる。また、チャプタ毎に、人物属性のような静止画像属性を規定するシナリオ情報を用いることにより、ストーリー性のある動画像を生成することが出来る。
【0077】
なお、本実施形態では、使用するエフェクト列と使用する静止画の属性とを指定するシナリオ情報を例示して説明したが、スライドショーを作成する場合には、使用する静止画の属性のみ指定するシナリオ情報を使用しても良い。また、スライドショーを作成する場合には、使用するエフェクトを指定する代わりに、使用するトランジションを指定するようにしてもよい。
【0078】
また、本実施形態の再生処理の手順は全てソフトウェアによって実行することができる。このため、再生処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
【0079】
また、図3に示した各部の機能は、例えば、専用LSI、DSPのようなハードウェアによって実現しても良い。
【0080】
また本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【0081】
109…HDD、202…動画像再生アプリケーションプログラム、21…監視部、22…インデキシング部、221…顔画像検出部、222…クラスタリング部、223…イベント検出部、224…インデックス情報生成部、23…再生制御部、231…キー画像選択部、232…カレンダー表示部、233…画像抽出部、233A…日時関連画像抽出部、233B…人物関連画像抽出部、233C…場所関連画像抽出部、234…シナリオ決定部、235…動画像生成部、236…動画像再生部、301…素材データベース、51…静止画像データ、302…素材情報データベース、302A…インデックス情報、303…エフェクトデータベース、303A…エフェクトデータ、303B…音声データ、303C…シナリオデータ。
【技術分野】
【0001】
本発明の実施形態は、画像を表示する電子機器及び該機器に適用される動画像再生方法に関する。
【背景技術】
【0002】
近年、パーソナルコンピュータ、デジタルカメラ、PDAのような様々な電子機器が普及している。このような電子機器は、例えば写真のような静止画像を管理する機能を有している。画像管理方法としては、例えば、写真に付加された撮影位置データに基づいて、写真を複数のグループに分類する方法が知られている。
【0003】
また、最近では、写真のような静止画像群を用いて動画像(例えば、フォトムービー、スライドショー等)を作成する動画作成技術が注目されている。動画作成技術としては、例えば、静止画像群を複数の撮影位置に対応する複数のディレクトリに分類して格納し、ユーザによって指定されたディレクトリ内の静止画像群を用いて動画を作成する技術が知られている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2007−194948号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、ユーザに処理対象のディレクトリを指定させる方法では、表示される静止画像は、その指定されたディレクトリ内の静止画像に限定される。したがって、例えば、思いがけない静止画像(ユーザが意識していない静止画像)や、同一のディレクトリ内に格納されていないものの関連性が高い静止画像等を含む動画をユーザに提示することは困難である。
【0006】
本発明は上述の事情を考慮してなされたものであり、思いがけない静止画像等を含む動画をユーザに提示することができる電子機器及び動画像再生方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
実施形態によれば、電子機器は、インデキシング手段と、抽出手段と、再生手段とを具備する。インデキシング手段は、複数の静止画像を分析し、前記複数の静止画像それぞれの属性を示すインデックス情報であって前記複数の静止画像に含まれる複数の顔画像の認識結果を含むインデックス情報を生成する。抽出手段は、前記インデックス情報に基づいて、選択された人物の顔画像をそれぞれ含む第1の静止画像群と、前記選択された人物に関連する第2の静止画像群であって前記選択された人物に関連する別の人物の顔画像を含む静止画像を少なくとも含む第2の静止画像群とを、前記複数の静止画像から抽出する。再生手段は、前記抽出された第1の静止画像群と前記抽出された第2の静止画像群とを用いて動画像を再生する。
【図面の簡単な説明】
【0008】
【図1】実施形態に係る電子機器の構成を示す斜視図。
【図2】同実施形態の電子機器のシステム構成を示すブロック図。
【図3】同実施形態の電子機器によって実行されるフォトムービー作成アプリケーションプログラムの機能構成を示すブロック図。
【図4】同実施形態の電子機器によって実行されるフォトムービー作成アプリケーションプログラムが用いるインデックス情報の例を示す図。
【図5】同実施形態の電子機器によって表示されるメイン画面の例を示す図。
【図6】同実施形態の電子機器によって表示される主人公選択画面の例を示す図。
【図7】同実施形態の電子機器によって実行されるフォトムービー作成処理の手順の概要を示す概念図。
【図8】同実施形態の電子機器によって実行されるキー顔画像(主人公)選択処理の手順を説明するフローチャート。
【図9】同実施形態の電子機器によって実行されるフォトムービー作成処理の手順を説明するフローチャート。
【図10】同実施形態の電子機器によって実行される、静止画像内の顔画像を強調するためのエフェクトの例を示す図。
【図11】同実施形態の電子機器によって実行される他のエフェクトの例を示す図。
【発明を実施するための形態】
【0009】
以下、図面を参照して、実施形態を説明する。
図1は、本発明の一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えばノートブックタイプのパーソナルコンピュータ10として実現されている。図1に示すように、本コンピュータ10は、コンピュータ本体11と、ディスプレイユニット12とから構成されている。ディスプレイユニット12には、LCD(liquid crystal display)17が組み込まれている。ディスプレイユニット12は、コンピュータ本体11の上面が露出される開放位置とコンピュータ本体11の上面を覆う閉塞位置との間を回動自在にコンピュータ本体11に取り付けられている。
【0010】
コンピュータ本体11は、薄い箱形の筐体を有しており、その上面には、キーボード13、本コンピュータ10を電源オン/電源オフするためのパワーボタン14、入力操作パネル15、タッチパッド16、スピーカ18A,18Bなどが配置されている。入力操作パネル15上には、各種操作ボタンが設けられている。
【0011】
また、コンピュータ本体11の右側面には、例えばUSB(universal serial bus)2.0規格のUSBケーブルやUSBデバイスを接続するためのUSBコネクタ19が設けられている。さらに、コンピュータ本体11の背面には、例えばHDMI(high-definition multimedia interface)規格に対応した外部ディスプレイ接続端子(図示せず)が設けられている。この外部ディスプレイ接続端子は、デジタル映像信号を外部ディスプレイに出力するために用いられる。
【0012】
図2は、本コンピュータ10のシステム構成を示す図である。
本コンピュータ10は、図2に示されているように、CPU(central processing unit)101、ノースブリッジ102、主メモリ103、サウスブリッジ104、GPU(Graphics Processing Unit)105、VRAM(ビデオRAM:random access memory)105A、サウンドコントローラ106、BIOS−ROM(basic input/output system-read only memory)107、LAN(local area network)コントローラ108、ハードディスクドライブ(HDD)109、光ディスクドライブ(ODD)110、USBコントローラ111A、カードコントローラ111B、無線LANコントローラ112、エンベデッドコントローラ/キーボードコントローラ(EC/KBC)113、EEPROM(electrically erasable programmable ROM)114等を備える。
【0013】
CPU101は、本コンピュータ10内の各部の動作を制御するプロセッサである。CPU101は、HDD109から主メモリ103にロードされる、オペレーティングシステム(OS)201、及びフォトムービー作成アプリケーションプログラム202のような各種アプリケーションプログラムを実行する。フォトムービー作成アプリケーションプログラム202は、例えばHDD109等に格納された各種デジタルコンテンツを再生するソフトウェアである。このフォトムービー作成アプリケーションプログラム202は、動画像生成機能を有している。この動画像生成機能は、例えば、HDD109等に格納された写真等の素材(デジタルコンテンツ)を用いて、動画像(フォトムービー、スライドショー)を作成する機能である。さらに、この動画像生成機能は、動画像の作成に用いる素材を分析する機能を含む。フォトムービー作成アプリケーションプログラム202は、素材を用いて作成された動画像を再生し、画面(LCD17)に表示する。
【0014】
また、CPU101は、BIOS−ROM107に格納されたBIOSも実行する。BIOSは、ハードウェア制御のためのプログラムである。
【0015】
ノースブリッジ102は、CPU101のローカルバスとサウスブリッジ104との間を接続するブリッジデバイスである。ノースブリッジ102には、主メモリ103をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ102は、例えば、PCI EXPRESS規格のシリアルバスなどを介してGPU105との通信を実行する機能も有している。
【0016】
GPU105は、本コンピュータ10のディスプレイモニタとして使用されるLCD17を制御する表示コントローラである。このGPU105によって生成される表示信号はLCD17に送られる。また、GPU105は、HDMI制御回路3およびHDMI端子2を介して、外部ディスプレイ1にデジタル映像信号を送出することもできる。
【0017】
HDMI端子2は、前述の外部ディスプレイ接続端子である。HDMI端子2は、非圧縮のデジタル映像信号とデジタルオーディオ信号とを1本のケーブルでテレビのような外部ディスプレイ1に送出することができる。HDMI制御回路3は、HDMIモニタと称される外部ディスプレイ1にデジタル映像信号をHDMI端子2を介して送出するためのインタフェースである。
【0018】
サウスブリッジ104は、PCI(Peripheral Component Interconnect)バス上の各デバイス及びLPC(Low Pin Count)バス上の各デバイスを制御する。また、サウスブリッジ104は、HDD109及びODD110を制御するためのIDE(Integrated Drive Electronics)コントローラを内蔵している。さらに、サウスブリッジ104は、サウンドコントローラ106との通信を実行する機能も有している。
【0019】
サウンドコントローラ106は音源デバイスであり、再生対象のオーディオデータをスピーカ18A,18BまたはHDMI制御回路3に出力する。LANコントローラ108は、例えばIEEE 802.3規格の有線通信を実行する有線通信デバイスであり、一方、無線LANコントローラ112は、例えばIEEE 802.11g規格の無線通信を実行する無線通信デバイスである。USBコントローラ111Aは、(USBコネクタ19を介して接続される)例えばUSB 2.0規格に対応した外部機器との通信を実行する。例えば、USBコントローラ111Aは、例えば、デジタルカメラに格納されている画像データファイルを受信するために使用される。カードコントローラ111Bは、コンピュータ本体11に設けられたカードスロットに挿入される、SDカードのようなメモリカードに対するデータの書き込み及び読み出しを実行する。
【0020】
EC/KBC113は、電力管理のためのエンベデッドコントローラと、キーボード13及びタッチパッド16を制御するためのキーボードコントローラとが集積された1チップマイクロコンピュータである。EC/KBC113は、ユーザによるパワーボタン14の操作に応じて本コンピュータ10を電源オン/電源オフする機能を有している。
【0021】
次いで、図3を参照して、フォトムービー作成アプリケーションプログラム202の機能構成を説明する。ここでは、フォトムービー作成アプリケーションプログラム202が有する機能のうち、動画像生成機能を実現するための構成例について説明する。この動画像生成機能は、HDD109内の所定のディレクトリ(フォルダ)に格納された複数の静止画像(静止画像データ)51を用いて動画像(フォトムービー、スライドショー)を作成し、その作成した動画像を再生する。静止画像51は、例えば、デジタル写真、他の各種静止画像ファイル(JPEGファイル)等である。用語「フォトムービー」は複数の静止画像(例えば写真)を用いて生成される動画像(ムービー)を意味する。フォトムービーの再生においては、静止画像群には様々なエフェクトまたはトランジションが施される。エフェクトまたはトランジションが施された静止画像群は音楽と一緒に再生される。フォトムービー作成アプリケーションプログラム202は、ある静止画像(キー画像)に関連する静止画像群を自動的に抽出し、抽出された静止画像群を用いてフォトムービーを作成および再生することができる。用語「スライドショー」は静止画像を1枚ずつ順次表示する動画像(ムービー)を意味する。
【0022】
フォトムービー作成アプリケーションプログラム202は、ユーザが設定したHDD109内のフォルダ(写真フォルダ)を監視し、1以上の新しい静止画像(写真ファイル)が写真フォルダに格納されたことを感知すると、それら1以上の新しい静止画像に対するインデキシングを行うと同時にそれら1以上の新しい静止画像のスライドショーを開始する。インデキシングが完了すると、フォトムービー作成アプリケーションプログラム202は、1以上の新しい静止画像をベースとしたフォトムービーを作成して再生する。この場合、例えば、1以上の新しい静止画像のみからフォトムービーを作成して再生しても良い。代わりに、1以上の新しい静止画像に関連する静止画像群を写真フォルダ内の静止画像群から抽出し、1以上の新しい静止画像と、それら抽出された静止画像群とを用いてフォトムービーを作成して再生しても良い。
【0023】
フォトムービーの作成は、1枚の静止画像(キー画像)を基に行われる。つまり、選択されたキー画像に関連する静止画像群が自動抽出され、抽出された静止画像群を用いてフォトムービーが作成される。フォトムービーの作成条件として、スタイル、音楽、注目する人物(顔)の各々を選択指定することができる。選択したスタイルに応じて、使用される静止画像の抽出方法、使用されるエフェクト/トランジション等が決定される。従来では、ムービーの作成に使用する写真はユーザによって指定されるが、フォトムービー作成アプリケーションプログラム202は、写真フォルダ内の全ての静止画像から、使用する写真群を自動抽出する。これにより、思いがけない写真を掘り起こしてユーザに見せることができる。
【0024】
抽出処理では、顔画像の笑顔度、顔画像の鮮明度等に従って、より写りの良い写真を抽出してもよい。また、顔クラスタリングによって各顔画像に対応する人物を認識し、例えば、選択された人物の顔画像を含む写真群、選択された人物に関連する別の人物の顔画像を含む写真群などを抽出してもよい。さらに、イベントグループ分け技術を用いて写真群を複数のイベントに分けてもよい。この場合、あるイベント内の登場人物と別のイベント内の登場人物との関係に基づいてイベント同士の関連性を推定し、その推定結果を抽出処理に使用しても良い。例えば、同一の人物が登場するイベント同士は関連性があると推定しても良い。また、例えば、ある人物Aと別の人物Bが同じ写真に写っている頻度(共起頻度)が高いならば、人物Aを含む写真が属するイベントは、人物Bを含む写真が属するイベントに関連するイベントであると推定してもよい。
【0025】
フォトムービー作成アプリケーションプログラム202は、監視部21、インデキシング部22及び再生制御部23を備える。
【0026】
監視部21は、HDD109内の素材データベース301を常時監視し、新たな静止画像51が例えばUSBコントローラ111A、カードコントローラ111B等のインタフェース部を介してHDD109内の素材データベース301に格納されたか否かを判定する。素材データベース301はHDD109内の所定のディレクトリ(上述の写真フォルダ)に相当する。素材データベース301に格納された各静止画像51は、動画像(フォトムービー、スライドショー)の素材候補として用いられる。素材データベース301には、静止画像のみならず、例えばショートムービーのような動画像を素材候補として格納してもよい。
【0027】
インデキシング部22は、素材データベース301内の複数の静止画像51を分析し、それら複数の静止画像51それぞれの属性を示すインデックス情報を生成する。インデキシング部22によるインデキシングは、例えば、1以上の新しい静止画像(写真ファイル)が素材データベース301に格納されたことをトリガに開始される。つまり、素材データベース301に1以上の新しい静止画像が格納された時に、インデキシング部22は、その新しい静止画像に対応するインデックス情報を生成する。
【0028】
インデキシング部22は顔認識機能を有している。インデックス情報には、複数の静止画像51に含まれる複数の顔画像それぞれの認識結果も含まれている。
【0029】
インデキシング部22は、顔画像検出部221、クラスタリング部222、イベント検出部223、及びインデックス情報生成部224を備える。
顔画像検出部221は、インデキシング対象の静止画像51(例えば、写真フォルダに新たに格納された静止画像)から顔画像を検出する。顔画像は、例えば、その静止画像51の特徴を解析し、予め用意された顔画像特徴サンプルと類似する特徴を有する領域を探索することによって検出することができる。顔画像特徴サンプルは、多数の人物それぞれの顔画像特徴を統計的に処理することによって得られた特徴データである。顔検出処理により、その静止画像51に含まれる顔画像に対応する領域が検出され、当該領域の位置(座標)及びサイズが検出される。
【0030】
また、顔画像検出部221は検出した顔画像を分析する。顔画像検出部221は、例えば、検出した顔画像の笑顔度、鮮明度、正面度等を算出する。笑顔度は、検出した顔画像が笑顔である度合いを示す指標である。鮮明度は、検出した顔画像が鮮明である(例えば、ぼけがない)度合いを示す指標である。また、正面度は、検出した顔画像が正面を向いている度合いを示す指標である。顔画像検出部221は、検出した顔画像を示す情報をクラスタリング部222に出力する。
【0031】
クラスタリング部222は、検出した顔画像に対してクラスタリング処理を施すことにより、検出した顔画像を人物毎に分類する。類似する顔画像特徴を有する顔画像同士は同一の人物として認識される。クラスタリング部222は、クラスタリング処理の結果に基づいて、各顔画像に対して人物の識別情報(人物ID)を付与する。同一人物の顔画像群に対しては同一の人物IDが付与される。クラスタリング部222は、各顔画像の属性(笑顔度、鮮明度、正面度、人物ID)をインデックス情報生成部224に出力する。
【0032】
イベント検出部223は、インデキシング対象の静止画像51に対応するイベントを検出する。イベント検出部223は、例えば、そのインデキシング対象の静止画像51の生成日時(撮影日時)に基づいて、そのインデキシング対象の静止画像51を、所定の期間内(例えば、1日)に生成された他の静止画像と同一のイベントに分類する。そして、イベント検出部223は、インデキシング対象の静止画像51に対して、そのインデキシング対象の静止画像51が分類されたイベントの識別情報(イベントID)を付与する。そして、イベント検出部223は、インデキシング対象の静止画像51に付与されたイベントIDをインデックス情報生成部224に出力する。
【0033】
インデックス情報生成部224は、顔画像検出部221及びクラスタリング部222による処理結果に基づいて、インデックス情報302Aを生成する。
図4は、インデックス情報302Aの一構成例を示す。インデックス情報302Aは、複数の静止画像51にそれぞれ対応する複数のエントリを含む。各エントリは、例えば、画像ID、生成日時(撮影日時)、生成場所(撮影場所)、イベントID、顔画像情報を含む。ある静止画像に対応するエントリにおいて、画像IDは、その静止画像に固有の識別情報を示す。生成日時は、その静止画像が生成された日時(その静止画像の撮影日時)を示す。生成場所は、その静止画像が生成(撮影)された場所(位置)を示す。生成日時及び生成場所には、例えば、その静止画像データに付加されている情報が用いられる。生成場所は、例えば、その静止画像データが生成されるときに(例えば、静止画像データに対応する写真が撮影されるときに)、GPSレシーバによって検出された位置情報を示す。イベントIDは、その静止画像に対応するイベントに一意に付与される識別情報を示す。顔画像情報は、その静止画像に含まれる顔画像の認識結果情報である。顔画像情報は、例えば、顔画像(例えば、その顔画像の格納場所を示すパス)、人物ID、位置、サイズ、笑顔度、鮮明度、及び正面度を含む。なお、一つの静止画像51に複数の顔画像が含まれるときは、その一つの静止画像51に対応するインデックス情報302Aは、複数の顔画像の各々に対応する顔画像情報を含む。
インデックス情報生成部224は、生成したインデックス情報302Aを素材情報データベース302に格納する。
【0034】
以上の構成により、インデキシング部22は、入力された静止画像51に対応するインデックス情報302Aを生成し、素材情報データベース302に格納することができる。
【0035】
再生制御部23は、インデックス情報302Aに基づき、ある選択された静止画像(キー画像)に関連する静止画像群を、素材データベース301内の静止画像群51から抽出し、関連する静止画像群を用いてフォトムービーまたはスライドショーを作成および再生する。再生制御部23は、例えば、キー画像選択部231、カレンダー表示部232、関連画像選択部233、シナリオ決定部234、動画像生成部235、及び動画像再生部236を備える。
【0036】
キー画像選択部231は、素材データベース301に格納された静止画像群51からキー画像(キー静止画像)を選択する。キー画像選択部231は、再生中の動画像(フォトムービーまたはスライドショー)に含まれる静止画像をキー画像に決定することもできる。つまり、キー画像選択部231は、再生中のフォトムービー又はスライドショー内のある画像がユーザによって指示された時、その指示された画像をキー画像に決定する。なお、フォトムービー又はスライドショーの再生中にユーザによるキー画像の指示が行われないとき、キー画像選択部231は、例えば、再生されたフォトムービー又はスライドショーに含まれる最後の静止画像をキー画像に決定してもよい。
【0037】
キー画像選択部231は、カレンダー上に静止画像群が配置されたカレンダー画面を用いてキー画像を選択してもよい。キー画像選択部231は、例えば、カレンダー画面を用いて、ユーザによって指定された静止画像をキー画像に決定する。
【0038】
キー画像選択部231は、さらに、例えばユーザによって選択された顔画像を、キー顔画像に決定することもできる。この場合、そのキー顔画像に対応する人物に関連する静止画像群が素材データベース301から抽出され、それら抽出された静止画像群が動画像(フォトムービー又はスライドショー)の作成に用いられる。
【0039】
関連画像選択部233は、素材データベース301に格納されている静止画像群51から、キー画像(キー顔画像)に関連する静止画像群を選択(抽出)する。キー画像に関連する静止画像は、キー画像に対して、例えば、日時、人物又は場所について関連性を有する静止画像である。関連画像選択部233は、例えば、素材情報データベース302に格納されたインデックス情報302Aを用いて、キー画像に関連する静止画像群を抽出する。また、関連画像選択部233は、キー画像(キー顔画像)に関連する静止画像群の代わりに、またはキー画像(キー顔画像)に関連する静止画像群に加えて、選択されたスタイルに対応する1つ以上の静止画像を、素材データベース301に格納されている静止画像群51から選択(抽出)してもよい。選択されたスタイルに対応する静止画像は、選択されたスタイルに関連付けられた画像抽出条件(日時、人物又は場所を組み合わせて指定する)を満たす静止画像である。画像抽出条件はスタイル毎に予め規定されている。
【0040】
関連画像選択部233は、日時関連画像選択部233A、人物関連画像選択部233B及び場所関連画像選択部233Cを備える。
【0041】
日時関連画像選択部233Aは、素材データベース301に格納された静止画像群51から、キー画像の生成日時に関連する生成日時を有する静止画像群を選択(抽出)する。日時関連画像選択部233Aは、例えば、インデックス情報302Aに基づいて、キー画像の生成日時と同一の期間内(例えば、日、月、時期、季節、年等で指定される期間内)に生成された静止画像群を選択(抽出)する。また、日時関連画像選択部233Aは、例えば、インデックス情報302Aに基づいて、キー画像の生成日時とは別の期間内の同じ日、同じ週、同じ月等(例えば、1年前の同じ日や2年後の同じ月等)に生成された静止画像群を選択(抽出)する。
【0042】
人物関連画像選択部233Bは、素材データベース301に格納された静止画像群51から、キー顔画像(キー画像に含まれる顔画像)に関連する静止画像群51を選択(抽出する)する。キー顔画像に関連する静止画像群は、例えば、キー顔画像と同じ人物の顔画像を含む静止画像、キー顔画像に対応する人物に関連する別の人物の顔画像を含む静止画像、等を含む。キー顔画像に対応する人物に関連する別の人物には、例えば、キー顔画像と同じ静止画像内に含まれる人物等が含まれる。
【0043】
場所関連画像選択部233Cは、素材データベース301に格納された静止画像群51から、キー画像の生成場所に関連する生成場所で生成された静止画像群を選択(抽出)する。
【0044】
シナリオ決定部234は、作成対象の動画像(例えば、フォトムービー)のシナリオを決定する。シナリオは、例えば、作成対象の動画像シーケンス内の複数のチャプタ(タイムセグメント)において使用すべきエフェクト群と使用すべき静止画像群の属性とを示す情報(シナリオ情報)である。つまり、シナリオは、チャプタと称されるタイムセグメント毎にエフェクトと静止画像属性とを規定する。
【0045】
本実施形態においては、例えば、24種類のシナリオ情報がシナリオデータ303Cとして予めエフェクトデータベース303内に格納されている。シナリオ決定部234は、24種類のシナリオ情報の内の1つのシナリオ情報を、動画像(例えば、フォトムービー)の作成に使用するシナリオとして決定する。シナリオの決定は、ユーザによって選択されたスタイルに従って実行してもよい。つまり、選択されたスタイルに従って、使用すべきシナリオ情報が決定される。本実施形態では、例えば8種類のスタイル(Happy, Fantastic, Ceremonial, Cool, Travel, Party, Gallery, Biography)が予め用意されている。さらに、スタイル毎に、例えば3種類のシナリオ情報が予め用意されている。シナリオ決定部234は、例えば、ユーザによって選択されたスタイルに対応する3種類のシナリオ情報の内の任意の1つを自動的に選択し、その選択したシナリオ情報を作成対象の動画像(例えば、フォトムービー)のシナリオに決定する。また、ユーザがスタイルを選択する代わりに、シナリオ決定部234が、8種類のスタイル内の任意の1つを自動的に選択してもよい。この場合、使用するスタイルは、例えば、関連画像選択部233によって抽出された静止画像それぞれの特徴(例えば、登場人物数(顔画像数)、顔画像の笑顔度、等)に基づいて決定してもよい。
【0046】
上述のように、選択されたスタイルに対応する3種類のシナリオ情報の内の1つが作成対象の動画像(例えば、フォトムービー)のシナリオとして選択されるが、このシナリオの選択には、例えば、乱数を使用してもよい。これにより、たとえ同じスタイルが選択された場合でも、毎回異なるシナリオを使用してフォトムービーを作成できる。フォトムービーの作成に使用される静止画像群それぞれの属性は使用されるシナリオによって変わる。したがって、使用されるシナリオを変えることは、思いがけない静止画像を掘り起こしてユーザに見せることができる可能性を高めることを可能にし得る。
【0047】
さらに、シナリオ決定部234は、フォトムービーの作成に使用する音楽も決定する。本実施形態では、複数の音楽が音声データ303Bとしてエフェクトデータベース303に格納されている。シナリオ決定部234は、例えば、選択されたスタイルに応じて、または関連画像選択部233によって抽出された静止画像それぞれの特徴(例えば、登場人物数(顔画像数)に応じて、使用する音楽を決定する。なお、使用する音楽はユーザが指定するようにしてもよい。
【0048】
動画像生成部235は、決定されたシナリオ情報に基づいて、フォトムービーを生成する。この場合、動画像生成部235は、関連画像選択部233によって抽出された静止画像群から、シナリオ情報によって示される各チャプタの静止画像属性に合致する少なくとも1つの静止画像を抽出する。そして、動画像生成部235は、抽出された少なくとも1つの静止画像を各チャプタに割り当てることによって、フォトムービーを作成する。
【0049】
動画像再生部236は、シナリオ情報によって示される各チャプタに対応するエフェクトを各チャプタに割り当てられた静止画像に施すことによって、作成されたフォトムービーを再生する。
【0050】
なお、決定されたシナリオ情報は、スライドショーの作成に使用してもよい。この場合、動画像生成部235は、関連画像選択部233によって抽出された静止画像群から、シナリオ情報によって示される各チャプタの静止画像属性に合致する少なくとも1つの静止画像を抽出する。そして、動画像生成部235は、抽出された少なくとも1つの静止画像を各チャプタに割り当てることによってスライドショーを作成、つまり使用する静止画像それぞれとその再生タイミングを決定する。動画像再生部236は、作成されたフォトムービーを再生する。
【0051】
図5は、フォトムービー作成アプリケーション202によって表示されるメイン画面40の例を示す。メイン画面40は、例えば、「スタイル」ボタン401、「音楽」ボタン402、「主人公」ボタン403、「スタート」ボタン404、ムービー再生画面405、及び「カレンダー」ボタン406を備える。
【0052】
ムービー再生画面405は、生成されたフォトムービー又はスライドショーを表示するための画面である。ムービー再生画面405では、再生制御部23(動画像生成部235)によって生成されたフォトムービー又はスライドショーが順次再生され、表示される。図5においては、再生中のフォトムービー又はスライドショーの画像に、例えば、人物40A〜40Fが登場する例が示されている。
【0053】
フォトムービー又はスライドショーの再生中にムービー再生画面405がユーザによるポインティングデバイスの操作によってクリックされた時、フォトムービー作成アプリケーション202は、フォトムービー(スライドショー)の再生を一時停止し、現在再生中の画像をキー画像に決定する。現在再生中の画像が複数の静止画像を合成することによって生成された画像であるならば、フォトムービー作成アプリケーション202は、それら複数の静止画像の一つをキー画像に決定しても良い。もちろん、それら複数の静止画像の内、ユーザによってクリックされた静止画像をキー画像に決定しても良い。
【0054】
「主人公」ボタン403は、生成されるフォトムービー内で注目される人物(主人公)の選択を開始するためのボタンである。キー画像選択部231は、「主人公」ボタン403が押されたことに応答して、キー画像に登場する人物のリスト(顔画像選択画面)を表示する。ユーザは、例えば、ムービー再生画面405を用いてキー画像を選択した後に、「主人公」ボタン403を押して、キー顔画像の選択開始(すなわち、顔画像選択画面の表示)を指示する。
【0055】
図6は、キー顔画像を選択するための顔画像選択画面41の例を示す。顔画像選択画面41では、キー画像に含まれる顔画像のリスト(顔画像41A〜41D)が表示されている。キー画像選択部231は、キー画像に登場する人物40A〜40Fから、例えば、その人物が出現する静止画像数がしきい値以上である人物(例えば、人物40A〜40D)を選択し、その選択した人物に対応する顔画像41A〜41Dをムービー再生画面405上に表示する。
【0056】
ユーザは、顔画像選択画面41を用いて、顔画像41A〜41Dから注目する人物の顔画像(ここでは、顔画像41A)を選択する。キー画像選択部231は、選択された顔画像41Aをキー顔画像(主人公)に決定する。なお、選択される顔画像は複数であってもよい。また、顔画像選択画面41を用いて顔画像を選択する操作が行われないとき(例えば、「主人公」ボタン403が押されないとき)、キー画像選択部231は、キー画像に含まれる顔画像のうち、所定の条件を満たす顔画像をキー顔画像に選択してもよい。
【0057】
図5のメイン画面40上の「スタイル」ボタン401は、フォトムービーのスタイルの選択を開始するためのボタンである。フォトムービー作成アプリケーション202は、「スタイル」ボタン401が押されたことに応答して、スタイル選択画面を表示する。スタイル選択画面上には、上述の8種類のスタイル(Happy, Fantastic, Ceremonial, Cool, Travel, Party, Gallery, Biography)のリストが表示される。ユーザは、希望するスタイルを選択することができる。
【0058】
「音楽」ボタン402は、フォトムービーに用いられる音楽の選択を開始するためのボタンである。フォトムービー作成アプリケーション202は、「音楽」ボタン402が押されたことに応答して、音楽のリスト(音楽選択画面)を表示する。ユーザは、希望する音楽を選択することができる。
【0059】
「スタート」ボタン404は、フォトムービーの生成及び再生を開始するためのボタンである。フォトムービー作成アプリケーション202は、「スタート」ボタン404が押されたことに応答して、フォトムービーの作成を開始する。そして、フォトムービー作成アプリケーション202は、作成したフォトムービーを再生して、ムービー再生画面405に表示する。
【0060】
ここで、フォトムービーの再生操作の流れについて説明する。フォトムービーはキー画像(メイン画面40上に表示中の画像、またはカレンダー画面を用いて選択された画像)をベースに作成される。
<メイン画面40上に表示中の画像をキー画像に使用する例>
(1)スライドショー/フォトムービー再生中に、メイン画面40をクリック
(2)スタイルを選択(デフォルトはおまかせ)
(3)フォトムービーに使用する音楽を選択(デフォルトはおまかせ)
(4)注目する人物を選択(デフォルトはおまかせ。)
(5)「スタート」ボタン404をクリック
スタイル、音楽、注目する人物がすべておまかせで良い場合は、ユーザは、メイン画面40をクリックして、表示された「スタート」ボタン404をクリックするだけでよい。
【0061】
<カレンダー画面を用いて選択された画像をキー画像に使用する例>
(1)メイン画面40上の「カレンダー」ボタンをクリック
(2)ベースとする写真を撮影した日付を選択して、写真の一覧を表示
(3)写真の一覧からベースとする写真を選択し、「スタート」ボタン404をクリック
(4)メイン画面40上でスタイルを選択(デフォルトはおまかせ)
(5)メイン画面40上でフォトムービーに使用する音楽を選択(デフォルトはおまかせ)
(6)注目する人物を選択(デフォルトはおまかせ。)
(7)「スタート」ボタン404をクリック
次に、図7を参照して、フォトムービー作成処理の手順の概要について説明する。
フォトムービー作成アプリケーション202は、まず、インデックス情報に基づいて、キー画像(キー顔画像)に関連する静止画像群を素材データベース301から抽出(一次抽出)する(ブロックB101)。ブロックB101では、フォトムービー作成アプリケーション202は、例えば、選択された人物(主人公)に関連する静止画像群を素材データベース301から抽出する。
【0062】
次に、フォトムービー作成アプリケーション202は、フォトムービーの作成に用いるシナリオを選定する(ブロックB102)。ブロックB102では、フォトムービー作成アプリケーション202は、選択されたスタイルや、ブロックB101で抽出した静止画像群の特徴値等に応じて、予め用意された複数のシナリオ情報の一つを選択する。各シナリオ情報は、フォトムービーのシーケンスを構成する複数のチャプタ(シーン)において使用されるエフェクトの順番(エフェクト列)および静止画像群の属性(静止画像属性)とを規定する。図7では、フォトムービーのシーケンスが5つのチャプタ(チャプタ1、2、3、4、5)から構成される場合が想定されている。チャプタ1はフォトムービーのオープニングシーンであり、チャプタ5はフォトムービーのエンディングシーンである。各チャプタには、1以上のエフェクト(ここでは2つのエフェクト)が定義され、さらにエフェクト毎に静止画像属性が定義される。
【0063】
静止画属性としては、例えば、人物属性(顔属性)を使用してもよい。この人物属性としては、例えば、主人公(主役)、脇役、笑顔度、鮮明度、登場人数等を使用することができる。ここで、用語「主役」は、フォトムービーの主人公となるべき人物、つまり、注目すべき人物(顔)を意味する。例えば、上述のキー顔画像に対応する人物を、主役に決定してもよい。用語「脇役」は、主人公に関連する別の人物を意味する。例えば、主人公との共起頻度の高い人物(顔)を脇役に決定してもよい。人物属性は、複数の脇役を指定することもできる。主人公との共起頻度の高い複数の人物(顔)が脇役となり得る。静止画属性としては、人物属性のみならず、例えば、場所属性を使用してもよい。この場所属性は、使用する静止画像の撮影場所を指定する。
【0064】
図7のシナリオ情報1では、例えば、チャプタ1に2つのエフェクト(エフェクト#1、エフェクト#2)が規定されており、さらに、エフェクト#1には静止画属性「主人公」が、エフェクト#2には静止画属性「主人公 OR 脇役」が関連付けられている。静止画属性「主人公」は、主人公が登場する静止画像が使用されるべきであることを指定する。静止画属性「主人公 OR 脇役」は、主人公または脇役のいずれかが登場する静止画像が使用されるべきであることを指定する。静止画属性の他の幾つかの例は以下の通りである。
【0065】
チャプタ2のエフェクト#11に関連付けられた静止画属性「主人公、脇役」は、主人公と脇役の双方が登場する静止画像が使用されるべきであることを指定する。チャプタ3のエフェクト#6に関連付けられた静止画属性「脇役1、脇役2、脇役3」は、3人の脇役(脇役1、脇役2、脇役3)の全てが登場する静止画像が使用されるべきであることを指定する。チャプタ5のエフェクト#3に関連付けられた静止画属性「多人数、笑顔度高」は、閾値以上の人物が登場し且つ笑顔度の高い人物の頻度がある閾値以上である静止画像が使用されるべきであることを指定する。チャプタ5のエフェクト#4に関連付けられた静止画属性「主人公、笑顔度高」は、主人公が登場し、且つ主人公の笑顔度が閾値以上である静止画像が使用されるべきであることを指定する。このように、人物属性は、各チャプタに登場すべき人物が、主役、脇役、または主役および脇役の双方のいずれであるかを指定することができる。
【0066】
次いで、フォトムービー作成アプリケーション202は、ブロックB101で抽出した静止画像群から、選定されたシナリオ情報によって示される各チャプタの静止画属性に合致する1以上の静止画像をさらに抽出(本抽出)する(ブロックB103)。そして、フォトムービー作成アプリケーション202は、抽出された静止画像を各チャプタに割り当てることによってフォトムービーを作成し、作成されたフォトムービーを再生する(ブロックB104)。ブロックB104では、フォトムービー作成アプリケーション202は、シナリオ情報によって示される各チャプタに対応するエフェクトを、各チャプタに割り当てられた静止画像に施す。
【0067】
次に、図8のフローチャートを参照して、キー顔画像(主人公)選択処理の手順の例を説明する。
【0068】
フォトムービー作成アプリケーション202は、まず、キー画像(キー静止画像)に含まれる顔画像を検出する(ブロックB111)。次いで、フォトムービー作成アプリケーション202は、検出された顔画像の一つを主人公に決定する(ブロックB112)。ブロックB112では、フォトムービー作成アプリケーション202は、検出された顔画像のリスト(顔画像リスト)を表示し、この顔画像リストからユーザによって選択された顔画像に対応する人物を主人公に決定する。なお、キー画像に登場する人物が一人である場合には、顔画像リストを表示することなく、その人物を主人公に決定してもよい。
【0069】
次に、図9のフローチャートを参照して、フォトムービー作成処理の手順の例を説明する。「スタート」ボタン404が押されたことに応答して、フォトムービー作成アプリケーション202は、以下のフォトムービー作成処理を開始する。
【0070】
フォトムービー作成アプリケーション202は、まず、インデックス情報に基づいて、選択された人物の顔画像(主人公)が登場する静止画像群を、素材データベース301に格納されている静止画像群51から抽出する(ブロックB1)。次いで、フォトムービー作成アプリケーション202は、インデックス情報に基づいて、主人公に関連する別の人物が登場する静止画像群を、素材データベース301に格納されている静止画像群51から抽出する(ブロックB2)。主人公に関連する別の人物は、例えば、主人公と同じ静止画像内に含まれる別の各人物である。さらに、フォトムービー作成アプリケーション202は、キー静止画像が属するイベント(イベントグループ)内の静止画像群も、主人公に関連する静止画像群として抽出する(ブロックB3)。これらブロックB1〜B3の処理によって、図7のブロックB101の一次抽出処理が実行される。なお、一次抽出処理では、選択された人物の顔画像(主人公)が登場する静止画像群、主人公に関連する別の人物が登場する静止画像群に加え、選択されたスタイルに対応する画像抽出条件に合致する静止画像群もさらに抽出するようにしてもよい。
【0071】
次いで、フォトムービー作成アプリケーション202は、主人公に関連する少なくとも一人の人物を脇役として決定する(ブロックB4)。次いで、フォトムービー作成アプリケーション202は、各チャプタにおいて使用すべきエフェクトと使用すべき静止画像の属性とを示すシナリオを決定する(ブロックB5)。これらブロックB1〜B3の処理によって、図7のブロックB102のシナリオ選定処理が実行される。
【0072】
次いで、フォトムービー作成アプリケーション202は、各チャプタの静止画属性(人物属性、場所属性等)に従って、一次抽出された静止画像群から、例えば、主人公の顔画像をそれぞれ含む静止画像群、脇役の顔画像をそれぞれ含む静止画像群、主人公の顔画像と脇役の顔画像の双方をそれぞれ含む静止画像群、他の属性に合致する静止画像群、等を抽出する(ブロックB6)。これにより、各チャプタの静止画属性に合致する静止画像群が抽出される(本抽出)。
【0073】
次いで、フォトムービー作成アプリケーション202は、抽出された静止画像を各チャプタに割り当てることによってフォトムービーを作成する(ブロックB7)。そして、フォトムービー作成アプリケーション202は、シナリオ情報によって示される各チャプタに対応するエフェクトを各チャプタに割り当てられた静止画像に施すことによって、フォトムービーを再生する(ブロックB8)。
【0074】
次に、図10、図11を参照して、幾つかのエフェクトの例を説明する。
図10は、静止画像に登場する人物の顔画像を強調するためのエフェクトの例を示している。静止画像43では、人物43Aの顔画像に対して、人物43Aを強調するためのエフェクト43Bが施されている。エフェクト43Bは、顔画像を囲むイラスト(オブジェクト)を顔画像に重畳している。また、静止画像44では、人物44Aの顔画像にスポットを当てるためのエフェクト44Bが施されている。例えば、静止画像44において、人物44Aが主人公で、他の2人が脇役である場合、「脇役1」、「脇役2」、「主人公」という順でスポットを順次当てる3段階スポットライトのようなエフェクトを使用することも出来る。
【0075】
図11は、複数の静止画像の各々に登場する人物の顔画像にエフェクトが施される例を示す。画面47では、複数の静止画像から切り出された顔画像47A〜47Dが表示され、各顔画像が画面47上を移動するエフェクトが施されている。
【0076】
以上説明したように、本実施形態によれば、ある選択された人物(主人公)の顔画像をそれぞれ含む第1の静止画像群と、主人公に関連する第2の静止画像群であって主人公に関連する別の人物の顔画像を含む静止画像を少なくとも含む第2の静止画像群とが、複数の静止画像から抽出され、抽出された第1の静止画像群と抽出された第2の静止画像群とを用いて動画像が再生される。このように、ある選択された人物(主人公)の顔画像をベースに、その主人公に対する関連静止画像群を自動的に抽出することにより、思いがけない写真を掘り起こしてユーザに見せることが可能になる。また、チャプタ毎に、人物属性のような静止画像属性を規定するシナリオ情報を用いることにより、ストーリー性のある動画像を生成することが出来る。
【0077】
なお、本実施形態では、使用するエフェクト列と使用する静止画の属性とを指定するシナリオ情報を例示して説明したが、スライドショーを作成する場合には、使用する静止画の属性のみ指定するシナリオ情報を使用しても良い。また、スライドショーを作成する場合には、使用するエフェクトを指定する代わりに、使用するトランジションを指定するようにしてもよい。
【0078】
また、本実施形態の再生処理の手順は全てソフトウェアによって実行することができる。このため、再生処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
【0079】
また、図3に示した各部の機能は、例えば、専用LSI、DSPのようなハードウェアによって実現しても良い。
【0080】
また本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【0081】
109…HDD、202…動画像再生アプリケーションプログラム、21…監視部、22…インデキシング部、221…顔画像検出部、222…クラスタリング部、223…イベント検出部、224…インデックス情報生成部、23…再生制御部、231…キー画像選択部、232…カレンダー表示部、233…画像抽出部、233A…日時関連画像抽出部、233B…人物関連画像抽出部、233C…場所関連画像抽出部、234…シナリオ決定部、235…動画像生成部、236…動画像再生部、301…素材データベース、51…静止画像データ、302…素材情報データベース、302A…インデックス情報、303…エフェクトデータベース、303A…エフェクトデータ、303B…音声データ、303C…シナリオデータ。
【特許請求の範囲】
【請求項1】
複数の静止画像を分析し、前記複数の静止画像それぞれの属性を示すインデックス情報であって前記複数の静止画像に含まれる複数の顔画像の認識結果を含むインデックス情報を生成するインデキシング手段と、
前記インデックス情報に基づいて、選択された人物の顔画像をそれぞれ含む第1の静止画像群と、前記選択された人物に関連する第2の静止画像群であって前記選択された人物に関連する別の人物の顔画像を含む静止画像を少なくとも含む第2の静止画像群とを、前記複数の静止画像から抽出する抽出手段と、
前記抽出された第1の静止画像群と前記抽出された第2の静止画像群とを用いて動画像を再生する再生手段とを具備する電子機器。
【請求項2】
複数のタイムセグメントにおいて使用すべき静止画像群の属性を示すシナリオ情報を決定するシナリオ決定手段と、
前記抽出された第1の静止画像群と前記抽出された第2の静止画像群から、前記シナリオ情報によって示される各タイムセグメントに対応する属性に合致する少なくとも1つの静止画像を抽出し、前記抽出された少なくとも1つの静止画像を各タイムセグメントに割り当てることによって動画像を作成する動画像作成手段とをさらに具備し、
前記再生手段は、前記作成された動画像を再生する請求項1記載の電子機器。
【請求項3】
前記シナリオ情報は各タイムセグメントで使用すべきエフェクトを示す情報を含み、
前記再生手段は、前記シナリオ情報によって示される各タイムセグメントに対応するエフェクトを、各タイムセグメントに割り当てられた前記少なくとも1つの静止画像に施す請求項2記載の電子機器。
【請求項4】
複数のタイムセグメントにおいて使用すべき静止画像群を示すシナリオ情報であって、各タイムセグメントに登場すべき人物が、主役、脇役、または主役および脇役の双方のいずれであるかを指定する人物属性を含むシナリオ情報を決定するシナリオ決定手段と、
前記選択された人物を主役に決定すると共に、前記選択された人物に関連する別の人物の一人を脇役に決定し、前記抽出された第1の静止画像群と前記抽出された第2の静止画像群から、前記各タイムセグメントに対応する人物属性に合致する人物の顔画像を含む少なくとも1つの静止画像を抽出し、前記抽出された少なくとも1つの静止画像を各タイムセグメントに割り当てることによって前記動画像を作成する動画像作成手段とをさらに具備し、
前記再生手段は、前記作成された動画像を再生する請求項1記載の電子機器。
【請求項5】
前記シナリオ情報は各タイムセグメントで使用すべきエフェクトを示す情報を含み、
前記再生手段は、前記シナリオ情報によって示される各タイムセグメントに対応するエフェクトを、各タイムセグメントに割り当てられた前記少なくとも1つの静止画像に施す請求項4記載の電子機器。
【請求項6】
複数の静止画像を分析し、前記複数の静止画像それぞれの属性を示すインデックス情報であって前記複数の静止画像に含まれる複数の顔画像の認識結果を含むインデックス情報を生成するインデキシング手段と、
前記インデックス情報に基づいて、選択された人物の顔画像をそれぞれ含む第1の静止画像群と、前記選択された人物に関連する第2の静止画像群であって前記選択された人物に関連する別の人物の顔画像を含む静止画像を少なくとも含む第2の静止画像群とを、前記複数の静止画像から抽出する抽出手段と、
複数のタイムセグメントにおいて使用すべき静止画像群の属性を示すシナリオ情報を決定するシナリオ決定手段と、
前記抽出された第1の静止画像群と前記抽出された第2の静止画像群から、前記シナリオ情報によって示される各タイムセグメントに対応する属性に合致する少なくとも1つの静止画像を抽出し、前記抽出された少なくとも1つの静止画像を各タイムセグメントに割り当てることによって動画像を作成する動画像作成手段と、
前記作成された動画像を再生する再生手段とを具備する電子機器。
【請求項7】
前記使用すべき静止画像群の属性は、各タイムセグメントに登場すべき人物が、主役、脇役、または主役および脇役の双方のいずれであるかを指定する人物属性を含み、
前記動画像作成手段は、前記選択された人物を主役に決定すると共に、前記選択された人物に関連する別の人物の一人を脇役に決定し、前記各タイムセグメントに対応する人物属性に合致する人物の顔画像を含む少なくとも1つの静止画像を抽出し、前記抽出された少なくとも1つの静止画像を各タイムセグメントに割り当てることによって前記動画像を作成し、
前記再生手段は、前記作成された動画像を再生する請求項6記載の電子機器。
【請求項8】
複数の静止画像を分析し、前記複数の静止画像それぞれの属性を示すインデックス情報であって前記複数の静止画像に含まれる複数の顔画像の認識結果を含むインデックス情報を生成し、
前記インデックス情報に基づいて、選択された人物の顔画像をそれぞれ含む第1の静止画像群と、前記選択された人物に関連する第2の静止画像群であって前記選択された人物に関連する別の人物の顔画像を含む静止画像を少なくとも含む第2の静止画像群とを、前記複数の静止画像から抽出し、
前記抽出された第1の静止画像群と前記抽出された第2の静止画像群とを用いて動画像を再生する動画像再生方法。
【請求項9】
さらに、複数のタイムセグメントにおいて使用すべき静止画像群の属性を示すシナリオ情報を決定し、
前記抽出された第1の静止画像群と前記抽出された第2の静止画像群から、前記シナリオ情報によって示される各タイムセグメントに対応する属性に合致する少なくとも1つの静止画像を抽出し、
前記再生することは、抽出された少なくとも1つの静止画像を各タイムセグメントに割り当てることによって前記動画像を作成する請求項8記載の動画像再生方法。
【請求項1】
複数の静止画像を分析し、前記複数の静止画像それぞれの属性を示すインデックス情報であって前記複数の静止画像に含まれる複数の顔画像の認識結果を含むインデックス情報を生成するインデキシング手段と、
前記インデックス情報に基づいて、選択された人物の顔画像をそれぞれ含む第1の静止画像群と、前記選択された人物に関連する第2の静止画像群であって前記選択された人物に関連する別の人物の顔画像を含む静止画像を少なくとも含む第2の静止画像群とを、前記複数の静止画像から抽出する抽出手段と、
前記抽出された第1の静止画像群と前記抽出された第2の静止画像群とを用いて動画像を再生する再生手段とを具備する電子機器。
【請求項2】
複数のタイムセグメントにおいて使用すべき静止画像群の属性を示すシナリオ情報を決定するシナリオ決定手段と、
前記抽出された第1の静止画像群と前記抽出された第2の静止画像群から、前記シナリオ情報によって示される各タイムセグメントに対応する属性に合致する少なくとも1つの静止画像を抽出し、前記抽出された少なくとも1つの静止画像を各タイムセグメントに割り当てることによって動画像を作成する動画像作成手段とをさらに具備し、
前記再生手段は、前記作成された動画像を再生する請求項1記載の電子機器。
【請求項3】
前記シナリオ情報は各タイムセグメントで使用すべきエフェクトを示す情報を含み、
前記再生手段は、前記シナリオ情報によって示される各タイムセグメントに対応するエフェクトを、各タイムセグメントに割り当てられた前記少なくとも1つの静止画像に施す請求項2記載の電子機器。
【請求項4】
複数のタイムセグメントにおいて使用すべき静止画像群を示すシナリオ情報であって、各タイムセグメントに登場すべき人物が、主役、脇役、または主役および脇役の双方のいずれであるかを指定する人物属性を含むシナリオ情報を決定するシナリオ決定手段と、
前記選択された人物を主役に決定すると共に、前記選択された人物に関連する別の人物の一人を脇役に決定し、前記抽出された第1の静止画像群と前記抽出された第2の静止画像群から、前記各タイムセグメントに対応する人物属性に合致する人物の顔画像を含む少なくとも1つの静止画像を抽出し、前記抽出された少なくとも1つの静止画像を各タイムセグメントに割り当てることによって前記動画像を作成する動画像作成手段とをさらに具備し、
前記再生手段は、前記作成された動画像を再生する請求項1記載の電子機器。
【請求項5】
前記シナリオ情報は各タイムセグメントで使用すべきエフェクトを示す情報を含み、
前記再生手段は、前記シナリオ情報によって示される各タイムセグメントに対応するエフェクトを、各タイムセグメントに割り当てられた前記少なくとも1つの静止画像に施す請求項4記載の電子機器。
【請求項6】
複数の静止画像を分析し、前記複数の静止画像それぞれの属性を示すインデックス情報であって前記複数の静止画像に含まれる複数の顔画像の認識結果を含むインデックス情報を生成するインデキシング手段と、
前記インデックス情報に基づいて、選択された人物の顔画像をそれぞれ含む第1の静止画像群と、前記選択された人物に関連する第2の静止画像群であって前記選択された人物に関連する別の人物の顔画像を含む静止画像を少なくとも含む第2の静止画像群とを、前記複数の静止画像から抽出する抽出手段と、
複数のタイムセグメントにおいて使用すべき静止画像群の属性を示すシナリオ情報を決定するシナリオ決定手段と、
前記抽出された第1の静止画像群と前記抽出された第2の静止画像群から、前記シナリオ情報によって示される各タイムセグメントに対応する属性に合致する少なくとも1つの静止画像を抽出し、前記抽出された少なくとも1つの静止画像を各タイムセグメントに割り当てることによって動画像を作成する動画像作成手段と、
前記作成された動画像を再生する再生手段とを具備する電子機器。
【請求項7】
前記使用すべき静止画像群の属性は、各タイムセグメントに登場すべき人物が、主役、脇役、または主役および脇役の双方のいずれであるかを指定する人物属性を含み、
前記動画像作成手段は、前記選択された人物を主役に決定すると共に、前記選択された人物に関連する別の人物の一人を脇役に決定し、前記各タイムセグメントに対応する人物属性に合致する人物の顔画像を含む少なくとも1つの静止画像を抽出し、前記抽出された少なくとも1つの静止画像を各タイムセグメントに割り当てることによって前記動画像を作成し、
前記再生手段は、前記作成された動画像を再生する請求項6記載の電子機器。
【請求項8】
複数の静止画像を分析し、前記複数の静止画像それぞれの属性を示すインデックス情報であって前記複数の静止画像に含まれる複数の顔画像の認識結果を含むインデックス情報を生成し、
前記インデックス情報に基づいて、選択された人物の顔画像をそれぞれ含む第1の静止画像群と、前記選択された人物に関連する第2の静止画像群であって前記選択された人物に関連する別の人物の顔画像を含む静止画像を少なくとも含む第2の静止画像群とを、前記複数の静止画像から抽出し、
前記抽出された第1の静止画像群と前記抽出された第2の静止画像群とを用いて動画像を再生する動画像再生方法。
【請求項9】
さらに、複数のタイムセグメントにおいて使用すべき静止画像群の属性を示すシナリオ情報を決定し、
前記抽出された第1の静止画像群と前記抽出された第2の静止画像群から、前記シナリオ情報によって示される各タイムセグメントに対応する属性に合致する少なくとも1つの静止画像を抽出し、
前記再生することは、抽出された少なくとも1つの静止画像を各タイムセグメントに割り当てることによって前記動画像を作成する請求項8記載の動画像再生方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2012−4748(P2012−4748A)
【公開日】平成24年1月5日(2012.1.5)
【国際特許分類】
【出願番号】特願2010−136537(P2010−136537)
【出願日】平成22年6月15日(2010.6.15)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
【公開日】平成24年1月5日(2012.1.5)
【国際特許分類】
【出願日】平成22年6月15日(2010.6.15)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
[ Back to top ]