電子機器及び画像処理方法
【課題】 記念日にふさわしい静止画像等を含む動画をユーザに提示できる電子機器及び画像処理方法を提供すること。
【解決手段】 実施形態によれば、電子機器は、記念日設定手段、画像設定手段、画像抽出手段、及び画像表示手段を具備する。記念日設定手段は入力された日付を記念日に設定する。画像設定手段は、ユーザによって指定された一枚の静止画像を前記記念日に関連付ける。画像抽出手段は、現在の日付が前記記念日を含む所定の期間内であるとき、複数の静止画像から前記一枚の静止画像に関連する静止画像を抽出する。画像表示手段は、前記一枚の静止画像と前記抽出された静止画像とを用いた動画像を表示する。
【解決手段】 実施形態によれば、電子機器は、記念日設定手段、画像設定手段、画像抽出手段、及び画像表示手段を具備する。記念日設定手段は入力された日付を記念日に設定する。画像設定手段は、ユーザによって指定された一枚の静止画像を前記記念日に関連付ける。画像抽出手段は、現在の日付が前記記念日を含む所定の期間内であるとき、複数の静止画像から前記一枚の静止画像に関連する静止画像を抽出する。画像表示手段は、前記一枚の静止画像と前記抽出された静止画像とを用いた動画像を表示する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、画像を表示する電子機器及び該機器に適用される画像処理方法に関する。
【背景技術】
【0002】
近年、パーソナルコンピュータ、デジタルカメラ、PDAのような様々な電子機器が普及している。このような電子機器は、例えば写真のような静止画像を管理する機能を有している。画像管理方法としては、例えば、写真に付加された撮影日時データに基づいて、写真を複数のグループに分類する方法が知られている。
【0003】
また、最近では、写真のような静止画像群を用いた動画像(例えば、フォトムービーやスライドショー)を作成する動画作成技術が注目されている。動画作成技術としては、例えば、複数の静止画像から指定された日付に対応する撮影日時データを有する静止画像を選択し、選択した静止画像を順番に表示する技術が知られている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−173984号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、指定された日付に対応する静止画像を表示する方法では、表示される静止画像は、その指定された日付に対応する撮影日時データを有する静止画像に限定される。したがって、例えば、同一の日付に撮影されていないものの関連性が高い静止画像や、思いがけない静止画像(ユーザが意識していない静止画像)等を含む動画をユーザに提示することは困難である。記念日は、特定のイベントや特定の人物に関連するものであることが多いため、記念日にふさわしい静止画像等を含む動画を提示することができない。
【0006】
本発明は、記念日にふさわしい静止画像等を含む動画をユーザに提示できる電子機器及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
実施形態によれば、電子機器は、記念日設定手段、画像設定手段、画像抽出手段、及び画像表示手段を具備する。記念日設定手段は入力された日付を記念日に設定する。画像設定手段は、ユーザによって指定された一枚の静止画像を前記記念日に関連付ける。画像抽出手段は、現在の日付が前記記念日を含む所定の期間内であるとき、複数の静止画像から前記一枚の静止画像に関連する静止画像を抽出する。画像表示手段は、前記一枚の静止画像と前記抽出された静止画像とを用いた動画像を表示する。
【図面の簡単な説明】
【0008】
【図1】実施形態に係る電子機器の外観を示す斜視図。
【図2】同実施形態の電子機器のシステム構成を示すブロック図。
【図3】同実施形態の電子機器によって実行されるフォトムービー作成アプリケーションプログラムの機能構成を示すブロック図。
【図4】同実施形態の電子機器によって実行されるフォトムービー作成アプリケーションプログラムが用いるインデックス情報の例を示す図。
【図5】同実施形態の電子機器によって実行されるフォトムービー作成アプリケーションプログラムが用いる記念日データの例を示す図。
【図6】同実施形態の電子機器によって表示される記念日設定画面の例を示す図。
【図7】同実施形態の電子機器によって表示される記念日設定画面の別の例を示す図。
【図8】同実施形態の電子機器によって表示される記念日設定画面の他の例を示す図。
【図9】同実施形態の電子機器によって実行されるインデキシング処理の手順の例を示すフローチャート。
【図10】同実施形態の電子機器によって実行される記念日設定処理の手順の例を示すフローチャート。
【図11】同実施形態の電子機器によって実行される動画像再生処理の手順の例を示すフローチャート。
【発明を実施するための形態】
【0009】
以下、実施の形態について図面を参照して説明する。
【0010】
図1は、実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えばノートブックタイプのパーソナルコンピュータ10として実現されている。図1に示すように、本コンピュータ10は、コンピュータ本体11と、ディスプレイユニット12とから構成されている。ディスプレイユニット12には、LCD(liquid crystal display)17が組み込まれている。ディスプレイユニット12は、コンピュータ本体11の上面が露出される開放位置とコンピュータ本体11の上面を覆う閉塞位置との間を回動自在にコンピュータ本体11に取り付けられている。
【0011】
コンピュータ本体11は、薄い箱形の筐体を有しており、その上面には、キーボード13、本コンピュータ10を電源オン/電源オフするためのパワーボタン14、入力操作パネル15、タッチパッド16、スピーカ18A,18Bなどが配置されている。入力操作パネル15上には、各種操作ボタンが設けられている。
【0012】
また、コンピュータ本体11の右側面には、例えばUSB(universal serial bus)2.0規格のUSBケーブルやUSBデバイスを接続するためのUSBコネクタ19が設けられている。
【0013】
図2は、本コンピュータ10のシステム構成を示す図である。
本コンピュータ10は、図2に示されているように、CPU(central processing unit)101、ノースブリッジ102、主メモリ103、サウスブリッジ104、GPU(Graphics Processing Unit)105、VRAM(ビデオRAM:random access memory)105A、サウンドコントローラ106、BIOS−ROM(basic input/output system-read only memory)107、LAN(local area network)コントローラ108、ハードディスクドライブ(HDD)109、光ディスクドライブ(ODD)110、USBコントローラ111A、カードコントローラ111B、無線LANコントローラ112、エンベデッドコントローラ/キーボードコントローラ(EC/KBC)113、EEPROM(electrically erasable programmable ROM)114等を備える。
【0014】
CPU101は、本コンピュータ10内の各部の動作を制御するプロセッサである。CPU101は、HDD109から主メモリ103にロードされる、オペレーティングシステム(OS)201、及びフォトムービー作成アプリケーションプログラム202のような各種アプリケーションプログラムを実行する。フォトムービー作成アプリケーションプログラム202は、例えばHDD109等に格納された各種デジタルコンテンツデータ(例えば、フォトムービー)を再生するソフトウェアである。このフォトムービー作成アプリケーションプログラム202は、動画像生成機能を有している。この動画像生成機能は、例えば、HDD109等に格納された写真等の素材(デジタルコンテンツ)を用いて、合成動画(動画像)を作成する機能である。さらに、この動画像生成機能は、動画像に用いる素材を分析する機能を含む。フォトムービー作成アプリケーションプログラム202は、素材を用いて作成された動画像を再生し、画面(LCD17)に表示する。
【0015】
また、CPU101は、BIOS−ROM107に格納されたBIOSも実行する。BIOSは、ハードウェア制御のためのプログラムである。
【0016】
ノースブリッジ102は、CPU101のローカルバスとサウスブリッジ104との間を接続するブリッジデバイスである。ノースブリッジ102には、主メモリ103をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ102は、例えば、PCI EXPRESS規格のシリアルバスなどを介してGPU105との通信を実行する機能も有している。
【0017】
GPU105は、本コンピュータ10のディスプレイモニタとして使用されるLCD17を制御する表示コントローラである。このGPU105によって生成される表示信号はLCD17に送られる。
【0018】
サウスブリッジ104は、PCI(Peripheral Component Interconnect)バス上の各デバイス及びLPC(Low Pin Count)バス上の各デバイスを制御する。また、サウスブリッジ104は、HDD109及びODD110を制御するためのIDE(Integrated Drive Electronics)コントローラを内蔵している。さらに、サウスブリッジ104は、サウンドコントローラ106との通信を実行する機能も有している。
【0019】
サウンドコントローラ106は音源デバイスであり、再生対象のオーディオデータをスピーカ18A,18Bに出力する。LANコントローラ108は、例えばIEEE 802.3規格の有線通信を実行する有線通信デバイスであり、一方、無線LANコントローラ112は、例えばIEEE 802.11g規格の無線通信を実行する無線通信デバイスである。USBコントローラ111Aは、(USBコネクタ19を介して接続される)例えばUSB 2.0規格に対応した外部機器との通信を実行する。例えば、USBコントローラ111Aは、例えば、デジタルカメラに格納されている画像データファイルを受信するために使用される。カードコントローラ111Bは、コンピュータ本体11に設けられたカードスロットに挿入される、SDカードのようなメモリカードに対するデータの書き込み及び読み出しを実行する。
【0020】
EC/KBC113は、電力管理のためのエンベデッドコントローラと、キーボード13及びタッチパッド16を制御するためのキーボードコントローラとが集積された1チップマイクロコンピュータである。EC/KBC113は、ユーザによるパワーボタン14の操作に応じて本コンピュータ10を電源オン/電源オフする機能を有している。
【0021】
次いで、図3を参照して、フォトムービー作成アプリケーションプログラム202の一機能構成を説明する。ここでは、フォトムービー作成アプリケーションプログラム202が有する機能のうち、動画像生成機能を実現するための構成例について説明する。この動画像生成機能は、HDD109内の所定のディレクトリ(素材データベース301)に格納された複数の静止画像(静止画像データ)51を用いて動画像(フォトムービー、スライドショー)を作成し、その作成した動画像を再生する。静止画像51は、例えば、デジタル写真、他の各種静止画像ファイル(JPEGファイル)等である。用語「フォトムービー」は複数の静止画像(例えば写真)を用いて生成される動画像(ムービー)を意味する。フォトムービーの再生においては、静止画像群には様々なエフェクト又はトランジションが施される。エフェクト又はトランジションが施された静止画像群は音楽と一緒に再生される。フォトムービー作成アプリケーションプログラム202は、ある静止画像(キー画像)に関連する静止画像群を自動的に抽出し、抽出された静止画像群を用いてフォトムービーを作成および再生することができる。また、フォトムービー作成アプリケーションプログラム202は、抽出された静止画像群を用いてスライドショーを作成及び再生することもできる。用語「スライドショー」は静止画像を1枚ずつ順次表示する動画像(ムービー)を意味する。
【0022】
フォトムービー作成アプリケーションプログラム202は、ユーザが設定したHDD109内のフォルダ(写真フォルダ)を監視し、1以上の新しい静止画像(写真ファイル)が写真フォルダに格納されたことを感知すると、それら1以上の新しい静止画像に対するインデキシングを行う。
【0023】
フォトムービーの作成は、例えば1枚の静止画像(キー画像)を基に行われる。つまり、キー画像に関連する静止画像群が自動抽出され、抽出された静止画像群を用いてフォトムービーが作成される。フォトムービーの作成条件として、スタイル、音楽、注目する人物(顔)の各々を選択指定することができる。選択したスタイルに応じて、使用される静止画像の抽出方法、使用されるエフェクト/トランジション等が決定される。従来では、ムービーの作成に使用する写真はユーザによって指定されるが、フォトムービー作成アプリケーションプログラム202は、写真フォルダ内の全ての静止画像から、使用する写真群を自動抽出する。これにより、思いがけない写真を掘り起こしてユーザに見せることができる。
【0024】
抽出処理では、顔画像の笑顔度、顔画像の鮮明度等に従って、より写りの良い写真を抽出してもよい。また、顔クラスタリングによって各顔画像に対応する人物を認識し、例えば、選択された人物の顔画像を含む写真群、選択された人物に関連する別の人物の顔画像を含む写真群などを抽出してもよい。
【0025】
また、フォトムービー作成アプリケーションプログラム202は、記念日を設定して、現在の日付が、設定された記念日を含む所定の期間内であるときに、その記念日に適した動画像を再生する機能を有する。つまり、フォトムービー作成アプリケーションプログラム202は、予め登録された記念日(又は記念日を含む期間内)に、その記念日に適したスライドショーやフォトムービーを自動的に表示することができる。これにより、ユーザに記念日が近づいていることを知らせることや、記念日を盛り上げる動画像をユーザに提供することができる。
【0026】
フォトムービー作成アプリケーションプログラム202は、監視部21、インデキシング部22、記念日設定制御部23、及び再生制御部24を備える。
【0027】
監視部21は、HDD109内の素材データベース301を常時監視し、新たな静止画像51が例えばUSBコントローラ111A、カードコントローラ111B等のインタフェース部を介して素材データベース301に格納されたか否かを判定する。素材データベース301は、HDD109内の所定のディレクトリ(上述の写真フォルダ)に相当する。素材データベース301に格納された静止画像51は、合成動画(フォトムービー、スライドショー)の素材候補として用いられる。素材データベース301には、静止画像51のみならず、例えばショートムービーのような動画像を素材候補として格納してもよい。監視部21は、新たな静止画像51がHDD109に格納されたことをインデキシング部22に通知する。
【0028】
インデキシング部22は、監視部21からの通知に応答して、素材データベース301内の複数の静止画像51を分析し、それら複数の静止画像51それぞれの属性を示すインデックス情報302Aを生成する。インデキシング部22によるインデキシングは、例えば、1以上の新しい静止画像(写真ファイル)が素材データベース301に格納されたことをトリガに開始される。つまり、素材データベース301に1以上の新たな静止画像が格納されたときに、インデキシング部22は、その新しい静止画像に対応するインデックス情報302Aを生成する。
【0029】
インデキシング部22は顔認識機能を有している。インデックス情報302Aには、複数の静止画像51に含まれる複数の顔画像それぞれの認識結果も含まれている。
【0030】
インデキシング部22は、顔画像検出部221、クラスタリング部222及びインデックス情報生成部223を備える。
顔画像検出部221は、インデキシング対象の静止画像51(例えば、写真フォルダに新たに格納された静止画像)から顔画像を検出する。顔画像は、例えば、その静止画像51の特徴を解析し、予め用意された顔画像特徴サンプルと類似する特徴を有する領域を探索することによって検出することができる。顔画像特徴サンプルは、多数の人物それぞれの顔画像特徴を統計的に処理することによって得られた特徴データである。顔検出処理により、静止画像51に含まれる顔画像に対応する領域が検出され、当該領域の位置(座標)及びサイズが検出される。
【0031】
また、顔画像検出部221は検出した顔画像を分析する。顔画像検出部221は、例えば、検出した顔画像の笑顔度、鮮明度、正面度等を算出する。笑顔度は、検出した顔画像が笑顔である度合いを示す指標である。鮮明度は、検出した顔画像が鮮明である(例えば、ぼけがない)度合いを示す指標である。また、正面度は、検出した顔画像が正面を向いている度合いを示す指標である。
顔画像検出部221は、検出した顔画像を示す情報をクラスタリング部222に出力する。
【0032】
クラスタリング部222は、検出した顔画像に対してクラスタリング処理を施すことにより、検出した顔画像を人物毎に分類する。クラスタリング部222は、処理結果に基づいて、顔画像に対応する人物の識別情報(人物ID)を付与する。クラスタリング部222は、顔画像検出部221によって検出された顔画像を示す情報と、顔画像の属性(笑顔度、鮮明度、正面度、人物ID)を示す情報とをインデックス情報生成部223に出力する。
【0033】
インデックス情報生成部223は、顔画像検出部221及びクラスタリング部222による処理結果に基づいて、インデックス情報302Aを生成する。そして、インデックス情報生成部223は、生成したインデックス情報302Aを素材情報データベース302に格納する。
【0034】
図4は、インデックス情報302Aの一構成例を示す。インデックス情報302Aは、複数の静止画像51にそれぞれ対応する複数のエントリを含む。各エントリは、例えば、画像ID、生成日時(撮影日時)、顔画像情報を含む。ある静止画像に対応するエントリにおいて、「画像ID」は、その静止画像に固有の識別情報を示す。「生成日時」は、その静止画像が生成された日時(撮影された日時)を示す。「生成日時」には、例えば、その静止画像データに付加されている情報が用いられる。「顔画像情報」は、例えば、顔画像(例えば、顔画像に対応するデータの格納場所)、人物ID、位置、サイズ、笑顔度、鮮明度、及び正面度を含む。なお、静止画像51に複数の顔画像が含まれるとき、インデックス情報302Aは、複数の顔画像の各々に対応する顔画像情報を含む。また、インデックス情報302Aは、静止画像が生成された場所を示す情報を含んでもよい。
以上の構成により、インデキシング部22は、インデキシング対象の静止画像51に対応するインデックス情報302Aを生成し、素材情報データベース302に格納することができる。
【0035】
記念日設定制御部23は入力された日付を記念日に設定する。また、記念日設定制御部23は、インデキシング部22(インデックス情報生成部223)によって生成されたインデックス情報302Aを利用して、ユーザによって指定された一枚の静止画像や人物(主人公)を記念日に関連付ける。記念日設定制御部23は、記念日設定部231、カレンダー表示部232及び画像一覧表示部233を備える。
【0036】
記念日設定部231は、記念日を設定するための記念日設定画面をLCD17に表示する。また、記念日設定部231は、設定された記念日を示す記念日データ303Aを記念日データベース303に格納する。記念日設定部231は、例えば、ユーザによって指定された記念日を示す記念日データ303Aを記念日データベース303に格納する。
【0037】
カレンダー表示部232は、記念日の日付を選択するためのカレンダー画面を表示する。記念日設定部231は、カレンダー画面を用いて選択された日付を記念日に設定する。
【0038】
また、画像一覧表示部233は、記念日に適した静止画像を選択するための写真選択画面を表示する。画像一覧表示部233は、例えば、素材データベース301に格納された静止画像(静止画像データ)51の一覧を含む写真選択画面を表示する。記念日設定部231は、写真選択画面を用いて選択された静止画像を記念日に関連付ける。また、画像一覧表示部233は、例えば、素材データベース301に格納された静止画像51に登場する人物の顔画像の一覧を含む写真選択画面を表示することもできる。記念日設定部231は、写真選択画面を用いて選択された人物(主人公)を記念日に関連付ける。
【0039】
図5は、記念日データ303Aの一構成例を示す。記念日データ303Aは、複数の記念日にそれぞれ対応する複数のエントリを含む。各エントリは、例えば、記念日ID、記念日、記念日名、画像ID、人物IDを含む。ある記念日に対応するエントリにおいて、「記念日ID」は、その記念日に固有の識別情報を示す。「記念日」は、その記念日の日付を示す。「記念日」には例えば月と日とが設定される(例えば、10月21日)。なお、「記念日」に年月日が設定されてもよい(例えば、2002年3月5日)。「記念日名」は、その記念日の名称を示す。「記念日名」には、例えば、「○○の誕生日」、「結婚記念日」、「クリスマス」等が設定される。「画像ID」は、その記念日に関連付けられた画像の画像IDを示す。「人物ID」は、その記念日に関連付けられた人物(主人公)の人物IDを示す。
【0040】
また、図6から図8は、記念日を示す情報を設定するための画面の例を示す。
図6は、記念日設定画面41と写真選択画面42,43とを用いて、記念日を示す情報を設定する例を示す。図6に示す例では、まず、記念日設定部231によって記念日設定画面41が表示されている。記念日設定画面41は、記念日名入力エリア411、記念日入力エリア412、写真表示エリア413、画像参照ボタン414、「OK」ボタン416等を備える。記念日名入力エリア411は、記念日の名称を入力するためのエリアである。記念日入力エリア412は、記念日の日付を入力するためのエリアである。写真表示エリア413は、記念日に関連付ける画像をプレビュー表示するためのエリアである。画像参照ボタン414は、写真選択画面42の表示を指示するためのボタンである。「OK」ボタン416は、記念日の設定の完了を指示するためのボタンである。
【0041】
ユーザは、記念日設定画面41を用いて記念日を示す情報を入力する。具体的には、ユーザは、記念日名入力エリア411に記念日の名称を入力する。また、ユーザは、記念日入力エリア412に記念日の日付(例えば、10月1日)を入力する。次いで、ユーザは、画像参照ボタン414を押すことによって、写真選択画面42の表示を指示する。画像一覧表示部233は、画像参照ボタン414が押されたことに応答して写真選択画面42を表示する。
【0042】
写真選択画面42は、画像一覧表示エリア421及び「OK」ボタン422を備える。画像一覧表示エリア421は、記念日に関連付けられる画像の候補を示すサムネイル画像の一覧を表示するためのエリアである。「OK」ボタン422は、画像の選択の完了を指示するためのボタンである。
【0043】
画像一覧表示部233は、記念日入力エリア412(記念日設定画面41)に記念日の日付が既に入力されているとき、その日付に対応する日付情報を有する静止画像(サムネイル画像)の一覧を含む写真選択画面42を表示する。例えば、記念日入力エリア412に「10月1日」の日付が入力されているとき、画像一覧表示部233は、素材データベース301に格納された複数の静止画像51のうち、「10月1日」の日付情報、又は「10月1日」に近い日付の日付情報を有する静止画像を抽出する。そして、画像一覧表示部233は、抽出した静止画像を示すサムネイル画像の一覧を画像一覧表示エリア421に表示する。抽出した静止画像を示すサムネイル画像の一覧は、例えば一年毎に表示される。例えば、図6の画像一覧表示エリア421(写真選択画面42)では、「2009年10月1日」、「2009年9月30日」及び「2009年9月29日」の日付情報を有する画像の一覧が表示されている。
【0044】
画像一覧表示エリア421では、一度に表示できるサムネイル画像の枚数が限られているため、画像一覧表示エリア421の左端に配置されたスクロールボタン423Aと右端に配置されたスクロールボタン423Bとを用いて、当該エリア421に表示されるサムネイル画像をスクロールすることができる。画像一覧表示部233は、例えば、スクロールボタン423Aが押されたことに応答して、現在表示されている画像に対応する年の前年に撮影(生成)された画像の一覧を画像一覧表示エリア421に表示する。また、画像一覧表示部233は、例えば、スクロールボタン423Bが押されたことに応答して、現在表示されている画像に対応する年の翌年に撮影(生成)された画像の一覧を画像一覧表示エリア421に表示する。図6の例では、スクロールボタン423Bが押されたことに応答して、写真選択画面42から写真選択画面43に遷移する。つまり、画像一覧表示部233は、スクロールボタン423Bが押されたことに応答して、「2008年10月1日」及び「2008年9月30日」の日付情報を有する画像の一覧が表示された画像一覧表示エリア431を含む写真選択画面43を表示する。なお、画像一覧表示部233は、スクロールボタン423A,423Bが押されたことに応じて、同じ年に撮影された別の画像をスクロール表示してもよい。
【0045】
ユーザは、写真選択画面42を用いて記念日に関連付ける静止画像を選択する。具体的には、ユーザは、画像一覧表示エリア421に表示された複数の静止画像から、記念日に関連付ける一枚の画像421Aを選択する。選択される静止画像は、記念日を代表する静止画像であり、例えば、記念日の主人公を含む写真である。ユーザは、記念日に関連付ける一枚の画像421Aを選択した後、「OK」ボタン422を押すことによって画像の選択の完了を指示する。画像一覧表示部233は、「OK」ボタン422が押されたことに応答して、選択された画像421Aに対応する画像IDを記念日設定部231に出力する。
【0046】
記念日設定部231は、画像一覧表示部233によって出力された画像IDに基づいて、選択された画像を写真表示エリア413にプレビュー表示する。ユーザは、記念日設定画面41を用いて記念日の設定に必要な情報を入力した後、「OK」ボタン416を押すことによって入力の完了を指示する。記念日設定部231は、「OK」ボタン416が押されたことに応答して、入力された情報に基づく記念日データ303Aを生成する。つまり、記念日設定部231は、記念日名入力エリア411に入力された記念日名と、記念日入力エリア412に入力された記念日の日付と、記念日に関連付けられた静止画像421A(画像ID)とを含む記念日データ303Aを生成する。これにより、ユーザによって選択された一枚の静止画像421Aが記念日に関連付けられる。記念日設定部231は、生成した記念日データ303Aを記念日データベース303に格納する。
【0047】
次いで、図7は、記念日設定画面41と写真選択画面44とを用いて、記念日を示す情報を設定する別の例を示す。図7に示す記念日設定画面41及び写真選択画面44は、図6に示す記念日設定画面41及び写真選択画面42とそれぞれ同様の構成を有する。
【0048】
ユーザは、記念日設定画面41を用いて記念日を示す情報を入力する。具体的には、ユーザは、記念日名入力エリア411に記念日の名称を入力する。次いで、ユーザは、画像参照ボタン414を押すことによって、写真選択画面42の表示を指示する。画像一覧表示部233は、画像参照ボタン414が押されたことに応答して写真選択画面44を表示する。
【0049】
画像一覧表示部233は、記念日入力エリア412(記念日設定画面41)に記念日の日付が入力されていないとき、所定の画像(サムネイル画像)の一覧(例えば、現在の日付に対応する日付情報を有する画像の一覧)を画像一覧表示エリア441に表示する。例えば、現在の日付が「10月10日」であるとき、画像一覧表示部233は、素材データベース301に格納された複数の静止画像51のうち、「10月10日」の日付情報、又は「10月10日」に近い日付の日付情報を有する静止画像を抽出する。そして、画像一覧表示部233は、抽出した静止画像を示すサムネイル画像の一覧を画像一覧表示エリア441に表示する。抽出した静止画像を示すサムネイル画像の一覧は、例えば一年毎に表示される。例えば、図7の画像一覧表示エリア441(写真選択画面44)では、「2010年10月10日」、「2010年10月9日」、「2010年10月2日」、及び「2010年9月30日」の日付情報を有する画像の一覧が表示されている。
【0050】
ユーザは、写真選択画面44を用いて、設定したい記念日を表す画像を選択する。具体的には、ユーザは、画像一覧表示エリア421に表示された複数の画像から、設定したい記念日を表す一枚の画像441Aを選択する。選択される画像は、設定したい記念日を代表する画像であり、例えば、設定したい記念日の主人公を含む写真である。ユーザは、記念日を表す一枚の画像441Aを選択した後、「OK」ボタン442を押すことによって画像の選択の完了を指示する。画像一覧表示部233は、「OK」ボタン442が押されたことに応答して、選択された画像441Aに対応する画像IDを記念日設定部231に出力する。
【0051】
記念日設定部231は、画像一覧表示部233によって出力された画像IDに基づいて、選択された画像441Aに対応する日付を記念日入力エリア412に設定(表示)する。選択された画像441Aに対応する日付は、例えば、その画像が撮影された日付やその画像が生成された日付等である。図7に示す記念日設定画面41では、写真選択画面44を用いて選択された画像441Aに対応する日付「9月30日」が記念日入力エリア412に設定されている。また、記念日設定部231は、画像一覧表示部233によって出力された画像IDに基づいて、選択された画像441Aを写真表示エリア413にプレビュー表示する。なお、ユーザは、選択された画像441Aに基づいて記念日入力エリア412に設定された日付を変更することもできる。ユーザは、記念日設定画面41を用いて記念日の設定に必要な情報を入力した後、「OK」ボタン416を押すことによって入力の完了を指示する。記念日設定部231は、「OK」ボタン416が押されたことに応答して、入力された情報に基づく記念日データ303Aを生成する。つまり、記念日設定部231は、記念日名入力エリア411に入力された記念日名と、記念日入力エリア412に入力された記念日の日付と、記念日に関連付けられた静止画像441A(画像ID)とを含む記念日データ303Aを生成する。これにより、ユーザによって選択された一枚の静止画像441Aが記念日に関連付けられる。そして、記念日設定部231は、生成した記念日データ303Aを記念日データベース303に格納する。
【0052】
また、図8は、記念日設定画面41、カレンダー画面45及び写真選択画面46を用いて、記念日を示す情報を設定する例を示す。図8に示す記念日設定画面41は、カレンダー表示ボタン415をさらに備える。また、写真選択画面46は、図6に示す写真選択画面42と同様の構成を有する。
【0053】
ユーザは、記念日設定画面41を用いて記念日を示す情報を入力する。具体的には、ユーザは、記念日名入力エリア411に記念日の名称を入力する。次いで、ユーザは、カレンダー表示ボタン415を押すことによって、カレンダー画面45の表示を指示する。カレンダー表示部232は、カレンダー表示ボタン415が押されたことに応答してカレンダー画面45を表示する。
【0054】
カレンダー画面45は、カレンダー表示エリア451とスクロールボタン452A,452Bとを備える。カレンダー表示エリア451は、指定された月に対応するカレンダーを表示するためのエリアである。スクロールボタン452A,452Bは、表示される月毎のカレンダーのスクロールを指示するためのボタンである。
【0055】
カレンダー表示部232は、所定の月のカレンダー(例えば、現在の日付に応じたカレンダー)を含むカレンダー画面45を表示する。例えば、現在の日付が「10月1日」であるとき、カレンダー表示部232は「10月」のカレンダーを含むカレンダー画面45を表示する。
【0056】
ユーザは、カレンダー画面45を用いて記念日に設定したい日付を選択する。カレンダー表示部232は、選択された日付を示す情報(例えば、「10月27日」)を記念日設定部231及び画像一覧表示部233に出力する。なお、ユーザは、スクロールボタン452A,452Bを押すことによって、それぞれ前月及び翌月のカレンダーの表示を指示することもできる。カレンダー表示部232は、スクロールボタン452Aが押されたことに応答して、現在表示されているカレンダーの前月のカレンダーをカレンダー表示エリア451に表示する。また、カレンダー表示部232は、スクロールボタン452Bが押されたことに応答して、現在表示されているカレンダーの翌月のカレンダーをカレンダー表示エリア451に表示する。
【0057】
画像一覧表示部233は、カレンダー表示部232によって出力された日付を示す情報に基づいて、その日付に対応する日付情報を有する画像(サムネイル画像)の一覧を含む写真選択画面46を表示する。例えば、カレンダー表示部232によって「10月27日」の日付が出力されたとき、画像一覧表示部233は、素材データベース301に格納された複数の静止画像51のうち、「10月27日」の日付情報、又は「10月27日」に近い日付の日付情報を有する静止画像を抽出する。そして、画像一覧表示部233は、抽出した静止画像を示すサムネイル画像の一覧を画像一覧表示エリア461に表示する。抽出した静止画像を示すサムネイル画像の一覧は、例えば一年毎に表示される。例えば、図8の画像一覧表示エリア461(写真選択画面46)では、「2009年10月27日」及び「2009年10月26日」の日付情報を有する画像の一覧が表示されている。
【0058】
ユーザは、写真選択画面46を用いて記念日に関連付ける画像を選択する。具体的には、ユーザは、画像一覧表示エリア461に表示された複数の画像から、記念日に関連付ける一枚の静止画像461Aを選択する。選択される画像は、記念日を代表する画像であり、例えば、記念日の主人公を含む写真である。ユーザは、記念日に関連付ける一枚の静止画像461Aを選択した後、「OK」ボタン462を押すことによって画像の選択の完了を指示する。画像一覧表示部233は、「OK」ボタン462が押されたことに応答して、選択された静止画像461Aに対応する画像IDを記念日設定部231に出力する。
【0059】
記念日設定部231は、画像一覧表示部233によって出力された画像IDに基づいて、選択された画像を写真表示エリア413にプレビュー表示する。ユーザは、記念日設定画面41を用いて記念日の設定に必要な情報を入力した後、「OK」ボタン416を押すことによって入力の完了を指示する。記念日設定部231は、「OK」ボタン416が押されたことに応答して、入力された情報に基づく記念日データ303Aを生成する。つまり、記念日設定部231は、記念日名入力エリア411に入力された記念日名と、記念日入力エリア412に入力された記念日の日付と、記念日に関連付けられた静止画像461A(画像ID)とを含む記念日データ303Aを生成する。これにより、ユーザによって選択された一枚の静止画像461Aが記念日に関連付けられる。そして、記念日設定部231は、生成した記念日データ303Aを記念日データベース303に格納する。
【0060】
以上の構成により、記念日設定制御部23は、記念日を示す記念日データ303Aを記念日データベース303に格納することができる。記念日設定制御部23は、ユーザによって入力された情報に基づいて記念日を設定することができる。なお、記念日設定制御部23は、記念日名が設定されていない記念日データ303Aを記念日データベース303に格納してもよい。記念日設定制御部23は、記念日の日付と記念日の主人公(人物ID)とを含む記念日データ303Aを格納してもよい。また、記念日設定制御部23は、ユーザによって指定された記念日の属性を含む記念日データ303Aを格納してもよい。記念日の属性には、例えば、「誕生日」、「結婚記念日」等の記念日の種類や、「ハッピー」、「ファンタジー」等の記念日の雰囲気を表すキーワードが設定される。
【0061】
再生制御部24は、記念日設定制御部23によって生成された記念日データ303Aに基づいて、記念日を含む所定の期間内に、その記念日に適した動画像を再生する。再生制御部24は、インデキシング部22によって生成されたインデックス情報302Aを利用して、記念日に適した静止画像51を用いた動画像(フォトムービー又はスライドショー)を生成する。再生制御部24は、インデックス情報302Aに基づき、ある記念日に関連付けられた静止画像(キー画像)に関連する静止画像群を、素材データベース301内の静止画像群51から抽出し、関連する静止画像群を用いてフォトムービーまたはスライドショーを作成および再生する。再生制御部24は、例えば、日付判定部241、画像抽出部242、動画像生成部243、及び動画像再生部244を備える。
【0062】
日付判定部241は、現在の日付が記念日を含む所定の期間内であるか否かを判定する。具体的には、日付判定部241は、記念日データベース303に格納された記念日データ303Aを読み出し、現在の日付が、記念日データ303Aに含まれる記念日を含む所定の期間内であるか否かを判定する。現在の日付が記念日を含む所定の期間内であるとき、日付判定部241は、画像抽出部242に処理の開始を通知する。また、日付判定部241は、動画像生成部243に、現在の日付が、記念日当日、上記所定の期間内のうち記念日よりも前の日、及び上記所定の期間内のうち記念日よりも後の日のいずれであるかを示す情報を出力する。
【0063】
画像抽出部242は、日付判定部241による処理の開始の通知に応答して、素材データベース301から、その記念日に関連付けられた画像に関連する画像を抽出する。画像抽出部242は、素材データベース301に格納された複数の静止画像51のうち、記念日データ303Aに示される記念日の静止画像(記念日に関連付けられた静止画像)に、日時、場所、人物等が関連する静止画像を抽出する。画像抽出部242は、注目する記念日に関連付けられた静止画像をキー画像(抽出キー)として、素材データベース301から、再生する動画像(フォトムービー又はスライドショー)に用いられる静止画像51を抽出する。また、画像抽出部242は、注目する記念日に関連付けられた人物(主人公)をキーとして、素材データベース301から、再生する動画像(フォトムービー又はスライドショー)に用いられる静止画像51を抽出してもよい。その場合、画像抽出部242は、素材データベース301から、記念日に関連付けられた人物に関連する静止画像を抽出する。
【0064】
画像抽出部242は、素材データベース301に格納されている静止画像51から、キー画像に関連する静止画像を選択する。キー画像に関連する静止画像は、キー画像に対して、例えば、日時、人物又は場所の関連性を有する静止画像である。画像抽出部242は、例えば、素材情報データベース302に格納されたインデックス情報302Aを用いて、キー画像に関連する静止画像を選択する。
【0065】
より具体的には、画像抽出部242は、素材データベース301に格納された静止画像51から、キー画像の生成日時に関連する生成日時を有する静止画像を選択する。画像抽出部242は、例えば、インデックス情報302Aに基づいて、キー画像の生成日時と同一の期間内(例えば、日、月、時期、季節、年等で指定される期間内)に生成された静止画像を選択する。これにより、例えば、キー画像と同一のイベントで撮影された静止画像が選択される。また、画像抽出部242は、例えば、インデックス情報302Aに基づいて、キー画像の生成日時とは別の期間内の同じ日、同じ週、同じ月等(例えば、1年前の同じ日や2年後の同じ月等)に生成された静止画像を選択する。
【0066】
また、画像抽出部242は、素材データベース301に格納された静止画像51から、記念日に関連付けられた画像(キー画像)に含まれる人物に関連する静止画像を選択する。画像抽出部242は、例えば、キー画像に含まれる人物の顔画像を含む静止画像を選択する。また、画像抽出部242は、記念日に関連付けられた人物(主人公)に関連する静止画像を選択する。画像抽出部242は、例えば、主人公の顔画像を含む静止画像を選択する。さらに、画像抽出部242は、キー画像に含まれる人物又は主人公に似た人物の顔画像を含む静止画像を選択してもよい。この主人公に似た人物の顔画像を含む静止画像は、例えば、クラスタリング部222によるクラスタリング結果を用いて選択される。
【0067】
なお、画像抽出部242は、静止画像を選択する際に、インデックス情報302Aを用いて、笑顔度、鮮明度及び正面度のうちの少なくともいずれかが高い画像や、サイズが大きい画像を優先的に選択してもよい。
【0068】
さらに、画像抽出部242は、素材データベース301に格納された静止画像51から、キー画像の生成場所に関連する生成場所で生成された静止画像を選択してもよい。画像抽出部242は、素材データベース301から、例えば、キー画像の生成場所と同じ場所で生成された静止画像を選択する。具体的には、画像抽出部242は、例えば、キー画像が生成された観光スポットで撮影された別の写真(静止画像)を、素材データベース301から選択する。なお、画像抽出部242は、日時、人物、場所等に基づく静止画像の選択を組み合わせて、選択される静止画像をさらに絞り込んでもよい。また、生成される動画像がフォトムービーであるかスライドショーであるかに応じて、静止画像を選択する条件を変更してもよい。
【0069】
なお、画像抽出部242は、現在の日付が、記念日当日、上記所定の期間内のうち記念日よりも前の日、及び上記所定の期間内のうち記念日よりも後の日のいずれであるかに応じて、抽出される静止画像を変更してもよい。例えば、画像抽出部242は、現在の日付が記念日よりも前の日であるとき、記念日よりも前の日付情報(月日)を有する静止画像を抽出する。画像抽出部242は、現在の日付が記念日当日であるとき、記念日当日の日付情報を有する静止画像を抽出する。画像抽出部242は、現在の日付が記念日よりも後の日であるとき、記念日よりも後の日付情報を有する静止画像を抽出する。
【0070】
また、例えば、記念日の月日だけでなく年も設定されている際には、画像抽出部242は、現在の日付が記念日よりも前の日であるとき、記念日の年月日よりも前の日付情報(年月日)を有する静止画像を抽出する。画像抽出部242は、現在の日付が記念日当日(記念日と同一の日付)であるとき、記念日の年月日の日付情報を有する静止画像を抽出する。画像抽出部242は、現在の日付が記念日よりも後の日であるとき、記念日の年月日よりも後の日付情報(年月日)を有する静止画像を抽出する。
画像抽出部242は、記念日に関連付けられた静止画像と抽出された静止画像とを動画像生成部243に出力する。
【0071】
動画像生成部243は、日付判定部241によって出力された、現在の日付が、記念日当日、上記所定の期間内のうち記念日よりも前の日、及び上記所定の期間内のうち記念日よりも後の日のいずれであるかを示す情報に基づき、画像抽出部242によって出力された静止画像を用いてフォトムービーやスライドショー等の動画像を生成する。動画像生成部243は、上記所定の期間内において、例えば、1日毎に、動画像の長さ、動画像に用いられる静止画像の構成、及び動画像に用いられるエフェクトのうち少なくともいずれかが異なる動画像を表示する。例えば、動画像生成部243は、現在の日付が、記念日当日、上記所定の期間内のうち記念日よりも前の日、及び上記所定の期間内のうち記念日よりも後の日のいずれであるかに応じて、スライドショーとフォトムービーのいずれの形態の動画像を作成するか、動画像の長さ(再生時間)、動画像に用いられる静止画像、動画像に用いられるエフェクト(トランジション)等を変更して動画像を作成する。
【0072】
具体的には、現在の日付が記念日当日であるとき、動画像生成部243は、記念日のための動画像を生成する。記念日のための動画像では、抽出された静止画像のうち、例えば、記念日当日の日付情報を有する静止画像が優先的に使用される。また、記念日に関連付けられた画像は、例えば、記念日のための画像内のクライマックスのシーンに用いられる。クライマックスのシーンは、例えば、動画像に含まれる最後のシーンや視覚効果が高いエフェクトが用いられるシーン等である。なお、記念日のための動画像は、上述の所定の期間内において、記念日当日以外の日に再生される動画像よりも長い再生時間を有する動画像であってもよい。また、動画像生成部243は、記念日のための動画像に、記念日以外の日に再生される動画像とは異なるエフェクトや音楽を用いることにより、記念日を盛り上げる効果を有する動画像を生成することもできる。動画像生成部243は、例えば、記念日データ301Aに設定された属性に基づいて、動画像に用いられるエフェクト(スタイル)を選択してもよい。例えば、動画像生成部243は、記念日の属性に「誕生日」が設定されているとき、「誕生日」に適したエフェクトを用いて動画像を作成する。
【0073】
現在の日付が所定の期間内のうち記念日よりも前の期間内であるとき、動画像生成部243は、記念日よりも前の期間内のための動画像を生成する。記念日よりも前の期間内のための動画像では、抽出された静止画像のうち、例えば、記念日よりも前の期間内に対応する日付情報を有する静止画像が優先的に使用される。なお、記念日よりも前の期間内のための動画像は、記念日当日に再生される動画像よりも短い再生時間を有する動画像であってもよい。記念日よりも前の期間内のための動画像は、例えば、ユーザに記念日が近づいていることを予告する効果を有する。
【0074】
また、現在の日付が所定の期間内のうち記念日よりも後の期間内であるとき、動画像生成部243は、記念日よりも後の期間内のための動画像を生成する。記念日よりも後の期間内のための動画像では、抽出された静止画像のうち、例えば、記念日よりも後の期間内に対応する日付情報を有する静止画像が優先的に使用される。なお、記念日よりも後の期間内のための動画像は、記念日当日に再生される動画像よりも短い再生時間を有する動画像であってもよい。
動画像生成部243は、上述のように生成した動画像を動画像再生部244に出力する。
【0075】
動画像再生部244は、動画像作成部243によって出力された動画像を再生し、画面(LCD17)に表示する。
【0076】
以上の構成により、フォトムービー作成アプリケーション202は、記念日にふさわしい静止画像等を含む動画像をユーザに提示することができる。画像抽出部242は、素材データベース301に格納された静止画像51から、記念日に関連付けられた一枚の静止画像(キー画像)に関連する静止画像を選択する。キー画像に関連する静止画像は、キー画像の生成日時、生成場所、及びキー画像に登場する人物のうちの少なくともいずれかに関連する静止画像である。フォトムービー作成アプリケーション202では、生成日時等の条件を指定して、条件を満たす静止画像を選択するのではなく、キー画像に関連する静止画像を選択することにより、ユーザが意識していない静止画像等も選択することができる。また、生成日時や生成場所等に基づいてグループ化された静止画像群(例えば、生成日毎のディレクトリ内に格納された静止画像群)を選択して、動画像を作成する際には、そのグループに属する静止画像を用いた動画像しか作成することができない。しかし、本実施形態のフォトムービー作成アプリケーション202では、キー画像と(生成日時等に基づく)同一のグループに属さない静止画像であっても、当該キー画像に関連性を有する静止画像を選択することができる。これにより、ユーザが静止画像を選択するための手間を軽減すると共に、設定された記念日に関連する静止画像群を用いた動画像を生成することができる。
【0077】
次いで、図9のフローチャートを参照して、フォトムービー作成アプリケーションプログラム202によって実行されるインデキシング処理の手順の例を説明する。
まず、監視部21は、素材データベース301を常時監視し、新たな静止画像(静止画像データ)51がHDD109内の素材データベース301に格納されたか否かを判定する(ブロックB11)。新たな静止画像51が格納されていない場合(ブロックB11のNO)、監視部21はブロックB11に戻り、再度、新たな静止画像51が格納されたか否かを判定する。
【0078】
新たな静止画像51が格納されている場合(ブロックB11のYES)、監視部21は、新たな静止画像51が素材データベース301に格納されたことを、インデキシング部22に通知する(ブロックB12)。
【0079】
次いで、顔画像検出部221は、静止画像51に含まれる顔画像を検出する(ブロックB13)。顔画像検出部221は、静止画像51に登場する人物の顔画像に対応する領域を検出し、当該領域の静止画像内における位置及びサイズを検出する。そして、顔画像検出部221は検出した顔画像を分析する(ブロックB14)。顔画像検出部221は、例えば、検出した顔画像の笑顔度、鮮明度、正面度等を算出する。顔画像検出部221は、検出した顔画像を示す情報をクラスタリング部222に出力する。
【0080】
クラスタリング部222は、検出した顔画像に対してクラスタリング処理を施すことにより、検出した顔画像を人物毎に分類する(ブロックB15)。クラスタリング部222は、顔画像に対して、対応する人物の識別情報(人物ID)を付与する。そして、クラスタリング部222は、顔画像検出部221によって検出された顔画像を示す情報と、顔画像に付与された人物IDを示す情報とをインデックス情報生成部223に出力する。
【0081】
インデックス情報生成部223は、顔画像検出部221及びクラスタリング部222による処理結果に基づいて、インデックス情報302Aを生成する(ブロックB16)。インデックス情報302Aは、静止画像51の生成日時及び生成場所、並びに該静止画像51に含まれる顔画像を示す顔画像情報を含む。また、この顔画像情報は、例えば、顔画像(例えば、顔画像に対応するデータの格納場所)、人物ID、位置、サイズ、笑顔度、鮮明度、及び正面度を含む。なお、静止画像51に複数の顔画像が含まれるとき、インデックス情報302Aは、複数の顔画像に対応する複数の顔画像情報を含む。インデックス情報生成部223は、生成したインデックス情報302Aを素材情報データベース302に格納する(ブロックB17)。
【0082】
以上の処理によりインデキシング部22は、素材データベース301に新たに格納された静止画像51に対応するインデックス情報302A(のエントリ)を素材情報データベース302に格納する。
【0083】
また、図10のフローチャートは、フォトムービー作成アプリケーションプログラム202によって実行される記念日設定処理の手順の例を示す。
【0084】
まず、記念日設定部231は記念日設定画面41を表示する(ブロックB201)。次いで、記念日設定部231は、記念日設定画面41上の画像参照ボタン414が押されたか否かを判定する(ブロックB202)。画像参照ボタン414が押されている場合(ブロックB202のYES)、記念日設定部231は、記念日入力エリア412に日付が入力されているか否かを判定する(ブロックB203)。
【0085】
記念日入力エリア412に日付が入力されている場合(ブロックB203のYES)、記念日設定部231は入力された日付を記念日に設定する(ブロックB207)。
【0086】
一方、記念日入力エリア412に日付が入力されていない場合(ブロックB203のNO)、画像一覧表示部233は所定の画像選択画面を表示する(ブロックB204)。所定の画像選択画面は、例えば、現在の日付に近い生成日時情報を有する画像の一覧を含む画面である。次いで、記念日設定部231は、表示された画像選択画面を用いて画像が選択されたか否かを判定する(ブロックB205)。画像が選択されている場合(ブロックB205のYES)、記念日設定部231は、選択された画像が生成された日付を記念日に設定する(ブロックB206)。画像が選択されていない場合(ブロックB205のNO)、記念日設定部231は、ブロックB205に戻り、再度画像が選択されたか否かを判定する。
【0087】
また、画像参照ボタン414が押されていない場合(ブロックB202のNO)、記念日設定部231は、カレンダー表示ボタン415が押されたか否かを判定する(ブロックB208)。カレンダー表示ボタン415が押されていない場合(ブロックB208のNO)、記念日設定部231は、ブロックB202に戻り、再度画像参照ボタン414が押されたか否かを判定する。
【0088】
カレンダー表示ボタン415が押された場合(ブロックB208のYES)、カレンダー表示部232はカレンダー画面45を表示する(ブロックB209)。次いで、記念日設定部231は、カレンダー画面45を用いて日付が選択されたか否かを判定する(ブロックB210)。カレンダー画面45を用いて日付が選択されていない場合(ブロックB210のNO)、記念日設定部231は、ブロックB210に戻り、再度日付が選択されたか否かを判定する。カレンダー画面45を用いて日付が選択されている場合(ブロックB210のYES)、記念日設定部231は、選択された日付を記念日に設定する(ブロックB211)。
【0089】
ブロックB207又はブロックB211において記念日が設定された後、画像一覧表示部233は、設定された記念日に基づく画像選択画面42,46を表示する(ブロックB212)。次いで、記念日設定部231は、画像選択画面42,46を用いて画像が選択されたか否かを判定する(ブロックB213)。画像選択画面42,46を用いて画像が選択されていない場合(ブロックB213のNO)、記念日設定部231は、ブロックB213に戻り、再度画像が選択されたか否かを判定する。
【0090】
画像が選択されている場合(ブロックB213のYES)、又はブロックB206において記念日が設定された後、記念日設定部231は、選択された画像を記念日の画像に設定する(ブロックB214)。つまり、記念日設定部231は、選択された画像を記念日に関連付ける。次いで、記念日設定部231は、人物が選択されたか否かを判定する(ブロックB215)。この人物は、例えば、記念日の画像に設定された画像に含まれる人物から選択される。例えば、選択された画像内の人物から、ユーザがその記念日に注目する人物を指示する操作によって、人物が選択される。また、素材データベース301に格納された静止画像データ51に登場する人物の顔画像の一覧を表示し、ユーザがその一覧から人物を選択してもよい。
【0091】
人物が選択されている場合(ブロックB215のYES)、記念日設定部231は、選択された人物を記念日の主人公に設定する(ブロックB216)。つまり、記念日設定部231は、選択された人物を記念日に関連付ける。人物が選択されていない場合(ブロックB215のNO)、記念日設定部231は主人公を設定しない。
【0092】
そして、記念日設定部231は、設定された記念日の日付、記念日の画像、及び記念日の主人公の情報を含む記念日データ303Aを記念日データベース303に格納する(ブロックB217)。なお、主人公が設定されていないとき、記念日設定部231は、記念日の日付及び記念日の画像を含む記念日データ303Aを記念日データベース303に格納する。
【0093】
以上の処理により、記念日設定制御部23は、新たに設定された記念日に対応する記念日データ303Aを記念日データベース303に格納される。記念日データ303Aには、記念日の日付に加えて、ユーザによって選択された記念日の画像(写真)や記念日の主人公を示す情報が含まれる。
【0094】
次いで、図11のフローチャートを参照して、フォトムービー作成アプリケーションプログラム202によって実行される動画像再生処理の手順の例について説明する。再生制御部24は、記念日データ303Aを用いて、現在の日付が記念日を含む所定の期間内であるとき、記念日に適した動画像(例えば、フォトムービー、スライドショー等)を作成し、再生する。
【0095】
まず、日付判定部241は、現在の日付が記念日を含む所定の期間内であるか否かを判定する(ブロックB31)。日付判定部241は、記念日データベース303に格納された記念日データ303Aを読み出し、現在の日付が、記念日データ303Aに示される記念日を含む所定の期間内であるか否かを判定する。現在の日付が記念日を含む所定の期間内でない場合(ブロックB31のNO)、動画像再生処理を終了する(すなわち、記念日に基づく動画像を作成、再生しない)。
【0096】
現在の日付が記念日を含む所定の期間内である場合(ブロックB31のYES)、画像抽出部242は、素材データベース301から、その記念日に関連付けられた画像(及び/又は主人公)に関連する画像を抽出する(ブロックB32)。画像抽出部242は、素材データベース301に格納された複数の静止画像51のうち、記念日データ303Aに示される記念日の画像に、日時、場所、人物等が関連する画像を抽出する。画像抽出部242は、記念日データ303Aに示される記念日の主人公に関連する画像を抽出してもよい。
【0097】
次いで、日付判定部241は、現在の日付が記念日の日付と一致しているか否かを判定する(ブロックB33)。現在の日付が記念日の日付と一致している場合(ブロックB33のYES)、動画像生成部243は、記念日のための動画像を作成する(ブロックB34)。記念日のための動画像では、ブロックB32で抽出された静止画像のうち、例えば、記念日当日の日付情報を有する静止画像が優先的に使用される。また、記念日に関連付けられた写真は、例えば、記念日のための動画像内のクライマックスのシーンに用いられる。なお、記念日のための動画像は、上述の所定の期間内において、記念日以外の日に再生される動画像よりも長い再生時間を有する動画像であってもよい。また、動画像生成部243は、記念日のための動画像に、記念日以外の日に再生される動画像とは異なるエフェクトや音楽を用いることにより、記念日を盛り上げる効果を有する動画像を生成することもできる。
【0098】
現在の日付が記念日の日付と一致していない場合(ブロックB33のNO)、日付判定部241は、現在の日付が記念日の日付よりも前の期間内であるか否かを判定する(ブロックB35)。現在の日付が記念日の日付よりも前の期間内である場合(ブロックB35のYES)、動画像生成部243は、記念日よりも前の期間内のための動画像を作成する(ブロックB36)。記念日よりも前の期間内のための動画像では、ブロックB32で抽出された静止画像のうち、例えば、記念日よりも前の期間に対応する日付情報を有する静止画像が優先的に使用される。なお、記念日よりも前の期間内のための動画像は、記念日当日に再生される動画像よりも短い再生時間を有する動画像であってもよい。記念日よりも前の期間内のための動画像は、例えば、ユーザに記念日が近づいていることを知らせる効果を有する。
【0099】
現在の日付が記念日の日付よりも前の期間内でない場合(ブロックB35のNO)、すなわち、記念日よりも後の期間内である場合、動画像生成部243は、記念日よりも後の期間内のための動画像を作成する(ブロックB37)。記念日よりも後の期間内のための動画像では、ブロックB32で抽出された静止画像のうち、例えば、記念日よりも後の期間に対応する日付情報を有する静止画像が優先的に使用される。なお、記念日よりも後の期間内のための動画像は、記念日当日に再生される動画像よりも短い再生時間を有する動画像であってもよい。
【0100】
そして、動画像再生部244は、動画像作成部243によって作成された動画像を再生し、画面(LCD17)に表示する(ブロックB38)。
【0101】
以上の処理により、再生制御部24は、記念日データ303Aに基づいて、現在の日付に適した動画像を生成し、ユーザに提示することができる。ユーザは、提示された動画像を視聴(観賞)することにより、その記念日を認識することやその記念日を想起することができる。
【0102】
以上説明したように、本実施形態によれば、記念日にふさわしい静止画像等を含む動画をユーザに提示できる。画像抽出部242は、素材データベース301に格納された静止画像51から、記念日に関連付けられた一枚の静止画像(キー画像)に関連する静止画像、または記念日の人物(主人公)に関連する静止画像を抽出する。動画像生成部243は、現在の日付が記念日を含む所定の期間内であるとき、記念日に関連付けられた一枚の静止画像とこの一枚の静止画像に関連する静止画像とを用いることにより、その記念日にふさわしい動画像を生成することができる。これにより、予め登録された記念日に近づいたとき、その記念日に関連する静止画像群を用いたスライドショーやフォトムービーをユーザに提示することができる。
【0103】
なお、本実施形態のインデキシング処理、記念日設定処理及び動画像再生処理の手順は全てソフトウェアによって実行することができる。このため、インデキシング処理、記念日設定処理及び動画像再生処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
【0104】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0105】
109…HDD、202…フォトムービー作成アプリケーションプログラム、21…監視部、22…インデキシング部、221…顔画像検出部、222…クラスタリング部、223…インデックス情報生成部、23…記念日設定制御部、231…記念日設定部、232…カレンダー表示部、233…画像一覧表示部、24…再生制御部、241…日付判定部、242…画像抽出部、243…動画像生成部、244…動画像再生部、301…素材データベース、51…静止画像データ、302…素材情報データベース、302A…インデックス情報、303…記念日データベース、303A…記念日データ。
【技術分野】
【0001】
本発明の実施形態は、画像を表示する電子機器及び該機器に適用される画像処理方法に関する。
【背景技術】
【0002】
近年、パーソナルコンピュータ、デジタルカメラ、PDAのような様々な電子機器が普及している。このような電子機器は、例えば写真のような静止画像を管理する機能を有している。画像管理方法としては、例えば、写真に付加された撮影日時データに基づいて、写真を複数のグループに分類する方法が知られている。
【0003】
また、最近では、写真のような静止画像群を用いた動画像(例えば、フォトムービーやスライドショー)を作成する動画作成技術が注目されている。動画作成技術としては、例えば、複数の静止画像から指定された日付に対応する撮影日時データを有する静止画像を選択し、選択した静止画像を順番に表示する技術が知られている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−173984号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、指定された日付に対応する静止画像を表示する方法では、表示される静止画像は、その指定された日付に対応する撮影日時データを有する静止画像に限定される。したがって、例えば、同一の日付に撮影されていないものの関連性が高い静止画像や、思いがけない静止画像(ユーザが意識していない静止画像)等を含む動画をユーザに提示することは困難である。記念日は、特定のイベントや特定の人物に関連するものであることが多いため、記念日にふさわしい静止画像等を含む動画を提示することができない。
【0006】
本発明は、記念日にふさわしい静止画像等を含む動画をユーザに提示できる電子機器及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
実施形態によれば、電子機器は、記念日設定手段、画像設定手段、画像抽出手段、及び画像表示手段を具備する。記念日設定手段は入力された日付を記念日に設定する。画像設定手段は、ユーザによって指定された一枚の静止画像を前記記念日に関連付ける。画像抽出手段は、現在の日付が前記記念日を含む所定の期間内であるとき、複数の静止画像から前記一枚の静止画像に関連する静止画像を抽出する。画像表示手段は、前記一枚の静止画像と前記抽出された静止画像とを用いた動画像を表示する。
【図面の簡単な説明】
【0008】
【図1】実施形態に係る電子機器の外観を示す斜視図。
【図2】同実施形態の電子機器のシステム構成を示すブロック図。
【図3】同実施形態の電子機器によって実行されるフォトムービー作成アプリケーションプログラムの機能構成を示すブロック図。
【図4】同実施形態の電子機器によって実行されるフォトムービー作成アプリケーションプログラムが用いるインデックス情報の例を示す図。
【図5】同実施形態の電子機器によって実行されるフォトムービー作成アプリケーションプログラムが用いる記念日データの例を示す図。
【図6】同実施形態の電子機器によって表示される記念日設定画面の例を示す図。
【図7】同実施形態の電子機器によって表示される記念日設定画面の別の例を示す図。
【図8】同実施形態の電子機器によって表示される記念日設定画面の他の例を示す図。
【図9】同実施形態の電子機器によって実行されるインデキシング処理の手順の例を示すフローチャート。
【図10】同実施形態の電子機器によって実行される記念日設定処理の手順の例を示すフローチャート。
【図11】同実施形態の電子機器によって実行される動画像再生処理の手順の例を示すフローチャート。
【発明を実施するための形態】
【0009】
以下、実施の形態について図面を参照して説明する。
【0010】
図1は、実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えばノートブックタイプのパーソナルコンピュータ10として実現されている。図1に示すように、本コンピュータ10は、コンピュータ本体11と、ディスプレイユニット12とから構成されている。ディスプレイユニット12には、LCD(liquid crystal display)17が組み込まれている。ディスプレイユニット12は、コンピュータ本体11の上面が露出される開放位置とコンピュータ本体11の上面を覆う閉塞位置との間を回動自在にコンピュータ本体11に取り付けられている。
【0011】
コンピュータ本体11は、薄い箱形の筐体を有しており、その上面には、キーボード13、本コンピュータ10を電源オン/電源オフするためのパワーボタン14、入力操作パネル15、タッチパッド16、スピーカ18A,18Bなどが配置されている。入力操作パネル15上には、各種操作ボタンが設けられている。
【0012】
また、コンピュータ本体11の右側面には、例えばUSB(universal serial bus)2.0規格のUSBケーブルやUSBデバイスを接続するためのUSBコネクタ19が設けられている。
【0013】
図2は、本コンピュータ10のシステム構成を示す図である。
本コンピュータ10は、図2に示されているように、CPU(central processing unit)101、ノースブリッジ102、主メモリ103、サウスブリッジ104、GPU(Graphics Processing Unit)105、VRAM(ビデオRAM:random access memory)105A、サウンドコントローラ106、BIOS−ROM(basic input/output system-read only memory)107、LAN(local area network)コントローラ108、ハードディスクドライブ(HDD)109、光ディスクドライブ(ODD)110、USBコントローラ111A、カードコントローラ111B、無線LANコントローラ112、エンベデッドコントローラ/キーボードコントローラ(EC/KBC)113、EEPROM(electrically erasable programmable ROM)114等を備える。
【0014】
CPU101は、本コンピュータ10内の各部の動作を制御するプロセッサである。CPU101は、HDD109から主メモリ103にロードされる、オペレーティングシステム(OS)201、及びフォトムービー作成アプリケーションプログラム202のような各種アプリケーションプログラムを実行する。フォトムービー作成アプリケーションプログラム202は、例えばHDD109等に格納された各種デジタルコンテンツデータ(例えば、フォトムービー)を再生するソフトウェアである。このフォトムービー作成アプリケーションプログラム202は、動画像生成機能を有している。この動画像生成機能は、例えば、HDD109等に格納された写真等の素材(デジタルコンテンツ)を用いて、合成動画(動画像)を作成する機能である。さらに、この動画像生成機能は、動画像に用いる素材を分析する機能を含む。フォトムービー作成アプリケーションプログラム202は、素材を用いて作成された動画像を再生し、画面(LCD17)に表示する。
【0015】
また、CPU101は、BIOS−ROM107に格納されたBIOSも実行する。BIOSは、ハードウェア制御のためのプログラムである。
【0016】
ノースブリッジ102は、CPU101のローカルバスとサウスブリッジ104との間を接続するブリッジデバイスである。ノースブリッジ102には、主メモリ103をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ102は、例えば、PCI EXPRESS規格のシリアルバスなどを介してGPU105との通信を実行する機能も有している。
【0017】
GPU105は、本コンピュータ10のディスプレイモニタとして使用されるLCD17を制御する表示コントローラである。このGPU105によって生成される表示信号はLCD17に送られる。
【0018】
サウスブリッジ104は、PCI(Peripheral Component Interconnect)バス上の各デバイス及びLPC(Low Pin Count)バス上の各デバイスを制御する。また、サウスブリッジ104は、HDD109及びODD110を制御するためのIDE(Integrated Drive Electronics)コントローラを内蔵している。さらに、サウスブリッジ104は、サウンドコントローラ106との通信を実行する機能も有している。
【0019】
サウンドコントローラ106は音源デバイスであり、再生対象のオーディオデータをスピーカ18A,18Bに出力する。LANコントローラ108は、例えばIEEE 802.3規格の有線通信を実行する有線通信デバイスであり、一方、無線LANコントローラ112は、例えばIEEE 802.11g規格の無線通信を実行する無線通信デバイスである。USBコントローラ111Aは、(USBコネクタ19を介して接続される)例えばUSB 2.0規格に対応した外部機器との通信を実行する。例えば、USBコントローラ111Aは、例えば、デジタルカメラに格納されている画像データファイルを受信するために使用される。カードコントローラ111Bは、コンピュータ本体11に設けられたカードスロットに挿入される、SDカードのようなメモリカードに対するデータの書き込み及び読み出しを実行する。
【0020】
EC/KBC113は、電力管理のためのエンベデッドコントローラと、キーボード13及びタッチパッド16を制御するためのキーボードコントローラとが集積された1チップマイクロコンピュータである。EC/KBC113は、ユーザによるパワーボタン14の操作に応じて本コンピュータ10を電源オン/電源オフする機能を有している。
【0021】
次いで、図3を参照して、フォトムービー作成アプリケーションプログラム202の一機能構成を説明する。ここでは、フォトムービー作成アプリケーションプログラム202が有する機能のうち、動画像生成機能を実現するための構成例について説明する。この動画像生成機能は、HDD109内の所定のディレクトリ(素材データベース301)に格納された複数の静止画像(静止画像データ)51を用いて動画像(フォトムービー、スライドショー)を作成し、その作成した動画像を再生する。静止画像51は、例えば、デジタル写真、他の各種静止画像ファイル(JPEGファイル)等である。用語「フォトムービー」は複数の静止画像(例えば写真)を用いて生成される動画像(ムービー)を意味する。フォトムービーの再生においては、静止画像群には様々なエフェクト又はトランジションが施される。エフェクト又はトランジションが施された静止画像群は音楽と一緒に再生される。フォトムービー作成アプリケーションプログラム202は、ある静止画像(キー画像)に関連する静止画像群を自動的に抽出し、抽出された静止画像群を用いてフォトムービーを作成および再生することができる。また、フォトムービー作成アプリケーションプログラム202は、抽出された静止画像群を用いてスライドショーを作成及び再生することもできる。用語「スライドショー」は静止画像を1枚ずつ順次表示する動画像(ムービー)を意味する。
【0022】
フォトムービー作成アプリケーションプログラム202は、ユーザが設定したHDD109内のフォルダ(写真フォルダ)を監視し、1以上の新しい静止画像(写真ファイル)が写真フォルダに格納されたことを感知すると、それら1以上の新しい静止画像に対するインデキシングを行う。
【0023】
フォトムービーの作成は、例えば1枚の静止画像(キー画像)を基に行われる。つまり、キー画像に関連する静止画像群が自動抽出され、抽出された静止画像群を用いてフォトムービーが作成される。フォトムービーの作成条件として、スタイル、音楽、注目する人物(顔)の各々を選択指定することができる。選択したスタイルに応じて、使用される静止画像の抽出方法、使用されるエフェクト/トランジション等が決定される。従来では、ムービーの作成に使用する写真はユーザによって指定されるが、フォトムービー作成アプリケーションプログラム202は、写真フォルダ内の全ての静止画像から、使用する写真群を自動抽出する。これにより、思いがけない写真を掘り起こしてユーザに見せることができる。
【0024】
抽出処理では、顔画像の笑顔度、顔画像の鮮明度等に従って、より写りの良い写真を抽出してもよい。また、顔クラスタリングによって各顔画像に対応する人物を認識し、例えば、選択された人物の顔画像を含む写真群、選択された人物に関連する別の人物の顔画像を含む写真群などを抽出してもよい。
【0025】
また、フォトムービー作成アプリケーションプログラム202は、記念日を設定して、現在の日付が、設定された記念日を含む所定の期間内であるときに、その記念日に適した動画像を再生する機能を有する。つまり、フォトムービー作成アプリケーションプログラム202は、予め登録された記念日(又は記念日を含む期間内)に、その記念日に適したスライドショーやフォトムービーを自動的に表示することができる。これにより、ユーザに記念日が近づいていることを知らせることや、記念日を盛り上げる動画像をユーザに提供することができる。
【0026】
フォトムービー作成アプリケーションプログラム202は、監視部21、インデキシング部22、記念日設定制御部23、及び再生制御部24を備える。
【0027】
監視部21は、HDD109内の素材データベース301を常時監視し、新たな静止画像51が例えばUSBコントローラ111A、カードコントローラ111B等のインタフェース部を介して素材データベース301に格納されたか否かを判定する。素材データベース301は、HDD109内の所定のディレクトリ(上述の写真フォルダ)に相当する。素材データベース301に格納された静止画像51は、合成動画(フォトムービー、スライドショー)の素材候補として用いられる。素材データベース301には、静止画像51のみならず、例えばショートムービーのような動画像を素材候補として格納してもよい。監視部21は、新たな静止画像51がHDD109に格納されたことをインデキシング部22に通知する。
【0028】
インデキシング部22は、監視部21からの通知に応答して、素材データベース301内の複数の静止画像51を分析し、それら複数の静止画像51それぞれの属性を示すインデックス情報302Aを生成する。インデキシング部22によるインデキシングは、例えば、1以上の新しい静止画像(写真ファイル)が素材データベース301に格納されたことをトリガに開始される。つまり、素材データベース301に1以上の新たな静止画像が格納されたときに、インデキシング部22は、その新しい静止画像に対応するインデックス情報302Aを生成する。
【0029】
インデキシング部22は顔認識機能を有している。インデックス情報302Aには、複数の静止画像51に含まれる複数の顔画像それぞれの認識結果も含まれている。
【0030】
インデキシング部22は、顔画像検出部221、クラスタリング部222及びインデックス情報生成部223を備える。
顔画像検出部221は、インデキシング対象の静止画像51(例えば、写真フォルダに新たに格納された静止画像)から顔画像を検出する。顔画像は、例えば、その静止画像51の特徴を解析し、予め用意された顔画像特徴サンプルと類似する特徴を有する領域を探索することによって検出することができる。顔画像特徴サンプルは、多数の人物それぞれの顔画像特徴を統計的に処理することによって得られた特徴データである。顔検出処理により、静止画像51に含まれる顔画像に対応する領域が検出され、当該領域の位置(座標)及びサイズが検出される。
【0031】
また、顔画像検出部221は検出した顔画像を分析する。顔画像検出部221は、例えば、検出した顔画像の笑顔度、鮮明度、正面度等を算出する。笑顔度は、検出した顔画像が笑顔である度合いを示す指標である。鮮明度は、検出した顔画像が鮮明である(例えば、ぼけがない)度合いを示す指標である。また、正面度は、検出した顔画像が正面を向いている度合いを示す指標である。
顔画像検出部221は、検出した顔画像を示す情報をクラスタリング部222に出力する。
【0032】
クラスタリング部222は、検出した顔画像に対してクラスタリング処理を施すことにより、検出した顔画像を人物毎に分類する。クラスタリング部222は、処理結果に基づいて、顔画像に対応する人物の識別情報(人物ID)を付与する。クラスタリング部222は、顔画像検出部221によって検出された顔画像を示す情報と、顔画像の属性(笑顔度、鮮明度、正面度、人物ID)を示す情報とをインデックス情報生成部223に出力する。
【0033】
インデックス情報生成部223は、顔画像検出部221及びクラスタリング部222による処理結果に基づいて、インデックス情報302Aを生成する。そして、インデックス情報生成部223は、生成したインデックス情報302Aを素材情報データベース302に格納する。
【0034】
図4は、インデックス情報302Aの一構成例を示す。インデックス情報302Aは、複数の静止画像51にそれぞれ対応する複数のエントリを含む。各エントリは、例えば、画像ID、生成日時(撮影日時)、顔画像情報を含む。ある静止画像に対応するエントリにおいて、「画像ID」は、その静止画像に固有の識別情報を示す。「生成日時」は、その静止画像が生成された日時(撮影された日時)を示す。「生成日時」には、例えば、その静止画像データに付加されている情報が用いられる。「顔画像情報」は、例えば、顔画像(例えば、顔画像に対応するデータの格納場所)、人物ID、位置、サイズ、笑顔度、鮮明度、及び正面度を含む。なお、静止画像51に複数の顔画像が含まれるとき、インデックス情報302Aは、複数の顔画像の各々に対応する顔画像情報を含む。また、インデックス情報302Aは、静止画像が生成された場所を示す情報を含んでもよい。
以上の構成により、インデキシング部22は、インデキシング対象の静止画像51に対応するインデックス情報302Aを生成し、素材情報データベース302に格納することができる。
【0035】
記念日設定制御部23は入力された日付を記念日に設定する。また、記念日設定制御部23は、インデキシング部22(インデックス情報生成部223)によって生成されたインデックス情報302Aを利用して、ユーザによって指定された一枚の静止画像や人物(主人公)を記念日に関連付ける。記念日設定制御部23は、記念日設定部231、カレンダー表示部232及び画像一覧表示部233を備える。
【0036】
記念日設定部231は、記念日を設定するための記念日設定画面をLCD17に表示する。また、記念日設定部231は、設定された記念日を示す記念日データ303Aを記念日データベース303に格納する。記念日設定部231は、例えば、ユーザによって指定された記念日を示す記念日データ303Aを記念日データベース303に格納する。
【0037】
カレンダー表示部232は、記念日の日付を選択するためのカレンダー画面を表示する。記念日設定部231は、カレンダー画面を用いて選択された日付を記念日に設定する。
【0038】
また、画像一覧表示部233は、記念日に適した静止画像を選択するための写真選択画面を表示する。画像一覧表示部233は、例えば、素材データベース301に格納された静止画像(静止画像データ)51の一覧を含む写真選択画面を表示する。記念日設定部231は、写真選択画面を用いて選択された静止画像を記念日に関連付ける。また、画像一覧表示部233は、例えば、素材データベース301に格納された静止画像51に登場する人物の顔画像の一覧を含む写真選択画面を表示することもできる。記念日設定部231は、写真選択画面を用いて選択された人物(主人公)を記念日に関連付ける。
【0039】
図5は、記念日データ303Aの一構成例を示す。記念日データ303Aは、複数の記念日にそれぞれ対応する複数のエントリを含む。各エントリは、例えば、記念日ID、記念日、記念日名、画像ID、人物IDを含む。ある記念日に対応するエントリにおいて、「記念日ID」は、その記念日に固有の識別情報を示す。「記念日」は、その記念日の日付を示す。「記念日」には例えば月と日とが設定される(例えば、10月21日)。なお、「記念日」に年月日が設定されてもよい(例えば、2002年3月5日)。「記念日名」は、その記念日の名称を示す。「記念日名」には、例えば、「○○の誕生日」、「結婚記念日」、「クリスマス」等が設定される。「画像ID」は、その記念日に関連付けられた画像の画像IDを示す。「人物ID」は、その記念日に関連付けられた人物(主人公)の人物IDを示す。
【0040】
また、図6から図8は、記念日を示す情報を設定するための画面の例を示す。
図6は、記念日設定画面41と写真選択画面42,43とを用いて、記念日を示す情報を設定する例を示す。図6に示す例では、まず、記念日設定部231によって記念日設定画面41が表示されている。記念日設定画面41は、記念日名入力エリア411、記念日入力エリア412、写真表示エリア413、画像参照ボタン414、「OK」ボタン416等を備える。記念日名入力エリア411は、記念日の名称を入力するためのエリアである。記念日入力エリア412は、記念日の日付を入力するためのエリアである。写真表示エリア413は、記念日に関連付ける画像をプレビュー表示するためのエリアである。画像参照ボタン414は、写真選択画面42の表示を指示するためのボタンである。「OK」ボタン416は、記念日の設定の完了を指示するためのボタンである。
【0041】
ユーザは、記念日設定画面41を用いて記念日を示す情報を入力する。具体的には、ユーザは、記念日名入力エリア411に記念日の名称を入力する。また、ユーザは、記念日入力エリア412に記念日の日付(例えば、10月1日)を入力する。次いで、ユーザは、画像参照ボタン414を押すことによって、写真選択画面42の表示を指示する。画像一覧表示部233は、画像参照ボタン414が押されたことに応答して写真選択画面42を表示する。
【0042】
写真選択画面42は、画像一覧表示エリア421及び「OK」ボタン422を備える。画像一覧表示エリア421は、記念日に関連付けられる画像の候補を示すサムネイル画像の一覧を表示するためのエリアである。「OK」ボタン422は、画像の選択の完了を指示するためのボタンである。
【0043】
画像一覧表示部233は、記念日入力エリア412(記念日設定画面41)に記念日の日付が既に入力されているとき、その日付に対応する日付情報を有する静止画像(サムネイル画像)の一覧を含む写真選択画面42を表示する。例えば、記念日入力エリア412に「10月1日」の日付が入力されているとき、画像一覧表示部233は、素材データベース301に格納された複数の静止画像51のうち、「10月1日」の日付情報、又は「10月1日」に近い日付の日付情報を有する静止画像を抽出する。そして、画像一覧表示部233は、抽出した静止画像を示すサムネイル画像の一覧を画像一覧表示エリア421に表示する。抽出した静止画像を示すサムネイル画像の一覧は、例えば一年毎に表示される。例えば、図6の画像一覧表示エリア421(写真選択画面42)では、「2009年10月1日」、「2009年9月30日」及び「2009年9月29日」の日付情報を有する画像の一覧が表示されている。
【0044】
画像一覧表示エリア421では、一度に表示できるサムネイル画像の枚数が限られているため、画像一覧表示エリア421の左端に配置されたスクロールボタン423Aと右端に配置されたスクロールボタン423Bとを用いて、当該エリア421に表示されるサムネイル画像をスクロールすることができる。画像一覧表示部233は、例えば、スクロールボタン423Aが押されたことに応答して、現在表示されている画像に対応する年の前年に撮影(生成)された画像の一覧を画像一覧表示エリア421に表示する。また、画像一覧表示部233は、例えば、スクロールボタン423Bが押されたことに応答して、現在表示されている画像に対応する年の翌年に撮影(生成)された画像の一覧を画像一覧表示エリア421に表示する。図6の例では、スクロールボタン423Bが押されたことに応答して、写真選択画面42から写真選択画面43に遷移する。つまり、画像一覧表示部233は、スクロールボタン423Bが押されたことに応答して、「2008年10月1日」及び「2008年9月30日」の日付情報を有する画像の一覧が表示された画像一覧表示エリア431を含む写真選択画面43を表示する。なお、画像一覧表示部233は、スクロールボタン423A,423Bが押されたことに応じて、同じ年に撮影された別の画像をスクロール表示してもよい。
【0045】
ユーザは、写真選択画面42を用いて記念日に関連付ける静止画像を選択する。具体的には、ユーザは、画像一覧表示エリア421に表示された複数の静止画像から、記念日に関連付ける一枚の画像421Aを選択する。選択される静止画像は、記念日を代表する静止画像であり、例えば、記念日の主人公を含む写真である。ユーザは、記念日に関連付ける一枚の画像421Aを選択した後、「OK」ボタン422を押すことによって画像の選択の完了を指示する。画像一覧表示部233は、「OK」ボタン422が押されたことに応答して、選択された画像421Aに対応する画像IDを記念日設定部231に出力する。
【0046】
記念日設定部231は、画像一覧表示部233によって出力された画像IDに基づいて、選択された画像を写真表示エリア413にプレビュー表示する。ユーザは、記念日設定画面41を用いて記念日の設定に必要な情報を入力した後、「OK」ボタン416を押すことによって入力の完了を指示する。記念日設定部231は、「OK」ボタン416が押されたことに応答して、入力された情報に基づく記念日データ303Aを生成する。つまり、記念日設定部231は、記念日名入力エリア411に入力された記念日名と、記念日入力エリア412に入力された記念日の日付と、記念日に関連付けられた静止画像421A(画像ID)とを含む記念日データ303Aを生成する。これにより、ユーザによって選択された一枚の静止画像421Aが記念日に関連付けられる。記念日設定部231は、生成した記念日データ303Aを記念日データベース303に格納する。
【0047】
次いで、図7は、記念日設定画面41と写真選択画面44とを用いて、記念日を示す情報を設定する別の例を示す。図7に示す記念日設定画面41及び写真選択画面44は、図6に示す記念日設定画面41及び写真選択画面42とそれぞれ同様の構成を有する。
【0048】
ユーザは、記念日設定画面41を用いて記念日を示す情報を入力する。具体的には、ユーザは、記念日名入力エリア411に記念日の名称を入力する。次いで、ユーザは、画像参照ボタン414を押すことによって、写真選択画面42の表示を指示する。画像一覧表示部233は、画像参照ボタン414が押されたことに応答して写真選択画面44を表示する。
【0049】
画像一覧表示部233は、記念日入力エリア412(記念日設定画面41)に記念日の日付が入力されていないとき、所定の画像(サムネイル画像)の一覧(例えば、現在の日付に対応する日付情報を有する画像の一覧)を画像一覧表示エリア441に表示する。例えば、現在の日付が「10月10日」であるとき、画像一覧表示部233は、素材データベース301に格納された複数の静止画像51のうち、「10月10日」の日付情報、又は「10月10日」に近い日付の日付情報を有する静止画像を抽出する。そして、画像一覧表示部233は、抽出した静止画像を示すサムネイル画像の一覧を画像一覧表示エリア441に表示する。抽出した静止画像を示すサムネイル画像の一覧は、例えば一年毎に表示される。例えば、図7の画像一覧表示エリア441(写真選択画面44)では、「2010年10月10日」、「2010年10月9日」、「2010年10月2日」、及び「2010年9月30日」の日付情報を有する画像の一覧が表示されている。
【0050】
ユーザは、写真選択画面44を用いて、設定したい記念日を表す画像を選択する。具体的には、ユーザは、画像一覧表示エリア421に表示された複数の画像から、設定したい記念日を表す一枚の画像441Aを選択する。選択される画像は、設定したい記念日を代表する画像であり、例えば、設定したい記念日の主人公を含む写真である。ユーザは、記念日を表す一枚の画像441Aを選択した後、「OK」ボタン442を押すことによって画像の選択の完了を指示する。画像一覧表示部233は、「OK」ボタン442が押されたことに応答して、選択された画像441Aに対応する画像IDを記念日設定部231に出力する。
【0051】
記念日設定部231は、画像一覧表示部233によって出力された画像IDに基づいて、選択された画像441Aに対応する日付を記念日入力エリア412に設定(表示)する。選択された画像441Aに対応する日付は、例えば、その画像が撮影された日付やその画像が生成された日付等である。図7に示す記念日設定画面41では、写真選択画面44を用いて選択された画像441Aに対応する日付「9月30日」が記念日入力エリア412に設定されている。また、記念日設定部231は、画像一覧表示部233によって出力された画像IDに基づいて、選択された画像441Aを写真表示エリア413にプレビュー表示する。なお、ユーザは、選択された画像441Aに基づいて記念日入力エリア412に設定された日付を変更することもできる。ユーザは、記念日設定画面41を用いて記念日の設定に必要な情報を入力した後、「OK」ボタン416を押すことによって入力の完了を指示する。記念日設定部231は、「OK」ボタン416が押されたことに応答して、入力された情報に基づく記念日データ303Aを生成する。つまり、記念日設定部231は、記念日名入力エリア411に入力された記念日名と、記念日入力エリア412に入力された記念日の日付と、記念日に関連付けられた静止画像441A(画像ID)とを含む記念日データ303Aを生成する。これにより、ユーザによって選択された一枚の静止画像441Aが記念日に関連付けられる。そして、記念日設定部231は、生成した記念日データ303Aを記念日データベース303に格納する。
【0052】
また、図8は、記念日設定画面41、カレンダー画面45及び写真選択画面46を用いて、記念日を示す情報を設定する例を示す。図8に示す記念日設定画面41は、カレンダー表示ボタン415をさらに備える。また、写真選択画面46は、図6に示す写真選択画面42と同様の構成を有する。
【0053】
ユーザは、記念日設定画面41を用いて記念日を示す情報を入力する。具体的には、ユーザは、記念日名入力エリア411に記念日の名称を入力する。次いで、ユーザは、カレンダー表示ボタン415を押すことによって、カレンダー画面45の表示を指示する。カレンダー表示部232は、カレンダー表示ボタン415が押されたことに応答してカレンダー画面45を表示する。
【0054】
カレンダー画面45は、カレンダー表示エリア451とスクロールボタン452A,452Bとを備える。カレンダー表示エリア451は、指定された月に対応するカレンダーを表示するためのエリアである。スクロールボタン452A,452Bは、表示される月毎のカレンダーのスクロールを指示するためのボタンである。
【0055】
カレンダー表示部232は、所定の月のカレンダー(例えば、現在の日付に応じたカレンダー)を含むカレンダー画面45を表示する。例えば、現在の日付が「10月1日」であるとき、カレンダー表示部232は「10月」のカレンダーを含むカレンダー画面45を表示する。
【0056】
ユーザは、カレンダー画面45を用いて記念日に設定したい日付を選択する。カレンダー表示部232は、選択された日付を示す情報(例えば、「10月27日」)を記念日設定部231及び画像一覧表示部233に出力する。なお、ユーザは、スクロールボタン452A,452Bを押すことによって、それぞれ前月及び翌月のカレンダーの表示を指示することもできる。カレンダー表示部232は、スクロールボタン452Aが押されたことに応答して、現在表示されているカレンダーの前月のカレンダーをカレンダー表示エリア451に表示する。また、カレンダー表示部232は、スクロールボタン452Bが押されたことに応答して、現在表示されているカレンダーの翌月のカレンダーをカレンダー表示エリア451に表示する。
【0057】
画像一覧表示部233は、カレンダー表示部232によって出力された日付を示す情報に基づいて、その日付に対応する日付情報を有する画像(サムネイル画像)の一覧を含む写真選択画面46を表示する。例えば、カレンダー表示部232によって「10月27日」の日付が出力されたとき、画像一覧表示部233は、素材データベース301に格納された複数の静止画像51のうち、「10月27日」の日付情報、又は「10月27日」に近い日付の日付情報を有する静止画像を抽出する。そして、画像一覧表示部233は、抽出した静止画像を示すサムネイル画像の一覧を画像一覧表示エリア461に表示する。抽出した静止画像を示すサムネイル画像の一覧は、例えば一年毎に表示される。例えば、図8の画像一覧表示エリア461(写真選択画面46)では、「2009年10月27日」及び「2009年10月26日」の日付情報を有する画像の一覧が表示されている。
【0058】
ユーザは、写真選択画面46を用いて記念日に関連付ける画像を選択する。具体的には、ユーザは、画像一覧表示エリア461に表示された複数の画像から、記念日に関連付ける一枚の静止画像461Aを選択する。選択される画像は、記念日を代表する画像であり、例えば、記念日の主人公を含む写真である。ユーザは、記念日に関連付ける一枚の静止画像461Aを選択した後、「OK」ボタン462を押すことによって画像の選択の完了を指示する。画像一覧表示部233は、「OK」ボタン462が押されたことに応答して、選択された静止画像461Aに対応する画像IDを記念日設定部231に出力する。
【0059】
記念日設定部231は、画像一覧表示部233によって出力された画像IDに基づいて、選択された画像を写真表示エリア413にプレビュー表示する。ユーザは、記念日設定画面41を用いて記念日の設定に必要な情報を入力した後、「OK」ボタン416を押すことによって入力の完了を指示する。記念日設定部231は、「OK」ボタン416が押されたことに応答して、入力された情報に基づく記念日データ303Aを生成する。つまり、記念日設定部231は、記念日名入力エリア411に入力された記念日名と、記念日入力エリア412に入力された記念日の日付と、記念日に関連付けられた静止画像461A(画像ID)とを含む記念日データ303Aを生成する。これにより、ユーザによって選択された一枚の静止画像461Aが記念日に関連付けられる。そして、記念日設定部231は、生成した記念日データ303Aを記念日データベース303に格納する。
【0060】
以上の構成により、記念日設定制御部23は、記念日を示す記念日データ303Aを記念日データベース303に格納することができる。記念日設定制御部23は、ユーザによって入力された情報に基づいて記念日を設定することができる。なお、記念日設定制御部23は、記念日名が設定されていない記念日データ303Aを記念日データベース303に格納してもよい。記念日設定制御部23は、記念日の日付と記念日の主人公(人物ID)とを含む記念日データ303Aを格納してもよい。また、記念日設定制御部23は、ユーザによって指定された記念日の属性を含む記念日データ303Aを格納してもよい。記念日の属性には、例えば、「誕生日」、「結婚記念日」等の記念日の種類や、「ハッピー」、「ファンタジー」等の記念日の雰囲気を表すキーワードが設定される。
【0061】
再生制御部24は、記念日設定制御部23によって生成された記念日データ303Aに基づいて、記念日を含む所定の期間内に、その記念日に適した動画像を再生する。再生制御部24は、インデキシング部22によって生成されたインデックス情報302Aを利用して、記念日に適した静止画像51を用いた動画像(フォトムービー又はスライドショー)を生成する。再生制御部24は、インデックス情報302Aに基づき、ある記念日に関連付けられた静止画像(キー画像)に関連する静止画像群を、素材データベース301内の静止画像群51から抽出し、関連する静止画像群を用いてフォトムービーまたはスライドショーを作成および再生する。再生制御部24は、例えば、日付判定部241、画像抽出部242、動画像生成部243、及び動画像再生部244を備える。
【0062】
日付判定部241は、現在の日付が記念日を含む所定の期間内であるか否かを判定する。具体的には、日付判定部241は、記念日データベース303に格納された記念日データ303Aを読み出し、現在の日付が、記念日データ303Aに含まれる記念日を含む所定の期間内であるか否かを判定する。現在の日付が記念日を含む所定の期間内であるとき、日付判定部241は、画像抽出部242に処理の開始を通知する。また、日付判定部241は、動画像生成部243に、現在の日付が、記念日当日、上記所定の期間内のうち記念日よりも前の日、及び上記所定の期間内のうち記念日よりも後の日のいずれであるかを示す情報を出力する。
【0063】
画像抽出部242は、日付判定部241による処理の開始の通知に応答して、素材データベース301から、その記念日に関連付けられた画像に関連する画像を抽出する。画像抽出部242は、素材データベース301に格納された複数の静止画像51のうち、記念日データ303Aに示される記念日の静止画像(記念日に関連付けられた静止画像)に、日時、場所、人物等が関連する静止画像を抽出する。画像抽出部242は、注目する記念日に関連付けられた静止画像をキー画像(抽出キー)として、素材データベース301から、再生する動画像(フォトムービー又はスライドショー)に用いられる静止画像51を抽出する。また、画像抽出部242は、注目する記念日に関連付けられた人物(主人公)をキーとして、素材データベース301から、再生する動画像(フォトムービー又はスライドショー)に用いられる静止画像51を抽出してもよい。その場合、画像抽出部242は、素材データベース301から、記念日に関連付けられた人物に関連する静止画像を抽出する。
【0064】
画像抽出部242は、素材データベース301に格納されている静止画像51から、キー画像に関連する静止画像を選択する。キー画像に関連する静止画像は、キー画像に対して、例えば、日時、人物又は場所の関連性を有する静止画像である。画像抽出部242は、例えば、素材情報データベース302に格納されたインデックス情報302Aを用いて、キー画像に関連する静止画像を選択する。
【0065】
より具体的には、画像抽出部242は、素材データベース301に格納された静止画像51から、キー画像の生成日時に関連する生成日時を有する静止画像を選択する。画像抽出部242は、例えば、インデックス情報302Aに基づいて、キー画像の生成日時と同一の期間内(例えば、日、月、時期、季節、年等で指定される期間内)に生成された静止画像を選択する。これにより、例えば、キー画像と同一のイベントで撮影された静止画像が選択される。また、画像抽出部242は、例えば、インデックス情報302Aに基づいて、キー画像の生成日時とは別の期間内の同じ日、同じ週、同じ月等(例えば、1年前の同じ日や2年後の同じ月等)に生成された静止画像を選択する。
【0066】
また、画像抽出部242は、素材データベース301に格納された静止画像51から、記念日に関連付けられた画像(キー画像)に含まれる人物に関連する静止画像を選択する。画像抽出部242は、例えば、キー画像に含まれる人物の顔画像を含む静止画像を選択する。また、画像抽出部242は、記念日に関連付けられた人物(主人公)に関連する静止画像を選択する。画像抽出部242は、例えば、主人公の顔画像を含む静止画像を選択する。さらに、画像抽出部242は、キー画像に含まれる人物又は主人公に似た人物の顔画像を含む静止画像を選択してもよい。この主人公に似た人物の顔画像を含む静止画像は、例えば、クラスタリング部222によるクラスタリング結果を用いて選択される。
【0067】
なお、画像抽出部242は、静止画像を選択する際に、インデックス情報302Aを用いて、笑顔度、鮮明度及び正面度のうちの少なくともいずれかが高い画像や、サイズが大きい画像を優先的に選択してもよい。
【0068】
さらに、画像抽出部242は、素材データベース301に格納された静止画像51から、キー画像の生成場所に関連する生成場所で生成された静止画像を選択してもよい。画像抽出部242は、素材データベース301から、例えば、キー画像の生成場所と同じ場所で生成された静止画像を選択する。具体的には、画像抽出部242は、例えば、キー画像が生成された観光スポットで撮影された別の写真(静止画像)を、素材データベース301から選択する。なお、画像抽出部242は、日時、人物、場所等に基づく静止画像の選択を組み合わせて、選択される静止画像をさらに絞り込んでもよい。また、生成される動画像がフォトムービーであるかスライドショーであるかに応じて、静止画像を選択する条件を変更してもよい。
【0069】
なお、画像抽出部242は、現在の日付が、記念日当日、上記所定の期間内のうち記念日よりも前の日、及び上記所定の期間内のうち記念日よりも後の日のいずれであるかに応じて、抽出される静止画像を変更してもよい。例えば、画像抽出部242は、現在の日付が記念日よりも前の日であるとき、記念日よりも前の日付情報(月日)を有する静止画像を抽出する。画像抽出部242は、現在の日付が記念日当日であるとき、記念日当日の日付情報を有する静止画像を抽出する。画像抽出部242は、現在の日付が記念日よりも後の日であるとき、記念日よりも後の日付情報を有する静止画像を抽出する。
【0070】
また、例えば、記念日の月日だけでなく年も設定されている際には、画像抽出部242は、現在の日付が記念日よりも前の日であるとき、記念日の年月日よりも前の日付情報(年月日)を有する静止画像を抽出する。画像抽出部242は、現在の日付が記念日当日(記念日と同一の日付)であるとき、記念日の年月日の日付情報を有する静止画像を抽出する。画像抽出部242は、現在の日付が記念日よりも後の日であるとき、記念日の年月日よりも後の日付情報(年月日)を有する静止画像を抽出する。
画像抽出部242は、記念日に関連付けられた静止画像と抽出された静止画像とを動画像生成部243に出力する。
【0071】
動画像生成部243は、日付判定部241によって出力された、現在の日付が、記念日当日、上記所定の期間内のうち記念日よりも前の日、及び上記所定の期間内のうち記念日よりも後の日のいずれであるかを示す情報に基づき、画像抽出部242によって出力された静止画像を用いてフォトムービーやスライドショー等の動画像を生成する。動画像生成部243は、上記所定の期間内において、例えば、1日毎に、動画像の長さ、動画像に用いられる静止画像の構成、及び動画像に用いられるエフェクトのうち少なくともいずれかが異なる動画像を表示する。例えば、動画像生成部243は、現在の日付が、記念日当日、上記所定の期間内のうち記念日よりも前の日、及び上記所定の期間内のうち記念日よりも後の日のいずれであるかに応じて、スライドショーとフォトムービーのいずれの形態の動画像を作成するか、動画像の長さ(再生時間)、動画像に用いられる静止画像、動画像に用いられるエフェクト(トランジション)等を変更して動画像を作成する。
【0072】
具体的には、現在の日付が記念日当日であるとき、動画像生成部243は、記念日のための動画像を生成する。記念日のための動画像では、抽出された静止画像のうち、例えば、記念日当日の日付情報を有する静止画像が優先的に使用される。また、記念日に関連付けられた画像は、例えば、記念日のための画像内のクライマックスのシーンに用いられる。クライマックスのシーンは、例えば、動画像に含まれる最後のシーンや視覚効果が高いエフェクトが用いられるシーン等である。なお、記念日のための動画像は、上述の所定の期間内において、記念日当日以外の日に再生される動画像よりも長い再生時間を有する動画像であってもよい。また、動画像生成部243は、記念日のための動画像に、記念日以外の日に再生される動画像とは異なるエフェクトや音楽を用いることにより、記念日を盛り上げる効果を有する動画像を生成することもできる。動画像生成部243は、例えば、記念日データ301Aに設定された属性に基づいて、動画像に用いられるエフェクト(スタイル)を選択してもよい。例えば、動画像生成部243は、記念日の属性に「誕生日」が設定されているとき、「誕生日」に適したエフェクトを用いて動画像を作成する。
【0073】
現在の日付が所定の期間内のうち記念日よりも前の期間内であるとき、動画像生成部243は、記念日よりも前の期間内のための動画像を生成する。記念日よりも前の期間内のための動画像では、抽出された静止画像のうち、例えば、記念日よりも前の期間内に対応する日付情報を有する静止画像が優先的に使用される。なお、記念日よりも前の期間内のための動画像は、記念日当日に再生される動画像よりも短い再生時間を有する動画像であってもよい。記念日よりも前の期間内のための動画像は、例えば、ユーザに記念日が近づいていることを予告する効果を有する。
【0074】
また、現在の日付が所定の期間内のうち記念日よりも後の期間内であるとき、動画像生成部243は、記念日よりも後の期間内のための動画像を生成する。記念日よりも後の期間内のための動画像では、抽出された静止画像のうち、例えば、記念日よりも後の期間内に対応する日付情報を有する静止画像が優先的に使用される。なお、記念日よりも後の期間内のための動画像は、記念日当日に再生される動画像よりも短い再生時間を有する動画像であってもよい。
動画像生成部243は、上述のように生成した動画像を動画像再生部244に出力する。
【0075】
動画像再生部244は、動画像作成部243によって出力された動画像を再生し、画面(LCD17)に表示する。
【0076】
以上の構成により、フォトムービー作成アプリケーション202は、記念日にふさわしい静止画像等を含む動画像をユーザに提示することができる。画像抽出部242は、素材データベース301に格納された静止画像51から、記念日に関連付けられた一枚の静止画像(キー画像)に関連する静止画像を選択する。キー画像に関連する静止画像は、キー画像の生成日時、生成場所、及びキー画像に登場する人物のうちの少なくともいずれかに関連する静止画像である。フォトムービー作成アプリケーション202では、生成日時等の条件を指定して、条件を満たす静止画像を選択するのではなく、キー画像に関連する静止画像を選択することにより、ユーザが意識していない静止画像等も選択することができる。また、生成日時や生成場所等に基づいてグループ化された静止画像群(例えば、生成日毎のディレクトリ内に格納された静止画像群)を選択して、動画像を作成する際には、そのグループに属する静止画像を用いた動画像しか作成することができない。しかし、本実施形態のフォトムービー作成アプリケーション202では、キー画像と(生成日時等に基づく)同一のグループに属さない静止画像であっても、当該キー画像に関連性を有する静止画像を選択することができる。これにより、ユーザが静止画像を選択するための手間を軽減すると共に、設定された記念日に関連する静止画像群を用いた動画像を生成することができる。
【0077】
次いで、図9のフローチャートを参照して、フォトムービー作成アプリケーションプログラム202によって実行されるインデキシング処理の手順の例を説明する。
まず、監視部21は、素材データベース301を常時監視し、新たな静止画像(静止画像データ)51がHDD109内の素材データベース301に格納されたか否かを判定する(ブロックB11)。新たな静止画像51が格納されていない場合(ブロックB11のNO)、監視部21はブロックB11に戻り、再度、新たな静止画像51が格納されたか否かを判定する。
【0078】
新たな静止画像51が格納されている場合(ブロックB11のYES)、監視部21は、新たな静止画像51が素材データベース301に格納されたことを、インデキシング部22に通知する(ブロックB12)。
【0079】
次いで、顔画像検出部221は、静止画像51に含まれる顔画像を検出する(ブロックB13)。顔画像検出部221は、静止画像51に登場する人物の顔画像に対応する領域を検出し、当該領域の静止画像内における位置及びサイズを検出する。そして、顔画像検出部221は検出した顔画像を分析する(ブロックB14)。顔画像検出部221は、例えば、検出した顔画像の笑顔度、鮮明度、正面度等を算出する。顔画像検出部221は、検出した顔画像を示す情報をクラスタリング部222に出力する。
【0080】
クラスタリング部222は、検出した顔画像に対してクラスタリング処理を施すことにより、検出した顔画像を人物毎に分類する(ブロックB15)。クラスタリング部222は、顔画像に対して、対応する人物の識別情報(人物ID)を付与する。そして、クラスタリング部222は、顔画像検出部221によって検出された顔画像を示す情報と、顔画像に付与された人物IDを示す情報とをインデックス情報生成部223に出力する。
【0081】
インデックス情報生成部223は、顔画像検出部221及びクラスタリング部222による処理結果に基づいて、インデックス情報302Aを生成する(ブロックB16)。インデックス情報302Aは、静止画像51の生成日時及び生成場所、並びに該静止画像51に含まれる顔画像を示す顔画像情報を含む。また、この顔画像情報は、例えば、顔画像(例えば、顔画像に対応するデータの格納場所)、人物ID、位置、サイズ、笑顔度、鮮明度、及び正面度を含む。なお、静止画像51に複数の顔画像が含まれるとき、インデックス情報302Aは、複数の顔画像に対応する複数の顔画像情報を含む。インデックス情報生成部223は、生成したインデックス情報302Aを素材情報データベース302に格納する(ブロックB17)。
【0082】
以上の処理によりインデキシング部22は、素材データベース301に新たに格納された静止画像51に対応するインデックス情報302A(のエントリ)を素材情報データベース302に格納する。
【0083】
また、図10のフローチャートは、フォトムービー作成アプリケーションプログラム202によって実行される記念日設定処理の手順の例を示す。
【0084】
まず、記念日設定部231は記念日設定画面41を表示する(ブロックB201)。次いで、記念日設定部231は、記念日設定画面41上の画像参照ボタン414が押されたか否かを判定する(ブロックB202)。画像参照ボタン414が押されている場合(ブロックB202のYES)、記念日設定部231は、記念日入力エリア412に日付が入力されているか否かを判定する(ブロックB203)。
【0085】
記念日入力エリア412に日付が入力されている場合(ブロックB203のYES)、記念日設定部231は入力された日付を記念日に設定する(ブロックB207)。
【0086】
一方、記念日入力エリア412に日付が入力されていない場合(ブロックB203のNO)、画像一覧表示部233は所定の画像選択画面を表示する(ブロックB204)。所定の画像選択画面は、例えば、現在の日付に近い生成日時情報を有する画像の一覧を含む画面である。次いで、記念日設定部231は、表示された画像選択画面を用いて画像が選択されたか否かを判定する(ブロックB205)。画像が選択されている場合(ブロックB205のYES)、記念日設定部231は、選択された画像が生成された日付を記念日に設定する(ブロックB206)。画像が選択されていない場合(ブロックB205のNO)、記念日設定部231は、ブロックB205に戻り、再度画像が選択されたか否かを判定する。
【0087】
また、画像参照ボタン414が押されていない場合(ブロックB202のNO)、記念日設定部231は、カレンダー表示ボタン415が押されたか否かを判定する(ブロックB208)。カレンダー表示ボタン415が押されていない場合(ブロックB208のNO)、記念日設定部231は、ブロックB202に戻り、再度画像参照ボタン414が押されたか否かを判定する。
【0088】
カレンダー表示ボタン415が押された場合(ブロックB208のYES)、カレンダー表示部232はカレンダー画面45を表示する(ブロックB209)。次いで、記念日設定部231は、カレンダー画面45を用いて日付が選択されたか否かを判定する(ブロックB210)。カレンダー画面45を用いて日付が選択されていない場合(ブロックB210のNO)、記念日設定部231は、ブロックB210に戻り、再度日付が選択されたか否かを判定する。カレンダー画面45を用いて日付が選択されている場合(ブロックB210のYES)、記念日設定部231は、選択された日付を記念日に設定する(ブロックB211)。
【0089】
ブロックB207又はブロックB211において記念日が設定された後、画像一覧表示部233は、設定された記念日に基づく画像選択画面42,46を表示する(ブロックB212)。次いで、記念日設定部231は、画像選択画面42,46を用いて画像が選択されたか否かを判定する(ブロックB213)。画像選択画面42,46を用いて画像が選択されていない場合(ブロックB213のNO)、記念日設定部231は、ブロックB213に戻り、再度画像が選択されたか否かを判定する。
【0090】
画像が選択されている場合(ブロックB213のYES)、又はブロックB206において記念日が設定された後、記念日設定部231は、選択された画像を記念日の画像に設定する(ブロックB214)。つまり、記念日設定部231は、選択された画像を記念日に関連付ける。次いで、記念日設定部231は、人物が選択されたか否かを判定する(ブロックB215)。この人物は、例えば、記念日の画像に設定された画像に含まれる人物から選択される。例えば、選択された画像内の人物から、ユーザがその記念日に注目する人物を指示する操作によって、人物が選択される。また、素材データベース301に格納された静止画像データ51に登場する人物の顔画像の一覧を表示し、ユーザがその一覧から人物を選択してもよい。
【0091】
人物が選択されている場合(ブロックB215のYES)、記念日設定部231は、選択された人物を記念日の主人公に設定する(ブロックB216)。つまり、記念日設定部231は、選択された人物を記念日に関連付ける。人物が選択されていない場合(ブロックB215のNO)、記念日設定部231は主人公を設定しない。
【0092】
そして、記念日設定部231は、設定された記念日の日付、記念日の画像、及び記念日の主人公の情報を含む記念日データ303Aを記念日データベース303に格納する(ブロックB217)。なお、主人公が設定されていないとき、記念日設定部231は、記念日の日付及び記念日の画像を含む記念日データ303Aを記念日データベース303に格納する。
【0093】
以上の処理により、記念日設定制御部23は、新たに設定された記念日に対応する記念日データ303Aを記念日データベース303に格納される。記念日データ303Aには、記念日の日付に加えて、ユーザによって選択された記念日の画像(写真)や記念日の主人公を示す情報が含まれる。
【0094】
次いで、図11のフローチャートを参照して、フォトムービー作成アプリケーションプログラム202によって実行される動画像再生処理の手順の例について説明する。再生制御部24は、記念日データ303Aを用いて、現在の日付が記念日を含む所定の期間内であるとき、記念日に適した動画像(例えば、フォトムービー、スライドショー等)を作成し、再生する。
【0095】
まず、日付判定部241は、現在の日付が記念日を含む所定の期間内であるか否かを判定する(ブロックB31)。日付判定部241は、記念日データベース303に格納された記念日データ303Aを読み出し、現在の日付が、記念日データ303Aに示される記念日を含む所定の期間内であるか否かを判定する。現在の日付が記念日を含む所定の期間内でない場合(ブロックB31のNO)、動画像再生処理を終了する(すなわち、記念日に基づく動画像を作成、再生しない)。
【0096】
現在の日付が記念日を含む所定の期間内である場合(ブロックB31のYES)、画像抽出部242は、素材データベース301から、その記念日に関連付けられた画像(及び/又は主人公)に関連する画像を抽出する(ブロックB32)。画像抽出部242は、素材データベース301に格納された複数の静止画像51のうち、記念日データ303Aに示される記念日の画像に、日時、場所、人物等が関連する画像を抽出する。画像抽出部242は、記念日データ303Aに示される記念日の主人公に関連する画像を抽出してもよい。
【0097】
次いで、日付判定部241は、現在の日付が記念日の日付と一致しているか否かを判定する(ブロックB33)。現在の日付が記念日の日付と一致している場合(ブロックB33のYES)、動画像生成部243は、記念日のための動画像を作成する(ブロックB34)。記念日のための動画像では、ブロックB32で抽出された静止画像のうち、例えば、記念日当日の日付情報を有する静止画像が優先的に使用される。また、記念日に関連付けられた写真は、例えば、記念日のための動画像内のクライマックスのシーンに用いられる。なお、記念日のための動画像は、上述の所定の期間内において、記念日以外の日に再生される動画像よりも長い再生時間を有する動画像であってもよい。また、動画像生成部243は、記念日のための動画像に、記念日以外の日に再生される動画像とは異なるエフェクトや音楽を用いることにより、記念日を盛り上げる効果を有する動画像を生成することもできる。
【0098】
現在の日付が記念日の日付と一致していない場合(ブロックB33のNO)、日付判定部241は、現在の日付が記念日の日付よりも前の期間内であるか否かを判定する(ブロックB35)。現在の日付が記念日の日付よりも前の期間内である場合(ブロックB35のYES)、動画像生成部243は、記念日よりも前の期間内のための動画像を作成する(ブロックB36)。記念日よりも前の期間内のための動画像では、ブロックB32で抽出された静止画像のうち、例えば、記念日よりも前の期間に対応する日付情報を有する静止画像が優先的に使用される。なお、記念日よりも前の期間内のための動画像は、記念日当日に再生される動画像よりも短い再生時間を有する動画像であってもよい。記念日よりも前の期間内のための動画像は、例えば、ユーザに記念日が近づいていることを知らせる効果を有する。
【0099】
現在の日付が記念日の日付よりも前の期間内でない場合(ブロックB35のNO)、すなわち、記念日よりも後の期間内である場合、動画像生成部243は、記念日よりも後の期間内のための動画像を作成する(ブロックB37)。記念日よりも後の期間内のための動画像では、ブロックB32で抽出された静止画像のうち、例えば、記念日よりも後の期間に対応する日付情報を有する静止画像が優先的に使用される。なお、記念日よりも後の期間内のための動画像は、記念日当日に再生される動画像よりも短い再生時間を有する動画像であってもよい。
【0100】
そして、動画像再生部244は、動画像作成部243によって作成された動画像を再生し、画面(LCD17)に表示する(ブロックB38)。
【0101】
以上の処理により、再生制御部24は、記念日データ303Aに基づいて、現在の日付に適した動画像を生成し、ユーザに提示することができる。ユーザは、提示された動画像を視聴(観賞)することにより、その記念日を認識することやその記念日を想起することができる。
【0102】
以上説明したように、本実施形態によれば、記念日にふさわしい静止画像等を含む動画をユーザに提示できる。画像抽出部242は、素材データベース301に格納された静止画像51から、記念日に関連付けられた一枚の静止画像(キー画像)に関連する静止画像、または記念日の人物(主人公)に関連する静止画像を抽出する。動画像生成部243は、現在の日付が記念日を含む所定の期間内であるとき、記念日に関連付けられた一枚の静止画像とこの一枚の静止画像に関連する静止画像とを用いることにより、その記念日にふさわしい動画像を生成することができる。これにより、予め登録された記念日に近づいたとき、その記念日に関連する静止画像群を用いたスライドショーやフォトムービーをユーザに提示することができる。
【0103】
なお、本実施形態のインデキシング処理、記念日設定処理及び動画像再生処理の手順は全てソフトウェアによって実行することができる。このため、インデキシング処理、記念日設定処理及び動画像再生処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
【0104】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0105】
109…HDD、202…フォトムービー作成アプリケーションプログラム、21…監視部、22…インデキシング部、221…顔画像検出部、222…クラスタリング部、223…インデックス情報生成部、23…記念日設定制御部、231…記念日設定部、232…カレンダー表示部、233…画像一覧表示部、24…再生制御部、241…日付判定部、242…画像抽出部、243…動画像生成部、244…動画像再生部、301…素材データベース、51…静止画像データ、302…素材情報データベース、302A…インデックス情報、303…記念日データベース、303A…記念日データ。
【特許請求の範囲】
【請求項1】
入力された日付を記念日に設定する記念日設定手段と、
ユーザによって指定された一枚の静止画像を前記記念日に関連付ける画像設定手段と、
現在の日付が前記記念日を含む所定の期間内であるとき、複数の静止画像から前記一枚の静止画像に関連する静止画像を抽出する画像抽出手段と、
前記一枚の静止画像と前記抽出された静止画像とを用いた動画像を表示する画像表示手段とを具備する電子機器。
【請求項2】
前記一枚の静止画像に含まれる人物のうち、前記ユーザによって選択された人物を前記記念日に関連付ける人物設定手段をさらに具備し、
前記画像抽出手段は、前記複数の静止画像から前記関連付けられた人物に関連する静止画像を抽出する請求項1記載の電子機器。
【請求項3】
前記画像表示手段は、前記所定の期間内において、1日毎に、動画像の長さ、動画像に用いられる静止画像の構成、及び動画像に用いられるエフェクトの少なくともいずれかが異なる動画像を表示する請求項1記載の電子機器。
【請求項4】
前記画像設定手段は、前記複数の静止画像のうち、前記記念日に対応する日付情報を有する静止画像の一覧を表示し、前記ユーザによって前記静止画像の一覧から選択された一枚の静止画像を前記記念日に関連付ける請求項1記載の電子機器。
【請求項5】
入力された日付を記念日に設定する記念日設定手段と、
ユーザによって指定された人物を前記記念日に関連付ける人物設定手段と、
現在の日付が前記記念日を含む所定の期間内であるとき、複数の静止画像から前記関連付けられた人物に関連する静止画像を抽出する画像抽出手段と、
前記抽出された静止画像を用いた動画像を表示する画像表示手段とを具備する電子機器。
【請求項6】
前記画像表示手段は、前記所定の期間内において、1日毎に、動画像の長さ、動画像に用いられる静止画像の構成、及び動画像に用いられるエフェクトの少なくともいずれかが異なる動画像を表示する請求項5記載の電子機器。
【請求項7】
前記人物設定手段は、前記複数の静止画像に含まれる人物に対応する顔画像の一覧を表示し、前記ユーザによって前記顔画像の一覧から選択された顔画像に対応する人物を前記記念日に関連付ける請求項5記載の電子機器。
【請求項8】
入力された日付を記念日に設定し、
ユーザによって指定された一枚の静止画像を前記記念日に関連付け、
現在の日付が前記記念日を含む所定の期間内であるとき、複数の静止画像から前記一枚の静止画像に関連する静止画像を抽出し、
前記一枚の静止画像と前記抽出された静止画像とを用いた動画像を表示する画像処理方法。
【請求項9】
動画像を表示するプログラムであって、
入力された日付を記念日に設定する手順と、
ユーザによって指定された一枚の静止画像を前記記念日に関連付ける手順と、
現在の日付が前記記念日を含む所定の期間内であるとき、複数の静止画像から前記一枚の静止画像に関連する静止画像を抽出する手順と、
前記一枚の静止画像と前記抽出された静止画像とを用いた動画像を表示する手順とをコンピュータに実行させるプログラム。
【請求項1】
入力された日付を記念日に設定する記念日設定手段と、
ユーザによって指定された一枚の静止画像を前記記念日に関連付ける画像設定手段と、
現在の日付が前記記念日を含む所定の期間内であるとき、複数の静止画像から前記一枚の静止画像に関連する静止画像を抽出する画像抽出手段と、
前記一枚の静止画像と前記抽出された静止画像とを用いた動画像を表示する画像表示手段とを具備する電子機器。
【請求項2】
前記一枚の静止画像に含まれる人物のうち、前記ユーザによって選択された人物を前記記念日に関連付ける人物設定手段をさらに具備し、
前記画像抽出手段は、前記複数の静止画像から前記関連付けられた人物に関連する静止画像を抽出する請求項1記載の電子機器。
【請求項3】
前記画像表示手段は、前記所定の期間内において、1日毎に、動画像の長さ、動画像に用いられる静止画像の構成、及び動画像に用いられるエフェクトの少なくともいずれかが異なる動画像を表示する請求項1記載の電子機器。
【請求項4】
前記画像設定手段は、前記複数の静止画像のうち、前記記念日に対応する日付情報を有する静止画像の一覧を表示し、前記ユーザによって前記静止画像の一覧から選択された一枚の静止画像を前記記念日に関連付ける請求項1記載の電子機器。
【請求項5】
入力された日付を記念日に設定する記念日設定手段と、
ユーザによって指定された人物を前記記念日に関連付ける人物設定手段と、
現在の日付が前記記念日を含む所定の期間内であるとき、複数の静止画像から前記関連付けられた人物に関連する静止画像を抽出する画像抽出手段と、
前記抽出された静止画像を用いた動画像を表示する画像表示手段とを具備する電子機器。
【請求項6】
前記画像表示手段は、前記所定の期間内において、1日毎に、動画像の長さ、動画像に用いられる静止画像の構成、及び動画像に用いられるエフェクトの少なくともいずれかが異なる動画像を表示する請求項5記載の電子機器。
【請求項7】
前記人物設定手段は、前記複数の静止画像に含まれる人物に対応する顔画像の一覧を表示し、前記ユーザによって前記顔画像の一覧から選択された顔画像に対応する人物を前記記念日に関連付ける請求項5記載の電子機器。
【請求項8】
入力された日付を記念日に設定し、
ユーザによって指定された一枚の静止画像を前記記念日に関連付け、
現在の日付が前記記念日を含む所定の期間内であるとき、複数の静止画像から前記一枚の静止画像に関連する静止画像を抽出し、
前記一枚の静止画像と前記抽出された静止画像とを用いた動画像を表示する画像処理方法。
【請求項9】
動画像を表示するプログラムであって、
入力された日付を記念日に設定する手順と、
ユーザによって指定された一枚の静止画像を前記記念日に関連付ける手順と、
現在の日付が前記記念日を含む所定の期間内であるとき、複数の静止画像から前記一枚の静止画像に関連する静止画像を抽出する手順と、
前記一枚の静止画像と前記抽出された静止画像とを用いた動画像を表示する手順とをコンピュータに実行させるプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2012−98817(P2012−98817A)
【公開日】平成24年5月24日(2012.5.24)
【国際特許分類】
【出願番号】特願2010−244301(P2010−244301)
【出願日】平成22年10月29日(2010.10.29)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
【公開日】平成24年5月24日(2012.5.24)
【国際特許分類】
【出願日】平成22年10月29日(2010.10.29)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
[ Back to top ]