電子機器、画像出力方法及びプログラム
【課題】ビデオカメラ等で撮影された動画像を有効活用しながら、ユーザの現在または未来の生活に関連する静止画像をフォトフレームに表示させることが可能な電子機器、画像出力方法及びプログラムを提供すること。
【解決手段】ＰＶＲ１００は、ビデオカメラ３００により撮影された動画像コンテンツから、所定の特徴を検出してキーフレームを抽出し、当該キーフレームをデジタルフォトフレーム２００へ出力して表示させ、特定時刻が到来したときに、当該特定時刻に関連する他の画像または当該特定時刻に関連しかつ当該キーフレームに関連する他の画像へと変更するために、当該他の画像をデジタルフォトフレーム２００へ出力する。
【解決手段】ＰＶＲ１００は、ビデオカメラ３００により撮影された動画像コンテンツから、所定の特徴を検出してキーフレームを抽出し、当該キーフレームをデジタルフォトフレーム２００へ出力して表示させ、特定時刻が到来したときに、当該特定時刻に関連する他の画像または当該特定時刻に関連しかつ当該キーフレームに関連する他の画像へと変更するために、当該他の画像をデジタルフォトフレーム２００へ出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばデジタルフォトフレーム等の表示装置に画像を出力して表示させることが可能な電子機器、当該電子機器における画像出力方法及びプログラムに関する。
【背景技術】
【０００２】
従来から、紙媒体に印刷された写真を鑑賞するためのフォトフレーム（写真立て）に模して、デジタル画像を表示可能なデジタルフォトフレームが存在する。デジタルフォトフレームに関する先行文献としては以下のものが挙げられる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−０４５１３９号公報
【特許文献２】特開２０００−３１２６３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のデジタルフォトフレームは、例えば自身に装着されたメモリカード等の記録媒体から、デジタルカメラ等で撮影された静止画像をランダムに読み出して、単にスライドショーするのが一般的である。したがって、デジタルフォトフレームは、デジタルカメラやコンピュータ等の機器を操作しなくても静止画像を表示できるということ以外の利点を有しない。またユーザは、デジタルフォトフレームにより表示される静止画像を鑑賞することで、例えば過去の出来事を思い出すことはできるが、それを現在または未来の生活と結びつけることはできない。
【０００５】
一方、例えばユーザがデジタルビデオカメラ等で撮影した動画像は、撮影後に一回鑑賞されると、それ以後は、特別なことが無い限り鑑賞されることはないため、せっかく撮影した動画像が無駄になっていた。
【０００６】
以上のような事情に鑑み、本発明の目的は、ビデオカメラ等で撮影された動画像を有効活用しながら、ユーザの現在または未来の生活に関連する静止画像をフォトフレームに表示させることが可能な電子機器、画像出力方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の一形態に係る電子機器は、記憶部と、第１の通信部と、制御部とを有する。上記記憶部は、動画像と、所定の日時情報とを記憶する。上記第１の通信部は、デジタルフォトフレームと通信する。上記制御部は、上記動画像から所定の特徴を抽出し、当該抽出された特徴を基に第１の静止画像を抽出し、上記第１の静止画像を表示させるために、前記第１の通信部により当該第１の静止画像を上記デジタルフォトフレームへ出力する。また当該制御部は、上記日時情報に対応する日時が到来したときに、当該日時情報に関連する第２の静止画像を取得し、上記第１の静止画像を上記第２の静止画像に変化させるために、上記第１の通信部により当該第２の静止画像を上記デジタルフォトフレームへ出力する。
この構成により、電子機器は、動画像から、特定のオブジェクトを含む第１の静止画像を抽出してデジタルフォトフレームに表示させることができるとともに、当該特定のオブジェクトに関連する日時に、当該第１の静止画像を第２の静止画像に変化させることができる。したがって電子機器は、フォトフレームの閲覧者に、動画像中の各シーンを静止画像として閲覧させるのみならず、特定の日時には、当該日時に関連する情報を思い起こさせ、ユーザの現在・未来の行動の指針とすることができる。
ここで動画像とは、例えばデジタルビデオカメラ等により撮影された動画像等であり、所定の特徴とは、例えばパン、チルト、ズーム等の動き特徴や、人物（顔）、動物、建物等のオブジェクトを示す特徴等である。電子機器とは、例えばデジタルビデオカメラ、記録再生装置、その他のＡＶ機器、ＰＣ（Personal Computer）、携帯電話機等である。
【０００８】
上記電子機器において、上記日時情報は、上記動画像に含まれ得る特定のオブジェクトに関連する日時情報であってもよい。また上記制御部は、上記動画像から上記特定のオブジェクトを認識して、当該特定のオブジェクトを含む静止画像を上記第２の静止画像として抽出してもよい。そして当該制御部は、当該特定のオブジェクトに関連する上記日時情報を基に、当該日時情報に対応する日時が到来したときに、上記第２の静止画像を上記第１の通信部により上記デジタルフォトフレームへ出力してもよい。
これにより電子機器は、動画像から抽出された第２の静止画像を、当該第２の静止画像中のオブジェクトに関連する日時にデジタルフォトフレームに表示させ、日時との関係で当該オブジェクトに関するイベントをユーザに思い出させることができる。例えば、オブジェクトが子供であり、日時情報として当該子供の誕生日が記憶されていれば、フォトフレームには、当該誕生日以外の日時には第１の静止画像として当該子供に関連しない画像がフォトフレームに表示されていても、当該日時が到来したときに、第２の静止画像としての子供の画像が表示される。したがってユーザは、当該日時に当該子供の画像を閲覧することで、子供の誕生日を思い出すことができる。
この場合、上記動画像は音声情報を有し、上記デジタルフォトフレームは当該音声情報を出力可能であってもよい。この場合上記制御部は、上記動画像から、上記抽出された第２の静止画像に含まれる特定のオブジェクトに関連する音声情報を抽出してもよい。そして当該制御部は、上記日時情報に対応する日時が到来したときに、当該抽出された音声情報を出力させるために、当該音声情報を上記デジタルフォトフレームへ出力してもよい。
これにより電子機器は、特定の日時に、当該特定の日時に関連する静止画像をフォトフレームに表示させるとともに、当該特定の日時に関連する音声（音楽）を出力させることができ、当該静止画像を、フォトフレーム上でユーザにより印象深く提供することができる。
【０００９】
上記電子機器は、ネットワークに接続する第２の通信部をさらに具備してもよい。この場合上記日時情報は、一日のうちの所定時刻であってもよい。この場合上記制御部は、上記動画像から特定のオブジェクトを認識して、当該特定のオブジェクトを含む静止画像を上記第１の静止画像として抽出してもよい。そして上記制御部は、上記第１の静止画像に関連する関連情報を上記第２の通信部により上記ネットワーク上から検索及び受信し、上記所定時刻が到来したときに、当該受信された関連情報を、上記第２の静止画像として上記第１の通信部により上記デジタルフォトフレームへ出力してもよい。
これにより電子機器は、動画像から抽出した静止画像に含まれるオブジェクトを単にフォトフレーム上で閲覧させるのみならず、当該オブジェクトに関連する情報を、タイミングよく提供することができ、ユーザの利便性を向上させることができる。例えばオブジェクトがユーザのペットである場合、ペットフードに関する情報を、例えば午後４時等、ユーザが買物に出かけるであろう時刻に表示させることができる。
【００１０】
また上記制御部は、上記第１の静止画像に含まれる上記オブジェクトに関連し、かつ、上記検索を実行する時が属する日に限って入手可能な商品の広告情報を上記関連情報として検索してもよい。
これにより電子機器は、所定時刻に関連情報をフォトフレーム上で表示させることで、当該関連情報を基に、ユーザの毎日の生活習慣において採るべき行動を喚起したり、当該行動における指針を提供したりすることができる。例えば、ユーザが毎日午後４時にスーパーマーケットへ買物に行く場合、電子機器は、当該スーパーマーケットでその日に売り出される商品の広告（チラシ）を関連情報として検索して表示させることができる。
【００１１】
本発明の他の形態に係る画像出力方法は、動画像と、所定の日時情報とを記憶することを含む。上記動画像からは、所定の特徴が抽出され、当該抽出された特徴を基に第１の静止画像が抽出される。当該抽出された第１の静止画像は、当該第１の静止画像を表示させるためにデジタルフォトフレームへ出力される。そして、上記日時情報に対応する日時が到来したときに、当該日時情報に関連する第２の静止画像が取得される。当該第２の静止画像は、上記第１の静止画像を上記第２の静止画像に変化させるために、上記デジタルフォトフレームへ出力される。
【００１２】
本発明のまた別の形態に係るプログラムは、電子機器に、記憶ステップと、抽出ステップと、第１の出力ステップと、取得ステップと、第２の出力ステップとを有する。上記記憶ステップは、動画像と、所定の日時情報とを記憶する。上記抽出ステップは、上記動画像から所定の特徴を抽出し、当該抽出された特徴を基に第１の静止画像を抽出する。上記第１の出力ステップは、上記抽出された第１の静止画像を表示させるために、当該第１の静止画像をデジタルフォトフレームへ出力する。上記取得ステップは、上記日時情報に対応する日時が到来したときに、当該日時情報に関連する第２の静止画像を取得する。上記第２の出力ステップは、上記第１の静止画像を上記第２の静止画像に変化させるために、当該第２の静止画像を上記デジタルフォトフレームへ出力する。
【発明の効果】
【００１３】
以上のように、本発明によれば、ビデオカメラ等で撮影された動画像を有効活用しながら、ユーザの現在または未来の生活に関連する静止画像をフォトフレームに表示させることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態における画像出力システムの概要を示す図である。
【図２】本発明の一実施形態に係るＰＶＲのハードウェア構成を示す図である。
【図３】本発明の一実施形態に係るＰＶＲの上記特徴抽出部の構成を示した図である。
【図４】本発明の一実施形態に係るＰＶＲのオブジェクト認識処理の様子を概念的に示した図である。
【図５】本発明の一実施形態に係るＰＶＲの静止画像出力処理の流れを示したフローチャートである。
【図６】本発明の第１の変形例におけるＰＶＲの静止画像出力処理の流れを示したフローチャートである。
【図７】本発明の第１の変形例におけるＰＶＲの静止画像変更処理の具体的な処理の流れを示したフローチャートである。
【図８】本発明の第１の変形例における静止画像変更処理の様子を概念的に示した図である。
【図９】本発明の第２の変形例におけるＰＶＲの静止画像出力処理の流れを示したフローチャートである。
【図１０】本発明の第２の変形例におけるＰＶＲの静止画像出力処理の具体的な処理の流れを示したフローチャートである。
【図１１】本発明の第２の変形例におけるＰＶＲの静止画像変更処理の具体的な処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００１５】
以下、図面を参照しながら、本発明の実施形態を説明する。
【００１６】
［ＰＶＲの概要］
図１は、本発明の一実施形態における画像出力システムの概要を示す図である。
同図に示すように、ＰＶＲ（Personal Video Recorder）１００は、フォトフレーム２００、ビデオカメラ３００、携帯端末４００と有線または無線により通信可能であり、また例えばインターネット等のネットワーク５０にも接続可能である。
【００１７】
ＰＶＲ１００は、ビデオカメラ３００に記憶された、ユーザが撮影した動画像コンテンツをビデオカメラ３００から受信して記憶している。またＰＶＲ１００は、当該動画像コンテンツに含まれるタイムコードも日時情報として記憶している。さらにＰＶＲ１００は、携帯端末からユーザのスケジュール情報を受信し、当該スケジュール情報を日時情報として記憶している。
【００１８】
ＰＶＲ１００は、当該動画像コンテンツから静止画像を抽出し、当該静止画像をデジタルフォトフレーム２００へ出力し表示させる。またＰＶＲ１００は、上記日時情報を基に、デジタルフォトフレーム２００において表示された静止画像を他の静止画像へと変化させることが可能である。当該他の静止画像には、ネットワーク５０を介して受信されるものも含まれる。さらにＰＶＲ１００は、静止画像とともに、音声情報もデジタルフォトフレーム２００へ送信し出力させることが可能である。
【００１９】
デジタルフォトフレーム２００は、フレーム２０１、ＬＣＤ（Liquid Crystal Display）２０２及び図示しないＵＳＢ（Universal Serial Bus）インタフェース、無線ＬＡＮ、Bluetooth（登録商標）等の通信インタフェースを有する。デジタルフォトフレーム２００（以下、単にフォトフレーム２００ともいう）は、当該通信インタフェースにより、ＰＶＲ１００から出力された静止画像を受信し、当該静止画像を上記ＬＣＤ２０２により表示することが可能である。またデジタルフォトフレーム２００は、図示しないスピーカを有し、同様にＰＶＲ１００から受信した音声情報を出力することも可能である。
【００２０】
［ＰＶＲのハードウェア構成］
図２は、上記ＰＶＲ１００のハードウェア構成を示す図である。
同図に示すように、このＰＶＲ１００は、デジタルチューナ１、復調部２、デマルチプレクサ３、デコーダ４、記録再生部５、ＨＤＤ（Hard Disk Drive）８、光ディスクドライブ９、通信部１１を有する。またＰＶＲ１００は、ＣＰＵ（Central Processing Unit）１２、フラッシュメモリ１３、ＲＡＭ（Random Access Memory）１４を有する。さらにＰＶＲ１００は、操作入力部１５、グラフィック制御部１６、映像Ｄ／Ａ（Digital/Analog）コンバータ１７、音声Ｄ／Ａ（Digital/Analog）コンバータ１８、無線インタフェース（Ｉ／Ｆ）１９、外部インタフェース２０及び特徴抽出部２１を有する。
【００２１】
デジタルチューナ１は、ＣＰＵ１２の制御に従って、アンテナ３０を介してデジタル放送の特定のチャンネルを選局して、番組のデータを含む放送信号を受信する。復調部２は、変調された当該放送信号を復調する。
【００２２】
デマルチプレクサ３は、多重化された放送信号を、映像信号と音声信号とに分離し、デコーダ４へ供給する。またデマルチプレクサ３は、分離した各信号を、特徴抽出部２１へも供給可能である。デコーダ４は、デマルチプレクサ３で分離された映像信号及び音声信号をそれぞれデコードする。デコードされた各信号は記録再生部５へ供給される。
【００２３】
記録再生部５は、記録部６及び再生部７を有する。記録部６は、デコーダ４によりデコードされ入力された映像信号及び音声信号を一時的に蓄積して、タイミングやデータ量を制御しながらＨＤＤ８や光ディスクドライブ９に出力して記録させる。また記録部６は、ＨＤＤ８に記録されたコンテンツを読み出して光ディスクドライブ９に出力し、光ディスク１０に記録させることも可能である。再生部７は、ＨＤＤ８や光ディスク１０に記録された映像コンテンツの映像信号及び音声信号を読み出し、タイミングやデータ量を制御しながらデコーダ４へ出力して再生させる。
【００２４】
ＨＤＤ８は、デジタルチューナ１を介して受信した番組や、通信部１１によりインターネット等のネットワーク５０を介して受信される種々のコンテンツを内蔵のハードディスクに記憶する。またＨＤＤ８は、上記デジタルカメラ３００や携帯端末４００等から、外部インタフェース２０等を介して入力した上記動画像コンテンツ及び上記日時情報も記憶する。日時情報としては、例えば、特定の人物に関するイベント（誕生日、記念日等）や、ユーザが経験した過去の出来事（旅行、結婚式等）の日付等がある。この日時情報は、上記イベントや出来事を識別する情報とそれぞれ対応付けられて記憶される。さらにＨＤＤ８は、動画像コンテンツから特定のオブジェクト（例えば顔）を認識するための学習用データも記憶する。これらの記憶されたコンテンツが再生される際には、ＨＤＤ８は、これらのデータを上記ハードディスクから読み出し、記録再生部５へ出力する。
【００２５】
またＨＤＤ８は、アプリケーション等の各種プログラム、その他のデータ等を記憶する場合もある。これらのプログラムやデータは、それらの実行時及び参照時に、ＣＰＵ１２の指令によりＨＤＤ８から読み出され、ＲＡＭ１４へ展開される。
【００２６】
光ディスクドライブ９は、上記ＨＤＤ８と同様に、当該装着された光ディスク１０に上記番組コンテンツ等の各種データを記録し、また記録されたデータを読み出すことが可能である。また上記各種プログラムは、これら光ディスク１０等の可般性の記録媒体に記録され、光ディスクドライブ９によりＰＶＲ１００にインストールされてもよい。
【００２７】
通信部１１は、上記ネットワーク５０に接続してＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）等のプロトコルによりネットワーク５０上の他の装置とデータのやり取りを行うためのネットワークインタフェースである。通信部１１により受信されたデータが多重化されている場合、デマルチプレクサ３に供給される。また受信されたデータのうち少なくとも一部は、必要に応じて特徴抽出部２１にも供給される。
【００２８】
無線インタフェース１９は、例えば無線ＬＡＮ、Bluetooth（登録商標）等の無線通信規格に準じたモジュールを有し、フォトフレーム２００へ無線により静止画像や音声情報を送信可能である。
【００２９】
外部インタフェース２０は、例えばＵＳＢインタフェース等からなり、上記ビデオカメラ３００から動画像コンテンツを受信したり、携帯端末４００からスケジュール情報を受信したりする。当該動画像コンテンツやスケジュール情報は、上記無線インタフェース１９を介してビデオカメラ３００及び携帯端末４００から受信されても構わない。
【００３０】
ＣＰＵ１２は、必要に応じてＲＡＭ１４等にアクセスし、記録再生部５によるデータの記録及び再生処理等、ＰＶＲ１００の各ブロックの処理を統括的に制御する。
【００３１】
フラッシュメモリ１３は、例えばＮＡＮＤ型のものであり、ＣＰＵ１２に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。またフラッシュメモリ１３は、動画像コンテンツからの静止画像及び音声情報の抽出処理及びフォトフレーム２００へ出力する静止画像及び音声情報の変更処理等に用いるプログラム、その他の各種プログラム、上記ＥＰＧデータ等の各種データを記憶する。
【００３２】
ＲＡＭ１４は、ＣＰＵ１２の作業用領域等として用いられ、上記静止画像及び音声情報の抽出処理や変更処理の最中に、ＯＳやプログラム、処理データ等を一時的に保持するメモリである。
【００３３】
操作入力部１５は、例えば複数のキーを有するリモートコントローラ２２（以下、リモコン２２と称する）から、ユーザの操作による各種設定値や指令を入力してＣＰＵ１２へ出力する。もちろん、操作入力部１５は、リモコン２２によらずに、ＰＶＲ１００に接続されたキーボードやマウス、ＰＶＲ１００に実装されたスイッチ等で構成されていても構わない。
【００３４】
グラフィック制御部１６は、デコーダ４から出力された映像信号やＣＰＵ１２から出力されるその他の映像データにＯＳＤ（On Screen Display）処理等のグラフィック処理を施し、例えばテレビジョン装置（ＴＶ）等の表示装置に表示させるための映像信号を生成する。
【００３５】
映像Ｄ／Ａコンバータ１７は、上記グラフィック制御部１６から入力されたデジタル映像信号をアナログ映像信号に変換して、表示装置へ出力する。
【００３６】
音声Ｄ／Ａコンバータ１８は、上記デコーダ４から入力されたデジタル音声信号をアナログ音声信号に変換して、ＴＶ等へ出力する。
【００３７】
特徴抽出部２１は、上記ビデオカメラ３００から受信して記憶した動画像コンテンツから、所定の映像特徴及び音声特徴を抽出し、当該各特徴を基に、フォトフレーム２００へ出力するための静止画像及び音声情報を抽出する。所定の映像特徴とは、例えばパン、チルト、ズーム等の動き特徴や、人物（顔）、動物、建物等のオブジェクトを示す特徴等である。所定の音声特徴とは、例えば人の声を示す特徴、より具体的には音声パワーの継続時間を示す特徴等である。
【００３８】
［特徴抽出部の構成］
図３は、ＰＶＲ１００の上記特徴抽出部２１の構成を示した図である。
同図に示すように、特徴抽出部２１は、画像に関する処理を行うブロックとして、キーフレーム抽出部２１１、画像特徴検出部２１２及び画像メモリ２１３を有する。また特徴抽出部２１は、音声に関する処理を行うブロックとして、音声特徴抽出部２１４、音声特徴検出部２１５及び音声メモリ２１６を有する。
【００３９】
ユーザは、例えばリモコン２２により、ＰＶＲ１００の各動作モード（放送番組視聴モード、録画番組視聴モード等）のうち、ＰＶＲ１００に記憶された動画像コンテンツから抽出される静止画像をフォトフレーム２００に表示するモードを選択する。当該モード選択操作が入力されると、操作入力部１５を介して当該モード選択情報がＣＰＵ１２へ伝えられ、動画像コンテンツからの特徴抽出処理が開始される。
【００４０】
ＣＰＵ１２は、ＨＤＤ８に記憶されたコンテンツのうち、ビデオカメラ３００から転送された動画像コンテンツを特徴抽出部２１へ入力する。当該動画像コンテンツのうち画像データは、キーフレーム抽出部２１１及び画像特徴検出部２１２へ入力される。
【００４１】
画像特徴検出部２１２は、動画像コンテンツから、例えばパン、チルト、ズーム等のカメラ特徴や、オブジェクト（顔等）等の画像特徴を検出し、その結果をＣＰＵ１２へ伝える。ＣＰＵ１２は、当該検出結果を基に、動画像コンテンツから、画像特徴が抽出されたフレームをキーフレームとして抽出するようにキーフレーム抽出部２１１を制御する。抽出されたキーフレームは、画像メモリ２１３へ蓄積され、後述の処理によりフォトフレーム２００へ出力される。
【００４２】
ここで、カメラ特徴やオブジェクトが画像特徴として抽出されるのは、カメラ特徴区間はユーザが意図してカメラを操作して撮影した区間であるため、ユーザにとって重要なシーンであると考えられ、また顔等のオブジェクトはユーザの注目の的となりやすいためである。ＰＶＲ１００は、これらの特徴を含む静止画像がフォトフレーム２００へ出力し表示させることで、ユーザにとって印象の強い画像を閲覧させることができる。
【００４３】
音声特徴検出部２１５は、動画像コンテンツの音声データのうち、例えば上記キーフレームの前後区間の音声であって、所定レベル以上のパワーを有する音声を音声特徴として検出し、検出結果をＣＰＵ１２へ伝える。ＣＰＵ１２は、当該検出結果を基に、動画像コンテンツから、音声特徴が検出された区間の音声データを音声特徴区間データとして抽出するように音声特徴抽出部２１４を制御する。抽出された音声特徴区間データは音声メモリ２１６へ蓄積され、後述の処理によりフォトフレーム２００へ出力される。
【００４４】
［ＰＶＲの動作］
次に、以上のように構成されたＰＶＲ１００の動作について説明する。以降の説明においては、ＰＶＲ１００のＣＰＵ１２を主な動作主体として説明する。しかし、この動作は、上記特徴抽出部２１や、ＣＰＵ１２の制御下において実行されるプログラムとも協働して行われる。
【００４５】
（オブジェクト判別処理）
まず、本実施形態においてフォトフレーム２００に表示される静止画像を変化させる上で必要となるオブジェクト認識処理について説明する。図４は、当該オブジェクト認識処理の様子を概念的に示した図である。
【００４６】
同図に示すように、ＰＶＲ１００のＨＤＤ８には、学習用データとして様々なオブジェクトを示す静止画像が記憶されている。本実施形態においては、デジタルカメラ３００で撮影される動画像は家庭内のものであることを想定し、例えばユーザの家族やペット（例えば赤ちゃん、犬、長女、母親、父親等）を示す画像が学習用データとして記憶される。特徴抽出部２１は、当該学習用データから、例えばエッジ、色、テクスチャ等の特徴量を抽出して多次元ベクトル化し、当該特徴ベクトルを基に、統計的機械学習により、判別関数を生成する。生成された判別関数は、例えばＨＤＤ８やフラッシュメモリ１３等に記憶され、動画像コンテンツからのオブジェクト検出の際に必要な判別分析処理に用いられる。例えば、動画像コンテンツに含まれる未知の画像データから抽出した特徴データに基づくが判別関数に入力されることで、当該未知のオブジェクトが既知のオブジェクト（同図では犬）であると判別され、その結果が出力される。
【００４７】
また、判別関数を用いた判別分析処理の代わりに、例えばサポートベクターマシン（ＳＶＭ）、Ada-boost、ニューラルネットワーク等の機械学習的な手法を用いた判別分析処理が実行されてもよい。この場合、判別関数の代わりに、その判別処理を実行する処理モジュールがＰＶＲ１００に組み込まれる。
【００４８】
オブジェクト全体ではなく、例えば人間の顔を認識する場合は、特徴抽出部２１は、例えば顔の各パーツの位置関係に応じた特徴フィルター、輝度分布情報、肌色情報等を用いて顔特徴データを抽出して特徴ベクトルを生成する。
【００４９】
（フォトフレームへの静止画像出力処理）
次に、ＰＶＲ１００によるフォトフレームへの静止画像出力処理について説明する。図５は、当該静止画像出力処理の流れを示したフローチャートである。
【００５０】
同図に示すように、まずＰＶＲ１００のＣＰＵ１２は、ビデオカメラ３００から入力された動画像コンテンツから、映像特徴及び音声特徴を抽出する（ステップ４１）。映像特徴抽出処理により、キーフレームが検出された場合（ステップ４２のＹｅｓ）、ＣＰＵ１２は、当該キーフレームを抽出する（ステップ４３）。当該キーフレームとしては、パン、チルト、ズーム等のカメラ特徴を有するフレームや、上記判別関数を基に認識されたオブジェクトを含むフレームが抽出される。当該抽出処理は、例えばユーザが上記モード選択を行った場合に開始される。
【００５１】
カメラ特徴を認識するため、特徴抽出部２１は、例えば、複数のフレーム間で各画素についてブロックマッチング処理を行うことで動きベクトルを検出し、当該動きベクトルを基に重回帰分析によりアフィン係数を算出する。そして特徴抽出部２１は、当該アフィン係数がパン、チルト、ズームのいずれの特徴を示しているかを、例えば各カメラ特徴に応じた閾値により判断して、カメラ特徴の有無を検出する。
【００５２】
またＣＰＵ１２は、当該キーフレームが抽出された区間の音声データのうち、例えば人の声が含まれる区間を音声特徴区間データとして抽出する。動画像データに含まれる音声区間のうち、人の声には、子音、母音、息継ぎ等が含まれるため、音楽等の声以外の音声と比べて、所定パワー以上の継続区間が短いという特徴がある。この特徴を利用して、特徴抽出部２１は例えば、時間に関する閾値を設定し、所定パワー以上の平均継続時間長が当該閾値よりも小さい場合には、その区間は声区間とし、当該閾値よりも大きい場合には、その区間は非声区間であると判定する。
【００５３】
続いてＣＰＵ１２は、上記抽出されたキーフレームを上記画像メモリ２１３へ保存し、また上記抽出された音声特徴区間データを上記音声メモリ２１６へ保存する（ステップ４４）。このとき、保存されるキーフレームに含まれるオブジェクト（人）を識別する情報も合わせて保存される。
【００５４】
ＣＰＵ１２は、当該特徴抽出・メモリ処理を、例えばビデオカメラ３００から入力した全ての動画像コンテンツについて繰り返す（ステップ４５）。
【００５５】
続いてＣＰＵ１２は、上記メモリされたキーフレームをフォトフレーム２００へ出力し、当該フォトフレーム２００での画像表示処理を開始させる（ステップ４６）。例えばＣＰＵ１２は、上記抽出されたキーフレームを、抽出された特徴に応じて優先順位をつけて順次所定間隔でフォトフレーム２００へ出力する。所定間隔は例えば３０秒であるが、これに限られない。フォトフレーム２００は、当該キーフレームを、当該時間間隔毎に表示する。優先順位は、例えば、（１）ズーム、（２）顔、（３）パン、（４）チルトの順に設定されてもよい。
【００５６】
続いてＣＰＵ１２は、ＨＤＤ８等から、上記日時（年も含む）情報を取得し（ステップ４７）、当該日時情報と、内蔵クロックが示す現在の日時とを比較する（ステップ４８）。そしてＣＰＵ１２は、現在の日時が、上記記憶された日時情報に対応する特定の日時が到来したと判断した場合（ステップ４８のＹｅｓ）、当該日時情報に関連する静止画像を取得する。当該関連する静止画像は、例えば、上記キーフレームとして抽出されたフレームのうち、当該到来した日時に対応する日時情報に関連するオブジェクトを含むフレームである。ＣＰＵ１２は、当該日時情報に関連するフレームをフォトフレーム２００へ出力し、それまで表示されたフレームを当該新たなフレームへと変更させる（ステップ４９）。またこのとき、当該新たなフレームに関連する音声情報があれば、ＣＰＵ１２は、当該音声情報も出力する。
【００５７】
例えば、上記記憶された日時情報がユーザの子供の誕生日であった場合、ＣＰＵ１２は、当該子供の誕生日が到来したときに、当該子供の画像を含むフレームを画像メモリ２１３から抽出して出力し、それまでのフレームに替わってフォトフレーム２００に表示させる。これによりユーザは、その日が子供の誕生日であることを認識し、例えばプレゼントや特別な食事を用意するといった計画を立てることができる。このとき、ＣＰＵ１２は、例えば楽曲"Happy Birthday"の音声情報をフォトフレーム２００へ出力し再生させてもよい。これにより誕生日の雰囲気がより盛り上がることになる。
【００５８】
また、上記記憶された日時情報が、ユーザ自身の結婚記念日であった場合、ＣＰＵ１２は、当該記念日が到来したときに、ユーザ自身と配偶者が含まれるフレームを抽出してフォトフレーム２００へ出力してもよい。これによりユーザは、当該記念日を認識して、何らかの準備をすることはもちろん、例えばその日の食卓等でフォトフレーム２００を閲覧しながら思い出に浸ることができる。
【００５９】
ＣＰＵ１２は、以上の処理を、ユーザにより処理終了が指示されるまでの間、上記記憶された日時情報に対応する日時が到来するたびに繰り返す。
【００６０】
［まとめ］
以上説明したように、本実施形態によれば、ビデオカメラ等で撮影された動画像を有効活用しながら、ユーザの現在または未来の生活に関連する静止画像をフォトフレームに表示させることができる。
【００６１】
［変形例］
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【００６２】
（変形例１）
上述の実施形態においては、フォトフレーム２００で表示される静止画像の変更にあたり、動画像コンテンツから抽出されたキーフレームのうち、ＨＤＤ８に記憶された日時情報に関連するキーフレームが出力された。しかし、ＰＶＲ１００は、例えば、それまでフォトフレーム２００で表示されていたキーフレームに関連する情報を外部から取得して、当該取得した関連情報を新たな静止画像としてフォトフレーム２００へ出力して表示させることもできる。以下、この場合のＰＶＲ１００の具体的処理について説明する。
【００６３】
図６は、本変形例におけるＰＶＲ１００の静止画像出力処理の流れを示したフローチャートである。以下では、ＰＶＲ１００によるフォトフレーム２００への音声情報の出力処理については説明を省略するが、音声情報についても上記実施形態と同様にキーフレームから抽出され、フォトフレーム２００へ出力されるものとする。
【００６４】
同図に示すように、まずＣＰＵ１２は、動画像コンテンツからのキーフレーム検出にあたり、検出フラグｋ（ｎ）を０に初期設定する（ステップ６１）。ここでｎは、０≦ｎ≦ｋｍａｘである。
【００６５】
続いてＣＰＵ１２は、キーフレームの検出数を示すカウンタｍを０に設定する（ステップ６２）。続いてＣＰＵ１２は、上述の実施形態と同様に、動画像コンテンツから、フレーム毎に、カメラ特徴やオブジェクト特徴等の画像特徴を抽出する（ステップ６３）。
【００６６】
続いてＣＰＵ１２は、当該特徴抽出処理により、当該処理対象のフレームがキーフレームであるか否かを判断し（ステップ６４）、当該フレームがキーフレームである場合（Ｙｅｓ）には、ｍ番目のフレームについての上記検出フラグをｋ（ｍ）＝１に設定した上で（ステップ６５）、ｍをインクリメントする（ステップ６６）。
【００６７】
そしてＣＰＵ１２は、当該キーフレームを抽出して（ステップ６７）、上記画像メモリ２１３へ保存する（ステップ６８）。ＣＰＵ１２は、以上の処理を、ビデオカメラ３００から取り込んだ全ての動画像コンテンツの全てのフレームについて繰り返す（ステップ６９）。
【００６８】
当該キーフレーム抽出処理が終了すると（ステップ６９のＹｅｓ）、ＣＰＵ１２は、当該キーフレームのフォトフレーム２００への出力処理を実行する。
【００６９】
まずＣＰＵ１２は、当該キーフレーム出力処理のカウンタｎを０に初期設定する（ステップ７０）。続いてＣＰＵ１２は、上記抽出されたキーフレームを、例えば上記実施形態における優先順位に従って、順次フォトフレームへ出力し表示させる処理を開始する（ステップ７１）。
【００７０】
続いてＣＰＵ１２は、ＨＤＤ８等から、上記日時（年も含む）情報を取得し（ステップ７２）、当該日時情報と、内蔵クロックが示す現在の日時とを比較する（ステップ７３）。そしてＣＰＵ１２は、現在の日時が、上記記憶された日時情報に対応する特定の日時が到来したと判断した場合（ステップ７３のＹｅｓ）、それまでフォトフレーム２００に表示されていた画像を変更する処理を実行する（ステップ７４）。この場合における日時情報は、例えば、ユーザが毎日買物に出かける時間等、ユーザの習慣的な行動が開始されるであろう日時（時刻）である。
【００７１】
図７は、当該画像変更処理の具体的な流れを示したフローチャートである。同図に示すように、ＣＰＵ１２は、例えば上記買物等の参考になるスーパーマーケットのチラシ等の生活情報とともに、キーフレームｋ（ｎ％ｍ）に関連する関連情報を、通信部１１によりネットワーク５０上から検索する（ステップ７３１）。
【００７２】
ここでＣＰＵ１２は、ｍｏｄ ｍ（モジュロｍ）の演算処理により、キーフレーム出力処理のカウンタｎがオーバーフローするのを防いでいる。すなわち、当該モジュロ演算の結果は、ｎがｍで割り切れる場合は０、割り切れない場合はその余りとなるため、キーフレームが検出された数（ｍ）だけ、当該キーフレームの関連情報の検索処理及びその後の出力（表示）処理が繰り返されることとなる。
【００７３】
ＣＰＵ１２は、関連情報が存在する場合（ステップ７３２のＹｅｓ）、例えば上記チラシ等の生活情報に続いて、当該関連情報を表示し（ステップ７３３）、存在しない場合（Ｎｏ）、現状のキーフレーム表示を維持する（ステップ７３４）。当該関連情報は、上記日時情報に関連し、かつ、それまでフォトフレーム２００で表示されていたキーフレームに関連する情報である。
【００７４】
当該検索においては、例えばそれまでフォトフレーム２００に表示されていたキーフレームに含まれるオブジェクト名がキーワードとして検索される。この検索にあたり、ＣＰＵ１２は、上記キーフレーム抽出の際、当該オブジェクト名を記憶する。またＣＰＵ１２は、当該検索エンジンとして利用するウェブサイトのＵＲＬ等も記憶している。またＣＰＵ１２は、キーワードによらずに、当該オブジェクトを含むキーフレームそのものをネットワーク５０上の検索エンジンへ送信して、画像検索により関連情報を取得してもよい。
【００７５】
ＣＰＵ１２は、以上の処理を、上記カウンタｎにしたがってキーフレームの数だけ繰り返し（ステップ７６）、ユーザから表示終了指示があった場合（ステップ７５のＹｅｓ）には処理を終了する。
【００７６】
図８は、当該画像変更処理としての関連情報の表示処理を概念的に示した図である。同図に示すように、例えばキーフレームとして赤ん坊を含むフレームが抽出され表示された場合、ＣＰＵ１２は、上記食料品のチラシ等の生活情報に加えて、当該フレームの関連情報として、例えばオムツ等のベビー用品に関する広告情報（特売情報）を検索して表示させる。またキーフレームとしてペットの犬を含むフレームが抽出され表示された場合、ＣＰＵ１２は、関連情報として、ペットフードに関する広告情報を検索して表示させる。さらに、ＣＰＵ１２は、広告情報のみならず、当該犬の新たな散歩コース設定の参考となるような地域情報（地図情報）を検索して表示させてもよい。
【００７７】
またＣＰＵ１２は、例えば１２：００、１５：００等の定時刻が到来した場合には、キーフレームに替えて時計の画像を表示させてもよい。当該時計の画像は予め例えばＨＤＤ８等に保存されている。
【００７８】
上記生活情報及び関連情報が所定時間または所定回数表示された後、ＣＰＵ１２は、再びキーフレームの表示処理へと戻る。
【００７９】
以上の処理により、ＰＶＲ１００は、動画像コンテンツから抽出したキーフレームを単にフォトフレーム上で閲覧させるのみならず、当該キーフレームに含まれるオブジェクトの関連情報を、ユーザが普段買物へ行く時間等、適切なタイミングで提供できる。したがってユーザは当該関連情報を参考にして、買物等のその後の行動を効率よく実行することができる。
【００８０】
（変形例２）
上記変形例１においては、記憶された日時情報に対応する特定の日時が到来したときに各キーフレームの関連情報が検索され、それらが同じ時間帯にキーフレーム毎に繰り返し表示された。しかし、本変形例では、ＰＶＲ１００は、いずれかのキーフレームの関連情報が存在するか否かを定期的に確認し、当該確認時において関連情報が存在する場合には、当該関連情報を表示することとしている。図９は、本変形例におけるＰＶＲ１００の画像変更処理の流れを示したフローチャートである。
【００８１】
同図に示すように、本変形例におけるＰＶＲ１００の処理は、ステップ９１及び９４の具体的処理を除いて上記変形例１と同様である。図１０は当該ステップ９１の具体的処理の流れを示した図であり、図１１は当該ステップ９４の具体的処理の流れを示したフローチャートである。
【００８２】
図１０に示すように、ＣＰＵ１２は、フォトフレーム２００へのフレーム出力処理の開始時に、抽出されたキーフレームの数に応じた関連情報の検出処理のカウンタｔを０に初期設定し、また関連情報の検出フラグｆを０に設定する（ステップ９１１）。
続いてＣＰＵ１２は、ｔ番目のキーフレームｋ（ｔ）について関連情報を検索し（ステップ９１２）、関連情報が存在する場合（ステップ９１３のＹｅｓ）には、上記検出フラグｆを１に設定する（ステップ９１４）。その上でＣＰＵ１２は、当該関連情報が検索されたキーフレームｋ（ｔ）をフォトフレーム２００へ出力し表示させる（ステップ９１５）。
一方、関連情報が存在しなかった場合（ステップ９１３のＮｏ）、ＣＰＵ１２は、カウンタｔをインクリメントし（ステップ９１６）、ｔが抽出キーフレームの総数ｍ未満であれば（ステップ９１７のＮｏ）、次のキーフレームについての関連情報を検索する（ステップ９１２）。またｔ＞ｍである場合（ステップ９１７のＹｅｓ）には、抽出キーフレームを、上記モジュロ演算により順次繰り返し表示する（ステップ９１８）。
【００８３】
図１１に示すように、ＣＰＵ１２は、特定の定期的な日時が到来したときに（ステップ９３）、そのときに表示されているキーフレームについて関連情報が存在するか（検出フラグがオンか否か）を判断し（ステップ９４１）、存在する場合（Ｙｅｓ）には当該関連情報を表示し（ステップ９４２）、存在しない場合（Ｎｏ）にはそれまでのキーフレームの表示を維持する（ステップ９４３）。
【００８４】
以上の処理により、キーフレームの関連情報の有無が定期的に確認され、関連情報が存在する場合にはその都度表示されるため、ユーザは、いずれかのキーフレームについて常に最新の関連情報を閲覧することができる。
【００８５】
［その他］
上述の実施形態においては、本発明をＰＶＲ１００に適用した例を示した。しかし、本発明は、ＰＶＲに限らず、例えばＰＣ、携帯電話機、その他のＡＶ機器等、動画像コンテンツを記憶可能な装置であればいかなる電子機器にも適用可能である。また、上記ビデオカメラ３００から、ＰＶＲ１００等の他の機器を介さずに直接フォトフレーム２００へ静止画像が出力されてもよい。さらに、ユーザが撮影した動画像コンテンツのみならず、例えば放送番組等の動画像コンテンツからキーフレームが抽出されてフォトフレーム２００へ出力されてもよい。
【００８６】
上述の実施形態においては、画像変更処理によりフォトフレームに出力される関連情報は、商品の広告情報等であったが、例えば、キーフレームに関連するニュース情報、番組情報等、その他の関連情報が検索され出力されてもよい。これによりユーザはその後の行動の指針を得ることができる。
【００８７】
上述の実施形態においては、キーフレームとは異なる画像を出力することで画像変更処理が実行されたが、例えば、特定時刻が到来したときに、当該キーフレームが拡大または縮小される等、何らかの変化を与えることで画像変更処理を実行してもよい。これによっても、ユーザは当該キーフレームに関する何らかのイベントや予定等を思い出すことができる。
【符号の説明】
【００８８】
１１…通信部
１２…ＣＰＵ
１９…無線インタフェース
２０…外部インタフェース
２１…特徴抽出部
５０…ネットワーク
１００…ＰＶＲ
２００…デジタルフォトフレーム
２１１…キーフレーム抽出部
２１２…画像特徴検出部
２１３…画像メモリ
２１４…音声特徴抽出部
２１５…音声特徴検出部
２１６…音声メモリ
３００…ビデオカメラ
３００…デジタルカメラ
４００…携帯端末
【技術分野】
【０００１】
本発明は、例えばデジタルフォトフレーム等の表示装置に画像を出力して表示させることが可能な電子機器、当該電子機器における画像出力方法及びプログラムに関する。
【背景技術】
【０００２】
従来から、紙媒体に印刷された写真を鑑賞するためのフォトフレーム（写真立て）に模して、デジタル画像を表示可能なデジタルフォトフレームが存在する。デジタルフォトフレームに関する先行文献としては以下のものが挙げられる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−０４５１３９号公報
【特許文献２】特開２０００−３１２６３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のデジタルフォトフレームは、例えば自身に装着されたメモリカード等の記録媒体から、デジタルカメラ等で撮影された静止画像をランダムに読み出して、単にスライドショーするのが一般的である。したがって、デジタルフォトフレームは、デジタルカメラやコンピュータ等の機器を操作しなくても静止画像を表示できるということ以外の利点を有しない。またユーザは、デジタルフォトフレームにより表示される静止画像を鑑賞することで、例えば過去の出来事を思い出すことはできるが、それを現在または未来の生活と結びつけることはできない。
【０００５】
一方、例えばユーザがデジタルビデオカメラ等で撮影した動画像は、撮影後に一回鑑賞されると、それ以後は、特別なことが無い限り鑑賞されることはないため、せっかく撮影した動画像が無駄になっていた。
【０００６】
以上のような事情に鑑み、本発明の目的は、ビデオカメラ等で撮影された動画像を有効活用しながら、ユーザの現在または未来の生活に関連する静止画像をフォトフレームに表示させることが可能な電子機器、画像出力方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の一形態に係る電子機器は、記憶部と、第１の通信部と、制御部とを有する。上記記憶部は、動画像と、所定の日時情報とを記憶する。上記第１の通信部は、デジタルフォトフレームと通信する。上記制御部は、上記動画像から所定の特徴を抽出し、当該抽出された特徴を基に第１の静止画像を抽出し、上記第１の静止画像を表示させるために、前記第１の通信部により当該第１の静止画像を上記デジタルフォトフレームへ出力する。また当該制御部は、上記日時情報に対応する日時が到来したときに、当該日時情報に関連する第２の静止画像を取得し、上記第１の静止画像を上記第２の静止画像に変化させるために、上記第１の通信部により当該第２の静止画像を上記デジタルフォトフレームへ出力する。
この構成により、電子機器は、動画像から、特定のオブジェクトを含む第１の静止画像を抽出してデジタルフォトフレームに表示させることができるとともに、当該特定のオブジェクトに関連する日時に、当該第１の静止画像を第２の静止画像に変化させることができる。したがって電子機器は、フォトフレームの閲覧者に、動画像中の各シーンを静止画像として閲覧させるのみならず、特定の日時には、当該日時に関連する情報を思い起こさせ、ユーザの現在・未来の行動の指針とすることができる。
ここで動画像とは、例えばデジタルビデオカメラ等により撮影された動画像等であり、所定の特徴とは、例えばパン、チルト、ズーム等の動き特徴や、人物（顔）、動物、建物等のオブジェクトを示す特徴等である。電子機器とは、例えばデジタルビデオカメラ、記録再生装置、その他のＡＶ機器、ＰＣ（Personal Computer）、携帯電話機等である。
【０００８】
上記電子機器において、上記日時情報は、上記動画像に含まれ得る特定のオブジェクトに関連する日時情報であってもよい。また上記制御部は、上記動画像から上記特定のオブジェクトを認識して、当該特定のオブジェクトを含む静止画像を上記第２の静止画像として抽出してもよい。そして当該制御部は、当該特定のオブジェクトに関連する上記日時情報を基に、当該日時情報に対応する日時が到来したときに、上記第２の静止画像を上記第１の通信部により上記デジタルフォトフレームへ出力してもよい。
これにより電子機器は、動画像から抽出された第２の静止画像を、当該第２の静止画像中のオブジェクトに関連する日時にデジタルフォトフレームに表示させ、日時との関係で当該オブジェクトに関するイベントをユーザに思い出させることができる。例えば、オブジェクトが子供であり、日時情報として当該子供の誕生日が記憶されていれば、フォトフレームには、当該誕生日以外の日時には第１の静止画像として当該子供に関連しない画像がフォトフレームに表示されていても、当該日時が到来したときに、第２の静止画像としての子供の画像が表示される。したがってユーザは、当該日時に当該子供の画像を閲覧することで、子供の誕生日を思い出すことができる。
この場合、上記動画像は音声情報を有し、上記デジタルフォトフレームは当該音声情報を出力可能であってもよい。この場合上記制御部は、上記動画像から、上記抽出された第２の静止画像に含まれる特定のオブジェクトに関連する音声情報を抽出してもよい。そして当該制御部は、上記日時情報に対応する日時が到来したときに、当該抽出された音声情報を出力させるために、当該音声情報を上記デジタルフォトフレームへ出力してもよい。
これにより電子機器は、特定の日時に、当該特定の日時に関連する静止画像をフォトフレームに表示させるとともに、当該特定の日時に関連する音声（音楽）を出力させることができ、当該静止画像を、フォトフレーム上でユーザにより印象深く提供することができる。
【０００９】
上記電子機器は、ネットワークに接続する第２の通信部をさらに具備してもよい。この場合上記日時情報は、一日のうちの所定時刻であってもよい。この場合上記制御部は、上記動画像から特定のオブジェクトを認識して、当該特定のオブジェクトを含む静止画像を上記第１の静止画像として抽出してもよい。そして上記制御部は、上記第１の静止画像に関連する関連情報を上記第２の通信部により上記ネットワーク上から検索及び受信し、上記所定時刻が到来したときに、当該受信された関連情報を、上記第２の静止画像として上記第１の通信部により上記デジタルフォトフレームへ出力してもよい。
これにより電子機器は、動画像から抽出した静止画像に含まれるオブジェクトを単にフォトフレーム上で閲覧させるのみならず、当該オブジェクトに関連する情報を、タイミングよく提供することができ、ユーザの利便性を向上させることができる。例えばオブジェクトがユーザのペットである場合、ペットフードに関する情報を、例えば午後４時等、ユーザが買物に出かけるであろう時刻に表示させることができる。
【００１０】
また上記制御部は、上記第１の静止画像に含まれる上記オブジェクトに関連し、かつ、上記検索を実行する時が属する日に限って入手可能な商品の広告情報を上記関連情報として検索してもよい。
これにより電子機器は、所定時刻に関連情報をフォトフレーム上で表示させることで、当該関連情報を基に、ユーザの毎日の生活習慣において採るべき行動を喚起したり、当該行動における指針を提供したりすることができる。例えば、ユーザが毎日午後４時にスーパーマーケットへ買物に行く場合、電子機器は、当該スーパーマーケットでその日に売り出される商品の広告（チラシ）を関連情報として検索して表示させることができる。
【００１１】
本発明の他の形態に係る画像出力方法は、動画像と、所定の日時情報とを記憶することを含む。上記動画像からは、所定の特徴が抽出され、当該抽出された特徴を基に第１の静止画像が抽出される。当該抽出された第１の静止画像は、当該第１の静止画像を表示させるためにデジタルフォトフレームへ出力される。そして、上記日時情報に対応する日時が到来したときに、当該日時情報に関連する第２の静止画像が取得される。当該第２の静止画像は、上記第１の静止画像を上記第２の静止画像に変化させるために、上記デジタルフォトフレームへ出力される。
【００１２】
本発明のまた別の形態に係るプログラムは、電子機器に、記憶ステップと、抽出ステップと、第１の出力ステップと、取得ステップと、第２の出力ステップとを有する。上記記憶ステップは、動画像と、所定の日時情報とを記憶する。上記抽出ステップは、上記動画像から所定の特徴を抽出し、当該抽出された特徴を基に第１の静止画像を抽出する。上記第１の出力ステップは、上記抽出された第１の静止画像を表示させるために、当該第１の静止画像をデジタルフォトフレームへ出力する。上記取得ステップは、上記日時情報に対応する日時が到来したときに、当該日時情報に関連する第２の静止画像を取得する。上記第２の出力ステップは、上記第１の静止画像を上記第２の静止画像に変化させるために、当該第２の静止画像を上記デジタルフォトフレームへ出力する。
【発明の効果】
【００１３】
以上のように、本発明によれば、ビデオカメラ等で撮影された動画像を有効活用しながら、ユーザの現在または未来の生活に関連する静止画像をフォトフレームに表示させることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態における画像出力システムの概要を示す図である。
【図２】本発明の一実施形態に係るＰＶＲのハードウェア構成を示す図である。
【図３】本発明の一実施形態に係るＰＶＲの上記特徴抽出部の構成を示した図である。
【図４】本発明の一実施形態に係るＰＶＲのオブジェクト認識処理の様子を概念的に示した図である。
【図５】本発明の一実施形態に係るＰＶＲの静止画像出力処理の流れを示したフローチャートである。
【図６】本発明の第１の変形例におけるＰＶＲの静止画像出力処理の流れを示したフローチャートである。
【図７】本発明の第１の変形例におけるＰＶＲの静止画像変更処理の具体的な処理の流れを示したフローチャートである。
【図８】本発明の第１の変形例における静止画像変更処理の様子を概念的に示した図である。
【図９】本発明の第２の変形例におけるＰＶＲの静止画像出力処理の流れを示したフローチャートである。
【図１０】本発明の第２の変形例におけるＰＶＲの静止画像出力処理の具体的な処理の流れを示したフローチャートである。
【図１１】本発明の第２の変形例におけるＰＶＲの静止画像変更処理の具体的な処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００１５】
以下、図面を参照しながら、本発明の実施形態を説明する。
【００１６】
［ＰＶＲの概要］
図１は、本発明の一実施形態における画像出力システムの概要を示す図である。
同図に示すように、ＰＶＲ（Personal Video Recorder）１００は、フォトフレーム２００、ビデオカメラ３００、携帯端末４００と有線または無線により通信可能であり、また例えばインターネット等のネットワーク５０にも接続可能である。
【００１７】
ＰＶＲ１００は、ビデオカメラ３００に記憶された、ユーザが撮影した動画像コンテンツをビデオカメラ３００から受信して記憶している。またＰＶＲ１００は、当該動画像コンテンツに含まれるタイムコードも日時情報として記憶している。さらにＰＶＲ１００は、携帯端末からユーザのスケジュール情報を受信し、当該スケジュール情報を日時情報として記憶している。
【００１８】
ＰＶＲ１００は、当該動画像コンテンツから静止画像を抽出し、当該静止画像をデジタルフォトフレーム２００へ出力し表示させる。またＰＶＲ１００は、上記日時情報を基に、デジタルフォトフレーム２００において表示された静止画像を他の静止画像へと変化させることが可能である。当該他の静止画像には、ネットワーク５０を介して受信されるものも含まれる。さらにＰＶＲ１００は、静止画像とともに、音声情報もデジタルフォトフレーム２００へ送信し出力させることが可能である。
【００１９】
デジタルフォトフレーム２００は、フレーム２０１、ＬＣＤ（Liquid Crystal Display）２０２及び図示しないＵＳＢ（Universal Serial Bus）インタフェース、無線ＬＡＮ、Bluetooth（登録商標）等の通信インタフェースを有する。デジタルフォトフレーム２００（以下、単にフォトフレーム２００ともいう）は、当該通信インタフェースにより、ＰＶＲ１００から出力された静止画像を受信し、当該静止画像を上記ＬＣＤ２０２により表示することが可能である。またデジタルフォトフレーム２００は、図示しないスピーカを有し、同様にＰＶＲ１００から受信した音声情報を出力することも可能である。
【００２０】
［ＰＶＲのハードウェア構成］
図２は、上記ＰＶＲ１００のハードウェア構成を示す図である。
同図に示すように、このＰＶＲ１００は、デジタルチューナ１、復調部２、デマルチプレクサ３、デコーダ４、記録再生部５、ＨＤＤ（Hard Disk Drive）８、光ディスクドライブ９、通信部１１を有する。またＰＶＲ１００は、ＣＰＵ（Central Processing Unit）１２、フラッシュメモリ１３、ＲＡＭ（Random Access Memory）１４を有する。さらにＰＶＲ１００は、操作入力部１５、グラフィック制御部１６、映像Ｄ／Ａ（Digital/Analog）コンバータ１７、音声Ｄ／Ａ（Digital/Analog）コンバータ１８、無線インタフェース（Ｉ／Ｆ）１９、外部インタフェース２０及び特徴抽出部２１を有する。
【００２１】
デジタルチューナ１は、ＣＰＵ１２の制御に従って、アンテナ３０を介してデジタル放送の特定のチャンネルを選局して、番組のデータを含む放送信号を受信する。復調部２は、変調された当該放送信号を復調する。
【００２２】
デマルチプレクサ３は、多重化された放送信号を、映像信号と音声信号とに分離し、デコーダ４へ供給する。またデマルチプレクサ３は、分離した各信号を、特徴抽出部２１へも供給可能である。デコーダ４は、デマルチプレクサ３で分離された映像信号及び音声信号をそれぞれデコードする。デコードされた各信号は記録再生部５へ供給される。
【００２３】
記録再生部５は、記録部６及び再生部７を有する。記録部６は、デコーダ４によりデコードされ入力された映像信号及び音声信号を一時的に蓄積して、タイミングやデータ量を制御しながらＨＤＤ８や光ディスクドライブ９に出力して記録させる。また記録部６は、ＨＤＤ８に記録されたコンテンツを読み出して光ディスクドライブ９に出力し、光ディスク１０に記録させることも可能である。再生部７は、ＨＤＤ８や光ディスク１０に記録された映像コンテンツの映像信号及び音声信号を読み出し、タイミングやデータ量を制御しながらデコーダ４へ出力して再生させる。
【００２４】
ＨＤＤ８は、デジタルチューナ１を介して受信した番組や、通信部１１によりインターネット等のネットワーク５０を介して受信される種々のコンテンツを内蔵のハードディスクに記憶する。またＨＤＤ８は、上記デジタルカメラ３００や携帯端末４００等から、外部インタフェース２０等を介して入力した上記動画像コンテンツ及び上記日時情報も記憶する。日時情報としては、例えば、特定の人物に関するイベント（誕生日、記念日等）や、ユーザが経験した過去の出来事（旅行、結婚式等）の日付等がある。この日時情報は、上記イベントや出来事を識別する情報とそれぞれ対応付けられて記憶される。さらにＨＤＤ８は、動画像コンテンツから特定のオブジェクト（例えば顔）を認識するための学習用データも記憶する。これらの記憶されたコンテンツが再生される際には、ＨＤＤ８は、これらのデータを上記ハードディスクから読み出し、記録再生部５へ出力する。
【００２５】
またＨＤＤ８は、アプリケーション等の各種プログラム、その他のデータ等を記憶する場合もある。これらのプログラムやデータは、それらの実行時及び参照時に、ＣＰＵ１２の指令によりＨＤＤ８から読み出され、ＲＡＭ１４へ展開される。
【００２６】
光ディスクドライブ９は、上記ＨＤＤ８と同様に、当該装着された光ディスク１０に上記番組コンテンツ等の各種データを記録し、また記録されたデータを読み出すことが可能である。また上記各種プログラムは、これら光ディスク１０等の可般性の記録媒体に記録され、光ディスクドライブ９によりＰＶＲ１００にインストールされてもよい。
【００２７】
通信部１１は、上記ネットワーク５０に接続してＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）等のプロトコルによりネットワーク５０上の他の装置とデータのやり取りを行うためのネットワークインタフェースである。通信部１１により受信されたデータが多重化されている場合、デマルチプレクサ３に供給される。また受信されたデータのうち少なくとも一部は、必要に応じて特徴抽出部２１にも供給される。
【００２８】
無線インタフェース１９は、例えば無線ＬＡＮ、Bluetooth（登録商標）等の無線通信規格に準じたモジュールを有し、フォトフレーム２００へ無線により静止画像や音声情報を送信可能である。
【００２９】
外部インタフェース２０は、例えばＵＳＢインタフェース等からなり、上記ビデオカメラ３００から動画像コンテンツを受信したり、携帯端末４００からスケジュール情報を受信したりする。当該動画像コンテンツやスケジュール情報は、上記無線インタフェース１９を介してビデオカメラ３００及び携帯端末４００から受信されても構わない。
【００３０】
ＣＰＵ１２は、必要に応じてＲＡＭ１４等にアクセスし、記録再生部５によるデータの記録及び再生処理等、ＰＶＲ１００の各ブロックの処理を統括的に制御する。
【００３１】
フラッシュメモリ１３は、例えばＮＡＮＤ型のものであり、ＣＰＵ１２に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。またフラッシュメモリ１３は、動画像コンテンツからの静止画像及び音声情報の抽出処理及びフォトフレーム２００へ出力する静止画像及び音声情報の変更処理等に用いるプログラム、その他の各種プログラム、上記ＥＰＧデータ等の各種データを記憶する。
【００３２】
ＲＡＭ１４は、ＣＰＵ１２の作業用領域等として用いられ、上記静止画像及び音声情報の抽出処理や変更処理の最中に、ＯＳやプログラム、処理データ等を一時的に保持するメモリである。
【００３３】
操作入力部１５は、例えば複数のキーを有するリモートコントローラ２２（以下、リモコン２２と称する）から、ユーザの操作による各種設定値や指令を入力してＣＰＵ１２へ出力する。もちろん、操作入力部１５は、リモコン２２によらずに、ＰＶＲ１００に接続されたキーボードやマウス、ＰＶＲ１００に実装されたスイッチ等で構成されていても構わない。
【００３４】
グラフィック制御部１６は、デコーダ４から出力された映像信号やＣＰＵ１２から出力されるその他の映像データにＯＳＤ（On Screen Display）処理等のグラフィック処理を施し、例えばテレビジョン装置（ＴＶ）等の表示装置に表示させるための映像信号を生成する。
【００３５】
映像Ｄ／Ａコンバータ１７は、上記グラフィック制御部１６から入力されたデジタル映像信号をアナログ映像信号に変換して、表示装置へ出力する。
【００３６】
音声Ｄ／Ａコンバータ１８は、上記デコーダ４から入力されたデジタル音声信号をアナログ音声信号に変換して、ＴＶ等へ出力する。
【００３７】
特徴抽出部２１は、上記ビデオカメラ３００から受信して記憶した動画像コンテンツから、所定の映像特徴及び音声特徴を抽出し、当該各特徴を基に、フォトフレーム２００へ出力するための静止画像及び音声情報を抽出する。所定の映像特徴とは、例えばパン、チルト、ズーム等の動き特徴や、人物（顔）、動物、建物等のオブジェクトを示す特徴等である。所定の音声特徴とは、例えば人の声を示す特徴、より具体的には音声パワーの継続時間を示す特徴等である。
【００３８】
［特徴抽出部の構成］
図３は、ＰＶＲ１００の上記特徴抽出部２１の構成を示した図である。
同図に示すように、特徴抽出部２１は、画像に関する処理を行うブロックとして、キーフレーム抽出部２１１、画像特徴検出部２１２及び画像メモリ２１３を有する。また特徴抽出部２１は、音声に関する処理を行うブロックとして、音声特徴抽出部２１４、音声特徴検出部２１５及び音声メモリ２１６を有する。
【００３９】
ユーザは、例えばリモコン２２により、ＰＶＲ１００の各動作モード（放送番組視聴モード、録画番組視聴モード等）のうち、ＰＶＲ１００に記憶された動画像コンテンツから抽出される静止画像をフォトフレーム２００に表示するモードを選択する。当該モード選択操作が入力されると、操作入力部１５を介して当該モード選択情報がＣＰＵ１２へ伝えられ、動画像コンテンツからの特徴抽出処理が開始される。
【００４０】
ＣＰＵ１２は、ＨＤＤ８に記憶されたコンテンツのうち、ビデオカメラ３００から転送された動画像コンテンツを特徴抽出部２１へ入力する。当該動画像コンテンツのうち画像データは、キーフレーム抽出部２１１及び画像特徴検出部２１２へ入力される。
【００４１】
画像特徴検出部２１２は、動画像コンテンツから、例えばパン、チルト、ズーム等のカメラ特徴や、オブジェクト（顔等）等の画像特徴を検出し、その結果をＣＰＵ１２へ伝える。ＣＰＵ１２は、当該検出結果を基に、動画像コンテンツから、画像特徴が抽出されたフレームをキーフレームとして抽出するようにキーフレーム抽出部２１１を制御する。抽出されたキーフレームは、画像メモリ２１３へ蓄積され、後述の処理によりフォトフレーム２００へ出力される。
【００４２】
ここで、カメラ特徴やオブジェクトが画像特徴として抽出されるのは、カメラ特徴区間はユーザが意図してカメラを操作して撮影した区間であるため、ユーザにとって重要なシーンであると考えられ、また顔等のオブジェクトはユーザの注目の的となりやすいためである。ＰＶＲ１００は、これらの特徴を含む静止画像がフォトフレーム２００へ出力し表示させることで、ユーザにとって印象の強い画像を閲覧させることができる。
【００４３】
音声特徴検出部２１５は、動画像コンテンツの音声データのうち、例えば上記キーフレームの前後区間の音声であって、所定レベル以上のパワーを有する音声を音声特徴として検出し、検出結果をＣＰＵ１２へ伝える。ＣＰＵ１２は、当該検出結果を基に、動画像コンテンツから、音声特徴が検出された区間の音声データを音声特徴区間データとして抽出するように音声特徴抽出部２１４を制御する。抽出された音声特徴区間データは音声メモリ２１６へ蓄積され、後述の処理によりフォトフレーム２００へ出力される。
【００４４】
［ＰＶＲの動作］
次に、以上のように構成されたＰＶＲ１００の動作について説明する。以降の説明においては、ＰＶＲ１００のＣＰＵ１２を主な動作主体として説明する。しかし、この動作は、上記特徴抽出部２１や、ＣＰＵ１２の制御下において実行されるプログラムとも協働して行われる。
【００４５】
（オブジェクト判別処理）
まず、本実施形態においてフォトフレーム２００に表示される静止画像を変化させる上で必要となるオブジェクト認識処理について説明する。図４は、当該オブジェクト認識処理の様子を概念的に示した図である。
【００４６】
同図に示すように、ＰＶＲ１００のＨＤＤ８には、学習用データとして様々なオブジェクトを示す静止画像が記憶されている。本実施形態においては、デジタルカメラ３００で撮影される動画像は家庭内のものであることを想定し、例えばユーザの家族やペット（例えば赤ちゃん、犬、長女、母親、父親等）を示す画像が学習用データとして記憶される。特徴抽出部２１は、当該学習用データから、例えばエッジ、色、テクスチャ等の特徴量を抽出して多次元ベクトル化し、当該特徴ベクトルを基に、統計的機械学習により、判別関数を生成する。生成された判別関数は、例えばＨＤＤ８やフラッシュメモリ１３等に記憶され、動画像コンテンツからのオブジェクト検出の際に必要な判別分析処理に用いられる。例えば、動画像コンテンツに含まれる未知の画像データから抽出した特徴データに基づくが判別関数に入力されることで、当該未知のオブジェクトが既知のオブジェクト（同図では犬）であると判別され、その結果が出力される。
【００４７】
また、判別関数を用いた判別分析処理の代わりに、例えばサポートベクターマシン（ＳＶＭ）、Ada-boost、ニューラルネットワーク等の機械学習的な手法を用いた判別分析処理が実行されてもよい。この場合、判別関数の代わりに、その判別処理を実行する処理モジュールがＰＶＲ１００に組み込まれる。
【００４８】
オブジェクト全体ではなく、例えば人間の顔を認識する場合は、特徴抽出部２１は、例えば顔の各パーツの位置関係に応じた特徴フィルター、輝度分布情報、肌色情報等を用いて顔特徴データを抽出して特徴ベクトルを生成する。
【００４９】
（フォトフレームへの静止画像出力処理）
次に、ＰＶＲ１００によるフォトフレームへの静止画像出力処理について説明する。図５は、当該静止画像出力処理の流れを示したフローチャートである。
【００５０】
同図に示すように、まずＰＶＲ１００のＣＰＵ１２は、ビデオカメラ３００から入力された動画像コンテンツから、映像特徴及び音声特徴を抽出する（ステップ４１）。映像特徴抽出処理により、キーフレームが検出された場合（ステップ４２のＹｅｓ）、ＣＰＵ１２は、当該キーフレームを抽出する（ステップ４３）。当該キーフレームとしては、パン、チルト、ズーム等のカメラ特徴を有するフレームや、上記判別関数を基に認識されたオブジェクトを含むフレームが抽出される。当該抽出処理は、例えばユーザが上記モード選択を行った場合に開始される。
【００５１】
カメラ特徴を認識するため、特徴抽出部２１は、例えば、複数のフレーム間で各画素についてブロックマッチング処理を行うことで動きベクトルを検出し、当該動きベクトルを基に重回帰分析によりアフィン係数を算出する。そして特徴抽出部２１は、当該アフィン係数がパン、チルト、ズームのいずれの特徴を示しているかを、例えば各カメラ特徴に応じた閾値により判断して、カメラ特徴の有無を検出する。
【００５２】
またＣＰＵ１２は、当該キーフレームが抽出された区間の音声データのうち、例えば人の声が含まれる区間を音声特徴区間データとして抽出する。動画像データに含まれる音声区間のうち、人の声には、子音、母音、息継ぎ等が含まれるため、音楽等の声以外の音声と比べて、所定パワー以上の継続区間が短いという特徴がある。この特徴を利用して、特徴抽出部２１は例えば、時間に関する閾値を設定し、所定パワー以上の平均継続時間長が当該閾値よりも小さい場合には、その区間は声区間とし、当該閾値よりも大きい場合には、その区間は非声区間であると判定する。
【００５３】
続いてＣＰＵ１２は、上記抽出されたキーフレームを上記画像メモリ２１３へ保存し、また上記抽出された音声特徴区間データを上記音声メモリ２１６へ保存する（ステップ４４）。このとき、保存されるキーフレームに含まれるオブジェクト（人）を識別する情報も合わせて保存される。
【００５４】
ＣＰＵ１２は、当該特徴抽出・メモリ処理を、例えばビデオカメラ３００から入力した全ての動画像コンテンツについて繰り返す（ステップ４５）。
【００５５】
続いてＣＰＵ１２は、上記メモリされたキーフレームをフォトフレーム２００へ出力し、当該フォトフレーム２００での画像表示処理を開始させる（ステップ４６）。例えばＣＰＵ１２は、上記抽出されたキーフレームを、抽出された特徴に応じて優先順位をつけて順次所定間隔でフォトフレーム２００へ出力する。所定間隔は例えば３０秒であるが、これに限られない。フォトフレーム２００は、当該キーフレームを、当該時間間隔毎に表示する。優先順位は、例えば、（１）ズーム、（２）顔、（３）パン、（４）チルトの順に設定されてもよい。
【００５６】
続いてＣＰＵ１２は、ＨＤＤ８等から、上記日時（年も含む）情報を取得し（ステップ４７）、当該日時情報と、内蔵クロックが示す現在の日時とを比較する（ステップ４８）。そしてＣＰＵ１２は、現在の日時が、上記記憶された日時情報に対応する特定の日時が到来したと判断した場合（ステップ４８のＹｅｓ）、当該日時情報に関連する静止画像を取得する。当該関連する静止画像は、例えば、上記キーフレームとして抽出されたフレームのうち、当該到来した日時に対応する日時情報に関連するオブジェクトを含むフレームである。ＣＰＵ１２は、当該日時情報に関連するフレームをフォトフレーム２００へ出力し、それまで表示されたフレームを当該新たなフレームへと変更させる（ステップ４９）。またこのとき、当該新たなフレームに関連する音声情報があれば、ＣＰＵ１２は、当該音声情報も出力する。
【００５７】
例えば、上記記憶された日時情報がユーザの子供の誕生日であった場合、ＣＰＵ１２は、当該子供の誕生日が到来したときに、当該子供の画像を含むフレームを画像メモリ２１３から抽出して出力し、それまでのフレームに替わってフォトフレーム２００に表示させる。これによりユーザは、その日が子供の誕生日であることを認識し、例えばプレゼントや特別な食事を用意するといった計画を立てることができる。このとき、ＣＰＵ１２は、例えば楽曲"Happy Birthday"の音声情報をフォトフレーム２００へ出力し再生させてもよい。これにより誕生日の雰囲気がより盛り上がることになる。
【００５８】
また、上記記憶された日時情報が、ユーザ自身の結婚記念日であった場合、ＣＰＵ１２は、当該記念日が到来したときに、ユーザ自身と配偶者が含まれるフレームを抽出してフォトフレーム２００へ出力してもよい。これによりユーザは、当該記念日を認識して、何らかの準備をすることはもちろん、例えばその日の食卓等でフォトフレーム２００を閲覧しながら思い出に浸ることができる。
【００５９】
ＣＰＵ１２は、以上の処理を、ユーザにより処理終了が指示されるまでの間、上記記憶された日時情報に対応する日時が到来するたびに繰り返す。
【００６０】
［まとめ］
以上説明したように、本実施形態によれば、ビデオカメラ等で撮影された動画像を有効活用しながら、ユーザの現在または未来の生活に関連する静止画像をフォトフレームに表示させることができる。
【００６１】
［変形例］
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【００６２】
（変形例１）
上述の実施形態においては、フォトフレーム２００で表示される静止画像の変更にあたり、動画像コンテンツから抽出されたキーフレームのうち、ＨＤＤ８に記憶された日時情報に関連するキーフレームが出力された。しかし、ＰＶＲ１００は、例えば、それまでフォトフレーム２００で表示されていたキーフレームに関連する情報を外部から取得して、当該取得した関連情報を新たな静止画像としてフォトフレーム２００へ出力して表示させることもできる。以下、この場合のＰＶＲ１００の具体的処理について説明する。
【００６３】
図６は、本変形例におけるＰＶＲ１００の静止画像出力処理の流れを示したフローチャートである。以下では、ＰＶＲ１００によるフォトフレーム２００への音声情報の出力処理については説明を省略するが、音声情報についても上記実施形態と同様にキーフレームから抽出され、フォトフレーム２００へ出力されるものとする。
【００６４】
同図に示すように、まずＣＰＵ１２は、動画像コンテンツからのキーフレーム検出にあたり、検出フラグｋ（ｎ）を０に初期設定する（ステップ６１）。ここでｎは、０≦ｎ≦ｋｍａｘである。
【００６５】
続いてＣＰＵ１２は、キーフレームの検出数を示すカウンタｍを０に設定する（ステップ６２）。続いてＣＰＵ１２は、上述の実施形態と同様に、動画像コンテンツから、フレーム毎に、カメラ特徴やオブジェクト特徴等の画像特徴を抽出する（ステップ６３）。
【００６６】
続いてＣＰＵ１２は、当該特徴抽出処理により、当該処理対象のフレームがキーフレームであるか否かを判断し（ステップ６４）、当該フレームがキーフレームである場合（Ｙｅｓ）には、ｍ番目のフレームについての上記検出フラグをｋ（ｍ）＝１に設定した上で（ステップ６５）、ｍをインクリメントする（ステップ６６）。
【００６７】
そしてＣＰＵ１２は、当該キーフレームを抽出して（ステップ６７）、上記画像メモリ２１３へ保存する（ステップ６８）。ＣＰＵ１２は、以上の処理を、ビデオカメラ３００から取り込んだ全ての動画像コンテンツの全てのフレームについて繰り返す（ステップ６９）。
【００６８】
当該キーフレーム抽出処理が終了すると（ステップ６９のＹｅｓ）、ＣＰＵ１２は、当該キーフレームのフォトフレーム２００への出力処理を実行する。
【００６９】
まずＣＰＵ１２は、当該キーフレーム出力処理のカウンタｎを０に初期設定する（ステップ７０）。続いてＣＰＵ１２は、上記抽出されたキーフレームを、例えば上記実施形態における優先順位に従って、順次フォトフレームへ出力し表示させる処理を開始する（ステップ７１）。
【００７０】
続いてＣＰＵ１２は、ＨＤＤ８等から、上記日時（年も含む）情報を取得し（ステップ７２）、当該日時情報と、内蔵クロックが示す現在の日時とを比較する（ステップ７３）。そしてＣＰＵ１２は、現在の日時が、上記記憶された日時情報に対応する特定の日時が到来したと判断した場合（ステップ７３のＹｅｓ）、それまでフォトフレーム２００に表示されていた画像を変更する処理を実行する（ステップ７４）。この場合における日時情報は、例えば、ユーザが毎日買物に出かける時間等、ユーザの習慣的な行動が開始されるであろう日時（時刻）である。
【００７１】
図７は、当該画像変更処理の具体的な流れを示したフローチャートである。同図に示すように、ＣＰＵ１２は、例えば上記買物等の参考になるスーパーマーケットのチラシ等の生活情報とともに、キーフレームｋ（ｎ％ｍ）に関連する関連情報を、通信部１１によりネットワーク５０上から検索する（ステップ７３１）。
【００７２】
ここでＣＰＵ１２は、ｍｏｄ ｍ（モジュロｍ）の演算処理により、キーフレーム出力処理のカウンタｎがオーバーフローするのを防いでいる。すなわち、当該モジュロ演算の結果は、ｎがｍで割り切れる場合は０、割り切れない場合はその余りとなるため、キーフレームが検出された数（ｍ）だけ、当該キーフレームの関連情報の検索処理及びその後の出力（表示）処理が繰り返されることとなる。
【００７３】
ＣＰＵ１２は、関連情報が存在する場合（ステップ７３２のＹｅｓ）、例えば上記チラシ等の生活情報に続いて、当該関連情報を表示し（ステップ７３３）、存在しない場合（Ｎｏ）、現状のキーフレーム表示を維持する（ステップ７３４）。当該関連情報は、上記日時情報に関連し、かつ、それまでフォトフレーム２００で表示されていたキーフレームに関連する情報である。
【００７４】
当該検索においては、例えばそれまでフォトフレーム２００に表示されていたキーフレームに含まれるオブジェクト名がキーワードとして検索される。この検索にあたり、ＣＰＵ１２は、上記キーフレーム抽出の際、当該オブジェクト名を記憶する。またＣＰＵ１２は、当該検索エンジンとして利用するウェブサイトのＵＲＬ等も記憶している。またＣＰＵ１２は、キーワードによらずに、当該オブジェクトを含むキーフレームそのものをネットワーク５０上の検索エンジンへ送信して、画像検索により関連情報を取得してもよい。
【００７５】
ＣＰＵ１２は、以上の処理を、上記カウンタｎにしたがってキーフレームの数だけ繰り返し（ステップ７６）、ユーザから表示終了指示があった場合（ステップ７５のＹｅｓ）には処理を終了する。
【００７６】
図８は、当該画像変更処理としての関連情報の表示処理を概念的に示した図である。同図に示すように、例えばキーフレームとして赤ん坊を含むフレームが抽出され表示された場合、ＣＰＵ１２は、上記食料品のチラシ等の生活情報に加えて、当該フレームの関連情報として、例えばオムツ等のベビー用品に関する広告情報（特売情報）を検索して表示させる。またキーフレームとしてペットの犬を含むフレームが抽出され表示された場合、ＣＰＵ１２は、関連情報として、ペットフードに関する広告情報を検索して表示させる。さらに、ＣＰＵ１２は、広告情報のみならず、当該犬の新たな散歩コース設定の参考となるような地域情報（地図情報）を検索して表示させてもよい。
【００７７】
またＣＰＵ１２は、例えば１２：００、１５：００等の定時刻が到来した場合には、キーフレームに替えて時計の画像を表示させてもよい。当該時計の画像は予め例えばＨＤＤ８等に保存されている。
【００７８】
上記生活情報及び関連情報が所定時間または所定回数表示された後、ＣＰＵ１２は、再びキーフレームの表示処理へと戻る。
【００７９】
以上の処理により、ＰＶＲ１００は、動画像コンテンツから抽出したキーフレームを単にフォトフレーム上で閲覧させるのみならず、当該キーフレームに含まれるオブジェクトの関連情報を、ユーザが普段買物へ行く時間等、適切なタイミングで提供できる。したがってユーザは当該関連情報を参考にして、買物等のその後の行動を効率よく実行することができる。
【００８０】
（変形例２）
上記変形例１においては、記憶された日時情報に対応する特定の日時が到来したときに各キーフレームの関連情報が検索され、それらが同じ時間帯にキーフレーム毎に繰り返し表示された。しかし、本変形例では、ＰＶＲ１００は、いずれかのキーフレームの関連情報が存在するか否かを定期的に確認し、当該確認時において関連情報が存在する場合には、当該関連情報を表示することとしている。図９は、本変形例におけるＰＶＲ１００の画像変更処理の流れを示したフローチャートである。
【００８１】
同図に示すように、本変形例におけるＰＶＲ１００の処理は、ステップ９１及び９４の具体的処理を除いて上記変形例１と同様である。図１０は当該ステップ９１の具体的処理の流れを示した図であり、図１１は当該ステップ９４の具体的処理の流れを示したフローチャートである。
【００８２】
図１０に示すように、ＣＰＵ１２は、フォトフレーム２００へのフレーム出力処理の開始時に、抽出されたキーフレームの数に応じた関連情報の検出処理のカウンタｔを０に初期設定し、また関連情報の検出フラグｆを０に設定する（ステップ９１１）。
続いてＣＰＵ１２は、ｔ番目のキーフレームｋ（ｔ）について関連情報を検索し（ステップ９１２）、関連情報が存在する場合（ステップ９１３のＹｅｓ）には、上記検出フラグｆを１に設定する（ステップ９１４）。その上でＣＰＵ１２は、当該関連情報が検索されたキーフレームｋ（ｔ）をフォトフレーム２００へ出力し表示させる（ステップ９１５）。
一方、関連情報が存在しなかった場合（ステップ９１３のＮｏ）、ＣＰＵ１２は、カウンタｔをインクリメントし（ステップ９１６）、ｔが抽出キーフレームの総数ｍ未満であれば（ステップ９１７のＮｏ）、次のキーフレームについての関連情報を検索する（ステップ９１２）。またｔ＞ｍである場合（ステップ９１７のＹｅｓ）には、抽出キーフレームを、上記モジュロ演算により順次繰り返し表示する（ステップ９１８）。
【００８３】
図１１に示すように、ＣＰＵ１２は、特定の定期的な日時が到来したときに（ステップ９３）、そのときに表示されているキーフレームについて関連情報が存在するか（検出フラグがオンか否か）を判断し（ステップ９４１）、存在する場合（Ｙｅｓ）には当該関連情報を表示し（ステップ９４２）、存在しない場合（Ｎｏ）にはそれまでのキーフレームの表示を維持する（ステップ９４３）。
【００８４】
以上の処理により、キーフレームの関連情報の有無が定期的に確認され、関連情報が存在する場合にはその都度表示されるため、ユーザは、いずれかのキーフレームについて常に最新の関連情報を閲覧することができる。
【００８５】
［その他］
上述の実施形態においては、本発明をＰＶＲ１００に適用した例を示した。しかし、本発明は、ＰＶＲに限らず、例えばＰＣ、携帯電話機、その他のＡＶ機器等、動画像コンテンツを記憶可能な装置であればいかなる電子機器にも適用可能である。また、上記ビデオカメラ３００から、ＰＶＲ１００等の他の機器を介さずに直接フォトフレーム２００へ静止画像が出力されてもよい。さらに、ユーザが撮影した動画像コンテンツのみならず、例えば放送番組等の動画像コンテンツからキーフレームが抽出されてフォトフレーム２００へ出力されてもよい。
【００８６】
上述の実施形態においては、画像変更処理によりフォトフレームに出力される関連情報は、商品の広告情報等であったが、例えば、キーフレームに関連するニュース情報、番組情報等、その他の関連情報が検索され出力されてもよい。これによりユーザはその後の行動の指針を得ることができる。
【００８７】
上述の実施形態においては、キーフレームとは異なる画像を出力することで画像変更処理が実行されたが、例えば、特定時刻が到来したときに、当該キーフレームが拡大または縮小される等、何らかの変化を与えることで画像変更処理を実行してもよい。これによっても、ユーザは当該キーフレームに関する何らかのイベントや予定等を思い出すことができる。
【符号の説明】
【００８８】
１１…通信部
１２…ＣＰＵ
１９…無線インタフェース
２０…外部インタフェース
２１…特徴抽出部
５０…ネットワーク
１００…ＰＶＲ
２００…デジタルフォトフレーム
２１１…キーフレーム抽出部
２１２…画像特徴検出部
２１３…画像メモリ
２１４…音声特徴抽出部
２１５…音声特徴検出部
２１６…音声メモリ
３００…ビデオカメラ
３００…デジタルカメラ
４００…携帯端末
【特許請求の範囲】
【請求項１】
動画像と、所定の日時情報とを記憶する記憶部と、
デジタルフォトフレームと通信する第１の通信部と、
前記動画像から所定の特徴を抽出し、当該抽出された特徴を基に第１の静止画像を抽出し、前記第１の静止画像を表示させるために、前記第１の通信部により当該第１の静止画像を前記デジタルフォトフレームへ出力し、前記日時情報に対応する日時が到来したときに、当該日時情報に関連する第２の静止画像を取得し、前記第１の静止画像を前記第２の静止画像に変化させるために、前記第１の通信部により当該第２の静止画像を前記デジタルフォトフレームへ出力する制御部と
を具備する電子機器。
【請求項２】
請求項１に記載の電子機器であって、
前記日時情報は、前記動画像に含まれ得る特定のオブジェクトに関連する日時情報であり、
前記制御部は、前記動画像から前記特定のオブジェクトを認識して、当該特定のオブジェクトを含む静止画像を前記第２の静止画像として抽出し、当該特定のオブジェクトに関連する前記日時情報を基に、当該日時情報に対応する日時が到来したときに、前記第２の静止画像を前記第１の通信部により前記デジタルフォトフレームへ出力する
電子機器。
【請求項３】
請求項２に記載の電子機器であって、
前記動画像は音声情報を有し、
前記デジタルフォトフレームは前記音声情報を出力可能であり、
前記制御部は、前記動画像から、前記抽出された第２の静止画像に含まれる特定のオブジェクトに関連する音声情報を抽出し、前記日時情報に対応する日時が到来したときに、当該抽出された音声情報を出力させるために、当該音声情報を前記デジタルフォトフレームへ出力する
電子機器。
【請求項４】
請求項１に記載の電子機器であって、
ネットワークに接続する第２の通信部をさらに具備し、
前記日時情報は、一日のうちの所定時刻であり、
前記制御部は、前記動画像から特定のオブジェクトを認識して、当該特定のオブジェクトを含む静止画像を前記第１の静止画像として抽出し、前記第１の静止画像に関連する関連情報を前記第２の通信部により前記ネットワーク上から検索及び受信し、前記所定時刻が到来したときに、当該受信された関連情報を、前記第２の静止画像として前記第１の通信部により前記デジタルフォトフレームへ出力する
電子機器。
【請求項５】
請求項４に記載の電子機器であって、
前記制御部は、前記第１の静止画像に含まれる前記オブジェクトに関連し、かつ、前記検索を実行する時が属する日に限って入手可能な商品の広告情報を前記関連情報として検索する
電子機器。
【請求項６】
動画像と、所定の日時情報とを記憶し、
前記動画像から所定の特徴を抽出し、当該抽出された特徴を基に第１の静止画像を抽出し、
前記抽出された第１の静止画像を表示させるために、当該第１の静止画像をデジタルフォトフレームへ出力し、
前記日時情報に対応する日時が到来したときに、当該日時情報に関連する第２の静止画像を取得し、
前記第１の静止画像を前記第２の静止画像に変化させるために、当該第２の静止画像を前記デジタルフォトフレームへ出力する
画像出力方法。
【請求項７】
電子機器に、
動画像と、所定の日時情報とを記憶するステップと、
前記動画像から所定の特徴を抽出し、当該抽出された特徴を基に第１の静止画像を抽出するステップと、
前記抽出された第１の静止画像を表示させるために、当該第１の静止画像をデジタルフォトフレームへ出力するステップと、
前記日時情報に対応する日時が到来したときに、当該日時情報に関連する第２の静止画像を取得するステップと、
前記第１の静止画像を前記第２の静止画像に変化させるために、当該第２の静止画像を前記デジタルフォトフレームへ出力するステップと
を実行させるプログラム。
【請求項１】
動画像と、所定の日時情報とを記憶する記憶部と、
デジタルフォトフレームと通信する第１の通信部と、
前記動画像から所定の特徴を抽出し、当該抽出された特徴を基に第１の静止画像を抽出し、前記第１の静止画像を表示させるために、前記第１の通信部により当該第１の静止画像を前記デジタルフォトフレームへ出力し、前記日時情報に対応する日時が到来したときに、当該日時情報に関連する第２の静止画像を取得し、前記第１の静止画像を前記第２の静止画像に変化させるために、前記第１の通信部により当該第２の静止画像を前記デジタルフォトフレームへ出力する制御部と
を具備する電子機器。
【請求項２】
請求項１に記載の電子機器であって、
前記日時情報は、前記動画像に含まれ得る特定のオブジェクトに関連する日時情報であり、
前記制御部は、前記動画像から前記特定のオブジェクトを認識して、当該特定のオブジェクトを含む静止画像を前記第２の静止画像として抽出し、当該特定のオブジェクトに関連する前記日時情報を基に、当該日時情報に対応する日時が到来したときに、前記第２の静止画像を前記第１の通信部により前記デジタルフォトフレームへ出力する
電子機器。
【請求項３】
請求項２に記載の電子機器であって、
前記動画像は音声情報を有し、
前記デジタルフォトフレームは前記音声情報を出力可能であり、
前記制御部は、前記動画像から、前記抽出された第２の静止画像に含まれる特定のオブジェクトに関連する音声情報を抽出し、前記日時情報に対応する日時が到来したときに、当該抽出された音声情報を出力させるために、当該音声情報を前記デジタルフォトフレームへ出力する
電子機器。
【請求項４】
請求項１に記載の電子機器であって、
ネットワークに接続する第２の通信部をさらに具備し、
前記日時情報は、一日のうちの所定時刻であり、
前記制御部は、前記動画像から特定のオブジェクトを認識して、当該特定のオブジェクトを含む静止画像を前記第１の静止画像として抽出し、前記第１の静止画像に関連する関連情報を前記第２の通信部により前記ネットワーク上から検索及び受信し、前記所定時刻が到来したときに、当該受信された関連情報を、前記第２の静止画像として前記第１の通信部により前記デジタルフォトフレームへ出力する
電子機器。
【請求項５】
請求項４に記載の電子機器であって、
前記制御部は、前記第１の静止画像に含まれる前記オブジェクトに関連し、かつ、前記検索を実行する時が属する日に限って入手可能な商品の広告情報を前記関連情報として検索する
電子機器。
【請求項６】
動画像と、所定の日時情報とを記憶し、
前記動画像から所定の特徴を抽出し、当該抽出された特徴を基に第１の静止画像を抽出し、
前記抽出された第１の静止画像を表示させるために、当該第１の静止画像をデジタルフォトフレームへ出力し、
前記日時情報に対応する日時が到来したときに、当該日時情報に関連する第２の静止画像を取得し、
前記第１の静止画像を前記第２の静止画像に変化させるために、当該第２の静止画像を前記デジタルフォトフレームへ出力する
画像出力方法。
【請求項７】
電子機器に、
動画像と、所定の日時情報とを記憶するステップと、
前記動画像から所定の特徴を抽出し、当該抽出された特徴を基に第１の静止画像を抽出するステップと、
前記抽出された第１の静止画像を表示させるために、当該第１の静止画像をデジタルフォトフレームへ出力するステップと、
前記日時情報に対応する日時が到来したときに、当該日時情報に関連する第２の静止画像を取得するステップと、
前記第１の静止画像を前記第２の静止画像に変化させるために、当該第２の静止画像を前記デジタルフォトフレームへ出力するステップと
を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−１０００７（Ｐ２０１１−１０００７Ａ）
【公開日】平成２３年１月１３日（２０１１．１．１３）
【国際特許分類】
【出願番号】特願２００９−１５０９１８（Ｐ２００９−１５０９１８）
【出願日】平成２１年６月２５日（２００９．６．２５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年１月１３日（２０１１．１．１３）
【国際特許分類】
【出願日】平成２１年６月２５日（２００９．６．２５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]