説明

デジタルカメラ及び動画像再生方法

【課題】動画像を鑑賞する鑑賞者が興味を持ち易い動画像を得ることができるデジタルカメラ及び動画像再生方法を提供すること。
【解決手段】デジタルカメラ100の記録部105に記録された動画像をTV200の表示部202に再生中にデジタルカメラ100の動作モードが通信モードとなった場合には、デジタルカメラ100の撮像部101を起動して動画像の鑑賞者の顔画像を取得し、個の取得した顔画像と再生中の動画像とを合成して表示部202に表示させる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、外部機器を用いて動画像を再生する機能を有するデジタルカメラ及びそのような動画像再生方法に関する。
【背景技術】
【0002】
近年、デジタルカメラや携帯電話機等の各種の携帯機器において動画像撮影が可能となっている。しかしながら、決まった動きをしない被写体の動きを的確に捉えた動画像を撮影するのは、一般のユーザには困難である。このため、一般のユーザでは単調な動画像しか撮影することができなかった。これに対し、専門家が作るテレビ番組等では複数のカメラで頻繁に構図を切り替えながら撮影を行うことができるので単調でない動画像を撮影することができる。しかしながら、一般のユーザがこうした撮影方法を取るのは大変困難である。
【0003】
撮影時には単調な動画像であっても適切な編集作業を経たものであれば鑑賞に耐えるものとなる。近年では、テレビ画面上に再生した動画像に対して動画像編集を行えるようにするための技術も各種提案されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第2822187号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1等の従来の動画像編集技術においては、編集後に得られる動画像を鑑賞する鑑賞者のことについては何ら考慮されておらず、編集後に得られる動画像が鑑賞者にとって必ずしも興味のある動画像となるとは限らない。このため、動画像の鑑賞者が退屈してしまったりするおそれがある。
【0006】
本発明は、上記の事情に鑑みてなされたもので、動画像を鑑賞する鑑賞者が興味を持ち易い動画像を得ることができるデジタルカメラ及び動画像再生方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記の目的を達成するために、本発明の第1の態様のデジタルカメラは、動画像を取得する撮像部と、上記撮像部で取得された動画像を記録する記録部と、上記記録部に記録された動画像の再生時に上記撮像部を動作させて得られる動画像を上記再生されている動画像に合成する合成部とを具備することを特徴とする。
【0008】
また、上記の目的を達成するために、本発明の第2の態様のデジタルカメラは、画像を取得する撮像部と、上記撮像部で取得された画像のうちの第1の画像を記録する記録部と、上記記録部に記録された第1の画像の再生時に上記撮像部を動作させて得られる画像である第2の画像の一部に基づく第3の画像を、上記再生されている第1の画像に合成して外部送信する送信部と、上記第1の画像内の上記第3の画像の合成位置を切り替える信号を受信する受信部とを具備することを特徴とする。
【0009】
また、上記の目的を達成するために、本発明の第3の態様の動画像再生方法は、動画像を取得し、上記取得した動画像を再生する際にデジタルカメラの撮像部を動作させ、上記撮像部を動作させて得られる動画像を上記再生されている動画像に合成することを特徴とする。
【発明の効果】
【0010】
本発明によれば、動画像を鑑賞する鑑賞者が興味を持ち易い動画像を得ることができるデジタルカメラ及び動画像再生方法を提供することができる。
【図面の簡単な説明】
【0011】
【図1】本発明の一実施形態に係るデジタルカメラを有する動画像再生システムの構成を示す図である。
【図2】動画像再生システムの使用時の様子を示す図である。
【図3】デジタルカメラのメインの動作を示すフローチャートの第1図である。
【図4】デジタルカメラの再生モード時における表示部の表示例を示す図である。
【図5】デジタルカメラのメインの動作を示すフローチャートの第2図である。
【図6】顔画像の合成の例について示す図である。
【図7】位置変更処理について示すフローチャートである。
【図8】デジタルカメラのメインの動作を示すフローチャートの第3図である。
【図9】リモコン操作表示画像の例について示す図である。
【図10】外部再生終了処理について示すフローチャートである。
【図11】確認画面の表示例について示す図である。
【発明を実施するための形態】
【0012】
以下、図面を参照して本発明の実施形態を説明する。
図1は、本発明の一実施形態に係るデジタルカメラを有する動画像再生システムの構成を示す図である。図1に示すように、本動画像再生システムは、デジタルカメラ100と、テレビジョン受像機200と、が通信ケーブル300を介して通信自在に接続されて構成されている。
【0013】
本実施形態に係るデジタルカメラ100は、撮像部101と、顔検出部102と、表示部103と、集音部104と、記録部105と、時計部106と、制御部107と、操作部108と、通信インタフェース部109とを有している。なお、本実施形態におけるデジタルカメラ100は動作モードとして、動画像撮影をするための動画像撮影モードと、動画像の再生をするための動画像再生モードと、TV200とデータ通信を行うための通信モードとを少なくとも有している。
【0014】
撮像部101は、図示しない被写体の像を集光するためのレンズや、レンズによって集光された被写体の像を電気信号に変換する撮像素子等を有している。この撮像部101は、被写体に対して撮像を実行して被写体の静止画像を取得する。また、撮像部101による撮像を連続的に実行することで動画像も取得可能である。
【0015】
顔検出部102は、撮像部101による撮像によって得られる画像中の被写体の顔を検出する。顔検出部102によって検出された顔の情報は、例えば、撮像部101を構成するレンズのフォーカスを顔位置に合わせるような制御や、画像中の顔の露出を適正にする制御に用いることができる。なお、顔検出部102における顔検出は、例えば、画像中の顔の特徴量(目や鼻の形状や位置関係等)を検出することによって行う。また、本実施形態における顔検出部102は顔の表情(特に笑顔)も検出可能になされている。
【0016】
表示部103は、撮像部101で取得された静止画像又は動画像を表示する。この表示部103は、例えばデジタルカメラ100の背面に配された液晶ディスプレイである。
【0017】
集音部104は、動画像撮影時におけるデジタルカメラ100の周囲の音声を取得し、取得した音声信号を電気信号に変換する。
【0018】
記録部105は、撮像部101で取得された静止画像又は動画像が記録される。この記録部105は、例えば、デジタルカメラ100に対して着脱自在になされた半導体メモリカードである。時計部106は、撮像部101において静止画像撮影又は動画像撮影がなされた日時を計時する。この時計部106で計時された撮影日時は撮像部101で取得された静止画像又は動画像に関連付けられて記録部105に記録される。
【0019】
制御部107は、撮像部101の撮像動作の制御、表示部103の表示動作の制御、集音部104の動作制御等を含む、デジタルカメラ100内部の各ブロックの制御を行う。この他、制御部107は、撮像部101で得られた画像に対する画像処理、集音部104で得られた音声に対する音声処理等の各種データ処理も行う。ここで、本実施形態における制御部107は、合成部としての機能も有している。即ち、制御部107は記録部105に記録された動画像に、この動画像を鑑賞している鑑賞者の画像を合成するとともに、鑑賞者の音声を記録部105に記録された動画像に関連付ける処理も行う。さらに、制御部107はトリミング部としての機能も有しており、撮像部101で得られた画像における顔部の画像(顔画像)をトリミングして抽出することも行う。
【0020】
操作部108は、ユーザがデジタルカメラ100の各種の操作を行うための操作部である。操作部108の操作を識別して制御部107は、操作部108の操作に対応する処理を実行する。なお、操作部108としては、例えばデジタルカメラ100の動作モードを設定するための操作部、デジタルカメラ100による撮影の実行・終了を指示するための操作部、各種の選択動作を行うための操作部等が含まれる。
【0021】
通信インタフェース部109は、デジタルカメラ100がテレビジョン受像機(以下、TVと略記する)200との間でデータ通信を行うためのインタフェースである。本実施形態では、通信インタフェース部109としてHDMI(High Definition Multimedia Interface)(登録商標)を用いる。しかしながら、通信インタフェース部109は、動画像の転送に適したインタフェースであれば特に限定されるものではない。また、図1では有線インタフェースを示しているが、赤外線通信や電波通信等に対応した無線インタフェースを用いるようにしても良い。
【0022】
本実施形態の外部機器の一例としてのTV200は、放送受信部201と、表示部202と、ネットワーク通信部203と、情報重畳部204と、制御部205と、リモコン信号受信部206と、通信インタフェース部207とを有している。
【0023】
放送受信部201は、図示しないテレビ局等からテレビジョン放送を受信するためのアンテナ等を含む。表示部202は、放送受信部201を介して受信されたテレビジョン放送に基づく動画像を表示する。また、本実施形態における表示部202は、デジタルカメラ100からデジタルデータとして転送されてくる動画像を表示可能にもなされている。
【0024】
ネットワーク通信部203は、TV200が図示しないサーバ等とインターネットを介して通信するためのインタフェースである。情報重畳部204は、ネットワーク通信部203を介して図示しないサーバ等から得られる各種データを表示部202に表示される動画像に重畳させる。
【0025】
制御部205は、表示部202の表示動作の制御や情報重畳部204の動作制御等を含む、TV200内部の各ブロックの制御を行う。リモコン信号受信部206は、TV200のリモートコントローラ(リモコン)400からのリモコン信号を受信する。リモコン信号受信部206で受信されたリモコン信号を識別して制御部205は、リモコン400の操作に対応した処理を実行する。
【0026】
通信インタフェース部207は、TV200がデジタルカメラ100との間でデータ通信を行うためのインタフェースである。この通信インタフェース部207も例えばHDMIである。
【0027】
図2は、本実施形態に係る動画像再生システムの使用時の様子を示す図である。図2に示すように、デジタルカメラ100は通信ケーブル300を介してTV200に接続されている。このような状態において、鑑賞者500はTV200の表示部202に表示された動画像202aを見ることができる。また、鑑賞者500がリモコン400を操作することで、TV200を遠隔操作することが可能である。
【0028】
ここで、本実施形態においては、デジタルカメラ100から通信ケーブル300を介して転送される動画像202aの再生中にデジタルカメラ100の撮像部101によって鑑賞者500の顔の画像を取得し、鑑賞者500の顔の画像202bをデジタルカメラ100から転送される動画像に合成してTV200の表示部202に表示可能である。このような表示を行うことにより、例えば図2のようにして2人の鑑賞者500が動画像202aを鑑賞している際にお互いの反応を表示部202上で確認でき、これによって動画像202aの鑑賞の場を盛り上げることが可能である。このように、実際には再生される動画像が前もって編集されていなくても、その動画像に単にその動画像を見るだけでない楽しみが付与されることとなる。つまり、本実施形態においては、TV200の表示部202上にあたかも編集された画像を見るのと同様の効果を持った画像が表示されることとなる。
【0029】
以下、図2で示したような動画像再生システムの動作の詳細について図3〜図11を参照して説明する。なお、本実施形態におけるTV200はデジタルカメラ100から送信される動画像を表示する動作とリモコン400が操作された場合にリモコン400の操作内容を示す操作信号を外部信号としてデジタルカメラ100に送信する動作とを行うだけである。したがって、以後の説明においてはデジタルカメラ100側の動作について特に説明する。また、本実施形態におけるデジタルカメラ100は静止画像の撮影及び再生も可能であるが、以後の説明においては動画撮影及び動画再生に係る動作について特に説明する。
【0030】
図3において、デジタルカメラ100の制御部107は、まず、デジタルカメラ100の動作モードが動画像撮影モードであるか否かを判定する(ステップS101)。ステップS101の判定において、デジタルカメラ100の動作モードが動画像撮影モードである場合に、制御部107は撮像部101を連続動作させて画像の取り込みを行い(ステップS102)、撮像部101の連続動作によって得られる動画像をリアルタイムで表示部103に表示させる(ステップS103)。この表示部103に表示される動画像を見ながら撮影者は撮影開始のタイミングや構図等を決定することが可能である。表示部103への動画像の表示後、制御部107は、撮影者による操作部108の操作によって動画像の撮影開始の指示がなされたか否かを判定する(ステップS104)。ステップS104の判定において、動画像の撮影開始の指示がなされていない場合に、制御部107はステップS101の動作モードの判定を再び行う。また、ステップS104の判定において、動画像の撮影開始の指示がなされた場合に、制御部107は、撮像部101を介して得られる動画像と集音部104を介して得られる音声との記録部105への記録を開始させる(ステップS105)。ここで、動画像の記録方式として本実施形態では、例えばMotion JPEG方式を用いる。Motion JPEG方式を用いるのは、動画像のフレーム単位での編集(詳細は後述する顔画像の合成)が容易であるためである。もちろん、合成されるタイミングの限定等、所定の条件さえ許す仕様であれば、H.264等のフレーム間圧縮プロセスを持つものでもよい。また、撮像部101を介した動画像の記録と集音部104を介した音声の記録とは互いに同期されるように同時に行われるものとする。
【0031】
動画像の撮影開始後、制御部107は、撮影者による操作部108の操作によって動画像の撮影終了の指示がなされたか否かを判定する(ステップS106)。ステップS106の判定において、動画像の撮影終了の指示がなされていない場合には、処理がステップS105に戻り、制御部107は動画像の記録を継続する。また、ステップS106の判定において、動画像の撮影終了の指示がなされた場合に、制御部107は動画像の記録を終了する。この際、制御部107は、記録部105に記録された動画像に時計部106で記録された撮影日時が関連付けして記録する。動画像の記録終了後、制御部107はステップS101以後の処理を行う。
【0032】
また、ステップS101の判定において、デジタルカメラ100の動作モードが動画像撮影モードでない場合に、制御部107は、デジタルカメラ100の動作モードが動画像再生モードであるか否かを判定する(ステップS107)。ステップS107の判定において、デジタルカメラ100の動作モードが動画像再生モードである場合に、制御部107は、記録部105に記録されている動画像(音声も関連付けられている)を示すサムネイル画像を図4(a)に示すようにして表示部103に表示させる(ステップS108)。なお、サムネイル画像として表示させる画像は各動画像の代表画像とする。この代表画像は、例えば動画像中の最初のフレームの画像や後述するインデックスが付されたフレームの画像である。
【0033】
サムネイル画像の表示後、制御部107は、鑑賞者の操作部108の操作によって動画像の選択がなされたか否かを判定する(ステップS109)。ステップS109の判定において、動画像の選択がなされていない場合に、制御部107は、サムネイル画像の表示を継続する。また、ステップS109の判定において、動画像の選択がなされた場合に、制御部107は、図4(b)に示すような、動画像の再生先を選択させる画面を表示部103に表示させる。図4(b)の例では、「1.再生」が動画像の再生先がデジタルカメラ100の表示部103であることを示しており、「2.TV」が動画像の再生先がTV200の表示部202であることを示している。図4(b)の画面の表示後、制御部107は動画像の再生先が表示部103であるか否かを判定する(ステップS110)。ステップS110の判定において、動画像の再生先が表示部103である場合に、制御部107は、現在、鑑賞者によって選択されている動画像を記録部105から読み出し、図4(c)に示すようにして、読み出した動画像の表示部103への再生を開始する(ステップS111)。この際、図4(c)に示すように動画像が再生中であることを示すメッセージを表示させるようにしても良い。
【0034】
動画像の再生開始後、制御部107は、ユーザの操作部108の操作によって表示部103に再生する動画像の切り替えがなされたか否かを判定する(ステップS112)。ステップS112の判定において、動画像の切り替えがなされた場合に、制御部107は、動画像の再生を終了した後、再生する動画像の切り替えを行う(ステップS113)。この切り替えは、例えば、操作部108が操作される毎に再生中の動画像に対して撮影日時が古い(または、新しい)動画像に切り替えることで行う。動画像の切り替え後、制御部107は切り替えによって選択された動画像に対してステップS109以後の処理を行う。
【0035】
また、ステップS112の判定において、動画像の切り替えがなされていない場合に、制御部107は、ユーザの操作部108の操作によって動画像の再生終了が指示されたか否かを判定する(ステップS114)。ステップS114の判定において、動画像の終了が指示なされていない場合に、制御部107はステップS109以後の処理を行う。一方、ステップS114の判定において、動画像の終了操作がなされた場合に、制御部107はステップS101以後の処理を行う。
【0036】
また、ステップS107の判定において、デジタルカメラ100の動作モードが動画像再生モードでない場合に、制御部107は、図5に示すフローチャートの処理を実行する。この図5の処理は通信モードに対応した処理である。詳細は後述するが、通信モードにおいては、TV200の表示部202に動画像が再生される。そして、デジタルカメラ100は、鑑賞者によるリモコン400の操作に応じてTV200から入力される外部信号に従って動作する。
【0037】
通信モード中において、制御部107は、通信インタフェース部109を介してTV200から外部信号が受信されたか否かを判定する(ステップS201)。ステップ201の判定において、TV200から外部信号が入力されていない場合には、処理が図3のステップS101に戻る。また、ステップS201の判定において、TV200から外部信号が入力された場合に、制御部107は、入力された外部信号の識別を行う(ステップS202)。そして、制御部107は、外部信号が顔画像の合成命令を示す信号であるか否かを判定する(ステップS203)。ステップS203の判定において、外部信号が顔画像の合成命令を示す信号でない場合に、制御部107は、現在、撮像部101が動作中であれば、撮像部101の動作を停止させる(ステップS204)。詳細は後述するが、通信モード中においては、撮像部101は顔画像の合成命令を示す信号が入力されている間に動作するものである。撮像部101の動作を停止させた後、制御部107は、外部信号が動画像の再生命令を示す信号であるか否かを判定する(ステップS205)。ステップS205の判定において、外部信号が動画像の再生命令を示す信号である場合に、制御部107は、次に送信すべきフレームの画像をTV200に送信する(ステップS206)。一方、ステップS206の判定において、外部信号が動画像の再生命令を示す信号でない場合に、制御部107は、例えば所定時間の経過後に外部再生終了処理を行う(ステップS207)。この外部再生終了処理については後述する。ステップS206又はステップS207における処理の終了後、制御部107は図3のステップS101以後の処理を行う。
【0038】
また、ステップS203の判定において、外部信号が合成命令を示す信号である場合に、制御部107は、再生中の動画の再生を一時停止した後、撮像部101を起動して鑑賞者の画像をフレーム単位で取得する(ステップS208)。そして、制御部107は、撮像部101を介して得られる鑑賞者の画像における顔部を顔検出部102によって検出し、検出した顔画像をトリミングしてTV200の表示部202に再生中の動画像の枠外に合成して表示できるようにし、例えば記録部105に後から、必要に応じて、鑑賞者の顔画像と現在再生中の動画像とを合成して保存できるように、顔画像を仮記録させる(ステップS209)。このように、顔画像のみをトリミングすることにより、記録部105の記録容量を節約することが可能である。また、合成する範囲を狭い範囲に限定することで、余計な背景等までもが写ることがなく、鑑賞者の表情を見易くすることができる。この時、集音部104を起動させ、音声を同時に取り込んで、必要に応じて声の変化がモニタできるようにして、後述のように、音声の変化で顔を、再生中の動画像内に合成するタイミングを決めるようにしてもよい。もちろん、顔画像、音声の、どちらか一方を指定できるようにしてもよい。
【0039】
顔画像の再生画面外(または、再生中の動画像の周辺部)への合成表示処理と仮記録後、制御部107は、位置変更処理を行う(ステップS210)。この位置変更処理について図6、図7を参照して説明する。位置変更処理は、図6(a)や図6(b)に示すようにして、TV200の表示部202に再生表示されている動画像202aの所定位置に鑑賞者の顔画像202bを合成したり、合成されている顔画像202bの位置を変更したりする処理である。この時、顔の大きさを変えられるようにしてもよい。
【0040】
図7において、制御部107は、位置変更処理における処理モードが自動変更モードであるか否かを判定する(ステップS301)。
【0041】
ステップ301の判定において、処理モードが自動変更モードである場合には、制御部107は、図5のステップS209において記録部105に記録した鑑賞者の顔画像から、鑑賞者の顔の表情を顔検出部102によって検出し、検出した顔の表情が例えば笑顔に変化したか否かを判定する(ステップS302)。ステップS302の判定において、鑑賞者の顔の表情が笑顔に変化した場合に、制御部107は、次にTV200に送信するフレームの画像におけるコントラストなし部(例えば図6(b)に示すような画像中の背景部)に、撮像中の顔画像を合成する(ステップS303)。この再生中の動画像内への顔画像の合成表示のタイミング決定には、表情の変化を用いる以外に、笑い声や話し声の大小変化を利用してもよい。盛り上がった時の表情は、皆が気になるからである。顔画像の再生中の動画像内への合成時に、制御部107は、顔画像の合成を行ったタイミングや、その時の顔画像や、フレームの位置を示す情報を合成履歴として記録部105に記録しておく。この時、前述のように、笑い声や話し声などの音声を記録しておくようにしてもよい。これによって、鑑賞者がどんな反応をしたかを、後から知ることができる。このようにして、適宜、再生中の動画像に顔画像が合成されるので、変化にとんだ表示にすることができる。単調に陥りがちなアマチュアの撮影した動画であっても、時折、画面内に鑑賞者の顔画像が侵入してくるので、変化のある動画像となる。ここでは、笑顔のみ再生中の動画像内に侵入したが、つまらなそうな顔が入ってくれば、単調な画像に変化がつく、という考え方で、そうした表情を利用してもよい。
【0042】
また、常に、再生中の動画像に顔画像が侵入したままでは、めりはりがなくなるので、表情や音声の大きさが戻った場合、あるいは、リモコン400での操作があった場合には、侵入していた顔画像は再生中の画面の外、または、周辺部に待避させる。デジタルカメラ100においては、このような再生形態を実現させるために、再生中の動画像と顔画像とを合成してTV200に表示させている(HDMIで送っている)が、この場合、合成情報(履歴)としては、合成は解除されたこととする。
【0043】
また、再生中の動画像の枠外、または、周辺部に顔画像が位置している場合は、なるべく目立たなく、小さく表示した方が良いので、TV200の表示部202の画面サイズに応じて、顔画像の表示大きさを変更してもよい。大きな画面のTV200であれば、画面の広い範囲を使わなくとも、顔が映っていることを確認可能である。
【0044】
なお、動画像の鑑賞者は複数人であることも考えられ、この場合には、必ずしも全員の表情が笑顔に変化するとは限らない。このような撮像部101を介して得られる鑑賞者の画像として複数の顔が存在している場合には例えば表情が笑顔に変化した顔画像のみを合成する。勿論、全員の顔画像を合成するようにしても良い。こうした切り替えを声の大小によって決定してもよい。大きな声なら全員の顔を再生画像の中に合成、小さな声なら笑顔の顔のみを再生画像の中に合成するといった具合である。また、説明の単純化のため、省略したが、鑑賞者の表情が笑顔でなくなった場合は、ステップS303での合成は解除され、顔画像は再生画像の画面外、または周辺部に待避する。また、コントラストなし部と書いたが、時間変化がない部分であってもよい。人物が被写体である場合、人物の顔を隠さない位置なら、その他の場所でもよい。
【0045】
また、ステップS301の判定において、処理モードが自動変更モードでない場合、又はステップS302の判定において、鑑賞者の顔の表情が笑顔に変化していない場合に、制御部107は、鑑賞者によるリモコン400の操作によって顔画像の合成位置を変更する旨を示す外部信号が入力されたか否かを判定する(ステップS304)。ステップS304の判定において、顔画像の合成位置を変更する旨を示す外部信号が入力された場合に、制御部107は、次にTV200に送信するフレームの画像中の鑑賞者によるリモコン400の操作に従って指定された位置に、記録部105に記録した顔画像を合成する(ステップS305)。顔画像の合成後に、制御部107は、顔画像の合成を行ったフレームの位置を示す情報を合成履歴として記録部105に記録しておく。
【0046】
ステップS303又はステップS305の合成の後、制御部107は、次にTV200の送信するフレームの画像に対してインデックス情報を付与する(ステップS306)。こうした工夫によって、後から見直す時の検索の補助とすることができる。その後に、制御部107は、顔画像を合成したフレームの画像をTV200に送信する(ステップS307)。その後に、制御部107は図7の処理を終了させる。なお、顔画像の合成後に、制御部107は、顔画像の合成を行ったフレームの位置を示す情報を合成履歴として記録部105に記録しておく。
【0047】
このように、本実施形態では、自動又は手動で動画像中にインデックス情報を付与することにより、動画像の再生中に盛り上がったと考えられるポイントを自動又は手動で指定することができる。これにより、次回の鑑賞時において、動画像中の盛り上がったポイントの特定が容易である。また、特に、複数人で動画像を鑑賞していたときには、その当時の各鑑賞者の表情も見ることができ、より鑑賞者にとって興味の高い動画像を作成することが可能である。
【0048】
また、ステップS304の判定において、外部信号が入力されていない場合に、制御部107は、例えば所定時間の経過後に、次にTV200に送信するフレームの画像中のメインの表示部以外の位置(例えば図6(a)に示すような動画像202aの外部)に、記録部105に記録した顔画像を合成し、顔画像を合成したフレームの画像をTV200に送信する(ステップS308)。
【0049】
ここで、再び図3の説明に戻る。図3のステップS110の判定において、動画像の再生先がTV200の表示部202である場合に、制御部107は、図8に示す通信モードへの移行処理を行う。即ち、制御部107は、通信インタフェース部109を介してTV200に、現在、鑑賞者によって選択されている動画像の代表画像(例えば、最初のフレームの画像やインデックス情報が付与されているフレームの画像)を送信する(ステップS401)。
【0050】
代表画像の送信後、制御部107は、通信インタフェース部109を介してTV200に、リモコン操作表示画像を送信する(ステップS402)。リモコン操作表示画像とは、図9(a)や図9(b)に示すような、デジタルカメラ100からの動画像をTV200の表示部202に表示させている際の、リモコン400の操作を案内するための表示画像202cである。このようなリモコン操作表示画像202cを見ることにより、鑑賞者はリモコン400のどのボタンを操作すればどのような操作を行うことができるかを理解し易い。
【0051】
ここで、図9(a)に示すリモコン操作表示画像202cは、代表画像の送信後にTV200の表示部202に表示される画像である。図9(a)に示すリモコン操作表示画像202cがなされている際にリモコン400の再生ボタンが押された場合には、TV200からデジタルカメラ100に対して再生命令を示す信号が入力される。一方、リモコン400の撮像ボタンが押された場合には、TV200からデジタルカメラ100に対して合成命令を示す信号が入力される。また、図9(b)に示すリモコン操作表示画像202cは、リモコン400の撮像ボタンが押された後にTV200の表示部202に表示される画像である。図9(b)に示すリモコン操作表示画像202cがなされている際にリモコン400の再生ボタンが押された場合には、TV200からデジタルカメラ100に対して再生命令を示す信号が入力される。一方、リモコン400の位置変更ボタンが押された場合には、表示部202に表示されている顔画像202bの位置が変更されるとともに、TV200からデジタルカメラ100に対して顔画像202bの合成位置を変更する旨を示す信号が入力される。
【0052】
リモコン操作表示画像202cの送信後、制御部107は、デジタルカメラ100の表示部103の表示をオフする(ステップS403)。表示部103の表示をオフした後、制御部107は、図1のステップS101以後の処理を行う。即ち、通信モードにおいてはデジタルカメラ100に記録されている動画像がTV200の表示部202に表示されるため、鑑賞者がデジタルカメラ100の表示部103を見ることはないと考えられる。したがって、省エネルギー化を図るため、表示部103の表示をオフする。表示部103の表示をオフした後、制御部107は、デジタルカメラ100の動作モードを通信モードに移行させる(ステップS404)。なお、表示部103の表示をオフさせずに図4(d)で示すような通信モード中であることを示す表示を行うようにしても良い。
【0053】
次に、外部再生終了処理について図10、図11を参照して説明する。図10において、制御部107は、再生が終了した動画像に対応した合成履歴が記録部105に記録されているか否かを判定する(ステップS501)。ステップS501の判定において、合成履歴が記録部105に記録されている場合に、制御部107は、顔画像を合成した動画像を記録部105に記録するか否かを鑑賞者に確認するための画面を表示させるための画像をTV200に送信する(ステップS502)。図11はTV200の表示部202に表示される確認画面の一例を示した図である。図11の例では、再生が終了した動画像の代表画像202aを表示部202に表示させるとともに、この外部再生終了処理中における鑑賞者のリモコン400の操作を案内するためのリモコン操作表示画像202cを表示させる。
【0054】
図11に示すような確認画面を表示させるための画像の送信後、制御部107は、鑑賞者によるリモコン400の操作により動画像の保存が指示されたか否かを判定する(ステップS503)。ステップS503の判定において、保存が指示された場合には合成履歴に従って動画像中において合成を行ったフレームを特定し、特定したフレームの画像に、記録部105に記録しておいた顔画像を合成して記録部105に記録する(ステップS504)。顔画像を合成した動画像を再記録することにより、例えば皆で動画像を鑑賞したときの様子を他のメンバーも後から追体験することができる。例えば、運動会の様子等をデジタルカメラ100によって撮影した場合に、この運動会の様子を記録した動画像を、まず、親子で鑑賞し、そのときの動画像を祖父母に送る等すれば、祖父母はあたかも親子の団欒に参加したかのような体験を味わうことができる。前述のように、再生中の動画像内に顔画像の侵入の処理がない場合、顔画像が再生中の動画像の画面外にあったり、図6(a)のように周辺部にある場合は、合成履歴はないとする。図6(b)のような顔画像侵入シーンのみが合成履歴の対象となる。この場合、顔の大きさをリモコン400で変更できるようにしてもよい。また、顔をそのまま表示すると、自分の顔が見られるのが嫌な人もいるので、アバターなど他の顔画像を代用して表示するようにしてもよい。
【0055】
このように、本実施形態においては、顔画像の合成履歴が記録されていく形であるので、記録された顔画像を別の画像に置換えるのも簡単にできる。
【0056】
ステップS501において合成履歴が記録部105に記録されていない場合、ステップS503において動画像の保存が指示されていない場合、又はステップS504の後、制御部107は、鑑賞者によるリモコン400の操作により通信モード時の動画像の再生の終了が指示されたか否かを判定する(ステップS505)。ステップS505の判定において、通信モード時の動画像の再生の終了が指示された場合に、制御部107は、デジタルカメラ100の動作モードを再生モードに変更する(ステップS506)。その後、ステップS101以後の処理を行う。一方、ステップS505の判定において、通信モード時の動画像の再生の終了が指示されていない場合に、制御部107は、鑑賞者によるリモコン400の操作によりリプレイが指示されたか否かを判定する(ステップS507)。ステップS507の判定において、リプレイが指示されていない場合に、制御部107は、ステップS505以後の処理を行う。また、ステップS507の判定において、リプレイが指示された場合に、制御部107は、図5のステップS201以後の処理を実行する。
【0057】
以上説明したように、本実施形態によれば、デジタルカメラ100の記録部105に記録された動画像をTV200の表示部202に再生している際に、この動画像を鑑賞している鑑賞者の顔画像も合わせて再生することができる。これにより、動画像の鑑賞者が興味を持ち易い動画像を得ることができる。また、鑑賞者の顔の表情が笑顔になって顔画像の合成がなされたフレームや、鑑賞者によって顔画像の合成位置が指定されたフレームに対してインデックス情報を付与することで、後の検索において動画像中の重要シーンを特定することも可能である。
【0058】
さらに、TV200において再生する動画像はデジタルカメラ100で選択された動画像のみとすることにより、デジタルカメラ100に記録されているプライベートな動画像がTV200の表示部202で不意に大画面表示されることがない。
【0059】
ここで、上述した実施形態においては、TV200の表示部202に再生している動画像に鑑賞者の顔画像を合成している。これに対し、本実施形態はデジタルカメラ100の表示部103に再生している動画像に鑑賞者の顔画像を合成するような場合にも適用可能である。また、TV200に鑑賞者の顔画像を撮像するための撮像部を持たせるようにしても良い。
【0060】
また、上述した実施形態では顔画像を動画像のフレーム単位で合成するようにしているので、顔画像の合成位置をフレーム毎にずらすようにすれば顔画像をアニメーションさせる等することも可能である。
【0061】
さらに、上述した実施形態ではデジタルカメラ100に記録されている動画像に顔画像を合成してTV200で再生するようにしているが、これに限らず本実施形態の手法は動画撮影機能を有する各種の携帯機器に対して適用可能である。
【0062】
また、ここでは動画像に変化をつける前提で説明を行ったが、TV200に静止画を表示しながら、再生中に得られた顔画像、または、顔画像情報に基づくアバターなどの画像を合成していくような用途にも利用可能であることは言うまでもない。これによって、沢山の静止画を見る場合に、どの画像に人気があったかなどを、その場で、または、他の人が知ることができる。
【0063】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【0064】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【0065】
100…デジタルカメラ、101…撮像部、102…顔検出部、103…表示部、104…集音部、105…記録部、106…時計部、107…制御部、108…操作部、109…通信インタフェース部、200…テレビジョン受像機(TV)、200…TV、201…放送受信部、202…表示部、203…ネットワーク通信部、204…情報重畳部、205…制御部、206…リモコン信号受信部、207…通信インタフェース部、300…通信ケーブル、400…リモートコントローラ(リモコン)

【特許請求の範囲】
【請求項1】
動画像を取得する撮像部と、
上記撮像部で取得された動画像を記録する記録部と、
上記記録部に記録された動画像の再生時に上記撮像部を動作させて得られる動画像を上記再生されている動画像に合成する合成部と、
を具備することを特徴とするデジタルカメラ。
【請求項2】
上記合成部は、上記デジタルカメラが、上記記録部に記録された動画像を再生する外部機器に接続された時に上記合成を行うことを特徴とする請求項1に記載のデジタルカメラ。
【請求項3】
上記合成部は、上記外部機器から合成命令を示す信号が入力された時に上記合成を行うことを特徴とする請求項2に記載のデジタルカメラ。
【請求項4】
上記合成部は、上記再生時に上記撮像部を動作させて得られる動画像のうちの限定された領域に対応した動画像を上記再生されている動画像に合成することを特徴とする請求項1乃至3の何れか1項に記載のデジタルカメラ。
【請求項5】
上記記録部は、上記合成部によって合成がなされた後の動画像をさらに記録することを特徴とする請求項1乃至4の何れか1項に記載のデジタルカメラ。
【請求項6】
画像を取得する撮像部と、
上記撮像部で取得された画像のうちの第1の画像を記録する記録部と、
上記記録部に記録された第1の画像の再生時に上記撮像部を動作させて得られる画像である第2の画像の一部に基づく第3の画像を、上記再生されている第1の画像に合成して外部送信する送信部と、
上記第1の画像内の上記第3の画像の合成位置を切り替える信号を受信する受信部と、
を具備することを特徴とするデジタルカメラ。
【請求項7】
動画像を取得し、
上記取得した動画像を再生する際にデジタルカメラの撮像部を動作させ、
上記撮像部を動作させて得られる動画像を上記再生されている動画像に合成する、
ことを特徴とする動画像再生方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2011−15279(P2011−15279A)
【公開日】平成23年1月20日(2011.1.20)
【国際特許分類】
【出願番号】特願2009−158881(P2009−158881)
【出願日】平成21年7月3日(2009.7.3)
【出願人】(504371974)オリンパスイメージング株式会社 (2,647)
【Fターム(参考)】