再生装置
【課題】重要なシーンを繰り返し再生したり、不要なシーンを飛ばして再生したりする操作が容易な装置を提供できるようにする。
【解決手段】記録媒体から動画像信号を再生する再生手段と、再生手段により再生された動画像信号において特徴部分の画像が出現した出現位置を検出する検出手段と、前記動画像信号の巻き戻しの指示を出力する指示手段と、前記動画像信号の再生中に前記指示手段により前記巻き戻しの指示が出力されると、前記巻き戻しの指示に対応した再生位置よりも前の前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御する制御手段とを備え、再生中の動画像に含まれる特徴部分が写っているシーンを容易に繰り返し再生することができるようにする。
【解決手段】記録媒体から動画像信号を再生する再生手段と、再生手段により再生された動画像信号において特徴部分の画像が出現した出現位置を検出する検出手段と、前記動画像信号の巻き戻しの指示を出力する指示手段と、前記動画像信号の再生中に前記指示手段により前記巻き戻しの指示が出力されると、前記巻き戻しの指示に対応した再生位置よりも前の前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御する制御手段とを備え、再生中の動画像に含まれる特徴部分が写っているシーンを容易に繰り返し再生することができるようにする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は再生装置に関し、特に、動画像の再生装置に関する。
【背景技術】
【0002】
従来、ディスク媒体などの記録媒体に記録された動画像を再生する装置が知られている。動画像は静止画とは異なり、短時間でその内容を把握することは難しい。そこで、動画像の内容を短時間で把握するために、この種の装置では、例えば高速再生機能や、動画像中における所定の画面をサムネイル画像として一覧画面で表示する機能を持つものがある。
【0003】
また、ビデオカメラなど、動画像や静止画を撮影し、記録媒体に記録する装置も知られている。一般に、ユーザがビデオカメラにより撮影する動画像の被写体は人物を含むことが多い。
【0004】
近年、顔検出技術の発展により、撮影した動画像から人物が写っているシーンを再生する技術開発が行われている。例えば、動画像に含まれる人物の顔を一覧表示したり、人物の顔を含むシーンを時系列に並べて表示したりして、そこからユーザが選択した顔に対応するシーンを再生する技術がある(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2002−8354号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
前述の様に記録した動画像を再生する場合には、通常、各シーンの先頭から順番に再生する。そして、重要なシーンは巻き戻して繰り返し再生したり、不要なシーンでは早送り再生したり、或いは数秒〜十数秒単位のスキップなどを行いながら再生することが一般的である。
【0007】
このため、重要なシーンを繰り返し再生したり、不要なシーンを飛ばして再生したりする操作が煩わしいという問題があった。また、動画像の再生中に特定の顔が写っているシーンを繰り返し再生したい場合にも、やはり、ユーザが自分で巻き戻し、早送りの操作を行う必要があった。また、特開2002−8354号公報に記載の技術では、動画像の再生中に特定の顔を含むシーンを頭出しすることができず、動画像の再生を一度中断して一覧表示や時系列表示などの選択画面に戻る必要があった。
本発明は前述の問題点に鑑み、重要なシーンを繰り返し再生したり、不要なシーンを飛ばして再生したりする操作が容易な装置を提供できるようにすることを目的としている。
【課題を解決するための手段】
【0008】
本発明の再生装置は、記録媒体から動画像信号を再生する再生手段と、前記再生手段により再生された動画像信号において特徴部分の画像が出現した出現位置を検出する検出手段と、前記動画像信号の巻き戻しの指示を出力する指示手段と、前記動画像信号の再生中に前記指示手段により前記巻き戻しの指示が出力されると、前記巻き戻しの指示に対応した再生位置よりも前の前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御する制御手段とを備える。
【発明の効果】
【0009】
本発明によれば、重要なシーンを繰り返し再生したり、不要なシーンを飛ばして再生したりする操作が容易となる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施形態におけるビデオカメラの構成例を示すブロック図である。
【図2】動画像の様子を示す図である。
【図3】管理テーブルの例を示す図である。
【図4】操作スイッチの外観図である。
【図5】実施形態における巻き戻し処理を示すフローチャートである。
【図6】管理テーブルと記録テーブルの例を示す図である。
【図7】再生時の処理を示すフローチャートである。
【図8】管理テーブルと記録テーブルの例を示す図である。
【図9】再生時の処理を示すフローチャートである。
【図10】付加情報の例を示す図である。
【図11】動画像の再生画面を示す図である。
【発明を実施するための形態】
【0011】
(第1の実施形態)
本実施形態においては、ディスク型の記録媒体に動画像を記録するデジタルビデオカメラに対して本発明を適用した場合について説明する。図1は、本発明の実施形態におけるビデオカメラ100の構成例を示すブロック図である。
【0012】
CPU110は、バス116により、RAM112、ROM113およびその他の各ブロックに接続されている。CPU110は、ROM113に格納された制御プログラムに従い各ブロックを制御する。また、CPU110は、動作時の一時的なデータの格納場所としてRAM112を用いる。また、CPU110は操作部111からの指示に従い各種処理を行う。操作部111は電源スイッチや撮影開始、停止を指示する記録スイッチ、記録した動画の再生を指示する再生スイッチなど各種のスイッチを備えている。メモリ114は、各ブロックにおける処理のため動画像信号を記憶する他、必要なデータを記憶するために用いられる。
【0013】
撮像部101は、レンズ、絞り、撮像素子、及びこれらのドライバ等を有し、被写体の画像を撮影し、動画像信号を出力する。画像処理部102は、CPU110の制御により、撮影時には撮像部101からの動画像信号を入力し、再生時にはCODEC104から動画像信号を入力する。そして、入力した動画像信号に対し、色変換や解像度変換といった各種の画像信号処理を行う。特徴検出部103はメモリ114を用いて、撮影した動画像信号、或いは、再生された動画像信号から、画像に含まれる特徴部分の数とそれらの大きさ、位置などの付加情報を検出して取得する。
【0014】
本実施形態では、特徴検出部103は人物の顔を特徴部分として検出する。そして、特徴検出部103の検出結果に基づいて、動画像のうち顔部分の画像の時間軸上の出現点を、特徴部分の画像が出現した出現位置としてCPU110により管理する。また、顔部分が複数回検出された場合、検出された顔部分が互いに同じ顔であるかどうかを判断する。なお、特徴検出部103が顔以外の特定の画像を特徴部分として検出するようにしてもよい。
【0015】
また、CODEC104は撮影時には画像処理部102から動画像信号を入力し、MPEG等の公知の動画符号化方式に従いこの動画像信号を符号化してその情報量を圧縮する。そして、圧縮した動画像信号をメモリ114に記憶する。ディスク制御部105は、メモリ114から、圧縮された動画像信号を読み出してディスク106に記録する。なお、本実施形態では、動画像信号を記録する記録媒体として、ハードディスク(HDD)を用いるが、メモリカードや光ディスクなど、他の種類の記録媒体を用いることも可能である。
【0016】
また、再生時には、ディスク制御部105は、ディスク106から動画像信号を読み出してメモリ114に記憶する。CODEC104は、メモリ114より、再生された動画像信号を読み出して復号して画像処理部102に出力する。
【0017】
また、画像処理部102は、撮像部101から出力された動画像信号、或いは、再生された動画像信号を処理してメモリ114に記憶する。描画処理部107は、CPU110の指示に従い、各種の文字や図形の情報をメモリ114に記憶し、動画像信号に多重する。
【0018】
表示制御部108は、メモリ114より読み込んだ動画像信号を表示部109に表示する。従って、撮影時には撮像部101で得られた動画像が表示部109に表示され、再生時には再生された動画像が表示部109に表示される。また、出力部115は、メモリ114より読み込んだ動画像信号をビデオカメラ100の外部の表示装置などに出力し、撮影された動画像や再生された動画像を表示させる。
【0019】
撮影モードにおいては、撮像部101により撮影された動画像が表示部109に表示される。そして、ユーザが操作部111により撮影開始を指示すると、前述の様に、撮像部101により得られた動画像信号が処理されて、ディスク106に記録される。また、撮影停止の指示があると、ディスク106に対する動画像信号の記録を停止する。本実施形態では、撮影開始の指示から撮影停止の指示までの間に記録された一連の動画像信号を一つのファイルとして管理し、一つの動画ファイルを一つのシーンとして扱う。また、本実施形態では、撮影時において、画像処理部102により、記録する動画像信号の先頭フレームを縮小し、代表画像信号を生成する。ディスク制御部105は、この代表画像信号を各動画ファイルと共にディスク106に記録する。
【0020】
また、操作部111により再生モードが指示されると、CPU110はディスク制御部105に対し、ディスク106に記録された各シーンの代表画像信号を再生するよう、指示する。ディスク制御部105はディスク106から代表画像信号を再生し、メモリ114に記憶する。描画処理部107は、再生された代表画像信号に基づいて、各シーンの代表画像の一覧画面を示すインデックス画面を生成し、メモリ114に記憶する。
【0021】
表示制御部108は、このインデックス画面を表示部109に表示する。ユーザは、操作部111を操作することにより、インデックス画面に表示された代表画像のうち、所望のシーンの代表画像を任意に選択し、再生を指示する。CPU110は、操作部111により再生開始が指示されると、ディスク制御部105に対し、選択されたシーンの動画像信号を再生する様に指示する。ディスク制御部105は、選択されたシーンの動画像信号をディスク106から再生し、前述のように、再生された動画像信号が表示部109に表示される。
【0022】
次に、動画像の再生中における巻き戻し処理について説明する。
図2は、ディスク106に記録された動画像信号のうちの一つのシーンの動画像信号の様子を示す図である。図2の各フレームは、後述の様に、特徴検出部103が動画像信号から選択して顔検出処理を行ったフレームである。例えば、フレーム201〜216は1秒間隔である。本実施形態では、30フレーム/秒の動画像信号を記録再生するので、図2においては、30フレームに1フレームの動画像を取り出した様子を示している。図2において、フレーム201がシーンの先頭フレームであり、216がシーンの最後のフレームである。
【0023】
図2の動画像では、顔250がフレーム203で出現し、フレーム207で消失している。また、顔260がフレーム205で出現し、フレーム209で消失している。また、顔261がフレーム211で出現し、フレーム213で消失している。また、顔251がフレーム213で出現し、フレーム215で消失している。
【0024】
図2において、217は顔250が出現してから、消失後所定期間経過するまでの期間を示している。ここで、消失後の所定期間は3秒に設定した。また、218は顔260が出現してから、消失後所定期間経過するまでの期間を示している。また、219は顔261が出現してから、消失後所定期間経過するまでの期間を示している。また、220は顔251が出現してから、消失後所定期間経過するまでの期間を示しているが、図2では、顔251が消失してから2秒後に最後のフレームが再生されるため、期間220は最後のフレーム216までの期間となっている。
【0025】
本実施形態においては、顔が出現したフレームに加えて、顔が消失したフレームを検出することにより、顔の出現期間を管理している。そして、動画像の再生中に、顔が出現してから、消失後所定期間経過するまでの間に巻き戻しの操作が行われた場合、指示があった時点で表示中のフレームに含まれる顔、或いは、直前に消失した顔の時間軸上の出現点(フレーム)まで戻って動画像を再生する。なお、特徴部分の画像の出現位置に関連した位置、例えば、出現位置よりも所定期間前の位置から動画像信号を再生するようにしてもよい。
【0026】
次に、動画像の再生時のビデオカメラ100の動作について説明する。
前述の様に、ディスク106から再生された動画像信号をCODEC104により復号し、画像処理部102は復号した動画像信号を処理してメモリ114に記憶する。特徴検出部103は、メモリ114に記憶された再生動画像信号から顔部分を検出する。なお、本実施形態では、特徴検出部103は、再生された動画像信号において、所定の間隔で選択したフレームに含まれる顔を検出する。ここでは、1秒間隔で選択したフレームから顔を検出するが、もちろん、これよりも長い間隔、或いは、短い間隔でフレームを選択して顔検出処理を行ってもよく、全てのフレームについて顔検出処理を行ってもよい。
【0027】
特徴検出部103は、再生したフレームに顔の画像が含まれていた場合、その位置及び大きさの情報をCPU110に出力する。なお、ここでは、検出した顔の中心の位置を顔の位置の情報として出力する。
【0028】
このとき、顔の中心位置を、画面の左上からの水平方向(X方向)及び垂直方向(Y方向)の画素数として出力する。CPU110は、特徴検出部103からの検出結果に基づいて、検出した顔を識別するためのIDとその位置、大きさ、そして、動画像のうち顔が出現した位置(出現点)を対応づけて管理テーブルに登録し、RAM112に保存する。
【0029】
本実施形態では、出現点を当該シーンの先頭からの経過時間(フレーム数)として登録するが、動画像中の時間軸上の位置がわかれば他の形式で登録することも可能である。また、再生したフレームに顔が含まれていない場合、顔を含んでいないことを示す検出結果をCPU110に出力する。また、特徴検出部103により検出されていた顔が検出されなくなってから所定期間(ここでは3秒)経過すると、この顔の情報を管理テーブルから削除し、検出されなくなったフレームを消失点として管理テーブルに登録する。
【0030】
例えば、図2に示す動画像信号の再生時において、特徴検出部103は、フレーム201、202には顔が含まれていないため、フレーム201、202の再生時には顔を含んでいないことを示す検出結果をCPU110に出力する。また、特徴検出部103は、フレーム203が再生されると顔250を検出し、その位置及び大きさの情報をCPU110に出力する。CPU110は、特徴検出部103からの検出結果に基づいて、検出した顔を識別するためのID(ここでは250)とその位置、大きさ、出現点(ここではフレーム203)を対応づけて管理テーブルに登録し、RAM112に保存する。図3(a)は、フレーム203の再生時の管理テーブル300の様子を示す。
【0031】
その後、フレーム204の再生時にも特徴検出部103は顔250を検出し、CPU110はその検出結果と、管理テーブル300に登録された内容とを照合する。そして、それらの位置と大きさから、フレーム203で登録した顔と同一であると判断し、管理テーブル300に登録されている顔250の位置、大きさを更新する。
【0032】
同様に、フレーム205の再生時に特徴検出部103は顔250に加えて顔260を検出し、CPU110はその位置、大きさ、出現点を管理テーブル300に登録する。図3(b)は、フレーム205の再生時の管理テーブル300の内容を示す。CPU110は、このように、複数の顔の時間軸上の出現点を管理する。
【0033】
フレーム207の再生時には、顔260の検出結果だけがCPU110に出力される。そのため、CPU110は、フレーム206まで検出されていた顔250がフレーム207で消失したと判断し、顔250の位置と大きさの情報を管理テーブル300から削除し、消失点(フレーム207)の情報を登録する。図3(c)は、フレーム207の再生時の管理テーブル300を示す。その後、フレーム208の再生時にも特徴検出部103は顔260を検出し、管理テーブル300に登録されている顔260の位置、大きさを更新する。
【0034】
フレーム209の再生時には、顔を含まない旨の検出結果が特徴検出部103から出力されるため、CPU110は、フレーム208まで検出されていた特徴部分、この場合は顔260が消失したと判断する。そして、顔260の消失点(フレーム209)を管理テーブル300に登録する。また、顔250の消失点から所定期間経過しているので、管理テーブル300から顔250の情報を削除する。図3(d)は、フレーム209の再生時の管理テーブル300を示す。以下、フレーム210〜216の再生時にも同様に処理を行う。
【0035】
次に、この動画像の再生時に、ユーザが操作部111を操作して巻き戻しを指示したときのビデオカメラ100の動作について説明する。
図4は、操作部111の外観図である。操作部111はダイヤルスイッチ401と、巻き戻しボタン402と、早送りボタン403と、再生/一時停止ボタン404と、停止ボタン405とを備えている。
【0036】
図5は、動画像の再生中に巻き戻しボタン402が操作された場合に、CPU110が行う巻き戻し処理を示すフローチャートである。
前述の様に、動画像信号の再生中に巻き戻しの指示があると、管理テーブルに出現中の顔の情報が登録されているかどうかを検出する。そして、巻き戻し指示があったときに再生中のフレームに顔が含まれているかどうか判別する(S501)。この判別の結果、再生中のフレームに顔が含まれていない場合には、更に、管理テーブルに消失点近傍(消失して3秒以内)の顔の情報が登録されているかどうかを検出する。そして、巻き戻し指示があったときに再生中のフレームが、顔の消失点から所定期間以内に再生されたフレームであるかどうかを判別する(S505)。この判別の結果、顔の消失点から所定期間以内での巻き戻し指示では無いと判別した場合には、現在再生中のシーンの先頭から動画像信号を再生するように、ディスク制御部105及び各部を制御する(S506)。
【0037】
また、S501の判別で、巻き戻し指示があった時に再生中のフレームに顔が含まれていた場合、或いは、S505の判別で、顔の消失点から所定期間以内に巻き戻しの指示があった場合には、S502に進む。S502では、管理テーブルに複数の顔の情報が登録されているかどうかを判別する。この判別の結果、顔の情報が複数登録されていた場合、これら複数の顔のうちの何れかを選択する(S503)。
【0038】
本実施形態では所定の条件に従い、複数の顔に優先度を付加し、最も優先度が高い顔の情報を選択する。例えば、本実施形態では、各顔の画面中心からの距離や、大きさ、出現してからの経過時間の長さなどを元に優先順位を付加する。また、S502で顔の情報が一つしか登録されていない場合には、S503の選択処理は行わずに、この一つの顔の情報を選択する。
【0039】
そして、管理テーブルに基づいて、選択された顔の出現点から動画像信号を再生するように、ディスク制御部105及び各ブロックを制御する(S504)。例えば、図2の動画像を再生する場合には、先頭フレーム201からフレーム203の直前のフレームの再生中に巻き戻し指示があると、先頭フレーム201から動画像が再生される。
【0040】
また、フレーム203からフレーム205の直前のフレームの再生中に巻き戻し指示があると、顔250の出現点であるフレーム203から動画像が再生される。即ち、巻き戻し指示があったときに再生中のフレームよりも時間軸上で前にある顔250の出現点から動画像が再生される。
【0041】
また、フレーム205からフレーム207の直前のフレームの再生中に巻き戻し指示があると、二つの顔250、260のうちの何れか、例えば、顔250の出現点であるフレーム203に戻り、このフレーム203から動画像が再生される。また、フレーム207からフレーム209の直前のフレームの再生中に巻き戻し指示があると、二つの顔250、260のうちの何れか、例えば、顔250の出現点であるフレーム203に戻り、このフレーム203から動画像が再生される。
【0042】
また、フレーム209からフレーム211の直前のフレームの再生中に巻き戻し指示があると、顔260の出現点であるフレーム205に戻り、フレーム205から動画像が再生される。以下、フレーム211〜216の再生中に巻き戻し指示があった場合も、同様にCPU110が各部を制御して巻き戻し処理を行う。
【0043】
この様に、本実施形態においては、動画像の再生中に巻き戻し指示があると、そのときに再生中のフレームに含まれている顔の出現点まで戻り、この出現点から自動的に動画像を再生する。そのため、再生中の動画像に含まれる人物が写っているシーンを容易に繰り返し再生することができる。
【0044】
なお、本実施形態では、顔を含むフレームの再生中だけでなく、顔が消失してから所定期間以内に巻き戻しの指示があった場合にも、当該顔の出現点まで戻って動画像を再生していた。しかし、これに限らず、顔を含むフレームの再生中において巻き戻しの指示があったときに限って、顔の出現点まで戻って再生するようにしてもよい。
【0045】
また、顔の出現点のフレームから動画像を再生するのではなく、出現点のフレームよりも前のフレームから動画像を再生するようにしてもよい。例えば、顔の出現点のフレームよりも所定時間だけ前の位置から動画像を再生するようにしてもよい。
【0046】
特に、特徴検出部103による顔の検出間隔が長い場合、例えば、10秒以上の間隔で顔を検出しているような場合には、管理テーブルに登録された出現点よりも前の位置まで戻って動画像を再生する。こうすることで、顔の検出間隔が長い場合でも、動画像中で実際に顔が出現した位置から再生することが可能となる。
【0047】
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。
本実施形態のビデオカメラは、図1のビデオカメラ100と同じ構成である。本実施形態においては、動画像の撮影時に特徴部分を検出し、その検出結果を動画像の付加情報としてディスク106に記録しておく。そして、動画像信号の再生時には、この付加情報に基づいて動画像の再生処理を制御する。
【0048】
以下、動画像の撮影時のビデオカメラ100の動作について説明する。
動画像の撮影指示があると、撮像部101から出力された動画像信号を画像処理部102が処理し、メモリ114に記憶する。特徴検出部103は、メモリ114に記憶された動画像信号から、前述の様に顔の部分を検出し、検出結果をCPU110に出力する。なお、本実施形態においても、特徴検出部103は、所定期間おきに選択したフレームに含まれる顔の部分を検出する。そして、動画撮影中に検出した顔の出現点の情報を登録した管理テーブルを生成する。更に、動画の撮影を停止した後、この管理テーブルに基づいて、各顔の出現点の情報を記載した記録テーブルを生成し、動画像信号に対応づけてディスク106に記録する。
【0049】
例えば、図2に示した動画像を撮影した場合、特徴検出部103はフレーム203の撮影時に顔250を検出する。そして、CPU110はその検出結果から顔250の位置、大きさ、出現点をRAM112の管理テーブル300に登録する。図6(a)は、フレーム203の撮影時の管理テーブル300を示す。
【0050】
その後、フレーム204の撮影時にも特徴検出部103は顔250を検出し、CPU110はその検出結果と、図6(a)の管理テーブル300に登録された内容とを照合する。そして、それらの位置と大きさから、フレーム203で登録した顔と同一であると判断し、管理テーブル300に登録されている顔250の位置、大きさを更新する。
【0051】
同様に、フレーム205の撮影時には特徴検出部103は顔250に加えて顔260を検出し、CPU110はその位置、大きさ、出現点を管理テーブル300に登録する。
フレーム207の撮影時には、フレーム206まで検出されていた顔250が消失しており、CPU110は顔250の位置、大きさを管理テーブル300から削除する。その後、フレーム208の撮影時にも特徴検出部103は顔260を検出し、管理テーブル300に登録されている顔260の位置、大きさを更新する。また、フレーム209の撮影時には、フレーム208まで検出されていた顔260が消失しており、CPU110は顔260の位置、大きさを管理テーブル300から削除する。
【0052】
以下、フレーム210〜216の撮影時にも同様に処理を行ことにより、フレーム216までの動画像の撮影を終えた時点で、管理テーブルは図6(b)に示す内容となる。
CPU110は動画像の撮影停止の指示があると、管理テーブル300に登録された顔とその出現点の情報に基づいて、各顔の出現点を示す記録テーブルを作成する。例えば、図2の動画像を撮影した場合、撮影停止後、図6(b)の管理テーブル300に基づいて図6(c)に示す記録テーブル600を作成する。そして、ディスク制御部105を制御し、作成した記録テーブル600を動画像信号に対応づけてディスク106に記録する。
【0053】
次に、ディスク106に記録した動画像の再生時のビデオカメラ100の動作について説明する。本実施形態では、ディスク106に記録された動画像の再生時に、CPU110はディスク制御部105を制御して、ディスク106に記録されている記録テーブル600を読み出し、RAM112に記憶する。
【0054】
以下、動画像の再生時に、ユーザが操作部111により巻き戻し、或いは早送りを指示したときのビデオカメラ100の動作について説明する。
図7は、本実施形態におけるCPU110による処理を示すフローチャートである。前述の様に、動画像信号をディスク106から再生し、動画像の再生中に巻き戻し、或いは早送りの指示があると図7のフローが開始する。
【0055】
まず、巻き戻しの指示かどうかを判別する(S701)。この判別の結果、巻き戻しの指示であった場合、CPU110は、RAM112に記憶した記録テーブルに登録された顔の出現点を確認し、巻き戻し指示があったときに再生している位置より前方に出現点があるかどうか判別する(S702)。この判別の結果、前方に出現点があった場合、最も近い顔の出現点を検出し、出現点へ戻り、この出現点から動画像を再生するように、ディスク制御部105及び各部を制御する(S703)。また、S702の判別の結果、巻き戻し指示があったときに再生している位置より前方に顔の出現点がなかった場合には、再生中のシーンの先頭に戻って動画像を再生する(S704)。
【0056】
また、S701の判別で、早送りの指示であった場合、CPU110は、RAM112に記憶した記録テーブルに登録された顔の出現点を確認し、早送り指示があったときに再生している位置より後方に出現点があるかどうか判別する(S705)。この判別の結果、後方に出現点があった場合、最も近い顔の出現点を検出する。そして、この、次の出現点に進んで動画像を再生するように、ディスク制御部105及び各部を制御する(S706)。また、早送り指示があったときに再生している位置より後方に顔の出現点がなかった場合には、再生中のシーンの次のシーンの先頭から動画像を再生する(S707)。
【0057】
例えば、図2のフレーム201からフレーム203の直前のフレームの再生中に巻き戻し指示があった場合、図6(c)の記録テーブル600には、巻き戻し指示があった時点よりも前に顔の出現点がない。このため、CPU110は、再生中のシーンの先頭まで戻り、フレーム201から動画像を再生するよう各部を制御する。
【0058】
また、フレーム203からフレーム205の直前のフレームの再生中に巻き戻し指示があった場合、CPU110は、巻き戻し指示があった時点よりも前方にある最も近い出現点であるフレーム203に戻って動画像を再生するように各部を制御する。また、フレーム205からフレーム211の再生中に巻き戻し指示があった場合、CPU110は、前方にある最も近い顔の出現点であるフレーム205に戻って動画像を再生するように各部を制御する。
【0059】
以下、フレーム211〜216の再生中に巻き戻し指示があった場合も、同様にCPU110が前方にある最も近い顔の出現点へ戻って動画像を再生するように、各部を制御する。
【0060】
また、図2のフレーム201からフレーム203の直前のフレームの再生中に早送り指示があった場合、CPU110は、図6(c)の記録テーブル600に基づいて各部を制御する。この場合、後方にある最も近い出現点であるフレーム203に進んで動画像を再生するよう各部を制御する。
また、フレーム203からフレーム205の直前のフレームの再生中に早送り指示があった場合、CPU110は後方にある最も近い出現点であるフレーム205に進んで動画像を再生するよう各部を制御する。
【0061】
以下、フレーム205〜212の再生中に早送りボタン303が押下された場合も同様に、CPU110が、早送り指示があった時点よりも後方にある最も近い顔の出現点へ進んで動画像を再生するように各部を制御する。また、フレーム213〜216の再生中に早送り指示があった場合、図6(c)の記録テーブル600には後方に出現点がないため、CPU110は次のシーンの先頭から動画像を再生するよう各部を制御する。
【0062】
このように、再生制御を行うことにより、本実施形態によれば、動画像の再生中に、人物が写っているシーンを容易に繰り返し再生したり、或いは、人物が写っていないシーンを容易に飛ばして再生したりすることができる。
【0063】
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。
本実施形態のビデオカメラは、図1のビデオカメラ100と同じ構成である。本実施形態においては、動画像の撮影中に、撮影された動画像に含まれる顔を検出すると共に、各フレームで検出された顔が同じものであるか判断する。そして、判断結果を動画像の付加情報としてディスク106に記録しておき、再生時にはこの付加情報を使って早送りの処理を行う。
【0064】
以下、動画像の撮影時におけるビデオカメラ100の動作について説明する。
動画像の撮影指示があると、撮像部101から出力された動画像信号を画像処理部102が処理し、メモリ114に記憶する。特徴検出部103は、メモリ114に記憶された動画像信号から、前述の様に顔の部分を検出し、検出結果をCPU110に出力する。なお、本実施形態においても、特徴検出部103は、所定期間おきに選択したフレームに含まれる顔の部分を検出する。更に、本実施形態では、特徴検出部103は、検出した顔の特徴情報をCPU110に出力する。本実施形態では、人物の顔を特徴部分として検出しているので、特徴情報とは、例えば目、鼻、口などの特徴点を抽出して得たベクトル情報である。特徴検出部103はこの様な検出した顔に関する特徴情報をCPU110に出力する。
【0065】
そして、CPU110は、特徴検出部103から出力される検出結果に基づいて、検出された顔の出現点、消失点を含む管理テーブルを生成し、RAM112に記憶する。
例えば、図2に示した動画像を撮影した場合、特徴検出部103はフレーム203の撮影時に顔250を検出する。そして、CPU110はその検出結果から顔250の位置、大きさ、出現点、及び特徴情報をRAM112の管理テーブル300に登録する。図8(a)は、フレーム203の撮影時の管理テーブル300を示す。
【0066】
その後、フレーム204の撮影時にも特徴検出部103は顔250を検出し、CPU110はその検出結果と、図8(a)の管理テーブル300に登録された内容とを照合する。そして、それらの位置と大きさから、フレーム203で登録した顔と同一であると判断し、管理テーブル300に登録されている顔250の位置、大きさを更新する。また、顔250の特徴情報はこれまでのフレームの平均値を算出して更新する。
【0067】
同様に、フレーム205の撮影時には特徴検出部103は顔250に加えて顔260を検出し、CPU110はその位置、大きさ、出現点、特徴情報をRAM112の管理テーブル300に登録する。フレーム207の撮影時には、フレーム206まで検出されていた顔250が消失しているので、CPU110は顔250の位置、大きさの情報を管理テーブル300から削除し、消失点の情報を登録する。
【0068】
その後、フレーム208の撮影時にも特徴検出部103は顔260を検出し、管理テーブル300に登録されている顔260の位置、大きさ、特徴情報を更新する。フレーム209の撮影時には、フレーム208まで検出されていた顔260が消失しているので、CPU110は顔260の位置、大きさを管理テーブル300から削除し、消失点の情報を登録する。
【0069】
以下、フレーム210〜216の撮影時にも同様に処理を行い、フレーム216までの動画像の撮影を終えた時点で、管理テーブル300は図8(b)に示す内容となる。ここで、Ave()は、括弧内の特徴情報の平均値を示している。また、C103〜C106は顔250のフレーム203〜206における特徴情報を示している。C205〜C208は顔260のフレーム205〜208における特徴情報を示している。また、C311〜C312は顔261のフレーム211〜212における特徴情報を示し、C413〜C414は顔251のフレーム213〜214における特徴情報を示している。
【0070】
CPU110は、動画像の撮影を停止すると、RAM112に記憶した管理テーブルに登録された特徴情報より、登録された各顔の同一性を判別し、同一と判断した顔の情報に同じ識別番号を付加した記録テーブルを作成する。そして、CPU110はディスク制御部105を制御し、作成した記録テーブルを動画像信号に対応づけてディスク106に記録する。
【0071】
図8(c)は、図8(b)の管理テーブル300に基づいて作成した記録テーブル800を示している。図8(b)の管理テーブル300に登録された各顔の情報のうち、顔250と顔251が同一、顔260と顔261が同一と判断し、前者に識別番号1、後者に識別番号2を付加した記録テーブル800が作成される。
【0072】
次に、ディスク106に記録した動画像の再生時のビデオカメラ100の動作について説明する。本実施形態では、ディスク106に記録された動画像の再生時に、CPU110はディスク制御部105を制御して、ディスク106に記録されている記録テーブルを読み出し、RAM112に記憶する。
【0073】
以下、動画像の再生時に、ユーザが操作部111により巻き戻し、或いは早送りを指示したときのビデオカメラ100の動作について説明する。図9は、本実施形態におけるCPU110による処理を示すフローチャートである。前述の様に動画像信号をディスク106から再生し、動画像の再生中に巻き戻し、或いは早送りの指示があると図9のフローが開始する。
【0074】
まず、操作部111による指示が巻き戻しの指示かどうかを判別する(S901)。この判別の結果、巻き戻しの指示であった場合、RAM112に記憶された記録テーブルに基づいて、巻き戻しの指示があった際に再生していたフレームに顔が含まれているかどうかを検出する。具体的には、巻き戻しの指示があった際に再生していたフレームの位置が、記録テーブルに登録された顔の出現点から消失点までの間に含まれるかどうかを判別する(S902)。
【0075】
S902の判別の結果、再生中のフレームに顔が含まれていない場合には、更に、記録テーブルに消失点近傍(消失して3秒以内)の顔の情報が登録されているかどうかを検出する。そして、巻き戻し指示があったときに再生中のフレームが、顔の消失点から所定期間(3秒)以内に再生されたフレームであるかどうかを判別する(S906)。
【0076】
S906の判別の結果、顔の消失点から所定期間以内での巻き戻し指示では無いと判別した場合には、現在再生中のシーンの先頭から動画像信号を再生するように、ディスク制御部105及び各部を制御する(S907)。
【0077】
また、S902の判別の結果、巻き戻し指示があった時に再生中のフレームに顔が含まれていた場合。或いは、S906の判別の結果、顔の消失点から所定期間以内に巻き戻しの指示があった場合には、管理テーブルに複数の顔の情報が登録されているかどうかを判別する(S903)。この判別の結果、顔の情報が複数登録されていた場合、これら複数の顔のうちの何れかを選択する(S904)。このとき、本実施形態では、出現してからの時間が最も長い顔を選択する。そして、記録テーブル800に基づいて、選択された顔の出現点から動画像信号を再生するように、ディスク制御部105及び各ブロックを制御する(S905)。
【0078】
また、S901の判別で、巻き戻し指示ではなく、早送りの指示であった場合、RAM112に記憶した記録テーブル800に基づいて、早送りの指示があった際に再生していたフレームに顔が含まれているかどうかを判別する(S908)。この判別の結果、再生中のフレームに顔が含まれていない場合には、更に、記録テーブル800に消失点近傍(消失して3秒以内)の顔の情報が登録されているかどうかを検出する。そして、早送り指示があったときに再生中のフレームが、顔の消失点から所定期間(3秒)以内に再生されたフレームであるかどうかを判別する(S913)。
【0079】
S913で、顔の消失点から所定期間以内での早送り指示では無いと判別した場合には、現在再生中のシーンの次のシーンの先頭から動画像信号を再生するように、ディスク制御部105及び各部を制御する(S914)。
【0080】
また、S908で、早送り指示があった時に再生中のフレームに顔が含まれていた場合。或いは、S913で、顔の消失点から所定期間以内に早送りの指示があった場合には、管理テーブル300に複数の顔の情報が登録されているかどうかを判別する(S909)。この判別の結果、顔の情報が複数登録されていた場合、これら複数の顔の何れかを選択する(S910)。このとき、本実施形態では、出現してからの時間が最も長い顔を選択する。
【0081】
次に、選択された顔に付加されたIDと同じIDが付加された顔の情報が記録テーブル800に登録されているかどうかを判別する。同じIDの顔の情報が記録テーブル800に登録されていた場合、現在の再生位置よりも後に当該顔の出現点があるかどうかを判別する(S911)。そして、次の出現点がある場合には、この同じIDの顔次の出現点まで進み、動画像を再生するようにディスク制御部105及び各ブロックを制御する(S912)。
【0082】
また、S911で、同じIDの顔の情報が管理テーブルに登録されていない場合、或いは、現在の再生位置よりも後に同じIDの顔の出現点が登録されていなかった場合、S914に進み、次のシーンの先頭から動画像を再生する。
【0083】
例えば、図2のフレーム201からフレーム203の直前のフレームの再生中に巻き戻し指示があった場合、図8(c)の記録テーブル800には、巻き戻し指示があった時点よりも前に顔の出現点がない。このため、CPU110は、再生中のシーンの先頭まで戻り、フレーム201から動画像を再生するよう各部を制御する。
【0084】
また、フレーム203からフレーム205の直前のフレームの再生中に巻き戻し指示があった場合、CPU110は、顔250の出現点であるフレーム203に戻って動画像を再生するように各部を制御する。また、フレーム205からフレーム207の直前のフレームの再生中に巻き戻し指示があった場合、CPU110は、顔250と顔260のうち、出現してからの期間が長い顔250を選択する。そして、この顔250の出現点であるフレーム203に戻って動画像を再生するように各部を制御する。また、フレーム207からフレーム209の直前のフレームの再生中に巻き戻し指示があった場合、CPU110は、顔260の出現点であるフレーム205に戻って動画像を再生するように各部を制御する。
【0085】
以下、フレーム211〜216の再生中に巻き戻し指示があった場合も、同様にCPU110が前方にある最も近い顔の出現点へ戻って動画像を再生するように、各部を制御する。
【0086】
また、図2のフレーム201からフレーム203の直前のフレームの再生中に早送り指示があった場合、CPU110は、次のシーンの先頭から動画像をするよう各部を制御する。また、フレーム203からフレーム205の直前のフレームの再生中に早送り指示があった場合、CPU110は、顔250と同じIDが付加された顔251の出現点であるフレーム213に進んで動画像を再生するよう各部を制御する。
【0087】
また、フレーム205からフレーム207の直前のフレームの再生中に早送り指示があった場合、CPU110は、顔250と顔260のうち、出現してからの期間が長い顔250を選択する。そして、この顔250と同じIDが付加された顔251の出現点であるフレーム213に進んで動画像を再生するよう各部を制御する。また、フレーム207からフレーム209の直前のフレームの再生中に早送り指示があった場合、CPU110は、顔260と同じIDが付加された顔261の出現点であるフレーム211に進んで動画像を再生するよう各部を制御する。
【0088】
また、フレーム211〜フレーム214の再生中に早送りの指示があっても、その後に同じIDが付加された顔の出現点が無いため、次のシーンの先頭から動画像を再生するように各部を制御する。
【0089】
このように、本実施形態によれば、動画像の再生中に、特定の人物が写っているシーンを容易に繰り返し再生したり、或いは、特定の人物が写っている次のシーンを容易に頭出しして再生したりすることができる。
【0090】
(第4の実施形態)
次に、本発明の第4の実施形態について説明する。本実施形態のビデオカメラは、図1のビデオカメラ100と同じ構成である。本実施形態では、動画像の撮影時に検出した特徴部分の位置と大きさを、付加情報として動画像の各フレームに付加して記録する。更に、本実施形態では、動画像の再生時に、再生中の動画像の同じフレームに複数の顔が含まれていた場合、ユーザが何れかの顔を選択できるようにした。そして、選択した顔の出現点を頭出しして再生したり、或いは、選択した顔と同じ顔が次に出現する点を頭出しして再生したりできるようにした。
【0091】
以下、動画像の撮影時におけるビデオカメラ100の動作について説明する。
動画像の撮影指示があると、撮像部101から出力された動画像信号を画像処理部102が処理し、メモリ114に記憶する。特徴検出部103は、メモリ114に記憶された動画像信号から、前述の様に顔の部分を検出し、検出結果をCPU110に出力する。なお、本実施形態においても、特徴検出部103は、所定期間おきに選択したフレームに含まれる顔の部分を検出する。また、本実施形態においても、特徴検出部103は、検出した顔の特徴情報をCPU110に出力する。
【0092】
CPU110は、特徴検出部103の出力に基づいて前述のように管理テーブルを作成すると共に、特徴検出部103から新たに検出結果が出力される度に管理テーブルの内容を更新する。そして、CPU110はディスク制御部105を制御し、記録する動画像信号の各フレームに対し、管理テーブルに登録された顔の位置と大きさを示す付加情報を付加して記録する。
【0093】
例えば、図2に示した動画像を撮影した場合、特徴検出部103はフレーム203の撮影時に顔250を検出する。そして、CPU110はその検出結果から顔250の位置、大きさ、出現点、及び特徴情報をRAM112の管理テーブル300に登録する。図8(a)は、フレーム203の撮影時の管理テーブル300を示す。
【0094】
その後、フレーム204の撮影時にも特徴検出部103は顔250を検出し、CPU110はその検出結果と、図8(a)の管理テーブル300に登録された内容とを照合する。そして、それらの位置と大きさから、フレーム203で登録した顔と同一であると判断し、管理テーブル300に登録されている顔250の位置、大きさを更新する。また、顔250の特徴情報はこれまでのフレームの平均値を算出して更新する。
【0095】
同様に、フレーム205の撮影時には特徴検出部103は顔250に加えて顔260を検出し、CPU110はその位置、大きさ、出現点、特徴情報をRAM112の管理テーブル300に登録する。フレーム207の撮影時には、フレーム206まで検出されていた顔250が消失しているので、CPU110は顔250の位置、大きさの情報を管理テーブル300から削除し、消失点の情報を登録する。
【0096】
その後、フレーム208の撮影時にも特徴検出部103は顔260を検出し、管理テーブル300に登録されている顔260の位置、大きさ、特徴情報を更新する。フレーム209の撮影時には、フレーム208まで検出されていた顔260が消失しているので、CPU110は顔260の位置、大きさを管理テーブル300から削除し、消失点の情報を登録する。
【0097】
以下、フレーム210〜216の撮影時にも同様に処理を行い、フレーム216までの動画像の撮影を終えた時点で、管理テーブル300は図8(b)に示す内容となる。
CPU110は、動画像の撮影を停止すると、RAM112の管理テーブルに登録された特徴情報より、登録された各顔の同一性を判別し、同一と判断した顔の情報に同じ識別番号を付加した記録テーブルを作成する。
【0098】
図8(c)は、図8(b)の管理テーブル300に基づいて作成した記録テーブル800を示している。図8(b)の管理テーブル300に登録された各顔の情報のうち、顔250と顔251が同一、顔260と顔261が同一と判断し、前者に識別番号1、後者に識別番号2を付加した記録テーブル800が作成される。
【0099】
CPU110はディスク制御部105を制御し、作成した記録テーブル800を動画像信号に対応づけてディスク106に記録する。
【0100】
図10は、動画像信号に付加されて記録される付加情報の様子を示す図である。例えば、図2の動画像を記録する場合には、フレーム205からフレーム207の直前のフレームに対し、図10の付加情報が付加される。
【0101】
次に、ディスク106に記録した動画像の再生時のビデオカメラ100の動作について説明する。本実施形態では、ディスク106に記録された動画像の再生時に、CPU110はディスク制御部105を制御して、ディスク106に記録されている記録テーブルを読み出し、RAM112に記憶する。
【0102】
また、本実施形態では、CPU110がディスク制御部105を制御し、再生された動画像の各フレームに付加された付加情報を取得する。そして、取得した各フレームの付加情報に基づいて、動画像の各フレームにおける顔の位置と大きさを検出する。そして、CPU110は、描画処理部107を制御して、再生された動画像の各画面における顔の部分に検出枠の画像を多重して表示する。このとき、一つのフレームに複数の顔が含まれている場合、CPU110は、何れかの顔の部分に対し、検出枠を多重して表示する。
【0103】
そして、ユーザは、図4に示した操作部111のダイヤルスイッチ401を操作することで、複数の顔の中から検出枠を表示する対象の顔を選択することができる。なお、本実施形態では、ユーザがダイヤルスイッチ401を操作すると、CPU110が検出枠を表示し、操作終了後所定期間経過すると検出枠の表示を停止する。
【0104】
図11は、図2の動画像の再生中における再生画面の例を示す図である。例えば、フレーム205の再生中、顔250に検出枠1101を多重して表示している。フレーム205〜フレーム207の直前のフレームまでの間、複数の顔が含まれるため、これらのフレームの再生中にユーザがダイヤルスイッチ401を操作すると、CPU110は検出枠1101にて選択している顔を切り替える。
【0105】
例えば、フレーム205において、特徴部分として顔250に対して検出枠が描画されている状態において、巻き戻しボタン302が押下される場合がある。この場合、記録テーブル800によりCPU110は特徴部分(顔250)の出現点であるフレーム203より所定時間(例えば3秒)前に戻って再生を行うようディスク制御部105及び各ブロックを制御する。ただし、特徴部分の出現点が動画像の先頭から所定時間以内の場合は、動画像の先頭から再生を行う。
【0106】
本実施形態における再生時の処理は、図9のフローで説明した処理と同様であるが、S904、及び、S910における顔の選択方法が異なる。
即ち、本実施形態では、巻き戻し、或いは、早送りの指示があった時に再生中の画面に複数の顔が含まれていた場合、検出枠によってユーザが選択した顔を選択する。そして、ユーザによって選択された顔の出現点を頭出しして、動画像を再生する。
【0107】
具体的には、例えば、図2におけるフレーム205からフレーム207の直前のフレームまでの間に早送り指示があった場合、再生中の画面には顔250と顔260が含まれている。そして、これら顔250と顔260のうち、検出枠1101により顔250が選択されていた場合、同じ識別番号を持つ顔251の出現点であるフレーム213に頭出しして動画像を再生するように、CPU110が各部を制御する。
【0108】
以上、説明したように、本実施形態によれば、所望の人物が写っているシーンを容易に繰り返し再生したり、所望の人物が写っている次のシーンを容易に頭出しして再生したりすることができる。
【0109】
(本発明に係る他の実施の形態)
前述した本発明の実施の形態における画像再生装置、画像記録再生装置を構成する各手段は、コンピュータのRAMやROMなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【0110】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施の形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【0111】
なお、本発明は、前述した画像再生装置の制御方法における各工程を実行するソフトウェアのプログラム(実施の形態では図5、図7、図9に示すフローチャートに対応したプログラム)を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【0112】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。
プログラムを供給するための記録媒体としては種々の記録媒体を使用することができる。例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などがある。
【0113】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【0114】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
【0115】
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【0116】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施の形態の機能が実現される他、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行うことによっても前述した実施の形態の機能が実現され得る。
【0117】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現される。
【符号の説明】
【0118】
100 ビデオカメラ、101 撮像部、102 画像処理部、103 特徴検出部、104 CODEC、105 ディスク制御部、106 ディスク、107 描画処理部、108 表示制御部、109 表示部、110 CPU、111 操作部、112 RAM、113 ROM、114 メモリ、115 出力部、116 バス
【技術分野】
【0001】
本発明は再生装置に関し、特に、動画像の再生装置に関する。
【背景技術】
【0002】
従来、ディスク媒体などの記録媒体に記録された動画像を再生する装置が知られている。動画像は静止画とは異なり、短時間でその内容を把握することは難しい。そこで、動画像の内容を短時間で把握するために、この種の装置では、例えば高速再生機能や、動画像中における所定の画面をサムネイル画像として一覧画面で表示する機能を持つものがある。
【0003】
また、ビデオカメラなど、動画像や静止画を撮影し、記録媒体に記録する装置も知られている。一般に、ユーザがビデオカメラにより撮影する動画像の被写体は人物を含むことが多い。
【0004】
近年、顔検出技術の発展により、撮影した動画像から人物が写っているシーンを再生する技術開発が行われている。例えば、動画像に含まれる人物の顔を一覧表示したり、人物の顔を含むシーンを時系列に並べて表示したりして、そこからユーザが選択した顔に対応するシーンを再生する技術がある(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2002−8354号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
前述の様に記録した動画像を再生する場合には、通常、各シーンの先頭から順番に再生する。そして、重要なシーンは巻き戻して繰り返し再生したり、不要なシーンでは早送り再生したり、或いは数秒〜十数秒単位のスキップなどを行いながら再生することが一般的である。
【0007】
このため、重要なシーンを繰り返し再生したり、不要なシーンを飛ばして再生したりする操作が煩わしいという問題があった。また、動画像の再生中に特定の顔が写っているシーンを繰り返し再生したい場合にも、やはり、ユーザが自分で巻き戻し、早送りの操作を行う必要があった。また、特開2002−8354号公報に記載の技術では、動画像の再生中に特定の顔を含むシーンを頭出しすることができず、動画像の再生を一度中断して一覧表示や時系列表示などの選択画面に戻る必要があった。
本発明は前述の問題点に鑑み、重要なシーンを繰り返し再生したり、不要なシーンを飛ばして再生したりする操作が容易な装置を提供できるようにすることを目的としている。
【課題を解決するための手段】
【0008】
本発明の再生装置は、記録媒体から動画像信号を再生する再生手段と、前記再生手段により再生された動画像信号において特徴部分の画像が出現した出現位置を検出する検出手段と、前記動画像信号の巻き戻しの指示を出力する指示手段と、前記動画像信号の再生中に前記指示手段により前記巻き戻しの指示が出力されると、前記巻き戻しの指示に対応した再生位置よりも前の前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御する制御手段とを備える。
【発明の効果】
【0009】
本発明によれば、重要なシーンを繰り返し再生したり、不要なシーンを飛ばして再生したりする操作が容易となる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施形態におけるビデオカメラの構成例を示すブロック図である。
【図2】動画像の様子を示す図である。
【図3】管理テーブルの例を示す図である。
【図4】操作スイッチの外観図である。
【図5】実施形態における巻き戻し処理を示すフローチャートである。
【図6】管理テーブルと記録テーブルの例を示す図である。
【図7】再生時の処理を示すフローチャートである。
【図8】管理テーブルと記録テーブルの例を示す図である。
【図9】再生時の処理を示すフローチャートである。
【図10】付加情報の例を示す図である。
【図11】動画像の再生画面を示す図である。
【発明を実施するための形態】
【0011】
(第1の実施形態)
本実施形態においては、ディスク型の記録媒体に動画像を記録するデジタルビデオカメラに対して本発明を適用した場合について説明する。図1は、本発明の実施形態におけるビデオカメラ100の構成例を示すブロック図である。
【0012】
CPU110は、バス116により、RAM112、ROM113およびその他の各ブロックに接続されている。CPU110は、ROM113に格納された制御プログラムに従い各ブロックを制御する。また、CPU110は、動作時の一時的なデータの格納場所としてRAM112を用いる。また、CPU110は操作部111からの指示に従い各種処理を行う。操作部111は電源スイッチや撮影開始、停止を指示する記録スイッチ、記録した動画の再生を指示する再生スイッチなど各種のスイッチを備えている。メモリ114は、各ブロックにおける処理のため動画像信号を記憶する他、必要なデータを記憶するために用いられる。
【0013】
撮像部101は、レンズ、絞り、撮像素子、及びこれらのドライバ等を有し、被写体の画像を撮影し、動画像信号を出力する。画像処理部102は、CPU110の制御により、撮影時には撮像部101からの動画像信号を入力し、再生時にはCODEC104から動画像信号を入力する。そして、入力した動画像信号に対し、色変換や解像度変換といった各種の画像信号処理を行う。特徴検出部103はメモリ114を用いて、撮影した動画像信号、或いは、再生された動画像信号から、画像に含まれる特徴部分の数とそれらの大きさ、位置などの付加情報を検出して取得する。
【0014】
本実施形態では、特徴検出部103は人物の顔を特徴部分として検出する。そして、特徴検出部103の検出結果に基づいて、動画像のうち顔部分の画像の時間軸上の出現点を、特徴部分の画像が出現した出現位置としてCPU110により管理する。また、顔部分が複数回検出された場合、検出された顔部分が互いに同じ顔であるかどうかを判断する。なお、特徴検出部103が顔以外の特定の画像を特徴部分として検出するようにしてもよい。
【0015】
また、CODEC104は撮影時には画像処理部102から動画像信号を入力し、MPEG等の公知の動画符号化方式に従いこの動画像信号を符号化してその情報量を圧縮する。そして、圧縮した動画像信号をメモリ114に記憶する。ディスク制御部105は、メモリ114から、圧縮された動画像信号を読み出してディスク106に記録する。なお、本実施形態では、動画像信号を記録する記録媒体として、ハードディスク(HDD)を用いるが、メモリカードや光ディスクなど、他の種類の記録媒体を用いることも可能である。
【0016】
また、再生時には、ディスク制御部105は、ディスク106から動画像信号を読み出してメモリ114に記憶する。CODEC104は、メモリ114より、再生された動画像信号を読み出して復号して画像処理部102に出力する。
【0017】
また、画像処理部102は、撮像部101から出力された動画像信号、或いは、再生された動画像信号を処理してメモリ114に記憶する。描画処理部107は、CPU110の指示に従い、各種の文字や図形の情報をメモリ114に記憶し、動画像信号に多重する。
【0018】
表示制御部108は、メモリ114より読み込んだ動画像信号を表示部109に表示する。従って、撮影時には撮像部101で得られた動画像が表示部109に表示され、再生時には再生された動画像が表示部109に表示される。また、出力部115は、メモリ114より読み込んだ動画像信号をビデオカメラ100の外部の表示装置などに出力し、撮影された動画像や再生された動画像を表示させる。
【0019】
撮影モードにおいては、撮像部101により撮影された動画像が表示部109に表示される。そして、ユーザが操作部111により撮影開始を指示すると、前述の様に、撮像部101により得られた動画像信号が処理されて、ディスク106に記録される。また、撮影停止の指示があると、ディスク106に対する動画像信号の記録を停止する。本実施形態では、撮影開始の指示から撮影停止の指示までの間に記録された一連の動画像信号を一つのファイルとして管理し、一つの動画ファイルを一つのシーンとして扱う。また、本実施形態では、撮影時において、画像処理部102により、記録する動画像信号の先頭フレームを縮小し、代表画像信号を生成する。ディスク制御部105は、この代表画像信号を各動画ファイルと共にディスク106に記録する。
【0020】
また、操作部111により再生モードが指示されると、CPU110はディスク制御部105に対し、ディスク106に記録された各シーンの代表画像信号を再生するよう、指示する。ディスク制御部105はディスク106から代表画像信号を再生し、メモリ114に記憶する。描画処理部107は、再生された代表画像信号に基づいて、各シーンの代表画像の一覧画面を示すインデックス画面を生成し、メモリ114に記憶する。
【0021】
表示制御部108は、このインデックス画面を表示部109に表示する。ユーザは、操作部111を操作することにより、インデックス画面に表示された代表画像のうち、所望のシーンの代表画像を任意に選択し、再生を指示する。CPU110は、操作部111により再生開始が指示されると、ディスク制御部105に対し、選択されたシーンの動画像信号を再生する様に指示する。ディスク制御部105は、選択されたシーンの動画像信号をディスク106から再生し、前述のように、再生された動画像信号が表示部109に表示される。
【0022】
次に、動画像の再生中における巻き戻し処理について説明する。
図2は、ディスク106に記録された動画像信号のうちの一つのシーンの動画像信号の様子を示す図である。図2の各フレームは、後述の様に、特徴検出部103が動画像信号から選択して顔検出処理を行ったフレームである。例えば、フレーム201〜216は1秒間隔である。本実施形態では、30フレーム/秒の動画像信号を記録再生するので、図2においては、30フレームに1フレームの動画像を取り出した様子を示している。図2において、フレーム201がシーンの先頭フレームであり、216がシーンの最後のフレームである。
【0023】
図2の動画像では、顔250がフレーム203で出現し、フレーム207で消失している。また、顔260がフレーム205で出現し、フレーム209で消失している。また、顔261がフレーム211で出現し、フレーム213で消失している。また、顔251がフレーム213で出現し、フレーム215で消失している。
【0024】
図2において、217は顔250が出現してから、消失後所定期間経過するまでの期間を示している。ここで、消失後の所定期間は3秒に設定した。また、218は顔260が出現してから、消失後所定期間経過するまでの期間を示している。また、219は顔261が出現してから、消失後所定期間経過するまでの期間を示している。また、220は顔251が出現してから、消失後所定期間経過するまでの期間を示しているが、図2では、顔251が消失してから2秒後に最後のフレームが再生されるため、期間220は最後のフレーム216までの期間となっている。
【0025】
本実施形態においては、顔が出現したフレームに加えて、顔が消失したフレームを検出することにより、顔の出現期間を管理している。そして、動画像の再生中に、顔が出現してから、消失後所定期間経過するまでの間に巻き戻しの操作が行われた場合、指示があった時点で表示中のフレームに含まれる顔、或いは、直前に消失した顔の時間軸上の出現点(フレーム)まで戻って動画像を再生する。なお、特徴部分の画像の出現位置に関連した位置、例えば、出現位置よりも所定期間前の位置から動画像信号を再生するようにしてもよい。
【0026】
次に、動画像の再生時のビデオカメラ100の動作について説明する。
前述の様に、ディスク106から再生された動画像信号をCODEC104により復号し、画像処理部102は復号した動画像信号を処理してメモリ114に記憶する。特徴検出部103は、メモリ114に記憶された再生動画像信号から顔部分を検出する。なお、本実施形態では、特徴検出部103は、再生された動画像信号において、所定の間隔で選択したフレームに含まれる顔を検出する。ここでは、1秒間隔で選択したフレームから顔を検出するが、もちろん、これよりも長い間隔、或いは、短い間隔でフレームを選択して顔検出処理を行ってもよく、全てのフレームについて顔検出処理を行ってもよい。
【0027】
特徴検出部103は、再生したフレームに顔の画像が含まれていた場合、その位置及び大きさの情報をCPU110に出力する。なお、ここでは、検出した顔の中心の位置を顔の位置の情報として出力する。
【0028】
このとき、顔の中心位置を、画面の左上からの水平方向(X方向)及び垂直方向(Y方向)の画素数として出力する。CPU110は、特徴検出部103からの検出結果に基づいて、検出した顔を識別するためのIDとその位置、大きさ、そして、動画像のうち顔が出現した位置(出現点)を対応づけて管理テーブルに登録し、RAM112に保存する。
【0029】
本実施形態では、出現点を当該シーンの先頭からの経過時間(フレーム数)として登録するが、動画像中の時間軸上の位置がわかれば他の形式で登録することも可能である。また、再生したフレームに顔が含まれていない場合、顔を含んでいないことを示す検出結果をCPU110に出力する。また、特徴検出部103により検出されていた顔が検出されなくなってから所定期間(ここでは3秒)経過すると、この顔の情報を管理テーブルから削除し、検出されなくなったフレームを消失点として管理テーブルに登録する。
【0030】
例えば、図2に示す動画像信号の再生時において、特徴検出部103は、フレーム201、202には顔が含まれていないため、フレーム201、202の再生時には顔を含んでいないことを示す検出結果をCPU110に出力する。また、特徴検出部103は、フレーム203が再生されると顔250を検出し、その位置及び大きさの情報をCPU110に出力する。CPU110は、特徴検出部103からの検出結果に基づいて、検出した顔を識別するためのID(ここでは250)とその位置、大きさ、出現点(ここではフレーム203)を対応づけて管理テーブルに登録し、RAM112に保存する。図3(a)は、フレーム203の再生時の管理テーブル300の様子を示す。
【0031】
その後、フレーム204の再生時にも特徴検出部103は顔250を検出し、CPU110はその検出結果と、管理テーブル300に登録された内容とを照合する。そして、それらの位置と大きさから、フレーム203で登録した顔と同一であると判断し、管理テーブル300に登録されている顔250の位置、大きさを更新する。
【0032】
同様に、フレーム205の再生時に特徴検出部103は顔250に加えて顔260を検出し、CPU110はその位置、大きさ、出現点を管理テーブル300に登録する。図3(b)は、フレーム205の再生時の管理テーブル300の内容を示す。CPU110は、このように、複数の顔の時間軸上の出現点を管理する。
【0033】
フレーム207の再生時には、顔260の検出結果だけがCPU110に出力される。そのため、CPU110は、フレーム206まで検出されていた顔250がフレーム207で消失したと判断し、顔250の位置と大きさの情報を管理テーブル300から削除し、消失点(フレーム207)の情報を登録する。図3(c)は、フレーム207の再生時の管理テーブル300を示す。その後、フレーム208の再生時にも特徴検出部103は顔260を検出し、管理テーブル300に登録されている顔260の位置、大きさを更新する。
【0034】
フレーム209の再生時には、顔を含まない旨の検出結果が特徴検出部103から出力されるため、CPU110は、フレーム208まで検出されていた特徴部分、この場合は顔260が消失したと判断する。そして、顔260の消失点(フレーム209)を管理テーブル300に登録する。また、顔250の消失点から所定期間経過しているので、管理テーブル300から顔250の情報を削除する。図3(d)は、フレーム209の再生時の管理テーブル300を示す。以下、フレーム210〜216の再生時にも同様に処理を行う。
【0035】
次に、この動画像の再生時に、ユーザが操作部111を操作して巻き戻しを指示したときのビデオカメラ100の動作について説明する。
図4は、操作部111の外観図である。操作部111はダイヤルスイッチ401と、巻き戻しボタン402と、早送りボタン403と、再生/一時停止ボタン404と、停止ボタン405とを備えている。
【0036】
図5は、動画像の再生中に巻き戻しボタン402が操作された場合に、CPU110が行う巻き戻し処理を示すフローチャートである。
前述の様に、動画像信号の再生中に巻き戻しの指示があると、管理テーブルに出現中の顔の情報が登録されているかどうかを検出する。そして、巻き戻し指示があったときに再生中のフレームに顔が含まれているかどうか判別する(S501)。この判別の結果、再生中のフレームに顔が含まれていない場合には、更に、管理テーブルに消失点近傍(消失して3秒以内)の顔の情報が登録されているかどうかを検出する。そして、巻き戻し指示があったときに再生中のフレームが、顔の消失点から所定期間以内に再生されたフレームであるかどうかを判別する(S505)。この判別の結果、顔の消失点から所定期間以内での巻き戻し指示では無いと判別した場合には、現在再生中のシーンの先頭から動画像信号を再生するように、ディスク制御部105及び各部を制御する(S506)。
【0037】
また、S501の判別で、巻き戻し指示があった時に再生中のフレームに顔が含まれていた場合、或いは、S505の判別で、顔の消失点から所定期間以内に巻き戻しの指示があった場合には、S502に進む。S502では、管理テーブルに複数の顔の情報が登録されているかどうかを判別する。この判別の結果、顔の情報が複数登録されていた場合、これら複数の顔のうちの何れかを選択する(S503)。
【0038】
本実施形態では所定の条件に従い、複数の顔に優先度を付加し、最も優先度が高い顔の情報を選択する。例えば、本実施形態では、各顔の画面中心からの距離や、大きさ、出現してからの経過時間の長さなどを元に優先順位を付加する。また、S502で顔の情報が一つしか登録されていない場合には、S503の選択処理は行わずに、この一つの顔の情報を選択する。
【0039】
そして、管理テーブルに基づいて、選択された顔の出現点から動画像信号を再生するように、ディスク制御部105及び各ブロックを制御する(S504)。例えば、図2の動画像を再生する場合には、先頭フレーム201からフレーム203の直前のフレームの再生中に巻き戻し指示があると、先頭フレーム201から動画像が再生される。
【0040】
また、フレーム203からフレーム205の直前のフレームの再生中に巻き戻し指示があると、顔250の出現点であるフレーム203から動画像が再生される。即ち、巻き戻し指示があったときに再生中のフレームよりも時間軸上で前にある顔250の出現点から動画像が再生される。
【0041】
また、フレーム205からフレーム207の直前のフレームの再生中に巻き戻し指示があると、二つの顔250、260のうちの何れか、例えば、顔250の出現点であるフレーム203に戻り、このフレーム203から動画像が再生される。また、フレーム207からフレーム209の直前のフレームの再生中に巻き戻し指示があると、二つの顔250、260のうちの何れか、例えば、顔250の出現点であるフレーム203に戻り、このフレーム203から動画像が再生される。
【0042】
また、フレーム209からフレーム211の直前のフレームの再生中に巻き戻し指示があると、顔260の出現点であるフレーム205に戻り、フレーム205から動画像が再生される。以下、フレーム211〜216の再生中に巻き戻し指示があった場合も、同様にCPU110が各部を制御して巻き戻し処理を行う。
【0043】
この様に、本実施形態においては、動画像の再生中に巻き戻し指示があると、そのときに再生中のフレームに含まれている顔の出現点まで戻り、この出現点から自動的に動画像を再生する。そのため、再生中の動画像に含まれる人物が写っているシーンを容易に繰り返し再生することができる。
【0044】
なお、本実施形態では、顔を含むフレームの再生中だけでなく、顔が消失してから所定期間以内に巻き戻しの指示があった場合にも、当該顔の出現点まで戻って動画像を再生していた。しかし、これに限らず、顔を含むフレームの再生中において巻き戻しの指示があったときに限って、顔の出現点まで戻って再生するようにしてもよい。
【0045】
また、顔の出現点のフレームから動画像を再生するのではなく、出現点のフレームよりも前のフレームから動画像を再生するようにしてもよい。例えば、顔の出現点のフレームよりも所定時間だけ前の位置から動画像を再生するようにしてもよい。
【0046】
特に、特徴検出部103による顔の検出間隔が長い場合、例えば、10秒以上の間隔で顔を検出しているような場合には、管理テーブルに登録された出現点よりも前の位置まで戻って動画像を再生する。こうすることで、顔の検出間隔が長い場合でも、動画像中で実際に顔が出現した位置から再生することが可能となる。
【0047】
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。
本実施形態のビデオカメラは、図1のビデオカメラ100と同じ構成である。本実施形態においては、動画像の撮影時に特徴部分を検出し、その検出結果を動画像の付加情報としてディスク106に記録しておく。そして、動画像信号の再生時には、この付加情報に基づいて動画像の再生処理を制御する。
【0048】
以下、動画像の撮影時のビデオカメラ100の動作について説明する。
動画像の撮影指示があると、撮像部101から出力された動画像信号を画像処理部102が処理し、メモリ114に記憶する。特徴検出部103は、メモリ114に記憶された動画像信号から、前述の様に顔の部分を検出し、検出結果をCPU110に出力する。なお、本実施形態においても、特徴検出部103は、所定期間おきに選択したフレームに含まれる顔の部分を検出する。そして、動画撮影中に検出した顔の出現点の情報を登録した管理テーブルを生成する。更に、動画の撮影を停止した後、この管理テーブルに基づいて、各顔の出現点の情報を記載した記録テーブルを生成し、動画像信号に対応づけてディスク106に記録する。
【0049】
例えば、図2に示した動画像を撮影した場合、特徴検出部103はフレーム203の撮影時に顔250を検出する。そして、CPU110はその検出結果から顔250の位置、大きさ、出現点をRAM112の管理テーブル300に登録する。図6(a)は、フレーム203の撮影時の管理テーブル300を示す。
【0050】
その後、フレーム204の撮影時にも特徴検出部103は顔250を検出し、CPU110はその検出結果と、図6(a)の管理テーブル300に登録された内容とを照合する。そして、それらの位置と大きさから、フレーム203で登録した顔と同一であると判断し、管理テーブル300に登録されている顔250の位置、大きさを更新する。
【0051】
同様に、フレーム205の撮影時には特徴検出部103は顔250に加えて顔260を検出し、CPU110はその位置、大きさ、出現点を管理テーブル300に登録する。
フレーム207の撮影時には、フレーム206まで検出されていた顔250が消失しており、CPU110は顔250の位置、大きさを管理テーブル300から削除する。その後、フレーム208の撮影時にも特徴検出部103は顔260を検出し、管理テーブル300に登録されている顔260の位置、大きさを更新する。また、フレーム209の撮影時には、フレーム208まで検出されていた顔260が消失しており、CPU110は顔260の位置、大きさを管理テーブル300から削除する。
【0052】
以下、フレーム210〜216の撮影時にも同様に処理を行ことにより、フレーム216までの動画像の撮影を終えた時点で、管理テーブルは図6(b)に示す内容となる。
CPU110は動画像の撮影停止の指示があると、管理テーブル300に登録された顔とその出現点の情報に基づいて、各顔の出現点を示す記録テーブルを作成する。例えば、図2の動画像を撮影した場合、撮影停止後、図6(b)の管理テーブル300に基づいて図6(c)に示す記録テーブル600を作成する。そして、ディスク制御部105を制御し、作成した記録テーブル600を動画像信号に対応づけてディスク106に記録する。
【0053】
次に、ディスク106に記録した動画像の再生時のビデオカメラ100の動作について説明する。本実施形態では、ディスク106に記録された動画像の再生時に、CPU110はディスク制御部105を制御して、ディスク106に記録されている記録テーブル600を読み出し、RAM112に記憶する。
【0054】
以下、動画像の再生時に、ユーザが操作部111により巻き戻し、或いは早送りを指示したときのビデオカメラ100の動作について説明する。
図7は、本実施形態におけるCPU110による処理を示すフローチャートである。前述の様に、動画像信号をディスク106から再生し、動画像の再生中に巻き戻し、或いは早送りの指示があると図7のフローが開始する。
【0055】
まず、巻き戻しの指示かどうかを判別する(S701)。この判別の結果、巻き戻しの指示であった場合、CPU110は、RAM112に記憶した記録テーブルに登録された顔の出現点を確認し、巻き戻し指示があったときに再生している位置より前方に出現点があるかどうか判別する(S702)。この判別の結果、前方に出現点があった場合、最も近い顔の出現点を検出し、出現点へ戻り、この出現点から動画像を再生するように、ディスク制御部105及び各部を制御する(S703)。また、S702の判別の結果、巻き戻し指示があったときに再生している位置より前方に顔の出現点がなかった場合には、再生中のシーンの先頭に戻って動画像を再生する(S704)。
【0056】
また、S701の判別で、早送りの指示であった場合、CPU110は、RAM112に記憶した記録テーブルに登録された顔の出現点を確認し、早送り指示があったときに再生している位置より後方に出現点があるかどうか判別する(S705)。この判別の結果、後方に出現点があった場合、最も近い顔の出現点を検出する。そして、この、次の出現点に進んで動画像を再生するように、ディスク制御部105及び各部を制御する(S706)。また、早送り指示があったときに再生している位置より後方に顔の出現点がなかった場合には、再生中のシーンの次のシーンの先頭から動画像を再生する(S707)。
【0057】
例えば、図2のフレーム201からフレーム203の直前のフレームの再生中に巻き戻し指示があった場合、図6(c)の記録テーブル600には、巻き戻し指示があった時点よりも前に顔の出現点がない。このため、CPU110は、再生中のシーンの先頭まで戻り、フレーム201から動画像を再生するよう各部を制御する。
【0058】
また、フレーム203からフレーム205の直前のフレームの再生中に巻き戻し指示があった場合、CPU110は、巻き戻し指示があった時点よりも前方にある最も近い出現点であるフレーム203に戻って動画像を再生するように各部を制御する。また、フレーム205からフレーム211の再生中に巻き戻し指示があった場合、CPU110は、前方にある最も近い顔の出現点であるフレーム205に戻って動画像を再生するように各部を制御する。
【0059】
以下、フレーム211〜216の再生中に巻き戻し指示があった場合も、同様にCPU110が前方にある最も近い顔の出現点へ戻って動画像を再生するように、各部を制御する。
【0060】
また、図2のフレーム201からフレーム203の直前のフレームの再生中に早送り指示があった場合、CPU110は、図6(c)の記録テーブル600に基づいて各部を制御する。この場合、後方にある最も近い出現点であるフレーム203に進んで動画像を再生するよう各部を制御する。
また、フレーム203からフレーム205の直前のフレームの再生中に早送り指示があった場合、CPU110は後方にある最も近い出現点であるフレーム205に進んで動画像を再生するよう各部を制御する。
【0061】
以下、フレーム205〜212の再生中に早送りボタン303が押下された場合も同様に、CPU110が、早送り指示があった時点よりも後方にある最も近い顔の出現点へ進んで動画像を再生するように各部を制御する。また、フレーム213〜216の再生中に早送り指示があった場合、図6(c)の記録テーブル600には後方に出現点がないため、CPU110は次のシーンの先頭から動画像を再生するよう各部を制御する。
【0062】
このように、再生制御を行うことにより、本実施形態によれば、動画像の再生中に、人物が写っているシーンを容易に繰り返し再生したり、或いは、人物が写っていないシーンを容易に飛ばして再生したりすることができる。
【0063】
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。
本実施形態のビデオカメラは、図1のビデオカメラ100と同じ構成である。本実施形態においては、動画像の撮影中に、撮影された動画像に含まれる顔を検出すると共に、各フレームで検出された顔が同じものであるか判断する。そして、判断結果を動画像の付加情報としてディスク106に記録しておき、再生時にはこの付加情報を使って早送りの処理を行う。
【0064】
以下、動画像の撮影時におけるビデオカメラ100の動作について説明する。
動画像の撮影指示があると、撮像部101から出力された動画像信号を画像処理部102が処理し、メモリ114に記憶する。特徴検出部103は、メモリ114に記憶された動画像信号から、前述の様に顔の部分を検出し、検出結果をCPU110に出力する。なお、本実施形態においても、特徴検出部103は、所定期間おきに選択したフレームに含まれる顔の部分を検出する。更に、本実施形態では、特徴検出部103は、検出した顔の特徴情報をCPU110に出力する。本実施形態では、人物の顔を特徴部分として検出しているので、特徴情報とは、例えば目、鼻、口などの特徴点を抽出して得たベクトル情報である。特徴検出部103はこの様な検出した顔に関する特徴情報をCPU110に出力する。
【0065】
そして、CPU110は、特徴検出部103から出力される検出結果に基づいて、検出された顔の出現点、消失点を含む管理テーブルを生成し、RAM112に記憶する。
例えば、図2に示した動画像を撮影した場合、特徴検出部103はフレーム203の撮影時に顔250を検出する。そして、CPU110はその検出結果から顔250の位置、大きさ、出現点、及び特徴情報をRAM112の管理テーブル300に登録する。図8(a)は、フレーム203の撮影時の管理テーブル300を示す。
【0066】
その後、フレーム204の撮影時にも特徴検出部103は顔250を検出し、CPU110はその検出結果と、図8(a)の管理テーブル300に登録された内容とを照合する。そして、それらの位置と大きさから、フレーム203で登録した顔と同一であると判断し、管理テーブル300に登録されている顔250の位置、大きさを更新する。また、顔250の特徴情報はこれまでのフレームの平均値を算出して更新する。
【0067】
同様に、フレーム205の撮影時には特徴検出部103は顔250に加えて顔260を検出し、CPU110はその位置、大きさ、出現点、特徴情報をRAM112の管理テーブル300に登録する。フレーム207の撮影時には、フレーム206まで検出されていた顔250が消失しているので、CPU110は顔250の位置、大きさの情報を管理テーブル300から削除し、消失点の情報を登録する。
【0068】
その後、フレーム208の撮影時にも特徴検出部103は顔260を検出し、管理テーブル300に登録されている顔260の位置、大きさ、特徴情報を更新する。フレーム209の撮影時には、フレーム208まで検出されていた顔260が消失しているので、CPU110は顔260の位置、大きさを管理テーブル300から削除し、消失点の情報を登録する。
【0069】
以下、フレーム210〜216の撮影時にも同様に処理を行い、フレーム216までの動画像の撮影を終えた時点で、管理テーブル300は図8(b)に示す内容となる。ここで、Ave()は、括弧内の特徴情報の平均値を示している。また、C103〜C106は顔250のフレーム203〜206における特徴情報を示している。C205〜C208は顔260のフレーム205〜208における特徴情報を示している。また、C311〜C312は顔261のフレーム211〜212における特徴情報を示し、C413〜C414は顔251のフレーム213〜214における特徴情報を示している。
【0070】
CPU110は、動画像の撮影を停止すると、RAM112に記憶した管理テーブルに登録された特徴情報より、登録された各顔の同一性を判別し、同一と判断した顔の情報に同じ識別番号を付加した記録テーブルを作成する。そして、CPU110はディスク制御部105を制御し、作成した記録テーブルを動画像信号に対応づけてディスク106に記録する。
【0071】
図8(c)は、図8(b)の管理テーブル300に基づいて作成した記録テーブル800を示している。図8(b)の管理テーブル300に登録された各顔の情報のうち、顔250と顔251が同一、顔260と顔261が同一と判断し、前者に識別番号1、後者に識別番号2を付加した記録テーブル800が作成される。
【0072】
次に、ディスク106に記録した動画像の再生時のビデオカメラ100の動作について説明する。本実施形態では、ディスク106に記録された動画像の再生時に、CPU110はディスク制御部105を制御して、ディスク106に記録されている記録テーブルを読み出し、RAM112に記憶する。
【0073】
以下、動画像の再生時に、ユーザが操作部111により巻き戻し、或いは早送りを指示したときのビデオカメラ100の動作について説明する。図9は、本実施形態におけるCPU110による処理を示すフローチャートである。前述の様に動画像信号をディスク106から再生し、動画像の再生中に巻き戻し、或いは早送りの指示があると図9のフローが開始する。
【0074】
まず、操作部111による指示が巻き戻しの指示かどうかを判別する(S901)。この判別の結果、巻き戻しの指示であった場合、RAM112に記憶された記録テーブルに基づいて、巻き戻しの指示があった際に再生していたフレームに顔が含まれているかどうかを検出する。具体的には、巻き戻しの指示があった際に再生していたフレームの位置が、記録テーブルに登録された顔の出現点から消失点までの間に含まれるかどうかを判別する(S902)。
【0075】
S902の判別の結果、再生中のフレームに顔が含まれていない場合には、更に、記録テーブルに消失点近傍(消失して3秒以内)の顔の情報が登録されているかどうかを検出する。そして、巻き戻し指示があったときに再生中のフレームが、顔の消失点から所定期間(3秒)以内に再生されたフレームであるかどうかを判別する(S906)。
【0076】
S906の判別の結果、顔の消失点から所定期間以内での巻き戻し指示では無いと判別した場合には、現在再生中のシーンの先頭から動画像信号を再生するように、ディスク制御部105及び各部を制御する(S907)。
【0077】
また、S902の判別の結果、巻き戻し指示があった時に再生中のフレームに顔が含まれていた場合。或いは、S906の判別の結果、顔の消失点から所定期間以内に巻き戻しの指示があった場合には、管理テーブルに複数の顔の情報が登録されているかどうかを判別する(S903)。この判別の結果、顔の情報が複数登録されていた場合、これら複数の顔のうちの何れかを選択する(S904)。このとき、本実施形態では、出現してからの時間が最も長い顔を選択する。そして、記録テーブル800に基づいて、選択された顔の出現点から動画像信号を再生するように、ディスク制御部105及び各ブロックを制御する(S905)。
【0078】
また、S901の判別で、巻き戻し指示ではなく、早送りの指示であった場合、RAM112に記憶した記録テーブル800に基づいて、早送りの指示があった際に再生していたフレームに顔が含まれているかどうかを判別する(S908)。この判別の結果、再生中のフレームに顔が含まれていない場合には、更に、記録テーブル800に消失点近傍(消失して3秒以内)の顔の情報が登録されているかどうかを検出する。そして、早送り指示があったときに再生中のフレームが、顔の消失点から所定期間(3秒)以内に再生されたフレームであるかどうかを判別する(S913)。
【0079】
S913で、顔の消失点から所定期間以内での早送り指示では無いと判別した場合には、現在再生中のシーンの次のシーンの先頭から動画像信号を再生するように、ディスク制御部105及び各部を制御する(S914)。
【0080】
また、S908で、早送り指示があった時に再生中のフレームに顔が含まれていた場合。或いは、S913で、顔の消失点から所定期間以内に早送りの指示があった場合には、管理テーブル300に複数の顔の情報が登録されているかどうかを判別する(S909)。この判別の結果、顔の情報が複数登録されていた場合、これら複数の顔の何れかを選択する(S910)。このとき、本実施形態では、出現してからの時間が最も長い顔を選択する。
【0081】
次に、選択された顔に付加されたIDと同じIDが付加された顔の情報が記録テーブル800に登録されているかどうかを判別する。同じIDの顔の情報が記録テーブル800に登録されていた場合、現在の再生位置よりも後に当該顔の出現点があるかどうかを判別する(S911)。そして、次の出現点がある場合には、この同じIDの顔次の出現点まで進み、動画像を再生するようにディスク制御部105及び各ブロックを制御する(S912)。
【0082】
また、S911で、同じIDの顔の情報が管理テーブルに登録されていない場合、或いは、現在の再生位置よりも後に同じIDの顔の出現点が登録されていなかった場合、S914に進み、次のシーンの先頭から動画像を再生する。
【0083】
例えば、図2のフレーム201からフレーム203の直前のフレームの再生中に巻き戻し指示があった場合、図8(c)の記録テーブル800には、巻き戻し指示があった時点よりも前に顔の出現点がない。このため、CPU110は、再生中のシーンの先頭まで戻り、フレーム201から動画像を再生するよう各部を制御する。
【0084】
また、フレーム203からフレーム205の直前のフレームの再生中に巻き戻し指示があった場合、CPU110は、顔250の出現点であるフレーム203に戻って動画像を再生するように各部を制御する。また、フレーム205からフレーム207の直前のフレームの再生中に巻き戻し指示があった場合、CPU110は、顔250と顔260のうち、出現してからの期間が長い顔250を選択する。そして、この顔250の出現点であるフレーム203に戻って動画像を再生するように各部を制御する。また、フレーム207からフレーム209の直前のフレームの再生中に巻き戻し指示があった場合、CPU110は、顔260の出現点であるフレーム205に戻って動画像を再生するように各部を制御する。
【0085】
以下、フレーム211〜216の再生中に巻き戻し指示があった場合も、同様にCPU110が前方にある最も近い顔の出現点へ戻って動画像を再生するように、各部を制御する。
【0086】
また、図2のフレーム201からフレーム203の直前のフレームの再生中に早送り指示があった場合、CPU110は、次のシーンの先頭から動画像をするよう各部を制御する。また、フレーム203からフレーム205の直前のフレームの再生中に早送り指示があった場合、CPU110は、顔250と同じIDが付加された顔251の出現点であるフレーム213に進んで動画像を再生するよう各部を制御する。
【0087】
また、フレーム205からフレーム207の直前のフレームの再生中に早送り指示があった場合、CPU110は、顔250と顔260のうち、出現してからの期間が長い顔250を選択する。そして、この顔250と同じIDが付加された顔251の出現点であるフレーム213に進んで動画像を再生するよう各部を制御する。また、フレーム207からフレーム209の直前のフレームの再生中に早送り指示があった場合、CPU110は、顔260と同じIDが付加された顔261の出現点であるフレーム211に進んで動画像を再生するよう各部を制御する。
【0088】
また、フレーム211〜フレーム214の再生中に早送りの指示があっても、その後に同じIDが付加された顔の出現点が無いため、次のシーンの先頭から動画像を再生するように各部を制御する。
【0089】
このように、本実施形態によれば、動画像の再生中に、特定の人物が写っているシーンを容易に繰り返し再生したり、或いは、特定の人物が写っている次のシーンを容易に頭出しして再生したりすることができる。
【0090】
(第4の実施形態)
次に、本発明の第4の実施形態について説明する。本実施形態のビデオカメラは、図1のビデオカメラ100と同じ構成である。本実施形態では、動画像の撮影時に検出した特徴部分の位置と大きさを、付加情報として動画像の各フレームに付加して記録する。更に、本実施形態では、動画像の再生時に、再生中の動画像の同じフレームに複数の顔が含まれていた場合、ユーザが何れかの顔を選択できるようにした。そして、選択した顔の出現点を頭出しして再生したり、或いは、選択した顔と同じ顔が次に出現する点を頭出しして再生したりできるようにした。
【0091】
以下、動画像の撮影時におけるビデオカメラ100の動作について説明する。
動画像の撮影指示があると、撮像部101から出力された動画像信号を画像処理部102が処理し、メモリ114に記憶する。特徴検出部103は、メモリ114に記憶された動画像信号から、前述の様に顔の部分を検出し、検出結果をCPU110に出力する。なお、本実施形態においても、特徴検出部103は、所定期間おきに選択したフレームに含まれる顔の部分を検出する。また、本実施形態においても、特徴検出部103は、検出した顔の特徴情報をCPU110に出力する。
【0092】
CPU110は、特徴検出部103の出力に基づいて前述のように管理テーブルを作成すると共に、特徴検出部103から新たに検出結果が出力される度に管理テーブルの内容を更新する。そして、CPU110はディスク制御部105を制御し、記録する動画像信号の各フレームに対し、管理テーブルに登録された顔の位置と大きさを示す付加情報を付加して記録する。
【0093】
例えば、図2に示した動画像を撮影した場合、特徴検出部103はフレーム203の撮影時に顔250を検出する。そして、CPU110はその検出結果から顔250の位置、大きさ、出現点、及び特徴情報をRAM112の管理テーブル300に登録する。図8(a)は、フレーム203の撮影時の管理テーブル300を示す。
【0094】
その後、フレーム204の撮影時にも特徴検出部103は顔250を検出し、CPU110はその検出結果と、図8(a)の管理テーブル300に登録された内容とを照合する。そして、それらの位置と大きさから、フレーム203で登録した顔と同一であると判断し、管理テーブル300に登録されている顔250の位置、大きさを更新する。また、顔250の特徴情報はこれまでのフレームの平均値を算出して更新する。
【0095】
同様に、フレーム205の撮影時には特徴検出部103は顔250に加えて顔260を検出し、CPU110はその位置、大きさ、出現点、特徴情報をRAM112の管理テーブル300に登録する。フレーム207の撮影時には、フレーム206まで検出されていた顔250が消失しているので、CPU110は顔250の位置、大きさの情報を管理テーブル300から削除し、消失点の情報を登録する。
【0096】
その後、フレーム208の撮影時にも特徴検出部103は顔260を検出し、管理テーブル300に登録されている顔260の位置、大きさ、特徴情報を更新する。フレーム209の撮影時には、フレーム208まで検出されていた顔260が消失しているので、CPU110は顔260の位置、大きさを管理テーブル300から削除し、消失点の情報を登録する。
【0097】
以下、フレーム210〜216の撮影時にも同様に処理を行い、フレーム216までの動画像の撮影を終えた時点で、管理テーブル300は図8(b)に示す内容となる。
CPU110は、動画像の撮影を停止すると、RAM112の管理テーブルに登録された特徴情報より、登録された各顔の同一性を判別し、同一と判断した顔の情報に同じ識別番号を付加した記録テーブルを作成する。
【0098】
図8(c)は、図8(b)の管理テーブル300に基づいて作成した記録テーブル800を示している。図8(b)の管理テーブル300に登録された各顔の情報のうち、顔250と顔251が同一、顔260と顔261が同一と判断し、前者に識別番号1、後者に識別番号2を付加した記録テーブル800が作成される。
【0099】
CPU110はディスク制御部105を制御し、作成した記録テーブル800を動画像信号に対応づけてディスク106に記録する。
【0100】
図10は、動画像信号に付加されて記録される付加情報の様子を示す図である。例えば、図2の動画像を記録する場合には、フレーム205からフレーム207の直前のフレームに対し、図10の付加情報が付加される。
【0101】
次に、ディスク106に記録した動画像の再生時のビデオカメラ100の動作について説明する。本実施形態では、ディスク106に記録された動画像の再生時に、CPU110はディスク制御部105を制御して、ディスク106に記録されている記録テーブルを読み出し、RAM112に記憶する。
【0102】
また、本実施形態では、CPU110がディスク制御部105を制御し、再生された動画像の各フレームに付加された付加情報を取得する。そして、取得した各フレームの付加情報に基づいて、動画像の各フレームにおける顔の位置と大きさを検出する。そして、CPU110は、描画処理部107を制御して、再生された動画像の各画面における顔の部分に検出枠の画像を多重して表示する。このとき、一つのフレームに複数の顔が含まれている場合、CPU110は、何れかの顔の部分に対し、検出枠を多重して表示する。
【0103】
そして、ユーザは、図4に示した操作部111のダイヤルスイッチ401を操作することで、複数の顔の中から検出枠を表示する対象の顔を選択することができる。なお、本実施形態では、ユーザがダイヤルスイッチ401を操作すると、CPU110が検出枠を表示し、操作終了後所定期間経過すると検出枠の表示を停止する。
【0104】
図11は、図2の動画像の再生中における再生画面の例を示す図である。例えば、フレーム205の再生中、顔250に検出枠1101を多重して表示している。フレーム205〜フレーム207の直前のフレームまでの間、複数の顔が含まれるため、これらのフレームの再生中にユーザがダイヤルスイッチ401を操作すると、CPU110は検出枠1101にて選択している顔を切り替える。
【0105】
例えば、フレーム205において、特徴部分として顔250に対して検出枠が描画されている状態において、巻き戻しボタン302が押下される場合がある。この場合、記録テーブル800によりCPU110は特徴部分(顔250)の出現点であるフレーム203より所定時間(例えば3秒)前に戻って再生を行うようディスク制御部105及び各ブロックを制御する。ただし、特徴部分の出現点が動画像の先頭から所定時間以内の場合は、動画像の先頭から再生を行う。
【0106】
本実施形態における再生時の処理は、図9のフローで説明した処理と同様であるが、S904、及び、S910における顔の選択方法が異なる。
即ち、本実施形態では、巻き戻し、或いは、早送りの指示があった時に再生中の画面に複数の顔が含まれていた場合、検出枠によってユーザが選択した顔を選択する。そして、ユーザによって選択された顔の出現点を頭出しして、動画像を再生する。
【0107】
具体的には、例えば、図2におけるフレーム205からフレーム207の直前のフレームまでの間に早送り指示があった場合、再生中の画面には顔250と顔260が含まれている。そして、これら顔250と顔260のうち、検出枠1101により顔250が選択されていた場合、同じ識別番号を持つ顔251の出現点であるフレーム213に頭出しして動画像を再生するように、CPU110が各部を制御する。
【0108】
以上、説明したように、本実施形態によれば、所望の人物が写っているシーンを容易に繰り返し再生したり、所望の人物が写っている次のシーンを容易に頭出しして再生したりすることができる。
【0109】
(本発明に係る他の実施の形態)
前述した本発明の実施の形態における画像再生装置、画像記録再生装置を構成する各手段は、コンピュータのRAMやROMなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【0110】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施の形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【0111】
なお、本発明は、前述した画像再生装置の制御方法における各工程を実行するソフトウェアのプログラム(実施の形態では図5、図7、図9に示すフローチャートに対応したプログラム)を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【0112】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。
プログラムを供給するための記録媒体としては種々の記録媒体を使用することができる。例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などがある。
【0113】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【0114】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
【0115】
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【0116】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施の形態の機能が実現される他、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行うことによっても前述した実施の形態の機能が実現され得る。
【0117】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現される。
【符号の説明】
【0118】
100 ビデオカメラ、101 撮像部、102 画像処理部、103 特徴検出部、104 CODEC、105 ディスク制御部、106 ディスク、107 描画処理部、108 表示制御部、109 表示部、110 CPU、111 操作部、112 RAM、113 ROM、114 メモリ、115 出力部、116 バス
【特許請求の範囲】
【請求項1】
記録媒体から動画像信号を再生する再生手段と、
前記再生手段により再生された動画像信号において特徴部分の画像が出現した出現位置を検出する検出手段と、
前記動画像信号の巻き戻しの指示を出力する指示手段と、
前記動画像信号の再生中に前記指示手段により前記巻き戻しの指示が出力されると、前記巻き戻しの指示に対応した再生位置よりも前の前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御する制御手段とを備えることを特徴とする再生装置。
【請求項2】
前記検出手段は、前記再生手段により再生された動画像信号を用いて、前記動画像信号における特徴部分の画像を検出する特徴検出手段を含むことを特徴とする請求項1記載の再生装置。
【請求項3】
前記特徴検出手段は、前記再生された動画像信号から所定の間隔で選択したフレームに含まれる前記特徴部分の画像を検出することを特徴とする請求項2記載の再生装置。
【請求項4】
前記制御手段は、前記指示手段により前記巻き戻しの指示が出力されたときに再生していたフレームに含まれる前記特徴部分の画像の出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項1記載の再生装置。
【請求項5】
前記検出手段は、前記再生された動画像信号において前記特徴部分の画像が消失したことを検出し、前記制御手段は前記動画像信号の再生中に前記特徴部分の画像が消失したことを検出してから所定期間以内に前記指示手段より巻き戻しの指示があると、前記巻き戻しの指示に対応した再生位置よりも前の前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項1記載の再生装置。
【請求項6】
前記検出手段は、前記再生された動画像信号における複数の前記特徴部分の画像が出現した出現位置をそれぞれ検出し、前記制御手段は、前記指示手段により前記巻き戻しの指示が出力されると、前記複数の出現位置のうちの何れか一つの前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項1記載の再生装置。
【請求項7】
前記複数の特徴部分の画像のうちの一つを任意に選択する選択手段を備え、
前記制御手段は、前記指示手段により前記巻き戻しの指示が出力されると、前記複数の出現位置のうちの前記選択手段により選択された特徴部分の出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項6記載の再生装置。
【請求項8】
撮像手段と、前記撮像手段から出力された動画像信号を前記記録媒体に記録する記録手段とを備え、
前記検出手段は前記撮像手段から出力された動画像信号を用いて、前記動画像信号における特徴部分の画像を検出する特徴検出手段を含み、前記記録手段は前記検出手段により検出された前記出現位置の情報を前記記録媒体に記録し、前記制御手段は前記記録媒体に記録された前記出現位置の情報に基づいて、前記巻き戻しの指示に対応した再生位置よりも前の前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項1記載の再生装置。
【請求項9】
入力された動画像信号を前記記録媒体に記録する記録手段を備え、
前記検出手段は前記入力された動画像信号を用いて、前記動画像信号の複数の画面に含まれる特徴部分の画像を検出する特徴検出手段を含み、前記記録手段は前記検出手段により検出された前記出現位置の情報を前記録媒体に記録し、前記制御手段は、前記記録媒体に記録された前記出現位置の情報に基づいて、前記巻き戻しの指示に対応した再生位置よりも前の前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項1記載の再生装置。
【請求項10】
前記制御手段は、前記出現位置よりも所定期間前の位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項1から9の何れか1項に記載の再生装置。
【請求項11】
記録媒体から動画像信号を再生する再生手段と、
前記再生手段により再生された動画像信号において特徴部分の画像が出現した出現位置を検出する検出手段と、
前記動画像信号の早送りの指示を出力する指示手段と、
前記動画像信号の再生中に前記指示手段により前記早送りの指示が出力されると、前記早送りの指示に対応した再生位置よりも後の前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御する制御手段とを備えることを特徴とする再生装置。
【請求項12】
前記制御手段は、前記指示手段により前記早送りの指示が出力されたときに再生していた画面に含まれる前記特徴部分の画像の出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項11記載の再生装置。
【請求項13】
前記制御手段は、前記指示手段により前記早送りの指示が出力されたときに再生していた画面に含まれる前記特徴部分の画像と同じ画像の次の出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項12記載の再生装置。
【請求項14】
前記検出手段は、前記再生された動画像信号において前記特徴部分の画像が消失したことを検出し、前記制御手段は前記動画像信号の再生中に前記特徴部分の画像が消失したことを検出してから所定期間以内に前記指示手段より早送りの指示があると、前記早送りの指示に対応した再生位置よりも後の前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項11記載の再生装置。
【請求項15】
前記検出手段は、前記動画像信号における複数の前記特徴部分の画像が出現した出現位置をそれぞれ検出し、前記制御手段は、前記指示手段により前記早送りの指示が出力されると、前記複数の出現位置のうちの何れか一つの前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項11記載の再生装置。
【請求項16】
前記複数の特徴部分の画像のうちの一つを任意に選択する選択手段を備え、
前記制御手段は、前記指示手段により前記早送りの指示が出力されると、前記複数の出現位置のうちの前記選択手段により選択された特徴部分の出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項15記載の再生装置。
【請求項17】
前記再生手段は前記出現位置を示す情報を前記記録媒体から再生し、前記検出手段は前記再生手段により再生された前記出現位置を示す情報に基づいて前記出現位置を検出することを特徴とする請求項11記載の再生装置。
【請求項18】
入力された動画像信号を前記記録媒体に記録する記録手段を備え、
前記検出手段は前記入力された動画像信号を用いて、前記動画像信号の複数の画面に含まれる特徴部分の画像を検出する特徴検出手段を含み、前記記録手段は前記検出手段により検出された前記特徴部分の画像に関する付加情報を前記動画像信号の複数の画面にそれぞれ付加して前記記録媒体に記録することを特徴とする請求項11記載の再生装置。
【請求項19】
記録媒体から動画像信号を再生する再生手段と、
前記再生手段により再生された動画像信号において特徴部分の画像を含む画面を検出する検出手段と、
前記動画像信号の頭出しの指示を出力する指示手段と、
前記動画像信号の再生中に前記指示手段により前記頭出しの指示が出力されると、前記検出手段により検出された画面に関連した位置から前記動画像信号を再生するように前記再生手段を制御する制御手段とを備えることを特徴とする再生装置。
【請求項20】
記録媒体から動画像信号を再生する再生手段と、
前記再生手段により再生された動画像信号において特徴部分の画像が出現した出現位置を検出する検出手段と、
前記動画像信号の頭出しの指示を出力する指示手段と、
前記動画像信号の再生中に前記指示手段により前記頭出しの指示が出力されると、前記頭出しの指示に対応した再生位置より前の前記出現位置に関連した位置、または、前記頭出しの指示に対応した再生位置より後の前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御する制御手段とを備えることを特徴とする再生装置。
【請求項21】
前記制御手段は、前記頭出しの指示に対応した再生位置の直前の前記出現位置に関連した位置、または、前記頭出しの指示に対応した再生位置の次の前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項20記載の再生装置。
【請求項22】
記録媒体から動画像を再生する再生装置であって、
前記動画像の再生中に巻き戻しの指示があると、前記巻き戻しの指示があった時点で再生中の動画像のフレームに含まれる特徴部分の出現位置まで戻って前記動画像を再生することを特徴とする再生装置。
【請求項1】
記録媒体から動画像信号を再生する再生手段と、
前記再生手段により再生された動画像信号において特徴部分の画像が出現した出現位置を検出する検出手段と、
前記動画像信号の巻き戻しの指示を出力する指示手段と、
前記動画像信号の再生中に前記指示手段により前記巻き戻しの指示が出力されると、前記巻き戻しの指示に対応した再生位置よりも前の前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御する制御手段とを備えることを特徴とする再生装置。
【請求項2】
前記検出手段は、前記再生手段により再生された動画像信号を用いて、前記動画像信号における特徴部分の画像を検出する特徴検出手段を含むことを特徴とする請求項1記載の再生装置。
【請求項3】
前記特徴検出手段は、前記再生された動画像信号から所定の間隔で選択したフレームに含まれる前記特徴部分の画像を検出することを特徴とする請求項2記載の再生装置。
【請求項4】
前記制御手段は、前記指示手段により前記巻き戻しの指示が出力されたときに再生していたフレームに含まれる前記特徴部分の画像の出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項1記載の再生装置。
【請求項5】
前記検出手段は、前記再生された動画像信号において前記特徴部分の画像が消失したことを検出し、前記制御手段は前記動画像信号の再生中に前記特徴部分の画像が消失したことを検出してから所定期間以内に前記指示手段より巻き戻しの指示があると、前記巻き戻しの指示に対応した再生位置よりも前の前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項1記載の再生装置。
【請求項6】
前記検出手段は、前記再生された動画像信号における複数の前記特徴部分の画像が出現した出現位置をそれぞれ検出し、前記制御手段は、前記指示手段により前記巻き戻しの指示が出力されると、前記複数の出現位置のうちの何れか一つの前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項1記載の再生装置。
【請求項7】
前記複数の特徴部分の画像のうちの一つを任意に選択する選択手段を備え、
前記制御手段は、前記指示手段により前記巻き戻しの指示が出力されると、前記複数の出現位置のうちの前記選択手段により選択された特徴部分の出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項6記載の再生装置。
【請求項8】
撮像手段と、前記撮像手段から出力された動画像信号を前記記録媒体に記録する記録手段とを備え、
前記検出手段は前記撮像手段から出力された動画像信号を用いて、前記動画像信号における特徴部分の画像を検出する特徴検出手段を含み、前記記録手段は前記検出手段により検出された前記出現位置の情報を前記記録媒体に記録し、前記制御手段は前記記録媒体に記録された前記出現位置の情報に基づいて、前記巻き戻しの指示に対応した再生位置よりも前の前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項1記載の再生装置。
【請求項9】
入力された動画像信号を前記記録媒体に記録する記録手段を備え、
前記検出手段は前記入力された動画像信号を用いて、前記動画像信号の複数の画面に含まれる特徴部分の画像を検出する特徴検出手段を含み、前記記録手段は前記検出手段により検出された前記出現位置の情報を前記録媒体に記録し、前記制御手段は、前記記録媒体に記録された前記出現位置の情報に基づいて、前記巻き戻しの指示に対応した再生位置よりも前の前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項1記載の再生装置。
【請求項10】
前記制御手段は、前記出現位置よりも所定期間前の位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項1から9の何れか1項に記載の再生装置。
【請求項11】
記録媒体から動画像信号を再生する再生手段と、
前記再生手段により再生された動画像信号において特徴部分の画像が出現した出現位置を検出する検出手段と、
前記動画像信号の早送りの指示を出力する指示手段と、
前記動画像信号の再生中に前記指示手段により前記早送りの指示が出力されると、前記早送りの指示に対応した再生位置よりも後の前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御する制御手段とを備えることを特徴とする再生装置。
【請求項12】
前記制御手段は、前記指示手段により前記早送りの指示が出力されたときに再生していた画面に含まれる前記特徴部分の画像の出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項11記載の再生装置。
【請求項13】
前記制御手段は、前記指示手段により前記早送りの指示が出力されたときに再生していた画面に含まれる前記特徴部分の画像と同じ画像の次の出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項12記載の再生装置。
【請求項14】
前記検出手段は、前記再生された動画像信号において前記特徴部分の画像が消失したことを検出し、前記制御手段は前記動画像信号の再生中に前記特徴部分の画像が消失したことを検出してから所定期間以内に前記指示手段より早送りの指示があると、前記早送りの指示に対応した再生位置よりも後の前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項11記載の再生装置。
【請求項15】
前記検出手段は、前記動画像信号における複数の前記特徴部分の画像が出現した出現位置をそれぞれ検出し、前記制御手段は、前記指示手段により前記早送りの指示が出力されると、前記複数の出現位置のうちの何れか一つの前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項11記載の再生装置。
【請求項16】
前記複数の特徴部分の画像のうちの一つを任意に選択する選択手段を備え、
前記制御手段は、前記指示手段により前記早送りの指示が出力されると、前記複数の出現位置のうちの前記選択手段により選択された特徴部分の出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項15記載の再生装置。
【請求項17】
前記再生手段は前記出現位置を示す情報を前記記録媒体から再生し、前記検出手段は前記再生手段により再生された前記出現位置を示す情報に基づいて前記出現位置を検出することを特徴とする請求項11記載の再生装置。
【請求項18】
入力された動画像信号を前記記録媒体に記録する記録手段を備え、
前記検出手段は前記入力された動画像信号を用いて、前記動画像信号の複数の画面に含まれる特徴部分の画像を検出する特徴検出手段を含み、前記記録手段は前記検出手段により検出された前記特徴部分の画像に関する付加情報を前記動画像信号の複数の画面にそれぞれ付加して前記記録媒体に記録することを特徴とする請求項11記載の再生装置。
【請求項19】
記録媒体から動画像信号を再生する再生手段と、
前記再生手段により再生された動画像信号において特徴部分の画像を含む画面を検出する検出手段と、
前記動画像信号の頭出しの指示を出力する指示手段と、
前記動画像信号の再生中に前記指示手段により前記頭出しの指示が出力されると、前記検出手段により検出された画面に関連した位置から前記動画像信号を再生するように前記再生手段を制御する制御手段とを備えることを特徴とする再生装置。
【請求項20】
記録媒体から動画像信号を再生する再生手段と、
前記再生手段により再生された動画像信号において特徴部分の画像が出現した出現位置を検出する検出手段と、
前記動画像信号の頭出しの指示を出力する指示手段と、
前記動画像信号の再生中に前記指示手段により前記頭出しの指示が出力されると、前記頭出しの指示に対応した再生位置より前の前記出現位置に関連した位置、または、前記頭出しの指示に対応した再生位置より後の前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御する制御手段とを備えることを特徴とする再生装置。
【請求項21】
前記制御手段は、前記頭出しの指示に対応した再生位置の直前の前記出現位置に関連した位置、または、前記頭出しの指示に対応した再生位置の次の前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項20記載の再生装置。
【請求項22】
記録媒体から動画像を再生する再生装置であって、
前記動画像の再生中に巻き戻しの指示があると、前記巻き戻しの指示があった時点で再生中の動画像のフレームに含まれる特徴部分の出現位置まで戻って前記動画像を再生することを特徴とする再生装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2010−45765(P2010−45765A)
【公開日】平成22年2月25日(2010.2.25)
【国際特許分類】
【出願番号】特願2009−119010(P2009−119010)
【出願日】平成21年5月15日(2009.5.15)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成22年2月25日(2010.2.25)
【国際特許分類】
【出願日】平成21年5月15日(2009.5.15)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]