説明

動画像再生装置および動画像再生方法

【課題】動画像内のユーザが指定したオブジェクトの出現箇所まで遡り再生する装置を提供すること。
【解決手段】動画像を表示する表示部と、前記表示部に表示された動画像から特定のオブジェクトを指定する入力部と、前記入力部で特定のオブジェクトが指定されたとき、前記オブジェクトが前記表示部に出現する再生位置まで遡って、前記動画像を再生させる制御部を備えることにより、ユーザが注目するオブジェクトが映っている動画像を出現する場面から提供することができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画像を再生する動画像再生装置に関し、特に、過去に遡った時点から動画像を再生することのできる動画像再生装置に関する。
【背景技術】
【0002】
近年、デジタルカメラやデジタルビデオカメラ等の撮影装置は、静止画や動画像の高解像度化が進んでいる。例えば、動画ではデジタルビデオカメラにおいてHDサイズ(1920×1080)を記録できるようになっており、家庭で高画質な動画像を楽しむ事が簡単に出来るようになっている。
【0003】
しかしながら、従来の動画像再生装置は、ユーザが注目している対象物(オブジェクト:人や物など)を拡大して表示できないという課題があった。
【0004】
そこで、上記課題を解決するため、下記特許文献1には、ユーザが注目している対象物をユーザが指定したタイミングで拡大して表示を行う動画像処理装置が開示されている。また、下記特許文献2には、ユーザが指定したオブジェクトを抽出する画像処理装置が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2005−277916号公報
【特許文献2】特開2004−246723号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1の動画像処理装置は、拡大したい対象物(オブジェクト:人や物など)を指定したタイミングで、拡大して再生することはできるものの、当該対象物が画面内に出現した時点に戻って拡大することはできない。つまり、例えば、運動会等の動画像の中から拡大して見たい子供を見つけるのに時間がかかってしまった場合、子供を見つけて指定するまで拡大映像は見ることはできないといった課題があった。
【0007】
また、特許文献2の画像処理装置は、オブジェクト抽出する際に開始点と終点を設定する必要があり、自動的に開始点を判定して抽出することができないといった課題があった。
【0008】
本発明は、前記従来の課題を解決するもので、動画像内のユーザが指定したオブジェクトが画面内に出現する時点まで遡り、再生することのできる動画像再生装置を提供するものである。
【課題を解決するための手段】
【0009】
前記従来の課題を解決するため、本発明の第一の動画像再生装置は、動画像を表示する表示部と、前記表示部に表示された動画像から特定のオブジェクトを指定する入力部と、前記入力部で特定のオブジェクトが指定されたとき、前記オブジェクトが前記表示部に出現する再生位置まで遡って、前記動画像を再生させる制御部を備える。
【0010】
本発明の第二の動画像再生装置は、動画像をデコードする復号部と、前記入力部で指定されたオブジェクトを認識する認識部と、前記認識部で認識されたオブジェクト情報と、前記復号部から出力された画像とに基づき、前記画像に前記オブジェクトが存在するか否かを探索する探索部と、をさらに備え、前記制御部は、前記入力部で前記オブジェクトが指定された画像を開始点として、時間的に遡って、前記復号部で動画像をデコードさせ、前記探索部に前記復号部でデコードした画像に対して前記オブジェクトを探索させ、前記オブジェクトが検出されなかった場合に、所定の画像から再生を開始させる制御を備える。
【0011】
本発明の第三の動画像再生装置は、画像をトリミングして拡大画像を生成する拡大部と、をさらに備え、前記制御部は、前記探索部で前記オブジェクトが検出されなかった場合、所定の画像から、前記拡大部で生成された前記オブジェクトの拡大画像の再生を開始させる制御を備える。
【0012】
本発明の第四の動画像再生装置は、前記制御部は、前記探索部で所定の画像に前記オブジェクトが検出されなかった場合、前記所定の画像から、前記探索部で前記オブジェクトを探索し、前記拡大部で前記オブジェクトの拡大画像を生成して、前記拡大画像を再生させる制御を備える。
【発明の効果】
【0013】
本発明によれば、ユーザが指定した動画像内のオブジェクトが画面内に出現する時点まで遡って再生するため、ユーザが注目するオブジェクトが映っている動画像を出現する場面から提供することができる。
【図面の簡単な説明】
【0014】
【図1】本発明の実施の形態1における動画像再生装置の構成を示す図
【図2】本発明の実施の形態1における動画像再生装置の動作を説明するフローチャート
【図3】本発明の実施の形態1における動画像再生装置のオブジェクト探索模式図
【図4】本発明の実施の形態2における動画像再生装置の動作を説明するフローチャート
【図5】本発明の実施の形態2における動画像再生装置のオブジェクト探索模式図
【図6】本発明の実施の形態3における動画像再生装置の構成を示す図
【図7】本発明の実施の形態3における動画像再生装置の動作を説明するフローチャート
【図8】本発明の実施の形態4における動画像再生装置の構成を示す図
【図9】本発明の実施の形態4における動画像再生装置の動作を説明するフローチャート
【図10】本発明の実施の形態5における動画像再生装置の動作を説明するフローチャート
【図11】本発明の実施の形態5における動画像再生装置の動作を説明するフローチャート
【図12】本発明の実施の形態1〜5をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図
【発明を実施するための形態】
【0015】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
(実施の形態1)
図1は、本発明の実施の形態1における動画像再生装置100の構成を示すブロック図である。
【0016】
図1に示すとおり、動画像再生装置100は、入力部101、認識部102、探索部103、制御部104、復号部105、および表示部106を備えている。
【0017】
入力部101は、例えば、タッチパネルの場合、ユーザがオブジェクトをタップすることで位置情報を取得し、また、リモコンの場合、画面に枠等表示させ、ユーザがその枠を移動してオブジェクトに合わせることで位置情報を取得する。これにより入力部101はユーザが指定した位置情報を取得し、認識部102へ出力する。
【0018】
認識部102は、入力部101から出力された位置情報を基にして、その領域にオブジェクトとして認識できる輪郭が存在するか否かを判断し、存在する場合は、オブジェクトの位置、画像を含むオブジェクト情報を探索部103へ出力する。
【0019】
探索部103は、認識部102から出力されたオブジェクト情報をもとに復号部105で復号された画像に対してオブジェクトの探索を行い、オブジェクトの有無情報を生成する。そして、探索部103は、探索結果であるオブジェクト有無情報を制御部104へ出力する。
【0020】
制御部104は、探索部103で生成されたオブジェクト有無情報をもとに、復号部105に対して動画像のデコードの制御を行う。
【0021】
復号部105は、制御部104から出力された指示に従って、動画像の復号を行い、復号した画像を表示部106へ出力する。
【0022】
表示部106は、LCDや有機EL等の表示デバイスであり、復号部105で復号された画像を画面に表示する。
【0023】
図2は、本発明の実施の形態1における動画像再生装置100の動作を説明するフローチャートである。なお、本動作フローは、動画像再生中にユーザが一時停止をして、注目するオブジェクトを入力部101がタッチパネルであれば、ユーザがオブジェクトをタップすることにより、また、入力部101がリモコンであれば、ユーザが画面に表示されている枠等を移動しオブジェクトに合わせることにより、位置を決定するものとして説明する。
【0024】
まず、入力部101は、ユーザが指定した位置情報を取得し、認識部102へ出力する(ステップS1)。
【0025】
次に、認識部102は、入力部101から出力された位置情報と、復号部105から出力されている画像(表示部206で表示されている画像)を基にして、その領域にオブジェクトとして認識できる輪郭が存在するか否かを判断する(ステップS2)
次に、認識部102は、入力部101から出力された位置情報からオブジェクトとして認識できないと判断した場合(ステップS2、No)、再度ステップS1の処理を実行する。
【0026】
一方、認識部102は、入力部101から出力された位置情報からオブジェクトオブジェクトとして認識できると判断した場合(ステップS2、Yes)、オブジェクトの位置、画像を含むオブジェクト情報を生成して、探索部103へ出力する(ステップS3)。
【0027】
次に、制御部104は復号部105で直前に復号した画像に対して時間的に過去方向へ1枚前の画像を、次に復号部105で復号する画像と決定する(ステップS4)。
復号部105は制御部104が指定した画像を復号する(ステップS5)。
【0028】
探索部103は、復号部105で復号された画像と、認識部102から出力されたオブジェクト情報とに基づいて、当該画像に入力部101で指定されたオブジェクトが含まれているか探索し、探索した結果のオブジェクト有無情報を制御部104に出力し、さらにオブジェクトが存在する場合は探索部のオブジェクト情報(オブジェクトの位置)を更新する(ステップS6)。
【0029】
次に、制御部104は探索部103のオブジェクト有無情報でオブジェクトが無いと判断された場合、または復号部105の復号した画像がストリームの先頭だった場合(ステップS7、YES)、制御部104は再生再開箇所を最後に復号した画像に決定する(ステップS8)。そして制御部104は再生再開箇所から通常再生を再開する(ステップS9)。
【0030】
一方、制御部104は探索部103のオブジェクト有無情報でオブジェクトが有りと判断された場合でかつ復号部105で復号した画像がストリームの先頭でない場合(ステップS7、NO)、ステップS4の復号化画像の決定処理に戻り、一連の処理を繰り返す。
【0031】
図3は、本発明の実施の形態1における動画像再生装置100のオブジェクト探索を模式的に示した図である。
【0032】
ここで、オブジェクトの認識方法としては、入力部101で指定された位置の周辺について輪郭抽出を行い、抽出可能ならばオブジェクトとして認識し、不可能ならばオブジェクトとして認識しない。例えば、真っ白な画像に対してユーザがオブジェクトの位置を指定しても、輪郭が抽出できないためオブジェクトがないと判断される。またユーザがオブジェクトを囲う枠を入力して、その領域内で輪郭を抽出してオブジェクトとして認識しても良い。
【0033】
また、オブジェクトの探索方法としては、一般的に用いられるブロックマッチング技術を用いるため、詳細な説明は本明細書では省略する。
【0034】
以上の手順によって、図3のようにオブジェクト(ここでは飛行機を例とする)を過去方向に探査して、オブジェクトが画面内に出現する時点を特定し、当該時点から再生することが可能となる。したがって、ユーザが注目するオブジェクトが映っている動画をオブジェクトが出現した場面から再生することができる。
【0035】
なお、本発明の実施の形態1における動画像再生装置100において、ステップS4で、過去方向に1枚移動した画像を復号するもの(過去方向に一枚ずつ復号していく)と説明したが、過去方向に向かってIピクチャごとに画像を復号するものであってもよい。Iピクチャとは、符号化方式で画面内の情報のみで符号化された画像のことである。これにより複数毎おきで探索でき、かつ復号化するのに他の画像を復号化する必要がないため、復号化と探索にかかる処理時間を短くすることが可能となる。
【0036】
なお、また、本発明の実施の形態1における動画像再生装置100において、ステップS8で、オブジェクトが見つかった時間的に最も過去の画面から通常の再生を開始するものとして説明したが、当該画像がコンテンツ(ストリーム)の先頭でない場合は、制御部104がオブジェクトが見つかった時間的に最後の画面の複数枚前の画像から再生しても良い。これにより、オブジェクトの出現するシーンを表示することができる。
【0037】
また、制御部104は、オブジェクトが見つかった時間的に最も過去の画面の直前のIピクチャから再生しても良い。これにより、Iピクチャは前述の様に他の画像を復号する必要がないため、さらにシーンチェンジ後の最初の画像の符号化に用いられる事が多いため、直前のIピクチャから再生を開始すれば簡単に再生を開始でき、さらに再生直後にシーンチェンジが発生する確率を低くすることが可能となる。
【0038】
なお、本発明の実施の形態1における動画像再生装置100の本動作フローは、動画再生中にユーザが一時停止をして、注目するオブジェクトの領域設定をしたタイミングで行われるとしたが、一時停止をせずに再生中にオブジェクトを指定したタイミングで再生を停止して動作を行っても良い。
(実施の形態2)
実施の形態2は、実施の形態1の過去方向へ1枚毎の探索が過去方向へIピクチャ毎の探索である点に特徴がある。また、実施の形態2は、実施の形態1に対して動作のフローのみ異なるため、構成に関する説明は省略する。
【0039】
図4は、本発明の実施の形態2における動画像再生装置100の動作を説明するフローチャートである。なお、本動作フローは、動画像再生中にユーザが一時停止をして、注目するオブジェクトを入力部101がタッチパネルであれば、ユーザがオブジェクトをタップすることにより、また、入力部101がリモコンであれば、ユーザが画面に表示されている枠等を移動しオブジェクトに合わせることにより、位置を決定するものとして説明する。
【0040】
まず、入力部101は、ユーザが指定した位置情報を取得し、認識部102へ出力する(ステップS10)。
【0041】
次に、認識部102は、入力部101から出力された位置情報と、復号部105から出力されている画像(表示部206で表示されている画像)を基にして、その領域にオブジェクトとして認識できる輪郭が存在するか否かを判断する(ステップS11)
次に、認識部102は、入力部101から出力された位置情報からオブジェクトとして認識できないと判断した場合(ステップS11、No)、再度ステップS1の処理を実行する。
【0042】
一方、認識部102は、入力部101から出力された位置情報からオブジェクトオブジェクトとして認識できると判断した場合(ステップS11、Yes)、オブジェクトの位置、画像を含むオブジェクト情報を生成して、探索部103へ出力する(ステップS12)。
【0043】
次に、制御部104は復号部105で直前に復号した画像に対して時間的に過去方向で直近のIピクチャの画像を、次に復号部105で復号する画像と決定する(ステップS13)。
【0044】
復号部105は制御部104が指定した画像を復号する(ステップS14)。
【0045】
探索部103は、復号部105で復号された画像と、認識部102から出力されたオブジェクト情報とに基づいて、当該画像に入力部101で指定されたオブジェクトが含まれているか探索し、探索した結果のオブジェクト有無情報を制御部104に出力し、さらにオブジェクトが存在する場合は探索部のオブジェクト情報(オブジェクトの位置)を更新する(ステップS15)。
【0046】
次に、制御部104は探索部103のオブジェクト有無情報でオブジェクトが無いと判断され、かつ復号部105の復号した画像がストリームの先頭でない場合(ステップS16、探索条件変更)、制御部104は過去方向に一枚毎の探索を行うように制御する(ステップS17)。
【0047】
また、制御部104は探索部103のオブジェクト有無情報でオブジェクトが有りと判断され、かつ復号部105の復号した画像がストリームの先頭でない場合(ステップS16、続行)、ステップS13の復号化画像の決定処理に戻り、一連の処理を繰り返す。
【0048】
また、制御部104は復号部105の復号した画像がストリームの先頭の場合(ステップS16、終了)、制御部104は再生再開箇所を最後に復号した画像(ストリームの先頭)に決定する(ステップS18)。
【0049】
過去方向に1枚毎の探索(ステップS17)では、まず制御部104は復号部105で直前に復号した画像に対して時間的に過去方向へ1枚前の画像を、次に復号部105で復号する画像と決定する(ステップS20)。
【0050】
復号部105は制御部104が指定した画像を復号する(ステップS21)。
【0051】
探索部103は、復号部105で復号された画像と、認識部102から出力されたオブジェクト情報とに基づいて、当該画像に入力部101で指定されたオブジェクトが含まれているか探索し、探索した結果のオブジェクト有無情報を制御部104に出力し、さらにオブジェクトが存在する場合は探索部のオブジェクト情報(オブジェクトの位置)を更新する(ステップS22)。
【0052】
次に、制御部104は探索部103のオブジェクト有無情報でオブジェクトが無いと判断された場合、または復号部105の復号した画像がストリームの先頭だった場合(ステップS23、YES)、制御部104は再生再開箇所を最後に復号した画像に決定する(ステップ18)。
【0053】
一方で、制御部104は探索部103のオブジェクト有無情報でオブジェクトが有りと判断された場合でかつ復号部105で復号した画像がストリームの先頭でない場合(ステップS23、NO)、ステップ20の復号化画像の決定処理に戻り、一連の処理を繰り返す。
【0054】
最後に、制御部104は再生再開箇所から通常再生を再開する(ステップ19)。
【0055】
図5は、本発明の実施の形態2における動画像再生装置100のオブジェクト探索を模式的に示した図である。上部はIピクチャ毎の探索、そしてオブジェクトが無い場合は下部の1ピクチャ毎の探索に変化することを示している。
【0056】
以上の手順によって、図5のようにオブジェクト(図5では飛行機)を過去方向に探査して、そのオブジェクトの出現箇所を特定し、そこから再生することが可能となる。その際、単純に一枚ごとに探索するよりも早く出現箇所を見つける事が可能となる。したがって、ユーザが注目するオブジェクトを含む動画をオブジェクトが出現した場面から再生することができる。
【0057】
なお、このフローは動画再生中にユーザが一時停止をして、注目するオブジェクトの領域設定をしたタイミングで行われるとしたが、一時停止をせずに再生中に領域設定したタイミングで再生を停止してフローの動作を行っても良い。
(実施の形態3)
実施の形態3は、実施の形態1の探索後の通常再生が拡大再生である点に特徴がある。
【0058】
図6は、本発明の実施の形態3における動画像再生装置200の構成を示すブロック図である。
【0059】
図6に示すとおり、動画像再生装置200は入力部201、認識部202、探索部203、制御部204、復号部205、表示部206、拡大部207、およびスイッチ208を備えている。
【0060】
入力部201は、例えば、タッチパネルの場合、ユーザがオブジェクトをタップすることで位置情報を取得し、また、リモコンの場合、画面に枠等表示させ、ユーザがその枠を移動してオブジェクトに合わせることで位置情報を取得する。これにより入力部201はユーザが指定した位置情報を取得し、認識部202へ出力する。
【0061】
認識部202は、入力部201から出力された位置情報を基にして、その領域にオブジェクトとして認識できる輪郭が存在するか否かを判断し、存在する場合は、オブジェクトの位置、画像を含むオブジェクト情報を探索部203へ出力する。
探索部203は、認識部202から出力されたオブジェクト情報をもとに復号部205で復号された画像に対してオブジェクトの探索を行い、オブジェクトの有無情報を生成する。そして、探索部203は、探索結果であるオブジェクト有無情報とオブジェクト位置情報を制御部204へ出力する。
【0062】
制御部204は、探索部203で生成されたオブジェクト有無、位置の情報を基に、復号部205に対して動画像のデコードの制御、また拡大部207に対して画像拡大の制御を行う。
【0063】
復号部205は、制御部204から出力された指示に従って、動画像の復号を行い、画像を出力する。
【0064】
表示部206は、LCDや有機EL等の表示デバイスであり、復号部205で復号された画像、または拡大部207で拡大された画像を表示する。
【0065】
拡大部207は、復号部205で復号された画像を制御部204の情報を基にオブジェクトを含む画像の一部をトリミングして所定の拡大率で拡大し新たな画像を生成する。
【0066】
スイッチ208は、表示部206において表示する画像を、復号部205で復号した画像にするか、拡大部207で拡大した画像にするかを選択する。
【0067】
図7は、本発明の実施の形態3における動画像再生装置200の動作を説明するフローチャートである。なお、本動作フローは、動画像再生中にユーザが一時停止をして、注目するオブジェクトを入力部201がタッチパネルであれば、ユーザがオブジェクトをタップすることにより、また、入力部201がリモコンであれば、ユーザが画面に表示されている枠等を移動しオブジェクトに合わせることにより、位置を決定するものとして説明する。
【0068】
まず、入力部201は、ユーザが指定した位置情報を取得し、認識部202へ出力する(ステップS24)。
【0069】
次に、認識部202は、入力部201から出力された位置情報を基にして、その領域にオブジェクトとして認識できる輪郭が存在するか否かを判断する(ステップS25)
次に、認識部202は、入力部201から出力された位置情報からオブジェクトとして認識できないと判断した場合(ステップS25、No)、再度ステップS24の処理を実行する。
【0070】
一方、認識部202は、入力部201から出力された位置情報からオブジェクトオブジェクトとして認識できると判断した場合(ステップS25、Yes)、オブジェクトの位置、画像を含むオブジェクト情報を生成して、探索部203へ出力する(ステップS26)。
【0071】
次に、制御部204は復号部205で直前に復号した画像に対して時間的に過去方向へ1枚前の画像を、次に復号部205で復号する画像と決定する(ステップS27)。
復号部205は制御部204が指定した画像を復号する(ステップS28)。
探索部203は、復号部205で復号された画像と、認識部202から出力されたオブジェクト情報とに基づいて、当該画像に入力部201で指定されたオブジェクトが含まれているか探索し、探索した結果のオブジェクト有無情報を制御部204に出力する(ステップS29)。
【0072】
次に、制御部204は探索部203のオブジェクト有無情報でオブジェクトが無いと判断された場合、または復号部205の復号した画像がストリームの先頭だった場合(ステップS30、YES)、制御部204は再生再開箇所を最後に復号した画像に決定する(ステップ31)。
【0073】
一方で、制御部204は探索部203のオブジェクト有無情報でオブジェクトが有りと判断された場合でかつ復号部205で復号した画像がストリームの先頭でない場合(ステップS30、NO)、制御部204の復号化画像の決定処理に戻り、一連の処理を繰り返す。
【0074】
再生再開箇所の決定(ステップS31)の次に、スイッチ208を拡大部207側に切り替える(ステップS32)。
【0075】
次に、制御部204で再生再開箇所を開始点として、時間的に直後の画像を一枚ずつ復号画像として決定する(ステップS33)。
【0076】
復号部205は制御部204が指定した画像を復号する(ステップS34)。
【0077】
探索部203は、復号部205で復号された画像と、認識部202から出力されたオブジェクト情報とに基づいて、当該画像に入力部201で指定されたオブジェクトが含まれているか探索し、探索した結果のオブジェクト有無情報、位置情報を制御部204に出力し、さらにオブジェクトが存在する場合は探索部のオブジェクト情報(オブジェクトの位置)を更新する(ステップS35)。
【0078】
次に、制御部204は探索部203のオブジェクト有無情報でオブジェクトが無いと判断された場合(ステップS36、NO)、スイッチ208を復号部205側に切り替えて(ステップS40)、制御部204は直前に復号した画像から通常再生を開始する(ステップ41)。
【0079】
一方で、制御部204は探索部203のオブジェクト有無情報でオブジェクトが有りと判断された場合(ステップS36、NO)、拡大に必要な拡大情報(オブジェクトの位置、所定のトリミングサイズ、所定の拡大率)を拡大部207に出力する(ステップS37)。
拡大部207は前記拡大情報を基に、復号部205で復号されている画像に対して、画像をトリミングし、拡大処理を行う(ステップS38)。
【0080】
表示部206は拡大部207で拡大処理した画像を表示する(ステップS39)
制御部204は直前に復号部205で復号した画像がストリームの終端の場合(ステップS40、YES)、処理を終了する。
【0081】
一方、制御部204は直前に復号部205で復号した画像がストリームの終端でない場合(ステップS40、NO)、復号化画像の決定処理に戻り(ステップS32)、一連の処理を繰り返す。
【0082】
以上の手順によって、ユーザが指定したオブジェクトの出現箇所から、そのオブジェクトを拡大して再生することが可能となる。
【0083】
なおステップS27で過去方向に1枚ずつとしたが、時間的に直前のIピクチャの画像でも良い。Iピクチャとは符号化方式で画面内の情報のみで符号化された画像の事である。これにより複数毎おきで探索でき、かつ復号化するのに他の画像を復号化する必要がないため、復号化と探索にかかる処理時間を短くすることが可能となる。
【0084】
またステップS27〜ステップS31の処理を実施の形態2のステップS13〜ステップS18の処理に置き換えてもよい。その際、単純に一枚ごとに探索するよりも早く出現箇所を見つける事が可能となる。
【0085】
なお、このフローは動画再生中にユーザが一時停止をして、注目するオブジェクトの領域設定をしたタイミングで行われるとしたが、一時停止をせずに再生中に領域設定したタイミングで再生を停止してフローの動作を行っても良い。
(実施の形態4)
実施の形態4は、実施の形態3の拡大再生方法が探索情報を使用して拡大する点に特徴がある。
【0086】
図8は本発明の実施の形態4における動画像再生装置300の構成を示すブロック図である。
【0087】
図8に示すとおり、動画像再生装置300は入力部301、認識部302、探索部303、制御部304、復号部305、表示部306、拡大部307、スイッチ308、および探索情報保持部309を備えている。
【0088】
入力部301は、例えば、タッチパネルの場合、ユーザがオブジェクトをタップすることで位置情報を取得し、また、リモコンの場合、画面に枠等表示させ、ユーザがその枠を移動してオブジェクトに合わせることで位置情報を取得する。これにより入力部301はユーザが指定した位置情報を取得し、認識部302へ出力する。
【0089】
認識部302は、入力部301から出力された位置情報を基にして、その領域にオブジェクトとして認識できる輪郭や色の違いが存在するか否かを判断し、存在する場合は、オブジェクトの位置、輪郭、大きさ、色等を示すオブジェクト情報を探索部303へ出力する。
【0090】
探索部303は、認識部302から出力されたオブジェクト情報をもとに復号部305で復号された画像に対してオブジェクトの探索を行い、オブジェクトの有無情報を生成する。そして、探索部303は、探索結果であるオブジェクト有無情報とオブジェクト位置情報を制御部304へ出力する。
【0091】
制御部304は、探索部303で生成されたオブジェクト有無、位置情報を、探索情報保持部309に出力、復号部305に対して動画像のデコードの制御、また拡大部307に対して画像拡大の制御を行う。
【0092】
復号部305は、制御部304から出力された指示に従って、動画像の復号を行い、画像を出力する。
【0093】
表示部306は、LCDや有機EL等の表示デバイスであり、復号部305で復号された画像、または拡大部307で拡大された画像を表示する。
【0094】
拡大部307は、復号部305で復号された画像を制御部304の情報を基にオブジェクトを含む画像の一部をトリミングして所定の拡大率で拡大し新たな画像を生成する。
【0095】
スイッチ308は、表示部306において表示する画像を、復号部305で復号した画像にするか、拡大部307で拡大した画像にするかを選択する。
【0096】
探索情報保持部309は、制御部304から出力されたオブジェクト有無、位置、大きさ等の情報を保持する。
【0097】
図9は、本発明の実施の形態4における動画像再生装置300の動作を説明するフローチャートである。なお、本動作フローは、動画像再生中にユーザが一時停止をして、注目するオブジェクトを入力部301がタッチパネルであれば、ユーザがオブジェクトをタップすることにより、また、入力部301がリモコンであれば、ユーザが画面に表示されている枠等を移動しオブジェクトに合わせることにより、位置を決定するものとして説明する。
【0098】
まず、入力部301は、ユーザが指定した位置情報を取得し、認識部302へ出力する(ステップS43)。
【0099】
次に、認識部302は、入力部301から出力された位置情報を基にして、その領域にオブジェクトとして認識できる輪郭が存在するか否かを判断する(ステップS44)
次に、認識部302は、入力部301から出力された位置情報からオブジェクトとして認識できないと判断した場合(ステップS44、No)、再度ステップS43の処理を実行する。
【0100】
一方、認識部302は、入力部301から出力された位置情報からオブジェクトオブジェクトとして認識できると判断した場合(ステップS44、Yes)、オブジェクトの位置、画像を含むオブジェクト情報を生成して、探索部303へ出力する(ステップS45)。
制御部304は復号部305で直前に復号した画像に対して時間的に過去方向へ1枚前の画像を、次に復号部305で復号する画像と決定する(ステップS46)。
【0101】
復号部305は制御部304が指定した画像を復号する(ステップS47)。
【0102】
探索部303は、復号部305で復号された画像と、認識部302から出力されたオブジェクト情報とに基づいて、当該画像に入力部301で指定されたオブジェクトが含まれているか探索し、探索した結果のオブジェクト有無情報を制御部304に出力する(ステップS48)。
【0103】
制御部304は、オブジェクト有無、位置情報を探索情報保存部309に保存する(ステップS49)。
【0104】
次に、制御部304は探索部303のオブジェクト有無情報でオブジェクトが無いと判断された場合、または復号部305の復号した画像がストリームの先頭だった場合(ステップS50、YES)、制御部304は再生再開箇所を最後に復号した画像に決定する(ステップ51)。
【0105】
一方で、制御部304は探索部303のオブジェクト有無情報でオブジェクトが有りと判断された場合でかつ復号部305で復号した画像がストリームの先頭でない場合(ステップS50、NO)、ステップS46の復号化画像の決定処理に戻り、一連の処理を繰り返す。
【0106】
再生再開箇所の決定(ステップS51)の次に、スイッチ308を拡大部307側に切り替える(ステップS52)。
【0107】
次に、制御部304で再生再開箇所を開始点として、時間的に直後の画像を一枚ずつ復号画像として決定する(ステップS53)。
復号部305は制御部304が指定した画像を復号する(ステップS54)。
制御部304は探索情報保存部309から前記復号した画像に対応するオブジェクト情報を取り出し、拡大に必要な拡大情報(オブジェクトの位置、トリミングサイズ、拡大率情報)を生成し、拡大部307に出力する(ステップS55)。
【0108】
拡大部307は前記拡大情報を基に、復号部305で復号されている画像に対して、画像をトリミングし、拡大処理を行う(ステップS56)。
【0109】
表示部306は拡大部307で拡大処理した画像を表示する(ステップS57)。
【0110】
制御部304は前記復号した画像が探索開始した画像の場合(ステップS58、YES)、制御部304で前記復号した画像の時間的に直後の画像を開始点として、時間的に直後の画像を一枚ずつ復号画像として決定する(ステップS59)。
【0111】
一方で、制御部304は前記復号した画像が探索開始した画像でない場合(ステップS58、NO)、ステップS53の復号化画像の決定処理に戻り、一連の処理を繰り返す。
復号部305は制御部304が指定した画像を復号する(ステップS60)。
【0112】
探索部303は、復号部305で復号された画像と、認識部302から出力されたオブジェクト情報とに基づいて、当該画像に入力部301で指定されたオブジェクトが含まれているか探索し、探索した結果のオブジェクト有無情報、位置情報を制御部304に出力し、さらにオブジェクトが存在する場合は探索部のオブジェクト情報(オブジェクトの位置)を更新する(ステップS61)。
【0113】
次に、制御部304は探索部203のオブジェクト有無情報でオブジェクトが無いと判断された場合(ステップS62、NO)、スイッチ308を復号部305側に切り替えて(ステップS68)、制御部304は直前に復号した画像から通常再生を開始する(ステップ68)。
【0114】
一方で、制御部304は探索部303のオブジェクト有無情報でオブジェクトが有りと判断された場合(ステップS62、NO)、拡大に必要な拡大情報(オブジェクトの位置、トリミングサイズ、拡大率情報)を拡大部307に出力する(ステップS63)。
【0115】
拡大部307は前記拡大情報を基に、復号部305で復号されている画像に対して、画像をトリミングし、拡大処理を行う(ステップS64)。
【0116】
表示部306は拡大部307で拡大処理した画像を表示する(ステップS65)。
【0117】
制御部304は直前に復号部305で復号した画像がストリームの終端の場合(ステップS66、YES)、処理を終了する。
【0118】
一方、制御部304は直前に復号部305で復号した画像がストリームの終端でない場合(ステップS66、NO)、復号化画像の決定処理に戻り(ステップS59)、一連の処理を繰り返す。
【0119】
以上の手順によって、ユーザが指定したオブジェクトの出現箇所から、そのオブジェクトを拡大して再生することが可能となるだけでなく、一度探索した情報は保持されているため、同じ画像については探索する必要がなくなる。
【0120】
なおステップS46で過去方向に1枚ずつとしたが、時間的に直前のIピクチャの画像でも良い。Iピクチャとは、符号化方式で画面内の情報のみで符号化された画像の事である。これにより複数毎おきで探索でき、かつ復号化するのに他の画像を復号化する必要がないため、復号化と探索にかかる処理時間を短くすることが可能となる。この場合、オブジェクト情報がないピクチャが発生するが、ステップS55で時間的に前後のオブジェクト情報を用いて位置、大きさの情報を算出する。例えば、オブジェクト情報がない画像のタイムスタンプTx、位置(Xx、Yx)、時間的に前のオブジェクト情報のタイムスタンプT1、位置(X1、Y2)、時間的に後のオブジェクト情報のタイムスタンプT2、位置(X2、Y2)とする。この場合、水平方向の位置は(T2−T1):(Tx−T1)= (X2−X12):(Xx−X1)として、未知のXxを算出する。このように全て線形的に変化していると仮定して、同様にYxも算出する。
【0121】
なお、ステップS51で再生再開箇所をオブジェクトが見つかった時間的に最後 の画面としたが、それがコンテンツ(ストリーム)の先頭でない場合は、オブジェクトが見つかった時間的に最後の画面の複数枚前の画像から再生しても良い。これによりオブジェクトの出現するシーンを表示することができる。この場合、拡大に使用するオブジェクト情報は最後に見つかった画面のものとする。またオブジェクトが見つかった時間的に最後の画面の直前のIピクチャから再生しても良い。Iピクチャは前述の様に他の画像を復号する必要がないため、さらにシーンチェンジ後の最初の画像の符号化に用いられる事が多いため、直前のIピクチャから再生を開始すれば簡単に再生を開始でき、さらに再生直後にシーンチェンジが発生する確率を低くすることが可能となる。
【0122】
なお、このフローは動画再生中にユーザが一時停止をして、注目するオブジェクトの領域設定をしたタイミングで行われるとしたが、一時停止をせずに再生中に領域設定したタイミングで再生を停止してフローの動作を行っても良い。
(実施の形態5)
実施の形態5は、実施の形態4における過去方向へ1枚毎の探索が過去方向へIピクチャ毎の探索である点に特徴がある。また、実施の形態5は、実施の形態4に対して動作のフローのみ異なるため、構成に関する説明は省略する。
【0123】
図10は、本発明の実施の形態5における過去方向へIピクチャ毎の探索の動作を説明するフローチャートである。実施の形態4で説明した図9のフローチャートと比べ、ステップS69、ステップS70、ステップS71が異なる。その他のステップについては変わらないため重複した説明は省略する。
【0124】
ステップS69においては、制御部304は、復号化対象をオブジェクト指定時点から過去方向にIピクチャ毎に設定する。
【0125】
ステップS70においては、制御部304は、探索部303のオブジェクト有無情報でオブジェクトが無いと判断され、かつ復号部305の復号した画像がストリームの先頭でない場合(ステップS16、探索条件変更)、制御部304は、過去方向に一枚毎の探索を行うように制御する(ステップS71)。
【0126】
また、制御部304は、探索部303のオブジェクト有無情報でオブジェクトが有りと判断され、かつ復号部305の復号した画像がストリームの先頭でない場合(ステップS70、続行)、ステップS69の復号化画像の決定処理に戻り、一連の処理を繰り返す。
【0127】
また、制御部304は、復号部305の復号した画像がストリームの先頭の場合(ステップS70、終了)、再生再開箇所を最後に復号した画像(ストリームの先頭)に決定する(ステップS51)。
【0128】
図11は、本発明の実施の形態5における過去方法の一枚毎の探索の動作のうち、ステップS71について詳細に説明するフローチャートである。
【0129】
制御部304は、探索部303に探索を行わせるために復号部305で復号対象となる画像を直前に復号した画像に対して時間的に過去方向へ1枚変更した画像とする(ステップS72)。
【0130】
復号部305は、制御部304が指定した画像を復号する(ステップS73)。
【0131】
探索部303は、復号部305で復号された画像と、認識部302から出力されたオブジェクト情報とに基づいて、当該画像に入力部301で指定されたオブジェクトが含まれているか探索し、探索した結果のオブジェクト有無情報を制御部304に出力する(ステップS74)。
【0132】
制御部304は、オブジェクト有無、位置情報を探索情報保存部309に保存する(ステップS75)。
【0133】
次に、制御部304は、探索部303のオブジェクト有無情報でオブジェクトが無いと判断された場合、または復号部305の復号した画像がストリームの先頭だった場合(ステップS76、YES)、再生再開箇所を最後に復号した画像(ストリームの先頭)に決定する(ステップS51)。
【0134】
一方で、制御部304は、探索部303のオブジェクト有無情報でオブジェクトが有りと判断された場合でかつ復号部305で復号した画像がストリームの先頭でない場合(ステップS76、NO)、ステップS72の復号化画像の決定処理に戻り、一連の処理を繰り返す。
【0135】
ステップS77について、制御部304はオブジェクト情報が存在する画像の場合は、探索情報保存部309から前記復号した画像に対応するオブジェクト情報を取り出し、拡大に必要な拡大情報(オブジェクトの位置、トリミングサイズ、拡大率情報)を生成し、オブジェクト情報が存在しない画像の場合は、時間的に前後のオブジェクト情報を用いて位置、大きさの情報を算出する。例えば、オブジェクト情報がない画像のタイムスタンプTx、位置(Xx、Yx)、時間的に前のオブジェクト情報のタイムスタンプT1、位置(X1、Y2)、時間的に後のオブジェクト情報のタイムスタンプT2、位置(X2、Y2)とする。この場合、水平方向の位置は(T2−T1):(Tx−T1)= (X2−X1):(Xx−X1)として、未知のXxを算出する。このように全て線形的に変化していると仮定して、同様にYxも算出する。
【0136】
以上の手順によって、図5のようにオブジェクト(図5では飛行機)を過去方向に探査して、そのオブジェクトの出現箇所を特定し、そこから拡大再生することが可能となる。その際、単純に一枚ごとに探索するよりも早く出現箇所を見つける事が可能となる。
【0137】
(実施の形態6)
さらに、上記各実施の形態で示した動画像符号化方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【0138】
図12は、上記各実施の形態の動画像符号化方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
【0139】
図12(a)は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示しており、図12(b)は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示している。ている。
フレキシブルディスクFDはケースF内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックTrが形成され、各トラックは角度方向に16のセクタSeに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクFD上に割り当てられた領域に、上記プログラムが記録されている。
【0140】
また、図12(c)は、フレキシブルディスクFDに上記プログラムの記録再生を行うための構成を示す。動画像符号化方法を実現する上記プログラムをフレキシブルディスクFDに記録する場合は、コンピュータシステムCsから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより動画像符号化方法を実現する上記動画像符号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【0141】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ICカード、ROMカセット等、プログラムを記録できるものであれば同様に実施することができる。
【0142】
なお、上記各実施の形態で示した動画像符号化方法を実現するための処理を集積回路であるLSIとして実現してもよい。これらは一部または全てを含むように1チップ化されてもよい。
【0143】
ここではLSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと称されることもある。
【0144】
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現しても良い。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩または派生する別技術によりLSIなどに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
【産業上の利用可能性】
【0145】
本発明にかかる動画像再生装置によれば、ユーザが指定した動画像内のオブジェクトが画面内に出現する時点まで遡って再生するため、ユーザが注目するオブジェクトが映っている動画像を出現する場面から提供することができ、ユーザが記録されてある映像を再生することのあるテレビ、レコーダー、携帯電話、デジタルビデオカメラ等で有用である。
【符号の説明】
【0146】
101、201、301 入力部
102、202、302 認識部
103、203、303 探索部
104、204、304 制御部
105、205、305 復号部
106、206、306 表示部
207、307 拡大部
208、308 スイッチ
309 探索情報保持部

【特許請求の範囲】
【請求項1】
動画像を表示する表示部と、
前記表示部に表示された動画像から特定のオブジェクトを指定する入力部と、
前記入力部で特定のオブジェクトが指定されたとき、前記オブジェクトが前記表示部に出現する再生位置まで遡って、前記動画像を再生させる制御部と、
を具備する動画像再生装置。
【請求項2】
動画像をデコードする復号部と、
前記入力部で指定されたオブジェクトを認識する認識部と、
前記認識部で認識されたオブジェクト情報と、前記復号部から出力された画像とに基づき、前記画像に前記オブジェクトが存在するか否かを探索する探索部と、をさらに備え、
前記制御部は、前記入力部で前記オブジェクトが指定された画像を開始点として、時間的に遡って、前記復号部で動画像をデコードさせ、前記探索部に前記復号部でデコードした画像に対して前記オブジェクトを探索させ、前記オブジェクトが検出されなかった場合に、所定の画像から再生を開始させることを特徴とする請求項1記載の動画像再生装置。
【請求項3】
画像をトリミングして拡大画像を生成する拡大部と、をさらに備え、
前記制御部は、前記探索部で前記オブジェクトが検出されなかった場合、所定の画像から、前記拡大部で生成された前記オブジェクトの拡大画像の再生を開始させることを特徴とする請求項2記載の動画像再生装置。
【請求項4】
前記制御部は、前記探索部で所定の画像に前記オブジェクトが検出されなかった場合、前記所定の画像から、前記探索部で前記オブジェクトを探索し、前記拡大部で前記オブジェクトの拡大画像を生成して、前記拡大画像を再生させることを特徴とする請求項3記載の動画像再生装置。
【請求項5】
前記探索部の探索結果を示す探索情報を保持する探索情報保持部と、をさらに備え、
前記制御部は、前記探索部で所定の画像に前記オブジェクトが検出されなかった場合、前記所定の画像から、前記探索情報を基に前記拡大部で前記オブジェクトの拡大画像を生成して、前記拡大画像を再生させることを特徴とする請求項3記載の動画像再生装置。
【請求項6】
前記所定の画像は、前記探索部で前記オブジェクトが検出された場合に、時間的に最も過去の画像であることを特徴とする請求項2乃至請求項5のうちいずれか一項に記載の動画像再生装置。
【請求項7】
前記所定の画像は、前記探索部で前記オブジェクトが検出された場合に、時間的に最も過去の画像の複数枚前の画像であることを特徴とする請求項2乃至請求項5のうちいずれか一項に記載の動画像再生装置。
【請求項8】
前記所定の画像は、前記探索部で前記オブジェクトが検出された場合に、時間的に最も過去の画像の直前のIピクチャとすることを特徴とする請求項2乃至請求項5のうちいずれか一項に記載の動画像再生装置。
【請求項9】
前記制御部は、前記探索部で前記オブジェクトが検出された場合に、時間的に直前の画像を前記復号部に復号させ、探索を続行させることを特徴とする請求項2乃至請求項5のうちいずれか一項に記載の動画像再生装置。
【請求項10】
前記制御部は、前記探索部で前記オブジェクトが検出された場合に、時間的に直前のIピクチャの画像を復号させて探索を続行し、前記Iピクチャが検出されなかった場合は、前記オブジェクトが検出されている時間的に最も過去の画像の時間的に直前の画像を復号させて探索を続行させることを特徴とする請求項2乃至請求項5のうちいずれか一項に記載の動画像再生装置。
【請求項11】
前記制御部は、前記探索部情報保持部に探索情報が保持されていない場合は、前記拡大部で所定の領域を拡大させることを特徴とする請求項5記載の動画像再生装置。
【請求項12】
前記所定の領域は、時間的に前後の探索情報から前記オブジェクトの位置および大きさを線形的に補間し、前記補間された位置および大きさの情報を基に前記オブジェクトが含まれると推定される領域であることを特徴とする請求項11記載の動画像再生装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate


【公開番号】特開2011−23867(P2011−23867A)
【公開日】平成23年2月3日(2011.2.3)
【国際特許分類】
【出願番号】特願2009−165649(P2009−165649)
【出願日】平成21年7月14日(2009.7.14)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】