動画再生装置、動画再生方法及びプログラム
【課題】 動画再生時に注目シーンを素早く見つけ出す。
【解決手段】 動画を再生する再生手段(11)と、前記再生手段で再生中の動画フレーム内に所定の領域を設定する設定手段(19)と、前記領域内に所定の被写体が含まれているか否かを検出する検出手段(9)と、前記検出手段による検出タイミングに応じて第1の再生速度と第2の再生速度を切り換え選択する選択手段(10)と、前記選択手段の選択結果に従って前記再生手段の再生速度を制御する制御手段(10)とを備える。
【解決手段】 動画を再生する再生手段(11)と、前記再生手段で再生中の動画フレーム内に所定の領域を設定する設定手段(19)と、前記領域内に所定の被写体が含まれているか否かを検出する検出手段(9)と、前記検出手段による検出タイミングに応じて第1の再生速度と第2の再生速度を切り換え選択する選択手段(10)と、前記選択手段の選択結果に従って前記再生手段の再生速度を制御する制御手段(10)とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画再生装置、動画再生方法及びプログラムに関し、詳細には、動画再生時に注目シーンを素早く見つけ出すことができる動画再生装置、動画再生方法及びプログラムに関する。
【背景技術】
【0002】
スポーツの練習に動画撮影を取り入れることがよく行われている。たとえば、ゴルフのスイングを動画で撮影し、その場で映像を再生して確認することが行われている。スイングの善し悪しを自分の目で見て判断し、効果的な練習を行うことができる。
【0003】
ところで、被写体自らが撮影を行う場合は、まず、(i)カメラのそばで撮影の開始操作を行い、(ii)撮影ポジションに戻って所要の動き(ゴルフであればスイング)を行った後、(iii)再びカメラのそばで撮影の停止操作を行う必要がある。この場合、動画の前後に無駄な撮影シーン・・・・(i)〜(ii)のシーンと(ii)〜(iii)のシーン・・・・が入ってしまうという不都合がある。
【0004】
かかる不都合を回避するために、たとえば、下記の特許文献1には、撮影中の映像の所定の領域に所定の被写体が含まれているか否かを判定し、その判定結果が肯定の場合に、映像の記録を行うという技術が開示されている。
【0005】
これによれば、たとえば、先のゴルフ練習を例にすれば、撮影範囲にゴルフスイングを行う被写体が入ったときに映像の記録が開始されるから、無駄なシーンを極力含まないゴルフ練習の動画記録を行うことができる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2010−252141号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1の技術は動画の「撮影時」のものであって、動画の「再生時」を考慮したものではない。このため、たとえば、動画の注目シーンを再生したい場合には、早送りなどの面倒な操作を行わなければならないという問題点がある。
【0008】
そこで、本発明は、動画再生時に注目シーンを素早く見つけ出せるようにすることを目的とする。
【課題を解決するための手段】
【0009】
本発明は、動画を再生する再生手段と、前記再生手段で再生中の動画フレーム内に所定の領域を設定する設定手段と、前記領域内に所定の被写体が含まれているか否かを検出する検出手段と、前記検出手段による検出タイミングに応じて第1の再生速度と第2の再生速度を切り換え選択する選択手段と、前記選択手段の選択結果に従って前記再生手段の再生速度を制御する制御手段とを備えたことを特徴とする。
【発明の効果】
【0010】
本発明によれば、動画再生時に注目シーンを素早く見つけ出すことができる。
【図面の簡単な説明】
【0011】
【図1】実施形態に係る動画再生装置の構成図である。
【図2】動画再生装置1の機能模式図である。
【図3】動画再生装置1の動作フローを示す図である。
【図4】動画再生装置1の作用説明図である。
【図5】実用上好ましい実施形態の説明図である。
【図6】注目領域17と被写体指定枠18の設定機能を加えた動画再生装置1の機能模式図である。
【図7】実施形態の他の例を示す図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態を、図面を参照しながら説明する。
図1は、実施形態に係る動画再生装置の構成図である。この図において、動画再生装置1は、動画データ2を取り込む動画入力部3と、動画再生時に必要な各種操作を行うための操作部4と、コンピュータで構成された制御部5と、液晶ディスプレイ等の表示部6と、その表示部6の画面を覆って取り付けられたタッチパネル7とを有する。なお、表示部6とタッチパネル7は、動画再生装置1の外部に位置する外付けであってもよい。
【0013】
制御部5は、CPU5aやROM5b及びRAM5c並びに不図示の周辺回路からなり、ROM5bに格納されている制御プログラム等のソフトウェアをRAM5cにロードしてCPU5aで実行することによって、この動画再生装置1の各部の動作を統括制御するプログラム制御方式の制御要素である。
【0014】
なお、図示の動画再生装置1は、ビデオプレイヤーのように単体で動作するもの(以下、単体型)であってもよく、または、任意の電子機器に組み込まれたもの(以下、組み込み型)であってもよい。任意の電子機器としては、たとえば、デジタルビデオカメラ、あるいは、動画撮影機能付きのデジタルカメラや携帯電話機などが考えられるが、これらに限定されない。動画データを再生表示できるものであればよく、たとえば、パーソナルコンピュータ(据え置き型や携帯型を問わない)などであってもよい。
【0015】
図2は、動画再生装置1の機能模式図である。この図において、動画再生装置1は、制御部5のROM5bに格納されたソフトウェアと、CPU5a等のハードウェアとの有機的結合によって実現されるいくつかの機能を有する。
一の機能は、任意の動画データ(図1の動画データ2参照)を入力する「動画入力」(図1の動画入力部3に相当)である。以下、この機能を動画入力部8ということにすると、この動画入力部8は、予め他の機器で撮影された動画データ(動画ファイルともいう)を媒体受け渡しまたはケーブルや無線で取り込んで入力し(単体型の場合)、あるいは、不図示のカメラ部で撮影・記録した動画データを入力する(組み込み型の場合)。
【0016】
二の機能は、動画データの中から所定の被写体を検出する機能である。この機能を被写体検出部9ということにする。被写体検出部9は、主に制御部5においてソフトウェアで実現される機能である。所定の被写体は、たとえば、人物の顔であってもよい。人物の顔とする場合は公知の顔認識技術を応用することができる。
【0017】
三の機能は、動画再生時の再生速度を変更する機能である。この機能を再生速度変更部10ということにする。被写体検出部9と同様に、この再生速度変更部10も主に制御部5においてソフトウェアで実現される機能である。
再生速度とは、動画を構成する単位画像(フレーム又はコマという)を単位時間(一般的には1秒)あたり何枚再生するかをいう。標準の再生速度を「等速」といい、等速再生は動画の記録速度(一般的には1秒当たり30フレーム)と同じ速度で再生することをいう。また、等速のn倍(ただし、n>1)の速度で再生することを「早送り」といい、その逆に、等速のn倍(ただし、n<1)の速度で再生することを「スロー」という。あるいは、任意のシーンで再生速度を0にすることを「一時停止」という。
再生速度変更部10は、このように、「等速」、「早送り」、「スロー」または「一時停止」の各々の再生速度に変更可能であるが、ここでは、説明を簡単にするために、「等速」と「早送り」の二つの再生速度に変更可能であって、且つ、被写体検出部9で所定の被写体が検出されない場合には「早送り」の再生速度に、また、被写体検出部9で所定の被写体が検出された場合には「等速」の再生速度に変更するものとする。
つまり、所定の被写体が検出されない→「早送り」、所定の被写体が検出された→「等速」に設定するものとする。
【0018】
四の機能は、動画入力部8に入力された動画データを所定の再生速度(早送り又は等速)で再生する機能であり、以下、この機能を動画再生部11ということにすると、この動画再生部11は、再生速度変更部10の出力(早送り又は等速)に応じた再生速度で動画データを再生表示する。
【0019】
図3は、動画再生装置1の動作フローを示す図である。このフローにおいて、動画再生装置1は、まず、動画データを取り込み(ステップS1)、動画再生をスタートし(ステップS2)、その動画中に所定の被写体が含まれているか否かを再生フレームごとに判定する(ステップS3)。
【0020】
そして、動画中に所定の被写体が含まれていなければ(ステップS3の“NO”判定)、前記の「早送り」に相当する第1の再生速度に変更(ステップS4)して、再びステップS3に戻り、一方、動画中に所定の被写体が含まれていれば(ステップS3の“YES”判定)、前記の「等速」に相当する第2の再生速度に変更(ステップS5)して、動画の終わり(終端)であるか否かを判定する(ステップS6)。
【0021】
次いで、動画の終わりでなければ、再びステップS3に戻り、終わりであれば、動画再生をストップ(ステップS7)してから、フローを終了する。
【0022】
図4は、動画再生装置1の作用説明図である。この図において、横軸の左端から右端に向かって一人の人物12が歩いている情景を考え、その情景を動画撮影することにする。ただし、動画の撮影範囲13は、横軸の中央付近に描かれている点線の横長矩形枠内とする。動画の撮影開始は横軸の左端付近、撮影終了は横軸の右端付近である。
このような場合において、動画の撮影範囲13は横軸の中央付近であるから、動画データの前1/3部分(ア部)と後1/3部分(ウ部)に人物12は写っていない。つまり、人物12は中央の1/3部分(イ部)にしか写っていないから、かかる動画データを再生した場合に、(ア部)と(ウ部)の再生は無駄である。このような場合、一般的には早送りなどの操作を行うが、手間が掛かって面倒である。
【0023】
そこで、実施形態の動画再生装置1では、動画データに所定の被写体(図4の人物12)が含まれていない場合には再生速度を第1の再生速度とし、被写体が含まれている場合には再生速度を第2の再生速度とし、各々の再生速度を「第1の再生速度→早送り、第2の再生速度→等速」としたものであり、これにより、無駄な再生に要する時間を少なくして、注目シーン(イ部)を素早く見つけ出すことができるようにしたものである。
【0024】
以上のとおり、実施形態における技術思想の原理は、動画データの再生時に、その動画データに所定の被写体が含まれていなければ第1の再生速度とする一方、その動画データに所定の被写体が含まれていれば第2の再生速度とすることを基本とし、好ましくは、第1の速度を早送りに相当する再生速度、第2の再生速度を等速に相当する再生速度としたものであり、これにより、前記の課題、すなわち、無駄な再生に要する時間を少なくして、注目シーンを素早く見つけ出すことができるようにしたものであるが、これに限らず、実用性の観点からは、たとえば、以下のようにしてもよい。
【0025】
図5は、実用上好ましい実施形態の説明図である。たとえば、ゴルフ練習において、クラブヘッド14にボール15が当たる瞬間(インパクトの瞬間)はスイング確認の重要な一つのポイントである。一般的にはスイング全体の動画を再生中にインパクトの瞬間でスローや一時停止の操作を行っているが、操作が面倒で使い勝手が悪い。
そこで、インパクトの瞬間を自動的に検出して所望の再生速度に変更できる仕組みを提案する。まず、ユーザはタッチパネル7を操作して表示部6の画面16の任意位置に注目領域17を設定する。注目領域17とは、その領域に被写体が入ったときに再生速度を所定の速度に変更するための検出窓である。
今、被写体をクラブヘッド14とし、そのクラブヘッド14が注目領域17に入るまでの再生速度を第1の再生速度、そのクラブヘッド14が注目領域17に入った後の再生速度を第2の再生速度とするとともに、「第1の再生速度→早送り、第2の再生速度→等速」とする。
このようにすると、(a)のトップスイングから(b)のインパクトまでが早送り再生となり、(b)のインパクトから(c)のフォロースルーまでが等速再生となるので、(a)〜(b)の無駄な再生に要する時間を少なくし、且つ、(b)の注目シーンを素早く頭出しして、(b)〜(c)のスイング確認を行うことができる。
【0026】
なお、以上の説明では、所定の被写体をクラブヘッド14としているため、このクラブヘッド14を画像認識して検出するための仕組みが必要である。そのような仕組みとしては、たとえば、(a)に示すように、クラブヘッド(この図ではクラブヘッドとしているが、これは一例に過ぎない。任意の被写体部分であればよい。)を指定するための被写体指定枠18を設定することが考えられる。被写体指定枠18に含まれる画像(ここではクラブヘッド14)を基準画像として登録し、その基準画像に対応する画像をフレームごとに検出して追尾していけばよい。このようにすれば、(a)のトップスイングから(c)のフォロースルーにかけて被写体であるクラブヘッド14を検出・追尾することができ、クラブヘッド14が注目領域17に入った後は所定の再生速度に変更することができる。
また、クラブヘッド以外の任意の被写体部分に被写体指定枠18を設定することで任意の被写体部分を追尾対象とすることが可能となる。
また、ゴルフスイングの場合には、インパクトの後だけでなくインパクトの前後の所定時間が重要であり、このような場合に対応するため、動画再生中に被写体部分の検出を行うタイミングと再生された画像を表示するタイミングとをずらし、検出タイミングの前後の所定時間だけ再生速度に変更する(検出タイミングから過去に遡って再生速度に変更する)ようにしてもよい。
この場合、前の所定時間と後の所定時間とをユーザーが個別に設定してもよい。
また、クラブヘッド14の検出・追尾および注目領域17に入ったか否かを検出するための処理は、クラブヘッド14の位置座標を逐次検出し、逐次検出される位置座標の変化を追尾し、追尾中の位置座標が注目領域17の領域座標内に入ったか否かを検出するが、次のように追尾動作を含まなくてもよい。
つまり、注目領域17の領域座標内だけを逐次画像認識して、クラブヘッド14が注目領域17の領域座標内に入ったか否かを検出するようにしてもよい。
【0027】
図6は、注目領域17と被写体指定枠18の設定機能を加えた動画再生装置1の機能模式図である。この図において、前出の図2との相違は、いずれも、主に制御部5においてソフトウェアで実現される注目領域の設定機能(以下、注目領域設定部19という)と、被写体指定枠の設定機能(以下、被写体指定枠設定部20という)とを加えた点にある。注目領域設定部19は、タッチパネル7に対して行われるユーザのタッチ操作を検出して表示部6の画面16のタッチ位置に注目領域17(図5参照)を設定し、また、被写体指定枠設定部20は、同様にしてユーザのタッチ操作を検出して表示部6の画面16のタッチ位置に被写体指定枠18(図5参照)を設定する。被写体検出部9は、注目領域17に所定の被写体が含まれているか否かを検出し、または、被写体指定枠18で被写体が指定されている場合は、その被写体を所定の被写体として検出し追尾する。
【0028】
また、以上の実施形態では、注目領域17と被写体指定枠18とを別々に設定しているが、以下のようにしてもよい。
図7は、実施形態の他の例を示す図である。この図において、ボール15の近くにクラブヘッド14を構えるスタンス状態では、注目領域17の領域内にクラブヘッド14が位置しているので、注目領域17の設定と同時に、その注目領域17の領域内に位置しているクラブヘッド14に対する被写体指定枠18を設定するようにしてもよい。このようにすれば、注目領域17の設定と同時に被写体指定枠18を設定でき、設定操作を簡素化できるので好ましい。
【0029】
また、以上の説明では、所定の被写体が注目領域17に入るまでの間、再生速度を第1の再生速度に変更するとし、その第1の再生速度を早送りに相当する“一定の再生速度”としているが、これに限らず、たとえば、所定の被写体の動き速度に合わせて第1の再生速度を“可変設定”するようにしてもよい。つまり、第1の再生速度の目的は、無駄な再生に要する時間を少なくすることにあるので、所定の被写体の動き速度が遅いほど、第1の再生速度を速くする(スキップするフレーム数が多くなるようにする)ようにしてもよい。
また、注目シーンをスロー再生したい場合においては、第1の再生速度を等速とし、指定した被写体部分が注目領域17に入った後にスローに変更するようにしてもよい。
【0030】
なお、以上の説明では、「所定の被写体が注目領域17に入ったときに再生速度を変更する」としているが、これに限定されない。動画再生の開始時に、すでに注目領域17に所定の被写体が入っている場合には当該被写体が注目領域17から外れるのを待ってから、前記の再生速度の変更、つまり、「所定の被写体が注目領域17に入ったときに再生速度を変更する」という動作を行うようにしてもよい。
【0031】
以上、本発明のいくつかの実施形態を説明したが、この発明は、これらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本件出願の特許請求の範囲に記載された発明を付記する。
【0032】
(付記1)
請求項1に記載の発明は、
動画を再生する再生手段と、
前記再生手段で再生中の動画フレーム内に所定の領域を設定する設定手段と、
前記領域内に所定の被写体が含まれているか否かを検出する検出手段と、
前記検出手段による検出タイミングに応じて第1の再生速度と第2の再生速度を切り換え選択する選択手段と、
前記選択手段の選択結果に従って前記再生手段の再生速度を制御する制御手段と
を備えたことを特徴とする動画再生装置である。
【0033】
(付記2)
請求項2に記載の発明は、
前記第1の再生速度は早送りに相当する再生速度であり、前記第2の再生速度は等速再生またはスロー再生もしくは一時停止に相当する再生速度であることを特徴とする請求項1に記載の動画再生装置である。
【0034】
(付記3)
請求項3に記載の発明は、
前記選択手段は、前記検出手段による検出タイミングを含む所定期間は前記第2の再生速度を選択し、それ以外の期間は前記第1の再生速度を選択することを特徴とする請求項2に記載の動画再生装置である。
【0035】
(付記4)
請求項4に記載の発明は、
さらに、前記被写体を指定するための指定手段を備えたことを特徴とする請求項1乃至3のいずれかに記載の動画再生装置である。
【0036】
(付記5)
請求項5に記載の発明は、
さらに、前記被写体を追尾する追尾手段を備えたことを特徴とする請求項1乃至4のいずれかに記載の動画再生装置である。
【0037】
(付記6)
請求項6に記載の発明は、
前記追尾手段によって追尾されている被写体の動き速度に合わせて前記第1の再生速度を可変設定する可変手段を備えたことを特徴とする請求項5に記載の動画再生装置である。
【0038】
(付記7)
請求項7に記載の発明は、
前記検出手段は、前記再生手段による動画再生の開始時に、前記領域内に所定の被写体が含まれている場合には当該被写体が前記領域から外れるのを待ってから、前記領域内に所定の被写体が含まれているか否かを検出する検出動作を実行することを特徴とする請求項1乃至6のいずれかに記載の動画再生装置である。
【0039】
(付記8)
請求項8に記載の発明は、
動画を再生する再生工程と、
前記再生工程で再生中の動画フレーム内に所定の領域を設定する設定工程と、
前記領域内に所定の被写体が含まれているか否かを検出する検出工程と、
前記検出工程による検出タイミングに応じて第1の再生速度と第2の再生速度を切り換え選択する選択工程と、
前記選択工程の選択結果に従って前記再生工程の再生速度を制御する制御工程と
を含むことを特徴とする動画再生方法である。
【0040】
(付記9)
請求項9に記載の発明は、
動画再生装置のコンピュータを、
動画を再生する再生手段、
前記再生手段で再生中の動画フレーム内に所定の領域を設定する設定手段、
前記領域内に所定の被写体が含まれているか否かを検出する検出手段、
前記検出手段による検出タイミングに応じて第1の再生速度と第2の再生速度を切り換え選択する選択手段、
前記選択手段の選択結果に従って前記再生手段の再生速度を制御する制御手段
として機能させることを特徴とするプログラムである。
【符号の説明】
【0041】
1 動画再生装置
9 被写体検出部(検出手段)
10 再生速度変更部(選択手段、制御手段、可変手段)
11 動画再生部(再生手段)
19 注目領域設定部(設定手段)
20 被写体指定枠設定部(指定手段)
【技術分野】
【0001】
本発明は、動画再生装置、動画再生方法及びプログラムに関し、詳細には、動画再生時に注目シーンを素早く見つけ出すことができる動画再生装置、動画再生方法及びプログラムに関する。
【背景技術】
【0002】
スポーツの練習に動画撮影を取り入れることがよく行われている。たとえば、ゴルフのスイングを動画で撮影し、その場で映像を再生して確認することが行われている。スイングの善し悪しを自分の目で見て判断し、効果的な練習を行うことができる。
【0003】
ところで、被写体自らが撮影を行う場合は、まず、(i)カメラのそばで撮影の開始操作を行い、(ii)撮影ポジションに戻って所要の動き(ゴルフであればスイング)を行った後、(iii)再びカメラのそばで撮影の停止操作を行う必要がある。この場合、動画の前後に無駄な撮影シーン・・・・(i)〜(ii)のシーンと(ii)〜(iii)のシーン・・・・が入ってしまうという不都合がある。
【0004】
かかる不都合を回避するために、たとえば、下記の特許文献1には、撮影中の映像の所定の領域に所定の被写体が含まれているか否かを判定し、その判定結果が肯定の場合に、映像の記録を行うという技術が開示されている。
【0005】
これによれば、たとえば、先のゴルフ練習を例にすれば、撮影範囲にゴルフスイングを行う被写体が入ったときに映像の記録が開始されるから、無駄なシーンを極力含まないゴルフ練習の動画記録を行うことができる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2010−252141号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1の技術は動画の「撮影時」のものであって、動画の「再生時」を考慮したものではない。このため、たとえば、動画の注目シーンを再生したい場合には、早送りなどの面倒な操作を行わなければならないという問題点がある。
【0008】
そこで、本発明は、動画再生時に注目シーンを素早く見つけ出せるようにすることを目的とする。
【課題を解決するための手段】
【0009】
本発明は、動画を再生する再生手段と、前記再生手段で再生中の動画フレーム内に所定の領域を設定する設定手段と、前記領域内に所定の被写体が含まれているか否かを検出する検出手段と、前記検出手段による検出タイミングに応じて第1の再生速度と第2の再生速度を切り換え選択する選択手段と、前記選択手段の選択結果に従って前記再生手段の再生速度を制御する制御手段とを備えたことを特徴とする。
【発明の効果】
【0010】
本発明によれば、動画再生時に注目シーンを素早く見つけ出すことができる。
【図面の簡単な説明】
【0011】
【図1】実施形態に係る動画再生装置の構成図である。
【図2】動画再生装置1の機能模式図である。
【図3】動画再生装置1の動作フローを示す図である。
【図4】動画再生装置1の作用説明図である。
【図5】実用上好ましい実施形態の説明図である。
【図6】注目領域17と被写体指定枠18の設定機能を加えた動画再生装置1の機能模式図である。
【図7】実施形態の他の例を示す図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態を、図面を参照しながら説明する。
図1は、実施形態に係る動画再生装置の構成図である。この図において、動画再生装置1は、動画データ2を取り込む動画入力部3と、動画再生時に必要な各種操作を行うための操作部4と、コンピュータで構成された制御部5と、液晶ディスプレイ等の表示部6と、その表示部6の画面を覆って取り付けられたタッチパネル7とを有する。なお、表示部6とタッチパネル7は、動画再生装置1の外部に位置する外付けであってもよい。
【0013】
制御部5は、CPU5aやROM5b及びRAM5c並びに不図示の周辺回路からなり、ROM5bに格納されている制御プログラム等のソフトウェアをRAM5cにロードしてCPU5aで実行することによって、この動画再生装置1の各部の動作を統括制御するプログラム制御方式の制御要素である。
【0014】
なお、図示の動画再生装置1は、ビデオプレイヤーのように単体で動作するもの(以下、単体型)であってもよく、または、任意の電子機器に組み込まれたもの(以下、組み込み型)であってもよい。任意の電子機器としては、たとえば、デジタルビデオカメラ、あるいは、動画撮影機能付きのデジタルカメラや携帯電話機などが考えられるが、これらに限定されない。動画データを再生表示できるものであればよく、たとえば、パーソナルコンピュータ(据え置き型や携帯型を問わない)などであってもよい。
【0015】
図2は、動画再生装置1の機能模式図である。この図において、動画再生装置1は、制御部5のROM5bに格納されたソフトウェアと、CPU5a等のハードウェアとの有機的結合によって実現されるいくつかの機能を有する。
一の機能は、任意の動画データ(図1の動画データ2参照)を入力する「動画入力」(図1の動画入力部3に相当)である。以下、この機能を動画入力部8ということにすると、この動画入力部8は、予め他の機器で撮影された動画データ(動画ファイルともいう)を媒体受け渡しまたはケーブルや無線で取り込んで入力し(単体型の場合)、あるいは、不図示のカメラ部で撮影・記録した動画データを入力する(組み込み型の場合)。
【0016】
二の機能は、動画データの中から所定の被写体を検出する機能である。この機能を被写体検出部9ということにする。被写体検出部9は、主に制御部5においてソフトウェアで実現される機能である。所定の被写体は、たとえば、人物の顔であってもよい。人物の顔とする場合は公知の顔認識技術を応用することができる。
【0017】
三の機能は、動画再生時の再生速度を変更する機能である。この機能を再生速度変更部10ということにする。被写体検出部9と同様に、この再生速度変更部10も主に制御部5においてソフトウェアで実現される機能である。
再生速度とは、動画を構成する単位画像(フレーム又はコマという)を単位時間(一般的には1秒)あたり何枚再生するかをいう。標準の再生速度を「等速」といい、等速再生は動画の記録速度(一般的には1秒当たり30フレーム)と同じ速度で再生することをいう。また、等速のn倍(ただし、n>1)の速度で再生することを「早送り」といい、その逆に、等速のn倍(ただし、n<1)の速度で再生することを「スロー」という。あるいは、任意のシーンで再生速度を0にすることを「一時停止」という。
再生速度変更部10は、このように、「等速」、「早送り」、「スロー」または「一時停止」の各々の再生速度に変更可能であるが、ここでは、説明を簡単にするために、「等速」と「早送り」の二つの再生速度に変更可能であって、且つ、被写体検出部9で所定の被写体が検出されない場合には「早送り」の再生速度に、また、被写体検出部9で所定の被写体が検出された場合には「等速」の再生速度に変更するものとする。
つまり、所定の被写体が検出されない→「早送り」、所定の被写体が検出された→「等速」に設定するものとする。
【0018】
四の機能は、動画入力部8に入力された動画データを所定の再生速度(早送り又は等速)で再生する機能であり、以下、この機能を動画再生部11ということにすると、この動画再生部11は、再生速度変更部10の出力(早送り又は等速)に応じた再生速度で動画データを再生表示する。
【0019】
図3は、動画再生装置1の動作フローを示す図である。このフローにおいて、動画再生装置1は、まず、動画データを取り込み(ステップS1)、動画再生をスタートし(ステップS2)、その動画中に所定の被写体が含まれているか否かを再生フレームごとに判定する(ステップS3)。
【0020】
そして、動画中に所定の被写体が含まれていなければ(ステップS3の“NO”判定)、前記の「早送り」に相当する第1の再生速度に変更(ステップS4)して、再びステップS3に戻り、一方、動画中に所定の被写体が含まれていれば(ステップS3の“YES”判定)、前記の「等速」に相当する第2の再生速度に変更(ステップS5)して、動画の終わり(終端)であるか否かを判定する(ステップS6)。
【0021】
次いで、動画の終わりでなければ、再びステップS3に戻り、終わりであれば、動画再生をストップ(ステップS7)してから、フローを終了する。
【0022】
図4は、動画再生装置1の作用説明図である。この図において、横軸の左端から右端に向かって一人の人物12が歩いている情景を考え、その情景を動画撮影することにする。ただし、動画の撮影範囲13は、横軸の中央付近に描かれている点線の横長矩形枠内とする。動画の撮影開始は横軸の左端付近、撮影終了は横軸の右端付近である。
このような場合において、動画の撮影範囲13は横軸の中央付近であるから、動画データの前1/3部分(ア部)と後1/3部分(ウ部)に人物12は写っていない。つまり、人物12は中央の1/3部分(イ部)にしか写っていないから、かかる動画データを再生した場合に、(ア部)と(ウ部)の再生は無駄である。このような場合、一般的には早送りなどの操作を行うが、手間が掛かって面倒である。
【0023】
そこで、実施形態の動画再生装置1では、動画データに所定の被写体(図4の人物12)が含まれていない場合には再生速度を第1の再生速度とし、被写体が含まれている場合には再生速度を第2の再生速度とし、各々の再生速度を「第1の再生速度→早送り、第2の再生速度→等速」としたものであり、これにより、無駄な再生に要する時間を少なくして、注目シーン(イ部)を素早く見つけ出すことができるようにしたものである。
【0024】
以上のとおり、実施形態における技術思想の原理は、動画データの再生時に、その動画データに所定の被写体が含まれていなければ第1の再生速度とする一方、その動画データに所定の被写体が含まれていれば第2の再生速度とすることを基本とし、好ましくは、第1の速度を早送りに相当する再生速度、第2の再生速度を等速に相当する再生速度としたものであり、これにより、前記の課題、すなわち、無駄な再生に要する時間を少なくして、注目シーンを素早く見つけ出すことができるようにしたものであるが、これに限らず、実用性の観点からは、たとえば、以下のようにしてもよい。
【0025】
図5は、実用上好ましい実施形態の説明図である。たとえば、ゴルフ練習において、クラブヘッド14にボール15が当たる瞬間(インパクトの瞬間)はスイング確認の重要な一つのポイントである。一般的にはスイング全体の動画を再生中にインパクトの瞬間でスローや一時停止の操作を行っているが、操作が面倒で使い勝手が悪い。
そこで、インパクトの瞬間を自動的に検出して所望の再生速度に変更できる仕組みを提案する。まず、ユーザはタッチパネル7を操作して表示部6の画面16の任意位置に注目領域17を設定する。注目領域17とは、その領域に被写体が入ったときに再生速度を所定の速度に変更するための検出窓である。
今、被写体をクラブヘッド14とし、そのクラブヘッド14が注目領域17に入るまでの再生速度を第1の再生速度、そのクラブヘッド14が注目領域17に入った後の再生速度を第2の再生速度とするとともに、「第1の再生速度→早送り、第2の再生速度→等速」とする。
このようにすると、(a)のトップスイングから(b)のインパクトまでが早送り再生となり、(b)のインパクトから(c)のフォロースルーまでが等速再生となるので、(a)〜(b)の無駄な再生に要する時間を少なくし、且つ、(b)の注目シーンを素早く頭出しして、(b)〜(c)のスイング確認を行うことができる。
【0026】
なお、以上の説明では、所定の被写体をクラブヘッド14としているため、このクラブヘッド14を画像認識して検出するための仕組みが必要である。そのような仕組みとしては、たとえば、(a)に示すように、クラブヘッド(この図ではクラブヘッドとしているが、これは一例に過ぎない。任意の被写体部分であればよい。)を指定するための被写体指定枠18を設定することが考えられる。被写体指定枠18に含まれる画像(ここではクラブヘッド14)を基準画像として登録し、その基準画像に対応する画像をフレームごとに検出して追尾していけばよい。このようにすれば、(a)のトップスイングから(c)のフォロースルーにかけて被写体であるクラブヘッド14を検出・追尾することができ、クラブヘッド14が注目領域17に入った後は所定の再生速度に変更することができる。
また、クラブヘッド以外の任意の被写体部分に被写体指定枠18を設定することで任意の被写体部分を追尾対象とすることが可能となる。
また、ゴルフスイングの場合には、インパクトの後だけでなくインパクトの前後の所定時間が重要であり、このような場合に対応するため、動画再生中に被写体部分の検出を行うタイミングと再生された画像を表示するタイミングとをずらし、検出タイミングの前後の所定時間だけ再生速度に変更する(検出タイミングから過去に遡って再生速度に変更する)ようにしてもよい。
この場合、前の所定時間と後の所定時間とをユーザーが個別に設定してもよい。
また、クラブヘッド14の検出・追尾および注目領域17に入ったか否かを検出するための処理は、クラブヘッド14の位置座標を逐次検出し、逐次検出される位置座標の変化を追尾し、追尾中の位置座標が注目領域17の領域座標内に入ったか否かを検出するが、次のように追尾動作を含まなくてもよい。
つまり、注目領域17の領域座標内だけを逐次画像認識して、クラブヘッド14が注目領域17の領域座標内に入ったか否かを検出するようにしてもよい。
【0027】
図6は、注目領域17と被写体指定枠18の設定機能を加えた動画再生装置1の機能模式図である。この図において、前出の図2との相違は、いずれも、主に制御部5においてソフトウェアで実現される注目領域の設定機能(以下、注目領域設定部19という)と、被写体指定枠の設定機能(以下、被写体指定枠設定部20という)とを加えた点にある。注目領域設定部19は、タッチパネル7に対して行われるユーザのタッチ操作を検出して表示部6の画面16のタッチ位置に注目領域17(図5参照)を設定し、また、被写体指定枠設定部20は、同様にしてユーザのタッチ操作を検出して表示部6の画面16のタッチ位置に被写体指定枠18(図5参照)を設定する。被写体検出部9は、注目領域17に所定の被写体が含まれているか否かを検出し、または、被写体指定枠18で被写体が指定されている場合は、その被写体を所定の被写体として検出し追尾する。
【0028】
また、以上の実施形態では、注目領域17と被写体指定枠18とを別々に設定しているが、以下のようにしてもよい。
図7は、実施形態の他の例を示す図である。この図において、ボール15の近くにクラブヘッド14を構えるスタンス状態では、注目領域17の領域内にクラブヘッド14が位置しているので、注目領域17の設定と同時に、その注目領域17の領域内に位置しているクラブヘッド14に対する被写体指定枠18を設定するようにしてもよい。このようにすれば、注目領域17の設定と同時に被写体指定枠18を設定でき、設定操作を簡素化できるので好ましい。
【0029】
また、以上の説明では、所定の被写体が注目領域17に入るまでの間、再生速度を第1の再生速度に変更するとし、その第1の再生速度を早送りに相当する“一定の再生速度”としているが、これに限らず、たとえば、所定の被写体の動き速度に合わせて第1の再生速度を“可変設定”するようにしてもよい。つまり、第1の再生速度の目的は、無駄な再生に要する時間を少なくすることにあるので、所定の被写体の動き速度が遅いほど、第1の再生速度を速くする(スキップするフレーム数が多くなるようにする)ようにしてもよい。
また、注目シーンをスロー再生したい場合においては、第1の再生速度を等速とし、指定した被写体部分が注目領域17に入った後にスローに変更するようにしてもよい。
【0030】
なお、以上の説明では、「所定の被写体が注目領域17に入ったときに再生速度を変更する」としているが、これに限定されない。動画再生の開始時に、すでに注目領域17に所定の被写体が入っている場合には当該被写体が注目領域17から外れるのを待ってから、前記の再生速度の変更、つまり、「所定の被写体が注目領域17に入ったときに再生速度を変更する」という動作を行うようにしてもよい。
【0031】
以上、本発明のいくつかの実施形態を説明したが、この発明は、これらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本件出願の特許請求の範囲に記載された発明を付記する。
【0032】
(付記1)
請求項1に記載の発明は、
動画を再生する再生手段と、
前記再生手段で再生中の動画フレーム内に所定の領域を設定する設定手段と、
前記領域内に所定の被写体が含まれているか否かを検出する検出手段と、
前記検出手段による検出タイミングに応じて第1の再生速度と第2の再生速度を切り換え選択する選択手段と、
前記選択手段の選択結果に従って前記再生手段の再生速度を制御する制御手段と
を備えたことを特徴とする動画再生装置である。
【0033】
(付記2)
請求項2に記載の発明は、
前記第1の再生速度は早送りに相当する再生速度であり、前記第2の再生速度は等速再生またはスロー再生もしくは一時停止に相当する再生速度であることを特徴とする請求項1に記載の動画再生装置である。
【0034】
(付記3)
請求項3に記載の発明は、
前記選択手段は、前記検出手段による検出タイミングを含む所定期間は前記第2の再生速度を選択し、それ以外の期間は前記第1の再生速度を選択することを特徴とする請求項2に記載の動画再生装置である。
【0035】
(付記4)
請求項4に記載の発明は、
さらに、前記被写体を指定するための指定手段を備えたことを特徴とする請求項1乃至3のいずれかに記載の動画再生装置である。
【0036】
(付記5)
請求項5に記載の発明は、
さらに、前記被写体を追尾する追尾手段を備えたことを特徴とする請求項1乃至4のいずれかに記載の動画再生装置である。
【0037】
(付記6)
請求項6に記載の発明は、
前記追尾手段によって追尾されている被写体の動き速度に合わせて前記第1の再生速度を可変設定する可変手段を備えたことを特徴とする請求項5に記載の動画再生装置である。
【0038】
(付記7)
請求項7に記載の発明は、
前記検出手段は、前記再生手段による動画再生の開始時に、前記領域内に所定の被写体が含まれている場合には当該被写体が前記領域から外れるのを待ってから、前記領域内に所定の被写体が含まれているか否かを検出する検出動作を実行することを特徴とする請求項1乃至6のいずれかに記載の動画再生装置である。
【0039】
(付記8)
請求項8に記載の発明は、
動画を再生する再生工程と、
前記再生工程で再生中の動画フレーム内に所定の領域を設定する設定工程と、
前記領域内に所定の被写体が含まれているか否かを検出する検出工程と、
前記検出工程による検出タイミングに応じて第1の再生速度と第2の再生速度を切り換え選択する選択工程と、
前記選択工程の選択結果に従って前記再生工程の再生速度を制御する制御工程と
を含むことを特徴とする動画再生方法である。
【0040】
(付記9)
請求項9に記載の発明は、
動画再生装置のコンピュータを、
動画を再生する再生手段、
前記再生手段で再生中の動画フレーム内に所定の領域を設定する設定手段、
前記領域内に所定の被写体が含まれているか否かを検出する検出手段、
前記検出手段による検出タイミングに応じて第1の再生速度と第2の再生速度を切り換え選択する選択手段、
前記選択手段の選択結果に従って前記再生手段の再生速度を制御する制御手段
として機能させることを特徴とするプログラムである。
【符号の説明】
【0041】
1 動画再生装置
9 被写体検出部(検出手段)
10 再生速度変更部(選択手段、制御手段、可変手段)
11 動画再生部(再生手段)
19 注目領域設定部(設定手段)
20 被写体指定枠設定部(指定手段)
【特許請求の範囲】
【請求項1】
動画を再生する再生手段と、
前記再生手段で再生中の動画フレーム内に所定の領域を設定する設定手段と、
前記領域内に所定の被写体が含まれているか否かを検出する検出手段と、
前記検出手段による検出タイミングに応じて第1の再生速度と第2の再生速度を切り換え選択する選択手段と、
前記選択手段の選択結果に従って前記再生手段の再生速度を制御する制御手段と
を備えたことを特徴とする動画再生装置。
【請求項2】
前記第1の再生速度は早送りに相当する再生速度であり、前記第2の再生速度は等速再生またはスロー再生もしくは一時停止に相当する再生速度であることを特徴とする請求項1に記載の動画再生装置。
【請求項3】
前記選択手段は、前記検出手段による検出タイミングを含む所定期間は前記第2の再生速度を選択し、それ以外の期間は前記第1の再生速度を選択することを特徴とする請求項2に記載の動画再生装置。
【請求項4】
さらに、前記被写体を指定するための指定手段を備えたことを特徴とする請求項1乃至3のいずれかに記載の動画再生装置。
【請求項5】
さらに、前記被写体を追尾する追尾手段を備えたことを特徴とする請求項1乃至4のいずれかに記載の動画再生装置。
【請求項6】
前記追尾手段によって追尾されている被写体の動き速度に合わせて前記第1の再生速度を可変設定する可変手段を備えたことを特徴とする請求項5に記載の動画再生装置。
【請求項7】
前記検出手段は、前記再生手段による動画再生の開始時に、前記領域内に所定の被写体が含まれている場合には当該被写体が前記領域から外れるのを待ってから、前記領域内に所定の被写体が含まれているか否かを検出する検出動作を実行することを特徴とする請求項1乃至6のいずれかに記載の動画再生装置。
【請求項8】
動画を再生する再生工程と、
前記再生工程で再生中の動画フレーム内に所定の領域を設定する設定工程と、
前記領域内に所定の被写体が含まれているか否かを検出する検出工程と、
前記検出工程による検出タイミングに応じて第1の再生速度と第2の再生速度を切り換え選択する選択工程と、
前記選択工程の選択結果に従って前記再生工程の再生速度を制御する制御工程と
を含むことを特徴とする動画再生方法。
【請求項9】
動画再生装置のコンピュータを、
動画を再生する再生手段、
前記再生手段で再生中の動画フレーム内に所定の領域を設定する設定手段、
前記領域内に所定の被写体が含まれているか否かを検出する検出手段、
前記検出手段による検出タイミングに応じて第1の再生速度と第2の再生速度を切り換え選択する選択手段、
前記選択手段の選択結果に従って前記再生手段の再生速度を制御する制御手段
として機能させることを特徴とするプログラム。
【請求項1】
動画を再生する再生手段と、
前記再生手段で再生中の動画フレーム内に所定の領域を設定する設定手段と、
前記領域内に所定の被写体が含まれているか否かを検出する検出手段と、
前記検出手段による検出タイミングに応じて第1の再生速度と第2の再生速度を切り換え選択する選択手段と、
前記選択手段の選択結果に従って前記再生手段の再生速度を制御する制御手段と
を備えたことを特徴とする動画再生装置。
【請求項2】
前記第1の再生速度は早送りに相当する再生速度であり、前記第2の再生速度は等速再生またはスロー再生もしくは一時停止に相当する再生速度であることを特徴とする請求項1に記載の動画再生装置。
【請求項3】
前記選択手段は、前記検出手段による検出タイミングを含む所定期間は前記第2の再生速度を選択し、それ以外の期間は前記第1の再生速度を選択することを特徴とする請求項2に記載の動画再生装置。
【請求項4】
さらに、前記被写体を指定するための指定手段を備えたことを特徴とする請求項1乃至3のいずれかに記載の動画再生装置。
【請求項5】
さらに、前記被写体を追尾する追尾手段を備えたことを特徴とする請求項1乃至4のいずれかに記載の動画再生装置。
【請求項6】
前記追尾手段によって追尾されている被写体の動き速度に合わせて前記第1の再生速度を可変設定する可変手段を備えたことを特徴とする請求項5に記載の動画再生装置。
【請求項7】
前記検出手段は、前記再生手段による動画再生の開始時に、前記領域内に所定の被写体が含まれている場合には当該被写体が前記領域から外れるのを待ってから、前記領域内に所定の被写体が含まれているか否かを検出する検出動作を実行することを特徴とする請求項1乃至6のいずれかに記載の動画再生装置。
【請求項8】
動画を再生する再生工程と、
前記再生工程で再生中の動画フレーム内に所定の領域を設定する設定工程と、
前記領域内に所定の被写体が含まれているか否かを検出する検出工程と、
前記検出工程による検出タイミングに応じて第1の再生速度と第2の再生速度を切り換え選択する選択工程と、
前記選択工程の選択結果に従って前記再生工程の再生速度を制御する制御工程と
を含むことを特徴とする動画再生方法。
【請求項9】
動画再生装置のコンピュータを、
動画を再生する再生手段、
前記再生手段で再生中の動画フレーム内に所定の領域を設定する設定手段、
前記領域内に所定の被写体が含まれているか否かを検出する検出手段、
前記検出手段による検出タイミングに応じて第1の再生速度と第2の再生速度を切り換え選択する選択手段、
前記選択手段の選択結果に従って前記再生手段の再生速度を制御する制御手段
として機能させることを特徴とするプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【公開番号】特開2013−55563(P2013−55563A)
【公開日】平成25年3月21日(2013.3.21)
【国際特許分類】
【出願番号】特願2011−193462(P2011−193462)
【出願日】平成23年9月6日(2011.9.6)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】
【公開日】平成25年3月21日(2013.3.21)
【国際特許分類】
【出願日】平成23年9月6日(2011.9.6)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】
[ Back to top ]