説明

情報処理装置、情報処理方法、およびプログラム

【課題】元の映像データのフレームに基づく補間により生成された補間フレームをタイムコードによって特定する。
【解決手段】例えば、再生速度が1/3である場合、図2に示されるように、映像データの元の1番目のフレーム(タイムコード=01:00:00:00)と2番目のフレーム(タイムコード=01:00:00:01)の間に2枚の補間フレーム(同図において斜線で描かれているフレーム)が生成される。同様に、映像データの元の2番目のフレーム(タイムコード=01:00:00:01)と3番目のフレーム(タイムコード=01:00:00:02)の間に2枚の補間フレームが生成される。そして、補間済映像データの各フレームに対して新たにタイムコード01:00:00:00乃至01:00:00:06が付与される。本発明は、映像を加工、編集する装置に適用することができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、映像データの進行速度を変更する場合に用いて好適な情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
例えば、ビデオカメラにより撮影された映像データには、その各フレームに対して、時間軸上の位置情報であるタイムコードと称する番号が付与されている(例えば、特許文献1参照)。CG(computer graphics)などによるアニメーションの映像データに対しても同様である。
【0003】
このような映像データを1倍速よりも遅い速度でスロー再生し、1倍速再生時と同じフレームレート(例えば、30フレーム/秒)で出力する場合、映像データを構成するフレームを用いた補間により、元の映像データには存在していない補間フレームを生成する必要がある。なお、本明細書において、再生とは、映像データに基づくフレームの映像を時系列に従って進行させることを意味するものとする。
【0004】
具体的には、例えば、1/3倍速で再生する場合、元の映像データの連続するフレームの間に、2枚の補間フレームを生成して挿入することになる。ただし、スロー再生に際して補間フレームが生成される場合、生成される補間フレームに対してタイムコードは付与されない。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2006−54746号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述したように、スロー再生に際して生成される補間フレームに対してはタイムコードが付与されないので、タイムコードにより任意の補間フレームを特定することができない。
【0007】
このため、例えば、補間フレームが表示されているタイミングでスロー再生を停止しても、その補間フレームからスロー再生を再開することができず、その近傍のタイムコードを有する元の映像データのフレームからスロー再生が再開されてしまい、映像に違和感が生じていた。
【0008】
また例えば、映像データの再生位置を移動(キューアップ)させようとした場合、移動先に補間フレームを指定することができなかった。
【0009】
本発明はこのような状況に鑑みてなされたものであり、補間された映像データ上の任意の時間的位置をタイムコードを用いて特定できるようにするものである。
【課題を解決するための手段】
【0010】
本発明の一側面である情報処理装置は、映像データを入力する入力手段と、入力された前記映像データの進行速度を設定する設定手段と、入力された前記映像データに対して、設定された前記進行速度に対応する補間処理を行う補間処理手段と、前記補間処理の結果得られる補間済映像データを構成する全てのフレームに対してタイムコードを付与する付与手段とを含む。
【0011】
本発明の一側面である情報処理装置は、前記タイムコードが付与された前記補間済映像データに前記進行速度を対応付けて管理する管理手段と、前記管理手段によって管理されている前記補間済映像データをユーザによって指定される任意速度で可変速再生して出力する再生手段をさらに含むことができる。
【0012】
前記再生手段は、さらに付与された前記タイムコードを用いて指定された前記補間済映像データ上の位置に出力位置を移動させることができる。
【0013】
本発明の一側面である情報処理装置は、可変速再生された前記補間済映像データの映像を表示させる表示制御手段をさらに含むことができる。
【0014】
前記表示制御手段は、可変速再生された前記補間済映像データの各フレームの映像に同期して、付与されている前記タイムコードも表示させることができる。
【0015】
本発明の一側面である情報処理装置は、前記補間済映像データの各フレームのフレーム番号と、各フレームに付与された前記タイムコードとの対応を示すタイムコードテーブルを生成するタイムコード生成手段をさらに含むことができ、前記管理手段は、前記タイムコードが付与された前記補間済映像データに前記タイムコードテーブルも対応付けて管理することができる。
【0016】
前記入力手段は、撮像された前記映像データ、またはCGによる前記映像データを入力することができる。
【0017】
前記設定手段は、ユーザから指定された速度設定値に基づいて前記進行速度を設定するか、前記映像データの入力時間長とユーザから指定された前記補間済映像データの出力時間長とに基づいて前記進行速度を設定することができる。
【0018】
本発明の一側面である情報処理方法は、情報処理装置の情報処理方法において、前記情報処理装置による、映像データを入力する入力ステップと、入力された前記映像データの進行速度を設定する設定ステップと、入力された前記映像データに対して、設定された前記進行速度に対応する補間処理を行う補間処理ステップと、前記補間処理の結果得られる補間済映像データを構成する全てのフレームに対してタイムコードを付与する付与ステップとを含む。
【0019】
本発明の一側面であるプログラムは、情報処理装置の制御用のプログラムであって、映像データを入力する入力ステップと、入力された前記映像データの進行速度を設定する設定ステップと、入力された前記映像データに対して、設定された前記進行速度に対応する補間処理を行う補間処理ステップと、前記補間処理の結果得られる補間済映像データを構成する全てのフレームに対してタイムコードを付与する付与ステップとを含む処理を情報処理装置のコンピュータに実行させる。
【0020】
本発明の一側面においては、入力された映像データに対して、設定された進行速度に対応する補間処理が行われ、補間処理の結果得られる補間済映像データを構成する全てのフレームに対してタイムコードが付与される。
【発明の効果】
【0021】
本発明の一側面によれば、補間された映像データ上の任意の時間的位置をタイムコードを用いて特定することができる。
【図面の簡単な説明】
【0022】
【図1】本発明を適用した映像編集装置の構成例を示すブロック図である。
【図2】映像データのフレーム数が3であって、1/3倍速再生時の補間済映像データの補間フレームとタイムコードを示す図である。
【図3】映像データのフレーム数が3であって、1/2.5倍速再生時の補間済映像データの補間フレームとタイムコードを示す図である。
【図4】映像データのフレーム数が3であって、1/3.3倍速再生時の補間済映像データの補間フレームとタイムコードを示す図である。
【図5】映像データのフレーム数が4であって、1/3.3倍速再生時の補間済映像データの補間フレームとタイムコードを示す図である。
【図6】タイムコードテーブルの一例を示す図である。
【図7】映像データ補間処理を説明するフローチャートである。
【図8】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【0023】
以下、発明を実施するための最良の形態(以下、実施の形態と称する)について、図面を参照しながら詳細に説明する。
【0024】
<1.実施の形態>
[映像編集装置の構成例]
図1は、本発明の一実施の形態である映像編集装置の構成例を示している。この映像編集装置10は、映像データを1倍速よりも遅い速度でスロー再生し、1倍速再生時と同じフレームレート(例えば、30フレーム/秒)の補間済映像データを生成するものである。なお、補間済映像データの全てのフレームには、タイムコードが付与される。
【0025】
映像編集装置10は、操作入力部11、映像データ入力部12、再生速度設定部13、補間部14、タイムコード(TC)付与部15、補間済映像データベース(DB)17、可変速再生部18、および表示制御部19から構成される。
【0026】
操作入力部11は、ユーザによる各種の操作を受け付ける。具体的には、操作入力部11は、例えば、映像データの再生速度を指定するための再生速度設定値Nの入力を受け付けて再生速度設定部13に出力する。ここで、Nは1以上の正の値とする。なお、Nを1以上の正の整数に制限すれば、補間部14における補間処理の負荷を軽減させることができる。また、再生速度設定値Nを入力する代わりに、スロー再生時の再生時間長(以下、出力時間長と称する)を指定するようにしてもよい。
【0027】
また、例えば、操作入力部11は、補間済映像データの可変速再生時の再生速度の入力を受け付けたり、補間済映像データをキューアップ(再生位置の移動)の移動先を指示するためのタイムコードの入力を受け付けたりして可変速再生部18に出力する。
【0028】
映像データ入力部12は、映像編集装置10にて処理対象とする映像データを外部から取得して補間部14に出力する。
【0029】
ここで、映像データは、ビデオカメラにより撮影された実写映像であってもよいし、CGにより作成される映像でもよい。
【0030】
さらに、幾何学的情報(オプションでシェーディング情報)を含むCGデータを入力とし、映像データ入力部12にて、CGデータのキーフレーム間を補間、レンダリングして映像を生成するようにしてもよい。
【0031】
また、映像データ入力部12は、処理対象とする映像データの1倍速再生時の再生時間長(以下、入力時間長と称する)を検出して再生速度設定部13に出力する。
【0032】
再生速度設定部13は、操作入力部11から入力される再生速度設定値Nに基づき、映像データの再生速度を1/Nに決定して補間部14およびタイムコード付与部15に通知する。また、再生速度設定部13は、操作入力部11から出力時間長が入力される場合、映像データの再生速度を(入力時間長/出力時間長)に決定して補間部14およびタイムコード付与部15に通知する。例えば、入力時間長が1分間であり、出力時間長が2分間である場合、再生速度は1/2に決定される。
【0033】
補間部14は、再生速度設定部13から通知される再生速度に従い、映像データを構成する元のフレームを用いた補間処理により補間フレームを生成することにより、補間済映像データを生成する。なお、映像データのフレーム数Fとした場合、補間済映像データのフレーム数Fは、F=(F−1)×N+1となる。なお、この算出結果に小数点以下の値が含まれる場合には切り上げ、切り捨て、四捨五入などの丸め処理を行うものとする。以下の実施の形態では切り上げを用いる。ROUNDUP(x)はxを切り上げた数値を表すこととする。
【0034】
さらに、補間部14は、補間済映像データの各フレーム(映像データを構成する元のフレーム、および補間フレーム)を、順次、タイムコード付与部15に出力する。
【0035】
タイムコード付与部15は、補間部14から順次入力される補間済映像データの全てのフレームに対してタイムコード(HH:MM:SS:FF)を付与する。
【0036】
例えば、映像データのフレーム数F=3であり、再生速度を1/3とした場合、補間済映像データのフレーム数F=(3−1)×3+1=7となる。そして、図2に示されるように、映像データの元の1番目のフレーム(タイムコード=01:00:00:00)と2番目のフレーム(タイムコード=01:00:00:01)の間に2枚の補間フレーム(同図において斜線で描かれているフレーム)が生成される。同様に、映像データの元の2番目のフレーム(タイムコード=01:00:00:01)と3番目のフレーム(タイムコード=01:00:00:02)の間に2枚の補間フレームが生成される。そして、補間済映像データの各フレームに対して新たにタイムコード01:00:00:00乃至01:00:00:06が付与される。
【0037】
また例えば、映像データのフレーム数F=3であり、再生速度を1/2.5とした場合、補間済映像データのフレーム数F=(3−1)×2.5+1=6となる。そして、図3に示されるように、映像データの元の1番目のフレーム(タイムコード=01:00:00:00)と3番目のフレーム(タイムコード=01:00:00:02)の間に4枚の補間フレーム(同図において斜線で描かれているフレーム)が生成される。なお、映像データの元の2番目のフレームは補間処理には利用されるものの、補間済映像データには含まれない。そして、補間済映像データの各フレームに対して新たにタイムコード01:00:00:00乃至01:00:00:05が付与される。
【0038】
また例えば、映像データのフレーム数F=3であり、再生速度を1/(10/3)とした場合、補間済映像データのフレーム数F=ROUNDUP((3−1)×(10/3)+1)=8となる。そして、図4に示されるように、映像データの元の1番目のフレーム(タイムコード=01:00:00:00)以降に、7枚の補間フレーム(同図において斜線で描かれているフレーム)が生成される。なお、映像データの元の2および3番目のフレームは補間処理には利用されるものの、補間済映像データには含まれない。そして、補間済映像データの各フレームに対して新たにタイムコード01:00:00:00乃至01:00:00:07が付与される。
【0039】
さらに例えば、映像データのフレーム数F=4であり、再生速度を1/(10/3)とした場合、補間済映像データのフレーム数F=(4−1)×(10/3)+1=11となる。そして、図5に示されるように、映像データの元の1番目のフレーム(タイムコード=01:00:00:00)と4番目のフレーム(タイムコード=01:00:00:03)の間に9枚の補間フレーム(同図において斜線で描かれているフレーム)が生成される。なお、映像データの元の2および3番目のフレームは補間処理には利用されるものの、補間済映像データには含まれない。そして、補間済映像データの各フレームに対して新たにタイムコード01:00:00:00乃至01:00:00:10が付与される。
【0040】
図1に戻り、タイムコード付与部15は、補間部14から順次入力される補間済映像データとタイムコードとを同期させて補間済映像データベース17に出力する。
【0041】
さらに、タイムコード付与部15に内蔵されるタイムコード(TC)テーブル生成部16は、図6に示されるように、補間済映像データの各フレームのフレーム番号にタイムコードを対応付けたタイムコードテーブルを生成して補間済映像データベース17に出力する。
【0042】
補間済映像データベース17は、同期して入力される補間済映像データおよびタイムコード、並びにタイムコードテーブルを、その再生速度設定値Nに対応付けて保管する。例えば、同一の映像データを異なる再生速度で複数回再生させた場合、その再生回数と同じ数の補間済映像データおよびタイムコード、並びにタイムコードテーブルの組み合わせが保管されることになる。なお、補間済映像データのフレームのうち、元の映像データを構成していたフレームについては、補間処理以前に付与されていた元のタイムコードも対応付けて記憶するようにしてもよい。
【0043】
可変速再生部18は、操作入力部11に入力されるユーザの操作に従い、補間済映像データベース17に保管されている補間済映像データを、ユーザから指示される再生速度(M倍速とする)で再生して表示制御部19に出力する。この場合、実質的に元の映像データがM/N倍速で再生されることになる。例えば、再生速度設定値N=3の補間済映像データが、1倍速で再生されると、実質的に元の映像データが1/3倍速で再生されることになる。また例えば、再生速度設定値N=3の補間済映像データが、3倍速で再生されると、実質的に元の映像データが1(=3/3)倍速で再生されることになる。
【0044】
また、可変速再生部18は、操作入力部11に入力されるユーザの操作に従い、補間済映像データベース17に保管されている補間済映像データのキューアップを実行する(時間的位置を移動させる)。
【0045】
さらに、可変速再生部18は、再生した映像とともに、それに対応するタイムコード(補間処理後に付与されたもの)およびストップタイムコードも表示制御部19に出力する。ただし、ここで、補間処理以前に元々付与されていたタイムコードを表示制御部19に出力するようにしてもよい。
【0046】
表示制御部19は、可変速再生部18によって再生された補間済映像データの映像を後段の図示せぬディスプレイなどに表示させる。なお、表示制御部19は、再生中の補間済映像データの映像とともに、それに同期したタイムコードおよびストップタイムコードも表示させる。
【0047】
[動作説明]
次に、映像編集装置10の動作について説明する。図7は、映像編集装置10による映像データ補間処理を説明するフローチャートである。
【0048】
なお、映像データ補間処理の開始に先立って、処理対象とする映像データと再生速度設定値Nはユーザにより指定されているものとする。
【0049】
ステップS1において、映像データ入力部12は、処理対象とする映像データを外部から取得して補間部14に出力する。
【0050】
ステップS2において、再生速度設定部13は、ユーザによって指定された再生速度設定値Nに基づき、映像データの再生速度を1/Nに決定して補間部14およびタイムコード付与部15に通知する。
【0051】
ステップS3において、補間部14は、映像データの1枚目のフレームをタイムコード付与部15に出力する。タイムコード付与部15は、1枚目のフレームに対してタイムコード01:00:00:00を付与し、1枚目のフレームとタイムコードを補間済映像データベース17に出力する。
【0052】
ステップS4において、補間部14は、次に出力するフレームが映像データの元のフレームであるか否か、換言すれば、次に出力するフレームが補間フレームであるか否かを判断する。
【0053】
次に出力するフレームが映像データの元のフレームではない(次に出力するフレームが補間フレームである)と判断された場合、処理はステップS5に進められる。ステップS5において、補間部14は、再生速度設定部13から通知された再生速度に従い、映像データの元のフレームを用いた補間処理により補間フレームを生成してタイムコード付与部15に出力する。
【0054】
反対に、次に出力するフレームが映像データの元のフレームである(次に出力するフレームが補間フレームではない)と判断された場合、処理はステップS6に進められる。ステップS6において、補間部14は、映像データの元のフレームをタイムコード付与部15に出力する。
【0055】
ステップS7において、タイムコード付与部15は、補間部14から入力されたフレームに対してタイムコードを付与し、フレームとタイムコードを同期させて補間済映像データベース17に出力する。補間済映像データベース17は、同期して入力された補間済映像データのフレームとタイムコードとをその再生速度設定値Nに対応付けて保管する。
【0056】
ステップS8において、補間部14は、処理対象としている映像データの補間処理が終了したか否かを判定し、終了したと判定するまでステップS4乃至S8の処理を繰り返す。そして、ステップS8で補間処理が終了したと判定された場合、処理はステップS9に進められる。
【0057】
ステップS9において、タイムコード付与部15のタイムコードテーブル生成部16は、補間済映像データの各フレームのフレーム番号にタイムコードを対応付けたタイムコードテーブルを生成して補間済映像データベース17に出力する。補間済映像データベース17は、入力されたタイムコードテーブルを、先に管理している補間済映像データとタイムコードに対応付けて保管する。以上で、映像データ補間処理は終了される。
【0058】
以上説明した映像データ補間処理によれば、映像データを1倍速よりも遅い速度でスロー再生し、1倍速再生時と同じフレームレート(例えば、30フレーム/秒)の補間済映像データを生成することができる。この補間済映像データは全てのフレームに対してタイムコードが付与されているので、補間済映像データ上の時間的位置をタイムコードを用いて特定することができる。
【0059】
本発明を適用した映像編集装置10は、映像を加工、編集する映像プロダクションや放送局などの現場にて利用することができる。
【0060】
本実施の形態においては、映像の進行速度を1倍速未満を想定したが、映像編集装置10は、1倍速以上の進行速度にも対応可能である。この場合の補間処理は、間引き処理を含むものとなる。
【0061】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
【0062】
図8は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【0063】
このコンピュータ100において、CPU(Central Processing Unit)101,ROM(Read Only Memory)102,RAM(Random Access Memory)103は、バス104により相互に接続されている。
【0064】
バス104には、さらに、入出力インタフェース105が接続されている。入出力インタフェース105には、キーボード、マウス、マイクロホンなどよりなる入力部106、ディスプレイ、スピーカなどよりなる出力部107、ハードディスクや不揮発性のメモリなどよりなる記憶部108、ネットワークインタフェースなどよりなる通信部109、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア111を駆動するドライブ110が接続されている。
【0065】
以上のように構成されるコンピュータ100では、CPU101が、例えば、記憶部108に記憶されているプログラムを、入出力インタフェース105およびバス104を介して、RAM103にロードして実行することにより、上述した一連の処理が行われる。
【0066】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
【0067】
また、プログラムは、1台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
【0068】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【0069】
10 映像編集装置, 11 操作入力部, 12 映像データ入力部, 13 再生速度設定部, 14 補間部, 15 タイムコード付与部, 16 タイムコードテーブル生成部, 17 補間済映像データベース, 18 可変速再生部, 19 表示制御部

【特許請求の範囲】
【請求項1】
映像データを入力する入力手段と、
入力された前記映像データの進行速度を設定する設定手段と、
入力された前記映像データに対して、設定された前記進行速度に対応する補間処理を行う補間処理手段と、
前記補間処理の結果得られる補間済映像データを構成する全てのフレームに対してタイムコードを付与する付与手段と
を含む情報処理装置。
【請求項2】
前記タイムコードが付与された前記補間済映像データに前記進行速度を対応付けて管理する管理手段と、
前記管理手段によって管理されている前記補間済映像データをユーザによって指定される任意速度で可変速再生して出力する再生手段を
さらに含む請求項1に記載の情報処理装置。
【請求項3】
前記再生手段は、さらに、付与された前記タイムコードを用いて指定された前記補間済映像データ上の位置に出力位置を移動させる
請求項2に記載の情報処理装置。
【請求項4】
可変速再生された前記補間済映像データの映像を表示させる表示制御手段を
さらに含む請求項2または3に記載の情報処理装置。
【請求項5】
前記表示制御手段は、可変速再生された前記補間済映像データの各フレームの映像に同期して、付与されている前記タイムコードも表示させる
請求項4に記載の情報処理装置。
【請求項6】
前記補間済映像データの各フレームのフレーム番号と、各フレームに付与された前記タイムコードとの対応を示すタイムコードテーブルを生成するタイムコード生成手段を
さらに含み、
前記管理手段は、前記タイムコードが付与された前記補間済映像データに前記タイムコードテーブルも対応付けて管理する
請求項2に記載の情報処理装置。
【請求項7】
前記入力手段は、撮像された前記映像データ、またはCG(computer graphics)による前記映像データを入力する
請求項1に記載の情報処理装置。
【請求項8】
前記設定手段は、ユーザから指定された速度設定値に基づいて前記進行速度を設定するか、前記映像データの入力時間長とユーザから指定された前記補間済映像データの出力時間長とに基づいて前記進行速度を設定する
請求項1に記載の情報処理装置。
【請求項9】
情報処理装置の情報処理方法において、
前記情報処理装置による、
映像データを入力する入力ステップと、
入力された前記映像データの進行速度を設定する設定ステップと、
入力された前記映像データに対して、設定された前記進行速度に対応する補間処理を行う補間処理ステップと、
前記補間処理の結果得られる補間済映像データを構成する全てのフレームに対してタイムコードを付与する付与ステップと
を含む情報処理方法。
【請求項10】
情報処理装置の制御用のプログラムであって、
映像データを入力する入力ステップと、
入力された前記映像データの進行速度を設定する設定ステップと、
入力された前記映像データに対して、設定された前記進行速度に対応する補間処理を行う補間処理ステップと、
前記補間処理の結果得られる補間済映像データを構成する全てのフレームに対してタイムコードを付与する付与ステップと
を含む処理を情報処理装置のコンピュータに実行させるプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2012−142874(P2012−142874A)
【公開日】平成24年7月26日(2012.7.26)
【国際特許分類】
【出願番号】特願2011−953(P2011−953)
【出願日】平成23年1月6日(2011.1.6)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】