編集装置、編集方法、編集プログラム及びデータ構造
【課題】素材データに指定された任意の「範囲」と、タイムリマップ変換処理後の再生データにおける、その素材データの指定範囲が反映されている「範囲」との相互の対応関係を特定することを可能にする。
【解決手段】本発明の編集方法は、第１の時間に従って生成され、かつ第1の時間範囲が指定された素材データから、素材データを第１の時間とは異なる第２の時間に従って再生する再生データを生成することと（Ｓ１２）、再生データにおける、第１の時間範囲内の素材データを含む第２の時間範囲を特定することと（Ｓ１３）、を含む。
【解決手段】本発明の編集方法は、第１の時間に従って生成され、かつ第1の時間範囲が指定された素材データから、素材データを第１の時間とは異なる第２の時間に従って再生する再生データを生成することと（Ｓ１２）、再生データにおける、第１の時間範囲内の素材データを含む第２の時間範囲を特定することと（Ｓ１３）、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、編集装置、編集方法、編集プログラム及びデータ構造に関する。
【背景技術】
【０００２】
従来より、映像の編集には、映像を収録したビデオ・テープ又はフィルムに編集を行う手法と、ビデオ・テープ又はフィルムに収録された映像データをデジタル・データに変換して編集を行う手法とが存在する。
【０００３】
映像を収録したビデオ・テープ又はフィルムに編集を行う場合、タイムコードという時間情報を読み取りながら素材となる映像データの時間軸（以後、「素材時間」と言う）に対してシーケンシャルに編集する必要がある。このため、編集作業は素材時間に対してリニア（線形）となる。これに対して、デジタル・データに変換した映像データは、パソコンやワークステーションなどのハードディスクなどに保存すると、素材時間を考えずにランダムにアクセスして、再生方向、再生時間も含めて自由に編集することができる。このため、編集作業は素材時間に対してノンリニア（非線形）となりうる。このことから、デジタルで映像データを編集する装置のことを、「ノンリニア編集装置」とも呼ぶ。かかるノンリニア編集装置を用いると、タイムコードを気にせずに、例えば、途中のカットが不要になった場合は、後のカットを前にずらすなど、従来のビデオ・テープを用いたテープ編集の場合では比較にならないほどの豊富な編集が可能となる。
【０００４】
ノンリニア編集装置では、例えば、ハードディスクに記憶した符号化された映像を読み出して復号・再生を行い、映像をモニタで見ながら作業することができる。従来から、編集対象となる映像データを再生して、その映像を見ながら切り出したいシーンの開始位置（イン点）と終了位置（アウト点）を映像データの対応する位置に設定するノンリニア映像編集装置がある。このイン点及びアウト点は編集情報として映像データに関連づけられて保持され、これらの情報に基づいて、切り出したシーンのクリップが形成される。なお、ノンリニア映像編集では、クリップの形成のために、元の映像データを実際にコピーあるいはカットする必要はなく、クリップの再生時には、クリップを指定することによって、編集情報を参照してイン点からアウト点までの映像データを復号して再生する。
【０００５】
ノンリニア編集装置には、クリップ・マーカーと呼ばれる編集機能を用いて、クリップの映像及び音声の任意のシーン位置にマークを付けることができるものがある。さらに、特許文献１には、タイムリマップと呼ばれる編集機能を用いて、クリップの映像及び音声の再生速度を任意の速度に自由に変化させ、再生速度の変化の状態をユーザ・インタフェースに表示する編集装置が開示されている。再生速度は、例えば、ユーザが指定するキーフレームと、キーフレームを利用した線分補間とベジェ（Ｂｅｚｉｅｒ）補間の数式の集合によって変化させることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許出願公開第２００８／０２５３７３５号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来の方法では、素材となる映像データ（以後、「素材データ」と言う）にタイムリマップの変換処理を含む編集を行って再生する映像データ（以後、「再生データ」と呼ぶ）を生成した場合、素材データに付した素材時間上の所与の「位置」を示すマークを、再生データに反映させることは比較的容易である。しかしながら、素材データに、素材時間上の所与の「範囲」を画定するマークを付した場合には、素材時間から再生時間へのタイムリマップ変換処理を単に適用するだけでは、その範囲の開始点と終了点との２点間の時間変化が考慮されないため、素材データに付したマークが示す範囲を再生データに正しく反映できない場合があった。
【０００８】
図１０Ａ〜図１０Ｃは、素材時間と再生時間とにおける、クリップ・マーカーの対応関係を示すグラフである。図１０Ａ〜図１０Ｃでは、素材データの任意の位置に付けられたマークをクリップ・マーカーａ、ｂ、ｃ、ｄ、ｅとして示している。図１０Ａは、素材時間と同じ再生速度で再生を行うように再生時間が設定されている場合を示している。図１０Ａの例では、実線で示すように、素材時間のクリップ・マーカーａ、ｂの各々に対して一つの再生時間ａ’、ｂ’が存在しており、また、点線で示すように、再生時間ａ’、ｂ’に対しても一つの素材時間ａ、ｂが存在している。図１０Ｂは、素材時間の再生速度を変化させて再生を行うように再生時間が設定されている場合を示している。図１０Ｂの例では、実線に示すように、例えば、クリップ・マーカーｄが示す素材時間に対して複数の再生時間ｄ１’、ｄ２’、ｄ３’が存在している。また、図１０Ｃは、素材時間の再生速度を変化させて再生を行うように再生時間が設定されている場合の他の例を示している。図１０Ｃの例では、クリップ・マーカーｅが示す素材時間に対して対応する再生時間が存在していない。しかしこの場合であっても、再生時間の例えばｆで示す時間に対応する素材時間は必ず一つ存在している。
【０００９】
素材時間と再生時間とが同じ場合（図１０Ａ）には、再生時間の各々の位置と、これに対応する素材時間の位置とが一対一に対応する。これに対し、図１０Ｂ、図１０Ｃに示すように、素材時間の再生速度を変化させて再生を行うように再生時間が設定されている場合には、素材時間の各々の位置に対応する再生時間が存在しない場合もあるし、あるいは複数存在する場合もある。
上述したように、素材データの所与の範囲にクリップ・マーカーを付けて素材時間から再生時間へのタイムリマップによる変換処理を単に適用するだけでは、その範囲の開始点と終了点との２点間の時間変化が考慮されないため、素材データにクリップ・マーカーで指定した範囲を再生データに正しく反映させることはできない。例えば、図１０Ｂに示したクリップマーカーｄが指定範囲の開始点あるいは終了点となるように範囲を指定した場合には、それに対応する再生時間ｄ１’、ｄ２’、ｄ３’を知ることはできるものの、ｄ１’−ｄ２’間の時間変化やｄ２’−ｄ３’間の時間変化は考慮されない。そのため、再生時間におけるｄ１’−ｄ２’間やｄ２’−ｄ３’間の範囲が、素材時間において指定された範囲に対応しているかどうかを判断することができない。
このため、素材データが、例えば、サッカー中継の録画データであり、その中の１つのゴール場面の範囲をクリップ・マーカーで指定した場合、タイムリマップの変換処理後に、クリップ・マーカーによって指定されたゴール場面を再生データで再生しようとしても、素材データに指定したゴール場面の範囲が、タイムリマップの変換処理後の再生データのどの範囲に対応しているのかを正しく特定することができないため、その場面の一部分しか再生されない、あるいは適切に再生されない場合が起こりうる。
このように、従来技術では、素材データの任意の「位置」と、タイムリマップ変換処理後の再生データにおける、その位置が反映されている「位置」との相互の対応関係を特定することは可能であった。しかしながら、素材データに指定された任意の「範囲」と、タイムリマップ変換処理後の再生データにおける、その素材データの指定範囲が反映されている「範囲」との相互の対応関係を特定することは困難であった。
【００１０】
そこで本発明は、素材データに指定された任意の「範囲」と、タイムリマップ変換処理後の再生データにおける、その素材データの指定範囲が反映されている「範囲」との相互の対応関係を特定することを可能にする、編集装置、編集方法、編集プログラム及びデータ構造を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の一態様によれば、本発明の編集方法は、第１の時間に従って生成され、かつ第1の時間範囲が指定された素材データから、前記素材データを前記第１の時間とは異なる第２の時間に従って再生する再生データを生成することと、前記再生データにおける、前記第１の時間範囲内の前記素材データを含む第２の時間範囲を特定することと、を含む。
【００１２】
例えば、再生データが素材データの逆再生範囲を含むように第２の時間の設定を行った場合には、素材データから再生データを生成すると、素材データの第１の時間範囲に対応する第２の時間範囲が再生データ内に複数にわたって出現することがある。そのような場合であっても、本発明によれば、再生データにおける、第１の時間範囲内の素材データを含む第２の時間範囲が特定されるため、素材データに指定された第１の時間範囲と、素材データのその指定範囲が反映されている、再生データ中の第２の時間範囲との相互の対応関係を特定することができる。ここで、「第１の時間」とは素材データを収録した際の時間軸を意味しており、例えば明細書中で説明する「素材時間」に対応している。また、「第２の時間」とは再生データを再生する際の時間軸を意味しており、例えば明細書中で説明する「再生時間」に対応している。これらは、特に断らない限り、本願の特許請求の範囲及び明細書中でも同様である。また、「素材データ」、「再生データ」は、明細書中で説明する「動画データ」、「動画信号」、及び「クリップ」を含む。これらは、特に断らない限り、本願の特許請求の範囲及び明細書中でも同様である。第１の時間範囲内の素材データ、第２の時間範囲の再生データは、例えば、明細書中で説明する「クリップ」に対応している。
【００１３】
また、本発明の編集方法は、前記第１の時間における前記第1の時間範囲と、前記第２の時間における前記第２の時間範囲とのうち、少なくとも前記第２の時間における前記第２の時間範囲をユーザ・インタフェース上に表示することをさらに含んでいてもよい。これにより、素材データに指定された第１の範囲が反映されている再生データの範囲をユーザが視覚的に認識することができる。
【００１４】
さらに、本発明の編集方法は、前記素材データの前記第1の時間範囲には特定の識別情報が含まれており、前記ユーザ・インタフェース上の前記第２の時間範囲が指示されると、前記特定の識別情報を前記ユーザ・インタフェース上に表示することを含んでいてもよい。この構成によれば、例えばユーザがユーザ・インタフェース上でポインタを操作して第２の時間範囲を指示した場合には、特定の識別情報がユーザ・インタフェース上に表示される。これにより、ユーザは、ポインタで指示した再生データの第２の時間範囲が素材データの第1の時間範囲を反映したものであることを視覚的に認識することができる。
【００１５】
あるいは、本発明の編集方法は、前記第１の時間における前記第1の時間範囲と、前記第２の時間における前記第２の時間範囲とを互いに関連付けることと、前記第１の時間における前記第１の時間範囲と、前記第２の時間における前記第２の時間範囲とをユーザ・インタフェース上に表示することと、前記ユーザ・インタフェース上の前記第1の時間範囲が指示されると、該第1の時間範囲に関連付けられた前記第２の時間範囲の表示を変化させ、前記ユーザ・インタフェース上の前記第２の時間範囲が指示されると、該第２の時間範囲に関連付けられた前記第１の時間範囲の表示を変化させることと、をさらに含んでいてもよい。この構成によれば、例えばユーザがユーザ・インタフェース上でポインタを操作して素材データの第1の時間範囲を指示した場合には、その素材データの第1の時間範囲が反映されている再生データの第２の時間範囲を視覚的に認識することができ、その逆もまた然りである。第１の時間範囲あるいは第２の時間範囲の表示を変化させることは、例えば、それらの表示の色を変えたり、表示を点滅させたり、表示の大きさを拡大又は縮小するなどして変えたりすること等を含む。
【００１６】
本発明の他の態様によれば、本発明の編集装置は、第１の時間に従って生成され、かつ第1の時間範囲が指定された素材データから、前記素材データを前記第１の時間とは異なる第２の時間に従って再生する再生データを生成することと、前記再生データにおける、前記第1の時間範囲内の前記素材データを含む第２の時間範囲を特定することと、を実行する処理部を有する。
【００１７】
本発明のさらに他の態様によれば、本発明のコンピュータ・プログラムは、第１の時間に従って生成され、かつ第1の時間範囲が指定された素材データから、前記素材データを前記第１の時間とは異なる第２の時間に従って再生する再生データを生成することと、前記再生データにおける、前記第1の時間範囲内の前記素材データを含む第２の時間範囲を特定することと、をコンピュータに実行させるコンピュータ・プログラムである。
【００１８】
本発明のさらに他の態様によれば、本発明のデータ構造は、第１の時間に従って生成され、かつ第1の時間範囲が指定された素材データと、該素材データから生成された、前記素材データを前記第１の時間とは異なる第２の時間に従って再生する再生データであって、前記再生データにおける、前記第1の時間範囲内の前記素材データを含む第２の時間範囲が特定されている前記再生データと、を有する。
【発明の効果】
【００１９】
本発明によれば、素材データに指定された任意の「範囲」と、タイムリマップ変換処理後の再生データにおける、その素材データの指定範囲が反映されている「範囲」との相互の対応関係を特定することが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施の形態のノンリニア編集装置のブロック図である。
【図２】図１のノンリニア編集装置が実行する、再生時間範囲からそれに対応する素材時間範囲を特定する処理を説明するフローチャートである。
【図３】図１のノンリニア編集装置が実行する、再生時間範囲からそれに対応する素材時間範囲を特定する処理の原理を説明する図である。
【図４】図１のノンリニア編集装置が実行する、素材時間範囲からそれに対応する再生時間範囲を特定する処理を説明するフローチャートである。
【図５】図４に続く、図１のノンリニア編集装置が実行する、素材時間範囲からそれに対応する再生時間範囲を特定する処理を説明するフローチャートである。
【図６】図１のノンリニア編集装置が実行する、素材時間範囲からそれに対応する再生時間範囲を特定する処理の原理を説明する図である。
【図７】グラフ上の交点における微分値及び２回微分値から、それぞれの交点が表す基準位置が範囲の開始位置であるか終了位置であるかを特定する基準を示す表である。
【図８Ａ】クリップ・マーカー機能を備えた編集装置によるタイムリマップの操作を説明するための図である。
【図８Ｂ】クリップ・マーカー機能を備えた編集装置によるタイムリマップの操作を説明するための図である。
【図８Ｃ】クリップ・マーカー機能を備えた編集装置によるタイムリマップの操作を説明するための図である。
【図９】図８Ｃに示す表示画面に対応する、素材時間と再生時間におけるクリップ・マーカーの対応関係を示すグラフである。
【図１０Ａ】素材時間と再生時間におけるクリップ・マーカーの対応関係を示すグラフである。
【図１０Ｂ】素材時間と再生時間におけるクリップ・マーカーの対応関係を示すグラフである。
【図１０Ｃ】素材時間と再生時間におけるクリップ・マーカーの対応関係を示すグラフである。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【００２２】
まず、本発明の第１の実施の形態の編集装置であるノンリニア編集装置について、図１を参照して説明する。図１に示すように、本実施の形態のノンリニア編集装置１は、映像入力部１１と、デコーダ１２と、入力インタフェース（図面では「入力Ｉ／Ｆ」）１３と、マウス、キーボード、コントロールデバイスなどの入力部１３ａと、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１４と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１５と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６と、出力インタフェース（図面では「出力Ｉ／Ｆ」）１７と、ディスプレイ１７ａと、エンコーダ１８と、ハードディスク１９と、映像出力部２０とを備える。
【００２３】
映像入力部１１は、例えば、カメラなどから映像データを入力し、デコーダ１２は、映像入力部１１から入力された映像データを復号する。入力インタフェース１３は、マウス、キーボード、コントロールデバイスなどの入力部１３ａの操作に応じてユーザの指示を入力し、ＣＰＵ１４は、入力インタフェース１３を介して入力されるユーザの指示を受け、ノンリニア編集装置１の全体の処理を制御する。ＲＯＭ１５は、ＣＰＵ１４が実行する各種のアプリケーションプログラム、編集画面や各種待ち受け画面などを含む画面データ、各種機能の初期設定データであるデフォルトデータなどの情報を記憶しており、ＲＡＭ１６は、ＣＰＵ１４の作業メモリとして使用される。出力インタフェース１７は、ＣＰＵ１４の制御のもと、処理された映像及びその他の情報をディスプレイ１７ａに出力する。エンコーダ１８は、ＣＰＵ１４が処理した映像データを符号化し、映像出力部２０は、エンコーダ１８によって符号化された映像データを他の装置へ出力する。ハードディスク１９は、ＣＰＵ１４が処理した映像、映像入力部１１から入力された映像、及びその他の情報を記憶することができる。本実施の形態において、ＣＰＵ１４は処理部として機能する。
【００２４】
次に、本実施の形態のノンリニア編集装置１が実行する処理について説明する。具体的には、再生時間範囲からそれに対応する素材時間範囲を特定する処理、及び素材時間範囲からそれに対応する再生時間範囲を特定する処理について、詳細に説明する。
【００２５】
＜１．再生時間範囲からそれに対応する素材時間範囲を特定する処理＞
まず、本実施の形態のノンリニア編集装置１が実行する、再生時間範囲からそれに対応する素材時間範囲を特定する処理について、図２及び図３を図１と併せて参照して説明する。図２は、本実施の形態のノンリニア編集装置１が実行する、再生時間範囲からそれに対応する素材時間範囲を特定する処理を説明するフローチャートであり、図３は、再生時間範囲からそれに対応する素材時間範囲を特定する処理の原理を説明する図で、ここでは、クリップ・マーカーＡ、Ｂにより素材時間範囲が指定されており、素材となる映像データ（「素材データ」と言う）は既にハードディスク１９に記憶されているものとする。以下の処理は、ＣＰＵ１４の制御の下に行われる。
【００２６】
図２に示すように、まず、素材データに範囲を設定する（ステップＳ１１）。具体的には、ユーザが入力部１３ａを操作して、入力インタフェース１３を介して入力する指示に応じて、ＣＰＵ１４は素材データに、例えば、クリップ・マーカーのイン点Ａとアウト点Ｂを設定する。ＣＰＵ１４は、クリップ・マーカーのイン点Ａとアウト点Ｂなどのクリップ・マーカー情報を、ハードディスク１９に既に記憶している素材データと関連付けて記憶する。これにより、素材時間におけるクリップ・マーカーＡとＢとの間の範囲が素材時間範囲（第1の時間範囲）として指定される。
【００２７】
次に、素材データを編集して再生データを生成する（ステップＳ１２）。具体的には、ユーザによる入力部１３ａの操作に応じて、入力インタフェース１３を介して入力する指示に応じて、ＣＰＵ１４は、ハードディスク１９に記憶した素材データに、素材データをその時間軸（「素材時間」あるいは「第１の時間」）とは時間軸が異なる再生時間（第２の時間）で再生する再生データを生成するためのタイムリマップ編集を行い、素材データにそれぞれ対応する再生速度情報などを付与して再生データを生成する。ここで、ＣＰＵ１４は、素材データを実際にコピーあるいはカットする必要はなく、編集情報をハードディスク１９に記憶した素材データに関連付けて記憶するようにしてもよい。
【００２８】
次に、再生データにおける、素材データに設定された素材時間範囲に対応する部分を特定する（ステップＳ１３）。このステップを行うための具体的な手法は、後述する＜２．素材時間範囲からそれに対応する再生時間範囲を特定する処理＞において詳しく説明する。続いて、その特定した部分から、素材データの時間変化に基づいて、ステップＳ１１で設定された素材時間範囲内の素材データ範囲を特定する（ステップＳ１４）。素材時間（素材データの時間軸）と再生時間（再生データの時間軸）の関係を図３に示す。図３の例では、ＣＰＵ１４は、ハードディスク１９に記憶した素材データと、クリップ・マーカー情報、編集情報に基づいて、再生データにおける、クリップ・マーカーＡ、Ｂで素材データに設定された範囲に対応する部分として、範囲Ａ１〜Ｂ１及び範囲Ｂ２〜Ｂ４を特定し、特定したそれらの範囲において素材時間の最小値と最大値とで画定される範囲を、素材時間範囲内の素材データ範囲として特定する。より具体的には、特定した範囲において素材時間の最小値、すなわち、経過時間が最少の時間を素材時間範囲内の素材データ範囲の開始位置とし、素材時間の最大値、すなわち、経過時間が最大の時間を素材時間範囲内の素材データ範囲の終了位置とする。
【００２９】
ＣＰＵ１４は、上述の処理を、素材時間と再生時間を図３に曲線として描かれた関数に従って演算することで、実行することができる。素材データは厳密には連続的ではなく、所定の間隔で離間した複数のフレームから構成されている。クリップ・マーカーのイン点Ａ、アウト点Ｂによって特定されるフレームをキーフレームＡ、Ｂとすると、ＣＰＵ１４は、範囲Ａ１〜Ｂ１、範囲Ｂ２〜Ｂ４のそれぞれの範囲内のキーフレームの存在しない部分について、例えば、直線的に変化する部分についてはその補間値を線分補間によって算出し、高い曲率で変化する部分についてはベジェ補間によって算出し、キーフレームＡ１、Ｂ１、Ｂ２、Ｂ４の補間値がとる素材時間の最小値と最大値との間の範囲を素材データ範囲として特定する。図３に示す例を参照して説明すると、再生時間における範囲Ａ１〜Ｂ１（第２の時間範囲）は、素材時間における素材時間範囲Ａ〜Ｂの全てを含み、再生時間における範囲Ｂ２〜Ｂ４（第２の時間範囲）は、素材時間における素材時間範囲Ａ〜Ｂの一部である素材データ範囲Ｂ３〜Ｂを含んでいる。本実施の形態の処理によれば、再生時間における範囲Ｂ２〜Ｂ４が素材時間における素材データ範囲Ａ〜Ｂを反映し、再生時間における範囲Ｂ２〜Ｂ４が素材時間における素材データ範囲Ｂ３〜Ｂを反映していることを特定することができる。
なお、本実施の形態では、補間値を線分補間とベジェ補間によって算出するものとして説明するが、本発明はこれに限定されず、実装において好適と判断されればその他の如何なる補間方法を用いてもよいことは明らかである。他の補間方法として、例えばスプライン補完を用いることもできる。
【００３０】
ここで、ＣＰＵ１４が実行する線分補間とベジェ補間の一例を説明する。
まず、線形補間の数式は以下の通りである。
素材時間 ＝（ｋｅｙ２＿ｖａｌｕｅ−ｋｅｙ１＿ｖａｌｕｅ）＊（ｐｏｓ−ｋｅｙ１＿ｐｏｓ）／（ｋｅｙ２＿ｐｏｓ−ｋｅｙ１＿ｐｏｓ）＋ｋｅｙ１＿ｖａｌｕｅ
・・・・・・・（１）
ここで、
ｐｏｓ ： 再生時間の位置
ｋｅｙ１： 再生時間位置より前の近傍のキーフレーム
ｋｅｙ１＿ｐｏｓ ： ｋｅｙ１の再生時間位置
ｋｅｙ１＿ｖａｌｕｅ ： ｋｅｙ１の素材時間位置
ｋｅｙ２： 再生時間位置より後の近傍のキーフレーム
ｋｅｙ２＿ｐｏｓ ： ｋｅｙ２の再生時間位置
ｋｅｙ２＿ｖａｌｕｅ ： ｋｅｙ２の素材時間位置
【００３１】
次に、ベジェ補間の数式は以下の通りである。
再生時間＝ｔ３＊ｋｅｙ２＿ｐｏｓ＋３＊ｔ２＊（１−ｔ）＊ｃｔｒｌ２＿ｐｏｓ＋３ ＊ｔ＊（１−ｔ）２＊ｃｔｒｌ１＿ｐｏｓ＋（１−ｔ）３＊ｋｅｙ１＿ｐｏｓ
素材時間＝ｔ３＊ｋｅｙ２＿ｖａｌｕｅ＋３＊ｔ２＊（１−ｔ）＊ｃｔｒｌ２＿ｖａｌｕｅ＋３＊ｔ＊（１−ｔ）２＊ｃｔｒｌ１＿ｖａｌｕｅ＋（１−ｔ）３＊ｋｅｙ１＿ｖａｌｕｅ ・・・・・・・（２）
ここで、
ｔ ： 媒介変数
ｃｔｒｌ１ ： ベジェのコントロールポイント１
ｃｔｒｌ１＿ｐｏｓ ： ｃｔｒｌ１の再生時間位置
ｃｔｒｌ１＿ｖａｌｕｅ： ｃｔｒｌ１の素材時間位置
ｃｔｒｌ２ ： ベジェのコントロールポイント２
ｃｔｒｌ２＿ｐｏｓ ： ｃｔｒｌ２の再生時間位置
ｃｔｒｌ２＿ｖａｌｕｅ： ｃｔｒｌ２の素材時間位置
【００３２】
上記の線分補間およびベジェ補間により、ＣＰＵ１４は、ステップＳ１３において、クリップ・マーカーＡ、Ｂで画定される素材データの範囲、すなわち素材時間範囲から、その素材時間範囲内の素材データを含む再生データの範囲として、キーフレームＡ１〜Ｂ１で画定される部分と、キーフレームＢ２〜Ｂ４で画定される部分とを特定する。続いて、ＣＰＵ１４は、ステップＳ１４で、対応する再生データのキーフレームＡ１〜Ｂ１で画定される部分およびキーフレームＢ２、Ｂ４で画定される部分において、それぞれ、素材時間が最小値をとる位置を素材データ範囲の開始位置とし、素材時間が最大値をとる位置を素材データ範囲の終了位置とする。こうして、再生データにおける範囲Ａ１〜Ｂ１および範囲Ｂ２〜Ｂ４にそれぞれ対応する素材データ範囲Ａ〜Ｂおよび範囲Ｂ３〜Ｂが特定される。
【００３３】
＜２．素材時間範囲からそれに対応する再生時間範囲を特定する処理＞
本実施の形態のノンリニア編集装置１が実行する、素材時間範囲からそれに対応する再生時間範囲を特定する処理について、図４〜図６を図１と併せて参照して説明する。図４及び図５は、本実施の形態のノンリニア編集装置１が実行する、素材時間範囲からそれに対応する再生時間範囲を特定する処理を説明するフローチャートであり、図６は、ノンリニア編集装置１が実行する、素材時間範囲からそれに対応する再生時間範囲を特定する処理の原理を説明する図で、ここでは一例として、クリップ・マーカーにより範囲Ｃ、Ｄが画定されている場合を示している。以下の処理は、ＣＰＵ１４の制御の下に行われる。また、素材データは既にハードディスク１９に記憶されているものとする。
【００３４】
図４に示すように、まず、素材データに範囲を設定する（ステップＳ２１）。具体的には、ユーザが入力部１３ａを操作して、入力インタフェース１３を介して入力する指示に応じて、ＣＰＵ１４は素材データに、例えば、クリップ・マーカーで範囲Ｃ、Ｄを設定する。ＣＰＵ１４は、クリップ・マーカーで設定した範囲Ｃ、Ｄなどのクリップ・マーカー情報を、ハードディスク１９に既に記憶している素材データと関連付けて記憶する。
【００３５】
次に、素材データを編集して再生データを生成する（ステップＳ２２）。具体的には、ユーザによる入力部１３ａの操作に応じて、入力インタフェース１３を介して入力する指示に応じて、ＣＰＵ１４は、ハードディスク１９に記憶した素材データに、素材データをその時間軸（「素材時間」あるいは「第１の時間」）とは時間軸が異なる再生時間（第２の時間）で再生する再生データを生成するためのタイムリマップ編集を行い、素材データにそれぞれ対応する再生速度情報などを付与し、再生データを生成する。ここで、ＣＰＵ１４は、素材データを実際にコピーあるいはカットする必要はなく、編集情報をハードディスク１９に記憶した素材データに関連付けて記憶するようにしてもよい。
【００３６】
次に、再生データにおける、素材データに設定された素材時間範囲に対応する部分を特定し（ステップＳ２３）、その特定した部分から、素材データの時間変化に基づいて、ステップＳ２１で設定された素材時間範囲内の素材データ範囲を特定する（ステップＳ２４）。図６の例では、ＣＰＵ１４は、ハードディスク１９に記憶した素材データと、クリップ・マーカー情報、編集情報に基づいて、再生データにおける、クリップ・マーカーで素材データに設定された範囲Ｃに対応する部分として範囲ｃ１〜ｃ２を特定し、素材データに設定された範囲Ｄに対応する部分として範囲ｄ１〜ｄ３及び範囲ｄ４〜ｄ５を特定する処理を行う。
【００３７】
図５を参照して、再生データにおける、クリップ・マーカーで素材データに設定された範囲に対応する部分を特定する処理について説明する。
【００３８】
最初に、ＣＰＵ１４は、素材時間範囲の開始位置及び終了位置に対応する、再生時間の位置を基準位置として特定する（ステップＳ２４１）。
【００３９】
ＣＰＵ１４は、この処理を、素材時間と再生時間の関係を図６に曲線として描かれた関数に従って算出することによって実行する。素材データは厳密には連続的ではなく、所定の間隔で離間した複数のフレームから構成されている。ＣＰＵ１４は、範囲Ｃ、範囲Ｄのそれぞれの範囲内のフレームの存在しない部分について、上述のように、例えば、直線的に変化する部分については線分補間によって算出し、高い曲率で変化する部分についてはベジェ補間によって算出する。こうして、ＣＰＵ１４は、Ｓ２３で、範囲Ｃの開始位置とキーフレーム全体の補間値のグラフとが交わる点を全て求めて基準位置Ｃ１を得て、範囲Ｄの開始位置とキーフレーム全体の補間値のグラフとが交わる点を全て求めて基準位置Ｄ１、Ｄ３、Ｄ４を得る。次に、範囲Ｃの終了位置とキーフレーム全体の補間値のグラフとが交わる点を全て求めて基準位置Ｃ２、Ｃ３を得て、範囲Ｄの終了位置とキーフレーム全体の補間値のグラフとが交わる点を全て求めて基準位置Ｄ２、Ｄ５を得る。
【００４０】
次に、各基準位置における、素材時間での再生方向を判定する（ステップＳ２４２）。
【００４１】
この処理を実行するため、ＣＰＵ１４は、求めた全ての基準位置Ｃ１、Ｄ１、Ｄ３、Ｄ４、Ｃ２、Ｄ２、Ｃ３、Ｄ５についてそれぞれの微分値及び２回微分値を算出し、微分値及び２回微分値が正であるか否かに基づいて、それぞれの基準位置における再生方向を判定する。
【００４２】
次に、こうして得た再生方向に基づいて、再生時間における再生範囲の開始位置、終了位置を特定する（ステップＳ２４３）。
【００４３】
図７に、グラフ上の交点における微分値及び２回微分値に基づいて、それぞれの交点が表す基準位置が開始位置又は終了位置であるか否かを特定するための表を示す。
【００４４】
この表に従って、全ての交点について「再生範囲」の「開始位置」と「終了位置」を特定し、交点が「再生範囲」の「開始位置」であれば、その位置から次の交点までの位置を「再生範囲の内側」と判定し、交点が「再生範囲」の「終了位置」であれば、その位置から次の交点までの位置を「再生範囲の外側」と判定する。最後の交点については、次の交点が存在しないためグラフの終端位置を使用する。この判定を最後の交点まで繰り返し、「再生範囲の内側」の集合を得る。また、こうして得られた「再生範囲の内側」の集合について、範囲が隣接しているものは結合する。このようにして、素材データにおいて指定された範囲が反映されている、再生データの範囲（再生範囲）を特定することができる。
【００４５】
具体的な例として、クリップ・マーカーＣ、Ｄの素材時間範囲からそれに対応する再生範囲を特定する処理について説明する。
【００４６】
＜２−１．クリップ・マーカーの範囲Ｃの素材時間範囲からそれに対応する再生時間範囲を特定する処理＞
【００４７】
まず、クリップ・マーカーの範囲Ｃの開始位置とキーフレーム全体の補間値のグラフとが交わる点を求め、交点をＣ１とする。次に、交点Ｃ１の微分値、すなわち、グラフの傾きを求める。交点Ｃ１の微分値は正で、０より大きいので、これは、交点Ｃ１での再生方向が素材時間の正方向であることを意味している。交点Ｃ１はクリップ・マーカーの範囲Ｃの“開始位置”に対応し、かつ微分値は正なので、対応する再生時間を「再生範囲」の開始位置ｃ１とする。
【００４８】
次に、クリップ・マーカーの範囲Ｃの終了位置とキーフレーム全体の補間値のグラフとが交わる点を求め、交点をＣ２、Ｃ３とする。
【００４９】
まず、交点Ｃ２の微分値を求める。交点Ｃ２の微分値は正で、０より大きい。これは、交点Ｃ２の再生方向が、素材時間の正方向であることを意味している。交点Ｃ２はクリップ・マーカーの範囲Ｃの“終了位置”に対応し、かつ微分値が正なので、対応する再生時間を「再生範囲」の終了位置ｃ２とする。
【００５０】
次に、交点Ｃ３の微分値を求める。交点Ｃ３の微分値は０である。これは、交点Ｃ３が極大値又は極小値であることを意味している。これが極大値か極小値かの判定を可能にするために、交点Ｃ３の２回微分値を求める。交点Ｃ３の２回微分値は正で、０より大きいため、交点Ｃ３は極小値であることがわかる。交点Ｃ３はクリップ・マーカーの範囲Ｃの終了位置に対応し、かつ２回微分値が正で極小値なので、対応する再生時間が「再生範囲」の終了位置ｃ３となる。
【００５１】
ｃ１、ｃ２、ｃ３を再生時間の昇順に並び替える。ｃ１〜ｃ２が範囲の内側、ｃ２〜ｃ３が範囲の外側、ｃ３〜グラフ終端が範囲の外側となり、その結果、素材データに指定された範囲Ｃを反映している再生データの範囲として、ｃ１を開始位置、ｃ２を終了位置とする再生範囲ｃ１〜ｃ２が特定される。
＜２−２．クリップ・マーカーの範囲Ｄの素材時間範囲からそれに対応する再生時間範囲を特定する処理＞
【００５２】
まず、クリップ・マーカーの範囲Ｄの開始位置とキーフレーム全体の補間値のグラフとが交わる点を求め、交点をＤ１、Ｄ３、Ｄ４とする。
【００５３】
次に、交点Ｄ１の微分値を求める。交点Ｄ１の微分値は正で、０より大きい。これは、交点Ｄ１の再生方向が素材時間の正方向であることを意味している。交点Ｄ１はクリップ・マーカーの範囲Ｄの「開始位置」に対応し、かつ微分値は正なので、対応する再生時間を「再生範囲」の開始位置ｄ１とする。
【００５４】
交点Ｄ３の微分値を求める。交点Ｄ３の微分値は負で、０より小さい。これは、交点Ｄ３の再生が素材時間の逆方向の再生であることを意味している。交点Ｄ３はクリップ・マーカーの範囲Ｄの「開始位置」に対応し、かつ微分値は負なので、対応する再生時間を「再生範囲」の終了位置ｄ３とする。
【００５５】
交点Ｄ４の微分値を求める。交点Ｄ４の微分値は正で、０より大きい。これは、交点Ｄ４の再生方向が素材時間の正方向であることを意味している。交点Ｄ４はクリップ・マーカーの範囲Ｄの「開始位置」に対応し、かつ微分値は正なので、対応する再生時間を「再生範囲」の開始位置ｄ４とする。
【００５６】
次に、クリップ・マーカーの範囲Ｄの終了位置とキーフレーム全体の補間値のグラフとが交わる点を求め、交点をＤ２、Ｄ５とする。
【００５７】
交点Ｄ２の微分値を求める。微分値は０であるので、交点Ｄ２極大値又は極小値となる。そこで、極大値であるか極小値であるかを判定するために、交点Ｄ２の２回微分値を求める。交点Ｄ２の２回微分値は負で、０より小さいことから、交点Ｄ２は極大値であることがわかる。交点Ｄ２はクリップ・マーカーの範囲Ｄの「終了位置」に対応し、かつ２回微分値が負であることから極大値なので、対応する再生時間を「再生範囲」の開始位置ｄ２（不図示）とする。
【００５８】
交点Ｄ５の微分値を求める。交点Ｄ５の微分値は正で、０より大きい。これは、交点Ｄ５の再生方向が素材時間の正方向であることを意味している。交点Ｄ５はクリップ・マーカーの範囲Ｄの「終了位置」に対応し、かつ微分値が正なので、対応する再生時間を「再生範囲」の終了位置ｄ５とする。
【００５９】
次に、このようにして求めたｄ１〜ｄ５を再生時間の昇順に並び替える。ｄ１〜ｄ２が範囲の内側、ｄ２〜ｄ３が範囲の内側、ｄ３〜ｄが範囲の外側、ｄ４〜ｄ５が範囲の内側、ｄ５からグラフの終端が範囲の外側となる。ｄ１〜ｄ２の範囲とｄ２〜ｄ３の範囲は隣接しているので結合され、その結果、素材データに指定された範囲Ｄを反映している再生データの範囲として、ｄ１を開始位置、ｄ３を終了位置とする再生時間範囲ｄ１〜ｄ３と、ｄ４を開始位置、ｄ５を終了位置とする再生時間範囲ｄ４〜ｄ５とが特定される。
【００６０】
次に、ユーザがノンリニア編集装置１を操作して編集作業を行う際にディスプレイ１７ａに表示される表示画面を図８Ａ〜図８Ｃを参照して説明する。ディスプレイ１７ａに表示される表示画面は、編集作業の進行に伴って図８Ａ〜図８Ｃに示すように変遷する。以下の処理は、基本的には、入力インタフェース１３を介して入力されるユーザの指示などを受けて、ＣＰＵ１４がＲＯＭ１５に記憶されたアプリケーションプログラム、画像データなどを読み出して、実行する。
【００６１】
図８Ａは、制御画面１２０を操作してメニュー・ウインドウ１２７を表示した場面である。図８Ａに示すように、ディスプレイ１７ａに表示される表示画面１００は、画像画面１１０と制御画面１２０とからなり、制御画面１２０には、現在の設定を示す状態画面１２３が表示される。このメニュー・ウインドウ１２７を操作してクリップ・マークの設定（Ｓｅｔ ｃｌｉｐ ｍａｒｋ Ｉｎ／Ｏｕｔ）をクリックすると図８Ｂの画面に切り替わり、クリップ・マーカー及びタイムリマップを用いた編集作業を開始できるようになる。
【００６２】
図８Ｂでは、制御画面１２０に、現在の設定を示す状態画面１２３の他に、素材時間の再生時間を表すタイムライン１２４、タイムラインカーソル１２４ａ、クリップ・マーカー１２５が表示されている。図８Ｂでは、ユーザがイン（Ｉｎ）点とアウト（Ｏｕｔ）点を設定して素材時間範囲１２５ａを指定したクリップ・マーカー１２５をタイムライン１２４に配置し、さらに、タイムラインカーソル１２４ａを操作している状態を表している。図８Ｂに示す例では、上記のように指定された素材時間範囲１２５ａにはその特定の識別情報として「Ｏｎ Ｃｌｏｕｄｓ」なる文字情報が含まれており、タイムラインカーソル１２４ａがその素材時間範囲１２５ａを指示すると、画像画面１１０には「Ｏｎ Ｃｌｏｕｄｓ」と表示されるようになっている。これにより、ユーザは、この画像がクリップ・マーカー１２５で指定された素材時間範囲１２５ａの画像であることを視覚的に認識することができる。
【００６３】
図８Ｃは、ユーザがタイムリマップを行う際の作業画面であり、タイムライン１２４とクリップ・マーカー１２５の他に、タイムリマップ設定画面１２６が現れた状態を示している。タイムリマップ設定画面１２６は、タイムリマップ後の再生時間を示すタイムラインバー１２６ａと、タイムラインバー１２６ａに加えた設定を示す設定バー１２６ｂとからなる。
【００６４】
図９は、図８Ｃの表示画面に対応する、素材時間と再生時間におけるクリップ・マーカーの対応関係を示すグラフである。このタイムリマップ設定画面１２６で編集速度を変更する設定を行うことによって、グラフにタイムリマップによるカーブが生じていることがわかる。
【００６５】
素材データのクリップ・マーカー１２５に付けられた素材時間範囲１２５ａは、図８Ｃに示すタイムリマップ編集後の表示画面に示されたタイムライン１２４では、２つの再生時間範囲１２５ｂ，１２５ｃとして表示されている。この画面でも同様に、タイムラインカーソル１２４ａが再生時間範囲１２５ｂ，１２５ｃを指示すると、画像画面１１０には「Ｏｎ Ｃｌｏｕｄｓ」と表示されるようになっている。これにより、ユーザは、この画像がクリップ・マーカー１２５で指定された素材時間範囲１２５ａ内の画像であることを視覚的に認識することができる。
【００６６】
このように、本実施の形態のノンリニア編集装置１は、第１の時間である素材時間に従って生成され、かつ第１の時間範囲である素材時間範囲が指定された素材データから、素材データを素材時間とは異なる第２の時間である再生時間に従って再生する再生データを生成し、再生データにおける、素材時間範囲内の素材データを含む再生時間範囲を特定する。例えば、再生データが、素材データの再生方向とは反対方向に素材データを再生する範囲である逆再生範囲を含むように再生時間の設定を行った場合には、素材データから再生データを生成すると、素材データの素材時間範囲に対応する再生時間範囲が再生データ内に複数にわたって出現することがある。例えば、図８Ｂに示した素材時間範囲１２５ａに対応して、図８Ｃに示したように２つの再生時間範囲１２５ｂ，１２５ｃが出現することがある。そのような場合であっても、本実施の形態のノンリニア編集装置１によれば、再生データにおける、素材時間範囲１２５ａ内の素材データを含む再生時間範囲１２５ｂ，１２５ｃが特定されるため、素材データに指定された素材時間範囲と、再生データ中における、その素材時間範囲が反映されている再生時間範囲との相互の対応関係を特定することが可能となる。
【００６７】
また、本実施の形態のノンリニア編集装置１は、素材時間における素材時間範囲（図８Ｂの素材時間範囲１２５ａ）と、再生時間における再生時間範囲（図８Ｃの再生時間範囲１２５ｂ，１２５ｃ）とのうち、少なくとも再生時間における再生時間範囲１２５ｂ，１２５ｃをユーザ・インタフェース上に表示するようにしてもよい。これにより、素材データに指定された素材範囲が反映されている再生データの範囲をユーザが視覚的に認識することができる。
【００６８】
さらに、本実施の形態のノンリニア編集装置１は、図８Ｂ、図８Ｃの画像画面１１０に「Ｏｎ Ｃｌｏｕｄｓ」と表示されているように、素材データの素材時間範囲に特定の識別情報が含まれており、ユーザ・インタフェース上の再生時間範囲が指示されると、その特定の識別情報をユーザ・インタフェース上に表示することを含んでいてもよい。この構成によれば、例えばユーザがユーザ・インタフェース上でポインタを操作して再生時間範囲を指示した場合には、特定の識別情報がユーザ・インタフェース上に表示される。これにより、ユーザは、ポインタで指示した再生データの再生時間範囲が素材データの素材時間範囲を反映したものであることを視覚的に認識することができる。
【００６９】
あるいは、本実施の形態のノンリニア編集装置１は、図８Ｃのタイムリマップ設定画面１２６の操作によって、素材時間における素材時間範囲１２５ａと、再生時間における再生時間範囲１２５ｂ，１２５ｃとを互いに関連付け、素材時間における素材時間範囲１２５ａと、再生時間における再生時間範囲１２５ｂ，１２５ｃとをユーザ・インタフェース上に表示し、ユーザ・インタフェース上の素材時間範囲１２５ａが指示されると、該素材時間範囲に関連付けられた再生時間範囲１２５ｂ，１２５ｃの表示を変化させ、ユーザ・インタフェース上の再生時間範囲１２５ｂ，１２５ｃが指示されると、該再生時間範囲に関連付けられた素材時間範囲１２５ａの表示を変化させるようにしてもよい。
これによって、本実施の形態のノンリニア編集装置１は、例えばユーザがユーザ・インタフェース上でポインタを操作して素材データの素材時間範囲を指示した場合には、その素材データの素材時間範囲が反映されている再生データの再生時間範囲を視覚的に認識することができる。また、ユーザがユーザ・インタフェース上でポインタを操作して再生データの再生時間範囲を指示した場合には、その再生データの再生時間範囲に反映されている素材データの素材時間範囲を視覚的に認識することができる。素材時間範囲あるいは再生時間範囲の表示を変化させる場合には、例えば、それらの表示の色を変えたり、表示を点滅させたり、表示の大きさを拡大又は縮小させたりしてもよい。
【００７０】
既に説明したように、編集作業を行う映像データ、すなわち、素材データを実際にコピーあるいはカットする必要はなく、編集情報をハードディスク１９に記憶した素材データに関連付けて記憶するようにしてもよいので、ハードディスク１９に記憶した素材データと編集情報を組み合わせると、再生データともなりうる。
【００７１】
このため、本実施の形態のデータのデータ構造は、例えば、素材データと編集情報を含むとすると、素材時間である第１の時間に従って生成され、かつ素材時間範囲である第1の時間範囲が指定された素材データと、該素材データから生成された、素材データを素材時間とは異なる、再生時間である第２の時間に従って再生する再生データであって、再生データにおける、素材時間範囲内の素材データを含む再生時間である第２の時間範囲が特定されている再生データと、を有する。
【００７２】
また、かかるデータ構造は、素材データの素材時間範囲に、例えば、「Ｏｎ Ｃｌｏｕｄｓ」など、素材時間範囲を識別するための特定の識別情報を含ませてもよい。これによって、該特定の識別情報は、例えば、図８Ｂ、図８Ｃの画像画面１１０の「Ｏｎ Ｃｌｏｕｄｓ」のように、ユーザ・インタフェース上で素材時間範囲や再生時間範囲が指示されたときに特定の識別情報をユーザ・インタフェース上に表示させる処理をコンピュータなどに実行させることができる。
【００７３】
さらに、かかるデータ構造は、図８Ｃのタイムリマップ設定画面１２６のように、素材時間における素材時間範囲と再生時間における再生時間範囲とを互いに関連付け、素材時間範囲及び再生時間範囲は、ユーザ・インタフェース上の素材時間範囲が指示されると、該素材時間範囲に関連付けられた再生時間範囲の表示を変化させ、ユーザ・インタフェース上の再生時間範囲が指示されると、該再生時間範囲に関連付けられた素材時間範囲の表示を変化させる処理がコンピュータによって実行できるようにしてもよい。
【００７４】
以上、本発明の好ましい実施の形態について詳述したが、本発明は係る特定の実施の形態に限定されるものではなく、特許請求の範囲に記載された本発明の範囲内において、種々の変形・変更が可能である。本実施の形態では、ユーザ・インタフェースとして、ディスプレイ１７ａに表示される表示画面を用いたが、本発明はこれに限定されず、様々な形態が相当可能である。また、本発明の編集装置は、ＣＰＵとメモリを含む、一般的なコンピュータを上述した各手段として機能させる編集プログラムによって動作させることができる。編集プログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【符号の説明】
【００７５】
１ ノンリニア変種装置
１１ 映像入力部
１２ デコーダ
１３ 入力Ｉ／Ｆ（インタフェース）
１３ａ 入力部
１４ ＣＰＵ
１５ ＲＯＭ
１６ ＲＡＭ
１７ 出力Ｉ／Ｆ（インタフェース）
１８ エンコーダ
１９ ハードディスク
２０ 映像出力部
【技術分野】
【０００１】
本発明は、編集装置、編集方法、編集プログラム及びデータ構造に関する。
【背景技術】
【０００２】
従来より、映像の編集には、映像を収録したビデオ・テープ又はフィルムに編集を行う手法と、ビデオ・テープ又はフィルムに収録された映像データをデジタル・データに変換して編集を行う手法とが存在する。
【０００３】
映像を収録したビデオ・テープ又はフィルムに編集を行う場合、タイムコードという時間情報を読み取りながら素材となる映像データの時間軸（以後、「素材時間」と言う）に対してシーケンシャルに編集する必要がある。このため、編集作業は素材時間に対してリニア（線形）となる。これに対して、デジタル・データに変換した映像データは、パソコンやワークステーションなどのハードディスクなどに保存すると、素材時間を考えずにランダムにアクセスして、再生方向、再生時間も含めて自由に編集することができる。このため、編集作業は素材時間に対してノンリニア（非線形）となりうる。このことから、デジタルで映像データを編集する装置のことを、「ノンリニア編集装置」とも呼ぶ。かかるノンリニア編集装置を用いると、タイムコードを気にせずに、例えば、途中のカットが不要になった場合は、後のカットを前にずらすなど、従来のビデオ・テープを用いたテープ編集の場合では比較にならないほどの豊富な編集が可能となる。
【０００４】
ノンリニア編集装置では、例えば、ハードディスクに記憶した符号化された映像を読み出して復号・再生を行い、映像をモニタで見ながら作業することができる。従来から、編集対象となる映像データを再生して、その映像を見ながら切り出したいシーンの開始位置（イン点）と終了位置（アウト点）を映像データの対応する位置に設定するノンリニア映像編集装置がある。このイン点及びアウト点は編集情報として映像データに関連づけられて保持され、これらの情報に基づいて、切り出したシーンのクリップが形成される。なお、ノンリニア映像編集では、クリップの形成のために、元の映像データを実際にコピーあるいはカットする必要はなく、クリップの再生時には、クリップを指定することによって、編集情報を参照してイン点からアウト点までの映像データを復号して再生する。
【０００５】
ノンリニア編集装置には、クリップ・マーカーと呼ばれる編集機能を用いて、クリップの映像及び音声の任意のシーン位置にマークを付けることができるものがある。さらに、特許文献１には、タイムリマップと呼ばれる編集機能を用いて、クリップの映像及び音声の再生速度を任意の速度に自由に変化させ、再生速度の変化の状態をユーザ・インタフェースに表示する編集装置が開示されている。再生速度は、例えば、ユーザが指定するキーフレームと、キーフレームを利用した線分補間とベジェ（Ｂｅｚｉｅｒ）補間の数式の集合によって変化させることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許出願公開第２００８／０２５３７３５号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来の方法では、素材となる映像データ（以後、「素材データ」と言う）にタイムリマップの変換処理を含む編集を行って再生する映像データ（以後、「再生データ」と呼ぶ）を生成した場合、素材データに付した素材時間上の所与の「位置」を示すマークを、再生データに反映させることは比較的容易である。しかしながら、素材データに、素材時間上の所与の「範囲」を画定するマークを付した場合には、素材時間から再生時間へのタイムリマップ変換処理を単に適用するだけでは、その範囲の開始点と終了点との２点間の時間変化が考慮されないため、素材データに付したマークが示す範囲を再生データに正しく反映できない場合があった。
【０００８】
図１０Ａ〜図１０Ｃは、素材時間と再生時間とにおける、クリップ・マーカーの対応関係を示すグラフである。図１０Ａ〜図１０Ｃでは、素材データの任意の位置に付けられたマークをクリップ・マーカーａ、ｂ、ｃ、ｄ、ｅとして示している。図１０Ａは、素材時間と同じ再生速度で再生を行うように再生時間が設定されている場合を示している。図１０Ａの例では、実線で示すように、素材時間のクリップ・マーカーａ、ｂの各々に対して一つの再生時間ａ’、ｂ’が存在しており、また、点線で示すように、再生時間ａ’、ｂ’に対しても一つの素材時間ａ、ｂが存在している。図１０Ｂは、素材時間の再生速度を変化させて再生を行うように再生時間が設定されている場合を示している。図１０Ｂの例では、実線に示すように、例えば、クリップ・マーカーｄが示す素材時間に対して複数の再生時間ｄ１’、ｄ２’、ｄ３’が存在している。また、図１０Ｃは、素材時間の再生速度を変化させて再生を行うように再生時間が設定されている場合の他の例を示している。図１０Ｃの例では、クリップ・マーカーｅが示す素材時間に対して対応する再生時間が存在していない。しかしこの場合であっても、再生時間の例えばｆで示す時間に対応する素材時間は必ず一つ存在している。
【０００９】
素材時間と再生時間とが同じ場合（図１０Ａ）には、再生時間の各々の位置と、これに対応する素材時間の位置とが一対一に対応する。これに対し、図１０Ｂ、図１０Ｃに示すように、素材時間の再生速度を変化させて再生を行うように再生時間が設定されている場合には、素材時間の各々の位置に対応する再生時間が存在しない場合もあるし、あるいは複数存在する場合もある。
上述したように、素材データの所与の範囲にクリップ・マーカーを付けて素材時間から再生時間へのタイムリマップによる変換処理を単に適用するだけでは、その範囲の開始点と終了点との２点間の時間変化が考慮されないため、素材データにクリップ・マーカーで指定した範囲を再生データに正しく反映させることはできない。例えば、図１０Ｂに示したクリップマーカーｄが指定範囲の開始点あるいは終了点となるように範囲を指定した場合には、それに対応する再生時間ｄ１’、ｄ２’、ｄ３’を知ることはできるものの、ｄ１’−ｄ２’間の時間変化やｄ２’−ｄ３’間の時間変化は考慮されない。そのため、再生時間におけるｄ１’−ｄ２’間やｄ２’−ｄ３’間の範囲が、素材時間において指定された範囲に対応しているかどうかを判断することができない。
このため、素材データが、例えば、サッカー中継の録画データであり、その中の１つのゴール場面の範囲をクリップ・マーカーで指定した場合、タイムリマップの変換処理後に、クリップ・マーカーによって指定されたゴール場面を再生データで再生しようとしても、素材データに指定したゴール場面の範囲が、タイムリマップの変換処理後の再生データのどの範囲に対応しているのかを正しく特定することができないため、その場面の一部分しか再生されない、あるいは適切に再生されない場合が起こりうる。
このように、従来技術では、素材データの任意の「位置」と、タイムリマップ変換処理後の再生データにおける、その位置が反映されている「位置」との相互の対応関係を特定することは可能であった。しかしながら、素材データに指定された任意の「範囲」と、タイムリマップ変換処理後の再生データにおける、その素材データの指定範囲が反映されている「範囲」との相互の対応関係を特定することは困難であった。
【００１０】
そこで本発明は、素材データに指定された任意の「範囲」と、タイムリマップ変換処理後の再生データにおける、その素材データの指定範囲が反映されている「範囲」との相互の対応関係を特定することを可能にする、編集装置、編集方法、編集プログラム及びデータ構造を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の一態様によれば、本発明の編集方法は、第１の時間に従って生成され、かつ第1の時間範囲が指定された素材データから、前記素材データを前記第１の時間とは異なる第２の時間に従って再生する再生データを生成することと、前記再生データにおける、前記第１の時間範囲内の前記素材データを含む第２の時間範囲を特定することと、を含む。
【００１２】
例えば、再生データが素材データの逆再生範囲を含むように第２の時間の設定を行った場合には、素材データから再生データを生成すると、素材データの第１の時間範囲に対応する第２の時間範囲が再生データ内に複数にわたって出現することがある。そのような場合であっても、本発明によれば、再生データにおける、第１の時間範囲内の素材データを含む第２の時間範囲が特定されるため、素材データに指定された第１の時間範囲と、素材データのその指定範囲が反映されている、再生データ中の第２の時間範囲との相互の対応関係を特定することができる。ここで、「第１の時間」とは素材データを収録した際の時間軸を意味しており、例えば明細書中で説明する「素材時間」に対応している。また、「第２の時間」とは再生データを再生する際の時間軸を意味しており、例えば明細書中で説明する「再生時間」に対応している。これらは、特に断らない限り、本願の特許請求の範囲及び明細書中でも同様である。また、「素材データ」、「再生データ」は、明細書中で説明する「動画データ」、「動画信号」、及び「クリップ」を含む。これらは、特に断らない限り、本願の特許請求の範囲及び明細書中でも同様である。第１の時間範囲内の素材データ、第２の時間範囲の再生データは、例えば、明細書中で説明する「クリップ」に対応している。
【００１３】
また、本発明の編集方法は、前記第１の時間における前記第1の時間範囲と、前記第２の時間における前記第２の時間範囲とのうち、少なくとも前記第２の時間における前記第２の時間範囲をユーザ・インタフェース上に表示することをさらに含んでいてもよい。これにより、素材データに指定された第１の範囲が反映されている再生データの範囲をユーザが視覚的に認識することができる。
【００１４】
さらに、本発明の編集方法は、前記素材データの前記第1の時間範囲には特定の識別情報が含まれており、前記ユーザ・インタフェース上の前記第２の時間範囲が指示されると、前記特定の識別情報を前記ユーザ・インタフェース上に表示することを含んでいてもよい。この構成によれば、例えばユーザがユーザ・インタフェース上でポインタを操作して第２の時間範囲を指示した場合には、特定の識別情報がユーザ・インタフェース上に表示される。これにより、ユーザは、ポインタで指示した再生データの第２の時間範囲が素材データの第1の時間範囲を反映したものであることを視覚的に認識することができる。
【００１５】
あるいは、本発明の編集方法は、前記第１の時間における前記第1の時間範囲と、前記第２の時間における前記第２の時間範囲とを互いに関連付けることと、前記第１の時間における前記第１の時間範囲と、前記第２の時間における前記第２の時間範囲とをユーザ・インタフェース上に表示することと、前記ユーザ・インタフェース上の前記第1の時間範囲が指示されると、該第1の時間範囲に関連付けられた前記第２の時間範囲の表示を変化させ、前記ユーザ・インタフェース上の前記第２の時間範囲が指示されると、該第２の時間範囲に関連付けられた前記第１の時間範囲の表示を変化させることと、をさらに含んでいてもよい。この構成によれば、例えばユーザがユーザ・インタフェース上でポインタを操作して素材データの第1の時間範囲を指示した場合には、その素材データの第1の時間範囲が反映されている再生データの第２の時間範囲を視覚的に認識することができ、その逆もまた然りである。第１の時間範囲あるいは第２の時間範囲の表示を変化させることは、例えば、それらの表示の色を変えたり、表示を点滅させたり、表示の大きさを拡大又は縮小するなどして変えたりすること等を含む。
【００１６】
本発明の他の態様によれば、本発明の編集装置は、第１の時間に従って生成され、かつ第1の時間範囲が指定された素材データから、前記素材データを前記第１の時間とは異なる第２の時間に従って再生する再生データを生成することと、前記再生データにおける、前記第1の時間範囲内の前記素材データを含む第２の時間範囲を特定することと、を実行する処理部を有する。
【００１７】
本発明のさらに他の態様によれば、本発明のコンピュータ・プログラムは、第１の時間に従って生成され、かつ第1の時間範囲が指定された素材データから、前記素材データを前記第１の時間とは異なる第２の時間に従って再生する再生データを生成することと、前記再生データにおける、前記第1の時間範囲内の前記素材データを含む第２の時間範囲を特定することと、をコンピュータに実行させるコンピュータ・プログラムである。
【００１８】
本発明のさらに他の態様によれば、本発明のデータ構造は、第１の時間に従って生成され、かつ第1の時間範囲が指定された素材データと、該素材データから生成された、前記素材データを前記第１の時間とは異なる第２の時間に従って再生する再生データであって、前記再生データにおける、前記第1の時間範囲内の前記素材データを含む第２の時間範囲が特定されている前記再生データと、を有する。
【発明の効果】
【００１９】
本発明によれば、素材データに指定された任意の「範囲」と、タイムリマップ変換処理後の再生データにおける、その素材データの指定範囲が反映されている「範囲」との相互の対応関係を特定することが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施の形態のノンリニア編集装置のブロック図である。
【図２】図１のノンリニア編集装置が実行する、再生時間範囲からそれに対応する素材時間範囲を特定する処理を説明するフローチャートである。
【図３】図１のノンリニア編集装置が実行する、再生時間範囲からそれに対応する素材時間範囲を特定する処理の原理を説明する図である。
【図４】図１のノンリニア編集装置が実行する、素材時間範囲からそれに対応する再生時間範囲を特定する処理を説明するフローチャートである。
【図５】図４に続く、図１のノンリニア編集装置が実行する、素材時間範囲からそれに対応する再生時間範囲を特定する処理を説明するフローチャートである。
【図６】図１のノンリニア編集装置が実行する、素材時間範囲からそれに対応する再生時間範囲を特定する処理の原理を説明する図である。
【図７】グラフ上の交点における微分値及び２回微分値から、それぞれの交点が表す基準位置が範囲の開始位置であるか終了位置であるかを特定する基準を示す表である。
【図８Ａ】クリップ・マーカー機能を備えた編集装置によるタイムリマップの操作を説明するための図である。
【図８Ｂ】クリップ・マーカー機能を備えた編集装置によるタイムリマップの操作を説明するための図である。
【図８Ｃ】クリップ・マーカー機能を備えた編集装置によるタイムリマップの操作を説明するための図である。
【図９】図８Ｃに示す表示画面に対応する、素材時間と再生時間におけるクリップ・マーカーの対応関係を示すグラフである。
【図１０Ａ】素材時間と再生時間におけるクリップ・マーカーの対応関係を示すグラフである。
【図１０Ｂ】素材時間と再生時間におけるクリップ・マーカーの対応関係を示すグラフである。
【図１０Ｃ】素材時間と再生時間におけるクリップ・マーカーの対応関係を示すグラフである。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【００２２】
まず、本発明の第１の実施の形態の編集装置であるノンリニア編集装置について、図１を参照して説明する。図１に示すように、本実施の形態のノンリニア編集装置１は、映像入力部１１と、デコーダ１２と、入力インタフェース（図面では「入力Ｉ／Ｆ」）１３と、マウス、キーボード、コントロールデバイスなどの入力部１３ａと、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１４と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１５と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６と、出力インタフェース（図面では「出力Ｉ／Ｆ」）１７と、ディスプレイ１７ａと、エンコーダ１８と、ハードディスク１９と、映像出力部２０とを備える。
【００２３】
映像入力部１１は、例えば、カメラなどから映像データを入力し、デコーダ１２は、映像入力部１１から入力された映像データを復号する。入力インタフェース１３は、マウス、キーボード、コントロールデバイスなどの入力部１３ａの操作に応じてユーザの指示を入力し、ＣＰＵ１４は、入力インタフェース１３を介して入力されるユーザの指示を受け、ノンリニア編集装置１の全体の処理を制御する。ＲＯＭ１５は、ＣＰＵ１４が実行する各種のアプリケーションプログラム、編集画面や各種待ち受け画面などを含む画面データ、各種機能の初期設定データであるデフォルトデータなどの情報を記憶しており、ＲＡＭ１６は、ＣＰＵ１４の作業メモリとして使用される。出力インタフェース１７は、ＣＰＵ１４の制御のもと、処理された映像及びその他の情報をディスプレイ１７ａに出力する。エンコーダ１８は、ＣＰＵ１４が処理した映像データを符号化し、映像出力部２０は、エンコーダ１８によって符号化された映像データを他の装置へ出力する。ハードディスク１９は、ＣＰＵ１４が処理した映像、映像入力部１１から入力された映像、及びその他の情報を記憶することができる。本実施の形態において、ＣＰＵ１４は処理部として機能する。
【００２４】
次に、本実施の形態のノンリニア編集装置１が実行する処理について説明する。具体的には、再生時間範囲からそれに対応する素材時間範囲を特定する処理、及び素材時間範囲からそれに対応する再生時間範囲を特定する処理について、詳細に説明する。
【００２５】
＜１．再生時間範囲からそれに対応する素材時間範囲を特定する処理＞
まず、本実施の形態のノンリニア編集装置１が実行する、再生時間範囲からそれに対応する素材時間範囲を特定する処理について、図２及び図３を図１と併せて参照して説明する。図２は、本実施の形態のノンリニア編集装置１が実行する、再生時間範囲からそれに対応する素材時間範囲を特定する処理を説明するフローチャートであり、図３は、再生時間範囲からそれに対応する素材時間範囲を特定する処理の原理を説明する図で、ここでは、クリップ・マーカーＡ、Ｂにより素材時間範囲が指定されており、素材となる映像データ（「素材データ」と言う）は既にハードディスク１９に記憶されているものとする。以下の処理は、ＣＰＵ１４の制御の下に行われる。
【００２６】
図２に示すように、まず、素材データに範囲を設定する（ステップＳ１１）。具体的には、ユーザが入力部１３ａを操作して、入力インタフェース１３を介して入力する指示に応じて、ＣＰＵ１４は素材データに、例えば、クリップ・マーカーのイン点Ａとアウト点Ｂを設定する。ＣＰＵ１４は、クリップ・マーカーのイン点Ａとアウト点Ｂなどのクリップ・マーカー情報を、ハードディスク１９に既に記憶している素材データと関連付けて記憶する。これにより、素材時間におけるクリップ・マーカーＡとＢとの間の範囲が素材時間範囲（第1の時間範囲）として指定される。
【００２７】
次に、素材データを編集して再生データを生成する（ステップＳ１２）。具体的には、ユーザによる入力部１３ａの操作に応じて、入力インタフェース１３を介して入力する指示に応じて、ＣＰＵ１４は、ハードディスク１９に記憶した素材データに、素材データをその時間軸（「素材時間」あるいは「第１の時間」）とは時間軸が異なる再生時間（第２の時間）で再生する再生データを生成するためのタイムリマップ編集を行い、素材データにそれぞれ対応する再生速度情報などを付与して再生データを生成する。ここで、ＣＰＵ１４は、素材データを実際にコピーあるいはカットする必要はなく、編集情報をハードディスク１９に記憶した素材データに関連付けて記憶するようにしてもよい。
【００２８】
次に、再生データにおける、素材データに設定された素材時間範囲に対応する部分を特定する（ステップＳ１３）。このステップを行うための具体的な手法は、後述する＜２．素材時間範囲からそれに対応する再生時間範囲を特定する処理＞において詳しく説明する。続いて、その特定した部分から、素材データの時間変化に基づいて、ステップＳ１１で設定された素材時間範囲内の素材データ範囲を特定する（ステップＳ１４）。素材時間（素材データの時間軸）と再生時間（再生データの時間軸）の関係を図３に示す。図３の例では、ＣＰＵ１４は、ハードディスク１９に記憶した素材データと、クリップ・マーカー情報、編集情報に基づいて、再生データにおける、クリップ・マーカーＡ、Ｂで素材データに設定された範囲に対応する部分として、範囲Ａ１〜Ｂ１及び範囲Ｂ２〜Ｂ４を特定し、特定したそれらの範囲において素材時間の最小値と最大値とで画定される範囲を、素材時間範囲内の素材データ範囲として特定する。より具体的には、特定した範囲において素材時間の最小値、すなわち、経過時間が最少の時間を素材時間範囲内の素材データ範囲の開始位置とし、素材時間の最大値、すなわち、経過時間が最大の時間を素材時間範囲内の素材データ範囲の終了位置とする。
【００２９】
ＣＰＵ１４は、上述の処理を、素材時間と再生時間を図３に曲線として描かれた関数に従って演算することで、実行することができる。素材データは厳密には連続的ではなく、所定の間隔で離間した複数のフレームから構成されている。クリップ・マーカーのイン点Ａ、アウト点Ｂによって特定されるフレームをキーフレームＡ、Ｂとすると、ＣＰＵ１４は、範囲Ａ１〜Ｂ１、範囲Ｂ２〜Ｂ４のそれぞれの範囲内のキーフレームの存在しない部分について、例えば、直線的に変化する部分についてはその補間値を線分補間によって算出し、高い曲率で変化する部分についてはベジェ補間によって算出し、キーフレームＡ１、Ｂ１、Ｂ２、Ｂ４の補間値がとる素材時間の最小値と最大値との間の範囲を素材データ範囲として特定する。図３に示す例を参照して説明すると、再生時間における範囲Ａ１〜Ｂ１（第２の時間範囲）は、素材時間における素材時間範囲Ａ〜Ｂの全てを含み、再生時間における範囲Ｂ２〜Ｂ４（第２の時間範囲）は、素材時間における素材時間範囲Ａ〜Ｂの一部である素材データ範囲Ｂ３〜Ｂを含んでいる。本実施の形態の処理によれば、再生時間における範囲Ｂ２〜Ｂ４が素材時間における素材データ範囲Ａ〜Ｂを反映し、再生時間における範囲Ｂ２〜Ｂ４が素材時間における素材データ範囲Ｂ３〜Ｂを反映していることを特定することができる。
なお、本実施の形態では、補間値を線分補間とベジェ補間によって算出するものとして説明するが、本発明はこれに限定されず、実装において好適と判断されればその他の如何なる補間方法を用いてもよいことは明らかである。他の補間方法として、例えばスプライン補完を用いることもできる。
【００３０】
ここで、ＣＰＵ１４が実行する線分補間とベジェ補間の一例を説明する。
まず、線形補間の数式は以下の通りである。
素材時間 ＝（ｋｅｙ２＿ｖａｌｕｅ−ｋｅｙ１＿ｖａｌｕｅ）＊（ｐｏｓ−ｋｅｙ１＿ｐｏｓ）／（ｋｅｙ２＿ｐｏｓ−ｋｅｙ１＿ｐｏｓ）＋ｋｅｙ１＿ｖａｌｕｅ
・・・・・・・（１）
ここで、
ｐｏｓ ： 再生時間の位置
ｋｅｙ１： 再生時間位置より前の近傍のキーフレーム
ｋｅｙ１＿ｐｏｓ ： ｋｅｙ１の再生時間位置
ｋｅｙ１＿ｖａｌｕｅ ： ｋｅｙ１の素材時間位置
ｋｅｙ２： 再生時間位置より後の近傍のキーフレーム
ｋｅｙ２＿ｐｏｓ ： ｋｅｙ２の再生時間位置
ｋｅｙ２＿ｖａｌｕｅ ： ｋｅｙ２の素材時間位置
【００３１】
次に、ベジェ補間の数式は以下の通りである。
再生時間＝ｔ３＊ｋｅｙ２＿ｐｏｓ＋３＊ｔ２＊（１−ｔ）＊ｃｔｒｌ２＿ｐｏｓ＋３ ＊ｔ＊（１−ｔ）２＊ｃｔｒｌ１＿ｐｏｓ＋（１−ｔ）３＊ｋｅｙ１＿ｐｏｓ
素材時間＝ｔ３＊ｋｅｙ２＿ｖａｌｕｅ＋３＊ｔ２＊（１−ｔ）＊ｃｔｒｌ２＿ｖａｌｕｅ＋３＊ｔ＊（１−ｔ）２＊ｃｔｒｌ１＿ｖａｌｕｅ＋（１−ｔ）３＊ｋｅｙ１＿ｖａｌｕｅ ・・・・・・・（２）
ここで、
ｔ ： 媒介変数
ｃｔｒｌ１ ： ベジェのコントロールポイント１
ｃｔｒｌ１＿ｐｏｓ ： ｃｔｒｌ１の再生時間位置
ｃｔｒｌ１＿ｖａｌｕｅ： ｃｔｒｌ１の素材時間位置
ｃｔｒｌ２ ： ベジェのコントロールポイント２
ｃｔｒｌ２＿ｐｏｓ ： ｃｔｒｌ２の再生時間位置
ｃｔｒｌ２＿ｖａｌｕｅ： ｃｔｒｌ２の素材時間位置
【００３２】
上記の線分補間およびベジェ補間により、ＣＰＵ１４は、ステップＳ１３において、クリップ・マーカーＡ、Ｂで画定される素材データの範囲、すなわち素材時間範囲から、その素材時間範囲内の素材データを含む再生データの範囲として、キーフレームＡ１〜Ｂ１で画定される部分と、キーフレームＢ２〜Ｂ４で画定される部分とを特定する。続いて、ＣＰＵ１４は、ステップＳ１４で、対応する再生データのキーフレームＡ１〜Ｂ１で画定される部分およびキーフレームＢ２、Ｂ４で画定される部分において、それぞれ、素材時間が最小値をとる位置を素材データ範囲の開始位置とし、素材時間が最大値をとる位置を素材データ範囲の終了位置とする。こうして、再生データにおける範囲Ａ１〜Ｂ１および範囲Ｂ２〜Ｂ４にそれぞれ対応する素材データ範囲Ａ〜Ｂおよび範囲Ｂ３〜Ｂが特定される。
【００３３】
＜２．素材時間範囲からそれに対応する再生時間範囲を特定する処理＞
本実施の形態のノンリニア編集装置１が実行する、素材時間範囲からそれに対応する再生時間範囲を特定する処理について、図４〜図６を図１と併せて参照して説明する。図４及び図５は、本実施の形態のノンリニア編集装置１が実行する、素材時間範囲からそれに対応する再生時間範囲を特定する処理を説明するフローチャートであり、図６は、ノンリニア編集装置１が実行する、素材時間範囲からそれに対応する再生時間範囲を特定する処理の原理を説明する図で、ここでは一例として、クリップ・マーカーにより範囲Ｃ、Ｄが画定されている場合を示している。以下の処理は、ＣＰＵ１４の制御の下に行われる。また、素材データは既にハードディスク１９に記憶されているものとする。
【００３４】
図４に示すように、まず、素材データに範囲を設定する（ステップＳ２１）。具体的には、ユーザが入力部１３ａを操作して、入力インタフェース１３を介して入力する指示に応じて、ＣＰＵ１４は素材データに、例えば、クリップ・マーカーで範囲Ｃ、Ｄを設定する。ＣＰＵ１４は、クリップ・マーカーで設定した範囲Ｃ、Ｄなどのクリップ・マーカー情報を、ハードディスク１９に既に記憶している素材データと関連付けて記憶する。
【００３５】
次に、素材データを編集して再生データを生成する（ステップＳ２２）。具体的には、ユーザによる入力部１３ａの操作に応じて、入力インタフェース１３を介して入力する指示に応じて、ＣＰＵ１４は、ハードディスク１９に記憶した素材データに、素材データをその時間軸（「素材時間」あるいは「第１の時間」）とは時間軸が異なる再生時間（第２の時間）で再生する再生データを生成するためのタイムリマップ編集を行い、素材データにそれぞれ対応する再生速度情報などを付与し、再生データを生成する。ここで、ＣＰＵ１４は、素材データを実際にコピーあるいはカットする必要はなく、編集情報をハードディスク１９に記憶した素材データに関連付けて記憶するようにしてもよい。
【００３６】
次に、再生データにおける、素材データに設定された素材時間範囲に対応する部分を特定し（ステップＳ２３）、その特定した部分から、素材データの時間変化に基づいて、ステップＳ２１で設定された素材時間範囲内の素材データ範囲を特定する（ステップＳ２４）。図６の例では、ＣＰＵ１４は、ハードディスク１９に記憶した素材データと、クリップ・マーカー情報、編集情報に基づいて、再生データにおける、クリップ・マーカーで素材データに設定された範囲Ｃに対応する部分として範囲ｃ１〜ｃ２を特定し、素材データに設定された範囲Ｄに対応する部分として範囲ｄ１〜ｄ３及び範囲ｄ４〜ｄ５を特定する処理を行う。
【００３７】
図５を参照して、再生データにおける、クリップ・マーカーで素材データに設定された範囲に対応する部分を特定する処理について説明する。
【００３８】
最初に、ＣＰＵ１４は、素材時間範囲の開始位置及び終了位置に対応する、再生時間の位置を基準位置として特定する（ステップＳ２４１）。
【００３９】
ＣＰＵ１４は、この処理を、素材時間と再生時間の関係を図６に曲線として描かれた関数に従って算出することによって実行する。素材データは厳密には連続的ではなく、所定の間隔で離間した複数のフレームから構成されている。ＣＰＵ１４は、範囲Ｃ、範囲Ｄのそれぞれの範囲内のフレームの存在しない部分について、上述のように、例えば、直線的に変化する部分については線分補間によって算出し、高い曲率で変化する部分についてはベジェ補間によって算出する。こうして、ＣＰＵ１４は、Ｓ２３で、範囲Ｃの開始位置とキーフレーム全体の補間値のグラフとが交わる点を全て求めて基準位置Ｃ１を得て、範囲Ｄの開始位置とキーフレーム全体の補間値のグラフとが交わる点を全て求めて基準位置Ｄ１、Ｄ３、Ｄ４を得る。次に、範囲Ｃの終了位置とキーフレーム全体の補間値のグラフとが交わる点を全て求めて基準位置Ｃ２、Ｃ３を得て、範囲Ｄの終了位置とキーフレーム全体の補間値のグラフとが交わる点を全て求めて基準位置Ｄ２、Ｄ５を得る。
【００４０】
次に、各基準位置における、素材時間での再生方向を判定する（ステップＳ２４２）。
【００４１】
この処理を実行するため、ＣＰＵ１４は、求めた全ての基準位置Ｃ１、Ｄ１、Ｄ３、Ｄ４、Ｃ２、Ｄ２、Ｃ３、Ｄ５についてそれぞれの微分値及び２回微分値を算出し、微分値及び２回微分値が正であるか否かに基づいて、それぞれの基準位置における再生方向を判定する。
【００４２】
次に、こうして得た再生方向に基づいて、再生時間における再生範囲の開始位置、終了位置を特定する（ステップＳ２４３）。
【００４３】
図７に、グラフ上の交点における微分値及び２回微分値に基づいて、それぞれの交点が表す基準位置が開始位置又は終了位置であるか否かを特定するための表を示す。
【００４４】
この表に従って、全ての交点について「再生範囲」の「開始位置」と「終了位置」を特定し、交点が「再生範囲」の「開始位置」であれば、その位置から次の交点までの位置を「再生範囲の内側」と判定し、交点が「再生範囲」の「終了位置」であれば、その位置から次の交点までの位置を「再生範囲の外側」と判定する。最後の交点については、次の交点が存在しないためグラフの終端位置を使用する。この判定を最後の交点まで繰り返し、「再生範囲の内側」の集合を得る。また、こうして得られた「再生範囲の内側」の集合について、範囲が隣接しているものは結合する。このようにして、素材データにおいて指定された範囲が反映されている、再生データの範囲（再生範囲）を特定することができる。
【００４５】
具体的な例として、クリップ・マーカーＣ、Ｄの素材時間範囲からそれに対応する再生範囲を特定する処理について説明する。
【００４６】
＜２−１．クリップ・マーカーの範囲Ｃの素材時間範囲からそれに対応する再生時間範囲を特定する処理＞
【００４７】
まず、クリップ・マーカーの範囲Ｃの開始位置とキーフレーム全体の補間値のグラフとが交わる点を求め、交点をＣ１とする。次に、交点Ｃ１の微分値、すなわち、グラフの傾きを求める。交点Ｃ１の微分値は正で、０より大きいので、これは、交点Ｃ１での再生方向が素材時間の正方向であることを意味している。交点Ｃ１はクリップ・マーカーの範囲Ｃの“開始位置”に対応し、かつ微分値は正なので、対応する再生時間を「再生範囲」の開始位置ｃ１とする。
【００４８】
次に、クリップ・マーカーの範囲Ｃの終了位置とキーフレーム全体の補間値のグラフとが交わる点を求め、交点をＣ２、Ｃ３とする。
【００４９】
まず、交点Ｃ２の微分値を求める。交点Ｃ２の微分値は正で、０より大きい。これは、交点Ｃ２の再生方向が、素材時間の正方向であることを意味している。交点Ｃ２はクリップ・マーカーの範囲Ｃの“終了位置”に対応し、かつ微分値が正なので、対応する再生時間を「再生範囲」の終了位置ｃ２とする。
【００５０】
次に、交点Ｃ３の微分値を求める。交点Ｃ３の微分値は０である。これは、交点Ｃ３が極大値又は極小値であることを意味している。これが極大値か極小値かの判定を可能にするために、交点Ｃ３の２回微分値を求める。交点Ｃ３の２回微分値は正で、０より大きいため、交点Ｃ３は極小値であることがわかる。交点Ｃ３はクリップ・マーカーの範囲Ｃの終了位置に対応し、かつ２回微分値が正で極小値なので、対応する再生時間が「再生範囲」の終了位置ｃ３となる。
【００５１】
ｃ１、ｃ２、ｃ３を再生時間の昇順に並び替える。ｃ１〜ｃ２が範囲の内側、ｃ２〜ｃ３が範囲の外側、ｃ３〜グラフ終端が範囲の外側となり、その結果、素材データに指定された範囲Ｃを反映している再生データの範囲として、ｃ１を開始位置、ｃ２を終了位置とする再生範囲ｃ１〜ｃ２が特定される。
＜２−２．クリップ・マーカーの範囲Ｄの素材時間範囲からそれに対応する再生時間範囲を特定する処理＞
【００５２】
まず、クリップ・マーカーの範囲Ｄの開始位置とキーフレーム全体の補間値のグラフとが交わる点を求め、交点をＤ１、Ｄ３、Ｄ４とする。
【００５３】
次に、交点Ｄ１の微分値を求める。交点Ｄ１の微分値は正で、０より大きい。これは、交点Ｄ１の再生方向が素材時間の正方向であることを意味している。交点Ｄ１はクリップ・マーカーの範囲Ｄの「開始位置」に対応し、かつ微分値は正なので、対応する再生時間を「再生範囲」の開始位置ｄ１とする。
【００５４】
交点Ｄ３の微分値を求める。交点Ｄ３の微分値は負で、０より小さい。これは、交点Ｄ３の再生が素材時間の逆方向の再生であることを意味している。交点Ｄ３はクリップ・マーカーの範囲Ｄの「開始位置」に対応し、かつ微分値は負なので、対応する再生時間を「再生範囲」の終了位置ｄ３とする。
【００５５】
交点Ｄ４の微分値を求める。交点Ｄ４の微分値は正で、０より大きい。これは、交点Ｄ４の再生方向が素材時間の正方向であることを意味している。交点Ｄ４はクリップ・マーカーの範囲Ｄの「開始位置」に対応し、かつ微分値は正なので、対応する再生時間を「再生範囲」の開始位置ｄ４とする。
【００５６】
次に、クリップ・マーカーの範囲Ｄの終了位置とキーフレーム全体の補間値のグラフとが交わる点を求め、交点をＤ２、Ｄ５とする。
【００５７】
交点Ｄ２の微分値を求める。微分値は０であるので、交点Ｄ２極大値又は極小値となる。そこで、極大値であるか極小値であるかを判定するために、交点Ｄ２の２回微分値を求める。交点Ｄ２の２回微分値は負で、０より小さいことから、交点Ｄ２は極大値であることがわかる。交点Ｄ２はクリップ・マーカーの範囲Ｄの「終了位置」に対応し、かつ２回微分値が負であることから極大値なので、対応する再生時間を「再生範囲」の開始位置ｄ２（不図示）とする。
【００５８】
交点Ｄ５の微分値を求める。交点Ｄ５の微分値は正で、０より大きい。これは、交点Ｄ５の再生方向が素材時間の正方向であることを意味している。交点Ｄ５はクリップ・マーカーの範囲Ｄの「終了位置」に対応し、かつ微分値が正なので、対応する再生時間を「再生範囲」の終了位置ｄ５とする。
【００５９】
次に、このようにして求めたｄ１〜ｄ５を再生時間の昇順に並び替える。ｄ１〜ｄ２が範囲の内側、ｄ２〜ｄ３が範囲の内側、ｄ３〜ｄが範囲の外側、ｄ４〜ｄ５が範囲の内側、ｄ５からグラフの終端が範囲の外側となる。ｄ１〜ｄ２の範囲とｄ２〜ｄ３の範囲は隣接しているので結合され、その結果、素材データに指定された範囲Ｄを反映している再生データの範囲として、ｄ１を開始位置、ｄ３を終了位置とする再生時間範囲ｄ１〜ｄ３と、ｄ４を開始位置、ｄ５を終了位置とする再生時間範囲ｄ４〜ｄ５とが特定される。
【００６０】
次に、ユーザがノンリニア編集装置１を操作して編集作業を行う際にディスプレイ１７ａに表示される表示画面を図８Ａ〜図８Ｃを参照して説明する。ディスプレイ１７ａに表示される表示画面は、編集作業の進行に伴って図８Ａ〜図８Ｃに示すように変遷する。以下の処理は、基本的には、入力インタフェース１３を介して入力されるユーザの指示などを受けて、ＣＰＵ１４がＲＯＭ１５に記憶されたアプリケーションプログラム、画像データなどを読み出して、実行する。
【００６１】
図８Ａは、制御画面１２０を操作してメニュー・ウインドウ１２７を表示した場面である。図８Ａに示すように、ディスプレイ１７ａに表示される表示画面１００は、画像画面１１０と制御画面１２０とからなり、制御画面１２０には、現在の設定を示す状態画面１２３が表示される。このメニュー・ウインドウ１２７を操作してクリップ・マークの設定（Ｓｅｔ ｃｌｉｐ ｍａｒｋ Ｉｎ／Ｏｕｔ）をクリックすると図８Ｂの画面に切り替わり、クリップ・マーカー及びタイムリマップを用いた編集作業を開始できるようになる。
【００６２】
図８Ｂでは、制御画面１２０に、現在の設定を示す状態画面１２３の他に、素材時間の再生時間を表すタイムライン１２４、タイムラインカーソル１２４ａ、クリップ・マーカー１２５が表示されている。図８Ｂでは、ユーザがイン（Ｉｎ）点とアウト（Ｏｕｔ）点を設定して素材時間範囲１２５ａを指定したクリップ・マーカー１２５をタイムライン１２４に配置し、さらに、タイムラインカーソル１２４ａを操作している状態を表している。図８Ｂに示す例では、上記のように指定された素材時間範囲１２５ａにはその特定の識別情報として「Ｏｎ Ｃｌｏｕｄｓ」なる文字情報が含まれており、タイムラインカーソル１２４ａがその素材時間範囲１２５ａを指示すると、画像画面１１０には「Ｏｎ Ｃｌｏｕｄｓ」と表示されるようになっている。これにより、ユーザは、この画像がクリップ・マーカー１２５で指定された素材時間範囲１２５ａの画像であることを視覚的に認識することができる。
【００６３】
図８Ｃは、ユーザがタイムリマップを行う際の作業画面であり、タイムライン１２４とクリップ・マーカー１２５の他に、タイムリマップ設定画面１２６が現れた状態を示している。タイムリマップ設定画面１２６は、タイムリマップ後の再生時間を示すタイムラインバー１２６ａと、タイムラインバー１２６ａに加えた設定を示す設定バー１２６ｂとからなる。
【００６４】
図９は、図８Ｃの表示画面に対応する、素材時間と再生時間におけるクリップ・マーカーの対応関係を示すグラフである。このタイムリマップ設定画面１２６で編集速度を変更する設定を行うことによって、グラフにタイムリマップによるカーブが生じていることがわかる。
【００６５】
素材データのクリップ・マーカー１２５に付けられた素材時間範囲１２５ａは、図８Ｃに示すタイムリマップ編集後の表示画面に示されたタイムライン１２４では、２つの再生時間範囲１２５ｂ，１２５ｃとして表示されている。この画面でも同様に、タイムラインカーソル１２４ａが再生時間範囲１２５ｂ，１２５ｃを指示すると、画像画面１１０には「Ｏｎ Ｃｌｏｕｄｓ」と表示されるようになっている。これにより、ユーザは、この画像がクリップ・マーカー１２５で指定された素材時間範囲１２５ａ内の画像であることを視覚的に認識することができる。
【００６６】
このように、本実施の形態のノンリニア編集装置１は、第１の時間である素材時間に従って生成され、かつ第１の時間範囲である素材時間範囲が指定された素材データから、素材データを素材時間とは異なる第２の時間である再生時間に従って再生する再生データを生成し、再生データにおける、素材時間範囲内の素材データを含む再生時間範囲を特定する。例えば、再生データが、素材データの再生方向とは反対方向に素材データを再生する範囲である逆再生範囲を含むように再生時間の設定を行った場合には、素材データから再生データを生成すると、素材データの素材時間範囲に対応する再生時間範囲が再生データ内に複数にわたって出現することがある。例えば、図８Ｂに示した素材時間範囲１２５ａに対応して、図８Ｃに示したように２つの再生時間範囲１２５ｂ，１２５ｃが出現することがある。そのような場合であっても、本実施の形態のノンリニア編集装置１によれば、再生データにおける、素材時間範囲１２５ａ内の素材データを含む再生時間範囲１２５ｂ，１２５ｃが特定されるため、素材データに指定された素材時間範囲と、再生データ中における、その素材時間範囲が反映されている再生時間範囲との相互の対応関係を特定することが可能となる。
【００６７】
また、本実施の形態のノンリニア編集装置１は、素材時間における素材時間範囲（図８Ｂの素材時間範囲１２５ａ）と、再生時間における再生時間範囲（図８Ｃの再生時間範囲１２５ｂ，１２５ｃ）とのうち、少なくとも再生時間における再生時間範囲１２５ｂ，１２５ｃをユーザ・インタフェース上に表示するようにしてもよい。これにより、素材データに指定された素材範囲が反映されている再生データの範囲をユーザが視覚的に認識することができる。
【００６８】
さらに、本実施の形態のノンリニア編集装置１は、図８Ｂ、図８Ｃの画像画面１１０に「Ｏｎ Ｃｌｏｕｄｓ」と表示されているように、素材データの素材時間範囲に特定の識別情報が含まれており、ユーザ・インタフェース上の再生時間範囲が指示されると、その特定の識別情報をユーザ・インタフェース上に表示することを含んでいてもよい。この構成によれば、例えばユーザがユーザ・インタフェース上でポインタを操作して再生時間範囲を指示した場合には、特定の識別情報がユーザ・インタフェース上に表示される。これにより、ユーザは、ポインタで指示した再生データの再生時間範囲が素材データの素材時間範囲を反映したものであることを視覚的に認識することができる。
【００６９】
あるいは、本実施の形態のノンリニア編集装置１は、図８Ｃのタイムリマップ設定画面１２６の操作によって、素材時間における素材時間範囲１２５ａと、再生時間における再生時間範囲１２５ｂ，１２５ｃとを互いに関連付け、素材時間における素材時間範囲１２５ａと、再生時間における再生時間範囲１２５ｂ，１２５ｃとをユーザ・インタフェース上に表示し、ユーザ・インタフェース上の素材時間範囲１２５ａが指示されると、該素材時間範囲に関連付けられた再生時間範囲１２５ｂ，１２５ｃの表示を変化させ、ユーザ・インタフェース上の再生時間範囲１２５ｂ，１２５ｃが指示されると、該再生時間範囲に関連付けられた素材時間範囲１２５ａの表示を変化させるようにしてもよい。
これによって、本実施の形態のノンリニア編集装置１は、例えばユーザがユーザ・インタフェース上でポインタを操作して素材データの素材時間範囲を指示した場合には、その素材データの素材時間範囲が反映されている再生データの再生時間範囲を視覚的に認識することができる。また、ユーザがユーザ・インタフェース上でポインタを操作して再生データの再生時間範囲を指示した場合には、その再生データの再生時間範囲に反映されている素材データの素材時間範囲を視覚的に認識することができる。素材時間範囲あるいは再生時間範囲の表示を変化させる場合には、例えば、それらの表示の色を変えたり、表示を点滅させたり、表示の大きさを拡大又は縮小させたりしてもよい。
【００７０】
既に説明したように、編集作業を行う映像データ、すなわち、素材データを実際にコピーあるいはカットする必要はなく、編集情報をハードディスク１９に記憶した素材データに関連付けて記憶するようにしてもよいので、ハードディスク１９に記憶した素材データと編集情報を組み合わせると、再生データともなりうる。
【００７１】
このため、本実施の形態のデータのデータ構造は、例えば、素材データと編集情報を含むとすると、素材時間である第１の時間に従って生成され、かつ素材時間範囲である第1の時間範囲が指定された素材データと、該素材データから生成された、素材データを素材時間とは異なる、再生時間である第２の時間に従って再生する再生データであって、再生データにおける、素材時間範囲内の素材データを含む再生時間である第２の時間範囲が特定されている再生データと、を有する。
【００７２】
また、かかるデータ構造は、素材データの素材時間範囲に、例えば、「Ｏｎ Ｃｌｏｕｄｓ」など、素材時間範囲を識別するための特定の識別情報を含ませてもよい。これによって、該特定の識別情報は、例えば、図８Ｂ、図８Ｃの画像画面１１０の「Ｏｎ Ｃｌｏｕｄｓ」のように、ユーザ・インタフェース上で素材時間範囲や再生時間範囲が指示されたときに特定の識別情報をユーザ・インタフェース上に表示させる処理をコンピュータなどに実行させることができる。
【００７３】
さらに、かかるデータ構造は、図８Ｃのタイムリマップ設定画面１２６のように、素材時間における素材時間範囲と再生時間における再生時間範囲とを互いに関連付け、素材時間範囲及び再生時間範囲は、ユーザ・インタフェース上の素材時間範囲が指示されると、該素材時間範囲に関連付けられた再生時間範囲の表示を変化させ、ユーザ・インタフェース上の再生時間範囲が指示されると、該再生時間範囲に関連付けられた素材時間範囲の表示を変化させる処理がコンピュータによって実行できるようにしてもよい。
【００７４】
以上、本発明の好ましい実施の形態について詳述したが、本発明は係る特定の実施の形態に限定されるものではなく、特許請求の範囲に記載された本発明の範囲内において、種々の変形・変更が可能である。本実施の形態では、ユーザ・インタフェースとして、ディスプレイ１７ａに表示される表示画面を用いたが、本発明はこれに限定されず、様々な形態が相当可能である。また、本発明の編集装置は、ＣＰＵとメモリを含む、一般的なコンピュータを上述した各手段として機能させる編集プログラムによって動作させることができる。編集プログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【符号の説明】
【００７５】
１ ノンリニア変種装置
１１ 映像入力部
１２ デコーダ
１３ 入力Ｉ／Ｆ（インタフェース）
１３ａ 入力部
１４ ＣＰＵ
１５ ＲＯＭ
１６ ＲＡＭ
１７ 出力Ｉ／Ｆ（インタフェース）
１８ エンコーダ
１９ ハードディスク
２０ 映像出力部
【特許請求の範囲】
【請求項１】
第１の時間に従って生成され、かつ第1の時間範囲が指定された素材データから、前記素材データを前記第１の時間とは異なる第２の時間に従って再生する再生データを生成することと、
前記再生データにおける、前記第１の時間範囲内の前記素材データを含む第２の時間範囲を特定することと、
を含む編集方法。
【請求項２】
前記第１の時間における前記第1の時間範囲と、前記第２の時間における前記第２の時間範囲とのうち、少なくとも前記第２の時間における前記第２の時間範囲をユーザ・インタフェース上に表示することをさらに含む、請求項１に記載の方法。
【請求項３】
前記素材データの前記第1の時間範囲には特定の識別情報が含まれており、
前記ユーザ・インタフェース上の前記第２の時間範囲が指示されると、前記特定の識別情報を前記ユーザ・インタフェース上に表示することをさらに含む、請求項２に記載の方法。
【請求項４】
前記第１の時間における前記第1の時間範囲と、前記第２の時間における前記第２の時間範囲とを互いに関連付けることと、
前記第１の時間における前記第１の時間範囲と、前記第２の時間における前記第２の時間範囲とをユーザ・インタフェース上に表示することと、
前記ユーザ・インタフェース上の前記第1の時間範囲が指示されると、該第1の時間範囲に関連付けられた前記第２の時間範囲の表示を変化させ、前記ユーザ・インタフェース上の前記第２の時間範囲が指示されると、該第２の時間範囲に関連付けられた前記第１の時間範囲の表示を変化させることと、
をさらに含む、請求項２に記載の方法。
【請求項５】
第１の時間に従って生成され、かつ第1の時間範囲が指定された素材データから、前記素材データを前記第１の時間とは異なる第２の時間に従って再生する再生データを生成することと、
前記再生データにおける、前記第1の時間範囲内の前記素材データを含む第２の時間範囲を特定することと、
を実行する処理部を有する編集装置。
【請求項６】
前記第１の時間における前記第1の時間範囲と、前記第２の時間における前記第２の時間範囲とのうち、少なくとも前記第２の時間における前記第２の時間範囲を表示するユーザ・インタフェースをさらに有する、請求項５に記載の装置。
【請求項７】
前記素材データの前記第1の時間範囲には特定の識別情報が含まれており、
前記処理部は、前記ユーザ・インタフェース上の前記第２の時間範囲が指示されると、前記特定の識別情報を前記ユーザ・インタフェース上に表示させる、請求項６に記載の装置。
【請求項８】
前記処理部は、
前記第１の時間における前記第1の時間範囲と、前記第２の時間における前記第２の時間範囲とを互いに関連付け、
前記第１の時間における前記第１の時間範囲と、前記第２の時間における前記第２の時間範囲とをユーザ・インタフェース上に表示させ、
前記ユーザ・インタフェース上の前記第1の時間範囲が指示されると、該第1の時間範囲に関連付けられた前記第２の時間範囲の表示を変化させ、前記ユーザ・インタフェース上の前記第２の時間範囲が指示されると、該第２の時間範囲に関連付けられた前記第１の時間範囲の表示を変化させる、請求項６に記載の装置。
【請求項９】
第１の時間に従って生成され、かつ第1の時間範囲が指定された素材データから、前記素材データを前記第１の時間とは異なる第２の時間に従って再生する再生データを生成することと、
前記再生データにおける、前記第1の時間範囲内の前記素材データを含む第２の時間範囲を特定することと、
をコンピュータに実行させるコンピュータ・プログラム。
【請求項１０】
前記第１の時間における前記第1の時間範囲と、前記第２の時間における前記第２の時間範囲とのうち、少なくとも前記第２の時間における前記第２の時間範囲をユーザ・インタフェース上に表示することをさらに含む、請求項９に記載のコンピュータ・プログラム。
【請求項１１】
前記素材データの前記第1の時間範囲には特定の識別情報が含まれており、
前記ユーザ・インタフェース上の前記第２の時間範囲が指示されると、前記特定の識別情報を前記ユーザ・インタフェース上に表示することをさらに含む、請求項１０に記載のコンピュータ・プログラム。
【請求項１２】
前記第１の時間における前記第1の時間範囲と、前記第２の時間における前記第２の時間範囲とを互いに関連付けることと、
前記第１の時間における前記第１の時間範囲と、前記第２の時間における前記第２の時間範囲とをユーザ・インタフェース上に表示することと、
前記ユーザ・インタフェース上の前記第1の時間範囲が指示されると、該第1の時間範囲に関連付けられた前記第２の時間範囲の表示を変化させ、前記ユーザ・インタフェース上の前記第２の時間範囲が指示されると、該第２の時間範囲に関連付けられた前記第１の時間範囲の表示を変化させることと、
をさらに含む、請求項１０に記載のコンピュータ・プログラム。
【請求項１３】
第１の時間に従って生成され、かつ第1の時間範囲が指定された素材データと、
該素材データから生成された、前記素材データを前記第１の時間とは異なる第２の時間に従って再生する再生データであって、前記再生データにおける、前記第1の時間範囲内の前記素材データを含む第２の時間範囲が特定されている前記再生データと、
を有し、前記第１の時間における前記第1の時間範囲と前記第２の時間における前記第２の時間範囲とは、コンピュータによって読み取られ、該コンピュータによって互いに関連付ける処理に用いられる、データ構造。
【請求項１４】
前記素材データの前記第1の時間範囲には特定の識別情報が含まれており、該特定の識別情報は、ユーザ・インタフェース上で前記第1の時間範囲または前記第２の時間範囲が指示されたときに前記特定の識別情報を前記ユーザ・インタフェース上に表示させる処理がコンピュータによって実行される際に用いられる、請求項１３に記載のデータ構造。
【請求項１５】
前記第１の時間における前記第1の時間範囲と前記第２の時間における前記第２の時間範囲とは互いに関連付けられており、前記第1の時間範囲及び前記第２の時間範囲は、ユーザ・インタフェース上で前記第1の時間範囲が指示されると、該第1の時間範囲に関連付けられた前記第２の時間範囲の前記ユーザ・インタフェース上での表示を変化させ、前記ユーザ・インタフェース上で前記第２の時間範囲が指示されると、該第２の時間範囲に関連付けられた前記第１の時間範囲の前記ユーザ・インタフェース上での表示を変化させる処理がコンピュータによって実行される際に用いられる、請求項１３に記載のデータ構造。
【請求項１】
第１の時間に従って生成され、かつ第1の時間範囲が指定された素材データから、前記素材データを前記第１の時間とは異なる第２の時間に従って再生する再生データを生成することと、
前記再生データにおける、前記第１の時間範囲内の前記素材データを含む第２の時間範囲を特定することと、
を含む編集方法。
【請求項２】
前記第１の時間における前記第1の時間範囲と、前記第２の時間における前記第２の時間範囲とのうち、少なくとも前記第２の時間における前記第２の時間範囲をユーザ・インタフェース上に表示することをさらに含む、請求項１に記載の方法。
【請求項３】
前記素材データの前記第1の時間範囲には特定の識別情報が含まれており、
前記ユーザ・インタフェース上の前記第２の時間範囲が指示されると、前記特定の識別情報を前記ユーザ・インタフェース上に表示することをさらに含む、請求項２に記載の方法。
【請求項４】
前記第１の時間における前記第1の時間範囲と、前記第２の時間における前記第２の時間範囲とを互いに関連付けることと、
前記第１の時間における前記第１の時間範囲と、前記第２の時間における前記第２の時間範囲とをユーザ・インタフェース上に表示することと、
前記ユーザ・インタフェース上の前記第1の時間範囲が指示されると、該第1の時間範囲に関連付けられた前記第２の時間範囲の表示を変化させ、前記ユーザ・インタフェース上の前記第２の時間範囲が指示されると、該第２の時間範囲に関連付けられた前記第１の時間範囲の表示を変化させることと、
をさらに含む、請求項２に記載の方法。
【請求項５】
第１の時間に従って生成され、かつ第1の時間範囲が指定された素材データから、前記素材データを前記第１の時間とは異なる第２の時間に従って再生する再生データを生成することと、
前記再生データにおける、前記第1の時間範囲内の前記素材データを含む第２の時間範囲を特定することと、
を実行する処理部を有する編集装置。
【請求項６】
前記第１の時間における前記第1の時間範囲と、前記第２の時間における前記第２の時間範囲とのうち、少なくとも前記第２の時間における前記第２の時間範囲を表示するユーザ・インタフェースをさらに有する、請求項５に記載の装置。
【請求項７】
前記素材データの前記第1の時間範囲には特定の識別情報が含まれており、
前記処理部は、前記ユーザ・インタフェース上の前記第２の時間範囲が指示されると、前記特定の識別情報を前記ユーザ・インタフェース上に表示させる、請求項６に記載の装置。
【請求項８】
前記処理部は、
前記第１の時間における前記第1の時間範囲と、前記第２の時間における前記第２の時間範囲とを互いに関連付け、
前記第１の時間における前記第１の時間範囲と、前記第２の時間における前記第２の時間範囲とをユーザ・インタフェース上に表示させ、
前記ユーザ・インタフェース上の前記第1の時間範囲が指示されると、該第1の時間範囲に関連付けられた前記第２の時間範囲の表示を変化させ、前記ユーザ・インタフェース上の前記第２の時間範囲が指示されると、該第２の時間範囲に関連付けられた前記第１の時間範囲の表示を変化させる、請求項６に記載の装置。
【請求項９】
第１の時間に従って生成され、かつ第1の時間範囲が指定された素材データから、前記素材データを前記第１の時間とは異なる第２の時間に従って再生する再生データを生成することと、
前記再生データにおける、前記第1の時間範囲内の前記素材データを含む第２の時間範囲を特定することと、
をコンピュータに実行させるコンピュータ・プログラム。
【請求項１０】
前記第１の時間における前記第1の時間範囲と、前記第２の時間における前記第２の時間範囲とのうち、少なくとも前記第２の時間における前記第２の時間範囲をユーザ・インタフェース上に表示することをさらに含む、請求項９に記載のコンピュータ・プログラム。
【請求項１１】
前記素材データの前記第1の時間範囲には特定の識別情報が含まれており、
前記ユーザ・インタフェース上の前記第２の時間範囲が指示されると、前記特定の識別情報を前記ユーザ・インタフェース上に表示することをさらに含む、請求項１０に記載のコンピュータ・プログラム。
【請求項１２】
前記第１の時間における前記第1の時間範囲と、前記第２の時間における前記第２の時間範囲とを互いに関連付けることと、
前記第１の時間における前記第１の時間範囲と、前記第２の時間における前記第２の時間範囲とをユーザ・インタフェース上に表示することと、
前記ユーザ・インタフェース上の前記第1の時間範囲が指示されると、該第1の時間範囲に関連付けられた前記第２の時間範囲の表示を変化させ、前記ユーザ・インタフェース上の前記第２の時間範囲が指示されると、該第２の時間範囲に関連付けられた前記第１の時間範囲の表示を変化させることと、
をさらに含む、請求項１０に記載のコンピュータ・プログラム。
【請求項１３】
第１の時間に従って生成され、かつ第1の時間範囲が指定された素材データと、
該素材データから生成された、前記素材データを前記第１の時間とは異なる第２の時間に従って再生する再生データであって、前記再生データにおける、前記第1の時間範囲内の前記素材データを含む第２の時間範囲が特定されている前記再生データと、
を有し、前記第１の時間における前記第1の時間範囲と前記第２の時間における前記第２の時間範囲とは、コンピュータによって読み取られ、該コンピュータによって互いに関連付ける処理に用いられる、データ構造。
【請求項１４】
前記素材データの前記第1の時間範囲には特定の識別情報が含まれており、該特定の識別情報は、ユーザ・インタフェース上で前記第1の時間範囲または前記第２の時間範囲が指示されたときに前記特定の識別情報を前記ユーザ・インタフェース上に表示させる処理がコンピュータによって実行される際に用いられる、請求項１３に記載のデータ構造。
【請求項１５】
前記第１の時間における前記第1の時間範囲と前記第２の時間における前記第２の時間範囲とは互いに関連付けられており、前記第1の時間範囲及び前記第２の時間範囲は、ユーザ・インタフェース上で前記第1の時間範囲が指示されると、該第1の時間範囲に関連付けられた前記第２の時間範囲の前記ユーザ・インタフェース上での表示を変化させ、前記ユーザ・インタフェース上で前記第２の時間範囲が指示されると、該第２の時間範囲に関連付けられた前記第１の時間範囲の前記ユーザ・インタフェース上での表示を変化させる処理がコンピュータによって実行される際に用いられる、請求項１３に記載のデータ構造。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１０Ｃ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１０Ｃ】
【公開番号】特開２０１２−５４６１９（Ｐ２０１２−５４６１９Ａ）
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願番号】特願２００９−６８５６６（Ｐ２００９−６８５６６）
【出願日】平成２１年３月１９日（２００９．３．１９）
【出願人】（５９２０３０２６３）グラスバレー株式会社 (11)
【Ｆターム（参考）】
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願日】平成２１年３月１９日（２００９．３．１９）
【出願人】（５９２０３０２６３）グラスバレー株式会社 (11)
【Ｆターム（参考）】
[ Back to top ]