付加画像生成装置および付加画像合成装置
【課題】映像のフレームに所望の位置を指定することにより、指定された位置を軌跡または線として表示する付加画像を映像の再生時に映像に同期して出力することを限られた容量のメモリを用いて可能とする。
【解決手段】本発明の付加画像生成装置は、外部から供給される映像から一定の割合で間引いた（１）フレームデータをタイムコードに関係付けて保存し（２〜４）、保存した期間の映像を構成する総てのフレームに対するレコードを備えたテーブルを生成し（１１）、保存されたフレームの任意のフレームに所望の位置を利用者に指定させ（７〜１０）、指定された位置のデータを用いて、位置が指定されていないフレームの位置を補間し（１２）、指定された位置を軌跡または線として表示する付加画像を作成し、映像の再生時に、作成した付加画像を映像に同期して出力する（１３，１４）。多くのメモリを必要としないのでＰＣで実施可能である。
【解決手段】本発明の付加画像生成装置は、外部から供給される映像から一定の割合で間引いた（１）フレームデータをタイムコードに関係付けて保存し（２〜４）、保存した期間の映像を構成する総てのフレームに対するレコードを備えたテーブルを生成し（１１）、保存されたフレームの任意のフレームに所望の位置を利用者に指定させ（７〜１０）、指定された位置のデータを用いて、位置が指定されていないフレームの位置を補間し（１２）、指定された位置を軌跡または線として表示する付加画像を作成し、映像の再生時に、作成した付加画像を映像に同期して出力する（１３，１４）。多くのメモリを必要としないのでＰＣで実施可能である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時々刻々変化する映像上に図形を作成し、作成した図形を映像とともに合成出力する画像合成装置に関する。
【背景技術】
【０００２】
従来、スポーツ等の学習や解説のため、黒板、マグネット、およびチョークを用いた戦術の呈示や分析が行われている。この呈示手段をヒントに、実写映像上にアイコンや任意の曲線などを合成表示するシステムがビデオ画面チョーク装置として実用化され、スポーツ放送などで利用されている。本システムでは、ポインティングデバイスをディスプレイ上で操作することにより、実写映像上に直接図形を描画しているような直感的な操作性が得られる。
【０００３】
また、一定期間の映像フレームをメモリ上に蓄積し、蓄積されたフレームの画素値を変更することで描画操作を行い、変更後のフレームを読み出すことで、映像上に動的な描画を行ったような映像効果を得る技法も用いられている。
【０００４】
さらに、黒板やマグネットの移動を模した画面をビデオ画面の時刻に連動して保存・再生可能な装置が存在する（特許文献１）。
【特許文献１】特開２００３−１８０８９５号公報（段落００４７〜００７７、図７）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、ビデオ画面チョーク装置においては、描画された図形が即座に映像と合成されるため、時間とともに変化する図形を正確または満足に描画することが難しい。このため、従来は、オペレータの描画操作が間に合う程度までＶＴＲ（ビデオテープレコーダ）を十分に低速再生しつつ、描画を行う必要がある。
【０００６】
映像フレームをメモリ上に蓄積し、蓄積されたフレームの画素値を変更することで描画操作を行う手法では、時々刻々変化する描画効果を正確に再現することが可能であるものの、映像効果を適用したい全フレームの映像をメモリ上に蓄える必要があるため、膨大なメモリを必要とする。
【０００７】
また、特許文献１の手法も、蓄積されたフレームに対する映像効果であるため、映像効果を適用したい全フレームの映像をメモリ上に蓄える必要があり、膨大なメモリを必要とする。
【０００８】
本発明は、以上のような問題点を解決するためになされたものであり、映像の間引きされた任意のフレームに所望の位置を指定することにより、指定された位置を軌跡または線として表示する付加画像を作成し、映像の再生時に、作成した付加画像を映像に同期して出力する付加画像生成装置を提供することを課題とする。
また、本発明は、映像の再生時に、再生される映像に前記の付加画像を合成して出力する付加画像合成装置を提供することを課題とする。
【課題を解決するための手段】
【０００９】
上記の課題を解決するため、本発明は、ある面では、映像に重畳表示すべき付加画像を生成する付加画像生成装置を提供する。本発明の付加画像生成装置は、記録手段と、テーブル生成手段と、フレーム表示選択手段と、画像位置指定手段と、位置情報保存手段と、補間手段と、画像生成手段とを備えることにより、映像に重畳表示すべき付加画像を生成することを特徴とする。
この構成の付加画像生成装置によれば、利用者が映像の間引いたフレームの一部のフレームにおける画像位置を指定することにより、画像位置が指定されていないフレームに対して画像位置を補間した付加画像を作成し、ビデオ再生可能な装置の出力を構成する映像のフレームデータを受信した場合、この受信したフレームデータに応じて、付加画像を出力する。したがって、受信した映像に付加画像を重畳することにより、付加画像を重畳した映像を表示することが可能となる。少なくとも時間的に間引いた映像データを保存して、付加画像生成を行うので、限られたメモリ容量で実現することが可能である。
【００１０】
前記所定の画像オブジェクトとして使用可能な少なくとも１つの画像オブジェクトデータを記憶する手段を備え、画像位置指定手段が、利用者が前記少なくとも１つの画像オブジェクトデータから所望のものを前記所定の画像として選ぶことを可能とする手段を含む構成としてもよい。
この構成の付加画像生成装置によれば、少なくとも１つの画像オブジェクトデータから選択して表示させることが可能となる。
【００１１】
前記画像生成手段は、保存されている付加画像の前記画像位置の位置情報が示す位置に前記所定の画像オブジェクトを重畳して得た新たな付加画像を出力するとともに、付加画像として保存する残像生成手段を含んでもよい。
この構成の付加画像生成装置によれば、それまで出現した画像位置の総てに画像オブジェクトが表示されるので、指定した画像位置を結ぶ画像オブジェクトの線として付加画像を表示することが可能となる。
【００１２】
前記残像生成手段は、前記の新たな付加画像の各点を直線または曲線で結ぶ線画像生成手段を含んでもよい。
この構成の付加画像生成装置によれば、指定した画像位置が直線または曲線で結ばれて表示される。
【００１３】
前記画像位置指定手段が、前記の選択表示された画像において利用者に所望の複数の画像位置を指定することを可能とし、前記位置情報保存手段が、前記操作に応じて、前記画像において指定された前記複数の画像位置の位置情報を前記画像の前記タイムコードとともに保存し、前記補間手段が、前記位置情報の保存を行った２つのフレームに順序的に挟まれ、前記位置情報の保存が行われていないフレームが存在する場合、存在する各フレームに対し、前記２つのフレームの各位置情報を用いて当該フレームの対応する位置情報を補間し、当該フレームのタイムコードとともに前記複数の画像位置の位置情報として保存し、前記画像生成手段が、前記の一致する保存されたタイムコードに関係付けられた前記複数の画像位置の位置情報が示す位置に所定の画像オブジェクトをそれぞれ配置した付加画像を出力するように構成してもよい。
【００１４】
この構成の付加画像生成装置によれば、複数の点の軌跡を表示することが可能となる。
前記付加画像生成装置を二次記憶装置を備えたパーソナルコンピュータで構成し、前記の各手段が前記二次記憶装置に格納されたプログラムの一部を含むようにしてもよい。
このように、本発明によれば、付加画像生成装置をパーソナルコンピュータで実現することが可能である。
また、本発明は、別の面では、前記ビデオ再生可能な装置の前記出力を構成する前記映像のフレームデータを受信すると、これに応じて、前記受信したフレームデータによるオリジナル画像に前記画像生成手段から出力される前記付加画像を重畳した合成画像を出力する手段を前記の付加画像生成装置に設けて構成される付加画像合成装置を提供する。
この構成の付加画像合成装置によれば、利用者が映像の間引いたフレームの一部のフレームにおける画像位置を指定することにより、画像位置が指定されていないフレームに対して画像位置を補間した付加画像を作成し、ビデオ再生可能な装置の出力を構成する映像のフレームデータを受信した場合、この受信したフレームデータに付加画像を重畳した映像を出力する。
【発明の効果】
【００１５】
本発明によれば、映像の間引きされた任意のフレームに所望の位置を指定することにより、指定された位置を軌跡または線として表示する付加画像を作成し、映像の再生時に、作成した付加画像を映像に同期して出力することが可能となる。このように、付加画像の生成に間引きした映像データを使用するので、付加画像を重畳した映像の表示を少ないメモリ容量で実現できるので、本発明は、通常のパーソナルコンピュータを用いて実現することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態と添付図面により本発明を詳細に説明する。
なお、複数の図面に同じ要素を示す場合には同一の参照符号を付ける。
図１は、本発明の一実施形態により実写映像を記録し、記録した映像に対して利用者が点の軌跡や線などを設定して生成した画像(付加画像または軌跡画像と称する)を元の実写映像と合成して出力する付加画像合成システムの構成を示すブロック図である。図１において、付加画像合成システム１０００は、図示しない映像源から送られる映像信号および映像を構成する各フレームに割り当てられたタイムコード信号を受信し、受信した映像信号とタイムコードを記録再生するＶＴＲ装置１０１、ＶＴＲ装置１０１の操作を行うためのＶＴＲ再生制御部１０２、および本発明の原理によりＶＴＲ装置１０１の出力映像から利用者が点の軌跡や線などを設定して生成した付加画像を元の出力映像と合成して出力する付加画像合成装置１００を備えてなる。
【００１７】
付加画像合成システム１０００では、ＶＴＲ装置１０１の映像信号とタイムコード信号の各入力端子に映像信号とタイムコード信号を入力する。また、ＶＴＲ装置１０１の映像信号およびタイムコード信号の各出力端子は、付加画像合成装置１００の映像信号およびタイムコード信号の各入力端子と接続する。ＶＴＲ装置１０１は、映像、タイムコード等を磁気テープに収録／再生するものであるが、この代わりに光ディスク（ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ＋ＲＷ、ＣＤ−Ｒ、ＣＤ−ＲＷなど）や磁気ディスク（ＨＤＤ（ハードディスク装置）、ＦＤＤ（フレキシブルディスク装置）、ＺＩＰ（ＺＩＰリムーバブル記憶装置）など）、光磁気ディスク（ＭＯ（magneto-optical disc）、ＭＤ（ミニディスク）など）などに収録／再生を行うビデオディスクレコーダであってもよいし、半導体メモリ（ＤＲＡＭ（ダイナミックＲＡＭ）、ＳＲＡＭ（スタティックＲＡＭ）、ＳＤＲＡＭ（同期ＤＲＡＭ）、ＰＲＯＭ（プログラム可能型）、ＥＰＲＯＭ（電気的プログラム可能型）、ＥＥＰＲＯＭ（電気的消去／プログラム可能型）、ＵＶ−ＥＰＲＯＭ（紫外線消去／プログラム可能型）など）に収録／再生を行う装置であっても構わない。（ここで、ＤＶＤ＝digital versatile disc、ＣＤ＝コンパクトディスク、−Ｒ＝追記型、−ＲＷ＝書き換え型、ＲＡＭ＝random access memory、ＲＯＭ＝read only memoryである。）
ＶＴＲ再生制御部１０２は、ＶＴＲの再生、停止、巻き戻し、早送り、録画（以下、再生等）を切り替えたり、再生等の速度を調節するためのユーザインタフェースであり、ＶＴＲ装置１０１本体上に設置されたボタンやダイアルなどのスイッチ類であってもよいし、本体からリモートケーブルを介して接続される別筐体上に設置されるスイッチ類であってもよい。映像信号とは、例えばＮＴＳＣ（National Television System Committee）、ＰＡＬ（Phase Alternation by Line）、ＳＥＣＡＭ（セカム:フランスのカラーテレビジョン方式）の各方式によるコンポジット信号、ＲＧＢやＹＣｂＣｒ、ＹＰｂＰｒのアナログコンポーネント信号などの各種アナログ映像信号、ＳＤＩ（Serial Digital Interface）信号、ＤＶＩ（Digital Visual Interface）信号、ＤＶ（Digital Video）信号などの各種ディジタル映像信号のいずれによることもできる。また、タイムコード信号はＬＴＣ（Linear Time Code）信号、ＶＩＴＣ（Vertical Interval Time Code）など任意の時刻同期のための信号を一つ乃至複数組み合わせて用いることができる。
【００１８】
なお、付加画像合成システム１０００では、ＶＴＲ装置１０１は、再生時にはテープ等に収録された映像およびタイムコードを出力し、再生時以外は入力映像および入力タイムコードをそのまま（スルーで）出力するものとする。
＜本発明の原理＞
【００１９】
図２は、本発明の原理による付加画像合成装置の構成を概念的に示すブロック図である。図２に示すように、付加画像合成装置１００は、記録手段３０と、テーブル生成手段３１と、フレーム表示選択手段３２と、画像位置指定手段３３と、位置情報保存手段３４と、座標データ補間部（補間手段）１２と、画像生成手段３５と、画像合成部（画像合成手段）１５を備えることにより、映像に重畳表示すべき付加画像を生成し、ＶＴＲ装置１０１からの映像に重畳した付加画像合成信号を出力する。
記録手段３０は、映像のフレームデータとこれに対応するタイムコードとを出力するビデオ再生可能な装置（例えば、ＶＴＲ装置１０１）の出力から、少なくとも時間的に一定の割合で間引いたフレームデータを前記タイムコードに関係付けて保存するものであり、詳細に後記するクロック生成部１、書き込みアドレス演算部２、映像蓄積部３、タイムコード蓄積部４を含む。
テーブル生成手段３１は、前記の間引いたフレームデータを保存した期間の映像を構成する総てのフレームに対するレコードを備えたテーブルを生成するものであり、座標データ蓄積部１１に含まれる。
フレーム表示選択手段３２は、前記の保存した保存フレームデータの画像表示および表示される表示フレームの選択を利用者に可能とするものであり、映像蓄積部３、映像再生操作部５、読み出しアドレス演算部６、カーソル画像合成部８、表示部９により実現される。
画像位置指定手段３３は、前記表示フレームにおいて利用者に所望の画像位置を指定し、前記画像位置の位置情報を保存する意図を反映する操作を可能とするものであり、座標データ入力部７、カーソル画像合成部８、表示部９により実現される。位置情報保存手段３４は、前記操作に応じて、前記表示フレームに対応する前記テーブルのレコードに、前記表示フレームにおいて指定された前記画像位置の位置情報を前記表示フレームの前記タイムコードとともに保存するものであり、タイムコード蓄積部４、書き込みアドレス演算部１０、座標データ蓄積部１１により実現される。
【００２０】
座標データ補間部（補間手段）１２は、前記位置情報の保存を行った２つのフレームに順序的に挟まれ、前記位置情報の保存が行われていないフレームが存在する場合、存在する各フレームに対し、前記２つのフレームの前記位置情報を用いて当該フレームの位置情報を補間し、当該フレームに対応する前記テーブルのレコードに、当該フレームのタイムコードとともに前記画像位置の位置情報として保存するものであり、後記の座標データ補間部に相当する。
画像生成手段３５は、前記ビデオ再生可能な装置の前記出力を構成する前記映像のフレームデータを受信した場合、この受信したフレームデータとともに受信したタイムコードと一致する保存されたタイムコードが存在するとき、前記の一致する保存されたタイムコードに関係付けられた前記画像位置の位置情報が示す位置に所定の画像オブジェクトを配置した付加画像を出力するものであり、座標データ蓄積部１１、読み出しアドレス演算部１３、ＣＧ作画部１４により実現される。
画像合成手段は、前記ビデオ再生可能な装置の前記出力を構成する前記映像のフレームデータを受信すると、これに応じて、前記受信したフレームデータによるオリジナル画像に前記画像生成手段から出力される前記付加画像を重畳した合成画像を出力するものであり、後記の画像合成部１５または画像合成装置１５ａに相当する。
【００２１】
クロック生成部１は、映像蓄積のタイミングを生成する。書き込みアドレス演算部２は、映像蓄積およびタイムコード蓄積におけるメモリアクセスのための書き込みアドレスを求める。映像蓄積部３は、複数フレームの映像を記憶するメモリである。タイムコード蓄積部４は、記憶されるフレームごとのタイムコードを記憶するメモリである。映像再生操作部５は、利用者が主に映像を読み出す操作を行うものである。読み出しアドレス演算部６は、映像再生操作部５の操作に応じて映像蓄積部３およびタイムコード蓄積部４から映像およびタイムコードを読み出すための読み出しアドレスを求める。座標データ入力部７は、利用者が表示させたいと思う点の座標データを入力するためのユーザインタフェースである。カーソル画像合成部８は、映像蓄積部３から読み出された映像に対して、座標データ入力部７で入力された座標上にカーソル画像を重畳合成する。表示部９は、カーソル画像合成部８でカーソルを重畳された合成画像のほか、種々の画像を表示する。書き込みアドレス演算部１０は、タイムコード蓄積部４に蓄積されたタイムコードから座標データ蓄積のための書き込みアドレスを求める。座標データ蓄積部１１は、書き込みアドレス演算部１０で求めたアドレスに座標データ入力部７で入力された座標値を記憶する。座標データ補間部１２は、座標データ蓄積部１１の座標データテーブル（図４、６に関連して後記する）に蓄積された座標データを用いて座標データが蓄積されていないフレームに対して時間補間を行う。読み出しアドレス演算部１３は、座標データ蓄積部１１から座標データを読み出すためのアドレスをＶＴＲ装置１０１からのタイムコードに基づいて求める。ＣＧ作画部１４は、画像オブジェクトとして使用可能な少なくとも１つの画像オブジェクトデータを記憶する手段を備え、座標データ蓄積部１１の座標データテーブルから読み出された座標上にＣＧを作画する。画像合成部１５は、ＣＧ作画部１４で作画されたＣＧ画像を入力映像上に重畳合成する。
【００２２】
また、付加画像合成装置１００は、詳細に後記するように画像オブジェクト選択手段３６を備えることが好ましい。すなわち、所定の画像オブジェクトとして使用可能な少なくとも１つの画像オブジェクトデータを記憶しておき、画像オブジェクト選択手段３６により、利用者が前記少なくとも１つの画像オブジェクトデータから所望のものを所定の画像オブジェクトとして選べるようにすることが好ましい。
さらに、画像生成手段３５またはＣＧ作画部１４は、残像生成手段３７、線画像生成手段３８、またはこれらの両方を含んでもよい。残像生成手段３７は、保存されている付加画像の前記画像位置の位置情報が示す位置に前記所定の画像オブジェクトを重畳して得た新たな付加画像を出力するとともに、付加画像として保存する。線画像生成手段３８は、前記の新たな付加画像の各画像オブジェクトを直線または曲線で結ぶ。
【００２３】
各要素の動作の説明に先立って、図１および図２の構成による付加画像合成システム１０００の画像記録から合成映像出力に至るまでの一連の操作手順を以下に概説する。
（１ａ）ＶＴＲ再生制御部１０２を操作してＶＴＲ装置１０１を録画状態にするとともに、付加画像合成装置１００を記録状態にする。
（１ｂ）図示しない映像源から映像信号とタイムコード信号をＶＴＲ装置１０１に供給する。ＶＴＲ装置１０１は、入力映像および入力タイムコードを記録するとともに、スルーで出力する。付加画像合成装置１００は、ＶＴＲ装置１０１からの入力映像を少なくとも時間的に間引いて入力タイムコードとともに必要な時間だけ蓄積する。
（２ａ）付加画像合成装置１００の映像再生操作部５を操作して、フレームを表示させながら図形を描画したいフレームを選択する。表示部９には、選択された映像フレームがカーソルとともに表示される。
（２ｂ）座標データ入力部７を操作して、所望の座標位置を入力する。表示部９には操作に応じてカーソル等の図形が表示される。
（２ｃ）利用者は、描画を行いたい時間範囲に関して（２ａ）および（２ｂ）を繰り返し、画像位置の入力を満足できるまで行ったのち、画像位置の入力終了指令、補間指令またはこれらの両方を発する。これに応じて、付加画像合成装置１００は、後記の補間処理を実行する。このようにして、各フレームにおいて入力または補間された画像位置に再生時にＣＧオブジェクトを配置したものが付加画像となる。
（３）付加画像合成装置１００を再生状態にしてＶＴＲ装置１０１にて記録した映像を再生する。ＶＴＲ装置１０１からは、テープ等に収録された映像およびタイムコードが出力される。付加画像合成装置１００ではＶＴＲ装置１０１からのタイムコードに同期してＣＧ作画が行われ、ＶＴＲ装置１０１から出力される映像上に入力または補間された画像位置に配置されたＣＧオブジェクトを重畳合成した合成映像が出力される。
なお、本手順において、手順（１ｂ）で記録したテープの巻き戻し操作（付加画像生成後の再生動作のための頭出し）は、手順（１ｂ）の後かつ手順（３）の前であればいつ実行してもよいし、（３）の操作に含めてもよい。
このように、付加画像合成システム１０００の操作または動作は、（１）オリジナル映像の記録、（２）付加画像の生成または編集、（３）記録映像と付加画像の再生・合成に分けることができる。
【００２４】
以下に、図２の各構成要素の動作について述べる。クロック生成部１は、映像蓄積部３およびタイムコード蓄積部４に映像およびタイムコードを記憶するためのタイミングを生成する。このタイミングは映像信号のフィールドレート（例えば５９．９４Ｈｚ）以下の任意のタイミングとする。例えば、フィールドレートのｋ倍（ｋは０＜ｋ≦１なる定数）とすることができる（例えばｋ＝０．２５）。仮に、フレームレート３０Ｈｚで入力される映像信号を時間的に約１／３に間引いて（すなわち、３フレームに１フレームの割合で）記録するものと仮定すると、クロック生成部１は、ほぼ１００ｍｓの間隔でタイミングパルスを出力することになる。また、付加画像合成装置１００をパーソナルコンピュータなどの計算機により実装する場合には、クロック生成部１は、そのＣＰＵやバスの負荷変動に応じて変動するタイミングを生成してもよい。例えば、ＣＰＵ負荷が小さい場合には短い時間間隔（例えば２０ミリ秒間隔）とし、ＣＰＵ負荷が大きい場合には長い時間間隔（例えば１００ミリ秒間隔）で、クロック信号を発生してもよい。
【００２５】
書き込みアドレス演算部２は、クロック生成部１のクロック信号に応じて映像蓄積部３およびタイムコード蓄積部４の各メモリへの書き込みアクセスのためのアドレスを算出する。
例えば、まず、書き込みアドレス演算部２は、クロック生成部１からのクロック信号ごとに０，１，……，（Ｃ−１）の各値を順次循環する整数値ｃを発生する。仮に、ほぼ１００ｍｓのフレーム間隔で４秒間分ずつ処理を行う場合、Ｃ＝４０（＝（１／０．１）×４）となる。
例えば、映像の１フレームがＮｖバイト（１９２０画素×１０８０画素×２４ビットの画像の場合はＮｖ＝６２２８００バイト）で構成され、タイムコード一つがＮｔバイト（例えば、Ｎｔ＝４バイト）で表現される場合に、映像書き込み用のアドレスＷｖ（ｃ）およびタイムコード書き込み用のアドレスＷｔ（ｃ）をそれぞれ
Ｗｖ（ｃ）＝Ｎｖ×ｃ ・・・（１ａ）
Ｗｔ（ｃ）＝Ｎｔ×ｃ ・・・（１ｂ）
のように算出する。
【００２６】
映像蓄積部３は、１フレームあたりＮｖバイトの映像フレームを、Ｃフレーム分記憶することができるメモリである。書き込みアドレス演算部２からの書き込みアドレスＷｖ（ｃ）と、入力映像信号が与えられたとき、映像蓄積部３は、アドレスＷｖ（ｃ）から始まるＮｖバイト分のメモリブロックに対して現在の入力映像の各画素値を書き込む。
また、映像蓄積部３は、後述する読み出しアドレス演算部６から読み出しアドレスＲｖが与えられたとき、アドレスＲｖから始まるＮｖバイト分のメモリブロックの内容を読み出し、後述するカーソル画像合成部８に渡す。
【００２７】
タイムコード蓄積部４は、１フレームあたりＮｔバイトで表されるタイムコードを、Ｃフレーム分記憶することができるメモリである。書き込みアドレス演算部２からの書き込みアドレスＷｔ（ｃ）と、入力タイムコード信号が与えられたとき、タイムコード蓄積部４は、アドレスＷｔ（ｃ）から始まるＮｔバイト分のメモリブロックに対して現在外部から入力されているタイムコードを書き込む。
また、タイムコード蓄積部４は、後述する読み出しアドレス演算部６から読み出しアドレスＲｔが与えられたとき、アドレスＲｔから始まるＮｔバイト分のメモリブロックの内容を読み出し、後述する書き込みアドレス演算部１０へ渡す。
【００２８】
映像再生操作部５は、映像蓄積部３に記憶された画像から所望のフレームを頭出しするためのユーザインタフェースである。例えば、「１コマ進む」および「１コマ戻る」の各ボタンにより構成される。
読み出しアドレス演算部６は、映像再生操作部５の操作に応じて、映像蓄積部３およびタイムコード蓄積部４からの映像およびタイムコード読み出しのためのアドレスＲｖおよびＲｔを生成する。
例えば、映像再生操作部５の「１コマ進む」ボタンを押下した場合には、
ｃ←（ｃ＋１）％Ｃ ・・・（２ａ）
Ｒｖ←Ｎｖ×ｃ ・・・（２ｂ）
Ｒｔ←Ｎｔ×ｃ ・・・（２ｃ）
なる演算によりアドレスＲｖおよびＲｔを変更する。ここで、Ｘ％ＣはＸのモジュロＣを意味する、すなわち、ＸをＣで割った余りを示す。
一方、「１コマ戻る」のボタンを押下した場合には、
ｃ←（ｃ＋Ｃ−１）％Ｃ ・・・（３ａ）
Ｒｖ←Ｎｖ×ｃ ・・・（３ｂ）
Ｒｔ←Ｎｔ×ｃ ・・・（３ｃ）
なる演算によりアドレスＲｖおよびＲｔを変更する。なお、式（３ａ）では、負の数に対するモジュロ演算を避けるために、モジュロをとる前に除数Ｃを加えている。
【００２９】
座標データ入力部７は、例えば、マウスやペンタブレット、タッチパネルなど、２次元の座標を入力するためのユーザインタフェースである。
カーソル画像合成部８は、映像再生操作部５の操作および読み出しアドレス演算部６の動作により、映像蓄積部３より読み出された映像フレームの上に、カーソル画像を重畳合成する。カーソルとは、座標データ入力部７により指示されている座標上に重畳表示する特定の図形（例えば矢印や指差し印など）を言う。また、座標データ入力部７において、現在のカーソル位置が利用者の意図する位置である旨を付加画像合成装置１００に伝えるための所定の操作によりカーソル位置の座標を確定した場合（例えば、マウスクリックなどを行った場合）には、その確定された座標上に特定の図形（例えば×印など）を重畳する。
表示部９は、カーソル画像合成部８で合成された画像を表示する表示装置である。例えば、表示部９には、ＬＣＤ（液晶ディスプレイ）、ＰＤＰ（プラズマディスプレイ）、ＣＲＴ（ブラウン管ディスプレイ）など、任意の表示デバイスを用いることができる。
【００３０】
図３は、映像再生操作部５および座標データ入力部７の操作により、映像蓄積部３に蓄積された任意のフレームに座標データを入力する様子を表示部９への表示例を用いて説明する図である。まず、＃１において映像再生操作部５の操作（例えば、「１コマ進む」および「１コマ戻る」）により所望の画像フレーム（アドレスＲｖ＝Ｎｖ×ｃi（ｉ＝０〜(Ｃ−１)）を表示部９に表示させる（画面＃２）。続いて、＃２において表示されているカーソルを、座標データ入力部７の操作、例えば、マウス移動など（＃３）により所望の座標まで移動させる（画面＃４）。画面＃４の例では、ボールの像の上にカーソルを移動させている。次に、例えば、所定のボタンなどをクリックなど座標データ入力部７による所定の操作により（＃５）、座標を確定する（画面＃６）。以上の操作＃１，＃３，＃５により、ある１つのフレームに対する座標データが画面＃２，＃４，＃６のように入力される。
【００３１】
以降も同様に、操作＃７，＃９，＃１１により、別のフレーム（アドレスＲｖ＝Ｎｖ×ｃj（ｊ＝０〜(Ｃ−１)かつｊ≠ｉ）に対する座標データが画面＃８、＃１０，＃１２のように入力される。利用者は、これら一連の操作を、映像蓄積部３に蓄積された任意のフレームに対して行うことができるが、必ずしも蓄積されている全てのフレームに対して実行する必要はない。
書き込みアドレス演算部１０は、タイムコード蓄積部４から読み出されたタイムコードのフレーム番号Ｔに基づき、座標データ蓄積部１１の座標データテーブルへの書き込みのためのアドレスＷｐを算出する。例えば、座標データ蓄積部１１に記憶する１レコードの大きさをＮｐバイト、座標データ蓄積部１１が蓄積できる最大のレコード数をＭとしたとき、
Ｗｐ＝（Ｔ％Ｍ）×Ｎｐ ・・・（４）
によりアドレスＷｐを定めることができる。ここに％ＭはＭを法とする剰余である。なお、タイムコードは、例えば、００：００：００：００（０時０分０秒０フレーム）から数えたフレーム数をＴとする。最大のレコード数Ｍは、例えば、書き込みアドレス演算部２の例のように、４秒間分ずつ処理する場合には、Ｍ＝１２０（＝３０×４）とする。
【００３２】
座標データ蓄積部１１のテーブル生成手段３１は、映像の取り込み（すなわち、映像蓄積部３およびタイムコード蓄積部４への書き込み）が終了すると、取り込まれたすべてのフレームに対応するレコードを含んだ座標テーブルを生成する。そして、生成した座標テーブルの最初の処理単位である映像の先頭から例えば、４秒間分のフレームに対応するレコードを図示しないＲＡＭに読み出す。図４は、座標テーブルのＲＡＭ上に展開された４秒間分のフレーム（すなわち、１２０フレーム）に対するレコードを示す図である。図４Ａは、生成した直後で座標データを全く入力していない状態を示し、図４Ｂは、映像蓄積部３に蓄積され表示可能なフレームに対して利用者が座標データをある程度入力し、補間する前の状態を示す。図４Ａ，４Ｂにおいて、未入力のフィールドの値を「？」で表す。座標テーブルのレコードのうち、白抜きの☆印を付けたレコードは、フレームデータが映像蓄積部３に蓄積されているフレームを示し、それ以外のレコードは、フレームデータが間引かれて映像蓄積部３に蓄積されていないフレームを示す。したがって、表示部９に表示できるのは☆印付きのフレームに限られるので、利用者は、意識することはないが、☆印付きのフレームに対してのみ映像再生操作部５および座標データ入力部７の操作により座標データを入力することができる。すなわち、前記の３フレームごとに記録する例では、☆印が付いたフレーム番号０，３，６，９，１２，．．．，１１４，１１７の４０（＝１２０／３）フレームに対して座標データを設定することができる。
【００３３】
図４Ａの座標データテーブルの例では、各レコードには、そのレコードのテーブル内アドレスＷｐ（＝Ａ×Ｎｐ）、座標値のｘ座標およびｙ座標、並びにタイムコードが記録されている。ここで、ＡはＲＡＭにロードされているレコードの番号であり、Ａ＝Ｔ％Ｍで与えられる（式（４）参照）。以下において、座標テーブルのアドレスＡに記憶されるｘ座標をＸ［Ａ］、ｙ座標をＹ［Ａ］、タイムコードをＵ［Ａ］と記すこととする。
利用者があるフレームまたはレコードに座標データを設定または入力すると、対応するレコードに、座標データ入力部７で確定された座標値およびタイムコード蓄積部４から出力されたタイムコードが書き込まれる。図４Ｂに座標テーブルにおける座標値およびタイムコードの記憶方法の一例を示す。まだ座標データが設定されていないメモリ領域に対しては、タイムコード領域に−１の値が設定されている。ここで、例えば、タイムコードがＴ＝２５２のとき、（ｘ，ｙ）＝（３１０，４０）なる座標を記憶させる場合には、まず、書き込みアドレス演算部１０において、式（４）の演算により、アドレスＷｐ＝（２５２％１２０）×Ｎｐ＝１２×Ｎｐが求められる。そこで、アドレス１２×Ｎｐを先頭とするメモリブロックに、ｘ座標３１０、ｙ座標４０およびタイムコード２５２が記録される。すなわち、Ｘ［１２］＝３１０、Ｙ［１２］＝４０、Ｕ［１２］＝２５２が記録される。図４Ｂの例では、Ａ＝１２のほか、少なくともＡ＝０，１１４、１１７のレコードまたはフレームに座標データが設定されている。なお、図４Ａ，４Ｂは、メモリ上のテーブル構造であり、例えば、ハードディスクなどに座標テーブルを記録する場合には、アドレスフィールドの代わりに、シリンダ番号、ヘッド番号、セクタ番号や、ＦＡＴ（ファイル・アロケーション・テーブル）上において論理的に識別可能なファイル名を用いてもよい。
【００３４】
なお、この例では、座標データ蓄積部１１のタイムコード記録にあたりＵ［Ａ］にタイムコードＴそのものを記録するものとしたが、例えば、Ｔの代わりにＴ／Ｍの整数部を記録する方式によることもできる。
【００３５】
補間手段である座標データ補間部１２は、座標テーブルに記憶された座標データをスキャンし、座標データが記録されていないメモリ領域に対し、座標の補間値を書き込む。座標データ補間部１２の動作の手順を図５のフローチャートを参照しつつ説明する。
まず、ステップＳ１乃至Ｓ６により座標テーブルに記録されたタイムコードの最小値Ｔminと最大値Ｔmaxを求める（但し、タイムコードが−１の場合は無視する）。具体的には、ステップＳ１において、タイムコードの最小値Ｔminを無限大（∞）に、最大値Ｔmaxを−１に設定し、ステップＳ２において、レコード番号Ａを０に設定する。ステップＳ３において、レコード番号Ａがレコード数Ｍに達しないか否かを判断する。Ａがレコード数に達しない場合（Ｙｅｓの場合）、判断ステップＳ４において、タイムコードＵ[Ａ]が−１であるか否か、すなわちそのレコードに座標データが未設定であるか否かを判断する。未設定ならば（Ｙｅｓの場合）、ステップＳ６に進む。判断ステップＳ４において、未設定でない、すなわち座標データが設定されている場合（Ｎｏの場合）、ステップＳ５において、最小値ＴminとタイムコードＵ[Ａ]とを比較し、小さい方の値を最小値Ｔminとし、最大値ＴmaxとタイムコードＵ[Ａ]とを比較し、大きい方の値を最大値Ｔmaxとする。なお、min{Ｘ，Ｙ}は、ＸおよびＹの小さい方の値を表し、max{Ｘ，Ｙ}は、ＸおよびＹの大きい方の値を表わす。判断ステップＳ４でＹｅｓ分岐した後、またはステップＳ５の終了後、ステップＳ６においてレコード番号Ａをインクリメントして、ステップＳ３に戻る。
判断ステップＳ３において、レコード番号Ａがレコード数Ｍに達した場合（Ｎｏの場合）、ステップＳ７に進み、ステップＳ７でタイムコード変数Ｔに最小値Ｔminを設定する。
【００３６】
続いて、ステップＳ７乃至Ｓ１３において、ＴminとＴmaxとに挟まれた各タイムコードＴに対して、座標データの記録状況に応じて次の規則に従って補間処理を行う。すなわち、
規則１．タイムコードＴの座標データが既に存在する場合（Ｕ［Ａ］≠−１のとき）は補間しない。
規則２．タイムコードＴの座標データが存在しない場合（Ｕ［Ａ］＝−１のとき）であって、Ｔより過去、およびＴより未来の一定範囲に座標データが存在する場合には、補間処理を行う。
【００３７】
まず、ステップＳ７において、タイムコード変数Ｔに最小値Ｔminを設定する。ステップＳ８において、タイムコード変数Ｔをインクリメントする。判断ステップＳ９において、タイムコード変数Ｔが最大値Ｔmaxに満たないか否かを判断する。タイムコード変数Ｔが最大値Ｔmaxに満たなくない、すなわち最大値Ｔmaxに達した場合（Ｎｏの場合）、もやは処理すべきレコードは無いものと判断して、処理を終了する。ステップＳ９において、タイムコード変数ＴがＴmaxに満たない場合（Ｙｅｓの場合）、さらなる判断ステップＳ１０において、タイムコード変数Ｔが座標テーブルのタイムコードフィールドの値Ｕ［Ａ］（＝Ｕ［Ｔ％Ｍ］）に等しいか否か判断する。等しいならば（Ｙｅｓの場合）、そのレコードには座標データが設定されていることになり、補間の必要がないので、次のレコードを処理するためステップＳ８に戻る。判断ステップＳ１０において、タイムコード変数Ｔが座標テーブルのタイムコードフィールドの値Ｕ［Ａ］に等しくない場合（Ｎｏの場合）、おそらくＵ［Ａ］＝−１であり、そのレコードには座標データが未設定で補間を必要とするので、補間のためにステップＳ１１に進む。ステップＳ１１〜Ｓ１３における補間処理は、例えば、特開２００６−３１３７８の「時系列データ補間装置、その方法およびそのプログラム」における補間手段４２と同様の動作により行うことができる。
すなわち、ステップＳ１１において、座標テーブルにおけるタイムコード（Ｔ−１）乃至ｍａｘ｛Ｔmin，Ｔ−Ｐ｝の座標データの有無を調べ、このレコード範囲内に座標データが存在した場合には（Ｘ座標，Ｙ座標，タイムコード）からなるベクトルを座標データ集合Ｄ０に加える。ここに、Ｐは過去方向の探索範囲（単位はフレーム）である。この処理は、次の式で表すことができる。
【００３８】
【数１】
【００３９】
ここで、変数τは、探索範囲ｍａｘ｛Ｔmin，Ｔ−Ｐ｝〜（Ｔ−１）における現在の探索位置またはレコード位置を表すフレーム番号であり、演算子Ｕは、現在の探索位置に座標データが存在する（すなわち、Ｕ[τ％Ｍ]≠−１が成立する）場合、その座標データを座標データ集合Ｄ０に加えることを表す。
【００４０】
ステップＳ１２において、座標テーブルにおけるタイムコード（Ｔ＋１）乃至ｍｉｎ｛Ｔmax，Ｔ＋Ｆ｝の座標データの有無を調べ、座標データが存在した場合には（Ｘ座標，Ｙ座標，タイムコード）からなるベクトルを座標データ集合Ｄ１に加える。ここに、Ｆは未来方向の探索範囲（単位はフレーム）である。この処理は、次の式で表すことができる。
【００４１】
【数２】
【００４２】
ステップＳ１３では、前記の集合Ｄ０およびＤ１に基づき補間処理を施し、時刻Ｔにおける座標の補間結果（Ｘ’，Ｙ’）を求め、この補間結果
Ｘ［Ｔ％Ｍ］＝Ｘ’
Ｙ［Ｔ％Ｍ］＝Ｙ’
をタイムコードＴ（＝Ｕ［Ｔ％Ｍ］）とともに座標データテーブルに書き込む。ステップＳ１３の終了後は、次のレコードまたはフレームの処理を行うために、前記のステップＳ８に戻る。
【００４３】
前記のステップＳ１１〜Ｓ１３においては、特開２００６−３１３７８の「時系列データ補間装置、その方法およびそのプログラム」に開示された補間手段４２と同様の処理により精度を高めた補間を行ったが、通常のより単純な方法で補間することも可能である。
例えば、ステップＳ１１において、タイムコード（Ｔ−１）乃至ｍａｘ｛Ｔmin，Ｔ−Ｐ｝におけるＴの最近傍の座標データを（Ｘ０，Ｙ０），そのタイムコードをＴ０とする。該当するデータが存在しない場合にはステップＳ１３において補間を行わないこととする。
続いて、ステップＳ１２において、タイムコード（Ｔ＋１）乃至ｍｉｎ｛Ｔmax，Ｔ＋Ｆ｝におけるＴの最近傍の座標データを（Ｘ１，Ｙ１），タイムコードをＴ１とする。該当するデータが存在しない場合にはステップＳ１３において補間を行わないこととする。
ステップＳ１３では、タイムコードＴに対する補間座標（Ｘ’，Ｙ’）を次式により算出する。
【００４４】
【数３】
【００４５】
この補間結果（Ｘ’，Ｙ’）をタイムコードＴ（＝Ｕ［Ｔ％Ｍ］）とともに座標データテーブルに書き込む。
【００４６】
図６は、座標データ補間部１２により補間した後の座標データテーブルの状態の一例を示す図である。図６では、分かりやすいように、後者の単純な補間方法で補間した座標データの例を示す。図６において、★印が付いていないデータ（すなわち、☆印が付いたデータまたは無印のデータ）が、式（７）により補間されたデータである。例えば、アドレス１１５×Ｎｐ、１１６×Ｎｐの補間データは、アドレス１１４×Ｎｐおよび１１７×Ｎｐから補間されたものである。また、アドレス１１８×Ｎｐおよびアドレス１１９×Ｎｐの補間データは、アドレス１１７×Ｎｐおよび０×Ｎｐから補間されたものである。さらに、アドレス６×Ｎｐを含むアドレス１×Ｎｐからアドレス１１Ｎｐまでの補間データは、補間された座標値から推察してアドレス０×Ｎｐおよび１２×Ｎｐから補間されたものと思われる。
【００４７】
以上のように補間することにより、映像蓄積部３に蓄積された映像区間のすべてのフレームに対して付加画像として重畳表示される点の座標データが完成する。これにより、ＶＴＲ装置１０１から映像データが供給された場合、供給される映像とともに指定された座標位置に点を合成表示することが可能となる。
【００４８】
読み出しアドレス演算部１３は、外部から入力されたタイムコードＴextに基づき、座標データテーブルから座標データを読み出すためのアドレスＲｐを算出する。例えば、Ｒｐ＝Ｔext％ＭによりアドレスＲｐを決定する。
【００４９】
ＣＧ作画部１４は、座標データ蓄積部１１から読み出された座標データ（Ｘ，Ｙ）およびタイムコードＴに基づき、ＣＧ画像を生成する。具体的には、ＣＧ作画部１４では、座標データ蓄積部１１から読み出されたタイムコードＴが外部から入力されたタイムコードＴextと一致するか否かを検証する。一致しない場合には同時に読み出された座標データ（Ｘ，Ｙ）を破棄し、作画は行わない。
タイムコードが一致した場合には、読み出された座標データ（Ｘ，Ｙ）に基づき、ＣＧオブジェクトを作画する。図７はＣＧオブジェクト作画の一例である。この例では、まず、入力映像の大きさと同じ大きさの描画領域を設け、予め黒で塗りつぶしておく。続いて、読み出された座標データ（Ｘ，Ｙ）を中心とする位置にＣＧオブジェクト（図７の例では白色の円盤）を作画している。
【００５０】
最後に、画像合成部１５では、外部から入力された映像信号と、ＣＧ作画部１４で作画されたＣＧとを合成する。例えば、外部から入力された映像の上に重畳するようＣＧを合成する方式によることができる。
例えば、図７のように作画した場合、利用者により指定または入力された点が映像とともに滑らかに動いて表示されることになる。
【００５１】
また、図８は、ＣＧオブジェクト作画の別の一例である。この例では、図７の場合のオブジェクトに加え、残像生成手段３７により、過去の時点におけるＣＧオブジェクトも残像として残すよう作画している。このように作画した場合、利用者により指定または入力された点の軌跡が線となって表示される。
【００５２】
さらに、ＣＧ作画部１４は、以上のような作画方法のほか、例えば、線画像生成手段３８により、過去の時点から現時点までのオブジェクト位置を折線や曲線（スプライン曲線など）で結ぶといった作画手法により作画するように構成することも可能である。
【００５３】
また、前記の例では、指定された座標位置に単純な円を表示するように構成した。しかし、円盤のような単純な図形に限らず、ボールの形やテクスチャをもったＣＧオブジェクトのように、より複雑な種々のＣＧオブジェクトをあらかじめ用意しておき、画像オブジェクト選択手段３６により、この中から利用者に所望のＣＧオブジェクトを選択できるようにし、選択されたＣＧオブジェクトを用いて作画するようにＣＧ作画部１４を構成してもよい。
＜好ましい実施形態＞
【００５４】
以上述べたように、本発明の原理によれば、付加画像の合成表示を限られたメモリ容量で実現することができるので、パーソナルコンピュータを用いて図２と同様の画像合成装置を実現することが可能である。
図９は、本発明の好ましい実施形態によりパーソナルコンピュータを用いて実現した付加画像合成装置の構成を概念的に示した機能ブロック図である。図９において、付加画像合成装置１００ａは、基本的に、制御演算部３００、二次記憶装置３１０、操作部３３０、表示部９およびこれらの間のデータ転送を行うバス３０２を備えてなるパーソナルコンピュータ（ＰＣ）である。付加画像合成装置１００ａは、バス３０２に接続される回路基板を増設可能なスロットと、このスロットに挿入して使用される回路基板２００をさらに備えている。したがって、本実施形態の付加画像合成装置１００ａには、回路基板２００を増設可能で記憶容量および処理速度などの点から十分な性能を備えたものであれば、いかなるＰＣでも使用可能である。二次記憶装置３１０には、制御演算部３００の図示しないＣＰＵにより実行される種々のプログラムが格納されている。図９において、２重線で示したブロックはソフトウェア（すなわち、二次記憶装置３１０に格納されているプログラム）で実施可能な要素を示す。そのうち、要素名の最後がＡＰＩ（Application Program Interface）で終了する要素は、付加画像合成装置１００ａのＯＳ（オペレーティングシステム）から提供される関数もしくは回路基板２００の制御用に提供されるライブラリ関数を示す。例えば、ＶＣＡＰＩ４０３は、呼び出されて実行されると、映像キャプチャ部１１０が時々刻々と取り込む映像データから、そのときの１フレーム分のデータを返す関数である。同様に、ＴＣ読取ＡＰＩ４０１は、呼び出されて実行されると、タイムコード読み取り部１２０が時々刻々と取り込むタイムコードから、そのとき取り込まれたタイムコードを返す関数である。
【００５５】
次に、回路基板２００のハードウェア構成を説明し、続いて、ソフトウェア構成および動作をまとめて説明する。回路基板２００は、図１のＶＴＲ装置１０１から供給される映像信号を取り込む映像キャプチャ部１１０、ＶＴＲ装置１０１から供給されるタイムコード信号を取り込むＴＣ読み取り部（ＴＣ読取部）１２０、動作に必要な種々のデータを一時的に格納するＲＡＭ２０、ＲＡＭ２０に格納されている座標データテーブル２５から読み出される座標データおよびタイムコードならびにＴＣ読み取り部１２２を介して取り込まれた外部タイムコードＴextから付加画像を生成するＣＧ作画部１４、およびＣＧ作画部１４で生成された付加画像とＶＴＲ装置１０１から供給される映像信号とを構成出力する画像合成部１５を備える。
【００５６】
ＴＣ読み取り部（ＴＣ読取部）１２０は、ＶＴＲ装置１０１から供給されるＶＩＴＣ信号を読み取るＶＩＴＣ読み取り部１２２およびＶＴＲ装置１０１から供給されるＬＴＣ信号を読み取るＬＴＣ読み取り部１２４を備え、ＶＩＴＣ信号およびＬＴＣ信号の何れも取り込めることが好ましいが、ＶＩＴＣ読み取り部１２２およびＬＴＣ読み取り部１２４の一方のみを備えてもよい。
【００５７】
以降、図１０〜１２を参照しながらソフトウェア構成および動作を説明する。図１０は、二次記憶装置３１０に格納され制御演算部３００の図示しないＣＰＵにより所定の周期で常に実行されるプログラムの処理の流れを示すフローチャートである。換言すれば、図１０の処理の流れが前記のプログラムを定義すると考えられるので、図１０の処理の流れをプログラムと同等に考え図１０のプログラムと称する。付加画像合成装置１００ａにおいては、主に操作部３３０の操作により発せられる記録（映像の間引き保存）、編集（付加画像の生成・編集）、再生（映像と付加画像の合成出力）およびプログラム終了などのコマンドを監視し、コマンドの変化に応じて処理を行う。図１０のプログラムが実行されると、まず、記録、編集および再生のうち何れのモードが操作部３３０により選択されているかを監視する（Ｓ３６０）。記録が選択されているか否かを判断し（Ｓ３６２）、そうなら後記の記録処理サブルーチンを呼び出して実行することにより記録処理を行い（Ｓ３６４）、記録が選択されていない場合（Ｎｏの場合）は、さらに編集が選択されているか否かを判断する（Ｓ３６６）。編集が選択されている場合（Ｙｅｓの場合）、後記の編集処理サブルーチンを呼び出して実行することにより編集処理を行い（Ｓ３６８）、編集が選択されていなければ（Ｎｏの場合）、再生が選択されているはずであるから後記の再生処理サブルーチンを呼び出して実行することにより再生処理を行う（Ｓ３７０）。記録処理ステップＳ３６４、編集処理ステップＳ３６８または再生処理ステップＳ３７０の終了後は、プログラム終了の指示が発せられたか否かを判断し（Ｓ３７２）、そうでなければ前記のステップＳ３６０に戻り処理を繰り返し、プログラム終了の指示が発せられた場合、処理を終了する。以上の処理により、後記のように記録、編集および再生が行われる。
【００５８】
図１１は、図１０に示した記録処理サブルーチンＳ３６４（＝図１１ａ）および再生処理サブルーチンＳ３７０（＝図１１ｂ）の処理の流れを示すフローチャートである。図１２は、図１０に示した編集処理サブルーチンの処理の流れを示すフローチャートである。なお、図９において２重線で示した各プログラム構成要素には、それを実行することにより実現される図１１または１２のステップに付けた要素符号からＳを取り除いた番号を付けてある。
【００５９】
図１０のステップＳ３６４において、記録処理サブルーチンが実行されると、図１１（ａ）において、まずクロック生成部１から与えられる記録トリガＴｒｒに応じてプログラム要素４００がタイムコード読取ＡＰＩ４０１にＴＣ読み取りコマンドを発行する（Ｓ４００）。これに応じて、タイムコード読取ＡＰＩ４０１から渡されるタイムコードをタイムコード書込部４０２がタイムコードをＲＡＭ２０のタイムコード格納領域２４に書き込む（Ｓ４０２）。同様に、クロック生成部１から与えられる記録トリガＴｒｒに応じてプログラム要素４０４が映像キャプチャＡＰＩ４０３に映像取込コマンドを発行する（Ｓ４０４）。これに応じて、映像キャプチャＡＰＩ４０３から渡される映像データまたはフレームデータを映像書込部４０６が映像データをＲＡＭ２０の間引き映像データ２３格納領域に書き込む（Ｓ４０６）。そして、最新の映像データを表示部９に表示する。
以上の処理により、クロック生成部１が、所定の間隔またはＣＰＵの処理負荷に応じた間隔で記録トリガＴｒｒを出力することにより、記録トリガＴｒｒに同期して映像フレームがＲＡＭ２０に記録されるので、記録トリガＴｒｒの頻度に応じて間引かれた映像フレームが記録されることになる。
【００６０】
図１０のステップＳ３６８において編集処理サブルーチンが実行された場合の処理を説明する。図１２において、まず表示フレームインデックスｃを初期値０に設定した（Ｓ４１０）のち、第ｃ番目の間引き映像データを編集モニタ用画像メモリ２２（図９参照）にコピーし（Ｓ４１２）、カーソル画像を編集モニタ用画像メモリ２２に重畳し（Ｓ４１４）、さらに既入力の（既に入力されている）座標データを編集モニタ用画像メモリ２２に重畳して（Ｓ４１６）、編集モニタ用画像メモリ２２の内容（画像）を表示部９に表示する（Ｓ４１８）。そして、カーソル操作の指示か否かを判断し（Ｓ４２０）、そうならば（Ｙｅｓの場合）、指定の位置にカーソルを移動して（Ｓ４２２）、ステップＳ４２４に進む。判断ステップＳ４２０において、カーソル操作の指示でない場合（Ｎｏの場合）、ステップＳ４２４において、表示フレーム変更の指示か否かを判断し、そうなら、表示フレームインデックスｃを指定のフレームに変更して（Ｓ４２６）、ステップＳ４２８に進む。判断ステップＳ４２４において、表示フレーム変更の指示でない場合（Ｎｏの場合）、ステップＳ４２８において、確定の指示か否かを判断し、確定ならば（Ｙｅｓの場合）、現在のカーソル座標を座標データテーブル２５（図９参照）の該当するレコードに書き込み（Ｓ４３０）、ステップＳ４３２に進む。ステップＳ４２８において確定の指示でない場合（Ｎｏの場合）、ステップＳ４３２において補間実行の指示か否かを判断する。Ｎｏの場合、何もせず編集処理を終了し、補間実行の指示の場合（Ｙｅｓの場合）、座標データテーブルの未入力レコードの座標データを補間して（Ｓ４３４）、編集処理を終了する。
この編集処理により、ＲＡＭ２０に保存されている任意の間引き映像データ２３に対して、利用者が表示位置の座標を指定することができ、座標を指定していないフレームに対しては座標データを補間することができる。このようにして、ＶＴＲ装置１０１で再生される映像に重畳表示すべき付加画像が生成される。
【００６１】
ＶＴＲ装置１０１で再生した映像とともに付加画像を重畳表示する場合、利用者は、まず付加画像合成装置１００ａを再生モードにする。すると、図１０のステップＳ３７０において図１１（ｂ）の再生処理サブルーチンが実行される。このサブルーチンが実行されると、図１１（ｂ）において、クロック生成部１が出力する再生トリガＴｒｐに応じて、プログラム要素４４０が、タイムコード読取ＡＰＩ４０１にタイムコード取込コマンドを発行する（Ｓ４４０）。読み出しアドレス演算部４４２（図９参照）は、これに応じてタイムコード読取ＡＰＩ４０１が返したタイムコードをプログラム要素４４０を介して受け取り、座標データテーブル２５の読み出しアドレスに変換する（Ｓ４４２）。そして、ＲＡＭ２０の座標データテーブル２５からこの読み出しアドレスで指定された座標データおよびタイムコードを読み出してＣＧ作画部１４に転送する（Ｓ４４４）。
ＣＧ作画部１４は、座標データテーブル２５から読み出された座標データおよびタイムコードならびにＴＣ読取ＡＰＩ４０１を介して取り込まれた外部タイムコードＴextから付加画像を生成する。このとき、ＣＧ作画部１４は、座標データテーブル２５から読み出されたタイムコードと外部タイムコードＴextとが一致する場合に限り、画像を生成して出力する。
画像合成部１５は、ＶＴＲ装置１０１からの映像にＣＧ作画部１４からの付加画像を重畳して出力する。
＜種々の変形＞
【００６２】
以上は、本発明の説明のために実施の形態の例を掲げたに過ぎない。したがって、本発明の技術思想または原理に沿って上述の実施の形態に種々の変更、修正または追加を行うことは、当業者には容易である。
例えば、最初に説明した本発明の原理においては、書き込みアドレス演算部２が循環するフレームインデックスｃを生成することにより、映像蓄積部３，タイムコード蓄積部４，および座標データ蓄積部１１に比較的短時間（数秒程度）の処理単位ごとのデータを格納し、データ全体は二次記憶装置に格納するようにした。しかし、処理すべきデータを分割せず、すべてのデータをＲＡＭ２０に格納するように構成してもよい。少なくとも座標データテーブルは、１レコードが高々十数バイト程度であるから、すべてのテーブルデータをＲＡＭ２０に格納することが好ましい。
【００６３】
また、図４および図６に示した座標データテーブルの例では、最初のフィールドとしてアドレスフィールドを備えているが、座標データとタイムコードを関係付けて格納できれば目的は達せられるので、アドレスフィールドは必ずしも必要ではない。多くの場合、データのアクセスはＯＳを介して行い、プログラム作成時には配列などの機能を使用すればアドレスを意識する必要はない。仮に、利用者自信がアドレス管理を行う場合でも、アドレスフィールドを使用する代わりに、レコードを指し示すポインタを使用するなど、種々の方法が可能である。
【００６４】
以上説明した例では、付加画像合成装置１００，１００ａは、画像合成部１５を含んでいた。しかし、画像合成装置として単体の装置を使用することも可能である。図１３は、図２に示した付加画像合成装置１００を、付加画像合成装置１００から画像合成部１５を取り除いた付加画像生成装置９０と単体の画像合成装置１５ａによって構成した付加画像合成装置１００ｂの構成を示すブロック図である。すなわち、図１３の付加画像合成装置１００ｂは、図２の付加画像合成装置１００を画像合成部１５を含まない付加画像生成装置９０と画像合成装置１５ａで置き換えたものである。同様の構成は、図９の付加画像合成装置１００ａに対しても可能であることは言うまでもない。
以上述べた例では、一定の間隔でフレームをサンプルして格納したが、フレームをサンプルするだけでなく、各フレームのデータを空間的に間引いたデータを格納するようにしてもよい。
以上述べた例では、座標データテーブルには、１組の座標データのみが格納されている。しかし、各レコードに複数の組の座標データを格納するようにしてもよい。このようにすることにより、例えばボクシングの左右のグローブの動きの軌跡を付加画像として、元の映像に重畳表示できるようになる。また、この場合、各座標に対して表示するオブジェクトや色を指定するデータを格納できるようにしてもよい。しかし、オブジェクトや色のデータを座標データテーブルに含めると、座標データテーブルのサイズが大きくなるので、座標の組にＩＤを付け、このＩＤにオブジェクトおよび色を関係付けて保存する方が好ましい。これにより、表示する点または点の軌跡ごとにオブジェクトおよび色を変えて表示することが可能となる。
また、以上述べた例では、映像信号として各種アナログ信号や各種デジタル信号を使用することとした。さらに、映像信号として例えばＭＰＥＧ（Moving Picture Experts Group）符号化されたデータでもよい。この場合、例えば、映像蓄積部３にはＩピクチャ（Intra Picture）のみを蓄積し、編集時の表示および再生時の合成の前にＭＰＥＧ復号器を通してアナログ信号に変換するように構成すればよい。
【図面の簡単な説明】
【００６５】
【図１】本発明に係る付加画像合成装置を外部のＶＴＲ装置と接続して使用する例を説明するブロック図である。
【図２】本発明の原理に係る付加画像合成装置の構成を示すブロック図である。
【図３】映像再生操作部５および座標データ入力部７の操作により、映像蓄積部３に蓄積された任意のフレームに座標データを入力する様子を表示部９への表示例を用いて説明する図である。
【図４Ａ】座標データテーブルのデータ構造の一例を示す図である。
【図４Ｂ】座標データテーブルのデータ構造の一例を示す図である。
【図５】座標データ補間部の動作を表すフローチャートである。
【図６】座標データ補間部により補間された後の座標データテーブルの状態の一例を示す図である。
【図７】ＣＧ作画部で生成されるＣＧの一例を示す図である。
【図８】ＣＧ作画部で生成されるＣＧの別の例を示す図である。
【図９】本発明の好ましい実施形態によりパーソナルコンピュータを用いて実現した付加画像合成装置の構成を概念的に示した機能ブロック図である。
【図１０】二次記憶装置３１０に格納され制御演算部３００のＣＰＵにより所定の周期で常に実行されるプログラムの処理の流れを示すフローチャートである。
【図１１】図１０に示したフローチャートの記録処理サブルーチン（１１ａ）および再生処理サブルーチン（１１ｂ）の処理の流れを示すフローチャートである。
【図１２】図１０に示したフローチャートの編集処理サブルーチンの処理の流れを示すフローチャートである。
【図１３】図２に示した付加画像合成装置１００を、付加画像合成装置１００から画像合成部１５を取り除いた付加画像生成装置９０と単体の画像合成装置１５ａによって構成した付加画像合成装置１００ｂの構成を示すブロック図である。
【符号の説明】
【００６６】
１ クロック生成部
２ 書き込みアドレス演算部
３ 映像蓄積部
４ タイムコード蓄積部
５ 映像再生操作部
６ 読み出しアドレス演算部
７ 座標データ入力部
８ カーソル画像合成部
９ 表示部
１０ 書き込みアドレス演算部
１１ 座標データ蓄積部
１２ 座標データ補間部
１３ 読み出しアドレス演算部
１４ ＣＧ作画部
１５ 画像合成部（画像合成手段）
１５ａ 画像合成装置（画像合成手段）
３０ 記録手段
３１ テーブル生成手段
３２ フレーム表示選択手段
３３ 画像位置指定手段
３４ 位置情報保存手段
３５ 画像生成手段
３６ 画像オブジェクト選択手段
３７ 残像生成手段
３８ 線画像生成手段
９０ 付加画像生成装置
１００，１００ａ 付加画像合成装置
１０１ ＶＴＲ装置
１０２ ＶＴＲ再生制御部
１０００ 付加画像合成システム
【技術分野】
【０００１】
本発明は、時々刻々変化する映像上に図形を作成し、作成した図形を映像とともに合成出力する画像合成装置に関する。
【背景技術】
【０００２】
従来、スポーツ等の学習や解説のため、黒板、マグネット、およびチョークを用いた戦術の呈示や分析が行われている。この呈示手段をヒントに、実写映像上にアイコンや任意の曲線などを合成表示するシステムがビデオ画面チョーク装置として実用化され、スポーツ放送などで利用されている。本システムでは、ポインティングデバイスをディスプレイ上で操作することにより、実写映像上に直接図形を描画しているような直感的な操作性が得られる。
【０００３】
また、一定期間の映像フレームをメモリ上に蓄積し、蓄積されたフレームの画素値を変更することで描画操作を行い、変更後のフレームを読み出すことで、映像上に動的な描画を行ったような映像効果を得る技法も用いられている。
【０００４】
さらに、黒板やマグネットの移動を模した画面をビデオ画面の時刻に連動して保存・再生可能な装置が存在する（特許文献１）。
【特許文献１】特開２００３−１８０８９５号公報（段落００４７〜００７７、図７）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、ビデオ画面チョーク装置においては、描画された図形が即座に映像と合成されるため、時間とともに変化する図形を正確または満足に描画することが難しい。このため、従来は、オペレータの描画操作が間に合う程度までＶＴＲ（ビデオテープレコーダ）を十分に低速再生しつつ、描画を行う必要がある。
【０００６】
映像フレームをメモリ上に蓄積し、蓄積されたフレームの画素値を変更することで描画操作を行う手法では、時々刻々変化する描画効果を正確に再現することが可能であるものの、映像効果を適用したい全フレームの映像をメモリ上に蓄える必要があるため、膨大なメモリを必要とする。
【０００７】
また、特許文献１の手法も、蓄積されたフレームに対する映像効果であるため、映像効果を適用したい全フレームの映像をメモリ上に蓄える必要があり、膨大なメモリを必要とする。
【０００８】
本発明は、以上のような問題点を解決するためになされたものであり、映像の間引きされた任意のフレームに所望の位置を指定することにより、指定された位置を軌跡または線として表示する付加画像を作成し、映像の再生時に、作成した付加画像を映像に同期して出力する付加画像生成装置を提供することを課題とする。
また、本発明は、映像の再生時に、再生される映像に前記の付加画像を合成して出力する付加画像合成装置を提供することを課題とする。
【課題を解決するための手段】
【０００９】
上記の課題を解決するため、本発明は、ある面では、映像に重畳表示すべき付加画像を生成する付加画像生成装置を提供する。本発明の付加画像生成装置は、記録手段と、テーブル生成手段と、フレーム表示選択手段と、画像位置指定手段と、位置情報保存手段と、補間手段と、画像生成手段とを備えることにより、映像に重畳表示すべき付加画像を生成することを特徴とする。
この構成の付加画像生成装置によれば、利用者が映像の間引いたフレームの一部のフレームにおける画像位置を指定することにより、画像位置が指定されていないフレームに対して画像位置を補間した付加画像を作成し、ビデオ再生可能な装置の出力を構成する映像のフレームデータを受信した場合、この受信したフレームデータに応じて、付加画像を出力する。したがって、受信した映像に付加画像を重畳することにより、付加画像を重畳した映像を表示することが可能となる。少なくとも時間的に間引いた映像データを保存して、付加画像生成を行うので、限られたメモリ容量で実現することが可能である。
【００１０】
前記所定の画像オブジェクトとして使用可能な少なくとも１つの画像オブジェクトデータを記憶する手段を備え、画像位置指定手段が、利用者が前記少なくとも１つの画像オブジェクトデータから所望のものを前記所定の画像として選ぶことを可能とする手段を含む構成としてもよい。
この構成の付加画像生成装置によれば、少なくとも１つの画像オブジェクトデータから選択して表示させることが可能となる。
【００１１】
前記画像生成手段は、保存されている付加画像の前記画像位置の位置情報が示す位置に前記所定の画像オブジェクトを重畳して得た新たな付加画像を出力するとともに、付加画像として保存する残像生成手段を含んでもよい。
この構成の付加画像生成装置によれば、それまで出現した画像位置の総てに画像オブジェクトが表示されるので、指定した画像位置を結ぶ画像オブジェクトの線として付加画像を表示することが可能となる。
【００１２】
前記残像生成手段は、前記の新たな付加画像の各点を直線または曲線で結ぶ線画像生成手段を含んでもよい。
この構成の付加画像生成装置によれば、指定した画像位置が直線または曲線で結ばれて表示される。
【００１３】
前記画像位置指定手段が、前記の選択表示された画像において利用者に所望の複数の画像位置を指定することを可能とし、前記位置情報保存手段が、前記操作に応じて、前記画像において指定された前記複数の画像位置の位置情報を前記画像の前記タイムコードとともに保存し、前記補間手段が、前記位置情報の保存を行った２つのフレームに順序的に挟まれ、前記位置情報の保存が行われていないフレームが存在する場合、存在する各フレームに対し、前記２つのフレームの各位置情報を用いて当該フレームの対応する位置情報を補間し、当該フレームのタイムコードとともに前記複数の画像位置の位置情報として保存し、前記画像生成手段が、前記の一致する保存されたタイムコードに関係付けられた前記複数の画像位置の位置情報が示す位置に所定の画像オブジェクトをそれぞれ配置した付加画像を出力するように構成してもよい。
【００１４】
この構成の付加画像生成装置によれば、複数の点の軌跡を表示することが可能となる。
前記付加画像生成装置を二次記憶装置を備えたパーソナルコンピュータで構成し、前記の各手段が前記二次記憶装置に格納されたプログラムの一部を含むようにしてもよい。
このように、本発明によれば、付加画像生成装置をパーソナルコンピュータで実現することが可能である。
また、本発明は、別の面では、前記ビデオ再生可能な装置の前記出力を構成する前記映像のフレームデータを受信すると、これに応じて、前記受信したフレームデータによるオリジナル画像に前記画像生成手段から出力される前記付加画像を重畳した合成画像を出力する手段を前記の付加画像生成装置に設けて構成される付加画像合成装置を提供する。
この構成の付加画像合成装置によれば、利用者が映像の間引いたフレームの一部のフレームにおける画像位置を指定することにより、画像位置が指定されていないフレームに対して画像位置を補間した付加画像を作成し、ビデオ再生可能な装置の出力を構成する映像のフレームデータを受信した場合、この受信したフレームデータに付加画像を重畳した映像を出力する。
【発明の効果】
【００１５】
本発明によれば、映像の間引きされた任意のフレームに所望の位置を指定することにより、指定された位置を軌跡または線として表示する付加画像を作成し、映像の再生時に、作成した付加画像を映像に同期して出力することが可能となる。このように、付加画像の生成に間引きした映像データを使用するので、付加画像を重畳した映像の表示を少ないメモリ容量で実現できるので、本発明は、通常のパーソナルコンピュータを用いて実現することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態と添付図面により本発明を詳細に説明する。
なお、複数の図面に同じ要素を示す場合には同一の参照符号を付ける。
図１は、本発明の一実施形態により実写映像を記録し、記録した映像に対して利用者が点の軌跡や線などを設定して生成した画像(付加画像または軌跡画像と称する)を元の実写映像と合成して出力する付加画像合成システムの構成を示すブロック図である。図１において、付加画像合成システム１０００は、図示しない映像源から送られる映像信号および映像を構成する各フレームに割り当てられたタイムコード信号を受信し、受信した映像信号とタイムコードを記録再生するＶＴＲ装置１０１、ＶＴＲ装置１０１の操作を行うためのＶＴＲ再生制御部１０２、および本発明の原理によりＶＴＲ装置１０１の出力映像から利用者が点の軌跡や線などを設定して生成した付加画像を元の出力映像と合成して出力する付加画像合成装置１００を備えてなる。
【００１７】
付加画像合成システム１０００では、ＶＴＲ装置１０１の映像信号とタイムコード信号の各入力端子に映像信号とタイムコード信号を入力する。また、ＶＴＲ装置１０１の映像信号およびタイムコード信号の各出力端子は、付加画像合成装置１００の映像信号およびタイムコード信号の各入力端子と接続する。ＶＴＲ装置１０１は、映像、タイムコード等を磁気テープに収録／再生するものであるが、この代わりに光ディスク（ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ＋ＲＷ、ＣＤ−Ｒ、ＣＤ−ＲＷなど）や磁気ディスク（ＨＤＤ（ハードディスク装置）、ＦＤＤ（フレキシブルディスク装置）、ＺＩＰ（ＺＩＰリムーバブル記憶装置）など）、光磁気ディスク（ＭＯ（magneto-optical disc）、ＭＤ（ミニディスク）など）などに収録／再生を行うビデオディスクレコーダであってもよいし、半導体メモリ（ＤＲＡＭ（ダイナミックＲＡＭ）、ＳＲＡＭ（スタティックＲＡＭ）、ＳＤＲＡＭ（同期ＤＲＡＭ）、ＰＲＯＭ（プログラム可能型）、ＥＰＲＯＭ（電気的プログラム可能型）、ＥＥＰＲＯＭ（電気的消去／プログラム可能型）、ＵＶ−ＥＰＲＯＭ（紫外線消去／プログラム可能型）など）に収録／再生を行う装置であっても構わない。（ここで、ＤＶＤ＝digital versatile disc、ＣＤ＝コンパクトディスク、−Ｒ＝追記型、−ＲＷ＝書き換え型、ＲＡＭ＝random access memory、ＲＯＭ＝read only memoryである。）
ＶＴＲ再生制御部１０２は、ＶＴＲの再生、停止、巻き戻し、早送り、録画（以下、再生等）を切り替えたり、再生等の速度を調節するためのユーザインタフェースであり、ＶＴＲ装置１０１本体上に設置されたボタンやダイアルなどのスイッチ類であってもよいし、本体からリモートケーブルを介して接続される別筐体上に設置されるスイッチ類であってもよい。映像信号とは、例えばＮＴＳＣ（National Television System Committee）、ＰＡＬ（Phase Alternation by Line）、ＳＥＣＡＭ（セカム:フランスのカラーテレビジョン方式）の各方式によるコンポジット信号、ＲＧＢやＹＣｂＣｒ、ＹＰｂＰｒのアナログコンポーネント信号などの各種アナログ映像信号、ＳＤＩ（Serial Digital Interface）信号、ＤＶＩ（Digital Visual Interface）信号、ＤＶ（Digital Video）信号などの各種ディジタル映像信号のいずれによることもできる。また、タイムコード信号はＬＴＣ（Linear Time Code）信号、ＶＩＴＣ（Vertical Interval Time Code）など任意の時刻同期のための信号を一つ乃至複数組み合わせて用いることができる。
【００１８】
なお、付加画像合成システム１０００では、ＶＴＲ装置１０１は、再生時にはテープ等に収録された映像およびタイムコードを出力し、再生時以外は入力映像および入力タイムコードをそのまま（スルーで）出力するものとする。
＜本発明の原理＞
【００１９】
図２は、本発明の原理による付加画像合成装置の構成を概念的に示すブロック図である。図２に示すように、付加画像合成装置１００は、記録手段３０と、テーブル生成手段３１と、フレーム表示選択手段３２と、画像位置指定手段３３と、位置情報保存手段３４と、座標データ補間部（補間手段）１２と、画像生成手段３５と、画像合成部（画像合成手段）１５を備えることにより、映像に重畳表示すべき付加画像を生成し、ＶＴＲ装置１０１からの映像に重畳した付加画像合成信号を出力する。
記録手段３０は、映像のフレームデータとこれに対応するタイムコードとを出力するビデオ再生可能な装置（例えば、ＶＴＲ装置１０１）の出力から、少なくとも時間的に一定の割合で間引いたフレームデータを前記タイムコードに関係付けて保存するものであり、詳細に後記するクロック生成部１、書き込みアドレス演算部２、映像蓄積部３、タイムコード蓄積部４を含む。
テーブル生成手段３１は、前記の間引いたフレームデータを保存した期間の映像を構成する総てのフレームに対するレコードを備えたテーブルを生成するものであり、座標データ蓄積部１１に含まれる。
フレーム表示選択手段３２は、前記の保存した保存フレームデータの画像表示および表示される表示フレームの選択を利用者に可能とするものであり、映像蓄積部３、映像再生操作部５、読み出しアドレス演算部６、カーソル画像合成部８、表示部９により実現される。
画像位置指定手段３３は、前記表示フレームにおいて利用者に所望の画像位置を指定し、前記画像位置の位置情報を保存する意図を反映する操作を可能とするものであり、座標データ入力部７、カーソル画像合成部８、表示部９により実現される。位置情報保存手段３４は、前記操作に応じて、前記表示フレームに対応する前記テーブルのレコードに、前記表示フレームにおいて指定された前記画像位置の位置情報を前記表示フレームの前記タイムコードとともに保存するものであり、タイムコード蓄積部４、書き込みアドレス演算部１０、座標データ蓄積部１１により実現される。
【００２０】
座標データ補間部（補間手段）１２は、前記位置情報の保存を行った２つのフレームに順序的に挟まれ、前記位置情報の保存が行われていないフレームが存在する場合、存在する各フレームに対し、前記２つのフレームの前記位置情報を用いて当該フレームの位置情報を補間し、当該フレームに対応する前記テーブルのレコードに、当該フレームのタイムコードとともに前記画像位置の位置情報として保存するものであり、後記の座標データ補間部に相当する。
画像生成手段３５は、前記ビデオ再生可能な装置の前記出力を構成する前記映像のフレームデータを受信した場合、この受信したフレームデータとともに受信したタイムコードと一致する保存されたタイムコードが存在するとき、前記の一致する保存されたタイムコードに関係付けられた前記画像位置の位置情報が示す位置に所定の画像オブジェクトを配置した付加画像を出力するものであり、座標データ蓄積部１１、読み出しアドレス演算部１３、ＣＧ作画部１４により実現される。
画像合成手段は、前記ビデオ再生可能な装置の前記出力を構成する前記映像のフレームデータを受信すると、これに応じて、前記受信したフレームデータによるオリジナル画像に前記画像生成手段から出力される前記付加画像を重畳した合成画像を出力するものであり、後記の画像合成部１５または画像合成装置１５ａに相当する。
【００２１】
クロック生成部１は、映像蓄積のタイミングを生成する。書き込みアドレス演算部２は、映像蓄積およびタイムコード蓄積におけるメモリアクセスのための書き込みアドレスを求める。映像蓄積部３は、複数フレームの映像を記憶するメモリである。タイムコード蓄積部４は、記憶されるフレームごとのタイムコードを記憶するメモリである。映像再生操作部５は、利用者が主に映像を読み出す操作を行うものである。読み出しアドレス演算部６は、映像再生操作部５の操作に応じて映像蓄積部３およびタイムコード蓄積部４から映像およびタイムコードを読み出すための読み出しアドレスを求める。座標データ入力部７は、利用者が表示させたいと思う点の座標データを入力するためのユーザインタフェースである。カーソル画像合成部８は、映像蓄積部３から読み出された映像に対して、座標データ入力部７で入力された座標上にカーソル画像を重畳合成する。表示部９は、カーソル画像合成部８でカーソルを重畳された合成画像のほか、種々の画像を表示する。書き込みアドレス演算部１０は、タイムコード蓄積部４に蓄積されたタイムコードから座標データ蓄積のための書き込みアドレスを求める。座標データ蓄積部１１は、書き込みアドレス演算部１０で求めたアドレスに座標データ入力部７で入力された座標値を記憶する。座標データ補間部１２は、座標データ蓄積部１１の座標データテーブル（図４、６に関連して後記する）に蓄積された座標データを用いて座標データが蓄積されていないフレームに対して時間補間を行う。読み出しアドレス演算部１３は、座標データ蓄積部１１から座標データを読み出すためのアドレスをＶＴＲ装置１０１からのタイムコードに基づいて求める。ＣＧ作画部１４は、画像オブジェクトとして使用可能な少なくとも１つの画像オブジェクトデータを記憶する手段を備え、座標データ蓄積部１１の座標データテーブルから読み出された座標上にＣＧを作画する。画像合成部１５は、ＣＧ作画部１４で作画されたＣＧ画像を入力映像上に重畳合成する。
【００２２】
また、付加画像合成装置１００は、詳細に後記するように画像オブジェクト選択手段３６を備えることが好ましい。すなわち、所定の画像オブジェクトとして使用可能な少なくとも１つの画像オブジェクトデータを記憶しておき、画像オブジェクト選択手段３６により、利用者が前記少なくとも１つの画像オブジェクトデータから所望のものを所定の画像オブジェクトとして選べるようにすることが好ましい。
さらに、画像生成手段３５またはＣＧ作画部１４は、残像生成手段３７、線画像生成手段３８、またはこれらの両方を含んでもよい。残像生成手段３７は、保存されている付加画像の前記画像位置の位置情報が示す位置に前記所定の画像オブジェクトを重畳して得た新たな付加画像を出力するとともに、付加画像として保存する。線画像生成手段３８は、前記の新たな付加画像の各画像オブジェクトを直線または曲線で結ぶ。
【００２３】
各要素の動作の説明に先立って、図１および図２の構成による付加画像合成システム１０００の画像記録から合成映像出力に至るまでの一連の操作手順を以下に概説する。
（１ａ）ＶＴＲ再生制御部１０２を操作してＶＴＲ装置１０１を録画状態にするとともに、付加画像合成装置１００を記録状態にする。
（１ｂ）図示しない映像源から映像信号とタイムコード信号をＶＴＲ装置１０１に供給する。ＶＴＲ装置１０１は、入力映像および入力タイムコードを記録するとともに、スルーで出力する。付加画像合成装置１００は、ＶＴＲ装置１０１からの入力映像を少なくとも時間的に間引いて入力タイムコードとともに必要な時間だけ蓄積する。
（２ａ）付加画像合成装置１００の映像再生操作部５を操作して、フレームを表示させながら図形を描画したいフレームを選択する。表示部９には、選択された映像フレームがカーソルとともに表示される。
（２ｂ）座標データ入力部７を操作して、所望の座標位置を入力する。表示部９には操作に応じてカーソル等の図形が表示される。
（２ｃ）利用者は、描画を行いたい時間範囲に関して（２ａ）および（２ｂ）を繰り返し、画像位置の入力を満足できるまで行ったのち、画像位置の入力終了指令、補間指令またはこれらの両方を発する。これに応じて、付加画像合成装置１００は、後記の補間処理を実行する。このようにして、各フレームにおいて入力または補間された画像位置に再生時にＣＧオブジェクトを配置したものが付加画像となる。
（３）付加画像合成装置１００を再生状態にしてＶＴＲ装置１０１にて記録した映像を再生する。ＶＴＲ装置１０１からは、テープ等に収録された映像およびタイムコードが出力される。付加画像合成装置１００ではＶＴＲ装置１０１からのタイムコードに同期してＣＧ作画が行われ、ＶＴＲ装置１０１から出力される映像上に入力または補間された画像位置に配置されたＣＧオブジェクトを重畳合成した合成映像が出力される。
なお、本手順において、手順（１ｂ）で記録したテープの巻き戻し操作（付加画像生成後の再生動作のための頭出し）は、手順（１ｂ）の後かつ手順（３）の前であればいつ実行してもよいし、（３）の操作に含めてもよい。
このように、付加画像合成システム１０００の操作または動作は、（１）オリジナル映像の記録、（２）付加画像の生成または編集、（３）記録映像と付加画像の再生・合成に分けることができる。
【００２４】
以下に、図２の各構成要素の動作について述べる。クロック生成部１は、映像蓄積部３およびタイムコード蓄積部４に映像およびタイムコードを記憶するためのタイミングを生成する。このタイミングは映像信号のフィールドレート（例えば５９．９４Ｈｚ）以下の任意のタイミングとする。例えば、フィールドレートのｋ倍（ｋは０＜ｋ≦１なる定数）とすることができる（例えばｋ＝０．２５）。仮に、フレームレート３０Ｈｚで入力される映像信号を時間的に約１／３に間引いて（すなわち、３フレームに１フレームの割合で）記録するものと仮定すると、クロック生成部１は、ほぼ１００ｍｓの間隔でタイミングパルスを出力することになる。また、付加画像合成装置１００をパーソナルコンピュータなどの計算機により実装する場合には、クロック生成部１は、そのＣＰＵやバスの負荷変動に応じて変動するタイミングを生成してもよい。例えば、ＣＰＵ負荷が小さい場合には短い時間間隔（例えば２０ミリ秒間隔）とし、ＣＰＵ負荷が大きい場合には長い時間間隔（例えば１００ミリ秒間隔）で、クロック信号を発生してもよい。
【００２５】
書き込みアドレス演算部２は、クロック生成部１のクロック信号に応じて映像蓄積部３およびタイムコード蓄積部４の各メモリへの書き込みアクセスのためのアドレスを算出する。
例えば、まず、書き込みアドレス演算部２は、クロック生成部１からのクロック信号ごとに０，１，……，（Ｃ−１）の各値を順次循環する整数値ｃを発生する。仮に、ほぼ１００ｍｓのフレーム間隔で４秒間分ずつ処理を行う場合、Ｃ＝４０（＝（１／０．１）×４）となる。
例えば、映像の１フレームがＮｖバイト（１９２０画素×１０８０画素×２４ビットの画像の場合はＮｖ＝６２２８００バイト）で構成され、タイムコード一つがＮｔバイト（例えば、Ｎｔ＝４バイト）で表現される場合に、映像書き込み用のアドレスＷｖ（ｃ）およびタイムコード書き込み用のアドレスＷｔ（ｃ）をそれぞれ
Ｗｖ（ｃ）＝Ｎｖ×ｃ ・・・（１ａ）
Ｗｔ（ｃ）＝Ｎｔ×ｃ ・・・（１ｂ）
のように算出する。
【００２６】
映像蓄積部３は、１フレームあたりＮｖバイトの映像フレームを、Ｃフレーム分記憶することができるメモリである。書き込みアドレス演算部２からの書き込みアドレスＷｖ（ｃ）と、入力映像信号が与えられたとき、映像蓄積部３は、アドレスＷｖ（ｃ）から始まるＮｖバイト分のメモリブロックに対して現在の入力映像の各画素値を書き込む。
また、映像蓄積部３は、後述する読み出しアドレス演算部６から読み出しアドレスＲｖが与えられたとき、アドレスＲｖから始まるＮｖバイト分のメモリブロックの内容を読み出し、後述するカーソル画像合成部８に渡す。
【００２７】
タイムコード蓄積部４は、１フレームあたりＮｔバイトで表されるタイムコードを、Ｃフレーム分記憶することができるメモリである。書き込みアドレス演算部２からの書き込みアドレスＷｔ（ｃ）と、入力タイムコード信号が与えられたとき、タイムコード蓄積部４は、アドレスＷｔ（ｃ）から始まるＮｔバイト分のメモリブロックに対して現在外部から入力されているタイムコードを書き込む。
また、タイムコード蓄積部４は、後述する読み出しアドレス演算部６から読み出しアドレスＲｔが与えられたとき、アドレスＲｔから始まるＮｔバイト分のメモリブロックの内容を読み出し、後述する書き込みアドレス演算部１０へ渡す。
【００２８】
映像再生操作部５は、映像蓄積部３に記憶された画像から所望のフレームを頭出しするためのユーザインタフェースである。例えば、「１コマ進む」および「１コマ戻る」の各ボタンにより構成される。
読み出しアドレス演算部６は、映像再生操作部５の操作に応じて、映像蓄積部３およびタイムコード蓄積部４からの映像およびタイムコード読み出しのためのアドレスＲｖおよびＲｔを生成する。
例えば、映像再生操作部５の「１コマ進む」ボタンを押下した場合には、
ｃ←（ｃ＋１）％Ｃ ・・・（２ａ）
Ｒｖ←Ｎｖ×ｃ ・・・（２ｂ）
Ｒｔ←Ｎｔ×ｃ ・・・（２ｃ）
なる演算によりアドレスＲｖおよびＲｔを変更する。ここで、Ｘ％ＣはＸのモジュロＣを意味する、すなわち、ＸをＣで割った余りを示す。
一方、「１コマ戻る」のボタンを押下した場合には、
ｃ←（ｃ＋Ｃ−１）％Ｃ ・・・（３ａ）
Ｒｖ←Ｎｖ×ｃ ・・・（３ｂ）
Ｒｔ←Ｎｔ×ｃ ・・・（３ｃ）
なる演算によりアドレスＲｖおよびＲｔを変更する。なお、式（３ａ）では、負の数に対するモジュロ演算を避けるために、モジュロをとる前に除数Ｃを加えている。
【００２９】
座標データ入力部７は、例えば、マウスやペンタブレット、タッチパネルなど、２次元の座標を入力するためのユーザインタフェースである。
カーソル画像合成部８は、映像再生操作部５の操作および読み出しアドレス演算部６の動作により、映像蓄積部３より読み出された映像フレームの上に、カーソル画像を重畳合成する。カーソルとは、座標データ入力部７により指示されている座標上に重畳表示する特定の図形（例えば矢印や指差し印など）を言う。また、座標データ入力部７において、現在のカーソル位置が利用者の意図する位置である旨を付加画像合成装置１００に伝えるための所定の操作によりカーソル位置の座標を確定した場合（例えば、マウスクリックなどを行った場合）には、その確定された座標上に特定の図形（例えば×印など）を重畳する。
表示部９は、カーソル画像合成部８で合成された画像を表示する表示装置である。例えば、表示部９には、ＬＣＤ（液晶ディスプレイ）、ＰＤＰ（プラズマディスプレイ）、ＣＲＴ（ブラウン管ディスプレイ）など、任意の表示デバイスを用いることができる。
【００３０】
図３は、映像再生操作部５および座標データ入力部７の操作により、映像蓄積部３に蓄積された任意のフレームに座標データを入力する様子を表示部９への表示例を用いて説明する図である。まず、＃１において映像再生操作部５の操作（例えば、「１コマ進む」および「１コマ戻る」）により所望の画像フレーム（アドレスＲｖ＝Ｎｖ×ｃi（ｉ＝０〜(Ｃ−１)）を表示部９に表示させる（画面＃２）。続いて、＃２において表示されているカーソルを、座標データ入力部７の操作、例えば、マウス移動など（＃３）により所望の座標まで移動させる（画面＃４）。画面＃４の例では、ボールの像の上にカーソルを移動させている。次に、例えば、所定のボタンなどをクリックなど座標データ入力部７による所定の操作により（＃５）、座標を確定する（画面＃６）。以上の操作＃１，＃３，＃５により、ある１つのフレームに対する座標データが画面＃２，＃４，＃６のように入力される。
【００３１】
以降も同様に、操作＃７，＃９，＃１１により、別のフレーム（アドレスＲｖ＝Ｎｖ×ｃj（ｊ＝０〜(Ｃ−１)かつｊ≠ｉ）に対する座標データが画面＃８、＃１０，＃１２のように入力される。利用者は、これら一連の操作を、映像蓄積部３に蓄積された任意のフレームに対して行うことができるが、必ずしも蓄積されている全てのフレームに対して実行する必要はない。
書き込みアドレス演算部１０は、タイムコード蓄積部４から読み出されたタイムコードのフレーム番号Ｔに基づき、座標データ蓄積部１１の座標データテーブルへの書き込みのためのアドレスＷｐを算出する。例えば、座標データ蓄積部１１に記憶する１レコードの大きさをＮｐバイト、座標データ蓄積部１１が蓄積できる最大のレコード数をＭとしたとき、
Ｗｐ＝（Ｔ％Ｍ）×Ｎｐ ・・・（４）
によりアドレスＷｐを定めることができる。ここに％ＭはＭを法とする剰余である。なお、タイムコードは、例えば、００：００：００：００（０時０分０秒０フレーム）から数えたフレーム数をＴとする。最大のレコード数Ｍは、例えば、書き込みアドレス演算部２の例のように、４秒間分ずつ処理する場合には、Ｍ＝１２０（＝３０×４）とする。
【００３２】
座標データ蓄積部１１のテーブル生成手段３１は、映像の取り込み（すなわち、映像蓄積部３およびタイムコード蓄積部４への書き込み）が終了すると、取り込まれたすべてのフレームに対応するレコードを含んだ座標テーブルを生成する。そして、生成した座標テーブルの最初の処理単位である映像の先頭から例えば、４秒間分のフレームに対応するレコードを図示しないＲＡＭに読み出す。図４は、座標テーブルのＲＡＭ上に展開された４秒間分のフレーム（すなわち、１２０フレーム）に対するレコードを示す図である。図４Ａは、生成した直後で座標データを全く入力していない状態を示し、図４Ｂは、映像蓄積部３に蓄積され表示可能なフレームに対して利用者が座標データをある程度入力し、補間する前の状態を示す。図４Ａ，４Ｂにおいて、未入力のフィールドの値を「？」で表す。座標テーブルのレコードのうち、白抜きの☆印を付けたレコードは、フレームデータが映像蓄積部３に蓄積されているフレームを示し、それ以外のレコードは、フレームデータが間引かれて映像蓄積部３に蓄積されていないフレームを示す。したがって、表示部９に表示できるのは☆印付きのフレームに限られるので、利用者は、意識することはないが、☆印付きのフレームに対してのみ映像再生操作部５および座標データ入力部７の操作により座標データを入力することができる。すなわち、前記の３フレームごとに記録する例では、☆印が付いたフレーム番号０，３，６，９，１２，．．．，１１４，１１７の４０（＝１２０／３）フレームに対して座標データを設定することができる。
【００３３】
図４Ａの座標データテーブルの例では、各レコードには、そのレコードのテーブル内アドレスＷｐ（＝Ａ×Ｎｐ）、座標値のｘ座標およびｙ座標、並びにタイムコードが記録されている。ここで、ＡはＲＡＭにロードされているレコードの番号であり、Ａ＝Ｔ％Ｍで与えられる（式（４）参照）。以下において、座標テーブルのアドレスＡに記憶されるｘ座標をＸ［Ａ］、ｙ座標をＹ［Ａ］、タイムコードをＵ［Ａ］と記すこととする。
利用者があるフレームまたはレコードに座標データを設定または入力すると、対応するレコードに、座標データ入力部７で確定された座標値およびタイムコード蓄積部４から出力されたタイムコードが書き込まれる。図４Ｂに座標テーブルにおける座標値およびタイムコードの記憶方法の一例を示す。まだ座標データが設定されていないメモリ領域に対しては、タイムコード領域に−１の値が設定されている。ここで、例えば、タイムコードがＴ＝２５２のとき、（ｘ，ｙ）＝（３１０，４０）なる座標を記憶させる場合には、まず、書き込みアドレス演算部１０において、式（４）の演算により、アドレスＷｐ＝（２５２％１２０）×Ｎｐ＝１２×Ｎｐが求められる。そこで、アドレス１２×Ｎｐを先頭とするメモリブロックに、ｘ座標３１０、ｙ座標４０およびタイムコード２５２が記録される。すなわち、Ｘ［１２］＝３１０、Ｙ［１２］＝４０、Ｕ［１２］＝２５２が記録される。図４Ｂの例では、Ａ＝１２のほか、少なくともＡ＝０，１１４、１１７のレコードまたはフレームに座標データが設定されている。なお、図４Ａ，４Ｂは、メモリ上のテーブル構造であり、例えば、ハードディスクなどに座標テーブルを記録する場合には、アドレスフィールドの代わりに、シリンダ番号、ヘッド番号、セクタ番号や、ＦＡＴ（ファイル・アロケーション・テーブル）上において論理的に識別可能なファイル名を用いてもよい。
【００３４】
なお、この例では、座標データ蓄積部１１のタイムコード記録にあたりＵ［Ａ］にタイムコードＴそのものを記録するものとしたが、例えば、Ｔの代わりにＴ／Ｍの整数部を記録する方式によることもできる。
【００３５】
補間手段である座標データ補間部１２は、座標テーブルに記憶された座標データをスキャンし、座標データが記録されていないメモリ領域に対し、座標の補間値を書き込む。座標データ補間部１２の動作の手順を図５のフローチャートを参照しつつ説明する。
まず、ステップＳ１乃至Ｓ６により座標テーブルに記録されたタイムコードの最小値Ｔminと最大値Ｔmaxを求める（但し、タイムコードが−１の場合は無視する）。具体的には、ステップＳ１において、タイムコードの最小値Ｔminを無限大（∞）に、最大値Ｔmaxを−１に設定し、ステップＳ２において、レコード番号Ａを０に設定する。ステップＳ３において、レコード番号Ａがレコード数Ｍに達しないか否かを判断する。Ａがレコード数に達しない場合（Ｙｅｓの場合）、判断ステップＳ４において、タイムコードＵ[Ａ]が−１であるか否か、すなわちそのレコードに座標データが未設定であるか否かを判断する。未設定ならば（Ｙｅｓの場合）、ステップＳ６に進む。判断ステップＳ４において、未設定でない、すなわち座標データが設定されている場合（Ｎｏの場合）、ステップＳ５において、最小値ＴminとタイムコードＵ[Ａ]とを比較し、小さい方の値を最小値Ｔminとし、最大値ＴmaxとタイムコードＵ[Ａ]とを比較し、大きい方の値を最大値Ｔmaxとする。なお、min{Ｘ，Ｙ}は、ＸおよびＹの小さい方の値を表し、max{Ｘ，Ｙ}は、ＸおよびＹの大きい方の値を表わす。判断ステップＳ４でＹｅｓ分岐した後、またはステップＳ５の終了後、ステップＳ６においてレコード番号Ａをインクリメントして、ステップＳ３に戻る。
判断ステップＳ３において、レコード番号Ａがレコード数Ｍに達した場合（Ｎｏの場合）、ステップＳ７に進み、ステップＳ７でタイムコード変数Ｔに最小値Ｔminを設定する。
【００３６】
続いて、ステップＳ７乃至Ｓ１３において、ＴminとＴmaxとに挟まれた各タイムコードＴに対して、座標データの記録状況に応じて次の規則に従って補間処理を行う。すなわち、
規則１．タイムコードＴの座標データが既に存在する場合（Ｕ［Ａ］≠−１のとき）は補間しない。
規則２．タイムコードＴの座標データが存在しない場合（Ｕ［Ａ］＝−１のとき）であって、Ｔより過去、およびＴより未来の一定範囲に座標データが存在する場合には、補間処理を行う。
【００３７】
まず、ステップＳ７において、タイムコード変数Ｔに最小値Ｔminを設定する。ステップＳ８において、タイムコード変数Ｔをインクリメントする。判断ステップＳ９において、タイムコード変数Ｔが最大値Ｔmaxに満たないか否かを判断する。タイムコード変数Ｔが最大値Ｔmaxに満たなくない、すなわち最大値Ｔmaxに達した場合（Ｎｏの場合）、もやは処理すべきレコードは無いものと判断して、処理を終了する。ステップＳ９において、タイムコード変数ＴがＴmaxに満たない場合（Ｙｅｓの場合）、さらなる判断ステップＳ１０において、タイムコード変数Ｔが座標テーブルのタイムコードフィールドの値Ｕ［Ａ］（＝Ｕ［Ｔ％Ｍ］）に等しいか否か判断する。等しいならば（Ｙｅｓの場合）、そのレコードには座標データが設定されていることになり、補間の必要がないので、次のレコードを処理するためステップＳ８に戻る。判断ステップＳ１０において、タイムコード変数Ｔが座標テーブルのタイムコードフィールドの値Ｕ［Ａ］に等しくない場合（Ｎｏの場合）、おそらくＵ［Ａ］＝−１であり、そのレコードには座標データが未設定で補間を必要とするので、補間のためにステップＳ１１に進む。ステップＳ１１〜Ｓ１３における補間処理は、例えば、特開２００６−３１３７８の「時系列データ補間装置、その方法およびそのプログラム」における補間手段４２と同様の動作により行うことができる。
すなわち、ステップＳ１１において、座標テーブルにおけるタイムコード（Ｔ−１）乃至ｍａｘ｛Ｔmin，Ｔ−Ｐ｝の座標データの有無を調べ、このレコード範囲内に座標データが存在した場合には（Ｘ座標，Ｙ座標，タイムコード）からなるベクトルを座標データ集合Ｄ０に加える。ここに、Ｐは過去方向の探索範囲（単位はフレーム）である。この処理は、次の式で表すことができる。
【００３８】
【数１】
【００３９】
ここで、変数τは、探索範囲ｍａｘ｛Ｔmin，Ｔ−Ｐ｝〜（Ｔ−１）における現在の探索位置またはレコード位置を表すフレーム番号であり、演算子Ｕは、現在の探索位置に座標データが存在する（すなわち、Ｕ[τ％Ｍ]≠−１が成立する）場合、その座標データを座標データ集合Ｄ０に加えることを表す。
【００４０】
ステップＳ１２において、座標テーブルにおけるタイムコード（Ｔ＋１）乃至ｍｉｎ｛Ｔmax，Ｔ＋Ｆ｝の座標データの有無を調べ、座標データが存在した場合には（Ｘ座標，Ｙ座標，タイムコード）からなるベクトルを座標データ集合Ｄ１に加える。ここに、Ｆは未来方向の探索範囲（単位はフレーム）である。この処理は、次の式で表すことができる。
【００４１】
【数２】
【００４２】
ステップＳ１３では、前記の集合Ｄ０およびＤ１に基づき補間処理を施し、時刻Ｔにおける座標の補間結果（Ｘ’，Ｙ’）を求め、この補間結果
Ｘ［Ｔ％Ｍ］＝Ｘ’
Ｙ［Ｔ％Ｍ］＝Ｙ’
をタイムコードＴ（＝Ｕ［Ｔ％Ｍ］）とともに座標データテーブルに書き込む。ステップＳ１３の終了後は、次のレコードまたはフレームの処理を行うために、前記のステップＳ８に戻る。
【００４３】
前記のステップＳ１１〜Ｓ１３においては、特開２００６−３１３７８の「時系列データ補間装置、その方法およびそのプログラム」に開示された補間手段４２と同様の処理により精度を高めた補間を行ったが、通常のより単純な方法で補間することも可能である。
例えば、ステップＳ１１において、タイムコード（Ｔ−１）乃至ｍａｘ｛Ｔmin，Ｔ−Ｐ｝におけるＴの最近傍の座標データを（Ｘ０，Ｙ０），そのタイムコードをＴ０とする。該当するデータが存在しない場合にはステップＳ１３において補間を行わないこととする。
続いて、ステップＳ１２において、タイムコード（Ｔ＋１）乃至ｍｉｎ｛Ｔmax，Ｔ＋Ｆ｝におけるＴの最近傍の座標データを（Ｘ１，Ｙ１），タイムコードをＴ１とする。該当するデータが存在しない場合にはステップＳ１３において補間を行わないこととする。
ステップＳ１３では、タイムコードＴに対する補間座標（Ｘ’，Ｙ’）を次式により算出する。
【００４４】
【数３】
【００４５】
この補間結果（Ｘ’，Ｙ’）をタイムコードＴ（＝Ｕ［Ｔ％Ｍ］）とともに座標データテーブルに書き込む。
【００４６】
図６は、座標データ補間部１２により補間した後の座標データテーブルの状態の一例を示す図である。図６では、分かりやすいように、後者の単純な補間方法で補間した座標データの例を示す。図６において、★印が付いていないデータ（すなわち、☆印が付いたデータまたは無印のデータ）が、式（７）により補間されたデータである。例えば、アドレス１１５×Ｎｐ、１１６×Ｎｐの補間データは、アドレス１１４×Ｎｐおよび１１７×Ｎｐから補間されたものである。また、アドレス１１８×Ｎｐおよびアドレス１１９×Ｎｐの補間データは、アドレス１１７×Ｎｐおよび０×Ｎｐから補間されたものである。さらに、アドレス６×Ｎｐを含むアドレス１×Ｎｐからアドレス１１Ｎｐまでの補間データは、補間された座標値から推察してアドレス０×Ｎｐおよび１２×Ｎｐから補間されたものと思われる。
【００４７】
以上のように補間することにより、映像蓄積部３に蓄積された映像区間のすべてのフレームに対して付加画像として重畳表示される点の座標データが完成する。これにより、ＶＴＲ装置１０１から映像データが供給された場合、供給される映像とともに指定された座標位置に点を合成表示することが可能となる。
【００４８】
読み出しアドレス演算部１３は、外部から入力されたタイムコードＴextに基づき、座標データテーブルから座標データを読み出すためのアドレスＲｐを算出する。例えば、Ｒｐ＝Ｔext％ＭによりアドレスＲｐを決定する。
【００４９】
ＣＧ作画部１４は、座標データ蓄積部１１から読み出された座標データ（Ｘ，Ｙ）およびタイムコードＴに基づき、ＣＧ画像を生成する。具体的には、ＣＧ作画部１４では、座標データ蓄積部１１から読み出されたタイムコードＴが外部から入力されたタイムコードＴextと一致するか否かを検証する。一致しない場合には同時に読み出された座標データ（Ｘ，Ｙ）を破棄し、作画は行わない。
タイムコードが一致した場合には、読み出された座標データ（Ｘ，Ｙ）に基づき、ＣＧオブジェクトを作画する。図７はＣＧオブジェクト作画の一例である。この例では、まず、入力映像の大きさと同じ大きさの描画領域を設け、予め黒で塗りつぶしておく。続いて、読み出された座標データ（Ｘ，Ｙ）を中心とする位置にＣＧオブジェクト（図７の例では白色の円盤）を作画している。
【００５０】
最後に、画像合成部１５では、外部から入力された映像信号と、ＣＧ作画部１４で作画されたＣＧとを合成する。例えば、外部から入力された映像の上に重畳するようＣＧを合成する方式によることができる。
例えば、図７のように作画した場合、利用者により指定または入力された点が映像とともに滑らかに動いて表示されることになる。
【００５１】
また、図８は、ＣＧオブジェクト作画の別の一例である。この例では、図７の場合のオブジェクトに加え、残像生成手段３７により、過去の時点におけるＣＧオブジェクトも残像として残すよう作画している。このように作画した場合、利用者により指定または入力された点の軌跡が線となって表示される。
【００５２】
さらに、ＣＧ作画部１４は、以上のような作画方法のほか、例えば、線画像生成手段３８により、過去の時点から現時点までのオブジェクト位置を折線や曲線（スプライン曲線など）で結ぶといった作画手法により作画するように構成することも可能である。
【００５３】
また、前記の例では、指定された座標位置に単純な円を表示するように構成した。しかし、円盤のような単純な図形に限らず、ボールの形やテクスチャをもったＣＧオブジェクトのように、より複雑な種々のＣＧオブジェクトをあらかじめ用意しておき、画像オブジェクト選択手段３６により、この中から利用者に所望のＣＧオブジェクトを選択できるようにし、選択されたＣＧオブジェクトを用いて作画するようにＣＧ作画部１４を構成してもよい。
＜好ましい実施形態＞
【００５４】
以上述べたように、本発明の原理によれば、付加画像の合成表示を限られたメモリ容量で実現することができるので、パーソナルコンピュータを用いて図２と同様の画像合成装置を実現することが可能である。
図９は、本発明の好ましい実施形態によりパーソナルコンピュータを用いて実現した付加画像合成装置の構成を概念的に示した機能ブロック図である。図９において、付加画像合成装置１００ａは、基本的に、制御演算部３００、二次記憶装置３１０、操作部３３０、表示部９およびこれらの間のデータ転送を行うバス３０２を備えてなるパーソナルコンピュータ（ＰＣ）である。付加画像合成装置１００ａは、バス３０２に接続される回路基板を増設可能なスロットと、このスロットに挿入して使用される回路基板２００をさらに備えている。したがって、本実施形態の付加画像合成装置１００ａには、回路基板２００を増設可能で記憶容量および処理速度などの点から十分な性能を備えたものであれば、いかなるＰＣでも使用可能である。二次記憶装置３１０には、制御演算部３００の図示しないＣＰＵにより実行される種々のプログラムが格納されている。図９において、２重線で示したブロックはソフトウェア（すなわち、二次記憶装置３１０に格納されているプログラム）で実施可能な要素を示す。そのうち、要素名の最後がＡＰＩ（Application Program Interface）で終了する要素は、付加画像合成装置１００ａのＯＳ（オペレーティングシステム）から提供される関数もしくは回路基板２００の制御用に提供されるライブラリ関数を示す。例えば、ＶＣＡＰＩ４０３は、呼び出されて実行されると、映像キャプチャ部１１０が時々刻々と取り込む映像データから、そのときの１フレーム分のデータを返す関数である。同様に、ＴＣ読取ＡＰＩ４０１は、呼び出されて実行されると、タイムコード読み取り部１２０が時々刻々と取り込むタイムコードから、そのとき取り込まれたタイムコードを返す関数である。
【００５５】
次に、回路基板２００のハードウェア構成を説明し、続いて、ソフトウェア構成および動作をまとめて説明する。回路基板２００は、図１のＶＴＲ装置１０１から供給される映像信号を取り込む映像キャプチャ部１１０、ＶＴＲ装置１０１から供給されるタイムコード信号を取り込むＴＣ読み取り部（ＴＣ読取部）１２０、動作に必要な種々のデータを一時的に格納するＲＡＭ２０、ＲＡＭ２０に格納されている座標データテーブル２５から読み出される座標データおよびタイムコードならびにＴＣ読み取り部１２２を介して取り込まれた外部タイムコードＴextから付加画像を生成するＣＧ作画部１４、およびＣＧ作画部１４で生成された付加画像とＶＴＲ装置１０１から供給される映像信号とを構成出力する画像合成部１５を備える。
【００５６】
ＴＣ読み取り部（ＴＣ読取部）１２０は、ＶＴＲ装置１０１から供給されるＶＩＴＣ信号を読み取るＶＩＴＣ読み取り部１２２およびＶＴＲ装置１０１から供給されるＬＴＣ信号を読み取るＬＴＣ読み取り部１２４を備え、ＶＩＴＣ信号およびＬＴＣ信号の何れも取り込めることが好ましいが、ＶＩＴＣ読み取り部１２２およびＬＴＣ読み取り部１２４の一方のみを備えてもよい。
【００５７】
以降、図１０〜１２を参照しながらソフトウェア構成および動作を説明する。図１０は、二次記憶装置３１０に格納され制御演算部３００の図示しないＣＰＵにより所定の周期で常に実行されるプログラムの処理の流れを示すフローチャートである。換言すれば、図１０の処理の流れが前記のプログラムを定義すると考えられるので、図１０の処理の流れをプログラムと同等に考え図１０のプログラムと称する。付加画像合成装置１００ａにおいては、主に操作部３３０の操作により発せられる記録（映像の間引き保存）、編集（付加画像の生成・編集）、再生（映像と付加画像の合成出力）およびプログラム終了などのコマンドを監視し、コマンドの変化に応じて処理を行う。図１０のプログラムが実行されると、まず、記録、編集および再生のうち何れのモードが操作部３３０により選択されているかを監視する（Ｓ３６０）。記録が選択されているか否かを判断し（Ｓ３６２）、そうなら後記の記録処理サブルーチンを呼び出して実行することにより記録処理を行い（Ｓ３６４）、記録が選択されていない場合（Ｎｏの場合）は、さらに編集が選択されているか否かを判断する（Ｓ３６６）。編集が選択されている場合（Ｙｅｓの場合）、後記の編集処理サブルーチンを呼び出して実行することにより編集処理を行い（Ｓ３６８）、編集が選択されていなければ（Ｎｏの場合）、再生が選択されているはずであるから後記の再生処理サブルーチンを呼び出して実行することにより再生処理を行う（Ｓ３７０）。記録処理ステップＳ３６４、編集処理ステップＳ３６８または再生処理ステップＳ３７０の終了後は、プログラム終了の指示が発せられたか否かを判断し（Ｓ３７２）、そうでなければ前記のステップＳ３６０に戻り処理を繰り返し、プログラム終了の指示が発せられた場合、処理を終了する。以上の処理により、後記のように記録、編集および再生が行われる。
【００５８】
図１１は、図１０に示した記録処理サブルーチンＳ３６４（＝図１１ａ）および再生処理サブルーチンＳ３７０（＝図１１ｂ）の処理の流れを示すフローチャートである。図１２は、図１０に示した編集処理サブルーチンの処理の流れを示すフローチャートである。なお、図９において２重線で示した各プログラム構成要素には、それを実行することにより実現される図１１または１２のステップに付けた要素符号からＳを取り除いた番号を付けてある。
【００５９】
図１０のステップＳ３６４において、記録処理サブルーチンが実行されると、図１１（ａ）において、まずクロック生成部１から与えられる記録トリガＴｒｒに応じてプログラム要素４００がタイムコード読取ＡＰＩ４０１にＴＣ読み取りコマンドを発行する（Ｓ４００）。これに応じて、タイムコード読取ＡＰＩ４０１から渡されるタイムコードをタイムコード書込部４０２がタイムコードをＲＡＭ２０のタイムコード格納領域２４に書き込む（Ｓ４０２）。同様に、クロック生成部１から与えられる記録トリガＴｒｒに応じてプログラム要素４０４が映像キャプチャＡＰＩ４０３に映像取込コマンドを発行する（Ｓ４０４）。これに応じて、映像キャプチャＡＰＩ４０３から渡される映像データまたはフレームデータを映像書込部４０６が映像データをＲＡＭ２０の間引き映像データ２３格納領域に書き込む（Ｓ４０６）。そして、最新の映像データを表示部９に表示する。
以上の処理により、クロック生成部１が、所定の間隔またはＣＰＵの処理負荷に応じた間隔で記録トリガＴｒｒを出力することにより、記録トリガＴｒｒに同期して映像フレームがＲＡＭ２０に記録されるので、記録トリガＴｒｒの頻度に応じて間引かれた映像フレームが記録されることになる。
【００６０】
図１０のステップＳ３６８において編集処理サブルーチンが実行された場合の処理を説明する。図１２において、まず表示フレームインデックスｃを初期値０に設定した（Ｓ４１０）のち、第ｃ番目の間引き映像データを編集モニタ用画像メモリ２２（図９参照）にコピーし（Ｓ４１２）、カーソル画像を編集モニタ用画像メモリ２２に重畳し（Ｓ４１４）、さらに既入力の（既に入力されている）座標データを編集モニタ用画像メモリ２２に重畳して（Ｓ４１６）、編集モニタ用画像メモリ２２の内容（画像）を表示部９に表示する（Ｓ４１８）。そして、カーソル操作の指示か否かを判断し（Ｓ４２０）、そうならば（Ｙｅｓの場合）、指定の位置にカーソルを移動して（Ｓ４２２）、ステップＳ４２４に進む。判断ステップＳ４２０において、カーソル操作の指示でない場合（Ｎｏの場合）、ステップＳ４２４において、表示フレーム変更の指示か否かを判断し、そうなら、表示フレームインデックスｃを指定のフレームに変更して（Ｓ４２６）、ステップＳ４２８に進む。判断ステップＳ４２４において、表示フレーム変更の指示でない場合（Ｎｏの場合）、ステップＳ４２８において、確定の指示か否かを判断し、確定ならば（Ｙｅｓの場合）、現在のカーソル座標を座標データテーブル２５（図９参照）の該当するレコードに書き込み（Ｓ４３０）、ステップＳ４３２に進む。ステップＳ４２８において確定の指示でない場合（Ｎｏの場合）、ステップＳ４３２において補間実行の指示か否かを判断する。Ｎｏの場合、何もせず編集処理を終了し、補間実行の指示の場合（Ｙｅｓの場合）、座標データテーブルの未入力レコードの座標データを補間して（Ｓ４３４）、編集処理を終了する。
この編集処理により、ＲＡＭ２０に保存されている任意の間引き映像データ２３に対して、利用者が表示位置の座標を指定することができ、座標を指定していないフレームに対しては座標データを補間することができる。このようにして、ＶＴＲ装置１０１で再生される映像に重畳表示すべき付加画像が生成される。
【００６１】
ＶＴＲ装置１０１で再生した映像とともに付加画像を重畳表示する場合、利用者は、まず付加画像合成装置１００ａを再生モードにする。すると、図１０のステップＳ３７０において図１１（ｂ）の再生処理サブルーチンが実行される。このサブルーチンが実行されると、図１１（ｂ）において、クロック生成部１が出力する再生トリガＴｒｐに応じて、プログラム要素４４０が、タイムコード読取ＡＰＩ４０１にタイムコード取込コマンドを発行する（Ｓ４４０）。読み出しアドレス演算部４４２（図９参照）は、これに応じてタイムコード読取ＡＰＩ４０１が返したタイムコードをプログラム要素４４０を介して受け取り、座標データテーブル２５の読み出しアドレスに変換する（Ｓ４４２）。そして、ＲＡＭ２０の座標データテーブル２５からこの読み出しアドレスで指定された座標データおよびタイムコードを読み出してＣＧ作画部１４に転送する（Ｓ４４４）。
ＣＧ作画部１４は、座標データテーブル２５から読み出された座標データおよびタイムコードならびにＴＣ読取ＡＰＩ４０１を介して取り込まれた外部タイムコードＴextから付加画像を生成する。このとき、ＣＧ作画部１４は、座標データテーブル２５から読み出されたタイムコードと外部タイムコードＴextとが一致する場合に限り、画像を生成して出力する。
画像合成部１５は、ＶＴＲ装置１０１からの映像にＣＧ作画部１４からの付加画像を重畳して出力する。
＜種々の変形＞
【００６２】
以上は、本発明の説明のために実施の形態の例を掲げたに過ぎない。したがって、本発明の技術思想または原理に沿って上述の実施の形態に種々の変更、修正または追加を行うことは、当業者には容易である。
例えば、最初に説明した本発明の原理においては、書き込みアドレス演算部２が循環するフレームインデックスｃを生成することにより、映像蓄積部３，タイムコード蓄積部４，および座標データ蓄積部１１に比較的短時間（数秒程度）の処理単位ごとのデータを格納し、データ全体は二次記憶装置に格納するようにした。しかし、処理すべきデータを分割せず、すべてのデータをＲＡＭ２０に格納するように構成してもよい。少なくとも座標データテーブルは、１レコードが高々十数バイト程度であるから、すべてのテーブルデータをＲＡＭ２０に格納することが好ましい。
【００６３】
また、図４および図６に示した座標データテーブルの例では、最初のフィールドとしてアドレスフィールドを備えているが、座標データとタイムコードを関係付けて格納できれば目的は達せられるので、アドレスフィールドは必ずしも必要ではない。多くの場合、データのアクセスはＯＳを介して行い、プログラム作成時には配列などの機能を使用すればアドレスを意識する必要はない。仮に、利用者自信がアドレス管理を行う場合でも、アドレスフィールドを使用する代わりに、レコードを指し示すポインタを使用するなど、種々の方法が可能である。
【００６４】
以上説明した例では、付加画像合成装置１００，１００ａは、画像合成部１５を含んでいた。しかし、画像合成装置として単体の装置を使用することも可能である。図１３は、図２に示した付加画像合成装置１００を、付加画像合成装置１００から画像合成部１５を取り除いた付加画像生成装置９０と単体の画像合成装置１５ａによって構成した付加画像合成装置１００ｂの構成を示すブロック図である。すなわち、図１３の付加画像合成装置１００ｂは、図２の付加画像合成装置１００を画像合成部１５を含まない付加画像生成装置９０と画像合成装置１５ａで置き換えたものである。同様の構成は、図９の付加画像合成装置１００ａに対しても可能であることは言うまでもない。
以上述べた例では、一定の間隔でフレームをサンプルして格納したが、フレームをサンプルするだけでなく、各フレームのデータを空間的に間引いたデータを格納するようにしてもよい。
以上述べた例では、座標データテーブルには、１組の座標データのみが格納されている。しかし、各レコードに複数の組の座標データを格納するようにしてもよい。このようにすることにより、例えばボクシングの左右のグローブの動きの軌跡を付加画像として、元の映像に重畳表示できるようになる。また、この場合、各座標に対して表示するオブジェクトや色を指定するデータを格納できるようにしてもよい。しかし、オブジェクトや色のデータを座標データテーブルに含めると、座標データテーブルのサイズが大きくなるので、座標の組にＩＤを付け、このＩＤにオブジェクトおよび色を関係付けて保存する方が好ましい。これにより、表示する点または点の軌跡ごとにオブジェクトおよび色を変えて表示することが可能となる。
また、以上述べた例では、映像信号として各種アナログ信号や各種デジタル信号を使用することとした。さらに、映像信号として例えばＭＰＥＧ（Moving Picture Experts Group）符号化されたデータでもよい。この場合、例えば、映像蓄積部３にはＩピクチャ（Intra Picture）のみを蓄積し、編集時の表示および再生時の合成の前にＭＰＥＧ復号器を通してアナログ信号に変換するように構成すればよい。
【図面の簡単な説明】
【００６５】
【図１】本発明に係る付加画像合成装置を外部のＶＴＲ装置と接続して使用する例を説明するブロック図である。
【図２】本発明の原理に係る付加画像合成装置の構成を示すブロック図である。
【図３】映像再生操作部５および座標データ入力部７の操作により、映像蓄積部３に蓄積された任意のフレームに座標データを入力する様子を表示部９への表示例を用いて説明する図である。
【図４Ａ】座標データテーブルのデータ構造の一例を示す図である。
【図４Ｂ】座標データテーブルのデータ構造の一例を示す図である。
【図５】座標データ補間部の動作を表すフローチャートである。
【図６】座標データ補間部により補間された後の座標データテーブルの状態の一例を示す図である。
【図７】ＣＧ作画部で生成されるＣＧの一例を示す図である。
【図８】ＣＧ作画部で生成されるＣＧの別の例を示す図である。
【図９】本発明の好ましい実施形態によりパーソナルコンピュータを用いて実現した付加画像合成装置の構成を概念的に示した機能ブロック図である。
【図１０】二次記憶装置３１０に格納され制御演算部３００のＣＰＵにより所定の周期で常に実行されるプログラムの処理の流れを示すフローチャートである。
【図１１】図１０に示したフローチャートの記録処理サブルーチン（１１ａ）および再生処理サブルーチン（１１ｂ）の処理の流れを示すフローチャートである。
【図１２】図１０に示したフローチャートの編集処理サブルーチンの処理の流れを示すフローチャートである。
【図１３】図２に示した付加画像合成装置１００を、付加画像合成装置１００から画像合成部１５を取り除いた付加画像生成装置９０と単体の画像合成装置１５ａによって構成した付加画像合成装置１００ｂの構成を示すブロック図である。
【符号の説明】
【００６６】
１ クロック生成部
２ 書き込みアドレス演算部
３ 映像蓄積部
４ タイムコード蓄積部
５ 映像再生操作部
６ 読み出しアドレス演算部
７ 座標データ入力部
８ カーソル画像合成部
９ 表示部
１０ 書き込みアドレス演算部
１１ 座標データ蓄積部
１２ 座標データ補間部
１３ 読み出しアドレス演算部
１４ ＣＧ作画部
１５ 画像合成部（画像合成手段）
１５ａ 画像合成装置（画像合成手段）
３０ 記録手段
３１ テーブル生成手段
３２ フレーム表示選択手段
３３ 画像位置指定手段
３４ 位置情報保存手段
３５ 画像生成手段
３６ 画像オブジェクト選択手段
３７ 残像生成手段
３８ 線画像生成手段
９０ 付加画像生成装置
１００，１００ａ 付加画像合成装置
１０１ ＶＴＲ装置
１０２ ＶＴＲ再生制御部
１０００ 付加画像合成システム
【特許請求の範囲】
【請求項１】
映像のフレームデータとこれに対応するタイムコードとを出力するビデオ再生可能な装置の出力から、少なくとも時間的に一定の割合で間引いたフレームデータを前記タイムコードに関係付けて保存する記録手段と、
前記の間引いたフレームデータを保存した期間の映像を構成する総てのフレームに対するレコードを備えたテーブルを生成するテーブル生成手段と、
前記の保存した保存フレームデータの画像表示および表示される表示フレームの選択を利用者に可能とするフレーム表示選択手段と、
前記表示フレームにおいて利用者に所望の画像位置を指定し、前記画像位置の位置情報を保存する意図を反映する操作を可能とする画像位置指定手段と、
前記操作に応じて、前記表示フレームに対応する前記テーブルのレコードに、前記表示フレームにおいて指定された前記画像位置の位置情報を前記表示フレームの前記タイムコードとともに保存する位置情報保存手段と、
前記位置情報の保存を行った２つのフレームに順序的に挟まれ、前記位置情報の保存が行われていないフレームが存在する場合、存在する各フレームに対し、前記２つのフレームの前記位置情報を用いて当該フレームの位置情報を補間し、当該フレームに対応する前記テーブルのレコードに、当該フレームのタイムコードとともに前記画像位置の位置情報として保存する補間手段と、
前記ビデオ再生可能な装置の前記出力を構成する前記映像のフレームデータを受信した場合、この受信したフレームデータとともに受信したタイムコードと一致する保存されたタイムコードが存在するとき、前記の一致する保存されたタイムコードに関係付けられた前記画像位置の位置情報が示す位置に所定の画像オブジェクトを配置した付加画像を出力する画像生成手段とを備えることにより、
映像に重畳表示すべき付加画像を生成することを特徴とする付加画像生成装置。
【請求項２】
前記所定の画像オブジェクトとして使用可能な少なくとも１つの画像オブジェクトデータを記憶する手段を備え、
前記画像位置指定手段は、利用者が前記少なくとも１つの画像オブジェクトデータから所望のものを前記所定の画像として選ぶことを可能とする画像オブジェクト選択手段を含むことを特徴とする請求項１記載の付加画像生成装置。
【請求項３】
前記画像生成手段は、保存されている付加画像の前記画像位置の位置情報が示す位置に前記所定の画像オブジェクトを重畳して得た新たな付加画像を出力するとともに、付加画像として保存する残像生成手段を含むことを特徴とする請求項１記載の付加画像生成装置。
【請求項４】
前記残像生成手段は、前記の新たな付加画像の各画像オブジェクトを直線または曲線で結ぶ線画像生成手段を含むことを特徴とする請求項３記載の付加画像生成装置。
【請求項５】
前記画像位置指定手段は、前記の選択表示された画像において利用者に所望の複数の画像位置を指定することを可能とし、
前記位置情報保存手段は、前記操作に応じて、前記画像において指定された前記複数の画像位置の位置情報を前記画像の前記タイムコードとともに保存し、
前記補間手段は、
前記位置情報の保存を行った２つのフレームに順序的に挟まれ、前記位置情報の保存が行われていないフレームが存在する場合、存在する各フレームに対し、前記２つのフレームの各位置情報を用いて当該フレームの対応する位置情報を補間し、当該フレームのタイムコードとともに前記複数の画像位置の位置情報として保存し、
前記画像生成手段は、前記の一致する保存されたタイムコードに関係付けられた前記複数の画像位置の位置情報が示す位置に所定の画像オブジェクトをそれぞれ配置した付加画像を出力することを特徴とする請求項１記載の付加画像生成装置。
【請求項６】
前記付加画像生成装置は、二次記憶装置を備えたパーソナルコンピュータからなり、
前記の各手段は前記二次記憶装置に格納されたプログラムの一部を含むことを特徴とする請求項１乃至５のいずれか一項に記載の付加画像生成装置。
【請求項７】
請求項１乃至６のいずれか一項に記載の付加画像生成装置に、前記ビデオ再生可能な装置の前記出力を構成する前記映像のフレームデータを受信すると、これに応じて、前記受信したフレームデータによるオリジナル画像に前記画像生成手段から出力される前記付加画像を重畳した合成画像を出力する手段をさらに備えたことを特徴とする付加画像合成装置。
【請求項１】
映像のフレームデータとこれに対応するタイムコードとを出力するビデオ再生可能な装置の出力から、少なくとも時間的に一定の割合で間引いたフレームデータを前記タイムコードに関係付けて保存する記録手段と、
前記の間引いたフレームデータを保存した期間の映像を構成する総てのフレームに対するレコードを備えたテーブルを生成するテーブル生成手段と、
前記の保存した保存フレームデータの画像表示および表示される表示フレームの選択を利用者に可能とするフレーム表示選択手段と、
前記表示フレームにおいて利用者に所望の画像位置を指定し、前記画像位置の位置情報を保存する意図を反映する操作を可能とする画像位置指定手段と、
前記操作に応じて、前記表示フレームに対応する前記テーブルのレコードに、前記表示フレームにおいて指定された前記画像位置の位置情報を前記表示フレームの前記タイムコードとともに保存する位置情報保存手段と、
前記位置情報の保存を行った２つのフレームに順序的に挟まれ、前記位置情報の保存が行われていないフレームが存在する場合、存在する各フレームに対し、前記２つのフレームの前記位置情報を用いて当該フレームの位置情報を補間し、当該フレームに対応する前記テーブルのレコードに、当該フレームのタイムコードとともに前記画像位置の位置情報として保存する補間手段と、
前記ビデオ再生可能な装置の前記出力を構成する前記映像のフレームデータを受信した場合、この受信したフレームデータとともに受信したタイムコードと一致する保存されたタイムコードが存在するとき、前記の一致する保存されたタイムコードに関係付けられた前記画像位置の位置情報が示す位置に所定の画像オブジェクトを配置した付加画像を出力する画像生成手段とを備えることにより、
映像に重畳表示すべき付加画像を生成することを特徴とする付加画像生成装置。
【請求項２】
前記所定の画像オブジェクトとして使用可能な少なくとも１つの画像オブジェクトデータを記憶する手段を備え、
前記画像位置指定手段は、利用者が前記少なくとも１つの画像オブジェクトデータから所望のものを前記所定の画像として選ぶことを可能とする画像オブジェクト選択手段を含むことを特徴とする請求項１記載の付加画像生成装置。
【請求項３】
前記画像生成手段は、保存されている付加画像の前記画像位置の位置情報が示す位置に前記所定の画像オブジェクトを重畳して得た新たな付加画像を出力するとともに、付加画像として保存する残像生成手段を含むことを特徴とする請求項１記載の付加画像生成装置。
【請求項４】
前記残像生成手段は、前記の新たな付加画像の各画像オブジェクトを直線または曲線で結ぶ線画像生成手段を含むことを特徴とする請求項３記載の付加画像生成装置。
【請求項５】
前記画像位置指定手段は、前記の選択表示された画像において利用者に所望の複数の画像位置を指定することを可能とし、
前記位置情報保存手段は、前記操作に応じて、前記画像において指定された前記複数の画像位置の位置情報を前記画像の前記タイムコードとともに保存し、
前記補間手段は、
前記位置情報の保存を行った２つのフレームに順序的に挟まれ、前記位置情報の保存が行われていないフレームが存在する場合、存在する各フレームに対し、前記２つのフレームの各位置情報を用いて当該フレームの対応する位置情報を補間し、当該フレームのタイムコードとともに前記複数の画像位置の位置情報として保存し、
前記画像生成手段は、前記の一致する保存されたタイムコードに関係付けられた前記複数の画像位置の位置情報が示す位置に所定の画像オブジェクトをそれぞれ配置した付加画像を出力することを特徴とする請求項１記載の付加画像生成装置。
【請求項６】
前記付加画像生成装置は、二次記憶装置を備えたパーソナルコンピュータからなり、
前記の各手段は前記二次記憶装置に格納されたプログラムの一部を含むことを特徴とする請求項１乃至５のいずれか一項に記載の付加画像生成装置。
【請求項７】
請求項１乃至６のいずれか一項に記載の付加画像生成装置に、前記ビデオ再生可能な装置の前記出力を構成する前記映像のフレームデータを受信すると、これに応じて、前記受信したフレームデータによるオリジナル画像に前記画像生成手段から出力される前記付加画像を重畳した合成画像を出力する手段をさらに備えたことを特徴とする付加画像合成装置。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００７−３１８３２１（Ｐ２００７−３１８３２１Ａ）
【公開日】平成１９年１２月６日（２００７．１２．６）
【国際特許分類】
【出願番号】特願２００６−１４４２８１（Ｐ２００６−１４４２８１）
【出願日】平成１８年５月２４日（２００６．５．２４）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成１９年１２月６日（２００７．１２．６）
【国際特許分類】
【出願日】平成１８年５月２４日（２００６．５．２４）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]