画像生成装置及び画像生成システム
【課題】 表示装置にマルチスクリーンの一部として表示される画像に劣化を生じさせない。
【解決手段】 編集装置２が、表示装４置の表示画面よりも大きい仮想画面領域４４を有し、この仮想画面領域４４のうち表示装置４の表示画面に割り当てられた領域を表示装置４に編集装置２が出力する。編集装置２では、仮想画面領域４４に、予め設定された描画パラメータに従って画像が書き込まれる。
【解決手段】 編集装置２が、表示装４置の表示画面よりも大きい仮想画面領域４４を有し、この仮想画面領域４４のうち表示装置４の表示画面に割り当てられた領域を表示装置４に編集装置２が出力する。編集装置２では、仮想画面領域４４に、予め設定された描画パラメータに従って画像が書き込まれる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチスクリーンに画像を表示する画像生成システム及びこのシステムに使用される画像生成装置に関する。
【背景技術】
【０００２】
従来、マルチスクリーンに画像を表示することができる装置として、例えば特許文献１に開示されているようなものがある。特許文献１の技術によれば、２台の端末装置がそれぞれディスプレイを有し、２台の端末装置は、それぞれディスプレイに表示する実表示領域と、ディスプレイに表示されない仮想表示領域とを、それぞれ有し、一方の端末装置の仮想表示領域は、他方の端末装置の実表示領域に対応し、他方の端末装置の仮想表示領域は、一方の端末装置の実表示領域に対応している。一方の端末装置における仮想表示領域に画面が表示されたとき、一方の端末装置は、その仮想表示領域に対応する他方の端末装置に、画面表示を要求するともに、他方の端末装置は、この画面表示要求に基づいて画面を表示する構成を採用することによって、一方の端末装置に備えられたマウスを操作して、一方のディスプレイに表示されている画像を、両ディスプレイに跨って表示したり、他方のディスプレイに表示したりする。
【０００３】
【特許文献１】特開２０００−２９３２８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、このように構成された装置では、予め定められた画像を、マウスの操作に応じて、一方のディスプレイに表示したり、両ディスプレイに跨って表示したり、他方のディスプレイに表示したりするためのものである。そのため、ディスプレイのサイズによっては、画像を拡大する必要が生じ、表示画像の劣化を招くことがあるし、異なるアスペクト比や解像度の異なる複数の表示手段を使用できない。さらに、変化する画像を表示するためには、各変化に対応した画像を予め準備しておいて、それらを順に切り換えねばならない。
【０００５】
本発明は、上記の問題点を解決した画像生成装置及びこれら生成装置を使用した画像生成システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様による画像生成装置は、表示画面に画像を表示する表示手段を有している。表示画面の大きさは、任意である。更に、この表示手段の表示画面よりも大きい領域を有している仮想画面領域も有している。例えば表示手段の表示画面が横のピクセル数をＸ、縦のピクセル数をＹとするＸ＊Ｙピクセルの大きさの場合、仮想画面領域は、横のピクセル数がＸよりも大きいＸ１であり、縦のピクセル数は、ＹまたはＹ以上の数である。この仮想画面領域のうち前記表示手段の表示画面に割り当てられた領域の内容を出力手段が前記表示手段に出力する。前記仮想画面領域に、予め設定された描画パラメータに従って画像書き込み手段が、画像を書き込む。
【０００７】
画像書き込み手段は、例えば予め準備された素材、例えば静止画に描画パラメータに従って効果を付加するものとすることができる。効果としては、例えば静止画中の特定の領域にあるオブジェクトを拡大縮小したり、移動させたり、オブジェクトを立体化したり等種々のものがある。描画パラメータは、これに拡大縮小の率を指定したり、その拡大縮小の速度を指定したり、移動の開始位置、移動終了位置、移動速度等を指定したり、オブジェクトを立体化する際の視点を指定したり、光源の位置を指定したりする。このように画像書き込み手段は、描画パラメータに従って前記仮想画面領域に書き込まれる画像を変化させることができ、この変化は、所定フレームごと、例えば１フレームごとに行って動画を作成することができる。なお、描画パラメータは、他の画像生成装置と共通に使用することができる。
【０００８】
本発明の画像生成システムは、上述した複数の画像生成装置をネットワークを介して接続し、前記画像パラメータが前記ネットワークを介して特定の前記画像生成装置から、他の全ての前記画像生成装置に伝送される。即ち、複数の画像生成装置の描画パラメータは、共通するものである。この場合、各画像生成装置は、同じ大きさの仮想画面領域を有し、その仮想画面領域の大きさは、各表示装置の表示領域の合計表示領域以上の大きさで、各画像生成装置に共通である。使用される複数台の表示装置の表示領域の水平方向の画素数の合計数以上の合計数の画素数を有し、使用される複数台の表示装置の表示領域のうち垂直方向の最大の画素数以上の垂直方向の画素数を有することが、仮想画面領域には望ましい。この仮想画面領域は、各表示手段の表示領域の大きさに対応して切り出され、対応する表示手段に出力されることが望ましい。仮想画面領域に書き込まれる画像は、供給されたデータに基づいて生成されたものとすることが望ましい。
【０００９】
このように構成された画像生成装置は、自己に割り当てられた表示手段の表示画面よりも大きく、各表示手段の表示領域の合計領域以上の仮想画面領域をそれぞれ有し、その仮想画面領域に書き込まれたデータのうち自己に割り当てられた領域のデータを表示手段に出力しているので、表示手段に画像を表示する際に、拡大等する必要が無く、表示画像が劣化することはない。また、仮想画面領域の大きさを調整することによって、使用する表示手段の台数を任意に変更することができ、マルチスクリーンの構成の自由度を高めることができる。しかも、各画像生成装置には、ネットワークを介して共通の描画パラメータが供給され、各画像生成装置が共通の描画パラメータに基づいて仮想画面領域に画像を書き込んでいるので、各画像生成装置に表示すべき画像の異なる部分を各画像生成装置が個別に生成する必要が無く、画像生成に要する時間を短縮することができる。
【００１０】
また、各画像生成装置が、仮想画面領域中のいずれの部分を担当するのかを指示する情報を、特定の画像生成装置から他の画像生成装置にネットワークを介して伝送することができる。このように構成することによって、各画像生成装置において仮想画面領域のいずれの部分を分担するのか個別に設定する必要が無く、設定作業に要する時間を短縮することができる。
【発明の効果】
【００１１】
以上のように、本発明によれば、表示手段にマルチスクリーンの一部として表示される画像に劣化を生じることなく、しかも、この表示手段として、アスペクト比や解像度が異なるものを容易に使用することができるし、マルチスクリーンに表示される画像の生成に要する時間を短縮することができる。
【発明を実施するための最良の形態】
【００１２】
本発明の１実施形態の映像及び音楽編集装置２は、音声素材と映像生成用素材とを編集して出力するもので、図２（ａ）に示すように、複数台、例えば２台が同時に使用される。各編集装置２には、それぞれ表示手段、例えば液晶表示装置４が接続され、これら表示装置４をマルチスクリーンとして使用する。これら編集装置２は、ネットワークによって接続され、相互にデータの伝送が可能である。
【００１３】
各編集装置２は、例えば図１に示すように、バス６を有し、このバス６には、記憶手段、例えばストレージ８が接続されている。ストレージ８にはそれぞれ複数の映像生成用素材及び音声素材が記憶されている。また、バス６には外部メモリ１０も接続される。外部メモリ１０にも、それぞれ複数の映像生成用素材及び音声素材が記憶されている。
【００１４】
複数の映像生成用素材のうち、選択されたものがバス６を介してシーンテンポラリメモリ１２に記憶される。このシーンテンポラリメモリ１２の映像生成用素材は、バス６を介して映像処理手段、例えばＧＰＵ１４に供給される。ＧＰＵ１４は、サブバス１５を介して接続された記憶手段、例えば画像テンポラリメモリ１６を使用しながら、シーンテンポラリメモリ１２の画像生成用素材を処理し、Ｄ／Ａ変換器１８によってアナログ信号に変換して、対応する表示装置４に出力する。
【００１５】
同様に、バス６に接続されたＡ／Ｄ変換変換器１９によって得られた音声ストリーム信号やストレージまたは外部メモリから選択された音声素材は、音声処理手段、例えばＤＳＰ２０にバス６を介して供給される。ＤＳＰ２０は、サブバス２１を介して接続された記憶手段例えば音声エフェクトメモリ２２を使用しながら、音声素材等を処理し、Ｄ／Ａ変換器２３によってアナログ信号に変換し、サウンドシステム（図示せず）に供給する。
【００１６】
これらＧＰＵ１４、ＤＳＰ２０での処理において使用されるパラメータの設定や、画像生成用素材の選択は、図示しない操作子からユーザーインターフェース２４を介して制御手段、例えばＣＰＵ２５に供給された指示に基づいて行われ、パラメータ等は、ＣＰＵ２５からバス６を介してＧＰＵ１４、ＤＳＰ２０に供給される。
【００１７】
図３は、編集装置２のＧＰＵ１４及びＤＳＰ２０を機能ブロック図で示したもので、音声素材は、音声再生部２６で再生される。再生された音声信号は、合成器２８によってＡ／Ｄ変換器１９からの音声ストリーム信号と合成され、効果付与手段、例えば音声エフェクト部３０に供給され、ここで音声エフェクトが付与され、出力される。なお、音声再生時には、操作子の操作によって設定された音声パラメータが音声再生部２６に供給され、例えば再生ピッチ等が設定されている。また、音声エフェクト部３０にも音声パラメータが設定され、付与するエフェクト等が決定されている。この音声エフェクト部３０によって付与されるエフェクトの状態を周期的に変化させるために、音声用ＬＦＯ３２から音声パラメータが音声エフェクト部３０に供給されている。ＬＦＯ３２には、音声パラメータが付与され、ＢＰＭ（ビートパーミニッツ）データが供給され、これらによってＬＦＯ３２が決定した音声パラメータが音声エフェクト部３０に供給され、これによって音声エフェクトの状態が周期的に変化させられる。
【００１８】
編集装置２では、映像生成部３４が映像生成用素材を元に映像出力を生成している。映像生成用素材は、例えば静止画であって、これにエフェクトを付与して、動画を生成する。例えば、所定フレーム、例えば１フレームごとに静止画中のオブジェクトが変化した画像を生成する。変化としては、例えば１フレームごとにオブジェクトが時間経過と共に拡大または縮小されるものや、オブジェクトが特定の位置から別の位置まで時間経過と共に移動するものや、平面的なオブジェクトを立体的なオブジェクトを生成し、その立体的なオブジェクトの形状が時間経過と共に変化するもの等種々のものがある。このような変化を行うための描画パラメータが、映像設定としてネットワーク同期部３６に与えられ、ネットワーク同期部３６から映像生成部３４に供給される。また、上述したような変化を周期的に行うために、ＬＦＯ３８から描画パラメータが映像生成部３４に供給されている。ＬＦＯ３８にもＢＰＭデータが供給されている。
【００１９】
ネットワーク同期部３６に設定された描画パラメータは、他の編集装置２にもネットワークを介して供給され、他の編集装置２の映像生成部３４にも供給されている。
【００２０】
映像生成部３４からの映像出力を、音声エフェクト部３０からの音声出力に同期させることができる。そのために、音声出力は、音声解析部４０によって解析され、その解析結果が映像生成部３４に供給される。このとき、映像生成部３４では、音声出力に同期させて変化する映像出力を生成する。
【００２１】
上記とは逆に、映像生成部３４での映像の変化（映像エフェクトの変化）に同期して、例えば同じ周期で音声エフェクトを変化させることもできる。そのため、映像生成用ＬＦＯ３８に、音声エフェクト用ＬＦＯ３２を同期させるように、スイッチ４２がＬＦＯ３２、３８間に設けられている。スイッチ４２が閉じられることによって、ＬＦＯ３２からの音声パラメータは、ＬＦＯ３８からの描画パラメータに同期して例えば同じ周期で変化するものとなる。
【００２２】
編集装置２、２は、２台の表示装置４、４を利用してマルチスクリーンを構成する。この実施形態では、表示しようとする映像の左半分が一方の表示装置４に表示され、表示しようとする映像の右半分が他方の表示装置に表示される。そのため、図２（ａ）に示すように、編集装置２、２の映像生成部３４は、それぞれ仮想画面領域４４を有している。
【００２３】
そして、予め一方の編集装置２において、それぞれの仮想画面領域４４をどのような大きさとし、どのように分割し、その分割された領域のいずれの部分をいずれの編集装置２から出力するか、初期設定時に決定され、その決定値がネットワークを介して他の編集装置２に伝送される。
【００２４】
例えば、表示装置４、４の表示領域が共にアスペクト比が４：３で、水平方向１２８０ピクセル、垂直方向７２０ピクセルとすると、いずれの編集装置２でも、仮想画面領域４４の水平方向のピクセル数は両表示装置４、４の水平方向ピクセルの合計値（２５６０ピクセル）、垂直方向のピクセル数は両表示装置４、４共通の垂直方向ピクセル（７２０ピクセル）と決定される。そして、仮想画面領域４４を表示装置の台数に応じた分割数、この場合２分割と決定する。その分割は、両表示装置４、４の表示領域が同じ大きさであるので、２等分し、例えば（０、０−１２８０、７２０）の左側領域と、（１２８１、０−２５６０、７２０）の右側領域と決定する。そして、図２（ａ）において左側に示す編集装置２は、それが有する仮想画面領域４４の左側領域をそれの表示装置４に出力し、同図（ａ）において右側に示す編集装置２は、それが有する仮想画面領域４４の右側領域をそれの表示装置４に出力すると決定される。
【００２５】
或いは、表示装置４、４の表示領域が共にアスペクト比４：３であるが、一方の表示装置４の表示領域が、水平方向１２８０ピクセル、垂直方向７２０ピクセルで、他方の表示装置４の表示領域が、水平方向８００ピクセル、垂直方向６００ピクセルと表示画面領域の大きさが異なっている場合、いずれの仮想画面領域４４の大きさも、水平方向は両表示装置４、４の水平ピクセルの合計値（水平方向２０８０ピクセル）、垂直方向両表示装置４、４の垂直方向ピクセルの大きい方の値（７２０ピクセル）と決定される。そして、仮想画面領域４４の表示装置の台数に応じた分割数、この場合２分割と決定される。分割は、表示装置４、４の表示領域の大きさが異なるので、各表示装置４、４の表示領域に応じたものを仮想画面領域４４から切り出すと決定する。例えば表示装置４、４のうち左側の領域を担当するものが表示領域が１２８０＊７２０ピクセルで、右側の領域を担当する表示装置の表示領域が８００＊６００であるとすると、仮想画面領域４４は、（０、０−１２８０、７２０）を左側領域と決定される。残りの（１２８１、０−２０８０、７２０）のうちから８００＊６００の大きさに相当する領域を右側領域と決定する。例えば（１２８１、０−２０８０、６００）、（１２８１、６０−２０８０、６６０）または（１２８１、１２０−２０８０、７２０）のように決定される。
【００２６】
これらの決定は、一方の編集装置２において行われる。そして、その決定が、一方の編集装置２から他方の編集装置にパラメータとして伝送される。各編集装置２、２では、このパラメータに基づいて、指定された大きさの仮想画面領域４４を獲得する。各編集装置２、２において獲得された仮想画面領域は同じ大きさであり、かつ各編集装置２、２の表示装置４、４の表示領域よりも大きい。
【００２７】
また、一方の編集装置２において使用する映像素材が初期設定時に決定されると、その使用する映像素材を表すデータがネットワークを介して他の編集装置２に伝送される。編集装置２、２では、このデータに基づいて仮想画面領域４４に応じた大きさに画像を生成し、その生成された画像が、同図（ｂ）に示すように、仮想画面領域４４、４４に書き込まれる。例えばネットワークを介して供給されるデータがビットマップデータのような１画素ごとのデータであると、その水平方向及び垂直方向の画素数とアスペクト比とが、仮想画面領域の画素数とアスペクト比とに一致していなければ、仮想画面領域４４に書き込む際に、拡大、縮小、変形を加える必要があり、表示装置４、４に表示された画像に劣化が生じる。しかし、この編集装置２、２では、供給された映像素材を表すデータに基づいて仮想画面領域４４、４４に応じた大きさに編集装置２、２で作成した画像を、仮想画面領域４４、４４に書き込んであるので、画像の劣化は生じない。
【００２８】
そして、仮想画面領域４４、４４のうち各編集装置２がそれぞれ指定されている領域を、同図（ｃ）に示すように各編集装置２がそれぞれ接続されている表示装置４、４に出力する。例えば上述したように、表示装置４、４の表示画面が水平方向が１２８０ピクセルで垂直方向が７２０ピクセルの大きさであると、編集装置２、２のうちそれぞれその結果、マルチスクリーンによる表示が行われる。表示装置４、４の表示領域のサイズが異なる場合も、上述したように仮想画面領域のうち左側領域及び右側領域として指定された領域が切り出され、表示装置４、４に表示される。
【００２９】
また、初期設定時に、映像素材に基づいてどのような動画とするかのパラメータも一方の編集装置２において決定され、他方の編集装置２にネットワークを介して伝送されている。従って、例えば同図２（ｃ）に示すように仮想画面領域４４の水平方向の中央にＡという文字がオブジェクトとして表示されているものである場合に、このオブジェクトを右方向に所定の速度で移動させるとのパラメータが設定されているとすると、次のフレームでは、オブジェクトが右側にパラメータで指定された量だけ右側に移動したように、両編集装置２の各仮想画面領域４４、４４の画像は書き換えられて、上述したように分割して出力される。画像の出力が開始されてから、或る数のフレームが発生した後には、同図（ｄ）に示すようにオブジェクトが仮想画面領域４４の中央よりも完全に右側に位置するようにオブジェクトは両仮想画面領域４４にそれぞれ書き込まれる。従って、左側の表示装置４にはオブジェクトが表示されず、右側の表示装置４にオブジェクトの全体が表示されるようになる。
【００３０】
このようなエフェクトを付与するためにＬＦＯ３８からパラメータが映像生成部３４に供給されており、繰り返し行われる。このＬＦＯ３８と音声エフェクト用のＬＦＯ３２とを、スイッチ４２の操作によって同期させることによって、そのとき音声エフェクト部３０から出力される音声出力に付与されている音声エフェクトも映像出力に付与されたエフェクトと同期して繰り返される。従って、そのとき音声エフェクト部３０に供給されている例えば音声素材が周期性の無いノイズであっても、映像出力に付与されたエフェクトと同じ周期を持った音声出力が得られる。
【００３１】
このようにして生成された映像出力は、図３に示すエンコーダ４６によって映像ファイルに変換され、ストレージ８に記憶され、その後にストレージ８から読み出されて、再生される。このように映像ファイルとして記憶する前に、どのようなエフェクトを使用するか、そのエフェクトにおけるパラメータはどのように設定するかを、試行錯誤の結果、決定することがある。その場合、どのようにパラメータを変化させたかを記憶させておき、気に入った映像出力になったときのパラメータを呼び出して、再度映像生成部３４から映像出力を生成させ、これをエンコーダ４６によって映像ファイルとする。このような処理を以下、スキップバック処理と称する。
【００３２】
そのため、パラメータが供給されているネットワーク同期部３６から、パラメータ記憶手段、例えばレコーダ４８にパラメータが供給され、記憶されている。レコーダ４８には、複数の記憶領域を持つバッファが形成され、このバッファの先頭の記憶領域から順にパラメータが記憶され、最後の記憶領域までパラメータが記憶されると、再び先頭の記憶領域からパラメータが記憶される。また、このレコーダ４４から選択されて読み出されたパラメータは、ネットワーク同期部３６を経て、両編集装置２の映像生成部３４に供給される。これら記憶及び読み出しの指示は、操作子からユーザーインターフェース２４、ＣＰＵ２５を介してレコーダ４６に与えられる。
【００３３】
このようなマルチスクリーン、映像エフェクト、音声エフェクト付与、パラメータの変更の記憶、読み出しのために、編集装置２が行う処理では、まず図４に示すように、初期化が行われる（ステップＳ２）。２台の編集装置２のうち、一方の編集装置２では、初期化において、映像生成用素材、音声素材の選択、映像に付与するエフェクト及び音声に付与するエフェクトの選択、これらエフェクトにおけるパラメータの選択が行われる。更に、仮想画面領域４４の大きさ及びこの仮想画面領域４４のうち対応する表示装置４に出力する表示領域の設定が行われる。これら選択された映像生成用素材の選択指示、音声素材の選択指示、エフェクトの指示、パラメータの値、仮想画面領域の大きさ及び表示領域の指示が、ネットワークを介して他方の編集装置２に伝送される。他方の編集装置２では、ネットワークを介して伝送されたデータに基づいて、初期化において、映像生成用の素材、音声素材の選択、エフェクトの選択、仮想画面領域の設定を行う。
【００３４】
初期化に続いて、各編集装置２では描画処理を開始する（ステップＳ４）。描画処理では、図５に示すように、まず設定された描画パラメータを取得する（ステップＳ４０）。次に、取得した描画パラメータとＢＰＭデータとに基づいてＬＦＯ３８用の描画ＬＦＯ処理を行う（ステップＳ４２）。そして、ＬＦＯ３８からのパラメータに従って映像生成用素材にエフェクトを付与した画像を仮想画面領域に描画する（ステップＳ４４）。描画が終了した仮想画面領域のうち、対応する表示装置４に出力する表示領域を、初期化の際の設定に基づいて取得し（ステップＳ４６）、この表示領域から画像を出力する（ステップＳ４６）。以下、この処理が繰り返される。
【００３５】
この描画処理に続いて、サウンド処理が行われる（ステップＳ６）。サウンド処理では、図６に示すように、まず描画パラメータを取得する（ステップＳ６０）。次に、この描画パラメータを描画パラメータに基づくサウンドパラメータに変換する（ステップＳ６１）。そして、音声用のＬＦＯ３２と描画用のＬＦＯ３８とをリンクさせる指示が与えられているか判断する（ステップＳ６２）。この判断の答えがイエスの場合には、ステップＳ６１で変換した描画パラメータに基づくサウンドパラメータを取得する（ステップＳ６３）。また、ステップＳ６２の判断の答えがノーの場合には、ＬＦＯ３２用に設定されたパラメータを取得する（ステップＳ６４）。ステップＳ６３またはＳ６４によって取得されたパラメータに基づいてサウンドＬＦＯ処理を行う（ステップＳ６５）。次にエフェクト処理する音声素材及び音声ストリーム信号を入力し（ステップＳ６６）、これにサウンドＬＦＯ処理されたパラメータに基づいてエフェクトを付与して（ステップＳ６７）、音声出力を出力する（ステップＳ６８）。以下、これら処理を繰り返す。
【００３６】
ステップＳ６のサウンド処理に続いて、操作子の操作が行われたか判断し（ステップＳ８）、その答えがノーの場合には、ステップＳ８を繰り返し、その答えがイエスの場合、スキップバック処理が行われる（ステップＳ１０）。
【００３７】
スキップバック処理では、図７に示すように、各操作子のうち、スキップバックの再生時間（スキップバック再生開始時点とスキップバック再生終了時点）を指定する操作子が操作されたか判断する（ステップＳ１００）。この判断の答えがノーであると、スキップバック再生は行わないので、パラメータを入力し（ステップＳ１０２）、そのときの時間を基準時間として取得し（ステップＳ１０４）、スキップバック用に準備したレコーダ４８のバッファの書き込み位置（ライトポイント）を指定するライトポインタの値を１つ進め（ステップＳ１０６）、バッファが一杯か、即ちライトポイントがバッファの最後であるか判断する（ステップＳ１０８）。この判断の答えがイエスの場合、ライトポインタの値をバッファの先頭に戻す（ステップＳ１１０）。ステップＳ１０８の判断の答えがノーの場合、即ち、バッファへの書き込みが可能なとき、またはステップＳ１１０に続いて、バッファのライトポインタによって指定されたライトポイントに基準時間とパラメータとを書き込む（ステップＳ１１２）。次に、このパラメータを各編集装置２のＬＦＯ３８及び映像生成部３４に渡す（ステップＳ１１４）。以下、このような作業が一定時間が経過する毎に繰り返され、バッファには、一定時間経過毎の基準時間とそのときのパラメータとが順に記憶され、バッファの最後まで書き込まれたときには、バッファの最初から続きが書き込まれる。
【００３８】
ステップＳ１００の判断の答えがイエスであると、スキップバックの再生時間を指定する操作子が操作されているので、この操作子の操作によって指定されたスキップバック再生開始時点とスキップバック再生終了時点、即ちスキップバック時間が入力される（ステップＳ１１６）。そして、現在の基準時間を取得し（ステップＳ１１８）、スキップバック開始時間と現在の基準時間とから現在読み出すべきリードポインタの値（当初にはスキップバック再生開始時間に対応する）を算出する（ステップＳ１２０）。このリードポインタの値がバッファの最後（スキップバック再生終了時点に対応する）を越えているか判断し（ステップＳ１２２）、この判断の答えがノーの場合、リードポインタの値が指定する位置からパラメータを読み出し（ステップＳ１２４）、そのパラメータを各編集装置２のＬＦＯ３８及び映像生成部３４に渡す（ステップＳ１２６）。また、ステップＳ１２２の判断の答えがイエスの場合、リードポインタの値をスキップバック再生開始の時点に対応する値に変更し（ステップＳ１２８）、ステップＳ１２４、Ｓ１２６を実行する。ステップＳ１２６に続いて、スキップバック再生の終了の指示が与えられているか判断し（ステップＳ１３０）、その判断の答えがイエスであるとスキップバック再生を終了するが、判断の答えがノーであると、ステップＳ１１８から再び実行する。このとき、ステップＳ１１８で現在の基準時間が取得され、ステップＳ１２０では、スキップバック再生開始時点から所定時間経過した次の基準時間に対応するパラメータが読み出される。
【００３９】
なお、上記の実施形態では、映像と音声とを同期させるために映像用のＬＦＯと音声用のＬＦＯとを同期させたが、これ以外にも、映像に対するエフェクトパラメータの値を直接に音声用のエフェクトパラメータの値として使用することによって、映像と音声とを同期させることもできる。
【００４０】
例えば、映像側で残像のような効果を付与する場合に、これに同期してエコー効果を音声に付与することができる。この場合、例えば残像用のパラメータの１つである残像の数をエコー用のディレイ回数として使用し、残像用のパラメータの１つである残像の大きさまたは明度を、エコー用のディレイレベルとして使用し、残像用のパラメータの１つである残像同士の間隔をディレイタイムとして使用する。
【００４１】
或いは、映像用の効果として、影を引くような効果を付与する場合、音声側でリバーブ効果を与えることもできる。この場合、影を引く効果用の影の長さを、リバーブ効果のリバーブタイムとして使用し、影を引く効果用の影の濃さを、リバーブ効果のリバーブレベルとして使用する。
【００４２】
または、映像用の効果として、波紋のように変化する効果を付与する場合、音声側で周波数特性フィルタの特性を変化させて効果を付与することもできる。この場合、波紋の波高値をデプスとして使用し、波紋の減衰速度をフィルタのカットオフ周波数が低い周波数へに変化する速度として使用し、波紋の速度をフィルタのカットオフ周波数を変化させるＬＦＯのレートとして使用する。
【００４３】
或いは、映像用の効果として色彩フィルタ効果を使用する場合、音声側で周波数特性フィルタをかけて効果を付与することもできる。この場合、色彩フィルタにおける映像の明るさを変化させるパラメータを、音の明るさ（周波数特性フィルタのカットオフ周波数）を変化させるパラメータとして使用する。
【００４４】
この他に、映像側でオブジェクトの位置を変化させる効果を付与する場合、音声側の効果としてオブジェクトの位置の変化に比例して音像の定位を移動させることや、映像側で描画されている物体のサイズを変化させる効果を付与する場合、音声側で物体のサイズの変化に比例して音量を変化させることや、映像側で描画されているオブジェクトのピントを変化させる効果を付与する場合、音声側で周波数フィルタのカットオフ周波数をピントの変化に比例して変化させる場合もある。これらの場合、位置移動のパラメータをそのまま定位移動のパラメータとして、細部変化のパラメータをそのまま音量パラメータとして、ピント変化のパラメータをそのままカットオフ周波数変化のパラメータとして使用する。
【００４５】
映像に対するエフェクトパラメータと音声用のエフェクトパラメータとの組合せは、任意に変更することができ、例えば上記の例で言えば、波紋のような映像と音声へのエコーとを同期させることもできるし、逆に映像の残像のような効果と、音声への周波数特性フィルタとを同期させることもできる。
【００４６】
上記の実施形態では、２台の編集装置２と２台の表示装置４とを使用したが、これらの台数は、更に増加させることができる。但し、台数が増加されると、それに伴い仮想表示画面の大きさも変化させられるし、各表示装置が担当する表示領域の仮想表示画面上の位置も変化する。
【図面の簡単な説明】
【００４７】
【図１】本発明による画像生成装置を実施した編集装置のブロック図である。
【図２】図１の編集装置を２台組み合わせた編集システムのブロック図である。
【図３】図１の編集装置の機能ブロック図である。
【図４】図１の編集装置で行われる処理のメインフローチャートである。
【図５】図４における描画処理の詳細なフローチャートである。
【図６】図４におけるサウンド処理の詳細なフローチャートである。
【図７】図４におけるスキップバック処理の詳細なフローチャートである。
【符号の説明】
【００４８】
２ 編集装置
４ 表示装置
１４ ＧＰＵ（出力手段、書き込み手段）
４４ 仮想表示画面
【技術分野】
【０００１】
本発明は、マルチスクリーンに画像を表示する画像生成システム及びこのシステムに使用される画像生成装置に関する。
【背景技術】
【０００２】
従来、マルチスクリーンに画像を表示することができる装置として、例えば特許文献１に開示されているようなものがある。特許文献１の技術によれば、２台の端末装置がそれぞれディスプレイを有し、２台の端末装置は、それぞれディスプレイに表示する実表示領域と、ディスプレイに表示されない仮想表示領域とを、それぞれ有し、一方の端末装置の仮想表示領域は、他方の端末装置の実表示領域に対応し、他方の端末装置の仮想表示領域は、一方の端末装置の実表示領域に対応している。一方の端末装置における仮想表示領域に画面が表示されたとき、一方の端末装置は、その仮想表示領域に対応する他方の端末装置に、画面表示を要求するともに、他方の端末装置は、この画面表示要求に基づいて画面を表示する構成を採用することによって、一方の端末装置に備えられたマウスを操作して、一方のディスプレイに表示されている画像を、両ディスプレイに跨って表示したり、他方のディスプレイに表示したりする。
【０００３】
【特許文献１】特開２０００−２９３２８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、このように構成された装置では、予め定められた画像を、マウスの操作に応じて、一方のディスプレイに表示したり、両ディスプレイに跨って表示したり、他方のディスプレイに表示したりするためのものである。そのため、ディスプレイのサイズによっては、画像を拡大する必要が生じ、表示画像の劣化を招くことがあるし、異なるアスペクト比や解像度の異なる複数の表示手段を使用できない。さらに、変化する画像を表示するためには、各変化に対応した画像を予め準備しておいて、それらを順に切り換えねばならない。
【０００５】
本発明は、上記の問題点を解決した画像生成装置及びこれら生成装置を使用した画像生成システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様による画像生成装置は、表示画面に画像を表示する表示手段を有している。表示画面の大きさは、任意である。更に、この表示手段の表示画面よりも大きい領域を有している仮想画面領域も有している。例えば表示手段の表示画面が横のピクセル数をＸ、縦のピクセル数をＹとするＸ＊Ｙピクセルの大きさの場合、仮想画面領域は、横のピクセル数がＸよりも大きいＸ１であり、縦のピクセル数は、ＹまたはＹ以上の数である。この仮想画面領域のうち前記表示手段の表示画面に割り当てられた領域の内容を出力手段が前記表示手段に出力する。前記仮想画面領域に、予め設定された描画パラメータに従って画像書き込み手段が、画像を書き込む。
【０００７】
画像書き込み手段は、例えば予め準備された素材、例えば静止画に描画パラメータに従って効果を付加するものとすることができる。効果としては、例えば静止画中の特定の領域にあるオブジェクトを拡大縮小したり、移動させたり、オブジェクトを立体化したり等種々のものがある。描画パラメータは、これに拡大縮小の率を指定したり、その拡大縮小の速度を指定したり、移動の開始位置、移動終了位置、移動速度等を指定したり、オブジェクトを立体化する際の視点を指定したり、光源の位置を指定したりする。このように画像書き込み手段は、描画パラメータに従って前記仮想画面領域に書き込まれる画像を変化させることができ、この変化は、所定フレームごと、例えば１フレームごとに行って動画を作成することができる。なお、描画パラメータは、他の画像生成装置と共通に使用することができる。
【０００８】
本発明の画像生成システムは、上述した複数の画像生成装置をネットワークを介して接続し、前記画像パラメータが前記ネットワークを介して特定の前記画像生成装置から、他の全ての前記画像生成装置に伝送される。即ち、複数の画像生成装置の描画パラメータは、共通するものである。この場合、各画像生成装置は、同じ大きさの仮想画面領域を有し、その仮想画面領域の大きさは、各表示装置の表示領域の合計表示領域以上の大きさで、各画像生成装置に共通である。使用される複数台の表示装置の表示領域の水平方向の画素数の合計数以上の合計数の画素数を有し、使用される複数台の表示装置の表示領域のうち垂直方向の最大の画素数以上の垂直方向の画素数を有することが、仮想画面領域には望ましい。この仮想画面領域は、各表示手段の表示領域の大きさに対応して切り出され、対応する表示手段に出力されることが望ましい。仮想画面領域に書き込まれる画像は、供給されたデータに基づいて生成されたものとすることが望ましい。
【０００９】
このように構成された画像生成装置は、自己に割り当てられた表示手段の表示画面よりも大きく、各表示手段の表示領域の合計領域以上の仮想画面領域をそれぞれ有し、その仮想画面領域に書き込まれたデータのうち自己に割り当てられた領域のデータを表示手段に出力しているので、表示手段に画像を表示する際に、拡大等する必要が無く、表示画像が劣化することはない。また、仮想画面領域の大きさを調整することによって、使用する表示手段の台数を任意に変更することができ、マルチスクリーンの構成の自由度を高めることができる。しかも、各画像生成装置には、ネットワークを介して共通の描画パラメータが供給され、各画像生成装置が共通の描画パラメータに基づいて仮想画面領域に画像を書き込んでいるので、各画像生成装置に表示すべき画像の異なる部分を各画像生成装置が個別に生成する必要が無く、画像生成に要する時間を短縮することができる。
【００１０】
また、各画像生成装置が、仮想画面領域中のいずれの部分を担当するのかを指示する情報を、特定の画像生成装置から他の画像生成装置にネットワークを介して伝送することができる。このように構成することによって、各画像生成装置において仮想画面領域のいずれの部分を分担するのか個別に設定する必要が無く、設定作業に要する時間を短縮することができる。
【発明の効果】
【００１１】
以上のように、本発明によれば、表示手段にマルチスクリーンの一部として表示される画像に劣化を生じることなく、しかも、この表示手段として、アスペクト比や解像度が異なるものを容易に使用することができるし、マルチスクリーンに表示される画像の生成に要する時間を短縮することができる。
【発明を実施するための最良の形態】
【００１２】
本発明の１実施形態の映像及び音楽編集装置２は、音声素材と映像生成用素材とを編集して出力するもので、図２（ａ）に示すように、複数台、例えば２台が同時に使用される。各編集装置２には、それぞれ表示手段、例えば液晶表示装置４が接続され、これら表示装置４をマルチスクリーンとして使用する。これら編集装置２は、ネットワークによって接続され、相互にデータの伝送が可能である。
【００１３】
各編集装置２は、例えば図１に示すように、バス６を有し、このバス６には、記憶手段、例えばストレージ８が接続されている。ストレージ８にはそれぞれ複数の映像生成用素材及び音声素材が記憶されている。また、バス６には外部メモリ１０も接続される。外部メモリ１０にも、それぞれ複数の映像生成用素材及び音声素材が記憶されている。
【００１４】
複数の映像生成用素材のうち、選択されたものがバス６を介してシーンテンポラリメモリ１２に記憶される。このシーンテンポラリメモリ１２の映像生成用素材は、バス６を介して映像処理手段、例えばＧＰＵ１４に供給される。ＧＰＵ１４は、サブバス１５を介して接続された記憶手段、例えば画像テンポラリメモリ１６を使用しながら、シーンテンポラリメモリ１２の画像生成用素材を処理し、Ｄ／Ａ変換器１８によってアナログ信号に変換して、対応する表示装置４に出力する。
【００１５】
同様に、バス６に接続されたＡ／Ｄ変換変換器１９によって得られた音声ストリーム信号やストレージまたは外部メモリから選択された音声素材は、音声処理手段、例えばＤＳＰ２０にバス６を介して供給される。ＤＳＰ２０は、サブバス２１を介して接続された記憶手段例えば音声エフェクトメモリ２２を使用しながら、音声素材等を処理し、Ｄ／Ａ変換器２３によってアナログ信号に変換し、サウンドシステム（図示せず）に供給する。
【００１６】
これらＧＰＵ１４、ＤＳＰ２０での処理において使用されるパラメータの設定や、画像生成用素材の選択は、図示しない操作子からユーザーインターフェース２４を介して制御手段、例えばＣＰＵ２５に供給された指示に基づいて行われ、パラメータ等は、ＣＰＵ２５からバス６を介してＧＰＵ１４、ＤＳＰ２０に供給される。
【００１７】
図３は、編集装置２のＧＰＵ１４及びＤＳＰ２０を機能ブロック図で示したもので、音声素材は、音声再生部２６で再生される。再生された音声信号は、合成器２８によってＡ／Ｄ変換器１９からの音声ストリーム信号と合成され、効果付与手段、例えば音声エフェクト部３０に供給され、ここで音声エフェクトが付与され、出力される。なお、音声再生時には、操作子の操作によって設定された音声パラメータが音声再生部２６に供給され、例えば再生ピッチ等が設定されている。また、音声エフェクト部３０にも音声パラメータが設定され、付与するエフェクト等が決定されている。この音声エフェクト部３０によって付与されるエフェクトの状態を周期的に変化させるために、音声用ＬＦＯ３２から音声パラメータが音声エフェクト部３０に供給されている。ＬＦＯ３２には、音声パラメータが付与され、ＢＰＭ（ビートパーミニッツ）データが供給され、これらによってＬＦＯ３２が決定した音声パラメータが音声エフェクト部３０に供給され、これによって音声エフェクトの状態が周期的に変化させられる。
【００１８】
編集装置２では、映像生成部３４が映像生成用素材を元に映像出力を生成している。映像生成用素材は、例えば静止画であって、これにエフェクトを付与して、動画を生成する。例えば、所定フレーム、例えば１フレームごとに静止画中のオブジェクトが変化した画像を生成する。変化としては、例えば１フレームごとにオブジェクトが時間経過と共に拡大または縮小されるものや、オブジェクトが特定の位置から別の位置まで時間経過と共に移動するものや、平面的なオブジェクトを立体的なオブジェクトを生成し、その立体的なオブジェクトの形状が時間経過と共に変化するもの等種々のものがある。このような変化を行うための描画パラメータが、映像設定としてネットワーク同期部３６に与えられ、ネットワーク同期部３６から映像生成部３４に供給される。また、上述したような変化を周期的に行うために、ＬＦＯ３８から描画パラメータが映像生成部３４に供給されている。ＬＦＯ３８にもＢＰＭデータが供給されている。
【００１９】
ネットワーク同期部３６に設定された描画パラメータは、他の編集装置２にもネットワークを介して供給され、他の編集装置２の映像生成部３４にも供給されている。
【００２０】
映像生成部３４からの映像出力を、音声エフェクト部３０からの音声出力に同期させることができる。そのために、音声出力は、音声解析部４０によって解析され、その解析結果が映像生成部３４に供給される。このとき、映像生成部３４では、音声出力に同期させて変化する映像出力を生成する。
【００２１】
上記とは逆に、映像生成部３４での映像の変化（映像エフェクトの変化）に同期して、例えば同じ周期で音声エフェクトを変化させることもできる。そのため、映像生成用ＬＦＯ３８に、音声エフェクト用ＬＦＯ３２を同期させるように、スイッチ４２がＬＦＯ３２、３８間に設けられている。スイッチ４２が閉じられることによって、ＬＦＯ３２からの音声パラメータは、ＬＦＯ３８からの描画パラメータに同期して例えば同じ周期で変化するものとなる。
【００２２】
編集装置２、２は、２台の表示装置４、４を利用してマルチスクリーンを構成する。この実施形態では、表示しようとする映像の左半分が一方の表示装置４に表示され、表示しようとする映像の右半分が他方の表示装置に表示される。そのため、図２（ａ）に示すように、編集装置２、２の映像生成部３４は、それぞれ仮想画面領域４４を有している。
【００２３】
そして、予め一方の編集装置２において、それぞれの仮想画面領域４４をどのような大きさとし、どのように分割し、その分割された領域のいずれの部分をいずれの編集装置２から出力するか、初期設定時に決定され、その決定値がネットワークを介して他の編集装置２に伝送される。
【００２４】
例えば、表示装置４、４の表示領域が共にアスペクト比が４：３で、水平方向１２８０ピクセル、垂直方向７２０ピクセルとすると、いずれの編集装置２でも、仮想画面領域４４の水平方向のピクセル数は両表示装置４、４の水平方向ピクセルの合計値（２５６０ピクセル）、垂直方向のピクセル数は両表示装置４、４共通の垂直方向ピクセル（７２０ピクセル）と決定される。そして、仮想画面領域４４を表示装置の台数に応じた分割数、この場合２分割と決定する。その分割は、両表示装置４、４の表示領域が同じ大きさであるので、２等分し、例えば（０、０−１２８０、７２０）の左側領域と、（１２８１、０−２５６０、７２０）の右側領域と決定する。そして、図２（ａ）において左側に示す編集装置２は、それが有する仮想画面領域４４の左側領域をそれの表示装置４に出力し、同図（ａ）において右側に示す編集装置２は、それが有する仮想画面領域４４の右側領域をそれの表示装置４に出力すると決定される。
【００２５】
或いは、表示装置４、４の表示領域が共にアスペクト比４：３であるが、一方の表示装置４の表示領域が、水平方向１２８０ピクセル、垂直方向７２０ピクセルで、他方の表示装置４の表示領域が、水平方向８００ピクセル、垂直方向６００ピクセルと表示画面領域の大きさが異なっている場合、いずれの仮想画面領域４４の大きさも、水平方向は両表示装置４、４の水平ピクセルの合計値（水平方向２０８０ピクセル）、垂直方向両表示装置４、４の垂直方向ピクセルの大きい方の値（７２０ピクセル）と決定される。そして、仮想画面領域４４の表示装置の台数に応じた分割数、この場合２分割と決定される。分割は、表示装置４、４の表示領域の大きさが異なるので、各表示装置４、４の表示領域に応じたものを仮想画面領域４４から切り出すと決定する。例えば表示装置４、４のうち左側の領域を担当するものが表示領域が１２８０＊７２０ピクセルで、右側の領域を担当する表示装置の表示領域が８００＊６００であるとすると、仮想画面領域４４は、（０、０−１２８０、７２０）を左側領域と決定される。残りの（１２８１、０−２０８０、７２０）のうちから８００＊６００の大きさに相当する領域を右側領域と決定する。例えば（１２８１、０−２０８０、６００）、（１２８１、６０−２０８０、６６０）または（１２８１、１２０−２０８０、７２０）のように決定される。
【００２６】
これらの決定は、一方の編集装置２において行われる。そして、その決定が、一方の編集装置２から他方の編集装置にパラメータとして伝送される。各編集装置２、２では、このパラメータに基づいて、指定された大きさの仮想画面領域４４を獲得する。各編集装置２、２において獲得された仮想画面領域は同じ大きさであり、かつ各編集装置２、２の表示装置４、４の表示領域よりも大きい。
【００２７】
また、一方の編集装置２において使用する映像素材が初期設定時に決定されると、その使用する映像素材を表すデータがネットワークを介して他の編集装置２に伝送される。編集装置２、２では、このデータに基づいて仮想画面領域４４に応じた大きさに画像を生成し、その生成された画像が、同図（ｂ）に示すように、仮想画面領域４４、４４に書き込まれる。例えばネットワークを介して供給されるデータがビットマップデータのような１画素ごとのデータであると、その水平方向及び垂直方向の画素数とアスペクト比とが、仮想画面領域の画素数とアスペクト比とに一致していなければ、仮想画面領域４４に書き込む際に、拡大、縮小、変形を加える必要があり、表示装置４、４に表示された画像に劣化が生じる。しかし、この編集装置２、２では、供給された映像素材を表すデータに基づいて仮想画面領域４４、４４に応じた大きさに編集装置２、２で作成した画像を、仮想画面領域４４、４４に書き込んであるので、画像の劣化は生じない。
【００２８】
そして、仮想画面領域４４、４４のうち各編集装置２がそれぞれ指定されている領域を、同図（ｃ）に示すように各編集装置２がそれぞれ接続されている表示装置４、４に出力する。例えば上述したように、表示装置４、４の表示画面が水平方向が１２８０ピクセルで垂直方向が７２０ピクセルの大きさであると、編集装置２、２のうちそれぞれその結果、マルチスクリーンによる表示が行われる。表示装置４、４の表示領域のサイズが異なる場合も、上述したように仮想画面領域のうち左側領域及び右側領域として指定された領域が切り出され、表示装置４、４に表示される。
【００２９】
また、初期設定時に、映像素材に基づいてどのような動画とするかのパラメータも一方の編集装置２において決定され、他方の編集装置２にネットワークを介して伝送されている。従って、例えば同図２（ｃ）に示すように仮想画面領域４４の水平方向の中央にＡという文字がオブジェクトとして表示されているものである場合に、このオブジェクトを右方向に所定の速度で移動させるとのパラメータが設定されているとすると、次のフレームでは、オブジェクトが右側にパラメータで指定された量だけ右側に移動したように、両編集装置２の各仮想画面領域４４、４４の画像は書き換えられて、上述したように分割して出力される。画像の出力が開始されてから、或る数のフレームが発生した後には、同図（ｄ）に示すようにオブジェクトが仮想画面領域４４の中央よりも完全に右側に位置するようにオブジェクトは両仮想画面領域４４にそれぞれ書き込まれる。従って、左側の表示装置４にはオブジェクトが表示されず、右側の表示装置４にオブジェクトの全体が表示されるようになる。
【００３０】
このようなエフェクトを付与するためにＬＦＯ３８からパラメータが映像生成部３４に供給されており、繰り返し行われる。このＬＦＯ３８と音声エフェクト用のＬＦＯ３２とを、スイッチ４２の操作によって同期させることによって、そのとき音声エフェクト部３０から出力される音声出力に付与されている音声エフェクトも映像出力に付与されたエフェクトと同期して繰り返される。従って、そのとき音声エフェクト部３０に供給されている例えば音声素材が周期性の無いノイズであっても、映像出力に付与されたエフェクトと同じ周期を持った音声出力が得られる。
【００３１】
このようにして生成された映像出力は、図３に示すエンコーダ４６によって映像ファイルに変換され、ストレージ８に記憶され、その後にストレージ８から読み出されて、再生される。このように映像ファイルとして記憶する前に、どのようなエフェクトを使用するか、そのエフェクトにおけるパラメータはどのように設定するかを、試行錯誤の結果、決定することがある。その場合、どのようにパラメータを変化させたかを記憶させておき、気に入った映像出力になったときのパラメータを呼び出して、再度映像生成部３４から映像出力を生成させ、これをエンコーダ４６によって映像ファイルとする。このような処理を以下、スキップバック処理と称する。
【００３２】
そのため、パラメータが供給されているネットワーク同期部３６から、パラメータ記憶手段、例えばレコーダ４８にパラメータが供給され、記憶されている。レコーダ４８には、複数の記憶領域を持つバッファが形成され、このバッファの先頭の記憶領域から順にパラメータが記憶され、最後の記憶領域までパラメータが記憶されると、再び先頭の記憶領域からパラメータが記憶される。また、このレコーダ４４から選択されて読み出されたパラメータは、ネットワーク同期部３６を経て、両編集装置２の映像生成部３４に供給される。これら記憶及び読み出しの指示は、操作子からユーザーインターフェース２４、ＣＰＵ２５を介してレコーダ４６に与えられる。
【００３３】
このようなマルチスクリーン、映像エフェクト、音声エフェクト付与、パラメータの変更の記憶、読み出しのために、編集装置２が行う処理では、まず図４に示すように、初期化が行われる（ステップＳ２）。２台の編集装置２のうち、一方の編集装置２では、初期化において、映像生成用素材、音声素材の選択、映像に付与するエフェクト及び音声に付与するエフェクトの選択、これらエフェクトにおけるパラメータの選択が行われる。更に、仮想画面領域４４の大きさ及びこの仮想画面領域４４のうち対応する表示装置４に出力する表示領域の設定が行われる。これら選択された映像生成用素材の選択指示、音声素材の選択指示、エフェクトの指示、パラメータの値、仮想画面領域の大きさ及び表示領域の指示が、ネットワークを介して他方の編集装置２に伝送される。他方の編集装置２では、ネットワークを介して伝送されたデータに基づいて、初期化において、映像生成用の素材、音声素材の選択、エフェクトの選択、仮想画面領域の設定を行う。
【００３４】
初期化に続いて、各編集装置２では描画処理を開始する（ステップＳ４）。描画処理では、図５に示すように、まず設定された描画パラメータを取得する（ステップＳ４０）。次に、取得した描画パラメータとＢＰＭデータとに基づいてＬＦＯ３８用の描画ＬＦＯ処理を行う（ステップＳ４２）。そして、ＬＦＯ３８からのパラメータに従って映像生成用素材にエフェクトを付与した画像を仮想画面領域に描画する（ステップＳ４４）。描画が終了した仮想画面領域のうち、対応する表示装置４に出力する表示領域を、初期化の際の設定に基づいて取得し（ステップＳ４６）、この表示領域から画像を出力する（ステップＳ４６）。以下、この処理が繰り返される。
【００３５】
この描画処理に続いて、サウンド処理が行われる（ステップＳ６）。サウンド処理では、図６に示すように、まず描画パラメータを取得する（ステップＳ６０）。次に、この描画パラメータを描画パラメータに基づくサウンドパラメータに変換する（ステップＳ６１）。そして、音声用のＬＦＯ３２と描画用のＬＦＯ３８とをリンクさせる指示が与えられているか判断する（ステップＳ６２）。この判断の答えがイエスの場合には、ステップＳ６１で変換した描画パラメータに基づくサウンドパラメータを取得する（ステップＳ６３）。また、ステップＳ６２の判断の答えがノーの場合には、ＬＦＯ３２用に設定されたパラメータを取得する（ステップＳ６４）。ステップＳ６３またはＳ６４によって取得されたパラメータに基づいてサウンドＬＦＯ処理を行う（ステップＳ６５）。次にエフェクト処理する音声素材及び音声ストリーム信号を入力し（ステップＳ６６）、これにサウンドＬＦＯ処理されたパラメータに基づいてエフェクトを付与して（ステップＳ６７）、音声出力を出力する（ステップＳ６８）。以下、これら処理を繰り返す。
【００３６】
ステップＳ６のサウンド処理に続いて、操作子の操作が行われたか判断し（ステップＳ８）、その答えがノーの場合には、ステップＳ８を繰り返し、その答えがイエスの場合、スキップバック処理が行われる（ステップＳ１０）。
【００３７】
スキップバック処理では、図７に示すように、各操作子のうち、スキップバックの再生時間（スキップバック再生開始時点とスキップバック再生終了時点）を指定する操作子が操作されたか判断する（ステップＳ１００）。この判断の答えがノーであると、スキップバック再生は行わないので、パラメータを入力し（ステップＳ１０２）、そのときの時間を基準時間として取得し（ステップＳ１０４）、スキップバック用に準備したレコーダ４８のバッファの書き込み位置（ライトポイント）を指定するライトポインタの値を１つ進め（ステップＳ１０６）、バッファが一杯か、即ちライトポイントがバッファの最後であるか判断する（ステップＳ１０８）。この判断の答えがイエスの場合、ライトポインタの値をバッファの先頭に戻す（ステップＳ１１０）。ステップＳ１０８の判断の答えがノーの場合、即ち、バッファへの書き込みが可能なとき、またはステップＳ１１０に続いて、バッファのライトポインタによって指定されたライトポイントに基準時間とパラメータとを書き込む（ステップＳ１１２）。次に、このパラメータを各編集装置２のＬＦＯ３８及び映像生成部３４に渡す（ステップＳ１１４）。以下、このような作業が一定時間が経過する毎に繰り返され、バッファには、一定時間経過毎の基準時間とそのときのパラメータとが順に記憶され、バッファの最後まで書き込まれたときには、バッファの最初から続きが書き込まれる。
【００３８】
ステップＳ１００の判断の答えがイエスであると、スキップバックの再生時間を指定する操作子が操作されているので、この操作子の操作によって指定されたスキップバック再生開始時点とスキップバック再生終了時点、即ちスキップバック時間が入力される（ステップＳ１１６）。そして、現在の基準時間を取得し（ステップＳ１１８）、スキップバック開始時間と現在の基準時間とから現在読み出すべきリードポインタの値（当初にはスキップバック再生開始時間に対応する）を算出する（ステップＳ１２０）。このリードポインタの値がバッファの最後（スキップバック再生終了時点に対応する）を越えているか判断し（ステップＳ１２２）、この判断の答えがノーの場合、リードポインタの値が指定する位置からパラメータを読み出し（ステップＳ１２４）、そのパラメータを各編集装置２のＬＦＯ３８及び映像生成部３４に渡す（ステップＳ１２６）。また、ステップＳ１２２の判断の答えがイエスの場合、リードポインタの値をスキップバック再生開始の時点に対応する値に変更し（ステップＳ１２８）、ステップＳ１２４、Ｓ１２６を実行する。ステップＳ１２６に続いて、スキップバック再生の終了の指示が与えられているか判断し（ステップＳ１３０）、その判断の答えがイエスであるとスキップバック再生を終了するが、判断の答えがノーであると、ステップＳ１１８から再び実行する。このとき、ステップＳ１１８で現在の基準時間が取得され、ステップＳ１２０では、スキップバック再生開始時点から所定時間経過した次の基準時間に対応するパラメータが読み出される。
【００３９】
なお、上記の実施形態では、映像と音声とを同期させるために映像用のＬＦＯと音声用のＬＦＯとを同期させたが、これ以外にも、映像に対するエフェクトパラメータの値を直接に音声用のエフェクトパラメータの値として使用することによって、映像と音声とを同期させることもできる。
【００４０】
例えば、映像側で残像のような効果を付与する場合に、これに同期してエコー効果を音声に付与することができる。この場合、例えば残像用のパラメータの１つである残像の数をエコー用のディレイ回数として使用し、残像用のパラメータの１つである残像の大きさまたは明度を、エコー用のディレイレベルとして使用し、残像用のパラメータの１つである残像同士の間隔をディレイタイムとして使用する。
【００４１】
或いは、映像用の効果として、影を引くような効果を付与する場合、音声側でリバーブ効果を与えることもできる。この場合、影を引く効果用の影の長さを、リバーブ効果のリバーブタイムとして使用し、影を引く効果用の影の濃さを、リバーブ効果のリバーブレベルとして使用する。
【００４２】
または、映像用の効果として、波紋のように変化する効果を付与する場合、音声側で周波数特性フィルタの特性を変化させて効果を付与することもできる。この場合、波紋の波高値をデプスとして使用し、波紋の減衰速度をフィルタのカットオフ周波数が低い周波数へに変化する速度として使用し、波紋の速度をフィルタのカットオフ周波数を変化させるＬＦＯのレートとして使用する。
【００４３】
或いは、映像用の効果として色彩フィルタ効果を使用する場合、音声側で周波数特性フィルタをかけて効果を付与することもできる。この場合、色彩フィルタにおける映像の明るさを変化させるパラメータを、音の明るさ（周波数特性フィルタのカットオフ周波数）を変化させるパラメータとして使用する。
【００４４】
この他に、映像側でオブジェクトの位置を変化させる効果を付与する場合、音声側の効果としてオブジェクトの位置の変化に比例して音像の定位を移動させることや、映像側で描画されている物体のサイズを変化させる効果を付与する場合、音声側で物体のサイズの変化に比例して音量を変化させることや、映像側で描画されているオブジェクトのピントを変化させる効果を付与する場合、音声側で周波数フィルタのカットオフ周波数をピントの変化に比例して変化させる場合もある。これらの場合、位置移動のパラメータをそのまま定位移動のパラメータとして、細部変化のパラメータをそのまま音量パラメータとして、ピント変化のパラメータをそのままカットオフ周波数変化のパラメータとして使用する。
【００４５】
映像に対するエフェクトパラメータと音声用のエフェクトパラメータとの組合せは、任意に変更することができ、例えば上記の例で言えば、波紋のような映像と音声へのエコーとを同期させることもできるし、逆に映像の残像のような効果と、音声への周波数特性フィルタとを同期させることもできる。
【００４６】
上記の実施形態では、２台の編集装置２と２台の表示装置４とを使用したが、これらの台数は、更に増加させることができる。但し、台数が増加されると、それに伴い仮想表示画面の大きさも変化させられるし、各表示装置が担当する表示領域の仮想表示画面上の位置も変化する。
【図面の簡単な説明】
【００４７】
【図１】本発明による画像生成装置を実施した編集装置のブロック図である。
【図２】図１の編集装置を２台組み合わせた編集システムのブロック図である。
【図３】図１の編集装置の機能ブロック図である。
【図４】図１の編集装置で行われる処理のメインフローチャートである。
【図５】図４における描画処理の詳細なフローチャートである。
【図６】図４におけるサウンド処理の詳細なフローチャートである。
【図７】図４におけるスキップバック処理の詳細なフローチャートである。
【符号の説明】
【００４８】
２ 編集装置
４ 表示装置
１４ ＧＰＵ（出力手段、書き込み手段）
４４ 仮想表示画面
【特許請求の範囲】
【請求項１】
表示画面に画像を表示する表示手段と、
この表示手段の表示画面の領域よりも大きい仮想画面領域と、
この仮想画面領域のうち前記表示手段の表示画面に割り当てられた領域を前記表示手段に出力する出力手段と、
前記仮想画面領域に、予め設定された描画パラメータに従って画像を書き込む画像書き込み手段とを、
具備する画像生成装置。
【請求項２】
請求項１記載の画像生成装置において、前記描画パラメータに従って前記仮想画面領域に書き込まれる画像が変化する画像生成装置。
【請求項３】
表示画面に画像を表示する複数の表示手段と、
これら複数の表示手段にそれぞれ対応させて設けられ、前記表示手段のうち対応するものに画像を表示させる複数の画像生成装置と、
これら画像生成装置を接続するネットワークとを、
具備し、前記各画像生成装置は、
前記各表示手段の表示画面を合成した領域以上の大きさで、前記各画像生成装置共通の仮想画面領域と、
前記仮想画面領域のうち自己に割り当てられた表示手段の表示画面に対応する領域を前記表示手段に出力する出力手段と、
前記仮想画面領域に描画パラメータに基づいて画像を書き込む画像書き込み手段とを、
具備し、
前記各画像生成装置に共通の描画パラメータが前記ネットワークを介して特定の前記画像生成装置から、他の前記画像生成装置に伝送される
画像生成システム。
【請求項４】
請求項３記載の画像生成システムにおいて、前記描画パラメータに従って前記仮想画面領域に書き込まれる画像が変化する画像生成システム。
【請求項５】
請求項３記載の画像生成システムにおいて、前記他の画像生成装置に割り当てられた前記仮想画面領域中の領域を指示する情報を、前記特定の画像生成装置から前記他の画像生成装置に前記ネットワークを介して伝送する画像生成システム。
【請求項１】
表示画面に画像を表示する表示手段と、
この表示手段の表示画面の領域よりも大きい仮想画面領域と、
この仮想画面領域のうち前記表示手段の表示画面に割り当てられた領域を前記表示手段に出力する出力手段と、
前記仮想画面領域に、予め設定された描画パラメータに従って画像を書き込む画像書き込み手段とを、
具備する画像生成装置。
【請求項２】
請求項１記載の画像生成装置において、前記描画パラメータに従って前記仮想画面領域に書き込まれる画像が変化する画像生成装置。
【請求項３】
表示画面に画像を表示する複数の表示手段と、
これら複数の表示手段にそれぞれ対応させて設けられ、前記表示手段のうち対応するものに画像を表示させる複数の画像生成装置と、
これら画像生成装置を接続するネットワークとを、
具備し、前記各画像生成装置は、
前記各表示手段の表示画面を合成した領域以上の大きさで、前記各画像生成装置共通の仮想画面領域と、
前記仮想画面領域のうち自己に割り当てられた表示手段の表示画面に対応する領域を前記表示手段に出力する出力手段と、
前記仮想画面領域に描画パラメータに基づいて画像を書き込む画像書き込み手段とを、
具備し、
前記各画像生成装置に共通の描画パラメータが前記ネットワークを介して特定の前記画像生成装置から、他の前記画像生成装置に伝送される
画像生成システム。
【請求項４】
請求項３記載の画像生成システムにおいて、前記描画パラメータに従って前記仮想画面領域に書き込まれる画像が変化する画像生成システム。
【請求項５】
請求項３記載の画像生成システムにおいて、前記他の画像生成装置に割り当てられた前記仮想画面領域中の領域を指示する情報を、前記特定の画像生成装置から前記他の画像生成装置に前記ネットワークを介して伝送する画像生成システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００８−１５２６２６（Ｐ２００８−１５２６２６Ａ）
【公開日】平成２０年７月３日（２００８．７．３）
【国際特許分類】
【出願番号】特願２００６−３４１２８８（Ｐ２００６−３４１２８８）
【出願日】平成１８年１２月１９日（２００６．１２．１９）
【出願人】（０００１１６０６８）ローランド株式会社 (175)
【Ｆターム（参考）】
【公開日】平成２０年７月３日（２００８．７．３）
【国際特許分類】
【出願日】平成１８年１２月１９日（２００６．１２．１９）
【出願人】（０００１１６０６８）ローランド株式会社 (175)
【Ｆターム（参考）】
[ Back to top ]