映像音声信号処理装置と映像音声信号処理方法
【課題】音声信号が重畳されている非同期の映像信号を、基準信号に同期した映像信号として出力する際に、自由度の高い音声信号の処理を行うことができるようにする。
【解決手段】音声信号が重畳されている映像信号ＤＳａをメモリ１６に書き込む。メモリ１６に書き込まれた映像信号は基準信号に同期して読み出す。映像信号から分離した音声信号ＤＡａ(ＤＡｂ)または入力された音声信号ＤＡｃをメモリ２６に書き込む。メモリ２６に書き込まれた音声信号は基準信号に同期して読み出す。マルチプレクサ３３は、メモリ１６から読み出した映像信号ＤＳｂ(ＤＳｃ)に重畳されている音声信号に換えて、メモリ２６から読み出した音声信号ＤＡｅ(ＤＡｆ)を重畳される。音声信号を映像信号と別個に記憶することで、別個に記憶した音声信号を用いて自由度の高い音声信号の処理を行える。
【解決手段】音声信号が重畳されている映像信号ＤＳａをメモリ１６に書き込む。メモリ１６に書き込まれた映像信号は基準信号に同期して読み出す。映像信号から分離した音声信号ＤＡａ(ＤＡｂ)または入力された音声信号ＤＡｃをメモリ２６に書き込む。メモリ２６に書き込まれた音声信号は基準信号に同期して読み出す。マルチプレクサ３３は、メモリ１６から読み出した映像信号ＤＳｂ(ＤＳｃ)に重畳されている音声信号に換えて、メモリ２６から読み出した音声信号ＤＡｅ(ＤＡｆ)を重畳される。音声信号を映像信号と別個に記憶することで、別個に記憶した音声信号を用いて自由度の高い音声信号の処理を行える。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、映像音声信号処理装置と映像音声信号処理方法に関する。詳しくは、音声信号が重畳されている非同期の映像信号を、基準信号に同期した映像信号として出力する際に、音声信号を記憶するメモリを設けて、自由度の高い音声信号の処理を行うことができるようにするものである。
【背景技術】
【０００２】
従来、映像音声信号装置例えばフレームシンクロナイザでは、映像信号の同期を別の映像信号の同期に変換する際に生じる映像信号の欠落や繰り返しが生じた場合でも、映像信号に重畳される補助信号の連続性を保持させることが行われている。
【０００３】
例えば、特許文献１の発明では、映像／補助データ分離部が映像データと補助データを分離する。映像データ記憶部は、分離された映像データを記憶する。また、補助データ記憶部は、分離された補助データを記憶する。ここで、映像データの読み出しが入力順序通りに行われない場合、補助データの読み出しは、入力順序通りに行われるように読み出し順序を制御することで、補助データが欠落したり繰り返されることなく連続的に出力させることが行われている。
【０００４】
また、フレームシンクロナイザでは、映像信号や補助信号だけでなく音声信号の切り替えも行われる。図１２は、従来のフレームシンクロナイザ６０の構成を示している。
【０００５】
フレームシンクロナイザ６０では、音声信号が重畳された非同期の映像信号が所定のフォーマット例えばＳＤＩフォーマットのストリームとして供給される。ストリームＤＳinは、シリアル／パラレル変換部（Ｓ／Ｐ）６１でパラレル信号に変換されて映像信号入力処理部６２に供給される。
【０００６】
映像信号入力処理部６２は、シリアル／パラレル変換部６１から供給された映像信号の処理、例えば明るさの調整や映像の挿入等を行い、処理後の映像信号ＤＳｈをメモリコントローラ６５に供給する。
【０００７】
メモリコントローラ６５は、供給された非同期の映像信号ＤＳｈをメモリ６６に書き込み、メモリ６６に書き込まれた映像信号の読み出しを基準信号に同期して行うことで、入力された映像信号ＤＳｈとは独立した同期位相の映像信号ＤＳｊをデマルチプレクサ６７に供給する。また、メモリコントローラ６５は、メモリ６６に書き込まれている映像信号の読み出し開始位置を変更してリポジション処理を行い、例えば映像の下部領域を画面上の上部領域に表示できるように映像の表示位置を垂直方向に移動させる。
【０００８】
デマルチプレクサ６７は、音声信号が重畳されている映像信号ＤＳｊを、映像信号ＤＶｊと音声信号ＤＡｊに分離して、映像信号ＤＶｊを映像信号出力処理部７１に供給し、音声信号ＤＡｊを音声信号出力処理部７２に供給する。
【０００９】
映像信号出力処理部７１は、メモリコントローラ６５によってリポジション処理が行われたときブランキング期間の付け替えを行う。すなわち、メモリ６６に書き込まれている映像信号の読み出し開始位置を変更して映像の表示位置を垂直方向に移動させるものとすると、ブランキング期間も移動してしまう。このため、映像信号出力処理部７１は、ブランキング期間の付け替えを行うことで、垂直方向に移動された映像を表示できるようにする。また、映像信号出力処理部７１は、リポジション処理によって生じた不要な表示、例えば映像の上部領域の表示や付け替え前のブランキング期間に対応する表示をマスキングする。映像信号出力処理部７１は、信号処理後の映像信号ＤＶｋをマルチプレクサ７３に供給する。
【００１０】
音声信号出力処理部７２は、映像信号の補助データ領域に記録されている音声信号の順序がリポジション処理によって変更されてしまうとき、順序が変更された音声信号が出力されることがないよう音声を無音声化する。なお、音声信号出力処理部７２は、音声のフェード処理等も行う。音声信号出力処理部７２は、信号処理後の音声信号ＤＡｋをマルチプレクサ７３に供給する。
【００１１】
マルチプレクサ７３は、映像信号出力処理部７１から供給された映像信号ＤＶｋの補助データ領域に、音声信号出力処理部７２から供給された音声信号ＤＡｋを挿入してパラレル／シリアル変換部（Ｐ／Ｓ）７４に供給する。
【００１２】
パラレル／シリアル変換部７４は、マルチプレクサ７３から供給された映像信号をシリアル信号に変換して、ＳＤＩフォーマットのストリームＤＳout’として出力する。
【００１３】
ローカルＣＰＵ８１は、メインＣＰＵ（図示せず）から供給された制御信号ＣＴｍに応じて制御信号ＣＴｂを生成する。ローカルＣＰＵ８１は、生成した制御信号ＣＴｂをメモリコントローラ６５や映像信号出力処理部７１、音声信号出力処理部７２等に供給して、フレームシンクロナイザ６０の動作が制御信号ＣＴｍによって指示された動作となるように各部を制御する。
【００１４】
【特許文献１】特開２００４−２２１８４１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１５】
ところで、図１２に示すようなフレームシンクロナイザ６０では、メモリ６６から読み出された映像信号ＤＳｂに対して映像信号の出力処理、およびメモリ６６から読み出された映像信号ＤＳｂに重畳されている音声信号に対して音声信号の出力処理が行われている。このため、簡単な構成で自由度の高い音声信号出力処理を行うことができない。例えばリポジション処理が行われると音声信号の順序が変更されてしまうために音声の無音化が行われる。したがって、リポジション処理を行ったとき、音声を出力させることができない。また、音声のフェードアウトやフェードインの処理は可能であるが、音声切り替え例えば音声のクロスフェード等を行うことができない。
【００１６】
そこで、この発明では、音声信号が重畳されている非同期の映像信号を、基準信号に同期させて出力する際に、自由度の高い音声信号の処理を行えるようにした映像音声処理装置と映像音声処理方法を提供するものである。
【課題を解決するための手段】
【００１７】
この発明の第１の側面は、音声信号が重畳されている映像信号を記憶する第１のメモリと、前記第１のメモリに書き込まれた映像信号を基準信号に同期させて読み出す第１のメモリコントローラと、前記映像信号に重畳されている音声信号を分離するデマルチプレクサと、前記分離された音声信号または入力された音声信号を記憶する第２のメモリと、前記第２のメモリに書き込まれた音声信号を前記基準信号に同期させて読み出す第２のメモリコントローラと、前記第１のメモリから読み出された映像信号に重畳されている音声信号に換えて、前記第２のメモリから読み出された音声信号を重畳させるマルチプレクサとを有する映像音声信号処理にある。
【００１８】
また、この発明の第２の側面は、音声信号が重畳されている映像信号を第１のメモリに記憶するステップと、前記第１のメモリに書き込まれた映像信号を基準信号に同期させて読み出すステップと、前記映像信号に重畳されている音声信号を分離するステップと、前記分離された音声信号または入力された音声信号を第２のメモリに記憶するステップと、前記第２のメモリに書き込まれた音声信号を前記基準信号に同期させて読み出すステップと、前記第１のメモリから読み出された映像信号に重畳されている音声信号に換えて、前記第２のメモリから読み出された音声信号を重畳させるステップと
を有する映像音声信号処理方法にある。
【００１９】
この発明では、音声信号が例えばブランキング期間に重畳されている入力映像信号が、第１のメモリコントローラによって第１のメモリに書き込まれる。また、第１のメモリに書き込まれた映像信号は、基準信号に同期して第１のメモリコントローラによって読み出される。
【００２０】
また、映像信号に重畳されている音声信号がデマルチプレクサによって分離されて、この分離された音声信号または入力された音声信号が、第２のメモリコントローラによって第２のメモリに書き込まれる。さらに、第２のメモリに書き込まれた音声信号は、基準信号に同期して第２のメモリコントローラによって読み出される。
【００２１】
音声信号出力処理部では、例えば第１のメモリから読み出された映像信号に重畳されている音声信号の１映像フレーム当たりのサンプル数のシーケンスが判別されて、この判別結果に基づき第２のメモリから読み出された音声信号のサンプル数が、第１のメモリから読み出された映像信号に重畳されている音声信号の１映像フレーム当たりのサンプル数と等しくなるように調整される。また、音声信号の１映像フレーム当たりのサンプル数の調整では、第２のメモリに書き込まれた音声信号の１映像フレーム当たりのサンプル数を示す情報が用いられる。
【００２２】
マルチプレクサでは、第１のメモリから読み出された映像信号に重畳されている音声信号に換えて、音声信号出力処理部で処理された音声信号を重畳する処理が行われる。
【００２３】
また、音声信号出力処理部では、第２のメモリから読み出された音声信号とデマルチプレクサで分離された音声信号の何れか一方の音声信号から他方の音声信号に切り替えてマルチプレクサに供給する処理が行われる。
【００２４】
また、第１のメモリから読み出された映像信号に対して信号処理を行う映像信号出力処理部が設けられて、第１のメモリコントローラによって、第１のメモリに書き込まれている映像信号の読み出し開始位置を変更させることで映像の表示位置を移動させるリポジション処理が行われたとき、映像信号出力処理部は、第１のメモリから読み出された映像信号に対してブランキング期間の付け替えが行われる。また、第１のメモリに書き込まれる映像信号から音声信号を分離して第２のメモリに書き込み、この第２のメモリに書き込まれた音声信号を読み出して、リポジション処理後の映像信号に重畳される。
【発明の効果】
【００２５】
この発明によれば、音声信号が重畳されている映像信号が第１のメモリに記憶されて、この第１のメモリに書き込まれた映像信号が基準信号に同期して読み出される。また、映像信号に重畳されている音声信号が分離されて、この分離された音声信号または入力された音声信号が第２のメモリに記憶される。この第２のメモリに書き込まれた音声信号は、基準信号に同期して読み出されて、第１のメモリから読み出された映像信号に重畳されている音声信号に換えて重畳される。このように、音声信号を映像信号と別個に記憶することで、音声信号が重畳されている非同期の映像信号を、基準信号に同期した映像信号として出力する際に、自由度の高い音声信号の処理を行うことができるようになる。
【発明を実施するための最良の形態】
【００２６】
以下、図を参照しながら、この発明の実施の一形態について説明する。図１は、映像信号と音声信号の処理を行う映像音声信号処理装置１０の構成を示している。なお、映像音声信号処理装置１０は、フレームシンクロナイザの機能、すなわち音声信号が重畳されている非同期の映像信号を基準信号に同期した映像信号として出力する機能だけでなく、音声信号の切り替え等の編集機能も備えたものである。
【００２７】
映像音声信号処理装置１０では、音声信号が重畳されている非同期の映像信号が所定のフォーマット例えばＳＤＩフォーマットのストリームとして複数系統供給される。ストリームＤＳin-1は、シリアル／パラレル変換部（Ｓ／Ｐ）１１-1でパラレル信号に変換されて映像信号入力処理部１２-1に供給される。同様に、ストリームＤＳin-2〜ＤＳin-mは、シリアル／パラレル変換部（Ｓ／Ｐ）１１-2〜１１-mでパラレル信号に変換されて映像信号入力処理部１２-2〜１２-mに供給される。
【００２８】
映像信号入力処理部１２-1は、シリアル／パラレル変換部１１-1から供給された映像信号の処理、例えば明るさの調整や映像の挿入等を行い、処理後の映像信号をセレクタ１３に供給する。同様に、映像信号入力処理部１２-2〜１２-mは、入力された映像信号の処理を行い、処理後の映像信号をセレクタ１３に供給する。
【００２９】
セレクタ１３は、映像信号入力処理部１２-1〜１２-mから供給された複数系統の映像信号から所望の映像信号を選択して、選択した映像信号ＤＳａを第１のメモリコントローラ１５とデマルチプレクサ１７に供給する。
【００３０】
メモリコントローラ１５は、供給された非同期の映像信号ＤＳａを第１のメモリ１６に書き込み、メモリ１６に書き込まれた映像信号の読み出しを基準信号に同期して行うことで、入力された映像信号ＤＳａとは独立した同期位相の映像信号ＤＳｂを映像信号出力処理部３１に供給する。また、メモリコントローラ１５は、メモリ１６に書き込まれている映像信号の読み出し開始位置を変更してリポジション処理を行う。例えば読み出し開始位置を変更して、映像の下部領域を画面上の上部領域に表示できるように映像の表示位置を垂直方向に移動させる。あるいは読み出し開始位置を変更して、映像を水平方向や斜め方向に移動させる。なお、以下の説明では、映像の下部領域を画面上の上部領域に表示できるように映像の表示位置を垂直方向に移動させるものとする。
【００３１】
デマルチプレクサ１７は、音声信号が重畳されている映像信号ＤＳａから音声信号ＤＡａを分離して、または音声信号が重畳されている映像信号ＤＳｂから音声信号ＤＡｂを分離して、分離した音声信号ＤＡａ，ＤＡｂをセレクタ２４と音声信号出力処理部３２に供給する。
【００３２】
セレクタ２３には、デジタルインターフェイスレシーバ（以下「ＤＩＲ」という）２１-1〜２１-nが接続されている。ＤＩＲ-1は、外部から供給された音声ストリームＤＡin-1を音声信号に復元してセレクタ２３に供給する。同様に、ＤＩＲ-2〜ＤＩＲ-nは、外部から供給された音声ストリームＤＡin-2〜ＤＡin-nを音声信号に復元してセレクタ２３に供給する。セレクタ２３は、ＤＩＲ-1〜ＤＩＲ-nから供給された複数系統の音声信号から所望の音声信号を選択して、選択した音声信号ＤＡｃをセレクタ２４に供給する。
【００３３】
セレクタ２４は、音声信号が重畳されている映像信号ＤＳａ（ＤＳｂ）から分離した音声信号ＤＡａ（ＤＡｂ）、またはセレクタ２３から供給された音声信号ＤＡｃを選択してメモリコントローラ２５に供給する。
【００３４】
第２のメモリコントローラ２５は、セレクタ２４から供給された音声信号ＤＡｄを第２のメモリ２６に書き込む。また、メモリコントローラ２５は、メモリ２６に書き込まれた音声信号の読み出しを基準信号に同期して行うことで、基準信号に同期した音声信号ＤＡｅを音声信号出力処理部３２に供給する。なお、メモリ２６は音声信号を記憶するものであるから、映像信号を記憶するメモリ１６よりも記憶容量は少なくてよい。例えば映像信号ＤＳａの総走査線が１１２５本で１ライン当たりの総画素数が２２００画素であり、１０ビットの輝度信号と色差信号からなるとき、１映像フレーム当たりのデータ量は６．１Ｍｂｙｔｅ（≒１０ｂｉｔ×２×１１２５ライン×２２００画素）となる。ここで、音声信号ＤＡｄが１６チャンネルであり１映像フレーム当たりのサンプル数が１６０２サンプル、サンプルデータが３２ビットであるとき、１映像フレーム当たりのデータ量は０．１Ｍｂｙｔｅ（≒３２ｂｉｔ×１６チャンネル×１６０２サンプル）となる。したがって、メモリ２６は、メモリ１６に比べて記憶容量は少なくてよい。
【００３５】
映像信号出力処理部３１は、メモリコントローラ１５によってリポジション処理が行われたときブランキング期間の付け替えを行う。すなわち、メモリ１６に書き込まれている映像信号の読み出し開始位置を変更して映像の表示位置を垂直方向に移動させるものとすると、ブランキング期間も移動してしまう。このため、映像信号出力処理部３１は、ブランキング期間の付け替えを行うことで、垂直方向に移動された映像を表示できるようにする。また、映像信号出力処理部３１は、リポジション処理によって生じた不要な表示、例えば映像の上部領域の表示や付け替え前のブランキング期間に対応する表示をマスキングする。映像信号出力処理部３１は、信号処理後の映像信号ＤＳｃをマルチプレクサ３３に供給する。
【００３６】
音声信号出力処理部３２は、映像信号ＤＳｃの補助データ領域に記録されている音声信号の順序がリポジション処理によって変更されてしまうとき、メモリコントローラ２５によってメモリ２６から読み出されている音声信号ＤＡｅを音声信号ＤＡｆとして、マルチプレクサ３３とデジタルインターフェイストランスミッタ（以下「ＤＩＴ」という）３５に供給する。また、音声信号出力処理部３２は、音声のフェード処理や、メモリコントローラ２５によってメモリ２６から読み出された音声信号ＤＡｅとデマルチプレクサで分離された音声信号ＤＡｂの何れか一方の音声信号を、他方の音声信号に切り替える音声切り替え処理を行い、処理後の音声信号を音声信号ＤＡｆとして、マルチプレクサ３３とＤＩＴ３５に供給する。さらに、音声信号出力処理部３２は、映像信号ＤＳｂに重畳されている音声信号ＤＡｂにおける１映像フレーム当たりのサンプル数のシーケンスを判別して、メモリコントローラ２５によってメモリ２６から読み出された音声信号ＤＡｅのサンプル数を、判別したシーケンスに対応させて調整する処理を行う。
【００３７】
マルチプレクサ３３は、映像信号出力処理部３１から供給された映像信号ＤＳｃの補助データ領域に、音声信号出力処理部３２から供給された音声信号ＤＡｆを重畳してパラレル／シリアル変換部（Ｐ／Ｓ）３４に供給する。
【００３８】
パラレル／シリアル変換部３４は、マルチプレクサ３３から供給された映像信号ＤＳｄをシリアル信号に変換して、ＳＤＩフォーマットのストリームＤＳoutとして出力する。
【００３９】
ＤＩＴ３５は、音声信号出力処理部３２から供給された音声信号ＤＡｆのパケット化等を行い、所定のフォーマットの音声ストリームＤＡoutとして出力する。
【００４０】
ローカルＣＰＵ４１は、メインＣＰＵ（図示せず）から供給された制御信号ＣＴｍに応じて制御信号ＣＴａを生成する。ローカルＣＰＵ４１は、生成した制御信号ＣＴａをメモリコントローラ１５，２５や映像信号出力処理部３１、音声信号出力処理部３２等に供給して、映像音声信号処理装置１０の動作が制御信号ＣＴｍによって指示された動作となるように各部を制御する。
【００４１】
このように、映像音声信号処理装置１０は、映像信号ＤＳａを記憶するメモリ１６と音声信号を記憶するメモリ２６を有し、メモリ２６に書き込まれている音声信号を用いることで、音声信号が重畳されている映像信号ＤＳａの処理を行う際に自由度の高い音声信号の処理を行うことができるようにする。
【００４２】
次に、映像音声信号処理装置１０の具体的動作、例えばリポジション処理を行う場合について説明する。図２は、例えば映像信号ＤＳａに基づく映像をリポジション処理するときの信号経路を示している。なお、図２では、映像信号と音声信号の経路において映像音声出力に用いられる経路を実線、映像音声出力に用いられない経路を破線で示している。
【００４３】
ローカルＣＰＵ４１は、セレクタ１３を制御して映像信号入力処理部１２-1から供給された映像信号を選択させる。また、ローカルＣＰＵ４１は、メモリコントローラ１５，２５を制御して、メモリ１６に対する映像信号の書き込みと読み出し、およびメモリ２６に対する音声信号の書き込みと読み出しを行わせる。
【００４４】
メモリコントローラ１５は、音声信号が重畳されている映像信号ＤＳａをメモリ１６に書き込み、このメモリ１６に書き込まれた映像信号の読み出し位置を変更して、基準信号に同期して映像信号を読み出すことでリポジション処理を行う。
【００４５】
図３は、リポジション処理を行うときの動作を説明するための図である。例えばメモリコントローラ１５は、図３の（Ａ）に示すように、映像信号をアドレス「０ｘ００００」の位置から映像信号ＤＳａを順次書き込む。なお、１フレーム（フィールド）の映像信号の書き込み終了位置は、アドレス「０ｘＦＦＦＦ」とする。
【００４６】
リポジション処理を行うとき、メモリコントローラ１５は、映像信号の読み出し開始位置を変更する。例えばアドレス「０ｘ８０００」を映像信号の読み出し開始位置として、メモリ１６から順次映像信号の読み出しを行い、アドレス「０ｘＦＦＦＦ」の映像信号の次にアドレス「０ｘ００００」の位置から映像信号を順次読み出す。このように、映像信号の読み出し開始位置を変更すると、メモリ１６から読み出された映像は図３の（Ｂ）に示すものとなる。
【００４７】
ここで、リポジション処理を行うものとすると、図３の（Ｂ）に示すように、ブランキング期間ＢＫinが移動した状態となる。また、ブランキング期間ＢＫinに重畳されている音声信号ＤＡａは、順序が変更されてしまう。したがって、映像信号出力処理部３１は、ブランキング期間の付け替え処理を行い、図３の（Ｃ）に示すように、メモリ１６から読み出された映像信号ＤＳｂに対して新たにブランキング期間ＢＫoutを設定する。さらに、映像信号出力処理部３１は、不必要な映像部分をマスキングする。例えば、付け替え前のブランキング期間ＢＫinや映像の上部を、図３の（Ｄ）に示すようにマスキング領域（クロスハッチングで示す領域）として、このマスキング領域を所定の色で塗りつぶす等のマスキング処理を行う。このように、ブランキング期間の付け替え処理やマスキング処理が行われた映像信号ＤＳｃをマルチプレクサ３３に供給する。
【００４８】
また、リポジション処理を行うと、音声信号は上述のように順序が変更されてしまう。このため、ローカルＣＰＵ４１は、セレクタ２４とメモリコントローラ２５を制御して、デマルチプレクサ１７によって映像信号ＤＳａから分離した音声信号ＤＡａを、図３の（Ｅ）に示すようにメモリ２６に書き込むことで、映像信号ＤＳａに重畳されている音声信号すなわち順序が変更される前の音声信号のミラーリングを行う。
【００４９】
メモリコントローラ２５は、メモリ２６に書き込まれた音声信号ＤＡａを基準信号に同期して図３の（Ｆ）に示すように時間順に読み出して、音声信号ＤＡｅとして音声信号出力処理部３２に供給する。音声信号出力処理部３２は、メモリ２６から読み出された音声信号ＤＡｅを音声信号ＤＡｆとしてマルチプレクサ３３に供給する。
【００５０】
マルチプレクサ３３は、映像信号出力処理部３１から供給された映像信号ＤＳｃのブランキング期間に音声信号である音声信号ＤＡｆを重畳させる。このような処理を行うものとすると、マルチプレクサ３３からパラレル／シリアル変換部３４を介して出力されるストリームＤＳoutは、図３の（Ｇ）に示すように、映像がリポジション処理されており、音声信号は正しい時間順で重畳された映像信号を示すものとなる。
【００５１】
したがって、映像のリポジション処理が行われたか否かにかかわらず、正しく音声出力を行うことができるようになる。
【００５２】
次に、映像音声信号処理装置１０の他の具体的動作、例えば音声信号の切り替え処理を行う場合について説明する。図４は、例えば映像信号ＤＳａに重畳されている音声信号を、音声ストリームＤＡin-1から復元した音声信号に切り替えるときの信号経路を示している。なお、図４では、映像信号と音声信号の経路において映像音声出力に用いられる経路を実線、映像音声出力に用いられない経路を破線で示している。
【００５３】
ローカルＣＰＵ４１は、セレクタ１３，２３を制御して、映像信号入力処理部１２-1で処理された映像信号とＤＩＲ２１-1で得られた音声信号を選択させる。また、ローカルＣＰＵ４１は、セレクタ２４を制御して音声信号ＤＡｃを選択させる。さらに、ローカルＣＰＵ４１は、メモリコントローラ１５，２５を制御して、メモリ１６に対する映像信号の書き込みと読み出し、およびメモリ２６に対する音声信号の書き込みと読み出しを行わせる。
【００５４】
メモリコントローラ１５は、音声信号が重畳されている映像信号ＤＳａをメモリ１６に書き込み、このメモリ１６に書き込まれた映像信号を、基準信号に同期して順次読み出して、映像信号ＤＳｂとしてデマルチプレクサ１７と映像信号出力処理部３１に供給する。
【００５５】
映像信号出力処理部３１は、メモリコントローラ２５から供給された映像信号ＤＳｂを映像信号ＤＳｃとしてマルチプレクサ３３に供給する。
【００５６】
デマルチプレクサ１７は、映像信号ＤＳｂから音声信号ＤＡｂを分離して音声信号出力処理部３２に供給する。
【００５７】
メモリコントローラ２５は、セレクタ２４から供給された音声信号ＤＡｄをメモリ２６に書き込む。またメモリコントローラ２５は、メモリ２６に書き込まれた音声信号を書き込まれた順に読み出して、音声信号ＤＡｅとして音声信号出力処理部３２に供給する。
【００５８】
音声信号出力処理部３２は、デマルチプレクサ１７から供給された音声信号ＤＡｂとメモリコントローラ２５から供給された音声信号ＤＡｅを用いて、音声信号の切り替え処理を行う。
【００５９】
図５は、音声信号出力処理部３２で行う音声信号の切り替え処理として、クロスフェード処理を行う場合を示している。音声信号出力処理部３２は、デマルチプレクサ１７から供給された音声信号ＤＡｂの信号レベル（実線で示す）を、時間の経過と共に減衰させて「０」レベルとする。また、音声信号出力処理部３２は、メモリコントローラ２５から供給された音声信号ＤＡｅの信号レベル（破線で示す）を、時間の経過と共に「０」レベルが増加させる。このようにして、音声信号出力処理部３２は、音声信号ＤＡｂを時間の経過と共に徐々に音声信号ＤＡｅに置き換えてクロスフェード処理を行う。音声信号出力処理部３２は、クロスフェード処理後の音声信号ＤＡｆをマルチプレクサ３３に供給する。
【００６０】
マルチプレクサ３３は、映像信号出力処理部３１から供給された映像信号ＤＳｃに、音声信号出力処理部３２から供給された音声信号ＤＡｆを重畳させる。すなわち、マルチプレクサ３３は、映像信号ＤＳｂに重畳されている音声信号ＤＡｂを音声信号ＤＡｆに置き換える。このような処理を行うものとすると、マルチプレクサ３３からパラレル／シリアル変換部３４を介して出力されるストリームＤＳoutは、クロスフェード処理が行われた音声信号が重畳された映像信号を示すものとなる。
【００６１】
ところで、映像信号に重畳された音声信号は、１映像フレームおけるサンプル数が異なる場合がある。例えば、音声信号のサンプリング周波数が４８．０ｋＨｚ、映像信号のフレーム周波数が（３０／１．００１）フレーム／秒である場合、１映像フレーム当たりの音声信号のサンプル数が整数とならないことから、連続する５フレームの期間でサンプル数が８００８サンプルとなるように各フレームのサンプル数が設定されている。
【００６２】
図６は、フレームと音声信号のサンプル数を示している。連続する５フレーム期間において、奇数オーディオフレームは１６０２サンプル、偶数オーディオフレームは１６０１サンプル、５フレームと次の５フレームのつなぎ目では１６０２サンプルのフレームが連続するようになされている。このため、例えばクロスフェード処理で用いた音声信号ＤＡｅのサンプル数が１６０１サンプル／フレームに固定されていた場合、あるいは音声信号ＤＡｅのサンプル数が１６０２サンプル／フレームに固定されていた場合、映像と音声の位相差が生じて映像と音のタイミングが合わない現象、いわゆるリップシンクのずれという問題が生じてしまう。
【００６３】
そこで、音声信号出力処理部３２は、１映像フレーム当たりのサンプル数を調整してから映像信号に重畳させることでリップシンクの問題の発生を防止する。
【００６４】
音声信号出力処理部３２は、デマルチプレクサ１７から供給された音声信号ＤＡｂに基づきフレームシーケンスを判別して、判別結果に基づき音声信号の１映像フレーム当たりのサンプル数を調整する。例えば図６に示すように、連続する５フレームで音声信号を８００８サンプルとする場合、サンプル数が「１６０２」であるフレームの連続が５フレーム期間毎に生じる。したがって、音声信号出力処理部３２は、音声信号ＤＡｂに基づきフレーム毎に音声信号のサンプル数をカウントして、サンプル数が「１６０２」であるフレームが連続したタイミングを基準として、５フレームのカウントを繰り返すものとすれば、カウント値は５フレームシーケンスの何れのフレームであるかを示すものとなり、カウント値によって出力するフレームが５フレームシーケンスの何れのフレームに相当するか判別できる。
【００６５】
また、音声ストリームＤＡin-1のフォーマットが例えばＡＥＳフォーマットである場合、ＡＥＳフォーマットでは、サンプリング周波数を示す情報が設けられている。ＡＥＳフォーマットの１フレームは２つのサブフレームで構成されており、サブフレームは図７に示す構成とされている。
【００６６】
サブフレームは、プリアンブル、ＡＵＸ／オーディオ、オーディオデータ、オーディオサンプルバリディティビットＶ、ユーザービットＵ、オーディオチャンネルステータスビットＣ、サブフレームパリティビットＰを有する。
【００６７】
プリアンブルは、４ビットのデータであり、サブフレームとフレームとの同期およびチャンネルステータスブロック識別を規定するものである。ＡＵＸ／オーディオの領域は、４ビットの領域であり、補助データ部である。オーディオデータは、２０ビットのデータ領域である。ここで、オーディオデータを２０ビットとした場合、ＡＵＸ／オーディオの領域は補助データ部として使用できる。オーディオデータを２４ビットとした場合、ＡＵＸ／オーディオの領域はオーディオデータの領域として使用する。なお、オーディオデータを２０ビット未満とした場合、使用しないＬＳＢ側の下位ビットは「０」に設定される。
【００６８】
オーディオサンプルバリディティビットＶは、オーディオデータの有効性を示す１ビットのデータである。なお、オーディオデータが有効データの場合は「０」、無効データの場合は「１」に設定される。ユーザービットＵは、ユーザーにより定義された１ビットのデータである。オーディオチャンネルステータスビットＣは、データブロックを形成する１ビットのデータであり、各種パラメータについての送信情報を伝送する。サブフレームパリティビットＰは、プリアンブルを除く全てのデータに対する偶数パリティを示す１ビットのデータである。
【００６９】
ここで、各チャンネルについて、連続する１９２フレームに含まれたオーディオチャンネルステータスビットＣにより１ブロックが形成される。このブロックの開始位置は、プリアンブルにより指定されており、オーディオチャンネルステータスビットＣのブロックでサンプリング周波数等の情報が示されている。このため、映像音声信号処理装置１０は、このサンプリング周波数の情報に基づき入力された音声信号の例えば１映像フレーム当たりのサンプル数を判別できる。
【００７０】
したがって、音声信号出力処理部３２は、出力するフレームが５フレームシーケンスの何れのフレームに相当するかの判別結果と、メモリ２６に書き込まれている音声信号の１フレーム当たりのサンプル数に基づき、音声信号ＤＡｅのサンプルデータの削除や繰り返しを行うことで、映像信号ＤＳｃに対応したサンプル数の音声信号とすることができる。このため、音声信号出力処理部３２からマルチプレクサに供給される音声信号ＤＡｆは、１映像フレーム当たりのサンプル数が映像信号ＤＳｃに重畳されている音声信号と等しくなる。すなわち、クロスフェード処理や音声切り替え等を行い、映像信号に重畳されている音声信号を変更したとき、リップシンクのずれという問題が生じてしまうことを防止できる。
【００７１】
なお、出力するフレームが５フレームシーケンスの何れのフレームに相当するかの判別は、上述のようにサンプル数が「１６０２」であるフレームの連続するタイミングを基準として５フレームのカウント動作を行う場合に限られるものではなく、他の方法を用いるものとしてもよい。
【００７２】
図８は、映像信号に重畳されたパケットの構成を示している。図８の（Ａ）は、音声信号のパケットであり、補助データフラグＡＤＦは補助データパケットの開始を示すフラグである。データ識別ワードＤＩＤは補助データの種類を示している。データブロック番号ＤＢＮは、データを分割して送る場合など、同一のＤＩＤを持つ一連のパケットの順序番号である。データカウントＤＣは、ユーザーデータのワード数を示している。ユーザーデータワードＵＤＷは、補助データ例えばＡＥＳフォーマットの音声信号等を示すものである。チェックサムワードＣＳは、データ識別ワードＤＩＤからＵＤＷの最後のワードまでのデータに対するチェックサムである。
【００７３】
また、映像信号に重畳されたパケットでは、音声信号だけでなく音声信号に関する制御信号のパケットも設けられる。図８の（Ｂ）はオーディオコントロールパケットであり、ユーザーデータワードＵＤＷには、オーディオフレームナンバーＡＦ、サンプリング周波数ＲＡＴＥ等の情報を設けることができるようになされている。
【００７４】
オーディオフレームナンバーＡＦは、１映像フレーム当たりのサンプル数が整数個にならない場合に、映像フレームの中に重畳されるサンプル数を識別可能とするための情報である。例えば、上述のように連続する５フレームの期間におけるサンプル数を８００８サンプルとする場合、１映像フレーム当たりのサンプル数が整数個にならない。したがって、オーディオフレームナンバーＡＦによって、５フレームシーケンスにおける何番目のフレームであるかを示すものとする。このため、オーディオフレームナンバーＡＦから、１フレームのサンプル数を判別することができるようになる。
【００７５】
なお、サンプリング周波数ＲＡＴＥは音声信号のサンプリング周波数を示す情報、アクティブチャンネルＡＣＴは、どのチャンネルが有効であるかを示す情報、ディレイＤＥＬは、映像に対する音声の相対的な遅延量を示すデータである。
【００７６】
このように、オーディオフレームナンバーＡＦによって、５フレームシーケンスの何番目のフレームであるか判別できるので、音声信号出力処理部３２は、オーディオフレームナンバーＡＦの情報を用いて、音声信号のサンプル数の調整を行うこともできる。
【００７７】
図９は、音声信号出力処理部３２の動作を説明するための図である。図９の（Ａ）は、映像信号ＤＳｂに重畳されている音声信号の１映像フレーム当たりのサンプル数を示している。図９の（Ｂ）は、メモリコントローラ２５によってメモリ２６から読み出されて音声信号出力処理部３２に供給される音声信号ＤＡｅの１映像フレーム当たりのサンプル数を示している。図９の（Ｃ）は、音声信号出力処理部３２から出力されて、マルチプレクサに供給される音声信号ＤＡｆの１映像フレーム当たりのサンプル数を示している。さらに、図９の（Ｄ）は、マルチプレクサ３３から出力される映像信号ＤＳｄに重畳されている音声信号の１映像フレーム当たりのサンプル数を示している。
【００７８】
ここで、例えば時点ｔc1で、映像信号に重畳されていた音声信号をメモリ２６に書き込まれた音声信号に切り替える場合、音声信号出力処理部３２は、マルチプレクサ３３に出力する音声信号ＤＡｆの１映像フレーム当たりのサンプル数が、マルチプレクサ３３に供給される映像信号ＤＳｄの１映像フレーム当たりのサンプル数と等しくなるように、サンプル数を調整する。例えば音声信号出力処理部３２は、時点ｔc1で開始する映像信号ＤＳｄの１映像フレーム当たりのサンプル数が「１６０２」であり、音声信号ＤＡｅの１映像フレーム当たりのサンプル数が「１６００」であるとき、音声信号出力処理部３２は、音声信号ＤＡｅのサンプリングデータを繰り返すことで２サンプル増加させて、１映像フレーム当たりのサンプル数を「１６０２」とした音声信号ＤＡｆをマルチプレクサ３３に供給する。また、次のフレームでは映像信号ＤＳｄの１映像フレーム当たりのサンプル数が「１６０１」であることから、音声信号出力処理部３２は、音声信号ＤＡｅのサンプルを繰り返すことで１サンプル増加させて、１映像フレーム当たりのサンプル数を「１６０１」とした音声信号ＤＡｆをマルチプレクサ３３に供給する。
【００７９】
このような処理を行うものとすれば、音声信号の切り替えを行っても、音声信号の１映像フレーム当たりのサンプル数は切り替え前と等しくなるので、リップシンクのずれの問題を生じることがない。
【００８０】
また、メモリ２６に書き込まれる音声信号が、上述の５フレームシーケンスの音声信号のように１映像フレーム当たりのサンプルが変化する場合、メモリコントローラ２５は、メモリ２６に音声信号を書き込む際に、１映像フレーム当たりのサンプルを示す情報を書き込むものとする。このようにすれば、メモリ２６に書き込まれる音声信号の１映像フレーム当たりのサンプルが変化しても、音声信号出力処理部３２は、音声信号ＤＡｅの１映像フレーム当たりのサンプル数に応じて、音声信号のサンプリングデータの繰り返しや削除を行うことで、映像信号ＤＳｃに重畳されている音声信号と１映像フレーム当たりのサンプル数を等しくした音声信号ＤＡｆをマルチプレクサ３３に供給できる。
【００８１】
図１０は、音声信号をメモリ２６に書き込む際に、１映像フレーム当たりのサンプルを識別可能として音声信号を書き込む場合を例示している。
【００８２】
メモリコントローラ２５は、セレクタ２４で選択された音声信号を図１０に示すようにアドレスの最初から順次書き込む。ここで、音声信号の１サンプルは上述のように３２ビットのフォーマットのデータとされているものとする。また、ＳＤＩフォーマットの信号では１本の信号あたり音声信号が２ＣＨペアで４グループすなわち１６ＣＨの音声信号を重畳することが可能とされている。したがって、アドレス幅は、４つのグループ毎に音声信号を記憶するためのアドレスｇ０，ｇ１、２ＣＨペア毎に音声信号を記憶するためのアドレスｃ０，ｃ１、例えば１６０２サンプルの音声信号を記憶するために必要とされるアドレスｗ０〜ｗ１０を設定する。このようにアドレス幅「ｇ１，ｇ０，ｃ１，ｃ０，ｗ１０〜ｗ０」を設定すると、グループ毎および２ＣＨペア毎に音声信号を記憶することができる。また、アドレス幅「ｗ１０〜Ｗ０」は、２０４８サンプルを示すことができるので、アドレス幅「ｗ１０〜Ｗ０」を全て使い切ることがない。したがって、図１０に示すようにアドレス幅「ｗ１０〜Ｗ０」におけるアドレス「１１１１１１１１１００」〜「１１１１１１１１１１１」の範囲を、サンプル数を記憶するための領域とする。例えばアドレス「１１１１１１１１１００」に予め設定した固有のデータが記憶されている場合、１映像フレーム当たりのサンプル数は１６００とする。また、１映像フレーム当たりのサンプル数が１６０１のときは、固有のデータをアドレス「１１１１１１１１１０１」に記憶する。また、１映像フレーム当たりのサンプル数が１６０２のときは、固有のデータをアドレス「１１１１１１１１１１０」に記憶する。このようにすれば、予め設定した固有のデータが何れのアドレスに記憶されていたかに応じて、１映像フレーム当たりのサンプル数を判別することができる。また、図示せずも予め設定された例えばアドレス「１１１１１１１１１１１」に、１映像フレーム当たりのサンプル数を書き込むものとしてもよい。
【００８３】
このように、音声信号出力処理部３２は、メモリ２６に書き込まれているサンプル数の情報を利用することで、メモリ２６に書き込まれる音声信号の１映像フレーム当たりのサンプル数が一定でなくとも、リップシンクのずれの問題を防止することができる。
【００８４】
図１１は、メモリ２６に記憶されたサンプル数の情報を利用したときの動作を示している。図１１の（Ａ）は、映像信号ＤＳｂに重畳されている音声信号の１映像フレーム当たりのサンプル数を示している。図１１の（Ｂ）は、メモリコントローラ２５によってメモリ２６から読み出されて音声信号出力処理部３２に供給される音声信号ＤＡｅの１映像フレーム当たりのサンプル数を示している。図１１の（Ｃ）は、音声信号出力処理部３２から出力されて、マルチプレクサに供給される音声信号ＤＡｆの１映像フレーム当たりのサンプル数を示している。さらに、図１１の（Ｄ）は、マルチプレクサ３３から出力される映像信号ＤＳｄに重畳されている音声信号の１映像フレーム当たりのサンプル数を示している。
【００８５】
ここで、例えば時点ｔc2で、映像信号に重畳されていた音声信号をメモリ２６に記憶された音声信号に切り替える場合、音声信号出力処理部３２は、マルチプレクサ３３に出力する音声信号ＤＡｆの１映像フレーム当たりのサンプル数が、マルチプレクサ３３に供給される映像信号ＤＳｄに重畳されている音声信号の１映像フレーム当たりのサンプル数と等しくなるように、サンプル数を調整する。例えば音声信号出力処理部３２は、時点ｔc2で開始する映像信号ＤＳｄの１映像フレーム当たりのサンプル数が「１６０２」であり、音声信号ＤＡｅの１映像フレーム当たりのサンプル数が「１６０１」であるとき、音声信号出力処理部３２は、音声信号ＤＡｅのサンプリングデータを繰り返すことで１サンプル増加させて、１映像フレーム当たりのサンプル数を「１６０２」とした音声信号ＤＡｆをマルチプレクサ３３に供給する。また、次のフレームでは映像信号ＤＳｄの１映像フレーム当たりのサンプル数が「１６０１」であり、音声信号ＤＡｅの１映像フレーム当たりのサンプル数が「１６０２」であるとき、音声信号出力処理部３２は、音声信号ＤＡｅのサンプリングデータを１サンプル減少させて、１映像フレーム当たりのサンプル数を「１６０１」とした音声信号ＤＡｆをマルチプレクサ３３に供給する。
【００８６】
このような処理を行うものとすれば、音声信号の切り替えを行っても、映像信号に重畳されている音声信号の１映像フレーム当たりのサンプル数は切り替え前と等しくなるので、リップシンクのずれの問題を防止できる。
【００８７】
なお、上述の実施の形態では、ＳＤＩフォーマットのストリームやＡＥＳフォーマットのストリームが入力される場合を例示したが、音声信号が重畳された映像信号のフォーマットや音声信号のフォーマットは、上述のフォーマットの信号に限られるものではない。また、音声信号出力処理部３２は、１映像フレーム当たりのサンプル数を調整するものとしたが、映像信号がインタレース信号であるときは、フィールド期間毎にサンプル数の調整を行うものとしてもよい。
【００８８】
このように、映像信号ＤＳａを記憶するメモリ１６と音声信号を記憶するメモリ２６を別個に設けて、メモリ２６に書き込まれている音声信号を用いることで、音声信号が重畳されている映像信号ＤＳａの処理を行う際に自由度の高い音声信号の処理を行うことができる。また、メモリ２６は、音声信号を記憶するものであることから記憶容量が少なくてよい。また、メモリ２６には、音声信号を自然な形で記憶することが可能であるので、サンプル数の調整やミキシング等を行う音声信号出力処理部を容易な構成にできる。
【００８９】
また、上述の説明で示した処理はハードウェアだけでなくソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理を行うためのプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【００９０】
プログラムは、記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。また、プログラムは磁気ディスクや光ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。さらに、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから無線あるいは有線のネットワークを介して取得するものとしてもよい。
【００９１】
以上、特定の実施の形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【産業上の利用可能性】
【００９２】
この発明の映像音声信号処理装置では、音声信号が重畳されている映像信号が第１のメモリに記憶されて、この第１のメモリに書き込まれた映像信号が基準信号に同期して読み出される。また、映像信号に重畳されている音声信号が分離されて、この分離された音声信号または入力された音声信号が第２のメモリに記憶される。この第２のメモリに書き込まれた音声信号は、基準信号に同期して読み出されて、第１のメモリから読み出された映像信号に重畳されている音声信号に換えて重畳される。したがって、フレームシンクロナイザーや編集装置として好適である。
【図面の簡単な説明】
【００９３】
【図１】映像音声信号処理装置の構成を示す図である。
【図２】リポジション処理を行うときの信号経路を示す図である。
【図３】リポジション処理を行うときの動作を説明するための図である。
【図４】音声信号の切り替え処理を行うときの信号経路を示す図である。
【図５】クロスフェード処理を説明するための図である。
【図６】フレームと音声信号のサンプル数を示す図である。
【図７】サブフレームの構成を示す図である。
【図８】パケットの構成を示す図である。
【図９】音声信号出力処理部の動作を説明するための図である。
【図１０】音声信号の書き込み動作を説明するための図である。
【図１１】メモリに記憶されたサンプル数の情報を利用したときの動作を説明するための図である。
【図１２】従来のフレームシンクロナイザの構成を示す図である。
【符号の説明】
【００９４】
１０・・・映像音声信号処理装置、１１-1〜１１-m，６１・・・シリアル／パラレル変換部（Ｓ／Ｐ）、１２-1〜１２-m，６２・・・映像信号入力処理部、１３，２３，２４・・・セレクタ、１５，２５，６５・・・メモリコントローラ、１６，２６，６６・・・メモリ、１７，６７・・・デマルチプレクサ、３１，７１・・・映像信号出力処理部、３２，７２・・・音声信号出力処理部、３３，７３・・・マルチプレクサ、３４、７４・・・パラレル／シリアル変換部（Ｐ／Ｓ）、４１，８１・・・ローカルＣＰＵ、６０・・・フレームシンクロナイザ
【技術分野】
【０００１】
この発明は、映像音声信号処理装置と映像音声信号処理方法に関する。詳しくは、音声信号が重畳されている非同期の映像信号を、基準信号に同期した映像信号として出力する際に、音声信号を記憶するメモリを設けて、自由度の高い音声信号の処理を行うことができるようにするものである。
【背景技術】
【０００２】
従来、映像音声信号装置例えばフレームシンクロナイザでは、映像信号の同期を別の映像信号の同期に変換する際に生じる映像信号の欠落や繰り返しが生じた場合でも、映像信号に重畳される補助信号の連続性を保持させることが行われている。
【０００３】
例えば、特許文献１の発明では、映像／補助データ分離部が映像データと補助データを分離する。映像データ記憶部は、分離された映像データを記憶する。また、補助データ記憶部は、分離された補助データを記憶する。ここで、映像データの読み出しが入力順序通りに行われない場合、補助データの読み出しは、入力順序通りに行われるように読み出し順序を制御することで、補助データが欠落したり繰り返されることなく連続的に出力させることが行われている。
【０００４】
また、フレームシンクロナイザでは、映像信号や補助信号だけでなく音声信号の切り替えも行われる。図１２は、従来のフレームシンクロナイザ６０の構成を示している。
【０００５】
フレームシンクロナイザ６０では、音声信号が重畳された非同期の映像信号が所定のフォーマット例えばＳＤＩフォーマットのストリームとして供給される。ストリームＤＳinは、シリアル／パラレル変換部（Ｓ／Ｐ）６１でパラレル信号に変換されて映像信号入力処理部６２に供給される。
【０００６】
映像信号入力処理部６２は、シリアル／パラレル変換部６１から供給された映像信号の処理、例えば明るさの調整や映像の挿入等を行い、処理後の映像信号ＤＳｈをメモリコントローラ６５に供給する。
【０００７】
メモリコントローラ６５は、供給された非同期の映像信号ＤＳｈをメモリ６６に書き込み、メモリ６６に書き込まれた映像信号の読み出しを基準信号に同期して行うことで、入力された映像信号ＤＳｈとは独立した同期位相の映像信号ＤＳｊをデマルチプレクサ６７に供給する。また、メモリコントローラ６５は、メモリ６６に書き込まれている映像信号の読み出し開始位置を変更してリポジション処理を行い、例えば映像の下部領域を画面上の上部領域に表示できるように映像の表示位置を垂直方向に移動させる。
【０００８】
デマルチプレクサ６７は、音声信号が重畳されている映像信号ＤＳｊを、映像信号ＤＶｊと音声信号ＤＡｊに分離して、映像信号ＤＶｊを映像信号出力処理部７１に供給し、音声信号ＤＡｊを音声信号出力処理部７２に供給する。
【０００９】
映像信号出力処理部７１は、メモリコントローラ６５によってリポジション処理が行われたときブランキング期間の付け替えを行う。すなわち、メモリ６６に書き込まれている映像信号の読み出し開始位置を変更して映像の表示位置を垂直方向に移動させるものとすると、ブランキング期間も移動してしまう。このため、映像信号出力処理部７１は、ブランキング期間の付け替えを行うことで、垂直方向に移動された映像を表示できるようにする。また、映像信号出力処理部７１は、リポジション処理によって生じた不要な表示、例えば映像の上部領域の表示や付け替え前のブランキング期間に対応する表示をマスキングする。映像信号出力処理部７１は、信号処理後の映像信号ＤＶｋをマルチプレクサ７３に供給する。
【００１０】
音声信号出力処理部７２は、映像信号の補助データ領域に記録されている音声信号の順序がリポジション処理によって変更されてしまうとき、順序が変更された音声信号が出力されることがないよう音声を無音声化する。なお、音声信号出力処理部７２は、音声のフェード処理等も行う。音声信号出力処理部７２は、信号処理後の音声信号ＤＡｋをマルチプレクサ７３に供給する。
【００１１】
マルチプレクサ７３は、映像信号出力処理部７１から供給された映像信号ＤＶｋの補助データ領域に、音声信号出力処理部７２から供給された音声信号ＤＡｋを挿入してパラレル／シリアル変換部（Ｐ／Ｓ）７４に供給する。
【００１２】
パラレル／シリアル変換部７４は、マルチプレクサ７３から供給された映像信号をシリアル信号に変換して、ＳＤＩフォーマットのストリームＤＳout’として出力する。
【００１３】
ローカルＣＰＵ８１は、メインＣＰＵ（図示せず）から供給された制御信号ＣＴｍに応じて制御信号ＣＴｂを生成する。ローカルＣＰＵ８１は、生成した制御信号ＣＴｂをメモリコントローラ６５や映像信号出力処理部７１、音声信号出力処理部７２等に供給して、フレームシンクロナイザ６０の動作が制御信号ＣＴｍによって指示された動作となるように各部を制御する。
【００１４】
【特許文献１】特開２００４−２２１８４１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１５】
ところで、図１２に示すようなフレームシンクロナイザ６０では、メモリ６６から読み出された映像信号ＤＳｂに対して映像信号の出力処理、およびメモリ６６から読み出された映像信号ＤＳｂに重畳されている音声信号に対して音声信号の出力処理が行われている。このため、簡単な構成で自由度の高い音声信号出力処理を行うことができない。例えばリポジション処理が行われると音声信号の順序が変更されてしまうために音声の無音化が行われる。したがって、リポジション処理を行ったとき、音声を出力させることができない。また、音声のフェードアウトやフェードインの処理は可能であるが、音声切り替え例えば音声のクロスフェード等を行うことができない。
【００１６】
そこで、この発明では、音声信号が重畳されている非同期の映像信号を、基準信号に同期させて出力する際に、自由度の高い音声信号の処理を行えるようにした映像音声処理装置と映像音声処理方法を提供するものである。
【課題を解決するための手段】
【００１７】
この発明の第１の側面は、音声信号が重畳されている映像信号を記憶する第１のメモリと、前記第１のメモリに書き込まれた映像信号を基準信号に同期させて読み出す第１のメモリコントローラと、前記映像信号に重畳されている音声信号を分離するデマルチプレクサと、前記分離された音声信号または入力された音声信号を記憶する第２のメモリと、前記第２のメモリに書き込まれた音声信号を前記基準信号に同期させて読み出す第２のメモリコントローラと、前記第１のメモリから読み出された映像信号に重畳されている音声信号に換えて、前記第２のメモリから読み出された音声信号を重畳させるマルチプレクサとを有する映像音声信号処理にある。
【００１８】
また、この発明の第２の側面は、音声信号が重畳されている映像信号を第１のメモリに記憶するステップと、前記第１のメモリに書き込まれた映像信号を基準信号に同期させて読み出すステップと、前記映像信号に重畳されている音声信号を分離するステップと、前記分離された音声信号または入力された音声信号を第２のメモリに記憶するステップと、前記第２のメモリに書き込まれた音声信号を前記基準信号に同期させて読み出すステップと、前記第１のメモリから読み出された映像信号に重畳されている音声信号に換えて、前記第２のメモリから読み出された音声信号を重畳させるステップと
を有する映像音声信号処理方法にある。
【００１９】
この発明では、音声信号が例えばブランキング期間に重畳されている入力映像信号が、第１のメモリコントローラによって第１のメモリに書き込まれる。また、第１のメモリに書き込まれた映像信号は、基準信号に同期して第１のメモリコントローラによって読み出される。
【００２０】
また、映像信号に重畳されている音声信号がデマルチプレクサによって分離されて、この分離された音声信号または入力された音声信号が、第２のメモリコントローラによって第２のメモリに書き込まれる。さらに、第２のメモリに書き込まれた音声信号は、基準信号に同期して第２のメモリコントローラによって読み出される。
【００２１】
音声信号出力処理部では、例えば第１のメモリから読み出された映像信号に重畳されている音声信号の１映像フレーム当たりのサンプル数のシーケンスが判別されて、この判別結果に基づき第２のメモリから読み出された音声信号のサンプル数が、第１のメモリから読み出された映像信号に重畳されている音声信号の１映像フレーム当たりのサンプル数と等しくなるように調整される。また、音声信号の１映像フレーム当たりのサンプル数の調整では、第２のメモリに書き込まれた音声信号の１映像フレーム当たりのサンプル数を示す情報が用いられる。
【００２２】
マルチプレクサでは、第１のメモリから読み出された映像信号に重畳されている音声信号に換えて、音声信号出力処理部で処理された音声信号を重畳する処理が行われる。
【００２３】
また、音声信号出力処理部では、第２のメモリから読み出された音声信号とデマルチプレクサで分離された音声信号の何れか一方の音声信号から他方の音声信号に切り替えてマルチプレクサに供給する処理が行われる。
【００２４】
また、第１のメモリから読み出された映像信号に対して信号処理を行う映像信号出力処理部が設けられて、第１のメモリコントローラによって、第１のメモリに書き込まれている映像信号の読み出し開始位置を変更させることで映像の表示位置を移動させるリポジション処理が行われたとき、映像信号出力処理部は、第１のメモリから読み出された映像信号に対してブランキング期間の付け替えが行われる。また、第１のメモリに書き込まれる映像信号から音声信号を分離して第２のメモリに書き込み、この第２のメモリに書き込まれた音声信号を読み出して、リポジション処理後の映像信号に重畳される。
【発明の効果】
【００２５】
この発明によれば、音声信号が重畳されている映像信号が第１のメモリに記憶されて、この第１のメモリに書き込まれた映像信号が基準信号に同期して読み出される。また、映像信号に重畳されている音声信号が分離されて、この分離された音声信号または入力された音声信号が第２のメモリに記憶される。この第２のメモリに書き込まれた音声信号は、基準信号に同期して読み出されて、第１のメモリから読み出された映像信号に重畳されている音声信号に換えて重畳される。このように、音声信号を映像信号と別個に記憶することで、音声信号が重畳されている非同期の映像信号を、基準信号に同期した映像信号として出力する際に、自由度の高い音声信号の処理を行うことができるようになる。
【発明を実施するための最良の形態】
【００２６】
以下、図を参照しながら、この発明の実施の一形態について説明する。図１は、映像信号と音声信号の処理を行う映像音声信号処理装置１０の構成を示している。なお、映像音声信号処理装置１０は、フレームシンクロナイザの機能、すなわち音声信号が重畳されている非同期の映像信号を基準信号に同期した映像信号として出力する機能だけでなく、音声信号の切り替え等の編集機能も備えたものである。
【００２７】
映像音声信号処理装置１０では、音声信号が重畳されている非同期の映像信号が所定のフォーマット例えばＳＤＩフォーマットのストリームとして複数系統供給される。ストリームＤＳin-1は、シリアル／パラレル変換部（Ｓ／Ｐ）１１-1でパラレル信号に変換されて映像信号入力処理部１２-1に供給される。同様に、ストリームＤＳin-2〜ＤＳin-mは、シリアル／パラレル変換部（Ｓ／Ｐ）１１-2〜１１-mでパラレル信号に変換されて映像信号入力処理部１２-2〜１２-mに供給される。
【００２８】
映像信号入力処理部１２-1は、シリアル／パラレル変換部１１-1から供給された映像信号の処理、例えば明るさの調整や映像の挿入等を行い、処理後の映像信号をセレクタ１３に供給する。同様に、映像信号入力処理部１２-2〜１２-mは、入力された映像信号の処理を行い、処理後の映像信号をセレクタ１３に供給する。
【００２９】
セレクタ１３は、映像信号入力処理部１２-1〜１２-mから供給された複数系統の映像信号から所望の映像信号を選択して、選択した映像信号ＤＳａを第１のメモリコントローラ１５とデマルチプレクサ１７に供給する。
【００３０】
メモリコントローラ１５は、供給された非同期の映像信号ＤＳａを第１のメモリ１６に書き込み、メモリ１６に書き込まれた映像信号の読み出しを基準信号に同期して行うことで、入力された映像信号ＤＳａとは独立した同期位相の映像信号ＤＳｂを映像信号出力処理部３１に供給する。また、メモリコントローラ１５は、メモリ１６に書き込まれている映像信号の読み出し開始位置を変更してリポジション処理を行う。例えば読み出し開始位置を変更して、映像の下部領域を画面上の上部領域に表示できるように映像の表示位置を垂直方向に移動させる。あるいは読み出し開始位置を変更して、映像を水平方向や斜め方向に移動させる。なお、以下の説明では、映像の下部領域を画面上の上部領域に表示できるように映像の表示位置を垂直方向に移動させるものとする。
【００３１】
デマルチプレクサ１７は、音声信号が重畳されている映像信号ＤＳａから音声信号ＤＡａを分離して、または音声信号が重畳されている映像信号ＤＳｂから音声信号ＤＡｂを分離して、分離した音声信号ＤＡａ，ＤＡｂをセレクタ２４と音声信号出力処理部３２に供給する。
【００３２】
セレクタ２３には、デジタルインターフェイスレシーバ（以下「ＤＩＲ」という）２１-1〜２１-nが接続されている。ＤＩＲ-1は、外部から供給された音声ストリームＤＡin-1を音声信号に復元してセレクタ２３に供給する。同様に、ＤＩＲ-2〜ＤＩＲ-nは、外部から供給された音声ストリームＤＡin-2〜ＤＡin-nを音声信号に復元してセレクタ２３に供給する。セレクタ２３は、ＤＩＲ-1〜ＤＩＲ-nから供給された複数系統の音声信号から所望の音声信号を選択して、選択した音声信号ＤＡｃをセレクタ２４に供給する。
【００３３】
セレクタ２４は、音声信号が重畳されている映像信号ＤＳａ（ＤＳｂ）から分離した音声信号ＤＡａ（ＤＡｂ）、またはセレクタ２３から供給された音声信号ＤＡｃを選択してメモリコントローラ２５に供給する。
【００３４】
第２のメモリコントローラ２５は、セレクタ２４から供給された音声信号ＤＡｄを第２のメモリ２６に書き込む。また、メモリコントローラ２５は、メモリ２６に書き込まれた音声信号の読み出しを基準信号に同期して行うことで、基準信号に同期した音声信号ＤＡｅを音声信号出力処理部３２に供給する。なお、メモリ２６は音声信号を記憶するものであるから、映像信号を記憶するメモリ１６よりも記憶容量は少なくてよい。例えば映像信号ＤＳａの総走査線が１１２５本で１ライン当たりの総画素数が２２００画素であり、１０ビットの輝度信号と色差信号からなるとき、１映像フレーム当たりのデータ量は６．１Ｍｂｙｔｅ（≒１０ｂｉｔ×２×１１２５ライン×２２００画素）となる。ここで、音声信号ＤＡｄが１６チャンネルであり１映像フレーム当たりのサンプル数が１６０２サンプル、サンプルデータが３２ビットであるとき、１映像フレーム当たりのデータ量は０．１Ｍｂｙｔｅ（≒３２ｂｉｔ×１６チャンネル×１６０２サンプル）となる。したがって、メモリ２６は、メモリ１６に比べて記憶容量は少なくてよい。
【００３５】
映像信号出力処理部３１は、メモリコントローラ１５によってリポジション処理が行われたときブランキング期間の付け替えを行う。すなわち、メモリ１６に書き込まれている映像信号の読み出し開始位置を変更して映像の表示位置を垂直方向に移動させるものとすると、ブランキング期間も移動してしまう。このため、映像信号出力処理部３１は、ブランキング期間の付け替えを行うことで、垂直方向に移動された映像を表示できるようにする。また、映像信号出力処理部３１は、リポジション処理によって生じた不要な表示、例えば映像の上部領域の表示や付け替え前のブランキング期間に対応する表示をマスキングする。映像信号出力処理部３１は、信号処理後の映像信号ＤＳｃをマルチプレクサ３３に供給する。
【００３６】
音声信号出力処理部３２は、映像信号ＤＳｃの補助データ領域に記録されている音声信号の順序がリポジション処理によって変更されてしまうとき、メモリコントローラ２５によってメモリ２６から読み出されている音声信号ＤＡｅを音声信号ＤＡｆとして、マルチプレクサ３３とデジタルインターフェイストランスミッタ（以下「ＤＩＴ」という）３５に供給する。また、音声信号出力処理部３２は、音声のフェード処理や、メモリコントローラ２５によってメモリ２６から読み出された音声信号ＤＡｅとデマルチプレクサで分離された音声信号ＤＡｂの何れか一方の音声信号を、他方の音声信号に切り替える音声切り替え処理を行い、処理後の音声信号を音声信号ＤＡｆとして、マルチプレクサ３３とＤＩＴ３５に供給する。さらに、音声信号出力処理部３２は、映像信号ＤＳｂに重畳されている音声信号ＤＡｂにおける１映像フレーム当たりのサンプル数のシーケンスを判別して、メモリコントローラ２５によってメモリ２６から読み出された音声信号ＤＡｅのサンプル数を、判別したシーケンスに対応させて調整する処理を行う。
【００３７】
マルチプレクサ３３は、映像信号出力処理部３１から供給された映像信号ＤＳｃの補助データ領域に、音声信号出力処理部３２から供給された音声信号ＤＡｆを重畳してパラレル／シリアル変換部（Ｐ／Ｓ）３４に供給する。
【００３８】
パラレル／シリアル変換部３４は、マルチプレクサ３３から供給された映像信号ＤＳｄをシリアル信号に変換して、ＳＤＩフォーマットのストリームＤＳoutとして出力する。
【００３９】
ＤＩＴ３５は、音声信号出力処理部３２から供給された音声信号ＤＡｆのパケット化等を行い、所定のフォーマットの音声ストリームＤＡoutとして出力する。
【００４０】
ローカルＣＰＵ４１は、メインＣＰＵ（図示せず）から供給された制御信号ＣＴｍに応じて制御信号ＣＴａを生成する。ローカルＣＰＵ４１は、生成した制御信号ＣＴａをメモリコントローラ１５，２５や映像信号出力処理部３１、音声信号出力処理部３２等に供給して、映像音声信号処理装置１０の動作が制御信号ＣＴｍによって指示された動作となるように各部を制御する。
【００４１】
このように、映像音声信号処理装置１０は、映像信号ＤＳａを記憶するメモリ１６と音声信号を記憶するメモリ２６を有し、メモリ２６に書き込まれている音声信号を用いることで、音声信号が重畳されている映像信号ＤＳａの処理を行う際に自由度の高い音声信号の処理を行うことができるようにする。
【００４２】
次に、映像音声信号処理装置１０の具体的動作、例えばリポジション処理を行う場合について説明する。図２は、例えば映像信号ＤＳａに基づく映像をリポジション処理するときの信号経路を示している。なお、図２では、映像信号と音声信号の経路において映像音声出力に用いられる経路を実線、映像音声出力に用いられない経路を破線で示している。
【００４３】
ローカルＣＰＵ４１は、セレクタ１３を制御して映像信号入力処理部１２-1から供給された映像信号を選択させる。また、ローカルＣＰＵ４１は、メモリコントローラ１５，２５を制御して、メモリ１６に対する映像信号の書き込みと読み出し、およびメモリ２６に対する音声信号の書き込みと読み出しを行わせる。
【００４４】
メモリコントローラ１５は、音声信号が重畳されている映像信号ＤＳａをメモリ１６に書き込み、このメモリ１６に書き込まれた映像信号の読み出し位置を変更して、基準信号に同期して映像信号を読み出すことでリポジション処理を行う。
【００４５】
図３は、リポジション処理を行うときの動作を説明するための図である。例えばメモリコントローラ１５は、図３の（Ａ）に示すように、映像信号をアドレス「０ｘ００００」の位置から映像信号ＤＳａを順次書き込む。なお、１フレーム（フィールド）の映像信号の書き込み終了位置は、アドレス「０ｘＦＦＦＦ」とする。
【００４６】
リポジション処理を行うとき、メモリコントローラ１５は、映像信号の読み出し開始位置を変更する。例えばアドレス「０ｘ８０００」を映像信号の読み出し開始位置として、メモリ１６から順次映像信号の読み出しを行い、アドレス「０ｘＦＦＦＦ」の映像信号の次にアドレス「０ｘ００００」の位置から映像信号を順次読み出す。このように、映像信号の読み出し開始位置を変更すると、メモリ１６から読み出された映像は図３の（Ｂ）に示すものとなる。
【００４７】
ここで、リポジション処理を行うものとすると、図３の（Ｂ）に示すように、ブランキング期間ＢＫinが移動した状態となる。また、ブランキング期間ＢＫinに重畳されている音声信号ＤＡａは、順序が変更されてしまう。したがって、映像信号出力処理部３１は、ブランキング期間の付け替え処理を行い、図３の（Ｃ）に示すように、メモリ１６から読み出された映像信号ＤＳｂに対して新たにブランキング期間ＢＫoutを設定する。さらに、映像信号出力処理部３１は、不必要な映像部分をマスキングする。例えば、付け替え前のブランキング期間ＢＫinや映像の上部を、図３の（Ｄ）に示すようにマスキング領域（クロスハッチングで示す領域）として、このマスキング領域を所定の色で塗りつぶす等のマスキング処理を行う。このように、ブランキング期間の付け替え処理やマスキング処理が行われた映像信号ＤＳｃをマルチプレクサ３３に供給する。
【００４８】
また、リポジション処理を行うと、音声信号は上述のように順序が変更されてしまう。このため、ローカルＣＰＵ４１は、セレクタ２４とメモリコントローラ２５を制御して、デマルチプレクサ１７によって映像信号ＤＳａから分離した音声信号ＤＡａを、図３の（Ｅ）に示すようにメモリ２６に書き込むことで、映像信号ＤＳａに重畳されている音声信号すなわち順序が変更される前の音声信号のミラーリングを行う。
【００４９】
メモリコントローラ２５は、メモリ２６に書き込まれた音声信号ＤＡａを基準信号に同期して図３の（Ｆ）に示すように時間順に読み出して、音声信号ＤＡｅとして音声信号出力処理部３２に供給する。音声信号出力処理部３２は、メモリ２６から読み出された音声信号ＤＡｅを音声信号ＤＡｆとしてマルチプレクサ３３に供給する。
【００５０】
マルチプレクサ３３は、映像信号出力処理部３１から供給された映像信号ＤＳｃのブランキング期間に音声信号である音声信号ＤＡｆを重畳させる。このような処理を行うものとすると、マルチプレクサ３３からパラレル／シリアル変換部３４を介して出力されるストリームＤＳoutは、図３の（Ｇ）に示すように、映像がリポジション処理されており、音声信号は正しい時間順で重畳された映像信号を示すものとなる。
【００５１】
したがって、映像のリポジション処理が行われたか否かにかかわらず、正しく音声出力を行うことができるようになる。
【００５２】
次に、映像音声信号処理装置１０の他の具体的動作、例えば音声信号の切り替え処理を行う場合について説明する。図４は、例えば映像信号ＤＳａに重畳されている音声信号を、音声ストリームＤＡin-1から復元した音声信号に切り替えるときの信号経路を示している。なお、図４では、映像信号と音声信号の経路において映像音声出力に用いられる経路を実線、映像音声出力に用いられない経路を破線で示している。
【００５３】
ローカルＣＰＵ４１は、セレクタ１３，２３を制御して、映像信号入力処理部１２-1で処理された映像信号とＤＩＲ２１-1で得られた音声信号を選択させる。また、ローカルＣＰＵ４１は、セレクタ２４を制御して音声信号ＤＡｃを選択させる。さらに、ローカルＣＰＵ４１は、メモリコントローラ１５，２５を制御して、メモリ１６に対する映像信号の書き込みと読み出し、およびメモリ２６に対する音声信号の書き込みと読み出しを行わせる。
【００５４】
メモリコントローラ１５は、音声信号が重畳されている映像信号ＤＳａをメモリ１６に書き込み、このメモリ１６に書き込まれた映像信号を、基準信号に同期して順次読み出して、映像信号ＤＳｂとしてデマルチプレクサ１７と映像信号出力処理部３１に供給する。
【００５５】
映像信号出力処理部３１は、メモリコントローラ２５から供給された映像信号ＤＳｂを映像信号ＤＳｃとしてマルチプレクサ３３に供給する。
【００５６】
デマルチプレクサ１７は、映像信号ＤＳｂから音声信号ＤＡｂを分離して音声信号出力処理部３２に供給する。
【００５７】
メモリコントローラ２５は、セレクタ２４から供給された音声信号ＤＡｄをメモリ２６に書き込む。またメモリコントローラ２５は、メモリ２６に書き込まれた音声信号を書き込まれた順に読み出して、音声信号ＤＡｅとして音声信号出力処理部３２に供給する。
【００５８】
音声信号出力処理部３２は、デマルチプレクサ１７から供給された音声信号ＤＡｂとメモリコントローラ２５から供給された音声信号ＤＡｅを用いて、音声信号の切り替え処理を行う。
【００５９】
図５は、音声信号出力処理部３２で行う音声信号の切り替え処理として、クロスフェード処理を行う場合を示している。音声信号出力処理部３２は、デマルチプレクサ１７から供給された音声信号ＤＡｂの信号レベル（実線で示す）を、時間の経過と共に減衰させて「０」レベルとする。また、音声信号出力処理部３２は、メモリコントローラ２５から供給された音声信号ＤＡｅの信号レベル（破線で示す）を、時間の経過と共に「０」レベルが増加させる。このようにして、音声信号出力処理部３２は、音声信号ＤＡｂを時間の経過と共に徐々に音声信号ＤＡｅに置き換えてクロスフェード処理を行う。音声信号出力処理部３２は、クロスフェード処理後の音声信号ＤＡｆをマルチプレクサ３３に供給する。
【００６０】
マルチプレクサ３３は、映像信号出力処理部３１から供給された映像信号ＤＳｃに、音声信号出力処理部３２から供給された音声信号ＤＡｆを重畳させる。すなわち、マルチプレクサ３３は、映像信号ＤＳｂに重畳されている音声信号ＤＡｂを音声信号ＤＡｆに置き換える。このような処理を行うものとすると、マルチプレクサ３３からパラレル／シリアル変換部３４を介して出力されるストリームＤＳoutは、クロスフェード処理が行われた音声信号が重畳された映像信号を示すものとなる。
【００６１】
ところで、映像信号に重畳された音声信号は、１映像フレームおけるサンプル数が異なる場合がある。例えば、音声信号のサンプリング周波数が４８．０ｋＨｚ、映像信号のフレーム周波数が（３０／１．００１）フレーム／秒である場合、１映像フレーム当たりの音声信号のサンプル数が整数とならないことから、連続する５フレームの期間でサンプル数が８００８サンプルとなるように各フレームのサンプル数が設定されている。
【００６２】
図６は、フレームと音声信号のサンプル数を示している。連続する５フレーム期間において、奇数オーディオフレームは１６０２サンプル、偶数オーディオフレームは１６０１サンプル、５フレームと次の５フレームのつなぎ目では１６０２サンプルのフレームが連続するようになされている。このため、例えばクロスフェード処理で用いた音声信号ＤＡｅのサンプル数が１６０１サンプル／フレームに固定されていた場合、あるいは音声信号ＤＡｅのサンプル数が１６０２サンプル／フレームに固定されていた場合、映像と音声の位相差が生じて映像と音のタイミングが合わない現象、いわゆるリップシンクのずれという問題が生じてしまう。
【００６３】
そこで、音声信号出力処理部３２は、１映像フレーム当たりのサンプル数を調整してから映像信号に重畳させることでリップシンクの問題の発生を防止する。
【００６４】
音声信号出力処理部３２は、デマルチプレクサ１７から供給された音声信号ＤＡｂに基づきフレームシーケンスを判別して、判別結果に基づき音声信号の１映像フレーム当たりのサンプル数を調整する。例えば図６に示すように、連続する５フレームで音声信号を８００８サンプルとする場合、サンプル数が「１６０２」であるフレームの連続が５フレーム期間毎に生じる。したがって、音声信号出力処理部３２は、音声信号ＤＡｂに基づきフレーム毎に音声信号のサンプル数をカウントして、サンプル数が「１６０２」であるフレームが連続したタイミングを基準として、５フレームのカウントを繰り返すものとすれば、カウント値は５フレームシーケンスの何れのフレームであるかを示すものとなり、カウント値によって出力するフレームが５フレームシーケンスの何れのフレームに相当するか判別できる。
【００６５】
また、音声ストリームＤＡin-1のフォーマットが例えばＡＥＳフォーマットである場合、ＡＥＳフォーマットでは、サンプリング周波数を示す情報が設けられている。ＡＥＳフォーマットの１フレームは２つのサブフレームで構成されており、サブフレームは図７に示す構成とされている。
【００６６】
サブフレームは、プリアンブル、ＡＵＸ／オーディオ、オーディオデータ、オーディオサンプルバリディティビットＶ、ユーザービットＵ、オーディオチャンネルステータスビットＣ、サブフレームパリティビットＰを有する。
【００６７】
プリアンブルは、４ビットのデータであり、サブフレームとフレームとの同期およびチャンネルステータスブロック識別を規定するものである。ＡＵＸ／オーディオの領域は、４ビットの領域であり、補助データ部である。オーディオデータは、２０ビットのデータ領域である。ここで、オーディオデータを２０ビットとした場合、ＡＵＸ／オーディオの領域は補助データ部として使用できる。オーディオデータを２４ビットとした場合、ＡＵＸ／オーディオの領域はオーディオデータの領域として使用する。なお、オーディオデータを２０ビット未満とした場合、使用しないＬＳＢ側の下位ビットは「０」に設定される。
【００６８】
オーディオサンプルバリディティビットＶは、オーディオデータの有効性を示す１ビットのデータである。なお、オーディオデータが有効データの場合は「０」、無効データの場合は「１」に設定される。ユーザービットＵは、ユーザーにより定義された１ビットのデータである。オーディオチャンネルステータスビットＣは、データブロックを形成する１ビットのデータであり、各種パラメータについての送信情報を伝送する。サブフレームパリティビットＰは、プリアンブルを除く全てのデータに対する偶数パリティを示す１ビットのデータである。
【００６９】
ここで、各チャンネルについて、連続する１９２フレームに含まれたオーディオチャンネルステータスビットＣにより１ブロックが形成される。このブロックの開始位置は、プリアンブルにより指定されており、オーディオチャンネルステータスビットＣのブロックでサンプリング周波数等の情報が示されている。このため、映像音声信号処理装置１０は、このサンプリング周波数の情報に基づき入力された音声信号の例えば１映像フレーム当たりのサンプル数を判別できる。
【００７０】
したがって、音声信号出力処理部３２は、出力するフレームが５フレームシーケンスの何れのフレームに相当するかの判別結果と、メモリ２６に書き込まれている音声信号の１フレーム当たりのサンプル数に基づき、音声信号ＤＡｅのサンプルデータの削除や繰り返しを行うことで、映像信号ＤＳｃに対応したサンプル数の音声信号とすることができる。このため、音声信号出力処理部３２からマルチプレクサに供給される音声信号ＤＡｆは、１映像フレーム当たりのサンプル数が映像信号ＤＳｃに重畳されている音声信号と等しくなる。すなわち、クロスフェード処理や音声切り替え等を行い、映像信号に重畳されている音声信号を変更したとき、リップシンクのずれという問題が生じてしまうことを防止できる。
【００７１】
なお、出力するフレームが５フレームシーケンスの何れのフレームに相当するかの判別は、上述のようにサンプル数が「１６０２」であるフレームの連続するタイミングを基準として５フレームのカウント動作を行う場合に限られるものではなく、他の方法を用いるものとしてもよい。
【００７２】
図８は、映像信号に重畳されたパケットの構成を示している。図８の（Ａ）は、音声信号のパケットであり、補助データフラグＡＤＦは補助データパケットの開始を示すフラグである。データ識別ワードＤＩＤは補助データの種類を示している。データブロック番号ＤＢＮは、データを分割して送る場合など、同一のＤＩＤを持つ一連のパケットの順序番号である。データカウントＤＣは、ユーザーデータのワード数を示している。ユーザーデータワードＵＤＷは、補助データ例えばＡＥＳフォーマットの音声信号等を示すものである。チェックサムワードＣＳは、データ識別ワードＤＩＤからＵＤＷの最後のワードまでのデータに対するチェックサムである。
【００７３】
また、映像信号に重畳されたパケットでは、音声信号だけでなく音声信号に関する制御信号のパケットも設けられる。図８の（Ｂ）はオーディオコントロールパケットであり、ユーザーデータワードＵＤＷには、オーディオフレームナンバーＡＦ、サンプリング周波数ＲＡＴＥ等の情報を設けることができるようになされている。
【００７４】
オーディオフレームナンバーＡＦは、１映像フレーム当たりのサンプル数が整数個にならない場合に、映像フレームの中に重畳されるサンプル数を識別可能とするための情報である。例えば、上述のように連続する５フレームの期間におけるサンプル数を８００８サンプルとする場合、１映像フレーム当たりのサンプル数が整数個にならない。したがって、オーディオフレームナンバーＡＦによって、５フレームシーケンスにおける何番目のフレームであるかを示すものとする。このため、オーディオフレームナンバーＡＦから、１フレームのサンプル数を判別することができるようになる。
【００７５】
なお、サンプリング周波数ＲＡＴＥは音声信号のサンプリング周波数を示す情報、アクティブチャンネルＡＣＴは、どのチャンネルが有効であるかを示す情報、ディレイＤＥＬは、映像に対する音声の相対的な遅延量を示すデータである。
【００７６】
このように、オーディオフレームナンバーＡＦによって、５フレームシーケンスの何番目のフレームであるか判別できるので、音声信号出力処理部３２は、オーディオフレームナンバーＡＦの情報を用いて、音声信号のサンプル数の調整を行うこともできる。
【００７７】
図９は、音声信号出力処理部３２の動作を説明するための図である。図９の（Ａ）は、映像信号ＤＳｂに重畳されている音声信号の１映像フレーム当たりのサンプル数を示している。図９の（Ｂ）は、メモリコントローラ２５によってメモリ２６から読み出されて音声信号出力処理部３２に供給される音声信号ＤＡｅの１映像フレーム当たりのサンプル数を示している。図９の（Ｃ）は、音声信号出力処理部３２から出力されて、マルチプレクサに供給される音声信号ＤＡｆの１映像フレーム当たりのサンプル数を示している。さらに、図９の（Ｄ）は、マルチプレクサ３３から出力される映像信号ＤＳｄに重畳されている音声信号の１映像フレーム当たりのサンプル数を示している。
【００７８】
ここで、例えば時点ｔc1で、映像信号に重畳されていた音声信号をメモリ２６に書き込まれた音声信号に切り替える場合、音声信号出力処理部３２は、マルチプレクサ３３に出力する音声信号ＤＡｆの１映像フレーム当たりのサンプル数が、マルチプレクサ３３に供給される映像信号ＤＳｄの１映像フレーム当たりのサンプル数と等しくなるように、サンプル数を調整する。例えば音声信号出力処理部３２は、時点ｔc1で開始する映像信号ＤＳｄの１映像フレーム当たりのサンプル数が「１６０２」であり、音声信号ＤＡｅの１映像フレーム当たりのサンプル数が「１６００」であるとき、音声信号出力処理部３２は、音声信号ＤＡｅのサンプリングデータを繰り返すことで２サンプル増加させて、１映像フレーム当たりのサンプル数を「１６０２」とした音声信号ＤＡｆをマルチプレクサ３３に供給する。また、次のフレームでは映像信号ＤＳｄの１映像フレーム当たりのサンプル数が「１６０１」であることから、音声信号出力処理部３２は、音声信号ＤＡｅのサンプルを繰り返すことで１サンプル増加させて、１映像フレーム当たりのサンプル数を「１６０１」とした音声信号ＤＡｆをマルチプレクサ３３に供給する。
【００７９】
このような処理を行うものとすれば、音声信号の切り替えを行っても、音声信号の１映像フレーム当たりのサンプル数は切り替え前と等しくなるので、リップシンクのずれの問題を生じることがない。
【００８０】
また、メモリ２６に書き込まれる音声信号が、上述の５フレームシーケンスの音声信号のように１映像フレーム当たりのサンプルが変化する場合、メモリコントローラ２５は、メモリ２６に音声信号を書き込む際に、１映像フレーム当たりのサンプルを示す情報を書き込むものとする。このようにすれば、メモリ２６に書き込まれる音声信号の１映像フレーム当たりのサンプルが変化しても、音声信号出力処理部３２は、音声信号ＤＡｅの１映像フレーム当たりのサンプル数に応じて、音声信号のサンプリングデータの繰り返しや削除を行うことで、映像信号ＤＳｃに重畳されている音声信号と１映像フレーム当たりのサンプル数を等しくした音声信号ＤＡｆをマルチプレクサ３３に供給できる。
【００８１】
図１０は、音声信号をメモリ２６に書き込む際に、１映像フレーム当たりのサンプルを識別可能として音声信号を書き込む場合を例示している。
【００８２】
メモリコントローラ２５は、セレクタ２４で選択された音声信号を図１０に示すようにアドレスの最初から順次書き込む。ここで、音声信号の１サンプルは上述のように３２ビットのフォーマットのデータとされているものとする。また、ＳＤＩフォーマットの信号では１本の信号あたり音声信号が２ＣＨペアで４グループすなわち１６ＣＨの音声信号を重畳することが可能とされている。したがって、アドレス幅は、４つのグループ毎に音声信号を記憶するためのアドレスｇ０，ｇ１、２ＣＨペア毎に音声信号を記憶するためのアドレスｃ０，ｃ１、例えば１６０２サンプルの音声信号を記憶するために必要とされるアドレスｗ０〜ｗ１０を設定する。このようにアドレス幅「ｇ１，ｇ０，ｃ１，ｃ０，ｗ１０〜ｗ０」を設定すると、グループ毎および２ＣＨペア毎に音声信号を記憶することができる。また、アドレス幅「ｗ１０〜Ｗ０」は、２０４８サンプルを示すことができるので、アドレス幅「ｗ１０〜Ｗ０」を全て使い切ることがない。したがって、図１０に示すようにアドレス幅「ｗ１０〜Ｗ０」におけるアドレス「１１１１１１１１１００」〜「１１１１１１１１１１１」の範囲を、サンプル数を記憶するための領域とする。例えばアドレス「１１１１１１１１１００」に予め設定した固有のデータが記憶されている場合、１映像フレーム当たりのサンプル数は１６００とする。また、１映像フレーム当たりのサンプル数が１６０１のときは、固有のデータをアドレス「１１１１１１１１１０１」に記憶する。また、１映像フレーム当たりのサンプル数が１６０２のときは、固有のデータをアドレス「１１１１１１１１１１０」に記憶する。このようにすれば、予め設定した固有のデータが何れのアドレスに記憶されていたかに応じて、１映像フレーム当たりのサンプル数を判別することができる。また、図示せずも予め設定された例えばアドレス「１１１１１１１１１１１」に、１映像フレーム当たりのサンプル数を書き込むものとしてもよい。
【００８３】
このように、音声信号出力処理部３２は、メモリ２６に書き込まれているサンプル数の情報を利用することで、メモリ２６に書き込まれる音声信号の１映像フレーム当たりのサンプル数が一定でなくとも、リップシンクのずれの問題を防止することができる。
【００８４】
図１１は、メモリ２６に記憶されたサンプル数の情報を利用したときの動作を示している。図１１の（Ａ）は、映像信号ＤＳｂに重畳されている音声信号の１映像フレーム当たりのサンプル数を示している。図１１の（Ｂ）は、メモリコントローラ２５によってメモリ２６から読み出されて音声信号出力処理部３２に供給される音声信号ＤＡｅの１映像フレーム当たりのサンプル数を示している。図１１の（Ｃ）は、音声信号出力処理部３２から出力されて、マルチプレクサに供給される音声信号ＤＡｆの１映像フレーム当たりのサンプル数を示している。さらに、図１１の（Ｄ）は、マルチプレクサ３３から出力される映像信号ＤＳｄに重畳されている音声信号の１映像フレーム当たりのサンプル数を示している。
【００８５】
ここで、例えば時点ｔc2で、映像信号に重畳されていた音声信号をメモリ２６に記憶された音声信号に切り替える場合、音声信号出力処理部３２は、マルチプレクサ３３に出力する音声信号ＤＡｆの１映像フレーム当たりのサンプル数が、マルチプレクサ３３に供給される映像信号ＤＳｄに重畳されている音声信号の１映像フレーム当たりのサンプル数と等しくなるように、サンプル数を調整する。例えば音声信号出力処理部３２は、時点ｔc2で開始する映像信号ＤＳｄの１映像フレーム当たりのサンプル数が「１６０２」であり、音声信号ＤＡｅの１映像フレーム当たりのサンプル数が「１６０１」であるとき、音声信号出力処理部３２は、音声信号ＤＡｅのサンプリングデータを繰り返すことで１サンプル増加させて、１映像フレーム当たりのサンプル数を「１６０２」とした音声信号ＤＡｆをマルチプレクサ３３に供給する。また、次のフレームでは映像信号ＤＳｄの１映像フレーム当たりのサンプル数が「１６０１」であり、音声信号ＤＡｅの１映像フレーム当たりのサンプル数が「１６０２」であるとき、音声信号出力処理部３２は、音声信号ＤＡｅのサンプリングデータを１サンプル減少させて、１映像フレーム当たりのサンプル数を「１６０１」とした音声信号ＤＡｆをマルチプレクサ３３に供給する。
【００８６】
このような処理を行うものとすれば、音声信号の切り替えを行っても、映像信号に重畳されている音声信号の１映像フレーム当たりのサンプル数は切り替え前と等しくなるので、リップシンクのずれの問題を防止できる。
【００８７】
なお、上述の実施の形態では、ＳＤＩフォーマットのストリームやＡＥＳフォーマットのストリームが入力される場合を例示したが、音声信号が重畳された映像信号のフォーマットや音声信号のフォーマットは、上述のフォーマットの信号に限られるものではない。また、音声信号出力処理部３２は、１映像フレーム当たりのサンプル数を調整するものとしたが、映像信号がインタレース信号であるときは、フィールド期間毎にサンプル数の調整を行うものとしてもよい。
【００８８】
このように、映像信号ＤＳａを記憶するメモリ１６と音声信号を記憶するメモリ２６を別個に設けて、メモリ２６に書き込まれている音声信号を用いることで、音声信号が重畳されている映像信号ＤＳａの処理を行う際に自由度の高い音声信号の処理を行うことができる。また、メモリ２６は、音声信号を記憶するものであることから記憶容量が少なくてよい。また、メモリ２６には、音声信号を自然な形で記憶することが可能であるので、サンプル数の調整やミキシング等を行う音声信号出力処理部を容易な構成にできる。
【００８９】
また、上述の説明で示した処理はハードウェアだけでなくソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理を行うためのプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【００９０】
プログラムは、記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。また、プログラムは磁気ディスクや光ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。さらに、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから無線あるいは有線のネットワークを介して取得するものとしてもよい。
【００９１】
以上、特定の実施の形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【産業上の利用可能性】
【００９２】
この発明の映像音声信号処理装置では、音声信号が重畳されている映像信号が第１のメモリに記憶されて、この第１のメモリに書き込まれた映像信号が基準信号に同期して読み出される。また、映像信号に重畳されている音声信号が分離されて、この分離された音声信号または入力された音声信号が第２のメモリに記憶される。この第２のメモリに書き込まれた音声信号は、基準信号に同期して読み出されて、第１のメモリから読み出された映像信号に重畳されている音声信号に換えて重畳される。したがって、フレームシンクロナイザーや編集装置として好適である。
【図面の簡単な説明】
【００９３】
【図１】映像音声信号処理装置の構成を示す図である。
【図２】リポジション処理を行うときの信号経路を示す図である。
【図３】リポジション処理を行うときの動作を説明するための図である。
【図４】音声信号の切り替え処理を行うときの信号経路を示す図である。
【図５】クロスフェード処理を説明するための図である。
【図６】フレームと音声信号のサンプル数を示す図である。
【図７】サブフレームの構成を示す図である。
【図８】パケットの構成を示す図である。
【図９】音声信号出力処理部の動作を説明するための図である。
【図１０】音声信号の書き込み動作を説明するための図である。
【図１１】メモリに記憶されたサンプル数の情報を利用したときの動作を説明するための図である。
【図１２】従来のフレームシンクロナイザの構成を示す図である。
【符号の説明】
【００９４】
１０・・・映像音声信号処理装置、１１-1〜１１-m，６１・・・シリアル／パラレル変換部（Ｓ／Ｐ）、１２-1〜１２-m，６２・・・映像信号入力処理部、１３，２３，２４・・・セレクタ、１５，２５，６５・・・メモリコントローラ、１６，２６，６６・・・メモリ、１７，６７・・・デマルチプレクサ、３１，７１・・・映像信号出力処理部、３２，７２・・・音声信号出力処理部、３３，７３・・・マルチプレクサ、３４、７４・・・パラレル／シリアル変換部（Ｐ／Ｓ）、４１，８１・・・ローカルＣＰＵ、６０・・・フレームシンクロナイザ
【特許請求の範囲】
【請求項１】
音声信号が重畳されている映像信号を記憶する第１のメモリと、
前記第１のメモリに書き込まれた映像信号を基準信号に同期させて読み出す第１のメモリコントローラと、
前記映像信号に重畳されている音声信号を分離するデマルチプレクサと、
前記分離された音声信号または入力された音声信号を記憶する第２のメモリと、
前記第２のメモリに書き込まれた音声信号を前記基準信号に同期させて読み出す第２のメモリコントローラと、
前記第１のメモリから読み出された映像信号に重畳されている音声信号に換えて、前記第２のメモリから読み出された音声信号を重畳させるマルチプレクサと
を有する映像音声信号処理装置。
【請求項２】
前記第１のメモリから読み出された映像信号に重畳されている音声信号の１映像フレーム当たりのサンプル数に合わせて、前記第２のメモリから読み出された音声信号のサンプル数を調整して前記マルチプレクサに供給する音声信号出力処理部を設けた
請求項１記載の映像音声信号処理装置。
【請求項３】
前記音声信号出力処理部は、前記第１のメモリから読み出された映像信号に重畳されている音声信号の１映像フレーム当たりのサンプル数のシーケンスを判別して、前記第２のメモリから読み出された音声信号のサンプル数を前記判別したシーケンスに対応させて調整する
請求項２記載の映像音声信号処理装置。
【請求項４】
前記第２のメモリコントローラは、音声信号の１映像フレーム当たりのサンプル数を示す情報を前記第２のメモリに書き込むものとし、
前記音声信号出力処理部は、前記第２のメモリから読み出した前記サンプル数を示す情報を用いて前記音声信号のサンプル数を前記判別したシーケンスに対応させて調整する
請求項３記載の映像音声信号処理装置。
【請求項５】
前記音声信号出力処理部は、前記マルチプレクサに供給する音声信号を、前記第２のメモリから読み出された音声信号と前記デマルチプレクサで分離された音声信号の何れか一方の音声信号から他方の音声信号に切り替える処理を行う
請求項２記載の映像音声信号処理装置。
【請求項６】
前記第１のメモリから読み出された映像信号に対して信号処理を行う映像信号出力処理部を備え、
前記第１のメモリコントローラは、前記第１のメモリに書き込まれている映像信号の読み出し開始位置を変更することで映像の表示位置を移動させるものとし、
前記映像信号出力処理部は、前記第１のメモリから読み出された映像信号に対してブランキング期間の付け替えを行って前記マルチプレクサに供給し、
前記第２のメモリは、前記第１のメモリに書き込まれる映像信号から分離した音声信号を記憶する
請求項１記載の映像音声信号処理装置。
【請求項７】
前記音声信号は、前記映像信号のブランキング期間に重畳されている
請求項１記載の映像音声信号処理装置。
【請求項８】
音声信号が重畳されている映像信号を第１のメモリに記憶するステップと、
前記第１のメモリに書き込まれた映像信号を基準信号に同期させて読み出すステップと、
前記映像信号に重畳されている音声信号を分離するステップと、
前記分離された音声信号または入力された音声信号を第２のメモリに記憶するステップと、
前記第２のメモリに書き込まれた音声信号を前記基準信号に同期させて読み出すステップと、
前記第１のメモリから読み出された映像信号に重畳されている音声信号に換えて、前記第２のメモリから読み出された音声信号を重畳させるステップと
を有する映像音声信号処理方法。
【請求項１】
音声信号が重畳されている映像信号を記憶する第１のメモリと、
前記第１のメモリに書き込まれた映像信号を基準信号に同期させて読み出す第１のメモリコントローラと、
前記映像信号に重畳されている音声信号を分離するデマルチプレクサと、
前記分離された音声信号または入力された音声信号を記憶する第２のメモリと、
前記第２のメモリに書き込まれた音声信号を前記基準信号に同期させて読み出す第２のメモリコントローラと、
前記第１のメモリから読み出された映像信号に重畳されている音声信号に換えて、前記第２のメモリから読み出された音声信号を重畳させるマルチプレクサと
を有する映像音声信号処理装置。
【請求項２】
前記第１のメモリから読み出された映像信号に重畳されている音声信号の１映像フレーム当たりのサンプル数に合わせて、前記第２のメモリから読み出された音声信号のサンプル数を調整して前記マルチプレクサに供給する音声信号出力処理部を設けた
請求項１記載の映像音声信号処理装置。
【請求項３】
前記音声信号出力処理部は、前記第１のメモリから読み出された映像信号に重畳されている音声信号の１映像フレーム当たりのサンプル数のシーケンスを判別して、前記第２のメモリから読み出された音声信号のサンプル数を前記判別したシーケンスに対応させて調整する
請求項２記載の映像音声信号処理装置。
【請求項４】
前記第２のメモリコントローラは、音声信号の１映像フレーム当たりのサンプル数を示す情報を前記第２のメモリに書き込むものとし、
前記音声信号出力処理部は、前記第２のメモリから読み出した前記サンプル数を示す情報を用いて前記音声信号のサンプル数を前記判別したシーケンスに対応させて調整する
請求項３記載の映像音声信号処理装置。
【請求項５】
前記音声信号出力処理部は、前記マルチプレクサに供給する音声信号を、前記第２のメモリから読み出された音声信号と前記デマルチプレクサで分離された音声信号の何れか一方の音声信号から他方の音声信号に切り替える処理を行う
請求項２記載の映像音声信号処理装置。
【請求項６】
前記第１のメモリから読み出された映像信号に対して信号処理を行う映像信号出力処理部を備え、
前記第１のメモリコントローラは、前記第１のメモリに書き込まれている映像信号の読み出し開始位置を変更することで映像の表示位置を移動させるものとし、
前記映像信号出力処理部は、前記第１のメモリから読み出された映像信号に対してブランキング期間の付け替えを行って前記マルチプレクサに供給し、
前記第２のメモリは、前記第１のメモリに書き込まれる映像信号から分離した音声信号を記憶する
請求項１記載の映像音声信号処理装置。
【請求項７】
前記音声信号は、前記映像信号のブランキング期間に重畳されている
請求項１記載の映像音声信号処理装置。
【請求項８】
音声信号が重畳されている映像信号を第１のメモリに記憶するステップと、
前記第１のメモリに書き込まれた映像信号を基準信号に同期させて読み出すステップと、
前記映像信号に重畳されている音声信号を分離するステップと、
前記分離された音声信号または入力された音声信号を第２のメモリに記憶するステップと、
前記第２のメモリに書き込まれた音声信号を前記基準信号に同期させて読み出すステップと、
前記第１のメモリから読み出された映像信号に重畳されている音声信号に換えて、前記第２のメモリから読み出された音声信号を重畳させるステップと
を有する映像音声信号処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−３４７６０（Ｐ２０１０−３４７６０Ａ）
【公開日】平成２２年２月１２日（２０１０．２．１２）
【国際特許分類】
【出願番号】特願２００８−１９３４２８（Ｐ２００８−１９３４２８）
【出願日】平成２０年７月２８日（２００８．７．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２２年２月１２日（２０１０．２．１２）
【国際特許分類】
【出願日】平成２０年７月２８日（２００８．７．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]