情報処理装置、情報処理方法、およびプログラム
【課題】プロセッサに対するオーディオデータの入力、およびプロセッサからのオーディオデータの出力を、ビデオポートを使って効率的に行うことができるようにする。
【解決手段】オーディオ受信回路３１−１および３１−２においては、入力されたオーディオデータが、多重ビデオフレームの１フレーム期間に相当する時間内に入力されたサンプル毎に分割される。分割されたオーディオ＃１のオーディオデータは、サンプル数を表す情報とともに多重回路４２−３において多重ビデオフレームに多重化され、オーディオ＃２のオーディオデータはサンプル数を表す情報とともに多重回路４２−４において多重化される。オーディオデータが多重化された多重ビデオフレームは、ビデオポートからプロセッサ４３に入力される。本発明は、複数系統のオーディオデータを処理する音響機器に適用することができる。
【解決手段】オーディオ受信回路３１−１および３１−２においては、入力されたオーディオデータが、多重ビデオフレームの１フレーム期間に相当する時間内に入力されたサンプル毎に分割される。分割されたオーディオ＃１のオーディオデータは、サンプル数を表す情報とともに多重回路４２−３において多重ビデオフレームに多重化され、オーディオ＃２のオーディオデータはサンプル数を表す情報とともに多重回路４２−４において多重化される。オーディオデータが多重化された多重ビデオフレームは、ビデオポートからプロセッサ４３に入力される。本発明は、複数系統のオーディオデータを処理する音響機器に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、プロセッサに対するオーディオデータの入力、およびプロセッサからのオーディオデータの出力を、ビデオポートを使って効率的に行うことができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
［ビデオ型インタフェース］
クロック、水平同期信号、垂直同期信号等のタイミング信号と、画像データとを伝送する一方向の伝送形式を「ビデオ型インタフェース」という。SMPTE(Society of Motion Picture and Television Engineers)125MやSMPTE274Mはビデオ型インタフェースの代表例となる。
【０００３】
ビデオ型インタフェースには、DVI/VESAのようにデータイネーブル信号を加える方式、HDMIのようにビデオデータをシリアライズする方式、SMPTE259MやSMPTE292Mのようにタイミング情報をデータ線にさらに多重する方式もある。
【０００４】
以下、適宜、ビデオ型インタフェースにより伝送される信号セットを「ビデオ信号」という。また、ビデオ型インタフェースの入力ピンと出力ピンのセットを「ビデオポート」という。
【０００５】
［ビデオポートの帯域幅］
ビデオポートの特長は、帯域幅の広さと実効速度の安定性にある。例えば、24bit HD(1920x1080@30frame/sec)を謳うビデオポートでは、1920×1080×30pix/sec＝186MB/sの安定的なデータ転送を保証する。
【０００６】
ビデオポートの帯域幅が急速に向上してきている。これは、ディスプレイの解像度が向上したこと、放送画質が標準画質(720×480)からHD画質(1920×1080)へ移行したこと、ディスプレイの表示能力が多様化(480i/480p/1080i/720p/1080p)したことなどによる。いまでは、HD(1920x1080@30frame/sec)やWUXGA(1920x1200@60frame/sec)の帯域幅は一般的なものになっている。
【０００７】
［ビデオ・オーディオの多チャンネル化］
ところで、近年、映像音響機器は多数のビデオ／オーディオ信号を扱うようになってきている。
【０００８】
例えば、家庭用のデジタルレコーダにおいては次のようなデータが出力系のデータとして扱われる。
・メニューやガイドが入らない映像出力（ビデオ出力）。
・メニューやガイドが入る映像出力（モニタ出力）。
・アンテナからのビットストリームをデコードした映像出力（デコーダ出力）。
【０００９】
また、映像加工に用いる業務用の機器においては、多いものでは次のようなデータが出力系のデータとして扱われ、かつ、同時に出力することが求められる。
・標準の映像出力（プログラム出力、ビデオ出力）。
・スーパーインポーズした映像出力（モニタ出力）。
・数秒前の映像（プレビュー出力）。
・外部ディスプレイへの表示画面。
・機器のディスプレイへの表示。
【００１０】
特に映像加工に用いる業務用の機器が扱うデータには、SD/HD、4:2:2/4:4:4、RGB/YCbCr、インタレース／プログレッシブといったような、様々なディスプレイサイズ、様々なフレーム周波数（リフレッシュレート）のデータが混在する。
【００１１】
入力系についても、異なるフォーマットで非同期のビデオ信号を同時入力・同時記録したり、同時入力しながらそれらを切り替えたり、切り替えるときに加工して合成したり、といったように、多数の映像をプロセッサに同時入力することが求められる。ビデオに付随するオーディオのチャンネル数も、5.1ch、7.1ch、9.1ch、マルチチャンネルでの他カ国語などと急速に増大している。
【００１２】
このように、映像音響機器のプロセッサには、複数のビデオ、複数のオーディオの入出力を同時に行うことが可能であることが要求される。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００６−２３６０５６号公報
【特許文献２】特開２００９−７１７０１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
［一般的なプロセッサのビデオ／オーディオ入出力ポート］
数年前まで、CPU(Central Processing Unit)やDSP(Digital Signal Processor)等の入出力としては、アドレス信号、制御信号の信号線と双方向のデータ線、または、制御信号の信号線と双方向のアドレス・データ多重線を用いるのが一般的であった。ビデオ型インタフェースの入出力ポートを持つのはやや特殊なことであった。
【００１５】
オーディオ専用を謳ったDSPには以前からオーディオ入出力ポートが装備されているが、オーディオ入出力ポートがオーディオ専用DSP以外にも装備されつつある。また、近年、プロセッサの性能向上と用途別のSoC(System On a Chip)化が進み、メディアプロセッサ、GPU(Graphics Processing Unit)、ビデオ用途向けDSPなどのように、ビデオ型インタフェースの入出力ポートを備えるプロセッサが増えてきた。
【００１６】
上述したような複数のビデオをシリアル伝送で入力しようとした場合、数百MHzから数GHzの帯域が必要になるが、このような広帯域の信号を汎用のプロセッサに入力することは現実的ではない。パラレルのまま入力しようとすると１系統あたり数十本の信号線が必要になる。
【００１７】
一方、オーディオのシリアル伝送は現実的だが、それでも１系統（一般に２チャンネル）あたり３本の信号線が必要になる。ビデオ、オーディオとも、チャンネル数が増えることに比例して、プロセッサに用意する必要のあるピンの数は増大する。
【００１８】
そのため、ビデオ／オーディオ入出力ポートを備えるプロセッサであっても、設けられる入出力ポートの数は、ビデオについては１系統ずつ、オーディオについてもマルチチャンネル１系統から２系統までであることが多い。
【００１９】
上述したような複数のビデオ、複数のオーディオの処理をプロセッサに行わせるためには、このような少ない数の入出力ポートを用いて、データの入出力を効率的に行う必要がある。
【００２０】
本発明はこのような状況に鑑みてなされたものであり、プロセッサに対するオーディオデータの入力、およびプロセッサからのオーディオデータの出力を、ビデオポートを使って効率的に行うことができるようにするものである。
【課題を解決するための手段】
【００２１】
本発明の一側面の情報処理装置は、所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成する生成手段と、入力されたオーディオデータを、先頭のサンプルから順に、前記多重ビデオフレームの１フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割する分割手段と、複数の系統のデータとして入力されたそれぞれのオーディオデータから得られた複数の前記分割後のオーディオデータと、前記分割後のオーディオデータを構成するサンプルの数を表すサンプル数情報とを、前記多重ビデオフレームのデータとして多重化する多重化手段と、入力ビデオポートから入力された多重化後の前記多重ビデオフレームに多重化されている前記分割後のオーディオデータに処理を施し、処理を施した前記分割後のオーディオデータと前記サンプル数情報とを多重化した前記多重ビデオフレームを出力ビデオポートから出力する処理手段と、前記サンプル数情報に従って、前記処理手段から出力された前記多重ビデオフレームに多重化されている各系統の前記分割後のオーディオデータを抽出する抽出手段と、抽出された各系統の前記分割後のオーディオデータを先頭のサンプルから順に外部に出力する送信手段とを備える。
【００２２】
前記分割手段と前記送信手段は、それぞれ、入力されるオーディオデータの系統の数と同じ数だけ設けられ、それぞれの前記分割手段と前記送信手段においては、１系統のオーディオデータを対象として処理が行われるようにすることができる。
【００２３】
前記多重化手段には、複数の前記分割後のオーディオデータと前記サンプル数情報とを、系統毎に予め設定された位置のデータとして多重化させることができる。
【００２４】
前記抽出手段には、予め設定された位置のデータとして多重化されている前記サンプル数情報により表される数のサンプルを抽出することによって、前記分割後のオーディオデータを抽出させることができる。
【００２５】
前記多重ビデオフレームは、フォーマットが異なる複数のビデオデータの各フレーム画像を互いに重ならないように貼り付け可能な、前記複数のビデオデータの各フォーマットが規定する各フレーム画像の画面サイズの総和以上の画面サイズを有するようにすることができる。
【００２６】
前記多重化手段には、さらに、前記複数のビデオデータの各フレーム画像が互いに重ならないように、各フォーマットが規定する画面サイズを保持したまま前記多重ビデオフレームに貼り付けることによって前記複数のビデオデータを多重化させることができる。
【００２７】
本発明の一側面の情報処理方法は、所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、入力されたオーディオデータを、先頭のサンプルから順に、前記多重ビデオフレームの１フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割し、複数の系統のデータとして入力されたそれぞれのオーディオデータから得られた複数の前記分割後のオーディオデータと、前記分割後のオーディオデータを構成するサンプルの数を表すサンプル数情報とを、前記多重ビデオフレームのデータとして多重化し、入力ビデオポートから処理手段に入力された多重化後の前記多重ビデオフレームに多重化されている前記分割後のオーディオデータに前記処理手段において処理を施し、処理を施した前記分割後のオーディオデータと前記サンプル数情報とを多重化した前記多重ビデオフレームを前記処理手段の出力ビデオポートから出力し、前記サンプル数情報に従って、前記処理手段から出力された前記多重ビデオフレームに多重化されている各系統の前記分割後のオーディオデータを抽出し、抽出した各系統の前記分割後のオーディオデータを先頭のサンプルから順に外部に出力するステップを含む。
【００２８】
本発明の一側面のプログラムは、所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、入力されたオーディオデータを、先頭のサンプルから順に、前記多重ビデオフレームの１フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割し、複数の系統のデータとして入力されたそれぞれのオーディオデータから得られた複数の前記分割後のオーディオデータと、前記分割後のオーディオデータを構成するサンプルの数を表すサンプル数情報とを、前記多重ビデオフレームのデータとして多重化し、入力ビデオポートから処理手段に入力された多重化後の前記多重ビデオフレームに多重化されている前記分割後のオーディオデータに前記処理手段において処理を施し、処理を施した前記分割後のオーディオデータと前記サンプル数情報とを多重化した前記多重ビデオフレームを前記処理手段の出力ビデオポートから出力し、前記サンプル数情報に従って、前記処理手段から出力された前記多重ビデオフレームに多重化されている各系統の前記分割後のオーディオデータを抽出し、抽出した各系統の前記分割後のオーディオデータを先頭のサンプルから順に外部に出力するステップを含む処理をコンピュータに実行させる。
【００２９】
本発明の一側面においては、所定の画面サイズを有するビデオフレームである多重ビデオフレームが生成され、入力されたオーディオデータが、先頭のサンプルから順に、前記多重ビデオフレームの１フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割される。また、複数の系統のデータとして入力されたそれぞれのオーディオデータから得られた複数の前記分割後のオーディオデータと、前記分割後のオーディオデータを構成するサンプルの数を表すサンプル数情報とが、前記多重ビデオフレームのデータとして多重化され、入力ビデオポートから処理手段に入力された多重化後の前記多重ビデオフレームに多重化されている前記分割後のオーディオデータに前記処理手段において処理が施され、処理が施された前記分割後のオーディオデータと前記サンプル数情報とが多重化された前記多重ビデオフレームが前記処理手段の出力ビデオポートから出力される。さらに、前記サンプル数情報に従って、前記処理手段から出力された前記多重ビデオフレームに多重化されている各系統の前記分割後のオーディオデータが抽出され、抽出された各系統の前記分割後のオーディオデータが先頭のサンプルから順に外部に出力される。
【発明の効果】
【００３０】
本発明によれば、プロセッサに対するオーディオデータの入力、およびプロセッサからのオーディオデータの出力を、ビデオポートを使って効率的に行うことができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の一実施形態に係る情報処理装置の構成例を示すブロック図である。
【図２】オーディオサンプルの切り出しの例を示す図である。
【図３】多重ビデオフレームの例を示す図である。
【図４】多重化後の多重ビデオフレームの例を示す図である。
【図５】多重ビデオフレームのビデオ信号の例を示す図である。
【図６】ビデオ型インタフェースを模式的に示す図である。
【図７】ビデオ信号の波形の例を示す図である。
【図８】図７の実線矢印で示す範囲の波形の詳細を示す図である。
【図９】情報処理装置の処理について説明するフローチャートである。
【図１０】図９のステップＳ１において行われるビデオ受信処理について説明するフローチャートである。
【図１１】図９のステップＳ２において行われるオーディオ受信処理について説明するフローチャートである。
【図１２】図９のステップＳ４において行われる多重化処理について説明するフローチャートである。
【図１３】図９のステップＳ６において行われる抽出処理について説明するフローチャートである。
【図１４】図９のステップＳ７において行われるオーディオ出力処理について説明するフローチャートである。
【図１５】図９のステップＳ８において行われるビデオ出力処理について説明するフローチャートである。
【図１６】多重ビデオフレームの例を示す図である。
【図１７】多重ビデオフレームの他の例を示す図である。
【図１８】情報処理装置の他の構成例を示すブロック図である。
【図１９】情報処理装置の他の構成例を示すブロック図である。
【図２０】図１９の多重ビデオフレームを拡大して示す図である。
【図２１】情報処理装置の他の構成例を示すブロック図である。
【図２２】情報処理装置の他の構成例を示すブロック図である。
【図２３】情報処理装置の他の構成例を示すブロック図である。
【図２４】情報処理装置の他の構成例を示すブロック図である。
【図２５】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３２】
［情報処理装置の全体構成］
図１は、本発明の一実施形態に係る情報処理装置１の構成例を示すブロック図である。
【００３３】
情報処理装置１は、１入力１出力のビデオポートを有するプロセッサ４３を用いて２系統ずつ入力されたビデオデータ、オーディオデータに対して処理を施し、ビデオデータ、オーディオデータを２系統ずつ出力する機器である。
【００３４】
外部から供給されたビデオ＃１のビデオ信号は同期信号とともにビデオ受信回路２１−１に入力され、ビデオ＃２のビデオ信号は同期信号とともにビデオ受信回路２１−２に入力される。
【００３５】
解像度、フレームレート、走査方式、伝送方式、および圧縮方式等の、ビデオ＃１とビデオ＃２のフォーマットは互いに同一であってもよいし、異なっていてもよい。ビデオ＃１のフレームとビデオ＃２のフレームの入力タイミングは同期していなくてもよい。
【００３６】
また、外部から供給されたオーディオ＃１のオーディオ信号はオーディオ受信回路３１−１に入力され、オーディオ＃２のオーディオ信号はオーディオ受信回路３１−２に入力される。例えば、オーディオ受信回路３１−１と３１−２には、クロック信号、データ信号、サンプリング周波数を表す信号からなる三線オーディオの形でオーディオ信号が入力される。
【００３７】
サンプリング周波数、ビット数、チャンネル数等の、オーディオ＃１とオーディオ＃２のフォーマットも、互いに同一であってもよいし、異なっていてもよい。オーディオ＃１のデータとオーディオ＃２のデータの入力タイミングも同期していなくてもよい。オーディオはビデオに付随するものであってもよいし、独立したものであってもよい。
【００３８】
ビデオ受信回路２１−１は、ケーブルイコライザ、デシリアライザ、各種デコーダ、4:2:2／4:4:4デコーダ、およびA/D(Analog/Digital)コンバータ等を有する。ビデオ受信回路２１−１は、入力されたビデオ信号に対してA/D変換等の各種の処理を施し、ビデオ＃１を構成する各フレームのデータを生成する。ビデオ受信回路２１−１は、生成した各フレームのデータをフレームシンクロナイザ２２−１に出力する。
【００３９】
フレームシンクロナイザ２２−１は、各系統のビデオ間でフレームのタイミングを同期させ、ビデオ受信回路２１−１から供給された１フレームのデータをフレームメモリ２３−１に記憶させる。フレームシンクロナイザ２２−１は、多重回路４２−１からの要求に応じてフレームメモリ２３−１からフレームデータを読み出し、出力する。
【００４０】
実装上、ビデオ受信回路２１−１、フレームシンクロナイザ２２−１、多重回路４２−１の動作クロックとしてそれぞれ周波数の異なるクロックが用いられる場合、ビデオ受信回路２１−１とフレームシンクロナイザ２２−１の間、フレームシンクロナイザ２２−１と多重回路４２−１の間にはそれぞれDual-Port RAM等のFIFOが設けられる。FIFOを経由することによって、データの送受信を確実に行うことが可能になる。また、メモリアクセス時のデータレートの偏りを軽減することが可能になる。
【００４１】
ビデオ受信回路２１−２とフレームシンクロナイザ２２−２の間、フレームシンクロナイザ２２−２と多重回路４２−２の間にも、適宜、FIFOが設けられる。オーディオデータを処理する構成についても同様に、オーディオ受信回路３１−１とメモリ制御回路３２−１の間、メモリ制御回路３２−１と多重回路４２−３の間や、オーディオ受信回路３１−２とメモリ制御回路３２−２の間、メモリ制御回路３２−２と多重回路４２−４の間にも、適宜、FIFOが設けられる。
【００４２】
ここで、入力されたビデオ＃１のビデオ信号のフレーム周波数と、後述する多重ビデオ信号のフレーム周波数が一致している保証はない。フレームシンクロナイザ２２−１は、フレームメモリ２３−１に記憶されているビデオデータを重複して（同じフレームのデータを続けて）多重回路４２−１に供給したり、読み飛ばしを行ったりして、フレーム周波数の違いを吸収する。ビデオ＃１のビデオ信号のフレーム周波数と、多重ビデオ信号のフレーム周波数を一致させることについては特開２００９−７１７０１号公報に記載されている。
【００４３】
ビデオ受信回路２１−２は、ビデオ受信回路２１−１と同様に、入力されたビデオ信号に各種の処理を施し、ビデオ＃２を構成する各フレームのデータを生成する。ビデオ受信回路２１−２は、生成した各フレームのデータをフレームシンクロナイザ２２−２に出力する。
【００４４】
フレームシンクロナイザ２２−２は、フレームシンクロナイザ２２−１と同様に、各系統のビデオ信号間でフレームのタイミングを同期させ、ビデオ受信回路２１−２から供給されたフレームデータをフレームメモリ２３−２に記憶させる。フレームシンクロナイザ２２−２は、多重回路４２−２からの要求に応じてフレームメモリ２３−２からフレームデータを読み出し、出力する。フレームシンクロナイザ２２−２においても、フレームメモリ２３−２に記憶されているフレームデータの重複読み出しや読み飛ばしが適宜行われる。
【００４５】
オーディオ受信回路３１−１は、入力されたオーディオ信号に対してA/D変換、サンプリングレート変換、S/P変換などの各種の処理を施し、オーディオ＃１を構成するオーディオデータを生成する。生成されたオーディオデータは、オーディオサンプルの時系列から構成される。
【００４６】
オーディオ受信回路３１−１は、オーディオ＃１のオーディオデータを、多重ビデオフレームの１フレーム期間に相当する時間内に入力されたサンプルからなるオーディオデータ毎に分割する（切り出す）。また、オーディオ受信回路３１−１は、分割したオーディオデータを、それを構成するオーディオサンプルの数を表す情報であるサンプル数情報とともにメモリ制御回路３２−１に出力する。オーディオ受信回路３１−１に対しては、多重ビデオフレームの１フレーム期間を表す同期信号が多重ビデオ信号発生回路４１から供給される。多重ビデオフレームについては後述する。
【００４７】
図２は、オーディオサンプルの切り出しの例を示す図である。
【００４８】
図２の横軸は時間を表し、時間軸上に並ぶそれぞれの実線がオーディオサンプルを表す。図２の例においては、多重ビデオ信号発生回路４１から供給される同期信号（垂直同期信号）により、時刻ｔ１から時刻ｔ２までの時間である時間Ｔ１、および、時刻ｔ２から時刻ｔ３までの時間である時間Ｔ２が、それぞれ多重ビデオフレームの１フレーム期間とされている。
【００４９】
オーディオ受信回路３１−１は、時間Ｔ１に入力されたオーディオサンプルの数をカウントし、時刻ｔ２になったタイミングで、時間Ｔ１に入力されたオーディオサンプルを切り出す。オーディオ受信回路３１−１は、切り出したオーディオサンプルのデータを、時間Ｔ１に多重ビデオ信号発生回路４１から出力された多重ビデオフレームに多重化するデータとして、サンプル数情報とともにメモリ制御回路３２−１に出力する。
【００５０】
同様に、オーディオ受信回路３１−１は、時間Ｔ２に入力されたオーディオサンプルを切り出し、時間Ｔ２に多重ビデオ信号発生回路４１から出力された多重ビデオフレームに多重化するデータとしてサンプル数情報とともに出力する。
【００５１】
オーディオデータとビデオデータとで異なる点は、フレームシンクロナイザ機能を装備してはならない点である。これは、原則、オーディオデータは重複も欠落もしてはならないためである。従って、オーディオ受信回路３１−１においては、多重ビデオフレームの同期信号を基準として、１フレーム期間内に入力されたオーディオサンプルが、そのまま、１つの多重ビデオフレームに多重化するオーディオデータとして切り出される。
【００５２】
オーディオデータのサンプリング周波数が、多重ビデオフレームのフレーム周波数の整数倍ではない場合、１フレーム期間内にオーディオ受信回路３１−１に入力されるオーディオサンプルの数にばらつきが生じる。サンプル数情報をも多重ビデオフレームに多重化することによって、何サンプルのオーディオサンプルが多重ビデオフレームに多重化されているのかを、その多重ビデオフレームの供給を受けたプロセッサ４３等は判断することが可能になる。
【００５３】
図１の説明に戻り、メモリ制御回路３２−１は、オーディオ受信回路３１−１から供給されたオーディオデータとサンプル数情報をメモリ３３−１に記憶させる。メモリ制御回路３２−１は、多重回路４２−３からの要求に応じて、メモリ３３−１からオーディオデータとサンプル数情報を読み出し、出力する。
【００５４】
オーディオ受信回路３１−２は、オーディオ受信回路３１−１と同様に、入力されたオーディオ信号に対して各種の処理を施し、オーディオ＃２を構成するオーディオデータを生成する。オーディオ受信回路３１−２は、オーディオ＃２のオーディオデータを、多重ビデオフレームの１フレーム期間に相当する時間内に入力されたサンプルからなるオーディオデータ毎に分割し、サンプル数情報とともにメモリ制御回路３２−２に出力する。
【００５５】
メモリ制御回路３２−２は、オーディオ受信回路３１−２から供給されたオーディオデータとサンプル数情報をメモリ３３−２に記憶させる。メモリ制御回路３２−２は、多重回路４２−４からの要求に応じて、メモリ３３−２からオーディオデータとサンプル数情報を読み出し、出力する。
【００５６】
多重ビデオ信号発生回路４１は、発振子とPLL(Phase Locked Loop)を有する周波数マルチプライヤである。多重ビデオ信号発生回路４１は、各系統のビデオデータ、オーディオデータを多重化してプロセッサ４３に入力、またはプロセッサ４３から出力するためのビデオフレームを生成する。多重ビデオ信号発生回路４１により生成されるビデオフレームは、例えば、伝送に使用する帯域幅がプロセッサ４３のビデオポートの帯域幅を超えない範囲で許容される最大のサイズ（画素数）を有するフレームとされる。
【００５７】
以下、ビデオデータ、オーディオデータ等の、プロセッサ４３に入力するデータの多重化に用いられるビデオフレームを多重ビデオフレームという。また、多重ビデオフレームの信号を多重ビデオ信号という。
【００５８】
図３は、多重ビデオフレームの例を示す図である。
【００５９】
図３に示すように、多重ビデオ信号発生回路４１により生成された多重ビデオフレームは、ビデオデータ、オーディオデータが多重化されていないブランク（Blank）の画像である。
【００６０】
多重ビデオフレームのサイズは、各系統のビデオのフレームサイズと、各系統のオーディオの、多重ビデオフレームの１フレーム期間内に入力されたオーディオデータのサイズとの総和より大きい。多重ビデオフレームには、各系統のビデオのフレームを互いに重ならないように貼り付けることが可能とされる。また、各系統のオーディオの、多重ビデオフレームの１フレーム期間内に入力されたオーディオデータを挿入することが可能とされる。
【００６１】
多重ビデオ信号発生回路４１は、多重ビデオフレームのデータと同期信号を多重回路４２−１に出力する。多重ビデオフレームの同期信号は、多重ビデオフレームのデータとともに、多重回路４２−１より後段の各回路に供給される。多重ビデオ信号発生回路４１から出力された同期信号は、オーディオ受信回路３１−１と３１−２にも供給される。
【００６２】
多重回路４２−１は、要求に応じてフレームシンクロナイザ２２−１からデータが供給されたビデオ＃１のフレームを多重ビデオ信号発生回路４１から供給された多重ビデオフレームに貼り付ける。多重回路４２−１は、ビデオ＃１のフレームを貼り付けた多重ビデオフレームのデータを多重回路４２−２に出力する。
【００６３】
多重回路４２−２は、要求に応じてフレームシンクロナイザ２２−２からデータが供給されたビデオ＃２のフレームを多重回路４２−１から供給された多重ビデオフレームに貼り付ける。ビデオ＃２の１フレームは、ビデオ＃１のフレームと重ならない位置に貼り付けられる。多重回路４２−２は、ビデオ＃２のフレームを貼り付けた多重ビデオフレームのデータを多重回路４２−３に出力する。
【００６４】
多重回路４２−２から出力された多重ビデオフレームのデータは、ビデオ＃１の１フレームのデータと、ビデオ＃２の１フレームのデータが多重化されたデータになる。
【００６５】
多重回路４２−３は、要求に応じてメモリ制御回路３２−１から供給されたオーディオ＃１のオーディオデータとサンプル数情報を、多重回路４２−２から供給された多重ビデオフレームに挿入する。多重回路４２−３は、オーディオ＃１のオーディオデータとサンプル数情報を挿入した多重ビデオフレームのデータを多重回路４２−４に出力する。
【００６６】
多重回路４２−４は、要求に応じてメモリ制御回路３２−２から供給されたオーディオ＃２のオーディオデータとサンプル数情報を、多重回路４２−３から供給された多重ビデオフレームに挿入する。多重回路４２−４は、オーディオ＃２のオーディオデータとサンプル数情報を挿入した多重ビデオフレームのデータをプロセッサ４３に出力する。プロセッサ４３に対する入力は１系統のビデオデータになる。
【００６７】
図４は、多重化後の多重ビデオフレームの例を示す図である。
【００６８】
プロセッサ４３に入力される多重ビデオフレームは、ビデオ＃１および＃２の１フレームが貼り付けられるとともに、多重ビデオフレームの１フレーム期間内に入力されたオーディオ＃１および＃２のオーディオデータが挿入された画像になる。以下、適宜、水平方向に並ぶ画素をラインとして説明する。
【００６９】
図４の例においては、多重ビデオフレームの有効画枠の左上端に左上頂点を合わせるようにしてビデオ＃１のフレームが貼り付けられている。ビデオ＃１のフレームの１ライン目と、多重ビデオフレームの１ライン目は一致する。
【００７０】
また、ビデオ＃１のフレームと重ならず、かつ、１ライン目が、多重ビデオフレームのｍライン目にくるようにビデオ＃２のフレームが貼り付けられている。
【００７１】
さらに、多重ビデオフレームのn-2ライン目と次のラインであるn-1ライン目にオーディオ＃１のオーディオデータが挿入され、多重ビデオフレームの最も下のラインであるｎライン目にオーディオ＃２のオーディオデータが挿入されている。
【００７２】
多重ビデオフレームに挿入されたオーディオ＃１のオーディオサンプルの数を表すサンプル数情報ｓ１は、例えば図４に示すように、オーディオ＃１に割り当てられているラインの先頭であるn-2ライン目の先頭に挿入される。
【００７３】
また、オーディオ＃２のオーディオサンプルの数を表すサンプル数情報ｓ２は、例えば、オーディオ＃２に割り当てられているラインの先頭であるｎライン目の先頭に挿入される。
【００７４】
各データの多重位置に関する情報は、多重回路４２−１乃至４２−４、プロセッサ４３、および抽出回路４５−１乃至４５−４のそれぞれに予め設定される。多重位置に関する情報には、どのデータを多重ビデオフレームのどこに貼り付けるのかを表す、水平位置、垂直位置、横サイズ、縦サイズ、ライン間隔などの情報が含まれる。
【００７５】
図５は、図４に示す形で各データが貼り付けられた多重ビデオフレームのビデオ信号の例を示す図である。
【００７６】
図５に示すように、多重ビデオ信号は、それを時間軸上に表した場合、多重ビデオフレームの１ライン目からｎライン目までの各ラインのデータを伝送する区間毎の信号から構成される。
【００７７】
図５の例においては、時刻ｔ１からｔ２までの区間である区間Ｔ１は、多重ビデオフレームの１ライン目のデータを伝送する区間であり、時刻ｔ２からｔ３までの区間である区間Ｔ２は、多重ビデオフレームの２ライン目のデータを伝送する区間である。
【００７８】
また、時刻ｔｍからｔm+1までの区間である区間Ｔｍは、多重ビデオフレームのｍライン目のデータを伝送する区間であり、時刻ｔn-2からｔn-1までの区間である区間Ｔn-2は、多重ビデオフレームのn-2ライン目のデータを伝送する区間である。時刻ｔn-1からｔｎまでの区間である区間Ｔn-1は、多重ビデオフレームのn-1ライン目のデータを伝送する区間であり、時刻ｔｎからｔn+1までの区間である区間Ｔｎは、多重ビデオフレームのｎライン目のデータを伝送する区間である。
【００７９】
図４に示す形で各データが貼り付けられた場合、多重ビデオ信号の区間Ｔ１には、ビデオ＃１のフレームの１ライン目の信号が挿入される。また、多重ビデオ信号の区間Ｔ２には、ビデオ＃１のフレームの２ライン目の信号が挿入される。
【００８０】
また、多重ビデオフレームの区間Ｔｍには、その前半に、ビデオ＃１のフレームのｍライン目の信号が挿入され、所定の期間だけ空けて後半に、ビデオ＃２のフレームの１ライン目の信号が挿入される。
【００８１】
多重ビデオフレームの区間Ｔn-2の先頭にはサンプル数情報ｓ１が挿入される。区間Ｔn-2と区間Ｔn-1には、サンプル数情報ｓ１に続けて、サンプル数情報ｓ１により表される数のオーディオ＃１のオーディオサンプルの信号が挿入される。
【００８２】
多重ビデオフレームの区間Ｔｎの先頭にはサンプル数情報ｓ２が挿入され、サンプル数情報ｓ２に続けて、サンプル数情報ｓ２により表される数のオーディオ＃２のオーディオサンプルの信号が挿入される。
【００８３】
このように、プロセッサ４３に入力するデータの多重化は、入力するデータの信号を、多重ビデオ信号を構成する全区間のうちの、多重ビデオフレームにおける貼り付け位置に応じた区間に挿入することによって実現される。
【００８４】
図１の説明に戻り、プロセッサ４３は、ビデオポート（Video In）に入力された多重ビデオフレームのデータに多重化されている各系統のビデオデータと各系統のオーディオデータを抽出し、抽出したデータを対象として所定の処理を行う。プロセッサ４３は、CPU，GPU，DSP，SoCなどの演算装置である。
【００８５】
例えば、ビデオデータの抽出は、後述する抽出回路４５−３および４５−４による抽出と同様にして行われ、オーディオデータの抽出は、抽出回路４５−１および４５−２による抽出と同様にして行われる。
【００８６】
また、プロセッサ４３は、処理を施した各系統のビデオのフレーム、オーディオのサンプルを多重ビデオフレームに貼り付け、それらのデータを多重化する。
【００８７】
なお、プロセッサ４３から出力される多重ビデオフレームにおける各ビデオデータ、各オーディオデータの多重位置は、プロセッサ４３に入力される多重ビデオフレームにおける多重位置と異なっていてもよい。また、各系統のビデオデータ、各系統のオーディオデータを対象として処理が行われるのではなく、多重ビデオフレーム全体を対象として処理が行われるようにしてもよい。
【００８８】
プロセッサ４３は、処理後のデータが多重化された多重ビデオフレームをビデオポート（Video Out）から出力する。プロセッサ４３からの出力も、１系統のビデオデータになる。プロセッサ４３から出力された多重ビデオフレームのデータは同期信号とともに抽出回路４５−１に供給される。プロセッサ４３から出力された同期信号はタイミング発生回路４４にも供給される。
【００８９】
タイミング発生回路４４は、プロセッサ４３から供給された同期信号、または各系統のビデオ、オーディオのフォーマットに基づいて、各系統のビデオのフレーム、オーディオサンプルの出力タイミングの基準となる同期信号を生成する。例えば、ビデオ＃１の１フレームのデータとビデオ＃２の１フレームのデータは同期して同じタイミングで出力される。
【００９０】
タイミング発生回路４４には、フレーム周波数等の各系統のビデオのフォーマットに関する情報や、サンプリング周波数等の各系統のオーディオのフォーマットに関する情報が予め設定されている。
【００９１】
タイミング発生回路４４は、ビデオ＃１用の同期信号をビデオ送信回路５３−１に出力し、ビデオ＃２用の同期信号をビデオ送信回路５３−２に出力する。また、タイミング発生回路４４は、オーディオ＃１用の同期信号をオーディオ送信回路６３−１に出力し、オーディオ＃２用の同期信号をオーディオ送信回路６３−２に出力する。
【００９２】
抽出回路４５−１は、プロセッサ４３から供給された多重ビデオフレームのデータから、オーディオ＃２のオーディオデータを抽出する。
【００９３】
図４を参照して説明したように、抽出回路４５−１が抽出対象とするオーディオ＃２のオーディオデータの多重位置は、多重ビデオフレームの例えばｎライン目として予め設定されている。また、ｎライン目に挿入されているオーディオ＃２のオーディオサンプルの数は、ｎライン目の先頭に挿入されているサンプル数情報ｓ２により表される。
【００９４】
抽出回路４５−１は、多重ビデオフレームが供給されたとき、ｎライン目の先頭に挿入されている所定のビット数のデータをサンプル数情報ｓ２として抽出し、ｎライン目に挿入されているオーディオ＃２のオーディオサンプルの数を特定する。また、抽出回路４５−１は、サンプル数情報ｓ２に続けてｎライン目に挿入されているデータを、特定したサンプル数に相当する分だけ、オーディオ＃２のオーディオサンプルとして抽出する。
【００９５】
抽出回路４５−１は、抽出したオーディオ＃２のオーディオサンプルをメモリ制御回路６１−２に出力し、プロセッサ４３から供給された多重ビデオフレームのデータを抽出回路４５−２に出力する。
【００９６】
抽出回路４５−２は、抽出回路４５−１から供給された多重ビデオフレームから、抽出回路４５−１と同様にしてオーディオ＃１のオーディオサンプルを抽出する。
【００９７】
すなわち、抽出回路４５−２は、n-2ライン目の先頭に挿入されている所定のビット数のデータをサンプル数情報ｓ１として抽出し、n-2ライン目とn-1ライン目に挿入されているオーディオ＃１のオーディオサンプルの数を特定する。また、抽出回路４５−２は、サンプル数情報ｓ１に続けてn-2ライン目とn-1ライン目に挿入されているデータを、特定したサンプル数に相当する分だけ、オーディオ＃１のオーディオサンプルとして抽出する。
【００９８】
抽出回路４５−２は、抽出したオーディオ＃１のオーディオサンプルをメモリ制御回路６１−１に出力し、抽出回路４５−１から供給された多重ビデオフレームのデータを抽出回路４５−３に出力する。
【００９９】
抽出回路４５−３は、抽出回路４５−２から供給された多重ビデオフレームのデータから、ビデオ＃２のフレームデータを抽出する。
【０１００】
図４を参照して説明したように、抽出回路４５−３が抽出対象とするビデオ＃２のフレームの多重位置は予め設定されている。抽出回路４５−３は、ビデオ＃２のフレームの多重位置として予め設定されている位置のデータをビデオ＃２のフレームデータとして多重ビデオフレームから抽出する。
【０１０１】
抽出回路４５−３は、抽出したビデオ＃２のフレームデータをフレームシンクロナイザ５１−２に出力し、抽出回路４５−２から供給された多重ビデオフレームのデータを抽出回路４５−４に出力する。
【０１０２】
抽出回路４５−４は、抽出回路４５−３から供給された多重ビデオフレームのデータから、抽出回路４５−３と同様にしてビデオ＃１のフレームデータを抽出する。抽出回路４５−４は、抽出したビデオ＃１のフレームデータをフレームシンクロナイザ５１−１に出力する。
【０１０３】
フレームシンクロナイザ５１−１は、抽出回路４５−４から供給されたビデオ＃１のフレームデータをフレームメモリ５２−１に記憶させる。フレームシンクロナイザ５１−１は、ビデオ送信回路５３−１からの要求に応じてフレームメモリ５２−１からフレームデータを読み出し、出力する。
【０１０４】
ビデオ送信回路５３−１は、ケーブルドライバ（Cable Driver）、シリアライザ（Serializer）、各種エンコーダ（Encoder）、4:2:2／4:4:4コンバータ、およびD/A（Digital / Analog）コンバータ等を有する。ビデオ送信回路５３−１は、要求に応じてフレームシンクロナイザ５１−１から供給されたビデオ＃１のフレームデータを同期信号とともに、タイミング発生回路４４から供給された同期信号に従って情報処理装置１の外部に出力する。情報処理装置１の外部に出力する前、ビデオ送信回路５３−１は、適宜、フレームシンクロナイザ５１−１から供給されたフレームデータに対してD/A変換等の所定の処理を施す。
【０１０５】
実装上、抽出回路４５−４、フレームシンクロナイザ５１−１、ビデオ送信回路５３−１の動作クロックとしてそれぞれ周波数の異なるクロックが用いられる場合、抽出回路４５−４とフレームシンクロナイザ５１−１の間、フレームシンクロナイザ５１−１とビデオ送信回路５３−１の間にはそれぞれDual-Port RAM等のFIFOが設けられる。FIFOを経由することによって、データの送受信を確実に行うことが可能になる。また、メモリアクセス時のデータレートの偏りを軽減することが可能になる。
【０１０６】
抽出回路４５−３とフレームシンクロナイザ５１−２の間、フレームシンクロナイザ５１−２とビデオ送信回路５３−２の間にも、適宜、FIFOが設けられる。オーディオデータを処理する構成についても同様に、抽出回路４５−２とメモリ制御回路６１−１の間、メモリ制御回路６１−１とオーディオ送信回路６３−１の間や、抽出回路４５−１とメモリ制御回路６１−２の間、メモリ制御回路６１−２とオーディオ送信回路６３−２の間にも、適宜、FIFOが設けられる。
【０１０７】
ここで、出力するビデオ＃１のビデオ信号のフレーム周波数と、多重ビデオ信号のフレーム周波数が一致している保証はない。フレームシンクロナイザ５１−１は、フレームメモリ５２−１に記憶されているビデオデータを重複して（同じフレームのビデオデータを続けて）ビデオ送信回路５３−１に供給したり、読み飛ばしを行ったりして、フレーム周波数の違いを吸収する。
【０１０８】
フレームシンクロナイザ５１−２は、抽出回路４５−３から供給されたビデオ＃２のフレームデータをフレームメモリ５２−２に記憶させる。フレームシンクロナイザ５１−２は、ビデオ送信回路５３−２からの要求に応じてフレームメモリ５２−２からフレームデータを読み出し、出力する。
【０１０９】
ビデオ送信回路５３−２は、ビデオ送信回路５３−１と同様に、要求に応じてフレームシンクロナイザ５１−２から供給されたビデオ＃２のフレームデータを同期信号とともに、タイミング発生回路４４から供給された同期信号に従って外部に出力する。情報処理装置１の外部に出力する前、ビデオ送信回路５３−２は、適宜、フレームシンクロナイザ５１−２から供給されたフレームデータに対してD/A変換等の所定の処理を施す。
【０１１０】
メモリ制御回路６１−１は、抽出回路４５−２から供給されたオーディオ＃１のオーディオデータをメモリ６２−１に一時的に記憶させる。メモリ６２−１には、多重ビデオフレームの１フレーム期間内に入力されたオーディオサンプル単位で、オーディオ＃１のオーディオデータが記憶されることになる。メモリ制御回路６１−１は、オーディオ送信回路６３−１からの要求に応じて、メモリ６２−１からオーディオデータを読み出し、出力する。
【０１１１】
オーディオ送信回路６３−１は、要求に応じてメモリ制御回路６１−１から供給されたオーディオ＃１のオーディオデータを、１サンプルのデータずつ、タイミング発生回路４４から供給された同期信号に従って情報処理装置１の外部に出力する。情報処理装置１の外部に出力する前、オーディオ送信回路６３−１は、適宜、メモリ制御回路６１−１から供給されたオーディオデータに対してサンプリング周波数の変換、D/A変換等の処理を施す。
【０１１２】
メモリ制御回路６１−２は、抽出回路４５−１から供給されたオーディオ＃２のオーディオデータをメモリ６２−２に一時的に記憶させる。メモリ制御回路６１−２は、オーディオ送信回路６３−２からの要求に応じて、メモリ６２−２に記憶されているオーディオデータを読み出し、出力する。
【０１１３】
オーディオ送信回路６３−２は、要求に応じてメモリ制御回路６１−２から供給されたオーディオ＃２のオーディオデータを、１サンプルのデータずつ、タイミング発生回路４４から供給された同期信号に従って情報処理装置１の外部に出力する。情報処理装置１の外部に出力する前、オーディオ送信回路６３−２は、適宜、メモリ制御回路６１−２から供給されたオーディオデータに対してD/A変換等の所定の処理を施す。
【０１１４】
［ビデオ型インタフェース］
図６は、ビデオ型インタフェースを模式的に示す図である。
【０１１５】
ビデオ型インタフェースにおいては、水平同期信号（H-Sync）、垂直同期信号（V-Sync）、フィールドフラグ信号（Field Flag）、画像や音声よりなるデータ信号（Data）、クロックを示すイネーブル信号（EN）などが送信側から受信側に伝送される。フィールドフラグ信号は、第１フィールドであるか第２フィールドであるかを示す。
【０１１６】
図６のビデオ型インタフェースにおいて伝送されるビデオ信号の波形の例を図７に示す。図７の上段の信号群＃１１は、インタレース方式のビデオ信号の波形の例を示し、下段の信号群＃１２は、プログレッシブ方式のビデオ信号の波形の例を示す。
【０１１７】
図７の信号群＃１１に示す波形のうち、実線矢印で示す範囲の波形の詳細を図８に示す。図８は、HD(High-Definition)画像のビデオ信号の波形の例を示す。
【０１１８】
図８に示すように、垂直同期信号（V）の１周期の間に、１フィールド（540ライン）分のデータ（Data）が伝送される（Active Video）。また、水平同期信号（H）の１周期の間に１ライン（1920画素）分のデータ（Data）が伝送される。
【０１１９】
［情報処理装置の動作］
ここで、図９のフローチャートを参照して、情報処理装置１の処理について説明する。
【０１２０】
ステップＳ１において、ビデオ受信回路２１−１および２１−２によりビデオ受信処理が行われる。ビデオ受信回路２１−１により受信されたビデオ＃１を構成する各フレームのデータはフレームメモリ２３−１に記憶される。また、ビデオ受信回路２１−２により受信されたビデオ＃２を構成する各フレームのデータはフレームメモリ２３−２に記憶される。
【０１２１】
ステップＳ２において、オーディオ受信回路３１−１および３１−２によりオーディオ受信処理が行われる。オーディオ受信回路３１−１により切り出された、多重ビデオフレームの１フレーム期間内に入力されたオーディオ＃１のオーディオサンプルとサンプル数情報はメモリ３３−１に記憶される。また、オーディオ受信回路３１−２により切り出された、多重ビデオフレームの１フレーム期間内に入力されたオーディオ＃２のオーディオサンプルとサンプル数情報はメモリ３３−２に記憶される。
【０１２２】
ステップＳ３において、多重ビデオ信号発生回路４１は、多重ビデオフレームを生成し、多重ビデオフレームのデータと同期信号を出力する。
【０１２３】
ステップＳ４において、多重化処理が行われる。すなわち、ビデオ＃１の１フレームが多重回路４２−１により多重ビデオフレームに貼り付けられ、ビデオ＃２の１フレームが多重回路４２−２により多重ビデオフレームに貼り付けられる。また、オーディオ＃１のオーディオデータとサンプル数情報が多重回路４２−３により多重ビデオフレームに挿入され、オーディオ＃２のオーディオデータとサンプル数情報が多重回路４２−４により多重ビデオフレームに挿入される。
【０１２４】
ステップＳ５において、プロセッサ４３は、ビデオポートに入力された多重ビデオフレームのデータに多重化されているビデオデータ、オーディオデータを対象として所定の処理を行う。また、プロセッサ４３は、処理後のデータが多重化された多重ビデオフレームをビデオポートから出力する。
【０１２５】
ステップＳ６において、抽出処理が行われる。すなわち、オーディオ＃２のオーディオデータが、多重ビデオフレームのデータから抽出回路４５−１により抽出され、オーディオ＃１のオーディオデータが、多重ビデオフレームのデータから抽出回路４５−２により抽出される。また、ビデオ＃２のビデオデータが、多重ビデオフレームのデータから抽出回路４５−３により抽出され、ビデオ＃１のビデオデータが、多重ビデオフレームのデータから抽出回路４５−４により抽出される。
【０１２６】
ステップＳ７において、オーディオ出力処理が行われる。多重ビデオフレームのデータから抽出されたオーディオ＃１のデータが、メモリ６２−１に一時的に記憶された後、１サンプルずつ外部に出力され、オーディオ＃２のデータが、メモリ６２−２に一時的に記憶された後、１サンプルずつ外部に出力される。
【０１２７】
ステップＳ８において、ビデオ出力処理が行われる。多重ビデオフレームから抽出されたビデオ＃１のフレームデータが、フレームメモリ５２−１に一時的に記憶された後、外部に出力され、ビデオ＃２のフレームデータが、フレームメモリ５２−２に一時的に記憶された後、外部に出力される。ビデオ出力処理が終了した後、処理は終了される。
【０１２８】
次に、図１０のフローチャートを参照して、図９のステップＳ１において行われるビデオ受信処理について説明する。
【０１２９】
ステップＳ１１において、ビデオ受信回路２１−１は、入力されたビデオ信号を受信し、A/D変換等の各種の処理を施すことによって、ビデオ＃１を構成する各フレームのデータを生成する。ビデオ受信回路２１−２においても同様の処理が行われることによって、ビデオ＃２を構成する各フレームのデータが生成される。
【０１３０】
ステップＳ１２において、フレームシンクロナイザ２２−１は、ビデオ受信回路２１−１により生成されたビデオ＃１のフレームデータをフレームメモリ２３−１に記憶させる。フレームシンクロナイザ２２−２においても、ビデオ＃２のフレームデータをフレームメモリ２３−２に記憶させることが行われる。
【０１３１】
ビデオ＃１および＃２のフレームデータがフレームメモリに記憶された後、図９のステップＳ１に戻り、それ以降の処理が行われる。
【０１３２】
次に、図１１のフローチャートを参照して、図９のステップＳ２において行われるオーディオ受信処理について説明する。
【０１３３】
ステップＳ２１において、オーディオ受信回路３１−１は、入力されたオーディオ信号を受信し、A/D変換等の処理を施すことによって、オーディオサンプルの時系列から構成されるオーディオ＃１のオーディオデータを生成する。オーディオ受信回路３１−２においても同様の処理が行われ、オーディオ＃２のオーディオデータが生成される。
【０１３４】
ステップＳ２２において、オーディオ受信回路３１−１は、サンプル数をカウントしつつ、多重ビデオフレームの１フレーム期間内に入力されたオーディオ＃１のオーディオサンプルを切り出す。オーディオ受信回路３１−２においても同様の処理が行われ、多重ビデオフレームの１フレーム期間内に入力されたオーディオ＃２のオーディオサンプルが切り出される。
【０１３５】
ステップＳ２３において、メモリ制御回路３２−１は、切り出されたオーディオ＃１のオーディオサンプルとサンプル数情報をメモリ３３−１に記憶させる。また、メモリ制御回路３２−２は、切り出されたオーディオ＃２のオーディオサンプルとサンプル数情報をメモリ３３−２に記憶させる。
【０１３６】
オーディオ＃１および＃２のオーディオサンプルがメモリに記憶された後、図９のステップＳ２に戻り、それ以降の処理が行われる。
【０１３７】
次に、図１２のフローチャートを参照して、図９のステップＳ４において行われる多重化処理について説明する。図９のステップＳ３において生成された多重ビデオフレームのデータは多重回路４２−１に供給される。
【０１３８】
ステップＳ３１において、多重回路４２−１は、フレームシンクロナイザ２２−１に対して要求することによって、ビデオ＃１のフレームデータをフレームメモリ２３−１から読み出す。
【０１３９】
ステップＳ３２において、多重回路４２−１は、フレームメモリ２３−１からデータを読み出したビデオ＃１のフレームを、多重ビデオ信号発生回路４１から供給された多重ビデオフレームの所定の位置に貼り付ける。
【０１４０】
ステップＳ３１，Ｓ３２の処理と同様の処理が多重回路４２−２においても行われ、フレームメモリ２３−２からデータが読み出されたビデオ＃２のフレームが、多重回路４２−１から供給された多重ビデオフレームに貼り付けられる。
【０１４１】
ステップＳ３３において、多重回路４２−３は、メモリ制御回路３２−１に対して要求することによって、オーディオ＃１のオーディオデータとサンプル数情報をメモリ３３−１から読み出す。
【０１４２】
ステップＳ３４において、多重回路４２−３は、メモリ３３−１から読み出したオーディオ＃１のオーディオデータとサンプル数情報を、多重回路４２−２から供給された多重ビデオフレームに挿入する。
【０１４３】
ステップＳ３３，Ｓ３４の処理と同様の処理が多重回路４２−４においても行われ、メモリ３３−２から読み出されたオーディオ＃２のオーディオデータが、多重回路４２−３から供給された多重ビデオフレームにサンプル数情報とともに挿入される。
【０１４４】
全系統のビデオデータとオーディオデータが多重ビデオフレームのデータに多重化された後、図９のステップＳ４に戻り、それ以降の処理が行われる。多重ビデオフレームのデータとして多重化されたビデオデータとオーディオデータに対してプロセッサ４３により処理が施され、処理後のデータを多重化した多重ビデオフレームのデータが抽出回路４５−１に供給される。
【０１４５】
次に、図１３のフローチャートを参照して、図９のステップＳ６において行われる抽出処理について説明する。
【０１４６】
ステップＳ５１において、抽出回路４５−１は、プロセッサ４３から出力された多重ビデオフレームのデータを受信する。
【０１４７】
ステップＳ５２において、抽出回路４５−１は、上述したようにサンプル数情報を参照して、オーディオ＃２のオーディオデータを多重ビデオフレームのデータから抽出する。
【０１４８】
ステップＳ５３において、メモリ制御回路６１−２は、抽出回路４５−１により抽出されたオーディオ＃２のオーディオデータをメモリ６２−２に記憶させる。
【０１４９】
ステップＳ５２，Ｓ５３の処理と同様の処理が抽出回路４５−２、メモリ制御回路６１−１においても行われ、多重ビデオフレームのデータから抽出されたオーディオ＃１のオーディオデータがメモリ６２−１に記憶される。
【０１５０】
ステップＳ５４において、抽出回路４５−３は、ビデオ＃２のフレームデータを多重ビデオフレームのデータから抽出する。
【０１５１】
ステップＳ５５において、フレームシンクロナイザ５１−２は、抽出回路４５−３により抽出されたビデオ＃２のフレームデータをフレームメモリ５２−２に記憶させる。
【０１５２】
ステップＳ５４，Ｓ５５の処理と同様の処理が抽出回路４５−４、フレームシンクロナイザ５１−１においても行われ、多重ビデオフレームのデータから抽出されたビデオ＃１のフレームデータがフレームメモリ５２−１に記憶される。
【０１５３】
全系統のビデオデータとオーディオデータが多重ビデオフレームから抽出された後、図９のステップＳ６に戻り、それ以降の処理が行われる。
【０１５４】
次に、図１４のフローチャートを参照して、図９のステップＳ７において行われるオーディオ出力処理について説明する。
【０１５５】
ステップＳ６１において、オーディオ送信回路６３−２は、メモリ制御回路６１−２に対して要求することによって、オーディオ＃２のオーディオデータをメモリ６２−２から読み出す。
【０１５６】
ステップＳ６２において、オーディオ送信回路６３−２は、１サンプルのデータずつ、メモリ６２−２から読み出したオーディオ＃２のオーディオデータを外部に出力する。
【０１５７】
ステップＳ６１，Ｓ６２の処理と同様の処理がオーディオ送信回路６３−１においても行われ、メモリ６２−１から読み出されたオーディオ＃１のオーディオデータが外部に出力される。
【０１５８】
全系統のオーディオデータが出力された後、図９のステップＳ７に戻り、それ以降の処理が行われる。
【０１５９】
次に、図１５のフローチャートを参照して、図９のステップＳ８において行われるビデオ出力処理について説明する。
【０１６０】
ステップＳ７１において、ビデオ送信回路５３−２は、フレームシンクロナイザ５１−２に対して要求することによって、ビデオ＃２のフレームデータをフレームメモリ５２−２から読み出す。
【０１６１】
ステップＳ７２において、ビデオ送信回路５３−２は、フレームメモリ５２−２から読み出したビデオ＃２のフレームデータを外部に出力する。
【０１６２】
ステップＳ７１，Ｓ７２の処理と同様の処理がビデオ送信回路５３−１においても行われ、フレームメモリ５２−１から読み出されたビデオ＃１のフレームデータが外部に出力される。
【０１６３】
全系統のビデオのフレームデータが出力された後、図９のステップＳ８に戻り、それ以降の処理が行われる。
【０１６４】
以上の各ステップの処理は、必ずしも図に示す順に行われるものではなく、適宜、他のステップの処理と並行して、または他のステップの処理と前後して行われる。
【０１６５】
以上の一連の処理により、１つの入力ビデオポートを備えるプロセッサ４３に対して複数の系統のオーディオデータを入力することができる。また、１つの出力ビデオポートを備えるプロセッサ４３から、複数の系統のオーディオデータを出力させることができる。すなわち、プロセッサ４３に対するオーディオデータの入力、およびプロセッサ４３からのオーディオデータの出力を、１つのビデオポートを使って効率的に行うことができる。
【０１６６】
［多重化の例］
以上においては、２系統のビデオ信号と２系統のオーディオ信号が情報処理装置１に入力されるものとしたが、入力される信号の数は適宜変更可能である。例えば、ビデオ信号とオーディオ信号が４系統ずつ入力されるようにしてもよい。
【０１６７】
図１６は、ビデオ信号とオーディオ信号が４系統ずつ入力された場合の多重ビデオフレームの例を示す図である。
【０１６８】
図１６の例においては、ビデオ＃０乃至＃３のフレームが、互いに重ならないように、それぞれのフレームサイズを保持したまま、多重ビデオフレームの有効画枠内に貼り付けられている。図１６の多重ビデオフレームにおいては、ブランキング領域が水平方向と垂直方向にそれぞれ設けられ、有効画枠内の１ライン目から所定のラインまでの領域がビデオ用の領域であるビデオ領域Ａ１として設定されている。
【０１６９】
また、ビデオ領域Ａ１の下側に、オーディオデータ用の領域であるオーディオ領域Ａ２が設定されている。オーディオデータ領域Ａ２の各ラインには、オーディオ＃０乃至＃３のオーディオデータが、情報処理装置１に入力された順に、各ラインの左側を先頭にして詰めて挿入されている。
【０１７０】
各ラインの先頭には、そのラインに挿入されたオーディオサンプルの数を表すサンプル数情報が挿入される。なお、サンプル数情報は、各系統のオーディオデータに割り当てられたラインの先頭ではなく、多重ビデオフレームのブランキング期間などの他の位置に挿入することも可能である。
【０１７１】
図１６において、各ラインに挿入されるオーディオデータの水平方向の長さが異なることは、挿入されているオーディオデータのデータ量が系統毎に異なることを表す。上述したように、同じ多重ビデオフレームに多重化されるオーディオデータは、その多重ビデオフレームのフレーム期間内に入力されたものである。従って、各オーディオデータのサンプリング周波数が異なる場合や量子化精度が異なる場合、同じ多重ビデオフレームに多重化されるオーディオデータのデータ量にはばらつきが生じることになる。
【０１７２】
図１７は、ビデオ信号とオーディオ信号が４系統ずつ入力された場合の多重ビデオフレームの他の例を示す図である。
【０１７３】
図１７の多重ビデオフレームのビデオ領域Ａ１には、水平方向の画素数が有効画枠の水平方向の画素数と等しく、垂直方向の画素数が所定のライン数分の画素数からなる領域が各ビデオのフレームのデータを挿入するための領域として設定されている。図１７の例においては、ビデオ＃０乃至＃３のフレームのデータを挿入するための領域が上から順に設定されている。
【０１７４】
このように、入力されたときのサイズを保持したまま多重ビデオフレームに貼り付けられるのではなく、各ビデオのフレームが、入力時の形と合同ではない他の形で貼り付けられるようにしてもよい。各ビデオのフレームを貼り付けるための領域の設定の仕方によっては、データの多重化を効率的に行うことが可能になる。
【０１７５】
［変形例１］
図１８は、情報処理装置１の他の構成例を示すブロック図である。
【０１７６】
図１８に示す構成のうち、図１に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１７７】
図１８に示す構成は、多重ビデオ信号発生回路４１の前段に切り替え回路１１１が設けられている点で図１に示す情報処理装置１の構成と異なる。
【０１７８】
切り替え回路１１１に対しては、ビデオ＃１の同期信号、ビデオ＃２の同期信号、および、その２つの同期信号とは別に外部から入力された同期信号である外部同期信号が入力される。外部同期信号はタイミング発生回路４４にも供給される。
【０１７９】
切り替え回路１１１は、ビデオ＃１の同期信号、ビデオ＃２の同期信号、および外部同期信号のうちの所定の同期信号を選択し、多重ビデオ信号発生回路４１に出力する。
【０１８０】
多重ビデオ信号発生回路４１は、切り替え回路１１１から供給された同期信号により規定される周期で多重ビデオフレームを生成し、生成した多重ビデオフレームのデータを、切り替え回路１１１から供給された同期信号とともに多重回路４２−１に出力する。
【０１８１】
タイミング発生回路４４は、外部同期信号、または各系統のビデオ、オーディオのフォーマットに基づいて、各系統のビデオのフレームデータ、オーディオデータの出力タイミングの基準となる同期信号を生成し、出力する。
【０１８２】
このように、多重ビデオフレームを生成する周期を規定する同期信号として、外部から入力された同期信号を切り替えて用いるようにすることも可能である。
【０１８３】
［変形例２］
図１９は、情報処理装置１のさらに他の構成例を示すブロック図である。
【０１８４】
図１９の情報処理装置１に対しては、４系統のオーディオデータが入力されるようになされている。すなわち、図１９の情報処理装置１はオーディオデータ専用の機器である。入力されるオーディオデータの数は４以外の数とすることも可能である。重複する説明については適宜省略する。
【０１８５】
図１９のオーディオ受信回路３１−１および３１−２は、それぞれ、図１のオーディオ受信回路３１−１および３１−２と同様である。オーディオ受信回路３１−１においては、オーディオ＃１のオーディオデータが切り出され、サンプル数情報とともにメモリ３３−１に記憶される。また、オーディオ受信回路３１−２においては、オーディオ＃２のオーディオデータが切り出され、サンプル数情報とともにメモリ３３−２に記憶される。
【０１８６】
オーディオ受信回路３１−３は、入力されたオーディオ信号に対して各種の処理を施し、オーディオ＃３を構成するオーディオデータを生成する。オーディオ受信回路３１−３は、オーディオ＃３のオーディオデータを、多重ビデオフレームの１フレーム期間に相当する時間内に入力されたサンプルからなるオーディオデータ毎に分割し、サンプル数情報とともにメモリ制御回路３２−３に出力する。
【０１８７】
メモリ制御回路３２−３は、オーディオ受信回路３１−３から供給されたオーディオデータとサンプル数情報をメモリ３３−３に記憶させる。メモリ制御回路３２−３は、多重回路４２−３からの要求に応じて、メモリ３３−３からオーディオデータとサンプル数情報を読み出し、出力する。
【０１８８】
オーディオ受信回路３１−４も同様に、入力されたオーディオ信号に対して各種の処理を施し、オーディオ＃４を構成するオーディオデータを生成する。オーディオ受信回路３１−４は、オーディオ＃４のオーディオデータを、多重ビデオフレームの１フレーム期間に相当する時間内に入力されたサンプルからなるオーディオデータ毎に分割し、サンプル数情報とともにメモリ制御回路３２−４に出力する。
【０１８９】
メモリ制御回路３２−４は、オーディオ受信回路３１−４から供給されたオーディオデータとサンプル数情報をメモリ３３−４に記憶させる。メモリ制御回路３２−４は、多重回路４２−４からの要求に応じて、メモリ３３−４からオーディオデータとサンプル数情報を読み出し、出力する。
【０１９０】
多重回路４２−１は、メモリ制御回路３２−１から供給されたオーディオ＃１のオーディオデータとサンプル数情報を多重ビデオ信号発生回路４１から供給された多重ビデオフレームのデータに挿入する。多重回路４２−１は、オーディオ＃１のオーディオデータとサンプル数情報を挿入した多重ビデオフレームのデータを多重回路４２−２に出力する。
【０１９１】
多重回路４２−２は、メモリ制御回路３２−２から供給されたオーディオ＃２のオーディオデータとサンプル数情報を多重回路４２−１から供給された多重ビデオフレームのデータに挿入する。多重回路４２−２は、オーディオ＃２のオーディオデータとサンプル数情報を挿入した多重ビデオフレームのデータを多重回路４２−３に出力する。
【０１９２】
多重回路４２−３は、メモリ制御回路３２−３から供給されたオーディオ＃３のオーディオデータとサンプル数情報を多重回路４２−２から供給された多重ビデオフレームのデータに挿入する。多重回路４２−３は、オーディオ＃３のオーディオデータとサンプル数情報を挿入した多重ビデオフレームのデータを多重回路４２−４に出力する。
【０１９３】
多重回路４２−４は、メモリ制御回路３２−４から供給されたオーディオ＃４のオーディオデータとサンプル数情報を多重回路４２−３から供給された多重ビデオフレームのデータに挿入する。多重回路４２−４は、オーディオ＃４のオーディオデータとサンプル数情報を挿入した多重ビデオフレームのデータをプロセッサ４３に出力する。
【０１９４】
抽出回路４５−１は、プロセッサ４３から供給された多重ビデオフレームのデータから、オーディオ＃４のオーディオデータを抽出し、メモリ制御回路６１−４に出力する。また、抽出回路４５−１は、プロセッサ４３から供給された多重ビデオフレームのデータを抽出回路４５−２に出力する。
【０１９５】
抽出回路４５−２は、抽出回路４５−１から供給された多重ビデオフレームのデータから、オーディオ＃３のオーディオデータを抽出し、メモリ制御回路６１−３に出力する。また、抽出回路４５−２は、抽出回路４５−１から供給された多重ビデオフレームのデータを抽出回路４５−３に出力する。
【０１９６】
抽出回路４５−３は、抽出回路４５−２から供給された多重ビデオフレームのデータから、オーディオ＃２のオーディオデータを抽出し、メモリ制御回路６１−２に出力する。また、抽出回路４５−３は、抽出回路４５−２から供給された多重ビデオフレームのデータを抽出回路４５−４に出力する。
【０１９７】
抽出回路４５−４は、抽出回路４５−３から供給された多重ビデオフレームのデータから、オーディオ＃１のオーディオデータを抽出し、メモリ制御回路６１−１に出力する。
【０１９８】
メモリ制御回路６１−１は、抽出回路４５−４から供給されたオーディオ＃１のオーディオデータをメモリ６２−１に一時的に記憶させる。
【０１９９】
オーディオ送信回路６３−１は、メモリ制御回路６１−１から供給されたオーディオ＃１のオーディオデータを、１サンプルのデータずつ、タイミング発生回路４４から供給された同期信号に従って外部に出力する。
【０２００】
メモリ制御回路６１−２は、抽出回路４５−３から供給されたオーディオ＃２のオーディオデータをメモリ６２−２に一時的に記憶させる。
【０２０１】
オーディオ送信回路６３−２は、メモリ制御回路６１−２から供給されたオーディオ＃２のオーディオデータを、１サンプルのデータずつ、タイミング発生回路４４から供給された同期信号に従って外部に出力する。
【０２０２】
メモリ制御回路６１−３は、抽出回路４５−２から供給されたオーディオ＃３のオーディオデータをメモリ６２−３に一時的に記憶させる。
【０２０３】
オーディオ送信回路６３−３は、メモリ制御回路６１−３から供給されたオーディオ＃３のオーディオデータを、１サンプルのデータずつ、タイミング発生回路４４から供給された同期信号に従って外部に出力する。
【０２０４】
メモリ制御回路６１−４は、抽出回路４５−１から供給されたオーディオ＃４のオーディオデータをメモリ６２−４に一時的に記憶させる。
【０２０５】
オーディオ送信回路６３−４は、メモリ制御回路６１−４から供給されたオーディオ＃４のオーディオデータを、１サンプルのデータずつ、タイミング発生回路４４から供給された同期信号に従って外部に出力する。
【０２０６】
このように、オーディオデータだけを多重化した多重ビデオフレームがプロセッサ４３に入力されるようにしたり、プロセッサ４３から出力されるようにしたりすることも可能である。
【０２０７】
多重ビデオフレームに対するオーディオデータの挿入の仕方も、多重ビデオフレームの１ライン全体に１系統のオーディオデータが挿入されるのではなく、１ラインに複数系統のオーディオデータが挿入されるようにしてもよい。
【０２０８】
図２０は、図１９のプロセッサ４３の入力を示す吹き出しの中の多重ビデオフレームを拡大して示す図である。
【０２０９】
図２０の例においては、多重ビデオフレームの１ライン目から３ライン目まで、各ラインにオーディオ＃１と＃２のオーディオデータが挿入されている。１ライン目のオーディオ＃１のデータの先頭には、オーディオ＃１のオーディオサンプルの数を表すサンプル数情報ｓ１が挿入され、オーディオ＃２のデータの先頭には、オーディオ＃２のオーディオサンプルの数を表すサンプル数情報ｓ２が挿入されている。
【０２１０】
４ライン目と５ライン目には、それぞれ、ラインの一部にオーディオ＃２のオーディオデータが挿入されている。
【０２１１】
６ライン目と７ライン目には、それぞれ、ライン全体にオーディオ＃３のオーディオデータが挿入されている。最終ラインであるｎライン目には、ライン全体にオーディオ＃４のオーディオデータが挿入されている。
【０２１２】
［変形例３］
図２１は、情報処理装置１の他の構成例を示すブロック図である。
【０２１３】
図２１に示す構成のうち、図１または図１９に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２１４】
図２１の情報処理装置１に対しては、１系統のビデオ信号と、３系統のオーディオ信号が入力されるようになされている。ビデオ＃１のビデオ信号はビデオ受信回路２１−１に入力され、オーディオ＃１乃至＃３のオーディオ信号はオーディオ受信回路３１−１乃至３１−３に入力される。ビデオ＃１の同期信号は多重ビデオ信号発生回路４１とタイミング発生回路４４にも入力される。
【０２１５】
多重ビデオ信号発生回路４１は、ビデオ＃１の同期信号により規定される周期で多重ビデオフレームを生成し、生成した多重ビデオフレームを同期信号とともに多重回路４２−１に出力する。図１の構成においては多重ビデオフレームの同期信号として情報処理装置１の内部でいわば自己生成された信号が用いられるのに対して、図２１の構成においては、入力ビデオ信号の同期信号が用いられることになる。
【０２１６】
タイミング発生回路４４は、ビデオ＃１の同期信号、または各系統のビデオ、オーディオのフォーマットに基づいて、各系統のビデオのフレームデータ、オーディオサンプルのデータの出力タイミングの基準となる同期信号を生成し、出力する。
【０２１７】
［変形例４］
図２２は、情報処理装置１の他の構成例を示すブロック図である。
【０２１８】
図２２に示す構成のうち、図２１に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２１９】
図２２の多重ビデオ信号発生回路４１とタイミング発生回路４４に対しては、外部から入力された同期信号である外部同期信号が入力される。
【０２２０】
多重ビデオ信号発生回路４１は、外部同期信号により規定される周期で多重ビデオフレームを生成し、生成した多重ビデオフレームを同期信号とともに多重回路４２−１に出力する。図２２の構成においては、多重ビデオフレームの同期信号として外部同期信号が用いられる。
【０２２１】
タイミング発生回路４４は、外部同期信号、または各系統のビデオ、オーディオのフォーマットに基づいて、各系統のビデオのフレームデータ、オーディオサンプルのデータの出力タイミングの基準となる同期信号を生成し、出力する。
【０２２２】
［変形例５］
図２３および図２４は、情報処理装置１の他の構成例を示すブロック図である。
【０２２３】
図２３は、プロセッサ４３に入力される多重ビデオフレームを処理する入力側の構成を示し、図２４は、プロセッサ４３から出力された多重ビデオフレームを処理する出力側の構成を示す。図２３および図２４に示す構成のうち、図２１に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２２４】
図２３の例においては、多重回路４２−１の後段には、モジュール１２１乃至１２３が直列に接続されている。モジュール１２１は、オーディオ受信回路３１−１、メモリ制御回路３２−１、メモリ３３−１、および多重回路４２−２から構成される。モジュール１２２は、オーディオ受信回路３１−２、メモリ制御回路３２−２、メモリ３３−２、および多重回路４２−３から構成される。モジュール１２３は、オーディオ受信回路３１−３、メモリ制御回路３２−３、メモリ３３−３、および多重回路４２−４から構成される。
【０２２５】
図２４の例においては、プロセッサ４３の後段には、モジュール１３１乃至１３３が直列に接続されている。モジュール１３１は、抽出回路４５−１、メモリ制御回路６１−３、メモリ６２−３、およびオーディオ送信回路６３−３から構成され、モジュール１３２は、抽出回路４５−２、メモリ制御回路６１−２、メモリ６２−２、およびオーディオ送信回路６３−２から構成される。モジュール１３３は、抽出回路４５−３、メモリ制御回路６１−１、メモリ６２−１、およびオーディオ送信回路６３−１から構成される。
【０２２６】
情報処理装置１においては、各ビデオデータ／オーディオデータの入出力条件にも、各ビデオデータ／オーディオデータの処理にも相互依存はなく、多重化方法、多重化順序にも制限はない。従って、各ビデオデータ／オーディオデータの入力から多重化までの回路と、抽出から出力までの回路は完全に独立することが可能になる。
【０２２７】
これは、１系統のビデオデータを多重する単純な入力回路と、１系統のオーディオデータを多重する単純な入力回路を全体の系統数と同じ数だけ直列接続すれば所望の入力回路を実現できることを意味する。また、１系統のビデオデータを出力する単純な回路と、１系統のオーディオデータを出力する単純な回路を全体の系統数と同じ数だけ直列接続すれば所望の出力回路を実現できることを意味する。
【０２２８】
共通する回路をモジュール化することによって、情報処理装置１の構成を単純化することが可能になる。
【０２２９】
［その他の変形例］
以上においては、１入力１出力のビデオポートがプロセッサ４３に設けられるものとしたが、入力と出力がそれぞれ複数設けられるようにしてもよい。それぞれのビデオポートを用いて多重ビデオフレームの入出力が行われるようにすることにより、プロセッサ４３に対してさらに多くの系統のデータを入力し、また、処理後のデータがプロセッサ４３から出力されるようにすることが可能である。
【０２３０】
以上においては、入力ビデオデータ、多重ビデオフレームがフレーム単位で処理されるものとしたが、フィールド単位で処理されるようにしてもよい。上述した“フレーム”は、すべて“フィールド”と言い換えることが可能である。
【０２３１】
［コンピュータの構成例］
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２３２】
図２５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２３３】
CPU(Central Processing Unit)２０１、ROM(Read Only Memory)２０２、RAM(Random Access Memory)２０３は、バス２０４により相互に接続されている。
【０２３４】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウスなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７が接続される。また、入出力インタフェース２０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部２０８、ネットワークインタフェースなどよりなる通信部２０９、リムーバブルメディア２１１を駆動するドライブ２１０が接続される。
【０２３５】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを入出力インタフェース２０５及びバス２０４を介してRAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０２３６】
CPU２０１が実行するプログラムは、例えばリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部２０８にインストールされる。
【０２３７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２３８】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２３９】
１ 情報処理装置， ２１−１および２１−２ ビデオ受信回路， ２２−１および２２−２ フレームシンクロナイザ， ２３−１および２３−２ フレームメモリ， ３１−１および３１−２ オーディオ受信回路， ３２−１および３２−２ メモリ制御回路， ３３−１および３３−２ メモリ， ４１ 多重ビデオ信号発生回路， ４２−１乃至４２−４ 多重回路， ４３ プロセッサ， ４４ タイミング発生回路， ４５−１乃至４５−４ 抽出回路， ５１−１および５１−２ フレームシンクロナイザ， ５２−１および５２−２ フレームメモリ， ５３−１および５３−２ ビデオ送信回路， ６１−１および６１−２ メモリ制御回路， ６２−１および６２−２ メモリ， ６３−１および６３−２ オーディオ送信回路
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、プロセッサに対するオーディオデータの入力、およびプロセッサからのオーディオデータの出力を、ビデオポートを使って効率的に行うことができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
［ビデオ型インタフェース］
クロック、水平同期信号、垂直同期信号等のタイミング信号と、画像データとを伝送する一方向の伝送形式を「ビデオ型インタフェース」という。SMPTE(Society of Motion Picture and Television Engineers)125MやSMPTE274Mはビデオ型インタフェースの代表例となる。
【０００３】
ビデオ型インタフェースには、DVI/VESAのようにデータイネーブル信号を加える方式、HDMIのようにビデオデータをシリアライズする方式、SMPTE259MやSMPTE292Mのようにタイミング情報をデータ線にさらに多重する方式もある。
【０００４】
以下、適宜、ビデオ型インタフェースにより伝送される信号セットを「ビデオ信号」という。また、ビデオ型インタフェースの入力ピンと出力ピンのセットを「ビデオポート」という。
【０００５】
［ビデオポートの帯域幅］
ビデオポートの特長は、帯域幅の広さと実効速度の安定性にある。例えば、24bit HD(1920x1080@30frame/sec)を謳うビデオポートでは、1920×1080×30pix/sec＝186MB/sの安定的なデータ転送を保証する。
【０００６】
ビデオポートの帯域幅が急速に向上してきている。これは、ディスプレイの解像度が向上したこと、放送画質が標準画質(720×480)からHD画質(1920×1080)へ移行したこと、ディスプレイの表示能力が多様化(480i/480p/1080i/720p/1080p)したことなどによる。いまでは、HD(1920x1080@30frame/sec)やWUXGA(1920x1200@60frame/sec)の帯域幅は一般的なものになっている。
【０００７】
［ビデオ・オーディオの多チャンネル化］
ところで、近年、映像音響機器は多数のビデオ／オーディオ信号を扱うようになってきている。
【０００８】
例えば、家庭用のデジタルレコーダにおいては次のようなデータが出力系のデータとして扱われる。
・メニューやガイドが入らない映像出力（ビデオ出力）。
・メニューやガイドが入る映像出力（モニタ出力）。
・アンテナからのビットストリームをデコードした映像出力（デコーダ出力）。
【０００９】
また、映像加工に用いる業務用の機器においては、多いものでは次のようなデータが出力系のデータとして扱われ、かつ、同時に出力することが求められる。
・標準の映像出力（プログラム出力、ビデオ出力）。
・スーパーインポーズした映像出力（モニタ出力）。
・数秒前の映像（プレビュー出力）。
・外部ディスプレイへの表示画面。
・機器のディスプレイへの表示。
【００１０】
特に映像加工に用いる業務用の機器が扱うデータには、SD/HD、4:2:2/4:4:4、RGB/YCbCr、インタレース／プログレッシブといったような、様々なディスプレイサイズ、様々なフレーム周波数（リフレッシュレート）のデータが混在する。
【００１１】
入力系についても、異なるフォーマットで非同期のビデオ信号を同時入力・同時記録したり、同時入力しながらそれらを切り替えたり、切り替えるときに加工して合成したり、といったように、多数の映像をプロセッサに同時入力することが求められる。ビデオに付随するオーディオのチャンネル数も、5.1ch、7.1ch、9.1ch、マルチチャンネルでの他カ国語などと急速に増大している。
【００１２】
このように、映像音響機器のプロセッサには、複数のビデオ、複数のオーディオの入出力を同時に行うことが可能であることが要求される。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００６−２３６０５６号公報
【特許文献２】特開２００９−７１７０１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
［一般的なプロセッサのビデオ／オーディオ入出力ポート］
数年前まで、CPU(Central Processing Unit)やDSP(Digital Signal Processor)等の入出力としては、アドレス信号、制御信号の信号線と双方向のデータ線、または、制御信号の信号線と双方向のアドレス・データ多重線を用いるのが一般的であった。ビデオ型インタフェースの入出力ポートを持つのはやや特殊なことであった。
【００１５】
オーディオ専用を謳ったDSPには以前からオーディオ入出力ポートが装備されているが、オーディオ入出力ポートがオーディオ専用DSP以外にも装備されつつある。また、近年、プロセッサの性能向上と用途別のSoC(System On a Chip)化が進み、メディアプロセッサ、GPU(Graphics Processing Unit)、ビデオ用途向けDSPなどのように、ビデオ型インタフェースの入出力ポートを備えるプロセッサが増えてきた。
【００１６】
上述したような複数のビデオをシリアル伝送で入力しようとした場合、数百MHzから数GHzの帯域が必要になるが、このような広帯域の信号を汎用のプロセッサに入力することは現実的ではない。パラレルのまま入力しようとすると１系統あたり数十本の信号線が必要になる。
【００１７】
一方、オーディオのシリアル伝送は現実的だが、それでも１系統（一般に２チャンネル）あたり３本の信号線が必要になる。ビデオ、オーディオとも、チャンネル数が増えることに比例して、プロセッサに用意する必要のあるピンの数は増大する。
【００１８】
そのため、ビデオ／オーディオ入出力ポートを備えるプロセッサであっても、設けられる入出力ポートの数は、ビデオについては１系統ずつ、オーディオについてもマルチチャンネル１系統から２系統までであることが多い。
【００１９】
上述したような複数のビデオ、複数のオーディオの処理をプロセッサに行わせるためには、このような少ない数の入出力ポートを用いて、データの入出力を効率的に行う必要がある。
【００２０】
本発明はこのような状況に鑑みてなされたものであり、プロセッサに対するオーディオデータの入力、およびプロセッサからのオーディオデータの出力を、ビデオポートを使って効率的に行うことができるようにするものである。
【課題を解決するための手段】
【００２１】
本発明の一側面の情報処理装置は、所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成する生成手段と、入力されたオーディオデータを、先頭のサンプルから順に、前記多重ビデオフレームの１フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割する分割手段と、複数の系統のデータとして入力されたそれぞれのオーディオデータから得られた複数の前記分割後のオーディオデータと、前記分割後のオーディオデータを構成するサンプルの数を表すサンプル数情報とを、前記多重ビデオフレームのデータとして多重化する多重化手段と、入力ビデオポートから入力された多重化後の前記多重ビデオフレームに多重化されている前記分割後のオーディオデータに処理を施し、処理を施した前記分割後のオーディオデータと前記サンプル数情報とを多重化した前記多重ビデオフレームを出力ビデオポートから出力する処理手段と、前記サンプル数情報に従って、前記処理手段から出力された前記多重ビデオフレームに多重化されている各系統の前記分割後のオーディオデータを抽出する抽出手段と、抽出された各系統の前記分割後のオーディオデータを先頭のサンプルから順に外部に出力する送信手段とを備える。
【００２２】
前記分割手段と前記送信手段は、それぞれ、入力されるオーディオデータの系統の数と同じ数だけ設けられ、それぞれの前記分割手段と前記送信手段においては、１系統のオーディオデータを対象として処理が行われるようにすることができる。
【００２３】
前記多重化手段には、複数の前記分割後のオーディオデータと前記サンプル数情報とを、系統毎に予め設定された位置のデータとして多重化させることができる。
【００２４】
前記抽出手段には、予め設定された位置のデータとして多重化されている前記サンプル数情報により表される数のサンプルを抽出することによって、前記分割後のオーディオデータを抽出させることができる。
【００２５】
前記多重ビデオフレームは、フォーマットが異なる複数のビデオデータの各フレーム画像を互いに重ならないように貼り付け可能な、前記複数のビデオデータの各フォーマットが規定する各フレーム画像の画面サイズの総和以上の画面サイズを有するようにすることができる。
【００２６】
前記多重化手段には、さらに、前記複数のビデオデータの各フレーム画像が互いに重ならないように、各フォーマットが規定する画面サイズを保持したまま前記多重ビデオフレームに貼り付けることによって前記複数のビデオデータを多重化させることができる。
【００２７】
本発明の一側面の情報処理方法は、所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、入力されたオーディオデータを、先頭のサンプルから順に、前記多重ビデオフレームの１フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割し、複数の系統のデータとして入力されたそれぞれのオーディオデータから得られた複数の前記分割後のオーディオデータと、前記分割後のオーディオデータを構成するサンプルの数を表すサンプル数情報とを、前記多重ビデオフレームのデータとして多重化し、入力ビデオポートから処理手段に入力された多重化後の前記多重ビデオフレームに多重化されている前記分割後のオーディオデータに前記処理手段において処理を施し、処理を施した前記分割後のオーディオデータと前記サンプル数情報とを多重化した前記多重ビデオフレームを前記処理手段の出力ビデオポートから出力し、前記サンプル数情報に従って、前記処理手段から出力された前記多重ビデオフレームに多重化されている各系統の前記分割後のオーディオデータを抽出し、抽出した各系統の前記分割後のオーディオデータを先頭のサンプルから順に外部に出力するステップを含む。
【００２８】
本発明の一側面のプログラムは、所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、入力されたオーディオデータを、先頭のサンプルから順に、前記多重ビデオフレームの１フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割し、複数の系統のデータとして入力されたそれぞれのオーディオデータから得られた複数の前記分割後のオーディオデータと、前記分割後のオーディオデータを構成するサンプルの数を表すサンプル数情報とを、前記多重ビデオフレームのデータとして多重化し、入力ビデオポートから処理手段に入力された多重化後の前記多重ビデオフレームに多重化されている前記分割後のオーディオデータに前記処理手段において処理を施し、処理を施した前記分割後のオーディオデータと前記サンプル数情報とを多重化した前記多重ビデオフレームを前記処理手段の出力ビデオポートから出力し、前記サンプル数情報に従って、前記処理手段から出力された前記多重ビデオフレームに多重化されている各系統の前記分割後のオーディオデータを抽出し、抽出した各系統の前記分割後のオーディオデータを先頭のサンプルから順に外部に出力するステップを含む処理をコンピュータに実行させる。
【００２９】
本発明の一側面においては、所定の画面サイズを有するビデオフレームである多重ビデオフレームが生成され、入力されたオーディオデータが、先頭のサンプルから順に、前記多重ビデオフレームの１フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割される。また、複数の系統のデータとして入力されたそれぞれのオーディオデータから得られた複数の前記分割後のオーディオデータと、前記分割後のオーディオデータを構成するサンプルの数を表すサンプル数情報とが、前記多重ビデオフレームのデータとして多重化され、入力ビデオポートから処理手段に入力された多重化後の前記多重ビデオフレームに多重化されている前記分割後のオーディオデータに前記処理手段において処理が施され、処理が施された前記分割後のオーディオデータと前記サンプル数情報とが多重化された前記多重ビデオフレームが前記処理手段の出力ビデオポートから出力される。さらに、前記サンプル数情報に従って、前記処理手段から出力された前記多重ビデオフレームに多重化されている各系統の前記分割後のオーディオデータが抽出され、抽出された各系統の前記分割後のオーディオデータが先頭のサンプルから順に外部に出力される。
【発明の効果】
【００３０】
本発明によれば、プロセッサに対するオーディオデータの入力、およびプロセッサからのオーディオデータの出力を、ビデオポートを使って効率的に行うことができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の一実施形態に係る情報処理装置の構成例を示すブロック図である。
【図２】オーディオサンプルの切り出しの例を示す図である。
【図３】多重ビデオフレームの例を示す図である。
【図４】多重化後の多重ビデオフレームの例を示す図である。
【図５】多重ビデオフレームのビデオ信号の例を示す図である。
【図６】ビデオ型インタフェースを模式的に示す図である。
【図７】ビデオ信号の波形の例を示す図である。
【図８】図７の実線矢印で示す範囲の波形の詳細を示す図である。
【図９】情報処理装置の処理について説明するフローチャートである。
【図１０】図９のステップＳ１において行われるビデオ受信処理について説明するフローチャートである。
【図１１】図９のステップＳ２において行われるオーディオ受信処理について説明するフローチャートである。
【図１２】図９のステップＳ４において行われる多重化処理について説明するフローチャートである。
【図１３】図９のステップＳ６において行われる抽出処理について説明するフローチャートである。
【図１４】図９のステップＳ７において行われるオーディオ出力処理について説明するフローチャートである。
【図１５】図９のステップＳ８において行われるビデオ出力処理について説明するフローチャートである。
【図１６】多重ビデオフレームの例を示す図である。
【図１７】多重ビデオフレームの他の例を示す図である。
【図１８】情報処理装置の他の構成例を示すブロック図である。
【図１９】情報処理装置の他の構成例を示すブロック図である。
【図２０】図１９の多重ビデオフレームを拡大して示す図である。
【図２１】情報処理装置の他の構成例を示すブロック図である。
【図２２】情報処理装置の他の構成例を示すブロック図である。
【図２３】情報処理装置の他の構成例を示すブロック図である。
【図２４】情報処理装置の他の構成例を示すブロック図である。
【図２５】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３２】
［情報処理装置の全体構成］
図１は、本発明の一実施形態に係る情報処理装置１の構成例を示すブロック図である。
【００３３】
情報処理装置１は、１入力１出力のビデオポートを有するプロセッサ４３を用いて２系統ずつ入力されたビデオデータ、オーディオデータに対して処理を施し、ビデオデータ、オーディオデータを２系統ずつ出力する機器である。
【００３４】
外部から供給されたビデオ＃１のビデオ信号は同期信号とともにビデオ受信回路２１−１に入力され、ビデオ＃２のビデオ信号は同期信号とともにビデオ受信回路２１−２に入力される。
【００３５】
解像度、フレームレート、走査方式、伝送方式、および圧縮方式等の、ビデオ＃１とビデオ＃２のフォーマットは互いに同一であってもよいし、異なっていてもよい。ビデオ＃１のフレームとビデオ＃２のフレームの入力タイミングは同期していなくてもよい。
【００３６】
また、外部から供給されたオーディオ＃１のオーディオ信号はオーディオ受信回路３１−１に入力され、オーディオ＃２のオーディオ信号はオーディオ受信回路３１−２に入力される。例えば、オーディオ受信回路３１−１と３１−２には、クロック信号、データ信号、サンプリング周波数を表す信号からなる三線オーディオの形でオーディオ信号が入力される。
【００３７】
サンプリング周波数、ビット数、チャンネル数等の、オーディオ＃１とオーディオ＃２のフォーマットも、互いに同一であってもよいし、異なっていてもよい。オーディオ＃１のデータとオーディオ＃２のデータの入力タイミングも同期していなくてもよい。オーディオはビデオに付随するものであってもよいし、独立したものであってもよい。
【００３８】
ビデオ受信回路２１−１は、ケーブルイコライザ、デシリアライザ、各種デコーダ、4:2:2／4:4:4デコーダ、およびA/D(Analog/Digital)コンバータ等を有する。ビデオ受信回路２１−１は、入力されたビデオ信号に対してA/D変換等の各種の処理を施し、ビデオ＃１を構成する各フレームのデータを生成する。ビデオ受信回路２１−１は、生成した各フレームのデータをフレームシンクロナイザ２２−１に出力する。
【００３９】
フレームシンクロナイザ２２−１は、各系統のビデオ間でフレームのタイミングを同期させ、ビデオ受信回路２１−１から供給された１フレームのデータをフレームメモリ２３−１に記憶させる。フレームシンクロナイザ２２−１は、多重回路４２−１からの要求に応じてフレームメモリ２３−１からフレームデータを読み出し、出力する。
【００４０】
実装上、ビデオ受信回路２１−１、フレームシンクロナイザ２２−１、多重回路４２−１の動作クロックとしてそれぞれ周波数の異なるクロックが用いられる場合、ビデオ受信回路２１−１とフレームシンクロナイザ２２−１の間、フレームシンクロナイザ２２−１と多重回路４２−１の間にはそれぞれDual-Port RAM等のFIFOが設けられる。FIFOを経由することによって、データの送受信を確実に行うことが可能になる。また、メモリアクセス時のデータレートの偏りを軽減することが可能になる。
【００４１】
ビデオ受信回路２１−２とフレームシンクロナイザ２２−２の間、フレームシンクロナイザ２２−２と多重回路４２−２の間にも、適宜、FIFOが設けられる。オーディオデータを処理する構成についても同様に、オーディオ受信回路３１−１とメモリ制御回路３２−１の間、メモリ制御回路３２−１と多重回路４２−３の間や、オーディオ受信回路３１−２とメモリ制御回路３２−２の間、メモリ制御回路３２−２と多重回路４２−４の間にも、適宜、FIFOが設けられる。
【００４２】
ここで、入力されたビデオ＃１のビデオ信号のフレーム周波数と、後述する多重ビデオ信号のフレーム周波数が一致している保証はない。フレームシンクロナイザ２２−１は、フレームメモリ２３−１に記憶されているビデオデータを重複して（同じフレームのデータを続けて）多重回路４２−１に供給したり、読み飛ばしを行ったりして、フレーム周波数の違いを吸収する。ビデオ＃１のビデオ信号のフレーム周波数と、多重ビデオ信号のフレーム周波数を一致させることについては特開２００９−７１７０１号公報に記載されている。
【００４３】
ビデオ受信回路２１−２は、ビデオ受信回路２１−１と同様に、入力されたビデオ信号に各種の処理を施し、ビデオ＃２を構成する各フレームのデータを生成する。ビデオ受信回路２１−２は、生成した各フレームのデータをフレームシンクロナイザ２２−２に出力する。
【００４４】
フレームシンクロナイザ２２−２は、フレームシンクロナイザ２２−１と同様に、各系統のビデオ信号間でフレームのタイミングを同期させ、ビデオ受信回路２１−２から供給されたフレームデータをフレームメモリ２３−２に記憶させる。フレームシンクロナイザ２２−２は、多重回路４２−２からの要求に応じてフレームメモリ２３−２からフレームデータを読み出し、出力する。フレームシンクロナイザ２２−２においても、フレームメモリ２３−２に記憶されているフレームデータの重複読み出しや読み飛ばしが適宜行われる。
【００４５】
オーディオ受信回路３１−１は、入力されたオーディオ信号に対してA/D変換、サンプリングレート変換、S/P変換などの各種の処理を施し、オーディオ＃１を構成するオーディオデータを生成する。生成されたオーディオデータは、オーディオサンプルの時系列から構成される。
【００４６】
オーディオ受信回路３１−１は、オーディオ＃１のオーディオデータを、多重ビデオフレームの１フレーム期間に相当する時間内に入力されたサンプルからなるオーディオデータ毎に分割する（切り出す）。また、オーディオ受信回路３１−１は、分割したオーディオデータを、それを構成するオーディオサンプルの数を表す情報であるサンプル数情報とともにメモリ制御回路３２−１に出力する。オーディオ受信回路３１−１に対しては、多重ビデオフレームの１フレーム期間を表す同期信号が多重ビデオ信号発生回路４１から供給される。多重ビデオフレームについては後述する。
【００４７】
図２は、オーディオサンプルの切り出しの例を示す図である。
【００４８】
図２の横軸は時間を表し、時間軸上に並ぶそれぞれの実線がオーディオサンプルを表す。図２の例においては、多重ビデオ信号発生回路４１から供給される同期信号（垂直同期信号）により、時刻ｔ１から時刻ｔ２までの時間である時間Ｔ１、および、時刻ｔ２から時刻ｔ３までの時間である時間Ｔ２が、それぞれ多重ビデオフレームの１フレーム期間とされている。
【００４９】
オーディオ受信回路３１−１は、時間Ｔ１に入力されたオーディオサンプルの数をカウントし、時刻ｔ２になったタイミングで、時間Ｔ１に入力されたオーディオサンプルを切り出す。オーディオ受信回路３１−１は、切り出したオーディオサンプルのデータを、時間Ｔ１に多重ビデオ信号発生回路４１から出力された多重ビデオフレームに多重化するデータとして、サンプル数情報とともにメモリ制御回路３２−１に出力する。
【００５０】
同様に、オーディオ受信回路３１−１は、時間Ｔ２に入力されたオーディオサンプルを切り出し、時間Ｔ２に多重ビデオ信号発生回路４１から出力された多重ビデオフレームに多重化するデータとしてサンプル数情報とともに出力する。
【００５１】
オーディオデータとビデオデータとで異なる点は、フレームシンクロナイザ機能を装備してはならない点である。これは、原則、オーディオデータは重複も欠落もしてはならないためである。従って、オーディオ受信回路３１−１においては、多重ビデオフレームの同期信号を基準として、１フレーム期間内に入力されたオーディオサンプルが、そのまま、１つの多重ビデオフレームに多重化するオーディオデータとして切り出される。
【００５２】
オーディオデータのサンプリング周波数が、多重ビデオフレームのフレーム周波数の整数倍ではない場合、１フレーム期間内にオーディオ受信回路３１−１に入力されるオーディオサンプルの数にばらつきが生じる。サンプル数情報をも多重ビデオフレームに多重化することによって、何サンプルのオーディオサンプルが多重ビデオフレームに多重化されているのかを、その多重ビデオフレームの供給を受けたプロセッサ４３等は判断することが可能になる。
【００５３】
図１の説明に戻り、メモリ制御回路３２−１は、オーディオ受信回路３１−１から供給されたオーディオデータとサンプル数情報をメモリ３３−１に記憶させる。メモリ制御回路３２−１は、多重回路４２−３からの要求に応じて、メモリ３３−１からオーディオデータとサンプル数情報を読み出し、出力する。
【００５４】
オーディオ受信回路３１−２は、オーディオ受信回路３１−１と同様に、入力されたオーディオ信号に対して各種の処理を施し、オーディオ＃２を構成するオーディオデータを生成する。オーディオ受信回路３１−２は、オーディオ＃２のオーディオデータを、多重ビデオフレームの１フレーム期間に相当する時間内に入力されたサンプルからなるオーディオデータ毎に分割し、サンプル数情報とともにメモリ制御回路３２−２に出力する。
【００５５】
メモリ制御回路３２−２は、オーディオ受信回路３１−２から供給されたオーディオデータとサンプル数情報をメモリ３３−２に記憶させる。メモリ制御回路３２−２は、多重回路４２−４からの要求に応じて、メモリ３３−２からオーディオデータとサンプル数情報を読み出し、出力する。
【００５６】
多重ビデオ信号発生回路４１は、発振子とPLL(Phase Locked Loop)を有する周波数マルチプライヤである。多重ビデオ信号発生回路４１は、各系統のビデオデータ、オーディオデータを多重化してプロセッサ４３に入力、またはプロセッサ４３から出力するためのビデオフレームを生成する。多重ビデオ信号発生回路４１により生成されるビデオフレームは、例えば、伝送に使用する帯域幅がプロセッサ４３のビデオポートの帯域幅を超えない範囲で許容される最大のサイズ（画素数）を有するフレームとされる。
【００５７】
以下、ビデオデータ、オーディオデータ等の、プロセッサ４３に入力するデータの多重化に用いられるビデオフレームを多重ビデオフレームという。また、多重ビデオフレームの信号を多重ビデオ信号という。
【００５８】
図３は、多重ビデオフレームの例を示す図である。
【００５９】
図３に示すように、多重ビデオ信号発生回路４１により生成された多重ビデオフレームは、ビデオデータ、オーディオデータが多重化されていないブランク（Blank）の画像である。
【００６０】
多重ビデオフレームのサイズは、各系統のビデオのフレームサイズと、各系統のオーディオの、多重ビデオフレームの１フレーム期間内に入力されたオーディオデータのサイズとの総和より大きい。多重ビデオフレームには、各系統のビデオのフレームを互いに重ならないように貼り付けることが可能とされる。また、各系統のオーディオの、多重ビデオフレームの１フレーム期間内に入力されたオーディオデータを挿入することが可能とされる。
【００６１】
多重ビデオ信号発生回路４１は、多重ビデオフレームのデータと同期信号を多重回路４２−１に出力する。多重ビデオフレームの同期信号は、多重ビデオフレームのデータとともに、多重回路４２−１より後段の各回路に供給される。多重ビデオ信号発生回路４１から出力された同期信号は、オーディオ受信回路３１−１と３１−２にも供給される。
【００６２】
多重回路４２−１は、要求に応じてフレームシンクロナイザ２２−１からデータが供給されたビデオ＃１のフレームを多重ビデオ信号発生回路４１から供給された多重ビデオフレームに貼り付ける。多重回路４２−１は、ビデオ＃１のフレームを貼り付けた多重ビデオフレームのデータを多重回路４２−２に出力する。
【００６３】
多重回路４２−２は、要求に応じてフレームシンクロナイザ２２−２からデータが供給されたビデオ＃２のフレームを多重回路４２−１から供給された多重ビデオフレームに貼り付ける。ビデオ＃２の１フレームは、ビデオ＃１のフレームと重ならない位置に貼り付けられる。多重回路４２−２は、ビデオ＃２のフレームを貼り付けた多重ビデオフレームのデータを多重回路４２−３に出力する。
【００６４】
多重回路４２−２から出力された多重ビデオフレームのデータは、ビデオ＃１の１フレームのデータと、ビデオ＃２の１フレームのデータが多重化されたデータになる。
【００６５】
多重回路４２−３は、要求に応じてメモリ制御回路３２−１から供給されたオーディオ＃１のオーディオデータとサンプル数情報を、多重回路４２−２から供給された多重ビデオフレームに挿入する。多重回路４２−３は、オーディオ＃１のオーディオデータとサンプル数情報を挿入した多重ビデオフレームのデータを多重回路４２−４に出力する。
【００６６】
多重回路４２−４は、要求に応じてメモリ制御回路３２−２から供給されたオーディオ＃２のオーディオデータとサンプル数情報を、多重回路４２−３から供給された多重ビデオフレームに挿入する。多重回路４２−４は、オーディオ＃２のオーディオデータとサンプル数情報を挿入した多重ビデオフレームのデータをプロセッサ４３に出力する。プロセッサ４３に対する入力は１系統のビデオデータになる。
【００６７】
図４は、多重化後の多重ビデオフレームの例を示す図である。
【００６８】
プロセッサ４３に入力される多重ビデオフレームは、ビデオ＃１および＃２の１フレームが貼り付けられるとともに、多重ビデオフレームの１フレーム期間内に入力されたオーディオ＃１および＃２のオーディオデータが挿入された画像になる。以下、適宜、水平方向に並ぶ画素をラインとして説明する。
【００６９】
図４の例においては、多重ビデオフレームの有効画枠の左上端に左上頂点を合わせるようにしてビデオ＃１のフレームが貼り付けられている。ビデオ＃１のフレームの１ライン目と、多重ビデオフレームの１ライン目は一致する。
【００７０】
また、ビデオ＃１のフレームと重ならず、かつ、１ライン目が、多重ビデオフレームのｍライン目にくるようにビデオ＃２のフレームが貼り付けられている。
【００７１】
さらに、多重ビデオフレームのn-2ライン目と次のラインであるn-1ライン目にオーディオ＃１のオーディオデータが挿入され、多重ビデオフレームの最も下のラインであるｎライン目にオーディオ＃２のオーディオデータが挿入されている。
【００７２】
多重ビデオフレームに挿入されたオーディオ＃１のオーディオサンプルの数を表すサンプル数情報ｓ１は、例えば図４に示すように、オーディオ＃１に割り当てられているラインの先頭であるn-2ライン目の先頭に挿入される。
【００７３】
また、オーディオ＃２のオーディオサンプルの数を表すサンプル数情報ｓ２は、例えば、オーディオ＃２に割り当てられているラインの先頭であるｎライン目の先頭に挿入される。
【００７４】
各データの多重位置に関する情報は、多重回路４２−１乃至４２−４、プロセッサ４３、および抽出回路４５−１乃至４５−４のそれぞれに予め設定される。多重位置に関する情報には、どのデータを多重ビデオフレームのどこに貼り付けるのかを表す、水平位置、垂直位置、横サイズ、縦サイズ、ライン間隔などの情報が含まれる。
【００７５】
図５は、図４に示す形で各データが貼り付けられた多重ビデオフレームのビデオ信号の例を示す図である。
【００７６】
図５に示すように、多重ビデオ信号は、それを時間軸上に表した場合、多重ビデオフレームの１ライン目からｎライン目までの各ラインのデータを伝送する区間毎の信号から構成される。
【００７７】
図５の例においては、時刻ｔ１からｔ２までの区間である区間Ｔ１は、多重ビデオフレームの１ライン目のデータを伝送する区間であり、時刻ｔ２からｔ３までの区間である区間Ｔ２は、多重ビデオフレームの２ライン目のデータを伝送する区間である。
【００７８】
また、時刻ｔｍからｔm+1までの区間である区間Ｔｍは、多重ビデオフレームのｍライン目のデータを伝送する区間であり、時刻ｔn-2からｔn-1までの区間である区間Ｔn-2は、多重ビデオフレームのn-2ライン目のデータを伝送する区間である。時刻ｔn-1からｔｎまでの区間である区間Ｔn-1は、多重ビデオフレームのn-1ライン目のデータを伝送する区間であり、時刻ｔｎからｔn+1までの区間である区間Ｔｎは、多重ビデオフレームのｎライン目のデータを伝送する区間である。
【００７９】
図４に示す形で各データが貼り付けられた場合、多重ビデオ信号の区間Ｔ１には、ビデオ＃１のフレームの１ライン目の信号が挿入される。また、多重ビデオ信号の区間Ｔ２には、ビデオ＃１のフレームの２ライン目の信号が挿入される。
【００８０】
また、多重ビデオフレームの区間Ｔｍには、その前半に、ビデオ＃１のフレームのｍライン目の信号が挿入され、所定の期間だけ空けて後半に、ビデオ＃２のフレームの１ライン目の信号が挿入される。
【００８１】
多重ビデオフレームの区間Ｔn-2の先頭にはサンプル数情報ｓ１が挿入される。区間Ｔn-2と区間Ｔn-1には、サンプル数情報ｓ１に続けて、サンプル数情報ｓ１により表される数のオーディオ＃１のオーディオサンプルの信号が挿入される。
【００８２】
多重ビデオフレームの区間Ｔｎの先頭にはサンプル数情報ｓ２が挿入され、サンプル数情報ｓ２に続けて、サンプル数情報ｓ２により表される数のオーディオ＃２のオーディオサンプルの信号が挿入される。
【００８３】
このように、プロセッサ４３に入力するデータの多重化は、入力するデータの信号を、多重ビデオ信号を構成する全区間のうちの、多重ビデオフレームにおける貼り付け位置に応じた区間に挿入することによって実現される。
【００８４】
図１の説明に戻り、プロセッサ４３は、ビデオポート（Video In）に入力された多重ビデオフレームのデータに多重化されている各系統のビデオデータと各系統のオーディオデータを抽出し、抽出したデータを対象として所定の処理を行う。プロセッサ４３は、CPU，GPU，DSP，SoCなどの演算装置である。
【００８５】
例えば、ビデオデータの抽出は、後述する抽出回路４５−３および４５−４による抽出と同様にして行われ、オーディオデータの抽出は、抽出回路４５−１および４５−２による抽出と同様にして行われる。
【００８６】
また、プロセッサ４３は、処理を施した各系統のビデオのフレーム、オーディオのサンプルを多重ビデオフレームに貼り付け、それらのデータを多重化する。
【００８７】
なお、プロセッサ４３から出力される多重ビデオフレームにおける各ビデオデータ、各オーディオデータの多重位置は、プロセッサ４３に入力される多重ビデオフレームにおける多重位置と異なっていてもよい。また、各系統のビデオデータ、各系統のオーディオデータを対象として処理が行われるのではなく、多重ビデオフレーム全体を対象として処理が行われるようにしてもよい。
【００８８】
プロセッサ４３は、処理後のデータが多重化された多重ビデオフレームをビデオポート（Video Out）から出力する。プロセッサ４３からの出力も、１系統のビデオデータになる。プロセッサ４３から出力された多重ビデオフレームのデータは同期信号とともに抽出回路４５−１に供給される。プロセッサ４３から出力された同期信号はタイミング発生回路４４にも供給される。
【００８９】
タイミング発生回路４４は、プロセッサ４３から供給された同期信号、または各系統のビデオ、オーディオのフォーマットに基づいて、各系統のビデオのフレーム、オーディオサンプルの出力タイミングの基準となる同期信号を生成する。例えば、ビデオ＃１の１フレームのデータとビデオ＃２の１フレームのデータは同期して同じタイミングで出力される。
【００９０】
タイミング発生回路４４には、フレーム周波数等の各系統のビデオのフォーマットに関する情報や、サンプリング周波数等の各系統のオーディオのフォーマットに関する情報が予め設定されている。
【００９１】
タイミング発生回路４４は、ビデオ＃１用の同期信号をビデオ送信回路５３−１に出力し、ビデオ＃２用の同期信号をビデオ送信回路５３−２に出力する。また、タイミング発生回路４４は、オーディオ＃１用の同期信号をオーディオ送信回路６３−１に出力し、オーディオ＃２用の同期信号をオーディオ送信回路６３−２に出力する。
【００９２】
抽出回路４５−１は、プロセッサ４３から供給された多重ビデオフレームのデータから、オーディオ＃２のオーディオデータを抽出する。
【００９３】
図４を参照して説明したように、抽出回路４５−１が抽出対象とするオーディオ＃２のオーディオデータの多重位置は、多重ビデオフレームの例えばｎライン目として予め設定されている。また、ｎライン目に挿入されているオーディオ＃２のオーディオサンプルの数は、ｎライン目の先頭に挿入されているサンプル数情報ｓ２により表される。
【００９４】
抽出回路４５−１は、多重ビデオフレームが供給されたとき、ｎライン目の先頭に挿入されている所定のビット数のデータをサンプル数情報ｓ２として抽出し、ｎライン目に挿入されているオーディオ＃２のオーディオサンプルの数を特定する。また、抽出回路４５−１は、サンプル数情報ｓ２に続けてｎライン目に挿入されているデータを、特定したサンプル数に相当する分だけ、オーディオ＃２のオーディオサンプルとして抽出する。
【００９５】
抽出回路４５−１は、抽出したオーディオ＃２のオーディオサンプルをメモリ制御回路６１−２に出力し、プロセッサ４３から供給された多重ビデオフレームのデータを抽出回路４５−２に出力する。
【００９６】
抽出回路４５−２は、抽出回路４５−１から供給された多重ビデオフレームから、抽出回路４５−１と同様にしてオーディオ＃１のオーディオサンプルを抽出する。
【００９７】
すなわち、抽出回路４５−２は、n-2ライン目の先頭に挿入されている所定のビット数のデータをサンプル数情報ｓ１として抽出し、n-2ライン目とn-1ライン目に挿入されているオーディオ＃１のオーディオサンプルの数を特定する。また、抽出回路４５−２は、サンプル数情報ｓ１に続けてn-2ライン目とn-1ライン目に挿入されているデータを、特定したサンプル数に相当する分だけ、オーディオ＃１のオーディオサンプルとして抽出する。
【００９８】
抽出回路４５−２は、抽出したオーディオ＃１のオーディオサンプルをメモリ制御回路６１−１に出力し、抽出回路４５−１から供給された多重ビデオフレームのデータを抽出回路４５−３に出力する。
【００９９】
抽出回路４５−３は、抽出回路４５−２から供給された多重ビデオフレームのデータから、ビデオ＃２のフレームデータを抽出する。
【０１００】
図４を参照して説明したように、抽出回路４５−３が抽出対象とするビデオ＃２のフレームの多重位置は予め設定されている。抽出回路４５−３は、ビデオ＃２のフレームの多重位置として予め設定されている位置のデータをビデオ＃２のフレームデータとして多重ビデオフレームから抽出する。
【０１０１】
抽出回路４５−３は、抽出したビデオ＃２のフレームデータをフレームシンクロナイザ５１−２に出力し、抽出回路４５−２から供給された多重ビデオフレームのデータを抽出回路４５−４に出力する。
【０１０２】
抽出回路４５−４は、抽出回路４５−３から供給された多重ビデオフレームのデータから、抽出回路４５−３と同様にしてビデオ＃１のフレームデータを抽出する。抽出回路４５−４は、抽出したビデオ＃１のフレームデータをフレームシンクロナイザ５１−１に出力する。
【０１０３】
フレームシンクロナイザ５１−１は、抽出回路４５−４から供給されたビデオ＃１のフレームデータをフレームメモリ５２−１に記憶させる。フレームシンクロナイザ５１−１は、ビデオ送信回路５３−１からの要求に応じてフレームメモリ５２−１からフレームデータを読み出し、出力する。
【０１０４】
ビデオ送信回路５３−１は、ケーブルドライバ（Cable Driver）、シリアライザ（Serializer）、各種エンコーダ（Encoder）、4:2:2／4:4:4コンバータ、およびD/A（Digital / Analog）コンバータ等を有する。ビデオ送信回路５３−１は、要求に応じてフレームシンクロナイザ５１−１から供給されたビデオ＃１のフレームデータを同期信号とともに、タイミング発生回路４４から供給された同期信号に従って情報処理装置１の外部に出力する。情報処理装置１の外部に出力する前、ビデオ送信回路５３−１は、適宜、フレームシンクロナイザ５１−１から供給されたフレームデータに対してD/A変換等の所定の処理を施す。
【０１０５】
実装上、抽出回路４５−４、フレームシンクロナイザ５１−１、ビデオ送信回路５３−１の動作クロックとしてそれぞれ周波数の異なるクロックが用いられる場合、抽出回路４５−４とフレームシンクロナイザ５１−１の間、フレームシンクロナイザ５１−１とビデオ送信回路５３−１の間にはそれぞれDual-Port RAM等のFIFOが設けられる。FIFOを経由することによって、データの送受信を確実に行うことが可能になる。また、メモリアクセス時のデータレートの偏りを軽減することが可能になる。
【０１０６】
抽出回路４５−３とフレームシンクロナイザ５１−２の間、フレームシンクロナイザ５１−２とビデオ送信回路５３−２の間にも、適宜、FIFOが設けられる。オーディオデータを処理する構成についても同様に、抽出回路４５−２とメモリ制御回路６１−１の間、メモリ制御回路６１−１とオーディオ送信回路６３−１の間や、抽出回路４５−１とメモリ制御回路６１−２の間、メモリ制御回路６１−２とオーディオ送信回路６３−２の間にも、適宜、FIFOが設けられる。
【０１０７】
ここで、出力するビデオ＃１のビデオ信号のフレーム周波数と、多重ビデオ信号のフレーム周波数が一致している保証はない。フレームシンクロナイザ５１−１は、フレームメモリ５２−１に記憶されているビデオデータを重複して（同じフレームのビデオデータを続けて）ビデオ送信回路５３−１に供給したり、読み飛ばしを行ったりして、フレーム周波数の違いを吸収する。
【０１０８】
フレームシンクロナイザ５１−２は、抽出回路４５−３から供給されたビデオ＃２のフレームデータをフレームメモリ５２−２に記憶させる。フレームシンクロナイザ５１−２は、ビデオ送信回路５３−２からの要求に応じてフレームメモリ５２−２からフレームデータを読み出し、出力する。
【０１０９】
ビデオ送信回路５３−２は、ビデオ送信回路５３−１と同様に、要求に応じてフレームシンクロナイザ５１−２から供給されたビデオ＃２のフレームデータを同期信号とともに、タイミング発生回路４４から供給された同期信号に従って外部に出力する。情報処理装置１の外部に出力する前、ビデオ送信回路５３−２は、適宜、フレームシンクロナイザ５１−２から供給されたフレームデータに対してD/A変換等の所定の処理を施す。
【０１１０】
メモリ制御回路６１−１は、抽出回路４５−２から供給されたオーディオ＃１のオーディオデータをメモリ６２−１に一時的に記憶させる。メモリ６２−１には、多重ビデオフレームの１フレーム期間内に入力されたオーディオサンプル単位で、オーディオ＃１のオーディオデータが記憶されることになる。メモリ制御回路６１−１は、オーディオ送信回路６３−１からの要求に応じて、メモリ６２−１からオーディオデータを読み出し、出力する。
【０１１１】
オーディオ送信回路６３−１は、要求に応じてメモリ制御回路６１−１から供給されたオーディオ＃１のオーディオデータを、１サンプルのデータずつ、タイミング発生回路４４から供給された同期信号に従って情報処理装置１の外部に出力する。情報処理装置１の外部に出力する前、オーディオ送信回路６３−１は、適宜、メモリ制御回路６１−１から供給されたオーディオデータに対してサンプリング周波数の変換、D/A変換等の処理を施す。
【０１１２】
メモリ制御回路６１−２は、抽出回路４５−１から供給されたオーディオ＃２のオーディオデータをメモリ６２−２に一時的に記憶させる。メモリ制御回路６１−２は、オーディオ送信回路６３−２からの要求に応じて、メモリ６２−２に記憶されているオーディオデータを読み出し、出力する。
【０１１３】
オーディオ送信回路６３−２は、要求に応じてメモリ制御回路６１−２から供給されたオーディオ＃２のオーディオデータを、１サンプルのデータずつ、タイミング発生回路４４から供給された同期信号に従って情報処理装置１の外部に出力する。情報処理装置１の外部に出力する前、オーディオ送信回路６３−２は、適宜、メモリ制御回路６１−２から供給されたオーディオデータに対してD/A変換等の所定の処理を施す。
【０１１４】
［ビデオ型インタフェース］
図６は、ビデオ型インタフェースを模式的に示す図である。
【０１１５】
ビデオ型インタフェースにおいては、水平同期信号（H-Sync）、垂直同期信号（V-Sync）、フィールドフラグ信号（Field Flag）、画像や音声よりなるデータ信号（Data）、クロックを示すイネーブル信号（EN）などが送信側から受信側に伝送される。フィールドフラグ信号は、第１フィールドであるか第２フィールドであるかを示す。
【０１１６】
図６のビデオ型インタフェースにおいて伝送されるビデオ信号の波形の例を図７に示す。図７の上段の信号群＃１１は、インタレース方式のビデオ信号の波形の例を示し、下段の信号群＃１２は、プログレッシブ方式のビデオ信号の波形の例を示す。
【０１１７】
図７の信号群＃１１に示す波形のうち、実線矢印で示す範囲の波形の詳細を図８に示す。図８は、HD(High-Definition)画像のビデオ信号の波形の例を示す。
【０１１８】
図８に示すように、垂直同期信号（V）の１周期の間に、１フィールド（540ライン）分のデータ（Data）が伝送される（Active Video）。また、水平同期信号（H）の１周期の間に１ライン（1920画素）分のデータ（Data）が伝送される。
【０１１９】
［情報処理装置の動作］
ここで、図９のフローチャートを参照して、情報処理装置１の処理について説明する。
【０１２０】
ステップＳ１において、ビデオ受信回路２１−１および２１−２によりビデオ受信処理が行われる。ビデオ受信回路２１−１により受信されたビデオ＃１を構成する各フレームのデータはフレームメモリ２３−１に記憶される。また、ビデオ受信回路２１−２により受信されたビデオ＃２を構成する各フレームのデータはフレームメモリ２３−２に記憶される。
【０１２１】
ステップＳ２において、オーディオ受信回路３１−１および３１−２によりオーディオ受信処理が行われる。オーディオ受信回路３１−１により切り出された、多重ビデオフレームの１フレーム期間内に入力されたオーディオ＃１のオーディオサンプルとサンプル数情報はメモリ３３−１に記憶される。また、オーディオ受信回路３１−２により切り出された、多重ビデオフレームの１フレーム期間内に入力されたオーディオ＃２のオーディオサンプルとサンプル数情報はメモリ３３−２に記憶される。
【０１２２】
ステップＳ３において、多重ビデオ信号発生回路４１は、多重ビデオフレームを生成し、多重ビデオフレームのデータと同期信号を出力する。
【０１２３】
ステップＳ４において、多重化処理が行われる。すなわち、ビデオ＃１の１フレームが多重回路４２−１により多重ビデオフレームに貼り付けられ、ビデオ＃２の１フレームが多重回路４２−２により多重ビデオフレームに貼り付けられる。また、オーディオ＃１のオーディオデータとサンプル数情報が多重回路４２−３により多重ビデオフレームに挿入され、オーディオ＃２のオーディオデータとサンプル数情報が多重回路４２−４により多重ビデオフレームに挿入される。
【０１２４】
ステップＳ５において、プロセッサ４３は、ビデオポートに入力された多重ビデオフレームのデータに多重化されているビデオデータ、オーディオデータを対象として所定の処理を行う。また、プロセッサ４３は、処理後のデータが多重化された多重ビデオフレームをビデオポートから出力する。
【０１２５】
ステップＳ６において、抽出処理が行われる。すなわち、オーディオ＃２のオーディオデータが、多重ビデオフレームのデータから抽出回路４５−１により抽出され、オーディオ＃１のオーディオデータが、多重ビデオフレームのデータから抽出回路４５−２により抽出される。また、ビデオ＃２のビデオデータが、多重ビデオフレームのデータから抽出回路４５−３により抽出され、ビデオ＃１のビデオデータが、多重ビデオフレームのデータから抽出回路４５−４により抽出される。
【０１２６】
ステップＳ７において、オーディオ出力処理が行われる。多重ビデオフレームのデータから抽出されたオーディオ＃１のデータが、メモリ６２−１に一時的に記憶された後、１サンプルずつ外部に出力され、オーディオ＃２のデータが、メモリ６２−２に一時的に記憶された後、１サンプルずつ外部に出力される。
【０１２７】
ステップＳ８において、ビデオ出力処理が行われる。多重ビデオフレームから抽出されたビデオ＃１のフレームデータが、フレームメモリ５２−１に一時的に記憶された後、外部に出力され、ビデオ＃２のフレームデータが、フレームメモリ５２−２に一時的に記憶された後、外部に出力される。ビデオ出力処理が終了した後、処理は終了される。
【０１２８】
次に、図１０のフローチャートを参照して、図９のステップＳ１において行われるビデオ受信処理について説明する。
【０１２９】
ステップＳ１１において、ビデオ受信回路２１−１は、入力されたビデオ信号を受信し、A/D変換等の各種の処理を施すことによって、ビデオ＃１を構成する各フレームのデータを生成する。ビデオ受信回路２１−２においても同様の処理が行われることによって、ビデオ＃２を構成する各フレームのデータが生成される。
【０１３０】
ステップＳ１２において、フレームシンクロナイザ２２−１は、ビデオ受信回路２１−１により生成されたビデオ＃１のフレームデータをフレームメモリ２３−１に記憶させる。フレームシンクロナイザ２２−２においても、ビデオ＃２のフレームデータをフレームメモリ２３−２に記憶させることが行われる。
【０１３１】
ビデオ＃１および＃２のフレームデータがフレームメモリに記憶された後、図９のステップＳ１に戻り、それ以降の処理が行われる。
【０１３２】
次に、図１１のフローチャートを参照して、図９のステップＳ２において行われるオーディオ受信処理について説明する。
【０１３３】
ステップＳ２１において、オーディオ受信回路３１−１は、入力されたオーディオ信号を受信し、A/D変換等の処理を施すことによって、オーディオサンプルの時系列から構成されるオーディオ＃１のオーディオデータを生成する。オーディオ受信回路３１−２においても同様の処理が行われ、オーディオ＃２のオーディオデータが生成される。
【０１３４】
ステップＳ２２において、オーディオ受信回路３１−１は、サンプル数をカウントしつつ、多重ビデオフレームの１フレーム期間内に入力されたオーディオ＃１のオーディオサンプルを切り出す。オーディオ受信回路３１−２においても同様の処理が行われ、多重ビデオフレームの１フレーム期間内に入力されたオーディオ＃２のオーディオサンプルが切り出される。
【０１３５】
ステップＳ２３において、メモリ制御回路３２−１は、切り出されたオーディオ＃１のオーディオサンプルとサンプル数情報をメモリ３３−１に記憶させる。また、メモリ制御回路３２−２は、切り出されたオーディオ＃２のオーディオサンプルとサンプル数情報をメモリ３３−２に記憶させる。
【０１３６】
オーディオ＃１および＃２のオーディオサンプルがメモリに記憶された後、図９のステップＳ２に戻り、それ以降の処理が行われる。
【０１３７】
次に、図１２のフローチャートを参照して、図９のステップＳ４において行われる多重化処理について説明する。図９のステップＳ３において生成された多重ビデオフレームのデータは多重回路４２−１に供給される。
【０１３８】
ステップＳ３１において、多重回路４２−１は、フレームシンクロナイザ２２−１に対して要求することによって、ビデオ＃１のフレームデータをフレームメモリ２３−１から読み出す。
【０１３９】
ステップＳ３２において、多重回路４２−１は、フレームメモリ２３−１からデータを読み出したビデオ＃１のフレームを、多重ビデオ信号発生回路４１から供給された多重ビデオフレームの所定の位置に貼り付ける。
【０１４０】
ステップＳ３１，Ｓ３２の処理と同様の処理が多重回路４２−２においても行われ、フレームメモリ２３−２からデータが読み出されたビデオ＃２のフレームが、多重回路４２−１から供給された多重ビデオフレームに貼り付けられる。
【０１４１】
ステップＳ３３において、多重回路４２−３は、メモリ制御回路３２−１に対して要求することによって、オーディオ＃１のオーディオデータとサンプル数情報をメモリ３３−１から読み出す。
【０１４２】
ステップＳ３４において、多重回路４２−３は、メモリ３３−１から読み出したオーディオ＃１のオーディオデータとサンプル数情報を、多重回路４２−２から供給された多重ビデオフレームに挿入する。
【０１４３】
ステップＳ３３，Ｓ３４の処理と同様の処理が多重回路４２−４においても行われ、メモリ３３−２から読み出されたオーディオ＃２のオーディオデータが、多重回路４２−３から供給された多重ビデオフレームにサンプル数情報とともに挿入される。
【０１４４】
全系統のビデオデータとオーディオデータが多重ビデオフレームのデータに多重化された後、図９のステップＳ４に戻り、それ以降の処理が行われる。多重ビデオフレームのデータとして多重化されたビデオデータとオーディオデータに対してプロセッサ４３により処理が施され、処理後のデータを多重化した多重ビデオフレームのデータが抽出回路４５−１に供給される。
【０１４５】
次に、図１３のフローチャートを参照して、図９のステップＳ６において行われる抽出処理について説明する。
【０１４６】
ステップＳ５１において、抽出回路４５−１は、プロセッサ４３から出力された多重ビデオフレームのデータを受信する。
【０１４７】
ステップＳ５２において、抽出回路４５−１は、上述したようにサンプル数情報を参照して、オーディオ＃２のオーディオデータを多重ビデオフレームのデータから抽出する。
【０１４８】
ステップＳ５３において、メモリ制御回路６１−２は、抽出回路４５−１により抽出されたオーディオ＃２のオーディオデータをメモリ６２−２に記憶させる。
【０１４９】
ステップＳ５２，Ｓ５３の処理と同様の処理が抽出回路４５−２、メモリ制御回路６１−１においても行われ、多重ビデオフレームのデータから抽出されたオーディオ＃１のオーディオデータがメモリ６２−１に記憶される。
【０１５０】
ステップＳ５４において、抽出回路４５−３は、ビデオ＃２のフレームデータを多重ビデオフレームのデータから抽出する。
【０１５１】
ステップＳ５５において、フレームシンクロナイザ５１−２は、抽出回路４５−３により抽出されたビデオ＃２のフレームデータをフレームメモリ５２−２に記憶させる。
【０１５２】
ステップＳ５４，Ｓ５５の処理と同様の処理が抽出回路４５−４、フレームシンクロナイザ５１−１においても行われ、多重ビデオフレームのデータから抽出されたビデオ＃１のフレームデータがフレームメモリ５２−１に記憶される。
【０１５３】
全系統のビデオデータとオーディオデータが多重ビデオフレームから抽出された後、図９のステップＳ６に戻り、それ以降の処理が行われる。
【０１５４】
次に、図１４のフローチャートを参照して、図９のステップＳ７において行われるオーディオ出力処理について説明する。
【０１５５】
ステップＳ６１において、オーディオ送信回路６３−２は、メモリ制御回路６１−２に対して要求することによって、オーディオ＃２のオーディオデータをメモリ６２−２から読み出す。
【０１５６】
ステップＳ６２において、オーディオ送信回路６３−２は、１サンプルのデータずつ、メモリ６２−２から読み出したオーディオ＃２のオーディオデータを外部に出力する。
【０１５７】
ステップＳ６１，Ｓ６２の処理と同様の処理がオーディオ送信回路６３−１においても行われ、メモリ６２−１から読み出されたオーディオ＃１のオーディオデータが外部に出力される。
【０１５８】
全系統のオーディオデータが出力された後、図９のステップＳ７に戻り、それ以降の処理が行われる。
【０１５９】
次に、図１５のフローチャートを参照して、図９のステップＳ８において行われるビデオ出力処理について説明する。
【０１６０】
ステップＳ７１において、ビデオ送信回路５３−２は、フレームシンクロナイザ５１−２に対して要求することによって、ビデオ＃２のフレームデータをフレームメモリ５２−２から読み出す。
【０１６１】
ステップＳ７２において、ビデオ送信回路５３−２は、フレームメモリ５２−２から読み出したビデオ＃２のフレームデータを外部に出力する。
【０１６２】
ステップＳ７１，Ｓ７２の処理と同様の処理がビデオ送信回路５３−１においても行われ、フレームメモリ５２−１から読み出されたビデオ＃１のフレームデータが外部に出力される。
【０１６３】
全系統のビデオのフレームデータが出力された後、図９のステップＳ８に戻り、それ以降の処理が行われる。
【０１６４】
以上の各ステップの処理は、必ずしも図に示す順に行われるものではなく、適宜、他のステップの処理と並行して、または他のステップの処理と前後して行われる。
【０１６５】
以上の一連の処理により、１つの入力ビデオポートを備えるプロセッサ４３に対して複数の系統のオーディオデータを入力することができる。また、１つの出力ビデオポートを備えるプロセッサ４３から、複数の系統のオーディオデータを出力させることができる。すなわち、プロセッサ４３に対するオーディオデータの入力、およびプロセッサ４３からのオーディオデータの出力を、１つのビデオポートを使って効率的に行うことができる。
【０１６６】
［多重化の例］
以上においては、２系統のビデオ信号と２系統のオーディオ信号が情報処理装置１に入力されるものとしたが、入力される信号の数は適宜変更可能である。例えば、ビデオ信号とオーディオ信号が４系統ずつ入力されるようにしてもよい。
【０１６７】
図１６は、ビデオ信号とオーディオ信号が４系統ずつ入力された場合の多重ビデオフレームの例を示す図である。
【０１６８】
図１６の例においては、ビデオ＃０乃至＃３のフレームが、互いに重ならないように、それぞれのフレームサイズを保持したまま、多重ビデオフレームの有効画枠内に貼り付けられている。図１６の多重ビデオフレームにおいては、ブランキング領域が水平方向と垂直方向にそれぞれ設けられ、有効画枠内の１ライン目から所定のラインまでの領域がビデオ用の領域であるビデオ領域Ａ１として設定されている。
【０１６９】
また、ビデオ領域Ａ１の下側に、オーディオデータ用の領域であるオーディオ領域Ａ２が設定されている。オーディオデータ領域Ａ２の各ラインには、オーディオ＃０乃至＃３のオーディオデータが、情報処理装置１に入力された順に、各ラインの左側を先頭にして詰めて挿入されている。
【０１７０】
各ラインの先頭には、そのラインに挿入されたオーディオサンプルの数を表すサンプル数情報が挿入される。なお、サンプル数情報は、各系統のオーディオデータに割り当てられたラインの先頭ではなく、多重ビデオフレームのブランキング期間などの他の位置に挿入することも可能である。
【０１７１】
図１６において、各ラインに挿入されるオーディオデータの水平方向の長さが異なることは、挿入されているオーディオデータのデータ量が系統毎に異なることを表す。上述したように、同じ多重ビデオフレームに多重化されるオーディオデータは、その多重ビデオフレームのフレーム期間内に入力されたものである。従って、各オーディオデータのサンプリング周波数が異なる場合や量子化精度が異なる場合、同じ多重ビデオフレームに多重化されるオーディオデータのデータ量にはばらつきが生じることになる。
【０１７２】
図１７は、ビデオ信号とオーディオ信号が４系統ずつ入力された場合の多重ビデオフレームの他の例を示す図である。
【０１７３】
図１７の多重ビデオフレームのビデオ領域Ａ１には、水平方向の画素数が有効画枠の水平方向の画素数と等しく、垂直方向の画素数が所定のライン数分の画素数からなる領域が各ビデオのフレームのデータを挿入するための領域として設定されている。図１７の例においては、ビデオ＃０乃至＃３のフレームのデータを挿入するための領域が上から順に設定されている。
【０１７４】
このように、入力されたときのサイズを保持したまま多重ビデオフレームに貼り付けられるのではなく、各ビデオのフレームが、入力時の形と合同ではない他の形で貼り付けられるようにしてもよい。各ビデオのフレームを貼り付けるための領域の設定の仕方によっては、データの多重化を効率的に行うことが可能になる。
【０１７５】
［変形例１］
図１８は、情報処理装置１の他の構成例を示すブロック図である。
【０１７６】
図１８に示す構成のうち、図１に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１７７】
図１８に示す構成は、多重ビデオ信号発生回路４１の前段に切り替え回路１１１が設けられている点で図１に示す情報処理装置１の構成と異なる。
【０１７８】
切り替え回路１１１に対しては、ビデオ＃１の同期信号、ビデオ＃２の同期信号、および、その２つの同期信号とは別に外部から入力された同期信号である外部同期信号が入力される。外部同期信号はタイミング発生回路４４にも供給される。
【０１７９】
切り替え回路１１１は、ビデオ＃１の同期信号、ビデオ＃２の同期信号、および外部同期信号のうちの所定の同期信号を選択し、多重ビデオ信号発生回路４１に出力する。
【０１８０】
多重ビデオ信号発生回路４１は、切り替え回路１１１から供給された同期信号により規定される周期で多重ビデオフレームを生成し、生成した多重ビデオフレームのデータを、切り替え回路１１１から供給された同期信号とともに多重回路４２−１に出力する。
【０１８１】
タイミング発生回路４４は、外部同期信号、または各系統のビデオ、オーディオのフォーマットに基づいて、各系統のビデオのフレームデータ、オーディオデータの出力タイミングの基準となる同期信号を生成し、出力する。
【０１８２】
このように、多重ビデオフレームを生成する周期を規定する同期信号として、外部から入力された同期信号を切り替えて用いるようにすることも可能である。
【０１８３】
［変形例２］
図１９は、情報処理装置１のさらに他の構成例を示すブロック図である。
【０１８４】
図１９の情報処理装置１に対しては、４系統のオーディオデータが入力されるようになされている。すなわち、図１９の情報処理装置１はオーディオデータ専用の機器である。入力されるオーディオデータの数は４以外の数とすることも可能である。重複する説明については適宜省略する。
【０１８５】
図１９のオーディオ受信回路３１−１および３１−２は、それぞれ、図１のオーディオ受信回路３１−１および３１−２と同様である。オーディオ受信回路３１−１においては、オーディオ＃１のオーディオデータが切り出され、サンプル数情報とともにメモリ３３−１に記憶される。また、オーディオ受信回路３１−２においては、オーディオ＃２のオーディオデータが切り出され、サンプル数情報とともにメモリ３３−２に記憶される。
【０１８６】
オーディオ受信回路３１−３は、入力されたオーディオ信号に対して各種の処理を施し、オーディオ＃３を構成するオーディオデータを生成する。オーディオ受信回路３１−３は、オーディオ＃３のオーディオデータを、多重ビデオフレームの１フレーム期間に相当する時間内に入力されたサンプルからなるオーディオデータ毎に分割し、サンプル数情報とともにメモリ制御回路３２−３に出力する。
【０１８７】
メモリ制御回路３２−３は、オーディオ受信回路３１−３から供給されたオーディオデータとサンプル数情報をメモリ３３−３に記憶させる。メモリ制御回路３２−３は、多重回路４２−３からの要求に応じて、メモリ３３−３からオーディオデータとサンプル数情報を読み出し、出力する。
【０１８８】
オーディオ受信回路３１−４も同様に、入力されたオーディオ信号に対して各種の処理を施し、オーディオ＃４を構成するオーディオデータを生成する。オーディオ受信回路３１−４は、オーディオ＃４のオーディオデータを、多重ビデオフレームの１フレーム期間に相当する時間内に入力されたサンプルからなるオーディオデータ毎に分割し、サンプル数情報とともにメモリ制御回路３２−４に出力する。
【０１８９】
メモリ制御回路３２−４は、オーディオ受信回路３１−４から供給されたオーディオデータとサンプル数情報をメモリ３３−４に記憶させる。メモリ制御回路３２−４は、多重回路４２−４からの要求に応じて、メモリ３３−４からオーディオデータとサンプル数情報を読み出し、出力する。
【０１９０】
多重回路４２−１は、メモリ制御回路３２−１から供給されたオーディオ＃１のオーディオデータとサンプル数情報を多重ビデオ信号発生回路４１から供給された多重ビデオフレームのデータに挿入する。多重回路４２−１は、オーディオ＃１のオーディオデータとサンプル数情報を挿入した多重ビデオフレームのデータを多重回路４２−２に出力する。
【０１９１】
多重回路４２−２は、メモリ制御回路３２−２から供給されたオーディオ＃２のオーディオデータとサンプル数情報を多重回路４２−１から供給された多重ビデオフレームのデータに挿入する。多重回路４２−２は、オーディオ＃２のオーディオデータとサンプル数情報を挿入した多重ビデオフレームのデータを多重回路４２−３に出力する。
【０１９２】
多重回路４２−３は、メモリ制御回路３２−３から供給されたオーディオ＃３のオーディオデータとサンプル数情報を多重回路４２−２から供給された多重ビデオフレームのデータに挿入する。多重回路４２−３は、オーディオ＃３のオーディオデータとサンプル数情報を挿入した多重ビデオフレームのデータを多重回路４２−４に出力する。
【０１９３】
多重回路４２−４は、メモリ制御回路３２−４から供給されたオーディオ＃４のオーディオデータとサンプル数情報を多重回路４２−３から供給された多重ビデオフレームのデータに挿入する。多重回路４２−４は、オーディオ＃４のオーディオデータとサンプル数情報を挿入した多重ビデオフレームのデータをプロセッサ４３に出力する。
【０１９４】
抽出回路４５−１は、プロセッサ４３から供給された多重ビデオフレームのデータから、オーディオ＃４のオーディオデータを抽出し、メモリ制御回路６１−４に出力する。また、抽出回路４５−１は、プロセッサ４３から供給された多重ビデオフレームのデータを抽出回路４５−２に出力する。
【０１９５】
抽出回路４５−２は、抽出回路４５−１から供給された多重ビデオフレームのデータから、オーディオ＃３のオーディオデータを抽出し、メモリ制御回路６１−３に出力する。また、抽出回路４５−２は、抽出回路４５−１から供給された多重ビデオフレームのデータを抽出回路４５−３に出力する。
【０１９６】
抽出回路４５−３は、抽出回路４５−２から供給された多重ビデオフレームのデータから、オーディオ＃２のオーディオデータを抽出し、メモリ制御回路６１−２に出力する。また、抽出回路４５−３は、抽出回路４５−２から供給された多重ビデオフレームのデータを抽出回路４５−４に出力する。
【０１９７】
抽出回路４５−４は、抽出回路４５−３から供給された多重ビデオフレームのデータから、オーディオ＃１のオーディオデータを抽出し、メモリ制御回路６１−１に出力する。
【０１９８】
メモリ制御回路６１−１は、抽出回路４５−４から供給されたオーディオ＃１のオーディオデータをメモリ６２−１に一時的に記憶させる。
【０１９９】
オーディオ送信回路６３−１は、メモリ制御回路６１−１から供給されたオーディオ＃１のオーディオデータを、１サンプルのデータずつ、タイミング発生回路４４から供給された同期信号に従って外部に出力する。
【０２００】
メモリ制御回路６１−２は、抽出回路４５−３から供給されたオーディオ＃２のオーディオデータをメモリ６２−２に一時的に記憶させる。
【０２０１】
オーディオ送信回路６３−２は、メモリ制御回路６１−２から供給されたオーディオ＃２のオーディオデータを、１サンプルのデータずつ、タイミング発生回路４４から供給された同期信号に従って外部に出力する。
【０２０２】
メモリ制御回路６１−３は、抽出回路４５−２から供給されたオーディオ＃３のオーディオデータをメモリ６２−３に一時的に記憶させる。
【０２０３】
オーディオ送信回路６３−３は、メモリ制御回路６１−３から供給されたオーディオ＃３のオーディオデータを、１サンプルのデータずつ、タイミング発生回路４４から供給された同期信号に従って外部に出力する。
【０２０４】
メモリ制御回路６１−４は、抽出回路４５−１から供給されたオーディオ＃４のオーディオデータをメモリ６２−４に一時的に記憶させる。
【０２０５】
オーディオ送信回路６３−４は、メモリ制御回路６１−４から供給されたオーディオ＃４のオーディオデータを、１サンプルのデータずつ、タイミング発生回路４４から供給された同期信号に従って外部に出力する。
【０２０６】
このように、オーディオデータだけを多重化した多重ビデオフレームがプロセッサ４３に入力されるようにしたり、プロセッサ４３から出力されるようにしたりすることも可能である。
【０２０７】
多重ビデオフレームに対するオーディオデータの挿入の仕方も、多重ビデオフレームの１ライン全体に１系統のオーディオデータが挿入されるのではなく、１ラインに複数系統のオーディオデータが挿入されるようにしてもよい。
【０２０８】
図２０は、図１９のプロセッサ４３の入力を示す吹き出しの中の多重ビデオフレームを拡大して示す図である。
【０２０９】
図２０の例においては、多重ビデオフレームの１ライン目から３ライン目まで、各ラインにオーディオ＃１と＃２のオーディオデータが挿入されている。１ライン目のオーディオ＃１のデータの先頭には、オーディオ＃１のオーディオサンプルの数を表すサンプル数情報ｓ１が挿入され、オーディオ＃２のデータの先頭には、オーディオ＃２のオーディオサンプルの数を表すサンプル数情報ｓ２が挿入されている。
【０２１０】
４ライン目と５ライン目には、それぞれ、ラインの一部にオーディオ＃２のオーディオデータが挿入されている。
【０２１１】
６ライン目と７ライン目には、それぞれ、ライン全体にオーディオ＃３のオーディオデータが挿入されている。最終ラインであるｎライン目には、ライン全体にオーディオ＃４のオーディオデータが挿入されている。
【０２１２】
［変形例３］
図２１は、情報処理装置１の他の構成例を示すブロック図である。
【０２１３】
図２１に示す構成のうち、図１または図１９に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２１４】
図２１の情報処理装置１に対しては、１系統のビデオ信号と、３系統のオーディオ信号が入力されるようになされている。ビデオ＃１のビデオ信号はビデオ受信回路２１−１に入力され、オーディオ＃１乃至＃３のオーディオ信号はオーディオ受信回路３１−１乃至３１−３に入力される。ビデオ＃１の同期信号は多重ビデオ信号発生回路４１とタイミング発生回路４４にも入力される。
【０２１５】
多重ビデオ信号発生回路４１は、ビデオ＃１の同期信号により規定される周期で多重ビデオフレームを生成し、生成した多重ビデオフレームを同期信号とともに多重回路４２−１に出力する。図１の構成においては多重ビデオフレームの同期信号として情報処理装置１の内部でいわば自己生成された信号が用いられるのに対して、図２１の構成においては、入力ビデオ信号の同期信号が用いられることになる。
【０２１６】
タイミング発生回路４４は、ビデオ＃１の同期信号、または各系統のビデオ、オーディオのフォーマットに基づいて、各系統のビデオのフレームデータ、オーディオサンプルのデータの出力タイミングの基準となる同期信号を生成し、出力する。
【０２１７】
［変形例４］
図２２は、情報処理装置１の他の構成例を示すブロック図である。
【０２１８】
図２２に示す構成のうち、図２１に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２１９】
図２２の多重ビデオ信号発生回路４１とタイミング発生回路４４に対しては、外部から入力された同期信号である外部同期信号が入力される。
【０２２０】
多重ビデオ信号発生回路４１は、外部同期信号により規定される周期で多重ビデオフレームを生成し、生成した多重ビデオフレームを同期信号とともに多重回路４２−１に出力する。図２２の構成においては、多重ビデオフレームの同期信号として外部同期信号が用いられる。
【０２２１】
タイミング発生回路４４は、外部同期信号、または各系統のビデオ、オーディオのフォーマットに基づいて、各系統のビデオのフレームデータ、オーディオサンプルのデータの出力タイミングの基準となる同期信号を生成し、出力する。
【０２２２】
［変形例５］
図２３および図２４は、情報処理装置１の他の構成例を示すブロック図である。
【０２２３】
図２３は、プロセッサ４３に入力される多重ビデオフレームを処理する入力側の構成を示し、図２４は、プロセッサ４３から出力された多重ビデオフレームを処理する出力側の構成を示す。図２３および図２４に示す構成のうち、図２１に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２２４】
図２３の例においては、多重回路４２−１の後段には、モジュール１２１乃至１２３が直列に接続されている。モジュール１２１は、オーディオ受信回路３１−１、メモリ制御回路３２−１、メモリ３３−１、および多重回路４２−２から構成される。モジュール１２２は、オーディオ受信回路３１−２、メモリ制御回路３２−２、メモリ３３−２、および多重回路４２−３から構成される。モジュール１２３は、オーディオ受信回路３１−３、メモリ制御回路３２−３、メモリ３３−３、および多重回路４２−４から構成される。
【０２２５】
図２４の例においては、プロセッサ４３の後段には、モジュール１３１乃至１３３が直列に接続されている。モジュール１３１は、抽出回路４５−１、メモリ制御回路６１−３、メモリ６２−３、およびオーディオ送信回路６３−３から構成され、モジュール１３２は、抽出回路４５−２、メモリ制御回路６１−２、メモリ６２−２、およびオーディオ送信回路６３−２から構成される。モジュール１３３は、抽出回路４５−３、メモリ制御回路６１−１、メモリ６２−１、およびオーディオ送信回路６３−１から構成される。
【０２２６】
情報処理装置１においては、各ビデオデータ／オーディオデータの入出力条件にも、各ビデオデータ／オーディオデータの処理にも相互依存はなく、多重化方法、多重化順序にも制限はない。従って、各ビデオデータ／オーディオデータの入力から多重化までの回路と、抽出から出力までの回路は完全に独立することが可能になる。
【０２２７】
これは、１系統のビデオデータを多重する単純な入力回路と、１系統のオーディオデータを多重する単純な入力回路を全体の系統数と同じ数だけ直列接続すれば所望の入力回路を実現できることを意味する。また、１系統のビデオデータを出力する単純な回路と、１系統のオーディオデータを出力する単純な回路を全体の系統数と同じ数だけ直列接続すれば所望の出力回路を実現できることを意味する。
【０２２８】
共通する回路をモジュール化することによって、情報処理装置１の構成を単純化することが可能になる。
【０２２９】
［その他の変形例］
以上においては、１入力１出力のビデオポートがプロセッサ４３に設けられるものとしたが、入力と出力がそれぞれ複数設けられるようにしてもよい。それぞれのビデオポートを用いて多重ビデオフレームの入出力が行われるようにすることにより、プロセッサ４３に対してさらに多くの系統のデータを入力し、また、処理後のデータがプロセッサ４３から出力されるようにすることが可能である。
【０２３０】
以上においては、入力ビデオデータ、多重ビデオフレームがフレーム単位で処理されるものとしたが、フィールド単位で処理されるようにしてもよい。上述した“フレーム”は、すべて“フィールド”と言い換えることが可能である。
【０２３１】
［コンピュータの構成例］
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２３２】
図２５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２３３】
CPU(Central Processing Unit)２０１、ROM(Read Only Memory)２０２、RAM(Random Access Memory)２０３は、バス２０４により相互に接続されている。
【０２３４】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウスなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７が接続される。また、入出力インタフェース２０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部２０８、ネットワークインタフェースなどよりなる通信部２０９、リムーバブルメディア２１１を駆動するドライブ２１０が接続される。
【０２３５】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを入出力インタフェース２０５及びバス２０４を介してRAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０２３６】
CPU２０１が実行するプログラムは、例えばリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部２０８にインストールされる。
【０２３７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２３８】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２３９】
１ 情報処理装置， ２１−１および２１−２ ビデオ受信回路， ２２−１および２２−２ フレームシンクロナイザ， ２３−１および２３−２ フレームメモリ， ３１−１および３１−２ オーディオ受信回路， ３２−１および３２−２ メモリ制御回路， ３３−１および３３−２ メモリ， ４１ 多重ビデオ信号発生回路， ４２−１乃至４２−４ 多重回路， ４３ プロセッサ， ４４ タイミング発生回路， ４５−１乃至４５−４ 抽出回路， ５１−１および５１−２ フレームシンクロナイザ， ５２−１および５２−２ フレームメモリ， ５３−１および５３−２ ビデオ送信回路， ６１−１および６１−２ メモリ制御回路， ６２−１および６２−２ メモリ， ６３−１および６３−２ オーディオ送信回路
【特許請求の範囲】
【請求項１】
所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成する生成手段と、
入力されたオーディオデータを、先頭のサンプルから順に、前記多重ビデオフレームの１フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割する分割手段と、
複数の系統のデータとして入力されたそれぞれのオーディオデータから得られた複数の前記分割後のオーディオデータと、前記分割後のオーディオデータを構成するサンプルの数を表すサンプル数情報とを、前記多重ビデオフレームのデータとして多重化する多重化手段と、
入力ビデオポートから入力された多重化後の前記多重ビデオフレームに多重化されている前記分割後のオーディオデータに処理を施し、処理を施した前記分割後のオーディオデータと前記サンプル数情報とを多重化した前記多重ビデオフレームを出力ビデオポートから出力する処理手段と、
前記サンプル数情報に従って、前記処理手段から出力された前記多重ビデオフレームに多重化されている各系統の前記分割後のオーディオデータを抽出する抽出手段と、
抽出された各系統の前記分割後のオーディオデータを先頭のサンプルから順に外部に出力する送信手段と
を備える情報処理装置。
【請求項２】
前記分割手段と前記送信手段は、それぞれ、入力されるオーディオデータの系統の数と同じ数だけ設けられ、
それぞれの前記分割手段と前記送信手段においては、１系統のオーディオデータを対象として処理が行われる
請求項１に記載の情報処理装置。
【請求項３】
前記多重化手段は、複数の前記分割後のオーディオデータと前記サンプル数情報とを、系統毎に予め設定された位置のデータとして多重化する
請求項１に記載の情報処理装置。
【請求項４】
前記抽出手段は、予め設定された位置のデータとして多重化されている前記サンプル数情報により表される数のサンプルを抽出することによって、前記分割後のオーディオデータを抽出する
請求項３に記載の情報処理装置。
【請求項５】
前記多重ビデオフレームは、フォーマットが異なる複数のビデオデータの各フレーム画像を互いに重ならないように貼り付け可能な、前記複数のビデオデータの各フォーマットが規定する各フレーム画像の画面サイズの総和以上の画面サイズを有する
請求項１に記載の情報処理装置。
【請求項６】
前記多重化手段は、さらに、前記複数のビデオデータの各フレーム画像が互いに重ならないように、各フォーマットが規定する画面サイズを保持したまま前記多重ビデオフレームに貼り付けることによって前記複数のビデオデータを多重化する
請求項５に記載の情報処理装置。
【請求項７】
所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、
入力されたオーディオデータを、先頭のサンプルから順に、前記多重ビデオフレームの１フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割し、
複数の系統のデータとして入力されたそれぞれのオーディオデータから得られた複数の前記分割後のオーディオデータと、前記分割後のオーディオデータを構成するサンプルの数を表すサンプル数情報とを、前記多重ビデオフレームのデータとして多重化し、
入力ビデオポートから処理手段に入力された多重化後の前記多重ビデオフレームに多重化されている前記分割後のオーディオデータに前記処理手段において処理を施し、処理を施した前記分割後のオーディオデータと前記サンプル数情報とを多重化した前記多重ビデオフレームを前記処理手段の出力ビデオポートから出力し、
前記サンプル数情報に従って、前記処理手段から出力された前記多重ビデオフレームに多重化されている各系統の前記分割後のオーディオデータを抽出し、
抽出した各系統の前記分割後のオーディオデータを先頭のサンプルから順に外部に出力する
ステップを含む情報処理方法。
【請求項８】
所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、
入力されたオーディオデータを、先頭のサンプルから順に、前記多重ビデオフレームの１フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割し、
複数の系統のデータとして入力されたそれぞれのオーディオデータから得られた複数の前記分割後のオーディオデータと、前記分割後のオーディオデータを構成するサンプルの数を表すサンプル数情報とを、前記多重ビデオフレームのデータとして多重化し、
入力ビデオポートから処理手段に入力された多重化後の前記多重ビデオフレームに多重化されている前記分割後のオーディオデータに前記処理手段において処理を施し、処理を施した前記分割後のオーディオデータと前記サンプル数情報とを多重化した前記多重ビデオフレームを前記処理手段の出力ビデオポートから出力し、
前記サンプル数情報に従って、前記処理手段から出力された前記多重ビデオフレームに多重化されている各系統の前記分割後のオーディオデータを抽出し、
抽出した各系統の前記分割後のオーディオデータを先頭のサンプルから順に外部に出力する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１】
所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成する生成手段と、
入力されたオーディオデータを、先頭のサンプルから順に、前記多重ビデオフレームの１フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割する分割手段と、
複数の系統のデータとして入力されたそれぞれのオーディオデータから得られた複数の前記分割後のオーディオデータと、前記分割後のオーディオデータを構成するサンプルの数を表すサンプル数情報とを、前記多重ビデオフレームのデータとして多重化する多重化手段と、
入力ビデオポートから入力された多重化後の前記多重ビデオフレームに多重化されている前記分割後のオーディオデータに処理を施し、処理を施した前記分割後のオーディオデータと前記サンプル数情報とを多重化した前記多重ビデオフレームを出力ビデオポートから出力する処理手段と、
前記サンプル数情報に従って、前記処理手段から出力された前記多重ビデオフレームに多重化されている各系統の前記分割後のオーディオデータを抽出する抽出手段と、
抽出された各系統の前記分割後のオーディオデータを先頭のサンプルから順に外部に出力する送信手段と
を備える情報処理装置。
【請求項２】
前記分割手段と前記送信手段は、それぞれ、入力されるオーディオデータの系統の数と同じ数だけ設けられ、
それぞれの前記分割手段と前記送信手段においては、１系統のオーディオデータを対象として処理が行われる
請求項１に記載の情報処理装置。
【請求項３】
前記多重化手段は、複数の前記分割後のオーディオデータと前記サンプル数情報とを、系統毎に予め設定された位置のデータとして多重化する
請求項１に記載の情報処理装置。
【請求項４】
前記抽出手段は、予め設定された位置のデータとして多重化されている前記サンプル数情報により表される数のサンプルを抽出することによって、前記分割後のオーディオデータを抽出する
請求項３に記載の情報処理装置。
【請求項５】
前記多重ビデオフレームは、フォーマットが異なる複数のビデオデータの各フレーム画像を互いに重ならないように貼り付け可能な、前記複数のビデオデータの各フォーマットが規定する各フレーム画像の画面サイズの総和以上の画面サイズを有する
請求項１に記載の情報処理装置。
【請求項６】
前記多重化手段は、さらに、前記複数のビデオデータの各フレーム画像が互いに重ならないように、各フォーマットが規定する画面サイズを保持したまま前記多重ビデオフレームに貼り付けることによって前記複数のビデオデータを多重化する
請求項５に記載の情報処理装置。
【請求項７】
所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、
入力されたオーディオデータを、先頭のサンプルから順に、前記多重ビデオフレームの１フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割し、
複数の系統のデータとして入力されたそれぞれのオーディオデータから得られた複数の前記分割後のオーディオデータと、前記分割後のオーディオデータを構成するサンプルの数を表すサンプル数情報とを、前記多重ビデオフレームのデータとして多重化し、
入力ビデオポートから処理手段に入力された多重化後の前記多重ビデオフレームに多重化されている前記分割後のオーディオデータに前記処理手段において処理を施し、処理を施した前記分割後のオーディオデータと前記サンプル数情報とを多重化した前記多重ビデオフレームを前記処理手段の出力ビデオポートから出力し、
前記サンプル数情報に従って、前記処理手段から出力された前記多重ビデオフレームに多重化されている各系統の前記分割後のオーディオデータを抽出し、
抽出した各系統の前記分割後のオーディオデータを先頭のサンプルから順に外部に出力する
ステップを含む情報処理方法。
【請求項８】
所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、
入力されたオーディオデータを、先頭のサンプルから順に、前記多重ビデオフレームの１フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割し、
複数の系統のデータとして入力されたそれぞれのオーディオデータから得られた複数の前記分割後のオーディオデータと、前記分割後のオーディオデータを構成するサンプルの数を表すサンプル数情報とを、前記多重ビデオフレームのデータとして多重化し、
入力ビデオポートから処理手段に入力された多重化後の前記多重ビデオフレームに多重化されている前記分割後のオーディオデータに前記処理手段において処理を施し、処理を施した前記分割後のオーディオデータと前記サンプル数情報とを多重化した前記多重ビデオフレームを前記処理手段の出力ビデオポートから出力し、
前記サンプル数情報に従って、前記処理手段から出力された前記多重ビデオフレームに多重化されている各系統の前記分割後のオーディオデータを抽出し、
抽出した各系統の前記分割後のオーディオデータを先頭のサンプルから順に外部に出力する
ステップを含む処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２０１１−１４６９２７（Ｐ２０１１−１４６９２７Ａ）
【公開日】平成２３年７月２８日（２０１１．７．２８）
【国際特許分類】
【出願番号】特願２０１０−６１３５（Ｐ２０１０−６１３５）
【出願日】平成２２年１月１４日（２０１０．１．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年７月２８日（２０１１．７．２８）
【国際特許分類】
【出願日】平成２２年１月１４日（２０１０．１．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]