多重化制御装置
【課題】マルチプレックス(ＭＵＸ)処理とデマルチプレックス(ＤＥＭＵＸ)処理を実行する多重化制御装置の処理性能を向上させること。
【解決手段】多重化制御装置１００は、トランスポートストリーム(ＴＳ)バッファ２２２、多重化処理部２１０、映像バッファ２４２、音声バッファ２５２を具備する。映像・音声バッファ２４２、２５２から符号化映像データ・音声データが供給され多重化処理部２１０はＭＵＸ処理を実行する一方、多重化処理部２１０はＴＳバッファ２２２に蓄積されたＴＳデータのＤＥＭＵＸ処理を実行して符号化映像データ・音声データを生成する。多重化処理部２１０によるＭＵＸまたはＤＥＭＵＸの処理は、動画圧縮符号化によって処理される複数のフレームを単位として実行される。処理の実行の開始前に実行の準備が満足されているか否かが、装置１００の内部でバッファ２４２、２５２、２２２の蓄積状態の確認によって判定される。
【解決手段】多重化制御装置１００は、トランスポートストリーム(ＴＳ)バッファ２２２、多重化処理部２１０、映像バッファ２４２、音声バッファ２５２を具備する。映像・音声バッファ２４２、２５２から符号化映像データ・音声データが供給され多重化処理部２１０はＭＵＸ処理を実行する一方、多重化処理部２１０はＴＳバッファ２２２に蓄積されたＴＳデータのＤＥＭＵＸ処理を実行して符号化映像データ・音声データを生成する。多重化処理部２１０によるＭＵＸまたはＤＥＭＵＸの処理は、動画圧縮符号化によって処理される複数のフレームを単位として実行される。処理の実行の開始前に実行の準備が満足されているか否かが、装置１００の内部でバッファ２４２、２５２、２２２の蓄積状態の確認によって判定される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチプレックス処理を実行するマルチプレクサーおよびデマルチプレックス処理を実行するデマルチプレクサーとしての多重化制御装置に関するもので、特に、その処理性能を向上させるのに有益な技術に関する。
【背景技術】
【０００２】
近年、システムＬＳＩ(Large Scale Integrated Circuits)の高性能化および低消費電力化やフラッシュメモリを始めとするストレージの大容量化によって、携帯電話や携帯型コンテンツプレイヤや携帯型ゲーム機を始めとするモバイル機器の動画記録および動画視聴が普及している。画像処理技術の向上によって、今まではデジタルビデオカメラや据置型テレビ放送受像機、パーソナルコンピュータ(ＰＣ：Personal Computer)等で実現されてきた高精細と高画質のデジタルコンテンツの処理も可能となってきた。
【０００３】
現在普及している第３世代、および、第３．５世代の携帯電話は、主に通信機能を担当するベースバンド処理部と静止画、動画、音声や音楽の記録、および、再生、ゲームなどで使用されるグラフィックス処理などを担当するマルチメディア処理部から構成される。マルチメディア処理の多様化、高機能化に対応するため、マルチメディア処理専用の中央演算処理ユニット（CPU：Central Processing Unit）を具備したLSI（Large Scale Integrated circuit）や、マルチメディア処理専用のLSIを別途設ける構成などが存在する。
【０００４】
しかしながら、携帯電話等の携帯モバイル機器では、デジタルビデオカメラや据置型テレビ放送受像機やパーソナルコンピュータと比較すると、電力消費を抑えて使用時間を延ばすことが考慮されること、また、実装スペースの制約が大きいことなどから、ＣＰＵの性能や半導体メモリ(ＲＡＭ：Random Access Memory)の記憶容量等のハードウェア性能が劣っている。従って携帯モバイル機器でのハードウェアの制約によって、デジタルビデオカメラや据置型テレビ放送受像機、ＰＣと同等の画像処機能を携帯モバイル機器で実現するためにはインプリメンテーションの工夫が必要になる。
【０００５】
一方、テレビ視聴やデジタルビデオカメラによる撮影等のために、デマルチプレクサーとマルチプレクサーとが使用される。デマルチプレクサーはデマルチプレックス処理(De-multiplex処理、ＤＥＭＵＸ処理)を実行する一方、マルチプレクサーはマルチプレックス処理(Multiplex処理、ＭＵＸ処理)を実行する。
【０００６】
ＤＥＭＵＸ処理では、多種のデータが多重化(マルチプレックス)されたトランスポートストリーム(ＴＳ：Transport Stream)と呼ばれるデータ形式から、パケット化エレメンタリストリーム(ＰＥＳ：Packetized Elementary Stream)やエレメンタリストリーム(ＥＳ：Elementary Stream)と呼ばれるデコーダ(復号器)が読み込み可能な所望のデータに抽出されて変換される。
【０００７】
その反対に、MUX処理では、多種のパケット化エレメンタリストリームやエレメンタリストリームがＴＳパケット(Transport Stream Packet)と呼ばれるトランスポートストリームの構成単位に分割されて多重化(マルチプレックス)されるものである。
【０００８】
トランスポートストリームを採用する規格としては、ＭＰＥＧ−２動画像符号化／復号システムやＡＶＣＨＤ(Advanced Video Codec High Definition, エーブイシーエイチディー)等があり、日本を始めとする各国のデジタル放送規格や、ハイビジョンデジタルビデオカメラで使用されている。尚、ＡＶＣＨＤとはハイビジョン映像をビデオカメラで記録するための規格の一つであり、松下電器産業とソニーの商標である。
【０００９】
トランスポートストリームを構成するＴＳパケットは、ヘッダデータ部分(Header Data)とペイロードデータ部分(Payload Data)に分けて構成された１８８バイトまたは１９２バイトのデータである。
【００１０】
ヘッダ部分には、トランスポートストリームに関する情報が記録される。ペイロード部分には、映像や音声と言った符号化データであれば、エレメンタリストリームを再生時間単位でパケット化したパケット化エレメンタリストリームが記録される。
【００１１】
またペイロード部分には、番組特定情報(ＰＳＩ)や番組配列情報(ＳＩ)と呼ばれるパケット化エレメンタリストリームを復号して再生するために必要な制御情報や電子番組表(ＥＰＧ：Electronic Program Guide)を始めとする付加情報等であれば、それらの用途に応じたデータが各ＴＳパケットサイズに収容されるように分割されて格納される。
【００１２】
ここで、番組特定情報(ＰＳＩ：Program Specification Information)は、番組を選択するために必要な情報で、プログラムアソシエーションテーブル(ＰＡＴ)、プログラムマップテーブル(ＰＭＴ)、ネットワークインフォメーションテーブル(ＮＩＴ)、コンディショナルアクセステーブル(ＣＡＴ)などが存在する。また、番組配列情報(ＳＩ：Service Information)は、チャンネル名の表示、番組情報の表示等と番組選択の利便性のために規定されたサービス記述テーブル(ＳＤＴ)、番組情報テーブル(ＥＩＴ)等のテーブルの総称である。これらデジタル放送の種々の技術用語は、下記非特許文献１に記載されている。
【００１３】
トランスポートストリームパケットに含まれる種々のペイロードの区別には、ヘッダ部分に記載されたパケット識別子(ＰＩＤ：Packet Identifier)が使用される。ＤＥＭＵＸ処理では、このパケット識別子(ＰＩＤ)を観測して、そのＴＳパケットのペイロード部分を抽出することで、所望のペイロードの集合を抽出する。ＭＵＸ処理では、パケット化エレメンタリストリームや番組特定情報(ＰＳＩ)／番組配列情報(ＳＩ)をトランスポートストリームペイロードに分割して、更にＴＳヘッダを付加してＴＳパケットを生成して、それらを纏めてトランスポートストリームとする。この時に、エラー耐性を持たせるために、特定のパケット識別子(ＰＩＤ)のパケットが一個所に集中しないように、種々のパケット識別子(ＰＩＤ)のパケットが混合されて離散的に配置される。
【００１４】
【非特許文献１】三宅 宏幸 他、 「ディジタル放送受信機における選局技術」、ＳＡＮＹＯ ＴＥＣＨＮＩＣＡＬ ＲＥＶＩＥＷ， ＶＯＬ．３６ ＮＯ．１ ＪＵＮ． ２００４， ＰＰ．３１〜４４．
【発明の開示】
【発明が解決しようとする課題】
【００１５】
録画に際しては、デジタルビデオカメラシステムのカメラの撮影ビデオデータとマイクの取得オーディオデータとは、ビデオとオーディオのエンコーダとによってビデオとオーディオのエレメンタリストリームとにそれぞれ符号化される。この時に、符号化は、フレーム(ピクチャー)単位で実行される。このビデオとオーディオのエレメンタリストリームは、ビデオとオーディオのパケット化エレメンタリストリームに、それぞれパケット化される。
【００１６】
ビデオとオーディオのパケット化エレメンタリストリームはマルチプレクサーの入力に供給されることによって、マルチプレクサーの出力から多重化されたトランスポートストリームが生成される。すると、マルチプレクサーから最初のＭＵＸ処理が完了した旨の通信がビデオとオーディオのエンコーダとに供給されることよって、次のビデオと次のオーディオのエレメンタリストリームの符号化処理、および、パケット化エレメンタリストリーム(ＰＥＳ)のパケット化処理が実行される。
【００１７】
このように録画に際しては、上述したＭＵＸ処理は複数のフレームに対応する複数個のビデオおよびオーディオの符号化処理、多重化の処理を実行するためには、タスク間通信や割り込み処理の回数が多くなり、それによる処理のオーバーヘッドが結果として動画圧縮符号化や多重化処理を含めたシステム全体の性能劣化を招くと言う問題が本発明者等の検討によって明らかとされた。
【００１８】
一方、録画の後の蓄積メディアからの撮影映像の再生に際しても、蓄積メディアからのトランスポートストリームはデマルチプレクサーの入力に供給されることによって、ビデオとオーディオのデータとに分離される。このビデオとオーディオのデータはビデオとオーディオのデコーダの入力に供給されることによって、ビデオとオーディオの再生に用いられる伸張されたデータが出力される。すると、ビデオとオーディオのデコーダからビデオとオーディオの復号処理が完了した旨の通信がデマルチプレクサーに供給されることによって、次のトランスポートストリームのＤＥＭＵＸ処理が開始される。
【００１９】
このように再生に際しても、上述したトランスポートストリームのＤＥＭＵＸ処理、エレメンタリストリーム(ＥＳ)の復号処理を実行によりタスク間通信や割り込み処理の回数が多くなり、それによる処理のオーバーヘッドが結果として動画伸張復号化や多重化処理を含めたシステム全体の性能劣化を招くと言う問題が本発明者等の検討によって明らかとされた。
【００２０】
本発明は、以上のような本発明に先立った本発明者等の検討の結果、なされたものである。
【００２１】
従って、本発明の目的とするところは、多重化制御装置の処理性能を向上させることにある。
【００２２】
また、本発明の他の目的とするところは、ＭＵＸ処理のタスク間通信および割り込み処理の回数を低減してこれらの処理によるオーバーヘッドを削減して、動画圧縮符号化や多重化処理を含めたシステムの処理性能を向上させることにある。
【００２３】
また、本発明の他の目的とするところは、ＤＥＭＵＸ処理のタスク間通信および割り込み処理の回数を低減してこれらの処理によるオーバーヘッドを削減し、動画伸張復号化や多重化処理を含めたシステムの処理性能を向上させることにある。
【００２４】
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【００２５】
本願において開示される発明のうちの代表的なものについて簡単に説明すれば下記のとおりである。
【００２６】
すなわち、本発明の代表的なＭＵＸ処理およびＤＥＭＵＸ処理を制御する多重化制御装置(１００)は、トランスポートストリーム(ＴＳ)バッファ(２２２)と、多重化処理部(２１０)と、映像バッファ(２４２)と、音声バッファ(２５２)とを具備する。
【００２７】
前記映像バッファ(２４２)と前記音声バッファ(２５２)から符号化映像データと符号化音声データとが供給され前記多重化処理部(２１０)はＭＵＸ処理を実行する一方、前記多重化処理部(２１０)は前記ＴＳバッファ(２２２)に蓄積されたトランスポートストリームデータのＤＥＭＵＸ処理を実行して符号化映像データと符号化音声データを生成可能である(図３参照)。
【００２８】
前記多重化処理部(２１０)による前記ＭＵＸ処理または前記ＤＥＭＵＸ処理は、動画圧縮符号化によって処理される複数のフレームを単位として実行される。
【００２９】
前記ＭＵＸ処理または前記ＤＥＭＵＸ処理の実行の開始前に、前記実行の準備が満足されているか否かが、前記多重化制御装置(１００)の内部で判定される。
【００３０】
前記実行の前記準備が満足されているか否かの判定は、バッファ(２４２、２５２、２２２)の蓄積状態の確認によって実行されることを特徴とする(図５、図４参照)。
【発明の効果】
【００３１】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
【００３２】
すなわち、本発明によれば、多重化制御装置の処理性能を向上させることができる。
【００３３】
また、本発明によれば、ＭＵＸ処理時およびＤＥＭＵＸ処理時のタスク間通信および割り込み処理の回数を低減してこれらの処理によるオーバーヘッドを削減して、動画圧縮符号化および動画伸張復号化や多重化処理を含めたシステムの処理性能を向上させることが可能である。
【発明を実施するための最良の形態】
【００３４】
《代表的な実施の形態》
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。
【００３５】
〔１〕本発明の代表的な実施の形態は、ＴＳバッファ(２２２)と、多重化処理部(２１０)と、映像バッファ(２４２)と、音声バッファ(２５２)とを具備して、ＭＵＸ処理を実行する多重化制御装置(１００)である。
【００３６】
前記映像バッファ(２４２)には符号化映像データが蓄積可能であり、前記音声バッファ(２５２)には符号化音声データが蓄積可能である。
【００３７】
前記多重化処理部(２１０)には前記映像バッファ(２４２)と前記音声バッファ(２５２)とから前記符号化映像データと前記符号化音声データとがそれぞれ供給されることによって、前記多重化処理部(２１０)は前記符号化映像データと前記符号化音声データとのＭＵＸ処理を実行する。
【００３８】
前記多重化処理部(２１０)による前記ＭＵＸ処理によって生成され動画圧縮符号化されたトランスポートストリームデータは、前記ＴＳバッファ(２２２)に蓄積可能である(図３参照)。
【００３９】
前記多重化処理部(２１０)への前記符号化映像データと前記符号化音声データの供給は、前記動画圧縮符号化によって処理される複数フレームを単位として実行される(ステップ４１０)。
【００４０】
前記ＭＵＸ処理の実行の開始前に、前記ＭＵＸ処理の実行の準備が満足されているか否かが前記多重化制御装置(１００)の内部で判定される(ステップ４００〜ステップ４０８)。
【００４１】
前記実行の準備が満足されているか否かの判定は、前記映像バッファ(２４２)の前記符号化映像データの蓄積状態の確認(ステップ４００)と前記音声バッファ(２５２)の前記符号化音声データの蓄積状態の確認(ステップ４０３)と前記ＴＳバッファ(２２２)の前記トランスポートストリームデータの蓄積状態との確認(ステップ４０８)によって実行されることを特徴とする(図５参照)。
【００４２】
前記実施の形態によれば、動画圧縮符号化によって生成される複数のフレームを単位として実行されるＭＵＸ処理の実行の開始前に、バッファ(２４２、２５２、２２２)の蓄積状態の確認(ステップ４００、４０３、４０８)によって実行される。従って、単一のフレーム毎にＭＵＸ処理の実行の可否を判断する場合と比較して、ＭＵＸ処理時のタスク間通信および割り込み処理の回数を低減してこれらの処理によるオーバーヘッドを削減することができる。
【００４３】
好適な実施の形態では、前記ＭＵＸ処理によって処理される前記複数のフレームは、動画符号化方式での画面内予測符号化ピクチャーであるＩフレームと順方向予測符号化ピクチャーであるＰフレームと双方向予測符号化ピクチャーであるＢフレームとを含む。
【００４４】
前記複数のフレームは、前記Ｉフレームから次のＩフレームの直前のフレームまでを少なくとも含む符号化映像データであることを特徴とする(図５参照)。
【００４５】
他の好適な実施の形態は、前記複数のフレームは１つのグループオブピクチャー(ＧＯＰ：Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ)に略対応していることを特徴とする(図５参照)。
【００４６】
より好適な実施の形態は、前記映像バッファ(２４２)に蓄積可能な前記符号化映像データと前記音声バッファ(２５２)に蓄積可能な前記符号化音声データとは、デジタルビデオカメラシステムのカメラにより取得される画像データとマイクにより取得される音声データとにそれぞれ基づくことを特徴とする(図２参照)。
【００４７】
更に他の好適な実施の形態は、前記カメラにより取得される前記画像データは映像符号・復号部(１３０)によって前記符号化映像データに変換され、前記マイクにより取得される前記音声データは音声符号・復号部(１５０)によって前記符号化音声データに変換されることを特徴とする(図２参照)。
【００４８】
より好適な実施の形態による多重化制御装置(１００)は、放送付随情報としての番組情報(ＰＳＩ／ＳＩ)が格納可能であるデータ記憶部(２３０)を更に具備する。
【００４９】
前記多重化処理部(２１０)には前記映像バッファ(２４２)と前記音声バッファ(２５２)から前記符号化映像データと前記符号化音声データとがそれぞれ供給されると伴に前記データ記憶部(２３０)から前記番組情報(ＰＳＩ／ＳＩ)が供給されることによって、前記多重化処理部(２１０)は前記符号化映像データと前記符号化音声データと前記番組情報とのＭＵＸ処理を実行することを特徴とする(図２参照)。
【００５０】
他の具体的な一つの実施の形態は、前記実行の準備が満足されているか否かの前記判定は、前記多重化制御装置(１００)の内部の判定部(２００)で判定されることを特徴とする。
【００５１】
〔２〕本発明の別の観点の代表的な実施の形態は、ＴＳバッファ(２２２)と、多重化処理部(２１０)と、映像バッファ(２４２)と、音声バッファ(２５２)とを具備して、ＤＥＭＵＸ処理を実行する多重化制御装置(１００)である。
【００５２】
前記多重化処理部(２１０)によるＤＥＭＵＸ処理が実行される動画圧縮符号化されたトランスポートストリームデータは、前記ＴＳバッファ(２２２)に蓄積可能である。
【００５３】
前記多重化処理部(２１０)は前記ＴＳバッファ(２２２)に蓄積された前記トランスポートストリームデータの前記ＤＥＭＵＸ処理を実行することによって、符号化映像データと符号化音声データとを生成可能である。
【００５４】
前記映像バッファ(２４２)には前記多重化処理部(２１０)により生成される前記符号化映像データが蓄積可能であり、前記音声バッファ(２５２)には前記多重化処理部(２１０)により生成される前記復符号化音声データが蓄積可能である(図３参照)。
【００５５】
前記多重化処理部(２１０)による前記ＤＥＭＵＸ処理は、前記動画圧縮符号化によって処理された複数のフレームを単位として実行される(ステップ３１２)。
【００５６】
前記ＤＥＭＵＸ処理の実行の開始前に、前記ＤＥＭＵＸ処理の実行の準備が満足されているか否かが前記多重化処理部(１００)内部で判断される(ステップ３００〜ステップ３０８)。
【００５７】
前記実行の前記準備が満足されているか否かの判断は、前記ＴＳバッファ(２２２)の前記トランスポートストリームデータの蓄積状態(ステップ３０６)との確認と前記映像バッファ(２４２)の前記復号映像データの蓄積状態の確認(ステップ３０８)とによって実行されることを特徴とする(図４参照)。
【００５８】
前記実施の形態によれば、動画圧縮符号化によって処理される複数のフレームを単位として実行されるＤＥＭＵＸ処理の実行の開始前に、バッファ(２４２、２２２)の蓄積状態の確認(ステップ３０６、３０８)によって実行される。従って、複数のフレームの各フレームを単位としてＤＥＭＵＸ処理の実行の可否を判断する場合と比較して、ＤＥＭＵＸ処理のタスク間の通信回数を低減して動画圧縮符号化の処理のオーバーヘッドを削減することができる。
【００５９】
好適な実施の形態では、前記ＤＥＭＵＸ処理によって処理される前記複数のフレームは、動画符号化方式での画面内予測符号化ピクチャーであるＩフレームと前方向予測符号化ピクチャーであるＰフレームと双方向予測符号化ピクチャーであるＢフレームとを含む。
【００６０】
前記複数のフレームは、前記Ｉフレームから次のＩフレームの直前のフレームまでを少なくとも含む符号化映像データであることを特徴とする(図４参照)。
【００６１】
他の好適な実施の形態は、前記複数のフレームは１つのグループオブピクチャー(ＧＯＰ)に略対応していることを特徴とする(図４参照)。
【００６２】
更に他の好適な実施の形態では、前記実行の前記準備が完全には満足されていないと判断された場合でも、前記ＴＳバッファ(２２２)に蓄積済みの前記トランスポートストリームデータのデータ量が前記１つのグループオブピクチャー(ＧＯＰ)のデータ量よりも少ないとの確認(ステップ５０６の“Ｎｏ”)と、前記ＴＳバッファ(２２２)の実効的な蓄積データ量よりも前記映像バッファ(２４２)の空き容量が大きいとの確認(ステップ５１０の“Ｙｅｓ”)とによって、前記ＴＳバッファ(２２２)に蓄積済みの前記トランスポートストリームデータのみのＤＥＭＵＸ処理の実行が開始されることを特徴とする(図６；ステップ５１２、図８；ステップ７００参照)。
【００６３】
より好適な実施の形態では、前記ＴＳバッファ(２２２)に蓄積済みの前記トランスポートストリームデータのみの前記ＤＥＭＵＸ処理の前記実行の完了の後、前記１つのＧＯＰの残りのトランスポートストリームデータが前記ＴＳバッファ(２２２)に蓄積されるのを待ち(ステップ７０４)、更に前記映像バッファ(２４２)に必要な空き容量が確保されるのを待って(ステップ７０６)、前記トランスポートストリームバッファに蓄積された前記残りのトランスポートストリームデータのＤＥＭＵＸ処理の実行(ステップ７０８)が開始されることを特徴とする(図８参照)。
【００６４】
更により好適な実施の形態では、前記実行の前記準備が完全には満足されていないと判断された場合でも、前記ＴＳバッファ(２２２)に蓄積済みの前記トランスポートストリームデータのデータ量が前記１つのグループオブピクチャー(ＧＯＰ)のデータ量よりも少ないとの確認(ステップ５０６の“Ｎｏ”)と、前記ＴＳバッファ(２２２)の実効的な蓄積データ量よりも前記映像バッファ(２４２)の空き容量が小さいとの確認(ステップ５１０の“Ｎｏ”)とによって、前記映像バッファ(２４２)の前記空き容量に対応する前記ＴＳバッファ(２２２)に蓄積済みのトランスポートストリームデータのみのＤＥＭＵＸ処理の実行が開始されることを特徴とする(図６；ステップ５１４、図９；ステップ８００参照)。
【００６５】
具体的な一つの実施の形態は、前記ＴＳバッファ(２２２)に蓄積済みの前記映像バッファ(２４２)の前記空き容量に対応する前記トランスポートストリームデータのみの前記ＤＥＭＵＸ処理の前記実行の完了の後に、前記１つのグループオブピクチャー(ＧＯＰ)の残りのトランスポートストリームデータが前記ＴＳバッファ(２２２)に蓄積されるのを待ち(ステップ８０４)、前記映像バッファ(２４２)に必要な空き容量が確保されるのを待ち(ステップ８０６)、前記ＴＳバッファ(２２２)に蓄積された前記残りのトランスポートストリームデータのＤＥＭＵＸ処理の実行(ステップ８０８)が開始されることを特徴とする(図９参照)。
【００６６】
より具体的な一つの実施の形態は、前記多重化処理部(２１０)によって生成される前記符号化映像データと前記符号化音声データとは映像符号・復号部(１３０)と音声符号・復号部(１５０)とによって復号映像データと復号音声データとにそれぞれ変換されることを特徴とする(図２、図３参照)。
【００６７】
更により具体的な一つの実施の形態は、前記ＴＳバッファ(２２２)に蓄積可能な前記トランスポートストリームデータは、携帯システムのストレージ(１１０)から取得されるデータに基づくことを特徴とする(図２参照)。
【００６８】
更に他のより具体的な一つの実施の形態による多重化制御装置(１００)は、放送付随情報としての番組情報(ＰＳＩ／ＳＩ)が格納可能であるデータ記憶部(２３０)を更に具備する。
【００６９】
前記多重化処理部(２１０)は前記ＴＳバッファ(２２２)に蓄積された前記トランスポートストリームデータの前記ＤＥＭＵＸ処理を実行することによって、前記符号化映像データと前記符号化音声データとを生成可能である伴に前記番組情報(ＰＳＩ／ＳＩ)を生成可能である。
【００７０】
前記データ記憶部(２３０)には前記多重化処理部(２１０)により生成される前記番組情報(ＰＳＩ／ＳＩ)が蓄積可能である(図３参照)。
【００７１】
最も具体的な実施の形態は、前記実行の準備が満足されているか否かの前記判定は、前記多重化制御装置(１００)の内部の判定部(２００)で判定されることを特徴とする。
【００７２】
《実施の形態の説明》
次に、実施の形態について更に詳述する。尚、発明を実施するための最良の形態を説明するための全図において、前記の図と同一の機能を有する部品には同一の符号を付して、その繰り返しの説明は省略する。
【００７３】
《携帯電話の構成》
図１は、本発明の１つの実施の形態による携帯電話のハードウェアの一構成を示す図である。
【００７４】
図１の携帯電話は、携帯電話の機能を実現するために、アンテナ４、デュプレクサ５、ＲＦアナログ信号処理集積回路６、ＲＦ電力増幅器７、ベースバンドプロセッサ８、アプリケーションプロセッサ３、オーディオ集積回路９、スピーカー１０、マイクロフォン１１を含んでいる。
【００７５】
また、図１の携帯電話は、地上波デジタル放送の視聴および予約による外部不揮発性半導体記憶装置への録画を可能とするために、ロッドアンテナ１、地上波デジタル放送／チューナーモジュール２、アプリケーションプロセッサ３を含んでいる。地上波デジタル放送／チューナーモジュール２は、地上波デジタル放送を受信するチューナーモジュールである。
【００７６】
更に、アプリケーションプロセッサ３に接続されたＬＣＤ表示装置１６とベースバンドプロセッサ８に接続されたオーディオ集積回路９とは、携帯電話の機能と地上波デジタル放送の視聴を可能とするため使用される。また、アプリケーションプロセッサ３に接続されたカメラ１７とマイク１８と外部記憶装置１５とは、デジタルビデオカメラシステムによる動画撮影を可能とするものである。
【００７７】
図示されてはいないが、アプリケーションプロセッサ３には操作キーや操作ボタンを有する操作デバイスが接続され、エンドユーザーが操作デバイスを操作することにより携帯電話による通話や地上波デジタル放送の視聴および予約録画またカメラによる動画撮影が可能となる。
【００７８】
《携帯電話の機能》
ベースバンドプロセッサ８には携帯電話の動作を制御するＣＰＵコア８１が含まれ、ベースバンドプロセッサ８のＣＰＵコア８１はアプリケーションプロセッサ３と電気的に接続されている。エンドユーザーが操作デバイスを操作することによって、操作信号がアプリケーションプロセッサ３からベースバンドプロセッサ８のＣＰＵコア８１に伝達されるので、携帯電話による通話が開始される。
【００７９】
アンテナ４により受信された基地局からのＲＦ受信信号はデュプレクサ５を介して、ＲＦＩＣ６内部の受信信号処理部に供給される。ＲＦ受信信号はＲＦＩＣ６の受信信号処理部でアナログ受信ベースバンド信号にダウンコンバートされ、アナログ受信ベースバンド信号はＲＦＩＣ６内部のＡ／Ｄ変換器によってデジタル受信ベースバンド信号に変換される。
【００８０】
ＲＦＩＣ６のＡ／Ｄ変換器から供給されるデジタル受信ベースバンド信号はベースバンドプロセッサ８で復調信号処理を受け、Ｄ／Ａ変換器８２によるＤ／Ａ変換によって受信音声出力信号が生成される。受信音声出力信号は、オーディオＩＣ９で増幅された後、スピーカー１０に供給される。
【００８１】
マイクロフォン１１の送信音声入力信号はオーディオＩＣ９で増幅された後、ベースバンドプロセッサ８のＡ／Ｄ変換器８３によるＡ／Ｄ変換によってデジタル信号に変換され更にベースバンドプロセッサ８の変調信号処理を受け、デジタル送信ベースバンド信号に変換される。このデジタル送信ベースバンド信号は、ＲＦＩＣ６のＤ／Ａ変換器によるＤ／Ａ変換によってアナログ送信ベースバンド信号に変換され、アナログ送信ベースバンド信号はＲＦＩＣ６の受信信号処理部でＲＦ送信信号にアップコンバートされる。ＲＦ送信信号はＲＦ電力増幅器７で増幅された後、デュプレクサ５とアンテナ４とを介して基地局に送信される。
【００８２】
地上波デジタル放送／チューナーモジュール２、ベースバンドプロセッサ８、オーディオＩＣ９には、アプリケーションプロセッサ３が接続されている。
【００８３】
《アプリケーションプロセッサの構成》
アプリケーションプロセッサ３は、中央処理ユニット(ＣＰＵ)３１、外部メモリインターフェースユニット３２、マルチメディア処理部３３、ＬＣＤコントローラ３４、カメラ信号処理ユニット３５、マイク信号処理ユニット３６により構成されている。
【００８４】
ＣＰＵ３１は、ＣＰＵコア３１１、命令キャッシュメモリ３１２、データキャッシュメモリ３１３、内蔵ＲＡＭ３１４を含んでいる。
【００８５】
外部メモリインターフェースユニット３２は、第１外部不揮発性半導体記憶装置１２としてのフラッシュメモリに接続される第１外部メモリインターフェース３２２、第１外部揮発性記憶装置１３としての同期型ダイナミックランダムアクセスメモリに接続される第２外部メモリインターフェース３２３を含んでいる。
【００８６】
フラッシュメモリ１２にはモバイル端末としての携帯電話の基本的な動作のためのオペレーティングシステム(ＯＳ)のソフトウェアが格納可能であり、ＳＤＲＡＭ１３には携帯電話の動作中および地上波デジタル放送の視聴動作もしくは予約録画を可能とする受信機の種々のデータが格納可能である。
【００８７】
外部メモリインターフェースユニット３２は、更に第２外部不揮発性半導体記憶装置１４としてのフラッシュメモリに接続される第３外部メモリインターフェース３２４、外部記憶装置１５としてのモバイル端末としての携帯電話に挿入接続されるフラッシュメモリカードに接続される拡張外部メモリインターフェース３２５を含んでいる。
【００８８】
フラッシュメモリ１４には、フラッシュメモリ１２に格納されたＯＳ上に構築可能な携帯電話および地上波デジタル放送受信機の種々のアプリケーションプログラムのソフトウェアが、格納可能である。更に、外部記憶装置１５は、フラッシュメモリカードまたはハードディスクドライブ装置(ＨＤＤ：Hard Disk Drive)等によって構成されることができる。この外部記憶装置１５には、携帯電話と地上波デジタル放送受信機とデジタルビデオカメラシステムによる動画撮影とに関連してエンドユーザーが不揮発記憶を指定して不揮発記憶する種々のデータおよびコンテンツが、格納可能である。
【００８９】
マルチメディア処理部３３は、トランスポートストリーム入力インターフェース３３１、映像コーデック３３２、画像処理ユニット３３３、音声コーデック３３４、音声処理ユニット３３５、マルチプレクサー／デマルチプレクサー３３６により構成されている。また、マルチメディア処理部３３は、ＬＣＤ表示装置１６とスピーカー１０とによる画像表示と音声出力のためにＬＣＤコントローラ３４とオーディオＩＣ９に接続されている。また、マルチメディア処理部３３は、デジタルビデオカメラシステムのカメラ１７とマイク１８とによる動画撮影を可能とするためにカメラ信号処理ユニット３５とマイク信号処理ユニット３６とに接続されている。
【００９０】
地上波デジタル放送／チューナーモジュール２からのトランスポートストリームは、地上波デジタル放送／チューナーモジュール２で受信されたデジタル放送番組の圧縮符号化形式の映像情報、音声情報および付随伝送情報等の固定長パケットを含んでいる。付随情報には、番組特定情報(ＰＳＩ)、および、番組配列情報(ＳＩ)が含まれている。
【００９１】
≪デジタルビデオカメラシステムによる動画撮影≫
アプリケーションプロセッサ３に接続されたカメラ１７とマイク１８と外部記憶装置１５とは、デジタルビデオカメラシステムによる動画撮影を可能とするものである。すなわち、マルチメディア処理部３３は、デジタルビデオカメラシステムのカメラ１７とマイク１８とによる動画撮影を可能とするためにカメラ信号処理ユニット３５とマイク信号処理ユニット３６とに接続されている。カメラ１７からの映像入力信号はカメラ信号処理ユニット３５によって処理された後、画像処理ユニット３３３に供給され、拡大、または、縮小、画像合成、画質調整等を施されて映像コーデック３３２に入力される。マイク１８からの音声入力信号はマイク信号処理ユニット３６によって処理された後、音声処理ユニット３３５に供給され、音質調整等を施されて音声コーデック３３４に入力される。また、映像コーデック３３２および音声コーデック３３４で生成された映像符号化情報および音声符号化情報は、マルチプレクサー／デマルチプレクサー３３６により所望のファイル形式に変換された後に、拡張外部メモリインターフェース３２５を介し外部記憶装置１５へ格納される。
【００９２】
≪動画符号化方法≫
図１０は、ＭＰＥＧの動画符号化方式における階層構造を説明する図である。図１０に示すように、ＭＰＥＧの動画符号化方式は動画像全体に対応するシーケンス(Sequence)から離散コサイン変換(ＤＣＴ：Discrete Cosine Transform)の処理単位のブロック(Block)までの６階層の構造を有する。すなわち、第１階層はシーケンス(Sequence)、第２階層はグループオブピクチャー(ＧＯＰ)、第３階層はピクチャー(Picture)、第４階層はスライス(Slice)、第５階層はマクロブロック(Macro-block)、第６階層はブロック(Block)である。この階層構造は動画像構造をベースとしたものであるが、グループオブピクチャー(ＧＯＰ)に含まれるピクチャー(Picture)の数もしくはスライス(Slice)に含まれるマクロブロック(Macro-block)の数は比較的柔軟となっている。しかしながら、図１０からは１つのグループオブピクチャー(ＧＯＰ)のデータのサイズは、Ｉフレームから次のＩフレームまでの映像データのサイズに略対応することが理解できる。
【００９３】
≪マルチプレクサー／デマルチプレクサーの構成≫
図２は、本発明の１つの実施の形態による携帯電話端末に内蔵されたマルチプレクサー／デマルチプレクサーを実現する多重化制御装置の構成を示す図である。
【００９４】
図２に示すマルチプレクサー／デマルチプレクサーは、携帯電話端末に搭載されたマルチメディア機能の１つとしてのデジタルビデオカメラシステムを構築している。すなわち、図２の多重化制御装置１００は図１のマルチプレクサー／デマルチプレクサー３３８に対応して、図２のストレージ１１０とアプリケーションプログラム１７０とは図１の外部記憶装置１５とフラッシュメモリ１４に格納されたアプリケーションプログラムのソフトウェアとに対応している。更に、図２のカメラ１４０とディスプレイ１４４とマイク１６０とスピーカー１６４とは、図１のカメラ１７とＬＣＤ表示装置１６とマイク１８とスピーカー１０にそれぞれ対応している。また、図２の番組特定情報(ＰＳＩ)／番組配列情報(ＳＩ)制御部１８０には、図１の地上波デジタル放送／チューナーモジュール２からの付随情報としての番組特定情報(ＰＳＩ)と番組配列情報(ＳＩ)とが格納される。
【００９５】
以下に、図２に示すマルチプレクサー／デマルチプレクサーに関して、詳細に説明する。
【００９６】
マルチプレクサー／デマルチプレクサーである多重化制御装置１００は、再生時のＤＥＭＵＸ処理と記録時のＭＵＸ処理を実行するモジュールである。
【００９７】
≪再生時のデマルチプレックス処理≫
再生時のＤＥＭＵＸ処理では、多重化制御装置１００は、アプリケーションプログラム１７０により指定されたパケット識別子(ＰＩＤ)に従ってストレージ１１０から映像データと音声データとを抽出して映像符号・復号部１３０と音声符号・復号部１５０とにそれぞれ供給する。
【００９８】
≪記録時のマルチプレックス処理≫
記録時のＭＵＸ処理では、多重化制御装置１００は、映像符号・復号部１３０と音声符号・復号部１５０、番組特定情報(ＰＳＩ)／番組配列情報(ＳＩ)制御部１８０とからの生成データを多重化してストレージ１１０へ格納する。
【００９９】
すなわち、カメラ１４０によって取得された画像データは、画像処理部１４２によって拡大・縮小、ブレンド、色変換等の処理が行われた後、映像符号・復号部１３０に供給されて圧縮され、多重化制御装置１００の入力画像データとなる。マイク１６０によって取得された音声データは、音声処理部１６２によってアナログ／デジタル変換の処理と高音質化等の処理が行われた後に、音声符号・復号部１５０に供給されて圧縮され、多重化制御装置１００の入力音声データとなる。番組特定情報(ＰＳＩ)／番組配列情報(ＳＩ)制御部１８０は上述したように、再生に必要な制御情報や付加情報を生成する。従って、入力画像データと入力音声データと制御情報および付加情報は、多重化制御装置１００により多重化のためのＭＵＸ処理を受けた後にストレージ１１０へ格納される。
【０１００】
尚、映像符号・復号部１３０は映像信号に関するエンコーダ(Encoder：符号器)とデコーダ(Decoder：復号器)の両方の機能を持つ映像コーデックと呼ばれ、音声符号・復号部１５０も映像信号に関するエンコーダとデコーダの両方の機能を持つ音声コーデックと呼ばれる。
【０１０１】
≪ストレージおよびアプリケーションプログラム≫
ストレージ１１０には、携帯電話端末に内蔵されたフラッシュメモリのような不揮発性メモリやハードディスクドライブ装置(ＨＤＤ：Hard Disk Drive)等だけではなく、携帯電話端末のスロットに挿入可能な着脱型の不揮発性メモリが使用される。
【０１０２】
アプリケーションプログラム１７０は、再生時のパケット識別子(ＰＩＤ)の指定を実行する一方、再生の開始および停止と言ったユーザコマンドの通知も実行する。アプリケーションプログラム１７０は、更に多重化処理部１００、映像符号・復号部１３０、画像処理部１４２、音声符号・復号部１５０、音声処理部１６２、ＰＳＩ／ＳＩ制御部１８０の再生、記録に関連するモジュールの機能選択やパラメータ設定等を実行する。
【０１０３】
≪多重化制御装置の構成≫
図３は、図２に示した本発明の１つの実施の形態による多重化制御装置１００の構成を示す図である。
【０１０４】
図３に示す多重化制御装置１００は、多重化処理量決定部２００、ＤＥＭＵＸ処理位置記憶部２０２、多重化処理部２１０、ＴＳバッファ制御部２２０、ＴＳバッファ２２２、ＰＳＩ／ＳＩデータ記憶部２３０、映像バッファ制御部２４０、映像バッファ２４２、映像管理情報記憶部２４４、音声バッファ制御部２５０、音声バッファ２５２、音声管理情報記憶部２５４、Ｉフレーム位置検出部２６０、Ｉフレーム位置記憶部２６２を含んでいる。
【０１０５】
また、図３に示した多重化制御装置１００では、記録時でのＭＵＸ処理と再生時でのＤＥＭＵＸ処理とに、ＴＳバッファ２２２、映像バッファ２４２、音声バッファ２５２が使用される。ＴＳバッファ２２２、映像バッファ２４２、音声バッファ２５２を構成するためのメモリは、携帯電話に搭載された内蔵ＲＡＭ、または、携帯電話外部に搭載された同期型ダイナミックランダムアクセスメモリ(ＳＤＲＡＭ：Synchronous Dynamic Random Access Memory)によって構成される。
【０１０６】
まず、ＴＳバッファ制御部２２０はＴＳバッファ２２２のメモリ制御を行い、ＤＥＭＵＸ処理の時にＴＳバッファ２２２の空き容量(未使用記憶容量)に応じてストレージ１１０から必要なトランスポートストリームのデータをＴＳバッファ２２２に蓄積する。一方、ＴＳバッファ制御部２２０は、ＭＵＸ処理の時には、ＴＳバッファ２２２に格納された多重化処理部２１０の出力結果をストレージ１１０へ転送する。
【０１０７】
映像バッファ制御部２４０は映像バッファ２４２のメモリ制御を行って、ＤＥＭＵＸ処理の時に多重化処理部２１０によって出力された映像データを映像バッファ２４２に蓄積して映像符号・復号部１３０へ供給する。一方、映像バッファ制御部２４０は、ＭＵＸ処理の時に映像符号・復号部１３０の出力データを映像バッファ２４２に蓄積して多重化処理部２１０へ供給する。
【０１０８】
映像管理情報記憶部２４４は、表示タイムスタンプ(ＰＴＳ：Presentation Time Stamp)や復号タイムスタンプ(ＤＴＳ：Decoding Time Stamp)、映像バッファ２４２でのエレメンタリストリームの格納先と格納サイズ等のＤＥＭＵＸ処理の際に映像符号・復号部１３０が使用する多重化処理部２１０によって出力された情報を格納するものである。また映像管理情報記憶部２４４は、ＭＵＸ処理の際に多重化処理部２１０が使用する映像符号・復号部１３０によって出力された情報を格納する。ここで、表示タイムスタンプ(ＰＴＳ)は、表示時刻を示すタイムスタンプであり、復号タイムスタンプ(ＤＴＳ)はデコード時刻を示すタイムスタンプである。これは、双方向予測符号化ピクチャー(Ｂピクチャー、Ｂフレーム)の導入により、表示時刻とデコード時刻、すなわち、カメラからの画像データの取得時刻と符号化時のエンコード時刻が異なることに対応するためである。
【０１０９】
音声バッファ制御部２５０は音声バッファ２５２のメモリ制御を行って、ＤＥＭＵＸ処理の時に多重化処理部２１０によって出力された音声データを音声バッファ２５２に蓄積して音声符号・復号部１５０へ供給する。一方、音声バッファ制御部２５０は、ＭＵＸ処理の時に音声符号・復号部１５０の出力データを音声バッファ２５２に蓄積して、多重化処理部２１０へ供給する。
【０１１０】
音声管理情報記憶部２５４は、音声の出力時刻を示す表示タイムスタンプ(ＰＴＳ)、音声バッファ２５２におけるエレメンタリストリームの格納先と格納サイズ等のＤＥＭＵＸ処理の際に音声符号・復号部１５０が使用する多重化処理部２１０によって出力された情報を格納する。また音声管理情報記憶部２５４は、ＭＵＸ処理の際に多重化処理部２１０が使用する音声符号・復号部１５０によって出力された情報を格納する。
【０１１１】
Ｉフレーム位置記憶部２６２の記憶内容は、Ｉフレーム位置検出部２６０によって記録時に生成されて、ストレージ１１０にも格納されている。上述したように、ＭＰＥＧ−２、ＭＰＥＧ−４等の動画符号化方式では、画面内予測符号化ピクチャー(Ｉピクチャー)と順方向予測符号化ピクチャー(Ｐピクチャー)と双方向予測符号化ピクチャー(Ｂピクチャー)とが使用され、画面内予測符号化ピクチャー(Ｉピクチャー)はフレーム／フィールド内符号化画像である。従って、Ｉフレームは、他のフレームを参照すること無しにそれ自体で復号可能なフレームである。Ｉフレームは、早送り、早戻し、スキップ、タイムサーチ、チャプタースキップ等のトリックプレイと呼ばれる特殊操作時の先頭フレームとして使用される。トランスポートストリーム内のＩフレームの検出を単純化してトリックプレイを容易に実現することを目的として、記録時には予め、表示タイムスタンプ(ＰＴＳ)、復号タイムスタンプ(ＤＴＳ)、Ｉフレーム先頭データを含むＴＳパケットのコンテンツの先頭からのパケット数やアドレス、Ｉフレームデータのサイズが、Ｉフレーム位置記憶部２６２に格納される。
【０１１２】
再生時には、Ｉフレーム位置記憶部２６２に格納された記憶内容を使用して、Ｉフレームの検出を行う。すなわち、Ｉフレーム位置検出部２６０はＤＥＭＵＸ処理の際にストレージ１１０からＩフレームに関する情報をＩフレーム位置記憶部２６２に読み出して、ＤＥＭＵＸ処理を行う先頭ＴＳパケットを決定する。
【０１１３】
グループオブピクチャー(ＧＯＰ：Group of Picture)のデータのサイズは、Ｉフレームから次のＩフレームまでの映像データのサイズに略対応している。従って、Ｉフレーム位置記憶部２６２に記録された１つのＩフレームの先頭のアドレスと次のＩフレーム先頭のアドレスとの差分のサイズに、１つのＧＯＰのトランスポートストリームのデータが略含まれることになる。
【０１１４】
従って、多重化処理量決定部２００は、ＴＳバッファ制御部２２０と映像バッファ制御部２４０と音声バッファ制御部２５０とＩフレーム位置検出部２６０等と連携して、多重化の処理を実行するデータ量を決定することによって多重化処理部２１０を制御する。また、更に多重化処理量決定部２００は、アプリケーションプログラム１７０から供給される再生開始、停止、一時停止等のユーザ操作も受け付ける。
【０１１５】
また、ＤＥＭＵＸ処理位置記憶部２０２にはＤＥＭＵＸ処理の結果に応じて、次にＤＥＭＵＸ処理を行う映像データのタイムスタンプを記憶する(図４のステップ３２４)。アプリケーションプログラム１７０からトリックプレイの指示を受信している場合、ＤＥＭＵＸ処理位置記憶部２０２には、トリックプレイの指示と同時に指定される時刻が格納される。
【０１１６】
≪デマルチプレックス処理の制御フロー≫
図４は、図３に示した本発明の１つの実施の形態による多重化制御装置１００によるＤＥＭＵＸ処理の制御フローを説明する図である。
【０１１７】
図３に示した多重化制御装置１００を使用するストレージ１１０に格納されたトランスポートストリームのＤＥＭＵＸ処理は、下記のような特徴を有している。
【０１１８】
すなわち、図４のＤＥＭＵＸ処理の処理(ステップ３１２)では、多重化制御装置１００は１つのＧＯＰに含まれる複数のフレーム(ピクチャー)を単位とした処理を実行する。この処理によって、トランスポートストリームから複数のビデオフレームおよびオーディオデータが生成され、映像符号・復号部１３０のビデオデコーダと音声符号・復号部１５０のオーディオデコーダに供給される。
【０１１９】
しかし、このＤＥＭＵＸ処理の処理(ステップ３１２)の開始前に、多重化処理量決定部２００により、ＤＥＭＵＸ処理を実行する準備が満足されているかを事前に判断する。ＤＥＭＵＸ処理実行の準備が満足されているかの事前判断は、ＴＳバッファ２２２の蓄積状態と映像バッファ２４２の蓄積状態を検証するものである(ステップ３００〜ステップ３０８)。
【０１２０】
以下に、図４に記載したＤＥＭＵＸ処理時の制御フローの詳細な説明を行う。
【０１２１】
多重化制御装置１００のＩフレーム位置検出部２６０はＤＥＭＵＸ処理位置記憶部２０２によって示されるタイムスタンプの直前のＩフレーム位置を検出して、更に次のＩフレーム位置のアドレスとの差分を算出する。このアドレス差分値に対応するトランスポートストリームが、ＴＳバッファ２２２に蓄積されなければならないデータ量(すなわち、１つのＧＯＰのデータ量)となる。また、映像バッファ２４２に必要なバッファ記憶容量BMCは、ＴＳパケットからＴＳヘッダを除去した集合であるため、下記(１式)で目安となる値が算出可能である。
【０１２２】
BMC＝Diff_Add_Ｉframe×(Size_TS_Payload／Size_TS_Packet)…(式１)
ここで、Diff_Add_ＩframeはＩフレーム間のアドレス差分値を示し、Size_TS_Payloadはトランスポートストリームのペイロードサイズを示し、Size_TS_Packetはトランスポートストリームのパケットサイズを示している。
【０１２３】
Ｉフレーム間のアドレスオフセット差分値Diff_Add_Ｉframeには音声データと番組特定情報(ＰＳＩ)／番組配列情報(ＳＩ)が含まれているため、差分値Diff_Add_Ｉframeは実際に出力されるサイズよりも大きな値になる。しかし、記録時の映像データ、音声データ、番組特定情報(ＰＳＩ)／番組配列情報(ＳＩ)のＭＵＸ処理の方法には厳格な規定があるわけではないので、他の機器で記録されたコンテンツについては、アルゴリズムが不明なため厳密な計算が不可能となる。従って、図４のステップ３００では、(式１)に従って１つのＧＯＰのＤＥＭＵＸ処理の後の映像データ量を推定する。
【０１２４】
図４の次のステップ３０２では、ＴＳバッファ制御部２２０によってＴＳバッファ２２２に蓄積済のトランスポートストリームのデータ量を取得する。
【０１２５】
さらに、図４の次のステップ３０４では、映像バッファ制御部２４０によって映像バッファ２４２の空き容量(未使用記憶容量)を取得する。
【０１２６】
そして、ステップ３００で取得した１つのＧＯＰの映像データ量とステップ３０２で取得したＴＳバッファ２２２に蓄積済のＴＳデータ量とを比較して、蓄積済のＴＳデータ量が１つのＧＯＰのデータ量以上になるまで図４のステップ３０６にて待つものである。
【０１２７】
次に、ステップ３００で推定した１つのＧＯＰの映像データ量とステップ３０４で取得した映像バッファ２４２の空き容量(未使用記憶容量)を比較して、映像バッファ２４２の空き容量(未使用記憶容量)が推定した１つのＧＯＰの映像データ量以上になるまで図４のステップ３０８にて待つ。
【０１２８】
ステップ３０８が完了すると、ＴＳバッファ２２２に１つのＧＯＰの映像データの準備が完了して、映像バッファ２４２には１つのＧＯＰの映像データの出力に充分なバッファの空き領域が確保できたことになる。音声データに関しては、固定のビットレート(各フレームのエレメンタリストリームのサイズが一定)であれば、音声バッファ２５２に確保すべきバッファのサイズを特定することが可能である。しかし、音声データが可変のビットレート(各フレームのエレメンタリストリームのサイズが可変)の場合には、Ｉフレーム位置記憶部２６２に対応する記憶部が音声のＤＥＭＵＸ処理のために存在していないため音声バッファのサイズを推定することが不可能である。しかしながら、想定される範囲で極力大きなサイズを確保することにする。その理由は、音声データのビットレートが映像データのビットレートの１／１０程度かそれより小さいために、映像データと比較すれば音声データによるシステム全体へのメモリ使用量のインパクトは軽微のためである。
【０１２９】
続いて、図４のステップ３１２で、多重化処理部２１０に１つのＧＯＰのデータ量のＤＥＭＵＸ処理を指示する。この時に、入力データが格納されたＴＳバッファ２２２の格納先アドレスとサイズ、出力データの格納先となる映像バッファ２４２の格納先アドレスと音声バッファ２５２の格納先アドレス、ＰＳＩ／ＳＩデータ記憶部２３０と映像管理情報記憶部２４４と音声管理情報記憶部２５４の格納先アドレスを指定する。
【０１３０】
図４のステップ３１４では多重化処理部２１０でのＤＥＭＵＸ処理が完了したか否かが判定される。完了した判定されると、図４のステップ３１６でＴＳバッファ制御部２２０にＤＥＭＵＸ処理が完了したトランスポートストリームのデータの開放を指示する。その後、ファイル終端に到達した場合(ステップ３１８)、または、アプリケーションプログラム１７０より停止コマンドまたは一時停止コマンドを受信している場合(ステップ３２０)、ＤＥＭＵＸ処理を終了する。また、アプリケーションプログラム１７０から早送り、早戻し、スキップ、タイムサーチ、チャプタースキップ等のトリックプレイコマンドを受信している場合は、ステップ３２２とステップ３２６とでＤＥＭＵＸ処理位置記憶部２０２を指定時刻に変更する。しかし、アプリケーションプログラム１７０からトリックプレイコマンドを受信していない場合は、ステップ３２２とステップ３２４とでＤＥＭＵＸ処理位置記憶部２０２を次のＧＯＰの先頭タイムスタンプ(次のＩフレームのＰＴＳ)に変更する。
【０１３１】
すなわち、図４のステップ３１８でのファイル終端に到達したか否かの判断と、ステップ３２０でのアプリケーションプログラム１７０から停止コマンドまたは一時停止コマンドの受信の有無の判断と、ステップ３２２でのトリックプレイコマンドの受信の有無の判断とが実行される。
【０１３２】
≪マルチプレックス処理の制御フロー≫
図５は、図３に示した本発明の１つの実施の形態による多重化制御装置１００によるＭＵＸ処理の制御フローを説明する図である。
【０１３３】
図５に示したトランスポートストリームを生成してストレージ１１０に格納するＭＵＸ処理は、下記のような特徴を有している。
【０１３４】
すなわち、図５のＭＵＸ処理の処理(ステップ４１０)では、多重化制御装置１００は１つのＧＯＰに含まれる複数のフレームを単位とした処理を実行する。映像符号・復号部１３０のビデオエンコーダと音声符号・復号部１５０のオーディオエンコーダからの符号化データ、および、ＰＳＩ／ＳＩ制御部１８０が生成したＰＳＩ／ＳＩデータが多重化処理部２１０に入力され、ＭＵＸ処理によりトランスポートストリームが生成されてストレージ１１０に格納される。
【０１３５】
このＭＵＸ処理の処理(ステップ４１０)の開始前に、多重化制処理量決定部２００により、ＭＵＸ処理を実行する準備が満足されているかを事前に判断する。ＭＵＸ処理実行の準備が満足されているかの事前判断は、映像バッファ２４２の蓄積状態と音声バッファ２５２の蓄積状態とＴＳバッファ２２２の蓄積状態を検証するものである(ステップ４００〜ステップ４０８)。
【０１３６】
以下、図５に示す再生時のＭＵＸ処理の内容を詳細に説明する。
【０１３７】
図５のステップ４００にて、映像バッファ制御部２４０からの１つのＧＯＰの映像データの映像バッファ２４２への蓄積完了通知を受信することによって、ＭＵＸ処理が開始される。
【０１３８】
図５のステップ４０２では音声バッファ制御部２５０から音声バッフ記憶部２５２に蓄積済みの音声データ量とフレーム数とを取得し、ステップ４０３においてＭＵＸ処理で必要とする音声フレーム数に到達するのを待つものである。
【０１３９】
図５のステップ４０４では、ＭＵＸ処理の後のトランスポートストリームのデータ量を算出する。ＤＥＭＵＸ処理の場合と異なり、図３に示す多重化処理部２１０自らがＭＵＸ処理を行うため、正確なデータ量の算出が可能である。すなわち、多重化制御装置１００は、トランスポートストリームのデータ量を、映像データ、音声データ、ＰＳＩ／ＳＩデータのマルチプレックスアルゴリズムに従って算出する。
【０１４０】
図５のステップ４０６ではＴＳバッファ制御部２２０からＴＳバッファ２２２の空き容量(未使用記憶容量)を取得して、ステップ４０８ではＴＳバッファ２２２の空き容量がステップ４０４で算出したＭＵＸ処理の後のトランスポートストリームデータ量以上になるまで待つものである。
【０１４１】
トランスポートストリームデータ量よりもＴＳバッファの空き容量が大きくなると、ステップ４１０にて多重化処理部２１０に対してＭＵＸ処理の後のトランスポートストリームデータ量分のＭＵＸ処理を指示する。この時に、入力データが格納された映像データの映像バッファ２４２の格納先アドレスとサイズ、音声データの音声バッファ２５２の格納先アドレスとサイズ、出力データの格納先となるＴＳバッファ２２２の格納先アドレス、ＰＳＩ／ＳＩデータ記憶部２３０と映像管理情報記憶部２４４と音声管理情報記憶部２５４の格納先アドレスを設定する。
【０１４２】
図５のステップ４１２では、多重化処理部２１０によるＭＵＸ処理の完了を待つものである。処理が完了すると、ステップ４１４とステップ４１６とで映像バッファ制御部２４０と音声バッファ制御部２５０とに映像バッファ２４２と音声バッファ２５２のＭＵＸ処理済みのデータの開放を指示する。ステップ４１８にて、ストレージ１１０の記憶容量の不足となるか、規格や仕様で規定された最大記録サイズに到達すると、処理は終了する。ステップ４２０にてアプリケーションプログラム１７０よって停止コマンドか一時停止コマンドを受信すると、処理は終了する。
【０１４３】
≪その他のデマルチプレックス処理の制御フロー≫
図６は、図３に示した本発明の１つの実施の形態による多重化制御装置１００によるその他のＤＥＭＵＸ処理の制御フローを説明する図である。
【０１４４】
すなわち、図６に示す制御フローは、図４に示した制御フローのステップ３０６からステップ３１４までの処理を図６のステップ５０６からステップ５１４までの処理によって置換したものである。
【０１４５】
また、図７は、図６に示す制御フローのステップ５０８のＤＥＭＵＸ処理１の内容を説明する図である。
【０１４６】
図３に示した多重化制御装置１００を使用するストレージ１１０に格納されたトランスポートストリームの図７に示す再生時のＤＥＭＵＸ処理は、上述の図４と同様に下記のような特徴を有している。
【０１４７】
すなわち、図７のＤＥＭＵＸ処理の処理(ステップ６００)では、多重化制御装置１００は１つのＧＯＰに含まれる複数のフレーム(ピクチャー)を単位とした処理を実行する。この処理によって、トランスポートストリームから１つのＧＯＰ分のビデオフレーム、および、複数のオーディオデータが生成され、映像符号・復号部１３０のビデオデコーダと音声符号・復号部１５０のオーディオデコーダに供給される。
【０１４８】
このＤＥＭＵＸ処理の処理(ステップ６００)の開始前に、多重化処理量決定部２００がＤＥＭＵＸ処理を実行する準備が満足されているかを事前に判断する。ＤＥＭＵＸ処理実行の準備が満足されているかの事前判断は、ＴＳバッファ２２２の蓄積状態と映像バッファ２４２の蓄積状態を検証するものである(図６のステップ５０６)。
【０１４９】
更に、図８は、図６に示す制御フローのステップ５１２のＤＥＭＵＸ処理２の内容を説明する図である。
【０１５０】
図３に示した多重化制御装置１００を使用するストレージ１１０に格納されたトランスポートストリームの図８に示す再生時のＤＥＭＵＸ処理は、下記のような特徴を有している。
【０１５１】
すなわち、図８のＤＥＭＵＸ処理の処理(ステップ７００)では、多重化制御装置１００はＴＳバッファ２２２に格納済みのトランスポートストリームのみの処理を実行する。この処理によって、トランスポートストリームから蓄積済みのトランスポートストリーム内に含まれるビデオデータ、および、オーディオデータが生成され、映像符号・復号部１３０のビデオデコーダと音声符号・復号部１５０のオーディオデコーダに供給される。
【０１５２】
このＤＥＭＵＸ処理の処理(ステップ７００)の開始前に、多重化処理量決定部２００がＤＥＭＵＸ処理を実行する準備が満足されているかを事前に判断する。１つのＧＯＰより少ないデータ量でのＤＥＭＵＸ処理実行の準備が満足されているかの事前判断は、ＴＳバッファ２２２に蓄積済みのデータ量が１つのＧＯＰのデータ量よりも小さいと言う検証結果(図６のステップ５０６の“Ｎｏ”の結果)と、ＴＳバッファ２２２の実効蓄積データ量よりも映像バッファ２４２の空き容量が大きいと言う検証結果(図６のステップ５１０の“Ｙｅｓ”の結果)とを利用するものである。ステップ７０２にてステップ７００のＤＥＭＵＸ処理の実行の完了が確認されると、同一の１つのＧＯＰのＤＥＭＵＸ処理を行わなかった残りのトランスポートストリームデータがＴＳバッファ２２２に蓄積されるのを待ち(図８のステップ７０４)、更に、同一の１つのＧＯＰのＤＥＭＵＸ処理を行わなかった残りのトランスポートストリームデータ内に含まれる推定映像データ量以上に映像バッファ２４２に空き領域が確保されるのを待ち(図８のステップ７０６)、同一の１つのＧＯＰでＤＥＭＵＸ処理を行っていない残りのトランスポートストリームデータのＤＥＭＵＸ処理を開始する(図８のステップ７０８)。
【０１５３】
また、図９は、図６に示す制御フローのステップ５１４のＤＥＭＵＸ処理３の内容を説明する図である。
【０１５４】
図３に示した多重化制御装置１００を使用するストレージ１１０に格納されたトランスポートストリームの図９に示す再生時のＤＥＭＵＸ処理は、下記のような特徴を有している。
【０１５５】
すなわち、図９のＤＥＭＵＸ処理の処理(ステップ８００)では、多重化制御装置１００は１つのＧＯＰに含まれて映像バッファ２４２の空き容量に対応するデータ量のみの処理を実行する。この処理によって、トランスポートストリームから映像バッファ２４２の空き容量に対応するビデオデータおよびそのトランスポートストリーム内に含まれるオーディオデータが生成され、映像符号・復号部１３０のビデオデコーダと音声符号・復号部１５０のオーディオデコーダに供給される。
【０１５６】
映像バッファ２４２の空き容量に対応するトランスポートストリームデータのＤＥＭＵＸ処理の処理(ステップ８００)の開始前に、多重化処理量決定部２００がＤＥＭＵＸ処理を実行する準備が満足されているかを事前に判断する。このＤＥＭＵＸ処理実行の準備が満足されているかの事前判断は、ＴＳバッファ２２２に蓄積済みのデータ量が１つのＧＯＰのデータ量よりも小さいと言う検証結果(図６のステップ５０６の“Ｎｏ”の結果)と、ＴＳバッファ２２２の実効蓄積データ量よりも映像バッファ２４２の空き容量が小さいと言う検証結果(図６のステップ５１０の“Ｎｏ”の結果)とを利用するものである。ステップ８０２にてステップ８００のＤＥＭＵＸ処理の実行の完了が確認されると、同一の１つのＧＯＰでＤＥＭＵＸ処理を行っていない残りのトランスポートストリームデータがＴＳバッファ２２２に蓄積されるのを待ち(図９のステップ８０４)、更に、同一の１つのＧＯＰでＤＥＭＵＸ処理を行っていない残りのトランスポートストリーム内に含まれる推定映像データのデータ量以上に映像バッファ２４２に空き領域が確保されるのを待ち(図９のステップ８０６)、同一の１つのＧＯＰでＤＥＭＵＸ処理を行っていない残りのトランスポートストリームデータのＤＥＭＵＸ処理を開始する(図９のステップ８０８)。
【０１５７】
以下に、図６から図９までに示すＤＥＭＵＸ処理の内容を、詳細に説明する。
【０１５８】
図６のステップ５０６では、ステップ３０２にて取得したＴＳバッファ２２２に蓄積済みのＴＳデータ量とステップ３００にて取得した１つのＧＯＰのデータ量とが比較される。また、ステップ３０４で取得した映像バッファの空き容量(未使用記憶容量)とステップ３００で取得した１つのＧＯＰの映像データ量とが比較される。ステップ３０２にて取得したＴＳバッファ２２２に蓄積済みのＴＳデータ量がステップ３００にて取得した１つのＧＯＰのデータ量以上となること、更にステップ３０４で取得した映像バッファの空き容量(未使用記憶容量)がステップ３００で取得した１つのＧＯＰの映像データ量以上となることの２つの条件が成立する場合に、ステップ５０８のＤＥＭＵＸ処理１が実行される。
【０１５９】
図６の制御フローのステップ５０８のＤＥＭＵＸ処理１に対応する図７に示す処理のステップ６００では、図４のステップ３１２と同様に、多重化処理部２１０に１つのＧＯＰのデータ量のＤＥＭＵＸ処理を指示する。この時に、入力データが格納されたＴＳバッファ２２２の格納先アドレスとサイズ、出力データの格納先となる映像バッファ２４２の格納先アドレスと音声バッファ２５２の格納先アドレス、ＰＳＩ／ＳＩデータ記憶部２３０と映像管理情報記憶部２４４と音声管理情報記憶部２５４の格納先アドレスを指定する。
【０１６０】
図７に示す処理のステップ６０２では、図４のステップ３１４と同様に、多重化処理部２１０でのＤＥＭＵＸ処理が完了したか否かが判定される。完了した判定されると、図４のステップ３１６と全く同様に図６のステップ３１６でＴＳバッファ制御部２２０にＤＥＭＵＸ処理が完了したトランスポートストリームデータの開放を指示する。図６のステップ３１８、ステップ３２０、ステップ３２２、ステップ３２４、ステップ３２６のそれぞれの処理は、図４と全く同一であるので、説明を省略する。
【０１６１】
図６のステップ５０６で、上述した２つの条件が成立しない場合に、図６のステップ５１０の処理が実行される。すなわち、図６のステップ５１０の処理では、最初に、ステップ３０２にて取得したＴＳバッファ２２２に蓄積済みのＴＳデータ量STSDからＴＳヘッダを除去した実効蓄積データ量ESDが下記(式２)によって計算される。
【０１６２】
ESD＝STSD×(Size_TS_Payload／Size_TS_Packet)…(式２)
ここで、ESDは実効蓄積データ量を示し、STSDはＴＳバッファ２２２に蓄積済みのＴＳデータ量を示し、Size_TS_Payloadはトランスポートストリームのペイロードサイズを示し、Size_TS_Packetはトランスポートストリームのパケットサイズを示している。
【０１６３】
また、図６のステップ５１０の処理では、次に、上記(式２)によって計算されたＴＳバッファ２２２の実効蓄積データ量ESDよりも図４のステップ３０４で取得した映像バッファ２４２の空き容量(未使用記憶容量)VCVBMが大きいか否かが判定される。
【０１６４】
図６のステップ５１０の処理によって、上記(式２)のＴＳバッファ２２２の実効蓄積データ量ESDよりも図４のステップ３０４で取得した映像バッファ２４２の空き容量VCVBMの方が大きいと判定されると、ステップ５１２のＤＥＭＵＸ処理２が実行される。
【０１６５】
図６の制御フローのステップ５１２のＤＥＭＵＸ処理２に対応する図８に示す処理では、ステップ７００で多重化処理部２１０にＴＳバッファ２２２に蓄積済みのトランスポートストリームのデータに関するＤＥＭＵＸ処理を指示する。
【０１６６】
図８のステップ７０２では、多重化処理部２１０でのＤＥＭＵＸ処理が完了したか否かが判定される。
【０１６７】
図８のステップ７０２で処理が完了した判定されると、図８のステップ７０４において、同一の１つのＧＯＰでＤＥＭＵＸ処理を行っていない残りのトランスポートストリームデータがＴＳバッファ２２２に蓄積されるまで待つものである。尚、同一の１つのＧＯＰでＤＥＭＵＸ処理を行っていない残りのトランスポートストリームデータ量は、同一の１つのＧＯＰのトランスポートストリームデータ量からＴＳバッファ２２２に蓄積済みのトランスポートストリームデータを差し引いたものとなる。
【０１６８】
その後、図８のステップ７０６では、映像バッファ２４２に同一の１つのＧＯＰでＤＥＭＵＸ処理を行っていないトランスポートストリーム内に含まれる推定映像データ量分の空き容量(未使用記憶容量)が確保されるのを待つものである。すなわち、図８のステップ７０６では、ステップ３００で推定した１つのＧＯＰの映像データ量から上記(式２)によって計算されるステップ３０２でＴＳバッファ２２２に蓄積済みのＴＳデータの実効蓄積データ量ESDを差し引いた残りの推定映像データ量以上に、映像バッファ２４２に空き容量(未使用記憶容量)が確保されるまで待つものである。
【０１６９】
図８のステップ７０６で映像バッファ２４２に必要な空き容量が確保されると、図８のステップ７０８において、多重化処理部２１０に残りのトランスポートストリームのＤＥＭＵＸ処理を指示する。残りのトランスポートストリームデータ量は、上述したように、ステップ３００で取得した１つのＧＯＰが含まれるトランスポートストリームデータ量からステップ３０２で取得されるＴＳバッファ２２２に蓄積済みのトランスポートストリームデータ量を差し引いたものである。この時に、入力データが格納されたＴＳバッファ２２２の格納先アドレスとサイズ、出力データの格納先となる映像バッファ２４２の格納先アドレスと音声バッファ２５２の格納先アドレス、ＰＳＩ／ＳＩデータ記憶部２３０と映像管理情報記憶部２４４と音声管理情報記憶部２５４の格納先アドレスを指定する。
【０１７０】
図８のステップ７１０では多重化処理部２１０でのＤＥＭＵＸ処理が完了したか否かが判定される。完了した判定されると、図６のステップ３１６に処理が移行して、ＴＳバッファ制御部２２０にＤＥＭＵＸ処理が完了したトランスポートストリームのデータの開放を指示する。
【０１７１】
図６のステップ５１０の処理によって、上記(式２)のＴＳバッファ２２２の実効蓄積データ量ESDよりも図４のステップ３０４で取得した映像バッファ２４２の空き容量VCVBMの方が小さいと判定されると、ステップ５１４のＤＥＭＵＸ処理３が実行される。
【０１７２】
図６の制御フローのステップ５１４のＤＥＭＵＸ処理３に対応する図９に示す処理では、ＴＳバッファ２２２に蓄積済みのＴＳデータのうち下記(式３)により計算されるデータ量V_demuxのみのＤＥＭＵＸ処理をステップ８００で多重化処理部２１０に指示する。
【０１７３】
V_demux＝Round(VCVBM／Size_TS_Payload)×(Size_TS_Packet)…(式３)
ここで、V_demuxは多重化処理部２１０に指示されるＤＥＭＵＸ処理データ量を示し、Roundは小数点第一位以下を切り捨てる演算を示し、VCVBMは映像バッファ２４２の空き容量を示し、Size_TS_Payloadはトランスポートストリームのペイロードサイズを示し、Size_TS_Packetはトランスポートストリームのパケットサイズを示している。
【０１７４】
図９のステップ８０２では多重化処理部２１０でのＤＥＭＵＸ処理が完了したか否かが判定される。
【０１７５】
図９のステップ８０２で処理が完了した判定されると、図９のステップ８０４において、同一の１つのＧＯＰでＤＥＭＵＸ処理を行っていない残りの映像データがＴＳバッファ２２２に蓄積されるまで待つものである。尚、同一の１つのＧＯＰでＤＥＭＵＸ処理を行っていない残りのトランスポートストリームデータ量は、同一の１つのＧＯＰのトランスポートストリームデータ量から上記(式３)により計算されるＤＥＭＵＸ処理が完了したトランスポートストリームデータ量を差し引いたものとなる。
【０１７６】
その後、図９のステップ８０６では、映像バッファ２４２に同一の１つのＧＯＰでＤＥＭＵＸ処理を行っていないトランスポートストリーム内に含まれる推定映像データ量分の空き容量(未使用記憶容量)が確保されるのを待つものである。すなわち、図９のステップ８０６では、ステップ３００で推定した１つのＧＯＰの映像データ量から上記(式３)によって計算されるＤＥＭＵＸ処理が完了したデータを差し引いた残りのトランスポートストリームデータ量以上に、映像バッファ２４２に空き容量(未使用記憶容量)が確保されるまで待つものである。
【０１７７】
図９のステップ８０６で映像バッファ２４２に必要な空き容量が確保されると、図８のステップ７０８において、多重化処理部２１０に残りの映像データのＤＥＭＵＸ処理を指示する。残りの映像データは、上述したように、ステップ３００で推定した１つのＧＯＰの映像データ量から次式(式４)によって計算される。
【０１７８】
LTSD＝(Diff_Add_Ｉframe―V_demux)×(Size_TS_Payload
／Size_TS_Packet)…(式４)
第１項の(Diff_Add_I_frame―V_demux)が同一の１つのＧＯＰでＤＥＭＵＸ処理を行っていないトランスポートストリームデータ量であり、ステップ８０４で蓄積するデータ量と等価である。これに(Size_TS_Payload／Size_TS_Packet)を掛けることで、映像データが格納されているペイロードのデータ分に変換する。
【０１７９】
また、多重化処理部２１０にＤＥＭＵＸ処理を指示する際、入力データが格納されたＴＳバッファ２２２の格納先アドレスとサイズ、出力データの格納先となる映像バッファ２４２の格納先アドレスと音声バッファ２５２の格納先アドレス、ＰＳＩ／ＳＩデータ記憶部２３０と映像管理情報記憶部２４４と音声管理情報記憶部２５４の格納先アドレスを指定する。
【０１８０】
図９のステップ８１０では多重化処理部２１０でのＤＥＭＵＸ処理が完了したか否かが判定される。完了した判定されると、図６のステップ３１６に処理が移行して、ＴＳバッファ制御部２２０にＤＥＭＵＸ処理が完了したトランスポートストリームのデータの開放を指示する。
【０１８１】
以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
【０１８２】
すなわち、上述した本発明の種々の実施の形態では、デジタルビデオカメラシステムによる動画撮影を説明したが、それ以外の処理にも本発明を適用することが可能である。
【０１８３】
図１１は、図２のシステムにテレビ受信用のチューナー９００を接続した構成を示す図である。
【０１８４】
図２から図９の実施の形態においては、デジタルビデオカメラのシステムを例にして、説明した。しかし、本発明はそれに限定されるものではなく、図１１に示すように、チューナー９００で受信したＴＳを多重化制御装置１００に入力して、直接ストレージ１１０に記録することが可能であり、また映像コーデック１３０および音声コーデック１５０でトランスコードした後にストレージ１１０に記録することも可能である。
【０１８５】
図１２は、図１１のシステムが独立したコプロセッサシステム１０００であることを想定して、このコプロセッサシステム１０００がホストシステム２０００のホストプロセッサ９００と接続された構成を示す図である。
【０１８６】
図１２の構成においてもホストプロセッサ２０００側に接続されたストレージ９１０内のコンテンツをコプロセッサシステム１０００の多重化制御装置１００に読み込んでＤＥＭＵＸ処理、再生処理およびホストプロセッサ２０００側に接続されたカメラ９４０とマイク９６０の取得データを画像処理部１４２および音声処理部１６２に入力して、多重化制御装置１００を使用したＭＵＸ処理、記録処理を実現することが可能である。
【図面の簡単な説明】
【０１８７】
【図１】図１は、本発明の１つの実施の形態による携帯電話のハードウェア構成を示す図である。
【図２】図２は、本発明の１つの実施の形態による携帯電話端末に内蔵されたマルチプレクサー／デマルチプレクサーを実現する多重化制御装置の構成を示す図である。
【図３】図３は、図２に示した本発明の１つの実施の形態による多重化制御装置の内部構成を示す図である。
【図４】図４は、図３に示した本発明の１つの実施の形態による多重化制御装置によるデマルチプレックス処理の制御フローを説明する図である。
【図５】図５は、図３に示した本発明の１つの実施の形態による多重化制御装置によるマルチプレックス処理の制御フローを説明する図である。
【図６】図６は、図３に示した本発明の１つの実施の形態による多重化制御装置によるその他のデマルチプレックス処理の制御フローを説明する図である。
【図７】図７は、図６に示す制御フローのステップ５０８のデマルチプレックス処理(ＤＥＭＵＸ処理１)の内容を説明する図である。
【図８】図８は、図６に示す制御フローのステップ５１２のデマルチプレックス処理(ＤＥＭＵＸ処理２)の内容を説明する図である。
【図９】図９は、図６に示す制御フローのステップ５１４のデマルチプレックス処理(ＤＥＭＵＸ処理３)の内容を説明する図である。
【図１０】図１０は、動画符号化方式における階層構造を説明する図である。
【図１１】図１１は、図２のシステムにテレビ受信用のチューナーを接続した構成を示す図である
【図１２】図１２は、図１１のシステムが独立したコプロセッサシステムであることを想定して、このコプロセッサシステムがホストシステムのホストプロセッサと接続された構成を示す図である。
【符号の説明】
【０１８８】
１００ 多重化制御装置
１１０ ストレージ
１３０ 映像符号・復号部
１４０ カメラ
１４２ 画像処理部
１４４ ディスプレイ
１５０ 音声符号・復号部
１６０ マイク
１６２ 音声処理部
１６４ スピーカー
１８０ ＰＳＩ／ＳＩ制御部
２００ 多重化処理量決定部
２０２ ＤＥＭＵＸ処理位置記憶部
２１０ 多重化処理部
２２０ ＴＳバッファ制御部
２２２ ＴＳバッファ
２３０ ＰＳＩ／ＳＩ制御部
２４０ 映像バッファ制御部
２４２ 映像バッファ
２５０ 音声バッファ制御部
２５２ 音声バッファ
２６０ Ｉフレーム位置検出部
２６２ Ｉフレーム位置記憶部
【技術分野】
【０００１】
本発明は、マルチプレックス処理を実行するマルチプレクサーおよびデマルチプレックス処理を実行するデマルチプレクサーとしての多重化制御装置に関するもので、特に、その処理性能を向上させるのに有益な技術に関する。
【背景技術】
【０００２】
近年、システムＬＳＩ(Large Scale Integrated Circuits)の高性能化および低消費電力化やフラッシュメモリを始めとするストレージの大容量化によって、携帯電話や携帯型コンテンツプレイヤや携帯型ゲーム機を始めとするモバイル機器の動画記録および動画視聴が普及している。画像処理技術の向上によって、今まではデジタルビデオカメラや据置型テレビ放送受像機、パーソナルコンピュータ(ＰＣ：Personal Computer)等で実現されてきた高精細と高画質のデジタルコンテンツの処理も可能となってきた。
【０００３】
現在普及している第３世代、および、第３．５世代の携帯電話は、主に通信機能を担当するベースバンド処理部と静止画、動画、音声や音楽の記録、および、再生、ゲームなどで使用されるグラフィックス処理などを担当するマルチメディア処理部から構成される。マルチメディア処理の多様化、高機能化に対応するため、マルチメディア処理専用の中央演算処理ユニット（CPU：Central Processing Unit）を具備したLSI（Large Scale Integrated circuit）や、マルチメディア処理専用のLSIを別途設ける構成などが存在する。
【０００４】
しかしながら、携帯電話等の携帯モバイル機器では、デジタルビデオカメラや据置型テレビ放送受像機やパーソナルコンピュータと比較すると、電力消費を抑えて使用時間を延ばすことが考慮されること、また、実装スペースの制約が大きいことなどから、ＣＰＵの性能や半導体メモリ(ＲＡＭ：Random Access Memory)の記憶容量等のハードウェア性能が劣っている。従って携帯モバイル機器でのハードウェアの制約によって、デジタルビデオカメラや据置型テレビ放送受像機、ＰＣと同等の画像処機能を携帯モバイル機器で実現するためにはインプリメンテーションの工夫が必要になる。
【０００５】
一方、テレビ視聴やデジタルビデオカメラによる撮影等のために、デマルチプレクサーとマルチプレクサーとが使用される。デマルチプレクサーはデマルチプレックス処理(De-multiplex処理、ＤＥＭＵＸ処理)を実行する一方、マルチプレクサーはマルチプレックス処理(Multiplex処理、ＭＵＸ処理)を実行する。
【０００６】
ＤＥＭＵＸ処理では、多種のデータが多重化(マルチプレックス)されたトランスポートストリーム(ＴＳ：Transport Stream)と呼ばれるデータ形式から、パケット化エレメンタリストリーム(ＰＥＳ：Packetized Elementary Stream)やエレメンタリストリーム(ＥＳ：Elementary Stream)と呼ばれるデコーダ(復号器)が読み込み可能な所望のデータに抽出されて変換される。
【０００７】
その反対に、MUX処理では、多種のパケット化エレメンタリストリームやエレメンタリストリームがＴＳパケット(Transport Stream Packet)と呼ばれるトランスポートストリームの構成単位に分割されて多重化(マルチプレックス)されるものである。
【０００８】
トランスポートストリームを採用する規格としては、ＭＰＥＧ−２動画像符号化／復号システムやＡＶＣＨＤ(Advanced Video Codec High Definition, エーブイシーエイチディー)等があり、日本を始めとする各国のデジタル放送規格や、ハイビジョンデジタルビデオカメラで使用されている。尚、ＡＶＣＨＤとはハイビジョン映像をビデオカメラで記録するための規格の一つであり、松下電器産業とソニーの商標である。
【０００９】
トランスポートストリームを構成するＴＳパケットは、ヘッダデータ部分(Header Data)とペイロードデータ部分(Payload Data)に分けて構成された１８８バイトまたは１９２バイトのデータである。
【００１０】
ヘッダ部分には、トランスポートストリームに関する情報が記録される。ペイロード部分には、映像や音声と言った符号化データであれば、エレメンタリストリームを再生時間単位でパケット化したパケット化エレメンタリストリームが記録される。
【００１１】
またペイロード部分には、番組特定情報(ＰＳＩ)や番組配列情報(ＳＩ)と呼ばれるパケット化エレメンタリストリームを復号して再生するために必要な制御情報や電子番組表(ＥＰＧ：Electronic Program Guide)を始めとする付加情報等であれば、それらの用途に応じたデータが各ＴＳパケットサイズに収容されるように分割されて格納される。
【００１２】
ここで、番組特定情報(ＰＳＩ：Program Specification Information)は、番組を選択するために必要な情報で、プログラムアソシエーションテーブル(ＰＡＴ)、プログラムマップテーブル(ＰＭＴ)、ネットワークインフォメーションテーブル(ＮＩＴ)、コンディショナルアクセステーブル(ＣＡＴ)などが存在する。また、番組配列情報(ＳＩ：Service Information)は、チャンネル名の表示、番組情報の表示等と番組選択の利便性のために規定されたサービス記述テーブル(ＳＤＴ)、番組情報テーブル(ＥＩＴ)等のテーブルの総称である。これらデジタル放送の種々の技術用語は、下記非特許文献１に記載されている。
【００１３】
トランスポートストリームパケットに含まれる種々のペイロードの区別には、ヘッダ部分に記載されたパケット識別子(ＰＩＤ：Packet Identifier)が使用される。ＤＥＭＵＸ処理では、このパケット識別子(ＰＩＤ)を観測して、そのＴＳパケットのペイロード部分を抽出することで、所望のペイロードの集合を抽出する。ＭＵＸ処理では、パケット化エレメンタリストリームや番組特定情報(ＰＳＩ)／番組配列情報(ＳＩ)をトランスポートストリームペイロードに分割して、更にＴＳヘッダを付加してＴＳパケットを生成して、それらを纏めてトランスポートストリームとする。この時に、エラー耐性を持たせるために、特定のパケット識別子(ＰＩＤ)のパケットが一個所に集中しないように、種々のパケット識別子(ＰＩＤ)のパケットが混合されて離散的に配置される。
【００１４】
【非特許文献１】三宅 宏幸 他、 「ディジタル放送受信機における選局技術」、ＳＡＮＹＯ ＴＥＣＨＮＩＣＡＬ ＲＥＶＩＥＷ， ＶＯＬ．３６ ＮＯ．１ ＪＵＮ． ２００４， ＰＰ．３１〜４４．
【発明の開示】
【発明が解決しようとする課題】
【００１５】
録画に際しては、デジタルビデオカメラシステムのカメラの撮影ビデオデータとマイクの取得オーディオデータとは、ビデオとオーディオのエンコーダとによってビデオとオーディオのエレメンタリストリームとにそれぞれ符号化される。この時に、符号化は、フレーム(ピクチャー)単位で実行される。このビデオとオーディオのエレメンタリストリームは、ビデオとオーディオのパケット化エレメンタリストリームに、それぞれパケット化される。
【００１６】
ビデオとオーディオのパケット化エレメンタリストリームはマルチプレクサーの入力に供給されることによって、マルチプレクサーの出力から多重化されたトランスポートストリームが生成される。すると、マルチプレクサーから最初のＭＵＸ処理が完了した旨の通信がビデオとオーディオのエンコーダとに供給されることよって、次のビデオと次のオーディオのエレメンタリストリームの符号化処理、および、パケット化エレメンタリストリーム(ＰＥＳ)のパケット化処理が実行される。
【００１７】
このように録画に際しては、上述したＭＵＸ処理は複数のフレームに対応する複数個のビデオおよびオーディオの符号化処理、多重化の処理を実行するためには、タスク間通信や割り込み処理の回数が多くなり、それによる処理のオーバーヘッドが結果として動画圧縮符号化や多重化処理を含めたシステム全体の性能劣化を招くと言う問題が本発明者等の検討によって明らかとされた。
【００１８】
一方、録画の後の蓄積メディアからの撮影映像の再生に際しても、蓄積メディアからのトランスポートストリームはデマルチプレクサーの入力に供給されることによって、ビデオとオーディオのデータとに分離される。このビデオとオーディオのデータはビデオとオーディオのデコーダの入力に供給されることによって、ビデオとオーディオの再生に用いられる伸張されたデータが出力される。すると、ビデオとオーディオのデコーダからビデオとオーディオの復号処理が完了した旨の通信がデマルチプレクサーに供給されることによって、次のトランスポートストリームのＤＥＭＵＸ処理が開始される。
【００１９】
このように再生に際しても、上述したトランスポートストリームのＤＥＭＵＸ処理、エレメンタリストリーム(ＥＳ)の復号処理を実行によりタスク間通信や割り込み処理の回数が多くなり、それによる処理のオーバーヘッドが結果として動画伸張復号化や多重化処理を含めたシステム全体の性能劣化を招くと言う問題が本発明者等の検討によって明らかとされた。
【００２０】
本発明は、以上のような本発明に先立った本発明者等の検討の結果、なされたものである。
【００２１】
従って、本発明の目的とするところは、多重化制御装置の処理性能を向上させることにある。
【００２２】
また、本発明の他の目的とするところは、ＭＵＸ処理のタスク間通信および割り込み処理の回数を低減してこれらの処理によるオーバーヘッドを削減して、動画圧縮符号化や多重化処理を含めたシステムの処理性能を向上させることにある。
【００２３】
また、本発明の他の目的とするところは、ＤＥＭＵＸ処理のタスク間通信および割り込み処理の回数を低減してこれらの処理によるオーバーヘッドを削減し、動画伸張復号化や多重化処理を含めたシステムの処理性能を向上させることにある。
【００２４】
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【００２５】
本願において開示される発明のうちの代表的なものについて簡単に説明すれば下記のとおりである。
【００２６】
すなわち、本発明の代表的なＭＵＸ処理およびＤＥＭＵＸ処理を制御する多重化制御装置(１００)は、トランスポートストリーム(ＴＳ)バッファ(２２２)と、多重化処理部(２１０)と、映像バッファ(２４２)と、音声バッファ(２５２)とを具備する。
【００２７】
前記映像バッファ(２４２)と前記音声バッファ(２５２)から符号化映像データと符号化音声データとが供給され前記多重化処理部(２１０)はＭＵＸ処理を実行する一方、前記多重化処理部(２１０)は前記ＴＳバッファ(２２２)に蓄積されたトランスポートストリームデータのＤＥＭＵＸ処理を実行して符号化映像データと符号化音声データを生成可能である(図３参照)。
【００２８】
前記多重化処理部(２１０)による前記ＭＵＸ処理または前記ＤＥＭＵＸ処理は、動画圧縮符号化によって処理される複数のフレームを単位として実行される。
【００２９】
前記ＭＵＸ処理または前記ＤＥＭＵＸ処理の実行の開始前に、前記実行の準備が満足されているか否かが、前記多重化制御装置(１００)の内部で判定される。
【００３０】
前記実行の前記準備が満足されているか否かの判定は、バッファ(２４２、２５２、２２２)の蓄積状態の確認によって実行されることを特徴とする(図５、図４参照)。
【発明の効果】
【００３１】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
【００３２】
すなわち、本発明によれば、多重化制御装置の処理性能を向上させることができる。
【００３３】
また、本発明によれば、ＭＵＸ処理時およびＤＥＭＵＸ処理時のタスク間通信および割り込み処理の回数を低減してこれらの処理によるオーバーヘッドを削減して、動画圧縮符号化および動画伸張復号化や多重化処理を含めたシステムの処理性能を向上させることが可能である。
【発明を実施するための最良の形態】
【００３４】
《代表的な実施の形態》
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。
【００３５】
〔１〕本発明の代表的な実施の形態は、ＴＳバッファ(２２２)と、多重化処理部(２１０)と、映像バッファ(２４２)と、音声バッファ(２５２)とを具備して、ＭＵＸ処理を実行する多重化制御装置(１００)である。
【００３６】
前記映像バッファ(２４２)には符号化映像データが蓄積可能であり、前記音声バッファ(２５２)には符号化音声データが蓄積可能である。
【００３７】
前記多重化処理部(２１０)には前記映像バッファ(２４２)と前記音声バッファ(２５２)とから前記符号化映像データと前記符号化音声データとがそれぞれ供給されることによって、前記多重化処理部(２１０)は前記符号化映像データと前記符号化音声データとのＭＵＸ処理を実行する。
【００３８】
前記多重化処理部(２１０)による前記ＭＵＸ処理によって生成され動画圧縮符号化されたトランスポートストリームデータは、前記ＴＳバッファ(２２２)に蓄積可能である(図３参照)。
【００３９】
前記多重化処理部(２１０)への前記符号化映像データと前記符号化音声データの供給は、前記動画圧縮符号化によって処理される複数フレームを単位として実行される(ステップ４１０)。
【００４０】
前記ＭＵＸ処理の実行の開始前に、前記ＭＵＸ処理の実行の準備が満足されているか否かが前記多重化制御装置(１００)の内部で判定される(ステップ４００〜ステップ４０８)。
【００４１】
前記実行の準備が満足されているか否かの判定は、前記映像バッファ(２４２)の前記符号化映像データの蓄積状態の確認(ステップ４００)と前記音声バッファ(２５２)の前記符号化音声データの蓄積状態の確認(ステップ４０３)と前記ＴＳバッファ(２２２)の前記トランスポートストリームデータの蓄積状態との確認(ステップ４０８)によって実行されることを特徴とする(図５参照)。
【００４２】
前記実施の形態によれば、動画圧縮符号化によって生成される複数のフレームを単位として実行されるＭＵＸ処理の実行の開始前に、バッファ(２４２、２５２、２２２)の蓄積状態の確認(ステップ４００、４０３、４０８)によって実行される。従って、単一のフレーム毎にＭＵＸ処理の実行の可否を判断する場合と比較して、ＭＵＸ処理時のタスク間通信および割り込み処理の回数を低減してこれらの処理によるオーバーヘッドを削減することができる。
【００４３】
好適な実施の形態では、前記ＭＵＸ処理によって処理される前記複数のフレームは、動画符号化方式での画面内予測符号化ピクチャーであるＩフレームと順方向予測符号化ピクチャーであるＰフレームと双方向予測符号化ピクチャーであるＢフレームとを含む。
【００４４】
前記複数のフレームは、前記Ｉフレームから次のＩフレームの直前のフレームまでを少なくとも含む符号化映像データであることを特徴とする(図５参照)。
【００４５】
他の好適な実施の形態は、前記複数のフレームは１つのグループオブピクチャー(ＧＯＰ：Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ)に略対応していることを特徴とする(図５参照)。
【００４６】
より好適な実施の形態は、前記映像バッファ(２４２)に蓄積可能な前記符号化映像データと前記音声バッファ(２５２)に蓄積可能な前記符号化音声データとは、デジタルビデオカメラシステムのカメラにより取得される画像データとマイクにより取得される音声データとにそれぞれ基づくことを特徴とする(図２参照)。
【００４７】
更に他の好適な実施の形態は、前記カメラにより取得される前記画像データは映像符号・復号部(１３０)によって前記符号化映像データに変換され、前記マイクにより取得される前記音声データは音声符号・復号部(１５０)によって前記符号化音声データに変換されることを特徴とする(図２参照)。
【００４８】
より好適な実施の形態による多重化制御装置(１００)は、放送付随情報としての番組情報(ＰＳＩ／ＳＩ)が格納可能であるデータ記憶部(２３０)を更に具備する。
【００４９】
前記多重化処理部(２１０)には前記映像バッファ(２４２)と前記音声バッファ(２５２)から前記符号化映像データと前記符号化音声データとがそれぞれ供給されると伴に前記データ記憶部(２３０)から前記番組情報(ＰＳＩ／ＳＩ)が供給されることによって、前記多重化処理部(２１０)は前記符号化映像データと前記符号化音声データと前記番組情報とのＭＵＸ処理を実行することを特徴とする(図２参照)。
【００５０】
他の具体的な一つの実施の形態は、前記実行の準備が満足されているか否かの前記判定は、前記多重化制御装置(１００)の内部の判定部(２００)で判定されることを特徴とする。
【００５１】
〔２〕本発明の別の観点の代表的な実施の形態は、ＴＳバッファ(２２２)と、多重化処理部(２１０)と、映像バッファ(２４２)と、音声バッファ(２５２)とを具備して、ＤＥＭＵＸ処理を実行する多重化制御装置(１００)である。
【００５２】
前記多重化処理部(２１０)によるＤＥＭＵＸ処理が実行される動画圧縮符号化されたトランスポートストリームデータは、前記ＴＳバッファ(２２２)に蓄積可能である。
【００５３】
前記多重化処理部(２１０)は前記ＴＳバッファ(２２２)に蓄積された前記トランスポートストリームデータの前記ＤＥＭＵＸ処理を実行することによって、符号化映像データと符号化音声データとを生成可能である。
【００５４】
前記映像バッファ(２４２)には前記多重化処理部(２１０)により生成される前記符号化映像データが蓄積可能であり、前記音声バッファ(２５２)には前記多重化処理部(２１０)により生成される前記復符号化音声データが蓄積可能である(図３参照)。
【００５５】
前記多重化処理部(２１０)による前記ＤＥＭＵＸ処理は、前記動画圧縮符号化によって処理された複数のフレームを単位として実行される(ステップ３１２)。
【００５６】
前記ＤＥＭＵＸ処理の実行の開始前に、前記ＤＥＭＵＸ処理の実行の準備が満足されているか否かが前記多重化処理部(１００)内部で判断される(ステップ３００〜ステップ３０８)。
【００５７】
前記実行の前記準備が満足されているか否かの判断は、前記ＴＳバッファ(２２２)の前記トランスポートストリームデータの蓄積状態(ステップ３０６)との確認と前記映像バッファ(２４２)の前記復号映像データの蓄積状態の確認(ステップ３０８)とによって実行されることを特徴とする(図４参照)。
【００５８】
前記実施の形態によれば、動画圧縮符号化によって処理される複数のフレームを単位として実行されるＤＥＭＵＸ処理の実行の開始前に、バッファ(２４２、２２２)の蓄積状態の確認(ステップ３０６、３０８)によって実行される。従って、複数のフレームの各フレームを単位としてＤＥＭＵＸ処理の実行の可否を判断する場合と比較して、ＤＥＭＵＸ処理のタスク間の通信回数を低減して動画圧縮符号化の処理のオーバーヘッドを削減することができる。
【００５９】
好適な実施の形態では、前記ＤＥＭＵＸ処理によって処理される前記複数のフレームは、動画符号化方式での画面内予測符号化ピクチャーであるＩフレームと前方向予測符号化ピクチャーであるＰフレームと双方向予測符号化ピクチャーであるＢフレームとを含む。
【００６０】
前記複数のフレームは、前記Ｉフレームから次のＩフレームの直前のフレームまでを少なくとも含む符号化映像データであることを特徴とする(図４参照)。
【００６１】
他の好適な実施の形態は、前記複数のフレームは１つのグループオブピクチャー(ＧＯＰ)に略対応していることを特徴とする(図４参照)。
【００６２】
更に他の好適な実施の形態では、前記実行の前記準備が完全には満足されていないと判断された場合でも、前記ＴＳバッファ(２２２)に蓄積済みの前記トランスポートストリームデータのデータ量が前記１つのグループオブピクチャー(ＧＯＰ)のデータ量よりも少ないとの確認(ステップ５０６の“Ｎｏ”)と、前記ＴＳバッファ(２２２)の実効的な蓄積データ量よりも前記映像バッファ(２４２)の空き容量が大きいとの確認(ステップ５１０の“Ｙｅｓ”)とによって、前記ＴＳバッファ(２２２)に蓄積済みの前記トランスポートストリームデータのみのＤＥＭＵＸ処理の実行が開始されることを特徴とする(図６；ステップ５１２、図８；ステップ７００参照)。
【００６３】
より好適な実施の形態では、前記ＴＳバッファ(２２２)に蓄積済みの前記トランスポートストリームデータのみの前記ＤＥＭＵＸ処理の前記実行の完了の後、前記１つのＧＯＰの残りのトランスポートストリームデータが前記ＴＳバッファ(２２２)に蓄積されるのを待ち(ステップ７０４)、更に前記映像バッファ(２４２)に必要な空き容量が確保されるのを待って(ステップ７０６)、前記トランスポートストリームバッファに蓄積された前記残りのトランスポートストリームデータのＤＥＭＵＸ処理の実行(ステップ７０８)が開始されることを特徴とする(図８参照)。
【００６４】
更により好適な実施の形態では、前記実行の前記準備が完全には満足されていないと判断された場合でも、前記ＴＳバッファ(２２２)に蓄積済みの前記トランスポートストリームデータのデータ量が前記１つのグループオブピクチャー(ＧＯＰ)のデータ量よりも少ないとの確認(ステップ５０６の“Ｎｏ”)と、前記ＴＳバッファ(２２２)の実効的な蓄積データ量よりも前記映像バッファ(２４２)の空き容量が小さいとの確認(ステップ５１０の“Ｎｏ”)とによって、前記映像バッファ(２４２)の前記空き容量に対応する前記ＴＳバッファ(２２２)に蓄積済みのトランスポートストリームデータのみのＤＥＭＵＸ処理の実行が開始されることを特徴とする(図６；ステップ５１４、図９；ステップ８００参照)。
【００６５】
具体的な一つの実施の形態は、前記ＴＳバッファ(２２２)に蓄積済みの前記映像バッファ(２４２)の前記空き容量に対応する前記トランスポートストリームデータのみの前記ＤＥＭＵＸ処理の前記実行の完了の後に、前記１つのグループオブピクチャー(ＧＯＰ)の残りのトランスポートストリームデータが前記ＴＳバッファ(２２２)に蓄積されるのを待ち(ステップ８０４)、前記映像バッファ(２４２)に必要な空き容量が確保されるのを待ち(ステップ８０６)、前記ＴＳバッファ(２２２)に蓄積された前記残りのトランスポートストリームデータのＤＥＭＵＸ処理の実行(ステップ８０８)が開始されることを特徴とする(図９参照)。
【００６６】
より具体的な一つの実施の形態は、前記多重化処理部(２１０)によって生成される前記符号化映像データと前記符号化音声データとは映像符号・復号部(１３０)と音声符号・復号部(１５０)とによって復号映像データと復号音声データとにそれぞれ変換されることを特徴とする(図２、図３参照)。
【００６７】
更により具体的な一つの実施の形態は、前記ＴＳバッファ(２２２)に蓄積可能な前記トランスポートストリームデータは、携帯システムのストレージ(１１０)から取得されるデータに基づくことを特徴とする(図２参照)。
【００６８】
更に他のより具体的な一つの実施の形態による多重化制御装置(１００)は、放送付随情報としての番組情報(ＰＳＩ／ＳＩ)が格納可能であるデータ記憶部(２３０)を更に具備する。
【００６９】
前記多重化処理部(２１０)は前記ＴＳバッファ(２２２)に蓄積された前記トランスポートストリームデータの前記ＤＥＭＵＸ処理を実行することによって、前記符号化映像データと前記符号化音声データとを生成可能である伴に前記番組情報(ＰＳＩ／ＳＩ)を生成可能である。
【００７０】
前記データ記憶部(２３０)には前記多重化処理部(２１０)により生成される前記番組情報(ＰＳＩ／ＳＩ)が蓄積可能である(図３参照)。
【００７１】
最も具体的な実施の形態は、前記実行の準備が満足されているか否かの前記判定は、前記多重化制御装置(１００)の内部の判定部(２００)で判定されることを特徴とする。
【００７２】
《実施の形態の説明》
次に、実施の形態について更に詳述する。尚、発明を実施するための最良の形態を説明するための全図において、前記の図と同一の機能を有する部品には同一の符号を付して、その繰り返しの説明は省略する。
【００７３】
《携帯電話の構成》
図１は、本発明の１つの実施の形態による携帯電話のハードウェアの一構成を示す図である。
【００７４】
図１の携帯電話は、携帯電話の機能を実現するために、アンテナ４、デュプレクサ５、ＲＦアナログ信号処理集積回路６、ＲＦ電力増幅器７、ベースバンドプロセッサ８、アプリケーションプロセッサ３、オーディオ集積回路９、スピーカー１０、マイクロフォン１１を含んでいる。
【００７５】
また、図１の携帯電話は、地上波デジタル放送の視聴および予約による外部不揮発性半導体記憶装置への録画を可能とするために、ロッドアンテナ１、地上波デジタル放送／チューナーモジュール２、アプリケーションプロセッサ３を含んでいる。地上波デジタル放送／チューナーモジュール２は、地上波デジタル放送を受信するチューナーモジュールである。
【００７６】
更に、アプリケーションプロセッサ３に接続されたＬＣＤ表示装置１６とベースバンドプロセッサ８に接続されたオーディオ集積回路９とは、携帯電話の機能と地上波デジタル放送の視聴を可能とするため使用される。また、アプリケーションプロセッサ３に接続されたカメラ１７とマイク１８と外部記憶装置１５とは、デジタルビデオカメラシステムによる動画撮影を可能とするものである。
【００７７】
図示されてはいないが、アプリケーションプロセッサ３には操作キーや操作ボタンを有する操作デバイスが接続され、エンドユーザーが操作デバイスを操作することにより携帯電話による通話や地上波デジタル放送の視聴および予約録画またカメラによる動画撮影が可能となる。
【００７８】
《携帯電話の機能》
ベースバンドプロセッサ８には携帯電話の動作を制御するＣＰＵコア８１が含まれ、ベースバンドプロセッサ８のＣＰＵコア８１はアプリケーションプロセッサ３と電気的に接続されている。エンドユーザーが操作デバイスを操作することによって、操作信号がアプリケーションプロセッサ３からベースバンドプロセッサ８のＣＰＵコア８１に伝達されるので、携帯電話による通話が開始される。
【００７９】
アンテナ４により受信された基地局からのＲＦ受信信号はデュプレクサ５を介して、ＲＦＩＣ６内部の受信信号処理部に供給される。ＲＦ受信信号はＲＦＩＣ６の受信信号処理部でアナログ受信ベースバンド信号にダウンコンバートされ、アナログ受信ベースバンド信号はＲＦＩＣ６内部のＡ／Ｄ変換器によってデジタル受信ベースバンド信号に変換される。
【００８０】
ＲＦＩＣ６のＡ／Ｄ変換器から供給されるデジタル受信ベースバンド信号はベースバンドプロセッサ８で復調信号処理を受け、Ｄ／Ａ変換器８２によるＤ／Ａ変換によって受信音声出力信号が生成される。受信音声出力信号は、オーディオＩＣ９で増幅された後、スピーカー１０に供給される。
【００８１】
マイクロフォン１１の送信音声入力信号はオーディオＩＣ９で増幅された後、ベースバンドプロセッサ８のＡ／Ｄ変換器８３によるＡ／Ｄ変換によってデジタル信号に変換され更にベースバンドプロセッサ８の変調信号処理を受け、デジタル送信ベースバンド信号に変換される。このデジタル送信ベースバンド信号は、ＲＦＩＣ６のＤ／Ａ変換器によるＤ／Ａ変換によってアナログ送信ベースバンド信号に変換され、アナログ送信ベースバンド信号はＲＦＩＣ６の受信信号処理部でＲＦ送信信号にアップコンバートされる。ＲＦ送信信号はＲＦ電力増幅器７で増幅された後、デュプレクサ５とアンテナ４とを介して基地局に送信される。
【００８２】
地上波デジタル放送／チューナーモジュール２、ベースバンドプロセッサ８、オーディオＩＣ９には、アプリケーションプロセッサ３が接続されている。
【００８３】
《アプリケーションプロセッサの構成》
アプリケーションプロセッサ３は、中央処理ユニット(ＣＰＵ)３１、外部メモリインターフェースユニット３２、マルチメディア処理部３３、ＬＣＤコントローラ３４、カメラ信号処理ユニット３５、マイク信号処理ユニット３６により構成されている。
【００８４】
ＣＰＵ３１は、ＣＰＵコア３１１、命令キャッシュメモリ３１２、データキャッシュメモリ３１３、内蔵ＲＡＭ３１４を含んでいる。
【００８５】
外部メモリインターフェースユニット３２は、第１外部不揮発性半導体記憶装置１２としてのフラッシュメモリに接続される第１外部メモリインターフェース３２２、第１外部揮発性記憶装置１３としての同期型ダイナミックランダムアクセスメモリに接続される第２外部メモリインターフェース３２３を含んでいる。
【００８６】
フラッシュメモリ１２にはモバイル端末としての携帯電話の基本的な動作のためのオペレーティングシステム(ＯＳ)のソフトウェアが格納可能であり、ＳＤＲＡＭ１３には携帯電話の動作中および地上波デジタル放送の視聴動作もしくは予約録画を可能とする受信機の種々のデータが格納可能である。
【００８７】
外部メモリインターフェースユニット３２は、更に第２外部不揮発性半導体記憶装置１４としてのフラッシュメモリに接続される第３外部メモリインターフェース３２４、外部記憶装置１５としてのモバイル端末としての携帯電話に挿入接続されるフラッシュメモリカードに接続される拡張外部メモリインターフェース３２５を含んでいる。
【００８８】
フラッシュメモリ１４には、フラッシュメモリ１２に格納されたＯＳ上に構築可能な携帯電話および地上波デジタル放送受信機の種々のアプリケーションプログラムのソフトウェアが、格納可能である。更に、外部記憶装置１５は、フラッシュメモリカードまたはハードディスクドライブ装置(ＨＤＤ：Hard Disk Drive)等によって構成されることができる。この外部記憶装置１５には、携帯電話と地上波デジタル放送受信機とデジタルビデオカメラシステムによる動画撮影とに関連してエンドユーザーが不揮発記憶を指定して不揮発記憶する種々のデータおよびコンテンツが、格納可能である。
【００８９】
マルチメディア処理部３３は、トランスポートストリーム入力インターフェース３３１、映像コーデック３３２、画像処理ユニット３３３、音声コーデック３３４、音声処理ユニット３３５、マルチプレクサー／デマルチプレクサー３３６により構成されている。また、マルチメディア処理部３３は、ＬＣＤ表示装置１６とスピーカー１０とによる画像表示と音声出力のためにＬＣＤコントローラ３４とオーディオＩＣ９に接続されている。また、マルチメディア処理部３３は、デジタルビデオカメラシステムのカメラ１７とマイク１８とによる動画撮影を可能とするためにカメラ信号処理ユニット３５とマイク信号処理ユニット３６とに接続されている。
【００９０】
地上波デジタル放送／チューナーモジュール２からのトランスポートストリームは、地上波デジタル放送／チューナーモジュール２で受信されたデジタル放送番組の圧縮符号化形式の映像情報、音声情報および付随伝送情報等の固定長パケットを含んでいる。付随情報には、番組特定情報(ＰＳＩ)、および、番組配列情報(ＳＩ)が含まれている。
【００９１】
≪デジタルビデオカメラシステムによる動画撮影≫
アプリケーションプロセッサ３に接続されたカメラ１７とマイク１８と外部記憶装置１５とは、デジタルビデオカメラシステムによる動画撮影を可能とするものである。すなわち、マルチメディア処理部３３は、デジタルビデオカメラシステムのカメラ１７とマイク１８とによる動画撮影を可能とするためにカメラ信号処理ユニット３５とマイク信号処理ユニット３６とに接続されている。カメラ１７からの映像入力信号はカメラ信号処理ユニット３５によって処理された後、画像処理ユニット３３３に供給され、拡大、または、縮小、画像合成、画質調整等を施されて映像コーデック３３２に入力される。マイク１８からの音声入力信号はマイク信号処理ユニット３６によって処理された後、音声処理ユニット３３５に供給され、音質調整等を施されて音声コーデック３３４に入力される。また、映像コーデック３３２および音声コーデック３３４で生成された映像符号化情報および音声符号化情報は、マルチプレクサー／デマルチプレクサー３３６により所望のファイル形式に変換された後に、拡張外部メモリインターフェース３２５を介し外部記憶装置１５へ格納される。
【００９２】
≪動画符号化方法≫
図１０は、ＭＰＥＧの動画符号化方式における階層構造を説明する図である。図１０に示すように、ＭＰＥＧの動画符号化方式は動画像全体に対応するシーケンス(Sequence)から離散コサイン変換(ＤＣＴ：Discrete Cosine Transform)の処理単位のブロック(Block)までの６階層の構造を有する。すなわち、第１階層はシーケンス(Sequence)、第２階層はグループオブピクチャー(ＧＯＰ)、第３階層はピクチャー(Picture)、第４階層はスライス(Slice)、第５階層はマクロブロック(Macro-block)、第６階層はブロック(Block)である。この階層構造は動画像構造をベースとしたものであるが、グループオブピクチャー(ＧＯＰ)に含まれるピクチャー(Picture)の数もしくはスライス(Slice)に含まれるマクロブロック(Macro-block)の数は比較的柔軟となっている。しかしながら、図１０からは１つのグループオブピクチャー(ＧＯＰ)のデータのサイズは、Ｉフレームから次のＩフレームまでの映像データのサイズに略対応することが理解できる。
【００９３】
≪マルチプレクサー／デマルチプレクサーの構成≫
図２は、本発明の１つの実施の形態による携帯電話端末に内蔵されたマルチプレクサー／デマルチプレクサーを実現する多重化制御装置の構成を示す図である。
【００９４】
図２に示すマルチプレクサー／デマルチプレクサーは、携帯電話端末に搭載されたマルチメディア機能の１つとしてのデジタルビデオカメラシステムを構築している。すなわち、図２の多重化制御装置１００は図１のマルチプレクサー／デマルチプレクサー３３８に対応して、図２のストレージ１１０とアプリケーションプログラム１７０とは図１の外部記憶装置１５とフラッシュメモリ１４に格納されたアプリケーションプログラムのソフトウェアとに対応している。更に、図２のカメラ１４０とディスプレイ１４４とマイク１６０とスピーカー１６４とは、図１のカメラ１７とＬＣＤ表示装置１６とマイク１８とスピーカー１０にそれぞれ対応している。また、図２の番組特定情報(ＰＳＩ)／番組配列情報(ＳＩ)制御部１８０には、図１の地上波デジタル放送／チューナーモジュール２からの付随情報としての番組特定情報(ＰＳＩ)と番組配列情報(ＳＩ)とが格納される。
【００９５】
以下に、図２に示すマルチプレクサー／デマルチプレクサーに関して、詳細に説明する。
【００９６】
マルチプレクサー／デマルチプレクサーである多重化制御装置１００は、再生時のＤＥＭＵＸ処理と記録時のＭＵＸ処理を実行するモジュールである。
【００９７】
≪再生時のデマルチプレックス処理≫
再生時のＤＥＭＵＸ処理では、多重化制御装置１００は、アプリケーションプログラム１７０により指定されたパケット識別子(ＰＩＤ)に従ってストレージ１１０から映像データと音声データとを抽出して映像符号・復号部１３０と音声符号・復号部１５０とにそれぞれ供給する。
【００９８】
≪記録時のマルチプレックス処理≫
記録時のＭＵＸ処理では、多重化制御装置１００は、映像符号・復号部１３０と音声符号・復号部１５０、番組特定情報(ＰＳＩ)／番組配列情報(ＳＩ)制御部１８０とからの生成データを多重化してストレージ１１０へ格納する。
【００９９】
すなわち、カメラ１４０によって取得された画像データは、画像処理部１４２によって拡大・縮小、ブレンド、色変換等の処理が行われた後、映像符号・復号部１３０に供給されて圧縮され、多重化制御装置１００の入力画像データとなる。マイク１６０によって取得された音声データは、音声処理部１６２によってアナログ／デジタル変換の処理と高音質化等の処理が行われた後に、音声符号・復号部１５０に供給されて圧縮され、多重化制御装置１００の入力音声データとなる。番組特定情報(ＰＳＩ)／番組配列情報(ＳＩ)制御部１８０は上述したように、再生に必要な制御情報や付加情報を生成する。従って、入力画像データと入力音声データと制御情報および付加情報は、多重化制御装置１００により多重化のためのＭＵＸ処理を受けた後にストレージ１１０へ格納される。
【０１００】
尚、映像符号・復号部１３０は映像信号に関するエンコーダ(Encoder：符号器)とデコーダ(Decoder：復号器)の両方の機能を持つ映像コーデックと呼ばれ、音声符号・復号部１５０も映像信号に関するエンコーダとデコーダの両方の機能を持つ音声コーデックと呼ばれる。
【０１０１】
≪ストレージおよびアプリケーションプログラム≫
ストレージ１１０には、携帯電話端末に内蔵されたフラッシュメモリのような不揮発性メモリやハードディスクドライブ装置(ＨＤＤ：Hard Disk Drive)等だけではなく、携帯電話端末のスロットに挿入可能な着脱型の不揮発性メモリが使用される。
【０１０２】
アプリケーションプログラム１７０は、再生時のパケット識別子(ＰＩＤ)の指定を実行する一方、再生の開始および停止と言ったユーザコマンドの通知も実行する。アプリケーションプログラム１７０は、更に多重化処理部１００、映像符号・復号部１３０、画像処理部１４２、音声符号・復号部１５０、音声処理部１６２、ＰＳＩ／ＳＩ制御部１８０の再生、記録に関連するモジュールの機能選択やパラメータ設定等を実行する。
【０１０３】
≪多重化制御装置の構成≫
図３は、図２に示した本発明の１つの実施の形態による多重化制御装置１００の構成を示す図である。
【０１０４】
図３に示す多重化制御装置１００は、多重化処理量決定部２００、ＤＥＭＵＸ処理位置記憶部２０２、多重化処理部２１０、ＴＳバッファ制御部２２０、ＴＳバッファ２２２、ＰＳＩ／ＳＩデータ記憶部２３０、映像バッファ制御部２４０、映像バッファ２４２、映像管理情報記憶部２４４、音声バッファ制御部２５０、音声バッファ２５２、音声管理情報記憶部２５４、Ｉフレーム位置検出部２６０、Ｉフレーム位置記憶部２６２を含んでいる。
【０１０５】
また、図３に示した多重化制御装置１００では、記録時でのＭＵＸ処理と再生時でのＤＥＭＵＸ処理とに、ＴＳバッファ２２２、映像バッファ２４２、音声バッファ２５２が使用される。ＴＳバッファ２２２、映像バッファ２４２、音声バッファ２５２を構成するためのメモリは、携帯電話に搭載された内蔵ＲＡＭ、または、携帯電話外部に搭載された同期型ダイナミックランダムアクセスメモリ(ＳＤＲＡＭ：Synchronous Dynamic Random Access Memory)によって構成される。
【０１０６】
まず、ＴＳバッファ制御部２２０はＴＳバッファ２２２のメモリ制御を行い、ＤＥＭＵＸ処理の時にＴＳバッファ２２２の空き容量(未使用記憶容量)に応じてストレージ１１０から必要なトランスポートストリームのデータをＴＳバッファ２２２に蓄積する。一方、ＴＳバッファ制御部２２０は、ＭＵＸ処理の時には、ＴＳバッファ２２２に格納された多重化処理部２１０の出力結果をストレージ１１０へ転送する。
【０１０７】
映像バッファ制御部２４０は映像バッファ２４２のメモリ制御を行って、ＤＥＭＵＸ処理の時に多重化処理部２１０によって出力された映像データを映像バッファ２４２に蓄積して映像符号・復号部１３０へ供給する。一方、映像バッファ制御部２４０は、ＭＵＸ処理の時に映像符号・復号部１３０の出力データを映像バッファ２４２に蓄積して多重化処理部２１０へ供給する。
【０１０８】
映像管理情報記憶部２４４は、表示タイムスタンプ(ＰＴＳ：Presentation Time Stamp)や復号タイムスタンプ(ＤＴＳ：Decoding Time Stamp)、映像バッファ２４２でのエレメンタリストリームの格納先と格納サイズ等のＤＥＭＵＸ処理の際に映像符号・復号部１３０が使用する多重化処理部２１０によって出力された情報を格納するものである。また映像管理情報記憶部２４４は、ＭＵＸ処理の際に多重化処理部２１０が使用する映像符号・復号部１３０によって出力された情報を格納する。ここで、表示タイムスタンプ(ＰＴＳ)は、表示時刻を示すタイムスタンプであり、復号タイムスタンプ(ＤＴＳ)はデコード時刻を示すタイムスタンプである。これは、双方向予測符号化ピクチャー(Ｂピクチャー、Ｂフレーム)の導入により、表示時刻とデコード時刻、すなわち、カメラからの画像データの取得時刻と符号化時のエンコード時刻が異なることに対応するためである。
【０１０９】
音声バッファ制御部２５０は音声バッファ２５２のメモリ制御を行って、ＤＥＭＵＸ処理の時に多重化処理部２１０によって出力された音声データを音声バッファ２５２に蓄積して音声符号・復号部１５０へ供給する。一方、音声バッファ制御部２５０は、ＭＵＸ処理の時に音声符号・復号部１５０の出力データを音声バッファ２５２に蓄積して、多重化処理部２１０へ供給する。
【０１１０】
音声管理情報記憶部２５４は、音声の出力時刻を示す表示タイムスタンプ(ＰＴＳ)、音声バッファ２５２におけるエレメンタリストリームの格納先と格納サイズ等のＤＥＭＵＸ処理の際に音声符号・復号部１５０が使用する多重化処理部２１０によって出力された情報を格納する。また音声管理情報記憶部２５４は、ＭＵＸ処理の際に多重化処理部２１０が使用する音声符号・復号部１５０によって出力された情報を格納する。
【０１１１】
Ｉフレーム位置記憶部２６２の記憶内容は、Ｉフレーム位置検出部２６０によって記録時に生成されて、ストレージ１１０にも格納されている。上述したように、ＭＰＥＧ−２、ＭＰＥＧ−４等の動画符号化方式では、画面内予測符号化ピクチャー(Ｉピクチャー)と順方向予測符号化ピクチャー(Ｐピクチャー)と双方向予測符号化ピクチャー(Ｂピクチャー)とが使用され、画面内予測符号化ピクチャー(Ｉピクチャー)はフレーム／フィールド内符号化画像である。従って、Ｉフレームは、他のフレームを参照すること無しにそれ自体で復号可能なフレームである。Ｉフレームは、早送り、早戻し、スキップ、タイムサーチ、チャプタースキップ等のトリックプレイと呼ばれる特殊操作時の先頭フレームとして使用される。トランスポートストリーム内のＩフレームの検出を単純化してトリックプレイを容易に実現することを目的として、記録時には予め、表示タイムスタンプ(ＰＴＳ)、復号タイムスタンプ(ＤＴＳ)、Ｉフレーム先頭データを含むＴＳパケットのコンテンツの先頭からのパケット数やアドレス、Ｉフレームデータのサイズが、Ｉフレーム位置記憶部２６２に格納される。
【０１１２】
再生時には、Ｉフレーム位置記憶部２６２に格納された記憶内容を使用して、Ｉフレームの検出を行う。すなわち、Ｉフレーム位置検出部２６０はＤＥＭＵＸ処理の際にストレージ１１０からＩフレームに関する情報をＩフレーム位置記憶部２６２に読み出して、ＤＥＭＵＸ処理を行う先頭ＴＳパケットを決定する。
【０１１３】
グループオブピクチャー(ＧＯＰ：Group of Picture)のデータのサイズは、Ｉフレームから次のＩフレームまでの映像データのサイズに略対応している。従って、Ｉフレーム位置記憶部２６２に記録された１つのＩフレームの先頭のアドレスと次のＩフレーム先頭のアドレスとの差分のサイズに、１つのＧＯＰのトランスポートストリームのデータが略含まれることになる。
【０１１４】
従って、多重化処理量決定部２００は、ＴＳバッファ制御部２２０と映像バッファ制御部２４０と音声バッファ制御部２５０とＩフレーム位置検出部２６０等と連携して、多重化の処理を実行するデータ量を決定することによって多重化処理部２１０を制御する。また、更に多重化処理量決定部２００は、アプリケーションプログラム１７０から供給される再生開始、停止、一時停止等のユーザ操作も受け付ける。
【０１１５】
また、ＤＥＭＵＸ処理位置記憶部２０２にはＤＥＭＵＸ処理の結果に応じて、次にＤＥＭＵＸ処理を行う映像データのタイムスタンプを記憶する(図４のステップ３２４)。アプリケーションプログラム１７０からトリックプレイの指示を受信している場合、ＤＥＭＵＸ処理位置記憶部２０２には、トリックプレイの指示と同時に指定される時刻が格納される。
【０１１６】
≪デマルチプレックス処理の制御フロー≫
図４は、図３に示した本発明の１つの実施の形態による多重化制御装置１００によるＤＥＭＵＸ処理の制御フローを説明する図である。
【０１１７】
図３に示した多重化制御装置１００を使用するストレージ１１０に格納されたトランスポートストリームのＤＥＭＵＸ処理は、下記のような特徴を有している。
【０１１８】
すなわち、図４のＤＥＭＵＸ処理の処理(ステップ３１２)では、多重化制御装置１００は１つのＧＯＰに含まれる複数のフレーム(ピクチャー)を単位とした処理を実行する。この処理によって、トランスポートストリームから複数のビデオフレームおよびオーディオデータが生成され、映像符号・復号部１３０のビデオデコーダと音声符号・復号部１５０のオーディオデコーダに供給される。
【０１１９】
しかし、このＤＥＭＵＸ処理の処理(ステップ３１２)の開始前に、多重化処理量決定部２００により、ＤＥＭＵＸ処理を実行する準備が満足されているかを事前に判断する。ＤＥＭＵＸ処理実行の準備が満足されているかの事前判断は、ＴＳバッファ２２２の蓄積状態と映像バッファ２４２の蓄積状態を検証するものである(ステップ３００〜ステップ３０８)。
【０１２０】
以下に、図４に記載したＤＥＭＵＸ処理時の制御フローの詳細な説明を行う。
【０１２１】
多重化制御装置１００のＩフレーム位置検出部２６０はＤＥＭＵＸ処理位置記憶部２０２によって示されるタイムスタンプの直前のＩフレーム位置を検出して、更に次のＩフレーム位置のアドレスとの差分を算出する。このアドレス差分値に対応するトランスポートストリームが、ＴＳバッファ２２２に蓄積されなければならないデータ量(すなわち、１つのＧＯＰのデータ量)となる。また、映像バッファ２４２に必要なバッファ記憶容量BMCは、ＴＳパケットからＴＳヘッダを除去した集合であるため、下記(１式)で目安となる値が算出可能である。
【０１２２】
BMC＝Diff_Add_Ｉframe×(Size_TS_Payload／Size_TS_Packet)…(式１)
ここで、Diff_Add_ＩframeはＩフレーム間のアドレス差分値を示し、Size_TS_Payloadはトランスポートストリームのペイロードサイズを示し、Size_TS_Packetはトランスポートストリームのパケットサイズを示している。
【０１２３】
Ｉフレーム間のアドレスオフセット差分値Diff_Add_Ｉframeには音声データと番組特定情報(ＰＳＩ)／番組配列情報(ＳＩ)が含まれているため、差分値Diff_Add_Ｉframeは実際に出力されるサイズよりも大きな値になる。しかし、記録時の映像データ、音声データ、番組特定情報(ＰＳＩ)／番組配列情報(ＳＩ)のＭＵＸ処理の方法には厳格な規定があるわけではないので、他の機器で記録されたコンテンツについては、アルゴリズムが不明なため厳密な計算が不可能となる。従って、図４のステップ３００では、(式１)に従って１つのＧＯＰのＤＥＭＵＸ処理の後の映像データ量を推定する。
【０１２４】
図４の次のステップ３０２では、ＴＳバッファ制御部２２０によってＴＳバッファ２２２に蓄積済のトランスポートストリームのデータ量を取得する。
【０１２５】
さらに、図４の次のステップ３０４では、映像バッファ制御部２４０によって映像バッファ２４２の空き容量(未使用記憶容量)を取得する。
【０１２６】
そして、ステップ３００で取得した１つのＧＯＰの映像データ量とステップ３０２で取得したＴＳバッファ２２２に蓄積済のＴＳデータ量とを比較して、蓄積済のＴＳデータ量が１つのＧＯＰのデータ量以上になるまで図４のステップ３０６にて待つものである。
【０１２７】
次に、ステップ３００で推定した１つのＧＯＰの映像データ量とステップ３０４で取得した映像バッファ２４２の空き容量(未使用記憶容量)を比較して、映像バッファ２４２の空き容量(未使用記憶容量)が推定した１つのＧＯＰの映像データ量以上になるまで図４のステップ３０８にて待つ。
【０１２８】
ステップ３０８が完了すると、ＴＳバッファ２２２に１つのＧＯＰの映像データの準備が完了して、映像バッファ２４２には１つのＧＯＰの映像データの出力に充分なバッファの空き領域が確保できたことになる。音声データに関しては、固定のビットレート(各フレームのエレメンタリストリームのサイズが一定)であれば、音声バッファ２５２に確保すべきバッファのサイズを特定することが可能である。しかし、音声データが可変のビットレート(各フレームのエレメンタリストリームのサイズが可変)の場合には、Ｉフレーム位置記憶部２６２に対応する記憶部が音声のＤＥＭＵＸ処理のために存在していないため音声バッファのサイズを推定することが不可能である。しかしながら、想定される範囲で極力大きなサイズを確保することにする。その理由は、音声データのビットレートが映像データのビットレートの１／１０程度かそれより小さいために、映像データと比較すれば音声データによるシステム全体へのメモリ使用量のインパクトは軽微のためである。
【０１２９】
続いて、図４のステップ３１２で、多重化処理部２１０に１つのＧＯＰのデータ量のＤＥＭＵＸ処理を指示する。この時に、入力データが格納されたＴＳバッファ２２２の格納先アドレスとサイズ、出力データの格納先となる映像バッファ２４２の格納先アドレスと音声バッファ２５２の格納先アドレス、ＰＳＩ／ＳＩデータ記憶部２３０と映像管理情報記憶部２４４と音声管理情報記憶部２５４の格納先アドレスを指定する。
【０１３０】
図４のステップ３１４では多重化処理部２１０でのＤＥＭＵＸ処理が完了したか否かが判定される。完了した判定されると、図４のステップ３１６でＴＳバッファ制御部２２０にＤＥＭＵＸ処理が完了したトランスポートストリームのデータの開放を指示する。その後、ファイル終端に到達した場合(ステップ３１８)、または、アプリケーションプログラム１７０より停止コマンドまたは一時停止コマンドを受信している場合(ステップ３２０)、ＤＥＭＵＸ処理を終了する。また、アプリケーションプログラム１７０から早送り、早戻し、スキップ、タイムサーチ、チャプタースキップ等のトリックプレイコマンドを受信している場合は、ステップ３２２とステップ３２６とでＤＥＭＵＸ処理位置記憶部２０２を指定時刻に変更する。しかし、アプリケーションプログラム１７０からトリックプレイコマンドを受信していない場合は、ステップ３２２とステップ３２４とでＤＥＭＵＸ処理位置記憶部２０２を次のＧＯＰの先頭タイムスタンプ(次のＩフレームのＰＴＳ)に変更する。
【０１３１】
すなわち、図４のステップ３１８でのファイル終端に到達したか否かの判断と、ステップ３２０でのアプリケーションプログラム１７０から停止コマンドまたは一時停止コマンドの受信の有無の判断と、ステップ３２２でのトリックプレイコマンドの受信の有無の判断とが実行される。
【０１３２】
≪マルチプレックス処理の制御フロー≫
図５は、図３に示した本発明の１つの実施の形態による多重化制御装置１００によるＭＵＸ処理の制御フローを説明する図である。
【０１３３】
図５に示したトランスポートストリームを生成してストレージ１１０に格納するＭＵＸ処理は、下記のような特徴を有している。
【０１３４】
すなわち、図５のＭＵＸ処理の処理(ステップ４１０)では、多重化制御装置１００は１つのＧＯＰに含まれる複数のフレームを単位とした処理を実行する。映像符号・復号部１３０のビデオエンコーダと音声符号・復号部１５０のオーディオエンコーダからの符号化データ、および、ＰＳＩ／ＳＩ制御部１８０が生成したＰＳＩ／ＳＩデータが多重化処理部２１０に入力され、ＭＵＸ処理によりトランスポートストリームが生成されてストレージ１１０に格納される。
【０１３５】
このＭＵＸ処理の処理(ステップ４１０)の開始前に、多重化制処理量決定部２００により、ＭＵＸ処理を実行する準備が満足されているかを事前に判断する。ＭＵＸ処理実行の準備が満足されているかの事前判断は、映像バッファ２４２の蓄積状態と音声バッファ２５２の蓄積状態とＴＳバッファ２２２の蓄積状態を検証するものである(ステップ４００〜ステップ４０８)。
【０１３６】
以下、図５に示す再生時のＭＵＸ処理の内容を詳細に説明する。
【０１３７】
図５のステップ４００にて、映像バッファ制御部２４０からの１つのＧＯＰの映像データの映像バッファ２４２への蓄積完了通知を受信することによって、ＭＵＸ処理が開始される。
【０１３８】
図５のステップ４０２では音声バッファ制御部２５０から音声バッフ記憶部２５２に蓄積済みの音声データ量とフレーム数とを取得し、ステップ４０３においてＭＵＸ処理で必要とする音声フレーム数に到達するのを待つものである。
【０１３９】
図５のステップ４０４では、ＭＵＸ処理の後のトランスポートストリームのデータ量を算出する。ＤＥＭＵＸ処理の場合と異なり、図３に示す多重化処理部２１０自らがＭＵＸ処理を行うため、正確なデータ量の算出が可能である。すなわち、多重化制御装置１００は、トランスポートストリームのデータ量を、映像データ、音声データ、ＰＳＩ／ＳＩデータのマルチプレックスアルゴリズムに従って算出する。
【０１４０】
図５のステップ４０６ではＴＳバッファ制御部２２０からＴＳバッファ２２２の空き容量(未使用記憶容量)を取得して、ステップ４０８ではＴＳバッファ２２２の空き容量がステップ４０４で算出したＭＵＸ処理の後のトランスポートストリームデータ量以上になるまで待つものである。
【０１４１】
トランスポートストリームデータ量よりもＴＳバッファの空き容量が大きくなると、ステップ４１０にて多重化処理部２１０に対してＭＵＸ処理の後のトランスポートストリームデータ量分のＭＵＸ処理を指示する。この時に、入力データが格納された映像データの映像バッファ２４２の格納先アドレスとサイズ、音声データの音声バッファ２５２の格納先アドレスとサイズ、出力データの格納先となるＴＳバッファ２２２の格納先アドレス、ＰＳＩ／ＳＩデータ記憶部２３０と映像管理情報記憶部２４４と音声管理情報記憶部２５４の格納先アドレスを設定する。
【０１４２】
図５のステップ４１２では、多重化処理部２１０によるＭＵＸ処理の完了を待つものである。処理が完了すると、ステップ４１４とステップ４１６とで映像バッファ制御部２４０と音声バッファ制御部２５０とに映像バッファ２４２と音声バッファ２５２のＭＵＸ処理済みのデータの開放を指示する。ステップ４１８にて、ストレージ１１０の記憶容量の不足となるか、規格や仕様で規定された最大記録サイズに到達すると、処理は終了する。ステップ４２０にてアプリケーションプログラム１７０よって停止コマンドか一時停止コマンドを受信すると、処理は終了する。
【０１４３】
≪その他のデマルチプレックス処理の制御フロー≫
図６は、図３に示した本発明の１つの実施の形態による多重化制御装置１００によるその他のＤＥＭＵＸ処理の制御フローを説明する図である。
【０１４４】
すなわち、図６に示す制御フローは、図４に示した制御フローのステップ３０６からステップ３１４までの処理を図６のステップ５０６からステップ５１４までの処理によって置換したものである。
【０１４５】
また、図７は、図６に示す制御フローのステップ５０８のＤＥＭＵＸ処理１の内容を説明する図である。
【０１４６】
図３に示した多重化制御装置１００を使用するストレージ１１０に格納されたトランスポートストリームの図７に示す再生時のＤＥＭＵＸ処理は、上述の図４と同様に下記のような特徴を有している。
【０１４７】
すなわち、図７のＤＥＭＵＸ処理の処理(ステップ６００)では、多重化制御装置１００は１つのＧＯＰに含まれる複数のフレーム(ピクチャー)を単位とした処理を実行する。この処理によって、トランスポートストリームから１つのＧＯＰ分のビデオフレーム、および、複数のオーディオデータが生成され、映像符号・復号部１３０のビデオデコーダと音声符号・復号部１５０のオーディオデコーダに供給される。
【０１４８】
このＤＥＭＵＸ処理の処理(ステップ６００)の開始前に、多重化処理量決定部２００がＤＥＭＵＸ処理を実行する準備が満足されているかを事前に判断する。ＤＥＭＵＸ処理実行の準備が満足されているかの事前判断は、ＴＳバッファ２２２の蓄積状態と映像バッファ２４２の蓄積状態を検証するものである(図６のステップ５０６)。
【０１４９】
更に、図８は、図６に示す制御フローのステップ５１２のＤＥＭＵＸ処理２の内容を説明する図である。
【０１５０】
図３に示した多重化制御装置１００を使用するストレージ１１０に格納されたトランスポートストリームの図８に示す再生時のＤＥＭＵＸ処理は、下記のような特徴を有している。
【０１５１】
すなわち、図８のＤＥＭＵＸ処理の処理(ステップ７００)では、多重化制御装置１００はＴＳバッファ２２２に格納済みのトランスポートストリームのみの処理を実行する。この処理によって、トランスポートストリームから蓄積済みのトランスポートストリーム内に含まれるビデオデータ、および、オーディオデータが生成され、映像符号・復号部１３０のビデオデコーダと音声符号・復号部１５０のオーディオデコーダに供給される。
【０１５２】
このＤＥＭＵＸ処理の処理(ステップ７００)の開始前に、多重化処理量決定部２００がＤＥＭＵＸ処理を実行する準備が満足されているかを事前に判断する。１つのＧＯＰより少ないデータ量でのＤＥＭＵＸ処理実行の準備が満足されているかの事前判断は、ＴＳバッファ２２２に蓄積済みのデータ量が１つのＧＯＰのデータ量よりも小さいと言う検証結果(図６のステップ５０６の“Ｎｏ”の結果)と、ＴＳバッファ２２２の実効蓄積データ量よりも映像バッファ２４２の空き容量が大きいと言う検証結果(図６のステップ５１０の“Ｙｅｓ”の結果)とを利用するものである。ステップ７０２にてステップ７００のＤＥＭＵＸ処理の実行の完了が確認されると、同一の１つのＧＯＰのＤＥＭＵＸ処理を行わなかった残りのトランスポートストリームデータがＴＳバッファ２２２に蓄積されるのを待ち(図８のステップ７０４)、更に、同一の１つのＧＯＰのＤＥＭＵＸ処理を行わなかった残りのトランスポートストリームデータ内に含まれる推定映像データ量以上に映像バッファ２４２に空き領域が確保されるのを待ち(図８のステップ７０６)、同一の１つのＧＯＰでＤＥＭＵＸ処理を行っていない残りのトランスポートストリームデータのＤＥＭＵＸ処理を開始する(図８のステップ７０８)。
【０１５３】
また、図９は、図６に示す制御フローのステップ５１４のＤＥＭＵＸ処理３の内容を説明する図である。
【０１５４】
図３に示した多重化制御装置１００を使用するストレージ１１０に格納されたトランスポートストリームの図９に示す再生時のＤＥＭＵＸ処理は、下記のような特徴を有している。
【０１５５】
すなわち、図９のＤＥＭＵＸ処理の処理(ステップ８００)では、多重化制御装置１００は１つのＧＯＰに含まれて映像バッファ２４２の空き容量に対応するデータ量のみの処理を実行する。この処理によって、トランスポートストリームから映像バッファ２４２の空き容量に対応するビデオデータおよびそのトランスポートストリーム内に含まれるオーディオデータが生成され、映像符号・復号部１３０のビデオデコーダと音声符号・復号部１５０のオーディオデコーダに供給される。
【０１５６】
映像バッファ２４２の空き容量に対応するトランスポートストリームデータのＤＥＭＵＸ処理の処理(ステップ８００)の開始前に、多重化処理量決定部２００がＤＥＭＵＸ処理を実行する準備が満足されているかを事前に判断する。このＤＥＭＵＸ処理実行の準備が満足されているかの事前判断は、ＴＳバッファ２２２に蓄積済みのデータ量が１つのＧＯＰのデータ量よりも小さいと言う検証結果(図６のステップ５０６の“Ｎｏ”の結果)と、ＴＳバッファ２２２の実効蓄積データ量よりも映像バッファ２４２の空き容量が小さいと言う検証結果(図６のステップ５１０の“Ｎｏ”の結果)とを利用するものである。ステップ８０２にてステップ８００のＤＥＭＵＸ処理の実行の完了が確認されると、同一の１つのＧＯＰでＤＥＭＵＸ処理を行っていない残りのトランスポートストリームデータがＴＳバッファ２２２に蓄積されるのを待ち(図９のステップ８０４)、更に、同一の１つのＧＯＰでＤＥＭＵＸ処理を行っていない残りのトランスポートストリーム内に含まれる推定映像データのデータ量以上に映像バッファ２４２に空き領域が確保されるのを待ち(図９のステップ８０６)、同一の１つのＧＯＰでＤＥＭＵＸ処理を行っていない残りのトランスポートストリームデータのＤＥＭＵＸ処理を開始する(図９のステップ８０８)。
【０１５７】
以下に、図６から図９までに示すＤＥＭＵＸ処理の内容を、詳細に説明する。
【０１５８】
図６のステップ５０６では、ステップ３０２にて取得したＴＳバッファ２２２に蓄積済みのＴＳデータ量とステップ３００にて取得した１つのＧＯＰのデータ量とが比較される。また、ステップ３０４で取得した映像バッファの空き容量(未使用記憶容量)とステップ３００で取得した１つのＧＯＰの映像データ量とが比較される。ステップ３０２にて取得したＴＳバッファ２２２に蓄積済みのＴＳデータ量がステップ３００にて取得した１つのＧＯＰのデータ量以上となること、更にステップ３０４で取得した映像バッファの空き容量(未使用記憶容量)がステップ３００で取得した１つのＧＯＰの映像データ量以上となることの２つの条件が成立する場合に、ステップ５０８のＤＥＭＵＸ処理１が実行される。
【０１５９】
図６の制御フローのステップ５０８のＤＥＭＵＸ処理１に対応する図７に示す処理のステップ６００では、図４のステップ３１２と同様に、多重化処理部２１０に１つのＧＯＰのデータ量のＤＥＭＵＸ処理を指示する。この時に、入力データが格納されたＴＳバッファ２２２の格納先アドレスとサイズ、出力データの格納先となる映像バッファ２４２の格納先アドレスと音声バッファ２５２の格納先アドレス、ＰＳＩ／ＳＩデータ記憶部２３０と映像管理情報記憶部２４４と音声管理情報記憶部２５４の格納先アドレスを指定する。
【０１６０】
図７に示す処理のステップ６０２では、図４のステップ３１４と同様に、多重化処理部２１０でのＤＥＭＵＸ処理が完了したか否かが判定される。完了した判定されると、図４のステップ３１６と全く同様に図６のステップ３１６でＴＳバッファ制御部２２０にＤＥＭＵＸ処理が完了したトランスポートストリームデータの開放を指示する。図６のステップ３１８、ステップ３２０、ステップ３２２、ステップ３２４、ステップ３２６のそれぞれの処理は、図４と全く同一であるので、説明を省略する。
【０１６１】
図６のステップ５０６で、上述した２つの条件が成立しない場合に、図６のステップ５１０の処理が実行される。すなわち、図６のステップ５１０の処理では、最初に、ステップ３０２にて取得したＴＳバッファ２２２に蓄積済みのＴＳデータ量STSDからＴＳヘッダを除去した実効蓄積データ量ESDが下記(式２)によって計算される。
【０１６２】
ESD＝STSD×(Size_TS_Payload／Size_TS_Packet)…(式２)
ここで、ESDは実効蓄積データ量を示し、STSDはＴＳバッファ２２２に蓄積済みのＴＳデータ量を示し、Size_TS_Payloadはトランスポートストリームのペイロードサイズを示し、Size_TS_Packetはトランスポートストリームのパケットサイズを示している。
【０１６３】
また、図６のステップ５１０の処理では、次に、上記(式２)によって計算されたＴＳバッファ２２２の実効蓄積データ量ESDよりも図４のステップ３０４で取得した映像バッファ２４２の空き容量(未使用記憶容量)VCVBMが大きいか否かが判定される。
【０１６４】
図６のステップ５１０の処理によって、上記(式２)のＴＳバッファ２２２の実効蓄積データ量ESDよりも図４のステップ３０４で取得した映像バッファ２４２の空き容量VCVBMの方が大きいと判定されると、ステップ５１２のＤＥＭＵＸ処理２が実行される。
【０１６５】
図６の制御フローのステップ５１２のＤＥＭＵＸ処理２に対応する図８に示す処理では、ステップ７００で多重化処理部２１０にＴＳバッファ２２２に蓄積済みのトランスポートストリームのデータに関するＤＥＭＵＸ処理を指示する。
【０１６６】
図８のステップ７０２では、多重化処理部２１０でのＤＥＭＵＸ処理が完了したか否かが判定される。
【０１６７】
図８のステップ７０２で処理が完了した判定されると、図８のステップ７０４において、同一の１つのＧＯＰでＤＥＭＵＸ処理を行っていない残りのトランスポートストリームデータがＴＳバッファ２２２に蓄積されるまで待つものである。尚、同一の１つのＧＯＰでＤＥＭＵＸ処理を行っていない残りのトランスポートストリームデータ量は、同一の１つのＧＯＰのトランスポートストリームデータ量からＴＳバッファ２２２に蓄積済みのトランスポートストリームデータを差し引いたものとなる。
【０１６８】
その後、図８のステップ７０６では、映像バッファ２４２に同一の１つのＧＯＰでＤＥＭＵＸ処理を行っていないトランスポートストリーム内に含まれる推定映像データ量分の空き容量(未使用記憶容量)が確保されるのを待つものである。すなわち、図８のステップ７０６では、ステップ３００で推定した１つのＧＯＰの映像データ量から上記(式２)によって計算されるステップ３０２でＴＳバッファ２２２に蓄積済みのＴＳデータの実効蓄積データ量ESDを差し引いた残りの推定映像データ量以上に、映像バッファ２４２に空き容量(未使用記憶容量)が確保されるまで待つものである。
【０１６９】
図８のステップ７０６で映像バッファ２４２に必要な空き容量が確保されると、図８のステップ７０８において、多重化処理部２１０に残りのトランスポートストリームのＤＥＭＵＸ処理を指示する。残りのトランスポートストリームデータ量は、上述したように、ステップ３００で取得した１つのＧＯＰが含まれるトランスポートストリームデータ量からステップ３０２で取得されるＴＳバッファ２２２に蓄積済みのトランスポートストリームデータ量を差し引いたものである。この時に、入力データが格納されたＴＳバッファ２２２の格納先アドレスとサイズ、出力データの格納先となる映像バッファ２４２の格納先アドレスと音声バッファ２５２の格納先アドレス、ＰＳＩ／ＳＩデータ記憶部２３０と映像管理情報記憶部２４４と音声管理情報記憶部２５４の格納先アドレスを指定する。
【０１７０】
図８のステップ７１０では多重化処理部２１０でのＤＥＭＵＸ処理が完了したか否かが判定される。完了した判定されると、図６のステップ３１６に処理が移行して、ＴＳバッファ制御部２２０にＤＥＭＵＸ処理が完了したトランスポートストリームのデータの開放を指示する。
【０１７１】
図６のステップ５１０の処理によって、上記(式２)のＴＳバッファ２２２の実効蓄積データ量ESDよりも図４のステップ３０４で取得した映像バッファ２４２の空き容量VCVBMの方が小さいと判定されると、ステップ５１４のＤＥＭＵＸ処理３が実行される。
【０１７２】
図６の制御フローのステップ５１４のＤＥＭＵＸ処理３に対応する図９に示す処理では、ＴＳバッファ２２２に蓄積済みのＴＳデータのうち下記(式３)により計算されるデータ量V_demuxのみのＤＥＭＵＸ処理をステップ８００で多重化処理部２１０に指示する。
【０１７３】
V_demux＝Round(VCVBM／Size_TS_Payload)×(Size_TS_Packet)…(式３)
ここで、V_demuxは多重化処理部２１０に指示されるＤＥＭＵＸ処理データ量を示し、Roundは小数点第一位以下を切り捨てる演算を示し、VCVBMは映像バッファ２４２の空き容量を示し、Size_TS_Payloadはトランスポートストリームのペイロードサイズを示し、Size_TS_Packetはトランスポートストリームのパケットサイズを示している。
【０１７４】
図９のステップ８０２では多重化処理部２１０でのＤＥＭＵＸ処理が完了したか否かが判定される。
【０１７５】
図９のステップ８０２で処理が完了した判定されると、図９のステップ８０４において、同一の１つのＧＯＰでＤＥＭＵＸ処理を行っていない残りの映像データがＴＳバッファ２２２に蓄積されるまで待つものである。尚、同一の１つのＧＯＰでＤＥＭＵＸ処理を行っていない残りのトランスポートストリームデータ量は、同一の１つのＧＯＰのトランスポートストリームデータ量から上記(式３)により計算されるＤＥＭＵＸ処理が完了したトランスポートストリームデータ量を差し引いたものとなる。
【０１７６】
その後、図９のステップ８０６では、映像バッファ２４２に同一の１つのＧＯＰでＤＥＭＵＸ処理を行っていないトランスポートストリーム内に含まれる推定映像データ量分の空き容量(未使用記憶容量)が確保されるのを待つものである。すなわち、図９のステップ８０６では、ステップ３００で推定した１つのＧＯＰの映像データ量から上記(式３)によって計算されるＤＥＭＵＸ処理が完了したデータを差し引いた残りのトランスポートストリームデータ量以上に、映像バッファ２４２に空き容量(未使用記憶容量)が確保されるまで待つものである。
【０１７７】
図９のステップ８０６で映像バッファ２４２に必要な空き容量が確保されると、図８のステップ７０８において、多重化処理部２１０に残りの映像データのＤＥＭＵＸ処理を指示する。残りの映像データは、上述したように、ステップ３００で推定した１つのＧＯＰの映像データ量から次式(式４)によって計算される。
【０１７８】
LTSD＝(Diff_Add_Ｉframe―V_demux)×(Size_TS_Payload
／Size_TS_Packet)…(式４)
第１項の(Diff_Add_I_frame―V_demux)が同一の１つのＧＯＰでＤＥＭＵＸ処理を行っていないトランスポートストリームデータ量であり、ステップ８０４で蓄積するデータ量と等価である。これに(Size_TS_Payload／Size_TS_Packet)を掛けることで、映像データが格納されているペイロードのデータ分に変換する。
【０１７９】
また、多重化処理部２１０にＤＥＭＵＸ処理を指示する際、入力データが格納されたＴＳバッファ２２２の格納先アドレスとサイズ、出力データの格納先となる映像バッファ２４２の格納先アドレスと音声バッファ２５２の格納先アドレス、ＰＳＩ／ＳＩデータ記憶部２３０と映像管理情報記憶部２４４と音声管理情報記憶部２５４の格納先アドレスを指定する。
【０１８０】
図９のステップ８１０では多重化処理部２１０でのＤＥＭＵＸ処理が完了したか否かが判定される。完了した判定されると、図６のステップ３１６に処理が移行して、ＴＳバッファ制御部２２０にＤＥＭＵＸ処理が完了したトランスポートストリームのデータの開放を指示する。
【０１８１】
以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
【０１８２】
すなわち、上述した本発明の種々の実施の形態では、デジタルビデオカメラシステムによる動画撮影を説明したが、それ以外の処理にも本発明を適用することが可能である。
【０１８３】
図１１は、図２のシステムにテレビ受信用のチューナー９００を接続した構成を示す図である。
【０１８４】
図２から図９の実施の形態においては、デジタルビデオカメラのシステムを例にして、説明した。しかし、本発明はそれに限定されるものではなく、図１１に示すように、チューナー９００で受信したＴＳを多重化制御装置１００に入力して、直接ストレージ１１０に記録することが可能であり、また映像コーデック１３０および音声コーデック１５０でトランスコードした後にストレージ１１０に記録することも可能である。
【０１８５】
図１２は、図１１のシステムが独立したコプロセッサシステム１０００であることを想定して、このコプロセッサシステム１０００がホストシステム２０００のホストプロセッサ９００と接続された構成を示す図である。
【０１８６】
図１２の構成においてもホストプロセッサ２０００側に接続されたストレージ９１０内のコンテンツをコプロセッサシステム１０００の多重化制御装置１００に読み込んでＤＥＭＵＸ処理、再生処理およびホストプロセッサ２０００側に接続されたカメラ９４０とマイク９６０の取得データを画像処理部１４２および音声処理部１６２に入力して、多重化制御装置１００を使用したＭＵＸ処理、記録処理を実現することが可能である。
【図面の簡単な説明】
【０１８７】
【図１】図１は、本発明の１つの実施の形態による携帯電話のハードウェア構成を示す図である。
【図２】図２は、本発明の１つの実施の形態による携帯電話端末に内蔵されたマルチプレクサー／デマルチプレクサーを実現する多重化制御装置の構成を示す図である。
【図３】図３は、図２に示した本発明の１つの実施の形態による多重化制御装置の内部構成を示す図である。
【図４】図４は、図３に示した本発明の１つの実施の形態による多重化制御装置によるデマルチプレックス処理の制御フローを説明する図である。
【図５】図５は、図３に示した本発明の１つの実施の形態による多重化制御装置によるマルチプレックス処理の制御フローを説明する図である。
【図６】図６は、図３に示した本発明の１つの実施の形態による多重化制御装置によるその他のデマルチプレックス処理の制御フローを説明する図である。
【図７】図７は、図６に示す制御フローのステップ５０８のデマルチプレックス処理(ＤＥＭＵＸ処理１)の内容を説明する図である。
【図８】図８は、図６に示す制御フローのステップ５１２のデマルチプレックス処理(ＤＥＭＵＸ処理２)の内容を説明する図である。
【図９】図９は、図６に示す制御フローのステップ５１４のデマルチプレックス処理(ＤＥＭＵＸ処理３)の内容を説明する図である。
【図１０】図１０は、動画符号化方式における階層構造を説明する図である。
【図１１】図１１は、図２のシステムにテレビ受信用のチューナーを接続した構成を示す図である
【図１２】図１２は、図１１のシステムが独立したコプロセッサシステムであることを想定して、このコプロセッサシステムがホストシステムのホストプロセッサと接続された構成を示す図である。
【符号の説明】
【０１８８】
１００ 多重化制御装置
１１０ ストレージ
１３０ 映像符号・復号部
１４０ カメラ
１４２ 画像処理部
１４４ ディスプレイ
１５０ 音声符号・復号部
１６０ マイク
１６２ 音声処理部
１６４ スピーカー
１８０ ＰＳＩ／ＳＩ制御部
２００ 多重化処理量決定部
２０２ ＤＥＭＵＸ処理位置記憶部
２１０ 多重化処理部
２２０ ＴＳバッファ制御部
２２２ ＴＳバッファ
２３０ ＰＳＩ／ＳＩ制御部
２４０ 映像バッファ制御部
２４２ 映像バッファ
２５０ 音声バッファ制御部
２５２ 音声バッファ
２６０ Ｉフレーム位置検出部
２６２ Ｉフレーム位置記憶部
【特許請求の範囲】
【請求項１】
トランスポートストリームバッファと、多重化処理部と、映像バッファと、音声バッファとを具備して、マルチプレックス処理を実行する多重化制御装置であって、
前記映像バッファには符号化映像データが蓄積可能であり、前記音声バッファには符号化音声データが蓄積可能であり、
前記多重化処理部には前記映像バッファと前記音声バッファとから前記符号化映像データと前記符号化音声データとがそれぞれ供給されることによって、前記多重化処理部は前記符号化映像データと前記符号化音声データとのマルチプレックス処理を実行して、
前記多重化処理部による前記マルチプレックス処理によって生成され動画圧縮符号化されたトランスポートストリームデータは、前記トランスポートストリームバッファに蓄積可能であり、
前記多重化処理部への前記符号化映像データと前記符号化音声データの供給は、前記動画圧縮符号化によって処理される複数フレームを単位として実行され、
前記マルチプレックス処理の実行の開始前に、前記マルチプレックス処理の実行の準備が満足されているか否かが前記多重化制御装置の内部で判定され、
前記実行の準備が満足されているか否かの判定は、前記映像バッファの前記符号化映像データの蓄積状態の確認と前記音声バッファの前記符号化音声データの蓄積状態の確認と前記トランスポートストリームバッファの前記トランスポートストリームデータの蓄積状態との確認によって実行されることを特徴とする多重化制御装置。
【請求項２】
前記マルチプレックス処理によって処理される前記複数のフレームは、動画符号化方式での画面内予測符号化ピクチャーであるＩフレームと順方向予測符号化ピクチャーであるＰフレームと双方向予測符号化ピクチャーであるＢフレームとを含み、
前記複数のフレームは、前記Ｉフレームから次のＩフレームの直前のフレームまでを少なくとも含む符号化映像データであることを特徴とする請求項１に記載の多重化制御装置。
【請求項３】
前記複数のフレームは１つのグループオブピクチャーに略対応していることを特徴とする請求項２に記載の多重化制御装置。
【請求項４】
前記映像バッファに蓄積可能な前記符号化映像データと前記音声バッファに蓄積可能な前記符号化音声データとは、デジタルビデオカメラシステムのカメラにより取得される画像データとマイクにより取得される音声データとにそれぞれ基づくことを特徴とする請求項３に記載の多重化制御装置。
【請求項５】
前記カメラにより取得される前記画像データは映像符号・復号部によって前記符号化映像データに変換され、前記マイクにより取得される前記音声データは音声符号・復号部によって前記符号化音声データに変換されることを特徴とする請求項４に記載の多重化制御装置。
【請求項６】
放送付随情報としての番組情報が格納可能であるデータ記憶部を更に具備して、
前記多重化処理部には前記映像バッファと前記音声バッファから前記符号化映像データと前記符号化音声データとがそれぞれ供給されると伴に前記データ記憶部から前記番組情報が供給されることによって、前記多重化処理部は前記符号化映像データと前記符号化音声データと前記番組情報とのマルチプレックス処理を実行することを特徴とする請求項３に記載の多重化制御装置。
【請求項７】
前記実行の準備が満足されているか否かの前記判定は、前記多重化制御装置の内部の判定部で判定されることを特徴とする請求項１乃至請求項６のいずれかに記載の多重化制御装置。
【請求項８】
トランスポートストリームバッファと、多重化処理部と、映像バッファと、音声バッファとを具備して、デマルチプレックス処理を実行する多重化制御装置であって、
前記多重化処理部によるデマルチプレックス処理が実行される動画圧縮符号化されたトランスポートストリームデータは、前記トランスポートストリームバッファに蓄積可能であり、
前記多重化処理部は前記トランスポートストリームバッファに蓄積された前記トランスポートストリームデータの前記デマルチプレックス処理を実行することによって、符号化映像データと符号化音声データとを生成可能であり、
前記映像バッファには前記多重化処理部により生成される前記符号化映像データが蓄積可能であり、前記音声バッファには前記多重化処理部により生成される前記復符号化音声データが蓄積可能であり、
前記多重化処理部による前記デマルチプレックス処理は、前記動画圧縮符号化によって処理された複数のフレームを単位として実行され、
前記デマルチプレックス処理の実行の開始前に、前記デマルチプレックス処理の実行の準備が満足されているか否かが前記多重化処理部内部で判断され、
前記実行の前記準備が満足されているか否かの判断は、前記トランスポートストリームバッファの前記トランスポートストリームデータの蓄積状態との確認と前記映像バッファの前記復号映像データの蓄積状態の確認とによって実行されることを特徴とする多重化制御装置。
【請求項９】
前記デマルチプレックス処理によって処理される前記複数のフレームは、動画符号化方式での画面内予測符号化ピクチャーであるＩフレームと前方向予測符号化ピクチャーであるＰフレームと双方向予測符号化ピクチャーであるＢフレームとを含み、
前記複数のフレームは、前記Ｉフレームから次のＩフレームの直前のフレームまでを少なくとも含む符号化映像データであることを特徴とする請求項８に記載の多重化制御装置。
【請求項１０】
前記複数のフレームは１つのグループオブピクチャーに略対応していることを特徴とする請求項９に記載の多重化制御装置。
【請求項１１】
前記実行の前記準備が完全には満足されていないと判断された場合でも、前記トランスポートストリームバッファに蓄積済みの前記トランスポートストリームデータのデータ量が前記１つのグループオブピクチャーのデータ量よりも少ないとの確認と、前記トランスポートストリームバッファの実効的な蓄積データ量よりも前記映像バッファの空き容量が大きいとの確認とによって、前記トランスポートストリームバッファに蓄積済みの前記トランスポートストリームデータのみのデマルチプレックス処理の実行が開始されることを特徴とする請求項１０に記載の多重化制御装置。
【請求項１２】
前記トランスポートストリームバッファに蓄積済みの前記トランスポートストリームデータのみの前記デマルチプレックス処理の前記実行の完了の後、前記１つのグループオブピクチャーの残りのトランスポートストリームデータが前記トランスポートストリームバッファに蓄積されるのを待ち、更に前記映像バッファに必要な空き容量が確保されるのを待って、前記トランスポートストリームバッファに蓄積された前記残りのトランスポートストリームデータのデマルチプレックス処理の実行が開始されることを特徴とする請求項１１に記載の多重化制御装置。
【請求項１３】
前記実行の前記準備が完全には満足されていないと判断された場合でも、前記トランスポートストリームバッファに蓄積済みの前記トランスポートストリームデータのデータ量が前記１つのグループオブピクチャーのデータ量よりも少ないとの確認と、前記トランスポートストリームバッファの実効的な蓄積データ量よりも前記映像バッファの空き容量が小さいとの確認とによって、前記映像バッファの前記空き容量に対応する前記トランスポートストリームバッファに蓄積済みのトランスポートストリームデータのみのデマルチプレックス処理の実行が開始されることを特徴とする請求項１２に記載の多重化制御装置。
【請求項１４】
前記トランスポートストリームバッファに蓄積済みの前記映像バッファの前記空き容量に対応する前記トランスポートストリームデータのみの前記デマルチプレックス処理の前記実行の完了の後に、前記１つのグループオブピクチャーの残りのトランスポートストリームデータが前記トランスポートストリームバッファに蓄積されるのを待ち、前記映像バッファに必要な空き容量が確保されるのを待ち、前記トランスポートストリームバッファに蓄積された前記残りのトランスポートストリームデータのデマルチプレックス処理の実行が開始されることを特徴とする請求項１３に記載の多重化制御装置。
【請求項１５】
前記多重化処理部によって生成される前記符号化映像データと前記符号化音声データとは映像符号・復号部と音声符号・復号部とによって復号映像データと復号音声データとにそれぞれ変換されることを特徴とする請求項１４に記載の多重化制御装置。
【請求項１６】
前記トランスポートストリームバッファに蓄積可能な前記トランスポートストリームデータは、携帯システムのストレージから取得されるデータに基づくことを特徴とする請求項１５に記載の多重化制御装置。
【請求項１７】
放送付随情報としての番組情報が格納可能であるデータ記憶部を更に具備して、
前記多重化処理部は前記トランスポートストリームバッファに蓄積された前記トランスポートストリームデータの前記デマルチプレックス処理を実行することによって、前記符号化映像データと前記符号化音声データとを生成可能である伴に前記番組情報を生成可能であり、
前記データ記憶部には前記多重化処理部により生成される前記番組情報が蓄積可能である請求項１５に記載の多重化制御装置。
【請求項１８】
前記実行の準備が満足されているか否かの前記判定は、前記多重化制御装置の内部の判定部で判定されることを特徴とする請求項８乃至請求項１５のいずれかに記載の多重化制御装置。
【請求項１】
トランスポートストリームバッファと、多重化処理部と、映像バッファと、音声バッファとを具備して、マルチプレックス処理を実行する多重化制御装置であって、
前記映像バッファには符号化映像データが蓄積可能であり、前記音声バッファには符号化音声データが蓄積可能であり、
前記多重化処理部には前記映像バッファと前記音声バッファとから前記符号化映像データと前記符号化音声データとがそれぞれ供給されることによって、前記多重化処理部は前記符号化映像データと前記符号化音声データとのマルチプレックス処理を実行して、
前記多重化処理部による前記マルチプレックス処理によって生成され動画圧縮符号化されたトランスポートストリームデータは、前記トランスポートストリームバッファに蓄積可能であり、
前記多重化処理部への前記符号化映像データと前記符号化音声データの供給は、前記動画圧縮符号化によって処理される複数フレームを単位として実行され、
前記マルチプレックス処理の実行の開始前に、前記マルチプレックス処理の実行の準備が満足されているか否かが前記多重化制御装置の内部で判定され、
前記実行の準備が満足されているか否かの判定は、前記映像バッファの前記符号化映像データの蓄積状態の確認と前記音声バッファの前記符号化音声データの蓄積状態の確認と前記トランスポートストリームバッファの前記トランスポートストリームデータの蓄積状態との確認によって実行されることを特徴とする多重化制御装置。
【請求項２】
前記マルチプレックス処理によって処理される前記複数のフレームは、動画符号化方式での画面内予測符号化ピクチャーであるＩフレームと順方向予測符号化ピクチャーであるＰフレームと双方向予測符号化ピクチャーであるＢフレームとを含み、
前記複数のフレームは、前記Ｉフレームから次のＩフレームの直前のフレームまでを少なくとも含む符号化映像データであることを特徴とする請求項１に記載の多重化制御装置。
【請求項３】
前記複数のフレームは１つのグループオブピクチャーに略対応していることを特徴とする請求項２に記載の多重化制御装置。
【請求項４】
前記映像バッファに蓄積可能な前記符号化映像データと前記音声バッファに蓄積可能な前記符号化音声データとは、デジタルビデオカメラシステムのカメラにより取得される画像データとマイクにより取得される音声データとにそれぞれ基づくことを特徴とする請求項３に記載の多重化制御装置。
【請求項５】
前記カメラにより取得される前記画像データは映像符号・復号部によって前記符号化映像データに変換され、前記マイクにより取得される前記音声データは音声符号・復号部によって前記符号化音声データに変換されることを特徴とする請求項４に記載の多重化制御装置。
【請求項６】
放送付随情報としての番組情報が格納可能であるデータ記憶部を更に具備して、
前記多重化処理部には前記映像バッファと前記音声バッファから前記符号化映像データと前記符号化音声データとがそれぞれ供給されると伴に前記データ記憶部から前記番組情報が供給されることによって、前記多重化処理部は前記符号化映像データと前記符号化音声データと前記番組情報とのマルチプレックス処理を実行することを特徴とする請求項３に記載の多重化制御装置。
【請求項７】
前記実行の準備が満足されているか否かの前記判定は、前記多重化制御装置の内部の判定部で判定されることを特徴とする請求項１乃至請求項６のいずれかに記載の多重化制御装置。
【請求項８】
トランスポートストリームバッファと、多重化処理部と、映像バッファと、音声バッファとを具備して、デマルチプレックス処理を実行する多重化制御装置であって、
前記多重化処理部によるデマルチプレックス処理が実行される動画圧縮符号化されたトランスポートストリームデータは、前記トランスポートストリームバッファに蓄積可能であり、
前記多重化処理部は前記トランスポートストリームバッファに蓄積された前記トランスポートストリームデータの前記デマルチプレックス処理を実行することによって、符号化映像データと符号化音声データとを生成可能であり、
前記映像バッファには前記多重化処理部により生成される前記符号化映像データが蓄積可能であり、前記音声バッファには前記多重化処理部により生成される前記復符号化音声データが蓄積可能であり、
前記多重化処理部による前記デマルチプレックス処理は、前記動画圧縮符号化によって処理された複数のフレームを単位として実行され、
前記デマルチプレックス処理の実行の開始前に、前記デマルチプレックス処理の実行の準備が満足されているか否かが前記多重化処理部内部で判断され、
前記実行の前記準備が満足されているか否かの判断は、前記トランスポートストリームバッファの前記トランスポートストリームデータの蓄積状態との確認と前記映像バッファの前記復号映像データの蓄積状態の確認とによって実行されることを特徴とする多重化制御装置。
【請求項９】
前記デマルチプレックス処理によって処理される前記複数のフレームは、動画符号化方式での画面内予測符号化ピクチャーであるＩフレームと前方向予測符号化ピクチャーであるＰフレームと双方向予測符号化ピクチャーであるＢフレームとを含み、
前記複数のフレームは、前記Ｉフレームから次のＩフレームの直前のフレームまでを少なくとも含む符号化映像データであることを特徴とする請求項８に記載の多重化制御装置。
【請求項１０】
前記複数のフレームは１つのグループオブピクチャーに略対応していることを特徴とする請求項９に記載の多重化制御装置。
【請求項１１】
前記実行の前記準備が完全には満足されていないと判断された場合でも、前記トランスポートストリームバッファに蓄積済みの前記トランスポートストリームデータのデータ量が前記１つのグループオブピクチャーのデータ量よりも少ないとの確認と、前記トランスポートストリームバッファの実効的な蓄積データ量よりも前記映像バッファの空き容量が大きいとの確認とによって、前記トランスポートストリームバッファに蓄積済みの前記トランスポートストリームデータのみのデマルチプレックス処理の実行が開始されることを特徴とする請求項１０に記載の多重化制御装置。
【請求項１２】
前記トランスポートストリームバッファに蓄積済みの前記トランスポートストリームデータのみの前記デマルチプレックス処理の前記実行の完了の後、前記１つのグループオブピクチャーの残りのトランスポートストリームデータが前記トランスポートストリームバッファに蓄積されるのを待ち、更に前記映像バッファに必要な空き容量が確保されるのを待って、前記トランスポートストリームバッファに蓄積された前記残りのトランスポートストリームデータのデマルチプレックス処理の実行が開始されることを特徴とする請求項１１に記載の多重化制御装置。
【請求項１３】
前記実行の前記準備が完全には満足されていないと判断された場合でも、前記トランスポートストリームバッファに蓄積済みの前記トランスポートストリームデータのデータ量が前記１つのグループオブピクチャーのデータ量よりも少ないとの確認と、前記トランスポートストリームバッファの実効的な蓄積データ量よりも前記映像バッファの空き容量が小さいとの確認とによって、前記映像バッファの前記空き容量に対応する前記トランスポートストリームバッファに蓄積済みのトランスポートストリームデータのみのデマルチプレックス処理の実行が開始されることを特徴とする請求項１２に記載の多重化制御装置。
【請求項１４】
前記トランスポートストリームバッファに蓄積済みの前記映像バッファの前記空き容量に対応する前記トランスポートストリームデータのみの前記デマルチプレックス処理の前記実行の完了の後に、前記１つのグループオブピクチャーの残りのトランスポートストリームデータが前記トランスポートストリームバッファに蓄積されるのを待ち、前記映像バッファに必要な空き容量が確保されるのを待ち、前記トランスポートストリームバッファに蓄積された前記残りのトランスポートストリームデータのデマルチプレックス処理の実行が開始されることを特徴とする請求項１３に記載の多重化制御装置。
【請求項１５】
前記多重化処理部によって生成される前記符号化映像データと前記符号化音声データとは映像符号・復号部と音声符号・復号部とによって復号映像データと復号音声データとにそれぞれ変換されることを特徴とする請求項１４に記載の多重化制御装置。
【請求項１６】
前記トランスポートストリームバッファに蓄積可能な前記トランスポートストリームデータは、携帯システムのストレージから取得されるデータに基づくことを特徴とする請求項１５に記載の多重化制御装置。
【請求項１７】
放送付随情報としての番組情報が格納可能であるデータ記憶部を更に具備して、
前記多重化処理部は前記トランスポートストリームバッファに蓄積された前記トランスポートストリームデータの前記デマルチプレックス処理を実行することによって、前記符号化映像データと前記符号化音声データとを生成可能である伴に前記番組情報を生成可能であり、
前記データ記憶部には前記多重化処理部により生成される前記番組情報が蓄積可能である請求項１５に記載の多重化制御装置。
【請求項１８】
前記実行の準備が満足されているか否かの前記判定は、前記多重化制御装置の内部の判定部で判定されることを特徴とする請求項８乃至請求項１５のいずれかに記載の多重化制御装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−１０９５２９（Ｐ２０１０−１０９５２９Ａ）
【公開日】平成２２年５月１３日（２０１０．５．１３）
【国際特許分類】
【出願番号】特願２００８−２７７８３４（Ｐ２００８−２７７８３４）
【出願日】平成２０年１０月２９日（２００８．１０．２９）
【出願人】（５０３１２１１０３）株式会社ルネサステクノロジ (4,790)
【Ｆターム（参考）】
【公開日】平成２２年５月１３日（２０１０．５．１３）
【国際特許分類】
【出願日】平成２０年１０月２９日（２００８．１０．２９）
【出願人】（５０３１２１１０３）株式会社ルネサステクノロジ (4,790)
【Ｆターム（参考）】
[ Back to top ]