説明

ビデオデータ処理装置、ビデオデータ処理方法、プログラム

【課題】オーサリングにおけるビデオデータの圧縮エンコードにおいて、圧縮前と圧縮後の映像を容易に確認できるようにする。
【解決手段】圧縮前ビデオデータに対し圧縮エンコードを行い圧縮ビデオデータを生成する。その後、圧縮ビデオデータを非圧縮デコードして復号ビデオデータを得るとともに、該復号ビデオデータの映像と、該復号ビデオデータと同一時間範囲の圧縮前ビデオデータの映像が同期して一表示画面内で並列表示される映像となる合成ビデオデータを生成する。この合成ビデオデータを表示させることで、圧縮前後の画像が同時に見ることができるようにする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ビデオデータ処理装置、ビデオデータ処理方法、及びプログラムに関し、例えば光ディスク等のオーサリング過程におけるビデオデータの圧縮エンコードに関する。
【先行技術文献】
【特許文献】
【0002】
【特許文献1】特開2000−165802号公報
【特許文献2】特開平11−215494号公報
【特許文献3】特開平8−223553号公報
【背景技術】
【0003】
例えばブルーレイディスク(Blu-ray Disc(登録商標):以下「BD」)における再生専用ディスク(BD-ROM)等の製造において、記録するコンテンツを作成するオーサリングシステムを用いた、光ディスクの製造までの流れを図6で簡単に説明する。
まず素材製作として、映像素材の撮影、音声素材の録音、編集等が行われる(S1)。
この撮影・編集等で得られたデータは、制作するコンテンツの素材データ(映像素材、音声素材、字幕データ等)として格納される(S2)。
【0004】
各種素材データは、オーサリングスタジオに持ち込まれ、ディスクデータ(コンテンツ)制作に供される。
オーサリングスタジオでは、オーサリング処理のためのプログラムをインストールしたパーソナルコンピュータや所要のハードウエアを用いて、各種素材データを利用したコンテンツ制作を行う。
映像素材、音声素材はビデオエンコード、オーディオエンコードの各処理により、それぞれ所定の形式に圧縮符号化される。また字幕データ等から、メニューデータ、字幕データ等が作成される(S3)。次にコンテンツの構成としてのシナリオやメニュー作成が行われる(S4)。また各種データ編集が行われる(S5)。
【0005】
その後、マルチプレクサ処理(S6)として、コンテンツを構成するストリームデータを形成する。マルチプレクサ処理は、符号化された映像データや音声データ、メニュ−などを多重化するためのものである。この場合、例えばハードディスク内等に格納された画像、音声、字幕などの符号化された素材データをインターリーブし、各種フォーマットファイルと合わせて多重化されたデータを作成する多重化処理が行われる。
最終的に作成された多重化データは、ディスク製造用のカッティングマスタとして、例えばパーソナルコンピュータ内のハードディスク等に格納される。
そのカッティングマスタは、ディスク製造のために工場に送られることになる(S7)。
【0006】
工場では、プリマスタリング(S8)として、データの暗号化やディスク記録データとしてのエンコード等の各種データ処理を行い、マスタリングデータを作成する。そしてマスタリング(S9)として、ディスク原盤のカッティングからスタンパ作成までの工程を行う。最後にリプリケーション(S10)として、スタンパを用いたディスク基板の制作や、ディスク基板上への所定の層構造形成を行い、完成品として光ディスク(BD−ROM)を得る。
【発明の概要】
【発明が解決しようとする課題】
【0007】
このように、光ディスク等のパッケージメディアの作成現場においては、MPEG(Moving Picture Experts Group)の手法を適用してビデオデータ、オーディオデータ等をそれぞれデータ圧縮(S3)した後、多重化して各種メディアに記録するようになされている。
【0008】
オーサリング装置では、上記(S3)のビデオエンコード、オーディオエンコードの処理として、メディアに記録可能なビット量をビデオデータ、オーディオデータ等に配分し、それぞれこの配分したビット量に納まるように、ビデオデータ、オーディオデータをデータ圧縮する。
このときビデオデータについては、一定のデータ圧縮条件によりデータ圧縮して発生するビット量に応じて、ビデオデータに割り当てたビット量を各フレームに配分する。各フレームデータはフレーム内符号化またはフレーム間符号化処理されたGOP(Group Of Picture)単位で構成される。
【0009】
一般的にビデオデータの圧縮に関しては、圧縮が完了した後に圧縮前のビデオデータと比較して画質の劣化度合いを確認し、圧縮パラメータまたはビットの配分をし直して、画質の劣化度合いが許容できる範囲に収まるまで圧縮作業を繰り返す。
この際に圧縮前と圧縮後のビデオデータを見比べる必要がある。
ところが、圧縮前のビデオデータは、そのデータが保存されている記憶装置が十分高速でないとコマ落ちが発生するケースがある。
また圧縮後のビデオデータはフレーム間圧縮を行うために遅延が発生するという特性がある。
さらにISO/IEC 14496−10で規格化されているAVCコーデックを使ったデータ圧縮では、データの復号に複雑な計算処理が必要であり、処理能力が低い計算装置の場合コマ落ちが発生するケースがある。
【0010】
従来のオーサリング装置ではこれらの問題から圧縮前と圧縮後のビデオデータの同期を取りながら同時に表示を行い見比べる作業は非常に困難であった。
【0011】
本発明は以上の点を考慮してなされたもので、圧縮前と圧縮後のビデオデータの同期を取りながら一つの画面内でそれぞれを分割して表示し、ビデオデータを効率よく処理できるデータ処理装置を提案しようとするものである。
【課題を解決するための手段】
【0012】
本発明のビデオデータ処理装置は、入力された圧縮前ビデオデータに対し圧縮エンコードを行い圧縮ビデオデータを生成するエンコード部と、上記エンコード部で生成された圧縮ビデオデータを非圧縮デコードして復号ビデオデータを得るとともに、上記復号ビデオデータと同一時間範囲の圧縮前ビデオデータを取得し、上記復号ビデオデータの映像と上記圧縮前ビデオデータの映像が同期して一表示画面内で並列表示される映像となる合成ビデオデータを生成する合成処理部とを備える。
上記合成処理部は、上記合成ビデオデータを、表示装置に供給して表示させる。
又、上記合成処理部は、上記合成ビデオデータを、所定の格納部に供給して格納させる。
その場合、上記所定の格納部に格納された上記合成ビデオデータを読み出し、読み出した合成ビデオデータについて、上記復号ビデオデータの映像の一部と、上記圧縮前ビデオデータの映像の一部とを合成し、当該各部分をつなぎ合わせた映像となる分割合成ビデオデータを生成し、該分割合成ビデオデータを、表示装置に供給して表示させる分割合成処理部を、さらに備えるようにする。
【0013】
本発明のビデオデータ処理方法は、圧縮前ビデオデータに対し圧縮エンコードを行い圧縮ビデオデータを生成するエンコードステップと、上記エンコードステップで得られた圧縮ビデオデータを非圧縮デコードして復号ビデオデータを得るとともに、該復号ビデオデータの映像と、該復号ビデオデータと同一時間範囲の圧縮前ビデオデータの映像が同期して一表示画面内で並列表示される映像となる合成ビデオデータを生成する合成処理ステップとを備える。
本発明のプログラムは、上記各ステップを演算処理装置に実行させるプログラムである。
【0014】
即ち本発明では、ビデオデータを圧縮エンコードした後、圧縮ビデオデータを非圧縮デコードして復号ビデオデータを得る。そして復号ビデオデータと、同一時間範囲の圧縮前ビデオデータとを合成する。この合成画像データは、復号ビデオデータの映像と圧縮前ビデオデータの映像、つまり同一の映像が、同期して一表示画面内で並列表示される映像となるビデオデータである。このような合成画像データを表示させれば、圧縮前後の映像が同期して一画面に並列表示される。
或いは、復号ビデオデータの映像の一部と、圧縮前ビデオデータの映像の一部とを合成し、当該各部分をつなぎ合わせた映像となる分割合成ビデオデータを生成し、これを表示させる場合も、圧縮前後の映像が一画面に表示される。
【発明の効果】
【0015】
本発明によれば、これまでは難しかった圧縮前ビデオデータと圧縮後ビデオデータの画質比較が簡単に行えるようになり、かつ、画質劣化箇所が容易に特定できるようになる。これによりオーサリング作業工程におけるビデオ圧縮作業の効率が向上する。
【図面の簡単な説明】
【0016】
【図1】本発明の実施の形態のオーサリング装置のブロック図である。
【図2】実施の形態のビデオデータ処理装置の第1の処理例のフローチャートである。
【図3】実施の形態のデコードコントロール部の機能の説明図である。
【図4】実施の形態のビデオデータ処理装置の第2の処理例のフローチャートである。
【図5】実施の形態のデコードコントロール部の機能の説明図である。
【図6】光ディスク制作工程の説明図である。
【発明を実施するための形態】
【0017】
以下、本発明の実施の形態を次の順序で説明する。
[1.オーサリング装置構成]
[2.第1の処理例]
[3.第2の処理例]
[4.プログラム]
【0018】
[1.オーサリング装置構成]

図1は実施の形態のオーサリング装置として、特にビデオエンコードに関する部分を示したブロック図である。ここでは、ビデオデータ処理装置1,オーサリングアプリケーション2、ビデオデータサーバ3,圧縮データサーバ4、モニタ装置5を示している。
【0019】
ビデオデータ処理装置1は、例えばコンピュータ装置としてのハードウエア及びコンピュータ装置上で起動されるソフトウエアにより実現される。公知の通りコンピュータは、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、外部装置とのインターフェース部などを有して構成されている。
【0020】
オーサリングアプリケーション2は、オーサリング装置の動作全体を実行させるアプリケーションソフトウエアであり、外部の操作入力等に対応して、ネットワーク接続されたビデオデータ処理装置1としてのコンピュータ装置を用いたオーサリング処理に必要な動作を制御する。
例えば図6で説明した手順S3〜S7の各種の処理を制御実行させるソフトウエアであるとしている。ここでは、特にビデオエンコード処理の全体を制御するものとして示している。
このオーサリングアプリケーション2は、オーサリングシステム全体を制御する図示しないメインコントロール装置上で起動され、本例のエンコード処理を行うビデオデータ処理装置1として割り当てられたコンピュータ装置の動作を指示するものしている。但し、ビデオデータ処理装置1としてのコンピュータ装置上で起動されるものとされる場合もある。
【0021】
ビデオデータサーバ3は、圧縮エンコードを行う前の映像素材としてのビデオデータ(説明上、「圧縮前ビデオデータ」という)を格納する。また後述する合成ビデオデータの格納にも用いられる。
圧縮データサーバ4は、圧縮エンコードが施されたビデオデータ(「圧縮ビデオデータ」)を格納する。
これらビデオデータサーバ3,圧縮データサーバ4は、例えばハードディスクドライブ(HDD:Hard Disk Drive)により実現される。
このビデオデータサーバ3,圧縮データサーバ4としてのHDDは、ビデオデータ処理装置1としてのコンピュータ装置に内蔵されるものでも良いし、外部装置として接続されるものでも良い。
【0022】
モニタ装置5はビデオデータ処理装置1から与えられるビデオデータの映像表示出力を行うディスプレイデバイスである。本例の場合、後述するように圧縮前ビデオデータと圧縮ビデオデータが合成された合成ビデオデータの表示が行われる。
【0023】
図1ではビデオデータ処理装置1として、主コントローラ14を示し、その内部に各種機能ブロックを示している。主コントローラ14は、即ちビデオデータ処理装置1としての動作機能を示すものである。
主コントローラ14は、ビデオエンコード処理全体の制御・実行を行うものであり、ビデオデータ処理装置1として割り当てられたコンピュータ装置により構成される。
この主コントローラ14は、オーサリングシステムのネットワークを介して行うオーサリングアプリケーション2との間のデータ通信により、このビデオデータ処理装置1の全体の動作を制御する。
【0024】
本例の動作に関連する主コントローラ14内の機能ブロックとして、GUI(Graphical User Interface)制御部6、エンコードマネージャ7、ウェイトコントロール部8、エンコードコントロール部9、INFOデータベース10、マルチパスコントロール部11、エンコーダ12、デコードコントロール部13を示している。
【0025】
GUI部6は、モニタ装置5での画面上での入力用アイコン等の表示及び操作入力に対応した処理を行う。
エンコードマネージャ7は、ウェイトコントロール部8、エンコードコントロール部9、デコードコントロール部13の動作を制御する。
ウェイトコントロール部8はマルチパスコントロール部11の計算に必要なデータを発生させる。例えば圧縮処理の際のビット配分のデータ等のコントロールを行う。
エンコードコントロール部9はエンコーダ12を制御する。
INFOデータベース10はエンコードマネージャ7で得られたデータ等の格納に用いられる。
マルチパスコントロール部11は目標ビット量の計算を行う。
エンコーダ12はビデオデータの圧縮エンコードを行う。
デコードコントロール部13は、圧縮エンコードされたビデオデータの非圧縮デコードや後述する合成ビデオデータ、分割合成ビデオデータの生成、モニタ装置5への表示データの出力の制御等を行う。
【0026】
このようなビデオ信号処理装置1によるエンコードの際の各部の動作は次のようになる。
ビデオデータサーバ3には圧縮前ビデオデータが格納される。
ビデオデータサーバ3は、この再生制御に基づき、処理対象の圧縮前ビデオデータD1を再生出力する。この圧縮前ビデオデータD1はエンコーダ12に供給される。
【0027】
エンコーダ12は、オーサリングアプリケーション2により通知される条件に従って、エンコードマネージャ7、エンコードコントロール部9の制御に基づいて動作を切り換え、ビデオデータサーバ3よりより出力されるビデオデータD1をデータ圧縮する。
さらにエンコーダ12は、このようにして符号化処理する際に、符号化処理結果をエンコードマネージャ7に通知する。これによりエンコードマネージャ7において、データ圧縮により決定されたピクチャータイプおよび発生するビット量を各フレーム単位で把握できるようになされている。
またエンコーダ12は、事前の難易度計測のための圧縮処理においては、内部処理においてピクチャータイプを決定してビデオデータD1をデータ圧縮して処理結果をエンコードマネージャ7に通知する。
一方、最終的なデータ圧縮処理においては、エンコーダ12は、エンコードコントロール部9にてフレームごとにピクチャータイプおよび目標ビット量を指定してデータ圧縮処理したビデオデータD2を、圧縮データサーバ4に供給して記録させる。さらに記録したデータ量等をエンコードマネージャ7に通知する。
エンコードマネージャ7はこうして得られた各種データをInfoデータベース10に格納する。
【0028】
モニタ装置5は、ビデオデータサーバ3に記録された圧縮前ビデオデータD1、および圧縮データサーバ4に記録された圧縮ビデオデータD2について、デコードコントロール部13で伸張した後にモニタ表示できるように構成される。
これによりビデオ信号処理装置1では、必要に応じて圧縮前とデータ圧縮した処理結果のビデオデータを、モニタ装置5により確認して、いわゆるプレビューできるようにされている。そして、このプレビュー結果に基づいて、符号化の詳細な条件を細かく変更できるようになされている。
【0029】
またデコードコントロール部13では、オペレータが指定する任意の時間範囲について、その時間範囲の圧縮前ビデオデータD1および圧縮ビデオデータD2を復号したデータを一つのファイルにまとめた合成ビデオデータD3を作成することができる。そしてデコードコントロール部13は、その作成した合成ビデオデータD3については、ビデオデータサーバ3に格納させたり、モニタ装置5へ出力して表示させることができる。
モニタ装置5では、合成ビデオデータD3が供給された場合、指定された割合で画像を分割表示を行い、画質の比較ができるようになっている。
【0030】
主コントローラ14全体としては、GUI部6の管理により、オーサリングアプリケーション2からの制御を受け付けると共に、オペレータの操作を受け付け、このGUI部6により管理されるエンコードマネージャ7、エンコードコントロール9によりエンコーダ12の動作を制御することとなる。
すなわち主コントローラ14全体としては、オーサリングアプリケーション2により通知された条件に従って処理対象を符号化処理する。また処理結果をオーサリングアプリケーション2に通知する。さらにGUI部6を介してオペレータの設定を受け付け、符号化の詳細な条件を変更できるようになされている。
【0031】
エンコードコントロール部9は、オーサリングアプリケーション2より通知される編集リストに従ってビデオデータサーバ3内のビデオデータファイルを制御し、所望の編集対象を再生させる。
またウェイトコントロール8部は、同様にオーサリングアプリケーション2より通知される符号化ファイルVENC.XMLに従って符号化処理の条件を各エンコード単位で決定し、この条件による制御データをマルチパスコントロール部11に通知する。
このときマルチパスコントロール部11は、符号化処理におけるビット配分の設定と、設定した条件をオペレータの操作に応動して変更する。
【0032】
エンコードコントロール部9は、マルチパスコントロール部11より通知される制御ファイルに従ってエンコーダ12の符号化動作を制御する。さらに各符号化処理に要する困難度のデータをフレーム単位でエンコードコントロール部9に通知し、また圧縮データサーバ4に圧縮ビデオデータD2を記録する制御を行う。
【0033】
[2.第1の処理例]

本実施の形態の圧縮エンコード時の処理としての第1の処理例を図2に示す。
圧縮エンコード時の処理としては、大きく分けて、準備処理、エンコード処理、チェック処理、後処理があり、場合によっては再エンコード処理が行われる。
【0034】
まず準備処理としてステップF101〜F104が行われる。
オペレータのGUI操作に応じたオーサリングアプリケーション2の指示に基づき、ステップF101として映像素材としてのビデオデータの取り込みが開始される。即ち圧縮前ビデオデータをビデオデータサーバ3に格納させる処理である。図示しない再生装置によって、映像素材のビデオデータが再生される。そのビデオデータがオーサリングシステムのネットワークを介してビデオデータサーバ3に供給されて記録されていく。
【0035】
この取り込み動作が行われながら、ステップF102、F103,F104が行われる。
ステップF102では分割ポイント候補の検出及び記録が行われる。分割ポイントとは、時間的に連続する一連の映像素材としてのビデオデータのうちで、エンコード処理の便宜上、何回かに分けてエンコードする場合に設定する分割点である。
ステップF103ではプルダウンパターンの検出及び記録が行われる。これは取り込みを行っているビデオデータについてのプルダウン情報の検出・記録である。
ステップF104のビデオデータの書込は、ビデオデータサーバへのビデオデータ及び付随する情報の記録を示している。
これらの準備処理により、エンコード処理を行う圧縮前ビデオデータがビデオデータサーバ3に格納された状態となる。
【0036】
ステップF105〜F108でエンコード処理が行われる。
まずステップF105ではオペレータのエンコード条件の入力に応じてエンコードマネージャ7がエンコード条件を設定する。
ステップF106では圧縮エンコードの難易度が測定され、またピクチャータイプとしてIピクチャ、Pピクチャ、Bピクチャの決定が行われる。
これらはエンコーダ7,ウェイトコントロール部8の処理に基づいてエンコードマネージャ7が把握する。
そしてエンコードマネージャ7はステップF107で、難易度、ピクチャータイプ、設定条件からビット配分計算処理を行う。その結果、エンコードマネージャ7は、エンコードコントロール部9、ウェイトコントロール部8、マルチパスコントロール部11に決定した設定条件、ピクチャータイプ、ビット配分等を伝える。
【0037】
そしてステップF108として、これらの条件に基づいてエンコーダ12で実際の圧縮エンコード処理が行われる。
即ちエンコードコントロール部9はビデオデータサーバ3から圧縮前ビデオデータD1を再生させ、エンコーダ12に圧縮前ビデオデータD1に対する圧縮エンコードを実行させる。またエンコードコントロール部9は、圧縮エンコードされた圧縮ビデオデータD2を圧縮データサーバ4に格納させる制御を行う。
【0038】
エンコード処理が終了し、対象のビデオデータ範囲についての圧縮ビデオデータD2の圧縮データサーバ4への格納が完了したら、ステップF109〜F112のチェック処理にうつる。
このチェック処理とは、圧縮前後でのビデオデータを実際に表示させて、圧縮後の画質をチェックできるようにする処理である。
【0039】
ステップF109では、オペレータの入力に応じてエンコードマネージャ7が画質確認箇所を設定する。
オペレータは圧縮処理を行ったビデオデータについて、任意の時間範囲を画質確認箇所として指定できる。つまり、圧縮ビデオデータD2のうちで、確認したい時間範囲(タイムコード範囲)を指定できる。エンコードマネージャ7はオペレータの入力に応じてチェック箇所としての時間範囲の設定を行うことになる。
【0040】
次にステップF110で、画質確認箇所として設定された時間範囲のビデオデータについて合成ビデオデータD3の作成を行う。
合成ビデオデータD3の作成はデコードコントロール部13で行われる。合成ビデオデータD3の作成のため、デコードコントロール部13は、図3(a)に示すデコーダモジュール17,ビデオ合成モジュール19としての機能を備える。
エンコードマネージャ7は、この機能を備えたデコードコントロール部13に、画質確認箇所としての時間範囲についての合成ビデオデータD3をデコードコントロール部13に実行させる。
【0041】
まず、エンコードマネージャ7は、圧縮データサーバ4から、当該時間範囲の圧縮ビデオデータD2を再生させて、デコードコントロール部13に供給させる。デコードコントロール部13では、図3(a)に示すようにデコーダモジュール17において圧縮ビデオデータD2のデコード(圧縮に対する伸長処理)が行われ、復号ビデオデータD2’が得られる。
また、エンコードマネージャ7は、ビデオデータサーバ3から、当該時間範囲の圧縮前ビデオデータD1を再生させて、デコードコントロール部13に供給させる。
デコードコントロール部13では、そのビデオデータD1と、デコーダモジュール17で復号された復号ビデオデータD2’がビデオ合成モジュール19に供給され、合成処理が行われる。
このビデオ合成モジュール19では、復号ビデオデータD2’と圧縮前ビデオデータD1について、フレーム同期をとりながら合成し、図3(b)のように例えば二つの画像を縦に張り合わせた合成ビデオデータD3を生成する。
エンコードマネージャ7は、このようにして生成された合成ビデオデータD3を、ビデオデータサーバ3に転送させ、格納させる。すなわち合成ビデオデータD3は圧縮前ビデオデータD1と比較して縦方向に2倍のサイズのビデオデータとして格納されることになる。なお、このとき生成された合成ビデオデータD3をモニタ装置5に直接転送して表示させることも可能である。
また、合成ビデオデータD3は、ビデオデータサーバ3に格納するのではなく、他の記録メディア、例えば圧縮データサーバ4側に格納してもよい。
【0042】
ステップF110として以上のように合成ビデオデータD3が生成され、ビデオデータサーバ3に格納できたら、続いてステップF111で合成ビデオデータD3の表示を行う。
即ちエンコードマネージャ7は、ビデオデータサーバ3から当該合成ビデオデータD3の再生を実行させ、合成ビデオデータD3をデコードコントロール部13に供給させる。デコードコントロール部13は、合成ビデオデータD3をモニタ装置5に送り、表示させる。
即ち図3(b)のように圧縮ビデオデータD2からの復号ビデオデータD2’と、圧縮前ビデオデータD1として、同じ時間範囲の映像が、上下に並列表示された映像が、モニタ装置5で表示されることになる。
なお、モニタ装置5では、モニタ表示画面のアスペクト比に応じて、2つの並列画面が同時に表示できるように、合成ビデオデータD3の縮小表示等を行うことになる。
このような表示により、オペレータは、圧縮前後の画像を一画面で同時に見比べることができ、圧縮後の画質チェックを容易に実行できる。
【0043】
画質がOKであれば、オペレータはチェックOK(エンコード終了)の操作入力を行う。それに応じてエンコードマネージャ7はステップF112からステップF115に進み、後処理として、エンコード結果の圧縮ビデオデータD2の確定等、必要な処理を行って一連のエンコード作業を終了させる。
一方、画質が不満足であった場合、オペレータは、圧縮ビデオデータD2のうちの任意の時間範囲について再エンコードを指示することができる。その場合、ステップF113で、エンコードマネージャ7はオペレータの入力に応じてエンコード処理のパラメータの変更を行う。そしてステップF114で、指定された時間範囲について、エンコーダ12にエンコード処理を実行させる。つまりエンコードマネージャ7、エンコードコントロール部9は、指定された時間範囲について、ビデオデータサーバ3から圧縮前ビデオデータD1を再生させてエンコーダ12に供給させ、エンコーダ12に圧縮エンコードを実行させる。そして得られた圧縮ビデオデータD2を圧縮ビデオデータD2に格納させる。つまりこのとき、当該再エンコードを行った時間範囲の部分の圧縮ビデオデータD2が。圧縮データサーバ4に格納されている一連の圧縮ビデオデータD2の一部として差し替えられるようにする。
このような再エンコードを行ったらステップF109からのチェック処理を同様に行う。
【0044】
以上のように本実施の形態では、チェック処理において、デコードコントロール部13で、圧縮ビデオデータD2を非圧縮デコードして復号ビデオデータD2’を得るとともに、復号ビデオデータD2’と同一時間範囲の圧縮前ビデオデータD1をビデオデータサーバ3から取得する。そして復号ビデオデータD2’の映像と圧縮前ビデオデータD1の映像が同期して上下に一表示画面内で並列表示される映像となる合成ビデオデータD3を生成する。このような合成ビデオデータD3を一旦ビデオデータサーバ3に格納した後、これを再生させ、モニタ装置5で表示させる。これによって、オペレータは非常に容易に、圧縮前後の映像を見比べることができ、圧縮エンコードに関する画質チェックを容易且つ効率的に実行できることになる。同期して同時に表示されることで、画質劣化箇所の特定も容易である。
これによりオーサリング作業工程におけるビデオ圧縮作業の効率が著しく向上される。
【0045】
[3.第2の処理例]

第2の処理例を図4に示す。なお図4においてステップF101〜F104の準備処理、ステップF105〜F108のエンコード処理、ステップF113,F114の再エンコード処理、ステップF115の後処理は図2と同様であるため説明を省略する。ここではステップF109、F110,F121,F122,F112のチェック処理についてのみ説明する。
【0046】
ステップF108のエンコード処理が完了した後、ステップF109では、オペレータの入力に応じてエンコードマネージャ7が画質確認箇所としての時間範囲(タイムコード範囲)を設定する。
ステップF110で、画質確認箇所として設定された時間範囲のビデオデータについて合成ビデオデータD3の作成を行う。
この場合もデコードコントロール部13には、図3(a)に示したデコーダモジュール17,ビデオ合成モジュール19としての機能を備え、第1の処理例1の場合と同様、図3(b)のような合成ビデオデータD3を作成する。
エンコードマネージャ7は、このようにして生成された合成ビデオデータD3を、ビデオデータサーバ3に転送させ、格納させる。
【0047】
次にステップF121として、分割合成ビデオデータの作成が行われる。
分割合成ビデオデータの作成はデコードコントロール部13で行われる。図5(a)のうに、分割合成ビデオデータDVの作成のため、デコードコントロール部13は、分割合成モジュール21としての機能を備える。つまり第2の処理例を実行する場合、デコードコントロール部13は、上記図3(a)に示したデコーダモジュール17,ビデオ合成モジュール19に加え、さらに図5(a)の分割合成モジュール21を有するものとされる。
エンコードマネージャ7は、この分割合成モジュール21を備えたデコードコントロール部13に、ビデオデータサーバ3から合成ビデオデータD3を供給させる。
図5(a)に示すように、デコードコントロール部13では、合成ビデオデータD3が分割合成モジュール21に供給され、分割合成処理が行われる。
【0048】
分割合成は次のような処理となる。
図5(b)に示すように、合成ビデオデータD3は、復号ビデオデータD2’と圧縮前ビデオデータD1がフレーム同期がとられて張り合わされたデータである。
ここで、この合成ビデオデータD3の画像を領域A,B,C,Dに分割する。即ち復号ビデオデータD2’の領域を左右に2分割して領域A,Bとし、また圧縮前ビデオデータD1の領域を左右に2分割して領域C、Dとする。
その上で、領域A,Dを左右に貼り合わせて新たな合成画像を生成する。
このような分割合成処理を行って、分割合成ビデオデータDVを作成する。
【0049】
ステップF121として以上のように分割合成ビデオデータDVが生成され、ステップF122で、この分割合成ビデオデータDVがモニタ装置5に送られて表示させる。
即ち図5(b)の分割合成ビデオデータDVのように、左半分が復号ビデオデータD2’、右半分が圧縮前ビデオデータD1に基づく映像が、モニタ装置5で表示されることになる。
【0050】
このような分割合成ビデオデータDVを表示するようにしても、オペレータの画質チェックに好適である。
まず、合成ビデオデータD3のままであると、2つの画面内容を並列に貼り付けた状態のデータであるため、モニタ装置5で表示するときには、或る程度の縮小が必要である。
一方、分割合成ビデオデータDVの場合は、合成ビデオデータD3について、復号ビデオデータD2’の映像の一部と、圧縮前ビデオデータD1の映像の一部とを合成し、当該各部分をつなぎ合わせた映像となるものであり、1画面としてのサイズに収めることができる。その場合、モニタ装置5の画面を最も広く使用して表示することが可能となる。このため、縮小しない大きい画像として、圧縮前後を見比べることができるようになる。
オペレータは、このような分割合成ビデオデータDVによる表示を確認して、エンコードOKであるか、再エンコード処理を行うかを決めればよい。
【0051】
なお、分割合成処理における分割及び合成の態様は多様に考えられる。
例えば図5(b)の領域A,Dを貼り合わせたり、領域B、Dを貼り合わせたり、領域B、Dを貼り合わせることも考えられる。
また復号ビデオデータD2’、圧縮前ビデオデータD1を、それぞれ上下に2分割して、それぞれから所要の領域を抽出して貼り合わせても良い。
もちろん復号ビデオデータD2’、圧縮前ビデオデータD1について、それぞれ3分割以上して、それぞれから所要の領域を抽出して貼り合わせても良い。
また、分割合成ビデオデータDVにおいて、復号ビデオデータD2’の映像が占める領域面積と、圧縮前ビデオデータD1の映像が占める領域面積とは、同じであっても良いし、異なっても良い。復号ビデオデータD2’の映像と圧縮前ビデオデータD1の映像の境界線をオペレータの入力に応じて設定する機能を持たせることもできる。
このように、分割の仕方や、貼り合わせる分割領域の選定は、どのようなものでも良く、一画面上で表示させて復号ビデオデータD2’と圧縮前ビデオデータD1の画質を比較できるものであればよい。
【0052】
[4.プログラム]

本実施の形態のプログラムは、上述した実施の形態の図2、又は図4の処理動作をCPU等の演算処理装置(主コントローラ14等)に実行させるプログラムである。
即ち本実施の形態のプログラムは、圧縮前ビデオデータに対し圧縮エンコードを行い圧縮ビデオデータを生成するエンコードステップを演算処理装置に実行させる。また、エンコードステップで得られた圧縮ビデオデータを非圧縮デコードして復号ビデオデータを得るとともに、該復号ビデオデータの映像と、該復号ビデオデータと同一時間範囲の圧縮前ビデオデータの映像が同期して一表示画面内で並列表示される映像となる合成ビデオデータを生成する合成処理ステップを演算処理装置に実行させる。
【0053】
このような本実施の形態のプログラムは、コンピュータ装置や、オーサリングシステム上の機器に内蔵されている記録媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROM等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【0054】
また、本発明のプログラムは、リムーバブル記録媒体からコンピュータ装置等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
そして本実施の形態のプログラムによれば、上記実施の形態の処理を実現するビデオデータ処理装置、オーサリングシステムの実現及び広範な提供に適している。
【符号の説明】
【0055】
1 ビデオデータ処理装置、2 オーサリングアプリケーション、3 ビデオデータサーバ、4 圧縮データサーバ、5 モニタ装置、6 GUI部、7 エンコードマネージャ、8 エンコードコントロール部、12 エンコーダ、13 デコードコントロール部、17 デコーダモジュール、19 ビデオ合成モジュール、21 分割合成モジュール

【特許請求の範囲】
【請求項1】
入力された圧縮前ビデオデータに対し圧縮エンコードを行い圧縮ビデオデータを生成するエンコード部と、
上記エンコード部で生成された圧縮ビデオデータを非圧縮デコードして復号ビデオデータを得るとともに、上記復号ビデオデータと同一時間範囲の圧縮前ビデオデータを取得し、上記復号ビデオデータの映像と上記圧縮前ビデオデータの映像が同期して一表示画面内で並列表示される映像となる合成ビデオデータを生成する合成処理部と、
を備えたビデオデータ処理装置。
【請求項2】
上記合成処理部は、上記合成ビデオデータを、表示装置に供給して表示させる請求項1に記載のビデオデータ処理装置。
【請求項3】
上記合成処理部は、上記合成ビデオデータを、所定の格納部に供給して格納させる請求項1に記載のビデオデータ処理装置。
【請求項4】
上記所定の格納部に格納された上記合成ビデオデータを読み出し、読み出した合成ビデオデータについて、上記復号ビデオデータの映像の一部と、上記圧縮前ビデオデータの映像の一部とを合成し、当該各部分をつなぎ合わせた映像となる分割合成ビデオデータを生成し、該分割合成ビデオデータを、表示装置に供給して表示させる分割合成処理部を、さらに備えた請求項3に記載のビデオデータ処理装置。
【請求項5】
圧縮前ビデオデータに対し圧縮エンコードを行い圧縮ビデオデータを生成するエンコードステップと、
上記エンコードステップで得られた圧縮ビデオデータを非圧縮デコードして復号ビデオデータを得るとともに、該復号ビデオデータの映像と、該復号ビデオデータと同一時間範囲の圧縮前ビデオデータの映像が同期して一表示画面内で並列表示される映像となる合成ビデオデータを生成する合成処理ステップと、
を備えたビデオデータ処理方法。
【請求項6】
圧縮前ビデオデータに対し圧縮エンコードを行い圧縮ビデオデータを生成するエンコードステップと、
上記エンコードステップで得られた圧縮ビデオデータを非圧縮デコードして復号ビデオデータを得るとともに、該復号ビデオデータの映像と、該復号ビデオデータと同一時間範囲の圧縮前ビデオデータの映像が同期して一表示画面内で並列表示される映像となる合成ビデオデータを生成する合成処理ステップと、
を演算処理装置に実行させるプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2011−166261(P2011−166261A)
【公開日】平成23年8月25日(2011.8.25)
【国際特許分類】
【出願番号】特願2010−23989(P2010−23989)
【出願日】平成22年2月5日(2010.2.5)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】