ビデオ信号処理装置およびビデオ信号情報処理方法、並びにプログラム
【課題】符号化ビデオ信号の編集において、再符号化部分の画質劣化を抑止する。
【解決手段】ステップＳ１で、抽出区間が指定され、再符号化を行う抽出区間の先端のフレームを含むGOPの符号化ビデオ信号と、抽出区間の終端のフレームを含むGOPの符号化ビデオ信号が分離される。ステップＳ２で、先端部分または終端部分のGOPの符号化ビデオ信号が復号される。ステップＳ３で、第１の劣化低減処理が実行され、再符号化部分の画質劣化が抑止されるように設定情報が決定される。ステップＳ４で、第２の劣化低減処理が実行され、編集前後の絵づくりのテイストが継承されて再符号化部分と中間部分の境を目立ちが抑止されるように設定情報が決定される。ステップＳ５において、再符号化が行われる。本発明は、スマートレンダリング編集を行う機器に適用することができる。
【解決手段】ステップＳ１で、抽出区間が指定され、再符号化を行う抽出区間の先端のフレームを含むGOPの符号化ビデオ信号と、抽出区間の終端のフレームを含むGOPの符号化ビデオ信号が分離される。ステップＳ２で、先端部分または終端部分のGOPの符号化ビデオ信号が復号される。ステップＳ３で、第１の劣化低減処理が実行され、再符号化部分の画質劣化が抑止されるように設定情報が決定される。ステップＳ４で、第２の劣化低減処理が実行され、編集前後の絵づくりのテイストが継承されて再符号化部分と中間部分の境を目立ちが抑止されるように設定情報が決定される。ステップＳ５において、再符号化が行われる。本発明は、スマートレンダリング編集を行う機器に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ信号処理装置およびビデオ信号情報処理方法、並びにプログラムに関し、特に、符号化ビデオ信号を復号し、再び符号化する場合に用いて好適なビデオ信号処理装置およびビデオ信号情報処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
例えばMPEG2方式などによって圧縮符号化されているビデオ信号（以下、符号化ビデオ信号と称する）から所定の区間を抽出するような編集を行う場合、GOP（Group of Pictures）単位で抽出するときには、符号化ビデオ信号を復号することなく比較的少ない演算量で当該編集を行うことができる。
【０００３】
これに対して、GOP単位よりも細かくフレーム単位で抽出するときには、各ピクチャ間で参照関係があるので復号処理は必須である。最も容易な方法は、符号化データを全て復号した後に所定の区間を抽出することである。
【０００４】
しかしながら、符号化データを全て復号しても、抽出後に再び符号化する必要があるので、無駄な演算を行っていることがあり、一連の処理を終えるのに時間を要してしまう。
【０００５】
そこで、符号化ビデオ信号からフレーム単位の所定の区間を抽出するような編集をできる限り速やかに実行する方法として、スマートレンダリング編集と称する技法が存在する（例えば、特許文献１参照）。
【０００６】
スマートレンダリング編集においては、例えば図１Ａに示すような連続した符号化ビデオ信号から任意の区間を抽出する編集を行う場合、抽出区間のうち、先端と終端をそれぞれ含むGOPだけをそれぞれ復号して所望のフレームを抽出し、再び符号化するようにする。
【０００７】
他方、抽出区間のうち、先端のGOPと終端のGOP以外の中間部分については、符号化ビデオ信号そのままで復号することなく抽出するようにする。
【０００８】
このように、抽出区間の中間部分の復号処理と再符号化処理を省略することにより、編集に要する演算量を削減し、より速やかに抽出を実行することができる。
【０００９】
【特許文献１】特開２００４−１０４３６１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
上述したスマートレンダリング編集を行うと、その編集結果は図１Ｂに示すように、抽出区間の先端と終端には再符号化部分が生じ、これらに挟まれた、再符号化されずにそのまま出力される中間部分が存在することになる。
【００１１】
通常、符号化ビデオ信号を復号して再符号化した場合、再符号化のビットレートを編集前の符号化ビデオ信号と同じにしても、編集前の符号化ビデオ信号に比較して画質が劣化してしまうことが知られている。
【００１２】
したがって、特に対策を施すことなくスマートレンダリング編集を行い、編集後の符号化ビデオ信号を再生すると、抽出区間の再符号化部分の画質が劣化していて印象が悪く、さらに再符号化部分と中間部分の境が明確となり視覚上目立ってしまうことになる。
【００１３】
特に、編集前の符号化ビデオ信号を符号化したエンコーダと、再符号化を行うエンコーダが同一ではなく、それぞれの目指す絵づくりのテイストが異なる場合、上述した問題はより顕著に表れてしまう。
【００１４】
本発明はこのような状況に鑑みてなされたものであり、符号化ビデオ信号の編集において、再符号化部分の画質劣化を抑止できるようにするものである。
【課題を解決するための手段】
【００１５】
本発明の一側面であるビデオ信号処理装置は、符号化ビデオ信号を復号し、その結果得られるビデオ信号を符号化するビデオ信号処理装置において、入力された符号化ビデオ信号を復号する復号手段と、入力された符号化ビデオ信号から、前記符号化ビデオ信号が符号化されたときの符号化設定にかかわる符号化情報を検出する検出手段と、検出された前記符号化情報に基づいて再符号化のときに用いる再符号化情報を生成する再符号化情報生成手段と、生成された前記再符号化情報に従い、復号結果のビデオ信号を符号化する符号化手段とを含む。
【００１６】
前記検出手段および前記再符号化情報生成手段は、入力された符号化ビデオ信号から、前記符号化ビデオ信号の平均ビットレートおよび平均量子化値を符号化情報として検出し、検出された前記符号化情報に基づいて再符号化のときに用いる設定ビットレートおよび初期量子化値を再符号化情報として生成する第１の処理、入力された符号化ビデオ信号から、ピクチャタイプ毎の平均量子化値を符号化情報として検出し、検出された前記符号化情報に基づいて再符号化のときに用いるピクチャタイプ毎の量子化オフセット値を再符号化情報として生成する第２の処理、または、入力された符号化ビデオ信号から、フレーム毎の符号量および量子化値を符号化情報として検出し、検出された前記符号化情報に基づいて再符号化のときに用いるピクチャタイプ毎の量子化オフセット値を再符号化情報として生成する第３の処理のうち、少なくとも１つの処理を行うようにすることができる。
【００１７】
本発明の一側面であるビデオ信号処理装置は、一連の符号化ビデオ信号のストリームを、再符号化する再符号化部分と、前記再符号化部分に挟まれた再符号化しない中間部分に分離する分離手段をさらに含むことができる。
【００１８】
本発明の一側面であるビデオ信号処理方法は、符号化ビデオ信号を復号し、その結果得られるビデオ信号を符号化するビデオ信号処理装置のビデオ信号処理方法において、入力された符号化ビデオ信号を復号し、入力された符号化ビデオ信号から、前記符号化ビデオ信号が符号化されたときの符号化設定にかかわる符号化情報を検出し、検出された前記符号化情報に基づいて再符号化のときに用いる再符号化情報を生成し、生成された前記再符号化情報に従い、復号結果のビデオ信号を符号化するステップを含む。
【００１９】
本発明の一側面であるプログラムは、符号化ビデオ信号を復号し、その結果得られるビデオ信号を符号化するビデオ信号処理装置の制御用のプログラムであって、入力された符号化ビデオ信号を復号し、入力された符号化ビデオ信号から、前記符号化ビデオ信号が符号化されたときの符号化設定にかかわる符号化情報を検出し、検出された前記符号化情報に基づいて再符号化のときに用いる再符号化情報を生成し、生成された前記再符号化情報に従い、復号結果のビデオ信号を符号化するステップを含む処理をコンピュータに実行させる。
【００２０】
本発明の一側面においては、入力された符号化ビデオ信号を復号し、入力された符号化ビデオ信号から、符号化ビデオ信号が符号化されたときの符号化設定にかかわる符号化情報が検出され、検出された符号化情報に基づいて再符号化のときに用いる再符号化情報が生成され、生成された再符号化情報に従い、入力された符号化ビデオ信号の復号結果であるビデオ信号が符号化される。
【発明の効果】
【００２１】
本発明の一側面によれば、符号化ビデオ信号の編集において、再符号化部分の画質劣化を抑止することが可能となる。また、編集結果における再符号化部分の境が目立たないようにすることができる。
【発明を実施するための最良の形態】
【００２２】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２３】
請求項１に記載のビデオ信号処理装置（例えば、図２の編集装置１０）は、入力された符号化ビデオ信号を復号する復号手段（例えば、図２の復号部１３）と、入力された符号化ビデオ信号から、符号化ビデオ信号が符号化されたときの符号化設定にかかわる符号化情報を検出する検出手段（例えば、図２の情報抽出部１５）と、検出された符号化情報に基づいて再符号化のときに用いる再符号化情報を生成する再符号化情報生成手段（例えば、図２の情報解析部１６）と、生成された再符号化情報に従い、復号結果のビデオ信号を符号化する符号化手段（例えば、図２の再符号化部１４）とを含む。
【００２４】
請求項３に記載のビデオ信号処理装置は、一連の符号化ビデオ信号のストリームを、再符号化する再符号化部分と、再符号化部分に挟まれた再符号化しない中間部分に分離する分離手段（例えば、図２の切換部１２）をさらに含む。
【００２５】
請求項４に記載のビデオ信号処理方法、および請求項５に記載のプログラムは、入力された符号化ビデオ信号を復号し（例えば、図４のステップＳ２）、入力された符号化ビデオ信号から、符号化ビデオ信号が符号化されたときの符号化設定にかかわる符号化情報を検出し（例えば、図５のステップＳ１１）、検出された符号化情報に基づいて再符号化のときに用いる再符号化情報を生成し（例えば、図５のステップＳ１２）、生成された再符号化情報に従い、復号結果のビデオ信号を符号化する（例えば、図４のステップＳ５）ステップを含む。
【００２６】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００２７】
図２は、本発明の一実施の形態である編集装置の第１の構成例を示している。この編集装置１０は、前段から入力される符号化ビデオ信号をスマートレンダリング編集するものであり、再符号化に際して後述する第１の劣化低減処理を実行することによってスマートレンダリング編集に伴う再符号化部分の画質劣化を抑止するようになされている。さらに、第２の劣化低減処理を実行することによってスマートレンダリング編集に伴う再符号化部分の絵づくりのテイストを、編集前の符号化ビデオ信号の絵づくりのテイストに基づいて調整することによって、再符号化部分と中間部分の境を目立たせなくするようになされている。
【００２８】
なお、入力される符号化ビデオ信号は、H.264/AVC方式で符号化されていることを想定する。以下、入力される符号化ビデオ信号を、入力H.264/AVCストリームとも記述する。入力H.264/AVCストリームを符号化したエンコーダの目指す絵づくりのテイストと、この編集装置１０に内蔵されるエンコーダ（再符号化部１４）の目指す絵づくりのテイストとは、必ずしも一致している必要はない。
【００２９】
編集装置１０は、抽出区間を指定するユーザの操作を入力する操作入力部１１、入力H.264/AVCストリームのうち、再符号化を行う抽出区間の先端のピクチャを含むGOPの符号化ビデオ信号と、抽出区間の終端のフレームを含むGOPの符号化ビデオ信号を復号部１３および情報抽出部１５に出力し、抽出区間のうちの再符号化しない中間部分の符号化ビデオ信号を結合部１７に出力する切換部１２、切換部１２から入力される符号化ビデオ信号を復号する復号部１３、復号結果のビデオ信号のうち、抽出区間に含まれるフレームを、情報解析部１６から通知される設定情報に従って再符号化する再符号化部１４、切換部１２から入力される符号化ビデオ信号から所定の情報を抽出する情報抽出部１５、抽出された所定の情報にも基づいて再符号化時の設定情報を決定する情報解析部１６、および、再符号化結果の符号化ビデオ信号と、再符号化されない中間部分の符号化ビデオ信号とを結合して出力H.264/AVCストリームとして後段に出力する結合部１７から構成される。
【００３０】
次に図３は、本発明の一実施の形態である編集装置の第２の構成例を示している。この第２の構成例は、第１の構成例における復号部１３と情報抽出部１５を一体化して、復号情報抽出部２１としたものである。その他の構成要素については、第１の構成例を同様であり、同一の符号を付しているので、その説明は省略する。
【００３１】
次に、本発明の一実施の形態である編集装置１０によるスマートレンダリング編集処理について、図４のフローチャートを参照して説明する。
【００３２】
ステップＳ１において、操作入力部１１は、一連の入力H.264/AVCストリームから抽出する区間を指定するユーザの操作を受け付け、指定された抽出区間を切換部１２に通知する。この通知に対応し、切換部１２は、入力H.264/AVCストリームのうち、再符号化を行う抽出区間の先端のフレームを含むGOPの符号化ビデオ信号と、抽出区間の終端のフレームを含むGOPの符号化ビデオ信号を復号部１３および情報抽出部１５に出力し、抽出区間のうちの再符号化しない中間部分の符号化ビデオ信号を結合部１７に出力する。
【００３３】
ステップＳ２において、復号部１３は、切換部１２から入力された抽出区間の先端部分のGOPまたは終端部分のGOPの符号化ビデオ信号を復号し、その結果得られるビデオ信号を再符号化部１４に出力する。
【００３４】
ステップＳ３において、情報抽出部１５および情報解析部１６は、第１の劣化低減処理を実行し、再符号化における設定情報を決定して再符号化部１４に通知する。ステップＳ４において、情報抽出部１５および情報解析部１６は、第２の劣化低減処理を実行し、再符号化における設定情報を決定して再符号化部１４に通知する。なお、第１および第２の劣化低減処理については後述する。
【００３５】
ステップＳ５において、再符号化部１４は、復号結果のビデオ信号のうち、抽出区間に含まれるピクチャを、第１および第２の劣化低減処理によって決定された設定情報に従って再符号化し、その結果得られる符号化ビデオ信号を結合部１７に出力する。結合部１７は、再符号化結果の符号化ビデオ信号と、再符号化されない中間部分の符号化ビデオ信号とを結合して出力H.264/AVCストリームとして後段に出力する。
【００３６】
以上のように、編集装置１０によるスマートレンダリング編集では、第１および第２の劣化低減処理により再符号化時の設定情報が決定されるので、再符号化部分を再生した時の画質劣化を抑止することができる。また、再符号化部分と再符号化しない部分の境が目立つ事態を防ぐことができる。
【００３７】
なお、上述した説明では、第１および第２の劣化低減処理の両方を実行するものとして説明したが、第１または第２の劣化低減処理の少なくとも一方を実行するだけでもよい。
【００３８】
次に、ステップＳ３における第１の劣化低減処理について、図５のフローチャートを参照して詳述する。
【００３９】
ステップＳ１１において、情報抽出部１５は、切換部１２から入力された再符号化する先端部分のGOP（または終端部分のGOP）の符号化ビデオ信号を必要に応じて部分的に復号し、その平均ビットレートＡと平均量子化値Ｂとを抽出して情報解析部１６に出力する。ステップＳ１２において、情報解析部１６は、抽出された平均ビットレートＡと平均量子化値Ｂとを次式に適用して、再符号化時の設定ビットレートＣと初期量子化値Ｄを演算し、演算結果を設定情報として再符号化部１４に出力する。
【００４０】
Ｃ=Ａ*Ｂ/最小量子化値; Ｄ=最小量子化値;
【００４１】
ただし、設定ビットレートＣと初期量子化値Ｄを求める式は、上記以外であっても構わない。運用上許される最大ビットレートを超えないようにしてもよいし、許容できる画質を維持する上で必要な最小量子化値を下回らないようにしてもよい。
【００４２】
ここで、最小量子化値は視覚的に画質の劣化を感じない量子化値を指す。この演算結果である設定ビットレートＣと初期量子化値Ｄは、平均ビットレートＡと平均量子化値Ｂに比較して以下の関係が成立するので、再符号化部分の画質劣化を視覚的に抑止することができる。
設定ビットレートＣ ≧ 平均ビットレートＡ
初期量子化値Ｄ ＜ 平均量子化値Ｂ
【００４３】
なお、編集前のGOP先頭のピクチャの量子化値を平均量子化値Ｂにしておけば、復号部１３の復号処理に対する、情報抽出部１５および情報解析部１６による第１の劣化低減処理の遅延量を減らすことができる。
【００４４】
なお、設定ビットレートＣと初期量子化値Ｄの算出に、平均ビットレートＡや平均量子化値Ｂ以外を用いることにしてもよい。例えば、動きベクトルの個数や大きさを抽出し、それらの符号化情報を加味して決めてもよい。
【００４５】
次に、ステップＳ４における第２の劣化低減処理の第１の動作例について、図６のフローチャートを参照して詳述する。
【００４６】
ステップＳ２１において、情報抽出部１５は、切換部１２から入力された再符号化する先端部分のGOP（または終端部分のGOP）の符号化ビデオ信号を必要に応じて部分的に復号し、GOP全体の平均量子化値Ｂと、当該GOPに含まれるＩ，Ｐ，Ｂピクチャそれぞれの平均量子化値Ｑｉ，Ｑｐ，Ｑｂとを抽出して情報解析部１６に出力する。なお、GOP全体の平均量子化値Ｂについては、第１の劣化低減処理で抽出した値を流用することができる。あるいは、GOP内のＩピクチャの平均量子化値をＢとして近似することもできる。
【００４７】
ステップＳ２２において、情報解析部１６は、抽出されたGOP全体の平均量子化値Ｂと当該GOPに含まれるＩ，Ｐ，Ｂピクチャそれぞれの平均量子化値Ｑｉ，Ｑｐ，Ｑｂとを次式に適用して、再符号化時のＩ，Ｐ，Ｂピクチャそれぞれの量子化オフセット値Ｑｏｉ，Ｑｏｐ，Ｑｏｂを演算し、演算結果を設定情報として再符号化部１４に出力する。
Ｑｏｉ＝Ｑｉ−Ｂ
Ｑｏｐ＝Ｑｐ−Ｂ
Ｑｏｂ＝Ｑｂ−Ｂ
【００４８】
ただし、量子化オフセット値Ｑｏｉ，Ｑｏｐ，Ｑｏｂを求める式は、上記以外であっても構わない。
【００４９】
この設定情報に基づき、再符号化部１４では、Ｉ，Ｐ，Ｂピクチャそれぞれ本来の量子化値baseＱｉ，baseＱｐ，baseＱｂに量子化オフセット値Ｑｏｉ，Ｑｏｐ，Ｑｏｂが加算されて、再符号化における量子化が行われる。
Ｉピクチャの量子化値＝baseＱｉ＋Ｑｏｉ
Ｐピクチャの量子化値＝baseＱｐ＋Ｑｏｐ
Ｂピクチャの量子化値＝baseＱｂ＋Ｑｏｂ
【００５０】
この第２の劣化低減処理の第１の動作例により、編集前の符号化ビデオ信号において各ピクチャのビット割り当ての比が再符号化結果にも反映される。したがって、編集前の符号化ビデオ信号の絵づくりのテイストを再符号化結果に継続させることできる。したがって、再符号化部分と中間部分の境を目立たなくすることができる。
【００５１】
次に、ステップＳ４における第２の劣化低減処理の第２の動作例について、図７のフローチャートを参照して詳述する。
【００５２】
ステップＳ３１において、情報抽出部１５は、切換部１２から入力された再符号化する先端部分のGOP（または終端部分のGOP）の符号化ビデオ信号を必要に応じて部分的に復号し、GOP全体の平均量子化値Ｂと、当該GOPに含まれる各フレームの符号量Ｅｊと量子化値Ｑｊとを抽出して情報解析部１６に出力する。GOP全体の平均量子化値Ｂについては、第１の劣化低減処理で抽出した値を流用することができる。各フレームの符号量Ｅｊと量子化値Ｑｊは、スキップマクロブロックやCPB=0の情報を参照するとより正確に抽出することができる。
【００５３】
ステップＳ３２において、情報解析部１６は、抽出されたGOP全体の平均量子化値Ｂと、当該GOPに含まれる各フレームの符号量Ｅｊと量子化値Ｑｊとを次式に適用して、Ｉ，Ｐ，Ｂピクチャそれぞれの平均量子化値ＡｖＱｉ，ＡｖＱｐ，ＡｖＱｂを演算する。
ＡｖＱｉ＝Σ（Ｅｊ＊Ｑｊ）／Σ（Ｅｊ）
ΣはGOP内のＩピクチャのフレームの総和を示す。
ＡｖＱｐ＝Σ（Ｅｊ＊Ｑｊ）／Σ（Ｅｊ）
ΣはGOP内のＰピクチャのフレームの総和を示す
ＡｖＱｂ＝Σ（Ｅｊ＊Ｑｊ）／Σ（Ｅｊ）
ΣはGOP内のＢピクチャのフレームの総和を示す
【００５４】
さらに、演算した平均量子化値ＡｖＱｉ，ＡｖＱｐ，ＡｖＱｂを次式に適用して再符号化時のＩ，Ｐ，Ｂピクチャそれぞれの量子化オフセット値Ｑｏｉ，Ｑｏｐ，Ｑｏｂを演算し、演算結果を設定情報として再符号化部１４に出力する。
Ｑｏｉ＝ＡｖＱｉ−Ｂ
Ｑｏｐ＝ＡｖＱｐ−Ｂ
Ｑｏｂ＝ＡｖＱｂ−Ｂ
【００５５】
ただし、量子化オフセット値Ｑｏｉ，Ｑｏｐ，Ｑｏｂを求める式は、上記以外であっても構わない。例えば、GOP全体の平均量子化値Ｂを、次式を用いて演算し、量子化オフセット値Ｑｏｉ，Ｑｏｐ，Ｑｏｂを求めてもよい。
Ｂ＝Σ（Ｅｊ＊Ｑｊ）／Σ（Ｅｊ）
ΣはGOP内のピクチャのフレームの総和を示す。
Ｑｏｉ＝Ｑｉ−Ｂ
Ｑｏｐ＝Ｑｐ−Ｂ
Ｑｏｂ＝Ｑｂ−Ｂ
【００５６】
この設定情報に基づき、再符号化部１４では、Ｉ，Ｐ，Ｂピクチャそれぞれ本来の量子化値baseＱｉ，baseＱｐ，baseＱｂに量子化オフセット値Ｑｏｉ，Ｑｏｐ，Ｑｏｂが加算されて、再符号化における量子化が行われる。
Ｉピクチャの量子化値＝baseＱｉ＋Ｑｏｉ
Ｐピクチャの量子化値＝baseＱｐ＋Ｑｏｐ
Ｂピクチャの量子化値＝baseＱｂ＋Ｑｏｂ
【００５７】
この第２の劣化低減処理の第２の動作例により、編集前の符号化ビデオ信号において各ピクチャに属するフレームの難易度に応じて、再符号化時の各ピクチャのビット割り当てが決定される。したがって、編集前の符号化ビデオ信号の絵づくりのテイストを再符号化結果に反映させることできる。したがって、再符号化部分と中間部分の境を目立たなくすることができる。
【００５８】
なお、上述した説明では、GOPに含まれる各ピクチャの量子化オフセット量を求めることによって、再符号化前後においてピクチャ間の絵づくりのテイストを維持するようにしているが、上述した説明におけるGOPとピクチャを、それぞれピクチャとマクロブロックに置換することにより、再符号化前後においてピクチャ内の絵づくりのテイストを維持するようにすることができる。
【００５９】
第２の劣化低減処理においては、上述した第１または第２の動作例の一方を実行すればよい。
【００６０】
なお、本発明は、本実施の形態である編集装置１０のようにスマートレンダリング編集処理を行う機器に限らず、符号化ビデオデータを復号し、再び符号化する処理を行うあらゆる機器に適用することができる。
【００６１】
また、本発明は、H.264/AVC方式以外の符号化方式で符号化されている符号化ビデオ信号を編集する場合にも適用することができる。
【００６２】
また、本発明は、例えば、符号化前の符号化方式と編集後の符号化方式が異なる場合（例えば符号化ビデオ信号をフォーマット変換するような場合）にも適用することができる。
【００６３】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図８に示すような汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００６４】
このパーソナルコンピュータ５０は、CPU(Central Processing Unit)５１を内蔵している。CPU５１にはバス５４を介して、入出力インタフェース５５が接続されている。バス５４には、ROM(Read Only Memory)５２およびRAM(Random Access Memory)５３が接続されている。
【００６５】
入出力インタフェース５５には、ユーザが操作コマンドを入力するキーボード、マウス等の入力デバイスよりなる入力部５６、再生したビデオ信号の映像や操作画面を表示するCRT(Cathode Ray Tube)またはLCD(Liquid Crystal Display)等のディスプレイよりなる出力部５７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部５８、およびモデム、LAN（Local Area Network）アダプタなどよりなり、インタネットに代表されるネットワークを介した通信処理を実行する通信部５９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどの記録媒体６１に対してデータを読み書きするドライブ６０が接続されている。
【００６６】
このパーソナルコンピュータ５０に上述した一連の処理を実行させるプログラムは、記録媒体６１に格納された状態でパーソナルコンピュータ５０に供給され、ドライブ６０によって読み出されて記憶部５８に内蔵されるハードディスクドライブにインストールされている。記憶部５８にインストールされているプログラムは、入力部５６に入力されるユーザからのコマンドに対応するCPU５１の指令によって、記憶部５８からRAM５３にロードされて実行される。
【００６７】
なお、本明細書において、プログラムに基づいて実行されるステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００６８】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【００６９】
【図１】スマートレンダリング編集を説明するための図である。
【図２】本発明を適用した編集装置の第１の構成例を示すブロック図である。
【図３】本発明を適用した編集装置の第２の構成例を示すブロック図である。
【図４】スマートレンダリング編集処理を説明するフローチャートである。
【図５】第１の低減処理を説明するフローチャートである。
【図６】第２の低減処理の第１の動作例を説明するフローチャートである。
【図７】第２の低減処理の第２の動作例を説明するフローチャートである。
【図８】汎用パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【００７０】
１０ 編集装置， １１ 操作入力部， １２ 切換部， １３復号部， １４ 再符号化部， １５ 情報抽出部， １６ 情報解析部， １７ 結合部， ２１ 復号情報抽出部， ５０ パーソナルコンピュータ， ５１ CPU
【技術分野】
【０００１】
本発明は、ビデオ信号処理装置およびビデオ信号情報処理方法、並びにプログラムに関し、特に、符号化ビデオ信号を復号し、再び符号化する場合に用いて好適なビデオ信号処理装置およびビデオ信号情報処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
例えばMPEG2方式などによって圧縮符号化されているビデオ信号（以下、符号化ビデオ信号と称する）から所定の区間を抽出するような編集を行う場合、GOP（Group of Pictures）単位で抽出するときには、符号化ビデオ信号を復号することなく比較的少ない演算量で当該編集を行うことができる。
【０００３】
これに対して、GOP単位よりも細かくフレーム単位で抽出するときには、各ピクチャ間で参照関係があるので復号処理は必須である。最も容易な方法は、符号化データを全て復号した後に所定の区間を抽出することである。
【０００４】
しかしながら、符号化データを全て復号しても、抽出後に再び符号化する必要があるので、無駄な演算を行っていることがあり、一連の処理を終えるのに時間を要してしまう。
【０００５】
そこで、符号化ビデオ信号からフレーム単位の所定の区間を抽出するような編集をできる限り速やかに実行する方法として、スマートレンダリング編集と称する技法が存在する（例えば、特許文献１参照）。
【０００６】
スマートレンダリング編集においては、例えば図１Ａに示すような連続した符号化ビデオ信号から任意の区間を抽出する編集を行う場合、抽出区間のうち、先端と終端をそれぞれ含むGOPだけをそれぞれ復号して所望のフレームを抽出し、再び符号化するようにする。
【０００７】
他方、抽出区間のうち、先端のGOPと終端のGOP以外の中間部分については、符号化ビデオ信号そのままで復号することなく抽出するようにする。
【０００８】
このように、抽出区間の中間部分の復号処理と再符号化処理を省略することにより、編集に要する演算量を削減し、より速やかに抽出を実行することができる。
【０００９】
【特許文献１】特開２００４−１０４３６１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
上述したスマートレンダリング編集を行うと、その編集結果は図１Ｂに示すように、抽出区間の先端と終端には再符号化部分が生じ、これらに挟まれた、再符号化されずにそのまま出力される中間部分が存在することになる。
【００１１】
通常、符号化ビデオ信号を復号して再符号化した場合、再符号化のビットレートを編集前の符号化ビデオ信号と同じにしても、編集前の符号化ビデオ信号に比較して画質が劣化してしまうことが知られている。
【００１２】
したがって、特に対策を施すことなくスマートレンダリング編集を行い、編集後の符号化ビデオ信号を再生すると、抽出区間の再符号化部分の画質が劣化していて印象が悪く、さらに再符号化部分と中間部分の境が明確となり視覚上目立ってしまうことになる。
【００１３】
特に、編集前の符号化ビデオ信号を符号化したエンコーダと、再符号化を行うエンコーダが同一ではなく、それぞれの目指す絵づくりのテイストが異なる場合、上述した問題はより顕著に表れてしまう。
【００１４】
本発明はこのような状況に鑑みてなされたものであり、符号化ビデオ信号の編集において、再符号化部分の画質劣化を抑止できるようにするものである。
【課題を解決するための手段】
【００１５】
本発明の一側面であるビデオ信号処理装置は、符号化ビデオ信号を復号し、その結果得られるビデオ信号を符号化するビデオ信号処理装置において、入力された符号化ビデオ信号を復号する復号手段と、入力された符号化ビデオ信号から、前記符号化ビデオ信号が符号化されたときの符号化設定にかかわる符号化情報を検出する検出手段と、検出された前記符号化情報に基づいて再符号化のときに用いる再符号化情報を生成する再符号化情報生成手段と、生成された前記再符号化情報に従い、復号結果のビデオ信号を符号化する符号化手段とを含む。
【００１６】
前記検出手段および前記再符号化情報生成手段は、入力された符号化ビデオ信号から、前記符号化ビデオ信号の平均ビットレートおよび平均量子化値を符号化情報として検出し、検出された前記符号化情報に基づいて再符号化のときに用いる設定ビットレートおよび初期量子化値を再符号化情報として生成する第１の処理、入力された符号化ビデオ信号から、ピクチャタイプ毎の平均量子化値を符号化情報として検出し、検出された前記符号化情報に基づいて再符号化のときに用いるピクチャタイプ毎の量子化オフセット値を再符号化情報として生成する第２の処理、または、入力された符号化ビデオ信号から、フレーム毎の符号量および量子化値を符号化情報として検出し、検出された前記符号化情報に基づいて再符号化のときに用いるピクチャタイプ毎の量子化オフセット値を再符号化情報として生成する第３の処理のうち、少なくとも１つの処理を行うようにすることができる。
【００１７】
本発明の一側面であるビデオ信号処理装置は、一連の符号化ビデオ信号のストリームを、再符号化する再符号化部分と、前記再符号化部分に挟まれた再符号化しない中間部分に分離する分離手段をさらに含むことができる。
【００１８】
本発明の一側面であるビデオ信号処理方法は、符号化ビデオ信号を復号し、その結果得られるビデオ信号を符号化するビデオ信号処理装置のビデオ信号処理方法において、入力された符号化ビデオ信号を復号し、入力された符号化ビデオ信号から、前記符号化ビデオ信号が符号化されたときの符号化設定にかかわる符号化情報を検出し、検出された前記符号化情報に基づいて再符号化のときに用いる再符号化情報を生成し、生成された前記再符号化情報に従い、復号結果のビデオ信号を符号化するステップを含む。
【００１９】
本発明の一側面であるプログラムは、符号化ビデオ信号を復号し、その結果得られるビデオ信号を符号化するビデオ信号処理装置の制御用のプログラムであって、入力された符号化ビデオ信号を復号し、入力された符号化ビデオ信号から、前記符号化ビデオ信号が符号化されたときの符号化設定にかかわる符号化情報を検出し、検出された前記符号化情報に基づいて再符号化のときに用いる再符号化情報を生成し、生成された前記再符号化情報に従い、復号結果のビデオ信号を符号化するステップを含む処理をコンピュータに実行させる。
【００２０】
本発明の一側面においては、入力された符号化ビデオ信号を復号し、入力された符号化ビデオ信号から、符号化ビデオ信号が符号化されたときの符号化設定にかかわる符号化情報が検出され、検出された符号化情報に基づいて再符号化のときに用いる再符号化情報が生成され、生成された再符号化情報に従い、入力された符号化ビデオ信号の復号結果であるビデオ信号が符号化される。
【発明の効果】
【００２１】
本発明の一側面によれば、符号化ビデオ信号の編集において、再符号化部分の画質劣化を抑止することが可能となる。また、編集結果における再符号化部分の境が目立たないようにすることができる。
【発明を実施するための最良の形態】
【００２２】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２３】
請求項１に記載のビデオ信号処理装置（例えば、図２の編集装置１０）は、入力された符号化ビデオ信号を復号する復号手段（例えば、図２の復号部１３）と、入力された符号化ビデオ信号から、符号化ビデオ信号が符号化されたときの符号化設定にかかわる符号化情報を検出する検出手段（例えば、図２の情報抽出部１５）と、検出された符号化情報に基づいて再符号化のときに用いる再符号化情報を生成する再符号化情報生成手段（例えば、図２の情報解析部１６）と、生成された再符号化情報に従い、復号結果のビデオ信号を符号化する符号化手段（例えば、図２の再符号化部１４）とを含む。
【００２４】
請求項３に記載のビデオ信号処理装置は、一連の符号化ビデオ信号のストリームを、再符号化する再符号化部分と、再符号化部分に挟まれた再符号化しない中間部分に分離する分離手段（例えば、図２の切換部１２）をさらに含む。
【００２５】
請求項４に記載のビデオ信号処理方法、および請求項５に記載のプログラムは、入力された符号化ビデオ信号を復号し（例えば、図４のステップＳ２）、入力された符号化ビデオ信号から、符号化ビデオ信号が符号化されたときの符号化設定にかかわる符号化情報を検出し（例えば、図５のステップＳ１１）、検出された符号化情報に基づいて再符号化のときに用いる再符号化情報を生成し（例えば、図５のステップＳ１２）、生成された再符号化情報に従い、復号結果のビデオ信号を符号化する（例えば、図４のステップＳ５）ステップを含む。
【００２６】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００２７】
図２は、本発明の一実施の形態である編集装置の第１の構成例を示している。この編集装置１０は、前段から入力される符号化ビデオ信号をスマートレンダリング編集するものであり、再符号化に際して後述する第１の劣化低減処理を実行することによってスマートレンダリング編集に伴う再符号化部分の画質劣化を抑止するようになされている。さらに、第２の劣化低減処理を実行することによってスマートレンダリング編集に伴う再符号化部分の絵づくりのテイストを、編集前の符号化ビデオ信号の絵づくりのテイストに基づいて調整することによって、再符号化部分と中間部分の境を目立たせなくするようになされている。
【００２８】
なお、入力される符号化ビデオ信号は、H.264/AVC方式で符号化されていることを想定する。以下、入力される符号化ビデオ信号を、入力H.264/AVCストリームとも記述する。入力H.264/AVCストリームを符号化したエンコーダの目指す絵づくりのテイストと、この編集装置１０に内蔵されるエンコーダ（再符号化部１４）の目指す絵づくりのテイストとは、必ずしも一致している必要はない。
【００２９】
編集装置１０は、抽出区間を指定するユーザの操作を入力する操作入力部１１、入力H.264/AVCストリームのうち、再符号化を行う抽出区間の先端のピクチャを含むGOPの符号化ビデオ信号と、抽出区間の終端のフレームを含むGOPの符号化ビデオ信号を復号部１３および情報抽出部１５に出力し、抽出区間のうちの再符号化しない中間部分の符号化ビデオ信号を結合部１７に出力する切換部１２、切換部１２から入力される符号化ビデオ信号を復号する復号部１３、復号結果のビデオ信号のうち、抽出区間に含まれるフレームを、情報解析部１６から通知される設定情報に従って再符号化する再符号化部１４、切換部１２から入力される符号化ビデオ信号から所定の情報を抽出する情報抽出部１５、抽出された所定の情報にも基づいて再符号化時の設定情報を決定する情報解析部１６、および、再符号化結果の符号化ビデオ信号と、再符号化されない中間部分の符号化ビデオ信号とを結合して出力H.264/AVCストリームとして後段に出力する結合部１７から構成される。
【００３０】
次に図３は、本発明の一実施の形態である編集装置の第２の構成例を示している。この第２の構成例は、第１の構成例における復号部１３と情報抽出部１５を一体化して、復号情報抽出部２１としたものである。その他の構成要素については、第１の構成例を同様であり、同一の符号を付しているので、その説明は省略する。
【００３１】
次に、本発明の一実施の形態である編集装置１０によるスマートレンダリング編集処理について、図４のフローチャートを参照して説明する。
【００３２】
ステップＳ１において、操作入力部１１は、一連の入力H.264/AVCストリームから抽出する区間を指定するユーザの操作を受け付け、指定された抽出区間を切換部１２に通知する。この通知に対応し、切換部１２は、入力H.264/AVCストリームのうち、再符号化を行う抽出区間の先端のフレームを含むGOPの符号化ビデオ信号と、抽出区間の終端のフレームを含むGOPの符号化ビデオ信号を復号部１３および情報抽出部１５に出力し、抽出区間のうちの再符号化しない中間部分の符号化ビデオ信号を結合部１７に出力する。
【００３３】
ステップＳ２において、復号部１３は、切換部１２から入力された抽出区間の先端部分のGOPまたは終端部分のGOPの符号化ビデオ信号を復号し、その結果得られるビデオ信号を再符号化部１４に出力する。
【００３４】
ステップＳ３において、情報抽出部１５および情報解析部１６は、第１の劣化低減処理を実行し、再符号化における設定情報を決定して再符号化部１４に通知する。ステップＳ４において、情報抽出部１５および情報解析部１６は、第２の劣化低減処理を実行し、再符号化における設定情報を決定して再符号化部１４に通知する。なお、第１および第２の劣化低減処理については後述する。
【００３５】
ステップＳ５において、再符号化部１４は、復号結果のビデオ信号のうち、抽出区間に含まれるピクチャを、第１および第２の劣化低減処理によって決定された設定情報に従って再符号化し、その結果得られる符号化ビデオ信号を結合部１７に出力する。結合部１７は、再符号化結果の符号化ビデオ信号と、再符号化されない中間部分の符号化ビデオ信号とを結合して出力H.264/AVCストリームとして後段に出力する。
【００３６】
以上のように、編集装置１０によるスマートレンダリング編集では、第１および第２の劣化低減処理により再符号化時の設定情報が決定されるので、再符号化部分を再生した時の画質劣化を抑止することができる。また、再符号化部分と再符号化しない部分の境が目立つ事態を防ぐことができる。
【００３７】
なお、上述した説明では、第１および第２の劣化低減処理の両方を実行するものとして説明したが、第１または第２の劣化低減処理の少なくとも一方を実行するだけでもよい。
【００３８】
次に、ステップＳ３における第１の劣化低減処理について、図５のフローチャートを参照して詳述する。
【００３９】
ステップＳ１１において、情報抽出部１５は、切換部１２から入力された再符号化する先端部分のGOP（または終端部分のGOP）の符号化ビデオ信号を必要に応じて部分的に復号し、その平均ビットレートＡと平均量子化値Ｂとを抽出して情報解析部１６に出力する。ステップＳ１２において、情報解析部１６は、抽出された平均ビットレートＡと平均量子化値Ｂとを次式に適用して、再符号化時の設定ビットレートＣと初期量子化値Ｄを演算し、演算結果を設定情報として再符号化部１４に出力する。
【００４０】
Ｃ=Ａ*Ｂ/最小量子化値; Ｄ=最小量子化値;
【００４１】
ただし、設定ビットレートＣと初期量子化値Ｄを求める式は、上記以外であっても構わない。運用上許される最大ビットレートを超えないようにしてもよいし、許容できる画質を維持する上で必要な最小量子化値を下回らないようにしてもよい。
【００４２】
ここで、最小量子化値は視覚的に画質の劣化を感じない量子化値を指す。この演算結果である設定ビットレートＣと初期量子化値Ｄは、平均ビットレートＡと平均量子化値Ｂに比較して以下の関係が成立するので、再符号化部分の画質劣化を視覚的に抑止することができる。
設定ビットレートＣ ≧ 平均ビットレートＡ
初期量子化値Ｄ ＜ 平均量子化値Ｂ
【００４３】
なお、編集前のGOP先頭のピクチャの量子化値を平均量子化値Ｂにしておけば、復号部１３の復号処理に対する、情報抽出部１５および情報解析部１６による第１の劣化低減処理の遅延量を減らすことができる。
【００４４】
なお、設定ビットレートＣと初期量子化値Ｄの算出に、平均ビットレートＡや平均量子化値Ｂ以外を用いることにしてもよい。例えば、動きベクトルの個数や大きさを抽出し、それらの符号化情報を加味して決めてもよい。
【００４５】
次に、ステップＳ４における第２の劣化低減処理の第１の動作例について、図６のフローチャートを参照して詳述する。
【００４６】
ステップＳ２１において、情報抽出部１５は、切換部１２から入力された再符号化する先端部分のGOP（または終端部分のGOP）の符号化ビデオ信号を必要に応じて部分的に復号し、GOP全体の平均量子化値Ｂと、当該GOPに含まれるＩ，Ｐ，Ｂピクチャそれぞれの平均量子化値Ｑｉ，Ｑｐ，Ｑｂとを抽出して情報解析部１６に出力する。なお、GOP全体の平均量子化値Ｂについては、第１の劣化低減処理で抽出した値を流用することができる。あるいは、GOP内のＩピクチャの平均量子化値をＢとして近似することもできる。
【００４７】
ステップＳ２２において、情報解析部１６は、抽出されたGOP全体の平均量子化値Ｂと当該GOPに含まれるＩ，Ｐ，Ｂピクチャそれぞれの平均量子化値Ｑｉ，Ｑｐ，Ｑｂとを次式に適用して、再符号化時のＩ，Ｐ，Ｂピクチャそれぞれの量子化オフセット値Ｑｏｉ，Ｑｏｐ，Ｑｏｂを演算し、演算結果を設定情報として再符号化部１４に出力する。
Ｑｏｉ＝Ｑｉ−Ｂ
Ｑｏｐ＝Ｑｐ−Ｂ
Ｑｏｂ＝Ｑｂ−Ｂ
【００４８】
ただし、量子化オフセット値Ｑｏｉ，Ｑｏｐ，Ｑｏｂを求める式は、上記以外であっても構わない。
【００４９】
この設定情報に基づき、再符号化部１４では、Ｉ，Ｐ，Ｂピクチャそれぞれ本来の量子化値baseＱｉ，baseＱｐ，baseＱｂに量子化オフセット値Ｑｏｉ，Ｑｏｐ，Ｑｏｂが加算されて、再符号化における量子化が行われる。
Ｉピクチャの量子化値＝baseＱｉ＋Ｑｏｉ
Ｐピクチャの量子化値＝baseＱｐ＋Ｑｏｐ
Ｂピクチャの量子化値＝baseＱｂ＋Ｑｏｂ
【００５０】
この第２の劣化低減処理の第１の動作例により、編集前の符号化ビデオ信号において各ピクチャのビット割り当ての比が再符号化結果にも反映される。したがって、編集前の符号化ビデオ信号の絵づくりのテイストを再符号化結果に継続させることできる。したがって、再符号化部分と中間部分の境を目立たなくすることができる。
【００５１】
次に、ステップＳ４における第２の劣化低減処理の第２の動作例について、図７のフローチャートを参照して詳述する。
【００５２】
ステップＳ３１において、情報抽出部１５は、切換部１２から入力された再符号化する先端部分のGOP（または終端部分のGOP）の符号化ビデオ信号を必要に応じて部分的に復号し、GOP全体の平均量子化値Ｂと、当該GOPに含まれる各フレームの符号量Ｅｊと量子化値Ｑｊとを抽出して情報解析部１６に出力する。GOP全体の平均量子化値Ｂについては、第１の劣化低減処理で抽出した値を流用することができる。各フレームの符号量Ｅｊと量子化値Ｑｊは、スキップマクロブロックやCPB=0の情報を参照するとより正確に抽出することができる。
【００５３】
ステップＳ３２において、情報解析部１６は、抽出されたGOP全体の平均量子化値Ｂと、当該GOPに含まれる各フレームの符号量Ｅｊと量子化値Ｑｊとを次式に適用して、Ｉ，Ｐ，Ｂピクチャそれぞれの平均量子化値ＡｖＱｉ，ＡｖＱｐ，ＡｖＱｂを演算する。
ＡｖＱｉ＝Σ（Ｅｊ＊Ｑｊ）／Σ（Ｅｊ）
ΣはGOP内のＩピクチャのフレームの総和を示す。
ＡｖＱｐ＝Σ（Ｅｊ＊Ｑｊ）／Σ（Ｅｊ）
ΣはGOP内のＰピクチャのフレームの総和を示す
ＡｖＱｂ＝Σ（Ｅｊ＊Ｑｊ）／Σ（Ｅｊ）
ΣはGOP内のＢピクチャのフレームの総和を示す
【００５４】
さらに、演算した平均量子化値ＡｖＱｉ，ＡｖＱｐ，ＡｖＱｂを次式に適用して再符号化時のＩ，Ｐ，Ｂピクチャそれぞれの量子化オフセット値Ｑｏｉ，Ｑｏｐ，Ｑｏｂを演算し、演算結果を設定情報として再符号化部１４に出力する。
Ｑｏｉ＝ＡｖＱｉ−Ｂ
Ｑｏｐ＝ＡｖＱｐ−Ｂ
Ｑｏｂ＝ＡｖＱｂ−Ｂ
【００５５】
ただし、量子化オフセット値Ｑｏｉ，Ｑｏｐ，Ｑｏｂを求める式は、上記以外であっても構わない。例えば、GOP全体の平均量子化値Ｂを、次式を用いて演算し、量子化オフセット値Ｑｏｉ，Ｑｏｐ，Ｑｏｂを求めてもよい。
Ｂ＝Σ（Ｅｊ＊Ｑｊ）／Σ（Ｅｊ）
ΣはGOP内のピクチャのフレームの総和を示す。
Ｑｏｉ＝Ｑｉ−Ｂ
Ｑｏｐ＝Ｑｐ−Ｂ
Ｑｏｂ＝Ｑｂ−Ｂ
【００５６】
この設定情報に基づき、再符号化部１４では、Ｉ，Ｐ，Ｂピクチャそれぞれ本来の量子化値baseＱｉ，baseＱｐ，baseＱｂに量子化オフセット値Ｑｏｉ，Ｑｏｐ，Ｑｏｂが加算されて、再符号化における量子化が行われる。
Ｉピクチャの量子化値＝baseＱｉ＋Ｑｏｉ
Ｐピクチャの量子化値＝baseＱｐ＋Ｑｏｐ
Ｂピクチャの量子化値＝baseＱｂ＋Ｑｏｂ
【００５７】
この第２の劣化低減処理の第２の動作例により、編集前の符号化ビデオ信号において各ピクチャに属するフレームの難易度に応じて、再符号化時の各ピクチャのビット割り当てが決定される。したがって、編集前の符号化ビデオ信号の絵づくりのテイストを再符号化結果に反映させることできる。したがって、再符号化部分と中間部分の境を目立たなくすることができる。
【００５８】
なお、上述した説明では、GOPに含まれる各ピクチャの量子化オフセット量を求めることによって、再符号化前後においてピクチャ間の絵づくりのテイストを維持するようにしているが、上述した説明におけるGOPとピクチャを、それぞれピクチャとマクロブロックに置換することにより、再符号化前後においてピクチャ内の絵づくりのテイストを維持するようにすることができる。
【００５９】
第２の劣化低減処理においては、上述した第１または第２の動作例の一方を実行すればよい。
【００６０】
なお、本発明は、本実施の形態である編集装置１０のようにスマートレンダリング編集処理を行う機器に限らず、符号化ビデオデータを復号し、再び符号化する処理を行うあらゆる機器に適用することができる。
【００６１】
また、本発明は、H.264/AVC方式以外の符号化方式で符号化されている符号化ビデオ信号を編集する場合にも適用することができる。
【００６２】
また、本発明は、例えば、符号化前の符号化方式と編集後の符号化方式が異なる場合（例えば符号化ビデオ信号をフォーマット変換するような場合）にも適用することができる。
【００６３】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図８に示すような汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００６４】
このパーソナルコンピュータ５０は、CPU(Central Processing Unit)５１を内蔵している。CPU５１にはバス５４を介して、入出力インタフェース５５が接続されている。バス５４には、ROM(Read Only Memory)５２およびRAM(Random Access Memory)５３が接続されている。
【００６５】
入出力インタフェース５５には、ユーザが操作コマンドを入力するキーボード、マウス等の入力デバイスよりなる入力部５６、再生したビデオ信号の映像や操作画面を表示するCRT(Cathode Ray Tube)またはLCD(Liquid Crystal Display)等のディスプレイよりなる出力部５７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部５８、およびモデム、LAN（Local Area Network）アダプタなどよりなり、インタネットに代表されるネットワークを介した通信処理を実行する通信部５９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどの記録媒体６１に対してデータを読み書きするドライブ６０が接続されている。
【００６６】
このパーソナルコンピュータ５０に上述した一連の処理を実行させるプログラムは、記録媒体６１に格納された状態でパーソナルコンピュータ５０に供給され、ドライブ６０によって読み出されて記憶部５８に内蔵されるハードディスクドライブにインストールされている。記憶部５８にインストールされているプログラムは、入力部５６に入力されるユーザからのコマンドに対応するCPU５１の指令によって、記憶部５８からRAM５３にロードされて実行される。
【００６７】
なお、本明細書において、プログラムに基づいて実行されるステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００６８】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【００６９】
【図１】スマートレンダリング編集を説明するための図である。
【図２】本発明を適用した編集装置の第１の構成例を示すブロック図である。
【図３】本発明を適用した編集装置の第２の構成例を示すブロック図である。
【図４】スマートレンダリング編集処理を説明するフローチャートである。
【図５】第１の低減処理を説明するフローチャートである。
【図６】第２の低減処理の第１の動作例を説明するフローチャートである。
【図７】第２の低減処理の第２の動作例を説明するフローチャートである。
【図８】汎用パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【００７０】
１０ 編集装置， １１ 操作入力部， １２ 切換部， １３復号部， １４ 再符号化部， １５ 情報抽出部， １６ 情報解析部， １７ 結合部， ２１ 復号情報抽出部， ５０ パーソナルコンピュータ， ５１ CPU
【特許請求の範囲】
【請求項１】
符号化ビデオ信号を復号し、その結果得られるビデオ信号を符号化するビデオ信号処理装置において、
入力された符号化ビデオ信号を復号する復号手段と、
入力された符号化ビデオ信号から、前記符号化ビデオ信号が符号化されたときの符号化設定にかかわる符号化情報を検出する検出手段と、
検出された前記符号化情報に基づいて再符号化のときに用いる再符号化情報を生成する再符号化情報生成手段と、
生成された前記再符号化情報に従い、復号結果のビデオ信号を符号化する符号化手段と
を含むビデオ信号処理装置。
【請求項２】
前記検出手段および前記再符号化情報生成手段は、
入力された符号化ビデオ信号から、前記符号化ビデオ信号の平均ビットレートおよび平均量子化値を符号化情報として検出し、検出された前記符号化情報に基づいて再符号化のときに用いる設定ビットレートおよび初期量子化値を再符号化情報として生成する第１の処理、
入力された符号化ビデオ信号から、ピクチャタイプ毎の平均量子化値を符号化情報として検出し、検出された前記符号化情報に基づいて再符号化のときに用いるピクチャタイプ毎の量子化オフセット値を再符号化情報として生成する第２の処理、
または、入力された符号化ビデオ信号から、フレーム毎の符号量および量子化値を符号化情報として検出し、検出された前記符号化情報に基づいて再符号化のときに用いるピクチャタイプ毎の量子化オフセット値を再符号化情報として生成する第３の処理
のうち、少なくとも１つの処理を行う
請求項１に記載のビデオ信号処理装置。
【請求項３】
一連の符号化ビデオ信号のストリームを、再符号化する再符号化部分と、前記再符号化部分に挟まれた再符号化しない中間部分に分離する分離手段を
さらに含む請求項１に記載のビデオ信号処理装置。
【請求項４】
符号化ビデオ信号を復号し、その結果得られるビデオ信号を符号化するビデオ信号処理装置のビデオ信号処理方法において、
入力された符号化ビデオ信号を復号し、
入力された符号化ビデオ信号から、前記符号化ビデオ信号が符号化されたときの符号化設定にかかわる符号化情報を検出し、
検出された前記符号化情報に基づいて再符号化のときに用いる再符号化情報を生成し、
生成された前記再符号化情報に従い、復号結果のビデオ信号を符号化する
ステップを含むビデオ信号処理方法。
【請求項５】
符号化ビデオ信号を復号し、その結果得られるビデオ信号を符号化するビデオ信号処理装置の制御用のプログラムであって、
入力された符号化ビデオ信号を復号し、
入力された符号化ビデオ信号から、前記符号化ビデオ信号が符号化されたときの符号化設定にかかわる符号化情報を検出し、
検出された前記符号化情報に基づいて再符号化のときに用いる再符号化情報を生成し、
生成された前記再符号化情報に従い、復号結果のビデオ信号を符号化する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１】
符号化ビデオ信号を復号し、その結果得られるビデオ信号を符号化するビデオ信号処理装置において、
入力された符号化ビデオ信号を復号する復号手段と、
入力された符号化ビデオ信号から、前記符号化ビデオ信号が符号化されたときの符号化設定にかかわる符号化情報を検出する検出手段と、
検出された前記符号化情報に基づいて再符号化のときに用いる再符号化情報を生成する再符号化情報生成手段と、
生成された前記再符号化情報に従い、復号結果のビデオ信号を符号化する符号化手段と
を含むビデオ信号処理装置。
【請求項２】
前記検出手段および前記再符号化情報生成手段は、
入力された符号化ビデオ信号から、前記符号化ビデオ信号の平均ビットレートおよび平均量子化値を符号化情報として検出し、検出された前記符号化情報に基づいて再符号化のときに用いる設定ビットレートおよび初期量子化値を再符号化情報として生成する第１の処理、
入力された符号化ビデオ信号から、ピクチャタイプ毎の平均量子化値を符号化情報として検出し、検出された前記符号化情報に基づいて再符号化のときに用いるピクチャタイプ毎の量子化オフセット値を再符号化情報として生成する第２の処理、
または、入力された符号化ビデオ信号から、フレーム毎の符号量および量子化値を符号化情報として検出し、検出された前記符号化情報に基づいて再符号化のときに用いるピクチャタイプ毎の量子化オフセット値を再符号化情報として生成する第３の処理
のうち、少なくとも１つの処理を行う
請求項１に記載のビデオ信号処理装置。
【請求項３】
一連の符号化ビデオ信号のストリームを、再符号化する再符号化部分と、前記再符号化部分に挟まれた再符号化しない中間部分に分離する分離手段を
さらに含む請求項１に記載のビデオ信号処理装置。
【請求項４】
符号化ビデオ信号を復号し、その結果得られるビデオ信号を符号化するビデオ信号処理装置のビデオ信号処理方法において、
入力された符号化ビデオ信号を復号し、
入力された符号化ビデオ信号から、前記符号化ビデオ信号が符号化されたときの符号化設定にかかわる符号化情報を検出し、
検出された前記符号化情報に基づいて再符号化のときに用いる再符号化情報を生成し、
生成された前記再符号化情報に従い、復号結果のビデオ信号を符号化する
ステップを含むビデオ信号処理方法。
【請求項５】
符号化ビデオ信号を復号し、その結果得られるビデオ信号を符号化するビデオ信号処理装置の制御用のプログラムであって、
入力された符号化ビデオ信号を復号し、
入力された符号化ビデオ信号から、前記符号化ビデオ信号が符号化されたときの符号化設定にかかわる符号化情報を検出し、
検出された前記符号化情報に基づいて再符号化のときに用いる再符号化情報を生成し、
生成された前記再符号化情報に従い、復号結果のビデオ信号を符号化する
ステップを含む処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００８−２２４７６（Ｐ２００８−２２４７６Ａ）
【公開日】平成２０年１月３１日（２００８．１．３１）
【国際特許分類】
【出願番号】特願２００６−１９４６７７（Ｐ２００６−１９４６７７）
【出願日】平成１８年７月１４日（２００６．７．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２０年１月３１日（２００８．１．３１）
【国際特許分類】
【出願日】平成１８年７月１４日（２００６．７．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]