説明

動画符号化配信システム

【課題】フレームスキップやフレームリピートの発生を事前に予測して予めフレーム補間を施しておくことができる動画符号化配信システムを得る。
【解決手段】デコーダボード6は、動画像符号化データを第1のクロックに合わせて復号する。グラフィックボード7は、復号された動画像データを第2のクロックに合わせて処理して、モニタ11に表示させる動画像を生成する。フレームスキップ・リピート発生予測装置8は、第1のクロックと第2のクロックの位相差に基づいて、動画像データがフレームスキップ又はフレームリピートされるタイミングを予測する。フレーム補間装置9は、予測したタイミングで動画像データのフレームに補間処理を施す。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、フレームスキップやフレームリピートの発生を事前に予測して予めフレーム補間を施しておくことができる動画符号化配信システムに関する。
【背景技術】
【0002】
動画符号化配信システムでは、動画像データを符号化装置が符号化して送信し、それを復号装置が受信してデコーダボードにより復号する。この復号された動画像データをグラフィックボードが処理して、モニタに表示させる。
【0003】
しかし、動画像データにフレーム飛び(フレームスキップ)やフレーム繰り返し(フレームリピート)が発生して、モニタ表示した動画像に視覚的に悪印象を与えるカクツキが発生する場合があった。これは、デコーダボードとグラフィックボードの内部クロックの周期が異なるため、相互の同期が取れないことによる。これに対して、フレームスキップが発生した後に、それを検出してその欠落フレームを補間することで、フレームスキップによるカクツキの発生が与える視覚的な悪印象を軽減する方法が提案されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平10−215458号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、従来の方法では、フレームスキップやフレームリピートの発生を事前に予測して予めフレーム補間を施しておくことはできない。このため、動画像をリアルタイムに配信する監視システムや会議システムなどにおいては、フレームスキップやフレームリピートによるカクツキの発生が与える視覚的な悪印象を軽減することができなかった。
【0006】
本発明は、上述のような課題を解決するためになされたもので、その目的はフレームスキップやフレームリピートの発生を事前に予測して予めフレーム補間を施しておくことができる動画符号化配信システムを得るものである。
【課題を解決するための手段】
【0007】
本発明に係る動画符号化配信システムは、動画像符号化データを第1のクロックに合わせて復号するデコーダボードと、復号された動画像データを第2のクロックに合わせて処理してモニタに表示させる動画像を生成するグラフィックボードと、前記第1のクロックと前記第2のクロックの位相差に基づいて前記動画像データがフレームスキップ又はフレームリピートされるタイミングを予測するフレームスキップ・リピート発生予測装置と、予測した前記タイミングで前記動画像データのフレームに補間処理を施すフレーム補間装置とを備えることを特徴とする。
【発明の効果】
【0008】
本発明により、フレームスキップやフレームリピートの発生を事前に予測して予めフレーム補間を施しておくことができる。
【図面の簡単な説明】
【0009】
【図1】本発明の実施の形態1に係る動画符号化配信システムを示す図である。
【図2】本発明の実施の形態1に係るフレームスキップ・リピート発生予測装置を示す図である。
【図3】フレームスキップが発生する場合のデコーダボードとグラフィックボードの出力フレームを示す図である。
【図4】フレームリピートが発生する場合のデコーダボードとグラフィックボードの出力フレームを示す図である。
【図5】フレームスキップに対する補間処理を説明するための図である。
【図6】フレームリピートに対する補間処理を説明するための図である。
【図7】本発明の実施の形態2に係る動画符号化配信システムを示す図である。
【発明を実施するための形態】
【0010】
本発明の実施の形態に係る動画符号化配信システムについて図面を参照して説明する。同じ又は対応する構成要素には同じ符号を付し、説明の繰り返しを省略する場合がある。
【0011】
実施の形態1.
図1は、本発明の実施の形態1に係る動画符号化配信システムを示す図である。符号化装置1内に、エンコーダボード2と送信装置3が設けられている。復号装置4内に受信装置5と、デコーダボード6と、グラフィックボード7と、フレームスキップ・リピート発生予測装置8と、フレーム補間装置9とが設けられている。
【0012】
カメラ10から入力した動画像データを符号化装置1のエンコーダボード2が符号化する。この符号化された動画像符号化データを送信装置3がネットワークに送信する。復号装置4の受信装置5は、送信された動画像符号化データを受信する。デコーダボード6は、動画像符号化データを第1のクロックに合わせて復号する。グラフィックボード7は、復号された動画像データを第2のクロックに合わせて処理して、モニタ11に表示させる動画像を生成し出力する。
【0013】
フレームスキップ・リピート発生予測装置8は、第1のクロックと第2のクロックの位相差に基づいて、動画像データがフレームスキップ又はフレームリピートされるタイミングを予測する。具体的には、フレームスキップ・リピート発生予測装置8は、第1のクロックと第2のクロックの位相が揃った時点を基準としてデコーダボード6とグラフィックボード7のそれぞれのフレーム出力の累積時間を比較することにより、動画像データがフレームスキップ又はフレームリピートされるタイミングを予測する。本発明の実施の形態1では、フレーム補間装置9は、復号装置4内のデコーダボード6の後段に設けられている。
【0014】
フレーム補間装置9は、予測したタイミングで動画像データのフレームに補間処理を施す。具体的には、フレーム補間装置9は、フレームスキップの場合にはスキップ前後のフレーム又はスキップ前後の複数フレームに対して補間処理を施し、フレームリピートの場合にはリピートするフレーム又はリピートするフレームとその前後の複数フレームに対して補間処理を施す。
【0015】
図2は、本発明の実施の形態1に係るフレームスキップ・リピート発生予測装置8を示す図である。フレームスキップ・リピート発生予測装置8は、判定装置12と、第1の計算装置13と、第2の計算装置14とを有する。判定装置12は、第1のクロックの周期T1と第2のクロックの周期T2を比較して、T1がT2より小さい場合にフレームスキップが発生し、T1がT2より大きい場合にフレームリピートが発生すると判定する。
【0016】
第1の計算装置13は、第1のクロックと第2のクロックの位相が揃った時点を基準として、n番目のフレームスキップが発生するフレームの番号を、以下の数式1を満たす最小の整数Xとして計算する。
X≧T2×n/(T2−T1) (1)
【0017】
第2の計算装置14は、第1のクロックと第2のクロックの位相が揃った時点を基準として、m番目のフレームリピートが発生するフレームの番号を、以下の数式2を満たす最小の整数Yとして計算する。
Y>T2×(m−1)/(T1−T2) (2)
【0018】
ここで、数式(1)(2)により動画像データがフレームスキップ又はフレームリピートされるタイミングを予測する仕組みについて、フレームスキップが発生する場合とフレームリピートが発生する場合に分けて以下に説明する。
【0019】
図3は、フレームスキップが発生する場合のデコーダボードとグラフィックボードの出力フレームを示す図である。デコーダボード6側の5フレーム目がフレームスキップになっている。デコーダボード6側の5フレーム目までの累積時間とグラフィックボード7側の4フレーム目までの累積時間との大小関係(T1×5<T2×4)は、それ以前での大小関係(例えばT1×4>T2×3)に比べて逆転している。この逆転がフレームスキップの発生を意味する。従って、第1のクロックと第2のクロックの位相が揃った時点を基準としてデコーダボード6とグラフィックボード7のそれぞれの出力フレームの累積時間を比較すれば、フレームスキップが発生するタイミングを予想することができる。
【0020】
フレームスキップが発生するフレーム番号をXとすると、以下の数式(3)が成立する。
T1×X≦T2×(X−n) (3)
この数式(3)から上述の数式(1)が導かれる。なお、ガウス記号[ ]を用いて、数式(1)を以下の数式(4)のように表すこともできる。
X=−[−T2×n/(T2−T1)] (4)
【0021】
ここで、第1のクロックの周期T1を10とし、第2のクロックの周期T2を13とすると、T1がT2より小さいのでフレームスキップが発生する。この場合に数式(1)を計算すると、1,2,3番目(n=1,2,3)のフレームスキップが発生するフレーム番号Xはそれぞれ5,9,13となる。
【0022】
図4は、フレームリピートが発生する場合のデコーダボードとグラフィックボードの出力フレームを示す図である。デコーダボード6側の1フレーム目がフレームリピートになっており、続いて4フレーム目もフレームリピートになっている。1フレーム目のフレームリピートは自明とし、次の4フレーム目について考える。デコーダボード6側の4フレーム目までの累積時間とグラフィックボード7側の4フレーム目までの累積時間との大小関係(T1×4>T2×5)は、それ以前での大小関係(例えばT1×3<T2×4)に比べて逆転している。この逆転がフレームリピートの発生を意味する。従って、第1のクロックと第2のクロックの位相が揃った時点を基準としてデコーダボード6とグラフィックボード7のそれぞれの出力フレームの累積時間を比較すれば、フレームリピートが発生するタイミングを予想することができる。
【0023】
フレームリピートが発生するフレーム番号をYとすると、以下の数式(5)が成立する。
T1×Y>T2×(Y+m−1) (5)
この数式(5)から上述の数式(2)が導かれる。なお、ガウス記号[ ]を用いて、数式(2)を以下の数式(6)のように表すこともできる。
Y=[1+T2×(m−1)/(T1−T2)] (6)
【0024】
ここで、第1のクロックの周期T1を13とし、第2のクロックの周期T2を10とすると、T1がT2より大きいのでフレームリピートが発生する。この場合に数式(2)を計算すると、2,3,4番目(n=2,3,4)のフレームリピートが発生するフレーム番号Yはそれぞれ4,7,11となる。
【0025】
図5は、フレームスキップに対する補間処理を説明するための図である。動画像データのフレームD2にフレームスキップが発生すると予測される場合、その前後のフレームD1,D3に対して補間処理を施す。この補間処理を行わないとモニタ表示にカクツキが発生するが、補間処理を行えばモニタ表示はカクツキが少なく、動きが滑らかになる。なお、スキップ前後の複数フレームに対して補間処理を施してもよい。
【0026】
図6は、フレームリピートに対する補間処理を説明するための図である。動画像データのフレームD2にフレームリピートが発生すると予測される場合、リピートされるフレームD2´に対して補間処理を施す。この補間処理を行わないとモニタ表示にカクツキが発生するが、補間処理を行えばモニタ表示はカクツキが少なく、動きが滑らかになる。なお、リピートするフレームとその前後の複数フレームに対して補間処理を施してもよい。
【0027】
以上説明したように、本発明の実施の形態1では、動画像データがフレームスキップ又はフレームリピートされるタイミングを事前に予測して予めフレーム補間を施しておく。これにより、動画像をリアルタイムに配信する監視システムや会議システムなどにおいてもフレームスキップやフレームリピートによるカクツキの発生が与える視覚的な悪印象を軽減することができる。
【0028】
実施の形態2.
図7は、本発明の実施の形態2に係る動画符号化配信システムを示す図である。フレーム補間装置9が符号化装置1内のエンコーダボード2の前段に設けられている。復号装置4内のフレームスキップ・リピート発生予測装置8での予測した情報は、オンライン又はオフラインで符号化装置1内のフレーム補間装置9に送られる。フレームスキップ・リピート発生予測装置8の内部構成は、図2に示す実施の形態1の構成と同様である。その他の構成も実施の形態1と同様である。このように符号化装置1で予めフレーム補間を行う場合でも、実施の形態1と同様の効果を得ることができる。
【0029】
なお、数式(1)(2)において復号装置4の内部にあるFIFOによる影響を考慮していない。FIFOの影響を考慮する場合には、FIFOの段数に応じて数式(1)(2)で求めた値を補正すればよい。
【符号の説明】
【0030】
1 符号化装置
2 エンコーダボード
4 復号装置
6 デコーダボード
7 グラフィックボード
8 フレームスキップ・リピート発生予測装置
9 フレーム補間装置
11 モニタ
12 判定装置
13 第1の計算装置
14 第2の計算装置

【特許請求の範囲】
【請求項1】
動画像符号化データを第1のクロックに合わせて復号するデコーダボードと、
復号された動画像データを第2のクロックに合わせて処理してモニタに表示させる動画像を生成するグラフィックボードと、
前記第1のクロックと前記第2のクロックの位相差に基づいて前記動画像データがフレームスキップ又はフレームリピートされるタイミングを予測するフレームスキップ・リピート発生予測装置と、
予測した前記タイミングで前記動画像データのフレームに補間処理を施すフレーム補間装置とを備えることを特徴とする動画符号化配信システム。
【請求項2】
前記フレームスキップ・リピート発生予測装置は、前記第1のクロックと前記第2のクロックの位相が揃った時点を基準として前記デコーダボードと前記グラフィックボードのそれぞれのフレーム出力の累積時間を比較することにより、前記動画像データがフレームスキップ又はフレームリピートされるタイミングを予測することを特徴とする請求項1に記載の動画符号化配信システム。
【請求項3】
前記フレームスキップ・リピート発生予測装置は、
前記第1のクロックの周期T1と前記第2のクロックの周期T2を比較して、T1がT2より小さい場合にフレームスキップが発生し、T1がT2より大きい場合にフレームリピートが発生すると判定する判定装置と、
前記第1のクロックと前記第2のクロックの位相が揃った時点を基準として、n番目のフレームスキップが発生するフレームの番号を、X≧T2×n/(T2−T1)を満たす最小の整数Xとして計算する第1の計算装置と、
前記第1のクロックと前記第2のクロックの位相が揃った時点を基準として、m番目のフレームリピートが発生するフレームの番号を、Y>T2×(m−1)/(T1−T2)を満たす最小の整数Yとして計算する第2の計算装置とを有することを特徴とする請求項1又は2に記載の動画符号化配信システム。
【請求項4】
前記フレーム補間装置は、フレームスキップの場合にはスキップ前後のフレーム又はスキップ前後の複数フレームに対して補間処理を施し、フレームリピートの場合にはリピートするフレーム又はリピートするフレームとその前後の複数フレームに対して補間処理を施すことを特徴とする請求項1〜3の何れか1項に記載の動画符号化配信システム。
【請求項5】
動画像データを符号化するエンコーダボードを有し、この符号化された動画像符号化データを送信する符号化装置を更に備え、
前記デコーダボードと前記グラフィックボードは復号装置内に設けられ、
前記フレーム補間装置は、前記符号化装置内の前記エンコーダボードの前段に設けられているか、又は、前記復号装置内の前記デコーダボードの後段に設けられていることを特徴とする請求項1〜4の何れか1項に記載の動画符号化配信システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2013−38688(P2013−38688A)
【公開日】平成25年2月21日(2013.2.21)
【国際特許分類】
【出願番号】特願2011−174856(P2011−174856)
【出願日】平成23年8月10日(2011.8.10)
【出願人】(591230295)NTTエレクトロニクス株式会社 (565)
【Fターム(参考)】