動画ストリーム処理装置及び動画ストリーム処理プログラム
【課題】デコード処理の負担軽減を行いつつ動画の画質の低下を軽減できる動画ストリーム処理装置及び動画ストリーム処理プログラムを提供することを目的とする。
【解決手段】本発明に係る動画ストリーム処理装置は、動画ストリームの処理を行う動画ストリーム処理装置において、前記動画ストリームが含む複数のフレームのうちの一部のフレームを復号する復号処理手段と、前記復号処理手段が復号したフレームの情報を用いて前記復号処理手段が復号しなかったフレームを補う新たなフレームを生成するフレーム生成手段と、を有することを特徴とする。
【解決手段】本発明に係る動画ストリーム処理装置は、動画ストリームの処理を行う動画ストリーム処理装置において、前記動画ストリームが含む複数のフレームのうちの一部のフレームを復号する復号処理手段と、前記復号処理手段が復号したフレームの情報を用いて前記復号処理手段が復号しなかったフレームを補う新たなフレームを生成するフレーム生成手段と、を有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画ストリームの処理を行う動画ストリーム処理装置及び動画ストリーム処理プログラムに関する。
【背景技術】
【０００２】
この種の技術として、例えば、動画ストリームのあるピクチャを間引く方式が提案されている（特許文献１）。この特許では、画像中のＢ−ｐｉｃ（Bi-directionally predictive-coded picture）を間引く事でデコード処理の枚数を減らしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−６４５６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１の技術は、デコード枚数を減らす事でデコード処理の負担を軽減できるが、デコード処理しなかったフレーム（Ｂ−ｐｉｃ）を表示しない。このため、映像のフレームレート（１秒間に表示するフレームの枚数）が低下してしまうので地上波デジタル放送の映像画質が低下してしまうという問題点がある。
【０００５】
本発明は、上記点に鑑み、デコード処理の負担軽減を行いつつ動画の画質の低下を軽減できる動画ストリーム処理装置及び動画ストリーム処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の第１の観点に係る動画ストリーム処理装置は、
動画ストリームの処理を行う動画ストリーム処理装置において、
前記動画ストリームが含む複数のフレームのうちの一部のフレームを復号する復号処理手段と、
前記復号処理手段が復号したフレームの情報を用いて前記復号処理手段が復号しなかったフレームを補う新たなフレームを生成するフレーム生成手段と、
を有することを特徴とする。
【０００７】
また、本発明の第２観点に係る動画ストリーム処理プログラムは、コンピュータに対して上記動画ストリーム処理装置の主要機能を実行させる。
【発明の効果】
【０００８】
本発明によれば、デコード処理の負担軽減を行いつつ映像画質の低下を軽減できる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る基本的な考え方を説明するための図である。
【図２】本発明の一実施形態に係る基本的な考え方を説明するための図である。
【図３】本発明の一実施形態に係る考え方を説明する図で、ＭＰＥＧ２の動画ストリームのデータ構成を示す図である。
【図４】本発明の一実施形態に係る考え方を説明する図で、ＭＰＥＧ２のＩ−ｐｉｃのデータ構成を示す図である。
【図５】本発明の一実施形態に係る考え方を説明する図で、ＭＰＥＧ２のＩ−ｐｉｃ又はＢ−ｐｉｃのデータ構成を示す図である。
【図６】本発明の一実施形態に係る動画ストリーム処理装置の構成を示すブロック図である。
【図７】本発明の一実施形態に係る動画ストリーム処理装置のデコーダ部と制御部の構成を示すブロック図である。
【図８】本発明の一実施形態に係る動画ストリーム処理装置の各処理における状態を示す図である。
【発明を実施するための形態】
【００１０】
本発明の実施形態について図面を参照して説明する。なお、本発明は下記の実施形態及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で下記の実施形態及び図面に変更を加えることが出来るのはもちろんである。
【００１１】
本実施形態では、入力を地上波デジタル放送（特にハイビジョンサイズの放送）とし、その放送に含まれている動画ストリームをデコードして、デコードサイズよりも小さなサイズで表示デバイスに表示する際の例を示す。入力については、地上波デジタル放送に限定する必要はなく、動画像圧縮が施されているストリームであれば他の場合であっても良い。また、動画像圧縮も動画像国際標準方式であるＭＰＥＧ（Moving Picture Experts Group）２を例に説明を行うが、Ｈ．２６４やＭＰＥＧ４などの他圧縮方式であっても良い。
【００１２】
まず本実施形態における動画ストリーム処理装置が行う処理の基本的な考え方を図１乃至図３を参照して説明する。地上波デジタル放送の動画像ストリームには、画面内符号化のみで構成されるＩ−ｐｉｃ（Intra-coded Picture）と、時間的に過去の画像を用いて画面間符号化が行われたＰ−ｐｉｃ（Predictive-coded picture）と、時間的に過去と未来の画像を用いて画面間符号化が行われたＢ−ｐｉｃ（Bi-directionally predictive-coded picture）と、いう３種類のフレームが含まれ、これらのフレームによって、動画像が表現されることになる。
【００１３】
本実施形態における動画ストリーム処理装置は、動画ストリームに含まれるこれらのフレームの中の一定の基準を満たすフレーム（図１においては、Ｂ−ｐｉｃ１２及び１３）を復号せずに、前記一定の基準を満たさないフレーム（図１においては、Ｉ−ｐｉｃ１１及びＰ−ｐｉｃ１４）を復号する。これによって、処理負担の軽減が図られる。このため、消費電力の軽減にもなる。また、復号したＩ−ｐｉｃ２１及び復号したＰ−ｐｉｃ２４等のフレームから、復号しなかったフレームを補う新たなフレーム（図２においては、フレーム２２及び２３）を生成する。よって、この生成したフレームを動画の再生に用いれば動画像の画質の低下を軽減できる。なお、生成の方法としては、例えば、ＦＲＣ（Frame Rate Control）処理を使用した方法があるが、生成の方法はこの方法に限るものではない。また、ここで生成するフレームは、復号しなかったフレームを補うものであり、動画の画質の低下を軽減するものである。生成するフレームの画像は、復号しなかったフレームの画像と同じで或る必要はない。また、復号しなかったフレームと生成するフレームとは、同じ枚数でなくてもよい。なお、画像の内容によらずフレームを間引いてもよい。つまり、画像の内容によらず一部のフレームを復号しないようにしてもよい。これにより、複雑な処理が不要になる。
【００１４】
なお、携帯電話等のモバイル機器では、近年動画を扱う事が可能になっているが、動画を表示するための表示デバイス（表示部）の表示サイズは、ハイビジョンサイズには対応していない。この様な携帯電話でハイビジョンサイズの地上波デジタル放送を視聴する事を想定すると、表示デバイスの表示サイズよりも大きなサイズの動画像デコードを行い、デコードした動画像のサイズを表示サイズのサイズに縮小して視聴する必要があり、多くの処理コストが必要であり、実際の製品では多くの消費電力が必要となってしまう事が考えられる。このため、復号したフレームを一度表示画面の大きさに合わせて縮小し、縮小した復号後のフレームをもとに新たなフレームを生成するとよい。これによって、復号したフレームを縮小してからＦＲＣ処理を行うことで、ＦＲＣ処理で扱うデータが少なくなるので、処理負担及び消費電力の軽減が実現される。なお、縮小前に新たなフレームを生成してから、各フレームを縮小してもよい。さらに、新たなフレームの生成によって、画質の低下も低減出来る。このようにすることで、画質とフレームレートを保ったまま、表示サイズよりも大きなサイズの動画コンテンツを低消費電力で視聴できることができる。
【００１５】
上記で説明した処理は、動画ストリーム処理装置が行う、動画ストリームが含む複数のフレームのうちの一部のフレームを復号し、復号したフレームの情報を用いて復号処理手段が復号しなかったフレームを補う新たなフレームを生成する処理の一例である。なお、復号されたフレームの情報は、復号されたフレームそのものの情報の他、フレームが縮小される等して処理された後のフレームの情報も含む。
【００１６】
次に、本実施形態における動画ストリーム処理装置及びこの装置が行う処理について説明する。図６のように、動画ストリーム処理装置１は、制御部１０１、表示部１０３、記憶部１０５、操作部１０７、デコーダ部１０９、音声出力部１１１、音声入力部１１３、通信部１１５、及び、バス１４０を備える。動画ストリーム処理装置１は、例えば、地上デジタル放送を受信再生可能な携帯電話によって構成される。
【００１７】
制御部１０１は、例えばＣＰＵ（Central Processing Unit）とＲＡＭ（Random Access Memory）とから構成され、動画ストリーム処理装置１全体の動作（各部の動作）を制御する。制御部１０１は、例えば、地上デジタル放送を表示再生する処理を行う。
【００１８】
記憶部１０５は、二次記憶装置等の適宜の記憶装置によって構成され、各種データ及び動画ストリーム処理プログラムを記憶する。動画ストリーム処理プログラム１５０は、上記のＲＡＭ等に展開される。動画ストリーム処理プログラム１５０は、コンピュータに後述の処理（動画ストリーム処理装置１が行う処理）を行わせる。動画ストリーム処理プログラム１５０は、持ち運び可能な記憶媒体から各種の読取装置を介して動画ストリーム処理装置１にインストールされてもよい。また、動画ストリーム処理プログラム１５０は、インターネット等のネットワークから各種の通信部を介して動画ストリーム処理装置１にダウンロード及びインストールされてもよい。
【００１９】
操作部１０７は、キーボード等を備え、ユーザからの操作に対応した操作信号を制御部１０１に入力する。
【００２０】
表示部１０３は、表示パネル１０４及びドライバ回路等から構成され、制御部１１の制御下にて画像を表示パネル１０４に表示する。
【００２１】
デコーダ部１０９の構成については後述する。
【００２２】
音声出力部１１１は、通話用スピーカ等を備え、例えば、制御部１０１が再生したコンテンツの音声信号にＤＡ変換を施し、スピーカにより放音する。
【００２３】
音声入力部１１３は、通話時等に、音声信号を収集し、通信部に供給する。
【００２４】
通信部１１５は、基地局を介して、通話音声、各種のデータ等を送受信する。
【００２５】
バス１４０は、各部間で相互にデータを伝送する。
【００２６】
デコーダ部１０９を動画の処理に着目して説明する。図７のように、デコーダ部１０９は、受信部２０１と、Ｄｅｍｕｘ部２０３と、デコーダ（復号処理部の一例）２０５と、Ｓｃａｌｅｒ部（縮小部の一例）２０７と、ＦＲＣ部（フレーム生成部の一例）２０９と、出力部２１１と、を備える。これらの各部は、制御部１０１によって制御される（図７の点線矢印参照。なお、実線の矢印はデータの経路の概略を示している。）。
【００２７】
受信部２０１は、アンテナを備える。このアンテナは、デジタル放送が受信可能な、例えばＵＨＦ帯の電波やＶＨＦ帯の電波を受信するために必要な形状をしている。受信部２０１は、アンテナから入力された電波から制御部１０１で指定された受信ストリーム（例えばユーザが指定するチャンネルに対応する受信ストリーム）を、公知の方法で取り出し、Ｄｅｍｕｘ部２０３に出力する。
【００２８】
Ｄｅｍｕｘ部２０３は、受信ストリームを動画ストリームと音声ストリームに分解するとともに、動画像ストリームのストリーム解析を行う。
【００２９】
デコーダ２０５は、動画ストリームを復号する。なお、音声ストリームは図示しないデコード部等によってデコード等の処理が行われ、音声データが取り出され、適宜制御部１０１に出力される。
【００３０】
Ｓｃａｌｅｒ部２０７は、デコーダ２０５が復号したフレームを表示サイズに拡大・縮小する。
【００３１】
ＦＲＣ部２０９は、時間的に異なる複数のフレームからその間のフレームを作成する。このように、ＦＲＣ部２０９はデコーダ２０５が復号したフレームの情報を用いて復号しなかったフレームを補う新たなフレームを生成する。
【００３２】
出力部２１１は、復号したフレーム及び生成したフレームを、時系列に並び替えて動画データとして制御部１０１に出力する。
【００３３】
制御部１０１は、入力された動画データ及び音声データに所定の処理を必要に応じて施し、処理後のデータを表示部１０３及び音声出力部１１１に出力し、このデータで表現される動画及び音声を表示部１０３及び音声出力部１１１に再生させる。
【００３４】
上述のようにＤｅｍｕｘ部２０３は、放送から取得したストリームを動画像と音声に分離すると共に、動画像データの解析を行う。この解析によって、ストリームの様々な情報から、各々のフレームについて、復号処理を行うか否かを判断する。Ｄｅｍｕｘ部２０３は、順次入力されてくる判断対象のフレームが下記の基準のうちの一以上の判定基準（どの基準を採用するかは予め決められているものとする。）を満たすフレームである場合に、このフレームの復号処理を行わない判定する。そして、Ｄｅｍｕｘ部２０３は、対象のフレームを復号するか否かを特定する解析結果を制御部１０１に出力する。
【００３５】
（１）フレームの符号量が第１の所定の条件を満たすフレーム
（２）復号する際の処理単位であるマクロブロック毎に選択できるフレーム間符号化モードとフレーム内符号化モードの比率が第２の所定の条件を満たすフレーム
（３）このフレームの動画ストリームにおいて、フレーム間符号化を行う際の、各々のフレームの画素値の誤差量が第３の所定の条件を満たすフレーム
（４）動画ストリームを復号する際に時間的に異なるフレームからフレーム間参照されないフレーム
【００３６】
上記基準について図３乃至図５を参照してより詳しく説明する。図３のように、ＭＰＥＧ２の動画ストリームは、先頭にｓｅｑｕｅｎｃｅ ｈｅａｄｅｒ及びｇｏｐ（Group Of Pictures） ｈｅａｄｅｒがあり、その後に、各ピクチャ（フレーム）の情報が続く。各フレームは、先頭にフレームヘッダがあり、その層にＩ／Ｐ／Ｂ−ｐｉｃのいずれかであるかを判断できるデータ（ｐｉｃｔｕｒｅ ｈｅａｄｅｒ）がある。各フレームの内部は、図４及び図５のように、ｐｉｃｔｕｒｅ ｈｅａｄｅｒ、ｓｌｉｃｅ ｈｅａｄｅｒ, ＭＢ ｈｅａｄｅｒ, ベクトル情報（ｖｅｃｔｏｒ情報（ｖ）、）、及び、ＤＣＴ（Discrete Cosine Transform）係数（ｒ）によって、この順番に構成される。
【００３７】
判定基準（１）は、フレームを表現する符号量（例えばフレーム内の符号量の総量又は平均値）の小さいフレームは、時間的に隣接しているフレームと似通っている事が推測できることに着目した基準である。似通っていれば、後段のＦＲＣ部２０９で同様のフレームを作成する事が可能と判定できるため、この判断対象のフレームは復号する必要がないと予測できる。このような基準によって復号しないフレームを決定すれば、効率的に画質の低下の低減が図れる。（１）のフレームは、例えば、フレームの符号量が第１の閾値未満であるフレームである。Ｄｅｍｕｘ部２０３は、動画ストリームにおける現在の処理対象のフレーム（Ｉ／Ｐ／Ｂ−ｐｉｃのいずれか）の符号量を計測して前記の符号量を得て判断する（図３参照）。
【００３８】
判定基準（２）は、フレーム内符号化モード(例えばＩｎｔｒａ符号化モード)が多く使われているフレームの画像には、周辺画像との相関性が低いと推測できることに着目した基準である。このモードは、画面間の情報は使わず、画面内のフレーム情報のみで符号化を行うモードであるが、或るフレームにこのモードが多く使用されている場合、後段のＦＲＣ部２０９でこのフレームに対応するフレームを作成するのは困難と予測できる。このような基準によって復号しないフレームを決定すれば、効率的に画質の低下の低減が図れる。（２）のフレームは、例えば、Ｉｎｔｒａ符号化モードの値が第２の閾値未満であるフレーム、又は、Ｉｎｔｒａ/Ｉｎｔｅｒ比の値が第３の閾値未満であるフレームである。Ｄｅｍｕｘ部２０３は、Ｐ／Ｂ−ｐｉｃのＭＢ ｈｅａｄｅｒに含まれるＩｎｔｒａ/Ｉｎｔｅｒ比の情報を計測し、計測した値からＩｎｔｒａ符号化モードの値、又は、Ｉｎｔｒａ/Ｉｎｔｅｒ比の値を得て判断する（図５参照）。
【００３９】
判定基準（３）は、フレームを表現している誤差量（例えばフレーム内のＤＣＴ係数の総量又は平均値）の多いフレームの画像には、周辺画像との相関性が低いと推測できることに着目した基準である。誤差量の値が大きい場合、後段のＦＲＣ部２０９でこのフレームに対応するフレームを作成するのは困難と予測できる。このような基準によって復号しないフレームを決定すれば、効率的に画質の低下の低減が図れる。（３）のフレームは、例えば、誤差量の値が第４の閾値未満であるフレームである。Ｄｅｍｕｘ部２０３は、Ｉ／Ｐ／Ｂ−ｐｉｃのＤＣＴ係数を計測し、計測した値から誤差量の値を得て判断する（図５参照）。
【００４０】
判定基準（４）は、動画ストリームを復号する際に時間的に異なるフレームからフレーム間参照されるフレーム（他フレームの復号処理時にフレーム間予測で参照されるフレーム）は、周辺画像との相関性が高いことに着目した基準である。フレーム間予測で参照されるフレームは、他フレームのデコード処理時に必要になるので、復号した方が好ましい。このような基準によって復号しないフレームを決定すれば、効率的に画質の低下の低減が図れる。（４）のフレームは、例えば、Ｂ−ｐｉｃ又はｇｏｐ内の最後のＰ−ｐｉｃである。なお、これは、ストリームの形式に依存する。ＭＰＥＧ２では、Ｂ−ｐｉｃはフレーム間参照されない。Ｄｅｍｕｘ部２０３は、ｐｉｃｔｕｒｅ ｈｅａｄｅｒを観測し、フレームの属性（Ｉ／Ｐ／Ｂ−ｐｉｃのいずれであるか）を得て、判断する（図４参照）。
【００４１】
なお、上記の判定基準（１）乃至（４）のいずれか少なくとも一つによって、ＦＲＣ処理により作成が可能である見込みが大きいフレームの復号を行わないことなり、画面のカットが切り替わるフレーム等（ＦＲＣ処理で生成が困難なフレーム）を複合しないということを防ぐ可能性が高くなる。これによって、復号を行わないことによる画質の劣化を低減する事が可能となる。
【００４２】
なお、本実施形態では、ストリーム解析をＤｅｍｕｘ部２０３としている。多くの機器において、デコーダ２０５は、処理コストが高いため多くの部分がハードウェア化されており、柔軟なストリーム解析は困難が多い。それに対してＤｅｍｕｘ部２０３では、様々な規格やフォーマットに対応する為、ソフトウェアで柔軟に処理が行える構成となっている事が多いため、本実施形態では、ストリーム解析をＤｅｍｕｘ部２０３が行うように構成されている。このように、Ｄｅｍｕｘ部２０３と制御部１０１とが構成する、動画ストリームを分析し、復号しないフレームを特定するフレーム特定部を、デコーダ２０５の外部に形成することによって、本実施形態に係るデコーダ部１０９の製造コスト等を抑えることができる。また、デコーダ２０５の消費電力を抑えることもできる。
【００４３】
なお、ストリーム解析のうちの少なくとも上記判断に係る部分は制御部１０１が行っても良い。この場合でも、Ｄｅｍｕｘ部２０３と制御部１０１とはフレーム特定部を構成する。また、このストリーム解析処理と同様の処理を、デコーダ２０５及び又は制御部１０１で行っても良い。この場合は、デコーダ２０５及び又は制御部１０１は、フレーム特定部を構成する。動画ストリームを分析し、復号しないフレームを特定するフレーム特定部は他の構成であってもよい。
【００４４】
上述のように、デコーダ２０５は、制御部１０１から復号を行うフレームの指示を受け取り、そのフレームについてのみ復号を行う。このように、デコーダ２０５は、動画ストリームが含む複数のフレームのうちの一部のフレームを復号する。
【００４５】
上述のように、Ｓｃａｌｅｒ部２０７は、制御部１０１から復号を行ったフレームの情報を受け取りそのフレームについてのみ拡大、縮小処理を行う。例えば、放送動画像サイズが１９２０×１０８０画素であり、図６の表示パネルの表示サイズが８５４×４８０の場合には、処理対象のフレームの放送動画像サイズを表示サイズになるような縮小を処理対象のフレームに施す。なお、放送では、動画圧縮に用いたサイズとアスペクト比により、表示する際の画像のサイズが決定される。上記のサイズは、この表示の際のサイズの例である。
【００４６】
なお、Ｓｃａｌｅｒ部２０７が拡大、縮小処理を行わない期間、Ｓｃａｌｅｒ部２０７全体の動作を停止させ、出来るだけ消費電力がかからない様にする事が好ましい。例えば、処理停止の際に、Ｓｃａｌｅｒ部２０７がハードウェアの場合には、制御部１０１は、Ｓｃａｌｅｒ部２０７へ供給するクロックを停止させるか、ＳＲＡＭ（Static Random Access Memory）やＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等へのメモリアクセスを停止させる。なお、デコーダ２０５、Ｓｃａｌｅｒ部２０７及びＦＲＣ部２０９のいずれかの動作を停止させる際にも供給するクロックの停止、及び又は、ＳＲＡＭやＳＤＲＡＭ等へのメモリアクセスを停止させる。これによって（特にクロックの停止によって）、消費電力を効率的に低減できる。
【００４７】
なお、この動画圧縮時のサイズとアスペクト比による画像サイズの変換処理（特に縮小処理）は、下記で説明するＦＲＣ処理後に施しても良い。
【００４８】
ＦＲＣ部２０９は、時間的に異なるフレームの情報（例えば復号したフレームの情報（特に縮小されたフレームの情報））を用いて新たなフレームを生成するＦＲＣ処理を行う。この際、時間的に異なるフレーム（参照フレーム）は、デコード（復号）された画像でも、ＦＲＣ処理にて作成した画像のどちらでも良い。ただし、最初の処理においては、復号したフレームの情報が必ず用いられることになる。デコードされた画像の参照フレームも遡れば、復号したフレームの情報を用いて生成されたフレームになる。このため、参照フレームの内の少なくとも一つにデコードされた画像があっても、ＦＲＣ部２０９は、復号したフレームの情報を用いて新たなフレームを生成することになる。
【００４９】
ＦＲＣ処理の方法としては、以下のいずれか又は組み合わせた方法で行う。
（ａ）参照フレームの内挿により作成する。
（ｂ）参照フレーム間の動きベクトルを算出して補う。
（ｃ）モーフィングを利用して補う。
（ｄ）復号しなかったフレームのベクトル情報（例えば動きベクトル）を用いて、この復号しなかったフレームを補う新たなフレームを生成する。例えば、復号を行わなかったフレームのストリームからベクトル情報を抜き出し、そのベクトルをＦＲＣ処理に用いる（例えば補助的に用いる）。
【００５０】
上記（ｄ）では、もとのフレームのベクトル情報を用いるので、より元のフレームに近いフレームを生成でき、画質の低下を低減できる。
【００５１】
また、上記説明では、画面全体（フレーム全体）について復号処理を行うか、ＦＲＣ処理を行うかの例を示したが、画像の内部でその処理を分けても良い。つまり、復号しないフレームは、少なくとも一部を復号しないフレームであってもよく、フレームの中の復号されなかった部分をデコーダ２０５が復号したフレームの情報を用いて補う。例えば、復号時に画像の解析を行い、画面内の重要部分と思われる領域（例えば、人物領域や字幕領域）等については、復号処理を行い、それ以外の領域については、復号処理を行わずＦＲＣ処理により作成する。これにより、効率的に消費電力及び画質の低下を低減出来る。
【００５２】
最後に、各部の動作を図７及び図８を参照して説明する。なお、図８はそれぞれの処理に使用されるデータの構成をフレーム毎に時間軸に沿ってブロックで示し、ブロック内のＩはＩ−ｐｉｃ、ＰはＰ−ｐｉｃ、ＢはＢ−ｐｉｃを示す。また、ブロック内の数字は実際の再生における画像の表示順序を示す。また、大きさの小さいブロックは縮小される等してデータ量が小さくなったフレームで、網掛けされたブロックはＦＲＣ処理によって生成された新たなフレームである。また、理解を容易にするために図８では各部の処理によって発生する遅延時間を無視したが、実際は多少の遅延時間が発生するものと考えられる。但し、基本的な考え方は同じである。
【００５３】
受信部２０１は、受信ストリームを構成するデータをＤｅｍｕｘ部２０３に順次出力していくことによって、受信ストリームを出力する。
【００５４】
Ｄｅｍｕｘ部２０３には、受信部２０１が出力した受信ストリームを構成するデータが順次入力されることによって、受信ストリームが入力される。Ｄｅｍｕｘ部２０３は、入力されたデータから順次動画ストリームに含まれるデータを取り出し、このデータを解析することによって動画ストリームの解析を行う。この解析は、主に、動画ストリームを構成するフレームのデータ毎に行われる。そして、Ｄｅｍｕｘ部２０３は、例えば、現在の解析対象のフレームを復号すべきかを判定し（上記参照）、判定した判定結果を解析結果として、制御部１０１に出力する。
【００５５】
制御部１０１に解析結果が入力されると、制御部１０１はこの解析結果に基づいて、デコーダ２０５、Ｓｃａｌｅｒ部２０７、及び、ＦＲＣ部２０９の動作を制御する。
【００５６】
解析結果が復号するとなっている場合（図８では、Ｉ−ｐｉｃ、Ｐ−ｐｉｃの場合）、制御部１０１は、デコーダ２０５、Ｓｃａｌｅｒ部２０７を動作させ、ＦＲＣ部２０９を停止させる。フレームはデコーダ２０５に入力されここで復号され、復号されたフレームはＳｃａｌｅｒ部２０７に入力され縮小等される。そして、Ｓｃａｌｅｒ部２０７には、適宜縮小等したフレームが保持される。
【００５７】
解析結果が復号しないとなっている場合（図８では、Ｂ−ｐｉｃの場合）、制御部１０１は、デコーダ２０５、Ｓｃａｌｅｒ部２０７を停止させ、ＦＲＣ部２０９を動作させる。このとき、制御部１０１は、Ｓｃａｌｅｒ部２０７に、Ｓｃａｌｅｒ部２０７が保持するフレームをＦＲＣ部２０９に出力させる。ＦＲＣ部２０９は、ＦＲＣ部２０９に入力されたフレームの情報を用いてＦＲＣ処理を行い、新たなフレーム（図８の網掛けされたブロックＢ１、Ｂ２、Ｂ４、及び、Ｂ５）を生成する（例えば、Ｓｃａｌｅｒ部２０７から入力され保持したＩ０及びＰ３を用いて、Ｂ１及びＢ２を生成する）。制御部１０１は、ＦＲＣ部２０９に、ＦＲＣ部２０９に入力されたフレーム及びＦＲＣ部２０９が生成したフレームを適宜のタイミングで出力させる。
【００５８】
ＦＲＣ部２０９が出力する、前記の入力されたフレーム及び生成したフレームは、出力部２１１に入力される。出力部２１１は、入力されたフレームを表示順序通りに並べて、制御部１０１に出力する（図８参照）。なお、出力部２１１は、フレームの表示順序をフレーム内のデータ又は制御部１０１からの指令等によって認識する。
【００５９】
なお、一定の条件のもとで、デコーダ２０５は上記で説明した、一部のフレームを復号しない処理を行っても良い。これは、例えばフレーム特定部を構成する制御部１０１がデコーダ２０５に指令して行われる。または、例えば、前記一定の条件を満たす場合にのみ、Ｄｅｍｕｘ部２０３がストリームの解析結果（例えば、どのフレームを復号化しないかを特定する情報等）等を制御部１０１に出力することによって行われる。
【００６０】
上記一定条件の例としては、動画ストリーム処理装置１を駆動する電池の残量が第４の所定の条件を満たす場合（電池の残量が少なくなった場合で、例えば、電池の残量が第５の閾値未満になった場合）又は、動画ストリームの電波の受信状態が第５の所定の条件（受信状態が悪くなった場合で、例えば、動画ストリームのビットエラー率が第６の閾値以上になった場合、又は電界強度が第７の閾値未満になった場合）を満たす場合がある。この場合に、動画ストリームが含む複数のフレームのうちの一部のフレームを復号する処理を行う。上記電池の残量、ビットエラー率、又は、電界強度については、これらの測定器を適宜の場所に設ける。これらの測定器が測定した測定結果は例えば制御部１０１に出力され、上記条件が例えば制御部１０１で判断される。制御部１０１は、上記一定条件を満たす場合に、デコーダに一部のフレームを復号しない処理を行わせるか、Ｄｅｍｕｘ部２０３に解析結果を出力させる。
【００６１】
これらによって、電池の残量が少ないとき、又は受信状況が悪い等でもともと画質が悪くて画質の低下がそれほど問題にならないとき等の好適なタイミングで、消費電力を低減できる。
【符号の説明】
【００６２】
１…動画ストリーム処理装置、１１，２１…Ｉ−ｐｉｃ、１２…Ｂ−ｐｉｃ、１３…Ｂ−ｐｉｃ、１４，２４…Ｐ−ｐｉｃ、２２…フレーム、２３…フレーム、２４…Ｐ−ｐｉｃ、１０１…制御部、１０３…表示部、１０５…記憶部、１０７…操作部、１０９…デコーダ部、１１１…音声出力部、１１３…音声入力部、１１５…通信部、１４０…バス、１５０…動画ストリーム処理プログラム、２０１…受信部、２０３…Ｄｅｍｕｘ部、２０５…デコーダ、２０７…Ｓｃａｌｅｒ部、２０９…ＦＲＣ部、２１１…出力部
【技術分野】
【０００１】
本発明は、動画ストリームの処理を行う動画ストリーム処理装置及び動画ストリーム処理プログラムに関する。
【背景技術】
【０００２】
この種の技術として、例えば、動画ストリームのあるピクチャを間引く方式が提案されている（特許文献１）。この特許では、画像中のＢ−ｐｉｃ（Bi-directionally predictive-coded picture）を間引く事でデコード処理の枚数を減らしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−６４５６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１の技術は、デコード枚数を減らす事でデコード処理の負担を軽減できるが、デコード処理しなかったフレーム（Ｂ−ｐｉｃ）を表示しない。このため、映像のフレームレート（１秒間に表示するフレームの枚数）が低下してしまうので地上波デジタル放送の映像画質が低下してしまうという問題点がある。
【０００５】
本発明は、上記点に鑑み、デコード処理の負担軽減を行いつつ動画の画質の低下を軽減できる動画ストリーム処理装置及び動画ストリーム処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の第１の観点に係る動画ストリーム処理装置は、
動画ストリームの処理を行う動画ストリーム処理装置において、
前記動画ストリームが含む複数のフレームのうちの一部のフレームを復号する復号処理手段と、
前記復号処理手段が復号したフレームの情報を用いて前記復号処理手段が復号しなかったフレームを補う新たなフレームを生成するフレーム生成手段と、
を有することを特徴とする。
【０００７】
また、本発明の第２観点に係る動画ストリーム処理プログラムは、コンピュータに対して上記動画ストリーム処理装置の主要機能を実行させる。
【発明の効果】
【０００８】
本発明によれば、デコード処理の負担軽減を行いつつ映像画質の低下を軽減できる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る基本的な考え方を説明するための図である。
【図２】本発明の一実施形態に係る基本的な考え方を説明するための図である。
【図３】本発明の一実施形態に係る考え方を説明する図で、ＭＰＥＧ２の動画ストリームのデータ構成を示す図である。
【図４】本発明の一実施形態に係る考え方を説明する図で、ＭＰＥＧ２のＩ−ｐｉｃのデータ構成を示す図である。
【図５】本発明の一実施形態に係る考え方を説明する図で、ＭＰＥＧ２のＩ−ｐｉｃ又はＢ−ｐｉｃのデータ構成を示す図である。
【図６】本発明の一実施形態に係る動画ストリーム処理装置の構成を示すブロック図である。
【図７】本発明の一実施形態に係る動画ストリーム処理装置のデコーダ部と制御部の構成を示すブロック図である。
【図８】本発明の一実施形態に係る動画ストリーム処理装置の各処理における状態を示す図である。
【発明を実施するための形態】
【００１０】
本発明の実施形態について図面を参照して説明する。なお、本発明は下記の実施形態及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で下記の実施形態及び図面に変更を加えることが出来るのはもちろんである。
【００１１】
本実施形態では、入力を地上波デジタル放送（特にハイビジョンサイズの放送）とし、その放送に含まれている動画ストリームをデコードして、デコードサイズよりも小さなサイズで表示デバイスに表示する際の例を示す。入力については、地上波デジタル放送に限定する必要はなく、動画像圧縮が施されているストリームであれば他の場合であっても良い。また、動画像圧縮も動画像国際標準方式であるＭＰＥＧ（Moving Picture Experts Group）２を例に説明を行うが、Ｈ．２６４やＭＰＥＧ４などの他圧縮方式であっても良い。
【００１２】
まず本実施形態における動画ストリーム処理装置が行う処理の基本的な考え方を図１乃至図３を参照して説明する。地上波デジタル放送の動画像ストリームには、画面内符号化のみで構成されるＩ−ｐｉｃ（Intra-coded Picture）と、時間的に過去の画像を用いて画面間符号化が行われたＰ−ｐｉｃ（Predictive-coded picture）と、時間的に過去と未来の画像を用いて画面間符号化が行われたＢ−ｐｉｃ（Bi-directionally predictive-coded picture）と、いう３種類のフレームが含まれ、これらのフレームによって、動画像が表現されることになる。
【００１３】
本実施形態における動画ストリーム処理装置は、動画ストリームに含まれるこれらのフレームの中の一定の基準を満たすフレーム（図１においては、Ｂ−ｐｉｃ１２及び１３）を復号せずに、前記一定の基準を満たさないフレーム（図１においては、Ｉ−ｐｉｃ１１及びＰ−ｐｉｃ１４）を復号する。これによって、処理負担の軽減が図られる。このため、消費電力の軽減にもなる。また、復号したＩ−ｐｉｃ２１及び復号したＰ−ｐｉｃ２４等のフレームから、復号しなかったフレームを補う新たなフレーム（図２においては、フレーム２２及び２３）を生成する。よって、この生成したフレームを動画の再生に用いれば動画像の画質の低下を軽減できる。なお、生成の方法としては、例えば、ＦＲＣ（Frame Rate Control）処理を使用した方法があるが、生成の方法はこの方法に限るものではない。また、ここで生成するフレームは、復号しなかったフレームを補うものであり、動画の画質の低下を軽減するものである。生成するフレームの画像は、復号しなかったフレームの画像と同じで或る必要はない。また、復号しなかったフレームと生成するフレームとは、同じ枚数でなくてもよい。なお、画像の内容によらずフレームを間引いてもよい。つまり、画像の内容によらず一部のフレームを復号しないようにしてもよい。これにより、複雑な処理が不要になる。
【００１４】
なお、携帯電話等のモバイル機器では、近年動画を扱う事が可能になっているが、動画を表示するための表示デバイス（表示部）の表示サイズは、ハイビジョンサイズには対応していない。この様な携帯電話でハイビジョンサイズの地上波デジタル放送を視聴する事を想定すると、表示デバイスの表示サイズよりも大きなサイズの動画像デコードを行い、デコードした動画像のサイズを表示サイズのサイズに縮小して視聴する必要があり、多くの処理コストが必要であり、実際の製品では多くの消費電力が必要となってしまう事が考えられる。このため、復号したフレームを一度表示画面の大きさに合わせて縮小し、縮小した復号後のフレームをもとに新たなフレームを生成するとよい。これによって、復号したフレームを縮小してからＦＲＣ処理を行うことで、ＦＲＣ処理で扱うデータが少なくなるので、処理負担及び消費電力の軽減が実現される。なお、縮小前に新たなフレームを生成してから、各フレームを縮小してもよい。さらに、新たなフレームの生成によって、画質の低下も低減出来る。このようにすることで、画質とフレームレートを保ったまま、表示サイズよりも大きなサイズの動画コンテンツを低消費電力で視聴できることができる。
【００１５】
上記で説明した処理は、動画ストリーム処理装置が行う、動画ストリームが含む複数のフレームのうちの一部のフレームを復号し、復号したフレームの情報を用いて復号処理手段が復号しなかったフレームを補う新たなフレームを生成する処理の一例である。なお、復号されたフレームの情報は、復号されたフレームそのものの情報の他、フレームが縮小される等して処理された後のフレームの情報も含む。
【００１６】
次に、本実施形態における動画ストリーム処理装置及びこの装置が行う処理について説明する。図６のように、動画ストリーム処理装置１は、制御部１０１、表示部１０３、記憶部１０５、操作部１０７、デコーダ部１０９、音声出力部１１１、音声入力部１１３、通信部１１５、及び、バス１４０を備える。動画ストリーム処理装置１は、例えば、地上デジタル放送を受信再生可能な携帯電話によって構成される。
【００１７】
制御部１０１は、例えばＣＰＵ（Central Processing Unit）とＲＡＭ（Random Access Memory）とから構成され、動画ストリーム処理装置１全体の動作（各部の動作）を制御する。制御部１０１は、例えば、地上デジタル放送を表示再生する処理を行う。
【００１８】
記憶部１０５は、二次記憶装置等の適宜の記憶装置によって構成され、各種データ及び動画ストリーム処理プログラムを記憶する。動画ストリーム処理プログラム１５０は、上記のＲＡＭ等に展開される。動画ストリーム処理プログラム１５０は、コンピュータに後述の処理（動画ストリーム処理装置１が行う処理）を行わせる。動画ストリーム処理プログラム１５０は、持ち運び可能な記憶媒体から各種の読取装置を介して動画ストリーム処理装置１にインストールされてもよい。また、動画ストリーム処理プログラム１５０は、インターネット等のネットワークから各種の通信部を介して動画ストリーム処理装置１にダウンロード及びインストールされてもよい。
【００１９】
操作部１０７は、キーボード等を備え、ユーザからの操作に対応した操作信号を制御部１０１に入力する。
【００２０】
表示部１０３は、表示パネル１０４及びドライバ回路等から構成され、制御部１１の制御下にて画像を表示パネル１０４に表示する。
【００２１】
デコーダ部１０９の構成については後述する。
【００２２】
音声出力部１１１は、通話用スピーカ等を備え、例えば、制御部１０１が再生したコンテンツの音声信号にＤＡ変換を施し、スピーカにより放音する。
【００２３】
音声入力部１１３は、通話時等に、音声信号を収集し、通信部に供給する。
【００２４】
通信部１１５は、基地局を介して、通話音声、各種のデータ等を送受信する。
【００２５】
バス１４０は、各部間で相互にデータを伝送する。
【００２６】
デコーダ部１０９を動画の処理に着目して説明する。図７のように、デコーダ部１０９は、受信部２０１と、Ｄｅｍｕｘ部２０３と、デコーダ（復号処理部の一例）２０５と、Ｓｃａｌｅｒ部（縮小部の一例）２０７と、ＦＲＣ部（フレーム生成部の一例）２０９と、出力部２１１と、を備える。これらの各部は、制御部１０１によって制御される（図７の点線矢印参照。なお、実線の矢印はデータの経路の概略を示している。）。
【００２７】
受信部２０１は、アンテナを備える。このアンテナは、デジタル放送が受信可能な、例えばＵＨＦ帯の電波やＶＨＦ帯の電波を受信するために必要な形状をしている。受信部２０１は、アンテナから入力された電波から制御部１０１で指定された受信ストリーム（例えばユーザが指定するチャンネルに対応する受信ストリーム）を、公知の方法で取り出し、Ｄｅｍｕｘ部２０３に出力する。
【００２８】
Ｄｅｍｕｘ部２０３は、受信ストリームを動画ストリームと音声ストリームに分解するとともに、動画像ストリームのストリーム解析を行う。
【００２９】
デコーダ２０５は、動画ストリームを復号する。なお、音声ストリームは図示しないデコード部等によってデコード等の処理が行われ、音声データが取り出され、適宜制御部１０１に出力される。
【００３０】
Ｓｃａｌｅｒ部２０７は、デコーダ２０５が復号したフレームを表示サイズに拡大・縮小する。
【００３１】
ＦＲＣ部２０９は、時間的に異なる複数のフレームからその間のフレームを作成する。このように、ＦＲＣ部２０９はデコーダ２０５が復号したフレームの情報を用いて復号しなかったフレームを補う新たなフレームを生成する。
【００３２】
出力部２１１は、復号したフレーム及び生成したフレームを、時系列に並び替えて動画データとして制御部１０１に出力する。
【００３３】
制御部１０１は、入力された動画データ及び音声データに所定の処理を必要に応じて施し、処理後のデータを表示部１０３及び音声出力部１１１に出力し、このデータで表現される動画及び音声を表示部１０３及び音声出力部１１１に再生させる。
【００３４】
上述のようにＤｅｍｕｘ部２０３は、放送から取得したストリームを動画像と音声に分離すると共に、動画像データの解析を行う。この解析によって、ストリームの様々な情報から、各々のフレームについて、復号処理を行うか否かを判断する。Ｄｅｍｕｘ部２０３は、順次入力されてくる判断対象のフレームが下記の基準のうちの一以上の判定基準（どの基準を採用するかは予め決められているものとする。）を満たすフレームである場合に、このフレームの復号処理を行わない判定する。そして、Ｄｅｍｕｘ部２０３は、対象のフレームを復号するか否かを特定する解析結果を制御部１０１に出力する。
【００３５】
（１）フレームの符号量が第１の所定の条件を満たすフレーム
（２）復号する際の処理単位であるマクロブロック毎に選択できるフレーム間符号化モードとフレーム内符号化モードの比率が第２の所定の条件を満たすフレーム
（３）このフレームの動画ストリームにおいて、フレーム間符号化を行う際の、各々のフレームの画素値の誤差量が第３の所定の条件を満たすフレーム
（４）動画ストリームを復号する際に時間的に異なるフレームからフレーム間参照されないフレーム
【００３６】
上記基準について図３乃至図５を参照してより詳しく説明する。図３のように、ＭＰＥＧ２の動画ストリームは、先頭にｓｅｑｕｅｎｃｅ ｈｅａｄｅｒ及びｇｏｐ（Group Of Pictures） ｈｅａｄｅｒがあり、その後に、各ピクチャ（フレーム）の情報が続く。各フレームは、先頭にフレームヘッダがあり、その層にＩ／Ｐ／Ｂ−ｐｉｃのいずれかであるかを判断できるデータ（ｐｉｃｔｕｒｅ ｈｅａｄｅｒ）がある。各フレームの内部は、図４及び図５のように、ｐｉｃｔｕｒｅ ｈｅａｄｅｒ、ｓｌｉｃｅ ｈｅａｄｅｒ, ＭＢ ｈｅａｄｅｒ, ベクトル情報（ｖｅｃｔｏｒ情報（ｖ）、）、及び、ＤＣＴ（Discrete Cosine Transform）係数（ｒ）によって、この順番に構成される。
【００３７】
判定基準（１）は、フレームを表現する符号量（例えばフレーム内の符号量の総量又は平均値）の小さいフレームは、時間的に隣接しているフレームと似通っている事が推測できることに着目した基準である。似通っていれば、後段のＦＲＣ部２０９で同様のフレームを作成する事が可能と判定できるため、この判断対象のフレームは復号する必要がないと予測できる。このような基準によって復号しないフレームを決定すれば、効率的に画質の低下の低減が図れる。（１）のフレームは、例えば、フレームの符号量が第１の閾値未満であるフレームである。Ｄｅｍｕｘ部２０３は、動画ストリームにおける現在の処理対象のフレーム（Ｉ／Ｐ／Ｂ−ｐｉｃのいずれか）の符号量を計測して前記の符号量を得て判断する（図３参照）。
【００３８】
判定基準（２）は、フレーム内符号化モード(例えばＩｎｔｒａ符号化モード)が多く使われているフレームの画像には、周辺画像との相関性が低いと推測できることに着目した基準である。このモードは、画面間の情報は使わず、画面内のフレーム情報のみで符号化を行うモードであるが、或るフレームにこのモードが多く使用されている場合、後段のＦＲＣ部２０９でこのフレームに対応するフレームを作成するのは困難と予測できる。このような基準によって復号しないフレームを決定すれば、効率的に画質の低下の低減が図れる。（２）のフレームは、例えば、Ｉｎｔｒａ符号化モードの値が第２の閾値未満であるフレーム、又は、Ｉｎｔｒａ/Ｉｎｔｅｒ比の値が第３の閾値未満であるフレームである。Ｄｅｍｕｘ部２０３は、Ｐ／Ｂ−ｐｉｃのＭＢ ｈｅａｄｅｒに含まれるＩｎｔｒａ/Ｉｎｔｅｒ比の情報を計測し、計測した値からＩｎｔｒａ符号化モードの値、又は、Ｉｎｔｒａ/Ｉｎｔｅｒ比の値を得て判断する（図５参照）。
【００３９】
判定基準（３）は、フレームを表現している誤差量（例えばフレーム内のＤＣＴ係数の総量又は平均値）の多いフレームの画像には、周辺画像との相関性が低いと推測できることに着目した基準である。誤差量の値が大きい場合、後段のＦＲＣ部２０９でこのフレームに対応するフレームを作成するのは困難と予測できる。このような基準によって復号しないフレームを決定すれば、効率的に画質の低下の低減が図れる。（３）のフレームは、例えば、誤差量の値が第４の閾値未満であるフレームである。Ｄｅｍｕｘ部２０３は、Ｉ／Ｐ／Ｂ−ｐｉｃのＤＣＴ係数を計測し、計測した値から誤差量の値を得て判断する（図５参照）。
【００４０】
判定基準（４）は、動画ストリームを復号する際に時間的に異なるフレームからフレーム間参照されるフレーム（他フレームの復号処理時にフレーム間予測で参照されるフレーム）は、周辺画像との相関性が高いことに着目した基準である。フレーム間予測で参照されるフレームは、他フレームのデコード処理時に必要になるので、復号した方が好ましい。このような基準によって復号しないフレームを決定すれば、効率的に画質の低下の低減が図れる。（４）のフレームは、例えば、Ｂ−ｐｉｃ又はｇｏｐ内の最後のＰ−ｐｉｃである。なお、これは、ストリームの形式に依存する。ＭＰＥＧ２では、Ｂ−ｐｉｃはフレーム間参照されない。Ｄｅｍｕｘ部２０３は、ｐｉｃｔｕｒｅ ｈｅａｄｅｒを観測し、フレームの属性（Ｉ／Ｐ／Ｂ−ｐｉｃのいずれであるか）を得て、判断する（図４参照）。
【００４１】
なお、上記の判定基準（１）乃至（４）のいずれか少なくとも一つによって、ＦＲＣ処理により作成が可能である見込みが大きいフレームの復号を行わないことなり、画面のカットが切り替わるフレーム等（ＦＲＣ処理で生成が困難なフレーム）を複合しないということを防ぐ可能性が高くなる。これによって、復号を行わないことによる画質の劣化を低減する事が可能となる。
【００４２】
なお、本実施形態では、ストリーム解析をＤｅｍｕｘ部２０３としている。多くの機器において、デコーダ２０５は、処理コストが高いため多くの部分がハードウェア化されており、柔軟なストリーム解析は困難が多い。それに対してＤｅｍｕｘ部２０３では、様々な規格やフォーマットに対応する為、ソフトウェアで柔軟に処理が行える構成となっている事が多いため、本実施形態では、ストリーム解析をＤｅｍｕｘ部２０３が行うように構成されている。このように、Ｄｅｍｕｘ部２０３と制御部１０１とが構成する、動画ストリームを分析し、復号しないフレームを特定するフレーム特定部を、デコーダ２０５の外部に形成することによって、本実施形態に係るデコーダ部１０９の製造コスト等を抑えることができる。また、デコーダ２０５の消費電力を抑えることもできる。
【００４３】
なお、ストリーム解析のうちの少なくとも上記判断に係る部分は制御部１０１が行っても良い。この場合でも、Ｄｅｍｕｘ部２０３と制御部１０１とはフレーム特定部を構成する。また、このストリーム解析処理と同様の処理を、デコーダ２０５及び又は制御部１０１で行っても良い。この場合は、デコーダ２０５及び又は制御部１０１は、フレーム特定部を構成する。動画ストリームを分析し、復号しないフレームを特定するフレーム特定部は他の構成であってもよい。
【００４４】
上述のように、デコーダ２０５は、制御部１０１から復号を行うフレームの指示を受け取り、そのフレームについてのみ復号を行う。このように、デコーダ２０５は、動画ストリームが含む複数のフレームのうちの一部のフレームを復号する。
【００４５】
上述のように、Ｓｃａｌｅｒ部２０７は、制御部１０１から復号を行ったフレームの情報を受け取りそのフレームについてのみ拡大、縮小処理を行う。例えば、放送動画像サイズが１９２０×１０８０画素であり、図６の表示パネルの表示サイズが８５４×４８０の場合には、処理対象のフレームの放送動画像サイズを表示サイズになるような縮小を処理対象のフレームに施す。なお、放送では、動画圧縮に用いたサイズとアスペクト比により、表示する際の画像のサイズが決定される。上記のサイズは、この表示の際のサイズの例である。
【００４６】
なお、Ｓｃａｌｅｒ部２０７が拡大、縮小処理を行わない期間、Ｓｃａｌｅｒ部２０７全体の動作を停止させ、出来るだけ消費電力がかからない様にする事が好ましい。例えば、処理停止の際に、Ｓｃａｌｅｒ部２０７がハードウェアの場合には、制御部１０１は、Ｓｃａｌｅｒ部２０７へ供給するクロックを停止させるか、ＳＲＡＭ（Static Random Access Memory）やＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等へのメモリアクセスを停止させる。なお、デコーダ２０５、Ｓｃａｌｅｒ部２０７及びＦＲＣ部２０９のいずれかの動作を停止させる際にも供給するクロックの停止、及び又は、ＳＲＡＭやＳＤＲＡＭ等へのメモリアクセスを停止させる。これによって（特にクロックの停止によって）、消費電力を効率的に低減できる。
【００４７】
なお、この動画圧縮時のサイズとアスペクト比による画像サイズの変換処理（特に縮小処理）は、下記で説明するＦＲＣ処理後に施しても良い。
【００４８】
ＦＲＣ部２０９は、時間的に異なるフレームの情報（例えば復号したフレームの情報（特に縮小されたフレームの情報））を用いて新たなフレームを生成するＦＲＣ処理を行う。この際、時間的に異なるフレーム（参照フレーム）は、デコード（復号）された画像でも、ＦＲＣ処理にて作成した画像のどちらでも良い。ただし、最初の処理においては、復号したフレームの情報が必ず用いられることになる。デコードされた画像の参照フレームも遡れば、復号したフレームの情報を用いて生成されたフレームになる。このため、参照フレームの内の少なくとも一つにデコードされた画像があっても、ＦＲＣ部２０９は、復号したフレームの情報を用いて新たなフレームを生成することになる。
【００４９】
ＦＲＣ処理の方法としては、以下のいずれか又は組み合わせた方法で行う。
（ａ）参照フレームの内挿により作成する。
（ｂ）参照フレーム間の動きベクトルを算出して補う。
（ｃ）モーフィングを利用して補う。
（ｄ）復号しなかったフレームのベクトル情報（例えば動きベクトル）を用いて、この復号しなかったフレームを補う新たなフレームを生成する。例えば、復号を行わなかったフレームのストリームからベクトル情報を抜き出し、そのベクトルをＦＲＣ処理に用いる（例えば補助的に用いる）。
【００５０】
上記（ｄ）では、もとのフレームのベクトル情報を用いるので、より元のフレームに近いフレームを生成でき、画質の低下を低減できる。
【００５１】
また、上記説明では、画面全体（フレーム全体）について復号処理を行うか、ＦＲＣ処理を行うかの例を示したが、画像の内部でその処理を分けても良い。つまり、復号しないフレームは、少なくとも一部を復号しないフレームであってもよく、フレームの中の復号されなかった部分をデコーダ２０５が復号したフレームの情報を用いて補う。例えば、復号時に画像の解析を行い、画面内の重要部分と思われる領域（例えば、人物領域や字幕領域）等については、復号処理を行い、それ以外の領域については、復号処理を行わずＦＲＣ処理により作成する。これにより、効率的に消費電力及び画質の低下を低減出来る。
【００５２】
最後に、各部の動作を図７及び図８を参照して説明する。なお、図８はそれぞれの処理に使用されるデータの構成をフレーム毎に時間軸に沿ってブロックで示し、ブロック内のＩはＩ−ｐｉｃ、ＰはＰ−ｐｉｃ、ＢはＢ−ｐｉｃを示す。また、ブロック内の数字は実際の再生における画像の表示順序を示す。また、大きさの小さいブロックは縮小される等してデータ量が小さくなったフレームで、網掛けされたブロックはＦＲＣ処理によって生成された新たなフレームである。また、理解を容易にするために図８では各部の処理によって発生する遅延時間を無視したが、実際は多少の遅延時間が発生するものと考えられる。但し、基本的な考え方は同じである。
【００５３】
受信部２０１は、受信ストリームを構成するデータをＤｅｍｕｘ部２０３に順次出力していくことによって、受信ストリームを出力する。
【００５４】
Ｄｅｍｕｘ部２０３には、受信部２０１が出力した受信ストリームを構成するデータが順次入力されることによって、受信ストリームが入力される。Ｄｅｍｕｘ部２０３は、入力されたデータから順次動画ストリームに含まれるデータを取り出し、このデータを解析することによって動画ストリームの解析を行う。この解析は、主に、動画ストリームを構成するフレームのデータ毎に行われる。そして、Ｄｅｍｕｘ部２０３は、例えば、現在の解析対象のフレームを復号すべきかを判定し（上記参照）、判定した判定結果を解析結果として、制御部１０１に出力する。
【００５５】
制御部１０１に解析結果が入力されると、制御部１０１はこの解析結果に基づいて、デコーダ２０５、Ｓｃａｌｅｒ部２０７、及び、ＦＲＣ部２０９の動作を制御する。
【００５６】
解析結果が復号するとなっている場合（図８では、Ｉ−ｐｉｃ、Ｐ−ｐｉｃの場合）、制御部１０１は、デコーダ２０５、Ｓｃａｌｅｒ部２０７を動作させ、ＦＲＣ部２０９を停止させる。フレームはデコーダ２０５に入力されここで復号され、復号されたフレームはＳｃａｌｅｒ部２０７に入力され縮小等される。そして、Ｓｃａｌｅｒ部２０７には、適宜縮小等したフレームが保持される。
【００５７】
解析結果が復号しないとなっている場合（図８では、Ｂ−ｐｉｃの場合）、制御部１０１は、デコーダ２０５、Ｓｃａｌｅｒ部２０７を停止させ、ＦＲＣ部２０９を動作させる。このとき、制御部１０１は、Ｓｃａｌｅｒ部２０７に、Ｓｃａｌｅｒ部２０７が保持するフレームをＦＲＣ部２０９に出力させる。ＦＲＣ部２０９は、ＦＲＣ部２０９に入力されたフレームの情報を用いてＦＲＣ処理を行い、新たなフレーム（図８の網掛けされたブロックＢ１、Ｂ２、Ｂ４、及び、Ｂ５）を生成する（例えば、Ｓｃａｌｅｒ部２０７から入力され保持したＩ０及びＰ３を用いて、Ｂ１及びＢ２を生成する）。制御部１０１は、ＦＲＣ部２０９に、ＦＲＣ部２０９に入力されたフレーム及びＦＲＣ部２０９が生成したフレームを適宜のタイミングで出力させる。
【００５８】
ＦＲＣ部２０９が出力する、前記の入力されたフレーム及び生成したフレームは、出力部２１１に入力される。出力部２１１は、入力されたフレームを表示順序通りに並べて、制御部１０１に出力する（図８参照）。なお、出力部２１１は、フレームの表示順序をフレーム内のデータ又は制御部１０１からの指令等によって認識する。
【００５９】
なお、一定の条件のもとで、デコーダ２０５は上記で説明した、一部のフレームを復号しない処理を行っても良い。これは、例えばフレーム特定部を構成する制御部１０１がデコーダ２０５に指令して行われる。または、例えば、前記一定の条件を満たす場合にのみ、Ｄｅｍｕｘ部２０３がストリームの解析結果（例えば、どのフレームを復号化しないかを特定する情報等）等を制御部１０１に出力することによって行われる。
【００６０】
上記一定条件の例としては、動画ストリーム処理装置１を駆動する電池の残量が第４の所定の条件を満たす場合（電池の残量が少なくなった場合で、例えば、電池の残量が第５の閾値未満になった場合）又は、動画ストリームの電波の受信状態が第５の所定の条件（受信状態が悪くなった場合で、例えば、動画ストリームのビットエラー率が第６の閾値以上になった場合、又は電界強度が第７の閾値未満になった場合）を満たす場合がある。この場合に、動画ストリームが含む複数のフレームのうちの一部のフレームを復号する処理を行う。上記電池の残量、ビットエラー率、又は、電界強度については、これらの測定器を適宜の場所に設ける。これらの測定器が測定した測定結果は例えば制御部１０１に出力され、上記条件が例えば制御部１０１で判断される。制御部１０１は、上記一定条件を満たす場合に、デコーダに一部のフレームを復号しない処理を行わせるか、Ｄｅｍｕｘ部２０３に解析結果を出力させる。
【００６１】
これらによって、電池の残量が少ないとき、又は受信状況が悪い等でもともと画質が悪くて画質の低下がそれほど問題にならないとき等の好適なタイミングで、消費電力を低減できる。
【符号の説明】
【００６２】
１…動画ストリーム処理装置、１１，２１…Ｉ−ｐｉｃ、１２…Ｂ−ｐｉｃ、１３…Ｂ−ｐｉｃ、１４，２４…Ｐ−ｐｉｃ、２２…フレーム、２３…フレーム、２４…Ｐ−ｐｉｃ、１０１…制御部、１０３…表示部、１０５…記憶部、１０７…操作部、１０９…デコーダ部、１１１…音声出力部、１１３…音声入力部、１１５…通信部、１４０…バス、１５０…動画ストリーム処理プログラム、２０１…受信部、２０３…Ｄｅｍｕｘ部、２０５…デコーダ、２０７…Ｓｃａｌｅｒ部、２０９…ＦＲＣ部、２１１…出力部
【特許請求の範囲】
【請求項１】
動画ストリームの処理を行う動画ストリーム処理装置において、
前記動画ストリームが含む複数のフレームのうちの一部のフレームを復号する復号処理手段と、
前記復号処理手段が復号したフレームの情報を用いて前記復号処理手段が復号しなかったフレームを補う新たなフレームを生成するフレーム生成手段と、
を有することを特徴とする動画ストリーム処理装置。
【請求項２】
前記復号処理手段が復号しないフレームは、少なくとも、このフレームの符号量が第１の所定の条件を満たすフレームであることを特徴とする請求項１に記載の動画ストリーム処理装置。
【請求項３】
前記復号処理手段が復号しないフレームは、少なくとも、復号する際の処理単位であるマクロブロック毎に選択できるフレーム間符号化モードとフレーム内符号化モードの比率が第２の所定の条件を満たすフレームであることを特徴とする請求項１に記載の動画ストリーム処理装置。
【請求項４】
前記復号処理手段が復号しないフレームは、少なくとも、このフレームの動画ストリームにおいて、フレーム間符号化を行う際の、フレームの誤差量が第３の所定の条件を満たすフレームであることを特徴とする請求項１に記載の動画ストリーム処理装置。
【請求項５】
前記復号処理手段が復号しないフレームは、少なくとも、前記動画ストリームを復号する際に時間的に異なるフレームからフレーム間参照されないフレームであることを特徴とする請求項１に記載の動画ストリーム処理装置。
【請求項６】
前記復号処理手段が復号したフレームを縮小する縮小手段をさらに備え、
前記フレームの情報は、縮小した前記フレームの情報であることを特徴とする請求項１乃至５のいずれか１項に記載の動画ストリーム処理装置。
【請求項７】
前記フレーム生成手段は、前記復号処理手段が復号しなかったフレームのベクトル情報を用いて、前記復号処理手段が復号しなかったフレームを補う前記新たなフレームを生成することを特徴とする請求項１乃至６のいずれか１項に記載の動画ストリーム処理装置。
【請求項８】
前記復号処理手段が復号しないフレームは、少なくとも一部を復号しないフレームであり、
前記フレーム生成手段は、前記フレームの中の復号されなかった部分を前記復号処理手段が復号したフレームの情報を用いて補うことにより、前記新たなフレームを生成することを特徴とする請求項１乃至７のいずれか１項に記載の動画ストリーム処理装置。
【請求項９】
前記動画ストリームを分析し、復号しないフレームを特定するフレーム特定手段をさらに備え、
前記復号処理手段は、前記フレーム特定手段が特定したフレームを復号せずに前記一部のフレームを復号することを特徴とする請求項１乃至８のいずれか１項に記載の動画ストリーム処理装置。
【請求項１０】
前記復号処理手段は、前記フレーム特定手段が特定したフレームを復号せずに前記一部のフレームを復号するデコーダによって構成され、
前記フレーム特定手段は、前記デコーダの外部に形成されたことを特徴とする請求項９に記載の動画ストリーム処理装置。
【請求項１１】
前記復号処理手段は、前記動画ストリーム処理装置を駆動する電池の残量が第４の所定の条件を満たす場合に、前記動画ストリームが含む複数のフレームのうちの一部のフレームを復号することを特徴とする請求項１乃至１０のいずれか１項に記載の動画ストリーム処理装置。
【請求項１２】
前記復号処理手段は、前記動画ストリームの電波の受信状態が第５の所定の条件を満たす場合に、前記動画ストリームが含む複数のフレームのうちの一部のフレームを復号することを特徴とする請求項１乃至１１のいずれか１項に記載の動画ストリーム処理装置。
【請求項１３】
動画ストリームの処理を行うコンピュータに、
前記動画ストリームが含む複数のフレームのうちの一部のフレームを復号する復号処理ステップと、
前記復号処理ステップで復号したフレームの情報を用いて前記復号処理ステップで復号しなかったフレームを補う新たなフレームを生成するフレーム生成ステップと、
を有する処理を行わせることを特徴とする動画ストリーム処理プログラム。
【請求項１】
動画ストリームの処理を行う動画ストリーム処理装置において、
前記動画ストリームが含む複数のフレームのうちの一部のフレームを復号する復号処理手段と、
前記復号処理手段が復号したフレームの情報を用いて前記復号処理手段が復号しなかったフレームを補う新たなフレームを生成するフレーム生成手段と、
を有することを特徴とする動画ストリーム処理装置。
【請求項２】
前記復号処理手段が復号しないフレームは、少なくとも、このフレームの符号量が第１の所定の条件を満たすフレームであることを特徴とする請求項１に記載の動画ストリーム処理装置。
【請求項３】
前記復号処理手段が復号しないフレームは、少なくとも、復号する際の処理単位であるマクロブロック毎に選択できるフレーム間符号化モードとフレーム内符号化モードの比率が第２の所定の条件を満たすフレームであることを特徴とする請求項１に記載の動画ストリーム処理装置。
【請求項４】
前記復号処理手段が復号しないフレームは、少なくとも、このフレームの動画ストリームにおいて、フレーム間符号化を行う際の、フレームの誤差量が第３の所定の条件を満たすフレームであることを特徴とする請求項１に記載の動画ストリーム処理装置。
【請求項５】
前記復号処理手段が復号しないフレームは、少なくとも、前記動画ストリームを復号する際に時間的に異なるフレームからフレーム間参照されないフレームであることを特徴とする請求項１に記載の動画ストリーム処理装置。
【請求項６】
前記復号処理手段が復号したフレームを縮小する縮小手段をさらに備え、
前記フレームの情報は、縮小した前記フレームの情報であることを特徴とする請求項１乃至５のいずれか１項に記載の動画ストリーム処理装置。
【請求項７】
前記フレーム生成手段は、前記復号処理手段が復号しなかったフレームのベクトル情報を用いて、前記復号処理手段が復号しなかったフレームを補う前記新たなフレームを生成することを特徴とする請求項１乃至６のいずれか１項に記載の動画ストリーム処理装置。
【請求項８】
前記復号処理手段が復号しないフレームは、少なくとも一部を復号しないフレームであり、
前記フレーム生成手段は、前記フレームの中の復号されなかった部分を前記復号処理手段が復号したフレームの情報を用いて補うことにより、前記新たなフレームを生成することを特徴とする請求項１乃至７のいずれか１項に記載の動画ストリーム処理装置。
【請求項９】
前記動画ストリームを分析し、復号しないフレームを特定するフレーム特定手段をさらに備え、
前記復号処理手段は、前記フレーム特定手段が特定したフレームを復号せずに前記一部のフレームを復号することを特徴とする請求項１乃至８のいずれか１項に記載の動画ストリーム処理装置。
【請求項１０】
前記復号処理手段は、前記フレーム特定手段が特定したフレームを復号せずに前記一部のフレームを復号するデコーダによって構成され、
前記フレーム特定手段は、前記デコーダの外部に形成されたことを特徴とする請求項９に記載の動画ストリーム処理装置。
【請求項１１】
前記復号処理手段は、前記動画ストリーム処理装置を駆動する電池の残量が第４の所定の条件を満たす場合に、前記動画ストリームが含む複数のフレームのうちの一部のフレームを復号することを特徴とする請求項１乃至１０のいずれか１項に記載の動画ストリーム処理装置。
【請求項１２】
前記復号処理手段は、前記動画ストリームの電波の受信状態が第５の所定の条件を満たす場合に、前記動画ストリームが含む複数のフレームのうちの一部のフレームを復号することを特徴とする請求項１乃至１１のいずれか１項に記載の動画ストリーム処理装置。
【請求項１３】
動画ストリームの処理を行うコンピュータに、
前記動画ストリームが含む複数のフレームのうちの一部のフレームを復号する復号処理ステップと、
前記復号処理ステップで復号したフレームの情報を用いて前記復号処理ステップで復号しなかったフレームを補う新たなフレームを生成するフレーム生成ステップと、
を有する処理を行わせることを特徴とする動画ストリーム処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１０−２８８０２８（Ｐ２０１０−２８８０２８Ａ）
【公開日】平成２２年１２月２４日（２０１０．１２．２４）
【国際特許分類】
【出願番号】特願２００９−１３９５８８（Ｐ２００９−１３９５８８）
【出願日】平成２１年６月１０日（２００９．６．１０）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
【公開日】平成２２年１２月２４日（２０１０．１２．２４）
【国際特許分類】
【出願日】平成２１年６月１０日（２００９．６．１０）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
[ Back to top ]