映像信号処理装置、映像信号処理方法及び映像信号処理プログラム
【課題】急激なシーン変化にも迅速に追従して鮮明に画像を表示するために、復号処理、補正処理等を行なう映像信号処理装置、映像信号処理方法及び映像信号処理プログラムを提供すること。
【解決手段】入力される符号化映像信号から１画面分の画像についての特徴量を解析する符号化映像解析手段と、前記符号化映像信号を復号化することにより再生映像信号を生成する復号・再生手段と、前記符号化映像解析手段によって解析された特徴量に基づいて、前記復号・再生手段によって生成された再生映像信号を補正する再生映像補正手段とを備える。
【解決手段】入力される符号化映像信号から１画面分の画像についての特徴量を解析する符号化映像解析手段と、前記符号化映像信号を復号化することにより再生映像信号を生成する復号・再生手段と、前記符号化映像解析手段によって解析された特徴量に基づいて、前記復号・再生手段によって生成された再生映像信号を補正する再生映像補正手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、鮮明に画像を表示するために符号化映像信号を表示映像信号に処理する映像信号処理技術に関し、特に、デジタルテレビジョン放送による符号化映像信号、インターネット映像配信等で受信した符号化映像信号、若しくはハードディスク等に録画された符号化映像信号を、デジタルテレビジョン装置が備える表示パネル等に鮮明に表示するために、復号処理、補正処理等を行なう映像信号処理装置、映像信号処理方法及び映像信号処理プログラムに関する。
【背景技術】
【０００２】
図１は、従来の映像信号処理装置の構成例を示す図である。
図１において、従来の映像信号処理装置１０は、デジタルテレビジョン装置等に備えられ、受信した符号化映像信号を処理した表示映像信号を液晶表示装置等の表示パネル１６に出力する。映像信号処理装置１０は、この処理のために、復号・再生手段１１、画面内局所的特徴量解析手段１２、シーン／画面毎特徴量解析手段１３、再生映像補正手段１４及び表示映像補正手段１５を備える。
【０００３】
復号・再生手段１１は、入力された符号化映像信号（例えば、ＭＰＥＧ等の国際標準方式に準拠して符号化されたデータ）を、デジタルの再生映像信号に復号化して出力する。
画面内局所的特徴量解析手段１２は、復号・再生手段１１によって復号化された再生映像信号に基づいて、１画面内の局所的な特徴量（例えば、画素単位のエッジ量、動きベクトル等）を解析し、シーン／画面毎特徴量解析手段１３は、復号・再生手段１１によって復号化された再生映像信号及び画面内局所的特徴量解析手段１２によって解析された画面内の局所的な特徴量に基づいて、シーン／画面毎の特徴量（例えば、色輝度分布、縦横スクロール、静止、シーンチェンジ等）を解析する。
【０００４】
再生映像補正手段１４は、復号・再生手段１１によって復号化された再生映像信号、画面内局所的特徴量解析手段１２によって解析された画面内の局所的な特徴量及びシーン／画面毎特徴量解析手段１３によって解析されたシーン／画面毎の特徴量に基づいて、再生映像信号の特性に応じた高画質化を実現するための映像補正処理（例えば、ＩＰ変換、フレームレート変換、動的色輝度補正等）を実行する。
【０００５】
そして、表示映像補正手段１５は、表示パネル１６のパネル性能や特性に応じた映像補正処理（例えば、ガンマ補正等）を実行して表示映像信号を出力する。
このようにして、従来の映像信号処理装置１０は、鮮明に画像を表示するための処理を実行する。
【０００６】
また、各画像入力装置からの画像情報とともに入力装置の特性に応じた補正デ−タをも同時に記憶し、再生に際して対応した補正デ−タをも再生して画像情報を補正することにより、良好な画質の再生画像を得る技術が開示されている（例えば、特許文献１参照。）。
【０００７】
また、画像入力部からの標準信号を基に画像出力部でその画像デ−タの特徴量を抽出し、画像入力部よりの画像情報を損なうことなく、その画像を出力する技術も開示されている（例えば、特許文献２参照。）。
【特許文献１】特開昭６２−１３６９８２号公報
【特許文献２】特開平４−２６１２７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の映像信号処理技術には下記のような問題点があった。
図２は、従来の映像信号処理技術の問題点を説明するための図である。
図２において、上段の再生映像２１Ａ、２１Ｂ、２１Ｃ、２１Ｄ、２１Ｅ、２１Ｆ、２１Ｇ及び２１Ｈは、復号・再生手段１１によって出力された再生映像信号によって構成される１画面分の再生映像であり、再生映像２１Ａ（図２中の左側）から再生映像２１Ｈ（図２中の右側）へ時系列に並んでいる。下段の表示映像２２Ａ、２２Ｂ、２２Ｃ、２２Ｄ、２２Ｅ、２２Ｆ、２２Ｇ及び２２Ｈは、表示映像補正手段１５によって出力された表示映像信号によって構成される１画面分の表示映像であり、表示映像２２Ａ（図２中の左側）から表示映像２２Ｈ（図２中の右側）へ時系列に並んでいる。なお、表示映像２２Ａは再生映像２１Ａに対応しており、同様に表示映像２２Ｂ乃至２２Ｈは再生映像２１Ｂ乃至２１Ｈに対応している。
【０００９】
そして、これらの表示映像２２Ａ乃至２２Ｈの各々は、再生映像２１Ａ乃至２１Ｈのうちの過去の複数枚分の再生映像信号の特徴量に基づいて、映像補正処理が施されている。例えば、表示映像２２Ｅは、再生映像２１Ｂ乃至２１Ｄの３枚分の再生映像信号の特徴量に基づいて、映像補正処理が施されている。
【００１０】
したがって、再生映像２１Ｄから再生映像２１Ｅへ切り替わる際のように、輝度が大きく異なることにより急激にシーンが変化するような場合、再生映像がその変化に迅速に追従することができず、再生映像信号の補正により、表示映像信号の品質がかえって低下しまうという問題点があった。
【００１１】
すなわち、図２に示した例では、再生映像２１Ａ乃至２１Ｄは明る過ぎる（輝度が高い）ため、暗くなるように映像補正処理が施され、再生映像２１Ｅ乃至２１Ｈは暗過ぎる（輝度が低い）ため、明るくなるように映像補正処理が施されているのであるが、例えば、表示映像２２Ｅは、再生映像２１Ｂ乃至２１Ｄの再生映像信号の特徴量に基づいて、映像補正処理を施しているので、暗い表示映像２２Ｅがさらに暗くなり過ぎてしまっている。
【００１２】
本発明は、上述のような実状に鑑みたものであり、急激なシーン変化にも迅速に追従して鮮明に画像を表示するために、復号処理、補正処理等を行なう映像信号処理装置、映像信号処理方法及び映像信号処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明は、上記課題を解決するため、下記のような構成を採用した。
すなわち、本発明の一態様によれば、本発明の映像信号処理装置は、入力される符号化映像信号から１画面分の画像についての特徴量を解析する符号化映像解析手段と、前記符号化映像信号を復号化することにより再生映像信号を生成する復号・再生手段と、前記符号化映像解析手段によって解析された特徴量に基づいて、前記復号・再生手段によって生成された再生映像信号を補正する再生映像補正手段とを備えることを特徴とする。
【００１４】
また、本発明の映像信号処理装置は、さらに、前記符号化映像信号の前記復号・再生手段への入力を遅延させるために、前記符号化映像信号を一時的に格納する符号化映像信号遅延バッファを備えることが望ましい。
【００１５】
また、本発明の映像信号処理装置は、さらに、前記符号化映像信号を格納する符号化映像データベースと、前記符号化映像データベースから１画面分の符号化映像信号を読み出し、前記復号・再生手段及び前記符号化映像解析手段に遅延させて出力する読み出し制御手段とを備えることが望ましい。
【００１６】
また、本発明の映像信号処理装置は、前記符号化映像解析手段が、前記符号化映像信号を可変長復号することにより特徴量を解析することが望ましい。
また、本発明の映像信号処理装置は、前記符号化映像解析手段が、画面単位の動きの偏り特徴量、色輝度分布特徴量、画面の変化量特徴量のうち少なくとも１つ以上の特徴量を解析することが望ましい。
【００１７】
また、本発明の一態様によれば、本発明の映像信号処理方法は、映像信号処理装置のコンピュータが、入力される符号化映像信号から１画面分の画像についての特徴量を解析し、前記符号化映像信号を復号化することにより再生映像信号を生成し、前記解析された特徴量に基づいて、前記生成された再生映像信号を補正することを特徴とする。
【００１８】
また、本発明の一態様によれば、本発明の映像信号処理プログラムは、映像信号処理装置のコンピュータを、入力される符号化映像信号から１画面分の画像についての特徴量を解析する符号化映像解析手段と、前記符号化映像信号を復号化することにより再生映像信号を生成する復号・再生手段と、前記符号化映像解析手段によって解析された特徴量に基づいて、前記復号・再生手段によって生成された再生映像信号を補正する再生映像補正手段として機能させることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、高画質化を実現するために必要な画面単位の映像特徴量を、符号化映像信号から事前に生成することで、将来の画面の特徴量を現行画面の映像補正に利用することが可能となり、シーンの急激な変化に迅速に追従することが可能となる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施の形態について図面を参照しながら説明する。
（第１の実施の形態）
図３は、本発明の第１の実施の形態における映像信号処理装置の構成例を示す図である。
【００２１】
図３において、本発明の第１の実施の形態における映像信号処理装置３０は、デジタルテレビジョン装置等に備えられ、受信した符号化映像信号を処理した表示映像信号を液晶表示装置等の表示パネル１６に出力する。映像信号処理装置３０は、この処理のために、従来の映像信号処理装置１０が備える復号・再生手段１１、画面内局所的特徴量解析手段１２、シーン／画面毎特徴量解析手段１３、再生映像補正手段１４及び表示映像補正手段１５に加え、再生映像信号遅延バッファ３１及び局所的特徴量遅延バッファ３２を備える。
【００２２】
復号・再生手段１１は、入力されたＭＰＥＧ等により符号化された符号化映像信号を、デジタルの再生映像信号に復号化して、再生映像信号遅延バッファ３１に格納する。
画面内局所的特徴量解析手段１２は、復号・再生手段１１によって復号化された再生映像信号に基づいて、画素単位のエッジ量等の１画面内の局所的な特徴量を解析して、局所的特徴量遅延バッファ３２に格納する。また、シーン／画面毎特徴量解析手段１３は、従来と同様に、復号・再生手段１１によって復号化された再生映像信号及び画面内局所的特徴量解析手段１２によって解析された画面内の局所的な特徴量に基づいて、色輝度分布等のシーン／画面毎の特徴量を解析する。
【００２３】
再生映像補正手段１４は、再生映像信号遅延バッファ３１に格納された再生映像信号、局所的特徴量遅延バッファ３２に格納された画面内の局所的な特徴量及びシーン／画面毎特徴量解析手段１３によって解析されたシーン／画面毎の特徴量に基づいて、再生映像信
号の特性に応じた高画質化を実現するためのＩＰ変換等の映像補正処理を実行する。
【００２４】
そして、表示映像補正手段１５は、従来と同様に、表示パネル１６のパネル性能や特性に応じたガンマ補正等の映像補正処理を実行して表示映像信号を出力する。
このように、本発明の第１の実施の形態における映像信号処理装置１０は、再生映像信号遅延バッファ３１及び局所的特徴量遅延バッファ３２を用いて再生映像信号及び画面内の局所的な特徴量を遅延させ、画面単位の特徴量を現画面の映像補正処理に先立って解析することで、未来の画面の解析結果を利用することができ、急激なシーンの変化に迅速に対応することが可能となる。
【００２５】
ただし、再生映像信号と画面の局所的な特徴量を遅延させるための再生映像信号遅延バッファ３１及び局所的特徴量遅延バッファ３２が、先行して解析を実施する画面の数だけ必要となり、ハードウェア規模及びコストの増大をまねくという懸念はある。
（第２の実施の形態）
図４は、本発明の第２の実施の形態における映像信号処理装置の構成例を示す図である。
【００２６】
図４において、本発明の第２の実施の形態における映像信号処理装置４０は、デジタルテレビジョン装置等に備えられ、受信した符号化映像信号を処理した表示映像信号を液晶表示装置等の表示パネル１６に出力する。映像信号処理装置４０は、この処理のために、復号・再生手段１１、画面内局所的特徴量解析手段１２、再生映像補正手段１４及び表示映像補正手段１５に加え、符号化映像信号遅延バッファ４１及び符号化映像解析手段４２を備える。すなわち、映像信号処理装置４０は、上述の第１の実施の形態における映像信号処理装置３０が備えるシーン／画面毎特徴量解析手段１３の代わりに符号化映像解析手段４２を備え、再生映像信号遅延バッファ３１及び局所的特徴量遅延バッファ３２の代わりに符号化映像信号遅延バッファ４１を備えている。
【００２７】
符号化映像信号遅延バッファ４１は、符号化映像解析手段４２と復号・再生手段１１の遅延を考慮して、入力された符号化映像信号を遅延させる。そして、復号・再生手段１１は、入力されたＭＰＥＧ等により符号化され、符号化映像信号遅延バッファ４１で一旦遅延した符号化映像信号を、デジタルの再生映像信号に復号化する。
【００２８】
画面内局所的特徴量解析手段１２は、従来と同様に、復号・再生手段１１によって復号化された再生映像信号に基づいて、画素単位のエッジ量等の１画面内の局所的な特徴量を解析する。
【００２９】
符号化映像解析手段４２は、復号・再生手段１１による復号化に先立って、入力された符号化映像信号に基づいて、シーンや画面毎の特徴量の解析を行なう。
再生映像補正手段１４は、復号・再生手段１１によって復号化された再生映像信号、画面内局所的特徴量解析手段１２によって解析された画面内の局所的な特徴量及び符号化映像解析手段４２によって解析されたシーン／画面毎の特徴量に基づいて、再生映像信号の特性に応じた高画質化を実現するためのＩＰ変換等の映像補正処理を実行する。
【００３０】
そして、表示映像補正手段１５は、従来と同様に、表示パネル１６のパネル性能や特性に応じたガンマ補正等の映像補正処理を実行して表示映像信号を出力する。
図５は、本発明の第２の実施の形態による効果の例を説明するための図である。
【００３１】
図５において、上段の再生映像２１Ａ、２１Ｂ、２１Ｃ、２１Ｄ、２１Ｅ、２１Ｆ、２１Ｇ及び２１Ｈは、復号・再生手段１１によって出力された再生映像信号によって構成される１画面分の再生映像であり、再生映像２１Ａ（図２中の左側）から再生映像２１Ｈ（
図２中の右側）へ時系列に並んでいる。下段の表示映像５２Ａ、５２Ｂ、５２Ｃ、５２Ｄ、５２Ｅ、５２Ｆ、５２Ｇ及び５２Ｈは、表示映像補正手段１５によって出力された表示映像信号によって構成される１画面分の表示映像であり、表示映像５２Ａ（図５中の左側）から表示映像５２Ｈ（図５中の右側）へ時系列に並んでいる。なお、表示映像５２Ａは再生映像２１Ａに対応しており、同様に表示映像５２Ｂ乃至５２Ｈは再生映像２１Ｂ乃至２１Ｈに対応している。
【００３２】
そして、これらの表示映像５２Ａ乃至５２Ｈの各々は、再生映像２１Ａ乃至２１Ｈのうちの過去の複数枚分の再生映像信号の特徴量に基づいて、映像補正処理が施されている。例えば、表示映像５２Ｅは、符号化映像信号遅延バッファ４１で一旦遅延した符号化映像信号を復号・再生手段１１で復号化するため、再生映像２１Ｄ乃至２１Ｆの３枚分の再生映像信号の特徴量に基づいて、映像補正処理が施されることになる。
【００３３】
したがって、再生映像２１Ｄから再生映像２１Ｅへ切り替わる際のように、輝度が大きく異なることにより急激にシーンが変化するような場合であっても、再生映像がその変化に迅速に追従することができる。
【００３４】
更に、遅延させるデータが、復号前の符号化映像信号であるため、実現に必要な符号化映像信号遅延バッファ４１の大幅な増加を伴わない。
次に、本発明の第２の実施の形態における符号化映像解析手段４２による処理及び再生映像補正手段１４による処理について、フローチャートを用いて説明する。
【００３５】
図６は、符号化映像解析手段４２によって実行される１画面分の符号化映像解析処理の流れを示すフローチャートである。
まず、ステップＳ６０１において、例えば、輝度の最大値［０］を０、輝度の最小値［０］を２５５に初期化する。
【００３６】
そして、ステップＳ６０２において、１画面分の符号化映像信号（可変長符号）を読み込み、ステップＳ６０３において、可変長復号処理を開始する。
ステップＳ６０４において、ステップＳ６０３で可変長復号処理を開始したデータについて順に輝度のＤＣ係数であるか否かを判断し、ＤＣ係数であると判断した場合（ステップＳ６０４：Ｙ）は、ステップＳ６０５において、逆量子化処理を実行する。
【００３７】
そして、ステップＳ６０６において、ステップＳ６０５で逆量子化処理をした値が輝度の最大値より大きいか否かを判断し、輝度の最大値より大きくないと判断した場合（ステップＳ６０６：Ｎ）は、さらに、ステップＳ６０７において、ステップＳ６０５で逆量子化処理をした値が輝度の最小値より小さいか否かを判断し、輝度の最小値より小さいと判断した場合（ステップＳ６０７：Ｙ）は、ステップＳ６０８において、輝度の最小値を更新する。
【００３８】
他方、輝度の最大値より大きいと判断した場合（ステップＳ６０６：Ｙ）は、ステップＳ６０９において、輝度の最大値を更新する。
そして、ステップＳ６１０において、１画面分の可変長復号が完了したか否かを判断し、完了したと判断した場合（ステップＳ６１０：Ｙ）は、ステップＳ６１１において、輝度の最大値及び最小値の平均値を算出する。例えば、輝度の最大値＝（輝度の最大値［０］＋輝度の最大値［１］＋輝度の最大値［２］）／３、輝度の最小値＝（輝度の最小値［０］＋輝度の最小値［１］＋輝度の最小値［２］）／３を算出する。
【００３９】
最後にステップＳ６１２において、輝度の最大値［２］に輝度の最大値［１］を、輝度の最大値［１］に輝度の最大値［０］をそれぞれ代入し、輝度の最小値［２］に輝度の最
小値［１］を、輝度の最小値［１］に輝度の最小値［０］をそれぞれ代入する。
【００４０】
図７は、再生映像補正手段１４によって実行される１画面分の再生映像補正処理の流れを示すフローチャートである。
まず、ステップＳ７０１において、復号・再生手段１１によって出力された再生映像信号を１画面取り込み、ステップＳ７０２において、例えば輝度の最小値若しくは最大値若しくはこれら輝度の最小値及び最大値等の画面の特徴量の取り込みを行なう。
【００４１】
次に、ステップＳ７０３において、画素単位の輝度値補正処理を実行する。例えば、輝度が８ビットで、輝度の最小値をａ、輝度の最大値をｂとした場合、ａよりｂの方が大きいという条件（ｂ＞ａ）を満たせば、補正後の輝度値は、ｍｉｎ（ｍａｘ（（補正前の輝度値−ａ）×２５６／（ｂ−ａ），０），２５５）となり、それ以外の場合は、補正後の輝度値＝補正前の輝度値となる。
【００４２】
そして、ステップＳ７０４において、全画素についてステップＳ７０３の輝度稚補正処理が完了したか否かを判断する。
完了してないと判断した場合（ステップＳ７０４：Ｎ）は、ステップＳ７０３以降を繰り返し、他方、完了したと判断した場合（ステップＳ７０４：Ｙ）は、ステップＳ７０５において、例えば平坦度合い若しくは急峻度合い等の局所的な（画素単位の）特徴量の取り込みを実行し、ステップＳ７０６において、画素単位のエッジ強調処理を実行する。
【００４３】
そして、ステップＳ７０７において、全画素分のエッジ強調処理が完了したか否かを判断し、完了していないと判断した場合（ステップＳ７０７：Ｎ）は、ステップＳ７０５以降を繰り返す。
（第２の実施の形態の変形例）
次に、復号・再生手段１１が備える機能の一部を、復号・再生手段１１の代わりに符号化映像解析手段４２が実行して、符号化映像信号から特徴量を抽出する変形例を説明する。
【００４４】
図８は、復号・再生手段１１の構成を示す図である。
図８において、復号・再生手段１１は、可変長復号手段８１、ＡＣ係数逆量子化手段８２、ＤＣ係数逆量子化手段８３、逆ＤＣＴ手段８４、フレームメモリ８５、動き補償手段８６及び加算器８７を備える。
【００４５】
可変長復号手段８１は、入力された符号化映像信号を可変長復号する。
ＡＣ係数逆量子化手段８２は、可変長復号手段８１によって可変長復号されたデータの量子化ＡＣ係数を逆量子化し、ＤＣ係数逆量子化手段８３は、可変長復号手段８１によって可変長復号されたデータの量子化ＤＣ係数を逆量子化する。
【００４６】
逆ＤＣＴ手段８４は、ＡＣ係数逆量子化手段８２及びＤＣ係数逆量子化手段８３によって逆量子化されたデータを逆ＤＣＴ変換する。
動き補償手段８６は、可変長復号手段８１によって可変長復号されたデータの動きベクトル情報に基づいて、フレームメモリ８５に格納されたフレームデータから現フレームに対する予測画像データを生成する。
【００４７】
そして、加算器８７は、動き補償手段８６によって生成された予測画像データと逆ＤＣＴ手段８４によって逆ＤＣＴ変換されたデータとを加算することにより再生映像信号を出力する。
【００４８】
図９は、符号化映像解析手段４２の構成を示す図である。
符号化映像解析手段４２は、符号化映像信号から再生映像の補正に必要な特徴量だけをとりだすために可変長復号化処理のみを行ない、符号化ブロック単位の動きベクトル、フレーム内符号化画面のブロック単位のＤＣ係数若しくはフレーム間符号化画面のブロック単位のＤＣ係数の差分値等を出力する。
【００４９】
そして、出力された動きベクトルの分散等からは、画面全体の動きの偏りを検出し、静止、縦横スクロール等の、画面全体の動きの特徴量として検出する。
また、出力されたＤＣ係数からは、画面全体の発生分布（輝度の最大値、最小値、これらの平均値）等を検出する。この場合、符号化映像解析手段４２は、図９に示したように、図８を用いて説明した復号・再生手段１１が備える可変長復号手段８１及びＤＣ係数逆量子化手段８３、並びに最大値検出手段９１、最大値フレーム遅延手段９２、最大値平均値算出手段９３、最小値検出手段９４、最小値フレーム遅延手段９５及び最小値平均値算出手段９６を備える。
【００５０】
すなわち、最大値検出手段９１が、ＤＣ係数逆量子化手段８３によって逆量子化されたデータから輝度の最大値を検出し、各最大値フレーム遅延手段９２によって各フレームを遅延させ、最大値平均値算出手段９３によって最大値の平均値を算出する。また、最小値検出手段９４が、ＤＣ係数逆量子化手段８３によって逆量子化されたデータから輝度の最小値を検出し、各最小値フレーム遅延手段９５によって各フレームを遅延させ、最小値平均値算出手段９６によって最小値の平均値を算出する。
【００５１】
また、出力されたブロック単位のＤＣ係数の差分値からは、フレーム間のＤＣ係数の極端な変化や画面全体の一様な変化等により、シーンチェンジやフェード等の特徴量を検出する。
【００５２】
これらの検出された特徴量は、再生映像補正手段１４によって画面単位の特徴量として補正処理に用いられる。
（第３の実施の形態）
図１０は、本発明の第３の実施の形態における映像信号処理装置の構成例を示す図である。
【００５３】
図１０において、本発明の第３の実施の形態における映像信号処理装置１００は、デジタルテレビジョン装置等に備えられ、受信した符号化映像信号を処理した表示映像信号を液晶表示装置等の表示パネル１６に出力する。映像信号処理装置１００は、この処理のために、復号・再生手段１１、画面内局所的特徴量解析手段１２、再生映像補正手段１４及び表示映像補正手段１５に加え、符号化映像解析手段４２、符号化映像データベース（ＤＢ）１０１及び読み出し制御手段１０２を備える。すなわち、映像信号処理装置１００は、上述の第２の実施の形態における映像信号処理装置４０が備える符号化映像信号遅延バッファ４１の代わりに符号化映像データベース１０１及び読み出し制御手段１０２を備えている。
【００５４】
符号化映像データベース１０１は、ハードディスク等の記録媒体であって予め符号化映像信号が複数画面分蓄積されており、読み出し制御手段１０２が符号化映像データベース１０１から１画面ずつ符号化映像信号を読み出して復号・再生手段１１及び符号化映像解析手段４２に出力するように制御している。
【００５５】
このように図４を用いて説明した符号化映像信号遅延バッファ４１を用いる代わりに、記憶媒体である符号化映像データベース１０１から符号化映像信号を先読み及び並行読み出しすることにより、同様な処理を実現することが可能となる。
【００５６】
図１１は、読み出し制御手段１０２によって実行される符号化映像信号の読み出し制御処理の流れを示すフローチャートである。
まず、復号・再生手段１１による復号・再生に先立って画面単位の特徴量解析を開始し、所定画面数（ｎ回）分の解析を進める。
【００５７】
すなわち、ステップＳ１１０１において、符号化映像データベース１０１からｉ（初期値は１）番目の画面の符号化映像信号を読み出し、ステップＳ１１０２において、ステップＳ１１０１で読み出した符号化映像信号を符号化映像解析手段４２に出力する。この処理をｎ回繰り返す（ステップＳ１１０３、Ｓ１１０４）。
【００５８】
次に、特徴量解析のためのi番目の映像符号化信号と、復号・再生手段１１に出力するためのｉ−ｎ番目の映像符号化信号とを並行して読み出して処理を行なう。
すなわち、ステップＳ１１０５において、符号化映像データベース１０１からｉ（初期値は１）番目の画面の符号化映像信号を読み出し、ステップＳ１１０６において、ステップＳ１１０５で読み出した符号化映像信号を符号化映像解析手段４２に出力する。そして、ステップＳ１１０７において、符号化映像データベース１０１からｉ−ｎ番目の画面の符号化映像信号を読み出し、ステップＳ１１０８において、ステップＳ１１０７で読み出した符号化映像信号を復号・再生手段１１に出力する。この処理を繰り返す（ステップＳ１１０９）。
【００５９】
以上、本発明の実施の形態を、図面を参照しながら説明してきたが、本発明が適用される映像信号処理装置は、その機能が実行されるのであれば、上述の実施の形態に限定されることなく、単体の装置であっても、複数の装置からなるシステムあるいは統合装置であっても、ＬＡＮ、ＷＡＮ等のネットワークを介して処理が行なわれるシステムであってもよいことは言うまでもない。
【００６０】
また、図１２に示しように、バス１２８に接続されたＣＰＵ１２１、ＲＯＭやＲＡＭのメモリ１２２、入力装置１２３、出力装置１２４、外部記録装置１２５、媒体駆動装置１２６、可搬記録媒体１２９、ネットワーク接続装置１２７で構成されるシステムでも実現できる。すなわち、前述してきた実施の形態のシステムを実現するソフトェアのプログラムコードを記録したＲＯＭやＲＡＭのメモリ１２２、外部記録装置１２５、可搬記録媒体１２９を、映像信号処理装置に供給し、その映像信号処理装置のコンピュータがプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００６１】
この場合、可搬記録媒体１２９等から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記録した可搬記録媒体１２９等は本発明を構成することになる。
【００６２】
プログラムコードを供給するための可搬記録媒体１２９としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、磁気テープ、不揮発性のメモリーカード、ＲＯＭカード、電子メールやパソコン通信等のネットワーク接続装置１２７（言い換えれば、通信回線）を介して記録した種々の記録媒体等を用いることができる。
【００６３】
また、図１３に示すように、コンピュータがメモリ１２２上に読み出したプログラムコードを実行することによって、前述した実施の形態の機能が実現される他、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部または全部を行ない、その処理によっても前述した実施の形態の機能が実現される。
【００６４】
さらに、可搬型記録媒体１２９から読み出されたプログラムコードやプログラム（デー
タ）提供者から提供されたプログラム（データ）が、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリ１２２に書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ１２１等が実際の処理の一部または全部を行ない、その処理によっても前述した実施の形態の機能が実現され得る。
すなわち、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または形状を取ることができる。
【００６５】
ここで、上述した実施の形態の特徴を列挙すると、以下の通りである。
（付記１）
入力される符号化映像信号から１画面分の画像についての特徴量を解析する符号化映像解析手段と、
前記符号化映像信号を復号化することにより再生映像信号を生成する復号・再生手段と、
前記符号化映像解析手段によって解析された特徴量に基づいて、前記復号・再生手段によって生成された再生映像信号を補正する再生映像補正手段と、
を備えることを特徴とする映像信号処理装置。
（付記２）
前記符号化映像信号の前記復号・再生手段への入力を遅延させるために、前記符号化映像信号を一時的に格納する符号化映像信号遅延バッファ、
を備えることを特徴とする付記１に記載の映像信号処理装置。
（付記３）
前記符号化映像信号を格納する符号化映像データベースと、
前記符号化映像データベースから１画面分の符号化映像信号を読み出し、前記復号・再生手段及び前記符号化映像解析手段に遅延させて出力する読み出し制御手段と、
を備えることを特徴とする付記１に記載の映像信号処理装置。
（付記４）
前記符号化映像解析手段は、前記符号化映像信号を可変長復号することにより特徴量を解析することを特徴とする付記１乃至３の何れか１項に記載の映像信号処理装置。
（付記５）
前記符号化映像解析手段は、画面単位の動きの偏り特徴量、色輝度分布特徴量、画面の変化量特徴量のうち少なくとも１つ以上の特徴量を解析することを特徴とする付記４に記載の映像信号処理装置。
（付記６）
映像信号処理装置のコンピュータが、
入力される符号化映像信号から１画面分の画像についての特徴量を解析し、
前記符号化映像信号を復号化することにより再生映像信号を生成し、
前記解析された特徴量に基づいて、前記生成された再生映像信号を補正する、
ことを特徴とする映像信号処理方法。
（付記７）
前記再生映像信号の生成を遅延させるために、前記符号化映像信号を符号化映像信号遅延バッファへ一時的に格納する、
ことを特徴とする付記６に記載の映像信号処理方法。
（付記８）
映像信号処理装置のコンピュータを、
入力される符号化映像信号から１画面分の画像についての特徴量を解析する符号化映像解析手段と、
前記符号化映像信号を復号化することにより再生映像信号を生成する復号・再生手段と、
前記符号化映像解析手段によって解析された特徴量に基づいて、前記復号・再生手段に
よって生成された再生映像信号を補正する再生映像補正手段と、
して機能させることを特徴とする映像信号処理プログラム。
【図面の簡単な説明】
【００６６】
【図１】従来の映像信号処理装置の構成例を示す図である。
【図２】従来の映像信号処理技術の問題点を説明するための図である。
【図３】本発明の第１の実施の形態における映像信号処理装置の構成例を示す図である。
【図４】本発明の第２の実施の形態における映像信号処理装置の構成例を示す図である。
【図５】本発明の第２の実施の形態による効果の例を説明するための図である。
【図６】符号化映像解析手段４２によって実行される１画面分の符号化映像解析処理の流れを示すフローチャートである。
【図７】再生映像補正手段１４によって実行される１画面分の再生映像補正処理の流れを示すフローチャートである。
【図８】復号・再生手段１１の構成を示す図である。
【図９】符号化映像解析手段４２の構成を示す図である。
【図１０】本発明の第３の実施の形態における映像信号処理装置の構成例を示す図である。
【図１１】読み出し制御手段１０２によって実行される符号化映像信号の読み出し制御処理の流れを示すフローチャートである。
【図１２】本発明における映像信号処理装置の構成図である。
【図１３】本発明における映像信号処理プログラムのコンピュータへのローディングを説明するための図である。
【符号の説明】
【００６７】
１０ 映像信号処理装置
１１ 復号・再生手段
１２ 画面内局所的特徴量解析手段
１３ シーン／画面毎特徴量解析手段
１４ 再生映像補正手段
１５ 表示映像補正手段
１６ 表示パネル
２１Ａ，２１Ｂ，２１Ｃ，２１Ｄ，２１Ｅ，２１Ｆ，２１Ｇ，２１Ｈ 再生映像
２２Ａ，２２Ｂ，２２Ｃ，２２Ｄ，２２Ｅ，２２Ｆ，２２Ｇ，２２Ｈ 表示映像
３０ 映像信号処理装置
３１ 再生映像信号遅延バッファ
３２ 局所的特徴量遅延バッファ
４０ 映像信号処理装置
４１ 符号化映像信号遅延バッファ
４２ 符号化映像解析手段
５２Ａ，５２Ｂ，５２Ｃ，５２Ｄ，５２Ｅ，５２Ｆ，５２Ｇ，５２Ｈ 表示映像
８１ 可変長復号手段
８２ ＡＣ係数逆量子化手段
８３ ＤＣ係数逆量子化手段
８４ 逆ＤＣＴ手段
８５ フレームメモリ
８６ 動き補償手段
８７ 加算器
９１ 最大値検出手段
９２ 最大値フレーム遅延手段
９３ 最大値平均値算出手段
９４ 最小値検出手段
９５ 最小値フレーム遅延手段
９６ 最小値平均値算出手段
１００ 映像信号処理装置
１０１ 符号化映像データベース（ＤＢ）
１０２ 読み出し制御手段
１２１ ＣＰＵ
１２２ メモリ
１２３ 入力装置
１２４ 出力装置
１２５ 外部記録装置
１２６ 媒体駆動装置
１２７ ネットワーク接続装置
１２８ バス
１２９ 可搬記録媒体
【技術分野】
【０００１】
本発明は、鮮明に画像を表示するために符号化映像信号を表示映像信号に処理する映像信号処理技術に関し、特に、デジタルテレビジョン放送による符号化映像信号、インターネット映像配信等で受信した符号化映像信号、若しくはハードディスク等に録画された符号化映像信号を、デジタルテレビジョン装置が備える表示パネル等に鮮明に表示するために、復号処理、補正処理等を行なう映像信号処理装置、映像信号処理方法及び映像信号処理プログラムに関する。
【背景技術】
【０００２】
図１は、従来の映像信号処理装置の構成例を示す図である。
図１において、従来の映像信号処理装置１０は、デジタルテレビジョン装置等に備えられ、受信した符号化映像信号を処理した表示映像信号を液晶表示装置等の表示パネル１６に出力する。映像信号処理装置１０は、この処理のために、復号・再生手段１１、画面内局所的特徴量解析手段１２、シーン／画面毎特徴量解析手段１３、再生映像補正手段１４及び表示映像補正手段１５を備える。
【０００３】
復号・再生手段１１は、入力された符号化映像信号（例えば、ＭＰＥＧ等の国際標準方式に準拠して符号化されたデータ）を、デジタルの再生映像信号に復号化して出力する。
画面内局所的特徴量解析手段１２は、復号・再生手段１１によって復号化された再生映像信号に基づいて、１画面内の局所的な特徴量（例えば、画素単位のエッジ量、動きベクトル等）を解析し、シーン／画面毎特徴量解析手段１３は、復号・再生手段１１によって復号化された再生映像信号及び画面内局所的特徴量解析手段１２によって解析された画面内の局所的な特徴量に基づいて、シーン／画面毎の特徴量（例えば、色輝度分布、縦横スクロール、静止、シーンチェンジ等）を解析する。
【０００４】
再生映像補正手段１４は、復号・再生手段１１によって復号化された再生映像信号、画面内局所的特徴量解析手段１２によって解析された画面内の局所的な特徴量及びシーン／画面毎特徴量解析手段１３によって解析されたシーン／画面毎の特徴量に基づいて、再生映像信号の特性に応じた高画質化を実現するための映像補正処理（例えば、ＩＰ変換、フレームレート変換、動的色輝度補正等）を実行する。
【０００５】
そして、表示映像補正手段１５は、表示パネル１６のパネル性能や特性に応じた映像補正処理（例えば、ガンマ補正等）を実行して表示映像信号を出力する。
このようにして、従来の映像信号処理装置１０は、鮮明に画像を表示するための処理を実行する。
【０００６】
また、各画像入力装置からの画像情報とともに入力装置の特性に応じた補正デ−タをも同時に記憶し、再生に際して対応した補正デ−タをも再生して画像情報を補正することにより、良好な画質の再生画像を得る技術が開示されている（例えば、特許文献１参照。）。
【０００７】
また、画像入力部からの標準信号を基に画像出力部でその画像デ−タの特徴量を抽出し、画像入力部よりの画像情報を損なうことなく、その画像を出力する技術も開示されている（例えば、特許文献２参照。）。
【特許文献１】特開昭６２−１３６９８２号公報
【特許文献２】特開平４−２６１２７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の映像信号処理技術には下記のような問題点があった。
図２は、従来の映像信号処理技術の問題点を説明するための図である。
図２において、上段の再生映像２１Ａ、２１Ｂ、２１Ｃ、２１Ｄ、２１Ｅ、２１Ｆ、２１Ｇ及び２１Ｈは、復号・再生手段１１によって出力された再生映像信号によって構成される１画面分の再生映像であり、再生映像２１Ａ（図２中の左側）から再生映像２１Ｈ（図２中の右側）へ時系列に並んでいる。下段の表示映像２２Ａ、２２Ｂ、２２Ｃ、２２Ｄ、２２Ｅ、２２Ｆ、２２Ｇ及び２２Ｈは、表示映像補正手段１５によって出力された表示映像信号によって構成される１画面分の表示映像であり、表示映像２２Ａ（図２中の左側）から表示映像２２Ｈ（図２中の右側）へ時系列に並んでいる。なお、表示映像２２Ａは再生映像２１Ａに対応しており、同様に表示映像２２Ｂ乃至２２Ｈは再生映像２１Ｂ乃至２１Ｈに対応している。
【０００９】
そして、これらの表示映像２２Ａ乃至２２Ｈの各々は、再生映像２１Ａ乃至２１Ｈのうちの過去の複数枚分の再生映像信号の特徴量に基づいて、映像補正処理が施されている。例えば、表示映像２２Ｅは、再生映像２１Ｂ乃至２１Ｄの３枚分の再生映像信号の特徴量に基づいて、映像補正処理が施されている。
【００１０】
したがって、再生映像２１Ｄから再生映像２１Ｅへ切り替わる際のように、輝度が大きく異なることにより急激にシーンが変化するような場合、再生映像がその変化に迅速に追従することができず、再生映像信号の補正により、表示映像信号の品質がかえって低下しまうという問題点があった。
【００１１】
すなわち、図２に示した例では、再生映像２１Ａ乃至２１Ｄは明る過ぎる（輝度が高い）ため、暗くなるように映像補正処理が施され、再生映像２１Ｅ乃至２１Ｈは暗過ぎる（輝度が低い）ため、明るくなるように映像補正処理が施されているのであるが、例えば、表示映像２２Ｅは、再生映像２１Ｂ乃至２１Ｄの再生映像信号の特徴量に基づいて、映像補正処理を施しているので、暗い表示映像２２Ｅがさらに暗くなり過ぎてしまっている。
【００１２】
本発明は、上述のような実状に鑑みたものであり、急激なシーン変化にも迅速に追従して鮮明に画像を表示するために、復号処理、補正処理等を行なう映像信号処理装置、映像信号処理方法及び映像信号処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明は、上記課題を解決するため、下記のような構成を採用した。
すなわち、本発明の一態様によれば、本発明の映像信号処理装置は、入力される符号化映像信号から１画面分の画像についての特徴量を解析する符号化映像解析手段と、前記符号化映像信号を復号化することにより再生映像信号を生成する復号・再生手段と、前記符号化映像解析手段によって解析された特徴量に基づいて、前記復号・再生手段によって生成された再生映像信号を補正する再生映像補正手段とを備えることを特徴とする。
【００１４】
また、本発明の映像信号処理装置は、さらに、前記符号化映像信号の前記復号・再生手段への入力を遅延させるために、前記符号化映像信号を一時的に格納する符号化映像信号遅延バッファを備えることが望ましい。
【００１５】
また、本発明の映像信号処理装置は、さらに、前記符号化映像信号を格納する符号化映像データベースと、前記符号化映像データベースから１画面分の符号化映像信号を読み出し、前記復号・再生手段及び前記符号化映像解析手段に遅延させて出力する読み出し制御手段とを備えることが望ましい。
【００１６】
また、本発明の映像信号処理装置は、前記符号化映像解析手段が、前記符号化映像信号を可変長復号することにより特徴量を解析することが望ましい。
また、本発明の映像信号処理装置は、前記符号化映像解析手段が、画面単位の動きの偏り特徴量、色輝度分布特徴量、画面の変化量特徴量のうち少なくとも１つ以上の特徴量を解析することが望ましい。
【００１７】
また、本発明の一態様によれば、本発明の映像信号処理方法は、映像信号処理装置のコンピュータが、入力される符号化映像信号から１画面分の画像についての特徴量を解析し、前記符号化映像信号を復号化することにより再生映像信号を生成し、前記解析された特徴量に基づいて、前記生成された再生映像信号を補正することを特徴とする。
【００１８】
また、本発明の一態様によれば、本発明の映像信号処理プログラムは、映像信号処理装置のコンピュータを、入力される符号化映像信号から１画面分の画像についての特徴量を解析する符号化映像解析手段と、前記符号化映像信号を復号化することにより再生映像信号を生成する復号・再生手段と、前記符号化映像解析手段によって解析された特徴量に基づいて、前記復号・再生手段によって生成された再生映像信号を補正する再生映像補正手段として機能させることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、高画質化を実現するために必要な画面単位の映像特徴量を、符号化映像信号から事前に生成することで、将来の画面の特徴量を現行画面の映像補正に利用することが可能となり、シーンの急激な変化に迅速に追従することが可能となる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施の形態について図面を参照しながら説明する。
（第１の実施の形態）
図３は、本発明の第１の実施の形態における映像信号処理装置の構成例を示す図である。
【００２１】
図３において、本発明の第１の実施の形態における映像信号処理装置３０は、デジタルテレビジョン装置等に備えられ、受信した符号化映像信号を処理した表示映像信号を液晶表示装置等の表示パネル１６に出力する。映像信号処理装置３０は、この処理のために、従来の映像信号処理装置１０が備える復号・再生手段１１、画面内局所的特徴量解析手段１２、シーン／画面毎特徴量解析手段１３、再生映像補正手段１４及び表示映像補正手段１５に加え、再生映像信号遅延バッファ３１及び局所的特徴量遅延バッファ３２を備える。
【００２２】
復号・再生手段１１は、入力されたＭＰＥＧ等により符号化された符号化映像信号を、デジタルの再生映像信号に復号化して、再生映像信号遅延バッファ３１に格納する。
画面内局所的特徴量解析手段１２は、復号・再生手段１１によって復号化された再生映像信号に基づいて、画素単位のエッジ量等の１画面内の局所的な特徴量を解析して、局所的特徴量遅延バッファ３２に格納する。また、シーン／画面毎特徴量解析手段１３は、従来と同様に、復号・再生手段１１によって復号化された再生映像信号及び画面内局所的特徴量解析手段１２によって解析された画面内の局所的な特徴量に基づいて、色輝度分布等のシーン／画面毎の特徴量を解析する。
【００２３】
再生映像補正手段１４は、再生映像信号遅延バッファ３１に格納された再生映像信号、局所的特徴量遅延バッファ３２に格納された画面内の局所的な特徴量及びシーン／画面毎特徴量解析手段１３によって解析されたシーン／画面毎の特徴量に基づいて、再生映像信
号の特性に応じた高画質化を実現するためのＩＰ変換等の映像補正処理を実行する。
【００２４】
そして、表示映像補正手段１５は、従来と同様に、表示パネル１６のパネル性能や特性に応じたガンマ補正等の映像補正処理を実行して表示映像信号を出力する。
このように、本発明の第１の実施の形態における映像信号処理装置１０は、再生映像信号遅延バッファ３１及び局所的特徴量遅延バッファ３２を用いて再生映像信号及び画面内の局所的な特徴量を遅延させ、画面単位の特徴量を現画面の映像補正処理に先立って解析することで、未来の画面の解析結果を利用することができ、急激なシーンの変化に迅速に対応することが可能となる。
【００２５】
ただし、再生映像信号と画面の局所的な特徴量を遅延させるための再生映像信号遅延バッファ３１及び局所的特徴量遅延バッファ３２が、先行して解析を実施する画面の数だけ必要となり、ハードウェア規模及びコストの増大をまねくという懸念はある。
（第２の実施の形態）
図４は、本発明の第２の実施の形態における映像信号処理装置の構成例を示す図である。
【００２６】
図４において、本発明の第２の実施の形態における映像信号処理装置４０は、デジタルテレビジョン装置等に備えられ、受信した符号化映像信号を処理した表示映像信号を液晶表示装置等の表示パネル１６に出力する。映像信号処理装置４０は、この処理のために、復号・再生手段１１、画面内局所的特徴量解析手段１２、再生映像補正手段１４及び表示映像補正手段１５に加え、符号化映像信号遅延バッファ４１及び符号化映像解析手段４２を備える。すなわち、映像信号処理装置４０は、上述の第１の実施の形態における映像信号処理装置３０が備えるシーン／画面毎特徴量解析手段１３の代わりに符号化映像解析手段４２を備え、再生映像信号遅延バッファ３１及び局所的特徴量遅延バッファ３２の代わりに符号化映像信号遅延バッファ４１を備えている。
【００２７】
符号化映像信号遅延バッファ４１は、符号化映像解析手段４２と復号・再生手段１１の遅延を考慮して、入力された符号化映像信号を遅延させる。そして、復号・再生手段１１は、入力されたＭＰＥＧ等により符号化され、符号化映像信号遅延バッファ４１で一旦遅延した符号化映像信号を、デジタルの再生映像信号に復号化する。
【００２８】
画面内局所的特徴量解析手段１２は、従来と同様に、復号・再生手段１１によって復号化された再生映像信号に基づいて、画素単位のエッジ量等の１画面内の局所的な特徴量を解析する。
【００２９】
符号化映像解析手段４２は、復号・再生手段１１による復号化に先立って、入力された符号化映像信号に基づいて、シーンや画面毎の特徴量の解析を行なう。
再生映像補正手段１４は、復号・再生手段１１によって復号化された再生映像信号、画面内局所的特徴量解析手段１２によって解析された画面内の局所的な特徴量及び符号化映像解析手段４２によって解析されたシーン／画面毎の特徴量に基づいて、再生映像信号の特性に応じた高画質化を実現するためのＩＰ変換等の映像補正処理を実行する。
【００３０】
そして、表示映像補正手段１５は、従来と同様に、表示パネル１６のパネル性能や特性に応じたガンマ補正等の映像補正処理を実行して表示映像信号を出力する。
図５は、本発明の第２の実施の形態による効果の例を説明するための図である。
【００３１】
図５において、上段の再生映像２１Ａ、２１Ｂ、２１Ｃ、２１Ｄ、２１Ｅ、２１Ｆ、２１Ｇ及び２１Ｈは、復号・再生手段１１によって出力された再生映像信号によって構成される１画面分の再生映像であり、再生映像２１Ａ（図２中の左側）から再生映像２１Ｈ（
図２中の右側）へ時系列に並んでいる。下段の表示映像５２Ａ、５２Ｂ、５２Ｃ、５２Ｄ、５２Ｅ、５２Ｆ、５２Ｇ及び５２Ｈは、表示映像補正手段１５によって出力された表示映像信号によって構成される１画面分の表示映像であり、表示映像５２Ａ（図５中の左側）から表示映像５２Ｈ（図５中の右側）へ時系列に並んでいる。なお、表示映像５２Ａは再生映像２１Ａに対応しており、同様に表示映像５２Ｂ乃至５２Ｈは再生映像２１Ｂ乃至２１Ｈに対応している。
【００３２】
そして、これらの表示映像５２Ａ乃至５２Ｈの各々は、再生映像２１Ａ乃至２１Ｈのうちの過去の複数枚分の再生映像信号の特徴量に基づいて、映像補正処理が施されている。例えば、表示映像５２Ｅは、符号化映像信号遅延バッファ４１で一旦遅延した符号化映像信号を復号・再生手段１１で復号化するため、再生映像２１Ｄ乃至２１Ｆの３枚分の再生映像信号の特徴量に基づいて、映像補正処理が施されることになる。
【００３３】
したがって、再生映像２１Ｄから再生映像２１Ｅへ切り替わる際のように、輝度が大きく異なることにより急激にシーンが変化するような場合であっても、再生映像がその変化に迅速に追従することができる。
【００３４】
更に、遅延させるデータが、復号前の符号化映像信号であるため、実現に必要な符号化映像信号遅延バッファ４１の大幅な増加を伴わない。
次に、本発明の第２の実施の形態における符号化映像解析手段４２による処理及び再生映像補正手段１４による処理について、フローチャートを用いて説明する。
【００３５】
図６は、符号化映像解析手段４２によって実行される１画面分の符号化映像解析処理の流れを示すフローチャートである。
まず、ステップＳ６０１において、例えば、輝度の最大値［０］を０、輝度の最小値［０］を２５５に初期化する。
【００３６】
そして、ステップＳ６０２において、１画面分の符号化映像信号（可変長符号）を読み込み、ステップＳ６０３において、可変長復号処理を開始する。
ステップＳ６０４において、ステップＳ６０３で可変長復号処理を開始したデータについて順に輝度のＤＣ係数であるか否かを判断し、ＤＣ係数であると判断した場合（ステップＳ６０４：Ｙ）は、ステップＳ６０５において、逆量子化処理を実行する。
【００３７】
そして、ステップＳ６０６において、ステップＳ６０５で逆量子化処理をした値が輝度の最大値より大きいか否かを判断し、輝度の最大値より大きくないと判断した場合（ステップＳ６０６：Ｎ）は、さらに、ステップＳ６０７において、ステップＳ６０５で逆量子化処理をした値が輝度の最小値より小さいか否かを判断し、輝度の最小値より小さいと判断した場合（ステップＳ６０７：Ｙ）は、ステップＳ６０８において、輝度の最小値を更新する。
【００３８】
他方、輝度の最大値より大きいと判断した場合（ステップＳ６０６：Ｙ）は、ステップＳ６０９において、輝度の最大値を更新する。
そして、ステップＳ６１０において、１画面分の可変長復号が完了したか否かを判断し、完了したと判断した場合（ステップＳ６１０：Ｙ）は、ステップＳ６１１において、輝度の最大値及び最小値の平均値を算出する。例えば、輝度の最大値＝（輝度の最大値［０］＋輝度の最大値［１］＋輝度の最大値［２］）／３、輝度の最小値＝（輝度の最小値［０］＋輝度の最小値［１］＋輝度の最小値［２］）／３を算出する。
【００３９】
最後にステップＳ６１２において、輝度の最大値［２］に輝度の最大値［１］を、輝度の最大値［１］に輝度の最大値［０］をそれぞれ代入し、輝度の最小値［２］に輝度の最
小値［１］を、輝度の最小値［１］に輝度の最小値［０］をそれぞれ代入する。
【００４０】
図７は、再生映像補正手段１４によって実行される１画面分の再生映像補正処理の流れを示すフローチャートである。
まず、ステップＳ７０１において、復号・再生手段１１によって出力された再生映像信号を１画面取り込み、ステップＳ７０２において、例えば輝度の最小値若しくは最大値若しくはこれら輝度の最小値及び最大値等の画面の特徴量の取り込みを行なう。
【００４１】
次に、ステップＳ７０３において、画素単位の輝度値補正処理を実行する。例えば、輝度が８ビットで、輝度の最小値をａ、輝度の最大値をｂとした場合、ａよりｂの方が大きいという条件（ｂ＞ａ）を満たせば、補正後の輝度値は、ｍｉｎ（ｍａｘ（（補正前の輝度値−ａ）×２５６／（ｂ−ａ），０），２５５）となり、それ以外の場合は、補正後の輝度値＝補正前の輝度値となる。
【００４２】
そして、ステップＳ７０４において、全画素についてステップＳ７０３の輝度稚補正処理が完了したか否かを判断する。
完了してないと判断した場合（ステップＳ７０４：Ｎ）は、ステップＳ７０３以降を繰り返し、他方、完了したと判断した場合（ステップＳ７０４：Ｙ）は、ステップＳ７０５において、例えば平坦度合い若しくは急峻度合い等の局所的な（画素単位の）特徴量の取り込みを実行し、ステップＳ７０６において、画素単位のエッジ強調処理を実行する。
【００４３】
そして、ステップＳ７０７において、全画素分のエッジ強調処理が完了したか否かを判断し、完了していないと判断した場合（ステップＳ７０７：Ｎ）は、ステップＳ７０５以降を繰り返す。
（第２の実施の形態の変形例）
次に、復号・再生手段１１が備える機能の一部を、復号・再生手段１１の代わりに符号化映像解析手段４２が実行して、符号化映像信号から特徴量を抽出する変形例を説明する。
【００４４】
図８は、復号・再生手段１１の構成を示す図である。
図８において、復号・再生手段１１は、可変長復号手段８１、ＡＣ係数逆量子化手段８２、ＤＣ係数逆量子化手段８３、逆ＤＣＴ手段８４、フレームメモリ８５、動き補償手段８６及び加算器８７を備える。
【００４５】
可変長復号手段８１は、入力された符号化映像信号を可変長復号する。
ＡＣ係数逆量子化手段８２は、可変長復号手段８１によって可変長復号されたデータの量子化ＡＣ係数を逆量子化し、ＤＣ係数逆量子化手段８３は、可変長復号手段８１によって可変長復号されたデータの量子化ＤＣ係数を逆量子化する。
【００４６】
逆ＤＣＴ手段８４は、ＡＣ係数逆量子化手段８２及びＤＣ係数逆量子化手段８３によって逆量子化されたデータを逆ＤＣＴ変換する。
動き補償手段８６は、可変長復号手段８１によって可変長復号されたデータの動きベクトル情報に基づいて、フレームメモリ８５に格納されたフレームデータから現フレームに対する予測画像データを生成する。
【００４７】
そして、加算器８７は、動き補償手段８６によって生成された予測画像データと逆ＤＣＴ手段８４によって逆ＤＣＴ変換されたデータとを加算することにより再生映像信号を出力する。
【００４８】
図９は、符号化映像解析手段４２の構成を示す図である。
符号化映像解析手段４２は、符号化映像信号から再生映像の補正に必要な特徴量だけをとりだすために可変長復号化処理のみを行ない、符号化ブロック単位の動きベクトル、フレーム内符号化画面のブロック単位のＤＣ係数若しくはフレーム間符号化画面のブロック単位のＤＣ係数の差分値等を出力する。
【００４９】
そして、出力された動きベクトルの分散等からは、画面全体の動きの偏りを検出し、静止、縦横スクロール等の、画面全体の動きの特徴量として検出する。
また、出力されたＤＣ係数からは、画面全体の発生分布（輝度の最大値、最小値、これらの平均値）等を検出する。この場合、符号化映像解析手段４２は、図９に示したように、図８を用いて説明した復号・再生手段１１が備える可変長復号手段８１及びＤＣ係数逆量子化手段８３、並びに最大値検出手段９１、最大値フレーム遅延手段９２、最大値平均値算出手段９３、最小値検出手段９４、最小値フレーム遅延手段９５及び最小値平均値算出手段９６を備える。
【００５０】
すなわち、最大値検出手段９１が、ＤＣ係数逆量子化手段８３によって逆量子化されたデータから輝度の最大値を検出し、各最大値フレーム遅延手段９２によって各フレームを遅延させ、最大値平均値算出手段９３によって最大値の平均値を算出する。また、最小値検出手段９４が、ＤＣ係数逆量子化手段８３によって逆量子化されたデータから輝度の最小値を検出し、各最小値フレーム遅延手段９５によって各フレームを遅延させ、最小値平均値算出手段９６によって最小値の平均値を算出する。
【００５１】
また、出力されたブロック単位のＤＣ係数の差分値からは、フレーム間のＤＣ係数の極端な変化や画面全体の一様な変化等により、シーンチェンジやフェード等の特徴量を検出する。
【００５２】
これらの検出された特徴量は、再生映像補正手段１４によって画面単位の特徴量として補正処理に用いられる。
（第３の実施の形態）
図１０は、本発明の第３の実施の形態における映像信号処理装置の構成例を示す図である。
【００５３】
図１０において、本発明の第３の実施の形態における映像信号処理装置１００は、デジタルテレビジョン装置等に備えられ、受信した符号化映像信号を処理した表示映像信号を液晶表示装置等の表示パネル１６に出力する。映像信号処理装置１００は、この処理のために、復号・再生手段１１、画面内局所的特徴量解析手段１２、再生映像補正手段１４及び表示映像補正手段１５に加え、符号化映像解析手段４２、符号化映像データベース（ＤＢ）１０１及び読み出し制御手段１０２を備える。すなわち、映像信号処理装置１００は、上述の第２の実施の形態における映像信号処理装置４０が備える符号化映像信号遅延バッファ４１の代わりに符号化映像データベース１０１及び読み出し制御手段１０２を備えている。
【００５４】
符号化映像データベース１０１は、ハードディスク等の記録媒体であって予め符号化映像信号が複数画面分蓄積されており、読み出し制御手段１０２が符号化映像データベース１０１から１画面ずつ符号化映像信号を読み出して復号・再生手段１１及び符号化映像解析手段４２に出力するように制御している。
【００５５】
このように図４を用いて説明した符号化映像信号遅延バッファ４１を用いる代わりに、記憶媒体である符号化映像データベース１０１から符号化映像信号を先読み及び並行読み出しすることにより、同様な処理を実現することが可能となる。
【００５６】
図１１は、読み出し制御手段１０２によって実行される符号化映像信号の読み出し制御処理の流れを示すフローチャートである。
まず、復号・再生手段１１による復号・再生に先立って画面単位の特徴量解析を開始し、所定画面数（ｎ回）分の解析を進める。
【００５７】
すなわち、ステップＳ１１０１において、符号化映像データベース１０１からｉ（初期値は１）番目の画面の符号化映像信号を読み出し、ステップＳ１１０２において、ステップＳ１１０１で読み出した符号化映像信号を符号化映像解析手段４２に出力する。この処理をｎ回繰り返す（ステップＳ１１０３、Ｓ１１０４）。
【００５８】
次に、特徴量解析のためのi番目の映像符号化信号と、復号・再生手段１１に出力するためのｉ−ｎ番目の映像符号化信号とを並行して読み出して処理を行なう。
すなわち、ステップＳ１１０５において、符号化映像データベース１０１からｉ（初期値は１）番目の画面の符号化映像信号を読み出し、ステップＳ１１０６において、ステップＳ１１０５で読み出した符号化映像信号を符号化映像解析手段４２に出力する。そして、ステップＳ１１０７において、符号化映像データベース１０１からｉ−ｎ番目の画面の符号化映像信号を読み出し、ステップＳ１１０８において、ステップＳ１１０７で読み出した符号化映像信号を復号・再生手段１１に出力する。この処理を繰り返す（ステップＳ１１０９）。
【００５９】
以上、本発明の実施の形態を、図面を参照しながら説明してきたが、本発明が適用される映像信号処理装置は、その機能が実行されるのであれば、上述の実施の形態に限定されることなく、単体の装置であっても、複数の装置からなるシステムあるいは統合装置であっても、ＬＡＮ、ＷＡＮ等のネットワークを介して処理が行なわれるシステムであってもよいことは言うまでもない。
【００６０】
また、図１２に示しように、バス１２８に接続されたＣＰＵ１２１、ＲＯＭやＲＡＭのメモリ１２２、入力装置１２３、出力装置１２４、外部記録装置１２５、媒体駆動装置１２６、可搬記録媒体１２９、ネットワーク接続装置１２７で構成されるシステムでも実現できる。すなわち、前述してきた実施の形態のシステムを実現するソフトェアのプログラムコードを記録したＲＯＭやＲＡＭのメモリ１２２、外部記録装置１２５、可搬記録媒体１２９を、映像信号処理装置に供給し、その映像信号処理装置のコンピュータがプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００６１】
この場合、可搬記録媒体１２９等から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記録した可搬記録媒体１２９等は本発明を構成することになる。
【００６２】
プログラムコードを供給するための可搬記録媒体１２９としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、磁気テープ、不揮発性のメモリーカード、ＲＯＭカード、電子メールやパソコン通信等のネットワーク接続装置１２７（言い換えれば、通信回線）を介して記録した種々の記録媒体等を用いることができる。
【００６３】
また、図１３に示すように、コンピュータがメモリ１２２上に読み出したプログラムコードを実行することによって、前述した実施の形態の機能が実現される他、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部または全部を行ない、その処理によっても前述した実施の形態の機能が実現される。
【００６４】
さらに、可搬型記録媒体１２９から読み出されたプログラムコードやプログラム（デー
タ）提供者から提供されたプログラム（データ）が、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリ１２２に書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ１２１等が実際の処理の一部または全部を行ない、その処理によっても前述した実施の形態の機能が実現され得る。
すなわち、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または形状を取ることができる。
【００６５】
ここで、上述した実施の形態の特徴を列挙すると、以下の通りである。
（付記１）
入力される符号化映像信号から１画面分の画像についての特徴量を解析する符号化映像解析手段と、
前記符号化映像信号を復号化することにより再生映像信号を生成する復号・再生手段と、
前記符号化映像解析手段によって解析された特徴量に基づいて、前記復号・再生手段によって生成された再生映像信号を補正する再生映像補正手段と、
を備えることを特徴とする映像信号処理装置。
（付記２）
前記符号化映像信号の前記復号・再生手段への入力を遅延させるために、前記符号化映像信号を一時的に格納する符号化映像信号遅延バッファ、
を備えることを特徴とする付記１に記載の映像信号処理装置。
（付記３）
前記符号化映像信号を格納する符号化映像データベースと、
前記符号化映像データベースから１画面分の符号化映像信号を読み出し、前記復号・再生手段及び前記符号化映像解析手段に遅延させて出力する読み出し制御手段と、
を備えることを特徴とする付記１に記載の映像信号処理装置。
（付記４）
前記符号化映像解析手段は、前記符号化映像信号を可変長復号することにより特徴量を解析することを特徴とする付記１乃至３の何れか１項に記載の映像信号処理装置。
（付記５）
前記符号化映像解析手段は、画面単位の動きの偏り特徴量、色輝度分布特徴量、画面の変化量特徴量のうち少なくとも１つ以上の特徴量を解析することを特徴とする付記４に記載の映像信号処理装置。
（付記６）
映像信号処理装置のコンピュータが、
入力される符号化映像信号から１画面分の画像についての特徴量を解析し、
前記符号化映像信号を復号化することにより再生映像信号を生成し、
前記解析された特徴量に基づいて、前記生成された再生映像信号を補正する、
ことを特徴とする映像信号処理方法。
（付記７）
前記再生映像信号の生成を遅延させるために、前記符号化映像信号を符号化映像信号遅延バッファへ一時的に格納する、
ことを特徴とする付記６に記載の映像信号処理方法。
（付記８）
映像信号処理装置のコンピュータを、
入力される符号化映像信号から１画面分の画像についての特徴量を解析する符号化映像解析手段と、
前記符号化映像信号を復号化することにより再生映像信号を生成する復号・再生手段と、
前記符号化映像解析手段によって解析された特徴量に基づいて、前記復号・再生手段に
よって生成された再生映像信号を補正する再生映像補正手段と、
して機能させることを特徴とする映像信号処理プログラム。
【図面の簡単な説明】
【００６６】
【図１】従来の映像信号処理装置の構成例を示す図である。
【図２】従来の映像信号処理技術の問題点を説明するための図である。
【図３】本発明の第１の実施の形態における映像信号処理装置の構成例を示す図である。
【図４】本発明の第２の実施の形態における映像信号処理装置の構成例を示す図である。
【図５】本発明の第２の実施の形態による効果の例を説明するための図である。
【図６】符号化映像解析手段４２によって実行される１画面分の符号化映像解析処理の流れを示すフローチャートである。
【図７】再生映像補正手段１４によって実行される１画面分の再生映像補正処理の流れを示すフローチャートである。
【図８】復号・再生手段１１の構成を示す図である。
【図９】符号化映像解析手段４２の構成を示す図である。
【図１０】本発明の第３の実施の形態における映像信号処理装置の構成例を示す図である。
【図１１】読み出し制御手段１０２によって実行される符号化映像信号の読み出し制御処理の流れを示すフローチャートである。
【図１２】本発明における映像信号処理装置の構成図である。
【図１３】本発明における映像信号処理プログラムのコンピュータへのローディングを説明するための図である。
【符号の説明】
【００６７】
１０ 映像信号処理装置
１１ 復号・再生手段
１２ 画面内局所的特徴量解析手段
１３ シーン／画面毎特徴量解析手段
１４ 再生映像補正手段
１５ 表示映像補正手段
１６ 表示パネル
２１Ａ，２１Ｂ，２１Ｃ，２１Ｄ，２１Ｅ，２１Ｆ，２１Ｇ，２１Ｈ 再生映像
２２Ａ，２２Ｂ，２２Ｃ，２２Ｄ，２２Ｅ，２２Ｆ，２２Ｇ，２２Ｈ 表示映像
３０ 映像信号処理装置
３１ 再生映像信号遅延バッファ
３２ 局所的特徴量遅延バッファ
４０ 映像信号処理装置
４１ 符号化映像信号遅延バッファ
４２ 符号化映像解析手段
５２Ａ，５２Ｂ，５２Ｃ，５２Ｄ，５２Ｅ，５２Ｆ，５２Ｇ，５２Ｈ 表示映像
８１ 可変長復号手段
８２ ＡＣ係数逆量子化手段
８３ ＤＣ係数逆量子化手段
８４ 逆ＤＣＴ手段
８５ フレームメモリ
８６ 動き補償手段
８７ 加算器
９１ 最大値検出手段
９２ 最大値フレーム遅延手段
９３ 最大値平均値算出手段
９４ 最小値検出手段
９５ 最小値フレーム遅延手段
９６ 最小値平均値算出手段
１００ 映像信号処理装置
１０１ 符号化映像データベース（ＤＢ）
１０２ 読み出し制御手段
１２１ ＣＰＵ
１２２ メモリ
１２３ 入力装置
１２４ 出力装置
１２５ 外部記録装置
１２６ 媒体駆動装置
１２７ ネットワーク接続装置
１２８ バス
１２９ 可搬記録媒体
【特許請求の範囲】
【請求項１】
入力される符号化映像信号から１画面分の画像についての特徴量を解析する符号化映像解析手段と、
前記符号化映像信号を復号化することにより再生映像信号を生成する復号・再生手段と、
前記符号化映像解析手段によって解析された特徴量に基づいて、前記復号・再生手段によって生成された再生映像信号を補正する再生映像補正手段と、
を備えることを特徴とする映像信号処理装置。
【請求項２】
前記符号化映像信号の前記復号・再生手段への入力を遅延させるために、前記符号化映像信号を一時的に格納する符号化映像信号遅延バッファ、
を備えることを特徴とする請求項１に記載の映像信号処理装置。
【請求項３】
前記符号化映像信号を格納する符号化映像データベースと、
前記符号化映像データベースから１画面分の符号化映像信号を読み出し、前記復号・再生手段及び前記符号化映像解析手段に遅延させて出力する読み出し制御手段と、
を備えることを特徴とする請求項１に記載の映像信号処理装置。
【請求項４】
前記符号化映像解析手段は、前記符号化映像信号を可変長復号することにより特徴量を解析することを特徴とする請求項１乃至３の何れか１項に記載の映像信号処理装置。
【請求項５】
前記符号化映像解析手段は、画面単位の動きの偏り特徴量、色輝度分布特徴量、画面の変化量特徴量のうち少なくとも１つ以上の特徴量を解析することを特徴とする請求項４に記載の映像信号処理装置。
【請求項６】
映像信号処理装置のコンピュータが、
入力される符号化映像信号から１画面分の画像についての特徴量を解析し、
前記符号化映像信号を復号化することにより再生映像信号を生成し、
前記解析された特徴量に基づいて、前記生成された再生映像信号を補正する、
ことを特徴とする映像信号処理方法。
【請求項７】
映像信号処理装置のコンピュータを、
入力される符号化映像信号から１画面分の画像についての特徴量を解析する符号化映像解析手段と、
前記符号化映像信号を復号化することにより再生映像信号を生成する復号・再生手段と、
前記符号化映像解析手段によって解析された特徴量に基づいて、前記復号・再生手段によって生成された再生映像信号を補正する再生映像補正手段と、
して機能させることを特徴とする映像信号処理プログラム。
【請求項１】
入力される符号化映像信号から１画面分の画像についての特徴量を解析する符号化映像解析手段と、
前記符号化映像信号を復号化することにより再生映像信号を生成する復号・再生手段と、
前記符号化映像解析手段によって解析された特徴量に基づいて、前記復号・再生手段によって生成された再生映像信号を補正する再生映像補正手段と、
を備えることを特徴とする映像信号処理装置。
【請求項２】
前記符号化映像信号の前記復号・再生手段への入力を遅延させるために、前記符号化映像信号を一時的に格納する符号化映像信号遅延バッファ、
を備えることを特徴とする請求項１に記載の映像信号処理装置。
【請求項３】
前記符号化映像信号を格納する符号化映像データベースと、
前記符号化映像データベースから１画面分の符号化映像信号を読み出し、前記復号・再生手段及び前記符号化映像解析手段に遅延させて出力する読み出し制御手段と、
を備えることを特徴とする請求項１に記載の映像信号処理装置。
【請求項４】
前記符号化映像解析手段は、前記符号化映像信号を可変長復号することにより特徴量を解析することを特徴とする請求項１乃至３の何れか１項に記載の映像信号処理装置。
【請求項５】
前記符号化映像解析手段は、画面単位の動きの偏り特徴量、色輝度分布特徴量、画面の変化量特徴量のうち少なくとも１つ以上の特徴量を解析することを特徴とする請求項４に記載の映像信号処理装置。
【請求項６】
映像信号処理装置のコンピュータが、
入力される符号化映像信号から１画面分の画像についての特徴量を解析し、
前記符号化映像信号を復号化することにより再生映像信号を生成し、
前記解析された特徴量に基づいて、前記生成された再生映像信号を補正する、
ことを特徴とする映像信号処理方法。
【請求項７】
映像信号処理装置のコンピュータを、
入力される符号化映像信号から１画面分の画像についての特徴量を解析する符号化映像解析手段と、
前記符号化映像信号を復号化することにより再生映像信号を生成する復号・再生手段と、
前記符号化映像解析手段によって解析された特徴量に基づいて、前記復号・再生手段によって生成された再生映像信号を補正する再生映像補正手段と、
して機能させることを特徴とする映像信号処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００８−２２５２４１（Ｐ２００８−２２５２４１Ａ）
【公開日】平成２０年９月２５日（２００８．９．２５）
【国際特許分類】
【出願番号】特願２００７−６５６９７（Ｐ２００７−６５６９７）
【出願日】平成１９年３月１４日（２００７．３．１４）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２０年９月２５日（２００８．９．２５）
【国際特許分類】
【出願日】平成１９年３月１４日（２００７．３．１４）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]