映像処理装置及び方法及びプログラム
【課題】 人的・時間的なコストをかけずに、指定された閾値内に映像品質を保ち、映像コンテンツの解像度に解像度変換させてデータ量を削減する。
【解決手段】 本発明は、入力映像データについて、指定された映像品質の条件を満たす解像度の中から最小の解像度（最適解像度）を算出し、入力映像データから、映像データのエッジ量と解像度（入力解像度）を算出し、エッジ量と入力解像度から最適解像度を算出する。このとき、映像コンテンツの解像度(変換前)を低下させる解像度変換による映像品質の低下の度合いの値が、予め指定された閾値内になるような変換後の解像度のうち、最小の解像度（最適解像度)となる解像度を算出し、当該解像度で実際に映像コンテンツの解像度を変換する。
【解決手段】 本発明は、入力映像データについて、指定された映像品質の条件を満たす解像度の中から最小の解像度（最適解像度）を算出し、入力映像データから、映像データのエッジ量と解像度（入力解像度）を算出し、エッジ量と入力解像度から最適解像度を算出する。このとき、映像コンテンツの解像度(変換前)を低下させる解像度変換による映像品質の低下の度合いの値が、予め指定された閾値内になるような変換後の解像度のうち、最小の解像度（最適解像度)となる解像度を算出し、当該解像度で実際に映像コンテンツの解像度を変換する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理装置及び方法及びプログラムに係り、特に、入力される映像コンテンツ（以下、「入力映像コンテンツ」と記す）について、一定の映像品質を維持したまま映像コンテンツの解像度を下げることにより、映像コンテンツのデータ量を削減する映像処理装置及び方法及びプログラムに関する。
【背景技術】
【０００２】
地上テレビ放送のデジタル化により、一般家庭にもFull-HDサイズの映像コンテンツを視聴可能な環境が整ってきた。それに伴い、映像配信サービスやパッケージメディアにおいてもFull-HDサイズの映像コンテンツの提供が開始されている。高解像度の映像コンテンツは画質の高さがユーザへの訴求点になっているが、データ量が多くなるため映像データを保存するためのストレージや伝送するためのネットワークの設備コストが大きな負担になる。
【０００３】
ここで解像度と映像品質の関係について説明する。図１は、７種類の映像コンテンツそれぞれにおいて、解像度変換（Full-HD 1920×1080⇒Half-HD 960×1080）が与える品質への影響の差異を表している。図1において、映像コンテンツ５〜７は解像度の低下に伴い映像品質の低下の度合いが大きくなる。すなわち、解像度の低下によって映像品質が低下しているのに対し、映像コンテンツ１〜４は解像度の差がほとんど映像品質に影響を及ぼしていない。図１が示すように、映像コンテンツによっては、映像コンテンツの解像度の低下が映像品質の低下に影響を及ぼさない閾値があるため、映像コンテンツ毎に、映像品質の低下に影響を及ぼさない必要最低限の解像度に設定することにより、映像コンテンツのデータ量を削減することができる。
【０００４】
従来、非特許文献１では映像の製作者が事前にシーン毎に優先度や動きの激しさをメタ情報として付与し、その情報に基づいて解像度を変化させる技術が記載されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】村田嘉利、増田彰久、太田賢、石原進、水野忠則、"モバイルマルチメディアストリーミングサービスのためのコンテンツ指向時空間的解像度制御方式"， 情報処理学会論文誌，Vol.43，No．12，pp．3838−3847、2002（12）.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、映像製作者が事前にシーン毎に優先度や動きの激しさをメタ情報として付与し、その情報に基づいて映像品質を考慮して変動させる技術(非特許文献１)は、シーン毎に製作者が対応する必要があり、人的・時間的なコストが増大するという問題がある。
【０００７】
本発明は、上記に鑑みてなされたもので、映像コンテンツのデータから得られるコンテンツ特徴量を用いることにより、人的・時間的なコストをかけずに、人間が知覚する映像品質(映像品質の低下の度合い)について、指定された条件を満たす、すなわち指定された閾値内に映像品質を保つ、映像コンテンツの解像度に解像度変換させてデータ量を削減することであり、指定された映像品質の条件に応じた映像コンテンツの解像度に変換する、映像処理装置、方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、本発明は、入力された映像データ（以下、「入力映像データ」と記す）について、指定された映像品質の条件を満たす解像度に、入力映像データの解像度を変換する映像処理装置であって、
前記入力映像データについて、指定された映像品質の条件を満たす解像度の中から最小の解像度（最適解像度）を算出する最適映像パラメータ導出手段と、
前記最適映像パラメータ導出手段で算出した前記最適解像度に基づいて、前記入力映像データの解像度を変換して最適化映像データを出力する映像最適化処理手段と、
を備え、
前記最適映像パラメータ導出手段は、
前記入力映像データから、前記映像データのエッジ量と解像度（入力解像度）を算出するエッジ量算出手段と、
前記エッジ量と前記入力解像度から前記最適解像度を算出する最適解像度算出手段と、
を含む。
【発明の効果】
【０００９】
本発明によれば、入力映像コンテンツの映像品質を一定に保ったまま映像コンテンツの解像度を下げることにより、映像コンテンツのデータ量を削減することができる。そのため、映像品質を指定された閾値を越えて低下させて、映像品質に影響を及ぼすことなく、ストレージの容量削減や通信のトラヒック削減を可能とし、コスト削減に繋がる。
【図面の簡単な説明】
【００１０】
【図１】映像コンテンツ毎の解像度変換時の映像品質低下の度合いである。
【図２】エッジ映像データである。
【図３】映像コンテンツのエッジ量と解像度変換時の映像品質低下の度合いの関係である。
【図４】本発明の一実施の形態における映像処理装置の構成図である。
【図５】本発明の一実施の形態におけるエッジ量と解像度変換時の映像品質低下の度合いの関係を表したモデル式である。
【図６】本発明の一実施の形態における最適解像度算出部の構成図である。
【図７】本発明の一実施の形態における映像処理装置の動作のフローチャートである。
【発明を実施するための形態】
【００１１】
以下図面と共に、本発明の実施の形態を説明する。
【００１２】
本発明は、指定された映像品質の条件に応じた映像コンテンツの解像度に変換するための装置、方法を提供するものであるが、具体的には、映像コンテンツの解像度(変換前)を低下させる解像度変換による映像品質の低下の度合いの値が、予め指定された閾値内になるような変換後の解像度の内、最小の解像度(最適解像度)となる解像度を算出し、当該解像度で実際に映像コンテンツの解像度を変換する処理を行う。
【００１３】
本願発明は、解像度の低下が「人間が知覚する映像品質の低下の度合い」に与える影響に関する実験結果に基づき定義した、「解像度変換前後の映像品質の低下の度合いのモデル式」を基に、最適解像度を算出する点が特徴となる。
【００１４】
本発明の解決手段を説明する。本発明では、入力される映像コンテンツの画素情報から得られるコンテンツの特徴量であるエッジ量を用いることにより、指定された映像品質の条件を満たすことが可能な最小の映像コンテンツの解像度（最適解像度）を算出し、入力された映像コンテンツの解像度を当該最適解像度に解像度変換することで、指定された一定の映像品質を維持した状態で、映像コンテンツのデータ量の変換を可能とする。
【００１５】
指定された映像品質の条件を満たすとは、「映像品質の低下の度合い」を指定された閾値内に保つことである。
【００１６】
映像コンテンツにおける、解像度の変換による映像品質の低下の原因として、解像度の変換によって映像コンテンツのエッジ（輪郭線）が消失するもしくは歪んでしまうことが挙げられる。このことから、エッジを多く含む映像コンテンツほど、解像度の変換時に映像品質の低下の度合いが大きくなると考えられるため、エッジの量から最適解像度を算出する技術を提供する。
【００１７】
エッジの量は例えばソーベルフィルタ、ラプラシアンフィルタ、プレヴィットフィルタ、キャニーエッジフィルタなどの既知のエッジ抽出フィルタを適用し得られるエッジ映像データ（図２）に対して、フレーム毎の画素値の平均値または全てのフレームにおける、フレーム毎の画素値の標準偏差の平均値もしくは最大値として計算される。
【００１８】
図３は映像コンテンツのエッジ量と解像度の変換時の映像品質低下の度合いの関係を示している。図３が示すようにエッジ量が大きくなると、解像度の変換時の映像品質の低下の度合いが大きくなる関係がある。この関係を、解像度の変換の前後の解像度の組み合わせ（例えば、1920×1080から1440×1080、1920×1080から960×1080、1920×1080から1280×720など）毎にモデル化する。このモデルを用いることで、入力映像コンテンツの解像度と解像度の変換時の解像度との組み合わせ毎に、エッジ量と解像度変換時の映像品質の低下の度合いを算出し、映像品質の低下の度合いが指定された閾値内を保ち、一定の映像品質を維持する最小の解像度を最適解像度として算出できることになる。
【００１９】
図４は、本発明の一実施の形態における映像処理装置の構成を示す。
【００２０】
同図に示す映像処理装置は、最適映像パラメータ導出部１、映像最適化処理部２から構成される。映像コンテンツのデータ(以下、「映像データ」と記す)を入力とし、映像コンテンツの解像度を最適解像度に解像度変換した映像データ（以下、「最適化映像データ」と記す）を出力とする。本映像処理装置に入力された映像データは、最適化映像パラメータ導出部１と映像最適化処理部２への入力とされる。
【００２１】
また、「映像品質」とは映像品質の低下の度合いとし、「指定された映像品質の条件」とは、指定された閾値以下に、解像度変換による映像品質の低下の度合いを保つことである。
【００２２】
最適化映像パラメータ導出部１は、エッジ量算出部１１と最適解像度算出部１２で構成される。最適化映像パラメータ導出部１は映像データを入力とし、エッジ量算出部１１において、入力された映像データをもとにエッジ量、入力解像度を算出して、最適解像度算出部１２への入力として出力され、最適解像度算出部１２において、エッジ量算出部１１で算出されたエッジ量、入力解像度をもとに、最適解像度を算出し、入力解像度と最適化解像度を出力して、映像最適化処理部２への入力として出力される。
【００２３】
エッジ量算出部１１では、入力された映像データに含まれる輝度レイヤの各フレームに対して、例えばソーベルフィルタ、ラプラシアンフィルタ、プレヴィットフィルタ、キャニーエッジフィルタ（文献１「"A Computational Approach to Edge Detection," by J.F. Canny, IEEE Transactions on Pattern Analysis and Machine Intelligence, 8, pp.769-798, 1986」）などの既知のエッジ抽出フィルタを適用して、エッジ映像データを生成する。本実施の形態では次式のようにソーベルフィルタを用いてエッジ映像データE（w,h,f）を算出する。
【００２４】
【数１】
ここでy(w,h,f)はｆ番目のフレームの画素位置（w,h）の輝度値を示す。
【００２５】
生成したエッジ映像データの各フレームの画素値の標準偏差（もしくは平均値）を基に、全フレームの平均値（もしくは最大値）をエッジ量として算出する。本実施の形態では次式のように標準偏差の平均値を用いてエッジ量ｅを算出する。
【００２６】
【数２】
ここで、上記式中の関数stdspace[ ]は、フレーム毎にフレーム内の画素値の標準偏差を出力する関数、Nはフレームの総数を示す。
【００２７】
エッジ量算出部１１では、算出したエッジ量ｅを最適解像度算出部１２に入力すると共に、入力された映像データに含まれるメタデータをもとに、入力された映像データの解像度（以下、「入力解像度」と記す）を参照し、入力解像度を最適解像度算出部１２に入力する。なお、メタデータはAVIやmp4などのファイルフォーマット毎にデータ構造が定められている。また、メタデータを含まない映像データの場合は、入力を受け付けない、もしくはデフォルトの入力解像度を用いる、もしくは手動で設定する必要がある。
【００２８】
最適解像度算出部１２は、解像度の変換の前後の解像度の組み合わせ（例えば、1920×1080と1440×1080，1920×080と960×1080，1920×1080と720×1080，1920×1080と720×480など）毎に、図５に示すようなエッジ量と解像度の変換時の映像品質の低下の度合いとの関係を表したモデル式及びモデル式の係数（モデル係数）を備える。本実施の形態では、モデル式は統一のものを用いるが、解像度の組み合わせ毎にモデル式を変えてもよい。モデル係数は事前に実験によって得られた品質の実測値、もしくは文献２「ITU-T勧告J.247」のような映像品質客観評価モデルを用いて映像データから得られる品質の推定値を用いて、最小二乗法などにより解像度の組み合わせ毎に求められる。モデル式及びモデル係数は図６に示すように記憶部１２２に蓄積されており、演算処理部１２１から参照される。なお初期設定後にモデル式及びモデル係数を変更してもよい。
【００２９】
最適解像度算出部１２における、最適解像度の算出方法を説明する。
【００３０】
入力されたエッジ量と入力解像度をもとに、入力解像度と解像度の変換後の解像度との組み合わせに対応する予め策定されたモデル式毎に、入力されたエッジ量に対応する映像品質の低下の度合いを算出し、解像度の変換時の映像品質の低下の度合いが予め指定された特定の閾値以下になる入力解像度と解像度変換後の解像度の組み合わせの内、変換後の解像度が最小になる解像度を最適解像度として算出し、当該最適解像度及び入力された入力解像度を映像最適化処理部２への入力として出力する。閾値は図６に示すように記憶部１２２に蓄積され、演算処理部から参照される。閾値を低く設定すれば品質の低下が小さくなるがデータ量の削減効果も小さくなり、閾値を高く設定すれば品質の低下が大きくなるがデータ量の削減効果も大きくなる。閾値の設定は本発明を組み込んだ装置等を用いるサービス事業者などの運用ポリシーに基づいて決定される。なお、初期設定後に閾値を変更してもよい。本実施の形態では、以下のモデル式を用いる。
【００３１】
【数３】
ここでdVQは解像度の変換時の映像品質の低下の度合い、ｅはエッジ量を表す。また、ｖ1，ｖ2，ｖ3は係数であり解像度変換前後の解像度の組み合わせ毎に、事前に主観品質評価実験等で得られる映像品質と、入力された映像データから得られるエッジ量を用いて、最小二乗法などによりモデル式を最適化する必要がある。本モデル式は、エッジ量が低下するとdVQが0に収束し、エッジ量が増加するとdVQがｖ1に収束する特性を持つ。
【００３２】
映像最適化処理部２は、最適映像パラメータ導出部１で出力された最適解像度と入力解像度、本映像処理装置に入力された映像データを入力とし、入力された最適解像度よりも入力解像度が大きい場合は、例えば、ニアレストネイバー法、バイリニア法、バイキュービック法、平均画素法などの既知の画像縮小アルゴリズムを用いて入力映像データの解像度を最適解像度に解像度変換し、最適化映像データを生成する。また、入力された最適解像度が入力解像度よりも小さい場合は、画像縮小アルゴリズムを用いて入力された映像データを最適化映像データとして出力する。
【００３３】
次に図７のフローチャートを用いて本実施形態の処理フローを説明する。
【００３４】
まず、エッジ量算出部１１は、入力された映像データからエッジ量と入力解像度を算出し最適解像度算出部１２に算出したエッジ量と入力解像度を入力する（ステップ１）。
【００３５】
次に、最適解像度算出部１２は、入力されたエッジ量と入力解像度から最適解像度を算出し、映像最適化処理部２に算出した最適解像度と入力された入力解像度を入力する(ステップ２)。
【００３６】
そして、映像最適化処理部２は入力された映像データと最適解像度と入力解像度から最適化映像データを生成する（ステップ３）。
【００３７】
上記のように、指定された映像品質の条件(映像品質の低下の度合い)に応じて映像コンテンツの解像度を変換することにより、指定された閾値内に映像品質を保つことが可能となる。これにより、人的・時間的なコストをかけずに映像品質を考慮して解像度を変動させる処理を実現することができる。
【００３８】
なお、上記の図４に示す映像処理装置の構成要素の各動作をプログラムとして構築し、映像処理装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００３９】
本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【符号の説明】
【００４０】
１ 最適映像パラメータ導出部
２ 映像最適化処理部
１１ エッジ量算出部
１２ 最適解像度算出部
１２１ 演算処理部
１２２ 記憶部
【技術分野】
【０００１】
本発明は、映像処理装置及び方法及びプログラムに係り、特に、入力される映像コンテンツ（以下、「入力映像コンテンツ」と記す）について、一定の映像品質を維持したまま映像コンテンツの解像度を下げることにより、映像コンテンツのデータ量を削減する映像処理装置及び方法及びプログラムに関する。
【背景技術】
【０００２】
地上テレビ放送のデジタル化により、一般家庭にもFull-HDサイズの映像コンテンツを視聴可能な環境が整ってきた。それに伴い、映像配信サービスやパッケージメディアにおいてもFull-HDサイズの映像コンテンツの提供が開始されている。高解像度の映像コンテンツは画質の高さがユーザへの訴求点になっているが、データ量が多くなるため映像データを保存するためのストレージや伝送するためのネットワークの設備コストが大きな負担になる。
【０００３】
ここで解像度と映像品質の関係について説明する。図１は、７種類の映像コンテンツそれぞれにおいて、解像度変換（Full-HD 1920×1080⇒Half-HD 960×1080）が与える品質への影響の差異を表している。図1において、映像コンテンツ５〜７は解像度の低下に伴い映像品質の低下の度合いが大きくなる。すなわち、解像度の低下によって映像品質が低下しているのに対し、映像コンテンツ１〜４は解像度の差がほとんど映像品質に影響を及ぼしていない。図１が示すように、映像コンテンツによっては、映像コンテンツの解像度の低下が映像品質の低下に影響を及ぼさない閾値があるため、映像コンテンツ毎に、映像品質の低下に影響を及ぼさない必要最低限の解像度に設定することにより、映像コンテンツのデータ量を削減することができる。
【０００４】
従来、非特許文献１では映像の製作者が事前にシーン毎に優先度や動きの激しさをメタ情報として付与し、その情報に基づいて解像度を変化させる技術が記載されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】村田嘉利、増田彰久、太田賢、石原進、水野忠則、"モバイルマルチメディアストリーミングサービスのためのコンテンツ指向時空間的解像度制御方式"， 情報処理学会論文誌，Vol.43，No．12，pp．3838−3847、2002（12）.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、映像製作者が事前にシーン毎に優先度や動きの激しさをメタ情報として付与し、その情報に基づいて映像品質を考慮して変動させる技術(非特許文献１)は、シーン毎に製作者が対応する必要があり、人的・時間的なコストが増大するという問題がある。
【０００７】
本発明は、上記に鑑みてなされたもので、映像コンテンツのデータから得られるコンテンツ特徴量を用いることにより、人的・時間的なコストをかけずに、人間が知覚する映像品質(映像品質の低下の度合い)について、指定された条件を満たす、すなわち指定された閾値内に映像品質を保つ、映像コンテンツの解像度に解像度変換させてデータ量を削減することであり、指定された映像品質の条件に応じた映像コンテンツの解像度に変換する、映像処理装置、方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、本発明は、入力された映像データ（以下、「入力映像データ」と記す）について、指定された映像品質の条件を満たす解像度に、入力映像データの解像度を変換する映像処理装置であって、
前記入力映像データについて、指定された映像品質の条件を満たす解像度の中から最小の解像度（最適解像度）を算出する最適映像パラメータ導出手段と、
前記最適映像パラメータ導出手段で算出した前記最適解像度に基づいて、前記入力映像データの解像度を変換して最適化映像データを出力する映像最適化処理手段と、
を備え、
前記最適映像パラメータ導出手段は、
前記入力映像データから、前記映像データのエッジ量と解像度（入力解像度）を算出するエッジ量算出手段と、
前記エッジ量と前記入力解像度から前記最適解像度を算出する最適解像度算出手段と、
を含む。
【発明の効果】
【０００９】
本発明によれば、入力映像コンテンツの映像品質を一定に保ったまま映像コンテンツの解像度を下げることにより、映像コンテンツのデータ量を削減することができる。そのため、映像品質を指定された閾値を越えて低下させて、映像品質に影響を及ぼすことなく、ストレージの容量削減や通信のトラヒック削減を可能とし、コスト削減に繋がる。
【図面の簡単な説明】
【００１０】
【図１】映像コンテンツ毎の解像度変換時の映像品質低下の度合いである。
【図２】エッジ映像データである。
【図３】映像コンテンツのエッジ量と解像度変換時の映像品質低下の度合いの関係である。
【図４】本発明の一実施の形態における映像処理装置の構成図である。
【図５】本発明の一実施の形態におけるエッジ量と解像度変換時の映像品質低下の度合いの関係を表したモデル式である。
【図６】本発明の一実施の形態における最適解像度算出部の構成図である。
【図７】本発明の一実施の形態における映像処理装置の動作のフローチャートである。
【発明を実施するための形態】
【００１１】
以下図面と共に、本発明の実施の形態を説明する。
【００１２】
本発明は、指定された映像品質の条件に応じた映像コンテンツの解像度に変換するための装置、方法を提供するものであるが、具体的には、映像コンテンツの解像度(変換前)を低下させる解像度変換による映像品質の低下の度合いの値が、予め指定された閾値内になるような変換後の解像度の内、最小の解像度(最適解像度)となる解像度を算出し、当該解像度で実際に映像コンテンツの解像度を変換する処理を行う。
【００１３】
本願発明は、解像度の低下が「人間が知覚する映像品質の低下の度合い」に与える影響に関する実験結果に基づき定義した、「解像度変換前後の映像品質の低下の度合いのモデル式」を基に、最適解像度を算出する点が特徴となる。
【００１４】
本発明の解決手段を説明する。本発明では、入力される映像コンテンツの画素情報から得られるコンテンツの特徴量であるエッジ量を用いることにより、指定された映像品質の条件を満たすことが可能な最小の映像コンテンツの解像度（最適解像度）を算出し、入力された映像コンテンツの解像度を当該最適解像度に解像度変換することで、指定された一定の映像品質を維持した状態で、映像コンテンツのデータ量の変換を可能とする。
【００１５】
指定された映像品質の条件を満たすとは、「映像品質の低下の度合い」を指定された閾値内に保つことである。
【００１６】
映像コンテンツにおける、解像度の変換による映像品質の低下の原因として、解像度の変換によって映像コンテンツのエッジ（輪郭線）が消失するもしくは歪んでしまうことが挙げられる。このことから、エッジを多く含む映像コンテンツほど、解像度の変換時に映像品質の低下の度合いが大きくなると考えられるため、エッジの量から最適解像度を算出する技術を提供する。
【００１７】
エッジの量は例えばソーベルフィルタ、ラプラシアンフィルタ、プレヴィットフィルタ、キャニーエッジフィルタなどの既知のエッジ抽出フィルタを適用し得られるエッジ映像データ（図２）に対して、フレーム毎の画素値の平均値または全てのフレームにおける、フレーム毎の画素値の標準偏差の平均値もしくは最大値として計算される。
【００１８】
図３は映像コンテンツのエッジ量と解像度の変換時の映像品質低下の度合いの関係を示している。図３が示すようにエッジ量が大きくなると、解像度の変換時の映像品質の低下の度合いが大きくなる関係がある。この関係を、解像度の変換の前後の解像度の組み合わせ（例えば、1920×1080から1440×1080、1920×1080から960×1080、1920×1080から1280×720など）毎にモデル化する。このモデルを用いることで、入力映像コンテンツの解像度と解像度の変換時の解像度との組み合わせ毎に、エッジ量と解像度変換時の映像品質の低下の度合いを算出し、映像品質の低下の度合いが指定された閾値内を保ち、一定の映像品質を維持する最小の解像度を最適解像度として算出できることになる。
【００１９】
図４は、本発明の一実施の形態における映像処理装置の構成を示す。
【００２０】
同図に示す映像処理装置は、最適映像パラメータ導出部１、映像最適化処理部２から構成される。映像コンテンツのデータ(以下、「映像データ」と記す)を入力とし、映像コンテンツの解像度を最適解像度に解像度変換した映像データ（以下、「最適化映像データ」と記す）を出力とする。本映像処理装置に入力された映像データは、最適化映像パラメータ導出部１と映像最適化処理部２への入力とされる。
【００２１】
また、「映像品質」とは映像品質の低下の度合いとし、「指定された映像品質の条件」とは、指定された閾値以下に、解像度変換による映像品質の低下の度合いを保つことである。
【００２２】
最適化映像パラメータ導出部１は、エッジ量算出部１１と最適解像度算出部１２で構成される。最適化映像パラメータ導出部１は映像データを入力とし、エッジ量算出部１１において、入力された映像データをもとにエッジ量、入力解像度を算出して、最適解像度算出部１２への入力として出力され、最適解像度算出部１２において、エッジ量算出部１１で算出されたエッジ量、入力解像度をもとに、最適解像度を算出し、入力解像度と最適化解像度を出力して、映像最適化処理部２への入力として出力される。
【００２３】
エッジ量算出部１１では、入力された映像データに含まれる輝度レイヤの各フレームに対して、例えばソーベルフィルタ、ラプラシアンフィルタ、プレヴィットフィルタ、キャニーエッジフィルタ（文献１「"A Computational Approach to Edge Detection," by J.F. Canny, IEEE Transactions on Pattern Analysis and Machine Intelligence, 8, pp.769-798, 1986」）などの既知のエッジ抽出フィルタを適用して、エッジ映像データを生成する。本実施の形態では次式のようにソーベルフィルタを用いてエッジ映像データE（w,h,f）を算出する。
【００２４】
【数１】
ここでy(w,h,f)はｆ番目のフレームの画素位置（w,h）の輝度値を示す。
【００２５】
生成したエッジ映像データの各フレームの画素値の標準偏差（もしくは平均値）を基に、全フレームの平均値（もしくは最大値）をエッジ量として算出する。本実施の形態では次式のように標準偏差の平均値を用いてエッジ量ｅを算出する。
【００２６】
【数２】
ここで、上記式中の関数stdspace[ ]は、フレーム毎にフレーム内の画素値の標準偏差を出力する関数、Nはフレームの総数を示す。
【００２７】
エッジ量算出部１１では、算出したエッジ量ｅを最適解像度算出部１２に入力すると共に、入力された映像データに含まれるメタデータをもとに、入力された映像データの解像度（以下、「入力解像度」と記す）を参照し、入力解像度を最適解像度算出部１２に入力する。なお、メタデータはAVIやmp4などのファイルフォーマット毎にデータ構造が定められている。また、メタデータを含まない映像データの場合は、入力を受け付けない、もしくはデフォルトの入力解像度を用いる、もしくは手動で設定する必要がある。
【００２８】
最適解像度算出部１２は、解像度の変換の前後の解像度の組み合わせ（例えば、1920×1080と1440×1080，1920×080と960×1080，1920×1080と720×1080，1920×1080と720×480など）毎に、図５に示すようなエッジ量と解像度の変換時の映像品質の低下の度合いとの関係を表したモデル式及びモデル式の係数（モデル係数）を備える。本実施の形態では、モデル式は統一のものを用いるが、解像度の組み合わせ毎にモデル式を変えてもよい。モデル係数は事前に実験によって得られた品質の実測値、もしくは文献２「ITU-T勧告J.247」のような映像品質客観評価モデルを用いて映像データから得られる品質の推定値を用いて、最小二乗法などにより解像度の組み合わせ毎に求められる。モデル式及びモデル係数は図６に示すように記憶部１２２に蓄積されており、演算処理部１２１から参照される。なお初期設定後にモデル式及びモデル係数を変更してもよい。
【００２９】
最適解像度算出部１２における、最適解像度の算出方法を説明する。
【００３０】
入力されたエッジ量と入力解像度をもとに、入力解像度と解像度の変換後の解像度との組み合わせに対応する予め策定されたモデル式毎に、入力されたエッジ量に対応する映像品質の低下の度合いを算出し、解像度の変換時の映像品質の低下の度合いが予め指定された特定の閾値以下になる入力解像度と解像度変換後の解像度の組み合わせの内、変換後の解像度が最小になる解像度を最適解像度として算出し、当該最適解像度及び入力された入力解像度を映像最適化処理部２への入力として出力する。閾値は図６に示すように記憶部１２２に蓄積され、演算処理部から参照される。閾値を低く設定すれば品質の低下が小さくなるがデータ量の削減効果も小さくなり、閾値を高く設定すれば品質の低下が大きくなるがデータ量の削減効果も大きくなる。閾値の設定は本発明を組み込んだ装置等を用いるサービス事業者などの運用ポリシーに基づいて決定される。なお、初期設定後に閾値を変更してもよい。本実施の形態では、以下のモデル式を用いる。
【００３１】
【数３】
ここでdVQは解像度の変換時の映像品質の低下の度合い、ｅはエッジ量を表す。また、ｖ1，ｖ2，ｖ3は係数であり解像度変換前後の解像度の組み合わせ毎に、事前に主観品質評価実験等で得られる映像品質と、入力された映像データから得られるエッジ量を用いて、最小二乗法などによりモデル式を最適化する必要がある。本モデル式は、エッジ量が低下するとdVQが0に収束し、エッジ量が増加するとdVQがｖ1に収束する特性を持つ。
【００３２】
映像最適化処理部２は、最適映像パラメータ導出部１で出力された最適解像度と入力解像度、本映像処理装置に入力された映像データを入力とし、入力された最適解像度よりも入力解像度が大きい場合は、例えば、ニアレストネイバー法、バイリニア法、バイキュービック法、平均画素法などの既知の画像縮小アルゴリズムを用いて入力映像データの解像度を最適解像度に解像度変換し、最適化映像データを生成する。また、入力された最適解像度が入力解像度よりも小さい場合は、画像縮小アルゴリズムを用いて入力された映像データを最適化映像データとして出力する。
【００３３】
次に図７のフローチャートを用いて本実施形態の処理フローを説明する。
【００３４】
まず、エッジ量算出部１１は、入力された映像データからエッジ量と入力解像度を算出し最適解像度算出部１２に算出したエッジ量と入力解像度を入力する（ステップ１）。
【００３５】
次に、最適解像度算出部１２は、入力されたエッジ量と入力解像度から最適解像度を算出し、映像最適化処理部２に算出した最適解像度と入力された入力解像度を入力する(ステップ２)。
【００３６】
そして、映像最適化処理部２は入力された映像データと最適解像度と入力解像度から最適化映像データを生成する（ステップ３）。
【００３７】
上記のように、指定された映像品質の条件(映像品質の低下の度合い)に応じて映像コンテンツの解像度を変換することにより、指定された閾値内に映像品質を保つことが可能となる。これにより、人的・時間的なコストをかけずに映像品質を考慮して解像度を変動させる処理を実現することができる。
【００３８】
なお、上記の図４に示す映像処理装置の構成要素の各動作をプログラムとして構築し、映像処理装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００３９】
本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【符号の説明】
【００４０】
１ 最適映像パラメータ導出部
２ 映像最適化処理部
１１ エッジ量算出部
１２ 最適解像度算出部
１２１ 演算処理部
１２２ 記憶部
【特許請求の範囲】
【請求項１】
入力された映像データ（以下、「入力映像データ」と記す）について、指定された映像品質の条件を満たす解像度に、入力映像データの解像度を変換する映像処理装置であって、
前記入力映像データについて、指定された映像品質の条件を満たす解像度の中から最小の解像度（最適解像度）を算出する最適映像パラメータ導出手段と、
前記最適映像パラメータ導出手段で算出した前記最適解像度に基づいて、前記入力映像データの解像度を変換して最適化映像データを出力する映像最適化処理手段と、
を備え、
前記最適映像パラメータ導出手段は、
前記入力映像データから、前記映像データのエッジ量と解像度（入力解像度）を算出するエッジ量算出手段と、
前記エッジ量と前記入力解像度から前記最適解像度を算出する最適解像度算出手段と、
を含むことを特徴とする映像処理装置。
【請求項２】
前記エッジ量算出手段は、
前記入力映像データの輝度レイヤの各フレームに対してエッジ抽出フィルタを適用して、エッジ映像データに変換する手段と、
前記エッジ映像データのフレーム毎に画素値の特徴量を算出し、算出した前記フレーム毎の画素値の特徴量をもとに、全フレームのエッジ量として算出する手段と、
を含むことを特徴とする請求項１記載の映像処理装置。
【請求項３】
前記最適解像度算出手段は、
解像度変換の前と後の解像度の組み合わせ毎に、前記エッジ量と解像度の解像度変換時の映像品質の関係を表したモデル式を設定し、前記入力解像度を解像度変換前の解像度として、当該解像度変換の前と後の解像度の組み合わせ毎に設定された該モデル式に基づいて、前記エッジ量から解像度変換時の映像品質の値を算出し、当該指定された映像品質の条件を満たす解像度の組み合わせの内、解像度変換後の解像度が最小になる解像度を最適解像度として出力する手段を含む、
ことを特徴とする請求項１記載の映像処理装置。
【請求項４】
入力された映像データ（以下、「入力映像データ」と記す）について、指定された映像品質の条件を満たす解像度に、入力映像データの解像度を変換する映像処理方法であって、
最適映像パラメータ導出手段が、前記入力映像データについて、指定された映像品質の条件を満たす解像度の中から最小の解像度（最適解像度）を算出する最適映像パラメータ導出ステップと、
映像最適化処理手段が、前記最適映像パラメータ導出手段で算出した前記最適解像度に基づいて、前記入力映像データの解像度を変換して最適化映像データを出力する映像最適化処理ステップと、
を備え、
前記最適映像パラメータ導出ステップにおいて、
前記入力映像データから、前記映像データのエッジ量と解像度（入力解像度）を算出するエッジ量算出ステップと、
前記エッジ量と前記入力解像度から前記最適解像度を算出する最適解像度算出ステップと、を含むことを特徴とする映像処理方法。
【請求項５】
前記エッジ量算出ステップにおいて、
前記入力映像データの輝度レイヤの各フレームに対してエッジ抽出フィルタを適用して、エッジ映像データに変換するステップと、
前記エッジ映像データのフレーム毎に画素値の特徴量を算出し、算出した前記フレーム毎の画素値の特徴量をもとに、全フレームのエッジ量として算出するステップと、
を含むことを特徴とする請求項４記載の映像処理方法。
【請求項６】
前記最適解像度算出ステップにおいて、
解像度変換の前と後の解像度の組み合わせ毎に、前記エッジ量と解像度の解像度変換時の映像品質の関係を表したモデル式を設定し、前記入力解像度を解像度変換前の解像度として、当該解像度変換の前と後の解像度の組み合わせ毎に設定された該モデル式に基づいて、前記エッジ量から解像度変換時の映像品質の値を算出し、当該指定された映像品質の条件を満たす解像度の組み合わせの内、解像度変換後の解像度が最小になる解像度を最適解像度として出力するステップを含む、
ことを特徴とする請求項４記載の映像処理方法。
【請求項７】
コンピュータを、
請求項１乃至３のいずれか１項に記載の映像処理装置の各手段として機能させるための映像処理プログラム。
【請求項１】
入力された映像データ（以下、「入力映像データ」と記す）について、指定された映像品質の条件を満たす解像度に、入力映像データの解像度を変換する映像処理装置であって、
前記入力映像データについて、指定された映像品質の条件を満たす解像度の中から最小の解像度（最適解像度）を算出する最適映像パラメータ導出手段と、
前記最適映像パラメータ導出手段で算出した前記最適解像度に基づいて、前記入力映像データの解像度を変換して最適化映像データを出力する映像最適化処理手段と、
を備え、
前記最適映像パラメータ導出手段は、
前記入力映像データから、前記映像データのエッジ量と解像度（入力解像度）を算出するエッジ量算出手段と、
前記エッジ量と前記入力解像度から前記最適解像度を算出する最適解像度算出手段と、
を含むことを特徴とする映像処理装置。
【請求項２】
前記エッジ量算出手段は、
前記入力映像データの輝度レイヤの各フレームに対してエッジ抽出フィルタを適用して、エッジ映像データに変換する手段と、
前記エッジ映像データのフレーム毎に画素値の特徴量を算出し、算出した前記フレーム毎の画素値の特徴量をもとに、全フレームのエッジ量として算出する手段と、
を含むことを特徴とする請求項１記載の映像処理装置。
【請求項３】
前記最適解像度算出手段は、
解像度変換の前と後の解像度の組み合わせ毎に、前記エッジ量と解像度の解像度変換時の映像品質の関係を表したモデル式を設定し、前記入力解像度を解像度変換前の解像度として、当該解像度変換の前と後の解像度の組み合わせ毎に設定された該モデル式に基づいて、前記エッジ量から解像度変換時の映像品質の値を算出し、当該指定された映像品質の条件を満たす解像度の組み合わせの内、解像度変換後の解像度が最小になる解像度を最適解像度として出力する手段を含む、
ことを特徴とする請求項１記載の映像処理装置。
【請求項４】
入力された映像データ（以下、「入力映像データ」と記す）について、指定された映像品質の条件を満たす解像度に、入力映像データの解像度を変換する映像処理方法であって、
最適映像パラメータ導出手段が、前記入力映像データについて、指定された映像品質の条件を満たす解像度の中から最小の解像度（最適解像度）を算出する最適映像パラメータ導出ステップと、
映像最適化処理手段が、前記最適映像パラメータ導出手段で算出した前記最適解像度に基づいて、前記入力映像データの解像度を変換して最適化映像データを出力する映像最適化処理ステップと、
を備え、
前記最適映像パラメータ導出ステップにおいて、
前記入力映像データから、前記映像データのエッジ量と解像度（入力解像度）を算出するエッジ量算出ステップと、
前記エッジ量と前記入力解像度から前記最適解像度を算出する最適解像度算出ステップと、を含むことを特徴とする映像処理方法。
【請求項５】
前記エッジ量算出ステップにおいて、
前記入力映像データの輝度レイヤの各フレームに対してエッジ抽出フィルタを適用して、エッジ映像データに変換するステップと、
前記エッジ映像データのフレーム毎に画素値の特徴量を算出し、算出した前記フレーム毎の画素値の特徴量をもとに、全フレームのエッジ量として算出するステップと、
を含むことを特徴とする請求項４記載の映像処理方法。
【請求項６】
前記最適解像度算出ステップにおいて、
解像度変換の前と後の解像度の組み合わせ毎に、前記エッジ量と解像度の解像度変換時の映像品質の関係を表したモデル式を設定し、前記入力解像度を解像度変換前の解像度として、当該解像度変換の前と後の解像度の組み合わせ毎に設定された該モデル式に基づいて、前記エッジ量から解像度変換時の映像品質の値を算出し、当該指定された映像品質の条件を満たす解像度の組み合わせの内、解像度変換後の解像度が最小になる解像度を最適解像度として出力するステップを含む、
ことを特徴とする請求項４記載の映像処理方法。
【請求項７】
コンピュータを、
請求項１乃至３のいずれか１項に記載の映像処理装置の各手段として機能させるための映像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−４６４００（Ｐ２０１３−４６４００Ａ）
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願番号】特願２０１１−１８５３０８（Ｐ２０１１−１８５３０８）
【出願日】平成２３年８月２６日（２０１１．８．２６）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願日】平成２３年８月２６日（２０１１．８．２６）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]