データストリームにブロック単位で予測符号化されたビデオフレームのブロックの顕著性値を決定する方法及び装置
【課題】計算コストの低い顕著性モデルを生成すること。
【解決手段】本発明の一態様は、データストリームにブロック単位で予測符号化されたビデオフレームのブロックの顕著性値を決定する方法であって、当該方法は、処理手段を用いて前記顕著性値を決定するため、前記ブロックの変換された残差の符号化コストを決定し、前記決定された符号化コストを利用することを有する方法に関する。
【解決手段】本発明の一態様は、データストリームにブロック単位で予測符号化されたビデオフレームのブロックの顕著性値を決定する方法であって、当該方法は、処理手段を用いて前記顕著性値を決定するため、前記ブロックの変換された残差の符号化コストを決定し、前記決定された符号化コストを利用することを有する方法に関する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオのための顕著性決定の分野でなされる。
【背景技術】
【０００２】
ビデオ画像フレームにおいて、関心の高い位置や顕著な特徴（ｓａｌｉｅｎｔ ｆｅａｔｕｒｅ）とも呼ばれる顕著性のある特徴を検出することは、多くの実世界のアプリケーションを有する。例えば、それは、ナビゲーション支援、ロボット制御、関しシステム、オブジェクト検出及び認識並びにシーン理解などのコンピュータビジョンタスクに適用可能である。このような予測はまた、宣伝設計、画像及びビデオ圧縮、画像及びビデオリパーパシング（ｒｅｐｕｒｐｏｓｉｎｇ）、画像データベースクエリ処理及びゲイズアニメーション（ｇａｚｅ ａｎｉｍａｔｉｏｎ）を含む他のエリアにおけるアプリケーションを見つける。
【０００３】
従来の視線予測計算モデルは、入力画像又はビデオ信号のカラー、強度、コントラスト、向き、動き及び他の統計解析など、ソースデータの低レベルの特徴から顕著性マップを計算する。
【０００４】
例えば、Ｂｒｕｃｅ，ＮＤＢ，ａｎｄ Ｔｓｏｔｓｏｓ，ＪＫ：“Ｓａｌｉｅｎｃｙ ｂａｓｅｄ ｏｎ ｉｎｆｏｒｍａｔｉｏｎ ｍａｘｉｍｉｚａｔｉｏｎ”，Ｉｎ：Ａｄｖａｎｃｅｓ ｉｎ ｎｅｕｒａｌ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ｓｙｓｔｅｍｓ．ｐ．１５５−１６２，２００６は、シーンからサンプリングされたｂｏｔｔｏｍ−ｕｐ ｏｖｅｒｔ ａｔｔｅｎｔｉｏｎ最大化情報のモデルを提案する。
【０００５】
Ｉｔｔｉ Ｌ．，Ｋｏｃｈ Ｃ．，ａｎｄ Ｎｉｅｂｕｒ Ｅ．：“Ｍｏｄｅｌ ｏｆ ｓａｌｉｅｎｃｙ−ｂａｓｅｄ ｖｉｓｕａｌ ａｔｔｅｎｔｉｏｎ ｆｏｒ ｒａｐｉｄ ｓｃｅｎｅ ａｎａｌｙｓｉｓ”，ＩＥＥＥ Ｔｒａｎｓ Ｐａｔｔｅｒｎ Ａｎａｌ Ｍａｃｈ Ｉｎｔｅｌｌ．２０（１１）：１２５４−９，１９９８は、初期の霊長類の視覚系の神経構造と行動により引き起こされる視覚注目システムを提供する。当該システムは、詳細に解析される顕著な位置を計算効率的に高速選択することによって、シーン理解の複雑な問題を分析する。
【０００６】
Ｆａｂｒｉｃｅ Ｕ．ｅｔ ａｌ．：“Ｍｅｄｉｕｍ Ｓｐａｔｉａｌ Ｆｒｅｑｕｅｎｃｉｅｓ，ａ Ｓｔｒｏｎｇ Ｐｒｅｄｉｃｔｏｒ ｏｆ Ｓａｌｉｅｎｃｅ”，Ｉｎ：Ｃｏｇｎｉｔｉｖｅ Ｃｏｍｐｕｔａｔｉｏｎ．Ｖｏｌｕｍｅ ３，Ｎｕｍｂｅｒ １，３７−４７，２０１１は、固定位置が人工のストリートシーンにおいて中から高周波数を用いて、また自然の風景シーンにおいて低から中周波数を用いて、より予測可能なものとわかることによって、中周波数が注目の最善の予測をグローバルに可能にすることを発見した。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明者は、圧縮符号化されたビデオ題材のための従来の顕著性決定方法及び装置が、当該題材は通常は空間変換、空間及び時間予測並びに動き情報に基づき、関心の高い位置における顕著な特徴及び情報を保存する方法により圧縮され、復号化において消失する顕著性情報をすでに含むが、当該題材を復号化することを要求することを理解していた。
【０００８】
従って、本発明者は、計算コストの低い顕著性モデルを生成するため、圧縮されたビデオから顕著性情報を抽出することを提案する。計算コストの低下は、符号化により利用可能なデータの再利用に基づく。
【課題を解決するための手段】
【０００９】
すなわち、本発明者は、データストリームにブロック単位予測符号化されたビデオフレームのブロックの顕著性値を決定するため、請求項１記載の方法及び請求項２記載の装置を提案する。当該方法は、処理手段を用いて顕著性値を決定するため、ブロックの変換された残差の符号化コストを決定し、決定された符号化コストを利用することを有する。
【００１０】
変換されたブロック残差の符号化コストは、ブロックに示されるコンテンツの鮮明さと共に、ブロックがどの程度良好に予測されているかに依存する。このため、符号化コストは、顕著性の良好な指標である。
【００１１】
実施例では、ブロックは、イントラ予測符号化され、符号化コストの決定は、ρドメインモデルを利用して決定することを含む。
【００１２】
さらなる実施例では、ブロックは、インタ予測符号化され、符号化コストの決定は、ブロックのインタ予測に利用されるリファレンスブロックの変換された残差の符号化コストを決定することを含む。
【００１３】
さらなる実施例では、リファレンスブロックの決定された符号化コストは、ブロックのサイズにより重み付けされる。
【００１４】
さらなる実施例では、ブロックの動きベクトルの符号化コストはさらに、顕著性値を決定するのに利用される。
【００１５】
さらなる他の実施例では、決定された符号化コストは正規化され、正規化された符号化コストは、顕著性値を決定するのに利用される。
【００１６】
ブロックがＤＩＲＥＣＴ／ＳＫＩＰモードにより符号化されている場合、減衰値がさらに、顕著性値を決定するのに利用可能である。
【００１７】
さらなる効果的な実施例の特徴が、従属形式の請求項に規定される。
【発明の効果】
【００１８】
本発明によると、圧縮されたビデオから顕著性情報を抽出することによって、計算コストの低い顕著性モデルを生成することができる。
【図面の簡単な説明】
【００１９】
【図１】図１は、顕著性マップの従来の導出の一例となるフローチャートを示す。
【図２】図２は、圧縮されたビデオストリームから空間顕著性マップを導出することによって、当該ストリームから顕著性マップを導出する第１実施例の一例となるフローチャートを示す。
【図３】図３は、圧縮されたビデオストリームから時間顕著性マップを導出することによって、当該ストリームから顕著性マップを導出する第２実施例の一例となるフローチャートを示す。
【図４】図４は、圧縮されたビデオストリームから空間顕著性マップ、時間顕著性マップ及びこれら導出されたマップを合成したものを導出することによって、当該ストリームから顕著性マップを導出する第３実施例の一例となるフローチャートを示す。
【図５】図５は、圧縮されたビデオストリームから空間顕著性マップを導出する一例となるフローチャートを示す。
【図６】図６は、圧縮されたビデオストリームから時間顕著性マップを導出する一例となるフローチャートを示す。
【図７】図７は、空間顕著性マップと時間顕著性マップとの合成の一例となるフローチャートを示す。
【発明を実施するための形態】
【００２０】
本発明の実施例が図面により示され、以下の説明においてより詳細に説明される。実施例は、単に本発明を説明するためのものであり、本発明の開示又は請求項に規定される範囲を限定するものでない。
【００２１】
本発明は、対応して構成される処理装置を有する何れかの電子装置により実現されてもよい。本発明は、特に顕著性ベースのアプリケーションが必要とされる低パワー装置に有用であるが、これに限定されるものでない。例えば、本発明は、セットトップボックス、タブレット、ゲートウェイ、テレビ、モバイルビデオフォン、パーソナルコンピュータ、デジタルビデオカメラ又は車両エンターテイメントシステムにより実現されてもよい。
【００２２】
本発明は、符号化されたストリームがさらなる計算コストがほとんどなく顕著性マップを導出するのに利用可能な情報をすでに有しているという事実を開示及び利用する。当該情報は、フル復号化中にビデオデコーダにより抽出可能である。あるいは、ビデオストリームを完全に符号化することなくビデオストリームの構文解析のみを行うパーシャルデコーダが、実現可能である。
【００２３】
図２に示される第１実施例では、顕著性マップＭＡＰの計算は、空間顕著性マップ計算ＳＳＣのみを有する。
【００２４】
図３に示される第２実施例では、顕著性マップＭＡＰの計算は、時間顕著性マップ計算ＴＳＣのみを有する。
【００２５】
図４に示される第３実施例では、顕著性マップＭＡＰの計算は、空間顕著性マップ計算ＳＳＣ、時間顕著性マップ計算ＴＳＣ及び計算された空間顕著性マップと計算された時間顕著性マップとの合成ＦＵＳからなる。
【００２６】
第１、第２及び第３実施例において計算された空間及び／時間顕著性マップは、入力された圧縮されたストリームＩＣＳに符号化されているビデオＶＩＤを完全に復号化ＤＥＣすることなく、入力された圧縮されたストリームＩＣＳから利用可能な情報から計算される。
【００２７】
本発明は、特定の符号化方式に限定されるものでない。入力される圧縮されたストリームＩＣＳは、例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ、ＭＰＥＧ−２などの何れかの予測符号化方式を用いて圧縮可能である。
【００２８】
異なる実施例では、空間顕著性マップ計算ＳＣＣは、符号化コスト推定に基づく。Ｚ．Ｈｅ：“ρ−ｄｏｍａｉｎ ｒａｔｅ−ｄｉｓｔｒｏｔｉｏｎ ａｎａｌｙｓｉｓ ａｎｄ ｒａｔｅ ｃｏｎｔｒｏｌ ｆｏｒ ｖｉｓｕａｌ ｃｏｄｉｎｇ ａｎｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ”，Ｓａｎｔａ Ｂａｒｂａｒａ，ＰｈＤ−Ｔｈｅｓｉｓ，Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｃａｒｉｆｏｒｎｉａ，２００１は、ブロックの変換の非ゼロの変換係数の個数がブロックの符号化コストに比例することについて記載している。図５に示される空間顕著性マップ計算ＳＣＣは、この事実を利用し、イントラ符号化ブロックに当該ブロックの符号化コストを用いて決定された顕著性値を割り当てる。符号化コストは、Ｈｅにより記載されるようなρドメインモデルを用いて決定される。
【００２９】
時間のみに関する顕著性の大部分は重要であるため、顕著性マップは正規化可能である。
【００３０】
符号化コストに加えて、ブロックサイズがさらに顕著性値を決定するのに利用可能である。より小さなブロックサイズがオブジェクトのエッジに通常関連付けされ、関心がある。マクロブロックコストマップは、より小さなブロックへの分解数により拡張される。例えば、各ブロックのコスト値は、サブブロック分解の場合には２倍になる。
【００３１】
インタ予測又は双方向予測を用いて符号化されるブロックについて、動き情報がストリームから抽出可能であり、インタ予測又は双方向予測に利用される１以上のリファレンス画像について決定された空間顕著性マップの動き補償に利用される。
【００３２】
時間顕著性計算ＴＳＣは、図６に示されるような動き情報に基づく。従って、インタ予測又は双方向予測されたフレームのみについてそれは決定される。インタ又は双方向予測されたフレーム内において、イントラ符号化されたマクロブロックは、インタ又は双方向予測によっては良好に予測可能でない大きな動きを示すか、又はカバーされていないエリアを表す。実施例では、バイナリイントラ符号化されたブロックマップＩＣＭが、時間顕著性マップを決定するのに利用される。バイナリイントラ符号化されたブロックマップでは、各イントラブロックは、例えば、１の値をとる。
【００３３】
顕著であり注目される動きを表す動きベクトルは良好には予測できず、符号化のために有意により多くなビットを必要とするため、動きベクトルの符号化コストマップＭＣＭはさらに、時間顕著性マップを決定するのに利用される。
【００３４】
動きベクトル符号化コストマップＭＣＭとイントラ符号化ブロックマップＩＣＭとは正規化され、加算される。結果として得られたマップにおいてブロックに割り当てられる時間顕著性値は、ＳＫＩＰ又はＤＩＲＥＣＴモードにより符号化されるブロックについて減衰しうる。例えば、ＳＫＩＰ又はＤＩＲＥＣＴモードにより符号化されたブロックの符号化コストは０．５の係数により重み付けされ、他のモードにより符号化されたブロックの符号化コストは変更されないままである。
【００３５】
空間顕著性計算ＳＳＣと時間顕著性計算ＴＳＣとから得られる顕著性マップの合成ＦＵＳは、単純な加算とすることができる。あるいは、図７に示されるように、空間顕著性マップと時間顕著性マップとは、加算前にウェイトａ，ｂにより重み付けされる。ａはフレームのイントラ符号化されたブロックの相対量に依存し、ウェイトｂはフレームのインタ又は双方向予測ブロック（Ｐ又はＢ）の相対量に依存する。合成ＦＵＳはまた、ビットレート変化及び符号化タイプに依存するウェイトｃにより重み付けされた前のフレームの前の顕著性マップを利用可能である。
【００３６】
本発明者の実験は、ａ，ｂ，ｃの以下の例示的な値が良好な結果を示した。
【００３７】
【数１】
以上、本発明の実施例について詳述したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００３８】
ＳＳＣ 空間顕著性マップ計算
ＴＳＣ 時間顕著性マップ計算
ＦＵＳ 計算された空間顕著性マップと計算された時間顕著性マップとの合成
【技術分野】
【０００１】
本発明は、ビデオのための顕著性決定の分野でなされる。
【背景技術】
【０００２】
ビデオ画像フレームにおいて、関心の高い位置や顕著な特徴（ｓａｌｉｅｎｔ ｆｅａｔｕｒｅ）とも呼ばれる顕著性のある特徴を検出することは、多くの実世界のアプリケーションを有する。例えば、それは、ナビゲーション支援、ロボット制御、関しシステム、オブジェクト検出及び認識並びにシーン理解などのコンピュータビジョンタスクに適用可能である。このような予測はまた、宣伝設計、画像及びビデオ圧縮、画像及びビデオリパーパシング（ｒｅｐｕｒｐｏｓｉｎｇ）、画像データベースクエリ処理及びゲイズアニメーション（ｇａｚｅ ａｎｉｍａｔｉｏｎ）を含む他のエリアにおけるアプリケーションを見つける。
【０００３】
従来の視線予測計算モデルは、入力画像又はビデオ信号のカラー、強度、コントラスト、向き、動き及び他の統計解析など、ソースデータの低レベルの特徴から顕著性マップを計算する。
【０００４】
例えば、Ｂｒｕｃｅ，ＮＤＢ，ａｎｄ Ｔｓｏｔｓｏｓ，ＪＫ：“Ｓａｌｉｅｎｃｙ ｂａｓｅｄ ｏｎ ｉｎｆｏｒｍａｔｉｏｎ ｍａｘｉｍｉｚａｔｉｏｎ”，Ｉｎ：Ａｄｖａｎｃｅｓ ｉｎ ｎｅｕｒａｌ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ｓｙｓｔｅｍｓ．ｐ．１５５−１６２，２００６は、シーンからサンプリングされたｂｏｔｔｏｍ−ｕｐ ｏｖｅｒｔ ａｔｔｅｎｔｉｏｎ最大化情報のモデルを提案する。
【０００５】
Ｉｔｔｉ Ｌ．，Ｋｏｃｈ Ｃ．，ａｎｄ Ｎｉｅｂｕｒ Ｅ．：“Ｍｏｄｅｌ ｏｆ ｓａｌｉｅｎｃｙ−ｂａｓｅｄ ｖｉｓｕａｌ ａｔｔｅｎｔｉｏｎ ｆｏｒ ｒａｐｉｄ ｓｃｅｎｅ ａｎａｌｙｓｉｓ”，ＩＥＥＥ Ｔｒａｎｓ Ｐａｔｔｅｒｎ Ａｎａｌ Ｍａｃｈ Ｉｎｔｅｌｌ．２０（１１）：１２５４−９，１９９８は、初期の霊長類の視覚系の神経構造と行動により引き起こされる視覚注目システムを提供する。当該システムは、詳細に解析される顕著な位置を計算効率的に高速選択することによって、シーン理解の複雑な問題を分析する。
【０００６】
Ｆａｂｒｉｃｅ Ｕ．ｅｔ ａｌ．：“Ｍｅｄｉｕｍ Ｓｐａｔｉａｌ Ｆｒｅｑｕｅｎｃｉｅｓ，ａ Ｓｔｒｏｎｇ Ｐｒｅｄｉｃｔｏｒ ｏｆ Ｓａｌｉｅｎｃｅ”，Ｉｎ：Ｃｏｇｎｉｔｉｖｅ Ｃｏｍｐｕｔａｔｉｏｎ．Ｖｏｌｕｍｅ ３，Ｎｕｍｂｅｒ １，３７−４７，２０１１は、固定位置が人工のストリートシーンにおいて中から高周波数を用いて、また自然の風景シーンにおいて低から中周波数を用いて、より予測可能なものとわかることによって、中周波数が注目の最善の予測をグローバルに可能にすることを発見した。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明者は、圧縮符号化されたビデオ題材のための従来の顕著性決定方法及び装置が、当該題材は通常は空間変換、空間及び時間予測並びに動き情報に基づき、関心の高い位置における顕著な特徴及び情報を保存する方法により圧縮され、復号化において消失する顕著性情報をすでに含むが、当該題材を復号化することを要求することを理解していた。
【０００８】
従って、本発明者は、計算コストの低い顕著性モデルを生成するため、圧縮されたビデオから顕著性情報を抽出することを提案する。計算コストの低下は、符号化により利用可能なデータの再利用に基づく。
【課題を解決するための手段】
【０００９】
すなわち、本発明者は、データストリームにブロック単位予測符号化されたビデオフレームのブロックの顕著性値を決定するため、請求項１記載の方法及び請求項２記載の装置を提案する。当該方法は、処理手段を用いて顕著性値を決定するため、ブロックの変換された残差の符号化コストを決定し、決定された符号化コストを利用することを有する。
【００１０】
変換されたブロック残差の符号化コストは、ブロックに示されるコンテンツの鮮明さと共に、ブロックがどの程度良好に予測されているかに依存する。このため、符号化コストは、顕著性の良好な指標である。
【００１１】
実施例では、ブロックは、イントラ予測符号化され、符号化コストの決定は、ρドメインモデルを利用して決定することを含む。
【００１２】
さらなる実施例では、ブロックは、インタ予測符号化され、符号化コストの決定は、ブロックのインタ予測に利用されるリファレンスブロックの変換された残差の符号化コストを決定することを含む。
【００１３】
さらなる実施例では、リファレンスブロックの決定された符号化コストは、ブロックのサイズにより重み付けされる。
【００１４】
さらなる実施例では、ブロックの動きベクトルの符号化コストはさらに、顕著性値を決定するのに利用される。
【００１５】
さらなる他の実施例では、決定された符号化コストは正規化され、正規化された符号化コストは、顕著性値を決定するのに利用される。
【００１６】
ブロックがＤＩＲＥＣＴ／ＳＫＩＰモードにより符号化されている場合、減衰値がさらに、顕著性値を決定するのに利用可能である。
【００１７】
さらなる効果的な実施例の特徴が、従属形式の請求項に規定される。
【発明の効果】
【００１８】
本発明によると、圧縮されたビデオから顕著性情報を抽出することによって、計算コストの低い顕著性モデルを生成することができる。
【図面の簡単な説明】
【００１９】
【図１】図１は、顕著性マップの従来の導出の一例となるフローチャートを示す。
【図２】図２は、圧縮されたビデオストリームから空間顕著性マップを導出することによって、当該ストリームから顕著性マップを導出する第１実施例の一例となるフローチャートを示す。
【図３】図３は、圧縮されたビデオストリームから時間顕著性マップを導出することによって、当該ストリームから顕著性マップを導出する第２実施例の一例となるフローチャートを示す。
【図４】図４は、圧縮されたビデオストリームから空間顕著性マップ、時間顕著性マップ及びこれら導出されたマップを合成したものを導出することによって、当該ストリームから顕著性マップを導出する第３実施例の一例となるフローチャートを示す。
【図５】図５は、圧縮されたビデオストリームから空間顕著性マップを導出する一例となるフローチャートを示す。
【図６】図６は、圧縮されたビデオストリームから時間顕著性マップを導出する一例となるフローチャートを示す。
【図７】図７は、空間顕著性マップと時間顕著性マップとの合成の一例となるフローチャートを示す。
【発明を実施するための形態】
【００２０】
本発明の実施例が図面により示され、以下の説明においてより詳細に説明される。実施例は、単に本発明を説明するためのものであり、本発明の開示又は請求項に規定される範囲を限定するものでない。
【００２１】
本発明は、対応して構成される処理装置を有する何れかの電子装置により実現されてもよい。本発明は、特に顕著性ベースのアプリケーションが必要とされる低パワー装置に有用であるが、これに限定されるものでない。例えば、本発明は、セットトップボックス、タブレット、ゲートウェイ、テレビ、モバイルビデオフォン、パーソナルコンピュータ、デジタルビデオカメラ又は車両エンターテイメントシステムにより実現されてもよい。
【００２２】
本発明は、符号化されたストリームがさらなる計算コストがほとんどなく顕著性マップを導出するのに利用可能な情報をすでに有しているという事実を開示及び利用する。当該情報は、フル復号化中にビデオデコーダにより抽出可能である。あるいは、ビデオストリームを完全に符号化することなくビデオストリームの構文解析のみを行うパーシャルデコーダが、実現可能である。
【００２３】
図２に示される第１実施例では、顕著性マップＭＡＰの計算は、空間顕著性マップ計算ＳＳＣのみを有する。
【００２４】
図３に示される第２実施例では、顕著性マップＭＡＰの計算は、時間顕著性マップ計算ＴＳＣのみを有する。
【００２５】
図４に示される第３実施例では、顕著性マップＭＡＰの計算は、空間顕著性マップ計算ＳＳＣ、時間顕著性マップ計算ＴＳＣ及び計算された空間顕著性マップと計算された時間顕著性マップとの合成ＦＵＳからなる。
【００２６】
第１、第２及び第３実施例において計算された空間及び／時間顕著性マップは、入力された圧縮されたストリームＩＣＳに符号化されているビデオＶＩＤを完全に復号化ＤＥＣすることなく、入力された圧縮されたストリームＩＣＳから利用可能な情報から計算される。
【００２７】
本発明は、特定の符号化方式に限定されるものでない。入力される圧縮されたストリームＩＣＳは、例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ、ＭＰＥＧ−２などの何れかの予測符号化方式を用いて圧縮可能である。
【００２８】
異なる実施例では、空間顕著性マップ計算ＳＣＣは、符号化コスト推定に基づく。Ｚ．Ｈｅ：“ρ−ｄｏｍａｉｎ ｒａｔｅ−ｄｉｓｔｒｏｔｉｏｎ ａｎａｌｙｓｉｓ ａｎｄ ｒａｔｅ ｃｏｎｔｒｏｌ ｆｏｒ ｖｉｓｕａｌ ｃｏｄｉｎｇ ａｎｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ”，Ｓａｎｔａ Ｂａｒｂａｒａ，ＰｈＤ−Ｔｈｅｓｉｓ，Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｃａｒｉｆｏｒｎｉａ，２００１は、ブロックの変換の非ゼロの変換係数の個数がブロックの符号化コストに比例することについて記載している。図５に示される空間顕著性マップ計算ＳＣＣは、この事実を利用し、イントラ符号化ブロックに当該ブロックの符号化コストを用いて決定された顕著性値を割り当てる。符号化コストは、Ｈｅにより記載されるようなρドメインモデルを用いて決定される。
【００２９】
時間のみに関する顕著性の大部分は重要であるため、顕著性マップは正規化可能である。
【００３０】
符号化コストに加えて、ブロックサイズがさらに顕著性値を決定するのに利用可能である。より小さなブロックサイズがオブジェクトのエッジに通常関連付けされ、関心がある。マクロブロックコストマップは、より小さなブロックへの分解数により拡張される。例えば、各ブロックのコスト値は、サブブロック分解の場合には２倍になる。
【００３１】
インタ予測又は双方向予測を用いて符号化されるブロックについて、動き情報がストリームから抽出可能であり、インタ予測又は双方向予測に利用される１以上のリファレンス画像について決定された空間顕著性マップの動き補償に利用される。
【００３２】
時間顕著性計算ＴＳＣは、図６に示されるような動き情報に基づく。従って、インタ予測又は双方向予測されたフレームのみについてそれは決定される。インタ又は双方向予測されたフレーム内において、イントラ符号化されたマクロブロックは、インタ又は双方向予測によっては良好に予測可能でない大きな動きを示すか、又はカバーされていないエリアを表す。実施例では、バイナリイントラ符号化されたブロックマップＩＣＭが、時間顕著性マップを決定するのに利用される。バイナリイントラ符号化されたブロックマップでは、各イントラブロックは、例えば、１の値をとる。
【００３３】
顕著であり注目される動きを表す動きベクトルは良好には予測できず、符号化のために有意により多くなビットを必要とするため、動きベクトルの符号化コストマップＭＣＭはさらに、時間顕著性マップを決定するのに利用される。
【００３４】
動きベクトル符号化コストマップＭＣＭとイントラ符号化ブロックマップＩＣＭとは正規化され、加算される。結果として得られたマップにおいてブロックに割り当てられる時間顕著性値は、ＳＫＩＰ又はＤＩＲＥＣＴモードにより符号化されるブロックについて減衰しうる。例えば、ＳＫＩＰ又はＤＩＲＥＣＴモードにより符号化されたブロックの符号化コストは０．５の係数により重み付けされ、他のモードにより符号化されたブロックの符号化コストは変更されないままである。
【００３５】
空間顕著性計算ＳＳＣと時間顕著性計算ＴＳＣとから得られる顕著性マップの合成ＦＵＳは、単純な加算とすることができる。あるいは、図７に示されるように、空間顕著性マップと時間顕著性マップとは、加算前にウェイトａ，ｂにより重み付けされる。ａはフレームのイントラ符号化されたブロックの相対量に依存し、ウェイトｂはフレームのインタ又は双方向予測ブロック（Ｐ又はＢ）の相対量に依存する。合成ＦＵＳはまた、ビットレート変化及び符号化タイプに依存するウェイトｃにより重み付けされた前のフレームの前の顕著性マップを利用可能である。
【００３６】
本発明者の実験は、ａ，ｂ，ｃの以下の例示的な値が良好な結果を示した。
【００３７】
【数１】
以上、本発明の実施例について詳述したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００３８】
ＳＳＣ 空間顕著性マップ計算
ＴＳＣ 時間顕著性マップ計算
ＦＵＳ 計算された空間顕著性マップと計算された時間顕著性マップとの合成
【特許請求の範囲】
【請求項１】
データストリームにブロック単位で予測符号化されたビデオフレームのブロックの顕著性値を決定する方法であって、
当該方法は、処理手段を用いて前記顕著性値を決定するため、前記ブロックの変換された残差の符号化コストを決定し、前記決定された符号化コストを利用することを有する方法。
【請求項２】
データストリームにブロック単位で予測符号化されたビデオフレームのブロックの顕著性値を決定する装置であって、
当該装置は、前記顕著性値を決定するため、前記ブロックの変換された残差の符号化コストを決定し、前記決定された符号化コストを利用するよう構成される処理手段を有する装置。
【請求項３】
前記ブロックは、イントラ予測符号化され、
前記符号化コストの決定は、ρドメインモデルを用いて決定することを有する、請求項１記載の方法又は請求項２記載の装置。
【請求項４】
前記ブロックは、インタ予測符号化され、
前記符号化コストの決定は、前記ブロックのインタ予測に利用されるリファレンスブロックの変換された残差の符号化コストを決定することを有する、請求項１記載の方法又は請求項２記載の装置。
【請求項５】
前記処理手段を用いて、前記ブロックのサイズによって前記リファレンスブロックの決定された符号化コストを重み付けする、請求項４記載の方法。
【請求項６】
前記顕著性値を決定するため、前記ブロックの動きベクトルの符号化コストをさらに利用することを有する、請求項３又は４記載の方法。
【請求項７】
前記処理手段を用いて前記顕著性値を決定するため、さらに前記決定された符号化コストを正規化し、前記正規化された符号化コストを利用する、請求項１、３乃至６何れか一項記載の方法。
【請求項８】
前記処理手段はさらに、前記ブロックのサイズにより前記リファレンスブロックの決定された符号化コストを重み付けするよう構成される、請求項４記載の装置。
【請求項９】
前記処理手段はさらに、前記顕著性値を決定するため、前記ブロックの動きベクトルの符号化コストをさらに利用するよう構成される、請求項３又は４記載の装置。
【請求項１０】
前記処理手段は、前記顕著性値を決定するため、前記決定された符号化コストを正規化し、前記正規化された符号化コストを利用するよう構成される、請求項２乃至５、８及び９何れか一項記載の装置。
【請求項１１】
前記処理手段を用いて、前記ブロックがＤＩＲＥＣＴ／ＳＫＩＰモードにより符号化されているか決定し、
前記ブロックがＤＩＲＥＣＴ／ＳＫＩＰモードにより符号化されている場合、減衰値がさらに前記顕著性値を決定するのに利用される、請求項４乃至６何れか一項記載の方法。
【請求項１２】
前記処理手段は、前記ブロックがＤＩＲＥＣＴ／ＳＫＩＰモードにより符号化されているか決定するよう構成され、
前記ブロックがＤＩＲＥＣＴ／ＳＫＩＰモードにより符号化されている場合、減衰値がさらに前記顕著性値を決定するのに利用される、請求項４、５又は８記載の装置。
【請求項１】
データストリームにブロック単位で予測符号化されたビデオフレームのブロックの顕著性値を決定する方法であって、
当該方法は、処理手段を用いて前記顕著性値を決定するため、前記ブロックの変換された残差の符号化コストを決定し、前記決定された符号化コストを利用することを有する方法。
【請求項２】
データストリームにブロック単位で予測符号化されたビデオフレームのブロックの顕著性値を決定する装置であって、
当該装置は、前記顕著性値を決定するため、前記ブロックの変換された残差の符号化コストを決定し、前記決定された符号化コストを利用するよう構成される処理手段を有する装置。
【請求項３】
前記ブロックは、イントラ予測符号化され、
前記符号化コストの決定は、ρドメインモデルを用いて決定することを有する、請求項１記載の方法又は請求項２記載の装置。
【請求項４】
前記ブロックは、インタ予測符号化され、
前記符号化コストの決定は、前記ブロックのインタ予測に利用されるリファレンスブロックの変換された残差の符号化コストを決定することを有する、請求項１記載の方法又は請求項２記載の装置。
【請求項５】
前記処理手段を用いて、前記ブロックのサイズによって前記リファレンスブロックの決定された符号化コストを重み付けする、請求項４記載の方法。
【請求項６】
前記顕著性値を決定するため、前記ブロックの動きベクトルの符号化コストをさらに利用することを有する、請求項３又は４記載の方法。
【請求項７】
前記処理手段を用いて前記顕著性値を決定するため、さらに前記決定された符号化コストを正規化し、前記正規化された符号化コストを利用する、請求項１、３乃至６何れか一項記載の方法。
【請求項８】
前記処理手段はさらに、前記ブロックのサイズにより前記リファレンスブロックの決定された符号化コストを重み付けするよう構成される、請求項４記載の装置。
【請求項９】
前記処理手段はさらに、前記顕著性値を決定するため、前記ブロックの動きベクトルの符号化コストをさらに利用するよう構成される、請求項３又は４記載の装置。
【請求項１０】
前記処理手段は、前記顕著性値を決定するため、前記決定された符号化コストを正規化し、前記正規化された符号化コストを利用するよう構成される、請求項２乃至５、８及び９何れか一項記載の装置。
【請求項１１】
前記処理手段を用いて、前記ブロックがＤＩＲＥＣＴ／ＳＫＩＰモードにより符号化されているか決定し、
前記ブロックがＤＩＲＥＣＴ／ＳＫＩＰモードにより符号化されている場合、減衰値がさらに前記顕著性値を決定するのに利用される、請求項４乃至６何れか一項記載の方法。
【請求項１２】
前記処理手段は、前記ブロックがＤＩＲＥＣＴ／ＳＫＩＰモードにより符号化されているか決定するよう構成され、
前記ブロックがＤＩＲＥＣＴ／ＳＫＩＰモードにより符号化されている場合、減衰値がさらに前記顕著性値を決定するのに利用される、請求項４、５又は８記載の装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−８５２５２（Ｐ２０１３−８５２５２Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１２−２２５７２３（Ｐ２０１２−２２５７２３）
【出願日】平成２４年１０月１１日（２０１２．１０．１１）
【出願人】（５０１２６３８１０）トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ
【住所又は居所原語表記】１−５， ｒｕｅ Ｊｅａｎｎｅ ｄ’Ａｒｃ， ９２１３０ ＩＳＳＹ ＬＥＳ ＭＯＵＬＩＮＥＡＵＸ， Ｆｒａｎｃｅ
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１２−２２５７２３（Ｐ２０１２−２２５７２３）
【出願日】平成２４年１０月１１日（２０１２．１０．１１）
【出願人】（５０１２６３８１０）トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ
【住所又は居所原語表記】１−５， ｒｕｅ Ｊｅａｎｎｅ ｄ’Ａｒｃ， ９２１３０ ＩＳＳＹ ＬＥＳ ＭＯＵＬＩＮＥＡＵＸ， Ｆｒａｎｃｅ
【Ｆターム（参考）】
[ Back to top ]