ビデオ画像の検出およびエンハンスメントのための方法およびシステム
フレームにおける画素領域の画質を測定し、その画質の測定に基づいて画像分類を実行し、その領域の画像分類に応じて動作を適用することにより画質をエンハンスさせるための、適合的な画像エンハンスメントのための方法およびシステムが、提供される。フレームをＰ個の画素領域に分割するステップと、画素領域の各々の１つに関し、画質を測定するステップと、画質のクラスを割り当てるステップと、画像をエンハンスさせるステップとを含む、方法も提供される。さらに、ソースビデオ画像のフレームにおける画素領域の画質を測定するための回路と、その画質の測定に基づいて領域の画像分類を実行するための回路と、フレームの画像分類に基づいて動作を適用することによってソースビデオ画像における領域の画質をエンハンスさせるための回路と、を含む適合的な画像エンハンスメントのためのシステムも提供される。
【発明の詳細な説明】
【関連出願】
【０００１】
本願は、２００９年７月２１日に出願された米国仮特許出願第６１／２２７，４２２号、および２０１０年７月２１日に出願された米国通常特許出願第１２／８４０，９７３号に関連し、それらの優先権を主張するものであり、それらはいずれも、引用により、その全内容が本明細書に組み込まれる。
【技術分野】
【０００２】
ここで説明される実施形態は、一般的に、ビデオ処理回路および方法に関し、より詳細には、ビデオ画像品質の測定およびエンハンスメントのための回路および方法に関する。
【背景技術】
【０００３】
さまざまな解像度のフォーマットおよび圧縮方法による、非常に多くのソースからのビデオコンテンツがますます増えるにつれ、そのコンテンツの画質は、かなり多様になっていくだろう。画質の問題のいくつかは、過度に低い、または高いコントラスト、過度に低い、または高い明度（brightness）、軟調な、または低帯域幅の画像（soft or low bandwidth image）、さまざまな量のランダム・ノイズ、および、「モスキート」ノイズや「ブロック」ノイズを結果としてもたらす画像圧縮方式、を含み得る。既存のビデオおよび画像処理技術は、画像の明度およびコントラストを調整し、画像のディテールを鮮明にして（sharpen）エンハンスさせ、テンポラル・ノイズ（temporal noise）および圧縮アーチファクト（compression artifact）を低減するために、利用可能である。しかしながら、ユーザーは、各々の入力ソースに応じて、たとえば高解像度のブルーレイ（登録商標）プレイヤーや低解像度のポータブルメディアプレイヤーに応じて、または放送テレビジョンにおけるネイティブのコンテンツとアップコンバートされたコンテンツとの相違に応じて、これらの技術のパラメータを調整する必要がある。インターネットのコンテンツは、解像度および圧縮の点で、より多様であり得る。このような状況において、ユーザーの中には、技術を十分に理解できず、それらを有効活用できない、または興味を持つことができない、またはすぐに対応できないので、いつも調整を行なうわけではない人もいる。したがって、コンテンツに適合することができ、最適なビデオ品質のために必要な補償を実行することができる、ビデオ画像プロセッサが必要とされている。
【発明の概要】
【０００４】
適合的な画像エンハンスメントのための方法およびシステムが提供される。本発明のいくつかの実施形態に係る方法は、ソースビデオのフレームにおける画素領域の画質を測定することと、その画質の測定に基づいて画像分類を実行することと、そのフレームの画像分類に基づいて動作を適用することにより上記ソースビデオ画像における画素領域の画質をエンハンスさせることと、を含む。
【０００５】
ソースビデオ画像におけるフレームをＰ個の画素領域に分割するステップを含む、適合的な画像エンハンスメントのための方法も提供され、Ｐは１より大きく、出力ディスプレイにおける合計画素数と同じ大きさの数であり、上記Ｐ個の画素領域の各々の１つについて、この方法は、上記ソースビデオ画像のフレームにおける画素領域の画質を測定するステップと、その画素領域の選択された部分に画質のクラスを割り当てるステップと、それらの画像分類によってソースビデオ画像のフレームにおける画素領域の各々をエンハンスさせるステップと、をさらに含むことができる。
【０００６】
本発明のいくつかの実施形態に係る適合的な画像エンハンスメントのためのシステムは、ソースビデオ画像におけるフレームの領域の画質を測定するための回路と、その画質の測定に基づいてその領域の画像分類を実行するための回路と、そのフレームの画像分類に基づいて動作を適用することにより上記ソースビデオ画像における領域の画質をエンハンスさせるための回路と、を含む。
【０００７】
本発明に係る、これらのおよび他の実施形態は、以下の図面を参照し、下記においてさらに説明される。
【図面の簡単な説明】
【０００８】
【図１】図１は、本発明のいくつかの実施形態に係るシステムのブロック図である。
【図２】図２は、本発明のいくつかの実施形態に係る、スペクトルヒストグラムを使用した、ディテールによる画像分類を示す図である。
【図３】図３は、本発明のいくつかの実施形態に係る、スペクトルヒストグラムを使用した、帯域幅による画像分類を示す図である。
【図４】図４は、本発明のいくつかの実施形態に係る、輝度（luminance）のヒストグラムを使用した、コントラストと明度（brightness）による画像分類を示す図である。
【図５Ａ】図５Ａは、１６：９のコンテンツを含んだ、１６：９のアスペクト比を有する標準画質の入力ビデオ画像（standard definition input video image）を示す図である。
【図５Ｂ】図５Ｂは、４：３の「ピラーボックス」コンテンツを含んだ、１６：９のアスペクト比を有する標準画質の入力ビデオ画像を示す図である。
【図５Ｃ】図５Ｃは、４：３のコンテンツを含んだ、４：３のアスペクト比を有する標準画質の入力ビデオ画像を示す図である。
【図５Ｄ】図５Ｄは、１６：９の「レターボックス」コンテンツを含んだ、４：３のアスペクト比を有する標準画質の入力ビデオ画像を示す図である。
【図６】図６は、本発明のいくつかの実施形態に係る、局部的なヒストグラムおよび局部的な分類を使用したシステムのブロック図である。
【０００９】
図面において、同一の参照番号を有する要素は、同一または同様の機能を有する。
【詳細な説明】
【００１０】
高画質（ＨＤ：high definition）のテレビ放送のようなビデオコンテンツは、ネイティブの解像度（ＨＤでは１９２０×１０８０画素）の画像、または７２０×４８０画素を有し、ＨＤ解像度にアップサンプリングされた、標準画質（ＳＤ：standard definition）のような他の解像度の画像を含み得る。そのようなアップサンプリングされた画像は、高い画素解像度を有することができるが、それらの実際のスペクトルは、アップサンプリングされた解像度の範囲ではなく、それ本来の範囲を有し得る。本発明のいくつかの実施形態によると、画像のスペクトルヒストグラムの解析は、その画像の固有の解像度を決定することができる。本発明のいくつかの実施形態によると、スペクトル測定は、バンドパスフィルタまたは離散コサイン変換（ＤＣＴ）のいずれかの使用により実行されることができ、一次元または二次元で実行されることができる。
【００１１】
さらに、本発明のいくつかの実施形態によると、いくつかのビデオアプリケーションは、フレーム全体にわたって画質を調整するために、微分アプローチから利益を得ることができる。たとえば、そのフレームの異なる一部、領域またはオブジェクトは、異なるタイプのエンハンスメントを要求し得る。そのようなフレームの一部またはブロックは、空の一部、または草むらの１セクション、または水の一部、といった画像オブジェクトをも含み得る。ある領域が、空の一部のようなノイズを伴う背景を有する粗いディテールのセクションを含み得る一方で、別の領域は、草むら、植物、または森の中の木といった拡散エッジを示す極めて細かいディテールの部分を含み得る。そのような領域を含むフレームは、サブフレームごとに異なるエンハンスメントのアプローチから利益を得ることができ、それはフレーム全体にわたって高い品質を有する画像という結果をもたらす。このアプローチは、ハイエンドのビデオシステムにおける計算能力（computational capability）を、より有効に使用することができる。このように、見る人によるビデオストリームの感じ方に影響を与えず、リアルタイムで動作する、より有効にビデオをエンハンスさせる方法およびシステムが、本発明のいくつかの実施形態で得られることができる。
【００１２】
本発明のいくつかの実施形態は、ソースビデオ画像におけるフレームをＰ個の画素領域に分割するための方法であって、Ｐは１より大きく、出力ディスプレイにおける合計画素数と同じ大きさの数である方法を提供することができ、Ｐ個の画素領域の各々の１つについて、この方法はさらに、ソースビデオ画像のフレームにおける画素領域の画質を測定するステップと、その画素領域の選択された部分に画質のクラスを割り当てるステップと、それらの画像分類によってソースビデオ画像のフレームにおける画素領域の各々をエンハンスさせるステップと、を含むことができる。
【００１３】
図１は、本発明のいくつかの実施形態に係る適合的な画像エンハンスメントシステム（ＡＩＥ：Adaptive Image Enhancement System）１００を示す。ＡＩＥシステム１００は、スペクトルフィルタ１０１、スペクトルヒストグラム１０２、ボックス検出器１０４、および輝度のヒストグラム１０５といった測定機能を含む。システム１００は、画像分類機能１０３のような分類機能も含む。システム１００は、ノイズリデューサー（noise reducer）１１０、信号遷移改良機能（signal transition improvement function）１１１、適合的なスケーラー（adaptive scaler）１１２、ディテールエンハンスメント機能（detail enhancement function）１１３、およびコントラストエンハンスメント機能１１４といった画像処理機能をさらに含む。図１に示されたシステム１００は、示された画像処理機能のうちの１つまたは複数を含むことができる。本発明の他の実施形態は、図１に示した画像処理機能に限定されないことができる。また、いくつかの実施形態において、画像処理機能の順序は、図１に示したとおりでないこともでき、処理の順序は、アプリケーションまたはユーザーの選択によって異なる。
【００１４】
システム１００のいくつかの実施形態において、測定機能は、ソース入力フレーム時間の間に実行される。測定は、次のフレーム時間の前に解析されることができ、画像エンハンスメントは、次のフレーム表示時間の間ソースフレームに適用されることができる。このように、本発明のいくつかの実施形態によると、測定、解析、およびエンハンスメントは、同一のソースフレームで実行されることができる。いくつかの実施形態は、他の処理またはシステムの機能に起因する、測定、解析、および画像エンハンスメントにおけるさらなる遅延を有することができる。
【００１５】
ビデオソースデータは、ＲＧＢまたはＹＣｒＣｂ（ＹＵＶ）フォーマットのいずれかであることができる。本発明のいくつかの実施形態は、ＹＣｒＣｂフォーマットで測定および処理を実行し、ＲＧＢソースはＡＩＥシステム１００によって処理される前に変換されるという前提から始まる。本発明のいくつかの実施形態は、ＲＧＢデータを用いて測定、解析、およびエンハンスメントを実行することができる一方、いくつかの実施形態は、ＹＣｒＣｂフォーマットを使用することができる。ＹＣｒＣｂフォーマットは、まさにヒューマン・ビジュアル・システム（human visual system）を代表するビデオソースの色彩フォーマットであるため、本発明のいくつかの実施形態は、ＹＣｒＣｂフォーマットを使用することができる。本発明のいくつかの実施形態は、ＨＳＩフォーマット（Ｈ−色相（hue）、Ｓ−彩度（saturation）、Ｉ−明度（intensity））のデータを使用することもできる。本発明のいくつかの実施形態によると、ＹＣｒＣｂフォーマットまたはＨＳＩフォーマットは、「色空間（color space）」と呼ばれることができる。現在の入力フレームデータは、並行した測定処理のために、スペクトル測定１０１、ボックス検出器１０４、および輝度のヒストグラム１０５（図１を参照）により、同時に受信される。
【００１６】
スペクトル測定ステージ１０１は、ソースビデオ画像のスペクトル分解を実行する。スペクトル分解は、本発明のいくつかの実施形態によると、ＹＣｒＣｂフォーマットのＹ、Ｃｒ、およびＣｂ信号の各々について、別々になされることができる。本発明のいくつかの実施形態において、このスペクトル分解は、信号（Ｙ、Ｃｒ、およびＣｂ）のフーリエ変換（ＦＴ）、または高速フーリエ変換（ＦＦＴ）によって行なわれることができる。さらに、信号（Ｙ、Ｃｒ、およびＣｂ）のＦＴは、本発明のいくつかの実施形態によると、二次元フーリエ変換（２Ｄ−ＦＴまたは２Ｄ−ＦＦＴ）であることができる。下記において、「周波数」、「周波数帯域」、または「スペクトル測定」という任意の呼称は、そうでないとの記載がない限り、スペクトル測定ステージ１０１のいくつかの実施形態では、ソースビデオ画像入力の空間フーリエ周波数または空間フーリエ変換に関するものとする。
【００１７】
画像の周波数スペクトルは、測定のために複数の選択帯域に分離されることができる。本発明のいくつかの実施形態は、測定のためのスペクトル帯域を選択するために、周波数の復調とローパスフィルタリングの組み合わせを使用する。いくつかの実施形態は、スペクトルのフィルタリング機能を実行するために、バンドパスフィルタまたは離散コサイン変換（ＤＣＴ）を使用する。
【００１８】
スペクトル測定１０１のいくつかの実施形態において、スペクトル分解は、１つの（１）または複数のバンドパスフィルタを用いて実行されることができる。実現のコストを低減するために、より少ない数（たとえば、１つ）のバンドパスフィルタが、画像の異なる領域にわたり、そして多数のフレームにわたり、選択された数（たとえば、４つ）のスペクトル帯域の各々を通して、順次動作することができる。それゆえに、全フレームの統計が、安定的かつ確実な結果を提供するために蓄積されることができる。本発明のいくつかの実施形態は、水平方向でのみ実行されるスペクトル測定１０１およびスペクトルヒストグラム１０２を含むことにより、低減された実現コストを提供する。本発明のいくつかの実施形態は、水平方向と垂直方向の両方で、スペクトル測定１０１およびスペクトルヒストグラム１０２を実行することができるので、測定のより高い確実性および一貫性のために、さらなる精確さを提供する。垂直方向でのさらなる測定は、水平方向を向き、水平フィルタにとっては低帯域幅のオブジェクトに見えるオブジェクトを検出することができるので、より強固な実現を提供する。垂直のスペクトル測定は、水平のスペクトル測定と相互に関連づけられて、または、水平のスペクトル測定とは独立して、使用されることができるので、垂直方向の特定の画像エンハンスメントを可能にする。
【００１９】
スペクトル測定１０１は、経験的または特定的に選択されることができる、対象の周波数帯域に分けられ、コンテンツの品質を検出し、品質をエンハンスメント周波数帯域と相互に関連づける。たとえば、１０８０ｐのＨＤ信号が受信された場合、それは、１９２０×１０８０のネイティブの解像度のもの、または、コンパクトディスクデジタルビデオ（ＶＣＤ）、アナログテレビジョンシステム用のＮＴＳＣ（National Television System Committee（全米テレビジョン放送方式標準化委員会））、デジタルビデオディスク（ＤＶＤ）、または７２０ｐ（垂直の解像度が７２０画素のＨＤＴＶ）といったさまざまなソースからアップスケーリングされたものであることができる。
【００２０】
１０８０ｐ ＨＤのネイティブ帯域幅が「Ｆｓ」である場合には、上記アップスケーリングされたコンテンツ（ＶＣＤ、ＮＴＳＣ、ＤＶＤ、およびＨＤＴＶ）は各々、Ｆｓ×０．１８８、×０．２５、×０．３８、および×０．６７に制限された帯域幅を有する。この例では、４つのフィルタが、コンテンツの品質を評価するために、バンドパスに設定されることができ、すなわち、Ｆｓ×０．１８８から×０．２５まではＢ１、Ｆｓ×０．２５から×０．３８まではＢ２、Ｆｓ×０．３８から×０．６７まではＢ３、およびＦｓ×０．６７から×１．００まではＢ４である。本発明のいくつかの実施形態によると、アップコンバートされたアナログビデオフォーマットのＮＴＳＣ信号またはビデオレコーダー信号（ＶＣＲ）に関し、スペクトル測定ステージ１０１は、送信周波数が３．５８ＭＨｚである（ＮＴＳＣフォーマットの）アナログのカラーキャリアの検出を実行するスペクトルフィルタをさらに含むことができる。そして、スペクトル測定ステージ１０１は、要求されるとカラー・アーチファクトを除去するために「オン」にされる抑制回路を備えている。
【００２１】
本発明のいくつかの実施形態は、クロミナンスチャネルＣｒおよびＣｂのスペクトル測定を実行し、付加的な、または独立した処理を実行するステージ１０１を含む。ＣｒおよびＣｂの帯域幅は、ソースがグラフィックビデオの場合であってＣｒおよびＣｂの帯域幅がＹ信号と同一である場合、または、ソースがＮＴＳＣまたはＶＣＲの場合であって帯域幅が１．５ＭＨｚ未満に抑えられている場合を除き、典型的にはＹ信号のＦｓ×０．５である。このビデオコンテンツでは、ＣｒおよびＣｂ成分は、帯域外ノイズおよびアーチファクトを低減するためにフィルタリングされることができる。この実施形態において、ＣｒおよびＣｂ成分は、連続するスペクトル帯域を含むことができ、その帯域にわたって等しい強度である。全帯域幅のクロミナンスが検出されると、これらのフィルタは、全帯域幅を維持するために「オフ」にされることができ、ＣｒおよびＣｂ成分を弱めないことができる。ビデオのクロミナンス成分（ＣｒおよびＣｂ）が帯域制限されている場合、これは、ＹチャネルとＣｒ／Ｃｂチャネルとの間のタイミングの不一致を示し得る。これを補正するために、本発明のいくつかの実施形態は、信号遷移のエンハンスメントを可能にする遅延補償回路を含み、ＣｒおよびＣｂのエッジ遷移をＹのエッジ遷移と一致させる。このようにして、ＣｒおよびＣｂチャネルにおける位相遅延が補償されることができる。
【００２２】
１つの実施形態は、対象のＮ個のスペクトル帯域をカバーするために、ステージ１０１においてＮ個のスペクトル帯域フィルタを実現することができる。本発明の、より低いコストの実施形態は、Ｎ個のスペクトル帯域を測定するためにＭ個の減少した数のフィルタを使用することができ、さらに、画像をサブフレームに分割し、Ｎ／Ｍフレームにわたる測定を蓄積する。このより低いコストの実施形態では、全フレームによる各帯域のカバーが多数のフレームにわたって得られるまで、フィルタのパラメータは順次変えられ、測定ヒストグラムは各サブフレームでＭ個の帯域のために蓄積される。例示的な実施形態は、４つの（４）スペクトル帯域をカバーするために２つの（２）フィルタを使用することができるので、画像は、２つのサブフレームにセグメント化されることができる。第１のフィルタは、第１のサブフレームにおいて帯域１および２をカバーすることができ、第２のフィルタは、第２のサブフレームにおいて帯域３および４をカバーすることができる。ビデオストリームからの次のフレームにおいて、第２のフィルタは、第１のサブフレームにおいて帯域３および４をカバーすることができ、第１のフィルタは、第２のサブフレームにおいて帯域１および２をカバーすることができる。
【００２３】
スペクトルヒストグラム１０２は、スペクトル測定ステージ１０１からの出力を受信し、多数のフレームにわたるＭ個のサブフレームにおけるＮ個のスペクトル帯域に関するヒストグラムデータを蓄積する。いくつかの実施形態において、４つのスペクトル帯域および４つのサブフレームの実現のために、画像全体にわたる４つのすべてのスペクトル帯域に関するヒストグラムは、設定された数、たとえば４つの（４）フレームを処理した後に、利用可能であることができる。上記の例示的なケースのいくつかの実施形態において、ヒストグラムは、所与の数のフレームがすべてアップデートされた後に、読み出される。他の実施形態では、ヒストグラムは、前もって定められた数のフレームからのデータの蓄積を含む部分的なアップデートとともに、フレームごとに読み出される。いくつかの実施形態において、各帯域の垂直領域は、より詳細な解析を提供するために、高い粒度を求めて、水平セグメントにさらに分割されることができる。フレームをサブフレームに分割することは、スペクトルヒストグラム１０２において、より高い粒度の結果を提供するので、局部的な差異が観察されることができる。
【００２４】
測定されたスペクトルヒストグラム１０２から、スペクトルの振幅、分布、および範囲が、低い、標準の（medium）、または高いコントラスト、低い、標準の、または高い明度、低い、中間の（medium）、または高い帯域幅、および低い、標準の、または高いレベルのディテール、といったタイプによって画像を分類するために、使用されることができる。これらの分類は、選択されたタイプおよびレベルのビデオ処理を制御して画像をエンハンスさせるために使用されることができ、画像分類ステージ１０３において実行される。
【００２５】
本発明のいくつかの実施形態は、処理されるビデオ画像の全フレームを含む全体的なレベルで、画像分類ステージ１０３を適用する。さらに、いくつかの実施形態によると、画像分類１０３は、領域で、および画素レベルでも、適用されることができる。本発明のいくつかの実施形態によると、画素領域は、全フレーム内に含まれた任意のサブフレームとして全フレームから選択されることができ、サブフレームは、フレーム内の１画素から全フレームまでの任意のサイズであることができる。領域または画素レベルの分類は、極めてディテールが細かい、そこまでディテールが細かくない、高いまたは低いコントラスト、高いまたは低い明度、鮮明なエッジまたはフラットな領域といった、領域または画素を定義する２Ｄ分類マップを生成することができる。この画像マップは、表示動作を制御し、変化させる他の処理機能によって使用されることができる。
【００２６】
画像分類ステージ１０３は、コンテンツの品質を決定するために、特定の領域内の一部、領域、および各帯域に関するヒストグラムデータを評価する。いくつかの実施形態において、画像分類ステージ１０３は、実現の柔軟性のために、マイクロプロセッサでソフトウェアによって実現されることができる。本発明のいくつかの実施形態は、別々のヒストグラムを用いた領域のエリアにわたる測定の区分化によって、ローカル画像分類ステージ６０７を使用することができる（以下の図６参照）。局部的な測定は、画像コンテンツにおける差異へのよりよい適合性を提供し、局部的な画像エンハンスメントを実行するために使用されることができる。
【００２７】
本発明のいくつかの実施形態において、画質および解像度は、各スペクトル帯域の絶対電力、およびステージ１０１で測定されたスペクトル帯域間の相対的な電力によって分類される。ノイズ対帯域電力は、経験的に確立された閾値によって決定される。たとえば、閾値は、フィルタノイズ電力に対する絶対電力レベルの比、または量子化により誘導された（quantization-induced）帯域電力であることができる。第２の例示的な閾値は、画像の明度およびコントラストに依存した、すべての帯域からの合計電力に対する帯域電力の相対比（relative ratio）であることができる。計算された電力は解像度に依存するため、これらの閾値はまた、入力解像度に応じて適合させられることにより、解像度に依存しない閾値を提供する。
【００２８】
図１におけるボックス検出ステージ１０４は、本来のソースコンテンツのアスペクト比および解像度を、表示アスペクト比および解像度に調整するために、実現されることができる。本来のアスペクト比でソースを表示させるために、画像は、「レターボックス」または「ピラーボックス」で配置されることができ、インアクティブな（inactive）表示エリアは、単一色に設定される。ＳＤビデオは、４：３または１６：９のアスペクト比を有することができる。さらに、４：３のアスペクト比を有するＳＤビデオは、その中に、１６：９のアスペクト比または２：３５のアスペクト比の画像を有する「レターボックス」を含むことができる。１６：９のアスペクト比を有するＳＤまたはＨＤビデオは、４：３のアスペクト比の画像を有する「ピラーボックス」をさらに含むことができる。このように、ＳＤビデオがＨＤにアップコンバートされる場合、アクティブな画像エリアは、表示エリアよりも小さいことができ、インアクティブなエリアは、単一色または黒に設定されることができる。放送ビデオにおいて、コンテンツは、「レターボックス」、「ピラーボックス」、および「ピラーボックス」内の「レターボックス」といった異なるフォーマットに、順次絶えず変化している。このシナリオにおいて、アクティブ画像エリアは、スケーリングされ、ユーザーの選択によって画像を拡大することができ、表示される画像を最大化し、または表示エリアを埋め尽くし、または単一色の辺縁部を少なくする。
【００２９】
ボックス検出ステージ１０４は、画像の上下左右の辺縁部を評価し、そのサイズを測定するために実行される。そのサイズは、検出された辺縁部が動きを有しないように、画像の周りの黒または単一色の列および行の数の検出によって決定される。黒または単一色のエリアは、ノイズによるエラーを回避するために、フィルタリングされた隣接する画素の差分の決定閾値により決定されることができる。本発明のいくつかの実施形態に係るボックス検出のための別の方法は、カラーキーイングの使用であり、識別されたキー値間の色は同一とみなされ、単一色のエリアを形成する。上下の辺縁部および左右の辺縁部の検出およびサイズは、所望のスケーリング調整を行なうために、考えられ得るアップサンプリングフォーマットと相互に関連づけられることができる。ボックス検出情報は、他の測定および処理機能に送られ、アクティブな領域に対し、その動作をマスキング（mask）することができる。ボックス検出の決定に影響を与え得る可能性があるシナリオは、暗い、および空白の背景を含む。これを防ぐために、本発明のいくつかの実施形態は、誤った検出を減じるために、アクティブな画像エリアにおける空白の、または暗い背景の検出を含むスイッチオーバー決定を備えている。
【００３０】
図１には、ノイズ低減ステージ１１０もまた示されている。ステージ１１０は、ステージ１０３で得られた画像分類結果にしたがって動作するように実現される。ノイズ低減レベルは、その強度が、ディテールの損失を最小化するために高解像度のコンテンツにはより低く、低解像度のコンテンツにはより高くなるように、調整されることができるので、ノイズの減衰が画像全体でより強くなる。これは、「モスキート」または「ブロック」ノイズといった、ランダムなテンポラル・ノイズまたは圧縮アーチファクトのいずれに対しても、適用される。ノイズ低減ステージ１１０は、ボックス検出器１０４によって検出されたエリア内でゲート制御されることができ、検出された辺縁部においてより高いノイズ低減レベルを提供することができる。
【００３１】
図１は、信号遷移改良ステージ（ＳＴＩ：signal transition improvement）１１１をさらに示している。ステージ１１１は、劣化し得る信号のエッジ遷移をエンハンスさせる。本発明のいくつかの実施形態において、この劣化は、ビデオ信号の送信周波数における帯域幅の制限という結果になり得る。これらの制限は通常、ＮＴＳＣおよび位相反転線（ＰＡＬ：phase alternating line）符号化のようなアナログビデオプラットフォームにおいて、生じる。いくつかの実施形態によると、アップスケーリングされた画像のようなデジタルビデオフォーマットにおいてさえ、低解像度のコンテンツがまた、信号のエッジ遷移の劣化の原因となり得る。本発明のいくつかの実施形態において、ＳＴＩステージ１１１は、すべての３つの成分（Ｙ、Ｃｂ、およびＣｒ）の３つの（３）スペクトル帯域のエンハンスメントをサポートする。これらの帯域は、期待されるソースコンテンツおよびスペクトル測定ステージ１０１において設定されたスペクトル帯域と、関連づけられることができ、またはＦｓ×０．１２、×０．２５、および×０．５０といった所定の値に設定されることができる。画像エンハンスメントのための異なる周波数帯域の使用は、画像アーチファクトの繰り返しを減じることができる。いくつかのアーチファクトは、低帯域幅の信号における高いほうの周波数限界のエンハンスメントに起因して起こり得、それは、ノイズ成分を増加させるだろう。他のアーチファクトは、高帯域信号における低いほうの周波数限界のエンハンスメントに起因して起こり得、それは、勾配にスプリアスな曲線をもたらし得る。本発明のいくつかの実施形態によると、受信された画像分類に基づいて、ＳＴＩステージ１１１は、輝度およびクロミナンス成分に対するエンハンスメントを別々に、適合的に調整することができる。アナログコンテンツ（たとえば、ＮＴＳＣ、ＶＣＲ、またはＰＡＬ）によるビデオデータを含む本発明のいくつかの実施形態において、ステージ１０３によって提供されるＣｒおよびＣｂの分類は、低に設定されることができる。ゆえに、ＳＴＩステージ１１１において低帯域がイネーブルにされるだろう。本発明のいくつかの実施形態において、ステージ１０３によって提供されるＹの分類は、「中」に設定されることができるので、ＳＴＩの中間帯域がイネーブルにされる。本発明のいくつかの実施形態において、ＳＴＩ１１１のエンハンスメントは、ボックス検出器１０４において検出された、あらかじめ選択されたエリアによってゲート制御されることができる。
【００３２】
本発明のいくつかの実施形態において、異なる入力ビデオフレームは、輝度成分Ｙの改良のために、Ｆｓ×０．１２、×０．２５、および×０．５０として設定された３つのスペクトル帯域で処理されることができる。いくつかの実施形態では、異なる入力ビデオフレームは、ＣｂまたはＣｒのようなクロミナンス成分のうちの１つの改良のために、Ｆｓ×０．１２、×０．２５、および×０．５０として設定された３つのスペクトル帯域で処理されることができる。
【００３３】
図２は、本発明のいくつかの実施形態にしたがって、入力ビデオストリームからのデータがどのようにスペクトル測定ステージ１０１、１０２、および１０３によって処理され、画像分類の出力を供給するかを示している。特に、図２は、画像のディテールレベルが次第に高くなっているフレーム２０１、２０２、および２０３を有する入力ビデオストリームを示している。図２に示した実施形態によると、ステージ１０１は、増加的により高い周波数帯域をカバーする４つのスペクトル帯域Ｂ１、Ｂ２、Ｂ３、およびＢ４を使用して測定を実行する、ということに注目されたい。ステージ１０１の結果は、フレーム２０１、２０２、および２０３にそれぞれ対応するヒストグラム２１１、２１２、および２１３を供給するために、ステージ１０２に入力される。図２は、フレーム２０３が、より粗いディテールのフレーム２０２および２０１と比較すると、高周波帯域Ｂ３およびＢ４においてより大きい数の成分を有するヒストグラム２１３を生成することを示している。さらに、３本の垂直なストライプのデザインを含むフレーム２０１は、高周波帯域Ｂ４では、小さい数の成分を、より低い周波数の帯域Ｂ２およびＢ１では、比較的より大きい数の成分を有するヒストグラム２１１を、結果としてもたらす。フレーム２０２は、フレーム２０１より細かいディテールだが、フレーム２０３よりは粗いディテールのデザインを含む。ヒストグラム２１２は、異なる周波数帯域Ｂ１−Ｂ４間で、より均等な分布を示すことにより、この事実を反映している。本発明のいくつかの実施形態によると、分類ステージ１０３からの結果は、フレーム２０１の出力２２１では「粗い」ディテール、フレーム２０２の出力２２２では「標準の」ディテール、およびフレーム２０３の出力２２３では「細かい」ディテール２２３であることができる。出力２２１、２２２、および２２３は、図２に示した３つの入力ビデオストリームによって供給される次のフレームでは異なり得る、ということに留意されたい。
【００３４】
図３は、スペクトルヒストグラムステージ１０２からの出力が、画像分類ステージ１０３によって使用され、帯域幅が低いか、中間か、および高いかに基づいて、入力フレームの全体的な分類を提供する、本発明の実施形態を示している。同様の模様が描かれているが、模様のエッジの周りの「シャープネス」が異なる、フレーム３０１、３０２、および３０３を有する、３つの異なる入力ビデオストリームが示されている。帯域Ｂ１、Ｂ２、Ｂ３、およびＢ４のためのフィルタを使用して、ステージ１０１は、各フレームのスペクトルコンテンツを測定し、ヒストグラムステージ１０２にその結果を入力する。ステージ１０２は、フレーム３０１、３０２、および３０３にそれぞれ対応するヒストグラム３１１、３１２、および３１３を供給する。フレーム３０２および３０１と比較して、よりシャープなエッジを有するフレーム３０３は、ヒストグラム３１２および３１１と比較すると、より均等な周波数成分の分布を有し、より高い周波数の帯域Ｂ３およびＢ４を含むヒストグラム３１３を結果としてもたらす。ヒストグラム３１２は、低周波成分Ｂ１およびＢ２と比較すると、高周波成分Ｂ３およびＢ４における減じられた振幅を示している。ヒストグラム３１２は、フレーム３０１よりシャープでない特徴を有するフレーム３０２の結果である。ヒストグラム３１１は、最も高い周波数帯域Ｂ４では振幅がほぼゼロを示し、周波数帯域Ｂ３では小さい振幅を、低周波帯域Ｂ１およびＢ２ではより大きい振幅を示している。したがって、ヒストグラム３１１は、シャープなエッジのフレーム３０３ではなく、丸いエッジを示すフレーム３０１に対応する。したがって、図３に示した実施形態における画像分類ステージ１０３の結果は、フレーム３０３には「高」帯域幅の出力３２３、フレーム３０２には「中間」帯域幅の出力３２２、フレーム３０１には「低」帯域幅の出力３２１である。出力３２３、３２２、および３２１は、図３に示した入力ビデオストリームからの次のフレームでは異なり得る、ということに留意されたい。
【００３５】
図１を再び参照すると、本発明のいくつかの実施形態によれば、輝度ヒストグラムステージ１０５は、画像分類ステージ１０３で分類閾値を評価するために使用可能な結果を供給する。輝度ヒストグラムステージ１０５は、あらかじめ選択されたフレームの領域内の各画素のために受信されたＹ信号のヒストグラムを作成する。いくつかの実施形態において、あらかじめ選択された領域は、フレーム全体を含むことができる。画像処理機能を知らせる分類の出力は、低い、標準の、または高いコントラスト、および低い、標準の、または高い明度を含むが、これらに限定されない。
【００３６】
図４は、本発明のいくつかの実施形態に係る、３つの異なる入力ビデオフレームが、輝度ヒストグラム１０５および画像分類ステージ１０３によって処理され、低い、標準の、および高い輝度レベルを決定する例を示している。本発明のいくつかの実施形態において、二峰性のヒストグラムは、高いコントラストレベルの存在を示すことができる。広くて標準的な分布または連続的な分布は、平均的な明度と高いコントラストを示すことができ、中心的な分布は、平均的な明度とより低いコントラストを示すことができる。さらに、本発明のいくつかの実施形態によると、ヒストグラムにおけるすべてのビンの合計は、フレームにおける絶対明度を示すことができ、ビンの振幅の分布は、画像のコントラストの範囲を示すことができる。明度の他の基準（measure）は、強度（intensity）におけるある特定の閾値を使用することができる。つまり、明度の基準を提供するために、閾値を上回るビンの合計が、閾値を下回るビンの合計と比較されることができる。
【００３７】
図４は、入力ビデオフレーム４０１、４０２、および４０３が、輝度ヒストグラム１０５および画像分類ステージ１０３によって処理され、「低い」４２１、「標準」４２２、または「高い」４２３、輝度、コントラスト、および明度を決定する例を示している。異なる入力ビデオストリームが、フレーム４０１、４０２、および４０３を供給する。その結果、ステージ１０５は、フレーム４０１、４０２、および４０３における輝度成分を使用して、ヒストグラム４１１、４１２、および４１３を生成する。上記のとおり、ヒストグラム４１３は、フレーム４０３に含まれた高い明度および高いコントラストの画像の特徴、すなわち、広い輝度分布および高いほうの強度限界への重みづけを示している。したがって、ステージ１０３は、フレーム４０３に、「高い」コントラストおよび明度という出力４２３を割り当てる。フレーム４０２および４０１における画像は、ステージ階的にコントラストと明度を失っている。太陽は、フレーム４０２では部分的に雲に覆われており、フレーム４０１では完全に姿を消している。木が投じる影は、フレーム４０２では薄れており、フレーム４０１では消えている。したがって、ヒストグラム４１２および４１１が、それぞれフレーム４０２および４０１から、結果としてもたらされる。ヒストグラム４１２および４１１は、累進的な分布の狭まりと、より低い強度レベルへのシフトを示している。したがって、ステージ１０３は、フレーム４０２および４０１に対してそれぞれ、「標準の」および「低い」コントラストおよび明度という出力４２２および４２１を割り当てる。上記した図２および３のケースのように、出力４２３、４２２、および４２１は、入力ビデオストリームによって供給される次のフレームでは変化することができる。図４に示した本発明の実施形態によると、ヒストグラム４１１、４１２、および４１３は、ほぼ同一の総和カウント数（integrated number of counts）を有することができる。すなわち、ヒストグラム４１３のような、より広いスペクトルを示すヒストグラムは、棒（bar）の各々でより短いサイズを有することができるが、その一方で、ヒストグラム４１２のような、より狭いピークを示すヒストグラムは、ピークの中心にある棒のいくつかでより長いサイズを有することができる。図４に示したような本発明の実施形態によると、ヒストグラムの各々における、棒の総和を示す合計（integrated sum of the bars）は、画像におけるフレーム、またはフレームの領域内で考慮されている合計画素数を表す。
【００３８】
再び図１を参照すると、適合的なスケーラー１１２は、出力画像のために要求される解像度に、入力画像をスケーリングする機能を実行する。適合的なスケーラー１１２は、ボックス検出ステージ１０４によって検出された画像フォーマット情報を受信することができ、ソース画像の位置およびスケーリング係数を、適合的に埋め尽くされた、選択された出力フォーマットに調整する。
【００３９】
図５ａ−５ｄは、ソース画像のフォーマット、標準的にスケーリングされた出力フォーマット、および、本発明のいくつかの実施形態に係るボックス検出ステージ１０４と適合的なスケーラー１１２によって処理された、適合的にスケーリングされた出力フォーマットのいくつかの例を示している。適合的なスケーラーステージ１１２は、画像分類ステージ１０３からの入力を使用して、フィルタ応答を調整する。たとえば、スケーラー１１２は、ノイズおよびアーチファクトが低減されるように、低品質のソースの帯域幅を減じる。また、スケーラー１１２は、最適で一様なバンドパスの再現のために、高品質のソースの帯域幅を増加させることができる。
【００４０】
図５ａは、１６：９のコンテンツを含んだ、１６：９のアスペクト比を有するＳＤ入力ビデオ画像５００を示している。フレーム５０１は、標準的にスケーリングされたフォーマットによる円の復元を示している。フレーム５００は、ＳＤビデオが、１６：９および４：３のアスペクトの画像の両方のために、二乗でないピクセルアスペクト比を有する７２０×４８０画素のフレームとして符号化され得ることを示すために、横方向に押しつぶされているように見える。フレーム５０２は、スケーラー１１２において、適合的に埋め尽くされた出力フォーマットを使用した結果を示している。
【００４１】
図５ｂは、４：３の「ピラーボックス」コンテンツを含んだ、１６：９のアスペクト比を有するＳＤ入力ビデオ画像５１０を示している。フレーム５１１は、標準的にスケーリングされたフォーマットが使用された場合に、表示エリアが空いたままであり得ることを示している。フレーム５１２は、「ピラーボックス」コンテンツのケースにおいて、ボックス検出ステージ１０４および適合的なスケーラーステージ１１２における手順が、横方向に表示エリアを埋め尽くすように画像を拡大するためのものであることを示している。同時に、フレーム５１２に示されているように、ディスプレイに重なる垂直な部分が、トリミングされている。
【００４２】
図５ｃは、４：３のコンテンツを含んだ、４：３のアスペクト比を有するＳＤ入力ビデオ画像５２０を示している。出力フレーム５２２との比較による出力フレーム５２１の説明は、上述された図５Ｂに類似する。
【００４３】
図５ｄは、１６：９の「レターボックス」コンテンツを含んだ、４：３のアスペクト比を有するＳＤ入力ビデオ画像５３０を示している。フレーム５３１は、標準的にスケーリングされたフォーマットが入力フレーム５３０を処理するために使用された場合に、表示エリアが未使用のままであり得るということを示している。フレーム５３２は、入力フレーム５３０を調整するために、ボックス検出１０４および適合的なスケーラー１１２が使用された結果を示している。水平および垂直の両方向が、画面を埋め尽くすように拡大され、空白の区画がトリミングされている。
【００４４】
図５ａ−ｄは、ビデオディスプレイが、ボックス検出ステージ１０４および適合的なスケーラーステージ１１２によって処理された後の画像によって完全に占められるということを示している。このように、図５ａ−ｄに示した本発明のいくつかの実施形態により、視映エリア（viewing area）および解像度の増加が得られることができる。
【００４５】
図１のシステム１００において、ディテールエンハンスメントステージ１１３は、フレームにおける細かいディテールの抽出およびエンハンスメントを対象としている。低品質のソースでは、ステージ１１３は、ノイズおよびアーチファクトのエンハンスメントを回避することができる。本発明のいくつかの実施形態において、ステージ１０３からステージ１１３によって受信された分類結果に基づいて、ディテールエンハンスメントステージ１１３は、画像エンハンスメントを、「低」品質のソースには低く、「標準」品質のソースには高く、および「高」品質のソースには標準的に、適合的に調整することができる。品質レベルによって調整を変えると、より一貫した視覚品質、外観、およびシャープネスが得られる。さらに、調整を品質レベルに相反するようにさせるこのスキームは、低品質信号におけるノイズやアーチファクトの増幅を回避し、高品質信号のシャープネスが過剰になることを防ぐ。本発明のいくつかの実施形態において、ディテールエンハンスメント機能１１３は、ボックス検出器１０４で検出されたエリアによってゲート制御され、検出された辺縁部におけるノイズまたはアーチファクトをエンハンスさせることを回避することができる。本発明のいくつかの実施形態において、ディテールエンハンスメントステージ１１３は、スペクトルヒストグラム１０２および画像分類１０３によって調整されることができる、複数または異なるエンハンスメントスペクトル帯域を有することができる。
【００４６】
図１に示したコントラストエンハンスメントステージ１１４は、ソースの輝度ヒストグラム１０５に基づいて、適合的なコントラストエンハンスメントを実行する。本発明のいくつかの実施形態において、コントラストエンハンスメントステージ１１４は、画像分類結果に応じた、さらなるコントラストの調整を提供する。低品質のコンテンツは、低いコントラストおよびフラットな外観を有する傾向がある。コントラストのエンハンスメント量は、「低」品質のコンテンツが識別されると増加させられることができ、または、「標準」または「高」品質のコンテンツが識別されると標準的であることができる。いくつかの実施形態において、コントラストエンハンスメントステージ１１４は、ボックス検出器１０４によって検出されたエリア内でゲート制御されることができ、検出された辺縁部のエンハンスメントを回避する。さらに、輝度ヒストグラム１０５が少ない輝度分布を示す場合、この分布は、輝度レベルをマッピングし直してスペクトルを広くすることにより等化されることができる。等化は、エンハンスされているフレームの一部におけるコントラストおよびディテールの改良という結果をもたらすことができる。たとえば、本発明のいくつかの実施形態に係る等化手順において、ヒストグラムの標準の輝度領域に位置する輝度のピークは、より暗い輝度領域およびより明るい輝度領域に等しく拡大されることができる。これは、標準の輝度のピークによって表された画素エリアにおいて、明度が同一で拡大されたコントラストという結果をもたらすだろう。ヒストグラムのより明るい輝度領域に位置する輝度のピークでは、等化は、コントラストを拡大しつつ、ピークの明度を減じるという結果をもたらすことができる。さらに、ヒストグラムのより暗い輝度領域に位置する輝度のピークでは、等化は、ピークによって表された画素エリアにおけるコントラストを拡大するとともに明るくする、という結果をもたらすことができる。
【００４７】
図６は、本発明のいくつかの実施形態に係る別のシステム６００を示している。システム６００において、画像分類は、領域ごとに別個のヒストグラムを用いて、局所的なエリアにわたって測定を区分化することにより、エンハンスされることができる。図６に示した実施形態は、局部的および全体的なヒストグラムステージ６０２、局部的および全体的な分類ステージ６０３、局部的および全体的な輝度ヒストグラム６０５を含む。ステージ６０２、６０３、および６０５で得られる局部的な測定は、局部的なコンテンツに対して、より高い感度を提供し、局部的な画像エンハンスメントを実行するために使用されることができる。本発明のいくつかの実施形態において、局部的な分類ステージ６０３は、画素ごとの（pixel per pixel）、コンテンツに適合した処理をサポートするように拡張されることができる。
【００４８】
局部的および全体的なヒストグラムステージ６０２は、スペクトル測定ステージ１０１を使用して得られることができる。ステージ６０３は、ブロック１０３（図１を参照）の説明のとおり、全体的な画像分類を実行することができる。また、ステージ６０３は、局部的なヒストグラム６０２をサポートするために、サブフレームのまたは局所的な測定によって、局部的な画像分類を実行することができる。本発明のいくつかの実施形態において、局部的なヒストグラム６０２は、ステージ６０３での全体的と局部的の両方の画像分類をサポートするために、局部的および全体的なヒストグラムの出力を順次供給するように変更されることができる。ステージ６０２でヒストグラムを得るために使用されたスペクトル帯域は、基本的な実施形態と同一であることも、または変更されたスペクトル帯域であることも、またはさらなる機能を可能にするためにさらなるスペクトル帯域を含むこともできる。図６に示した実施形態において、並行したスペクトル帯域のフィルタリングは、全体的な画像分類のために実現され、新たなスペクトル帯域が、局部的な画像分類のために追加されることができる。上記のとおり、本発明のいくつかの実施形態は、画素ごとの分類である局部的な画像分類を含むことができる。
【００４９】
本発明のいくつかの実施形態によると、局部的および全体的な分類ステージ６０３における局部的な分類は、ステージ６０２から出力された局部的なヒストグラムを解析およびフィルタリングし、ソース画素ごとにコンテンツのタイプを分類するマップを生成することができる。ステージ６０３によって処理されたデータは、任意のまたはすべてのエンハンスメントステージにおいて使用される。分類マップは、入力および出力画像フォーマットに応じて、適合的なスケーラー６１２によりスケーリングアップまたはダウンされることができる。
【００５０】
本発明のいくつかの実施形態において、画像分類ステージ６０３は、画質を決定するために、選択された画素領域内の輝度およびスペクトルヒストグラムのデータを評価する。さらに、ステージ６０３は、あらかじめマイクロプロセッサでプログラムされ、メモリに記憶されたソフトウェアによって実現されることができる。
【００５１】
ステージ６０３で局部的な分類を追加すると、より高いレベルの画像エンハンスメントの適合が得られることができる。たとえば、画像エンハンスメントは、局所的に、または画素ごとのレベルで、実行されることができる。「フラット」、「ディテールが細かい」、および「エッジエリア」のような局所的な分類は、スペクトル帯域の選択および局部的なヒストグラムの結果によって決定されることができる。現在のビデオフレームでの局部的な分類は、前のビデオフレームで実行された局部的な分類と相互に関連づけられることができる。このように、画像における動きまたはテンポラル・ノイズの識別は、自己相関または相互相関技術を使用することによって可能になる。
【００５２】
上記した本発明の実施形態は、単なる一例にすぎない。当業者は、具体的に開示された実施形態から、さまざまな代替の実施形態を認めることができる。それらの代替の実施形態もまた、この開示の範囲内であるものと意図される。したがって、本発明は、以下の特許請求の範囲によってのみ限定される。
【関連出願】
【０００１】
本願は、２００９年７月２１日に出願された米国仮特許出願第６１／２２７，４２２号、および２０１０年７月２１日に出願された米国通常特許出願第１２／８４０，９７３号に関連し、それらの優先権を主張するものであり、それらはいずれも、引用により、その全内容が本明細書に組み込まれる。
【技術分野】
【０００２】
ここで説明される実施形態は、一般的に、ビデオ処理回路および方法に関し、より詳細には、ビデオ画像品質の測定およびエンハンスメントのための回路および方法に関する。
【背景技術】
【０００３】
さまざまな解像度のフォーマットおよび圧縮方法による、非常に多くのソースからのビデオコンテンツがますます増えるにつれ、そのコンテンツの画質は、かなり多様になっていくだろう。画質の問題のいくつかは、過度に低い、または高いコントラスト、過度に低い、または高い明度（brightness）、軟調な、または低帯域幅の画像（soft or low bandwidth image）、さまざまな量のランダム・ノイズ、および、「モスキート」ノイズや「ブロック」ノイズを結果としてもたらす画像圧縮方式、を含み得る。既存のビデオおよび画像処理技術は、画像の明度およびコントラストを調整し、画像のディテールを鮮明にして（sharpen）エンハンスさせ、テンポラル・ノイズ（temporal noise）および圧縮アーチファクト（compression artifact）を低減するために、利用可能である。しかしながら、ユーザーは、各々の入力ソースに応じて、たとえば高解像度のブルーレイ（登録商標）プレイヤーや低解像度のポータブルメディアプレイヤーに応じて、または放送テレビジョンにおけるネイティブのコンテンツとアップコンバートされたコンテンツとの相違に応じて、これらの技術のパラメータを調整する必要がある。インターネットのコンテンツは、解像度および圧縮の点で、より多様であり得る。このような状況において、ユーザーの中には、技術を十分に理解できず、それらを有効活用できない、または興味を持つことができない、またはすぐに対応できないので、いつも調整を行なうわけではない人もいる。したがって、コンテンツに適合することができ、最適なビデオ品質のために必要な補償を実行することができる、ビデオ画像プロセッサが必要とされている。
【発明の概要】
【０００４】
適合的な画像エンハンスメントのための方法およびシステムが提供される。本発明のいくつかの実施形態に係る方法は、ソースビデオのフレームにおける画素領域の画質を測定することと、その画質の測定に基づいて画像分類を実行することと、そのフレームの画像分類に基づいて動作を適用することにより上記ソースビデオ画像における画素領域の画質をエンハンスさせることと、を含む。
【０００５】
ソースビデオ画像におけるフレームをＰ個の画素領域に分割するステップを含む、適合的な画像エンハンスメントのための方法も提供され、Ｐは１より大きく、出力ディスプレイにおける合計画素数と同じ大きさの数であり、上記Ｐ個の画素領域の各々の１つについて、この方法は、上記ソースビデオ画像のフレームにおける画素領域の画質を測定するステップと、その画素領域の選択された部分に画質のクラスを割り当てるステップと、それらの画像分類によってソースビデオ画像のフレームにおける画素領域の各々をエンハンスさせるステップと、をさらに含むことができる。
【０００６】
本発明のいくつかの実施形態に係る適合的な画像エンハンスメントのためのシステムは、ソースビデオ画像におけるフレームの領域の画質を測定するための回路と、その画質の測定に基づいてその領域の画像分類を実行するための回路と、そのフレームの画像分類に基づいて動作を適用することにより上記ソースビデオ画像における領域の画質をエンハンスさせるための回路と、を含む。
【０００７】
本発明に係る、これらのおよび他の実施形態は、以下の図面を参照し、下記においてさらに説明される。
【図面の簡単な説明】
【０００８】
【図１】図１は、本発明のいくつかの実施形態に係るシステムのブロック図である。
【図２】図２は、本発明のいくつかの実施形態に係る、スペクトルヒストグラムを使用した、ディテールによる画像分類を示す図である。
【図３】図３は、本発明のいくつかの実施形態に係る、スペクトルヒストグラムを使用した、帯域幅による画像分類を示す図である。
【図４】図４は、本発明のいくつかの実施形態に係る、輝度（luminance）のヒストグラムを使用した、コントラストと明度（brightness）による画像分類を示す図である。
【図５Ａ】図５Ａは、１６：９のコンテンツを含んだ、１６：９のアスペクト比を有する標準画質の入力ビデオ画像（standard definition input video image）を示す図である。
【図５Ｂ】図５Ｂは、４：３の「ピラーボックス」コンテンツを含んだ、１６：９のアスペクト比を有する標準画質の入力ビデオ画像を示す図である。
【図５Ｃ】図５Ｃは、４：３のコンテンツを含んだ、４：３のアスペクト比を有する標準画質の入力ビデオ画像を示す図である。
【図５Ｄ】図５Ｄは、１６：９の「レターボックス」コンテンツを含んだ、４：３のアスペクト比を有する標準画質の入力ビデオ画像を示す図である。
【図６】図６は、本発明のいくつかの実施形態に係る、局部的なヒストグラムおよび局部的な分類を使用したシステムのブロック図である。
【０００９】
図面において、同一の参照番号を有する要素は、同一または同様の機能を有する。
【詳細な説明】
【００１０】
高画質（ＨＤ：high definition）のテレビ放送のようなビデオコンテンツは、ネイティブの解像度（ＨＤでは１９２０×１０８０画素）の画像、または７２０×４８０画素を有し、ＨＤ解像度にアップサンプリングされた、標準画質（ＳＤ：standard definition）のような他の解像度の画像を含み得る。そのようなアップサンプリングされた画像は、高い画素解像度を有することができるが、それらの実際のスペクトルは、アップサンプリングされた解像度の範囲ではなく、それ本来の範囲を有し得る。本発明のいくつかの実施形態によると、画像のスペクトルヒストグラムの解析は、その画像の固有の解像度を決定することができる。本発明のいくつかの実施形態によると、スペクトル測定は、バンドパスフィルタまたは離散コサイン変換（ＤＣＴ）のいずれかの使用により実行されることができ、一次元または二次元で実行されることができる。
【００１１】
さらに、本発明のいくつかの実施形態によると、いくつかのビデオアプリケーションは、フレーム全体にわたって画質を調整するために、微分アプローチから利益を得ることができる。たとえば、そのフレームの異なる一部、領域またはオブジェクトは、異なるタイプのエンハンスメントを要求し得る。そのようなフレームの一部またはブロックは、空の一部、または草むらの１セクション、または水の一部、といった画像オブジェクトをも含み得る。ある領域が、空の一部のようなノイズを伴う背景を有する粗いディテールのセクションを含み得る一方で、別の領域は、草むら、植物、または森の中の木といった拡散エッジを示す極めて細かいディテールの部分を含み得る。そのような領域を含むフレームは、サブフレームごとに異なるエンハンスメントのアプローチから利益を得ることができ、それはフレーム全体にわたって高い品質を有する画像という結果をもたらす。このアプローチは、ハイエンドのビデオシステムにおける計算能力（computational capability）を、より有効に使用することができる。このように、見る人によるビデオストリームの感じ方に影響を与えず、リアルタイムで動作する、より有効にビデオをエンハンスさせる方法およびシステムが、本発明のいくつかの実施形態で得られることができる。
【００１２】
本発明のいくつかの実施形態は、ソースビデオ画像におけるフレームをＰ個の画素領域に分割するための方法であって、Ｐは１より大きく、出力ディスプレイにおける合計画素数と同じ大きさの数である方法を提供することができ、Ｐ個の画素領域の各々の１つについて、この方法はさらに、ソースビデオ画像のフレームにおける画素領域の画質を測定するステップと、その画素領域の選択された部分に画質のクラスを割り当てるステップと、それらの画像分類によってソースビデオ画像のフレームにおける画素領域の各々をエンハンスさせるステップと、を含むことができる。
【００１３】
図１は、本発明のいくつかの実施形態に係る適合的な画像エンハンスメントシステム（ＡＩＥ：Adaptive Image Enhancement System）１００を示す。ＡＩＥシステム１００は、スペクトルフィルタ１０１、スペクトルヒストグラム１０２、ボックス検出器１０４、および輝度のヒストグラム１０５といった測定機能を含む。システム１００は、画像分類機能１０３のような分類機能も含む。システム１００は、ノイズリデューサー（noise reducer）１１０、信号遷移改良機能（signal transition improvement function）１１１、適合的なスケーラー（adaptive scaler）１１２、ディテールエンハンスメント機能（detail enhancement function）１１３、およびコントラストエンハンスメント機能１１４といった画像処理機能をさらに含む。図１に示されたシステム１００は、示された画像処理機能のうちの１つまたは複数を含むことができる。本発明の他の実施形態は、図１に示した画像処理機能に限定されないことができる。また、いくつかの実施形態において、画像処理機能の順序は、図１に示したとおりでないこともでき、処理の順序は、アプリケーションまたはユーザーの選択によって異なる。
【００１４】
システム１００のいくつかの実施形態において、測定機能は、ソース入力フレーム時間の間に実行される。測定は、次のフレーム時間の前に解析されることができ、画像エンハンスメントは、次のフレーム表示時間の間ソースフレームに適用されることができる。このように、本発明のいくつかの実施形態によると、測定、解析、およびエンハンスメントは、同一のソースフレームで実行されることができる。いくつかの実施形態は、他の処理またはシステムの機能に起因する、測定、解析、および画像エンハンスメントにおけるさらなる遅延を有することができる。
【００１５】
ビデオソースデータは、ＲＧＢまたはＹＣｒＣｂ（ＹＵＶ）フォーマットのいずれかであることができる。本発明のいくつかの実施形態は、ＹＣｒＣｂフォーマットで測定および処理を実行し、ＲＧＢソースはＡＩＥシステム１００によって処理される前に変換されるという前提から始まる。本発明のいくつかの実施形態は、ＲＧＢデータを用いて測定、解析、およびエンハンスメントを実行することができる一方、いくつかの実施形態は、ＹＣｒＣｂフォーマットを使用することができる。ＹＣｒＣｂフォーマットは、まさにヒューマン・ビジュアル・システム（human visual system）を代表するビデオソースの色彩フォーマットであるため、本発明のいくつかの実施形態は、ＹＣｒＣｂフォーマットを使用することができる。本発明のいくつかの実施形態は、ＨＳＩフォーマット（Ｈ−色相（hue）、Ｓ−彩度（saturation）、Ｉ−明度（intensity））のデータを使用することもできる。本発明のいくつかの実施形態によると、ＹＣｒＣｂフォーマットまたはＨＳＩフォーマットは、「色空間（color space）」と呼ばれることができる。現在の入力フレームデータは、並行した測定処理のために、スペクトル測定１０１、ボックス検出器１０４、および輝度のヒストグラム１０５（図１を参照）により、同時に受信される。
【００１６】
スペクトル測定ステージ１０１は、ソースビデオ画像のスペクトル分解を実行する。スペクトル分解は、本発明のいくつかの実施形態によると、ＹＣｒＣｂフォーマットのＹ、Ｃｒ、およびＣｂ信号の各々について、別々になされることができる。本発明のいくつかの実施形態において、このスペクトル分解は、信号（Ｙ、Ｃｒ、およびＣｂ）のフーリエ変換（ＦＴ）、または高速フーリエ変換（ＦＦＴ）によって行なわれることができる。さらに、信号（Ｙ、Ｃｒ、およびＣｂ）のＦＴは、本発明のいくつかの実施形態によると、二次元フーリエ変換（２Ｄ−ＦＴまたは２Ｄ−ＦＦＴ）であることができる。下記において、「周波数」、「周波数帯域」、または「スペクトル測定」という任意の呼称は、そうでないとの記載がない限り、スペクトル測定ステージ１０１のいくつかの実施形態では、ソースビデオ画像入力の空間フーリエ周波数または空間フーリエ変換に関するものとする。
【００１７】
画像の周波数スペクトルは、測定のために複数の選択帯域に分離されることができる。本発明のいくつかの実施形態は、測定のためのスペクトル帯域を選択するために、周波数の復調とローパスフィルタリングの組み合わせを使用する。いくつかの実施形態は、スペクトルのフィルタリング機能を実行するために、バンドパスフィルタまたは離散コサイン変換（ＤＣＴ）を使用する。
【００１８】
スペクトル測定１０１のいくつかの実施形態において、スペクトル分解は、１つの（１）または複数のバンドパスフィルタを用いて実行されることができる。実現のコストを低減するために、より少ない数（たとえば、１つ）のバンドパスフィルタが、画像の異なる領域にわたり、そして多数のフレームにわたり、選択された数（たとえば、４つ）のスペクトル帯域の各々を通して、順次動作することができる。それゆえに、全フレームの統計が、安定的かつ確実な結果を提供するために蓄積されることができる。本発明のいくつかの実施形態は、水平方向でのみ実行されるスペクトル測定１０１およびスペクトルヒストグラム１０２を含むことにより、低減された実現コストを提供する。本発明のいくつかの実施形態は、水平方向と垂直方向の両方で、スペクトル測定１０１およびスペクトルヒストグラム１０２を実行することができるので、測定のより高い確実性および一貫性のために、さらなる精確さを提供する。垂直方向でのさらなる測定は、水平方向を向き、水平フィルタにとっては低帯域幅のオブジェクトに見えるオブジェクトを検出することができるので、より強固な実現を提供する。垂直のスペクトル測定は、水平のスペクトル測定と相互に関連づけられて、または、水平のスペクトル測定とは独立して、使用されることができるので、垂直方向の特定の画像エンハンスメントを可能にする。
【００１９】
スペクトル測定１０１は、経験的または特定的に選択されることができる、対象の周波数帯域に分けられ、コンテンツの品質を検出し、品質をエンハンスメント周波数帯域と相互に関連づける。たとえば、１０８０ｐのＨＤ信号が受信された場合、それは、１９２０×１０８０のネイティブの解像度のもの、または、コンパクトディスクデジタルビデオ（ＶＣＤ）、アナログテレビジョンシステム用のＮＴＳＣ（National Television System Committee（全米テレビジョン放送方式標準化委員会））、デジタルビデオディスク（ＤＶＤ）、または７２０ｐ（垂直の解像度が７２０画素のＨＤＴＶ）といったさまざまなソースからアップスケーリングされたものであることができる。
【００２０】
１０８０ｐ ＨＤのネイティブ帯域幅が「Ｆｓ」である場合には、上記アップスケーリングされたコンテンツ（ＶＣＤ、ＮＴＳＣ、ＤＶＤ、およびＨＤＴＶ）は各々、Ｆｓ×０．１８８、×０．２５、×０．３８、および×０．６７に制限された帯域幅を有する。この例では、４つのフィルタが、コンテンツの品質を評価するために、バンドパスに設定されることができ、すなわち、Ｆｓ×０．１８８から×０．２５まではＢ１、Ｆｓ×０．２５から×０．３８まではＢ２、Ｆｓ×０．３８から×０．６７まではＢ３、およびＦｓ×０．６７から×１．００まではＢ４である。本発明のいくつかの実施形態によると、アップコンバートされたアナログビデオフォーマットのＮＴＳＣ信号またはビデオレコーダー信号（ＶＣＲ）に関し、スペクトル測定ステージ１０１は、送信周波数が３．５８ＭＨｚである（ＮＴＳＣフォーマットの）アナログのカラーキャリアの検出を実行するスペクトルフィルタをさらに含むことができる。そして、スペクトル測定ステージ１０１は、要求されるとカラー・アーチファクトを除去するために「オン」にされる抑制回路を備えている。
【００２１】
本発明のいくつかの実施形態は、クロミナンスチャネルＣｒおよびＣｂのスペクトル測定を実行し、付加的な、または独立した処理を実行するステージ１０１を含む。ＣｒおよびＣｂの帯域幅は、ソースがグラフィックビデオの場合であってＣｒおよびＣｂの帯域幅がＹ信号と同一である場合、または、ソースがＮＴＳＣまたはＶＣＲの場合であって帯域幅が１．５ＭＨｚ未満に抑えられている場合を除き、典型的にはＹ信号のＦｓ×０．５である。このビデオコンテンツでは、ＣｒおよびＣｂ成分は、帯域外ノイズおよびアーチファクトを低減するためにフィルタリングされることができる。この実施形態において、ＣｒおよびＣｂ成分は、連続するスペクトル帯域を含むことができ、その帯域にわたって等しい強度である。全帯域幅のクロミナンスが検出されると、これらのフィルタは、全帯域幅を維持するために「オフ」にされることができ、ＣｒおよびＣｂ成分を弱めないことができる。ビデオのクロミナンス成分（ＣｒおよびＣｂ）が帯域制限されている場合、これは、ＹチャネルとＣｒ／Ｃｂチャネルとの間のタイミングの不一致を示し得る。これを補正するために、本発明のいくつかの実施形態は、信号遷移のエンハンスメントを可能にする遅延補償回路を含み、ＣｒおよびＣｂのエッジ遷移をＹのエッジ遷移と一致させる。このようにして、ＣｒおよびＣｂチャネルにおける位相遅延が補償されることができる。
【００２２】
１つの実施形態は、対象のＮ個のスペクトル帯域をカバーするために、ステージ１０１においてＮ個のスペクトル帯域フィルタを実現することができる。本発明の、より低いコストの実施形態は、Ｎ個のスペクトル帯域を測定するためにＭ個の減少した数のフィルタを使用することができ、さらに、画像をサブフレームに分割し、Ｎ／Ｍフレームにわたる測定を蓄積する。このより低いコストの実施形態では、全フレームによる各帯域のカバーが多数のフレームにわたって得られるまで、フィルタのパラメータは順次変えられ、測定ヒストグラムは各サブフレームでＭ個の帯域のために蓄積される。例示的な実施形態は、４つの（４）スペクトル帯域をカバーするために２つの（２）フィルタを使用することができるので、画像は、２つのサブフレームにセグメント化されることができる。第１のフィルタは、第１のサブフレームにおいて帯域１および２をカバーすることができ、第２のフィルタは、第２のサブフレームにおいて帯域３および４をカバーすることができる。ビデオストリームからの次のフレームにおいて、第２のフィルタは、第１のサブフレームにおいて帯域３および４をカバーすることができ、第１のフィルタは、第２のサブフレームにおいて帯域１および２をカバーすることができる。
【００２３】
スペクトルヒストグラム１０２は、スペクトル測定ステージ１０１からの出力を受信し、多数のフレームにわたるＭ個のサブフレームにおけるＮ個のスペクトル帯域に関するヒストグラムデータを蓄積する。いくつかの実施形態において、４つのスペクトル帯域および４つのサブフレームの実現のために、画像全体にわたる４つのすべてのスペクトル帯域に関するヒストグラムは、設定された数、たとえば４つの（４）フレームを処理した後に、利用可能であることができる。上記の例示的なケースのいくつかの実施形態において、ヒストグラムは、所与の数のフレームがすべてアップデートされた後に、読み出される。他の実施形態では、ヒストグラムは、前もって定められた数のフレームからのデータの蓄積を含む部分的なアップデートとともに、フレームごとに読み出される。いくつかの実施形態において、各帯域の垂直領域は、より詳細な解析を提供するために、高い粒度を求めて、水平セグメントにさらに分割されることができる。フレームをサブフレームに分割することは、スペクトルヒストグラム１０２において、より高い粒度の結果を提供するので、局部的な差異が観察されることができる。
【００２４】
測定されたスペクトルヒストグラム１０２から、スペクトルの振幅、分布、および範囲が、低い、標準の（medium）、または高いコントラスト、低い、標準の、または高い明度、低い、中間の（medium）、または高い帯域幅、および低い、標準の、または高いレベルのディテール、といったタイプによって画像を分類するために、使用されることができる。これらの分類は、選択されたタイプおよびレベルのビデオ処理を制御して画像をエンハンスさせるために使用されることができ、画像分類ステージ１０３において実行される。
【００２５】
本発明のいくつかの実施形態は、処理されるビデオ画像の全フレームを含む全体的なレベルで、画像分類ステージ１０３を適用する。さらに、いくつかの実施形態によると、画像分類１０３は、領域で、および画素レベルでも、適用されることができる。本発明のいくつかの実施形態によると、画素領域は、全フレーム内に含まれた任意のサブフレームとして全フレームから選択されることができ、サブフレームは、フレーム内の１画素から全フレームまでの任意のサイズであることができる。領域または画素レベルの分類は、極めてディテールが細かい、そこまでディテールが細かくない、高いまたは低いコントラスト、高いまたは低い明度、鮮明なエッジまたはフラットな領域といった、領域または画素を定義する２Ｄ分類マップを生成することができる。この画像マップは、表示動作を制御し、変化させる他の処理機能によって使用されることができる。
【００２６】
画像分類ステージ１０３は、コンテンツの品質を決定するために、特定の領域内の一部、領域、および各帯域に関するヒストグラムデータを評価する。いくつかの実施形態において、画像分類ステージ１０３は、実現の柔軟性のために、マイクロプロセッサでソフトウェアによって実現されることができる。本発明のいくつかの実施形態は、別々のヒストグラムを用いた領域のエリアにわたる測定の区分化によって、ローカル画像分類ステージ６０７を使用することができる（以下の図６参照）。局部的な測定は、画像コンテンツにおける差異へのよりよい適合性を提供し、局部的な画像エンハンスメントを実行するために使用されることができる。
【００２７】
本発明のいくつかの実施形態において、画質および解像度は、各スペクトル帯域の絶対電力、およびステージ１０１で測定されたスペクトル帯域間の相対的な電力によって分類される。ノイズ対帯域電力は、経験的に確立された閾値によって決定される。たとえば、閾値は、フィルタノイズ電力に対する絶対電力レベルの比、または量子化により誘導された（quantization-induced）帯域電力であることができる。第２の例示的な閾値は、画像の明度およびコントラストに依存した、すべての帯域からの合計電力に対する帯域電力の相対比（relative ratio）であることができる。計算された電力は解像度に依存するため、これらの閾値はまた、入力解像度に応じて適合させられることにより、解像度に依存しない閾値を提供する。
【００２８】
図１におけるボックス検出ステージ１０４は、本来のソースコンテンツのアスペクト比および解像度を、表示アスペクト比および解像度に調整するために、実現されることができる。本来のアスペクト比でソースを表示させるために、画像は、「レターボックス」または「ピラーボックス」で配置されることができ、インアクティブな（inactive）表示エリアは、単一色に設定される。ＳＤビデオは、４：３または１６：９のアスペクト比を有することができる。さらに、４：３のアスペクト比を有するＳＤビデオは、その中に、１６：９のアスペクト比または２：３５のアスペクト比の画像を有する「レターボックス」を含むことができる。１６：９のアスペクト比を有するＳＤまたはＨＤビデオは、４：３のアスペクト比の画像を有する「ピラーボックス」をさらに含むことができる。このように、ＳＤビデオがＨＤにアップコンバートされる場合、アクティブな画像エリアは、表示エリアよりも小さいことができ、インアクティブなエリアは、単一色または黒に設定されることができる。放送ビデオにおいて、コンテンツは、「レターボックス」、「ピラーボックス」、および「ピラーボックス」内の「レターボックス」といった異なるフォーマットに、順次絶えず変化している。このシナリオにおいて、アクティブ画像エリアは、スケーリングされ、ユーザーの選択によって画像を拡大することができ、表示される画像を最大化し、または表示エリアを埋め尽くし、または単一色の辺縁部を少なくする。
【００２９】
ボックス検出ステージ１０４は、画像の上下左右の辺縁部を評価し、そのサイズを測定するために実行される。そのサイズは、検出された辺縁部が動きを有しないように、画像の周りの黒または単一色の列および行の数の検出によって決定される。黒または単一色のエリアは、ノイズによるエラーを回避するために、フィルタリングされた隣接する画素の差分の決定閾値により決定されることができる。本発明のいくつかの実施形態に係るボックス検出のための別の方法は、カラーキーイングの使用であり、識別されたキー値間の色は同一とみなされ、単一色のエリアを形成する。上下の辺縁部および左右の辺縁部の検出およびサイズは、所望のスケーリング調整を行なうために、考えられ得るアップサンプリングフォーマットと相互に関連づけられることができる。ボックス検出情報は、他の測定および処理機能に送られ、アクティブな領域に対し、その動作をマスキング（mask）することができる。ボックス検出の決定に影響を与え得る可能性があるシナリオは、暗い、および空白の背景を含む。これを防ぐために、本発明のいくつかの実施形態は、誤った検出を減じるために、アクティブな画像エリアにおける空白の、または暗い背景の検出を含むスイッチオーバー決定を備えている。
【００３０】
図１には、ノイズ低減ステージ１１０もまた示されている。ステージ１１０は、ステージ１０３で得られた画像分類結果にしたがって動作するように実現される。ノイズ低減レベルは、その強度が、ディテールの損失を最小化するために高解像度のコンテンツにはより低く、低解像度のコンテンツにはより高くなるように、調整されることができるので、ノイズの減衰が画像全体でより強くなる。これは、「モスキート」または「ブロック」ノイズといった、ランダムなテンポラル・ノイズまたは圧縮アーチファクトのいずれに対しても、適用される。ノイズ低減ステージ１１０は、ボックス検出器１０４によって検出されたエリア内でゲート制御されることができ、検出された辺縁部においてより高いノイズ低減レベルを提供することができる。
【００３１】
図１は、信号遷移改良ステージ（ＳＴＩ：signal transition improvement）１１１をさらに示している。ステージ１１１は、劣化し得る信号のエッジ遷移をエンハンスさせる。本発明のいくつかの実施形態において、この劣化は、ビデオ信号の送信周波数における帯域幅の制限という結果になり得る。これらの制限は通常、ＮＴＳＣおよび位相反転線（ＰＡＬ：phase alternating line）符号化のようなアナログビデオプラットフォームにおいて、生じる。いくつかの実施形態によると、アップスケーリングされた画像のようなデジタルビデオフォーマットにおいてさえ、低解像度のコンテンツがまた、信号のエッジ遷移の劣化の原因となり得る。本発明のいくつかの実施形態において、ＳＴＩステージ１１１は、すべての３つの成分（Ｙ、Ｃｂ、およびＣｒ）の３つの（３）スペクトル帯域のエンハンスメントをサポートする。これらの帯域は、期待されるソースコンテンツおよびスペクトル測定ステージ１０１において設定されたスペクトル帯域と、関連づけられることができ、またはＦｓ×０．１２、×０．２５、および×０．５０といった所定の値に設定されることができる。画像エンハンスメントのための異なる周波数帯域の使用は、画像アーチファクトの繰り返しを減じることができる。いくつかのアーチファクトは、低帯域幅の信号における高いほうの周波数限界のエンハンスメントに起因して起こり得、それは、ノイズ成分を増加させるだろう。他のアーチファクトは、高帯域信号における低いほうの周波数限界のエンハンスメントに起因して起こり得、それは、勾配にスプリアスな曲線をもたらし得る。本発明のいくつかの実施形態によると、受信された画像分類に基づいて、ＳＴＩステージ１１１は、輝度およびクロミナンス成分に対するエンハンスメントを別々に、適合的に調整することができる。アナログコンテンツ（たとえば、ＮＴＳＣ、ＶＣＲ、またはＰＡＬ）によるビデオデータを含む本発明のいくつかの実施形態において、ステージ１０３によって提供されるＣｒおよびＣｂの分類は、低に設定されることができる。ゆえに、ＳＴＩステージ１１１において低帯域がイネーブルにされるだろう。本発明のいくつかの実施形態において、ステージ１０３によって提供されるＹの分類は、「中」に設定されることができるので、ＳＴＩの中間帯域がイネーブルにされる。本発明のいくつかの実施形態において、ＳＴＩ１１１のエンハンスメントは、ボックス検出器１０４において検出された、あらかじめ選択されたエリアによってゲート制御されることができる。
【００３２】
本発明のいくつかの実施形態において、異なる入力ビデオフレームは、輝度成分Ｙの改良のために、Ｆｓ×０．１２、×０．２５、および×０．５０として設定された３つのスペクトル帯域で処理されることができる。いくつかの実施形態では、異なる入力ビデオフレームは、ＣｂまたはＣｒのようなクロミナンス成分のうちの１つの改良のために、Ｆｓ×０．１２、×０．２５、および×０．５０として設定された３つのスペクトル帯域で処理されることができる。
【００３３】
図２は、本発明のいくつかの実施形態にしたがって、入力ビデオストリームからのデータがどのようにスペクトル測定ステージ１０１、１０２、および１０３によって処理され、画像分類の出力を供給するかを示している。特に、図２は、画像のディテールレベルが次第に高くなっているフレーム２０１、２０２、および２０３を有する入力ビデオストリームを示している。図２に示した実施形態によると、ステージ１０１は、増加的により高い周波数帯域をカバーする４つのスペクトル帯域Ｂ１、Ｂ２、Ｂ３、およびＢ４を使用して測定を実行する、ということに注目されたい。ステージ１０１の結果は、フレーム２０１、２０２、および２０３にそれぞれ対応するヒストグラム２１１、２１２、および２１３を供給するために、ステージ１０２に入力される。図２は、フレーム２０３が、より粗いディテールのフレーム２０２および２０１と比較すると、高周波帯域Ｂ３およびＢ４においてより大きい数の成分を有するヒストグラム２１３を生成することを示している。さらに、３本の垂直なストライプのデザインを含むフレーム２０１は、高周波帯域Ｂ４では、小さい数の成分を、より低い周波数の帯域Ｂ２およびＢ１では、比較的より大きい数の成分を有するヒストグラム２１１を、結果としてもたらす。フレーム２０２は、フレーム２０１より細かいディテールだが、フレーム２０３よりは粗いディテールのデザインを含む。ヒストグラム２１２は、異なる周波数帯域Ｂ１−Ｂ４間で、より均等な分布を示すことにより、この事実を反映している。本発明のいくつかの実施形態によると、分類ステージ１０３からの結果は、フレーム２０１の出力２２１では「粗い」ディテール、フレーム２０２の出力２２２では「標準の」ディテール、およびフレーム２０３の出力２２３では「細かい」ディテール２２３であることができる。出力２２１、２２２、および２２３は、図２に示した３つの入力ビデオストリームによって供給される次のフレームでは異なり得る、ということに留意されたい。
【００３４】
図３は、スペクトルヒストグラムステージ１０２からの出力が、画像分類ステージ１０３によって使用され、帯域幅が低いか、中間か、および高いかに基づいて、入力フレームの全体的な分類を提供する、本発明の実施形態を示している。同様の模様が描かれているが、模様のエッジの周りの「シャープネス」が異なる、フレーム３０１、３０２、および３０３を有する、３つの異なる入力ビデオストリームが示されている。帯域Ｂ１、Ｂ２、Ｂ３、およびＢ４のためのフィルタを使用して、ステージ１０１は、各フレームのスペクトルコンテンツを測定し、ヒストグラムステージ１０２にその結果を入力する。ステージ１０２は、フレーム３０１、３０２、および３０３にそれぞれ対応するヒストグラム３１１、３１２、および３１３を供給する。フレーム３０２および３０１と比較して、よりシャープなエッジを有するフレーム３０３は、ヒストグラム３１２および３１１と比較すると、より均等な周波数成分の分布を有し、より高い周波数の帯域Ｂ３およびＢ４を含むヒストグラム３１３を結果としてもたらす。ヒストグラム３１２は、低周波成分Ｂ１およびＢ２と比較すると、高周波成分Ｂ３およびＢ４における減じられた振幅を示している。ヒストグラム３１２は、フレーム３０１よりシャープでない特徴を有するフレーム３０２の結果である。ヒストグラム３１１は、最も高い周波数帯域Ｂ４では振幅がほぼゼロを示し、周波数帯域Ｂ３では小さい振幅を、低周波帯域Ｂ１およびＢ２ではより大きい振幅を示している。したがって、ヒストグラム３１１は、シャープなエッジのフレーム３０３ではなく、丸いエッジを示すフレーム３０１に対応する。したがって、図３に示した実施形態における画像分類ステージ１０３の結果は、フレーム３０３には「高」帯域幅の出力３２３、フレーム３０２には「中間」帯域幅の出力３２２、フレーム３０１には「低」帯域幅の出力３２１である。出力３２３、３２２、および３２１は、図３に示した入力ビデオストリームからの次のフレームでは異なり得る、ということに留意されたい。
【００３５】
図１を再び参照すると、本発明のいくつかの実施形態によれば、輝度ヒストグラムステージ１０５は、画像分類ステージ１０３で分類閾値を評価するために使用可能な結果を供給する。輝度ヒストグラムステージ１０５は、あらかじめ選択されたフレームの領域内の各画素のために受信されたＹ信号のヒストグラムを作成する。いくつかの実施形態において、あらかじめ選択された領域は、フレーム全体を含むことができる。画像処理機能を知らせる分類の出力は、低い、標準の、または高いコントラスト、および低い、標準の、または高い明度を含むが、これらに限定されない。
【００３６】
図４は、本発明のいくつかの実施形態に係る、３つの異なる入力ビデオフレームが、輝度ヒストグラム１０５および画像分類ステージ１０３によって処理され、低い、標準の、および高い輝度レベルを決定する例を示している。本発明のいくつかの実施形態において、二峰性のヒストグラムは、高いコントラストレベルの存在を示すことができる。広くて標準的な分布または連続的な分布は、平均的な明度と高いコントラストを示すことができ、中心的な分布は、平均的な明度とより低いコントラストを示すことができる。さらに、本発明のいくつかの実施形態によると、ヒストグラムにおけるすべてのビンの合計は、フレームにおける絶対明度を示すことができ、ビンの振幅の分布は、画像のコントラストの範囲を示すことができる。明度の他の基準（measure）は、強度（intensity）におけるある特定の閾値を使用することができる。つまり、明度の基準を提供するために、閾値を上回るビンの合計が、閾値を下回るビンの合計と比較されることができる。
【００３７】
図４は、入力ビデオフレーム４０１、４０２、および４０３が、輝度ヒストグラム１０５および画像分類ステージ１０３によって処理され、「低い」４２１、「標準」４２２、または「高い」４２３、輝度、コントラスト、および明度を決定する例を示している。異なる入力ビデオストリームが、フレーム４０１、４０２、および４０３を供給する。その結果、ステージ１０５は、フレーム４０１、４０２、および４０３における輝度成分を使用して、ヒストグラム４１１、４１２、および４１３を生成する。上記のとおり、ヒストグラム４１３は、フレーム４０３に含まれた高い明度および高いコントラストの画像の特徴、すなわち、広い輝度分布および高いほうの強度限界への重みづけを示している。したがって、ステージ１０３は、フレーム４０３に、「高い」コントラストおよび明度という出力４２３を割り当てる。フレーム４０２および４０１における画像は、ステージ階的にコントラストと明度を失っている。太陽は、フレーム４０２では部分的に雲に覆われており、フレーム４０１では完全に姿を消している。木が投じる影は、フレーム４０２では薄れており、フレーム４０１では消えている。したがって、ヒストグラム４１２および４１１が、それぞれフレーム４０２および４０１から、結果としてもたらされる。ヒストグラム４１２および４１１は、累進的な分布の狭まりと、より低い強度レベルへのシフトを示している。したがって、ステージ１０３は、フレーム４０２および４０１に対してそれぞれ、「標準の」および「低い」コントラストおよび明度という出力４２２および４２１を割り当てる。上記した図２および３のケースのように、出力４２３、４２２、および４２１は、入力ビデオストリームによって供給される次のフレームでは変化することができる。図４に示した本発明の実施形態によると、ヒストグラム４１１、４１２、および４１３は、ほぼ同一の総和カウント数（integrated number of counts）を有することができる。すなわち、ヒストグラム４１３のような、より広いスペクトルを示すヒストグラムは、棒（bar）の各々でより短いサイズを有することができるが、その一方で、ヒストグラム４１２のような、より狭いピークを示すヒストグラムは、ピークの中心にある棒のいくつかでより長いサイズを有することができる。図４に示したような本発明の実施形態によると、ヒストグラムの各々における、棒の総和を示す合計（integrated sum of the bars）は、画像におけるフレーム、またはフレームの領域内で考慮されている合計画素数を表す。
【００３８】
再び図１を参照すると、適合的なスケーラー１１２は、出力画像のために要求される解像度に、入力画像をスケーリングする機能を実行する。適合的なスケーラー１１２は、ボックス検出ステージ１０４によって検出された画像フォーマット情報を受信することができ、ソース画像の位置およびスケーリング係数を、適合的に埋め尽くされた、選択された出力フォーマットに調整する。
【００３９】
図５ａ−５ｄは、ソース画像のフォーマット、標準的にスケーリングされた出力フォーマット、および、本発明のいくつかの実施形態に係るボックス検出ステージ１０４と適合的なスケーラー１１２によって処理された、適合的にスケーリングされた出力フォーマットのいくつかの例を示している。適合的なスケーラーステージ１１２は、画像分類ステージ１０３からの入力を使用して、フィルタ応答を調整する。たとえば、スケーラー１１２は、ノイズおよびアーチファクトが低減されるように、低品質のソースの帯域幅を減じる。また、スケーラー１１２は、最適で一様なバンドパスの再現のために、高品質のソースの帯域幅を増加させることができる。
【００４０】
図５ａは、１６：９のコンテンツを含んだ、１６：９のアスペクト比を有するＳＤ入力ビデオ画像５００を示している。フレーム５０１は、標準的にスケーリングされたフォーマットによる円の復元を示している。フレーム５００は、ＳＤビデオが、１６：９および４：３のアスペクトの画像の両方のために、二乗でないピクセルアスペクト比を有する７２０×４８０画素のフレームとして符号化され得ることを示すために、横方向に押しつぶされているように見える。フレーム５０２は、スケーラー１１２において、適合的に埋め尽くされた出力フォーマットを使用した結果を示している。
【００４１】
図５ｂは、４：３の「ピラーボックス」コンテンツを含んだ、１６：９のアスペクト比を有するＳＤ入力ビデオ画像５１０を示している。フレーム５１１は、標準的にスケーリングされたフォーマットが使用された場合に、表示エリアが空いたままであり得ることを示している。フレーム５１２は、「ピラーボックス」コンテンツのケースにおいて、ボックス検出ステージ１０４および適合的なスケーラーステージ１１２における手順が、横方向に表示エリアを埋め尽くすように画像を拡大するためのものであることを示している。同時に、フレーム５１２に示されているように、ディスプレイに重なる垂直な部分が、トリミングされている。
【００４２】
図５ｃは、４：３のコンテンツを含んだ、４：３のアスペクト比を有するＳＤ入力ビデオ画像５２０を示している。出力フレーム５２２との比較による出力フレーム５２１の説明は、上述された図５Ｂに類似する。
【００４３】
図５ｄは、１６：９の「レターボックス」コンテンツを含んだ、４：３のアスペクト比を有するＳＤ入力ビデオ画像５３０を示している。フレーム５３１は、標準的にスケーリングされたフォーマットが入力フレーム５３０を処理するために使用された場合に、表示エリアが未使用のままであり得るということを示している。フレーム５３２は、入力フレーム５３０を調整するために、ボックス検出１０４および適合的なスケーラー１１２が使用された結果を示している。水平および垂直の両方向が、画面を埋め尽くすように拡大され、空白の区画がトリミングされている。
【００４４】
図５ａ−ｄは、ビデオディスプレイが、ボックス検出ステージ１０４および適合的なスケーラーステージ１１２によって処理された後の画像によって完全に占められるということを示している。このように、図５ａ−ｄに示した本発明のいくつかの実施形態により、視映エリア（viewing area）および解像度の増加が得られることができる。
【００４５】
図１のシステム１００において、ディテールエンハンスメントステージ１１３は、フレームにおける細かいディテールの抽出およびエンハンスメントを対象としている。低品質のソースでは、ステージ１１３は、ノイズおよびアーチファクトのエンハンスメントを回避することができる。本発明のいくつかの実施形態において、ステージ１０３からステージ１１３によって受信された分類結果に基づいて、ディテールエンハンスメントステージ１１３は、画像エンハンスメントを、「低」品質のソースには低く、「標準」品質のソースには高く、および「高」品質のソースには標準的に、適合的に調整することができる。品質レベルによって調整を変えると、より一貫した視覚品質、外観、およびシャープネスが得られる。さらに、調整を品質レベルに相反するようにさせるこのスキームは、低品質信号におけるノイズやアーチファクトの増幅を回避し、高品質信号のシャープネスが過剰になることを防ぐ。本発明のいくつかの実施形態において、ディテールエンハンスメント機能１１３は、ボックス検出器１０４で検出されたエリアによってゲート制御され、検出された辺縁部におけるノイズまたはアーチファクトをエンハンスさせることを回避することができる。本発明のいくつかの実施形態において、ディテールエンハンスメントステージ１１３は、スペクトルヒストグラム１０２および画像分類１０３によって調整されることができる、複数または異なるエンハンスメントスペクトル帯域を有することができる。
【００４６】
図１に示したコントラストエンハンスメントステージ１１４は、ソースの輝度ヒストグラム１０５に基づいて、適合的なコントラストエンハンスメントを実行する。本発明のいくつかの実施形態において、コントラストエンハンスメントステージ１１４は、画像分類結果に応じた、さらなるコントラストの調整を提供する。低品質のコンテンツは、低いコントラストおよびフラットな外観を有する傾向がある。コントラストのエンハンスメント量は、「低」品質のコンテンツが識別されると増加させられることができ、または、「標準」または「高」品質のコンテンツが識別されると標準的であることができる。いくつかの実施形態において、コントラストエンハンスメントステージ１１４は、ボックス検出器１０４によって検出されたエリア内でゲート制御されることができ、検出された辺縁部のエンハンスメントを回避する。さらに、輝度ヒストグラム１０５が少ない輝度分布を示す場合、この分布は、輝度レベルをマッピングし直してスペクトルを広くすることにより等化されることができる。等化は、エンハンスされているフレームの一部におけるコントラストおよびディテールの改良という結果をもたらすことができる。たとえば、本発明のいくつかの実施形態に係る等化手順において、ヒストグラムの標準の輝度領域に位置する輝度のピークは、より暗い輝度領域およびより明るい輝度領域に等しく拡大されることができる。これは、標準の輝度のピークによって表された画素エリアにおいて、明度が同一で拡大されたコントラストという結果をもたらすだろう。ヒストグラムのより明るい輝度領域に位置する輝度のピークでは、等化は、コントラストを拡大しつつ、ピークの明度を減じるという結果をもたらすことができる。さらに、ヒストグラムのより暗い輝度領域に位置する輝度のピークでは、等化は、ピークによって表された画素エリアにおけるコントラストを拡大するとともに明るくする、という結果をもたらすことができる。
【００４７】
図６は、本発明のいくつかの実施形態に係る別のシステム６００を示している。システム６００において、画像分類は、領域ごとに別個のヒストグラムを用いて、局所的なエリアにわたって測定を区分化することにより、エンハンスされることができる。図６に示した実施形態は、局部的および全体的なヒストグラムステージ６０２、局部的および全体的な分類ステージ６０３、局部的および全体的な輝度ヒストグラム６０５を含む。ステージ６０２、６０３、および６０５で得られる局部的な測定は、局部的なコンテンツに対して、より高い感度を提供し、局部的な画像エンハンスメントを実行するために使用されることができる。本発明のいくつかの実施形態において、局部的な分類ステージ６０３は、画素ごとの（pixel per pixel）、コンテンツに適合した処理をサポートするように拡張されることができる。
【００４８】
局部的および全体的なヒストグラムステージ６０２は、スペクトル測定ステージ１０１を使用して得られることができる。ステージ６０３は、ブロック１０３（図１を参照）の説明のとおり、全体的な画像分類を実行することができる。また、ステージ６０３は、局部的なヒストグラム６０２をサポートするために、サブフレームのまたは局所的な測定によって、局部的な画像分類を実行することができる。本発明のいくつかの実施形態において、局部的なヒストグラム６０２は、ステージ６０３での全体的と局部的の両方の画像分類をサポートするために、局部的および全体的なヒストグラムの出力を順次供給するように変更されることができる。ステージ６０２でヒストグラムを得るために使用されたスペクトル帯域は、基本的な実施形態と同一であることも、または変更されたスペクトル帯域であることも、またはさらなる機能を可能にするためにさらなるスペクトル帯域を含むこともできる。図６に示した実施形態において、並行したスペクトル帯域のフィルタリングは、全体的な画像分類のために実現され、新たなスペクトル帯域が、局部的な画像分類のために追加されることができる。上記のとおり、本発明のいくつかの実施形態は、画素ごとの分類である局部的な画像分類を含むことができる。
【００４９】
本発明のいくつかの実施形態によると、局部的および全体的な分類ステージ６０３における局部的な分類は、ステージ６０２から出力された局部的なヒストグラムを解析およびフィルタリングし、ソース画素ごとにコンテンツのタイプを分類するマップを生成することができる。ステージ６０３によって処理されたデータは、任意のまたはすべてのエンハンスメントステージにおいて使用される。分類マップは、入力および出力画像フォーマットに応じて、適合的なスケーラー６１２によりスケーリングアップまたはダウンされることができる。
【００５０】
本発明のいくつかの実施形態において、画像分類ステージ６０３は、画質を決定するために、選択された画素領域内の輝度およびスペクトルヒストグラムのデータを評価する。さらに、ステージ６０３は、あらかじめマイクロプロセッサでプログラムされ、メモリに記憶されたソフトウェアによって実現されることができる。
【００５１】
ステージ６０３で局部的な分類を追加すると、より高いレベルの画像エンハンスメントの適合が得られることができる。たとえば、画像エンハンスメントは、局所的に、または画素ごとのレベルで、実行されることができる。「フラット」、「ディテールが細かい」、および「エッジエリア」のような局所的な分類は、スペクトル帯域の選択および局部的なヒストグラムの結果によって決定されることができる。現在のビデオフレームでの局部的な分類は、前のビデオフレームで実行された局部的な分類と相互に関連づけられることができる。このように、画像における動きまたはテンポラル・ノイズの識別は、自己相関または相互相関技術を使用することによって可能になる。
【００５２】
上記した本発明の実施形態は、単なる一例にすぎない。当業者は、具体的に開示された実施形態から、さまざまな代替の実施形態を認めることができる。それらの代替の実施形態もまた、この開示の範囲内であるものと意図される。したがって、本発明は、以下の特許請求の範囲によってのみ限定される。
【特許請求の範囲】
【請求項１】
適合的な画像エンハンスメントのための方法であって、
ソースビデオのフレームにおける画素領域の画質を測定することと、
前記画質の測定に基づいて、前記画素領域の画像分類を実行することと、
前記フレームの前記画像分類に基づいて動作を適用することにより、前記ソースビデオ画像における前記画素領域の前記画質をエンハンスさせることと
を含む、方法。
【請求項２】
前記ソースビデオ画像におけるフレームの画質をエンハンスさせることは、ノイズ低減のステップを実行することと、信号遷移改良のステップを実行することと、適合的なスケーリングのステップを実行することと、ディテールエンハンスメントのステップを実行することと、コントラストエンハンスメントのステップを実行することと、からなるグループから選択されたステップを含む、請求項１に記載の方法。
【請求項３】
前記画素領域は、前記フレームと同一の広がりを持つ、請求項１に記載の方法。
【請求項４】
前記画素領域は、全フレーム内に含まれた任意のサブフレームとして前記全フレームから選択され、サブフレームは、前記フレーム内の１画素から前記全フレームまでの任意のサイズであることができる、請求項１に記載の方法。
【請求項５】
前記ソースビデオ画像のフレームの画質を測定することは、
１つまたは複数の帯域への、前記ソースビデオ画像における画素領域の、スペクトル分解を実行することと、
前記画素領域の前記スペクトル帯域のヒストグラムを測定および評価することと、
前記画素領域に画質のクラスを割り当てることと、
ノイズ低減のステップと、信号遷移改良のステップと、適合的なスケーリングのステップと、ディテールエンハンスメントのステップと、コントラストエンハンスメントのステップと、からなるグループから選択された、１つまたは複数の画像エンハンスメントステップのパラメータを調整することと
を含む、請求項４に記載の方法。
【請求項６】
前記画素領域のスペクトル分解を実行することは、
Ｎ個のスペクトル帯域をカバーするためにＭ個のスペクトル帯域フィルタを用いてフィルタリングすることであって、Ｎは１以上の数であり、ＭはＮ以下である、ことと、
前記Ｍ個のフィルタによるフィルタリングのために、前記フレームをＭ個のサブフレームにセグメント化することと、
すべてのＮ個のスペクトル帯域が測定されるまで、次の画像フレームをフィルタリングするために、スペクトル帯域のセットに対する、前記Ｍ個のフィルタの測定ヒストグラムおよび前記パラメータを変えることと、
各帯域が画像フレームにおけるすべてのサブフレームを通してシーケンスするまで、前記サブフレームにわたって順次、前記フィルタのスペクトル帯域をシフトさせることと、
複数のフレームのための各スペクトル帯域の前記ヒストグラムを蓄積することと
をさらに含む、請求項５に記載の方法。
【請求項７】
前記スペクトル帯域のヒストグラムを測定および評価することは、帯域測定閾値電力を使用することを含み、前記帯域測定閾値電力は、フィルタノイズ電力に対する絶対電力レベルと、前記スペクトル帯域のヒストグラムから量子化により誘導された帯域電力と、からなるグループから選択される、請求項５に記載の方法。
【請求項８】
前記画質のクラスを割り当てることは、分類閾値を使用することを含む、請求項５に記載の方法。
【請求項９】
前記分類閾値は、１つまたは複数のスペクトル帯域における絶対スペクトル帯域電力である、請求項８に記載の方法。
【請求項１０】
前記分類閾値は、１つまたは複数のスペクトル帯域の重みづけされた電力に対する相対スペクトル帯域電力であり、前記分類閾値は、明度およびコントラストに依存しない、請求項８に記載の方法。
【請求項１１】
前記ソースビデオ画像におけるフレームのスペクトル分解を実行することは、ＹＣｒＣｂの色空間におけるＹ、Ｃｒ、およびＣｂの画像成分のうちの１つまたは複数の分解をさらに含む、請求項５に記載の方法。
【請求項１２】
前記画素領域のスペクトル分解を実行することは、ＨＳＩの色空間におけるＨ、Ｓ、およびＩの画像成分のうちの１つまたは複数の成分の分解を含む、請求項５に記載の方法。
【請求項１３】
前記ソースビデオのフレームにおける画素領域の画質を測定することは、
前記画素領域のＨＳＩの色空間における前記Ｉ成分またはＹＣｒＣｂの色空間におけるＹ成分の輝度のヒストグラムを収集することと、
前記画素領域に明度のクラスおよびコントラストのクラスを割り当てることと、
前記輝度のヒストグラムに基づいて、画像の色成分の利得およびオフセットを調整することと
を含む、請求項１に記載の方法。
【請求項１４】
前記ソースビデオにおけるフレームの画質を測定することは、
前記ソースビデオ画像における前記画素領域のＨＳＩの色空間における前記Ｉ成分の輝度のヒストグラムを収集することと、
前記画素領域に明度のクラスおよびコントラストのクラスを割り当てることと、
前記明度のクラスおよび前記コントラストのクラスによって画像の色成分の利得およびオフセットを調整することと
を含む、請求項１に記載の方法。
【請求項１５】
前記ソースビデオ画像におけるフレームの画質を測定することは、
前記ソースビデオ画像において前記フレームのインアクティブな辺縁部を測定することと、
一つおきの画像のエンハンスに、前記ソースビデオ画像における前記フレームのインアクティブな領域を割り当てることと
をさらに含む、請求項１に記載の方法。
【請求項１６】
さらに、前記一つおきの画像のエンハンスのステップは、ノイズ低減のステップと、信号遷移改良のステップと、ディテールエンハンスメントのステップと、適合的なスケーリングのステップと、からなるグループから選択されたステップを含む、請求項１５に記載の方法。
【請求項１７】
前記画素領域の画質をエンハンスさせることは、ノイズ低減レベルを有するノイズ低減のステップを実行することを含み、前記ノイズ低減レベルは、高解像度のコンテンツには低くされた強度を有し、低解像度のコンテンツには高められた強度を有する、請求項１に記載の方法。
【請求項１８】
前記画素領域の画質をエンハンスさせることは、ノイズ低減レベルを有するノイズ低減のステップを含み、さらに、前記ノイズ低減レベルは、前記インアクティブな領域では高くなり、そうでなければ画像分類に適合的である、請求項１５に記載の方法。
【請求項１９】
前記画素領域の画質をエンハンスさせることは、信号遷移改良のステップおよびディテールエンハンスメントのステップを含み、それによって、前記エンハンスメントは、前記インアクティブな領域において減じられ、そうでなければ画像分類に適合的である、請求項１５に記載の方法。
【請求項２０】
前記画素領域の画質をエンハンスさせることは、適合的なスケーリングのステップを含み、それによって、スケーラーの帯域幅は、ノイズを低減するために前記インアクティブな領域において減少し、スケーリング係数は、前記アクティブな画像が表示されるエリアを最適化するように調整される、請求項１５に記載の方法。
【請求項２１】
さらに、前記フレームの画質をエンハンスさせることは、コントラストエンハンスメントのステップを含み、それによって、前記輝度の測定、および明度とコントラストのエンハンスメントは、前記インアクティブな領域で不可能になる、請求項１５に記載の方法。
【請求項２２】
前記フレームの画像分類を実行することは、あらかじめ記憶されたソフトウェアを実行するマイクロプロセッサで実現される、請求項１に記載の方法。
【請求項２３】
前記画素領域に画質のクラスを割り当てることは、低いコントラストおよび局部的なコンテンツに対するより高い感度を提供し、それによって、局部的な画像エンハンスメントを可能にする、請求項５に記載の方法。
【請求項２４】
さらに、前記画素領域に画質のクラスを割り当てることは、フラットな画素領域、ディテールが細かい画素領域、およびエッジエリアの画素領域からなるグループから選択された画質を割り当てることを含む、請求項５に記載の方法。
【請求項２５】
さらに、前記画素領域に画質のクラスを割り当てることは、色成分ごとに、高帯域幅、中間帯域幅、および低帯域幅からなるグループから選択された画質のクラスを割り当てることを含む、請求項５に記載の方法。
【請求項２６】
さらに、前記画素領域の選択された部分に画質のクラスを割り当てることは、細かいディテール、標準のディテール、および粗いディテールからなるグループから画質のクラスを選択することを含む、請求項５に記載の方法。
【請求項２７】
さらに、前記画素領域に画質のクラスを割り当てることは、細かいディテール、標準のディテール、および粗いディテールからなるグループから画質のクラスを選択することを含む、請求項５に記載の方法。
【請求項２８】
適合的な画像エンハンスメントのための方法であって、
ソースビデオ画像のフレームをＰ個の画素領域に分割することを含み、Ｐは、１より大きく、出力ディスプレイにおける合計画素数と同じ大きさの数であり、前記Ｐ個の画素領域の各々の１つについて、前記方法はさらに、
前記ソースビデオ画像のフレームの前記画素領域の画質を測定することと、
前記画素領域の選択された部分に画質のクラスを割り当てることと、
それらの画像分類にしたがって、前記ソースビデオ画像のフレームの画素領域の各々をエンハンスさせることと
を含む、方法。
【請求項２９】
前記ソースビデオ画像の画素領域の前記画質のクラスを測定することは、
前記ソースビデオ画像の画素領域を辺縁部によって限定することと、
前記選択された画素領域の前記辺縁部を評価するためにボックス検出ステージを使用することと、
前記選択された画素領域のスペクトル分解を実行することと、
前記選択された画素領域における輝度成分のヒストグラムを評価することと、
前記スペクトル分解および前記輝度のヒストグラムに基づいて、前記選択された画素領域の画質を測定することと
を含む、請求項２８に記載の方法。
【請求項３０】
適合的な画像エンハンスメントのためのシステムであって、
ソースビデオ画像のフレームの領域の画質を測定するための回路と、
前記画質の測定に基づいて前記領域の画像分類を実行するための回路と、
前記フレームの前記画像分類に基づいて動作を適用することにより、前記ソースビデオ画像の前記領域の画質をエンハンスさせるための回路と
を含む、システム。
【請求項３１】
前記ソースビデオ画像のフレームの領域の画質を測定するための回路は、
前記ソースビデオ画像の前記領域の辺縁部を評価するためのボックス検出回路と、
前記ソースビデオ画像の前記領域のスペクトル測定を実行するための回路と、
前記ソースビデオ画像の領域の輝度のヒストグラムを評価するための回路と、
前記スペクトル測定および前記輝度のヒストグラムに基づいて、前記ソースビデオ画像の領域の画質を測定するための回路と、
前記ソースビデオ画像の領域の選択された部分に画像分類を割り当てるための回路と
を含む、請求項３０に記載のシステム。
【請求項３２】
システムであって、
前記画像分類にしたがって、前記ソースビデオ画像の領域にノイズ低減を実行するための回路と、
前記画像分類にしたがって、前記ノイズが低減された領域に信号遷移の改良を実行するための回路と、
前記ボックス検出回路によって評価された前記ボックスの辺縁部および前記画像分類にしたがって、前記信号遷移が改良された領域に適合的なスケーリングを実行するための回路と、
前記画像分類にしたがって、前記適合的にスケーリングされた領域にディテールのエンハンスメントを実行するための回路と、
前記ディテールがエンハンスされた領域にコントラストのエンハンスメントを実行するための回路と
をさらに含む、請求項３０に記載のシステム。
【請求項１】
適合的な画像エンハンスメントのための方法であって、
ソースビデオのフレームにおける画素領域の画質を測定することと、
前記画質の測定に基づいて、前記画素領域の画像分類を実行することと、
前記フレームの前記画像分類に基づいて動作を適用することにより、前記ソースビデオ画像における前記画素領域の前記画質をエンハンスさせることと
を含む、方法。
【請求項２】
前記ソースビデオ画像におけるフレームの画質をエンハンスさせることは、ノイズ低減のステップを実行することと、信号遷移改良のステップを実行することと、適合的なスケーリングのステップを実行することと、ディテールエンハンスメントのステップを実行することと、コントラストエンハンスメントのステップを実行することと、からなるグループから選択されたステップを含む、請求項１に記載の方法。
【請求項３】
前記画素領域は、前記フレームと同一の広がりを持つ、請求項１に記載の方法。
【請求項４】
前記画素領域は、全フレーム内に含まれた任意のサブフレームとして前記全フレームから選択され、サブフレームは、前記フレーム内の１画素から前記全フレームまでの任意のサイズであることができる、請求項１に記載の方法。
【請求項５】
前記ソースビデオ画像のフレームの画質を測定することは、
１つまたは複数の帯域への、前記ソースビデオ画像における画素領域の、スペクトル分解を実行することと、
前記画素領域の前記スペクトル帯域のヒストグラムを測定および評価することと、
前記画素領域に画質のクラスを割り当てることと、
ノイズ低減のステップと、信号遷移改良のステップと、適合的なスケーリングのステップと、ディテールエンハンスメントのステップと、コントラストエンハンスメントのステップと、からなるグループから選択された、１つまたは複数の画像エンハンスメントステップのパラメータを調整することと
を含む、請求項４に記載の方法。
【請求項６】
前記画素領域のスペクトル分解を実行することは、
Ｎ個のスペクトル帯域をカバーするためにＭ個のスペクトル帯域フィルタを用いてフィルタリングすることであって、Ｎは１以上の数であり、ＭはＮ以下である、ことと、
前記Ｍ個のフィルタによるフィルタリングのために、前記フレームをＭ個のサブフレームにセグメント化することと、
すべてのＮ個のスペクトル帯域が測定されるまで、次の画像フレームをフィルタリングするために、スペクトル帯域のセットに対する、前記Ｍ個のフィルタの測定ヒストグラムおよび前記パラメータを変えることと、
各帯域が画像フレームにおけるすべてのサブフレームを通してシーケンスするまで、前記サブフレームにわたって順次、前記フィルタのスペクトル帯域をシフトさせることと、
複数のフレームのための各スペクトル帯域の前記ヒストグラムを蓄積することと
をさらに含む、請求項５に記載の方法。
【請求項７】
前記スペクトル帯域のヒストグラムを測定および評価することは、帯域測定閾値電力を使用することを含み、前記帯域測定閾値電力は、フィルタノイズ電力に対する絶対電力レベルと、前記スペクトル帯域のヒストグラムから量子化により誘導された帯域電力と、からなるグループから選択される、請求項５に記載の方法。
【請求項８】
前記画質のクラスを割り当てることは、分類閾値を使用することを含む、請求項５に記載の方法。
【請求項９】
前記分類閾値は、１つまたは複数のスペクトル帯域における絶対スペクトル帯域電力である、請求項８に記載の方法。
【請求項１０】
前記分類閾値は、１つまたは複数のスペクトル帯域の重みづけされた電力に対する相対スペクトル帯域電力であり、前記分類閾値は、明度およびコントラストに依存しない、請求項８に記載の方法。
【請求項１１】
前記ソースビデオ画像におけるフレームのスペクトル分解を実行することは、ＹＣｒＣｂの色空間におけるＹ、Ｃｒ、およびＣｂの画像成分のうちの１つまたは複数の分解をさらに含む、請求項５に記載の方法。
【請求項１２】
前記画素領域のスペクトル分解を実行することは、ＨＳＩの色空間におけるＨ、Ｓ、およびＩの画像成分のうちの１つまたは複数の成分の分解を含む、請求項５に記載の方法。
【請求項１３】
前記ソースビデオのフレームにおける画素領域の画質を測定することは、
前記画素領域のＨＳＩの色空間における前記Ｉ成分またはＹＣｒＣｂの色空間におけるＹ成分の輝度のヒストグラムを収集することと、
前記画素領域に明度のクラスおよびコントラストのクラスを割り当てることと、
前記輝度のヒストグラムに基づいて、画像の色成分の利得およびオフセットを調整することと
を含む、請求項１に記載の方法。
【請求項１４】
前記ソースビデオにおけるフレームの画質を測定することは、
前記ソースビデオ画像における前記画素領域のＨＳＩの色空間における前記Ｉ成分の輝度のヒストグラムを収集することと、
前記画素領域に明度のクラスおよびコントラストのクラスを割り当てることと、
前記明度のクラスおよび前記コントラストのクラスによって画像の色成分の利得およびオフセットを調整することと
を含む、請求項１に記載の方法。
【請求項１５】
前記ソースビデオ画像におけるフレームの画質を測定することは、
前記ソースビデオ画像において前記フレームのインアクティブな辺縁部を測定することと、
一つおきの画像のエンハンスに、前記ソースビデオ画像における前記フレームのインアクティブな領域を割り当てることと
をさらに含む、請求項１に記載の方法。
【請求項１６】
さらに、前記一つおきの画像のエンハンスのステップは、ノイズ低減のステップと、信号遷移改良のステップと、ディテールエンハンスメントのステップと、適合的なスケーリングのステップと、からなるグループから選択されたステップを含む、請求項１５に記載の方法。
【請求項１７】
前記画素領域の画質をエンハンスさせることは、ノイズ低減レベルを有するノイズ低減のステップを実行することを含み、前記ノイズ低減レベルは、高解像度のコンテンツには低くされた強度を有し、低解像度のコンテンツには高められた強度を有する、請求項１に記載の方法。
【請求項１８】
前記画素領域の画質をエンハンスさせることは、ノイズ低減レベルを有するノイズ低減のステップを含み、さらに、前記ノイズ低減レベルは、前記インアクティブな領域では高くなり、そうでなければ画像分類に適合的である、請求項１５に記載の方法。
【請求項１９】
前記画素領域の画質をエンハンスさせることは、信号遷移改良のステップおよびディテールエンハンスメントのステップを含み、それによって、前記エンハンスメントは、前記インアクティブな領域において減じられ、そうでなければ画像分類に適合的である、請求項１５に記載の方法。
【請求項２０】
前記画素領域の画質をエンハンスさせることは、適合的なスケーリングのステップを含み、それによって、スケーラーの帯域幅は、ノイズを低減するために前記インアクティブな領域において減少し、スケーリング係数は、前記アクティブな画像が表示されるエリアを最適化するように調整される、請求項１５に記載の方法。
【請求項２１】
さらに、前記フレームの画質をエンハンスさせることは、コントラストエンハンスメントのステップを含み、それによって、前記輝度の測定、および明度とコントラストのエンハンスメントは、前記インアクティブな領域で不可能になる、請求項１５に記載の方法。
【請求項２２】
前記フレームの画像分類を実行することは、あらかじめ記憶されたソフトウェアを実行するマイクロプロセッサで実現される、請求項１に記載の方法。
【請求項２３】
前記画素領域に画質のクラスを割り当てることは、低いコントラストおよび局部的なコンテンツに対するより高い感度を提供し、それによって、局部的な画像エンハンスメントを可能にする、請求項５に記載の方法。
【請求項２４】
さらに、前記画素領域に画質のクラスを割り当てることは、フラットな画素領域、ディテールが細かい画素領域、およびエッジエリアの画素領域からなるグループから選択された画質を割り当てることを含む、請求項５に記載の方法。
【請求項２５】
さらに、前記画素領域に画質のクラスを割り当てることは、色成分ごとに、高帯域幅、中間帯域幅、および低帯域幅からなるグループから選択された画質のクラスを割り当てることを含む、請求項５に記載の方法。
【請求項２６】
さらに、前記画素領域の選択された部分に画質のクラスを割り当てることは、細かいディテール、標準のディテール、および粗いディテールからなるグループから画質のクラスを選択することを含む、請求項５に記載の方法。
【請求項２７】
さらに、前記画素領域に画質のクラスを割り当てることは、細かいディテール、標準のディテール、および粗いディテールからなるグループから画質のクラスを選択することを含む、請求項５に記載の方法。
【請求項２８】
適合的な画像エンハンスメントのための方法であって、
ソースビデオ画像のフレームをＰ個の画素領域に分割することを含み、Ｐは、１より大きく、出力ディスプレイにおける合計画素数と同じ大きさの数であり、前記Ｐ個の画素領域の各々の１つについて、前記方法はさらに、
前記ソースビデオ画像のフレームの前記画素領域の画質を測定することと、
前記画素領域の選択された部分に画質のクラスを割り当てることと、
それらの画像分類にしたがって、前記ソースビデオ画像のフレームの画素領域の各々をエンハンスさせることと
を含む、方法。
【請求項２９】
前記ソースビデオ画像の画素領域の前記画質のクラスを測定することは、
前記ソースビデオ画像の画素領域を辺縁部によって限定することと、
前記選択された画素領域の前記辺縁部を評価するためにボックス検出ステージを使用することと、
前記選択された画素領域のスペクトル分解を実行することと、
前記選択された画素領域における輝度成分のヒストグラムを評価することと、
前記スペクトル分解および前記輝度のヒストグラムに基づいて、前記選択された画素領域の画質を測定することと
を含む、請求項２８に記載の方法。
【請求項３０】
適合的な画像エンハンスメントのためのシステムであって、
ソースビデオ画像のフレームの領域の画質を測定するための回路と、
前記画質の測定に基づいて前記領域の画像分類を実行するための回路と、
前記フレームの前記画像分類に基づいて動作を適用することにより、前記ソースビデオ画像の前記領域の画質をエンハンスさせるための回路と
を含む、システム。
【請求項３１】
前記ソースビデオ画像のフレームの領域の画質を測定するための回路は、
前記ソースビデオ画像の前記領域の辺縁部を評価するためのボックス検出回路と、
前記ソースビデオ画像の前記領域のスペクトル測定を実行するための回路と、
前記ソースビデオ画像の領域の輝度のヒストグラムを評価するための回路と、
前記スペクトル測定および前記輝度のヒストグラムに基づいて、前記ソースビデオ画像の領域の画質を測定するための回路と、
前記ソースビデオ画像の領域の選択された部分に画像分類を割り当てるための回路と
を含む、請求項３０に記載のシステム。
【請求項３２】
システムであって、
前記画像分類にしたがって、前記ソースビデオ画像の領域にノイズ低減を実行するための回路と、
前記画像分類にしたがって、前記ノイズが低減された領域に信号遷移の改良を実行するための回路と、
前記ボックス検出回路によって評価された前記ボックスの辺縁部および前記画像分類にしたがって、前記信号遷移が改良された領域に適合的なスケーリングを実行するための回路と、
前記画像分類にしたがって、前記適合的にスケーリングされた領域にディテールのエンハンスメントを実行するための回路と、
前記ディテールがエンハンスされた領域にコントラストのエンハンスメントを実行するための回路と
をさらに含む、請求項３０に記載のシステム。
【図１】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図５Ｄ】
【図６】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図５Ｄ】
【図６】
【公表番号】特表２０１３−５００６２５（Ｐ２０１３−５００６２５Ａ）
【公表日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１２−５２１７６０（Ｐ２０１２−５２１７６０）
【出願日】平成２２年７月２１日（２０１０．７．２１）
【国際出願番号】ＰＣＴ／ＵＳ２０１０／０４２７９０
【国際公開番号】ＷＯ２０１１／０１１５４２
【国際公開日】平成２３年１月２７日（２０１１．１．２７）
【出願人】（５９５０２０６４３）クゥアルコム・インコーポレイテッド (7,166)
【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ
【Ｆターム（参考）】
【公表日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２２年７月２１日（２０１０．７．２１）
【国際出願番号】ＰＣＴ／ＵＳ２０１０／０４２７９０
【国際公開番号】ＷＯ２０１１／０１１５４２
【国際公開日】平成２３年１月２７日（２０１１．１．２７）
【出願人】（５９５０２０６４３）クゥアルコム・インコーポレイテッド (7,166)
【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ
【Ｆターム（参考）】
[ Back to top ]