ビデオ・コンテンツに由来し、知覚ルール及びユーザ嗜好によって影響される放送による周辺光発生
知覚ルールをユーザ嗜好と共に用いて知的に支配色選択する、周辺光源による放光用の色空間内で符号化したビデオ・コンテンツを抽出する。そのステップは、ビデオ色空間を量子化するステップ；画素色度の最頻値、中央値、平均値、または重み付け平均値を用いることによって支配色抽出を実行するステップ；知覚ルールを適用して、[1]色度変換；[2]シーン・コンテンツによって影響される画素重み付け関数を用いた重み付け平均；[3]主要画素について画素の重み付けを低減する拡張的な支配色抽出；[4]空間的抽出、時間的変化、及び輝度の知覚ルール；及び[5]三刺激行列を用いて、選定した支配色を周辺光色空間に変換することによってさらに支配色を導出するステップを含む。すべての知覚ルールが、リモートコントローラ、センサ、ビデオ・メタデータ、またはグラフィカル・ユーザインタフェースを介して明示的に指示されたユーザ嗜好に応答して調整される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の光源を用いた周辺光発生効果の生成及び設定に関するものであり、一般に、例えばビデオディスプレイまたは表示信号からのビデオ・コンテンツに基づくか、関連する。本発明は特に、ユーザの嗜好を知覚ルールと共に取り入れて、リアルタイムでサンプリングまたはサブサンプリングしたビデオ・コンテンツから支配色を抽出して、ビデオ・コンテンツの色空間から、複数の周辺光源を最良に駆動することを可能にする色空間への変換を実行する方法に関するものである。
【背景技術】
【０００２】
技術者は、例えば観察スクリーン及び投射面積を拡大することによって、音を現実的な三次元効果用に変調することによって、及び例えば高品位（ＨＤ：High Definition）ディジタル・テレビジョン及びビデオシステムに伴うより広いビデオ色範囲、解像度、及び画像アスペクト比を含むべくビデオ画像を拡張することによって、ビデオ・コンテンツを使って得られる感覚的な体験を広げることを長い間求めてきた。さらに、映画、ＴＶ、及びビデオのプロデューサ（制作者）は、視覚的及び音響的手段を用いて、例えば色、シーンカット、観察角、周辺背景、及びコンピュータ関連のグラフィック表現をより賢く利用することよって、視聴者の体験に影響を与えることも試みている。このことは劇場舞台の照明も含む。照明効果は例えば、通常はビデオまたは演技シーンと同期して台本記述され、所望の方式で符号化された適切なシーン・スクリプト（台本）でプログラムされた機械またはコンピュータを利用して生成される。
【０００３】
従来技術のディジタル領域では、計画外または台本外のシーンを含むシーンの速い転換への照明の自動適応は、このシステムを用いるのに必要な広帯域の大きなビットストリームのオーバヘッドにより、大部分において編成が容易ではなかった。
【０００４】
フィリップス社（オランダ国）及び他社は、ビデオディスプレイ（表示装置）から離れた独立光源を用いて、環境光発光または周辺光発生を変化させて、ビデオ・コンテンツを一般家庭またはビジネス（業務）用途に拡張する手段、及び所望の照明効果のある種の進んだ台本（スクリプト）記述または符号化を用いて、多くの用途に拡張する手段を開示してきた。ビデオディスプレイまたはテレビジョンに付け加えられる周辺光発生は、視聴者の疲労を減らし、現実感及び体験を改善するものとして示されてきた。
【０００５】
感覚的体験は当然、人間の視覚の態様の機能であり、色及び光の効果の感覚を生成するために、膨大かつ複雑な感覚的及び数値的装置を使用する。人間は、恐らくは１千万通りの別個の色を区別することができる。人間の目では、色の受け取りまたは明順応視（中心視）については、錐体と称される約２百万個の感覚体が３組存在し、これらは、455、535、及び565nmの光波長をピークとする（３つの）吸収分布を有し、これらの吸収分布は大きくオーバラップ（重複）する。これら３種類の錐体は、三刺激系と称されるものを形成し、歴史的理由でＢ（青色、ブルー）、Ｇ（緑色、グリーン）、及びＲ（赤色、レッド）と称され、上記ピークは必ずしも、ディスプレイにおいて用いられる原色、例えば一般に用いられるＲＧＢ蛍光体のピークのいずれかとは対応しない。桿（状）体と称される暗視（いわゆるナイトビジョン）体のための相互作用も存在する。人間の目は一般に1200万個の桿体を有し、これらは、特にホームシアターにおいて見られるような低照度条件について、ビデオ（映像）体験に影響する。
【０００６】
カラービデオは人間の視覚の原理に基づき、周知の三色及び反対色チャンネル理論は、原画像または意図する画像に対する高い忠実度を有する所望の色及び効果を見る目に対する影響の与え方に取り入れられてきた。大部分の色モデル及び色空間では、人間の視覚体験を記述するために三つの次元または座標が用いられている。
【０００７】
カラービデオは完全にメタメリズムに頼り、メタメリズムは、所望の色及び特性の実際光ではなく、少数の基準刺激を用いた色知覚を生成することを可能にする。このようにして、ビデオ再生に世界中で用いられている周知のＲＧＢ（赤色、緑色、青色）三刺激系のような限定数の基準刺激を用いて、人間の心の中では色の全範囲が再生される。例えば、ほぼすべてのビデオディスプレイが、各画素または画像要素においてほぼ等量の赤色及び緑色の光を生成することによって黄色のシーン光を表示することは周知である。これらの画素は、対面する固定角に関しては小さく、目は黄色を知覚しているようにだまされ、即ち、目は実際に放光される緑色及び赤色は知覚しない。
【０００８】
多くの色モデル、及び色を指定する方法が存在し、ビデオ再生用に色を記述及び指定するために使用されている周知のＣＩＥ（Comission Internationale de L’Eclairage：国際照明委員会）色座標系を含む。本発明を用いて任意数の色モデルを採用することができ、例えばＣＩＥ Ｌ＊Ｕ＊Ｖ＊（ＣＩＥＬＵＶ）系またはＣＩＥ Ｌ＊ａ＊ｂ＊（ＣＩＥＬＡＢ）系である。ＣＩＥは1931年に、すべての色の管理及び再生用の基礎を確立し、その結果が、３つの座標ｘ，ｙ，及びｚを用いる色度図である。最大光度におけるこの三次元系のプロットは、色をｘ及びｙで記述するために汎用的に用いられ、そして、1931ｘ，ｙ色度図と称されるこのプロットは、人間に知覚されるすべての色を記述できるものと信じられている。このことは、メタメリズムを用いて目をだます色再生とは対照的である。多くの色モデルまたは色空間は、今日、三原色または蛍光体、中でもAdobe ＲＧＢ（登録商標）、ＮＴＳＣ ＲＧＢ、等を使用することによって色を再生するために用いられている。
【０００９】
しかし重要なこととして、ビデオシステムによってこれらの三刺激系を用いて表示されるすべての可能な色の範囲は限られている。ＮＴＳＣ（National Television System Committee：米国テレビジョン標準方式委員会）ＲＧＢシステムは比較的広範囲の色が利用可能であるが、このシステムは人間によって知覚されるすべての色の半分を再生できるに過ぎない。多くの青色及び紫色、青緑色、及びオレンジ（橙）／赤色は、従来のビデオシステムの利用可能な範囲を用いては適切に演色されない。
【００１０】
さらに、人間の視覚系は補償及び識別力の品質に恵まれ、その理解はあらゆるビデオシステムの設計にとって必要である。人間にとっての色は、いくつかの出現モードで発生し得るものであり、とりわけ、物体モード及び発光体モードである。
【００１１】
物体モードでは、光刺激は、光源によって照射された物体から反射した光として知覚される。発光体モードでは、光刺激は発光源として見られる。発光体モードは、複合的な視野における他の刺激よりもずっと明るい刺激を含む。発光体モードは、ビデオディスプレイのような光源として知られている刺激は含まず、ビデオディスプレイは、その明るさ（ブライトネス）または輝度が、シーンまたは視野全体にわたる明るさと同じかそれ以下であり、このため刺激は物体モードに見える。
【００１２】
明らかに、オブジェクトモードでしか見えない色が多く、とりわけ、茶色、オリーブ色、栗色、グレー（灰）色、及びベージュの肌色調である。例えば、茶色の発光源、例えば茶色の交通信号のようなものは存在しない。
【００１３】
この理由により、物体色を追加しようとする周辺光発生のビデオシステムへの追加は、明るい光の直接光源を用いて行うことはできない。近い範囲にある明るい赤色と緑色の光源の組合せは、茶色または栗色を再生することはできず、このことは選択を大幅に限定する。虹の色のスペクトルのみを、明るい光源の直接的な観測によって、強度及び（色）飽和値を変化させて再生することができる。このことは、光源からの低強度の輝度の出力に特に色相管理に注意を払うことのような、周辺光発生システムに対する緻密な制御の必要性を強調する。この緻密な制御は現在では、現状のデータ・アーキテクチャの下では、高速な変化及び繊細な周辺光発生を可能にする方法では行われていない。
【００１４】
ビデオ再生は多くの形を採ることができる。スペクトル的な色再生は、元の刺激のスペクトルパワー分布の正確な再生を可能にするが、このことは三原色を使用するあらゆるビデオ再生において実現不可能である。正確な色再生は、人間の視覚の三刺激値を複製することができ、元のものとのメタメリズム的な一致を生成するが、同様の見かけを得るためには、画像及び元のシーンについて、すべての視聴条件が同様でなければならない。画像及び元のシーンについての条件全体は、画像の開き角、サラウンド（即時状況）の輝度及び色度、及びまぶしさを含む。正確な色再生が往々にして達成できないことの１つの理由は、カラーモニター上に生成することのできる最大輝度の限界による。
【００１５】
測色的な色再生は、三刺激値が元のシーンにおける刺激値に比例する有用な代案を提供する。色度座標は正確に再生されるが、これに応じた輝度の低下を伴う。元の基準白色と再生される基準白色とが同じ色度を有し、視聴条件が同じであり、そしてシステムが全体的に１のガンマ値を有するものと仮定すれば、測色的な色再生は、ビデオシステムにとって良好な基準である。ビデオディスプレイで生成される輝度が限定されていることにより、色度及び輝度が元のシーンと一致する等価な色再生は達成することができない。
【００１６】
実際上の大部分のビデオ再生は、元のものが再生の平均輝度レベル及び基準白色の色度と同じ平均輝度レベル及び基準白色の色度を生成するように照射された場合に、再生される色が元のものが有した色と同じに見える対応色再生を達成しようとする。しかし、多くの人が、表示システムの究極の目的は実際には好ましい色再生であると主張し、そこでは視聴者の嗜好が色の忠実度に影響する。例えば、日に焼けた肌色の方が平均的な現実の肌色より好まれる、空はより青い方が好まれ、葉は現実のものより緑色の方が好まれる。対応色再生は設計規格として受け入れられても、ＮＴＳＣビデオ規格のような多くの再生システムでは、肌色調、特別な処理の主題のような一部の色は他の色より重要である。
【００１７】
シーン光の再生では、ホワイトバランスを達成するための色順応が重要である。適切に調整されたカメラ及びディスプレイにより、白色及び自然なグレー色は一般に、ＣＩＥ規格の昼色光発光体Ｄ６５の色度で再生される。白色面を常に同じ色度で再生することによって、システムは人間の視覚系を模擬し、人間の視覚は生まれつき、発光体の色度がどうであっても白色面が常に同じに見えるように知覚を順応（適応）させ、これにより、白色の紙片を明るい日差しの海岸で見つけても、白熱照明された室内のシーンで見つけても、白色の紙片は白色に見える。色再生では、ホワイトバランス調整は通常、Ｒ、Ｇ、及びＢチャンネルに対するゲイン（利得）制御によって行われる。
【００１８】
一般的なカラー受像機の光出力は一般に線形ではなく、印加されるビデオ電圧に対するべき乗則の関係に従う。光出力は、ビデオ駆動電圧をべき乗ガンマ値に合わせて上昇させた値に比例し、ガンマ値はカラーＣＲＴ（Cathode Ray Tube：陰極線管）については2.5（乗）、他の種類の光源については1.8である。この乗率の補正は、ガンマビデオ処理増幅器における３原色ガンマ補正によって行い、このため、符号化され、伝送され、そして復号化される原色ビデオ信号は実際にはＲ、Ｇ、及びＢではなく、Ｒ1/(、ｇ1/(、及びＢ1/(である。測色的な色再生は、ビデオ再生全体−カメラ、ディスプレイ、及びあらゆるガンマ調整電子機器−のガンマ値が１であることを要求するが、対応色再生しようとする際であり、サラウンドの輝度が優先される。例えば、最適な色再生のためには、薄暗いサラウンドは約1.2のガンマ値を必要とし、暗いサラウンドは約1.5のガンマ値を必要とする。ガンマ値は、ＲＧＢ色空間にとって重要な実現上の問題である。
【００１９】
大部分の色再生符号化は、標準的なＲＧＢ色空間を使用し、例えばＮＴＳＣ規格において使用されるｓＲＧＢ、ＲＯＭＭ ＲＧＢ、Adobe ＲＧＢ 98、Apple（登録商標）ＲＧＢを使用する。一般に、画像はセンサまたはソース装置の空間内に取得され、この空間は装置及び画像に特有である。この空間は、元の測色を記述する非演色画像空間に変換することができる（定義の章参照）。
【００２０】
しかし、ビデオ画像はほとんど常に、ソース装置の空間から演色画像空間（定義の章参照）に変換され、演色画像空間は、ビデオディスプレイのようないくつかの現実的または仮想的な出力装置の色空間を記述する。大部分の既存の標準的なＲＧＢ色空間は演色画像空間である。例えば、カメラ及びスキャナによって生成されるソース及び出力空間はＣＩＥベースの色空間ではなく、カメラまたはスキャナのスペクトル感度及び他の特性によって規定されるスペクトル空間である。
【００２１】
演色画像空間は、現実または仮想的な装置の特性の測色に基づく装置特有の色空間である。画像は、演色画像空間からも非演色画像空間からも演色色空間に変換することができる。これらの変換の複雑性は変動し、複雑な画像依存のアルゴリズムを含み得る。こうした変換は不可逆であることもあり、即ち、元のシーン符号化の一部の情報は廃棄または圧縮されて、特定装置のダイナミックレンジ及び範囲に合わせられる。
【００２２】
現在、標準化される途上にある唯一の非演色ＲＧＢ色空間が存在し、これはＩＳＯ 17321に規定されているＩＳＯ ＲＧＢであり、ディジタル・スチルカメラの色の特徴付けに最も多く用いられている。今日の多くの応用では、ビデオ信号を含めたアーカイブ保存についてもデータ転送についても、画像は演色色空間に変換される。１つの演色画像空間または演色色空間から他の空間への変換は、深刻な画像アーティファクト（歪像）を生じさせ得る。２つの装置間で色範囲及び白色点が一致しないほど負の効果は強くなる。
【００２３】
従来技術の周辺光表示システムにおける１つの欠点は、ビデオ・コンテンツからの周辺光放光用の代表色の抽出が問題となり得ることである。例えば、画素の色度の色平均化は、往々にしてグレー色、茶色、あるいはビデオシーンまたは画像を知覚的に表現するものではない他の色調を生じさせる。色度の単純な平均化によって導出した色は往々にして、特に、明るい魚のような特徴的な画像、あるいは青空のような支配的な背景と対照させた際に、汚れて見え、誤って選定したように見える。
【００２４】
【特許文献１】米国特許US 6,611,297
【００２５】
従来技術の周辺光表示システムにおける他の問題は、ビデオからの演色の三刺激値を、適切な測色及び見かけを与えるための周辺光源の三刺激値に変換する同期的なリアルタイム動作を提供するための特定方法が与えられていないことである。例えば、ＬＥＤ周辺光源からの出力は往々にして灰色がかっており、限定されるかゆがんだ色範囲であり、そして一般に、色相及びクロマ（色票）を評価して再生することが困難である。例えば、Akashi他に権利付与された米国特許US 6,611,297は、周辺光における現実感を扱っているが、適正かつ快適な色度を保証する特定方法は与えておらず、そしてAkashiの’297特許はビデオをリアルタイムで分析することを可能にするものではなく、スクリプト（手順書）または等価なものを必要とする。
【００２６】
これに加えて、ガンマ補正色空間を用いたビデオ・コンテンツからの周辺光源の設定は往々にして、ぎらつく明るい色を生じさせる。従来技術における他の深刻な問題は、周辺光源をリアルタイムのビデオ・コンテンツの関数として駆動するため、及び所望の高速で変化する周辺光環境に適合させるために必要な大量の伝送情報であり、周辺光発生に対するユーザの多様な嗜好に合わせるためには、高度に知的な色選択が所望される。
【００２７】
特に、周辺光発生効果用に抽出した平均または他の色度は往々にして再生可能なものではないか（例えば茶色）、あるいは知覚的な理由で好ましいものではない。例えば、支配色（例えば茶色）が指示されている場合には、この指示上で動作する周辺光発生システムは、その光空間内で生成可能な（例えば紫色）他の色（例えばそれに最も近い色）をデフォルトで生成することができる。しかし、生成用に選定したこの色は好ましくないことがある、というのは、知覚的に適正または快適でないことがあるからである。
【００２８】
また、暗いシーン中の周辺光のトリガも往々にして、灰色がかったり、明る過ぎたりして、シーンのコンテンツと一致して見える色度を持たない。明るいシーン中の周辺光のトリガは、弱く、かつ不十分な色飽和値を有するように見える周辺光の生成を生じさせ得る。
【００２９】
さらに、シーンのいくつかの態様、例えば青空は、周辺光発生システムに伝えるべき支配色の抽出に用いることが好ましいことがあり、例えば雲に覆われた所はさほど好ましくない。従来技術では、多数性の乱れを取り去ったシーンの要素、あるいは、知覚的な嗜好によればその色度が好ましくない多数の画素を連続的に外挿補間するメカニズムも存在しない。従来技術における他の問題は、支配色抽出及び選択において、新たに見られるビデオシーンの特徴部分が往々にして表現されないか低度に表現させることである。
【００３０】
これに加えて、周辺光発生は往々にして、明るさ、色、時間的変化、及び生成される周辺光の一般的特徴についてのユーザの嗜好を考慮に入れずに設定される。例えば、一部のユーザは、色が抑えられ変化の遅い、柔らかく、遅い動きで出る周辺光効果を好み、他のユーザは、動きが速く明るい、ビデオ・コンテンツ中のあらゆる変化（例えば新たに出現する魚のような特徴部分）をグラフィック的に反映する周辺光放光を好む。このことは達成が容易ではなく、従来技術では、これらの問題を軽減する知覚ルールを課す方法は存在しない。
【発明の開示】
【発明が解決しようとする課題】
【００３１】
従って、補償効果、感度、及び人間の視覚の他の特徴を特に有利に用いて、ビデオ・コンテンツから適正に導出されたように見えるだけでなく、シーン中にある多くの潜在的な支配色を賢く利用した周辺光出力を提供する周辺光システムを使用して、ビデオのユーザに伝えられる色及び光の特性を変調または変化させることによって、光レベルの関数としての異なる色の相対的な視覚的光度の変化のような人間の目の特性を利用しつつ、一般的な三刺激ビデオ表示システムに伴う周辺光発生によって生成される可能な色の範囲を拡張することが有利である。
【００３２】
ガンマ（補正）によって導入される歪みの影響のない、上質の周辺光の雰囲気を生成することも有利である。さらに、平均的または特徴的な色の値を符号化する経済的なデータストリームを用いて、選択したビデオ領域から導出した支配色抽出値によるエミュレート（他の装置で再現）可能な周辺光発生を提供する方法を提供することを可能にすることが望ましい。さらに、こうしたデータストリームの必要なサイズをさらに低減すること、及び視認性、忠実度を改善する知覚ルールを課すことを可能にすること、及び周辺光放光用に選択する色度及び輝度の選定における知覚の特権の鍛錬を可能にすることが望ましい。さらに、これらの知覚的特権またはルールの特徴及び効果が、明示的に指示されたユーザ嗜好に影響されて、周辺光放光の性質を所望時に異ならせることを可能にすることが望ましい。
【００３３】
【非特許文献１】Color Perception, Alan R. Robertson, Physics Today, December 1992, Vol. 45, No. 12
【非特許文献２】The Physics and Chemistry of Color, 2ed, Kurt Nassau, John Wiley & Sons, Inc.
【非特許文献３】Principles of Color Technology, 3ed, Roy S. Berns, John Wiley & Sons, Inc.
【非特許文献４】Standard Handbook of Video and Television Engineering, 4ed, Jerry Whitaker and K. Blair Benson, McGraw-Hill
【００３４】
ビデオ及びテレビジョン技術、圧縮技術、データ転送及び符号化、人間の視覚、色の科学及び知覚、色空間、測色及び画像レンダリングについての情報は、ビデオ再生を含めて、次の参考文献に見出すことができ、これらの文献はその全体を本明細書に含める：参考文献[１] Color Perception, Alan R. Robertson, Physics Today, December 1992, Vol. 45, No. 12, pp. 24-29；参考文献[２] The Physics and Chemistry of Color, 2ed, Kurt Nassau, John Wiley & Sons, Inc., New York (c) 2001；参考文献[３] Principles of Color Technology, 3ed, Roy S. Berns, John Wiley & Sons, Inc., New York (c) 2000；参考文献[４] Standard Handbook of Video and Television Engineering, 4ed, Jerry Whitaker and K. Blair Benson, McGraw-Hill, New York (c) 2003。
【００３５】
本発明の種々の好適例として挙げる方法は、画素レベルの統計量または等価な関数を用いて、１つ以上の支配色を、可能な限り小さい計算負荷を提供すが、同時に、知覚ルールに従って支配色として選択される快適かつ適切な色度を提供する方法で決定または抽出することを含む。
【課題を解決するための手段】
【００３６】
本発明は、演色色空間内で符号化されたビデオ・コンテンツから支配色を抽出して、知覚ルールを用いて、周辺光源によるエミュレーション（再現）用の支配色を生成する方法に関するものである。この方法の可能なステップは次のものを含む：
[１] 演色色空間において、ビデオ・コンテンツからの画素色度からの支配色抽出を実行して、次の[ａ]〜[ｄ]のいずれかを抽出することによって支配色を生成するステップ：
[ａ] 画素色度の最頻値（モード）；
[ｂ] 画素色度の中央値（メジアン）；
[ｃ] 画素色度の色度による重み付け（加重）平均値；
[ｄ] 画素位置、画素色度、画素輝度のいずれかの関数である画素重み付け関数を用いた画素色度の重み付け平均値；
[２]さらに、次の[ａ]〜[ｃ]から選定した知覚ルールに従って、支配色の色度を導出するステップ：
[ａ] 単純な色度変換；
[ｂ] さらに、ビデオ・コンテンツ中の複数の画素について色度及び輝度のいずれかを評価することによって得られたシーン・コンテンツからの影響を示すように公式化した画素重み付け関数を用いた画素の重み付け平均値；
[ｃ] ビデオ・コンテンツ中の複数の画素について色度及び輝度のいずれかを評価することによって得られたシーン・コンテンツの関数として画素重み付け関数を公式化した、画素重み付け関数による重み付け平均値を用いた拡張的な支配色抽出、画素重み付け関数はさらに、少なくとも主要画素について重み付けを低減するように公式化されている；
及び、
[３] 支配色を、演色色空間から、周辺光源を駆動することを可能にするように形成された第２の演色色空間に変換するステップ。
【００３７】
所望すれば、画素色度（または演色色空間）を量子化することができ、このことは多数の方法によって行うことができ（定義の章参照）、その目標は、例えばより多数の色度（例えば画素色度）をより少数の割当色度または色に割り当てることによって、あるいは選択画素を拾い出す選択プロセスにより画素数を低減することによって、あるいは代表画素またはスーパー画素にまとめることによって生じる可能な色状態の低減を追求することによって、計算負荷を軽減することにある。
【００３８】
こうした演色色空間の量子化は、部分的には、画素色度を少なくとも１つのスーパー画素にまとめることによって実行され、このように生成されるスーパー画素は、画像の特徴部分に合わせて形成されるサイズ、向き、または位置にすることができる。量子化プロセスで用いる割当色は、必ずしも演色色空間内にはない、例えば上記第２の演色色空間内にある領域色ベクトルであるように選択することができる。
【００３９】
本発明の方法の他の好適例は、上記単純な色度変換が、周辺光生成に用いる上記第２の演色色空間内に見出される色度を選定するものを含む。
【００４０】
上記画素重み付け関数は、次のステップ[４]及び[５]によって暗さのサポートを提供するように公式化することができる：
[４] ビデオ・コンテンツを評価して、シーン・コンテンツ中のシーンの明るさが低いことを確立するステップ；
[５] そして、次の[ａ]及び[ｂ]のいずれかを実行するステップ：
[ａ] さらに、明るい画素の重み付けを低減するように公式化した画素重み付け関数を使用すること；
[ｂ] 何もしないで生成される輝度に比べて低減した輝度を用いて得られた支配色を放光すること。
【００４１】
あるいはまた、画素重み付け関数を、次のステップ[６]及び[７]によって色のサポートを提供するように公式化することができる：
[６] ビデオ・コンテンツを評価して、シーン・コンテンツ中のシーンの明るさが高いことを確立するステップ；
[７] そして、次の[ａ]及び[ｂ]のいずれかを実行するステップ：
[ａ] さらに、明るい画素の重み付けを低減するように公式化した画素重み付け関数を使用すること；
[ｂ] 上記ステップ[２]の[ｃ]を実行すること。
【００４２】
拡張的な支配色抽出を、ビデオ・コンテンツ中の異なるシーンの特徴部分に対して個別に反復して、複数の支配色を形成することができ、そして、上記ステップ[１]を反復して、複数の支配色の各々を画素の色度として指定することができる。そして、所望すれば、上記ステップ[１]（支配色抽出）は、新たに出現したシーンの特徴部分中の（複数の）画素色度に対して別個に反復することができる。
【００４３】
演色色空間における、ビデオ・コンテンツからの画素色度の少なくとも一部の量子化は、割当色の分布を形成するように、上記ステップ[１]中に行うことができ、少なくとも一部の画素色度は割当色の分布から得ることができる。あるいはまた、量子化は画素色度を少なくとも１つのスーパー画素にまとめることを含むことができる。
【００４４】
割当色の分布を作成する場合には、割当色の少なくとも１つは、必ずしも演色色空間内にはない領域色ベクトル、例えば周辺光源を駆動するために用いられる上記第２の演色色空間内にある領域色ベクトルとすることができる。
【００４５】
本発明の方法は、割当色の分布中に少なくとも１つの重要色を確立し、そしてこの重要色に割り当てられた画素色度を抽出して、支配色として恒久的に指定すべき真の支配色を導出するステップを具えることもできる。
【００４６】
この支配色は、現実的には、本発明の方法を適用して各色を導出した支配色のパレットで構成することができる。
【００４７】
本発明の方法は、演色色空間を量子化した後に実行することもでき、即ち、演色色空間においてビデオ・コンテンツからの画素色度の少なくとも一部を量子化して、割当色のを形成し、これにより、上記ステップ[１]の支配色抽出を、割当色の分布上で導出して行う（例えば、[ａ]割当色の分布の最頻値、等）。そして、同様の方法で、画素重み付け関数を次のステップ[４]及び[５]によって、暗さのサポートを提供するように公式化することができる：
[４] ビデオ・コンテンツを評価して、シーン・コンテンツ中のシーンの明るさが低いことを確立するステップ；
[５] 次の[ａ]及び[ｂ]のいずれかを実行するステップ：
[ａ] さらに、明るい画素から出た割当色の重みを低減するように公式化した画素重み付け関数を使用すること；
[ｂ] 何もしないで生成される輝度に比べて低減した輝度を用いて得られた支配色を放光すること。
同様に、色のサポートのために、画素重み付け関数を、次の[６]及び[７]のステップによって色のサポートを提供するように公式化することができる：
[６] ビデオ・コンテンツを評価して、シーン・コンテンツ中のシーンの明るさが高いことを確立するステップ；
[７] そして、次の[ａ]及び[ｂ]のいずれかを実行するステップ：
[ａ] さらに、明るい画素から出た割当色の重みを低減するように公式化した画素重み付け関数を使用すること；
[ｂ] 上記ステップ[２]の[ｃ]を実行すること。
他のステップは、割当色を使用すべく変更することができる。
【００４８】
本発明の方法は随意的に、[０]演色色空間において、ビデオ・コンテンツを複数のフレームに復号化し、演色色空間において、ビデオ・コンテンツからの画素色度の少なくとも一部を量子化して、割当色の分布を形成するステップを具えることができる。これに加えて、随意的に、[３ａ]支配色を、演色色空間から非演色色空間に変換し、そして[３ｂ]支配色を、非演色色空間から第２の演色色空間に変換することができる。このことは、[３ｃ]第１及び第２の三刺激原色行列を用いた、演色色空間及び第２の演色色空間の原色を非演色色空間に変換する行列変換；及び、演色色空間の原色と、第１の三刺激行列と、第２の三刺激行列の逆票列との行列乗算による色情報の第２の演色色空間への変換を導出することによって支援することができる。
【００４９】
一旦、割当色の分布から支配色を選定すると、言わば後戻りして、実際の画素色度を得て支配色を改良することができる。例えば、上述したように、割当色の分布中に少なくとも１つの重要色を確立し、この重要色に割り当てられる正確な画素色度を抽出して、支配色として指定すべき真の支配色を導出することができる。従って、割当色はビデオ・コンテンツの粗い近似であり得るが、真の支配色は、さもなければ必要となる計算を節減しつつ、周辺光分布についての正しい色度を提供することができる。
【００５０】
上記ステップ[１]の画素色度は、あらゆる形状、大きさ、または位置の抽出領域から得ることができ、そして、抽出領域に隣接する周辺光源からの支配色の周辺光を放光することができる。
【００５１】
これらのステップは多くの方法で組み合わせて、例えば共存して支配色の抽出及び選択において優先権が競合せざるを得ない複数の基準を確立することによって、同時に適用される種々の知覚ルールを表現することができる。周辺光の第２の演色色空間への変換に使用することのできる非演色の色空間は、ＣＩＥ ＸＹＺ；ＩＳＯ規格17321に規定されたＩＳＯ ＲＧＢ；Photo ＹＣＣ；ＣＩＥ ＬＡＢ；または他の非演色色空間とすることができる。支配色抽出を実行するため、及び知覚ルールを課すために踏むステップは、ビデオ信号とほぼ同期させることができ、上記第２の演色色空間内の色情報を用いたビデオディスプレイまたはその周辺からの周辺光放光を伴う。
【００５２】
本発明の教示はユーザ嗜好を考慮に入れ、生成すべき演色色空間において、ユーザ嗜好に応じた知覚ルール、周辺光源によるエミュレーション用の支配色を用いて符号化されたビデオ・コンテンツからの支配色抽出の方法の開示を含み、この方法は次のステップを具えている：
[１] 演色色空間において、ビデオ・コンテンツからの画素色度からの支配色抽出を実行し、次の[ａ]〜[ｄ]のいずれかを抽出することによって支配色を生成するステップ：
[ａ] 画素色度の最頻値（モード）；
[ｂ] 画素色度の中央値（メジアン）；
[ｃ] 画素色度の色度による重み付け平均値；
[ｄ] 画素位置、画素色度、画素輝度のいずれかの関数である画素重み付け関数を用いた画素色度の重み付け平均値；
[２]さらに、それぞれの知覚ルールに従って、支配色の輝度、色度、時間的変化、及び空間的抽出の少なくとも１つを導出して好適な周辺光の放光を生成し、そして、好適な周辺光放光の輝度及び色度を、演色色空間から、周辺光源を駆動することを可能にするように形成された第２の演色色空間に変換するステップであって、上記それぞれの知覚ルールは、複数の可能な明示的に指示されたユーザ嗜好の少なくとも１つによって、その特徴及び効果が変化し、それぞれの知覚ルールは次の[Ｉ]〜[IV]の少なくとも１つを具えているステップ：
[Ｉ] 次の[ａ]〜[ｃ]及び[４]〜[６]から選定した輝度知覚ルール：
[ａ] 輝度の増加；
[ｂ] 輝度の減少：
[ｃ] 輝度の最低値（フロア、底値）；、及び
[４] 輝度の最高値（天井）；
[５] 輝度の抑制しきい値；
[６] 輝度の変換値；
[II] 次の[ａ]〜[ｃ]から少なくとも１つ選定した輝度知覚ルール：
[ａ] 単純な色度変換；
[ｂ] さらに、ビデオ・コンテンツ中の複数の画素についての色度及び輝度のいずれかを評価することによって得られたシーン・コンテンツの影響が出るように公式化した重み付け関数を用いた重み付け平均値；
[ｃ] 画素重み付け関数を、ビデオ・コンテンツ中の複数の画素について色度及び輝度のいずれかを評価することによって得られたシーン・コンテンツの関数として公式化した、画素重み付け関数による重み付け平均値を用いた拡張的な支配色抽出であって、この重み付け関数はさらに、少なくとも主要画素について重み付けが低減されるように公式化されている；
[III] 次の[ａ]、[ｂ]から少なくとも１つ選定した時間的変化知覚ルール：
[ａ] 支配色の輝度及び色度の少なくとも一方の変化速度の減少；
[ｂ] 支配色の輝度及び色度の少なくとも一方の変化速度の増加；
[IV] 次の[ａ]〜[ｄ]から少なくとも１つ選定した空間的抽出知覚ルール：
[ａ] 画素重み付け関数において、新たに出現した特徴部分を含むシーン・コンテンツに、より大きい重みを与えること；
[ｂ] 画素重み付け関数において、新たに出現した特徴部分を含むシーン・コンテンツに、より小さい重みを与えること；
[ｃ] 画素重み付け関数において、選択した抽出領域からのシーン・コンテンツに、より大きい重みを与えること；
[ｄ] 画素重み付け関数において、選択した抽出領域からのシーン・コンテンツに、より小さい重みを与えること；
【００５３】
明示的に指示されたユーザ嗜好は、次の[１]〜[１３]のいずれかによって指示することができる：
[１] ユーザ操作のコントローラによって選択した値の反復的な上下の変化；
[２] ユーザ操作のコントローラによって選択した極値；
[３] ユーザ操作のコントローラによって選択した値の高い変化速度；
[４] 周囲空間内の光センサによって受光した光；
[５] 周囲空間内の音響センサによって受けた音；
[６] 周囲空間内の振動センサによって受けた振動；
[７] グラフィカル・ユーザインタフェースで行った選択；
[８] ユーザ操作のコントローラ上で行った選択；
[９] ユーザ操作のコントローラ上での連続的な動作呼出し；
[１０] ユーザ操作のコントローラ上での反復的な動作呼出し；
[１１] ユーザ操作の制御装置内部の圧力センサによる圧力検出；
[１２] ユーザ操作の制御装置内部の動きセンサによる動き検出；
[１３] 前記ビデオ・コンテンツに関連するメタデータ、補助データ、またはサブコードデータのいずれか。
【００５４】
暗さのサポート、色のサポート、及び上記に挙げた拡張的な抽出ステップを実行する度合いは、明示的に指示されたユーザ嗜好に応答して変化させることができる。
【００５５】
（定義）
本明細書を通して以下の定義を用いる：
−周辺光源：従属請求項では、光生成を行うのに必要なあらゆる光生成回路またはドライバを含む。
−周囲空間：ビデオディスプレイ・ユニットの外部のあらゆるすべての材料体または空気または空間を含む。
−割当色の分布：ビデオ画像またはビデオ・コンテンツ中に見出される画素色度の全範囲を（例えば演算目的で）表現するために選定した一組の色を表わす。
−明るい：画素の輝度を称する際には、[１]他の画素より明るい相対特性、または[２]高い輝度レベルのような絶対特性、のいずれかまたは両方を表わす。このことは、他が暗い赤色のシーン中の明るい赤色、または白色及びグレー（灰色）のような元々明るい色度を含み得る。
−色度変換：本明細書に記載のように、知覚ルールを適用した結果としての１つの色度の他の色度への置換を称する。
−色度／クロミナンス（参照色との色度差）：周辺光源を駆動する関係では、例えばＣＩＥ色度のように、生成される光の色特性を指定する機械的、数値的、または物理的方法を表わし、ＮＴＳＣまたはＰＡＬテレビジョン放送で用いる特定の方法論は暗示しない。
−有色：画素のクロミナンスを称する際には、[１]他の画素よりも高い色飽和値を示す相対特性、または[２]色飽和レベルのような絶対特性、のいずれかあるいは両方を表わす。
−色情報：クロミナンス及び輝度のいずれかまたは両方、あるいはこれと関数的に等価な量を含む。
−コンピュータ：ＣＰＵ（Central Processing Unit：中央演算処理装置）のような既知のアーキテクチャを用いるすべてのプロセッサだけでなく、同じ機能を実行するディジタル光学装置またはアナログ電気回路のような、符号化、復号化、読取り、処理、コード（符号）の設定または変更を実行することを可能にするあらゆるインテリジェント（知能）装置も含む。
−暗い：画素の輝度を称する際には、[１]他の画素よりも暗い相対特性、または[２]低い輝度レベルのような絶対特性のいずれかあるいは両方を表わす。
−支配色：背景の放映目的でビデオ・コンテンツを表現するために選定したあらゆる色度を表わし、本明細書に開示する例示的な方法を用いて選定したあらゆる色を含む。
−明示的に指示されたユーザ嗜好：好適な周辺光放光に好影響または悪影響を与える知覚ルールの特徴及び効果に影響を与えるべく用いるユーザ嗜好を伝えるあらゆるすべての入力を含み：[１]メタデータ、補助データ、またはビデオ・コンテンツまたはオーディオ−ビデオ信号に関連するサブコードデータ；[２]グラフィカル・ユーザインタフェースを通して得られたデータであって、ビデオ・コンテンツに関連するか、独立したディスプレイに表示される；[３]コントロール（制御）パネル、リモートコントロール・パッド（遠隔操作盤）、あるいは他の周辺装置から得られたデータであって、既存の制御機能からのあらゆるもの、例えばビデオディスプレイ上のボリュームコントロール（音量制御）；[４]ビデオディスプレイの周りの周囲空間（Ａ０）内のあらゆるトランスデューサ、例えば発生起動装置、音響測定装置、または他の装置から得られたデータ、を含む。ユーザ嗜好は、知覚ルールの特徴及び効果への影響の仕方を特別に明記しなければならないことはないが、単に、こうした影響及び効果のために明示的に示されるユーザ嗜好の複数の選択肢からの選定を課さなければならない。
−拡張的な（支配色）抽出：前処理が、例えば重要色自体をさらなる支配色抽出に用いる際のように、ビデオシーンまたはビデオ・コンテンツ中の多数画素または他の画素の影響を除去または低減した後に行う、支配色抽出のためのあらゆるプロセスを称する。
−抽出領域：ビデオ画像またはフレーム全体のあらゆる部分集合を含み、より一般的には、支配色抽出の目的でサンプル取得したビデオ領域またはフレームのあらゆるもの、またはすべてのものを含む。
−フレーム：ビデオ・コンテンツ中の画像情報の時系列表現を含み、産業で用いる「フレーム」とも一致するが、任意瞬時に、あるいは規則的間隔でビデオ・コンテンツを伝えるために用いるあらゆる部分的（例えばインタレースされた）または完全な画像データも含む。
−ゴニオクロマティック：例えばイリデッセンスによって生成されるような、異なる色または色度を視角または観察角の関数として与える品質を称する。
−ゴニオ測光：真珠の輝き、閃光、リトロリフレクション（再帰反射）現象に見られるように、異なる光強度、透過、及び／または色を視角または観察角の関数として与える品質を称する。
−補間する：２組の値の間の直線または算術的補間、並びに既知の２組の値間に値を設定するための関数規定を含む。
−光の特徴：広い意味では、周辺光源によって生成されるような光の性質のあらゆる指定を意味し、光の透過または反射の度合いのような輝度及びクロミナンス以外のすべて記述を含み；あるいは、ゴニオ測光的品質のあらゆる指定を意味し、周辺光源を観測する際の、色、閃光、または他の既知の現象が視角の関数として生成される度合いを含み；あるいは、光出力方向を意味し、ポインティング・ベクトルまたは他の伝搬ベクトルを指定することによって与えられる方向性を含み；あるいは、固定角または固定角分布関数のような光の角度分布の指定を含む。要素画素またはランプ位置のような周辺光源についての位置を指定するための座標を含むこともできる。
−輝度（ルミナンス）：明るさ、光強度、または等価な尺度のあらゆるパラメータまたは尺度を表わし、光の発生または測定の特定方法、あるいは心理−生物学的な解釈を暗に意味しない。
−多数画素：類似の色情報を伝える画素を称し、色情報は例えば、ビデオシーン中の色飽和、輝度、または色度である。その例は、より少数または異なる数の画素が明るく光る中で暗く見えるように設定された画素（シーン中の暗部）を含み、例えば森のシーン中の葉の緑色であり、赤ギツネを際立たせて表わす。類似していると判断されるものを確立するために用いる基準は変動し得るものであり、数値的に多数であるという基準はしばしば適用されるが、数値的に多数である必要はない。
−画素：実際または仮想的なビデオ画像要素、あるいは画素情報を導出することを可能にする等価な情報を称する。ベクトルベースのビデオ表示システムについては、画素は、ビデオ出力中の分析または特徴付け可能なあらゆる副部分とすることができる。
−画素色度：例えば色空間を量子化すべくプロセスを作用させる際のような、画素色度についての実際値、並びにあらゆる量子化または整理プロセスの結果として割り当てられた他の色値を含む。従って、本願の請求項では、画素色度は割当色の分布からの値を含み得る。
−色空間を量子化：明細書中、及び請求項の文脈中では、例えばより多数の色度（例えば画素色度）からより少数の割当色または割当色度への割当てによって生じる；または選択画素を拾い出す選択プロセスによる画素数の低減によって生じる；あるいは（画素をまとめて）代表画素またはスーパー（超）画素にまとめることによって生じる、可能な色状態の低減を称する。
−演色色空間：センサから捕捉した画像または色空間、あるいは画像専用の表示装置に特有の色空間を表わす。大部分のＲＧＢ色空間は演色画像空間であり、ビデオディスプレイＤを駆動するために使用するビデオ空間を含む。本願の請求項では、ビデオディスプレイに特有の色空間及び周辺光源８８は共に演色の色空間である。
−シーンの明るさ（ブライトネス）：あらゆる所望の基準による、シーン・コンテンツ中の明るさのあらゆる尺度を称する。
−シーン・コンテンツ：所望支配色の選定に影響を与えるべく使用することのできる視認可能な画像を形成することのできるビデオ情報の特性を称する。その例は、白雲、またはビデオ画像の大半を通した暗部を含み、これらは、主要画素と判断される画像を作る特定画素を生じさせ得る部分、または画素重み付け関数（図３０のＷ）における画素の異方性の処理を生じさせ得る部分、あるいは検出され、特別な、あるいは拡張的な支配色抽出を施される画像の特徴部分（図３４のＪ８）を生じさせ得る部分である。
−単純な色度変換：シーン・コンテンツの関数として選定または導出するのではなく、知覚ルールに従った支配色または色度の変更または導出を称し、この変更または導出は、さもなければ選定され得たものとは異なる色度を生じさせる。例：支配色抽出（例えば紫色）によって選定した第１支配色（ｘ，ｙ）を、知覚ルールを満足するように第２支配色（ｘ’，ｙ’）に変換すること。
−色情報の非演色色空間への変換：本願の請求項では、非演色色空間への直接的変換も、非演色色空間に変換することによって得られた三刺激原色行列の逆行列（例えば図８に示す(Ｍ2)-1）を用いて導出したものの使用または利用も、あるいは計算的に等価なあらゆるものも含む。
−非演色色空間：標準的な、あるいは装置に特有でない色空間を表わし、例えば、標準的なＣＩＥ ＸＹＺ；ISO 17321規格に規定されているようなＩＳＯ ＲＧＢ；Photo ＹＣＣ；及びＣＩＥ ＬＡＢ色空間を用いて原画像の測色を記述する色空間である。
−ユーザ嗜好：ユーザの望みの指示に限定されず、複数の選択肢の間で行うあらゆる選択を含み、この選択はユーザによって行われなくてもよく、例えばビデオ・コンテンツについてのサブコードまたはメタデータを、特定の意図した文字、及び好適な周辺（光）の放光に好影響または空く影響する知覚ルールの効果を用いて送達する際である。
−ビデオ：あらゆる視覚的または光生成装置を表わし、光生成用のエネルギーを必要とする能動装置か、オフィス・ビルディングの窓のような画像情報を伝える透過媒体か、あるいは画像情報を遠隔的に送達する光ガイドである。
−ビデオ信号：ビデオ表示ユニットを制御するために送達される信号または情報を表わし、そのあらゆるオーディオ部分を含む。従って、ビデオ・コンテンツの分析は、オーディオ部分についてあり得るオーディオ・コンテンツの分析を含むものと考える。一般に、ビデオ信号はあらゆる種類の信号を含むことができ、例えば、任意数の既知の変調技術を用いた無線周波数信号；アナログ信号及びアナログ波形の量子化を含む電気信号；パルス幅変調、パルス数変調、パルス位置変調、ＰＣＭ（Pulse Code Modulation：パルス符号変調）、及びパルス振幅変調を用いた信号のようなディジタル（電気）信号；または音響信号、オーディオ信号、及び光信号のような他の信号を含み、これらのすべてがディジタル技術を利用可能である。単に、他の情報間に、または他の情報と共に順序的に配列されたデータ、例えばコンピュータベースの応用におけるパケット化されたデータも同様に用いることができる。
−重み付け：知覚状態、またはより高度な数学的重みを特定の色度、輝度、または空間位置に、できればシーン。コンテンツの関数として与えるための、本明細書に挙げるあらゆる等価な方法を称する。しかし、単純平均を提供する目的で１を重みとして用いることを妨げるものではない。本明細書に記載の画素重み付け関数は、本明細書に挙げる関数の外見（例えば、複数画素にわたるＷの総和）を有しなければならないものではなく、すべてのアルゴリズム、演算子、または同じ効果で作用する他の計算法を含む。
【発明を実施するための最良の形態】
【００５６】
（実施例の詳細な説明）
本発明によりビデオ・コンテンツから導出した周辺光は、所望すれば、必要な計算負荷を低くして、周辺光についての自由度の高度な特異性を維持しつつ、元のビデオシーン光の色度に対する高い忠実度を可能にすべく形成される。このことは、小さい色範囲及び低い輝度を有する周辺光源が、比較的大きい色範囲及び輝度応答曲線を有するより高度な光源からのビデオシーン光をエミュレートすることを可能にする。周辺光発生用の可能な光源は、任意数の既知の発光装置を含むことができ、これらは次のものを含む：ＬＥＤ（Light Emitting Diode：発光ダイオード）及びこれに関連する半導体放射器；非半導体型を含むエレクトロルミネセント（電界発光）デバイス；ハロゲンまたは先進的な化学物質を用いた変形型を含む白熱ランプ；蛍光ランプ及びネオンランプを含むイオン放電ランプ；レーザ；例えばＬＣＤ（Liquid Crystal Display：液晶）または他の光変調器を用いることによって変調された光源；光ルミネッセンス発光器、あるいは機能的にディスプレイを模擬するアレイを含む任意数の既知の可制御光源。
【００５７】
本明細書の記載は、部分的には、まずビデオ・コンテンツからの色情報抽出に関し、その後は、知覚ルールに従って、ビデオ画像またはシーンを表現することのできる周辺光放光用の支配色または真の色を導出することに関するものである。
【００５８】
ここで図１を参照し、図１に、本発明によるビデオディスプレイＤの単純な前景を例示目的のみで示す。ディスプレイＤは、ＮＴＳＣ、ＰＡＬまたはＳＥＣＡＭ放送規格のような演色色空間、あるいはAdobe ＲＧＢのような非演色色空間からのビデオ・コンテンツを復号化する多数の既知の装置のいずれでも構成することができる。ディスプレイＤは、随意的な色情報抽出領域Ｒ1、Ｒ2、Ｒ3、Ｒ4、Ｒ5、及びＲ6を具えることができ、その境界は図に示すものとは別にすることができる。色情報抽出領域は任意に事前規定され、そして、特徴的な周辺光Ａ８を生成する目的で特徴付けられるべきものであり、
特徴的な周辺光Ａ８は、例えばディスプレイＤが装架される壁面（図示せず）への部分的な散光によって図に示す周辺光Ｌ1、Ｌ2、Ｌ3、Ｌ4、Ｌ5及びＬ6を生成し放光する背面装架の制御可能な周辺光発生ユニット（図示せず）によって生成される。あるいはまた、図に示すディスプレイＤf自体も、同様の方法で光を表示する周辺光発生ユニットを具えることもでき、視聴者に向かって外側を含む。所望すれば、各色情報抽出領域Ｒ1〜Ｒ6は隣接する周辺光に影響を与えることができる。例えば、図に示すように、色情報抽出領域Ｒ4は周辺光Ｌ4に影響を与えることができる。
【００５９】
ここで図２を参照して説明し、図２に、室内または周囲空間Ａ0を、一部は図式的に、一部は断面を示し、ここでは本発明を用いて、複数の周辺ライト（光源）からの周辺光が生成される。周囲空間Ａ0内では、図に示すように腰掛及びテーブルが配置され、これらはビデオディスプレイＤを見ることができるように配列されている。周囲空間Ａ0内には、複数の周辺光ユニットも配列され、これらは本発明を用いて随意に制御され、これらは図に示す光スピーカ１〜４、図に示すソファまたはシートの下の補助ライトＳＬ、並びにディスプレイＤの周囲に配列された一組の特別なエミュレート可能な周辺光ユニット、即ち、図１に示すような周辺光Ｌxを生成するセンターライトを含む。これらの周辺光ユニットの各々が周辺光Ａ8を放出することができ、図では周辺光を陰影（網掛け）として示す。
【００６０】
本発明と協働して、ビデオディスプレイＤによって実際に放映されたものではないが、ビデオディスプレイＤから導出した色または色度を有する周辺光を、これらの周辺光ユニットから随意的に生成することができる。このことは、人間の目及び視覚系の特性を利用することを可能にする。なお、種々の波長に対する検出感度を与える人間の視覚系の視感度関数は、光レベルの関数として変化する。
【００６１】
例えば、桿体に頼る暗視は、青色及び緑色により敏感になりがちである。錐体を用いる明順応視は、赤色及び黄色のようなより長い波長を検出するのに適している。暗くしたホームシアター環境では、光レベルの関数としての、異なる色の相対光度のこうした変化は、周囲空間内のビデオのユーザに送り届けられる色を変調または変化させることによって幾分対処することができる。このことは、光変調器（図示せず）を用いるか、あるいは光スピーカ１〜４への追加構成要素、即ち周辺光放出前に光をさらに変化させる発光エミッタ（放出体）の使用により光スピーカ１〜４のような周辺光ユニットから光を減じることによって行うことができる。この発光エミッタは、光源からの入射光からの吸収または励起を行い、そしてこの光をより高い所望波長で再放出することによって色変換を実行する。蛍光色素のような発光エミッタによるこうした励起及び再放出は、元のビデオ画像または光源には元々存在せず、また恐らくはディスプレイＤの動作に固有の色または色範囲にはない新たな色の演色を可能にする。このことは、非常に暗いシーン中のように周辺光Ｌxの輝度が低い際、及び知覚の所望レベルが光の変更なしで通常達成されるレベルより高い際に役に立つ。
【００６２】
新たな色の生成は、新規かつ興味ある視覚効果を提供することができる。説明的な例は、ハンターのオレンジと称されるもののようなオレンジ色の光の生成とすることができ、このために利用可能な蛍光色素は周知である（参考文献２参照）。ここに挙げる例は、蛍光及びこれに関連する一般的現象とは異なる蛍光色を含む。蛍光オレンジまたは他の蛍光染料の類は、低いレベルの光条件にとって有用であり得る。赤色及びオレンジ色の増強は、暗視の長波長に対する感度の低下に対処することができる。
【００６３】
周辺光ユニットに使用可能な蛍光染料は、ペリレン、ナフタルイミド、クマリン、チオキサンテン、アントラキノン、チオインジゴイドのような染料クラス、及び米国オハイオ州クリーブランドにあるDay -Glo Color Corporation製のもののような染料クラス中の既知の染料を含むことができる。利用可能な色は、アパッチイエロー、チグリスイエロー、サバンナイエロー、ポコノ（Pocono）イエロー、モホーク（Mohawk）イエロー、ポトマックイエロー、マリーゴールドオレンジ、オタワレッド、ボルガレッド、サーモンピンク、及びコロンビアブルーを含む。これらの染料クラスは、既知のプロセスを用いてＰＳ、ＰＥＴ、及びＡＢＳのような樹脂に含めることができる。
【００６４】
蛍光染料及び材料は、増加した視覚効果を有する、というのは、これらは同じ色度の非蛍光材料より大幅に明るいように加工処理することができるからである。蛍光色を発生するために使用される従来の有機色素のいわゆる耐久性の問題はここ２０年の間に大幅に解決されている、というのは、技術の進歩が、太陽光の露光の下でその鮮やかな彩色を７〜１０年にわたって維持する耐久性のある蛍光色素の発展を生じさせたからである。従ってこれらの色素は、ＵＶ（紫外）光線の入射が最小であるホームシアター環境ではほとんど破壊されない。
【００６５】
あるいはまた、蛍光性の光色素を用いることができ、これらは単に短波長光を吸収することによって働き、この光を赤色またはオレンジ色のようなより長い波長の光として再放出する。現在、青色及び紫色、例えば400〜440nm光のような可視光を用いて励起を受ける技術的に進んだ無機色素は容易に入手可能である。
【００６６】
ゴニオフォトメトリック（ゴニオ測光）及びゴニオクロマティック（ゴニオ色）効果も同様に、異なる光の色、強度、及び特性を観察角の関数として生成すべく展開することができる。この効果を実現するために、周辺光ユニット１〜４及びＳＬ及びＬxは既知のゴニオフォトメトリック素子（図示せず）を単独で、あるいは金属及び真珠色の透過性の着色料；周知の回折性または薄膜干渉効果を用いた、例えば魚の鱗のエッセンスを用いたイリデッセンス（真珠色、玉虫色）材料；あるいは保存料を有するアミノヒポキサンチンと組み合わせて用いることができる。精密に研磨した雲母または他の物質を用いた拡散体を用いることができ、他の物質は例えば酸化物層、班銅鉱またはクジャク銅鉱から作製した真珠色の材料；金属片、ガラス片、またはプラスチック片；微粒子物質；油脂；研磨ガラスまたは研磨プラスチックである。
【００６７】
ここで図３を参照して説明し、図３に、本発明による、（支配色または真の色のような）色情報を抽出し色空間変換を実行して周辺光源を駆動するシステムを示す。最初のステップとして、既知の技術を用いてビデオ信号ＡＶＳから色情報を抽出する。
【００６８】
ビデオ信号ＡＶＳは、ＭＰＥＧ符号化、オーディオＰＣＭ符号化、等に使用されるもののような既知のデータフレームまたはパケットを具えることができる。可変長データパケットを有するプログラムストリーム、またはデータパケットに均等に分割した搬送ストリームのようなデータパケット用の既知の符号化方式、あるいはこうした単一のプログラム搬送ストリーム用の他の方式を用いることができる。あるいはまた、本明細書の開示における機能ステップまたはブロックは、非同期プロトコルを含むコンピュータコード及び他の通信規格を用いてエミュレートすることができる。
【００６９】
一般的な例として、図に示すビデオ信号ＡＶＳは、図に示すようなビデオ・コンテンツ分析を受けることができ、このことはできれば、選択したコンテンツを図に示すハードディスクＨＤに記録及びＨＤから転送するための既知の方法を用いて、そしてできれば、図に示すメモリＭに記憶されたコンテンツ型のライブラリまた他の情報を用いて行う。このことは、選択したビデオ・コンテンツの、独立した、並列的な、直接的な、遅延された、連続的な、周期的な、あるいは非周期的な転送を可能にする。このビデオ・コンテンツから、図に示す特徴抽出ＦＥを実行することができ、これは例えば、全体的な、あるいは画像の特徴部分からの色情報（例えば支配色）を導出することである。この色情報はさらに、演色色空間内で符号化され、そして、図に示すＲＵＲマッピング変換回路１０を用いて、ＣＩＥ ＸＹＺのような非演色色空間に変換される。ここでＲＵＲとは、所望の変換の種類、即ち演色（Rendered）−非演色（Unrendered）−演色（Rendered）の略であり、従ってＲＵＲマッピング変換回路１０はさらに、色情報を、図に示す前記周辺光源８８を駆動することができるように形成した第２の演色色空間に変換する。ＲＵＲ変換が好適であるが、周辺光生成回路または等価なものが、その利用可能な第２の演色色空間内の情報を受け取る限り、他のマッピングを用いることができる。
【００７０】
ＲＵＲマッピング変換回路１０は、ソフトウェアを用いて同じ機能を実行するコンピュータシステムに含めることができるが、データ伝送プロトコルによって送られるパケットかされた情報の復号化の場合には、ビデオの演色色空間の係数等に関係するかこれらを提供する情報を含むかあるいは含むべく更新されるメモリが、回路１０内に存在し得る。この新たに作成した第２の演色色空間は、（図１及び２に示すような）周辺光源８８を駆動するのに適しかつ望ましく、そして既知の符号化を用いて図に示す周辺光生成回路１８に供給される。周辺光生成回路１８は、第２の演色色空間の情報をＲＵＲマッピング変換回路１０から取得し、そして何らかのユーザインタフェース及び結果的な嗜好メモリ（まとめてＵ２として示す）からの入力を解釈して、できれば図に示す（第２の演色の）色空間ルックアップテーブル（早見表）ＬＵＴを参照した後に、（供給電圧のような）実際の周辺光出力制御パラメータに展開する。周辺光生成回路１８によって生成される周辺光出力制御パラメータは図に示すようにランプインタフェース・ドライバ（駆動回路）Ｄ８８に供給されて、図に示すように周辺光源８８を直接制御するか周辺光源８８に直接給電し、周辺光源８８は、図１及び２に示す前に挙げた周辺光スピーカ１〜４または周辺光用のセンターライトＬxのような個別の周辺光ユニット１〜Ｎで構成することができる。
【００７１】
リアルタイムの計算負荷を低減するために、ビデオ信号ＡＶＳから除去する色情報は省略または限定することができる。ここで図４を参照して説明し、図４に、ビデオ抽出領域からの平均色情報を計算する式を説明用に示す。以下に説明するように（図１８参照）、ビデオ信号ＡＶＳ中のビデオ・コンテンツは時系列をなす一連のビデオフレームから成るが、このことは必要なことではないことは明らかである。ビデオフレームまたは等価な時間ブロック毎に、各抽出領域（例えばＲ4）からの平均色情報または他の色情報を抽出することができる。各抽出領域は特定サイズ、例えば100×376画素を有するように設定することができる。例えば25フレーム／秒のフレームレートを仮定すれば、平均値を抽出する前の抽出領域Ｒ1〜Ｒ6についての結果的な総データは（８ビットの色を指定するために１バイトのみを必要とするものと仮定すれば）、ビデオのＲＧＢ三刺激の原色毎に6×100×376×25または5.64メガバイト／秒となる。このデータストリームは非常に大きく、ＲＵＲマッピング変換回路１０で処理することは困難であり、従って抽出領域Ｒ1〜Ｒ6毎の平均色の抽出は特徴抽出ＦＥ中に実行することができる。より詳細には、図に示すように、ｍ×ｎ画素の各抽出領域内の画素毎のＲＧＢの色チャンネル値（例えばＲij）を総計し、画素ｍ×ｎで除算して、ＲＧＢ原色毎の平均値、例えば赤色については図に示すＲavgに達することができる。従って、ＲＧＢ色チャンネル毎にこうした総計を反復して、抽出領域毎の平均値は三つ組ＲAVG＝｜Ｒavg，Ｇavg，Ｂavg｜になる。すべての抽出領域Ｒ1〜Ｒ6についてＲＧＢ色チャンネル毎に同じ手順を反復する。抽出領域の数及び大きさは図に示すものから外れて所望のものにすることができる。
【００７２】
ＲＵＲマッピング変換回路１０によって色マッピング変換を実行する次のステップは、図５に示すような既知の三刺激原色行列を用いて例示的に示して表現することができ、ここではベクトルＲ、Ｇ、及びＢを有する演色三刺激色空間を、Ｘr,max、Ｙr,max、Ｚr,maxのような要素を有する三刺激原色行列Ｍを用いて変換し、ここにＸr,maxは最大出力におけるＲ原色の三刺激値である。
【００７３】
演色色空間から非演色の装置に依存しない色空間への変換は、画像及び／または装置特有の既知の線形化とすることができ、（必要であれば）画素再構成、及び白色点選択のステップを実行し、これに続いて行列変換を実行することができる。この場合には、演色ビデオ出力空間を、非演色色空間測色への変換の出発点として採用することを選ぶ。非演色画像は、追加的な変換を通して可視または印刷可能にする必要があり、従ってＲＵＲ変換は第２の演色色空間への変換を含む。
【００７４】
最初に可能なステップとして、図６及び７に、原色Ｒ、Ｇ、及びＢによって表現されるビデオの演色色空間、及び原色Ｒ’、Ｇ’、及びＢ’によって表現される周辺光発生の演色色空間のそれぞれを、図に示すように非演色のＸＹＺ色空間にマッピングするための行列演算式を示し、ここに三刺激原色行列Ｍ2は周辺光源Ｒ’Ｇ’Ｂ’を非演色のＸＹＺ色空間に変換する。図８に示すように、演色色空間ＲＧＢ及びＲ’Ｇ’Ｂ’の両者を等式化することは、（ビデオの）演色色空間及び（周辺光の）第２の演色色空間の原色ＲＧＢ及びＲ’Ｇ’Ｂ’の、第１及び第２三刺激原色行列（Ｍ1，Ｍ2）を用いた前記非演色色空間への変換；及びビデオの演色色空間のＲＧＢ原色に第１三刺激行列Ｍ1及び第２三刺激行列の逆行列(Ｍ2)-1を乗算する行列乗算による色情報の第２の演色色空間（Ｒ’Ｇ’Ｂ’）への変換の導出を可能にする。既知の表示装置についての三刺激原色行列は容易に入手可能であり、周辺光源についての三刺激原色行列は、通常の当業者に知られている白色点法を用いて決定することができる。
【００７５】
ここで図９から１１を参照して説明し、図９〜１１に、従来技術の一般化された、白色点法を用いた三刺激原色行列を示す。図９では、ＳrＸrのような量は、（周辺光源の）各原色の最大出力における三刺激値を表わし、Ｓrは白色点の振幅を表わし、Ｘrは（周辺）光源によって生成される原色光の色度を表わす。図１０に、白色点法を用いて、既知の光源色度行列の逆行列を用いてＳrを白色点基準値のベクトルと等式化する行列演算式を示す。図１１は、Ｘwのような白色点基準値が、白色点の振幅または輝度と光源色度との積であることを思い起こすための算術的乗算である。全体を通して、三刺激値Ｘは色度ｘに等しく設定され；三刺激値Ｙは色度ｙに等しく設定され；そして三刺激値Ｚは１−(Ｘ＋Ｙ)に等しく設定されるべく規定される。第２の、周辺光源の演色色空間についての原色及び基準白色の成分は、色分光計のような既知の技術を用いて取得することができる。
【００７６】
第1の、ビデオの演色色空間についても、同様の量を見出すことができる。例えば、現代のスタジオモニターは北米と、欧州と日本とで規格がやや異なることが知られている。しかし、例として、高品位テレビジョン（ＨＤＴＶ）用の原色についての国際的な合意が得られており、これらの原色はスタジオ、コンピュータ演算、及びコンピュータグラフィックスにおける現代のモニタの原色に近いものを表わしている。この規格は公式に表明されたＩＴＵ−Ｒの勧告BT.709であり、必要なパラメータを含み、ＲＧＢ用の関連する三刺激行列（Ｍ）は次の通りである：
（ＩＴＵ−Ｒ BT.709用の行列Ｍ）
0.640 0.300 0.150
0.330 0.600 0.060
0.030 0.100 0.790
そして白色点値も知られている。
【００７７】
ここで図１２を参照して説明し、図１２に、図３に示すのと同様のシステムを示し、このシステムは追加的に、図に示すように、特徴抽出ステップＦＥの後に、周辺光放光用のガンマ補正ステップ５５を具えている。あるいはまた、ガンマ補正ステップは、ＲＵＲマッピング変換回路１０によって実行されるステップと周辺光生成回路１８によって実行されるステップとの間で実行することができる。ＬＥＤ周辺光源用の最適なガンマ値は1.8であることが判明しており、従って一般的なビデオ色空間のガンマ値2.5に対処するための負のガンマ補正を、既知の数学を用いて見出される正確なガンマ値で実行することができる。
【００７８】
一般に、ＲＵＲマッピング変換回路１０は、既知の適切なソフトウェア・プラットフォームによって実行される機能ブロックとすることができ、図１３に示すＲＵＲ変換全体を実行し、図に示す略図は、ビデオＲＧＢのような演色色空間を具えたビデオ信号ＡＶＳを取得して、この信号をＣＩＥ ＸＹＺのような非演色色空間に変換し；そして第２の演色色空間に変換する（周辺光源ＲＧＢ）。このＲＵＲ変換後に、図に示すように、周辺光源８８を信号処理とは別に駆動することができる。
【００７９】
図１４に、本発明が使用する周辺光源用の変換行列の係数を取得するステップを示し、これらのステップは図に示すように、従来技術において知られている、周辺光ユニットを駆動するステップ；及び出力の直線性をチェックするステップを含む。周辺光源の原色が安定であれば（左側の分岐に示す「安定な原色」）、色分光計を用いて変換行列の係数を取得することができ；周辺光源の原色が安定でなければ（右側の分岐に示す「不安定な原色」）、前に与えたガンマ補正をリセットすることができる（図に示す「ガンマ曲線をリセット」）。
【００８０】
一般に、必要なことではないが、Ｒ4のような抽出領域内のすべての画素から色情報を抽出することが望ましく、その代わりに、所望すれば、選択画素の選び出しは、平均色のより高速な推定、あるいは抽出領域の色の特徴付けのより高速な生成が行われることを可能にする。図１５に、本発明を用いたビデオの推定値抽出及び周辺光再生用の処理ステップを示し、これらのステップは次のものを含む：
[１] （演色色空間、例えばビデオＲＧＢからの）ビデオ再生の測色推定値を用意するステップ；
[２] 非演色色空間に変換するステップ；及び、
[３] 周辺光再生用の測色推定値に変換するステップ（第２の演色色空間、例えばＬＥＤのＲＧＢ）。
【００８１】
本発明によれば、ビデオフレームからのビデオ・コンテンツ（例えば支配色）の抽出及び処理をサポートするために必要な要求データビットストリームは（図１８参照）、ビデオフレームの賢明なサブサンプリングによって低減することができることが見出されている。ここで図１６を参照して説明し、図１６に、本発明によるビデオフレーム抽出の略図を示す。図には、ＮＴＳＣ、ＰＡＬ、またはＳＥＣＯＭ規格によって指定されたインタレース（飛越し走査）またはノンインタレース（順次走査）のビデオフレームのような、一連の個別の連続したビデオフレームＦ、即ちフレームＦ1、Ｆ2、Ｆ3等を示す。フレームＦ1及びＦNのような選択した連続フレームからのコンテンツ分析及び／または特徴抽出、例えば支配色情報の抽出を行うことによって、許容し得る周辺光源の応答性、現実性、及び忠実性を維持しつつ、データ負荷またはオーバヘッドを低減することができる。Ｎ＝１０が良い結果を与えること、即ち、連続した１０フレームから1フレームをサブサンプリングすればうまく行くことが判明している。このことは、フレーム抽出間に低いオーバヘッドのリフレッシュ期間Ｐを提供し、この期間中に、フレーム間補間プロセスが、ディスプレイＤにおけるクロミナンス変化の時間的変化の適切な近似を提供することができる。選択したフレームＦ1及びＦNは図に示すように抽出され（抽出）、Ｇ2、Ｇ3、Ｇ4として示すクロミナンス・パラメータについての補間値は、前に挙げた周辺光源８８用の駆動プロセスに伝える必要のある情報を提供する。このことは、フレーム2〜N-1を通して同じ色情報を単に凍結または維持する必要性をなくす。これらの補間値は直線的に定めることができ、例えば抽出したフレームＦ1とＦNとの間の合計クロミナンス差を（複数の）補間フレームＧにわたって分散させる。あるいはまた、関数は、抽出したフレームＦ1とＦNとの間のクロミナンス差を任意の方法で分散させることができ、例えば抽出した色情報の時間的変化のより高次の近似に適合させることである。（例えばＤＶＤプレーヤでは）、補間の結果を、予めフレームＦにアクセスするよって用いて、補間フレームに影響を与えることができあるいはまた、（例えば放送の符号化用途では）補間を用いて、予めフレームＦにアクセスすることなしに、将来の補間フレームに影響を与えることができる。
【００８２】
図１７に、本発明による簡略化したクロミナンス評価の処理ステップを示す。フレーム抽出のより高次の分析は、リフレッシュ期間Ｐをより大きくし、Ｎをそれまで可能で合ったよりも大きくすることができる。フレーム抽出中には、あるいは抽出領域Ｒx内の選択画素の暫定的な選び出し中には、図に示す簡略化したクロミナンス評価を行うことができ、このことは、図の左側に示す次のフレーム抽出における遅延を生じさせるか、図の右側に示すフレーム全体の抽出を開始するかのいずれかである。いずれの場合にも、補間は、次のフレーム抽出を遅延させて進行し（「補間」）、使用するクロミナンス値の凍結または増加を生じさせる。このことは、ビットストリームまたは帯域幅のオーバヘッドの意味でさらに経済的な動作を提供する。
【００８３】
図１８に、図３及び１２の上部を示し、ここでは抽出ステップの代案を示し、ここではフレームデコーダ（復号化器）ＦＤを使用し、図に示すように、ステップ３３では、抽出領域（例えばＲ1）からの領域情報を抽出することができる。次のプロセスまたはコンポーネント・ステップ３５は、図に示すように、クロミナンス差を評価すること、及びこの情報を用いてビデオフレーム抽出レートを設定することを含む。図４の平均化のような出力計算００または以下に説明する支配色抽出を実行する次のステップは、図に示すように、周辺光生成回路１８へのデータ転送の前に実行される。
【００８４】
図１９に示すように、色情報抽出用のプロセスステップ全体及び本発明の処理は、ビデオ信号ＡＶＳを取得するステップ；（前に挙げたＦ1及びＦNのような）選択したビデオフレームから領域（色）情報を抽出するステップ；選択したビデオフレーム間を補間するステップ；ＲＵＲマッピング変換のステップ；随意的なガンマ補正のステップ；及びこの情報を用いて周辺光源（８８）を駆動するステップを含む。図２０に示すように、選択したフレームからの情報の領域的抽出の後に、次の２つの追加的なプロセスを挿入することができ：１つは、事前設定した基準による、選択したフレームＦ1とＦNとの間のクロミナンス差の評価を実行することができ、１つは、新たなフレーム抽出レートを抽出することができる。従って、連続したフレームＦ1とＦNとの間のクロミナンス差が大きいか、急速に増加しているか（例えば大きな一次導関数）、あるいはクロミナンス差の履歴に基づくような他の何らかの基準を満たす場合には、フレーム抽出レートを増加させることができ、これによりリフレッシュ期間Ｐは減少する。しかし、連続したフレームＦ1とＦNとの間のクロミナンス差が小さく、安定しているか急速に増加していないか（例えば低い値か０の一次導関数の絶対値）、あるいはクロミナンス差の履歴に基づくような他の何らかの基準を満たす場合には、必要な要求データストリームを節減し、フレーム抽出レートを減少させることができ、これによりリフレッシュ期間Ｐは増加する。
【００８５】
ここで図２１を参照して説明し、図２１に、本発明の１つの態様によるプロセス全体を図式的に示す。図に示すように、そして随意的なステップとして、できれば計算負荷を軽減するために、[１]ビデオ・コンテンツに対応する演色色空間を、例えば以下に述べる方法によって量子化し（ＱＣＳ：色空間の量子化）；[２]支配色（または支配色のパレット）を抽出し（ＤＣＥ：支配色抽出）；そして[３]ＲＵＲマッピング変換（１０）のような色マッピング変換を実行して（ＭＴ：Ｒ’Ｇ’Ｂ’へのマッピング変換）、生成される周辺光の忠実度、範囲、及び適切さを改善する。
【００８６】
色空間の随意的な量子化は、可能な色状態及び／または対象とする画素の数を低減することと似たようにすることができ、種々の方法を用いて実行することができる。例として、図２２に、ビデオ・コンテンツからの画素色度を量子化する１つの可能な方法を示す。ここでは、図に示すように、１〜１６の値の範囲の例示的なビデオ原色値Ｒを示し、図に示すように、これらの原色値Ｒのいずれかを割当色ＡＣに割り当てる任意の割当てを行う。従って、例えば、ビデオ・コンテンツ中で赤色画素の色度または値１〜１６のいずれかを見つけるといつも、これを割当色ＡＣに置き換えて、ビデオ画像を特徴付けるに当たり必要な色の数のうち赤色の原色については、１６分の１の低減を生じさせる。三原色のすべてについてのこうした可能な色状態の低減は、この例では、計算に使用する色の数の、16×16×16分の1、または4096分の１の低減を生じさせる。このことは、多くのビデオシステム、例えば256×256×256または1678万通りの可能な色状態を有する８ビット色のビデオシステムにおいて、支配色を決定する計算負荷を低減するために特に有用である。
【００８７】
図２３に、ビデオの色空間を量子化する他の方法を示し、この図は、複数の画素Ｐi（例えば図に示す１６個）からの画素色度を図に示すスーパー画素ＸＰにまとめることによって演色色空間を量子化する他の例を図式的に示す。まとめること自体は、隣接する画素を数学的（または計算的）に互いに加算してスーパー画素を形成する方法であり、スーパー画素事態はさらなる計算または表現に使用される。従って、例えば通常７５万画素を有するビデオフォーマットでは、ビデオ・コンテンツを表現すべく選定したスーパー画素の数は、計算用の画素数を５万、あるいは他の所望のより小さい数に低減することができる。
【００８８】
こうしたスーパー画素ＸＰの数、大きさ、向き、形状、または位置はビデオ・コンテンツの関数として変化することができる。ここでは例えば、フレーム抽出ＦＥ中に、スーパー画素ＸＰを画像の特徴部分のみから抽出し、境界領域または背景からは抽出しないことを保証することが有利であり、スーパー画素ＸＰはそれ相応に形成される。図２４に、図２３と類似のスーパー画素にまとめるプロセスを図式的に示すが、ここではスーパー画素の大きさ、向き、形状、または位置は図に示す画像の特徴部分Ｊ８に合わせて形成することができる。図に示す画像の特徴部分は、直線的な水平または垂直境界を有する点ででこぼこまたは不規則である。図に示すように、スーパー画素ＸＰもそれ相応に、画像の特徴部分の形状を真似るかエミュレートするように選択する。物に合わせた形状を持つことに加えて、こうしたスーパー画素の位置、大きさ、及び向きに、既知の画素レベル計算技法を用いて、画像の特徴部分Ｊ８を影響させることができる。
【００８９】
量子化は、画素の色度を取得することができ、そしてこの画素に割り当てられた色（例えば割当色ＡＣ）を置き換える。これらの割当色は、好適な色ベクトルを用いることを含めて、意のままに割り当てることができる。従って、任意または均一な割当色の組を用いるよりもむしろ、少なくともいくつかのビデオ画像の画素色度を好適な色ベクトルに割り当てることができる。
【００９０】
図２５に、領域色ベクトル、及び標準的なカーテシアンＣＩＥｘ−ｙ色度図またはカラーマップ上で、その色または色座標を示す。このマップは、最大輝度の、すべての既知の色または知覚可能な色を色度座標ｘ及びｙの関数として示し、光波長はナノメートルで表わし、ＣＩＥ標準発光体の白色点を参考に示す。このマップ上には３つの領域色ベクトルＶを示し、ここに見られるように、１つの色ベクトルＶはＰＡＬ／ＳＥＣＡＭ、ＮＴＳＣ、及びAdobe ＲＧＢの色生成規格によって得られる色範囲（図に示す複数の色範囲）外にある。
【００９１】
明瞭にするために、図２６に、図２５のＣＩＥプロットの一部分を拡大して示し、これに加えて、画素色度Ｃp及びその領域色ベクトルＶへの割当てを示す。領域色ベクトルへの割当ての基準は変えることができ、そして、既知の計算技法を用いた、特定色ベクトルＶからのユークリッド距離または他の距離の計算を含むことができる。ラベルを付けた色ベクトルＶは、表示システムの演色色空間または色範囲の外にあり；このことは、周辺光システムまたは周辺光源８８によって容易に生成される好適な色度を、（ビデオの）演色色空間の量子化において使用する割当色の１つにすることを可能にする。
【００９２】
一旦、以上で述べた方法の1つ以上を用いて割当色の分布を作成すると、次のステップは、次の[ａ]〜[ｄ]のいずれかを抽出することによって、割当色の分布からの支配色抽出を実行することである：[ａ]割当色の最頻値（モード）；[ｂ]割当色の中央値（メジアン）；[ｃ]割当色の色度の色度による重み付け平均値；または[ｄ]画素重み付け関数を用いた重み付け平均値。
【００９３】
例えば、ヒストグラム法を用いて、最高頻度で発生する割当色を選択することができる。図２７に、最も多く発生する割り当てられた画素色または色（割当色）、即ち、割当色の分布の最頻値を与えるヒストグラムを示す（縦軸座標参照、画素のパーセント割合）。この最頻値、または使用する１０個の割当色の大部分は、使用する支配色、あるいは周辺光システムによるエミュレーション用の支配色ＤＣ（図に示す）として選択することができる。
【００９４】
同様に、割当色の分布の中央値も、支配色ＤＣとして選択するか、あるいは選択を手助けして影響を与えることができる。図２８に、割当色の分布の中央値を図式的に示し、ここで中央値または（偶数の割当色について補間した）中間値を、支配色ＤＣとして選択したものとして示す。
【００９５】
あるいはまた、重み付け平均を用いて、割当色全体にわたる総計を実行して、支配色の選択に影響を与えることができ、恐らくは周辺光発生システムの色範囲内の強度により良く合わせることができる。図２９に、割当色の色度の重み付け平均用の数学的な総和を示す。明瞭にするために単一の変数Ｒを示すが、任意数の次元または座標（例えばＣＩＥ座標ｘ及びｙ）を用いることができる。図に示すように、色度変数Ｒを画素座標（あるいは必要であればスーパー画素座標）ｉ及びｊの全体にわたって総計し、この例では、ｉ及びｊはそれぞれ１〜ｎ及び１〜ｍにわたる。色度変数Ｒには、総計の全体を通して、図に示すインデックス（指標、添字）ｉ及びｊを有する画素重み付け関数Ｗを乗算し；その結果を画素数ｎ×ｍで除算して重み付け平均値を得る。
【００９６】
画素重み付け関数を用いた同様の重み付け平均を図３０に示し、ここでは図に示すようにＷは画素位置ｉ及びｊも引数とする関数であること以外は図２９と同様であり、従って空間的な支配関数を可能にする。画素位置についても重み付けすることによって、支配色ＤＣの選択または抽出中に、ディスプレイＤの中心部分または他の部分を強調することができ、これについては以下で説明する。
【００９７】
重み付けの総和は、「領域情報を抽出」で表わす上述したステップ３３によって実行することができ、Ｗは既知の方法で選定し記憶することができる。画素重み付け関数Ｗは任意の関数または演算子とすることができ、従って、例えば、特定の画素位置を含めるために１とし、除外するために０とすることができる。画像の特徴部分は既知の技法を用いて認識することができ、以下の図３４に示すように、Ｗはそれに応じて、拡大目的に役立つように変更することができる。
【００９８】
一旦、上述した方法あるいはこれらと等価な方法を用いて割当色を支配色として選定すると、周辺光発生システムによる表現に適した色度のより良好な評価を実行することができ、特に、必要な計算ステップは、さもなければすべての色度及び／またはすべてのビデオ画素を考慮に入れなければならない場合に比べてずっと少なくなる。図３１に、割当色の分布中に重要色を確立し、そしてこの重要色に割り当てられた画素色度を抽出して、支配色として指定すべき真の支配色を導出することを、例示的かつ図式的な表現で示す。図に見られるように、画素色度Ｃpは２つの割当色ＡＣに割り当てられ；図の下部に示す割当色ＡＣは支配色として選択されず、図の上部の割当色ＡＣは支配色であるものと判断され（ＤＣ）、図に示すように重要色ＣＯＩとして選択される。そして、重要色ＣＯＩであるものと判断された割当色ＡＣに割り当てられた画素（または少なくともその一部）をさらに調べ、そしてその色度を直接読み取ることによって（例えば図４に示す平均値を用いることによって、あるいは、この特定目的で、既に小さい規模で述べた支配色抽出ステップを実行することによって）、支配色のより良好な演色を得ることができ、ここではそれを真の支配色ＴＤＣとして示す。このことに必要な処理ステップは、上記に挙げたステップ及び／またはコンポーネントを用いて実行することができ、あるいは独立した真の色のセレクタ（選択器）を用いて実行することができ、このセレクタは既知のソフトウェア・プログラムまたはサブルーチンまたはタスク回路またはこれらと等価なものとすることができる。
【００９９】
知覚ルールを課すことについて以下に説明するが、一般的であり、図３２に図式的に示すように、本発明による支配色抽出を非常に多くの回数または別個に並列的に実行して、支配色のパレットを提供することができ、ここで図に示すように、支配色ＤＣは支配色ＤＣ1＋ＤＣ2＋ＤＣ3で構成することができる。このパレットは、本明細書に教示する方法を適用し、知覚ルールを用いて、優勢な支配色の組を生成したことの結果であり得る。
【０１００】
図３０を参照して説明したように、画素重み付け関数またはこれと等価なものは、画素位置による重み付けを提供して、特定の表示領域についての特別な考慮または強調を可能にすることができる。図３３に、図１に示すビデオディスプレイの単純な前景、及び好適な空間領域内の画素Ｐiに与える不均等な重み付けの例を示す。例えば図に示すように、ディスプレイの中心領域Ｃは数値的に大きい重み関数Ｗを用いて重み付けすることができ；抽出領域（またはシーンの背景のような任意領域）は数値的に小さい重み関数ｗを用いて重み付けすることができる。
【０１０１】
図３４に示すように、重み付けまたは強調は画像特徴部分Ｊ８に適用することができ、これにより、図３３に示すビデオディスプレイの単純な前景において、特徴抽出ステップＦＥ（図３及び１２参照）によって既知の技法を用いて画像の特徴部分Ｊ８（魚）が選択されている。この画像特徴部分Ｊ８は、図に示して上述した支配色抽出ＤＣＥ中に使用する唯一のビデオ・コンテンツ、あるいは使用するビデオ・コンテンツのほんの一部とすることができる。
【０１０２】
ここで図３５を参照しながら説明し、本明細書で述べた教示を用いて、ビデオフレームに対して選択する支配色が、少なくとも部分的には、前のフレームからの少なくとも1つの支配色に頼ることによって得られる、ということも可能であることがわかる。図には、フレームＦ1、Ｆ2、Ｆ3、及びＦ4が支配色を得るための処理を受けることを図式的に示し、その目的は図に示すように、それぞれ支配色ＤＣ1、ＤＣ2、ＤＣ3、及びＤＣ4を抽出することにあり、ここでは計算によってフレームに対して選定する支配色を確立することができ、ここではこれを、支配色ＤＣ1、ＤＣ2、及びＤＣ3の関数としてのＤＣ4として示す（ＤＣ4＝Ｆ(ＤＣ1，ＤＣ2，ＤＣ3)）。このことは、フレームＦ4に対する支配色ＤＣ4を選定する短縮された手順、あるいは前のフレームＦ1、Ｆ2、及びＦ3に対して選定された支配色が支配色ＤＣ4の選定を手助けして影響を与えるより良く事情に通じた手順のいずれかを可能にする。この短縮された手順を図３６に示し、ここでは計算負荷を低減するために、暫定的な支配色抽出ＤＣ4*が測色的な推定を用い、そして次のステップでは、（複数または単一の）前のフレームからの支配色抽出によって支援され、ＤＣ4についての選定を用意する手助けをする（短縮した手順を用いてＤＣ4を用意する）。この手順は以下の記載に良好な効果を以って適用することができる。
【０１０３】
ここで図３７を参照して説明し、図３７に、新たに出現している可能な特徴部分を含むシーン・コンテンツを描画するビデオディスプレイを示して、本発明による暗さのサポート、及び他の知覚の特権による支配色抽出の必要性を例示する。上述した理由により、支配色抽出は往々にして、所望の知覚的出力にそぐわない結果を生成する。図３７に、特定のシーンの特徴部分Ｖ111（例えば緑色のモミの木）を特徴とする暗いシーンまたは夜のシーンの描画を図式的に示す。知覚ルールを行使せずに支配色抽出を用いると、次の問題が往々にして生じる：シーン・コンテンツ中または特定フレーム中の色が往々にして、知覚的立場からの過大な影響を有し、周辺光放光の色が明る過ぎに見え、暗いシーン・コンテンツに適しないか適当ではない。図３７によって与えられる例では、図に示す主要画素ＭＰのような多数の画素、または大部分の画素が、フレーム画像の大半または大きな部分を形成し、これらの主要画素ＭＰは平均的に、小さい輝度を有するか輝度を有しない。この例では、周辺光放光用に暗い効果が好ましいことがあり、デザイナーが周辺光放光用に好む色度は往々にして、主要画素ＭＰから大部分を導出した色度よりもむしろ、シーンの特徴部分Ｖ111におけるような別個のシーンに実在の色度であり、この例では主要画素ＭＰは、低い平均輝度、及び背景光発光において表現されれば考え出したように見られ得る公称色度を有することによって暗さを表現する。
【０１０４】
このことを達成する方法は、以下に説明する暗さのサポートを提供することによって実行される知覚ルールを課すステップを含み、暗さのサポートでは暗いシーンを検出し、こうした主要画素ＭＰを識別し、そして主要画素ＭＰを支配色抽出の考慮から除外するか、あるいはシーンの特徴部分Ｖ111のようなシーンの特徴部分を形成する他の画素に対して低減した重み付けを与えるかのいずれかを行う。このことは、シーン・コンテンツ分析ＣＡ（図１２参照）を用いてシーン要素を認識し、そして暗い背景またはシーンの特徴部分のような他の種々のシーン要素に対する特別な処理を実行することを必要とする。知覚ルールを課すことは、シーンのスペックル（暗いしみ）またはアーティファクト（歪像）のような支配色抽出にとって不所望なシーン部分を除去することを含むこともでき、かつ／あるいは、特徴抽出ＦＥ（例えば図３及び１２の特徴抽出ＦＥ、またはこれと機能的に等価なもの）による、そして図３４について説明した、シーンの特徴部分Ｖ111のような画像特徴部分の認識を含むこともできる。
【０１０５】
これに加えて、稲光または閃光Ｖ999のような新たなシーンの特徴部分を、上述した方法を用いて得られるシーンの特徴部分Ｖ111からの全体的な色度の抽出によって提供される色度に優先させること、あるいは共存させることができる。
【０１０６】
同様に、淡い、明るい、白色の、灰色がかった、または一様な高輝度のシーンは、知覚ルールを課すことの恩恵を受けることができる。ここで図３８を参照して説明し、図３８に、シーン・コンテンツを描画するビデオディスプレイの単純な前景を示して、色のサポートによる支配色抽出を例示する。図３８は、比較的明るい、シーンの特徴部分Ｖ333のような全体が似た色調の領域を描画し、これは雲に覆われた所、あるいは滝からの白い水しぶきとすることができる。このシーンの特徴部分Ｖ333は主にグレー色または白色とすることができ、従って、図に示す主要画素ＭＰで構成されるものと考えることができ、他のシーンの特徴部分Ｖ888、例えば青空は主要画素では構成されず、支配色抽出のために主要画素ＭＰに優先させることができ、即ち、この例では、周辺光効果のデザイナーは、特にシーンの特徴部分Ｖ888が新たに出現するか、あるいは周辺光用に好適な色度（例えば空の青色（スカイブルー））である場合には、白色またはグレー色よりもむしろこの青色を放光することを好むことがある。従来技術の１つの問題は、支配色抽出は時として、過小評価された、明るい、あるいは高度に飽和した白色、グレー色、または他の飽和不足の色を生じさせることである。このことを直すために、知覚ルールまたは一組の知覚ルールを課して色のサポートを提供することができ、例えばシーンの明るさを評価して、青空Ｖ888のような他のシーンの特徴部分の影響は増強しつつ、白色／グレー色の主要画素ＭＰの影響または重みを低減または除去することができる。
【０１０７】
ここで図３９を参照して説明し、図３９に３つの例示的なカテゴリを図式的に示し、本発明による知覚ルールはこれらのカテゴリに分類することができる。図に示すように、支配色選択用の知覚ルールは次のいずれかまたは全部で構成することができる：単一の色度変換ＳＣＴ、シーン・コンテンツの関数としての画素重み付けＰＦ8、及び拡張抽出／探索ＥＥ8。これらのカテゴリは単に例示的なものを意味し、当業者は本明細書に述べる教示を用いて類似の代替方法を開発することができる。
【０１０８】
ここで図４０〜４３を参照して説明し、これらの図には、これらの知覚ルール群を課すことに関する特定方法を示す。
【０１０９】
第１の、単純な色度変換ＳＣＴは多くの方法を表わすことができ、これらのすべてが、最初に意図した支配色を他の別個の色度に置き換えるか変換することを追求する。より詳細には、図４０に示すように、支配色抽出によって生成される特別に選定した色度（ｘ，ｙ）を、任意の所望瞬時に、変換色度（ｘ’，ｙ’）に置き換えることができ、図４０は単純な色度変換ＳＣＴを関数演算子として図式的に示す。
【０１１０】
例えば、特徴抽出ＦＥが周辺光放光用の特定の支配色（例えば茶色）を得て、周辺光源８８の光空間内でこの支配色にもっとも近く一致するものが色度（ｘ，ｙ）、例えば紫がかった色調を有する色であり、この最も近く一致する色度が知覚的立場からは好ましくない場合には、色度（ｘ’，ｙ’）、例えばオレンジ色及び緑色の周辺光生成から作られる色への置き換えまたは変換を行うことができる。これらの変換は色度対色度のマッピングの形を採ることができ、恐らくはルックアップテーブル（ＬＵＴ）に含めるか、あるいはマシンコード（機械語）、ソフトウェア、データファイル、アルゴリズムまたは関数演算子で具体化することができる。この種の知覚ルールは明示的なコンテンツ分析を含む必要がないので、単純な色度変換と称される。
【０１１１】
単純な色度変換ＳＣＴは、これを用いない場合よりも大きな放光時間を好適な色度に与える知覚ルールを行使することができる。例えば、特定の青色が好ましいか、あるいは望ましいと考えられる場合には、この色を単純な色度変換ＳＣＴの主題または結果とすることができ、単純な色度変換ＳＣＴは、非常に多数の、あるいは類似した青色の色度をこの特定の青色にマッピングすることによって、この特定の青色を重要視する。また、本発明は、単純な色度変換を用いて、周辺光源８８の第２の演色色空間内に見出される色度を好みで選定する所で実施することができる。
【０１１２】
また、本発明によれば、シーン・コンテンツ分析ＣＡを用いて、画素重み付け関数Ｗに、知覚ルールを課すことを可能にする機能を追加することができる。図４３に、こうした画素重み付け関数用の可能な関数形式を示す。画素重み付け関数Ｗは複数変数の関数とすることができ、これらの変数は図に示すように、次のいずれかまたは全部を含むことができる：ビデオディスプレイの画素の空間的位置、例えばインデックスｉ及びｊで指示される；蛍光体の輝度レベルまたは原色値Ｒ（ここにＲはＲ、Ｇ、及びＢを表現するベクトルとすることができる）のような色度、または色度変数ｘ及びｙ；及び輝度Ｌ自体（またはこれと等価なもの）。特徴抽出ＦＥ及びコンテンツ分析ＣＡを実行することによって、画素重み付け関数Ｗの値は、知覚ルールを実行するように設定することができる。画素重み付け関数Ｗは関数演算子とすることができるので、画素重み付け関数Ｗは、必要であれば、選択した画素からのあらゆる影響を低減または除去するように設定することができ、これらの選択した画素は例えば、スクリーンのスペックル、スクリーンのアーティファクトを表現する画素、あるいはコンテンツ分析によって主要画素ＭＰであると判断される画素、例えば雲に覆われた所、水、または暗さ、あるいは他のシーン・コンテンツが、知覚ルールに従ってより小さい重み付けまたは０の重み付けを与えられた際である。
【０１１３】
ここで図４１を参照して説明し、図４１に、本発明による画素重み付け関数を用いて計算した平均値を用いて例示的な２つの可能な知覚ルールを実行する、支配色抽出のための一連の可能なステップを図式的に示す。シーン・コンテンツＰＦ8の関数としての画素重み付けと称するステップ全体は、矢印を用いて示す例示的な２つよりもずっと多くの可能な関数で構成することができる。
【０１１４】
図４１の左側に示すように、そして図に示す暗さのサポートの知覚ルールを提供するために、あるいは（図３７について説明した）暗さのサポートを提供するために、シーン・コンテンツ分析を実行する。１つの可能なステップ、あるいは随意的に可能な最初のステップは、例えば任意またはすべての画素について、あるいは割当色の分布について、画素毎に、全体または平均の輝度または明るさを計算することによってシーンの明るさを評価することである。この特定例では、シーン全体の明るさは低いものと考えられ（明瞭にするためにこのステップは省略する）、可能な結果的なステップは、図に示すように周辺光発生の輝度を低下させて、周辺光の生成をシーンの暗さにより一致させることである。他の可能なステップは、高い輝度の画素について、画素重み付け関数Ｗによって与えられる重み付けを除去または低減することであり、「明るい／有色画素に対する重み付けを削減／低減する」として示す。明るい画素または有色画素を構成するものを決定するために選定するしきい値輝度レベルは変化させることができ、そして固定しきい値として確立させることができ、あるいはシーン・コンテンツ、シーン履歴、及びユーザ嗜好の関数とすることができる。例として、すべての明るい画素または有色画素について、そのＷの値を３分の１に低減して、これらの画素から支配色をどのように選定しても周辺光の輝度を低減することができる。周辺光の輝度を低下させるステップはこの目的でも運用することができ、例えば、画素重み付け関数Ｗをさらに低減することによって、すべての画素の輝度をこれに応じて均等に低減する。その代わりに、画素重み付け関数Ｗを別個の関数によって低減することができ、この別個の関数自体は特定画素の輝度の関数であり、例えば倍率（乗率）１／Ｌ2であり、ここにＬは輝度である。
【０１１５】
暗さのサポートのための他の可能なステップは、「明るい／有色画素からのＣＯＩ（重要色）の可能な選択」であり、即ち、明るく、恐らくは高い飽和値を有する（有色の）ビデオ・コンテンツ中の画素の部分集合から、例えば図３７の特徴部分Ｖ111から重要色を確立する、上記に挙げたプロセスである。より詳細には、図３１に示して上述したのと同様の方法で、特定の色度をさらなる分析用に選定することができ、このことは、選定されている割当色について真の色を識別することか、あるいは、重要色が画素色度からのものであり、それ自体がさらなる分析用の割当色の分布の一部となるか、であり、このさらなる分析は例えば、こうした重要色について支配色抽出を繰り返すこと（例えば、モミの木Ｖ111について代表的な緑色を見つけること）である。このことは、図に示す他の可能なステップに至らせることができ、即ち、以下でさらに説明する「可能な拡張的な抽出」、及び「支配色の抽出」であり、このステップは、前の支配色抽出プロセスから取得した重要色の分布上で拡張的な支配色抽出を行ったことの結果とすることができる。
【０１１６】
図４１の右側に示すように、図に示す「色のサポートの知覚ルール」（図３８で説明した色のサポート）を提供するために、シーン・コンテンツ分析を再び実行する。１つの可能なステップ、あるいは随意的に可能な最初のステップは、例えば前に行ったように、任意またはすべての画素について、あるいは割当色の分布について、画素毎に、全体または平均の輝度または明るさを計算することによってシーンの明るさを評価することである。この例では、シーン全体にわたって高い明るさが見出される。他の可能なステップは、高い輝度、白色、グレー色、または明るい画素について、画素重み付け関数Ｗによって与える重み付けを除去または低減することであり、「明るい／有色画素に対する重み付けを削減／低減する」として示す。このことは、選定した支配色が淡いか過度に明るい色度を有することを防止し、この色度は、過度に飽和した色、または過度の（強過ぎる）白色、あるいは過度のグレー色であり得る。そして、支配色または重要色を選択することができ、例えば図に示す「残りの色度からＣＯＩを選択する」である。図に示す「可能な拡張的な抽出」は、図に示す「支配色を選択する」ステップを手助けすべく実行することもでき、これについては以下で説明する。
【０１１７】
図４２に示す上述した「拡張的な抽出／探索ＥＥ8」のステップは、最初の支配色抽出プロセスの後に行うあらゆるプロセスとすることができ、例えば知覚ルールを用いて支配色の候補の組を絞るプロセスである。図４２に、本発明による拡張的な支配色抽出用の画素重み付け関数を用いて計算した色度／輝度の平均値を用いて、例示的な２つの可能な知覚ルールを実行する支配色抽出のための、一連の可能なステップを図式的に示す。図に示す拡張的な抽出のこうした２つの例は「静的なサポートの知覚ルール」及び「動的なサポートの知覚ルール」である。図の左側に示すうように、１つの可能な静的なサポートの知覚ルールは、「識別」、そして「主要画素についての重み付けを削減／低減する」を含むことができる。このことは、図３７及び３８に示すように、エッジ分析、形状認識、またはビデオ・コンテンツについての他のコンテンツ分析技法を用いるシーン・コンテンツ分析を用いて主要画素ＭＰを識別することを含むことができる。そして、前に説明したように、主要画素ＭＰであるものと判断された画素について、画素重み付け関数Ｗを低減または０に設定する。
【０１１８】
そして、次の可能なステップ、即ち「残りの色度からのＣＯＩの可能な選択（例えばヒストグラム法）」では、主要画素ＭＰではない画素に対する拡張的な支配色抽出を実行し、例えば前に挙げた、次の[ａ]〜[ｄ]のいずれかを抽出することによる割当色の画素色度または分布からの支配色抽出を実行する：
[ａ] 最頻値（例えばヒストグラム法）；
[ｂ] 中央値；
[ｃ] 色度の色度による重み付け平均値；または、
[ｄ] 画素色度または割当色の画素重み付け関数を用いた重み付け平均値。
知覚ルールを適用した後は、主要画素に与える重みを低減することのように、支配色抽出の機能的反復と同様にすることができる。この支配色抽出プロセスから、最終ステップの「周辺光放光用の支配色を選択する」を実行することができる。
【０１１９】
他の可能な知覚ルールは、図の右側に示す「動的なサポートの知覚ルール」である。図に示す最初の２つのステップは、図の左側に示す「静的なサポートの知覚ルール」用のステップと同一である。３番目の可能なステップは、新たに出現したシーンの特徴部分（例えば稲光Ｖ111）を識別し、図に示す「新たに出現したシーンの特徴部分からの支配色抽出」を実行することである。第４の可能なステップは、図に示す「前のステップのいずれかまたは両方から周辺光放光用の色度を選択する」ことであり、即ち、この知覚ルールは、新たに出現したシーンの特徴部分に対して支配色抽出を実行したことの結果、あるいは、主要画素ＭＰの影響を低減または除去した後に得られた残りの色度に対して支配色抽出を実行したことの結果のいずれかまたは両方を取得することを含むことができる。このようにして、例えば、新たに出現した落雷Ｖ999及び木Ｖ111は共に、知覚ルールなしの直接的な支配色抽出よりも、周辺光放光用の1つ以上の支配色ＤＣの導出に寄与し得る。
【０１２０】
こまのように知覚ルールを行使するに当たり、上述したように、事前の色の量子化を妨げるものはない。また、これらの方法は選定したシーンの複数の特徴部分に対して、あるいは周辺光放光用の好適な色度を探索するために反復することができる。
【０１２１】
別な例として、３つの背景シーンの特徴部分、及び１つの新たに出現した特徴部分を含むビデオ・コンテンツ用の特定の例示的なシナリオを考える。これらの背景は、砂地、空、及び太陽を含んで出現する。コンテンツ分析を用いてシーンを評価する。そして砂地の色調は画像の画素の47%をなすことが判明している。知覚ルールを利用して、これらの砂地色の画素を主要画素に指定し、そして他の大きなシーン要素が存在する限り、画素重み付け関数Ｗによって０の影響力を与える。拡張的な抽出用に空を選択し、そして上述した方法を用いて抽出した結果的な青色を重要色ＣＯＩとして設定する。そして真の支配色の抽出プロセス（図３１参照）を開始して、特徴部分とした空の実際の画素色度を表現する真の色を導出する。このプロセスはフレーム毎のベースで更新する（図１６及び１７参照）。太陽は特徴抽出ＦＥによって認識され、そして単純な色度変換ＳＣＴを用いて、ビデオの色情報に固有のより明るい白色の代わりに、より快適な黄色がかった白色の色度が選定される。砂時調の画素が特定の数値的しきい値以下に落ちる際には、他の知覚ルールが、３つの特徴部分のすべてが支配色として抽出されることを可能にし、そしてこれらの特徴部分は、画素位置（例えばＲ1、Ｒ2、等のような抽出領域）に応じて個別に、あるいは全部まとめてのいずれかで周辺光放光用に設定することができる。そして、新たに出現した特徴部分、例えば白いボートは、新たなコンテンツを強調する他の知覚ルールを用いて、ボートについての支配色抽出に基づく白色の出力を生じさせ、周辺光放光はボートがビデオのシーンから消えるまで白色に変わる。ボートがシーンから消えると、新たに出現するコンテンツを表現する画素数が特定比率以下に落ちるか、あるいは既に再生中の特徴部分（砂地、空、太陽）以外の部分の占有率以下に落ちると、このコンテンツはもはや支配的でないものと判断する知覚ルールは、ことを可能にする。砂地調の画素の数が再び大きくなると、その影響は、画素重み付け関数Ｗがこれらの画素に対する重みを０にできるようにすることによって再び抑制される。しかし、他の知覚ルールは、他の２つの背景の特徴部分（空及び太陽）がもはや存在しない際に、砂地調の画素についての画素重み付け関数Ｗを復元して、新たに出現するシーンの特徴部分の存在中にその低減がなされることを可能にする。赤い蛇が出現し、コンテンツ分析は画素の11%をこの特徴部分のものとする。砂地調の画素は再び、支配色抽出の効果から除外され、蛇からの特徴抽出は重要色ＣＯＩを生じさせ、この重要色から、拡張的な抽出及び／または随意的な真の色の選択プロセスが、蛇の色を周辺光放光用に表現するために抽出される支配色を改良する。
【０１２２】
以上のことから既に、支配色抽出を知覚ルールに従うように変更するメカニズムなしでは、支配色抽出は全体を通して少し青色がかった白色の時間的に変化する陰影であり、シーンのコンテンツを表現せず、そして視聴者にとっての娯楽性または情報値が少ないことがわかる。このように上述した知覚ルールを課すことは、パラメータの形で特徴を持つことを可能にし、さらに、一旦実行すると、知的に振り付けられたように見える効果を有する。支配色抽出において知覚ルールを適用することの結果を、前に説明したように用いて、第２の演色色空間内の色情報を周辺光源８８にとって利用可能にすることができる。
【０１２３】
このようにして、図１に示す抽出領域Ｒ3をエミュレートすべくＬ3において生成された周辺光は、図に示す動く魚のようなこの領域内の現象を知覚的に拡張する色度を持つことができる。このことは視覚的体験を倍増させ、適切で、けばけばしくも過度に不釣合いでもない色相を提供する。
【０１２４】
ここで図４４を参照して説明し、図４４に、本発明による、ユーザ嗜好に応じたより一般的な知覚ルールを用いた支配色抽出実行して好適な周辺光の放光を実現するための複数の可能な機能グループを図式的に示す。
【０１２５】
図４４に見られるように、前に説明した知覚ルールは、特に追加されたユーザ嗜好を考慮にいれるべき場合に拡張することができる。色度ルールは前述したように、単純な色度変換ＳＣＴ、シーン・コンテンツＰＦ8の関数としての画素重み付け、及び拡張的な抽出／探索ＥＥ8で適用することができる。
【０１２６】
色度ルールは、明示的な輝度知覚ルールＬＰＲを追加することによって増加させることができ、輝度知覚ルールＬＰＲは、図に示すように、単に色度知覚ルールを用いて、支配色抽出において固有の輝度情報をさらに変化させるべく機能する。
【０１２７】
図に示す時間的変化知覚ルールＴＤＰＲは、周辺光放光のより高速またはより低速の時間的変化、あるいは変更された時間的変化を可能にする。このことは、輝度及び／または色度の減速または増速を含むことができる、図に示す機能ステップＰＦ８から読み出したシーン・コンテンツ、あるいは他の要素に応答して周辺光効果を増速または減速するより複雑な関数または演算子も含む。
【０１２８】
空間的抽出知覚ルールＳＥＰＲは、前に説明したように、画素位置（ｉ，ｊ）を考慮に入れる画素重み付け関数Ｗを用いた画素色度の重み付け平均を可能にするが、ここでは図に示すように、これらの空間的及び他の一般的な知覚ルールも可能な明示的に指示されたユーザ嗜好の関数である。
【０１２９】
より詳細には、図の上右に「ユーザ嗜好に応じた知覚ルール全体」として示すこれらの知覚ルールの組は、図の上左に示す「可能な明示的に指示されたユーザ嗜好」と共に進行するか、あるいはその関数として変更することができ、その結果は図に示す好適な周辺光放光である。「明示的に指示されたユーザ嗜好」から「知覚ルール全体」に至る矢印の各々は、特定のユーザ嗜好の影響を記号的かつ例示的に表わし、そして、好適な周辺光放光に好影響または悪影響を与える知覚ルールの特徴及び効果に影響を与えるべく用いるユーザ嗜好を伝えるあらゆるすべての入力を含む（定義の章参照）。前述したように、ユーザ嗜好は、知覚ルール全体に影響を与えるステップを含むことができ、従って、生成される周辺光の性質及び特徴、例えば生き生きした、反応的な、明るい、等、これに対し落ち着いた、動きの遅い、薄暗い、淡い、等に影響を与えるステップを含むことができる。
【０１３０】
図４５に、ユーザ嗜好を伝えるためのいくつかの可能な構成要素、方法、及び信号源を示し、一部は、明示的に指示されたユーザ嗜好を伝えるように設計されていないことのある既存の構成要素システムを使用することのできるものを含む。制御装置または類似のユーザ操作のコントローラは、明示的に指示されたユーザ嗜好の直接的な入力を可能にするが、ユーザ嗜好の他の入力は、ユーザ操作のコントローラ上での特定の選択または選択動作の検出を含むことは明らかである。知覚ルール全体に影響を与えるユーザ嗜好のデフォルトの組を役立てることができ、そして例えば、ユーザ操作のコントローラからの極値の選択に一致するような、より強烈な嗜好を可能にすることができる。
【０１３１】
例えば、明示的に指示されたユーザ嗜好を、ユーザ操作のコントローラによって選択される値の反復的な上下変化によって指示することができ、例えば図４５に示すように、リモートコントローラＲＣ上で「上」制御９０及び「下」制御１００を交互に反復して動かし、このことを文字列で示す。このことは例えば、一組のユーザ嗜好の間でトグルする（交互に切り換える）（例えば生き生きした対落ち着いた）ことを可能にする。上／下制御は真の上／下機能とすることができ、あるいはあらゆる値の上／下変化、例えば音量変化またはチャンネル変化とすることができる。特定パラメータをより高くする要求が、実際にはパラメータ変化を生じさせず、単に、生き生きした、または明るい好適な周辺光放光のようなユーザ嗜好の信号伝送を提供するように、制御感覚を公式化することができる。あるいはまた、ユーザ嗜好はユーザ操作のコントローラ上の極値の選択によって伝えることができ、例えば図に例示的に示すように、値Ｋを33/40...970/980/990/999に選択することができる。あるいは、ユーザ嗜好は、ユーザ操作のコントローラによって選択した値Ｋの速い変化速度によって入力することができる（例えば図に示すように、1ステップでＫ＝33〜511と変化させる）。ユーザ嗜好を得るためのこれらの方法は範囲が限られているが、既存のハードウェアを用い、かつ直感的な方法を用いた入力を可能にする。
【０１３２】
ユーザ嗜好の指定を可能にする情報を入力する他の方法は、記号的に示すように、既知の構成要素及び方法を用いた周囲空間Ａ0内の条件の検出を含み、例えば部屋の振動センサＶＳはダンスしていることまたは大声を検出することができ、音響（サウンド）センサＳＳも同様の機能を実行することができる。光センサＬＳは、例えば日中はより明るく、より生き生きした周辺光放光を可能にし、そして図４１を参照して説明したように、暗さは、より低い輝度を可能にし、そして恐らくはより小さい度合いの暗さのサポート及び／または色のサポートを可能にする。
【０１３３】
これに加えて、図に示す既知のグラフィカル・ユーザインタフェースの使用を妨げるものはなく、これは例えばビデオディスプレイＤ上、あるいはユーザ嗜好を入力するためのリモートコントローラまたはユーザ操作のコントローラＲＣ上のような他のディスプレイ上に表示される選択肢である。ユーザ嗜好は、パッケージとして事前設定された特性を有する選択肢として表示することができ、あるいは、知覚ルール全体に基づく特定パラメータ、例えば図４１の明るさまたは暗さのサポートを実行する度合いを選択することをユーザに質問することができる。パラメータ化した、あるいはサンプリングした変化ベクトルまたは他の関数を用いれば、既知の技法を用いてこうした知覚ルールの実行の度合いを変更することができる。暗さのサポートの度合いは、例えば１〜１０のスケール（尺度）上で選択することができ、より詳細には、特定色度を表示することのような特定現象に関して行われるユーザ指定を有することもでき、例えば、明るく完全に飽和した色、または部分的に飽和した色を見たいか否か、あるいは周辺光源８８からの周辺光放光用の全輝度または最大輝度を制限したいか否かである。
【０１３４】
あるいはまた、既知の方法を用いて、図に示すようにビデオ・メタデータ（ＶＭＤで示す）、補助データ、またはビデオ・コンテンツに関連するオーディオ−ビデオ信号ＡＶＳに関連するサブコードデータのいずれかを用いることができる。このことは、明示的に指示されたユーザ嗜好として動作することができ、ユーザが明示的に同意または再同意していなくてもよい。このように符号化されたデータは絶対的なものでなくてもよいが、本明細書で述べた他の方法のいずれかを用いて、視認セッション用に用いるユーザ嗜好をさらに指定する精神を含むことができる。
【０１３５】
例えば、他の方法をすぐ前に説明した方法との組み合わせで用いてユーザ嗜好を指定することができ、他の方法は例えば、図に示すリモートコントローラＲＣのようなユーザ操作のコントローラ上で選択を行うことによるものである。チョイスセレクタ（選定選択器）１５５は、ビデオ・メタデータＶＭＤを受信することによって提供される選定を含む選定を可能にする。また、ユーザ操作のコントローラ上のあらゆるセレクタまたはボタンは、ユーザ嗜好、あるいは連続的または反復的な動作呼出しによる確立されたユーザ嗜好間のトグルを伝えることができ、例えば、チョイスセレクタ１５５を連続して押すか、あるいは何回も反復して押すかにより、こうした操作はこれらのセレクタまたはボタンが他に表わす機能にとって必ず必要なものとは限らない。例えば、「オン」ボタンまたはチャンネル変更ボタンを連続して押すことにより、あるいは同じボタンの（動作）呼出しを行うことによりユーザ嗜好を設定することができる。この操作は電源の状態を変化させず、あるいはチャンネルを変更せず、従って、既存のリモートコントローラまたは他のビデオ制御ハードウェア上に収容することができる。このようにリモートコントローラのコマンド（命令）を新たに解釈する方法は電子及びソフトウェア技術において既知であり、既存の構成要素及び方法に含めることができる。
【０１３６】
あるいはまた、リモートコントローラＲＣまたはユーザ操作の制御装置の内部の圧力センサ（明瞭にするために、これも１５５で示す）によって圧力検出を実行することができる。このことは恐らくは最も直感的であり、そしてユーザ嗜好を伝えているものと解釈すべき複雑な挙動の入力を含むことができる。例えば、強く押されたリモートコントローラは、動き及び明るく動きの速い好適な周辺光放光の要望を信号伝送することができ、軽い圧力はその逆を信号伝送することができる。既知の電気−圧力感応フィルムを使用することができ、これは、その位置に基づいて通信する意図的に配置されたセンサの使用を含む。リモートコントローラの前面の連続して押すことは、例えば、ディスプレイの中心部から選択する支配色抽出を強調することを含む動き及び明るさを伝えることができ、そして画像の特徴部分に対する応答性が非常に良いのに対し、リモートコントローラの背面を連続して押すことは、好適な周辺光放光において反対のことを信号伝送することができる。
【０１３７】
最後に、図に示すようにユーザ操作のコントローラの内部の既知の動きセンサＭＳを用いて、ユーザ嗜好を確立することができる。こうした動きセンサは、例えば、容量効果または磁気効果を用いて動きの検出を提供する単純な加速度計とすることができる。リモートコントローラの前面は、図の右下に太い矢印を用いて示すように上下に往復させて嗜好を伝えることができ、背面は他の指示のために動かすことができる。動きは三次元の往復運動でも示すことができ、明示的に指示されたユーザ嗜好の選択における６つの自由度を可能にする。
【０１３８】
ユーザ嗜好の入力用のこれらの方法はさらに組み合わせることができる。例えば、リモートコントローラを振ることによって、あるいはチョイスセレクタ１５５を反復的に押すことによって、周囲空間Ａ0内の周辺光条件によって生じるユーザ嗜好の許容と非許容との間で往復的にトグルすることができる。この教示を用いて、この種のコントローラ用の順列を見付けることができる。
【０１３９】
知覚ルール全体に関して、生成される好適な周辺光放光の性質及び特徴は、ユーザ嗜好によって得られる選定または選択肢の関数とすることができる。周辺光放光の輝度は、ユーザ嗜好によって設定すべき非常に重要なパラメータである。
【０１４０】
図４６及び４７に、異なる例示的なユーザ嗜好ＵＰ1、ＵＰ2、ＵＰ3、ＵＰ4、ＵＰ5、及びＵＰ6に従う種々の輝度知覚ルールについて、輝度を時間の関数として表わす複数の波形の特定のプロット図を示す。ユーザ嗜好の選定ＵＰ1（恐らくはデフォルトの選定）から生じる1番目に例示する波形は、通常の輝度特性、または前に説明した色度知覚ルール及び支配色抽出から来る進行を表わす。２番目の波形は、図に示すようにユーザ嗜好の選定ＵＰ2を適用することによって生じたものであり、より低い放光の明るさ用の半分の輝度特性であり、このことは和らいだ好適な周辺光放光の要望から生じ得るものであり、そして既知の方法を用いて容易に実行することができる。あるいはまた、３番目に例示する波形はユーザ嗜好の選定ＵＰ3を適用した結果であり、支配色抽出を用いて要求される公称輝度が図に示す輝度抑制しきい値を超えている際のみに周辺光放光を提供し、点線の輝度ラインは表現されない輝度を表わし（暗い周辺光放光）、実線は生成される周辺光の輝度を表わす。４番目のユーザ嗜好の選定ＵＰ4は、最大の明るさまたは輝度に対する上限キャップ（最高値）または制限を示し、これにより、支配色抽出によって展開される公称輝度は、図に示すＬ9のような輝度上限値を超えることができない。あるいはまた、図に示すユーザ嗜好ＵＰ5を用いた次の波形中に示す輝度最低値（輝度フロア）Ｌ1は、本明細書で詳述した支配色抽出法によって展開されるものにかかわらず、図に示すように最低輝度を可能にすることができる。最後に、図に示すユーザ嗜好ＵＰ6に関連する輝度変換ＬＸは、好適な周辺光放光用に表現される輝度における複合関数的な変化を可能にし、即ち単なる上限、最低値、しきい値、または乗数でない。輝度変換ＬＸは任意の関数の形を採ることができ、演算子の仕様を含み、本願の教示において、表現される輝度を変更するために利用可能なあらゆる変数の関数とすることができ、これらの関数は、これらの関数を用いずに生じる輝度、即ちユーザ嗜好を用いて知覚ルール全体を変更せずに生じる輝度に対して、輝度を増加または減少させる。
【０１４１】
図４４に示す構成によって可能になる機能の一部の単純な例示として、図４８に、（図に示す）明示的に指示されるユーザ嗜好による複数の可能な色度知覚ルールを実行する単純な色度変換ＳＣＴを複数、図式的に示す。
【０１４２】
例えば、図に示す「選択した色度の監視」は、血液の赤色、または生き生きしていると考えられる色のうちで選択した他の色のような特定色度の推定または監視を実行することができ、そして生き生きした好適な周辺光放光が欲しい際のみに用いる。この知覚ルール、または他のこうした知覚ルール全体はソフトウェア設計によって、及び／またはユーザインタフェース兼嗜好メモリＵ2（例えば図３及び１２参照）によって実行することができる。
【０１４３】
あるいはまた、より強烈でないステップは、例えば画素重み付け関数Ｗ中の選択した色度により小さい重みを与えることによって、（図に示す）「色度に与える重みの変更」を実行することであり、これにより、この色が支配色抽出のプロセスＤＣＥにより影響を与えにくくなる。
【０１４４】
一般に、単純な色度変換ＳＣＴは、選択される支配色ＤＣの特徴を体系的な方法で変化させて全体的な目的を満足する意味で、１つの色度を他のものに置き換える単純な置き換えそのものの組を必ずしも含まなくてもよい。例えば、明示的に指示されるユーザ嗜好を用いて、色飽和の種々の異なる度合いを提供することができる。このようにして、（図に示す）「飽和の変更」は、周辺光放光における異なる外見及び特徴を提供するために非常に有効なツールである。
【０１４５】
図４９に、図４１に示す２つの知覚ルールの実行の品質または度合いをユーザ嗜好によって変更することのできる方法を図式的に示す。この図は、「暗さのサポートの知覚ルール」及び「色のサポートの知覚ルール」を記号的に示し、これらの知覚ルールはそれぞれ、ユーザ嗜好の選定ＵＰ2及びＵＰ4によって完全に有効にされ（図に暗い太線で示す）、そして、それぞれユーザ嗜好の選定ＵＰ1及びＵＰ2によって部分的に（あるいは完全に）無効にされる。例えば、明るい／有色の画素に割り当てられる重みを縮小または低減する程度は、ユーザ嗜好の関数として変更することができる。
【０１４６】
図５０に、本発明による、知覚ルールに影響を与えるためのビデオ・メタデータのオーディオ−ビデオ信号からの抽出を図式的に示し、これは前に図４５に示したものであるが、既知のバッファＢを有し、バッファＢは、ビデオ・コンテンツまたはオーディオ−ビデオ信号ＡＶＳに関連するビデオ・メタデータＶＭＤ、補助データ、またはサブコードデータを記憶することができるが、必ずしも記憶する必要はない。例えば、バッファＢは、オーディオ−ビデオ信号ＡＶＳまたはビデオ・コンテンツの再生とは同期しない時刻に用いる知覚ルール全体を指定することを可能にするパラメータを抽出または導出することができる。バッファＢはメモリーデバイスとすることができ、あるいは単なる記録またはルックアップテーブル、あるいは特に時間的変化知覚ルールを用いて好適な周辺光放光を提供するに当たり使用するメタデータ、補助データ、またはサブコード、あるいはその派生物の呼出しを可能にするソフトウェア機能とすることができる。
【０１４７】
図５１に、異なる例示的なユーザ嗜好ＵＰ1、ＵＰ2に従う、あるいはこれらのユーザ嗜好から生じる種々の時間的変化ルールについて、輝度または色度（輝度／ｘ／ｙで示す）を時間の関数として表わす複数の波形のカーテシアン・プロット図を示す。ユーザ嗜好の選択の選定ＵＰ1（恐らくはデフォルトの選定）から生じる1番目に例示する波形は、前述したように色度知覚ルール及び支配色抽出から来る通常の時間的変化特性を表わす。２番目の波形は、図に示すようにユーザ嗜好の選定ＵＰ2を適用することによって生じたものであり、放光パラメータの変化をより低速にする減速された時間的変化特性である。明らかに、このルールを課すことは、その後の輝度または色度の変化を縮小または無視する可能性を残し得る、というのは、表現される輝度または色度のパラメータの時間的変化は、支配色抽出によって通常展開される対応するリアルタイムのパラメータに対して遅延するからである。あるいはまた、３番目に例示する波形はユーザ嗜好の選定ＵＰ3を適用した結果であり、図に示すように、増速した時間的変化の周辺光放光を提供する。このことは、前の図５０に示すバッファＢの使用を必要とし得る。
【０１４８】
空間的抽出知覚ルールは、明示的に指示されるユーザ嗜好によって変更することもできる。図５２に、図３４に示すビデオディスプレイの単純な前景を示し、ここでは、異なるユーザ嗜好による異なる空間的抽出知覚ルールを用いて度合いを変化させて抽出した、中心領域Ｃ内の画像の特徴部分Ｊ8を図式的かつ例示的に示し、即ち部分的に有効化された抽出（細い矢印、ユーザ嗜好の選定ＵＰ1）及び完全に有効化された抽出（太い矢印、ユーザ嗜好の選定ＵＰ2）である。同様に、図５３に示すように、中心領域Ｃの全体にわたって抽出を行う度合いも、図に示すように同様の方法で変化させることができる。
【０１４９】
図５３は、図５２に示すビデオディスプレイの前景を示すが、ここでは異なるユーザ嗜好による異なる空間的抽出知覚ルールを用いて度合いを変化させて抽出した中心領域を図式的に示す。
【０１５０】
これらの空間的抽出知覚ルールのいずれも、例えば画素重み付け関数Ｗを変更して、新たに出現した特徴部分（Ｊ8）または領域（例えば中心領域Ｃ）に大きい重みを与えることを可能にするか、あるいはより小さい重みを与えて同じものから比較的小さい影響を出すことを可能にするかのいずれかによって実行することができる。中心領域Ｃは例示目的で選定したものであり、あらゆる表示領域を、知覚ルール全体に影響を与えるべく動作するユーザ嗜好に応じた変更処理用に選び出すことができる。
【０１５１】
一般に、ユーザ嗜好を用いてそれぞれの知覚ルールの特徴及び効果を変化させる多数の可能な方法が存在し、一部は既に説明している。その１つは、画素重み付け関数Ｗを時間、シーン・コンテンツ、及び明示的に指示されたユーザ嗜好の関数として変化させて、特定の表示領域（ｉ，ｊ）、色度、及び輝度を強調するか強調しないことである。他のものは、これらのプロセスをパラメータ化して所望の動作を行うこと、例えば輝度を減率または低減すること、色度をシフト（移動）すること、あるいは主要画素ＭＰを含める度合いを変化させることである。好適な周辺光放光に影響を与えるものとして当業者が既知の１つ以上のパラメータを変化させるに当たり、明示的に指示されたユーザ嗜好に影響を与える経済的な方法が得られる。さらに他のものは、上述した（図３及び１２参照）機能ブロック「ユーザインタフェース及び嗜好メモリＵ2」内に見られるような輝度及びクロミナンスの変数を直接変化させることである。明示的に指示されたユーザ嗜好の名前はソフトウェア設計者が選定することができ、本発明の教示を用いれば、本明細書に記載の方法を用いて支配色抽出プロセスの知覚ルールを、ユーザ嗜好を反映すべく変更することができる。
【０１５２】
例えば、図４１の暗さのサポート及び色のサポートの知覚ルールは、明るい画素に対する重み付けを低減する度合い、及び／または拡張的な支配色抽出ＥＥ8を実行する度合い、及び／または輝度を減少または増加させる度合いが、ソフトウェア設計者が特定の視覚効果を達成するように公式化した、明示的に指示されたユーザ嗜好の関数になるように変更することができる。同様に、拡張的な支配色抽出を実行する程度は一般に変化させることができる。
【０１５３】
一般に、周辺光光源８８は、たとえばつや消しまたはつや出しの表面を有するランプ構造；あるいはリブ付きのガラスまたはプラスチック；あるいは例えば個別の光源を包囲する金属構造を用いた開口構造の使用によって、光混合（ミキシング）、並びに半透明または他の現象を生成するための種々の異なる効果を具体化することができる。興味ある効果を提供するために、任意数の既知の拡散または散乱の材料または現象を用いることができ、これらは小さい懸濁粒子；曇りプラスチックまたは樹脂、コロイドを用いた調合剤、乳剤、あるいは長寿命の有機混合物を含む１〜５：ｍまたはそれ以下、例えば１：ｍの丸薬；ゲル；及びゾルからの散乱を利用して得られるものを含み、これらの生成及び製造は当業者にとって既知である。散乱現象は、周辺光の青色強調用の青色生成用のような可視波長用のレイリー散乱を含むべく設計することができる。生成される色は領域的に規定することができ、例えば特定領域内が全体的に青味がかった色合い、あるいは例えば青色光を生成する最上部分（周辺光Ｌ1またはＬ2）のような領域的色合いにする。
【０１５４】
周辺光ランプは、ランプ構造内に形成、統合、または挿入可能な円柱プリズムまたはレンズのようなゴニオ測光素子に適合させることもできる。このことは、生成される光の効果が視聴者の位置の関数として変化する特殊効果を可能にする。四角形、三角形、または不規則な形状のプリズムまたは形を含む他の光学的形状及び形態を用いることができ、これらは周辺光ユニット上に配置するか、あるいは周辺光ユニットに統合することができる。その結果は、等方性の出力を生成することよりもむしろ、得られる効果、例えば、周囲の壁面、物体、及び周辺光源の周りに配置された表面上に投光される面白みのある光の帯域を無限に変化させられることであり、暗くした室内で、ビデオディスプレイユニット上のシーン要素、色、及び輝度の変化としての一種のライト（光の）ショーを行う。この効果は、光の特徴を視聴者位置の関数として非常に敏感に変化させる劇場的な周辺光効果とすることができ、例えば椅子から立ち上がった際に、あるいはホームシアターを見ている際に視聴位置を変えた際に、青色の閃光を見て、次に赤色の光を見ることである。使用可能なゴニオ測光素子の数及び種類はほぼ無限であり、プラスチック片及びガラス片、線刻及び軽く破壊する製造技術から生成される光学効果を含む。周辺光ランプは、異なる劇場的効果用に独特に作製することができ、さらに互換に作製することができる。そしてこれらの効果は、例えばゴニオ測光素子を通過できる光量を変化させることによって、あるいは（例えばサブ（副）ランプまたはＬＥＤ群を用いて）周辺光ユニットの異なる部分を照らすことによって変調可能にすることができる。
【０１５５】
ビデオ信号ＡＶＳはもちろん、ディジタル・データストリームとすることができ、そして同期ビット及び連結ビット；パリティビット；エラーコード；インターリーブ；特殊変調；バーストヘッダ、及び周辺光効果の記述（例えば「雷雨の嵐」；「日の出」；等）のような所望のメタデータを含むことができ、本明細書の記載の機能ステップは単なる例示であり、そして通常のステップまたはデータを含まないことは当業者にとって明らかである。
【０１５６】
これらの教示を用いてユーザ嗜好が知覚ルール全体を変更することを可能にし、図３及び１２に示すユーザインタフェース兼嗜好メモリ（またはソフトウェア命令を実行することによるような機能的に等価なもの）を用いて周辺光システムの挙動を変化させることができ、例えばビデオディスプレイＤのビデオ・コンテンツに対する色の忠実度を所望のように変化させること、あらゆる蛍光色または色範囲外の色が周囲空間内に放光される程度を含むきらびやかさを変化させること、あるいは、例えば好適な周辺光放光における輝度または他の品質の変化を誇張することによって、周辺光がビデオ・コンテンツ中の変化にどの位迅速に、またはどの位大きく応答するかである。このことは、映画用または特定キャラクタのコンテンツ用の和らいだ色調を作成可能な先進的なコンテンツ分析を含むことができる。コンテンツ中に多くの暗いシーンを含むビデオ・コンテンツは、周辺光源８８の挙動に影響を与えて、放光される周辺光の減光を生じさせることができ、きらびやかな、または明るい色調は、多数の肌色の色調または明るいシーン（日当たりの良い海岸、サバンナの虎、等）のような他のコンテンツに用いることができる。
【０１５７】
本明細書では、当業者に本発明の実施を可能にするように記載を行っている。本明細書の教示を用いて多くの構成が可能であり、本明細書で述べた構成及び装置は例示的なものに過ぎない。本明細書で求めた目的は必ずしもすべて実現する必要はなく、例えば、特に演色色空間ＲＧＢとＲ’Ｇ’Ｂ’との両者が類似または同一である場合には、本発明の範囲を逸脱することなしに、第２の演色色空間への特定の変換を本明細書で与える教示から除くことができる。実際には、本明細書で教示し請求項に記載した方法は、エンターテインメント（娯楽）センターまたはホームシアター・センターのようなより大きなシステムの一部として見ることができる。
【０１５８】
本明細書で例示的に教示した関数及び計算は、ソフトウェアまたはマシンコード（機械語）を用いて機能的に再生またはエミュレートできることは周知であり、当業者は、本明細書で教示した符号化及び復号化を実行する方法にかかわらず、これらの教示を用いることができる。本明細書で述べたようにビデオ情報をフレームに復号化して画素レベルの統計計算を実行することは厳密に必要なことではない、ということを考えると、このことは特に正しい。
【０１５９】
当業者はこれらの教示に基づいて、本明細書で教示し請求項に記載した装置及び方法を変更して、これにより例えば、特定用途に適するようにステップまたはデータ構造を再編成して、本明細書で例示目的で選んだものと少ししか類似性を有しないシステムを創作することができる。
【０１６０】
以上の例を用いて開示した本発明は、上述した特徴の一部のみを用いて実施することができる。また、本明細書で教示し請求項に記載したものは、他の構造または機能要素の追加を妨げるものではない。
【０１６１】
以上の教示に照らして、本発明の多くの変更及び変形が可能であることは明らかである。従って、請求項の範囲内で、本明細書に詳細に記載または示唆した以外のものを実施することができることは明らかである。
【図面の簡単な説明】
【０１６２】
【図１】本発明による、色抽出領域、及びこれに関連する６つの周辺光源からの周辺光の放光を表示するビデオディスプレイの単純な前景を示す図である。
【図２】本発明を用いて、複数の周辺光源からの周辺光が生成される室内を上から見た図であり、一部は図式的に、一部は断面を示す。
【図３】本発明による、色情報を抽出し、周辺光源の導出を可能にする色空間変換を実行するシステムを示す図である。
【図４】ビデオ抽出領域からの平均色情報を計算する式を示す。
【図５】演色ＲＧＢ三原色を非演色色空間ＸＹＺに変換するための従来技術の行列演算式を示す図である。
【図６】ビデオの演色色空間を非演色色空間ＸＹＺにマッピングするための行列演算式を示す図である。
【図７】周辺光の演色色空間を非演色色空間ＸＹＺにマッピングするための行列演算式を示す図である。
【図８】既知の逆行列計算を用いて周辺光の三刺激値Ｒ’Ｇ’Ｂ’を非演色色空間ＸＹＺから導出する解決法を示す図である。
【図９】従来技術の、白色点法を用いた三刺激原色行列Ｍの導出を示す図である。
【図１０】従来技術の、白色点法を用いた三刺激原色行列Ｍの導出を示す図である。
【図１１】従来技術の、白色点法を用いた三刺激原色行列Ｍの導出を示す図である。
【図１２】周辺光放光のためのガンマ補正ステップを追加的に具えた、図３に示すシステムと同様のシステムを示す図である。
【図１３】本発明で用いる変換プロセス全体を図式的に示す図である。
【図１４】本発明が用いる周辺光源用の変換行列の係数を取得するための処理ステップを示す図である。
【図１５】本発明を用いた、ビデオの推定値の抽出及び周辺光再生のための処理ステップを示す図である。
【図１６】本発明によるビデオフレーム抽出を図式的に示す図である。
【図１７】本発明による略式的なクロミナンス評価のための処理ステップを示す図である。
【図１８】フレームデコーダを用い、フレーム抽出レートを設定し、そして周辺光源を駆動するための出力計算を実行する、図３及び１２に示す抽出ステップを示す図である。
【図１９】本発明のための色情報抽出及び処理のための処理ステップを示す図である。
【図２０】本発明のための色情報抽出及び処理のための処理ステップを示す図である。
【図２１】本発明によるプロセス全体を図式的に示す図であり、支配色抽出及び周辺光発生色空間への変換を含む。
【図２２】画素色度を割当色に割り当てることによって、ビデオ・コンテンツからの画素色度を量子化するための１つの可能な方法を図式的に示す図である。
【図２３】画素色度をスーパー画素にまとめることによる量子化の一例を図式的に示す図である。
【図２４】図２３と同様であるが、スーパー画素の大きさ、向き、形状、または位置を画像の特徴部分に合わせて形成することのできる、スーパー画素にまとめるプロセスを図式的に示す図である。
【図２５】領域色ベクトル、及びその色または標準のカーテシアンＣＩＥカラーマップ上での色度座標を示す図であり、１つの色ベクトルは、ＰＡＬ／ＳＥＣＡＭ、ＮＴＳＣ、及びAdobeＲＧＢの色生成規格によって得られる色範囲外にある。
【図２６】図２５のＣＩＥプロットの一部を拡大した図であり、画素色度及びその領域色ベクトルへの割当てを加えて示す。
【図２７】本発明の１つの可能な方法による割当色の分布の最頻値を表わす履歴を示す図である。
【図２８】本発明の１つの可能な方法による割当色の分布の中央値を図式的に示す図である。
【図２９】本発明の１つの可能な方法による、割当色の色度による重み付け平均用の算術和を図式的に示す図である。
【図３０】本発明の１つの可能な方法による、画素重み付け関数を用いた割当色の色度による重み付け平均用の算術和を図式的に示す図である。
【図３１】割当色の分布中に重要色を確立し、この重要色に割り当てられた画素色度を抽出して、支配色として指定すべき真の支配色を導出することを示す図式的表現を与える図である。
【図３２】本発明による支配色抽出を、多数回、あるいは別個に並列的に実行して、支配色のパレットを提供することができることを図式的に示す図である。
【図３３】図１に示すビデオディスプレイの単純な前景において、図２９及び３０に示す方法にとって好適な空間領域に与える不均等な重み付けを示す図である。
【図３４】図３３に示すビデオディスプレイの単純な前景において、本発明による支配色抽出の目的で抽出した画像の特徴部分を図式的に示す図である。
【図３５】本発明の他の実施例を図式的に示す図であり、この実施例は、一組のフレームに復号化されたビデオ・コンテンツが、少なくとも部分的に前フレームからの支配色を頼りに１フレームの支配色を得ることを可能にする。
【図３６】本発明による支配色を選定する略式的手順のための処理ステップを示す図である。
【図３７】暗さのサポートによる支配色抽出を示すための、新たに出現した特徴部分を有するシーン・コンテンツを描画するビデオディスプレイの単純な前景を示す図である。
【図３８】色のサポートによる支配色抽出を示すための、シーン・コンテンツを表現するビデオディスプレイの単純な前景を示す図である。
【図３９】本発明による知覚ルールを当該カテゴリに分類することのできる３つの例示的カテゴリを図式的に示す図である。
【図４０】単純な色度変換を関数演算子として図式的に示す図である。
【図４１】本発明による画素重み付け関数を用いて計算した平均値を用いて、２つの可能な例示的知覚ルールを実行する支配色抽出のための一連の可能なステップを図式的に示す図である。
【図４２】本発明による拡張支配色抽出用の画素重み付け関数を用いて計算した平均値を用いて、２つの可能な例示的知覚ルールを実行する支配色抽出のための一連の可能なステップを図式的に示す図である。
【図４３】本発明により使用する画素重み付け関数用の可能な関数形式を示す図である。
【図４４】本発明による、ユーザ嗜好に応じた知覚ルールを用いて支配色抽出を実行して、好適な周辺放光を生成するための可能な関数群を図式的に示す図である。
【図４５】ユーザ嗜好を伝えるための可能ないくつかの構成要素、方法、及び信号源を記号的に示す図である。
【図４６】異なるユーザ嗜好に応じた種々の輝度知覚ルールについて、輝度を時間の関数として表現する複数の波形のカーテシアン・プロット図である。
【図４７】異なるユーザ嗜好に応じた種々の輝度知覚ルールについて、輝度を時間の関数として表現する複数の波形のカーテシアン・プロット図である。
【図４８】ユーザ嗜好に応じた複数の可能な知覚ルールを実行する複数の単純な色度変換を図式的に示す図である。
【図４９】図４１に示す２つの知覚ルールの実行の品質または度合いをユーザ嗜好によって変更する方法を図式的に示す図である。
【図５０】本発明による知覚ルールに影響を与える、オーディオ−ビデオ信号からのビデオ・メタデータの抽出を図式的に示す図である。
【図５１】異なるユーザ嗜好に応じた種々の時間的変化ルールについて、色度を時間の関数として表現する複数の波形のカーテシアン・プロット図である。
【図５２】図３４に示すビデオディスプレイの単純な前景を示す図であり、異なるユーザ嗜好に応じて異なる空間的抽出知覚ルールを用いて度合いを変化させて抽出した画像の特徴部分を図式的に示す図である。
【図５３】図５２に示すビデオディスプレイの単純な前景を示す図であり、異なるユーザ嗜好に応じて異なる空間的抽出知覚ルールを用いて度合いを変化させて抽出した画像の中心領域を図式的に示す図である。
【技術分野】
【０００１】
本発明は、複数の光源を用いた周辺光発生効果の生成及び設定に関するものであり、一般に、例えばビデオディスプレイまたは表示信号からのビデオ・コンテンツに基づくか、関連する。本発明は特に、ユーザの嗜好を知覚ルールと共に取り入れて、リアルタイムでサンプリングまたはサブサンプリングしたビデオ・コンテンツから支配色を抽出して、ビデオ・コンテンツの色空間から、複数の周辺光源を最良に駆動することを可能にする色空間への変換を実行する方法に関するものである。
【背景技術】
【０００２】
技術者は、例えば観察スクリーン及び投射面積を拡大することによって、音を現実的な三次元効果用に変調することによって、及び例えば高品位（ＨＤ：High Definition）ディジタル・テレビジョン及びビデオシステムに伴うより広いビデオ色範囲、解像度、及び画像アスペクト比を含むべくビデオ画像を拡張することによって、ビデオ・コンテンツを使って得られる感覚的な体験を広げることを長い間求めてきた。さらに、映画、ＴＶ、及びビデオのプロデューサ（制作者）は、視覚的及び音響的手段を用いて、例えば色、シーンカット、観察角、周辺背景、及びコンピュータ関連のグラフィック表現をより賢く利用することよって、視聴者の体験に影響を与えることも試みている。このことは劇場舞台の照明も含む。照明効果は例えば、通常はビデオまたは演技シーンと同期して台本記述され、所望の方式で符号化された適切なシーン・スクリプト（台本）でプログラムされた機械またはコンピュータを利用して生成される。
【０００３】
従来技術のディジタル領域では、計画外または台本外のシーンを含むシーンの速い転換への照明の自動適応は、このシステムを用いるのに必要な広帯域の大きなビットストリームのオーバヘッドにより、大部分において編成が容易ではなかった。
【０００４】
フィリップス社（オランダ国）及び他社は、ビデオディスプレイ（表示装置）から離れた独立光源を用いて、環境光発光または周辺光発生を変化させて、ビデオ・コンテンツを一般家庭またはビジネス（業務）用途に拡張する手段、及び所望の照明効果のある種の進んだ台本（スクリプト）記述または符号化を用いて、多くの用途に拡張する手段を開示してきた。ビデオディスプレイまたはテレビジョンに付け加えられる周辺光発生は、視聴者の疲労を減らし、現実感及び体験を改善するものとして示されてきた。
【０００５】
感覚的体験は当然、人間の視覚の態様の機能であり、色及び光の効果の感覚を生成するために、膨大かつ複雑な感覚的及び数値的装置を使用する。人間は、恐らくは１千万通りの別個の色を区別することができる。人間の目では、色の受け取りまたは明順応視（中心視）については、錐体と称される約２百万個の感覚体が３組存在し、これらは、455、535、及び565nmの光波長をピークとする（３つの）吸収分布を有し、これらの吸収分布は大きくオーバラップ（重複）する。これら３種類の錐体は、三刺激系と称されるものを形成し、歴史的理由でＢ（青色、ブルー）、Ｇ（緑色、グリーン）、及びＲ（赤色、レッド）と称され、上記ピークは必ずしも、ディスプレイにおいて用いられる原色、例えば一般に用いられるＲＧＢ蛍光体のピークのいずれかとは対応しない。桿（状）体と称される暗視（いわゆるナイトビジョン）体のための相互作用も存在する。人間の目は一般に1200万個の桿体を有し、これらは、特にホームシアターにおいて見られるような低照度条件について、ビデオ（映像）体験に影響する。
【０００６】
カラービデオは人間の視覚の原理に基づき、周知の三色及び反対色チャンネル理論は、原画像または意図する画像に対する高い忠実度を有する所望の色及び効果を見る目に対する影響の与え方に取り入れられてきた。大部分の色モデル及び色空間では、人間の視覚体験を記述するために三つの次元または座標が用いられている。
【０００７】
カラービデオは完全にメタメリズムに頼り、メタメリズムは、所望の色及び特性の実際光ではなく、少数の基準刺激を用いた色知覚を生成することを可能にする。このようにして、ビデオ再生に世界中で用いられている周知のＲＧＢ（赤色、緑色、青色）三刺激系のような限定数の基準刺激を用いて、人間の心の中では色の全範囲が再生される。例えば、ほぼすべてのビデオディスプレイが、各画素または画像要素においてほぼ等量の赤色及び緑色の光を生成することによって黄色のシーン光を表示することは周知である。これらの画素は、対面する固定角に関しては小さく、目は黄色を知覚しているようにだまされ、即ち、目は実際に放光される緑色及び赤色は知覚しない。
【０００８】
多くの色モデル、及び色を指定する方法が存在し、ビデオ再生用に色を記述及び指定するために使用されている周知のＣＩＥ（Comission Internationale de L’Eclairage：国際照明委員会）色座標系を含む。本発明を用いて任意数の色モデルを採用することができ、例えばＣＩＥ Ｌ＊Ｕ＊Ｖ＊（ＣＩＥＬＵＶ）系またはＣＩＥ Ｌ＊ａ＊ｂ＊（ＣＩＥＬＡＢ）系である。ＣＩＥは1931年に、すべての色の管理及び再生用の基礎を確立し、その結果が、３つの座標ｘ，ｙ，及びｚを用いる色度図である。最大光度におけるこの三次元系のプロットは、色をｘ及びｙで記述するために汎用的に用いられ、そして、1931ｘ，ｙ色度図と称されるこのプロットは、人間に知覚されるすべての色を記述できるものと信じられている。このことは、メタメリズムを用いて目をだます色再生とは対照的である。多くの色モデルまたは色空間は、今日、三原色または蛍光体、中でもAdobe ＲＧＢ（登録商標）、ＮＴＳＣ ＲＧＢ、等を使用することによって色を再生するために用いられている。
【０００９】
しかし重要なこととして、ビデオシステムによってこれらの三刺激系を用いて表示されるすべての可能な色の範囲は限られている。ＮＴＳＣ（National Television System Committee：米国テレビジョン標準方式委員会）ＲＧＢシステムは比較的広範囲の色が利用可能であるが、このシステムは人間によって知覚されるすべての色の半分を再生できるに過ぎない。多くの青色及び紫色、青緑色、及びオレンジ（橙）／赤色は、従来のビデオシステムの利用可能な範囲を用いては適切に演色されない。
【００１０】
さらに、人間の視覚系は補償及び識別力の品質に恵まれ、その理解はあらゆるビデオシステムの設計にとって必要である。人間にとっての色は、いくつかの出現モードで発生し得るものであり、とりわけ、物体モード及び発光体モードである。
【００１１】
物体モードでは、光刺激は、光源によって照射された物体から反射した光として知覚される。発光体モードでは、光刺激は発光源として見られる。発光体モードは、複合的な視野における他の刺激よりもずっと明るい刺激を含む。発光体モードは、ビデオディスプレイのような光源として知られている刺激は含まず、ビデオディスプレイは、その明るさ（ブライトネス）または輝度が、シーンまたは視野全体にわたる明るさと同じかそれ以下であり、このため刺激は物体モードに見える。
【００１２】
明らかに、オブジェクトモードでしか見えない色が多く、とりわけ、茶色、オリーブ色、栗色、グレー（灰）色、及びベージュの肌色調である。例えば、茶色の発光源、例えば茶色の交通信号のようなものは存在しない。
【００１３】
この理由により、物体色を追加しようとする周辺光発生のビデオシステムへの追加は、明るい光の直接光源を用いて行うことはできない。近い範囲にある明るい赤色と緑色の光源の組合せは、茶色または栗色を再生することはできず、このことは選択を大幅に限定する。虹の色のスペクトルのみを、明るい光源の直接的な観測によって、強度及び（色）飽和値を変化させて再生することができる。このことは、光源からの低強度の輝度の出力に特に色相管理に注意を払うことのような、周辺光発生システムに対する緻密な制御の必要性を強調する。この緻密な制御は現在では、現状のデータ・アーキテクチャの下では、高速な変化及び繊細な周辺光発生を可能にする方法では行われていない。
【００１４】
ビデオ再生は多くの形を採ることができる。スペクトル的な色再生は、元の刺激のスペクトルパワー分布の正確な再生を可能にするが、このことは三原色を使用するあらゆるビデオ再生において実現不可能である。正確な色再生は、人間の視覚の三刺激値を複製することができ、元のものとのメタメリズム的な一致を生成するが、同様の見かけを得るためには、画像及び元のシーンについて、すべての視聴条件が同様でなければならない。画像及び元のシーンについての条件全体は、画像の開き角、サラウンド（即時状況）の輝度及び色度、及びまぶしさを含む。正確な色再生が往々にして達成できないことの１つの理由は、カラーモニター上に生成することのできる最大輝度の限界による。
【００１５】
測色的な色再生は、三刺激値が元のシーンにおける刺激値に比例する有用な代案を提供する。色度座標は正確に再生されるが、これに応じた輝度の低下を伴う。元の基準白色と再生される基準白色とが同じ色度を有し、視聴条件が同じであり、そしてシステムが全体的に１のガンマ値を有するものと仮定すれば、測色的な色再生は、ビデオシステムにとって良好な基準である。ビデオディスプレイで生成される輝度が限定されていることにより、色度及び輝度が元のシーンと一致する等価な色再生は達成することができない。
【００１６】
実際上の大部分のビデオ再生は、元のものが再生の平均輝度レベル及び基準白色の色度と同じ平均輝度レベル及び基準白色の色度を生成するように照射された場合に、再生される色が元のものが有した色と同じに見える対応色再生を達成しようとする。しかし、多くの人が、表示システムの究極の目的は実際には好ましい色再生であると主張し、そこでは視聴者の嗜好が色の忠実度に影響する。例えば、日に焼けた肌色の方が平均的な現実の肌色より好まれる、空はより青い方が好まれ、葉は現実のものより緑色の方が好まれる。対応色再生は設計規格として受け入れられても、ＮＴＳＣビデオ規格のような多くの再生システムでは、肌色調、特別な処理の主題のような一部の色は他の色より重要である。
【００１７】
シーン光の再生では、ホワイトバランスを達成するための色順応が重要である。適切に調整されたカメラ及びディスプレイにより、白色及び自然なグレー色は一般に、ＣＩＥ規格の昼色光発光体Ｄ６５の色度で再生される。白色面を常に同じ色度で再生することによって、システムは人間の視覚系を模擬し、人間の視覚は生まれつき、発光体の色度がどうであっても白色面が常に同じに見えるように知覚を順応（適応）させ、これにより、白色の紙片を明るい日差しの海岸で見つけても、白熱照明された室内のシーンで見つけても、白色の紙片は白色に見える。色再生では、ホワイトバランス調整は通常、Ｒ、Ｇ、及びＢチャンネルに対するゲイン（利得）制御によって行われる。
【００１８】
一般的なカラー受像機の光出力は一般に線形ではなく、印加されるビデオ電圧に対するべき乗則の関係に従う。光出力は、ビデオ駆動電圧をべき乗ガンマ値に合わせて上昇させた値に比例し、ガンマ値はカラーＣＲＴ（Cathode Ray Tube：陰極線管）については2.5（乗）、他の種類の光源については1.8である。この乗率の補正は、ガンマビデオ処理増幅器における３原色ガンマ補正によって行い、このため、符号化され、伝送され、そして復号化される原色ビデオ信号は実際にはＲ、Ｇ、及びＢではなく、Ｒ1/(、ｇ1/(、及びＢ1/(である。測色的な色再生は、ビデオ再生全体−カメラ、ディスプレイ、及びあらゆるガンマ調整電子機器−のガンマ値が１であることを要求するが、対応色再生しようとする際であり、サラウンドの輝度が優先される。例えば、最適な色再生のためには、薄暗いサラウンドは約1.2のガンマ値を必要とし、暗いサラウンドは約1.5のガンマ値を必要とする。ガンマ値は、ＲＧＢ色空間にとって重要な実現上の問題である。
【００１９】
大部分の色再生符号化は、標準的なＲＧＢ色空間を使用し、例えばＮＴＳＣ規格において使用されるｓＲＧＢ、ＲＯＭＭ ＲＧＢ、Adobe ＲＧＢ 98、Apple（登録商標）ＲＧＢを使用する。一般に、画像はセンサまたはソース装置の空間内に取得され、この空間は装置及び画像に特有である。この空間は、元の測色を記述する非演色画像空間に変換することができる（定義の章参照）。
【００２０】
しかし、ビデオ画像はほとんど常に、ソース装置の空間から演色画像空間（定義の章参照）に変換され、演色画像空間は、ビデオディスプレイのようないくつかの現実的または仮想的な出力装置の色空間を記述する。大部分の既存の標準的なＲＧＢ色空間は演色画像空間である。例えば、カメラ及びスキャナによって生成されるソース及び出力空間はＣＩＥベースの色空間ではなく、カメラまたはスキャナのスペクトル感度及び他の特性によって規定されるスペクトル空間である。
【００２１】
演色画像空間は、現実または仮想的な装置の特性の測色に基づく装置特有の色空間である。画像は、演色画像空間からも非演色画像空間からも演色色空間に変換することができる。これらの変換の複雑性は変動し、複雑な画像依存のアルゴリズムを含み得る。こうした変換は不可逆であることもあり、即ち、元のシーン符号化の一部の情報は廃棄または圧縮されて、特定装置のダイナミックレンジ及び範囲に合わせられる。
【００２２】
現在、標準化される途上にある唯一の非演色ＲＧＢ色空間が存在し、これはＩＳＯ 17321に規定されているＩＳＯ ＲＧＢであり、ディジタル・スチルカメラの色の特徴付けに最も多く用いられている。今日の多くの応用では、ビデオ信号を含めたアーカイブ保存についてもデータ転送についても、画像は演色色空間に変換される。１つの演色画像空間または演色色空間から他の空間への変換は、深刻な画像アーティファクト（歪像）を生じさせ得る。２つの装置間で色範囲及び白色点が一致しないほど負の効果は強くなる。
【００２３】
従来技術の周辺光表示システムにおける１つの欠点は、ビデオ・コンテンツからの周辺光放光用の代表色の抽出が問題となり得ることである。例えば、画素の色度の色平均化は、往々にしてグレー色、茶色、あるいはビデオシーンまたは画像を知覚的に表現するものではない他の色調を生じさせる。色度の単純な平均化によって導出した色は往々にして、特に、明るい魚のような特徴的な画像、あるいは青空のような支配的な背景と対照させた際に、汚れて見え、誤って選定したように見える。
【００２４】
【特許文献１】米国特許US 6,611,297
【００２５】
従来技術の周辺光表示システムにおける他の問題は、ビデオからの演色の三刺激値を、適切な測色及び見かけを与えるための周辺光源の三刺激値に変換する同期的なリアルタイム動作を提供するための特定方法が与えられていないことである。例えば、ＬＥＤ周辺光源からの出力は往々にして灰色がかっており、限定されるかゆがんだ色範囲であり、そして一般に、色相及びクロマ（色票）を評価して再生することが困難である。例えば、Akashi他に権利付与された米国特許US 6,611,297は、周辺光における現実感を扱っているが、適正かつ快適な色度を保証する特定方法は与えておらず、そしてAkashiの’297特許はビデオをリアルタイムで分析することを可能にするものではなく、スクリプト（手順書）または等価なものを必要とする。
【００２６】
これに加えて、ガンマ補正色空間を用いたビデオ・コンテンツからの周辺光源の設定は往々にして、ぎらつく明るい色を生じさせる。従来技術における他の深刻な問題は、周辺光源をリアルタイムのビデオ・コンテンツの関数として駆動するため、及び所望の高速で変化する周辺光環境に適合させるために必要な大量の伝送情報であり、周辺光発生に対するユーザの多様な嗜好に合わせるためには、高度に知的な色選択が所望される。
【００２７】
特に、周辺光発生効果用に抽出した平均または他の色度は往々にして再生可能なものではないか（例えば茶色）、あるいは知覚的な理由で好ましいものではない。例えば、支配色（例えば茶色）が指示されている場合には、この指示上で動作する周辺光発生システムは、その光空間内で生成可能な（例えば紫色）他の色（例えばそれに最も近い色）をデフォルトで生成することができる。しかし、生成用に選定したこの色は好ましくないことがある、というのは、知覚的に適正または快適でないことがあるからである。
【００２８】
また、暗いシーン中の周辺光のトリガも往々にして、灰色がかったり、明る過ぎたりして、シーンのコンテンツと一致して見える色度を持たない。明るいシーン中の周辺光のトリガは、弱く、かつ不十分な色飽和値を有するように見える周辺光の生成を生じさせ得る。
【００２９】
さらに、シーンのいくつかの態様、例えば青空は、周辺光発生システムに伝えるべき支配色の抽出に用いることが好ましいことがあり、例えば雲に覆われた所はさほど好ましくない。従来技術では、多数性の乱れを取り去ったシーンの要素、あるいは、知覚的な嗜好によればその色度が好ましくない多数の画素を連続的に外挿補間するメカニズムも存在しない。従来技術における他の問題は、支配色抽出及び選択において、新たに見られるビデオシーンの特徴部分が往々にして表現されないか低度に表現させることである。
【００３０】
これに加えて、周辺光発生は往々にして、明るさ、色、時間的変化、及び生成される周辺光の一般的特徴についてのユーザの嗜好を考慮に入れずに設定される。例えば、一部のユーザは、色が抑えられ変化の遅い、柔らかく、遅い動きで出る周辺光効果を好み、他のユーザは、動きが速く明るい、ビデオ・コンテンツ中のあらゆる変化（例えば新たに出現する魚のような特徴部分）をグラフィック的に反映する周辺光放光を好む。このことは達成が容易ではなく、従来技術では、これらの問題を軽減する知覚ルールを課す方法は存在しない。
【発明の開示】
【発明が解決しようとする課題】
【００３１】
従って、補償効果、感度、及び人間の視覚の他の特徴を特に有利に用いて、ビデオ・コンテンツから適正に導出されたように見えるだけでなく、シーン中にある多くの潜在的な支配色を賢く利用した周辺光出力を提供する周辺光システムを使用して、ビデオのユーザに伝えられる色及び光の特性を変調または変化させることによって、光レベルの関数としての異なる色の相対的な視覚的光度の変化のような人間の目の特性を利用しつつ、一般的な三刺激ビデオ表示システムに伴う周辺光発生によって生成される可能な色の範囲を拡張することが有利である。
【００３２】
ガンマ（補正）によって導入される歪みの影響のない、上質の周辺光の雰囲気を生成することも有利である。さらに、平均的または特徴的な色の値を符号化する経済的なデータストリームを用いて、選択したビデオ領域から導出した支配色抽出値によるエミュレート（他の装置で再現）可能な周辺光発生を提供する方法を提供することを可能にすることが望ましい。さらに、こうしたデータストリームの必要なサイズをさらに低減すること、及び視認性、忠実度を改善する知覚ルールを課すことを可能にすること、及び周辺光放光用に選択する色度及び輝度の選定における知覚の特権の鍛錬を可能にすることが望ましい。さらに、これらの知覚的特権またはルールの特徴及び効果が、明示的に指示されたユーザ嗜好に影響されて、周辺光放光の性質を所望時に異ならせることを可能にすることが望ましい。
【００３３】
【非特許文献１】Color Perception, Alan R. Robertson, Physics Today, December 1992, Vol. 45, No. 12
【非特許文献２】The Physics and Chemistry of Color, 2ed, Kurt Nassau, John Wiley & Sons, Inc.
【非特許文献３】Principles of Color Technology, 3ed, Roy S. Berns, John Wiley & Sons, Inc.
【非特許文献４】Standard Handbook of Video and Television Engineering, 4ed, Jerry Whitaker and K. Blair Benson, McGraw-Hill
【００３４】
ビデオ及びテレビジョン技術、圧縮技術、データ転送及び符号化、人間の視覚、色の科学及び知覚、色空間、測色及び画像レンダリングについての情報は、ビデオ再生を含めて、次の参考文献に見出すことができ、これらの文献はその全体を本明細書に含める：参考文献[１] Color Perception, Alan R. Robertson, Physics Today, December 1992, Vol. 45, No. 12, pp. 24-29；参考文献[２] The Physics and Chemistry of Color, 2ed, Kurt Nassau, John Wiley & Sons, Inc., New York (c) 2001；参考文献[３] Principles of Color Technology, 3ed, Roy S. Berns, John Wiley & Sons, Inc., New York (c) 2000；参考文献[４] Standard Handbook of Video and Television Engineering, 4ed, Jerry Whitaker and K. Blair Benson, McGraw-Hill, New York (c) 2003。
【００３５】
本発明の種々の好適例として挙げる方法は、画素レベルの統計量または等価な関数を用いて、１つ以上の支配色を、可能な限り小さい計算負荷を提供すが、同時に、知覚ルールに従って支配色として選択される快適かつ適切な色度を提供する方法で決定または抽出することを含む。
【課題を解決するための手段】
【００３６】
本発明は、演色色空間内で符号化されたビデオ・コンテンツから支配色を抽出して、知覚ルールを用いて、周辺光源によるエミュレーション（再現）用の支配色を生成する方法に関するものである。この方法の可能なステップは次のものを含む：
[１] 演色色空間において、ビデオ・コンテンツからの画素色度からの支配色抽出を実行して、次の[ａ]〜[ｄ]のいずれかを抽出することによって支配色を生成するステップ：
[ａ] 画素色度の最頻値（モード）；
[ｂ] 画素色度の中央値（メジアン）；
[ｃ] 画素色度の色度による重み付け（加重）平均値；
[ｄ] 画素位置、画素色度、画素輝度のいずれかの関数である画素重み付け関数を用いた画素色度の重み付け平均値；
[２]さらに、次の[ａ]〜[ｃ]から選定した知覚ルールに従って、支配色の色度を導出するステップ：
[ａ] 単純な色度変換；
[ｂ] さらに、ビデオ・コンテンツ中の複数の画素について色度及び輝度のいずれかを評価することによって得られたシーン・コンテンツからの影響を示すように公式化した画素重み付け関数を用いた画素の重み付け平均値；
[ｃ] ビデオ・コンテンツ中の複数の画素について色度及び輝度のいずれかを評価することによって得られたシーン・コンテンツの関数として画素重み付け関数を公式化した、画素重み付け関数による重み付け平均値を用いた拡張的な支配色抽出、画素重み付け関数はさらに、少なくとも主要画素について重み付けを低減するように公式化されている；
及び、
[３] 支配色を、演色色空間から、周辺光源を駆動することを可能にするように形成された第２の演色色空間に変換するステップ。
【００３７】
所望すれば、画素色度（または演色色空間）を量子化することができ、このことは多数の方法によって行うことができ（定義の章参照）、その目標は、例えばより多数の色度（例えば画素色度）をより少数の割当色度または色に割り当てることによって、あるいは選択画素を拾い出す選択プロセスにより画素数を低減することによって、あるいは代表画素またはスーパー画素にまとめることによって生じる可能な色状態の低減を追求することによって、計算負荷を軽減することにある。
【００３８】
こうした演色色空間の量子化は、部分的には、画素色度を少なくとも１つのスーパー画素にまとめることによって実行され、このように生成されるスーパー画素は、画像の特徴部分に合わせて形成されるサイズ、向き、または位置にすることができる。量子化プロセスで用いる割当色は、必ずしも演色色空間内にはない、例えば上記第２の演色色空間内にある領域色ベクトルであるように選択することができる。
【００３９】
本発明の方法の他の好適例は、上記単純な色度変換が、周辺光生成に用いる上記第２の演色色空間内に見出される色度を選定するものを含む。
【００４０】
上記画素重み付け関数は、次のステップ[４]及び[５]によって暗さのサポートを提供するように公式化することができる：
[４] ビデオ・コンテンツを評価して、シーン・コンテンツ中のシーンの明るさが低いことを確立するステップ；
[５] そして、次の[ａ]及び[ｂ]のいずれかを実行するステップ：
[ａ] さらに、明るい画素の重み付けを低減するように公式化した画素重み付け関数を使用すること；
[ｂ] 何もしないで生成される輝度に比べて低減した輝度を用いて得られた支配色を放光すること。
【００４１】
あるいはまた、画素重み付け関数を、次のステップ[６]及び[７]によって色のサポートを提供するように公式化することができる：
[６] ビデオ・コンテンツを評価して、シーン・コンテンツ中のシーンの明るさが高いことを確立するステップ；
[７] そして、次の[ａ]及び[ｂ]のいずれかを実行するステップ：
[ａ] さらに、明るい画素の重み付けを低減するように公式化した画素重み付け関数を使用すること；
[ｂ] 上記ステップ[２]の[ｃ]を実行すること。
【００４２】
拡張的な支配色抽出を、ビデオ・コンテンツ中の異なるシーンの特徴部分に対して個別に反復して、複数の支配色を形成することができ、そして、上記ステップ[１]を反復して、複数の支配色の各々を画素の色度として指定することができる。そして、所望すれば、上記ステップ[１]（支配色抽出）は、新たに出現したシーンの特徴部分中の（複数の）画素色度に対して別個に反復することができる。
【００４３】
演色色空間における、ビデオ・コンテンツからの画素色度の少なくとも一部の量子化は、割当色の分布を形成するように、上記ステップ[１]中に行うことができ、少なくとも一部の画素色度は割当色の分布から得ることができる。あるいはまた、量子化は画素色度を少なくとも１つのスーパー画素にまとめることを含むことができる。
【００４４】
割当色の分布を作成する場合には、割当色の少なくとも１つは、必ずしも演色色空間内にはない領域色ベクトル、例えば周辺光源を駆動するために用いられる上記第２の演色色空間内にある領域色ベクトルとすることができる。
【００４５】
本発明の方法は、割当色の分布中に少なくとも１つの重要色を確立し、そしてこの重要色に割り当てられた画素色度を抽出して、支配色として恒久的に指定すべき真の支配色を導出するステップを具えることもできる。
【００４６】
この支配色は、現実的には、本発明の方法を適用して各色を導出した支配色のパレットで構成することができる。
【００４７】
本発明の方法は、演色色空間を量子化した後に実行することもでき、即ち、演色色空間においてビデオ・コンテンツからの画素色度の少なくとも一部を量子化して、割当色のを形成し、これにより、上記ステップ[１]の支配色抽出を、割当色の分布上で導出して行う（例えば、[ａ]割当色の分布の最頻値、等）。そして、同様の方法で、画素重み付け関数を次のステップ[４]及び[５]によって、暗さのサポートを提供するように公式化することができる：
[４] ビデオ・コンテンツを評価して、シーン・コンテンツ中のシーンの明るさが低いことを確立するステップ；
[５] 次の[ａ]及び[ｂ]のいずれかを実行するステップ：
[ａ] さらに、明るい画素から出た割当色の重みを低減するように公式化した画素重み付け関数を使用すること；
[ｂ] 何もしないで生成される輝度に比べて低減した輝度を用いて得られた支配色を放光すること。
同様に、色のサポートのために、画素重み付け関数を、次の[６]及び[７]のステップによって色のサポートを提供するように公式化することができる：
[６] ビデオ・コンテンツを評価して、シーン・コンテンツ中のシーンの明るさが高いことを確立するステップ；
[７] そして、次の[ａ]及び[ｂ]のいずれかを実行するステップ：
[ａ] さらに、明るい画素から出た割当色の重みを低減するように公式化した画素重み付け関数を使用すること；
[ｂ] 上記ステップ[２]の[ｃ]を実行すること。
他のステップは、割当色を使用すべく変更することができる。
【００４８】
本発明の方法は随意的に、[０]演色色空間において、ビデオ・コンテンツを複数のフレームに復号化し、演色色空間において、ビデオ・コンテンツからの画素色度の少なくとも一部を量子化して、割当色の分布を形成するステップを具えることができる。これに加えて、随意的に、[３ａ]支配色を、演色色空間から非演色色空間に変換し、そして[３ｂ]支配色を、非演色色空間から第２の演色色空間に変換することができる。このことは、[３ｃ]第１及び第２の三刺激原色行列を用いた、演色色空間及び第２の演色色空間の原色を非演色色空間に変換する行列変換；及び、演色色空間の原色と、第１の三刺激行列と、第２の三刺激行列の逆票列との行列乗算による色情報の第２の演色色空間への変換を導出することによって支援することができる。
【００４９】
一旦、割当色の分布から支配色を選定すると、言わば後戻りして、実際の画素色度を得て支配色を改良することができる。例えば、上述したように、割当色の分布中に少なくとも１つの重要色を確立し、この重要色に割り当てられる正確な画素色度を抽出して、支配色として指定すべき真の支配色を導出することができる。従って、割当色はビデオ・コンテンツの粗い近似であり得るが、真の支配色は、さもなければ必要となる計算を節減しつつ、周辺光分布についての正しい色度を提供することができる。
【００５０】
上記ステップ[１]の画素色度は、あらゆる形状、大きさ、または位置の抽出領域から得ることができ、そして、抽出領域に隣接する周辺光源からの支配色の周辺光を放光することができる。
【００５１】
これらのステップは多くの方法で組み合わせて、例えば共存して支配色の抽出及び選択において優先権が競合せざるを得ない複数の基準を確立することによって、同時に適用される種々の知覚ルールを表現することができる。周辺光の第２の演色色空間への変換に使用することのできる非演色の色空間は、ＣＩＥ ＸＹＺ；ＩＳＯ規格17321に規定されたＩＳＯ ＲＧＢ；Photo ＹＣＣ；ＣＩＥ ＬＡＢ；または他の非演色色空間とすることができる。支配色抽出を実行するため、及び知覚ルールを課すために踏むステップは、ビデオ信号とほぼ同期させることができ、上記第２の演色色空間内の色情報を用いたビデオディスプレイまたはその周辺からの周辺光放光を伴う。
【００５２】
本発明の教示はユーザ嗜好を考慮に入れ、生成すべき演色色空間において、ユーザ嗜好に応じた知覚ルール、周辺光源によるエミュレーション用の支配色を用いて符号化されたビデオ・コンテンツからの支配色抽出の方法の開示を含み、この方法は次のステップを具えている：
[１] 演色色空間において、ビデオ・コンテンツからの画素色度からの支配色抽出を実行し、次の[ａ]〜[ｄ]のいずれかを抽出することによって支配色を生成するステップ：
[ａ] 画素色度の最頻値（モード）；
[ｂ] 画素色度の中央値（メジアン）；
[ｃ] 画素色度の色度による重み付け平均値；
[ｄ] 画素位置、画素色度、画素輝度のいずれかの関数である画素重み付け関数を用いた画素色度の重み付け平均値；
[２]さらに、それぞれの知覚ルールに従って、支配色の輝度、色度、時間的変化、及び空間的抽出の少なくとも１つを導出して好適な周辺光の放光を生成し、そして、好適な周辺光放光の輝度及び色度を、演色色空間から、周辺光源を駆動することを可能にするように形成された第２の演色色空間に変換するステップであって、上記それぞれの知覚ルールは、複数の可能な明示的に指示されたユーザ嗜好の少なくとも１つによって、その特徴及び効果が変化し、それぞれの知覚ルールは次の[Ｉ]〜[IV]の少なくとも１つを具えているステップ：
[Ｉ] 次の[ａ]〜[ｃ]及び[４]〜[６]から選定した輝度知覚ルール：
[ａ] 輝度の増加；
[ｂ] 輝度の減少：
[ｃ] 輝度の最低値（フロア、底値）；、及び
[４] 輝度の最高値（天井）；
[５] 輝度の抑制しきい値；
[６] 輝度の変換値；
[II] 次の[ａ]〜[ｃ]から少なくとも１つ選定した輝度知覚ルール：
[ａ] 単純な色度変換；
[ｂ] さらに、ビデオ・コンテンツ中の複数の画素についての色度及び輝度のいずれかを評価することによって得られたシーン・コンテンツの影響が出るように公式化した重み付け関数を用いた重み付け平均値；
[ｃ] 画素重み付け関数を、ビデオ・コンテンツ中の複数の画素について色度及び輝度のいずれかを評価することによって得られたシーン・コンテンツの関数として公式化した、画素重み付け関数による重み付け平均値を用いた拡張的な支配色抽出であって、この重み付け関数はさらに、少なくとも主要画素について重み付けが低減されるように公式化されている；
[III] 次の[ａ]、[ｂ]から少なくとも１つ選定した時間的変化知覚ルール：
[ａ] 支配色の輝度及び色度の少なくとも一方の変化速度の減少；
[ｂ] 支配色の輝度及び色度の少なくとも一方の変化速度の増加；
[IV] 次の[ａ]〜[ｄ]から少なくとも１つ選定した空間的抽出知覚ルール：
[ａ] 画素重み付け関数において、新たに出現した特徴部分を含むシーン・コンテンツに、より大きい重みを与えること；
[ｂ] 画素重み付け関数において、新たに出現した特徴部分を含むシーン・コンテンツに、より小さい重みを与えること；
[ｃ] 画素重み付け関数において、選択した抽出領域からのシーン・コンテンツに、より大きい重みを与えること；
[ｄ] 画素重み付け関数において、選択した抽出領域からのシーン・コンテンツに、より小さい重みを与えること；
【００５３】
明示的に指示されたユーザ嗜好は、次の[１]〜[１３]のいずれかによって指示することができる：
[１] ユーザ操作のコントローラによって選択した値の反復的な上下の変化；
[２] ユーザ操作のコントローラによって選択した極値；
[３] ユーザ操作のコントローラによって選択した値の高い変化速度；
[４] 周囲空間内の光センサによって受光した光；
[５] 周囲空間内の音響センサによって受けた音；
[６] 周囲空間内の振動センサによって受けた振動；
[７] グラフィカル・ユーザインタフェースで行った選択；
[８] ユーザ操作のコントローラ上で行った選択；
[９] ユーザ操作のコントローラ上での連続的な動作呼出し；
[１０] ユーザ操作のコントローラ上での反復的な動作呼出し；
[１１] ユーザ操作の制御装置内部の圧力センサによる圧力検出；
[１２] ユーザ操作の制御装置内部の動きセンサによる動き検出；
[１３] 前記ビデオ・コンテンツに関連するメタデータ、補助データ、またはサブコードデータのいずれか。
【００５４】
暗さのサポート、色のサポート、及び上記に挙げた拡張的な抽出ステップを実行する度合いは、明示的に指示されたユーザ嗜好に応答して変化させることができる。
【００５５】
（定義）
本明細書を通して以下の定義を用いる：
−周辺光源：従属請求項では、光生成を行うのに必要なあらゆる光生成回路またはドライバを含む。
−周囲空間：ビデオディスプレイ・ユニットの外部のあらゆるすべての材料体または空気または空間を含む。
−割当色の分布：ビデオ画像またはビデオ・コンテンツ中に見出される画素色度の全範囲を（例えば演算目的で）表現するために選定した一組の色を表わす。
−明るい：画素の輝度を称する際には、[１]他の画素より明るい相対特性、または[２]高い輝度レベルのような絶対特性、のいずれかまたは両方を表わす。このことは、他が暗い赤色のシーン中の明るい赤色、または白色及びグレー（灰色）のような元々明るい色度を含み得る。
−色度変換：本明細書に記載のように、知覚ルールを適用した結果としての１つの色度の他の色度への置換を称する。
−色度／クロミナンス（参照色との色度差）：周辺光源を駆動する関係では、例えばＣＩＥ色度のように、生成される光の色特性を指定する機械的、数値的、または物理的方法を表わし、ＮＴＳＣまたはＰＡＬテレビジョン放送で用いる特定の方法論は暗示しない。
−有色：画素のクロミナンスを称する際には、[１]他の画素よりも高い色飽和値を示す相対特性、または[２]色飽和レベルのような絶対特性、のいずれかあるいは両方を表わす。
−色情報：クロミナンス及び輝度のいずれかまたは両方、あるいはこれと関数的に等価な量を含む。
−コンピュータ：ＣＰＵ（Central Processing Unit：中央演算処理装置）のような既知のアーキテクチャを用いるすべてのプロセッサだけでなく、同じ機能を実行するディジタル光学装置またはアナログ電気回路のような、符号化、復号化、読取り、処理、コード（符号）の設定または変更を実行することを可能にするあらゆるインテリジェント（知能）装置も含む。
−暗い：画素の輝度を称する際には、[１]他の画素よりも暗い相対特性、または[２]低い輝度レベルのような絶対特性のいずれかあるいは両方を表わす。
−支配色：背景の放映目的でビデオ・コンテンツを表現するために選定したあらゆる色度を表わし、本明細書に開示する例示的な方法を用いて選定したあらゆる色を含む。
−明示的に指示されたユーザ嗜好：好適な周辺光放光に好影響または悪影響を与える知覚ルールの特徴及び効果に影響を与えるべく用いるユーザ嗜好を伝えるあらゆるすべての入力を含み：[１]メタデータ、補助データ、またはビデオ・コンテンツまたはオーディオ−ビデオ信号に関連するサブコードデータ；[２]グラフィカル・ユーザインタフェースを通して得られたデータであって、ビデオ・コンテンツに関連するか、独立したディスプレイに表示される；[３]コントロール（制御）パネル、リモートコントロール・パッド（遠隔操作盤）、あるいは他の周辺装置から得られたデータであって、既存の制御機能からのあらゆるもの、例えばビデオディスプレイ上のボリュームコントロール（音量制御）；[４]ビデオディスプレイの周りの周囲空間（Ａ０）内のあらゆるトランスデューサ、例えば発生起動装置、音響測定装置、または他の装置から得られたデータ、を含む。ユーザ嗜好は、知覚ルールの特徴及び効果への影響の仕方を特別に明記しなければならないことはないが、単に、こうした影響及び効果のために明示的に示されるユーザ嗜好の複数の選択肢からの選定を課さなければならない。
−拡張的な（支配色）抽出：前処理が、例えば重要色自体をさらなる支配色抽出に用いる際のように、ビデオシーンまたはビデオ・コンテンツ中の多数画素または他の画素の影響を除去または低減した後に行う、支配色抽出のためのあらゆるプロセスを称する。
−抽出領域：ビデオ画像またはフレーム全体のあらゆる部分集合を含み、より一般的には、支配色抽出の目的でサンプル取得したビデオ領域またはフレームのあらゆるもの、またはすべてのものを含む。
−フレーム：ビデオ・コンテンツ中の画像情報の時系列表現を含み、産業で用いる「フレーム」とも一致するが、任意瞬時に、あるいは規則的間隔でビデオ・コンテンツを伝えるために用いるあらゆる部分的（例えばインタレースされた）または完全な画像データも含む。
−ゴニオクロマティック：例えばイリデッセンスによって生成されるような、異なる色または色度を視角または観察角の関数として与える品質を称する。
−ゴニオ測光：真珠の輝き、閃光、リトロリフレクション（再帰反射）現象に見られるように、異なる光強度、透過、及び／または色を視角または観察角の関数として与える品質を称する。
−補間する：２組の値の間の直線または算術的補間、並びに既知の２組の値間に値を設定するための関数規定を含む。
−光の特徴：広い意味では、周辺光源によって生成されるような光の性質のあらゆる指定を意味し、光の透過または反射の度合いのような輝度及びクロミナンス以外のすべて記述を含み；あるいは、ゴニオ測光的品質のあらゆる指定を意味し、周辺光源を観測する際の、色、閃光、または他の既知の現象が視角の関数として生成される度合いを含み；あるいは、光出力方向を意味し、ポインティング・ベクトルまたは他の伝搬ベクトルを指定することによって与えられる方向性を含み；あるいは、固定角または固定角分布関数のような光の角度分布の指定を含む。要素画素またはランプ位置のような周辺光源についての位置を指定するための座標を含むこともできる。
−輝度（ルミナンス）：明るさ、光強度、または等価な尺度のあらゆるパラメータまたは尺度を表わし、光の発生または測定の特定方法、あるいは心理−生物学的な解釈を暗に意味しない。
−多数画素：類似の色情報を伝える画素を称し、色情報は例えば、ビデオシーン中の色飽和、輝度、または色度である。その例は、より少数または異なる数の画素が明るく光る中で暗く見えるように設定された画素（シーン中の暗部）を含み、例えば森のシーン中の葉の緑色であり、赤ギツネを際立たせて表わす。類似していると判断されるものを確立するために用いる基準は変動し得るものであり、数値的に多数であるという基準はしばしば適用されるが、数値的に多数である必要はない。
−画素：実際または仮想的なビデオ画像要素、あるいは画素情報を導出することを可能にする等価な情報を称する。ベクトルベースのビデオ表示システムについては、画素は、ビデオ出力中の分析または特徴付け可能なあらゆる副部分とすることができる。
−画素色度：例えば色空間を量子化すべくプロセスを作用させる際のような、画素色度についての実際値、並びにあらゆる量子化または整理プロセスの結果として割り当てられた他の色値を含む。従って、本願の請求項では、画素色度は割当色の分布からの値を含み得る。
−色空間を量子化：明細書中、及び請求項の文脈中では、例えばより多数の色度（例えば画素色度）からより少数の割当色または割当色度への割当てによって生じる；または選択画素を拾い出す選択プロセスによる画素数の低減によって生じる；あるいは（画素をまとめて）代表画素またはスーパー（超）画素にまとめることによって生じる、可能な色状態の低減を称する。
−演色色空間：センサから捕捉した画像または色空間、あるいは画像専用の表示装置に特有の色空間を表わす。大部分のＲＧＢ色空間は演色画像空間であり、ビデオディスプレイＤを駆動するために使用するビデオ空間を含む。本願の請求項では、ビデオディスプレイに特有の色空間及び周辺光源８８は共に演色の色空間である。
−シーンの明るさ（ブライトネス）：あらゆる所望の基準による、シーン・コンテンツ中の明るさのあらゆる尺度を称する。
−シーン・コンテンツ：所望支配色の選定に影響を与えるべく使用することのできる視認可能な画像を形成することのできるビデオ情報の特性を称する。その例は、白雲、またはビデオ画像の大半を通した暗部を含み、これらは、主要画素と判断される画像を作る特定画素を生じさせ得る部分、または画素重み付け関数（図３０のＷ）における画素の異方性の処理を生じさせ得る部分、あるいは検出され、特別な、あるいは拡張的な支配色抽出を施される画像の特徴部分（図３４のＪ８）を生じさせ得る部分である。
−単純な色度変換：シーン・コンテンツの関数として選定または導出するのではなく、知覚ルールに従った支配色または色度の変更または導出を称し、この変更または導出は、さもなければ選定され得たものとは異なる色度を生じさせる。例：支配色抽出（例えば紫色）によって選定した第１支配色（ｘ，ｙ）を、知覚ルールを満足するように第２支配色（ｘ’，ｙ’）に変換すること。
−色情報の非演色色空間への変換：本願の請求項では、非演色色空間への直接的変換も、非演色色空間に変換することによって得られた三刺激原色行列の逆行列（例えば図８に示す(Ｍ2)-1）を用いて導出したものの使用または利用も、あるいは計算的に等価なあらゆるものも含む。
−非演色色空間：標準的な、あるいは装置に特有でない色空間を表わし、例えば、標準的なＣＩＥ ＸＹＺ；ISO 17321規格に規定されているようなＩＳＯ ＲＧＢ；Photo ＹＣＣ；及びＣＩＥ ＬＡＢ色空間を用いて原画像の測色を記述する色空間である。
−ユーザ嗜好：ユーザの望みの指示に限定されず、複数の選択肢の間で行うあらゆる選択を含み、この選択はユーザによって行われなくてもよく、例えばビデオ・コンテンツについてのサブコードまたはメタデータを、特定の意図した文字、及び好適な周辺（光）の放光に好影響または空く影響する知覚ルールの効果を用いて送達する際である。
−ビデオ：あらゆる視覚的または光生成装置を表わし、光生成用のエネルギーを必要とする能動装置か、オフィス・ビルディングの窓のような画像情報を伝える透過媒体か、あるいは画像情報を遠隔的に送達する光ガイドである。
−ビデオ信号：ビデオ表示ユニットを制御するために送達される信号または情報を表わし、そのあらゆるオーディオ部分を含む。従って、ビデオ・コンテンツの分析は、オーディオ部分についてあり得るオーディオ・コンテンツの分析を含むものと考える。一般に、ビデオ信号はあらゆる種類の信号を含むことができ、例えば、任意数の既知の変調技術を用いた無線周波数信号；アナログ信号及びアナログ波形の量子化を含む電気信号；パルス幅変調、パルス数変調、パルス位置変調、ＰＣＭ（Pulse Code Modulation：パルス符号変調）、及びパルス振幅変調を用いた信号のようなディジタル（電気）信号；または音響信号、オーディオ信号、及び光信号のような他の信号を含み、これらのすべてがディジタル技術を利用可能である。単に、他の情報間に、または他の情報と共に順序的に配列されたデータ、例えばコンピュータベースの応用におけるパケット化されたデータも同様に用いることができる。
−重み付け：知覚状態、またはより高度な数学的重みを特定の色度、輝度、または空間位置に、できればシーン。コンテンツの関数として与えるための、本明細書に挙げるあらゆる等価な方法を称する。しかし、単純平均を提供する目的で１を重みとして用いることを妨げるものではない。本明細書に記載の画素重み付け関数は、本明細書に挙げる関数の外見（例えば、複数画素にわたるＷの総和）を有しなければならないものではなく、すべてのアルゴリズム、演算子、または同じ効果で作用する他の計算法を含む。
【発明を実施するための最良の形態】
【００５６】
（実施例の詳細な説明）
本発明によりビデオ・コンテンツから導出した周辺光は、所望すれば、必要な計算負荷を低くして、周辺光についての自由度の高度な特異性を維持しつつ、元のビデオシーン光の色度に対する高い忠実度を可能にすべく形成される。このことは、小さい色範囲及び低い輝度を有する周辺光源が、比較的大きい色範囲及び輝度応答曲線を有するより高度な光源からのビデオシーン光をエミュレートすることを可能にする。周辺光発生用の可能な光源は、任意数の既知の発光装置を含むことができ、これらは次のものを含む：ＬＥＤ（Light Emitting Diode：発光ダイオード）及びこれに関連する半導体放射器；非半導体型を含むエレクトロルミネセント（電界発光）デバイス；ハロゲンまたは先進的な化学物質を用いた変形型を含む白熱ランプ；蛍光ランプ及びネオンランプを含むイオン放電ランプ；レーザ；例えばＬＣＤ（Liquid Crystal Display：液晶）または他の光変調器を用いることによって変調された光源；光ルミネッセンス発光器、あるいは機能的にディスプレイを模擬するアレイを含む任意数の既知の可制御光源。
【００５７】
本明細書の記載は、部分的には、まずビデオ・コンテンツからの色情報抽出に関し、その後は、知覚ルールに従って、ビデオ画像またはシーンを表現することのできる周辺光放光用の支配色または真の色を導出することに関するものである。
【００５８】
ここで図１を参照し、図１に、本発明によるビデオディスプレイＤの単純な前景を例示目的のみで示す。ディスプレイＤは、ＮＴＳＣ、ＰＡＬまたはＳＥＣＡＭ放送規格のような演色色空間、あるいはAdobe ＲＧＢのような非演色色空間からのビデオ・コンテンツを復号化する多数の既知の装置のいずれでも構成することができる。ディスプレイＤは、随意的な色情報抽出領域Ｒ1、Ｒ2、Ｒ3、Ｒ4、Ｒ5、及びＲ6を具えることができ、その境界は図に示すものとは別にすることができる。色情報抽出領域は任意に事前規定され、そして、特徴的な周辺光Ａ８を生成する目的で特徴付けられるべきものであり、
特徴的な周辺光Ａ８は、例えばディスプレイＤが装架される壁面（図示せず）への部分的な散光によって図に示す周辺光Ｌ1、Ｌ2、Ｌ3、Ｌ4、Ｌ5及びＬ6を生成し放光する背面装架の制御可能な周辺光発生ユニット（図示せず）によって生成される。あるいはまた、図に示すディスプレイＤf自体も、同様の方法で光を表示する周辺光発生ユニットを具えることもでき、視聴者に向かって外側を含む。所望すれば、各色情報抽出領域Ｒ1〜Ｒ6は隣接する周辺光に影響を与えることができる。例えば、図に示すように、色情報抽出領域Ｒ4は周辺光Ｌ4に影響を与えることができる。
【００５９】
ここで図２を参照して説明し、図２に、室内または周囲空間Ａ0を、一部は図式的に、一部は断面を示し、ここでは本発明を用いて、複数の周辺ライト（光源）からの周辺光が生成される。周囲空間Ａ0内では、図に示すように腰掛及びテーブルが配置され、これらはビデオディスプレイＤを見ることができるように配列されている。周囲空間Ａ0内には、複数の周辺光ユニットも配列され、これらは本発明を用いて随意に制御され、これらは図に示す光スピーカ１〜４、図に示すソファまたはシートの下の補助ライトＳＬ、並びにディスプレイＤの周囲に配列された一組の特別なエミュレート可能な周辺光ユニット、即ち、図１に示すような周辺光Ｌxを生成するセンターライトを含む。これらの周辺光ユニットの各々が周辺光Ａ8を放出することができ、図では周辺光を陰影（網掛け）として示す。
【００６０】
本発明と協働して、ビデオディスプレイＤによって実際に放映されたものではないが、ビデオディスプレイＤから導出した色または色度を有する周辺光を、これらの周辺光ユニットから随意的に生成することができる。このことは、人間の目及び視覚系の特性を利用することを可能にする。なお、種々の波長に対する検出感度を与える人間の視覚系の視感度関数は、光レベルの関数として変化する。
【００６１】
例えば、桿体に頼る暗視は、青色及び緑色により敏感になりがちである。錐体を用いる明順応視は、赤色及び黄色のようなより長い波長を検出するのに適している。暗くしたホームシアター環境では、光レベルの関数としての、異なる色の相対光度のこうした変化は、周囲空間内のビデオのユーザに送り届けられる色を変調または変化させることによって幾分対処することができる。このことは、光変調器（図示せず）を用いるか、あるいは光スピーカ１〜４への追加構成要素、即ち周辺光放出前に光をさらに変化させる発光エミッタ（放出体）の使用により光スピーカ１〜４のような周辺光ユニットから光を減じることによって行うことができる。この発光エミッタは、光源からの入射光からの吸収または励起を行い、そしてこの光をより高い所望波長で再放出することによって色変換を実行する。蛍光色素のような発光エミッタによるこうした励起及び再放出は、元のビデオ画像または光源には元々存在せず、また恐らくはディスプレイＤの動作に固有の色または色範囲にはない新たな色の演色を可能にする。このことは、非常に暗いシーン中のように周辺光Ｌxの輝度が低い際、及び知覚の所望レベルが光の変更なしで通常達成されるレベルより高い際に役に立つ。
【００６２】
新たな色の生成は、新規かつ興味ある視覚効果を提供することができる。説明的な例は、ハンターのオレンジと称されるもののようなオレンジ色の光の生成とすることができ、このために利用可能な蛍光色素は周知である（参考文献２参照）。ここに挙げる例は、蛍光及びこれに関連する一般的現象とは異なる蛍光色を含む。蛍光オレンジまたは他の蛍光染料の類は、低いレベルの光条件にとって有用であり得る。赤色及びオレンジ色の増強は、暗視の長波長に対する感度の低下に対処することができる。
【００６３】
周辺光ユニットに使用可能な蛍光染料は、ペリレン、ナフタルイミド、クマリン、チオキサンテン、アントラキノン、チオインジゴイドのような染料クラス、及び米国オハイオ州クリーブランドにあるDay -Glo Color Corporation製のもののような染料クラス中の既知の染料を含むことができる。利用可能な色は、アパッチイエロー、チグリスイエロー、サバンナイエロー、ポコノ（Pocono）イエロー、モホーク（Mohawk）イエロー、ポトマックイエロー、マリーゴールドオレンジ、オタワレッド、ボルガレッド、サーモンピンク、及びコロンビアブルーを含む。これらの染料クラスは、既知のプロセスを用いてＰＳ、ＰＥＴ、及びＡＢＳのような樹脂に含めることができる。
【００６４】
蛍光染料及び材料は、増加した視覚効果を有する、というのは、これらは同じ色度の非蛍光材料より大幅に明るいように加工処理することができるからである。蛍光色を発生するために使用される従来の有機色素のいわゆる耐久性の問題はここ２０年の間に大幅に解決されている、というのは、技術の進歩が、太陽光の露光の下でその鮮やかな彩色を７〜１０年にわたって維持する耐久性のある蛍光色素の発展を生じさせたからである。従ってこれらの色素は、ＵＶ（紫外）光線の入射が最小であるホームシアター環境ではほとんど破壊されない。
【００６５】
あるいはまた、蛍光性の光色素を用いることができ、これらは単に短波長光を吸収することによって働き、この光を赤色またはオレンジ色のようなより長い波長の光として再放出する。現在、青色及び紫色、例えば400〜440nm光のような可視光を用いて励起を受ける技術的に進んだ無機色素は容易に入手可能である。
【００６６】
ゴニオフォトメトリック（ゴニオ測光）及びゴニオクロマティック（ゴニオ色）効果も同様に、異なる光の色、強度、及び特性を観察角の関数として生成すべく展開することができる。この効果を実現するために、周辺光ユニット１〜４及びＳＬ及びＬxは既知のゴニオフォトメトリック素子（図示せず）を単独で、あるいは金属及び真珠色の透過性の着色料；周知の回折性または薄膜干渉効果を用いた、例えば魚の鱗のエッセンスを用いたイリデッセンス（真珠色、玉虫色）材料；あるいは保存料を有するアミノヒポキサンチンと組み合わせて用いることができる。精密に研磨した雲母または他の物質を用いた拡散体を用いることができ、他の物質は例えば酸化物層、班銅鉱またはクジャク銅鉱から作製した真珠色の材料；金属片、ガラス片、またはプラスチック片；微粒子物質；油脂；研磨ガラスまたは研磨プラスチックである。
【００６７】
ここで図３を参照して説明し、図３に、本発明による、（支配色または真の色のような）色情報を抽出し色空間変換を実行して周辺光源を駆動するシステムを示す。最初のステップとして、既知の技術を用いてビデオ信号ＡＶＳから色情報を抽出する。
【００６８】
ビデオ信号ＡＶＳは、ＭＰＥＧ符号化、オーディオＰＣＭ符号化、等に使用されるもののような既知のデータフレームまたはパケットを具えることができる。可変長データパケットを有するプログラムストリーム、またはデータパケットに均等に分割した搬送ストリームのようなデータパケット用の既知の符号化方式、あるいはこうした単一のプログラム搬送ストリーム用の他の方式を用いることができる。あるいはまた、本明細書の開示における機能ステップまたはブロックは、非同期プロトコルを含むコンピュータコード及び他の通信規格を用いてエミュレートすることができる。
【００６９】
一般的な例として、図に示すビデオ信号ＡＶＳは、図に示すようなビデオ・コンテンツ分析を受けることができ、このことはできれば、選択したコンテンツを図に示すハードディスクＨＤに記録及びＨＤから転送するための既知の方法を用いて、そしてできれば、図に示すメモリＭに記憶されたコンテンツ型のライブラリまた他の情報を用いて行う。このことは、選択したビデオ・コンテンツの、独立した、並列的な、直接的な、遅延された、連続的な、周期的な、あるいは非周期的な転送を可能にする。このビデオ・コンテンツから、図に示す特徴抽出ＦＥを実行することができ、これは例えば、全体的な、あるいは画像の特徴部分からの色情報（例えば支配色）を導出することである。この色情報はさらに、演色色空間内で符号化され、そして、図に示すＲＵＲマッピング変換回路１０を用いて、ＣＩＥ ＸＹＺのような非演色色空間に変換される。ここでＲＵＲとは、所望の変換の種類、即ち演色（Rendered）−非演色（Unrendered）−演色（Rendered）の略であり、従ってＲＵＲマッピング変換回路１０はさらに、色情報を、図に示す前記周辺光源８８を駆動することができるように形成した第２の演色色空間に変換する。ＲＵＲ変換が好適であるが、周辺光生成回路または等価なものが、その利用可能な第２の演色色空間内の情報を受け取る限り、他のマッピングを用いることができる。
【００７０】
ＲＵＲマッピング変換回路１０は、ソフトウェアを用いて同じ機能を実行するコンピュータシステムに含めることができるが、データ伝送プロトコルによって送られるパケットかされた情報の復号化の場合には、ビデオの演色色空間の係数等に関係するかこれらを提供する情報を含むかあるいは含むべく更新されるメモリが、回路１０内に存在し得る。この新たに作成した第２の演色色空間は、（図１及び２に示すような）周辺光源８８を駆動するのに適しかつ望ましく、そして既知の符号化を用いて図に示す周辺光生成回路１８に供給される。周辺光生成回路１８は、第２の演色色空間の情報をＲＵＲマッピング変換回路１０から取得し、そして何らかのユーザインタフェース及び結果的な嗜好メモリ（まとめてＵ２として示す）からの入力を解釈して、できれば図に示す（第２の演色の）色空間ルックアップテーブル（早見表）ＬＵＴを参照した後に、（供給電圧のような）実際の周辺光出力制御パラメータに展開する。周辺光生成回路１８によって生成される周辺光出力制御パラメータは図に示すようにランプインタフェース・ドライバ（駆動回路）Ｄ８８に供給されて、図に示すように周辺光源８８を直接制御するか周辺光源８８に直接給電し、周辺光源８８は、図１及び２に示す前に挙げた周辺光スピーカ１〜４または周辺光用のセンターライトＬxのような個別の周辺光ユニット１〜Ｎで構成することができる。
【００７１】
リアルタイムの計算負荷を低減するために、ビデオ信号ＡＶＳから除去する色情報は省略または限定することができる。ここで図４を参照して説明し、図４に、ビデオ抽出領域からの平均色情報を計算する式を説明用に示す。以下に説明するように（図１８参照）、ビデオ信号ＡＶＳ中のビデオ・コンテンツは時系列をなす一連のビデオフレームから成るが、このことは必要なことではないことは明らかである。ビデオフレームまたは等価な時間ブロック毎に、各抽出領域（例えばＲ4）からの平均色情報または他の色情報を抽出することができる。各抽出領域は特定サイズ、例えば100×376画素を有するように設定することができる。例えば25フレーム／秒のフレームレートを仮定すれば、平均値を抽出する前の抽出領域Ｒ1〜Ｒ6についての結果的な総データは（８ビットの色を指定するために１バイトのみを必要とするものと仮定すれば）、ビデオのＲＧＢ三刺激の原色毎に6×100×376×25または5.64メガバイト／秒となる。このデータストリームは非常に大きく、ＲＵＲマッピング変換回路１０で処理することは困難であり、従って抽出領域Ｒ1〜Ｒ6毎の平均色の抽出は特徴抽出ＦＥ中に実行することができる。より詳細には、図に示すように、ｍ×ｎ画素の各抽出領域内の画素毎のＲＧＢの色チャンネル値（例えばＲij）を総計し、画素ｍ×ｎで除算して、ＲＧＢ原色毎の平均値、例えば赤色については図に示すＲavgに達することができる。従って、ＲＧＢ色チャンネル毎にこうした総計を反復して、抽出領域毎の平均値は三つ組ＲAVG＝｜Ｒavg，Ｇavg，Ｂavg｜になる。すべての抽出領域Ｒ1〜Ｒ6についてＲＧＢ色チャンネル毎に同じ手順を反復する。抽出領域の数及び大きさは図に示すものから外れて所望のものにすることができる。
【００７２】
ＲＵＲマッピング変換回路１０によって色マッピング変換を実行する次のステップは、図５に示すような既知の三刺激原色行列を用いて例示的に示して表現することができ、ここではベクトルＲ、Ｇ、及びＢを有する演色三刺激色空間を、Ｘr,max、Ｙr,max、Ｚr,maxのような要素を有する三刺激原色行列Ｍを用いて変換し、ここにＸr,maxは最大出力におけるＲ原色の三刺激値である。
【００７３】
演色色空間から非演色の装置に依存しない色空間への変換は、画像及び／または装置特有の既知の線形化とすることができ、（必要であれば）画素再構成、及び白色点選択のステップを実行し、これに続いて行列変換を実行することができる。この場合には、演色ビデオ出力空間を、非演色色空間測色への変換の出発点として採用することを選ぶ。非演色画像は、追加的な変換を通して可視または印刷可能にする必要があり、従ってＲＵＲ変換は第２の演色色空間への変換を含む。
【００７４】
最初に可能なステップとして、図６及び７に、原色Ｒ、Ｇ、及びＢによって表現されるビデオの演色色空間、及び原色Ｒ’、Ｇ’、及びＢ’によって表現される周辺光発生の演色色空間のそれぞれを、図に示すように非演色のＸＹＺ色空間にマッピングするための行列演算式を示し、ここに三刺激原色行列Ｍ2は周辺光源Ｒ’Ｇ’Ｂ’を非演色のＸＹＺ色空間に変換する。図８に示すように、演色色空間ＲＧＢ及びＲ’Ｇ’Ｂ’の両者を等式化することは、（ビデオの）演色色空間及び（周辺光の）第２の演色色空間の原色ＲＧＢ及びＲ’Ｇ’Ｂ’の、第１及び第２三刺激原色行列（Ｍ1，Ｍ2）を用いた前記非演色色空間への変換；及びビデオの演色色空間のＲＧＢ原色に第１三刺激行列Ｍ1及び第２三刺激行列の逆行列(Ｍ2)-1を乗算する行列乗算による色情報の第２の演色色空間（Ｒ’Ｇ’Ｂ’）への変換の導出を可能にする。既知の表示装置についての三刺激原色行列は容易に入手可能であり、周辺光源についての三刺激原色行列は、通常の当業者に知られている白色点法を用いて決定することができる。
【００７５】
ここで図９から１１を参照して説明し、図９〜１１に、従来技術の一般化された、白色点法を用いた三刺激原色行列を示す。図９では、ＳrＸrのような量は、（周辺光源の）各原色の最大出力における三刺激値を表わし、Ｓrは白色点の振幅を表わし、Ｘrは（周辺）光源によって生成される原色光の色度を表わす。図１０に、白色点法を用いて、既知の光源色度行列の逆行列を用いてＳrを白色点基準値のベクトルと等式化する行列演算式を示す。図１１は、Ｘwのような白色点基準値が、白色点の振幅または輝度と光源色度との積であることを思い起こすための算術的乗算である。全体を通して、三刺激値Ｘは色度ｘに等しく設定され；三刺激値Ｙは色度ｙに等しく設定され；そして三刺激値Ｚは１−(Ｘ＋Ｙ)に等しく設定されるべく規定される。第２の、周辺光源の演色色空間についての原色及び基準白色の成分は、色分光計のような既知の技術を用いて取得することができる。
【００７６】
第1の、ビデオの演色色空間についても、同様の量を見出すことができる。例えば、現代のスタジオモニターは北米と、欧州と日本とで規格がやや異なることが知られている。しかし、例として、高品位テレビジョン（ＨＤＴＶ）用の原色についての国際的な合意が得られており、これらの原色はスタジオ、コンピュータ演算、及びコンピュータグラフィックスにおける現代のモニタの原色に近いものを表わしている。この規格は公式に表明されたＩＴＵ−Ｒの勧告BT.709であり、必要なパラメータを含み、ＲＧＢ用の関連する三刺激行列（Ｍ）は次の通りである：
（ＩＴＵ−Ｒ BT.709用の行列Ｍ）
0.640 0.300 0.150
0.330 0.600 0.060
0.030 0.100 0.790
そして白色点値も知られている。
【００７７】
ここで図１２を参照して説明し、図１２に、図３に示すのと同様のシステムを示し、このシステムは追加的に、図に示すように、特徴抽出ステップＦＥの後に、周辺光放光用のガンマ補正ステップ５５を具えている。あるいはまた、ガンマ補正ステップは、ＲＵＲマッピング変換回路１０によって実行されるステップと周辺光生成回路１８によって実行されるステップとの間で実行することができる。ＬＥＤ周辺光源用の最適なガンマ値は1.8であることが判明しており、従って一般的なビデオ色空間のガンマ値2.5に対処するための負のガンマ補正を、既知の数学を用いて見出される正確なガンマ値で実行することができる。
【００７８】
一般に、ＲＵＲマッピング変換回路１０は、既知の適切なソフトウェア・プラットフォームによって実行される機能ブロックとすることができ、図１３に示すＲＵＲ変換全体を実行し、図に示す略図は、ビデオＲＧＢのような演色色空間を具えたビデオ信号ＡＶＳを取得して、この信号をＣＩＥ ＸＹＺのような非演色色空間に変換し；そして第２の演色色空間に変換する（周辺光源ＲＧＢ）。このＲＵＲ変換後に、図に示すように、周辺光源８８を信号処理とは別に駆動することができる。
【００７９】
図１４に、本発明が使用する周辺光源用の変換行列の係数を取得するステップを示し、これらのステップは図に示すように、従来技術において知られている、周辺光ユニットを駆動するステップ；及び出力の直線性をチェックするステップを含む。周辺光源の原色が安定であれば（左側の分岐に示す「安定な原色」）、色分光計を用いて変換行列の係数を取得することができ；周辺光源の原色が安定でなければ（右側の分岐に示す「不安定な原色」）、前に与えたガンマ補正をリセットすることができる（図に示す「ガンマ曲線をリセット」）。
【００８０】
一般に、必要なことではないが、Ｒ4のような抽出領域内のすべての画素から色情報を抽出することが望ましく、その代わりに、所望すれば、選択画素の選び出しは、平均色のより高速な推定、あるいは抽出領域の色の特徴付けのより高速な生成が行われることを可能にする。図１５に、本発明を用いたビデオの推定値抽出及び周辺光再生用の処理ステップを示し、これらのステップは次のものを含む：
[１] （演色色空間、例えばビデオＲＧＢからの）ビデオ再生の測色推定値を用意するステップ；
[２] 非演色色空間に変換するステップ；及び、
[３] 周辺光再生用の測色推定値に変換するステップ（第２の演色色空間、例えばＬＥＤのＲＧＢ）。
【００８１】
本発明によれば、ビデオフレームからのビデオ・コンテンツ（例えば支配色）の抽出及び処理をサポートするために必要な要求データビットストリームは（図１８参照）、ビデオフレームの賢明なサブサンプリングによって低減することができることが見出されている。ここで図１６を参照して説明し、図１６に、本発明によるビデオフレーム抽出の略図を示す。図には、ＮＴＳＣ、ＰＡＬ、またはＳＥＣＯＭ規格によって指定されたインタレース（飛越し走査）またはノンインタレース（順次走査）のビデオフレームのような、一連の個別の連続したビデオフレームＦ、即ちフレームＦ1、Ｆ2、Ｆ3等を示す。フレームＦ1及びＦNのような選択した連続フレームからのコンテンツ分析及び／または特徴抽出、例えば支配色情報の抽出を行うことによって、許容し得る周辺光源の応答性、現実性、及び忠実性を維持しつつ、データ負荷またはオーバヘッドを低減することができる。Ｎ＝１０が良い結果を与えること、即ち、連続した１０フレームから1フレームをサブサンプリングすればうまく行くことが判明している。このことは、フレーム抽出間に低いオーバヘッドのリフレッシュ期間Ｐを提供し、この期間中に、フレーム間補間プロセスが、ディスプレイＤにおけるクロミナンス変化の時間的変化の適切な近似を提供することができる。選択したフレームＦ1及びＦNは図に示すように抽出され（抽出）、Ｇ2、Ｇ3、Ｇ4として示すクロミナンス・パラメータについての補間値は、前に挙げた周辺光源８８用の駆動プロセスに伝える必要のある情報を提供する。このことは、フレーム2〜N-1を通して同じ色情報を単に凍結または維持する必要性をなくす。これらの補間値は直線的に定めることができ、例えば抽出したフレームＦ1とＦNとの間の合計クロミナンス差を（複数の）補間フレームＧにわたって分散させる。あるいはまた、関数は、抽出したフレームＦ1とＦNとの間のクロミナンス差を任意の方法で分散させることができ、例えば抽出した色情報の時間的変化のより高次の近似に適合させることである。（例えばＤＶＤプレーヤでは）、補間の結果を、予めフレームＦにアクセスするよって用いて、補間フレームに影響を与えることができあるいはまた、（例えば放送の符号化用途では）補間を用いて、予めフレームＦにアクセスすることなしに、将来の補間フレームに影響を与えることができる。
【００８２】
図１７に、本発明による簡略化したクロミナンス評価の処理ステップを示す。フレーム抽出のより高次の分析は、リフレッシュ期間Ｐをより大きくし、Ｎをそれまで可能で合ったよりも大きくすることができる。フレーム抽出中には、あるいは抽出領域Ｒx内の選択画素の暫定的な選び出し中には、図に示す簡略化したクロミナンス評価を行うことができ、このことは、図の左側に示す次のフレーム抽出における遅延を生じさせるか、図の右側に示すフレーム全体の抽出を開始するかのいずれかである。いずれの場合にも、補間は、次のフレーム抽出を遅延させて進行し（「補間」）、使用するクロミナンス値の凍結または増加を生じさせる。このことは、ビットストリームまたは帯域幅のオーバヘッドの意味でさらに経済的な動作を提供する。
【００８３】
図１８に、図３及び１２の上部を示し、ここでは抽出ステップの代案を示し、ここではフレームデコーダ（復号化器）ＦＤを使用し、図に示すように、ステップ３３では、抽出領域（例えばＲ1）からの領域情報を抽出することができる。次のプロセスまたはコンポーネント・ステップ３５は、図に示すように、クロミナンス差を評価すること、及びこの情報を用いてビデオフレーム抽出レートを設定することを含む。図４の平均化のような出力計算００または以下に説明する支配色抽出を実行する次のステップは、図に示すように、周辺光生成回路１８へのデータ転送の前に実行される。
【００８４】
図１９に示すように、色情報抽出用のプロセスステップ全体及び本発明の処理は、ビデオ信号ＡＶＳを取得するステップ；（前に挙げたＦ1及びＦNのような）選択したビデオフレームから領域（色）情報を抽出するステップ；選択したビデオフレーム間を補間するステップ；ＲＵＲマッピング変換のステップ；随意的なガンマ補正のステップ；及びこの情報を用いて周辺光源（８８）を駆動するステップを含む。図２０に示すように、選択したフレームからの情報の領域的抽出の後に、次の２つの追加的なプロセスを挿入することができ：１つは、事前設定した基準による、選択したフレームＦ1とＦNとの間のクロミナンス差の評価を実行することができ、１つは、新たなフレーム抽出レートを抽出することができる。従って、連続したフレームＦ1とＦNとの間のクロミナンス差が大きいか、急速に増加しているか（例えば大きな一次導関数）、あるいはクロミナンス差の履歴に基づくような他の何らかの基準を満たす場合には、フレーム抽出レートを増加させることができ、これによりリフレッシュ期間Ｐは減少する。しかし、連続したフレームＦ1とＦNとの間のクロミナンス差が小さく、安定しているか急速に増加していないか（例えば低い値か０の一次導関数の絶対値）、あるいはクロミナンス差の履歴に基づくような他の何らかの基準を満たす場合には、必要な要求データストリームを節減し、フレーム抽出レートを減少させることができ、これによりリフレッシュ期間Ｐは増加する。
【００８５】
ここで図２１を参照して説明し、図２１に、本発明の１つの態様によるプロセス全体を図式的に示す。図に示すように、そして随意的なステップとして、できれば計算負荷を軽減するために、[１]ビデオ・コンテンツに対応する演色色空間を、例えば以下に述べる方法によって量子化し（ＱＣＳ：色空間の量子化）；[２]支配色（または支配色のパレット）を抽出し（ＤＣＥ：支配色抽出）；そして[３]ＲＵＲマッピング変換（１０）のような色マッピング変換を実行して（ＭＴ：Ｒ’Ｇ’Ｂ’へのマッピング変換）、生成される周辺光の忠実度、範囲、及び適切さを改善する。
【００８６】
色空間の随意的な量子化は、可能な色状態及び／または対象とする画素の数を低減することと似たようにすることができ、種々の方法を用いて実行することができる。例として、図２２に、ビデオ・コンテンツからの画素色度を量子化する１つの可能な方法を示す。ここでは、図に示すように、１〜１６の値の範囲の例示的なビデオ原色値Ｒを示し、図に示すように、これらの原色値Ｒのいずれかを割当色ＡＣに割り当てる任意の割当てを行う。従って、例えば、ビデオ・コンテンツ中で赤色画素の色度または値１〜１６のいずれかを見つけるといつも、これを割当色ＡＣに置き換えて、ビデオ画像を特徴付けるに当たり必要な色の数のうち赤色の原色については、１６分の１の低減を生じさせる。三原色のすべてについてのこうした可能な色状態の低減は、この例では、計算に使用する色の数の、16×16×16分の1、または4096分の１の低減を生じさせる。このことは、多くのビデオシステム、例えば256×256×256または1678万通りの可能な色状態を有する８ビット色のビデオシステムにおいて、支配色を決定する計算負荷を低減するために特に有用である。
【００８７】
図２３に、ビデオの色空間を量子化する他の方法を示し、この図は、複数の画素Ｐi（例えば図に示す１６個）からの画素色度を図に示すスーパー画素ＸＰにまとめることによって演色色空間を量子化する他の例を図式的に示す。まとめること自体は、隣接する画素を数学的（または計算的）に互いに加算してスーパー画素を形成する方法であり、スーパー画素事態はさらなる計算または表現に使用される。従って、例えば通常７５万画素を有するビデオフォーマットでは、ビデオ・コンテンツを表現すべく選定したスーパー画素の数は、計算用の画素数を５万、あるいは他の所望のより小さい数に低減することができる。
【００８８】
こうしたスーパー画素ＸＰの数、大きさ、向き、形状、または位置はビデオ・コンテンツの関数として変化することができる。ここでは例えば、フレーム抽出ＦＥ中に、スーパー画素ＸＰを画像の特徴部分のみから抽出し、境界領域または背景からは抽出しないことを保証することが有利であり、スーパー画素ＸＰはそれ相応に形成される。図２４に、図２３と類似のスーパー画素にまとめるプロセスを図式的に示すが、ここではスーパー画素の大きさ、向き、形状、または位置は図に示す画像の特徴部分Ｊ８に合わせて形成することができる。図に示す画像の特徴部分は、直線的な水平または垂直境界を有する点ででこぼこまたは不規則である。図に示すように、スーパー画素ＸＰもそれ相応に、画像の特徴部分の形状を真似るかエミュレートするように選択する。物に合わせた形状を持つことに加えて、こうしたスーパー画素の位置、大きさ、及び向きに、既知の画素レベル計算技法を用いて、画像の特徴部分Ｊ８を影響させることができる。
【００８９】
量子化は、画素の色度を取得することができ、そしてこの画素に割り当てられた色（例えば割当色ＡＣ）を置き換える。これらの割当色は、好適な色ベクトルを用いることを含めて、意のままに割り当てることができる。従って、任意または均一な割当色の組を用いるよりもむしろ、少なくともいくつかのビデオ画像の画素色度を好適な色ベクトルに割り当てることができる。
【００９０】
図２５に、領域色ベクトル、及び標準的なカーテシアンＣＩＥｘ−ｙ色度図またはカラーマップ上で、その色または色座標を示す。このマップは、最大輝度の、すべての既知の色または知覚可能な色を色度座標ｘ及びｙの関数として示し、光波長はナノメートルで表わし、ＣＩＥ標準発光体の白色点を参考に示す。このマップ上には３つの領域色ベクトルＶを示し、ここに見られるように、１つの色ベクトルＶはＰＡＬ／ＳＥＣＡＭ、ＮＴＳＣ、及びAdobe ＲＧＢの色生成規格によって得られる色範囲（図に示す複数の色範囲）外にある。
【００９１】
明瞭にするために、図２６に、図２５のＣＩＥプロットの一部分を拡大して示し、これに加えて、画素色度Ｃp及びその領域色ベクトルＶへの割当てを示す。領域色ベクトルへの割当ての基準は変えることができ、そして、既知の計算技法を用いた、特定色ベクトルＶからのユークリッド距離または他の距離の計算を含むことができる。ラベルを付けた色ベクトルＶは、表示システムの演色色空間または色範囲の外にあり；このことは、周辺光システムまたは周辺光源８８によって容易に生成される好適な色度を、（ビデオの）演色色空間の量子化において使用する割当色の１つにすることを可能にする。
【００９２】
一旦、以上で述べた方法の1つ以上を用いて割当色の分布を作成すると、次のステップは、次の[ａ]〜[ｄ]のいずれかを抽出することによって、割当色の分布からの支配色抽出を実行することである：[ａ]割当色の最頻値（モード）；[ｂ]割当色の中央値（メジアン）；[ｃ]割当色の色度の色度による重み付け平均値；または[ｄ]画素重み付け関数を用いた重み付け平均値。
【００９３】
例えば、ヒストグラム法を用いて、最高頻度で発生する割当色を選択することができる。図２７に、最も多く発生する割り当てられた画素色または色（割当色）、即ち、割当色の分布の最頻値を与えるヒストグラムを示す（縦軸座標参照、画素のパーセント割合）。この最頻値、または使用する１０個の割当色の大部分は、使用する支配色、あるいは周辺光システムによるエミュレーション用の支配色ＤＣ（図に示す）として選択することができる。
【００９４】
同様に、割当色の分布の中央値も、支配色ＤＣとして選択するか、あるいは選択を手助けして影響を与えることができる。図２８に、割当色の分布の中央値を図式的に示し、ここで中央値または（偶数の割当色について補間した）中間値を、支配色ＤＣとして選択したものとして示す。
【００９５】
あるいはまた、重み付け平均を用いて、割当色全体にわたる総計を実行して、支配色の選択に影響を与えることができ、恐らくは周辺光発生システムの色範囲内の強度により良く合わせることができる。図２９に、割当色の色度の重み付け平均用の数学的な総和を示す。明瞭にするために単一の変数Ｒを示すが、任意数の次元または座標（例えばＣＩＥ座標ｘ及びｙ）を用いることができる。図に示すように、色度変数Ｒを画素座標（あるいは必要であればスーパー画素座標）ｉ及びｊの全体にわたって総計し、この例では、ｉ及びｊはそれぞれ１〜ｎ及び１〜ｍにわたる。色度変数Ｒには、総計の全体を通して、図に示すインデックス（指標、添字）ｉ及びｊを有する画素重み付け関数Ｗを乗算し；その結果を画素数ｎ×ｍで除算して重み付け平均値を得る。
【００９６】
画素重み付け関数を用いた同様の重み付け平均を図３０に示し、ここでは図に示すようにＷは画素位置ｉ及びｊも引数とする関数であること以外は図２９と同様であり、従って空間的な支配関数を可能にする。画素位置についても重み付けすることによって、支配色ＤＣの選択または抽出中に、ディスプレイＤの中心部分または他の部分を強調することができ、これについては以下で説明する。
【００９７】
重み付けの総和は、「領域情報を抽出」で表わす上述したステップ３３によって実行することができ、Ｗは既知の方法で選定し記憶することができる。画素重み付け関数Ｗは任意の関数または演算子とすることができ、従って、例えば、特定の画素位置を含めるために１とし、除外するために０とすることができる。画像の特徴部分は既知の技法を用いて認識することができ、以下の図３４に示すように、Ｗはそれに応じて、拡大目的に役立つように変更することができる。
【００９８】
一旦、上述した方法あるいはこれらと等価な方法を用いて割当色を支配色として選定すると、周辺光発生システムによる表現に適した色度のより良好な評価を実行することができ、特に、必要な計算ステップは、さもなければすべての色度及び／またはすべてのビデオ画素を考慮に入れなければならない場合に比べてずっと少なくなる。図３１に、割当色の分布中に重要色を確立し、そしてこの重要色に割り当てられた画素色度を抽出して、支配色として指定すべき真の支配色を導出することを、例示的かつ図式的な表現で示す。図に見られるように、画素色度Ｃpは２つの割当色ＡＣに割り当てられ；図の下部に示す割当色ＡＣは支配色として選択されず、図の上部の割当色ＡＣは支配色であるものと判断され（ＤＣ）、図に示すように重要色ＣＯＩとして選択される。そして、重要色ＣＯＩであるものと判断された割当色ＡＣに割り当てられた画素（または少なくともその一部）をさらに調べ、そしてその色度を直接読み取ることによって（例えば図４に示す平均値を用いることによって、あるいは、この特定目的で、既に小さい規模で述べた支配色抽出ステップを実行することによって）、支配色のより良好な演色を得ることができ、ここではそれを真の支配色ＴＤＣとして示す。このことに必要な処理ステップは、上記に挙げたステップ及び／またはコンポーネントを用いて実行することができ、あるいは独立した真の色のセレクタ（選択器）を用いて実行することができ、このセレクタは既知のソフトウェア・プログラムまたはサブルーチンまたはタスク回路またはこれらと等価なものとすることができる。
【００９９】
知覚ルールを課すことについて以下に説明するが、一般的であり、図３２に図式的に示すように、本発明による支配色抽出を非常に多くの回数または別個に並列的に実行して、支配色のパレットを提供することができ、ここで図に示すように、支配色ＤＣは支配色ＤＣ1＋ＤＣ2＋ＤＣ3で構成することができる。このパレットは、本明細書に教示する方法を適用し、知覚ルールを用いて、優勢な支配色の組を生成したことの結果であり得る。
【０１００】
図３０を参照して説明したように、画素重み付け関数またはこれと等価なものは、画素位置による重み付けを提供して、特定の表示領域についての特別な考慮または強調を可能にすることができる。図３３に、図１に示すビデオディスプレイの単純な前景、及び好適な空間領域内の画素Ｐiに与える不均等な重み付けの例を示す。例えば図に示すように、ディスプレイの中心領域Ｃは数値的に大きい重み関数Ｗを用いて重み付けすることができ；抽出領域（またはシーンの背景のような任意領域）は数値的に小さい重み関数ｗを用いて重み付けすることができる。
【０１０１】
図３４に示すように、重み付けまたは強調は画像特徴部分Ｊ８に適用することができ、これにより、図３３に示すビデオディスプレイの単純な前景において、特徴抽出ステップＦＥ（図３及び１２参照）によって既知の技法を用いて画像の特徴部分Ｊ８（魚）が選択されている。この画像特徴部分Ｊ８は、図に示して上述した支配色抽出ＤＣＥ中に使用する唯一のビデオ・コンテンツ、あるいは使用するビデオ・コンテンツのほんの一部とすることができる。
【０１０２】
ここで図３５を参照しながら説明し、本明細書で述べた教示を用いて、ビデオフレームに対して選択する支配色が、少なくとも部分的には、前のフレームからの少なくとも1つの支配色に頼ることによって得られる、ということも可能であることがわかる。図には、フレームＦ1、Ｆ2、Ｆ3、及びＦ4が支配色を得るための処理を受けることを図式的に示し、その目的は図に示すように、それぞれ支配色ＤＣ1、ＤＣ2、ＤＣ3、及びＤＣ4を抽出することにあり、ここでは計算によってフレームに対して選定する支配色を確立することができ、ここではこれを、支配色ＤＣ1、ＤＣ2、及びＤＣ3の関数としてのＤＣ4として示す（ＤＣ4＝Ｆ(ＤＣ1，ＤＣ2，ＤＣ3)）。このことは、フレームＦ4に対する支配色ＤＣ4を選定する短縮された手順、あるいは前のフレームＦ1、Ｆ2、及びＦ3に対して選定された支配色が支配色ＤＣ4の選定を手助けして影響を与えるより良く事情に通じた手順のいずれかを可能にする。この短縮された手順を図３６に示し、ここでは計算負荷を低減するために、暫定的な支配色抽出ＤＣ4*が測色的な推定を用い、そして次のステップでは、（複数または単一の）前のフレームからの支配色抽出によって支援され、ＤＣ4についての選定を用意する手助けをする（短縮した手順を用いてＤＣ4を用意する）。この手順は以下の記載に良好な効果を以って適用することができる。
【０１０３】
ここで図３７を参照して説明し、図３７に、新たに出現している可能な特徴部分を含むシーン・コンテンツを描画するビデオディスプレイを示して、本発明による暗さのサポート、及び他の知覚の特権による支配色抽出の必要性を例示する。上述した理由により、支配色抽出は往々にして、所望の知覚的出力にそぐわない結果を生成する。図３７に、特定のシーンの特徴部分Ｖ111（例えば緑色のモミの木）を特徴とする暗いシーンまたは夜のシーンの描画を図式的に示す。知覚ルールを行使せずに支配色抽出を用いると、次の問題が往々にして生じる：シーン・コンテンツ中または特定フレーム中の色が往々にして、知覚的立場からの過大な影響を有し、周辺光放光の色が明る過ぎに見え、暗いシーン・コンテンツに適しないか適当ではない。図３７によって与えられる例では、図に示す主要画素ＭＰのような多数の画素、または大部分の画素が、フレーム画像の大半または大きな部分を形成し、これらの主要画素ＭＰは平均的に、小さい輝度を有するか輝度を有しない。この例では、周辺光放光用に暗い効果が好ましいことがあり、デザイナーが周辺光放光用に好む色度は往々にして、主要画素ＭＰから大部分を導出した色度よりもむしろ、シーンの特徴部分Ｖ111におけるような別個のシーンに実在の色度であり、この例では主要画素ＭＰは、低い平均輝度、及び背景光発光において表現されれば考え出したように見られ得る公称色度を有することによって暗さを表現する。
【０１０４】
このことを達成する方法は、以下に説明する暗さのサポートを提供することによって実行される知覚ルールを課すステップを含み、暗さのサポートでは暗いシーンを検出し、こうした主要画素ＭＰを識別し、そして主要画素ＭＰを支配色抽出の考慮から除外するか、あるいはシーンの特徴部分Ｖ111のようなシーンの特徴部分を形成する他の画素に対して低減した重み付けを与えるかのいずれかを行う。このことは、シーン・コンテンツ分析ＣＡ（図１２参照）を用いてシーン要素を認識し、そして暗い背景またはシーンの特徴部分のような他の種々のシーン要素に対する特別な処理を実行することを必要とする。知覚ルールを課すことは、シーンのスペックル（暗いしみ）またはアーティファクト（歪像）のような支配色抽出にとって不所望なシーン部分を除去することを含むこともでき、かつ／あるいは、特徴抽出ＦＥ（例えば図３及び１２の特徴抽出ＦＥ、またはこれと機能的に等価なもの）による、そして図３４について説明した、シーンの特徴部分Ｖ111のような画像特徴部分の認識を含むこともできる。
【０１０５】
これに加えて、稲光または閃光Ｖ999のような新たなシーンの特徴部分を、上述した方法を用いて得られるシーンの特徴部分Ｖ111からの全体的な色度の抽出によって提供される色度に優先させること、あるいは共存させることができる。
【０１０６】
同様に、淡い、明るい、白色の、灰色がかった、または一様な高輝度のシーンは、知覚ルールを課すことの恩恵を受けることができる。ここで図３８を参照して説明し、図３８に、シーン・コンテンツを描画するビデオディスプレイの単純な前景を示して、色のサポートによる支配色抽出を例示する。図３８は、比較的明るい、シーンの特徴部分Ｖ333のような全体が似た色調の領域を描画し、これは雲に覆われた所、あるいは滝からの白い水しぶきとすることができる。このシーンの特徴部分Ｖ333は主にグレー色または白色とすることができ、従って、図に示す主要画素ＭＰで構成されるものと考えることができ、他のシーンの特徴部分Ｖ888、例えば青空は主要画素では構成されず、支配色抽出のために主要画素ＭＰに優先させることができ、即ち、この例では、周辺光効果のデザイナーは、特にシーンの特徴部分Ｖ888が新たに出現するか、あるいは周辺光用に好適な色度（例えば空の青色（スカイブルー））である場合には、白色またはグレー色よりもむしろこの青色を放光することを好むことがある。従来技術の１つの問題は、支配色抽出は時として、過小評価された、明るい、あるいは高度に飽和した白色、グレー色、または他の飽和不足の色を生じさせることである。このことを直すために、知覚ルールまたは一組の知覚ルールを課して色のサポートを提供することができ、例えばシーンの明るさを評価して、青空Ｖ888のような他のシーンの特徴部分の影響は増強しつつ、白色／グレー色の主要画素ＭＰの影響または重みを低減または除去することができる。
【０１０７】
ここで図３９を参照して説明し、図３９に３つの例示的なカテゴリを図式的に示し、本発明による知覚ルールはこれらのカテゴリに分類することができる。図に示すように、支配色選択用の知覚ルールは次のいずれかまたは全部で構成することができる：単一の色度変換ＳＣＴ、シーン・コンテンツの関数としての画素重み付けＰＦ8、及び拡張抽出／探索ＥＥ8。これらのカテゴリは単に例示的なものを意味し、当業者は本明細書に述べる教示を用いて類似の代替方法を開発することができる。
【０１０８】
ここで図４０〜４３を参照して説明し、これらの図には、これらの知覚ルール群を課すことに関する特定方法を示す。
【０１０９】
第１の、単純な色度変換ＳＣＴは多くの方法を表わすことができ、これらのすべてが、最初に意図した支配色を他の別個の色度に置き換えるか変換することを追求する。より詳細には、図４０に示すように、支配色抽出によって生成される特別に選定した色度（ｘ，ｙ）を、任意の所望瞬時に、変換色度（ｘ’，ｙ’）に置き換えることができ、図４０は単純な色度変換ＳＣＴを関数演算子として図式的に示す。
【０１１０】
例えば、特徴抽出ＦＥが周辺光放光用の特定の支配色（例えば茶色）を得て、周辺光源８８の光空間内でこの支配色にもっとも近く一致するものが色度（ｘ，ｙ）、例えば紫がかった色調を有する色であり、この最も近く一致する色度が知覚的立場からは好ましくない場合には、色度（ｘ’，ｙ’）、例えばオレンジ色及び緑色の周辺光生成から作られる色への置き換えまたは変換を行うことができる。これらの変換は色度対色度のマッピングの形を採ることができ、恐らくはルックアップテーブル（ＬＵＴ）に含めるか、あるいはマシンコード（機械語）、ソフトウェア、データファイル、アルゴリズムまたは関数演算子で具体化することができる。この種の知覚ルールは明示的なコンテンツ分析を含む必要がないので、単純な色度変換と称される。
【０１１１】
単純な色度変換ＳＣＴは、これを用いない場合よりも大きな放光時間を好適な色度に与える知覚ルールを行使することができる。例えば、特定の青色が好ましいか、あるいは望ましいと考えられる場合には、この色を単純な色度変換ＳＣＴの主題または結果とすることができ、単純な色度変換ＳＣＴは、非常に多数の、あるいは類似した青色の色度をこの特定の青色にマッピングすることによって、この特定の青色を重要視する。また、本発明は、単純な色度変換を用いて、周辺光源８８の第２の演色色空間内に見出される色度を好みで選定する所で実施することができる。
【０１１２】
また、本発明によれば、シーン・コンテンツ分析ＣＡを用いて、画素重み付け関数Ｗに、知覚ルールを課すことを可能にする機能を追加することができる。図４３に、こうした画素重み付け関数用の可能な関数形式を示す。画素重み付け関数Ｗは複数変数の関数とすることができ、これらの変数は図に示すように、次のいずれかまたは全部を含むことができる：ビデオディスプレイの画素の空間的位置、例えばインデックスｉ及びｊで指示される；蛍光体の輝度レベルまたは原色値Ｒ（ここにＲはＲ、Ｇ、及びＢを表現するベクトルとすることができる）のような色度、または色度変数ｘ及びｙ；及び輝度Ｌ自体（またはこれと等価なもの）。特徴抽出ＦＥ及びコンテンツ分析ＣＡを実行することによって、画素重み付け関数Ｗの値は、知覚ルールを実行するように設定することができる。画素重み付け関数Ｗは関数演算子とすることができるので、画素重み付け関数Ｗは、必要であれば、選択した画素からのあらゆる影響を低減または除去するように設定することができ、これらの選択した画素は例えば、スクリーンのスペックル、スクリーンのアーティファクトを表現する画素、あるいはコンテンツ分析によって主要画素ＭＰであると判断される画素、例えば雲に覆われた所、水、または暗さ、あるいは他のシーン・コンテンツが、知覚ルールに従ってより小さい重み付けまたは０の重み付けを与えられた際である。
【０１１３】
ここで図４１を参照して説明し、図４１に、本発明による画素重み付け関数を用いて計算した平均値を用いて例示的な２つの可能な知覚ルールを実行する、支配色抽出のための一連の可能なステップを図式的に示す。シーン・コンテンツＰＦ8の関数としての画素重み付けと称するステップ全体は、矢印を用いて示す例示的な２つよりもずっと多くの可能な関数で構成することができる。
【０１１４】
図４１の左側に示すように、そして図に示す暗さのサポートの知覚ルールを提供するために、あるいは（図３７について説明した）暗さのサポートを提供するために、シーン・コンテンツ分析を実行する。１つの可能なステップ、あるいは随意的に可能な最初のステップは、例えば任意またはすべての画素について、あるいは割当色の分布について、画素毎に、全体または平均の輝度または明るさを計算することによってシーンの明るさを評価することである。この特定例では、シーン全体の明るさは低いものと考えられ（明瞭にするためにこのステップは省略する）、可能な結果的なステップは、図に示すように周辺光発生の輝度を低下させて、周辺光の生成をシーンの暗さにより一致させることである。他の可能なステップは、高い輝度の画素について、画素重み付け関数Ｗによって与えられる重み付けを除去または低減することであり、「明るい／有色画素に対する重み付けを削減／低減する」として示す。明るい画素または有色画素を構成するものを決定するために選定するしきい値輝度レベルは変化させることができ、そして固定しきい値として確立させることができ、あるいはシーン・コンテンツ、シーン履歴、及びユーザ嗜好の関数とすることができる。例として、すべての明るい画素または有色画素について、そのＷの値を３分の１に低減して、これらの画素から支配色をどのように選定しても周辺光の輝度を低減することができる。周辺光の輝度を低下させるステップはこの目的でも運用することができ、例えば、画素重み付け関数Ｗをさらに低減することによって、すべての画素の輝度をこれに応じて均等に低減する。その代わりに、画素重み付け関数Ｗを別個の関数によって低減することができ、この別個の関数自体は特定画素の輝度の関数であり、例えば倍率（乗率）１／Ｌ2であり、ここにＬは輝度である。
【０１１５】
暗さのサポートのための他の可能なステップは、「明るい／有色画素からのＣＯＩ（重要色）の可能な選択」であり、即ち、明るく、恐らくは高い飽和値を有する（有色の）ビデオ・コンテンツ中の画素の部分集合から、例えば図３７の特徴部分Ｖ111から重要色を確立する、上記に挙げたプロセスである。より詳細には、図３１に示して上述したのと同様の方法で、特定の色度をさらなる分析用に選定することができ、このことは、選定されている割当色について真の色を識別することか、あるいは、重要色が画素色度からのものであり、それ自体がさらなる分析用の割当色の分布の一部となるか、であり、このさらなる分析は例えば、こうした重要色について支配色抽出を繰り返すこと（例えば、モミの木Ｖ111について代表的な緑色を見つけること）である。このことは、図に示す他の可能なステップに至らせることができ、即ち、以下でさらに説明する「可能な拡張的な抽出」、及び「支配色の抽出」であり、このステップは、前の支配色抽出プロセスから取得した重要色の分布上で拡張的な支配色抽出を行ったことの結果とすることができる。
【０１１６】
図４１の右側に示すように、図に示す「色のサポートの知覚ルール」（図３８で説明した色のサポート）を提供するために、シーン・コンテンツ分析を再び実行する。１つの可能なステップ、あるいは随意的に可能な最初のステップは、例えば前に行ったように、任意またはすべての画素について、あるいは割当色の分布について、画素毎に、全体または平均の輝度または明るさを計算することによってシーンの明るさを評価することである。この例では、シーン全体にわたって高い明るさが見出される。他の可能なステップは、高い輝度、白色、グレー色、または明るい画素について、画素重み付け関数Ｗによって与える重み付けを除去または低減することであり、「明るい／有色画素に対する重み付けを削減／低減する」として示す。このことは、選定した支配色が淡いか過度に明るい色度を有することを防止し、この色度は、過度に飽和した色、または過度の（強過ぎる）白色、あるいは過度のグレー色であり得る。そして、支配色または重要色を選択することができ、例えば図に示す「残りの色度からＣＯＩを選択する」である。図に示す「可能な拡張的な抽出」は、図に示す「支配色を選択する」ステップを手助けすべく実行することもでき、これについては以下で説明する。
【０１１７】
図４２に示す上述した「拡張的な抽出／探索ＥＥ8」のステップは、最初の支配色抽出プロセスの後に行うあらゆるプロセスとすることができ、例えば知覚ルールを用いて支配色の候補の組を絞るプロセスである。図４２に、本発明による拡張的な支配色抽出用の画素重み付け関数を用いて計算した色度／輝度の平均値を用いて、例示的な２つの可能な知覚ルールを実行する支配色抽出のための、一連の可能なステップを図式的に示す。図に示す拡張的な抽出のこうした２つの例は「静的なサポートの知覚ルール」及び「動的なサポートの知覚ルール」である。図の左側に示すうように、１つの可能な静的なサポートの知覚ルールは、「識別」、そして「主要画素についての重み付けを削減／低減する」を含むことができる。このことは、図３７及び３８に示すように、エッジ分析、形状認識、またはビデオ・コンテンツについての他のコンテンツ分析技法を用いるシーン・コンテンツ分析を用いて主要画素ＭＰを識別することを含むことができる。そして、前に説明したように、主要画素ＭＰであるものと判断された画素について、画素重み付け関数Ｗを低減または０に設定する。
【０１１８】
そして、次の可能なステップ、即ち「残りの色度からのＣＯＩの可能な選択（例えばヒストグラム法）」では、主要画素ＭＰではない画素に対する拡張的な支配色抽出を実行し、例えば前に挙げた、次の[ａ]〜[ｄ]のいずれかを抽出することによる割当色の画素色度または分布からの支配色抽出を実行する：
[ａ] 最頻値（例えばヒストグラム法）；
[ｂ] 中央値；
[ｃ] 色度の色度による重み付け平均値；または、
[ｄ] 画素色度または割当色の画素重み付け関数を用いた重み付け平均値。
知覚ルールを適用した後は、主要画素に与える重みを低減することのように、支配色抽出の機能的反復と同様にすることができる。この支配色抽出プロセスから、最終ステップの「周辺光放光用の支配色を選択する」を実行することができる。
【０１１９】
他の可能な知覚ルールは、図の右側に示す「動的なサポートの知覚ルール」である。図に示す最初の２つのステップは、図の左側に示す「静的なサポートの知覚ルール」用のステップと同一である。３番目の可能なステップは、新たに出現したシーンの特徴部分（例えば稲光Ｖ111）を識別し、図に示す「新たに出現したシーンの特徴部分からの支配色抽出」を実行することである。第４の可能なステップは、図に示す「前のステップのいずれかまたは両方から周辺光放光用の色度を選択する」ことであり、即ち、この知覚ルールは、新たに出現したシーンの特徴部分に対して支配色抽出を実行したことの結果、あるいは、主要画素ＭＰの影響を低減または除去した後に得られた残りの色度に対して支配色抽出を実行したことの結果のいずれかまたは両方を取得することを含むことができる。このようにして、例えば、新たに出現した落雷Ｖ999及び木Ｖ111は共に、知覚ルールなしの直接的な支配色抽出よりも、周辺光放光用の1つ以上の支配色ＤＣの導出に寄与し得る。
【０１２０】
こまのように知覚ルールを行使するに当たり、上述したように、事前の色の量子化を妨げるものはない。また、これらの方法は選定したシーンの複数の特徴部分に対して、あるいは周辺光放光用の好適な色度を探索するために反復することができる。
【０１２１】
別な例として、３つの背景シーンの特徴部分、及び１つの新たに出現した特徴部分を含むビデオ・コンテンツ用の特定の例示的なシナリオを考える。これらの背景は、砂地、空、及び太陽を含んで出現する。コンテンツ分析を用いてシーンを評価する。そして砂地の色調は画像の画素の47%をなすことが判明している。知覚ルールを利用して、これらの砂地色の画素を主要画素に指定し、そして他の大きなシーン要素が存在する限り、画素重み付け関数Ｗによって０の影響力を与える。拡張的な抽出用に空を選択し、そして上述した方法を用いて抽出した結果的な青色を重要色ＣＯＩとして設定する。そして真の支配色の抽出プロセス（図３１参照）を開始して、特徴部分とした空の実際の画素色度を表現する真の色を導出する。このプロセスはフレーム毎のベースで更新する（図１６及び１７参照）。太陽は特徴抽出ＦＥによって認識され、そして単純な色度変換ＳＣＴを用いて、ビデオの色情報に固有のより明るい白色の代わりに、より快適な黄色がかった白色の色度が選定される。砂時調の画素が特定の数値的しきい値以下に落ちる際には、他の知覚ルールが、３つの特徴部分のすべてが支配色として抽出されることを可能にし、そしてこれらの特徴部分は、画素位置（例えばＲ1、Ｒ2、等のような抽出領域）に応じて個別に、あるいは全部まとめてのいずれかで周辺光放光用に設定することができる。そして、新たに出現した特徴部分、例えば白いボートは、新たなコンテンツを強調する他の知覚ルールを用いて、ボートについての支配色抽出に基づく白色の出力を生じさせ、周辺光放光はボートがビデオのシーンから消えるまで白色に変わる。ボートがシーンから消えると、新たに出現するコンテンツを表現する画素数が特定比率以下に落ちるか、あるいは既に再生中の特徴部分（砂地、空、太陽）以外の部分の占有率以下に落ちると、このコンテンツはもはや支配的でないものと判断する知覚ルールは、ことを可能にする。砂地調の画素の数が再び大きくなると、その影響は、画素重み付け関数Ｗがこれらの画素に対する重みを０にできるようにすることによって再び抑制される。しかし、他の知覚ルールは、他の２つの背景の特徴部分（空及び太陽）がもはや存在しない際に、砂地調の画素についての画素重み付け関数Ｗを復元して、新たに出現するシーンの特徴部分の存在中にその低減がなされることを可能にする。赤い蛇が出現し、コンテンツ分析は画素の11%をこの特徴部分のものとする。砂地調の画素は再び、支配色抽出の効果から除外され、蛇からの特徴抽出は重要色ＣＯＩを生じさせ、この重要色から、拡張的な抽出及び／または随意的な真の色の選択プロセスが、蛇の色を周辺光放光用に表現するために抽出される支配色を改良する。
【０１２２】
以上のことから既に、支配色抽出を知覚ルールに従うように変更するメカニズムなしでは、支配色抽出は全体を通して少し青色がかった白色の時間的に変化する陰影であり、シーンのコンテンツを表現せず、そして視聴者にとっての娯楽性または情報値が少ないことがわかる。このように上述した知覚ルールを課すことは、パラメータの形で特徴を持つことを可能にし、さらに、一旦実行すると、知的に振り付けられたように見える効果を有する。支配色抽出において知覚ルールを適用することの結果を、前に説明したように用いて、第２の演色色空間内の色情報を周辺光源８８にとって利用可能にすることができる。
【０１２３】
このようにして、図１に示す抽出領域Ｒ3をエミュレートすべくＬ3において生成された周辺光は、図に示す動く魚のようなこの領域内の現象を知覚的に拡張する色度を持つことができる。このことは視覚的体験を倍増させ、適切で、けばけばしくも過度に不釣合いでもない色相を提供する。
【０１２４】
ここで図４４を参照して説明し、図４４に、本発明による、ユーザ嗜好に応じたより一般的な知覚ルールを用いた支配色抽出実行して好適な周辺光の放光を実現するための複数の可能な機能グループを図式的に示す。
【０１２５】
図４４に見られるように、前に説明した知覚ルールは、特に追加されたユーザ嗜好を考慮にいれるべき場合に拡張することができる。色度ルールは前述したように、単純な色度変換ＳＣＴ、シーン・コンテンツＰＦ8の関数としての画素重み付け、及び拡張的な抽出／探索ＥＥ8で適用することができる。
【０１２６】
色度ルールは、明示的な輝度知覚ルールＬＰＲを追加することによって増加させることができ、輝度知覚ルールＬＰＲは、図に示すように、単に色度知覚ルールを用いて、支配色抽出において固有の輝度情報をさらに変化させるべく機能する。
【０１２７】
図に示す時間的変化知覚ルールＴＤＰＲは、周辺光放光のより高速またはより低速の時間的変化、あるいは変更された時間的変化を可能にする。このことは、輝度及び／または色度の減速または増速を含むことができる、図に示す機能ステップＰＦ８から読み出したシーン・コンテンツ、あるいは他の要素に応答して周辺光効果を増速または減速するより複雑な関数または演算子も含む。
【０１２８】
空間的抽出知覚ルールＳＥＰＲは、前に説明したように、画素位置（ｉ，ｊ）を考慮に入れる画素重み付け関数Ｗを用いた画素色度の重み付け平均を可能にするが、ここでは図に示すように、これらの空間的及び他の一般的な知覚ルールも可能な明示的に指示されたユーザ嗜好の関数である。
【０１２９】
より詳細には、図の上右に「ユーザ嗜好に応じた知覚ルール全体」として示すこれらの知覚ルールの組は、図の上左に示す「可能な明示的に指示されたユーザ嗜好」と共に進行するか、あるいはその関数として変更することができ、その結果は図に示す好適な周辺光放光である。「明示的に指示されたユーザ嗜好」から「知覚ルール全体」に至る矢印の各々は、特定のユーザ嗜好の影響を記号的かつ例示的に表わし、そして、好適な周辺光放光に好影響または悪影響を与える知覚ルールの特徴及び効果に影響を与えるべく用いるユーザ嗜好を伝えるあらゆるすべての入力を含む（定義の章参照）。前述したように、ユーザ嗜好は、知覚ルール全体に影響を与えるステップを含むことができ、従って、生成される周辺光の性質及び特徴、例えば生き生きした、反応的な、明るい、等、これに対し落ち着いた、動きの遅い、薄暗い、淡い、等に影響を与えるステップを含むことができる。
【０１３０】
図４５に、ユーザ嗜好を伝えるためのいくつかの可能な構成要素、方法、及び信号源を示し、一部は、明示的に指示されたユーザ嗜好を伝えるように設計されていないことのある既存の構成要素システムを使用することのできるものを含む。制御装置または類似のユーザ操作のコントローラは、明示的に指示されたユーザ嗜好の直接的な入力を可能にするが、ユーザ嗜好の他の入力は、ユーザ操作のコントローラ上での特定の選択または選択動作の検出を含むことは明らかである。知覚ルール全体に影響を与えるユーザ嗜好のデフォルトの組を役立てることができ、そして例えば、ユーザ操作のコントローラからの極値の選択に一致するような、より強烈な嗜好を可能にすることができる。
【０１３１】
例えば、明示的に指示されたユーザ嗜好を、ユーザ操作のコントローラによって選択される値の反復的な上下変化によって指示することができ、例えば図４５に示すように、リモートコントローラＲＣ上で「上」制御９０及び「下」制御１００を交互に反復して動かし、このことを文字列で示す。このことは例えば、一組のユーザ嗜好の間でトグルする（交互に切り換える）（例えば生き生きした対落ち着いた）ことを可能にする。上／下制御は真の上／下機能とすることができ、あるいはあらゆる値の上／下変化、例えば音量変化またはチャンネル変化とすることができる。特定パラメータをより高くする要求が、実際にはパラメータ変化を生じさせず、単に、生き生きした、または明るい好適な周辺光放光のようなユーザ嗜好の信号伝送を提供するように、制御感覚を公式化することができる。あるいはまた、ユーザ嗜好はユーザ操作のコントローラ上の極値の選択によって伝えることができ、例えば図に例示的に示すように、値Ｋを33/40...970/980/990/999に選択することができる。あるいは、ユーザ嗜好は、ユーザ操作のコントローラによって選択した値Ｋの速い変化速度によって入力することができる（例えば図に示すように、1ステップでＫ＝33〜511と変化させる）。ユーザ嗜好を得るためのこれらの方法は範囲が限られているが、既存のハードウェアを用い、かつ直感的な方法を用いた入力を可能にする。
【０１３２】
ユーザ嗜好の指定を可能にする情報を入力する他の方法は、記号的に示すように、既知の構成要素及び方法を用いた周囲空間Ａ0内の条件の検出を含み、例えば部屋の振動センサＶＳはダンスしていることまたは大声を検出することができ、音響（サウンド）センサＳＳも同様の機能を実行することができる。光センサＬＳは、例えば日中はより明るく、より生き生きした周辺光放光を可能にし、そして図４１を参照して説明したように、暗さは、より低い輝度を可能にし、そして恐らくはより小さい度合いの暗さのサポート及び／または色のサポートを可能にする。
【０１３３】
これに加えて、図に示す既知のグラフィカル・ユーザインタフェースの使用を妨げるものはなく、これは例えばビデオディスプレイＤ上、あるいはユーザ嗜好を入力するためのリモートコントローラまたはユーザ操作のコントローラＲＣ上のような他のディスプレイ上に表示される選択肢である。ユーザ嗜好は、パッケージとして事前設定された特性を有する選択肢として表示することができ、あるいは、知覚ルール全体に基づく特定パラメータ、例えば図４１の明るさまたは暗さのサポートを実行する度合いを選択することをユーザに質問することができる。パラメータ化した、あるいはサンプリングした変化ベクトルまたは他の関数を用いれば、既知の技法を用いてこうした知覚ルールの実行の度合いを変更することができる。暗さのサポートの度合いは、例えば１〜１０のスケール（尺度）上で選択することができ、より詳細には、特定色度を表示することのような特定現象に関して行われるユーザ指定を有することもでき、例えば、明るく完全に飽和した色、または部分的に飽和した色を見たいか否か、あるいは周辺光源８８からの周辺光放光用の全輝度または最大輝度を制限したいか否かである。
【０１３４】
あるいはまた、既知の方法を用いて、図に示すようにビデオ・メタデータ（ＶＭＤで示す）、補助データ、またはビデオ・コンテンツに関連するオーディオ−ビデオ信号ＡＶＳに関連するサブコードデータのいずれかを用いることができる。このことは、明示的に指示されたユーザ嗜好として動作することができ、ユーザが明示的に同意または再同意していなくてもよい。このように符号化されたデータは絶対的なものでなくてもよいが、本明細書で述べた他の方法のいずれかを用いて、視認セッション用に用いるユーザ嗜好をさらに指定する精神を含むことができる。
【０１３５】
例えば、他の方法をすぐ前に説明した方法との組み合わせで用いてユーザ嗜好を指定することができ、他の方法は例えば、図に示すリモートコントローラＲＣのようなユーザ操作のコントローラ上で選択を行うことによるものである。チョイスセレクタ（選定選択器）１５５は、ビデオ・メタデータＶＭＤを受信することによって提供される選定を含む選定を可能にする。また、ユーザ操作のコントローラ上のあらゆるセレクタまたはボタンは、ユーザ嗜好、あるいは連続的または反復的な動作呼出しによる確立されたユーザ嗜好間のトグルを伝えることができ、例えば、チョイスセレクタ１５５を連続して押すか、あるいは何回も反復して押すかにより、こうした操作はこれらのセレクタまたはボタンが他に表わす機能にとって必ず必要なものとは限らない。例えば、「オン」ボタンまたはチャンネル変更ボタンを連続して押すことにより、あるいは同じボタンの（動作）呼出しを行うことによりユーザ嗜好を設定することができる。この操作は電源の状態を変化させず、あるいはチャンネルを変更せず、従って、既存のリモートコントローラまたは他のビデオ制御ハードウェア上に収容することができる。このようにリモートコントローラのコマンド（命令）を新たに解釈する方法は電子及びソフトウェア技術において既知であり、既存の構成要素及び方法に含めることができる。
【０１３６】
あるいはまた、リモートコントローラＲＣまたはユーザ操作の制御装置の内部の圧力センサ（明瞭にするために、これも１５５で示す）によって圧力検出を実行することができる。このことは恐らくは最も直感的であり、そしてユーザ嗜好を伝えているものと解釈すべき複雑な挙動の入力を含むことができる。例えば、強く押されたリモートコントローラは、動き及び明るく動きの速い好適な周辺光放光の要望を信号伝送することができ、軽い圧力はその逆を信号伝送することができる。既知の電気−圧力感応フィルムを使用することができ、これは、その位置に基づいて通信する意図的に配置されたセンサの使用を含む。リモートコントローラの前面の連続して押すことは、例えば、ディスプレイの中心部から選択する支配色抽出を強調することを含む動き及び明るさを伝えることができ、そして画像の特徴部分に対する応答性が非常に良いのに対し、リモートコントローラの背面を連続して押すことは、好適な周辺光放光において反対のことを信号伝送することができる。
【０１３７】
最後に、図に示すようにユーザ操作のコントローラの内部の既知の動きセンサＭＳを用いて、ユーザ嗜好を確立することができる。こうした動きセンサは、例えば、容量効果または磁気効果を用いて動きの検出を提供する単純な加速度計とすることができる。リモートコントローラの前面は、図の右下に太い矢印を用いて示すように上下に往復させて嗜好を伝えることができ、背面は他の指示のために動かすことができる。動きは三次元の往復運動でも示すことができ、明示的に指示されたユーザ嗜好の選択における６つの自由度を可能にする。
【０１３８】
ユーザ嗜好の入力用のこれらの方法はさらに組み合わせることができる。例えば、リモートコントローラを振ることによって、あるいはチョイスセレクタ１５５を反復的に押すことによって、周囲空間Ａ0内の周辺光条件によって生じるユーザ嗜好の許容と非許容との間で往復的にトグルすることができる。この教示を用いて、この種のコントローラ用の順列を見付けることができる。
【０１３９】
知覚ルール全体に関して、生成される好適な周辺光放光の性質及び特徴は、ユーザ嗜好によって得られる選定または選択肢の関数とすることができる。周辺光放光の輝度は、ユーザ嗜好によって設定すべき非常に重要なパラメータである。
【０１４０】
図４６及び４７に、異なる例示的なユーザ嗜好ＵＰ1、ＵＰ2、ＵＰ3、ＵＰ4、ＵＰ5、及びＵＰ6に従う種々の輝度知覚ルールについて、輝度を時間の関数として表わす複数の波形の特定のプロット図を示す。ユーザ嗜好の選定ＵＰ1（恐らくはデフォルトの選定）から生じる1番目に例示する波形は、通常の輝度特性、または前に説明した色度知覚ルール及び支配色抽出から来る進行を表わす。２番目の波形は、図に示すようにユーザ嗜好の選定ＵＰ2を適用することによって生じたものであり、より低い放光の明るさ用の半分の輝度特性であり、このことは和らいだ好適な周辺光放光の要望から生じ得るものであり、そして既知の方法を用いて容易に実行することができる。あるいはまた、３番目に例示する波形はユーザ嗜好の選定ＵＰ3を適用した結果であり、支配色抽出を用いて要求される公称輝度が図に示す輝度抑制しきい値を超えている際のみに周辺光放光を提供し、点線の輝度ラインは表現されない輝度を表わし（暗い周辺光放光）、実線は生成される周辺光の輝度を表わす。４番目のユーザ嗜好の選定ＵＰ4は、最大の明るさまたは輝度に対する上限キャップ（最高値）または制限を示し、これにより、支配色抽出によって展開される公称輝度は、図に示すＬ9のような輝度上限値を超えることができない。あるいはまた、図に示すユーザ嗜好ＵＰ5を用いた次の波形中に示す輝度最低値（輝度フロア）Ｌ1は、本明細書で詳述した支配色抽出法によって展開されるものにかかわらず、図に示すように最低輝度を可能にすることができる。最後に、図に示すユーザ嗜好ＵＰ6に関連する輝度変換ＬＸは、好適な周辺光放光用に表現される輝度における複合関数的な変化を可能にし、即ち単なる上限、最低値、しきい値、または乗数でない。輝度変換ＬＸは任意の関数の形を採ることができ、演算子の仕様を含み、本願の教示において、表現される輝度を変更するために利用可能なあらゆる変数の関数とすることができ、これらの関数は、これらの関数を用いずに生じる輝度、即ちユーザ嗜好を用いて知覚ルール全体を変更せずに生じる輝度に対して、輝度を増加または減少させる。
【０１４１】
図４４に示す構成によって可能になる機能の一部の単純な例示として、図４８に、（図に示す）明示的に指示されるユーザ嗜好による複数の可能な色度知覚ルールを実行する単純な色度変換ＳＣＴを複数、図式的に示す。
【０１４２】
例えば、図に示す「選択した色度の監視」は、血液の赤色、または生き生きしていると考えられる色のうちで選択した他の色のような特定色度の推定または監視を実行することができ、そして生き生きした好適な周辺光放光が欲しい際のみに用いる。この知覚ルール、または他のこうした知覚ルール全体はソフトウェア設計によって、及び／またはユーザインタフェース兼嗜好メモリＵ2（例えば図３及び１２参照）によって実行することができる。
【０１４３】
あるいはまた、より強烈でないステップは、例えば画素重み付け関数Ｗ中の選択した色度により小さい重みを与えることによって、（図に示す）「色度に与える重みの変更」を実行することであり、これにより、この色が支配色抽出のプロセスＤＣＥにより影響を与えにくくなる。
【０１４４】
一般に、単純な色度変換ＳＣＴは、選択される支配色ＤＣの特徴を体系的な方法で変化させて全体的な目的を満足する意味で、１つの色度を他のものに置き換える単純な置き換えそのものの組を必ずしも含まなくてもよい。例えば、明示的に指示されるユーザ嗜好を用いて、色飽和の種々の異なる度合いを提供することができる。このようにして、（図に示す）「飽和の変更」は、周辺光放光における異なる外見及び特徴を提供するために非常に有効なツールである。
【０１４５】
図４９に、図４１に示す２つの知覚ルールの実行の品質または度合いをユーザ嗜好によって変更することのできる方法を図式的に示す。この図は、「暗さのサポートの知覚ルール」及び「色のサポートの知覚ルール」を記号的に示し、これらの知覚ルールはそれぞれ、ユーザ嗜好の選定ＵＰ2及びＵＰ4によって完全に有効にされ（図に暗い太線で示す）、そして、それぞれユーザ嗜好の選定ＵＰ1及びＵＰ2によって部分的に（あるいは完全に）無効にされる。例えば、明るい／有色の画素に割り当てられる重みを縮小または低減する程度は、ユーザ嗜好の関数として変更することができる。
【０１４６】
図５０に、本発明による、知覚ルールに影響を与えるためのビデオ・メタデータのオーディオ−ビデオ信号からの抽出を図式的に示し、これは前に図４５に示したものであるが、既知のバッファＢを有し、バッファＢは、ビデオ・コンテンツまたはオーディオ−ビデオ信号ＡＶＳに関連するビデオ・メタデータＶＭＤ、補助データ、またはサブコードデータを記憶することができるが、必ずしも記憶する必要はない。例えば、バッファＢは、オーディオ−ビデオ信号ＡＶＳまたはビデオ・コンテンツの再生とは同期しない時刻に用いる知覚ルール全体を指定することを可能にするパラメータを抽出または導出することができる。バッファＢはメモリーデバイスとすることができ、あるいは単なる記録またはルックアップテーブル、あるいは特に時間的変化知覚ルールを用いて好適な周辺光放光を提供するに当たり使用するメタデータ、補助データ、またはサブコード、あるいはその派生物の呼出しを可能にするソフトウェア機能とすることができる。
【０１４７】
図５１に、異なる例示的なユーザ嗜好ＵＰ1、ＵＰ2に従う、あるいはこれらのユーザ嗜好から生じる種々の時間的変化ルールについて、輝度または色度（輝度／ｘ／ｙで示す）を時間の関数として表わす複数の波形のカーテシアン・プロット図を示す。ユーザ嗜好の選択の選定ＵＰ1（恐らくはデフォルトの選定）から生じる1番目に例示する波形は、前述したように色度知覚ルール及び支配色抽出から来る通常の時間的変化特性を表わす。２番目の波形は、図に示すようにユーザ嗜好の選定ＵＰ2を適用することによって生じたものであり、放光パラメータの変化をより低速にする減速された時間的変化特性である。明らかに、このルールを課すことは、その後の輝度または色度の変化を縮小または無視する可能性を残し得る、というのは、表現される輝度または色度のパラメータの時間的変化は、支配色抽出によって通常展開される対応するリアルタイムのパラメータに対して遅延するからである。あるいはまた、３番目に例示する波形はユーザ嗜好の選定ＵＰ3を適用した結果であり、図に示すように、増速した時間的変化の周辺光放光を提供する。このことは、前の図５０に示すバッファＢの使用を必要とし得る。
【０１４８】
空間的抽出知覚ルールは、明示的に指示されるユーザ嗜好によって変更することもできる。図５２に、図３４に示すビデオディスプレイの単純な前景を示し、ここでは、異なるユーザ嗜好による異なる空間的抽出知覚ルールを用いて度合いを変化させて抽出した、中心領域Ｃ内の画像の特徴部分Ｊ8を図式的かつ例示的に示し、即ち部分的に有効化された抽出（細い矢印、ユーザ嗜好の選定ＵＰ1）及び完全に有効化された抽出（太い矢印、ユーザ嗜好の選定ＵＰ2）である。同様に、図５３に示すように、中心領域Ｃの全体にわたって抽出を行う度合いも、図に示すように同様の方法で変化させることができる。
【０１４９】
図５３は、図５２に示すビデオディスプレイの前景を示すが、ここでは異なるユーザ嗜好による異なる空間的抽出知覚ルールを用いて度合いを変化させて抽出した中心領域を図式的に示す。
【０１５０】
これらの空間的抽出知覚ルールのいずれも、例えば画素重み付け関数Ｗを変更して、新たに出現した特徴部分（Ｊ8）または領域（例えば中心領域Ｃ）に大きい重みを与えることを可能にするか、あるいはより小さい重みを与えて同じものから比較的小さい影響を出すことを可能にするかのいずれかによって実行することができる。中心領域Ｃは例示目的で選定したものであり、あらゆる表示領域を、知覚ルール全体に影響を与えるべく動作するユーザ嗜好に応じた変更処理用に選び出すことができる。
【０１５１】
一般に、ユーザ嗜好を用いてそれぞれの知覚ルールの特徴及び効果を変化させる多数の可能な方法が存在し、一部は既に説明している。その１つは、画素重み付け関数Ｗを時間、シーン・コンテンツ、及び明示的に指示されたユーザ嗜好の関数として変化させて、特定の表示領域（ｉ，ｊ）、色度、及び輝度を強調するか強調しないことである。他のものは、これらのプロセスをパラメータ化して所望の動作を行うこと、例えば輝度を減率または低減すること、色度をシフト（移動）すること、あるいは主要画素ＭＰを含める度合いを変化させることである。好適な周辺光放光に影響を与えるものとして当業者が既知の１つ以上のパラメータを変化させるに当たり、明示的に指示されたユーザ嗜好に影響を与える経済的な方法が得られる。さらに他のものは、上述した（図３及び１２参照）機能ブロック「ユーザインタフェース及び嗜好メモリＵ2」内に見られるような輝度及びクロミナンスの変数を直接変化させることである。明示的に指示されたユーザ嗜好の名前はソフトウェア設計者が選定することができ、本発明の教示を用いれば、本明細書に記載の方法を用いて支配色抽出プロセスの知覚ルールを、ユーザ嗜好を反映すべく変更することができる。
【０１５２】
例えば、図４１の暗さのサポート及び色のサポートの知覚ルールは、明るい画素に対する重み付けを低減する度合い、及び／または拡張的な支配色抽出ＥＥ8を実行する度合い、及び／または輝度を減少または増加させる度合いが、ソフトウェア設計者が特定の視覚効果を達成するように公式化した、明示的に指示されたユーザ嗜好の関数になるように変更することができる。同様に、拡張的な支配色抽出を実行する程度は一般に変化させることができる。
【０１５３】
一般に、周辺光光源８８は、たとえばつや消しまたはつや出しの表面を有するランプ構造；あるいはリブ付きのガラスまたはプラスチック；あるいは例えば個別の光源を包囲する金属構造を用いた開口構造の使用によって、光混合（ミキシング）、並びに半透明または他の現象を生成するための種々の異なる効果を具体化することができる。興味ある効果を提供するために、任意数の既知の拡散または散乱の材料または現象を用いることができ、これらは小さい懸濁粒子；曇りプラスチックまたは樹脂、コロイドを用いた調合剤、乳剤、あるいは長寿命の有機混合物を含む１〜５：ｍまたはそれ以下、例えば１：ｍの丸薬；ゲル；及びゾルからの散乱を利用して得られるものを含み、これらの生成及び製造は当業者にとって既知である。散乱現象は、周辺光の青色強調用の青色生成用のような可視波長用のレイリー散乱を含むべく設計することができる。生成される色は領域的に規定することができ、例えば特定領域内が全体的に青味がかった色合い、あるいは例えば青色光を生成する最上部分（周辺光Ｌ1またはＬ2）のような領域的色合いにする。
【０１５４】
周辺光ランプは、ランプ構造内に形成、統合、または挿入可能な円柱プリズムまたはレンズのようなゴニオ測光素子に適合させることもできる。このことは、生成される光の効果が視聴者の位置の関数として変化する特殊効果を可能にする。四角形、三角形、または不規則な形状のプリズムまたは形を含む他の光学的形状及び形態を用いることができ、これらは周辺光ユニット上に配置するか、あるいは周辺光ユニットに統合することができる。その結果は、等方性の出力を生成することよりもむしろ、得られる効果、例えば、周囲の壁面、物体、及び周辺光源の周りに配置された表面上に投光される面白みのある光の帯域を無限に変化させられることであり、暗くした室内で、ビデオディスプレイユニット上のシーン要素、色、及び輝度の変化としての一種のライト（光の）ショーを行う。この効果は、光の特徴を視聴者位置の関数として非常に敏感に変化させる劇場的な周辺光効果とすることができ、例えば椅子から立ち上がった際に、あるいはホームシアターを見ている際に視聴位置を変えた際に、青色の閃光を見て、次に赤色の光を見ることである。使用可能なゴニオ測光素子の数及び種類はほぼ無限であり、プラスチック片及びガラス片、線刻及び軽く破壊する製造技術から生成される光学効果を含む。周辺光ランプは、異なる劇場的効果用に独特に作製することができ、さらに互換に作製することができる。そしてこれらの効果は、例えばゴニオ測光素子を通過できる光量を変化させることによって、あるいは（例えばサブ（副）ランプまたはＬＥＤ群を用いて）周辺光ユニットの異なる部分を照らすことによって変調可能にすることができる。
【０１５５】
ビデオ信号ＡＶＳはもちろん、ディジタル・データストリームとすることができ、そして同期ビット及び連結ビット；パリティビット；エラーコード；インターリーブ；特殊変調；バーストヘッダ、及び周辺光効果の記述（例えば「雷雨の嵐」；「日の出」；等）のような所望のメタデータを含むことができ、本明細書の記載の機能ステップは単なる例示であり、そして通常のステップまたはデータを含まないことは当業者にとって明らかである。
【０１５６】
これらの教示を用いてユーザ嗜好が知覚ルール全体を変更することを可能にし、図３及び１２に示すユーザインタフェース兼嗜好メモリ（またはソフトウェア命令を実行することによるような機能的に等価なもの）を用いて周辺光システムの挙動を変化させることができ、例えばビデオディスプレイＤのビデオ・コンテンツに対する色の忠実度を所望のように変化させること、あらゆる蛍光色または色範囲外の色が周囲空間内に放光される程度を含むきらびやかさを変化させること、あるいは、例えば好適な周辺光放光における輝度または他の品質の変化を誇張することによって、周辺光がビデオ・コンテンツ中の変化にどの位迅速に、またはどの位大きく応答するかである。このことは、映画用または特定キャラクタのコンテンツ用の和らいだ色調を作成可能な先進的なコンテンツ分析を含むことができる。コンテンツ中に多くの暗いシーンを含むビデオ・コンテンツは、周辺光源８８の挙動に影響を与えて、放光される周辺光の減光を生じさせることができ、きらびやかな、または明るい色調は、多数の肌色の色調または明るいシーン（日当たりの良い海岸、サバンナの虎、等）のような他のコンテンツに用いることができる。
【０１５７】
本明細書では、当業者に本発明の実施を可能にするように記載を行っている。本明細書の教示を用いて多くの構成が可能であり、本明細書で述べた構成及び装置は例示的なものに過ぎない。本明細書で求めた目的は必ずしもすべて実現する必要はなく、例えば、特に演色色空間ＲＧＢとＲ’Ｇ’Ｂ’との両者が類似または同一である場合には、本発明の範囲を逸脱することなしに、第２の演色色空間への特定の変換を本明細書で与える教示から除くことができる。実際には、本明細書で教示し請求項に記載した方法は、エンターテインメント（娯楽）センターまたはホームシアター・センターのようなより大きなシステムの一部として見ることができる。
【０１５８】
本明細書で例示的に教示した関数及び計算は、ソフトウェアまたはマシンコード（機械語）を用いて機能的に再生またはエミュレートできることは周知であり、当業者は、本明細書で教示した符号化及び復号化を実行する方法にかかわらず、これらの教示を用いることができる。本明細書で述べたようにビデオ情報をフレームに復号化して画素レベルの統計計算を実行することは厳密に必要なことではない、ということを考えると、このことは特に正しい。
【０１５９】
当業者はこれらの教示に基づいて、本明細書で教示し請求項に記載した装置及び方法を変更して、これにより例えば、特定用途に適するようにステップまたはデータ構造を再編成して、本明細書で例示目的で選んだものと少ししか類似性を有しないシステムを創作することができる。
【０１６０】
以上の例を用いて開示した本発明は、上述した特徴の一部のみを用いて実施することができる。また、本明細書で教示し請求項に記載したものは、他の構造または機能要素の追加を妨げるものではない。
【０１６１】
以上の教示に照らして、本発明の多くの変更及び変形が可能であることは明らかである。従って、請求項の範囲内で、本明細書に詳細に記載または示唆した以外のものを実施することができることは明らかである。
【図面の簡単な説明】
【０１６２】
【図１】本発明による、色抽出領域、及びこれに関連する６つの周辺光源からの周辺光の放光を表示するビデオディスプレイの単純な前景を示す図である。
【図２】本発明を用いて、複数の周辺光源からの周辺光が生成される室内を上から見た図であり、一部は図式的に、一部は断面を示す。
【図３】本発明による、色情報を抽出し、周辺光源の導出を可能にする色空間変換を実行するシステムを示す図である。
【図４】ビデオ抽出領域からの平均色情報を計算する式を示す。
【図５】演色ＲＧＢ三原色を非演色色空間ＸＹＺに変換するための従来技術の行列演算式を示す図である。
【図６】ビデオの演色色空間を非演色色空間ＸＹＺにマッピングするための行列演算式を示す図である。
【図７】周辺光の演色色空間を非演色色空間ＸＹＺにマッピングするための行列演算式を示す図である。
【図８】既知の逆行列計算を用いて周辺光の三刺激値Ｒ’Ｇ’Ｂ’を非演色色空間ＸＹＺから導出する解決法を示す図である。
【図９】従来技術の、白色点法を用いた三刺激原色行列Ｍの導出を示す図である。
【図１０】従来技術の、白色点法を用いた三刺激原色行列Ｍの導出を示す図である。
【図１１】従来技術の、白色点法を用いた三刺激原色行列Ｍの導出を示す図である。
【図１２】周辺光放光のためのガンマ補正ステップを追加的に具えた、図３に示すシステムと同様のシステムを示す図である。
【図１３】本発明で用いる変換プロセス全体を図式的に示す図である。
【図１４】本発明が用いる周辺光源用の変換行列の係数を取得するための処理ステップを示す図である。
【図１５】本発明を用いた、ビデオの推定値の抽出及び周辺光再生のための処理ステップを示す図である。
【図１６】本発明によるビデオフレーム抽出を図式的に示す図である。
【図１７】本発明による略式的なクロミナンス評価のための処理ステップを示す図である。
【図１８】フレームデコーダを用い、フレーム抽出レートを設定し、そして周辺光源を駆動するための出力計算を実行する、図３及び１２に示す抽出ステップを示す図である。
【図１９】本発明のための色情報抽出及び処理のための処理ステップを示す図である。
【図２０】本発明のための色情報抽出及び処理のための処理ステップを示す図である。
【図２１】本発明によるプロセス全体を図式的に示す図であり、支配色抽出及び周辺光発生色空間への変換を含む。
【図２２】画素色度を割当色に割り当てることによって、ビデオ・コンテンツからの画素色度を量子化するための１つの可能な方法を図式的に示す図である。
【図２３】画素色度をスーパー画素にまとめることによる量子化の一例を図式的に示す図である。
【図２４】図２３と同様であるが、スーパー画素の大きさ、向き、形状、または位置を画像の特徴部分に合わせて形成することのできる、スーパー画素にまとめるプロセスを図式的に示す図である。
【図２５】領域色ベクトル、及びその色または標準のカーテシアンＣＩＥカラーマップ上での色度座標を示す図であり、１つの色ベクトルは、ＰＡＬ／ＳＥＣＡＭ、ＮＴＳＣ、及びAdobeＲＧＢの色生成規格によって得られる色範囲外にある。
【図２６】図２５のＣＩＥプロットの一部を拡大した図であり、画素色度及びその領域色ベクトルへの割当てを加えて示す。
【図２７】本発明の１つの可能な方法による割当色の分布の最頻値を表わす履歴を示す図である。
【図２８】本発明の１つの可能な方法による割当色の分布の中央値を図式的に示す図である。
【図２９】本発明の１つの可能な方法による、割当色の色度による重み付け平均用の算術和を図式的に示す図である。
【図３０】本発明の１つの可能な方法による、画素重み付け関数を用いた割当色の色度による重み付け平均用の算術和を図式的に示す図である。
【図３１】割当色の分布中に重要色を確立し、この重要色に割り当てられた画素色度を抽出して、支配色として指定すべき真の支配色を導出することを示す図式的表現を与える図である。
【図３２】本発明による支配色抽出を、多数回、あるいは別個に並列的に実行して、支配色のパレットを提供することができることを図式的に示す図である。
【図３３】図１に示すビデオディスプレイの単純な前景において、図２９及び３０に示す方法にとって好適な空間領域に与える不均等な重み付けを示す図である。
【図３４】図３３に示すビデオディスプレイの単純な前景において、本発明による支配色抽出の目的で抽出した画像の特徴部分を図式的に示す図である。
【図３５】本発明の他の実施例を図式的に示す図であり、この実施例は、一組のフレームに復号化されたビデオ・コンテンツが、少なくとも部分的に前フレームからの支配色を頼りに１フレームの支配色を得ることを可能にする。
【図３６】本発明による支配色を選定する略式的手順のための処理ステップを示す図である。
【図３７】暗さのサポートによる支配色抽出を示すための、新たに出現した特徴部分を有するシーン・コンテンツを描画するビデオディスプレイの単純な前景を示す図である。
【図３８】色のサポートによる支配色抽出を示すための、シーン・コンテンツを表現するビデオディスプレイの単純な前景を示す図である。
【図３９】本発明による知覚ルールを当該カテゴリに分類することのできる３つの例示的カテゴリを図式的に示す図である。
【図４０】単純な色度変換を関数演算子として図式的に示す図である。
【図４１】本発明による画素重み付け関数を用いて計算した平均値を用いて、２つの可能な例示的知覚ルールを実行する支配色抽出のための一連の可能なステップを図式的に示す図である。
【図４２】本発明による拡張支配色抽出用の画素重み付け関数を用いて計算した平均値を用いて、２つの可能な例示的知覚ルールを実行する支配色抽出のための一連の可能なステップを図式的に示す図である。
【図４３】本発明により使用する画素重み付け関数用の可能な関数形式を示す図である。
【図４４】本発明による、ユーザ嗜好に応じた知覚ルールを用いて支配色抽出を実行して、好適な周辺放光を生成するための可能な関数群を図式的に示す図である。
【図４５】ユーザ嗜好を伝えるための可能ないくつかの構成要素、方法、及び信号源を記号的に示す図である。
【図４６】異なるユーザ嗜好に応じた種々の輝度知覚ルールについて、輝度を時間の関数として表現する複数の波形のカーテシアン・プロット図である。
【図４７】異なるユーザ嗜好に応じた種々の輝度知覚ルールについて、輝度を時間の関数として表現する複数の波形のカーテシアン・プロット図である。
【図４８】ユーザ嗜好に応じた複数の可能な知覚ルールを実行する複数の単純な色度変換を図式的に示す図である。
【図４９】図４１に示す２つの知覚ルールの実行の品質または度合いをユーザ嗜好によって変更する方法を図式的に示す図である。
【図５０】本発明による知覚ルールに影響を与える、オーディオ−ビデオ信号からのビデオ・メタデータの抽出を図式的に示す図である。
【図５１】異なるユーザ嗜好に応じた種々の時間的変化ルールについて、色度を時間の関数として表現する複数の波形のカーテシアン・プロット図である。
【図５２】図３４に示すビデオディスプレイの単純な前景を示す図であり、異なるユーザ嗜好に応じて異なる空間的抽出知覚ルールを用いて度合いを変化させて抽出した画像の特徴部分を図式的に示す図である。
【図５３】図５２に示すビデオディスプレイの単純な前景を示す図であり、異なるユーザ嗜好に応じて異なる空間的抽出知覚ルールを用いて度合いを変化させて抽出した画像の中心領域を図式的に示す図である。
【特許請求の範囲】
【請求項１】
ユーザ嗜好に応じた知覚ルールを用いて、演色色空間内で符号化されたビデオ・コンテンツから支配色を抽出して、周辺光源によるエミュレーション用の支配色を生成する方法において、
[１] 前記演色色空間において、前記ビデオ・コンテンツからの画素色度からの支配色抽出を実行し、次の[ａ]〜[ｄ]のいずれかを抽出することによって支配色を生成するステップと：
[ａ] 前記画素色度の最頻値；
[ｂ] 前記画素色度の中央値；
[ｃ] 前記画素色度の色度による重み付け平均値；
[ｄ] 画素位置、画素色度、及び画素輝度のいずれかの関数である画素重み付け関数を用いた前記画素色度の重み付け平均値；
[２] さらに、前記支配色の輝度、色度、時間的変化、及び空間的抽出の少なくとも１つを、それぞれの知覚ルールに従って導出して、好適な周辺光放光を生成するステップであって、前記それぞれの知覚ルールは、複数の可能な明示的に指示されたユーザ嗜好の少なくとも１つによって特徴及び効果が変化し、前記知覚ルールは次の[Ｉ]〜[IV]の少なくとも１つを具えているステップと：
[Ｉ] 次の[ａ]〜[ｃ]及び[４]〜[６]のいずれかから選定した輝度知覚ルール：
[ａ] 輝度の増加；
[ｂ] 輝度の減少；
[ｃ] 輝度の最低値；
[４] 輝度の最高値；
[５] 輝度の抑制しきい値；
[６] 輝度の変換値；
[II] 次の[ａ]〜[ｃ]のいずれかから選定した色度知覚ルール：
[ａ] 単純な色度変換；
[ｂ] さらに、前記ビデオ・コンテンツ中の複数の画素について色度及び輝度のいずれかを評価することによって得られたシーン・コンテンツからの影響を示すように公式化した前記画素重み付け関数を用いた重み付け平均値；
[ｃ] 前記画素重み付け関数を、前記ビデオ・コンテンツ中の複数の画素について色度及び輝度のいずれかを評価することによって得られたシーン・コンテンツの関数として公式化した、前記画素重み付け関数による重み付け平均値を用いた拡張的な支配色抽出であって、前記重み付け関数はさらに、少なくとも主要画素について重み付けが低減されるように公式化されている；
[III] 次の[ａ]、[ｂ]から少なくとも１つ選定した時間的変化知覚ルール：
[ａ] 前記支配色の輝度及び色度の少なくとも一方の変化速度の減少；
[ｂ] 前記支配色の輝度及び色度の少なくとも一方の変化速度の増加；
[IV] 次の[ａ]〜[ｄ]から少なくとも１つ選定した空間的抽出知覚ルール：
[ａ] 前記画素重み付け関数において、新たに出現した特徴部分を含むシーン・コンテンツに、より大きい重みを与えること；
[ｂ] 前記画素重み付け関数において、新たに出現した特徴部分を含むシーン・コンテンツに、より小さい重みを与えること；
[ｃ] 前記画素重み付け関数において、選択した抽出領域からのシーン・コンテンツに、より大きい重みを与えること；
[ｄ] 前記画素重み付け関数において、選択した抽出領域からのシーン・コンテンツに、より小さい重みを与えること；
[３] 前記好適な周辺光放光を、前記演色色空間から、前記周辺光源の駆動を可能にするように形成された第２の演色色空間に変換するステップと
を具えていることを特徴とする支配色抽出方法。
【請求項２】
前記色度知覚ルールが、明示的に指示されたユーザ嗜好に応答して、選択した色度を除外することを特徴とする請求項１に記載の方法。
【請求項３】
前記色度知覚ルールが、明示的に指示されたユーザ嗜好に応答して、前記画素重み付け関数において、選択した色度に与える重みを変化させることを特徴とする請求項１に記載の方法。
【請求項４】
前記色度知覚ルールが、前記単純な色度変換を用いて、明示的に指示されたユーザ嗜好に応答して前記色度の飽和値を変化させることを含むことを特徴とする請求項１に記載の方法。
【請求項５】
前記画素重み付け関数が、次のステップ[４]及び[５]によって暗さのサポートを提供するように公式化され：
[４] 前記ビデオ・コンテンツを評価して、前記シーン・コンテンツ中のシーンの明るさが低いことを確立するステップ；
[５] 次の[ａ]及び[ｂ]のいずれかを実行するステップ：
[ａ] さらに、明るい画素の重み付けを低減するように公式化した前記画素重み付け関数を使用すること；
[ｂ] 何もしないで生成される輝度に比べて低減した輝度を用いて得られた支配色を放光すること；
ステップ[５]を実行する程度は、明示的に指示されたユーザ嗜好に応答して変更可能であることを特徴とする請求項１に記載の方法。
【請求項６】
前記画素重み付け関数が、次のステップ[６]及び[７]によって色のサポートを提供するように公式化され：
[６] 前記ビデオ・コンテンツを評価して、前記シーン・コンテンツ中のシーンの明るさが高いことを確立するステップ；
[７] そして、次の[ａ]及び[ｂ]のいずれかを実行するステップ：
[ａ] さらに、明るい画素の重み付けを低減するように公式化した前記画素重み付け関数を使用すること；
[ｂ] 請求項１に記載のステップ[２]の[ｃ]を実行すること；
ステップ[７]を実行する程度は、明示的に指示されたユーザ嗜好に応答して変更可能であることを特徴とする請求項１に記載の方法。
【請求項７】
前記時間的変化知覚ルールが、前記ビデオ・コンテンツの少なくとも一部を提供するために使用するビデオ信号からのビデオ・メタデータを記憶することを含むことを特徴とする請求項１に記載の方法。
【請求項８】
前記空間的抽出知覚ルールが、前記選択した抽出領域を、中心領域及び境界領域の一方とすることを含むことを特徴とする請求項１に記載の方法。
【請求項９】
前記拡張的な支配色抽出を、前記ビデオ・コンテンツ中の異なるシーンの特徴部分に対して個別に反復して複数の支配色を形成し；
[８] 前記複数の支配色の各々を画素色度として指定して、請求項１に記載のステップ[１]を反復するステップを具え；
ステップ[８]を実行する程度は、明示的に指示されたユーザ嗜好に応答して変更可能であることを特徴とする請求項１に記載の方法。
【請求項１０】
ステップ[１]の前に、前記演色色空間において、前記ビデオ・コンテンツからの画素色度の少なくとも一部を量子化して割当色の分布を形成し、ステップ[１]中に、前記画素色度の少なくとも一部を前記割当色の分布から得ることを特徴とする請求項１に記載の方法。
【請求項１１】
前記量子化が、前記画素色度を少なくとも１つのスーパー画素にまとめることから成ることを特徴とする請求項１０に記載の方法。
【請求項１２】
前記割当色の少なくとも１つは、必ずしも前記演色色空間内にない領域色ベクトルであることを特徴とする請求項１０に記載の方法。
【請求項１３】
前記割当色の分布中に少なくとも１つの重要色を確立し、該重要色に割り当てられた画素色度を抽出して、前記支配色として指定すべき真の支配色を導出するステップを追加的に具えていることを特徴とする請求項１０に記載の方法。
【請求項１４】
前記明示的に指示されたユーザ嗜好は、次の[１]〜[１３]のいずれかによって指示されたものである：
[１] ユーザ操作のコントローラによって選択した値の反復的な上下の変化；
[２] ユーザ操作のコントローラによって選択した極値；
[３] ユーザ操作のコントローラによって選択した値の高い変化速度；
[４] 周囲空間内の光センサによって受光した光；
[５] 周囲空間内の音響センサによって受けた音；
[６] 周囲空間内の振動センサによって受けた振動；
[７] グラフィカル・ユーザインタフェースで行った選択；
[８] ユーザ操作のコントローラ上で行った選択；
[９] ユーザ操作のコントローラ上での連続的な動作呼出し；
[１０] ユーザ操作のコントローラ上での反復的な動作呼出し；
[１１] ユーザ操作の制御装置内部の圧力センサによる圧力検出；
[１２] ユーザ操作の制御装置内部の動きセンサによる動き検出；
[１３] 前記ビデオ・コンテンツに関連するメタデータ、補助データ、またはサブコードデータのいずれか；
ことを特徴とする請求項１に記載の方法。
【請求項１５】
ユーザ嗜好に応じた知覚ルールを用いて、演色色空間内で符号化されたビデオ・コンテンツから支配色を抽出して、周辺光源によるエミュレーション用の支配色を生成する方法において、
[０] 前記演色色空間において、前記ビデオ・コンテンツからの画素色度の少なくとも一部を量子化して、割当色の分布を形成するステップと；
[１] 前記割当色の分布からの支配色抽出を実行し、次の[ａ]〜[ｄ]のいずれかを抽出することによって支配色を生成するステップと：
[ａ] 前記割当色の分布の最頻値；
[ｂ] 前記割当色の分布の中央値；
[ｃ] 前記割当色の分布の色度による重み付け平均値；
[ｄ] 画素位置、画素色度、及び画素輝度のいずれかの関数である画素重み付け関数を用いた前記割当色の分布の重み付け平均値；
[２] さらに、前記支配色の輝度、色度、時間的変化、及び空間的抽出の少なくとも１つを、それぞれの知覚ルールに従って導出して、好適な周辺光放光を生成するステップであって、前記それぞれの知覚ルールは、複数の可能な明示的に指示されたユーザ嗜好の少なくとも１つによって特徴及び効果が変化し、前記知覚ルールは次の[Ｉ]〜[IV]の少なくとも１つを具えているステップと：
[Ｉ] 次の[ａ]〜[ｃ]及び[４]のいずれかから選定した輝度知覚ルール：
[ａ] 輝度の増加；
[ｂ] 輝度の減少；
[ｃ] 輝度の最低値；
[４] 輝度の最高値；
[II] 次の[ａ]〜[ｃ]のいずれかから選定した色度知覚ルール：
[ａ] 単純な色度変換；
[ｂ] さらに、前記ビデオ・コンテンツ中の複数の画素について色度及び輝度のいずれかを評価することによって得られたシーン・コンテンツからの影響を示すように公式化した前記画素重み付け関数を用いた重み付け平均値；
[ｃ] 前記画素重み付け関数を、前記ビデオ・コンテンツ中の複数の画素について色度及び輝度のいずれかを評価することによって得られたシーン・コンテンツの関数として公式化した、前記画素重み付け関数による重み付け平均値を用いた拡張的な支配色抽出であって、前記重み付け関数はさらに、少なくとも主要画素について重み付けが低減されるように公式化されている；
[III] 次の[ａ]、[ｂ]から少なくとも１つ選定した時間的変化知覚ルール：
[ａ] 前記支配色の輝度及び色度の少なくとも一方の変化速度の減少；
[ｂ] 前記支配色の輝度及び色度の少なくとも一方の変化速度の増加；
[IV] 次の[ａ]〜[ｄ]から少なくとも１つ選定した空間的抽出知覚ルール：
[ａ] 前記画素重み付け関数において、新たに出現した特徴部分を含むシーン・コンテンツに、より大きい重みを与えること；
[ｂ] 前記画素重み付け関数において、新たに出現した特徴部分を含むシーン・コンテンツに、より小さい重みを与えること；
[ｃ] 前記画素重み付け関数において、選択した抽出領域からのシーン・コンテンツに、より大きい重みを与えること；
[ｄ] 前記画素重み付け関数において、選択した抽出領域からのシーン・コンテンツに、より小さい重みを与えること；
[３] 前記好適な周辺光放光を、前記演色色空間から、前記周辺光源の駆動を可能にするように形成された第２の演色色空間に変換するステップと
を具えていることを特徴とする支配色抽出方法。
【請求項１６】
前記色度知覚ルールが、明示的に指示されたユーザ嗜好に応答して、前記画素重み付け関数において選択した色度に与える重みを変化させることを特徴とする請求項１５に記載の方法。
【請求項１７】
前記画素重み付け関数が、次のステップ[４]及び[５]によって暗さのサポートを提供するように公式化され：
[４] 前記ビデオ・コンテンツを評価して、前記シーン・コンテンツ中のシーンの明るさが低いことを確立するステップ；
[５] 次の[ａ]及び[ｂ]のいずれかを実行するステップ：
[ａ] さらに、明るい画素の重み付けを低減するように公式化した前記画素重み付け関数を使用すること；
[ｂ] 何もしないで生成される輝度に比べて低減した輝度を用いて得られた支配色を放光すること；
ステップ[５]を実行する程度は、明示的に指示されたユーザ嗜好に応答して変更可能であることを特徴とする請求項１５に記載の方法。
【請求項１８】
前記画素重み付け関数が、次のステップ[６]及び[７]によって色のサポートを提供するように公式化され：
[６] 前記ビデオ・コンテンツを評価して、前記シーン・コンテンツ中のシーンの明るさが高いことを確立するステップ；
[７] そして、次の[ａ]及び[ｂ]のいずれかを実行するステップ：
[ａ] さらに、明るい画素の重み付けを低減するように公式化した前記画素重み付け関数を使用すること；
[ｂ] 請求項１に記載のステップ[２]の[ｃ]を実行すること；
ステップ[７]を実行する程度は、明示的に指示されたユーザ嗜好に応答して変更可能であることを特徴とする請求項１５に記載の方法。
【請求項１９】
前記拡張的な支配色抽出を、前記ビデオ・コンテンツ中の異なるシーンの特徴部分に対して個別に反復して複数の支配色を形成し；
[８] 前記複数の支配色の各々を画素色度として指定して、請求項１に記載のステップ[１]を反復するステップを具え；
ステップ[８]を実行する程度は、明示的に指示されたユーザ嗜好に応答して変更可能であることを特徴とする請求項１５に記載の方法。
【請求項２０】
ユーザ嗜好に応じた知覚ルールを用いて、演色色空間内で符号化されたビデオ・コンテンツから支配色を抽出して、周辺光源によるエミュレーション用の支配色を生成する方法において、
[０] 前記演色色空間において、前記ビデオ・コンテンツからの画素色度の少なくとも一部を量子化して、割当色の分布を形成するステップと；
[１] 前記割当色の分布からの支配色抽出を実行し、次の[ａ]〜[ｄ]のいずれかを抽出することによって支配色を生成するステップと：
[ａ] 前記割当色の分布の最頻値；
[ｂ] 前記割当色の分布の中央値；
[ｃ] 前記割当色の分布の色度による重み付け平均値；
[ｄ] 画素位置、画素色度、及び画素輝度のいずれかの関数である画素重み付け関数を用いた前記割当色の分布の重み付け平均値；
[２] さらに、前記支配色の輝度、色度、時間的変化、及び空間的抽出の少なくとも１つを、それぞれの知覚ルールに従って導出して、好適な周辺光放光を生成するステップであって、前記それぞれの知覚ルールは、複数の可能な明示的に指示されたユーザ嗜好の少なくとも１つによって特徴及び効果が変化し、前記知覚ルールは次の[Ｉ]〜[IV]の少なくとも１つを具えているステップと：
[Ｉ] 次の[ａ]〜[ｃ]及び[４]のいずれかから選定した輝度知覚ルール：
[ａ] 輝度の増加；
[ｂ] 輝度の減少；
[ｃ] 輝度の最低値；
[４] 輝度の最高値；
[II] 次の[ａ]〜[ｃ]のいずれかから選定した色度知覚ルール：
[ａ] 単純な色度変換；
[ｂ] さらに、前記ビデオ・コンテンツ中の複数の画素について色度及び輝度のいずれかを評価することによって得られたシーン・コンテンツからの影響を示すように公式化した前記画素重み付け関数を用いた重み付け平均値；
[ｃ] 前記画素重み付け関数を、前記ビデオ・コンテンツ中の複数の画素について色度及び輝度のいずれかを評価することによって得られたシーン・コンテンツの関数として公式化した、前記画素重み付け関数による重み付け平均値を用いた拡張的な支配色抽出であって、前記重み付け関数はさらに、少なくとも主要画素について重み付けが低減されるように公式化されている；
[III] 次の[ａ]、[ｂ]から少なくとも１つ選定した時間的変化知覚ルール：
[ａ] 前記支配色の輝度及び色度の少なくとも一方の変化速度の減少；
[ｂ] 前記支配色の輝度及び色度の少なくとも一方の変化速度の増加；
[IV] 次の[ａ]〜[ｄ]から少なくとも１つ選定した空間的抽出知覚ルール：
[ａ] 前記画素重み付け関数において、新たに出現した特徴部分を含むシーン・コンテンツに、より大きい重みを与えること；
[ｂ] 前記画素重み付け関数において、新たに出現した特徴部分を含むシーン・コンテンツに、より小さい重みを与えること；
[ｃ] 前記画素重み付け関数において、選択した抽出領域からのシーン・コンテンツに、より大きい重みを与えること；
[ｄ] 前記画素重み付け関数において、選択した抽出領域からのシーン・コンテンツに、より小さい重みを与えること；
[３ａ] 前記支配色を、前記演色色空間から非演色色空間に変換するステップと；
[３ｂ] 前記支配色を、前記非演色色空間から第２の演色色空間に変換するステップとを具え、ステップ[３ａ]及び[３ｂ]は、次のステップ[３ｃ]によって支援される：
[３ｃ] 第１三刺激値原色行列を用いた、前記演色色空間の原色の前記非演色色空間への行列変換、及び第２三刺激値原色行列を用いた、前記第２の演色色空間の原色の前記非演色色空間への行列変換を利用した、
前記演色色行列の原色と、前記第１三刺激値原色行列と、前記第２三刺激値原色行列の逆行列との行列乗算による、色情報の前記第２の演色色空間内への変換を導出するステップ；
ことを特徴とする支配色抽出方法。
【請求項１】
ユーザ嗜好に応じた知覚ルールを用いて、演色色空間内で符号化されたビデオ・コンテンツから支配色を抽出して、周辺光源によるエミュレーション用の支配色を生成する方法において、
[１] 前記演色色空間において、前記ビデオ・コンテンツからの画素色度からの支配色抽出を実行し、次の[ａ]〜[ｄ]のいずれかを抽出することによって支配色を生成するステップと：
[ａ] 前記画素色度の最頻値；
[ｂ] 前記画素色度の中央値；
[ｃ] 前記画素色度の色度による重み付け平均値；
[ｄ] 画素位置、画素色度、及び画素輝度のいずれかの関数である画素重み付け関数を用いた前記画素色度の重み付け平均値；
[２] さらに、前記支配色の輝度、色度、時間的変化、及び空間的抽出の少なくとも１つを、それぞれの知覚ルールに従って導出して、好適な周辺光放光を生成するステップであって、前記それぞれの知覚ルールは、複数の可能な明示的に指示されたユーザ嗜好の少なくとも１つによって特徴及び効果が変化し、前記知覚ルールは次の[Ｉ]〜[IV]の少なくとも１つを具えているステップと：
[Ｉ] 次の[ａ]〜[ｃ]及び[４]〜[６]のいずれかから選定した輝度知覚ルール：
[ａ] 輝度の増加；
[ｂ] 輝度の減少；
[ｃ] 輝度の最低値；
[４] 輝度の最高値；
[５] 輝度の抑制しきい値；
[６] 輝度の変換値；
[II] 次の[ａ]〜[ｃ]のいずれかから選定した色度知覚ルール：
[ａ] 単純な色度変換；
[ｂ] さらに、前記ビデオ・コンテンツ中の複数の画素について色度及び輝度のいずれかを評価することによって得られたシーン・コンテンツからの影響を示すように公式化した前記画素重み付け関数を用いた重み付け平均値；
[ｃ] 前記画素重み付け関数を、前記ビデオ・コンテンツ中の複数の画素について色度及び輝度のいずれかを評価することによって得られたシーン・コンテンツの関数として公式化した、前記画素重み付け関数による重み付け平均値を用いた拡張的な支配色抽出であって、前記重み付け関数はさらに、少なくとも主要画素について重み付けが低減されるように公式化されている；
[III] 次の[ａ]、[ｂ]から少なくとも１つ選定した時間的変化知覚ルール：
[ａ] 前記支配色の輝度及び色度の少なくとも一方の変化速度の減少；
[ｂ] 前記支配色の輝度及び色度の少なくとも一方の変化速度の増加；
[IV] 次の[ａ]〜[ｄ]から少なくとも１つ選定した空間的抽出知覚ルール：
[ａ] 前記画素重み付け関数において、新たに出現した特徴部分を含むシーン・コンテンツに、より大きい重みを与えること；
[ｂ] 前記画素重み付け関数において、新たに出現した特徴部分を含むシーン・コンテンツに、より小さい重みを与えること；
[ｃ] 前記画素重み付け関数において、選択した抽出領域からのシーン・コンテンツに、より大きい重みを与えること；
[ｄ] 前記画素重み付け関数において、選択した抽出領域からのシーン・コンテンツに、より小さい重みを与えること；
[３] 前記好適な周辺光放光を、前記演色色空間から、前記周辺光源の駆動を可能にするように形成された第２の演色色空間に変換するステップと
を具えていることを特徴とする支配色抽出方法。
【請求項２】
前記色度知覚ルールが、明示的に指示されたユーザ嗜好に応答して、選択した色度を除外することを特徴とする請求項１に記載の方法。
【請求項３】
前記色度知覚ルールが、明示的に指示されたユーザ嗜好に応答して、前記画素重み付け関数において、選択した色度に与える重みを変化させることを特徴とする請求項１に記載の方法。
【請求項４】
前記色度知覚ルールが、前記単純な色度変換を用いて、明示的に指示されたユーザ嗜好に応答して前記色度の飽和値を変化させることを含むことを特徴とする請求項１に記載の方法。
【請求項５】
前記画素重み付け関数が、次のステップ[４]及び[５]によって暗さのサポートを提供するように公式化され：
[４] 前記ビデオ・コンテンツを評価して、前記シーン・コンテンツ中のシーンの明るさが低いことを確立するステップ；
[５] 次の[ａ]及び[ｂ]のいずれかを実行するステップ：
[ａ] さらに、明るい画素の重み付けを低減するように公式化した前記画素重み付け関数を使用すること；
[ｂ] 何もしないで生成される輝度に比べて低減した輝度を用いて得られた支配色を放光すること；
ステップ[５]を実行する程度は、明示的に指示されたユーザ嗜好に応答して変更可能であることを特徴とする請求項１に記載の方法。
【請求項６】
前記画素重み付け関数が、次のステップ[６]及び[７]によって色のサポートを提供するように公式化され：
[６] 前記ビデオ・コンテンツを評価して、前記シーン・コンテンツ中のシーンの明るさが高いことを確立するステップ；
[７] そして、次の[ａ]及び[ｂ]のいずれかを実行するステップ：
[ａ] さらに、明るい画素の重み付けを低減するように公式化した前記画素重み付け関数を使用すること；
[ｂ] 請求項１に記載のステップ[２]の[ｃ]を実行すること；
ステップ[７]を実行する程度は、明示的に指示されたユーザ嗜好に応答して変更可能であることを特徴とする請求項１に記載の方法。
【請求項７】
前記時間的変化知覚ルールが、前記ビデオ・コンテンツの少なくとも一部を提供するために使用するビデオ信号からのビデオ・メタデータを記憶することを含むことを特徴とする請求項１に記載の方法。
【請求項８】
前記空間的抽出知覚ルールが、前記選択した抽出領域を、中心領域及び境界領域の一方とすることを含むことを特徴とする請求項１に記載の方法。
【請求項９】
前記拡張的な支配色抽出を、前記ビデオ・コンテンツ中の異なるシーンの特徴部分に対して個別に反復して複数の支配色を形成し；
[８] 前記複数の支配色の各々を画素色度として指定して、請求項１に記載のステップ[１]を反復するステップを具え；
ステップ[８]を実行する程度は、明示的に指示されたユーザ嗜好に応答して変更可能であることを特徴とする請求項１に記載の方法。
【請求項１０】
ステップ[１]の前に、前記演色色空間において、前記ビデオ・コンテンツからの画素色度の少なくとも一部を量子化して割当色の分布を形成し、ステップ[１]中に、前記画素色度の少なくとも一部を前記割当色の分布から得ることを特徴とする請求項１に記載の方法。
【請求項１１】
前記量子化が、前記画素色度を少なくとも１つのスーパー画素にまとめることから成ることを特徴とする請求項１０に記載の方法。
【請求項１２】
前記割当色の少なくとも１つは、必ずしも前記演色色空間内にない領域色ベクトルであることを特徴とする請求項１０に記載の方法。
【請求項１３】
前記割当色の分布中に少なくとも１つの重要色を確立し、該重要色に割り当てられた画素色度を抽出して、前記支配色として指定すべき真の支配色を導出するステップを追加的に具えていることを特徴とする請求項１０に記載の方法。
【請求項１４】
前記明示的に指示されたユーザ嗜好は、次の[１]〜[１３]のいずれかによって指示されたものである：
[１] ユーザ操作のコントローラによって選択した値の反復的な上下の変化；
[２] ユーザ操作のコントローラによって選択した極値；
[３] ユーザ操作のコントローラによって選択した値の高い変化速度；
[４] 周囲空間内の光センサによって受光した光；
[５] 周囲空間内の音響センサによって受けた音；
[６] 周囲空間内の振動センサによって受けた振動；
[７] グラフィカル・ユーザインタフェースで行った選択；
[８] ユーザ操作のコントローラ上で行った選択；
[９] ユーザ操作のコントローラ上での連続的な動作呼出し；
[１０] ユーザ操作のコントローラ上での反復的な動作呼出し；
[１１] ユーザ操作の制御装置内部の圧力センサによる圧力検出；
[１２] ユーザ操作の制御装置内部の動きセンサによる動き検出；
[１３] 前記ビデオ・コンテンツに関連するメタデータ、補助データ、またはサブコードデータのいずれか；
ことを特徴とする請求項１に記載の方法。
【請求項１５】
ユーザ嗜好に応じた知覚ルールを用いて、演色色空間内で符号化されたビデオ・コンテンツから支配色を抽出して、周辺光源によるエミュレーション用の支配色を生成する方法において、
[０] 前記演色色空間において、前記ビデオ・コンテンツからの画素色度の少なくとも一部を量子化して、割当色の分布を形成するステップと；
[１] 前記割当色の分布からの支配色抽出を実行し、次の[ａ]〜[ｄ]のいずれかを抽出することによって支配色を生成するステップと：
[ａ] 前記割当色の分布の最頻値；
[ｂ] 前記割当色の分布の中央値；
[ｃ] 前記割当色の分布の色度による重み付け平均値；
[ｄ] 画素位置、画素色度、及び画素輝度のいずれかの関数である画素重み付け関数を用いた前記割当色の分布の重み付け平均値；
[２] さらに、前記支配色の輝度、色度、時間的変化、及び空間的抽出の少なくとも１つを、それぞれの知覚ルールに従って導出して、好適な周辺光放光を生成するステップであって、前記それぞれの知覚ルールは、複数の可能な明示的に指示されたユーザ嗜好の少なくとも１つによって特徴及び効果が変化し、前記知覚ルールは次の[Ｉ]〜[IV]の少なくとも１つを具えているステップと：
[Ｉ] 次の[ａ]〜[ｃ]及び[４]のいずれかから選定した輝度知覚ルール：
[ａ] 輝度の増加；
[ｂ] 輝度の減少；
[ｃ] 輝度の最低値；
[４] 輝度の最高値；
[II] 次の[ａ]〜[ｃ]のいずれかから選定した色度知覚ルール：
[ａ] 単純な色度変換；
[ｂ] さらに、前記ビデオ・コンテンツ中の複数の画素について色度及び輝度のいずれかを評価することによって得られたシーン・コンテンツからの影響を示すように公式化した前記画素重み付け関数を用いた重み付け平均値；
[ｃ] 前記画素重み付け関数を、前記ビデオ・コンテンツ中の複数の画素について色度及び輝度のいずれかを評価することによって得られたシーン・コンテンツの関数として公式化した、前記画素重み付け関数による重み付け平均値を用いた拡張的な支配色抽出であって、前記重み付け関数はさらに、少なくとも主要画素について重み付けが低減されるように公式化されている；
[III] 次の[ａ]、[ｂ]から少なくとも１つ選定した時間的変化知覚ルール：
[ａ] 前記支配色の輝度及び色度の少なくとも一方の変化速度の減少；
[ｂ] 前記支配色の輝度及び色度の少なくとも一方の変化速度の増加；
[IV] 次の[ａ]〜[ｄ]から少なくとも１つ選定した空間的抽出知覚ルール：
[ａ] 前記画素重み付け関数において、新たに出現した特徴部分を含むシーン・コンテンツに、より大きい重みを与えること；
[ｂ] 前記画素重み付け関数において、新たに出現した特徴部分を含むシーン・コンテンツに、より小さい重みを与えること；
[ｃ] 前記画素重み付け関数において、選択した抽出領域からのシーン・コンテンツに、より大きい重みを与えること；
[ｄ] 前記画素重み付け関数において、選択した抽出領域からのシーン・コンテンツに、より小さい重みを与えること；
[３] 前記好適な周辺光放光を、前記演色色空間から、前記周辺光源の駆動を可能にするように形成された第２の演色色空間に変換するステップと
を具えていることを特徴とする支配色抽出方法。
【請求項１６】
前記色度知覚ルールが、明示的に指示されたユーザ嗜好に応答して、前記画素重み付け関数において選択した色度に与える重みを変化させることを特徴とする請求項１５に記載の方法。
【請求項１７】
前記画素重み付け関数が、次のステップ[４]及び[５]によって暗さのサポートを提供するように公式化され：
[４] 前記ビデオ・コンテンツを評価して、前記シーン・コンテンツ中のシーンの明るさが低いことを確立するステップ；
[５] 次の[ａ]及び[ｂ]のいずれかを実行するステップ：
[ａ] さらに、明るい画素の重み付けを低減するように公式化した前記画素重み付け関数を使用すること；
[ｂ] 何もしないで生成される輝度に比べて低減した輝度を用いて得られた支配色を放光すること；
ステップ[５]を実行する程度は、明示的に指示されたユーザ嗜好に応答して変更可能であることを特徴とする請求項１５に記載の方法。
【請求項１８】
前記画素重み付け関数が、次のステップ[６]及び[７]によって色のサポートを提供するように公式化され：
[６] 前記ビデオ・コンテンツを評価して、前記シーン・コンテンツ中のシーンの明るさが高いことを確立するステップ；
[７] そして、次の[ａ]及び[ｂ]のいずれかを実行するステップ：
[ａ] さらに、明るい画素の重み付けを低減するように公式化した前記画素重み付け関数を使用すること；
[ｂ] 請求項１に記載のステップ[２]の[ｃ]を実行すること；
ステップ[７]を実行する程度は、明示的に指示されたユーザ嗜好に応答して変更可能であることを特徴とする請求項１５に記載の方法。
【請求項１９】
前記拡張的な支配色抽出を、前記ビデオ・コンテンツ中の異なるシーンの特徴部分に対して個別に反復して複数の支配色を形成し；
[８] 前記複数の支配色の各々を画素色度として指定して、請求項１に記載のステップ[１]を反復するステップを具え；
ステップ[８]を実行する程度は、明示的に指示されたユーザ嗜好に応答して変更可能であることを特徴とする請求項１５に記載の方法。
【請求項２０】
ユーザ嗜好に応じた知覚ルールを用いて、演色色空間内で符号化されたビデオ・コンテンツから支配色を抽出して、周辺光源によるエミュレーション用の支配色を生成する方法において、
[０] 前記演色色空間において、前記ビデオ・コンテンツからの画素色度の少なくとも一部を量子化して、割当色の分布を形成するステップと；
[１] 前記割当色の分布からの支配色抽出を実行し、次の[ａ]〜[ｄ]のいずれかを抽出することによって支配色を生成するステップと：
[ａ] 前記割当色の分布の最頻値；
[ｂ] 前記割当色の分布の中央値；
[ｃ] 前記割当色の分布の色度による重み付け平均値；
[ｄ] 画素位置、画素色度、及び画素輝度のいずれかの関数である画素重み付け関数を用いた前記割当色の分布の重み付け平均値；
[２] さらに、前記支配色の輝度、色度、時間的変化、及び空間的抽出の少なくとも１つを、それぞれの知覚ルールに従って導出して、好適な周辺光放光を生成するステップであって、前記それぞれの知覚ルールは、複数の可能な明示的に指示されたユーザ嗜好の少なくとも１つによって特徴及び効果が変化し、前記知覚ルールは次の[Ｉ]〜[IV]の少なくとも１つを具えているステップと：
[Ｉ] 次の[ａ]〜[ｃ]及び[４]のいずれかから選定した輝度知覚ルール：
[ａ] 輝度の増加；
[ｂ] 輝度の減少；
[ｃ] 輝度の最低値；
[４] 輝度の最高値；
[II] 次の[ａ]〜[ｃ]のいずれかから選定した色度知覚ルール：
[ａ] 単純な色度変換；
[ｂ] さらに、前記ビデオ・コンテンツ中の複数の画素について色度及び輝度のいずれかを評価することによって得られたシーン・コンテンツからの影響を示すように公式化した前記画素重み付け関数を用いた重み付け平均値；
[ｃ] 前記画素重み付け関数を、前記ビデオ・コンテンツ中の複数の画素について色度及び輝度のいずれかを評価することによって得られたシーン・コンテンツの関数として公式化した、前記画素重み付け関数による重み付け平均値を用いた拡張的な支配色抽出であって、前記重み付け関数はさらに、少なくとも主要画素について重み付けが低減されるように公式化されている；
[III] 次の[ａ]、[ｂ]から少なくとも１つ選定した時間的変化知覚ルール：
[ａ] 前記支配色の輝度及び色度の少なくとも一方の変化速度の減少；
[ｂ] 前記支配色の輝度及び色度の少なくとも一方の変化速度の増加；
[IV] 次の[ａ]〜[ｄ]から少なくとも１つ選定した空間的抽出知覚ルール：
[ａ] 前記画素重み付け関数において、新たに出現した特徴部分を含むシーン・コンテンツに、より大きい重みを与えること；
[ｂ] 前記画素重み付け関数において、新たに出現した特徴部分を含むシーン・コンテンツに、より小さい重みを与えること；
[ｃ] 前記画素重み付け関数において、選択した抽出領域からのシーン・コンテンツに、より大きい重みを与えること；
[ｄ] 前記画素重み付け関数において、選択した抽出領域からのシーン・コンテンツに、より小さい重みを与えること；
[３ａ] 前記支配色を、前記演色色空間から非演色色空間に変換するステップと；
[３ｂ] 前記支配色を、前記非演色色空間から第２の演色色空間に変換するステップとを具え、ステップ[３ａ]及び[３ｂ]は、次のステップ[３ｃ]によって支援される：
[３ｃ] 第１三刺激値原色行列を用いた、前記演色色空間の原色の前記非演色色空間への行列変換、及び第２三刺激値原色行列を用いた、前記第２の演色色空間の原色の前記非演色色空間への行列変換を利用した、
前記演色色行列の原色と、前記第１三刺激値原色行列と、前記第２三刺激値原色行列の逆行列との行列乗算による、色情報の前記第２の演色色空間内への変換を導出するステップ；
ことを特徴とする支配色抽出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【公表番号】特表２００８−５０５３８４（Ｐ２００８−５０５３８４Ａ）
【公表日】平成２０年２月２１日（２００８．２．２１）
【国際特許分類】
【出願番号】特願２００７−５１８７９９（Ｐ２００７−５１８７９９）
【出願日】平成１７年６月２８日（２００５．６．２８）
【国際出願番号】ＰＣＴ／ＩＢ２００５／０５２１５２
【国際公開番号】ＷＯ２００６／００３６２４
【国際公開日】平成１８年１月１２日（２００６．１．１２）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
【公表日】平成２０年２月２１日（２００８．２．２１）
【国際特許分類】
【出願日】平成１７年６月２８日（２００５．６．２８）
【国際出願番号】ＰＣＴ／ＩＢ２００５／０５２１５２
【国際公開番号】ＷＯ２００６／００３６２４
【国際公開日】平成１８年１月１２日（２００６．１．１２）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
[ Back to top ]