二次元停止画像に対して没入感を生成する方法およびシステム、または没入感を生成するためのファクタ調節方法、イメージコンテンツ分析方法およびスケーリングパラメータ予測方法
【課題】 二次元停止画像に対して没入感を生成する方法およびシステムを開示する。
【解決手段】 イメージに対して没入感を生成する方法は、入力されたイメージの色空間を変換する段階と、背景マスクをロードしてイメージを前景イメージおよび背景イメージに分離する段階と、イメージコンテンツ分析を介して色空間に対する知覚属性に基づいた属性情報を前景イメージまたは背景イメージによって獲得する段階と、属性情報に基づいてスケーリングパラメータを予測する段階と、前記スケーリングパラメータに基づいてイメージを強調する段階とを含む。
【解決手段】 イメージに対して没入感を生成する方法は、入力されたイメージの色空間を変換する段階と、背景マスクをロードしてイメージを前景イメージおよび背景イメージに分離する段階と、イメージコンテンツ分析を介して色空間に対する知覚属性に基づいた属性情報を前景イメージまたは背景イメージによって獲得する段階と、属性情報に基づいてスケーリングパラメータを予測する段階と、前記スケーリングパラメータに基づいてイメージを強調する段階とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、二次元停止画像に対して没入感を生成する方法およびシステム、または没入感を生成するためのファクタ調節方法、イメージコンテンツ分析方法およびスケーリングパラメータ予測方法に関する。
【背景技術】
【０００２】
ＴＶやプロジエクタ、映画などで見られる大型サイズ（例えば、視野角５０゜以上）のディスプレイにおいて、ディスプレイサイズの増加は、人々により高いリアリティ、十分な関連性、または強い存在感を感じさせる一種の没入感を引き起こすものであると言える。このような没入感は、イメージの品質とは別に、イメージに対して極めて高い好感を与えるようになる。
【０００３】
一般的なサイズ（例えば、視野角３０゜以下）のディスプレイでは、同じイメージやビデオコンテンツを再生する他のサイズのディスプレイと比べてみるとき、このような没入感が感じられ難いという問題点がある。
【０００４】
視野角の差が生じる最大の理由は、ディスプレイのサイズ差にある。すなわち、物理的に異なるサイズのディスプレイを見るときに、視野角が相違するためである。例えば、大きいサイズのディスプレイでは、視野角も大きいため、視野角が網膜の大部分をカバーする。これに反し、相対的に小さいサイズのディスプレイでは、視野角も小さいため、視野角は単に網膜の主な部分だけしかカバーできない。
【特許文献１】特許公開平１１−１６７４８７号公報
【特許文献２】大韓民国特許公開第２００３−０８７１９５号公報
【特許文献３】大韓民国特許公開第２００４−０９０３７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、イメージの背景イメージまたは前景イメージにそれぞれ個別的に用いられる４つの独立的なファクタを調節することで、一般的なサイズのディスプレイに対して没入感を生成する没入感生成方法およびシステムを提供することを目的とする。
【０００６】
また、本発明は、イメージの明度（ｂｒｉｇｈｔｎｅｓｓ ｏｒ ｌｉｇｈｔｎｅｓｓ）、彩度（ｓａｔｕｒａｔｉｏｎ ｏｒ ｃｈｒｏｍａ）、および色調を含む知覚属性を用いて属性情報を獲得するイメージ分析を介し、属性情報に基づいてスケーリングパラメータを予測してファクタを調節することで、ディスプレイに対する没入感を生成することができるイメージ分析方法、スケーリングパラメータ予測方法、およびファクタ調節方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一実施形態に係るイメージに対して没入感を生成する方法は、入力されたイメージの色空間を変換する段階と、背景マスクをロードして前記イメージを前景イメージおよび背景イメージに分離する段階と、イメージコンテンツ分析を介して前記色空間に対する知覚属性に基づいた属性情報を前記前景イメージまたは前記背景イメージによって獲得する段階と、前記属性情報に基づいてスケーリングパラメータを予測する段階と、前記スケーリングパラメータに基づいて前記イメージを強調する段階とを含む。
【０００８】
本発明の一側面によれば、入力されたイメージの色空間を変換する前記段階は、ＲＧＢ（Ｒｅｄ−Ｇｒｅｅｎ−Ｂｌｕｅ）デジタル信号を含む色空間を前記知覚属性を含む色空間に変換する段階であり、前記知覚属性は、前記イメージの明度、彩度、および色調のうちの少なくとも１つを含むようになる。
【０００９】
本発明の一側面によれば、背景マスクをロードして前記イメージを前景イメージおよび背景イメージに分離する前記段階は、前記イメージの色情報および周波数（ｆｒｅｑｕｅｎｃｙ）情報に基づいて前記イメージを前記前景イメージおよび前記背景イメージに分離する段階である。
【００１０】
本発明の一側面によれば、前記知覚属性は、前記前景イメージまたは前記背景イメージの明度、彩度、および色調のうちの少なくとも１つを含むようになり、イメージコンテンツ分析を介して前記色空間に対する知覚属性に基づいた属性情報を前記前景イメージまたは前記背景イメージによって獲得する前記段階は、前記明度、前記彩度、または前記色調に基づいて前記属性情報を獲得する段階である。
【００１１】
本発明の一側面によれば、前記属性情報に基づいてスケーリングパラメータを予測する前記段階は、（１）前記前景イメージと前記背景イメージとの間に明度の差の彩度の差に対する第１比率、（２）前記前景イメージおよび前記背景イメージの間に前記彩度の差の前記明度の差に対する第２比率、および（３）前記前景イメージの平均彩度のうちの少なくとも１つを用いて前記スケーリングパラメータを予測する段階である。
【００１２】
本発明の一側面によれば、前記スケーリングパラメータに基づいて前記イメージを強調する前記段階は、（１）前記前景イメージに対する明度強調、（２）前記前景イメージに対する彩度強調、（３）前記前景イメージに対するコントラスト強調、および（４）前記背景イメージに対するソフトブラーのうちの少なくとも１つを介して前記イメージを強調する段階である。
【００１３】
本発明の一実施形態に係るイメージに対する没入感生成に用いられるファクタを調節する方法は、入力されたイメージを前景イメージおよび背景イメージに分離する段階と、前記前景イメージの明度、彩度、およびコントラストのうちの少なくとも１つを強調する段階とを含む。
【００１４】
本発明の一実施形態に係るイメージコンテンツ分析方法は、入力されたイメージの色空間を変換する段階と、背景マスクをロードして前記イメージを前景イメージおよび背景イメージに分離する段階と、前記色空間に対する知覚属性に基づいて前記前景イメージまたは前記背景イメージによる属性情報を獲得する段階とを含む。
【００１５】
本発明の一実施形態に係るスケーリングパラメータ予測方法は、入力されたイメージの変換された色空間に対する知覚属性に基づいて属性情報を獲得する段階と、前記属性情報に基づいて前記イメージの前景イメージまたは背景イメージに対するスケーリングパラメータを予測する段階とを含む。
【発明の効果】
【００１６】
本発明によれば、イメージの背景イメージまたは前景イメージにそれぞれ個別的に用いられる４つの独立的なファクタを調節することで、一般的なサイズのディスプレイに対して没入感を生成することができる。
【００１７】
また、本発明によれば、イメージの明度、彩度、および色調を含む知覚属性を用いて属性情報を獲得し、属性情報に基づいてスケーリングパラメータを予測してファクタを調節することで、ディスプレイに対する没入感を生成することができる。
【発明を実施するための最良の形態】
【００１８】
Ｉ．背景
本発明は、高精細テレビ（ＨＤＴＶ）やデジタルプロジエクタなどの一般的なサイズのディスプレイにおいて没入感を生成するカラーイメージを強調する方法に関する。
【００１９】
人間の視覚システムにおいて、視野角は、網膜に到達して頭に伝達される情報の量を示すのに極めて重要である。このとき、相違する網膜離心率に対する視覚的な反応が均一でないことは周知の事実である。網膜の中心部は、網膜離心率の漸次的な増加に対して余り敏感でない反面、最も正確な情報を反映するものである。このため、大きいサイズのイメージを見るときには、イメージの境界が中心部分に比べて相対的にぼけ、イメージに没入し難くなるという現象が容易に見受けられる。
【００２０】
しかし、視野角３０゜以下の小さいサイズのイメージにおいては、このような現象は明確でない。したがって、イメージの前景および背景は、ディスプレイサイズが増加するほど容易に区分される。すなわち、前景と背景がより明確に区分されるようにすることで、二次元停止画像の没入感を引き起こすことができる。このとき、前景イメージと背景イメージは、没入感の生成においてそれぞれ重要な要素となる。
【００２１】
背景イメージの場合、ソフトブラー（ｓｏｆｔ ｂｌｕｒ）が没入感の生成に用いられるようになる。明度と彩度、また大きい視野角を有するイメージをシミュレーションするために、背景イメージから減少されるようになる。さらに、ディスプレイの視野角の増加は、全体的な色感がさらにうすくかつ明るくなる。また、コントラスト感度も高くなる。このため、明暗、彩度、およびコントラスト感度は、大きいサイズのディスプレイのシミュレーション時に、画質を高めるために必要である。
【００２２】
このような３種類のファクタそれぞれは、前景イメージと背景イメージとの間にさらに大きい差異点を与えるために、前景イメージと背景イメージで互いに異なるように処理されるようになる。例えば、前景イメージにおいては明度（または彩度）が強調される反面、背景イメージの明度（または彩度）が減少し、コントラスト感度は前景イメージでのみ用いられるようになる。
【００２３】
背景イメージに対するソフトブラー、前景イメージに対するコントラスト感度、前景イメージと背景イメージのための明度および彩度という４種類のファクタは、テストイメージに対して個別的またはともに結合されて実行されるようになる。このようなファクタそれぞれに対して等しい強調技法がすべてのテストイメージに採択されるようになる。
【００２４】
このとき、一対比較法（ｐａｉｒ ｃｏｍｐａｒｉｓｏｎ ｍｅｔｈｏｄ）を用いて没入感生成の性能を証明するための精神物理学的な実験が実行される。例えば、観察者がテストページと没入感生成の条件に応じて生成されたイメージとをそれぞれ比較する。実験結果により、４種類のファクタに対する処理のそれぞれが没入感を生成し得ることを明確に証明した。しかし、このような性能は、イメージコンテンツに極めて依存的である。没入感生成の条件が適用されたファクタにおいて結合したファクタの性能は、個別ファクタの性能よりも優れいてた。このとき、没入感生成は、４種類のファクタの間により適合した結合が適用され、さらに没入し得る感覚を発生させるようになる。
【００２５】
したがって、一般的なサイズのディスプレイのための没入感生成を目的とするために、イメージコンテンツに応じて自動的に４つの独立的なイメージ処理を適用することが重要となる。いくつかの研究においては、色相情報の減少がイメージに良くないことが証明されているため、本明細書においては、背景イメージ情報が明度および彩度を処理することにおいて保護されるようにする。その結果として、４つの独立的なファクタに対する処理は次の通りとなる。
【００２６】
１．前景イメージのための彩度強調
２．前景イメージのための明度強調
３．前景イメージのためのコントラスト強調
４．背景イメージのためのソフトブラー
ＩＩ．本発明に係る没入感生成方法
以下、添付の図面を参照して、本発明に係る多様な実施形態を詳しく説明する。
【００２７】
一般的なサイズのディスプレイのためのイメージ強調方法を用いて没入感を生成する際には、格別な注意を払うことが要求される。没入感に影響を与える４つのファクタの大部分が、二次元の停止画像に対して可能な限り多くの没入感を生成するために採択および結合される。イメージ選好が主なイシューであるとは言い難いが、イメージ選好は没入感生成方法の発展と関連がある。しかし、没入感生成方法において、イメージ選好の減少は避けることができる。
【００２８】
本発明において、イメージに対する没入感強調は、人間の３種類の知覚属性に基づいて設計されるようになる。明度、彩度、およびコントラスト感度に対する強調が前景イメージで用いられる間、イメージのソフトブラーは背景イメージで用いられるようになる。１つのイメージコンテンツに対する分析が当該イメージコンテンツに基づいた互いに異なる処理のための互いに異なるスケーリングパラメータを割り当てるために採択されるのである。
【００２９】
図１は、本発明の一実施形態において、没入感生成方法を説明するためのフローチャートである。
【００３０】
段階Ｓ１０１で、２次元停止画像に没入感を生成させる没入感生成システムは、色空間を変換させる。すなわち、没入感を生成するために、ＲＧＢデジタル信号などの元来の色空間は、人間の視覚システムと関連がないため、色空間が直接的に没入感の生成に用いられることはない。
【００３１】
したがって、視覚システムにおいて最終結果を示す明度、彩度、または色調などの人間の知覚属性が没入感の生成に用いられるようになる。互いに異なるフィールドを用いる互いに異なるアプリケーションを介して、ＲＧＢデジタル信号を人間の知覚属性に変換する多くの色空間が存在する。
【００３２】
例えば、変換された色空間として、「ＣＩＥＣＡＭ０２」、「ＣＩＥＬＡＢ」、および「ＨＳＶ」を挙げることができる。「ＣＩＥＣＡＭ０２」は、主に正確な色出現予測に用いられるし、「ＣＩＥＬＡＢ」は、主に色やイメージの差を判断するのに用いられる。また、「ＨＳＶ」は、主にカラーデザインや簡単な産業アプリケーションに用いられる。本発明において、すべての色空間は、ＲＧＢデジタル信号を人間の知覚属性に変換するために採択されるようになる。
【００３３】
下記の表１のように、色空間それぞれに人間の知覚属性の互いに異なる名称と略語が適用されるようになる。例えば、「ＣＩＥＣＡＭ０２」は、数学的モデルと実験的仮定を介して発展されたため、本明細書では略語でＪ、Ｃ、およびＨを用いている。
【００３４】
用いられる互いに異なるモデルにおいて、スケーリングパラメータまたはスレッシュホールドは、たとえ構造と方程式が同じように提示されていたとしても差異点を有する。「ＣＩＥＣＡＭ０２」または「ＣＩＥＬＡＢ」において、ＲＧＢデジタル信号とＣＩＥ比色法（ＣＩＥ ＸＹＺ）との関係に基づく装置キャラクタリゼーションの実行が必要となる。互いに異なるディスプレイのために、互いに異なる方法が用いられるようになる。このとき、最も共通した２つの方法として、ＧＯＧモデルとＰＬＣＣモデルがある。ＧＯＧモデルは、主に陰極線管（ＣＲＴ）ディスプレイのように線形またはパワーガンマ曲線を有する装置で用いられるようになる。また、ＰＬＣＣモデルは、液晶ディスプレイ（ＬＣＤ）または有機発光ダイオード（ＯＬＥＤ）モバイルディスプレイのように不均衡なギャマット曲線を有する装置で用いられるようになる。
【００３５】
【表１】
段階Ｓ１０２で、没入感生成システムは、背景マスクをロードする。背景マスクは、前景イメージと背景イメージを分離するのに用いられるようになる。例えば、デジタルナンバー「０」に前景イメージのピクセルが与えられたことに反し、デジタルナンバー「１」には背景イメージのピクセルが与えられる。このような背景分離は、イメージ処理の分野において長期間に渡って興味が持たれ、様々な研究を介して多くの方法が発展して来た。一般的に、停止画像に対する背景分離は、停止画像に対する色情報および周波数情報を用いて実行されるようになる。前景イメージが複雑なコンテンツを有してより高い周波数を有する反面、背景イメージはより均一である上に低い周波数を有するものと仮定する。このとき、背景分離は、背景イメージの色情報を探知し、当該色情報に基づいて背景イメージの境界を探知した後、境界を平坦にすることで実行されるようになる。
【００３６】
段階Ｓ１０３で、没入感生成システムは、イメージコンテンツを分析する。互いに異なるイメージに対して、イメージコンテンツは重要な差を有するようになる。このとき、上述した４種類の支配的なファクタを用いた没入感の生成に対する性能は、イメージコンテンツによって重要な影響を受ける。言い換えれば、没入感の生成に対する性能は、互いに異なるイメージに等しいイメージ処理を用いるときに差異点を有する。したがって、それぞれのイメージに対する没入感を可能な限り強調するために、イメージコンテンツに基づいたイメージ強調が必須となる。
【００３７】
ソフトブラーの効果が背景イメージの平坦度と極めて連関性が高く、コントラスト強調の性能は、前景イメージの彩度と逆関係にある。また、彩度と明度の強調において、明度および彩度は、それぞれが互いに対して極めて密接な関係にあり、互いに独立的なファクタとして関係することはない。これだけでなく、このような性能は、前景イメージと背景イメージとの間の明度差および彩度差の比率と関連性が極めて高い。したがって、没入感生成システムは、イメージコンテンツの分析を介して、イメージに対する人間の知覚属性に基づいた属性情報を次のように導き出すことができる。
【００３８】
１．前景イメージの平均明度（ＪＭ）
２．前景イメージの平均彩度（ＣＭ）
３．前景イメージと背景イメージとの間の明度差（ΔＪ）
４．前景イメージと背景イメージとの間の彩度差（ΔＣ）
５．背景イメージのイメージ平坦度（Ｓ）
すなわち、前景イメージと背景イメージに基づいて、ＪＭおよびＣＭは、前景イメージの明度と彩度の平均によって獲得される。また、前景イメージと背景イメージとの間に明度と彩度の平均に対する差異を用いることで、ΔＪおよびΔＣが計算されるようになる。
【００３９】
背景イメージのイメージ平坦度において、イメージ平坦度は、背景イメージにおいて柔らかいピクセルの比率として定義されるようになる。このとき、柔らかいピクセルとは、周囲のピクセルが同じ様子を有する任意のピクセルを意味するものである。例えば、任意のピクセルと当該任意のピクセルの周辺ピクセルそれぞれと間に平均色差が１．５以下である場合に、このようなピクセルを柔らかいピクセルとして決定するようになる。ΔＥＣＡＭ０２は、柔らかいピクセルと下記の式（１１）のような関連がある。
【００４０】
【数８】
式（１１）を詳察すれば、「ＣＩＥＬＡＢ」における色差異は、与えられた色空間が「ＣＩＥＬＡＢ」である場合に用いられるようになる。また、ＲＧＢデジタル信号の差異点は、与えられた色空間が「ＨＳＶ」である場合に用いられるようになる。このとき、背景イメージの平坦度は、下記の式（１２）に示されたように、背景イメージにおいて、柔らかいピクセルの総合を全体ピクセルの総合で分った値段として定義されるようになる。
【００４１】
【数９】
式（１１）および式（１２）において、Ｓは背景イメージの平坦度を、Ｓｘ，ｙは柔らかいピクセル（ｘ、ｙ）を、ＢＰは背景イメージの任意のピクセルを、Ｊ、ａｃ、およびｂｃはピクセルのための「ＣＩＥＣＡＭ０２」における色情報をそれぞれ意味するものである。
【００４２】
段階Ｓ１０４で、没入感生成システムは、スケーリングパラメータを予測する。それぞれのイメージコンテンツに基づいて、基本的な属性情報は、没入感を生成するために要約されるようになる。段階Ｓ１０４で、それぞれの没入感生成ファクタのためのスケーリングパラメータは、イメージコンテンツからの情報に基づいて予測されるようになる。
【００４３】
彩度強調において、スケーリングパラメータＫｓ１は、前景イメージと背景イメージとの間の明度の差の彩度の差に対する比率（ΔＪ／ΔＣ）に対して、この比率が確実なスレッシュホールド以下である場合に、極めて密接な関係を有する。このようなスケーリングパラメータは、大きいスケールは彩度の差が小さいときに適用されるのに反し、さらに小さいスケールが与えられたときには、前景イメージと背景イメージとの間のさらに大きい彩度の差という結果を生成する。
【００４４】
彩度のためのスケールは、下記の式（１３）のように予測されるようになる。
【００４５】
【数１０】
明度の強調において、スケーリングパラメータＫＢ１は、前景イメージおよび背景イメージの間に彩度の差の明度の差に対する比率（ΔＣ／ΔＪ）に対し、この比率が確実なスレッシュホールド以下の比率である場合に、関連性が極めて高い。この場合、前景イメージと背景イメージとの間に明度差が小さい場合に大きいスケールが適用されるのに反し、さらに小さい明度のスケールが前景イメージと背景イメージとの間の大きい明度差として用いられる。明度のスケールであるＫＢ１は、下記の式（１４）のように示される線形関係によって予測されるようになる。
【００４６】
【数１１】
コントラスト強調において、スケーリングパラメータＫＣＳ１は、前景イメージの平均彩度と関連性が極めて高い。イメージがイメージの前景イメージにおいて高い彩度を有するときに、より小さいコントラスト強調は、没入感生成が期待されるようになる。この反面、より大きいコントラスト強調は、前景イメージがより明確でないときに期待されるようになる。コントラスト強調のためのスケーリングパラメータは、線形関数を用いた下記の式（１５）によって予測されるようになる。
【００４７】
【数１２】
ソフトブラーにおいて、背景イメージの平坦度Ｓは、スケーリングパラメータとして直接的に用いられるようになる。
【００４８】
段階Ｓ１０５で、没入感生成システムは、イメージの明度を強調する。前景イメージのピクセルにおいて、明度の強調は、下記の式（１６）のように与えられたパワー関数を用いて実行されるようになる。
【００４９】
【数１３】
ここで、ＪｉｎおよびＪｏｕｔは、明度を強調するために入力および出力される明度を意味するものである。また、ＫＢ１およびＫＢ２は、スケーリングパラメータを意味するものである。
【００５０】
図２は、明度を強調する方法を説明するための一例である。グラフ２００で示されるように、パワー関数は、パスポイント（０、０）および（１００、１００）が強制されるようになる。パスポイント（０、０）が対応するディスプレイのダークポイントを示す反面、パスポイント（１００、１００）は、ディスプレイのホワイトポイントを示している。すなわち、グラフ２００は、入力明度と出力明度の関係を説明している。
【００５１】
段階Ｓ１０６で、没入感生成システムは、イメージの彩度を強調する。このとき、前景イメージのそれぞれのピクセルのための彩度強調は、下記の式（１７）のように与えられた線形関数を用いるようになる。
【００５２】
【数１４】
ここで、ＣｉｎおよびＣｏｕｔは、それぞれ彩度強調の処理において入力および出力される彩度を意味するものである。また、ＫＳは、彩度強調のためのスケーリングパラメータを意味するものである。
【００５３】
図３は、彩度を強調する方法を説明するための一例である。グラフ３００に示されるように、式（１７）は、明確でない色の彩度がサイズ効果によって変わるため、ポイント（０、０）が強要される。
【００５４】
段階Ｓ１０７で、没入感生成システムは、イメージのコントラストを強調する。コントラスト強調は、イメージの前景イメージのために与えられた式（１８）ないし式（２２）によって実行されるようになる。前景イメージのコントラストを増加させるために関連したダークカラーの明度は、パワー関数によって減少するようになる。このとき、明度は、前景イメージの平均明度よりも小さい。一方、関連したホワイトカラーの明度は、さらに大きくなるように処理されるようになる。このとき、明度は、前景イメージの平均明度よりも大きい。
【００５５】
【数１５】
ここで、ＪｉｎおよびＪｏｕｔは、コントラスト強調のために入力および出力明度を、ＪＭは前景イメージの平均明度を、ＫＣＳ１およびＫＣＳ２は、ＪＭよりもさらに小さい明度のためのスケーリングパラメータを、ＫＣＬ１、前記ＫＣＬ２、およびＫＣＬ３は、ＪＭよりも大きい明度のためのスケーリングパラメータをそれぞれ意味するものである。
【００５６】
図４は、コントラストを強調する方法を説明するための一例である。グラフ４００に示されるように、明度がＪＭよりも小さい場合に、パワー関数は、ポイント（０、０）および（ＪＭ、ＪＭ）を通過する。もしそうではなければ、パワー関数は、ポイント（ＪＭ、ＪＭ）および（１００、１００）を通過する。
【００５７】
段階Ｓ１０８で、没入感生成システムは、背景イメージに対するソフトブラーを実行する。このとき、背景イメージのためのソフトブラーは、平均フィルタを用いて実行されるようになる。平均フィルタは、背景イメージのそれぞれのピクセルを通過する。また、実行のスケールは、背景イメージの平坦度Ｓに依存的である。没入感生成システムは、平坦度Ｓが８０％以上である場合にソフトブラーを実行しない。例えば、背景イメージのための３×３平均フィルタは、平坦度Ｓが５０％と８０％の間である場合に用いられるようになるし、５×５平均フィルタは、平坦度Ｓが５０％よりも小さい場合に用いられるようになる。
【００５８】
段階Ｓ１０９で、没入感生成システムは、色空間を変換する。
【００５９】
イメージの強調後、没入感生成システムは、前景イメージと背景イメージすべてに対して予測されたＪｏｕｔ、Ｃｏｕｔ、およびＨｏｕｔを用いて新しい没入イメージを結合して生成するようになる。このとき、色空間の変換は、人間の知覚属性をＲＧＢデジタル信号に変換するために実行されるようになる。「ＣＩＥＣＡＭ０２」および「ＣＩＥＬＡＢ」に対する色空間のために、リバース色出現モデルだけでなく、装置キャラクタリゼーションモデルも実行されるようになる。
【００６０】
以上のように、段階Ｓ１０１ないし段階Ｓ１０９を用いることで、イメージに没入感が生成されるように処理することができる。
【００６１】
図５は、本発明の一実施形態において、没入感生成方法を説明するためのブロック図である。
【００６２】
ここで、図１を用いて説明した没入感生成システムは、入力イメージとしてＲｉｎ、Ｇｉｎ、Ｂｉｎの入力を受けて色空間変換２０１過程を処理するようになる。すなわち、ＲＧＢデジタル信号などの元来の色空間は、人間の視覚システムと関連がなく、色空間が直接的に没入感の生成に用いられ得ない。したがって、人間の没入感を生成するために、没入感生成システムは、入力イメージの色空間を明度、彩度、または色調のように人間の知覚属性を有する色空間に変換するようになる。
【００６３】
このとき、色空間変換５０１の出力は、色空間「ＣＩＥＣＡＭ０２」である場合に、上述したようにＪ、Ｃ、Ｈの値を有するようになるし、没入感生成システムは、出力に対して背景マスクをロード５０２して背景イメージ５０３と前景イメージ５０４に分離するようになる。すなわち、Ｊ、Ｃ、およびＨは、それぞれＪＢ、ＣＢ、およびＨＢで表現される背景イメージ５０３とＪＦ、ＣＦ、およびＨＦで表現される前景イメージ５０４とに分離されるようになる。
【００６４】
このように分離された背景イメージ５０３と前景イメージ５０４は、イメージに対するコンテンツ分析５０５を介してイメージに対する人間の知覚属性に基づいた情報を得るようになる。すなわち、ＪＢ、ＣＢ、ＨＢ、ＪＦ、ＣＦ、およびＨＦを分析することで、前景イメージの平均明度ＪＭ、イメージの平均彩度ＣＭ、前景イメージと背景イメージとの間の明度差ΔＪ、前景イメージと背景イメージとの間の彩度差ΔＣ、および背景イメージのイメージ平坦度Ｓのように知覚属性に基づいた情報が得られるようになる。
【００６５】
この後、知覚属性に基づいた情報は、スケーリングパラメータ予測５０６に用いられるようになる。すなわち、上述した式（１３）ないし式（１５）を用いることで、コントラスト強調５０７、明度強調５０８、および彩度強調５０９に必要なスケーリングパラメータを予測するようになる。ソフトブラー５１０は、イメージ平坦度Ｓと背景イメージ５０３とを用いて実行されるようになる。
【００６６】
より詳細に説明すれば、没入感生成システムは、コントラスト強調５０７、明度強調５０８、および彩度強調５０９で予測されたスケーリングパラメータであるＫＣ１、ＫＢ１、およびＫｓ１と前景イメージ５０４であるＪＦ、ＣＦ、およびＨＦを用いて第１結果ＪＦ１、ＣＦ１、およびＨＦ１を得るようになるし、ソフトブラー５１０でイメージ平坦度Ｓと背景イメージ５０３とを用いて第２結果ＪＢ１、ＣＢ１、およびＨＢ１を得るようになる。
【００６７】
最後に、没入感生成システムは、色空間変換５１１を介して第１結果と第２結果を入力イメージなどのＲＧＢデジタル信号であるＲＯＵＴ、ＧＯＵＴ、およびＢＯＵＴに変換することで、入力イメージに没入感を生成することができる。
【００６８】
図６は、本発明の一実施形態において、没入感生成システムの内部構造を説明するためのブロック図である。ここで、図６に示されるように、没入感生成システム６００は、色空間変換部６０１と、背景マスクロード部６０２と、イメージコンテンツ分析部６０３と、スケーリングパラメータ予測部６０４と、明度強調部６０５と、彩度強調部６０６と、コントラスト強調部６０７と、ソフトブラー部６０８とを含むようになる。
【００６９】
色空間変換部６０１は、色空間を変換させる。すなわち、人間の没入感を生成するために、ＲＧＢデジタル信号などの元来の色空間は人間視覚システムと関連がないため、色空間が直接的に没入感の生成に用いることができない。
【００７０】
したがって、視覚システムにおいて最終結果を示す明度、彩度、または色調などの人間の知覚属性が没入感の生成に用いられるようになる。互いに異なるフィールドを用いる互いに異なるアプリケーションを介して、ＲＧＢデジタル信号を人間の知覚属性に変換する多くの色空間が存在する。
【００７１】
例えば、変換された色空間として「ＣＩＥＣＡＭ０２」、「ＣＩＥＬＡＢ」、および「ＨＳＶ」を挙げることができる。「ＣＩＥＣＡＭ０２」は、主に正確な色出現予測に用いられるし、「ＣＩＥＬＡＢ」は、主に色やイメージの差を判断するのに用いられる。また、「ＨＳＶ」は、主にカラーデザインと簡単な産業アプリケーションに用いられるようになる。本発明において、すべての色空間は、ＲＧＢデジタル信号を人間の知覚属性に変換するために採択されるようになる。
【００７２】
背景マスクロード部６０２は、背景マスクをロードする。このとき、背景マスクは、前景イメージと背景イメージを分離するのに用いられるようになる。例えば、デジタルナンバー「０」に前景イメージのピクセルが与えられたことに反し、デジタルナンバー「１」には背景イメージのピクセルが与えられる。このような背景分離は、イメージ処理の分野において長期間に渡って興味が持たれ、様々な研究によって多くの方法が発展してきた。一般的に、停止画像に対する背景分離は、停止画像に対する色情報および周波数情報を用いて実行されるようになる。前景イメージが複雑なコンテンツを有してより高い周波数を有する反面、背景イメージはより均一である上にさらに低い周波数を有するものと仮定する。このとき、背景分離は、背景イメージの色情報を探知し、当該色情報に基づいて背景イメージの境界を探知した後、境界を平坦にさせることで実行されるようになる。
【００７３】
イメージコンテンツ分析部６０３は、イメージコンテンツを分析する。互いに異なるイメージに対して、イメージコンテンツは重要な差を有するようになる。このとき、上述した４種類の支配的なファクタを用いた没入感の生成に対する性能は、イメージコンテンツによって重要な影響を受ける。言い換えれば、没入感の生成に対する性能は、互いに異なるイメージに等しいイメージ処理を用いるときに差を有する。したがって、それぞれのイメージに対する没入感を可能な限り強調するために、イメージコンテンツに基づいたイメージ強調は必須である。
【００７４】
ソフトブラーの効果が背景イメージの平坦度と関連性が極めて高く、コントラスト強調の性能は前景イメージの彩度と逆関係にある。また、彩度と明度の強調において、明度および彩度はそれぞれが互いに対して極めて密接な関係にあり、互いに独立したファクタとして関係し得ない。これだけでなく、性能は、前景イメージと背景イメージとの間の明度差および彩度差の比率と関連性が極めて高い。したがって、没入感生成システムは、イメージコンテンツの分析を介して、イメージに対する人間の知覚属性に基づいた情報を次のように導き出すことができる。
【００７５】
１．前景イメージの平均明度（ＪＭ）
２．前景イメージの平均彩度（ＣＭ）
３．前景イメージと背景イメージとの間の明度差（ΔＪ）
４．前景イメージと背景イメージとの間の彩度差（ΔＣ）
５．背景イメージのイメージ平坦度（Ｓ）
すなわち、前景イメージと背景イメージに基づき、ＪＭおよびＣＭは、前景イメージの明度と彩度の平均を介して獲得される。また、前景イメージと背景イメージとの間に明度と彩度の平均に対する差異を用いることで、ΔＪおよびΔＣを計算できるようになる。
【００７６】
背景イメージのイメージ平坦度において、イメージ平坦度は、背景イメージにおいて柔らかいピクセルの比率として定義されるようになる。このとき、柔らかいピクセルとは、周囲のピクセルが等しい様子を有する任意のピクセルを意味するものである。例えば、任意のピクセルと当該任意のピクセルの周辺ピクセルそれぞれとの間に平均色差が１．５以下である場合に、ピクセルを柔らかいピクセルとして決定するようになる。ΔＥＣＡＭ０２は、柔らかいピクセルと上述した式（１１）のような関連がある。
【００７７】
式（１１）を詳察すれば、「ＣＩＥＬＡＢ」における色差異点は、与えられた色空間が「ＣＩＥＬＡＢ」である場合に用いられるようになる。また、ＲＧＢデジタル信号の差異点は、与えられた色空間が「ＨＳＶ」である場合に用いられるようになる。このとき、背景イメージの平坦度は、上述した式（１２）に示されたように、背景イメージにおいて柔らかいピクセルの総合を全体ピクセルの総合で分った値として定義されるようになる。
【００７８】
式（１１）および式（１２）において、Ｓは背景イメージの平坦度を、Ｓｘ，ｙは柔らかいピクセル（ｘ、ｙ）を、ＢＰは背景イメージの任意のピクセルを、Ｊ、ａｃ、およびｂｃは、ピクセルのための「ＣＩＥＣＡＭ０２」における色情報をそれぞれ意味するものである。
【００７９】
スケーリングパラメータ予測部６０４は、スケーリングパラメータを予測する。それぞれのイメージコンテンツに基づき、基本的な情報は、没入感生成のために要約されるようになる。スケーリングパラメータ予測部６０４は、それぞれの没入感生成ファクタのためのスケーリングパラメータをイメージコンテンツからの情報に基づいて予測することができる。
【００８０】
彩度強調において、スケーリングパラメータＫｓ１は、前景イメージと背景イメージとの間の明度の差と彩度の差の比率（ΔＪ／ΔＣ）に対し、この比率が確実なスレッシュホールド以下である場合に極めて密接な関係を有する。このようなスケーリングパラメータは、大きいスケールは彩度の差が小さいときに適用されるのに反し、より小さいスケールが与えられたときには、前景イメージと背景イメージとの間のさらに大きい彩度の差という結果を生成する。彩度のためのスケールは、上述した式（１３）のように予測されるようになる。
【００８１】
明度の強調において、スケーリングパラメータＫＢ１は、前景イメージおよび背景イメージの間に彩度の差と明度の差の比率（ΔＣ／ΔＪ）に対し、この比率が確実であるスレッシュホールド以下の比率である場合に関連性が極めて高い。この場合に、前景イメージと背景イメージとの間の明度差が小さい場合に大きいスケールが適用されるのに反し、より小さい明度のスケールが前景イメージと背景イメージとの間の大きい明度差として用いられる。明度のスケールであるＫＢ１は、式（１４）のように示される線形関係によって予測されるようになる。
【００８２】
コントラスト強調において、スケーリングパラメータＫＣＳ１は、前景イメージの平均彩度と関連性が極めて高い。イメージが当該イメージの前景イメージにおいて高い彩度を有するとき、さらに小さいコントラスト強調は、没入感生成が期待されるようになる。この反面、さらに大きいコントラスト強調は、前景イメージがより明確でないときに期待されるようになる。コントラスト強調のためのスケーリングパラメータは、線形関数を用いた上述した式（１５）によって予測されるようになる。
【００８３】
ソフトブラーにおいて、背景イメージの平坦度Ｓは、スケーリングパラメータとして直接的に用いられるようになる。
【００８４】
明度強調部６０５は、イメージの明度を強調する。このとき、前景イメージのピクセルにおいて、明度の強調は、上述した式（１６）のように、与えられたパワー関数を用いて実行されるようになる。パワー関数は、パスポイント（０、０）および（１００、１００）が強制されるようになる。この場合、パスポイント（０、０）が対応するディスプレイのダークポイントを示す反面、パスポイント（１００、１００）は、ディスプレイのホワイトポイントを示す。
【００８５】
彩度強調部６０６は、イメージの彩度を強調する。このとき、前景イメージのそれぞれのピクセルのための彩度強調は、上述した式（１７）のように、与えられた線形関数を用いるようになる。ここで、ＣｉｎおよびＣｏｕｔは、それぞれ彩度強調の処理において入力および出力される彩度を意味するものである。また、ＫＳは、彩度強調のためのスケーリングパラメータを意味するものである。式（１７）は、明確でない色の彩度がサイズ効果によって変化するため、ポイント（０、０）が強要される。
【００８６】
コントラスト強調部６０７は、イメージのコントラストを強調する。このとき、コントラスト強調は、イメージの前景イメージのために与えられた上述した式（１８）ないし式（２２）によって実行されるようになる。前景イメージのコントラストを増加させるために関連したダークカラーの明度は、パワー関数によって減少するようになる。このとき、明度は、前景イメージの平均明度よりも小さい。この反面、関連したホワイトカラーの明度は、さらに大きくなるように処理されるようになる。このとき、明度は、前景イメージの平均明度よりも大きい。明度がＪＭよりも小さい場合に、パワー関数は、ポイント（０、０）および（ＪＭ、ＪＭ）を通過する。もしそうではなければ、パワー関数は、ポイント（ＪＭ、ＪＭ）および（１００、１００）を通過する。
【００８７】
ソフトブラー部６０８は、背景イメージに対するソフトブラーを実行する。このとき、背景イメージのためのソフトブラーは、平均フィルタを用いて実行されるようになる。平均フィルタは、背景イメージのそれぞれのピクセルを通過する。また、実行のスケールは、背景イメージの平坦度Ｓに依存的である。没入感生成システムは、平坦度Ｓが８０％以上である場合に、ソフトブラーを実行しない。例えば、背景イメージのための３×３平均フィルタは、平坦度Ｓが５０％と８０％との間の場合に用いられるようになるし、５×５平均フィルタは、平坦度Ｓが５０％よりも小さい場合に用いられるようになる。
【００８８】
イメージの強調後、色空間変換部６０１は、前景イメージと背景イメージすべてに対して予測されたＪｏｕｔ、Ｃｏｕｔ、およびＨｏｕｔを用いて新しい没入イメージを結合して生成するようになる。このとき、色空間の変換は、人間の知覚属性をＲＧＢデジタル信号に変換するために実行されるようになる。
【００８９】
このように、本発明に係る没入感生成方法または没入感生成システムを用いることで、イメージの背景イメージまたは前景イメージにそれぞれ個別的に用いられる４つの独立的なファクタを調節し、一般的なサイズのディスプレイに対して没入感を生成することができる。
【００９０】
イメージに対する没入感生成に用いられるファクタを調節する方法、イメージコンテンツを分析する方法、およびスケーリングパラメータを予測する方法については、既に詳しく説明したため、追加的な説明は省略する。
【００９１】
本発明に係る実施形態は、コンピュータにより具現される多様な動作を実行するためのプログラム命令を含むコンピュータ読み取り可能な媒体を含む。前記媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともできる。前記媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスクおよび磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。前記媒体は、プログラム命令、データ構造などを保存する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体でもある。プログラム命令の例としては、コンパイラによって生成されるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。前記したハードウェア要素は、本発明の動作を実行するために一以上のソフトウェアモジュールとして作動するように構成することができ、その逆もできる。
【００９２】
上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。
【図面の簡単な説明】
【００９３】
【図１】本発明の一実施形態において、没入感生成方法を説明するためのフローチャートである。
【図２】明度を強調する方法を説明するための一例である。
【図３】彩度を強調する方法を説明するための一例である。
【図４】コントラストを強調する方法を説明するための一例である。
【図５】本発明の一実施形態において、没入感生成方法を説明するためのブロック図である。
【図６】本発明の一実施形態において、没入感生成システムの内部構造を説明するためのブロック図である。
【符号の説明】
【００９４】
６００ 没入感生成システム
６０１ 色空間変換部
６０２ 背景マスクロード部
６０３ イメージコンテンツ分析部
６０４ スケーリングパラメータ予測部
６０５ 明度強調部
６０６ 彩度強調部
６０７ コントラスト強調部
６０８ ソフトブラー部
【技術分野】
【０００１】
本発明は、二次元停止画像に対して没入感を生成する方法およびシステム、または没入感を生成するためのファクタ調節方法、イメージコンテンツ分析方法およびスケーリングパラメータ予測方法に関する。
【背景技術】
【０００２】
ＴＶやプロジエクタ、映画などで見られる大型サイズ（例えば、視野角５０゜以上）のディスプレイにおいて、ディスプレイサイズの増加は、人々により高いリアリティ、十分な関連性、または強い存在感を感じさせる一種の没入感を引き起こすものであると言える。このような没入感は、イメージの品質とは別に、イメージに対して極めて高い好感を与えるようになる。
【０００３】
一般的なサイズ（例えば、視野角３０゜以下）のディスプレイでは、同じイメージやビデオコンテンツを再生する他のサイズのディスプレイと比べてみるとき、このような没入感が感じられ難いという問題点がある。
【０００４】
視野角の差が生じる最大の理由は、ディスプレイのサイズ差にある。すなわち、物理的に異なるサイズのディスプレイを見るときに、視野角が相違するためである。例えば、大きいサイズのディスプレイでは、視野角も大きいため、視野角が網膜の大部分をカバーする。これに反し、相対的に小さいサイズのディスプレイでは、視野角も小さいため、視野角は単に網膜の主な部分だけしかカバーできない。
【特許文献１】特許公開平１１−１６７４８７号公報
【特許文献２】大韓民国特許公開第２００３−０８７１９５号公報
【特許文献３】大韓民国特許公開第２００４−０９０３７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、イメージの背景イメージまたは前景イメージにそれぞれ個別的に用いられる４つの独立的なファクタを調節することで、一般的なサイズのディスプレイに対して没入感を生成する没入感生成方法およびシステムを提供することを目的とする。
【０００６】
また、本発明は、イメージの明度（ｂｒｉｇｈｔｎｅｓｓ ｏｒ ｌｉｇｈｔｎｅｓｓ）、彩度（ｓａｔｕｒａｔｉｏｎ ｏｒ ｃｈｒｏｍａ）、および色調を含む知覚属性を用いて属性情報を獲得するイメージ分析を介し、属性情報に基づいてスケーリングパラメータを予測してファクタを調節することで、ディスプレイに対する没入感を生成することができるイメージ分析方法、スケーリングパラメータ予測方法、およびファクタ調節方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一実施形態に係るイメージに対して没入感を生成する方法は、入力されたイメージの色空間を変換する段階と、背景マスクをロードして前記イメージを前景イメージおよび背景イメージに分離する段階と、イメージコンテンツ分析を介して前記色空間に対する知覚属性に基づいた属性情報を前記前景イメージまたは前記背景イメージによって獲得する段階と、前記属性情報に基づいてスケーリングパラメータを予測する段階と、前記スケーリングパラメータに基づいて前記イメージを強調する段階とを含む。
【０００８】
本発明の一側面によれば、入力されたイメージの色空間を変換する前記段階は、ＲＧＢ（Ｒｅｄ−Ｇｒｅｅｎ−Ｂｌｕｅ）デジタル信号を含む色空間を前記知覚属性を含む色空間に変換する段階であり、前記知覚属性は、前記イメージの明度、彩度、および色調のうちの少なくとも１つを含むようになる。
【０００９】
本発明の一側面によれば、背景マスクをロードして前記イメージを前景イメージおよび背景イメージに分離する前記段階は、前記イメージの色情報および周波数（ｆｒｅｑｕｅｎｃｙ）情報に基づいて前記イメージを前記前景イメージおよび前記背景イメージに分離する段階である。
【００１０】
本発明の一側面によれば、前記知覚属性は、前記前景イメージまたは前記背景イメージの明度、彩度、および色調のうちの少なくとも１つを含むようになり、イメージコンテンツ分析を介して前記色空間に対する知覚属性に基づいた属性情報を前記前景イメージまたは前記背景イメージによって獲得する前記段階は、前記明度、前記彩度、または前記色調に基づいて前記属性情報を獲得する段階である。
【００１１】
本発明の一側面によれば、前記属性情報に基づいてスケーリングパラメータを予測する前記段階は、（１）前記前景イメージと前記背景イメージとの間に明度の差の彩度の差に対する第１比率、（２）前記前景イメージおよび前記背景イメージの間に前記彩度の差の前記明度の差に対する第２比率、および（３）前記前景イメージの平均彩度のうちの少なくとも１つを用いて前記スケーリングパラメータを予測する段階である。
【００１２】
本発明の一側面によれば、前記スケーリングパラメータに基づいて前記イメージを強調する前記段階は、（１）前記前景イメージに対する明度強調、（２）前記前景イメージに対する彩度強調、（３）前記前景イメージに対するコントラスト強調、および（４）前記背景イメージに対するソフトブラーのうちの少なくとも１つを介して前記イメージを強調する段階である。
【００１３】
本発明の一実施形態に係るイメージに対する没入感生成に用いられるファクタを調節する方法は、入力されたイメージを前景イメージおよび背景イメージに分離する段階と、前記前景イメージの明度、彩度、およびコントラストのうちの少なくとも１つを強調する段階とを含む。
【００１４】
本発明の一実施形態に係るイメージコンテンツ分析方法は、入力されたイメージの色空間を変換する段階と、背景マスクをロードして前記イメージを前景イメージおよび背景イメージに分離する段階と、前記色空間に対する知覚属性に基づいて前記前景イメージまたは前記背景イメージによる属性情報を獲得する段階とを含む。
【００１５】
本発明の一実施形態に係るスケーリングパラメータ予測方法は、入力されたイメージの変換された色空間に対する知覚属性に基づいて属性情報を獲得する段階と、前記属性情報に基づいて前記イメージの前景イメージまたは背景イメージに対するスケーリングパラメータを予測する段階とを含む。
【発明の効果】
【００１６】
本発明によれば、イメージの背景イメージまたは前景イメージにそれぞれ個別的に用いられる４つの独立的なファクタを調節することで、一般的なサイズのディスプレイに対して没入感を生成することができる。
【００１７】
また、本発明によれば、イメージの明度、彩度、および色調を含む知覚属性を用いて属性情報を獲得し、属性情報に基づいてスケーリングパラメータを予測してファクタを調節することで、ディスプレイに対する没入感を生成することができる。
【発明を実施するための最良の形態】
【００１８】
Ｉ．背景
本発明は、高精細テレビ（ＨＤＴＶ）やデジタルプロジエクタなどの一般的なサイズのディスプレイにおいて没入感を生成するカラーイメージを強調する方法に関する。
【００１９】
人間の視覚システムにおいて、視野角は、網膜に到達して頭に伝達される情報の量を示すのに極めて重要である。このとき、相違する網膜離心率に対する視覚的な反応が均一でないことは周知の事実である。網膜の中心部は、網膜離心率の漸次的な増加に対して余り敏感でない反面、最も正確な情報を反映するものである。このため、大きいサイズのイメージを見るときには、イメージの境界が中心部分に比べて相対的にぼけ、イメージに没入し難くなるという現象が容易に見受けられる。
【００２０】
しかし、視野角３０゜以下の小さいサイズのイメージにおいては、このような現象は明確でない。したがって、イメージの前景および背景は、ディスプレイサイズが増加するほど容易に区分される。すなわち、前景と背景がより明確に区分されるようにすることで、二次元停止画像の没入感を引き起こすことができる。このとき、前景イメージと背景イメージは、没入感の生成においてそれぞれ重要な要素となる。
【００２１】
背景イメージの場合、ソフトブラー（ｓｏｆｔ ｂｌｕｒ）が没入感の生成に用いられるようになる。明度と彩度、また大きい視野角を有するイメージをシミュレーションするために、背景イメージから減少されるようになる。さらに、ディスプレイの視野角の増加は、全体的な色感がさらにうすくかつ明るくなる。また、コントラスト感度も高くなる。このため、明暗、彩度、およびコントラスト感度は、大きいサイズのディスプレイのシミュレーション時に、画質を高めるために必要である。
【００２２】
このような３種類のファクタそれぞれは、前景イメージと背景イメージとの間にさらに大きい差異点を与えるために、前景イメージと背景イメージで互いに異なるように処理されるようになる。例えば、前景イメージにおいては明度（または彩度）が強調される反面、背景イメージの明度（または彩度）が減少し、コントラスト感度は前景イメージでのみ用いられるようになる。
【００２３】
背景イメージに対するソフトブラー、前景イメージに対するコントラスト感度、前景イメージと背景イメージのための明度および彩度という４種類のファクタは、テストイメージに対して個別的またはともに結合されて実行されるようになる。このようなファクタそれぞれに対して等しい強調技法がすべてのテストイメージに採択されるようになる。
【００２４】
このとき、一対比較法（ｐａｉｒ ｃｏｍｐａｒｉｓｏｎ ｍｅｔｈｏｄ）を用いて没入感生成の性能を証明するための精神物理学的な実験が実行される。例えば、観察者がテストページと没入感生成の条件に応じて生成されたイメージとをそれぞれ比較する。実験結果により、４種類のファクタに対する処理のそれぞれが没入感を生成し得ることを明確に証明した。しかし、このような性能は、イメージコンテンツに極めて依存的である。没入感生成の条件が適用されたファクタにおいて結合したファクタの性能は、個別ファクタの性能よりも優れいてた。このとき、没入感生成は、４種類のファクタの間により適合した結合が適用され、さらに没入し得る感覚を発生させるようになる。
【００２５】
したがって、一般的なサイズのディスプレイのための没入感生成を目的とするために、イメージコンテンツに応じて自動的に４つの独立的なイメージ処理を適用することが重要となる。いくつかの研究においては、色相情報の減少がイメージに良くないことが証明されているため、本明細書においては、背景イメージ情報が明度および彩度を処理することにおいて保護されるようにする。その結果として、４つの独立的なファクタに対する処理は次の通りとなる。
【００２６】
１．前景イメージのための彩度強調
２．前景イメージのための明度強調
３．前景イメージのためのコントラスト強調
４．背景イメージのためのソフトブラー
ＩＩ．本発明に係る没入感生成方法
以下、添付の図面を参照して、本発明に係る多様な実施形態を詳しく説明する。
【００２７】
一般的なサイズのディスプレイのためのイメージ強調方法を用いて没入感を生成する際には、格別な注意を払うことが要求される。没入感に影響を与える４つのファクタの大部分が、二次元の停止画像に対して可能な限り多くの没入感を生成するために採択および結合される。イメージ選好が主なイシューであるとは言い難いが、イメージ選好は没入感生成方法の発展と関連がある。しかし、没入感生成方法において、イメージ選好の減少は避けることができる。
【００２８】
本発明において、イメージに対する没入感強調は、人間の３種類の知覚属性に基づいて設計されるようになる。明度、彩度、およびコントラスト感度に対する強調が前景イメージで用いられる間、イメージのソフトブラーは背景イメージで用いられるようになる。１つのイメージコンテンツに対する分析が当該イメージコンテンツに基づいた互いに異なる処理のための互いに異なるスケーリングパラメータを割り当てるために採択されるのである。
【００２９】
図１は、本発明の一実施形態において、没入感生成方法を説明するためのフローチャートである。
【００３０】
段階Ｓ１０１で、２次元停止画像に没入感を生成させる没入感生成システムは、色空間を変換させる。すなわち、没入感を生成するために、ＲＧＢデジタル信号などの元来の色空間は、人間の視覚システムと関連がないため、色空間が直接的に没入感の生成に用いられることはない。
【００３１】
したがって、視覚システムにおいて最終結果を示す明度、彩度、または色調などの人間の知覚属性が没入感の生成に用いられるようになる。互いに異なるフィールドを用いる互いに異なるアプリケーションを介して、ＲＧＢデジタル信号を人間の知覚属性に変換する多くの色空間が存在する。
【００３２】
例えば、変換された色空間として、「ＣＩＥＣＡＭ０２」、「ＣＩＥＬＡＢ」、および「ＨＳＶ」を挙げることができる。「ＣＩＥＣＡＭ０２」は、主に正確な色出現予測に用いられるし、「ＣＩＥＬＡＢ」は、主に色やイメージの差を判断するのに用いられる。また、「ＨＳＶ」は、主にカラーデザインや簡単な産業アプリケーションに用いられる。本発明において、すべての色空間は、ＲＧＢデジタル信号を人間の知覚属性に変換するために採択されるようになる。
【００３３】
下記の表１のように、色空間それぞれに人間の知覚属性の互いに異なる名称と略語が適用されるようになる。例えば、「ＣＩＥＣＡＭ０２」は、数学的モデルと実験的仮定を介して発展されたため、本明細書では略語でＪ、Ｃ、およびＨを用いている。
【００３４】
用いられる互いに異なるモデルにおいて、スケーリングパラメータまたはスレッシュホールドは、たとえ構造と方程式が同じように提示されていたとしても差異点を有する。「ＣＩＥＣＡＭ０２」または「ＣＩＥＬＡＢ」において、ＲＧＢデジタル信号とＣＩＥ比色法（ＣＩＥ ＸＹＺ）との関係に基づく装置キャラクタリゼーションの実行が必要となる。互いに異なるディスプレイのために、互いに異なる方法が用いられるようになる。このとき、最も共通した２つの方法として、ＧＯＧモデルとＰＬＣＣモデルがある。ＧＯＧモデルは、主に陰極線管（ＣＲＴ）ディスプレイのように線形またはパワーガンマ曲線を有する装置で用いられるようになる。また、ＰＬＣＣモデルは、液晶ディスプレイ（ＬＣＤ）または有機発光ダイオード（ＯＬＥＤ）モバイルディスプレイのように不均衡なギャマット曲線を有する装置で用いられるようになる。
【００３５】
【表１】
段階Ｓ１０２で、没入感生成システムは、背景マスクをロードする。背景マスクは、前景イメージと背景イメージを分離するのに用いられるようになる。例えば、デジタルナンバー「０」に前景イメージのピクセルが与えられたことに反し、デジタルナンバー「１」には背景イメージのピクセルが与えられる。このような背景分離は、イメージ処理の分野において長期間に渡って興味が持たれ、様々な研究を介して多くの方法が発展して来た。一般的に、停止画像に対する背景分離は、停止画像に対する色情報および周波数情報を用いて実行されるようになる。前景イメージが複雑なコンテンツを有してより高い周波数を有する反面、背景イメージはより均一である上に低い周波数を有するものと仮定する。このとき、背景分離は、背景イメージの色情報を探知し、当該色情報に基づいて背景イメージの境界を探知した後、境界を平坦にすることで実行されるようになる。
【００３６】
段階Ｓ１０３で、没入感生成システムは、イメージコンテンツを分析する。互いに異なるイメージに対して、イメージコンテンツは重要な差を有するようになる。このとき、上述した４種類の支配的なファクタを用いた没入感の生成に対する性能は、イメージコンテンツによって重要な影響を受ける。言い換えれば、没入感の生成に対する性能は、互いに異なるイメージに等しいイメージ処理を用いるときに差異点を有する。したがって、それぞれのイメージに対する没入感を可能な限り強調するために、イメージコンテンツに基づいたイメージ強調が必須となる。
【００３７】
ソフトブラーの効果が背景イメージの平坦度と極めて連関性が高く、コントラスト強調の性能は、前景イメージの彩度と逆関係にある。また、彩度と明度の強調において、明度および彩度は、それぞれが互いに対して極めて密接な関係にあり、互いに独立的なファクタとして関係することはない。これだけでなく、このような性能は、前景イメージと背景イメージとの間の明度差および彩度差の比率と関連性が極めて高い。したがって、没入感生成システムは、イメージコンテンツの分析を介して、イメージに対する人間の知覚属性に基づいた属性情報を次のように導き出すことができる。
【００３８】
１．前景イメージの平均明度（ＪＭ）
２．前景イメージの平均彩度（ＣＭ）
３．前景イメージと背景イメージとの間の明度差（ΔＪ）
４．前景イメージと背景イメージとの間の彩度差（ΔＣ）
５．背景イメージのイメージ平坦度（Ｓ）
すなわち、前景イメージと背景イメージに基づいて、ＪＭおよびＣＭは、前景イメージの明度と彩度の平均によって獲得される。また、前景イメージと背景イメージとの間に明度と彩度の平均に対する差異を用いることで、ΔＪおよびΔＣが計算されるようになる。
【００３９】
背景イメージのイメージ平坦度において、イメージ平坦度は、背景イメージにおいて柔らかいピクセルの比率として定義されるようになる。このとき、柔らかいピクセルとは、周囲のピクセルが同じ様子を有する任意のピクセルを意味するものである。例えば、任意のピクセルと当該任意のピクセルの周辺ピクセルそれぞれと間に平均色差が１．５以下である場合に、このようなピクセルを柔らかいピクセルとして決定するようになる。ΔＥＣＡＭ０２は、柔らかいピクセルと下記の式（１１）のような関連がある。
【００４０】
【数８】
式（１１）を詳察すれば、「ＣＩＥＬＡＢ」における色差異は、与えられた色空間が「ＣＩＥＬＡＢ」である場合に用いられるようになる。また、ＲＧＢデジタル信号の差異点は、与えられた色空間が「ＨＳＶ」である場合に用いられるようになる。このとき、背景イメージの平坦度は、下記の式（１２）に示されたように、背景イメージにおいて、柔らかいピクセルの総合を全体ピクセルの総合で分った値段として定義されるようになる。
【００４１】
【数９】
式（１１）および式（１２）において、Ｓは背景イメージの平坦度を、Ｓｘ，ｙは柔らかいピクセル（ｘ、ｙ）を、ＢＰは背景イメージの任意のピクセルを、Ｊ、ａｃ、およびｂｃはピクセルのための「ＣＩＥＣＡＭ０２」における色情報をそれぞれ意味するものである。
【００４２】
段階Ｓ１０４で、没入感生成システムは、スケーリングパラメータを予測する。それぞれのイメージコンテンツに基づいて、基本的な属性情報は、没入感を生成するために要約されるようになる。段階Ｓ１０４で、それぞれの没入感生成ファクタのためのスケーリングパラメータは、イメージコンテンツからの情報に基づいて予測されるようになる。
【００４３】
彩度強調において、スケーリングパラメータＫｓ１は、前景イメージと背景イメージとの間の明度の差の彩度の差に対する比率（ΔＪ／ΔＣ）に対して、この比率が確実なスレッシュホールド以下である場合に、極めて密接な関係を有する。このようなスケーリングパラメータは、大きいスケールは彩度の差が小さいときに適用されるのに反し、さらに小さいスケールが与えられたときには、前景イメージと背景イメージとの間のさらに大きい彩度の差という結果を生成する。
【００４４】
彩度のためのスケールは、下記の式（１３）のように予測されるようになる。
【００４５】
【数１０】
明度の強調において、スケーリングパラメータＫＢ１は、前景イメージおよび背景イメージの間に彩度の差の明度の差に対する比率（ΔＣ／ΔＪ）に対し、この比率が確実なスレッシュホールド以下の比率である場合に、関連性が極めて高い。この場合、前景イメージと背景イメージとの間に明度差が小さい場合に大きいスケールが適用されるのに反し、さらに小さい明度のスケールが前景イメージと背景イメージとの間の大きい明度差として用いられる。明度のスケールであるＫＢ１は、下記の式（１４）のように示される線形関係によって予測されるようになる。
【００４６】
【数１１】
コントラスト強調において、スケーリングパラメータＫＣＳ１は、前景イメージの平均彩度と関連性が極めて高い。イメージがイメージの前景イメージにおいて高い彩度を有するときに、より小さいコントラスト強調は、没入感生成が期待されるようになる。この反面、より大きいコントラスト強調は、前景イメージがより明確でないときに期待されるようになる。コントラスト強調のためのスケーリングパラメータは、線形関数を用いた下記の式（１５）によって予測されるようになる。
【００４７】
【数１２】
ソフトブラーにおいて、背景イメージの平坦度Ｓは、スケーリングパラメータとして直接的に用いられるようになる。
【００４８】
段階Ｓ１０５で、没入感生成システムは、イメージの明度を強調する。前景イメージのピクセルにおいて、明度の強調は、下記の式（１６）のように与えられたパワー関数を用いて実行されるようになる。
【００４９】
【数１３】
ここで、ＪｉｎおよびＪｏｕｔは、明度を強調するために入力および出力される明度を意味するものである。また、ＫＢ１およびＫＢ２は、スケーリングパラメータを意味するものである。
【００５０】
図２は、明度を強調する方法を説明するための一例である。グラフ２００で示されるように、パワー関数は、パスポイント（０、０）および（１００、１００）が強制されるようになる。パスポイント（０、０）が対応するディスプレイのダークポイントを示す反面、パスポイント（１００、１００）は、ディスプレイのホワイトポイントを示している。すなわち、グラフ２００は、入力明度と出力明度の関係を説明している。
【００５１】
段階Ｓ１０６で、没入感生成システムは、イメージの彩度を強調する。このとき、前景イメージのそれぞれのピクセルのための彩度強調は、下記の式（１７）のように与えられた線形関数を用いるようになる。
【００５２】
【数１４】
ここで、ＣｉｎおよびＣｏｕｔは、それぞれ彩度強調の処理において入力および出力される彩度を意味するものである。また、ＫＳは、彩度強調のためのスケーリングパラメータを意味するものである。
【００５３】
図３は、彩度を強調する方法を説明するための一例である。グラフ３００に示されるように、式（１７）は、明確でない色の彩度がサイズ効果によって変わるため、ポイント（０、０）が強要される。
【００５４】
段階Ｓ１０７で、没入感生成システムは、イメージのコントラストを強調する。コントラスト強調は、イメージの前景イメージのために与えられた式（１８）ないし式（２２）によって実行されるようになる。前景イメージのコントラストを増加させるために関連したダークカラーの明度は、パワー関数によって減少するようになる。このとき、明度は、前景イメージの平均明度よりも小さい。一方、関連したホワイトカラーの明度は、さらに大きくなるように処理されるようになる。このとき、明度は、前景イメージの平均明度よりも大きい。
【００５５】
【数１５】
ここで、ＪｉｎおよびＪｏｕｔは、コントラスト強調のために入力および出力明度を、ＪＭは前景イメージの平均明度を、ＫＣＳ１およびＫＣＳ２は、ＪＭよりもさらに小さい明度のためのスケーリングパラメータを、ＫＣＬ１、前記ＫＣＬ２、およびＫＣＬ３は、ＪＭよりも大きい明度のためのスケーリングパラメータをそれぞれ意味するものである。
【００５６】
図４は、コントラストを強調する方法を説明するための一例である。グラフ４００に示されるように、明度がＪＭよりも小さい場合に、パワー関数は、ポイント（０、０）および（ＪＭ、ＪＭ）を通過する。もしそうではなければ、パワー関数は、ポイント（ＪＭ、ＪＭ）および（１００、１００）を通過する。
【００５７】
段階Ｓ１０８で、没入感生成システムは、背景イメージに対するソフトブラーを実行する。このとき、背景イメージのためのソフトブラーは、平均フィルタを用いて実行されるようになる。平均フィルタは、背景イメージのそれぞれのピクセルを通過する。また、実行のスケールは、背景イメージの平坦度Ｓに依存的である。没入感生成システムは、平坦度Ｓが８０％以上である場合にソフトブラーを実行しない。例えば、背景イメージのための３×３平均フィルタは、平坦度Ｓが５０％と８０％の間である場合に用いられるようになるし、５×５平均フィルタは、平坦度Ｓが５０％よりも小さい場合に用いられるようになる。
【００５８】
段階Ｓ１０９で、没入感生成システムは、色空間を変換する。
【００５９】
イメージの強調後、没入感生成システムは、前景イメージと背景イメージすべてに対して予測されたＪｏｕｔ、Ｃｏｕｔ、およびＨｏｕｔを用いて新しい没入イメージを結合して生成するようになる。このとき、色空間の変換は、人間の知覚属性をＲＧＢデジタル信号に変換するために実行されるようになる。「ＣＩＥＣＡＭ０２」および「ＣＩＥＬＡＢ」に対する色空間のために、リバース色出現モデルだけでなく、装置キャラクタリゼーションモデルも実行されるようになる。
【００６０】
以上のように、段階Ｓ１０１ないし段階Ｓ１０９を用いることで、イメージに没入感が生成されるように処理することができる。
【００６１】
図５は、本発明の一実施形態において、没入感生成方法を説明するためのブロック図である。
【００６２】
ここで、図１を用いて説明した没入感生成システムは、入力イメージとしてＲｉｎ、Ｇｉｎ、Ｂｉｎの入力を受けて色空間変換２０１過程を処理するようになる。すなわち、ＲＧＢデジタル信号などの元来の色空間は、人間の視覚システムと関連がなく、色空間が直接的に没入感の生成に用いられ得ない。したがって、人間の没入感を生成するために、没入感生成システムは、入力イメージの色空間を明度、彩度、または色調のように人間の知覚属性を有する色空間に変換するようになる。
【００６３】
このとき、色空間変換５０１の出力は、色空間「ＣＩＥＣＡＭ０２」である場合に、上述したようにＪ、Ｃ、Ｈの値を有するようになるし、没入感生成システムは、出力に対して背景マスクをロード５０２して背景イメージ５０３と前景イメージ５０４に分離するようになる。すなわち、Ｊ、Ｃ、およびＨは、それぞれＪＢ、ＣＢ、およびＨＢで表現される背景イメージ５０３とＪＦ、ＣＦ、およびＨＦで表現される前景イメージ５０４とに分離されるようになる。
【００６４】
このように分離された背景イメージ５０３と前景イメージ５０４は、イメージに対するコンテンツ分析５０５を介してイメージに対する人間の知覚属性に基づいた情報を得るようになる。すなわち、ＪＢ、ＣＢ、ＨＢ、ＪＦ、ＣＦ、およびＨＦを分析することで、前景イメージの平均明度ＪＭ、イメージの平均彩度ＣＭ、前景イメージと背景イメージとの間の明度差ΔＪ、前景イメージと背景イメージとの間の彩度差ΔＣ、および背景イメージのイメージ平坦度Ｓのように知覚属性に基づいた情報が得られるようになる。
【００６５】
この後、知覚属性に基づいた情報は、スケーリングパラメータ予測５０６に用いられるようになる。すなわち、上述した式（１３）ないし式（１５）を用いることで、コントラスト強調５０７、明度強調５０８、および彩度強調５０９に必要なスケーリングパラメータを予測するようになる。ソフトブラー５１０は、イメージ平坦度Ｓと背景イメージ５０３とを用いて実行されるようになる。
【００６６】
より詳細に説明すれば、没入感生成システムは、コントラスト強調５０７、明度強調５０８、および彩度強調５０９で予測されたスケーリングパラメータであるＫＣ１、ＫＢ１、およびＫｓ１と前景イメージ５０４であるＪＦ、ＣＦ、およびＨＦを用いて第１結果ＪＦ１、ＣＦ１、およびＨＦ１を得るようになるし、ソフトブラー５１０でイメージ平坦度Ｓと背景イメージ５０３とを用いて第２結果ＪＢ１、ＣＢ１、およびＨＢ１を得るようになる。
【００６７】
最後に、没入感生成システムは、色空間変換５１１を介して第１結果と第２結果を入力イメージなどのＲＧＢデジタル信号であるＲＯＵＴ、ＧＯＵＴ、およびＢＯＵＴに変換することで、入力イメージに没入感を生成することができる。
【００６８】
図６は、本発明の一実施形態において、没入感生成システムの内部構造を説明するためのブロック図である。ここで、図６に示されるように、没入感生成システム６００は、色空間変換部６０１と、背景マスクロード部６０２と、イメージコンテンツ分析部６０３と、スケーリングパラメータ予測部６０４と、明度強調部６０５と、彩度強調部６０６と、コントラスト強調部６０７と、ソフトブラー部６０８とを含むようになる。
【００６９】
色空間変換部６０１は、色空間を変換させる。すなわち、人間の没入感を生成するために、ＲＧＢデジタル信号などの元来の色空間は人間視覚システムと関連がないため、色空間が直接的に没入感の生成に用いることができない。
【００７０】
したがって、視覚システムにおいて最終結果を示す明度、彩度、または色調などの人間の知覚属性が没入感の生成に用いられるようになる。互いに異なるフィールドを用いる互いに異なるアプリケーションを介して、ＲＧＢデジタル信号を人間の知覚属性に変換する多くの色空間が存在する。
【００７１】
例えば、変換された色空間として「ＣＩＥＣＡＭ０２」、「ＣＩＥＬＡＢ」、および「ＨＳＶ」を挙げることができる。「ＣＩＥＣＡＭ０２」は、主に正確な色出現予測に用いられるし、「ＣＩＥＬＡＢ」は、主に色やイメージの差を判断するのに用いられる。また、「ＨＳＶ」は、主にカラーデザインと簡単な産業アプリケーションに用いられるようになる。本発明において、すべての色空間は、ＲＧＢデジタル信号を人間の知覚属性に変換するために採択されるようになる。
【００７２】
背景マスクロード部６０２は、背景マスクをロードする。このとき、背景マスクは、前景イメージと背景イメージを分離するのに用いられるようになる。例えば、デジタルナンバー「０」に前景イメージのピクセルが与えられたことに反し、デジタルナンバー「１」には背景イメージのピクセルが与えられる。このような背景分離は、イメージ処理の分野において長期間に渡って興味が持たれ、様々な研究によって多くの方法が発展してきた。一般的に、停止画像に対する背景分離は、停止画像に対する色情報および周波数情報を用いて実行されるようになる。前景イメージが複雑なコンテンツを有してより高い周波数を有する反面、背景イメージはより均一である上にさらに低い周波数を有するものと仮定する。このとき、背景分離は、背景イメージの色情報を探知し、当該色情報に基づいて背景イメージの境界を探知した後、境界を平坦にさせることで実行されるようになる。
【００７３】
イメージコンテンツ分析部６０３は、イメージコンテンツを分析する。互いに異なるイメージに対して、イメージコンテンツは重要な差を有するようになる。このとき、上述した４種類の支配的なファクタを用いた没入感の生成に対する性能は、イメージコンテンツによって重要な影響を受ける。言い換えれば、没入感の生成に対する性能は、互いに異なるイメージに等しいイメージ処理を用いるときに差を有する。したがって、それぞれのイメージに対する没入感を可能な限り強調するために、イメージコンテンツに基づいたイメージ強調は必須である。
【００７４】
ソフトブラーの効果が背景イメージの平坦度と関連性が極めて高く、コントラスト強調の性能は前景イメージの彩度と逆関係にある。また、彩度と明度の強調において、明度および彩度はそれぞれが互いに対して極めて密接な関係にあり、互いに独立したファクタとして関係し得ない。これだけでなく、性能は、前景イメージと背景イメージとの間の明度差および彩度差の比率と関連性が極めて高い。したがって、没入感生成システムは、イメージコンテンツの分析を介して、イメージに対する人間の知覚属性に基づいた情報を次のように導き出すことができる。
【００７５】
１．前景イメージの平均明度（ＪＭ）
２．前景イメージの平均彩度（ＣＭ）
３．前景イメージと背景イメージとの間の明度差（ΔＪ）
４．前景イメージと背景イメージとの間の彩度差（ΔＣ）
５．背景イメージのイメージ平坦度（Ｓ）
すなわち、前景イメージと背景イメージに基づき、ＪＭおよびＣＭは、前景イメージの明度と彩度の平均を介して獲得される。また、前景イメージと背景イメージとの間に明度と彩度の平均に対する差異を用いることで、ΔＪおよびΔＣを計算できるようになる。
【００７６】
背景イメージのイメージ平坦度において、イメージ平坦度は、背景イメージにおいて柔らかいピクセルの比率として定義されるようになる。このとき、柔らかいピクセルとは、周囲のピクセルが等しい様子を有する任意のピクセルを意味するものである。例えば、任意のピクセルと当該任意のピクセルの周辺ピクセルそれぞれとの間に平均色差が１．５以下である場合に、ピクセルを柔らかいピクセルとして決定するようになる。ΔＥＣＡＭ０２は、柔らかいピクセルと上述した式（１１）のような関連がある。
【００７７】
式（１１）を詳察すれば、「ＣＩＥＬＡＢ」における色差異点は、与えられた色空間が「ＣＩＥＬＡＢ」である場合に用いられるようになる。また、ＲＧＢデジタル信号の差異点は、与えられた色空間が「ＨＳＶ」である場合に用いられるようになる。このとき、背景イメージの平坦度は、上述した式（１２）に示されたように、背景イメージにおいて柔らかいピクセルの総合を全体ピクセルの総合で分った値として定義されるようになる。
【００７８】
式（１１）および式（１２）において、Ｓは背景イメージの平坦度を、Ｓｘ，ｙは柔らかいピクセル（ｘ、ｙ）を、ＢＰは背景イメージの任意のピクセルを、Ｊ、ａｃ、およびｂｃは、ピクセルのための「ＣＩＥＣＡＭ０２」における色情報をそれぞれ意味するものである。
【００７９】
スケーリングパラメータ予測部６０４は、スケーリングパラメータを予測する。それぞれのイメージコンテンツに基づき、基本的な情報は、没入感生成のために要約されるようになる。スケーリングパラメータ予測部６０４は、それぞれの没入感生成ファクタのためのスケーリングパラメータをイメージコンテンツからの情報に基づいて予測することができる。
【００８０】
彩度強調において、スケーリングパラメータＫｓ１は、前景イメージと背景イメージとの間の明度の差と彩度の差の比率（ΔＪ／ΔＣ）に対し、この比率が確実なスレッシュホールド以下である場合に極めて密接な関係を有する。このようなスケーリングパラメータは、大きいスケールは彩度の差が小さいときに適用されるのに反し、より小さいスケールが与えられたときには、前景イメージと背景イメージとの間のさらに大きい彩度の差という結果を生成する。彩度のためのスケールは、上述した式（１３）のように予測されるようになる。
【００８１】
明度の強調において、スケーリングパラメータＫＢ１は、前景イメージおよび背景イメージの間に彩度の差と明度の差の比率（ΔＣ／ΔＪ）に対し、この比率が確実であるスレッシュホールド以下の比率である場合に関連性が極めて高い。この場合に、前景イメージと背景イメージとの間の明度差が小さい場合に大きいスケールが適用されるのに反し、より小さい明度のスケールが前景イメージと背景イメージとの間の大きい明度差として用いられる。明度のスケールであるＫＢ１は、式（１４）のように示される線形関係によって予測されるようになる。
【００８２】
コントラスト強調において、スケーリングパラメータＫＣＳ１は、前景イメージの平均彩度と関連性が極めて高い。イメージが当該イメージの前景イメージにおいて高い彩度を有するとき、さらに小さいコントラスト強調は、没入感生成が期待されるようになる。この反面、さらに大きいコントラスト強調は、前景イメージがより明確でないときに期待されるようになる。コントラスト強調のためのスケーリングパラメータは、線形関数を用いた上述した式（１５）によって予測されるようになる。
【００８３】
ソフトブラーにおいて、背景イメージの平坦度Ｓは、スケーリングパラメータとして直接的に用いられるようになる。
【００８４】
明度強調部６０５は、イメージの明度を強調する。このとき、前景イメージのピクセルにおいて、明度の強調は、上述した式（１６）のように、与えられたパワー関数を用いて実行されるようになる。パワー関数は、パスポイント（０、０）および（１００、１００）が強制されるようになる。この場合、パスポイント（０、０）が対応するディスプレイのダークポイントを示す反面、パスポイント（１００、１００）は、ディスプレイのホワイトポイントを示す。
【００８５】
彩度強調部６０６は、イメージの彩度を強調する。このとき、前景イメージのそれぞれのピクセルのための彩度強調は、上述した式（１７）のように、与えられた線形関数を用いるようになる。ここで、ＣｉｎおよびＣｏｕｔは、それぞれ彩度強調の処理において入力および出力される彩度を意味するものである。また、ＫＳは、彩度強調のためのスケーリングパラメータを意味するものである。式（１７）は、明確でない色の彩度がサイズ効果によって変化するため、ポイント（０、０）が強要される。
【００８６】
コントラスト強調部６０７は、イメージのコントラストを強調する。このとき、コントラスト強調は、イメージの前景イメージのために与えられた上述した式（１８）ないし式（２２）によって実行されるようになる。前景イメージのコントラストを増加させるために関連したダークカラーの明度は、パワー関数によって減少するようになる。このとき、明度は、前景イメージの平均明度よりも小さい。この反面、関連したホワイトカラーの明度は、さらに大きくなるように処理されるようになる。このとき、明度は、前景イメージの平均明度よりも大きい。明度がＪＭよりも小さい場合に、パワー関数は、ポイント（０、０）および（ＪＭ、ＪＭ）を通過する。もしそうではなければ、パワー関数は、ポイント（ＪＭ、ＪＭ）および（１００、１００）を通過する。
【００８７】
ソフトブラー部６０８は、背景イメージに対するソフトブラーを実行する。このとき、背景イメージのためのソフトブラーは、平均フィルタを用いて実行されるようになる。平均フィルタは、背景イメージのそれぞれのピクセルを通過する。また、実行のスケールは、背景イメージの平坦度Ｓに依存的である。没入感生成システムは、平坦度Ｓが８０％以上である場合に、ソフトブラーを実行しない。例えば、背景イメージのための３×３平均フィルタは、平坦度Ｓが５０％と８０％との間の場合に用いられるようになるし、５×５平均フィルタは、平坦度Ｓが５０％よりも小さい場合に用いられるようになる。
【００８８】
イメージの強調後、色空間変換部６０１は、前景イメージと背景イメージすべてに対して予測されたＪｏｕｔ、Ｃｏｕｔ、およびＨｏｕｔを用いて新しい没入イメージを結合して生成するようになる。このとき、色空間の変換は、人間の知覚属性をＲＧＢデジタル信号に変換するために実行されるようになる。
【００８９】
このように、本発明に係る没入感生成方法または没入感生成システムを用いることで、イメージの背景イメージまたは前景イメージにそれぞれ個別的に用いられる４つの独立的なファクタを調節し、一般的なサイズのディスプレイに対して没入感を生成することができる。
【００９０】
イメージに対する没入感生成に用いられるファクタを調節する方法、イメージコンテンツを分析する方法、およびスケーリングパラメータを予測する方法については、既に詳しく説明したため、追加的な説明は省略する。
【００９１】
本発明に係る実施形態は、コンピュータにより具現される多様な動作を実行するためのプログラム命令を含むコンピュータ読み取り可能な媒体を含む。前記媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともできる。前記媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスクおよび磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。前記媒体は、プログラム命令、データ構造などを保存する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体でもある。プログラム命令の例としては、コンパイラによって生成されるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。前記したハードウェア要素は、本発明の動作を実行するために一以上のソフトウェアモジュールとして作動するように構成することができ、その逆もできる。
【００９２】
上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。
【図面の簡単な説明】
【００９３】
【図１】本発明の一実施形態において、没入感生成方法を説明するためのフローチャートである。
【図２】明度を強調する方法を説明するための一例である。
【図３】彩度を強調する方法を説明するための一例である。
【図４】コントラストを強調する方法を説明するための一例である。
【図５】本発明の一実施形態において、没入感生成方法を説明するためのブロック図である。
【図６】本発明の一実施形態において、没入感生成システムの内部構造を説明するためのブロック図である。
【符号の説明】
【００９４】
６００ 没入感生成システム
６０１ 色空間変換部
６０２ 背景マスクロード部
６０３ イメージコンテンツ分析部
６０４ スケーリングパラメータ予測部
６０５ 明度強調部
６０６ 彩度強調部
６０７ コントラスト強調部
６０８ ソフトブラー部
【特許請求の範囲】
【請求項１】
イメージに対して没入感を生成する方法において、
入力されたイメージの色空間を変換する段階と、
背景マスクをロードして前記イメージを前景イメージおよび背景イメージに分離する段階と、
イメージコンテンツ分析を介して前記色空間に対する知覚属性に基づいた属性情報を前記前景イメージまたは前記背景イメージによって獲得する段階と、
前記属性情報に基づいてスケーリングパラメータを予測する段階と、
前記スケーリングパラメータに基づいて前記イメージを強調する段階と、
を含むことを特徴とする没入感生成方法。
【請求項２】
入力されたイメージの色空間を変換する前記段階は、
ＲＧＢデジタル信号を含む色空間を前記知覚属性を含む色空間に変換する段階であって、
前記知覚属性は、前記イメージの明度、彩度、および色調のうちの少なくとも１つを含むことを特徴とする請求項１に記載の没入感生成方法。
【請求項３】
背景マスクをロードして前記イメージを前景イメージおよび背景イメージに分離する前記段階は、
前記イメージの色情報および周波数情報に基づいて前記イメージを前記前景イメージおよび前記背景イメージに分離する段階であることを特徴とする請求項１に記載の没入感生成方法。
【請求項４】
前記知覚属性は、前記前景イメージまたは前記背景イメージの明度、彩度、および色調のうちの少なくとも１つを含み、
イメージコンテンツ分析を介して前記色空間に対する知覚属性に基づいた属性情報を前記前景イメージまたは前記背景イメージによって獲得する前記段階は、
前記明度、前記彩度、または前記色調に基づいて前記属性情報を獲得する段階であることを特徴とする請求項１に記載の没入感生成方法。
【請求項５】
前記属性情報は、（１）前記前景イメージの平均明度、（２）前記前景イメージの平均彩度、（３）前記前景イメージと前記背景イメージとの間の明度差、（４）前記前景イメージと前記背景イメージとの間の彩度差、および（５）前記背景イメージのイメージ平坦度のうちの少なくとも１つを含むことを特徴とする請求項４に記載の没入感生成方法。
【請求項６】
前記イメージ平坦度は、前記背景イメージにおいて柔らかいピクセルの比率を含み、
前記柔らかいピクセルは、周囲のピクセルそれぞれとの平均色差を用いて決定されることを特徴とする請求項４に記載の没入感生成方法。
【請求項７】
前記属性情報に基づいてスケーリングパラメータを予測する前記段階は、
（１）前記前景イメージと前記背景イメージとの間の明度の差の彩度の差に対する第１比率、（２）前記前景イメージおよび前記背景イメージの間に前記彩度の差の前記明度の差に対する第２比率、および（３）前記前景イメージの平均彩度のうちの少なくとも１つを用いて前記スケーリングパラメータを予測することを特徴とする請求項１に記載の没入感生成方法。
【請求項８】
前記スケーリングパラメータは、彩度に対するスケールを含み、
前記スケールは、下記の式を用いて計算されることを特徴とする請求項７に記載の没入感生成方法。
【数１】
（ここで、前記ＫＳは前記スケールを、前記ΔＪ／ΔＣは前記第１比率をそれぞれ意味する。）
【請求項９】
前記スケーリングパラメータは、明度に対するスケールを含み、
前記スケールは、下記の式を用いて計算されることを特徴とする請求項７に記載の没入感生成方法。
【数２】
（ここで、前記ＫＢ１は前記スケールを、前記ΔＣ／ΔＪは前記第２比率をそれぞれ意味する。）
【請求項１０】
前記スケーリングパラメータは、コントラストに対するスケールを含み、
前記スケールは、下記の式を用いて計算されることを特徴とする請求項７に記載の没入感生成方法。
【数３】
（ここで、前記ＫＣＳ１は前記スケールを、前記ＣＭは前記前景イメージの平均彩度をそれぞれ意味する。）
【請求項１１】
前記スケーリングパラメータに基づいて前記イメージを強調する前記段階は、
（１）前記前景イメージに対する明度強調、（２）前記前景イメージに対する彩度強調、（３）前記前景イメージに対するコントラスト強調、および（４）前記背景イメージに対するソフトブラーのうちの少なくとも１つを介して前記イメージを強調する段階であることを特徴とする請求項１に記載の没入感生成方法。
【請求項１２】
前記明度強調は、前記前景イメージのピクセルに対して下記の式を含むパワー関数を用いて実行されることを特徴とする請求項１１に記載の没入感生成方法。
【数４】
（ここで、前記Ｊｉｎおよび前記Ｊｏｕｔは、前記明度の強調のために入力および出力される明度を、前記ＫＢ１および前記ＫＢ２は、前記スケーリングパラメータを意味する。）
【請求項１３】
前記彩度強調は、前記前景イメージのピクセルに対して下記の式を含む線形関数を用いて実行されることを特徴とする請求項１１に記載の没入感生成方法。
【数５】
（ここで、前記Ｃｉｎおよび前記Ｃｏｕｔは、それぞれ前記彩度強調の処理において入力および出力される彩度を、前記ＫＳは、前記彩度強調のための前記スケーリングパラメータを意味する。）
【請求項１４】
前記コントラスト強調は、前記前景イメージに対して下記の式を用いて実行されることを特徴とする請求項１１に記載の没入感生成方法。
【数６】
（ここで、前記Ｊｉｎおよび前記Ｊｏｕｔは、前記コントラスト強調のための入力および出力明度を、前記ＪＭは前記前景イメージの平均明度を、前記ＫＣＳ１および前記ＫＣＳ２は、前記ＪＭよりもさらに小さい明度のためのスケーリングパラメータを、前記ＫＣＬ１、前記ＫＣＬ２、および前記ＫＣＬ３は、前記ＪＭよりも大きい明度のためのスケーリングパラメータをそれぞれ意味する。）
【請求項１５】
前記ＫＣＳ２、前記ＫＣＬ１、前記ＫＣＬ２、および前記ＫＣＬ３は、それぞれ下記の式（７）ないし式（１０）を用いて計算されることを特徴とする請求項１４に記載の没入感生成方法。
【数７】
【請求項１６】
前記ソフトブラーは、前記背景イメージのイメージ平坦度を前記スケーリングパラメータとして用いて実行されることを特徴とする請求項１１に記載の没入感生成方法。
【請求項１７】
前記強調されたイメージの色空間を再変換する段階、
をさらに含むことを特徴とする請求項１に記載の没入感生成方法。
【請求項１８】
前記強調されたイメージの色空間を再変換する前記段階は、
前記強調されたイメージの色空間をＲＧＢデジタル信号を含む色空間に変換する段階であることを特徴とする請求項１７に記載の没入感生成方法。
【請求項１９】
イメージに対する没入感生成に用いられるファクタを調節する方法において、
入力されたイメージを前景イメージおよび背景イメージに分離する段階と、
前記前景イメージの明度、彩度、およびコントラストのうちの少なくとも１つを強調する段階と、
を含むことを特徴とするファクタ調節方法。
【請求項２０】
入力されたイメージを前景イメージおよび背景イメージに分離する前記段階は、
入力されたイメージの色空間を変換する段階と、
背景マスクをロードして前記イメージを前景イメージおよび背景イメージに分離する段階と、
を含むことを特徴とする請求項１９に記載のファクタ調節方法。
【請求項２１】
前記前景イメージの明度、彩度、およびコントラストのうちの少なくとも１つを強調する前記段階は、
イメージコンテンツ分析を介して前記色空間に対する知覚属性に基づいた属性情報を前記前景イメージまたは前記背景イメージによって獲得する段階と、
前記属性情報に基づいてスケーリングパラメータを予測する段階と、
前記スケーリングパラメータに基づいて前記イメージを強調する段階と、
を含むことを特徴とする請求項１９に記載のファクタ調節方法。
【請求項２２】
前記知覚属性は、前記前景イメージまたは前記背景イメージの明度、彩度、および色調のうちの少なくとも１つを含み、
イメージコンテンツ分析を介して前記色空間に対する知覚属性に基づいた属性情報を前記前景イメージまたは前記背景イメージによって獲得する前記段階は、
前記明度、前記彩度、または前記色調に基づいて前記属性情報を獲得する段階であることを特徴とする請求項２１に記載のファクタ調節方法。
【請求項２３】
前記属性情報は、（１）前記前景イメージの平均明度、（２）前記前景イメージの平均彩度、（３）前記前景イメージと前記背景イメージとの間の明度差、（４）前記前景イメージと前記背景イメージとの間の彩度差、および（５）前記背景イメージのイメージ平坦度のうちの少なくとも１つを含むことを特徴とする請求項２２に記載のファクタ調節方法。
【請求項２４】
前記属性情報に基づいてスケーリングパラメータを予測する前記段階は、
（１）前記前景イメージと前記背景イメージとの間に明度の差の彩度の差に対する第１比率、（２）前記前景イメージおよび前記背景イメージとの間に前記彩度の差の前記明度の差に対する第２比率、および（３）前記前景イメージの平均彩度のうちの少なくとも１つを用いて前記スケーリングパラメータを予測することを特徴とする請求項２１に記載のファクタ調節方法。
【請求項２５】
前記スケーリングパラメータに基づいて前記イメージを強調する前記段階は、
（１）前記前景イメージに対する明度強調、（２）前記前景イメージに対する彩度強調、（３）前記前景イメージに対するコントラスト強調、および（４）前記背景イメージに対するソフトブラーのうちの少なくとも１つを介して前記イメージを強調する段階であることを特徴とする請求項２１に記載のファクタ調節方法。
【請求項２６】
前記背景イメージに対してソフトブラーを実行する段階、
をさらに含み、
前記ソフトブラーは、前記背景イメージのイメージ平坦度を用いて実行されることを特徴とする請求項１９に記載のファクタ調節方法。
【請求項２７】
イメージコンテンツ分析方法において、
入力されたイメージの色空間を変換する段階と、
背景マスクをロードして前記イメージを前景イメージおよび背景イメージに分離する段階と、
前記色空間に対する知覚属性に基づいて前記前景イメージまたは前記背景イメージによる属性情報を獲得する段階と、
を含むことを特徴とするイメージコンテンツ分析方法。
【請求項２８】
入力されたイメージの色空間を変換する前記段階は、
ＲＧＢデジタル信号を含む色空間を前記知覚属性を含む色空間に変換する段階であって、
前記知覚属性は、前記イメージの明度、彩度、および色調のうちの少なくとも１つを含むことを特徴とする請求項２７に記載のイメージコンテンツ分析方法。
【請求項２９】
前記知覚属性は、前記前景イメージまたは前記背景イメージの明度、彩度、および色調のうちの少なくとも１つを含み、
イメージコンテンツ分析を介して前記色空間に対する知覚属性に基づいた属性情報を前記前景イメージまたは前記背景イメージによって獲得する前記段階は、
前記明度、前記彩度、または前記色調に基づいて前記属性情報を獲得する段階であることを特徴とする請求項２７に記載のイメージコンテンツ分析方法。
【請求項３０】
前記属性情報は、（１）前記前景イメージの平均明度、（２）前記前景イメージの平均彩度、（３）前記前景イメージと前記背景イメージとの間の明度差、（４）前記前景イメージと前記背景イメージとの間の彩度差、および（５）前記背景イメージのイメージ平坦度のうちの少なくとも１つを含むことを特徴とする請求項２９に記載のイメージコンテンツ分析方法。
【請求項３１】
スケーリングパラメータ予測方法において、
入力されたイメージの変換された色空間に対する知覚属性に基づいて属性情報を獲得する段階と、
前記属性情報に基づいて前記イメージの前景イメージまたは背景イメージに対するスケーリングパラメータを予測する段階と、
を含むことを特徴とするスケーリングパラメータ予測方法。
【請求項３２】
前記属性情報に基づいて前記イメージの前景イメージまたは背景イメージに対するスケーリングパラメータを予測する前記段階は、
（１）前記前景イメージと前記背景イメージとの間に明度の差の彩度の差に対する第１比率、（２）前記前景イメージおよび前記背景イメージとの間に前記彩度の差の前記明度の差に対する第２比率、および（３）前記前景イメージの平均彩度のうちの少なくとも１つを用いて前記スケーリングパラメータを予測することを特徴とするスケーリングパラメータ予測方法。
【請求項３３】
入力されたイメージの変換された色空間に対する知覚属性に基づいて属性情報を獲得する前記段階は、
入力されたイメージの色空間を変換する段階と、
背景マスクをロードして前記イメージを前景イメージおよび背景イメージに分離する段階と、
イメージコンテンツ分析を介して前記色空間に対する知覚属性に基づいた属性情報を前記前景イメージまたは前記背景イメージによって獲得する段階と、
を含むことを特徴とする請求項３１に記載のスケーリングパラメータ予測方法。
【請求項３４】
請求項１ないし３３のいずれか一項の方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項３５】
イメージに対して没入感を生成するシステムにおいて、
入力されたイメージの色空間を変換し、強調されたイメージの色空間を再変換する色空間変換部と、
背景マスクをロードして前記イメージを前景イメージおよび背景イメージに分離する背景マスクロード部と、
イメージコンテンツ分析を介して前記色空間に対する知覚属性に基づいた属性情報を前記前景イメージまたは前記背景イメージによって獲得するイメージコンテンツ分析部と、
前記属性情報に基づいてスケーリングパラメータを予測するスケーリングパラメータ予測部と、
前記スケーリングパラメータに基づいて前記イメージを強調するイメージ強調部と、
を含むことを特徴とする没入感生成システム。
【請求項３６】
前記知覚属性は、前記前景イメージまたは前記背景イメージの明度、彩度、および色調のうちの少なくとも１つを含み、
前記イメージコンテンツ分析部は、
前記明度、前記彩度、または前記色調に基づいて前記属性情報を獲得する段階であることを特徴とする請求項３５に記載の没入感生成システム。
【請求項３７】
前記属性情報は、（１）前記前景イメージの平均明度、（２）前記前景イメージの平均彩度、（３）前記前景イメージと前記背景イメージとの間の明度差、（４）前記前景イメージと前記背景イメージとの間の彩度差、および（５）前記背景イメージのイメージ平坦度のうちの少なくとも１つを含むことを特徴とする請求項３６に記載の没入感生成システム。
【請求項３８】
前記スケーリングパラメータ予測部は、
（１）前記前景イメージと前記背景イメージとの間に明度の差の彩度の差に対する第１比率、（２）前記前景イメージおよび前記背景イメージとの間に前記彩度の差の前記明度の差に対する第２比率、および（３）前記前景イメージの平均彩度のうちの少なくとも１つを用いて前記スケーリングパラメータを予測することを特徴とする請求項３５に記載の没入感生成システム。
【請求項３９】
前記イメージ強調部は、
前記前景イメージに対する明度を強調する明度強調部と、
前記前景イメージに対する彩度を強調する彩度強調部と、
前記前景イメージに対するコントラストを強調するコントラスト強調部と、
前記背景イメージに対するソフトブラーを実行するソフトブラー部と、
を含むことを特徴とする請求項３５に記載の没入感生成システム。
【請求項１】
イメージに対して没入感を生成する方法において、
入力されたイメージの色空間を変換する段階と、
背景マスクをロードして前記イメージを前景イメージおよび背景イメージに分離する段階と、
イメージコンテンツ分析を介して前記色空間に対する知覚属性に基づいた属性情報を前記前景イメージまたは前記背景イメージによって獲得する段階と、
前記属性情報に基づいてスケーリングパラメータを予測する段階と、
前記スケーリングパラメータに基づいて前記イメージを強調する段階と、
を含むことを特徴とする没入感生成方法。
【請求項２】
入力されたイメージの色空間を変換する前記段階は、
ＲＧＢデジタル信号を含む色空間を前記知覚属性を含む色空間に変換する段階であって、
前記知覚属性は、前記イメージの明度、彩度、および色調のうちの少なくとも１つを含むことを特徴とする請求項１に記載の没入感生成方法。
【請求項３】
背景マスクをロードして前記イメージを前景イメージおよび背景イメージに分離する前記段階は、
前記イメージの色情報および周波数情報に基づいて前記イメージを前記前景イメージおよび前記背景イメージに分離する段階であることを特徴とする請求項１に記載の没入感生成方法。
【請求項４】
前記知覚属性は、前記前景イメージまたは前記背景イメージの明度、彩度、および色調のうちの少なくとも１つを含み、
イメージコンテンツ分析を介して前記色空間に対する知覚属性に基づいた属性情報を前記前景イメージまたは前記背景イメージによって獲得する前記段階は、
前記明度、前記彩度、または前記色調に基づいて前記属性情報を獲得する段階であることを特徴とする請求項１に記載の没入感生成方法。
【請求項５】
前記属性情報は、（１）前記前景イメージの平均明度、（２）前記前景イメージの平均彩度、（３）前記前景イメージと前記背景イメージとの間の明度差、（４）前記前景イメージと前記背景イメージとの間の彩度差、および（５）前記背景イメージのイメージ平坦度のうちの少なくとも１つを含むことを特徴とする請求項４に記載の没入感生成方法。
【請求項６】
前記イメージ平坦度は、前記背景イメージにおいて柔らかいピクセルの比率を含み、
前記柔らかいピクセルは、周囲のピクセルそれぞれとの平均色差を用いて決定されることを特徴とする請求項４に記載の没入感生成方法。
【請求項７】
前記属性情報に基づいてスケーリングパラメータを予測する前記段階は、
（１）前記前景イメージと前記背景イメージとの間の明度の差の彩度の差に対する第１比率、（２）前記前景イメージおよび前記背景イメージの間に前記彩度の差の前記明度の差に対する第２比率、および（３）前記前景イメージの平均彩度のうちの少なくとも１つを用いて前記スケーリングパラメータを予測することを特徴とする請求項１に記載の没入感生成方法。
【請求項８】
前記スケーリングパラメータは、彩度に対するスケールを含み、
前記スケールは、下記の式を用いて計算されることを特徴とする請求項７に記載の没入感生成方法。
【数１】
（ここで、前記ＫＳは前記スケールを、前記ΔＪ／ΔＣは前記第１比率をそれぞれ意味する。）
【請求項９】
前記スケーリングパラメータは、明度に対するスケールを含み、
前記スケールは、下記の式を用いて計算されることを特徴とする請求項７に記載の没入感生成方法。
【数２】
（ここで、前記ＫＢ１は前記スケールを、前記ΔＣ／ΔＪは前記第２比率をそれぞれ意味する。）
【請求項１０】
前記スケーリングパラメータは、コントラストに対するスケールを含み、
前記スケールは、下記の式を用いて計算されることを特徴とする請求項７に記載の没入感生成方法。
【数３】
（ここで、前記ＫＣＳ１は前記スケールを、前記ＣＭは前記前景イメージの平均彩度をそれぞれ意味する。）
【請求項１１】
前記スケーリングパラメータに基づいて前記イメージを強調する前記段階は、
（１）前記前景イメージに対する明度強調、（２）前記前景イメージに対する彩度強調、（３）前記前景イメージに対するコントラスト強調、および（４）前記背景イメージに対するソフトブラーのうちの少なくとも１つを介して前記イメージを強調する段階であることを特徴とする請求項１に記載の没入感生成方法。
【請求項１２】
前記明度強調は、前記前景イメージのピクセルに対して下記の式を含むパワー関数を用いて実行されることを特徴とする請求項１１に記載の没入感生成方法。
【数４】
（ここで、前記Ｊｉｎおよび前記Ｊｏｕｔは、前記明度の強調のために入力および出力される明度を、前記ＫＢ１および前記ＫＢ２は、前記スケーリングパラメータを意味する。）
【請求項１３】
前記彩度強調は、前記前景イメージのピクセルに対して下記の式を含む線形関数を用いて実行されることを特徴とする請求項１１に記載の没入感生成方法。
【数５】
（ここで、前記Ｃｉｎおよび前記Ｃｏｕｔは、それぞれ前記彩度強調の処理において入力および出力される彩度を、前記ＫＳは、前記彩度強調のための前記スケーリングパラメータを意味する。）
【請求項１４】
前記コントラスト強調は、前記前景イメージに対して下記の式を用いて実行されることを特徴とする請求項１１に記載の没入感生成方法。
【数６】
（ここで、前記Ｊｉｎおよび前記Ｊｏｕｔは、前記コントラスト強調のための入力および出力明度を、前記ＪＭは前記前景イメージの平均明度を、前記ＫＣＳ１および前記ＫＣＳ２は、前記ＪＭよりもさらに小さい明度のためのスケーリングパラメータを、前記ＫＣＬ１、前記ＫＣＬ２、および前記ＫＣＬ３は、前記ＪＭよりも大きい明度のためのスケーリングパラメータをそれぞれ意味する。）
【請求項１５】
前記ＫＣＳ２、前記ＫＣＬ１、前記ＫＣＬ２、および前記ＫＣＬ３は、それぞれ下記の式（７）ないし式（１０）を用いて計算されることを特徴とする請求項１４に記載の没入感生成方法。
【数７】
【請求項１６】
前記ソフトブラーは、前記背景イメージのイメージ平坦度を前記スケーリングパラメータとして用いて実行されることを特徴とする請求項１１に記載の没入感生成方法。
【請求項１７】
前記強調されたイメージの色空間を再変換する段階、
をさらに含むことを特徴とする請求項１に記載の没入感生成方法。
【請求項１８】
前記強調されたイメージの色空間を再変換する前記段階は、
前記強調されたイメージの色空間をＲＧＢデジタル信号を含む色空間に変換する段階であることを特徴とする請求項１７に記載の没入感生成方法。
【請求項１９】
イメージに対する没入感生成に用いられるファクタを調節する方法において、
入力されたイメージを前景イメージおよび背景イメージに分離する段階と、
前記前景イメージの明度、彩度、およびコントラストのうちの少なくとも１つを強調する段階と、
を含むことを特徴とするファクタ調節方法。
【請求項２０】
入力されたイメージを前景イメージおよび背景イメージに分離する前記段階は、
入力されたイメージの色空間を変換する段階と、
背景マスクをロードして前記イメージを前景イメージおよび背景イメージに分離する段階と、
を含むことを特徴とする請求項１９に記載のファクタ調節方法。
【請求項２１】
前記前景イメージの明度、彩度、およびコントラストのうちの少なくとも１つを強調する前記段階は、
イメージコンテンツ分析を介して前記色空間に対する知覚属性に基づいた属性情報を前記前景イメージまたは前記背景イメージによって獲得する段階と、
前記属性情報に基づいてスケーリングパラメータを予測する段階と、
前記スケーリングパラメータに基づいて前記イメージを強調する段階と、
を含むことを特徴とする請求項１９に記載のファクタ調節方法。
【請求項２２】
前記知覚属性は、前記前景イメージまたは前記背景イメージの明度、彩度、および色調のうちの少なくとも１つを含み、
イメージコンテンツ分析を介して前記色空間に対する知覚属性に基づいた属性情報を前記前景イメージまたは前記背景イメージによって獲得する前記段階は、
前記明度、前記彩度、または前記色調に基づいて前記属性情報を獲得する段階であることを特徴とする請求項２１に記載のファクタ調節方法。
【請求項２３】
前記属性情報は、（１）前記前景イメージの平均明度、（２）前記前景イメージの平均彩度、（３）前記前景イメージと前記背景イメージとの間の明度差、（４）前記前景イメージと前記背景イメージとの間の彩度差、および（５）前記背景イメージのイメージ平坦度のうちの少なくとも１つを含むことを特徴とする請求項２２に記載のファクタ調節方法。
【請求項２４】
前記属性情報に基づいてスケーリングパラメータを予測する前記段階は、
（１）前記前景イメージと前記背景イメージとの間に明度の差の彩度の差に対する第１比率、（２）前記前景イメージおよび前記背景イメージとの間に前記彩度の差の前記明度の差に対する第２比率、および（３）前記前景イメージの平均彩度のうちの少なくとも１つを用いて前記スケーリングパラメータを予測することを特徴とする請求項２１に記載のファクタ調節方法。
【請求項２５】
前記スケーリングパラメータに基づいて前記イメージを強調する前記段階は、
（１）前記前景イメージに対する明度強調、（２）前記前景イメージに対する彩度強調、（３）前記前景イメージに対するコントラスト強調、および（４）前記背景イメージに対するソフトブラーのうちの少なくとも１つを介して前記イメージを強調する段階であることを特徴とする請求項２１に記載のファクタ調節方法。
【請求項２６】
前記背景イメージに対してソフトブラーを実行する段階、
をさらに含み、
前記ソフトブラーは、前記背景イメージのイメージ平坦度を用いて実行されることを特徴とする請求項１９に記載のファクタ調節方法。
【請求項２７】
イメージコンテンツ分析方法において、
入力されたイメージの色空間を変換する段階と、
背景マスクをロードして前記イメージを前景イメージおよび背景イメージに分離する段階と、
前記色空間に対する知覚属性に基づいて前記前景イメージまたは前記背景イメージによる属性情報を獲得する段階と、
を含むことを特徴とするイメージコンテンツ分析方法。
【請求項２８】
入力されたイメージの色空間を変換する前記段階は、
ＲＧＢデジタル信号を含む色空間を前記知覚属性を含む色空間に変換する段階であって、
前記知覚属性は、前記イメージの明度、彩度、および色調のうちの少なくとも１つを含むことを特徴とする請求項２７に記載のイメージコンテンツ分析方法。
【請求項２９】
前記知覚属性は、前記前景イメージまたは前記背景イメージの明度、彩度、および色調のうちの少なくとも１つを含み、
イメージコンテンツ分析を介して前記色空間に対する知覚属性に基づいた属性情報を前記前景イメージまたは前記背景イメージによって獲得する前記段階は、
前記明度、前記彩度、または前記色調に基づいて前記属性情報を獲得する段階であることを特徴とする請求項２７に記載のイメージコンテンツ分析方法。
【請求項３０】
前記属性情報は、（１）前記前景イメージの平均明度、（２）前記前景イメージの平均彩度、（３）前記前景イメージと前記背景イメージとの間の明度差、（４）前記前景イメージと前記背景イメージとの間の彩度差、および（５）前記背景イメージのイメージ平坦度のうちの少なくとも１つを含むことを特徴とする請求項２９に記載のイメージコンテンツ分析方法。
【請求項３１】
スケーリングパラメータ予測方法において、
入力されたイメージの変換された色空間に対する知覚属性に基づいて属性情報を獲得する段階と、
前記属性情報に基づいて前記イメージの前景イメージまたは背景イメージに対するスケーリングパラメータを予測する段階と、
を含むことを特徴とするスケーリングパラメータ予測方法。
【請求項３２】
前記属性情報に基づいて前記イメージの前景イメージまたは背景イメージに対するスケーリングパラメータを予測する前記段階は、
（１）前記前景イメージと前記背景イメージとの間に明度の差の彩度の差に対する第１比率、（２）前記前景イメージおよび前記背景イメージとの間に前記彩度の差の前記明度の差に対する第２比率、および（３）前記前景イメージの平均彩度のうちの少なくとも１つを用いて前記スケーリングパラメータを予測することを特徴とするスケーリングパラメータ予測方法。
【請求項３３】
入力されたイメージの変換された色空間に対する知覚属性に基づいて属性情報を獲得する前記段階は、
入力されたイメージの色空間を変換する段階と、
背景マスクをロードして前記イメージを前景イメージおよび背景イメージに分離する段階と、
イメージコンテンツ分析を介して前記色空間に対する知覚属性に基づいた属性情報を前記前景イメージまたは前記背景イメージによって獲得する段階と、
を含むことを特徴とする請求項３１に記載のスケーリングパラメータ予測方法。
【請求項３４】
請求項１ないし３３のいずれか一項の方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項３５】
イメージに対して没入感を生成するシステムにおいて、
入力されたイメージの色空間を変換し、強調されたイメージの色空間を再変換する色空間変換部と、
背景マスクをロードして前記イメージを前景イメージおよび背景イメージに分離する背景マスクロード部と、
イメージコンテンツ分析を介して前記色空間に対する知覚属性に基づいた属性情報を前記前景イメージまたは前記背景イメージによって獲得するイメージコンテンツ分析部と、
前記属性情報に基づいてスケーリングパラメータを予測するスケーリングパラメータ予測部と、
前記スケーリングパラメータに基づいて前記イメージを強調するイメージ強調部と、
を含むことを特徴とする没入感生成システム。
【請求項３６】
前記知覚属性は、前記前景イメージまたは前記背景イメージの明度、彩度、および色調のうちの少なくとも１つを含み、
前記イメージコンテンツ分析部は、
前記明度、前記彩度、または前記色調に基づいて前記属性情報を獲得する段階であることを特徴とする請求項３５に記載の没入感生成システム。
【請求項３７】
前記属性情報は、（１）前記前景イメージの平均明度、（２）前記前景イメージの平均彩度、（３）前記前景イメージと前記背景イメージとの間の明度差、（４）前記前景イメージと前記背景イメージとの間の彩度差、および（５）前記背景イメージのイメージ平坦度のうちの少なくとも１つを含むことを特徴とする請求項３６に記載の没入感生成システム。
【請求項３８】
前記スケーリングパラメータ予測部は、
（１）前記前景イメージと前記背景イメージとの間に明度の差の彩度の差に対する第１比率、（２）前記前景イメージおよび前記背景イメージとの間に前記彩度の差の前記明度の差に対する第２比率、および（３）前記前景イメージの平均彩度のうちの少なくとも１つを用いて前記スケーリングパラメータを予測することを特徴とする請求項３５に記載の没入感生成システム。
【請求項３９】
前記イメージ強調部は、
前記前景イメージに対する明度を強調する明度強調部と、
前記前景イメージに対する彩度を強調する彩度強調部と、
前記前景イメージに対するコントラストを強調するコントラスト強調部と、
前記背景イメージに対するソフトブラーを実行するソフトブラー部と、
を含むことを特徴とする請求項３５に記載の没入感生成システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００９−３７５８５（Ｐ２００９−３７５８５Ａ）
【公開日】平成２１年２月１９日（２００９．２．１９）
【国際特許分類】
【出願番号】特願２００８−６２６０（Ｐ２００８−６２６０）
【出願日】平成２０年１月１５日（２００８．１．１５）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】ＳＡＭＳＵＮＧ ＥＬＥＣＴＲＯＮＩＣＳ ＣＯ．，ＬＴＤ．
【住所又は居所原語表記】４１６，Ｍａｅｔａｎ−ｄｏｎｇ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ ４４２−７４２（ＫＲ）
【Ｆターム（参考）】
【公開日】平成２１年２月１９日（２００９．２．１９）
【国際特許分類】
【出願日】平成２０年１月１５日（２００８．１．１５）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】ＳＡＭＳＵＮＧ ＥＬＥＣＴＲＯＮＩＣＳ ＣＯ．，ＬＴＤ．
【住所又は居所原語表記】４１６，Ｍａｅｔａｎ−ｄｏｎｇ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ ４４２−７４２（ＫＲ）
【Ｆターム（参考）】
[ Back to top ]