説明

画像処理

【課題】画像処理を提供する。
【解決手段】本発明の実施形態は、色彩感情領域に関連する補正の画像処理に関連する。1つの実施形態において、画像処理装置は、画像のピクセルデータを受信する入力(202)と、色彩感情の兆候を受信する入力(204)を含み、前記画像処理装置は、前記色彩感情の兆候の基準で色符号化空間における画像の対象ピクセルを調整し、そこから結果として生じる画像ピクセルデータを出力するよう構成されている。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理に関連し、より具体的には、色彩感情領域に対する画像補正(image enhancement)に関連する。
【背景技術】
【0002】
デジタル画像、例えば、デジタル写真の技術的特徴を、その写真を撮影したカメラによりもたらされた技術的障害を除去することにより、または、その画像をより「心地よく」するよう画像の技術的特徴を修正することにより変化させることが知られている。
例えば、シャープネスやコントラストを調整すること、ノイズを減らすこと、赤目を修正すること、および、皮膚、草または空の色といったある色の修正さえすること(even modify)が知られている。
しかしながら、技術的品質(technical qualities)とともに、画像が、情緒的性質(emotional qualities)を処理する。例えば、画像が、「悲しい」または「楽しい」、「動揺させる」または「リラックスさせる」、「温かい」または「冷やかな」などに見え得る。
画像の技術的特徴を補正することは、満足度の低い画像をもたらす可能性があり、その画像における感情が薄まるまたは失われる。
例えば、ろうそくの明かりで撮影された画像の色が、技術的観点から完全にバランスが取れるように調整され得るが、そのようにすることにより、画像の「ぬくもり」が破壊され得る。
一方、このような画像の「ぬくもり」を補正することにより、その画像の情動特性(emotional characteristics)を改良することは、たとえこれが「技術的な」品質の低下を犠牲にしてなされるとしても、よりよい画像をもたらす可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明は、画像処理を提供する。
【課題を解決するための手段】
【0004】
第1の側面によれば、本発明は、画像データを受け取るための入力および色彩感情の兆候(emotion indicia)を受け取るための入力を有する画像処理装置であって、前記画像処理装置は、色彩感情の兆候に基づいて、色符号化空間における画像属性(image attributes)を調整すること、および、そこからもたらされる画像を出力するように構成されている、画像処理装置を提供する。
【図面の簡単な説明】
【0005】
発明の様々な特徴および利点は、ほんの一例として与えられた発明の実施形態の次の説明から明らかになるであろう。発明の実施形態は、添付する図面を参照して作成される。
【0006】
【図1】図1は、本発明の実施形態が適用される従来技術の画像システムの図である。
【図2】図2は、本発明の第1の実施形態による画像処理装置の図である。
【図3】図3は、本発明の第2の実施形態による画像処理装置の図である。
【図4】図4は、2次元の色彩感情モデルを示しているグラフである。
【図5】図5は、本発明の第3の実施形態による画像処理装置の図である。
【図6】図6は、本発明の一実施形態による画像補正処理を例示するフロー図である。
【発明を実施するための形態】
【0007】
本発明の様々な実施形態が、添付の図面を参照してより詳細に説明される。
当然のことながら、本発明は、次の説明に記載のまたは図面に例示された方法の詳細および構成要素の配置への適用に限定されるものではない。
当業者にとって、説明に詳述されていない本発明の追加の実施形態が可能であり、本願の特許請求の範囲に含まれることは明らかであろう。
したがって、次の説明は、何らかの制限として解釈されるべきではなく、保護の範囲が、この文書に添付された特許請求の範囲により単に定義されるだけである。
【0008】
図1は、先行技術から知られた基本の画像システムの概要図である。
記述されるように、異なる画像補正処理が用いられているが、同様な一般的システムが用いられうる。
図1によれば、デジタル画像は、カメラ100を用いてキャプチャされ、パーソナルコンピュータシステム105上にダウンロードされる。
そして、選択された画像は、ネットワーク110、例えば、インターネットを介して、写真印刷所のコンピュータ115に送信される。
コンピュータ115は、その画像を、印刷キューのデータストア120に格納する。
そして、画像は、画像処理コンピュータ125により読み出される。画像処理コンピュータ125は、例えば、図7aおよび7bを参照して上述されたような画像を処理し、プリンタ130にそれらの画像を送信して、印刷される。
印刷された画像は、その後品質をチェックされ(一般的に、手動の処理)、発信元に送信される。
この例示のシステムにおけるコンピュータは、すべて一般的にMicrosoft Windows(登録商標)オペレーティングシステムで動作するが、例えばLinux(登録商標)のような別のオペレーティングシステムで、同様に動作し得る。
【0009】
画像処理は、画像処理コンピュータ125上で実行されるよう示されているが、当然のことながら、一部あるいはすべての画像処理が、システムにおける別の場所で実行され得る。
例えば、もし適当な処理能力を備えていれば、少なくとも一部の画像処理が、パーソナルコンピュータシステム105、写真現像室のコンピュータ115またはプリンタ130そのものの上でさえ、少なくとも一部の画像処理が発生する。
このような処理が、このシステムにおける何か他の場所で、または、何か他の適当なシステムで発生し得る。
例えば、画像処理は、カメラそのものの上でさえ行われ得る。
【0010】
本発明の実施形態は、例えば、「感情」および「情緒(affect)」のような望ましい知覚品質に関連する画像を補正する画像処理パイプラインに関連する。
このような品質は、画像の技術的特徴よりもむしろ「芸術的な」品質であると考えられる。
実際に、本発明の実施形態は、以下に説明するように、色彩感情領域における望ましい画像補正を決定し、色彩感情領域から、色符号化領域への強化を描く(map the enhancement)。
【0011】
本発明の実施形態は、印刷された画像に対する画像補正に関連して説明されるが、一般的な画像補正に適用し、例えば、電子的に表示された画像に(制限なく)適用されることができ、あらゆる種類の電子ディスプレイ上に表示され、スクリーン上に投影される。
【0012】
本発明の実施形態を説明する前に、いくつかの背景が提供される。
「色彩感情」の知覚品質は、色科学研究の盛んな分野である。
予め定義された感情属性を有する色パレットの生成のための自動決定ツールに用いられるために心理物理学的測定を開発することを目的とする。
色彩感情研究において、観察者は、色刺激:色パッチまたはパッチの組み合わせを見る。
そして、観察者は、心理学的に定義された端(ends):例えば、「新鮮である−新鮮でない」、「硬い−柔らかい」、「緊張した−リラックスした」でのいくつかの尺度で刺激に対する感情の応答を等級分け(grade)する。
Ou他[1]は、一連のこのような実験を実施した。実験において、観察者は、10のこのような色彩感情の組(それぞれ色彩感情尺度を定義している各組):「暖かい−寒い」、「重い−軽い」、「近代的な−古典的な」、「きれい−汚い」、「能動的な−受動的な」、「硬い−柔らかい」、「緊張した−リラックスした」、「新鮮である−新鮮でない」、「男らしい−女らしい」および「好き−嫌い」、に対して各色を採点した。
Ou他はまた、10組の色彩感情すべては、「色の活性」(能動的−受動的尺度)、「色の重量」(重い−軽い尺度)および「色の暖かさ」(暖かい−寒い尺度)の直交軸(色彩感情領域を定義する3つの色彩感情尺度を表現している)を有する3次元の色彩感情空間(色彩感情領域内の)のみで表現され得ると結論づけた。
これらの尺度のうち:色の活性は、能動的−受動的、きれい−汚いおよび近代的な−古典的な、の3つの尺度を含み、色の重量は、硬い−柔らかい、男らしい−女らしいおよび重い−軽い、の尺度を含み、色の暖かさは、暖かい−寒い、の尺度を含む。
特定の点で、Ou他は、3次元のCIELAB色符号化空間(明度、緑−赤および青−黄の3つの軸に基づいた)から、色彩感情領域内の色彩感情空間(3つの色彩感情尺度に基づいた)へのフォワードマッピングを開発した。フォワードマッピングは、予め定義された感情的または調和的な属性を有する色パレットを選択するために用いられ得る。
【0013】
当然のことながら、[1]により考え出された色彩感情空間以外の多くの他の色彩感情空間が、色彩感情領域内に存在し、本発明の実施形態は、決してどれか一つの特定の色空間に限定されるものではない。
【0014】
本発明の実施形態へたどり着くときに、本発明者は、フルカラー画像の情緒的性質を修正するために用いられ得る逆色彩感情修正モデルを開発した。
特に、本発明者は、[1]における色彩感情モデルを用いて、方向および大きさを導く一方で、色属性を修正し、画像の情緒的性質を変更し、例えば、CIELABまたはCIACAM02の装置と独立した色空間における画像を編集することを取り込むアプローチを考え出した。
特に、本発明者は、[1]における色彩感情空間を用いて、画像を修正することが可能であり、それにより、各ピクセルは、3次元の色彩感情空間における座標により表現され得、画像の色彩感情の値は、そのピクセルの平均である(しかしながら、原則として、本発明の実施形態によれば、色彩感情の値は、例えば、中央値、最頻値または同種のものといった統計的測定に基づき得る)ということを発見した。
加えて、本発明者は、佐藤[2]の原理を適用しており、一様な色符号化空間において、色彩感情の値が、関連のある尺度での最小の色彩感情度を有する色からの距離(ユークリッド、角度またはその他)、または、代替的には、関連のある尺度での最大色彩感情度を有する色からの逆相関の距離に関連すると言われていた。
この値は、以下「色符号化空間」と呼ばれ、色符号化空間(例えば、CIELAB L*,a*およびb*)における単一の点、または、いくつかの共通属性、例えば、同じCIELAB色相角の値h*を有する1組の点を単位として定義され得る。
【0015】
3つの例示の逆色彩感情修正モデルは、以下に説明される。
特に、ここに記載された実施形態によれば、モデルは、色の活性、色の重量および色の暖かさに関連し、色の活性、色の重量および色の暖かさは、[1]における教示に基づいて選択され、画像調整がなされる3次元の色彩感情空間における3つの軸とされる。
モデルは、CIELABに関連して説明される。
しかしながら、例えば、CIECAM02のような装置と独立した空間、および、例えば、RGBまたはCMYKのような装置に依存した空間を含む何か他の符号化色空間が用いられ得ることが強調され、ここに説明された提供された原則がこれに続く。
CIELABの値は、CIE(CIE.1978.一様な色空間、色の異なる式(color-different equations)、心理色彩語に関する勧告。CIEの出版物No.15(E−1.3.1)のNo.2,1971.CIE,CIEの中央局,パリ,フランス)により公開された基準式に従って計算されることもまた知られている。
【0016】
色の活性
本実施形態によれば、色彩感情の参照が、[1]で到達した結論に従って、CIELAB座標[50,3,17]に対応するくすんだ灰色がかった黄色であるように設定する。
したがって、各画像ピクセルの測定された色の活性は、L*,a*、およびb*について、式(1)により修正される。
【0017】
【数1】

【0018】
3つのCIELAB座標は、色の明度(L*=0は、黒を生み出し、L*=100は、白を示す)、赤/マゼンダおよび緑(a*,負の値は緑を示す一方、正の値はマゼンダを示す)の間の位置、および、黄および青(b*,負の値は青を示し、正の値は黄を示す)の間の位置を表現する。
式(1)において、kは、「色の活性」または「色の非活性」の度合い(extent)を制御する修正係数であり、これにより、正のkの値は、活性の増加を導き、負の値は、活性の減少を導く。
L*、a*およびb*は、活性の色彩感情の参照へシフトされた;つまり、L*=L*−50;a*=a*−3;b*=b*−17、ピクセルのCIELAB座標である。
実際には、本発明の実施形態による画像処理装置は、画像処理装置へ供給されるkの値の基準上の各対象ピクセルの色の活性を修正する。
【0019】
式(1)の知覚等価なもの(perceptual equivalent)は、明度のコントラストおよび彩度のコントラストの修正である。
しかしながら、彩度のコントラストは、CIELABの原点よりもむしろ、活性の色彩感情の参照に関連して修正される(つまり、点[a=−3,b=17]からの距離を修正する)。
そうしているときに、色相もまた、小さな量により変化する。
結果として、正の「活性」強化は、低い彩度の黄色っぽいトーンを減らす一方、同時に、「よりきれい」でより明るい画像の感覚を与える残りの色の彩度を増やす。
したがって、より活性した画像(元の画像に関連する)は、より高い彩度の青や黄にシフトされたトーンでより高い明度のコントラストを有し、より活性が低い画像は、明度のコントラストおよび彩度がより低くなり、より黄色っぽい低い彩度のトーンを有するであろう。
【0020】
色の重量
[1]におけるモデルで、色の重量は、白のL*=100からのL*座標のユークリッド距離の組み合わせ、および、重量の色彩感情の参照(the weight colour emotion reference)の色相h*=100からの色の色相の角距離の組み合わせにより、式(2)で示されるように決定される。
【0021】
【数2】

【0022】
ここで、kは、対象ピクセルに対する色の重量の増加または減少の度合いを制御する修正係数であり、これにより、正のkの値は、重量の増加を導き、負のkの値は重量の減少を導く。
は、重量の色彩感情の参照の色相、すなわち、h=h−100に向かってシフトされたピクセルの色相を示し、wは、式(3)のように元のピクセルの彩度C*に従って設定された重み付け係数である。
【0023】
【数3】

【0024】
他の彩度の重み付け関数が、当業者により適用されてもよい。
【0025】
示すように、ピクセルの明度Lは、ガンマ関数により修正され、それにより、γは修正強度および方向の関数であり、つまり、γ=f(k)で、γ>1で、色の重量が増加し、0<γ<1で、色の重量が減少する。
【0026】
色の重量の知覚等価なものは、明度および「黄色さ」の全体的な度合いとして説明され得る。
(元の画像よりも)より軽い画像は、深い影がなく、高いコントラスト領域で、より黄色で明るくなるであろう。
一方、より重い画像は、より青く、影により支配されるであろう。
【0027】
色の暖かさ
[1]におけるモデルで、色の暖かさの指標は、ピクセルの色の彩度、および、暖かさの色彩感情の参照の色相h=50からの角距離に依存する。
本実施形態によれば、彩度は、式(4)に従って修正される。
【0028】
【数4】

【0029】
そして、彩度は、式(2)で説明されたように修正されるが、異なる暖かさの色彩感情の参照の色相値h=h−50を使用しており、係数kを、対象ピクセルに対する「色の暖かさ」または「色の冷たさ」の度合いを制御する修正係数kに置換しており、それにより、正のkの値は、暖かさの増加を導き、負の値は、暖かさの減少を導く。
【0030】
色の暖かさを強化する知覚効果は、大部分は、画像をより「赤く」および若干明るく(より高い彩度を有する)することであり、赤および彩度が減少して、暖かさが減少する。
【0031】
本発明の3つの代替的な実施形態は、例として説明されるであろう。
各実施形態は、画像処理パイプラインおよびその要素を形成する画像処理装置である。
各場合において、パイプラインは他の要素(理解の簡潔さだけのために示されていない)を含むことがあり、他の要素は、例示された画像処理装置の上流および/または下流であってもよい。
第1の実施形態において、手動のユーザ入力が要求され、感情の尺度パラメータとして表現された色彩感情の兆候を提供し、画像補正は、上記の式の基準上で、これらの兆候に従って適用される。
ユーザに対して、(技術的よりむしろ)感情の兆候に関して画像補正を特定する能力は、先行技術の画像補正技術に対する重要な改良であるとされ、小スケールの写真印刷または個人的なアプリケーション(personal application)に確かに応用されるであろうし、そのようなユーザ入力は、必要以上のオーバーヘッドであるとはされないであろう。
第2の実施形態において、本発明の半自動化の例が提供され、半自動化の例において、所与の状況に対する情緒的性質として表現される色彩感情の兆候は、それぞれ「理想的な」色彩感情の基準で画像を補正するために用いられる。
第3の実施形態は、自動的に導いた画像の理解ある技術の基準で、自動画像補正を適用する。
この種の例は、例えば、ユーザ入力または介入が実用的でなくまたは負担がかかるとされ得る大規模な商業規模の写真印刷環境、または、埋め込みアプリケーション(例えば、プリンタ、カメラ、または、ウェブブラウザのような画像閲覧アプリケーション)に適用する。
例えば、本発明の第3の実施形態は、画像の理解を特徴付ける手動データ入力のオーバーヘッドが受け入れ難いであろう一日に数千または数百万の画像を処理し得る現像ラボに適用されてもよい。
【0032】
本発明の第1の例示に実施形態は、図2を参照して説明される。
図2において、画像処理装置は、原画像210を含むデータを受信する入力202、および、画像の情緒的性質を変化させるために用いられるユーザに定められた色彩感情の兆候を受信する入力204を含む画像補正ブロック205を含む。
画像が画像補正ブロック205に対して初めてである場合、その画像は、オリジナルである。当然、その画像は、画像補正ブロック205の何らかの上流で処理されていてもよい。
ユーザに定められた色彩感情の兆候は、実際に、画像補正ブロック205への色彩感情修正入力を構成する。
画像補正ブロック205はまた、補正された出力画像データ230を、パイプラインの下流へ送信する出力206を含む。
【0033】
画像補正ブロック205(および以下に説明される他のブロック)は、例えば、C++のような適切なプログラミング言語で書かれたソフトウェアコードを含み、ソフトウェアコードは、プログラマブルプロセッサ、例えば、Intel(登録商標)プロセッサ上で実行できる。
ブロックが、プリンタまたはカメラ上に実装される場合、オンボードのプログラマブルプロセッサがあれば、そのブロックは、コンパイルされたコードとして、または、埋め込みプロセッサを制御するファームウェアとして、または、プログラムされたASICとして具現化されてもよい。
【0034】
本実施形態よれば、色彩感情の兆候は、上述したように、色の活性、色の重量および色の暖かさのパラメータである。
より具体的には、この実施形態において、パラメータは、関連する尺度、例えば、原画像に関連する割合の増加および減少に関する尺度を用いることにより特定される。
実際に、値は、グラフィカルユーザインタフェース、例えば、ユーザにより操作され得るスライダースケールを含むグラフィカルユーザインタフェースを介して、または、何らかの都合のよい方法で、ユーザにより入力されてもよい。
そして、システムは、入力された値を用いて、適切な符号化範囲内の適切なkの値を生成する(例えば、8ビットの符号化スキームおける0−255)。
この実施形態において、システムは、どのような原画像の情緒的性質であるか、または、元の色彩感情の値はどのような値であるかの指示を必要としない。それは、単に提供された入力に従って式を適用する。
【0035】
本発明の第2の実施形態は、図3に例示される。
図2と同様に、図3に例示された実施形態は、画像データを受信する入力302、色彩感情修正を受信する入力を有する画像補正ブロック305、および、補正された出力画像データ330を、パイプラインの下流へ送信する出力を含む画像処理装置である。
この実施形態において、色彩感情修正は、画像色解析ブロック340の形式の画像色解析器により生成され、画像色解析ブロック340は、画像シーンの分類の形で、ユーザから色彩感情の兆候入力320を受信し、理想的なシーンに対する色彩感情の画像色彩感情データベース350へのアクセスを有する。
画像色解析ブロック340は、画像シーンの分類の基準でデータベース350から、適切な色彩感情を選択するセレクタ345を含む。
ユーザ入力320の内容は、様々な形式を取り得る。
本実施形態において、入力は、画像シナリオ、例えば、「スポーツイベント」、「告別式」、「家族のシーン」に関して画像の種類を分類し、ごくわずかな可能なシナリオを名づける。
さらに、ユーザが、グラフィカルユーザインタフェースで、様々な提供されたメニュー選択のうちの1つを選択することにより、シーンの選択がなされてもよい。
同様に、画像を分類する他の技術が用いられてもよい。
例えば、既知の自然言語の理解が用いられることがあり、「デイビッドの誕生日写真」のユーザ指示の基準で、画像を、「パーティー(party)」として分類する。
ユーザ入力の基準で画像を分類する多くの代替的な方法が、制限なしに適用されてもよい。
【0036】
画像データ310を入力として受信もする画像色解析ブロック340は、画像シーンの現在の感情を計算し、データベース350に格納され、指定された種類の「理想的な」シーンに対してセレクタにより選択された色彩感情と比較する。
【0037】
本実施形態によれば、各理想的なシーンの色彩感情は、色の活性、色の重量および色の暖かさの3つの尺度により定義された色彩感情空間における点である。
例えば、スポーツゲームの画像の色彩感情は、「色の活性」軸上の高い値により特徴付けられ、結婚式の画像の色彩感情は、「暖かい−寒い」および「重い−軽い」軸上の高い値により特徴付けられ、告別式の画像の色彩感情は、「暖かい−寒い」および「重い−軽い」軸上の低い値により特徴付けられてもよい。
【0038】
図4のグラフは、色彩感情座標を意味する投影(projection)400の形式で色彩感情を例示する。
この事例において、「活性−暖かさ」の(x−y)平面を表現している2次元の色彩感情のみが示される。
この平面における第1の点405は、比較的低い色の活性および比較的高い色の暖かさを有し、屋内描写のシーンに典型的なものであることが分かる。
第2の点410は、比較的高い色の活性および比較的低い色の暖かさを有し、太陽に輝く景色のシーンに典型的なものであることが分かる。
2次元および3次元の色彩感情空間の様々な他の例が、[1]において説明される。
【0039】
画像色解析ブロック340は、3次元の色彩感情空間における各ピクセルを表現し([1]からの式6−8を用いる)、そのピクセルの平均を計算することにより、現在の画像の感情を決定する。
そして、セレクタ345は、ユーザにより定義された画像のタイプに対する画像色彩感情データベース350から適切な理想的な色彩感情を選択し、画像の色彩感情の計算された値と、「理想的な」色彩感情とを比較する。
値がそれぞれの理想の色彩感情により要求されたものと同じ(または、実際、それについてのある閾値内)でない場合、色解析ブロック340は、それぞれの色彩感情の修正値を提供し、それにより、画像補正ブロック305は、上記の式を適用することにより、理想的な値に向かって画像の色をシフトする。
もし、画像の色彩感情の値が、理想の色彩感情の値、例えば、予め定められた閾値以内にすでに十分近い場合、画像補正ブロック305は、画像を補正することを要求されない。
差が閾値よりも大きいか否かを決定する1つの方法は、原画像と修正された画像との間の色差を推定し、これを、色科学の論文から利用可能な丁度価値差異(Just Noticeable Difference)の閾値(例えば、ヴェーバーの法則によれば、「丁度価値差異」は、刺激強度が、知覚経験における顕著な変化を生成するために変更されなければならない最小量である)と比較することである。
差が閾値より小さい場合、修正は、大きな効果を有することはなく、適用されないであろう。
本発明の実施形態において、この閾値の推定は、処理のスピードを上げるために、大幅に減らされたピクセルの数(例えば、おそらく何千ものピクセルよりもむしろ画像の低次元での100ピクセル)を有する画像のサムネイルバージョンを用いることによりなされる。
確かに、画像解析ブロック340は、実際に、ダウンサンプリング処理(図示せず)を含むことができ、能率を上げるために、原画像データのダウンサンプリングされたバージョンで、全体的に動作してもよい。
【0040】
他の実施形態によれば、ユーザにインプットされた色彩感情の兆候は、対象となる色彩感情の関連する指示、例えば、「シーンをより幸せにする」、「シーンをよりエキサイティングにする」など、を代わりに含んでもよい。
色彩感情の兆候を特徴付ける他の方法が可能であり、ここで説明された特定の例に制限されるべきではない。
【0041】
本発明の第3の実施形態が、図4に例示される。
この実施形態によれば、画像処理装置は、原画像データ510を受信する入力502、色彩感情修正信号を受信する入力504を有する画像補正ブロック505、および、補正された画像データを、それぞれの画像処理パイプラインの下流に提供する出力530を含む。
この場合における色彩感情修正信号は、原画像データ510(原画像データ510もまた、パフォーマンス改善のためにダウンサンプリングされ得る)も受信する画像識別ブロック(image understanding block)515により提供される。
画像識別ブロック515は、画像解析ブロック522の形式の画像内容解析器、セレクタ545を含む画像色解析ブロック540、および、第2の実施形態に対して記載されたような一般的に理想的なシーンの色彩感情を有する画像色彩感情データベース550を含む。
画像内容解析ブロック522は、画像分類(例えば、画像が、結婚式のシーン、スポーツイベントのシーンまたは風景のシーンであるかどうか)を決定する。
最後に、任意のグローバル選択入力520があり、その目的が以下により詳細に説明され、入力を、画像識別ブロック515または画像補正ブロック505のいずれかまたは両方に提供され得る。
【0042】
画像内容解析ブロック522は、様々な既知の画像処理および解析技術を適用し、画像統計を取得し、例えば、物体、人々の存在、屋内の画像または屋外の画像か、などといった画像要素を判別する。
そのデータから、画像分類(例えば、屋内の家庭のシーンまたは屋外のスポーツゲームのシーン)が、自動的に決定される。
画像識別技術はよく知られ、大規模で常に増えている文献および研究開発を形成する。
例えば、既知の画像区分技術は、画像領域を知覚的に意味のある範囲に分割することを許可し、シーン内の個々の物体が認識されることができ[4]、空間的な構造(奥行き、閉塞(occlusions)など)が識別されることができ[5,6]、人の顔の検出[7,8]が、画像補正、監視(surveillance)およびその他における多くのアプリケーションにより増加した急速に発展しているトピックである。
これらのいずれか1つ以上、および、実際に他の既知の技術が、画像内容解析ブロック522に適用されることができ、画像シーンを自動的に分類する。
【0043】
画像内容解析ブロック522の出力は、セレクタ545により用いられ、画像色彩感情データベース550から、適切なシーンの色彩感情を選択する。
そして、画像色解析ブロック540は、第2の実施形態で説明したように、色彩感情修正信号を生成し、画像補正ブロック505は、(もし要求されれば)画像属性を調整し、要求された情緒的性質を取得する。
【0044】
任意のグローバル選択入力520は、手動または自動化された入力処理であることができ、入力処理は、画像識別ブロック515により用いられた(または画像補正ブロックにより直接的に)用いられた情報を適用することができ、グループ内のいくつかの、または、実際にすべての処理された画像に対する色彩感情修正信号を修正する。
例えば、入力は、それぞれの写真を撮影するために用いられたカメラの種類を指示するデータに対して応答してもよい。例えば、いくつかのカメラは、画像を冷たくまたは非活性に描画する方法で色を再生成することで知られている。
そして、入力は、カメラの特徴のデータベース(図示せず)から得られてもよく、例えば、カメラを用いることによりキャプチャされた画像が補正され、画像を、この場合よりもより暖かくまたはより活性化させるということを指示してもよい。
手動入力の実施形態において、グローバル選択入力は、ユーザが、すべての画像が、処理された画像の種類に対して理想的であるよりもより暖かく、より軽いと言うことを許可してもよい(例えば、単に写真家がその場合であることを望むという理由から)。
何らかのイベントにおいて、画像識別ブロック(または画像補正ブロック505)は、グローバル選択入力520を、色彩感情修正信号の調整として用いる。
【0045】
例示の自動化された画像補正処理が、図4および図5のフロー図を参照して説明される。
第1のステップ[600]において、原画像データが、画像識別ブロック515に入力される。
画像内容解析ブロック522は、既知の画像識別技術を適用することにより、画像を解析し[605]、画像を分類する[610]。
画像分類は、画像色彩感情データベース550からそれぞれの理想的な色彩感情を読み出すセレクタ545により用いられる[615]。
画像色解析ブロック540は、原画像に対する平均の画像感情の値C(画像)[620]を計算する[620]。
画像色解析ブロック540は、原画像C(画像)の平均の画像感情の値と、効率の理由のために画像のサムネイルバージョンを用いる画像C(理想)の補正されたバージョンの平均の画像感情の値との間の差(デルタ)を決定する[625]。
次に、画像色解析ブロック540は、差デルタが、定められた閾値よりも大きいかを判定する[630]。
閾値よりも大きくない場合、画像データは、パイプラインを通過し、画像の何らかの補正または調整をすることなく出力される[640]。
差が閾値よりも大きい場合、選択された理想的な色彩感情に従って、例えば、式(1)−(3)の1つ以上を用いることにより、画像が補正され[635]、出力される[640]。
【0046】
本発明の実施形態によれば、画像全体が処理されている場合、修正されている対象ピクセルは、画像のすべてのピクセルであり得る。
これは、第1および第2の実施形態に対する場合である可能性が高く、第1および第2の実施形態において、比較的簡単な修正情報が、ユーザにより提供され得る。
しかしながら、他の実施形態において、対象ピクセルは、画像のすべてのピクセルのサブセットであってもよい。
例えば、対象ピクセルは、例えば、特徴、範囲または人を定義しているローカル領域のすべてのピクセルであってもよい。
この選択は、第3の実施形態において特定の用途を見出し、第3の実施形態において、画像内容は、解析され、識別される。
そして、特定の特徴、範囲または人々を形成している対象ピクセルを識別することが可能である。
加えてまたは代替的に、対象ピクセルは、クラスに関して定義されたすべてのピクセルのサブセット、例えば、ある色(または色の帯)のピクセル、であってもよい。
何らかのイベントにおいて、それぞれの修正モデルにおけるkの値は、画像のすべてのピクセルに対して定数であってもよく(例えば、すべてのピクセルが対象ピクセルである場合)、または、例えば、対象ピクセルが、特徴、範囲または人といった画像の識別されたサブセットを形成する場合、定義された方法で変化し得る(例えば、画像範囲にわたってなだらかに変化する)。
一般的に、kの値が、画像に望ましい色彩感情を染み込ませるために、当業者により決定された何らかの適当な方法により変化され得ないという理由はなく、kが、すべての対象ピクセルに対して、制限の中で異なることはないという理由はない。
【0047】
上述の実施形態は、本発明の例示として理解されるものである。
本発明のさらなる実施形態が予測される。
例えば、各実施形態において、画像処理装置は、特定のブロックおよび要素について説明される。
当然のことながら、ブロックおよび要素の異なる構成が、本発明を逸脱しない範囲で用いられてもよい。
加えてまたは代替的に、異なる色彩感情尺度が用いられてもよく、異なる色彩感情空間が適用されてもよい。
それは、いずれか1つの実施形態に関連して説明された任意の特徴は、単一で用いられてもよく、または、もし事情が許せば、説明された他の特徴との組み合わせで用いられてもよく、任意の他の実施形態の1つ以上の特徴との組み合わせで用いられてもよく、任意の他の実施形態の任意の組み合わせで用いられてもよい。
さらに、上述されていない均等物および改善したものが、添付の特許請求の範囲に定義されている本発明の範囲を逸脱しない範囲で採用されてもよい。
【0048】
参考文献:
[1]L.C. Ou et al., "A study of colour emotion and colour preference. Part I: Colour emotions for single colours," Color Research & Application 29, no. 3 (4004): 432-440; L. C. Ou et al., "A study of colour emotion and colour preference. Part II: Colour emotions for two-colour combinations, "Colour Ressearch & Application 29, no. 4 (4004): 492-498.
[2]T. Sato et al., "Quantitative Evaluation and Categorising of Human Emotion Induced by Colour," Advances in Colour Science and Technology 3 (4000).
【符号の説明】
【0049】
100・・・カメラ,
105・・・パーソナルコンピュータシステム,
110・・・ネットワーク,
115・・・写真印刷所のコンピュータ,
120・・・データストア,
125・・・画像処理コンピュータ,
130・・・プリンタ,
205,305,505・・・画像補正ブロック,
210,310,510・・・原画像,
220,320・・・ユーザ入力,
230,330,530・・・出力画像,
340,540・・・画像色解析ブロック,
345,545・・・セレクタ,
350,550・・・画像色彩感情データベース,
520・・・グローバル選択入力,
522・・・画像内容解析ブロック

【特許請求の範囲】
【請求項1】
画像のピクセルデータ(510)を受信する入力(502)と、色彩感情の兆候を受信する入力(504)を含む画像処理装置(500)であって、
前記画像処理装置(500)は、
前記色彩感情の兆候の基準で色符号化空間における画像の対象ピクセルを調整し、そこから結果として生じる画像ピクセルデータを出力するよう構成されている
画像処理装置。
【請求項2】
前記兆候は、1つ以上の色彩感情尺度のパラメータである
請求項1に記載の画像処理装置。
【請求項3】
前記兆候は、複数の色彩感情尺度により定義された色彩感情空間(400)における点(405,410)を表現する
請求項1または2に記載の画像処理装置。
【請求項4】
前記色彩感情空間は、3つの色彩感情尺度により定義される
請求項2または3に記載の画像処理装置。
【請求項5】
色彩感情尺度は、色の活性、色の重量および色の暖かさのうちの少なくとも1つを含む
請求項2〜4のいずれかに記載の画像処理装置。
【請求項6】
色の活性修正は、この中で式(1)により定義される
請求項5に記載の画像処理装置。
【請求項7】
色の重量修正は、式(2)および(3)により定義される
請求項5または6に記載の画像処理装置。
【請求項8】
色の暖かさ修正は、式(4)により定義される
請求項5〜7のいずれかに記載の画像処理装置。
【請求項9】
各修正は、特定された色彩感情の参照に関連して決定される
請求項6〜8のいずれかに記載の画像処理装置。
【請求項10】
シーンの分類を受信する入力(542)と、
前記分類の基準で、理想的な画像シーンに対する複数の格納された色彩感情から1つを選択するセレクタ(545)と
を含む請求項1〜9のいずれかに記載の画像処理装置。
【請求項11】
関連する分類を有する入力された画像の画像ピクセルデータ(510)の感情を計算し、前記分類に対するそれぞれの理想的な画像シーンに対して選択された感情と比較する色解析器(540)
を含む請求項10に記載の画像処理装置。
【請求項12】
入力された画像の画像ピクセルデータ(510)の前記色彩感情は、前記対象ピクセルの前記色彩感情の統計関数である
請求項11に記載の画像処理装置。
【請求項13】
入力された画像の画像ピクセルデータ(510)の前記色彩感情は、前記対象ピクセルの前記平均色彩感情であると計算される
請求項12に記載の画像処理装置。
【請求項14】
入力された画像の画像ピクセルデータ(510)を解析する内容解析器(522)を含み、
識別された内容の基準で、前記色解析器(540)への入力に対するそれぞれの画像の分類を生成する
請求項11〜13のいずれかに記載の画像処理装置。
【請求項15】
画像ピクセルデータ(600)および色彩感情の兆候を入力することと、
前記色彩感情の兆候の基準で色符号化空間における前記画像の対象ピクセルを調整することと(635)、
ここから結果として生じる画像ピクセルデータを出力することと(640)
を含む画像処理方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公表番号】特表2012−516076(P2012−516076A)
【公表日】平成24年7月12日(2012.7.12)
【国際特許分類】
【出願番号】特願2011−546237(P2011−546237)
【出願日】平成21年1月20日(2009.1.20)
【国際出願番号】PCT/US2009/031427
【国際公開番号】WO2010/085237
【国際公開日】平成22年7月29日(2010.7.29)
【出願人】(511076424)ヒューレット−パッカード デベロップメント カンパニー エル.ピー. (155)
【氏名又は名称原語表記】Hewlett‐Packard Development Company, L.P.
【Fターム(参考)】