画像処理装置、画像処理方法及び画像処理プログラム
【課題】 画像データの画像処理を行う画像処理装置において、画像データを低解像度でサンプリングを行った場合にも、統計値の精度を保ち、画像処理のための適切な補正量を算出する。
【解決手段】 画像処理装置は、例えば携帯機器、表示装置、カラープリンタなどに搭載され、外部から取得した画像データに対して、当該画像データの統計値に基づいて、画像処理を施す。画像処理装置は、画像データを低解像度でサンプリングを行い、サンプリングされた画像データを粗量子化して、補間によりヒストグラムを生成することにより、量子化量を戻す。この生成されたヒストグラムの統計情報より算出された統計値を基に補正量を決定し、画像データに画像処理を行う。これにより、低解像度で画像データのサンプリングを行った場合であっても、統計値の精度を保ち、適切な補正量を導きだすことができる。
【解決手段】 画像処理装置は、例えば携帯機器、表示装置、カラープリンタなどに搭載され、外部から取得した画像データに対して、当該画像データの統計値に基づいて、画像処理を施す。画像処理装置は、画像データを低解像度でサンプリングを行い、サンプリングされた画像データを粗量子化して、補間によりヒストグラムを生成することにより、量子化量を戻す。この生成されたヒストグラムの統計情報より算出された統計値を基に補正量を決定し、画像データに画像処理を行う。これにより、低解像度で画像データのサンプリングを行った場合であっても、統計値の精度を保ち、適切な補正量を導きだすことができる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、サンプリングされた画像データを用いて、画像データに対する画像処理を実行する技術に関する。
【背景技術】
【0002】
画像データの画像処理条件が記述された画像処理制御情報を、画像データに関連付ける技術が知られている(例えば、特許文献1)。画像処理制御情報は、画像生成装置、例えばディジタルスチルカメラと、出力装置、例えば印刷装置、の組み合わせに応じて、出力装置から出力される出力画像の画質を向上させるように設定されている。したがって、画像処理装置において、画像データに関連付けられた画像処理制御情報(画像処理条件)に従い、画像データに対する画像処理(画質調整)が実行されることによって、出力装置の画像出力特性が考慮された出力画像を得ることができる。この画像データに対する画像処理では、画像データの統計値を基に、その補正量が算出される。
【0003】
しかしながら、従来の上記技術では、画像データの統計値を求める処理は、制御回路に対する負担が大きかった。また、制御回路に対する負担を減らすために画像データを低解像度でサンプリングして統計値を求めると、サンプリングされた画像データの解像度が低いために、統計値の精度を保つことができず、適切な補正量を導くことが難しかった。
【0004】
【特許文献1】特開2003−52002号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
本発明は、上記の点に鑑みてなされたものであり、画像データを低解像度でサンプリングを行った場合にも、統計値の精度を保ち、画像処理のための適切な補正量を導くことを課題とする。
【課題を解決するための手段】
【0006】
本発明の一つの観点では、画像処理装置は、画像データを取得する画像データ取得手段と、前記画像データのサンプリングを行うサンプリング手段と、サンプリングされた画像データの粗量子化を行うとともに直線補間を行って得られた画像データの階調値におけるヒストグラムの統計情報に基づいて統計値を算出する統計値算出手段と、前記統計値に基づいて画像処理時における補正量を決定する補正量決定手段と、前記補正量に基づいて画像処理を行う画像処理手段と、を備える。
【0007】
上記の画像処理装置は、例えば携帯機器、表示装置、カラープリンタなどに搭載され、外部から取得した画像データに対して、当該画像データの統計値に基づいて、画像処理を施す。画像処理装置は、画像データを低解像度でサンプリングを行い、サンプリングされた画像データを粗量子化し、画素数の直線補間を行なうことによりヒストグラムを生成する。この生成されたヒストグラムの統計情報より算出された統計値を基に補正量を決定し、画像データに画像処理を行う。これにより、低解像度で画像データのサンプリングを行った場合であっても、統計値の精度を保ち、適切な補正量を導きだすことができる。
【0008】
本発明の同様の観点では、画像処理方法は、画像データを取得する画像データ取得工程と、前記画像データのサンプリングを行うサンプリング工程と、サンプリングされた画像データの粗量子化を行うとともに直線補間を行って得られた画像データの階調値におけるヒストグラムの統計情報に基づいて統計値を算出する統計値算出工程と、前記統計値に基づいて画像処理時における補正量を決定する補正量決定工程と、前記補正量に基づいて画像処理を行う画像処理工程と、を備える。
【0009】
さらに本発明の同様の観点では、制御回路を備える画像処理装置によって実行される画像処理プログラムは、画像データを取得する画像データ取得手段と、前記画像データのサンプリングを行うサンプリング手段と、サンプリングされた画像データの粗量子化を行うとともに直線補間を行って得られた画像データの階調値におけるヒストグラムの統計情報に基づいて統計値を算出する統計値算出手段と、前記統計値に基づいて画像処理時における補正量を決定する補正量決定手段と、前記補正量に基づいて画像処理を行う画像処理手段、として前記画像処理装置を機能させる。
【0010】
上記の画像処理方法及び画像処理プログラムによっても、低解像度で画像データのサンプリングを行った場合において、統計値の精度を保ち、適切な補正量を導きだすことができる。
【0011】
上記の画像処理装置の一態様は、前記補正量決定手段は、サンプリングされた画像データに基づいて全画素に占める所定の色における画素の割合を算出し、前記所定の特定の色における画素の割合に基づいて前記補正量を修正する補正量修正手段、をさらに備える。ここで、所定の特定の色とは、具体的には、人間の肌色や空の空色などの記憶色や高彩度色などの特徴色を指す。サンプリングされた画像データにおける特定色の画素の割合に応じた補正量を算出することにより、画像データの特定色の適切な補正を行うことができる。
【0012】
上記の画像処理装置の他の一態様は、前記サンプリング手段は、前記画像データによって形成される画像の中心の領域及びその外周の領域について、それぞれ低解像度でサンプリングを行う分割領域サンプリング手段をさらに備える。これにより、逆光画像の判定処理を、制御回路に負担をかけず、迅速に行うことができる。
【0013】
上記の画像処理装置の他の一態様は、前記補正量決定手段は、前記ヒストグラムと、前記中心の領域及び前記外周の領域のサンプリングされた画像データに基づいて算出された統計値と、を用いて、前記画像データが逆光画像であるか否かを判定する逆光画像判定手段をさらに備える。これにより、サンプリングされた画像データを基に、元の画像データが逆光画像となっているか否かの判定を行うことが可能となる。
【発明を実施するための最良の形態】
【0014】
以下、本発明に係る画像処理装置、表示装置、画像処理方法および表示方法について図
面を用いて説明する。
【0015】
[画像処理システムの概略構成]
図1および図2を参照して本実施形態に係る画像処理装置(表示装置)、本実施形態に係る画像処理装置(表示装置)を含む画像処理システムについて説明する。図1は本実施形態に係る画像処理装置を含む画像処理システムの概略構成を示す説明図である。
【0016】
画像処理システムは、画像データを生成する入力装置としてのディジタルカメラ10、画像データGDに関連付けられた画像処理制御情報GIを用いて画像データGDに対する画像処理を実行すると共に、画像処理を施した画像データを用いて画像を出力する表示画像出力装置(表示装置)および画像処理装置としての携帯機器20、表示装置30、カラープリンタ50を備えている。ここで、カラープリンタ50は、画像を印刷して出力する印刷画像表示出力装置としての機能の他に、表示装置および画像処理装置としての機能を有する。
【0017】
ディジタルカメラ10は、光の情報をディジタルデバイス(CCDや光電子倍増管といった光電変換素子)に結像させることにより画像を取得するカメラであり、光情報を電気情報に変換するためのCCD等を備える光電変換回路、光電変換回路を制御して画像を取得するための画像取得回路、取得したディジタル画像を加工処理するための画像処理回路等を備えている。
【0018】
ディジタルカメラ10は、取得した画像をディジタルデータとして記憶装置としてのメモリカードMCに保存する。ディジタルカメラ10における画像データの保存形式としては、非可逆圧縮保存方式としてJPEGデータ方式、可逆圧縮保存方式としてTIFFデータ形式が一般的であるが、この他にもRAWデータ形式、GIFデータ形式、BMPデータ形式等の保存形式が用いられうる。
【0019】
ディジタルカメラ10は、画像データGDの生成時に、撮影時に設定された撮影条件を記述する撮影情報SI、予めディジタルカメラ10のメモリ(例えば、ROM)内に格納されている画像処理条件を規定する画像処理制御情報GIを、画像データGDのヘッダに書き込むことができる。ディジタルカメラ10は、生成した画像データGDをメモリカードMC等に格納する。
【0020】
本実施形態において用いられる画像データGDの模式的な構成、画像処理制御情報GI、撮影情報SIとして記録されるパラメータの一例について図3〜図5を参照して説明する。図3は本実施形態において用いられる画像データGDの構成を模式的に示す説明図である。図4は画像処理制御情報GIとして記録されるパラメータの一例を示す説明図である。
図5は撮影情報SIとして記録されるパラメータの一例を示す説明図である。なお、図3〜図5に示す各データ、情報の構造は、説明のために、例えば、メモリ上に格納されているデータ、情報を概念的に示している。
【0021】
画像データGDは、例えば、そのヘッダ部に、画像データGDに対する画像処理時の画像処理条件を規定する画像処理制御情報GI、撮影時の撮影条件を示す撮影情報SIを記述する。即ち、画像処理制御情報GI、撮影情報SIは、画像データGD毎に対応付けられている。画像処理制御情報GIは、ディジタルカメラ10等の任意の画像データ生成装置にて生成された画像データを、所定の画像出力装置から出力した際に所望の出力画像が得られるように予め実験的に求められた情報である。
【0022】
撮影情報SIとして記述されるパラメータは、例えば、撮影時におけるシャッター速度、露出モード、ISO、絞り値、撮影シーン、ストロボ発光の有無である。
【0023】
画像処理制御情報GIとして記述されるパラメータは、例えば、ノイズ除去の有無(ノイズ除去レベル)、シャープネス、明度、R,G,Bカラーバランス、コントラスト、記憶色、撮影モード(撮影条件に対応する画像処理時の処理モード)である。画像処理制御情報GIは、例えば、画像データGDを生成するディジタルカメラ10における画像データの生成特性と、カラープリンタ50の1つの機能である印刷画像表示出力装置における画像出力特性とを考慮して決定される。したがって、画像処理制御情報GIを用いて画像処理が施された画像データを、印刷画像表示出力装置とは異なる画像出力特性を有する画像出力装置によって出力すると、印刷画像表示出力装置によって出力された場合と同様の出力画像を得ることができないことがある。そこで、本実施形態においては、画像出力装置の画像出力特性に応じて、画像処理制御情報GIを修正するための修正情報を用いて、出力画像の画質の相違を解消または低減する。修正情報は、画像処理制御情報GIを画像出力装置の画像出力特性に適合させるための差分情報、画像処理制御情報GIを置換するための置換情報、画像処理制御情報GIに基づいて画像出力装置の画像出力特性に適合した新たな画像処理制御情報を生成するための生成用情報のいずれであっても良い。かかる修正情報は、画像処理制御情報GIに記述されていても良く、個々の画像出力装置の記憶装置に格納されていても良い。
【0024】
携帯機器20は、比較的小型の表示ディスプレイ21を有する携帯用端末であり、例えば、携帯電話、携帯用個人情報管理装置等が該当する。携帯機器20は、例えば、記憶媒体、赤外線通信および電波式通信といった無線通信を介して、あるいは、ケーブルを介してディジタルカメラ10、ネットワーク上のサーバ(図示しない)から画像データを取得する。表示ディスプレイ21は、例えば、液晶表示ディスプレイ、有機EL表示ディスプレイであり、各表示ディスプレイパネル毎に独自の画像出力特性を有する。
【0025】
表示装置30は、画像を表示するための表示ディスプレイ31を有する、例えば、電子式の写真フレームとして機能する表示装置であり、スタンドアローンにて画像データに対して画像処理を実行し、出力画像を表示する。表示装置30は、例えば、記憶媒体、赤外線通信および電波式通信といった無線通信を介して、あるいは、ケーブルを介してディジタルカメラ10、ネットワーク上のサーバ(図示しない)から画像データを取得する。表示ディスプレイ31は、例えば、液晶表示ディスプレイ、有機EL表示ディスプレイであり、各表示ディスプレイパネル毎に独自の画像出力特性を有する。
【0026】
カラープリンタ50は、多機能型のカラープリンタであり、カラー画像の出力が可能な印刷画像表示出力装置としての機能の他、さらに、画像処理装置としての機能も有する。このため、パーソナルコンピュータ等と接続する必要はなく、ユーザは、ディジタルカメラ10の画像データGDを、直接、カラープリンタ50で画像処理を行い、印刷することが可能となる。さらに、カラープリンタ50は、画像を表示するための表示ディスプレイ35を有する。表示ディスプレイ35は、表示ディスプレイ31と同様のものであり、例えば、ユーザが、印刷したい画像を、実際に印刷する前に確認する(一般的に「プレビュー」などと言われる)ために用いられる。カラープリンタ50が画像処理装置として機能する場合には、画像処理制御情報GIを用いて、印刷出力装置としての画像出力特性および表示ディスプレイ35の画像出力特性のそれぞれに応じた画像処理が実行される。ここで、カラープリンタ50に印刷出力される場合には、プリンタの解像力が高いため比較的大きな画素数の画像が出力される。しかし、携帯電話20や表示ディスプレイ31、カラープリンタ50に内蔵されている表示ディスプレイ35の解像力は、あまり高くないため低解像度の画像を生成し、表示する。この低解像度の画像の作成方法は、二アレストネイバー(最近傍処理)法、リニア補間(線形補間)法、キュービック法などがあり、いずれの方法でも低解像度の画像を生成することができる。本発明では、低解像度の画像から画像処理に用いる統計値情報を取得し処理を高速化するものである。統計値情報を取得するためのヒストグラムの生成方法、統計値の演算方法については、後述する。
【0027】
図2は第1の実施例に係る携帯電話20、表示装置30、カラープリンタ50の概略構成を示す説明図である。図2(a)は、携帯電話20、表示パネル30の概略構成を示し、図2(b)は、カラープリンタ50の概略構成を示す。具体的には、携帯電話20、表示パネル30は、制御回路60a、入力操作部61a、通信制御部62a、ディスプレイ駆動制御部63a、メモリカードスロット64aを備えている。カラープリンタ50は、制御回路60b、入力操作部61b、通信制御部62b、ディスプレイ駆動制御部63b、メモリカードスロット64b、プリンタ駆動制御部65を備えている。
【0028】
制御回路60a、60bは、画像処理等の各種演算処理を実行する中央演算装置(CPU)601a、601b、入力された画像データ、演算結果等の各種データを一時的に格納するランダムアクセスメモリ(RAM)602a、602b、CPU601a、601bによって実行されるプログラム、画像処理制御情報GIを修正するための修正テーブル等を格納するハードディスク(HDD)603a、603bまたはリードオンリメモリ(ROM))を、それぞれ備えている。
【0029】
入力操作部61a、61bは、外部からの入力を受け付けるインターフェース部であり、例えば、キー操作部、スクロール操作部として実現される。また、表示ディスプレイ31、35が、それぞれ、タッチパネル式の入力操作部61a、61bとして、それぞれ用いられても良い。
【0030】
通信制御部62a、62bは、ディジタルカメラ10、ネットワーク上のサーバ等との間で画像データをやりとりするための通信を制御する。通信制御部62a、62bは、例えば、入力操作部61a、61b、制御回路60a、60bを介して要求された所望の通信を実行する。
【0031】
ディスプレイ駆動制御部63aは表示ディスプレイ21または表示ディスプレイ31における出力画像を制御し、ディスプレイ駆動制御部63bは、表示ディスプレイ35における出力画像の描画を制御する。例えば、表示ディスプレイ31、35が液晶表示ディスプレイの場合には、ディスプレイ駆動制御部63a、63bは、制御回路60a、60bから送出された出力画像データに基づいて、液晶の配向を駆動制御することによって出力画像データに対応するドットパターンを形成する。
【0032】
プリンタ駆動制御部65は、画像を印刷媒体上に出力する。例えば、カラープリンタ50が、インクジェット方式のプリンタであるならば、シアン(C)、マゼンダ(M)、イエロー(Y)、ブラック(K)の4色の色インクを印刷媒体上に噴射してドットパターンを形成することによって画像を形成する。また、カラープリンタ50が、電子写真方式のプリンタであるならば、カラートナーを印刷媒体上に転写・定着させて画像を形成する。
色インクには、上記4色に加えて、ライトシアン(薄いシアン、LC)、ライトマゼンダ(薄いマゼンダ、LM)、ブルー、レッドを用いても良い。
【0033】
[制御回路の機能的構成]
図6を参照して、携帯機器20および表示装置30、カラープリンタ50が備える制御回路60a、60bによって実現されるモジュールの概略について説明する。図6は本実施形態に係る携帯機器20および表示装置30、カラープリンタ50が備える制御回路60a、60bによって実現される機能モジュールのブロック図である。なお、図6に示す各モジュールは、CPU単独で、あるいは制御回路60a、60bとして実現され、また、ハードウェア、ソフトウェアのいずれによっても実現され得る。また、以下に説明する機能モジュールは、上記の機器および装置を、パーソナルコンピュータと接続することにより、パーソナルコンピュータによっても同様に実現され得る。
【0034】
画像処理の対象となる画像データGDは、画像データ取得モジュールM1によって取得される。よって、画像データ取得モジュールM1は、画像データ取得手段として機能する。
【0035】
画像データGDに関連付けられている画像処理制御情報GI/撮影情報SIは、画像処理制御情報GI/撮影情報SI取得モジュールM2によって取得され、取得された画像処理制御情報GI/撮影情報SIは、画像処理制御情報GI/撮影情報SI修正モジュールM3によって画像出力装置に応じて修正される。
【0036】
画像処理制御情報GIは、一般的に、特定の画像データ生成装置、例えば、ディジタルカメラ10と特定の画像出力装置との関係において、最適な出力画像(画質)が得られるように設定されているので、特定の画像出力装置と異なる他の画像出力装置において、画像処理制御情報GIを用いた画像処理が実行される場合には、他の画像出力装置の画像出力特性に合わせて画像処理制御情報GIを修正することが望まれる。
【0037】
そこで、修正情報取得モジュールM4によって取得された修正情報を用いた画像処理制御情報GI/撮影情報SI修正処理が、画像処理制御情報GI/撮影情報SI修正モジュールM3によって実行される。修正情報は、画像処理制御情報GIに記述されていても良く、制御回路60a、60bのHDD603a、603bに予め記録されていても良い。
【0038】
一方、画像データGDに対する基準値を用いた画像処理を実行するために、画像データ解析モジュールM6にて、画像データGDをサンプリングすることにより得られたヒストグラムを基に、画像データGDの画質に関する各パラメータ(画質パラメータ)についての解析値(統計値、特性値)が求められる。よって、画像データ解析モジュールM6は、サンプリング手段および統計値算出手段として機能する。
【0039】
補正量決定モジュールM7では解析結果を用いて画像データGDに対する画像処理時における補正量が決定される。よって、補正量決定モジュールM7は、補正量決定手段として機能する。
【0040】
決定された補正量は、補正量変更モジュールM8において、修正情報を用いて修正された画像処理制御情報GI/撮影情報SIを反映して変更される。
【0041】
画像処理モジュールM5では、変更された補正量を用いた画像データGDに対する画像処理が実行される。画像処理が施された画像データGDは、画像データ出力モジュールM9によって出力画像データとしてディスプレイ駆動制御部63a、63bに送出される。あるいは、制御回路60a、60bに画像出力モジュールM10が備えられている場合には、画像処理が施された画像データGDは、画像出力モジュールM10を介して表示ディスプレイ21、31、35、あるいは印刷媒体上に出力画像が出力される。よって、補正量処理モジュールM5は、画像処理手段として機能する。
【0042】
なお、画像処理モジュールM5における画像処理においては、変更された補正量を用いることなく、例えば、修正された画像処理制御情報GIとして記述されているパラメータの値をそのまま用いた画像処理が実行されてもよい。
【0043】
[画像データのサンプリング方法]
補正量決定モジュールM7で行なわれる画像補正量決定処理は、画像データGDの画質に関するパラメータの値を基準値に近づける。あるいは、基準値と同一の値とする、いわゆる自動画質調整に用いるための補正量を求める処理である。
【0044】
そのため、画像データ解析モジュールM6では、画像データGDにサンプリングを行い、サンプリングした画像データから、画像データGDの画質に関する各パラメータ(画質パラメータ)について解析値(統計値、特性値)を取得する。補正量決定モジュールM7は、各画質パラメータについて、予め用意されている基準値を取得し、基準値と解析値とを用いて各画質パラメータについて補正値を決定する。より具体的には、各画質パラメータ毎に用意された演算式を用いて、各画質パラメータの解析値と基準値との差を解消または低減させるための補正値が決定される。すなわち、本実施形態では、各画像データGDの特性を解析することによって、各画像データGDの画質に応じて補正値が決定される。
【0045】
上述したように、画像補正量決定処理では、解析値の1つである統計値を基に処理が行われる。統計値は、画像データGDからサンプリングされた画像データを基に算出される。しかしながら、ディジタルカメラの自動露出判定などに使用されているように、画像を幾つかの領域に分割し、分割された領域によって、露出判定の重み付けを変えると、各エリアの母集団は極端に少なくなってしまう。このように、画像データのサンプリングが、低解像度下で行われると、画像データを基に算出される統計値の信頼度は、低下してしまう。この統計値の信頼度の低下によって、統計値を基に決定される補正値の誤差は大きくなってしまい、適切な画像補正を行うことができなくなる。
【0046】
(ヒストグラムの生成方法)
統計値は、画像データGDのヒストグラムの統計情報を基にして算出される。このため、CPU601a、601bは、統計値を算出するために、まず、画像データGDのヒストグラムを生成する。統計値の信頼度の低下を防ぐには、このヒストグラムの特性の信頼度を低下させないことが必要となる。以下、本実施形態に係るヒストグラムの生成方法について述べる。
【0047】
図7は、画像データGDを、高解像度および低解像度でサンプリングした画像データのヒストグラムを示している。図7(a)は、高解像度でサンプリングを行った場合の画像データのヒストグラムを示し、図7(b)は、低解像度でサンプリングを行った場合の画像データのヒストグラムを示す。それぞれのヒストグラムの横軸は、0から255までの階調値を示し、縦軸は、横軸の階調値を有する画素数を示している。
【0048】
図7(a)の高解像度でサンプリングを行った場合の画像データのヒストグラムと比較して、図7(b)の低解像度でサンプリングを行った場合の画像データのヒストグラムは、ムラ(歯抜け)が多くなることが分かる。また、図7(b)のヒストグラムが示すように、低解像度の画像データでは、少数の画素の階調値の変動による統計値に与える影響が大きいことが分かる。このようなヒストグラムの統計情報より算出される統計値では、適切な画像補正を行うための補正値を決定することができない。
【0049】
そこで、このような低解像度の画像データの場合には、まず階調値の粗量子化を行う。具体的には、画素の階調値を64で量子化を行う。図8(a)は、階調値を64で量子化を行った場合のヒストグラムである。階調値を64で量子化を行うとは、0から255までの256の全階調値の画素数を算出するのではなく、4つずつの階調値の画素数を、その中の1つの階調値の画素数として算出することである。図8(b)は、階調値を64で量子化を行った場合のヒストグラムの拡大図である。図8(b)が示すように、階調値を64で量子化を行った場合のヒストグラムでは、階調値0の画素数、階調値4の画素数、階調値8の画素数・・のように、4つごとの階調値についての画素数を算出している。つまり、256の階調値の画素数を、下位2ビットを有さない階調値の画素数として算出しているので、64の階調値のみの画素数を算出することとなる。例えば、図8(b)が示すように、階調値3の画素数として、階調値0〜3までの画素数をカウントし、階調値7の画素数として、階調値4〜7までの画素数をカウントしている。
【0050】
このように粗量子化して、ヒストグラムの構築を行った後、ヒストグラムの量子化量を256に戻す。具体的には、階調値を64で量子化を行う際に量子化後の階調値として選ばなかった階調値の画素数、即ち下位2ビットを有する階調値は、64で量子化された後の階調値として選ばれた画素数、即ち下位2ビットを有さない階調値の画素数を基に、隣り合った階調値の画素数が直線的に変化するとして比例計算で求めることにより補間される。例えば、図8(b)で言えば、階調値4〜6の画素数の値は、階調値3で算出された量子化後の画素数と、階調値7で算出された量子化後の画素数を結ぶ直線L上にくる点m4、m5、m6の画素数の値とされる。このように、画素数の直線補間を行って、量子化量を256に戻したときのヒストグラムを図8(c)に示す。図8(c)の量子化後に画素数が直線補間されたヒストグラムと、図7(b)の低解像度でサンプリングされた画像データのヒストグラムを比較すると、図8(c)のヒストグラムの方が、図8(a)の高解像度でサンプリングされた画像データのヒストグラムに定性的に近いことが分かる。よって、低解像度でサンプリングされた画像データの場合、一度、階調値を64で粗量子化を行い、そのときに算出されなかった階調値の画素数を、量子化されたヒストグラムを基に直線補間を行って階調値を256に戻したヒストグラムの方が、256の全階調値の画素数を求めて生成されたヒストグラムよりも、歯抜けのない信頼度の高いヒストグラムとなる。
【0051】
このように、画像データを低解像度でサンプリングした場合であっても、画像データの粗量子化を行なった後、直線補間を行って階調値を戻したヒストグラムを生成することで、信頼度の高いヒストグラムを求めることができる。
【0052】
なお、量子化を行うことにより、少ない階調数に画像データを変換するので、量子化の際、ディザ法などの面積階調を行うことも有効である。ディザ法では、階調値0〜2、階調値4〜6といった下位2ビットを有する階調値の画素を、ディザマトリクスにより、適当な割合で量子化後に選んだ階調値の画素として振り分けることができる。よって、階調値0〜2、階調値4〜6といった階調値の下位2ビットの効力を残すことができるので、より安定したヒストグラムを得ることができる。この安定したヒストグラムを、低解像度の画像から取得することにより処理の高速化が可能である。また、低解像度の画像は、表示ディスプレイ35で表示される画像、もしくは、さらに小さな画像としてもよい。このことにより、さらに処理の高速化が可能である。また、表示ディスプレイ35に表示する画像だけでなく、カラープリンタ50にて出力する印刷画像の処理にも適用することができる。表示装置30などでは、低解像度の画像を生成する過程において、上記ヒストグラム生成方法をバックグラウンド処理として動作するような場合にも適用可能である。また、ディジタルカメラ10には、もともと大きな元画像ではなく、サムネイルと呼ばれる縮小画像が自動的に生成される。これは、ファイル表示を早く行うために用いられるものである。このサムネイル画像に対して、上記ヒストグラム生成方法により元画像の当家位置情報を高速に取得することも可能である。
【0053】
(特定色のサンプリングとそのエンハンス方法)
通常、人間の肌色や空の空色などの記憶色および高彩度色などの特徴色(以下、記憶色や特徴色をまとめて「特定色」と称す。)は、実際に撮影されたときの色よりも、予め見栄えの良い色で置き換える方が望ましい。そのため、後に述べる記憶色補正処理や彩度補正処理では、特定色のみの統計値を基に、特定色の補正量が求められる。しかしながら、低解像度のサンプリングされた画像データでは、特定色の割合の信頼度が低く、そのために適切な特定色の補正量を求めることが難しい。
【0054】
本実施形態に係る特定色のエンハンス手法では、低解像度のサンプリングされた画像データを基に特定色のみの統計値を求める場合に、先に述べた画像データのヒストグラムの生成方法に従い、量子化量64で画像データの量子化を行い、直線補間によって量子化量を256に戻してヒストグラムを生成する。このようにして生成されたヒストグラムを基に算出された特定色の統計値を求め、特定色の統計値を基に特定色の補正量を求める。
【0055】
しかし、先にも述べたように、低解像度でサンプリングされた画像データでは、特定色の割合の信頼度が低い。よって、補正量決定モジュールM7は、全画素に占める特定色を有する画素の割合に応じて、画像データに適用する特定色の補正量の修正を行なう。このときの、元の特定色の補正量に対する修正された補正量の割合を、「適用量」と称することとする。以上より、補正量決定モジュールM7は、補正量修正手段としても機能する。
【0056】
図9(a)は、通常の特定色のエンハンス手法による全画素に占める特定色の割合と特定色の適用量の関係を示したものであり、図9(b)は、本実施形態の特定色のエンハンス手法による全画素に占める特定色の割合と特定色の適用量の関係を示したものである。図9では、横軸が特定色の割合を示し、縦軸が特定色の適用量を示している。
【0057】
図9(a)の通常の特定色のエンハンス手法では、全画素に占める特定色の割合が少なくても、特定色の補正量が、画像データに対し常に100%かけられる。しかし、低解像度のサンプリングを行った場合、全画素に占める特定色の画素の割合の信頼度は低い。そのため、もし、サンプリングの結果、特定色の画素が存在していたとしても、その割合が低い場合には、その特定色の画素は、見栄えの良い色で置き換える必要がないこともありうる。例えば、特定色として人間の肌色を例にとると、低解像度のサンプリングにより肌色の割合が少ないという結果が出た場合には、人間が写っている可能性が低い、と考えられる。しかし、通常の特定色のエンハンス手法では、このような場合でも、特定色の補正量が100%かけられることによって、肌色が強調されてしまうことになる。
【0058】
図9(b)の本実施形態のエンハンス手法では、全画素に占める特定色の割合について閾値Xを設ける。特定色の割合が閾値Xよりも大きければ、特定色の補正量を100%かけ、特定色の割合が閾値Xよりも小さければ、特定色の補正量は、その割合に応じて比例するものとする。よって、サンプリングされた画像データが低解像度となるために、そこから算出される特定色の割合の信頼度が低い場合であっても、閾値Xを設けることにより、画像にかける補正量を調節することができる。
【0059】
(逆光補正に対応した画像データのサンプリング)
画像データを低解像度でサンプリングしても、上述したヒストグラム生成の方法を用いて算出された統計値は、高解像度でサンプリングして算出した統計値と比較しても誤差を少なくすることができる。
【0060】
本実施形態では、画像データのサンプリング手法を、画像補正の一例として逆光補正を行う場合における、画像データが逆光画像であるか否かの判定を行う場合に用いる。ここで逆光画像とは、被写体の撮影を行う際に、測光に失敗し、被写体の周辺の光の量に引っ張られることによる露出不足のために、被写体が暗く写ってしまった画像をいう。
【0061】
図10は、逆光補正を行う場合の画像の分割エリアを示している。被写体Obは、図10に示すように、中央にくることが多い。このため、画像を、被写体Obが位置する中央分割エリアSaと、その周辺の外周分割エリアSbとに分割する。ここでは、外周分割エリアSbは、中央分割エリアSaと重なる部分は含まない。さらに、画像の中央分割エリアSaをさらに9つの中央分割エリア小領域Saaに分割し、その周辺の外周分割エリアSbをさらに4つの外周分割エリア小領域Sbbに分割する。本実施形態では、中央分割エリア小領域Saaの縦Saa_l、横Saa_bの長さは、それぞれ元の画像の縦Gl、横Gbの長さの1/5となり、外周分割エリア小領域Sbbの縦Sbb_l、横Sbb_bの長さは、それぞれ元の画像の縦Gl、横Gbの長さの1/2となる。なお、外周分割エリア小領域Sbbは、中央分割エリアSaと重なる部分は含まないのでL字型の領域となる。 逆光補正を行なう方法としては、暗く写ってしまっている被写体Obを囲む中央分割エリアSaの9つの中央分割エリア小領域Saaには、高い輝度値を割り当て、その周辺の外周分割エリアSbの4つの外周分割小領域Sbbには、低い輝度値を割り当てる方法がとられる。このようにすることで、被写体Obを囲む中央分割エリアSaを明るくすることができるので、被写体Obも明るくすることができる。このため、画像データに対する逆光補正として、補正量決定モジュールM7は、中央分割エリアSaおよび外周分割エリアSbにそれぞれ異なった輝度値を割り当てるための補正量を決める。
【0062】
なお、図11は、解像度の主な規格に対する中央分割エリア小領域Saaの長さと外周分割エリア小領域Sbbの長さを示している。例えば、画像の解像度がVGA規格の場合、解像度は、640dot×480dotとなるので、中央分割エリア小領域Saaの大きさは、その1/5となる128dot×96dotとなり、外周分割エリア小領域Sbbの大きさは、その1/2となる320dot×240dotとなる。
【0063】
逆光補正では、まず、調べる対象となる画像が、逆光画像となっているか否かについて、判定する必要がある。そこで、以下では、上述した画像データの低解像度でのサンプリング手法を用いた逆光画像の判定方法について述べていく。
【0064】
図12は、逆光画像に特徴的なヒストグラムを示している。逆光画像は、経験的に、このような特徴的なヒストグラムを有する。よって、調べる対象となる画像データのヒストグラムを生成し、その生成したヒストグラムと、逆光画像に特徴的なヒストグラムを比較することにより、画像が逆光画像か否かを判断することができる。具体的には、逆光画像に特徴的なヒストグラム、および、調べる対象となる画像データより生成されたヒストグラムの階調値を5つのエリア(Area1〜Area5)に分けて、それぞれのエリアに存在する画素の個数で判断する。
【0065】
この判定方法では、被写体とその背景の区別をせずに、画像全体のヒストグラムを基に判定するので、被写体が十分な明るさを有し、その背景が暗い場合であっても逆光画像と誤判定してしまう可能性がある。そこで、先に挙げた分割エリアごとについて、輝度の値を比較することにより、先の判定方法で逆光画像と判定された画像についての解除条件を設ける。
【0066】
画像データ解析モジュールM6は、図10で示した画像の中央分割エリアSaの9つの中央分割エリア小領域Saaと、外周分割エリアSbの4つの外周分割エリア小領域Sbbのそれぞれについての低解像度サンプリングを行い、先に述べたヒストグラム生成方法に従って、ヒストグラムを生成し、それぞれの小領域ごとの統計値を算出する。よって、画像データ解析モジュールM6は、分割領域サンプリング手段としても機能する。
【0067】
補正量決定モジュールM7は、画像この統計値を基に輝度平均値を求め、さらに、求められた輝度平均値の中で最大となる最大輝度平均値と最小となる最小輝度平均値の差を求める。この最大輝度平均値と最小輝度平均値の差が、所定の値以上で、かつ、最大輝度平均値を有する小領域が、中央分割エリアSaの中に含まれているのであれば、たとえ、画像が、先の判定方法で逆光画像と判定されていたとしても、逆光画像とはみなさないこととする。逆光画像を判定する場合において、先の逆光画像の判定方法に、さらにこの解除条件を用いることで、より正確な逆光画像か否かの判定が可能となる。よって、補正量決定モジュールM7は、逆光画像判定手段としても機能する。
【0068】
画像の中央分割エリアSaおよび外周分割エリアSbのそれぞれの小領域に対しても、先に述べた低解像度のサンプリング手法を用いることができる。
【0069】
図13は、画像の主な解像度の規格について、中央分割エリア小領域Saaおよび外周分割エリア小領域Sbbの解像度と、サンプリングされた解像度の画素数を示している。図13において、中央分割エリア画素数とは、1つの中央分割エリア小領域Saaの画素数を示し、外周分割エリア画素数とは、1つの外周分割エリア小領域Sbbの画素数を示す。例えば、画像の解像度の規格が、VGA規格となる場合、全体画素数は、640dot×480dot=307200dotとなる。中央分割エリア小領域Saaの画素数は、128dot×96dot=12288dotとなり、外周分割エリア小領域Sbbの画素数は、320dot×240dot=49152dotとなる。ここで、中央分割エリア小領域Saaおよび外周分割エリア小領域Sbbを、元の画像の解像度の1/256の解像度でサンプリングを行った場合、それぞれのサンプリング後の画素数は、中央分割エリア小領域Saaが48dotとなり、外周分割エリア小領域Sbbが192dotとなる。本実施形態では、サンプリングの解像度を決めるときには、32、64、128、256といった4の倍数となる所定の値で元の画像の解像度を割ることにより決めている。なぜならば、解像度の主な規格は、QVGA、QQVGAの順で、それぞれの解像度は、VGAの1/4、VGAの1/16と1/4の大きさになるからである。即ち、4の倍数となる所定の値で元の画像の解像度を割ることによりサンプリングの解像度を決めることで、複数の主な規格の解像度に、中央分割エリア小領域Saaおよび外周分割エリア小領域Sbbのサンプリングされた解像度の画素数が、同じ値となるものを得ることができるからである。
【0070】
例えば、解像度の規格が、QVGA規格となる場合、中央分割エリア小領域Saaの画素数は、64dot×48dot=3072dotとなり、外周分割エリア小領域Sbbの画素数は、160dot×120dot=12288dotとなる。ここで、中央分割エリア小領域Saaおよび外周分割エリア小領域Sbbを、1/64の解像度でサンプリングを行った場合、それぞれのサンプリング後の画素数は、中央分割エリア小領域Saaが48dotとなり、外周分割エリア小領域Sbbが192dotとなる。よって、VGA規格となる画像データを1/256の解像度でサンプリングを行った場合と、QVGA規格となる画像データを1/64の解像度でサンプリングを行った場合では、中央分割エリア小領域Saaおよび外周分割エリア小領域Sbbのサンプリングされた解像度の画素数が同じ値となるので、この2つの場合における統計値を求める処理は、共通化することが可能となる。このように、サンプリングの解像度を決めるときに、4の倍数となる所定の値で元の画像の解像度を割ることにより、幾つかの中央分割エリア小領域Saaおよび外周分割エリア小領域Sbbの統計値を求める処理を共通化することができる。
【0071】
以上をまとめると、逆光補正では、まず調べる対象となる画像が逆光画像であるか否かの判定を行う必要がある。そのため、理想的な逆光画像のヒストグラムと、画像データ全体のヒストグラムを比較する必要がある。この場合、低解像度のサンプリングを行って、画像データのヒストグラムを求めることにより、処理を迅速に行うことができる。次に、画像の中央分割エリアと外周分割エリアのそれぞれにおいて、小領域ごとの輝度平均値より解除条件を求める必要があるので、それぞれの小領域ごとの統計値を求める必要がある。この小領域ごとの統計値を求める場合においても、小領域ごとに低解像度のサンプリングを行って、統計値を算出することにより、処理を迅速に行うことができる。また、このときの低解像度サンプリングを行うときの解像度は、画像データの元の解像度を4の倍数で割ったものとすることにより、統計値を求める処理を共通化することができる。
【0072】
[制御回路における画像処理]
次に、図14〜図18を参照して本実施形態に係る携帯電話20、表示パネル30、カラープリンタ50において実行される画像処理について説明する。図14は本実施形態に係る携帯電話20、表示装置30、カラープリンタ50において実行される画像処理の全体処理ルーチンを示すフローチャートである。図15は本実施形態に係る携帯電話20、表示装置30、カラープリンタ50において実行される作業色空間変換処理の処理ルーチンを示すフローチャートである。図16は本実施形態に係る携帯電話20、表示装置30、カラープリンタ50において実行される補正量決定処理の処理ルーチンを示すフローチャートである。図17は本実施形態に係る携帯電話20、表示装置30、カラープリンタ50において実行される画質調整処理の処理ルーチンを示すフローチャートである。図18は本実施形態に係る携帯電話20、表示パネル30、カラープリンタ50において実行されるデバイス色空間変換処理の処理ルーチンを示すフローチャートである。
【0073】
本実施形態において実行される画像処理は、例えば、携帯電話20、表示パネル30、カラープリンタ50において、キー、タッチパネル等を介して所望の画像データGDが選択されたときに開始される。あるいは、携帯電話20、表示パネル30、カラープリンタ50において、画像データGDが受信されたときに実行されてもよい。
【0074】
制御回路60(CPU601a、601b)は、画像処理を開始すると、選択された画像データGDを取得してRAM602a、602bに一時的に格納する(ステップS100)。画像データGDの選択は、例えば、携帯電話20、表示パネル30、カラープリンタ50と有線または無線にて接続されているディジタルスチルカメラ10上において行われていても良く、あるいは、携帯電話20、表示パネル30、カラープリンタ50上において、メモリカードMCに格納されている画像データGDの中から選択されても良い。さらには、ネットワークを介してサーバ上に格納されている複数の画像データGDから選択されても良い。
【0075】
CPU601a、601bは、選択された画像データGDに関連付けられた画像処理制御情報GI/撮影情報SIを検索する(ステップS110)。CPU601a、601bは、画像データGDのヘッダ部を検索し、あるいは、画像データGDに関連付けられている別ファイル形式の画像処理制御情報GI/撮影情報SIをメモリカードMC上、ネットワーク上において検索する。CPU601a、601bは、画像処理制御情報GI/撮影情報SIを発見(検索)できた場合には(ステップS115:Yes)、画像処理制御情報GI/撮影情報SIを取得する(ステップS120)。一方、CPU601a、601bは、画像処理制御情報GI/撮影情報SIを発見(検索)できなかった場合には(ステップS115:No)、画像処理制御情報GI/撮影情報SIを用いた画質調整処理を行うことなく、ステップS170へと移行する。
【0076】
ステップS120に戻り説明すると、次にCPU601a、601bは、デバイス修正処理を実行する(ステップS130)。既述の通り、画像処理制御情報GIは、一般的に、特定の画質データ生成装置と特定の画像出力装置、たとえば、カラープリンタ50の機能の1つである印刷画像表示装置、の組み合わせに最適化されている。一般的に、表示出力画像と印刷出力画像とでは、色域の差異、視覚上、透過画像と反射画像という大きな差異があるため、適切なホワイトバランス、コントラスト、彩度の値が異なる。したがって、携帯機器20の表示ディスプレイ21、表示装置30の表示ディスプレイ31、カラープリンタ50の表示ディスプレイ35の出力画像の画質は、カラープリンタ50によって出力された印刷画像の画質とは異なってしまう。
【0077】
そこで、本実施形態では、たとえば、表示ディスプレイ21、31、35における表示出力画像の画質を、カラープリンタ50における印刷出力画像の画質と同一にするため、または近似させるための、デバイス毎に用意されている修正情報を用いて画像処理制御情報GIを修正する。修正情報は、携帯機器20、表示装置30、カラープリンタ50において印刷出力画像と同様の画質を得るための画質パラメータの値である表示用パラメータ値と画像処理制御情報GIに記述されている画質パラメータの値との差分情報であっても良く、あるいは、画像処理制御情報GIに記述されている画質パラメータの値に代えて用いられる新規な表示用パラメータ値であっても良い。
【0078】
例えば、液晶パネルは、各パネル毎に画像出力特性が大きく異なる傾向にあるので、修正情報は、液晶パネル単位にて用意されることが望ましい。修正情報は、画像処理制御情報GIの1つの情報として画像処理制御情報GIに記述されていてもよく、携帯機器20、表示装置30、カラープリンタ50毎に、固有の修正情報としてHDD/ROM603a、603bに格納されていてもよい。さらには、携帯機器20、表示装置30、カラープリンタ50において、画像処理制御情報GIに基づいて動的に生成されても良い。
【0079】
修正情報に含まれる情報(パラメータの値の差分、置換用パラメータの値)は、例えば、白色点の指定情報、コントラストの修正情報、彩度の修正情報、色相の修正情報、ノイズ除去処理実行の有無、シャープネス処理実行の有無に関する情報である。
(1)異なる画像出力装置間では、色温度が異なるので、白色点を指定することによって色温度を調整する。例えば、表示の色温度が高い場合(9300K等)には、白色点の指定情報としてR=(237、255)、G=(255、251)、B=(255、222)、とすると、表示ディスプレイ21、31、35上においてカラーバランスをある程度一致させて表示することが可能である。
(2)異なる画像出力装置間では、再現(表現)可能な色域が異なるため、コントラストに差が生じ、見え方に大きな差が生じる。そこで、トーンカーブを調整することによってコントラストをある程度一致させることができる。
(3)異なる画像出力装置間では、表現彩度が異なるため、例えば、カラープリンタ50によって出力された印刷画像と、表示ディスプレイ21、31、35上に出力された出力画像との見え方を一致させるためには、彩度を調整する必要がある。
(4)カラープリンタ50によって出力された印刷画像と、表示ディスプレイ21、31、35上に出力された出力画像との色相が異なる場合には、色空間変換マトリクスの調整、記憶色補正の利用、HSB等による色域を特定した補正を修正情報によって実現すればよい。
【0080】
CPU601a、601bは、取得した画像データGDの色空間を作業色空間へ変更する作業色空間変換処理を実行する(ステップS140)。この作業色空間変換処理について図15を参照して説明する。この作業色空間変換処理は、画像データGDの色空間を、画像データに対する画質調整処理を実行する際に用いられる色空間、すなわち作業色空間へと変更するための処理である。作業色空間として、色域の広い色空間を用いることによって、画質調整処理後の画質データを構成する画素データを有効に活用することができる。
【0081】
そこで、本実施形態では、画像データGDの色空間を、RGB色空間として一般的に用いられるsRGB色空間からsRGB色空間よりも広い色域を有するwRGB色空間へと変換する。
【0082】
ディジタルスチルカメラ10から取得された画像データGDは、通常、YCbCr色空間のデータであるから、先ず、画像処理において標準的に用いられているsRGB色空間の画像データへと変換される。YCbCr−RGB色変換に当たっては、当業者に良く知られているマトリクスSが用いられる。一方、取得された画像データGDがsRGBデータの場合には、マトリクスSを用いた色変換は不要となる。ここでは、画像データGDは既に、sRGB色空間の画像データであるものとして説明する。
【0083】
CPU601a、601bは、画像データGDに対して第1のガンマ変換処理を実行する(ステップS1400)。色変換処理は、通常、XYZ、Lab等の機器独立空間を介して実行され、マトリクスを用いたsRGB−XYZ色変換処理、XYZ−wRGB色変換処理が実行される。かかる色変換処理の処理精度を上げるために、画像データGDの入出力特性(ガンマ特性)を線形化する必要がある。ここで用いられるガンマの値は、ディジタルスチルカメラ10において画像データ生成に際して実行される逆ガンマ変換処理時に一般的に用いられているガンマの値である。
【0084】
CPU601は、線形化された画像データGDに対して、マトリクスを用いたsRGB−XYZ色変換処理、XYZ−wRGB色変換処理を実行して、画像データGDの色空間を作業色空間であるwRGBへと変換し(ステップS1410)、本処理ルーチンを終了し、図14の処理ルーチンにリターンする。
【0085】
図14に戻り説明を続けると、CPU601a、601bは、補正量決定処理を実行する(ステップS150)。かかる補正量決定処理について図16を参照して説明する。本実施形態における補正量決定処理は、先にも述べたように、画像データGDの画質に関するパラメータの値を基準値に近づける。あるいは、基準値と同一の値とする、いわゆる自動画質調整に用いるための補正量を求める処理である。
【0086】
CPU601a、601bは、画像データGD,または、画像データGDの間引きデータ(たとえば、サムネイル画像データ)を、先に述べた低解像度のサンプリング方法によりサンプリングする(ステップS1500)。CPU601a、601bは、サンプリングした各画素データから、画像データGDの画質に関する各パラメータ(画質パラメータ)について解析値(統計値、特性値)を取得する(ステップS1510)。
【0087】
CPU601a、601bは、各画質パラメータについて、予め用意されている基準値を取得し、基準値と解析値とを用いて各画質パラメータについて補正値を決定する(ステップS1520)。
【0088】
CPU601a、601bは、各画質パラメータについて決定した補正値を、画像処理制御情報GI/撮影情報SIを用いて変更して(ステップS1530)、本処理ルーチンを終了し、図14の処理ルーチンにリターンする。すなわち、画像データ生成装置と画像出力装置との組み合わせから生じる画質の特性、画像データ生成時における撮影条件を用いることで、画像データGDの解析だけからでは得られない情報(条件)を、画像データGDの画質に応じて決定された補正値に反映させることができる。本実施形態では、画像処理制御情報GIは、修正情報によって、表示ディスプレイ21、31、35において、カラープリンタ50の印刷画像と同様の画質の画像が出力されるように修正されているので、画像出力装置の画像出力特性の差に起因する画質(見え方)の相違を解消または低減することができる。
【0089】
具体的には、補正値が各画質パラメータの解析値を増減させるために用いられる値である場合には、画像処理制御情報GI/撮影情報SIを用いて、増減の程度を変更する。補正値が各画質パラメータの新たな値として用いられる値である場合には、画像処理制御情報GI/撮影情報SIを用いて新たな値に変更する。さらに、画像処理制御情報GIとして、撮影者によってマニュアル操作によって意図的に設定されたマニュアル設定のパラメータが存在する場合には、設定されたパラメータの値をそのまま、補正値に付加しても良い。
【0090】
CPU601a、601bは、変更された補正値を用いて画像データGDに対する画質調整処理を実行する(ステップS160)。かかる画質調整処理について図17を参照して説明する。CPU601a、601bは、画像データGDに対してノイズ除去処理を実行する(ステップS1600)。ノイズ除去処理は、修正情報によって実行、非実行が規定される処理であってもよく、修正情報によってノイズ低減レベルが修正される処理であっても良い。ノイズ除去処理は、比較的、負荷の高い演算処理である。一方、表示画面サイズが小さな表示ディスプレイにおいては、一般的にノイズ除去処理の効果が確認し難い。そこで、表示画面サイズが小さな表示ディスプレイを備える傾向にある携帯機器20においては、演算負荷の軽減とノイズ除去処理の効果が弱いことに鑑みノイズ除去処理はスキップされてもよい。
【0091】
CPU601a、601bは、修正された補正値を用いてトーンカーブを修正し、トーンカーブを用いた画像データGDに対する画質調整処理を実行する(ステップS1610)。トーンカーブを用いた画質調整処理は、明度、カラーバランス、コントラストの画質パラメータを調整するために実行される。トーンカーブの修正は、例えば、各画質パラメータ毎に設定されている修正ポイントにおいて、トーンカーブの通過点を変更することによって実行される。
【0092】
CPU601a、601bは、予め設定されている記憶色に該当する色を、記憶色として定義されている色で置き換える(ステップS1620)。記憶色としては、例えば、肌の色、空の色、緑の色、赤色について、予め見栄えの良い色が定義されている。
【0093】
CPU601a、601bは、彩度補正処理を実行する(ステップS1630)。補正値を用いた彩度の補正は、例えば、補正前の値を(Rb,Gb,Bb)、補正後の値を(Ra,Ga,Ba)、補正値を(R、G、B)、とすると、以下の式を用いて実行される。
【0094】
【数1】
ただし、このときの記憶色および彩度の補正値は、先にも述べた特定色のエンハンス手法により、全画素に占める記憶色および特徴色の割合を基にして調整される。
【0095】
CPU601a、601bは、シャープネス処理を実行して(ステップS1640)、画質調整処理を終了し、図14の処理ルーチンにリターンする。シャープネス処理は、修正情報によって実行、非実行が規定される処理であってもよく、修正情報によってシャープネスレベルが修正される処理であっても良い。表示画面サイズが小さな表示ディスプレイにおいては、一般的にシャープネス効果が確認し難い。そこで、表示画面サイズが小さな表示ディスプレイを備える傾向にある携帯機器20においては、シャープネス処理の効果が弱いことに鑑み、演算負荷を軽減する観点からもシャープネス処理はスキップされてもよい。
【0096】
CPU601a、601bは、画質調整処理を施した画像データGDの色空間をデバイスへ変更する作業色空間変換処理を実行する(ステップS170)。このデバイス色空間変換処理について図18を参照して説明する。このデバイス色空間変換処理は、画像データGDの色空間を、画質調整処理を実行する際に用いた作業色空間から、各画像出力装置の色空間へと変更するための処理である。ここで、通常、画像を表示出力する表示ディスプレイは、sRGB色空間を満たすように色設計されている。一方、一部の表示ディスプレイは独自の色空間に基づいて色設計されている。
【0097】
CPU601a、601bは、線形化された画像データGDに対して、マトリクスを用いたwRGB−XYZ色変換処理、XYZ−sRGB色変換処理またはXYZ−デバイス色空間色変換処理、あるいは、ルックアップテーブルを用いたwRGB−sRGB色変換処理またはwRGB−デバイス色空間色変換処理を実行して、画像データGDの色空間をデバイス色空間へと変換する(ステップS1800)。
【0098】
CPU601a、601bは、画像データGDに対して第1の逆ガンマ変換処理を実行して(ステップS1810)、本処理ルーチンを終了し、図14の処理ルーチンにリターンする。すなわち、画像データGDのガンマ特性を表示ディスプレイ21、31、35のガンマ特性に適合する特性へと変更する。具体的には、表示ディスプレイ21、31、35のガンマの値を用いて、逆ガンマ変換処理が実行される。
【0099】
CPU601a、601bは、ディスプレイ駆動制御部63a、63bを介して、出力画像を表示出力して本処理ルーチンを終了する。
【0100】
以上説明したように、本実施形態に係る携帯機器20、表示装置30、カラープリンタ50によれば、ディジタルスチルカメラ10とカラープリンタ50の印刷画像表示装置との組み合わせにおいて定義された画像処理制御情報GIを用いて、カラープリンタ50によって出力された印刷画像と同様の画質を有する画像を表示ディスプレイ21、31、35に表示出力することができる。すなわち、表示ディスプレイ21、31、35は、カラープリンタ50の印刷画像とは異なる画像出力特性を有するが、かかる画像出力特性の相違に起因する出力画像の見え方(画質)の相違は、修正情報を用いて画像処理制御情報GIを修正することによって解消または低減される。したがって、特定の画像出力装置に合わせて定義された画像処理制御情報GIを用いて、任意の画像出力装置における出力画像の画質を特定の画像出力装置における出力画像の画質に近似または一致させることができる。
【0101】
また、本実施形態では、画像出力装置毎に画像処理制御情報GIを備えなくても、修正情報を用いることによって、複数の画像出力装置において、特定の画像出力装置における出力画像の画質と同等または近似する画質を有する出力画像を出力させることができる。
【図面の簡単な説明】
【0102】
【図1】本実施形態に係る画像処理装置を含む画像処理システムの概略構成を示す。
【図2】本実施形態に係る画像処理装置の概略構成を示す。
【図3】本実施形態において用いられる画像データGDの構成を模式的に示す。
【図4】画像処理制御情報GIとして記録されるパラメータの一例を示す。
【図5】撮影情報SIとして記録されるパラメータの一例を示す。
【図6】本実施形態に係る携帯機器および表示装置が備える制御回路60によって実現される機能モジュールのブロック図。
【図7】サンプリングされた画像データのヒストグラムである。
【図8】サンプリングされた画像データのヒストグラムである。
【図9】特定色の割合と適用量の関係を示す図である。
【図10】画像における中央分割エリアおよび外周分割エリアの位置を示す。
【図11】中央分割エリア小領域および外周分割エリア小領域の大きさを示す。
【図12】理想的な逆光画像のヒストグラムである。
【図13】中央分割エリア小領域および外周分割エリア小領域におけるサンプリングされた画素数を示す。
【図14】画像処理全体の全体処理ルーチンを示すフローチャートである。
【図15】作業色空間変換処理の処理ルーチンを示すフローチャートである。
【図16】補正量決定処理の処理ルーチンを示すフローチャートである。
【図17】画質調整処理の処理ルーチンを示すフローチャートである。
【図18】デバイス色空間変換処理の処理ルーチンを示すフローチャートである。
【符号の説明】
【0103】
10 ディジタルスチルカメラ、 20 携帯機器、 21 表示ディスプレイ、 30、35 表示装置、 31 表示ディスプレイ、 40 パーソナルコンピュータ、 50 カラープリンタ、 60、60a 制御回路、 601a、601b 中央演算装置(CPU)、 602a、602b ランダムアクセスメモリ(RAM)、 603a、603b ハードディスク(HDD)/ROM、 61a、61b 入力操作部、 62a、62b 通信制御部、 63a、63b ディスプレイ駆動制御部、 64a、64b メモリカードスロット、 65 プリンタ駆動制御部、 MC メモリカード
【技術分野】
【0001】
本発明は、サンプリングされた画像データを用いて、画像データに対する画像処理を実行する技術に関する。
【背景技術】
【0002】
画像データの画像処理条件が記述された画像処理制御情報を、画像データに関連付ける技術が知られている(例えば、特許文献1)。画像処理制御情報は、画像生成装置、例えばディジタルスチルカメラと、出力装置、例えば印刷装置、の組み合わせに応じて、出力装置から出力される出力画像の画質を向上させるように設定されている。したがって、画像処理装置において、画像データに関連付けられた画像処理制御情報(画像処理条件)に従い、画像データに対する画像処理(画質調整)が実行されることによって、出力装置の画像出力特性が考慮された出力画像を得ることができる。この画像データに対する画像処理では、画像データの統計値を基に、その補正量が算出される。
【0003】
しかしながら、従来の上記技術では、画像データの統計値を求める処理は、制御回路に対する負担が大きかった。また、制御回路に対する負担を減らすために画像データを低解像度でサンプリングして統計値を求めると、サンプリングされた画像データの解像度が低いために、統計値の精度を保つことができず、適切な補正量を導くことが難しかった。
【0004】
【特許文献1】特開2003−52002号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
本発明は、上記の点に鑑みてなされたものであり、画像データを低解像度でサンプリングを行った場合にも、統計値の精度を保ち、画像処理のための適切な補正量を導くことを課題とする。
【課題を解決するための手段】
【0006】
本発明の一つの観点では、画像処理装置は、画像データを取得する画像データ取得手段と、前記画像データのサンプリングを行うサンプリング手段と、サンプリングされた画像データの粗量子化を行うとともに直線補間を行って得られた画像データの階調値におけるヒストグラムの統計情報に基づいて統計値を算出する統計値算出手段と、前記統計値に基づいて画像処理時における補正量を決定する補正量決定手段と、前記補正量に基づいて画像処理を行う画像処理手段と、を備える。
【0007】
上記の画像処理装置は、例えば携帯機器、表示装置、カラープリンタなどに搭載され、外部から取得した画像データに対して、当該画像データの統計値に基づいて、画像処理を施す。画像処理装置は、画像データを低解像度でサンプリングを行い、サンプリングされた画像データを粗量子化し、画素数の直線補間を行なうことによりヒストグラムを生成する。この生成されたヒストグラムの統計情報より算出された統計値を基に補正量を決定し、画像データに画像処理を行う。これにより、低解像度で画像データのサンプリングを行った場合であっても、統計値の精度を保ち、適切な補正量を導きだすことができる。
【0008】
本発明の同様の観点では、画像処理方法は、画像データを取得する画像データ取得工程と、前記画像データのサンプリングを行うサンプリング工程と、サンプリングされた画像データの粗量子化を行うとともに直線補間を行って得られた画像データの階調値におけるヒストグラムの統計情報に基づいて統計値を算出する統計値算出工程と、前記統計値に基づいて画像処理時における補正量を決定する補正量決定工程と、前記補正量に基づいて画像処理を行う画像処理工程と、を備える。
【0009】
さらに本発明の同様の観点では、制御回路を備える画像処理装置によって実行される画像処理プログラムは、画像データを取得する画像データ取得手段と、前記画像データのサンプリングを行うサンプリング手段と、サンプリングされた画像データの粗量子化を行うとともに直線補間を行って得られた画像データの階調値におけるヒストグラムの統計情報に基づいて統計値を算出する統計値算出手段と、前記統計値に基づいて画像処理時における補正量を決定する補正量決定手段と、前記補正量に基づいて画像処理を行う画像処理手段、として前記画像処理装置を機能させる。
【0010】
上記の画像処理方法及び画像処理プログラムによっても、低解像度で画像データのサンプリングを行った場合において、統計値の精度を保ち、適切な補正量を導きだすことができる。
【0011】
上記の画像処理装置の一態様は、前記補正量決定手段は、サンプリングされた画像データに基づいて全画素に占める所定の色における画素の割合を算出し、前記所定の特定の色における画素の割合に基づいて前記補正量を修正する補正量修正手段、をさらに備える。ここで、所定の特定の色とは、具体的には、人間の肌色や空の空色などの記憶色や高彩度色などの特徴色を指す。サンプリングされた画像データにおける特定色の画素の割合に応じた補正量を算出することにより、画像データの特定色の適切な補正を行うことができる。
【0012】
上記の画像処理装置の他の一態様は、前記サンプリング手段は、前記画像データによって形成される画像の中心の領域及びその外周の領域について、それぞれ低解像度でサンプリングを行う分割領域サンプリング手段をさらに備える。これにより、逆光画像の判定処理を、制御回路に負担をかけず、迅速に行うことができる。
【0013】
上記の画像処理装置の他の一態様は、前記補正量決定手段は、前記ヒストグラムと、前記中心の領域及び前記外周の領域のサンプリングされた画像データに基づいて算出された統計値と、を用いて、前記画像データが逆光画像であるか否かを判定する逆光画像判定手段をさらに備える。これにより、サンプリングされた画像データを基に、元の画像データが逆光画像となっているか否かの判定を行うことが可能となる。
【発明を実施するための最良の形態】
【0014】
以下、本発明に係る画像処理装置、表示装置、画像処理方法および表示方法について図
面を用いて説明する。
【0015】
[画像処理システムの概略構成]
図1および図2を参照して本実施形態に係る画像処理装置(表示装置)、本実施形態に係る画像処理装置(表示装置)を含む画像処理システムについて説明する。図1は本実施形態に係る画像処理装置を含む画像処理システムの概略構成を示す説明図である。
【0016】
画像処理システムは、画像データを生成する入力装置としてのディジタルカメラ10、画像データGDに関連付けられた画像処理制御情報GIを用いて画像データGDに対する画像処理を実行すると共に、画像処理を施した画像データを用いて画像を出力する表示画像出力装置(表示装置)および画像処理装置としての携帯機器20、表示装置30、カラープリンタ50を備えている。ここで、カラープリンタ50は、画像を印刷して出力する印刷画像表示出力装置としての機能の他に、表示装置および画像処理装置としての機能を有する。
【0017】
ディジタルカメラ10は、光の情報をディジタルデバイス(CCDや光電子倍増管といった光電変換素子)に結像させることにより画像を取得するカメラであり、光情報を電気情報に変換するためのCCD等を備える光電変換回路、光電変換回路を制御して画像を取得するための画像取得回路、取得したディジタル画像を加工処理するための画像処理回路等を備えている。
【0018】
ディジタルカメラ10は、取得した画像をディジタルデータとして記憶装置としてのメモリカードMCに保存する。ディジタルカメラ10における画像データの保存形式としては、非可逆圧縮保存方式としてJPEGデータ方式、可逆圧縮保存方式としてTIFFデータ形式が一般的であるが、この他にもRAWデータ形式、GIFデータ形式、BMPデータ形式等の保存形式が用いられうる。
【0019】
ディジタルカメラ10は、画像データGDの生成時に、撮影時に設定された撮影条件を記述する撮影情報SI、予めディジタルカメラ10のメモリ(例えば、ROM)内に格納されている画像処理条件を規定する画像処理制御情報GIを、画像データGDのヘッダに書き込むことができる。ディジタルカメラ10は、生成した画像データGDをメモリカードMC等に格納する。
【0020】
本実施形態において用いられる画像データGDの模式的な構成、画像処理制御情報GI、撮影情報SIとして記録されるパラメータの一例について図3〜図5を参照して説明する。図3は本実施形態において用いられる画像データGDの構成を模式的に示す説明図である。図4は画像処理制御情報GIとして記録されるパラメータの一例を示す説明図である。
図5は撮影情報SIとして記録されるパラメータの一例を示す説明図である。なお、図3〜図5に示す各データ、情報の構造は、説明のために、例えば、メモリ上に格納されているデータ、情報を概念的に示している。
【0021】
画像データGDは、例えば、そのヘッダ部に、画像データGDに対する画像処理時の画像処理条件を規定する画像処理制御情報GI、撮影時の撮影条件を示す撮影情報SIを記述する。即ち、画像処理制御情報GI、撮影情報SIは、画像データGD毎に対応付けられている。画像処理制御情報GIは、ディジタルカメラ10等の任意の画像データ生成装置にて生成された画像データを、所定の画像出力装置から出力した際に所望の出力画像が得られるように予め実験的に求められた情報である。
【0022】
撮影情報SIとして記述されるパラメータは、例えば、撮影時におけるシャッター速度、露出モード、ISO、絞り値、撮影シーン、ストロボ発光の有無である。
【0023】
画像処理制御情報GIとして記述されるパラメータは、例えば、ノイズ除去の有無(ノイズ除去レベル)、シャープネス、明度、R,G,Bカラーバランス、コントラスト、記憶色、撮影モード(撮影条件に対応する画像処理時の処理モード)である。画像処理制御情報GIは、例えば、画像データGDを生成するディジタルカメラ10における画像データの生成特性と、カラープリンタ50の1つの機能である印刷画像表示出力装置における画像出力特性とを考慮して決定される。したがって、画像処理制御情報GIを用いて画像処理が施された画像データを、印刷画像表示出力装置とは異なる画像出力特性を有する画像出力装置によって出力すると、印刷画像表示出力装置によって出力された場合と同様の出力画像を得ることができないことがある。そこで、本実施形態においては、画像出力装置の画像出力特性に応じて、画像処理制御情報GIを修正するための修正情報を用いて、出力画像の画質の相違を解消または低減する。修正情報は、画像処理制御情報GIを画像出力装置の画像出力特性に適合させるための差分情報、画像処理制御情報GIを置換するための置換情報、画像処理制御情報GIに基づいて画像出力装置の画像出力特性に適合した新たな画像処理制御情報を生成するための生成用情報のいずれであっても良い。かかる修正情報は、画像処理制御情報GIに記述されていても良く、個々の画像出力装置の記憶装置に格納されていても良い。
【0024】
携帯機器20は、比較的小型の表示ディスプレイ21を有する携帯用端末であり、例えば、携帯電話、携帯用個人情報管理装置等が該当する。携帯機器20は、例えば、記憶媒体、赤外線通信および電波式通信といった無線通信を介して、あるいは、ケーブルを介してディジタルカメラ10、ネットワーク上のサーバ(図示しない)から画像データを取得する。表示ディスプレイ21は、例えば、液晶表示ディスプレイ、有機EL表示ディスプレイであり、各表示ディスプレイパネル毎に独自の画像出力特性を有する。
【0025】
表示装置30は、画像を表示するための表示ディスプレイ31を有する、例えば、電子式の写真フレームとして機能する表示装置であり、スタンドアローンにて画像データに対して画像処理を実行し、出力画像を表示する。表示装置30は、例えば、記憶媒体、赤外線通信および電波式通信といった無線通信を介して、あるいは、ケーブルを介してディジタルカメラ10、ネットワーク上のサーバ(図示しない)から画像データを取得する。表示ディスプレイ31は、例えば、液晶表示ディスプレイ、有機EL表示ディスプレイであり、各表示ディスプレイパネル毎に独自の画像出力特性を有する。
【0026】
カラープリンタ50は、多機能型のカラープリンタであり、カラー画像の出力が可能な印刷画像表示出力装置としての機能の他、さらに、画像処理装置としての機能も有する。このため、パーソナルコンピュータ等と接続する必要はなく、ユーザは、ディジタルカメラ10の画像データGDを、直接、カラープリンタ50で画像処理を行い、印刷することが可能となる。さらに、カラープリンタ50は、画像を表示するための表示ディスプレイ35を有する。表示ディスプレイ35は、表示ディスプレイ31と同様のものであり、例えば、ユーザが、印刷したい画像を、実際に印刷する前に確認する(一般的に「プレビュー」などと言われる)ために用いられる。カラープリンタ50が画像処理装置として機能する場合には、画像処理制御情報GIを用いて、印刷出力装置としての画像出力特性および表示ディスプレイ35の画像出力特性のそれぞれに応じた画像処理が実行される。ここで、カラープリンタ50に印刷出力される場合には、プリンタの解像力が高いため比較的大きな画素数の画像が出力される。しかし、携帯電話20や表示ディスプレイ31、カラープリンタ50に内蔵されている表示ディスプレイ35の解像力は、あまり高くないため低解像度の画像を生成し、表示する。この低解像度の画像の作成方法は、二アレストネイバー(最近傍処理)法、リニア補間(線形補間)法、キュービック法などがあり、いずれの方法でも低解像度の画像を生成することができる。本発明では、低解像度の画像から画像処理に用いる統計値情報を取得し処理を高速化するものである。統計値情報を取得するためのヒストグラムの生成方法、統計値の演算方法については、後述する。
【0027】
図2は第1の実施例に係る携帯電話20、表示装置30、カラープリンタ50の概略構成を示す説明図である。図2(a)は、携帯電話20、表示パネル30の概略構成を示し、図2(b)は、カラープリンタ50の概略構成を示す。具体的には、携帯電話20、表示パネル30は、制御回路60a、入力操作部61a、通信制御部62a、ディスプレイ駆動制御部63a、メモリカードスロット64aを備えている。カラープリンタ50は、制御回路60b、入力操作部61b、通信制御部62b、ディスプレイ駆動制御部63b、メモリカードスロット64b、プリンタ駆動制御部65を備えている。
【0028】
制御回路60a、60bは、画像処理等の各種演算処理を実行する中央演算装置(CPU)601a、601b、入力された画像データ、演算結果等の各種データを一時的に格納するランダムアクセスメモリ(RAM)602a、602b、CPU601a、601bによって実行されるプログラム、画像処理制御情報GIを修正するための修正テーブル等を格納するハードディスク(HDD)603a、603bまたはリードオンリメモリ(ROM))を、それぞれ備えている。
【0029】
入力操作部61a、61bは、外部からの入力を受け付けるインターフェース部であり、例えば、キー操作部、スクロール操作部として実現される。また、表示ディスプレイ31、35が、それぞれ、タッチパネル式の入力操作部61a、61bとして、それぞれ用いられても良い。
【0030】
通信制御部62a、62bは、ディジタルカメラ10、ネットワーク上のサーバ等との間で画像データをやりとりするための通信を制御する。通信制御部62a、62bは、例えば、入力操作部61a、61b、制御回路60a、60bを介して要求された所望の通信を実行する。
【0031】
ディスプレイ駆動制御部63aは表示ディスプレイ21または表示ディスプレイ31における出力画像を制御し、ディスプレイ駆動制御部63bは、表示ディスプレイ35における出力画像の描画を制御する。例えば、表示ディスプレイ31、35が液晶表示ディスプレイの場合には、ディスプレイ駆動制御部63a、63bは、制御回路60a、60bから送出された出力画像データに基づいて、液晶の配向を駆動制御することによって出力画像データに対応するドットパターンを形成する。
【0032】
プリンタ駆動制御部65は、画像を印刷媒体上に出力する。例えば、カラープリンタ50が、インクジェット方式のプリンタであるならば、シアン(C)、マゼンダ(M)、イエロー(Y)、ブラック(K)の4色の色インクを印刷媒体上に噴射してドットパターンを形成することによって画像を形成する。また、カラープリンタ50が、電子写真方式のプリンタであるならば、カラートナーを印刷媒体上に転写・定着させて画像を形成する。
色インクには、上記4色に加えて、ライトシアン(薄いシアン、LC)、ライトマゼンダ(薄いマゼンダ、LM)、ブルー、レッドを用いても良い。
【0033】
[制御回路の機能的構成]
図6を参照して、携帯機器20および表示装置30、カラープリンタ50が備える制御回路60a、60bによって実現されるモジュールの概略について説明する。図6は本実施形態に係る携帯機器20および表示装置30、カラープリンタ50が備える制御回路60a、60bによって実現される機能モジュールのブロック図である。なお、図6に示す各モジュールは、CPU単独で、あるいは制御回路60a、60bとして実現され、また、ハードウェア、ソフトウェアのいずれによっても実現され得る。また、以下に説明する機能モジュールは、上記の機器および装置を、パーソナルコンピュータと接続することにより、パーソナルコンピュータによっても同様に実現され得る。
【0034】
画像処理の対象となる画像データGDは、画像データ取得モジュールM1によって取得される。よって、画像データ取得モジュールM1は、画像データ取得手段として機能する。
【0035】
画像データGDに関連付けられている画像処理制御情報GI/撮影情報SIは、画像処理制御情報GI/撮影情報SI取得モジュールM2によって取得され、取得された画像処理制御情報GI/撮影情報SIは、画像処理制御情報GI/撮影情報SI修正モジュールM3によって画像出力装置に応じて修正される。
【0036】
画像処理制御情報GIは、一般的に、特定の画像データ生成装置、例えば、ディジタルカメラ10と特定の画像出力装置との関係において、最適な出力画像(画質)が得られるように設定されているので、特定の画像出力装置と異なる他の画像出力装置において、画像処理制御情報GIを用いた画像処理が実行される場合には、他の画像出力装置の画像出力特性に合わせて画像処理制御情報GIを修正することが望まれる。
【0037】
そこで、修正情報取得モジュールM4によって取得された修正情報を用いた画像処理制御情報GI/撮影情報SI修正処理が、画像処理制御情報GI/撮影情報SI修正モジュールM3によって実行される。修正情報は、画像処理制御情報GIに記述されていても良く、制御回路60a、60bのHDD603a、603bに予め記録されていても良い。
【0038】
一方、画像データGDに対する基準値を用いた画像処理を実行するために、画像データ解析モジュールM6にて、画像データGDをサンプリングすることにより得られたヒストグラムを基に、画像データGDの画質に関する各パラメータ(画質パラメータ)についての解析値(統計値、特性値)が求められる。よって、画像データ解析モジュールM6は、サンプリング手段および統計値算出手段として機能する。
【0039】
補正量決定モジュールM7では解析結果を用いて画像データGDに対する画像処理時における補正量が決定される。よって、補正量決定モジュールM7は、補正量決定手段として機能する。
【0040】
決定された補正量は、補正量変更モジュールM8において、修正情報を用いて修正された画像処理制御情報GI/撮影情報SIを反映して変更される。
【0041】
画像処理モジュールM5では、変更された補正量を用いた画像データGDに対する画像処理が実行される。画像処理が施された画像データGDは、画像データ出力モジュールM9によって出力画像データとしてディスプレイ駆動制御部63a、63bに送出される。あるいは、制御回路60a、60bに画像出力モジュールM10が備えられている場合には、画像処理が施された画像データGDは、画像出力モジュールM10を介して表示ディスプレイ21、31、35、あるいは印刷媒体上に出力画像が出力される。よって、補正量処理モジュールM5は、画像処理手段として機能する。
【0042】
なお、画像処理モジュールM5における画像処理においては、変更された補正量を用いることなく、例えば、修正された画像処理制御情報GIとして記述されているパラメータの値をそのまま用いた画像処理が実行されてもよい。
【0043】
[画像データのサンプリング方法]
補正量決定モジュールM7で行なわれる画像補正量決定処理は、画像データGDの画質に関するパラメータの値を基準値に近づける。あるいは、基準値と同一の値とする、いわゆる自動画質調整に用いるための補正量を求める処理である。
【0044】
そのため、画像データ解析モジュールM6では、画像データGDにサンプリングを行い、サンプリングした画像データから、画像データGDの画質に関する各パラメータ(画質パラメータ)について解析値(統計値、特性値)を取得する。補正量決定モジュールM7は、各画質パラメータについて、予め用意されている基準値を取得し、基準値と解析値とを用いて各画質パラメータについて補正値を決定する。より具体的には、各画質パラメータ毎に用意された演算式を用いて、各画質パラメータの解析値と基準値との差を解消または低減させるための補正値が決定される。すなわち、本実施形態では、各画像データGDの特性を解析することによって、各画像データGDの画質に応じて補正値が決定される。
【0045】
上述したように、画像補正量決定処理では、解析値の1つである統計値を基に処理が行われる。統計値は、画像データGDからサンプリングされた画像データを基に算出される。しかしながら、ディジタルカメラの自動露出判定などに使用されているように、画像を幾つかの領域に分割し、分割された領域によって、露出判定の重み付けを変えると、各エリアの母集団は極端に少なくなってしまう。このように、画像データのサンプリングが、低解像度下で行われると、画像データを基に算出される統計値の信頼度は、低下してしまう。この統計値の信頼度の低下によって、統計値を基に決定される補正値の誤差は大きくなってしまい、適切な画像補正を行うことができなくなる。
【0046】
(ヒストグラムの生成方法)
統計値は、画像データGDのヒストグラムの統計情報を基にして算出される。このため、CPU601a、601bは、統計値を算出するために、まず、画像データGDのヒストグラムを生成する。統計値の信頼度の低下を防ぐには、このヒストグラムの特性の信頼度を低下させないことが必要となる。以下、本実施形態に係るヒストグラムの生成方法について述べる。
【0047】
図7は、画像データGDを、高解像度および低解像度でサンプリングした画像データのヒストグラムを示している。図7(a)は、高解像度でサンプリングを行った場合の画像データのヒストグラムを示し、図7(b)は、低解像度でサンプリングを行った場合の画像データのヒストグラムを示す。それぞれのヒストグラムの横軸は、0から255までの階調値を示し、縦軸は、横軸の階調値を有する画素数を示している。
【0048】
図7(a)の高解像度でサンプリングを行った場合の画像データのヒストグラムと比較して、図7(b)の低解像度でサンプリングを行った場合の画像データのヒストグラムは、ムラ(歯抜け)が多くなることが分かる。また、図7(b)のヒストグラムが示すように、低解像度の画像データでは、少数の画素の階調値の変動による統計値に与える影響が大きいことが分かる。このようなヒストグラムの統計情報より算出される統計値では、適切な画像補正を行うための補正値を決定することができない。
【0049】
そこで、このような低解像度の画像データの場合には、まず階調値の粗量子化を行う。具体的には、画素の階調値を64で量子化を行う。図8(a)は、階調値を64で量子化を行った場合のヒストグラムである。階調値を64で量子化を行うとは、0から255までの256の全階調値の画素数を算出するのではなく、4つずつの階調値の画素数を、その中の1つの階調値の画素数として算出することである。図8(b)は、階調値を64で量子化を行った場合のヒストグラムの拡大図である。図8(b)が示すように、階調値を64で量子化を行った場合のヒストグラムでは、階調値0の画素数、階調値4の画素数、階調値8の画素数・・のように、4つごとの階調値についての画素数を算出している。つまり、256の階調値の画素数を、下位2ビットを有さない階調値の画素数として算出しているので、64の階調値のみの画素数を算出することとなる。例えば、図8(b)が示すように、階調値3の画素数として、階調値0〜3までの画素数をカウントし、階調値7の画素数として、階調値4〜7までの画素数をカウントしている。
【0050】
このように粗量子化して、ヒストグラムの構築を行った後、ヒストグラムの量子化量を256に戻す。具体的には、階調値を64で量子化を行う際に量子化後の階調値として選ばなかった階調値の画素数、即ち下位2ビットを有する階調値は、64で量子化された後の階調値として選ばれた画素数、即ち下位2ビットを有さない階調値の画素数を基に、隣り合った階調値の画素数が直線的に変化するとして比例計算で求めることにより補間される。例えば、図8(b)で言えば、階調値4〜6の画素数の値は、階調値3で算出された量子化後の画素数と、階調値7で算出された量子化後の画素数を結ぶ直線L上にくる点m4、m5、m6の画素数の値とされる。このように、画素数の直線補間を行って、量子化量を256に戻したときのヒストグラムを図8(c)に示す。図8(c)の量子化後に画素数が直線補間されたヒストグラムと、図7(b)の低解像度でサンプリングされた画像データのヒストグラムを比較すると、図8(c)のヒストグラムの方が、図8(a)の高解像度でサンプリングされた画像データのヒストグラムに定性的に近いことが分かる。よって、低解像度でサンプリングされた画像データの場合、一度、階調値を64で粗量子化を行い、そのときに算出されなかった階調値の画素数を、量子化されたヒストグラムを基に直線補間を行って階調値を256に戻したヒストグラムの方が、256の全階調値の画素数を求めて生成されたヒストグラムよりも、歯抜けのない信頼度の高いヒストグラムとなる。
【0051】
このように、画像データを低解像度でサンプリングした場合であっても、画像データの粗量子化を行なった後、直線補間を行って階調値を戻したヒストグラムを生成することで、信頼度の高いヒストグラムを求めることができる。
【0052】
なお、量子化を行うことにより、少ない階調数に画像データを変換するので、量子化の際、ディザ法などの面積階調を行うことも有効である。ディザ法では、階調値0〜2、階調値4〜6といった下位2ビットを有する階調値の画素を、ディザマトリクスにより、適当な割合で量子化後に選んだ階調値の画素として振り分けることができる。よって、階調値0〜2、階調値4〜6といった階調値の下位2ビットの効力を残すことができるので、より安定したヒストグラムを得ることができる。この安定したヒストグラムを、低解像度の画像から取得することにより処理の高速化が可能である。また、低解像度の画像は、表示ディスプレイ35で表示される画像、もしくは、さらに小さな画像としてもよい。このことにより、さらに処理の高速化が可能である。また、表示ディスプレイ35に表示する画像だけでなく、カラープリンタ50にて出力する印刷画像の処理にも適用することができる。表示装置30などでは、低解像度の画像を生成する過程において、上記ヒストグラム生成方法をバックグラウンド処理として動作するような場合にも適用可能である。また、ディジタルカメラ10には、もともと大きな元画像ではなく、サムネイルと呼ばれる縮小画像が自動的に生成される。これは、ファイル表示を早く行うために用いられるものである。このサムネイル画像に対して、上記ヒストグラム生成方法により元画像の当家位置情報を高速に取得することも可能である。
【0053】
(特定色のサンプリングとそのエンハンス方法)
通常、人間の肌色や空の空色などの記憶色および高彩度色などの特徴色(以下、記憶色や特徴色をまとめて「特定色」と称す。)は、実際に撮影されたときの色よりも、予め見栄えの良い色で置き換える方が望ましい。そのため、後に述べる記憶色補正処理や彩度補正処理では、特定色のみの統計値を基に、特定色の補正量が求められる。しかしながら、低解像度のサンプリングされた画像データでは、特定色の割合の信頼度が低く、そのために適切な特定色の補正量を求めることが難しい。
【0054】
本実施形態に係る特定色のエンハンス手法では、低解像度のサンプリングされた画像データを基に特定色のみの統計値を求める場合に、先に述べた画像データのヒストグラムの生成方法に従い、量子化量64で画像データの量子化を行い、直線補間によって量子化量を256に戻してヒストグラムを生成する。このようにして生成されたヒストグラムを基に算出された特定色の統計値を求め、特定色の統計値を基に特定色の補正量を求める。
【0055】
しかし、先にも述べたように、低解像度でサンプリングされた画像データでは、特定色の割合の信頼度が低い。よって、補正量決定モジュールM7は、全画素に占める特定色を有する画素の割合に応じて、画像データに適用する特定色の補正量の修正を行なう。このときの、元の特定色の補正量に対する修正された補正量の割合を、「適用量」と称することとする。以上より、補正量決定モジュールM7は、補正量修正手段としても機能する。
【0056】
図9(a)は、通常の特定色のエンハンス手法による全画素に占める特定色の割合と特定色の適用量の関係を示したものであり、図9(b)は、本実施形態の特定色のエンハンス手法による全画素に占める特定色の割合と特定色の適用量の関係を示したものである。図9では、横軸が特定色の割合を示し、縦軸が特定色の適用量を示している。
【0057】
図9(a)の通常の特定色のエンハンス手法では、全画素に占める特定色の割合が少なくても、特定色の補正量が、画像データに対し常に100%かけられる。しかし、低解像度のサンプリングを行った場合、全画素に占める特定色の画素の割合の信頼度は低い。そのため、もし、サンプリングの結果、特定色の画素が存在していたとしても、その割合が低い場合には、その特定色の画素は、見栄えの良い色で置き換える必要がないこともありうる。例えば、特定色として人間の肌色を例にとると、低解像度のサンプリングにより肌色の割合が少ないという結果が出た場合には、人間が写っている可能性が低い、と考えられる。しかし、通常の特定色のエンハンス手法では、このような場合でも、特定色の補正量が100%かけられることによって、肌色が強調されてしまうことになる。
【0058】
図9(b)の本実施形態のエンハンス手法では、全画素に占める特定色の割合について閾値Xを設ける。特定色の割合が閾値Xよりも大きければ、特定色の補正量を100%かけ、特定色の割合が閾値Xよりも小さければ、特定色の補正量は、その割合に応じて比例するものとする。よって、サンプリングされた画像データが低解像度となるために、そこから算出される特定色の割合の信頼度が低い場合であっても、閾値Xを設けることにより、画像にかける補正量を調節することができる。
【0059】
(逆光補正に対応した画像データのサンプリング)
画像データを低解像度でサンプリングしても、上述したヒストグラム生成の方法を用いて算出された統計値は、高解像度でサンプリングして算出した統計値と比較しても誤差を少なくすることができる。
【0060】
本実施形態では、画像データのサンプリング手法を、画像補正の一例として逆光補正を行う場合における、画像データが逆光画像であるか否かの判定を行う場合に用いる。ここで逆光画像とは、被写体の撮影を行う際に、測光に失敗し、被写体の周辺の光の量に引っ張られることによる露出不足のために、被写体が暗く写ってしまった画像をいう。
【0061】
図10は、逆光補正を行う場合の画像の分割エリアを示している。被写体Obは、図10に示すように、中央にくることが多い。このため、画像を、被写体Obが位置する中央分割エリアSaと、その周辺の外周分割エリアSbとに分割する。ここでは、外周分割エリアSbは、中央分割エリアSaと重なる部分は含まない。さらに、画像の中央分割エリアSaをさらに9つの中央分割エリア小領域Saaに分割し、その周辺の外周分割エリアSbをさらに4つの外周分割エリア小領域Sbbに分割する。本実施形態では、中央分割エリア小領域Saaの縦Saa_l、横Saa_bの長さは、それぞれ元の画像の縦Gl、横Gbの長さの1/5となり、外周分割エリア小領域Sbbの縦Sbb_l、横Sbb_bの長さは、それぞれ元の画像の縦Gl、横Gbの長さの1/2となる。なお、外周分割エリア小領域Sbbは、中央分割エリアSaと重なる部分は含まないのでL字型の領域となる。 逆光補正を行なう方法としては、暗く写ってしまっている被写体Obを囲む中央分割エリアSaの9つの中央分割エリア小領域Saaには、高い輝度値を割り当て、その周辺の外周分割エリアSbの4つの外周分割小領域Sbbには、低い輝度値を割り当てる方法がとられる。このようにすることで、被写体Obを囲む中央分割エリアSaを明るくすることができるので、被写体Obも明るくすることができる。このため、画像データに対する逆光補正として、補正量決定モジュールM7は、中央分割エリアSaおよび外周分割エリアSbにそれぞれ異なった輝度値を割り当てるための補正量を決める。
【0062】
なお、図11は、解像度の主な規格に対する中央分割エリア小領域Saaの長さと外周分割エリア小領域Sbbの長さを示している。例えば、画像の解像度がVGA規格の場合、解像度は、640dot×480dotとなるので、中央分割エリア小領域Saaの大きさは、その1/5となる128dot×96dotとなり、外周分割エリア小領域Sbbの大きさは、その1/2となる320dot×240dotとなる。
【0063】
逆光補正では、まず、調べる対象となる画像が、逆光画像となっているか否かについて、判定する必要がある。そこで、以下では、上述した画像データの低解像度でのサンプリング手法を用いた逆光画像の判定方法について述べていく。
【0064】
図12は、逆光画像に特徴的なヒストグラムを示している。逆光画像は、経験的に、このような特徴的なヒストグラムを有する。よって、調べる対象となる画像データのヒストグラムを生成し、その生成したヒストグラムと、逆光画像に特徴的なヒストグラムを比較することにより、画像が逆光画像か否かを判断することができる。具体的には、逆光画像に特徴的なヒストグラム、および、調べる対象となる画像データより生成されたヒストグラムの階調値を5つのエリア(Area1〜Area5)に分けて、それぞれのエリアに存在する画素の個数で判断する。
【0065】
この判定方法では、被写体とその背景の区別をせずに、画像全体のヒストグラムを基に判定するので、被写体が十分な明るさを有し、その背景が暗い場合であっても逆光画像と誤判定してしまう可能性がある。そこで、先に挙げた分割エリアごとについて、輝度の値を比較することにより、先の判定方法で逆光画像と判定された画像についての解除条件を設ける。
【0066】
画像データ解析モジュールM6は、図10で示した画像の中央分割エリアSaの9つの中央分割エリア小領域Saaと、外周分割エリアSbの4つの外周分割エリア小領域Sbbのそれぞれについての低解像度サンプリングを行い、先に述べたヒストグラム生成方法に従って、ヒストグラムを生成し、それぞれの小領域ごとの統計値を算出する。よって、画像データ解析モジュールM6は、分割領域サンプリング手段としても機能する。
【0067】
補正量決定モジュールM7は、画像この統計値を基に輝度平均値を求め、さらに、求められた輝度平均値の中で最大となる最大輝度平均値と最小となる最小輝度平均値の差を求める。この最大輝度平均値と最小輝度平均値の差が、所定の値以上で、かつ、最大輝度平均値を有する小領域が、中央分割エリアSaの中に含まれているのであれば、たとえ、画像が、先の判定方法で逆光画像と判定されていたとしても、逆光画像とはみなさないこととする。逆光画像を判定する場合において、先の逆光画像の判定方法に、さらにこの解除条件を用いることで、より正確な逆光画像か否かの判定が可能となる。よって、補正量決定モジュールM7は、逆光画像判定手段としても機能する。
【0068】
画像の中央分割エリアSaおよび外周分割エリアSbのそれぞれの小領域に対しても、先に述べた低解像度のサンプリング手法を用いることができる。
【0069】
図13は、画像の主な解像度の規格について、中央分割エリア小領域Saaおよび外周分割エリア小領域Sbbの解像度と、サンプリングされた解像度の画素数を示している。図13において、中央分割エリア画素数とは、1つの中央分割エリア小領域Saaの画素数を示し、外周分割エリア画素数とは、1つの外周分割エリア小領域Sbbの画素数を示す。例えば、画像の解像度の規格が、VGA規格となる場合、全体画素数は、640dot×480dot=307200dotとなる。中央分割エリア小領域Saaの画素数は、128dot×96dot=12288dotとなり、外周分割エリア小領域Sbbの画素数は、320dot×240dot=49152dotとなる。ここで、中央分割エリア小領域Saaおよび外周分割エリア小領域Sbbを、元の画像の解像度の1/256の解像度でサンプリングを行った場合、それぞれのサンプリング後の画素数は、中央分割エリア小領域Saaが48dotとなり、外周分割エリア小領域Sbbが192dotとなる。本実施形態では、サンプリングの解像度を決めるときには、32、64、128、256といった4の倍数となる所定の値で元の画像の解像度を割ることにより決めている。なぜならば、解像度の主な規格は、QVGA、QQVGAの順で、それぞれの解像度は、VGAの1/4、VGAの1/16と1/4の大きさになるからである。即ち、4の倍数となる所定の値で元の画像の解像度を割ることによりサンプリングの解像度を決めることで、複数の主な規格の解像度に、中央分割エリア小領域Saaおよび外周分割エリア小領域Sbbのサンプリングされた解像度の画素数が、同じ値となるものを得ることができるからである。
【0070】
例えば、解像度の規格が、QVGA規格となる場合、中央分割エリア小領域Saaの画素数は、64dot×48dot=3072dotとなり、外周分割エリア小領域Sbbの画素数は、160dot×120dot=12288dotとなる。ここで、中央分割エリア小領域Saaおよび外周分割エリア小領域Sbbを、1/64の解像度でサンプリングを行った場合、それぞれのサンプリング後の画素数は、中央分割エリア小領域Saaが48dotとなり、外周分割エリア小領域Sbbが192dotとなる。よって、VGA規格となる画像データを1/256の解像度でサンプリングを行った場合と、QVGA規格となる画像データを1/64の解像度でサンプリングを行った場合では、中央分割エリア小領域Saaおよび外周分割エリア小領域Sbbのサンプリングされた解像度の画素数が同じ値となるので、この2つの場合における統計値を求める処理は、共通化することが可能となる。このように、サンプリングの解像度を決めるときに、4の倍数となる所定の値で元の画像の解像度を割ることにより、幾つかの中央分割エリア小領域Saaおよび外周分割エリア小領域Sbbの統計値を求める処理を共通化することができる。
【0071】
以上をまとめると、逆光補正では、まず調べる対象となる画像が逆光画像であるか否かの判定を行う必要がある。そのため、理想的な逆光画像のヒストグラムと、画像データ全体のヒストグラムを比較する必要がある。この場合、低解像度のサンプリングを行って、画像データのヒストグラムを求めることにより、処理を迅速に行うことができる。次に、画像の中央分割エリアと外周分割エリアのそれぞれにおいて、小領域ごとの輝度平均値より解除条件を求める必要があるので、それぞれの小領域ごとの統計値を求める必要がある。この小領域ごとの統計値を求める場合においても、小領域ごとに低解像度のサンプリングを行って、統計値を算出することにより、処理を迅速に行うことができる。また、このときの低解像度サンプリングを行うときの解像度は、画像データの元の解像度を4の倍数で割ったものとすることにより、統計値を求める処理を共通化することができる。
【0072】
[制御回路における画像処理]
次に、図14〜図18を参照して本実施形態に係る携帯電話20、表示パネル30、カラープリンタ50において実行される画像処理について説明する。図14は本実施形態に係る携帯電話20、表示装置30、カラープリンタ50において実行される画像処理の全体処理ルーチンを示すフローチャートである。図15は本実施形態に係る携帯電話20、表示装置30、カラープリンタ50において実行される作業色空間変換処理の処理ルーチンを示すフローチャートである。図16は本実施形態に係る携帯電話20、表示装置30、カラープリンタ50において実行される補正量決定処理の処理ルーチンを示すフローチャートである。図17は本実施形態に係る携帯電話20、表示装置30、カラープリンタ50において実行される画質調整処理の処理ルーチンを示すフローチャートである。図18は本実施形態に係る携帯電話20、表示パネル30、カラープリンタ50において実行されるデバイス色空間変換処理の処理ルーチンを示すフローチャートである。
【0073】
本実施形態において実行される画像処理は、例えば、携帯電話20、表示パネル30、カラープリンタ50において、キー、タッチパネル等を介して所望の画像データGDが選択されたときに開始される。あるいは、携帯電話20、表示パネル30、カラープリンタ50において、画像データGDが受信されたときに実行されてもよい。
【0074】
制御回路60(CPU601a、601b)は、画像処理を開始すると、選択された画像データGDを取得してRAM602a、602bに一時的に格納する(ステップS100)。画像データGDの選択は、例えば、携帯電話20、表示パネル30、カラープリンタ50と有線または無線にて接続されているディジタルスチルカメラ10上において行われていても良く、あるいは、携帯電話20、表示パネル30、カラープリンタ50上において、メモリカードMCに格納されている画像データGDの中から選択されても良い。さらには、ネットワークを介してサーバ上に格納されている複数の画像データGDから選択されても良い。
【0075】
CPU601a、601bは、選択された画像データGDに関連付けられた画像処理制御情報GI/撮影情報SIを検索する(ステップS110)。CPU601a、601bは、画像データGDのヘッダ部を検索し、あるいは、画像データGDに関連付けられている別ファイル形式の画像処理制御情報GI/撮影情報SIをメモリカードMC上、ネットワーク上において検索する。CPU601a、601bは、画像処理制御情報GI/撮影情報SIを発見(検索)できた場合には(ステップS115:Yes)、画像処理制御情報GI/撮影情報SIを取得する(ステップS120)。一方、CPU601a、601bは、画像処理制御情報GI/撮影情報SIを発見(検索)できなかった場合には(ステップS115:No)、画像処理制御情報GI/撮影情報SIを用いた画質調整処理を行うことなく、ステップS170へと移行する。
【0076】
ステップS120に戻り説明すると、次にCPU601a、601bは、デバイス修正処理を実行する(ステップS130)。既述の通り、画像処理制御情報GIは、一般的に、特定の画質データ生成装置と特定の画像出力装置、たとえば、カラープリンタ50の機能の1つである印刷画像表示装置、の組み合わせに最適化されている。一般的に、表示出力画像と印刷出力画像とでは、色域の差異、視覚上、透過画像と反射画像という大きな差異があるため、適切なホワイトバランス、コントラスト、彩度の値が異なる。したがって、携帯機器20の表示ディスプレイ21、表示装置30の表示ディスプレイ31、カラープリンタ50の表示ディスプレイ35の出力画像の画質は、カラープリンタ50によって出力された印刷画像の画質とは異なってしまう。
【0077】
そこで、本実施形態では、たとえば、表示ディスプレイ21、31、35における表示出力画像の画質を、カラープリンタ50における印刷出力画像の画質と同一にするため、または近似させるための、デバイス毎に用意されている修正情報を用いて画像処理制御情報GIを修正する。修正情報は、携帯機器20、表示装置30、カラープリンタ50において印刷出力画像と同様の画質を得るための画質パラメータの値である表示用パラメータ値と画像処理制御情報GIに記述されている画質パラメータの値との差分情報であっても良く、あるいは、画像処理制御情報GIに記述されている画質パラメータの値に代えて用いられる新規な表示用パラメータ値であっても良い。
【0078】
例えば、液晶パネルは、各パネル毎に画像出力特性が大きく異なる傾向にあるので、修正情報は、液晶パネル単位にて用意されることが望ましい。修正情報は、画像処理制御情報GIの1つの情報として画像処理制御情報GIに記述されていてもよく、携帯機器20、表示装置30、カラープリンタ50毎に、固有の修正情報としてHDD/ROM603a、603bに格納されていてもよい。さらには、携帯機器20、表示装置30、カラープリンタ50において、画像処理制御情報GIに基づいて動的に生成されても良い。
【0079】
修正情報に含まれる情報(パラメータの値の差分、置換用パラメータの値)は、例えば、白色点の指定情報、コントラストの修正情報、彩度の修正情報、色相の修正情報、ノイズ除去処理実行の有無、シャープネス処理実行の有無に関する情報である。
(1)異なる画像出力装置間では、色温度が異なるので、白色点を指定することによって色温度を調整する。例えば、表示の色温度が高い場合(9300K等)には、白色点の指定情報としてR=(237、255)、G=(255、251)、B=(255、222)、とすると、表示ディスプレイ21、31、35上においてカラーバランスをある程度一致させて表示することが可能である。
(2)異なる画像出力装置間では、再現(表現)可能な色域が異なるため、コントラストに差が生じ、見え方に大きな差が生じる。そこで、トーンカーブを調整することによってコントラストをある程度一致させることができる。
(3)異なる画像出力装置間では、表現彩度が異なるため、例えば、カラープリンタ50によって出力された印刷画像と、表示ディスプレイ21、31、35上に出力された出力画像との見え方を一致させるためには、彩度を調整する必要がある。
(4)カラープリンタ50によって出力された印刷画像と、表示ディスプレイ21、31、35上に出力された出力画像との色相が異なる場合には、色空間変換マトリクスの調整、記憶色補正の利用、HSB等による色域を特定した補正を修正情報によって実現すればよい。
【0080】
CPU601a、601bは、取得した画像データGDの色空間を作業色空間へ変更する作業色空間変換処理を実行する(ステップS140)。この作業色空間変換処理について図15を参照して説明する。この作業色空間変換処理は、画像データGDの色空間を、画像データに対する画質調整処理を実行する際に用いられる色空間、すなわち作業色空間へと変更するための処理である。作業色空間として、色域の広い色空間を用いることによって、画質調整処理後の画質データを構成する画素データを有効に活用することができる。
【0081】
そこで、本実施形態では、画像データGDの色空間を、RGB色空間として一般的に用いられるsRGB色空間からsRGB色空間よりも広い色域を有するwRGB色空間へと変換する。
【0082】
ディジタルスチルカメラ10から取得された画像データGDは、通常、YCbCr色空間のデータであるから、先ず、画像処理において標準的に用いられているsRGB色空間の画像データへと変換される。YCbCr−RGB色変換に当たっては、当業者に良く知られているマトリクスSが用いられる。一方、取得された画像データGDがsRGBデータの場合には、マトリクスSを用いた色変換は不要となる。ここでは、画像データGDは既に、sRGB色空間の画像データであるものとして説明する。
【0083】
CPU601a、601bは、画像データGDに対して第1のガンマ変換処理を実行する(ステップS1400)。色変換処理は、通常、XYZ、Lab等の機器独立空間を介して実行され、マトリクスを用いたsRGB−XYZ色変換処理、XYZ−wRGB色変換処理が実行される。かかる色変換処理の処理精度を上げるために、画像データGDの入出力特性(ガンマ特性)を線形化する必要がある。ここで用いられるガンマの値は、ディジタルスチルカメラ10において画像データ生成に際して実行される逆ガンマ変換処理時に一般的に用いられているガンマの値である。
【0084】
CPU601は、線形化された画像データGDに対して、マトリクスを用いたsRGB−XYZ色変換処理、XYZ−wRGB色変換処理を実行して、画像データGDの色空間を作業色空間であるwRGBへと変換し(ステップS1410)、本処理ルーチンを終了し、図14の処理ルーチンにリターンする。
【0085】
図14に戻り説明を続けると、CPU601a、601bは、補正量決定処理を実行する(ステップS150)。かかる補正量決定処理について図16を参照して説明する。本実施形態における補正量決定処理は、先にも述べたように、画像データGDの画質に関するパラメータの値を基準値に近づける。あるいは、基準値と同一の値とする、いわゆる自動画質調整に用いるための補正量を求める処理である。
【0086】
CPU601a、601bは、画像データGD,または、画像データGDの間引きデータ(たとえば、サムネイル画像データ)を、先に述べた低解像度のサンプリング方法によりサンプリングする(ステップS1500)。CPU601a、601bは、サンプリングした各画素データから、画像データGDの画質に関する各パラメータ(画質パラメータ)について解析値(統計値、特性値)を取得する(ステップS1510)。
【0087】
CPU601a、601bは、各画質パラメータについて、予め用意されている基準値を取得し、基準値と解析値とを用いて各画質パラメータについて補正値を決定する(ステップS1520)。
【0088】
CPU601a、601bは、各画質パラメータについて決定した補正値を、画像処理制御情報GI/撮影情報SIを用いて変更して(ステップS1530)、本処理ルーチンを終了し、図14の処理ルーチンにリターンする。すなわち、画像データ生成装置と画像出力装置との組み合わせから生じる画質の特性、画像データ生成時における撮影条件を用いることで、画像データGDの解析だけからでは得られない情報(条件)を、画像データGDの画質に応じて決定された補正値に反映させることができる。本実施形態では、画像処理制御情報GIは、修正情報によって、表示ディスプレイ21、31、35において、カラープリンタ50の印刷画像と同様の画質の画像が出力されるように修正されているので、画像出力装置の画像出力特性の差に起因する画質(見え方)の相違を解消または低減することができる。
【0089】
具体的には、補正値が各画質パラメータの解析値を増減させるために用いられる値である場合には、画像処理制御情報GI/撮影情報SIを用いて、増減の程度を変更する。補正値が各画質パラメータの新たな値として用いられる値である場合には、画像処理制御情報GI/撮影情報SIを用いて新たな値に変更する。さらに、画像処理制御情報GIとして、撮影者によってマニュアル操作によって意図的に設定されたマニュアル設定のパラメータが存在する場合には、設定されたパラメータの値をそのまま、補正値に付加しても良い。
【0090】
CPU601a、601bは、変更された補正値を用いて画像データGDに対する画質調整処理を実行する(ステップS160)。かかる画質調整処理について図17を参照して説明する。CPU601a、601bは、画像データGDに対してノイズ除去処理を実行する(ステップS1600)。ノイズ除去処理は、修正情報によって実行、非実行が規定される処理であってもよく、修正情報によってノイズ低減レベルが修正される処理であっても良い。ノイズ除去処理は、比較的、負荷の高い演算処理である。一方、表示画面サイズが小さな表示ディスプレイにおいては、一般的にノイズ除去処理の効果が確認し難い。そこで、表示画面サイズが小さな表示ディスプレイを備える傾向にある携帯機器20においては、演算負荷の軽減とノイズ除去処理の効果が弱いことに鑑みノイズ除去処理はスキップされてもよい。
【0091】
CPU601a、601bは、修正された補正値を用いてトーンカーブを修正し、トーンカーブを用いた画像データGDに対する画質調整処理を実行する(ステップS1610)。トーンカーブを用いた画質調整処理は、明度、カラーバランス、コントラストの画質パラメータを調整するために実行される。トーンカーブの修正は、例えば、各画質パラメータ毎に設定されている修正ポイントにおいて、トーンカーブの通過点を変更することによって実行される。
【0092】
CPU601a、601bは、予め設定されている記憶色に該当する色を、記憶色として定義されている色で置き換える(ステップS1620)。記憶色としては、例えば、肌の色、空の色、緑の色、赤色について、予め見栄えの良い色が定義されている。
【0093】
CPU601a、601bは、彩度補正処理を実行する(ステップS1630)。補正値を用いた彩度の補正は、例えば、補正前の値を(Rb,Gb,Bb)、補正後の値を(Ra,Ga,Ba)、補正値を(R、G、B)、とすると、以下の式を用いて実行される。
【0094】
【数1】
ただし、このときの記憶色および彩度の補正値は、先にも述べた特定色のエンハンス手法により、全画素に占める記憶色および特徴色の割合を基にして調整される。
【0095】
CPU601a、601bは、シャープネス処理を実行して(ステップS1640)、画質調整処理を終了し、図14の処理ルーチンにリターンする。シャープネス処理は、修正情報によって実行、非実行が規定される処理であってもよく、修正情報によってシャープネスレベルが修正される処理であっても良い。表示画面サイズが小さな表示ディスプレイにおいては、一般的にシャープネス効果が確認し難い。そこで、表示画面サイズが小さな表示ディスプレイを備える傾向にある携帯機器20においては、シャープネス処理の効果が弱いことに鑑み、演算負荷を軽減する観点からもシャープネス処理はスキップされてもよい。
【0096】
CPU601a、601bは、画質調整処理を施した画像データGDの色空間をデバイスへ変更する作業色空間変換処理を実行する(ステップS170)。このデバイス色空間変換処理について図18を参照して説明する。このデバイス色空間変換処理は、画像データGDの色空間を、画質調整処理を実行する際に用いた作業色空間から、各画像出力装置の色空間へと変更するための処理である。ここで、通常、画像を表示出力する表示ディスプレイは、sRGB色空間を満たすように色設計されている。一方、一部の表示ディスプレイは独自の色空間に基づいて色設計されている。
【0097】
CPU601a、601bは、線形化された画像データGDに対して、マトリクスを用いたwRGB−XYZ色変換処理、XYZ−sRGB色変換処理またはXYZ−デバイス色空間色変換処理、あるいは、ルックアップテーブルを用いたwRGB−sRGB色変換処理またはwRGB−デバイス色空間色変換処理を実行して、画像データGDの色空間をデバイス色空間へと変換する(ステップS1800)。
【0098】
CPU601a、601bは、画像データGDに対して第1の逆ガンマ変換処理を実行して(ステップS1810)、本処理ルーチンを終了し、図14の処理ルーチンにリターンする。すなわち、画像データGDのガンマ特性を表示ディスプレイ21、31、35のガンマ特性に適合する特性へと変更する。具体的には、表示ディスプレイ21、31、35のガンマの値を用いて、逆ガンマ変換処理が実行される。
【0099】
CPU601a、601bは、ディスプレイ駆動制御部63a、63bを介して、出力画像を表示出力して本処理ルーチンを終了する。
【0100】
以上説明したように、本実施形態に係る携帯機器20、表示装置30、カラープリンタ50によれば、ディジタルスチルカメラ10とカラープリンタ50の印刷画像表示装置との組み合わせにおいて定義された画像処理制御情報GIを用いて、カラープリンタ50によって出力された印刷画像と同様の画質を有する画像を表示ディスプレイ21、31、35に表示出力することができる。すなわち、表示ディスプレイ21、31、35は、カラープリンタ50の印刷画像とは異なる画像出力特性を有するが、かかる画像出力特性の相違に起因する出力画像の見え方(画質)の相違は、修正情報を用いて画像処理制御情報GIを修正することによって解消または低減される。したがって、特定の画像出力装置に合わせて定義された画像処理制御情報GIを用いて、任意の画像出力装置における出力画像の画質を特定の画像出力装置における出力画像の画質に近似または一致させることができる。
【0101】
また、本実施形態では、画像出力装置毎に画像処理制御情報GIを備えなくても、修正情報を用いることによって、複数の画像出力装置において、特定の画像出力装置における出力画像の画質と同等または近似する画質を有する出力画像を出力させることができる。
【図面の簡単な説明】
【0102】
【図1】本実施形態に係る画像処理装置を含む画像処理システムの概略構成を示す。
【図2】本実施形態に係る画像処理装置の概略構成を示す。
【図3】本実施形態において用いられる画像データGDの構成を模式的に示す。
【図4】画像処理制御情報GIとして記録されるパラメータの一例を示す。
【図5】撮影情報SIとして記録されるパラメータの一例を示す。
【図6】本実施形態に係る携帯機器および表示装置が備える制御回路60によって実現される機能モジュールのブロック図。
【図7】サンプリングされた画像データのヒストグラムである。
【図8】サンプリングされた画像データのヒストグラムである。
【図9】特定色の割合と適用量の関係を示す図である。
【図10】画像における中央分割エリアおよび外周分割エリアの位置を示す。
【図11】中央分割エリア小領域および外周分割エリア小領域の大きさを示す。
【図12】理想的な逆光画像のヒストグラムである。
【図13】中央分割エリア小領域および外周分割エリア小領域におけるサンプリングされた画素数を示す。
【図14】画像処理全体の全体処理ルーチンを示すフローチャートである。
【図15】作業色空間変換処理の処理ルーチンを示すフローチャートである。
【図16】補正量決定処理の処理ルーチンを示すフローチャートである。
【図17】画質調整処理の処理ルーチンを示すフローチャートである。
【図18】デバイス色空間変換処理の処理ルーチンを示すフローチャートである。
【符号の説明】
【0103】
10 ディジタルスチルカメラ、 20 携帯機器、 21 表示ディスプレイ、 30、35 表示装置、 31 表示ディスプレイ、 40 パーソナルコンピュータ、 50 カラープリンタ、 60、60a 制御回路、 601a、601b 中央演算装置(CPU)、 602a、602b ランダムアクセスメモリ(RAM)、 603a、603b ハードディスク(HDD)/ROM、 61a、61b 入力操作部、 62a、62b 通信制御部、 63a、63b ディスプレイ駆動制御部、 64a、64b メモリカードスロット、 65 プリンタ駆動制御部、 MC メモリカード
【特許請求の範囲】
【請求項1】
画像データを取得する画像データ取得手段と、
前記画像データのサンプリングを行うサンプリング手段と、
サンプリングされた画像データの粗量子化を行うとともに直線補間を行って得られた画像データの階調値におけるヒストグラムの統計情報に基づいて統計値を算出する統計値算出手段と、
前記統計値に基づいて画像処理時における補正量を決定する補正量決定手段と、
前記補正量に基づいて画像処理を行う画像処理手段と、を備えることを特徴とする画像処理装置。
【請求項2】
前記補正量決定手段は、サンプリングされた画像データに基づいて全画素に占める所定の色における画素の割合を算出し、
前記所定の特定の色における画素の割合に基づいて前記補正量を修正する補正量修正手段、をさらに備えることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記サンプリング手段は、前記画像データによって形成される画像の中心の領域及びその外周の領域について、それぞれ低解像度でサンプリングを行う分割領域サンプリング手段をさらに備えることを特徴とする請求項1に記載の画像処理装置。
【請求項4】
前記補正量決定手段は、前記ヒストグラムと、前記中心の領域及び前記外周の領域のサンプリングされた画像データに基づいて算出された統計値と、を用いて、前記画像データが逆光画像であるか否かを判定する逆光画像判定手段をさらに備えることを特徴とする請求項3に記載の画像処理装置。
【請求項5】
画像データを取得する画像データ取得工程と、
前記画像データのサンプリングを行うサンプリング工程と、
サンプリングされた画像データの粗量子化を行うとともに直線補間を行って得られた画像データの階調値におけるヒストグラムの統計情報に基づいて統計値を算出する統計値算出工程と、
前記統計値に基づいて画像処理時における補正量を決定する補正量決定工程と、
前記補正量に基づいて画像処理を行う画像処理工程と、を備えることを特徴とする画像処理方法。
【請求項6】
制御回路を備える画像処理装置によって実行されることにより、
画像データを取得する画像データ取得手段と、
前記画像データのサンプリングを行うサンプリング手段と、
サンプリングされた画像データの粗量子化を行うとともに直線補間を行って得られた画像データの階調値におけるヒストグラムの統計情報に基づいて統計値を算出する統計値算出手段と、
前記統計値に基づいて画像処理時における補正量を決定する補正量決定手段と、
前記補正量に基づいて画像処理を行う画像処理手段、として前記画像処理装置を機能させることを特徴とする画像処理プログラム。
【請求項1】
画像データを取得する画像データ取得手段と、
前記画像データのサンプリングを行うサンプリング手段と、
サンプリングされた画像データの粗量子化を行うとともに直線補間を行って得られた画像データの階調値におけるヒストグラムの統計情報に基づいて統計値を算出する統計値算出手段と、
前記統計値に基づいて画像処理時における補正量を決定する補正量決定手段と、
前記補正量に基づいて画像処理を行う画像処理手段と、を備えることを特徴とする画像処理装置。
【請求項2】
前記補正量決定手段は、サンプリングされた画像データに基づいて全画素に占める所定の色における画素の割合を算出し、
前記所定の特定の色における画素の割合に基づいて前記補正量を修正する補正量修正手段、をさらに備えることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記サンプリング手段は、前記画像データによって形成される画像の中心の領域及びその外周の領域について、それぞれ低解像度でサンプリングを行う分割領域サンプリング手段をさらに備えることを特徴とする請求項1に記載の画像処理装置。
【請求項4】
前記補正量決定手段は、前記ヒストグラムと、前記中心の領域及び前記外周の領域のサンプリングされた画像データに基づいて算出された統計値と、を用いて、前記画像データが逆光画像であるか否かを判定する逆光画像判定手段をさらに備えることを特徴とする請求項3に記載の画像処理装置。
【請求項5】
画像データを取得する画像データ取得工程と、
前記画像データのサンプリングを行うサンプリング工程と、
サンプリングされた画像データの粗量子化を行うとともに直線補間を行って得られた画像データの階調値におけるヒストグラムの統計情報に基づいて統計値を算出する統計値算出工程と、
前記統計値に基づいて画像処理時における補正量を決定する補正量決定工程と、
前記補正量に基づいて画像処理を行う画像処理工程と、を備えることを特徴とする画像処理方法。
【請求項6】
制御回路を備える画像処理装置によって実行されることにより、
画像データを取得する画像データ取得手段と、
前記画像データのサンプリングを行うサンプリング手段と、
サンプリングされた画像データの粗量子化を行うとともに直線補間を行って得られた画像データの階調値におけるヒストグラムの統計情報に基づいて統計値を算出する統計値算出手段と、
前記統計値に基づいて画像処理時における補正量を決定する補正量決定手段と、
前記補正量に基づいて画像処理を行う画像処理手段、として前記画像処理装置を機能させることを特徴とする画像処理プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【公開番号】特開2006−180311(P2006−180311A)
【公開日】平成18年7月6日(2006.7.6)
【国際特許分類】
【出願番号】特願2004−372743(P2004−372743)
【出願日】平成16年12月24日(2004.12.24)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】
【公開日】平成18年7月6日(2006.7.6)
【国際特許分類】
【出願日】平成16年12月24日(2004.12.24)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】
[ Back to top ]