説明

画像データの出力画像調整

画像生成装置で生成された画像データと、画像における被写体領域を示す被写体領域情報を少なくとも含むと共に前記画像データに関連付けられた画像生成履歴情報とを用いて、前記被写体領域内の各画素の色相を算出し、特定の色域の色相を持つ画素の割合が第1の所定のしきい値よりも大きい場合には、前記特定の色域によって特定される対象を含む画像に適した画質調整処理を実行する。前記特定の色域は肌色域であり、前記画質調整処理は人物画像に適した処理であることが好ましい。また、前記人物画像に適した画質調整処理が実行されないときに、緑色域の色相を持つ画素の割合が第2の所定のしきい値よりも大きい場合、または、空色域の色相を持つ画素の割合が第3の所定のしきい値よりも大きい場合には、風景画像に適した画質調整処理を実行する。

【発明の詳細な説明】
【技術分野】
本発明は、画像データの画質を調整する画像調整技術に関する。
【背景技術】
従来は、ユーザが、人物や風景などの撮影シーンをカメラやプリンタドライバで選択し、その選択に基づいて、それぞれの画像に適した画質調整が行われていた(例えば、特開平11−146219,特開2001−169135,特開2001−298631参照)。
しかしながら、従来の技術によると、人物や風景などの撮影シーンを選択する場合には、ユーザが、撮影時や印刷時に煩雑な動作を行う必要がある。
例えば、撮影シーンをカメラで選択する場合、人物画像と風景画像とを連続して撮影する際には、その都度、撮影シーンを切り替える必要がある。また、撮影シーンをプリンタドライバで選択する場合にも、画像ごとに撮影シーンを選択する必要があるため、人物画像と風景画像とが混在する場合には煩雑な操作を伴う。
本発明は、上記問題を解決するためになされたものであり、個々の画像データに対して自動的に適切な画質調整を行うことを目的とする。
【発明の開示】
上記課題の少なくとも一部を解決するために、本発明による出力装置は、画像生成装置で生成された画像データと、画像における被写体領域を示す被写体領域情報を少なくとも含むと共に前記画像データに関連付けられた画像生成履歴情報とを用いて、画像を出力する出力装置であって、前記被写体領域内の各画素の色相を算出し、特定の色域の色相を持つ画素の割合が第1の所定のしきい値よりも大きい場合には、前記特定の色域によって特定される対象を含む画像に適した画質調整処理を実行する画質調整部と、前記画質が調整された画像データに応じて画像を出力する画像出力部と、を備える。
本発明による出力装置は、前記特定の色域によって特定される対象を含む画像に適した画質調整を実行するか否かを、画像における被写体領域を示す被写体領域情報に基づいて自動的に判定し、その判定に応じて画質調整処理を行うので、個々の画像データに対して自動的に適切な画質調整を行うことができる。
上記出力装置において、前記特定の色域は肌色域であり、前記画質調整処理は人物画像に適した処理であることが好ましい。
これにより、人物画像に適した画質調整を実行するか否かを、画像における被写体領域を示す被写体領域情報に基づいて自動的に判定し、その判定に応じて画質調整処理を行うことができる。
前記人物画像に適した画質調整処理は、前記被写体領域を含む一部の領域に対してのみ実行されるようにしてもよい。
また、前記画質調整は、前記画像内の一部の処理対象領域であって、前記被写体領域内に存在し前記特定の色域の色を有する画素を含む処理対象領域に対してのみ実行されるものとしてもよい。さらに、前記処理対象領域は、前記被写体領域内に存在し前記特定の色域の色を有する第1種の画素と、前記被写体領域外に存在し前記第1種の画素に連続するとともに前記特定の色域の色を有する第2種の画素とを含むものとしてもよい。
上記出力装置において、前記画質調整部は、前記人物画像に適した画質調整処理が実行されないときに、緑色域の色相を持つ画素の割合が第2の所定のしきい値よりも大きい場合、または、空色域の色相を持つ画素の割合が第3の所定のしきい値よりも大きい場合には、風景画像に適した画質調整処理を実行することが好ましい。
これにより、人物画像に適した画質調整を実行しない場合に、風景画像に適した画質調整を実行するか否かを、画像における被写体領域を示す被写体領域情報に基づいて自動的に判定し、その判定に応じて画質調整処理を行うことができる。
なお、この発明は、種々の形態で実現することが可能であり、例えば、画像出力方法および画像出力装置、画像データ処理方法および画像データ処理装置、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。
【図面の簡単な説明】
図1は、本発明の一実施例としての画像出力システムの構成を示すブロック図である。
図2は、デジタルスチルカメラ12の概略構成を示すブロック図である。
図3は、本実施例にて用いることができる画像ファイルの内部構成の一例を概念的に示す説明図である。
図4は、付属情報格納領域103のデータ構造例を説明する説明図である。
図5は、Exifデータ領域のデータ構造の一例を説明する説明図である。
図6は、画像500内の被写体領域510を示す説明図である。
図7は、プリンタ20の概略構成を示すブロック図である。
図8は、プリンタ20の制御回路30を中心としたプリンタ20の構成を示すブロック図である。
図9は、デジタルスチルカメラ12における画像ファイルGFの生成処理の流れを示すフローチャートである。
図10は、プリンタ20における画像処理の処理ルーチンを示すフローチャートである。
図11は、画像生成履歴情報に基づく画像処理の処理ルーチンを示すフローチャートである。
図12は、自動画質調整処理の第1実施例の処理ルーチンを示すフローチャートである。
図13は、第1実施例の画像における被写体領域と、その被写体領域内に含まれる画素の色相のヒストグラムとを示す図である。
図14は、自動画質調整処理の実施例における撮影シーンに適した処理の内容を示す説明図である。
図15は、自動画質調整処理の第2実施例の処理ルーチンを示すフローチャートである。
図16は、第2実施例の処理内容を示す図である。
図17は、画像データ処理装置を適用可能な画像出力システムの一例を示す説明図である。
図18は、色空間変換処理を省略した場合の画像処理ルーチンを示すフローチャートである。
図19は、画像生成履歴情報に基づく画像処理の処理ルーチンの別の例を示すフローチャートである。
図20は、画像生成履歴情報に基づく画像処理の処理ルーチンの別の例を示すフローチャートである。
【発明を実施するための最良の形態】
以下、本発明に係る画像ファイルの出力画像調整について以下の順序にて図面を参照しつつ、いくつかの実施例に基づいて説明する。
A.画像出力システムの構成:
B.画像ファイルの構成:
C.画像ファイルを利用可能な画像出力システムの構成:
D.デジタルスチルカメラにおける画像処理:
E.プリンタにおける画像処理:
F.自動画質調整処理の実施例:
G.画像データ処理装置を用いる画像出力システムの構成:
H.変形例:
A.画像出力システムの構成:
図1は、本発明の一実施例としての出力装置を適用可能な画像出力システムの一例を示す説明図である。画像出力システム10は、画像ファイルを生成する画像生成装置としてのデジタルスチルカメラ12と、画像の出力装置としてのプリンタ20とを備えている。デジタルスチルカメラ12において生成された画像ファイルは、ケーブルCVを介したり、画像ファイルが格納されたメモリカードMCをプリンタ20に直接挿入したりすることによって、プリンタ20に送出される。プリンタ20は、読み込んだ画像ファイルに基づいた画像データの画質調整処理を実行し、画像を出力する。出力装置としては、プリンタ20の他に、CRTディスプレイ、LCDディスプレイ等のモニタ14、プロジェクタ等を用いることができる。以下、画質調整部と画像出力部を備えるプリンタ20を出力装置として用い、メモリカードMCをプリンタ20に直接挿入する場合に基づいて説明する。
図2は、デジタルスチルカメラ12の概略構成を示すブロック図である。この実施例のデジタルスチルカメラ12は、光情報を収集するための光学回路121と、光学回路を制御して画像を取得するための画像取得回路122と、取得したデジタル画像を加工処理するための画像処理回路123と、補助光源としてのフラッシュ130と、各回路を制御する制御回路124と、を備えている。制御回路124は、図示しないメモリを備えている。光学回路121は、光情報を集めるレンズ125と、光量を調節する絞り129と、レンズを通過した光情報を画像データに変換するCCD128とを備えている。
デジタルスチルカメラ12は、取得した画像をメモリカードMCに保存する。デジタルスチルカメラ12における画像データの保存形式としては、JPEG形式が一般的であるが、この他にもTIFF形式や、GIF形式や、BMP形式や、RAWデータ形式などの保存形式を用いることができる。
デジタルスチルカメラ12は、また、種々の撮影条件を設定するための選択・決定ボタン126と、液晶ディスプレイ127とを備えている。液晶ディスプレイ127は、撮影画像をプレビューしたり、選択・決定ボタン126を用いて絞り値等を設定したりする際に利用される。
デジタルスチルカメラ12において撮影が実行された場合には、画像データと画像生成履歴情報とが、画像ファイルとしてメモリカードMCに格納される。画像生成履歴情報は、撮影時(画像データ生成時)における絞り値等のパラメータの設定値を含むことが可能である(詳細については後述する)。
B.画像ファイルの構成:
図3は、本実施例にて用いることができる画像ファイルの内部構成の一例を概念的に示す説明図である。画像ファイルGFは、画像データGDを格納する画像データ格納領域101と、画像生成履歴情報GIを格納する画像生成履歴情報格納領域102を備えている。画像データGDは、例えば、JPEG形式で格納されており、画像生成履歴情報GIは、例えば、TIFF形式(データおよびデータ領域がタグを用いて特定される形式)で格納されている。なお、本実施例におけるファイルの構造、データの構造といった用語は、ファイルまたはデータ等が記憶装置内に格納された状態におけるファイルまたはデータの構造を意味するものである。
画像生成履歴情報GIは、デジタルスチルカメラ12等の画像生成装置において画像データが生成されたとき(撮影されたとき)の画像に関する情報であり、以下のような設定値を含んでいる。
・被写体距離。
・被写体距離レンジ。
・被写体領域。
・露出時間。
・絞り値。
・ISOスピードレート(ISO感度)。
・撮影モード。
・メーカ名。
・モデル名。
・ガンマ値。
本実施例の画像ファイルGFは、基本的に上記の画像データ格納領域101と、画像生成履歴情報格納領域102とを備えていればよく、既に規格化されているファイル形式に従ったファイル構造をとることができる。以下、本実施例に係る画像ファイルGFをExifファイル形式に適合させた場合について具体的に説明する。
Exifファイルは、デジタルスチルカメラ用画像ファイルフォーマット規格(Exif)に従ったファイル構造を有しており、その仕様は、日本電子情報技術産業協会(JEITA)によって定められている。また、Exifファイル形式は、図3に示した概念図と同様に、JPEG形式の画像データを格納するJPEG画像データ格納領域と、格納されているJPEG画像データに関する各種情報を格納する付属情報格納領域とを備えている。JPEG画像データ格納領域は、図3における画像データ格納領域101に相当し、付属情報格納領域は画像生成履歴情報格納領域102に相当する。付属情報格納領域には、撮影日時、絞り値、被写体距離といったJPEG画像に関する画像生成履歴情報が格納される。
図4は、付属情報格納領域103のデータ構造例を説明する説明図である。Exifファイル形式では、データ領域を特定するために階層的なタグが用いられている。各データ領域は、下位のタグによって特定される複数の下位のデータ領域を、その内部に含むことができる。図4では、四角で囲まれた領域が一つのデータ領域を表しており、その左上にタグ名が記されている。この実施例は、タグ名がAPP0、APP1、APP6である3つのデータ領域を含んでいる。APP1データ領域は、その内部に、タグ名がIFD0、IFD1である2つのデータ領域を含んでいる。IFD0データ領域は、その内部に、タグ名がPM、Exif、GPSである3つのデータ領域を含んでいる。データおよびデータ領域は、規定のアドレスまたはオフセット値に従って格納され、アドレスまたはオフセット値はタグ名によって検索することができる。出力装置側では、所望の情報に対応するアドレスまたはオフセット値を指定することにより、所望の情報に対応するデータを取得することができる。
図5は、図4において、タグ名をAPP1−IFD0−Exifの順にたどることで参照することができるExifデータ領域のデータ構造(データのタグ名とパラメータ値)の一例を説明する説明図である。Exifデータ領域は、図4に示すようにタグ名がMakerNoteであるデータ領域を含むことが可能であり、MakerNoteデータ領域は、さらに多数のデータを含むことができるが、図5では図示を省略する。
Exifデータ領域には、図5に示すように、被写体領域と、被写体距離と、露出時間と、絞り値と、ISOスピードレート等の情報に関するパラメータ値が格納されている。この実施例では、被写体の領域を示す情報として被写体領域を用いることができる。
図6は、画像500における被写体領域510を示した図である。図示したように、被写体領域は、画像の左上を原点とした中心の座標と、領域の直径とで表される。また、被写体領域は矩形の領域でもよく、その場合、領域の範囲は、高さと幅とで表される。
画像データに関連付けられた情報は、図4におけるExifデータ領域以外の領域にも適宜格納される。例えば、画像生成装置を特定する情報としてのメーカ名やモデル名は、タグ名がIFD0であるデータ領域に格納される。
C.画像出力装置の構成:
図7は、本実施例のプリンタ20の概略構成を示すブロック図である。プリンタ20は、画像の出力が可能なプリンタであり、例えば、シアンCと、マゼンタMgと、イエロYと、ブラックKとの4色のインクを印刷媒体上に吐出してドットパターンを形成するインクジェット方式のプリンタである。また、トナーを印刷媒体上に転写・定着させて画像を形成する電子写真方式のプリンタを用いることもできる。インクには、上記4色に加えて、シアンCよりも濃度の薄いライトシアンLCと、マゼンタMgよりも濃度の薄いライトマゼンタLMと、イエロYよりも濃度の濃いダークイエロDYとを用いてもよい。また、モノクロ印刷を行う場合には、ブラックKのみを用いる構成としてもよく、レッドRやグリーンGを用いてもよい。利用するインクやトナーの種類は、出力する画像の特徴に応じて決めることができる。
プリンタ20は、図示するように、キャリッジ21に搭載された印刷ヘッド211を駆動してインクの吐出およびドット形成を行う機構と、キャリッジ21をキャリッジモータ22によってプラテン23の軸方向に往復動させる機構と、紙送りモータ24によって印刷用紙Pを搬送する機構と、制御回路30とから構成されている。これらの機構により、プリンタ20は画像出力部として機能する。キャリッジ21をプラテン23の軸方向に往復動させる機構は、プラテン23の軸と平行に架設されたキャリッジ21を櫂動可能に保持する櫂動軸25と、キャリッジモータ22との間に無端の駆動ベルト26を張設するプーリ27と、キャリッジ21の原点位置を検出する位置検出センサ28等から構成されている。印刷用紙Pを搬送する機構は、プラテン23と、プラテン23を回転させる紙送りモータ24と、図示しない給紙補助ローラと、紙送りモータ24の回転をプラテン23および給紙補助ローラに伝えるギヤトレイン(図示省略)とから構成されている。
制御回路30は、プリンタの操作パネル29と信号をやり取りしつつ、紙送りモータ24やキャリッジモータ22、印刷ヘッド211の動きを適切に制御している。プリンタ20に供給された印刷用紙Pは、プラテン23と給紙補助ローラの間に挟みこまれるようにセットされ、プラテン23の回転角度に応じて所定量だけ送られる。
キャリッジ21は、印刷ヘッド211を有しており、また、利用可能なインクのインクカートリッジを搭載可能である。印刷ヘッド211の下面には利用可能なインクを吐出するためのノズルが設けられる(図示省略)。
図8は、プリンタ20の制御回路30を中心としたプリンタ20の構成を示すブロック図である。制御回路30の内部には、CPU31と、PROM32と、RAM33と、メモリカードMCからデータを取得するメモリカードスロット34と、紙送りモータ24やキャリッジモータ22等とデータのやり取りを行う周辺機器入出力部(PIO)35と、駆動バッファ37等が設けられている。駆動バッファ37は、印刷ヘッド211にドットのオン・オフ信号を供給するバッファとして使用される。これらは互いにバス38で接続され、相互にデータのやり取りが可能となっている。また、制御回路30には、所定周波数で駆動波形を出力する発信器39と、発信器39からの出力を印刷ヘッド211に所定のタイミングで分配する分配出力器40も設けられている。
また、制御回路30は、紙送りモータ24やキャリッジモータ22の動きと同期をとりながら、所定のタイミングでドットデータを駆動バッファ37に出力する。さらに、制御回路30は、メモリカードMCから画像ファイルを読み出し、付属情報を解析し、得られた画像生成履歴情報に基づいて画像処理を行う。すなわち、制御回路30は画質調整部として機能する。制御回路30によって実行される詳細な画像処理の流れについては後述する。
D.デジタルスチルカメラにおける画像処理:
図9は、デジタルスチルカメラ12における画像ファイルGFの生成処理の流れを示すフローチャートである。
デジタルスチルカメラ12の制御回路124(図2)は、撮影要求、例えば、シャッターボタンの押し下げに応じて画像データGDを生成する(ステップS100)。絞り値や、ISO感度や、撮影モード等のパラメータ値の設定がされている場合には、設定されたパラメータ値を用いた画像データGDの生成が行われる。
制御回路124は、生成した画像データGDと画像生成履歴情報GIとを、画像ファイルGFとしてメモリカードMCに格納して(ステップS110)、本処理ルーチンを終了する。画像生成履歴情報GIは、絞り値、ISO感度等の画像生成時に用いたパラメータ値や、撮影モードなどの任意に設定され得るパラメータ値や、メーカ名や、モデル名等の自動的に設定されるパラメータ値を含む。また、画像データGDは、RGB色空間からYCbCr色空間に変換された後、JPEG圧縮され、画像ファイルGFとして格納される。
デジタルスチルカメラ12において実行される以上の処理によって、メモリカードMCに格納されている画像ファイルGFには、画像データGDと共に、画像データ生成時における各パラメータ値を含む画像生成履歴情報GIが設定されることとなる。
E.プリンタにおける画像処理:
図10は、本実施例のプリンタ20における画像処理の処理ルーチンを示すフローチャートである。以下の説明では、画像ファイルGFを格納したメモリカードMCがプリンタ20に直接挿入される場合に基づいて説明する。プリンタ20の制御回路30(図8)のCPU31は、メモリカードスロット34にメモリカードMCが差し込まれると、メモリカードMCから画像ファイルGF(図3)を読み出す(ステップS200)。次にステップS210にて、CPU31は、画像ファイルGFの付属情報格納領域から、画像データ生成時の情報を示す画像生成履歴情報GIを検索する。画像生成履歴情報GIを発見できた場合には(ステップS220:Y)、CPU31は、画像生成履歴情報GIを取得して解析する(ステップS230)。CPU31は、解析した画像生成履歴情報GIに基づいて、後述する画像処理を実行し(ステップS240)、処理した画像を出力して(ステップS250)、本処理ルーチンを終了する。
一方、ドローイングアプリケーションなどを用いて生成された画像ファイルには、絞り値などの情報を有する画像生成履歴情報GIが含まれない。CPU31は、画像生成履歴情報GIを発見できなかった場合には(ステップS220:N)、標準処理を行い(ステップS260)、処理した画像を出力して(ステップS250)、本処理ルーチンを終了する。
図11は、画像生成履歴情報に基づく画像処理(図10においてはステップS240に相当する)の処理ルーチンを示すフローチャートである。プリンタ20の制御回路30(図8)のCPU31は、読み出した画像ファイルGFから画像データGDを取り出す(ステップS300)。
デジタルスチルカメラ12は、既述のように画像データGDをJPEG形式のファイルとして保存しており、JPEG形式のファイルではYCbCr色空間を用いて画像データを保存している。CPU31は、ステップS310にて、YCbCr色空間に基づく画像データをRGB色空間に基づく画像データに変換するために3×3マトリックスSを用いた演算を実行する。このマトリックス演算は、例えば、以下に示す演算式で表される。


デジタルスチルカメラ12が生成する画像データの色空間が、所定の色空間、例えば、sRGB色空間よりも広い場合には、ステップS310で得られるRGB色空間に基づく画像データが、そのRGB色空間の定義領域外に有効なデータを含む場合がある。画像生成履歴情報GIにおいて、これらの定義領域外のデータを有効なデータとして扱う指定がなされている場合には、定義領域外のデータをそのまま保持して、以降の画像処理を継続する。定義領域外のデータを有効なデータとして扱う指定がなされていない場合には、定義領域外のデータを定義領域内にクリッピングする。例えば、定義領域が0〜255である場合には、0未満の負値のデータは0に、256以上のデータは255に丸められる。画像出力部の表現可能な色空間が、所定の色空間、例えば、sRGB色空間よりも広くない場合には、画像生成履歴情報GIにおける指定にかかわらず、定義領域内にクリッピングするのが好ましい。このような場合として、例えば、表現可能な色空間がsRGB色空間であるCRTに出力する場合がある。
次に、ステップS320にて、CPU31は、ガンマ補正、並びに、マトリックスMを用いた演算を実行し、RGB色空間に基づく画像データをXYZ色空間に基づく画像データに変換する。画像ファイルGFは、画像生成時におけるガンマ値と色空間情報とを含むことができる。画像生成履歴情報GIがこれらの情報を含む場合には、CPU31は画像生成履歴情報GIから画像データのガンマ値を取得し、取得したガンマ値を用いて画像データのガンマ変換処理を実行する。さらに、CPU31は画像生成履歴情報GIから画像データの色空間情報を取得し、その色空間に対応するマトリックスMを用いて画像データのマトリックス演算を実行する。画像生成履歴情報GIがガンマ値を含まない場合には、標準的なガンマ値を用いてガンマ変換処理を実行することができる。また、画像生成履歴情報GIが色空間情報を含まない場合には、標準的なマトリックスMを用いてマトリックス演算を実行することができる。これらの標準的なガンマ値、および、マトリックスMとしては、例えば、sRGB色空間に対するガンマ値とマトリックスを用いることができる。このマトリックス演算は、例えば、以下に示す演算式である。

マトリックス演算の実行後に得られる画像データの色空間はXYZ色空間である。XYZ色空間は絶対色空間であり、デジタルスチルカメラやプリンタといったデバイスに依存しないデバイス非依存性色空間である。そのため、XYZ色空間を介して色空間の変換を行うことによって、デバイスに依存しないカラーマッチングを行うことができる。
次に、ステップS330にて、CPU31は、マトリックスN−1を用いた演算、並びに、逆ガンマ補正を実行し、XYZ色空間に基づく画像データをwRGB色空間に基づく画像データに変換する。逆ガンマ補正を実行する際には、CPU31はPROM32からプリンタ側のガンマ値を取得し、取得したガンマ値の逆数を用いて画像データの逆ガンマ変換処理を実行する。さらに、CPU31はPROM32から、XYZ色空間からwRGB色空間への変換に対応するマトリックスN−1を取得し、そのマトリックスN−1を用いて画像データのマトリックス演算を実行する。このマトリックス演算は、例えば、以下に示す演算式である。

次に、ステップS340にて、CPU31は、画質の自動調整処理を実行する。本実施例における自動画質調整処理では、画像ファイルGFに含まれている画像生成履歴情報(被写体領域情報)を用いて、画像データの自動画質調整処理が実行される。自動画質調整処理については後述する。
次に、ステップS350にて、CPU31は、印刷のためのCMYK色変換処理、および、ハーフトーン処理を実行する。CMYK色変換処理では、CPU31は、PROM32内に格納されているwRGB色空間からCMYK色空間への変換用ルックアップテーブル(LUT)を参照し、画像データの色空間をwRGB色空間からCMYK色空間へ変更する。すなわち、RGBの階調値からなる画像データを、プリンタ20で使用する、例えば、C(Cyan),M(Magenta),Y(Yellow),K(Black),LC(LightCyan),LM(LightMagenta)の6色の階調値からなる画像データに変換する。
ハーフトーン処理では、CPU31は、いわゆるハーフトーン処理を実行して、色変換済みの画像データからハーフトーン画像データを生成する。このハーフトーン画像データは、駆動バッファ37(図8)に送出すべき順番に並べ替えられ、最終的な印刷データとなり、本処理ルーチンを終了する。本処理ルーチンによって処理された画像データは、図10に示す画像処理ルーチンのステップS250にて、出力される。
F.自動画質調整処理の実施例:
図12は、自動画質調整処理(図11においてはステップS340に相当する)の第1実施例の処理ルーチンを示すフローチャートである。CPU31(図8)は、画像生成履歴情報GIを解析し、被写体領域情報を取得する(ステップS400)。次に、ステップS410において、CPU31は、被写体領域内の各画素の色相Hを算出する。この実施例では、色相Hを算出するために、RGB表色系からHSI(Hue,Saturation,Intensity)表色系への変換を行う。HSI表色系は、色相Hと明度Iが独立しているため、色相が画像の明るさの影響を受けない点で好ましい。また、HSV(Hue,Saturation,Value)表色系やHSL(Hue,Saturation,Luminance)表色系など、その他の適切な表色系を利用することも可能である。
HSI表色系の色相Hを計算する式について、以下に説明する。I=max{R,G,B}、i=min{R,G,B}とすると、色相Hは、I=0のときには不定(無彩色)となり、I≠0のときには以下の式により算出できる。


但し、色相H<0のときには、算出されたHの値に2πを加える。色相Hの値域は0〜2πとなるが、この実施例では、値域を0°〜360°として色相Hを表すこととする。
次に、被写体領域内の全画素について、肌色、緑色、および空色の色域に含まれる色相を持つ画素の頻度をそれぞれ算出する(ステップS420)。図13は、画像における被写体領域と、その被写体領域内に含まれる全画素の色相のヒストグラムとを示している。具体的には、(A)に人物画像を、(B)に人物画像の場合のヒストグラムを、それぞれ示している。この実施例では、色相が0°〜30°の範囲を肌色域SRとし、色相が100°〜130°の範囲を緑色域GRとし、色相が230°〜260°の範囲を空色域BRとする。色相の範囲は、必ずしも上述の範囲である必要はなく、異なる範囲を設定してもよい。
次いで、ステップS430において、被写体領域の全画素数に対する肌色画素の割合r(Skin)を算出し、この割合r(Skin)が、第1のしきい値Th1よりも大きいか否かを判定する。r(Skin)>Th1、すなわち、人物画像であると判定された場合には、ステップS440に進み、人物シーンに適した処理を実行し、自動画質調整処理を終了する。
一方、r(Skin)>Th1が成り立たない場合には、ステップS450に進み、被写体領域の全画素数に対しての緑色画素の割合r(Green)が、第2のしきい値Th2よりも大きいか否かを判定する。r(Green)>Th2、すなわち、木や森林を含む風景画像であると判定された場合には、ステップS470に進んで風景シーンに適した処理を実行し、自動画質調整処理を終了する。
一方、r(Green)>Th2が成り立たない場合には、ステップS460に進み、被写体領域の全画素数に対しての空色画素の割合r(Sky)が、第3のしきい値Th3よりも大きいか否かを判定する。ここで、r(Sky)>Th3、すなわち、空を含む風景画像であると判定された場合には、ステップS470に進んで風景シーンに適した処理を実行し、自動画質調整処理を終了するが、r(Sky)>Th3が成り立たない場合には、ステップS480に進んで標準シーンに適した処理を実行し、自動画質調整を終了する。
上述のしきい値Th1、Th2、およびTh3は、ステップS430、S450、およびS460における判定の精度を高くするよう設定されることが好ましい。また、特定の値を初期値として設定し、ユーザがその値を変更できるようにしてもよい。
各シーンに適した処理は、この実施例では、図14に示したように実行される。例えば、画像が人物画像であると判定された場合には、コントラストについてはやや軟調に、明るさについてはやや明るめに、カラーバランスについては標準に、彩度についてはやや低く、シャープネスについてはやや弱めに設定される。また記憶色として肌色が指定されているので、予め格納されている肌色データを用いて肌色補正が実行される。さらに、ノイズ処理はオフされる。このように画質調整処理を実行することにより、画像の雰囲気は柔らかくなり、人物の肌色は好ましい肌色に調整される。但し、画質調整処理については、必ずしも図14の設定に従う必要はなく、別の設定を用いてもよい。また、上記第1実施例においては、画像全体を自動画質調整の処理対象としていたが、この代わりに、被写体領域のみを処理対象としてもよい。あるいは、被写体領域を含む一部の領域のみを処理対象としてもよい。
このように、自動画質調整の第1実施例では、個々の画像データに対して自動的に撮影シーンを選択し、適切な画質処理を行うことができる。その結果、撮影時や印刷時にユーザが手動で煩雑な操作を行う必要がなくなるという利点がある。
図15は、自動画質調整処理の第2実施例における処理ルーチンを示している。また、図16は、第2実施例の処理内容を示している。ステップS400では、第1実施例と同様に、被写体領域510a(図16(A))に関する情報を画像生成履歴情報から取得する。なお、図16(A)の例では、被写体領域510aを矩形としている。ステップS401では、被写体領域の色を解析することによって、被写体領域の色域を決定する。ここで、「被写体領域の色域」とは、被写体領域内で多数を占める画素の色の範囲(すなわち、被写体領域の代表的な色の範囲)を意味している。被写体領域の色域の算出方法としては、例えば、上記第1実施例と同様に、各画素の色をHSI表色系に変換して色相Hに関するヒストグラム(図13(B))を求め、頻度の大きな色域を被写体領域の色域とする方法を利用することができる。あるいは、被写体領域の平均色を算出し、この平均色を中心とする所定の色範囲に含まれる色を被写体領域の色域として設定しても良い。図16(A)の例では人物の顔の中に被写体領域510aが設定されているので、図13(B)に示すような肌色域SRが被写体領域の色域として決定される。なお、被写体領域の色域としては、複数の所定の色域の候補(例えば肌色域SR,緑色域GR,空色域BR)の中から選択されたものを使用してもよく、あるいは、実際の被写体領域の画素の色から算出された代表的な色域を用いてもよい。
なお、以下では、被写体領域の色域内の色を「被写体色」と呼び、被写体色を有する画素を「被写体色画素」と呼ぶ。ステップS402では、被写体領域内に存在する被写体色画素と、これに連続する被写体領域外の被写体色画素とを探索し、これらの複数の被写体色画素で構成される処理対象領域を決定する。図16(B)は、こうして得られた処理対象領域512(ハッチングで示す)を示している。この例では、被写体領域510aの色域は肌色なので、肌色を有する画素が被写体領域510a内から探索される。そして、被写体領域510aの外に存在する被写体色画素のうちで、被写体領域510a内の被写体色画素に連続している画素も、処理対象領域512を構成する画素として抽出される。ここで、「画素が連続する」とは、上下左右のいずれかに隣接していることを意味している。ここで、被写体領域510aが顔よりも大きな場合には、処理対象領域512が被写体領域510aよりも小さくなることに注意すべきである。
なお、処理対象領域512は被写体色画素のみで構成しても良く、あるいは、被写体色画素のみで構成される領域の最も外側の輪郭の内側に含まれる画素をすべて処理対象領域512としてもよい。前者の方法では、例えば、顔の中に存在する黒目の領域は処理対象領域512に含まれないが、後者の方法では黒目の領域も処理対象領域512に含まれる。前者の方法で処理対象領域512を決定すれば、被写体色以外の色を有する画素の色を過度に変更してしまうことを防止できるという利点がある。一方、後者の方法で処理対象領域512を決定すれば、画質調整後においても、処理対象領域512内の画質を調和のとれたものに保つことができるという利点がある。
ステップS403では、こうして決定された処理対象領域512に対して、被写体の色域に適した画質調整が実行される。具体的には、被写体色域が肌色の場合には、人物シーンに適した処理(図12のステップS440の処理)が実行される。また、被写体色域が緑色や空色の場合には、風景シーンに適した処理(図12のステップS470の処理)が実行される。被写体色域がこれら以外の色域である場合には、標準シーンに適した処理(図12のステップS480の処理)が実行される。
このように、第2実施例では、被写体領域の色域を決定し、この色域内の色(被写体色)を有する被写体領域内の画素と、これに連続し被写体色を有する画素とを含む領域を処理対象として画質調整処理を実行するので、被写体領域の色域に適した画質調整を画像の一部についてのみ行うことができる。また、第2実施例では、例えば被写体領域から離れた場所に第2の肌色領域が含まれているときに、この第2の肌色領域の色に影響を受けることなく、被写体領域の色域に応じて被写体領域近傍の画質調整を行うことができるという利点がある。
G.画像データ処理装置を用いる画像出力システムの構成:
図17は、本発明の一実施例としての画像データ処理装置を適用可能な画像出力システムの一例を示す説明図である。画像出力システム10Bは、画像ファイルを生成する画像生成装置としてのデジタルスチルカメラ12と、画像ファイルに基づいた画質調整処理を実行するコンピュータPCと、画像を出力する画像出力装置としてのプリンタ20Bとを備えている。コンピュータPCは、一般的に用いられているタイプのコンピュータであり、画像データ処理装置として機能する。画像出力装置としては、プリンタ20Bの他に、CRTディスプレイ、LCDディスプレイ等のモニタ14B、プロジェクタ等を用いることができる。以下の説明では、プリンタ20Bを画像出力装置として用いるものとする。本実施例では、画質調整部を備える画像データ処理装置と、画像出力部を備える画像出力装置とを、独立に構成している点が、上述の画像出力システム実施例(図1)と異なる。なお、画像データ処理装置としてのコンピュータPCと画像出力部を備えたプリンタとは、広義の「出力装置」と呼ぶことができる。
デジタルスチルカメラ12において生成された画像ファイルは、ケーブルCVを介したり、画像ファイルが格納されたメモリカードMCをコンピュータPCに直接挿入したりすることによって、コンピュータPCに送出される。コンピュータPCは、読み込んだ画像ファイルに基づいた、画像データの画質調整処理を実行する。画質調整処理によって生成された画像データは、ケーブルCVを介してプリンタ20Bに送出され、プリンタ20Bによって出力される。
コンピュータPCは、上述の画質調整処理を実現するプログラムを実行するCPU150と、CPU150の演算結果や画像データ等を一時的に格納するRAM151と、画質調整処理プログラムや、ルックアップテーブルや、絞り値テーブルなどの、画質調整処理に必要なデータを格納するハードディスクドライブ(HDD)152を備えている。CPU150と、RAM151と、HDD152とは、画質調整部として機能する。さらに、コンピュータPCは、メモリカードMCを装着するためのメモリカードスロット153と、デジタルスチルカメラ12等からの接続ケーブルを接続するための入出力端子154とを備えている。
デジタルスチルカメラ12にて生成された画像ファイルGFは、ケーブルを介して、あるいは、メモリカードMCを介してコンピュータPCに提供される。ユーザの操作によって、画像レタッチアプリケーション、または、プリンタドライバといった画像データ処理アプリケーションプログラムが起動されると、CPU150は、読み込んだ画像ファイルGFを処理する画像処理ルーチン(図10)を実行する。また、メモリカードMCのメモリカードスロット153への差し込み、あるいは、入出力端子154に対するケーブルを介したデジタルスチルカメラ12の接続を検知することによって、画像データ処理アプリケーションプログラムが自動的に起動する構成としてもよい。
CPU150により処理された画像データは、画像処理ルーチン(図10)のステップS250にて出力される代わりに、画像出力装置、例えば、プリンタ20Bに送出され、画像データを受け取った画像出力装置が画像の出力を実行する。
この実施例では、コンピュータPCが備える画質調整部を用いて画像処理を行うので、画質調整部を備えていない画像出力装置を用いることが可能である。また、画像出力装置が画質調整部を備えている場合には、コンピュータPCは画像処理を行わずに画像データを画像出力装置に送出し、画像出力装置の画質調整部が画像処理を行う構成としてもよい。
以上、説明したように、上述の各実施例では、自動的に撮影シーンを判別し、その判別に応じて適切な画質調整処理を実行できるので、手軽に高品質な出力結果を得ることができる。
H.変形例:
なお、この発明は上記の実施例に限られるものではなく、その要旨を逸脱しない範囲において種々の形態において実施することが可能であり、例えば、次のような変形も可能である。
H1.変形例1:
上記実施例において、画像ファイルGFが撮影モード情報を含む場合、自動画質処理ルーチンに進む前に撮影モードを判別し、標準シーン以外の撮影モードが選択されている際には自動画質処理を実行しない構成とすることが好ましい。こうすれば、撮影時にユーザが撮影モードを手動で設定した場合に、同様の画質処理を二重に行ってしまうことを防止できるという利点がある。
H2.変形例2:
上記実施例では、被写体領域を含む画像すべてに対して自動画質調整処理を実行する構成となっているが、自動画質調整処理を実行するか否かを、ユーザが選択できる構成としてもよい。
H3.変形例3:
図12〜図16で説明した自動画質調整処理を実行する前に、ホワイトバランスを調整することが好ましい。これにより、光源の色温度の違いによる色相のずれを修正することができるため、図12におけるステップS430、S450、およびS460の判定の精度を上げることができる。
H4.変形例4:
画像ファイルGFが、画像データのガンマ値と色空間情報とを含まない場合には、図11に示す画像処理ルーチンにおける色空間変換処理(ステップS320とステップS330)を省略することができる。図18は、色空間変換処理を省略した場合の画像処理ルーチンを示すフローチャートである。ステップS500にて取り出された画像データは、ステップS510にてYCbCr色空間に基づく画像データからRGB色空間に基づく画像データに変換される。次に、ステップS520にて、ステップS510で得られた画像データを用いた自動画質調整処理が実行される。次に、S530にて、印刷のためのCMYK色変換処理、および、ハーフトーン処理が実行される。
H5.変形例5:
上記各実施例では、色空間の変換を実行した後に自動画質調整処理を実行しているが、図19に示すように、自動画質調整処理(ステップS340)を実行した後に色空間の変換(ステップS320、S330)を実行してもよい。
H6.変形例6:
上記各実施例では、画像出力部としてプリンタを用いているが、プリンタ以外の画像出力部を用いることができる。図18は、画像出力部としてCRTを利用する場合の、画像生成履歴情報に基づく画像処理の処理ルーチンを示すフローチャートである。図11に示したプリンタを画像出力部としたフローチャートとは異なり、CMYK色変換処理とハーフトーン処理が省略されている。また、CRTは、マトリックス演算(S)を実行して得られる画像データのRGB色空間を表現することが可能であるため、色空間変換処理も省略されている。ステップS610で得られるRGB色空間に基づく画像データが、そのRGB色空間の定義領域外にデータを含む場合には、定義領域外のデータがクリッピングされた後、ステップS620が実行される。画像出力部が利用可能な色空間がRGB色空間と異なる場合には、プリンタを用いる場合にCMYK色変換処理を実行するのと同様に、画像出力部が利用可能な色空間への色変換処理を実行し、その結果得られる画像を、画像出力部より出力する。
H7.変形例7:
上記実施例では、画像ファイルGFの具体例としてExif形式のファイルを例にとって説明したが、本発明に係る画像ファイルの形式はこれに限らず、他の任意の形式をとることが可能である。一般に、画像ファイルは、画像生成装置において生成された画像データと、画像データの生成時条件(情報)を記述する画像生成履歴情報GIとを含んでいればよい。このようなファイルであれば、画像生成装置において生成された画像データの画質を、適切に自動調整して出力装置から出力することができる。また、被写体領域は、上述したExif形式のパラメータに限らず、種々の形式のパラメータやデータで表現することができる。例えば、オートフォーカスのフォーカス位置やフォーカス領域を示すパラメータを使用してもよい。また、撮像時にユーザが任意に被写体領域の位置と形状を指定できる場合には、それらを示すパラメータを被写体領域を表すパラメータとして使用してもよい。
H8.変形例8:
各数式におけるマトリックスS、N−1、Mの値は例示に過ぎず、画像ファイルが基づく色空間や、画像出力部が利用可能な色空間等に応じて適宜変更することができる。
H9.変形例9:
上記実施例では、画像生成装置としてデジタルスチルカメラ12を用いて説明したが、この他にもスキャナ、デジタルビデオカメラ等の画像生成装置を用いて画像ファイルを生成することができる。
H10.変形例10:
上記実施例では、画像データGDと画像生成履歴情報GIとが同一の画像ファイルGFに含まれる場合を例にとって説明したが、画像データGDと画像生成履歴情報GIとは、必ずしも同一のファイル内に格納される必要はない。すなわち、画像データGDと画像生成履歴情報GIとが関連づけられていればよく、例えば、画像データGDと画像生成履歴情報GIとを関連付ける関連付けデータを生成し、1または複数の画像データと画像生成履歴情報GIとをそれぞれ独立したファイルに格納し、画像データGDを処理する際に関連付けられた画像生成履歴情報GIを参照してもよい。かかる場合には、画像データGDと画像生成履歴情報GIとが別ファイルに格納されているものの、画像生成履歴情報GIを利用する画像処理の時点では、画像データGDおよび画像生成履歴情報GIとが一体不可分の関係にあり、実質的に同一のファイルに格納されている場合と同様に機能するからである。すなわち、少なくとも画像処理の時点において、画像データGDと画像生成履歴情報GIとが関連付けられている態様は、本実施例における画像ファイルGFに含まれる。さらに、CD−ROM、CD−R、DVD−ROM、DVD−RAM等の光ディスクメディアに格納されている動画像ファイルも含まれる。
【産業上の利用可能性】
この発明は、プリンタ、デジタルカメラ、画像処理機能を有するコンピュータなどに適用可能である。
【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】


【特許請求の範囲】
【請求項1】
画像生成装置で生成された画像データと、画像における被写体領域を示す被写体領域情報を少なくとも含むと共に前記画像データに関連付けられた画像生成履歴情報とを用いて、画像を出力する出力装置であって、
前記被写体領域内の各画素の色相を算出し、特定の色域の色相を持つ画素の割合が第1の所定のしきい値よりも大きい場合には、前記特定の色域によって特定される対象を含む画像に適した画質調整処理を実行する画質調整部と、
前記画質が調整された画像データに応じて画像を出力する画像出力部と、
を備える出力装置。
【請求項2】
請求項1記載の出力装置であって、
前記特定の色域は肌色域であり、前記画質調整処理は人物画像に適した処理である、出力装置。
【請求項3】
請求項2記載の出力装置であって、
前記人物画像に適した画質調整処理は、前記被写体領域を含む一部の領域に対してのみ実行される、出力装置。
【請求項4】
請求項2または3記載の出力装置であって、
前記画質調整部は、前記人物画像に適した画質調整処理が実行されないときに、緑色域の色相を持つ画素の割合が第2の所定のしきい値よりも大きい場合、または、空色域の色相を持つ画素の割合が第3の所定のしきい値よりも大きい場合には、風景画像に適した画質調整処理を実行する、出力装置。
【請求項5】
請求項1記載の出力装置であって、
前記画質調整は、前記画像内の一部の処理対象領域であって、前記被写体領域内に存在し前記特定の色域の色を有する画素を含む処理対象領域に対してのみ実行される、出力装置。
【請求項6】
請求項5記載の出力装置であって、
前記処理対象領域は、前記被写体領域内に存在し前記特定の色域の色を有する第1種の画素と、前記被写体領域外に存在し前記第1種の画素に連続するとともに前記特定の色域の色を有する第2種の画素とを含む、出力装置。
【請求項7】
画像生成装置で生成された画像データと、画像における被写体領域を示す被写体領域情報を少なくとも含むと共に前記画像データに関連付けられた画像生成履歴情報とを用いて、画像データを処理する画像データ処理装置であって、
前記被写体領域内の各画素の色相を算出し、特定の色域の色相を持つ画素の割合が第1の所定のしきい値よりも大きい場合には、前記特定の色域によって特定される対象を含む画像に適した画質調整処理を実行する画質調整部を備える、画像データ処理装置。
【請求項8】
請求項7記載の画像データ処理装置であって、
前記特定の色域は肌色域であり、前記画質調整処理は人物画像に適した処理である、画像データ処理装置。
【請求項9】
請求項8記載の画像データ処理装置であって、
前記人物画像に適した画質調整処理は、前記被写体領域を含む一部の領域に対してのみ実行される、画像データ処理装置。
【請求項10】
請求項8または9記載の画像データ処理装置であって、
前記画質調整部は、前記人物画像に適した画質調整処理が実行されないときに、緑色域の色相を持つ画素の割合が第2の所定のしきい値よりも大きい場合、または、空色域の色相を持つ画素の割合が第3の所定のしきい値よりも大きい場合には、風景画像に適した画質調整処理を実行する、画像データ処理装置。
【請求項11】
請求項7記載の画像データ処理装置であって、
前記画質調整は、前記画像内の一部の処理対象領域であって、前記被写体領域内に存在し前記特定の色域の色を有する画素を含む処理対象領域に対してのみ実行される、画像データ処理装置。
【請求項12】
請求項11記載の画像データ処理装置であって、
前記処理対象領域は、前記被写体領域内に存在し前記特定の色域の色を有する第1種の画素と、前記被写体領域外に存在し前記第1種の画素に連続するとともに前記特定の色域の色を有する第2種の画素とを含む、画像データ処理装置。
【請求項13】
画像生成装置で生成された画像データと、画像における被写体領域を示す被写体領域情報を少なくとも含むと共に前記画像データに関連付けられた画像生成履歴情報とを用いて、画像データの画質を調整する画質調整方法であって、
前記被写体領域内の各画素の色相を算出し、特定の色域の色相を持つ画素の割合が第1の所定のしきい値よりも大きい場合には、前記特定の色域によって特定される対象を含む画像に適した画質調整処理を実行する工程を含む、画像調整方法。
【請求項14】
請求項13記載の画質調整方法であって、
前記特定の色域は肌色域であり、前記画質調整処理は人物画像に適した処理である、画質調整方法。
【請求項15】
請求項14記載の画質調整方法であって、
前記人物画像に適した画質調整処理は、前記被写体領域を含む一部の領域に対してのみ実行される、画質調整方法。
【請求項16】
請求項13または14記載の画質調整方法であって、
前記画質調整工程は、前記人物画像に適した画質調整処理が実行されないときに、緑色域の色相を持つ画素の割合が第2の所定のしきい値よりも大きい場合、または、空色域の色相を持つ画素の割合が第3の所定のしきい値よりも大きい場合には、風景画像に適した画質調整処理を実行する工程を含む、画質調整方法。
【請求項17】
請求項13記載の画質調整方法であって、
前記画質調整は、前記画像内の一部の処理対象領域であって、前記被写体領域内に存在し前記特定の色域の色を有する画素を含む処理対象領域に対してのみ実行される、画質調整方法。
【請求項18】
請求項17記載の画質調整方法であって、
前記処理対象領域は、前記被写体領域内に存在し前記特定の色域の色を有する第1種の画素と、前記被写体領域外に存在し前記第1種の画素に連続するとともに前記特定の色域の色を有する第2種の画素とを含む、画質調整方法。
【請求項19】
画像生成装置で生成された画像データと、画像における被写体領域を示す被写体領域情報を少なくとも含むと共に前記画像データに関連付けられた画像生成履歴情報とを用いた画像データの処理をコンピュータに実行させるためのコンピュータプログラムであって、
前記被写体領域内の各画素の色相を算出し、特定の色域の色相を持つ画素の割合が第1の所定のしきい値よりも大きい場合には、前記特定の色域によって特定される対象を含む画像に適した画質調整処理を、前記コンピュータに実行させることを特徴とする、コンピュータプログラム。
【請求項20】
請求項19記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。

【国際公開番号】WO2004/030373
【国際公開日】平成16年4月8日(2004.4.8)
【発行日】平成18年1月26日(2006.1.26)
【国際特許分類】
【出願番号】特願2004−539547(P2004−539547)
【国際出願番号】PCT/JP2003/012298
【国際出願日】平成15年9月25日(2003.9.25)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】