説明

赤目補正装置、画像補正システム、画像補正装置、並びにプログラム

【課題】複雑な処理を行うことなくユーザーの簡単な操作により赤目補正を行うことができる技術を提供すること。
【解決手段】画像データの赤目となってしまった被写体人物の目A1を補正するために、瞳領域BEと周辺領域B12からなるカラーコンタクトテンプレートB1を、目の形テンプレートC3で切り抜き、ユーザーが位置合わせをして、被写体人物の目A1と切り抜かれたカラーコンタクトテンプレートB1を重畳処理することにより、赤目補正された目D1を得る。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理技術に関するもので、特に赤目補正装置、画像補正システム、画像補正装置、並びにプログラムに関する。
【背景技術】
【0002】
デジタルカメラや画像処理の分野において赤目補正の技術は古くから知られている。赤目補正の方法としては、撮影時にデジタルカメラ側で行うものと、撮影後に画像処理によって行うものに大別されるが、すでに存在している写真の赤目補正を行う場合は後者の画像処理により行う方法を採用することになる。
【0003】
画像処理によって赤目補正を行う先行文献としては、例えば赤目補正を適切に行うために、顔領域における2つの目領域の特徴量が類似していると判定された場合、特徴量を軸とする空間における2つの目領域の特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成し、分離曲線に基づいて、2個の目領域における赤目領域をそれぞれ特定し、特定された赤目領域に対して赤目を修正する補正を行うものがある(特許文献1参照)。
【0004】
しかしながら、特許文献1記載の技術では、顔領域や目領域を検出し、且つ赤目で撮影されていることの検出をしなければならず、処理が複雑になるという課題があった。
【0005】
他方、赤目画素か否かの判定を行うことなく、結果的に赤目画素が適切に補正され赤目画素ではない画素に不要な補正が施されないようにする技術も考えられている。すなわち、補正領域に含まれる各画素について、画素の彩度に応じた補正度合に基づいて色情報を補正するもので、赤目に該当する画素は彩度が高くなる傾向があるため、このように画素の彩度に応じた補正度合で補正を行うことで、結果的に、赤目に該当する画素について適切に色情報を低下させる赤目補正が実行され、赤目に該当しない画素については赤目補正が(殆ど)実行されないようにしたものである(特許文献2参照)。
【0006】
しかしながら、特許文献2記載の技術では、補正領域に含まれる各画素について、画素の彩度に応じた補正度合に基づいた演算を行わなければならず、やはり処理が複雑になるという課題があった。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2011−120126号公報
【特許文献2】特開2010−246052号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は上記事情に鑑みてなされたもので、ユーザーの簡単な操作により赤目補正を行うことができる赤目補正装置、画像補正システム、画像補正装置、並びにプログラムを提供することを目的とする。
【0009】
また、本発明の他の目的は、ユーザーの簡単な操作によりカラーコンタクトレンズを装着したような効果を実現する技術を提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明は、上記事情に鑑みてなされたもので、被写体として被写体人物の目が写っている画像データを記憶する画像データ記憶手段と、人物の目の瞳に類似した形の瞳領域と周辺領域を含み、前記瞳領域は黒色であり、前記周辺領域が前記黒色以外の所定の色で構成されるテンプレートを記憶するテンプレート記憶手段と、前記画像データ記憶手段に記憶されている画像データを表示する表示手段と、前記表示手段に表示されている画像データの被写体人物の目の位置に前記テンプレートを重量する重畳手段と、を備えたことを特徴とする赤目補正装置を提供するものである。
【発明の効果】
【0011】
複雑な処理を行うことなくユーザーの簡単な操作により赤目補正を行うことができる。
【図面の簡単な説明】
【0012】
【図1】本発明の実施形態による赤目補正装置の全体構成を示す図。
【図2】同実施形態における被写体の人物の目にカラーコンタクトテンプレートを重畳する様子を説明するための図。
【図3】同実施形態における目の形テンプレートを示す図。
【図4】同実施形態における赤目補正処理を説明するためのフローチャート。
【図5】変形例におけるカラーコンタクトテンプレートを示す図。
【発明を実施するための形態】
【0013】
図1は本発明の実施形態による赤目補正装置の全体構成を示す図である。この赤目補正装置は情報端末装置、フォトフレーム、インターネット上のサーバー等に設けられる。
【0014】
10は全体を制御するCPUであり、制御プログラム11やプログラムを実行するためのワークメモリ12、インターネット22と接続するための通信制御部13等を含んでいる。
画像記憶部14はデジタル写真等の画像データを記憶するメモリであり、赤目補正の対象となる画像データはここに記憶される。
【0015】
テンプレート記憶部15には、後述する図2、図3及び図5に示すような複数のテンプレートが記憶されている。
15AはカラーコンタクトテンプレートB1、B2、・・・を記憶するエリアであり、15Bは目の形テンプレートC1、C2、・・・を記憶するエリアである。
【0016】
16は表示部であり、前記画像記憶部14に記憶されている画像データを表示するとともに、操作部18の操作により、前記テンプレートの位置合わせ状態を表示する。
20はテンプレートと被写体の重畳処理を行う重畳部であり、実際はCPU10の制御プログラム11の一部である。
【0017】
CPU10はインターネット22を介して他の情報端末装置、例えばパーソナルコンピュータ(PC)24と接続される。
PC24は前記表示部16に相当する表示部16A、前記操作部18に相当する操作部18Aを有している。
PC24の操作により画像記憶部14に記憶されている画像データの赤目補正処理を行うことができるようになっている。
【0018】
次に、図2を参照して本実施形態の赤目補正処理の原理を説明する。
図2のA1は画像記憶部14に記憶された画像データの被写体人物の赤目になっている目の部分を示す。
【0019】
図2のB1、B2はテンプレート記憶部15に記憶されているカラーコンタクトテンプレートの例を示す。カラーコンタクトテンプレートは、瞳の部分に相当する瞳領域BE、BEと、その周辺領域B1a、B2aから構成されている。瞳領域BE、BEの色は基本的に黒であるが、厳密なRGB成分がゼロの黒という意味ではなく、赤目を補正するための黒目の色という意味であり、茶色味を帯びていたり青みを帯びていたりしても構わない。またより瞳に近く見えるような濃淡や模様がつけられていてもよい。また、周辺領域の色を透明とすれば被写体人物の目の色をそのまま採用することができる。
【0020】
図3のC1〜C4は同じくテンプレート記憶部15に記憶されている目の形テンプレートの例を示す。の被写体人物の目の形に近い形状を選択するためのものである。
【0021】
図2のD1は、カラーコンタクトテンプレートB1を選択して、目の形テンプレートC3の形状に切抜き、の被写体人物の目A1に重畳したものである。この動作については図3のフローチャートを参照して後述する。
同様に図2のD2は、カラーコンタクトテンプレートB2を選択して、目の形テンプレートC3の形状に切抜き、被写体人物の目A1に重畳したものである。
【0022】
続いて、図3のフローチャートを参照して赤目補正の動作について説明する。このフローチャートは操作部18からのユーザーの操作信号を受けながら、CPU10が実行するプログラムの流れを示すものである。
【0023】
まず、ユーザーは操作部18の操作により画像記憶部14に記憶されている画像データの中から表示部16に表示させながら赤目補正したい画像データを選択する(ステップS1)。
そして選択画像を決定したらステップS3へ進み、決定するまで繰り返す(ステップS2)。
【0024】
ステップS3では、ユーザーは操作部18の操作によりテンプレート記憶部15に記憶されている複数のカラーコンタクトテンプレートB1、B2、・・・の中から適切なものを表示部16に表示させながら選択する。そして同様に決定したらステップS5に進み、決定するまで繰り返す(ステップS4)。ここは単純に赤目を黒目にするためのカラーコンタクトテンプレートを一種類だけ用意しておいてもよい。
【0025】
ステップS5では、ユーザーは操作部18の操作により目の形テンプレートC1、C2、・・・の中から表示部16に表示させながら画像データの被写体人物の目の形に近いものを選択する。そして同様に決定したらステップS7に進み、決定するまで繰り返す(ステップS6)。
【0026】
ステップS7は被写体人物の目の位置とカラーコンタクトテンプレートの位置合わせを行うとともに、両者の大きさを合わせるためのサイズ調整を行うステップである。これはユーザーのマウス操作により実施する。
位置とサイズを決定したらステップS9に進み、決定するまで繰り返す(ステップS8)。
ステップS9では、CPU10の制御プログラム11により決定したカラーコンタクトテンプレートを決定した目の形テンプレートの形状に切り抜く。
【0027】
そしてステップS10でCPU10の重畳処理部20は、切り抜かれたカラーコンタクトテンプレートを画像データの被写体人物の目に重畳処理を行う。これは、重なった部分の被写体人物の画素をカラーコンタクトテンプレートの画素におきかえればよい。この状態が図2に示すD1、D2である。この画素の置き換えは、被写体人物の目A1の画素をすべてカラーコンタクトテンプレートB1の画素に置き換えてもよいし、加算処理を行ってもよい。
【0028】
このようにして完成させた新たな画像データが赤目補正された画像データであるので、新しいファイル名を付けて画像記憶部14に記憶する(ステップS11)。
【0029】
図5は変形例を示すものであり、図2におけるカラーコンタクトテンプレートB1、B2、・・・を単に赤目を黒くするのではなく、カラーコンタクトレンズをつけた効果を得るためにカラーコンタクトテンプレートB3、B4、B5、B6、B7、・・・の周辺領域B3a、B4a、B5a、B6a、B7a・・・を様々なカラーコンタクトレンズ風の色合いで形成したものである。
【0030】
上記実施形態においては、単体の赤目補正装置について説明したが、インターネット22を介してパーソナルコンピュータ(PC)24等の他の情報端末装置と接続し、PC24の表示部16A及び操作部18Aを用いてサーバーのCPU10の制御により、図3に示したフローチャートの動作を実現させることができる。
その際、ユーザーは画像データをサーバーへアップロードし、画像記憶部14に記憶させる。そして赤目補正処理をさせた後に、自分のPC24へダウンロードすることができる。
【0031】
また、上記実施形態においては、一方の目を例にとって説明したが、両目とも同様な処理をすることができ、更に目の形テンプレートに右目用と左目用を用意しておいてもよい。
更にまた、目の形を被写体人物の目の形に合わせるために目の形テンプレートを用意したが、ユーザーがマウス操作で目の形を丸い形から細い形まで変形できるようにしてもよい。
【0032】
以下に、本発明の特許請求の範囲に記載された発明を付記する。
[請求項1]
被写体として被写体人物の目が写っている画像データを記憶する画像データ記憶手段と、
人物の目の瞳に類似した形の瞳領域と周辺領域を含み、前記瞳領域は黒色であり、前記周辺領域が前記黒色以外の所定の色で構成されるテンプレートを記憶するテンプレート記憶手段と、
前記画像データ記憶手段に記憶されている画像データを表示する表示手段と、
前記表示手段に表示されている画像データの被写体人物の目の位置に前記テンプレートを重量する重畳手段と、
を備えたことを特徴とする赤目補正装置。
[請求項2]
前記重畳手段は、手動により前記テンプレートの位置合わせをさせるための位置指定手段を含むことを特徴とする請求項1記載の赤目補正装置。
[請求項3]
前記テンプレート記憶手段は、複数の目の形に対応した複数の形状の目の形テンプレートを含むことを特徴とする請求項1記載の赤目補正装置。
[請求項4]
前記重畳手段は、前記テンプレートを前記目の形テンプレートで切り抜く手段を含むことを特徴とする請求項3記載の赤目補正装置。
[請求項5]
サーバーを含み端末とインターネットを介して接続可能な画像補正システムであって、
前記サーバーは、
被写体として被写体人物の目が写っている画像データを記憶する画像データ記憶手段と、
人物の目の瞳に類似した形の瞳領域と周辺領域を含み、前記瞳領域は黒色であり、周辺領域が前記黒色以外の所定の色で構成されるテンプレートを記憶するテンプレート記憶手段と、
前記画像データを前記端末に表示させる表示制御手段と、
前記端末に表示されている画像データの被写体人物の目の位置に前記テンプレートを重量させる重畳手段と、
を含むことを特徴とする画像補正システム。
[請求項6]
被写体として被写体人物の目が写っている画像データを記憶する画像データ記憶手段と、
コンタクトレンズに類似し且つ人物の瞳に類似した形の瞳領域と周辺領域を含み、前記瞳領域は第1の色であり、前記周辺領域が第2の色で構成されるテンプレートを記憶するテンプレート記憶手段と、
前記画像データ記憶手段に記憶されている画像データを表示する表示手段と、
前記表示手段に表示されている画像データの被写体人物の目の位置に前記テンプレートを重量する重畳手段と、
を備えたことを特徴とする画像補正装置。
[請求項7]
前記テンプレートは複数種類用意されており、前記重畳手段は該複数のテンプレートから1つを選択して前記画像データの被写体人物の目の位置に当該選択されたテンプレートを重量する選択手段を含むことを特徴とする請求項6記載の画像補正装置。
[請求項8]
前記重畳手段は、前記テンプレートを人物の目の形に切り抜く切抜き手段を含むことを特徴とする請求項6記載の画像補正装置。
[請求項9]
サーバーを含み端末とインターネットを介して接続可能な画像補正システムであって、
前記サーバーは、
被写体として被写体人物の目が写っている画像データを記憶する画像データ記憶手段と、
コンタクトレンズに類似し且つ人物の瞳に類似した形の瞳領域と周辺領域を含み、前記瞳領域は第1の色であり、前記周辺領域が第2の色で構成されるテンプレートを記憶するテンプレート記憶手段と、
前記画像データ記憶手段に記憶されている画像データを前記端末に表示させる表示制御手段と、
前記端末に表示されている画像データの被写体人物の目の位置に前記テンプレートを重量させる重畳手段と、
を含むことを特徴とする画像補正システム。
[請求項10]
被写体として被写体人物の目が写っている画像データを記憶する画像データ記憶部を備えたコンピュータを、
人物の目の瞳に類似した形の瞳領域と周辺領域を含み、前記瞳領域は黒色であり、周辺領域が前記黒色以外の所定の色で構成されるテンプレートを記憶するテンプレート記憶手段、
前記画像データ記憶手段に記憶されている画像データを表示させる表示制御手段、
前記表示されている画像データの被写体人物の目の位置に前記テンプレートを重量する重畳手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【0033】
10 CPU
11 制御プログラム
12 ワークメモリ
13 通信制御部
14 画像記憶部
15 テンプレート記憶部
15A カラーコンタクトテンプレート記憶エリア
15B 目の形テンプレート記憶エリア
16 表示部
16A 表示部
18 操作部
18A 操作部
20 重畳処理部
22 インターネット
24 パーソナルコンピュータ
A1 被写体人物の目
B1、B2、・・・ カラーコンタクトテンプレート
BE カラーコンタクトテンプレートの瞳領域
B1a、B2a、・・・ カラーコンタクトテンプレートの周辺領域
C1、C2、・・・ 目の形テンプレート
D1、D2 補正された目

【特許請求の範囲】
【請求項1】
被写体として被写体人物の目が写っている画像データを記憶する画像データ記憶手段と、
人物の目の瞳に類似した形の瞳領域と周辺領域を含み、前記瞳領域は黒色であり、前記周辺領域が前記黒色以外の所定の色で構成されるテンプレートを記憶するテンプレート記憶手段と、
前記画像データ記憶手段に記憶されている画像データを表示する表示手段と、
前記表示手段に表示されている画像データの被写体人物の目の位置に前記テンプレートを重量する重畳手段と、
を備えたことを特徴とする赤目補正装置。
【請求項2】
前記重畳手段は、手動により前記テンプレートの位置合わせをさせるための位置指定手段を含むことを特徴とする請求項1記載の赤目補正装置。
【請求項3】
前記テンプレート記憶手段は、複数の目の形に対応した複数の形状の目の形テンプレートを含むことを特徴とする請求項1記載の赤目補正装置。
【請求項4】
前記重畳手段は、前記テンプレートを前記目の形テンプレートで切り抜く手段を含むことを特徴とする請求項3記載の赤目補正装置。
【請求項5】
サーバーを含み端末とインターネットを介して接続可能な画像補正システムであって、
前記サーバーは、
被写体として被写体人物の目が写っている画像データを記憶する画像データ記憶手段と、
人物の目の瞳に類似した形の瞳領域と周辺領域を含み、前記瞳領域は黒色であり、周辺領域が前記黒色以外の所定の色で構成されるテンプレートを記憶するテンプレート記憶手段と、
前記画像データを前記端末に表示させる表示制御手段と、
前記端末に表示されている画像データの被写体人物の目の位置に前記テンプレートを重量させる重畳手段と、
を含むことを特徴とする画像補正システム。
【請求項6】
被写体として被写体人物の目が写っている画像データを記憶する画像データ記憶手段と、
コンタクトレンズに類似し且つ人物の瞳に類似した形の瞳領域と周辺領域を含み、前記瞳領域は第1の色であり、前記周辺領域が第2の色で構成されるテンプレートを記憶するテンプレート記憶手段と、
前記画像データ記憶手段に記憶されている画像データを表示する表示手段と、
前記表示手段に表示されている画像データの被写体人物の目の位置に前記テンプレートを重量する重畳手段と、
を備えたことを特徴とする画像補正装置。
【請求項7】
前記テンプレートは複数種類用意されており、前記重畳手段は該複数のテンプレートから1つを選択して前記画像データの被写体人物の目の位置に当該選択されたテンプレートを重量する選択手段を含むことを特徴とする請求項6記載の画像補正装置。
【請求項8】
前記重畳手段は、前記テンプレートを人物の目の形に切り抜く切抜き手段を含むことを特徴とする請求項6記載の画像補正装置。
【請求項9】
サーバーを含み端末とインターネットを介して接続可能な画像補正システムであって、
前記サーバーは、
被写体として被写体人物の目が写っている画像データを記憶する画像データ記憶手段と、
コンタクトレンズに類似し且つ人物の瞳に類似した形の瞳領域と周辺領域を含み、前記瞳領域は第1の色であり、前記周辺領域が第2の色で構成されるテンプレートを記憶するテンプレート記憶手段と、
前記画像データ記憶手段に記憶されている画像データを前記端末に表示させる表示制御手段と、
前記端末に表示されている画像データの被写体人物の目の位置に前記テンプレートを重量させる重畳手段と、
を含むことを特徴とする画像補正システム。
【請求項10】
被写体として被写体人物の目が写っている画像データを記憶する画像データ記憶部を備えたコンピュータを、
人物の目の瞳に類似した形の瞳領域と周辺領域を含み、前記瞳領域は黒色であり、周辺領域が前記黒色以外の所定の色で構成されるテンプレートを記憶するテンプレート記憶手段、
前記画像データ記憶手段に記憶されている画像データを表示させる表示制御手段、
前記表示されている画像データの被写体人物の目の位置に前記テンプレートを重量する重畳手段、
として機能させることを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2013−61693(P2013−61693A)
【公開日】平成25年4月4日(2013.4.4)
【国際特許分類】
【出願番号】特願2011−197787(P2011−197787)
【出願日】平成23年9月12日(2011.9.12)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】