オブジェクト領域の抽出システムおよび方法
【課題】ホワイトバランスにロバストでかつリアルタイム処理ができるオブジェクト領域の抽出システムおよび抽出方法を提供する。
【解決手段】オブジェクト領域の抽出システム１は、オブジェクトのカラー画像を取得するカラー画像取得手段２と、カラー画像から色度成分ヒストグラムおよび色相ヒストグラムを用いて第１のオブジェクト領域を抽出する第１のオブジェクト領域抽出手段３１と、彩度ヒストグラムを用いて第２のオブジェクト領域を抽出する第２のオブジェクト領域抽出手段３２と、輝度ヒストグラムを用いて第３のオブジェクト領域を抽出する第３のオブジェクト領域抽出手段３３と、第１ないし第３のオブジェクト領域との重複領域をオブジェクト領域として求めるオブジェクト領域合成手段３４とを備える。
【解決手段】オブジェクト領域の抽出システム１は、オブジェクトのカラー画像を取得するカラー画像取得手段２と、カラー画像から色度成分ヒストグラムおよび色相ヒストグラムを用いて第１のオブジェクト領域を抽出する第１のオブジェクト領域抽出手段３１と、彩度ヒストグラムを用いて第２のオブジェクト領域を抽出する第２のオブジェクト領域抽出手段３２と、輝度ヒストグラムを用いて第３のオブジェクト領域を抽出する第３のオブジェクト領域抽出手段３３と、第１ないし第３のオブジェクト領域との重複領域をオブジェクト領域として求めるオブジェクト領域合成手段３４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オブジェクト領域の抽出システムおよび方法に関する。詳しくは、カラー画像中から肌領域等のオブジェクト領域を抽出するに際し、ホワイトバランスの変化にロバストな抽出システムおよび抽出方法に関する。
【背景技術】
【０００２】
近年、パーソナルコンピュータ（ＰＣ）によるビジュアルコミュニケーションが一般家庭でも手軽に導入できるようになり、普及し始めている。例えば、カラー画像データ中の連続する肌色領域の面積を求め、それぞれの肌色領域について、肌色総画素数、縦横方向の幅などの特徴を考慮して顔領域を求める方法が提案されている。また、発明者らは、画像中から人物のみを抜き出し、背景を予め用意した画像に差し替える画像処理技術の要素技術として、Ｌ＊ａ＊ｂ＊色空間の知覚色度ａ＊ヒストグラム、色相ｈａｂヒストグラムを用いて、照明の影響にロバスト（安定）な人物の肌領域を抽出する方法を提案した。また、画像情報のあいまいさ、口唇輪郭のあいまいさを考慮し、ファジィ推論処理を用いて、テンプレート（データベースに蓄積された参照用画像情報）を使用せずに、人物の口唇領域および肌領域を抽出する方法を提案した。（特許文献１、非特許文献１〜４参照）
【０００３】
【特許文献１】特開２０００−１８７７２１号公報（段落００１６〜００６０、図１〜図１０）
【非特許文献１】佐井高、西田眞、景山陽一、大瀧健太、「色彩情報を用いた顔領域抽出に関する検討」、情報処理学会全国大会、５Ｐ−１（２００７）．
【非特許文献２】白澤洋一、大瀧健太、「色差に着目した口唇追跡に関する検討」、電子情報通信学会総合大会、Ｄ−１２−８９（２００７）．
【非特許文献３】白澤洋一、西田眞、西健治、「色彩情報を用いたファジィ推論による口唇形状抽出に関する検討」、電気学会論文誌 Ｃ，Ｖｏｌ．１２５−Ｃ，Ｎｏ．９，ｐｐ．１４３０−１４３７．
【非特許文献４】白澤洋一、西田眞、栗栖怜史、「ズームと顔の向き変化にロバストな口唇位置の推定」、映像情報メディア学会誌，Ｖｏｌ．５９，Ｎｏ．１２，ｐｐ．１６１６−１８２１．
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、一般家庭のＰＣ環境で身近なカメラデバイスであるデジタルカメラなどではホワイトバランスの変動が大きい。また、従来、固定閾値による肌抽出法が報告されているものの、ホワイトバランスへの対応は困難であった。また、従来はテンプレートを用いた処理が主流であり、リアルタイムの処理が困難であった。
【０００５】
本発明は、ホワイトバランスにロバストでかつリアルタイム処理ができるオブジェクト領域の抽出システムおよび抽出方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の第１の態様に係るオブジェクト領域の抽出システム１は、例えば図１に示すように、オブジェクトのカラー画像を取得するカラー画像取得手段２と、カラー画像から色度成分ヒストグラムおよび色相ヒストグラムを用いて第１のオブジェクト領域を抽出する第１のオブジェクト領域抽出手段３１と、カラー画像から彩度ヒストグラムを用いて第２のオブジェクト領域を抽出する第２のオブジェクト領域抽出手段３２と、カラー画像から輝度ヒストグラムを用いて第３のオブジェクト領域を抽出する第３のオブジェクト領域抽出手段３３と、第１のオブジェクト領域と第２のオブジェクト領域と第３のオブジェクト領域との重複領域をオブジェクト領域として求めるオブジェクト領域合成手段３４とを備える。
【０００７】
ここにおいて、色度成分ヒストグラム、色相ヒストグラム、彩度ヒストグラム、輝度ヒストグラムはいずれかの色空間におけるヒストグラムが使用される。色空間として、例えば、ＨＳＶ色空間（色相ｈｕｅ、彩度ｓａｔｕｒａｔｉｏｎ ｖａｌｕｅ、明度ｖａｌｕｅを指標とする）、ＨＬＳ色空間（指標に輝度ｌｕｍｉｎａｎｃｅを含む）の他に、均等色空間（Ｕｎｉｆｏｒｍ Ｃｏｌｏｒ Ｓｐａｃｅ：ＵＣＳ、人間の知覚上での差異に主眼を置いた色空間で、ＣＩＥ（国際照明委員会）が定める表色系であり、Ｌ＊ａ＊ｂ＊色空間、Ｌ＊ｕ＊ｖ＊色空間が含まれる）を使用できる。色相ヒストグラム、彩度ヒストグラム、輝度ヒストグラムはＨＳＶ色空間、ＨＬＳ色空間、Ｌ＊ａ＊ｂ＊色空間、Ｌ＊ｕ＊ｖ＊色空間の特徴量である。ただし、Ｌ＊ａ＊ｂ＊色空間、Ｌ＊ｕ＊ｖ＊色空間の特徴量であるが、色度成分ヒストグラムはＨＳＶ色空間、ＨＬＳ色空間の特徴量ではない。したがって、Ｌ＊ａ＊ｂ＊色空間、Ｌ＊ｕ＊ｖ＊色空間など１つの色空間における色相ヒストグラム、知覚色度ヒストグラム、彩度ヒストグラム、輝度ヒストグラムの４ヒストグラムを用いても良いが、ＨＬＳ色空間、ＨＳＶ色空間には色度成分ヒストグラムがないので、ＨＬＳ色空間またはＨＳＶ色空間の彩度ヒストグラムと輝度ヒストグラムを用い、Ｌ＊ａ＊ｂ＊色空間またはＬ＊ｕ＊ｖ＊色空間の色相ヒストグラムと色度成分ヒストグラムを用いるなど複数の色空間を併わせて用いても良い。
【０００８】
Ｌ＊ａ＊ｂ＊色空間は、ｚ方向を輝度Ｌ＊、ｘ軸を赤味−緑味に係る知覚色度ａ＊、ｙ軸を黄味−青味に係る知覚色度ｂ＊、円周方向を色相（メトリック色相角）ｈａｂとする表色系である。ｚ軸には無彩色が配される。また、Ｌ＊ｕ＊ｖ＊色空間は知覚色度ｕ＊、ｖ＊を用い、波長間隔の均等性が考慮された表色系なので、特定の波長方向をｘ方向に採用すれば、当該波長に対する色味の強度を表現可能である。また、知覚色度は等色差性を有する色度成分（ｃｈｒｏｍｉｎａｎｃｅ）といえ、色度成分として知覚色度を用いても良い。また、知覚色度ヒストグラムとは、特定の色相に関する知覚色度（色味）の強度を示すヒストグラムをいい、オブジェクトが肌の場合には赤味の知覚強度を示すａ＊ヒストグラムを使用すると好適である。知覚色度は色相と彩度に依存するが、２つの知覚色度（例えばａ＊とｂ＊）をｘｙ軸とするｘ座標値で表される。また、オブジェクトに応じて青味の知覚強度を示すヒストグラム、黄味の知覚強度を示すヒストグラム、緑味の知覚強度を示すヒストグラムなどを適宜選択可能である。また、輝度はＲＧＢに重み付けをした明度といえ（人間の目からみた明るさに近いといわれている）、輝度ヒストグラムに代えて明度ヒストグラムを用いても良い。
【０００９】
このように構成すると、第１ないし第３のオブジェクト領域との重複領域をオブジェクト領域として求めるためホワイトバランスにロバストであり、また、テンプレートを用いなくても良いのでリアルタイム処理ができるオブジェクト領域の抽出システムを提供できる。
【００１０】
また、本発明の第２の態様に係るオブジェクト領域の抽出システムは、第１の態様において、オブジェクトが人物の肌である。このように構成すると、肌領域は撮影画像を含むカラー画像に多く使用され、かつホワイトバランスに強く影響を受けるので、ホワイトバランスにロバストな第１の態様を適用すると実用的である。
【００１１】
また、本発明の第３の態様に係るオブジェクト領域の抽出システムは、第１または第２の態様において、色度成分ヒストグラムがとしてＬ＊ａ＊ｂ＊色空間におけるａ＊ヒストグラムを、色相ヒストグラムとしてＬ＊ａ＊ｂ＊色空間におけるｈａｂヒストグラムを用いる。このように構成すると、Ｌ＊ａ＊ｂ＊色空間は人物の肌領域と口唇領域を共に抽出する場合に照明の影響に対してロバストなので、人物の肌領域の抽出に好適である。
【００１２】
また、本発明の第４の態様に係るオブジェクト領域の抽出システムは、第１ないし第３のいずれかの態様において、第１のオブジェクト領域の抽出にファジィ推論を用いる。このように構成すると、撮影環境の変化に伴う色味のあいまい性に自動的に対応できるので、第１のオブジェクト領域の抽出に効率的である。
【００１３】
また、本発明の第５の態様に係るオブジェクト領域の抽出システムは、第１ないし第４のいずれかの態様において、オブジェクトに対する色度成分ヒストグラム、色相ヒストグラム、彩度ヒストグラムおよび輝度ヒストグラムを記憶する記憶手段４を有する。このように構成すると、計測された画素の色彩を記憶手段４に記憶されたヒストグラムと対比でき、第１ないし第３のオブジェクト領域の抽出に効率的である。
【００１４】
また、本発明の第６の態様に係るオブジェクト領域の抽出システムは、第５の態様において、記憶手段４は、彩度ヒストグラムおよび輝度ヒストグラムを色温度と関連付けて記憶する。このように構成すると、ホワイトバランスの変化に効率的に対処できる。
【００１５】
上記課題を解決するために、本発明の第７の態様に係るオブジェクト領域の抽出方法は、例えば図２に示すように、オブジェクトのカラー画像を取得するカラー画像取得工程（Ｓ０１０）と、カラー画像から色度成分ヒストグラムおよび色相ヒストグラムを用いて第１のオブジェクト領域を抽出する第１のオブジェクト領域抽出工程（Ｓ０３０）と、カラー画像から彩度ヒストグラムを用いて第２のオブジェクト領域を抽出する第２のオブジェクト領域抽出工程（Ｓ０４０）と、カラー画像から輝度ヒストグラムを用いて第３のオブジェクト領域を抽出する第３のオブジェクト領域抽出工程（Ｓ０５０）と、第１のオブジェクト領域と第２のオブジェクト領域と第３のオブジェクト領域との重複領域をオブジェクト領域として求めるオブジェクト領域合成工程（Ｓ０６０）とを備える。
【００１６】
ここにおいて、工程順序は適宜変更可能である。例えば、第１ないし第３のオブジェクト領域抽出工程は、どのような順序で行なっても良く、併行して行なっても良い。このように構成すると、ホワイトバランスにロバストでかつリアルタイム処理ができるオブジェクト領域の抽出システムおよび抽出方法を提供できる。
【００１７】
また、本発明の第８の態様に係るプログラムは、第７の態様におけるオブジェクト領域の抽出方法をコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１８】
本発明によれば、ホワイトバランスにロバストでかつリアルタイム処理ができるオブジェクト領域の抽出システムおよび抽出方法を提供できる。
【発明を実施するための最良の形態】
【００１９】
以下に、図面を参照して本発明の実施の形態について説明する。
【００２０】
［第１の実施の形態］
第１の実施の形態では、オブジェクトが人物の肌、特に顔部分の肌であり、色度成分ヒストグラムがＬ＊ａ＊ｂ＊色空間における知覚色度ａ＊ヒストグラム、色相ヒストグラムがＬ＊ａ＊ｂ＊色空間におけるメトリック色相角ｈａｂヒストグラムである例について説明する。
【００２１】
［システム構成］
図１にオブジェクト領域抽出システムの構成例を示す。図１において、１はオブジェクト領域抽出システムであり、例えば、パーソナルコンピュータ（ＰＣ）にプログラムをインストールするなどにより構成可能である。本実施の形態では、オブジェクトとして人物の肌を対象とし、色度成分ヒストグラムとしてＬ＊ａ＊ｂ＊色空間における知覚色度ａ＊ヒストグラムを、色相ヒストグラムとしてＬ＊ａ＊ｂ＊色空間におけるメトリック色相角ｈａｂヒストグラムを用いる例について説明する。２はオブジェクトのカラー画像を取得するカラー画像取得手段である。例えば、ＣＣＤカメラなどのデジタルカメラ、その他カラー画像を得られるカメラで撮影し、これをデジタル情報としてカラー画像取得手段２により取得する。カラー画像取得手段２はこのようなカメラを含んでも良く、カメラを含まず、他のカメラで撮影した画像を取得するものでも良い。
【００２２】
３はオブジェクト領域抽出手段であり、第１ないし第３のオブジェクト領域抽出手段３１〜３３、オブジェクト領域合成手段３４および部品領域抽出手段３５を有する。第１のオブジェクト領域抽出手段３１は、カラー画像取得手段２で取得したカラー画像から知覚色度ヒストグラムおよび色相ヒストグラムを用いて第１のオブジェクト領域を抽出する。第２のオブジェクト領域抽出手段３２は、カラー画像から彩度ヒストグラムを用いて第２のオブジェクト領域を抽出する。第３のオブジェクト領域抽出手段３３は、カラー画像から輝度ヒストグラムを用いて第３のオブジェクト領域を抽出する。オブジェクト領域合成手段３４は、第１ないし第３のオブジェクト領域の重複領域を最終結果のオブジェクト領域として求めるもので、これによりオブジェクト領域が決定される。部品領域抽出手段３５は、例えばオブジェクトである人物の肌に対して、肌領域の抽出の前に顔の一部である口唇を抽出し、口唇に隣接する顔領域の抽出を容易にする。口唇の抽出手法は第１のオブジェクト領域の抽出手法と同様の手法を使用できる。このため、部品領域抽出手段３５を第１のオブジェクト領域抽出手段に含めても良い。なお、部品領域抽出手段３５がなくても良く、特に手足などの顔以外の肌領域を求める場合などではなくても良い。なお、彩度ヒストグラムおよび輝度ヒストグラムはＬ＊ａ＊ｂ＊色空間におけるヒストグラムを使用しても良く、ＨＬＳ色空間におけるヒストグラムを使用しても良い。
【００２３】
４は記憶手段であり、カラー画像取得手段にて取得したカラー画像や第１ないし第３のオブジェクト領域抽出手段３１〜３３で抽出した画像やオブジェクト領域合成手段で合成した画像を記憶する。記憶手段４にこれらのヒストグラムや画像を記憶することにより、例えば、計測された画素の色彩を記憶手段４に記憶されたヒストグラムと対比でき、第１ないし第３のオブジェクト領域の抽出を効率化できる。５は入出力手段で、マウスやキーボードなどの入力手段や、ディスプレイ、プリンタなどの出力手段を有する。６は演算手段で制御手段７の指示により、適宜オブジェクト抽出に必要な演算を実行する。制御手段７は、オブジェクト領域抽出方法のプログラムを有し、オブジェクト領域抽出システム１全体および各手段２〜６を制御して、オブジェクト領域抽出方法を実行させる。
【００２４】
［処理フロー］
図２にオブジェクト領域抽出方法の処理フロー例を示す。はじめに、オブジェクトとしての人物の肌を含むカラー画像を取得する（Ｓ０１０）。例えば、カラー画像を得られるカメラで撮影し、これをデジタル情報としてカラー画像取得手段２により取得する。次に、部品領域抽出手段３５にて、取得したカラー画像から口唇領域を検出する（Ｓ０２０）。肌領域に先駆けて口唇領域を抽出するのは、口唇領域は他の領域に比して特徴を識別し易く、又、顔領域と隣接しているので、これを手掛かりとして、容易に顔領域を抽出できるからである。顔面の肌と口唇の相違を示す特徴を有し、照明の影響にロバストであるＬ＊ａ＊ｂ＊色空間に着目し、知覚色度ａ＊ヒストグラムおよび色相（メトリック色相角）ｈａｂヒストグラムを用い、ファジィ推論により口唇を検出し、口唇周辺領域の色彩情報を取得する。次に、第１のオブジェクト領域抽出手段３１にて、同じ知覚色度ａ＊ヒストグラムおよび色相ｈａｂヒストグラムを用いて第１のオブジェクト領域としての肌領域を抽出する（Ｓ０３０）。すなわち、口唇と肌で２つのヒストグラムの分布範囲が分かれるので、両者を分離して抽出できる。知覚色度ａ＊ヒストグラムおよび色相ｈａｂヒストグラムは色温度（ホワイトバランス）に影響され難いので、ロバストな第１のオブジェクト領域を抽出できる。また、口唇領域や肌領域にあいまい性がある場合は、抽出にファジィ推論を用いると、撮影環境の変化に伴う色味のあいまい性に自動的に対応できるので、効率良くオブジェクト領域の抽出ができる。次に、第２のオブジェクト領域抽出手段３２にて、彩度ヒストグラムを用いて第２のオブジェクト領域としての肌領域を抽出する（Ｓ０４０）。また、第３のオブジェクト領域抽出手段３３にて、輝度ヒストグラムを用いて第３のオブジェクト領域としての肌領域を抽出する（Ｓ０５０）。彩度ヒストグラムおよび輝度ヒストグラムは色温度によって影響を受けて変化するので、彩度ヒストグラムおよび輝度ヒストグラムを用いてホワイトバランスに応じた補正ができる。なお、第１ないし第３のオブジェクト領域の抽出は、どのような順序で行っても良く、併行して行なっても良い。次に、オブジェクト領域合成手段３４にて、第１ないし第３のオブジェクト領域の重複領域を最終結果のオブジェクト領域として求める（Ｓ０６０）。これにより、第１ないし第３のオブジェクト領域との重複領域を最終結果のオブジェクト領域として求めるため、ホワイトバランスにロバストであり、また、テンプレートを用いなくても良いのでリアルタイム処理ができるオブジェクト領域の抽出方法を提供できる。以下に、本実施の形態におけるオブジェクト領域の抽出方法について詳細に説明する。
【００２５】
［顔部品（口唇）検出］
はじめに、顔部分で特徴的な口唇部分の検出を行なう。口唇部分の検出は部品領域抽出手段３５にて行なう。顔面の肌と口唇の相違を示す特徴を有し、照明の影響にロバストであるＬ＊ａ＊ｂ＊色空間に着目し、知覚色度ａ＊ヒストグラムおよび色相ｈａｂヒストグラムを用い、ファジィ推論により口唇を検出し、口唇周辺領域の色彩情報を取得する。次に、肌領域を抽出する。
【００２６】
図３に口唇周辺領域とその領域における色度成分ヒストグラムとしての知覚色度ａ＊ヒストグラムと色相ヒストグラムとしてのメトリック色相角ｈａｂヒストグラムを示す。図３（ａ）に口唇周辺領域を、図３（ｂ）にａ＊ヒストグラムを、図３（ｃ）にｈａｂヒストグラムを示す。知覚色度ａ＊は赤味の強さを示す指標である。各ヒストグラムの縦軸は画素が現れる頻度を示す。図３（ａ）に示すように、口唇周辺領域（図中四角形で示す）として、横方向に口唇の左右量端までを含み、縦方向に拡張し拡張した領域を設定する。図３（ｂ）より、ａ＊ヒストグラムは、肌（Ｓｋｉｎ）を示す領域と口唇（Ｌｉｐ）を示す領域に分かれる。肌領域を表すヒストグラムは、赤みが比較的低く、μ１１に頂点を有しＬ１とｋ１を裾とする三角形に近似する。口唇領域を表すヒストグラムは、赤みが比較的高く、μ２１に頂点を有しｋ１とＲ１を裾とする三角形に近似する。このように、ａ＊ヒストグラム上で、肌領域と口唇領域を良く区別することができる。また、図３（ｃ）より、ｈａｂヒストグラムは、肌（Ｓｋｉｎ）を示す領域と口唇（Ｌｉｐ）を示す領域に分かれる。口唇領域を表すヒストグラムは、色相が比較的赤色に近く、μ１２に頂点を有しＬ２とｋ２を裾とする三角形に近似する。肌領域を表すヒストグラムは、色相が比較的黄色に近く、μ２２に頂点を有しｋ２とＲ２を裾とする三角形に近似する。このように、ｈａｂヒストグラム上で、肌領域と口唇領域を良く区別することができる。これにより、予め肌情報、口唇情報について予め記憶手段４に記憶されたａ＊ヒストグラムとｈａｂヒストグラムとを参照することによって、オブジェクトとして取得したカラー画像から口唇領域と肌領域を分離して抽出することができる。そして、口唇領域の周辺に連なる顔領域、顔領域と同じヒストグラムを示す肌を抽出する手掛りとすることができる。
【００２７】
［肌情報取得］
知覚色度ａ＊ヒストグラム、色相ｈａｂヒストグラムを使用すると、口唇と肌を分離して抽出できるので、これを利用して肌領域を抽出する。カラー画像から図３（ａ）で設定した口唇周辺領域について取得した、知覚色度ａ＊ヒストグラム、メトリック色相角ｈａｂヒストグラムを使用できる。肌情報取得は第１ないし第３のオブジェクト領域抽出手段３１〜３３にて行なう。
【００２８】
図４に肌領域の色温度に独立な（色温度に影響され難い）ヒストグラムを示す。図４（ａ）にａ＊ヒストグラム、図４（ｂ）にｈａｂヒストグラムを示す。それぞれ、図３（ｂ）、（ｃ）のヒストグラムから、口唇の領域を分離し、肌領域のみについて再度取得したヒストグラムである。知覚色度ａ＊ヒストグラムおよびメトリック色相角ｈａｂヒストグラムは上記のように肌と口唇に対応する分布を有し、この傾向は色温度（ホワイトバランス）が変化しても保持されることから、色温度に独立なヒストグラムといわれ、これを用いて肌領域をロバストに抽出することができる。カラー画像全体、または、カラー画像から目的とする肌領域を含む領域を探索領域に指定し、指定した探索領域について、カラー画像の各画素のａ＊とｈａｂを記憶手段４に記憶されたａ＊ヒストグラムとｈａｂヒストグラムと比較して、カラー画像の各部分が肌領域であるか否かを判定することができる。色温度に独立なヒストグラムを用いた肌領域の抽出は第１のオブジェクト領域抽出手段３１で行なわれ、抽出された肌領域は第１のオブジェクト領域となる。
【００２９】
図５に肌領域の色温度に従属な（色温度に影響され易い）ヒストグラムを示す。図５（ａ）に彩度ヒストグラム、図５（ｂ）に輝度ヒストグラムを示す。彩度ヒストグラム、輝度ヒストグラムは色温度により変化する。したがって、撮影時の色温度に対応した彩度ヒストグラムおよび輝度ヒストグラムを使用することによって、カラー画像の各画素が肌領域であるか否かを判定し、色温度の変化に応じた適切な肌領域を抽出できる。彩度ヒストグラムを用いた肌領域の抽出は第２のオブジェクト領域抽出手段３２で行なわれ、抽出された肌領域は第２のオブジェクト領域となる。輝度ヒストグラムを用いた肌領域の抽出は第３のオブジェクト領域抽出手段３３で行なわれ、抽出された肌領域は第３のオブジェクト領域となる。第２のオブジェクト領域および第３のオブジェクト領域を用いて第１のオブジェクト領域を補正できる。なお、彩度ヒストグラムおよび輝度ヒストグラムはＬ＊ａ＊ｂ＊色空間におけるヒストグラムを使用しても良く、ＨＬＳ色空間におけるヒストグラムを使用しても良い。
【００３０】
［肌領域判定（色温度に独立な特徴を用いる）］
次に、取得した肌情報に基づいて、肌領域の判定を行なう。肌領域の判定にはパターン認識、例えばファジィ推論を使用できる。ファジィ推論を用いると、撮影環境の変化に伴う色味のあいまい性に自動的に対応できるので、肌領域を効率的に抽出することができる。まず、知覚色度ａ＊の強度と色相ｈａｂは照明にロバストであり、肌に良く対応した分布を有することに注目し、ファジィ推論などのパターン認識により肌らしさの度合いを演算し、肌領域を求める。例えば、カラー画像の各画素について、ヒストグラムの端点（最大値と最小値）とクラスの平均レベル（口唇と肌それぞれの２つの峰に対応、ただし分布が双峰性を有する必要はない）を用い、肌らしさの度合いを算出し、ヒストグラムに自動閾値選定法（肌らしさの度合を示す帰属度に閾値を設定する）で設定した閾値により、肌領域に属するか否かを判定する。色温度に独立なヒストグラムを用いた肌領域の判定は第１のオブジェクト領域抽出手段３１で行なわれる。
【００３１】
図６に、ファジィ推論を概略的を示す。図６（ａ）にファジィ規則を模式的に示し、図６（ｂ）にデファジィ化のための計算式を示す。記憶手段４に記憶されたカラー画像に、ガウシアンフィルタを用いた平滑化処理などの前処理を施し、前処理済画像から、ａ＊ヒストグラムおよびｈａｂヒストグラムを取得する。図６（ａ）に示すように、ファジィ規則を用いて、ａ＊ヒストグラムおよびｈａｂヒストグラムを三角形のパターンμ（ｘ）で近似した前件部メンバーシップ関数で表し、各画素についてのａ＊、ｈａｂの測定値ｘ０、ｘ１を、前件部メンバーシップ関数を用いてμ（ｘ）を求める。さらに、前件部メンバーシップ関数ｙ１’＝{μ（ｘ）}１／２およびｙ２’＝μ（ｘ）を用いて、各画素についてのａ＊、ｈａｂの測定値ｘ０、ｘ１からｙ１’，ｙ２’を求める。そして、図６（ｂ）に示すように、求めたｙ１’，ｙ２’を用いて、荷重平均法によりデファジィ化を行い、次式により（肌クラスの）帰属度ｙ１を求める。
ｙ１＝（ｗ１×ｙ１’＋ｗ２×ｙ２’）／（ｗ１＋ｗ２）
ここに、ｗ１，ｗ２は重み係数であり、ｗ１＝１．５、ｗ２＝１．０としたときの結果が良好であったので、これらの値を用いることとする。帰属度ｙ１は肌らしさを表す評価値である。閾値をｙ２およびｙ３とし、ｙ２＜ｙ１＜ｙ３の条件を満たせば、画素は肌領域に属するものとし、条件を満たさなければ、画素は肌領域に属さないものと判定する。これにより、カラー画像について肌領域とその他の領域を２値化表示できる。この例では、荷重平均法を用いているが、これに代えて簡略化ファジィ推論法などを用いても良い。
【００３２】
図７にファジィ推論で求めた肌領域の分布を示す。図７（ａ）に肌クラスの帰属度ｙ１で表した画像を、図７（ｂ）に２値化した画像を示す。２値化された白色部分が第１のオブジェクト領域に該当する。なお、口唇領域もファジィ推論で求められる。
【００３３】
［肌領域判定（色温度に従属な特徴を用いる）］
次に、カラー画像について、色温度により変化する部分がある。すなわち、太陽光、照明の当り方によって、カラー画像の色彩が変化し、肌部分の色彩も変化する。すなわち、彩度、輝度はホワイトバランス設定の影響を大きく受けるので、彩度ヒストグラム、輝度ヒストグラムは色温度により変化する。
【００３４】
図８に色温度（ホワイトバランス）による、彩度ヒストグラムおよび輝度ヒストグラムの変化を示す。図８（ａ）に色温度によるカラー画像の変化を、図８（ｂ）に色温度による彩度ヒストグラムの変化を、図８（ｃ）に色温度による輝度ヒストグラムの変化を示す。図８（ａ）より色温度が高くなるにつれてカラー画像が暗くなっていくことが分かる。また、図８（ｂ）では、彩度ヒストグラムは色温度が高くなるにつれて彩度ヒストグラムの幅が低彩度側に拡大していくことが示されている。また、図８（ｃ）では色温度が高くなるにつれて輝度ヒストグラムが低輝度側に移動していくことが示されている。したがって、カラー画像中の各画素については、各色温度における彩度ヒストグラムおよび輝度ヒストグラムの最大値と最小値を用いて範囲指定することにより、肌領域を抽出するものとする。彩度ヒストグラムを用いた肌領域の判定は第２のオブジェクト領域抽出手段３２で行なわれ、輝度ヒストグラムを用いた肌領域の判定は第３のオブジェクト領域抽出手段３３で行なわれる。まず、カラー画像の全体の彩度ヒストグラムおよび輝度ヒストグラムから色温度を求め、その色温度における彩度ヒストグラムの最大値と最小値の範囲内であれば第２のオブジェクト領域として求め、その色温度における輝度ヒストグラムの最大値と最小値の範囲内であれば第３のオブジェクト領域として求める。なお、最大値と最小値は測定誤差を考慮し、例えば上下数％を除いて設定しても良い。
【００３５】
図９に彩度ヒストグラムを用いて抽出した肌領域を、図１０に彩度ヒストグラムを用いて抽出した肌領域を示す。両者共に２値化した画像であり、白い部分が肌領域に該当する。望ましくは、平滑化処理などのヒストグラムにおいて微小な頻度の要素を除外する処理を加えても良い。第１のオブジェクト領域として抽出された画像（図７参照）および第３のオブジェクト領域として抽出された画像（図１０参照）では背景の壁の部分の一部または全部が肌領域として抽出されているが、第２のオブジェクト領域として抽出された画像（図９参照）では、背景の壁の部分が全て除去されている。また、第１のオブジェクト領域として抽出された画像（図７参照）および第２のオブジェクト領域として抽出された画像（図９参照）では、髪の毛の部分、眉毛の部分および眼の部分が一部、肌領域として抽出されているが、第３のオブジェクト領域として抽出された画像（図１０参照）では、髪の毛の部分、眉毛の部分および眼の部分が全て除去されている。
【００３６】
［肌領域抽出（合成）］
図１１に、第１ないし第３の抽出画像を重ね合わせて肌領域を抽出する工程を模式的に示す。すなわち、図７に示す第１のオブジェクト領域、図９に示す第２のオブジェクト領域、図１０に示す第３のオブジェクト領域の重複部分を最終結果のオブジェクト領域として決定する。すなわち、肌領域判定で求めた３種類の画像のＡＮＤを求め、肌領域判定結果とする。この重ね合わせはオブジェクト領域合成手段３４にて行なう。図１１（ａ）に第１ないし第３のオブジェクト領域の画像を、図１１（ｂ）にこれらを重複して抽出されたオブジェクト領域の画像を、図１１（ｃ）に抽出されたオブジェクト領域に彩色処理した画像を示す。図１１（ｂ）によれば、壁、髪の毛、眉、眼の部分が除去され、正しい肌領域に補正されていることが分かる。また、図１１（ｃ）の彩色処理は、図１１（ｂ）のオブジェクト領域の範囲に、カラー画像取得手段２で取得した画像を前処理したカラー画像の彩色を施したものである。望ましくは、形状平滑化処理を加えても良い。
【００３７】
［実験結果］
図１２に、原画像、従来法による肌領域抽出結果例、本実施の形態による肌領域抽出結果例を比較して示す。図１２（ａ）に色温度による原画像の変化を、図１２（ｂ）に色温度による従来法による肌領域抽出結果の変化を、図１２（ｃ）に本実施の形態による肌領域抽出結果の変化を示す。従来法では、色温度低〜中設定時には肌が抽出されているものの、色温度高では肌領域の抽出に失敗している。これに対し、本実施の形態では全ての色温度において、肌領域を抽出可能であることが分かる。本実施の形態では、画像１枚の処理に要した演算時間は約３０ｍｓである。なお、デジタルカメラで撮影した画像データをリアルタイム処理が可能であることを確認している。以上より、本実施の形態におけるオブジェクト領域抽出システムまたは抽出方法は、ホワイトバランス変化に対応した肌領域抽出がリアルタイムで可能であることを示すものである。
【００３８】
［第２の実施の形態］
第１の実施の形態では、色度成分ヒストグラムがＬ＊ａ＊ｂ＊色空間における知覚色度ａ＊ヒストグラム、色相ヒストグラムがＬ＊ａ＊ｂ＊色空間におけるメトリック色相角ｈａｂがヒストグラムである例について説明したが、第２の実施の形態では、他の色空間を用いる例を説明する。また、第１の実施の形態では、ファジィ推論を用いる例を説明したが、第２の実施の形態では、用いない例を説明する。
【００３９】
Ｌ＊ａ＊ｂ＊色空間以外の色空間として、例えば、均等色空間であるＬ＊ｕ＊ｖ＊を用いても良い。Ｌ＊ｕ＊ｖ＊色空間は波長間隔の均等性が考慮された表色系なので、特定の波長方向をｘ方向に採用すれば、当該波長に対する色味の強度を表現可能である。また、知覚色度ヒストグラムには均等色空間を用い、色相ヒストグラム、彩度ヒストグラム、輝度ヒストグラムにはＨＳＬ色空間、ＨＳＶ色空間を用いても良く、知覚色度ヒストグラム、色相ヒストグラムには均等色空間を用い、彩度ヒストグラム、輝度ヒストグラムにはＨＳＬ色空間、ＨＳＶ色空間を用いても良い。その他、特徴量が在る範囲で多様な組み合わせが可能である。このように他の均等色空間や均等色空間と他の色相と彩度または知覚色度と明度または輝度に基づいて表現される色空間を組み合わせても、第１の実施の形態と同様に知覚色度ヒストグラム、色相ヒストグラムを用いて第１のオブジェクト領域を抽出し、また、彩度ヒストグラム、輝度ヒストグラムを用いて第２、第３のオブジェクト領域を抽出できる。また、ファジィ推論に代えて、ヒストグラムの最大値と最小値の範囲内であれば第１のオブジェクト領域として求めても良い。そして、第１ないし第３のオブジェクト領域の重複領域から、目的とするオブジェクト領域を求めることができる。Ｌ＊ｕ＊ｖ色空間、ＨＳＬ色空間、ＨＳＶ色空間を用いた場合には、ロバスト性がＬ＊ａ＊ｂ＊色空間を用いる場合に比して劣るものの、なお実用的範囲に保たれる。本実施の形態においても、第１のオブジェクト領域を用いることによりロバストなオブジェクト領域を抽出でき、第２、第３のオブジェクト領域を用いることによりホワイトバランス変化に対応したオブジェクト領域抽出でき、また、リアルタイムでオブジェクト領域の抽出が可能である。
【００４０】
［第３の実施の形態］
第１の実施の形態では、オブジェクトが人物の肌である例を説明したが、第３の実施の形態では他の例について説明する。例えば、カラー画像におけるパンダの白色部分、目玉領域の白身部分などは、ホワイトバランスに影響を強く受けるので、これらのオブジェクトに、第１、第２の実施の形態の手法を適用すれば、好適な結果を期待できる。知覚色度ヒストグラム、色相ヒストグラム、彩度ヒストグラム、輝度ヒストグラムを用いて、ロバストかつ、ホワイトバランス変化に対応したオブジェクト領域をリアルタイムで抽出が可能である。
【００４１】
また、本発明は、以上の実施の形態に記載のオブジェクト領域の抽出方法をコンピュータに実行させるためのプログラムとしても実現可能である。プログラムはコンピュータの内蔵メモリに蓄積して使用してもよく、外付けの記憶装置に蓄積して使用しても良く、インターネットからダウンロードして使用しても良い。また、当該プログラムを記録した記録媒体としても実現可能である。
【００４２】
以上、本発明の実施の形態について説明したが、本発明は上記の実施の形態に限定されるものではなく、実施の形態に種々変更を加えられることは明白である。
【００４３】
例えば、ヒストグラムを用いて第１ないし第３のオブジェクト領域を求める際に、ファジィ推論を用いる例または最大値と最小値を閾値として用いる例を説明したが、例えば肌をいくつかの小部分に区分し、各小部分のヒストグラムと記憶手段に記憶されたヒストグラムを比較して、肌領域か否かを判定してもよく。閾値についても上下何％までをとるかを適宜決めることができる。また、第１の実施の形態では知覚色度ヒストグラムとして赤味ヒストグラムを用いる例を説明したが、オブジェクトに応じて、種々の知覚色度ヒストグラムを選択可能である。
【産業上の利用可能性】
【００４４】
本発明は、肌領域などのオブジェクト領域の抽出に利用できる。
【図面の簡単な説明】
【００４５】
【図１】オブジェクト領域抽出システムの構成例を示す図である。
【図２】オブジェクト領域抽出方法の処理フロー例を示す図である。
【図３】口唇周辺領域とその領域における知覚色度ヒストグラムとしてのａ＊ヒストグラムと色相ヒストグラムとしてのｈａｂヒストグラムを示す図である。
【図４】肌領域の色温度に独立なヒストグラムを示す図である。
【図５】肌領域の色温度に従属なヒストグラムを示す図である。
【図６】ファジィ推論を概略的を示す図である。
【図７】ファジィ推論で求めた肌領域の分布を示す図である。
【図８】色温度による、彩度ヒストグラムおよび輝度ヒストグラムの変化を示す図である。
【図９】彩度ヒストグラムを用いて抽出した肌領域を示す図である。
【図１０】彩度ヒストグラムを用いて抽出した肌領域を示す図である。
【図１１】第１ないし第３の抽出画像を重ね合わせて肌領域を抽出する工程を模式的に示す図である。
【図１２】原画像、従来法による肌領域抽出結果例、第１の実施の形態における肌領域抽出結果例を比較して示す図である。
【符号の説明】
【００４６】
１ オブジェクト領域抽出システム
２ カラー画像取得手段
３ オブジェクト領域抽出手段
４ 記憶手段
５ 入出力手段
６ 演算手段
７ 制御手段
３１ 第１のオブジェクト領域抽出手段
３２ 第２のオブジェクト領域抽出手段
３３ 第３のオブジェクト領域抽出手段
３４ オブジェクト領域合成手段
３５ 部品領域抽出手段
【技術分野】
【０００１】
本発明は、オブジェクト領域の抽出システムおよび方法に関する。詳しくは、カラー画像中から肌領域等のオブジェクト領域を抽出するに際し、ホワイトバランスの変化にロバストな抽出システムおよび抽出方法に関する。
【背景技術】
【０００２】
近年、パーソナルコンピュータ（ＰＣ）によるビジュアルコミュニケーションが一般家庭でも手軽に導入できるようになり、普及し始めている。例えば、カラー画像データ中の連続する肌色領域の面積を求め、それぞれの肌色領域について、肌色総画素数、縦横方向の幅などの特徴を考慮して顔領域を求める方法が提案されている。また、発明者らは、画像中から人物のみを抜き出し、背景を予め用意した画像に差し替える画像処理技術の要素技術として、Ｌ＊ａ＊ｂ＊色空間の知覚色度ａ＊ヒストグラム、色相ｈａｂヒストグラムを用いて、照明の影響にロバスト（安定）な人物の肌領域を抽出する方法を提案した。また、画像情報のあいまいさ、口唇輪郭のあいまいさを考慮し、ファジィ推論処理を用いて、テンプレート（データベースに蓄積された参照用画像情報）を使用せずに、人物の口唇領域および肌領域を抽出する方法を提案した。（特許文献１、非特許文献１〜４参照）
【０００３】
【特許文献１】特開２０００−１８７７２１号公報（段落００１６〜００６０、図１〜図１０）
【非特許文献１】佐井高、西田眞、景山陽一、大瀧健太、「色彩情報を用いた顔領域抽出に関する検討」、情報処理学会全国大会、５Ｐ−１（２００７）．
【非特許文献２】白澤洋一、大瀧健太、「色差に着目した口唇追跡に関する検討」、電子情報通信学会総合大会、Ｄ−１２−８９（２００７）．
【非特許文献３】白澤洋一、西田眞、西健治、「色彩情報を用いたファジィ推論による口唇形状抽出に関する検討」、電気学会論文誌 Ｃ，Ｖｏｌ．１２５−Ｃ，Ｎｏ．９，ｐｐ．１４３０−１４３７．
【非特許文献４】白澤洋一、西田眞、栗栖怜史、「ズームと顔の向き変化にロバストな口唇位置の推定」、映像情報メディア学会誌，Ｖｏｌ．５９，Ｎｏ．１２，ｐｐ．１６１６−１８２１．
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、一般家庭のＰＣ環境で身近なカメラデバイスであるデジタルカメラなどではホワイトバランスの変動が大きい。また、従来、固定閾値による肌抽出法が報告されているものの、ホワイトバランスへの対応は困難であった。また、従来はテンプレートを用いた処理が主流であり、リアルタイムの処理が困難であった。
【０００５】
本発明は、ホワイトバランスにロバストでかつリアルタイム処理ができるオブジェクト領域の抽出システムおよび抽出方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の第１の態様に係るオブジェクト領域の抽出システム１は、例えば図１に示すように、オブジェクトのカラー画像を取得するカラー画像取得手段２と、カラー画像から色度成分ヒストグラムおよび色相ヒストグラムを用いて第１のオブジェクト領域を抽出する第１のオブジェクト領域抽出手段３１と、カラー画像から彩度ヒストグラムを用いて第２のオブジェクト領域を抽出する第２のオブジェクト領域抽出手段３２と、カラー画像から輝度ヒストグラムを用いて第３のオブジェクト領域を抽出する第３のオブジェクト領域抽出手段３３と、第１のオブジェクト領域と第２のオブジェクト領域と第３のオブジェクト領域との重複領域をオブジェクト領域として求めるオブジェクト領域合成手段３４とを備える。
【０００７】
ここにおいて、色度成分ヒストグラム、色相ヒストグラム、彩度ヒストグラム、輝度ヒストグラムはいずれかの色空間におけるヒストグラムが使用される。色空間として、例えば、ＨＳＶ色空間（色相ｈｕｅ、彩度ｓａｔｕｒａｔｉｏｎ ｖａｌｕｅ、明度ｖａｌｕｅを指標とする）、ＨＬＳ色空間（指標に輝度ｌｕｍｉｎａｎｃｅを含む）の他に、均等色空間（Ｕｎｉｆｏｒｍ Ｃｏｌｏｒ Ｓｐａｃｅ：ＵＣＳ、人間の知覚上での差異に主眼を置いた色空間で、ＣＩＥ（国際照明委員会）が定める表色系であり、Ｌ＊ａ＊ｂ＊色空間、Ｌ＊ｕ＊ｖ＊色空間が含まれる）を使用できる。色相ヒストグラム、彩度ヒストグラム、輝度ヒストグラムはＨＳＶ色空間、ＨＬＳ色空間、Ｌ＊ａ＊ｂ＊色空間、Ｌ＊ｕ＊ｖ＊色空間の特徴量である。ただし、Ｌ＊ａ＊ｂ＊色空間、Ｌ＊ｕ＊ｖ＊色空間の特徴量であるが、色度成分ヒストグラムはＨＳＶ色空間、ＨＬＳ色空間の特徴量ではない。したがって、Ｌ＊ａ＊ｂ＊色空間、Ｌ＊ｕ＊ｖ＊色空間など１つの色空間における色相ヒストグラム、知覚色度ヒストグラム、彩度ヒストグラム、輝度ヒストグラムの４ヒストグラムを用いても良いが、ＨＬＳ色空間、ＨＳＶ色空間には色度成分ヒストグラムがないので、ＨＬＳ色空間またはＨＳＶ色空間の彩度ヒストグラムと輝度ヒストグラムを用い、Ｌ＊ａ＊ｂ＊色空間またはＬ＊ｕ＊ｖ＊色空間の色相ヒストグラムと色度成分ヒストグラムを用いるなど複数の色空間を併わせて用いても良い。
【０００８】
Ｌ＊ａ＊ｂ＊色空間は、ｚ方向を輝度Ｌ＊、ｘ軸を赤味−緑味に係る知覚色度ａ＊、ｙ軸を黄味−青味に係る知覚色度ｂ＊、円周方向を色相（メトリック色相角）ｈａｂとする表色系である。ｚ軸には無彩色が配される。また、Ｌ＊ｕ＊ｖ＊色空間は知覚色度ｕ＊、ｖ＊を用い、波長間隔の均等性が考慮された表色系なので、特定の波長方向をｘ方向に採用すれば、当該波長に対する色味の強度を表現可能である。また、知覚色度は等色差性を有する色度成分（ｃｈｒｏｍｉｎａｎｃｅ）といえ、色度成分として知覚色度を用いても良い。また、知覚色度ヒストグラムとは、特定の色相に関する知覚色度（色味）の強度を示すヒストグラムをいい、オブジェクトが肌の場合には赤味の知覚強度を示すａ＊ヒストグラムを使用すると好適である。知覚色度は色相と彩度に依存するが、２つの知覚色度（例えばａ＊とｂ＊）をｘｙ軸とするｘ座標値で表される。また、オブジェクトに応じて青味の知覚強度を示すヒストグラム、黄味の知覚強度を示すヒストグラム、緑味の知覚強度を示すヒストグラムなどを適宜選択可能である。また、輝度はＲＧＢに重み付けをした明度といえ（人間の目からみた明るさに近いといわれている）、輝度ヒストグラムに代えて明度ヒストグラムを用いても良い。
【０００９】
このように構成すると、第１ないし第３のオブジェクト領域との重複領域をオブジェクト領域として求めるためホワイトバランスにロバストであり、また、テンプレートを用いなくても良いのでリアルタイム処理ができるオブジェクト領域の抽出システムを提供できる。
【００１０】
また、本発明の第２の態様に係るオブジェクト領域の抽出システムは、第１の態様において、オブジェクトが人物の肌である。このように構成すると、肌領域は撮影画像を含むカラー画像に多く使用され、かつホワイトバランスに強く影響を受けるので、ホワイトバランスにロバストな第１の態様を適用すると実用的である。
【００１１】
また、本発明の第３の態様に係るオブジェクト領域の抽出システムは、第１または第２の態様において、色度成分ヒストグラムがとしてＬ＊ａ＊ｂ＊色空間におけるａ＊ヒストグラムを、色相ヒストグラムとしてＬ＊ａ＊ｂ＊色空間におけるｈａｂヒストグラムを用いる。このように構成すると、Ｌ＊ａ＊ｂ＊色空間は人物の肌領域と口唇領域を共に抽出する場合に照明の影響に対してロバストなので、人物の肌領域の抽出に好適である。
【００１２】
また、本発明の第４の態様に係るオブジェクト領域の抽出システムは、第１ないし第３のいずれかの態様において、第１のオブジェクト領域の抽出にファジィ推論を用いる。このように構成すると、撮影環境の変化に伴う色味のあいまい性に自動的に対応できるので、第１のオブジェクト領域の抽出に効率的である。
【００１３】
また、本発明の第５の態様に係るオブジェクト領域の抽出システムは、第１ないし第４のいずれかの態様において、オブジェクトに対する色度成分ヒストグラム、色相ヒストグラム、彩度ヒストグラムおよび輝度ヒストグラムを記憶する記憶手段４を有する。このように構成すると、計測された画素の色彩を記憶手段４に記憶されたヒストグラムと対比でき、第１ないし第３のオブジェクト領域の抽出に効率的である。
【００１４】
また、本発明の第６の態様に係るオブジェクト領域の抽出システムは、第５の態様において、記憶手段４は、彩度ヒストグラムおよび輝度ヒストグラムを色温度と関連付けて記憶する。このように構成すると、ホワイトバランスの変化に効率的に対処できる。
【００１５】
上記課題を解決するために、本発明の第７の態様に係るオブジェクト領域の抽出方法は、例えば図２に示すように、オブジェクトのカラー画像を取得するカラー画像取得工程（Ｓ０１０）と、カラー画像から色度成分ヒストグラムおよび色相ヒストグラムを用いて第１のオブジェクト領域を抽出する第１のオブジェクト領域抽出工程（Ｓ０３０）と、カラー画像から彩度ヒストグラムを用いて第２のオブジェクト領域を抽出する第２のオブジェクト領域抽出工程（Ｓ０４０）と、カラー画像から輝度ヒストグラムを用いて第３のオブジェクト領域を抽出する第３のオブジェクト領域抽出工程（Ｓ０５０）と、第１のオブジェクト領域と第２のオブジェクト領域と第３のオブジェクト領域との重複領域をオブジェクト領域として求めるオブジェクト領域合成工程（Ｓ０６０）とを備える。
【００１６】
ここにおいて、工程順序は適宜変更可能である。例えば、第１ないし第３のオブジェクト領域抽出工程は、どのような順序で行なっても良く、併行して行なっても良い。このように構成すると、ホワイトバランスにロバストでかつリアルタイム処理ができるオブジェクト領域の抽出システムおよび抽出方法を提供できる。
【００１７】
また、本発明の第８の態様に係るプログラムは、第７の態様におけるオブジェクト領域の抽出方法をコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１８】
本発明によれば、ホワイトバランスにロバストでかつリアルタイム処理ができるオブジェクト領域の抽出システムおよび抽出方法を提供できる。
【発明を実施するための最良の形態】
【００１９】
以下に、図面を参照して本発明の実施の形態について説明する。
【００２０】
［第１の実施の形態］
第１の実施の形態では、オブジェクトが人物の肌、特に顔部分の肌であり、色度成分ヒストグラムがＬ＊ａ＊ｂ＊色空間における知覚色度ａ＊ヒストグラム、色相ヒストグラムがＬ＊ａ＊ｂ＊色空間におけるメトリック色相角ｈａｂヒストグラムである例について説明する。
【００２１】
［システム構成］
図１にオブジェクト領域抽出システムの構成例を示す。図１において、１はオブジェクト領域抽出システムであり、例えば、パーソナルコンピュータ（ＰＣ）にプログラムをインストールするなどにより構成可能である。本実施の形態では、オブジェクトとして人物の肌を対象とし、色度成分ヒストグラムとしてＬ＊ａ＊ｂ＊色空間における知覚色度ａ＊ヒストグラムを、色相ヒストグラムとしてＬ＊ａ＊ｂ＊色空間におけるメトリック色相角ｈａｂヒストグラムを用いる例について説明する。２はオブジェクトのカラー画像を取得するカラー画像取得手段である。例えば、ＣＣＤカメラなどのデジタルカメラ、その他カラー画像を得られるカメラで撮影し、これをデジタル情報としてカラー画像取得手段２により取得する。カラー画像取得手段２はこのようなカメラを含んでも良く、カメラを含まず、他のカメラで撮影した画像を取得するものでも良い。
【００２２】
３はオブジェクト領域抽出手段であり、第１ないし第３のオブジェクト領域抽出手段３１〜３３、オブジェクト領域合成手段３４および部品領域抽出手段３５を有する。第１のオブジェクト領域抽出手段３１は、カラー画像取得手段２で取得したカラー画像から知覚色度ヒストグラムおよび色相ヒストグラムを用いて第１のオブジェクト領域を抽出する。第２のオブジェクト領域抽出手段３２は、カラー画像から彩度ヒストグラムを用いて第２のオブジェクト領域を抽出する。第３のオブジェクト領域抽出手段３３は、カラー画像から輝度ヒストグラムを用いて第３のオブジェクト領域を抽出する。オブジェクト領域合成手段３４は、第１ないし第３のオブジェクト領域の重複領域を最終結果のオブジェクト領域として求めるもので、これによりオブジェクト領域が決定される。部品領域抽出手段３５は、例えばオブジェクトである人物の肌に対して、肌領域の抽出の前に顔の一部である口唇を抽出し、口唇に隣接する顔領域の抽出を容易にする。口唇の抽出手法は第１のオブジェクト領域の抽出手法と同様の手法を使用できる。このため、部品領域抽出手段３５を第１のオブジェクト領域抽出手段に含めても良い。なお、部品領域抽出手段３５がなくても良く、特に手足などの顔以外の肌領域を求める場合などではなくても良い。なお、彩度ヒストグラムおよび輝度ヒストグラムはＬ＊ａ＊ｂ＊色空間におけるヒストグラムを使用しても良く、ＨＬＳ色空間におけるヒストグラムを使用しても良い。
【００２３】
４は記憶手段であり、カラー画像取得手段にて取得したカラー画像や第１ないし第３のオブジェクト領域抽出手段３１〜３３で抽出した画像やオブジェクト領域合成手段で合成した画像を記憶する。記憶手段４にこれらのヒストグラムや画像を記憶することにより、例えば、計測された画素の色彩を記憶手段４に記憶されたヒストグラムと対比でき、第１ないし第３のオブジェクト領域の抽出を効率化できる。５は入出力手段で、マウスやキーボードなどの入力手段や、ディスプレイ、プリンタなどの出力手段を有する。６は演算手段で制御手段７の指示により、適宜オブジェクト抽出に必要な演算を実行する。制御手段７は、オブジェクト領域抽出方法のプログラムを有し、オブジェクト領域抽出システム１全体および各手段２〜６を制御して、オブジェクト領域抽出方法を実行させる。
【００２４】
［処理フロー］
図２にオブジェクト領域抽出方法の処理フロー例を示す。はじめに、オブジェクトとしての人物の肌を含むカラー画像を取得する（Ｓ０１０）。例えば、カラー画像を得られるカメラで撮影し、これをデジタル情報としてカラー画像取得手段２により取得する。次に、部品領域抽出手段３５にて、取得したカラー画像から口唇領域を検出する（Ｓ０２０）。肌領域に先駆けて口唇領域を抽出するのは、口唇領域は他の領域に比して特徴を識別し易く、又、顔領域と隣接しているので、これを手掛かりとして、容易に顔領域を抽出できるからである。顔面の肌と口唇の相違を示す特徴を有し、照明の影響にロバストであるＬ＊ａ＊ｂ＊色空間に着目し、知覚色度ａ＊ヒストグラムおよび色相（メトリック色相角）ｈａｂヒストグラムを用い、ファジィ推論により口唇を検出し、口唇周辺領域の色彩情報を取得する。次に、第１のオブジェクト領域抽出手段３１にて、同じ知覚色度ａ＊ヒストグラムおよび色相ｈａｂヒストグラムを用いて第１のオブジェクト領域としての肌領域を抽出する（Ｓ０３０）。すなわち、口唇と肌で２つのヒストグラムの分布範囲が分かれるので、両者を分離して抽出できる。知覚色度ａ＊ヒストグラムおよび色相ｈａｂヒストグラムは色温度（ホワイトバランス）に影響され難いので、ロバストな第１のオブジェクト領域を抽出できる。また、口唇領域や肌領域にあいまい性がある場合は、抽出にファジィ推論を用いると、撮影環境の変化に伴う色味のあいまい性に自動的に対応できるので、効率良くオブジェクト領域の抽出ができる。次に、第２のオブジェクト領域抽出手段３２にて、彩度ヒストグラムを用いて第２のオブジェクト領域としての肌領域を抽出する（Ｓ０４０）。また、第３のオブジェクト領域抽出手段３３にて、輝度ヒストグラムを用いて第３のオブジェクト領域としての肌領域を抽出する（Ｓ０５０）。彩度ヒストグラムおよび輝度ヒストグラムは色温度によって影響を受けて変化するので、彩度ヒストグラムおよび輝度ヒストグラムを用いてホワイトバランスに応じた補正ができる。なお、第１ないし第３のオブジェクト領域の抽出は、どのような順序で行っても良く、併行して行なっても良い。次に、オブジェクト領域合成手段３４にて、第１ないし第３のオブジェクト領域の重複領域を最終結果のオブジェクト領域として求める（Ｓ０６０）。これにより、第１ないし第３のオブジェクト領域との重複領域を最終結果のオブジェクト領域として求めるため、ホワイトバランスにロバストであり、また、テンプレートを用いなくても良いのでリアルタイム処理ができるオブジェクト領域の抽出方法を提供できる。以下に、本実施の形態におけるオブジェクト領域の抽出方法について詳細に説明する。
【００２５】
［顔部品（口唇）検出］
はじめに、顔部分で特徴的な口唇部分の検出を行なう。口唇部分の検出は部品領域抽出手段３５にて行なう。顔面の肌と口唇の相違を示す特徴を有し、照明の影響にロバストであるＬ＊ａ＊ｂ＊色空間に着目し、知覚色度ａ＊ヒストグラムおよび色相ｈａｂヒストグラムを用い、ファジィ推論により口唇を検出し、口唇周辺領域の色彩情報を取得する。次に、肌領域を抽出する。
【００２６】
図３に口唇周辺領域とその領域における色度成分ヒストグラムとしての知覚色度ａ＊ヒストグラムと色相ヒストグラムとしてのメトリック色相角ｈａｂヒストグラムを示す。図３（ａ）に口唇周辺領域を、図３（ｂ）にａ＊ヒストグラムを、図３（ｃ）にｈａｂヒストグラムを示す。知覚色度ａ＊は赤味の強さを示す指標である。各ヒストグラムの縦軸は画素が現れる頻度を示す。図３（ａ）に示すように、口唇周辺領域（図中四角形で示す）として、横方向に口唇の左右量端までを含み、縦方向に拡張し拡張した領域を設定する。図３（ｂ）より、ａ＊ヒストグラムは、肌（Ｓｋｉｎ）を示す領域と口唇（Ｌｉｐ）を示す領域に分かれる。肌領域を表すヒストグラムは、赤みが比較的低く、μ１１に頂点を有しＬ１とｋ１を裾とする三角形に近似する。口唇領域を表すヒストグラムは、赤みが比較的高く、μ２１に頂点を有しｋ１とＲ１を裾とする三角形に近似する。このように、ａ＊ヒストグラム上で、肌領域と口唇領域を良く区別することができる。また、図３（ｃ）より、ｈａｂヒストグラムは、肌（Ｓｋｉｎ）を示す領域と口唇（Ｌｉｐ）を示す領域に分かれる。口唇領域を表すヒストグラムは、色相が比較的赤色に近く、μ１２に頂点を有しＬ２とｋ２を裾とする三角形に近似する。肌領域を表すヒストグラムは、色相が比較的黄色に近く、μ２２に頂点を有しｋ２とＲ２を裾とする三角形に近似する。このように、ｈａｂヒストグラム上で、肌領域と口唇領域を良く区別することができる。これにより、予め肌情報、口唇情報について予め記憶手段４に記憶されたａ＊ヒストグラムとｈａｂヒストグラムとを参照することによって、オブジェクトとして取得したカラー画像から口唇領域と肌領域を分離して抽出することができる。そして、口唇領域の周辺に連なる顔領域、顔領域と同じヒストグラムを示す肌を抽出する手掛りとすることができる。
【００２７】
［肌情報取得］
知覚色度ａ＊ヒストグラム、色相ｈａｂヒストグラムを使用すると、口唇と肌を分離して抽出できるので、これを利用して肌領域を抽出する。カラー画像から図３（ａ）で設定した口唇周辺領域について取得した、知覚色度ａ＊ヒストグラム、メトリック色相角ｈａｂヒストグラムを使用できる。肌情報取得は第１ないし第３のオブジェクト領域抽出手段３１〜３３にて行なう。
【００２８】
図４に肌領域の色温度に独立な（色温度に影響され難い）ヒストグラムを示す。図４（ａ）にａ＊ヒストグラム、図４（ｂ）にｈａｂヒストグラムを示す。それぞれ、図３（ｂ）、（ｃ）のヒストグラムから、口唇の領域を分離し、肌領域のみについて再度取得したヒストグラムである。知覚色度ａ＊ヒストグラムおよびメトリック色相角ｈａｂヒストグラムは上記のように肌と口唇に対応する分布を有し、この傾向は色温度（ホワイトバランス）が変化しても保持されることから、色温度に独立なヒストグラムといわれ、これを用いて肌領域をロバストに抽出することができる。カラー画像全体、または、カラー画像から目的とする肌領域を含む領域を探索領域に指定し、指定した探索領域について、カラー画像の各画素のａ＊とｈａｂを記憶手段４に記憶されたａ＊ヒストグラムとｈａｂヒストグラムと比較して、カラー画像の各部分が肌領域であるか否かを判定することができる。色温度に独立なヒストグラムを用いた肌領域の抽出は第１のオブジェクト領域抽出手段３１で行なわれ、抽出された肌領域は第１のオブジェクト領域となる。
【００２９】
図５に肌領域の色温度に従属な（色温度に影響され易い）ヒストグラムを示す。図５（ａ）に彩度ヒストグラム、図５（ｂ）に輝度ヒストグラムを示す。彩度ヒストグラム、輝度ヒストグラムは色温度により変化する。したがって、撮影時の色温度に対応した彩度ヒストグラムおよび輝度ヒストグラムを使用することによって、カラー画像の各画素が肌領域であるか否かを判定し、色温度の変化に応じた適切な肌領域を抽出できる。彩度ヒストグラムを用いた肌領域の抽出は第２のオブジェクト領域抽出手段３２で行なわれ、抽出された肌領域は第２のオブジェクト領域となる。輝度ヒストグラムを用いた肌領域の抽出は第３のオブジェクト領域抽出手段３３で行なわれ、抽出された肌領域は第３のオブジェクト領域となる。第２のオブジェクト領域および第３のオブジェクト領域を用いて第１のオブジェクト領域を補正できる。なお、彩度ヒストグラムおよび輝度ヒストグラムはＬ＊ａ＊ｂ＊色空間におけるヒストグラムを使用しても良く、ＨＬＳ色空間におけるヒストグラムを使用しても良い。
【００３０】
［肌領域判定（色温度に独立な特徴を用いる）］
次に、取得した肌情報に基づいて、肌領域の判定を行なう。肌領域の判定にはパターン認識、例えばファジィ推論を使用できる。ファジィ推論を用いると、撮影環境の変化に伴う色味のあいまい性に自動的に対応できるので、肌領域を効率的に抽出することができる。まず、知覚色度ａ＊の強度と色相ｈａｂは照明にロバストであり、肌に良く対応した分布を有することに注目し、ファジィ推論などのパターン認識により肌らしさの度合いを演算し、肌領域を求める。例えば、カラー画像の各画素について、ヒストグラムの端点（最大値と最小値）とクラスの平均レベル（口唇と肌それぞれの２つの峰に対応、ただし分布が双峰性を有する必要はない）を用い、肌らしさの度合いを算出し、ヒストグラムに自動閾値選定法（肌らしさの度合を示す帰属度に閾値を設定する）で設定した閾値により、肌領域に属するか否かを判定する。色温度に独立なヒストグラムを用いた肌領域の判定は第１のオブジェクト領域抽出手段３１で行なわれる。
【００３１】
図６に、ファジィ推論を概略的を示す。図６（ａ）にファジィ規則を模式的に示し、図６（ｂ）にデファジィ化のための計算式を示す。記憶手段４に記憶されたカラー画像に、ガウシアンフィルタを用いた平滑化処理などの前処理を施し、前処理済画像から、ａ＊ヒストグラムおよびｈａｂヒストグラムを取得する。図６（ａ）に示すように、ファジィ規則を用いて、ａ＊ヒストグラムおよびｈａｂヒストグラムを三角形のパターンμ（ｘ）で近似した前件部メンバーシップ関数で表し、各画素についてのａ＊、ｈａｂの測定値ｘ０、ｘ１を、前件部メンバーシップ関数を用いてμ（ｘ）を求める。さらに、前件部メンバーシップ関数ｙ１’＝{μ（ｘ）}１／２およびｙ２’＝μ（ｘ）を用いて、各画素についてのａ＊、ｈａｂの測定値ｘ０、ｘ１からｙ１’，ｙ２’を求める。そして、図６（ｂ）に示すように、求めたｙ１’，ｙ２’を用いて、荷重平均法によりデファジィ化を行い、次式により（肌クラスの）帰属度ｙ１を求める。
ｙ１＝（ｗ１×ｙ１’＋ｗ２×ｙ２’）／（ｗ１＋ｗ２）
ここに、ｗ１，ｗ２は重み係数であり、ｗ１＝１．５、ｗ２＝１．０としたときの結果が良好であったので、これらの値を用いることとする。帰属度ｙ１は肌らしさを表す評価値である。閾値をｙ２およびｙ３とし、ｙ２＜ｙ１＜ｙ３の条件を満たせば、画素は肌領域に属するものとし、条件を満たさなければ、画素は肌領域に属さないものと判定する。これにより、カラー画像について肌領域とその他の領域を２値化表示できる。この例では、荷重平均法を用いているが、これに代えて簡略化ファジィ推論法などを用いても良い。
【００３２】
図７にファジィ推論で求めた肌領域の分布を示す。図７（ａ）に肌クラスの帰属度ｙ１で表した画像を、図７（ｂ）に２値化した画像を示す。２値化された白色部分が第１のオブジェクト領域に該当する。なお、口唇領域もファジィ推論で求められる。
【００３３】
［肌領域判定（色温度に従属な特徴を用いる）］
次に、カラー画像について、色温度により変化する部分がある。すなわち、太陽光、照明の当り方によって、カラー画像の色彩が変化し、肌部分の色彩も変化する。すなわち、彩度、輝度はホワイトバランス設定の影響を大きく受けるので、彩度ヒストグラム、輝度ヒストグラムは色温度により変化する。
【００３４】
図８に色温度（ホワイトバランス）による、彩度ヒストグラムおよび輝度ヒストグラムの変化を示す。図８（ａ）に色温度によるカラー画像の変化を、図８（ｂ）に色温度による彩度ヒストグラムの変化を、図８（ｃ）に色温度による輝度ヒストグラムの変化を示す。図８（ａ）より色温度が高くなるにつれてカラー画像が暗くなっていくことが分かる。また、図８（ｂ）では、彩度ヒストグラムは色温度が高くなるにつれて彩度ヒストグラムの幅が低彩度側に拡大していくことが示されている。また、図８（ｃ）では色温度が高くなるにつれて輝度ヒストグラムが低輝度側に移動していくことが示されている。したがって、カラー画像中の各画素については、各色温度における彩度ヒストグラムおよび輝度ヒストグラムの最大値と最小値を用いて範囲指定することにより、肌領域を抽出するものとする。彩度ヒストグラムを用いた肌領域の判定は第２のオブジェクト領域抽出手段３２で行なわれ、輝度ヒストグラムを用いた肌領域の判定は第３のオブジェクト領域抽出手段３３で行なわれる。まず、カラー画像の全体の彩度ヒストグラムおよび輝度ヒストグラムから色温度を求め、その色温度における彩度ヒストグラムの最大値と最小値の範囲内であれば第２のオブジェクト領域として求め、その色温度における輝度ヒストグラムの最大値と最小値の範囲内であれば第３のオブジェクト領域として求める。なお、最大値と最小値は測定誤差を考慮し、例えば上下数％を除いて設定しても良い。
【００３５】
図９に彩度ヒストグラムを用いて抽出した肌領域を、図１０に彩度ヒストグラムを用いて抽出した肌領域を示す。両者共に２値化した画像であり、白い部分が肌領域に該当する。望ましくは、平滑化処理などのヒストグラムにおいて微小な頻度の要素を除外する処理を加えても良い。第１のオブジェクト領域として抽出された画像（図７参照）および第３のオブジェクト領域として抽出された画像（図１０参照）では背景の壁の部分の一部または全部が肌領域として抽出されているが、第２のオブジェクト領域として抽出された画像（図９参照）では、背景の壁の部分が全て除去されている。また、第１のオブジェクト領域として抽出された画像（図７参照）および第２のオブジェクト領域として抽出された画像（図９参照）では、髪の毛の部分、眉毛の部分および眼の部分が一部、肌領域として抽出されているが、第３のオブジェクト領域として抽出された画像（図１０参照）では、髪の毛の部分、眉毛の部分および眼の部分が全て除去されている。
【００３６】
［肌領域抽出（合成）］
図１１に、第１ないし第３の抽出画像を重ね合わせて肌領域を抽出する工程を模式的に示す。すなわち、図７に示す第１のオブジェクト領域、図９に示す第２のオブジェクト領域、図１０に示す第３のオブジェクト領域の重複部分を最終結果のオブジェクト領域として決定する。すなわち、肌領域判定で求めた３種類の画像のＡＮＤを求め、肌領域判定結果とする。この重ね合わせはオブジェクト領域合成手段３４にて行なう。図１１（ａ）に第１ないし第３のオブジェクト領域の画像を、図１１（ｂ）にこれらを重複して抽出されたオブジェクト領域の画像を、図１１（ｃ）に抽出されたオブジェクト領域に彩色処理した画像を示す。図１１（ｂ）によれば、壁、髪の毛、眉、眼の部分が除去され、正しい肌領域に補正されていることが分かる。また、図１１（ｃ）の彩色処理は、図１１（ｂ）のオブジェクト領域の範囲に、カラー画像取得手段２で取得した画像を前処理したカラー画像の彩色を施したものである。望ましくは、形状平滑化処理を加えても良い。
【００３７】
［実験結果］
図１２に、原画像、従来法による肌領域抽出結果例、本実施の形態による肌領域抽出結果例を比較して示す。図１２（ａ）に色温度による原画像の変化を、図１２（ｂ）に色温度による従来法による肌領域抽出結果の変化を、図１２（ｃ）に本実施の形態による肌領域抽出結果の変化を示す。従来法では、色温度低〜中設定時には肌が抽出されているものの、色温度高では肌領域の抽出に失敗している。これに対し、本実施の形態では全ての色温度において、肌領域を抽出可能であることが分かる。本実施の形態では、画像１枚の処理に要した演算時間は約３０ｍｓである。なお、デジタルカメラで撮影した画像データをリアルタイム処理が可能であることを確認している。以上より、本実施の形態におけるオブジェクト領域抽出システムまたは抽出方法は、ホワイトバランス変化に対応した肌領域抽出がリアルタイムで可能であることを示すものである。
【００３８】
［第２の実施の形態］
第１の実施の形態では、色度成分ヒストグラムがＬ＊ａ＊ｂ＊色空間における知覚色度ａ＊ヒストグラム、色相ヒストグラムがＬ＊ａ＊ｂ＊色空間におけるメトリック色相角ｈａｂがヒストグラムである例について説明したが、第２の実施の形態では、他の色空間を用いる例を説明する。また、第１の実施の形態では、ファジィ推論を用いる例を説明したが、第２の実施の形態では、用いない例を説明する。
【００３９】
Ｌ＊ａ＊ｂ＊色空間以外の色空間として、例えば、均等色空間であるＬ＊ｕ＊ｖ＊を用いても良い。Ｌ＊ｕ＊ｖ＊色空間は波長間隔の均等性が考慮された表色系なので、特定の波長方向をｘ方向に採用すれば、当該波長に対する色味の強度を表現可能である。また、知覚色度ヒストグラムには均等色空間を用い、色相ヒストグラム、彩度ヒストグラム、輝度ヒストグラムにはＨＳＬ色空間、ＨＳＶ色空間を用いても良く、知覚色度ヒストグラム、色相ヒストグラムには均等色空間を用い、彩度ヒストグラム、輝度ヒストグラムにはＨＳＬ色空間、ＨＳＶ色空間を用いても良い。その他、特徴量が在る範囲で多様な組み合わせが可能である。このように他の均等色空間や均等色空間と他の色相と彩度または知覚色度と明度または輝度に基づいて表現される色空間を組み合わせても、第１の実施の形態と同様に知覚色度ヒストグラム、色相ヒストグラムを用いて第１のオブジェクト領域を抽出し、また、彩度ヒストグラム、輝度ヒストグラムを用いて第２、第３のオブジェクト領域を抽出できる。また、ファジィ推論に代えて、ヒストグラムの最大値と最小値の範囲内であれば第１のオブジェクト領域として求めても良い。そして、第１ないし第３のオブジェクト領域の重複領域から、目的とするオブジェクト領域を求めることができる。Ｌ＊ｕ＊ｖ色空間、ＨＳＬ色空間、ＨＳＶ色空間を用いた場合には、ロバスト性がＬ＊ａ＊ｂ＊色空間を用いる場合に比して劣るものの、なお実用的範囲に保たれる。本実施の形態においても、第１のオブジェクト領域を用いることによりロバストなオブジェクト領域を抽出でき、第２、第３のオブジェクト領域を用いることによりホワイトバランス変化に対応したオブジェクト領域抽出でき、また、リアルタイムでオブジェクト領域の抽出が可能である。
【００４０】
［第３の実施の形態］
第１の実施の形態では、オブジェクトが人物の肌である例を説明したが、第３の実施の形態では他の例について説明する。例えば、カラー画像におけるパンダの白色部分、目玉領域の白身部分などは、ホワイトバランスに影響を強く受けるので、これらのオブジェクトに、第１、第２の実施の形態の手法を適用すれば、好適な結果を期待できる。知覚色度ヒストグラム、色相ヒストグラム、彩度ヒストグラム、輝度ヒストグラムを用いて、ロバストかつ、ホワイトバランス変化に対応したオブジェクト領域をリアルタイムで抽出が可能である。
【００４１】
また、本発明は、以上の実施の形態に記載のオブジェクト領域の抽出方法をコンピュータに実行させるためのプログラムとしても実現可能である。プログラムはコンピュータの内蔵メモリに蓄積して使用してもよく、外付けの記憶装置に蓄積して使用しても良く、インターネットからダウンロードして使用しても良い。また、当該プログラムを記録した記録媒体としても実現可能である。
【００４２】
以上、本発明の実施の形態について説明したが、本発明は上記の実施の形態に限定されるものではなく、実施の形態に種々変更を加えられることは明白である。
【００４３】
例えば、ヒストグラムを用いて第１ないし第３のオブジェクト領域を求める際に、ファジィ推論を用いる例または最大値と最小値を閾値として用いる例を説明したが、例えば肌をいくつかの小部分に区分し、各小部分のヒストグラムと記憶手段に記憶されたヒストグラムを比較して、肌領域か否かを判定してもよく。閾値についても上下何％までをとるかを適宜決めることができる。また、第１の実施の形態では知覚色度ヒストグラムとして赤味ヒストグラムを用いる例を説明したが、オブジェクトに応じて、種々の知覚色度ヒストグラムを選択可能である。
【産業上の利用可能性】
【００４４】
本発明は、肌領域などのオブジェクト領域の抽出に利用できる。
【図面の簡単な説明】
【００４５】
【図１】オブジェクト領域抽出システムの構成例を示す図である。
【図２】オブジェクト領域抽出方法の処理フロー例を示す図である。
【図３】口唇周辺領域とその領域における知覚色度ヒストグラムとしてのａ＊ヒストグラムと色相ヒストグラムとしてのｈａｂヒストグラムを示す図である。
【図４】肌領域の色温度に独立なヒストグラムを示す図である。
【図５】肌領域の色温度に従属なヒストグラムを示す図である。
【図６】ファジィ推論を概略的を示す図である。
【図７】ファジィ推論で求めた肌領域の分布を示す図である。
【図８】色温度による、彩度ヒストグラムおよび輝度ヒストグラムの変化を示す図である。
【図９】彩度ヒストグラムを用いて抽出した肌領域を示す図である。
【図１０】彩度ヒストグラムを用いて抽出した肌領域を示す図である。
【図１１】第１ないし第３の抽出画像を重ね合わせて肌領域を抽出する工程を模式的に示す図である。
【図１２】原画像、従来法による肌領域抽出結果例、第１の実施の形態における肌領域抽出結果例を比較して示す図である。
【符号の説明】
【００４６】
１ オブジェクト領域抽出システム
２ カラー画像取得手段
３ オブジェクト領域抽出手段
４ 記憶手段
５ 入出力手段
６ 演算手段
７ 制御手段
３１ 第１のオブジェクト領域抽出手段
３２ 第２のオブジェクト領域抽出手段
３３ 第３のオブジェクト領域抽出手段
３４ オブジェクト領域合成手段
３５ 部品領域抽出手段
【特許請求の範囲】
【請求項１】
オブジェクトのカラー画像を取得するカラー画像取得手段と；
前記カラー画像から色度成分ヒストグラムおよび色相ヒストグラムを用いて第１のオブジェクト領域を抽出する第１のオブジェクト領域抽出手段と；
前記カラー画像から彩度ヒストグラムを用いて第２のオブジェクト領域を抽出する第２のオブジェクト領域抽出手段と；
前記カラー画像から輝度ヒストグラムを用いて第３のオブジェクト領域を抽出する第３のオブジェクト領域抽出手段と；
前記第１のオブジェクト領域と前記第２のオブジェクト領域と前記第３のオブジェクト領域との重複領域をオブジェクト領域として求めるオブジェクト領域合成手段とを備える；
オブジェクト領域の抽出システム。
【請求項２】
前記オブジェクトが人物の肌である；
請求項１に記載のオブジェクト領域の抽出システム。
【請求項３】
前記色度成分ヒストグラムとしてＬ＊ａ＊ｂ＊色空間におけるａ＊ヒストグラムを、前記色相ヒストグラムとしてＬ＊ａ＊ｂ＊色空間におけるｈａｂヒストグラムを用いる；
請求項１または請求項２に記載のオブジェクト領域の抽出システム。
【請求項４】
前記第１のオブジェクト領域の抽出にファジィ推論を用いる；
請求項１ないし請求項３のいずれか１項に記載のオブジェクト領域の抽出システム。
【請求項５】
前記オブジェクトに対する前記色度成分ヒストグラム、前記色相ヒストグラム、前記彩度ヒストグラムおよび前記輝度ヒストグラムを記憶する記憶手段を有する；
請求項１ないし請求項４のいずれか１項に記載のオブジェクト領域の抽出システム。
【請求項６】
前記記憶手段は、前記彩度ヒストグラムおよび前記輝度ヒストグラムを色温度と関連付けて記憶する；
請求項５に記載のオブジェクト領域の抽出システム。
【請求項７】
オブジェクトのカラー画像を取得するカラー画像取得工程と；
前記カラー画像から色度成分ヒストグラムおよび色相ヒストグラムを用いて第１のオブジェクト領域を抽出する第１のオブジェクト領域抽出工程と；
前記カラー画像から彩度ヒストグラムを用いて第２のオブジェクト領域を抽出する第２のオブジェクト領域抽出工程と；
前記カラー画像から輝度ヒストグラムを用いて第３のオブジェクト領域を抽出する第３のオブジェクト領域抽出工程と；
前記第１のオブジェクト領域と前記第２のオブジェクト領域と前記第３のオブジェクト領域との重複領域をオブジェクト領域として求めるオブジェクト領域合成工程とを備える；
オブジェクト領域の抽出方法。
【請求項８】
請求項７に記載のオブジェクト領域の抽出方法をコンピュータに実行させるためのプログラム。
【請求項１】
オブジェクトのカラー画像を取得するカラー画像取得手段と；
前記カラー画像から色度成分ヒストグラムおよび色相ヒストグラムを用いて第１のオブジェクト領域を抽出する第１のオブジェクト領域抽出手段と；
前記カラー画像から彩度ヒストグラムを用いて第２のオブジェクト領域を抽出する第２のオブジェクト領域抽出手段と；
前記カラー画像から輝度ヒストグラムを用いて第３のオブジェクト領域を抽出する第３のオブジェクト領域抽出手段と；
前記第１のオブジェクト領域と前記第２のオブジェクト領域と前記第３のオブジェクト領域との重複領域をオブジェクト領域として求めるオブジェクト領域合成手段とを備える；
オブジェクト領域の抽出システム。
【請求項２】
前記オブジェクトが人物の肌である；
請求項１に記載のオブジェクト領域の抽出システム。
【請求項３】
前記色度成分ヒストグラムとしてＬ＊ａ＊ｂ＊色空間におけるａ＊ヒストグラムを、前記色相ヒストグラムとしてＬ＊ａ＊ｂ＊色空間におけるｈａｂヒストグラムを用いる；
請求項１または請求項２に記載のオブジェクト領域の抽出システム。
【請求項４】
前記第１のオブジェクト領域の抽出にファジィ推論を用いる；
請求項１ないし請求項３のいずれか１項に記載のオブジェクト領域の抽出システム。
【請求項５】
前記オブジェクトに対する前記色度成分ヒストグラム、前記色相ヒストグラム、前記彩度ヒストグラムおよび前記輝度ヒストグラムを記憶する記憶手段を有する；
請求項１ないし請求項４のいずれか１項に記載のオブジェクト領域の抽出システム。
【請求項６】
前記記憶手段は、前記彩度ヒストグラムおよび前記輝度ヒストグラムを色温度と関連付けて記憶する；
請求項５に記載のオブジェクト領域の抽出システム。
【請求項７】
オブジェクトのカラー画像を取得するカラー画像取得工程と；
前記カラー画像から色度成分ヒストグラムおよび色相ヒストグラムを用いて第１のオブジェクト領域を抽出する第１のオブジェクト領域抽出工程と；
前記カラー画像から彩度ヒストグラムを用いて第２のオブジェクト領域を抽出する第２のオブジェクト領域抽出工程と；
前記カラー画像から輝度ヒストグラムを用いて第３のオブジェクト領域を抽出する第３のオブジェクト領域抽出工程と；
前記第１のオブジェクト領域と前記第２のオブジェクト領域と前記第３のオブジェクト領域との重複領域をオブジェクト領域として求めるオブジェクト領域合成工程とを備える；
オブジェクト領域の抽出方法。
【請求項８】
請求項７に記載のオブジェクト領域の抽出方法をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００９−２０５４６９（Ｐ２００９−２０５４６９Ａ）
【公開日】平成２１年９月１０日（２００９．９．１０）
【国際特許分類】
【出願番号】特願２００８−４７４９２（Ｐ２００８−４７４９２）
【出願日】平成２０年２月２８日（２００８．２．２８）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成１９年８月２９日発行「電子情報通信学会２００７年ソサイエティ大会講演論文集」において掲載 掲載アドレス（ｈｔｔｐ：／／ｓｅｃｕｒｅ１．ｇａｋｋａｉ−ｗｅｂ．ｎｅｔ／ｇａｋｋａｉ／ｉｅｉｃｅ／ｐｒｏｇｒａｍ２／ｈｔｍｌ／ｐｒｏｇｒａｍ／．．．）
【出願人】（５９９０７２７５８）株式会社アルファシステムズ (11)
【出願人】（５０４４０９５４３）国立大学法人秋田大学 (210)
【Ｆターム（参考）】
【公開日】平成２１年９月１０日（２００９．９．１０）
【国際特許分類】
【出願日】平成２０年２月２８日（２００８．２．２８）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成１９年８月２９日発行「電子情報通信学会２００７年ソサイエティ大会講演論文集」において掲載 掲載アドレス（ｈｔｔｐ：／／ｓｅｃｕｒｅ１．ｇａｋｋａｉ−ｗｅｂ．ｎｅｔ／ｇａｋｋａｉ／ｉｅｉｃｅ／ｐｒｏｇｒａｍ２／ｈｔｍｌ／ｐｒｏｇｒａｍ／．．．）
【出願人】（５９９０７２７５８）株式会社アルファシステムズ (11)
【出願人】（５０４４０９５４３）国立大学法人秋田大学 (210)
【Ｆターム（参考）】
[ Back to top ]